JP2010273037A - 撮像装置 - Google Patents

Abstract

【課題】フレーム間で画像のズレが無い状態で撮像動作を行う撮像装置を提供する。
【解決手段】撮像装置は、撮像動作のために、レンズを介して入射した光学像を撮像する撮像素子を備える。レンズに含まれる可動レンズと撮像素子のいずれか一方を、レンズの光軸に垂直な平面上で、可動レンズ以外のレンズに対して相対的に移動させる移動制御を行う制御部を備える。撮像動作は、露光条件の異なる状態で、複数回行われる。複数回の撮像動作の少なくとも露光時間開始時点における、被写体の撮像素子の結像面上の位置を一定にするために、複数回の撮像動作のうち、二回目以降の撮像動作の露光時間開始時点の位置と、一回目の撮像動作の露光時間開始時点における位置との差異に基づいて、二回目以降の撮像動作の露光時間開始時点における移動制御が行われる。
【選択図】図２

Description

本発明は、撮像装置に関し、実質的なダイナミックレンジを拡大させるために、複数枚の画像を合成する撮像装置に関する。

従来、露光条件の異なる状態で複数回の撮像動作を行い、得られた画像を合成することにより、実質的なダイナミックレンジを拡大させる撮像装置が提案されている。

特許文献１は、フレーム間の画像のズレに基づいて、合成可能な領域を注出し、かかる領域の画像を合成して、実質的なダイナミックレンジを拡大させる撮像装置を開示する。

特開平０５−７３３６号公報

しかし、フレーム間の画像のズレは解消されないため、合成可能な領域は、撮像により得られた画像よりも小さくなる。

したがって本発明の目的は、フレーム間で画像のズレが無い状態で撮像動作を行う撮像装置を提供することである。

本発明に係る撮像装置は、撮像動作のために、レンズを介して入射した光学像を撮像する撮像素子と、レンズに含まれる可動レンズと撮像素子のいずれか一方を、レンズの光軸に垂直な平面上で、可動レンズ以外のレンズに対して相対的に移動させる移動制御を行う制御部とを備え、撮像動作は、複数回行われ、複数回の撮像動作の少なくとも露光時間開始時点における、被写体の撮像素子の結像面上の位置を一定にするために、複数回の撮像動作のうち、二回目以降の撮像動作の露光時間開始時点の位置と、一回目の撮像動作の露光時間開始時点における位置との差異に基づいて、二回目以降の撮像動作の露光時間開始時点における移動制御が行われる。

撮像装置の保持状態、すなわち、一回目の撮像動作の露光時間開始時点における撮像装置の位置（保持状態）と二回目の撮像動作の露光時間開始時点における撮像装置の位置（保持状態）との差異に応じて、撮像素子（または可動レンズ）を移動させるので、フレーム間でズレの無い状態で、すなわち被写体像の結像面位置を一定に保った状態で、複数回の撮像動作を行う事が出来る。このため、実質的なダイナミックレンジを広げるために行われる、該複数回の撮像動作で得られた画像の合成を、ズレの無い状態で行うことが可能になる。このため、撮像により得られた画像の全範囲を使って合成画像を得ることが可能になる。

好ましくは、複数回の撮像動作の露光時間中においても、被写体の結像面上の位置を一定にするために、一回目の撮像動作の露光時間開始時点における位置に基づいて、移動制御が行われる。

これにより、露光時間中に発生する手ブレを考慮して、被写体の結像面位置を一定に保つことが可能になる。

また、好ましくは、制御部は、複数回の撮像動作で得られた画像を合成して、合成画像を生成する。

また、好ましくは、複数回の撮像動作は、露光条件の異なる状態で行われる。

以上のように本発明によれば、フレーム間で画像のズレが無い状態で撮像動作を行う撮像装置を提供することができる。

本実施形態における撮像装置の構成図である。 本実施形態における第１ズレ角度と第１差異との関係を示す図である。 複数回の撮像動作、及び合成処理手順の手順を示すフローチャートである。 手ブレ補正機能を有する静止画の撮像装置における第１ズレ角度と第１差異などとの関係を示す図である。 手ブレ補正機能を有する動画の撮像装置における第１ズレ角度と、手ブレ補正処理後のズレ角度との関係を示す図である。

以下、本実施形態について、図を用いて説明する。撮像装置１は、デジタルカメラであり、操作部１１、ＡＦ部１３、ＡＥ部１５、絞り１７、レンズ１９、ミラー２１、シャッタ２３、ＣＣＤなどの撮像素子を含む撮像部２５、ＤＳＰやＣＰＵなどの信号処理部２７、内部メモリ２９、フラッシュメモリ３１、外部メモリ３３、表示部３５、検知部３７、及び補正部３９を備える。

操作部１１は、レリーズボタン、使用モード選択キー、及び補正モード選択キーを有する。

操作部１１に含まれるレリーズボタン（不図示）を半押しすることにより、測光スイッチがオン状態にされ、ＡＦ部１３による測距や、ＡＥ部１５による測光が行われる。測距結果は、ＡＦ部１３から信号処理部２７に出力され、合焦動作に使用される。測光結果は、ＡＥ部１５から信号処理部２７に出力され、露光条件（シャッタ速度や絞り）の算出に使用される。

また、レリーズボタンを全押しすることにより、レリーズスイッチがオン状態にされ、撮像部２３などによる撮像動作が行われる。撮像動作では、所定のタイミングで、絞り１７の開閉、ミラー２１のアップ／ダウン、シャッタ２３の開閉、及び撮像部２５の露光が行われる。

操作部１１に含まれる使用モード選択キーを操作することにより、第１使用モードと、第２使用モードとが切り替えられる。撮像装置１が第１使用モードにされている場合は、露光条件が異なる状態で連続して複数回の撮像動作が行われ、複数回の撮像動作で得られた複数の画像を合成して、実質的にダイナミックレンジが広い画像を得る。撮像装置１が第２使用モードにされている場合は、通常の撮像動作が行われる。

操作部１１に含まれる補正モード選択キーを操作することにより、第１使用モードにおけるズレ補正モードのオンオフ制御が行われる。撮像装置１が第１使用モードで且つズレ補正モードにされている場合は、複数回の撮像動作の露光時間開始時点における、被写体の撮像部２５の結像面上の位置を一定にするズレ補正処理が行われ、撮像部２５の位置が調整される。撮像装置１が第２使用モードにされている場合、及び第１使用モードにされているがズレ補正モードにされていない場合は、撮像部２５は移動範囲の中心に固定される。

信号処理部２７は、撮像動作において撮像部２５で得られた画像信号について、画像処理を施す。また、信号処理部２７は、該画像信号を、画像処理を施さない状態または画像処理を施した状態で、外部メモリ３３に記録させる。また、信号処理部２７は、画像処理を施して得られた画像を、表示部３５に表示させる。

また、信号処理部２７は、撮像装置１が第１使用モードにされている場合に、露光条件が異なる状態で連続して複数回の撮像動作を行うように各部を制御し、複数回の撮像動作で得られた画像信号について画像処理を施し、画像処理を施して得られた複数の画像の合成し、一枚の合成画像を生成する。特に、撮像装置１がズレ補正モードにされている場合には、複数回の撮像動作の際に、後述する検知部３７からの情報に基づいて、補正部３９を駆動し、撮像部２５の移動制御（ズレ補正処理）を行う。

内部メモリ２９は、画像処理におけるデータの一時記録に使用される。特に、第１使用モードにおいては、合成に使用する複数の画像を一時記録する。フラッシュメモリ３１は、画像処理など撮像装置１における各動作を行うためのプログラムを記録する。特に、ズレ補正処理プログラムや、複数回の撮像動作で得た画像の合成処理プログラムがインストールされる。

検知部３７は、角速度センサを有し、一定時間（例えば１ｍｓ）ごとに、撮像装置１のヨーイングに基づく第１角速度やピッチングに基づく第２角速度を検出し、信号処理部２７に出力する。信号処理部２７は、これらの角速度を時間積分して、かかる積分時間の移動量（ヨーイングに基づく第１ズレ角度、ピッチングに基づく第２ズレ角度）を算出する。従って、第１、第２ズレ角度は、一定時間ごとに更新される。撮像装置１が第１使用モードで且つズレ補正モードにされている場合には、信号処理部２７は、ズレ補正処理において行う複数回の撮像動作のうち、一回目の撮像動作における露光時間開始時点の第１、第２ズレ角度を、それぞれ第１、第２初期値として、内部メモリ２９に一時記録させる。

補正部３９は、信号処理部２７によって駆動され、撮像部２５を、レンズ１９の光軸ＬＸに垂直な平面上を移動させる。補正部３９による撮像部２５の移動制御は、例えば、電磁力による移動と、ホールセンサによる位置検出とを使ったＰＩＤ制御で行われる。

撮像装置１が第１使用モードで且つズレ補正モードにされている場合には、補正部３９は、複数回の撮像動作のうち、一回目の撮像動作における露光時間開始時点に、撮像部２５を移動範囲の中心に移動させ、二回目以降の撮像動作における露光時間開始時点に、撮像部２５を第１、第２初期値からのズレ量（第１、第２ズレ角度と第１、第２初期値との第１、第２差異）を補正する位置に移動させる（図２参照）。露光時間中は、補正部３９は、露光時間開始時点の位置を維持する。これにより、フレーム間で、手ブレなど撮像装置１の保持位置の移動によって生じた被写体像の結像面におけるズレが無くなり、被写体像の結像面位置が一定に保たれる。

撮像装置１が第１使用モードにされているがズレ補正モードにされていない場合には、補正部３９は、複数回の撮像動作のうち、一回目の撮像動作における露光時間開始時点に、撮像部２５を移動範囲の中心に移動させ、二回目以降の撮像動作でも、移動範囲の中心への固定を維持する。露光時間中は、補正部３９は、露光時間開始時点の位置（移動範囲の中心）を維持する。第２使用モードにおいては、補正部３９は、撮像部２５を移動範囲の中心に固定する。

次に、第１使用モードにおける複数回の撮像動作、及び合成処理手順について、図３のフローチャートを用いて説明する。

なお、検知部３７による第１、第２角速度の検出、及び信号処理部２７による第１、第２ズレ角度の算出は、撮像装置１の電源がオン状態にされた時点から、一定時間ごとに、行われている。

撮像装置１が第１使用モードにされた状態で、レリーズボタンが全押しされると、ステップＳ１１で、信号処理部２７は、撮像装置１がズレ補正モードにされているか否かを判断する。ズレ補正モードにされていない場合は、ステップＳ１２に進められ、ズレ補正モードにされている場合は、ステップＳ１６に進められる。

ステップＳ１２で、信号処理部２７は、補正部３９を駆動し、撮像部２５を移動範囲の中心に移動させ、次の撮像動作の露光時間開始時点までかかる位置に固定する。ステップＳ１３で、信号処理部２７は、撮像動作を行うために撮像装置１の各部の制御を行い、撮像動作が行われる。ステップＳ１３の撮像動作で得られた画像は、内部メモリ２９に一時記録される。ステップＳ１４で、信号処理部２７は、合成画像を得るために設定した複数回の撮像動作が行われたか否かを判断する。なお、本実施形態では、合成画像を得るために設定した撮像動作の回数が２回である例を説明するが、３回以上行われる形態であってもよい。行われた場合は、ステップＳ１５に進められる。行われていない場合は、ステップＳ１１に戻され、次の撮像動作が露光条件を変えて行われる。

複数枚の画像が得られると、ステップＳ１５で、信号処理部２７は、内部メモリ２９に一時記録された複数枚の画像を合成し、実質的なダイナミックレンジが広げられた一枚の画像を生成し、外部メモリ３３への記録や、表示部３５への表示を行う。

ステップＳ１６で、信号処理部２７は、これから行う撮像動作が、合成画像を得るために設定した複数回の撮像動作のうち、一回目の撮像動作であるか否かを判断する。一回目の撮像動作である場合には、ステップＳ１７に進められ、二回目以降の撮像動作である場合には、ステップＳ１８に進められる。

ステップＳ１７で、信号処理部２７は、補正部３９を駆動し、撮像部２５を移動範囲の中心に移動させ、次の撮像動作の露光時間開始時点までかかる位置に固定する。また、信号処理部２７は、撮像動作における露光時間開始時点の第１、第２ズレ角度を、それぞれ第１、第２初期値として、内部メモリ２９に一時記録させる。

ステップＳ１８で、信号処理部２７は、第１、第２差異（今回の撮像動作における露光時間開始時点の第１、第２ズレ角度と、内部メモリ２９に一時記録された第１、第２初期値との差異）を算出する。ステップＳ１９で、信号処理部２７は、補正部３９が撮像部２５を、第１、第２差異に基づいて、ズレを補正する位置に移動させることが出来るか否かを判断する。すなわち、第１、第２差異に基づく撮像部２５の移動量が、撮像部２５の移動範囲内にあるか否かを判断する。移動させることが出来る場合は、ステップＳ２０に進められ、出来ない場合は、ステップＳ２１に進められる。

ステップＳ２０で、信号処理部２７は、補正部３９を駆動し、撮像部２５を、第１、第２差異に基づいて、ズレを補正する位置に移動させ、次の撮像動作の露光時間開始時点までかかる位置に固定する。

ステップＳ２１で、信号処理部２７は、ズレ補正処理を継続出来ない旨の警告を表示部３５に表示させ、手順を終了する。

本実施形態では、撮像装置１の保持状態（第１、第２ズレ角度）、すなわち、一回目の撮像動作の露光時間開始時点における撮像装置１の位置（保持状態）と二回目の撮像動作の露光時間開始時点における撮像装置１の位置（保持状態）との差異（第１、第２差異）に応じて、撮像部２５を移動させるので、フレーム間でズレの無い状態で、すなわち被写体像の結像面位置を一定に保った状態で、複数回の撮像動作を行う事が出来る。このため、実質的なダイナミックレンジを広げるために行われる、該複数回の撮像動作で得られた画像の合成を、ズレの無い状態で行うことが可能になる。このため、撮像により得られた画像の全範囲を使って合成画像を得ることが可能になる。

また、撮像部２５の移動制御を行っても、複数回の撮像動作の少なくとも露光時間開始時点における、被写体の撮像素子の結像面上の位置を一定にすることが出来ない程度に、第１、第２差異が大きい、すなわち、撮像部２５の移動でズレを無くすことが出来ない場合には、ズレの無い合成画像を得ることが出来ないと判断して、撮像動作、及び画像の合成処理を中止する。

なお、手ブレ補正機能を有する静止画の撮像装置において、連続して静止画の撮像を行う場合、撮像部（又は像ブレ補正レンズ）が移動して、露光期間中のブレは補正されるが、撮像動作における露光開始の度に、撮像部は、移動範囲の中心に移動せしめられる（図４参照）。このため、フレーム間で、被写体像の結像面位置を一定に保つことは出来ない。

また、手ブレ補正機能を有する動画の撮像装置において、動画の撮像を行う場合、撮像部は、複数回の撮像動作のうち、一回目の撮像動作における露光時間開始時点に、移動範囲の中心に移動せしめられ、それ以降は、撮像部を第１、第２初期値からのズレ量（第１、第２ズレ角度と第１、第２初期値との第１、第２差異）を少なくする位置に移動せしめられるが、パンニングなど手ブレ補正で対応出来ない大きなブレを考慮した上で、ブレの少ない動画像が得るための調整を行うので、完全にズレ量を０にする位置に移動せしめられる訳では無い（図５参照）。このため、フレーム間で、被写体像の結像面位置を一定に保つことは出来ない。

なお、本実施形態では、検知部３７が、ヨーイングに基づく第１ズレ角度、及びピッチングに基づく第２ズレ角度を検知する形態を説明したが、これらに加えて、ローリングに基づく第３ズレ角度を検知する形態であってもよい。この場合は、撮像部２５を、レンズ１９の光軸ＬＸに垂直な平面上で、回転を含む移動をさせる制御を行って、第１〜第３ズレ角度に基づくズレ補正処理を行う。

具体的には、信号処理部２７は、撮像動作における露光時間開始時点の第１〜第３ズレ角度を、それぞれ第１〜第３初期値として、内部メモリ２９に一時記録させる。信号処理部２７は、第１〜第３差異（今回の撮像動作における露光時間開始時点の第１〜第３ズレ角度と、内部メモリ２９に一時記録された第１〜第３初期値との差異）を算出する。信号処理部２７は、補正部３９が撮像部２５を、第１〜第３差異に基づいて、ズレを補正する位置に移動させることが出来るか否かを判断する。

移動させることが出来る場合は、信号処理部２７は、補正部３９を駆動し、撮像部２５を、第１〜第３差異に基づいて、ズレを補正する位置に回転を含む移動を行い、次の撮像動作の露光時間開始時点までかかる位置に固定する。移動させることが出来ない場合は、信号処理部２７は、ズレ補正処理を継続出来ない旨の警告を表示部３５に表示させ、撮像動作、及び画像の合成処理を中止する。

なお、第３ズレ角度の検出は、角速度センサによるものであってもよいし、所定方向の重力加速度成分を検出する加速度センサによるものであってもよい。

また、本実施形態では、撮像部２５を移動制御してズレ補正処理を行う形態を説明したが、レンズ１９内に設けられた可動レンズを、光軸ＬＸに垂直な平面上で移動制御してズレ補正処理を行う形態であってもよい。但し、この場合には、ローリングに基づくズレは考慮されない。

また、本実施形態では、第１、第２差異に基づいて、二回目以降の露光時間開始時点の撮像部２５の位置を制御して、フレーム間の被写体の結像面位置を一定に保つ形態を説明したが、更に露光時間中も一定時間ごとに第１、第２差異を算出し、かかる第１、第２差異に基づいてズレ（手ブレ）を補正するように、撮像部２５を移動制御してもよい。これにより、露光時間中に発生する手ブレを考慮して、被写体の結像面位置を一定に保つことが可能になる。

なお、本実施形態では、露光条件の異なる状態で複数回の撮像動作が行われる形態を説明したが、露光条件が同じ状態で複数回の撮像動作が行われる形態であってもよい。

１ 撮像装置
１１ 操作部
１３ ＡＦ部
１５ ＡＥ部
１７ 絞り
１９ レンズ
２１ ミラー
２３ シャッタ
２５ 撮像部
２７ 信号処理部
２９ 内部メモリ
３１ フラッシュメモリ
３３ 外部メモリ
３５ 表示部
３７ 検知部
３９ 補正部
ＬＸ レンズの光軸

Claims (4)

1. 撮像動作のために、レンズを介して入射した光学像を撮像する撮像素子と、
   前記レンズに含まれる可動レンズと前記撮像素子のいずれか一方を、前記レンズの光軸に垂直な平面上で、前記可動レンズ以外のレンズに対して相対的に移動させる移動制御を行う制御部とを備え、
   前記撮像動作は、複数回行われ、
   前記複数回の撮像動作の少なくとも露光時間開始時点における、被写体の前記撮像素子の結像面上の位置を一定にするために、前記複数回の撮像動作のうち、二回目以降の撮像動作の露光時間開始時点の位置と、一回目の撮像動作の露光時間開始時点における位置との差異に基づいて、前記二回目以降の撮像動作の露光時間開始時点における前記移動制御が行われることを特徴とする撮像装置。
2. 前記複数回の撮像動作の露光時間中においても、被写体の前記結像面上の位置を一定にするために、前記一回目の撮像動作の露光時間開始時点における位置に基づいて、前記移動制御が行われることを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、前記複数回の撮像動作で得られた画像を合成して、合成画像を生成することを特徴とする請求項１に記載の撮像装置。
4. 前記複数回の撮像動作は、露光条件の異なる状態で行われることを特徴とする請求項１に記載の撮像装置。
   

Images