JP2010273038A - 撮像装置 - Google Patents

Abstract

【課題】画像ズレの少ない状態で合成画像を得られるか否かを早く判断出来る撮像装置を提供する。
【解決手段】撮像装置は、露光条件の異なる状態で複数回行われる撮像動作のために、レンズを介して入射した光学像を撮像する撮像素子を備える。複数回の撮像動作で得られた画像の合成を行って、合成画像を生成する制御部を備える。制御部は、複数回の撮像動作のうち、二回目以降の撮像動作の露光時間開始時点の位置と、一回目の撮像動作の露光時間開始時点における位置との差異に基づいて、画像ズレの少ない状態で合成画像を生成することが可能であるか否かを判断する。
【選択図】図２

Description

本発明は、撮像装置に関し、実質的なダイナミックレンジを拡大させるために、複数枚の画像を合成する撮像装置に関する。

従来、露光条件の異なる状態で複数回の撮像動作を行い、得られた画像を合成することにより、実質的なダイナミックレンジを拡大させる撮像装置が提案されている。

特許文献１は、フレーム間の画像のズレに基づいて、合成可能な領域を注出し、かかる領域の画像を合成して、実質的なダイナミックレンジを拡大させる撮像装置であって、動きベクトルに基づいて、フレーム間の画像のズレ量を算出し、ズレ量が大きい場合には、画像の合成をするものを開示する。

特開平１０−２４３２８８号公報

しかし、複数回の撮像動作で得られた画像の比較に基づいて求められる動きベクトルから、画像のズレ量が算出されるので、画像ズレの少ない状態で合成画像を得られるか否かの判断が遅くなる。

したがって本発明の目的は、画像ズレの少ない状態で合成画像を得られるか否かを早く判断出来る撮像装置を提供することである。

本発明に係る撮像装置は、複数回行われる撮像動作のために、レンズを介して入射した光学像を撮像する撮像素子と、複数回の撮像動作で得られた画像の合成を行って、合成画像を生成する制御部とを備え、制御部は、複数回の撮像動作のうち、二回目以降の撮像動作の露光時間開始時点の位置と、一回目の撮像動作の露光時間開始時点における位置との差異に基づいて、画像ズレの少ない状態で合成画像を生成することが可能であるか否かを判断する。

撮像装置の保持状態、すなわち、一回目の撮像動作の露光時間開始時点における撮像装置の位置（保持状態）と二回目の撮像動作の露光時間開始時点における撮像装置の位置（保持状態）との差異に応じて、画像ズレの少ない合成画像が得られるか否かを判断する。このため、複数回の撮像動作で得られた画像を読み出し、動きベクトルなどから、ズレの少ない合成画像を得ることが出来るか否かを判断する形態に比べて、早い段階でかかる判断をすることが可能になる。

好ましくは、制御部は、差異が大きい場合には、複数回の撮像動作で得られた画像の位置合わせをせずに合成した場合に画像ズレの少ない状態で合成画像を得ることが出来ないと判断して、位置合わせを行った後に、合成画像を生成する。

さらに好ましくは、制御部は、差異に基づいて、位置合わせを行う。

撮像動作の前に既に求められた該差異に基づいてズレ量を算出するので、撮像動作後に得られる画像を比較してズレ量を算出する場合に比べて、ズレ量算出処理を速くすることが可能になる。

また、好ましくは、制御部は、差異が大きい場合には、画像ズレの少ない状態で合成画像を得ることが出来ないと判断して、複数回の撮像動作で得られた画像の合成を中止する。

また、好ましくは、制御部は、レンズに含まれる可動レンズと撮像素子のいずれかを、レンズの光軸に垂直な平面上で、可動レンズ以外のレンズに対して相対的に移動させる移動制御を行い、複数回の撮像動作の少なくとも露光時間開始時点における、被写体の撮像素子の結像面上の位置を一定にするために、差異に基づいて、二回目以降の撮像動作の露光時間開始時点における移動制御が行われ、制御部は、移動制御を行っても、複数回の撮像動作の少なくとも露光時間開始時点における、被写体の撮像素子の結像面上の位置を一定にすることが出来ない程度に、差異が大きいか否かに基づいて、画像ズレの少ない状態で合成画像を生成することが可能であるか否かを判断する。

また、好ましくは、複数回の撮像動作は、露光条件の異なる状態で行われる。

以上のように本発明によれば、画像ズレの少ない状態で合成画像を得られるか否かを早く判断出来る撮像装置を提供することができる。

第１、第２実施形態における撮像装置の構成図である。 第１実施形態における複数回の撮像動作、及び合成処理手順を示すフローチャートである。 第２実施形態における複数回の撮像動作、及び合成処理手順を示すフローチャートである。 第３実施形態における撮像装置の構成図である。 第３実施形態における第１ズレ角度と第１差異との関係を示す図である。 第３実施形態における複数回の撮像動作、及び合成処理順を示すフローチャートである。 手ブレ補正機能を有する静止画の撮像装置における第１ズレ角度と第１差異などとの関係を示す図である。 手ブレ補正機能を有する動画の撮像装置における第１ズレ角度と、手ブレ補正処理後のズレ角度との関係を示す図である。

以下、第１実施形態について、図を用いて説明する。撮像装置１は、デジタルカメラであり、操作部１１、ＡＦ部１３、ＡＥ部１５、絞り１７、レンズ１９、ミラー２１、シャッタ２３、ＣＣＤなどの撮像素子を含む撮像部２５、ＤＳＰやＣＰＵなどの信号処理部２７、内部メモリ２９、フラッシュメモリ３１、外部メモリ３３、表示部３５、及び検知部３７を備える。

操作部１１は、レリーズボタン、及び使用モード選択キーを有する。

操作部１１に含まれるレリーズボタン（不図示）を半押しすることにより、測光スイッチがオン状態にされ、ＡＦ部１３による測距や、ＡＥ部１５による測光が行われる。測距結果は、ＡＦ部１３から信号処理部２７に出力され、合焦動作に使用される。測光結果は、ＡＥ部１５から信号処理部２７に出力され、露光条件（シャッタ速度や絞り）の算出に使用される。

また、レリーズボタンを全押しすることにより、レリーズスイッチがオン状態にされ、撮像部２３などによる撮像動作が行われる。撮像動作では、所定のタイミングで、絞り１７の開閉、ミラー２１のアップ／ダウン、シャッタ２３の開閉、及び撮像部２５の露光が行われる。

操作部１１に含まれる使用モード選択キーを操作することにより、第１使用モードと、第２使用モードとが切り替えられる。撮像装置１が第１使用モードにされている場合は、露光条件が異なる状態で連続して複数回の撮像動作が行われ、複数回の撮像動作で得られた複数の画像を合成して、実質的にダイナミックレンジが広い画像を得る。撮像装置１が第２使用モードにされている場合は、通常の撮像動作が行われる。

信号処理部２７は、撮像動作において撮像部２５で得られた画像信号について、画像処理を施す。また、信号処理部２７は、該画像信号を、画像処理を施さない状態または画像処理を施した状態で、外部メモリ３３に記録させる。また、信号処理部２７は、画像処理を施して得られた画像を、表示部３５に表示させる。

また、信号処理部２７は、撮像装置１が第１使用モードにされている場合に、露光条件が異なる状態で連続して複数回の撮像動作を行うように各部を制御し、複数回の撮像動作で得られた画像信号について画像処理を施し、画像処理を施して得られた複数の画像の合成し、一枚の合成画像を生成する。

内部メモリ２９は、画像処理におけるデータの一時記録に使用される。特に、第１使用モードにおいては、合成に使用する複数の画像などを一時記録する。フラッシュメモリ３１は、画像処理など撮像装置１における各動作を行うためのプログラムを記録する。特に、複数回の撮像動作、及び複数回の撮像動作で得た画像の合成処理を行うプログラムがインストールされる。

検知部３７は、角速度センサを有し、一定時間（例えば１ｍｓ）ごとに、撮像装置１のヨーイングに基づく第１角速度やピッチングに基づく第２角速度を検出し、信号処理部２７に出力する。信号処理部２７は、これらの角速度を時間積分して、かかる積分時間の移動量（ヨーイングに基づく第１ズレ角度、ピッチングに基づく第２ズレ角度）を算出する。従って、第１、第２ズレ角度は、一定時間ごとに更新される。撮像装置１が第１使用モードにされている場合には、信号処理部２７は、複数回の撮像動作のうち、一回目の撮像動作における露光時間開始時点の第１、第２ズレ角度を、それぞれ第１、第２初期値として、内部メモリ２９に一時記録させる。

撮像装置１が第１使用モードにされている場合には、信号処理部２７は、二回目以降の撮像動作における露光時間開始時点に、第１、第２初期値からのズレ量（第１、第２ズレ角度と第１、第２初期値との第１、第２差異）を算出し、第１、第２差異のいずれか（第１、第２差異の絶対値のいずれか）が第１閾値よりも大きいか否かを判断する。大きい場合には、二回目以降の撮像動作で得られる画像の、一回目の撮像動作で得られる画像に対するズレが大きく、これらの画像を合成した場合に画像ズレの少ない合成画像を得ることが出来ない旨の警告を表示部３５に表示させ、撮像動作及び画像の合成処理を中止する。

次に、第１実施形態における複数回の撮像動作、及び合成処理手順について、図２のフローチャートを用いて説明する。

なお、検知部３７による第１、第２角速度の検出、及び信号処理部２７による第１、第２ズレ角度の算出は、撮像装置１の電源がオン状態にされた時点から、一定時間ごとに、行われている。

撮像装置１が第１使用モードにされた状態で、レリーズボタンが全押しされると、ステップＳ１１で、信号処理部２７は、これから行う撮像動作が、合成画像を得るために設定した複数回の撮像動作のうち、一回目の撮像動作であるか否かを判断する。一回目の撮像動作である場合には、ステップＳ１２に進められ、二回目以降の撮像動作である場合には、ステップＳ１６に進められる。なお、第１実施形態では、合成画像を得るために設定した撮像動作の回数が２回である例を説明するが、３回以上行われる形態であってもよい。

ステップＳ１２で、信号処理部２７は、撮像動作における露光時間開始時点の第１、第２ズレ角度を、それぞれ第１、第２初期値として、内部メモリ２９に一時記録させる。ステップＳ１３で、信号処理部２７は、撮像動作を行うために撮像装置１の各部の制御を行い、撮像動作が行われる。ステップＳ１３の撮像動作で得られた画像は、内部メモリ２９に一時記録される。ステップＳ１４で、信号処理部２７は、合成画像を得るために設定した複数回の撮像動作が行われたか否かを判断する。行われた場合は、ステップＳ１５に進められ、行われていない場合は、ステップＳ１１に戻され、次の撮像動作が露光条件を変えて行われる。

ステップＳ１５で、信号処理部２７は、内部メモリ２９に一時記録された複数枚の画像を合成し、実質的なダイナミックレンジが広げられた一枚の画像を生成し、外部メモリ３３への記録や、表示部３５への表示を行う。

ステップＳ１６で、信号処理部２７は、第１、第２差異（今回の撮像動作における露光時間開始時点の第１、第２ズレ角度と、内部メモリ２９に一時記録された第１、第２初期値との差異）を算出する。

ステップＳ１７で、信号処理部２７は、第１、第２差異のいずれか（第１、第２差異の絶対値のいずれか）が第１閾値よりも大きいか否かを判断する。大きくない場合は、二回目以降の撮像動作で得られる画像の、一回目の撮像動作で得られる画像に対するズレが小さく、これらの画像を合成した場合に画像ズレの少ない合成画像を得ることが出来るとして、ステップＳ１３に進められる。大きい場合には、ステップＳ１８で、信号処理部２７は、二回目以降の撮像動作で得られる画像の、一回目の撮像動作で得られる画像に対するズレが大きく、これらの画像を合成した場合に画像ズレの少ない合成画像を得ることが出来ない旨の警告を表示部３５に表示させ、撮像動作、及び画像の合成処理を中止する。

なお、ステップＳ１７の前に、使用者の手動により撮像装置１がステップＳ１７の判断を行うズレ検知モードに設定されているか否かを判断するステップを設け、ズレ検知モードでない場合には、ステップＳ１７、Ｓ１８の処理を行わずに、ステップＳ１３に進める形態であってもよい。

第１実施形態では、すなわち、撮像装置１の保持状態（第１、第２ズレ角度）、特に一回目の撮像動作の露光時間開始時点における撮像装置１の位置（保持状態）と二回目の撮像動作の露光時間開始時点における撮像装置１の位置（保持状態）との差異（第１、第２差異）に応じて、画像ズレの少ない合成画像が得られるか否かを判断する。第１、第２差異が大きい場合には、撮像動作、及び画像の合成処理を中止する。このため、複数回の撮像動作で得られた画像を読み出し、動きベクトルなどから、ズレの少ない合成画像を得ることが出来るか否かを判断する形態に比べて、早い段階でかかる判断をすることが可能になる。

次に、第２実施形態について説明する。第２実施形態では、信号処理部２７は、第１、第２差異に基づいて、画像ズレの少ない合成画像が得られるか否かを判断し、画像ズレの少ない合成画像を得ることが出来ないと判断した場合に、画像ズレを補正する位置合わせを行う。以下、第１実施形態と異なる点を中心に説明する。

撮像装置１の構成は、第１実施形態と同じであるが、信号処理部２７は、第１、第２差異のいずれか（第１、第２差異の絶対値のいずれか）が第１閾値よりも大きいか否かを判断する。大きい場合には、二回目以降の撮像動作で得られる画像の、一回目の撮像動作で得られる画像に対するズレが大きく、これらの画像を位置合わせせずに合成した場合に画像ズレの少ない合成画像を得ることが出来ないと判断し、複数回の撮像動作で得られた画像を比較して、ズレ量の算出し、ズレ量に基づいて位置合わせを行った上で、複数の画像を合成する。

次に、第２実施形態における複数回の撮像動作、及び合成処理手順について、図３のフローチャートを用いて説明する。

なお、検知部３７による第１、第２角速度の検出、及び信号処理部２７による第１、第２ズレ角度の算出は、撮像装置１の電源がオン状態にされた時点から、一定時間ごとに、行われている。

撮像装置１が第１使用モードにされた状態で、レリーズボタンが全押しされると、ステップＳ３１で、信号処理部２７は、これから行う撮像動作が、合成画像を得るために設定した複数回の撮像動作のうち、一回目の撮像動作であるか否かを判断する。一回目の撮像動作である場合には、ステップＳ３２に進められ、二回目以降の撮像動作である場合には、ステップＳ３３に進められる。なお、第２実施形態では、合成画像を得るために設定した撮像動作の回数が２回である例を説明するが、３回以上行われる形態であってもよい。

ステップＳ３２で、信号処理部２７は、撮像動作における露光時間開始時点の第１、第２ズレ角度を、それぞれ第１、第２初期値として、内部メモリ２９に一時記録させる。

ステップＳ３３で、信号処理部２７は、第１、第２差異（今回の撮像動作における露光時間開始時点の第１、第２ズレ角度と、内部メモリ２９に一時記録された第１、第２初期値との差異）を算出し、内部メモリ２９に一時記録させる。従って、二回目以降の撮像動作が行われる度に、第１、第２差異の算出が行われ、内部メモリ２９には、二回目以降の撮像動作における露光開始時点に対応した第１、第２差異が一時記録される。

ステップＳ３４で、信号処理部２７は、撮像動作を行うために撮像装置１の各部の制御を行い、撮像動作が行われる。ステップＳ３４の撮像動作で得られた画像は、内部メモリ２９に一時記録される。ステップＳ３５で、信号処理部２７は、合成画像を得るために設定した複数回の撮像動作が行われたか否かを判断する。行われた場合は、ステップＳ３６に進められる。行われていない場合は、ステップＳ３１に戻され、次の撮像動作が露光条件を変えて行われる。

ステップＳ３６で、信号処理部２７は、二回目以降の撮像動作の度に一時記録された第１、第２差異のいずれか（第１、第２差異の絶対値のいずれか）が第１閾値よりも大きいか否かを判断する。大きくない場合は、二回目以降の撮像動作で得られる画像の、一回目の撮像動作で得られる画像に対するズレが小さく、これらの画像を位置合わせせずに合成した場合に画像ズレの少ない合成画像を得ることが出来るとして、ステップＳ３８に進められる。大きい場合には、ステップＳ３７で、信号処理部２７は、二回目以降の撮像動作で得られる画像の、一回目の撮像動作で得られる画像に対するズレが大きく、これらの画像を位置合わせせずに合成した場合に画像ズレの少ない合成画像を得ることが出来ないとして、ステップＳ３７に進められる。

なお、ステップＳ３６の前に、使用者の手動により撮像装置１がステップＳ３６の判断を行うズレ検知モードに設定されているか否かを判断するステップを設け、ズレ検知モードでない場合には、ステップＳ３６、Ｓ３７の処理を行わずに、ステップＳ３８に進める形態であってもよい。

ステップＳ３７で、信号処理部２７は、内部メモリ２９に一時記録された複数枚の画像を読み出しし、一回目の撮像動作で得られた画像と、二回目以降の撮像動作で得られた画像とを比較し、画像のズレ量を算出し、ズレ量に基づいて画像の位置合わせを行う。なお、ズレ量の算出は、画像の比較に代えて、第１、第２差異に基づいて算出する形態であってもよいし、これらの両方に基づいて算出する形態であってもよい。ステップＳ３７の前（撮像動作前）に既に求められた第１、第２差異に基づいてズレ量を算出する場合には、撮像動作後に得られる画像を比較してズレ量を算出する場合に比べて、ズレ量算出処理を速くすることが可能になる。なお、ズレ量が大きすぎて、画像の位置合わせが出来ない場合には、信号処理部２７は、かかる旨の警告を表示部３５に表示させ、撮像動作及び画像の合成処理を中止する。

また、画像の比較に基づいて、ズレ量を算出する場合、画像全体を比較する形態であってもよいが、合焦領域、顔領域、所定の色領域、所定の明るさ領域など、特定の領域の画像を比較する形態であってもよい。この場合、特定の領域に含まれる画像の位置合わせが重点的に行われる。

ステップＳ３８で、信号処理部２７は、内部メモリ２９に一時記録された複数枚の画像を合成し、実質的なダイナミックレンジが広げられた一枚の画像を生成し、外部メモリ３３への記録や、表示部３５への表示を行う。特に、ステップＳ３７の後に行われるステップＳ３９の処理では、画像のズレ量に基づく画像の位置合わせ（ズレの補正）を行った後、画像の合成を行う。

第２実施形態では、撮像装置１の保持状態（第１、第２ズレ角度）、すなわち、一回目の撮像動作の露光時間開始時点における撮像装置１の位置（保持状態）と二回目の撮像動作の露光時間開始時点における撮像装置１の位置（保持状態）との差異（第１、第２差異）に応じて、画像ズレの少ない合成画像が得られるか否かを判断する。第１、第２差異が大きくない場合には、位置合わせせずに画像の合成処理を行い、第１、第２差異が大きい場合には、ズレ量を補正する位置合わせを行った後、画像の合成処理を行う。このため、複数回の撮像動作で得られた画像を読み出し、動きベクトルなどから、ズレの少ない合成画像を得ることが出来るか否かを判断する形態に比べて、早い段階でかかる判断をすることが可能になる。

次に、第３実施形態について説明する。第３施形態では、信号処理部２７は、第１、第２差異に基づいて、撮像部２５を移動させて、フレーム間でズレの無い状態で、すなわち被写体像の結像面位置を一定に保った状態で、複数回の撮像動作を行うことが出来るか否かを判断し、出来ないと判断した場合に、撮像動作、及び画像の合成処理を中止する。以下、第１実施形態と異なる点を中心に説明する。

撮像装置１は、デジタルカメラであり、第１実施形態における撮像装置１に比べて、更に補正部３９を備える（図４参照）。

第３実施形態において、撮像装置１が第１使用モードにされている場合は、複数回の撮像動作の露光時間開始時点における、被写体の撮像部２５の結像面上の位置を一定にするズレ補正処理が行われ、撮像部２５の位置が調整される。

具体的には、信号処理部２７は、撮像装置１が第１使用モードにされている場合に、露光条件が異なる状態で連続して複数回の撮像動作を行うように各部を制御し、複数回の撮像動作で得られた画像信号について画像処理を施し、画像処理を施して得られた複数の画像の合成し、一枚の画像を得る。特に、後述する検知部３７からの情報に基づいて、補正部３９を駆動し、撮像部２５の移動制御（ズレ補正処理）を行う。

補正部３９は、信号処理部２７によって駆動され、撮像部２５を、レンズ１９の光軸ＬＸに垂直な平面上を移動させる。補正部３９による撮像部２５の移動制御は、例えば、電磁力による移動と、ホールセンサによる位置検出とを使ったＰＩＤ制御で行われる。

撮像装置１が第１使用モードにされている場合には、補正部３９は、複数回の撮像動作のうち、一回目の撮像動作における露光時間開始時点に、撮像部２５を移動範囲の中心に移動させ、二回目以降の撮像動作における露光時間開始時点に、撮像部２５を第１、第２初期値からのズレ量（第１、第２ズレ角度と第１、第２初期値との第１、第２差異）を補正する位置に移動させる（図５参照）。露光時間中は、補正部３９は、露光時間開始時点の位置を維持する。これにより、フレーム間で、手ブレなど撮像装置１の保持位置の移動によって生じた被写体像の結像面におけるズレが無くなり、被写体像の結像面位置が一定に保たれる。

但し、二回目以降の撮像動作における露光時間開始時点の第１、第２差異のいずれか（第１、第２差異の絶対値のいずれか）が第２閾値（＞第１閾値）よりも大きく、撮像部２５を移動させて、フレーム間でズレの無い状態で、すなわち被写体像の結像面位置を一定に保った状態で、複数回の撮像動作を行うことが出来ないと判断した場合、すなわち、ズレ量を補正するために、撮像部２５の移動範囲を超えた移動が必要な場合には、信号処理部２７は、ズレ補正処理を継続出来ない旨の警告を表示部３５に表示させ、撮像動作、及び画像の合成処理を中止する。

次に、第３実施形態における複数回の撮像動作、及び合成処理手順について、図６のフローチャートを用いて説明する。

なお、検知部３７による第１、第２角速度の検出、及び信号処理部２７による第１、第２ズレ角度の算出は、撮像装置１の電源がオン状態にされた時点から、一定時間ごとに、行われている。

撮像装置１が第１使用モードにされた状態で、レリーズボタンが全押しされると、ステップＳ５１で、信号処理部２７は、これから行う撮像動作が、合成画像を得るために設定した複数回の撮像動作のうち、一回目の撮像動作であるか否かを判断する。一回目の撮像動作である場合には、ステップＳ５２に進められ、二回目以降の撮像動作である場合には、ステップＳ５６に進められる。なお、第３実施形態では、合成画像を得るために設定した撮像動作の回数が２回である例を説明するが、３回以上行われる形態であってもよい。

ステップＳ５２で、信号処理部２７は、補正部３９を駆動し、撮像部２５を移動範囲の中心に移動させ、次の撮像動作の露光時間開始時点までかかる位置に固定する。また、信号処理部２７は、撮像動作における露光時間開始時点の第１、第２ズレ角度を、それぞれ第１、第２初期値として、内部メモリ２９に一時記録させる。

ステップＳ５３で、信号処理部２７は、撮像動作を行うために撮像装置１の各部の制御を行い、撮像動作が行われる。ステップＳ５３の撮像動作で得られた画像は、内部メモリ２９に一時記録される。ステップＳ５４で、信号処理部２７は、合成画像を得るために設定した複数回の撮像動作が行われたか否かを判断する。行われた場合は、ステップＳ５５に進められる。行われていない場合は、ステップＳ５１に戻され、次の撮像動作が露光条件を変えて行われる。

ステップＳ５５で、信号処理部２７は、内部メモリ２９に一時記録された複数枚の画像を合成し、実質的なダイナミックレンジが広げられた一枚の画像を生成し、外部メモリ３３への記録や、表示部３５への表示を行う。

ステップＳ５６で、信号処理部２７は、第１、第２差異（今回の撮像動作における露光時間開始時点の第１、第２ズレ角度と、内部メモリ２９に一時記録された第１、第２初期値との差異）を算出する。ステップＳ５７で、信号処理部２７は、補正部３９が撮像部２５を、第１、第２差異に基づいて、ズレを補正する位置に移動させることが出来るか否かを判断する。すなわち、第１、第２差異が第２閾値よりも大きいか否か（第１、第２差異に基づく撮像部２５の移動量が、撮像部２５の移動範囲内にあるか否か）を判断する。移動させることが出来る場合は、ステップＳ５８に進められ、出来ない場合は、ステップＳ５９に進められる。

なお、ステップＳ５７の前に、使用者の手動により撮像装置１がステップＳ５７の判断を行うズレ検知モードに設定されているか否かを判断するステップを設け、ズレ検知モードでない場合には、ステップＳ５７〜Ｓ５９の処理を行わずに、ステップＳ５３に進める形態であってもよい。

ステップＳ５８で、信号処理部２７は、補正部３９を駆動し、撮像部２５を、第１、第２差異に基づいて、ズレを補正する位置に移動させ、次の撮像動作の露光時間開始時点までかかる位置に固定する。

ステップＳ５９で、信号処理部２７は、ズレ補正処理を継続出来ない旨の警告を表示部３５に表示させ、手順を終了する。

第３実施形態では、撮像装置１の保持状態（第１、第２ズレ角度）、すなわち、一回目の撮像動作の露光時間開始時点における撮像装置１の位置（保持状態）と二回目の撮像動作の露光時間開始時点における撮像装置１の位置（保持状態）との差異（第１、第２差異）に応じて、撮像部２５を移動させるので、フレーム間でズレの無い状態で、すなわち被写体像の結像面位置を一定に保った状態で、複数回の撮像動作を行う事が出来る。このため、実質的なダイナミックレンジを広げるために行われる、該複数回の撮像動作で得られた画像の合成を、ズレの無い状態で行うことが可能になる。このため、撮像により得られた画像の全範囲を使って合成画像を得ることが可能になる。

また、撮像部２５の移動制御を行っても、複数回の撮像動作の少なくとも露光時間開始時点における、被写体の前記撮像素子の結像面上の位置を一定にすることが出来ない程度に、第１、第２差異が大きい（第２閾値よりも大きい）、すなわち、撮像部２５の移動でズレを無くすことが出来ない場合には、ズレの無い合成画像を得ることが出来ないと判断して、撮像動作、及び画像の合成処理を中止する。このため、複数回の撮像動作で得られた画像を読み出し、動きベクトルなどから、ズレの少ない合成画像を得ることが出来るか否かを判断する形態に比べて、早い段階でかかる判断をすることが可能になる。

なお、手ブレ補正機能を有する静止画の撮像装置において、連続して静止画の撮像を行う場合、撮像部（又は像ブレ補正レンズ）が移動して、露光期間中のブレは補正されるが、撮像動作における露光開始の度に、撮像部は、移動範囲の中心に移動せしめられる（図７参照）。このため、フレーム間で、被写体像の結像面位置を一定に保つことは出来ない。

また、手ブレ補正機能を有する動画の撮像装置において、動画の撮像を行う場合、撮像部は、複数回の撮像動作のうち、一回目の撮像動作における露光時間開始時点に、移動範囲の中心に移動せしめられ、それ以降は、撮像部を第１、第２初期値からのズレ量（第１、第２ズレ角度と第１、第２初期値との第１、第２差異）を少なくする位置に移動せしめられるが、パンニングなど手ブレ補正で対応出来ない大きなブレを考慮した上で、ブレの少ない動画像が得るための調整を行うので、完全にズレ量を０にする位置に移動せしめられる訳では無い（図８参照）。このため、フレーム間で、被写体像の結像面位置を一定に保つことは出来ない。

なお、第３実施形態では、検知部３７が、ヨーイングに基づく第１ズレ角度、及びピッチングに基づく第２ズレ角度を検知する形態を説明したが、これらに加えて、ローリングに基づく第３ズレ角度を検知する形態であってもよい。この場合は、撮像部２５を、レンズ１９の光軸ＬＸに垂直な平面上で、回転を含む移動をさせる制御を行って、第１〜第３ズレ角度に基づくズレ補正処理を行う。

具体的には、信号処理部２７は、撮像動作における露光時間開始時点の第１〜第３ズレ角度を、それぞれ第１〜第３初期値として、内部メモリ２９に一時記録させる。信号処理部２７は、第１〜第３差異（今回の撮像動作における露光時間開始時点の第１〜第３ズレ角度と、内部メモリ２９に一時記録された第１〜第３初期値との差異）を算出する。信号処理部２７は、補正部３９が撮像部２５を、第１〜第３差異に基づいて、ズレを補正する位置に移動させることが出来るか否かを判断する。

移動させることが出来る場合は、信号処理部２７は、補正部３９を駆動し、撮像部２５を、第１〜第３差異に基づいて、ズレを補正する位置に回転を含む移動を行い、次の撮像動作の露光時間開始時点までかかる位置に固定する。移動させることが出来ない場合は、信号処理部２７は、ズレ補正処理を継続出来ない旨の警告を表示部３５に表示させ、撮像動作、及び画像の合成処理を中止する。

なお、第３ズレ角度の検出は、角速度センサによるものであってもよいし、所定方向の重力加速度成分を検出する加速度センサによるものであってもよい。

また、第３実施形態では、撮像部２５を移動制御してズレ補正処理を行う形態を説明したが、レンズ１９内に設けられた可動レンズを、光軸ＬＸに垂直な平面上で移動制御してズレ補正処理を行う形態であってもよい。但し、この場合には、ローリングに基づくズレは考慮されない。

また、第３実施形態では、第１、第２差異に基づいて、二回目以降の露光時間開始時点の撮像部２５の位置を制御して、フレーム間の被写体の結像面位置を一定に保つ形態を説明したが、更に露光時間中も一定時間ごとに第１、第２差異を算出し、かかる第１、第２差異に基づいてズレ（手ブレ）を補正するように、撮像部２５を移動制御してもよい。これにより、露光時間中に発生する手ブレを考慮して、被写体の結像面位置を一定に保つことが可能になる。

なお、第１〜第３実施形態では、露光条件の異なる状態で複数回の撮像動作が行われる形態を説明したが、露光条件が同じ状態で複数回の撮像動作が行われる形態であってもよい。

１ 撮像装置
１１ 操作部
１３ ＡＦ部
１５ ＡＥ部
１７ 絞り
１９ レンズ
２１ ミラー
２３ シャッタ
２５ 撮像部
２７ 信号処理部
２９ 内部メモリ
３１ フラッシュメモリ
３３ 外部メモリ
３５ 表示部
３７ 検知部
３９ 補正部
ＬＸ レンズの光軸

Claims (6)

1. 複数回行われる撮像動作のために、レンズを介して入射した光学像を撮像する撮像素子と、
   前記複数回の撮像動作で得られた画像の合成を行って、合成画像を生成する制御部とを備え、
   前記制御部は、前記複数回の撮像動作のうち、二回目以降の撮像動作の露光時間開始時点の位置と、一回目の撮像動作の露光時間開始時点における位置との差異に基づいて、画像ズレの少ない状態で前記合成画像を生成することが可能であるか否かを判断することを特徴とする撮像装置。
2. 前記制御部は、前記差異が大きい場合には、前記複数回の撮像動作で得られた画像の位置合わせをせずに合成した場合に画像ズレの少ない状態で合成画像を得ることが出来ないと判断して、前記位置合わせを行った後に、前記合成画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、前記差異に基づいて、前記位置合わせを行うことを特徴とする請求項２に記載の撮像装置。
4. 前記制御部は、前記差異が大きい場合には、画像ズレの少ない状態で前記合成画像を得ることが出来ないと判断して、前記複数回の撮像動作で得られた画像の合成を中止することを特徴とする請求項１に記載の撮像装置。
5. 前記制御部は、前記レンズに含まれる可動レンズと前記撮像素子のいずれかを、前記レンズの光軸に垂直な平面上で、前記可動レンズ以外のレンズに対して相対的に移動させる移動制御を行い、
   前記複数回の撮像動作の少なくとも露光時間開始時点における、被写体の前記撮像素子の結像面上の位置を一定にするために、前記差異に基づいて、前記二回目以降の撮像動作の露光時間開始時点における前記移動制御が行われ、
   前記制御部は、前記移動制御を行っても、前記複数回の撮像動作の少なくとも露光時間開始時点における、被写体の前記撮像素子の結像面上の位置を一定にすることが出来ない程度に、前記差異が大きいか否かに基づいて、前記画像ズレの少ない状態で前記合成画像を生成することが可能であるか否かを判断することを特徴とする請求項１に記載の撮像装置。
6. 前記複数回の撮像動作は、露光条件の異なる状態で行われることを特徴とする請求項１に記載の撮像装置。

Images