JP2014131151A - 撮像装置 - Google Patents

Abstract

【課題】ローリングシャッタとグローバルシャッタを使い分け、被写体や撮像シーンに応じた画像を取得する。
【解決手段】ローリングシャッタによる第１撮像モード又はグローバルシャッタによる第２撮像モードに従って複数の画像を連続的に取得し、取得された複数の画像のうち１の画像を基準画像とし、その他の画像を参照画像として、基準画像の複数の領域毎に対応する参照画像中の位置を基準とした所定の検出範囲において、基準画像と参照画像との間の位置ずれ量を検出し、検出された位置ずれ量に基づいて第２撮像モードで撮像した際の画像中の動体の基準画像と参照画像との間の移動量を検出する。そして、第２撮像モードで撮像した際の動体移動量が検出範囲又は検出範囲よりも小さい範囲に相当する所定量を超える場合は第１撮像モードに設定し、動体移動量が検出範囲又は検出範囲よりも小さい範囲に相当する所定量を超えない場合は第２撮像モードに設定する。
【選択図】図１

Description

本発明は、撮像装置に関するものである。

従来、同一の被写体について時間的に連続した複数の画像を取得し、例えばブロックマッチング法等により画像間の各局所領域の位置ずれ量を補正して合成することで、ノイズを低減する等させた合成画像を生成する技術が知られている（例えば、特許文献１）。
ブロックマッチング法では、画像間の局所領域をマッチングさせることにより位置ずれ量を補正するが、マッチングを取るサーチ範囲（位置ずれ量検出範囲）は、処理時間やハードウエアの制約から実製品では上限が設けられている。そこで、特許文献１では、動く被写体、すなわち動体が、画像取得の最中に上記の検出範囲を超えた場合や、移動量が大きく動体の形状変化が大きい場合には、動体領域の合成を積極的に行わずに動体の多重像化を抑制している。

ところで、近年、連写撮影の速度を示すフレームレートの高速化が進んでおり、連写画像間の動体の移動量が小さくなり、動体領域の合成が可能となる場合がある。ここで、撮像装置のフレームレートは、露光条件、特にシャッタ方式に依存している。所謂ＣＭＯＳセンサ式撮像素子においては、全画素を同時に露光するグローバルシャッタ方式と、撮像素子を水平または垂直ラインごとに順次露光し読み出していくローリングシャッタ方式とがあり、何れのシャッタによる画像取得においても夫々異なるメリット及びデメリットがある。

すなわち、ローリングシャッタは、グローバルシャッタよりフレームレートを高めることができるが、撮像素子の走査ライン位置毎に露光のタイミングが異なるため、被写体が動くとフォーカルプレーン歪と呼ばれる歪が発生することが知られている。
一方、グローバルシャッタは、動体を撮影しても上記歪は発生しないが、（全画素）露光後に全画素を読み出していくためローリングシャッタほどフレームレートを高めることはできない。

特開２００９−２９０８２７号公報 特開２０１０−６８２４０号公報

上述のように、何れかのシャッタによって取得された複数枚の画像を合成する際に、画像中の動体領域も合成する場合、各シャッタの特性の相違から合成した画像の画質が必ずしも改善されるとは言えない場合がある。
すなわち、ローリングシャッタを適用して画像を取得した場合、フレームレートが高いので動体の画像間の位置ずれ量が小さく位置合わせが可能となるが、フォーカルプレーン歪が生じて合成前の画像が劣化してしまう虞がある。一方、グローバルシャッタを適用して画像を取得すると、フォーカルプレーン歪は発生しないものの、比較的高速な動体の位置合せができず、動体領域を合成できなくなる場合が増加する。

本発明は、上記問題に鑑みてなされたものであって、ローリングシャッタとグローバルシャッタを適切に使い分け、被写体や撮像シーンに応じた画像を取得することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、ローリングシャッタによる第１撮像モード及びグローバルシャッタによる第２撮像モードを有し、何れかの撮像モードに従って複数の画像を連続的に取得する撮像部と、該撮像部により取得された複数の画像のうち１の画像を基準画像とし、該基準画像以外の画像を参照画像として、前記基準画像の複数の領域毎に、対応する前記参照画像中の位置を基準とした所定の検出範囲において、前記基準画像と前記参照画像との間の位置ずれ量を検出する位置ずれ量検出部と、検出された前記位置ずれ量に基づいて、前記第２撮像モードで撮像した際の前記画像中の動体の前記基準画像と前記参照画像との間の移動量を検出する動体移動量検出部と、第２撮像モードで撮像した際の前記動体移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超える場合は撮像モードを前記第１撮像モードに設定し、前記動体移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超えない場合は撮像モードを前記第２撮像モードに設定するように前記撮像部を制御する制御部と、を備える撮像装置を提供する。

本発明によれば、撮像部がローリングシャッタによる第１撮像モードとグローバルシャッタによる第２撮像モードとを有しており、撮像部により取得された画像のうち１の画像を基準画像とし、基準画像以外の画像を参照画像とする。このとき、便宜的に画像を所定の小領域に分割し、予め定めた検出範囲内において基準画像と参照画像との間の位置ずれを小領域毎に検出する。そして、検出された位置ずれ量から、動体の有無と共に動体が存在する場合には当該動体の移動量を検出することができる。動体の移動量が検出されると、この移動量と移動量を検出する基となった画像のフレームレート等に基づいて動体の速度を把握することができるので、制御部が、移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超えるか否か、つまり、動体の速度が所定の速度を超えるか否かを基準として第１撮像モード又は第２撮像モードの何れか適している撮像モードに設定するように撮像部を制御する。

すなわち、制御部が、検出された動体の移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超える場合、つまり、動体の移動速度が比較的早い場合には第１撮像モードに設定してローリングシャッタを適用し、検出された動体の移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超えない場合、つまり、動体の移動速度が比較的遅い場合には第２撮像モードに設定してグローバルシャッタを適用するように撮像部を制御するので、被写体や撮像シーンに応じた画像を取得することができる。
そして、例えば、このような本発明に係る撮像装置により取得された画像を合成処理する場合において、比較的低速な動体の場合には歪みのない画像をもとに合成画像を生成することができ、比較的高速な動体の場合には高いフレームレートにより取得された複数の画像を合成することで滑らかな合成画像を得ることができ、被写体や撮像シーンに応じた最適な合成画像を生成することができる。

上記発明において、前記位置ずれ量の検出及び前記動体移動量の検出を、第２撮像モードで取得された少なくとも２枚の画像に基づいて行うことが好ましい。
このようにすることで、グローバルシャッタを適用して基準画像及び参照画像を取得するので、基準画像及び参照画像にフォーカルプレーン歪みが生じない基準画像及び参照画像を取得することができる。

また、上記発明において、前記動体移動量検出部は、前記第１撮像モードで撮像した際の、前記動体の前記基準画像と前記参照画像との間の移動量をさらに検出し、前記制御部は、前記第２撮像モードで撮像した際の前記動体の移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超えるが、前記第１撮像モードで撮像した際の前記動体の移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超えない場合は、撮像モードを前記第１撮像モードに設定するように前記撮像部を制御することが好ましい。

さらに、上記発明において、前記基準画像と前記参照画像を位置合わせして合成画像を生成する画像合成部をさらに備え、前記第１撮像モードで撮像した際の前記動体の移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超える場合は、前記基準画像と前記参照画像を合成しないように前記画像合成部を制御することが好ましい。

本発明によれば、ローリングシャッタとグローバルシャッタを適切に使い分け、被写体や撮像シーンに応じた画像を取得することができるという効果を奏する。

本発明の第１実施形態に係る撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態に係る撮像装置において、画像取得の流れを示すフローチャートである。 画像中を便宜的に小領域に分割したブロックを格子状に配置した場合を説明する模式図である。 検出した位置ずれ量に基づいて、信頼性の高いブロックに対する位置ずれ量を階級としたヒストグラムの例である。 本発明の第１実施形態の変形例に係る撮像装置において、画像取得の流れを示すフローチャートである。

（第１実施形態）
以下に、本発明の第１実施形態に係る撮像装置について図面を参照して説明する。

図１は、撮像装置１０の概略構成を示している。撮像装置１０は、複数の画像を連続的に取得して、取得した複数画像に基づいてローリングシャッタを適用した撮像モード又はグローバルシャッタを適用した撮像モードを選択し、選択した撮像モードで画像を取得するように制御する撮像装置である。
このため、図１に示すように、撮像装置１０は、複数の画像を連続的に取得する撮像部１１と、撮像部１１により取得された複数の画像間の位置ずれ量を検出する位置ずれ量検出部１２と、複数の画像間における動体の移動量を検出する動体移動量検出部１３と、撮像部１１を制御する制御部１４とを備えている。

撮像部１１は、レンズ１０１、絞り１０２、グローバルシャッタ１０３及び撮像素子１０４を備えている。
グローバルシャッタ１０３は、全受光画素において露光時間及びリセットを同一のタイミングで行うものであり、後述する制御部１４により駆動及び制御される。
撮像素子１０４は、レンズ１０１により結像した光学像を光電変換して電気信号である画像信号に変換するものであり、例えばＣＭＯＳセンサを適用することができる。また、撮像素子１０４は、電子式ローリングシャッタ機能（以下、単に「ローリングシャッタ」という）を備えている。

従って、撮像部１１は、ローリングシャッタによる第１撮像モード及びグローバルシャッタによる第２撮像モードを有し、制御部１４により何れかの撮像モードが選択され、選択された撮像モードによって露光時間を制御した複数の画像を連続的に取得する。そして、取得した複数の画像は、図示しない前処理部でＯＢ（オプティカルブラック）減算処理等を行った後、撮像素子１０４の座標位置に対応した画素値をデジタルデータとしてメモリ１５に格納する。
なお、撮像素子１０４が電子式グローバルシャッタ機能を有する場合は、上述したグローバルシャッタ１０３に代えて、電子式のグローバルシャッタを適用することができる。

位置ずれ量検出部１２は、撮像部１１により取得された複数の画像のうち１の画像を基準画像とし、基準画像以外の画像を参照画像として、画像中の所定の検出範囲において、所定の領域毎に基準画像と参照画像との間の位置ずれ量を検出する。
動体移動量検出部１３は、位置ずれ量検出部１２が検出した位置ずれ量に基づいて、画像中の動体を検出し、動体が存在する場合に、動体の基準画像と参照画像との間の移動量を検出する。

制御部１４は、動体移動量検出部１３による検出結果に基づいて、第１撮像モード又は第２撮像モードを選択し、選択した撮像モードに設定するように撮像部１１を制御する。
メモリ１５は、撮像部１１から入力された時間的に連続する画像を記憶する。
操作部１６は、例えば、ユーザからの撮像開始等の指示に係る入力を受け付けると共に、この入力に基づく指示を制御部１４に送信する。

なお、このように構成された撮像装置１０は、画像処理装置２０等に接続することができ、例えば、画像処理装置２０では、撮像装置１０により取得された複数の画像を補正部２０１により位置合わせを行い、位置合わせされた画像を加算平均部２０２により重ね合わせ合成を行い、処理部２０３により所定の画像処理を行うことにより、所望の合成画像を生成することができる。

以下、このように構成された撮像装置１０における撮像処理について図２のフローチャートに従って説明する。なお、以下の説明においては、例として、撮像部１１は、予め定められた計Ｎ枚の画像を撮像することとし、まず、位置ずれ検出及び動体移動量検出の為に、第２撮像モードによって２枚の画像を取得することとして説明する。
ユーザにより操作部１６の撮像開始の指示（例えば、図示しないシャッタボタンが全押しされた場合等）が入力された場合、撮像部１１が２枚の画像を連続的に取得する（ステップＳ１００）。取得された２枚の画像は撮像素子の画素位置に応じた画素値に係るデジタルデータとしてメモリ１５に格納される。

次のステップＳ１０１において、位置ずれ量検出部１２が、メモリ１５に格納された２枚の画像のうち最初の画像を基準画像、次の画像を参照画像とし、基準画像の所定の小領域を基準として、参照画像の対応する位置へのずれ量を算出する。
つまり、位置ずれ量検出部１２は、図３に示すように、基準画像上に便宜的に所定の小領域としてのブロックを格子状に配置する。図３においては、基準画像の画素数が横ｐ個、縦ｑ個であるとし、ブロックを格子状にｍ列ｎ行に配置した場合を示している。ここで、図３中［ｉ，ｊ］はブロックの横方向、縦方向の位置を示し、（ｘ，ｙ）は画像の各画素の座標を示す。

位置ずれ量検出部１２では、メモリ１５から基準画像と参照画像の必要部分を読み出し、全てのブロックについて、相関値の一種であるＳＡＤ値を利用したブロックマッチング法による位置ずれ量を算出する。すなわち、ブロック毎に予め定めた検出範囲内において位置ずれ量を検出する。

以下、ＳＡＤ値の算出方法について説明する。
基準画像上のある指定のブロックから（Ｖｘ，Ｖｙ）だけずれた位置の参照画像上の同一サイズのブロックとの間のＳＡＤは以下の（１）式及び（２）式で得られる。
ＳＡＤ（Ｖｘ，Ｖｙ）＝
Σ｜Ｌ’（ｂｅｘ＋Ｖｘ＋ｘ，ｂｅｙ＋Ｖｙ＋ｙ）−Ｌ（ｂｅｘ＋ｘ，ｂｅｙ＋ｙ）｜ …（１）
ｘ＝−ｂｈ／２〜＋ｂｈ／２， ｙ＝−ｂｖ／２〜＋ｂｖ／２ …（２）
但し、ｂｈ，ｂｖはブロックの水平、垂直方向の画素数であり、（ｂｅｘ，ｂｅｙ）は基準画像上の指定ブロックの中心位置、Ｌ（ｘ，ｙ）は基準画像の画素座標（ｘ，ｙ）での画素値、Ｌ’（ｘ，ｙ）は参照画像の画素座標（ｘ，ｙ）での画素値である。また、ｓｈ，ｓｖはＳＡＤ値最小位置を検出するサーチ領域、つまり検出範囲の、水平、垂直方向の画素数である。

よって、Ｖｘは以下の（３）式のようになる。
Ｖｘ＝−ｓｈ／２〜＋ｓｈ／２、Ｖｙ＝−ｓｖ／２〜＋ｓｖ／２ …（３）
ｓｈ，ｓｖは大きいほどずれ量を測定できる範囲が広くなるが、計算時間も大きくなるため、一連の処理時間が現実的になるレベルに抑えられている。

あるブロックについて、この計算を（Ｖｘ，Ｖｙ）を検出範囲内で実行し、相関が最大、すなわち、ＳＡＤが最小となった（Ｖｘ，Ｖｙ）がこのブロックの位置ずれ量として選択される。なお、ここではブロックマッチング法における相関値としてＳＡＤを利用したが、その他の相関計算方法を利用することもできる。

続いて、ステップＳ１０２において、画像中の動体を検出すると共に、動体の基準画像と参照画像との間の位置ずれ量を、すなわち、動体の移動量を検出する。
画像中の動体領域の識別とその移動量の検出方法には、さまざまな方法が提案されているが、以下、各ブロックの位置ずれ量とその信頼性を利用した方法を説明する。

まず、位置ずれ量検出部１２によって検出された位置ずれ量の信頼性を判定する。信頼性判定としては、種々の方法があるが、位置ずれ量検出部１２においてブロックマッチング法による位置ずれ検出結果に従って、以下ブロックマッチング法で得られる相関値の分布を利用した、以下の方法を説明する。

基準画像上のあるブロックについて、上述したＳＡＤ（Ｖｘ，Ｖｙ）は（Ｖｘ，Ｖｙ）ごとに種々の値をとるが、値の小さいものから順に順位を付与した場合、以下の（ｉ）、（ｉｉ）のようになる。

（ｉ） ブロックが一様なパターンの場合
（Ｖｘ、Ｖｙ）によるＳＡＤの間の差が小さいため、ＳＡＤの最上位の値と他の上位（例えば２〜８位）の値の平均値との差がある閾値より小さければ信頼性は低い、と判断できる。

（ｉｉ） 繰り返しパターンの場合
一致するパターン位置ごとにＳＡＤが極小値を持つため、その極小値となる各ＳＡＤ値の差が小さければ信頼性は低い、と判断できる。
また、信頼性判定の方法としては、相関値を用いた他の方法や、相関値を用いない、例えば、自身と近傍の位置ずれ量の類似度によって判断する方法など、他の妥当な方法を利用して良い。
ここで、信頼性が高信頼となったブロックが一つ以下の場合は以降の処理は実施できないため、処理を中止とする。

上述の信頼性判定において、信頼性が高いと判定された全ブロックについて、例えば図４に示すような、算出された位置ずれ量を階級としたヒストグラムを生成する。
ヒストグラムの階級は実際には２次元であるが、図４では簡略化して１次元で示している。ヒストグラムの頻度に複数の極大値がある場合、最大値にあたる階級値Ｐ１は手振れによる動体以外の背景領域の位置ずれ量と判断し、２番目の極大値に当たる階級値Ｐ２を手振れと主要な動体の動きによる位置ずれ量と判断する。Ｐ２が存在しない場合は、動体の動きがないことと同等になるようにＰ１と同じ値としておく。

そして、これらの極大値から、Ｐ２−Ｐ１が基準画像と参照画像との間で発生した動体の移動量となる。さらに、この「Ｐ２−Ｐ１」のうち、水平成分又は垂直成分のうち、何れか大きい方を選択し、その値すなわち、動体の移動量を水平成分の場合はＰｘ、垂直成分の場合はＰｙとする。なお、以下、水平成分のほうが大きい場合について説明する。

なお、フレームレートがある程度高速であれば手振れによる移動量Ｐ１はＰ２に対し十分に小さく無視して良いと仮定しているが、焦点距離が大きくＰ１が無視できなくなる場合などは、Ｐ２−Ｐ１の代わりに、手振れ成分も含んだＰ２を利用したほうが良い場合もある。

次のステップＳ１０３及びステップＳ１０４において、制御部１４が動体の移動量Ｐｘに基づいて、動体領域が合成可能であるか否かを判定し、合成が可能である場合には、以降の画像取得において何れの撮像モードを選択するか判断する。具体的には、制御部１４は、動体の速度が撮影中はほぼ一定であると仮定し、Ｐｘを以下のように分類する。

（ｓｈ＊Ｒ／（Ｎ−１）／２）≦Ｐｘ …（４）
（ｓｈ／（Ｎ−１）／２）＜Ｐｘ≦（ｓｈ＊Ｒ／（Ｎ−１）／２） …（５）
Ｐｘ≦（ｓｈ／（Ｎ−１）／２） …（６）
但し、Ｎは撮影枚数、Ｒはシャッタのフレームレート比（ローリングシャッタのフレームレート／グローバルシャッタのフレームレート）、ｓｈは検出範囲の水平方向画素数である。なお、垂直成分Ｐｙが大きかった場合には、ＰｘをＰｙ，ｓｈをｓｖとおきかえる。

（４）式は、ローリングシャッタのフレームレートでも、Ｎ枚撮影中に動体の位置ずれ量が検出範囲を超えてしまうことを示している。
（５）式は、グローバルシャッタではＮ枚撮影中に位置ずれ量が検出範囲を超えてしまうが、ローリングシャッタなら全画像の位置ずれ量が検出範囲に収まることを示している。
（６）式は、グローバルシャッタでも全画像の位置ずれ量が検出範囲に収まることを示している。
ここで、上記（４）〜（６）式では位置ずれ量が検出範囲に収まるか否かを示しているが、検出範囲よりも小さい所定の範囲に収まるか否かに基づいて条件式を設定してもよい。

制御部１４は、（４）式の場合、動体領域を合成できない旨をユーザに伝達し撮影を中止する（ステップＳ１１０）。（５）式の場合、続いて撮像するＮ−２枚の画像をローリングシャッタによる第１撮像モードで取得するように撮像部１１を制御し、これに従って撮像部１１がＮ−２枚の画像を取得する（ステップＳ１０５）。（６）式の場合は、残りＮ−２枚の画像をグローバルシャッタ１０３による第２撮像モードで取得するように撮像部１１を制御し、これに従って撮像部１１がＮ−２枚の画像を取得する（ステップＳ１０６）。

このように、制御部１４は、動体の移動量が所定量として予め定めた検出範囲又は検出範囲よりも小さい範囲に相当する所定量を超える場合は第１撮像モードに設定し、動体移動量が予め定めた検出範囲内を超えない場合は第２撮像モードに設定するように撮像部１１を制御する。

なお、撮像装置１０が画像処理装置２０に接続されている場合には、位置ずれ量検出部１２は、Ｎ−２枚の画像を参照画像とし、これらの参照画像を先に取得してメモリ１５に格納した基準画像に対する位置ずれ量を算出する（ステップＳ１０７）。
そして、画像処理装置２０では、ステップＳ１０８及びステップＳ１０９において、撮像装置１０により取得された複数の画像を補正部２０１により位置合わせを行い、位置合わせされた画像を加算平均部２０２により重ね合わせ合成を行い、処理部２０３により所定の画像処理を行うことにより、所望の合成画像を生成する。なお、上記（４）式の場合、制御部１４は、動体領域を合成できない旨をユーザに伝達し撮影を中止する代わりに、ローリングシャッタによる第１撮像モード又はグローバルシャッタによる第２撮像モードにより通常の撮像処理を行なうように撮像部１１を制御し、画像処理装置２０では画像合成を行なわないように制御することとしてもよい。

なお、本実施形態においては、ステップＳ１００において撮像部１１がグローバルシャッタによる第２撮像モードで２枚の画像を取得することとして説明したが、撮像素子１０４のローリングシャッタによる第１の撮像モードによって取得することとしてもよい。この場合には、動体の移動量Ｐｘ、Ｐｙにローリングシャッタのフレームレート比Ｒを乗じて、（４）〜（６）式の計算を行う。

このように、動体の移動量が小さい、すなわち、動体の速度が遅い場合は歪みのないグローバルシャッタを利用した撮像モードを選択し、動体の移動量が大きい、すなわち、動体の速度が速い場合は歪みによる劣化はあるものの高いフレームレートのローリングシャッタを利用した撮像モードを選択することができる。従って、被写体や撮像シーンに応じた画像を取得することができる。そして、このような本発明に係る撮像装置により取得された画像を合成処理する場合において、比較的低速な動体の場合には歪みのない画像をもとに合成画像を生成することができ、比較的高速な動体の場合には歪みの影響を受けるが複数枚画像の合成による効果の得られた合成画像を得ることができ、被写体や撮像シーンに応じた最適な合成画像を生成することができる。

（第１実施形態の変形例）
上記した第１実施形態における撮像装置１０では、ユーザにより操作部１６の撮像開始の指示（例えば、図示しないシャッタボタンが全押しされた場合等）が入力された場合、撮像部１１が２枚の画像を連続的に取得することとして説明したが、本実施形態においては、操作部１６において図示しないシャッタボタンが半押しと全押しの２つの操作が可能であるものとし、半押しはピント調整等の指示、全押しが撮影指示とする。

このような場合、図５のフローチャートに示すように、操作者によってシャッタボタンが半押しされた場合に、操作部１６からの入力を受けて、半押ししている間、撮像部１１が撮像素子１０４のローリングシャッタにより第１撮像モードによって常に画像を取得し続ける（ステップＳ３００、Ｓ３０１）。このとき、メモリ１５には最新のＮ／２枚分を保存する。
続いてステップＳ３０２〜ステップＳ３０３において、上述したステップＳ１０１〜ステップＳ１０３と同様に、画像取得毎に画像間の位置ずれ量を検出すると共に、画像間における動体の移動量を算出する。

ステップＳ３０４では、動体領域の合成処理が可能か判断する。合成処理が可能な場合であって、ユーザによりシャッタボタンが全押しされた場合には（ステップＳ３０５）、ステップＳ３０６において、ローリングシャッタによる画像取得が必要かの判断を行う。ここで、先に取得した画像はローリングシャッタによるものであり、また、ローリングシャッタが必要な場合、シャッタ全押し直前に取得した画像も合成に利用できる。このため動体の移動量Ｐｘを以下のように分類する。

（ｓｈ／（Ｎ−１））≦Ｐｘ …（７）
（ｓｈ／（Ｎ−１）／Ｒ／２）＜Ｐｘ≦（ｓｈ／（Ｎ−１）） …（８）
Ｐｘ≦（ｓｈ／（Ｎ−１）／Ｒ／２） …（９）
但し、Ｎは撮影枚数、Ｒはシャッタのフレームレート比、ｓｈは検出範囲の水平方向画素数である。なお、垂直成分Ｐｙが大きかった場合には、ＰｘをＰｙ，ｓｈをｓｖとおきかえる。

（７）式の場合は、ローリングシャッタのフレームレートでも、Ｎ枚撮影中に動体の位置ずれ量が検出範囲を超えてしまうので、ユーザに合成不能である旨伝える（ステップＳ３２０）。この時、シャッタボタンを全押しできないようにする。
（７）式以外の場合に、制御部１４が、ユーザがシャッタボタンを全押ししたとき、（８）式又は（９）式に応じて以下のように画像を取得するように撮像部１１を制御する。
（８）式の場合、制御部１４が、残りＮ／２枚の画像をローリングシャッタによる第１撮像モードによって取得するように撮像部１１を制御する（ステップＳ３０７）。また、撮影指示前に取得していたＮ／２枚の画像をあわせて参照画像として以下の処理で利用する。
（９）式の場合、制御部１４が、Ｎ枚の画像をグローバルシャッタによる第２撮像モードで取得するように撮像部１１を制御する（ステップＳ３０８）。
ここで、上記（７）〜（９）式では位置ずれ量が検出範囲に収まるか否かを示しているが、検出範囲よりも小さい所定の範囲に収まるか否かに基づいて条件式を設定してもよい。
次のステップＳ３０９では、ユーザによりシャッタボタンが全押しされた直後の画像を基準画像、残りの画像を参照画像として、各画像間の位置ずれ量検出を行い、次のステップに進む。この撮像装置が画像処理装置に接続されている場合には、画像処理装置において複数枚の画像の合成処理及び必要な画像処理を行う（ステップＳ３１０〜ステップＳ３１１）。

このように、被写体や撮像シーンに応じた画像を取得することができるだけでなく、被写体である動体が合成画像を生成するのに適した画像として撮影可能かを確認しながら撮影することができる。また、ローリングシャッタが必要な場合、シャッタ全押し直前に取得した画像も合成に利用できるため、上述した第一の実施形態に比して動体の速度がより早い場合にも合成に適した好ましい画像を取得することができる。

１０ 撮像装置
１１ 撮像部
１２ 位置ずれ量検出部
１３ 動体移動量検出部
１４ 制御部
１５ メモリ
２０ 画像処理装置
１０１ レンズ光学系
１０２ 絞り
１０３ グローバルシャッタ
１０４ 撮像素子

Claims (4)

1. ローリングシャッタによる第１撮像モード及びグローバルシャッタによる第２撮像モードを有し、何れかの撮像モードに従って複数の画像を連続的に取得する撮像部と、
   該撮像部により取得された複数の画像のうち１の画像を基準画像とし、該基準画像以外の画像を参照画像として、前記基準画像の複数の領域毎に、対応する前記参照画像中の位置を基準とした所定の検出範囲において、前記基準画像と前記参照画像との間の位置ずれ量を検出する位置ずれ量検出部と、
   検出された前記位置ずれ量に基づいて、前記第２撮像モードで撮像した際の前記画像中の動体の前記基準画像と前記参照画像との間の移動量を検出する動体移動量検出部と、
   前記第２撮像モードで撮像した際の動体移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超える場合は撮像モードを前記第１撮像モードに設定し、前記動体移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超えない場合は撮像モードを前記第２撮像モードに設定するように前記撮像部を制御する制御部と、
   を備える撮像装置。
2. 前記位置ずれ量の検出及び前記動体移動量の検出を、第２撮像モードで取得された少なくとも２枚の画像に基づいて行う請求項１記載の撮像装置。
3. 前記動体移動量検出部は、前記第１撮像モードで撮像した際の、前記動体の前記基準画像と前記参照画像との間の移動量をさらに検出し、
   前記制御部は、前記第２撮像モードで撮像した際の前記動体の移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超えるが、前記第１撮像モードで撮像した際の前記動体の移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超えない場合は、撮像モードを前記第１撮像モードに設定するように前記撮像部を制御する請求項１記載の撮像装置。
4. 前記基準画像と前記参照画像を位置合わせして合成画像を生成する画像合成部をさらに備え、
   前記第１撮像モードで撮像した際の前記動体の移動量が前記検出範囲又は該検出範囲よりも小さい範囲に相当する所定量を超える場合は、前記基準画像と前記参照画像を合成しないように前記画像合成部を制御する請求項３記載の撮像装置。

Images