JP2019220889A - 撮像装置、撮像装置の制御方法、および、プログラム - Google Patents

Abstract

【課題】 画像データに含まれるぶれを任意の大きさに調整することは困難であった。【解決手段】 第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、複数のフレームの画像データにおける被写体の動き量を算出し、第一の撮像手段の露光時間がシャッタスピードに対応する時間に達していなくとも、動き量が閾値に達した場合には、第一の撮像手段による第一のフレームの画像データのための露光を停止するものであって、動き量が前記閾値に達するまでは、露光時間の経過とともにシャッタスピードを更新する撮像装置を提供する。【選択図】 図１

Description

本発明は、ぶれを抑制した画像を撮像するための技術に関するものである。

近年、スマートフォンに搭載されたカメラやデジタルカメラなどの撮像装置において、シャッタスピードを優先する撮影モードを搭載するものが知られている。この撮影モードは、撮像者が所望のシャッタスピードを設定し、絞り値やＩＳＯ感度といったシャッタスピード以外の露出設定値を撮像装置が自動で設定する撮影モードである。撮像者は、この撮影モードを用いることにより、好みのシャッタスピードで撮像することができる。例えば、露光時間の短いシャッタスピードを設定することで、滝の水しぶきやレーシングカーといった動きの速い被写体に対しても、被写体ぶれが少ない画像を撮像することができる。あるいは、露光時間の長いシャッタスピードを設定することで、動く被写体が含まれる場合に躍動感のある画像を撮像することができる。特許文献１には、静止画の撮像前に撮像した画像から被写体の動き量を検出し、その検出結果に基づいて、シャッタスピードを決定する撮像装置が開示されている。

特開２００６−１９７１９２号公報

被写体ぶれが少ない画像を撮像するためには、露光時間の短い高速のシャッタスピードにて撮像する必要がある。しかしながら、撮像前に高速なシャッタスピードを設定して撮像したとしても、被写体がぶれた画像が撮像されてしまうことがある。

例えば、撮像者あるいは撮像装置は、撮像前に移動体の動く速さを予測し、被写体のぶれが少なくなると予想されるシャッタスピードを設定して撮像する。ところが、記録用の画像の撮像時に、予想外に被写体の動きが速くなってしまうと、撮像前に設定したシャッタスピードで撮像を行ったとしても、被写体がぶれて撮像されてしまうことがある。シャッタスピードを極力速くすることで、被写体がぶれて撮像されることを予防することはできるが、光量の不足を補うために感度を高くする必要が生じ、画像に含まれるノイズ成分が増加してしまう。また、被写体のぶれを抑えたい場合に限らず、敢えて被写体にぶれが生じるように撮像したい場合であっても、ユーザの意図したとおりのぶれが画像に生じるようにシャッタスピードを設定することは容易ではない。

本発明は、上記の問題点を鑑みてなされたものであり、ノイズ成分を抑制しつつ、画像に生じるぶれの大きさを任意に調整することが可能な技術を提供することを目的とする。

上記課題を解決するため、本願発明の撮像装置は、第一の撮像手段と、第二の撮像手段と、第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、複数のフレームの画像データにおける被写体の動き量を算出する算出手段と、第一の撮像手段の露光時間である第一の時間を設定する制御手段を有し、制御手段は、第一の撮像手段の露光時間が第一の時間に達していなくとも、算出手段が算出した動き量が閾値に達した場合には、第一の撮像手段による第一のフレームの画像データのための露光を停止するものであって、動き量が閾値に達するまでは、第一の撮像手段の露光時間の経過とともに第一の時間を更新することを特徴とするものである。

本発明によれば、ノイズ成分を抑制しつつ、画像に生じるぶれの大きさを任意に調整することが可能な技術を提供することができる。

本発明の本実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の本実施形態に係るタイミング生成回路の構成例を示すブロック図である。 本発明の本実施形態のぶれ調整撮影モードにおける撮像処理のフローチャートである。 本発明の本実施形態のぶれ調整撮影モードにおける撮像処理のフローチャートである。 撮像装置と被写体の位置関係を説明するための図である。 本発明の本実施形態の第一の撮像素子、第二の撮像素子、および、タイミング生成回路による動作を説明するための図である。 本発明の本実施形態の動きベクトル算出回路による動きベクトルおよび動きベクトルの信頼度の算出処理のフローチャートである。 動きベクトルの算出方法を説明するための図である。 ブロックマッチング法による動きベクトルの算出方法を説明するための図である。 ３点内挿の計算方法を説明するための図である。 複数のフレーム間の動きベクトルを示す図である。 本発明の本実施形態に係る第一の撮像素子と第二の撮像素子の構成を比較した表である。 本発明の本実施形態に係る第一の撮像素子の露光開始からの時間と設定されるシャッタスピードの関係を示す図である。 本発明の本実施形態に係るシャッタスピードと感度の関係を示す図である。 本発明の本実施形態に係る第一の撮像素子のシャッタスピードが更新される様子を説明するための図である。

以下、本発明の実施形態について、添付図面を用いて詳細に説明する。ここでは、本発明の実施形態に係る撮像装置として、所謂、デジタルカメラを取り上げることとするが、本発明はこれに限定されるものではない。撮像機能を有する他の装置、例えば、デジタルビデオカメラ、携帯電話、スマートフォン、その他の携帯型電子機器等として実施されても良い。

（本実施形態）
本発明の本実施形態では、露光中の期間における動きベクトルを用いた動き解析結果に基づき、露光終了のタイミングを決めることにより、ぶれの少ない画像を撮像する撮像装置の説明を行う。以下、本発明の本実施形態について説明する。

図１は、本発明本実施形態に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、第一の撮像システム１１０、第二の撮像システム１２０、および、操作部材１３０より構成される。

まず、第一の撮像システム１１０について説明する。第一の制御回路１１１は、例えばＣＰＵやＭＰＵなどのプロセッサである。第一の制御回路１１１は、第一の撮像システム１１０が備える各ブロックの動作プログラムを後述の第一のＲＯＭ１１２より読み出し、後述の第一のＲＡＭ１１３に展開して実行することにより第一の撮像システム１１０が備える各ブロックの動作を制御する。また、第一の制御回路１１１は、第一の撮像システム１１０および第二の撮像システム１２０の全体の動作を統括し、制御する。第一のＲＯＭ１１２は、電気的に消去および記録が可能な不揮発性メモリであり、第一の撮像システム１１０が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。第一のＲＡＭ１１３は、書き換え可能な揮発性メモリであり、第一の撮像システム１１０が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

第一の光学系１１４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の第一の撮像素子１１５に結像する。第一の撮像素子１１５は、例えば複数色のカラーフィルタを備えたＣＣＤやＣＭＯＳセンサ等で構成されている。第一の撮像素子１１５は、第一の光学系１１４により第一の撮像素子１１５に結像された光学像を光電変換し、得られたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。また、第一の撮像素子１１５は、操作部材１３０に含まれるシャッタボタンが全押しされたタイミングに基づき露光を開始し、後述の露光終了のタイミング生成回路２００より出力された露光終了のタイミングを指示する信号に基づき露光を終了する。第一のＡ／Ｄ変換回路１１６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データを第一のＲＡＭ１１３に出力する。

第一の画像処理回路１１７は、第一のＲＡＭ１１３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ノイズ補正、ガンマ処理、輝度／色差信号への変換、および、収差補正など、様々な画像処理を適用する。画像出力回路１１８は、第一の画像処理回路１１７で処理された画像データを、第一のＲＡＭ１１３を介して受け取り、外部装置に出力するための回路である。具体的には、撮像装置１００に着脱可能な記録メディアに対して画像データの読み出しや書き込みを行ったり、無線あるいは有線通信機能を用いてスマートフォンやサーバーなどと画像の送受信を行ったりする。表示装置１１９は、ＬＣＤや有機ＥＬディスプレイ等の表示デバイスであり、第一のＲＡＭ１１３に記録した画像を表示する。

次に、第二の撮像システム１２０について説明する。第二の制御回路１２１は、例えばＣＰＵやＭＰＵなどのプロセッサである。第二の制御回路１２１は、第二の撮像システム１２０が備える各ブロックの動作プログラムを後述の第二のＲＯＭ１２２より読み出し、後述の第二のＲＡＭ１２３に展開して実行することにより第二の撮像システム１２０が備える各ブロックの動作を制御する。第二のＲＯＭ１２２は、電気的に消去および記録が可能な不揮発性メモリであり、第二の撮像システム１２０が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。第二のＲＡＭ１２３は、書き換え可能な揮発性メモリであり、第二の撮像システム１２０が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

第二の光学系１２４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の第二の撮像素子１２５に結像する。第二の撮像素子１２５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、第二の光学系１２４により第二の撮像素子１２５に結像された光学像を光電変換し、得られたアナログ画像信号を第二のＡ／Ｄ変換回路１２６に出力する。第二の撮像素子１２５は、動きやぶれを検出するために用いる素子であるため、必ずしも複数色のカラーフィルタを備えている必要はなく、単色（ホワイト）のフィルタや赤外フィルタを備えた構成としてもよい。第二のＡ／Ｄ変換回路１２６は、入力されたアナログ画像信号にデジタル画像信号に変換し、得られたデジタル画像データを第二のＲＡＭ１２３に出力する。

第二の画像処理回路１２７は、第二のＲＡＭ１２３に記憶されている画像データに対して、簡易的なノイズ補正やガンマ処理など、様々な画像処理を適用する。第二の撮像素子１２５が複数色のカラーフィルタを備えているのであれば、色補間、あるいは輝度信号への変換処理も行う。また、第二の画像処理回路１２７は、タイミング生成回路２００を具備しており、第二のＲＡＭ１２３に記憶されている画像データを用いた動き解析結果に基づき、第一の撮像素子１１５の露光終了のタイミングを指示する信号を生成する。なお、露光終了のタイミングを指示する信号は、第二の制御回路１２１を介して第一の撮像システム１１０に出力される。第一の撮像システム１１０ではこの信号を受け取ると、第一の制御回路１１１が第一の撮像素子１１５の露光を終了させるよう制御する。

操作部材１３０は、ユーザからの指示を受け付ける操作部材であり、シャッタボタンやダイヤルキーを含む。また、表示装置１１９がタッチパネル機能を備えるようにしてもよい。ユーザがこれらの操作部材を操作することで生成される信号は、第一の撮像システム１１０と第二の撮像システム１２０の駆動制御に反映される。

なお、ここでは第一の撮像システム１１０と第二の撮像システム１２０が、撮像装置１００として一体的に構成されている例を上げて説明を行ったが、これに限られるものではない。例えば、第一の撮像システム１１０と操作部材１３０がカメラ本体であり、第二の撮像システム１２０は、カメラ本体と着脱可能な撮像装置としてもよい。つまり、第二の撮像システム１２０は、外部の撮像装置に着脱可能な撮像装置であってもよい。また、第一の撮像システム１１０が一眼レフカメラであるとするならば、第一の光学系１１４を含む交換レンズ装置は、第一の撮像素子１１５乃至表示装置１１９、および、操作部材１３０を含むカメラ本体に対して着脱可能な構成となる。

また、第二の制御回路１２１の機能を第一の制御回路１１１が兼用するようにすれば、第二の制御回路１２１を省くことも可能である。また、第二の撮像システム１２０は第二の光学系１２４、第二の撮像素子１２５、第二のＡ／Ｄ変換回路１２６、および、第二のＲＡＭ１２３のみを有し、他の構成要素を第一の撮像システム１１０が兼用するようにしてもよい。こうすることで、第二の撮像システム１２０を別のカメラ装置とした場合に、その構成を簡素化することが可能となる。

ここで、第一の撮像素子１１５が記録用の画像を生成することを目的とするのに対して、第二の撮像素子１２５は素早く移動する被写体の動きを検出することを目的としており、必要とされるフレームレートが互いに異なる。図１２に、本実施形態における第一の撮像素子１１５と第二の撮像素子１２５の構成を比較した表を示す。本実施形態では、第一の撮像素子１１５のフレームレートが２０ｆｐｓ（フレーム／秒）であるのに対し、第二の撮像素子１２５のフレームレートは１０００ｆｐｓであるものとする。

そのため、第二の撮像素子１２５は、第一の撮像素子１１５よりも、より短い露光時間となるシャッタスピードを設定することができる。そして、このシャッタスピードを実現可能とするため、第二の撮像素子１２５は第一の撮像素子１１５よりも感度を高くする必要がある。そこで、第二の撮像素子１２５は、第一の撮像素子１１５に対して、画素数を減らす代わりに、画素ピッチが大きくなるように構成されている。具体的には、図１２に示すように、撮像部の水平サイズは第一の撮像素子１１５が３６ｍｍであるのに対して、第二の撮像素子１２５は４ｍｍである。水平画素数は第一の撮像素子１１５が６４００画素であるのに対して、第二の撮像素子１２５は６４０画素である。画素ピッチは第一の撮像素子１１５が５．６２μｍであるのに対して、第二の撮像素子１２５は６．２５μｍである。

次に、第二の撮像システム１２０の第二の画像処理回路１２７が具備する、タイミング生成回路２００の構成について図２を用いて説明する。このタイミング生成回路２００は、第二の撮像素子１２５が高速のフレームレートで撮像して第二のＲＡＭ１２３に記憶した画像データの動きベクトルを検出することで、動きの解析を行う。この画像データは、第二の撮像素子１２５が複数色のカラーフィルタを備えた構成であるならば、色補間や輝度信号への変換処理が先に行われており、各画素が同じ成分の信号を備えているものとする。そして、この動きの解析結果に基づいて、第一の撮像素子１１５の露光終了のタイミングを決定し、第一の撮像素子１１５の露光を終了させるための信号を、第一の撮像システム１１０に出力する。

図２は、本実施形態に係るタイミング生成回路２００の構成例を示すブロック図である。図２において、タイミング生成回路２００は、動きベクトル算出回路２０１、累積量算出回路２０２、代表累積量算出回路２０３およびタイミング決定回路２０４より構成する。

次に、本発明の本実施形態の撮像装置１００におけるぶれ調整撮影モードにおける撮像処理について、図３および図４のフローチャートを用いて説明する。図３および図４は、本実施形態のぶれ調整撮影モードにおける撮像処理のフローチャートである。図３のフローチャートは撮像装置１００の電源がオンになると開始される。

ステップＳ３０１において、第一の制御回路１１１は撮影モードが設定されているかを判定し、設定されていなければステップＳ３０２に進み、設定されていればステップＳ３０５に進む。

ステップＳ３０２において、第一の制御回路１１１はぶれレベルの設定メニューが選択されているかを判定し、他の処理が選択されていればステップＳ３０３に進み、ステップＳ３０３において他の処理を行う。第一の制御回路１１１はぶれレベルの設定メニューが選択されていれば、ステップＳ３０４に進む。

ステップＳ３０４において、第一の制御回路１１１は表示装置１１９にぶれレベル設定のための画面の表示し、ユーザによる操作部材１３０の操作結果に応じて、ぶれのレベルを設定する。例えば、第一の表示装置１１９にぶれレベルが段階的に表示され、ユーザが選択できるようになっている。ユーザが低い段階のぶれレベルを選択するほど、撮像した画像に含まれるぶれが小さくなるように、後述する閾値が設定される。反対に、ユーザが高い段階のぶれレベルを選択するほど、撮像した画像に含まれるぶれが大きくなるように、後述する閾値が設定される。本実施形態では、ユーザが最もぶれが小さくなるぶれレベル「最小」を選択したものとして説明を行う。

ぶれレベルが選択されると、第一の制御回路１１１は、第一の撮像システム１１０におけるぶれ許容値を決定し、第二の制御回路１２１は、このぶれ許容値に基づいて後述のステップＳ３２３で用いる閾値を設定する。ぶれレベル「最小」の場合、ぶれ許容値は許容錯乱円径に設定されるものとする。ここで許容錯乱円径とは、明視距離２５０ｍｍで写真を観察するときに、視力１．０の観察者が解像可能な限界値を表し、３６×２４ｍｍの撮像素子上では約２０μｍになる。本発明の本実施形態では第一の撮像素子１１５の４画素分のピッチ２２．４８μｍ（５．６２×４）を許容錯乱円径とする。ぶれレベルおよび閾値の設定を終えると、ステップＳ３０１に戻る。

ステップＳ３０５において、第一の制御回路１１１は第一の撮像素子１１５を起動する。

ステップＳ３０６において、第一の制御回路１１１は撮影モードとしてぶれ調整撮影モードが選択されているかを判定し、選択されていなければステップＳ３０７に進み、ステップＳ３０７においてその他の撮影モードの処理を行う。第一の制御回路１１１は、ぶれ調整撮影モードが選択されていればステップＳ３０８に進む。

ステップＳ３０８において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体のコントラスト値、あるいは、不図示の測距センサの出力に基づいて、第一の光学系１１４を駆動して自動フォーカス制御（ＡＦ）を行う。

ステップＳ３０９において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体の輝度値に基づいて、第一の撮像素子１１５のための自動露出制御（ＡＥ）を行う。

ステップＳ３１０において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが半押しされることによって、シャッタスイッチ内のＳＷ１がオンになったかを判定し、オンになるまでステップＳ３０８およびＳ３０９を繰り返す。

ステップＳ３１０においてＳＷ１がオンになると、ステップＳ３１１において、第二の制御回路１２１は第二の撮像素子１２５を起動する。

ステップＳ３１２において、第一の制御回路１１１は、ＳＷ１がオンになった際に選択された主被写体に対して、第一の光学系１１４を用いたＡＦを行う。

ステップＳ３１３において、第一の制御回路１１１は、ＳＷ１がオンになった際に選択された主被写体に対して第一の撮像素子１１５のためのＡＥを行う。

ステップＳ３１４において、第二の制御回路１２１は、第一の制御回路１１１から第一の光学系１１４のズーム情報を受信し、第二の光学系１２４のズーム状態を制御する。この第二の光学系１２４のズーム状態を制御について、図５を用いて説明する。

図５は、ＳＷ１がオンされたときの撮像装置１００と被写体５００の位置関係を説明するための図である。図５において、撮像装置１００の第一の光学系１１４は焦点距離３００ｍｍであり、４０ｍ先を０．３ｍ／ｓｅｃ（３００ｍｍ／ｓｅｃ）で移動する被写体５００を撮像しようとしている。なお、被写体５００は第一の光学系１１４の光軸近傍を移動しているものとする。以降の説明において、４０ｍ先を物面と呼ぶ。また、被写体５００の移動速度は、被写体５００までの距離情報と、フレーミング中に得られる画像から後述の動きベクトルを算出することで計測することができる。

また、本実施形態における第一の光学系１１４の結像倍率は、被写体までの距離÷焦点距離で求められるため、４０×１０００÷３００＝１３３．３となる。

第一の撮像素子１１５の全体が捉えている物面での被写体の画角は、１３３．３×５．６２×６４００／１０００＝４７９５．７ｍｍである。

ここで、ＳＷ１がオンになる前は、第一の撮像システム１１０と第二の撮像システム１２０で得られる画像の画角が同じであるとする。このとき、第二の光学系１２４の結像倍率は４７９５．７×１０００÷６．２５÷６４０＝１１９８．９であり、焦点距離は４０×１０００÷１１９８．９＝３３．３ｍｍである。また、このとき第二の撮像素子１２５における単位画素あたりの物面での被写体サイズは、１１９８．９×６．２５÷１０００＝７．５ｍｍである。この値に後述する動きベクトルの算出の分解能を掛け合わせた値が第二の撮像素子１２５で捉えることができる動きの分解能となる。動きベクトルの算出の分解能を０．５画素とすると、動きの分解能は７．５×０．５＝３．７５ｍｍとなる。

一方、第一の撮像素子１１５における単位画素あたりの物面での被写体サイズは、１３３．３×５．６２÷１０００＝０．７５ｍｍとなり、ぶれ許容値は４画素分なので０．７５×４＝３．０ｍｍとなる。そのため、このままでは第二の撮像素子１２５の動きの分解能よりもぶれ許容値のほうが小さいので、第二の撮像素子１２５を用いたとしても、第一の撮像素子１１５のぶれが許容値以下であるかを判定することができない。

そこで、第二の制御回路１２１は第二の光学系１２４の焦点距離を望遠側に移動してズームを行い、第二の撮像素子１２５における動き検知の分解能を高くする。

３００ｍｍ／ｓｅｃで移動する被写体４００がぶれ許容値３．０ｍｍに達する時間は３．０÷３００×１０００＝１０．０ｍｓｅｃである。

そのため、第二の撮像システム１２０における単位フレーム（１ｍｓｅｃ）あたりに求められる動きの分解能は３．０÷１０．０÷０．５＝０．６ｍｍとなる。

そこで、第二の制御回路１２１は、第二の光学系１２４の結像倍率を０．６×１０００÷６．２５＝９６．０、焦点距離を４０×１０００÷９６．０＝４１６．６ｍｍに移動すれば、動きの分解能がぶれ許容値よりも細かくなる。こうすることで、第二の撮像素子１２５で得られた画像データを用いて動き検知結果に基づいて、第一の撮像素子１１５の露光終了のタイミングを制御し、被写体４００を許容錯乱円径以下のぶれで撮像することが可能となる。

なお、第二の光学系１２４を望遠側にズームしているので、第二の撮像素子１２５の画角は第一の撮像素子１１５と異なっており、第二の撮像素子１２５の画角は、９６．０×６．２５×６４０／１０００＝３８４．０ｍｍである。このように焦点距離を大きくし、ズーム位置を望遠側に移動すると画角が狭くなるため、光軸近傍以外に被写体が存在する場合には、被写体が視野外になってしまう可能性がある。その場合、公知の光軸や撮像素子の位置を移動する技術を用いて、光軸から外れた領域に視野を移動することができる構成とするのがよい。

図３に戻り、ステップＳ３１５において、第二の制御回路１２１は、ＳＷ１がオンになった際に選択された主被写体の情報に基づいて第二の光学系１２４を用いたＡＦを行う。

ステップＳ３１６において、第二の制御回路１２１は、ＳＷ１がオンになった際に選択された主被写体の情報に基づいて第二の撮像素子１２５のためのＡＥを行う。

ステップＳ３１７において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが全押しされることによって、シャッタスイッチ内のＳＷ２がオンになったかを判定し、オンになるまでステップＳ３１２乃至Ｓ３１６を繰り返す。

ステップＳ３１７においてＳＷ２がオンになると、図４のステップＳ３１８において、第一の制御回路１１１は、ステップＳ３１３にて行ったＡＥの結果に基づいて露光時間、絞り、および、感度を設定し、第一の撮像素子の露光を開始する。

図１３は、第一の撮像素子１１５の露光開始からの時間と設定されるシャッタスピードの関係を示す図である。第一の制御回路１１１は、第一の撮像素子１１５の露光開始後の時間の経過とともに、第一の撮像素子１１５のシャッタスピードの設定を変更する。図１３（ａ）に示す例では、露光開始時の露光時間を１／８００秒と設定しているが、第二の制御回路１２１から露光終了のタイミングを指示する信号が送信されてこなければ、シャッタスピードを段階的に長い時間に変更するとともに、信号を読み出す際の感度を段階的に小さく変更している。

図１４は、シャッタスピードと感度の関係を示す図である。図１４に示す例では、シャッタスピードが１／８００秒に設定されたときの感度はＩＳＯ８００に設定されているが、シャッタスピードが長くなるにつれて、感度も小さく変化する。

そして、図１３（ａ）に示す例では、露光時間が１／１００秒に達すると、感度も下限値であるＩＳＯ１００に達するため、露光時間が１／１００秒に達した場合には第一の撮像素子１１５の露光を停止する。なお、ここでは露光開始時のシャッタスピードを１／８００秒としているが、これはユーザが任意に設定できる。

ステップＳ３１９において、第二の制御回路１２１は、１０００ｆｐｓ、あるいは、第一の撮像素子１１５に対して設定されたフレームレートの所定倍（例えば、５０倍）となるフレームレートを設定し、第二の撮像素子１２５の露光を開始する。第二の撮像素子１２５は設定したフレームレートに応じた露光時間に達すると、得られたアナログ画像信号を第二のＡ／Ｄ変換回路１２６に出力するとともに、すぐさま次の露光を開始する処理を繰り返す。すなわち、第一の撮像素子１１５の１回の露光時間の間に、それよりも早いフレームレートで、第二の撮像素子１２５の露光が繰り返し行われる。

ここで、図６は、第一の撮像素子１１５、第二の撮像素子１２５、および、タイミング生成回路２００による動作を説明するための図である。図６の時刻Ｔ０において、ユーザによりシャッタボタンが全押しされてＳＷ２がオンになると、すぐさま第一の撮像システム１１０における第一の撮像素子１１５は露光を開始する。さらに、第二の撮像システム１２０における第二の撮像素子１２５は高速フレームレートで画像の撮像を開始する。第二の撮像素子１２５は、ＳＷ２がオンになった時刻Ｔ０の後は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３・・・において短い露光時間で連続して撮像を行う。

ステップＳ３２０において、タイミング生成回路２００内の動きベクトル算出回路２０１が、第二の撮像素子１２５で得られた画像データのフレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。動きベクトルとは、フレーム間における被写体の水平方向の移動量と垂直方向の移動量をベクトルとして表したものである。動きベクトルの算出方法について、図７乃至図９を用いて詳しく説明する。

図７は、動きベクトル算出回路２０１による動きベクトルおよび動きベクトルの信頼度の算出処理を示すフローチャートである。図８は動きベクトルの算出方法を説明するための図であり、図８（ａ）はＭ番目フレームの画像データを示す図であり、図８（ｂ）はＭ＋１番目フレームの画像データを示す図である。また、図８（ｃ）は、Ｍ番目フレームとＭ＋１番目フレームの間における動きベクトルを示す図である。図８（ｃ）の動きベクトルは、簡略化のため、代表的な動きベクトルのみを記載している。なお、Ｍは正の整数である。図９は、ブロックマッチング法による動きベクトルの算出方法を説明するための図である。なお、本実施形態では、動きベクトルの算出手法として、ブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法でもよい。

図７のステップ７０１において、動きベクトル算出回路２０１には、時間的に隣接する２つのフレームの画像データが入力される。そして、動きベクトル算出回路２０１は、Ｍ番目フレームを基準フレームに設定し、Ｍ＋１番目フレームを参照フレームに設定する。

図７のステップ７０２において、動きベクトル算出回路２０１は、図９のように、基準フレーム９０１において、Ｎ×Ｎ画素の基準ブロック９０２を配置する。

図７のステップ７０３において、動きベクトル算出回路２０１は、図９のように、参照フレーム９０３に対し、基準フレーム９０１の基準ブロック９０２の中心座標と同座標９０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲９０５として設定する。

図７のステップ７０４において、動きベクトル算出回路２０１は、基準フレーム９０１の基準ブロック９０２と、参照フレーム９０３の探索範囲９０５内に存在する異なる座標のＮ×Ｎ画素の参照ブロック９０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック９０２および参照ブロック９０６の画素に対するフレーム間の差分絶対値の和に基づき算出する。つまり、フレーム間の差分絶対値の和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、フレーム間の差分絶対値の和を求める方法に限定されず、例えばフレーム間の差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図９の例では、参照ブロック９０６が最も相関が高いことを示しているとする。なお、公知の技術を用いて動きベクトルをサブピクセル単位で算出することができる。具体的には、図１０に示す連続した相関値データＣ（ｋ）において、下記（１）〜（４）式による３点内挿の手法を用いる。
ｘ＝ｋ＋Ｄ÷ＳＬＯＰ・・・（１）
Ｃ（ｘ）＝Ｃ（ｋ）−｜Ｄ｜・・・（２）
Ｄ＝｛Ｃ（ｋ−１）−Ｃ（ｋ＋１）｝÷２・・・（３）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋ＋１）−Ｃ（ｋ）、Ｃ（ｋ−１）−Ｃ（ｋ）｝・・・（４）

ただし、図１０ではｋ＝２である。

なお、本発明本実施形態ではサブピクセル単位の分解能を０．５画素とする。また、（１）はｘ成分に関する式だが、同様にしてｙ成分も算出できる。

図７のステップ７０５において、動きベクトル算出回路２０１は、ステップ７０４で求めた最も高い相関値を示す参照ブロックの座標に基づいて動きベクトルを算出し、その動きベクトルの相関値を動きベクトルの信頼度とする。図９の例の場合、参照フレーム９０３の探索範囲９０５の中で、基準フレーム９０１の基準ブロック９０２の中心座標に対応した同座標９０４と、参照ブロック９０６の中心座標に基づき動きベクトルが求められる。つまり、同座標９０４から参照ブロック９０６の中心座標までの座標間距離と方向が動きベクトルとして求められる。また、その動きベクトル算出時における参照ブロック９０６との相関演算結果である相関値が動きベクトルの信頼度として求められる。なお、動きベクトルの信頼度は、基準ブロックと参照ブロックとの相関値が高いほど高くなる。

図７のステップ７０６において、動きベクトル算出回路２０１は、基準フレーム７０１の全画素について動きベクトルを算出したか否か判定する。動きベクトル算出回路２０１は、ステップ７０６において全画素の動きベクトルを算出していないと判定した場合には、ステップ７０２に処理を戻す。そして、ステップ７０２では、動きベクトルが算出されていない画素を中心として前述した基準フレーム７０１にＮ×Ｎ画素の基準ブロック９０２が配置され、以下前述同様に、ステップ７０３からステップ７０５の処理が行われる。すなわち、動きベクトル算出回路２０１は、図９の基準ブロック９０２を移動させながら、ステップ７０２からステップ７０５までの処理を繰り返して、基準フレーム９０１の全画素の動きベクトルを算出する。この動きベクトルの例を図８（ｃ）に示す。図８の例では、図８（ａ）のＭ番目のフレームと図８（ｂ）のＭ＋１番目のフレームの間で、人が左から右に移動している例を示している。このように被写体が移動している場合の動きベクトルの代表例を図８（ｃ）に示している。図８（ｃ）に示す動きベクトルは、Ｍ番目のフレームに存在している被写体位置を動きベクトルの始点とし、それに対応するＭ＋１番目のフレームの被写体位置を動きベクトルの終点としている。なお、動きベクトル算出回路２０１は、全画素の動きベクトルを算出するのではなく、全画素よりも少ない所定画素において動きベクトルを算出してもよい。

以上のような処理により、時間的に隣接する２枚の高速撮像フレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。

なお、被写体の移動速度が変化する場合もある。そのため、時間的に隣接する２つのフレーム間における動きベクトルの大きさから物面における移動速度に換算し、前述の計算方法で、第一の撮像素子１１５の露光中に第二の光学系の焦点距離、結像倍率、画角を適宜変更する構成とするのがよい。

次に、動きベクトル算出回路２０１が、第二の撮像素子１２５から得られた画像データに対して動きベクトルおよび動きベクトルの信頼度を算出する時系列動作について、図６を参照して説明する。

動きベクトル算出回路２０１は、時刻Ｔ１において、時刻Ｔ０と時刻Ｔ１で得られた画像データのフレーム間の動きベクトルおよび動きベクトルの信頼度を前述の図７のフローチャートの処理に基づき算出する。その後、時刻Ｔ２において、時刻Ｔ１と時刻Ｔ２で得られた画像データのフレーム間の動きベクトルおよび動きベクトルの信頼度を算出する。時刻Ｔ３以後、同様の処理を繰り返し、第二の撮像素子１２５から得られた画像データのフレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。

以上が、図４のステップＳ３２０における動きベクトルの算出方法についての説明である。

図４に戻り、ステップＳ３２１において、累積量算出回路２０２は、ステップ３２０において算出した動きベクトルを複数フレームにおいて追跡し、動きベクトルの累積量を算出する。そして、代表累積量算出回路２０３は、算出した動きベクトルの累積量に基づき、フレーム全体を代表する代表累積量を決定する。

まず動きベクトルの累積量の算出方法について、図１１を用いて説明する。図１１は、ステップＳ３２０において算出した複数のフレーム間の動きベクトルを示す図である。なお、説明の簡略化のため、時刻Ｔ０から時刻Ｔ３までの期間における動きベクトルの累積量の算出方法について説明するが、それ以降の期間に関しても同様の方法で動きベクトルの累積量を算出するものとする。

図１１において、動きベクトル１１０１は、図６の時刻Ｔ０のフレームと時刻Ｔ１のフレームとの間で算出された動きベクトルを示す。動きベクトル１１０２は、図６の時刻Ｔ１のフレームと時刻Ｔ２のフレームとの間で算出された動きベクトルを示す。動きベクトル１１０３は、図６の時刻Ｔ２のフレームと時刻Ｔ３のフレームとの間で算出された動きベクトルを示す。

累積量算出回路２０２は、時刻Ｔ０と時刻Ｔ１のフレーム間で算出した動きベクトル１１０１の終点座標Ｑを始点座標とする動きベクトルを、時刻Ｔ１と時刻Ｔ２のフレーム間で算出した動きベクトルの中から検索する。そして、条件を満たす動きベクトル１１０２を、動きベクトル１１０１と連結する。また、累積量算出回路２０２は、時刻Ｔ１と時刻Ｔ２のフレーム間で算出した動きベクトル１１０２の終点座標Ｒを始点座標とする動きベクトルを、時刻Ｔ２と時刻Ｔ３のフレーム間で算出した動きベクトルの中から検索する。そして、条件を満たす動きベクトル１１０３を、動きベクトル１１０２と連結する。これ以降の期間においても同様の処理により、動きベクトルを連結していく。

このような複数フレームにおける動きベクトルの連結処理を時刻Ｔ０で算出した全ての動きベクトルに対して行うことにより、全画素の追跡動きベクトルを算出する。なお、算出した追跡動きベクトルにより、時刻Ｔ０において座標Ｐに存在した被写体が、時刻Ｔ１では座標Ｑに移動し、時刻Ｔ２では座標Ｒに移動し、時刻Ｔ３では座標Ｓに移動したことが分かる。

次に、累積量算出回路２０２が、追跡動きベクトルに基づき、動きベクトルの累積量を算出する方法について説明する。

累積量算出回路２０２は、式（５）のように追跡動きベクトルの長さを動きベクトルの累積量（ＶｅｃＬｅｎ）として算出する。
ＶｅｃＬｅｎ＝ＶｅｃＬｅｎ１＋ＶｅｃＬｅｎ２＋ＶｅｃＬｅｎ３・・・（５）

ＶｅｃＬｅｎ１は、時刻Ｔ０と時刻Ｔ１のフレーム間で算出した動きベクトル１１０１の動きベクトルの長さを示す。ＶｅｃＬｅｎ２は、時刻Ｔ１と時刻Ｔ２のフレーム間で算出した動きベクトル１１０２の動きベクトルの長さを示す。ＶｅｃＬｅｎ３は、時刻Ｔ２と時刻Ｔ３のフレーム間で算出した動きベクトル１１０３の動きベクトルの長さを示す。累積量算出回路２０２は、式（５）に基づき、追跡動きベクトルを構成する動きベクトルの長さの総和を動きベクトルの累積量として算出する。以上のような動きベクトルの累積量の算出処理を全画素の追跡動きベクトルに対して行い、全画素の動きベクトルの累積量を算出する。

なお、累積量算出回路２０２は、動きベクトルの信頼度が所定値よりも低い動きベクトルに関しては、式（５）による動きベクトルの長さの総和処理から除外しても良い。また、累積量算出回路２０２は、動きベクトルの信頼度が所定値よりも低い動きベクトルおよび時間的にそれ以降の動きベクトルに関しては、式（５）による動きベクトルの長さの総和処理から除外しても良い。これにより、動きベクトルの信頼度が高い動きベクトルのみを用いた動きベクトルの累積量を算出することができる。また、それぞれの動きベクトルをＸ方向の成分とＹ方向の成分に分離し、それぞれの方向毎に動きベクトルの長さの総和を求めるようにしてもよい。

次に、代表累積量の算出方法について説明する。代表累積量算出回路２０３は、フレーム内の全画素から得られた動きベクトルの累積量のうちの最大値を選択し、選択した最大の動きベクトルの累積量を代表累積量として決定する。このような処理をフレーム毎に行うことにより、図６に示すように、フレーム毎に１つの代表累積量を算出する。

なお、代表累積量算出回路２０３による代表累積量は、フレーム内の全画素の動きベクトルの累積量のうちの最大値に基づくものに限られるものではなく、フレーム内の全画素の動きベクトルの累積量の平均値や中央値でも良い。また、動きベクトルの累積量をＸ方向の成分とＹ方向の成分に分離した場合には、それぞれの方向における代表累積量を決定するようにしてもよい。

図４に戻り、ステップＳ３２２において、第二の画像処理回路１２７は、第二の撮像素子１２５から得られた画像データの各フレームの輝度値を算出し、フレーム間における輝度値の差分を算出する。具体的には、各フレームの画像データを複数のブロック領域に分割し、各ブロックの平均輝度値に対して重み付けを行って加算平均することで、フレーム全体の代表輝度値を算出する。重み付けは、画像データの中央部や、主被写体が存在するとみなされる領域において、値を大きくする。最新のフレームと直前のフレームとの間で、この代表輝度値の差分を算出する。差分が大きい、すなわち、フレーム間の輝度が急激に変化する要因としては、第三者がストロボを用いることや、光源と被写体の間に別の物体が侵入することなどが考えられる。

ステップＳ３２３において、タイミング決定回路２０４は、ステップＳ３２１で算出した代表累積量が閾値以上になったかを判定し、閾値以上になっていなければステップＳ３２４に進む。

ステップＳ３２４において、タイミング決定回路２０４は、ステップＳ３２２で代表輝度値の差分が予め定めた閾値以下であるかを判定し、差分が閾値以下であればＳ３２６に進み、差分が閾値を越えていればステップＳ３２５に進む。

ステップＳ３２５において、タイミング決定回路２０４は、第二の制御回路１２１を介して、第一の撮像システム１１０の第一の制御回路１１１に、代表輝度値の差分が予め定めた閾値を超えていることを通知する。第一の制御回路１１１は、この通知を受け、第一の撮像素子のシャッタスピードと感度の関係を更新する。

図１５は、代表輝度値の差分が予め定めた閾値を超えたことによってシャッタスピードが更新される様子を説明するための図である。図１５（ａ）は、直前のフレームに対して代表輝度値が大きく増加したことによって、感度の下限値であるＩＳＯ１００に対応するシャッタスピードが１／４００秒に更新された様子を示す。図１５（ｂ）は、直前のフレームに対して代表輝度値が大きく減少したことによって、感度の下限値であるＩＳＯ１００に対応するシャッタスピードが１／５０秒に更新された様子を示す。なお、シャッタスピードだけでなく、絞り値を変更しても構わない。代表輝度値が増加した場合には絞りの開口径を小さく変更し、代表輝度値が減少した場合には絞りの開口径を大きく変更することで、シャッタスピードの変更量を抑制することができるようになる。

ステップＳ３２６において、第一の撮像システム１１０の第一の制御回路１１１は、第一の撮像素子１１５の露光時間が設定されたシャッタスピードの最大値に達したかを判定し、達していなければステップＳ３２２に戻る。第一の撮像素子１１５の露光時間が設定されたシャッタスピードの最大値に達していれば、ステップＳ３２８に進む。

ステップＳ３２３に戻り、タイミング決定回路２０４は代表累積量が閾値以上なっていればステップＳ３２７に進む。

ステップＳ３２７において、タイミング決定回路２０４は、第一の撮像システム１１０に露光終了を指示するための信号を出力する。この処理は、代表累積量が閾値以上になったことが判定されるとすぐに行われる。図６に示す例では、時刻Ｔ８までの各フレーム間で算出した動きベクトルに基づく代表累積量が閾値以上になっている。そのため、この時点でタイミング決定回路２０４は、第二の制御回路１２１を介して、第一の撮像システム１１０に露光終了を指示するための信号を出力する。なお、Ｘ方向とＹ方向で別々に代表累積量を求めた場合には、いずれか一方の代表累積量が閾値以上となった場合に、露光終了を指示するための信号を出力する。

図６に示す例では、第一の制御回路１１１は、時刻Ｔ８よりわずかに後のタイミングで第一の撮像素子１１５の露光を停止することになる。実際には、第二の撮像素子１２５において時刻Ｔ８のフレーム画像が生成されてから代表累積量が得られるまでの算出時間や、タイミング決定回路２０４から出力された信号が第一の制御回路１１１に到達するまでの時間がタイムラグとして生じる。しかしながら、これらのタイムラグを考慮して閾値を設定するようにすれば、タイムラグによる影響を抑えることができる。

ステップＳ３２８において、第一の制御回路１１１は第一の撮像素子１１５の露光を停止する。そして、第一の制御回路１１１は、第一の撮像素子１１５の信号を、露光停止したときに設定されていたシャッタスピードに対応する感度で読み出してアナログ画像信号を生成し、第一のＡ／Ｄ変換回路１１６に出力する。例えば、図１４に示す例では、シャッタスピードが１／２００秒に設定されている状態で露光を停止したのであれば、アナログ画像信号を生成する際の感度はＩＳＯ２００に設定される。そして、Ａ／Ｄ変換回路１１６で生成されたデジタル画像データは第一の画像処理回路１１７で所定の処理が施され、記録用の画像データとして画像出力回路１１８に出力される。画像出力回路１１８は、撮像装置１００に着脱可能な記録メディアに対して記録用の画像データの書き込みを行ったり、無線あるいは有線通信機能を用いてスマートフォンやサーバーなどの外部装置に記録用の画像データを送信したりする。

このように、タイミング生成回路２００が第二の撮像素子１２５で生成された画像データに基づいて被写体の動き量を判定し、第一の撮像素子１１５の露光を停止することで、第一の撮像素子１１５から得られる画像データのぶれの大きさを調整することが可能となる。さらに、被写体の動き量が予め設定した値に達していなければ、段階的に露光時間が長くなるようにシャッタスピードを変更することで、ぶれの大きさを調整しつつ、露光時間を最大限長くすることができる。そのため、ぶれの大きさを調整しつつ、ノイズ成分を抑制することが可能となる。

ステップＳ３２９おいて、第二の撮像システム１２０の第二の制御回路１２１は、第二の撮像素子１２５の露光を停止する。

ステップＳ３３０において、第一の制御回路１１１は、第一の撮像素子１１５で生成された画像データに含まれるぶれの大きさ、すなわち、その画像データに対応する代表累積量と、ステップＳ３０４で設定したぶれレベルを比較する。第一の撮像素子１１５の露光時間が、感度の下限値に対応するシャッタスピードに達したことで第一の撮像素子１１５の露光を停止した場合には、画像データに含まれるぶれの大きさが、ステップＳ３０４で設定したぶれレベルに達していない可能性が高い。そこで、第一の制御回路１１１は、画像データに対応する代表累積量がステップＳ３０４で設定したぶれレベルに比べて所定値以上低い場合には、不足分のぶれを有する画像データを生成するため、ステップＳ３３１に進む。この所定値は、例えば、ステップＳ３０４で設定されていた閾値に対応するぶれの大きさの３０％に相当する値とする。画像データに対応する代表累積量とステップＳ３０４で設定したぶれレベルの差が所定値未満であれば、ステップＳ３３２に進む。

ステップＳ３３１では、不足分のぶれの大きさに応じて、ステップＳ３２３の判定で用いる閾値を更新し、ステップＳ３１８に戻り、再度撮像を行う。撮像後に、それぞれの撮像で得られた画像データを合成することで、ステップＳ３０４で設定したぶれレベルに近い大きさのぶれを有する画像データを生成することができる。この画像データの合成は、撮像装置１００の内部で行ってもよいし、これらの画像データを読み込んだ外部のパーソナルコンピュータやタブレット端末などの外部装置で行ってもよい。

ここで、ステップＳ３３０において、画像データに対応する代表累積量とステップＳ３０４で設定したぶれレベルの差が所定値未満である場合には、不足分のぶれを有する画像データの生成を行わない理由について説明する。不足分のぶれの大きさが小さければ、ステップＳ３２３において新たに用いられる閾値は、その前に設定されていた閾値に比べて、大幅に小さい値となる。そのため、次の撮像では、ステップＳ３２３において、代表累積量が短期間で閾値以上となる可能性が高く、露光時間が短くなる可能性が高い。図１４に示すように、露光時間に応じて感度が変化するため、合成対象となる画像データ間で露光時間に乖離があると、それぞれの画像データを読み出す際に設定される感度も乖離してしまう。そのため、合成対象となる画像データに含まれるノイズ成分の大きさにも差が生じてしまい、合成後の画像データの品位が低下してしまう。そこで、ステップＳ３３０において、画像データに対応する代表累積量とステップＳ３０４で設定したぶれレベルの差が所定値未満である場合には、不足分のぶれを有する画像データの生成を行わない構成としている。

ステップＳ３３２において、第一の撮像システム１１０の第一の制御回路１１１は、撮影モードが選択されたままであるかを判定し、撮影モードのままであればステップＳ３０６に戻り、別のモードが選択されていればステップＳ３０２に戻る。

以上説明したように、本実施形態においては、第一の撮像素子１１５の露光期間中の被写体の動き量に基づいて、第一の撮像素子１１５の露光を終了させるため、ぶれの少ない画像を撮像することができる。

また、本実施形態では、タイミング決定回路２０４は、代表累積量が閾値以上になったタイミングで露光終了を指示する例について説明を行ったが、これに限られるものではない。例えば、タイミング決定回路２０４は、得られた最新の代表累積量が閾値以上になっていない場合だとしても、次フレームで代表累積量が閾値を大きく超えることが予想される場合は、現フレームに基づき露光終了を指示しても良い。次フレームにおいて代表累積量が閾値を大きく超える場合は、次フレームのタイミングで露光終了を指示したとしても、ぶれが発生してしまう。そのため、次フレームにおいて代表累積量が閾値を大きく超えることが予想される場合は、現フレームにおいて露光終了を指示する。なお、閾値を大きく超えるか否かの判定としては、上述した閾値より十分に値の大きな第二の閾値を設定し、次フレームにおける代表累積量の予測値がこの第二の閾値以上となるか否かを判定すればよい。

次フレームにおける代表累積量の予測値（ＶｅｃＬｅｎ＿ＰＲＥＤ）は、例えば、式（６）のように最新の動きベクトル長を２倍した動きベクトルの累積量に基づき算出すればよい。
ＶｅｃＬｅｎ＿ＰＲＥＤ＝ＶｅｃＬｅｎ１＋ＶｅｃＬｅｎ２＋２×ＶｅｃＬｅｎ３・・・（６）

式（６）では、最新の動きベクトル長は、時刻Ｔ２と時刻Ｔ３のフレーム間で算出したＶｅｃＬｅｎ３としている。このように次に得られる動きベクトルの累積量の予測値を全画素に対して算出し、そのフレームの最大値を代表累積量とする。

また、本実施形態では、タイミング決定回路２０４から出力された信号に基づいて、撮像素子１１５のフレーム全体の露光を終了する例について説明したが、これに限られるものではない。例えば第一の撮像素子１１５が、ライン、領域、あるいは、画素毎に露光時間を制御できる構成であれば、タイミング決定回路２０４は、第一の撮像素子１１５のこれらの部分毎の累積量に基づいて露光終了の信号を出力するようにしてもよい。また、フレーム全体を分割ブロックに分割し、分割ブロックを代表する累積量に基づき、分割ブロック毎に露光終了の信号を出力しても良い。また、露光の最中にシャッタスピードを更新しているが、シャッタスピードだけでなく、絞りも合わせて変更してもよい。絞りの開口径を適宜選択することで、感度の下限値に対応するシャッタスピードの値を変更することが可能になる。ただし、絞りを変えることによって被写界深度も変わってしまうため、絞りを変更する範囲は１段以内に制限するとよい。

また、本実施形態では、累積量算出回路２０２は、追跡動きベクトルの長さとして、連結した動きベクトル各々の長さの総和を動きベクトルの累積量として算出する例について説明したが、これに限られるものではない。図９のような追跡動きベクトルを構成する各動きベクトル、または、各動きベクトルの一部が同一座標を通過する場合は、同一座標を通過する長さを式（５）による動きベクトルの長さの総和処理から除外しても良い。これにより、例えば、隣接座標を行き来するような微小な周期的動き（反復運動）の被写体に対して、動きベクトル長を過分に加算してしまうことを抑制することができる。

また、本実施形態によれば、第二の撮像システム１２０の焦点距離、結像倍率、および、画角を変更して得た画像を用いた動き解析結果に基づき、第一の撮像素子１１５の露光終了のタイミングを決めている。そのため、第一の撮像素子１１５と第二の撮像素子１２５で解像度が異なる仕様であっても、ぶれの少ない画像を撮像することができる。

なお、本実施形態では、第二の光学系１２４の焦点距離を望遠側に移動することで動きの分解能を上げたが、一般的なレンズにおいて焦点距離を望遠側に移動するとＦ値が大きくなり、画像が暗くなる。その分、明るくするために感度を上げるとノイズが多くなり、動きベクトルの算出精度が悪化してしまう。そこで、第二の撮像素子１２５で得られる画像のノイズ成分の大きさに応じて、焦点距離の最大移動量に制限を設ける構成としてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１１０ 第一の撮像システム
１１１ 第一の制御回路
１１２ 第一のＲＯＭ
１１３ 第一のＲＡＭ
１１４ 第一の光学系
１１５ 第一の撮像素子
１１６ 第一のＡ／Ｄ変換回路
１１７ 第一の画像処理回路
１１８ 第一のメモリ
１１９ 第一の表示装置
１２０ 第二の撮像システム
１２１ 第二の制御回路
１２２ 第二のＲＯＭ
１２３ 第二のＲＡＭ
１２４ 第二の光学系
１２５ 第二の撮像素子
１２６ 第二のＡ／Ｄ変換回路
１２７ 第二の画像処理回路
１３０ 操作部材
２００、１５００ タイミング生成回路

Claims (13)

1. 第一の撮像手段と、
   第二の撮像手段と、
   前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出する算出手段と、
   前記第一の撮像手段の露光時間である第一の時間を設定する制御手段を有し、
   前記制御手段は、前記第一の撮像手段の露光時間が前記第一の時間に達していなくとも、前記算出手段が算出した前記動き量が閾値に達した場合には、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止するものであって、前記動き量が前記閾値に達するまでは、前記第一の撮像手段の露光時間の経過とともに前記第一の時間を更新することを特徴とする撮像装置。
2. 前記制御手段は、前記第一の撮像手段の露光時間の経過とともに、前記第一の時間を長くすることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第一の撮像手段の露光時間の経過とともに、前記第一の撮像手段の感度を更新することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記第一の撮像手段の露光時間の経過とともに、前記第一の撮像手段の感度を小さくすることを特徴とする請求項２に記載の撮像装置。
5. 前記制御手段は、前記第一の撮像手段の露光時間が前記第一の時間に達したことで前記第一の撮像手段の露光を停止した場合に、前記第一の撮像手段による画像データに含まれる動き量に応じて、前記第一の撮像手段に再び露光を行わせることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記第一の撮像手段の露光時間が前記第一の時間に達したことで前記第一の撮像手段の露光を停止した場合に、前記第一の撮像手段による画像データに含まれる動き量が、予め設定された動き量に対して所定値以上だけ小さい場合に、前記第一の撮像手段に再び露光を行わせることを特徴とする請求項５に記載の撮像装置。
7. 前記所定値は、ユーザの指示に応じて設定した値であることを特徴とする請求項６に記載の撮像装置。
8. 前記算出手段は、複数の画像データのフレーム間における前記被写体の動き量の累積量を算出する累積量算出手段を有し、
   前記制御手段は、前記累積量と閾値を比較した結果に応じて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記累積量算出手段は、前記第二の撮像手段にて新たなフレームの画像データが撮像されると、それまで撮像された複数の画像データのフレーム間における前記被写体の動き量の累積量を新たに算出し、
   前記制御手段は、前記累積量が前記閾値以上となった場合に、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止することを特徴とする請求項８に記載の撮像装置。
10. 前記制御手段は、前記累積量が前記閾値以上でなくとも、前記第二の撮像手段で撮像される次のフレームにおいて予測される累積量が前記閾値より大きな値の第二の閾値以上である場合に、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止することを特徴とする請求項９に記載の撮像装置。
11. 前記算出手段は、前記被写体の動き量として、動きベクトルを算出することを特徴とする請求項８乃至１０のいずれか１項に記載の撮像装置。
12. 撮像装置の制御方法であって、
    第一の撮像手段の露光時間である第一の時間を設定し、
    前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出し、
    前記第一の撮像手段の露光時間が前記第一の時間に達していなくとも、算出した前記動き量が閾値に達した場合には、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止し、
    前記動き量が前記閾値に達するまでは、前記第一の撮像手段の露光時間の経過とともに前記第一の時間を更新する、
    ことを特徴とする撮像装置の制御方法。
13. 撮像装置で用いられるプログラムであって、前記撮像装置に備えられたコンピュータに、
    第一の撮像手段の露光時間である第一の時間を設定するステップと、
    第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出するステップと
    前記第一の撮像手段の露光時間が前記第一の時間に達していなくとも、算出した前記動き量が閾値に達した場合には、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止するステップと、
    前記動き量が前記閾値に達するまでは、前記第一の撮像手段の露光時間の経過とともに前記第一の時間を更新するステップを、
    実行させることを特徴とするプログラム。

Images