JP2021192498A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】動く被写体を撮影する場合に、被写体ブレを抑制することができる撮像装置を提供する。【解決手段】被写体を撮像する撮像部と、機械学習により作成された学習済みモデルを用いて、撮像部により撮像された被写体の画像から、それ以降の画像を撮像する時点における被写体の速度を推定する推定部と、推定部により推定された被写体の推定速度に基づいて、撮像部における前記それ以降の画像の撮像のための撮像動作を制御する制御部とを備える。【選択図】 図５

Description

本発明は、撮像装置において、動く被写体を撮影する場合の被写体ブレを抑制する技術に関するものである。

従来より、被写体の撮像条件を決定するにあたり、被写体ブレを抑制するような制御を行う撮像装置が知られている。

特許文献１では、撮像した複数の画像を用いて被写体の動きベクトルと背景の動きベクトルを求め、被写体の動きベクトルから被写体の動きを、背景の動きベクトルから撮像装置の動きを求め、それらに基づいて撮像条件を設定している。

特許第４３７９９１８号公報

しかしながら、上述の特許文献１に開示されている技術では、複数の画像間の被写体の移動量から被写体の速度を求めている。そのため、例えば、動物が獲物に飛びかかるときなどのように急な速度変化がある場合は、その速度変化を精度良く求めることが困難である。そのような場合には、被写体ブレを抑制しきれない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、動く被写体を撮影する場合に、被写体ブレを抑制することができる撮像装置を提供することである。

本発明に係わる撮像装置は、被写体を撮像する撮像手段と、機械学習により作成された学習済みモデルを用いて、前記撮像手段により撮像された被写体の画像から、それ以降の画像を撮像する時点における被写体の速度を推定する推定手段と、前記推定手段により推定された被写体の推定速度に基づいて、前記撮像手段における前記それ以降の画像の撮像のための撮像動作を制御する制御手段と、を備えることを特徴とする。

本発明によれば、動く被写体を撮影する場合に、被写体ブレを抑制することが可能となる。

本発明の撮像装置の第１の実施形態であるデジタルカメラの構成を示すブロック図。 推定部のブロック構成を示す図。 推定部に入力される画像の例を示す図。 被写体の移動速度に対応するプログラム線図の例を示す図。 第１の実施形態における被写体の速度に基づいてプログラム線図を切り替える動作を示すフローチャート。 流し撮りの例を示す図。 第１の実施形態における流し撮り時にプログラム線図を切り替える動作を示すフローチャート。 第１の実施形態における流し撮り時のプログラム線図。 第２の実施形態におけるライブビューのフレームレートを切り替える動作を示すフローチャート。 第３の実施形態における撮像素子の構造を示す図。 第３の実施形態における単位画素の回路図。 第３の実施形態における単位列回路の回路図。 蓄積時間切り替え方式のＨＤＲにおける蓄積と読み出しのタイミングを示す図。 蓄積時間切り替え方式のＨＤＲにおける画素領域全体の読み出し動作のタイミングチャート。 ゲイン切り替え方式のＨＤＲにおける画素領域全体の読み出し動作のタイミングチャート。 被写体の推定速度に応じてＨＤＲ画像の撮像動作を切り替える動作を示すフローチャート。 第４の実施形態における、ライブビュー撮影及び被写体の速度推定の動作を示すタイミング図。 推定速度を補間することにより、任意のタイミングにおける推定速度を得る例を示した図。 蓄積開始時の被写体速度による蓄積時間の制御について示す図。 蓄積中心の被写体速度による蓄積時間の制御について示す図。 第６の実施形態における推定部のブロック構成を示す図。 第６の実施形態における学習モデルの学習を概略的に説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルカメラ１００の構成を示すブロック図である。

図１において、レンズ部１０１は、被写体の光学像を撮像素子１０５に結像させる。また、レンズ部１０１では、レンズ駆動装置１０２によってズーム制御、フォーカス制御、絞り制御などが行われる。メカニカルシャッター１０３は、シャッター駆動装置１０４によって制御される。撮像素子１０５は、ＣＣＤやＣＭＯＳセンサなどからなり、レンズ部１０１により結像された被写体像を光電変換して、画像信号を出力する。

信号処理回路１０６は、撮像素子１０５から出力される画像信号に対して、各種の補正処理、データ圧縮処理、現像処理などを行う。また、信号処理回路１０６は、画像信号にゲインをかけるデジタルゲイン処理を行うゲイン部１０６ａを備える。測光部１０７は、画像信号から被写体輝度を求める。推定部１０８は、画像信号から被写体の撮像時（現在から所定時間が経過した後の時刻）における被写体の速度を推定及び学習する。

制御部１０９は、各種演算を行うとともに、デジタルカメラ１００全体を制御する。動きセンサ１１０は、デジタルカメラ１００の動きの角速度を検出する角速度センサ（ジャイロセンサ）と、加速度を検出する加速度センサとを備える。メモリ部１１１は、画像データを一時的に記憶する。インターフェース部（Ｉ／Ｆ部）１１２は、記録媒体１１３へのデータの記録または記録媒体１１３からのデータの読み出しを行うためのインターフェースである。記録媒体１１３は、画像データの記録または読み出しを行うための着脱可能な半導体メモリ等からなる。

表示部１１４は、各種情報や撮影画像を表示する表示部であり、電子ビューファインダ（ＥＶＦ）と液晶表示部（ＬＣＤ）を含む。電子ビューファインダには接眼部が設けられており、接眼部を介して、ＥＶＦパネルに表示された画像を視認することができる。近接センサ１１５は、ＥＶＦの接眼部付近に配置され、接眼部への物体の近接を検知する。

操作部１１６は、電源スイッチ、シャッタースイッチ、タッチパネルを含む。シャッタースイッチは、シャッターボタンが半押しされることによってオートフォーカス（ＡＦ）等の撮影準備動作を開始させる指示スイッチＳＷ１と、シャッターボタンが全押しされることによって撮像を開始させる指示スイッチＳＷ２を含む。タッチパネルは、ＬＣＤ上に積層されており、ユーザーのタッチ動作を検知する。

図２は、推定部１０８のブロック構成を示す図である。推定部１０８は、速度推定部２０１と、補正部２０２とを備えて構成される。速度推定部２０１は、メモリ部１１１に保持された１枚の画像信号の入力に対し、画像信号中の被写体の所定時間後の記録用画像の撮像時点における速度を推定して出力する。所定時間後の撮像のタイミングは、制御部１０９から通知される。

この被写体の速度の推定は、公知のディープラーニング技術等を用いて、入力された画像中の被写体と、その被写体の次の動作の速度とを関連付けて機械学習させ、作成された学習済みモデルを用いることにより実現できる。そのため、急な動きの変化についても、事前にその兆候が写った入力画像を用いることにより、急な動きの変化があっても、速度を推定することが可能となる。

図３は、推定部２０１に入力される画像の例を示す図である。図３（ａ）のように立っている犬の画像が速度推定部２０１に入力された場合、速度推定部２０１は０ｋｍ／ｈという推定速度を出力する。図３（ｂ）のように走っている犬の画像が速度推定部２０１に入力された場合、速度推定部２０１は例えば３０ｋｍ／ｈという推定速度を出力する。

補正部２０２は、入力された画像における被写体の像面上のサイズに応じて、速度推定部２０１から出力された推定速度を補正する。具体的には、像面上で被写体のサイズが小さければ、像面上での速度が遅くなるように、逆に大きければ、像面上での速度が速くなるように補正する。また、補正部２０２は、被写体の像面上のサイズではなく、被写体までの距離とレンズ部１０１の撮像倍率を用いて、速度推定部２０１から出力された推定速度を補正してもよい。

補正部２０２は、補正された被写体の推定速度を制御部１０９へ送る。制御部１０９は、被写体の推定速度に応じて対応するプログラム線図を選択し、測光部１０７により求められたＥＶ値（Ｅｘｐｏｓｕｒｅ ｖａｌｕｅ）に基づいて、シャッタースピード、ＩＳＯ感度、絞りといった撮像条件を決定する。制御部１０９が、前述した被写体の推定速度に基づいて、非移動性、低速、中速、高速の移動の種別を判断している。ここでは、被写体の推定速度が閾値未満であれば非移動性被写体として取り扱う。

図４は、移動の種別ごとのプログラム戦図を示す図である。図４（ａ）は非移動性被写体のプログラム線図、図４（ｂ）は低速移動性被写体のプログラム線図、図４（ｃ）は中速移動性被写体のプログラム線図、図４（ｄ）は高速移動性被写体のプログラム線図の例をそれぞれ示している。どのプログラム線図も、最大絞り（開口径が一番大きい絞り）Ｆ１．４、最小絞り（開口径が一番小さい絞り）Ｆ２２としている。ＩＳＯ感度については、ゲイン部１０６ａがＩＳＯ感度に応じたゲインをかけることにより、ＩＳＯ１００〜ＩＳＯ１６３８４００の範囲で設定可能である。また、撮像素子１０５内でゲインをかけてもよい。

非移動性の被写体に分類された場合は、図４（ａ）の非移動性被写体のプログラム線図が選択される。図４（ａ）の非移動性被写体のプログラム線図では、所定の輝度範囲（図中のＥＶ４からＥＶ２０）で、測光部１０７で計測されたＥＶ値に応じて、絞りとシャッタースピードの制御が行われる。最大絞りとなる領域３０１、最小絞りとなる領域３０２では、シャッタースピードのみで制御が行われる。

低速の移動性被写体に分類された場合は、シャッタースピードを極端に遅くすると被写体ブレを起こすため、図４（ｂ）の低速の移動性被写体のプログラム線図が選択される。図４（ｂ）の低速の移動性被写体のプログラム線図では、非移動性被写体のプログラム線図と同様に、所定の輝度範囲（図中のＥＶ８からＥＶ２０）でＩＳＯ感度を固定し、絞りとシャッタースピードの制御が行われる。低速の移動性被写体のプログラム線図が非移動性被写体のプログラム線図と異なる点は、シャッタースピードが１／３０秒となる領域３０３では、シャッタースピードが固定され、絞りとＩＳＯ感度制御が行われることである。最大絞りとなる領域３０４では、ＩＳＯ感度制御のみが行われる。

中速の移動性被写体に分類された場合は、被写体ブレを防ぐために更にシャッタースピードを速くする必要があり、図４（ｃ）の中速の移動性被写体のプログラム線図が選択される。図４（ｃ）の中速の移動性被写体のプログラム線図では、低速の移動性被写体のプログラム線図と同様に、所定の輝度範囲（図中のＥＶ１２からＥＶ２０）でＩＳＯ感度が固定され、絞りとシャッタースピードの制御が行われる。シャッタースピードが１／１２５秒となる領域３０５では、シャッタースピードが固定され、絞りとＩＳＯ感度制御が行われる。最大絞りとなる領域３０６ではＩＳＯ感度制御のみが行われる。

高速の移動性被写体に分類された場合は、被写体ブレを防ぐために更にシャッタースピードを速くする必要があり、図４（ｄ）の高速の移動性被写体のプログラム線図が選択される。図４（ｄ）の高速の移動性被写体のプログラム線図では、低速の移動性被写体のプログラム線図と同様に、所定の輝度範囲（図中のＥＶ１６からＥＶ２０）でＩＳＯ感度が固定され、絞りとシャッタースピードの制御が行われる。シャッタースピードが１／５００秒となる領域３０７では、シャッタースピードが固定され、絞りとＩＳＯ感度制御が行われる。最大絞りとなる領域３０８では、ＩＳＯ感度制御のみが行われる。

以下に、デジタルカメラ１００自身がシャッタースピード、ＩＳＯ感度、絞りといった撮像条件を決定するＰ （プログラム）モードにおいて、撮像素子１０５から出力された画像を表示部１１４に表示しながら静止画撮影を行う、いわゆるライブビュー撮影の動作について説明する。

本実施形態では、ライブビュー撮影時の事前撮影画像を用いて推定部１０８で被写体の速度を推定し、推定速度に応じて制御部１０９が、撮像条件を決定するプログラム線図を切り替える。

図５は、被写体の推定速度に応じてプログラム線図を切り替える動作を示すフローチャートである。デジタルカメラ１００の電源が投入されると、このフローチャートの動作が開始され、ライブビュー撮影が開始される。

ステップＳ４０１では、制御部１０９は、撮像素子１０５から出力された画像信号に対して、信号処理回路１０６を用いて、各種補正処理、データ圧縮処理、現像処理等の画像処理を行う。処理された画像データは、メモリ部１１１に保持された後、表示部１１４に表示される。この際、撮像素子１０５から出力される画像信号は、推定部１０８での被写体速度の推定、および表示部１１４での表示に用いられるため、信号処理回路１０６においてリサイズされていてもよい。また、表示部１１４と推定部１０８には、それぞれ異なる画像処理を行った画像を個別に入力してもよい。

ステップＳ４０２では、制御部１０９は、メモリ部１１１に保持された一枚の画像に対して、速度推定部２０１を用いて所定時間後の被写体の速度を推定する。ここでの所定時間とは、ライブビュー撮影（ライブビュー動作）における次のフレームの撮像時刻までの時間である。

ステップＳ４０３では、制御部１０９は、補正部２０２を用いて被写体の像面上のサイズに応じて、被写体の推定速度を補正する。

ステップＳ４０４では、制御部１０９は、補正部２０２において補正された被写体の推定速度に対して、高速、中速、低速、非移動性の分類を行う。高速移動性被写体であればステップＳ４０５、中速移動性被写体であればステップＳ４０６、低速移動性被写体であればステップＳ４０７、非移動性被写体であればステップＳ４０８にそれぞれ進む。ステップＳ４０５、Ｓ４０６、Ｓ４０７、Ｓ４０８では、制御部１０９は、それぞれの被写体速度に対応したプログラム線図を選択する（撮像動作を制御する）。

ステップＳ４０９では、制御部１０９は、選択されたプログラム線図と測光部１０７の求めたＥＶ値とに基づいて、シャッタースピード（シャッター速度）、ＩＳＯ感度、絞りといった撮像条件を決定する。

ステップＳ４１０では、制御部１０９は、レリーズボタンが押下されたか否かを判定する。レリーズボタンが押下されれば、ステップＳ４１１に進み、ステップＳ４０９で決定された撮像条件で記録用の撮像を行う。撮像された画像信号は、信号処理回路１０６で信号処理が施された後にメモリ部１１１に保持され、Ｉ／Ｆ部１１２を介して記録媒体１１３に記録される。ステップＳ４１０においてレリーズボタンが押下されなければ、ステップＳ４０１に戻り、一連の動作を繰り返す。

なお、ライブビューのフレームレートが高くフレーム間の時間が短い場合は、被写体の速度の推定処理がライブビューの次のフレームまでに完了しないことがある。この場合、推定処理を数フレームに１回行うようにし、推定する被写体の速度のタイミングを次フレーム以降の撮像時刻としてもよい。

上記では、撮影モードがＰモードである場合のライブビュー撮影動作について説明したが、撮影者が任意に絞りを設定するＡｖ（絞り優先）モード、撮影者が任意にシャッタースピードを設定するＴｖ（シャッタースピード優先）モードにも適用可能である。Ｐモードでは、推定部１０８が出力する被写体の推定速度に基づき、被写体ブレが起こるシャッタースピードが設定されないようシャッタースピードが制限されたプログラム線図が選択される。

これに対し、Ｔｖモードでは、任意にシャッタースピードを設定できる。この場合、Ｔｖモードにおいては、撮影者が設定できるシャッタースピードを制限せず、被写体ブレが起こるようなシャッタースピードが設定された場合、表示部１１４に被写体ブレが起こる可能性がある旨を通知する表示を行ってもよい。また、被写体ブレが起こるようなシャッタースピードを設定できないように制限してもよい。

以上説明したように、本実施形態によれば、所定時間後の撮像時の被写体の速度を推定し、その速度に対応したプログラム線図を選択することにより、被写体ブレを起こしにくい撮像条件を設定することが可能となる。

次に、第１の実施形態の変形例として、撮像条件の設定に、角速度センサ、加速度センサを含む動きセンサ１１０の情報を参照する場合について説明する。

例えば流し撮りで走っている犬を撮影する場合、第１の実施形態のフローチャートに従えばシャッタースピードは遅くならないよう制御される。しかし、流し撮りの場合は、図６に示すように、被写体が像面上では移動せず、加えて背景は流れる必要がある。そのため、シャッタースピードが速すぎてはいけない。つまり、移動性被写体を検出しても、移動性被写体のプログラム線図が選択されないようにする必要がある。そこで、本変形例では、流し撮りを行う際には、デジタルカメラ１００が被写体を追尾する動きを動きセンサ１１０で検出して、流し撮りが行われているか否かを判断する。

図７は、流し撮りの判別を含めたデジタルカメラ１００の動作を示すフローチャートである。ステップＳ６０１〜ステップＳ６０３、ステップＳ６０９〜ステップＳ６１１は、図５のステップＳ４０１〜ステップＳ４０３、ステップＳ４０９〜ステップＳ４１１とそれぞれ同様であるため説明を省略する。

ステップＳ６０４では、制御部１０９は、ステップＳ６０２で推定された被写体の速度情報と、動きセンサ１１０による角速度情報、加速度情報とを参照し、デジタルカメラ１００の速度と、被写体とデジタルカメラ１００の相対速度を算出する。

ステップＳ６０５では、制御部１０９は、ステップＳ６０４で算出されたデジタルカメラ１００の速度と、被写体とデジタルカメラ１００の相対速度とから、流し撮りが行われているか否かを判定する。例えば、相対速度が閾値未満であり、動きセンサ１１０により検出されたデジタルカメラ１００の速度が閾値以上であれば、デジタルカメラ１００が被写体を追いかけている流し撮りと判断することができる。その場合、制御部１０９は、ステップＳ６０６で流し撮りのプログラム線図を選択する。

相対速度が閾値以上であれば、被写体ブレ、もしくは手振れによる像ブレが生じる可能性があるので、ステップＳ６０７では、ステップＳ６０２、Ｓ６０３で分類した被写体速度の分類に基づいて、移動性被写体のプログラム線図を選択する。この動作は、図５のステップＳ４０４〜Ｓ４０７の動作と同様である。相対速度、デジタルカメラ１００の速度の双方が共に閾値未満であれば、被写体ブレ、手振れによる像ブレのどちらも生じにくいので、制御部１０９は、ステップＳ６０８で非移動性被写体のプログラム線図を選択する。

図８は、流し撮りのプログラム線図を示す図である。流し撮りのプログラム線図では、所定の輝度の範囲（図中ＥＶ２からＥＶ１６）でＩＳＯ感度が固定され、絞りとシャッタースピードの制御が行われる。シャッタースピードが速いと背景が流れなくなるため、シャッタースピードが１／１２５秒、絞りが最小絞りである領域７０１では、シャッタースピードを固定し、ＩＳＯ感度の制御のみを行う。

一方、シャッタースピードが遅い場合、流し撮りのパンニングによる手振れで像ブレが発生するため、シャッタースピードが１／２秒、絞りが最大絞りとなる領域７０２では、シャッタースピードを固定し、ＩＳＯ感度の制御のみを行う。

以上説明したように、第１の実施形態の変形例では、流し撮りを行っている場合に移動性被写体を検出しても、流し撮りのプログラム線図を選択することができ、被写体に対して背景が流れている画像を取得することが可能となる。

（第２の実施形態）
第１の実施形態では、ライブビューを用いた撮影時の撮像条件について説明したが、本実施形態ではライブビューそのものの動作について説明する。ライブビュー撮影は、撮像素子１０５から出力された画像を表示部１１４に表示しながら静止画撮影を行う動作である。

ライブビューで移動性被写体を撮影する場合、撮像素子１０５からの出力が低フレームレートであれば表示部１１４の表示は、被写体の動きがコマ送りのように表示される。そのため、撮像素子１０５からの出力のフレームレートは、移動性被写体をなめらかに表示できる高フレームレートであることが望ましい。

しかし、高フレームレートで撮像素子１０５から画像信号を出力すると、デジタルカメラ１００の消費電力が大きくなる。そのため、ライブビュー撮影で非移動性被写体を撮影する場合、撮像素子からの出力のフレームレートは低フレームレートであることが望ましい。

図９は、被写体の推定速度に応じてライブビューのフレームレートを切り替える動作を示すフローチャートである。ステップＳ８０１〜ステップＳ８０３は図５のステップＳ４０１〜ステップＳ４０３と同様であるため説明を省略する。

ステップＳ８０４では、制御部１０９は、被写体の推定速度が所定の閾値以上であるか否かを判定する。被写体の推定速度が閾値以上ならステップＳ８０５に進み、ライブビューの高フレームレート駆動動作を選択する。被写体の推定速度が閾値未満の場合、ステップＳ８０６に進み、ライブビューの低フレームレート駆動動作を選択する。

ステップＳ８０７では、制御部１０９は、ライブビューの終了操作が行われたか否かを判定する。ライブビューの終了操作が行われた場合は、ステップＳ８０８でライブビューを終了する。ステップＳ８０７でライブビューの終了操作が行われなければ、ステップＳ８０１に戻り、一連の動作を繰り返す。

以上説明したように、本実施形態では、ライブビューで移動性被写体が存在した場合は高フレームレートでなめらかに表示し、非移動性被写体の場合は低フレームレートで消費電力を抑制することが可能となる。

なお、本実施形態では、フレームレートが高低の二種類の場合について説明したが、複数のフレームレートを持ち、被写体の推定速度に応じて選択できるようにしてもよい。

（第３の実施形態）
以下、第３の実施形態について説明する。本実施形態では、低い露出と高い露出の画像信号を合成したＨＤＲ信号（ハイダイナミックレンジ信号）を取得する場合の、撮像素子の駆動方式の切り替えについて説明する。

初めに、ＨＤＲ信号を取得できる撮像素子の画素構造について説明する。ＨＤＲ信号を取得できる画素構造として、隣接２画素が同色のカラーフィルターを持つ構造が知られている。この画素構造においてＨＤＲ画像を取得する方式には、隣接同色２画素の蓄積時間を異ならせる蓄積時間切り替え方式と、ゲインを異ならせるゲイン切り替え方式とがある。

図１０は、本実施形態の撮像素子１０５Ａの構造を示す図である。撮像素子１０５Ａは、画素領域９００、垂直制御回路９０２、水平制御回路９０３、タイミングジェネレータ（以下、ＴＧ）９０４、行選択スイッチ９０５，９０６、垂直転送線９０７、列回路９０９、信号加算部９１０を備えて構成される。

画素領域９００には、単位画素９０１が行列状に配置されている。単位画素９０１は、前述したように、隣接した同色のカラーフィルターを有する２画素で構成される。そのため単位画素９０１には、２本の垂直転送線９０７が接続される。また、垂直転送線９０７には１本当たり１つの単位列回路９０８が接続されている。

図１０では、説明を分かりやすくするために、画素領域９００に４×４画素の単位画素９０１が示されている例を示しているが、実際上はさらに多数の画素が配置される。なお、垂直制御回路９０２は、画素領域９００の画素を行選択スイッチ９０５，９０６により１行単位で選択する。単位画素９０１から垂直転送線９０７を介して読み出された画素信号は、複数の単位列回路９０８で構成される列回路９０９でデジタル信号に変換され、信号合成部９１０に入力される。

信号合成部９１０は、単位画素９０１のうち、同色カラーフィルターの隣接２画素から読み出された低い露出と高い露出の信号を合成し、ＨＤＲ信号を生成する。合成の手法としては、例えば、露出の高い信号が飽和している場合、露出の低い信号を用いてＨＤＲ信号を生成する方法がある。なお、ＨＤＲ信号を生成する方法は任意の合成方法を用いることが可能であり、合成方法は限定されない。

ＴＧ９０４は、各画素の画素信号を出力するための制御信号を垂直制御回路９０２および水平制御回路９０３に送出する。なお、ＴＧ９０４は信号合成部９１０にも制御信号を送出する。

図１１は、同色カラーフィルターの単位画素９０１の構造を示す図である。単位画素９０１はフォトダイオード１００１（ＰＤａ），１００２（ＰＤｂ）、転送トランジスタ１００３，１００４、ＦＤ容量追加スイッチ１００５，１００６、追加ＦＤ容量１００７，１００８、ＦＤ１００９，１０１０、リセットトランジスタ１０１１，１０１２、増幅トランジスタ１０１３，１０１４を備えて構成される。

図１２は、単位列回路９０８の構造を示す図である。単位列回路９０８は、コンパレータ１１０１、カウンタ１１０２、Ｎメモリ１１０３、Ｓメモリ１１０４、ＣＤＳ回路１１０５を備えて構成される。

コンパレータ１１０１は、単位画素９０１から読み出された画素信号と不図示のランプ信号ｒａｍｐを比較する。画素信号とランプ信号の大小関係が反転すると、コンパレータ１１０１の出力も反転する。カウンタ１１０２は入力されたクロック信号ｃｌｋに基づきカウント動作を行い、コンパレータ１１０１の出力が反転するとカウント動作を停止することでＡＤ変換を行う。

ＡＤ変換後、カウンタ１１０２は、保持しているカウント値がＦＤ（フローティングディフュージョン部）のリセットレベルのＡＤ変換結果であればＮメモリ１１０３に、画素信号のＡＤ変換結果であればＳメモリ１１０４に出力する。ＣＤＳ回路１１０５は、Ｓメモリ１１０４の保持している値からＮメモリ１１０３の保持している値を減算することにより、画素信号からリセットノイズ成分を取り除いた信号を得る。

図１３は、ＨＤＲの方式として蓄積時間切り替え方式を用いる場合の蓄積動作と読み出し動作を示す図である。ＰＤａ１００１は、期間Ｐ１にリセットが行われ、期間Ｐ２で蓄積が行われる。その後、期間Ｐ３で読み出し動作が行われる。一方、ＰＤｂ１００２は、期間Ｐ１にリセットが行われ、期間Ｐ４で蓄積が行われる。その後、期間Ｐ５で読み出し動作が行われる。一連の動作はＰＤａ１００１、ＰＤｂ１００２で共に同じであるが、蓄積を行う期間である期間Ｐ２と期間Ｐ４の長さが異なる。これにより低い露出と高い露出の信号を得ることが可能となる。これらの信号を信号合成部９１０で合成することにより、ＨＤＲ信号を得ることができる。

ＨＤＲ信号を得る方式としてゲイン切り替え方式を用いる場合は、信号ＦＤａ（図１１参照）をＬｏ、信号ＦＤｂ（図１１参照）をＨｉにする。これにより、ＰＤｂ１００２側のＦＤ容量が増加し、ＰＤａ１００１に対してＰＤｂ１００２の画素信号のゲインが低くなる。これにより低い露出と高い露出の信号を得ることが可能となる。これらの信号を信号合成部９１０で合成することによりＨＤＲ信号を得ることができる。

なお、異なるゲインでの読み出しを、ＦＤ容量の変更ではなく、コンパレータ１１０１に供給されるランプ信号の変更や、不図示の単位列回路９０８内のプリアンプのゲインの変更により行ってもよい。

図１４は、ＨＤＲ信号を得る方式として蓄積時間切り替え方式を用いる場合の画素領域９００全体の読み出し動作を示す図である。

タイミングＴ１３０１において、ＰＤａ１００１、ＰＤｂ１００２共にリセット動作が各行順次に行われ、蓄積が開始される。次にタイミングＴ１３０２において、ＰＤａ１００１の読み出しが開始され、全行読み出しが終わるまで各行ごとに読み出される。次にタイミングＴ１３０３において、ＰＤｂ１００２の読み出しが開始され、全行読み出しが終わるまで各行ごとに読み出される。以降のタイミングＴ１３０４からＴ１３０６の動作はタイミングＴ１３０１からＴ１３０３と同様の動作である。ＰＤａ１００１、ＰＤｂ１００２共に蓄積開始のタイミングが同じであるが、読み出しのタイミングが異なるため、蓄積時間が異なる。

図１５は、ＨＤＲ信号を得る方式としてゲイン切り替え方式を用いる場合の画素領域９００全体の読み出し動作を示す図である。タイミングＴ１４０１において、ＰＤａ１００１、ＰＤｂ１００２共にリセット動作が各行順次に行われ、蓄積が開始される。次にタイミングＴ１４０２において、ＰＤａ１００１、ＰＤｂ１００２共に読み出しが開始され、全行読み出しが終わるまで各行ごとに読み出される。以降のタイミングＴ１４０３からＴ１４０４の動作はタイミングＴ１４０１からＴ１４０２と同様の動作である。ＰＤａ１００１、ＰＤｂ１００２共に蓄積開始のタイミング、読み出しのタイミングが同じであるため、蓄積時間は同一である。

ゲイン切り替え方式において、面内の輝度差が大きい場合、画素信号にゲインをかけても光量が極端に少ない暗部では階調が得られない場合がある。一方、蓄積時間切り替え方式では、ゲインをかけずに蓄積時間を長くすることにより高い露出の信号を得る。このためゲイン切り替え方式に比べて高い露出の信号の暗部の階調を得ることができる。

しかし、移動性被写体が存在した場合、異なる蓄積時間の内、蓄積時間の長いフォトダイオードで被写体ブレが生じてしまう。そのため、移動性被写体の場合は、ゲイン切り替え方式を用いることが望ましく、非移動性被写体の場合は蓄積時間切り替え方式を用いることが望ましい。

図１６は、被写体の推定速度に応じてＨＤＲ信号を得る方式を切り替える動作を示すフローチャートである。ステップＳ１５０１〜ステップＳ１５０３は、図５のステップＳ４０１〜ステップＳ４０３と同様であるため、説明を省略する。

ステップＳ１５０４では、制御部１０９は、被写体の推定速度が所定の閾値以上であるか否かを判定する。被写体の推定速度が閾値以上であれば、ステップＳ１５０５に進み、撮像素子１０５Ａにゲイン切り替え方式の動作を行わせる。被写体の推定速度が閾値未満であれば、ステップＳ１５０６に進み、撮像素子１０５Ａに蓄積時間切り替え方式の動作を行わせる。

ステップＳ１５０７では、制御部１０９は、撮影の終了操作が行われたか否かを判定する。撮影の終了操作が行われた場合は、ステップＳ１５０８で撮像画像を記録して終了する。ステップＳ１５０７で撮影の終了操作が行われなければ、ステップＳ１５０１に戻り、一連の動作を繰り返す。

以上説明したように、本実施形態では、所定時間後の撮像時における被写体の推定速度に基づいてＨＤＲ信号を得る方式を切り替えている。このことにより、撮影条件などに基づいてＨＤＲ信号を得る方式を切り替える場合に比べて、より被写体ブレを抑制することができる。また、露光量、蓄積時間の閾値によりＨＤＲ信号を得る方式を機械的に切り替える場合に比べて、より被写体ブレを抑制することができる。
（第４の実施形態）
第１乃至第３の実施形態では、ライブビュー撮影で取得した画像から次のフレーム、あるいはその次のフレームの被写体速度を推定し、その推定結果に基づき撮像動作の制御を行っていた。しかし、撮影者は任意のタイミングでレリーズボタンを押下するため、ライブビュー撮影において一定間隔で行われる被写体の速度が推定される時刻と、撮影時刻が異なる可能性がある。

図１７は、第１乃至第３の実施形態における、ライブビュー撮影及び被写体の速度推定の動作のタイミングを示した図である。図１７の動作は撮像素子１０５から一定間隔毎に出力された画像を表示部１１４に表示しながら静止画撮影を行う、いわゆるライブビュー撮影の動作である。ここではタイミングＴ１７０２、タイミングＴ１７０５、タイミングＴ１７０８の一定間隔ごとに画像の読み出しが開始される。

タイミングＴ１７０１でリセット動作が各行順次に行われ蓄積が開始される。次にタイミングＴ１７０２において、順次各行ごとに読み出しが開始され、タイミングＴ１７０３において、全行の読み出しが完了する。その後、推定部１０８は、タイミングＴ１７０３で取得された画像を用いてタイミングＴ１７０５での被写体速度の推定を行う。

制御部１０９は被写体の推定速度に基づき、タイミングＴ１７０４のリセット動作の開始タイミングを制御することにより、蓄積時間を制御する。なお、蓄積時間が長く、リセット動作を行うタイミングＴ１７０４が推定完了以前のタイミングとなるような場合があるため、タイミングＴ１７０４は被写体速度の推定完了以降となるよう、蓄積時間に制限を設けてもよい。

タイミングＴ１７０４でリセット動作、タイミングＴ１７０５で読み出し動作が行われた後、推定部１０８は、タイミングＴ１７０６で取得された画像を用いてライブビューの次のフレームの読み出しのタイミングＴ１７０８での被写体速度の推定を行う。このとき、タイミングＴ１７０８は、タイミングＴ１７０５の被写体速度の推定に基づき制御部１０９によって制御される。

次に、タイミングＴ１７０７でリセット動作、タイミングＴ１７０８で読み出し動作が行われる。ここではタイミングＴ１７０８における被写体の推定速度が速い場合の例を示している。そのため、制御部１０９が被写体の推定速度に基づき蓄積時間が短くなるようタイミングＴ１７０７のリセット動作の開始を遅らせるよう制御している。

次に、レリーズボタンが押下された場合の動作について説明する。タイミングＴ１７０９でレリーズボタンが押下された場合、制御部１０９によりタイミングＴ１７０９でリセット動作と蓄積の開始、タイミングＴ１７１０で読み出しの開始が指示され、静止画が取得される。この場合、タイミングＴ１７０９における被写体の推定速度は得られていないため、制御部１０９は、レリーズボタンが押下されたタイミングＴ１７０９の直近であるタイミングＴ１７０８の被写体の推定速度に基づいて蓄積時間を制御する。

このため、被写体の推定速度が推定されたタイミングＴ１７０８とレリーズボタンが押下されたタイミングＴ１７０９で被写体速度が異なる場合、蓄積時間の制御が適切ではなくなる。

図１８は、本実施形態における一定間隔で行われる所定時間後の被写体速度の推定に対し、その間の推定速度を補間することにより、任意のタイミングにおける推定速度を得る例を示した図である。

図１８（ａ）は、取得した画像から、異なる２つの所定時間後の被写体速度を推定し、２つの時刻間の被写体の推定速度を補間する動作のタイミングを示した図である。図１８（ａ）については、図１７と異なる点について説明する。

図１７において、推定部１０８は、タイミングＴ１７０３で取得された画像を用いてライブビューの次のフレームの読み出し開始タイミングＴ１７０５の被写体速度の推定を行う。それに対して、図１８においては、推定部１０８はタイミングＴａ１８０３で取得された画像を用いて、ライブビューの次のフレームの読み出し開始タイミングＴａ１８０５に加え、さらにその次のフレームの読み出し開始タイミングＴａ１８０８の被写体速度の推定を行う。換言すれば、図１７では被写体速度の推定を次のフレームに対してのみ行っていたが、図１８では次のフレームと、さらにその次のフレームに対して行う。

さらに推定部１０８は、得られたタイミングＴａ１８０５とタイミングＴａ１８０８での被写体の推定速度から、タイミングＴａ１８０５とタイミングＴａ１８０８の間における被写体の推定速度を補間する。この推定速度の補間は線形補間など公知の手法を用いることで実現することができる。同様に、推定部１０８はタイミングＴａ１８０６で得られた画像についてもライブビューの次のフレームの読み出しのタイミングＴａ１８０８と、さらにその次のフレームの読み出しのタイミングＴａ１８１１での被写体速度の推定を行い、間を補間する。この補間処理により任意のタイミングにおいて被写体の推定速度を得ることができる。

このため、タイミングＴａ１８１０でレリーズボタンが押下されても、制御部１０９は、補間されたタイミングＴａ１８１０での被写体の推定速度に基づき、蓄積時間の制御を行うことができる。

なお、速度推定に要する時間が短い場合、１つ前のフレームで行われた速度推定結果との補間であってもよい。

これを、図１８（ａ）を用いて、具体的に説明する。タイミングＴａ１８０８とタイミングＴａ１８１１間の補間を例に説明すると、タイミングＴａ１８０６では、タイミングＴａ１８０６で得られた画像から、タイミングＴａ１８０８とタイミングＴａ１８１１の速度を推定するとともに、その間の補間を行っている。

ここで、速度推定に要する時間が短く、タイミングＴａ１８０９で得られた画像を用いた次のフレームであるタイミングＴａ１８１１の速度推定が、レリーズボタンが押下されるＴａ１８１０よりも早く完了したとする。この場合、タイミングＴａ１８１１の推定速度は新たに求められた推定速度を使用し、タイミングＴａ１８０６より求められたタイミングＴａ１８０８の推定速度との補間からタイミングＴａ１８１０の推定速度を求める。

これにより、タイミングＴａ１８０９とタイミングＴａ１８１１の間の補間に用いられるタイミングＴａ１８１１の速度推定を、より近傍のタイミングＴａ１８０９の画像を用いて得ることができる。そのため、レリーズボタンが押下されるタイミングＴａ１８１０での補間された推定速度の精度を高めることができる。

図１８（ｂ）は、取得した画像から所定時間後の被写体速度と被写体加速度を推定し、次の被写体の推定速度が得られるまでの間を補間する動作のタイミング図である。

ここでの被写体加速度とは、被写体速度の時間に対する変化量であり、公知のディープラーニング技術等を用いて、入力された画像内の被写体とその被写体の次の動作の加速度を関連付けて機械学習させた学習モデルを用いることで実現できる。

図１８（ｂ）において、推定部１０８は、タイミングＴｂ１８０３で取得された画像を用いてライブビューの次のフレームの読み出しのタイミングＴｂ１８０５での被写体速度、および被写体加速度の推定を行う。

同様に推定部１０８は、タイミングＴｂ１８０６、タイミングＴｂ１８０９で取得された画像を用いて、それぞれライブビューの次のフレームの読み出しのタイミングＴｂ１８０８、タイミングＴｂ１８１１での被写体速度、被写体加速度の推定を行う。

さらに、推定部１０８はタイミングＴｂ１８０５での被写体の推定速度、推定加速度を用いて次の推定結果が得られるタイミングＴｂ１８０８までの被写体の推定速度を補間する。同様に推定部１０８はタイミングＴｂ１８０８での推定結果からタイミングＴｂ１８１１までの被写体の推定速度を補間する。この補間処理により任意のタイミングにおいて被写体の推定速度を得ることができる。

このため、タイミングＴｂ１８１０でレリーズボタンが押下されても、制御部１０９は補間されたタイミングＴｂ１８１０での被写体の推定速度に基づき、蓄積時間の制御を行うことができる。

以上説明したように、一定間隔で行われる所定時間後の被写体速度の推定に対し、その間の推定速度を補間することにより、任意のタイミングにおける推定速度が得られる。これにより、撮影者がレリーズボタンを押下するタイミングの被写体の推定速度に基づいた撮像動作の制御を行うことが可能となる。

（第５の実施形態）
第１乃至第４の実施形態では、レリーズボタンが押下されたタイミング、もしくはその近傍のタイミングでの被写体の推定速度を用いて撮像動作を制御している。しかし、被写体の推定速度に応じて蓄積時間を制御する場合、レリーズボタンが押下され蓄積が開始された後も被写体の速度は変化する場合がある。例えば被写体が急加速している場合、被写体の推定速度は蓄積開始時と蓄積終了時で大きく異なる。

本実施形態では、蓄積時間の制御を、レリーズボタンが押下されたタイミング、もしくはその近傍のタイミングでの被写体の推定速度ではなく、蓄積中心（蓄積の中心時刻）における被写体の推定速度を用いて行う。蓄積時間が蓄積開始時の被写体速度ではなく、蓄積中心の被写体速度に応じて制御されると、被写体ブレの抑制等をより適切に行うことができる。

図１９は、第４の実施形態における、蓄積開始時の被写体速度による蓄積時間の制御について示す図である。図１９（ａ）は、蓄積時間の決定のフローチャート、図１９（ｂ）は、図１９（ａ）のフローチャートに従った場合の被写体の推定速度及び蓄積タイミングの関係を示している。

ステップＳ１９０１において、任意のタイミングにおける被写体速度の推定が行われる。この推定は、図１８（ａ）で示した２フレーム間の推定速度による補間、もしくは図１８（ｂ）で示した被写体加速度による補間を用いればよい。これにより図１９（ｂ）の曲線Ｖで示されるタイミングｔにおける被写体推定速度が得られる。

ステップＳ１９０２においてレリーズボタンが押下されると、レリーズタイムラグを考慮し、蓄積開始タイミングが決定される。次にステップ１９０３で蓄積が開始される。

図１９（ｂ）においてレリーズはタイミングＴ１９０１、蓄積開始はタイミングＴ１９０２となり、その時の被写体速度Ｖｓに基づいた蓄積時間が決定され、蓄積終了はタイミングＴ１９０３となる。

この場合、タイミングＴ１９０２とタイミングＴ１９０３での被写体速度はそれぞれＶｓ、Ｖｅであり、速度差が生じる。そのため、図１９（ｂ）のような被写体が加速する場合、蓄積開始時における被写体速度から決定された撮影条件(蓄積時間)では、被写体ブレが十分抑制できない可能性がある。

図２０は、本実施形態における蓄積中心の被写体速度を用いた蓄積時間の制御について示す図である。図２０（ａ）は、蓄積時間の決定のフローチャート、図２０（ｂ）は、図２０（ａ）のフローチャートに従った場合の被写体の推定速度及び蓄積タイミングの関係を示している。

ステップＳ２００１において、任意のタイミングにおける被写体速度の推定が行われる。この推定は、図１８（ａ）で示した２フレーム間の推定速度による補間、もしくは図１８（ｂ）で示した被写体加速度による補間を用いればよい。

ステップＳ２００２において、タイミングｔに対する被写体の推定速度に基づいて蓄積時間が決定される。さらに被写体速度と蓄積時間の対応から、タイミングｔに対する被写体の推定速度をタイミングｔに対する蓄積時間へと変換する。

次にステップＳ２００３において、タイミングｔが蓄積中心となるよう決定された蓄積時間からタイミングｔに対する蓄積開始タイミングを求める。

図２０（ａ）のフローチャートによる蓄積中心の被写体速度を用いた蓄積時間の制御について図２０（ｂ）を用いて詳細に説明する。

ステップＳ２００１において、任意のタイミングにおける被写体速度の推定、補間が行われる。これにより図２０（ｂ）の曲線Ｙで示されるタイミングｔに対する被写体の推定速度が得られる。

ステップＳ２００２において、タイミングｔに対する被写体推定速度からタイミングｔにおける蓄積時間が得られる。

ステップＳ２００３において、タイミングｔに対する蓄積時間がタイミングｔに対して対称となるよう、蓄積開始タイミングと蓄積終了タイミングを決定する。これにより図２０（ｂ）の曲線Ｘで示される蓄積中心の被写体推定速度に基づいた蓄積開始タイミングと、曲線Ｚで示される蓄積中心の被写体推定速度に基づいた蓄積終了タイミングが得られる。

ステップＳ２００４において、レリーズにより蓄積開始タイミングが決定されると、曲線Ｘと曲線Ｚにより蓄積時間が決定される。

あるタイミングＴを蓄積中心とする例について説明する。タイミングＴにおける被写体の推定速度に基づいて蓄積時間Ａが決定される（ステップＳ２００２）。このタイミングＴを蓄積中心とするため、蓄積開始はＴ−（Ａ／２）、蓄積終了はＴ＋（Ａ／２）となる（ステップＳ２００３）。

これによりステップＳ２００４において、タイミングＴ２００１でレリーズが押下され、蓄積開始がＴ−（Ａ／２）となった場合、蓄積時間をＡとすれば、蓄積中心の被写体速度に基づいた制御となる。

換言すれば、被写体の推定速度から蓄積時間が決定されていたのを、被写体の推定速度と蓄積時間の関係を用いて、蓄積開始タイミングから蓄積時間が決定されるよう、タイミングｔにおける被写体の推定速度を蓄積開始タイミングに変換している。

以上説明したように、本実施形態によれば、蓄積中心の被写体速度に応じて蓄積時間を制御することができ、被写体ブレの抑制等をより適切に行うことが可能となる。なお、被写体の加減速に応じて、制御に用いる被写体速度を蓄積開始での速度、蓄積中心での速度、蓄積終了での速度と切り替えてもよい。

（第６の実施形態）
第６の実施形態の撮像装置の構成は、図１に示した第１の実施形態のデジタルカメラ１００の構成と同様であるため、説明を省略する。

図２１は、図１に示した推定部１０８の第６の実施形態における構成を示すブロック図である。推定部１０８は、速度推定部２１０１、推定用補正部２１０２、特定被写体検出部２１１１、速度算出部２１１２、学習用補正部２１１３、学習モデル調整部２１１４、学習モデル記憶部２１２１を備えて構成される。

速度推定部２１０１は、メモリ部１１１から出力された１枚の画像信号に対し、学習モデル記憶部２１２１に保持された学習モデルを参照して、画像信号中の被写体の所定時間後の撮像時における速度を推定して出力する。所定時間後の撮像のタイミングは、制御部１０９から通知される。

この被写体の速度の推定は、公知のディープラーニング技術等を用いて、入力された画像中の被写体とその被写体の次の動作の速度を関連付けて機械学習させた学習モデルを用いることで実現することができる。学習モデルには、１枚の特定被写体画像と特定被写体の所定時間後の速度が関連付けて学習されている。

１枚の特定被写体画像には特定被写体の姿勢情報が含まれており、例えば、学習モデルは、ディープラーニング技術により特定被写体の姿勢情報と特定被写体の所定時間後の速度を関連付けて学習されている。そのため、急な動きについても事前にその兆候が写った入力画像を用いることにより、急な動きの速度を推定することができる。特定被写体検出部２１１１、速度算出部２１１２、学習モデル調整部２１１４は、後述する学習モデルの学習に用いられる。

例えば、推定部１０８に、すでに説明した図３（ａ）のように立っている犬の画像が入力された場合、速度推定部２１０１は０ｋｍ／ｈという推定速度を出力する。図３（ｂ）のように走っている犬の画像が速度推定部２１０１に入力された場合、速度推定部２１０１は３０ｋｍ／ｈという推定速度を出力する。

推定用補正部２１０２は、入力された画像における被写体の像面上のサイズに応じて、速度推定部２１０１から出力された推定速度を補正する。具体的には、像面上で被写体のサイズが小さければ、像面上での速度が遅くなるように、逆に大きければ、像面上での速度が速くなるように補正する。

また、推定用補正部２１０２は、被写体の像面上のサイズではなく、被写体までの距離とレンズ部１０１の撮像倍率を用いて、速度推定部２１０１から出力された推定速度を補正してもよい。また、公知の測距技術による測距情報を用いて速度推定部２１０１から出力された推定速度を補正してもよい。

推定用補正部２１０２は、補正された被写体の推定速度を制御部１０９へ送る。制御部１０９は、被写体の推定速度に応じて対応するプログラム線図を選択し、測光部１０７により求められたＥＶ値（Ｅｘｐｏｓｕｒｅ ｖａｌｕｅ）に基づいて、シャッタースピード、ＩＳＯ感度、絞りといった撮像条件を決定する。制御部１０９が、前述した被写体の推定速度に基づいて、非移動性、低速、中速、高速の移動の種別を判断している。ここでは、被写体の推定速度が閾値未満であれば非移動性被写体として取り扱う。

ここで、非移動性被写体、低速移動性被写体、中速移動性被写体、高速移動性被写体にそれぞれ適用するプログラム線図は、第１の実施形態で示した、図４のプログラム線図と同様である。

具体的には、図４（ａ）は、非移動性被写体に対するプログラム線図、図４（ｂ）は、低速移動性被写体に対するプログラム線図、図４（ｃ）は、中速移動性被写体に対するプログラム線図、図４（ｄ）は高速移動性被写体に対するプログラム線図の例をそれぞれ示している。図４のプログラム線図及びその選択方法については、第１の実施形態と同様であるので、説明を省略する。

また、撮像装置がシャッタースピード、ＩＳＯ感度、絞りといった撮像条件を決定するＰ （プログラム）モードにおいて、撮像素子１０５から出力された画像を表示部１１４に表示しながら静止画撮影を行う、いわゆるライブビュー撮影の動作についても、図５に示した第１の実施形態の動作と同様であるため、説明を省略する。つまり、本実施形態においても、ライブビュー撮影時の事前撮影画像を用いて推定部１０８で被写体の速度を推定し、推定速度に応じて制御部１０９が撮像条件を決定するプログラム線図を、図４に示したようなプログラム線図から選択し、切り替える。

続いて、推定部１０８における学習モデルの学習について説明する。図２２は、学習モデルの学習を概略的に説明する図である。

図２２において、情報９０００は、メモリ部１１１に保持された情報であり、撮影時刻情報（９０１１，９０１２，…）と画像（９００１，９００２，…）を含む。画像９００１の撮影時刻が撮影時刻情報１（９０１１）、画像９００２の撮影時刻が撮影時刻情報２（９０１２）、画像９００３の撮影時刻が撮影時刻情報３（９０１３）、画像９００４の撮影時刻が撮影時刻情報４（９０１４）と一致する。

情報９０２０は、特定被写体検出部２１１１に保持された情報であり、特定被写体の像面上の位置と大きさを抽出した情報を含む。位置・大きさ情報９０２１は、画像９００１に対応し、位置・大きさ情報９０２２は、画像９００２に対応し、位置・大きさ情報９０２３は、画像９００３に対応し、位置・大きさ情報９０２４は、画像９００４に対応する。

情報９０３０は、速度算出部２１１２に保持された情報の一部であり、速度時刻情報を含む。情報９０４０は、速度算出部２１１２に保持された情報の一部であり、速度情報を含む。速度時刻情報９０３１は、速度情報９０４１に対応し、速度時刻情報９０３２は、速度情報９０４２に対応し、速度時刻情報９０３３は、速度情報９０４３に対応し、速度時刻情報９０３４は、速度情報９０４４に対応する。図２２中の破線は、どの情報がどの情報を元に計算されるかを概略的に示す破線である。

以下に、図２２に従って学習モデルの学習方法について説明する。

メモリ部１１１は、少なくとも２枚の、異なる時刻に撮影された画像（９００１，９００２，…）を、それぞれの撮影時刻情報（９０１１，９０１２，…）とともに保持する。

特定被写体検出部２１１１は、メモリ部１１１から画像（９０１１，９０１２，…）を読み出し、その画像から事前に登録した特定被写体（例えば、特定の犬）を検出し、検出された位置と大きさの情報（９０２１，９０２２，…）を特定する。特定した被写体の位置・大きさ情報を所定のフレーム数分保持する。

速度算出部２１１２は、特定被写体検出部２１１１から読み出した特定被写体の位置情報と、メモリ部１１１から読み出した撮影時刻情報とから、被写体速度と対応する時刻（速度時刻情報）を計算して保持する。具体的には、特定被写体検出部２１１１から２つの位置情報（９０２１，９０２２）を読み出して移動量を算出する。

また、メモリ部１１１から上記の位置情報（９０２１，９０２２）に対応した撮影時刻情報（９０１１，９０１２）を読み出して時間差を算出する。上記の算出した移動量を、算出した時間差で割ることにより、撮影時刻９０１１と撮影時刻９０１２の平均時刻９０３１における特定被写体の速度９０４１を算出して、保持する。

また、以上で算出した速度は、カメラと被写体を結んだ直線と垂直な平面方向（以下、画角方向と呼称する）の速度である。なお、画像毎に特定被写体中の複数の特徴点（例えば、特定の犬の両目）を検出し、画像間における各特徴点の変化量（例えば、特定の犬の両目の間の長さの変化量）から、撮像装置と被写体を直線で結んだ方向（以下、法線方向と呼称する）速度も算出して、画角方向の速度とのベクトル演算により被写体の速度を算出してもよい。

学習用補正部２１１３は、被写体速度を、画像の被写体の像面上のサイズによらない被写体の姿勢に関連付けた速度とするため、特定被写体検出部２１１１から読み出した特定被写体の像面上でのサイズに基づいて、速度算出部２１１２から出力された被写体速度を補正し、保持する。

具体的には、像面上での特定被写体のサイズが小さければ速度算出部２１１２からの入力を大きくして保持し、像面上での被写体サイズが大きければ速度算出部２１１２からの入力を小さくして保持する。また、学習用補正部２１１３は、被写体の像面上のサイズではなく、被写体までの距離とレンズ部１０１の撮像倍率を用いて速度算出部２１１２から読み出した推定速度を補正してもよい。また、公知の撮像面測距技術等を用いて算出した被写体距離を用いて、速度算出部２１１２から読み出した推定速度を補正してもよい。

上記の速度算出を繰り返し行うことにより、撮影時刻９０１２と撮影時刻９０１３の平均時刻９０３２での速度９０４２、撮影時刻９０１３と撮影時刻９０１４の平均時刻９０３３での速度９０４３等を算出することができる。

学習モデル調整部２１１４は、メモリ部１１１から画像を読み出し、学習用補正部２１１３から画像の撮影時刻から所定の遅れ時間後の速度を読み出す。そして、読み出した画像情報を学習データ、読み出した速度を教師データとして、学習モデル記憶部２１２１に保持された学習モデルに学習させる。例えば、画像９００１を学習データとし、速度情報９０４２を教師データとする。

上記の動作を繰り返すことにより、１枚の画像中に含まれる事前に登録した特定被写体の姿勢から、所定の遅れ時間後の速度を予測するための学習データを作成して学習することができる。

また、特定被写体の位置・大きさ情報は特定被写体検出部２１１１、速度情報と速度時刻情報は速度算出部２１１２、補正後の速度情報は学習用補正部２１１３にそれぞれ保持するように説明したが、メモリ部１１１に一括して保持してもよい。

また、学習モデル記憶部２１２１に複数の学習モデルを有し、上記所定の遅れ時間を複数個学習してもよい。このようにすることで、１枚の画像から複数の所定の遅れ時間後の速度を予測することができる。

また、速度算出部２１１２で、速度時刻情報（９０３１，９０３２，…）と対応する速度情報（９０４１，９０４２，…）に基づいて加速度を算出し、画像と加速度を関連付けて学習してもよい。

具体的には、学習モデル記憶部２１２１には、学習モデルとは別に、画像−加速度学習モデルを保持しておく。速度算出部２１１２は、２つの速度情報（例えば、速度情報９０４１，９０４２）の差分（差分情報）を、対応する２つの速度時刻情報（例えば、速度時刻情報９０３１，９０３２）の差分（差分情報）で割ることにより、被写体加速度を算出して保持する。

学習用補正部２１１３、学習モデル調整部２１１４は、画像と速度を関連付けて学習する場合と同様である。このようにすることで、１枚の画像から所定の遅れ時間後の加速度を予測することができる。

また、学習モデルは、工場出荷時には汎用的な学習モデル（例えば、犬全般について学習したモデル）を保持しておき、各ユーザーが上記の特定被写体に対する学習を行うことにより、特定の被写体に特化した学習モデルを作成してもよい。このようにすることで、特定被写体の学習が不足している場合でも、１枚の画像から所定の遅れ時間後の速度を予測することができる。

また、学習モデルの学習は、電源スイッチが入っている間中常に繰り返し行ってもよいが、シャッターボタンが半押しされて指示スイッチＳＷ１がオン、またはシャッターボタンが全押しされて指示スイッチＳＷ２がオンの場合に繰り返し行うことが好ましい。このようにすることで、ユーザーの撮りたい特定被写体が画角に入っている確率が高くなり、効率的に学習を行うことができる。また、学習モデルの学習を行うタイミングの別の例として、接眼検知センサ１１５がオンの時や、タッチパネルにタッチ動作があった後の所定時間の間などとしてもよい。

また、手振れ等でカメラの動きが大きい時は、被写体の速度を正確に求めることができない可能性があるため、カメラの動きが大きい時の信号を学習に用いると、学習モデルの学習が不正確になる可能性がある。そのため、動きセンサ１１０内の加速度センサの出力からカメラの動きが大きいことを示す信号が出力された場合には、学習モデルの学習を停止するようにしてもよい。

以上説明したように、所定時刻後の撮像時の被写体の速度を推定し、対応したプログラム線図を選択することにより、被写体の状態変化によらず被写体ブレを起こしにくい撮像条件を設定することが可能となる。

なお、本実施形態でも、流し撮りを行う場合には、流し撮りのプログラム線図を用いるが、流し撮りを行う場合の動作は、第１の実施形態の図７に示した動作と同様であるため、説明を省略する。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０５：撮像素子、１０６：信号処理回路、１０８：推定部、１０９：制御部、１１０：動きセンサ、２０１：速度推定部、２０２：補正部

Claims (28)

1. 被写体を撮像する撮像手段と、
   機械学習により作成された学習済みモデルを用いて、前記撮像手段により撮像された被写体の画像から、それ以降の画像を撮像する時点における被写体の速度を推定する推定手段と、
   前記推定手段により推定された被写体の推定速度に基づいて、前記撮像手段における前記それ以降の画像の撮像のための撮像動作を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記推定手段は、ライブビュー動作において前記撮像手段により撮像された被写体の画像から、前記それ以降の画像を撮像する時点における被写体の速度を推定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記それ以降の画像の撮像のための、絞り値と、シャッター速度と、ＩＳＯ感度とを決定するためのプログラム線図を切り替えることにより前記撮像手段の撮像動作を制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記推定速度を、被写体の像面上のサイズに応じて補正する補正手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像装置の角速度を検出する角速度センサと、加速度を検出する加速度センサとをさらに備え、前記制御手段は、前記角速度センサと前記加速度センサの出力にさらに基づいて、前記それ以降の画像の撮像のための撮像動作を制御することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記推定速度と、前記角速度センサの出力と前記加速度センサの出力に基づいて算出された前記撮像装置の速度とに基づいて、被写体と前記撮像装置の相対速度を算出することを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記相対速度が第１の閾値未満であり、前記撮像装置の速度が第２の閾値以上である場合に、流し撮りが行われていると判断することを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段は、流し撮りが行われていると判断した場合に、前記それ以降の画像の撮像のための、絞り値と、シャッター速度と、ＩＳＯ感度とを、流し撮り用のプログラム線図を用いて決定することを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記推定速度に基づいて、ライブビューのフレームレートを制御することを特徴とする請求項１に記載の撮像装置。
10. 前記制御手段は、前記推定速度が遅い場合よりも速い場合の方がライブビューのフレームレートが高くなるように制御することを特徴とする請求項９に記載の撮像装置。
11. 前記制御手段は、前記推定速度に基づいて、ハイダイナミックレンジ信号を得るための方式を切り替えることを特徴とする請求項１に記載の撮像装置。
12. 前記制御手段は、前記推定速度が第３の閾値以上である場合は、ハイダイナミックレンジ信号を得るための方式として、ゲイン切り替え方式を用い、前記推定速度が前記第３の閾値未満である場合は、ハイダイナミックレンジ信号を得るための方式として、蓄積時間切り替え方式を用いることを特徴とする請求項１１に記載の撮像装置。
13. 前記推定手段は、被写体の加速度をさらに推定することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記推定手段は、前記撮像手段の蓄積時間の中心時刻における被写体の速度を推定し、前記制御手段は、前記蓄積時間の中心時刻における推定速度に基づいて、撮像動作を制御することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記撮像手段により異なる時刻に撮影された少なくとも２枚の画像から、特定の被写体を抽出する抽出手段と、前記抽出手段により抽出された特定の被写体の速度を算出する算出手段と、をさらに備え、前記学習済みモデルは、前記抽出手段により抽出された特定の被写体の画像と前記算出手段により算出された前記特定の被写体の速度とを用いて、速度の推定のための学習をさらに行うことを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記算出手段は、前記少なくとも２枚の画像から前記抽出手段により抽出された前記特定の被写体の位置の差分情報から、前記特定の被写体の画角方向の速度を算出し、前記特定の被写体の複数の特徴点の移動量から、前記特定の被写体の法線方向の速度を算出し、前記画角方向の速度と前記法線方向の速度とを用いて、前記特定の被写体の速度を算出することを特徴とする請求項１５に記載の撮像装置。
17. 前記算出手段により算出された速度を補正する第２の補正手段を更に備えることを特徴とする請求項１５または１６に記載の撮像装置。
18. 前記第２の補正手段は、被写体の像面上のサイズに応じて前記速度を補正することを特徴とする請求項１７に記載の撮像装置。
19. 前記第２の補正手段は、使用するレンズの撮像倍率に基づいて前記速度を補正することを特徴とする請求項１７に記載の撮像装置。
20. 前記第２の補正手段は、前記撮像手段による測距情報に基づいて、前記速度を補正することを特徴とする請求項１７に記載の撮像装置。
21. シャッターボタンをさらに備え、前記シャッターボタンが半押しまたは全押しされている間に、前記学習済みモデルは、速度の推定のための学習をさらに行うことを特徴とする請求項１５乃至２０のいずれか１項に記載の撮像装置。
22. 電子ビューファインダと近接センサとをさらに備え、前記近接センサが前記電子ビューファインダへの物体の近接を検知している間に、前記学習済みモデルは、速度の推定のための学習をさらに行うことを特徴とする請求項１５乃至２０のいずれか１項に記載の撮像装置。
23. タッチパネルをさらに備え、前記タッチパネルへのタッチ動作が検出されてから一定の時間の間、前記学習済みモデルは、速度の推定のための学習をさらに行うことを特徴とする請求項１５乃至２０のいずれか１項に記載の撮像装置。
24. 前記学習済みモデルは、前記撮像装置の動きが大きい場合に、速度の推定のための学習を行わないことを特徴とする請求項１５乃至２３のいずれか１項に記載の撮像装置。
25. 前記推定手段は、被写体の所定時間後の加速度を推定する第２の学習済みモデルをさらに有することを特徴とする請求項１乃至２４のいずれか１項に記載の撮像装置。
26. 被写体を撮像する撮像手段を備える撮像装置を制御する方法であって、
    機械学習により作成された学習済みモデルを用いて、前記撮像手段により撮像された被写体の画像から、それ以降の画像を撮像する時点における被写体の速度を推定する推定工程と、
    前記推定工程において推定された被写体の推定速度に基づいて、前記撮像手段における前記それ以降の画像の撮像のための撮像動作を制御する制御工程と、
    を有することを特徴とする撮像装置の制御方法。
27. 請求項２６に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
28. 請求項２６に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images