JP2019193152A - 撮像装置、撮像方法およびプログラム - Google Patents

Abstract

【課題】静止画の撮像をより適切に判定することができる撮像装置、撮像方法およびプログラムを提供する。【解決手段】第１撮像部は動画像である第１画像を撮像し、第２撮像部は静止画像である第２画像を撮像し、制御部は、前記第１画像と前記第２画像と重複した領域である重複領域の少なくとも一部の領域を評価領域とし、前記第１画像の前記評価領域における評価画像の撮像対象としての適格性を示す評価値を算出し、前記評価値に基づいて前記第２画像の撮像を判定する。【選択図】図２

Description

本発明は、撮像装置、撮像方法およびプログラムに関する。より具体的には、静止画像の撮像の契機を判定する撮像装置、撮像方法およびプログラムに関する。

写真撮影において仕上がりのよい画像を得るために、複数回撮像して得られた画像から適切と考えられる画像を保存することがある。例えば、儀式、旅行、その他の行事の情景を表す記念写真、人物の顔面を表す証明写真などの撮影では仕上がりのよい画像が期待される。従来から、複数の画像から最適な画像を選択する作業を支援することや、適切な画像を撮像する作業を支援する技術が提案されてきた。

例えば、特許文献１に記載の撮像システムは、被写体を所定の間隔で連続して撮影し、第１の解像度の画像データを取得する第１の撮像手段と、第１の撮像手段で取得された画像データを、逐次評価する画像評価手段と、画像評価手段による評価値が所定値以上のとき、撮影を指示する制御手段と、制御手段の撮影指示によって被写体を撮影し、第２の解像度の画像データを取得する第２の撮像手段と、第２の撮像手段において取得した画像データを記録する画像記録手段とを有することを特徴とする。

特開２００６−２３７８０３号公報

しかしながら、特許文献１に記載の撮像システムでは、第１の撮像手段と第２の撮像手段では撮像範囲や位置などの条件が異なるため、第１の撮像手段で撮像される画像と第２の撮像手段で撮像される画像とは一致しない。そのために、画像評価手段による評価値が第２の撮像手段で撮像される画像の状態が適切に評価されないことがある。ひいては、第２の撮像手段による静止画の撮像が適切に判定されないことがあった。

本発明は上記の点に鑑みてなされたものであり、静止画の撮像をより適切に判定することができる撮像装置、撮像方法およびプログラムを提供することを課題とする。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、動画像である第１画像を撮像する第１撮像部と、静止画像である第２画像を撮像する第２撮像部と、前記第１画像と前記第２画像と重複した領域である重複領域の少なくとも一部の領域を評価領域とし、前記第１画像の前記評価領域における評価画像の撮像対象としての適格性を示す評価値を算出し、前記評価値に基づいて前記第２画像の撮像を判定する制御部と、を備える撮像装置である。

本発明によれば、静止画の撮像をより適切に判定することができる。

本発明の実施形態に係る撮像装置の外観の一例を示す表面図である。 本発明の実施形態に係る撮像装置の機能構成の一例を示すブロック図である。 本発明の実施形態に係る第１撮像部の画角と第２撮像部の画角の例を示す説明図である。 第１画像の撮像範囲と第２画像の撮像範囲の例を示す説明図である。 第１画像の一例を示す図である。 第２画像の一例を示す図である。 評価領域の一例を示す図である。 評価画像の一例を示す図である。 本実施形態に係る撮像処理の一例を示すフローチャートである。 歪補正後の第１画像の一例を示す図である。 歪補正後の第２画像の一例を示す図である。 評価領域の他の例を示す図である。 評価領域のさらに他の例を示す図である。 評価画像の他の例を示す図である。

以下、本発明の実施形態に係る撮像装置、撮像方法及びプログラムについて、図面を参照しながら説明する。
図１は、本実施形態に係る撮像装置１０の外観の一例を示す表面図である。
撮像装置１０は、動画像と静止画像を撮像し、撮像した動画像と静止画像とをそれぞれ符号化し、符号化して得られる符号化データを記録する。撮像装置１０は、動画像の撮像中において静止画像を撮像することを可能とする。動画像が表す被写体の空間的な領域の中に、静止画像が表す被写体の空間的な領域には含まれない部分が存在することがある。そこで、動画画像と静止画像とが重複した領域である重複領域の一部又は全領域を評価領域とする。撮像装置１０は、動画像のうち、評価領域における評価画像の撮像対象としての適格性を示す評価値を算出し、評価値に基づいて静止画像の撮像契機を判定する。撮像装置１０は、撮像中の動画像もしくは静止画像、又は記録した符号化データに基づく動画像もしくは静止画像を表示してもよい。

撮像装置１０は、ほぼ直方体の形状を有する筐体１０９に覆われる。図１に示す例では、撮像装置１０は、表面の１つの頂点から所定範囲内において第１撮像部１０２と第２撮像部１０３を備える。第１撮像部１０２と第２撮像部１０３は、互いに近接して撮像装置１０の長手方向に配列されている。筐体には、撮像装置１０の本体を構成する各種の部材が格納されている。

図２は、本実施形態に係る撮像装置１０の機能構成の一例を示すブロック図である。
撮像装置１０は、第１撮像部１０２と第２撮像部１０３の他、操作部１０１と、制御部１０４と、動画符号化部１０５と、静止画符号化部１０６と、記録部１０７と、画像復号部１１１と、表示部１１２と、通信部１１３と、を含んで構成される。

操作部１０１は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成し、生成した操作信号を制御部１０４に出力する。操作部１０１は、例えば、ボタン、ダイヤル、レバーなど、操作を受け付ける部材を含んで構成される。操作部１０１は、表示部１１２に重畳して実装されたタッチパネルであってもよい。操作部１０１に対する操作により、撮像装置１０が有する機能を制御する。例えば、動画像の撮像もしくは撮像停止、静止画像の撮像、記録された動画像の表示もしくは表示停止、静止画像の表示、通信の開始もしくは停止などが指示されうる。第２撮像部１０３の光学系の画角が変更（ズーミング）可能である場合には、画角の拡大（ズームイン）、縮小（ズームアウト）などが指示されてもよい。

第１撮像部１０２は、画像を撮像し、撮像した画像を表す第１画像データを制御部１０４及び動画符号化部１０５に出力する。以下の説明では、第１撮像部１０２が撮像した画像を第１画像と呼ぶ。第１画像は、所定のフレーム毎に撮像される画像で形成される動画像である。第１撮像部１０２は、光学系と、撮像素子と、信号処理部と、を備える。光学系は、対物レンズを備える。対物レンズは自部に入射する画像光を収束し、撮像素子の表面に入射させる。また、光学系は、絞り機構を備えてもよい。絞り機構は、対物レンズを介して入射される画像光の光量と被写界深度を調整する。撮像素子は、その表面に複数のセルを水平方向及び垂直方向に一定周期で配列して構成される。ここで、水平方向、垂直方向とは、光学系の光学軸に対して垂直な面内に形成される撮像領域の一辺の方向、他辺の方向である。他辺の方向は、一辺の方向に直交する方向である。セルは、各１個の画素に対応し、受光素子を有する。受光素子は、受光した光の強度に応じた電圧を信号値として有する電気信号を生成する。受光素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ−Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；相補型金属酸化物半導体）などである。

信号処理部は、所定のフレーム周期（例えば、１／３０秒）毎に第１画像を示す第１画像データを生成する。第１画像は、画素毎の信号値で表される。第１撮像部１０２の光学系は、広範な画角（視野角とも呼ばれる、例えば、１３５°）を有する。また、第１撮像部１０２の光学系は、広範な被写界深度を有し、合焦制御（自動焦点制御、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓｉｎｇ）制御、ピント合わせ、などとも呼ばれる）を行わずにパンフォーカス（ディープフォーカス、とも呼ばれる）を実現してもよい。

第２撮像部１０３は、画像を撮像し、撮像した画像を表す第２画像データを静止画符号化部１０６に出力する。以下の説明では、第２撮像部１０３が撮像した画像を第２画像と呼ぶ。第２画像は、所定の時刻における静止画像である。第２撮像部１０３は、第１撮像部１０２と同様に、光学系と、撮像素子と、信号処理部と、を備える。但し、第２撮像部１０３の光学系の画角は、第１撮像部１０２の光学系よりも狭くてもよい。また、第２撮像部１０３の光学系の被写界深度は、第１撮像部１０２の光学系の被写界深度よりも浅くてもよい。その場合には、第２画像に表れる被写体が存在しうる空間的な範囲は、第１画像よりも狭いので、第１画像には第２画像に含まれない部分が存在する。

第２撮像部１０３は、対物レンズと撮像素子との間の距離を可変にする合焦制御部と、画角を制御（ズーミング）する画角制御部を備えてもよい。画角制御部は、制御部１０４から入力される画角制御信号に基づいて第２撮像部１０３の光学系の画角を制御する。画角制御信号は、例えば、現時点における画角から拡大又は縮小を指示する。画角制御部は、制御部１０４から画角照会信号が入力されるとき、その応答として、その時点で設定されている画角を示す画角情報を制御部１０４に出力する。

第２撮像部１０３の信号処理部は、制御部１０４から撮像を示す撮像指示信号が入力されるとき、撮像素子に撮像される第２画像を示す第２画像データを生成し、合焦制御部に出力する。第２画像は、画素毎の信号値で表される。合焦制御部は、第２画像データが示す画素毎の信号値に基づいて合焦の度合い（以下、合焦度、と呼ぶ）を示す合焦評価値を算出し、合焦評価値が示す合焦度がより高くなるように対物レンズの位置を変更することによって合焦制御を行う。合焦評価値は、例えば、第２画像の所定の空間周波数未満の低域成分の強度と、所定の空間周波数以上の高域成分の強度を算出し、低域成分の強度に対する高域成分の強度の比である。合焦制御部は、合焦度が極大となる対物レンズの位置を特定し、信号処理部に合焦制御の完了を示す合焦完了信号を第２撮像部１０３の信号処理部に出力する。第２撮像部１０３の信号処理部は、合焦制御部から合焦完了信号が入力されるとき、所定のシャッタースピード（露光時間、とも呼ばれる）の期間、受光して得られる第２画像データを静止画符号化部１０６に出力する。

制御部１０４は、撮像装置１０の各部の動作を制御する。制御部１０４は、撮像設定部１２１と、撮像評価部１２２と、撮像制御部１２３と、を含んで構成される。制御部１０４は、１個又は複数個のプロセッサ（例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ））を含むコンピュータとして構成されてもよい。制御部１０４は、予め記憶媒体に記憶されたプログラムに記述された命令で指示される処理を実行して、撮像設定部１２１、撮像評価部１２２及び撮像制御部１２３を実現してもよい。これらの部材の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、プロセッサは、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行してもよい。また、制御部１０４は、操作部１０１から入力される操作信号に基づいて撮像装置１０が有する機能を制御してもよい。制御部１０４は、例えば、第１撮像部１０２と動画符号化部１０５による動画像の撮像もしくは撮像停止、第２撮像部１０３と静止画符号化部１０６による静止画像の撮像、画像復号部１１１と表示部１１２による動画像の表示もしくは表示停止、静止画像の表示、通信部１１３による通信の開始もしくは停止などが指示などを制御する。各部が実行する処理については、後述する。

動画符号化部１０５は、第１撮像部１０２から入力される第１画像データに対して符号化処理を行い、第１符号化データを生成する。符号化処理において、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−１、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＭＰＥＧ−Ｈ ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などのいずれかで規定された動画像復号方式に対応する符号化方式が採用されてもよい。動画符号化部１０５は、生成した第１符号化データを記録部１０７に順次記録する。

静止画符号化部１０６は、第２撮像部１０３から入力される第２画像データに対して符号化処理を行い、第２符号化データを生成する。各１回の符号化処理は、１フレームの静止画を表す第２画像データとなる。符号化処理において、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）、ＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）などのいずれかに規定された静止画符号化方式が採用されてもよい。静止画符号化部１０６は、生成した第２符号化データを記録部１０７に記録する。静止画符号化部１０６は、第２符号化データを記録部１０７に記録する際、その第２画像と同時に撮像された第１画像のフレームと対応付けてもよい。

記録部１０７は、第１画像を表す第１符号化データと第２画像を表す第２符号化データを記録する。記録部１０７は、電力の供給を停止しても記録されたデータが消去されないフラッシュメモリなどの不揮発性メモリであればよい。記録部１０７は、筐体１０９に固定されていてもよいし、筐体１０９から着脱可能な記録媒体とその記録媒体を装着するインタフェースとから構成されてもよい。着脱可能な記録媒体として、例えば、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードが採用されてもよい。

次に、制御部１０４の各部の構成について説明する。
撮像設定部１２１は、第１撮像部１０２と第２撮像部１０３のそれぞれの光学系のパラメータに基づいて、第１撮像部１０２の撮像範囲と第２撮像部１０３の撮像範囲を定める。光学系のパラメータとして、光学系の画角、光学軸の方向、解像度（画素数）、焦点距離、画素ピッチ、解像度（画素数）が含まれる。本実施形態では、図３に例示されるように第１撮像部１０２の画角θ_１１が、第２撮像部１０３の画角θ_２１よりも大きい。第１撮像部１０２の光学軸Ａｘ１の方向と、第２撮像部１０３の光学軸Ａｘ２の方向が等しい。第２撮像部１０３が撮像する第２画像は、第１撮像部１０２が撮像する第１画像Ｉ１１の一部に含まれる。

図４は、第１撮像部１０２が撮像する第１画像の撮像範囲Ｒｇ１１と第２撮像部１０３が撮像する第２画像の撮像範囲Ｒｇ２１の例を示す。記録部１０７には、第１画像を示す第１画像データを符号化して得られる第１符号化データＤｔ１１と第２画像を示す第２画像データを符号化して得られる第２符号化データＤｔ２１が個々に記憶される。この例では、撮像範囲Ｒｇ１１と撮像範囲Ｒｇ２１は、共通の重心Ｏを有する。この重心Ｏの位置は、第１撮像部１０２と第２撮像部１０３のそれぞれの視点Ｐを通過する光学軸Ａｘ１、Ａｘ２の方向に相当する。光学軸Ａｘ１、Ａｘ２の方向は、第１撮像部１０２、第２撮像部１０３それぞれの撮像素子の表面の法線方向に相当する。視点Ｐから撮像範囲Ｒｇ１１の左端への方向と、視点Ｐから撮像範囲Ｒｇ１１の右端への方向と光学軸Ａｘ１を挟んでなす角が画角θ_１１に相当する。第１画像の水平方向の幅Ｌ_１１は、２ｆ_１・ｃｏｓ（θ_１１／２）となるとともに、第１撮像部１０２の撮像素子の画素ピッチと水平方向の画素数の積に相当する。但し、ｆ_１は、第１撮像部１０２の対物レンズの焦点距離である。同様に、第２画像の水平方向の幅Ｌ_２１は、２ｆ_２・ｃｏｓ（θ_２１／２）となり、第２撮像部１０３の撮像素子の画素ピッチと水平方向の画素数の積に相当する。但し、ｆ_２は、第２撮像部１０３の対物レンズの焦点距離である。また、垂直方向の撮像範囲（幅）についても、水平方向と同様の手法で定めることができる。

従って、撮像設定部１２１には、予め第１撮像部１０２と第２撮像部１０３のそれぞれの光学系のパラメータを設定しておき、これらのパラメータに基づいて第１画像の撮像範囲と第２画像の撮像範囲を定めることができる。但し、第１撮像部１０２では、撮像範囲の決定に用いられるパラメータがいずれも固定値である。第１撮像部１０２については、予め計算しておいた撮像範囲を撮像設定部１２１に設定しておいてもよい。第２撮像部１０３についても、同様にして撮像範囲を撮像設定部１２１に設定しておいてもよい。

第２撮像部１０３の光学系の画角が可変（ズーミング可能）な場合には、撮像設定部１２１は、画角の照会を指示する画角照会信号を第２撮像部１０３に出力してもよい。撮像設定部１２１には、画角照会信号の応答としてその時点で設定されている画角を示す画角情報が第２撮像部１０３から入力される。撮像設定部１２１には、第２撮像部１０３の光学系のその他のパラメータ、例えば、対物レンズの焦点距離を予め設定しておき、予め設定しておいたパラメータと入力された画角に基づいて第２撮像部１０３の撮像範囲を定める。そして、撮像設定部１２１は、第１画像の撮像範囲と第２画像の撮像範囲との重複部分を評価領域として定める。図４に示す例では、評価領域は、第２画像の撮像範囲Ｒｇ２１の全体となる。撮像設定部１２１は、定めた評価領域を示す評価領域情報を撮像評価部１２２に出力する。

次に、撮像範囲と評価領域の具体例について説明する。図５、図６は、それぞれ第１画像Ｉ１１、第２画像Ｉ２１を例示する。第１画像Ｉ１１と第２画像Ｉ２１は、共通の被写体を表す。但し、第１撮像部１０２の方が、第２撮像部１０３よりも画角が大きいため、第１撮像部１０２の撮像範囲には、第２撮像部１０３の撮像範囲には含まれない領域が存在する。図７に示す第１画像Ｉ１１のうち、矩形の枠で囲まれる領域Ｒｇ２１が第２画像Ｉ２１の撮像範囲と重複する評価領域となる。

撮像評価部１２２は、第１撮像部１０２から入力される第１画像データが示す第１画像のうち、撮像設定部１２１から入力される評価領域情報が示す領域内の画像を評価画像として抽出し、抽出した評価画像について撮像評価値を算出する。撮像評価値は、撮像対象としての適格性の程度を示す評価値である。撮像評価部１２２は、公知のパターン認識処理を行って評価値を計算する。パターン認識処理において、例えば、深層学習モデル、Ａｄａｂｏｏｓｔなどの機械学習モデルを利用することができる。深層学習モデルは、入力層と２層以上の中間層と出力層を有するニューラルネットワークを構成する数理モデルである。入力層、各中間層、出力層は、それぞれ複数の入力端、節点（ノード）、出力端を有する。各入力端は、入力される入力値を第１の中間層の各節点に出力値として出力する。中間層の各節点は、より下位の層の節点からそれぞれ入力される入力値を線形結合して合成値を算出し、算出した合成値に対して所定の活性化関数を用いて出力値を算出する。但し、入力端を第０層の節点とみなす。中間層の各節点は、算出した出力値をより上位の層の各節点に出力する。但し、出力端を最上位の中間層の節点とみなす。各出力端は、最上位の中間層の各節点からの出力値を入力値として線形結合して得られる合成値を、出力値として出力する。活性化関数として、例えば、シグモイド関数、双曲線正接（ｔａｎｈ：ｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ）関数、などが利用可能である。従って、深層学習モデルは、中間層の各節点において入力値を線形結合するための線形結合係数、各節点の活性化関数のパラメータ、出力端において入力値を線形結合するための線形結合係数をパラメータとして含んで構成される。以下の説明では、機械学習モデルを構成するパラメータをモデルパラメータと呼ぶ。

撮像評価部１２２は、評価値を算出する際、次に説明する第１評価処理と第２評価処理のいずれか一方又は両方を実行する。
第１評価処理では、撮像評価部１２２は、第１画像データに基づいて第１機械学習モデルを用いて第１撮像評価値を算出する。第１撮像評価値は、評価画像が表す主たる被写体が特定の認識対象物である可能性を示す値である。認識対象物の候補は、例えば、人物、動物、花、球技に用いられるボールなどである。認識対象物の候補は、特定の表情（例えば、笑い）を表す人物の顔面であってもよい。第１機械学習モデルを構成するモデルパラメータは、第１評価処理を実行する前に予め生成（学習）し、撮像評価部１２２に設定しておく。学習に用いる教師データとして、被写体を表す画像を示す画像データが用いられる。第１機械学習モデルのモデルパラメータの学習は、モデル学習部（図示せず）が行う。撮像装置１０はモデル学習部を備えてもよいが、必ずしもモデル学習部を備えなくともよい。撮像評価部１２２は、第１機械学習モデルのモデルパラメータを撮像装置１０とは別個の外部機器（例えば、サーバ装置）から取得してもよい。

第１機械学習モデルのモデルパラメータの学習は、次のステップＳ１１とステップＳ１２を含む。（ステップＳ１１）モデル学習部は、既知の被写体を表す画像の教師データに対して、第１機械学習モデルを作用して既知の認識対象物の候補毎に第１撮像評価値を算出する。第１機械学習モデルとして深層学習モデルを用いる場合、モデル学習部は、例えば、教師データが示す画素毎の信号値に基づいて各入力端への入力値を定める。モデル学習部は、画素毎の信号値を入力値として用いてもよいし、その信号値に基づいて得られる画像特徴量を構成する要素値を入力値として用いてもよい。画像特徴量として、例えば、画素毎のエッジ方向、画素毎の信号値の勾配などが利用可能である。モデル学習部は、定めた入力値に対して深層学習モデルを用いて算出される各出力端からの出力値を、その出力端に対応する認識対象物の候補の第１撮像評価値として定める。（ステップＳ１２）モデル学習部は、教師データが表す既知の被写体と同じ種類の認識対象物の候補について算出される第１撮像評価値が所定の第１の正値（例えば、１）となり、その被写体と異なる種類の認識対象物の候補について得られる第１撮像評価値が所定の第２の正値以下になるまでモデルパラメータを逐次に更新する。所定の第２の正値として、第１の正値よりも十分にゼロに近似した正の実数を用いる。よって、深層学習モデルを用いて算出される特定の認識対象物の候補に対する第１撮像評価値は、その値が大きいほど、被写体がその認識対象物である可能性が高いことを示す。モデルパラメータの学習において、十分に多数（例えば、数千〜数万）の異なる教師データが用いられる。

撮像評価部１２２は、評価画像に対して、第１機械学習モデルを作用して第１撮像評価値を算出する（オンライン処理）。第１機械学習モデルとして深層学習モデルを用いる場合、撮像評価部１２２は、学習の際と同様の手法を用いて、評価画像を示す画素毎の信号値に基づいて各入力端への入力値を定める。撮像評価部１２２は、入力値に対する深層学習モデルの出力端からの出力値を、その出力端に対応する認識対象物の候補の第１撮像評価値として算出する。

第１撮像評価値を算出するステップには、認識対象物の候補が表されている領域と形状を探索する探索過程が含まれていてもよい。探索過程は、例えば、予め設定された複数通りの線形変換係数の候補毎に、その線形変換係数を用いて線形変換を行って修正された評価画像に対して、第１機械学習モデルを作用して第１撮像評価値を算出し、最も大きい第１撮像評価値を与える線形変換係数を特定する処理を含む。この線形変換係数は、認識対象物の候補が表されている領域と形状に依存する。そのため、線形変換係数を特定することで認識対象物が表されている領域と形状が特定される。図８に示す例では、評価画像Ｉ３１のうち認識対象物として人物が表されている領域Ｏｂ３１が被写体領域として特定される。
第２評価処理を行わない場合には、撮像評価部１２２は、認識対象物の候補毎に算出した第１撮像評価値のうち、最も第１撮像評価値が大きい認識対象物の候補を認識対象物として特定し、その第１撮像評価値を撮像評価値として撮像制御部１２３に出力する。

第２評価処理では、撮像評価部１２２は、評価画像の構図が良好である程度を示す評価値を算出する。構図の良否に影響する要素は、例えば、背景を含む評価画像の全体に対して主たる被写体が表されている領域の位置、その大きさ、主たる被写体と背景の色彩、その濃淡などである。モデル学習部は、第２評価処理に用いる第２機械学習モデルのモデルパラメータを予め学習し、撮像評価部１２２に設定しておく。学習に用いる教師データとして、主たる被写体と背景を表す画像を示す画像データが用いられる。

第２機械学習モデルのモデルパラメータの学習は、次のステップＳ２１とステップＳ２２を含む。（ステップＳ２１）モデル学習部は、教師データに対して、第２機械学習モデルを作用して第２撮像評価値を算出する。第２機械学習モデルとして深層学習モデルを用いる場合、モデル学習部は、教師データが示す画素毎の信号値に基づいて各入力端への入力値を定める。モデル学習部は、定めた入力値に対して深層学習モデルを用いて算出される出力端からの出力値を第２撮像評価値として定める。（ステップＳ２２）モデル学習部は、第２撮像評価値がその教師データが表す画像に対して与えられた得点との差の二乗値が所定の二乗値以下になるように、第２機械学習モデルを構成するモデルパラメータを更新する。所定の二乗値は、０に十分に近似した正値であればよい。得点は、例えば、その画像に対して人間が主観的に判断した良否を表す値である。得点は、良好と判断される場合に１とし、良好と判断されないとき０とする２段階の値であってもよい。また、得点は、良好であるほど大きい３段階以上の多段階の値であってもよい。

撮像評価部１２２は、評価画像に対して、第２機械学習モデルを作用して第２撮像評価値を算出する（オンライン処理）。第２機械学習モデルとして深層学習モデルを用いる場合、撮像評価部１２２は、学習の際と同様の手法を用いて、評価画像を示す画素毎の信号値に基づいて各入力端への入力値を定める。撮像評価部１２２は、入力値に対する深層学習モデルの出力端からの出力値を、第２撮像評価値として算出する。

上述の例では、第２評価処理が、第１評価処理とは独立に、第２機械学習モデルとして深層学習モデルを用いて評価画像に対して第２撮像評価値を算出する過程を含む場合を例にしたが、これには限られない。撮像評価部１２２は、第２評価処理として、第２機械学習モデルを用いずに第１評価処理の処理結果である認識対象物が表されている領域（以下、対象物領域、と呼ぶ）に基づいて第２撮像評価値を算出する過程を含んでもよい。撮像評価部１２２は、例えば、対象物領域のうち所定の第２評価領域内に含まれる部分の比率が大きいほど高くなるように、第２撮像評価値を定める。但し、第２評価領域として、評価領域と重心が共通であって、形状が相似形であり、一辺の径が評価領域よりも小さい（例えば、評価領域の一辺の０．２〜０．６倍）領域を予め撮像評価部１２２に設定しておく。これにより予め設定された被写体の対象物領域が、予め定められた大きさの第２評価領域内（例えば、評価領域の中央部）にあるほど、高くなる第２撮像評価値が算出される。このように算出される第２撮像評価値は、例えば、認識対象物である人物が評価領域の中央部に大写しになるほど高くなる。
また、撮像評価部１２２には、認識対象物の種類、対象物領域の大きさならびに位置の組毎に第２撮像評価値を示す第２撮像評価データを設定しておいてもよい。撮像評価部１２２は、設定された第２撮像評価データを参照して第１評価処理において得られた認識対象物の種類、対象物領域の大きさならびに位置の組に対応する第２撮像評価値を特定してもよい。

なお、第１評価処理を行わない場合には、撮像評価部１２２は、算出した第２撮像評価値を撮像評価値として撮像制御部１２３に出力する。
第１評価処理と第２評価処理の両方を行う場合には、撮像評価部１２２は、第１撮像評価値と第２撮像評価値に、それぞれに対応する所定の重み係数を乗算し、乗算により得られる乗算値の総和を撮像評価値として算出する。撮像評価部１２２は、算出した撮像評価値を撮像制御部１２３に出力する。

撮像制御部１２３は、撮像評価部１２２から入力される撮像評価値に基づいて、静止画の撮像の要否を判定する。撮像制御部１２３は、入力される撮像評価値が所定の撮像評価値の閾値（以下、第１撮像評価閾値と呼ぶ）よりも大きいとき静止画を撮像要と判定する。そして、撮像制御部１２３は、静止画の撮像を示す撮像制御信号を第２撮像部１０３に出力する。これにより、撮像制御部１２３は、第２撮像部１０３に静止画を撮像させることができる。
他方、撮像制御部１２３は、撮像評価部１２２から入力される撮像評価値が第１撮像評価値閾値以下であるとき静止画を撮像不要と判定し、撮像を指示する撮像制御信号を出力しない。従って、第２撮像部１０３は、入力される撮像評価値が第１撮像評価閾値以下であるとき静止画を撮像しない。

また、第２評価処理において第２撮像評価値を取得せずに、撮像制御部１２３が、条件分岐により撮像の要否を判定してもよい。撮像制御部１２３には、例えば、認識対象物の種類、対象物領域の大きさならびに位置の組毎に静止画の撮像の要否を示す撮像判定データを設定しておく。撮像制御部１２３は、撮像評価部１２２から第１評価処理において得られた認識対象物の種類、対象物領域の大きさならびに位置の組を示す認識情報を取得し、撮像判定データを参照して取得した認識情報が示す認識対象物の種類、対象物領域の大きさならびに位置の組に基づいて静止画の撮像の要否を判定してもよい。また、撮像制御部１２３は、撮像評価部１２２から第１評価処理において得られた第１評価値を取得し、取得した第１評価値が第１撮像評価閾値よりも高いときに条件分岐による撮像の要否判定を行い、その第１評価値が第１撮像評価閾値以下であるとき静止画の撮像を行わないと判定してもよい。

撮像制御部１２３は、第２撮像部１０３に対して静止画の撮像を最後に指示した時点から所定時間（例えば、１〜１０秒）経過するまでの間、撮像の要否判定の結果に関わらず、静止画の撮像の指示を行わなくてもよい。撮像制御部１２３は、静止画の撮像を最後に指示した時点から所定時間経過した後で、第２撮像部１０３に対して要否判定の結果に応じて静止画の撮像を指示する。これにより、同一もしくは類似する画像を短時間内に逐次に複数の静止画を撮像する現象（連続撮影）を回避することができる。
また、撮像制御部１２３は、静止画を撮像した時点において、第１撮像評価閾値を所定の標準値よりも十分に大きい値に設定し、その時点からの時間経過に伴い第１撮像評価閾値を標準値に漸近するように低下させてもよい。このようにしても、ユーザの意図に反する連続撮影の発生を抑制することができる。

なお、撮像評価部１２２は、第１評価処理において対象物領域を検出する場合、対象物領域を示す領域情報を撮像評価値とともに撮像制御部１２３に出力してもよい。撮像制御部１２３は、静止画を撮像要と判定するとき、撮像評価部１２２から入力される領域情報を撮像制御信号に含めて第２撮像部１０３に出力してもよい。
そして、第２撮像部１０３の合焦制御部は、第２画像のうち撮像制御部１２３に入力される領域情報が示す対象物領域に合焦制御を行う領域を制限してもよい。図８に示す例では、合焦制御部は、合焦制御に係る合焦評価値の算出領域を、評価領域Ｒｇ３１のうち被写体として人物の像が表された領域Ｏｂ３１に制限する。この領域Ｏｂ３１が対象物領域に相当する。合焦制御部は、合焦制御において、第２画像データが示す第２画像のうち、領域情報が示す対象物領域について合焦評価値を算出し、合焦評価値が示す合焦度がより高くなるように対物レンズの位置を変更する。合焦制御部は、合焦度が極大となる対物レンズの位置を特定し、その位置で撮像される第２画像を示す第２画像データを信号処理部に対して静止画符号化部１０６に出力させることができる。従って、特定の撮像対象物を被写体として認識された領域に合焦した第２画像が撮像される。

画像復号部１１１は、制御部１０４の制御により第１符号化データ又は第２符号化データを復号する。例えば、制御部１０４は、操作部１０１から画像の表示と表示対象の画像を指示する操作信号が入力されるとき、その画像を示す第１符号化データ又は第２符号化データの復号を示す復号制御信号を生成する。画像復号部１１１は、制御部１０４から復号制御信号が示す第１符号化データ又は第２符号化データを記録部１０７から読み出す。第１符号化データを読み出すとき、画像復号部１１１は、第１符号化データを復号して第１画像データを生成し、生成した第１画像データを表示部１１２に出力する。第１符号化データの復号に用いられる復号方式は、第１符号化データの符号化に用いられた動画符号化方式に対応する復号方式であればよい。
画像復号部１１１は、第２符号化データを読み出すとき、読み出した第２符号化データを復号して第２画像データを生成し、生成した第２画像データを表示部１１２に出力する。
第２符号化データの復号に用いられる復号方式は、第２符号化データの符号化に用いられた静止画符号化方式に対応する復号方式であればよい。

表示部１１２は、制御部１０４の制御に基づいて各種の視覚情報を表示する。表示部１１２は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機エレクトロルミネッセンスディスプレイ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などのいずれであってもよい。
画像復号部１１１から第１画像データが入力されるとき、表示部１１２は、第１画像データが示す第１画像を表示する。画像復号部１１１から第２画像データが入力されるとき、表示部１１２は、第２画像データが示す第２画像（静止画像）を表示する。
なお、第１撮像部１０２は、操作部１０１からの第１画像の表示を示す操作信号の入力に応じて、制御部１０４から第１画像の表示を指示する表示制御信号が入力されるとき、第１画像データを表示部１１２に出力してもよい。その場合、第１画像の撮像中に表示部１１２は、第１画像データが示す第１画像（動画像）を表示することができる。

通信部１１３は、所定の通信方式を用いて、無線又は有線で他の機器と通信を行う。通信部１１３は、例えば、通信インタフェースである。例えば、制御部１０４は、操作部１０１から画像の送信、送信対象の画像及び送信先の機器を指示する操作信号が入力されるとき、その画像を示す第１符号化データ又は第２符号化データの送信先の機器への送信を示す通信制御信号を生成する。通信部１１３は、制御部１０４から通信制御信号が入力されるとき、通信制御信号で指示される第１符号化データ又は第２符号化データを記録部１０７から読み出し、読み出した第１符号化データ又は第２符号化データを、通信制御信号で指示される送信先の機器に送信する。

（撮像方法）
次に、本実施形態に係る撮像方法について説明する。
図９は、本実施形態に係る撮像方法の一例を示すフローチャートである。
制御部１０４は、例えば、動画像の撮像と静止画像の自動撮像を指示する操作信号が操作部１０１から入力されるとき、図９に示す処理を開始する。
（ステップＳ１０２）撮像設定部１２１は、第１撮像部１０２と第２撮像部１０３のそれぞれの光学系のパラメータに基づいて、第１画像の撮像範囲（動画撮像範囲）と第２画像の撮像範囲（静止画撮像範囲）を定める。撮像設定部１２１は、定めた動画撮像範囲のうち静止画撮像範囲と重複する領域を評価領域として定める。撮像設定部１２１は、定めた評価領域を示す評価領域情報を撮像評価部１２２に出力する。その後、ステップＳ１０４の処理に進む。

（ステップＳ１０４）第１撮像部１０２は、動画像をなす第１画像を撮像し、撮像した第１画像を示す第１画像データを制御部１０４と動画符号化部１０５に出力する。その後、ステップＳ１０６の処理に進む。
（ステップＳ１０６）撮像評価部１２２は、第１画像データが示す第１画像から、撮像設定部１２１から入力される評価領域情報が示す評価領域内の画像を評価画像として特定する。撮像評価部１２２は、公知のパターン認識処理を行って評価画像の撮像対象としての適格性の程度を示す撮像評価値を算出する。撮像評価部１２２は、算出した撮像評価値を撮像制御部１２３に出力する。その後、ステップＳ１０８の処理に進む。

（ステップＳ１０８）撮像制御部１２３は、撮像評価部１２２から入力される撮像評価値と予め設定された第１撮像評価閾値と比較する。入力される撮像評価値が第１撮像評価閾値よりも大きいとき（ステップＳ１０８ ＹＥＳ）、ステップＳ１１０の処理に進む。入力される撮像評価値が第１撮像評価閾値以下であるとき（ステップＳ１０８ ＮＯ）、静止画を撮像不要と判定し、ステップＳ１０４に戻り、第１画像の処理対象のフレームを次の評価対象フレームに進める。
（ステップＳ１１０）撮像制御部１２３は、静止画を撮像要と判定し、静止画の撮像を示す撮像制御信号を第２撮像部１０３に出力する。撮像制御信号が撮像制御部１２３から入力されるとき、第２撮像部１０３は、合焦制御を行った後、静止画である第２画像を撮像する。第２撮像部１０３は、第２画像を示す第２画像データを静止画符号化部１０６に出力する。その後、ステップＳ１０４に戻り、第１画像の処理対象のフレームを次の評価対象フレームに進める。

なお、第１撮像部１０２と第２撮像部１０３は、図１に示すように互いに異なる位置に配置されるため、第１画像と第２画像の重複部分に表される共通の被写体を表す被写体像の形状が異なることがある。そこで、撮像評価部１２２は、第１撮像部１０２から入力される第１画像データが示す第１画像について台形補正を行い、補正後の第１画像のうち評価領域内の画像を評価対象とする評価画像として定めてもよい。台形補正は、第１画像の重複部分に表される被写体像の形状を、第２撮像部１０３の視点から撮像される被写体像の形状により近似するように変形する処理である。まず、台形補正を行うために、撮像評価部１２２は、第１画像データの他、第２撮像部１０３から第２画像データを取得する。この段階では、取得される第２画像データは、符号化ならびに記録されず、最終的に撮像されるとは限らない。

台形補正は、次のステップＳ３１と、ステップＳ３２を有する。（ステップＳ３１）第２画像の評価領域において処理対象とする対象画素毎に、その画素を重心とする対象ブロック毎に第１画像の対応する対応ブロックとブロックマッチングを行い、対象ブロックが表す模様と第１画像において最も近似する模様を表す対応ブロックを特定し、特定した対応ブロックの重心を対応画素として定める。ブロックマッチングにおいて、模様の近似の度合いを示す評価値として、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ、差分絶対値和）が利用可能である。（ステップＳ３２）第１画像の対応画素における信号値を、その対応座標に対応する対象画素における信号値に置き換える。この信号値の置き換えにより、第１画像の対応画素毎に表される被写体の像が第２画像の対象画素毎に表される領域に移動する。よって、第１撮像部１０２の位置と第２撮像部１０３の位置の違いによる被写体像の形状の差異が低減又は解消される。

なお、撮像評価部１２２は、被写体までの距離が所定の距離の閾値以下であるときに台形補正を行い、被写体までの距離が所定の距離の閾値を超えるときに台形補正を行わなくてもよい。被写体の形状の差異は、第１撮像部１０２もしくは第２撮像部１０３から被写体までの距離が小さいほど著しく、被写体までの距離が大きいほど少なくなるためである。撮像評価部１２２は、対象画素の座標と対応する対応画素の座標との差分（視差）が所定の差分の閾値以上であるか否かをもって、被写体までの距離が所定の距離の閾値以下であるか否かを判断することができる。

また、第１撮像部１０２は、第２撮像部１０３よりも空間的に広範な範囲に分布した被写体像を撮像するため、第１撮像部１０２は、第２撮像部１０３を構成する対物レンズと異なる光学特性を有する対物レンズが用いられることがある。この光学特性の差異により、第１画像と第２画像に表れる歪の特性や程度が異なることがある。例えば、図５に示す第１画像Ｉ１１の方が、図６に示す第２画像Ｉ２１の外縁部に生ずる歪よりも著しい。そのため、図７に示す例では、評価領域に相当する第２画像の撮像範囲Ｒｇ２１の外縁部に表れる像と、第１画像Ｉ１１に表される像のずれが表れる。

そこで、第１撮像部１０２は、歪補正部（図示せず）を備えてもよい。歪補正部は、信号処理部から入力される第１画像データが示す第１画像について予め設定された光学系のパラメータに基づいて歪補正（歪曲収差補正とも呼ばれる）を行う。歪補正に用いられるパラメータは、例えば、光学歪係数である。光学歪係数には、光学軸を中心とする半径方向の歪み係数と、光学軸周りの円周方向の歪みを示す歪み係数が含まれる。歪補正部は、歪補正において補正前の各画素の座標値から光学歪係数を用いて補正後の座標を算出する。補正前後の座標の差分に相当する歪み量に含まれる半径方向の成分は、画像の中心から処理対象となる対象画素までの距離のｎ次式（ｎは２次以上）を用いて算出できる。
補正量は、光学系の特性と撮像素子の位置により定まる。そこで、歪補正部には、画素毎に補正後の座標を示す歪補正データに予め設定しておき、歪補正データを参照して対象画素の補正後の座標を特定してもよい。

補正後の座標値は、必ずしも画素ピッチの整数倍の値になるとは限らない。そこで、歪補正部は、補正後の座標における信号値について線形補間を行い、各画素（座標値が画素ピッチの整数倍）における信号値を推定して補正後の第１画像を表す第１画像データを生成する。歪補正部は、補正後の第１画像データを制御部１０４と表示部１１２に出力する。

第２撮像部１０３も、第１撮像部１０２と同様に、歪補正部（図示せず）を備えてもよい。歪補正部は、撮像素子から入力される第２画像データについて、撮像設定部１２１が第１画像データと同様の手法を用いて歪補正を行う。但し、第２画像データに対する歪補正では、第２撮像部１０３の光学系のパラメータを用いる。歪補正部は、補正後の第２画像データを静止画符号化部１０６に出力する。

図１０、図１１は、それぞれ補正後の第１画像Ｉ１２、第２画像Ｉ２２を例示する。図５、図６に例示される補正前の第１画像Ｉ１１、第２画像Ｉ２１と比較すると、補正後の第１画像Ｉ１２、第２画像Ｉ２２では第１画像Ｉ１１、第２画像Ｉ２１に表れていた画像の歪みが緩和されている。そのため、補正後の第１画像Ｉ１２、第２画像Ｉ２２では、本来表れるべき模様が歪まずに格子状に表れている。歪の緩和は、第２画像Ｉ２２よりも第１画像Ｉ１２において著しい。
図１２は、補正後の第１画像Ｉ１２と第２画像Ｉ２２について定められる評価領域Ｒｇ２２を例示する。図１２に示す例でも、評価領域Ｒｇ２２の外縁部において、第１画像Ｉ１２と評価領域Ｒｇ２２内の第２画像Ｉ２２とで模様のずれが生じるが、図７に示す例よりも、ずれの度合いが緩和されている。そのため、評価領域内の評価画像に基づく評価値により第２画像の撮像契機がより適切に判定されることが期待される。

なお、撮像制御部１２３は、撮像評価部１２２から入力される評価対象フレーム毎の撮像評価値が所定の第２撮像評価閾値を超えるとき第２撮像部１０３に静止画の撮像の準備を指示してもよい。第２撮像評価閾値は、第１撮像評価閾値よりも小さい値である。第２撮像評価値閾値を超えるとは、例えば、撮像評価値が第２撮像評価閾値以下である状態が直前のフレームまで所定期間以上継続した後で第２撮像評価閾値より大きくなることを指す。撮像の準備には、例えば、合焦制御が該当する。撮像制御部１２３は、合焦制御の開始を示す合焦制御信号を第２撮像部１０３に出力する。第２撮像部１０３の合焦制御部は、撮像制御部１２３から合焦制御信号が入力されるとき合焦制御を開始する。撮像の準備には、例えば、第２撮像部１０３の起動、つまり、動作が停止している状態から合焦制御ならびに撮像を可能とする状態にすることを含んでもよい。その場合には、撮像制御部１２３は、第２撮像部１０３の電力の供給を開始する。撮像制御部１２３は、第２撮像部１０３から起動完了を示す起動完了信号が入力された後で、合焦制御信号を第２撮像部１０３に出力する。

そして、撮像制御部１２３は、撮像評価部１２２から入力される評価対象フレーム毎の撮像評価値が第１撮像評価閾値を超えるとき撮像制御信号を第２撮像部１０３に出力する。第２撮像部１０３の信号処理部は、合焦制御部から合焦完了信号が入力され、かつ、撮像制御部１２３から撮像制御信号が入力されるとき、所定のシャッタースピードの期間、受光して得られる第２画像データを静止画符号化部１０６に出力する。撮像制御部１２３は、評価画像が撮像に適した状態に達する兆候が表れる時点で、第２撮像部１０３に撮像の準備を行わせ、撮像に適した状態に達した時点で第２撮像部１０３に撮像させることができる。そのため、撮像に適した状態に達する時点から静止画が撮像されるまでの経過時間を短縮することで、より適格な静止画が撮像される。

なお、撮像制御部１２３は、静止画を撮像要と判定するとき、評価領域内に表された被写体の状態に基づいて静止画の撮像条件を制御してもよい。例えば、撮像制御部１２３は、撮像評価部１２２により認識された認識対象物の移動速度が高いほど、短くなるようにシャッタースピードを定めてもよい。撮像制御部１２３は、フレーム毎に撮像評価部１２２から入力される領域情報から評価領域における認識対象物の位置を特定し、前フレームから現フレームまでの被写体の位置の変化量を認識対象物の移動速度として定めることができる。撮像制御部１２３には、予め移動速度とシャッタースピードとの関係を示すシャッタースピード制御データを設定しておき、シャッタースピード制御データを参照して、定めた移動速度に対応するシャッタースピードを定める。撮像制御部１２３は、定めたシャッタースピードを示す情報を撮像制御信号に含めて第２撮像部１０３に出力する。第２撮像部１０３の信号処理部は、撮像制御信号が撮像制御部１２３から入力されるとき、その時点から撮像制御信号が示すシャッタースピードの期間、受光して得られる第２画像データを静止画符号化部１０６に出力する。

撮像制御部１２３は、撮像評価部１２２により認識された認識対象物のぼけ量が多いほど、小さくなるように絞り量を定めてもよい。ぼけ量は、認識対象物の像の明瞭性を示す評価値である。絞り量は、一般にＦ値で表され、Ｆ値が大きいほど絞り量が少ないことを示す。また、Ｆ値が大きいほど被写界深度を深くして、ぼけの度合いを低減することができる。例えば、撮像評価部１２２は、ぼけ量を示す評価値として、評価画像の認識対象物領域において上述の合焦評価値を算出して撮像制御部１２３に出力する。撮像制御部１２３には、予めぼけ量と絞り量との関係を示す絞り制御データを設定しておき、絞り制御データを参照して、定めたぼけ量に対応する絞り量を定める。撮像制御部１２３は、定めた絞り量を示す情報を撮像制御信号に含めて第２撮像部１０３に出力する。第２撮像部１０３の光学系は、絞り機構の絞り量を撮像制御部１２３から入力される撮像制御信号が示す絞り量に調整する。

撮像制御部１２３は、撮像評価部１２２により認識された被写体までの距離の情報を取得し、第２撮像部１０３に、その距離への合焦を指示してもよい。例えば、撮像評価部１２２は、例えば、第２撮像部１０３から第２画像データを取得し、取得した第２画像データが示す第２画像と評価画像の認識対象物領域の各画素についてブロックマッチングを行い、第２画像との視差を定める。第２撮像部１０３は、第１撮像部１０２の焦点距離、第１撮像部１０２と第２撮像部１０３の間隔、及び定めた視差に基づいて被写体までの距離を算出する。そして、撮像評価部１２２は、画素毎に算出した距離の代表値を認識した被写体までの距離として撮像制御部１２３に出力する。

また、撮像装置１０は、距離センサ（図示せず）を備えてもよい。距離センサは、自部の周囲の物体までの距離を方向毎に検出し、検出した距離を示す距離情報を撮像制御部１２３に出力する。撮像制御部１２３は、撮像評価部１２２から入力される領域情報から評価領域における認識対象物の位置を特定し、特定した位置から、実空間内における認識対象物の方向を特定する。撮像制御部１２３は、距離センサから入力される距離情報から特定した方向に係る距離を特定する。
撮像制御部１２３は、特定した距離の情報を撮像制御信号に含めて第２撮像部１０３に出力する。第２撮像部１０３の合焦制御部は、合焦制御を行う際、撮像制御部１２３から入力される距離が焦点距離となる位置に対物レンズを移動させる。これにより、合焦制御に係る処理や時間を低減することができる。

撮像設定部１２１は、フレーム間における第１画像の動きを検出し、検出した動きの動き量が所定の動き量以上となるとき、所定の第１画像の撮像範囲よりも小さい縮小領域を設定してもよい。そして、撮像設定部１２１は、設定した縮小領域と第２画像の撮像範囲とが重複する重複領域を評価領域として定め、定めた評価領域を第１画像の動きに連動させる。
他方、撮像評価部１２２は、動き量が所定の動き量の閾値以下であるか、又は正規化偏差が所定の正規化偏差の閾値以上であるとき、第１画像の動きを検出していないと判定する。その場合には、撮像評価部１２２は、縮小領域を設定しなくてもよいし、縮小領域に基づいて定める評価領域を第１画像の動きに連動させなくてもよい。

縮小領域は、例えば、その水平方向の幅、垂直方向の高さが、標準の撮像範囲の幅、高さのそれぞれａ倍（ａは、０より大きく１より小さい実数、典型的には０．５〜０．８）であって、標準の撮像範囲と重心が共通な領域である。従って、図１３に例示されるように、縮小領域に基づいて定められる評価領域Ｒｇ２４は、標準の撮像範囲に基づいて定められる評価領域よりも小さくなることがある。第１画像の動きとは、撮像装置１０の動きに伴って生じる第１画像に表れる被写体像の並進運動である。第１画像の動きは、ユーザが撮像装置１０を支持する手の動きによって、「手ぶれ」として生じることがある。

撮像設定部１２１は、第１画像の動きを検出する際、現フレームの第１画像の所定の複数の検出領域において、前フレームの第１画像の対応するブロックとの間でブロックマッチングを行う。検出領域は、例えば、縮小領域の各頂点、即ち、左上端、右上端、右下端、左下端に設けられたブロックである。撮像設定部１２１は、各検出領域に表される模様と最も合致する模様を表すブロックを対応ブロックとして検出する。そして、撮像評価部１２２は、検出領域毎に検出した前フレームの第１画像の対応ブロックからの位置の変位（ずれ）を動きベクトルとして定める。撮像設定部１２１は、検出領域間の動きベクトルの代表値と標準偏差を算出し、算出した代表値の大きさを動き量とし、動き量に対する標準偏差の大きさの比を正規化偏差として算出する。代表値は、例えば、平均値、中央値のいずれでもよい。正規化偏差は、検出領域間の動きベクトルの大きさと方向のばらつきの程度を表す指標値である。撮像設定部１２１は、算出した動き量が所定の動き量の閾値よりも大きく、かつ、正規化偏差が所定の正規化偏差の閾値以下であるとき、第１画像の動きを検出したと判定する。そして、撮像設定部１２１は、前フレームにおいて設定した評価領域の位置を、算出した動きベクトルの代表値の方向に、その代表値の大きさで移動させ、移動した評価領域を現フレームにおける評価領域として定める。これにより、評価領域が第１画像の動きに連動し、図１４に例示される評価画像Ｉ３４には、複数のフレームにわたり同一の被写体像が表れる。従って、第１の画像に動きが生じても、複数のフレームにわたり共通の被写体像を第１画像の撮像範囲からはみ出さずに評価対象とすることができる。

上述の第１画像の動きの検出、移動速度の検出ならびに図９の処理における評価値の算出に係る評価対象フレームは、全フレームであってもよいが、必ずしも全フレームでなく間欠的に設定されてもよい。評価対象フレームは、例えば、所定フレーム（例えば、２〜５）毎であってもよい。その場合、前フレームとは現フレームから所定フレーム前のフレームを指す。

以上に説明したように、本実施形態に係る撮像装置１０は、動画像である第１画像を撮像する第１撮像部１０２と、静止画像である第２画像を撮像する第２撮像部１０３を備える。また、撮像装置１０は、第１画像と第２画像と重複した領域である重複領域の少なくとも一部の領域を評価領域とし、第１画像の評価領域における評価画像の撮像対象としての適格性を示す評価値を算出し、算出した評価値に基づいて第２画像の撮像を判定する制御部１０４を備える。
この構成により、第１画像のうち、第２画像と共通の評価領域内に表された評価画像にについて撮像対象としての適格性が評価され、評価された適格性に基づいて静止画である第２画像の撮像が判定される。評価領域は第２画像と異なる被写体を表す領域を含まないので、その領域を含む場合よりも、第２画像の撮像をより適切に判定することができる。

また、制御部１０４は、第１画像が表す被写体の形状を、第２撮像部１０３の視点から取得される被写体の形状により近似するように第１画像を変形し、変形した第１画像のうち評価画像内の評価画像に基づいて評価値を算出する。
この構成により、視点方向を第２撮像部１０３の視点方向として観測される第２画像と共通の被写体の像が得られるように第１画像が変形される。そのため、第２撮像部１０３との視点方向の違いによる被写体の形状の差異が解消されるので、より的確に第２画像の撮像を判定することができる。

また、制御部１０４は、評価画像が表す所定の被写体までの距離を取得し、第２撮像部１０３に対して取得した距離に合焦させる。
この構成により、第２画像の撮像前に合焦に至るまでの時間が短縮し、合焦制御に係る負荷を低減することができる。撮像の判定時から実際の撮像までの被写体の状態の変動に伴う第２画像の変化によって評価値が減少するリスクが抑制されるので、より的確な第２画像を撮像することができる。

また、制御部１０４は、評価画像が表す所定の被写体の移動速度を算出し、算出した移動速度に基づいて第２撮像部１０３のシャッター速度を定める。
この構成により、移動速度が高いほどシャッター速度を高くすることで、移動速度が高い被写体を表す第２画像をより鮮明に撮像することができる。

また、制御部１０４は、評価画像が表す所定の被写体の明瞭性を示す明瞭性評価値を算出し、算出した明瞭性評価値に基づいて第２撮像部１０３の絞り量を定める。
この構成により、明瞭性が低いほど絞り量を大きくすることで被写界深度を高くすることができる。そのため、絞り量を一定にする場合よりも、全体としてより鮮明な第２画像を撮像することができる。

また、制御部１０４は、操作に応じて第２画像の画角を設定し、設定した画角に基づいて第２画像の撮像範囲を定め、定めた第２画像の撮像範囲と第１画像の撮像範囲とが重複した重複領域の少なくとも一部を評価領域として定める。
この構成により、操作に応じてユーザが任意に設定した第２画像の撮像範囲と共通の評価領域内に表された評価画像について撮像対象としての適格性が評価される。そのため、操作に応じて第２画像の画角を可変にしても、的確に第２画像の撮像を判定することができる。

また、制御部１０４は、第１撮像部と第２撮像部は、それぞれ撮像した画像に対して自部の光学系による歪を補正する歪補正部を備える。
この構成により、第１撮像部と第２撮像部とで特性が異なる光学系による歪が解消又は緩和された第１画像と第２画像が取得される。第１画像に表される被写体像の歪や、第２画像に表れる歪の特性との差異が解消又は緩和されるので、評価領域内に表された評価画像に基づいて、的確に第２画像の撮像を判定することができる。

また、制御部１０４は、算出した評価値が示す撮像対象としての適格性が所定の第１閾値よりも低い第２閾値よりも高くなるとき、第２撮像部１０３に第２画像の撮像の準備を開始させ、算出した評価値が示す適格性が第１閾値よりも高くなるとき、第２撮像部１０３に第２画像を撮像させる。
この構成により、撮像が指示される前に撮像の準備を開始させることができる。そのため、撮像が指示されてから準備が完了するまでの間に、被写体の状態の変動に伴う第２画像の変化によって評価値が減少するリスクが抑制されるので、より的確な第２画像を撮像することができる。

また、制御部１０４は、第１画像の動きを検出するとき、第１画像の撮像範囲をより縮小した縮小領域と第２画像と重複した領域を評価領域として設定し、設定した評価領域を検出した第１画像の動きに連動させる。
この構成により、第１画像に動きが生じても、複数のフレームにわたり共通の被写体像を第１画像の撮像範囲からはみ出さずに評価対象とすることができる。そのため、撮像装置１０の移動により被写体像の並進運動（いわゆる、手ぶれ）が生じても、評価画像に対する撮像対象としての適格性をより正確に判定することができる。また、露光時間がフレーム周期を超える場合でも、フレーム周期を超える時間尺度で適格性を判定することができる。

なお、撮像装置１０の一部、例えば、第１撮像部１０２、第２撮像部１０３、制御部１０４、動画符号化部１０５、静止画符号化部１０６、画像復号部１１１、通信部１１３などの各部は、ＣＰＵなどのプロセッサを含むコンピュータとして構成され、予め記憶媒体に記憶されたプログラムに記述された命令で指示される処理を実行して、それらの機能を実現してもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

また、上述した実施形態における各部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｌｅｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの部材を含んで構成されてもよい。各部もしくは各部の一部を構成する機能ブロックは、個別にプロセッサ化してもよいし、一部または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩなどに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

１０…撮像装置、１０１…操作部、１０２…第１撮像部、１０３…第２撮像部、１０４…制御部、１０５…動画符号化部、１０６…静止画符号化部、１０７…記録部、１１１…画像復号部、１１２…表示部、１１３…通信部、１２１…撮像設定部、１２２…撮像評価部、１２３…撮像制御部

Claims (11)

1. 動画像である第１画像を撮像する第１撮像部と、
   静止画像である第２画像を撮像する第２撮像部と、
   前記第１画像と前記第２画像と重複した領域である重複領域の少なくとも一部の領域を評価領域とし、
   前記第１画像の前記評価領域における評価画像の撮像対象としての適格性を示す評価値を算出し、
   前記評価値に基づいて前記第２画像の撮像を判定する制御部と、
   を備える撮像装置。
2. 前記制御部は、
   前記第１画像が表す被写体の形状が、前記第２撮像部の視点から取得される前記被写体の形状により近似するように当該第１画像を変形し、
   変形した前記第１画像の前記評価領域内の評価画像に基づいて前記評価値を算出する
   請求項１に記載の撮像装置。
3. 前記制御部は、
   前記評価画像が表す所定の被写体までの距離を取得し、
   前記第２撮像部に対して前記距離に合焦させる
   請求項１または請求項２に記載の撮像装置。
4. 前記制御部は、
   前記評価画像が表す所定の被写体の移動速度を算出し、
   前記移動速度に基づいて前記第２撮像部のシャッター速度を定める
   請求項１から請求項３のいずれか一項に記載の撮像装置。
5. 前記制御部は、
   前記評価画像が表す所定の被写体の明瞭性を示す明瞭性評価値を算出し、
   前記明瞭性評価値に基づいて前記第２撮像部の絞り量を定める
   請求項１から請求項４のいずれか一項に記載の撮像装置。
6. 前記制御部は、
   操作に応じて前記第２画像の画角を設定し、
   前記画角に基づいて前記第２画像の撮像範囲を定め、前記第１画像の撮像範囲と
   重複した領域の少なくとも一部を前記評価領域として定める
   請求項１から請求項５のいずれか一項に記載の撮像装置。
7. 前記第１撮像部と前記第２撮像部は、それぞれ撮像した画像に対して自部の光学系による歪を補正する歪補正部を備える
   請求項１から請求項６のいずれか一項に記載の撮像装置。
8. 前記制御部は、
   前記評価値が示す適格性が第１閾値よりも低い第２閾値よりも高くなるとき、前記第２画像の撮像の準備を開始させ、
   前記評価値が示す適格性が前記第１閾値よりも高くなるとき、前記第２画像を撮像させる
   請求項１から請求項７のいずれか一項に記載の撮像装置。
9. 前記制御部は、
   前記第１画像の動きを検出するとき、前記第１画像の撮像範囲を縮小した縮小領域と前記第２画像と重複した領域を評価領域として設定し、当該評価領域を検出した前記動きに連動させる
   請求項１から請求項８のいずれか一項に記載の撮像装置。
10. 動画像である第１画像を撮像する第１撮像部と、
    静止画像である第２画像を撮像可能とする第２撮像部と、
    を備える撮像装置における撮像方法であって、
    前記第１画像と前記第２画像と重複した領域である重複領域の少なくとも一部の領域を評価領域とし、
    前記第１画像の前記評価領域における評価画像の撮像対象としての適格性を示す評価値を算出する評価過程と、
    前記評価値に基づいて前記第２画像の撮像を判定する判定過程と、
    を有する撮像方法。
11. 動画像である第１画像を撮像する第１撮像部と、
    静止画像である第２画像を撮像する第２撮像部と、
    を備える撮像装置のコンピュータに、
    前記第１画像と前記第２画像と重複した領域である重複領域の少なくとも一部の領域を評価領域とし、
    前記第１画像の前記評価領域における評価画像の撮像対象としての適格性を示す評価値を算出する評価手順と、
    前記評価値に基づいて前記第２画像の撮像を判定する判定手順と、
    を実行させるためのプログラム。