JP2023165555A - 画像処理装置、撮像装置、制御方法及びプログラム - Google Patents

Abstract

【課題】撮像状況や被写体の状態に応じてマッチング方式を切り替えて好適な被写体追尾を行う。【解決手段】画像処理装置は、入力された撮像画像に含まれる所定の被写体の像を追尾する画像処理装置であって、撮像画像を取得する第１の取得手段と、撮像画像に含まれる所定の被写体の像の位置を特定する追尾処理を実行する追尾手段であって、各々異なるマッチング方式で追尾処理を実行する第１の追尾手段と第２の追尾手段とを含む追尾手段と、所定の被写体の状態及び撮像画像の撮像状況の少なくともいずれかを示す状況情報を取得する第２の取得手段と、状況情報に基づいて、第１の取得手段により取得された撮像画像について第１の追尾手段と第２の追尾手段のいずれを用いて追尾処理を行うかを切り替える制御手段と、を有し、第１の追尾手段に採用されるマッチング方式は、第２の追尾手段に採用されるマッチング方式よりも、追尾処理の実行に係る消費電力が少ない。【選択図】図１

Description

本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関し、特に被写体追尾技術に関する。

デジタルカメラ等の撮像装置には、撮像画角内に存在する被写体を撮像画像から検出して、特定の被写体を経時的に追尾する機能（被写体追尾機能）を備えるものがある。被写体追尾機能において追跡対象の被写体と同一とみなす被写体の像の位置を特定するマッチング方式には、様々な種類が存在している。マッチング方式の１つとして、特許文献１には撮像画像中の被写体領域をテンプレート画像として登録し、以降に得られた撮像画像において、テンプレート画像と相関度が高い領域を特定するテンプレートマッチング方式が開示されている。

特開２００１－０６０２６９号公報

ところで、各マッチング方式には、好適な追尾精度を実現できる状況と実現できない状況が存在する。また、方式ごとに演算内容が異なるため、撮像状況や被写体の状態によっては演算量が過大となる、消費電力量が増大するといった懸念があった。

本発明は、上述の問題点に鑑みてなされたものであり、撮像状況や被写体の状態に応じてマッチング方式を切り替えて好適な被写体追尾を行う画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、入力された撮像画像に含まれる所定の被写体の像を追尾する画像処理装置であって、撮像画像を取得する第１の取得手段と、撮像画像に含まれる所定の被写体の像の位置をする追尾処理を実行する追尾手段であって、各々異なるマッチング方式で追尾処理を実行する第１の追尾手段と第２の追尾手段とを含む追尾手段と、所定の被写体の状態及び撮像画像の撮像状況の少なくともいずれかを示す状況情報を取得する第２の取得手段と、状況情報に基づいて、第１の取得手段により取得された撮像画像について第１の追尾手段と第２の追尾手段のいずれを用いて追尾処理を行うかを切り替える制御手段と、を有し、第１の追尾手段に採用されるマッチング方式は、第２の追尾手段に採用されるマッチング方式よりも、追尾処理の実行に係る消費電力が少ないことを特徴とする。

このような構成により本発明によれば、撮像状況や被写体の状態に応じてマッチング方式を切り替えて好適な被写体追尾を行うことが可能となる。

本発明の実施形態及び変形例に係る撮像装置１００の機能構成を例示したブロック図 本発明の実施形態及び変形例に係る特徴点マッチング方式の追尾処理を説明するためのフローチャート 本発明の実施形態及び変形例に係る特徴点マッチング方式の追尾処理を説明するための別のフローチャート 本発明の実施形態及び変形例に係る特徴点マッチング方式の追尾処理を説明するための図 本発明の実施形態１係る追尾制御処理を説明するための図 本発明の実施形態１係る撮像装置１００で実行される追尾制御処理を例示したフローチャート 本発明の実施形態２係る撮像装置１００で実行される追尾制御処理を例示したフローチャート 本発明の実施形態３係る撮像装置１００で実行される追尾制御処理を例示したフローチャート 本発明の実施形態４係る撮像装置１００で実行される追尾制御処理を例示したフローチャート 本発明の実施形態５係る撮像装置１００で実行される追尾制御処理を例示したフローチャート 本発明の実施形態６係る撮像装置１００で実行される追尾制御処理を例示したフローチャート 本発明の変形例２係る撮像装置１００で実行される追尾制御処理を例示したフローチャート

［実施形態１］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、画像処理装置の一例としての、間欠的に撮像を行って得られる撮像画像について、主被写体を経時的に追尾する追尾機能を備えた撮像装置に、本発明を適用した例を説明する。しかし、本発明は、間欠的な撮像で得られた撮像画像について、主被写体を経時的に追尾することが可能な任意の機器に適用可能である。

《撮像装置１００の構成》
図１は、本実施形態に係る撮像装置１００の機能構成を示したブロック図である。本実施形態の撮像装置１００は、図中に実線で示した構成を具備するものとして説明する。即ち、図中、破線で示される構成は、本実施形態の撮像装置１００には含まれない構成である。

光学系１０１は、フォーカスレンズなどの可動レンズを含む複数枚のレンズを有し、撮像範囲の光学像を後述の撮像素子１０４の結像面に形成する。

光学制御部１０２は、光学系１０１が形成する光学像を、例えば位相差ＡＦセンサによって撮像することにより、複数の焦点検出領域のそれぞれについてデフォーカス量を導出する。焦点検出領域は、例えば撮像面内に予め定められた矩形領域であってよい。光学制御部１０２は、算出したデフォーカス量と、後述する追尾部１３０による追尾結果とに基づいて、光学系１０１を合焦させる焦点検出領域を決定する。そして、光学制御部１０２は、決定した焦点検出領域について導出されたデフォーカス量に基づいて光学系１０１のフォーカスレンズを駆動する。これにより、決定した焦点検出領域内の被写体に光学系１０１が合焦した状態となる。

光学系１０１と撮像素子１０４との間には、メカニカルシャッタ（以下、単にシャッタとして言及）１０３が設けられる。シャッタ１０３は、静止画撮像時の撮像素子１０４の露光時間（シャッタスピード）の制御に用いられ、後述のシステム制御部１０５により動作が制御される。

撮像素子１０４は、例えば原色ベイヤ配列のカラーフィルタを有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであってよい。撮像素子１０４には、光電変換領域を有する複数の画素が２次元配置されている。撮像素子１０４は、光学系１０１が形成する光学像を複数の画素によって電気信号群（アナログ画像信号）に変換する。アナログ画像信号は撮像素子１０４が有するＡ／Ｄ変換器によってデジタル画像信号（画像データ）に変換されて出力される。Ａ／Ｄ変換器は撮像素子１０４の外部に設けられてもよい。

システム制御部１０５は、例えばＣＰＵである。システム制御部１０５は、例えば不揮発性メモリ１０６に記憶された撮像装置１００が有する各ブロックの動作プログラムを読み出し、システムメモリ１０７に展開して実行することで、各ブロックの動作を制御する。不揮発性メモリ１０６は、恒久的な情報記憶が可能な記憶装置であり、例えば電気的に情報の消去・記憶が可能なＥＥＰＲＯＭであってよい。不揮発性メモリ１０６には、各ブロックの動作プログラムに加え、各ブロックの動作に必要な定数等のパラメータやＧＵＩデータ等が記憶される。システムメモリ１０７は、例えばＲＡＭ等の一時的な情報記憶が可能な記憶装置である。システムメモリ１０７は、各ブロックを展開する展開領域としてだけでなく、各ブロックの動作により出力された情報を格納する格納領域としても用いられる。なお、図１では一部省略しているが、システム制御部１０５は各ブロックと通信可能に接続されている。

評価値生成部１０８は、撮像素子１０４から出力された画像データから、自動焦点検出（ＡＦ）に用いる信号や評価値や、自動露出制御（ＡＥ）に用いる評価値（輝度情報）を導出する。本実施形態では評価値生成部１０８が、各カラーフィルタ画素（赤、青、緑）を積分して得られた積分値を色変換することで輝度情報を導出するものとして説明するが、輝度情報の導出は他の手法により行われてもよい。評価値生成部１０８により導出された評価値は、光学制御部１０２による光学系１０１の制御や、システム制御部１０５による撮像条件の決定、後述の画像処理部１１０における各種処理に利用される。

画像処理部１１０は、例えば撮像素子１０４から出力された画像データを用いて、表示・記録用途や被写体の追尾用途の各種画像処理を行う。以下、各用途に係るブロックについて、分離して説明する。なお、表示・記録用途及び追尾用途に係るブロックは、画像処理部１１０内の異なる回路等、異なるハードウェアによって実現されるものであってもよいし、共通のハードウェアによって実現されるものであってもよい。

〈表示・記録用途に係る機能構成〉
第１前処理部１１１は、撮像素子１０４から出力された画像データに対して色補間処理を適用する。色補間処理は、デモザイク処理とも呼ばれる処理であり、画像データを構成する画素データのそれぞれが、Ｒ成分、Ｇ成分、Ｂ成分の値を有するＲＧＢ形式の画像データに変換する処理である。また、第１前処理部１１１は、必要に応じて画素数を削減する縮小処理を適用してもよい。第１前処理部１１１は、処理を適用した画像データを表示用メモリ１１２に格納する。

第１補正部１１３は、表示用メモリ１１２に格納された画像データに対してホワイトバランス補正処理及びシェーディング補正処理等の補正処理や、ＲＧＢ形式からＹＵＶ形式への変換処理等を適用する。なお、第１補正部１１３は、補正処理の過程において、表示用メモリ１１２からのデータの読み出し、及び表示用メモリ１１２へのデータの書き込みを制御することで、画像データの複数ラインを処理することもできる。また、第１補正部１１３は、表示用メモリ１１２に格納されている画像データのうち、処理対象フレームとは異なる１フレーム以上の画像データを用いて補正処理を行ってもよい。第１補正部１１３は、処理を適用した画像データを後処理部１１４に出力する。

後処理部１１４は、第１補正部１１３から供給されるＹＵＶ形式の画像データから、記録用画像データや表示用画像信号を生成する。後処理部１１４は、例えば画像データに符号化処理を適用し、符号化した画像データを格納するデータファイルを記録用画像データとして生成する。後処理部１１４は、記録用画像データを記録部１１５に供給する。また後処理部１１４は、第１補正部１１３から供給される画像データから、表示部１０９に表示するための表示用画像データを生成する。表示用画像データは、表示部１０９での表示サイズに応じたサイズを有する。後処理部１１４は、表示用画像データを情報重畳部１２７に供給する。

記録部１１５は、後処理部１１４で変換された記録用画像データを記録媒体１０８に記録する。記録媒体１０８は、例えばＳＤメモリカード、コンパクトフラッシュ（登録商標）等の半導体メモリカードであってもよいし、撮像装置１００に内蔵の不揮発性メモリなどであってよい。

〈追尾用途に係る機能構成〉
第２前処理部１２１は、撮像素子１０４から出力された画像データに対して色補間処理を適用する。第２前処理部１２１は、処理を適用して得られた画像データ（ＲＧＢ形式の追尾用画像データ）を追尾用メモリ１２２に格納する。また、第２前処理部１２１は、処理負荷を軽減するために必要に応じて画素数を削減する縮小処理を適用してもよい。

第２補正部１２３は、追尾用メモリ１２２に格納された追尾用画像データに対してホワイトバランス補正処理及びシェーディング補正処理等の補正処理や、ＲＧＢ形式からＹＵＶ形式への変換処理等を適用する。また、第２補正部１２３は、被写体検出処理に適した画像処理を追尾用画像データに適用してもよい。第２補正部１２３は、例えば追尾用画像データの代表輝度（例えば全画素の平均輝度）が予め定められた閾値以下であれば、代表輝度が閾値以上になるよう、追尾用画像データ全体に一定の係数（ゲイン）を乗じてもよい。第２補正部１２３は、処理を適用した追尾用画像データを、追尾用メモリ１２２に格納する。なお、第２補正部１２３は第１補正部１１３と同様、追尾用画像データの複数ラインや複数フレームの追尾用画像データを用いて補正処理を行ってもよい。また以下の説明では、第２補正部１２３による補正が適用され、追尾に係る各種処理に使用される状態となった追尾用画像データを、単に撮像画像として言及する場合がある。

被写体検出部１２４は、第２補正部１２３による補正が適用された１フレーム分の追尾用画像データから、予め定められた候補被写体（オブジェクト）の領域（候補領域）を１つ以上検出し、被写体の状態を示す情報（オブジェクト情報）を出力する。オブジェクト情報は、対象のフレームから検出された各候補領域について、当該候補領域に対応する候補被写体の種別（人体、顔、猫、犬等）及び当該候補領域の位置やサイズ（面積）を示す情報を含む。またオブジェクト情報は、対象のフレーム中に検出された候補領域の数（オブジェクト数）の情報も含む。被写体検出部１２４は、人物や動物の顔領域のような特徴領域を検出するための公知技術を用いて候補領域を検出することができる。例えば、教師データを用いて学習済みのクラス識別器として被写体検出部１２４を構成してもよい。識別器に採用されるアルゴリズムは、例えばランダムフォレスト、ニューラルネットワーク等、任意のものであってよい。

対象決定部１２５は、被写体検出部１２４により検出された候補領域から、追尾対象とする主被写体（追尾被写体）の領域（追尾被写体領域）を決定する。追尾被写体領域は、例えば候補被写体の種別、候補領域のサイズ等に基づいて決定される。追尾被写体領域の決定は、例えば人物（顔）を優先する手法や、ユーザ指定位置に最も近い候補領域を優先する手法等、予め定められた優先順位に基づいて行われるものであってよい。対象決定部１２５は、決定した追尾被写体領域を特定する情報を追尾用メモリ１２２に格納する。

追尾制御部１２６は、対象決定部１２５により決定された追尾被写体について、後続のフレームに係る撮像画像から該当の像を示す領域を特定する追尾処理を追尾部１３０に行わせるよう制御する。本実施形態では、一度対象決定部１２５により決定された追尾被写体については、後続のフレームに係る撮像画像では対象決定部１２５が再度追尾被写体領域を決定するのではなく、追尾部１３０が同一被写体に対応する候補領域を追尾被写体領域として決定する。これにより、主被写体の像の追尾が実現される。

本実施形態の追尾部１３０は、異なるマッチング方式で追尾被写体領域を特定する２種類の追尾部（ＦＰＭ追尾部１３１及び１３２）を備えており、追尾制御部１２６の制御によりそのいずれかを用いて追尾処理を行う。ＦＰＭ追尾部１３１及びＴＭ追尾部１３２は、いずれも機械学習モデルを用いないマッチング方式を採用した追尾部である。本発明の実施は、この他、機械学習モデルを用いたマッチング方式等、異なるマッチング方式の追尾部を含むものであってよい。しかしながら、本実施形態では、省電力設定時等の消費電力を抑えて追尾処理を実行することが要求される状況を前提として、追尾部１３０は、機械学習モデルを用いないマッチング方式を採用しない２つの追尾部を切り替える制御を行う。

ＦＰＭ（Feature Point Matching）追尾部１３１は、追尾被写体領域について得られた特徴点の分布と類似する領域を特定する特徴点マッチング方式で追尾処理を行う。詳細は後述するが、ＦＰＭ追尾部１３１は、まず１つのフレームについて対象決定部１２５により決定された追尾被写体領域について特徴点を検出し、検出した特徴点に基づいて追尾被写体の像に係る特徴量を導出する。またＦＰＭ追尾部１３１は、後続のフレームについて被写体検出部１２４により検出された候補領域のそれぞれについて特徴点を検出し、追尾被写体の像に係る特徴量と類似する特徴点の分布を示す候補領域を、同追尾被写体に係る領域として追尾する。

ＴＭ（Template Matching）追尾部１３２は、撮像画像内から検出した追尾被写体領域の像をテンプレート画像として登録し、当該テンプレート画像と相関度が高い領域を特定するテンプレートマッチング方式で追尾処理を行う。より詳しくは、ＴＭ追尾部１３２は、テンプレート画像の画素パターン（例えば、画素データの輝度信号の一次元情報、明度、色相、彩度信号の３次元情報等）を追尾被写体領域の特徴量として保持する。そしてＴＭ追尾部１３２は、その後入力されたフレームの撮像画像について、テンプレート画像の特徴量と相関度が高い領域を特定し、当該領域を追尾被写体に係る領域として追尾する。

このように追尾部１３０において、ＦＰＭ追尾部１３１またはＴＭ追尾部１３２により追尾処理が行われると、追尾被写体が撮像画像中のいずれの位置に移動したかの情報が導出される。追尾部１３０により導出された情報（追尾被写体領域の中心位置及びサイズ（大きさ））の情報は、例えば光学制御部１０２に出力されてフォーカス制御に用いられたり、情報重畳部１２７に出力されて情報提示に用いられたりする。

情報重畳部１２７は、追尾部１３０により出力された追尾被写体領域のサイズの情報に基づいて、追尾枠の画像を生成する。例えば、追尾枠の画像は、追尾被写体領域に外接する矩形の輪郭を表す枠状の画像であってよい。そして、情報重畳部１２７は、追尾被写体領域の中心位置に追尾枠が表示されるように、後処理部１１４により出力された表示用画像データに対して追尾枠の画像を重畳させて合成画像データを生成する。情報重畳部１２７はまた、撮像装置１００の現在の設定値や状態などを表す画像を生成し、これらの画像が予め定められた位置に表示されるように、後処理部１１４が出力する表示用画像データに重畳させてもよい。情報重畳部１２７により生成された合成画像データは、表示部１０９に出力されて表示される。撮像素子１０４により出力された画像データに対して順次これらの処理を行い生成された合成画像データが表示部１０９に表示されることで、追尾結果を提示した（追尾被写体領域に追尾枠を付与した）ライブビュー表示が実現される。ここで、表示部１０９は、例えば液晶ディスプレイや有機ＥＬディスプレイであってよい。

操作部１４０は、撮像装置１００が備える、ユーザによる各種の操作入力を取得するユーザインタフェースである。本実施形態の撮像装置１００では、ユーザインタフェースとしてレリーズボタン、モード切替スイッチを含む各種の操作部材を有する。操作部１４０は、これらの操作部材に対する操作入力がなされたことを検出すると、当該操作入力に対応する制御信号をシステム制御部１０５に出力する。

ここで、レリーズボタンは、半押しでＯＮするスイッチＳＷ１と、全押しでＯＮするスイッチＳＷ２を有する。システム制御部１０５は、ＳＷ１のＯＮの制御信号を静止画の撮影準備指示として、ＳＷ２のＯＮの制御信号を静止画の撮影開始指示と認識し、それぞれに指示に応じた動作を実行する。具体的には、システム制御部１０５は、ＳＷ１の信号に応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。またシステム制御部１０５は、ＳＷ２の信号に応じて、撮像素子１０４からの信号読み出しから記録媒体１０８に画像データを書き込むまでの一連の撮影処理の動作を開始するようシステム全体を制御する。

モード切替スイッチは、システム制御部１０５の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッタ速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチで、メニューボタンに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチでメニューボタンに一旦切り換えた後に、メニューボタンに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

また、その他の操作部材には、例えば方向ボタン、決定（ＳＥＴ）ボタン、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、メニューボタン等が含まれる。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０９に表示される。ユーザは表示部１０９に表示されたメニュー画面を方向ボタンやＳＥＴボタンを用いて操作することにより、各種設定を行うことができる。

《特徴点マッチング方式の追尾処理》
以下、上述したＦＰＭ追尾部１３１により行われる特徴点マッチング方式の追尾処理について、図面を参照して説明する。本実施形態ではＦＰＭ追尾部１３１には、被写体検出部１２４により検出された１以上の候補領域の画像データが入力され、ＦＰＭ追尾部１３１は、当該追尾処理の過程で各候補領域の特徴点検出、特徴量導出、特徴点の対応付けを行う。なお、本追尾処理の開始に先んじて、追尾被写体領域の決定及び当該追尾被写体領域の特徴点の検出及び特徴量の導出はなされているものとする。まず、候補領域の画像データについて特徴点を検出する処理を、図２のフローチャートを用いて説明する。

Ｓ２０１で、ＦＰＭ追尾部１３１は、入力された候補領域の画像データのうちから、まだ特徴点検出を行っていない１つの候補領域を対象候補領域として選択する。

Ｓ２０２で、ＦＰＭ追尾部１３１は、対象候補領域の画像データに対して水平一次微分フィルタ処理を行うことで水平一次微分画像を生成する。そしてＳ２０３で、ＦＰＭ追尾部１３１は、Ｓ２０２において得られた水平一次微分画像に対してさらに水平一次微分フィルタ処理を行うことで水平二次微分画像を生成する。またＳ２０４で、ＦＰＭ追尾部１３１は、Ｓ２０２において得られた水平一次微分画像に対してさらに垂直一次微分フィルタ処理を行うことで水平一次微分・垂直一次微分画像を生成する。

またＳ２０５で、ＦＰＭ追尾部１３１は、対象候補領域の画像データに対して垂直一次微分フィルタ処理を行うことで垂直一次微分画像を生成する。そしてＳ２０６で、ＦＰＭ追尾部１３１は、Ｓ２０５において得られた垂直一次微分画像に対してさらに垂直一次微分フィルタ処理を行うことで垂直二次微分画像を生成する。

Ｓ２０７で、ＦＰＭ追尾部１３１は、Ｓ２０３、Ｓ２０４及びＳ２０６において得られた微分値（微分画像）のヘシアン行列Ｈの行列式Ｄｅｔを演算する。ここで、Ｓ２０３において得られた水平二次微分値をＬｘｘ、Ｓ２０６において得られた垂直二次微分値をＬｙｙ、Ｓ２０４において得られた水平一次微分・垂直一次微分値をＬｘｙとすると、ヘシアン行列Ｈ及び行列式Ｄｅｔは以下で表すことができる。

Ｓ２０８で、ＦＰＭ追尾部１３１は、Ｓ２０７において得られた行列式Ｄｅｔが０以上であるかを判断する。ＦＰＭ追尾部１３１は、行列式Ｄｅｔが０以上であると判断した場合は処理をＳ２０９に移し、０未満であると判断した場合は処理をＳ２１０に移す。

Ｓ２０９で、ＦＰＭ追尾部１３１は、行列式Ｄｅｔが０以上である点を対象候補領域の特徴点として検出する。

Ｓ２１０で、ＦＰＭ追尾部１３１は、入力された候補領域の全てに対して特徴点検出の処理を行ったか否かを判断する。ＦＰＭ追尾部１３１は、候補領域の全てに対して特徴点検出の処理を行ったと判断した場合は本処理を完了し、行っていないと判断した場合は処理をＳ２０１に戻す。

続いて、このように検出された特徴点に基づいて、各候補領域の特徴量を導出し、予め登録された追尾被写体領域との類似度を検出する処理について、図３のフローチャートを用いて説明する。

Ｓ３０１で、ＦＰＭ追尾部１３１は、入力された全ての候補領域の画像データについて検出した特徴点（検出特徴点）のうちから、まだ特徴量導出を行っていない１つの検出特徴点を対象特徴点として選択する。

Ｓ３０２で、ＦＰＭ追尾部１３１は、対象特徴点についての特徴量を導出する。図４は、特徴量導出処理の概要を示した模式図である。ＦＰＭ追尾部１３１は、対象特徴点４０１に着目して、ランダムな線分パターン４０２を導入し、各線分の両端の輝度値の大小関係を１、０のビット列として表現することで、対象特徴点の特徴量を導出する。

Ｓ３０３で、ＦＰＭ追尾部１３１は、全ての検出特徴点について特徴量を導出したか否かを判断する。ＦＰＭ追尾部１３１は、全ての検出特徴点について特徴量を導出したと判断した場合は処理をＳ３０４に移し、導出していないと判断した場合は処理をＳ３０１に戻す。

Ｓ３０４で、ＦＰＭ追尾部１３１は、追尾被写体領域に係る特徴点のうちから、まだ類似度を導出していない特徴点を、類似する検出特徴点を探索する（マッチングする）着目特徴点として選択する。

Ｓ３０５で、ＦＰＭ追尾部１３１は、全候補領域の画像データについての検出特徴点の各々と着目特徴点との類似度を導出する。本実施形態では、これらの特徴点間の類似度は、特徴点同士の特徴量のハミング距離Ｄとして導出される。具体的には、着目特徴点の特徴量のビット列をＡ、当該ビット列に含まれる要素をＡｉ、類似度を導出する検出特徴点の特徴量のビット列をＢ、当該ビット列に含まれる要素をＢｉとした場合、ハミング距離Ｄは以下で導出することができる。

Ｓ３０６で、ＦＰＭ追尾部１３１は、追尾被写体に係る特徴点の全てについて、類似する検出特徴点の探索が終了したか否かを判断する。ＦＰＭ追尾部１３１は、追尾被写体に係る特徴点の全てについて、類似する検出特徴点の探索が終了したと判断した場合は処理をＳ３０７に移し、終了していないと判断した場合は処理をＳ３０４に戻す。

Ｓ３０７で、ＦＰＭ追尾部１３１は、追尾被写体に係る特徴点について導出された類似度に基づいて、追尾被写体に係る像が表れている領域を特定し、当該領域の中心位置とサイズとを出力して本処理を完了する。

なお、本実施形態のＦＰＭ追尾部１３１が実行する特徴点マッチング方式の追尾処理では、変換行列を用いて特徴点検出を行うものとして説明するが、本発明の実施はこれに限られるものではない。特徴点検出は、エッジ検出やコーナー検出等の他の検出手法を採用して行われるものであってもよい。また特徴量も、上述したように輝度値に基づいて導出するのではなく、色相や彩度に基づいて導出するものであってもよい。

《追尾部の切り替え制御》
このように、本実施形態の撮像装置１００には、追尾部１３０にＦＰＭ追尾部１３１とＴＭ追尾部１３２が設けられ、追尾制御部１２６によりいずれの追尾部を用いて追尾処理を行うかを切り替えることができる。ところで、ＦＰＭ追尾部１３１とＴＭ追尾部１３２が行う追尾処理の精度（適切な被写体を追尾し続けることができる程度）には、そのマッチング方式の違いによる差がある。より詳しくは、各々の追尾部により行われる追尾処理は、採用しているマッチング方式によって、精度が好適となるシチュエーションが異なる。また、ＦＰＭ追尾部１３１により行われる追尾処理とＴＭ追尾部１３２により行われる追尾処理とでは、その演算処理の違いにより、消費電力も異なってくる。従って、追尾制御部１２６は、被写体の状態や撮像状況等のシチュエーションに応じて、追尾処理を行わせる追尾部を切り替える制御を行うことが好ましい。

本実施形態では、追尾部の切り替えの一態様として、追尾被写体の種別に応じて追尾処理を実行する追尾部を異ならせる態様を説明する。

上述したように、被写体の追尾は、経時的に順次取得される複数の撮像画像のそれぞれに対して行われるものである。従って、安定した追尾結果を得るためには、追尾被写体の像に表れる経時的な変化を想定して追尾部を選択する必要がある。

例えば、追尾被写体が犬、猫、鳥等の動物である場合には、時々刻々と被写体の姿勢や体勢が変化する可能性があるため、テンプレート画像に表れる特徴量に基づいて追尾処理を行うテンプレートマッチング方式では、好適な追尾結果が得られない可能性がある。即ち、このような種別の被写体は、異なるフレームにおいてテンプレート画像に表れた像と異なる形状の像を示す可能性があるため、テンプレートマッチング方式では追尾処理の精度低下が生じ得る。一方で、被写体の像に形状変化が生じたとしても、その外観に表れる柄や模様等の特徴は継続して撮像画像に表れ得るため、特徴点周りの輝度等の分布に基づいて被写体の像の追尾を行う特徴点マッチング方式では、追尾処理の精度に分がある。同様に、スポーツシーンのような人物の全身や半身を追尾被写体とする場合も、被写体の姿勢や体勢の変化が想定されるため、特徴点マッチング方式の方が追尾処理の精度が高くなり得る。

対して、追尾被写体が例えば電車や車のような、その動作によって外観上の変化が生じにくい剛体である場合、動物である場合のような像の形状変化も生じにくい。この他、人物の顔や瞳等が追尾被写体である場合も、全身や半身ほどの像の形状変化は生じにくい。またこのような種別の被写体はテクスチャが少ないケースもあり、被写体の像に特徴点が検出されない場合には、特徴点マッチング方式では良好な精度の追尾結果を得にくいこともある。従って、追尾被写体がこれらの種別の被写体である場合には、登録されたテンプレート画像に基づいたテンプレートマッチング方式の追尾処理で好適な精度の追尾結果を得ることができる。

このように、撮像画像に表れる像の形状変化の有無の傾向は、追尾被写体の種別に応じて分類することができる。従って、本実施形態の追尾制御部１２６は、追尾被写体の種別が、順次得られる撮像画像においてその像の形状が変化すると予測される種別である場合にはＦＰＭ追尾部１３１を用いて追尾処理を行うよう追尾部１３０の動作を切り替える。また追尾制御部１２６は、追尾被写体の種別がそれ以外の種別である場合にはＴＭ追尾部１３２を用いて追尾処理を行うよう追尾部１３０の動作を切り替える。例えば、本実施形態の追尾制御部１２６による追尾部１３０の切り替えは、図５に示されるような態様で行われるものであってよい。図の例では、追尾被写体が犬、猫、鳥や人物の全身である場合には特徴点マッチング方式のＦＰＭ追尾部１３１を、電車、車や人物の顔、瞳である場合にはテンプレートマッチング方式のＴＭ追尾部１３２を動作させるよう追尾部１３０の動作が制御される。なお、本発明の実施は、図５に示される態様に限られるものではなく、他の種別についていずれのマッチング方式の追尾部を用いた追尾処理を行うかが設定されるものであってよいことは言うまでもない。

〈追尾制御処理〉
以下、本実施形態の画像処理部１１０において行われる追尾制御処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１０５が、例えば不揮発性メモリ１０６に記憶されている対応する処理プログラムを読み出し、システムメモリ１０７に展開して実行することにより画像処理部１１０を動作させることで実現することができる。本追尾制御処理は、例えば被写体を追尾した撮像を行うモードに撮像装置１００の設定が切り替えられた際に開始されるものとして説明する。

Ｓ６０１で、被写体検出部１２４は、追尾用画像データについて候補領域を検出し、その各々についてオブジェクト情報を構成して出力する。

Ｓ６０２で、対象決定部１２５は、Ｓ６０１において出力されたオブジェクト情報に基づいて、検出された候補領域のうちの１つの候補領域を追尾被写体領域として決定する。

Ｓ６０３で、追尾制御部１２６は、決定された追尾被写体領域に対応付けられたオブジェクト情報に基づいて、追尾被写体の種別が像の形状が変化すると予測される種別であるか否かを判断する。追尾制御部１２６は、追尾被写体の種別が像の形状が変化すると予測される種別であると判断した場合は処理をＳ６０４に移し、当該種別ではないと判断した場合は処理をＳ６０５に移す。

Ｓ６０４で、追尾制御部１２６は、後続のフレームについてＦＰＭ追尾部１３１を用いて追尾処理を実行させるよう追尾部１３０を制御する。

一方、Ｓ６０３において追尾被写体の種別が像の形状が変化すると予測される種別ではないと判断した場合、追尾制御部１２６はＳ６０５で、後続のフレームについてＴＭ追尾部１３２を用いて追尾処理を実行させるよう追尾部１３０を制御する。

このようにすることで、追尾被写体の動き特性に適したマッチング方式で追尾処理を実行するよう追尾部１３０の動作を切り替えることができるため、好適な精度の追尾結果を得ることができる。

なお、本実施形態では対象決定部１２５により決定された追尾被写体の種別に基づいて追尾部１３０の動作を制御するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、撮像装置１００に設定される撮像モードごとに追尾対象とすべき被写体の種別が設けられている態様では、候補領域中から決定された追尾被写体領域に係る追尾被写体の種別に依らず、モードで優先される種別に応じて追尾部１３０を制御してもよい。このとき、モードで優先される種別と、実際に撮像画像に像が含まれる追尾被写体の種別のそれぞれに優先度を設け、追尾被写体の状態に応じて適応的に追尾部１３０の動作を制御する態様としてもよい。

［実施形態２］
上述した実施形態では追尾被写体の種別に応じてＦＰＭ追尾部１３１とＴＭ追尾部１３２のいずれを用いて追尾処理を行うかを切り替える態様について説明したが、本発明の実施はこれに限られるものではない。本実施形態では、追尾被写体領域のサイズに応じて追尾部１３０の動作を切り替える態様について説明する。

撮像画像中に占める追尾被写体領域の大きさは、追尾被写体と撮像装置１００との距離に依存する場合もある。即ち、同一の被写体であれば、その像は、撮像装置１００に近いほど撮像画像中に大きく表れ、撮像装置１００から遠いほど撮像画像中に小さく表れる。従って、追尾被写体が移動や姿勢変更を行った場合にその像に生じる形状変化の度合いは、当該被写体が撮像装置１００から遠離している場合よりも撮像装置１００に近接している場合の方が大きく表れることになる。換言すれば、撮像画像中においてサイズがある程度小さい追尾被写体領域については、追尾被写体の状態変化の像の形状変化への影響が小さくなるため、テンプレートマッチング方式の追尾処理を用いて特徴点の有無に依らない好適な追尾を行うことができる。一方、撮像画像中においてサイズがある程度大きい追尾被写体領域については、対応する追尾被写体の状態変化に起因する像の形状変化への影響は無視できず、特徴点マッチング方式の追尾処理を用いた方が好適な追尾を行うことができる。このため、本実施形態の撮像装置１００では、追尾制御部１２６は、追尾被写体領域のサイズに応じて追尾部１３０の動作を切り替える。

《追尾制御処理》
以下、本実施形態の画像処理部１１０において行われる追尾制御処理について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１０５が、例えば不揮発性メモリ１０６に記憶されている対応する処理プログラムを読み出し、システムメモリ１０７に展開して実行することにより画像処理部１１０を動作させることで実現することができる。本追尾制御処理は、例えば被写体を追尾した撮像を行うモードに撮像装置１００の設定が切り替えられた際に開始されるものとして説明する。なお、本実施形態の追尾制御処理において、実施形態１の追尾制御処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下には、本実施形態特有の処理を行うステップの説明に留める。

Ｓ６０２において追尾被写体領域が決定されると、追尾制御部１２６はＳ７０１で、追尾被写体領域のサイズが所定サイズより大きいか否かを判断する。ここで、所定サイズは、固定値であったり、撮像画像のサイズに対して一定に定められたりするものであってもよいし、追尾被写体の種別ごとに定められるものであってもよい。追尾制御部１２６は、追尾被写体領域のサイズが所定サイズより大きいと判断した場合は処理をＳ７０２に移し、大きくない（小さい）と判断した場合は処理をＳ７０３に移す。

Ｓ７０２で、追尾制御部１２６は、後続のフレームについてＦＰＭ追尾部１３１を用いて追尾処理を実行させるよう追尾部１３０を制御する。

一方、Ｓ７０１において追尾被写体領域のサイズが所定サイズより大きくないと判断した場合、追尾制御部１２６はＳ７０３で、後続のフレームについてＴＭ追尾部１３２を用いて追尾処理を実行させるよう追尾部１３０を制御する。

このようにすることで、追尾被写体の動きに起因する像の変形度合いに適したマッチング方式で追尾処理を実行するよう追尾部１３０の動作を切り替えることができるため、好適な精度の追尾結果を得ることができる。

なお、本実施形態では対象決定部１２５により決定された追尾被写体のサイズに基づいて追尾部１３０の動作を制御するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、撮像装置１００に設定される撮像モードごとに追尾対象とすべき被写体の想定サイズが設定されている態様では、候補領域中から決定された追尾被写体領域のサイズに依らず、モードで優先されるサイズに応じて追尾部１３０を制御してもよい。このとき、モードで想定されるサイズと、実際に撮像画像に含まれる追尾被写体領域のサイズのそれぞれに優先度を設け、追尾被写体の状態に応じて適応的に追尾部１３０の動作を制御する態様としてもよい。

［実施形態３］
上述した実施形態では追尾被写体の種別または追尾被写体領域のサイズに応じてＦＰＭ追尾部１３１とＴＭ追尾部１３２のいずれを用いて追尾処理を行うかを切り替える態様について説明したが、本発明の実施はこれに限られるものではない。本実施形態では、追尾被写体の動き量に応じて追尾部１３０の動作を切り替える態様について説明する。

ここで、被写体の動き量とは、被写体の動きの大きさ、激しさを定量化した評価値であり、本実施形態の撮像装置１００では、評価値生成部１０８により導出される。具体的には、評価値生成部１０８は、基準とする画像データを含む２枚以上の画像データを用いて、基準となる画像データからの動きベクトル情報（オプティカルフロー）を導出して最終的に評価値としての動き量を導出すればよい。被写体の動き量は、静的な被写体であれば小さく、動的な被写体であればその動きの速さや大きさに応じて大きく導出される値であるものとする。

追尾被写体の動き量が大きい場合には、被写体領域の形状が変化するだけでなく、例えば他のオブジェクトの後ろに移動して被写体の一部が遮蔽されたり、被写体が背景を遮蔽する態様が異なったりすることが想定される。即ち、追尾被写体の動き量が大きい場合には、他のフレームの撮像画像において追尾被写体の像が安定した態様で表れない可能性がある。このような場合、テンプレートマッチング方式では追尾被写体の像の追尾処理の精度が低下し得るため、特徴点マッチング方式の追尾処理を行うことが好ましい。対して、追尾被写体の動き量が小さい場合には、他のフレームの撮像画像において追尾被写体の像が安定した態様で表れることが想定されるため、テンプレートマッチング方式の追尾処理を用いることで特徴点の有無に依らない追尾が行える。このため、本実施形態の撮像装置１００では、追尾制御部１２６は、追尾被写体の動き量に応じて追尾部１３０の動作を切り替える。

《追尾制御処理》
以下、本実施形態の画像処理部１１０において行われる追尾制御処理について、図８のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１０５が、例えば不揮発性メモリ１０６に記憶されている対応する処理プログラムを読み出し、システムメモリ１０７に展開して実行することにより画像処理部１１０を動作させることで実現することができる。本追尾制御処理は、例えば被写体を追尾した撮像を行うモードに撮像装置１００の設定が切り替えられた際に開始されるものとして説明する。なお、本実施形態の追尾制御処理において、実施形態１の追尾制御処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下には、本実施形態特有の処理を行うステップの説明に留める。

Ｓ６０２において追尾被写体領域が決定されると、追尾制御部１２６はＳ８０１で、追尾被写体の動き量が所定値より多いか否かを判断する。ここで、所定値は、固定値であってもよいし、追尾被写体の種別ごとに定められるものであってもよい。追尾制御部１２６は、追尾被写体領域の動き量が所定値より多いと判断した場合は処理をＳ８０２に移し、多くない（少ない）と判断した場合は処理をＳ８０３に移す。

Ｓ８０２で、追尾制御部１２６は、後続のフレームについてＦＰＭ追尾部１３１を用いて追尾処理を実行させるよう追尾部１３０を制御する。

一方、Ｓ８０１において追尾被写体の動き量が所定値より多くないと判断した場合、追尾制御部１２６はＳ８０３で、後続のフレームについてＴＭ追尾部１３２を用いて追尾処理を実行させるよう追尾部１３０を制御する。

このようにすることで、追尾被写体の動き量に基づいて追尾被写体の像が安定して撮像画像に表れるかを想定して追尾処理のマッチング方式を適切に切り替えることができるため、好適な精度の追尾結果を得ることができる。

［実施形態４］
上述した実施形態では撮像画像中に表れる追尾被写体の状態を示す情報に基づいてＦＰＭ追尾部１３１とＴＭ追尾部１３２のいずれを用いて追尾処理を行うかを切り替える態様について説明したが、本発明の実施はこれに限られるものではない。本実施形態では、撮像画像中に表れる特徴ではなく、撮像画像を撮像した際に撮像装置１００に設定されているオートフォーカス（以下、ＡＦ）モードに応じて追尾部１３０の動作を切り替える態様について説明する。

ＡＦモードには、例えばシングルＡＦモードとコンティニュアスＡＦモード等、合焦動作を行う頻度や動作が異なる複数種類のモードが含まれる。ここで、シングルＡＦモードは、レリーズボタンの半押しに係るＳＷ１信号を受けたタイミングに合焦動作を１回行い、その後は焦点距離を固定するＡＦモードである。またコンティニュアスＡＦモードは、撮像が行われている期間繰り返し合焦動作を行い、特定の被写体に合わせて焦点距離を動的に更新するＡＦモードである。

このようなＡＦモードは、ユーザが撮像したい被写体に応じて選択される。より詳しくはその合焦特性から、シングルＡＦモードは静止している被写体の撮像に適しており、コンティニュアスＡＦモードは撮像距離が絶えず変化する（動いている）被写体の撮像に適している。従って、これらのＡＦモードの設定からは、追尾被写体の振る舞い（状態）を推定することができると言える。即ち、コンティニュアスＡＦモードが設定されている場合には、追尾被写体の動きによって撮像画像に表れる追尾被写体の像の形状が変化することが想定されるため、形状変化に強い特徴点マッチング方式の追尾処理を行うことが好ましい。対して、シングルＡＦモードが設定されている場合には、追尾被写体の動きが小さく、撮像画像には追尾被写体の像が安定した態様で表れることが想定されるため、テンプレートマッチング方式の追尾処理を用いることで特徴点の有無に依らない追尾が行える。このため、本実施形態の撮像装置１００では、追尾制御部１２６は、撮像装置１００に設定されているＡＦモードに応じて追尾部１３０の動作を切り替える。

《追尾制御処理》
以下、本実施形態の画像処理部１１０において行われる追尾制御処理について、図９のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１０５が、例えば不揮発性メモリ１０６に記憶されている対応する処理プログラムを読み出し、システムメモリ１０７に展開して実行することにより画像処理部１１０を動作させることで実現することができる。本追尾制御処理は、例えば被写体を追尾した撮像を行うモードに撮像装置１００の設定が切り替えられた際に開始されるものとして説明する。なお、本実施形態の追尾制御処理において、実施形態１の追尾制御処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下には、本実施形態特有の処理を行うステップの説明に留める。

Ｓ６０２において追尾被写体領域が決定されると、追尾制御部１２６はＳ９０１で、撮像装置１００に設定されているＡＦモードがコンティニュアスＡＦモードとシングルＡＦモードのいずれであるか否かを判断する。追尾制御部１２６は、設定されているＡＦモードがコンティニュアスＡＦモードであると判断した場合は処理をＳ９０２に移し、シングルＡＦモードであると判断した場合は処理をＳ９０３に移す。

Ｓ９０２で、追尾制御部１２６は、後続のフレームについてＦＰＭ追尾部１３１を用いて追尾処理を実行させるよう追尾部１３０を制御する。

一方、Ｓ９０１において設定されているＡＦモードがシングルＡＦモードであると判断した場合、追尾制御部１２６はＳ８０３で、後続のフレームについてＴＭ追尾部１３２を用いて追尾処理を実行させるよう追尾部１３０を制御する。

このようにすることで、撮像装置１００に設定されているＡＦモードに基づいて追尾被写体の状態を推定して追尾処理のマッチング方式を適切に切り替えることができるため、好適な精度の追尾結果を得ることができる。

［実施形態５］
上述した実施形態４では撮像装置１００に設定されたＡＦモードに基づいて追尾被写体の状態を推定し、ＦＰＭ追尾部１３１とＴＭ追尾部１３２のいずれを用いて追尾処理を行うかを切り替える態様について説明したが、本発明の実施はこれに限られない。本実施形態では、撮像画像を撮像したシャッタスピードに応じて追尾部１３０の動作を切り替える態様について説明する。

撮像素子１０４の露光時間が長い場合、動きのある被写体の光学像の結像位置が露光中に変化し得るため、得られた撮像画像において当該被写体の像がボケる（被写体振れ）ことがある。一方で、露光時間が短い場合には、動きのある被写体であったとしても、得られた撮像画像において当該被写体の像がボケる可能性は低くなる。つまり、被写体の像がボケている場合、当該被写体の特徴点を好適に検出することができないため、特徴点マッチング方式での追尾処理が好適でない可能性がある。従って、シャッタスピードが低速である場合には、テンプレートマッチング方式の追尾処理を用いる方が追尾結果の精度の低下を回避できる。対して、シャッタスピードが高速である場合には、ボケのない状態の被写体の像が撮像画像に含まれるため、特徴点マッチング方式の追尾処理により好適な精度の追尾結果を得ることができる。このため、本実施形態の撮像装置１００では、追尾制御部１２６は、撮像画像を撮像したシャッタスピードに応じて追尾部１３０の動作を切り替える。

《追尾制御処理》
以下、本実施形態の画像処理部１１０において行われる追尾制御処理について、図１０のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１０５が、例えば不揮発性メモリ１０６に記憶されている対応する処理プログラムを読み出し、システムメモリ１０７に展開して実行することにより画像処理部１１０を動作させることで実現することができる。本追尾制御処理は、例えば被写体を追尾した撮像を行うモードに撮像装置１００の設定が切り替えられた際に開始されるものとして説明する。なお、本実施形態の追尾制御処理において、実施形態１の追尾制御処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下には、本実施形態特有の処理を行うステップの説明に留める。

Ｓ６０２において追尾被写体領域が決定されると、追尾制御部１２６はＳ１００１で、撮像画像の撮像時に撮像装置１００に設定されていたシャッタスピードが所定値よりも速いか否かを判断する。追尾制御部１２６は、シャッタスピードが所定値よりも速いと判断した場合は処理をＳ１００２に移し、所定値よりも速くない（遅い）と判断した場合は処理をＳ１００３に移す。

Ｓ１００２で、追尾制御部１２６は、後続のフレームについてＦＰＭ追尾部１３１を用いて追尾処理を実行させるよう追尾部１３０を制御する。

一方、Ｓ１００１においてシャッタスピードが所定値よりも速くないと判断した場合、追尾制御部１２６はＳ１００３で、後続のフレームについてＴＭ追尾部１３２を用いて追尾処理を実行させるよう追尾部１３０を制御する。

このようにすることで、撮像時に撮像装置１００に設定されていたシャッタスピードに基づいて撮像画像が特徴点マッチング方式に好適な態様であるかに基づいてマッチング方式を切り替えることができるため、好適な精度の追尾結果を得ることができる。

［変形例１］
上述した実施形態１乃至５では、特徴点マッチング方式を採用することが好ましいケースについてはＦＰＭ追尾部１３１に追尾処理を行わせ、それ以外のケースについてはＴＭ追尾部１３２に追尾処理を行わせるよう切り替える態様を説明した。しかしながら、本発明の実施はこれに限られるものではなく、特徴点マッチング方式を採用することが好ましくないケースについては、テンプレートマッチング方式に限らず任意の他のマッチング方式で追尾処理を行ってもよい。１つの態様では、当該ケースについて、機械学習モデルを用いたマッチング方式で追尾処理を行うものとしてもよい。

［実施形態６］
上述した実施形態では特徴点マッチング方式で追尾処理を行うことが好ましい状況を状況情報に基づいて特定し、該当しない状況についてはＴＭ追尾部１３２がテンプレートマッチング方式で追尾処理を行うものとして説明した。一方で、テンプレートマッチング方式を採用することが好ましいような状況も存在する。本実施形態では、テンプレートマッチング方式で追尾処理を行うことが好ましい状況を状況情報に基づいて特定し、その結果に基づいて追尾部１３０の動作を切り替える態様について説明する。

例えば、集合写真を撮像するケースや団体スポーツの試合を撮像するようなケースでは、撮像画像には類似する被写体の像が多く含まれ得る。この場合、特徴点マッチング方式の追尾処理では、類似する他の被写体の像を誤って追尾してしまう可能性があるため、ロバスト性の高いテンプレートマッチング方式を採用することが好ましい。対して、オブジェクト数（被写体候補数）が少ない場合には誤追尾の可能性が低いため、特徴点マッチング方式を採用して追尾処理を行う方が、少ない特徴点の中で追尾処理を好適に行うことができる。このため、本実施形態の撮像装置１００では、追尾制御部１２６は、撮像画像に含まれるオブジェクト数に応じて追尾部１３０の動作を切り替える。

《追尾制御処理》
以下、本実施形態の画像処理部１１０において行われる追尾制御処理について、図１１のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１０５が、例えば不揮発性メモリ１０６に記憶されている対応する処理プログラムを読み出し、システムメモリ１０７に展開して実行することにより画像処理部１１０を動作させることで実現することができる。本追尾制御処理は、例えば被写体を追尾した撮像を行うモードに撮像装置１００の設定が切り替えられた際に開始されるものとして説明する。なお、本実施形態の追尾制御処理において、実施形態１の追尾制御処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下には、本実施形態特有の処理を行うステップの説明に留める。

Ｓ６０２において追尾被写体領域が決定されると、追尾制御部１２６はＳ１１０１で、撮像画像に含まれるオブジェクト数が所定値より多いか否かを判断する。ここで、オブジェクト数に係る所定値は、固定値であったり、設定されている撮像モードについて予め定められたりするものであってもよいし、追尾被写体の種別ごとに定められるものであってもよい。追尾制御部１２６は、オブジェクト数が所定値より多いと判断した場合は処理をＳ１１０２に移し、所定値より多くない（少ない）と判断した場合は処理をＳ１１０３に移す。

Ｓ１１０２で、追尾制御部１２６は、後続のフレームについてＴＭ追尾部１３２を用いて追尾処理を実行させるよう追尾部１３０を制御する。

一方、Ｓ１１０１において撮像画像に含まれるオブジェクト数が所定値より多くないと判断した場合、追尾制御部１２６はＳ１１０３で、後続のフレームについてＦＰＭ追尾部１３１を用いて追尾処理を実行させるよう追尾部１３０を制御する。

このようにすることで、撮像画像に分布する被写体の像の数に応じてよりロバスト性の高いマッチング方式を採用して追尾処理を行うよう切り替えることができるため、好適な精度の追尾結果を得ることができる。

なお、本実施形態では単純にオブジェクト数に基づいて追尾部１３０の動作を切り替える態様を説明したが、本発明の実施はこれに限られるものではない。追尾制御部１２６は、例えば撮像画像に含まれる追尾被写体と同一の種別、または類似する種別の被写体の数に基づいて追尾部１３０の動作を切り替えるものとしてもよい。

［実施形態７］
上述した実施形態及び変形例では、追尾結果の精度を向上させる観点で追尾部１３０の動作を切り替える態様を説明したが、本発明の実施はこれに限られるものではない。例えば、撮像画像が明るくない等、追尾処理に好適な態様で追尾用画像データを取得することができない状況では、追尾処理を実行したとしても追尾結果の精度向上が見込めない。このような撮像状況では、そもそも好適な追尾結果を得ることが困難であることから、追尾結果の精度を向上させることに対する重要性は低い。従って、追尾処理を実行するとしても、消費電力を抑えたマッチング方式を用いて行うことが好ましい。特徴点マッチング方式とテンプレートマッチング方式とでは、探索時の処理対象とする情報量が異なるため、前者の方式を採用した追跡処理の方が消費電力が少なくすむ。このため、本実施形態の撮像装置１００では、追尾制御部１２６は、撮像環境の輝度に応じて追尾部１３０の動作を切り替える。

《追尾制御処理》
以下、本実施形態の画像処理部１１０において行われる追尾制御処理について、図１２のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１０５が、例えば不揮発性メモリ１０６に記憶されている対応する処理プログラムを読み出し、システムメモリ１０７に展開して実行することにより画像処理部１１０を動作させることで実現することができる。本追尾制御処理は、例えば被写体を追尾した撮像を行うモードに撮像装置１００の設定が切り替えられた際に開始されるものとして説明する。なお、本実施形態の追尾制御処理において、実施形態１の追尾制御処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下には、本実施形態特有の処理を行うステップの説明に留める。

Ｓ６０２において追尾被写体領域が決定されると、追尾制御部１２６はＳ１２０１で、撮像画像に表れる撮像環境の輝度が所定値より低いか否かを判断する。ここで、撮像環境の輝度は、評価値生成部１０８から出力された輝度情報に基づいて取得されるものであってよい。また撮像環境の輝度は、１フレームの撮像画像に対応する輝度情報から取得されるものであってもよいし、複数フレームの撮像画像に対応する輝度情報から導出されるものであってもよい。追尾制御部１２６は、撮像環境の輝度が所定値より低いと判断した場合は処理をＳ１２０２に移し、撮像環境の輝度が所定値より低くない（高い）と判断した場合は処理をＳ１２０３に移す。

Ｓ１２０２で、追尾制御部１２６は、後続のフレームについてＦＰＭ追尾部１３１を用いて追尾処理を実行させるよう追尾部１３０を制御する。

一方、Ｓ１２０１において撮像環境の輝度が所定値より低くないと判断した場合、追尾制御部１２６はＳ１２０３で、状況情報の他の情報を基づき、後続のフレームについてＦＰＭ追尾部１３１とＴＭ追尾部１３２のいずれに追尾処理を実行させるかを決定する。そして追尾制御部１２６は、当該決定に基づいて追尾部１３０の動作を切り替える。ここで、本ステップにおける決定は、例えば上述した実施形態の追尾制御処理の少なくともいずれかにおける切り替え制御と同様の判断により行われるものであってよい。

このようにすることで、撮像環境の輝度に基づいて、追尾処理の精度向上が重要であるか否かの判断に基づいてマッチング方式を切り替えることができるため、撮像装置１００の駆動時間を長期化させつつ、被写体追尾機能を使用した撮像を行うことができる。

［変形例２］
上述した実施形態及び変形例では、ＦＰＭ追尾部１３１とＴＭ追尾部１３２のいずれに追尾処理を行わせるかを切り替える追尾制御処理を説明した。一方で、動いている被写体を画角中の同一位置に捉えるようにユーザ自身が撮像装置１００を動かす、所謂流し撮りが行われている場合、追尾処理を実行する必要性は低いと考えられる。即ち、流し撮りが行われている場合には、被写体追尾機能が要求されない状況であると判断できる。このような状況では、そもそも追尾処理を追尾部１３０に行わせることが不要であるため、追尾制御部１２６は流し撮りが行われていることを検知した場合に、追尾処理を行わないよう追尾部１３０を制御すればよい。

ここで、流し撮りが行われていることの検知は、例えば図１に破線で示される動きセンサ１５１からの出力（動き情報）に基づいて判断されればよい。動きセンサ１５１は、例えば加速度センサや角速度センサであってよい。図の例では、動きセンサ１５１は撮像装置１００に内蔵される構成として示されているが、例えばレンズ交換式の撮像装置では、動きセンサ１５１は交換式レンズに内蔵されるものであってもよい。動きセンサ１５１から出力された動き情報は、状況情報の一態様として画像処理部１１０に入力されるものであってよい。そして追尾制御部１２６は、動き情報が一定方向に撮像装置１００が移動されていることを示す場合に、流し撮りが行われていると判断すればよい。あるいは、別の態様では、流し撮りが行われていることの検知は、単に流し撮り用の撮像モードが設定されているか否かに基づいて行われるものであってもよい。

このようにすることで、不要な追尾処理の実行を回避することができるため、より消費電力を抑えた被写体追尾機能を提供することができる。

本明細書の開示は、以下の画像処理装置、撮像装置、制御方法及びプログラムを含む。
（項目１）
入力された撮像画像に含まれる所定の被写体の像を追尾する画像処理装置であって、
前記撮像画像を取得する第１の取得手段と、
前記撮像画像に含まれる前記所定の被写体の像の位置を特定する追尾処理を実行する追尾手段であって、各々異なるマッチング方式で前記追尾処理を実行する第１の追尾手段と第２の追尾手段とを含む追尾手段と、
前記所定の被写体の状態及び前記撮像画像の撮像状況の少なくともいずれかを示す状況情報を取得する第２の取得手段と、
前記状況情報に基づいて、前記第１の取得手段により取得された前記撮像画像について前記第１の追尾手段と前記第２の追尾手段のいずれを用いて前記追尾処理を行うかを切り替える制御手段と、
を有し、
前記第１の追尾手段に採用されるマッチング方式は、前記第２の追尾手段に採用されるマッチング方式よりも、前記追尾処理の実行に係る消費電力が少ないことを特徴とする画像処理装置。
（項目２）
前記第１の追尾手段に採用されるマッチング方式と前記第２の追尾手段に採用されるマッチング方式は、いずれも機械学習モデルを用いないマッチング方式であることを特徴とする項目１に記載の画像処理装置。
（項目３）
前記第１の追尾手段は、特徴点マッチング方式で前記追尾処理を実行することを特徴とする項目２に記載の画像処理装置。
（項目４）
前記状況情報は、前記所定の被写体の種別を示す情報を含み、
前記制御手段は、前記所定の被写体の種別が第１の種別である場合に前記第１の追尾手段を用いて前記追尾処理を行い、前記所定の被写体の種別が前記第１の種別とは異なる第２の種別である場合に前記第２の追尾手段を用いて前記追尾処理を行うよう切り替える
ことを特徴とする項目３に記載の画像処理装置。
（項目５）
前記第１の種別は、追尾中に前記所定の被写体の像の形状が変化すると予測される被写体が分類された種別であることを特徴とする項目４に記載の画像処理装置。
（項目６）
前記状況情報は、前記撮像画像における前記所定の被写体の像のサイズを示す情報を含み、
前記制御手段は、前記所定の被写体の像のサイズが所定サイズより大きい場合に前記第１の追尾手段を用いて前記追尾処理を行い、前記所定の被写体の像のサイズが前記所定のサイズより小さい場合に前記第２の追尾手段を用いて前記追尾処理を行うよう切り替える
ことを特徴とする項目３乃至５のいずれか１項に記載の画像処理装置。
（項目７）
前記状況情報は、前記所定の被写体の動き量が所定値より多い場合に前記第１の追尾手段を用いて前記追尾処理を行い、前記所定の被写体の動き量が所定値より少ない場合に前記第２の追尾手段を用いて前記追尾処理を行うよう切り替える
ことを特徴とする項目３乃至６のいずれか１項に記載の画像処理装置。
（項目８）
前記状況情報は、前記撮像画像を撮像した撮像装置に設定されているオートフォーカスモードの情報を含み、
前記制御手段は、前記撮像装置に設定されているオートフォーカスモードが特定の被写体に合わせて焦点距離を動的に更新するモードである場合に前記第１の追尾手段を用いて前記追尾処理を行い、前記撮像装置に設定されているオートフォーカスモードが焦点距離を固定するモードである場合に前記第２の追尾手段を用いて前記追尾処理を行うよう切り替える
ことを特徴とする項目３乃至７のいずれか１項に記載の画像処理装置。
（項目９）
前記状況情報は、前記撮像画像を撮像したシャッタスピードの情報を含み、
前記制御手段は、前記撮像画像を撮像したシャッタスピードが所定値よりも速い場合に前記第１の追尾手段を用いて前記追尾処理を行い、前記撮像画像を撮像したシャッタスピードが所定値よりも遅い場合に前記第２の追尾手段を用いて前記追尾処理を行うよう切り替える
ことを特徴とする項目３乃至８のいずれか１項に記載の画像処理装置。
（項目１０）
前記状況情報は、前記撮像画像に係る撮像環境の輝度の情報を含み、
前記制御手段は、前記撮像環境の輝度が所定値より低い場合に前記第１の追尾手段を用いて前記追尾処理を行うよう切り替える
ことを特徴とする項目３乃至９のいずれか１項に記載の画像処理装置。
（項目１１）
前記第２の追尾手段は、テンプレートマッチング方式で前記追尾処理を実行することを特徴とする項目３乃至１０のいずれか１項に記載の画像処理装置。
（項目１２）
前記状況情報は、前記撮像画像に含まれるオブジェクト数の情報を含み、
前記制御手段は、前記撮像画像に含まれるオブジェクト数が所定値より多い場合に前記第２の追尾手段を用いて前記追尾処理を行い、前記撮像画像に含まれるオブジェクト数が所定値より少ない場合に前記第１の追尾手段を用いて前記追尾処理を行うよう切り替える
ことを特徴とする項目１１に記載の画像処理装置。
（項目１３）
前記状況情報は、前記撮像画像が流し撮りで撮像されているか否かの情報を含み、
前記制御手段は、前記撮像画像が流し撮りで撮像されている場合に前記追尾手段に前記追尾処理を実行させないよう制御することを特徴とする項目１乃至１２のいずれか１項に記載の画像処理装置。
（項目１４）
撮像画像を出力する撮像手段と、
項目１乃至１３のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
（項目１５）
入力された撮像画像に含まれる所定の被写体の像を追尾する画像処理装置の制御方法であって、
前記画像処理装置は、前記撮像画像に含まれる前記所定の被写体の像の位置を特定する追尾処理を実行する追尾手段であって、各々異なるマッチング方式で前記追尾処理を実行する第１の追尾手段と第２の追尾手段とを含む追尾手段を含み、
前記制御方法は、
前記撮像画像を取得する第１の取得工程と、
前記所定の被写体の状態及び前記撮像画像の撮像状況の少なくともいずれかを示す状況情報を取得する第２の取得工程と、
前記状況情報に基づいて、前記第１の取得工程において取得された前記撮像画像について前記第１の追尾手段と前記第２の追尾手段のいずれを用いて前記追尾処理を行うかを切り替える制御工程と、
を有し、
前記第１の追尾手段に採用されるマッチング方式は、前記第２の追尾手段に採用されるマッチング方式よりも、前記追尾処理の実行に係る消費電力が少ないことを特徴とする制御方法。
（項目１６）
コンピュータを、項目１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０３：シャッタ、１０４：撮像素子、１０５：システム制御部、１０８：評価値生成部、１１０：画像処理部、１２１：第２前処理部、１２２：追尾用メモリ、１２３：第２補正部、１２４：被写体検出部、１２５：対象決定部、１２６：追尾制御部、１３０：追尾部、１３１：ＦＰＭ追尾部、１３２：ＴＭ追尾部、１５１：動きセンサ

Claims (16)

1. 入力された撮像画像に含まれる所定の被写体の像を追尾する画像処理装置であって、
   前記撮像画像を取得する第１の取得手段と、
   前記撮像画像に含まれる前記所定の被写体の像の位置を特定する追尾処理を実行する追尾手段であって、各々異なるマッチング方式で前記追尾処理を実行する第１の追尾手段と第２の追尾手段とを含む追尾手段と、
   前記所定の被写体の状態及び前記撮像画像の撮像状況の少なくともいずれかを示す状況情報を取得する第２の取得手段と、
   前記状況情報に基づいて、前記第１の取得手段により取得された前記撮像画像について前記第１の追尾手段と前記第２の追尾手段のいずれを用いて前記追尾処理を行うかを切り替える制御手段と、
   を有し、
   前記第１の追尾手段に採用されるマッチング方式は、前記第２の追尾手段に採用されるマッチング方式よりも、前記追尾処理の実行に係る消費電力が少ないことを特徴とする画像処理装置。
2. 前記第１の追尾手段に採用されるマッチング方式と前記第２の追尾手段に採用されるマッチング方式は、いずれも機械学習モデルを用いないマッチング方式であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の追尾手段は、特徴点マッチング方式で前記追尾処理を実行することを特徴とする請求項２に記載の画像処理装置。
4. 前記状況情報は、前記所定の被写体の種別を示す情報を含み、
   前記制御手段は、前記所定の被写体の種別が第１の種別である場合に前記第１の追尾手段を用いて前記追尾処理を行い、前記所定の被写体の種別が前記第１の種別とは異なる第２の種別である場合に前記第２の追尾手段を用いて前記追尾処理を行うよう切り替える
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の種別は、追尾中に前記所定の被写体の像の形状が変化すると予測される被写体が分類された種別であることを特徴とする請求項４に記載の画像処理装置。
6. 前記状況情報は、前記撮像画像における前記所定の被写体の像のサイズを示す情報を含み、
   前記制御手段は、前記所定の被写体の像のサイズが所定サイズより大きい場合に前記第１の追尾手段を用いて前記追尾処理を行い、前記所定の被写体の像のサイズが前記所定のサイズより小さい場合に前記第２の追尾手段を用いて前記追尾処理を行うよう切り替える
   ことを特徴とする請求項３に記載の画像処理装置。
7. 前記状況情報は、前記所定の被写体の動き量が所定値より多い場合に前記第１の追尾手段を用いて前記追尾処理を行い、前記所定の被写体の動き量が所定値より少ない場合に前記第２の追尾手段を用いて前記追尾処理を行うよう切り替える
   ことを特徴とする請求項３に記載の画像処理装置。
8. 前記状況情報は、前記撮像画像を撮像した撮像装置に設定されているオートフォーカスモードの情報を含み、
   前記制御手段は、前記撮像装置に設定されているオートフォーカスモードが特定の被写体に合わせて焦点距離を動的に更新するモードである場合に前記第１の追尾手段を用いて前記追尾処理を行い、前記撮像装置に設定されているオートフォーカスモードが焦点距離を固定するモードである場合に前記第２の追尾手段を用いて前記追尾処理を行うよう切り替える
   ことを特徴とする請求項３に記載の画像処理装置。
9. 前記状況情報は、前記撮像画像を撮像したシャッタスピードの情報を含み、
   前記制御手段は、前記撮像画像を撮像したシャッタスピードが所定値よりも速い場合に前記第１の追尾手段を用いて前記追尾処理を行い、前記撮像画像を撮像したシャッタスピードが所定値よりも遅い場合に前記第２の追尾手段を用いて前記追尾処理を行うよう切り替える
   ことを特徴とする請求項３に記載の画像処理装置。
10. 前記状況情報は、前記撮像画像に係る撮像環境の輝度の情報を含み、
    前記制御手段は、前記撮像環境の輝度が所定値より低い場合に前記第１の追尾手段を用いて前記追尾処理を行うよう切り替える
    ことを特徴とする請求項３に記載の画像処理装置。
11. 前記第２の追尾手段は、テンプレートマッチング方式で前記追尾処理を実行することを特徴とする請求項３に記載の画像処理装置。
12. 前記状況情報は、前記撮像画像に含まれるオブジェクト数の情報を含み、
    前記制御手段は、前記撮像画像に含まれるオブジェクト数が所定値より多い場合に前記第２の追尾手段を用いて前記追尾処理を行い、前記撮像画像に含まれるオブジェクト数が所定値より少ない場合に前記第１の追尾手段を用いて前記追尾処理を行うよう切り替える
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記状況情報は、前記撮像画像が流し撮りで撮像されているか否かの情報を含み、
    前記制御手段は、前記撮像画像が流し撮りで撮像されている場合に前記追尾手段に前記追尾処理を実行させないよう制御することを特徴とする請求項１に記載の画像処理装置。
14. 撮像画像を出力する撮像手段と、
    請求項１乃至１３のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
15. 入力された撮像画像に含まれる所定の被写体の像を追尾する画像処理装置の制御方法であって、
    前記画像処理装置は、前記撮像画像に含まれる前記所定の被写体の像の位置を特定する追尾処理を実行する追尾手段であって、各々異なるマッチング方式で前記追尾処理を実行する第１の追尾手段と第２の追尾手段とを含む追尾手段を含み、
    前記制御方法は、
    前記撮像画像を取得する第１の取得工程と、
    前記所定の被写体の状態及び前記撮像画像の撮像状況の少なくともいずれかを示す状況情報を取得する第２の取得工程と、
    前記状況情報に基づいて、前記第１の取得工程において取得された前記撮像画像について前記第１の追尾手段と前記第２の追尾手段のいずれを用いて前記追尾処理を行うかを切り替える制御工程と、
    を有し、
    前記第１の追尾手段に採用されるマッチング方式は、前記第２の追尾手段に採用されるマッチング方式よりも、前記追尾処理の実行に係る消費電力が少ないことを特徴とする制御方法。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images