JP2023099384A - 画像処理装置、画像処理方法および撮像装置 - Google Patents

Abstract

【課題】複数種類の被写体の検出結果を適切に用いることにより、被写体追尾性能を向上させることが可能な画像処理装置を提供すること。【解決手段】画像処理装置は、画像から第１の種類の被写体と第２の種類の被写体とを検出する。検出結果に基づいて被写体の追尾処理を実行する際、画像中の同一被写体が第１の種類の被写体としても第２の種類の被写体としても検出されていれば、画像処理装置は、第１の種類の被写体の追尾処理に、第１の種類の被写体と第２の種類の被写体のどちらの検出結果を用いるかを選択する。【選択図】図４

Description

本発明は画像処理装置、画像処理方法および撮像装置に関し、特には画像中の被写体を検出する技術に関する。

人間の顔などの特定の被写体を画像から検出し、検出した被写体に合焦させる動作を継続的に実行する被写体追尾機能を有する撮像装置が知られている。また、画像から人の顔と動物の顔を検出する技術も知られている（特許文献１）。

特開２０１０－１５４４３８号公報

複数の種類の被写体を検出する場合、異なる被写体として検出された領域が重複する場合がある。例えば、車両に乗っている人物は、車両被写体の一部として検出されるとともに、人物被写体としても検出される場合がある。

特許文献１では、予め定められた範囲内に人間の顔と動物の顔の両方が検出された場合、領域の大きさに応じて一方が主要被写体として判断される。しかしながら、重複する領域において、ある一つの被写体が複数の種類の被写体として検出される場合がある。このとき、被写体をある一つの種類の被写体として取り扱わない方が望ましい場合もある。

例えば、車両に乗っている人物が、車両被写体の一部としても人物被写体としても検出される場合を考える。このとき、検出された被写体を車両被写体として取り扱うと、車両被写体として検出できなくなった場合に、人物被写体として検出できる状態でも追尾できなくなったり追尾精度が低下したりする。

このような従来技術の課題を踏まえ、本発明はその一態様において、複数種類の被写体の検出結果を適切に用いることにより、被写体追尾性能を向上させることが可能な画像処理装置および画像処理方法を提供する。

上述の目的は、画像に対して、第１の種類の被写体と第２の種類の被写体とを検出する処理を適用する検出手段と、検出手段の検出結果に基づいて被写体の追尾処理を実行する制御手段と、を有し、制御手段は、画像中の同一被写体が第１の種類の被写体としても第２の種類の被写体としても検出されている場合、第１の種類の被写体の追尾処理を、第１の種類の被写体についての検出結果を用いて行うか、第２の種類の被写体についての検出結果を用いて行うかを選択することを特徴とする画像処理装置によって達成される。

本発明によれば、複数種類の被写体の検出結果を適切に用いることにより、被写体追尾性能を向上させることが可能な画像処理装置および画像処理方法を提供することができる。

第一の実施形態の構成図 検出追尾制御の動作を示す簡易フローチャート 主被写体選択の動作を示すフローチャート 複数種別の被写体が同時に検出された場合の動作を示すフローチャート 複数種別の被写体が同時に検出されていない場合の動作を示すフローチャート 相関している頭部とバイクの検出状態を示す図 本発明の第２の実施形態の動作を示すフローチャート 第２の実施形態において、複数種別の被写体が同時に検出された場合の動作を示すフローチャート 乗り物と頭部および器官の検出状態を示す図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明をデジタルカメラで実施する場合に関して説明する。しかし、本発明に撮像機能は必須でなく、本発明は任意の電子機器で実施可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

●（第１実施形態）
図１は本発明の第１実施形態に係るデジタルカメラの機能構成例を示すブロック図である。デジタルカメラは、本体１２０と、本体１２０に着脱可能なレンズユニット１００とを有する。

レンズユニット１００は、主光学系１０２、絞り１０３、およびフォーカスレンズ群１０４を有する撮像光学系１０１を有する。なお、撮像光学系１０１の焦点距離（画角）は可変であってもよい。レンズユニット１００は、絞り１０３、および可動レンズ（フォーカスレンズ群１０４、ズームレンズ、防振レンズなど）の位置を検出したり、駆動したりするための構成要素も有している。

レンズユニット１００はまた、レンズユニット１００の動作を制御するレンズ制御部１１１を有する。レンズ制御部１１１は例えばプログラムを記憶するメモリとプログラムを実行可能なプロセッサとを有する。

レンズ制御部１１１はプロセッサでプログラムを実行することによりレンズユニット１００の動作を制御したり、本体１２０と通信したりする。絞り制御部１１２およびフォーカスレンズ制御部１１３は、レンズ制御部１１１のプロセッサがプログラムを実行することによって実現する機能を機能ブロックとして表現したものである。

絞り制御部１１２はカメラ制御部１３１の制御に従い、絞り１０３の開口量（絞り値）を制御する。また、絞り制御部１１２は、要求に応じて絞り１０３の絞り値をカメラ制御部１３１に供給する。

フォーカスレンズ制御部１１３は、カメラ制御部１３１の制御に従い、フォーカスレンズ群１０４を撮像光学系１０１の光軸方向に駆動し、位置を制御する。また、フォーカスレンズ制御部１１３は、要求に応じてフォーカスレンズ群１０４の位置情報をカメラ制御部１３１に供給する。

撮像光学系１０１がズームレンズや防振レンズを有する場合、レンズ制御部１１１はこれらの可動レンズの位置を制御する機能を有する。

レンズユニット１００と本体１２０とは互いに嵌合するマウント部を有する。マウント部は、レンズユニット１００が本体１２０に装着された状態で接触するように構成されたマウント接点部１１４および１１６を有する。マウント接点部１１４および１６１を通じてレンズユニット１００と本体１２０とは電気的に接続される。レンズユニット１００の動作に必要な電力はマウント接点部１１４および１６１を通じて本体１２０から供給される。また、レンズ制御部１１１とカメラ制御部１３１とはマウント接点部１１４および１６１を通じて通信可能である。

撮像光学系１０１は本体１２０に設けられた撮像素子１２２の撮像面に光学像を形成する。撮像素子１２２は例えば一般的なＣＭＯＳカラーイメージセンサであってよい。撮像光学系１０１と撮像素子１２２との間には開閉可能なシャッタ１２１が設けられている。撮影時にはシャッタ１２１が開くことで撮像素子１２２が露光される。

撮像素子１２２は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像素子１２２は複数の画素が２次元配列された画素アレイと、画素から信号を読み出すための周辺回路とを有する。各画素は光電変換によって入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、撮像面に形成された被写体像を表す画素信号群（アナログ画像信号）が得られる。

アナログ画像信号はアナログフロントエンド（ＡＦＥ）１２３に入力される。ＡＦＥ１２３はアナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ信号処理を適用したのち、信号処理回路１２４に出力する。

カメラ制御部１３１は例えばプログラムを記憶するメモリとプログラムを実行可能なプロセッサとを有する。カメラ制御部１３１はプロセッサでプログラムを実行することにより、本体１２０の動作を制御し、本体１２０の各種の機能を実現する。

また、カメラ制御部１３１はプロセッサでプログラムを実行することにより、レンズ制御部１１１と通信する。カメラ制御部１３１からレンズ制御部１１１へは、例えばレンズユニット１００の動作を制御するコマンドや、レンズユニット１００の情報を要求するコマンドが送信される。レンズ制御部１１１は受信したコマンドに応じてフォーカスレンズ群１０４や絞り１０３の動作を制御したり、レンズユニット１００の情報をカメラ制御部１３１に送信したりする。カメラ制御部１３１に送信されるレンズユニット１００の情報には、例えばレンズユニット１００の製品情報や、可動レンズの位置や絞り値の情報などがある。

図においてカメラ制御部１３１内部に示された機能ブロック１５１～１５６は、カメラ制御部１３１のプロセッサがプログラムを実行することによって実現する機能を、機能ブロックとして表現したものである。

操作部１８１は、ユーザが本体１２０に各種の指示を入力するために設けられた入力デバイス（ボタン、スイッチ、ダイヤルなど）の総称である。操作部１８１を構成する入力デバイスは、割り当てられた機能に応じた名称を有する。例えば、操作部１８１には、レリーズスイッチ、動画記録スイッチ、撮影モードを選択するための撮影モード選択ダイヤル、メニューボタン、方向キー、決定キーなどが含まれる。

レリーズスイッチは静止画記録用のスイッチであり、カメラ制御部１３１はレリーズスイッチの半押し状態を撮影準備指示、全押し状態を撮影開始指示と認識する。また、カメラ制御部１３１は、動画記録スイッチが撮影スタンバイ状態で押下されると動画の記録開始指示と認識し、動画の記録中に押下されると記録停止指示と認識する。なお、同一の入力デバイスに割り当てられる機能は可変であってよい。

角速度センサ１２６は例えば３軸ジャイロセンサであり、本体１２０の動きを表す信号をカメラ制御部１３１に出力する。カメラ制御部１３１は角速度センサ１２６の出力する信号に基づいて本体１２０の動きを検出する。また、カメラ制御部１３１は、検出した本体１２０の動きに基づいて予め定められた制御を実行する。

表示部１７１はタッチパネル１７２を備えた表示装置（タッチディスプレイ）である。撮像素子１２２による動画撮影と、得られた動画の表示部１７１での表示を継続的に実行することにより、表示部１７１は電子ビューファインダ（ＥＶＦ）として機能する。

表示部１７１にはメモリカード１２５に記録された画像データを再生して表示したり、本体１２０の状態や設定に関する情報を表示したり、メニュー画面などのＧＵＩ（グラフィカルユーザインタフェース）を表示したりすることができる。ユーザはタッチパネル１７２に対するタッチ操作により、表示されたＧＵＩを操作したり、焦点検出領域を指定したりすることができる。

カメラ制御部１３１は操作部１８１およびタッチパネル１７２に対する操作を検出すると、検出した操作に応じた動作を実行する。例えば、静止画の撮影準備指示の操作を検出すると、カメラ制御部１３１はＡＦ処理、ＡＥ処理などを実行する。また、静止画の撮影指示の操作を検出すると、カメラ制御部１３１は静止画の撮影処理、信号処理回路１２４による記録用画像データの生成処理、記録用画像データをメモリカード１２５（記録媒体）に記録する処理などを制御もしくは実行する。

信号処理回路１２４は、ＡＦＥ１２３から入力されるアナログ画像信号に対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。信号処理回路１２４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

信号処理回路１２４が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。
前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。
色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、撮像光学系１０１の光学収差に起因する画像劣化の補正（画像回復）、撮像光学系１０１の周辺減光の影響の補正、色補正などの処理が含まれる。
検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれる。
データ加工処理には、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれる。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれる。
なお、これらは信号処理回路１２４が適用可能な処理の例示であり、信号処理回路１２４が適用する処理を限定するものではない。

図１において信号処理回路１２４内に示した機能ブロック１４１～１４４は、信号処理回路１２４が例えばプログラムを実行することによって実現する、被写体検出処理に関する機能を、機能ブロックとして表現したものである。

特定被写体検出部１４１は、画像データに対して予め定められた複数の種類の被写体の検出処理を適用し、被写体の種類ごとに被写体領域を検出する。特定被写体検出部１４１は、被写体の種類ごとに、被写体領域を検出するためのパラメータを辞書データとして保持している。特定被写体検出部１４１は、検出処理に用いる辞書データを切り替えることにより、複数の種類の被写体について被写体領域を検出することができる。

辞書データは予め機械学習など公知の方法によって生成することができる。特定被写体検出部１４１で検出する被写体の種類に制限はないが、本実施形態では検出結果を被写体追尾に利用することを想定している。そのため、特定被写体検出部１４１は、移動しうる被写体、例えば、人体、乗り物（バイク、自動車、電車、飛行機、船など）、動物（犬、猫、鳥など）のうち、１つまたは複数種類の被写体を検出するものとする。特に本実施形態では、人体と乗り物を含んだ２種類以上の被写体を検出する場合について後述する。
また、人体（第２の種類の被写体）については頭部、胴体、瞳といった特定部位の１つ以上を検出することもできる。乗り物（第１の種類の被写体）については全体および予め定められた特定部位の１つ以上を検出するものとする。動物については全身、顔、瞳といった特定部位の１つ以上を検出することができる。

ここでは、乗り物について検出する特定部位が、乗り物の乗員の頭部であるものとする。乗員の頭部は乗り物被写体の特定部位として検出される点において、人物被写体として検出される頭部とは異なる。

特定被写体検出部１４１は、検出対象の被写体ごとに検出結果を生成する。検出結果は検出した領域の総数と、領域ごとの位置、大きさ、および検出信頼度を含むものとするが、これらに限定されない。

顔および器官検出部１４２は、特定被写体検出部１４１が検出した被写体領域のうち、例えば人体の被写体領域に対し、顔、目（瞳）、鼻、口などの器官の領域を検出する。顔および器官検出部１４２は、特徴パラメータやテンプレートを用いた公知の方法により、顔や器官を検出することができる。なお、上述した器官の検出は特定被写体検出部１４１が行う構成とすることもできる。その場合、図１から顔および器官検出部１４２を除いた構成にすることもできる。

顔および器官検出部１４２は、検出した顔領域や器官の領域について、検出対象ごとに検出結果を生成する。検出結果は検出した領域の総数と、領域ごとの位置、大きさ、および検出信頼度を含むものとするが、これらに限定されない。

距離情報取得部１４３は、現在の撮像光学系１０１の状態に関して、撮像範囲全体もしくは一部におけるデフォーカス量もしくは被写体距離の分布（距離マップ）を生成する。距離情報取得部１４３は画素ごともしくは画素ブロックごとにデフォーカス量もしくは被写体距離を求めることにより、距離マップを生成する。距離マップは公知の方法で生成可能であるため、生成方法の詳細についての説明は省略する。

ベクトル検出部１４４は、画像データを例えば水平方向および垂直方向に分割した画素ブロックごとに動きベクトルを検出する。動きベクトルは、撮影タイミングの異なる２フレームの画像間で検出することができる。動きベクトルは撮影タイミングの早い（古い）フレームの一部をテンプレートとして用い、撮影タイミングの遅い（新しい）フレーム内で類似度の高い領域を探索するなど、公知の方法で検出することができる。

特定被写体検出部１４１、顔および器官検出部１４２、距離情報取得部１４３およびベクトル検出部１４４で取得した情報は、信号処理回路１２４からカメラ制御部１３１に供給される。

なお、本明細書では、特定被写体検出部１４１、顔および器官検出部１４２、距離情報取得部１４３、ベクトル検出部１４４の処理をまとめて被写体検出処理と呼ぶ。被写体検出処理を実施する画像データは、撮像素子１２２で取得されたものであってもよいし、メモリカード１２５から読み出されたものであってもよい。また、被写体検出処理は静止画データおよび動画データのいずれにも適用可能である。

カメラ制御部１３１において、対象被写体設定部１５１は、特定被写体検出部１４１および顔および器官検出部１４２による被写体検出処理の結果に基づいて、追尾処理の対象被写体を設定する。

被写体間相関判定部１５２は、検出された複数の種類の被写体が、同一被写体を構成するか否かを判定する。
被写体追尾制御部１５３は、対象被写体設定部１５１が追尾対象として設定した被写体の情報および距離情報取得部１４３が生成した距離マップなどを用いて、被写体追尾処理を実行する。
被写体周辺情報確認部１５４は、距離情報取得部１４３で生成された距離マップのうち、追尾対象の被写体の周辺領域におけるデフォーカス情報を取得する。
被写体ロスト判定部１５５は、追尾対象の被写体を見失ったかどうかを判定する。
表示枠制御部１５６は、追尾対象の被写体領域を表す枠などの指標を、例えばライブビュー画像に重畳させて表示部１７１に表示する。

カメラ制御部１３１は、信号処理回路１２４から得られる特定の種類の被写体に関する検出結果および距離情報などに基づいて、追尾被写体を決定したり追尾処理を制御したりする。

図２は、カメラ制御部１３１が実行する被写体追尾処理に関するフローチャートである。ここでは、カメラ制御部１３１は、撮像素子１２２での動画撮影処理と並行して、図２のフローチャートに示す被写体追尾処理を実行するものとする。すなわち、被写体追尾処理は、撮像素子１２２で撮影された動画に対して実質的にリアルタイムに実行される。ここではカメラ制御部１３１が被写体追尾処理を動画のフレームごとに実行するものとする。しかし、処理の実行頻度はフレームの画素数、フレームレート、カメラ制御部１３１の処理能力などに応じて変更してもよい。

また、信号処理回路１２４における被写体検出処理も撮像素子１２２での動画撮影処理と並行して実行される。被写体検出処理は負荷が大きいため、フレームごとに実行できない場合がある。ここでは、被写体追尾処理が１フレームおきに（２フレームごとに１回）実行されるものとする。

Ｓ２０１でカメラ制御部１３１は、信号処理回路１２４（特定被写体検出部１４１）で被写体が検出されたか否かを確認し、検出されていればＳ２０２を、検出されていなければＳ２０３を実行する。検出されていない場合には、被写体領域が１つも検出されなかった場合と、被写体検出処理が完了していない場合とが含まれる。

Ｓ２０２でカメラ制御部１３１は、被写体検出処理の結果に基づいて、追尾部位を決定する。追尾部位は、追尾処理に用いられる被写体領域の種類である。Ｓ２０２の処理の詳細については後述する。

Ｓ２０３でカメラ制御部１３１は、特定被写体検出部１４１および顔および器官検出部１４２の検出結果のうち、Ｓ２０２で決定した追尾部位に対応する検出結果を用いた追尾処理を実行する。追尾処理は、テンプレートマッチングなど公知の方法による現フレーム中の追尾部位の探索処理、探索された追尾部位を示す指標の表示処理、テンプレートの更新処理などを含む。また、Ｓ２０１から直接Ｓ２０３が実行される頻度が高い場合、追尾精度の低下を抑制するための処理（例えば、追尾部位の初期化もしくは再決定など）を実行することもできる。

次に、Ｓ２０２における追尾部位の決定処理の詳細について、図３～図５を用いて説明する。
Ｓ３０１でカメラ制御部１３１は、先のフレームに対する処理において追尾被写体（主被写体）が決定済みか否かを判定し、決定済みと判定されればＳ３０３を、決定済みと判定されなければＳ３０２を実行する。

Ｓ３０２でカメラ制御部１３１は、信号処理回路１２４から得られた直近の被写体検出処理結果に基づいて、追尾被写体を決定する。ここでの決定方法に特に制限はなく、例えば検出された被写体領域のうち、予め定められた優先度が最も高い種類の被写体であって、大きさが予め定められた閾値以上の領域の被写体を追尾被写体として決定することができる。あるいは、検出された被写体領域のうち、大きさが予め定められた閾値以上であって、最もカメラから近い領域の被写体を追尾被写体として決定するなど、他の条件に基づいて決定してもよい。カメラ制御部１３１は、決定した追尾被写体の情報をメモリに保存したのち、Ｓ３０３を実行する。

Ｓ３０３でカメラ制御部１３１は、追尾被写体が乗り物被写体であるか否かを判定する。以下では乗り物被写体の一例としてバイク被写体について説明するが、他の乗り物被写体についても同様に処理することができる。カメラ制御部１３１は、追尾被写体がバイク被写体であると判定されればＳ３０４を、判定されなければＳ３０７を実行する。

Ｓ３０４でカメラ制御部１３１は、信号処理回路１２４における被写体検出処理において、人物被写体としての頭部と、バイク被写体との両方が検出されているか否かを判定する。カメラ制御部１３１は、両方の種類の被写体が検出されていると判定されればＳ３０５を、判定されなければＳ３０６を実行する。

Ｓ３０４で判定するのは、追尾被写体と異なる種類の被写体のうち、追尾被写体の領域と同一または重複する領域を検出しうる種類の被写体である。同一のまたは重複する領域を検出しうる関係にある被写体の種類の組み合わせは、例えばカメラ制御部１３１のメモリに予め登録されているものとする。したがって、追尾対象の被写体の種類が特定されると、Ｓ３０４で判定される他の被写体の種類も特定される。

Ｓ３０５でカメラ制御部１３１は、頭部（人物被写体）およびバイク被写体の両方が検出されている場合の選択処理を実行する。詳細については後述する。
Ｓ３０６でカメラ制御部１３１は、頭部（人物被写体）およびバイク被写体の少なくとも一方が検出されていない場合の選択処理を実行する。詳細については後述する。

Ｓ３０７でカメラ制御部１３１は、追尾被写体が乗り物被写体以外である場合の追尾対象を決定する。例えばカメラ制御部１３１は、追尾被写体についての追尾部位の変更（瞳←→顔←→胴体の切り替えや、全体←→特定部位の切り替え）などを行うことができる。

Ｓ３０５、Ｓ３０６およびＳ３０７のいずれかを実行すると、カメラ制御部１３１は追尾部位の決定処理を終了する。

次に、図４に示すフローチャートを用いて、Ｓ３０５で実行する、頭部（人物被写体）およびバイク被写体の両方が検出されている場合の選択処理の詳細について説明する。

Ｓ４０１でカメラ制御部１３１は、被写体検出処理によってバイク被写体の特定部位（乗員の頭部）が検出されているか否かを判定し、検出されていると判定されればＳ４０２を、判定されなければＳ４１０を実行する。

Ｓ４０２でカメラ制御部１３１は、検出されている頭部（人物被写体）とバイクの特定部位（乗員の頭部）との間の相関について確認する。例えば、カメラ制御部１３１は、特定被写体検出部１４１、距離情報取得部１４３、ベクトル検出部１４４の検出結果に基づいて、両者の領域について、画像中の位置関係、大きさ、位置および被写体距離の経時変化の１つ以上に正の相関があるか否かを判定する。

そして、Ｓ４０３においてカメラ制御部１３１は、Ｓ４０２で調べた相関関係に基づいて、検出されている頭部（人物被写体）とバイクの特定部位（乗員の頭部）が同一被写体であるか否かを判定する。カメラ制御部１３１は、同一被写体と判定された場合はＳ４０４を、判定されない場合はＳ４０６を実行する。

Ｓ４０３の判定方法については特に制限はない。例えば、カメラ制御部１３１は、検出された領域の重複度が閾値以上である場合、および／または、領域の大きさ、位置および被写体距離の経時変化の１つ以上に正の相関がある場合に、同一被写体と判定することができる。

Ｓ４０４でカメラ制御部１３１は、頭部（人物被写体）とバイクの特定部位（乗員の頭部）とのいずれを優先するかを判定する。カメラ制御部１３１は、例えば検出信頼度が高い部位を優先することができる。検出信頼度に加えてあるいはその代わりに、領域の位置（画像中心に近い方を優先）、領域の大きさ（大きい方を優先）、および角速度センサ１２６やベクトル検出部１４４の出力に基づく本体１２０の動き、の１つ以上を考慮してもよい。

例えば、バイクの特定部位の領域が画像中心から閾値以上離れた周辺部に存在し、かつ本体１２０の動きが大きい（閾値以上）場合には、バイク被写体がフレームアウトする可能性が高いと考えられる。バイク被写体の一部がフレームアウトしてバイク被写体が検出できなくなると、同時に特定部位も検出できなくなる。そのため、バイク被写体がフレームアウトする可能性が高いと考えられる条件を満たす場合、バイクの特定部位（乗員の頭部）の方が検出信頼度が高くても、頭部（人物被写体）を優先してもよい。また、領域が小さい（閾値以下）場合には、人物被写体として検出できなくなる可能性を考慮して、頭部（人物被写体）の方が検出信頼度が高くても、バイクの特定部位（乗員の頭部）を優先してもよい。ただし、検出信頼度に下限値を設け、下限値未満の検出信頼度である部位は優先しないようにする。

次に、Ｓ４０５でカメラ制御部１３１は、Ｓ４０４で優先すると判定した被写体が前回と同一かどうかを判定し、同一と判定されればＳ４０６を、判定されなければＳ４０８を実行する。

Ｓ４０８でカメラ制御部１３１は、Ｓ４０４で優先すると判定した部位の優先判定レベルが大きい（閾値以上）か否かを判定し、優先判定レベルが大きいと判定されればＳ４０９を、判定されなければＳ４０６を実行する。優先判定レベルは、主にＳ４０４で優先すると判定した被写体の検出信頼度に基づいて決定することができる。例えば、Ｓ４０４で優先すると判定した検出信頼度が閾値以上であれば、優先判定レベルが大きいと判定してもよい。部位によって検出信頼度に重みを乗じるなど、他の情報を加味した検出信頼度を閾値と比較してもよい。

Ｓ４０９でカメラ制御部１３１は、追尾部位を、Ｓ４０４で優先すると判定した部位に変更する。カメラ制御部１３１は、変更後の追尾部位に関する情報をメモリに保存した後、Ｓ４０７を実行する。

一方、Ｓ４０６でカメラ制御部１３１は、前回と同一の追尾部位を維持することを決定し、Ｓ４０７を実行する。

Ｓ４０７でカメラ制御部１３１は、追尾被写体を改めてバイクに設定する。このように、追尾被写体をバイクとしながら、バイク被写体の特定部位と、人物被写体の頭部との両方が検出された場合に、どちらの部位を用いて追尾処理を実行するかを適宜変更する。これにより、バイク被写体が検出できなくなっても、人体被写体の頭部が追尾部位に設定されていれば、実質的にバイク被写体の追尾を継続することができる。

Ｓ４０１でバイク被写体の特定部位が検出されていると判定されない場合、カメラ制御部１３１は、Ｓ４１０で頭部（人物被写体）とバイク被写体（全体）との間の相関について、Ｓ４０２と同様にして確認する。ただし、頭部（人物被写体）とバイク被写体（全体）とは領域の大きさや位置が異なるため、大きさ、位置および被写体距離の経時変化に基づいて正の相関があるか否かを判定する。

Ｓ４１１でカメラ制御部１３１は、Ｓ４０３と同様に、検出されている頭部（人物被写体）とバイク被写体（全体）とが同一被写体であるか否かを判定する。カメラ制御部１３１は、同一被写体と判定された場合はＳ４１２を、判定されない場合はＳ４０６を実行する。例えば、カメラ制御部１３１は、領域の大きさ、位置および被写体距離の経時変化の１つ以上に正の相関がある場合に、同一被写体と判定することができる。

Ｓ４１２でカメラ制御部１３１は、Ｓ４０４と同様にして、頭部（人物被写体）とバイクの被写体（全体）とのいずれを優先するかを判定する。

次に、Ｓ４１３でカメラ制御部１３１は、Ｓ４１２で頭部（人物被写体）を優先すると判定されていればＳ４１４を、判定されていなければＳ４１５を実行する。
Ｓ４１４でカメラ制御部１３１は、頭部（人物被写体）を追尾部位に決定し、Ｓ４０７を実行する。
Ｓ４１５でカメラ制御部１３１は、バイク被写体（全体）を追尾部位に決定し、Ｓ４０７を実行する。

図６は、図４に示した動作のうち、同一被写体か否かの判定条件の一例を模式的に示した図である。図６（ａ）および（ａ'）は頭部（人物被写体）の検出結果を示しており、図６（ｂ）および（ｂ'）はバイク被写体（全体）およびバイク被写体の特定部位（乗員の頭部）の検出結果を示している。図６（ａ）および（ｂ）は同じフレームであり、図６（ａ’）および（ｂ’）は同じフレームである。また、図６（ａ’）および（ｂ’）のフレームは、図６（ａ）および（ｂ）のフレームより時間的に後のフレームである。

図６（ａ）および（ｂ）に示す例では、頭部（人物被写体）として検出された領域と、バイク被写体の特定部位（乗員の頭部）として検出された領域の画像（フレーム）内の位置がほぼ等しい。また、距離マップに基づいてそれぞれの領域について得られる被写体距離もほぼ等しい。これらはいずれも正の相関に相当する。

また、所定時間後のフレームである図６（ａ'）および（ｂ'）において、頭部（人物被写体）として検出された領域と、バイク被写体の特定部位（乗員の頭部）として検出された領域の大きさの経時変化（例えば倍率）がほぼ等しい。また、距離マップに基づいてそれぞれの領域について得られる被写体距離もほぼ等しい。これらはいずれも正の相関に相当する。

頭部（人物被写体）とバイク被写体（全体）とについては、画像（フレーム）内の検出位置は異なるものの、距離マップに基づいてそれぞれの領域について得られる被写体距離はほぼ等しい。また、フレーム間における領域の大きさの経時変化（例えば倍率）もほぼ等しい。これらはいずれも正の相関に相当する。

次に、図５に示すフローチャートを用いて、Ｓ３０６で実行する、頭部（人物被写体）およびバイク被写体の一方が検出されていない場合の追尾部位の決定処理の詳細について説明する。

Ｓ５０１でカメラ制御部１３１は、被写体検出処理によってバイク被写体が検出されているか否かを判定し、検出されていると判定されればＳ５０２を、判定されなければＳ５０６を実行する。

Ｓ５０２が実行されるのは、バイク被写体が検出され、頭部（人物被写体）が検出されていない場合である。この場合カメラ制御部１３１は、Ｓ５０２でバイク被写体の特定部位（乗員の頭部）が検出されているか否かを判定し、検出されていると判定されればＳ５０３を、判定されなければＳ５０４を実行する。

Ｓ５０３でカメラ制御部１３１は、バイク被写体の特定部位を追尾部位とし、Ｓ５０５を実行する。
Ｓ５０４でカメラ制御部１３１は、バイク被写体の全体を追尾部位とし、Ｓ５０５を実行する。
Ｓ５０５でカメラ制御部１３１は、追尾対象の被写体を再度バイク被写体に設定する。

一方、バイク被写体が検出されたと判定されなかった場合、Ｓ５０６でカメラ制御部１３１は、被写体検出処理によって頭部（人物被写体）が検出されているか否かを判定し、検出されていると判定されればＳ５０７を、判定されなければＳ５１０を実行する。

Ｓ５０７でカメラ制御部１３１は、前回の追尾部位が頭部（人物被写体）か否かを判定し、頭部（人物被写体）と判定されればＳ５０８を、判定されなければＳ５０９を実行する。

Ｓ５０８でカメラ制御部１３１は、検出被写体を「なし」に設定しなおし、Ｓ５０９を実行する。Ｓ５０７～Ｓ５０９の動作は、バイク被写体が検出できていない状態が続いた場合に、他の種類の被写体を追尾してしまうことを回避するために行われる。Ｓ５０８で検出被写体をなしとすることで、図２のＳ２０３において追尾部位の初期化または再決定を実行させることができる。

Ｓ５０９でカメラ制御部１３１は、前回と同一の追尾部位を維持したのち、Ｓ５０５を実行する。

Ｓ５１０は、バイク被写体も頭部（人物被写体）も検出できなかった場合に実行される。この場合カメラ制御部１３１は、被写体を見失った際の処理を実行する。具体的には図２のＳ２０３と同様の処理でよい。意図した種類の被写体が検出できず、かつ追尾信頼度が低い状態が所定時間続くと、カメラ制御部１３１は追尾被写体が変化したと判断し、追尾部位を初期化もしくは再決定することができる。

以上説明したように、本実施形態によれば、同一被写体の領域が異なる種類の被写体の領域として検出されていると判定される場合、どちらの検出結果を追尾処理に用いるかを選択できるようにした。そのため、一方の種類の被写体として検出できない状態になっても、追尾を継続できる可能性を高めることができ、結果として追尾性能を向上することができる。また、追尾対象に合焦するように継続的に焦点調節を行う場合には、意図した被写体に継続して合焦できるロバスト性を向上させることができる。

●（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態は、追尾部位の決定処理以外は第１実施形態と同様である。したがって、以下では本実施形態に係る追尾部位の決定処理について説明する。本実施形態では、特定被写体検出部１４１が検出する被写体の種類に対して優先度が設定されており、ここでは、乗り物被写体を他の種類の被写体よりも優先するように設定されているものとする。

図７に示すフローチャートを用いて、本実施形態における追尾部位の決定処理について説明する。
Ｓ７０１でカメラ制御部１３１は、特定被写体検出部１４１で乗り物被写体が検出されているか否かを判定し、検出されていると判定されればＳ７０２を実行し、判定されなければ決定処理を終了する。

Ｓ７０２でカメラ制御部１３１は、特定被写体検出部１４１および顔および器官検出部１４２で人物被写体の頭部、顔、瞳のいずれかの部位が検出されているか否かを判定し、検出されていると判定されればＳ７０３を、判定されなければＳ７０４を実行する。

Ｓ７０３でカメラ制御部１３１は、頭部、顔、または瞳（人物被写体）と、乗り物被写体との両方が検出されている場合の選択処理を実行する。Ｓ７０３における選択処理の詳細について、図８に示すフローチャートを用いて説明する。

なお、図８におけるＳ４０１’～Ｓ４０６’およびＳ４０８’～Ｓ４１５’は、被写体の種類がバイクから乗り物になったことを除き、図４のＳ４０１～Ｓ４０６およびＳ４０８～Ｓ４１５と処理内容は同一であるため、説明は省略する。

Ｓ８０１でカメラ制御部１３１は、前回決定した追尾部位に関する情報を例えば内部メモリにバックアップしていれば、バックアップされているデータを取得する。

Ｓ８０２でカメラ制御部１３１は、検出されている乗り物被写体（全体）の領域が所定の大きさよりも大きいか否かを判定し、大きいと判定されればＳ８０３を、判定されなければＳ４０１’を実行する。所定の大きさは、乗員の瞳が有意な信頼性で検出できる可能性が高い乗り物領域の大きさとして、予め定めておく。

Ｓ８０３でカメラ制御部１３１は、例えばメモリの領域に割り当てられた瞳選択「可」フラグをセットする（値を１にする）。被写体領域が所定の大きさより大きい場合には乗員の瞳が有意な信頼性で検出される可能性が高いため、Ｓ８０２、Ｓ８０３で、瞳を選択するための準備を行う。

その後、Ｓ４０１’以降の処理を実行し、Ｓ４０３’において検出されている頭部（人物被写体）と乗り物の特定部位（乗員の頭部）が同一被写体であると判定されない場合、カメラ制御部１３１はＳ４０６’を実行する前に、Ｓ８０４を実行する。

Ｓ８０４でカメラ制御部１３１は、瞳選択「可」フラグをクリアする（０にする）。これは、検出されている頭部（人物被写体）と乗り物の特定部位（乗員の頭部）が同一被写体でなければ、瞳（人物被写体）が検出されていても、乗り物の乗員の瞳ではないためである。なお、乗員の瞳は乗り物被写体の特定部位としては検出されないものとする。

その後、Ｓ４０９’、Ｓ４０６’、Ｓ４１４’およびＳ４１５’のいずれかで追尾部位を決定すると、カメラ制御部１３１はＳ８０５を実行する。

Ｓ８０５でカメラ制御部１３１は、瞳（人物被写体）が検出されており、かつ瞳選択「可」フラグがセットされているという条件を満たすか否かを判定し、条件を満たすと判定されればＳ８０６を、判定されなければＳ８０８を実行する。

Ｓ８０６でカメラ制御部１３１は、Ｓ４０９’、Ｓ４０６’、Ｓ４１４’およびＳ４１５’のいずれかで決定された追尾部位に関する情報を、瞳（人物被写体）以外の追尾部位の候補としてメモリにバックアップ（保存）する。

Ｓ８０７でカメラ制御部１３１は、瞳（人物被写体）を最終的な追尾部位として決定する。
Ｓ８０８でカメラ制御部１３１は、バックアップされている追尾部位に関する情報をクリアする。

Ｓ８０７が実行されるのは、乗り物被写体の乗員の瞳が、人物被写体の部位として有意な信頼性を持って検出されることが見込まれる場合である。しかしながら、乗員の瞳を安定して検出することは容易でなく、次回の被写体検出処理において乗員の瞳が人物被写体の部位として検出できないことも十分考えられる。

そのため、本実施形態では、Ｓ８０６でＳ４０９’、Ｓ４０６’、Ｓ４１４’およびＳ４１５’のいずれかで決定された、瞳以外の追尾部位に関する情報をメモリにバックアップしておき、Ｓ８０１の次回実行時にバックアップされた情報を取得する。これにより、仮に次回の被写体検出処理において乗員の瞳が人物被写体の部位として検出できなかった場合、Ｓ４０９’、Ｓ４０６’、Ｓ４１４’およびＳ４１５’のいずれかで決定された追尾部位を用いて追尾処理を行うことができる。

図７に戻り、Ｓ７０２で人物被写体の部位（頭部、顔、または瞳）が検出されていると判定されなかった場合、Ｓ７０４でカメラ制御部１３１は、乗り物被写体の特定部（乗員の頭部）が検出されているか否かを判定する。カメラ制御部１３１は、乗り物被写体の特定部位が検出されていると判定されればＳ７０５を、判定されなければＳ７０６を実行する。

Ｓ７０５でカメラ制御部１３１は、乗物被写体の特定部位（乗員の頭部）を追尾部位に設定する。
Ｓ７０６でカメラ制御部１３１は、乗物被写体（全体）を追尾部位に設定する。

図９は、追尾被写体である乗物がカメラに近づいて来る際に本実施形態で実現される追尾処理を模式的に示している。
被写体が遠い場合は全体しか検出できない。その後、被写体がある程度の大きさになるまで近づいくと、乗り物被写体の特定部位と、頭部（人物被写体）との両方が同一被写体について検出されるようになる。さらに近づくと、瞳（人物被写体）として乗員の瞳が検出できるようになる。追尾部位の変化に応じ、追尾領域を示す枠の表示も図のように変化する。

本実施形態によれば、追尾被写体としては検出されないが他の種類の被写体として検出されうる部位（ここでは瞳）の情報を、追尾処理に積極的に利用するようにした。そのため、第１実施形態の効果に加え、他の種類の被写体の検出結果を用いてユーザにより有用な追尾機能を提供することが可能になる。

なお、例えば動物被写体を優先するように設定されている場合、人物被写体の検出結果を併用すると誤追尾に繋がる可能性がある。そのため、人物被写体の検出結果を併用するのは、乗り物被写体のように人物を含んでいることが想定される種類の被写体が追尾被写体の場合に限定してもよい。

（その他の実施形態）
上述した実施形態は撮影と並行して実施する必要はなく、例えば記録済みの動画を再生する際などに実施してもよい。また、追尾部位を示す指標（枠）の表示は必須でなく、追尾結果の用途も露出制御や合焦制御といった撮影に関する用途に限定されない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１００…交換レンズ、１２０…カメラ本体、１２２…撮像素子、１２４…信号処理回路、１３１…カメラ制御部、１４１…特定被写体検出部、１４２…顔および器官検出部、１４３…距離情報取得部、１４４…ベクトル情報検出部

Claims (13)

1. 画像に対して、第１の種類の被写体と第２の種類の被写体とを検出する処理を適用する検出手段と、
   前記検出手段の検出結果に基づいて被写体の追尾処理を実行する制御手段と、を有し、
   前記制御手段は、前記画像中の同一被写体が前記第１の種類の被写体としても前記第２の種類の被写体としても検出されている場合、
   前記第１の種類の被写体の追尾処理を、前記第１の種類の被写体についての検出結果を用いて行うか、前記第２の種類の被写体についての検出結果を用いて行うかを選択することを特徴とする画像処理装置。
2. 前記制御手段は、前記画像中の同一被写体が前記第１の種類の被写体としても前記第２の種類の被写体としても検出されている場合、
   検出信頼度、検出された画像中の位置、前記画像処理装置の動きの１つ以上に基づいて、前記第１の種類の被写体の追尾処理を、前記第１の種類の被写体についての検出結果を用いて行うか、前記第２の種類の被写体についての検出結果を用いて行うかを選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記第１の種類の被写体についての検出結果および前記第２の種類の被写体についての検出結果のうち、前記検出手段によって与えられる検出信頼度がより高い検出結果を用いて前記第１の種類の被写体の追尾処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、前記第１の種類の被写体が画像の周辺部で検出され、かつ前記動きが閾値以上の場合には、前記第１の種類の被写体の検出信頼度が前記第２の種類の被写体の検出信頼度より高くても、前記第２の種類の被写体の検出結果を用いて前記第１の種類の被写体の追尾処理を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記第１の種類の被写体についての検出結果および前記第２の種類の被写体についての検出結果のうち、画像の中心により近い位置で検出された検出結果を用いて前記第１の種類の被写体の追尾処理を行うことを特徴とする請求項２に記載の画像処理装置。
6. 前記第１の種類の被写体が乗り物被写体、前記第２の種類の被写体が人物被写体であり、前記検出手段は、前記乗り物被写体について全体と乗員の頭部とを検出し、前記人物被写体について頭部を検出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第２の種類の被写体は、前記第１の種類の被写体として検出されない部位であることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
8. 前記第１の種類の被写体が乗り物被写体、前記第２の種類の被写体が人物被写体であり、前記検出手段は、前記乗り物被写体について全体と乗員の頭部とを検出し、前記人物被写体として顔、瞳を検出することを特徴とする請求項７に記載の画像処理装置。
9. 前記制御手段は、前記画像中の同一被写体が前記乗り物被写体としても前記人物被写体としても検出されており、前記乗り物被写体の全体として検出された領域の大きさが閾値以上であり、かつ前記人物被写体として瞳が検出されている場合には、前記瞳の検出結果を、前記乗り物被写体の追尾処理に用いることを決定することを特徴とする、請求項８に記載の画像処理装置。
10. 前記制御手段は、前記瞳の検出結果を前記乗り物被写体の追尾処理に用いることを決定する場合、前記第１の種類の被写体についての検出結果および前記第２の種類の被写体についての検出結果のうち、瞳以外の検出結果の１つを追尾処理に用いる候補として保存することを特徴とする請求項８または９に記載の画像処理装置。
11. 撮像素子と、
    前記撮像素子を用いて得られた画像を用いる、請求項１から１０のいずれか１項に記載の画像処理装置と、
    前記画像処理装置による追尾処理の結果に基づいて撮像光学系の焦点を調節する調節手段とを有することを特徴とする撮像装置。
12. 画像処理装置が実行する画像処理方法であって、
    画像に対して、第１の種類の被写体と第２の種類の被写体とを検出する処理を適用することと、
    前記処理の結果に基づいて被写体の追尾処理を実行することと、を有し、
    前記追尾処理を実行することは、
    前記画像中の同一被写体が前記第１の種類の被写体としても前記第２の種類の被写体としても検出されている場合に、前記第１の種類の被写体の追尾処理を、前記第１の種類の被写体についての検出結果を用いて行うか、前記第２の種類の被写体についての検出結果を用いて行うかを選択することを含む、
    ことを特徴とする画像処理方法。
13. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images