JP2015070426A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より高精度に被写体を検出することができるようにする。【解決手段】複数の各被写体検出部は、供給された画像から被写体領域を検出する被写体検出処理を行う。被写体領域決定部は、複数回の被写体検出処理のそれぞれで検出された被写体領域に基づく多数決処理によって、最終的な被写体領域を決定する。例えば、複数回の被写体検処理として、互いに異なる解像度の画像に対する同じ処理内容の被写体検出処理や、同じ解像度の画像に対する互いに異なる処理内容の被写体検出処理が行われる。本技術は、デジタルスチルカメラに適用することができる。【選択図】図２

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、より高精度に被写体を検出することができるようにした画像処理装置および方法、並びにプログラムに関する。

近年のカメラでは、各種認識技術により撮影者にとっての主要な被写体を把握し、その被写体を中心とした各種撮影サポートを行う機能が実現されている。例えば、撮影サポートとして、フォーカス制御や、明るさ調整、色の調整などが行われている。

また、撮影された画像から被写体を検出する技術として、複数フレームから被写体を検出し、それらの検出結果の安定度を用いて画像上の主要被写体を特定する技術も提案されている（例えば、特許文献１参照）。

特開２０１３−１２０９４９号公報

ところで、上述した撮影サポート機能では、被写体の領域を正確に検出することが性能向上に直接つながることになる。

しかしながら、上述した技術では、様々なシチュエーションにわたって正確に被写体の領域を抽出することは困難であり、オート性能はもちろん、付加価値向上につながる表示ユーザインターフェースにとっても表現の幅を狭める大きな制約となっていた。そのため、被写体の検出精度の向上が望まれている。

本技術は、このような状況に鑑みてなされたものであり、より高精度に被写体を検出することができるようにするものである。

本技術の一側面の画像処理装置は、被写体検出処理を行って入力画像から被写体領域を検出する被写体検出部と、複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域に基づく多数決処理によって、最終的な前記被写体領域を決定する被写体領域決定部とを備える。

前記被写体領域決定部には、前記複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域のそれぞれについて、２つの前記被写体領域同士の重複度を算出する重複判定部と、前記重複度に基づいて前記多数決処理により前記最終的な前記被写体領域を決定する多数決判定部とを設けることができる。

前記重複判定部には、前記重複度に基づいて前記被写体領域同士が重複しているか否かを判定させ、前記多数決判定部には、前記重複判定部による判定によって得られる、前記被写体検出処理で得られた前記被写体領域の他の被写体検出処理で得られた前記被写体領域との重複数に基づいて前記多数決処理を行わせるようにすることができる。

前記多数決判定部には、前記重複数が最も大きい前記被写体領域を、前記最終的な前記被写体領域とさせることができる。

前記多数決判定部には、前記重複数に基づいて信頼度の低い前記被写体領域を除外させ、除外されずに残った前記被写体領域に基づいて、前記最終的な前記被写体領域を求めさせるようにすることができる。

前記複数回の前記被写体検出処理として、互いに異なる複数の解像度の前記入力画像に対する同じ前記被写体検出処理が行われるようにすることができる。

前記複数回の前記被写体検出処理として、同じ前記入力画像に対する互いに異なる前記被写体検出処理が行われるようにすることができる。

画像処理装置には、前記多数決処理により前記最終的な前記被写体領域が得られない場合、前記複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域の信頼度に基づいて、複数の前記被写体領域から前記最終的な前記被写体領域を決定する信頼度判定部をさらに設けることができる。

本技術の一側面の画像処理方法またはプログラムは、被写体検出処理を行って入力画像から被写体領域を検出し、複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域に基づく多数決処理によって、最終的な前記被写体領域を決定するステップを含む。

本技術の一側面においては、被写体検出処理を行って入力画像から被写体領域が検出され、複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域に基づく多数決処理によって、最終的な前記被写体領域が決定される。

本技術の一側面によれば、より高精度に被写体を検出することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

撮像装置の構成例を示す図である。 カメラ信号処理部の構成例を示す図である。 被写体情報出力処理を説明するフローチャートである。 重複度の算出について説明する図である。 被写体情報出力処理を説明するフローチャートである。 カメラ信号処理部の構成例を示す図である。 被写体情報出力処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈撮像装置の構成例〉
まず、本技術の概要について説明する。

本技術では、被写体の検出対象となる画像に対して、画像から被写体を検出する被写体検出処理が複数回行われる。例えば、複数回の被写体検出処理として、解像度の異なる複数の画像のそれぞれに対する同じ被写体検出処理が行われる。

ここで、各解像度の画像に対する被写体検出処理による被写体の検出結果は、処理が同じであるため、本来であれば全ての解像度の画像で同じ検出結果が得られることが期待される。しかしながら、実際には被写体や被写体周囲の状況によって、所定の解像度の画像では誤検出が生じることもある。一般的には、１つの被写体検出結果について、その検出結果が正しいか否かを判別することは困難である。

そこで、本技術では、各解像度で全て同じ被写体検出処理を行い、その検出結果の多数決を取ることで間違った検出結果、つまり誤検出を検出してそれを除外し、通常の被写体検出処理を行う場合よりも高精度に被写体を検出できるようになされている。

次に、本技術を適用した具体的な実施の形態について説明する。図１は、本技術を適用した撮像装置の構成例を示す図である。例えば撮像装置は、デジタルスチルカメラやデジタルビデオカメラなどからなる。

図１に示す撮像装置１１は、光学系２１、撮像素子２２、AFE（Analog Front End）部２３、カメラDSP（Digital Signal Processor）部２４、メモリ装置２５、モニタ２６、記録メディア２７、制御部２８、操作部２９、フラッシュ３０、およびドライバ３１を有している。撮像装置１１では、光学系２１を介して入力される画像がデジタル処理されて記録されるようになされている。

光学系２１は、被写体から入射した光を撮像素子２２の撮像面に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構、開閉操作により被写体からの光を所定時間だけ撮像素子２２に入射させるシャッタ機構、被写体からの光線束の方向並びに範囲を限定するアイリス（絞り）機構などから構成される。

ドライバ３１は、制御部２８からの制御信号に基づいて、光学系２１内の各機構の駆動、例えば被写体へのフォーカス合わせやアイリス駆動を制御する。

撮像素子２２は、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）などの固体撮像素子からなり、光学系２１を介して被写体から入射した光を受光して光電変換し、その結果得られた電気信号をAFE部２３に供給する。

AFE部２３は、CDS／AGC／ADCブロック４１、タイミングジェネレータ４２、およびＶドライバ４３を備えており、例えば１つのＩＣ（Integrated Circuit）チップとして構成される。

CDS／AGC／ADCブロック４１は、撮像素子２２から供給された電気信号に対して、相関二重サンプリングやサンプルホールド、自動利得制御、ＡＤ（Analog/Digital）変換などの処理を施して、その結果得られたデジタル画像信号を出力する。このようにして得られたデジタル画像信号が、撮像装置１１により撮影された撮影画像の画像データである。

タイミングジェネレータ４２は、撮像素子２２を駆動するためのタイミングパルス信号を生成する。そして、Ｖドライバ４３は、このタイミングパルス信号に従って、撮像素子２２の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を出力する。

カメラDSP部２４は、カメラ信号処理部４４、解像度変換部４５、画像コーデック処理部４６、メモリ制御部４７、表示制御部４８、メディア制御部４９、およびバス・インターフェース・ユニット（BIU）５０を備えている。

カメラ信号処理部４４は、AFE部２３から供給された画像データに対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御などの前処理を施した後、ホワイトバランス調整や明るさの調整、コントラスト調整などを施す。

解像度変換部４５は、撮影画像をモニタ２６にスルー画像として表示出力するか、または動画像若しくは静止画像として記録メディア２７に保存するか等に応じて、画像のサイズの変更を行なう。

画像コーデック処理部４６は、撮影画像の画像データに対して所定の符号化方式で符号化圧縮処理を行う。メモリ制御部４７は、撮影画像などのデータを、フレーム・バッファとして使用するメモリ装置２５に対して書き込んだり、メモリ装置２５からデータを読み出したりするためのアクセス動作を制御する。

メディア制御部４９は、記録メディア２７へのデータの書き込みや読み出し、具体的には動画像データや静止画像データの記録および再生を行なう。

モニタ２６は、例えば液晶表示パネルなどから構成される。表示制御部４８は、モニタ２６の駆動を制御し、カメラ信号処理部４４から出力された画像データ（スルー画像）や、メモリ装置２５に保持されている画像データを、モニタ２６に表示するための信号に変換して、モニタ２６に出力する。

カメラDSP部２４は、バス・インターフェース・ユニット５０を介して制御部２８に接続されている。制御部２８は、CPU（Central Processing Unit）５１、主記憶メモリであるRAM（Random Access Memory）５２、および各種の情報を不揮発的に保持するEEPROM（Electrically Erasable and Programmable ROM（Read Only Memory））５３から構成される。

CPU５１は、ユーザ操作に応じて撮像装置１１全体の動作を統括的に制御する。例えば、CPU５１はフラッシュ３０を制御して発光させ、被写体に光を照射させたり、ドライバ３１を制御してフォーカス制御をさせたりする。また、CPU５１には、ユーザが指示入力を行なうための操作機能や、スピーカやLED（Light Emitting Diode）ランプなどの出力機能を備えた操作部２９が接続されている。

〈カメラ信号処理部の構成例〉
また、カメラ信号処理部４４では、撮影により得られた撮影画像から被写体を検出し、その検出結果を出力する処理が行われる。このような被写体検出を行うカメラ信号処理部４４の機能の構成は、例えば図２に示す構成とされる。

図２は、カメラ信号処理部４４の機能的な構成を示す図である。図２では、カメラ信号処理部４４は、被写体検出部８１−１乃至被写体検出部８１−３、被写体領域決定部８２、信頼度判定部８３、および出力部８４を有している。

被写体検出部８１−１乃至被写体検出部８１−３には、それぞれ解像度、すなわち大きさの異なる撮影画像が入力画像として供給される。

例えば、被写体検出部８１−１には、AFE部２３から撮影により得られた撮影画像（以下、高解像度画像とも称する）が供給される。また、被写体検出部８１−２には、解像度変換部４５が撮影画像に対する解像度変換を行うことにより得られた、もとの撮像画像である高解像度画像よりも解像度の低い画像（以下、中解像度画像とも称する）が供給される。

さらに、被写体検出部８１−３には、解像度変換部４５が撮影画像に対する解像度変換を行うことにより得られた、中解像度画像よりも解像度の低い画像（以下、低解像度画像とも称する）が供給される。

被写体検出部８１−１乃至被写体検出部８１−３は、供給された高解像度画像、中解像度画像、および低解像度画像に対して被写体検出処理を行って、それらの画像から被写体を検出し、その検出結果を被写体領域決定部８２および信頼度判定部８３に供給する。

なお、以下、被写体検出部８１−１乃至被写体検出部８１−３を特に区別する必要のない場合、単に被写体検出部８１とも称することとする。ここで、各被写体検出部８１では、同じアルゴリズムで被写体検出が行われる。換言すれば、各被写体検出部８１では、処理対象となる画像の解像度のみが異なるだけで、同じ被写体検出処理が行われる。

被写体領域決定部８２は、被写体検出部８１から供給された各解像度の画像についての被写体の検出結果に基づいて、多数決処理により撮影画像上の最終的な被写体の領域を決定し、出力部８４に供給する。なお、以下、画像上の被写体の領域を被写体領域とも称することとする。

被写体領域決定部８２は、重複判定部９１および多数決判定部９２を備えている。

重複判定部９１は、被写体検出部８１から供給された被写体の検出結果に基づいて、重複判定処理を行う。

例えば重複判定部９１は、各解像度の画像のうちの任意の２つの画像について、それらの画像から検出された被写体領域同士が重なっている度合いを重複度合いとして算出し、２つの画像上の被写体領域が重複しているか否か、つまり重なっているかを判定する重複判定処理を行う。重複判定部９１は、２つの異なる解像度の画像の組み合わせとして取り得る全ての組について、重複判定処理を行い、その判定結果と、各解像度の画像の被写体検出結果とを多数決判定部９２に供給する。

したがって、Ｎ個の異なる解像度の画像がある場合には、重複判定処理は_ＮＣ_２回だけ行われる。ここでは、高解像度画像、中解像度画像、および低解像度画像という３つの異なる解像度の画像が処理されるのでＮ＝３であり、_３Ｃ_２＝３回の重複判定処理が行われることになる。

多数決判定部９２は、重複判定部９１から供給された重複判定の結果と、被写体検出の結果とに基づいて多数決判定を行って、最終的な被写体領域を求めて出力部８４に供給する。また、多数決判定部９２は、多数決判定によって最終的な被写体領域を得ることができない場合には、被写体検出の信頼度に基づいて被写体領域を決定する処理の実行を信頼度判定部８３に指示する。

信頼度判定部８３は、多数決判定部９２の指示に応じて、被写体検出部８１における被写体の検出結果の信頼度に基づいて最終的な被写体領域を決定し、その決定結果を出力部８４に供給する。信頼度判定部８３は、低解像度判定部９３、中解像度判定部９４、および高解像度判定部９５を備えている。

低解像度判定部９３は、多数決判定部９２の指示に従って、被写体検出部８１−３から供給された低解像度画像からの被写体の検出結果に基づいて、その検出結果の信頼度判定を行う。低解像度判定部９３は、信頼度判定の結果、低解像度画像の被写体検出の結果が十分信頼できるものである場合、つまり十分に大きい信頼度である場合、低解像度画像の被写体検出の結果を最終的な被写体領域として出力部８４に供給する。また、低解像度判定部９３は、信頼度判定の結果、低解像度画像の被写体検出の結果が十分信頼できるものでない場合、中解像度判定部９４に信頼度判定の実行を指示する。

中解像度判定部９４は、低解像度判定部９３の指示に従って、被写体検出部８１−２から供給された中解像度画像からの被写体の検出結果に基づいて信頼度判定を行い、その結果が十分信頼できるものである場合、中解像度画像の被写体検出の結果を最終的な被写体領域として出力部８４に供給する。また、中解像度判定部９４は、信頼度判定の結果、中解像度画像の被写体検出の結果が十分信頼できるものでない場合、高解像度判定部９５に信頼度判定の実行を指示する。

高解像度判定部９５は、中解像度判定部９４の指示に従って、被写体検出部８１−１から供給された高解像度画像からの被写体の検出結果に基づいて信頼度判定を行い、その結果が十分信頼できるものである場合、高解像度画像の被写体検出の結果を最終的な被写体領域として出力部８４に供給する。また、高解像度判定部９５は、信頼度判定の結果、高解像度画像の被写体検出の結果が十分信頼できるものでない場合、撮影画像から被写体が十分な信頼度で検出されなかった旨を示す情報を出力部８４に供給する。

出力部８４は、多数決判定部９２または信頼度判定部８３から供給された被写体領域を示す情報を、最終的な被写体領域を示す被写体情報として出力する。

〈被写体情報出力処理の説明〉
続いて、撮像装置１１の動作について説明する。

例えば撮像装置１１は、ユーザにより被写体の撮影が指示されると、被写体を撮影して撮影画像を得る。すなわち、光学系２１は、被写体から入射した光を集光して撮像素子２２に入射させ、撮像素子２２は光学系２１から入射した光を受光して光電変換し、その結果得られた信号をCDS／AGC／ADCブロック４１に供給する。

CDS／AGC／ADCブロック４１は、撮像素子２２から供給された信号に対して、相関二重サンプリングなどの処理を施した後、各処理が施された信号をデジタル信号である画像データに変換してカメラ信号処理部４４に供給する。また、カメラ信号処理部４４は、CDS／AGC／ADCブロック４１から供給された撮影画像の画像データに対して、適宜、前処理を施した後、撮影画像を被写体検出部８１−１に供給するとともに、解像度変換部４５に供給する。

このようにして撮影画像が得られると、撮像装置１１は、撮影画像から被写体領域を検出して、その検出結果を示す被写体情報を出力する被写体情報出力処理を開始する。以下、図３のフローチャートを参照して、撮像装置１１による被写体情報出力処理について説明する。

ステップＳ１１において、解像度変換部４５は、カメラ信号処理部４４から供給された撮影画像に対する解像度変換を行う。

例えば解像度変換部４５は、高解像度画像である撮影画像をダウンサンプリングして、高解像度画像よりも解像度の低い、つまりサイズの小さい中解像度画像を生成し、被写体検出部８１−２に供給する。また、解像度変換部４５は、高解像度画像である撮影画像をダウンサンプリングして、中解像度画像よりも解像度の低い低解像度画像を生成し、被写体検出部８１−３に供給する。

ステップＳ１２において、被写体検出部８１−１乃至被写体検出部８１−３は、供給された高解像度画像、中解像度画像、および低解像度画像に対して被写体検出処理を行って、その検出結果を重複判定部９１および信頼度判定部８３に供給する。

例えば、各解像度の画像に対する被写体検出処理では、各解像度の画像の各領域から特徴量が抽出されて、各領域における被写体らしさを示す被写体マップが生成される。また、被写体マップにおける被写体らしさの変化の度合いを示すグラディエントマップが生成されて、そのグラディエントマップに対して異なる２つの閾値により閾値処理が行われて得られたマップから被写体領域が検出される。このように被写体マップを利用して被写体を検出する手法は、例えば特開２０１０−２６６９８２号公報に詳細に記載されている。

なお、各解像度の画像からの被写体の検出方法は、被写体マップを利用する方法に限らず、他のどのような方法とされてもよい。例えば各解像度の画像が、低明度領域における彩度が変調された色空間である変形ＨＳＶ空間の画像に変換され、この変形ＨＳＶ空間における色距離等に基づいて、被写体が検出されるようにしてもよい。また、顔検出や識別器などにより被写体検出が行われてもよい。

被写体検出部８１−１は、高解像度画像に対する被写体検出の結果を重複判定部９１および高解像度判定部９５に供給する。例えば被写体の検出結果として、高解像度画像上における被写体の領域を囲む矩形領域を示す情報、つまり被写体領域を示す情報が出力される。また、被写体検出部８１−１は、被写体を検出するために高解像度画像の各領域から抽出された特徴量など、各領域における被写体らしさを示す値も高解像度判定部９５に供給する。高解像度画像の各領域の被写体らしさを示す値は、信頼度判定に用いられる。

同様に、被写体検出部８１−２は、中解像度画像に対する被写体検出の結果を重複判定部９１および中解像度判定部９４に供給するとともに、中解像度画像の各領域の被写体らしさを示す値を中解像度判定部９４に供給する。また、被写体検出部８１−３は、低解像度画像に対する被写体検出の結果を重複判定部９１および低解像度判定部９３に供給するとともに、低解像度画像の各領域の被写体らしさを示す値を低解像度判定部９３に供給する。

ステップＳ１３において、重複判定部９１は、被写体検出部８１から供給された被写体の検出結果に基づいて重複判定処理を行う。

具体的には、重複判定部９１は、高解像度画像、中解像度画像、および低解像度画像の３つの異なる解像度の画像について、それらのうちの任意の２つの画像同士の重複度を計算する。このとき、重複度の計算は、２つの異なる解像度の画像の組み合わせとして取り得る全ての組について行われる。

例えば、同じ被写体が重なるように２つの異なる解像度の画像を並べたときに、図４に示すように被写体領域の一部分が重なっているとする。

ここで、被写体領域ＨＲ１１は、処理対象となっている２つの異なる解像度の画像のうちの一方の画像についての被写体の検出結果として得られた被写体の領域を示している。また、被写体領域ＨＲ１２は、処理対象の２つの異なる解像度の画像のうちの他方の画像についての被写体の検出結果として得られた被写体の領域を示している。

なお、２つの画像を重ね合わせるときには、それらの画像のサイズ（解像度）が同じ大きさとなるように画像に対する拡大処理が行われる。例えば、各画像が高解像度画像と同じサイズとなるように、中解像度画像や低解像度画像に対してアップサンプリングが行われる。

図４では、被写体領域ＨＲ１１と被写体領域ＨＲ１２の一部の領域が重なっている。この例では、被写体領域ＨＲ１１のうち、被写体領域ＨＲ１２と重なっていない（重複していない）領域が領域Ｒ１であり、被写体領域ＨＲ１２と重なっている重複領域が領域Ｒ３である。また、被写体領域ＨＲ１２のうち、被写体領域ＨＲ１１と重なっていない領域が領域Ｒ２である。

重複判定部９１は、被写体領域ＨＲ１１や被写体領域ＨＲ１２の面積に対して、重複領域である領域Ｒ３の面積がどの程度の大きさであるか、すなわち、被写体領域ＨＲ１１と被写体領域ＨＲ１２とがどの程度重なっているかを示す重複度F‐measureを算出する。

より具体的には、重複判定部９１は、領域Ｒ１乃至領域Ｒ３の各領域の面積に基づいて、次式（１）を計算することにより、重複度F‐measureを算出する。

なお、式（１）において、Ｒ１、Ｒ２、およびＲ３は、それぞれ図４における領域Ｒ１の面積、領域Ｒ２の面積、および領域Ｒ３の面積を示している。

重複判定部９１は、全ての解像度の組み合わせについて重複度の計算を行う。この例では、高解像度画像と中解像度画像の組、高解像度画像と低解像度画像の組、および中解像度画像と低解像度画像の組について、重複度の計算が行われる。

そして、重複判定部９１は求めた重複度が予め定めた閾値以上である場合、その重複度の算出対象となった２つの画像、より詳細には画像の被写体領域は重複していると判定する。重複判定部９１は、各解像度の画像について、その画像と重複しているとされた他の解像度の画像の数を示す重複個数情報を、それらの解像度の画像についての重複判定の結果として、多数決判定部９２に供給する。

例えば高解像度画像に注目すると、高解像度画像と中解像度画像が重複しており、高解像度画像と低解像度画像が重複していない場合には、高解像度画像の重複個数情報は「１」を示す情報となる。

重複判定部９１は、各解像度の画像の重複個数情報と、被写体の検出結果、すなわち被写体領域を示す情報とを多数決判定部９２に供給する。

ステップＳ１４において、多数決判定部９２は、重複判定部９１から供給された重複個数情報に基づいて、互いに異なる解像度の画像上の被写体領域同士の重複があったか否かを判定する。

例えば、各解像度の画像の重複個数情報が全て「０」である場合、各解像度の画像上の被写体領域同士は重なっていないので、重複がないと判定される。

ステップＳ１４において、重複があったと判定された場合、ステップＳ１５において、多数決判定部９２は、重複判定部９１から供給された重複個数情報と被写体の検出結果とに基づいて、多数決判定処理を行う。

具体的には、多数決判定部９２は各解像度の画像の重複個数情報のうち、最も大きい数を示す重複個数情報が得られた解像度の画像の被写体領域を、撮影画像（高解像度画像）から検出された最終的な被写体の領域であるとする。

そして、多数決判定部９２は、その最終的な被写体領域を示す情報を出力部８４に供給する。例えば、被写体領域を示す情報として、被写体領域の位置および大きさを示す情報が出力される。具体的には、画像上の被写体領域を表す矩形の一点の座標と、被写体領域を表す矩形の各辺の長さを示す情報とが被写体領域を示す情報などとされる。

各解像度の画像のうちの、被写体領域の重複がある他の解像度の画像の数が最も多い画像から検出された被写体領域は、各解像度の画像から検出された被写体領域のなかで、最も確からしいものであるということができる。そこで、多数決判定処理では、重複個数情報が最も大きい画像の被写体領域が、最終的な被写体領域として採用される。換言すれば、重複個数情報に基づく多数決によって被写体領域が決定される。

なお、重複個数情報が最も大きい画像が複数ある場合には、多数決判定部９２は、それらの最も大きい重複個数情報を有する画像のうち、解像度が最も低い画像の被写体領域を、最終的な被写体領域として採用する。例えば、各解像度の画像のうち、高解像度画像と中解像度画像の重複個数情報が最大となるときには、中解像度画像の被写体領域が最終的な被写体領域として採用される。

これは解像度変換を行うと、解像度の低い画像ほどノイズが少なくなるので、被写体領域の検出精度がより高くなるためである。より解像度の大きい画像では小さい被写体の検出精度は高いが、大きい被写体の検出は不得手であり、より解像度の低い画像では、被写体の領域の大きさによらず、安定してある程度高い精度で被写体領域を検出できることが知られている。また、同様の理由から後述する信頼度判定においても、より解像度の低い画像から順番に処理が行われる。

多数決判定処理が行われると、その後、処理はステップＳ２２へと進む。

また、ステップＳ１４において、重複がないと判定された場合、多数決判定処理では被写体領域を決定することができないので、多数決判定部９２は、被写体検出の信頼度に基づいて被写体領域を決定する処理の実行を低解像度判定部９３に指示し、処理はステップＳ１６へと進む。なお、全ての重複個数情報が所定の閾値以下である場合に、多数決判定処理では被写体領域を決定できないとされるようにしてもよい。

ステップＳ１６において、低解像度判定部９３は、低解像度画像の信頼度が閾値以上であるか否かを判定する。

具体的には、低解像度判定部９３は、被写体検出部８１−３から供給された低解像度画像の各領域における被写体らしさを示す値に基づいて、低解像度画像についての被写体領域検出の信頼度を算出する。例えば、低解像度画像から検出された被写体領域内の各領域の被写体らしさを示す値と、被写体領域外にある被写体領域近傍の各領域の被写体らしさを示す値との差が大きい程、信頼度は大きくなるように信頼度が求められる。

そして、このようにして求めた信頼度が閾値以上である場合、低解像度画像についての被写体の検出結果は、十分信頼できるものであるとされる。

ステップＳ１６において、信頼度が閾値以上であると判定された場合、ステップＳ１７において、低解像度判定部９３は、低解像度画像の被写体検出の結果を最終的な被写体領域として出力部８４に供給する。すなわち、被写体領域を示す情報が出力部８４に供給される。被写体領域が出力されると、その後、処理はステップＳ２２へと進む。

一方、ステップＳ１６において信頼度が閾値以上でないと判定された場合、低解像度画像についての被写体の検出結果は十分信頼できるものではないので、低解像度判定部９３は中解像度判定部９４に信頼度判定の実行を指示し、処理はステップＳ１８へと進む。

ステップＳ１８において、中解像度判定部９４は、中解像度画像の信頼度が閾値以上であるか否かを判定する。

具体的には、中解像度判定部９４は、被写体検出部８１−２から供給された中解像度画像の各領域における被写体らしさを示す値に基づいて、低解像度画像における場合と同様の計算により信頼度を算出し、予め定めた閾値と比較する。

ステップＳ１８において、信頼度が閾値以上であると判定された場合、ステップＳ１９において、中解像度判定部９４は、中解像度画像の被写体検出の結果を最終的な被写体領域として出力部８４に供給する。被写体領域が出力されると、その後、処理はステップＳ２２へと進む。

これに対して、ステップＳ１８において信頼度が閾値以上でないと判定された場合、中解像度画像についての被写体の検出結果は十分信頼できるものではないので、中解像度判定部９４は高解像度判定部９５に信頼度判定の実行を指示し、処理はステップＳ２０へと進む。

ステップＳ２０において、高解像度判定部９５は、高解像度画像の信頼度が閾値以上であるか否かを判定する。

具体的には、高解像度判定部９５は、被写体検出部８１−１から供給された高解像度画像の各領域における被写体らしさを示す値に基づいて、低解像度画像における場合と同様の計算により信頼度を算出し、予め定めた閾値と比較する。

ステップＳ２０において、信頼度が閾値以上であると判定された場合、ステップＳ２１において、高解像度判定部９５は、高解像度画像の被写体検出の結果を最終的な被写体領域として出力部８４に供給する。被写体領域が出力されると、その後、処理はステップＳ２２へと進む。

一方、ステップＳ２０において信頼度が閾値以上でないと判定された場合、全ての解像度の画像についての被写体の検出結果は十分信頼できるものではないので、高解像度判定部９５は、撮影画像から十分な信頼度で被写体が検出されなかった旨の情報を出力部８４に供給する。そして、その後、処理はステップＳ２２へと進む。

ステップＳ１５、ステップＳ１７、ステップＳ１９、若しくはステップＳ２１において被写体領域が出力されたか、またはステップＳ２０において信頼度が閾値以上でないと判定され、十分な信頼度で被写体が検出されなかった旨の情報が出力されると、ステップＳ２２の処理が行われる。

すなわち、ステップＳ２２において、出力部８４は、多数決判定部９２、低解像度判定部９３、中解像度判定部９４、または高解像度判定部９５から供給された被写体領域を示す情報を、最終的な被写体領域を示す被写体情報として出力し、被写体情報出力処理は終了する。なお、十分な信頼度で被写体が検出されなかった旨の情報が供給された場合、出力部８４は、被写体が検出されなかった旨の情報を出力する。

出力部８４から出力された被写体情報は、撮像装置１１の各部において利用される。

例えば、CPU５１は出力部８４から供給された被写体情報に基づいてドライバ３１を制御し、撮影画像上の被写体にピントが合うようにフォーカス制御を行わせる。また、例えばカメラ信号処理部４４は、出力部８４から出力された被写体情報に基づいて、撮影画像上の被写体の領域内の明るさやホワイトバランスが一定になるように、撮影画像に対する明るさ調整やホワイトバランス調整を行って、それらの調整が行われた撮影画像を表示制御部４８やメディア制御部４９に出力する。その他、被写体情報は、被写体領域内の色味の調整など、どのようなものに利用されてもよい。

以上のようにして、撮像装置１１は、解像度の異なる複数の画像に対して被写体検出処理を行い、その検出結果の重複度合いを求めるとともに、得られた重複度合いに基づいて多数決判定を行い、最終的な被写体領域を決定する。また、撮像装置１１は、多数決判定で被写体領域を決定することができない場合には、各解像度の画像の信頼度に基づいて、最終的な被写体領域を決定する。

このように多数決判定を行うことで、多数決により他の解像度の画像との重複が少ない検出結果、すなわち誤検出を排除し、より高精度に被写体を検出することができる。また、多数決判定で被写体領域を決定できないときにも、各解像度の信頼度に基づいて被写体領域を決定することで、十分な精度で被写体を検出することができる。

したがって、被写体を検出することが困難なシーン、例えば前景と背景の色が類似しているシーンや、いくつかの被写体が重なっているようなシーンなどにおいても、高精度に被写体を検出することができるようになる。

また、高精度に被写体を検出できるようになることで、これまでフォーカスを合わせにくかったシーンにおいても、高精度の自動合焦を実現することができ、また色味を合わせることが困難であったシーンでも自動色補正の実現が可能となる。そのため、ユーザは、より簡単に見栄えの良い画像を撮影することができるようになる。

さらに、高精度に被写体を検出できるようになることで、その検出結果を積極的に表示ユーザインターフェースに利用することができ、ユーザに対してインテリジェントなインターフェースを提供することができるようになる。

〈第２の実施の形態〉
〈被写体情報出力処理の説明〉
なお、以上においては、多数決判定部９２における多数決判定により、各解像度の画像の被写体検出の結果のなかから、尤もらしい結果を選択する例について説明したが、いくつかの検出結果に基づいて、被写体領域を算出するようにしてもよい。すなわち、多数決判定により、信頼度の低い検出結果を除外し、残った検出結果が用いられて最終的な被写体領域が求められるようにしてもよい。

そのような場合、撮像装置１１は、例えば図５に示す被写体情報出力処理を行う。以下、図５のフローチャートを参照して、撮像装置１１による被写体情報出力処理について説明する。なお、ステップＳ５１乃至ステップＳ５４の処理は、図３のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

ステップＳ５４において、重複があったと判定されると、ステップＳ５５において、多数決判定部９２は、多数決判定により重複のない検出結果を除外する。

すなわち、多数決判定部９２は、重複判定部９１から供給された重複個数情報に基づいて、各解像度の画像の被写体の検出結果のうち、重複個数情報が「０」である検出結果を除外する。ここで、重複個数情報が「０」である解像度の画像から検出された被写体領域は、他のどの解像度の画像から検出された被写体領域とも重なっていないので、その被写体領域の検出結果は誤検出である可能性が高い。

逆に、他の解像度の画像から検出された被写体領域との重複のある被写体検出結果は、誤検出である可能性は低い。そこで、多数決判定部９２では、重複個数情報に基づく多数決判定により信頼度の低い被写体検出結果が除外され、除外されずに残った、他の解像度の画像から検出された被写体領域との重複のある被写体検出結果に基づいて、最終的な被写体領域が求められる。

ステップＳ５６において、多数決判定部９２は、除外されずに残った被写体検出結果に基づいて、検出結果の加重平均を求めることで、最終的な被写体領域を求める。すなわち、除外されていない各被写体領域を加重平均することで得られた新たな１つの矩形領域が、最終的な被写体領域とされる。加重平均の計算では、各被写体領域の対応する辺の位置の重みつき平均値が求められ、得られた位置が最終的な被写体領域の対応する辺の位置とされる。ここで、各被写体領域に対する重みは、例えば重複個数情報により示される値（数）が大きい被写体領域ほど大きくなるようにされる。

このようにして最終的な被写体領域が求められると、多数決判定部９２は、その最終的な被写体領域を示す情報を出力部８４に供給し、処理はステップＳ６３に進む。

ステップＳ５６において加重平均により被写体領域が求められると、その後、ステップＳ５７乃至ステップＳ６３の処理が行われて被写体情報出力処理は終了するが、これらの処理は図３のステップＳ１６乃至ステップＳ２２の処理と同様であるので、その説明は省略する。

以上のようにして、撮像装置１１は、解像度の異なる複数の画像に対して被写体検出処理を行い、その検出結果の重複度合いを求めるとともに、多数決判定により得られた重複度合いに基づいて被写体の検出結果の加重平均を求め、最終的な被写体領域とする。また、撮像装置１１は、多数決判定で被写体領域を決定することができない場合には、各解像度の画像の信頼度に基づいて、最終的な被写体領域を決定する。

このように加重平均により最終的な被写体領域を求めることでも、確からしい検出結果のみを用いて、より高精度に被写体を検出することができる。また、多数決判定で被写体領域を決定できないときにも、各解像度の信頼度に基づいて被写体領域を決定することで、十分な精度で被写体を検出することができる。

なお、ここではいくつかの被写体検出結果を用いて最終的な被写体領域を求める例として、加重平均を求める場合について説明したが、その他、どのような方法により最終的な被写体領域を求めてもよい。

例えば、除外されずに残った複数の検出結果から、それらの検出結果としての被写体領域全てを含む１つの矩形領域が、最終的な被写体領域とされてもよい。また、例えば除外されずに残った全ての被写体領域が重なっている領域、つまり全ての解像度の画像において被写体の領域であるとされた領域のみが最終的な被写体領域とされるようにしてもよい。

さらに、重複個数情報が所定の数以上である解像度の画像から検出された被写体領域のみが用いられて、最終的な被写体領域が求められるようにしてもよい。また、重複個数情報が大きい順に所定数の被写体領域を選択し、それらの被写体領域から最終的な被写体領域が求められるようにしてもよい。

〈第３の実施の形態〉
〈カメラ信号処理部の構成例〉
さらに、以上においては、被写体の検出対象となる画像に対して行われる複数回の被写体検出処理として、解像度の異なる画像のそれぞれに対する同じ処理内容の被写体検出処理が行われる例について説明した。しかし、複数回の被写体検出処理として、同じ解像度の画像に対して、互いに異なる処理内容の複数の被写体検出処理が行われるようにしてもよい。

そのような場合、カメラ信号処理部４４は、例えば図６に示すように構成される。なお、図６において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図６に示すカメラ信号処理部４４は、被写体検出部１２１−１乃至被写体検出部１２１−３、被写体領域決定部８２、信頼度判定部８３、および出力部８４を有している。

被写体検出部１２１−１乃至被写体検出部１２１−３には、同じ解像度の撮影画像、すなわち同じ高解像度画像が供給される。

被写体検出部１２１−１乃至被写体検出部１２１−３は、供給された撮影画像に対して被写体検出処理を行って撮影画像から被写体領域を検出し、その検出結果を被写体領域決定部８２および信頼度判定部８３に供給する。

なお、以下、被写体検出部１２１−１乃至被写体検出部１２１−３を特に区別する必要のない場合、単に被写体検出部１２１とも称することとする。

ここで、各被写体検出部１２１では、同じ撮影画像に対して、それぞれ異なるアルゴリズムで被写体検出が行われる。換言すれば、各被写体検出部１２１では、処理対象となる撮影画像は同じであるが、それぞれ異なる処理内容の被写体検出処理が行われる。これらの複数の被写体検出処理は、被写体の検出結果として同一の結果が期待される処理とされる。

以下では、各被写体検出部１２１により行われる被写体検出処理を区別するため、被写体検出部１２１−１、被写体検出部１２１−２、および被写体検出部１２１−３により行われる被写体検出処理を被写体検出処理Ｄ１、被写体検出処理Ｄ２、および被写体検出処理Ｄ３とも称することとする。

また、図６に示す信頼度判定部８３は、検出処理判定部１２２、検出処理判定部１２３、および検出処理判定部１２４を備えている。

検出処理判定部１２２は、多数決判定部９２の指示に従って、被写体検出部１２１−３から供給された被写体検出処理Ｄ３による被写体の検出結果に基づいて、その検出結果の信頼度判定を行う。検出処理判定部１２２は、信頼度判定の結果、被写体検出処理Ｄ３による被写体検出の結果が十分信頼できるものである場合、被写体検出処理Ｄ３による被写体検出の結果を最終的な被写体領域として出力部８４に供給する。また、検出処理判定部１２２は、信頼度判定の結果、被写体検出処理Ｄ３による被写体検出の結果が十分信頼できるものでない場合、検出処理判定部１２３に信頼度判定の実行を指示する。

検出処理判定部１２３は、検出処理判定部１２２の指示に従って、被写体検出部１２１−２から供給された被写体検出処理Ｄ２による被写体の検出結果に基づいて、その検出結果の信頼度判定を行う。検出処理判定部１２３は、信頼度判定の結果、被写体検出処理Ｄ２による被写体検出の結果が十分信頼できるものである場合、被写体検出処理Ｄ２による被写体検出の結果を最終的な被写体領域として出力部８４に供給する。また、検出処理判定部１２３は、信頼度判定の結果、被写体検出処理Ｄ２による被写体検出の結果が十分信頼できるものでない場合、検出処理判定部１２４に信頼度判定の実行を指示する。

検出処理判定部１２４は、検出処理判定部１２３の指示に従って、被写体検出部１２１−１から供給された被写体検出処理Ｄ１による被写体の検出結果に基づいて、その検出結果の信頼度判定を行う。検出処理判定部１２４は、信頼度判定の結果、被写体検出処理Ｄ１による被写体検出の結果が十分信頼できるものである場合、被写体検出処理Ｄ１による被写体検出の結果を最終的な被写体領域として出力部８４に供給する。また、検出処理判定部１２４は、信頼度判定の結果、被写体検出処理Ｄ１による被写体検出の結果が十分信頼できるものでない場合、撮影画像から被写体が十分な信頼度で検出されなかった旨の情報を出力部８４に供給する。

〈被写体情報出力処理の説明〉
続いて、カメラ信号処理部４４が図６に示す構成とされる場合における撮像装置１１の動作について説明する。この場合、撮像装置１１は、図７に示す被写体情報出力処理を行う。以下、図７のフローチャートを参照して、撮像装置１１による被写体情報出力処理について説明する。

ステップＳ９１において、被写体検出部１２１−１乃至被写体検出部１２１−３は、供給された撮影画像（高解像度画像）に対して被写体検出処理を行って、その検出結果を重複判定部９１および信頼度判定部８３に供給する。

具体的には、被写体検出部１２１−１は被写体検出処理Ｄ１を行って撮影画像から被写体を検出し、被写体検出部１２１−２は被写体検出処理Ｄ２を行って撮影画像から被写体を検出する。また、被写体検出部１２１−３は被写体検出処理Ｄ３を行って撮影画像から被写体を検出する。

例えば、被写体検出処理Ｄ１は被写体マップを利用して被写体を検出する処理などとされ、被写体検出処理Ｄ２は変形ＨＳＶ空間における色距離に基づいて被写体を検出する処理などとされ、被写体検出処理Ｄ３は識別器を用いる処理などとされる。なお、被写体検出処理Ｄ１乃至被写体検出処理Ｄ３は、予め適宜定めておけば、どのような処理であってもよい。

また、被写体検出部１２１−１乃至被写体検出部１２１−３は、被写体を検出するために撮影画像の各領域から抽出された特徴量など、各領域における被写体らしさを示す値を検出処理判定部１２２乃至検出処理判定部１２４に供給する。

ステップＳ９１で被写体が検出されると、その後、ステップＳ９２乃至ステップＳ９４の処理が行われるが、これらの処理は図３のステップＳ１３乃至ステップＳ１５の処理と同様であるので、その説明は省略する。

但し、ステップＳ９４の多数決判定では、重複個数情報が最も大きい画像が複数ある場合には、多数決判定部９２は、それらの最も大きい重複個数情報を有する画像のうち、予め定められた順番により定まる被写体検出処理が行われた画像の被写体領域を、最終的な被写体領域として採用する。ここで、予め定められた順番とは、被写体検出処理Ｄ３、被写体検出処理Ｄ２、および被写体検出処理Ｄ１の順番である。したがって、被写体検出処理Ｄ３乃至被写体検出処理Ｄ１の順番で、被写体の検出結果が最終的な被写体領域として選択される。なお、被写体検出処理の順番は、被写体の検出精度や用途に応じて予め定めておけばよい。

ステップＳ９４の処理が行われると、その後、処理はステップＳ１０１へと進む。

また、ステップＳ９３において、重複がないと判定された場合、多数決判定部９２は、被写体検出の信頼度に基づいて被写体領域を決定する処理の実行を検出処理判定部１２２に指示し、処理はステップＳ９５へと進む。

ステップＳ９５において、検出処理判定部１２２は、被写体検出処理Ｄ３による被写体検出の信頼度が閾値以上であるか否かを判定する。

具体的には、検出処理判定部１２２は、被写体検出部１２１−３から供給された撮影画像の各領域における被写体らしさを示す値に基づいて、被写体検出処理Ｄ３による被写体領域検出の信頼度を算出する。例えば、図３のステップＳ１６における場合と同様の計算により、信頼度が求められる。

ステップＳ９５において、信頼度が閾値以上であると判定された場合、ステップＳ９６において、検出処理判定部１２２は、被写体検出処理Ｄ３による被写体検出の結果を最終的な被写体領域として出力部８４に供給する。すなわち、被写体領域を示す情報が出力部８４に供給される。被写体領域が出力されると、その後、処理はステップＳ１０１へと進む。

一方、ステップＳ９５において信頼度が閾値以上でないと判定された場合、検出処理判定部１２２は検出処理判定部１２３に信頼度判定の実行を指示し、処理はステップＳ９７へと進む。

ステップＳ９７において、検出処理判定部１２３は、被写体検出処理Ｄ２による被写体検出の信頼度が閾値以上であるか否かを判定する。

具体的には、検出処理判定部１２３は、被写体検出部１２１−２から供給された各領域における被写体らしさを示す値に基づいて、被写体検出処理Ｄ３の信頼度算出における場合と同様の計算により信頼度を算出し、予め定めた閾値と比較する。

ステップＳ９７において、信頼度が閾値以上であると判定された場合、ステップＳ９８において、検出処理判定部１２３は、被写体検出処理Ｄ２による被写体検出の結果を最終的な被写体領域として出力部８４に供給する。被写体領域が出力されると、その後、処理はステップＳ１０１へと進む。

これに対して、ステップＳ９７において信頼度が閾値以上でないと判定された場合、被写体検出処理Ｄ２による被写体の検出結果は十分信頼できるものではないので、検出処理判定部１２３は検出処理判定部１２４に信頼度判定の実行を指示し、処理はステップＳ９９へと進む。

ステップＳ９９において、検出処理判定部１２４は、被写体検出処理Ｄ１による被写体検出の信頼度が閾値以上であるか否かを判定する。

具体的には、検出処理判定部１２４は、被写体検出部１２１−１から供給された各領域における被写体らしさを示す値に基づいて、被写体検出処理Ｄ３の信頼度算出における場合と同様の計算により信頼度を算出し、予め定めた閾値と比較する。

ステップＳ９９において、信頼度が閾値以上であると判定された場合、ステップＳ１００において、検出処理判定部１２４は、被写体検出処理Ｄ１による被写体検出の結果を最終的な被写体領域として出力部８４に供給する。被写体領域が出力されると、その後、処理はステップＳ１０１へと進む。

一方、ステップＳ９９において信頼度が閾値以上でないと判定された場合、全ての被写体検出処理による検出結果は十分信頼できるものではないので、検出処理判定部１２４は、撮影画像から十分な信頼度で被写体が検出されなかった旨の情報を出力部８４に供給する。そして、その後、処理はステップＳ１０１へと進む。

ステップＳ９４、ステップＳ９６、ステップＳ９８、若しくはステップＳ１００において被写体領域が出力されたか、またはステップＳ９９において信頼度が閾値以上でないと判定され、十分な信頼度で被写体が検出されなかった旨の情報が出力されると、ステップＳ１０１の処理が行われる。

すなわち、ステップＳ１０１において、出力部８４は、多数決判定部９２、検出処理判定部１２２、検出処理判定部１２３、または検出処理判定部１２４から供給された被写体領域を示す情報を、最終的な被写体領域を示す被写体情報として出力し、被写体情報出力処理は終了する。なお、十分な信頼度で被写体が検出されなかった旨の情報が供給された場合、出力部８４は、被写体が検出されなかった旨の情報を出力する。

以上のようにして、撮像装置１１は、撮影画像に対して互いに異なる複数の被写体検出処理を行い、その検出結果の重複度合いを求めるとともに、得られた重複度合いに基づいて多数決判定を行い、最終的な被写体領域を決定する。また、撮像装置１１は、多数決判定で被写体領域を決定することができない場合には、各被写体検出処理の信頼度に基づいて、最終的な被写体領域を決定する。

このように多数決判定を行うことで、多数決により他の解像度の画像との重複が少ない検出結果、すなわち誤検出を排除し、より高精度に被写体を検出することができる。また、多数決判定で被写体領域を決定できないときにも、各被写体検出処理の信頼度に基づいて被写体領域を決定することで、十分な精度で被写体を検出することができる。

なお、カメラ信号処理部４４が図６に示す構成とされる場合においても、第２の実施の形態で説明した多数決判定により、最終的な被写体領域が決定されるようにしてもよい。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。

図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ５０１，ＲＯＭ５０２，ＲＡＭ５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本技術は、以下の構成とすることも可能である。

（１）
被写体検出処理を行って入力画像から被写体領域を検出する被写体検出部と、
複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域に基づく多数決処理によって、最終的な前記被写体領域を決定する被写体領域決定部と
を備える画像処理装置。
（２）
前記被写体領域決定部は、
前記複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域のそれぞれについて、２つの前記被写体領域同士の重複度を算出する重複判定部と、
前記重複度に基づいて前記多数決処理により前記最終的な前記被写体領域を決定する多数決判定部と
を備える（１）に記載の画像処理装置。
（３）
前記重複判定部は、前記重複度に基づいて前記被写体領域同士が重複しているか否かを判定し、
前記多数決判定部は、前記重複判定部による判定によって得られる、前記被写体検出処理で得られた前記被写体領域の他の被写体検出処理で得られた前記被写体領域との重複数に基づいて前記多数決処理を行う
（２）に記載の画像処理装置。
（４）
前記多数決判定部は、前記重複数が最も大きい前記被写体領域を、前記最終的な前記被写体領域とする
（３）に記載の画像処理装置。
（５）
前記多数決判定部は、前記重複数に基づいて信頼度の低い前記被写体領域を除外し、除外されずに残った前記被写体領域に基づいて、前記最終的な前記被写体領域を求める
（３）に記載の画像処理装置。
（６）
前記複数回の前記被写体検出処理として、互いに異なる複数の解像度の前記入力画像に対する同じ前記被写体検出処理が行われる
（１）乃至（５）の何れか一項に記載の画像処理装置。
（７）
前記複数回の前記被写体検出処理として、同じ前記入力画像に対する互いに異なる前記被写体検出処理が行われる
（１）乃至（５）の何れか一項に記載の画像処理装置。
（８）
前記多数決処理により前記最終的な前記被写体領域が得られない場合、前記複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域の信頼度に基づいて、複数の前記被写体領域から前記最終的な前記被写体領域を決定する信頼度判定部をさらに備える
（１）乃至（７）の何れか一項に記載の画像処理装置。
（９）
被写体検出処理を行って入力画像から被写体領域を検出し、
複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域に基づく多数決処理によって、最終的な前記被写体領域を決定する
ステップを含む画像処理方法。
（１０）
被写体検出処理を行って入力画像から被写体領域を検出し、
複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域に基づく多数決処理によって、最終的な前記被写体領域を決定する
ステップを含む処理をコンピュータに実行させるプログラム。

１１ 撮像装置， ４４ カメラ信号処理部， ４５ 解像度変換部， ８１−１乃至８１−３，８１ 被写体検出部， ８２ 被写体領域決定部， ８３ 信頼度判定部， ９１ 重複判定部， ９２ 多数決判定部， １２１−１乃至１２１−３，１２１ 被写体検出部

Claims (10)

1. 被写体検出処理を行って入力画像から被写体領域を検出する被写体検出部と、
   複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域に基づく多数決処理によって、最終的な前記被写体領域を決定する被写体領域決定部と
   を備える画像処理装置。
2. 前記被写体領域決定部は、
   前記複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域のそれぞれについて、２つの前記被写体領域同士の重複度を算出する重複判定部と、
   前記重複度に基づいて前記多数決処理により前記最終的な前記被写体領域を決定する多数決判定部と
   を備える請求項１に記載の画像処理装置。
3. 前記重複判定部は、前記重複度に基づいて前記被写体領域同士が重複しているか否かを判定し、
   前記多数決判定部は、前記重複判定部による判定によって得られる、前記被写体検出処理で得られた前記被写体領域の他の被写体検出処理で得られた前記被写体領域との重複数に基づいて前記多数決処理を行う
   請求項２に記載の画像処理装置。
4. 前記多数決判定部は、前記重複数が最も大きい前記被写体領域を、前記最終的な前記被写体領域とする
   請求項３に記載の画像処理装置。
5. 前記多数決判定部は、前記重複数に基づいて信頼度の低い前記被写体領域を除外し、除外されずに残った前記被写体領域に基づいて、前記最終的な前記被写体領域を求める
   請求項３に記載の画像処理装置。
6. 前記複数回の前記被写体検出処理として、互いに異なる複数の解像度の前記入力画像に対する同じ前記被写体検出処理が行われる
   請求項１に記載の画像処理装置。
7. 前記複数回の前記被写体検出処理として、同じ前記入力画像に対する互いに異なる前記被写体検出処理が行われる
   請求項１に記載の画像処理装置。
8. 前記多数決処理により前記最終的な前記被写体領域が得られない場合、前記複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域の信頼度に基づいて、複数の前記被写体領域から前記最終的な前記被写体領域を決定する信頼度判定部をさらに備える
   請求項１に記載の画像処理装置。
9. 被写体検出処理を行って入力画像から被写体領域を検出し、
   複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域に基づく多数決処理によって、最終的な前記被写体領域を決定する
   ステップを含む画像処理方法。
10. 被写体検出処理を行って入力画像から被写体領域を検出し、
    複数回の前記被写体検出処理のそれぞれで検出された前記被写体領域に基づく多数決処理によって、最終的な前記被写体領域を決定する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images