JP2018120642A

JP2018120642A - 被写体検出装置、被写体検出方法及びプログラム

Info

Publication number: JP2018120642A
Application number: JP2018091270A
Authority: JP
Inventors: 正雄山中; Masao Yamanaka; 優和真継; Masakazu Matsugi; 克彦森; Katsuhiko Mori
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-05-10
Filing date: 2018-05-10
Publication date: 2018-08-02
Anticipated expiration: 2034-04-15
Also published as: JP6580201B2

Abstract

【課題】より頑健に画像中の主被写体を検出できるようにする。【解決手段】入力画像上のある点（画素）に対して、まず、予め定められた大きさの第１の部分領域と第２の部分領域とを設定する。また、第２の部分領域において第１の情報量を算出し、その大きさに基づいて第３の部分領域を設定する。さらに、第１の部分領域と第２の部分領域とにおける特徴量の統計的分布の相違に基づく顕著度と、第３の部分領域における特徴量が有する情報量とに基づいてスコアを算出する。最終的に、画像上の各点におけるスコアを算出し、所定の統計処理を適用することにより主被写体を検出する。【選択図】図１

Description

本発明は、特に、主被写体を検出するために用いて好適な被写体検出装置、被写体検出方法及びプログラムに関する。

従来、入力画像から主被写体を検出する方法として、例えば特許文献１に記載されているような方法が提案されている。特許文献１に記載の方法では、まず、自動分割アルゴリズムを用いて入力画像を複数の部分領域に分割する。また、得られた部分領域のうちの一つとその他の部分領域との特徴量に対する差分の重み付き和に基づいて当該部分領域における顕著度を算出する。さらに、得られた顕著度に基づいて画像中の主被写体を検出する。

また、入力画像から主被写体を検出する他の方法として、例えば非特許文献１に記載されているような方法も提案されている。非特許文献１に記載の方法では、まず、入力画像から複数種類の特徴量を抽出し、その特徴量に対する多重解像度画像を生成する。また、得られた多重解像度画像の各種類に対して大きさの異なる２つの部分領域を設定し、この２つの部分領域から抽出した特徴量に対する統計的分布の相違（カルバック−ライブラー・ダイバージェンス）に基づいて顕著度を算出する。さらに、多重解像度画像の各種類で得られた顕著度を統合して顕著度画像を生成し、最終的に、得られた顕著度画像に基づいて画像中の主被写体を検出する。

さらに、入力画像から主被写体（またはその部分領域）を検出するその他の方法として、例えば非特許文献２に記載されているような方法も提案されている。非特許文献２に記載の方法では、まず、入力画像から複数種類の特徴量を抽出し、その特徴量に対する多重解像度画像を生成し、多重解像度画像の各種類について大きさの異なる２つの部分領域を設定する。そして、この２つの部分領域から抽出した特徴量に対する統計的分布の相違（スケール重み付き確率分布間距離）と、２つの部分領域のうちの一方から抽出した特徴量に対する情報量（情報エントロピー）との積に基づいて顕著度を算出する。さらに、多重解像度画像の各種類で得られた顕著度を統合することにより顕著度画像を生成し、最終的に、得られた顕著度画像に基づいて画像中の主被写体（またはその部分領域）を検出する。

特開２０１２−２４３３１３号公報

A. Dominik et al., Center-surround Divergence of Feature Statistics for Salient Object Detection, ICCV2011 T. Kadir et al., An affine invariant salient region detector, ECCV2004. 大津展之：判別および最小２乗法に基づく自動しきい値選定法, 電子通信学会論文誌, J63-D-4 (1980-4), 349.356. Lowe, D.G.: Object recognition from local scale invariant features, Proc. of IEEE International Conference on Computer Vision, pp. 1150.1157(1999). T. Lindeberg (1994). Scale-Space Theory in Computer Vision. Springer. ISBN 0-7923-9418-6. E. Sharon, A. Brandt, and R. Basri, Fast multiscale image segmentation Proc. IEEE Computer Vision and Pattern Recognition, pp. 70-77, 2000.

前述したように、特許文献１及び非特許文献１に記載の方法では、入力画像中の特徴量に対する統計的分布の相違に基づいて顕著度を算出し、得られた顕著度に基づいて画像中の主被写体を検出する。しかしながら、画像中の主被写体が視覚的に顕著でない場合には主被写体の検出精度が低下するという問題がある。

また、非特許文献２に記載の方法では、入力画像中の主被写体の含有する情報量の大きさ（情報エントロピー）を算出し、得られた情報量の大きさ（情報エントロピー）に基づいて画像中の主被写体を検出する。しかしながら、環境的または観測的要因によるノイズの影響を受けやすく、主被写体の検出精度が低下するという問題がある。

本発明は前述の問題点に鑑み、より頑健に画像中の主被写体を検出できるようにすることを目的としている。

本発明に係る被写体検出装置は、入力画像上に、第１の領域と、該第１の領域の周囲を含む第２の領域と、前記第１の領域を含む第３の領域とを設定する設定手段と、前記第１及び第２の領域のそれぞれから同一種類の特徴量を抽出する第１の抽出手段と、前記第１及び第２の領域のそれぞれから抽出された前記同一種類の特徴量の相違に基づいて顕著度を導出する導出手段と、前記第３の領域からエッジ特徴量を抽出する第２の抽出手段と、
前記顕著度と前記エッジ特徴量とに基づいて前記入力画像における主被写体を検出する検出手段と、を有することを特徴とする。

本発明によれば、主被写体が視覚的に顕著でない場合や、環境的または観測的要因によるノイズが生じている場合であっても、より頑健に画像中の主被写体を検出することができる。

実施形態に係る主被写体検出装置の機能構成例を示すブロック図である。主被写体を識別する処理手順の一例を示すフローチャートである。第１及び第２の実施形態における第１の部分領域と第２の部分領域との関係を説明するための図である。第１の実施形態における正方形の第３の部分領域を説明するための図である。第１の実施形態における矩形の第３の部分領域を説明するための図である。第１の実施形態における円形の第３の部分領域を説明するための図である。第１の実施形態における楕円形の第３の部分領域を説明するための図である。部分領域における特徴量の統計的分布の相違に基づいて顕著度を算出する手順を説明するための図である。スコアマップから主被写体を検出する手順を説明するための図である。第２の実施形態において、第３の部分領域を求める手順を説明するための図である。第２の実施形態における第３の部分領域を説明するための図である。第３の実施形態における第１の部分領域と第２の部分領域との関係を説明するための図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図１〜図９を参照しながら説明する。
図１は、本実施形態に係る主被写体検出装置１００の機能構成例を示すブロック図である。本実施形態に係る主被写体検出装置１００の機能は、不図示の半導体集積回路（ＬＳＩ）またはＣＰＵが実行するプログラムにより実現される。

図１に示すように、主被写体検出装置１００は、第１部分領域設定部１０１、第２部分領域設定部１０２、第３部分領域設定部１０３、顕著度算出部１０４、情報量算出部１０５、スコア算出部１０６、及び識別部１０７を有する。これらの構成要素は主被写体検出装置１００が果たす機能にそれぞれ対応している。

図２は、本実施形態に係る主被写体検出装置１００により主被写体を識別する処理手順の一例を示すフローチャートである。以下、図１及び図２を参照しながら本実施形態に係る主被写体検出装置１００による処理について説明する。
図２に示すように、主被写体検出装置１００は、入力画像上のある点（画素）に対して、まず、予め定められた大きさの第１の部分領域と第２の部分領域とを設定する。また、第２の部分領域において第１の情報量を算出し、その大きさに基づいて第３の部分領域を設定する。さらに、第１の部分領域と第２の部分領域とにおける特徴量の統計的分布の相違に基づく顕著度と、第３の部分領域における特徴量が有する情報量とに基づいてスコアを算出する。最終的に、画像上の各点におけるスコアを算出し、所定の統計処理を適用することにより主被写体を検出する。以下、その詳細について説明する。

まず、入力画像が主被写体検出装置１００に入力されると処理を開始し、ステップＳ２０１において、入力画像上のすべての点において、後述するステップＳ２０２〜Ｓ２０８の処理を終了したか否かを判定する。この判定の結果、入力画像上のすべての点において、処理が終了した場合はステップＳ２０９に進み、そうでない場合はステップＳ２０２に進む。

次に、ステップＳ２０２において、第１部分領域設定部１０１は、図３に示すように、主被写体検出装置１００の外部から入力される入力画像の画像空間上に第１の部分領域３０１を設定する。具体的には、図３（ａ）に示すように、正方領域として第１の部分領域３０１を設定してもよく、図３（ｂ）に示すように、矩形領域として第１の部分領域３０１を設定してもよい。また、図３（ｃ）に示すように、円形領域として第１の部分領域３０１を設定してもよく、図３（ｄ）に示すように、楕円領域として第１の部分領域３０１を設定してもよい。

次に、ステップＳ２０３において、第２部分領域設定部１０２は、図３に示すように、入力画像の画像空間上に第２の部分領域３０２を設定する。具体的には、図３（ａ）に示すように、第１の部分領域を包含する正方領域として第２の部分領域３０２を設定してもよく、図３（ｂ）に示すように、矩形の第１の部分領域を包含する矩形領域として第２の部分領域３０２を設定してもよい。また、図３（ｃ）に示すように、円形の第１の部分領域を包含する円形領域として第２の部分領域３０２を設定してもよく、図３（ｄ）に示すように、楕円の第１の部分領域を包含する楕円領域として第２の部分領域３０２を設定してもよい。

次に、ステップＳ２０４において、第２部分領域設定部１０２は、第２の部分領域における特徴量（輝度値、色成分、エッジ強度など）が有する情報量（以下、第１の情報量）を算出する。ここで、第１の情報量の大きさは、例えば、以下の式（１）によりエントロピーＨとして算出する。

式（１）において、Ｐ_iは、第２の部分領域における特徴量のｉ番目の階調の生起確率を表し、ある特徴量の階調数が２５６（=２⁸）の場合、エントロピーＨの最大値は８で与えられ、最小値は０で与えられる。

次に、ステップＳ２０５において、第３部分領域設定部１０３は、入力画像上の第２の部分領域における第１の情報量の大きさに基づいて、第３の部分領域を設定する。具体的には、例えば、第１の情報量が大きい場合は、図４（ａ）に示すように、第１の部分領域３０１を包含し、かつ第２の部分領域３０２に包含される相対的に小さな正方領域として第３の部分領域４０３を設定する。また、第１の情報量が小さい場合は、図４（ｂ）に示すように、第１の部分領域３０１を包含し、かつ第２の部分領域３０２に包含される相対的に大きな正方領域として第３の部分領域４０３を設定すればよい。

第１の部分領域及び第２の部分領域を正方領域として設定した場合には、第３の部分領域の一辺の長さＬ₃は、例えば、第１の部分領域の一辺の長さＬ₁と、第２の部分領域の一辺の長さＬ₂とを用いて、以下の式（２）により算出する。

式（２）によれば、図４における第３の部分領域の一辺の長さＬ₃は、エントロピーＨの大きさに応じて、最小値Ｌ₁から最大値Ｌ₂までの実数値で与えられる。

なお、図３（ｂ）に示すように第１の部分領域及び第２の部分領域を設定した場合には、以下のように設定する。第１の情報量が大きい場合は、図５（ａ）に示すように、第１の部分領域３０１を包含し、かつ第２の部分領域３０２に包含される相対的に小さな矩形領域として第３の部分領域４０３を設定する。また、第１の情報量が小さい場合は、図５（ｂ）に示すように、第１の部分領域３０１を包含し、かつ第２の部分領域３０２に包含される相対的に大きな矩形領域として第３の部分領域４０３を設定する。なお、図５における第３の部分領域の長辺の長さＬ₃は、第１の部分領域の長辺の長さＬ₁と、第２の部分領域の長辺の長さＬ₂とを用いて式（２）により算出することができ、短辺についても同様に算出することができる。

また、図３（ｃ）に示すように第１の部分領域及び第２の部分領域を設定した場合には、以下のように設定する。第１の情報量が大きい場合は、図６（ａ）に示すように、第１の部分領域３０１を包含し、かつ第２の部分領域３０２に包含される相対的に小さな円形領域として第３の部分領域４０３を設定する。また、第１の情報量が小さい場合は、図６（ｂ）に示すように、第１の部分領域３０１を包含し、かつ第２の部分領域３０２に包含される相対的に大きな円形領域として第３の部分領域４０３を設定する。なお、図６における第３の部分領域の径の長さＬ₃は、第１の部分領域の径の長さＬ₁と、第２の部分領域の径の長さＬ₂とを用いて式（２）により算出することができる。

また、図３（ｄ）に示すように第１の部分領域及び第２の部分領域を設定した場合には、以下のように設定する。第１の情報量が大きい場合は、図７（ａ）に示すように、第１の部分領域３０１を包含し、かつ第２の部分領域３０２に包含される相対的に小さな楕円領域として第３の部分領域４０３を設定する。また、第１の情報量が小さい場合は、図７（ｂ）に示すように、第１の部分領域３０１を包含し、かつ第２の部分領域３０２に包含される相対的に大きな楕円領域として第３の部分領域４０３を設定する。なお、図７における第３の部分領域の長軸の長さＬ₃は、第１の部分領域の長軸の長さＬ₁と、第２の部分領域の長軸の長さＬ₂とを用いて式（２）により算出することができ、短軸についても同様に算出することができる。

次に、ステップＳ２０６において、顕著度算出部１０４は顕著度導出手段として、第１部分領域設定部１０１で得られた第１の部分領域と、第２部分領域設定部１０２で得られた第２の部分領域とを用いて顕著度を算出する。具体的には、図８に示すように、各々の部分領域における特徴量の統計的分布の相違に基づいて視覚的な顕著度を算出する。ここで、顕著度は、例えば、以下の式（３）によりヒストグラム・インターセクションＨＩを用いて算出する。

あるいは、顕著度は、式（４）のようなピアソン・ダイバージェンスＤ_PRを用いて算出してもよい。

また、顕著度は、以下の式（５）により相対ピアソン・ダイバージェンスＤ_RPを用いて算出してもよい。ここでβは０以上１以下の任意の実数値である。

また、顕著度は、以下の式（６）によりカルバック−ライブラー・ダイバージェンスＤ_KLを用いて算出してもよい。

また、顕著度は、以下の式（７）によりバタチャリア距離Ｄ_BTを用いて算出してもよい。

また、顕著度は、以下の式（８）により距離尺度Ｄを用いて算出してもよい。

また、顕著度は、以下の式（９）によりＤ_absを用いて算出してもよい。

ここで、式（３）〜式（９）において、Ｐ（ｉ）は、第１の部分領域から抽出した特徴量に対する確率密度Ｐのｉ番目の階調の確率を表し、Ｑ（ｉ）は、第２の部分領域から抽出した特徴量に対する確率密度Ｑのｉ番目の階調の確率を表す。

次に、ステップＳ２０７において、情報量算出部１０５は、第３部分領域設定部１０３で得られた第３の部分領域における特徴量（輝度値、色成分、エッジ強度など）が有する情報量（以下、第２の情報量）を算出する。具体的には、第２の情報量は、例えば、第３の部分領域における特徴量の勾配強度を、第３の部分領域の各点で算出し、それらの合計値で与えればよい。ここで、勾配強度は、公知の画像処理フィルタ（Sobelフィルタ、Cannyフィルタ、Laplacianフィルタ、Gaborフィルタなど）を用いて算出すればよい。

次に、ステップＳ２０８において、スコア算出部１０６は、顕著度算出部１０４で得られた顕著度と、情報量算出部１０５で得られた第２の情報量とに基づいて、入力画像上の処理対象の点におけるスコア（主被写体があるかどうかを示す尺度）を算出する。ここで、入力画像上の各点におけるスコアは、例えば、顕著度算出部１０４で得られた顕著度と、情報量算出部１０５で得られた第２の情報量との積で与えればよい。なお、顕著度算出部１０４で得られた顕著度と、情報量算出部１０５で得られた第２の情報量との和をスコアとして与えてもよい。あるいは、顕著度算出部１０４で得られた顕著度と、情報量算出部１０５で得られた情報量との積と和との組み合わせをスコアとして与えてもよい。

ステップＳ２０９においては、識別部１０７は、スコア算出部１０６において算出されたスコアに基づいて、入力画像中の主被写体を検出する。具体的には、まず、例えば図９（ａ）に示すような入力画像に対して算出された入力画像上の各点におけるスコアを入力画像上に配置したスコアマップ（図９（ｂ）参照）を生成する。そして、得られたスコアマップに対して、非特許文献３に記載の２値化処理、具体的にはクラス内分散を最小化し、クラス間分散を最大化することにより適応的に学習して閾値を設定する手法を適用して、図９（ｃ）に示すような主被写体の候補領域を設定する。さらに、得られた主被写体の候補領域に外接する矩形領域を設定することにより、図９（ｄ）に示すように入力画像中の主被写体を検出し、検出結果を出力する。

このようにして得られた主被写体の検出結果は、主被写体検出装置１００を活用する装置に利用される。例えば、デジタルスチルカメラ内において、主被写体として検出された領域にフォーカスを合わせ、当該領域を高画質化するような想定下においては、主被写体検出装置１００を制御するデジタルスチルカメラ内のＣＰＵ、プログラム等に伝達される。

以上のように本実施形態によれば、視覚的な顕著度と、第３の部分領域における特徴量（輝度値、色成分、エッジ強度など）が有する情報量とに応じたスコアを算出して主被写体を検出する。これにより、主被写体が視覚的に顕著でない場合や、環境的または観測的要因によるノイズが生じている場合であっても、頑健に画像中の主被写体を検出することができる。

（第２の実施形態）
以下、本発明の第２の実施形態について、図１０及び図１１を参照しながら説明する。なお、主被写体検出装置の構成及び基本的な処理の流れは第１の実施形態と同様であり、本実施形態においては、第１の実施形態との相違箇所のみ説明する。第１の実施形態では、第１の部分領域及び第２の部分領域と重心が一致するように第３の部分領域を設定した。これに対して本実施形態では、第１の部分領域及び第２の部分領域の重心と関係なく、第２の部分領域に包含され、大きさの異なる複数の部分領域として第３の部分領域を設定する点が異なっている。

図２のステップＳ２０４においては、第２部分領域設定部１０２は、第２の部分領域における特徴量（輝度値、色成分、エッジ強度など）が有する情報量（以下、第１の情報量）を算出する。ここで、第１の情報量は、例えば、帯域フィルタの一種である、非特許文献４に記載されているDifference of Gaussian（DoG）を用いて算出する。具体的には、以下の式（１０）により、入力画像Ｉ（ｘ，ｙ）に対して、ガウシアン関数Ｇ（ｘ，ｙ，ｋσ）を適用して得られた平滑化画像Ｌ（ｘ，ｙ，ｋσ）と、ガウシアン関数Ｇ（ｘ，ｙ，σ）を適用して得られた平滑化画像Ｌ（ｘ，ｙ，σ）とを算出する。そして、これらの平滑化画像の差分画像Ｄ（ｘ，ｙ，σ）を算出する。ここで、（ｘ，ｙ）は、入力画像上における水平方向および垂直方向の座標を表す。また、ｋはガウシアン・パラメータσの増加率を表し、主被写体検出装置１００が想定アプリケーションにおいて許容される計算時間に応じて一意に決定される。

図２のステップＳ２０５において設定される第３の部分領域の位置及びその大きさは、例えば、以下のように与えられる。図１０に示すように、差分画像Ｄ（ｘ，ｙ，σ）における着目画素と近傍画素とを比較する。そして、この比較により得られる極値（極大値及び極小値）又は差分画像Ｄ（ｘ，ｙ，σ）における閾値以上の画素値の座標（ｘ，ｙ）に基づき、ガウシアン・パラメータσ（又は、その所定係数倍）を直径とする円形領域を求める。この結果、第３の部分領域は、図１１に示すように、第２の部分領域における複数の位置及び大きさの円形領域で与えられる。

あるいは、第３の部分領域の位置及びその大きさを、帯域フィルタの一種である、非特許文献５に記載されているLaplacian of Gaussian（LoG）を用いて算出してもよい。この場合、LoG画像における着目画素と近傍画素とを比較して得られる極値（極大値及び極小値）又はLoG画像における閾値以上の画素値の座標（ｘ，ｙ）に基づき、ガウシアン・パラメータσ（又は、その所定係数倍）を直径とする円形領域で与えられる。

また、第３の部分領域の位置及びその大きさを、帯域フィルタの一種である、公知の画像処理フィルタのガボールフィルタを用いて算出してもよい。この場合、フィルタ出力値における着目画素と周辺画素とを比較して得られた極値（極大値及び極小値）の座標（ｘ，ｙ）に基づき、ガウシアン・パラメータσ（又は、その所定係数倍）を直径とする円形領域で与えられる。

以上のように第３の部分領域を設定すると、その後は第１の実施形態と同様の手順により主被写体を検出することができる。

（第３の実施形態）
以下、本発明の第３の実施形態について、図１２を参照しながら説明する。なお、主被写体検出装置の構成及び基本的な処理の流れは第１の実施形態と同様であり、本実施形態においては、第１の実施形態との相違箇所のみ説明する。第１の実施形態では、第１の部分領域と第２の部分領域との間に包含関係があったのに対して、本実施形態では、第１の部分領域と第２の部分領域との間に必ずしも包含関係があるわけではない点が異なっている。

図２のステップＳ２０２において、第１部分領域設定部１０１は、主被写体検出装置１００の外部から入力される入力画像上に第１の部分領域を設定する。具体的には、図１２（ａ）に示すように、画像空間上に任意の大きさの円形領域（あるいは楕円領域）を等間隔で配置し、そのうちの一つ（例えば、図１２（ａ）の円形領域Ａ）を第１の部分領域に設定する。

なお、図１２（ｂ）に示すように、入力画像上に任意の大きさの円形領域（あるいは楕円領域）を部分的に重複させて等間隔に配置し、そのうちの一つ（例えば、図１２（ｂ）の円形領域Ａ）を第１の部分領域に設定してもよい。あるいは、図１２（ｃ）に示すように、入力画像上に任意の大きさの円形領域（あるいは楕円領域）をランダムに配置し、そのうちの一つ（例えば、図１２（ｃ）の円形領域Ａ）を第１の部分領域に設定してもよい。

あるいは、図１２（ｄ）に示すように、入力画像を複数の局所領域に分割し、そのうちの一つ（例えば、図１２（ｄ）の局所領域Ａ）を第１の部分領域に設定してもよい。この場合、入力画像における輝度値、色成分、エッジ強度、テクスチャなど特徴量の統計的分布に基づいて複数の局所領域に分割する。ここで、統計的分布とは、例えば、領域内の前記特徴量に対するヒストグラムが単峰性なのか多峰性なのか、あるいは、領域内の前記特徴量に対する情報量が閾値以上か否かなどといった内容である。なお、非特許文献６に記載の方法を用いて入力画像を複数の局所領域に分割してもよい。

次に、図２のステップＳ２０３においては、第２部分領域設定部１０２は、入力画像上に第２の部分領域を設定する。具体的には、図１２に示すように、第１部分領域設定部１０１で設定された第１の部分領域（図１２の局所領域Ａ）に隣接する部分領域のうちの任意の一つ（例えば、図１２の局所領域Ｂ）を第２の部分領域に設定する。

次に、図２のステップＳ２０４においては、第１部分領域設定部１０１は、入力画像上の第１の部分領域における特徴量（輝度値、色成分、エッジ強度など）が有する情報量を算出する。そして、第２部分領域設定部１０２は、同様に入力画像上の第２の部分領域における特徴量（輝度値、色成分、エッジ強度など）が有する情報量を算出する。

次に、図２のステップＳ２０５においては、第３部分領域設定部１０３は、第１の部分領域における特徴量が有する情報量の大きさと、第２の部分領域における特徴量が有する情報量の大きさとに基づいて、第３の部分領域を設定する。具体的には、例えば、第１の部分領域における情報量の大きさと、第２の部分領域における情報量の大きさとを比較して、第１の部分領域における情報量の方が大きい場合、第１の部分領域を第３の部分領域として設定する。一方、第２の部分領域における情報量の方が大きい場合、第２の部分領域を第３の部分領域として設定する。

ここで、第１の部分領域及び第２の部分領域における情報量の大きさは、例えば、前述した式（１）に示すエントロピーＨで与えればよい。あるいは、各々の部分領域における情報量の大きさは、部分領域における特徴量の勾配強度をその部分領域の各点で算出し、それらの合計値で与えてもよい。また、勾配強度は、例えば、公知の画像処理フィルタ（Sobelフィルタ、Cannyフィルタ、Laplacianフィルタ、Gaborフィルタなど）を用いて算出すればよい。

ステップＳ２０９においては、識別部１０７は、スコア算出部１０６において算出されたスコアに基づいて、入力画像中の主被写体を検出する。具体的には、まず、入力画像に対して、スコア算出部１０６により、第１部分領域設定部１０１で得られた第１の部分領域と、第２部分領域設定部１０２で得られた第２の部分領域とのすべての組み合わせに対するスコアが算出される。

第１及び第２の実施形態では、入力画像上のすべての点に対してステップＳ２０１〜Ｓ２０８の処理を繰り返したが、本実施形態では、第１の部分領域及び第２の部分領域のすべての組み合わせに対してステップＳ２０１〜Ｓ２０８の処理を繰り返す。スコアの算出方法については第１の実施形態と同様に、顕著度と第２の情報量とを用いて算出する。

そして、識別部１０７は、すべての組み合わせに対するスコアを画像空間上に配置したスコアマップを生成する。また、得られたスコアマップに対して、前述した非特許文献３に記載の２値化処理を適用することにより、主被写体の候補領域を設定する。さらに、得られた主被写体の候補領域に外接する矩形領域を設定することにより、入力画像中の主被写体を検出する。

以上のように本実施形態によれば、主被写体が視覚的に顕著でない場合や、環境的または観測的要因によるノイズが生じている場合であっても、頑健に画像中の主被写体を検出することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１第１部分領域設定部
１０２第２部分領域設定部
１０３第３部分領域設定部
１０４顕著度算出部
１０５情報量算出部
１０６スコア算出部
１０７識別部

Claims

入力画像上に、第１の領域と、該第１の領域の周囲を含む第２の領域と、前記第１の領域を含む第３の領域とを設定する設定手段と、
前記第１及び第２の領域のそれぞれから同一種類の特徴量を抽出する第１の抽出手段と、
前記第１及び第２の領域のそれぞれから抽出された前記同一種類の特徴量の相違に基づいて顕著度を導出する導出手段と、
前記第３の領域からエッジ特徴量を抽出する第２の抽出手段と、
前記顕著度と前記エッジ特徴量とに基づいて前記入力画像における主被写体を検出する検出手段と、
を有することを特徴とする被写体検出装置。
前記第３の領域は前記第２の領域の内側の領域であることを特徴とする請求項１に記載の被写体検出装置。
前記第１の領域、前記第２の領域、及び前記第３の領域は重心が一致することを特徴とする請求項１または２に記載の被写体検出装置。
前記設定手段は、前記第３の領域を、前記第２の領域から抽出される特徴量の値に基づくサイズで設定することを特徴とする請求項１から３のいずれか１項に記載の被写体検出装置。
前記同一種類の特徴量は、領域の輝度値の統計的分布であることを特徴とする請求項１から４のいずれか１項に記載の被写体検出装置。
前記顕著度と前記エッジ特徴量とに基づいてスコアを導出するスコア導出手段を更に有し、
前記検出手段は前記導出されたスコアに基づいて前記入力画像における主被写体を検出することを特徴とする請求項５に記載の被写体検出装置。
前記検出手段は、前記スコア導出手段によって前記入力画像上の複数点で導出されたスコアを配置したスコアマップを生成し、前記スコアマップに対する閾値に基づいて前記入力画像における主被写体を検出することを特徴とする請求項６に記載の被写体検出装置。
入力画像上に、第１の領域と、該第１の領域の周囲を含む第２の領域と、前記第１の領域を含む第３の領域とを設定するステップと、
前記第１及び第２の領域のそれぞれから同一種類の特徴量を抽出するステップと、
前記第１及び第２の領域のそれぞれから抽出された前記同一種類の特徴量の相違に基づいて顕著度を導出するステップと、
前記第３の領域からエッジ特徴量を抽出するステップと、
前記顕著度と前記エッジ特徴量とに基づいて前記入力画像における主被写体を検出するステップと、
を有することを特徴とする被写体検出方法。
コンピュータを、請求項１から７のいずれか１項に記載の被写体検出装置として機能させるためのプログラム。