JP2007122101A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】被写体の特性を仮定することなく，かつ複数の粒度で得られる画像特徴を有効に利用することで，被写体が存在する可能性が高い領域およびその周辺の領域を，矩形などのまとまった概形で抽出することができる画像処理装置および画像処理方法を提供する。
【解決手段】画像中から被写体が存在する領域を抽出する画像処理装置であって，画像を入力する画像入力部と，前記入力画像を複数の異なる解像度を持つ解像度変換画像に変換する解像度変換部と，前記解像度変換画像の各々について所定の特徴量を算出する特徴抽出部と，前記所定の特徴量に基づいて，前記解像度変換画像の各々が持つ注目度を算出する注目度算出部と，前記解像度変換画像の各々が持つ注目度を合成し，注目度マップを生成する注目度合成部と，前記注目度マップに基づいて被写体領域を決定する領域決定部を備えることを特徴とする。
【選択図】図１

Description

本発明は，画像から何らかの有意な領域を抽出するための画像処理装置および方法に関するものであり，特に画像から被写体が存在する領域を抽出する技術に関するものである。

一般に，画像から何らかの有意な領域を抽出することは，画像の分類や検索，認識をはじめとする多くの画像処理において有効である。例えば特許文献１において，周辺画素との差が所定の閾値よりも大きい画素を被写体領域の画素として抽出する手法が開示されている。特許文献１の手法は被写体の特性を利用せず，画像の物理的特徴のみを利用している。このため，被写体の種別を問わず利用できる。
特許第３４７８４９８号広報

しかし，上記特許文献１の手法にはいくつかの問題点がある。
まずはじめに，画像の背景に細かいテクスチャ（模様）が存在する場合，そのような場所では周辺画素との差が大きくなってしまい，背景領域であるにもかかわらず被写体領域であると誤抽出してしまう可能性がある。

次に，特許文献１の手法は画素単位で被写体領域であるか否かの判定を行っているため，被写体の一部が被写体領域として抽出されない可能性がある。特に被写体領域に穴が開く場合などでは，モルフォロジー処理の一種であるクロージング（Ｃｌｏｓｉｎｇ）を行うことで改善されるが，一般にクロージングは処理に必要な計算量が多く，計算機資源の乏しい組み込み機器などでの利用は難しい。

最後に，優位な領域というものが，必ずしも被写体の正確な形状をトレースしているとは限らない，という問題がある。例えば，類似画像の検索などの場合，被写体領域だけでなく，背景を含めたある程度のまとまりで類似性を判断する方がより人間の直感に近い結果が得られると考えられる。

本発明は上記事由を鑑みて為されたものであり，その目的は被写体の特性を仮定することなく，かつ複数の粒度で得られる画像特徴を有効に利用することで，被写体が存在する可能性が高い領域およびその周辺の領域を，矩形などのまとまった概形で抽出することができる画像処理装置および画像処理方法を提供することにある。

本発明で提供される画像処理装置は，画像を入力する画像入力部と，前記入力画像を複数の異なる解像度を持つ解像度変換画像に変換する解像度変換部と，前記解像度変換画像の各々について所定の特徴量を算出する特徴抽出部と，前記所定の特徴量に基づいて，前記解像度変換画像の各々が持つ注目度を算出する注目度算出部と，前記解像度変換画像の各々が持つ注目度を合成し，単一の注目度マップを生成する注目度合成部と，前記注目度マップに基づいて被写体領域を決定する領域決定部とを有する。

このような構成によれば，画像が入力されると，入力画像から複数の異なる解像度の画像が作られる。次に，それら解像度変換画像の各々について，画像特徴量に基づいて，画像内の各位置における注目の度合いを表す注目度が算出される。そして，各解像度変換画像の注目度が1枚の注目度マップに合成され，出来上がった注目度マップを元に被写体領域が抽出される。

これにより，画像の狭い範囲での特徴量と，広い範囲での特徴量の双方を最適なバランスで考慮することができ，その結果としてより人間の直感に合致した形で領域を抽出することが可能となる。

なお，本発明は上記画像処理装置として実現することができるだけでなく，上記画像処理装置が備える特徴的な手段をステップとする画像処理方法として実現してもよく，それらのステップをパソコンなどのコンピュータで実現させるためのプログラムとして実現してもよい。そのようなプログラムをＣＤ−ＲＯＭなどの記録媒体や，インターネットに代表される通信媒体を通じて配信できることは言うまでもない。

本実施の形態にかかる画像処理装置によれば，画像中に細かいテクスチャがある場合でも，複数の解像度における注目度を考慮することで誤検出を減らすことが出来る。また，被写体領域を，注目度が高い点を取り囲むような形で決定するため，領域の抜けが発生しにくく，かつ被写体とその周辺領域を同時に取得することが出来るため，抽出される被写体領域は画像の類似性の判断などでより人間の直感に近い処理を実現することが可能となる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

（実施の形態）
まず、本発明の実施の形態に係る画像処理装置について説明する。

図１は、本実施の形態に係る画像処理装置１０の機能ブロック図である。
この画像処理装置１０は、画像を装置内に取り込んで、取り込んだ画像の注目度マップを元に領域を抽出する装置であり，画像入力部１１，解像度変換部１２，特徴抽出部１３，注目度算出部１４，注目度合成部１５，および領域決定部１６を備える。

画像入力部１１は、注目領域の抽出を行なう画像を装置内に取り込むための入力インタフェースであり、ＵＳＢ(Universal Serial Bus)やＩＥＥＥ(Institute of Electrical and Electronic Engineers)１３９４等のインタフェースによって実現される。

ここで、装置内に取り込まれる画像は、特に制限はなく、デジタル・スチル・カメラなどの撮像装置で撮影した画像や、スキャナなどの画像読取装置から得られた画像、コンピュータ・グラフィック（ＣＧ）画像、記録媒体に記録されている画像データなどのいずれであってもよい。なお、記録媒体の例としては、フレキシブルディスクやハードディスク、磁気テープなどの磁気メディア、ＣＤ−ＲＯＭ／Ｒ／ＲＷ、ＤＶＤ−ＲＯＭ／ＲＡＭなどの光メディア、ＳＤメモリカード（登録商標）、コンパクトフラッシュ（登録商標）メモリカードに代表される半導体メモリメディア等が挙げられる。

また、装置内に取り込まれる画像の被写体についても特に制限はない。例えば、人の顔を被写体とする顔画像や、風景を被写体とする風景画像などのいずれであってもよい。

解像度変換部１２は，画像入力部１１より入力された画像に対して解像度変換処理を行い，解像度変換画像を得る。解像度変換画像は１枚だけでもよく，複数枚あってもよい。また，複数の解像度変換画像がそれぞれ異なる解像度を持っていてもよい。

解像度変換部１２がどのような解像度の解像度変換画像を作成するかを決定する方法について，以下に説明する。

図２は解像度変換アルゴリズムのフローチャートである。
ステップＳ１００は，解像度を表すカウンタｋを１に初期化する。

ステップＳ１０１は，ｋに対して倍率ｘをかけて，解像度を決定する。ｘの値はあらかじめ決められた値を利用する。

ステップＳ１０２は，入力画像を縦横それぞれ1/kに縮小し，解像度変換画像を生成する。なお，画像の縮小アルゴリズムについては，最近傍法をはじめとする既存のアルゴリズムが利用可能である。

ステップＳ１０３は，ステップＳ１０２で生成された解像度変換画像について，画面全体の変化量を測定する。変化量が小さい，ということはこれ以上縮小しても画像の内容が判別できない，すなわち後述する特徴抽出の過程において有効な特徴が得られない，ということを意味する。

なお，変化量は解像度変換画像のエッジ強度の平均値や，解像度変換画像の全体の平均色と各画素との差の総和，解像度変換画像の各画素における画素値の分散などによって規定される。

ステップＳ１０４は，ステップＳ１０３で求めた変化量があらかじめ定められた閾値以下であるかを判定する。変化量が閾値以下の場合，解像度変換処理を終了する。そうでない場合，ステップＳ１０１に戻って次の解像度を計算し，新たな解像度変換画像を生成する。

なお，解像度の決定について，図２で説明した手法以外に，例えば「1/2と1/8」などのようにあらかじめ決められた解像度を選択する，「1/2に縮小を4回」などのように，決められた倍率で決められた枚数の解像度を選択する，「1/5と1/10と1/20」などのようにはじめの一回の変換を所定の倍率（上記の例では1/5）で行い，それ以降の変換を初めの一回と異なる倍率(上記の例では1/2)で行うなどの方法が挙げられる。

特徴抽出部１３は，前記解像度変換部１２で生成された解像度変換画像のそれぞれについて，注目度の指標となる画像特徴量を算出する。ここで利用する特徴量は，画像の変化の大きさを捉えるものである。それぞれの解像度変換画像から求められる特徴量は，解像度が高ければより狭い範囲の特徴を表し，解像度が低ければより広い範囲の特徴を表す。従って，複数の異なる解像度を利用することで，１枚の入力画像からより多くの情報を取得することが出来る。

なお，求める特徴量の例として，画像のエッジ成分の大きさや，近傍画素との色相の差，画像の所定の領域における色分布，画像全体の平均色と各画素の色相の差，各ブロックに対する離散コサイン変換（ＤＣＴ）もしくはＤＣＴに類する変換の係数，ウェーブレット変換の係数，画像の小領域における画素値のエントロピーなどが挙げられる。

なお，求める特徴量は上記のうち一種類だけでもよく，複数の特徴量を求めてもよい。

注目度算出部１４は，解像度変換画像のそれぞれについて求めた特徴量を元に，注目度を決定する。注目度を決定する算出式は、下記の数式１のように表すことができる。
（数１）
Ｉ＝ｆ（Ｆ１、Ｆ２、・・・、Ｆｎ、Ｐ１、Ｐ２、・・・、Ｐｍ）

この数式１は、注目度Ｉがｎ個の特徴量Ｆ１、Ｆ２、・・・、Ｆｎ、およびｍ個のパラメータＰ１、Ｐ２、・・・、Ｐｍを引数とする関数で記述できることを意味する。より具体的には下記の数式２のように，各特徴量の値の重み付き線形和などの形で表される。
（数２）
Ｉ＝Ｆ１＊Ｐ１＋Ｆ２＊Ｐ２＋・・・＋Ｆｎ＊Ｐｎ

注目度合成部１５は，解像度変換画像のそれぞれについて求められた注目度を，１枚の注目度マップに合成する。注目度マップは各座標ごとに注目度の値を格納するものである。Ｉの位置(ｘ，ｙ)における注目度をＩ（ｘ，ｙ），解像度変換画像をＩｉ（ｉ＝１，２，・・・，ｎ）とすると，Ｉ（ｘ，ｙ）は下記の数式３で表すことが出来る。
（数３）
ｎ
Ｉ（ｘ，ｙ）＝Σ（Ｗｉ＊Ｉｉ（ｘｉ，ｙｉ））
ｉ＝１

ただし，Ｗｉは解像度変換画像Ｉｉに対する重み，座標（ｘｉ，ｙｉ）は，位置（ｘ，ｙ）の解像度変換画像Ｉｉ上での対応する位置である。

注目度マップの生成方法を，図３を用いて具体的に説明する。
図３（ａ）は注目度マップＩ，図３（ｂ）は解像度変換画像Ｉ１からＩ３を表したものである。Ｉ１はＩと同じ解像度，Ｉ２，Ｉ３はＩ１を縦横それぞれ１／２，１／４に縮小したものである。Ｉ１からＩ３の各画素（ｘｉ，ｙｉ）(ｉ＝１，２，３。以下同様)に対する注目度の値をＩｉ（ｘｉ，ｙｉ）とする。

ここで，図３（ａ）の位置（１，１）（図中黒塗りのマスを参照）に対応する解像度変換画像上での位置は，Ｉ１から順に（１，１），（０，０），（０，０）となる。従って，Ｉの位置（１，１）における注目度Ｉ（１，１）は，
Ｉ（１，１）＝Ｗ１＊Ｉ１（１，１）＋Ｗ２＊Ｉ２（０，０）＋Ｗ３＊Ｉ３（０，０）
と表される。

同様に，位置（９，４）（図中×印のマスを参照）における注目度Ｉ（９，４）は
Ｉ（９，４）＝Ｗ１＊Ｉ１（９，４）＋Ｗ２＊Ｉ２（４，２）＋Ｗ３＊Ｉ３（２，１）
となる。

次に，重みＷｉの決定方法であるが，解像度が大きいほど大きな重みを設定することができる。例えば図３において，Ｉ２，Ｉ３はＩ１のそれぞれ１／２，１／４であることから，Ｉ１の重みＷ１を，Ｗ１＝１としたとき，それぞれＷ２＝１／２，Ｗ３＝１／４とすることができる。こうすることによって出来上がる注目度マップは，高い解像度，すなわち細かい変化を捉えることに重点を置いたものとなる。

一方，上記の例とは逆に，解像度が大きいほど小さな重みを設定することも可能である。同じく図３の例で，Ｗ１＝１の際にＷ２＝２，Ｗ３＝４とすることが出来る。こうすることによって出来上がる注目度マップは，低い解像度，すなわち大まかな変化を捉えることに重点を置いたものとなる。

なお，ここで挙げた重みの数値はあくまで一例であり，上記の条件を満たす任意の数値を重みとすることが可能である。

なお，解像度に対して一律の重みを設定してもよい。この場合，すべての解像度を均一に扱うため，注目度マップは細かい変化と大まかな変化の両方を捉えるものとなる。

また，注目度マップを作成する際に，最も解像度の高い解像度変換画像における注目度の平均値が所定の閾値を上回る場合，注目度マップのすべての位置において同じ注目度の値をとるようにしてもよい。これは以下の理由によるものである。

解像度が高い時に注目度の平均値が高い，ということは，細かい範囲での変化量が大きいことを意味する。このような画像は，画面全体に細かい物体が大量にあるか，あるいは細かい模様が画面全体にあるかのいずれかである可能性が高い。このような画像から有意な領域を抽出するのは困難なので，注目度をすべて等しくすることで，後述する領域決定部が画像全体を被写体領域として返す，あるいは何の領域も返さないようにすることができるためである。

領域決定部１６は，注目度マップに従って，画像中から被写体領域を抽出する。領域決定の方法について，図４を用いて説明する。

例えば、図４（ａ）に示すような入力画像について、注目度があらかじめ定められた閾値Ｔｈを超える画素すべてを包含する矩形領域を、注目領域とすることが考えられる。すなわち、図４（ｂ）に示すように、閾値Ｔｈを超える画素（内部が斜線で示されている円）が５箇所存在する場合、図４（ｃ）に示すような注目領域が得られることになる。

なお、ここでは、注目領域の形状を矩形としたが、円形や楕円形など、その他の任意の形状であってもよい。また、閾値Ｔｈは、パラメータとして変更可能である。

なお，閾値Ｔｈは，注目度マップ中の各画素における注目度の最大値Ｉｍａｘを元に決定してもよい。例えば，Ｔｈ＝Ｉｍａｘ／２とすると，注目度が最大値の５０％以上の画素が選ばれる形になる。

また，領域決定部１６は，注目度マップの各画素が持つ注目度について，各画素の位置に応じた重みをかけてもよい。例えば，注目度マップの中心からの距離に応じた重みをかけることで，中心に近いほど注目度が高く，端に行くほど注目度が低い，という構成が可能になる。これは「一般的に主要な被写体は画像の中心に配置されることが多い」という経験則に基づくものである。

なお，注目度マップの中心に限らず，任意の一点からの距離に応じた重みを付与してもよい。例えば，縦あるいは横方向に黄金分割となる点などを距離の基準点に選ぶことが出来る。

このように構成される画像処理装置１０の処理動作について、以下説明する。

図５は画像処理装置１０が被写体領域を抽出する処理の流れを示すフローチャートである。

まずはじめに，画像処理装置１０は，画像入力部１１を介して処理対象となる画像を入力する。次に，解像度変換の回数を特定するためのカウンタｋの値を１に初期化する（ステップＳ２００）。

次に，解像度変換部１２によって，第ｋ番目の解像度変換画像を生成する（ステップＳ２０１）。画像の解像度変換手法としては最近傍法をはじめとした既存のアルゴリズムを利用することができる。なお，解像度の決定方法は，先の解像度変換部１２についての説明で述べた手法を用いる。

そして，ｋの値が所定の枚数ｎに達したかを判定し（ステップＳ２０２），達していない場合はｋの値に１を加え，ステップＳ２０１に戻る（ステップＳ２０３）。ｋが所定の枚数に達している場合，特徴抽出などの処理に移る前に，カウンタｋの値を再度１に初期化する（ステップＳ２０４）。

次に，特徴抽出部１３によって，第ｋ番目の解像度変換画像について，画像特徴を抽出する（ステップＳ２０５）。特徴量として，例えば以下のものを求める。

（ａ）：入力画像の輝度成分からエッジ強度を求める。エッジ強度を求める方法として，例えば３＊３ラプラシアンフィルタ（Laplacian Filter）を適用することが出来る。３＊３ラプラシアンフィルタでは、注目画素のエッジ成分の大きさを決定する際に、自身の近傍の画素を下に示す表１ａまたは表１ｂのように重み付けして足し合わせることで、注目画素のエッジ成分を決定する。

なお、その他の一般に広く知られているエッジ抽出方法としては、ソーベルフィルタ(Sobel Filter)やプレウィットフィルタ(Prewitt Filter)，ロビンソンフィルタ(Robinson Filter)等のフィルタを適用する方法や、ウェーブレット変換(Wavelet Transform)を利用する方法等がある。

（ｂ）：入力画像各画素の色成分と，その近傍画素との色相差を求める。色相差を求める方法として，例えば以下のような方法がある。まず，画像をＨＳＶ表色系に変換する。ＨＳＶ表色系において，色相Ｈは色相環上の一点を基準とした角度で表現される。従って，注目画素の色相をＨ１，比較対象の画素の色相をＨ２とすると，色相差ΔＨは以下の数式４のような形で表すことが出来る。
（数４）
ΔＨ ＝ α ＊ ｛１ − ｃｏｓ（Ｈ１ − Ｈ２）｝

なお，αはΔＨの値の範囲を調整するためのスケーリングファクターである。
（ｃ）：入力画像をいくつかの小領域に分け、各領域に属する画素のＲＧＢ値の度数分布を表すカラーヒストグラムを求める。なお、例えばＨＳＶ表色系やＨＳＩ表色系など、他の色空間への変換を行い、それらの画素値に対するカラーヒストグラムを求めてもよい。
（ｄ）：入力画像の各画素の色成分と，画像全体の平均色との色相差を求める。色相差を求める方法は（ｂ）で説明した方法を利用することができる。
（ｅ）：入力画像の周波数成分を求める。周波数成分を求める方法として，入力画像を８＊８のブロックに分割し、各ブロックに対して離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）や高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行い，各成分の値を求めることができる。
（ｆ）：入力画像をいくつかの小領域に分け、各領域に属する画素のＲＧＢ値や輝度値のエントロピーを求める。

なお、特徴量抽出部１３は、上記した（ａ）〜（ｆ）の画像特徴量抽出方法以外に、既存の画像特徴量抽出手法を用いて、入力画像の特徴量を抽出するとしても良い。また、入力画像に対してこれらの特徴量のすべてを求めてもよく、どれか一部のみを求めてもよい。

次に，注目度算出部１４は，ステップＳ２０５で求めた特徴量を元に，第ｋ番目の解像度変換画像における注目度を算出する（ステップＳ２０６）。例えば，特徴量としてエッジ強度と近傍画素との色相差を求めた場合，注目画素（ｘ，ｙ）における注目度Ｉ（ｘ，ｙ）は以下の数式５で表すことが出来る。
（数５）
Ｉ（ｘ，ｙ） ＝ β＊Ｅ（ｘ，ｙ） ＋ （１−β）＊Ｃ（ｘ，ｙ）

なお，Ｅ（ｘ，ｙ），Ｃ（ｘ，ｙ）はそれぞれ（ｘ，ｙ）におけるエッジ強度，近傍画素との色相差であり，βは０から１の値をとる重みパラメータである。

なお，求める特徴量の例は上記に限らず，ステップＳ２０４で求めることが出来る特徴量およびその組み合わせを用いることが出来る。また，特徴量の算出式は上記の例に限らず，数式２で記載されている形式に従う他の式を用いてもよい。

そして，ｋの値が所定の枚数ｎに達したかを判定し（ステップＳ２０７），達していない場合はｋの値に１を加え，ステップＳ２０１に戻る（ステップＳ２０８）。

ｋが所定の枚数に達している場合，注目度合成部１５は，ｋ枚の解像度変換画像について，それぞれの注目度を合成する際の重みを決定する（ステップＳ２０９）。重みの設定方法は，例えば先に記載したように，解像度が高い画像ほど重みを大きくする，あるいは解像度が高いほど重みを小さくする，などの方法を用いることが出来る。

そして，ステップＳ２０９で決まった重みを元に，各解像度変換画像が持つ注目度を合成し，注目度マップを作成する（ステップＳ２１０）。注目度注目度の合成方法は，例えば数式３に記載の方法を利用することができる。

最後に，注目度マップの各画素に対して，その位置に応じた重みを付与する（ステップＳ２１１）。重みの付与方法として，例えば以下の方法が利用できる。

注目画素（ｘ，ｙ）の，注目度マップの中心からの距離をｄとする。重み係数ｗ（ｘ，ｙ）は，以下の数式６で表される。
（数６）
ｗ（ｘ，ｙ） ＝ ｅｘｐ（−ａｄ＾２／ｄｍａｘ）

なお，ｄｍａｘは距離ｄの最大値，ａは減衰率をパラメータである。重み付与後の注目度Ｉ'（ｘ，ｙ）は重み付与前の注目度Ｉ（ｘ，ｙ）を用いて，以下の数式７で表される。
（数７）
Ｉ'（ｘ，ｙ） ＝ Ｉ（ｘ，ｙ） ＊ ｗ（ｘ，ｙ）

これにより，中心から離れるほど注目度に対して高い減衰率がかかることになる。一般的に，画像の中央ほど主要な被写体が存在する可能性が高いと考えられるため，このような重みを付与することによって，より高い精度で被写体領域を抽出することが出来るようになる。

なお，重みの大きさは数式６に記載の方法に制限されることはなく，その他の重み付けを行ってもよい。また，重みを決定する際の距離の基準点は，必ずしも注目度マップの中心点に限定する必要はなく，画像内の任意の位置からの距離を利用して重みを決定することが出来る。例えば，一般的なポートレート画像を入力する場合，顔の位置は画像の中心よりやや上に位置することが多いので，注目度マップ上でも中心よりやや上を基準として重みを付与することで，顔領域付近を被写体領域として取り出すことが出来る。

なお，ステップＳ２１１は省略してもよい。この場合，元の注目度がそのまま次の領域決定ステップで利用される。

最後に，領域決定部１６は，注目度マップが持つ各画素ごとの注目度を元に，被写体領域を決定する（ステップＳ２１２）。領域決定の方法として，例えば以下に説明する方法が利用できる。

まずはじめに，注目度マップ上で各画素が持つ注目度のうち，最大の値をＩｍａｘとする。次に，閾値Ｔｈを，例えばＴｈ＝Ｉｍａｘ／２とし，注目度がＴｈを超える画素の位置を記憶しておく。そして，それらの画素の集合に外接する矩形を被写体領域とする。

なお，閾値Ｔｈの値は上記の例に限らず，任意の値を設定可能である。また，被写体領域の形状は矩形のほかに，上記の画素の集合に外接する楕円や，同じく上記の画素の集合の重心の位置を中心とする矩形や楕円などとしてもよい。

また、本発明に係る画像表示装置は、その範囲を逸脱することなく本発明の趣旨に沿って様々の変形または修正が可能であることはいうまでもない。

本発明の画像処理装置および画像処理方法は，画像中から被写体領域を抽出するための装置および方法として有用であり，デジタル・スチル・カメラをはじめとする画像の撮像装置，および表示装置全般，DVDレコーダーをはじめとする映像の録画装置に関して適用が可能である。

本発明の第1の実施の形態に係る画像処理装置の構成図である。 解像度変換部１２の一構成における処理の流れを示すフローチャートである。 注目度の合成処理における，各解像度変換画像ごとの画素の対応関係を示す模式図である。 被写体領域の決定過程を示す模式図である。 本発明の第１の実施の形態に係る画像処理装置の，代表的な構成におけるフローチャートである。

符号の説明

１０ 画像処理装置
１１ 画像入力部
１２ 解像度変換部
１３ 特徴抽出部
１４ 注目度算出部
１５ 注目度合成部
１６ 領域決定部

Claims (27)

1. 画像中から被写体が存在する領域を抽出する画像処理装置であって，
   画像を入力する画像入力部と，
   前記入力画像を複数の異なる解像度を持つ解像度変換画像に変換する解像度変換部と，
   前記解像度変換画像の各々について所定の特徴量を算出する特徴抽出部と，
   前記所定の特徴量に基づいて，前記解像度変換画像の各々が持つ注目度を算出する注目度算出部と，
   前記解像度変換画像の各々が持つ注目度を合成し，注目度マップを生成する注目度合成部と，
   前記注目度マップに基づいて被写体領域を決定する領域決定部を備えることを特徴とする画像処理装置。
2. 前記解像度変換部は，前記入力画像を所定の倍率で縮小を繰り返すことを特徴とする請求項１に記載の画像処理装置。
3. 前記解像度変換部は，前記入力画像を所定の倍率で縮小を繰り返し，生成される解像度変換画像が所定の条件を満たすまで縮小を繰り返すことを特徴とする請求項１または請求項２記載の画像処理装置。
4. 前記解像度変換部は，前記入力画像を第１の倍率で1回縮小し，２回目以降は前記第１の倍率とは異なる第２の倍率で縮小を繰り返すことを特徴とする請求項1乃至３のいずれか一項に記載の画像処理装置。
5. 前記解像度変換部は，前記入力画像を所定の倍率で縮小を繰り返し，生成される解像度変換画像の画像内での変化量が所定の閾値以下になるまで縮小を繰り返すことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記所定の特徴量は，画像の各画素におけるエッジ成分の大きさであることを特徴とする請求項1に記載の画像処理装置。
7. 前記所定の特徴量は，画像の各画素における，近傍画素との色相の差であることを特徴とする請求項１に記載の画像処理装置。
8. 前記所定の特徴量は，画像内の所定の領域における色分布であることを特徴とする請求項１に記載の画像処理装置。
9. 前記所定の特徴量は，画像の各画素の色成分と，画像全体の平均色との色相の差であることを特徴とする請求項１に記載の画像処理装置。
10. 前記所定の特徴量は，画像の周波数成分であることを特徴とする請求項1に記載の画像処理装置。
11. 前記所定の特徴量は，画像内の所定の領域における画素値のエントロピーであることを特徴とする請求項１に記載の画像処理装置。
12. 前記所定の特徴量は，上記特徴量の組み合わせであることを特徴とする請求項１に記載の画像処理装置。
13. 前記注目度算出部は，画像の各画素における前記特徴量の値を注目度とすることを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 前記注目度算出部は，画像の各画素における前記複数の特徴量の値を所定の重み付けをして足し合わせた値を注目度とすることを特徴とする請求項１３に記載の画像処置装置。
15. 前記注目度合成部は，前記解像度変換画像の対応する画素が持つ注目度の値を，所定の重みに従って足し合わせ，注目度マップを生成することを特徴とする請求項１乃至１４のいずれか一項に記載の画像処理装置。
16. 前記所定の重みは，前記解像度変換画像の解像度が大きいほど大きくなることを特徴とする請求項１５に記載の画像処理装置。
17. 前記所定の重みは，前記解像度変換画像の解像度が大きいほど小さくなることを特徴とする請求項１５に記載の画像処理装置。
18. 前記解像度変換画像のうち，最も解像度の高い画像について，注目度の平均値が所定の閾値を上回る場合，前記最も解像度の高い画像に対応する重みを小さくすることを特徴とする請求項１５乃至１７のいずれか一項に記載の画像処理装置。
19. 前記解像度変換画像のうち，最も解像度の高い画像について，注目度の平均値が所定の閾値を上回る場合，画像全体の注目度をすべて一定の値とすることを特徴とする請求項１５乃至１７のいずれか一項に記載の画像処理装置。
20. 前記領域決定部は，前記注目度マップの各画素が持つ注目度が，所定の閾値を上回る画素群に外接する矩形領域を被写体領域とすることを特徴とする請求項１乃至１９のいずれか一項に記載の画像処理装置。
21. 前記領域決定部は，前記注目度マップの各画素が持つ注目度が，所定の閾値を上回る画素群に外接する楕円形領域を被写体領域とすることを特徴とする請求項１乃至１９のいずれか一項に記載の画像処理装置。
22. 前記閾値が，前記注目度マップの各画素が持つ注目度の最大値に応じて決まることを特徴とする請求項２０乃至２１のいずれか一項に記載の画像処理装置。
23. 前記領域決定部は，前記注目度マップの各画素が持つ注目度に対して，位置に応じた重みを付与することを特徴とする請求項２０乃至２２のいずれか一項に記載の画像処理装置。
24. 前記領域決定部は，前記注目度マップの各画素が持つ注目度に対して，前記注目度マップ内の任意の一点を中心点とし，前記中心点からの距離に応じた重みを付与することを特徴とする請求項２０乃至２３のいずれか一項に記載の画像処理装置。
25. 画像中から被写体が存在する領域を抽出する画像処理方法であって，
    画像を入力する画像入力ステップと，
    前記入力画像を複数の異なる解像度を持つ解像度変換画像に変換する解像度変換ステップと，
    前記解像度変換画像の各々について所定の特徴量を算出する特徴抽出ステップと，
    前記所定の特徴量に基づいて，前記解像度変換画像の各々が持つ注目度を算出する注目度算出ステップと，
    前記解像度変換画像の各々が持つ注目度を合成し，注目度マップを生成する注目度合成ステップと，
    前記注目度マップに基づいて被写体領域を決定する領域決定ステップを備えることを特徴とする画像処理方法。
26. 画像中から被写体が存在する領域を抽出するプログラムであって，
    画像を入力する画像入力ステップと，
    前記入力画像を複数の異なる解像度を持つ解像度変換画像に変換する解像度変換ステップと，
    前記解像度変換画像の各々について所定の特徴量を算出する特徴抽出ステップと，
    前記所定の特徴量に基づいて，前記解像度変換画像の各々が持つ注目度を算出する注目度算出ステップと，
    前記解像度変換画像の各々が持つ注目度を合成し，注目度マップを生成する注目度合成ステップと，
    前記注目度マップに基づいて被写体領域を決定する領域決定ステップをコンピュータに実行させることを特徴とするプログラム。
27. 請求項２６に記載のプログラムを記録した，コンピュータ読み取り可能な記録媒体。

Images