JP2012058845A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】入力画像からオブジェクト画像を高精度で分離できるようにする。
【解決手段】スウォッチ計算部２１が、入力画像から色標本列としてスウォッチを計算し、対応するスウォッチIDを設定する。ブロックヒストグラム計算部２２は、入力画像をブロックに分割し、ブロックのスウォッチIDごとのヒストグラムをブロックヒストグラムとして計算し、計算できないブロックを補間対象ブロックに設定する。ブロックヒストグラム補間部２３は、補間対象ブロックについて、ブロックヒストグラムが計算できたブロックとの距離に応じて重みを計算し、それぞれの重みを付して、補間対象ブロックのブロックヒストグラムを計算する。画素尤度計算部２４は、各画素について、ブロック毎のブロックヒストグラムのスウォッチID毎のカウント数に基づいて画素尤度を算出する。本発明は、画像処理装置に適用することができる。
【選択図】図１

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、高精度にセグメンテーションを実現できるようにする画像処理装置および方法、並びにプログラムに関する。

画像内のオブジェクト画像（被写体画像または前景画像）を背景画像から分離することは、画像編集やビデオ加工など、多くのアプリケーションにおいて有用である。

多くの方法では画像の色情報を手がかりの一つとしてオブジェクト画像を背景画像から分離している。

色情報は画像全体または指定された一部の画素の色を使って確率モデルを計算し、画素の持つ色に応じてモデルから得られる尤度を算出して利用している。確率モデルを計算するためのオブジェクトの色や背景の色は、画像のオブジェクトや背景領域の一部の画素をユーザがマークする、または、所定のソフトウェアプログラムを実行させることによりマークさせるといった前処理により指定される。

単純な画像では背景画像とオブジェクト画像の色分布具合の違いに基づく尤度差から被写体の分離が可能である。

より一般的な画像では色分布は複雑であり、画像全体の色分布から決まる尤度ではオブジェクト画像と背景画像の曖昧な分離結果しか得られないことが多い。

そこで、このような色分布モデルを画像全体の色を使って大域的に求めるのではなく、画像領域ごとに変化させるように局所的に求めることで色の分離性能を改善する方法が考えられる。

局所的な色分布モデルを計算する一つの方法として、ビデオの連続フレームでオブジェクトの動きによる変化が小さいことを利用して、動きから予想したオブジェクトの境界線上に小ウィンドウ群を配置し、その小ウィンドウ内において色分布モデルを計算して、オブジェクト画像と背景画像の分離最適化計算を行うといった手法が提案されている（特許文献１参照）。

また、色分布モデルとしてＧａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＧＭＭ）を用いて、ＲＧＢの三次元のみではなく、ＸＹ画像空間位置まで含めた５次元の確率モデルを計算して利用する手法が提案されている（特許文献２参照）。

ＵＳ７６０９８８８、ＳＥＰＡＲＡＴＩＮＧ Ａ ＶＩＤＥＯ ＯＢＪＥＣＴ ＦＲＯＭ Ａ ＢＡＣＫＧＲＯＵＮＤ ＯＦ Ａ ＶＩＤＥＯ ＳＥＱＵＥＮＣＥ ＵＳ２００７／０２３７３９３、ＩＭＡＧＥＳＥＧＭＥＮＴＡＴＩＯＮ ＵＳＩＮＧ ＳＰＡＴＩＡＬ−ＣＯＬＯＲ ＧＡＵＳＳＩＡＮ ＭＩＸＴＵＲＥ ＭＯＤＥＬＳ

しかしながら、特許文献１の方法を静止画に適用するには、オブジェクトの凡その形を与えてオブジェクト境界線に相当する位置に小ウィンドウの位置を指定する必要がある。またオブジェクトの輪郭を小ウィンドウ内のみから決定するので、安全のためにかなり大きなウィンドウサイズを指定しておく必要がある。このように、特許文献１の手法においては、こうした入力すべき条件が多い。

また、特許文献２の手法においては、細かい色の分布を表現するには、ＧＭＭを構成する５次元のガウス関数の数を増やす必要があり、効率的とは言えない。

本発明はこのような状況に鑑みてなされたものであり、特に、局所的な色分布モデルを効率的に計算して分離精度の良い画素の尤度計算により、入力画像からオブジェクト画像を高精度で分離できるようにするものである。

本発明の一側面の画像処理装置は、入力画像のうち、標本画素を含む局所領域毎に、前記標本画素の特徴ベクトルを抽出する特徴ベクトル抽出手段と、前記入力画像が分割された分割領域毎に、前記局所領域との位置関係に基づいて、前記局所領域のそれぞれに対する重みを計算する重み計算手段と、前記分割領域毎に、前記局所領域の特徴ベクトルに、それぞれの局所領域毎に計算された重みを付した重み付き平均を、前記局所領域における特徴分布モデルとして算出する特徴分布モデル算出手段と、前記特徴分布モデルに基づいて、前記入力画像における画素毎の画素尤度を算出する画素尤度算出手段とを含む。

前記特徴ベクトル抽出手段には、前記入力画像のうち標本画素を含む局所領域毎に、前記局所領域の画素毎の色、動きベクトル、深度、フィルタ応答値、または法線ベクトルからなるベクトルを前記特徴ベクトルとして抽出させるようにすることができる。

前記標本画素は、前記入力画像内における被写体の存在する位置を識別する情報を含む画素とすることができる。

前記重み計算手段には、前記分割領域と、前記局所領域のそれぞれとの画像空間内の距離、または、複数の前記画像からなる動画像におけるフレーム間距離に基づいて、前記分割領域毎の、前記局所領域のそれぞれに対する重みを計算させるようにすることができる。

前記局所領域、および前記分割領域は、前記入力画像を階層的に分割したブロック構造とすることができ、前記重み計算手段には、前記画像のうち前記分割領域と、前記分割領域の階層より上位の階層の前記局所領域のそれぞれとの画像空間内の距離、または、複数の画像からなる動画像におけるフレーム間距離に基づいて、前記分割領域毎の、前記局所領域のそれぞれに対する重みを計算させるようにすることができる。

前記特徴分布モデル算出手段には、前記分割領域毎に、前記局所領域の、量子化した量子化ベクトルの多次元ヒストグラムとし、前記多次元ヒストグラムに、それぞれの重みを付して、前記分割領域における特徴分布モデルを算出させるようにすることができる。

前記特徴分布モデル算出手段には、前記入力画像の２以上の代表色から色見本を求め、前記局所領域における色見本の識別番号のヒストグラムを、それぞれの重みを付して、前記分割領域における特徴分布モデルを算出させるようにすることができる。

本発明の一側面の画像処理方法は、入力画像のうち、標本画素を含む局所領域毎に、前記標本画素の特徴ベクトルを抽出する特徴ベクトル抽出手段と、前記入力画像が分割された分割領域毎に、前記局所領域との位置関係に基づいて、前記局所領域のそれぞれに対する重みを計算する重み計算手段と、前記分割領域毎に、前記局所領域の特徴ベクトルに、それぞれの局所領域毎に計算された重みを付した重み付き平均を、前記局所領域における特徴分布モデルとして算出する特徴分布モデル算出手段と、前記特徴分布モデルに基づいて、前記入力画像における画素毎の画素尤度を算出する画素尤度算出手段とを含む画像処理装置の画像処理方法であって、前記特徴ベクトル抽出手段における、前記入力画像のうち、前記標本画素を含む局所領域毎に、前記標本画素の特徴ベクトルを抽出する特徴ベクトル抽出ステップと、前記重み計算手段における、前記入力画像が分割された分割領域毎に、前記局所領域との位置関係に基づいて、前記局所領域のそれぞれに対する重みを計算する重み計算ステップと、前記特徴分布モデル算出手段における、前記分割領域毎に、前記局所領域の特徴ベクトルに、それぞれの局所領域毎に計算された重みを付した重み付き平均を、前記局所領域における特徴分布モデルとして算出する特徴分布モデル算出ステップと、前記画素尤度算出手段における、前記特徴分布モデルに基づいて、前記入力画像における画素毎の画素尤度を算出する画素尤度算出ステップとを含む。

本発明の一側面のプログラムは、入力画像のうち、標本画素を含む局所領域毎に、前記標本画素の特徴ベクトルを抽出する特徴ベクトル抽出手段と、前記入力画像が分割された分割領域毎に、前記局所領域との位置関係に基づいて、前記局所領域のそれぞれに対する重みを計算する重み計算手段と、前記分割領域毎に、前記局所領域の特徴ベクトルに、それぞれの局所領域毎に計算された重みを付した重み付き平均を、前記局所領域における特徴分布モデルとして算出する特徴分布モデル算出手段と、前記特徴分布モデルに基づいて、前記入力画像における画素毎の画素尤度を算出する画素尤度算出手段とを含む画像処理装置を制御するコンピュータに、前記特徴ベクトル抽出手段における、前記入力画像のうち、前記標本画素を含む局所領域毎に、前記標本画素の特徴ベクトルを抽出する特徴ベクトル抽出ステップと、前記重み計算手段における、前記入力画像が分割された分割領域毎に、前記局所領域との位置関係に基づいて、前記局所領域のそれぞれに対する重みを計算する重み計算ステップと、前記特徴分布モデル算出手段における、前記分割領域毎に、前記局所領域の特徴ベクトルに、それぞれの局所領域毎に計算された重みを付した重み付き平均を、前記局所領域における特徴分布モデルとして算出する特徴分布モデル算出ステップと、前記画素尤度算出手段における、前記特徴分布モデルに基づいて、前記入力画像における画素毎の画素尤度を算出する画素尤度算出ステップとを含む処理を実行させる。

本発明の一側面においては、入力画像のうち、標本画素を含む局所領域毎に、前記標本画素の特徴ベクトルが抽出され、前記入力画像が分割された分割領域毎に、前記局所領域との位置関係に基づいて、前記局所領域のそれぞれに対する重みが計算され、前記分割領域毎に、前記局所領域の特徴ベクトルに、それぞれの局所領域毎に計算された重みを付した重み付き平均が、前記局所領域における特徴分布モデルとして算出され、前記特徴分布モデルに基づいて、前記入力画像における画素毎の画素尤度を算出する画素尤度算出手段とを含む。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の一側面によれば、入力画像からオブジェクト画像を高精度で分離することが可能となる。

本発明を適用した尤度マップ計算装置の一実施の形態の構成例を示すブロック図である。 図１の尤度マップ計算装置による入力画像と尤度マップ画像の例を示す図である。 図１の尤度マップ計算装置による尤度マップ生成処理を説明するフローチャートである。 図１の尤度マップ計算装置によるブロックヒストグラム計算処理を説明するフローチャートである。 図１の尤度マップ計算装置によるブロックヒストグラム計算処理を説明する図である。 図１の尤度マップ計算装置によるブロックヒストグラム補間処理を説明するフローチャートである。 図１の尤度マップ計算装置によるブロックヒストグラム補間処理を説明する図である。 図１の尤度マップ計算装置による尤度計算処理を説明するフローチャートである。 本発明を適用した尤度マップ計算装置のその他の実施の形態の構成例を示すブロック図である。 図９の尤度マップ計算装置による尤度マップ生成処理を説明するフローチャートである。 図９の尤度マップ計算装置により生成される階層分割と補間計算の例を示す図である。 図９の尤度マップ計算装置によるブロックヒストグラム計算処理を説明するフローチャートである。 図９の尤度マップ計算装置によるブロックヒストグラム補間処理を説明するフローチャートである。 図１，図９の尤度マップ計算装置による尤度マップ生成処理を動画に適用する場合の例を説明する図である。 図１，図９の尤度マップ計算装置による尤度マップ生成処理を３次元データに適用する場合の例を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行なう。
１．第１の実施の形態（入力画像を階層化せずにブロック化する例）
２．第２の実施の形態（入力画像を階層化してブロック化する例）

＜１．第１の実施の形態＞
［尤度マップ計算装置の構成例］
図１は、本発明を適用した尤度マップ計算装置のハードウェアの一実施の形態の構成例を示している。図１の尤度マップ計算装置１１は、入力画像と、入力画像におけるオブジェクト（前景）領域および背景領域を区別するマークの情報（入力マーク）から、尤度マップ画像を生成して出力する。

より具体的には、尤度マップ計算装置１１は、図２で示されるような入力画像Ｐ１、並びに、入力画像Ｐ１上に入力される背景領域のマークＭ１，Ｍ２、およびオブジェクト領域のマークＭ３の情報に基づいて、図２の尤度マップ画像Ｐ２を生成して出力する。図２の入力画像Ｐ１においては、星型のオブジェクト画像Ｆ、およびそれ以外の背景画像Ｂから構成されている。このため、尤度マップ画像Ｐ２は、理想的には、星型のオブジェクト画像Ｆに対応する領域の画素の尤度が１．０とされ、背景画像Ｂに対応する領域の画素の尤度が０．０とされる。尤度マップ画像Ｐ２においては、各画素の画素値が尤度に対応して設定されるため、オブジェクト画像Ｆに対応する星型の領域が白色とされ、背景画像Ｂに対応する領域が黒色の画像となっている。

入力画像Ｐ１におけるオブジェクト領域のマークＭ３および背景領域を区別するマークＭ１，Ｍ２は、使用者が図示せぬキーボードやマウスなどからなる操作部を操作することにより画素単位で入力するものであってもよい。また、マークＭ１乃至Ｍ３は、専用のソフトウェアプログラムなどにより入力画像に基づいて自動的に入力される情報であってもよい。この例以外にも、例えば、オブジェクト領域を全体として囲むように境界線を入力し、境界線内をオブジェクト領域のマークとして、それ以外を背景領域のマークとするようにしてもよい。この際、境界線の入力は入力画像の実際の境界に対して概ね整合していれば良く、厳密に境界上に入力する必要はない。

尤度マップ計算装置１１は、スウォッチ計算部２１、ブロックヒストグラム計算部２２、ブロックヒストグラム補間部２３、および画素尤度計算部２４より構成されている。

スウォッチ計算部２１は、入力画像に基づいて、スウォッチと画素のスウォッチIDを計算し、ブロックヒストグラム計算部２２および画素尤度計算部２４に供給する。ここで、スウォッチとは、入力画像で多く現れる色を抽出して配列に保存した色見本列のことである。スウォッチに保存する色見本数Ｓｎは可変パラメータで設定される値であり、例えば、色見本数Ｓｎ＝２５６とすることができる。スウォッチ計算部２１は、例えば、k−means法（イメージプロセッシング＜画像処理標準テキストブック＞、ＣＧーＡＲＴＳ協会参照）、またはk−center法といった機械学習アルゴリズムによりスウォッチを計算する。また、スウォッチIDとは画素毎の情報であり、ここでは、画素の色がスウォッチの何番目の色に一番近いかを分類する番号であり、通常機械学習の過程において副次的に求めることができるものである。

ブロックヒストグラム計算部２２は、入力画像を所定の幅毎に、所定数のブロックに分割し、分割したブロック単位で、入力マーク、スウォッチ、およびスウォッチIDに基づいて、ブロック単位のヒストグラムであるブロックヒストグラムを生成する。この際、ブロックヒストグラム計算部２２は、ブロック単位で前景（オブジェクト）のマークがなされた画素が所定数よりも多いとき、前景用の前景ブロックヒストグラムを生成する。また、ブロックヒストグラム計算部２２は、ブロック単位で背景のマークがなされた画素が所定数よりも多いとき、背景用の背景ブロックヒストグラムを生成する。すなわち、前景のマークと背景のマークとがいずれも所定数より多い場合、ブロックヒストグラム計算部２２は、前景ブロックヒストグラムおよび背景ブロックヒストグラムを生成する。また、いずれのマークの画素も所定数より多くない場合、ブロックヒストグラム計算部２２は、そのブロックについては、ブロックヒストグラムを生成せず、そのブロックを補間生成ブロックに設定する。そして、ブロックヒストグラム計算部２２は、生成したブロックヒストグラムと補間対象ブロックの情報をブロックヒストグラム補間部２３に供給する。

ここで、ブロックヒストグラムは、ブロック内の画素の色そのものではなくスウォッチIDをカウントする。したがって、ブロックヒストグラムはスウォッチの色見本数Ｓｎ次元の特徴ベクトルとなる。このようにブロック単位で処理することにより、ブロック毎の色の三次元ヒストグラムなどの巨大なサイズのデータを保持する必要がなくなるため、小さなメモリでも効率的に色分布を求める処理が可能となる。

ブロックヒストグラム補間部２３は、入力マーク、ブロックヒストグラム、および補間対象ブロックの情報に基づいて、補間対象ブロックについて、計算されているブロックヒストグラムを利用して、補間により前景および背景ブロックヒストグラムを生成する。ブロックヒストグラム補間部２３は、補間生成した前景ブロックヒストグラム、および背景ブロックヒストグラムとを画素尤度計算部２４に供給する。

より具体的には、ブロックヒストグラム補間部２３は、ブロックヒストグラム計算部２２より供給されてきた前景、および背景のそれぞれのブロックヒストグラムのうち、ブロックヒストグラム中のカウントが０のブロックを補間対象ブロックとして抽出する。ブロックヒストグラム補間部２３は、重み計算部２３ａを制御して、補間対象ブロック以外のブロックヒストグラムが計算されたブロック、すなわち、補間元のブロックのブロックヒストグラムと、補間対象ブロックのブロック間の距離に応じた重みを設定させる。そして、ブロックヒストグラム補間部２３は、ブロックヒストグラム計算部２２より供給されてきた全ブロックヒストグラムに対して、重み計算部２３ａにより設定させた重みを付して重み付き平均を求め、補間対象ブロックのブロックヒストグラムを補間生成する。

画素尤度計算部２５は、入力マーク１１、スウォッチ計算部２1からスウォッチとスウォッチID、およびブロックヒストグラム補間部２３より供給されてくるブロックヒストグラムに基づいて、画素単位の尤度を計算し、尤度マップ画像を生成して出力する。

［尤度マップ生成処理］
次に、図３のフローチャートを参照して、尤度マップ生成処理について説明する。

ステップＳ１において、スウォッチ計算部２１は、入力画像のうち、多く現れる色を、色見本数Ｓｎだけ抽出して配列に保存し、色見本列からなるスウォッチを計算する。

ステップＳ２において、スウォッチ計算部２１は、スウォッチに基づいて、各画素について、色見本列数Ｓｎのうち、最も近い色のいずれかに分類し、対応する色の分類番号としてのスウォッチIDを設定する。そして、スウォッチ計算部２１は、計算したスウォッチと、各画素のスウォッチIDとをブロックヒストグラム計算部２２、および画素尤度計算部２４に供給する。

ステップＳ３において、ブロックヒストグラム計算部２２は、入力画像を、水平方向および垂直方向にＢｗ画素間隔でＢｗ画素×Ｂｗ画素のブロックからなる局所領域に分割する。

ステップＳ４において、ブロックヒストグラム計算部２２は、ブロックヒストグラム計算処理を実行して、上述した処理により分割された各ブロック毎にブロックヒストグラムを生成する。

［ブロックヒストグラム計算処理］
ここで、図４のフローチャートを参照して、ブロックヒストグラム計算処理について説明する。

ステップＳ２１において、ブロックヒストグラム計算部２２は、未処理のブロックを処理対象ブロックに設定する。

ステップＳ２２において、処理対象ブロックに含まれる画素のうち、前景となるマークの付された画素が、所定の閾値T_markよりも多いか否かを判定する。すなわち、入力画像が、図２の入力画像Ｐ１の場合、星型のオブジェクト（前景）領域であることを示すマークＭ３として入力された画素に属する画素数が、処理対象ブロックに所定の閾値T_markより多く含まれているか否かが判定される。尚、この所定の閾値T_markは、分割されるブロックに含まれる画素数に応じて設定される値であり、例えば、ブロックに含まれる総画素数Pix画素（＝Ｂｗ画素×Ｂｗ画素）に対する割合として設定されるようにしてもよいものである。

ステップＳ２２において、例えば、処理対象ブロックに含まれる画素のうち、前景となるマークの付された画素が所定の閾値T_markよりも多く含まれている場合、処理は、ステップＳ２３に進む。

ステップＳ２３において、ブロックヒストグラム計算部２２は、処理対象ブロックにおける前景ブロックヒストグラムを求める。例えば、図５の左部で示されるようにブロックが構成されている場合、図５の右部で示されるようなヒストグラムが求められる。すなわち、図５の左部においては、ブロックのサイズを示す間隔がＢｗ＝４画素であり、図中のマス目１個分が画素を示しており、合計１６画素によりブロックＢＬが構成されている。図５の左部において、各画素に対応する各マス目に表記された数値は、スウォッチIDを表している。図５では、スウォッチの色見本数Ｓｎ＝８（スウォッチID＝０乃至８）の例が示されており、上段から順にスウォッチIDとして、左から、１，１，２，４とされ、２段目においては、左から、２，３，５，３とされている。また、３段目においては、左から、７，３，２，５とされ、４段目においては、左から６，３，６，２とされている。尚、ここでは、各マス目の値は、各画素の色を直接示すものではなく、スウォッチとして求められた色見本列の各色に最も近いスウォッチIDが示されている。

そして、図５の左部に対応して、ブロックヒストグラム計算部２２は、図５の右部で示されるような前景ブロックヒストグラムを生成する。すなわち、図５の右部におけるヒストグラムで示されるように、図５の左部で示されるスウォッチIDの分布に応じて、スウォッチID＝０のカウント数（画素数）が０、スウォッチID＝１のカウント数が２、スウォッチID＝２のカウント数が４、スウォッチID＝３のカウント数が４、スウォッチID＝４のカウント数が１、スウォッチID＝５のカウント数が２、スウォッチID＝６のカウント数が２、スウォッチID＝７のカウント数が１といった前景ブロックヒストグラムが生成される。この前景ブロックヒストグラムを纏めると、（ID＝０，ID＝１，ID＝２，ID＝３，ID＝４，ID＝５，ID＝６，ID＝７）＝（０，２，４，４，１，２，２，１）のように表現される。すなわち、ブロックヒストグラムは、色見本数Ｓｎの次元で表現される処理対象ブロックの特徴ベクトルとして求められることになる。

ステップＳ２４において、ブロックヒストグラム計算部２２は、前景ブロックヒストグラムを構成するサンプル数の総数が所定の閾値T_histよりも少ないか否かを判定する。ステップＳ２４において、例えば、前景ブロックヒストグラムを構成するサンプル数の総数が所定の閾値T_histよりも多い場合、すなわち、処理対象ブロック内の画素のうち、スウォッチとして色見本列に挙げられた色に近いスウォッチIDの設定ができず、ヒストグラムにカウントできない画素が少ない場合、処理は、ステップＳ２５に進む。

ステップＳ２５において、ブロックヒストグラム計算部２２は、前景ブロックヒストグラムの情報をカウント数の総数で除することにより正規化し、処理対象ブロックの前景ブロックヒストグラムをブロックヒストグラム補間部２３に供給する。すなわち、図５の場合、１６画素全てについてスウォッチIDが求められているため、カウント数の総数は１６となるので、前景ブロックヒストグラム（０，２，４，４，１，２，２，１）は、総数である１６で除されることにより、（０，２／１６，４／１６，４／１６，１／１６，２／１６，２／１６，１／１６）のように正規化される。

一方、ステップＳ２２において、例えば、処理対象ブロックに含まれる画素のうち、前景となるマークの付された画素が所定の閾値T_markよりも多く含まれていない場合、または、例えば、前景ブロックヒストグラムを構成するサンプル数の総数が所定の閾値T_histよりも少ない場合、処理は、ステップＳ２６に進む

ステップＳ２６において、ブロックヒストグラム計算部２２は、処理対象ブロックを前景補間対象ブロックに設定し、その情報をブロックヒストグラム補間部２３に供給する。すなわち、処理対象ブロックに含まれる画素のうち、前景となるマークの付された画素が所定の閾値T_markよりも多く含まれていない場合、または、前景ブロックヒストグラムを構成するサンプル数の総数が所定の閾値T_histよりも少ない場合、ブロックヒストグラム計算部２２は、処理対象ブロックについて前景ブロックヒストグラムを求めず、一旦、前景補間対象ブロックに設定する。より具体的には、ブロックヒストグラム計算部２２は、全てのカウント数が０となる前景ブロックヒストグラムを生成し、これを以ってこのブロックが前景補間対象ブロックであることを表現する。

すなわち、オブジェクト（前景）としてマークされている画素が、所定の閾値T_markよりも多く含まれる局所領域であるブロックについて、順次前景ブロックヒストグラムが求められる。したがって、ここで求められる前景ブロックヒストグラムは、前景を構成する画素からなる局所領域の色の特徴情報であり、形態として、色標本数Ｓｎの次元数のベクトルとなるため、局所領域の特徴ベクトルともいうことができる。

尚、ステップＳ２７乃至Ｓ３１の処理については、ステップＳ２２乃至Ｓ２６の処理により求められる前景ブロックヒストグラムが、背景ブロックヒストグラムとなる他は、基本的に同様の処理であるので、その説明は省略する。

ステップＳ３２において、ブロックヒストグラム計算部２２は、未処理のブロックがあるか否かを判定する。ステップＳ３２において、未処理のブロックがあると判定された場合、処理は、ステップＳ２１に戻る。すなわち、未処理のブロックがなくなるまで、ステップＳ２１乃至Ｓ３２の処理が繰り返されて、全てのブロックについて、前景ブロックヒストグラム、および背景ブロックヒストグラムが求められる。また、前景ブロックヒストグラム、および背景ブロックヒストグラムのうち、前景ブロックヒストグラム、または背景ブロックヒストグラムを計算しなかったブロックについては、全ての要素が０となるベクトルとして構成されることで、前景補間対象ブロック、または、背景補間対象ブロックに設定される。

そして、ステップＳ３２において、未処理のブロックがないと判定された場合、処理は、ステップＳ３３に進む。

ステップＳ３３において、ブロックヒストグラム補間部２３は、ブロックヒストグラム計算部２２より供給されてきた前景および背景のそれぞれのブロックヒストグラムおよび補間対象ブロックの情報に基づいて、ブロックヒストグラム補間処理により、前景および背景のそれぞれの補間対象ブロックのブロックヒストグラムを求める。

［ブロックヒストグラム補間処理］
ここで、図６のフローチャートを参照して、ブロックヒストグラム補間処理について説明する。

ステップＳ５１において、ブロックヒストグラム補間部２３は、未処理の前景補間対象ブロックを補間処理対象ブロックに設定する。

ステップＳ５２において、ブロックヒストグラム補間部２３は、未処理の前景ブロックヒストグラムが求められたブロックを処理対象ブロックＢＬｉに設定する。尚、ｉは、前景ブロックヒストグラムが求められたブロックを識別する識別子である。

ステップＳ５３において、ブロックヒストグラム補間部２３は、補間処理対象ブロックと処理対象ブロックＢＬｉとの距離ｄｉを求める。より具体的には、ブロックヒストグラム補間部２３は、補間処理対象ブロックの中心位置と処理対象ブロックの中心位置との距離を距離ｄｉとして求める。尚、距離は、補間処理対象ブロックと処理対象ブロックとの相対的な距離が求められればよいので、中心位置同士の距離でなくともよく、それ以外の位置同士の距離であっても良い。

ステップＳ５４において、ブロックヒストグラム補間部２３は、重み計算部２３ａを制御して、求められた距離ｄｉに基づいて、以下の式（１）を計算することにより、処理対象ブロックに対する重みＷｆ１ｉを設定する。

Ｗｆ1ｉ＝ｅｘｐ(−λ×ｄｉ)
・・・（１）

ここで、λは、重みＷｆ1ｉの増減を調整するパラメータである。式（１）で示されるように、重みＷｆ１ｉは、距離ｄｉが小さい程、すなわち、補間処理対象ブロックと処理対象ブロックＢＬｉとの距離が近い程大きく設定され、距離が離れる程小さく設定される。

ステップＳ５５において、ブロックヒストグラム補間部２３は、未処理の前景ブロックヒストグラムが求められたブロックが存在するか否かを判定し、未処理の前景ブロックヒストグラムが求められたブロックが存在する場合、処理は、ステップＳ５２に戻る。すなわち、図７で示されるように、前景ブロックヒストグラムが求められた全てのブロックＢＬ１１乃至ＢＬ１２について、前景補間対象ブロックＢＬ１からのそれぞれの距離ｄ１１乃至ｄ１９が求められて、それぞれの距離に応じた重みＷｆ１ｉが求められるまで、ステップＳ５２乃至Ｓ５５の処理が繰り返される。

そして、ステップＳ５５において、未処理の前景ブロックヒストグラムが求められたブロックが存在しないと判定された場合、処理は、ステップＳ５６に進む。

ステップＳ５６において、ブロックヒストグラム補間部２３は、以下の式（２）で示される式を計算することにより、求められた前景ブロックヒストグラムについて、それぞれのブロックの重みＷｆ１ｉを付した平均値を求めることにより、補間処理対象ブロックのブロックヒストグラムを補間生成する。

Ｈ＝（ΣＷｆ１ｉ×Ｈｉ）／ΣＷｆ１ｉ
・・・（２）

ここで、Ｈは、補間される補間処理対象ブロックの前景ブロックヒストグラムであり、Ｗｆ１ｉは、計算により前景ブロックヒストグラムが求められたブロックＢＬｉのそれぞれに設定された重みであり、Ｈｉは、計算により求められたブロックＢＬｉの前景ブロックヒストグラムである。

すなわち、補間される補間処理対象ブロックの前景ブロックヒストグラムＨは、計算により前景ブロックヒストグラムが求められたブロックＢＬｉの前景ブロックヒストグラムを、それぞれのブロックの重みＷｆ１ｉを付して得られる平均値となる。換言すれば、補間計算される前景ブロックヒストグラムＨは、マークにより前景として設定された画素の色分布として得られる複数の局所領域の特徴ベクトルをブロック間の距離に応じた重み付け平均することで推定される局所領域の特徴分布モデルであると言える。尚、この特徴分布モデルとなる補間により得られた前景ブロックヒストグラムは、特徴ベクトルと同一次元のベクトルとして求められるため、以降において、事実上特徴ベクトルと同等に扱われることになる。

ステップＳ５７において、ブロックヒストグラム補間部２３は、未処理の前景補間対象ブロックが存在するか否かを判定し、存在する場合、処理は、ステップＳ５１に戻る。すなわち、全ての前景補間対象ブロックについて、それぞれ計算により求められた全ての前景ブロックヒストグラムを用いた補間により前景ブロックヒストグラムが求められるまで、ステップＳ５１乃至Ｓ５７の処理が繰り返される。そして、ステップＳ５７において、未処理の前景補間対象ブロックが存在しない場合、すなわち、全ての前景補間対象ブロックについて、それぞれ計算により求められた全ての前景ブロックヒストグラムを用いた補間により前景ブロックヒストグラムが求められたと判定された場合、処理は、ステップＳ５８に進む。

尚、式（２）を参照して説明した重みＷｆ１ｉの関数は、これ以外の計算式を用いるようにしてもよく、例えば、一定距離を超えた場合は０にする窓関数や空間的な距離ではなく特徴ベクトル間の差を重みとしても良い。また、前景ブロックヒストグラムを補間する手法については、上述した手法以外であってもよく、例えば、隣接するブロック間で依存して値が決まるマルコフ確率場の問題として、連立一次方程式の解法である最小二乗法や共役勾配法などの数学的手法を使ってブロックヒストグラムを補間するようにしてもよい。また、計算により求めることができた補間元の前景ブロックヒストグラムは、固定の既知の値、前景補間対象ブロックのヒストグラムが補間元となるブロックのヒストグラムから隣接依存関係を通じて確率的に求まる値として計算するようにしてもよい。

また、ステップＳ５８乃至Ｓ６４の処理は、処理対象となるブロックが、前景補間対象ブロックに代えて、背景補間対象ブロックとなり、求められる重みの表記が重みＷｆ１ｉに代えて、重みＷｂ１ｉとなることを除き、ステップＳ５１乃至Ｓ５７の処理と同様であるので、その説明は省略する。

ステップＳ６５において、ブロックヒストグラム補間部２３は、計算により求められた前景、および背景のそれぞれのブロックヒストグラム、並びに、補間により得られた前景、および背景のそれぞれのブロックヒストグラムを、画素尤度計算部２４に出力する。

ここで、図４のフローチャートの説明に戻る。ステップＳ３３のブロックヒストグラム補間処理が終了することにより、ブロックヒストグラム計算処理が終了する。

すなわち、以上の処理により、計算により求められた前景ブロックヒストグラム、および背景ブロックヒストグラムにより、前景補間対象ブロックの前景ブロックヒストグラム、および背景補間対象ブロックの背景ブロックヒストグラムが求められる。この処理は、換言すると、前景、および背景としてマークされた画素を所定の閾値T_markより多く含む局所領域により求められた特徴ベクトルを用いて、前景、および背景としてマークされた画素を所定の閾値T_markより多く含まない局所領域の色分布モデルを補間により求めている処理と言える。結果として、入力画像の全領域のブロックを構成する局所領域に対して、局所領域毎に前景、および背景の色分布モデルの情報が求められることとなる。

ここで、図３のフローチャートの説明に戻る。

ステップＳ４のブロックヒストグラム計算処理により、全ブロックに前景ブロックヒストグラム、および背景ブロックヒストグラムが求められると、処理は、ステップＳ５に進む。

ステップＳ５において、画素尤度計算部２４は、前景、および背景を示すマークの情報、スウォッチ、およびスウォッチIDの情報、並びに、各ブロックの前景ブロックヒストグラム、および背景ブロックヒストグラムに基づいて、尤度計算処理を実行し、各画素の尤度を計算する。

［尤度計算処理］
ここで、図８のフローチャートを参照して、尤度計算処理について説明する。

ステップＳ８１において、画素尤度計算部２４は、入力画像における未処理の画素を処理対象画素に設定する。

ステップＳ８２において、画素尤度計算部２４は、処理対象画素が、前景、または背景を識別するマークが付されている画素であるか否かを判定する。ステップＳ８２において、例えば、マークが付されている画素である場合、処理は、ステップＳ９０に進む。

すなわち、ステップＳ８２において、マークが付されている画素であるということは、既に前景、または背景のいずれかの画素であることが明らかであるので、ステップＳ９０において、画素尤度計算部２４は、マークの情報に従って、尤度を設定する。すなわち、画素尤度計算部２４は、そのマークが前景を示すものであれば、処理対象画素の尤度を１．０に設定し、背景であれば処理対象画素の尤度を０．０に設定し、処理は、ステップＳ８９に進む。

一方、ステップＳ８２において、例えば、マークが付されていない画素である場合、ステップＳ８３において、画素尤度計算部２４は、処理対象画素のスウォッチIDを特定する。

ステップＳ８４において、画素尤度計算部２４は、処理対象画素に対応する処理対象画素の属するブロック、およびその近傍のブロックの前景ブロックヒストグラム、および背景ブロックヒストグラムを読み出す。

ステップＳ８５において、画素尤度計算部２４は、処理対象画素のブロック、およびその近傍のブロックの前景ブロックヒストグラム、および背景ブロックヒストグラムに基づいて、処理対象画素に対応する画素位置のスウォッチIDの正規化カウント数を読み出す。

ステップＳ８６において、画素尤度計算部２４は、読み出した処理対象画素のブロック、およびその近傍のブロックの前景ブロックヒストグラム、および背景ブロックヒストグラムの処理対象画素に対応する画素位置のスウォッチIDの正規化カウント数の平均を求める。

ステップＳ８７において、画素尤度計算部２４は、求められた処理対象画素のブロック、およびその近傍のブロックの前景ブロックヒストグラム、および背景ブロックヒストグラムの処理対象画素に対応する画素位置のスウォッチIDの正規化カウント数の平均を、それぞれ前景尤度、および背景尤度として記憶する。ここでいう処理対象画素の属するブロックの近傍のブロックとは、例えば、処理対象画素の属するブロックを中心として上下左右方向、および斜め方向に隣接する８個のブロックである。このように近傍ブロックのヒストグラムまで参照することで、参照するブロックヒストグラムが、処理対象画素の属するブロックを含めた隣接するブロック同士で重なりを持つようになるので、尤度がブロック境界で大きく変化することを防ぐことができ、より安定した値を得ることができる。また、局所的な領域は、互いに重なり合うように定義するようにしてもよい。この場合、重なりあう部分の画素は、両方のブロックのヒストグラムにカウントされるが、ヒストグラムの総数に対する全体の割合が求められれば良いので、異なるブロックとして定義されていればよいものである。さらに、画素の尤度を計算するに当たり、処理対象画素の属するブロックのブロックヒストグラムのみを使用するようにして、処理負荷を低減し、処理速度を向上させるようにしてもよい。

ステップＳ８８において、画素尤度計算部２４は、記憶した前景尤度と背景尤度とを用いて、以下の式（３）を計算することにより、処理対象画素の尤度を求める。

Ｐｒ（ｘ）＝ＰｒＦ（ｘ）／（ＰｒＦ（ｘ）＋ＰｒＢ（ｘ））
・・・（３）

ここで、Ｐｒ（ｘ）は、処理対象画素の尤度を示しており、ＰｒＦ（ｘ）は、処理対象画素の属するブロックと、その近傍のブロックの、処理対象画素のスウォッチIDに対応する前景ブロックヒストグラムの正規化カウント数の平均値、すなわち、前景尤度を示している。また、ＰｒＢ（ｘ）は、処理対象画素の属するブロックと、その近傍のブロックの、処理対象画素のスウォッチIDに対応する背景ブロックヒストグラムの正規化カウント数の平均値、すなわち、背景尤度を示している。

すなわち、各ブロックの前景ブロックヒストグラム、および背景ブロックヒストグラムの各スウォッチIDに対応する正規化カウント数は、局所領域における処理対象画素の尤度そのものであるので、正規化カウント数として求められる前景尤度および背景尤度を用いて画素単位の尤度を求めることが可能となる。

ステップＳ８９において、画素尤度計算部２４は、未処理の画素が存在するか否かを判定し、未処理の画素がある場合、処理は、ステップＳ８１に戻る。すなわち、全ての画素について尤度が求められるまで、ステップＳ８１乃至Ｓ９０の処理が繰り返される。

そして、ステップＳ８９において、未処理の画素がないと判定された場合、処理は、終了する。

以上の処理により、画素単位で尤度が求められることになる。

ここで、図３のフローチャートに戻る。

ステップＳ５の処理により全ての画素について尤度が求められると、ステップＳ６において、画素尤度計算部２４は、求められた画素の尤度に対応する画素値からなる画像を生成し、これを尤度マップ画像として出力する。

以上の処理により、局所領域毎に、マークされた情報に基づいて求められる前景、および背景それぞれのブロックヒストグラムが、局所領域の特徴ベクトルとして求められる。さらに、マークされた画素の情報に乏しい画素からなるブロックについては、求められたブロックヒストグラムを用いて、補間によりブロックヒストグラムが求められ、特徴分布モデルを構成する。そして、マークされた画素を多く含むブロックについては、求められた特徴ベクトルとしてのブロックヒストグラムより、マークされた画素に乏しいブロックについては、求められた特徴分布モデルとして求められたブロックヒストグラムより、それぞれ前景ブロックヒストグラム、および背景ブロックヒストグラムを構成して、各画素のスウォッチIDに対応する正規化カウント数より画素単位の前景尤度、および背景尤度を求め、前景尤度、および背景尤度から各画素の尤度を求めるようにした。このため、求められた画素単位の尤度からなる尤度マップ画像を用いることにより、入力画像から前景画像であるオブジェクト画像を高精度で分離することが可能となる。

尚、以上においては、前景ブロックヒストグラム、および背景ブロックヒストグラムが、色見本数Ｓｎ次元の局所領域の特徴ベクトルを構成し、この特徴ベクトルを用いて、前景補間対象ブロック、および背景補間対象ブロックのそれぞれの前景ブロックヒストグラム、および背景ブロックヒストグラムを、特徴ベクトルと同一次元のベクトルからなる特徴分布モデルとして求め、この特徴分布モデルから画素尤度を計算するようにした。しかしながら、入力画像の局所領域の特徴ベクトルは、入力画像の局所領域より得られるものであればよいため、色見本列からなるベクトルに限らず、例えば、動きベクトル、深度、フィルタ応答値、および法線ベクトルなどを利用するようにしてもよい。さらには、特徴ベクトルは、色見本列のベクトル、動きベクトル、深度、フィルタ応答値、および法線ベクトルといった複数の異なる種類の全て、またはそのいずれかの組み合わせであってもよい。

＜２．第２の実施の形態＞
［尤度マップ計算装置のその他の構成例］
以上においては、マークされた画素に乏しいブロックにおいては、計算によりブロック単位で前景および背景のそれぞれのブロックヒストグラムが求められないので、ブロックヒストグラムを求めることができた全てのブロックのヒストグラムを用いて、求められなかったブロックのブロックヒストグラムを補間する必要があり、この処理の負荷が大きなものとなることが予想される。

そこで、このブロックヒストグラムの補間による計算処理を軽減させることで、処理負荷を低減させ、処理速度を向上させることが考えられる。

図９は、図１の尤度マップ計算装置における場合のブロックヒストグラムの補間処理に係る負荷を低減できるようにした尤度マップ計算装置のハードウェアのその他の実施の形態の構成例を示している。尚、図９の尤度マップ計算装置１１においては、図１の尤度マップ１１と同一の構成について、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。

すなわち、図９の尤度マップ計算装置１１において、図１の尤度マップ計算装置１１と異なるのは、ブロックヒストグラム計算部２２、およびブロックヒストグラム補間部２３に代えて、ブロック階層分割計算部４１、および階層ブロックヒストグラム計算部４２を備えている点である。

ブロック階層分割計算部４１は、入力画像を階層数Ｓｍだけ階層式に異なるサイズのブロックに分割し、階層構造を持ったブロックを構成し、その情報を階層ブロックヒストグラム計算部４２に供給する。尚、階層数Ｓｍは、任意に設定するパラメータである。

階層ブロックヒストグラム計算部４２は、ブロックのうち階層が最上位、すなわち、最もブロックサイズの大きなの階層のブロックより順に、上述した手法と同様に前景ブロックヒストグラム、および背景ブロックヒストグラムを求める。より詳細には、階層ブロックヒストグラム計算部４２は、ブロックヒストグラム計算部４２ａ、ブロックヒストグラム計算部４２ｂ、および重み計算部４２ｃを備えている。階層ブロックヒストグラム計算部４２は、ブロックヒストグラム計算部２２と略同様の機能を備えているブロックヒストグラム計算部４２ａを制御して、上位の階層から順に前景および背景のブロックヒストグラムを計算させる。階層ブロックヒストグラム計算部４２は、ブロックヒストグラム補間部２３と略同様の機能を備えるブロックヒストグラム補間部４２ｂを制御して、ブロックヒストグラムを求めることができなかったブロックについて、その上位層のブロック、およびその近傍ブロックのブロックヒストグラムを用いて、ブロックヒストグラムを補間する。この際、階層ブロックヒストグラム計算部４２は、重み計算部２３ａと略同様の機能を備えた重み計算部４２ｃを制御して、処理対象となっているブロックと、補間に用いようとする上位層のブロックとのそれぞれの中心間の距離に応じた重みを設定する。

［尤度マップ生成処理］
ここで、図１０のフローチャートを参照して、図９の尤度マップ計算装置１１による尤度マップ生成処理について説明する。尚、図１０におけるステップＳ１０１，Ｓ１０２，Ｓ１０５，Ｓ１０６の処理については、図３を参照して説明したステップＳ１，Ｓ２，Ｓ５，Ｓ６の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ１０１においてスウォッチが求められ、ステップＳ１０２において、画素単位のスウォッチIDが求められると、ステップＳ１０３において、ブロック階層分割計算部４１は、画像を空間的に四分割する処理を、再帰的に繰り返して階層構造を得る四分木構造にして階層的にブロックを生成する。すなわち、ブロック階層分割計算部４１は、例えば、図１１の左部で示されるように、画像解像度の矩形からスタートして、各ノードが４個の子ノードを持つように分割する。ここで、ブロック階層分割計算部４１は、四分割は各矩形が均等になるように分割し、この処理を再帰的に階層Ｓｍの深さまで分割を繰り返す。

図１１においては、上から最上位階層である階層０であり、このブロックをブロックＨ（０，０）とする。さらに、ブロック階層分割計算部４１は、ブロックＨ（０，０）を均等に４分割することにより、１階層下位の階層１のブロックＨ（１，０），Ｈ（１，１），Ｈ（１，２），Ｈ（１，３）を生成する。さらに、ブロック階層分割計算部４１は、ブロックＨ（１，０）を均等に４分割することにより、１階層下位の階層２のブロックＨ（２，０），Ｈ（２，１），Ｈ（２，５），Ｈ（２，４）を生成する。同様に、ブロック階層分割計算部４１は、ブロックＨ（１，１）を均等に４分割することにより、１階層下位の階層２のブロックＨ（２，２），Ｈ（２，３），Ｈ（２，７），Ｈ（２，６）を生成する。同様に、ブロック階層分割計算部４１は、ブロックＨ（１，２）を均等に４分割することにより、１階層下位の階層２のブロックＨ（２，８），Ｈ（２，９），Ｈ（２，１２），Ｈ（２，１３）を生成する。さらに、ブロック階層分割計算部４１は、ブロックＨ（１，３）を均等に４分割することにより、１階層下位の階層２のブロックＨ（２，１０），Ｈ（２，１１），Ｈ（２，１４），Ｈ（２，１５）を生成する。すなわち、階層２においては、ブロック階層分割計算部４１は、ブロックＨ（２，１）乃至（２，１５）の１６個のブロックを分割して生成する。

このように、階層Ｓｍに至るまで、４分割が繰り返されて階層毎のブロックが構成される。尚、均等に分割できればよいので、均等にブロックが分割できれば、４分割以外であってもよいものである。

ステップＳ１０４において、階層ブロックヒストグラム計算部４２は、ブロックヒストグラム計算処理を実行し、上位階層から順に階層毎にブロックヒストグラムを求める処理を繰り返し、最下層である階層Ｓｍのブロックまでの前景ブロックヒストグラムおよび背景ブロックヒストグラムを計算する。

［ブロックヒストグラム計算処理］
ここで、図１２のフローチャートを参照して、図９の階層ブロックヒストグラム計算部４３によるブロックヒストグラム計算処理について説明する。尚、図１２のフローチャートにおけるステップＳ１２２乃至Ｓ１３３の処理は、図４のフローチャートにおけるステップＳ２１乃至Ｓ３２の処理と対応する処理であり、その説明は適宜省略するものとする。

すなわち、ステップＳ１２１において、階層ブロックヒストグラム計算部４３は、階層をカウントするための階層カウンタｒを０に初期化する。尚、この階層カウンタｒにおいは、階層カウンタｒ＝０のとき、階層としては最上位であるものとし、同様にして、階層カウンタｒ＝Ｓｍのとき最下層であるものとする。

ステップＳ１２２乃至Ｓ１３３において、階層ブロックヒストグラム計算部４３は、ブロックヒストグラム計算部４２ａを制御して、階層ｒの各ブロックについて、図４のステップＳ２１乃至Ｓ３２と同様の処理を実行させる。この処理により、階層ｒの前景ブロックヒストグラム、および背景ブロックヒストグラムを求めさせ、求められなかったブロックについては、前景補間対象ブロック、および背景補間対象ブロックに設定させる。

ステップＳ１２２乃至Ｓ１３３の処理が繰り返されて、階層ｒについて、前景ブロックヒストグラム、および背景ブロックヒストグラムが求められ、求められなかったブロックが、前景補間対象ブロック、および背景補間対象ブロックに設定されると、処理は、ステップＳ１３４に進む。

ステップＳ１３４において、階層ブロックヒストグラム計算部４３は、ブロックヒストグラム補間部４２ｂを制御して、ブロックヒストグラム補間処理を実行させ、前景補間対象ブロック、および背景補間対象ブロックに設定されたブロックについて、それぞれ階層ｒより上位層である階層（ｒ−１）の隣接ブロックの前景ブロックヒストグラム、および背景ブロックヒストグラムを用いて、前景ブロックヒストグラム、および背景ブロックヒストグラムを求める。

［ブロックヒストグラム補間処理］
ここで、図１３のフローチャートを参照して、階層ブロックヒストグラム計算部４３がブロックヒストグラム補間部４２ｂを制御して実行させるブロックヒストグラム補間処理について説明する。

ステップＳ１５１において、ブロックヒストグラム補間部４２ｂは、階層ｒの未処理の前景補間対象ブロックを補間処理対象ブロックに設定する。

ステップＳ１５２において、ブロックヒストグラム補間部４２ｂは、階層ｒの上位層である階層（ｒ−１）であって、補間処理対象ブロックの上位層ブロックと、その隣接するブロックのうち、未処理のブロックを処理対象ブロックＢＬｉに設定する。尚、ｉは、補間処理対象ブロックの上位層ブロックと、その隣接するブロックを識別する識別子である。すなわち、図１１の場合、階層ｒ＝２であって、補間処理対象ブロックがブロックＨ（２，１０）の場合、補間処理対象ブロックの上位層ブロックとは、ブロックＨ（２，１０）が分割前に属するブロックＨ（１，３）である。また、補間処理対象ブロックの上位層ブロックと隣接するブロックとは、ブロックＨ（１，３）に隣接するブロックＨ（１，０），Ｈ（１，１），Ｈ（１，２）である。

ステップＳ１５３において、ブロックヒストグラム補間部４２ｂは、補間処理対象ブロックと処理対象ブロックＢＬｉとの距離ｄｉを求める。より具体的には、ブロックヒストグラム補間部４２ｂは、補間処理対象ブロックの中心位置と処理対象ブロックの中心位置との距離を距離ｄｉとして求める。

ステップＳ１５４において、ブロックヒストグラム補間部４２ｂは、重み計算部４２ｃを制御して、求められた距離ｄｉに基づいて、上述した式（１）と同様に計算することにより、処理対象ブロックに対する重みＷｆ２ｉを設定する。

ステップＳ１５５において、ブロックヒストグラム補間部４２ｂは、階層（ｒ−１）のブロックであって、補間処理対象ブロックの上位層ブロックと、そのブロックに隣接するブロックのうち、未処理のブロックが存在するか否かを判定する。ステップＳ１５５において、例えば、未処理のブロックが存在する場合、処理は、ステップＳ１５２に戻る。すなわち、図１１の補間処理対象ブロックがブロックＨ（２，１０）の場合、ステップＳ１５２乃至Ｓ１５５の処理が繰り返されることにより、図１１の右部で示されるように、ブロックＨ（２，１０）の中心位置と、ブロックＨ（１，０），Ｈ（１，１），Ｈ（１，２），Ｈ（１，３）とのそれぞれの距離と、それぞれの距離に応じた重みＷｆ２ｉ（ｉ＝１乃至４）が求められる。

そして、ステップＳ１５５において、階層（ｒ−１）のブロックであって、補間処理対象ブロックの上位層ブロックと、そのブロックに隣接するブロックのうち、未処理のブロックが存在しないと判定された場合、処理は、ステップＳ１５６に進む。

ステップＳ１５６において、ブロックヒストグラム補間部４２ｂは、重みＷｆ１ｉを、重みＷｆ２ｉに代えて、上述した式（２）で示される式を計算することにより、上位層のブロックと、そのブロックに隣接するブロックの前景ブロックヒストグラムについて、それぞれのブロックの重みＷｆ２ｉを付した平均値を求めることにより、補間処理対象ブロックのブロックヒストグラムを補間する。そして、ブロックヒストグラム補間部４２ｂは、補間により得られたブロックヒストグラムを、階層ｒの補間処理対象ブロックの前景ブロックヒストグラムとして画素尤度計算部２４に供給する。

ステップＳ１５７において、ブロックヒストグラム補間部４２ｂは、階層ｒの未処理の前景補間対象ブロックが存在するか否かを判定し、存在する場合、処理は、ステップＳ１５１に戻る。すなわち、階層ｒの全ての前景補間対象ブロックについて、上位層のブロックと、そのブロックに隣接するブロックの前景ブロックヒストグラムを用いた補間により前景ブロックヒストグラムが求められるまで、ステップＳ１５１乃至Ｓ１５７の処理が繰り返される。そして、ステップＳ１５７において、階層ｒの未処理の前景補間対象ブロックが存在しない場合、すなわち、階層ｒの全ての前景補間対象ブロックについて、補間により前景ブロックヒストグラムが求められたと判定された場合、処理は、ステップＳ１５８に進む。

尚、ステップＳ１５８乃至Ｓ１６４の処理は、処理対象となるブロックが、前景補間対象ブロックに代えて、背景補間対象ブロックとなり、重みの表記が、重みＷｆ２ｉに代えて重みＷｂ２ｉとされることを除き、ステップＳ１５１乃至Ｓ１５７の処理と同様であるので、その説明は省略する。

すなわち、以上の処理によれば、補間対象ブロックのブロックヒストグラムを補間するにあたり、利用するブロックヒストグラムを最大でも４ブロック分とすることができるため、補間による計算量を抑制することが可能となる。また、この補間に当たり利用するブロックヒストグラムは、上位層のブロックと、その隣接ブロックのものであるので、補間による精度の低下を抑制することが可能となる。

ここで、図１２のフローチャートの説明に戻る。

ステップＳ１３４の処理により、ブロックヒストグラム補間処理が実行されると、ステップＳ１３５において、階層ブロックヒストグラム計算部４３は、階層カウンタｒが最大値r_maxとなっているか、すなわち、最下層の処理まで終了しているか否かを判定し、最大値r_maxとなっていない場合、処理は、ステップＳ１３６に進む。

ステップＳ１３６において、階層ブロックヒストグラム計算部４３は、階層カウンタｒを１インクリメントして、処理は、ステップＳ１２２に戻る。すなわち、全ての階層について、前景、および背景のそれぞれのブロックヒストグラムが求められるまで、ステップＳ１２２乃至Ｓ１３６の処理が繰り返される。

そして、ステップＳ１３５において、階層カウンタｒが最大値r_maxであると判定された場合、処理は、終了する。

すなわち、この処理により最下層までの全てのブロックについて前景ブロックヒストグラムおよび背景ブロックヒストグラムが求められることになり、この最下層のブロックを用いて、尤度計算処理が実行されて、各画素単位で尤度が計算される。

以上の処理により、前景、および背景のそれぞれのブロックヒストグラムが求められる際の補間に係る計算量を抑制することが可能となる。このため、入力画像からオブジェクト画像を高精度で、かつ、高速に分離する処理を実現することが可能となる。

尚、以上においては、前景、および背景のそれぞれのブロックヒストグラムを補間生成する際、同一画像空間内において、既に求められているブロックヒストグラムが求められているブロック間の画像空間内における距離に応じて重みを付すことで重み付き平均として求める例について説明してきた。しかしながら、動画像などの場合については、動きベクトルなどにより前後のフレーム間でブロックヒストグラムが求められているブロックを利用するようにしてもよい。

すなわち、例えば、図１４で示されるように、画像Ｐ１１乃至Ｐ１３よりなる動画像がある場合、ブロックＢ１２が補間対象ブロックであることを考える。さらに、ブロックＢ１２上の画素Ａ１２の動きベクトルＭＶにより対応する画素Ａ１１，Ａ１３に基づいて、ブロックＢ１１乃至Ｂ１３が、いずれも対応するものであることが分かっているものとする。このような場合、補間対象ブロックであるブロックＢ１２のブロックヒストグラムは、ブロックＢ１１，Ｂ１３のブロックヒストグラムをフレーム間距離に応じた重み平均により補間するようにしてもよい。さらに、異なるフレーム間における空間内の位置も、上述した同様の手法で重み付けし、画像空間内距離、およびフレーム間距離のそれぞれに対応した重み平均によりブロックヒストグラムを補間するようにしてもよい。

さらに、以上の実施例においては対称となる画像が２次元の例を示したが、３次元以上の空間データにおいても同様の尤度算出が可能である。

例えば、図１５で示されるように、３次元の空間データにおいても同様の尤度算出が可能である。３次元のデータはボリュームデータと呼ばれ、画素へのアクセスが２次元画像ではｘ、ｙの２次元で行われているが、３次元ではｘ、ｙ、ｚの３次元で行われる。３次元データの画素はボクセルとも呼ばれる。

３次元データの場合、入力マーク指定は、自動で処理する方法も可能であり、例えば、閾値処理などを通して自動でマークをつけたい各画素のデータを選択することができる。

また、３次元データを利用した尤度マップ生成処理については、実質的に、図３のフローチャートを参照して説明した尤度マップ生成処理と同様である。

すなわち、ステップＳ１における、３次元データにおけるスウォッチ計算は、２次元の場合と同様に、３次元データ中に含まれるすべての画素のデータを使って統計的な機械学習による演算である。

ステップＳ２における、各画素へのスウォッチＩＤについても、２次元の場合と同様であり、ステップＳ１の処理で求めたスウォッチの色見本列から自身の色に最も近いスウォッチＩＤが割り当てられる。

ステップＳ３におけるブロック単位の分割処理は、２次元画像の場合は所定の大きさの２次元のブロックであったものが、３次元データの場合、図１５で示されるような、３次元の直方体ブロックに置き換えて考えればよい。図１５においては、ブロックＢＬ１０１が１／８に均等分割されたブロックが、ブロックＢＬ１１１である。また、ブロックＢＬ１１１が１／８に均等分割されたブロックがブロックＢＬ１２１である。

ステップＳ４におけるブロックヒストグラム計算処理は、３次元の直方体ブロックに含まれるスウォッチＩＤが集められてヒストグラムが作成される。

ステップＳ５における尤度計算処理は、２次元画像の場合と同様に、直方体ブロックごとに求めたヒストグラムが使用されて、各画素のスウォッチＩＤに基づいた尤度が計算されて割り当てられる。前景および背景の補間対象ブロックの補間については、参照元となる直方体ブロックへの距離計算が２次元から３次元に変わるのみであり、２次元の場合と同様にブロック間のユークリッド距離などが計算されて重みとして補間される。

階層構造を適用して計算を簡単化する例も同じように適用可能であり、２次元のブロックの階層構造が、３次元の直方体ブロックの階層構造となるだけである。

このように考えると本尤度計算装置は、データ構造の次元数および各画素のベクトル次元数に依存せず適用可能である。また、次元数が増えて入力データ量が増大する場合でも、スウォッチの色見本数Ｓｎを減らすなどすれば、所定のメモリ量で処理が可能になる。

本発明によれば、入力画像からオブジェクト画像を高精度で分離することが可能となる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

１１ 尤度マップ計算装置， ２１ スウォッチ計算部， ２２ ブロックヒストグラム計算部， ２３ ブロックヒストグラム補間部， ２３ａ 重み計算部， ２４ 画素尤度計算部， ４１ ブロック階層分割計算部， ４２ 階層ブロックヒストグラム計算部， ４２ａ ブロックヒストグラム計算部， ４２ｂ ブロックヒストグラム補間部， ４２ｃ 重み計算部

Claims (9)

1. 入力画像のうち、標本画素を含む局所領域毎に、前記標本画素の特徴ベクトルを抽出する特徴ベクトル抽出手段と、
   前記入力画像が分割された分割領域毎に、前記局所領域との位置関係に基づいて、前記局所領域のそれぞれに対する重みを計算する重み計算手段と、
   前記分割領域毎に、前記局所領域の特徴ベクトルに、それぞれの局所領域毎に計算された重みを付した重み付き平均を、前記局所領域における特徴分布モデルとして算出する特徴分布モデル算出手段と、
   前記特徴分布モデルに基づいて、前記入力画像における画素毎の画素尤度を算出する画素尤度算出手段と
   を含む画像処理装置。
2. 前記特徴ベクトル抽出手段は、入力画像のうち標本画素を含む局所領域毎に、前記局所領域の画素毎の色、動きベクトル、深度、フィルタ応答値、または法線ベクトルからなるベクトルを前記特徴ベクトルとして抽出する
   請求項１に記載の画像処理装置。
3. 前記標本画素は、前記画像内における被写体の存在する位置を識別する情報を含む画素である
   請求項１に記載の画像処理装置。
4. 前記重み計算手段は、前記分割領域と、前記局所領域のそれぞれとの画像空間内の距離、または、複数の前記画像からなる動画像におけるフレーム間距離に基づいて、前記分割領域毎の、前記局所領域のそれぞれに対する重みを計算する
   請求項１に記載の画像処理装置。
5. 前記局所領域、および前記分割領域は、前記入力画像を階層的に分割したブロック構造であり、
   前記重み計算手段は、前記入力画像のうち前記分割領域と、前記分割領域の階層より上位の階層の前記局所領域のそれぞれとの画像空間内の距離、または、複数の画像からなる動画像におけるフレーム間距離に基づいて、前記分割領域毎の、前記局所領域のそれぞれに対する重みを計算する
   請求項１に記載の画像処理装置。
6. 前記特徴分布モデル算出手段は、前記分割領域毎に、前記局所領域の、量子化した量子化ベクトルの多次元ヒストグラムとし、前記多次元ヒストグラムに、それぞれの重みを付して、前記分割領域における特徴分布モデルを算出する
   請求項１に記載の画像処理装置。
7. 前記特徴分布モデル算出手段は、前記入力画像の２以上の代表色から色見本を求め、前記局所領域における色見本の識別番号のヒストグラムを、それぞれの重みを付して、前記分割領域における特徴分布モデルを算出する
   請求項１に記載の画像処理装置。
8. 入力画像のうち、標本画素を含む局所領域毎に、前記標本画素の特徴ベクトルを抽出する特徴ベクトル抽出手段と、
   前記入力画像が分割された分割領域毎に、前記局所領域との位置関係に基づいて、前記局所領域のそれぞれに対する重みを計算する重み計算手段と、
   前記分割領域毎に、前記局所領域の特徴ベクトルに、それぞれの局所領域毎に計算された重みを付した重み付き平均を、前記局所領域における特徴分布モデルとして算出する特徴分布モデル算出手段と、
   前記特徴分布モデルに基づいて、前記入力画像における画素毎の画素尤度を算出する画素尤度算出手段と
   を含む画像処理装置の画像処理方法であって、
   前記特徴ベクトル抽出手段における、前記入力画像のうち、前記標本画素を含む局所領域毎に、前記標本画素の特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
   前記重み計算手段における、前記入力画像が分割された分割領域毎に、前記局所領域との位置関係に基づいて、前記局所領域のそれぞれに対する重みを計算する重み計算ステップと、
   前記特徴分布モデル算出手段における、前記分割領域毎に、前記局所領域の特徴ベクトルに、それぞれの局所領域毎に計算された重みを付した重み付き平均を、前記局所領域における特徴分布モデルとして算出する特徴分布モデル算出ステップと、
   前記画素尤度算出手段における、前記特徴分布モデルに基づいて、前記入力画像における画素毎の画素尤度を算出する画素尤度算出ステップと
   を含む画像処理方法。
9. 入力画像のうち、標本画素を含む局所領域毎に、前記標本画素の特徴ベクトルを抽出する特徴ベクトル抽出手段と、
   前記入力画像が分割された分割領域毎に、前記局所領域との位置関係に基づいて、前記局所領域のそれぞれに対する重みを計算する重み計算手段と、
   前記分割領域毎に、前記局所領域の特徴ベクトルに、それぞれの局所領域毎に計算された重みを付した重み付き平均を、前記局所領域における特徴分布モデルとして算出する特徴分布モデル算出手段と、
   前記特徴分布モデルに基づいて、前記入力画像における画素毎の画素尤度を算出する画素尤度算出手段と
   を含む画像処理装置を制御するコンピュータに、
   前記特徴ベクトル抽出手段における、前記入力画像のうち、前記標本画素を含む局所領域毎に、前記標本画素の特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
   前記重み計算手段における、前記入力画像が分割された分割領域毎に、前記局所領域との位置関係に基づいて、前記局所領域のそれぞれに対する重みを計算する重み計算ステップと、
   前記特徴分布モデル算出手段における、前記分割領域毎に、前記局所領域の特徴ベクトルに、それぞれの局所領域毎に計算された重みを付した重み付き平均を、前記局所領域における特徴分布モデルとして算出する特徴分布モデル算出ステップと、
   前記画素尤度算出手段における、前記特徴分布モデルに基づいて、前記入力画像における画素毎の画素尤度を算出する画素尤度算出ステップと
   を含む処理を実行させるプログラム。

Images