JP2012014535A

JP2012014535A - 物体領域抽出システム、方法、及び、プログラム

Info

Publication number: JP2012014535A
Application number: JP2010151523A
Authority: JP
Inventors: Tetsuaki Suzuki; 哲明鈴木; Hiroyoshi Miyano; 博義宮野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2010-07-02
Filing date: 2010-07-02
Publication date: 2012-01-19

Abstract

【課題】抽出対象の物体の周辺に、抽出対象の物体の色に近い物体がある場合であっても、物体領域の誤検出が発生しにくいシステム等を提供する。
【解決手段】物体領域抽出システムは、物体領域、背景領域、指定無し領域を含む入力画像の、位置色空間における物体距離と背景距離との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい（大きい）場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく（小さく）算出する局所性比較手段と、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成手段と、を備える。
【選択図】図１５

Description

本発明は物体領域抽出システム、方法、及び、プログラムに関する。

物体領域抽出システムの一例が、非特許文献１、特許文献１に記載されている。非特許文献１と特許文献１の手法は、ユーザにより指定された物体領域と背景領域から求められたヒストグラムに基づく各画素が各領域に含まれる確からしさと、各画素が同じ領域に含まれる確からしさとに基づいて、ユーザが興味を持つ物体領域を抽出する手法である。

米国特許出願公開２００４／０００８８８６

Y. Boykov et al., "Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images" Proc. Int'l Conf. on Computer Vision, 2001

上述の文献に記載の技術では、抽出対象の物体の周辺に、抽出対象の物体の色に近い物体がある場合に、物体領域の誤検出が発生しやすいという問題がある。本発明は、このような課題を解決することを目的とする。

かかる目的を達成するため、本発明の一形態は、物体領域抽出システムであって、物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較手段と、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成手段と、を備える。

また、本発明によれば、物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較ステップと、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成ステップと、をコンピュータに実行させる物体領域抽出プログラムが提供される。

また、本発明によれば、物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出し、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域抽出方法が提供される。

本発明によれば、抽出対象の物体の周辺に、抽出対象の物体の色に近い物体がある場合であっても、物体領域の誤検出が発生しにくい物体領域抽出システム、方法、及び、プログラムを提供することができる。

本発明の第１の実施の形態の構成を示すブロック図である。マスク画像を説明する図である。入力画像とマスク画像から物体/背景モデルを構築する手順を説明する図である。物体/背景モデル構築時に、物体と背景とで空間的な広がりの違いを考慮した場合の代表点のカバーする領域の変化について説明する図である。物体/背景尤度計算に用いる、注目画素と最近傍代表点との距離について説明する図である。物体モデルと背景モデルとで空間的な広がりの違いを考慮した場合に発生する効果の例について説明する図である。物体モデルと背景モデルとで空間的な広がりの違いを考慮した場合としない場合との処理結果の例を示す図である。本発明の第１の実施の形態の動作を示す流れ図である。本発明の第２の実施の形態の構成を示すブロック図である。本発明の第２実施の形態の動作を示す流れ図である。本発明の第２の実施の形態の動作の具体例を示す図である。局所性比較部１０５の機能の一例を説明するための図である。局所性比較部１０５の機能の一例を説明するための図である。局所性比較部１０５の機能の一例を説明するための図である。本発明の第３の実施の形態の構成を示すブロック図である。

次に、発明を実施するための形態について図面を参照して詳細に説明する。

なお、各実施形態の物体領域抽出システム１を構成する各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなり、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。

制御部はＣＰＵ（Central Processing Unit）などからなり、オペレーティングシステムを動作させて物体領域抽出システム１の全体を制御するとともに、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。

記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。

また、各実施形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、これらの図においては、各実施形態の構成部は物理的に結合した一つの装置により実現されるよう記載されている場合もあるが、その実現手段はこれに限定されない。すなわち、二つ以上の物理的に分離した装置を有線または無線で接続し、これら複数の装置により、各実施形態のシステムを実現してもよい。

＜第１の実施の形態＞
図１に本発明の第一の実施の形態にかかる物体領域抽出システム１のブロック図を示す。図１を参照すると、本発明の第１の実施の形態にかかる物体領域抽出システム１は、画像入力部１０１と、マスク入力部１０２と、物体モデル構築部１０３と、背景モデル構築部１０４と、局所性比較部１０５と、物体尤度計算部１０６と、背景尤度計算部１０７と、連続性尤度計算部１０８と、グラフ構築部１０９と、最大流最適化部１１０と、物体領域生成部１１１と、を含む。なお、物体領域抽出システム１は、具体的には、例えば、パーソナルコンピュータなどの情報処理装置を用いて実現される。これらの各部は、それぞれ概略つぎのように動作する。

画像入力部１０１は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。画像入力部１０１は、ＵＳＢカメラなどの各種カメラなどで撮影された画像や記憶媒体に記憶された画像などの撮像処理対象の画像を入力画像としてシステムに入力する。

マスク入力部１０２は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。マスク入力部１０２は、前記入力画像上の抽出対象の物体領域と、それ以外の背景領域を指定するマスク画像をシステムに入力する。前記マスク画像は、例えば、抽出対象が人間の上体の場合、図２のように、物体のマスク領域（物体マスク領域）は階調値２５５、背景のマスク領域（背景マスク領域）は階調値０、指定のない領域は階調値１２８などとする画像である。これらの諧調値は、人手により適宜設定変更可能である。物体マスク領域や背景マスク領域は、本来の物体領域や背景領域の一部を示してあれば良い。物体マスク領域や背景マスク領域の位置や形状は、入力画像ごとに人手により設定してもよい。あるいは、物体マスク領域や背景マスク領域の形状は、最初から決まっていてもよい。この際、抽出対象の物体の上に物体マスク領域が重なり、対象物体以外の領域に背景マスク領域が重なるように、物体を撮影するカメラの向きが調整されるようにしてもよい。画像中の顔の位置は、「鈴木ら、“リングフィルタを用いた高速顔検出処理の開発”、電子通信学会大会後援論文集、Vol.2003, pp.213、2003/03」に記載された顔検出の方法などを用いて検出されてもよい。物体領域と背景領域の位置や形状は、検出した画像中の顔の位置からマスク入力部１０２が決定しても良い。ここでは、抽出対象を人間の上体としたが、それ以外の物体であっても同様のアプローチでマスク画像が与えられる。マスク入力部１０２により、入力画像は、物体領域（物体マスク領域）、背景領域（背景マスク領域）、物体領域でも背景領域でもない指定無し領域に分けられる（図２参照）。

物体モデル構築部１０３は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。物体モデル構築部１０３は、前記マスク画像により物体マスク領域として指定された前記入力画像の画素の階調値と画像上の座標とから物体モデルを構築する。ここでは、画像内における位置座標の横軸をx座標、縦軸をy座標とする。なお、画像は３次元画像でも良く、その場合には、画像内の位置を表す、縦、横、高さの３つの軸を用いてもよい。また、画像上の各画素はR（Red）、G（Green）、B（Blue）の３つの色のチャネルを持つとする。この場合、物体モデル構築部１０３は、図３（ｂ）に示すように、入力画像上で物体マスク領域（白領域）に相当する領域に含まれるn個の画素のx、y座標と、R、G、B値とで構成されるxyRGB空間内の特徴データD₀（式（１））を得る。

続いて、物体モデル構築部１０３は、変換係数ベクトル

を用いて特徴データD₀を式（２）のようにD₀’に変換する。

物体モデル構築部１０３は、この特徴データD₀’から、例えば、k-平均法を用いて特徴データのk個の代表点（物体代表点）を算出する。本実施の形態では、このxyRGB空間のk個の代表点を物体モデルとする。

背景モデル構築部１０４は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。背景モデル構築部１０４は、前記マスク画像により背景マスク領域として指定された前記入力画像の画素の階調値と画像上の座標とから背景モデルを構築する。背景モデル構築部１０４は、物体モデル構築時と同様に図３（ｂ）に示す背景マスク領域（黒領域）に基づき、xyRGB空間内に式（３）に示す特徴データD_Ｂを得る。

続いて、背景モデル構築部１０４は、変換係数ベクトル

を用いて特徴データD_Ｂを式（４）のようにD_Ｂ’に変換する。

背景モデル構築部１０４は、物体モデルと同様に、この特徴データD_Ｂ’から、k個の代表点（背景代表点）を計算する。本実施の形態では、このxyRGB空間のk個の代表点を背景モデルとする。

なお、この例では、物体モデルも背景モデルも、各画素はRGB色空間の3チャネルを持つとしたが、輝度チャネルだけのモノクロ画像や、輝度信号Yと２つの色差信号（Cb、Cr）を使って表現されるYCbCr色空間、その他、CIELAB色空間など、他の色空間を用いた場合も、同様に物体モデルや背景モデルは構築できる。また、本実施の形態における色とは、RGBのみならず、他の色相、彩度、明度、輝度などで表される値であってもよい。

局所性比較部１０５は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。局所性比較部１０５は、前記物体モデル構築部１０３と前記背景モデル構築部１０４で物体モデルと背景モデルを構築する際に、画像中の物体領域と背景領域の位置に関する分布の広がりを比較した情報（例えば、物体は背景よりも狭い範囲に固まって存在しているという情報）を例えばマスク入力部１０２から取得し、物体モデル構築部１０３、背景モデル構築部１０４に与える。物体モデル構築部１０３、背景モデル構築部１０４は、例えば、物体領域の特徴データを変換する変換係数ベクトルAの要素a_1,,a₂と背景領域の特徴データを変換する変換係数ベクトルBの要素b₁,b₂とが、式（５）を満たすように物体モデル、背景モデルを構築する。

以下では、例えば、a₁,a₂,b₁,b₂の値のみを変化させ、a₃,a₄,a₅,b₃,b₄,b₅の値を固定する。

仮に、物体領域の方が背景領域よりも狭い範囲に固まっているにも関わらず、k-平均法により得られた物体モデルと背景モデルの位置に関する分布について、物体モデルの方が背景モデルより広い分布になっている場合（例えば、物体モデルの特徴データD_０と物体モデルの最近傍の代表点との距離の分散が、背景モデルの特徴データD_Ｂと背景モデルの最近傍の代表点との距離の分散よりも大きい場合）、局所性比較部１０５は、a₁とb₁、a_２とb_２の各差を広げてから再度代表点を計算しなおす。そして、局所性比較部１０５は、例えば、物体モデルの分布の広がりが、背景モデルの分布の広がりより小さくなるまで代表点を計算しなおすことができる。または、局所性比較部１０５は、画像中の物体領域と背景領域の分布の広がりに関する情報を予めもっている場合、式（５）を満たす定数を直接指定してもよい。このようにして、局所性比較部１０５は、物体モデルの空間分布が背景モデルの空間分布よりも狭い範囲となるようにする。なお、分布の広がりは、上述のように各モデルの特徴データとその最近傍の背景代表点の距離の分散に基づいて定めても良いし、各モデルの重心から測ったモデルの端点までの距離を基に定めても良い。また、分布の広がりを表す他の任意の尺度をもとに分布の広がりが定められても良く、特段制限されるものではない。

なお、式（５）の拘束条件は、物体が局所的に存在し、背景が大域的に存在するという前提の下で設けられている。画像の条件によっては、物体領域が大域的に存在し、背景領域が局所的に存在する場合もある。この場合は、局所性比較部１０５は、式（５）の等号を逆にすることで上記と同様にして処理が可能である。

変換係数ベクトルA、Bの第１、第２要素は、それぞれx座標、y座標の係数に相当する座標変換係数であり、これらの係数に対して式（５）の拘束を設けることで、各モデルの代表点がカバーする領域（全代表点中、ある代表点を最も近い代表点とする各特徴データの集合を、その代表点がカバーする領域とよぶ。以下同様。）の大きさが変化する。物体領域の方が背景領域よりも狭い範囲に固まっている場合の具体例として、xyRGB空間のうちx座標とRチャネル（R座標）だけをみた場合（xR空間）について図１２、１３、１４、及び、図４を用いて説明する。

位置に関する変換係数が大きい場合（本例ではa₁）、元の特徴データ（図１２参照）の変換後には、x座標方向に特徴データが広く分布する。この場合、例えばk-平均法による代表点の抽出を物体モデル構築部１０３が行なうと、x軸方向に対して相対的に多くの代表点が生じる（図１３参照）。これに対し、位置に関する変換係数が小さい場合（本例ではb₁）、元の特徴データの変換後には、x座標方向に特徴データが縮まって分布する。この場合、例えばk-平均法による代表点の抽出を背景モデル構築部１０４が行なうと、x軸方向に対してはより少ない代表点が生じ、R軸方向に対して相対的に多くの代表点が生じる（図１４参照）。

この処理をもとのxR空間でみると、図４のように、変換係数が大きい物体モデルは、１つ１つの代表点がカバーする領域のｘ軸上の分布範囲は狭くなり（実線）となり、変換係数が小さい背景モデルは、x軸上の分布範囲が広くなる（点線）。すなわち、入力画像上の物体領域と背景領域との空間位置における分布の広がりの相対差を維持して物体モデルと背景モデルとが構築されるように、局所性比較部１０５は変換係数を調整する。

なお、b₁,b₂の、どちらか片方を０とした場合、背景モデル構築部１０４は、背景モデル構築時にx軸またはy軸のどちらかを考慮に入れないことになる。また、b₁,b₂の両方を０とした場合は、背景モデルは位置に依存せず、RGBの階調値にのみ依存するモデルとなる。このように、局所性比較部１０５は、変換係数を調整することで、物体モデル、背景モデルの構築を制御できる。また、a₁,a₂の、どちらか片方を０とした場合、物体モデル構築部１０３は、物体モデル構築時にx軸またはy軸のどちらかを考慮に入れないことになる。また、a₁,a₂の両方を０とした場合は、物体モデルは位置に依存せず、RGBの階調値にのみ依存するモデルとなる。このように、局所性比較部１０５は、変換係数を調整することで、物体モデル、背景モデルの構築を制御できる。

物体尤度計算部１０６は、入力画像中の画素と物体モデルの最近傍代表点との距離が近いか否かに基づき、前記入力画像中の画素が物体領域に含まれる可能性を示す指標である物体尤度を求める。具体的には、注目画素の特徴データをv_I、物体モデルのi番目の代表点をv_OI、背景モデルのi番目の代表点をv_BIとし、それぞれ、

とする（ｍ：特徴次元数）。このとき、物体尤度l_I(O)は、例えば式（６）のように表すことができる。

なお、d_Bは注目画素と背景モデルの最近傍代表点までの距離（背景距離）、d_oは注目画素と物体モデルの最近傍代表点までの距離（物体距離）であり、例えば式（７）のように表すことができる。

式（７）

d_Bとd_oの具体例を図５に示す。図５のように、注目画素と背景モデルの最近傍代表点までの距離がd_B、注目画素と物体モデルの最近傍代表点までの距離がd_oである。

背景尤度計算部１０７は、入力画像中の画素と背景モデルの最近傍代表点との距離が近いか否かに基づき、前記入力画像中の画素が背景領域に含まれる可能性を示す指標である背景尤度を求める。式（７）を用いると、背景尤度l_I(B)は、例えば式（８）のように表すことができる。

以上のように、物体領域内の画素と注目画素との色が類似する場合であっても、局所性比較部１０５が物体モデルと背景モデルとで空間位置に関する変換係数の大きさを異ならせることで、注目画素が物体領域として抽出されてしまう誤検出が低下する。

図６に物体モデルと背景モデルとで空間的な広がりの違いを考慮した場合に発生する効果の一例を示す。図６の点A、B、Cが同じ色で、点Aを注目画素と仮定し、点Bを物体モデルの１代表点と仮定し、点Cを背景モデルの１代表点と仮定する。位置情報がない場合、つまりRGB情報のみを用いて物体モデルと背景モデルを構築する場合は、注目画素点Aの物体尤度と背景尤度は同じ値となる。また、位置情報は存在する（モデルがxyRGB空間で記述されている）が、物体領域と背景領域とで空間的な広がりの違いを考慮しない場合（a₁,a₂,b_1,,b₂が同じ値の場合）は、注目画素点Aと距離の近い代表点の属するモデルの尤度が高くなる。例えば、図６の場合は、点Aと点Bの距離が点Aと点Cの距離よりも近いため、注目画素点Aでは物体尤度の方が背景尤度よりも高くなる。一方、空間的な広がりを考慮し、背景領域が物体領域よりも広がっているとした場合は、注目画素点Aは、点Bとの距離d_oよりも位置情報が距離に影響しづらい点Cとの距離d_Bの方が小さくなり（（式７）参照）、結果として背景尤度の方が物体尤度よりも高くなる。つまり、局所性比較部１０５が変換係数の大きさを調整することにより、注目画素と背景モデルの代表点との距離d_Bは色の情報が主要素となるのに対し、注目画素と物体モデルの代表点との距離d_oは、色の情報に加え、位置に関する情報も主要素となり得るため、その分だけd_oの方が大きくなる。その結果、物体尤度と背景尤度の大きさが変化する。本実施の形態では、式（５）が満たされるようにしているため、背景尤度は相対的に色の情報によって決定されやすく、物体尤度は相対的に位置の情報によって決定されやすい。

このように、局所性比較部１０５は、d_oとd_Bの算出時に、物体領域の分布範囲の広がりと背景領域の分布範囲の広がりとを考慮して、xyRGB空間における色の座標軸（RGB軸など）上の距離に対する位置の座標軸（xy軸など）の距離の比を、背景距離よりも大きく、あるいは、小さく算出するように変換係数を制御することで物体尤度と背景尤度の大きさが変化するため、物体領域抽出システム１は物体の周辺にある物体と類似した背景色領域の誤検出を抑制することができる（図７参照）。

連続性尤度計算部１０８は、プログラムに従って動作する情報処理装置や、情報処理装置のＣＰＵなどによって実現される。連続性尤度計算部１０８は、隣接する２つの画素が同じ領域に含まれるか否かの尤度を求める。この連続性尤度は、仮定により様々な形が考えられる。例えば、連続性尤度計算部１０８は、式（９）の尤度関数を用いることで、画素u、v間の連続性尤度l_c(u,v)を得ても良い。

グラフ構築部１０９は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。グラフ構築部１０９は、グラフのノードを画像の画素に対応させ、隣接する画素の関係をノード間のエッジに対応させ、前記物体尤度と前記背景尤度をノードの尤度としてセットし、前記連続性尤度をエッジの重みとしてセットしたグラフを構築する。この結果、構築したグラフは式（１０）のようなエネルギー関数E(L)を持つ。

ここで、E_n(L)、E_e(L)はそれぞれ、以下で表される。

ここで、λは正定数、Ｐはノードの集合、eはエッジの集合、Lは各ノードのラベル(物体/背景)である。

最大流最適化部１１０は、論理回路によって実現される専用装置や、プログラムを実行する情報処理装置のＣＰＵなどによって実現される。最大流最適化部１１０は、前記構築したグラフに対して、最大流最適化に基づく最適化を行なう。最大流最適化には、例えば、Y. Boykov et al., "Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images" Proc. Int'l Conf. on Computer Vision, 2001の手法を用いることができる。最大流最適化部１１０は、この手法により最適化を行なうことにより、式（１０）のエネルギー関数を最適化する。この最適化の結果、物体領域と背景領域が得られる。

物体領域生成部１１１は、プログラムに従って動作する情報処理装置や、情報処理装置のＣＰＵなどによって実現される。物体領域生成部１１１は、前記物体領域を画像から抽出し、前記物体領域と単一色、例えば均一な白色背景と合成して、物体領域画像を出力する。

次に、図１及び図８のフローチャートを参照して本実施の形態にかかる物体領域抽出システム１の全体の動作について詳細に説明する。

まず、画像入力部１０１は処理対象の入力画像を読み込む（図８のステップＡ１）。次に、マスク入力部１０２は前記入力画像の物体/背景マスク領域情報が記述されたマスク画像を入力する（ステップＡ２）。前記マスク画像が得られると、物体マスク領域と入力画像に基づいて、物体モデル構築部１０３は物体モデルを構築する（ステップＡ３）。同様に、背景マスク領域と入力画像に基づいて、背景モデル構築部１０４は背景モデルを構築する（ステップＡ４）。局所性比較部１０５は物体モデルと背景モデルが、事前に与えられた条件に適うか否かの判定を行い（ステップＡ５）、条件に適わない場合は位置に関する変換係数（a₁,a₂,b_1,,b₂）の調整を行う（ステップＡ６）。そして、再度、物体モデル構築部１０３は物体モデルを構築し（ステップＡ３）、背景モデル構築部１０４は背景モデルを構築する（ステップＡ４）。条件に適う場合は、画素ごとに物体尤度計算部１０６は物体尤度を計算し（ステップＡ７）、同様に背景尤度計算部１０７は画素ごとに背景尤度を計算する（ステップＡ８）。続いて、連続性尤度計算部１０８は、隣接する画素間の連続性尤度を計算する（ステップＡ９）。上記の各尤度を用いて、グラフ構築部１０９は、これらの尤度と画素の隣接関係に基づき、画像の構造をグラフ構造にて表現する（ステップＡ１０）。グラフが得られると、次に最大流最適化部１１０は、最大流最適化を行い（ステップＡ１１）、物体領域と背景領域とを分離する。最後に物体領域生成部１１１は、物体領域を成形して、物体領域として出力して処理を終了する（ステップＡ１２）。

なお、物体領域抽出システム１は、物体モデルの構築と背景モデルの構築を逆順に行なってもよいし、並列に行ってもよい。また、物体領域抽出システム１は、物体尤度計算、背景尤度計算、連続性尤度計算の順序を変えて行なってもよいし、並列に行ってもよい。また、ステップＡ１２では、図示しない背景領域生成部が、背景領域を成形して、背景領域として出力して処理を終了しても良い。

本発明の第１の実施の形態では、上述のように、局所性比較部１０５は、位置に関する変換係数（a₁,a₂,b_1,,b₂）のみを操作するように説明した。しかし、色空間内では、物体領域は背景領域に対して局所的に存在しているため、局所性比較部１０５は、位置に関する変換係数に対して行う処理を色チャネルに関する変換係数（色係数、a₃,a₄,a₅,b₃,b₄,b₅）に対して適用することで、本発明の第１の実施の形態と同様の効果を色空間内で得ることができる。

次に、本発明の第１の実施の形態の効果について説明する。

本発明の第１の実施の形態では、物体領域抽出システム１が、物体領域と背景領域の、領域の広がりの違いを考慮したモデル構築を行うよう構成されているため、抽出対象の物体の周辺の背景に物体と類似色を持つ領域がある場合にも、物体領域の誤検出が発生しにくいという効果を奏する。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。図９を参照すると、本発明の第２の実施の形態は、第１の実施の形態の構成に加え、画像入力部１０１の次に領域過分割部１１２が追加されている点が異なる。

領域過分割部１１２は、プログラムに従って動作する情報処理装置や、情報処理装置のＣＰＵなどによって実現される。領域過分割部１１２は、画像入力部１０１で処理対象の入力画像が得られると、前記入力画像を小領域に過分割する。領域過分割部１１２は、例えば、watershed法やP. F. Felzenszwalb et al.,”Efficient Graph-Based Image Segmentation”, International Journal of Computer Vision, Vol.59, No. 2, 2004/02に記載のグラフ記述に基づく領域分割法などを用いることにより本処理を実行することができる。これらの手法による領域の過分割は、画像上の色（色相、彩度、明度、輝度などで表される値）、エッジの有無などに基づき均質な領域を切り出すものであり、抽出対象の物体領域や背景領域よりも遥かに小さな領域に入力画像は分割される。

物体領域抽出システム１は、画像が過分割された後、各過分割領域を画素(Super-pixel)とみなす。この際、画素(Super-pixel)の色は、過分割領域の平均色や中間色、あるいは領域中に存在する複数の色などとする。画素(Super-pixel)の座標は、過分割領域の重心や上限、下限などとする。物体領域抽出システム１は、物体モデルと背景モデル構築時には、過分割領域内のすべての画素(Super-pixel)を利用してもよい。この仮定の下で、以降の処理は、第１の発明を実施するための形態と同様に動作するため、詳細説明を省略する。

次に、図９及び図１０のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、画像入力部１０１は処理対象の入力画像を得る（図１０のステップＡ１）。次に、領域過分割部１１２は前記入力画像を過分割する（ステップＢ１）。以降は、過分割した小領域を画素(Super-Pixel)とみなし、第１の発明を実施するための形態の動作と同様に処理がなされる。

なお、図１０では、物体領域抽出システム１は領域過分割を行った後にマスク入力ステップを行うように構成されているが、この順序は変更して構成されてもよい。

次に、本発明の第２の実施の形態の効果について説明する。

本発明の第２の実施の形態では、物体領域抽出システム１が、物体領域と背景領域の、領域の大きさの違いを考慮したモデル構築を行うよう構成されているため、抽出対象の物体の周辺の背景に物体と類似色を持つ領域がある場合にも、物体領域の誤検出が発生しにくいという効果を奏する。

また、本発明の第２の実施の形態では、物体領域抽出システム１が、入力画像を過分割し、過分割した各領域を画素(Super-Pixel)とみなして処理を行う。そのため、入力画像に対してそのまま処理をする場合に比べて、物体領域抽出システム１はグラフのノード数を大幅に削減できる。そのため、第２の実施の形態にかかる物体領域抽出システム１は、第１の実施の形態にかかる物体領域抽出システム１に比べて、高速に物体抽出を行うことができる。

＜実施例＞
次に、図１１を用いて、本発明の第２の実施の形態の具体的な実施例を説明する。

図１１の実施例は、人物を撮影するＵＳＢカメラなどの撮像部２０１と、図１０のフローチャートを実行するコンピュータ２０２と、最終結果を表示するモニターなどの表示部２０３とで構成されている。なお、コンピュータ２０２は、例えばドライブ装置などに装着された記録媒体からメモリに実行ファイルやプログラム、データを読み出し、これにしたがって各種の処理を実行する。また、プログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。

図１１の実施例は、処理対象となる画像中の大部分が背景領域であり、画像中の一部領域に抽出対象の人物が存在している例を示している。

コンピュータ２０２は、図１０に記載のフローチャートを実行するように、実行ファイルを読み込む。

この時、コンピュータ２０２は、式（５）が成り立つように、式（１２）を設定する。

このような式が設定されると、物体尤度は、物体領域の周辺でのみ高くなる傾向となり、背景尤度は背景に存在する色であれば画像中のどこにあっても高くなる傾向となる。

撮像部２０１は、人物の画像を撮影し、入力画像を取得する（図１０ステップＡ１）。次に、コンピュータ２０２は、例えばwatershed法により画像を色が均質な小領域に入力画像を過分割する（図１０ステップＢ１）。以降、コンピュータ２０２はこの過分割領域を画素(Super-Pixel)とみなし処理を行う。次に、コンピュータ２０２は入力画像に対して顔検出処理を実行し、検出した顔位置から想定される物体/背景マスク領域を設定する（図１０ステップＡ２）。コンピュータ２０２は物体/背景マスク領域に重なる過分割領域の平均色と重心を用いて、xyRGB空間内で、物体/背景の特徴データD₀,D_Bを作成する。コンピュータ２０２は特徴データD₀,D_Bに対して変換係数ベクトルA、Bをかけてから、物体/背景モデルをk-平均法を用いて構築する。ここで、式（１２）の前提があるため、物体モデルはxyRGB空間、背景モデルはRGB空間で記述されることになる（図１０ステップＡ３、Ａ４）。これにより構築した物体モデルと背景モデルとを用いて、コンピュータ２０２は、各過分割領域の物体尤度と背景尤度を、その領域の平均色と重心を用いて算出する（図１０ステップＡ７、Ａ８）。コンピュータ２０２は、連続性尤度についても同様に、過分割領域の平均色の距離を用いて計算する（図１０ステップＡ９）。続いて、コンピュータ２０２は、各過分割領域に対してノードを割り当て、隣接する過分割領域に対応するノード間にエッジを備えたグラフを構築し、ノードとエッジに対してそれぞれ物体/背景尤度と連続性尤度を与える（図１０ステップＡ１０）。コンピュータ２０２は、このグラフに対して、最大流最適化を行うことで、物体領域と背景領域が得られる。（図１０ステップ１１）最後に、コンピュータ２０２は、物体領域と無地の背景を合成して、モニターなどの表示部２０３に表示することで、処理を終了する（図１０ステップＡ１２）。

以上のステップにより、物体領域抽出プログラムは、物体領域と背景領域の領域の広がりの違いを考慮したモデル構築を行うため、抽出対象の物体の周辺の背景に物体と類似色を持つ領域がある場合にも、物体領域の誤検出は発生しにくいという効果を奏する。

また、物体領域抽出プログラムが、入力画像を過分割し、過分割した各領域を画素(Super-Pixel)とみなして、処理を行うため、入力画像に対してそのまま処理するのに比べて、グラフのノード数を大幅に削減できる。そのため、本例における物体領域抽出システム１は、第１の実施の形態にかかる物体領域抽出システム１の構成に比べて、高速に物体抽出を行うことができる。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について図１５を用いて説明する。

本発明の第３の実施の形態における物体領域抽出システム１は、上述した局所性比較部１０５と、物体領域生成部１１１とを備える。これらの構成、機能については第１の実施の形態で説明した通りであるから詳細説明を省略する。この構成により、物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較手段と、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成手段と、を備える物体領域抽出システムが提供される。

本実施の形態にかかる物体領域抽出システム１によれば、抽出対象の物体の色に近い物体がある場合であっても、物体領域の誤検出が発生しにくい物体領域抽出システム、方法、及び、プログラムを提供することができる。

以上、実施形態、実施例を参照して本願発明を説明したが、本願発明は上記実施形態、実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

（実施の形態の他の表現）
上記の実施形態、実施例の一部又は全部は以下のようにも記載されうるが、以下には限られない。

（付記１）入力画像を取得する画像入力手段と、物体領域と背景領域を指定するマスク画像を入力するマスク入力手段と、前記入力画像中で前記マスク画像により物体領域の一部として指定された画素または領域から物体領域の位置・色に基づく物体モデルを構築する物体モデル構築手段と、前記入力画像中で前記マスク画像により背景領域の一部として指定された画素または領域から物体領域の位置・色に基づく背景モデルを構築する背景モデル構築手段と、前記物体モデルと前記背景モデルの空間的な広がりの相対差が維持されるように、前記物体モデル構築手段と前記背景モデル構築手段のモデル構築を制御する局所性比較手段と、前記物体モデルに近いか否かに基づき前記入力画像中の画素または領域の物体領域らしさの指標である物体尤度を求める物体尤度計算手段と、前記背景モデルに近いか否かに基づき前記入力画像中の画素または領域の背景領域らしさの指標である背景尤度を求める背景尤度計算手段と、前記入力画像中で隣接する画素同士または領域同士の同一領域らしさの指標である連続性尤度を求める連続性尤度計算手段と、ノードが前記入力画像の各画素または領域に対応し、エッジが画素または領域の隣接関係を記述し、ノードには対応する画素または領域に与えられる前記物体尤度と前記背景尤度が与えられ、エッジには対応する画素間または領域間の前記連続性尤度が与えられたグラフを構築するグラフ構築手段と、前記グラフに対して全体の尤度が最大になるように最大流最適化を行い物体領域と背景領域を分離する最大流最適化手段と、前記分離された物体領域を抽出する物体領域生成手段と、を備えたことを特徴とする物体領域抽出システム。

（付記２）前記入力画像を色や輝度などが均一な領域に過分割する領域過分割手段をさらに備えたことを特徴とする付記１記載の物体領域抽出システム。

（付記３）前記背景モデルと前記物体モデルが位置と色を記述する色・位置空間内で記述されることを特徴とする付記１または２記載の物体領域抽出システム。

（付記４）前記色・位置空間は、画像の横軸と縦軸、そして色・輝度チャネルの各軸で構成されていることを特徴とする付記３記載の物体領域抽出システム。

（付記５）前記局所性比較手段において、物体モデルの位置を記述する軸の係数が、背景モデルの位置を記述する軸の係数よりも大きくなるように、調整することを特徴とする付記１乃至４記載の物体領域抽出システム。

（付記６）前記局所性比較手段において、背景モデルの位置を記述する軸の係数を０にすることを特徴とする付記１乃至５記載の物体領域抽出システム。

（付記７）前記局所性比較手段において、物体モデルの軸の係数が、背景モデルの位置を記述する軸の係数よりも大きくなるように、調整することを特徴とする付記１乃至４記載の物体領域抽出システム。

（付記８）前記局所性比較手段において、物体モデルの軸の係数が、背景モデルの位置を記述する軸の係数よりも小さくなるように、調整することを特徴とする付記１乃至４記載の物体領域抽出システム。

（付記９）前記局所性比較手段において、物体モデルがカバーする領域の範囲が、背景モデルがカバーする領域の範囲よりも大きい場合に、物体モデルの位置を記述する軸の係数をより大きくするか、背景モデルの位置を記述する軸の係数をより小さくするか、またはその両方を実行して再度物体モデル構築手段と背景モデル構築手段を実行することを特徴とする付記１乃至４記載の物体領域抽出システム。

（付記１０）前記マスク入力手段において、顔検出処理の結果から推定される位置に物体マスク領域と背景マスク領域が得られることを特徴とする付記１乃至９記載の物体領域抽出システム。

（付記１１）前記マスク入力手段において、予め決まったパターンの物体マスク領域と背景マスク領域がユーザに対して提示されることを特徴とする付記１乃至９記載の物体領域抽出システム。

（付記１２）物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較手段と、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成手段と、を備える物体領域抽出システム。

（付記１３）前記局所性比較手段は、物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める付記１２に記載の物体領域抽出システム。

（付記１４）前記入力画像を、色が均一な領域に過分割し、該過分割された領域を前記画素とする領域過分割手段をさらに備える付記１２または１３に記載の物体領域抽出システム。

（付記１５）前記局所性比較手段は、背景領域内の画素の位置の分布の広がる範囲が物体領域内の画素の位置の分布の広がる範囲よりも大きい（小さい）場合であって、複数の物体代表点の位置の分布の広がる範囲が複数の背景代表点の位置の分布の広がる範囲よりも大きい（小さい）場合に、前記第１のパラメータをより大きく（小さく）するか、前記第２のパラメータをより小さく（大きく）するか、またはその両方を実行する付記１２乃至１４に記載の物体領域抽出システム。

（付記１６）入力画像を取得する画像入力手段と、物体領域と背景領域を指定するマスク画像を入力するマスク入力手段と、前記入力画像上で前記マスク画像により物体領域の一部として指定された画素または領域から、物体領域の位置と色に基づく物体モデルを構築する物体モデル構築手段と、前記入力画像上で前記マスク画像により背景領域の一部として指定された画素または領域から、物体領域の位置と色に基づく背景モデルを構築する背景モデル構築手段と、前記局所性比較手段と、前記入力画像上の画素と前記物体モデルとの距離に基づき前記入力画像上の画素の物体尤度を求める物体尤度計算手段と、前記入力画像上の画素と前記背景モデルとの距離に基づき前記入力画像上の画素の背景尤度を求める背景尤度計算手段と、前記入力画像上で隣接する画素同士または領域同士の連続性を求める連続性尤度計算手段と、前記入力画像の各画素または領域にノードを対応させて、対応させた各画素または領域に与えられる前記物体尤度と前記背景尤度をノードの値として与え、隣接する画素間のつながりにエッジを対応させて、対応させた画素間または領域間に与えられる前記連続性尤度をエッジの値として与えたグラフを構築するグラフ構築手段と、前記グラフに対して前記各尤度の和が最大になるように最大流最適化を行い物体領域と背景領域とを分離する最大流最適化手段と、前記分離された物体領域または背景領域の少なくとも一方を抽出する物体領域生成手段と、を備える付記１２乃至請求項１５に記載の物体領域抽出システム。

（付記１７）物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較ステップと、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成ステップと、をコンピュータに実行させる物体領域抽出プログラム。

（付記１８）物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める前記局所性ステップをコンピュータに実行させる付記１７に記載の物体領域抽出プログラム。

（付記１９）物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出し、物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域抽出方法。

（付記２０）物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める付記１９に記載の物体領域抽出方法。

本発明は、任意背景における証明写真作成といった用途に適用できる。また、携帯電話に適用することで、携帯電話の背景を任意の画像に差し替えることができ、プライバシー保護機能といった用途にも適用可能である。

１物体領域抽出システム
１０１画像入力部
１０２マスク入力部
１０３物体モデル構築部
１０４背景モデル構築部
１０５局所性比較部
１０６物体尤度計算部
１０７背景尤度計算部
１０８連続性尤度計算部
１０９グラフ構築部
１１０最大流最適化部
１１１物体領域生成部
１１２領域過分割部
２０１撮像部
２０２コンピュータ
２０３表示部

Claims

物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較手段と、
物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成手段と、を備える物体領域抽出システム。
前記局所性比較手段は、物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める請求項１に記載の物体領域抽出システム。
前記入力画像を、色が均一な領域に過分割し、該過分割された領域を前記画素とする領域過分割手段をさらに備える請求項１または２に記載の物体領域抽出システム。
前記局所性比較手段は、背景領域内の画素の位置の分布の広がる範囲が物体領域内の画素の位置の分布の広がる範囲よりも大きい（小さい）場合であって、複数の物体代表点の位置の分布の広がる範囲が複数の背景代表点の位置の分布の広がる範囲よりも大きい（小さい）場合に、前記第１のパラメータをより大きく（小さく）するか、前記第２のパラメータをより小さく（大きく）するか、またはその両方を実行する請求項１乃至３に記載の物体領域抽出システム。
入力画像を取得する画像入力手段と、
物体領域と背景領域を指定するマスク画像を入力するマスク入力手段と、
前記入力画像上で前記マスク画像により物体領域の一部として指定された画素または領域から、物体領域の位置と色に基づく物体モデルを構築する物体モデル構築手段と、
前記入力画像上で前記マスク画像により背景領域の一部として指定された画素または領域から、物体領域の位置と色に基づく背景モデルを構築する背景モデル構築手段と、
前記入力画像上の画素と前記物体モデルとの距離に基づき前記入力画像上の画素の物体尤度を求める物体尤度計算手段と、
前記入力画像上の画素と前記背景モデルとの距離に基づき前記入力画像上の画素の背景尤度を求める背景尤度計算手段と、
前記入力画像上で隣接する画素同士または領域同士の連続性を求める連続性尤度計算手段と、
前記入力画像の各画素または領域にノードを対応させて、対応させた各画素または領域に与えられる前記物体尤度と前記背景尤度をノードの値として与え、隣接する画素間のつながりにエッジを対応させて、対応させた画素間または領域間に与えられる前記連続性尤度をエッジの値として与えたグラフを構築するグラフ構築手段と、
前記グラフに対して前記各尤度の和が最大になるように最大流最適化を行い物体領域と背景領域とを分離する最大流最適化手段と、
前記分離された物体領域または背景領域の少なくとも一方を抽出する物体領域生成手段と、
を備える請求項１乃至請求項４に記載の物体領域抽出システム。
物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出する局所性比較ステップと、
物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域生成ステップと、
をコンピュータに実行させる物体領域抽出プログラム。
物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める前記局所性比較ステップをコンピュータに実行させる請求項６に記載の物体領域抽出プログラム。
物体領域、背景領域、指定無し領域を含む入力画像の、各画素の色及び前記入力画像内の位置を座標とする空間（位置色空間）における、前記指定無し領域内の任意の画素（注目画素）と前記物体領域内の所定画素（物体代表点）との距離（物体距離）と、前記注目画素と前記背景領域内の所定画素（背景代表点）との距離（背景距離）との算出時に、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも小さい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも大きく算出し、
前記物体領域内の画素の位置の分布の広がる範囲が、前記背景領域内の画素の位置の分布の広がる範囲よりも大きい場合には、物体距離は、色の座標軸上の距離に対する位置の座標軸の距離の比を、背景距離よりも小さく算出し、
物体距離が背景距離より大きい場合には前記注目画素は前記背景領域に、物体距離が背景距離より小さい場合には前記注目画素は前記物体領域に属すと判定して、判定結果を出力する物体領域抽出方法。
物体距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第１のパラメータとし、背景距離における色の座標軸上の距離に対する位置の座標軸の距離の比を第２のパラメータとし、前記第１のパラメータと前記第２のパラメータを、前記物体領域内の画素の位置の分布の広がる範囲と前記背景領域内の画素の位置の分布の広がる範囲との大小関係を保つように定める請求項８に記載の物体領域抽出方法。