JP2016085742A - 前景画像分割方法及び前景画像分割装置 - Google Patents

Abstract

【課題】入力画像から前景対象を分割する方法、装置及びシステムを提供する。
【解決手段】該方法は、入力画像及び該入力画像の奥行き情報を取得し、入力画像の奥行き情報に基づいて、入力画像を大雑把に分割して大雑把な前景領域を取得し、入力画像の動き情報を取得し、該動き情報に基づいて該大雑把な前景領域から三色画像を生成し、生成された三色画像から前景画像を分割する。これにより、奥行き情報及び動き情報に基づいて三色画像を生成することで、該三色画像から前景対象をより正確に分離することができる。
【選択図】図１

Description

本発明はコンピュータ視覚分野に関し、さらに具体的には、画像から前景画像を分割する方法と装置に関する。

前景画像分割技術、即ち我々が通常よく言う画像切り抜き技術は、画像または動画フレーム内で前景対象を分割し、該対象のカバーする領域内の各画素の透明度、即ちAlpha値（αマスキング）を推定することを指す。

該技術は画像または動画編集応用分野にて広く応用され、ユーザーはこの技術を用いて前景を分割し、別の背景とシームレスで一つにまとめることができる。例えば、バーチャル撮影において、前景、例えば人とバーチャル背景を繋ぎ合わせて「その場に身を置いている」といった効果を上げたり、テレビ会議で参加者をもとの背景から分離して他の背景と合わせたりする。

現在の画像切抜き処理では、通常三色画像を採用する。画像合成の視点から、画像I（x、y）を前景画像F（x、y）と背景画像B（x、y）のα（x、y）値での線形結合にモデリングする、即ち方程式I＝αF＋（I-α）Bとすることができる。式中、α（x、y）∈［0、1］である。この問題を解くため、通常は入力画像を前景領域、背景領域及び未知領域という三つの領域、つまり三色画像に分割する。三色画像の形式はその後分割処理の基礎であり、正確な三色画像を形成することがより正確に前景対象を画像または動画の中から分割するのに役立つ。

現在の三色画像を形成するのに用いる方法のうち、一つの方法は、例えば画像上に線分を引き、画像内のどの部分が前景で、どの部分が背景かを明記するといったユーザインタラクションの方式を通じてユーザーが画像内の三色画像を指定できる。この方法はユーザーが手動で三色画像を生成する必要があり、ユーザーにとっては面倒な作業だけでなく、生成した三色画像もあまり正確ではない。別の方法は奥行き情報を取り入れることで三色画像を自動生成するのを助ける。この方法はユーザインタラクションを必要としないが、この場合、背景内の前景対象と距離がとても近い対象は依然として前景領域内に含まれる可能性がある。

さらに、三色画像を取得後、該三色画像からα値を求めるとき、通常は画像のカラー情報のみを用いて解を求めるが、画像内の前景対象と背景部分の色が近いとき、カラー情報にのみ頼っていては両者をきちんと分離するのが難しい。特に境界領域では、正確な分割結果を得難い。

上記問題から本発明を行い、画像から前景画像を正確に分割できる方法と装置を提供する。

本発明の一つの態様においては、入力画像及び該入力画像の奥行き情報を取得するステップと、前記入力画像の奥行き情報に基づいて、入力画像を分割して前景領域を取得するステップと、入力画像の動き情報を取得し、該動き情報に基づいて該前景領域から三色画像を生成するステップと、生成された三色画像から前景画像を分割するステップと、を含む、前景画像分割方法を提供する。

この態様では、前記入力画像の動き情報に基づいて該前景領域から三色画像を生成するステップは、該入力画像の直前の連続するm個のフレームの画像を取得し、該連続するm個のフレームの画像から各画素の動き情報を計算するステップと、各画素の動き情報に基づいて、該前景領域から三色画像を生成するステップと、を含み、画素の動き情報が所定しきい値より小さい場合は、該画素が背景領域に属すると決定し、画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内に前記前景領域に属しない画素が存在する場合は、該画素が未知領域に属すると決定し、画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内の全ての画素が前記前景領域に属する場合は、該画素が前景領域に属すると決定してもよい。

この態様では、前記生成された三色画像から前景画像を分割するステップは、前記未知領域の各画素のカラー情報、奥行き勾配情報及び奥行き変化情報を計算するステップと、画素のカラー情報、奥行き勾配情報及び奥行き変化情報に基づいて、該画素が前景領域に属するか否かを決定するステップと、決定結果に基づいて前景画像を取得するステップと、を含んでもよい。

この態様では、前記画素が前景領域に属するか否かを決定するステップは、前景画像の分割に用いるα値のコスト関数を構築するステップと、前記未知領域内の各画素に対して、該コスト関数を最小化し、該画素のカラー情報、奥行き勾配情報及び奥行き変化情報を用いて該画素のα値を求めるステップと、画素のα値が所定しきい値以上の場合、該画素が前景領域に属すると決定し、画素のα値が所定しきい値より小さい場合は、該画素が前景領域に属しないと決定するステップと、を含んでもよい。

この態様では、前記未知領域の各画素に対して、n×n画素の近傍領域内で該画素のカラー情報、奥行き勾配情報及び奥行き変化情報のそれぞれの正規化された加重値を計算するステップをさらに含み、前記画素のカラー情報、奥行き勾配情報及び奥行き変化情報を用いて該画素のα値を求めるステップは、該画素のカラー情報の加重値、奥行き勾配情報の加重値及び奥行き変化情報の加重値を用いて該画素のα値を求めるステップを含んでもよい。

この態様では、前記入力画像の奥行き情報に基づいて、入力画像を分割して前景領域を取得するステップは、前記入力画像の奥行き情報に基づいて、Ω形状特徴に基づいて前記入力画像から人物の頭肩部を前記前景領域として検出するステップと、前記入力画像内の該頭肩部以外の各画素の奥行き値と検出された頭肩部の奥行き値とを比較し、該画素が該前景領域に属するか否かを決定するステップと、を含み、該画素の奥行き値と頭肩部の奥行き値との差が所定しきい値以下の場合は、該画素が前景領域に属すると決定し、該画素の奥行き値と頭肩部の奥行き値との差が所定しきい値よりも大きい場合は、該画素が前景領域に属しないと決定してもよい。

この態様では、前記動き情報がオプティカルフロー情報であってもよい。

本発明の他の態様においては、入力画像及び該入力画像の奥行き情報を取得する取得手段と、前記取得手段により取得された奥行き情報に基づいて、入力画像を分割して前景領域を取得する分割手段と、入力画像の動き情報に基づいて、該前景領域から三色画像を生成する三色画像生成手段と、生成された三色画像から前景画像を分割する前景画像分割手段と、を含む、前景画像分割装置を提供する。

この態様では、前記三色画像生成手段は、前記入力画像の直前の連続するm個のフレームの画像を取得し、該連続するm個のフレームの画像から各画素の動き情報を計算する第一計算手段と、前記第一計算手段により計算された各画素の動き情報に基づいて、該前景領域から三色画像を生成する生成手段と、を含み、前記生成手段は、画素の動き情報が所定しきい値より小さい場合は、該画素が背景領域に属すると決定し、画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内に前記前景領域に属しない画素が存在する場合は、該画素が未知領域に属すると決定し、画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内の全ての画素が前記前景領域に属する場合は、該画素が前景領域に属すると決定してもよい。

この態様では、前記前景画像分割手段は、前記未知領域の各画素のカラー情報、奥行き勾配情報及び奥行き変化情報を計算する第二計算手段と、前記第二計算手段により計算された画素のカラー情報、奥行き勾配情報及び奥行き変化情報に基づいて、該画素が前景領域に属するか否かを決定する決定手段と、前記決定手段の決定結果に基づいて前景画像を取得する取得手段と、を含んでもよい。

本発明の他の態様においては、入力画像及び該入力画像の奥行き情報を取得するステップと、前記入力画像の奥行き情報に基づいて、入力画像を分割して前景領域を取得するステップと、入力画像の動き情報を取得し、該動き情報に基づいて該前景領域から三色画像を生成するステップと、生成された三色画像から前景画像を分割するステップと、をコンピュータに実行させるためのプログラムを提供する。

本発明の他の態様においては、入力画像及び該入力画像の奥行き情報を取得するステップと、前記入力画像の奥行き情報に基づいて、入力画像を分割して前景領域を取得するステップと、入力画像の動き情報を取得し、該動き情報に基づいて該前景領域から三色画像を生成するステップと、生成された三色画像から前景画像を分割するステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。

本発明例では、入力画像の奥行き情報及び動き情報から三色画像を自動生成し、ヒューマン・コンピュータ・インタラクションを必要とすることなく、生成する三色画像がより正確になり、該三色画像に基づく前景画像分割の基礎を固めることにより、分割がより正確になる。また分割中に、カラー情報のほか空間領域上の奥行き勾配情報及び時間領域上の奥行き変化情報も考慮することにより、たとえ前景対象と背景の色が近かったとしても、正確に前景対象を分割することができる。

本発明の実施例の前景画像分割方法のフローチャートである。 異なる角度における人の頭肩部のモデルである。 例示的シーン及び対応する大雑把な前景分割結果である。 例示的入力画像及び対応するオプティカルフロー情報である。 図4の例示的状況における動き情報から大雑把な前景分割結果に基づいて三色画像を生成する概念図である。 本開示の実施例の三色画像から前景画像を分割する方法のフローチャートである。 前景対象としての人の連続する複数フレーム画像内での奥行き変化情報例である。 人物に対して計算する奥行き勾配情報例である。 本発明の前景画像分割方法の可能な応用シーンである。 本発明の実施例の前景画像分割装置の機能ブロック図である。 本出願の実施例の前景画像分割を実現するシステムのハードウェア配置の概念図である。

当業者に本発明をよりきちんと理解してもらうため、以下図面と本発明を実施するための形態を組み合わせて本発明についてさらに詳しく説明する。

図1は本発明の実施例の前景画像分割方法のフローチャートである。

図1に示すように、該分割方法は、入力画像及びその奥行き情報を取得するステップS110、入力画像の奥行き情報に基づいて、入力画像を大雑把に分割して大雑把な前景領域を取得するステップS120、入力画像の動き情報を取得し、該動き情報に基づいて該大雑把な前景領域から三色画像を生成するステップS130、及び生成した三色画像から前景画像を分割するステップS140を含むことができる。

ステップS110で取得する入力画像は、画像切抜きを行う必要のある対象のカラー画像と対応する奥行き画像を含むことができる。従来技術には、例えばPrimeSenseカメラ、Kinectまたはその他奥行きカメラといったシーンのカラー及び奥行き情報を同時に捕捉できる装置が存在する。このため、入力画像のカラー情報及び奥行き情報を同時に取得できる。当然のことながら、当分野の既知の及び将来出現する可能性のあるその他の画像のカラー情報及び奥行き情報を取得するいかなる方法も本発明に応用でき、本発明はその取得方式を特に制限しておらず、入力画像のカラー及び奥行き情報を取得できればよい。

ステップS120では、入力画像の奥行き情報に基づいて入力画像を大雑把に分割し、大雑把な前景領域を取得する。以下の文では、「人」を前景対象例として前景対象分割に関する説明を行っていくが、本発明の前景対象は人に限らない。

図2は異なる角度における人の頭肩部のモデルである。図2に示すように、異なる視角では、人の頭肩部にはすべて独特のΩ(omega）形状に類似する特徴が現れる。そのためこの特徴を採用して人の検出を行うことができる。Viola-Jones分類器とHOG特徴に基づくAdaBoost分類器（具体的にはMin Liなどによる「RAPID AND ROBUST HUMAN DETECTION AND TRACKING BASED ON OMEGA-SHAPE
FEATURES」、National Laboratory of Pattern Recognition, Institute
of Automation, Chinese Academy of Sciencesを参照、引用することでその内容をこのように合併する）を用いて、奥行き画像内でΩ形状の頭肩部を検出できる。

該頭肩部の検出結果から、画素が前景または背景に属すると仮定すると、これにより大雑把な前景領域分割結果を生成できる。その過程は入力画像内の各画素に対して、その奥行き情報及び空間領域上の該頭肩部の領域との距離情報をしきい値判断し、それが「人」の領域に属するか否かを決定することを含むことができる。例えば、検出した頭肩部の領域が前景領域であると仮定すると、該領域外の画素に対して、その奥行き値と該頭肩部の領域の奥行き平均値が連続を保っている場合（例えば該画素の奥行き値と該奥行き平均値の差が所定しきい値以下の場合）、該画素は前景領域に属すると判定できる。その奥行き値と該頭肩部の領域の奥行き平均値とに明らかな差が存在する場合（例えば該画素の奥行き値と該奥行き平均値の差が所定しきい値よりも大きい場合）、該画素は該前景領域に属しないと判定する。これにより、大雑把な前景領域を分割する。

なお、以上の文では「人」を前景対象として奥行き情報に基づく大雑把な前景領域を検出する方法を説明しているが、本発明の前景対象は人に限らないことである。例えば動物または物体といったその他のいかなる対象についても、該対象の対応する形状特徴またはその他の検出可能ないずれかの特徴を予め取得または記憶している場合、これらの特徴を用いて奥行き情報に基づいて検出を行うことができ、ここでは詳しくは述べない。

通常、ステップS120では前景と背景を分離できるが、前景とシーンの中のある対象との距離が非常に近いとき、該方法が取得する結果は満足のいくものではない。例えば、図3は例示的シーン及び対応する大雑把な前景分割結果であり、図3の左図が示すように、人とシーン内の椅子の距離が非常に近い場合、両者の奥行き値も連続している。このとき、単一のフレーム画像上の奥行き情報に頼っているだけでは、前景をシーン内から正確に分割するのは難しい。図3の右図の大雑把な分割結果に示すように、その中のグレー領域が大雑把な前景領域を表している。

そのため、ステップS130では、動き情報から三色画像を生成するために、入力画像の動き情報を取得する。具体的には、該入力画像の直前の連続するm個のフレームの入力画像（現在フレーム及び現在フレームの前の連続するm-1個のフレーム）を取得し、フレームごとに各画素の動き情報を計算する。入力画像のカラー画像または奥行き画像のいずれか一つを選択して該計算を行うことができる。

具体例では、画像のオプティカルフロー情報を動き情報として計算できる。オプティカルフローは可視域内の物体運動検出に関する概念であり、観察者の運動によって起こる観察目標、表面または境界の運動を説明するのに用いる。オプティカルフロー法は実際には画像画素点の強度の時間に伴う変化を検出することで物体の移動速度および方向を推定する方法である。通常、（x、y、t）にある画素の輝度がI（x、y、t）であると仮定すると、同一画素の隣接する二つの画像フレーム間の輝度は同じであるという仮定から、テイラー級数に基づき論証を経て以下の公式（1）を導き出すことができる。

式中、V_xとV_yはy方向上の速度であり、つまりI（x、y、t）のオプティカルフローである。従来の例えば位相相関、ブロック相関、勾配制約などの方法を通じて、解を求め該オプティカルフロー情報を得ることができる。具体的な論証及び解を求める過程は本発明の重点ではないため、ここでは詳しくは述べない。

既知のある画素が連続する画像フレーム内でいかなる移動もしないとき、その速度、即ちオプティカルフローは0である。そのため、背景内の画素に対して、それは通常は静止したものであり、背景画素内のオプティカルフロー情報は通常0に近いか、または比較的小さな値である（ノイズなどの影響を考慮する）。一方、前景内の対象に対しては、連続撮影した複数フレーム画像内で、それは通常わずかな移動のある可能性があり、上述のオプティカルフロー法は前景画素のオプティカルフロー情報を取得できる。

例えば、図4は連続する3個のフレームの例示的入力画像及び対応するオプティカルフロー情報である。該図面では、人とシーン内の椅子の距離は非常に近く、大雑把な前景分割を通じて両者を分けるのは難しいが、取得したオプティカルフロー情報の図面からわかるように、人物の領域、特に人物の境界には、明確なオプティカルフロー情報が存在するが、椅子のところのオプティカルフロー情報はとても微弱である。そのため、オプティカルフロー情報に基づいて前景画像に属しない椅子を大雑把な前景領域内から除去することができる。

なお、上述のオプティカルフロー情報は動き情報の例に過ぎず、本発明は動き状況を反映するいかなる情報も動き情報として応用し、三色画像生成の基礎とすることができる。

具体的には、ステップS120の大雑把な前景分割結果に基づき、入力画像内の各画素の動き情報から三色画像を生成することは、画素の動き情報が所定しきい値より小さい場合、該画素が背景領域に属すると決定し、画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内に前記大雑把な前景領域に属しない画素が存在する場合、該画素が未知領域に属すると決定し、画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内の全ての画素が前記大雑把な前景領域に属する場合、該画素は前景領域に属すると決定することを含む。

該動き情報の所定しきい値は、当業者が経験または具体的な応用から設定できる。

図5は図4の例示的状況における動き情報から大雑把な前景分割結果に基づいて三色画像を生成する概念図である。そのうち、白い領域は前景領域、黒い領域は背景領域、グレー領域は未知領域を表す。

そのため、ステップS130では、上述例の椅子のような大雑把な前景領域内の前景に属しない対象をさらに除去し、それによってより正確な三色画像を取得し、その後の画像切抜きの基礎を固める。

ステップS130で三色画像を生成後、ステップ140では生成した三色画像から前景画像を分割する。

前述したように、画像内の任意の画素iはI_i＝α_iF_i＋（1-α_i）B_iと表すことができる。そのため、以上で生成した三色画像内の未知領域内の画素に対して、画素のα値を求めるだけで、該画素が前景領域に属しているか否かを決定できる。

未知領域内の画素のα値を求めるため、通常、コスト関数を構築することで解を求める。上述の画像切抜き問題I_i＝α_iF_i＋（1-α_i）B_iを以下の公式（2）に書き換えることができる。

式中a＝1/（F-B）であり、b＝-B/（F-B）である。

この問題を最適化問題に構築し、以下のコスト関数（3）を得ることができる。

式中、
（外１）

は平滑度を制御し、例えば反復間隔または回数などを制御でき、I_iは画素iのRGBカラー空間におけるベクトルであり、即ちこのときI_i＝［R_i,G_i,B_i］である。

上述の最適化問題の解を求め、該コスト関数（3）を最小化し、画素iのカラー情報I_i＝［R_i,G_i,B_i］を用いて、α値を求めることができる。求めたα値に基づいて、iが前景領域に属するか否かを判断できる。

例えば、α値の所定しきい値Tを設定し、求めたα値が所定しきい値以上のとき、α＝1とすることができ、これは即ち該画素は前景領域に属していることを表す。求めたα値が該しきい値Tよりも小さいとき、α＝0とすることができ、これは即ち該画素は前景領域に属せず、背景領域に属していることを表す。該所定しきい値Tは当業者が経験または具体的な応用から設定できる。

そのため、本実施例の前景画像分割方法は、三色画像から前景画像を正確に分割するため、奥行き情報から入力画像を大雑把に分割し、入力画像の動き情報に基づいて該大雑把な分割結果から比較的正確な三色画像を生成できる。

分割された前景画像は表示に用いるモニタに出力するか、または該前景画像を例えば合成処理するなどのさらなる処理に用いる処理装置に出力できる。

以上実施例では、画素のカラー情報を用いて不透明度αを求めた。しかしながら、ある状況では、前景対象と背景色が近いとき、カラー情報に頼るだけでは前景と背景、特に境界領域での前景と背景をきちんと分離するのが難しい。

そのため、本発明の別の実施例では、カラー情報及び奥行き情報に基づき三色画像から前景画像を分割する方法を提出し、空間領域と時間領域上の奥行き情報を上述のコスト関数（3）に取り入れてα値を求める。

図6はこの実施例の三色画像から前景画像を分割する方法のフローチャートである。図6に示すように、該分割方法600は、未知領域の各画素のカラー情報、奥行き勾配情報及び奥行き変化情報を計算するステップS610、画素のカラー情報、奥行き勾配情報及び奥行き変化情報に基づいて、該画素が前景領域に属するか否かを決定するステップS620、及び決定結果に基づいて前景画像を取得するステップS630を含む。

ステップS610では、未知領域内の画素の上記RGBカラー情報を取得し、画素の奥行き変化情報及び奥行き勾配情報を計算する。

図7は前景対象としての人の連続する複数のフレーム画像内での奥行き変化情報例である。図7に示すように、ほとんどの場合、前景対象の境界における奥行きの変化は対照内部に比べてさらに激しい。そのため、未知領域内の画素iに対して、時間領域上でその連続するm個のフレームの入力画像上の奥行き値の変化を計算し、奥行き変化情報DC_iとし、該奥行き変化情報DC_iは以下の公式（4）として表すことができる。

式中、D_kiは画素iの第k個のフレーム画像上の奥行き値である。これにより、該奥行き変化情報を利用することは、前景と背景をよりきちんと分離するのに役立つ。このとき、画素iのカラー情報及び奥行き変化情報に基づいてα値を求めるため、上述のコスト関数（3）の中のI_iはI_i＝［R_i,G_i,B_i,DC_i］として表すことができる。

例えば、図5に示す生成した三色画像では、人の頭肩部の境界領域は未知領域として決定される。一方、図7に示すように連続する複数のフレームの入力する奥行き画像内では、人の頭肩部（図7の長方形の枠に示すように）の画素の奥行き値は該人物内部（例えば身体部分）の画素の奥行き値よりも変化が顕著である。そのため該領域の画素の奥行き変化情報を用いて該画素が前景対象、即ち人物であるか否かを判定する。

また、空間領域上で画素の奥行き勾配情報を計算でき、例えば入力した奥行き画像にsobel、cannyまたはその他境界検出アルゴリズムを運用し、該未知領域内の画素iの奥行き勾配情報DG_iを計算できる。図8は人物に対して計算する奥行き勾配情報例である。

このとき、画素iのカラー情報及び奥行き勾配情報に基づいてα値を求めるため、上述のコスト関数（3）の中のI_iはI_i＝［R_i,G_i,B_i,DG_i］として表すことができる。または、画素iのカラー情報、奥行き変化情報及び奥行き勾配情報に基づいてα値を求めるため、上述のコスト関数（3）の中のI_iはI_i＝［R_i,G_i,B_i,DC_i,DG_i］として表すことができる。

そのため、上述の方法600は、カラー情報のほか、空間領域と時間領域上からそれぞれ画素の奥行き勾配情報と奥行き変化情報計算し、該画素が前景領域に属するか否かを判断するため、コスト関数に引き入れてα値を求め、それによって前景画像を分割する。

さらに、様々な状況において、カラー情報と奥行きが異なる区分度を有し、カラー情報が比較的高い区分能力を有しているときもあれば、奥行き情報がよりきちんと前景と背景を分けることができるときもあることを考慮する。そのため、本発明の別の実施例では、上述の各成分（RGBカラー情報、奥行き勾配情報、奥行き変化情報）の適応的に対応する加重値を計算できる。

例えば、上述の生成した三色画像の未知領域内の各画素に対して、以下の公式（5）を通じてn×n（例えば3×3）個の画素の近傍領域内にて各成分の加重値を計算できる。

式中、w_liは画素iのl成分（RGBカラー情報、奥行き勾配情報、奥行き変化情報）の加重値であり、
（外２）

であり、ljはn×n個の画素の近傍領域内の各画素jのl成分を表す。

それから、以下の公式（6）からカラー情報、奥行き勾配情報、奥行き変化情報の加重値を正規化する。

式中、
（外３）

は正規化後の加重値を表す。

これにより、上述のコスト関数（3）の中のI_iはI_i＝［w_rniR_i,w_gniG_i,w_bniB_i,w_dgniDG_i,w_dcniDC_i］として表すことができ、それによって該コスト関数を最小化してα値を求め、これにより前景を正確に画像内から分割できる。

本発明の上述の実施例の前景画像分割方法では、奥行き情報及び動き情報から三色画像を自動生成し、ヒューマン・コンピュータ・インタラクションを必要とせず、生成する三色画像はより正確になり、該三色画像に基づく前景画像分割の基礎を固めることにより、分割がより正確になる。また分割中に、カラー情報のほか空間領域上の奥行き勾配情報及び時間領域上の奥行き変化情報を考慮することにより、たとえ前景対象と背景の色が近かったとしても、正確に前景対象を分割することができる。

例として、図9は、本発明の前景画像分割方法の可能な応用シーンである。応用システム900は、奥行き撮影カメラ901、コンピュータ902、プロジェクター903及びプロジェクタースクリーン904を含むことができる。カメラ901は上述のカラー及び奥行き情報を同時に捕捉できるカメラでよい。コンピュータ902は、該カメラ901の捕捉したシーンの画像または動画フレーム及び対応するカラーと奥行き情報を受信し、その処理器を通じてカメラ901の捕えた情報を分析し、上述の前景画像分割方法を実行し、前景対象をシーン内から分離できる。分離した前景対象はその他背景と組み合わせ、異なる応用シーンに用いることができる。プロジェクター903及びプロジェクタースクリーン904は組み合わせた後の画像またはシーンを表示できる。当然のことながらプロジェクター903及びプロジェクタースクリーン904はモニタ装置の例に過ぎず、例えばテレビスクリーンなどのその他モニタ装置と入れ替えることができる。なお、ここで説明しているシステム900は例として例示的に説明しているだけであり、本発明はこれに限定するものではなく、具体的な応用の必要性に応じてシステム900の構成を変更または調整することができる。

本発明の別の面においては、前景画像分割装置を提供する。図10は本発明の実施例の前景画像分割装置の機能ブロック図である。

図10に示すように、該前景画像分割装置1000は、入力画像及びその奥行き情報を取得する取得部1010、取得部により取得された奥行き情報に基づいて、入力画像を大雑把に分割して大雑把な前景領域を取得する大雑把な分割部1020、入力画像の動き情報に基づいて、該大雑把な前景領域から三色画像を生成する三色画像生成部1030、及び生成した三色画像から前景画像を分割する前景画像分割部1040を含むことができる。

任意の実施例では、該三色画像生成部1030は、該入力画像の直前の連続するm個のフレームの画像を取得し、該連続するm個のフレームの画像から各画素の動き情報を計算する第一計算部（未図示）、第一計算部により計算された各画素の動き情報に基づいて、該大雑把な前景領域から三色画像を生成する生成部（未図示）を含むことができる。

そのうち、画素の動き情報が所定しきい値より小さい場合、該生成部は該画素が背景領域に属すると決定でき、画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内に前記大雑把な前景領域に属しない画素が存在する場合、該生成部は該画素が未知領域に属すると決定でき、画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内の全ての画素が前記大雑把な前景領域に属する場合、該生成部は該画素が前景領域に属すると決定できる。

別の任意の実施例では、該前景画像分割部1040は、前記未知領域の各画素のカラー情報、奥行き勾配情報及び奥行き変化情報を計算する第二計算部（未図示）、前記第二計算部により計算された画素のカラー情報、奥行き勾配情報及び奥行き変化情報に基づいて、該画素が前景領域に属するか否かを決定する決定部（未図示）、及び該決定部の決定結果に基づいて前景画像を取得する取得部（未図示）を含むことができる。

別の任意の実施例では、該決定部は前景画像の分割に用いるα値のコスト関数を構築でき、前記未知領域内の各画素に対して、該コスト関数を最小化し、該画素のカラー情報、奥行き勾配情報及び奥行き変化情報に基づいて該画素のα値を求める。そのうち、画素のα値が所定しきい値以上のとき、該決定部は該画素が前景領域に属すると決定でき、画素のα値が所定しきい値よりも小さいとき、該決定部は該画素が前景領域に属しないと決定できる。

別の任意の実施例では、前記未知領域の各画素に対して、該決定部はn×n画素の近傍領域内で該画素のカラー情報、奥行き勾配情報及び奥行き変化情報のそれぞれの正規化された加重値を計算し、また該画素のカラー情報の加重値、奥行き勾配情報の加重値及び奥行き変化情報の加重値を用いて該画素のα値を求めることができる。

図10に示す前景画像分割装置の各部の操作に関しては図1に示すフローチャートを組み合わせて行った説明を参考にできるため、ここでは詳しくは述べない。該前景画像分割装置から、奥行き情報に基づき入力画像を大雑把に分割し、該三色画像から正確に前景画像を分割するため、入力画像の動き情報に基づき該大雑把な分割結果から比較的正確な三色画像を生成する。これにより、奥行き情報及び動き情報から三色画像を自動生成し、ヒューマン・コンピュータ・インタラクションを必要とせず、生成する三色画像はより正確になり、該三色画像に基づく前景画像分割の基礎を固めることにより、分割がより正確になる。また前景画像分割時に、該前景画像分割装置はカラー情報のほか空間領域上の奥行き勾配情報及び時間領域上の奥行き変化情報を考慮することにより、たとえ前景対象と背景の色が近かったとしても、正確に前景対象を分割することができる。

続いて、図11を参考に本発明実施例の目標シーンの中からの前景対象の分割を実現する前景画像分割システムのハードウェア配置を説明する。図11に示すようにシステム1100は、外部から例えば上述のカラー画像とグレースケール画像といった処理すべき画像及び例えば奥行き情報といった処理すべき情報を入力するのに用い、例えばキーボード、マウス、及び通信ネットワーク及びそれに連結する遠隔入力装置などを含む入力装置1110、上述の本発明実施例の前景画像分割方法または上述の本発明実施例の前景画像分割装置を実施するのに用い、例えばコンピュータの中央処理器またはその他の処理能力を有するチップなどを含み、例えばインターネットのネットワーク（未図示）に接続でき、処理過程の必要性に応じてネットワークから入力画像などのデータを取得し、さらに分割した前景対象に合成処理などの必要な処理を行うことができる処理装置1120、例えば分割した前景画像及び前景画像の合成結果などを含む上述の前景画像分割の結果を外部に出力するのに用い、例えばモニタ、プリンタ、及び通信ネットワーク及びそれに接続する遠隔出力装置などを含む出力装置1130、及び揮発性または非揮発性の方式で上述の処理過程に関わる画像、データ、取得した結果、コマンド及び中間データなどを記憶するのに用い、例えばランダムアクセスメモリ（RAM）、読取り専用メモリ（ROM）、ハードディスク、または半導体メモリなどの各種揮発性または非揮発性メモリを含む記憶装置1140を含む。

当然のことながら、簡略化するため、図11は該システム内の本発明に関するコンポーネントの一部を表示しただけであり、例えばバス、入力/出力インターフェースなどのコンポーネントは省略している。このほか、具体的応用状況に応じて、システム1100はさらにいずれかのその他の適切なコンポーネントを含むことができる。

以上、図面を参考に本発明実施例の前景対象分割方法、装置とシステムを詳細に説明した。以上では、人を前景対象とする例を説明したが、当業者にとって本発明が応用できるのは人に限らず、その他の動物、物体などでもよいことは自明である。

本開示の中で言及している装置、設備、システムのブロック図は例示的な例に過ぎず、必ずブロック図に示す方法に従って接続、配列、配置するように要求または暗示する意図はない。当業者が知っている場合、任意の方法でこれらの装置、設備、システムを接続、配列、配置できる。例えば、「含める」「含む」「有する」などの用語は開放性用語であり、「含むが、それに限らない」を指し、互いに入れ替えて使用できる。ここで使用している用語「または」と「及び」は単語「及び/または」を指し、互いに入れ替えて使用できる。文脈で明確に指示している場合は、この限りではない。ここで使用している用語「例えば」は、連語「例えば〜だが、それに限らない」を指し、また互いに入れ替えて使用できる。
本開示の中のステップフローチャート及び以上の方法説明は例示的な例に過ぎず、必ず示した順序に従って各実施例のステップを実施するように要求または暗示する意図はない。当業者が知っている場合、任意の順序で以上の実施例内のステップの順序を行うことができる。例えば「その後」「それから」「続いて」などの用語には、ステップの順序を限定する意図はない。これらの用語は、読者にこれらの方法の説明の通読を誘導するのに用いているに過ぎない。このほか、例えば冠詞「ひとつ」「一」または「該」の使用は、単数の要素のいかなる引用に対しても該要素を単数に限定すると解釈されない。

公開された方面の以上説明を提供することで、当業者が本発明を実行または使用できるようにしている。これら方面の各種修正は、当業者にとって非常に自明であり、またここで定義している一般原理はその他方面に応用でき、本発明の範囲を逸脱しない。そのため、本発明はここに示した方面に限定される意図はなく、ここに公開している原理と新規性の特徴に一致する最も広い範囲に従う。

Claims (12)

1. 入力画像及び該入力画像の奥行き情報を取得するステップと、
   前記入力画像の奥行き情報に基づいて、入力画像を分割して前景領域を取得するステップと、
   入力画像の動き情報を取得し、該動き情報に基づいて該前景領域から三色画像を生成するステップと、
   生成された三色画像から前景画像を分割するステップと、を含む、前景画像分割方法。
2. 前記入力画像の動き情報に基づいて該前景領域から三色画像を生成するステップは、
   該入力画像の直前の連続するm個のフレームの画像を取得し、該連続するm個のフレームの画像から各画素の動き情報を計算するステップと、
   各画素の動き情報に基づいて、該前景領域から三色画像を生成するステップと、を含み、
   画素の動き情報が所定しきい値より小さい場合は、該画素が背景領域に属すると決定し、
   画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内に前記前景領域に属しない画素が存在する場合は、該画素が未知領域に属すると決定し、
   画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内の全ての画素が前記前景領域に属する場合は、該画素が前景領域に属すると決定する、請求項１に記載の前景画像分割方法。
3. 前記生成された三色画像から前景画像を分割するステップは、
   前記未知領域の各画素のカラー情報、奥行き勾配情報及び奥行き変化情報を計算するステップと、
   画素のカラー情報、奥行き勾配情報及び奥行き変化情報に基づいて、該画素が前景領域に属するか否かを決定するステップと、
   決定結果に基づいて前景画像を取得するステップと、を含む、請求項２に記載の前景画像分割方法。
4. 前記画素が前景領域に属するか否かを決定するステップは、
   前景画像の分割に用いるα値のコスト関数を構築するステップと、
   前記未知領域内の各画素に対して、該コスト関数を最小化し、該画素のカラー情報、奥行き勾配情報及び奥行き変化情報を用いて該画素のα値を求めるステップと、
   画素のα値が所定しきい値以上の場合、該画素が前景領域に属すると決定し、画素のα値が所定しきい値より小さい場合は、該画素が前景領域に属しないと決定するステップと、を含む、請求項３に記載の前景画像分割方法。
5. 前記未知領域の各画素に対して、n×n画素の近傍領域内で該画素のカラー情報、奥行き勾配情報及び奥行き変化情報のそれぞれの正規化された加重値を計算するステップをさらに含み、
   前記画素のカラー情報、奥行き勾配情報及び奥行き変化情報を用いて該画素のα値を求めるステップは、該画素のカラー情報の加重値、奥行き勾配情報の加重値及び奥行き変化情報の加重値を用いて該画素のα値を求めるステップを含む、請求項４に記載の前景画像分割方法。
6. 前記入力画像の奥行き情報に基づいて、入力画像を分割して前景領域を取得するステップは、
   前記入力画像の奥行き情報に基づいて、Ω形状特徴に基づいて前記入力画像から人物の頭肩部を前記前景領域として検出するステップと、
   前記入力画像内の該頭肩部以外の各画素の奥行き値と検出された頭肩部の奥行き値とを比較し、該画素が該前景領域に属するか否かを決定するステップと、を含み、
   該画素の奥行き値と頭肩部の奥行き値との差が所定しきい値以下の場合は、該画素が前景領域に属すると決定し、該画素の奥行き値と頭肩部の奥行き値との差が所定しきい値よりも大きい場合は、該画素が前景領域に属しないと決定する、請求項１に記載の前景画像分割方法。
7. 前記動き情報がオプティカルフロー情報である、請求項１に記載の前景画像分割方法。
8. 入力画像及び該入力画像の奥行き情報を取得する取得手段と、
   前記取得手段により取得された奥行き情報に基づいて、入力画像を分割して前景領域を取得する分割手段と、
   入力画像の動き情報に基づいて、該前景領域から三色画像を生成する三色画像生成手段と、
   生成された三色画像から前景画像を分割する前景画像分割手段と、を含む、前景画像分割装置。
9. 前記三色画像生成手段は、
   前記入力画像の直前の連続するm個のフレームの画像を取得し、該連続するm個のフレームの画像から各画素の動き情報を計算する第一計算手段と、
   前記第一計算手段により計算された各画素の動き情報に基づいて、該前景領域から三色画像を生成する生成手段と、を含み、
   前記生成手段は、
   画素の動き情報が所定しきい値より小さい場合は、該画素が背景領域に属すると決定し、
   画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内に前記前景領域に属しない画素が存在する場合は、該画素が未知領域に属すると決定し、
   画素の動き情報が該所定しきい値以上であり、かつ該画素の近傍領域内の全ての画素が前記前景領域に属する場合は、該画素が前景領域に属すると決定する、請求項８に記載の前景画像分割装置。
10. 前記前景画像分割手段は、
    前記未知領域の各画素のカラー情報、奥行き勾配情報及び奥行き変化情報を計算する第二計算手段と、
    前記第二計算手段により計算された画素のカラー情報、奥行き勾配情報及び奥行き変化情報に基づいて、該画素が前景領域に属するか否かを決定する決定手段と、
    前記決定手段の決定結果に基づいて前景画像を取得する取得手段と、を含む、請求項９に記載の前景画像分割装置。
11. 入力画像及び該入力画像の奥行き情報を取得するステップと、
    前記入力画像の奥行き情報に基づいて、入力画像を分割して前景領域を取得するステップと、
    入力画像の動き情報を取得し、該動き情報に基づいて該前景領域から三色画像を生成するステップと、
    生成された三色画像から前景画像を分割するステップと、をコンピュータに実行させるためのプログラム。
12. 入力画像及び該入力画像の奥行き情報を取得するステップと、
    前記入力画像の奥行き情報に基づいて、入力画像を分割して前景領域を取得するステップと、
    入力画像の動き情報を取得し、該動き情報に基づいて該前景領域から三色画像を生成するステップと、
    生成された三色画像から前景画像を分割するステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images