JP2006190307A - 画像におけるオブジェクトをセグメント化する方法及び装置 - Google Patents

Abstract

【課題】画像におけるオブジェクトをセグメント化するために動的輪郭に基づく方法及び装置を提供し、さらにセグメント化すべきオブジェクトと背景との間の色判別制約条件を考慮に入れることである。
【解決手段】上記課題は、各候補ポイントに関連付けられるエネルギが色判別項を含むことによって解決される。
【選択図】図２

Description

本発明は、画像におけるオブジェクトをセグメント化する方法であって、この方法は以下のステップを有し、すなわち、セグメント化すべきオブジェクトの外部輪郭を近似的に定め、輪郭は複数のいわゆる制御ポイントを含むステップ、各制御ポイントの近傍において候補ポイントの近傍を決定するステップ、各制御ポイントの近傍において各候補ポイントに関連付けられるエネルギを決定するステップ、エネルギを最小化する候補ポイントに制御ポイントの各々を収束させ、これによりセグメント化すべきオブジェクトの推定された輪郭を提供するステップを有する、画像におけるオブジェクトをセグメント化する方法に関し、さらに、
画像におけるオブジェクトをセグメント化するための装置であって、この装置は以下の手段を有し、すなわち、セグメント化すべきオブジェクトの外部輪郭を近似的に定め、輪郭は複数のいわゆる制御ポイントを含み、各制御ポイントの近傍において候補ポイントの近傍を決定し、各制御ポイントの近傍において各候補ポイントに関連付けられるエネルギを決定し、エネルギを最小化する候補ポイントに制御ポイントの各々を収束させ、これによりセグメント化すべきオブジェクトの推定された輪郭を提供する手段を有する、画像におけるオブジェクトをセグメント化するための装置に関する。

自動画像解析による画像におけるオブジェクトのセグメント化は、通常は非常に複雑であり、人間のオペレータの補助なしでは解決できない。この理由は、オブジェクトを特徴付けてこのオブジェクトをその環境から分離することに対する画像レベルでの普遍的な規準が存在しないからである。なぜなら、セマンティックなオブジェクトは様々な異なる色及びテクスチャの多数の領域から構成される傾向があるからである。

セマンティックなオブジェクトのセグメント化は様々な適用事例を広範囲な分野に有し、とりわけ、
フィルムポストプロダクションにおいて、オブジェクトに限定される色をタッチアップするために又はオブジェクトを別のシーケンスに埋め込むためにシーケンスの中のオブジェクトを分離するために、
ビデオコーディングにおいて、単一フレームにおけるオブジェクトをコーディングすることによって圧縮率を高め、次いでその位置変化だけを伝送するために、
ビデオインデクシングにおいて、画像内容に関する意味論的に重要な情報を抽出するために適用される。

動的輪郭（「スネーク」）形式（the active contours ("snakes") formalism)）に基づくセマンティックなオブジェクトのセグメント化の方法が公知であり、これはオブジェクトの輪郭の初期近似を画像の面（faces）上へのラッチング及び輪郭曲線のレギュラリティ制約条件を満たすことによって発展させる。

色に基づくオブジェクトのセグメント化の方法も公知であり、これは、画像のピクセル又は画像の領域を色空間におけるそれらの配置に基づいてオブジェクトのピクセル及び背景のピクセルに分類する。
D.J.Williams and M.Shah,entitled " A Fast Algorithm for Active Contours and Curvature Estimation ", published in the CVGIP review: Image Understanding, volume 55 no 1, January 1992, pages 14 to 26 R.Adams and L.Bischof, entitled " Seeded region growing ", published in the IEEE review, Transactions on Pattern Analysis and Machine Intelligence, volume 16 no 6, June 1994, pages 641 to 647

本発明の課題は、画像におけるオブジェクトをセグメント化するために動的輪郭に基づく方法及び装置を提供し、さらにセグメント化すべきオブジェクトと背景との間の色判別制約条件を考慮に入れることである。

上記課題は、各候補ポイントに関連付けられるエネルギが色判別項（colour discrimination term）を含むことによって解決される。

本発明は、画像におけるオブジェクトをセグメント化する方法であって、
この方法は以下のステップを有し、すなわち、
セグメント化すべきオブジェクトの外部輪郭を近似的に定め、輪郭は複数のいわゆる制御ポイントを含むステップ、
各制御ポイントの近傍において候補ポイントの近傍を決定するステップ、
各制御ポイントの近傍において各候補ポイントに関連付けられるエネルギを決定するステップ、
エネルギを最小化する候補ポイントに制御ポイントの各々を収束させ、これによりセグメント化すべきオブジェクトの推定された輪郭を提供するステップを有する、画像におけるオブジェクトをセグメント化する方法において、
本発明によれば、各候補ポイントに関連付けられるエネルギは色判別項を含む。

これによって色判別を利用しない既存の方法に比べてエネルギ項はよりロバストになり、これにより得られる結果はオブジェクトの現実の輪郭に非常に近いオブジェクトのセグメント化を可能にする。

本発明の有利な実施形態によれば、本発明の方法は、推定された輪郭内に内接する輪郭及び推定された輪郭の周りに外接する輪郭を自動的に計算し、その結果、内接する輪郭がセグメント化すべきオブジェクトの内部にあり、外接する輪郭がセグメント化すべきオブジェクトの外部にあるステップを含む。

本発明の有利な実施形態によれば、本発明の方法は、内接する輪郭と外接する輪郭との間のスペースに配置されたピクセルを２つの領域に分類し、オブジェクトの近傍の溝（gutter）の色の分布よりもオブジェクトの色の分布により近い色を有するピクセルがオブジェクトとラベリングされ、その他のピクセルは溝とラベリングされるステップを含む。

本発明の有利な実施形態によれば、本発明の方法は、推定された輪郭の各制御ポイントに対して候補ポイントをラベリングし、ラベルは各候補ポイントが推定された輪郭の内部にあるのか又は外部にあるのかを識別するものである、ステップを含む。

本発明の有利な実施形態によれば、本発明の方法は、次のように定義されるポイントの数Ｎ_１及びＮ_２から各制御ポイントの近傍の各候補ポイントに対するピクセルをカウントし、
Ｎ_１は、推定された輪郭の内部にあるとラベリングされたポイントの数であり、しかもこれらのポイントに対しては輪郭がオブジェクトとしてラベリングされており、
Ｎ_２は、推定された輪郭の外部にあるとラベリングされたポイントの数であり、しかもこれらのポイントに対しては輪郭が溝としてラベリングされている、
ステップを含む。

本発明の有利な実施形態によれば、本発明の方法は、各候補ポイントに関連付けられるエネルギは、色判別項に加えて、ユーザにより描かれる近似的輪郭を画像の面（faces）に向かって引っ張るグラジエント項、輪郭の長さを最小化するテンション項及びあまりにも画定されすぎた曲線を最小化する２次レギュラリゼーション項を重み付けすることから成る。

本発明の有利な実施形態によれば、本発明の方法は、色判別項に関するエネルギ項の最小化は、各制御ポイント毎に、和Ｎ_１＋Ｎ_２が最小であるような、制御ポイントの近傍の候補ポイントをセレクトすることにある。

本発明は画像におけるオブジェクトをセグメント化するための装置であって、
この装置は以下の手段を有し、すなわち、
セグメント化すべきオブジェクトの外部輪郭を近似的に定め、輪郭は複数のいわゆる制御ポイントを含み、
各制御ポイントの近傍において候補ポイントの近傍を決定し、
各制御ポイントの近傍において各候補ポイントに関連付けられるエネルギを決定し、
エネルギを最小化する候補ポイントに制御ポイントの各々を収束させ、これによりセグメント化すべきオブジェクトの推定された輪郭を提供する手段を有する、画像におけるオブジェクトをセグメント化するための装置において、
本発明によれば、各候補ポイントに関連付けられるエネルギは色判別項を含む。

本発明は実施例及び有利な実施形態によってより良く理解され、説明される。

以下において本発明の実施例を説明する。

図示されているモジュールは機能ユニットであり、これらの機能ユニットは物理的に区別可能なユニットに相応するか、又は、相応しないこともありうる。例えばこれらのモジュール又はこれらのモジュールのうちのいくつかは単一のコンポーネントに結合されるか、又は、同一のソフトウェアパッケージの特徴を構成する。逆に、必要ならば、いくつかのモジュールは物理的に別個のエンティティから構成されうる。

本発明により開示される方法によれば、ユーザは自分がスクリーン上に見ているオブジェクトをセグメント化したいと思う場合、このユーザはオブジェクトの境界の近似的アウトラインを描く。この近似的アウトラインはこのオブジェクトの外部に存在しなければならない。本発明の１つの目的は、この初期近似輪郭をセグメント化すべきオブジェクトの実際の輪郭へと収束させるための方法を定めることである。この方法は動的輪郭のアルゴリズム的プランに基づいている。

図１はセグメント化すべきオブジェクトの現実の輪郭及び動的輪郭を、ユーザにより供給される初期輪郭（initial contour）からの収束のプロセスのステップにおいて示している。

動的輪郭は輪郭を形成する弧の端部に相応する所定の個数の制御ポイントＶ_ｉにより定義される。輪郭が多角形（polygon）によりモデル化されているケースでは、これらの弧は直線セグメントであり、制御ポイントはこれらのセグメントの端部から成る。制御ポイントＶ_ｉの数は輪郭の複雑性によって変化する。

本発明によれば、制御ポイントＶ_ｉは、動的輪郭（active contours）の名称により公知の収束プラン（convergence plan）によって、オブジェクトの実際の輪郭へと収束させられる。動的輪郭は画像におけるパラメータ化された曲線として定義されており、このパラメータ化された曲線は、輪郭曲線自体から計算される内力及び画像に依存する外力の影響の下にオブジェクトの境界線に接近する。内力はレギュラリティ制約条件（regularity constraints）を満たすために曲線の形状を制約し、外力は画像の内容に関して曲線のポジショニングを最適化する。これらの力の適用はエネルギ汎関数（energy functional）の最小化に反映される。

理論的にエネルギ汎関数の総合的な最小化を実施することにより全ての制御ポイントの同時的収束をもとめることは可能であるが、動的輪郭の収束は実際にはgreedyなアルゴリズムを使用して実施される。このgreedyなアルゴリズムは最初にD.J.Williams and M.Shah,entitled ”A Fast Algorithm for Active Contours and Curvature Estimation”,published in the CVGIP review: Image Understanding, volume 55 no 1,January 1992,pages 14 to 26によって提案された。

このアルゴリズムによれば、輪郭が安定化されるまで、エネルギの最小化が制御ポイントの各々において反復的に実施される。この目的のために、サーチウィンドウが各制御ポイントの近傍に定義される。このウィンドウ内の各ポイントは新しい制御ポイントの位置に対する候補ポイントを構成する。エネルギと呼ばれる所定の汎関数が最小であるような候補ポイントへと制御ポイントはウィンドウの中で移動される。このプロセスは、輪郭の収束が達成されるまで、次々と制御ポイント全てに対して適用される。

ウィンドウのサイズは例えば２１ピクセル×２１ピクセルにセットされる。他の実施形態では、ウィンドウのサイズは異なってもよい。使用されるウィンドウのサイズは、ターゲットアプリケーション及び処理される画像の解像度に依存する。

図１を参照すると、項Ｖ_ｉは動的輪郭の制御ポイントの現在の位置を示すために利用される。目標は、Ｖ_ｉの周りのサーチウィンドウの各ポイントＶ_ｊ毎に、Ｖ_ｉをＶ_ｊと置換することにより得られる輪郭のエネルギを計算することによって及び最小エネルギを与える制御ポイントを新しい制御ポイントとしてセレクトすることによって真の輪郭へとＶ_ｉを収束させることである。

動的輪郭によるセグメント化の周知の方法によれば、制御ポイントＶ_ｉのエネルギＥ(i)は次の３つの項の重み付けされた和であると定義される：

１．制御ポイント間の一定のスペーシングを扱う連続性項（continuity term）；この項は例えばＶ_ｊから隣接する制御ポイントＶ_ｉ−１及びＶ_ｉ＋１までの距離及び制御ポイント間の平均距離

に従って定義されうる：

２．２次レギュラリゼーション項（second-order regularization term）、この項の目的は、あまりにも画定されすぎた輪郭の曲線（curves of the contour that are too pronounced）を回避することであり、定差（finite differences）によって曲線を近似して次のように定義される：

３．画像の面（faces）に向かって輪郭を引っ張るグラジエント項（gradient term）であり、その方向が推定された輪郭に対してパラレルであるような面を優先させる：この項はＶ_ｊの近傍における勾配ベクトルＧ（Ｖ_ｊ）及びＶ_ｉにおける輪郭の外への法線ｎ_ｅｘｔ（ｉ）によって次式：

により計算される。

これらの項の重み付けは輪郭の特性に従ってユーザによって定められる。例えばユーザは、非常に入り組んだ形状のケースではレギュラリティ項のウェイトを低減することができる。

上記のように動的輪郭によりセグメント化する方法は、主にオブジェクトの境界の検出に依存する。本発明の目的は、得られるセグメンテーションの品質及びロバスト性を向上させるために、動的輪郭によるセグメント化の方法の中に、輪郭の区切られた領域の色に関する一定の一様性を保証する付加的な制約条件を導入することである。

本発明はとりわけ動的輪郭の収束を条件付けるエネルギ汎関数の付加的な項を決定する手段に関する。この色判別項Ｅ_{ｃｏｌｏｕｒ}(ｉ，Ｖ_ｊ)は、推定された輪郭の近傍のピクセルをピクセルの色に従って「オブジェクト」及び「非オブジェクト」として分類することに依存し、分類はオブジェクトの色の分布及びその近傍の初期知識に基づいて行われる。Ｅ_{ｃｏｌｏｕｒ}(ｉ，Ｖ_ｊ)は、輪郭の近傍において、輪郭内部の「オブジェクト」として分類されたピクセルの配置及び輪郭外部の「溝（gutter）」として分類されたピクセルの分類を促進するために輪郭のポジショニングを修正する。

図２は色判別項を計算する手段を記述するブロック線図を示す。

最初に、ステップＥ１において、オブジェクトの内部に内接する輪郭（inscribed contour）及びオブジェクトの外部に外接する輪郭（circumscribed contour）が初期輪郭に基づいて定められる。例として、図３は、輪郭が多角形によりモデル化される場合に、内接輪郭及び外接輪郭を構成する幾何学的方法を示す。初期輪郭の各頂点Ｖ_ｉに対して２つの隣接するセグメントにより形成される角の２等分線が頂点において構成され、この頂点を通過する。外接する（又は内接する）多角形の頂点が、Ｖ_ｉを予め設定された距離ｄ_ｃｉｒｃ（又はｄ_{ｉｎｓｃｒ}）だけ外側へ（又は内側へ）この２等分線に沿って動かすことによってＶ_ｉにリンクされる。

本発明の良好な作動は、オブジェクトの完全に内部にあるべき内接輪郭及びオブジェクトのまったく外部にあるべき外接輪郭を必要とする。もし必要ならば、これら２つの条件を満たすために、上記の方法により自動的に計算される輪郭を人間のオペレータが調整することが要請される。

ステップＥ２では、内接する輪郭及び外接する輪郭により区切られた不確定の領域に配置されたピクセルの各々がその色に従って「オブジェクト」ピクセルとして又は「非オブジェクト」ピクセルとして分類され、これはこのエリアにおける２値分類マップ（binary classification map）を提供する。この目的のために様々な分類方法が適用できる。２つの方法を説明により下に記述する。

・オブジェクトの色分布及び溝の色分布のモデルの構成に基づく方法、この場合ピクセルはこれらの分布に対するそれらの色の近さに従って分類される。

・”Seeded Region Growing”として公知のアルゴリズムに基づく方法、この場合外接する輪郭及び内接する輪郭の周りに分布する基準ポイントから複数の領域が成長される。

ステップＥ１及びＥ２は動的輪郭収束プロセスをスタートする前に実施される。下記に記す方法の他のステップＥ３〜Ｅ５は、制御ポイントの近傍において動的輪郭収束プロセスの各反復において繰り返される。

ステップＥ３では、第２の２値分類マップが現在の制御ポイントＶ_ｉの近傍の新しい輪郭ポイントに対するサーチウィンドウにおいて構成される。このマップは、新しい輪郭ポイントの各候補位置Ｖ_ｊに対して再計算されて、ピクセルがＶ_ｊを新しい輪郭ポイントとして考慮することによって得られる輪郭の内部に配置されるか又は外部に配置されるかを示すラベルをウィンドウの各ピクセルに割り当てる。輪郭が多角形によってモデル化されている場合には、これらのマップの計算はコンピュータグラフィックスにおいて周知のアルゴリズムに基づくことができ、ポイントが多角形内部に配置されるか否かをテストすることを可能にする。

ステップＥ４は一方でステップＥ２から得られる「オブジェクト」ピクセル及び「非オブジェクト」ピクセルとしての分類に基づくセグメンテーションマップを使用し、他方でステップＥ３から得られた候補輪郭の内部の及び外部のピクセルへのセグメンテーションのマップを利用する。これら２つのマップに基づいて、Ｖ_ｉの近傍のサーチウィンドウの中で、次のような条件を満たすピクセルのカウントが行われる：
ステップＥ２ではオブジェクトに所属すると検出されかつステップＥ３ではＶ_ｊを通過する輪郭の内部に配置されているとラベリングされたピクセル、もしくは、Ｎ_１個のピクセル、
ステップＥ２ではオブジェクトに所属しないと検出されかつステップＥ３ではＶ_ｊを通過する輪郭の外部に配置されているとラベリングされたピクセル、もしくは、Ｎ_２個のピクセル。

制御ポイントＶ_ｉの新しい位置は、和（Ｎ_１＋Ｎ_２）が最大であるピクセルＶ_ｊの位置であり、これは動的輪郭のエネルギ項における和（Ｎ_１＋Ｎ_２）の逆数を最小化することと等価である。

得られたピクセルの数（Ｎ_１＋Ｎ_２）はステップＥ５においてサーチウィンドウにおけるピクセルの総数によって正規化され、ファクタによって乗算されて動的輪郭のエネルギの色判別項Ｅ_{ｃｏｌｏｕｒ}(ｉ，Ｖ_ｊ)を供給する。この乗算ファクタは負でなければならず、例えば−１にセットされる。

正当に得られた項Ｅ_{ｃｏｌｏｕｒ}(ｉ，Ｖ_ｊ)は、ユーザによって定められた重み付けファクタにより乗算された後で、次いで動的輪郭に関連付けられたエネルギの他の公知の項に加えられ、各輪郭ポイントの近傍において全エネルギを最小化する候補ポイントをセレクトすることによって輪郭の収束が反復的に得られる。項Ｅ_{ｃｏｌｏｕｒ}(ｉ，Ｖ_ｊ)を含めることは、輪郭推定プロセスに色判別制約条件を組み込むことを可能にし、これは輪郭の内側に含まれる全ての色の及び輪郭の外側の近傍に含まれる全ての色の一様性を保証するように輪郭を位置決めする傾向を持つ。

内接輪郭と外接輪郭との間のエリアに配置されたピクセルを分類するためのステップＥ２をインプリメントする２つの可能な方法を次に記述する。

有利な実施形態において利用される第１の方法は、オブジェクトの色の分布及びこのオブジェクトの外側近傍の色の分布のモデルの構成に基づく。これらのモデルを構成することは必然的に図４に示されているように画像における２つの基準領域を定義することを伴う：
第１の基準領域Ｒ_ｏｂｊは、内接する輪郭の内部として定義され、
第２の基準領域Ｒ_ａｒｐは、推定された輪郭の周りに外接する輪郭、以下においては「内部外接輪郭」と内部輪郭輪郭の周りに外接する新しい輪郭、以下では「外部外接輪郭」との間の領域として定義される。

内接輪郭及び内部外接輪郭の構成に課せられる制約のために、Ｒ_ｏｂｊは必然的にオブジェクトの内部にあり、他方でＲ_ａｒｐはオブジェクトの外部近傍に配置されている。

基準領域Ｒ_ｏｂｊ及びＲ_ａｒｐによって、オブジェクトの色分布のモデル及びオブジェクトの近傍の背景の色分布のモデルが構成されうる。これらのモデルを構成する第１の方法は図５に示されており、ガウスの法則の和又は「ガウス混合」（a sum of Gaussian laws or "Gaussian mixing"）によるこれらの色分布の各々の統計的モデルの採用を仮定する。

この方法によれば、図５を参照すると、第１のステップＳ１において、関心基準領域の内部のピクセルのリスト、言い換えればオブジェクトの色分布のモデルを計算するためにＲ_ｏｂｊが及び背景の色分布のモデルを計算するためにＲ_ａｒｐが構成される。

ステップＳ２において、領域の色のヒストグラムが構成される。この処理が従来は画像処理において原理的に許可されている使用される色の表現空間を定量化するための法則を利用することが想起される。例えば、３つの色軸の各々による一様Ｎレベル定量化（uniform N-level quantification）を採用することが可能であり、これはＮ個の可能な値に各色成分を定量化することと等価である。色空間は次いでＮ^３個のエリアに分割される。領域の色ヒストグラムはＮ^３個のセル又はビンのアレイとして定義され、各々のビンはエリアと全単射的に（bijectively）関連付けられる。ヒストグラムのビンに格納される値は、ビンに関連付けられた色空間のエリアに配置されている色成分により処理される画像の領域のピクセルの数を表す。ヒストグラムは次々と以下のように関心領域のピクセル全てを処理することによって構成される：各ピクセルの色成分が定量化され、これはピクセルが配置されている色空間のエリアを決定する。次いでこのエリアに関連付けられたビンの値は１単位だけインクリメントされる。

色ヒストグラムは領域の色分布の第１のモデルを提供する。この場合、少数のパラメータを有するパラメトリックモデルを得るためにモデルを単純化する努力が行われる。この目的のために、次にステップＳ３において高い密度を有するヒストグラムの領域が検出される。コンピュータグラフィックスにおいて広く公知のピーク検出アルゴリズム又は「ピークピッキング（peak-picking）」アルゴリズムがこの目的のために使用されうる。ステップＳ３の出力は関心領域において強く表示される優勢な色に相応するヒストグラムピークのリストから成る。

ステップＳ４の目的は、ステップＳ３において検出されたピークのリストを使用して色ヒストグラムのパラメトリックな統計的モデルを導出することである。各ピークの近傍は色空間内の３次元ガウス分布になぞらえられ、これはガウス混合モデル（ＧＭＭ）により色の全体分布をモデル化することに等価である。ＧＭＭを形成するガウス分布の各々は完全にその平均及びその共分散マトリクスによって決定される。モデルのこれらのパラメータは関心ピークの近傍のヒストグラムのビンの値から推定される。

それゆえ、ステップＳ４の出力側には、ガウス混合の形式において、領域の色分布のパラメトリックモデルが存在する。この場合、「オブジェクト」及び「背景」領域Ｒ_ｏｂｊ及びＲ_ａｒｐからオブジェクトの色分布のモデルＭ_ｏｂｊ及び背景の色分布のモデルＭ_ａｒｐを構成することが可能である。図２の線図のステップＥ２に相応するピクセルの２値分類は、この場合それぞれモデルＭ_ｏｂｊ及びモデルＭ_ａｒｐに対するピクセルの尤度ｖｒ_ｏｂｊ及びｖｒ_ａｒｐを計算することによって得られる：もしｖｒ_ｏｂｊがｖｒ_ａｒｐより大きければ、このピクセルは「オブジェクト」と分類され、さもなければこのピクセルは「非オブジェクト」と分類される。

図２に関連して、「オブジェクト」又は「非オブジェクト」としてピクセルを２値分類するためのステップＥ２をインプリメントする第２の方法は、”Seeded Region Growing”（ＳＲＧ）アルゴリズムを利用する。このアルゴリズムの詳細な記述はR.Adams and L.Bischof, entitled " Seeded region growing ", published in the IEEE review, Transactions on Pattern Analysis and Machine Intelligence, volume 16 no 6, June 1994, pages 641 to 647の論文に見いだされる。

ＳＲＧアルゴリズムは最初に定義された小さい領域を成長させることによって画像のエリアのピクセル全てを分類し、これらの小さい領域に対してはクラスが既知である。本発明の文脈では及び図６の概略図によれば、初期領域は内接及び外接輪郭の外周の周りに均一に分布されたポイントの小さな近傍によって形成される。内接輪郭に隣接する領域はオブジェクトに所属する。なぜなら、内接輪郭はオブジェクトの内部にあるからである。同様に、外接輪郭に隣接する領域は背景に所属する。

ＳＲＧアルゴリズムは既存の領域に隣接する処理されるべきエリア内部にまだ分類されていないピクセルのリストを維持する。このリストにおいて各ピクセルはその隣接領域までの距離に関連付けられており、このリストのピクセルはそれらの距離の昇順にソートされる。ピクセルと領域との間の距離は、ピクセルの色と領域を表す色又は各色との間の均一性の規準を表す。非常に単純化されたインプリメンテーションでは、この距離はピクセルの色と領域の平均色との間の、色の表現空間におけるユークリッド距離として定義される。

このアルゴリズムの反復は以下の処理を実行することから成る：
リストの第１のピクセル（距離属性が最小である）をそれに隣接する領域に割り当てる、
これに応じて領域の特性（例えば、その平均色）を更新する、
領域の近傍を更新する。

このプロセスはリストが空になるまで反復的に適用され、リストが空になることは分類すべきエリアのピクセル全てが初期領域に割り当てられたことを意味する。この場合、ピクセルの分類はこのピクセルが割り当てられた初期領域の分類によって定められる：もしこの領域が最初に内接輪郭に隣接していたのならば「オブジェクト」、さもなければ「非オブジェクト」である。

本発明は上述の例示的な実施形態に限定されるものではない。

推定しよう試みているオブジェクトの動的輪郭及び真の輪郭を示す概略図である。 色判別項の計算を表す様々なステップを示す線図である。 初期多角形内に内接する多角形及び初期多角形の周りに外接する多角形を計算する方法を示す概略図である。 異なる輪郭によって境界を定められた基準領域を示す概略図である。 溝及びセグメント化すべきオブジェクトに対する色モデルを計算する機能的ブロック線図である。 ”seeded region growing”アルゴリズムに基づく、溝とオブジェクトとの間の２値分類の代替的な方法を示す概略図である。

符号の説明

Ｖ_ｉ 制御ポイント
Ｖ_ｊ 候補ポイント
ｄ_ｃｉｒｃ 外接輪郭までの距離
ｄ_{ｉｎｓｃｒ} 内接輪郭までの距離
Ｒ_ｏｂｊ 「オブジェクト」領域
Ｒ_ａｒｐ 「背景」領域
Ｍ_ｏｂｊ オブジェクトの色分布のモデル
Ｍ_ａｒｐ 背景の色分布のモデル

Claims (8)

1. 画像におけるオブジェクトをセグメント化する方法であって、
   該方法は以下のステップを有し、すなわち、
   セグメント化すべきオブジェクトの外部輪郭を近似的に定め、前記輪郭は複数のいわゆる制御ポイント（Ｖ_ｉ）を含むステップ、
   各制御ポイント（Ｖ_ｉ）の近傍において候補ポイント（Ｖ_ｉ，ｊ）の近傍を決定するステップ、
   各制御ポイントの近傍において各候補ポイント（Ｖ_ｉ，ｊ）に関連付けられるエネルギを決定するステップ、
   前記エネルギを最小化する候補ポイント（Ｖ_ｉ，ｊ）に制御ポイント（Ｖ_ｉ）の各々を収束させ、これによりセグメント化すべきオブジェクトの推定された輪郭を提供するステップを有する、画像におけるオブジェクトをセグメント化する方法において、
   各候補ポイント（Ｖ_ｉ，ｊ）に関連付けられるエネルギは色判別項（colour discrimination term）を含むことを特徴とする、画像におけるオブジェクトをセグメント化する方法。
2. 推定された輪郭内に内接する輪郭及び推定された輪郭の周りに外接する輪郭を自動的に計算し、その結果、内接する輪郭がセグメント化すべきオブジェクトの内部にあり、外接する輪郭がセグメント化すべきオブジェクトの外部にあるステップ（Ｅ１）を含むことを特徴とする、請求項１記載の方法。
3. 内接する輪郭と外接する輪郭との間のスペースに配置されたピクセルを２つの領域に分類し、オブジェクトの近傍の溝（gutter）の色の分布よりもオブジェクトの色の分布により近い色を有するピクセルがオブジェクトとラベリングされ、その他のピクセルは溝とラベリングされるステップ（Ｅ２）を含むことを特徴とする、請求項２記載の方法。
4. 推定された輪郭の各制御ポイント（Ｖ_ｉ）に対して候補ポイント（Ｖ_ｉ，ｊ）をラベリングし、ラベルは各候補ポイント（Ｖ_ｊ）が推定された輪郭の内部にあるのか又は外部にあるのかを識別するものである、ステップ（Ｅ３）を含むことを特徴とする、請求項１〜３のうちの１項記載の方法。
5. 次のように定義されるポイントの数Ｎ_１及びＮ_２から各制御ポイント（Ｖ_ｉ）の近傍の各候補ポイント（Ｖ_ｉ，ｊ）に対するピクセルをカウントし、
   Ｎ_１は、推定された輪郭の内部にあるとラベリングされたポイントの数であり、しかもこれらのポイントに対しては輪郭がオブジェクトとしてラベリングされており、
   Ｎ_２は、推定された輪郭の外部にあるとラベリングされたポイントの数であり、しかもこれらのポイントに対しては輪郭が溝としてラベリングされている、
   ステップ（Ｅ４）を含むことを特徴とする、請求項４記載の方法。
6. 各候補ポイント（Ｖ_ｉ，ｊ）に関連付けられるエネルギは、色判別項に加えて、ユーザにより描かれる近似的輪郭を画像の面（faces）に向かって引っ張るグラジエント項（Ｅ_{ｇｒａｄｉｅｎｔ}（ｉ，Ｖ_ｊ））、輪郭の長さを最小化するテンション項（Ｅ_{ｃｏｎｔｉｎｕｉｔｙ}（ｉ，Ｖ_ｊ））及びあまりにも画定されすぎた曲線を最小化する２次レギュラリゼーション項（Ｅ_{ｃｕｒｖｅ}（ｉ，Ｖ_ｊ））を重み付けすることから成ることを特徴とする、請求項１〜５のうちの１項記載の方法。
7. 色判別項に関するエネルギ項の最小化は、各制御ポイント（Ｖ_ｉ）毎に、和Ｎ_１＋Ｎ_２が最小であるような、前記制御ポイント（Ｖ_ｉ）の近傍の候補ポイント（Ｖ_ｉ，ｊ）をセレクトすることにあることを特徴とする、請求項５記載の方法。
8. 画像におけるオブジェクトをセグメント化するための装置であって、
   該装置は以下の手段を有し、すなわち、
   セグメント化すべきオブジェクトの外部輪郭を近似的に定め、前記輪郭は複数のいわゆる制御ポイント（Ｖ_ｉ）を含み、
   各制御ポイント（Ｖ_ｉ）の近傍において候補ポイント（Ｖ_ｉ，ｊ）の近傍を決定し、
   各制御ポイント（Ｖ_ｉ）の近傍において各候補ポイント（Ｖ_ｉ，ｊ）に関連付けられるエネルギを決定し、
   前記エネルギを最小化する候補ポイント（Ｖ_ｉ，ｊ）に制御ポイント（Ｖ_ｉ）の各々を収束させ、これによりセグメント化すべきオブジェクトの推定された輪郭を提供する手段を有する、画像におけるオブジェクトをセグメント化するための装置において、
   各候補ポイント（Ｖ_ｉ，ｊ）に関連付けられるエネルギは色判別項を含むことを特徴とする、画像におけるオブジェクトをセグメント化するための装置。

Images