JP2010511215A - 画像内のオブジェクトを指示する方法 - Google Patents

Abstract

本発明は画像内のオブジェクトを指示する方法に関する。
本方法は：
−画像内のオブジェクト内部の点Ｐ_１を指示するステップと、
−画像を基本領域へ分割するステップ（３１）と、
−点Ｐ_１が属する元の領域Ｒ_１を識別するステップと、
−領域間の関連性のグラフを構築するステップ（３２）と、
−様々な帰属の基準を組み合わせることにより、元の領域Ｒ_１に接続された領域に対して、オブジェクトにおけるメンバーシップ関数を計算するステップと、
−そのメンバーシップ関数の値が所与のしきい値よりも大きい場合に併合される、その接続された領域と、元の領域Ｒ_１を併合するステップ（３３）と、
−接続された領域のメンバーシップ関数と、併合のメンバーシップ関数とを計算するステップが、併合が行なわれなくなるまで、各々の新たな併合された領域に対して繰り返されるステップとを含む。本発明はとりわけ、ユーザーにとって簡単な操作によって、オブジェクトのグラフィカルな指示を行なうための画像処理に関して適用される。
【選択図】 図３

Description

本発明は画像内のオブジェクトを指示する方法に関する。本発明はとりわけ、ユーザーにとって簡単な操作によって、オブジェクトのグラフィカルな指示を行なうための画像処理に関して適用される。

オペレータはオブジェクトに属する画素の全体領域を特定する必要なしに、あるいはオブジェクトを包含する輪郭線又は四角形を描く必要なしに、ビデオ画像上において、例えば１回のマウスのクリックのように簡単なデータ収集操作により、事前に指示されたオブジェクトの範囲を定めるために、自動機能を利用することを特に望み得る。そのような機能性は、１回のクリック又はそれに同等なオブジェクト指示しか行なえず、選択されるべきオブジェクトを囲むためのマウスの動きのような追加操作を行なえない、障害者にとってとりわけ有益である。この機能性はまた、画像が選択されるべき大量のオブジェクトを示すときに有益である。オペレータは従って、例えば単純なクリックを通じてビデオ画像上でオブジェクトを指示すること、及び例えば包含するボックス又は色付け部分を通じて、指示されたオブジェクトの画面表示を自動的に得ることを希望する。

１つの技術的な問題は、ユーザーによるオブジェクトの画像内の点の選択を通じ、画像内において、オブジェクトの画像の範囲を定めるための自動処理の微調整である。

様々な画像処理技術が開発されているが、いずれもオブジェクトの明るさ、形状又はテクスチャにおける多様さに直面して、十分に信頼性がありロバストな結果を示さない。

オブジェクトが、例えば円板状又は長方形タイプの基本的な幾何学的形状、あるいは固有の一様な色、又は十分に鋭い輪郭を有するとき、画像内でオブジェクトを特定することを可能にする処理アルゴリズムが存在する。これらのアルゴリズムは、それらの画像の複雑さ、オブジェクトと背景との間の色の類似性、又はとりわけコントラスト不足のために、もはや任意のオブジェクトの画像に対し一般的に効果的ではない。

画像処理の第１のカテゴリーは、オブジェクトの輪郭の自動検知に基づく。それにもかかわらず、この方法は、この方法によりオブジェクトの輪郭として誤って解釈された、画像の明るさの大きな変化、影の作用又はテクスチャの変化に起因する誤差を生じる。

１台のカメラが例えば固定され、もう１台が可動式であり、ロボットアームの動きをガイドする、例えば２台のカメラからの画像を含む別のオブジェクト指示方法が存在する。しかしながら、追加のカメラを何ら必要とせず、何ら捕捉されるべきオブジェクトの準備も、とりわけ何ら目標点を用いたオブジェクトの事前マーキングも必要としない手順に対する要求がある。

一般的にオブジェクトの識別に対する画像の処理において、画像内に存在する全てのオブジェクトに関して探索する目的で、画像の全体的な分割に対する多くの研究がある。画像分割において一般的に求められる目標は、画像全体を複数のオブジェクトへと分割することである。それにもかかわらず、この目標の大部分は測光特性、特に色の使用を招き、それら自体ではオブジェクトの再構築を可能としない。その結果、オブジェクトと結び付けられた意味論は、人間がそれらと結び付け得る意味論から離れたままに留まる。

本発明の１つの目的は、とりわけ、或る画像に対する１回の相互作用を通じて、それを残りの画像から識別するオブジェクトの指示を可能にすることである。このため、本発明の主題は画像内のオブジェクトを指示する方法であり、この方法は：
−画像内のオブジェクト内部の点Ｐ_１を指示するステップと、
−画像を基本領域へ分割するステップと、
−点Ｐ_１が属する元の領域Ｒ_１を識別するステップと、
−領域間の関連性のグラフを構築するステップと、
−様々な帰属特性を組み合わせることにより、元の領域Ｒ_１に接続された領域に対して、オブジェクトにおけるメンバーシップ関数を計算するステップと、
−そのメンバーシップ関数の値が所与のしきい値よりも大きい場合に併合される、その接続された領域と、元の領域Ｒ_１を併合するステップとを含み、
接続された領域のメンバーシップ関数と、併合のメンバーシップ関数とを計算するステップは、併合が行なわれなくなるまで、各々の新たな併合された領域に対して繰り返される。

併合のステップは、例えば次のステップ：
−元の領域Ｒ_１に接続された領域に対して、オブジェクト内のメンバーシップ関数を計算するステップと、
−そのメンバーシップ関数の値が所与のしきい値よりも大きい、最も近傍の接続された領域と、元の領域Ｒ_１とを併合するステップと、
−新たな併合された領域の関数として、関連性のグラフを更新するステップと
を含み、
併合ステップは、それに続いて次の反復のステップ：
−新たな併合された領域Ｒ_ｉに接続された領域に対して、オブジェクト内のメンバーシップ関数を計算するステップ（７１、７２）と、
−そのメンバーシップ関数の値が所与のしきい値よりも大きい、最も近傍の接続された領域Ｒ_ｊと、併合された領域Ｒ_ｉとを併合するステップ（７３）と、
−新たな併合された領域の関数として、関連性のグラフを更新するステップと
を含む。

オブジェクト内の領域のメンバーシップ関数の計算は、例えば接続された領域Ｒ_ｊと併合された領域Ｒ_ｉとの相違を特徴付ける、幾つかの特性を組み合わせるファジー演算μ_０を通じて行なわれることが有利である。

例えば次の特性を含む、幾つかのタイプの特性が用いられ得る：
−指示点Ｐ_１からの領域Ｒ_ｊの隔たりと、
−画像の縁から領域Ｒ_ｊの重心までの距離と、
−領域Ｒ_ｊの面積とそれを包含するボックスの面積との比率として定義される、領域Ｒ_ｊの密度と、
−その周囲長さの２乗とその面積との比率として定義される、領域Ｒ_ｊのコンパクトさと、
−オブジェクトに属する領域に対称な領域が、このオブジェクトに属する傾向のある、画像の軸に関する対称性。

有利なことに、本方法は例えばオブジェクトを認識するステップを含み、前記方法は基準を用いてオブジェクトと総語彙の要素との比較を可能にする。

点Ｐ_１は例えばマウス・タイプのデータ収集インターフェースを用いて指示される。

本発明のその他の利点及び特徴は、添付図面に関連して与えられる、以下に続く説明により明らかになるであろう。

先行技術による、元の画像からの例示的分割である。 先行技術による、元の画像からの例示的分割である。 先行技術による、元の画像からの例示的分割である。 例示的な望ましい分割結果である。 本発明による方法の可能なステップの説明である。 画像の可能な分割の説明である。 画像の可能な分割の説明である。 本発明による方法において用いられる関連性のグラフの説明である。 関連性リンクの説明である。 本発明による方法の領域を併合するステップにおいて適用される、反復プロセスの可能なステップの説明である。

図１ａ、１ｂ、１ｃは、例として、先行技術による画像の全体的な分割手順の結果を説明し、図１ａは元の画像を、図１ｂは目標物の分割、そして図１ｃは最終的に得られた分割を表わす。

図１ａは元の画像Ａを示す。従来の自動全体分割の目的は、図１ｂに示されている画像Ｈ（Ａ）を得ることである。この画像Ｈ（Ａ）において、前景２又は背景３の各オブジェクトが個々に分離されている意味領域１へと、画像全体の分割を行なうことが探求される。図１ｃは理想的な画像Ｈ（Ａ）に関する過度の分割がそこで観察される、最終的に得られた分割図Ｓ（Ａ）を示し、部分的セグメント４はオブジェクトの内側に作られている。

自動分割により得られる部分的セグメント４は、人の手による分割で得られた図１ｂの意味領域とは対照的な基本領域を形成する。

より一般的には、従来の自動分割の主な限界は次の通りである：
−同じオブジェクトの部分を形成する、同色であるが遠く離れた領域は必ずしも同一のセグメントに含まれず、
−オブジェクトの部分及び背景の部分をそれぞれ形成する、同色で近い領域は同一のセグメントに含まれる可能性があり、
−同じオブジェクトの部分を形成する、非常に異なった色の隣接する領域は、同様に必ずしも同一のセグメントに含まれず、
−最後に、オブジェクトの部分及び背景の部分を形成する、非常に異なった色の隣接する領域は、同一のセグメント内に一緒にグループ化され得る。

領域間の距離のパラメータ及び色のパラメータは、従って或る領域がオブジェクトに属するか、又は背景に属するかを決定するためには単独では不十分である。そこで、それらを様々なオブジェクトに対応する領域内へグループ化するために、領域を自動的に併合することは困難である。

従って従来の全体的な分割は、それが：
−各オブジェクトが、一緒にグループ化することの難しい領域へ分割される、図１ｃによって示されるような画像の過度の分割か、
−又はオブジェクトを背景から切り離すことを可能にしない、画像の部分的セグメント
に帰着するため、画像を動作オブジェクトへと確実に分割することを可能にしない。

図２は本発明による方法を通じて得ることができる、例示的な望まれる結果の説明である。画像の一部分にあるオブジェクト２１は、例えば簡単なマウスのクリックを通じてオペレータにより指示され、このように指示されたオブジェクトに対応する画像の領域は、画像の残りの全てから区別される。

図２において、十字２２はオペレータにより、例えばマウスのクリックを用いて行なわれた例示的指示点である。所望の分割Ｄ（Ａ）は２進の分割であり、指示されたオブジェクト２１に対応する領域は、画像の残り又は背景から分離されている。図２の例において、画像の背景に対応する全てのものは、とりわけファジーにされ得る。この背景は従来の分割の意味で、幾つものオブジェクトを含む。

図３は本発明による方法を実施するための可能なステップを説明している。

本方法は画像上のオブジェクトにおける点を指示する、準備段階３０を含む。グラフィカル・インターフェースにおいて表示された画像の中で、オペレータはデータ収集インターフェース、例えばマウス、「トラックボール」、又はユーザーの構成に適合する任意の別の装置を用いて、彼が指示したいと望むオブジェクトの部分を形成する点を指示する。図２の例において、オブジェクト２１は十字２２によって表わされる点で指示される。この画像は例えば低レベル・フィルタリングの追加的な、オプションのステップを経ることができる。このステップにおいて、画像は例えば減らされた色の数のごとく、そのサイズを低減するためにフィルタリングされる。

第１ステップ３１において、本方法は複数の領域への画像Ａの分割を行なう。指示がそれに対して行なわれる画像は、画像分割手順、例えば分水界線技術又は異方性拡散技術の使用を通じた、画像分割手順を用いて複数の領域へ分割される。

本方法は、領域の関連性グラフを構築する第２ステップ３２を含む。このステップにおいて、領域の関連性グラフはこの分割に基づいて決定される。

第３ステップ３３において、本方法は指示されたオブジェクトを最も良くカバーするように、その領域をグループ化する。画像上のクリック位置は、例えばオブジェクトに属すると想定される領域を集めるための、基準マーカーとして用いられる。併合されるべき領域は、クリックの位置に依存する、又は依存しない構造的基準により決定される。これらの基準は包括的又は専用であり得る。

図４ａ及び４ｂは、前述の第１ステップ３１の間に実行された画像分割の２つの例を説明している。この第１ステップは、その目的が画像を均質の領域へと分割することである、生の又は当初の画像の分割である。分割の目的は、画像内に存在するオブジェクトに最も良く対応する複数の領域を持つこと、及び可能ならばそれらの間に規則正しい境界を持つことである。この分割は当初の画像の画素数よりも少ない、多数の要素を提供する。この段階で、様々な領域が同一のオブジェクトに属するかどうかを知ることは不可能である。

図４ａ及び４ｂは、既知の手順又はアルゴリズムに従って得られる、図１ａの元の画像Ａを分割する２つの例を説明している。

図４ａは異方性拡散により達成される第１の分割手順を例示し、分割された図４１は輪郭に基づく手順を通じて得られる。マー，Ｗ．Ｙ．（Ｍａ，Ｗ．Ｙ．）及びＢ．Ｓ．マンジュナス（Ｂ．Ｓ．Ｍａｎｊｕｎａｔｈ）の文献資料：「エッジ・フロー：境界の検出及び分割用の技術（Ｅｄｇｅ Ｆｌｏｗ：Ａ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｂｏｕｎｄａｒｙ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ）」、画像処理に関するＩＥＥＥ議事録（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅｓ Ｐｒｏｃｅｓｓｉｎｇ）、２０００年８月、１３７５〜１３８８頁は輪郭に基づく分割手順を説明している。画像４１はさらに、例えば異方性拡散により得られる。異方性拡散は、均質の領域を滑らかにし、コントラストを輪郭レベルで増加させるように全体の画像を変える。

図４ｂはいわゆる分水界線の方法により得られる、分割された図４２を示す。分水界線は数学的形態論の方法による画像分割を特徴とするモデルである。その基本原理は画像をトポグラフ面として描くことにある。Ｇ．マトゥロン（Ｇ．Ｍａｔｈｅｒｏｎ）及びＪ．セラ（Ｊ．Ｓｅｒｒａ）の著書「数学的形態論の誕生（Ｔｈｅ Ｂｉｒｔｈ ｏｆ Ｍａｔｈｅｍａｔｉｃａｌ Ｍｏｒｐｈｏｌｏｇｙ）」、１９９８年６月は、この方法を説明している。

一般的に、複数の領域へ分割する幾つかの方法が使用され得る。とりわけ、次の基準が用いられ得る：
−図４ａにより例示されているような、輪郭に基づく基準と、
−図４ｂにより例示されているような、均質な結ばれた画素の集合に基づく基準。

得られた分割は距離についての情報に何ら関係しない。重要な結果は、とりわけ分割が、オブジェクトにできる限り近い、特にそれらの構造にできる限り近い領域を生成することである。分割はオブジェクトの様々な部分に正確に、又は殆ど対応する領域を持つことを可能にする。或る領域はとりわけ、その平均的な色、その重心、それを包含するボックス、及びその面積により特徴付けられることができる。均質な領域への画像の分割は、これらのパラメータに依存する。他のパラメータは場合によっては考慮され得る。

プラスチック製の緑色のミネラルウォーター・ボトルの例において、分割は可能ならば栓、ラベル、及び緑のプラスチックのそれぞれに対応する領域を得ることを可能にすべきである。

図５は前述の第２ステップ３２が完了した際に得られる、関連性のグラフの例示である。関連性のグラフは、領域の併合のため画像分割において用いられる従来の構造である。より具体的に、図５は例として、図４ａの分割された画像４１から得られた関連性のグラフ５１を例示する。入力画像は、その画素｛ｐ_ｉ｝の集合により表わされる。Ｐ_ａ＝｛Ｒ_ｋ｝_{１≦ｋ≦Ｍ}は、例えば分水界線法又は可能な輪郭法による分割によって得られる、画像の仕切りをＭ領域内へ形成する領域の集合である。この仕切りは領域の近接グラフ、又は関連性グラフ、Ｇ＝（Ｎ，ａ）により表わされ、ここで：
−Ｎ＝｛１、２、．．．．Ｍ｝はノードの集合、
−ａ＝｛Ｒ_ｉとＲ_ｊが隣接するような（ｉ，ｊ，δ_ｉ，ｊ）｝はエッジの集合である。

エッジは実際に領域間のリンクを表わす。各エッジは、領域間の併合基準に対応する相違の尺度δ_ｉ，ｊにより特徴付けられる。

ベネルクス域内の情報理論に関する第２２回シンポジウム（２２ｎｄ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ ｉｎ ｔｈｅ Ｂｅｎｅｌｕｘ）における、ブロックス（Ｂｒｏｘ）、トーマス（Ｔｈｏｍａｓ）、ディルク・ファリン（Ｄｉｒｋ Ｆａｒｉｎ）、及びピーター・Ｈ．Ｎ（Ｐｅｔｅｒ Ｈ．Ｎ）による文献資料：「画像分割のための多段階領域併合（Ｍｕｌｔｉ−Ｓｔａｇｅ Ｒｅｇｉｏｎ Ｍｅｒｇｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）」、１８９〜１９６頁、２００１年５月、オランダＥｎｓｃｈｅｄｅ社刊において特に示されるように、最終的な分割の品質が依存するのは、とりわけこの基準である。

図５において、破線５２は領域５３と５４の間の関連性リンクの存在をペアとして示す。グラフＧ＝（Ｎ，ａ）において、各ノード５５は領域を表わし、各リンク５２は相違の尺度δ_ｉ，ｊにより重み付けされる。

図６は２つの領域Ｒ_１、Ｒ_ｉの間の関連性リンクを例示する。リンク５２は相違の尺度δ_１，ｉにより特徴付けられる。十字２２により象徴される点Ｐ１は、画像内のオブジェクト２１の内側領域Ｒ_１の中に指示される。点Ｐ１が属する領域Ｒ_１に隣接する領域Ｒ_ｉの中で、本方法は関連性グラフを用いて、そしてより具体的には、領域間のリンクを特徴付ける相違の尺度を用いて、領域Ｒ_１と併合され得る領域を探す。さらに具体的には、領域Ｒ_ｉは相違の尺度δ_１，ｉの値の関数として、領域Ｒ_１と併合される。この相違の尺度はとりわけ、例えばクリック点の隔たり、背景内での帰属、コンパクトさ、対称な様相、包絡線の規則性、テクスチャ、あるいは色のような、幾つかの基準又は特性に依存し得る。

図７は領域をグループ化、又は併合するステップ３３において実行されるステップを例示する。このステップにおいて、オブジェクトを囲んでいるウィンドウを決定するために、領域の集合体を得ることが追求される。図７は新たな相違の尺度に頼る領域を併合するプロセスを例示する。併合はクリックにより指示された元の領域Ｒ_１から出発する。領域Ｒ_１は指示されたオブジェクトに属すると仮定される。図７により例示されるプロセスは、画像上のオブジェクトの縁まで、他の領域との連続的な併合を通じて、領域Ｒ_１を拡げることを可能にする。

プロセスの準備段階７０において、領域Ｒ_１は例えば１回のクリックにより、例えば指示される。領域Ｒ_ｉは連続的に併合される。プロセスのステップ７１、７２、７３の反復的な進行は、各反復において或る領域の併合を可能にする。所与の反復の間に、プロセスは近接する領域Ｒ_ｊを、領域Ｒ_１の周りの初期化された集合体の中へ既に併合された領域Ｒ_ｉに併合しようと努める。

第１ステップ７１において、プロセスは隣接する領域Ａの中で、領域Ｒ_ｉに最も近い隣接領域Ｒ_ｊを識別する。隣接領域とは、領域Ｒ_ｉとの関連性リンク５２を有する領域として定義される。領域Ｒ_ｉに最も近い隣接領域は、その領域Ｒ_ｉとのリンクが最も低い相違の尺度δ_ｍｉｎを示す領域Ｒ_ｊである。

第２ステップ７２において、プロセスはこの隣接領域Ｒ_ｊがオブジェクトに属するかどうかを確かめようとする。このために、プロセスは相違の尺度を特徴付ける様々な基準の使用に基づいて、例えばオブジェクトの帰属のファジーな方策を実行する。これらの基準は例えば、前に示されたように、クリック点の隔たり、背景内での帰属、コンパクトさ又は密度、対称な様相、包絡線の規則性、テクスチャ、あるいは色である。

第３ステップ７３において、領域Ｒ_ｊはそれがオブジェクトに属する場合、すなわち帰属の程度がしきい値よりも小さい場合に、領域Ｒ_ｉと併合される。

関連性のグラフはその結果として更新され、特に領域Ｒ_ｊとＲ_ｉとの間の関連性リンクは、これら２つの領域の併合に従って削除される。プロセスは次にその第１ステップ７１のレベルを再開する。

併合がもはや起きないとき、又は隣接領域が選ばれない場合、プロセスはステップ７４において停止する。

本発明によれば、オブジェクト２１内の領域Ｒ_ｊの帰属は、前述されたものの中から、様々な基準の尺度に対してファジー演算を用いる関数により決定される。例として、４つの基準が以下に説明される。これらの基準は、併合プロセスの第２ステップ７２のしきい値と比較されるであろう全体的な尺度を得るために、ファジー論理演算によって組み合わされる。

従って、双方共に下記に依存する指示点２２、又は関数μ_Ｌによるクリックに関する領域Ｒ_ｊの位置を表わすことが可能である：
−領域Ｒ_１の中心に対する、考慮される隣接領域Ｒ_ｊの中心の垂直及び水平の偏差と、
−指示点２２の領域Ｒ_１と、考慮される隣接領域Ｒ_ｊとの併合に対応する領域の重心の、依然として指示点２２に対する偏差。

各領域に関して、画像の縁からの距離に応じて、背景内における帰属の基準を定義することもまた可能である。画像の縁から重心までの距離は、そのときμ_Ｂと称される。

さらに密度又はコンパクトさの尺度を用いることが可能である。或る領域の面積はＡ（Ｒ_ｉ）と称され、この領域の周囲長はｐ（Ｒ_ｉ）と称され、そして例えば長方形であり得るその包含ボックスの面積はＢＢ（Ｒ_ｉ）と称される。そのとき密度の尺度は関数：

により定義されることができ、そしてコンパクトさの尺度は関数：

により定義されることができる。

様々な基準の組合せはファジー論理演算を通じて行なわれる。

上記の４つの関数は、例えば次の関係に従って定義される帰属の基準μ_０を得るために組み合わされ得る：

記号∧及び∨は論理関数「ａｎｄ」及び「ｏｒ」を表わし、これは特に関係式（１）において２つの基準が∧によって結ばれた場合、双方の基準が考慮されることを示す。２つの基準が∨によって結ばれた場合、一方又は他方の基準が考慮されるか、あるいは双方が一度に考慮される。

所与の領域Ｒ_ｉに関して、基準μ_０は当初のクリックの領域Ｒ_１を含むオブジェクト内における帰属の基準である。

その他の関数μ_Ｂ、μ_Ｌ、μ_Ｄ、μ_Ｓと同様に、μ_０は考慮される隣接領域Ｒ_ｋとのリンクを特徴付ける領域Ｒ_ｉの関数である。μ_０（Ｒ_ｉ）は領域Ｒ_ｉと領域Ｒ_ｋとの間の相違の尺度δ_ｍｉｎを形成する。μ_０（Ｒ_ｉ）が大きいほど、相違は小さい。第２ステップ７２の比較は次にμ_０（Ｒ_ｉ）をしきい値と比較することに帰着し、併合はμ_０（Ｒ_ｉ）がこのしきい値よりも大きい場合に生じる。

オブジェクト内における追加的な帰属の基準は、２つの基本領域Ｒ_ｉ、Ｒ_ｊの併合からもたらされる、領域における対称性の検出であり得る。本プロセスは次に、探求されるオブジェクトは水平及び垂直の対称軸を示すという仮定を行なう。多くの適用例において、指示されるオブジェクトは主として加工されたオブジェクトであり、実際に大部分は垂直の対称軸を示す。画像の勾配を拠りどころとする対称軸を求めるための方法は、Ｄ．ライスフェルド（Ｄ．Ｒｅｉｓｆｅｌｄ）、Ｈ．ウォルフソン（Ｈ．Ｗｏｌｆｓｏｎ）、及びＹ．イェシュロン（Ｙ．Ｙｅｓｈｕｒｕｎ）による文献資料：「コンピュータビジョンにおける離散的対称変換（Ｔｈｅ ｄｉｓｃｒｅｔｅ Ｓｙｍｍｅｔｒｙ Ｔｒａｎｓｆｏｒｍ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）」、コンピュータビジョンの国際ジャーナル（Ｉｎｔ．Ｊ．ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）、定性的視覚に関する特集号（Ｓｐｅｃｉａｌ Ｉｓｓｕｅ ｏｎ Ｑｕａｌｉｔａｔｉｖｅ Ｖｉｓｉｏｎ）、第１４号：１１９〜１３０頁、１９９５年に記述されている。本プロセスは画素を選択し、同一の行、それぞれ同一の列の上で勾配の画像、すなわち分割段階の間に輪郭を検出するステップによって生じる画像において、類似性を示す画素を探す。本プロセスはその後、行の上で、次に列の上で対称性を探す。類似性を示す点は、オブジェクトの対称中心を決定するため、その後に集積表の中へ格納され、対称の中心はこれら全ての集積された点から等距離の点である。中心の対称点の検出を可能にする方法は、特にＧ．ロイ（Ｇ．Ｌｏｙ）及びＡ．ゼリンスキー（Ａ．Ｚｅｌｉｎｓｋｙ）の文献資料：「肝心な点を検出するための高速放射対称（Ｆａｓｔ Ｒａｄｉａｌ Ｓｙｍｍｅｔｒｙ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｐｏｉｎｔｓ ｏｆ Ｉｎｔｅｒｅｓｔ）」、パターン解析及び機械知能に関するＩＥＥＥ議事録（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）、２５（８）：９５９〜９７３頁、２００３年、ＩＳＳＮ ０１６２−８８２８に記述されている。

対称の基準は次に併合に対して用いることができ、具体的にはオブジェクトに属する領域に対称な領域もまた、この同じオブジェクトに属し得る。

１つの変形の実施において、本発明による方法は追加的な認識ステップを含む。そこで、オブジェクトの位置及び捕捉を、その認識を用いて補完することが可能である。この場合、本発明による方法は、オブジェクトを総語彙の要素と比較することを可能にする基準を導入する。これは特に、最終領域に含まれるオブジェクトを認識することを伴う。日常の生活からできるだけ多くのオブジェクトを寄せ集める画像のベースにおいて、或るインデックスが定義され、ベースの画像によって表わされる様々なオブジェクトの識別を可能にする。領域の併合の完了の際に、本発明による方法はオブジェクトを多かれ少なかれ表わす画像を得ることを可能にする。この画像はベースの各オブジェクトまでの距離を計算するインデクサーに与えられ、例えば増加する距離のオーダーによって区分されたオブジェクトのリストを戻す。そこから最も指示される可能性が高いオブジェクトを推定することが、そのとき可能である。

オブジェクトの捕捉を改善するため、又はその使用を予想するための可能なアプリケーションに加えて、この認識はとりわけ、それと共に新たな領域を併合することにより、オブジェクトに対応する最終領域を強化するか、又は認識された範囲の或る領域又は画素を削除するように、併合を再検討することを可能にする。例えばボトルの形状が認識された場合、ボトルの形状に対応しない、或る突起物を形成する領域は削除され得る。同様に、或る領域が認識された形状を補うために追加され得る。認識された形状は、人間に対してより自然な分割に対応する意味領域に相当し、様々な把握できるオブジェクトの識別を可能にする。前述の基本領域Ｒ_ｉは自動画像分割技術により得られる。使用されるファジーな方策は、意味領域内の基本領域の帰属度合いを測定することを可能にする。ファジーな方策の使用は、オブジェクト内の領域の帰属における、この不確かさに対して有利にも適しており、オブジェクト内の領域は意味領域に相当する。

従来の手順において、１つの画素が一定の度合いに応じて１つの領域に属する、ファジー領域へと分割を用いることが可能である。本発明の方法において、１つの画素がファジーなやり方で１つ以上の領域に属する従来の方法とは対照的に、１つの画素は２進法で同時に１つだけの領域に属する。ファジーなやり方で意味領域に属するのは基本領域である。有利なことに、本発明による方法はノイズに余り敏感ではない。別の利点はとりわけ、それが明確な形式主義を併合に与え、補完的な基準を加えることにより容易に強化され得る、帰属の基準を得ることを可能にすることである。

有利なことに、本発明は多くの用途を可能にする。とりわけ、それは例えば以下を可能にするように、マニピュレータのアームを用いてオブジェクトの自動捕捉を始動させることができる。
−ビデオ画像上における、ユーザーによる１回のクリックでのオブジェクト指示と、
−ユーザーによる選択の検証と、
−捕捉のためのロボットアームの作動。

このステップは場合により、例えば画像のライブラリーにおける画像のインデックス付けを介して、オブジェクトを認識又は識別する次のステップとつながれ得る。

本発明によるオブジェクトの指示方法はまた有利なことに、例えばロボットアームを用いて、オブジェクトの自動捕捉の別個の方法とつながれ得る。この場合、オブジェクトは例えばロボット内へ組み込まれたカメラにより検出される。

オペレータ、例えば障害者は、クリック又は他のあらゆる基本手段を用いて、カメラにより伝送された画像上でオブジェクトを指示する。ロボットアームはそれに続いて、例えば所定の命令に従って指示されたオブジェクトを操作する。

Claims (10)

1. 画像内のオブジェクトを指示する方法であって、
   −画像内のオブジェクト（２１）内部の点Ｐ_１（２２）を指示するステップ（３０）と、
   −画像（Ａ）を基本領域（４、Ｒ_ｉ）へ分割するステップ（３１）と、
   −点Ｐ_１が属する元の領域Ｒ_１を識別するステップと、
   −領域間の関連性のグラフ（５１）を構築するステップ（３２）と、
   −様々な帰属特性を組み合わせることにより、元の領域Ｒ_１に接続された領域に対して、オブジェクトにおけるメンバーシップ関数を計算するステップと、
   −そのメンバーシップ関数の値が所与のしきい値よりも大きい場合に併合される、その接続された領域と、元の領域Ｒ_１を併合するステップ（３３）とを含み、
   接続された領域のメンバーシップ関数と、併合のメンバーシップ関数とを計算するステップが、併合が行なわれなくなるまで、各々の新たな併合された領域に対して繰り返されることを特徴とする方法。
2. 併合のステップ（３３）が：
   −元の領域Ｒ_１に接続された領域に対して、オブジェクト内のメンバーシップ関数を計算するステップ（７１、７２）と、
   −そのメンバーシップ関数の値が所与のしきい値よりも大きい、最も近傍の接続された領域と、元の領域Ｒ_１とを併合するステップ（７３）と、
   −新たな併合された領域の関数として、関連性のグラフを更新するステップと
   を含み、
   前記併合ステップ（３３）が、それに続いて次の反復のステップ（７１、７２、７３）：
   −新たな併合された領域Ｒ_ｉに接続された領域に対して、オブジェクト内のメンバーシップ関数を計算するステップ（７１、７２）と、
   −そのメンバーシップ関数の値が所与のしきい値よりも大きい、最も近傍の接続された領域Ｒ_ｊと、併合された領域Ｒ_ｉとを併合するステップ（７３）と、
   −新たな併合された領域の関数として、関連性のグラフを更新するステップと
   を含むことを特徴とする、請求項１に記載の方法。
3. オブジェクト（２１）内の領域のメンバーシップ関数の計算が、接続された領域Ｒ_ｊと併合された領域Ｒ_ｉとの相違を特徴付ける、幾つかの特性を組み合わせるファジー演算（μ_０）により行なわれることを特徴とする、請求項１または２に記載の方法。
4. ファジー演算の特性が、領域Ｒ_ｊの、指示点Ｐ_１（２２）からの隔たりであることを特徴とする、請求項３に記載の方法。
5. ファジー演算の特性が、画像の縁から領域Ｒ_ｊの重心への距離であることを特徴とする、請求項３または４に記載の方法。
6. ファジー演算の特性が、面積（Ａ（Ｒ_ｊ））とそれを包含するボックス（ＢＢ（Ｒ_ｊ））との比率として定義される、領域Ｒ_ｊの密度であることを特徴とする、請求項３〜５のいずれか一項に記載の方法。
7. ファジー演算の特性が、領域Ｒ_ｊの周囲長さ（ｐ（Ｒ_ｊ））の２乗とその面積（Ａ（Ｒ_ｊ））との比率として定義される、領域Ｒ_ｊのコンパクトさであることを特徴とする、請求項３〜６のいずれか一項に記載の方法。
8. ファジー演算の特性が、画像の軸に対する対称性であり、オブジェクト（２１）に属する領域に対称な領域が、このオブジェクトに属する傾向のあることを特徴とする、請求項３〜７のいずれか一項に記載の方法。
9. その方法がオブジェクト（２１）を認識するステップを含み、前記方法がそのオブジェクトの、総語彙の要素との比較を可能にする基準を用いることを特徴とする、請求項１〜８のいずれか一項に記載の方法。
10. 点Ｐ_１（２２）がマウス・タイプのデータ収集インターフェースを用いて指示されることを特徴とする、請求項１〜９のいずれか一項に記載の方法。

Images