JP2004508639A - 画像のマッチング - Google Patents

Abstract

デジタル画像のマッチング方法を提供する。本方法は、画素からなる第１のデジタル画像の画像特徴を規則化すること、第１のデジタル画像の画像特徴と第２のデジタル画像の画像特徴との間の可能性のある整合のための候補を表す候補値からなる有限のセットを定義すること、候補値の評価のためのマッチングペナルティ関数を確立すること、各候補値についてマッチングペナルティ関数を評価すること、マッチングペナルティ関数の評価の結果に基づいて、候補値を選択することを含んでおり、さらに、第１の画像の画素の少なくとも１部をそれぞれのセグメントに割当てること、セグメントの画素の少なくとも１部についての確実性のパラメータを決定すること、及び確実性のパラメータに基づいて、マッチングペナルティ関数を確立することを備えている。

Description

【０００１】
［発明の分野］
本発明は、デジタル画像のマッチングに関する。
【０００２】
［発明の分野］
画像処理において、２つ以上の画像のマッチングが使用されており、このマッチングは、本質的に、連続する画像におけるマッチングセクションを決定することからなる。画像のマッチングは、奥行き再構成、画像データ圧縮及び動き分析のような画像処理の幾つかの分野では本質的なステップである。
【０００３】
マッチングプロセスは、第１の画像における第１の位置において画像特徴を決定し、第２の画像におけるこれら画像特徴の位置を決定することを含んでいる。変換又は回転のような、第１の画像における特徴と第２の画像における特徴の間の位置における差の情報は、更なる処理において使用することができる。たとえば、２つの連続する画像間の画像の特徴の変換は、画像特徴に関連する物体のスピードの測定値を得るために使用することができる。
【０００４】
画像のマッチングは、たとえば、ＭＰＥＧ符（復）号化及びテレビジョンスキャンレート変換のような、一般的な画像処理ハードウェア又はソフトウェアで実現される処理に独立な環境により実行することができる。これらのアプリケーションでは、ビデオストリームを構成する連続したデジタル画像が整合される。かかる処理で使用される一般的な方法は、以下に示される。
【０００５】
ビデオストリームから、２つの連続する画像が整合されることになる。これらの画像を２次元のデジタル画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）とする。これら２つの画像のマッチングは、Ｉ_２（ｘ，ｙ）＝Ｉ_１（ｘ＋Ｍ_ｘ（ｘ，ｙ），ｙ＋Ｍ_ｙ（ｘ，ｙ））に従い、理想的に画像Ｉ_１における各画素を画像Ｉ_２における画素にマッピングする関数Ｍ＝Ｍ_ｘ（ｘ，ｙ）及びＭ＝Ｍ_ｙ（ｘ，ｙ）のペアの計算を含む。
【０００６】
関数Ｍは、２つの画像間でどの位の画素又は特徴が移動したかに関する情報を含んでいる。たとえば、Ｍは、ビデオストリームにおける画素の見かけ上の動きとして解釈することができる。たとえば、この動きベクトルは、テレビジョン及びＭＰＥＧ圧縮におけるスキャンレートのアップコンバージョンのための自然な動きにおける、２次元画像からの奥行き再構成において使用することができる。画像のマッチングは、したがって、関数Ｍを見つけることからなる。
【０００７】
関数としてのＭについての定義は、全ての画素について独立に定義され、Ｍを見つけることの問題が不良設定問題であることを引き起こす。Ｍの構築は、Ｍを卑しくも決定することができる場合に、非常に問題があり、時間及び計算パワーの両者において大幅なコストを被る。
【０００８】
関数Ｍを見つける問題を簡単にするために、関数Ｍの規則化が提案されている。米国特許第５０７２２９３号から、画像内の予め定義されたブロックにわたり関数Ｍが一定となるように設定され、関数Ｍは画像フレームに関して固定される方法が知られている。このアプローチは、関数Ｍを見つける問題を簡単にし、関数Ｍを見つけるために必要なコストを減少する。この方法の欠点は、計算がなお高価であることである。
【０００９】
［発明の概要］
本発明の目的は、公知の方法よりも効率的で著しく高速な、連続する画像のセクションを整合するための方法を提供することにある。
上記目的を達成するために、本発明は、独立な請求項に定義されたような画像をセグメント化する方法及び装置、有形の媒体、信号及び表示装置を提供することにある。
【００１０】
本発明の第１の実施の形態では、セグメンテーションにより第１の画像を規則化し、第１の画像の画素の少なくとも１部をそれぞれのセグメントに割当てることを含み、セグメントの画素の少なくとも１部について確実性パラメータを決定し、及び確実性パラメータに基づいて、マッチングペナルティ関数を確立すること、により画像が整合される。
【００１１】
セグメンテーションによる第１の画像の規則化、及びセグメントへの確実性パラメータの提供により、本発明による整合処理は、効率的及び高速に実行することができる。擬似セグメンテーションが使用される場合、画像をセグメント化するために必要とされる労力は、大幅に低減することができる。擬似セグメンテーションは、係属中の特許出願“Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｄｉｇｉｔａｌ ｉｍａｇｅｓ”に記載されている（ＰＨＮＬ０００４９３）。
【００１２】
本発明の当に有効な詳細は、従属の請求項に記載されている。本発明の更なる目的、変形例、作用及び詳細は、添付図面が参照されて、以下の記載から明らかとなる。
【００１３】
［発明の実施の形態］
本発明の実施の形態の以下の例では、２つの画像のマッチングが説明される。これらの画像は、ビデオストリームからの連続する画像とすることができるが、これに限定されるものではない。画像は、画素からなるデジタル画像であり、２次元のデジタル画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）として定義される。ここで、ｘ及びｙは、画像の個々の画素を示す座標である。
【００１４】
これら２つの画像のマッチングは、関数Ｍ＝Ｍ_ｘ（ｘ，ｙ）及びＭ＝Ｍ_ｙ（ｘ，ｙ）のペアを計算することを含む。関数Ｍは、Ｉ_２（ｘ，ｙ）＝Ｉ_１（ｘ＋Ｍ_ｘ（ｘ，ｙ），ｙ＋Ｍ_ｙ（ｘ，ｙ））に従い、画像Ｉ_１における各画素を画像Ｉ_２における画素にマッピングするように定義される。
【００１５】
本発明の実施の形態によれば、関数Ｍの構築は、
Ｉ_２（ｘ，ｙ）＝Ｉ_１（ｘ＋Ｍ_ｘ（Ｇ（ｘ，ｙ）），ｙ＋Ｍ_ｙ（Ｇ（ｘ，ｙ）））
により、Ｍの前の定義を修正することにより、同じ動きを有する画素のグループについて一定の関数として再定義することにより修正される。
【００１６】
関数Ｇは、同じ動きを有する画素の集合体について、Ｍを一定に保持するために導入される。関数Ｇの導入は、整合問題を規則化（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）することであり、その修正は、関数Ｍを見つけるために必要とされる労力を大幅に減少する。Ｍが一定であるといわれる画素の集合体は、同じ動きを有すると思われる画素からなる。
【００１７】
かかる集合体を見つけるために、セグメンテーションにより画像はセグメントに分割される。画像のセグメンテーションは、画像における各画素について、セグメントからなる有限のセットのうちの１つに対するメンバシップを決定することになる。ここで、セグメントは、画素の集合体に関連されている。
【００１８】
セグメンテーションの有効な方法は、部分的なセグメンテーションであり、ここでは、セグメントに対する画素のメンバシップは、色、輝度及びテクスチャのような画素の属性に関連した画像に基づいて決定される。部分的なセグメンテーションから生じるセグメントは、画像の対象と必ずしも直接対応していないが、あるセグメントにおける画素は、同じ動きを有する非常に高い確率を有している。
【００１９】
セグメンテーションの特に有効な方法は、いわゆる擬似セグメンテーションであり、出願人による継続中の特許出願“Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｄｉｇｉｔａｌ ｉｍａｇｅｓ”（ＰＨＮＬ０００４９３）に記載されており、その内容は、参照により本明細書に組込まれる。擬似セグメンテーションにより、画像は非常に迅速かつ効果的に分割することができる。
【００２０】
画像Ｉ_１は、上述した方法である擬似セグメンテーションにより、セグメントに分割され、それぞれのセグメントを定義する境界により拘束される画素からなるセグメントになる。擬似セグメンテーションの結果として、セグメントは、ハードボーダーセクションとソフトボーダーセクションとにより定義される。
【００２１】
ハードボーダーセクションは、画像特徴の分析から生じ、関連するセグメントの境界である高い確実性を有している。ソフトボーダーセクションは、検出されたハードボーダーセクションへの距離の計算により決定され、したがって、関連するセグメントの境界である低い確実性を有している。
【００２２】
境界のセクションが画像の内容により一致すると、その境界のセクションはより関連性が高くなる。本発明の実施の形態によれば、マッチングセグメントの形式における画像のマッチングは、それぞれのセグメントの高い確実性の特徴のマッチングについてよりも優先される。
【００２３】
図１では、画像Ｉ_１のセグメント１０は、擬似セグメンテーションにより決定され、ハードボーダーセクション１１により拘束され（実線により図示）、及びソフトボーダーセクション１２により拘束されている（破線により図示）。画像Ｉ_１と画像Ｉ_２の間のセグメント１０についての移動を決定するために、画像Ｉ_２におけるセグメント１０の投影は、セグメント１０を整合し、これにより、結果的に移動関数Ｍとなることが見つけられることが必要である。
【００２４】
このことは、セグメント１０との整合について画像Ｉ_２の可能性のある整合の候補の数を選択し、それぞれの候補についての整合基準を計算し、最良の整合結果を有する候補を選択することにより行われる。整合基準は、第１の画像のセグメントが第２の画像の投影と整合する確実性の測度である。
【００２５】
セグメント１０との整合のための画像Ｉ_２の候補は、画像Ｉ_２の投影２０，３０，４０、ハードボーダーセクション２１，３１，４１及びソフトボーダーセクション２２，３２，４２として図１に示されている。
【００２６】
それぞれの投影２０，３０，４０について、それぞれの矢印Ｍ１、Ｍ２、Ｍ３により関数Ｍが示されている。結果的に、Ｍ１、Ｍ２及びＭ３は、関数Ｍについての候補値と考えることができる。投影２０，３０，４０がセグメント１０と最も整合するのはどの候補かを判定するために、整合の基準がそれぞれの投影２０，３０，４０について計算されなければならない。
【００２７】
本発明によれば、整合の基準は、関数Ｍについての候補の投影及び候補値の評価において、高い基準のハードボーダーセクションにより大きな重みが与えられる。したがって、セグメントのハードボーダーセクションと投影のソフトボーダーセクションの間の整合は、セグメントのソフトボーダーセクションの整合についてよりも高い確実性を与える。
【００２８】
整合の基準は、デジタル画像処理で使用され、整合誤差を最小にする実現、すなわちマッチングペナルティ関数において知られている。かかる関数、及び整合関数それ自体を最小にすることによる整合の方法は、当該技術分野において知られており、たとえば、Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ： Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ６ （１９９４）２２９−２３９で発行されているＤｅ Ｈａａｎ及びＢｉｅｚｅｎによる“Ｓｕｂ−ｐｉｘｅｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３−Ｄ ｒｅｃｕｒｓｉｖｅ ｓｅａｒｃｈ ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ”がある。
【００２９】
ｉ個の候補Ｍｘ及びＭｙからなる有限のセットは、ｘ及びｙ座標における関数であり、以下のように定義される。
｛（Ｍｘ；ｉ，Ｍｙ；ｉ）｜ｉ＝１，２，３，．．．｝
候補Ｍｘ及びＭｙ自身からなる有限のセットの選択は、Ｄｅ Ｈａａｎ及びＢｉｅｚｅｎの上述した出版物から、当該技術分野において知られている。好ましくは、候補のセットは、小さく保持され、それぞれの候補を評価するために必要とされる計算数が低減される。それぞれの候補により、候補の投影が関連付けられる。
【００３０】
セグメントにおける画素の集合体は、Ωにより示される。ｉ番目の候補についてのマッチングペナルティＰｉは、以下のように定義される。
【数１】

このマッチングペネルティ関数は、同じ重みをセグメントにおける各画素に与える。上述したように、セグメントの画素は、セグメントに属するために同じ確実性を有さない。このことを考慮して、マッチングペナルティ関数は、以下のように修正される。
【数２】

重み付け関数ｗ（ｘ，ｙ）は、確実性の重み要素を各画素に割当てる関数であり、これにより、高い確実性を有する画素は、ペナルティ関数の評価に対して一層寄与する。本実施の形態では、ｗ（ｘ，ｙ）の値は、セグメントのハードボーダーセクションへの画素の距離ｄ（ｘ，ｙ）に関連し、ハードボーダーセクションからの距離につれて減少する。ユークリッド、「シティブロック」、「チェスボード」、又は係属中の出願ＰＨＮＬ０００４９３で記載されているような距離変換のような、距離についての適切な定義を使用することができる。
【００３１】
ｗ（ｘ，ｙ）について、関数の値がセグメントの境界からの距離につれて減少する限り、適切な関数を選択することができる。例として、ｗ（ｘ，ｙ）が１次元の場合について、多数の関数が次に示される。２次元の関数は、当業者であれば明らかであろう。限定することのない例は、以下である。
ｗ（ｘ）＝１／ｄ（ｘ），
ｗ（ｘ）＝１／ｄ（ｘ）^２，
ｄ（ｘ）＜１．５の場合、ｗ（ｘ）＝１；ｄ（ｘ）≧１．５の場合、ｗ（ｘ）＝０，
ｘ＜５の場合、ｗ（ｘ）＝（５−ｄ（ｘ））／４；ｘ≧５の場合、ｄ（ｘ）＝０，
ｄ（ｘ）＜５の場合、ｗ（ｘ）＝（５^２−ｄ（ｘ）^２）／（５^２−１）；ｄ（ｘ）≧５の場合、ｗ（ｘ）＝０及び
ｄ（ｘ）＜１．５の場合、ｗ（ｘ）＝（１５^２−ｄ（ｘ）^２）／（１５^２−１）；ｄ（ｘ）≧１．５の場合、ｗ（ｘ）＝０。
【００３２】
なお、全ての関数は、ハードボーダーセクションへの距離が増加するにつれて、値が減少する。関数ＩＩＩの場合、所定の距離にわたり値は一定であり、その距離を越えると値がゼロになる。したがって、距離の増加につれて値が減少する。関数ＩＩＩ−ＶＩは、固定された多数の閉じた画素のみに対して計算を制限する。これは、必要とされる計算量をさらに減少させる。
【００３３】
画像のセグメンテーションが擬似セグメンテーションという好適な方法を使用する場合、画素が属するセグメントに最も近いハードボーダーセクションへの距離は、距離の配列における情報の形式で、セグメンテーション処理から既に知られている。これは、整合処理についての計算が大幅に減少されるという利点となる。
【００３４】
図示される実施の形態では、確実性の関数は、ハードボーダーセクションへの画素の距離に関連する。しかし、本発明は、この例に限定されない。確実性の値を各画素に割当てる他の方法もまた使用することができる。その場合、確実性の配列ｗ（ｘ，ｙ）は、それぞれの画素が属するセグメントに関連する、各画素について重み要素で満たされなければならない。
【００３５】
本発明は、たとえば、パターン認識又は画像認識における使用向けに、１つの画像内の画像セクションを整合するために使用することもできる。
本発明は、コンピュータで実行するときに、本発明の方法のステップを実行するためのコンピュータプログラムコードセクションを含んだコンピュータプログラムプロダクトに関する。本発明のコンピュータプログラムプロダクトは、ハードディスク又はフロッピー（Ｒ）ディスク、又はＣＤ−ＲＯＭのような適切な情報キャリアに記憶することができ、又はコンピュータのメモリセクションに記憶することもできる。
【００３６】
本発明は、デジタル画像を整合するための、図２に示される装置１００にさらに関連する。装置１００には、上述したような方法に従い、デジタル画像を整合するための処理ユニット１１０が設けられている。処理ユニット１１０は、デジタル画像を受信して、処理ユニット１１０に接続する入力セクション１２０と接続されている。
【００３７】
処理ユニット１１０は、画像間で結果的に見つけられた整合を出力することができる出力セクション１３０に更に接続されている。装置１００は、表示装置２００に含まれる場合がある。表示装置２００は、たとえば、（３次元）テレビジョンプロダクトである。
【００３８】
なお、上述した実施の形態は、本発明を限定するよりはむしろ例示するものである。当業者であれば、特許請求の範囲から逸脱することのない多くの代替的な実施の形態を設計することができる。請求項において、括弧内の参照符号は請求項を制限するもおとして解釈されるべきではない。単語「備える」は、請求項に列挙された構成要素又はステップ以外のステップの存在を排除するものではない。
【００３９】
本発明は、幾つかの固有の要素を備えるハードウェア、適切にプログラムされたコンピュータにより実現することができる。幾つかの手段を列挙している装置の請求項では、これら手段のうちの幾つかは、１つのハードウェア及び同じ項目のハードウェアにより実現することができる。ある手段が相互に異なる従属項に述べられているという単なる事実は、これら手段の結合が利益を生むために使用することができないことを示すものではない。
【００４０】
要するに、本発明は、デジタル画像のマッチングを提供する。本方法は、画素からなる第１のデジタル画像の画像特徴を規則化すること、第１のデジタル画像の画像特徴と第２のデジタル画像の画像特徴の間の可能性のある整合のための候補を表す候補値からなる有限のセットを定義すること、候補値の評価のためのマッチングペナルティ関数を確立すること、各候補値についてマッチングペナルティ関数を評価すること、マッチングペナルティ関数の評価の結果に基づいて、候補値を選択することを含んでいる。本方法は、更に、第１の画像の画素の少なくとも１部をそれぞれのセグメントに割当てること、セグメントの画素の少なくとも１部についての確実性のパラメータを決定すること、及び確実性のパラメータに基づいて、マッチングペナルティ関数を確立することをさらに備えている。
【図面の簡単な説明】
【図１】
セグメントの整合処理の例を示す図である。
【図２】
デジタル画像を整合するための装置を示す図である。

Claims (8)

1. デジタル画像を整合するための方法であって、
   画素からなる第１のデジタル画像の画像特徴を規則化するステップと、
   画像からなる第２のデジタル画像を供給するステップと、
   前記第１のデジタル画像の画像特徴と前記第２のデジタル画像の画像特徴の間の可能な整合についての候補を表す候補値からなる有限のセットを定義するステップと、
   前記候補値を評価するためのマッチングペナルティ関数を確立するステップと、
   前記候補値のそれぞれについて、前記マッチングペナルティ関数を評価するステップと、
   前記マッチングペナルティ関数の評価の結果に基づいて、候補値を選択するステップとを備え、
   前記第１のデジタル画像の画素の少なくとも１部をそれぞれのセグメントに割当てることを含めて、前記第１のデジタル画像のセグメンテーションにより前記第１のデジタル画像を規則化するステップと、
   セグメントの画素の少なくとも一部について確実性パラメータを決定するステップと、
   前記確実性パラメータに基づいて、前記マッチングペナルティ関数を確立するステップとをさらに備える、
   ことを特徴とする方法。
2. 前記確実性パラメータは、セグメントのハードボーダーセクションへの画素の距離に基づく、
   請求項１記載の方法。
3. 前記セグメンテーションは、擬似セグメンテーションにより達成される、
   請求項１記載の方法。
4. プロセッサに、請求項１記載の方法を実行させることを可能にするためのコンピュータプログラム。
5. 請求項４記載のコンピュータプログラムを実行するための有形の媒体。
6. 請求項４記載のコンピュータプログラムを実行するための信号。
7. デジタル画像を整合するための装置であって、
   デジタル画像を受信するための入力セクションと、
   整合結果を出力するための出力セクションと、
   画素からなる第１のデジタル画像の画像特徴を規則化するための手段と、
   画素からなる第２のデジタル画像を供給するための手段と、
   前記第１のデジタル画像の画像特徴と前記第２のデジタル画像の画像特徴の間の可能性のある整合についての候補を表す候補値からなる有限のセットを定義するための手段と、
   前記候補値の評価のためにマッチングペナルティ関数を確立するための手段と、
   前記候補値のそれぞれについて前記マッチングペナルティ関数を評価するための手段と、
   前記マッチングペナルティ関数の評価の結果に基づいて、候補値を選択するための手段とを備え、
   前記第１のデジタル画像の画素の少なくとも１部をそれぞれのセグメントに割当てることを含めて、前記第１のデジタル画像のセグメンテーションにより前記第１のデジタル画像を規則化するための手段と、
   セグメントの画素の少なくとも１部について確実性パラメータを決定するための手段と、
   前記確実性パラメータに基づいて前記マッチングペナルティ関数を確立するための手段とをさらに備える、
   ことを特徴とする装置。
8. 請求項７記載の装置を備える表示装置。