JP2004531012A - セグメント照合における優先順位付け - Google Patents

Abstract

ディジタル画像を照合する方法であって、画素から成る第１のディジタル画像の画像特徴を規則化するステップと、画素から成る第２のディジタル画像を生成するステップと、前記第１の画像の画像特徴と前記第２の画像の画像特徴との間の可能な合致の候補を表す候補値の有限のセットを定義するステップと、前記候補値の評価のための照合ペナルティ関数を設定するステップと、全ての前記候補値について前記照合ペナルティ関数を評価するステップと、前記照合ペナルティ関数の評価の結果に基づき前記候補値を選択するステップと、を含む方法において、前記第１の画像の画素の少なくとも一部をそれぞれのセグメントに割り当てるステップを含む、前記第１の画像のセグメント化により前記第１の画像を規則化するステップと、それぞれの画素の相対的な重要度を表す画素重要度パラメータを、前記セグメントの画素の少なくとも一部について決定するステップと、前記画素重要度パラメータに少なくとも部分的に依存する前記照合ペナルティ関数を設定するステップと、を特徴とする方法。

Description

【技術分野】
【０００１】
本発明は、請求項１の前文の部分に記載の方法に関する。
【背景技術】
【０００２】
２以上の画像の照合は画像処理において利用され、本質的に次の画像における照合部分の決定から成る。画像の照合は、深度再構成、画像データ圧縮及び動き分析のような画像処理の幾つかの分野において基本的なステップである。
【０００３】
照合処理は、第１の画像中の第１の位置における画像特徴の決定、及び第２の画像中のこれらの画像特徴の位置の決定を含む。平行移動又は回転のような、前記第１の画像と前記第２の画像とにおける特徴の間の位置の相違の情報は、後の処理において利用されることができる。例えば、２つの連続する画像間の画像特徴の平行移動は、該画像特徴に関連するオブジェクトの速度の目安を得るために利用されることができる。
【０００４】
画像照合は、コンテキスト非依存の処理によって実行されることができ、例えばＭＰＥＧコーディング（デコーディング）及びテレビジョン走査レート変換用の汎用画像処理ハードウェア又はソフトウェアにおいて実装されることができる。これらの応用においては、ビデオストリームの次のディジタル画像が照合される。かような処理において利用される一般的な方法は以下のとおりである。
【０００５】
ビデオストリームからは２つの連続した画像が照合されることになる。これらの画像を２次元ディジタル画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）とする。これら２つの画像の照合は、関数の対Ｍ＝Ｍ_ｘ（ｘ，ｙ）及びＭ＝Ｍ_ｙ（ｘ，ｙ）の算出を有する。該算出は、以下の式に従って画像Ｉ_１中の全ての画素を画像Ｉ_２に理想的にマッピングする。
Ｉ_１（ｘ，ｙ）＝Ｉ_２（ｘ＋Ｍ_ｘ（ｘ，ｙ），ｙ＋Ｍ_ｙ（ｘ，ｙ））
【０００６】
これらの関数Ｍは、画素又は特徴が前記２つの画像間でどのように移動させられるかについての情報を含む。関数Ｍは例えば、前記ビデオストリーム中の画素の見かけの動きとして解釈されることができ、各画素についての動きベクトルを与える。この動きベクトルは例えば、２次元画像からの深度再構成、テレビジョンにおける走査レートのアップコンバージョンのための自然な動き、及びＭＰＥＧ圧縮において利用されることができる。画像の照合はそれ故関数Ｍを見出すことから成る。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
全ての画素について独立に定義される関数としてのＭの定義は、Ｍを見出す問題が難題であるということをもたらす。Ｍの構成は問題を含むものであり、もし関数Ｍが決定されることができるにしても、時間と算出パワーとの両方にかなりのコストを招く。Ｍを見出す問題を簡単化するため、関数Ｍの規則化（regularization）が提案されてきた。米国特許ＵＳ５０７２２９３より、関数Ｍが画像フレームに対して固定された画像内の予め定義されたブロックの間は一定であるように設定される方法が知られている。このアプローチはＭを見出す問題を簡単化し、関数Ｍを見出すために必要とされるコストを減少する。この方法の欠点は、前記算出が依然としてコストが掛かり時間を消費するものであり、一方でＭについて得られる解の正確さは特定の応用のためには十分ではないことである。
【０００８】
本発明の目的は、既知の方法よりも効果的で高速な、連続する画像の部分を照合する方法を提供することにある。
【課題を解決するための手段】
【０００９】
この目的を満たすため、上述のタイプの方法が請求項１を特徴付ける部分に規定されるように提案される。
【００１０】
本発明の第１の態様によれば、各画像の画素がそれぞれのセグメントに割り当てられるように前記第１の画像をセグメント化した後、画素重要度パラメータの値が少なくともセグメントの一部について決定される。前記画素重要度パラメータは、前記画素のそれぞれの照合目的についての相対重要度を表す。また照合ペナルティ関数は、該ペナルティ関数の評価において重要な画素により大きな重みが与えられるように、前記画素重要度パラメータに基づく。
【００１１】
実施例においては、前記画素重要度パラメータは、セグメントのハード境界部分への距離及び可視度パラメータに基づく。好ましくは、関連する境界部分への距離のみが利用される。境界部分の関連性は、該境界部分によって発生させられたセグメントのセグメント深度値の評価によって決定される。前記境界部分が深度の変化と同時に起きない場合、該部分は照合目的のために重要な情報を表していない見込みが高い。
【００１２】
更に可視度関数は、前記第１の画像中の画素が前記第２の画像中に対応する画素を持つか否かを対処する。前記ペナルティ関数に含まれるが、前記可視度関数は、次の画像中に隠された処理から画素を除去する。隠された画素は、前記第１及び第２の画像のセグメントに対する深度値によって見出されることができ、ここで前記深度値に基づいて、どの高く位置したセグメントが他のより低く位置したセグメントを隠すかを決定する。
【００１３】
前記照合処理のペナルティ関数において画素重要度パラメータを利用することにより、前記照合の正確さは向上し、一方で要求される算出リソースは削減される。本発明は更にディジタル画像を照合する装置に関する。
【００１４】
本発明のとりわけ有利な説明は従属請求項に開示される。本発明の更なる目的、説明、変更、効果及び詳細は、図への参照が為された以下の詳細から明らかである。
【発明を実施するための最良の形態】
【００１５】
以下の本発明の実施例において、２つの画像の照合が説明される。これらの画像はビデオストリームからの連続する画像であっても良いが、本発明はこれに限定されない。前記画像は画像画素から成るディジタル画像であって、２次元画像Ｉ_１（ｘ，ｙ）及び次いでＩ_２（ｘ，ｙ）として定義される。ここでｘ及びｙは前記画像の個々の画素を示す座標である。
【００１６】
これら２つの画像の照合は関数の対Ｍ＝Ｍ_ｘ（ｘ，ｙ）及びＭ＝Ｍ_ｙ（ｘ，ｙ）の算出を含む。Ｍは上述したように、以下の式に従って画像Ｉ_１中の全画素を画像Ｉ_２中の画素にマッピングするものとして定義される：
Ｉ_１（ｘ，ｙ）＝Ｉ_２（ｘ＋Ｍ_ｘ（ｘ，ｙ），ｙ＋Ｍ_ｙ（ｘ，ｙ））
本発明によれば、上述のＭの定義を以下のように変更することにより、同様の動きを持つ画素の群について一定である関数としてＭを再定義することによってＭの構成が変更される：
Ｉ_１（ｘ，ｙ）＝Ｉ_２（ｘ＋Ｍ_ｘ（Ｇ（ｘ，ｙ）），ｙ＋Ｍ_ｙ（Ｇ（ｘ，ｙ）））
関数Ｇは同様の動きを持つ画素の集合についてＭを一定に保つために導入される。関数Ｇの導入は照合問題の規則化であって、この変更はＭを見出すために必要とされる労力を著しく減少する。
【００１７】
Ｍが一定であるような画素の集合は、同様の動きを持つと思われる画素から成る。かような集合を見出すために、前記画像はセグメント化によってセグメントに分割される。画像のセグメント化は、前記画像中の全画素について、セグメントの有限なセットの１つに特有な従属関係（membership）を決定することに等しい。ここでセグメントは接続された画素の集合である。セグメント化の有利な方法は、疑似セグメント化である。疑似セグメント化においては、セグメントに対する画素の従属関係が色、輝度及びテクスチャのような画像に関連する画素の属性に基づいて決定され、セグメント境界が確実性値を用いて区別される。疑似セグメント化に起因するセグメントは、画像オブジェクトに必ずしも対応する必要はないが、特定のセグメント中の画素は依然として同様の動きを持つ非常に高い確率を持つ。疑似セグメント化のための方法は、本出願人による「Segmentation of digital images」と題された同時係属中の出願において説明されており、参照によって本明細書に組み込まれたものとする。疑似セグメント化を用いて、画像は非常に高速に及び効率的にセグメント化されることができる。
【００１８】
画像Ｉ_１は、上述の方法即ち疑似セグメント化によってセグメントに分割され、それぞれのセグメントを定義する境界によって囲まれた画素から成るセグメントに帰着する。疑似セグメント化の結果、前記セグメントはハード境界部分とソフト境界部分とによって定義される。ハード境界部分は画像特徴の分析に起因し、関連するセグメント境界である高い確実性を持つ。ソフト境界部分は、検出されたハード境界部分への距離の算出によって決定され、それ故関連するセグメント境界であるより低い確実性を持つ。境界部分が画像内容によく対応する程、該境界部分は関連性が高い。本発明によれば、セグメントの照合の形をとる画像の照合は、それぞれのセグメントの期待される情報内容に基づいて、高い重要性を持つ画素の照合に優先度を置いて実行される。
【００１９】
図１において、疑似セグメント化によって決定され、ハード境界部分１１（実線によって示される）及びソフト境界部分１２（破線によって示される）によって囲まれた、画像Ｉ_１のセグメント１０が示されている。画像Ｉ_１と画像Ｉ_２との間のセグメント１０についての変移関数を決定するため、セグメント１０に合致する画像Ｉ_２におけるセグメント１０の投射が見出される必要がある。このことは、続いて変移関数Ｍを与える。このことは、セグメント１０との合致のための画像Ｉ_２の合致する多くの可能性のある候補を選択し、各候補について照合基準を算出し、最良の照合結果を持つ候補を選択することによって実行される。前記照合基準は、前記第１の画像のセグメントが前記第２の画像における投射と合致する確実性の度合いである。上述したように、前記セグメントのハード境界部分はソフト境界部分よりも高い確実性因子を持つ。
【００２０】
セグメント１０と合致しそうな画像の候補Ｉ_２が、画像Ｉ_２の投射２０、３０、４０として図１に示される。それぞれはハード境界部分２１、３１、４１及びソフト境界部分２２，３２、４２によって囲まれる。投射２０、３０、４０のそれぞれについて、関数Ｍがそれぞれ矢印Ｍ１、Ｍ２、Ｍ３によって示される。従ってＭ１、Ｍ２及びＭ３は、関数Ｍについて考慮された候補値となり得る。候補投影２０、３０、４０のうちどれが最も良くセグメント１０と合致するかを決定するために、照合基準が各投射２０、３０、４０について算出される必要がある。本発明によれば、前記照合基準は、候補の投射及びＭについての候補の値の評価において、セグメントの特定の画素により大きい重みを与える。より大きい重みは、真のオブジェクト境界を定義するためにより大きな重要性を持つ画素に与えられる。
【００２１】
前記照合基準はディジタル画像処理において利用され、照合エラー又は照合ペナルティ関数の最小化としての実装によって知られる。照合関数を最小化することにより照合するかような関数及び方法は本来、例えばDe Haan及びBiezenによる「Sub-pixel motion estimation with 3-D recursive search block-matching」（「Signal Processing: Image Communication 6」（1994）229〜239頁）より当分野では知られている。
【００２２】
ｘ及びｙ座標双方における関数Ｍである、ｉ個の候補となるＭ_ｘ及びＭ_ｙの有限のセットは、以下によって定義される：
｛（Ｍ_ｘ；ｉ，Ｍ_{ｙ ; ｉ}）｜ｉ＝１，２，３，・・・｝
候補Ｍ_ｘ及びＭ_ｙの有限のセットの選択は本来、例えば上述したDe Haan及びBiezenの刊行物より当分野では知られている。好ましくは、各候補を評価するために必要とされる計算の数を削減するため、候補のセットは小さく保たれる。
【００２３】
セグメント中の画素の集合はΩによって表される。ｉ番目の候補についての照合ペナルティＭＰ_ｉは以下によって定義される：
【数１】

この照合ペナルティ関数は、セグメント中の全ての画素に等しい重みを与える。幾つかの画素は真のオブジェクト境界を表すため非常に重要であり、他の画素は単にテクスチャに関連するだけでありそれ故照合処理のためには重要でない、というように、上述したように、セグメントの画素は照合処理において同じ重要度を持たない。セグメント内の種々の画素の重要度は、例えば該画素の該セグメントの最も近い端に対する位置又は距離、テクスチャの量及び／又は特徴、並びにノイズによって変化し得る。更に、セグメントが部分的に他のセグメントをブロックする閉塞が発生し、画素が第１の画像においては見え、結果の画像においては見えない、及びその逆といった結果をもたらし得る。次の画像において隠された画素は照合に利用されるべきではない。なぜなら、かような画素については前記次の画像において対応するものがなく、それ故該画素は照合可能なものとならないからである。照合不可能な画素を考慮に入れることは、照合処理の算出コストを増大し、より不正確な結果に導き得る。
【００２４】
それ故、本発明によれば、画素の重要度及び見えない画素の除外を考慮に入れた照合処理が提供される。
【００２５】
上述の考案されたツールを利用して個々の画素の重要度を考慮に入れるため、前記照合ペナルティ関数が修正される：
【数２】

重み関数ＰＩＭ（ｘ，ｙ）は、予期される情報内容に関する画素の重要度を表す因子を各画素に割り当てる、画素重要度関数である。本例においては、重み関数ＰＩＭ（ｘ，ｙ）は、
ＰＩＭ（ｘ，ｙ）＝ｗ（ｘ，ｙ）ｖ（ｘ，ｙ）
となり、ここでｗ（ｘ，ｙ）は重み関数、ｖ（ｘ，ｙ）は可視度関数である。画素の重要度はＰＩＭ（ｘ，ｙ）関数によって制御される。該ＰＩＭ（ｘ，ｙ）関数は本実施例においては、可視度マップ（即ちｖ（ｘ，ｙ））と、重み関数及び端即ち境界の帰属（即ちｗ（ｘ，ｙ））に依存する。結果として、見えない画素はゼロの重要度を得て、他の画素は該画素が属する境界への距離に基づいて重要度パラメータが、境界が関連すると考えられる場合にだけ与えられる。
【００２６】
セグメントの深度値によって示されるような重要度における上述した相違を考慮に入れるために、重み関数ｗ（ｘ，ｙ）は以下によって定義される：
ｗ（ｘ，ｙ）＝ｄｉｓｔ（ｘ，ｙ）ｏｗｎ（ｘ，ｙ）
該重み関数はそれ故２つの因子、即ち関数ｄｉｓｔ（ｘ，ｙ）及びｏｗｎ（ｘ，ｙ）を有する。ｄｉｓｔ（ｘ，ｙ）は重み関数ｗ（ｘ，ｙ）に寄与し、境界への画素の距離に依存する。ｏｗｎ（ｘ，ｙ）は該境界の重要度に関連する。
【００２７】
関数ｄｉｓｔ（ｘ，ｙ）は、高い確実性を持つ画素が前記ペナルティ関数の評価により寄与するように、境界への距離に基づいて画素に重み因子を割り当てる。関数ｄｉｓｔ（ｘ，ｙ）において、前記セグメントのハード境界部分への画素の距離ｄ（ｘ，ｙ）は、ハード境界部分からの距離と共に重み関数ｗ（ｘ，ｙ）が減少するように利用される。このことは、ハード境界部分が前記画像の最も確実な特徴であり、最も近いハード境界から画素が離れているほど該画素は重要度を持たないという仮定を表す。ｄｉｓｔ（ｘ，ｙ）のためには、セグメント境界からの距離と共に関数の値が減少する限り、いずれの適切な関数が選択されることができる。
【００２８】
限定的ではない例として、幾つかの関数が次に示される：
I． ｄｉｓｔ（ｘ，ｙ）＝１／ｄ（ｘ，ｙ）
II． ｄｉｓｔ（ｘ，ｙ）＝１／ｄ（ｘ，ｙ）^２
III． ｄ（ｘ，ｙ）＜１．５のときｄｉｓｔ（ｘ，ｙ）＝１、ｄ（ｘ，ｙ）≧１．５のときｄｉｓｔ（ｘ，ｙ）＝０
IV． ｄ（ｘ，ｙ）＜５のときｄｉｓｔ（ｘ，ｙ）＝（５−ｄ（ｘ，ｙ））／４、ｄ（ｘ，ｙ）≧５のときｄｉｓｔ（ｘ，ｙ）＝０
全ての前記関数は、ハード境界部分への増加する距離と共に減少される値に導くことに留意されたい。関数IIIの場合においては、所定の距離に渡って値が一定であり、該距離を超えると該値はゼロである。従って増加する距離と共に減少される値に導く。関数III及びIVは、計算を一定の数の最も近い画素のみに制限する。このことは必要とされる計算の数を更に減少させる。前記画像のセグメント化が疑似セグメント化の好適な方法を利用して実行された場合、画素が属するセグメントの最も近いハード境界部分への距離は、距離配列中の情報の形で該セグメント化処理から既に知られている。このことは、照合処理のための著しく減少された計算という利点に導く。
【００２９】
かような距離パラメータを利用することは、特定の画素の重要性の優れた示唆を与える。ハード境界部分は真のオブジェクト境界に関連する高い確率を持つが、セグメント内の画素の重要性の更に優れた示唆を得るために更なる選択が望ましい。とりわけ、全てのハード境界セグメントが照合処理に等しく関連があるわけではない。最も関連のあるハード境界セグメントを選択するために、ハード境界によって囲まれた隣接するセグメントの深度値が利用されることができる。ハード境界が決定された場合、２つの状況が尤もらしい。
【００３０】
１．ハード境界がテクスチャ特性に対応する。このことは、同一の深度値を持つ隣接するセグメントによって特徴付けられる。これらの種類のハード境界は、真のオブジェクト境界と関連する境界である非常に低い確率を持ち、照合処理のためには非常に適切というわけではない。それ故これらのハード境界部分は、前記距離関数によるいずれの値のもとになるべきではない。
【００３１】
２．ハード境界が深度の不連続に対応する。このことは該ハード境界のそれぞれの側が異なる深度値を持つという事実によって示唆される。かようなハード境界は真のオブジェクト境界と関連する境界である非常に高い確率を持ち、照合のために非常に適している。これらの境界について、距離関数は上記に定義されたように維持されるべきである。この目的のため、帰属関数ｏｗｎ（ｘ，ｙ）は以下のように定義される：
画素（ｘ，ｙ）がタイプ２の境界に関連する場合、ｏｗｎ（ｘ，ｙ）＝１
画素（ｘ，ｙ）がタイプ１の境界に関連する場合、ｏｗｎ（ｘ，ｙ）＝０
上述した評価のため、セグメントの深度値の評価が必要とされる。画像におけるセグメントの深度の決定のための方法は、それ自体は当分野で知られている。本発明を用いた使用のため、画像セグメントについての深度値の決定のためのいずれの適切な方法が利用されても良い。典型的に、かような方法は次の画像を比較し、画像の各セグメントについて深度値を与える。
【００３２】
この重みｗ（ｘ，ｙ）関数は、深度の不連続を意味するハード境界の第２の群に対応するハード境界部分の種（seed-point）のみを考慮する。前記関数の評価において、各ハード境界部分について、上述したタイプ１のものかタイプ２のものかが決定される。タイプ１の境界部分、即ち関連しないテクスチャ境界は、低い又はゼロの距離値を与えられる。タイプ２の境界部分、即ち関連するオブジェクト境界部分は、高い又は最大の距離値を与えられる。重み関数ｗ（ｘ，ｙ）を利用することは、関連するハード境界セグメントと関連する画素のみが照合の際に考慮に入れられるということに帰着する。
【００３３】
更に、見えない画素は上述したように照合の評価から除外される必要がある。この目的のため、可視度関数ｖ（ｘ，ｙ）が導入される。この可視度関数は、画素が次の画像において見えないであろう場合はゼロの値を持ち、前記次の画像において画素が見えるであろう場合は１の値を持つ。前記可視度関数の決定のため、次の画像が考慮に入れられる必要がある。前記可視度関数は、いずれの適切な方法で実装されても良い。典型的に、前記可視度関数の決定は、前記次の画像のセグメントについて深度値の決定を必要とし、前記深度値に基づいて、より高く配置されたセグメントのどれが、他のより低く配置されたセグメントを隠すかを決定する。前記セグメントの前記深度値は、上述した重み関数ｗ（ｘ，ｙ）の決定においても利用されるため、必要とされる計算リソースはｗ（ｘ，ｙ）とｖ（ｘ，ｙ）との決定のための処理の間で共有されても良い。その結果として、前記見えない画素は、これらの画素が前記照合の計算の間は利用されないように選り抜かれることができる。
【００３４】
上述したように、可視度関数ｖ（ｘ，ｙ）は単一の画像に基づいては算出されることはできないため、本発明による評価を開始するためには、好ましくは以下の手順が辿られる。前記照合の最初の繰り返しの間、深度値の最初のセットがｖ（ｘ，ｙ）について算出される。これらの算出された深度値は、前記セグメントが最も近いものから最も遠いものへと整列されることを可能にする。上述したように、深度値の決定のためのいずれの適切な方法が利用されても良い。
【００３５】
利用においては、本発明による方法は、最初の繰り返しステップにおいて、式３を利用するために深度値の推定を必要とする。処理を開始するため、開始深度値が推定される必要がある。このためにはいずれの適切な値が利用されても良い。前記深度値の初期推定の後、以降の繰り返しにおいて以前に算出された深度値が利用されても良い。本発明による方法は次いで、式（３）による画素毎の重み関数ＰＩＭ（ｘ，ｙ）の算出、及び式（２）によって定義される続くペナルティ関数の決定に存する。
【００３６】
示された実施例において、ＰＩＭ（ｘ，ｙ）関数は、前記可視度関数と同様に、ハード境界部分への画素の距離に関連する。しかしながら本発明はこの例に限定されるものではなく、各画素に重要度値を割り当てる他の方法も利用されて良い。この場合において、上述した距離配列に対応する確実性配列（ｘ，ｙ）が、各画素についてそれぞれの画素が属するセグメントに関連する重み因子によって埋められる必要がある。とりわけ、本発明は前記可視度関数を考慮することなく、重み関数ｗ（ｘ，ｙ）のみを用いて利用されても良い。幾分かの効率は失われ得るが、より少ない算出の労力が必要となる。
【００３７】
本発明はまた、例えばパターン認識又は画像認識における利用のためのような、単一の画像内の画像部分を照合するために利用されることができる。
【００３８】
本発明は更に、コンピュータ上で実行されるときに、本発明の方法のステップを実行するためのコンピュータプログラムコード部分を有するコンピュータプログラム製品に関する。本発明のコンピュータプログラム製品は、ハードディスク若しくはフロッピー（登録商標）ディスク又はＣＤ−ＲＯＭのような適切な情報担体に保存されても良いし、又はコンピュータのメモリ部分に保存されても良い。
【００３９】
本発明は更に、ディジタル画像を照合するための図２に示された装置１００に関する。装置１００は上述したような方法によってディジタル画像を照合するための処理ユニット１１０を備える。処理ユニット１１０は少なくとも一部がプログラム可能な装置として設計されても良く、又は１以上の上述のアルゴリズムをハードウェアに実装するように設計されても良い。処理ユニット１１０は、入力部１２０と接続されている。この入力部１２０によって、ディジタル画像が受信され、ユニット１１０に送信されることができる。ユニット１１０は更に出力部１３０に接続されている。この出力部１３０を通して、画像間の結果の見出された照合が出力されることができる。
【００４０】
装置１００は、テレビジョン装置、とりわけ３次元（３−Ｄ）の画像又はビデオを表示する３−Ｄテレビジョンのような表示装置に組み込まれても良い。装置１００は更に、エンコード装置の動き推定器に含まれても良い。他の有利な応用は３−Ｄスキャナである。
【００４１】
上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付された請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧の間に配置されたいずれの参照記号も請求を限定するものとして解釈されるべきではない。「有する（comprising）」という語は、請求項に列記されたもの以外の要素又はステップの存在を除外するものではない。本発明は幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実施化されることができる。幾つかの手段を列挙している装置請求項において、これらの手段の幾つかは全く同じハードウェアによって実現されても良い。特定の手段が相互に異なる独立請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に利用されることができないということを示すものではない。
【図面の簡単な説明】
【００４２】
【図１】セグメント照合処理の例を模式的に示す。
【図２】ディジタル画像を照合する装置を模式的に示す。

Claims (10)

1. ディジタル画像を照合する方法であって、
   画素から成る第１のディジタル画像の画像特徴を規則化するステップと、
   画素から成る第２のディジタル画像を生成するステップと、
   前記第１の画像の画像特徴と前記第２の画像の画像特徴との間の可能な合致の候補を表す候補値の有限のセットを定義するステップと、
   前記候補値の評価のための照合ペナルティ関数を設定するステップと、
   全ての前記候補値について前記照合ペナルティ関数を評価するステップと、
   前記照合ペナルティ関数の評価の結果に基づき前記候補値を選択するステップと、
   を含む方法において、
   前記第１の画像の画素の少なくとも一部をそれぞれのセグメントに割り当てるステップを含む、前記第１の画像のセグメント化により前記第１の画像を規則化するステップと、
   それぞれの画素の相対的な重要度を表す画素重要度パラメータを、前記セグメントの画素の少なくとも一部について決定するステップと、
   前記画素重要度パラメータに少なくとも部分的に依存する前記照合ペナルティ関数を設定するステップと、
   を特徴とする方法。
2. 前記画素重要度パラメータは、前記セグメントのハード境界部分までの画素の距離に基づく重みパラメータと、可視度パラメータとを含む、請求項１に記載の方法。
3. 境界部分の関連度を決定するステップを更に有し、前記重みパラメータは関連する境界部分への距離に基づく、請求項１又は２に記載の方法。
4. 境界部分の関連度は、該境界部分によって発生したセグメントのセグメント深度値の評価によって決定される、請求項３に記載の方法。
5. 前記可視度パラメータは、前記第１の画像中の画素が、前記第２の画像中に対応する画素を持つか否かを示す、請求項２に記載の方法。
6. 前記可視度パラメータを決定するステップは、前記第１及び第２の画像の前記セグメントについて深度値を決定するステップと、前記深度値に基づいて、より近くに配置されたセグメントのどれが、遠くに配置された他のセグメントを隠すかを決定するステップとを有する、請求項５に記載の方法。
7. 前記セグメント化は、疑似セグメント化によって実現される、請求項１又は２に記載の方法。
8. コンピュータ上で実行される際に、請求項１又は２に記載のステップを実行するためのプログラムコード部分を有するコンピュータプログラム。
9. 請求項１又は２に記載の方法によってディジタル画像を照合するための処理ユニットを持ち、前記処理ユニットは、ディジタル画像を受信する入力部と、照合結果を出力する出力部とを備える、ディジタル画像を照合するための装置。
10. 請求項９に記載の装置を有する機器。