JP2006516062A - ディジタル画像の奥行き順序付けを行う方法及び装置 - Google Patents

Abstract

１つ又は複数のディジタル画像の部分の奥行きを相対化させる方法において、ディジタル画像はセグメンテーションによって正則化され、画像の画素の少なくとも部分が各々のセグメントに割り当てられる。連続した画像についてのセグメントの相対的な動きは画像マッチングによって推定される。セグメントの画像特徴は、セグメントのエッジが見つけられ、画素がエッジに割り当てられ、２重セグメントが規定される２重セグメンテーションによって正則化される。連続した画像についての２重セグメントの相対的な動きは、画像セグメントの相対的な奥行き順序を判定するために画像セグメント・マッチングによって推定される。

Description

本発明は、一般的に、ビデオ処理及び画像処理の技術分野に関し、特に、動き推定に基づいた、ビデオ・シーケンスのフレーム内の奥行き順序付けに関し、それを特に参照して説明することとする。

種々のビデオ・シーケンス処理アプリケーションの場合、画像の部分の動きすなわち奥行きの順序を見つける必要がある。そのようなアプリケーションは、例えば、スキャン・レートのアップコンバージョン、ＭＰＥＧ符号化や、動きベースの奥行き推定を有し、これらのアプリケーションの多くは計算量上の単純性を必要とする。動き推定の公知の方法はマッチング手法に基づいている。そのような手法では、各ビデオ・フレームはセグメントにパーティション化される。更に、パーティション（又はセグメント）の要素毎に、現行フレームにおけるセグメントのシフトされたバージョンと、後続フレームにおけるその位置との間の、非類似性の量すなわち「マッチ・ペナルティ」の量が最小になるように動きベクトルが推定される。

特に、動き推定と、動きベースの奥行き推定との公知の方法では、動きベクトルΔｘ＝（Δｘ，Δｙ）すなわち奥行きｄが、候補動き値すなわち候補奥行き値の限定群にわたってマッチ・エラーＥを最小にした結果、画像の一部に割り当てられる。候補値はＥのグラフを奥行きｄすなわち動きベクトルΔｘの関数として十分に密にサンプリングすることとする。更に、このグラフは、十分に目立った大域最小値を有することとする。

基本アルゴリズムが画像を正方形のブロックにパーティション化する一方、（最近の）研究は、いわゆるセグメントである、任意の幾何配置を備えている領域に画像をパーティション化することに充てられており、セグメント境界は、光度の不連続性又は色の不連続性に合わせられる。このようにして、セグメントは、情景における物体の部分であるものとして解釈することが可能である。このことは、動きフィールドすなわち奥行きフィールドの解像度と精度とを向上させることが可能である。

ビデオ・シーケンスからのセグメント・ベースの奥行き再構築の通常の方法では、２つの処理工程が、セグメント毎の動きベクトルを見つけた後で行われる。第１の工程はカメラの校正であり、それによって、カメラの位置とカメラの向きとをもたらす。第２の工程は、２つの後続フレームからの奥行き推定であり、これによって画素毎の奥行き推定がもたらされる。これらの処理工程は集約し得る。

この奥行き推定アルゴリズムでは、カメラ校正は仮現運動を奥行き値に変換することを可能にするうえで必要である。カメラ校正は、カメラの内部的な幾何特性及び光学特性と、特定の世界座標系に対するカメラ・フレームの３次元の位置及び向きに関する。カメラ校正は、しかし、不安定な手順である。更に、動きをカメラのパラメータや奥行きに変換するうえでの現行技術は、情景が静的である場合にのみ行うことが可能である。よって、公知の奥行き推定アルゴリズムは、情景における奥行きの差があまりないか、物体が情景の残りに対してそれ自体の動きを有する場合には使い道が限られる。

更に、領域の動きをその境界の動きと比較することによって奥行きの順序を導き出し得るということが分かっている。最近の手法はこのセグメンテーション及び奥行き順序付けの課題を同時に解決しようとした。画像における領域及びエッジを位置特定し、エッジを群にパーティション化し、領域にラベルを付ける、１つのそのような手法を記載したものがある（非特許文献１参照。）。更に、色セグメンテーション及び動き推定、動き割り当て、動き精緻化、並びに領域リンクである、別のそのような手法を記載したものもある（非特許文献２参照。）。
Ｐ．Ｓｍｉｔｈ，Ｔ．Ｄｒｕｍｍｏｎｄ，Ｒ．Ｃｉｐｏｌｌａ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ，Ｖｏｌ．２，Ｐａｇｅｓ ３６９−３７８，Ｓｅｐｔｅｍｂｅｒ １９９９ Ｄ．Ｔｗｅｅｄ ａｎｄ Ａ．Ｃａｌｗａｙ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ ３２２−３３１，Ｓｅｐｔｅｍｂｅｒ ２０００

しかし、上記２つの手法の適用可能性は限定されているが、それは、第１の手法では２つの奥行きレイヤしか実現可能でなく、何れの手法でも相当に複雑な大極的最適化が用いられているからである。

本発明は、局所で動作し、領域対間のマッチング・エラーを比較して奥行き順序付けを得るという点で異なる。本発明は、動きベクトルのみに基づくものであり、それはカメラ校正を必要とせず、何れかの数の奥行きレイヤについて有効である。更に、閾値は一切導入されない。

本発明の一特徴によれば、２つ以上のディジタル画像に基づいて１つ又は複数の画像の部分の奥行き順序付けを行う装置を備える。ディジタル画像を受信する入力部が備えられている。第１正則化手段は、セグメンテーションによって、画素を有するディジタル画像の画像特徴を正則化するよう備えられており、画像の画素の少なくとも部分を各々のセグメントに割り当てる割り当て手段を有する。第１推定手段は、画像マッチングによって連続した画像のセグメントの相対的な動きを推定するよう備えられている。第２正則化手段は、２重セグメンテーションによってセグメントの画像特徴を正則化するよう備えられており、セグメントのエッジを見つける手段、画素をエッジに割り当てる割り当て手段、及び２重セグメントを規定する手段を有する。第２推定手段は、画像セグメント・マッチングによって連続した画像の２重セグメントの相対的な動きを推定して画像のセグメントの相対的な奥行き順序を判定するよう備えられている。出力部は、画像の部分の相対的な奥行き順序付けを出力するよう備えられている。

本発明の別の特徴によれば、２つ以上のディジタル画像を用いて１つ又は複数の画像の部分の奥行き順序付けを行う方法を備える。画素を有するディジタル画像の画像特徴は、セグメンテーションによって正則化され、画像の画素の少なくとも部分が各々のセグメントに割り当てられる。連続した画像のセグメントの相対的な動きは、画像マッチングによって推定される。セグメントの画像特徴は、セグメントのエッジを見つける工程、画素をエッジに割り当てる工程及び２重セグメントを規定する工程を有する２重セグメンテーションによって正則化される。連続した画像の２重セグメントの相対的な動きは、画像の部分の相対的な奥行き順序を判定するよう画像セグメント・マッチングによって推定される。

本発明の１つの効果は、ビデオ・シーケンスにおける連続したフレームからのディジタル画像の相対的な奥行き順序が判定される方法を改良することにある。

本発明の別の効果は、カメラ校正を必要とすることなく相対的な奥行き順序を判定することができることにある。

本発明の更に別の効果は、ディジタル画像における３つ以上の奥行きレイヤについて相対的な奥行き順序を判定することができることにある。

本発明の更に別の効果は、動きベクトル推定の精度を向上させることにある。

本発明の数多くの別の効果及び便益は、好適実施例の以下の詳細説明を検討することによって当業者に明らかとなる。

本発明は、種々の、構成部分と構成部分の配置とにおける形態をとる場合があり、種々の、工程と工程の配置とにおける形態をとる場合がある。添付図面は、好適実施例を示す目的のものに過ぎず、本発明を限定するものとして解されるものでない。

以下の好適実施例では、ディジタル画像の部分の奥行き順序関係を判定する方法を説明する。この画像はビデオ・ストリームからの後続画像であり得るが、奥行き順序付け方法はそれに限定されない。

図１を参照すれば、方法１０は、フレーム内の画像２０の部分の奥行き順序付けを行う。方法１０の第１工程３０は、フレームにおける画像２０のセグメンテーションである。第２工程４０は、ビデオ・ストリームからの後続セグメンテーション画像におけるマッチング部分を判定する。第３工程５０は、画像２０の２重セグメンテーションである。第４工程６０は、画像セグメント・マッチングによって画像の２重セグメントの動きを判定する。出力７０は、画像２０の部分の相対的な奥行き順序である。

画像２０は、画像の画素を有し、２つの２次元のディジタル画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）として規定されるディジタル画像であり、ｘ及びｙは、画像の個々の画素を示す座標である。方法１０は、Ｍ＝Δｘ（ｘ，ｙ）とＭ＝Δｘ（ｘ，ｙ）との関数対の計算を有する。Ｍは、画像Ｉ_１における全ての画素が：
Ｉ_２（ｘ，ｙ） ＝ Ｉ_１（ｘ＋Δｘ（ｘ，ｙ），ｙ＋Δ_ｙ（ｘ，ｙ））
の公式によって画像Ｉ_２における画素にマッピングされる。Ｍの構成は、同様な動きを有する画素群について一定である関数としてＭを再定義することによって修正される。

Ｍが一定とされる画素の集まりは、同様な動きを有すると考えられている画素を有する。そのような集まりを見つけるよう、画像１５はセグメンテーション工程３０によってセグメントに分割される。画像Ｉ_１はよって、各々のセグメントを規定する境界によって囲まれる画素を有するセグメントに分割される。画像のセグメンテーションは、画像における画素毎に、有限のセグメントの群のうちの１つへのメンバーシップを判定することに相当し、その場合、セグメントは画素の連結された集まりである。画像セグメンテーション方法は、一般的に、特徴ベースの方法と領域ベースの方法とに分割することが可能である。奥行き順序付け方法１０に関しては、画像セグメンテーションの種類が、最低限、動きの不連続性を識別することとする。動きの不連続性と色の不連続性は一致することとし、そのことは、セグメンテーション・アルゴリズムが好ましくはセグメント境界を色境界におくということを意味する。しかし、このアルゴリズムはセグメント境界を別の場所におく場合もある。これは画像セグメンテーションの主要目的の１つであるので、色ベースの画像セグメンテーション・アルゴリズムの特定の選択は、本願の奥行き順序付け方法には不可欠でない。図２は、色境界セグメンテーションを経たドール・ハウス・シーケンスからのフレームを示す。

方法１０の第２工程４０は、画像マッチングすなわちセグメント・ベースの動き推定である。特に好適実施例については、第２工程４０は、画像Ｉ_１と画像Ｉ_２との間のセグメントについての変位関数Ｍの判定を有し、その場合、セグメントに一致してＭをもたらす、画像Ｉ_２におけるセグメントの投影を得る必要がある。これは、セグメントとのマッチングについていくつかの、画像Ｉ_２の考えられるマッチング候補を選定し、候補毎にマッチング基準を計算し、更に、最善のマッチング結果を備えている候補を選定する。マッチング基準は、第１画像のセグメントが第２画像における投影とマッチングするという確実性の尺度である。候補投影のどれがセグメントと最もよくマッチングしているかを判定するよう、マッチング基準が投影毎に計算される。マッチング基準はディジタル撮像処理において用いられ、マッチング・エラー又はマッチング・ペナルティの関数を最小にするものとしてその実施形態において分かっている。マッチング関数を最小にすることによるマッチングのそのような関数及び方法は公知である。

よって、セグメントと候補動きベクトルとによって、次の画像におけるセグメントの画素の位置が予測される。よって、第２工程３０では、予測された画素色と、第２画像においてみられる実際の色との比較が行われる。予測された色と実際の色との間の差は、集計され、マッチ・ペナルティ又は「ＳＡＤエラー」と呼ばれている（ＳＡＤは絶対差の和の頭字語である。）。最後に、最小のマッチ・ペナルティを有する候補動きベクトルが各セグメントに割り当てられる。このことを効率的に行うよう、候補動きベクトルの賢明な選択（例えば、隣接するセグメントの最適動きベクトル）が好ましくは行われるが、この特徴は本発明に不可欠でない。

奥行き順序付け方法１０における第３工程５０は、画像毎の２重セグメンテーションの規定である。前述のように、画像のセグメンテーションは、画像における画素毎に、有限なセグメント群のうちの１つへのメンバーシップを判定することに相当し、その場合、セグメントは画素の連結された集まりである。２重セグメンテーションの特に効果的な方法は、いわゆる「擬似セグメンテーション」方法である。擬似セグメンテーション方法では、セグメントのいわゆる「シード」が、画素の少なくとも部分がシードに割り当てられるように距離変換によって生成される。これによって、計算費用がかなり低減され、計算速度がかなり増加される。擬似セグメントはよって、後続する画像におけるセグメントのマッチングに用いることが可能である。

２重セグメンテーション工程５０は、セグメントのエッジを見つける工程と画素をセグメントに割り当てる工程との２つの構成部分を有する。よって、元のセグメンテーションに基づいて、セグメント対（Ｓ_ｉ，Ｓ_ｊ）毎に、全てのエッジ画素、すなわち、ｐ∈Ｓ_ｉであり、ｑ∈Ｓ_ｉであるように∃ｑ∈Ｎ_４（ｐ）である画素ｐ及び、ｐ∈Ｓ_ｊであり、ｑ∈Ｓ_ｊであるように∃ｑ∈Ｎ_４（ｐ）である画素ｐが数ｅ_ｉｊによってラベルが付けられ、その場合、Ｎ_４はｐの４−近傍を表す。２重セグメントＳ_ｉｊが次に作成され、その場合、シードはエッジ画素ｅ_ｉｊに相当する。シードはシード画素を有し、シード画素は、境界がくっきりとした部分に最も近い、画像の画素である。シードは、ディジタル画像の画素アレイ内の境界部分の近似を形成する。シードは画素アレイ内におさまるので、後続する計算を容易に行うことが可能である。シード画素は全て２つのセグメント間の検知境界に沿って規定され、それによって２画素の幅の２重鎖をもたらす。両側とも同じシードの部分である、境界に沿ったシード画素の鎖は、シードとしてみなされ、一意の識別子によって示される。エッジ検知の結果、シード画素は本質的には鎖を形成する。シード、特に、単一の画素よりも大きな幅を有するシード、は任意の形状のエッジ画素クラスタでもあり得る。距離変換は、画素（ｘ，ｙ）毎に、最も近いシード点までの最短距離ｄ（ｘ，ｙ）をもたらす。ユークリッド距離、「シティー・ブロック」距離や「チェスボード」距離などの何れかの適切な距離定義を用い得る。画素毎に最も近いシード点までの距離を計算する方法は公知であり、方法１０を実施するうえで何れかの適切な方法を用い得る。

好適実施例において用いられるアルゴリズムは、画像Ｉ（ｘ，ｙ）における画素全部に及ぶ２つのパスに基づいており、それによって、最も近いシードまでの距離を示すｄ（ｘ，ｙ）の値をもたらす。ｄ（ｘ，ｙ）の値は初期化される。第１パスでは、画像Ｉの左上から右下まで、値ｄ（ｘ，ｙ）はそれ自体とそれに隣接するもの各々とのうちの最小に、その隣接するものに至る距離を加えたものに等しく設定される。第２パスでは、画素が画像Ｉの右下から左上まで走査される一方で同様な手順をたどる。これらの２つのパスの後、全てのｄ（ｘ，ｙ）は、最も近いシード点までの最も近い距離を表す正確な値を有する。

ｄ（ｘ，ｙ）距離アレイが正確な値によって充填される２つのパスの間、アイテム・バッファｂ（ｘ，ｙ）は、画素（ｘ，ｙ）毎に最も近いシードの識別によって更新される。距離変換の後、アイテム・バッファｂ（ｘ，ｙ）は画素（ｘ，ｙ）毎に最も近いシードに関連した値を有する。これによってディジタル画像がセグメンテーションされ、セグメントは同一値ｂ（ｘ，ｙ）を備えている画素（ｘ，ｙ）によって形成される。よって、エッジの両側までのセグメント部分が２重セグメントを形成する。この特徴は、ドール・ハウス・シーケンスからのフレームの一部分を特徴として有している図２及び図３において最もよく分かる。これらの図にはアーチを表している。元のセグメンテーションである図２では、アーチは、エッジによって隔てられている、黒色セグメントと灰色セグメントとを有する。図３では、部分的に黒色の部分にあり、部分的に灰色の部分にある２重セグメンテーションが存在しており、元のセグメンテーションにおける何れかの別のエッジよりも、元のセグメンテーションにおける２つの部分の間のエッジに近い画素を有する。

方法１０における第４工程６０は、２つの候補について２重セグメント毎にマッチ・ペナルティを計算するというものである。元のセグメンテーションの各境界は２重セグメンテーションにおけるセグメントをもたらす。その場合、２重セグメンテーションが存在するので、画像マッチングがもう一度行われる。しかし、この工程において当該処理をより速くより効率的にするよう、境界毎の２つの候補のみ、すなわち、境界の両側にあるセグメントの最適な動きベクトル、が用いられる。これらは、マッチ・ペナルティを最小にする動きベクトルである。

よって、好適実施例では、セグメントＳ_ｉｊの２つの候補は、元のセグメントＳ_ｉ及びＳ_ｊの２つ以上の画像間又は２つ以上の画像フレーム間の最適な動きベクトルである。相当するマッチ・ペナルティは、Ｍ_ｉ及びＭ_ｊと呼ばれる。マッチ・ペナルティが判定された後、どのセグメントがより近いものであるか、すなわち出力７０が判定される。この作業は、Ｍ_ｉをＭ_ｊと比較することによって実現される。Ｍ_ｉがＭ_ｊよりも少ない場合、Ｓ_ｉがより近いセグメントである。よって、正確な判定が行われた可能性は、差異Ｍ_ｉ−Ｍ_ｊによって表すことが可能である。

この改良された奥行き順序付け方法１０が機能する理由を説明するよう、エッジは、セグメンテーションの定義によってセグメント内のテクスチャに対する比較的に大きな色コントラストによって特徴付けられる。エッジ（すなわち色コントラスト）は、より近いセグメントと同じ動きを有する。すなわち、エッジはそのセグメントに属する。より遠いセグメントの場合、画素は別のセグメントの下にあり、エッジの動きはセグメントの動きに関係しない。マッチ・ペナルティは色コントラストに影響されやすい。よって、それは、より近いセグメントの動きに相当する動きベクトルの場合に最小となる。

図４及び図５は、わずかにシフトされたカメラ位置でのディオニシオス・シーケンスのフレーム対の部分の奥行き順序付け方法の結果を示す。奥行きコントラストは、図５では黒色エッジ／白色エッジとして符号化され、明るい部分は上側であり、暗い部分は下側である。コントラストのサイズは、マッチ・ペナルティにおける差、すなわち奥行き順序付けにおける信頼度を示す。フォアグラウンド及びバックグランドは適切に順序付けされているということが分かり得る。

本発明の別の実施例として、２重セグメンテーションについて完全な画像マッチング（又は動き推定）を行い、元のセグメントについて限定数の候補のみ（例えば、セグメントを囲むエッジ全ての最適な動きベクトル）を検査することが考えられる。

奥行き順序付け方法１０の効果の１つは、余分な計算費用が比較的小さいということを有する。２重セグメンテーションは、ディジタル画像におよぶ２つのパスの処理によって実施することが可能であり、セグメントについて２つの候補動きベクトルしか評価しなくてよいものである距離変換を有する。このことは、完全な２重セグメントについてではなく、エッジ周辺の小領域（例えば、４画素の幅）においてのみマッチングすることによってなお費用がかからないようにすることが可能である。

セグメントの奥行き順序は、ＲＡＮＳＡＣベースのカメラ校正アルゴリズムにおいて用いる場合もあり、導き出される奥行き順序と不整合のパラメータ予測は廃棄し得る。

上記工程を行うコンピュータ・プログラム・コード部分を有するコンピュータ・プログラムは、ハード・ディスク若しくはフロッピー（登録商標）・ディスク又はＣＲ−ＲＯＭなどの適切な情報担体上に記憶し得るか、コンピュータのメモリ部に記憶し得る。このコンピュータ・プログラムは、専用ハードウェア又は再構成可能なハードウェアにおいて直接実施される場合もある。

図６を参照すれば、ディジタル画像の奥行き順序付けを行う装置１００は、上記方法によってディジタル画像の部分の奥行き順序付けを行う処理装置１２０を有する。処理装置１２０は、画像のセグメンテーションを行う第１正則化構成部分１３０、セグメントの動きを推定する第１画像マッチング構成部分１４０、画像の２重セグメンテーションを行う第２正則化構成部分１５０、及び第２画像マッチング構成部分１６０を有する。処理装置１２０は、それによってディジタル画像が受信され、処理装置１２０に転送されるその入力部１１０と接続される。処理装置１２０は、更に、ディジタル画像の部分の結果の相対的な奥行き順序が出力される出力部１７０に接続される。装置１００は、３次元のテレビジョン・プロダクトなどの表示装置２００が有し得る。

本発明は、好適実施例を参照しながら説明している。明らかに、修正及び改変を他者が上記の詳細説明を検討し、理解することによって思いつくことになる。本特許請求の範囲記載の範囲又はその同等のものの範囲内に収まっている限りそのような修正及び改変を全て有するものとして本発明を解することとするということが意図されている。

動き推定に基づいてディジタル画像の部分の奥行き順序付けを行う方法の例を示す図である。 ドール・ハウス・シーケンスからのフレームの一部分の元のセグメンテーションの例を示す図である。 ドール・ハウス・シーケンスからのフレームの一部分の２重セグメンテーションの例を示す図である。 ディオニシオス・シーケンスからのフレームの一部分の元のセグメンテーションの例を示す図である。 ディオニシオス・シーケンスからのフレームの一部分の奥行き順序付けの例を示す図である。 ディジタル画像の部分の奥行き順序付けを行う装置を示す概略図である。

Claims (15)

1. １つ又は複数のディジタル画像の部分の奥行き順序付けを行う装置であって：
   該ディジタル画像を受信する入力部；及び
   セグメンテーションによって、画素を有する該ディジタル画像の画像特徴を正則化する第１正則化手段を備え、該第１正則化手段は、該画像の該画素の少なくとも部分を各々のセグメントに割り当てる割り当て手段を有し；
   更に、画像マッチングによって連続した画像について該セグメントの相対的な動きを推定する第１推定手段；及び
   ２重セグメンテーションによって該セグメントの画像特徴を正則化する第２正則化手段を備え、該第２正則化手段は、該セグメントのエッジを見つける手段、画素を該エッジに割り当てる割り当て手段、及び２重セグメントを作成する手段を有し；
   更に、画像セグメント・マッチングによって連続した画像について該２重セグメントの相対的な動きを推定して画像セグメントの相対的な奥行き順序を判定する第２推定手段；及び
   該画像の部分の相対的な奥行き順序付けを出力する出力部を備えることを特徴とする、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う装置。
2. 請求項１記載の、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う装置であって、該ディジタル画像が、２次元のビデオ・シーケンスのフレームを有することを特徴とする、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う装置。
3. 請求項１記載の、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う装置であって、該第１推定手段が、
   有限の候補値の群を規定する規定手段を有し、候補値は２つ以上の画像の画像特徴間の考えられるマッチングの候補を表し；
   該第１推定手段が更に、候補値を評価するマッチング・ペナルティ関数を確立する確立手段；及び
   該マッチング・ペナルティ関数の該評価の結果に基づいて候補値を選択する選択手段を有することを特徴とする、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う装置。
4. 請求項１記載の、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う装置であって、該２重セグメントは、２つの隣接するセグメントの境界に沿った画素をシード画素とし、残りの画素の部分を、距離変換アルゴリズムを用いてシードの１つに割り当てることを特徴とする、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う装置。
5. 請求項１記載の、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う装置であって、該第２推定手段は、
   該２重セグメントに最適な動きベクトルを算出する算出手段；
   該２重セグメントのマッチ・ペナルティを計算する計算手段；及び
   該最適な動きベクトルを比較することによってより近いセグメントを選択する選択手段を有することを特徴とする、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う装置。
6. 表示装置であって、請求項１記載の１つ又は複数のディジタル画像の部分の奥行き順序付けを行う装置を備えることを特徴とする表示装置。
7. １つ又は複数のディジタル画像の部分の相対的な奥行きの順序付けを行う方法であって：
   １つ又は複数のディジタル画像を備える工程；及び
   セグメンテーションによって、画素を有する該ディジタル画像の画像特徴を正則化する工程を備え、該正則化する工程は、該画像の該画素の少なくとも部分を各々のセグメントに割り当てる工程を有し；
   更に、画像マッチングによって連続した画像について該セグメントの相対的な動きを推定する工程；及び
   ２重セグメンテーションによって該セグメントの画像特徴を更に正則化する工程を備え、該更に正則化する工程は、該セグメントのエッジを見つける工程、画素を該セグメントに割り当てる工程、及び２重セグメントを規定する工程を有し；
   更に、画像セグメント・マッチングによって連続した画像について該２重セグメントの境界の相対的な動きを推定して該画像の部分の相対的な奥行き順序を判定する工程を備えることを特徴とする、１つ又は複数のディジタル画像の部分の相対的な奥行きの順序付けを行う方法。
8. 請求項７記載の、１つ又は複数のディジタル画像の部分の奥行きの順序付けを行う方法であって、該ディジタル画像が、２次元のビデオ・シーケンスのフレームを有することを特徴とする、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う方法。
9. 請求項７記載の、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う方法であって、該セグメントの該相対的な動きを推定する工程が、
   有限の候補値の群を規定する工程を有し、候補値は２つ以上の画像の画像特徴間の考えられるマッチングの候補を表し；
   該セグメントの該相対的な動きを推定する工程が更に、候補値を評価するマッチング・ペナルティ関数を確立する工程；及び
   該マッチング・ペナルティ関数の該評価の結果に基づいて候補値を選択する工程を有することを特徴とする、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う方法。
10. 請求項７記載の、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う方法であって、該２重セグメンテーションは擬似セグメンテーションによって達成され、該擬似セグメンテーションでは、隣接するセグメントの対毎に、該セグメントのうちの１つに属する画素と、別のセグメントに属する、該画素に隣接するもののうちの少なくとも１つとを有するシードが規定され、該画像における別の画素の少なくとも部分が、距離が最小のシードに割り当てられることを特徴とする、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う方法。
11. 請求項７記載の、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う方法であって、該２重セグメントの該境界の相対的な動きを推定する工程は、
    該２重セグメントに最適な動きベクトルを算出する工程；
    該２重セグメントのマッチ・ペナルティを計算する工程；及び
    該最適な動きベクトルを比較することによってより近いセグメントを選択する工程を有することを特徴とする、１つ又は複数のディジタル画像の部分の奥行き順序付けを行う方法。
12. コンピュータ・プログラムであって、請求項７記載の１つ又は複数のディジタル画像の部分の奥行きの順序付けを行う方法をプロセッサが行うことを可能にすることを特徴とするコンピュータ・プログラム。
13. 有形の媒体であって、請求項１２記載のコンピュータ・プログラムを収容することを特徴とする有形の媒体。
14. 専用ハードウェアであって、請求項７記載の１つ又は複数のディジタル画像の部分の奥行きの順序付けを行う方法をプロセッサが行うことを可能にすることを特徴とする専用ハードウェア。
15. 再構成可能なハードウェアであって、請求項７記載の１つ又は複数のディジタル画像の部分の奥行きの順序付けを行う方法をプロセッサが行うことを可能にすることを特徴とする再構成可能なハードウェア。

Images