JP2016171558A - マルチビュー画像に対するスーパーピクセルを生成するための方法および装置 - Google Patents

Abstract

【課題】マルチビュー画像のシーケンスに対し、時間一貫性を有するスーパーピクセルを生成するための方法及び装置を提供する。【解決手段】シーケンス生成器２３は、第１のマルチビュー捕捉のビューおよび第２のマルチビュー捕捉のビューから結合されたパスを形成する、順序付けられたビューのシーケンスを生成し、第２のマルチビュー捕捉のビューは、第１のマルチビュー捕捉のビューの順序と逆の順序を有する。次いで、スーパーピクセル生成器２４は、順序付けられたビューのシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成する。【選択図】図２

Description

本発明は、マルチビュー画像に対するスーパーピクセルを生成するための方法および装置に関する。特に本発明は、マルチビュー画像のシーケンスに対する、時間的一貫性を有するスーパーピクセルを生成するための方法および装置に関する。

画像セグメンテーションは、コンピュータビジョンにおける基本的な処理ステップである。セグメンテーションの目的は、画像分析のために画像表示を簡略化し、対象適応フィルタリングを最適化することである。閾値化、エッジ検出、クラスタ化、およびその他多くを含む、セグメンテーションのための幅広い最新技術のアルゴリズムが存在する。

より新しいセグメンテーションアルゴリズム［１］は、同様なフィーチャを共有する、空間的にコヒーレントなピクセルを、いわゆるスーパーピクセルにグループ化することによって、オーバーセグメンテーションを用意する。このスーパーピクセル手法は、信頼性のある、対象が一致したセグメントをもたらす。しかしこれは、より高い人気を得るまでには、さらなる性能改善を必要とする。必要な変更は［２］で述べられおり、そこではスーパーピクセルアルゴリズムは、簡単な線形反復クラスタ化方法（ＳＬＩＣ）によって加速された。

これまではセグメンテーションアルゴリズムの焦点は、静止画像のみに当てられてきた。しかし最近の発表は、［３］において開発されたように、時間的一貫性を有するセグメンテーション結果を必要とする画像シーケンスを考察し、時間的一貫性を有するスーパーピクセルを生成することによるビデオのための手法を提案している。

静止画像から画像シーケンスへの拡張は、計算の複雑さのさらなる増加に密接に関わる、次元の増分を引き起こし、すでに［３］でのスーパーピクセル計算は、ハイブリッドフィーチャ部分空間を分析するときの増大する計算量を抑制するために、適切な対策をとっている。

画像処理技術におけるセグメンテーションのためにとられるべき次の重要なステップは、時間的マルチビューシーケンスをセグメント化するアルゴリズムに進むことである。このような時間的マルチビューシーケンスの最近の応用例は、立体的３Ｄムービーおよび明視野カメラである。このマルチビューシーケンスに向かうステップも、やはり処理費用を増加させる。立体的シーケンスは単に画像の数を倍にするだけであるが、明視野カメラはあらゆる時間インスタンスにおいて複数の画像を生成する。

さらに現在は、時間的およびビュー一貫性を有することが要求されるスーパーピクセルの計算は、未だ解決されておらず、アルゴリズム安定性および処理能力にかなりの要求を課す。

本発明の目的は、マルチビュー捕捉のシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成するための、改善されたソリューションを提案することである。

本発明によれば、各マルチビュー捕捉が少なくとも２つのビューを含む、マルチビュー捕捉のシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成するための方法は、
− 第１のマルチビュー捕捉のビューおよび第２のマルチビュー捕捉のビューから結合されたパスを形成する、順序付けられたビューのシーケンスを生成するステップであって、上記第２のマルチビュー捕捉のビューは、上記第１のマルチビュー捕捉のビューの順序と逆の順序を有する、ステップと、
− 上記順序付けられたビューのシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成するステップと、
を含む。

それに従ってコンピュータ可読記憶媒体は、各マルチビュー捕捉が少なくとも２つのビューを含む、マルチビュー捕捉のシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成することを可能にする命令をそれに記憶し、上記命令はコンピュータによって実行されたときに上記コンピュータに、
− 第１のマルチビュー捕捉のビューおよび第２のマルチビュー捕捉のビューから結合されたパスを形成する、順序付けられたビューのシーケンスを生成することであって、上記第２のマルチビュー捕捉のビューは、上記第１のマルチビュー捕捉のビューの順序と逆の順序を有する、シーケンスを生成すること、および
− 上記順序付けられたビューのシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成すること、
を行わせる。

また一実施形態では、各マルチビュー捕捉が少なくとも２つのビューを含む、マルチビュー捕捉のシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成するように構成された装置は、
− 第１のマルチビュー捕捉のビューおよび第２のマルチビュー捕捉のビューから結合されたパスを形成する、順序付けられたビューのシーケンスを生成するように構成されたシーケンス生成器であって、上記第２のマルチビュー捕捉のビューは、上記第１のマルチビュー捕捉のビューの順序と逆の順序を有する、シーケンス生成器と、
− 上記順序付けられたビューのシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成するように構成されたスーパーピクセル生成器と、
を備える。

他の実施形態では、各マルチビュー捕捉が少なくとも２つのビューを含む、マルチビュー捕捉のシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成するように構成された装置は、処理デバイスと、命令をそれに記憶したメモリデバイスとを備え、上記命令は上記処理デバイスによって実行されたときに上記装置に、
− 第１のマルチビュー捕捉のビューおよび第２のマルチビュー捕捉のビューから結合されたパスを形成する、順序付けられたビューのシーケンスを生成することであって、上記第２のマルチビュー捕捉のビューは、上記第１のマルチビュー捕捉のビューの順序と逆の順序を有する、シーケンスを生成すること、および
− 上記順序付けられたビューのシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成すること、
を行わせる。

スーパーピクセルは、静止画像および画像シーケンスのために開発された、信頼性がある、対象が一致したセグメンテーションを表す。静止画像から画像シーケンスへの拡張は、増大する計算量を扱う難しさをすでに明らかにしているが、時間的一貫性を有するマルチビューセグメンテーションへの切り換えは、ずっと複雑である。提案されるソリューションは、スーパーピクセル生成に対する先験的な知識を組み入れることにより、１次元での増大する処理量を低減することによって、時間的およびビュー一貫性のあるスーパーピクセル生成をもたらす。この目的のために、第１のマルチビュー捕捉、および時間的に連続した第２のマルチビュー捕捉のビューの直列化が行われる。次いで直列化されたビューに対して、時間的一貫性を有するスーパーピクセルを生成するためのアルゴリズムが適用される。

一実施形態では、第２のマルチビュー捕捉のビューに対して生成されたスーパーピクセルのラベルは、第１のマルチビュー捕捉の対応するビューに対して生成されたスーパーピクセルを用いて精細化（refine）される。他の実施形態では、第２のマルチビュー捕捉のビューに対して生成されたスーパーピクセルのラベルは、第２のマルチビュー捕捉の隣接ビューに対して生成されたスーパーピクセルを用いて精細化される。両方の実施形態では、スーパーピクセルラベルに対して事後補正が適用され、これはより最近に処理されたビューに対するスーパーピクセルを改善するために、前に処理されたビューに対して生成されたスーパーピクセルを利用する。例えば補正は、スーパーピクセルラベルを精細化するために、色情報、深さ情報、および動きベクトルなどの幾何学的測度または類似性測度を利用する。

マルチビュー捕捉のシーケンスに対する時間的一貫性を有するスーパーピクセルを生成するための方法の一実施形態を概略的に示す図である。 図１による方法を行うように構成された装置の第１の実施形態を概略的に示す図である。 図２による方法を行うように構成された装置の第２の実施形態を概略的に示す図である。 単一画像センサによって、およびマルチビュー画像センサまたは複数の画像センサによって取得された、画像シーケンスの例を示す図である。 時間的一貫性を有するスーパーピクセルを生成するための全体的な方式を示す図である。 時間的およびまたマルチビュー一貫性のあるスーパーピクセルを生成するための方式において、画像入力の増加と共に生じる問題の概略を示す図である。 マルチビュー画像の導入によって引き起こされる自由度の増加を示す図である。 マルチビュー画像の直列化のための１つの手法を示す図である。 時間的およびマルチビュー一貫性のあるスーパーピクセル生成の、３つの実装形態の簡略化ブロック図である。 図９（ｂ）に示される実装形態の基礎をなす処理方式を示す図である。 図９（ｂ）に示される実装形態の基礎をなす処理方式を示す図である。 図９（ｃ）に示される実装形態の基礎をなす処理方式を示す図である。 図９（ｃ）に示される実装形態の基礎をなす処理方式を示す図である。 図９（ｃ）に示される実装形態の基礎をなす処理方式を示す図である。 図９（ｃ）に示される実装形態の基礎をなす処理方式を示す図である。 図９（ｃ）に示される実装形態の基礎をなす処理方式を示す図である。 図９（ｃ）に示される実装形態の基礎をなす処理方式を示す図である。 図９（ｃ）に示される実装形態の基礎をなす処理方式を示す図である。 図９（ｃ）に示される実装形態の基礎をなす処理方式を示す図である。 スーパーピクセルマップの詳細を示す図である。 ２つの異なるスーパーピクセルマップの詳細を示す図である。 ２つの異なるスーパーピクセルマップにおける一致の決定を示す図である。 ２つの時間インスタンスにわたる静止シーンの処理の例を示す図である。 ２つの時間インスタンスに対する異なるビューの直列化の後に生成される、中間スーパーピクセルを示す図である。 ２つの時間インスタンスに対する異なるビューの直列化の後に生成される、中間スーパーピクセルを示す図である。 両方の時間インスタンスにおける一致するビューの直接比較のための、図２４〜２５に示される中間スーパーピクセルマップを示す図である。 両方の時間インスタンスにおける一致するビューの直接比較のための、図２４〜２５に示される中間スーパーピクセルマップを示す図である。 両方の時間インスタンスにおける一致するビューの直接比較のための、図２４〜２５に示される中間スーパーピクセルマップを示す図である。 ２つの時間インスタンスにわたる動的シーンの処理の例を示す図である。 ２つの時間インスタンスに対する異なるビューの直列化の後に生成される、中間スーパーピクセルを示す図である。 ２つの時間インスタンスに対する異なるビューの直列化の後に生成される、中間スーパーピクセルを示す図である。 両方の時間インスタンスにおける一致するビューの直接比較のための、図３０〜３１に示される中間スーパーピクセルマップを示す図である。 両方の時間インスタンスにおける一致するビューの直接比較のための、図３０〜３１に示される中間スーパーピクセルマップを示す図である。 両方の時間インスタンスにおける一致するビューの直接比較のための、図３０〜３１に示される中間スーパーピクセルマップを示す図である。

次に、より良い理解のために、本発明が図を参照してより詳細に述べられる。本発明はこれらの例示的実施形態に限定されず、特定の特徴はまた、添付の特許請求の範囲において定義される本発明の範囲から逸脱せずに有効に組み合わされるおよび／または変更され得ることが理解されるべきである。

図１は、マルチビュー捕捉のシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成するための方法の一実施形態を概略的に示す。第１のステップでは、第１のマルチビュー捕捉のビューおよび第２のマルチビュー捕捉のビューから、結合されたパスを形成する順序付けられたビューのシーケンスが生成され（１０）、第２のマルチビュー捕捉のビューは、第１のマルチビュー捕捉のビューの順序と逆の順序を有する。第２のステップでは、順序付けられたビューのシーケンスに対して、時間的一貫性を有するスーパーピクセルが生成される（１１）。

本発明による方法を行うように構成された装置２０の一実施形態が、図２に概略的に示される。装置２０は、例えばネットワークまたは外部記憶システムから、マルチビュー捕捉のシーケンスを受け取るための入力２１を有する。あるいはマルチビュー捕捉のシーケンスは、ローカル記憶ユニット２２から取り出される。シーケンス生成器２３は、第１のマルチビュー捕捉のビューおよび第２のマルチビュー捕捉のビューから、結合されたパスを形成する順序付けられたビューのシーケンスを生成し（１０）、第２のマルチビュー捕捉のビューは、第１のマルチビュー捕捉のビューの順序と逆の順序を有する。次いでスーパーピクセル生成器２４は、順序付けられたビューのシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成する（１１）。結果としての時間的一貫性を有するスーパーピクセルは、好ましくは出力２５を通じて利用可能にされる。スーパーピクセルはまた、ローカル記憶ユニット２２に記憶され得る。出力２５はまた、入力２１と共に、単一の双方向インターフェースに組み合わされ得る。もちろん異なるユニット２３、２４も同様に、全体的または部分的に単一のユニットに組み合わされることができ、またはプロセッサ上で実行するソフトウェアとして実現され得る。

本発明による方法を行うように構成された装置３０の他の実施形態が、図３に概略的に示される。装置３０は、処理デバイス３１と、実行されたときに、述べられる方法の１つによるステップを装置に行わせる命令を記憶したメモリデバイス３２とを備える。

例えば処理デバイス３１は、述べられる方法の１つによるステップを行うように適合されたプロセッサとすることができる。実施形態では上記適合は、プロセッサが、述べられる方法の１つによるステップを行うように、構成される、例えばプログラムされることを含む。

本明細書で用いられるプロセッサは、マイクロプロセッサ、ディジタル信号プロセッサ、またはそれらの組み合わせなどの１または複数の処理ユニットを含み得る。

ローカル記憶ユニット２２、およびメモリデバイス３２は、揮発性および／または不揮発性メモリ領域、およびハードディスクドライブ、ＤＶＤドライブなどの記憶デバイスを含むことができる。メモリの一部は、提案されるソリューションの原理による本明細書で述べられるようなプログラムステップを行うように処理デバイス３１によって実行可能な命令のプログラムを有形に具体化した、処理デバイス３１によって読み出し可能な、非一時的なプログラム記憶デバイスである。

以下では、提案される手法がより詳しく述べられる。［３］では、時間的一貫性を有するスーパーピクセルアルゴリズムが開発されており、これは例えばムービーなどの画像シーケンスに応用可能である。画像シーケンスの例は、図４に示される。部分図（ａ）および（ｂ）は、互いに異なる時間インスタンスｔ_iに対する画像フレームを生成する単一画像センサＣ０を示す。部分図（ｃ）および（ｄ）に示されるように、単一画像センサがマルチビューセンサに置き換えられた場合、または同時捕捉カメラの数が増加されたときは、互いに異なる各時間インスタンスｔ_iにおいて、複数の画像がもたらされる。

時間的一貫性を有するスーパーピクセル（Temporally consistent superpixel：ＴＣＳ）を生成する一般的な方式は、図５に示される。この方式におけるスーパーピクセルアルゴリズムは、単一のソリューションに限定されない。例えば［３］で述べられる方法、または任意の他の適切な手法が用いられ得る。ブロック図は、時間的一貫性を有するスーパーピクセルを生成するために、後続のフレームが必要であることを示す。時間的一貫性を有するスーパーピクセルは、スーパーピクセルの一貫性を有するラベル付けによって特徴付けられ、これは連続するフレーム間のわずかな変化は、局部的に持続するスーパーピクセルＩＤの使用を妨げないことを意味する。わずかに動く、または形状が変化する、同じ領域に位置するスーパーピクセルは、同じスーパーピクセルＩＤによって一定にラベル付けされる。これは、時間にわたってスーパーピクセルを追跡すること、従ってシーン対象を識別することを可能にする。

時間的一貫性を有するスーパーピクセルの生成は、単一画像センサがマルチビューセンサに置き換えられた場合、または同時捕捉カメラの数が増加されたときは、より複雑になる。立体画像シーケンスの場合は、画像センサの数を２つに、例えば示される９個のセンサＣ１・・・Ｃ９の代わりにＣ４およびＣ６に制限することによって、図４（ｃ）および（ｄ）に示される例に含まれる。一般にビューの数は任意であり、１より大きな任意の数が選ばれ得る。しかし以下の説明は複数のカメラおよび明視野カメラを対象とするので、「ビュー」という用語は「センサ」という用語と置き換え可能である。

図６は、時間的（ＴＣＳ）およびまたマルチビュー（ＭＣＳ）一貫性を有するスーパーピクセルを生成する方式において、画像入力の増加に伴って生じる問題の概略を示す。ここで後続のマルチビュー画像が入力であり、スーパーピクセル生成は、空間的（マルチビュー）および時間的（順次的）一貫性を考慮に入れなければならない。しかしこれは、新しいセグメンテーションタスクによって扱われなければならない自由度を増加させる。図６において望まれる出力は、時間的およびマルチビュー一貫性のあるスーパーピクセルのシーケンスである。

マルチビュー画像の導入によって引き起こされる自由度の増加は図７に示され、これは図７（ａ）に示される単一ビューシーケンスを、図７（ｂ）に示されるマルチビューシーケンスと比較している。示される両方向矢印は、スーパーピクセルのラベル付けにおける一貫性に対する要求を示す。これは、異なるビューおよび／または異なる時間インスタンスにおいて見られる同じシーン領域を対象とするときに、矢印によって連結された画像内で生成されるスーパーピクセルは、それらのＩＤを通じてトレース可能でなければならないことを意味する。両方向矢印は、２つのカテゴリに分けられる。第１のカテゴリは時間的スーパーピクセル（ＴＳＰ）、すなわち異なる時間インスタンスの一致するマルチビューに属するスーパーピクセルであり、第２のカテゴリは同時マルチビュースーパーピクセル（ＭＳＰ）、すなわち同じ時間インスタンスの異なるビューに属するスーパーピクセルである。ＴＳＰ関係は破線の矢印でマークされ、ＭＳＰ関係は実線の矢印でマークされる。ＭＳＰおよびＴＳＰ関係の数は、直交する（矩形の）隣接するもののみを組み入れ、対角線の隣接するものを無視することによる、理論的に可能なサブセットであることが留意されるべきである。これは、画像間の空間的距離によって正当化される。図７に含まれる関係は、直接隣接する画像を連結するもののみであり、これは最小距離を有するものと同様である。除外された、直交でない隣接するものは、常により遠くに離れている。しかしこれは直交でない隣接するものにわたるスーパーピクセルＩＤ追跡を妨げるものではない。

増加された自由度に対処するために、マルチビュー画像に対して直列化が適用される。以下では例示として３×３のマルチビュー画像を参照して、直列化が述べられる。ソリューションは、立体視を含むマルチビュー画像の任意の配置に対して一般化され得る。図８は、３つの時間インスタンスｔ₁、ｔ₂、およびｔ₃を示す。より大きな画像シーケンスはそれに従って、図示の直列化方式を続けることによって取り扱われる。

図示の例における直列化走査は、ビューＣ１．１から開始する。ドットの前の数字はビュー位置Ｃ１を示し、ドットに続く数字は時間インスタンスｔ₁を示す。例において直列化走査は、Ｃ１．１からＣ４．１およびＣ７．１へ縦に降りて実行し、常に最も近い隣接するビューを接続する。次いで走査はＣ８．１へ右に曲がり、その後にＣ５．１およびＣ２．１へ上に行く。直列化実行は続いてＣ３．１へ右に曲がり、Ｃ６．１およびＣ９．１へ下に降りる。この方式は単に例である。もちろん直接隣接するものの間に最小距離を有する、１つの時間インスタンス内のすべてのビューを接続するための他の直列化順序が可能である。

直列化は、ｔ₁に属するすべてのビューを走査した後に、常に一致するビューである、最小距離を有するビューに進むことにより、次の時間インスタンスｔ₂に属するビューに取り掛かる。図８では、これはＣ９．２である。言い換えればマルチ走査直列化は、隣接する時間インスタンスに対する一致するビューを連結する。

後の時間インスタンス内の走査に対しては、ビューの間の最良の一貫性を達成するため、および異なる走査順序を混合しないようにするために、前と逆に順序付けられた走査を用いることが有利である。図８の例では走査は、Ｃ９．２、Ｃ６．２、Ｃ３．２、Ｃ２．２、Ｃ５．２、Ｃ８．２、Ｃ７．２、Ｃ４．２、およびＣ１．２となる。第３の時間インスタンスｔ₃は、再び時間インスタンスｔ₁と同様に取り扱われ、すなわち走査順序はもう一度逆にされる。より一般的には、さらなる時間インスタンスｔ_kは、前の時間インスタンスｔ_k-2のように取り扱われることになる。

すべての後の時間インスタンス（２番目以降）の走査順序は、前の時間インスタンスと逆に順序付けられた走査であることが好ましい。そうでない場合は、後に続く時間インスタンスでは異なって再順序付けされるようになり、生成されるスーパーピクセルにおける時間的不一致の増加を引き起こすようになる。これは、時間的一貫性における損失に繋がり得る。

以下では、時間的およびマルチビュー一貫性のあるスーパーピクセルを生成するための、提案されるソリューションの３つの実装形態が、より詳しく述べられる。３つすべての実装形態は、スーパーピクセル一貫性を改善する。図９は、３つの実装形態の簡略化されたブロック図を示す。すべては共通して、直列化走査を実行するマルチビュー直列化ブロック４０、および時間的一貫性を有するスーパーピクセルを生成するためのＴＣＳブロック４１を有する。

図８に示される直列化方式はすでに、時間的およびマルチビュー一貫性のあるスーパーピクセルを生成するための最も簡単なソリューションを表しており、これは図９（ａ）に示される。このソリューションは、対象オクルージョンによって影響されない静止シーン領域に対する、一貫性を有するスーパーピクセルラベル付けをもたらす。これは、画像内のシーン対象が、カメラから十分に大きな距離を有する場合に当てはまる。直列化されたマルチビュー画像は、時間的およびマルチビュー一貫性のあるスーパーピクセルに近くまで生成するためのさらなる処理ステップなしに、単にＴＣＳブロック４１によって処理される。カメラの近くに位置する対象の場合は、スーパーピクセル一貫性は保証され得ない。しかし追加の処理量は最小である。

スーパーピクセル一貫性は、時間的スーパーピクセル精細化ブロック４２を組み入れた、図９（ｂ）に示されるソリューションによって改善され得る。基礎をなす処理方式は、図１０および図１１に示される。両方の図は、異なる処理ステップを示す部分図（ａ）および（ｂ）に分割される。（ａ）のラベルが付けられた部分図は直列化方式を示し、これはマルチビュー直列化を行う図９の第１のステップＳ１の一部であり、その後に中間スーパーピクセルＩＤを生成するためのＴＣＳアルゴリズムが続き、一方、（ｂ）のラベルが付けられた部分図は、スーパーピクセルラベル精細化のために実行される後処理ステップＳ２を示す。後に詳しく述べられる後処理ステップＳ２は、意図せずに生成されたスーパーピクセルラベルＩＤを取り除き、それらを時間的およびマルチビュー一貫性のあるスーパーピクセルを生成するために必要な最小まで低減するように働く。しかしスーパーピクセル形状は保たれる。この第２のソリューションは、動的シーンおよび対象オクルージョンを取り扱うのに、より適している。

図１０および図１１に示されるように、ステップＳ１は、後処理ステップＳ２と交互に適用される。精細化されたソリューションにおけるマルチビュー画像の直列化は、図８に示されるものと同じであるが、これはＩＤ精細化ステップＳ２によって横断（intersect）される。図１０（ａ）に示される時間インスタンスｔ₁およびｔ₂における中間の時間的一貫性を有するスーパーピクセルの生成の後に、ＩＤ精細化Ｓ２は、図１０（ｂ）における破線の矢印によって示されるように、一致するビューの画像を分析することによって時間的一貫性を確実にする。第１のステップＳ１内ですでに取り扱われた一致するビューの画像は、二度目に扱われる必要はなく、スキップされ得る。図１０（ｂ）では、これはＣ９．１およびＣ９．２の場合に当てはまる。ＩＤ精細化Ｓ２は、時間インスタンスｔ₂におけるスーパーピクセルラベルＩＤの１または複数を変更することができる。次いで結果としてのラベルＩＤは、図１１に示される次の処理ステップにおいて用いられる。ここで図１１（ａ）に示される第１のステップＳ１は、前に精細化されたスーパーピクセルＩＤの、ビュー直列化および処理を続けて、ＴＣＳアルゴリズムを適用することによって時間インスタンスｔ₃に対する中間スーパーピクセルを生成することにある。次いで図１１（ｂ）に示されるように、さらなるＩＤ精細化ステップＳ２が続き、意図せずに生成されたスーパーピクセルラベルＩＤを低減することによって、一致するビューの間の時間的一貫性を確実にする。さらなる時間インスタンスｔ_kは、時間インスタンスｔ_k-2と同じ方法で取り扱われることになる。

上述の図９（ｂ）の精細化されたソリューションは、改善されたスーパーピクセル一貫性、およびより高いロバスト性をもたらす。さらにこれは、カメラに近く、従ってマルチビューにおけるオクルージョンを含み得る、移動する対象を含んだ動的シーンを扱う能力がある。同時にこれは、わずかに増加された処理能力を必要とするだけである。

図９（ｃ）に示されるさらに改善されたソリューションが、図１２から１９を参照して以下で説明される。

この手法は、第２のＩＤ精細化を追加することによって図９（ｂ）のソリューションをさらに拡張し、これはＩＤ精細化ステップＳ２内で適用される。スーパーピクセル精細化ブロック４３によって実行されるＩＤ精細化ステップの一方はＭＳＰ関係を取り扱うが、スーパーピクセル精細化ブロック４２によって実行される他方のＩＤ精細化ステップはＴＳＰ関係を扱う。ＩＤ精細化プロセスを倍にすることで、結果としてスーパーピクセルラベル一貫性のさらなる改善を生じるが、また第１のステップＳ１と後処理ステップＳ２との間のより高度な横断を必要とする。

この手法の処理ステップは図１２に示されるように開始し、ＴＣＳアルゴリズムを適用するように、図１２（ａ）に示されるように時間インスタンスｔ₁におけるビューの第１の部分がステップＳ１において直列化される。次いで図１２（ｂ）に示されるように、ＭＳＰ関係に対してＩＤ精細化ステップが行われる。扱われる画像は同じ時間インスタンスに属するので、ＴＳＰ精細化は必要ない。精細化されたスーパーピクセルＩＤは図１３（ａ）に進むために用いられ、そこでは直列化されたビューはＴＣＳによって処理され、図１３（ｂ）でのステップＳ２において中間ＩＤが精細化されて、時間インスタンスｔ₁の処理を完了する。ＭＳＰ関係Ｃ７．１からＣ８．１、およびＣ２．１からＣ３．１に対するＩＤ精細化は冗長であり、従ってスキップされる。

時間インスタンスｔ₂の処理は、３つの横断からなり、図１４（ａ）において開始し、そこでは直列化されたビューＣ９．２、Ｃ６．２、およびＣ３．２が、ＴＣＳアルゴリズムを用いて処理される。ＴＳＰ関係に関するＩＤ精細化は、図１４（ｂ）での破線の矢印によって示されるように、第２のステップＳ２において行われる。ＴＣＳ関係Ｃ９．１からＣ９．２に対する冗長な精細化はスキップされる。図１５（ａ）に示される第２の横断は、ＴＣＳアルゴリズムをＣ２．２、Ｃ５．２、およびＣ８．２に適用し、その後に図１５（ｂ）に示されるように、Ｃ６．２からＣ５．２、およびＣ９．２からＣ８．２へのＭＳＰに関係するＩＤ精細化、ならびに時間インスタンスｔ₁からの一致するビューを用いたＴＳＰに関係するＩＤ精細化が続く。図１６（ａ）に示されるように、第３の横断は、ＴＣＳを用いて、ｔ₂での残りのビューすなわちＣ７．２、Ｃ４．２、およびＣ１．２を扱う。ＩＤ精細化はやはり、図１６（ｂ）に示されるようにＭＳＰ関係およびＴＳＰ関係に関する精細化の縦続である。Ｃ８．２からＣ７．２のＭＳＰ関係は冗長であり、スキップされる。これは時間インスタンスｔ₂を完了させる。

時間インスタンスｔ₃も３つの横断を有し、図１７（ａ）においてＣ１．３、Ｃ４．３、およびＣ７．３に対するＴＣＳアルゴリズムの適用で開始する。次いで、図１７（ｂ）における破線の矢印によって示されるように、Ｃ１．３を除いて、ＴＳＰ関係に関するＩＤ精細化が行われる。図１８（ａ）は第２の横断を示し、そこでは再び前に生成されたスーパーピクセル精細化を用いて、Ｃ８．３、Ｃ５．３、およびＣ２．３に対してＴＣＳアルゴリズムが適用される。図１８（ｂ）は、冗長なＣ７．３からＣ８．３への関係を除いた、ＭＳＰ関係を考慮した２つのＩＤ精細化が示され、その後に一致するビューを結合するＴＳＰ関係の考察が続く。時間インスタンスｔ₃を完了する最後の横断は図１９に示され、部分図（ａ）では、ビューＣ３．３、Ｃ６．３、およびＣ９．３がＴＣＳアルゴリズムを用いて処理され、部分図（ｂ）では、ＭＳＰ関係Ｃ５．３からＣ６．３およびＣ８．３からＣ９．３に関するＩＤ精細化が処理され、その後に３つのＴＳＰ関係Ｃ３．２からＣ３．３、Ｃ６．３からＣ６．３、およびＣ９．２からＣ９．３に対する一致するビューのＩＤ精細化が続く。これは、最初の３つの時間インスタンスのために必要な処理を完了する。さらなる時間インスタンスｔ_kは、時間インスタンスｔ_k-2と同じ方法で取り扱われることになる。

上述のソリューションは、時間的およびマルチビュー一貫性のあるスーパーピクセル生成において、最も高い品質をもたらす。同時に、従来のソリューションのために必要な多項式処理の増加を回避する。

ＩＤ精細化は必ずしもビュー内のすべてのスーパーピクセルに適用されず、いくつかの定義が正しく定式化される必要がある。図２０は、スーパーピクセルマップの詳細を示し、各スーパーピクセルＩＤは異なる濃淡値を有する。マップは、各ピクセルに対して、１つのスーパーピクセルへのメンバーシップを決定する。スーパーピクセルマップは、ビューｃおよび時間インスタンスｔに属する。これは、それらのＩＤによって区別されるΦ個のスーパーピクセルを含み、スーパーピクセルの組ＳＰＳ（ｃ，ｔ）を形成する。

ＳＰＳ（ｃ，ｔ）：｛ＳＰ_c,t（１），・・・ＳＰ_c,t（φ），・・・ＳＰ_c,t（Φ）｝
各スーパーピクセルは、以下によるピクセルの組である。

ＳＰ_c,t（φ）：｛ｐ_φ,c,t（１），・・・ｐ_φ,c,t（ｎ），・・・ｐ_φ,c,t（Ｎ）｝
これは、下記の座標を有するＮ個のピクセルを含み、
ｐ_φ,c,t（ｎ）＝［ｘ_φ,c,t（ｎ），ｙ_φ,c,t（ｎ）］
以下の重心ｍｃ_c,t（φ）を有する。

図２１は、２つの異なるスーパーピクセルマップの詳細を示すことによって、前の公式を一般化する。スーパーピクセルの第１の組ＳＰＳ（ｖ，ｉ）は、ビューｖおよび時間インスタンスｉに属し、スーパーピクセルの第２の組ＳＰＳ（ｗ，ｊ）は、ビューｗおよび時間インスタンスｊに属する。両方のスーパーピクセルマップ内で、単一のスーパーピクセルがマークされる。これら２つは、
ＳＰｖ，ｉ（φ）：｛ｐ_φ,v,i（１），・・・ｐ_φ,v,i（ｎ），・・・ｐ_φ,v,i（Ｎ）｝
ｐ_φ,v,i(ｎ）＝［ｘ_φ,v,i（ｎ），ｙ_φ,v,i（ｎ）］
ｍｃ_v,i（φ）＝［Ｘ_v,i（φ），Ｙ_v,i（φ）］
および
ＳＰ_w,j（ξ）：｛ｐ_ξ,w,j（１），・・・ｐ_ξ,w,j（ｍ），・・・ｐ_ξ,w,j（Ｍ）｝
ｐ_φ,v,i（ｎ）＝［ｘ_ξ,w,j（ｍ），ｙ_ξ,w,j（ｍ）］
ｍｃ_w,j（ξ）＝［Ｘ_w,j（ξ），Ｙ_w,j（ξ）］
スーパーピクセルマップＳＰＳ（ｖ，ｉ）およびＳＰＳ（ｗ，ｊ）を有する２つのビューの間の、図９（ｂ）および（ｃ）でのソリューションのステップＳ２において適用されるＩＤ精細化は、両方のビューのスーパーピクセルＩＤを分析する。最初に、両方のＳＰＳの組に存在するスーパーピクセルＩＤは除外され、これは以下のサブセットを生じる。

ＳＰＳ^*（ｖ，ｉ）＝ＳＰＳ_{ID missing in(w,j)}（ｖ，ｉ）
および
ＳＰＳ^*（ｗ，ｊ）＝ＳＰＳ_{ID missing in(v,i)}（ｗ，ｊ）
その後にソリューションは、そのＩＤが消滅した残りのスーパーピクセルＳＰＳ^*（ｖ，ｉ）を取り込み、それらの所在を、すべての不一致のＩＤを保持するスーパーピクセルサブセットＳＰＳ^*（ｗ，ｊ）内で検索する。

候補ＳＰＳ^*（ｗ，ｊ）内で、ＳＰＳ^*（ｖ，ｉ）メンバーＳＰ_v,i（φ）に対する対応を見出したときは、これはスーパーピクセルＳＰ_w,j（ξ_φ）であり、一貫性を維持するためにＳＰ_w,j（ξ_φ）のスーパーピクセルＩＤは、ＳＰ_v,i（φ）のスーパーピクセルＩＤによって置き換えられる。インデックスξ_φは、φ→ξ_φの対応を示す。さらにＩＤの再ラベル付けは、ＳＰ_w,j（ξ_φ）を取り除くことによって、候補の組ＳＰＳ^*（ｗ，ｊ）の低減を引き起こす。

図２２は、どのように対応が決定されるかを示す。ＳＰＳ^*（ｗ，ｊ）の候補から、ＳＰＳ^*（ｖ，ｊ）メンバースーパーピクセルＳＰ_v,i（φ）に対する対応を見出すために、下記により幾何学的距離Ｄが計算され、

対応性関数が下記により決定される。

言い換えればスーパーピクセルＳＰ_v,i（φ）に対して、ＳＰ_v,i（φ）と、ＳＰ_w,j（ξ）から取られた不一致のスーパーピクセルである、サブセットＳＰＳ^*（ｗ，ｊ）のすべてのメンバーとの間の、距離Ｄが計算される。見出された最小距離Ｄが、対応スーパーピクセルインデックスξ_φを決定する。これは空間的に最も近い重心を有するスーパーピクセルである。

物理的な理由により、幾何学的距離Ｄは、シーンに固有の動き、およびマルチビューベースラインのサイズによって決定される制限を超えるべきではない。従って下記の最大許容幾何学的距離を超える、対応スーパーピクセルＳＰ_w,j（ξ_φ）は除外される。

変数ＤはＳＰ_v,i（φ）のピクセルカウント、平方根は仮想的なスーパーピクセル直径、変数ｓは予想される最大変位または動きである。ｓの値は、ＴＣＳアルゴリズム内での動き予測から得られる結果によって制御されることが好ましい。スーパーピクセルＳＰ_v,i（φ）に対して推定される局所的動きベクトルは、最大許容幾何学的距離を拡張するために用いられ得る。

検索領域をシーンに存在する動きに適応させるための第２のソリューションは、下記により局所的動きだけ、スーパーピクセル重心をシフトすることによって、式（１）の幾何学的距離Ｄの計算を変更することであり、

ここで、ｆｌｏｗ_v,i（φ）は、ＳＰ_v,i（φ）に対する主要動きベクトル（オプティカルフロー）を表す。

ｆｌｏｗ_v,i（φ）＝［Ｆｘ_v,i（φ），Ｆｙ_v,i（φ）］ （５）
対応性関数の式２に対する第３の有利なソリューションは、対応スーパーピクセルに対して検索するために重複領域を決定し、最大の大きさの重複領域を有する、合致するものを選択することである。重複領域は下記のカットセット基数によって決定される。

｜ＳＰ_v,i（φ）∩ＳＰ_w,j（ξ）｜ （６）
それにより変更された対応関数は以下となる。

式（７）は、すべてのスーパーピクセルＳＰＳ^*（ｗ，ｊ）を対象とするが、式（６）によるカットセット基数のいずれかがゼロより大きくなる場合にのみ適用される。そうでない場合は、代わりに式（２）が使用される。

スーパーピクセルＩＤ精細化のための前の３つのソリューションは、幾何学的測度のみを用いるが、利用可能であれば他の非幾何学的フィーチャ、さらには複数のそれらによって、スーパーピクセル間の類似性を分析することも可能である。フィーチャは、スーパーピクセルの性質を特性化し、色情報、深さ情報、動きベクトルなどによって表現される。フィーチャ特性のそれぞれは、実行可能な評価をもたらすために特定の類似性測度を有することになる。

スーパーピクセルに対する色情報フィーチャは、ヒストグラムによって表され得る。ヒストグラム距離に対する様々な測度が存在する［４］［５］。例はカイ二乗距離

または［５］で述べられているアースムーバ距離（earth mover distance）である。式（８）および［５］におけるヒストグラムｈ_φ,v,iおよびｈ_ξ,w,jは、正規化された基数を有するスーパーピクセルＳＰ_v,i（φ）およびＳＰ_w,j（ξ）に属し、すなわち両方のヒストグラムは同数の間隔を有する。

また深さ情報フィーチャは、下記による不等の正規化平均差などの、適切な距離測度を必要とする。

深さ情報を組み入れることは、色情報において起こり得る曖昧さを取り除く。εの閾値は、式（９）に対して通常１ピクセルに設定され、深さ情報に存在するノイズを除去するように適応される必要がある。深さ平均

および

は、２つのスーパーピクセルＳＰ_v,i（φ）およびＳＰ_w,j（ξ）に対する深さ値を表す。

式（８）および式（９）において定義される距離測度は、１つのフィーチャに対して個々に適用された場合に、式（２）における距離Ｄの識別および置き換えのために用いられる。しかし２つ以上のフィーチャを、より信頼性のある証拠に組み合わせることが好ましい。これは例えば、ユークリッド結合（Euclidean combination）によって、または多数決によって達成され得る。

ユークリッド結合は、下記により、式（２）における最小に対して検索し、

Ｅ_v,i→w,j（φ，ξ）は下記平方根である。

式（１１）における距離測度は、簡略化された表記法を有することに留意されたい。

多数決は上記とは異なり、それぞれ専用化されたフィーチャ汎関数によって、異なるスーパーピクセル精細化候補を決定することによって最小を計算する。

ここで距離Ｄ_featureは、式（１）、（４）、（７）、（８）、および／または（９）を表す。その後に最も多くの投票を受け取ったスーパーピクセルが、スーパーピクセルＩＤ置き換えのために選択される。多数検出が失敗した場合に対して、例外が定義される。ここでユークリッド結合は、決定を強制する必要がある。

多数決ソリューションのさらなる変更は、重み付き投票を用いることである。重み付き多数決では、深さフィーチャ距離の結果は、最終決定へのその影響を大きくするように２回カウントされる。他の重みの組み合わせも可能である。

以下では、開示されるアルゴリズムの機能が、以下の２つの例によって示される。

第１の例は、２つの時間インスタンスｔ_iおよびｔ_jにわたる静止シーンを処理する。シーンは静止であるので、図２３に示されるようにすべての一致するビューは同じ画像を示す。部分図（ａ）は、マルチビューカメラ視野による３次元対象ショットの概略を示し、部分図（ｂ）は、２つの扱われる時間インスタンスｔ₁およびｔ₂に対して変化しないままである、９つのビューに対する結果としての画像を示す。

図２４および図２５は、直列化走査（ステップＳ１）の後に適用される、ＴＣＳ（例えば、［３］）によって生成された中間スーパーピクセルを示す。中間スーパーピクセルマップは、走査順序において時間的一貫性を有し、スーパーピクセルＩＤにおけるすべての変化は、異なる濃淡値によって示される。図２４は、９つのビューＣ１．１からＣ１．９までに表れるスーパーピクセルの分割および併合の例を含み、図８で説明されたのと同じ番号付けが用いられる。例えばビューＣ１．１内のスーパーピクセルＳＰ₇は分割され、ビューＣ４．１内に新しいスーパーピクセルＳＰ₇₁を生成する。反対のことが、ビューＣ４．１内のスーパーピクセルＳＰ₇およびＳＰ₇₁で生じる。これらは、ビューＣ７．１において単一のスーパーピクセルＳＰ₇₁に併合される。２つの可能な変化のタイプ、消滅およびＩＤの新たな生成は、上記ですでに説明されている。

図２６から２８は、両方の時間インスタンスにおける一致するビューの直接比較（ＴＳＰ）のための、中間スーパーピクセルマップを示す。この例で示される静止シーンは、各消滅スーパーピクセルに対して適切な新しいスーパーピクセルが生成され、時間的スーパーピクセル一貫性の維持は、開示されるスーパーピクセルＩＤ精細化（ステップＳ２）を適用することによって達成されることを明白にする。

第２の例は、図２９に示されるように２つの時間インスタンスｔ_iおよびｔ_jにわたる動的シーンを処理する。部分図（ａ）は、マルチビューカメラ視野による３次元対象ショットの概略を示し、部分図（ｂ）は、ビューに対する結果としての画像を示す。対象がカメラの前を移動するのに従って、一致するビューに対する画像は異なる。

図３０および図３１は、開示されるアルゴリズムの結果を示し、直列化走査（ステップＳ１）の後に適用されるＴＣＳによって生成された、中間スーパーピクセルを示す。やはり中間スーパーピクセルＩＤ内のすべての変化は異なる濃淡値で示され、ビュー番号付けは図８と同様である。動的シーンの例では、シーン内の移動する対象によって、より多くの変化が生じる。例えば、ビューＣ８．１においてスーパーピクセルＳＰ₇₂が生成され、ビューＣ２．１ではすでに消滅する（図３０）。

図３２から３４に示されるスーパーピクセルマップは、両方の時間インスタンスにおける一致するビューの視覚による比較を可能にする。これは述べられるスーパーピクセルＩＤ精細化（ステップＳ２）がどのように、欠けているスーパーピクセルＩＤに対する適切な新しいスーパーピクセルを見出すかを実証している。それにより図３２では、Ｃ１．１ ＳＰ₇はＣ１．２ ＳＰ₇₆に割り当てられ、Ｃ４．１ ＳＰ₇はＣ４．２ ＳＰ₇₆に割り当てられ、Ｃ４．１ ＳＰ₇₁はＣ４．２ ＳＰ₇₅に割り当てられ、Ｃ７．１ ＳＰ₇₁はＣ７．２ ＳＰ₇₅に割り当てられるなどとなる。ＳＰ₃₁、ＳＰ₃₂、およびＳＰ₅₂などの新しく現れたスーパーピクセルのいくつかのみは、短時間だけ存在し、後に置き換えを見出すことなく消滅する。しかしこれは異常ではなく、単一ビューシーケンスに対してＴＣＳアルゴリズムを用いて時間的一貫性を有するスーパーピクセルを生成するときにも起こる。従ってこれらの場合は、結果としての時間的およびマルチビュー一貫性に対する品質において最大限でもわずかなロスを生じるだけである。
引用文献
［１］Ｘ．Ｒｅｎ ｅｔ ａｌ．："Ｌｅａｒｎｉｎｇ ａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ ｆｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｎｉｎｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ '０３）（２００３），ｐｐ．１０−１７．
［２］Ｒ．Ａｃｈａｎｔａ ｅｔ ａｌ："ＳＬＩＣ ｓｕｐｅｒｐｉｘｅｌｓ ｃｏｍｐａｒｅｄ ｔｏ ｓｔａｔｅ−ｏｆ−ｔｈｅ−ａｒｔ ｓｕｐｅｒｐｉｘｅｌ ｍｅｔｈｏｄｓ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．３４（２０１２），ｐｐ．２２７４−２２８２．
［３］Ｍ．Ｒｅｓｏ ｅｔ ａｌ．："Ｔｅｍｐｏｒａｌｌｙ Ｃｏｎｓｉｓｔａｎｔ Ｓｕｐｅｒｐｉｘｅｌｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１３ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ '１３），ｐｐ．３８５−３９２
［４］Ｂ．Ｓｃｈｉｅｌｅ ｅｔ ａｌ．："Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ Ｒｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ Ｈｉｓｔｏｇｒａｍｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ '９６），ｐｐ．６１０−６１９．
［５］Ｙ．Ｒｕｂｎｅｒ ｅｔ ａｌ．："Ｔｈｅ Ｅａｒｔｈ Ｍｏｖｅｒ'ｓ Ｄｉｓｔａｎｃｅ ａｓ ａ Ｍｅｔｒｉｃ ｆｏｒ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．４０（２０００），ｐｐ．９９−１２１．

Claims (9)

1. 各マルチビュー捕捉が少なくとも２つのビューを含む、マルチビュー捕捉のシーケンスに対して、時間的一貫性およびマルチビュー一貫性を有するスーパーピクセルを生成するための方法であって、
   第１のマルチビュー捕捉のビューおよび第２のマルチビュー捕捉のビューから結合されたパスを形成する、順序付けられたビューのシーケンスを生成するステップ（１０）であって、前記結合されたパスにおいて前記第２のマルチビュー捕捉のビューは、前記第１のマルチビュー捕捉のビューの順序と逆の順序を有する、前記ステップと、
   前記順序付けられたビューのシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成する（１１）アルゴリズムを適用するステップと、
   を含む、前記方法。
2. 前記第１のマルチビュー捕捉および前記第２のマルチビュー捕捉は、時間的に連続するマルチビュー捕捉である、請求項１に記載の方法。
3. 前記第１のマルチビュー捕捉の対応するビューに対して生成されたスーパーピクセルを使用して、前記第２のマルチビュー捕捉のビューに対して生成されたスーパーピクセルのラベルを精細化するステップをさらに含む、請求項１または２に記載の方法。
4. 前記第２のマルチビュー捕捉の近傍のビューに対して生成されたスーパーピクセルを使用して、前記第２のマルチビュー捕捉のビューに対して生成されたスーパーピクセルのラベルを精細化するステップをさらに含む、請求項１から３のいずれか１項に記載の方法。
5. 幾何学的測度および類似性測度の少なくとも一方がスーパーピクセルのラベルを精細化するために使用される、請求項３または４に記載の方法。
6. 前記類似性測度は、色情報、深さ情報及び動きベクトルのうちの少なくとも１つを含む、請求項５に記載の方法。
7. 各マルチビュー捕捉が少なくとも２つのビューを含む、マルチビュー捕捉のシーケンスに対して、時間的一貫性およびマルチビュー一貫性を有するスーパーピクセルを生成することを可能にする命令を記憶したコンピュータ読取可能媒体であって、前記命令はコンピュータによって実行されたときに、前記コンピュータに、
   第１のマルチビュー捕捉のビューおよび第２のマルチビュー捕捉のビューから結合されたパスを形成する、順序付けられたビューのシーケンスを生成させ（１０）、前記結合されたパスにおいて前記第２のマルチビュー捕捉のビューは、前記第１のマルチビュー捕捉のビューの順序と逆の順序を有し、
   前記命令はさらに、前記コンピュータに、
   前記順序付けられたビューのシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成する（１１）アルゴリズムを適用させる、前記コンピュータ読取可能媒体。
8. 各マルチビュー捕捉が少なくとも２つのビューを含む、マルチビュー捕捉のシーケンスに対して、時間的一貫性およびマルチビュー一貫性を有するスーパーピクセルを生成するように構成された装置（２０）であって、
   第１のマルチビュー捕捉のビューおよび第２のマルチビュー捕捉のビューから結合されたパスを形成する、順序付けられたビューのシーケンスを生成する（１０）ように構成されたシーケンス生成器（２３）であって、前記結合されたパスにおいて前記第２のマルチビュー捕捉のビューは、前記第１のマルチビュー捕捉のビューの順序と逆の順序を有する、前記シーケンス生成器と、
   前記順序付けられたビューのシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成する（１１）アルゴリズムを適用するように構成されたスーパーピクセル生成器（２４）と、
   を備える、前記装置（２０）。
9. 各マルチビュー捕捉が少なくとも２つのビューを含む、マルチビュー捕捉のシーケンスに対して、時間的一貫性およびマルチビュー一貫性を有するスーパーピクセルを生成するように構成された装置（３０）であって、処理デバイス（３１）と、命令を記憶したメモリデバイス（３２）と、を備え、前記命令は前記処理デバイス（３１）によって実行されたときに、前記装置（３０）に、
   第１のマルチビュー捕捉のビューおよび第２のマルチビュー捕捉のビューから結合されたパスを形成する、順序付けられたビューのシーケンスを生成させ（１０）、前記結合されたパスにおいて前記第２のマルチビュー捕捉のビューは、前記第１のマルチビュー捕捉のビューの順序と逆の順序を有し、
   前記命令は前記装置（３０）に、さらに
   前記順序付けられたビューのシーケンスに対して、時間的一貫性を有するスーパーピクセルを生成する（１１）アルゴリズムを適用させる、前記装置（３０）。