JP2015528649A - ３ｄシーンの１以上のビデオを処理する方法 - Google Patents

Abstract

ビュー合成のためにシーンのビデオが処理される。これらのビデオは、各カメラのビューが少なくとも１つの他のカメラのビューと重なり合うように配置された対応するカメラによって捕捉される。現在のブロックごとに、近傍ブロックから動きベクトル又は視差ベクトルが取得される。奥行きブロックは、対応する参照奥行き画像と、動きベクトル又は視差ベクトルとに基づく。動きフィールドの後方ワーピングを用いて、奥行きブロックに基づいて予測ブロックが生成される。次に、予測ブロックを用いた現在のブロックの予測コーディングが行われる。後方マッピングは空間領域において実行することもできる。

Description

本発明は、包括的にはマルチビュービデオをコーディングすることに関し、より詳細には、予測圧縮のために３Ｄマルチビュービデオをコーディングすることに関する。

マルチビュービデオのコーディングは、３次元テレビ（３ＤＴＶ）、自由視点テレビ（ＦＴＶ）、及びマルチカメラ監視等の用途に不可欠である。マルチビュービデオのコーディングは動的ライトフィールドの圧縮としても知られる。本明細書において用いられるとき、コーディングは、例えばコーデックにおける符号化、復号化又は双方を含むことができる。

奥行き画像は、新しい３Ｄビデオコーティング規格におけるデータフォーマットの推定される部分である。奥行き画像を副情報として用いて予測コーティングを行うことは、ビュー合成予測（ＶＳＰ）として知られている。

従来のビデオコーディング、例えばＨ．２６４ＡＶＣ（アドバンストビデオコーディング）規格及びＨ．２６５ＨＥＶＣ（高効率ビデオコーディング）規格によるコーディングでは、近傍ブロックからの動き情報を用いて動きベクトルが導出される。次に、導出された動きベクトルを動きベクトル予測子（ＭＶＰ）として用いて、現在のブロックの動きベクトルが予測される。次に、現在の動きベクトルとＭＶＰとの間の動きベクトル差分（ＭＶＤ）が符号化され、送信される。

図１は、現在のブロックをコーディングする従来の方法を示している。ステップ１１０は、近傍ブロックから、ＭｏｔｉｏｎＤｅｒｉｖｅと呼ばれる動きベクトル又は視差ベクトルを導出する。ステップ１２０は、残差差分を最小にすることを目的とする動き推定技法を適用することによって、現在のブロックについてＭｏｔｉｏｎＣｕｒｒｅｎｔと呼ばれる動きベクトル又は視差ベクトルを求める。ステップ１３０は、動きベクトル差分を計算し、コーディングする：（ＭｏｔｉｏｎＤｉｆｆ＝ＭｏｔｉｏｎＣｕｒｒｅｎｔ−ＭｏｔｉｏｎＤｅｒｉｖｅ）。最終的に、ステップ１４０は残差ブロックをコーディングする。

図２は、対応する従来技術による符号化器を示している。要素２０１は、ピクチャの一部分におけるブロックを示している。要素２０１において、現在のブロックはアスタリスク「＊」によって表され、近傍ブロックはドット「．」によって表される。要素２０１において示すような近傍ブロックから動きベクトル又は視差ベクトルを導出する（２０２）。２０２からの導出された動きベクトル又は視差ベクトルは、動きベクトル予測子（ＭＶＰ）２０３としての役割を果たす。

テクスチャ参照ピクチャバッファー２０４を参照することによって、現在のブロックについて動き推定が行われ（２０５）、現在のブロックのための動きベクトル（ＭｏｔｉｏｎＣｕｒｒｅｎｔ）２０６が生成される。

ＭＶＰとＭｏｔｉｏｎＣｕｒｒｅｎｔとの間の差分を計算した（２０７）後、動きベクトル差分（ＭＶＤ）２０８が得られ、このＭＶＤは符号化されて（２０９）ビットストリーム２１０にされる。

動き推定２０５からの別の出力は参照ピクチャであり、テクスチャ予測子２１１としての役割を果たす。次に、テクスチャ予測子２１１及び現在のピクチャ２１５に基づいてテクスチャ予測を行う（２１２）ことによってテクスチャ残差２１３が得られる。テクスチャ残差２１３も、ビットストリームの一部として符号化される（２１４）。

図３は復号化器を示している。要素３０１において示されるような近傍ブロックから、動きベクトル又は視差ベクトルを導出する（３０２）。導出された動きベクトル又は視差ベクトルは動きベクトル予測子（ＭＶＰ）３０３としての役割を果たす。

コーディングされたビットストリーム３１０から、動きベクトル差分（ＭＶＤ）３０８が復号化され（３０９）、加算器３０７に供給される。動きベクトル予測子３０３及び動きベクトル差分３０８は加算され（３０７）、次に、現在のブロックのために用いられる動きベクトルＭｏｔｉｏｎＣｕｒｒｅｎｔ３０６が得られる。

コーディングされたビットストリーム３１０から、テクスチャ残差ピクチャ３１３が復号化される（３１４）。現在の動きベクトル３０６及びテクスチャ残差ピクチャは、動き補償モジュール３０５への入力である。テクスチャ参照バッファー３０４とともに、動き補償が行われ、最終的に、復号化されたピクチャが出力される（３１５）。

本発明は、テクスチャコーディングのために後方ワーピングを用いることによってビュー合成予測（ＶＳＰ）を行う方法及びシステムに関する。この方法及びシステムにおいて、奥行き成分はテクスチャ成分の後にコーディングされる。

従来の、前方ワーピングに基づくビュー合成予測は、一般的に、参照ビューからのテクスチャ成分及び奥行き成分を用いる。前方ワーピングは、通常、高い忠実度を提供するが、前方ワーピングに基づくＶＳＰの主な欠点は、コーデックの複雑度が大幅に増大することである。

対照的に、本明細書において開示されるような後方ワーピングに基づくビュー合成予測（Ｂ−ＶＳＰ）は複雑度がより低い。したがって、或る特定の用途において、後方ワーピングに基づくＶＳＰが望ましい。さらに、後方ワーピングに基づくＶＳＰは、ブロックに基づくＶＳＰ参照生成を容易にする。

不都合には、後方ワーピングに基づくＶＳＰは、通常、奥行き優先コーディングを必要とする。すなわち、奥行き成分は同じアクセスユニットからの対応するテクスチャ成分の前にコーディングされる。アクセスユニットは、同じ時点における全ての成分（テクスチャ及び奥行き）の集合である。奥行き優先コーディングによって、対応するテクスチャ成分にアクセスする必要がある一切の奥行きコーディングツールの使用が妨げられる。

奥行き優先コーディングを回避しながら後方ワーピングに基づくＶＳＰの利点を活用するために、実施の形態は、近傍ブロックからの動きベクトル又は視差ベクトルを用いて、以前のアクセスユニットにおいて、又は同じアクセスユニットであるが他の視点からコーディングされる奥行き画像等の、以前にコーディングされた奥行き画像から奥行きブロックを導出する。このため、導出された奥行きブロックは、コーディングされることになる現在のブロックのための推定奥行きブロックであると想定される。これは、最終的に、後方ワーピングに基づくＶＳＰのために用いられる。

従来の、前方ワーピングに基づくビュー合成予測は、一般的に、参照ビューからのテクスチャ成分及び奥行き成分を用いる。前方ワーピングは、通常、より高いコストでより高い忠実度を提供する。対照的に、本発明によるビュー合成予測は、テクスチャコーディングのために後方ワーピングを用い、奥行き成分がテクスチャ成分の前にコーディングされることを必要としない。さらに、後方ワーピングに基づくＶＳＰは、ブロックに基づくＶＳＰ参照生成を容易にする。これは複雑度がより低く、実施の利点を有する。

奥行き優先コーディングを回避しながら後方ワーピングに基づくＶＳＰを可能にするために、本発明は、近傍ブロックからの動きベクトル又は視差ベクトルを用いて、以前のアクセスユニットにおいて、又は同じアクセスユニットであるが他の視点からコーディングされた奥行き画像等の、以前にコーディングされた奥行き画像から奥行きブロックを導出する。

近傍動き情報を用いて現在のブロックの動き情報をコーディングする従来技術の方法のフローチャートである。 従来技術の符号化器のブロック図である。 従来技術の復号化器のブロック図である。 本発明の実施の形態による、後方ＶＳＰ予測により、近傍の動き情報又は視差情報を用いて現在のブロックをコーディングする方法のフローチャートである。 本発明の実施の形態による、空間予測を用いる符号化器のブロック図である。 本発明の実施の形態による、時間予測を用いる符号化器のブロック図である。 本発明の実施の形態による、空間予測を用いる復号化器のブロック図である。 本発明の実施の形態による、時間予測を用いる復号化器のブロック図である。 本発明の実施の形態による符号化方法のフローチャートである。 本発明の実施の形態による復号化方法のフローチャートである。 本発明の実施の形態による、近傍ブロックからの奥行き値を推定する例である。 本発明の実施の形態による、近傍ブロックからの奥行き値を推定する別の例である。 本発明の実施の形態による、Ｂ−ＶＳＰモードを用いた奥行きアンカーピクチャにおけるブロックの復号化プロセスを示すフローチャートである。

本発明の実施の形態は、後方ワーピング技法に基づいてビュー合成予測（ＶＳＰ）参照ピクチャを生成するための方法及びシステムを提供する。本方法は、奥行き優先コーディングを用いない。本方法は、近傍ブロックから現在のブロックまでの動き情報又は視差情報を用いて、コーディングされる現在のブロックのための奥行きブロックを導出する。次に、導出された奥行きブロックを用いて後方ワーピングを行う。本明細書において用いられるとき、ビュー合成はシーンの１つ又は複数のビデオから合成ビデオを生成し、合成ビデオにおいて、３Ｄシーンの各ビデオは、特定の姿勢に配列された対応するカメラによって取得され、各カメラのビューは、少なくとも１つの他のカメラのビューと重なり合う。

近傍ブロックからの動き情報を用いる従来のビュー合成と比較して、実施の形態は、奥行きブロックを導出し、導出された奥行きブロックに基づいて、現在のブロックを予測するようにサンプルブロックを形成することを特徴とする。

実施の形態は、近傍ブロックからの動き情報又は視差情報を用いる様々な方法を開示する。特に、導出された動き情報又は視差情報は、奥行きブロックＤｅｐｔｈＤｅｒｉｖｅを導出するのに直接用いられる。この奥行きブロックは、現在のブロックにおけるサンプル値の予測子を形成するのに更に用いられる。

図４は、本発明の実施の形態によるコーディング方法を示している。ステップは、現在のブロック４０１ごとに実行される。

ステップ４１０。近傍ブロックから動きベクトル又は視差ベクトルを取得する。

ステップ４２０。対応する参照奥行き画像と、動きベクトル又は視差ベクトルとに基づいて奥行きブロックを求める。

ステップ４３０。後方ワーピングを用いて奥行き値に基づいて予測ブロックを生成する。

ステップ４４０。予測ブロックを用いて現在のブロックについて予測コーディングを実行する。

図５Ａは、比較可能な符号化器ブロック図を示している。要素５０１に示される近傍ブロックから、動きベクトル又は視差ベクトルＭｏｔｉｏｎＤｅｒｉｖｅ（ＭＶＰ）５０３を導出する（５０２）。任意選択で、ＭｏｔｉｏｎＤｅｒｉｖｅ、又は復号化器がＭｏｔｉｏｎＤｅｒｉｖｅを求めるのを支援する副情報をコーディングし、シグナリングする（５５０）ことができ、これはコーディングされたビットストリーム５１０の一部分である。

ＭｏｔｉｏｎＤｅｒｉｖｅを用いて奥行き参照ピクチャバッファー５５１を参照することによって、現在のブロックのための奥行きブロックＤｅｐｔｈＤｅｒｉｖｅ５０５が推定される（５０４）。

ＤｅｐｔｈＤｅｒｉｖｅを用いてテクスチャ参照ピクチャバッファー５０４を参照することによって、後方ワーピングが実行され（５０６）、テクスチャ予測子５０７が得られる。

次に、テクスチャ予測５０８がテクスチャ予測子５０７及び現在のピクチャ５１５に基づいてテクスチャ残差５０９を得る。これはビットストリーム内に符号化される（５１１）。

図６Ａは、復号化器を示している。コーディングされたビットストリーム６１０から、動きベクトル選択又は視差ベクトル選択を導出するための副情報６５３をシグナリングすることができる（６５０）。副情報６５３が用いられる場合、この副情報が入力としてブロック６０１に供給される。

要素６０１に示すような近傍ブロックから、動きベクトル又は視差ベクトルＭｏｔｉｏｎＤｅｒｉｖｅ６０３を導出する（６０２）。

ＭｏｔｉｏｎＤｅｒｉｖｅを用いて奥行き参照ピクチャバッファー６５１を参照することによって、現在のブロックのための奥行きブロックＤｅｐｔｈＤｅｒｉｖｅ６０５が推定される（６０４）。

ＤｅｐｔｈＤｅｒｉｖｅ６０５を用いてテクスチャ参照ピクチャバッファー６１１を参照することによって、後方ワーピング６１２が実行され（６０６）、テクスチャ予測子６０７が得られる。

コーディングされたビットストリームから、テクスチャ残差６０９が復号化され（６１３）、テクスチャ予測６０８のためのテクスチャ予測子６０７及びテクスチャ残差６０９が得られ、復号化されたテクスチャピクチャが出力される（６１５）。

実施の形態によって用いられる技法は、従来技術におけるような動き又は視差を補償された予測と対照的に、奥行きを補償された予測と呼ぶことができる。

参照ピクチャから入手可能な異なるピクチャ及び奥行きを用いる３つの実施の形態について説明する。

実施の形態１：参照ビューからアンカーピクチャ、奥行きが入手可能
この実施の形態では、参照ピクチャからのテクスチャ成分及び奥行き成分がともに、現在のテクスチャ及び奥行きの前にコーディングされると仮定する。例えば、２ビューの場合のコーディング順序はＴ０Ｄ０Ｔ１Ｄ１であり、ここで、Ｔ及びＤはテクスチャ及び奥行きを表し、０及び１は２つのビューを表す。ビュー０からのテクスチャ及び奥行きはビュー１のテクスチャ及び奥行きの前にコーディングされることに留意されたい。

アンカーピクチャの場合、全てのブロックがイントラモード又はビュー間予測モードのいずれかでコーディングされる。１つの例において、現在のブロックについて３つの近傍ブロックが存在する。それらのブロックは、左（Ａ）、上（Ｂ）及び右上（Ｃ）にある。この説明は、追加の近傍ブロックを用いるように容易に拡張することができる。

近傍ブロック（Ａ、Ｂ及びＣ）がビュー間予測モードにおいてコーディングされる場合、各ブロックは、ＤｉｓｐａｒｉｔｙＡ、ＤｉｓｐａｒｉｔｙＢ及びＤｉｓｐａｒｉｔｙＣによって表される視差ベクトルと関連付けられる。

現在のブロックと近傍ブロックとの類似性を検討すると、現在のブロックのための視差ベクトルは、近傍ブロックから導出することができ、ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅで表される。１つの実施態様では、以下となる。

ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅ
＝Ｍｅａｎ（ＤｉｓｐａｒｉｔｙＡ，ＤｉｓｐａｒｉｔｙＢ，ＤｉｓｐａｒｉｔｙＣ）

別の実施態様では、新しいＨＥＶＣ規格において規定されているように、この導出結果を、候補リスト及びインデックスをマージ（merging）するためにシグナリングすることができる。すなわち、近傍ブロックから候補リストを構築する。次に、ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅのために用いられる特定の候補を示すためにインデックスがビットストリームにおいてシグナリングされる。

ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅを用いて、参照ビューからの奥行き画像における奥行きブロックＤｅｐｔｈＤｅｒｉｖｅを特定し、この奥行きブロックＤｅｐｔｈＤｅｒｉｖｅにアクセスすることができる。ＤｅｐｔｈＤｅｒｉｖｅを用いて現在のブロックのための後方ワーピングを行う。

近傍ブロックが全てビュー間予測モードを用いてコーディングされているとき、一般的なプロセスは、近傍ブロックを上記で説明されたように用いる。以下において、近傍ブロックがビュー間予測モードにおいて一切コーディングされていない場合について説明する。

近傍ブロックがイントラモードにおいてコーディングされている場合、対応する視差ベクトルはゼロである。

近傍ブロックがＶＳＰ予測モードを用いてコーディングされる場合、単一のベクトルはブロック全体に用いられない。代わりに、その場合、そのＶＳＰ予測のために用いられる奥行きブロックから視差ベクトルを求めることができる。視差ベクトルは、奥行きブロック全体の平均値とすることもできるし、現在のブロックに対してより近い奥行きピクセルに対して、より多くの重み付けをすることもできる。

上記において、まず視差ベクトルＤｉｓｐａｒｉｔｙＤｅｒｉｖｅを導出し、次に単一の視差を用いて奥行きブロックＤｅｐｔｈＤｅｒｉｖｅにアクセスする。代替的に、複数の導出された視差を用いるので、そうして、複数の導出された奥行きブロックを用いることができる。複数の導出された奥行きブロックは、重み付け平均に従って求められ、後方ワーピングのために用いられる単一の奥行きブロックが得られる。

図７は、Ｂ−ＶＳＰを候補コーディングモードとして用いるアンカーピクチャにおけるブロックのための符号化プロセスを示している。

ステップ７０１。Ａ、Ｂ及びＣを近傍ブロックとし、ＤｉｓｐａｒｉｔｙＸをそれらの視差ベクトルとする（ＸがＡ、Ｂ又はＣと置き換えられる）。

ステップ７０２。Ａ、Ｂ及びＣにおける任意のブロックがイントラモードにおいてコーディングされる場合、その視差ベクトルをゼロにセットする。

ステップ７０３。Ａ、Ｂ及びＣにおける任意のブロックがＶＳＰ予測モードにおいてコーディングされる場合、その視差ベクトルを、そのＶＳＰ予測のために用いられる奥行きブロックの平均値としてセットする。

ステップ７０４。ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅをＤｉｓｐａｒｉｔｙＸの平均値になるようにセットする。

ステップ７０５。対応する奥行き画像における奥行きブロックＤｅｐｔｈＤｅｒｉｖｅを取得する。

ステップ７０６。ＤｅｐｔｈＤｅｒｉｖｅを用いて後方ワーピングに基づくＶＳＰを実行する。

ステップ７０７。Ｂ−ＶＳＰモードが他のコーディングモードと比較され、レート歪みコストがより少ない場合に選択される。

図８は、提案されるＢ−ＶＳＰモードを用いる、アンカーピクチャにおけるブロックの復号化プロセスである。

ステップ８０１。Ｂ−ＶＳＰモードが現在のブロックについてシグナリングされるか否かを検査する。シグナリングされる場合、ステップ８０２に進む。そうでない場合、ステップ８０８に進む。

ステップ８０２。Ａ、Ｂ及びＣを近傍ブロックとし、ＤｉｓｐａｒｉｔｙＸをそれらの視差ベクトルとする（ＸがＡ、Ｂ又はＣと置き換えられる）。

ステップ８０３。Ａ、Ｂ及びＣにおける任意のブロックがイントラモードにおいてコーディングされる場合、その視差ベクトルをゼロにセットする。

ステップ８０４。Ａ、Ｂ及びＣにおける任意のブロックがＶＳＰ予測モードにおいてコーディングされる場合、その視差ベクトルを、そのＶＳＰ予測のために用いられる奥行きブロックの平均値としてセットする。

ステップ８０５。ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅをＤｉｓｐａｒｉｔｙＸの平均値になるようにセットする。

ステップ８０６。対応する奥行き画像における奥行きブロックＤｅｐｔｈＤｅｒｉｖｅを取得する。

ステップ８０７。ＤｅｐｔｈＤｅｒｉｖｅを用いて後方ワーピングに基づくＶＳＰを実行する。ステップ８０９に進む。

ステップ８０８。他のコーディングモードにおいて現在のブロックを復号化する。

ステップ８０９。手順の終了。

実施の形態２：参照ビューからアンカーピクチャ又は非アンカーピクチャ、奥行きが入手可能でない
この実施の形態では、アクセスユニットにおける全てのテクスチャ成分が、全ての奥行き成分の前にコーディングされると仮定する。例えば、２ビューの場合のコーディング順序はＴ０Ｔ１Ｄ０Ｄ１であり、ビュー０及びビュー１からの双方のテクスチャが奥行きの前にコーディングされる。この実施の形態は、奥行きのコーディングに対するテクスチャの依存性がないときにも適用することができる。

同様のプロセスにおいて、視差ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅを近傍ブロックから導出することができる。しかしながら、参照用に奥行きデータが入手可能でないので、ピクセルあたりの奥行きブロックにアクセスすることができない。代わりに、視差ＤｉｓｐａｒｉｔｙＡ、ＤｉｓｐａｒｉｔｙＢ及びＤｉｓｐａｒｉｔｙＣを用いて奥行きブロックを補間する。この実施の形態では、線形補間が用いられる。他の補間も用いることができる。

図９は、例示的な補間を示しており、近傍ブロック（Ａ、Ｂ及びＣ）のための単一の奥行き値（Ｘ、Ｙ及びＺ）が、それらの視差値ＤｉｓｐａｒｉｔｙＡ、ＤｉｓｐａｒｉｔｙＢ及びＤｉｓｐａｒｉｔｙＣからセットされる。現在の４×４のブロックのための奥行き値は以下のように補間される。

ａ＝（Ｘ＋Ｙ）／２、
ｂ＝（Ｘ＋２×Ｙ）／３、
ｃ＝（２×Ｘ＋Ｙ）／３、
ｄ＝（Ｘ＋３×Ｙ）／４、
ｅ＝（３×Ｘ＋Ｙ）／４、
ｆ＝（Ｘ＋４×Ｙ）／５、
ｇ＝（４×Ｘ＋Ｙ）／５

ここで、ａ、ｂ、ｃ、ｄ、ｅ、ｆ及びｇは現在のブロックにおけるピクセルである。上記の実施態様において、ブロックＣからの奥行き値Ｚは用いられない。補間されるピクセルに対してより近い奥行き値は、より多くの重み付けをされる。奥行きブロックを埋める他の補間方法が可能である。

さらに、ブロックがＢ−ＶＳＰモードを用いてコーディングされるときに、近傍ブロックからの奥行き値が変動する可能性がある。その場合、各ピクセルごとの補間プロセスは異なる可能性がある。

１つの例において、図１０に示すように、行ｒ及び列ｃ、（ｒ，ｃ）におけるピクセルの奥行き値は以下のように補間することができる。

Ｄｅｐｔｈ（ｒ，ｃ）＝（Ｘｃ＋Ｙｒ）／２

実施の形態３：参照ビューから非アンカー、奥行きが入手可能
非アンカーピクチャの場合、近傍ブロックが、ビュー間予測モードではなく時間予測を用いる可能性がより高い。しかしながら、時間予測とビュー間予測とを区別する必要はない。代わりに、この実施の形態では、動きベクトル又は視差ベクトルの関連付けられた参照テクスチャは、入手可能な対応する奥行き参照ピクチャを有する。そうでない場合、実施の形態２について説明されたような事例が適用される。

実施の形態１におけるように、近傍ブロックからの動きベクトル又は視差ベクトルを用いて動きベクトル又は視差ベクトルを導出する。この動きベクトル又は視差ベクトルを用いて、対応する参照奥行き画像からの奥行きブロックを特定し、この奥行きブロックにアクセスする。

近傍ブロックがイントラモードにおいてコーディングされる場合において、動きベクトル又は視差ベクトルを導出するのに用いられる、近傍ブロックをシグナリングするメカニズムがビットストリームに存在しないとき、時間参照に対するゼロ動きベクトルではなく、ビュー間参照に対するゼロ視差ベクトルが用いられる。さもなければ、候補リストがあるとき、インデックスメカニズムが実施される。イントラコーディングされた近傍ブロックが存在するとき、ゼロ視差ベクトル及びゼロ動きベクトルの双方を候補リストに加える。次に、符号化器は、レート歪みコストに基づいて最適候補を選択する。

実施の形態４：奥行き画像のための後方ワーピングに基づくＶＳＰ
上記の実施の形態は、ディペンデントビューからの奥行きピクチャをコーディングするのにも適用可能である。後方ワーピングを行うのに奥行き画像が必要とされるので、従来のＶＳＰにおいて奥行きについて後方ワーピングに基づくＶＳＰ予測を実施することは不可能である。本発明の実施の形態は、現在のブロックを必要としない。

後方ＶＳＰを行うための奥行きブロックを得るために近傍ブロックの動きベクトル又は視差ベクトルが利用される上記の実施形態とは異なり、奥行きブロックを推定するのに近傍ブロックのサンプル値を用いる。現在のピクチャは奥行き画像であるので、近傍ブロックはピクセルごとの奥行きを有する。これらのブロックのブロックレベルの動きベクトル又は視差ベクトルの代わりに、サンプル値を用いて、Ｂ−ＶＳＰを行うための奥行きを求める方が正確である。

図１１は対応する復号化を示している。図８に示す実施の形態との違いは、近傍ブロックからの動きベクトル又は視差ベクトルが用いられないことである。

ステップ１１０１。Ｂ−ＶＳＰモードが現在のブロックについてシグナリングされるか否かを検査する。シグナリングされる場合、ステップ１１０２に進む。そうでない場合、１１０４に進む。

ステップ１１０２。近傍ブロック（奥行きブロックである）を用いて現在のブロックの奥行きＤｅｐｔｈＤｅｒｉｖｅを推定する。

ステップ１１０３。ＤｅｐｔｈＤｅｒｉｖｅを用いて後方ワーピングに基づくＶＳＰを実行する。ステップ１１０５に進む。

ステップ１１０４。他のコーディングモードにおいて現在のブロックを復号化する。

ステップ１１０５。手順の終了。

実施の形態５：動き領域におけるワーピング
以前の実施の形態において、ピクセル領域又は空間領域においてワーピングが実行された。換言すれば、現在のビューにおけるピクセルのテクスチャのための予測子が、参照ビューから現在のビューへのピクセル値のワーピングによって導出され、これはそれぞれ、図５Ａ及び図６Ａのブロック５０６及び６１１において行われる。

一方、３Ｄワーピング関係は、時間領域にも存在する。すなわち、現在のビューにおける物体の時間的な動きは、参照ビューにおいて類似した動きを有するように見える。

このため、この実施の形態では、空間領域及び時間領域においてワーピングを適用する。したがって、図５Ｂ及び図６Ｂに示すようにブロック５０６及び６１１における処理を変更し、動きフィールド（動きベクトル及び／又は参照ピクチャ情報）が現在のピクチャにおける対応するピクセルに割り当てられる。さらに、ブロック５０８及び６０８は、ワーピングされた動きフィールド情報を用いて時間予測を実行する。

テクスチャワーピングプロセスと同様に、動きフィールドにおけるワーピングをピクセルレベル又はブロックレベルにおいて実行することができることに留意されたい。ＨＥＶＣとの関連で、最も大きなワーピング単位は予測単位（ＰＵ）レベルにおけるものである。

動きフィールドのワーピングがピクセルレベルにおいて実行されない場合、導出された奥行きブロックからの最大奥行きが視差ベクトルに変換され、最終的に、導出された視差ベクトルが、現在のブロックが動き情報にアクセスするための平行移動オフセットであると想定される。

奥行き参照ピクチャにおける奥行きブロックを参照することによる視差ベクトルの導出は、奥行き画像から奥行きブロックにアクセスすることができる限り、他の通常の空間近傍ブロック又は時間近傍ブロックに更に拡張することができることに留意するべきである。

このため、ワーピングは、関連特許出願において記載されているように空間領域において行うこともできるし、本出願において記載されているように時間領域において行うこともできるし、空間領域及び時間領域の双方において行うこともできる。

発明の効果
従来の、前方ワーピングに基づくビュー合成予測は、一般的に、参照ビューからのテクスチャ成分及び奥行き成分を用いる。前方ワーピングは、通常、より高いコストでより高い忠実度を提供する。対照的に、本発明によるビュー合成予測は、テクスチャコーディングのために後方ワーピングを用い、奥行き成分がテクスチャ成分の前にコーディングされることを必要としない。さらに、後方ワーピングに基づくＶＳＰは、ブロックに基づくＶＳＰ参照生成を容易にする。これはより複雑度が低く、実施の利点を有する。

奥行き優先コーディングを回避しながら後方ワーピングに基づくＶＳＰを可能にするために、本発明は、近傍ブロックからの動きベクトル又は視差ベクトルを用いて、以前のアクセスユニットにおいて、又は同じアクセスユニットであるが他の視点からコーディングされた奥行き画像等の、以前にコーディングされた奥行き画像から奥行きブロックを導出する。

Claims (19)

1. ３Ｄシーンの１以上のビデオを処理する方法であって、各ビデオは特定の姿勢で配置された対応するカメラによって撮像され、処理されるべき現在のピクチャの現在のブロックごとに、
   前記現在のブロックの近傍ブロックから動きベクトル又は視差ベクトルを取得するステップと、
   前記現在のブロックのための前記動きベクトル又は視差ベクトルに基づいて、参照ピクチャの対応する奥行き成分から奥行きブロックを求めるステップと、
   後方ワーピングを用いて、参照ビューに対応する参照ピクチャと前記現在のビューに対応する前記奥行きブロックとに基づいて、現在のビューに対応する動きフィールドを合成するステップと、
   前記動きフィールドを用いて前記現在のブロックを予測的にコーディングするステップと、
   を含み、各前記ステップはプロセッサが実行する、３Ｄシーンの１以上のビデオを処理する方法。
2. 各前記ステップは符号化器において実行される、請求項１に記載の方法。
3. 参照ピクチャからのテクスチャ成分及び奥行き成分は、前記現在のピクチャからの前記テクスチャ成分及び前記奥行き成分の前にコーディングされる、請求項１に記載の方法。
4. 全てのビューのテクスチャ成分は、前記現在のピクチャからの前記奥行き成分の前にコーディングされる、請求項１に記載の方法。
5. 前記動きベクトル又は前記視差ベクトルは、前記近傍ブロックにおける動き情報又は視差情報の平均値から導出される、請求項１に記載の方法。
6. 前記動きベクトル又は前記視差ベクトルは、ビットストリームにおいてシグナリングされる副情報に基づいて得られる、請求項１に記載の方法。
7. 前記副情報は、前記動きベクトル又は前記視差ベクトルの候補リストへのインデックスである、請求項６に記載の方法。
8. 前記奥行きブロックは、複数の奥行きブロックの加重平均に基づく、請求項１に記載の方法。
9. 前記符号化はレート及び歪みコストに基づく、請求項２に記載の方法。
10. 前記現在のピクチャはテクスチャ成分である、請求項１に記載の方法。
11. 前記現在のピクチャは奥行き成分である、請求項１に記載の方法。
12. 近傍ブロックからの前記動きベクトル又は前記視差ベクトルは、前記近傍ブロックのコーディングのために用いられる、請求項１に記載の方法。
13. 前記近傍ブロックからの前記視差ベクトルは、前記近傍ブロックにおけるピクセル値に基づいて計算される、請求項１１に記載の方法。
14. 前記導出される奥行きブロックは、前記近傍ブロックの前記視差ベクトルから直接補間される、請求項１に記載の方法。
15. 前記処理は、３Ｄビデオ用途において用いられる、請求項１に記載の方法。
16. 前記取得するステップ及び前記求めるステップは反復的に実行される、請求項１に記載の方法。
17. 前記合成するステップは、ピクセルレベルにおいて実行される、請求項１に記載の方法。
18. 前記合成するステップは、ブロックレベルにおいて実行される、請求項１に記載の方法。
19. 前記後方ワーピングを用いて、前記参照ビューに対応する前記参照ピクチャと前記現在のビューに対応する前記求められた奥行きブロックとに基づいて、前記現在のビューに対応する予測ブロックを合成するステップと、
    前記現在のブロックについて、前記予測ブロックと復号化された残差ブロックとを結合して、出力ピクチャのブロックを生成するステップと、
    を更に含む、請求項１に記載の方法。

Images