JP2015525999A - ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置 - Google Patents

Abstract

【課題】三次元ビデオ符号化または多視点ビデオ符号化の方法と装置を提供する。【解決手段】三次元ビデオ符号化または多視点ビデオ符号化の方法と装置が開示される。本発明による実施形態は、インターモードとスキップ／ダイレクトモードの奥行き情報から、統一された視差ベクトルを導出する。現在のブロックに対応する関連する奥行きブロックにおいて、統一された導出方法を用いて、統一された視差ベクトルが、奥行きサンプルのサブセットから生成される。奥行きデータから導出する視差ベクトルが、符号化または復号化に必要とされるとき、統一された導出方法が、インターモード、スキップモード、または、ダイレクトモードに適用される。統一された視差ベクトルが適用されて、視差ベクトルを導出して、対応するブロックを配置し、よって、ビュー間運動ベクトル候補が、スキップモードまたはダイレクトモードに対して決定される。【選択図】 図６

Description

この出願は、２０１２年７月５日に出願された“Disparity vector derivation for inter-view predictor in ATM”と題された米国特許仮出願番号61／668,424号、および、２０１２年１０月３日に出願された“Disparity vector derivation for video coding”と題された米国特許仮出願番号６１／７４４，８８８号から、優先権を主張するものであり、その内容は引用によって本願に援用される。

本発明はビデオ符号化に関するものであって、特に、３Ｄビデオ符号化の奥行き（深さ）データに基づいた視差ベクトル導出に関するものである。

三次元（３Ｄ）テレビは、近年、視聴者に、感覚的な視覚体験をもたらす技術となっている。多視点ビデオは、３Ｄビデオを獲得および表示する技術である。多視点ビデオは、一般に、多数のカメラを同時に用いることにより光景を獲得することにより形成され、多数のカメラは適切に配置されて、各カメラが、一視点からの光景を獲得する。光景に対する大量のビデオシーケンスを有する多視点ビデオは、大量のデータとなる。したがって、多視点ビデオは、保存のための大きい格納スペースおよび／または伝送のための高バンド幅を必要とする。よって、多視点ビデオ符号化技術は、必要な格納スペースまたは送信バンド幅を減少させるという技術領域とともに発展している。

真正面から正直に攻めるやり方は、従来のビデオ符号化技術を、単独で、各単一ビュー動画像列に適用すると共に、異なるビュー間では相互関係を無視する。このような直接的技術は、符号化パフォーマンスを低下させる。多視点ビデオ符号化効率を改善するため、多視点ビデオ符号化は、常に、ビュー間（iter-view）冗長を利用する。二つのビュー（視野）間の視差は、二つのそれぞれのカメラの位置と角度により生じる。たとえば、アフィンモデル（affine model）のような視差モデルが、二個のビューフレームのずれを示すために用いられる。さらに、一ビュー中のフレームの運動ベクトルが、別のビュー中のそれぞれのフレームの運動ベクトルを導出する。

３Ｄビデオにおいて、多重ビューに関連する従来のテクスチャデータに加え、奥行きデータが、いつも、同じように、獲得または導出する。奥行きデータが、一ビューまたは複数のビューに関連するビデオのために獲得される。情報は、また、異なるビューのイメージから導出する。奥行きデータは、テクスチャデータよりも、低い空間分解能で表される。立体情報が、ビュー合成とビュー間予測に有用である。リファレンスビューの前に符号化されたテクスチャ情報を共有するため、視差補償予測（ＤＣＰ）のコンセプトが、代案として、動き補償予測（ＭＣＰ）に加えられる。ＭＣＰは、異なるアクセスユニットで同じビューの前に符号化されたピクチャを用いるインターピクチャ予測を参照し、ＤＣＰは、同じアクセスユニット中の別のビューのすでに符号化されたピクチャを用いるインターピクチャ予測を参照する。ＤＣＰに用いられるベクトルは視差ベクトル（ＤＶ）で、ＭＣＰに用いられる運動ベクトル（ＭＶ）のアナログである。

３ＤＶ−ＡＴＭバージョン２（ＡＶＣベース３Ｄビデオ符号化のテストモデル）における奥行きベースの運動ベクトル予測方法は、二つの主要なツールからなる。第一ツールは、インターモードの方向−分離運動ベクトル予測、および、第二ツールは、スキップとダイレクトモード奥行きベースの運動ベクトル競争である。現在のブロックの運動ベクトルが、運動ベクトル予測に基づいて予測され、隣接ブロックに関連する候補運動ベクトルが、運動ベクトル予測に用いられる。図１Ａは、隣接ブロックに基づいたＭＶＰ（運動ベクトル予測）導出の例を示す図で、ブロックＣｂは現在のブロックに対応し、ブロックＡ，ＢとＣは、三空間的に、隣接ブロックに対応する。ターゲットリファレンス画像が一時的予測画像である場合、空間的な隣接ブロック（つまり、ブロックＡ，ＢとＣ）の運動ベクトルが提供され、運動ベクトルは、個々のブロックのテクスチャデータに基づいて導出する。隣接ブロックの一時的運動ベクトルが利用できない場合、ゼロベクトルが、ＭＶ（運動ベクトル）候補として用いられる。その後、一時的運動ベクトル予測が、隣接ブロックＡ，ＢおよびＣの運動ベクトルの中間値に基づいて導出する。

一方、ターゲットリファレンス画像がビュー間予測画像である場合、隣接ブロックのビュー間運動ベクトルが用いられて、ビュー間運動ベクトル予測を導出する。図１Ｂのブロック１１０において、空間的な隣接ブロックのビュー間運動ベクトルが、個々のブロックのテクスチャデータに基づいて導出する。現在のブロックＣｂに関連する深度図も、ブロック１６０中に提供される。ブロックＡ，ＢとＣのビュー間運動ベクトルの可用性がブロック１２０でチェックされる。ブロック１３０において、ビュー間運動ベクトルが利用できない場合、現在のブロックの視差ベクトルが用いられて、利用できないビュー間運動ベクトルを代替する。ブロック１７０に示されるように、視差ベクトルが、関連する奥行きブロックの最大深度値から導出する。ブロックＡ，ＢとＣのビュー間運動ベクトルの中間値が、ビュー間運動ベクトル予測として用いられる。ブロック１４０に示されるように、従来のＭＶＰ工程において、最終ＭＶＰは、ビュー間ＭＶＰsまたは一時的ＭＶＰsの運動ベクトルの中間値に基づいて導出する。ブロック１５０において、運動ベクトル予測に基づいた運動ベクトル符号化が実行される。

３ＤＶ−ＡＴＭバージョン2によるスキップとダイレクトモードの奥行きベースの動き競争（ＤＭＣ）のプロセスのフローチャートが、それぞれ、図２Ａと図２Ｂに示される。入力データは、ブロックＡ，ＢとＣに関連する動作データ２１０、および、ブロックＣｂとブロックＡ，ＢとＣに関連する深度図２２０を含む。Ｃｂ,Ａ，ＢとＣのブロック設置が図１Ａで示される。スキップモードにおいて、テクスチャデータブロック｛Ａ，Ｂ，Ｃ｝の運動ベクトル｛ｍｖ_ｉ}は、それらの予測方向にしたがって、それぞれの一時的とビュー間集合に分割される（ステップ２１２）。ＤＭＣが、別々に、一時的ＭＶs（ステップ２１４）とビュー間ＭＶｓ（ステップ２２２）に実行される。

所定の群（一時的またはビュー間）内の各運動ベクトルｍｖ_ｉにおいて、動き補償奥行きブロックｄ（ｃｂ，ｍｖ_ｉ）が導出し、運動ベクトルｍｖ_ｉが、ｄ（ｃｂ）の位置に適用されて、運動ベクトルｍｖ_ｉにより指し示されるリファレンス深度図から、奥行きブロックを得る。その後、ｄ（ｃｂ）とd（ｃｂ，ｍｖ_ｉ）間の類似点は方程式（２）にしたがって推定される：

所定の群中の絶対差の最小和（ＳＡＤ）を達成するｍｖ_ｉが特定の方向（ｍｖｐ_ｄｉｒ）の群の最適な予測として選択され、すなわち、

一時的方向（つまり、ｍｖｐ_ｔｍｐ）の予測は、ビュー間方向（つまり、ｍｖｐ_{ｉｎｔｅｒ}）の予測と競合する。最小ＳＡＤを達成する予測が、スキップモードの方程式（４）にしたがって決定される（ステップ２３２）:

最後に、最適なＭＶＰＰｍｖｐ_ｏｐｔが別のビュー（ビュー間予測）を参照する場合、以下のチェックが最適なＭＶＰに適用される。最適なＭＶＰが“Ｚｅｒｏ−ＭＶ”に対応する場合、最適なＭＶＰは“視差−ＭＶ”予測により代替され（ステップ２３４）、“視差−ＭＶ”予測の導出が、方程式（１）に示される。ステップ２３６に示されるように、最終ＭＶＰは、スキップモードに用いられる。

式中、ｉは、現在のＣｂ中の画素のインデックスＮは、Ｃｂ中の画素の総数である。

ＢスライスのダイレクトモードのＭＶＰ導出のフローチャートが図２Ｂに示され、このプローチャートは、スキップモードに類似している。しかし、ＤＭＣは、リファレンス画像リスト両方（つまり、Ｌｉｓｔ０とＬｉｓｔ１）に別々に実行される（ステップ２４２）。よって、各予測方向（一時的またはビュー間）において、ＤＭＣは、二予測（ｍｖｐ０_ｄｉｒとｍｖｐ１_ｄｉｒ）を、それぞれ、Ｌｉｓｔ０とＬｉｓｔ１に生成する（ステップ２４４とステップ２５４）。ｍｖｐ０_ｄｉｒとｍｖｐ１_ｄｉｒに関連する双方向補償ブロック（ステップ２４６とステップ２５６）は、方程式（５）に従って計算される:

この双方向補償ブロックとＣｂ間のＳＡＤ値が、各方向で、別々に、方程式（２）にしたがって計算される。その後、ダイレクトモードのＭＶＰが、方程式（４）にしたがって、可用なｍｖｐ_{ｉｎｔｅｒ}とｍｖｐ_ｔｍｐ（ステップ２６２）から選択される。最適なＭＶＰｍｖｐ_ｏｐｔ

が別のビュー（つまり、ＭＶＰはビュー間予測に対応する）を参照する場合、以下のチェックが最適なＭＶＰに適用される。最適なＭＶＰが“Zero−ＭＶ”に対応する場合、各リファレンスリスト中の“ｚｅｒｏ−ＭＶ”は“視差−ＭＶ”予測（ステップ２６４）により代替され、“視差−ＭＶ”予測の導出が（１）に示される。ステップ２６６に示されるように、最終ＭＶＰは、ダイレクトモードに用いられる。

前述のように、３ＤＶ−ＡＴＭバージョン2にしたがって、奥行き情報からの視差ベクトル導出は、スキップとダイレクトモードにとってかなり複雑である。さらに、奥行き情報からの視差ベクトル導出は、インターモードとスキップ／ダイレクトモード間で異なる。パフォーマンスに顕著な影響を与えずに、導出プロセスを簡潔にすることが望まれる。

本発明においては、三次元ビデオ符号化または多視点ビデオ符号化のシステムのための方法と装置が開示される。

本発明による実施形態は、インターモードとスキップ／ダイレクトモードの統一された導出方法を用いて、奥行き情報から統一された視差ベクトルを導出する。現在のブロックの入力データは、統一された視差ベクトルにしたがって、符号化または復号化される。統一された導出方法は、関連する奥行きブロック中、奥行きサンプルのサブセットから、統一された視差ベクトルを生成し、奥行きデータから導出する視差ベクトルが、符号化または復号化に必要とされるとき、統一された導出方法が、インターモード、スキップモード、または、ダイレクトモードに適用される。サブセットは、関連する奥行きブロックより少ない奥行きサンプルを含む。

いくつかの実施形態において、ひとつ以上のビュー間運動ベクトル（ＭＶ）または視差ベクトル（ＤＶ）予測が、現在のブロックの隣接するブロックセットに基づいて導出し、隣接するブロックセット中の前記一ブロックが、一ＭＶまたはＤＶを有さない場合、隣接するブロックセット中の一ブロックに関連する一ビュー間ＭＶまたはＤＶ予測が、統一された視差ベクトルから生成される。インターモードが現在のブロックに選択される場合、ひとつ以上のビュー間ＭＶまたはＤＶ予測を用いて、符号化または復号化が、現在のブロックのＭＶ／ＤＶまたは符号化されたＭＶ／ＤＶに適用される。

一実施形態において、スキップモードまたはダイレクトモードが現在のブロックに選択される場合、ひとつ以上のＤＶ予測から導出するＤＶにより設置される対応するブロックから生成されるビュー間ＭＶ候補を用いて、符号化または復号化が入力データに適用される。隣接するブロックセット中の一ブロックがＤＶを有さない場合、ひとつ以上のＤＶ予測が、現在のブロックの隣接するブロックセットに基づいて決定され、隣接するブロックセット中の一ブロックに関連する一ＤＶ予測が、統一された視差ベクトルから生成される。統一された視差ベクトルは、視差補償予測（ＤＣＰ）、方向−分離運動ベクトル予測、ビュー間動き予測またはビュー間余剰予測のビュー間画像で、対応するブロックを設置するのに用いられる。

本発明の実施形態は、奥行き情報からの視差ベクトル導出の統一された導出方法に対処する。統一された視差ベクトルは、現在のブロックに関連する深度値のサブセットから生成され、サブセットは、関連する奥行きブロックより少ない奥行きサンプルを含む。いくつかの実施形態において、サブセットは、ひとつ以上の境界サンプル、たとえば、関連する奥行きブロックの最終行の中間サンプルまたは二隅サンプル、四隅サンプルを含む。

一実施形態において、サブセットは、さらに、関連する奥行きブロックの中央サンプルを含む。統一された視差ベクトルは、最大値、平均値、中間値、最大頻発または関連する奥行きブロックのサブセットの深度値の線形結合に対応し、サブセットは、二つ以上の奥行きサンプルを含む。一実施形態において、統一された視差ベクトルは、関連する奥行きブロックの四隅サンプルから生成される。さらに、統一された視差ベクトルが、関連する奥行きブロックの四隅サンプルの最大深度値から生成される。隣接するブロックセットは、ブロックＡ，ＢとＣからなり、それぞれ、現在のブロックの左上側の第一位置、現在のブロックの左上側の第二位置、現在のブロックの対角線上の右上隅の第三位置に対応する。ビュー間運動ベクトルまたは視差ベクトル候補は、スキップ／ダイレクトモードで、検索順序にしたがって、現在のブロックの隣接するブロックセットから決定される。

フラグが用いられて、統一された導出方法が、インターモード、スキップモードおよびダイレクトモードにより共有されるかを示す。

図１Ａは、現在のブロックの運動ベクトル予測の導出に用いられる隣接ブロックの例を示す図である。 図１Ｂは、インターモードの方向−分離運動ベクトル予測の例を示す図であって、利用できないビュー間運動ベクトルが、視差ベクトルにより代替され、視差ベクトルは、現在のブロックの全奥行きサンプルに基づいて決定される。 図２Ａは、スキップモードにおける奥行きベースの動き競争（ＤＭＣ）の導出プロセスのフローチャートである。 図２Ｂは、ダイレクトモードにおける奥行きベースの動き競争（ＤＭＣ）の導出プロセスのフローチャートである。 図３は、関連する奥行きブロックの四隅深度値に基づいた視差ベクトル導出の例を示す図である。 図４は、３ＤＶ−ＡＴＭバージョン5におけるスキップ／ダイレクトモードの優先−ベースのＭＶＰ候補導出の例を示す図である。 図５Ａは、奥行き情報からの視差ベクトル導出に用いられる奥行きサンプルの例を示す第１の図である。 図５Ｂは、奥行き情報からの視差ベクトル導出に用いられる奥行きサンプルの例を示す第２の図である。 図５Ｃは、奥行き情報からの視差ベクトル導出に用いられる奥行きサンプルの例を示す第３の図である。 図６は、本発明の一実施形態によるインターモードとスキップ／ダイレクトモードの統一された視差ベクトルを組み込んだ三次元符号化システムのフローチャートである。

前に述べたように、方向−分割運動ベクトル予測は、一時的とビュー間運動ベクトル予測からなる。ターゲットリファレンス画像が一時的予測画像である場合、図１中の現在のブロックＣｂ、たとえば、Ａ，ＢとＣ周辺の隣接ブロックの一時的運動ベクトルが、運動ベクトル予測の導出に用いられる。一時的運動ベクトルが利用できない場合、ゼロベクトルが用いられる。その後、運動ベクトル予測が、隣接ブロックＡ，ＢおよびＣの運動ベクトルの中間値として導出する。

ターゲットリファレンス画像がビュー間予測画像である場合、隣接ブロックのビュー間運動ベクトルが、ビュー間予測に用いられる。ビュー間運動ベクトルが利用できない場合、３ＤＶ−ＡＴＭバージョン２にしたがって、視差ベクトルが、関連する奥行きブロック中の奥行きサンプルの最大深度値から導出する。図３に示されるように、視差ベクトル導出プロセスを簡潔にするため、本発明の一実施形態は、関連する奥行きブロックの四隅サンプルで、深度値に基づいて、視差ベクトルを導出する。その後、ビュー間運動ベクトルが、利用できない隣接ブロックA,BおよびCである場合、運動ベクトル予測が、ビュー間運動ベクトルまたは視差ベクトルの中間値として導出する。本発明によると、運動ベクトル予測と同じ導出プロセスを用いて、視差ベクトル予測が導出する。

スキップ／ダイレクトモードにおいて、ＭＶＰ候補が、所定の導出順序に基づいて導出される。図４に示されるように、３ＤＶ−ＡＴＭバージョン5にしたがって、隣接ブロックA,BおよびC（Cが利用できないときだけDが用いられる）と関連するビュー間候補と三空間候補が含まれて、ビュー間運動ベクトル（ＭＶ）または運動ベクトル予測（ＭＶＰ）候補を導出する。デコーダ側で、導出したＭＶＰ候補の動き情報に従って、動き補正が実行される。動き情報は、運動ベクトルに加え、予測方向（単方向予測または双方向予測）、リファレンス画像タイプ（一時的予測、バーチャル予測またはビュー間予測）およびリファレンス画像インデックスを含む。

ビュー間ＭＶまたはＭＶＰ候補導出も図４に示される。従属ビューの現在のブロック410の中心点とその視差ベクトルが用いられ、ベースビューで対応点を見つける。その後、対応点が識別され、ベースビュー中の対応点を被覆するブロック４２０のＭＶが、現在のブロックのビュー間ＭＶまたはＭＶＰ候補として用いられる。視差ベクトルが、中心点の隣接ブロックまたは深度値から導出する。図４中、隣接ブロックのひとつが視差ベクトル（ＤＶ）、たとえば、隣接ブロックＡのＤＶ_Ａを有する場合、隣接ブロックのＤＶが視差として用いられて、対応点を設置する。そうでなければ、奥行きベースの視差ベクトルが用いられて、対応点を設置し、奥行きベースの視差ベクトルは、中心点とカメラパラメータの深度値を用いて導出する。図４中の隣接ブロックはブロックＡ，ＢとＣからなり、それぞれ、現在のブロックの左上側の第一位置、現在のブロックの左上側の第二位置および現在のブロックの対角線上の右上隅の第三位置に対応する。ブロックDは、現在のブロックの対角線上の左上隅の第四位置に対応し、ブロックＣが視差ベクトルを有さない場合、ブロックDが用いられて、ブロックＣを代替する。

３ＤＶ−ＡＴＭバージョン２において、インターモードの奥行きベースの視差ベクトル導出が、現在のブロックの最大深度値に基づく。大きいブロックにおいて、現在のブロックの最大値の導出は、大量の計算を含む。本発明の実施形態は、必要な計算を減少させる現在のブロックの四隅サンプルで、深度値間の最大深度値を決定する。一方、３ＤＶ−ＡＴＭバージョン５中、スキップ／ダイレクトモードの奥行きベースの視差ベクトル導出は、現在のブロックの中央位置の深度値に基づく。前述のように、３ＤＶ−ＡＴＭバージョン2中、スキップ／ダイレクトモードの奥行きベースの視差ベクトル導出は極めて複雑である。よって、奥行きベースの視差ベクトル導出は、インターモードとスキップ／ダイレクトモード間で異なる。

奥行きベースの視差ベクトル導出を簡潔にするため、本発明の実施形態は、統一された導出方法を用いて、インターモードとスキップ／ダイレクトモード両方の統一された視差ベクトルを生成する。奥行きデータから導出する視差ベクトルが必要とされるとき、統一された導出方法が、インターモードとスキップ／ダイレクトモード両方に適用される。たとえば、図３に示されるように、インターモードとスキップ／ダイレクトモード両方の視差ベクトル導出は、現在のブロックの四隅サンプルで、深度値に基づく。別の実施形態において、図５Ａに示されるように、インターモードとスキップ／ダイレクトモード両方の視差ベクトル導出は、現在のブロックの最終行の中間深度値に基づく。さらに別の実施形態において、図５Ｂに示されるように、インターモードとスキップ／ダイレクトモード両方の視差ベクトル導出は、現在のブロックの最終行の両端の深度値に基づく。関連する奥行きブロックより少ない奥行きサンプルを有する奥行きの別のサブセットは、さらに、インターモードとスキップ／ダイレクトモード両方により用いられて、ＤＶ導出方法の複雑度を減少させる。いくつかの実施形態において、現在のブロックに関連するひとつ以上の限界深度値が視差ベクトル導出に用いられる。別の実施形態において、中央深度値が用いられて、視差ベクトルを導出する。中央深度値は、現在のブロックの中央点（図５Ｃの５１０で示される）に対し、左上サンプル、右上サンプル、左下サンプル、右下サンプルに対応する。さらに別の実施形態において、中央位置と四隅位置の深度値が用いられる。

最大値に加え、導出した視差ベクトルは、平均値、中央値、最大頻発または関連する奥行きブロックの深度値の線形結合または関連する奥行きブロックのサブセットに対応し、サブセットは、二つ以上の奥行きサンプルを含む。たとえば、導出した視差ベクトルは、関連する奥行きブロックの四隅サンプルの最大値に対し、導出した視差ベクトルは、インターモード、スキップ／ダイレクトモードにより共有される。本発明によると、統一された視差ベクトル導出の使用も、スキップ／ダイレクトモードのビュー間視差ベクトル（ＤＶ）または視差ベクトル予測（ＤＶＰ）候補に適用される。

導出した視差ベクトルが用いられて、適応運動ベクトル予測（ＡＭＶＰ）／インターモードのビュー間運動ベクトルまたは視差ベクトル予測、マージモードまたはスキップモードのビュー間候補、ビュー間動き予測、ビュー間視差予測またはビュー間余剰予測を導出して、リファレンス余剰ブロックを設置する。導出した視差ベクトルが、ＡＭＶＰ／インターモードで、ビュー間運動ベクトル予測として用いられるとき、導出した視差ベクトルはビュー間リファレンス画像を指す。導出した視差ベクトルは、ＡＭＶＰ／インターモードで、ビュー間運動ベクトルまたは視差ベクトル予測の参照ブロックを設置する。導出した視差ベクトルが用いられて、スキップモードまたはダイレクトモードで符号化されるブロックのビュー間運動ベクトルまたは視差候補を導出し、余剰信号も動き情報も、スキップモードで送信されず、ダイレクトモードで送信されない。導出した視差ベクトルは、インターモードで、方向−分離運動ベクトル予測として用いられる。導出した視差ベクトルは、スキップ／ダイレクトモードの優先ベースのＭＶＰ候補導出で用いられて、リファレンスビューで、対応点を設置する。

３ＤＶ−ＡＴＭバージョン５．１に基づいて、インターモードとスキップ／ダイレクトモードの統一された視差ベクトル導出方法が、アンカーシステムと比較される。本発明の一実施形態によると、３ＤＶ−ＡＴＭバージョン５．１中、インターモードとスキップ／ダイレクトモード両方において、アクセスされる奥行きサンプル数量は４（つまり、現在のブロックに関連する四隅サンプルの深度値）である。一方、インターモードにおいて、奥行きサンプルの数量は４（つまり、現在のブロックの四隅サンプルの深度値）で、スキップ／ダイレクトモードにおいて、奥行きサンプル数量は１（つまり、現在のブロックに関連する中央深度値）である。性能比較は表１に示され、３ＤＶ−ＡＴＭｖ.５．１に基づくシステムがリファレンスとして用いられる。値“ｄＢＲ”はパーセンテージ（％）で表されるビットレートの差に対応し、負の値は、リファレンスシステムと比較して減少したビットレートを意味する。値“ｄＰＳＮＲ”はデシベル（dB）で表されるピーク信号対雑音比（ＰＳＮＲ）の差に対応し、正値は改善されたＰＳＮＲのことである。比較は、異なるテストビデオセット（Ｓ０１−Ｓ０８）に基づく。表１に示されるように、本発明による方法は、テクスチャ符号化、テクスチャおよび奥行き符号化および合成されたビデオのわずかに低い平均ビットレートで、ほぼ同じＰＳＮＲを達成する。

別の比較が実行され、統一された視差導出方法は、インターモードとスキップ／ダイレクトモード両方の一奥行きサンプル（つまり、現在のブロックの中央深度値）に基づく。一方、前のように、アンカーシステムは３ＤＶ−ＡＴＭバージョン５．１に基づく。結果は表2に示される。表２に示されるように、本発明による方法は、テクスチャ符号化、テクスチャおよび奥行き符号化と合成されたビデオのわずかに高いビットレートで、同じＰＳＮＲを達成する。

フラグは、奥行き情報からの視差ベクトルを導出する統一された導出方法が、インターモードとスキップ／ダイレクトモードにより共有されるかを示すのに用いられる。フラグは、シーケンスレベル、ピクチャ、スライスレベル、最大符号化ユニット（ＬＣＵ）レベルまたはビットストリームの符号化レベルに組み込まれる。

図６は、本発明の一実施形態によるとインターモードとスキップ／ダイレクトモードの統一された導出方法を組み込んだ三次元符号化または復号化システムのフローチャートである。ステップ610において、システムは、現在のブロックの運動ベクトルまたは視差ベクトルに関連する入力データを受信する。符号化において、入力データは、予測的に符号化される現在のブロックに関連する運動ベクトルまたは視差ベクトルに対応する。復号化において、第一データは、運動ベクトルまたは視差ベクトルの余剰データ（つまり、予測差異）に対応する。入力データは、ストレージ、たとえば、コンピュータメモリ、バッファ（ＲＡＭまたはＤＲＡＭ）または別の媒体から検索される。入力データは、さらに、プロセッサ、たとえば、コントローラー、中央処理装置、デジタル信号プロセッサまたは第一データを生成する電子回路から受信される。ステップ６２０において、統一された導出方法が用いられて、現在のブロックに対応する関連する奥行きブロックの奥行きデータから、統一された視差ベクトルを導出し、統一された導出方法は、関連する奥行きブロック中、奥行きサンプルのサブセットから、統一された視差ベクトルを生成し、奥行きデータから導出する一視差ベクトルが、符号化または復号化するに必要とされるとき、統一された導出方法が、インターモード、スキップモード、または、ダイレクトモードに適用され、サブセットは、関連する奥行きブロックより少ない奥行きサンプルを含む。その後、ステップ６３０において、スキップモードまたはダイレクトモードのインターモードまたは空間候補が現在のブロックに選択される場合、視差ベクトル予測または運動ベクトル予測を用いて、符号化または復号化が入力データに適用される。

上述の記述が提示され、当業者は、特定のアプリケーションとその要求の内容で提供されるように、本発明を実施することができる。記述された具体例への各種修正は当業者には明らかであり、ここで定義される一般原則は別の実施形態に適用できる。よって、本発明は、図示および記述される特定の実施形態に限定されず、開示される原則と新規特徴と一致する幅広い範囲が認められる。上記の詳細な説明において、本発明を十分に理解するため、各種特定の詳細が説明されている。

上述される本発明の実施形態は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実行される。たとえば、本発明の実施形態は、ビデオ圧縮チップに整合される回路またはビデオ圧縮ソフトウェアに整合されるプログラムコードで、ここで記述される処理を実行する。本発明の実施形態は、デジタル信号プロセッサ（ＤＳＰ）で実行されるプログラムコードで、ここで記述される処理を実行する。本発明は、さらに、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）により実行される複数の機能を含む。これらのプロセッサは、本発明により具体化される特定の方法を定義する機械可読ソフトウェアコードまたはファームウェアコードを実行することにより、本発明による特定のタスクを実行することができる。ソフトウェアコードまたはファームウェアコードは、異なるプログラミング言語および異なるフォーマットまたはスタイルで展開される。ソフトウェアコードは、異なるターゲットプラットフォームにコンパイルされる。しかし、本発明に関連するタスクを実行する異なるコードフォーマット、ソフトウェアコードのスタイルと言語および設定コードの別の手段は、本発明の精神と領域を脱しない。

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

Claims (11)

1. 三次元ビデオ符号化または復号化システムのための方法であって、前記方法は、
   現在のブロックの運動ベクトルまたは視差ベクトルに関連する入力データを受信する工程と、
   統一された導出方法を用いて、前記現在のブロックに対応する関連する奥行きブロックの奥行きデータから、統一された視差ベクトルを導出する工程であって、前記統一された導出方法は、前記関連する奥行きブロック中の奥行きサンプルのサブセットから、前記統一された視差ベクトルを生成し、且つ、前記統一された導出方法は、奥行きデータから導出された一視差ベクトルが符号化または復号化に必要とされるとき、インターモード、スキップモード、または、ダイレクトモードに適用され、前記サブセットが、前記関連する奥行きブロックより少ない奥行きサンプルを含むものであるところの当該工程と、
   前記インターモード、スキップモード、または、ダイレクトモードで、前記統一された視差ベクトルを用いて、前記入力データを符号化するまたは復号化する工程と、
   を含むことを特徴とする方法。
2. さらに、
   前記統一された視差ベクトルを用いて、前記現在のブロックの隣接するブロックセットに基づいて、ひとつ以上の視差ベクトル予測またはひとつ以上の運動ベクトル予測を決定し、前記隣接するブロックセット中の前記第一ブロックが、視差ベクトルを有さない場合、前記隣接するブロックセット中の第一ブロックに関連する一視差ベクトルが、前記統一された視差ベクトルから生成され、前記隣接するブロックセット中の前記第二ブロックが運動ベクトルを有さない場合、前記隣接するブロックセット中の第二ブロックに関連する一運動ベクトル予測が、前記統一された視差ベクトルにより設置される対応するブロックから生成される工程と、
   前記統一された視差ベクトルを用いて決定される前記視差ベクトル予測または運動ベクトル予測を用いて符号化または復号化される工程と、
   を含むことを特徴とする請求項１に記載の方法。
3. 前記ひとつ以上の運動ベクトル予測または前記ひとつ以上の視差ベクトル予測は、検索順序にしたがって、前記現在のブロックの前記隣接するブロックセットから決定されることを特徴とする請求項２に記載の方法。
4. 前記統一された視差ベクトルは、視差補償予測（ＤＣＰ）、方向−分離運動ベクトル予測、ビュー間動き予測またはビュー間余剰予測のビュー間画像において、対応するブロックを設置するのに用いられることを特徴とする請求項１に記載の方法。
5. 前記サブセットは、前記関連する奥行きブロックのひとつ以上の境界サンプルを含むことを特徴とする請求項１に記載の方法。
6. 前記サブセットは、さらに、前記関連する奥行きブロックの中央サンプルを含むことを特徴とする請求項５に記載の方法。
7. 前記サブセットは、前記関連する奥行きブロックの四隅サンプルを含むことを特徴とする請求項５に記載の方法。
8. 前記統一された視差ベクトルは、最大値、平均値、中央値、最大頻発または前記関連する奥行きブロックの前記サブセットの深度値の線形結合に対応し、前記サブセットは、二つ以上の奥行きサンプルを含むことを特徴とする請求項１に記載の方法。
9. 前記統一された導出方法が、インターモード、スキップモードおよびダイレクトモードにより共有されるかを示すフラグが用いられることを特徴とする請求項１に記載の方法。
10. さらに、
    前記現在のブロックの隣接するブロックセットに基づいて、ひとつ以上の視差ベクトル予測を決定し、前記隣接するブロックセット中の前記一ブロックが視差ベクトルを有さない場合、前記隣接するブロックセット中の一ブロックに関連する一視差ベクトル予測が、前記統一された視差ベクトルから生成される工程と、
    前記ひとつ以上の視差ベクトル予測から導出する一視差ベクトルにより設置される対応するブロックから生成される運動ベクトル候補を決定する工程と、
    前記運動ベクトル候補を用いて、前記入力データを符号化または復号化する工程と、
    を含むことを特徴とする請求項１に記載の方法。
11. 三次元ビデオ符号化または復号化システムのための装置であって、前記装置は、
    現在のブロックの運動ベクトルまたは視差ベクトルに関連する入力データを受信する手段と、
    統一された導出手段を用いて、前記現在のブロックに対応する関連する奥行きブロックの奥行きデータから、統一された視差ベクトルを導出する手段であって、前記統一された導出手段は、前記関連する奥行きブロックの奥行きサンプルのサブセットから、前記統一された視差ベクトルを生成し、且つ、前記統一された導出手段は、奥行きデータから導出する一視差ベクトルが符号化または復号化に必要とされるとき、インターモード、スキップモード、または、ダイレクトモードに適用され、前記サブセットは、前記関連する奥行きブロックより少ない奥行きサンプルを含むものであるところの当該手段と、
    前記インターモード、スキップモード、または、ダイレクトモードにおいて、前記統一された視差ベクトルを用いて、前記入力データを符号化または復号化する手段と、
    を含むことを特徴とする装置。

Images