JP2013538534A - オクルージョンデータのための圧縮方法および圧縮装置 - Google Patents

Abstract

３Ｄビデオにおけるオクルージョンビデオデータおよびオクルージョン奥行きデータなどのオクルージョンレイヤをコーディングするための方法および装置を開示する。デコーディング方法は、受信されたオクルージョンデータに関するオリジナルフォーマットを表すインジケータを抽出するステップ（Ｓ７０２）であって、オリジナルフォーマットは、スパースオクルージョンデータフォーマットおよびフィルドオクルージョンデータフォーマットのうちの１つから選択されるステップと、受信されたオクルージョンデータをデコーディングして、デコーディングされたオクルージョンデータを作成するステップ（Ｓ７０３）と、インジケータが、オリジナルフォーマットをフィルドオクルージョンデータフォーマットとして示している場合に、デコーディングされたオクルージョンデータをスパースオクルージョンデータフォーマットからフィルドオクルージョンデータフォーマットへ変換するステップ（Ｓ７０６）とを含み、変換するステップは、定義された特徴を用いて表されている非オクルージョンエリアデータを、オクルージョンデータに関連付けられているビデオデータフレーム内の２Ｄデータからのそれぞれの併置されるサンプルによって置き換えるステップ（Ｓ７０６）と、デコーディングされたオクルージョンデータ、および存在する場合には、変換されたデコーディングされたオクルージョンデータを出力するステップ（Ｓ７０５）とをさらに含む方法。

Description

本出願は、２０１０年９月１４日に出願された「Compression Methods For Occlusion Data」と題する、本出願の権利者が所有する同時係属中の米国特許仮出願第６１／４０３３４５号明細書（整理番号ＰＵ１００１９２）からの優先権の利益を主張する。

本出願は、２０１０年４月３０日という国際出願日を有する「3D Video Coding Formats」と題するＰＣＴ出願第ＰＣＴ／ＵＳ２０１０／００１２８６号明細書（整理番号ＰＵ０９００４５）、２０１０年４月３０日という国際出願日を有する「Reference Picture Lists for 3DV」と題するＰＣＴ出願第ＰＣＴ／ＵＳ２０１０／００１２９１号明細書（整理番号ＰＵ０９００４９）、および２０１０年４月３０日という国際出願日を有する「Inter-Layer Dependency Information for 3DV」と題するＰＣＴ出願第ＰＣＴ／ＵＳ２０１０／００１２９２号明細書（整理番号ＰＵ１０００２６）という本出願の権利者が所有する同時係属中の特許出願に関する。

本発明は、ビデオコーディングシステムに関し、より詳細には、３Ｄ（ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ）画像をコーディングおよびデコーディングするシステムに関する。

テレビジョン番組は、３Ｄでさらに広く利用可能になってきている。スポーツイベントおよびコンサートが、家庭での鑑賞用に放送されている。３Ｄコンポーネントの売上げが増えるにつれて、および３Ｄに対する需要が伸びるにつれて、３Ｄの番組が、近い将来、一般的なＴＶチャネルのほとんどで広く提供されることになると予想される。

３ＤテレビジョンおよびＦＶＶ（ｆｒｅｅ−ｖｉｅｗｐｏｉｎｔ ｖｉｄｅｏ）などの新たなビデオアプリケーションを促進するために、従来の２Ｄビデオおよび奥行きの両方（一般に「２Ｄデータ」と呼ばれる）から構成されている３Ｄビデオデータフォーマットを利用することができ、それによって、エンドユーザまたは視聴者のためにさらなるビューをレンダリングすることができる。たとえば、いくつか例を挙げれば、２Ｄ＋Ｚ（２Ｄ ｐｌｕｓ ｄｅｐｔｈ）、ＬＤＶ（Ｌａｙｅｒｅｄ Ｄｅｐｔｈ Ｖｉｄｅｏ）、ＭＶＤ（Ｍｕｌｔｉｖｉｅｗ ｐｌｕｓ Ｄｅｐｔｈ）、ＤＥＳ（Ｄｉｓｐａｒｉｔｙ Ｅｎｈａｎｃｅｄ Ｓｔｅｒｅｏ）、およびＬＤＶ＋Ｒ（Ｌａｙｅｒ Ｄｅｐｔｈ Ｖｉｄｅｏ ｐｌｕｓ Ｒｉｇｈｔ Ｖｉｅｗ）を含む複数の異なる３Ｄビデオフォーマットがある。２Ｄ＋Ｚ（２Ｄ ｐｌｕｓ ｄｅｐｔｈ）フォーマットは、２Ｄビデオ要素と、その対応する奥行きマップとから構成される。ＬＤＶ（Ｌａｙｅｒｅｄ Ｄｅｐｔｈ Ｖｉｄｅｏ）フォーマットは、２Ｄ＋Ｚフォーマット要素およびオクルージョンビデオをオクルージョン奥行きとともに含む。ＭＶＤ（Ｍｕｌｔｉｖｉｅｗ ｐｌｕｓ Ｄｅｐｔｈ）フォーマットは、２Ｄ＋Ｚでフォーマットされた複数の要素のセットから構成され、２Ｄ＋Ｚでフォーマットされたそれぞれの要素は、別々の視点に関連している。ＤＥＳ（Ｄｉｓｐａｒｉｔｙ Ｅｎｈａｎｃｅｄ Ｓｔｅｒｅｏ）フォーマットは、ＬＤＶでフォーマットされた２つの要素から構成され、ＬＤＶでフォーマットされたそれぞれの要素は、２つの異なる視点のうちの一方に関連している。ＬＤＶ＋Ｒ（Ｌａｙｅｒ Ｄｅｐｔｈ Ｖｉｄｅｏ ｐｌｕｓ Ｒｉｇｈｔ Ｖｉｅｗ）フォーマットは、左のビューからのＬＤＶでフォーマットされた１つの要素と、右のビューからの２Ｄビデオ要素とから構成される。

これらのさまざまなフォーマットにおけるデータを保護するために、ならびに可能な限りの伝送効率または処理効率さえ得るために、コーディングが使用されてきた。コーディングとは、この用語について本明細書において使用されるものとして考える際には、エンコーディングオペレーションおよびデコーディングオペレーションを包含するものと理解すべきである。通常は複数のビューを含んでいる３Ｄコンテンツを、そして場合によっては、対応する奥行きマップもコーディングすることは、典型的には難しい作業である。３Ｄコンテンツのそれぞれのフレームは、膨大な量のデータを取り扱うことをシステムに要求する場合がある。そのようなフォーマットされたデータのコーディングは、依然として目下の研究の課題であるが、これらのフォーマットにおける３Ｄビデオコンテンツの多くをエンコーディングおよびデコーディングするための少なくとも１つのフレームワークが、上で確認したＰＣＴ出願第ＰＣＴ／ＵＳ２０１０／００１２８６号明細書において提示されていることが知られている。それでもなお、ほとんどのコーディングの取り組みは、奥行きおよびオクルージョンのデータなどの補足的なデータとは対照的に、主として実際のビデオまたはテクスチャーの情報を対象としているように思われる。

オクルージョンデータ、すなわち、オクルージョンビデオまたはオクルージョン奥行きは、ＴＶディスプレイを見ているエンドユーザによって直接見られること、またはそうしたエンドユーザに直接提示されることはない。その代わりに、オクルージョンデータは、仮想ビューをレンダリングする目的で受信機によって使用される。オクルージョンデータは、通常のビデオまたは奥行きの情報とは異なる特徴を示す。オクルージョンデータは、典型的には、ピクセル値（すなわち、オクルージョンビデオデータ用）または奥行き値（すなわち、オクルージョン奥行きデータ用）を含み、それらの値は、ＴＶ視聴者の視聴ポイントからは見えない。オクルージョンデータは、少なくとも早くも２００８年にはＭＰＥＧ ３ＤＶアドホックグループ内のＬＤＶフォーマットにおいて登場していたという事実にもかかわらず、オクルージョンデータを効率よく取り扱ってコーディングするための技術は、現時点では知られていない。

ＬＤＶフォーマットに対していくつかのコーディングの実験が、ＭＶＣ（ｍｕｌｔｉ−ｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇ）を使用して行われたが、それらの実験においては、オクルージョンデータは、通常の２Ｄビューとして扱われている。しかしながら、このアプローチは、オクルージョンビデオデータおよびオクルージョン奥行きデータを取り扱うための効率的な方法ではない。

たとえば、手ごろな価格の３Ｄコンテンツに対する需要が伸びている中で、伝送帯域幅、格納容量、および処理能力における限界によって、３Ｄシステム全体にわたってさらに高い効率を求めるニーズが引き続き浮き彫りになるであろう。しかし、当技術分野において知られている技術のうちのいずれも、オクルージョンデータを効率よくコーディングすることに適していない。したがって、３Ｄコンテンツの処理、格納、および伝送においてさらに高いシステム効率を提供するために、オクルージョンビデオデータおよびオクルージョン奥行きデータの両方を含む、オクルージョンデータのためのさらに効率的なコーディング技術が必要とされていると思われる。

オクルージョンデータは、たとえレンダリング処理内で参照されるとしても、頻繁には参照されず、典型的には、レンダリング処理内のいずれの単一ポイントにおいても、オクルージョンデータのフレーム内のわずかなエリアしか使用されない、という事実を、これまでのオクルージョンデータ用のコーディング処理は無視しているように思われる。典型的には、オクルージョンビデオは、ビューが仮想位置にワープ（warp）した後に穴が見られる場合に参照される。その場合でさえ、オクルージョンビデオのうちで、ワープされたビュー内の穴の位置に対応する１つまたは複数のわずかなエリアしか参照されない。同様の原理が、オクルージョン奥行きの使用にも当てはまる。そしてこれらの観察結果は、オクルージョンデータのための効率的なコーディング戦略を作成する際に有用である。

本発明の原理によれば、３Ｄビデオにおけるオクルージョンビデオデータおよびオクルージョン奥行きデータなどのオクルージョンレイヤのためのコーディング方法は、このデータを取り扱うシステムにおける伝送および処理の効率を改善することを対象とする。オクルージョンデータのためのこれらのコーディング方法は、オクルージョンフォーマットを表示することと、すべてのオクルージョンデータをスパースデータフォーマットへと変換することと、非オクルージョンエリアまたはマクロブロックを、単一の色などの定義された特徴で満たすことと、参照ピクチャーリスト内の２Ｄデータの配置を並べ替えることと、奥行きの境界に対する近接度を使用して、オクルージョンエリアおよび非オクルージョンエリアまたはマクロブロックを検知することと、非オクルージョンエリアまたはマクロブロックのためにスキップモードのコーディングを使用することと、オクルージョンエリアマクロブロックをコーディングするためにレート歪みコストを使用することと、単一のオクルージョンフレームをコーディングする一方で、次のｎ−１個のオクルージョンフレームをスキップすることとを含む。これらの技術のそれぞれは、個別に適用されるか、または組み合わせて適用されるかにかかわらず、３Ｄデータのビットストリーム全体にわたって、改善されて著しく拡張さえされたコーディング利得および伝送利得を提供する。

本発明の原理の一態様によれば、ビデオデータフレームのシーケンスにおいてオクルージョンデータを処理するための方法が提供され、この方法は、オクルージョンデータに関するフォーマットを特定するステップであって、そのフォーマットは、スパースオクルージョンデータフォーマットおよびフィルド（ｆｉｌｌｅｄ）オクルージョンデータフォーマットのうちの１つから選択されるステップと、オクルージョンデータに関するフォーマットが、フィルドオクルージョンデータフォーマットであると特定された場合に、エンコーディングの前にオクルージョンデータをスパースオクルージョンデータフォーマットへと変換するステップと、オクルージョンデータをエンコーディングして、エンコーディングされたオクルージョンデータを作成するステップと、エンコーディングされたオクルージョンデータを、オクルージョンデータに関して特定されたフォーマットを表すインジケータとともに出力するステップとを含む。

本発明の原理の別の態様によれば、ビデオデータフレームのシーケンスにおいてオクルージョンデータを処理するための装置が提供され、この装置は、オクルージョンデータに関するフォーマットを特定するステップであって、そのフォーマットは、スパースオクルージョンデータフォーマットおよびフィルドオクルージョンデータフォーマットのうちの１つから選択されるステップと、オクルージョンデータに関するフォーマットが、フィルドオクルージョンデータフォーマットであると特定された場合に、エンコーディングの前にオクルージョンデータをスパースオクルージョンデータフォーマットへと変換するステップと、オクルージョンデータをエンコーディングして、エンコーディングされたオクルージョンデータを作成するステップと、エンコーディングされたオクルージョンデータを、オクルージョンデータに関して特定されたフォーマットを表すインジケータとともに出力するステップとを行うためのエンコーダを含む。

本発明の原理の別の態様によれば、ビデオデータフレームのシーケンスにおいてオクルージョンデータを処理するための方法が提供され、この方法は、受信されたオクルージョンデータに関するオリジナルフォーマットを表すインジケータを抽出するステップであって、オリジナルフォーマットは、スパースオクルージョンデータフォーマットおよびフィルドオクルージョンデータフォーマットのうちの１つから選択されるステップと、受信されたオクルージョンデータをデコーディングして、デコーディングされたオクルージョンデータを作成するステップと、インジケータが、オリジナルフォーマットをフィルドオクルージョンデータフォーマットとして示している場合に、デコーディングされたオクルージョンデータをスパースオクルージョンデータフォーマットからフィルドオクルージョンデータフォーマットへ変換するステップとを含み、変換するステップは、定義された特徴を用いて表されている非オクルージョンエリアデータを、オクルージョンデータに関連付けられているビデオデータフレーム内の２Ｄデータからのそれぞれの併置されるサンプルによって置き換えるステップと、デコーディングされたオクルージョンデータ、および存在する場合には、変換されたデコーディングされたオクルージョンデータを出力するステップとをさらに含む。

本発明の原理の別の態様によれば、ビデオデータフレームのシーケンスにおいてオクルージョンデータを処理するための装置が提供され、この装置は、受信されたオクルージョンデータに関するオリジナルフォーマットを表すインジケータを抽出するステップであって、オリジナルフォーマットは、スパースオクルージョンデータフォーマットおよびフィルドオクルージョンデータフォーマットのうちの１つから選択されるステップと、受信されたオクルージョンデータをデコーディングして、デコーディングされたオクルージョンデータを作成するステップと、インジケータが、オリジナルフォーマットをフィルドオクルージョンデータフォーマットとして示している場合に、デコーディングされたオクルージョンデータをスパースオクルージョンデータフォーマットからフィルドオクルージョンデータフォーマットへ変換するステップとを行うためのデコーダを含み、変換するステップは、定義された特徴を用いて表されている非オクルージョンエリアデータを、オクルージョンデータに関連付けられているビデオデータフレーム内の２Ｄデータからのそれぞれの併置されるサンプルによって置き換えるステップと、デコーディングされたオクルージョンデータ、および存在する場合には、変換されたデコーディングされたオクルージョンデータを出力するステップとをさらに含む。

１つまたは複数の実施態様の詳細が、添付の図面および以降の説明において示されている。たとえ特定の１つの様式で説明されていても、実施態様は、さまざまな様式で構成または具体化することができるということは明らかなはずである。たとえば、一実施態様は、方法として実行すること、または一式のオペレーションを実行するように構成されている装置として具体化すること、または一式のオペレーションを実行するための命令を格納する装置として具体化することができる。その他の態様および特徴は、以降の詳細な説明を添付の図面および特許請求の範囲と併せて考察すれば、明らかになるであろう。

本発明の実施形態についての以降の説明を添付の図面と併せて参照することによって、本発明の上述およびその他の特徴および利点、ならびにそれらを達成する方法が、より明らかになり、本発明をよりよく理解できるであろう。
例示的な３ＤＶ（３Ｄ ｖｉｄｅｏ）エンコーダを表すブロック図である。 例示的な３ＤＶ（３Ｄ ｖｉｄｅｏ）デコーダを表すブロック図である。 例示的な３ＤＶ（３Ｄ ｖｉｄｅｏ）レイヤエンコーダを表すブロック図である。 例示的な３ＤＶ（３Ｄ ｖｉｄｅｏ）レイヤデコーダを表すブロック図である。 ＬＤＶフォーマットの各成分を（ａ）〜（ｆ）で示す図であり、（ｃ）および（ｄ）は、フィルドオクルージョンデータを表しており、（ｅ）および（ｆ）は、スパースオクルージョンデータを表しており、（ｅ）および（ｆ）は、それぞれ（ｃ）および（ｄ）の代わりに採用することができる。 本発明の原理に従って実現される、オクルージョンデータのためのキーイング技術とともにスパースオクルージョンデータおよびフィルドオクルージョンデータの表示を含むオクルージョンデータのエンコーディングの一実施形態に関するフローチャートである。 本発明の原理に従って実現される、オクルージョンデータのためのキーイング技術とともにスパースオクルージョンデータおよびフィルドオクルージョンデータの表示を含むオクルージョンデータのデコーディングの一実施形態に関するフローチャートである。 本発明の原理に従って実現される、オクルージョンデータのためのスキップモードの使用を含むオクルージョンデータのエンコーディングの第２の実施形態に関するフローチャートである。 本発明の原理に従って実現される、オクルージョンデータのためのスキップモードの使用を含むオクルージョンデータのデコーディングの第２の実施形態に関するフローチャートである。 本発明の原理に従って実現される、オクルージョンデータのための奥行きスキップモードの使用を含むオクルージョンデータのエンコーディングの第３の実施形態に関するフローチャートである。 本発明の原理に従って実現される、オクルージョンデータのための奥行きスキップモードの使用を含むオクルージョンデータのデコーディングの第３の実施形態に関するフローチャートである。 本発明の原理に従って実現される、オクルージョンデータのための更新の使用を含むオクルージョンデータのエンコーディングの第４の実施形態に関するフローチャートである。 本発明の原理に従って実現される、オクルージョンデータのための更新の使用を含むオクルージョンデータのデコーディングの第４の実施形態に関するフローチャートである。

本明細書に記載されている例示的な実施形態は、本発明の好ましい実施形態を示しており、そのような例示的な実施形態は、いかなる形であれ本発明の範囲を限定するものと解釈されるべきではない。

オクルージョンビデオデータおよびオクルージョン奥行きデータなどのオクルージョンレイヤのためのコーディング方法が、このデータを取り扱うシステムにおける伝送および処理の効率を改善することを対象とするものとして、本明細書に記載されている。いくつかの改良されたコーディング技術が開示されている。加えて、この説明はまた、オクルージョンデータの実際のタイプに関する詳細を伝達する目的でフレームヘッダまたはオーバーヘッドメッセージ内に含めるためのシンタックスに関する情報、および本発明の実施において有用なその他の情報を含む。

本明細書に記載されているエンコーディング技術およびデコーディング技術は、オクルージョンデータの特定の１つの種類が明示的に指定されていない限り、そのオクルージョンデータがオクルージョン奥行きデータであるか、またはオクルージョンビデオデータであるかにかかわらず、オクルージョンデータ全般に適用可能であるということが意図されている。その上、本明細書に記載されているエンコーディング技術およびデコーディング技術は、オクルージョンデータフォーマットの特定の１つのタイプが明示的に指定されていない限り、そのオクルージョンデータフォーマットがスパースであるか、またはフィルドであるかにかかわらず、オクルージョンデータのあらゆるフォーマット全般に適用可能であるということも意図されている。

特定の用語が本出願の文脈において適切に理解されるようにそれらの用語について説明することが重要である。特定の有用な用語について、下記のように定義する。

「２Ｄデータ」とは、２Ｄのビデオデータおよび奥行きデータのうちの一方または両方を含み、この場合、「データ」という用語は、「レイヤ」という用語と交換可能に使用することができる。

「２Ｄビデオ」レイヤとは一般に、本明細書においては、従来のビデオ信号を指すために使用される。

「奥行き」レイヤとは一般に、本明細書においては、シーンオブジェクトに関する距離情報を示すデータを指すために使用される。

「奥行きマップ」とは、奥行きレイヤの典型的な一例である。

「オクルージョンビデオ」レイヤとは一般に、本明細書においては、特定の視点からふさがれている（ｏｃｃｌｕｄｅｄ）ビデオ情報を指すために使用される。オクルージョンビデオレイヤは、典型的には、２Ｄビデオレイヤに関するバックグラウンド情報を含む。

「オクルージョン奥行き」レイヤとは一般に、本明細書においては、特定の視点からふさがれている奥行き情報を指すために使用される。オクルージョン奥行きレイヤは、典型的には、奥行きレイヤに関するバックグラウンド情報を含む。

「透過」レイヤとは一般に、本明細書においては、奥行きの切れ目または奥行きの境界を示すピクチャーを指すために使用される。典型的な透過レイヤは、２値の情報を有し、それらの２つの値のうちの１つは、隣の奥行き値に対して、奥行きが特定のしきい値よりも大きい切れ目を有する位置を示す。

「３ＤＶビュー」とは、本明細書においては、１つのビュー位置からのデータセットと定義され、これは、ＭＶＣにおいて使用される「ビュー」とは異なる。たとえば、３ＤＶビューは、ＭＶＣにおけるビューよりも多くのデータを含むことができる。２Ｄ＋Ｚフォーマットに関しては、３ＤＶビューは、２つのレイヤ、すなわち、２Ｄビデオと、その奥行きマップとを含むことができる。ＬＤＶフォーマットに関しては、３ＤＶビューは、４つのレイヤ、すなわち、２Ｄビデオと、奥行きマップと、オクルージョンビデオと、オクルージョン奥行きマップとを含むことができる。加えて、透過マップは、数ある中でも、３ＤＶビュー内の別のレイヤデータタイプとすることができる。

「３ＤＶレイヤ」とは、３ＤＶビューのレイヤのうちの１つと定義される。３ＤＶレイヤの例は、たとえば、２Ｄビューまたは２Ｄビデオ、奥行き、オクルージョンビデオ、オクルージョン奥行き、および透過マップである。２Ｄビューまたは２Ｄビデオ以外のレイヤは、「３ＤＶ補足レイヤ」とも定義される。１つまたは複数の実施形態においては、３ＤＶデコーダは、レイヤを識別し、そのレイヤを、３ｄｖレイヤｉｄを使用してその他のレイヤから区別するように構成することができる。一実施態様においては、３ｄｖレイヤｉｄは、表１におけるように定義される。しかし、本明細書において提供されている教示に照らせば、当業者なら理解できることだが、それらのレイヤをその他の方法で定義および識別することもできるということに留意されたい。

一般的な３ＤＶコーダ／デコーダ（コーデック）フレームワーク、たとえば、上で確認したＰＣＴ出願第ＰＣＴ／ＵＳ２０１０／００１２８６号明細書に記載されているものなどにおいては、オクルージョンビデオおよびオクルージョン奥行きは、特定の３ＤＶレイヤにおいて扱われ、それによって、新たなまたはさらなるコーディングモードを設計することが可能になる。この説明においては、ＰＣＴ出願第ＰＣＴ／ＵＳ２０１０／００１２８６号明細書の図３〜図６からの３ＤＶコーデックフレームワークは、それぞれ図１〜図４として本明細書に含まれている。このフレームワークに関するさらなる詳細については、ＰＣＴ出願第ＰＣＴ／ＵＳ２０１０／００１２８６号明細書を参照することを推奨する。

図１および図２は、ハイレベルな一般的な３ＤＶエンコーダ３００およびデコーダ４００をそれぞれ示している。エンコーダ３００／デコーダ４００は、レイヤエンコーダ／デコーダおよび３ＤＶ参照バッファから構成されている。たとえば、３ＤＶコンテンツ信号３０２が、たとえば、２Ｄビューレイヤ、奥行きレイヤ、オクルージョンビューレイヤ、オクルージョン奥行きレイヤ、および透過マップレイヤを含むことができ、図１において示されているように、さまざまなレイヤエンコーダに入力される。具体的には、エンコーダシステム／装置３００は、２Ｄレイヤをエンコーディングするように構成されていてＡＶＣとの互換性を有することができる２Ｄレイヤエンコーダ３０４と、拡張２Ｄレイヤをエンコーディングするように構成されている拡張２Ｄレイヤエンコーダ３０６と、奥行きレイヤをエンコーディングするように構成されている奥行きレイヤエンコーダ３０８と、オクルージョンビューレイヤをエンコーディングするように構成されているオクルージョンビューレイヤエンコーダ３１０と、オクルージョン奥行きレイヤをエンコーディングするように構成されているオクルージョン奥行きレイヤエンコーダ３１２と、透過レイヤをエンコーディングするように構成されている透過レイヤエンコーダ３１４とを含む。このように、それぞれのレイヤは、別々のエンコーダおよび／またはエンコーディング技術を使用してエンコーディングすることができる。

拡張２Ｄレイヤとは一般に、本明細書においては、そのようなレイヤを、ＡＶＣ、ＭＶＣ、ＳＶＣ、またはその他の何らかの基礎をなす標準との互換性を有するレイヤから区別するために使用される。たとえば拡張２Ｄレイヤは、典型的には、ＭＶＣとの互換性を有していない。なぜなら、そのようなレイヤは、たとえば、レイヤ間の参照を使用することなど、新たなコーディングツールを可能にするためである。したがって、そのようなレイヤは一般に、ＭＶＣとの下位互換性を有していない。

「拡張２Ｄレイヤ」（または補足レイヤ）という用語は、ＭＶＣを用いてコーディングすることができるが表示されることを期待されていないレイヤを指すためにも使用することもでき、したがって、ＭＶＣを用いてコーディングされるものとして説明されることは典型的ではないということに留意されたい。たとえば、一連の奥行きレイヤは、ＭＶＣによって一連のピクチャーとして扱われることが可能であり、ＭＶＣによってコーディングされることが可能である。しかし、奥行きレイヤを表示することは典型的ではなく、したがって、ＭＶＣを使用することによる以外に、そのようなレイヤを識別およびコーディングする別の方法を有することが望ましい場合が多い。

それぞれのレイヤは、別の参照を使用することもできる。その参照は、エンコーディングされている（デコーディングされている）ピクチャー／ブロックとは別のレイヤから生じるものとすることができる。別のレイヤからの参照は、３ＤＶ参照バッファ３１６（３ＤＶ参照／出力バッファ４１４）から得ることができる。図１において示されているように、それぞれのレイヤエンコーダは、入力信号３０２をさまざまなモードでエンコーディングして出力信号３１８を生成することを可能にするために、３ＤＶ参照バッファ３１６と信号通信状態にある。

３ＤＶ参照バッファ３１６を利用することによって、３ＤＶフォーマットのそれぞれのレイヤは、それ自体のレイヤからの参照、たとえば、モーション補償および／もしくはディスパリティー補償を伴う同じレイヤ内での時間的参照および／もしくはビュー間参照などを使用して、ならびに／または、さまざまなレイヤの間におけるレイヤ間予測を使用してエンコーディングすることができる。たとえば、レイヤ間予測は、別のレイヤからのモーション情報、たとえば、モーションベクトル、参照インデックスなどを再利用して、現在のレイヤをエンコーディングすることができ、これは、モーションスキップモードとも呼ばれる。この方法においては、出力信号３１８は、１つまたは複数の３ＤＶビューに関するさまざまなレイヤ情報でインターリーブされることが可能である。レイヤ間予測は、その他のレイヤのアクセスに基づく任意の種類の技術のものとすることができる。

デコーダシステム／装置４００に関しては、システム４００は、図２において示されているように信号３１８を入力することができるさまざまなレイヤデコーダを含む。詳細には、エンコーダシステム／装置４００は、２Ｄレイヤをデコーディングするように構成されていてＡＶＣとの互換性を有することができる２Ｄレイヤデコーダ４０２、拡張２Ｄレイヤをデコーディングするように構成されている拡張２Ｄレイヤデコーダ４０４、奥行きレイヤをデコーディングするように構成されている奥行きレイヤデコーダ４０６、オクルージョンビューレイヤをデコーディングするように構成されているオクルージョンビューレイヤデコーダ４０８、オクルージョン奥行きレイヤをデコーディングするように構成されているオクルージョン奥行きレイヤデコーダ４１０、および／または透過レイヤをデコーディングするように構成されている透過レイヤデコーダ４１２を含む。

図２において示されているように、それぞれのレイヤデコーダは、３ＤＶ参照／出力バッファ４１４と信号通信状態にあり、３ＤＶ参照／出力バッファ４１４は、レイヤデコーダから受信したデコーディングされたレイヤ情報を解析することと、入力信号内に含まれているレイヤが、３Ｄ処理をサポートする構造にどのように適合するかを特定することとを行うように構成することができる。そのような３Ｄ処理は、たとえば、本明細書に記載されているような３Ｄレイヤのコーディング、または受信機もしくはディスプレイユニットにおけるさらなるピクチャーのレンダリング（合成）を含むことができる。レンダリングは、たとえば、２Ｄビデオをワープするために奥行きピクチャーを、および／または、レンダリングされたピクチャーの穴をバックグラウンド情報で埋めるためにオクルージョンピクチャーを使用することができる。

加えて、３ＤＶ参照／出力バッファ４１４は、出力信号４１６を、ユーザへ提示するために３ＤＶ互換フォーマットで生成するように構成することができる。フォーマットされた３ＤＶコンテンツ信号４１６は、もちろん、たとえば、２Ｄビューレイヤ、奥行きレイヤ、オクルージョンビューレイヤ、オクルージョン奥行きレイヤ、および透過マップレイヤを含むことができる。出力バッファは、図２において示されているように、参照バッファと一体化して実装することができるが、別法として、その他の実施形態においては、参照バッファと出力バッファとを別々にすることもできる。

エンコーダ３００およびデコーダ４００のその他の実装形態では、より多くのレイヤ、またはより少ないレイヤを使用することができる。加えて、示されているレイヤとは異なるレイヤを使用することもできる。「バッファ」という用語は、３ＤＶ参照バッファ３１６において、および３ＤＶ参照／出力バッファ４１４において使用される際には、インテリジェントバッファである、ということは明らかなはずである。そのようなバッファを使用して、たとえば、ピクチャーを格納すること、参照（または参照の一部分）を提供すること、およびピクチャーを出力用として並べ替えることができる。加えて、そのようなバッファを使用して、たとえば、その他のさまざまな処理オペレーション、例としては、仮説に基づく参照デコーダのテスト、マーキングコマンドの処理（たとえば、ＡＶＣにおけるメモリマネージメントコントロールオペレーション）、およびデコーディングされたピクチャーのバッファのマネージメントなどを実行することができる。

図３は、レイヤエンコーダ３０４〜３１４のうちの任意の１つまたは複数を実施するために使用することができる一般的な３ＤＶレイヤエンコーダ５００のハイレベルブロック図／流れ図を示しており、図４は、レイヤデコーダ４０２〜４１２のうちの任意の１つまたは複数を実施するために使用することができる一般的な３ＤＶレイヤデコーダ６００のハイレベルブロック図／流れ図を示している。レイヤエンコーダ３０４〜３１４のそれぞれは、特定の目的に有利に働くように、たとえば図３において示されているように、それぞれの対応するレイヤに対して同じ一般的な様式で設計することができるということがわかる。逆に、本明細書において提供されている教示に照らせば理解できることだが、それらのレイヤエンコーダは、それぞれの独自の特徴をよりよく利用するように別々の構成にすることもできる。同様に、デコーダ４０２〜４１２は、たとえば図４において示されているように、それぞれの対応するレイヤに対して同じ一般的な様式で設計することができる。逆に、それらのレイヤデコーダは、それぞれの独自の特徴をよりよく利用するように別々の構成にすることもできる。

ＭＶＣエンコーダに関しては、入力が、複数のビューから構成されているということに留意されたい。それぞれのビューは、従来の２Ｄビデオである。したがって、ＡＶＣエンコーダと比較して、典型的なＭＶＣエンコーダは、ディスパリティー推定ブロック、ディスパリティー補償ブロック、およびビュー間参照バッファなど、さらなるブロックを含む。同じように、図３および図４は、３ＤＶの参照およびレイヤ間予測のためのブロックを含む。３ＤＶエンコーダでは、入力は、複数の３Ｄビューから構成されている。上述のように、それぞれの３Ｄビューは、いくつかのレイヤを含むことができる。したがって、それぞれのレイヤのためのエンコーディング方法は、それぞれの独自の特徴を利用するように別々に設計することができる。結果として、３ＤＶエンコーダは、図１において示されているように、複数のレイヤエンコーダに分けることができる。しかし、それらのレイヤエンコーダを緊密に結合することもできる。レイヤエンコーダにおいて使用される技術は、所与のシステムに関して所望に応じて調整することができる。それぞれのレイヤはビデオ信号として現れるため、それらのレイヤは、図３において示されているように高いレベルでは同様の構造を有することができる。それらのレイヤエンコーダは、より低い、より具体的なレベルでは別々に設計することができるということに留意されたい。もちろん、一実施形態では、すべてのレイヤをエンコーディングするように構成されている単一のエンコーダを使用することもできる。

図３において示されているハイレベルの図に関して、３ＤＶレイヤエンコーダ５００は、レイヤパーティショナー５０４を含むことができ、レイヤパーティショナー５０４は、入力信号５０２内の３ＤＶビューｉに関する３ＤＶビューレイヤを受信して、それらの３ＤＶビューレイヤを互いに分割するように構成されている。パーティショナー５０４は、アダーまたはコンバイナー５０６、変位（モーション／ディスパリティー）補償モジュール５０８、および変位（モーション／ディスパリティー）推定モジュール５１０と信号通信状態にあり、それらはそれぞれ、一式の分割されたレイヤをパーティショナー５０４から受信する。アダー５０６への別の入力は、スイッチ５１２を通じて受信されるさまざまな可能な参照ピクチャー情報のうちの１つである。

たとえば、スイッチ５１２と信号通信状態にあるモード特定モジュール５３６が、現在エンコーディングされている同じブロックまたはスライスを参照して、エンコーディングモードをイントラ予測とすべきであると特定した場合には、アダーは、自分の入力をイントラ予測モジュール５３０から受信する。あるいは、モード特定モジュール５３６が、現在処理されている同じフレームもしくは３ＤＶビューもしくは３ＤＶレイヤのブロックもしくはスライス、または、現在エンコーディングされているブロックもしくはスライスとは異なる別の以前に処理されたフレームもしくは３ＤＶビューもしくは３ＤＶレイヤのブロックもしくはスライスを参照して、エンコーディングモードを変位補償および変位推定とすべきであると特定した場合には、アダーは、図３において示されているように、自分の入力を変位補償モジュール５０８から受信する。さらに、モード特定モジュール５３６が、現在処理されている同じフレームもしくは３ＤＶビュー、または、現在処理されているレイヤとは異なる別の以前に処理されたフレームもしくは３ＤＶビューの３ＤＶレイヤを参照して、エンコーディングモードを３ＤＶレイヤ間予測とすべきであると特定した場合には、アダーは、自分の入力を、３ＤＶ参照バッファ５３２と信号通信状態にある３ＤＶレイヤ間予測モジュール５３４から受信する。

アダー５０６は、（１つまたは複数の）３ＤＶレイヤおよび予測、補償、および／または推定の情報を含む信号を変換モジュール５１４に提供し、変換モジュール５１４は、自分の入力信号を変換して、その変換した信号を量子化モジュール５１６に提供するように構成されている。量子化モジュール５１６は、自分の受信した信号に対して量子化を実行して、その量子化した情報をエントロピーエンコーダ５１８に出力するように構成されている。エントロピーエンコーダ５１８は、自分の入力信号に対してエントロピーエンコーディングを実行して、ビットストリーム５２０を生成するように構成されている。逆量子化モジュール５２２は、量子化された信号を量子化モジュール５１６から受信して、その量子化された信号に対して逆量子化を実行するように構成されている。そして逆変換モジュール５２４は、逆量子化された信号をモジュール５２２から受信して、その受信した信号に対して逆変換を実行するように構成されている。モジュール５２２および５２４は、アダー５０６からの信号出力を再作成または再構築する。

アダーまたはコンバイナー５２６は、逆変換モジュール５２４から受信した信号と、スイッチ５１２から受信した信号とを足し合わせ（結合し）、その結果として得られた信号をイントラ予測モジュール５３０およびデブロッキングフィルタ５２８へ出力する。さらに、イントラ予測モジュール５３０は、上述のように、自分の受信した信号を使用してイントラ予測を実行する。同様に、デブロッキングフィルタ５２８は、アダー５２６から受信した信号をフィルタリングし、フィルタリングした信号を３ＤＶ参照バッファ５３２に提供する。

そして３ＤＶ参照バッファ５３２は、自分の受信した信号を解析する。３ＤＶ参照バッファ５３２は、要素５３４、５０８、および５１０による上述のようなレイヤ間エンコーディングおよび変位補償／推定エンコーディングに際して支援を行う。３ＤＶ参照バッファ５３２は、たとえば、さまざまな３ＤＶレイヤのうちのすべてまたは一部を提供する。

再び図４を参照すると、３ＤＶレイヤデコーダ６００は、ビットストリーム受信機６０２を使用してビットストリーム３１８を受信するように構成することができ、そしてビットストリーム受信機６０２は、ビットストリームパーサ６０４と信号通信状態にあり、ビットストリームをパーサ６０４に提供する。ビットストリームパーサ６０４は、残りのビットストリーム６０５をエントロピーデコーダ６０６へ伝送し、コントロールシンタックス要素６０７をモード選択モジュール６２２へ伝送し、変位（モーション／ディスパリティー）ベクトル情報６０９を変位補償（モーション／ディスパリティー）モジュール６１８へ伝送し、現在デコーディングされている３ＤＶレイヤ以外の３ＤＶレイヤからのコーディング情報６１１を３ＤＶレイヤ間予測モジュール６２０へ伝送するように構成することができる。逆量子化モジュール６０８は、エントロピーデコーダ６０６から受信したエントロピーデコーディングされた信号に対して逆量子化を実行するように構成することができる。加えて、逆変換モジュール６１０は、逆量子化モジュール６０８から受信した逆量子化された信号に対して逆変換を実行して、その逆変換した信号をアダーまたはコンバイナー６１２へ出力するように構成することができる。

アダー６１２は、採用されているデコーディングモードに応じて、その他のさまざまな信号のうちの１つを受信することができる。たとえば、モード特定モジュール６２２は、現在処理されているブロックに対してエンコーダ５００によって３ＤＶレイヤ間予測エンコーディングが実行されたか、変位補償エンコーディングが実行されたか、またはイントラ予測エンコーディングが実行されたかを、コントロールシンタックス要素６０７を解析および分析することによって特定することができる。特定されたモードに応じて、モデル選択コントロールモジュール６２２は、コントロールシンタックス要素６０７に基づいて、スイッチ６２３にアクセスしてスイッチ６２３をコントロールすることができ、それによって、アダー６１２は、３ＤＶレイヤ間予測モジュール６２０、変位補償モジュール６１８、またはイントラ予測モジュール６１４から信号を受信することができる。

ここでは、イントラ予測モジュール６１４は、たとえば、現在デコーディングされている同じブロックまたはスライスへの参照を使用して、ブロックまたはスライスをデコーディングするためにイントラ予測を実行するように構成することができる。そして変位補償モジュール６１８は、たとえば、現在処理されている同じフレームもしくは３ＤＶビューもしくは３ＤＶレイヤのブロックもしくはスライス、または、現在デコーディングされているブロックもしくはスライスとは異なる別の以前に処理されたフレームもしくは３ＤＶビューもしくは３ＤＶレイヤのブロックもしくはスライスへの参照を使用して、ブロックまたはスライスをデコーディングするために変位補償を実行するように構成することができる。さらに、３ＤＶレイヤ間予測モジュール６２０は、たとえば、現在処理されている同じフレームもしくは３ＤＶビューの３ＤＶレイヤ、または、現在処理されているレイヤとは異なる別の以前に処理されたフレームもしくは３ＤＶビューの３ＤＶレイヤへの参照を使用して、ブロックまたはスライスをデコーディングするために３ＤＶレイヤ間予測を実行するように構成することができる。

予測情報信号または補償情報信号を受信した後に、アダー６１２は、その予測情報信号または補償情報信号を、デブロッキングフィラー６０２へ伝送するために、逆変換された信号と足し合わせることができる。デブロッキングフィルタ６０２は、自分の入力信号をフィルタリングして、デコーディングされたピクチャーを出力するように構成することができる。アダー６１２は、足し合わされた信号を、イントラ予測において使用するために、イントラ予測モジュール６１４へ出力することもできる。さらに、デブロッキングフィルタ６０２は、フィルタリングされた信号を３ＤＶ参照バッファ６１６へ伝送することができる。３ＤＶ参照バッファ３１６は、自分の受信した信号を解析して、要素６１８および６２０による上述のようなレイヤ間デコーディングおよび変位補償デコーディングを可能にして、それらのデコーディングに際して支援を行うように構成することができ、要素６１８および６２０のそれぞれに対して、３ＤＶ参照バッファ６１６は、解析された信号を提供する。そのような解析された信号は、たとえば、さまざまな３ＤＶレイヤのうちのすべてまたは一部である場合がある。

本明細書において開示されている教示に照らせば、当業者なら理解できることだが、システム／装置３００、４００、５００、および６００は、別々の構成にすることができ、別々の要素を含むことができるということを理解されたい。

オクルージョンデータは、ＬＤＶ（Ｌａｙｅｒｅｄ Ｄｅｐｔｈ Ｖｉｄｅｏ）フォーマットにおいて重要な役割を果たしている。図５は、ＬＤＶフォーマットの成分を（ａ）〜（ｆ）で示している。ＬＤＶビデオフォーマットには、カラービデオ（図５（ａ））、奥行き（図５（ｂ））、オクルージョンビデオ（図５（ｃ／ｅ））、およびオクルージョン奥行き（図５（ｄ／ｆ））という４つの成分がある。カラービデオは、図５（ａ）において示されており、奥行きは、図５（ｂ）において示されている。図５（ｃ）は、カラービデオからの対応するピクセルによって満たされている非オクルージョンエリアを有するオクルージョンビデオを示している。図５（ｄ）は、奥行きからの対応する奥行きサンプルによって満たされている非オクルージョンエリアを有するオクルージョン奥行きを示している。図５（ｃ）は、フィルドオクルージョンビデオを表しており、図５（ｄ）は、フィルド奥行きデータを表している。代替構成においては、図５（ｅ）は、スパースオクルージョンビデオを表しており、図５（ｆ）は、スパース奥行きデータを表している。フィルドオクルージョンデータの代わりにスパースオクルージョンデータを使用することができ、またはその逆もまた同様である。

図５（ｅ）および図５（ｆ）においては、非オクルージョンエリアは、オクルージョンビデオに関しては黒色で、オクルージョン奥行きに関しては白色で示されている。通常、オクルージョンデータは、図５（ｃ）および図５（ｄ）において示されているように表されることになり、本明細書においては、フィルドオクルージョンデータとして知られている。オクルージョンデータが、図５（ｅ）および図５（ｆ）において示されているように特定の同一色、たとえば黒色または白色などによって満たされている（１つまたは複数の）非オクルージョンエリアを有する場合、この表示は、本明細書においては、スパースオクルージョンデータとして知られている。

視聴者のためにビデオをレンダリングする目的では、スパースオクルージョンデータは、対応するフィルドオクルージョンデータと同等であるとみなされるということを理解されたい。なぜなら、非オクルージョンエリアは一般に、３Ｄワープオペレーションおよび穴を埋めるオペレーションにおいては、まったく参照されないためである。したがって、フィルドオクルージョンデータまたはスパースオクルージョンデータを、ＬＤＶフォーマットにおいて、まったく混乱を伴わずに、または一般性をいっさい失うことなく、エンコーディングすることが可能である。

スパースオクルージョンデータおよびフィルドオクルージョンデータは、互いに同等であり、レンダリングの点からは交換可能である。しかし、レンダリング処理は、レンダリングの際に穴を埋める処理を実行する場合などに、ピクセルがオクルージョンエリアに属するか、または非オクルージョンエリアに属するかを知っておく必要が生じることがある。そのようなケースにおいては、穴ピクセルがオクルージョンエリア内に存在する場合には、オクルージョンデータを使用して、その穴ピクセルを埋めることができる。オクルージョンデータを使用しない場合には、隣のバックグラウンドピクセルを使用して、その穴ピクセルを埋めることができる。

上述のように、オクルージョンフォーマットの表示は、少なくとも、オクルージョンエリアか非オクルージョンエリアかの特定を支援する際に有用である。オクルージョンデータフォーマットの表示は、３Ｄビデオ信号のためのハイレベルシンタックス内に含めることができる。本明細書において使用される際には、「ハイレベルシンタックス」とは、階層的にはマクロブロックレイヤの上にあるビットストリーム内に存在するシンタックスを指す。たとえば、ハイレベルシンタックスは、本明細書において使用される際には、スライスヘッダレベル、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）レベル、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）レベル、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）レベル、ＶＰＳ（Ｖｉｅｗ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、およびＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットヘッダレベルのシンタックスを指すことができるが、それらには限定されない。表２は、そのようなインジケータフラグを含めるための修正されたＳＰＳの一例を提示しており、ここでは、一例として、３ＤＶシーケンスのための拡張されたＳＰＳが採用されている。

上記の表２におけるすべての陰影付きのエントリーに関するセマンティクスについては、本出願の権利者が所有する同時係属中のＰＣＴ出願第ＰＣＴ／ＵＳ２０１０／００１２８６号明細書（整理番号ＰＵ０９００４５）において、その中の表１３に関連して、少なくともページ５０〜５５において、完全に説明されている。残りのエントリー、occlusion_data_formatのセマンティクスは、下記のとおりである。
・０という値は、コーディングされているオクルージョンビデオ／奥行きがフィルドオクルージョンデータであるということを示しており、
・１という値は、コーディングされているオクルージョンビデオ／奥行きがスパースオクルージョンデータであるということを示しており、
・１よりも大きい値は、この時点では予備である。

図６および図７は、オクルージョンデータのためのキーイング技術とともにスパースオクルージョンデータおよびフィルドオクルージョンデータの表示を含むオクルージョンデータのエンコーディングおよびデコーディングの一実施形態に関するフローチャートを示している。これらの処理のステップについては、すぐ次でさらに詳細に説明する。

図６におけるエンコーディング方法は、ステップＳ６０１において開始する。コントロールが、直接ステップＳ６０２に渡される。ステップＳ６０２においては、エンコーダによって最初に受信された入力オクルージョンデータフォーマットに関する特定が行われる。この特定に関しては、その他の技術を採用することもできるが、ある例示的で簡単な技術は、受信されたビデオフレームに関連付けられているオクルージョンデータフォーマットのインジケータまたは表示を分析する。そのインジケータの一実施形態が、ハイレベルシンタックス内のocclusion_data_formatエントリーとして上で示されている。このインジケータは、関連付けられているオクルージョンデータを、「フィルド」フォーマットのもの、または「スパース」フォーマットのものとして特徴付ける。いくつかのケースにおいては、このインジケータは、フラグとも呼ばれる。スパースオクルージョンデータがエンコーダによって受信されていることをインジケータが示した場合には、コントロールは、ステップＳ６０３へ移される。フィルドオクルージョンデータがエンコーダによって受信されていることをインジケータが示した場合には、コントロールは、ステップＳ６０４へ移される。

ステップＳ６０３においては、スパースオクルージョンデータが、標準的なビデオエンコーディング技術を使用してエンコーディングされて、エンコーディングされたオクルージョンデータが作成される。標準的なビデオエンコーディング技術としては、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と、少なくともＭＰＥＧ−２を含むＭＰＥＧコーディングとが含まれるが、それらには限定されない。これらのコーディング技術は、標準化されており、当業者によく知られているものとして理解されている。これらの技術に関するさらなる説明は、本明細書においては提示しない。コントロールは、ステップＳ６０５へ移される。

ステップＳ６０５においては、伝送のためにビットストリームが用意される。このビットストリームは、エンコーディングされたオクルージョンデータを、最初に受信されたオクルージョンデータに関するオクルージョンデータフォーマットのインジケータ（すなわち、スパースまたはフィルドの表示）とともに含む。コントロールは、ステップＳ６０６へ移され、ステップＳ６０６で、このエンコーディング方法は終了する。

ステップＳ６０４においては、受信されたオクルージョンデータが処理されて、オクルージョンデータフォーマットが、フィルドフォーマットからスパースフォーマットへ変更される。受信されたオクルージョンデータが、スパースフォーマットで表されている場合には、それぞれの非オクルージョンエリアは、定義された特徴、そのような定義された色またはデータ値として表される。これは、非オクルージョンエリア内のデータサンプルを、定義された色または定義された奥行きレベルなどの定義された特徴によって置き換えることによって達成され、それによって、結果としてスパースオクルージョンデータフォーマットが生じる。この処理は、１つの画像内のある色を使用して背後の別の画像を見せるカラーキーイング技術に類似している。表示においてスパースオクルージョンデータフォーマットへの変更を行うことは、標準的なコーディング技術から生じる効率のおかげで、逆の変更（すなわち、スパースフォーマットをフィルドフォーマットへ変更すること）よりも好ましい。

特定の同一色で均一に表されている非オクルージョンエリアのほとんどは、スキップモードでコーディングすることができるため、従来のエンコーディングを通じて効率が得られる。スキップモードのエンコーディングにおいては、マクロブロックは、スキップされたマクロブロックとしてコーディングされ、それによって、エンコーダによって出力されるエンコーディングされたオクルージョンデータにおけるデータの量が少なくなる。スキップモードのコーディングが使用される場合には、デコーダは、マクロブロックを、周囲のマクロブロックのモーションベクトルおよび／または周囲のマクロブロック内のパーティションを参照することによって、デコーディングする。スキップモードのコーディングは、当業者によく知られているものとして理解されている。このコーディング技術に関するさらなる説明は、本明細書においては提示しない。そしてコントロールは、ステップＳ６０３へ移される。

このステップにおいては、オクルージョンデータに関して、少なくとも１つのオクルージョンエリアおよび少なくとも１つの非オクルージョンエリアを識別することが必要である。これらのオクルージョンエリアは、互いに対して相互に排他的であろう。識別によって、定義された色などの定義された特徴で非オクルージョンエリアを満たすことが可能になる。

オクルージョンエリアまたは非オクルージョンエリアのそのような識別を実行するための１つの例示的な技術は、オクルージョンデータと同じフレームからの奥行きデータを、そのオクルージョンデータに関連付けられているビデオデータフレーム内の１つまたは複数の奥行きの切れ目を検知するために使用することを含む。そして、それぞれの検知された奥行きの切れ目に沿ったエリアが、オクルージョンデータ内のオクルージョンエリアとして分類される。本明細書に記載されている検知および／または分類を実行するために、その他の技術を利用することもできる。

別の例示的な技術においては、ビデオデータが、フィルドオクルージョンデータとともに入力される。非オクルージョンエリアは、ビデオフレームと、フィルドオクルージョンビデオフレームとの間における差分フレームを計算することによって明らかにされる。非オクルージョンエリア内のサンプルは、差分フレーム内では、ゼロ、またはゼロに近い値を有することになる。

図７におけるデコーディング方法は、ステップＳ７０１において開始する。コントロールが、直接ステップＳ７０２へ移される。ステップＳ７０２においては、エンコーダにおいて最初に受信されたオクルージョンデータに関するオクルージョンデータフォーマットを表すインジケータまたはフラグが抽出される。このフラグまたはインジケータは、そのオクルージョンデータフォーマットを、スパースオクルージョンデータフォーマットまたはフィルドオクルージョンデータフォーマットとして識別する。図６におけるエンコーディング方法を参照して上述したように、エンコーダは、実際には、エンコーディングされたオクルージョンデータをスパースデータフォーマットで出力するということを想起されたい。そしてコントロールは、ステップＳ７０３へ移される。

ステップ７０３においては、スパースオクルージョンデータが、標準的なビデオデコーディング技術を使用してデコーディングされて、デコーディングされたオクルージョンデータが作成される。標準的なビデオデコーディング技術としては、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と、少なくともＭＰＥＧ−２を含むＭＰＥＧコーディングとが含まれるが、それらには限定されない。コントロールは、ステップＳ７０４へ移される。

ステップＳ７０４においては、エンコーダにおいて最初に受信されたオクルージョンデータについてのオクルージョンデータフォーマットに関する特定が行われる。この特定は、ステップＳ７０２において抽出されたフラグまたはインジケータに少なくとも部分的に基づく。スパースオクルージョンデータがエンコーダによって最初に受信されたことをインジケータが示した場合には（図６）、コントロールは、ステップＳ７０５へ移される。フィルドオクルージョンデータがエンコーダによって最初に受信されたことをインジケータが示した場合には（図６）、コントロールは、ステップＳ７０６へ移される。

ステップＳ７０５においては、デコーディングされたオクルージョンデータが、（ステップＳ７０４からの）スパースオクルージョンデータフォーマットまたは（ステップＳ７０６からの）フィルドオクルージョンデータフォーマットで出力される。この方法は、ステップＳ７０７において終了する。

ステップＳ７０６へ進むのは、エンコーダによって最初に受信されたオクルージョンデータが、ステップＳ７０２において抽出されて受信されたフラグまたはインジケータによって識別された際に、フィルドオクルージョンデータフォーマットであったとステップＳ７０４において特定されたためである。上述のように、ステップＳ７０４では、デコーディングされたオクルージョンデータをスパースデータフォーマットで出力する。スパースオクルージョンデータフォーマットを、最初に受信されたフィルドオクルージョンデータフォーマットに変換するために、たとえば、定義された色などの定義された特徴によって識別された非オクルージョンエリアを、フレームの対応するビデオ成分または奥行き成分内の併置されるデータサンプルで満たすことが必要である。オクルージョンデータがオクルージョンビデオである場合には、同じフレームからの対応するビデオ成分が、デコーディングされたオクルージョンデータ内の非オクルージョンエリアデータサンプルを満たすために使用される。同様に、オクルージョンデータがオクルージョン奥行き成分である場合には、同じフレームからの対応する奥行き成分が、デコーディングされたオクルージョンデータ内の非オクルージョンエリアデータサンプルを満たすために使用される。デコーディングされたオクルージョンデータが、適切な最初に受信されたフォーマットへと変換されると、コントロールは、ステップＳ７０５へ移される。

本発明の別の実施形態においては、オクルージョンビデオまたはオクルージョン奥行きである場合があるオクルージョンデータの場所は、参照ピクチャーリスト内で変更される。参照ピクチャーリストの構築では、典型的には、その参照ピクチャーリスト内の時間的ピクチャーおよびビュー間参照ピクチャーの後にレイヤ間参照ピクチャーを付加する。さまざまな参照ピクチャーリストの例が、上で確認したＰＣＴ出願第ＰＣＴ／ＵＳ２０１０／００１２９１号明細書に記載されている。この点については、本出願の権利者が所有する、Ｐａｎｄｉｔらに関する米国特許出願公開第２０１０／０１１８９３３号明細書も参照されたい。本発明においては、オクルージョンデータをエンコーディングする際には、ビデオレイヤからの参照ピクチャーが、参照ピクチャーリスト内の場所０に配置される。言い換えれば、オクルージョンデータをエンコーディングする際には、同じタイムスタンプ（すなわち、同じビデオフレーム）を有する２Ｄデータが、参照ピクチャーリスト内の場所０に配置される。

オクルージョンデータが、この並べ替えられた参照ピクチャーリストを使用してエンコーディングされる際には、非オクルージョンエリア内のブロックを取り扱う上でいくらかのコーディング効率を得ることが可能である。本明細書に記載されているエンコーディングは、オクルージョンビデオデータまたはオクルージョン奥行きデータに適用することができ、そのデータは、スパースオクルージョンデータフォーマットまたはフィルドオクルージョンデータフォーマットである場合があるということに留意されたい。非オクルージョンエリアのエンコーディング中に、スキップモードのエンコーディングを適用することができ、それによって、（１つまたは複数の）非オクルージョンエリアに対応する奥行きデータまたはビデオデータが、それらのデータにさらなる修正をいっさい加えることなく、その非オクルージョンエリア内に直接コピーされるため、コーディングの効率が得られる。この効率は、非オクルージョンエリア情報を、参照ピクチャーリスト内の場所０におけるオクルージョンビデオデータまたはオクルージョン奥行きデータからすぐに利用できるようにすることによって、可能になる。

非オクルージョンエリアの識別は、図６のステップＳ６０４を参照して上述した技術のうちのいずれかを通じて達成される。本明細書における同じ使用に関しては、非オクルージョンエリアを、およびオクルージョンエリアでさえ特定および識別するためのよく知られているいかなる技術も考えられる。ビデオデータのブロック（すなわち、マクロブロック）が、非オクルージョンエリア内にあるものとして、または非オクルージョンエリアに関連付けられているものとして識別された場合には、エンコーダは、そのブロック用にスキップモードのエンコーディングを選択する。ビデオデータのブロックが、オクルージョンエリア内にあるものとして、またはオクルージョンエリアに関連付けられているものとして識別された場合には、エンコーダは、レート歪みコスト（すなわち、ＲＤコスト）に基づいて、そのブロック用のコーディングモードを選択する。エンコーディングソリューションのＲＤコストは、エンコーディングされたマクロブロック内の歪みを考慮し、そのエンコーディングソリューション用に生成されることになる実際のビットを計算に入れる場合が多い。ビデオエンコーディングにおけるＲＤコストの計算および使用は、よく知られている処理であると考えられ、本明細書においては、さらに詳細には説明しない。

本発明のこの態様に従って実現されるデコーダに関しては、ビデオ参照フレームからのデータは、非オクルージョンブロックへコピーされる。デコーダにおいてスパースオクルージョンデータフォーマットが所望されている場合には、デコーダ内のコピー処理はスキップされ、デコーダは、上述の定義された色などの定義された特徴によって、ブロックを単に満たす。

図８および図９は、上述のような、特定のオクルージョンデータをエンコーディング／デコーディングするための参照ピクチャーリストの並べ替えおよびスキップモードの使用に基づくオクルージョンデータ用のエンコーディングおよびデコーディングの一実施形態に関するフローチャートを示している。

図８におけるエンコーディング方法は、ステップＳ８０１において開始する。コントロールが、すぐにステップＳ８０２へ移される。

ステップＳ８０２においては、参照ピクチャーリストが、同じタイムスタンプを有する２Ｄデータを場所０に配置することによって構成される。「２Ｄデータ」という用語は、２Ｄのビデオデータおよび奥行きデータのうちの一方または両方を含むものと理解されている。次いでコントロールは、ステップＳ８０３へ移される。

本発明の好ましい実施形態は、受信されたオクルージョンデータを処理してオクルージョンデータフォーマットをフィルドフォーマットからスパースフォーマットへ変更することによって実現されるということを理解されたい。これについては、図６に関連して上述した。受信されたオクルージョンデータが、スパースフォーマットで表されている場合には、それぞれの非オクルージョンエリアは、定義された特徴、そのような定義された色またはデータ値として表される。これは、非オクルージョンエリア内のデータサンプルを、定義された色または定義された奥行きレベルなどの定義された特徴によって置き換えることによって達成され、それによって、結果としてスパースオクルージョンデータフォーマットが生じる。この処理は、１つの画像内のある色を使用して背後の別の画像を見せるカラーキーイング技術に類似している。表示においてスパースオクルージョンデータフォーマットへの変更を行うことは、標準的なコーディング技術から生じる効率のおかげで、逆の変更（すなわち、スパースフォーマットをフィルドフォーマットへ変更すること）よりも好ましい。

ステップＳ８０３においては、データのエンコーディングが実行される。エンコーディングされるデータのブロックが、非オクルージョンエリア内にあるものとして識別された場合には、そのブロック用にスキップモードのエンコーディングを使用して、エンコーディングが実行される。エンコーディングされるデータのブロックが、非オクルージョンエリア内にないものとして識別された場合には、非オクルージョンエリア内にない（すなわち、オクルージョンエリア内にある）ものとして識別されたデータのブロックに関しては、レート歪みコスト（ＲＤコスト）という従来の基準でコーディングモードが選択される。次いでコントロールは、ステップＳ８０４へ移される。

ステップＳ８０４においては、出力伝送のためにビットストリームが用意される。このビットストリームは、エンコーディングされたオクルージョンデータを、最初に受信されたオクルージョンデータに関するインジケータまたはフラグオクルージョンデータフォーマット（すなわち、スパースまたはフィルドの表示）とともに含む。このインジケータについては、たとえば、図６に関連して詳細に上述した。コントロールは、ステップＳ８０５へ移され、ステップＳ８０５で、このエンコーディング方法は終了する。

図９におけるデコーディング方法は、ステップＳ９０１において開始する。コントロールが、すぐにステップＳ９０２へ移される。

ステップＳ９０２においては、やはり参照ピクチャーリストが、同じタイムスタンプを有する２Ｄデータを場所０に配置することによって構成される。上述のように、「２Ｄデータ」という用語は、２Ｄのビデオデータおよび奥行きデータのうちの一方または両方を含むものと理解されている。次いでコントロールは、ステップＳ９０３へ移される。

ステップＳ９０３においては、スライスまたはピクチャー内のすべてのマクロブロックが、従来のビデオデコーディング方法でデコーディングされる。次いでコントロールは、ステップＳ９０４へ移される。

ステップＳ９０４においては、ビデオデータとともに受信されたインジケータまたはフラグに基づいて、２つの可能な技術のうちの１つが、オクルージョンデータ用に使用される。インジケータが、最初に受信されたオクルージョンデータに関してオクルージョンデータフォーマットをスパースとして識別した場合には、非オクルージョンエリアは、定義された色または定義された奥行き値などの定義された特徴で満たされる。インジケータが、最初に受信されたオクルージョンデータに関してオクルージョンデータフォーマットをフィルドとして識別した場合には、非オクルージョンエリアは、２Ｄビデオの対応する部分からのデータサンプルで満たされる。次いでコントロールは、ステップＳ９０５へ移され、ステップＳ９０５で、このデータのためのデコーディング方法は終了する。

上述の実施形態において説明した改訂された参照ピクチャーリストの構築に関しては、参照ピクチャーインデックスが、必ずしもオクルージョンブロックのコーディングにとって最適化されるとは限らないということがここでわかる。最適化に関するこの問題が生じるのは、オクルージョンエリア内のブロックが、最良のマッチングのために、レイヤ間参照ピクチャーではなく、時間的参照ピクチャーを使用する可能性が高いためである。その一方で、上で確認したＰＣＴ出願第ＰＣＴ／ＵＳ２０１０／００１２９１号明細書において示されているように、非オクルージョンエリア内のブロックが、レイヤ参照ピクチャーを参照ピクチャーリストの最後に置くことが、必ずしもよいとは限らない。したがって、参照ピクチャーリストの並べ替えだけでは、オクルージョンエリアに関連付けられているブロック、および非オクルージョンエリアに関連付けられているブロックの両方のブロックをエンコーディング／デコーディングするための完全に適切で効果的なソリューションを提供することはできない。

オクルージョンデータのためのエンコーダおよびデコーダ方法の別の実施形態は、奥行きの使用と、奥行きの境界の検知とを含む。この実施形態は、図１０および図１１において示されている。図１０および図１１は、特定のオクルージョンデータのための奥行きスキップモードのエンコーディングの使用を含むオクルージョンデータのエンコーディングおよびデコーディングのためのフローチャートを示している。上で説明したように、本明細書における技術は、オクルージョンビデオデータおよびオクルージョン奥行きデータの両方に交換可能に適用することができる。

本発明のこの実施形態に関しては、オクルージョンエリアブロックおよび非オクルージョンエリアブロックの両方のコーディングに有利に働くように、レイヤ間参照ピクチャーを参照ピクチャーリストの最後に付加することによって、参照ピクチャーリストが構成される。そのような参照ピクチャーリストの例は、ＰＣＴ出願第ＰＣＴ／ＵＳ２０１０／００１２９１号明細書に記載されている。

エンコーディング処理中に、再構築された奥行きサンプルに対して境界の検知が実行されて、検知された奥行きの境界に対する現在のマクロブロックの近接度が特定され、通常はピクセルで測定される。再構築された奥行きサンプルは、通常は図３のエンコーダ内のデブロッキングフィルタ５２８の出力において利用可能である。再構築された奥行きサンプルは、エンコーダ内で使用される。なぜなら、エンコーダおよびデコーダは、境界の検知のために実質的に同じ情報を使用しなければならないためであり、また、再構築された奥行きサンプル（マップ）は、デコーダ内で利用可能な唯一のサンプルであるためである。デコーダは、エンコーダ内に存在するオリジナルの奥行きデータを有していない。したがって、エンコーダおよびデコーダが実質的に同じ奥行き情報を使用しなければならないという制約が保持される場合には、エンコーダが境界の検知のためにオリジナルの奥行きサンプルを利用することは、適切ではないだろう。

マクロブロックが、検知された奥行きの境界からｌピクセル内にあると特定された場合には、このマクロブロックは、オクルージョンエリアマクロブロックとしてマークされ、上で説明したようにレート歪み（ＲＤ）コストを使用して、エンコーディングモードが選択される。その一方で、マクロブロックが、検知された奥行きの境界からｌピクセル内にないと特定された場合には、そのマクロブロックをエンコーディングするために、レイヤ間スキップエンコーディングモードが使用されることになる。

デコーディングの際には、スキップモードのエンコーディングを介してエンコーディングされたブロックは、下記の方法で奥行きデータを利用する。マクロブロックと、奥行きの境界との間における距離が特定される。エンコーディング処理においてスキップされたいかなるマクロブロックに関しても、そのマクロブロックから、最も近い検知された奥行きの境界までの距離が、ｌピクセルというしきい値である場合、またはそのしきい値内にある場合（すなわち、そのしきい値未満である場合）には、そのマクロブロックは、時間的にスキップされたブロックとして識別される。そうではなく、スキップされたマクロブロックから、最も近い検知された奥行きの境界までの距離が、ｌピクセルというしきい値よりも大きい場合（すなわち、そのしきい値を超える場合）には、そのマクロブロックは、非オクルージョンエリアマクロブロックとして識別され、さらには、レイヤ間のスキップされたマクロブロックであるとみなされる。

奥行きの境界の検知は、コーデックの実施形態のオペレーションにとって重要である。奥行きの境界は、好ましくは、エンコーダにおいて使用されたのと同じアルゴリズムを使用して、デコーダにおいて検知されるべきであるということがわかる。このことによって、再構築された奥行きサンプルは、エンコーダおよびデコーダにおいて必ず同じ再構築を有することになる。奥行きの境界の検知は、任意の数のよく知られている技術によって達成することができる。これらのよく知られている技術については、本明細書においては、これ以上説明しない。

図１０におけるエンコーディング方法は、ステップＳ１００１において開始する。コントロールが、すぐにステップＳ１００２へ移される。ステップＳ１００２においては、参照ピクチャーリストが、同じタイムスタンプを有する２Ｄデータを、その参照ピクチャーリスト内の時間的ピクチャーおよびビュー間参照ピクチャーの両方の後に配置することによって構成される。次いでコントロールは、ステップＳ１００３へ移される。

ステップＳ１００３においては、１つまたは複数の奥行きの境界が、再構築された奥行きマップから検知される。それぞれのマクロブロックから、最も近い奥行きの境界までの距離が測定される。マクロブロックから、その最も近い奥行きの境界までの距離が、ｌピクセル以下である場合には、そのマクロブロックは、オクルージョンエリアマクロブロックとしてマークされる。マクロブロックから、その最も近い奥行きの境界までの距離が、ｌピクセルを超える場合には、そのマクロブロックは、非オクルージョンエリアマクロブロックである。そのマークまたはフラグは、マクロブロックを、オクルージョンエリアマクロブロックであるものとして識別するため、そのマークまたはフラグがなければ、その関連付けられているマクロブロックは、非オクルージョンエリアマクロブロックであるものとして自動的に識別される。２つの状態フラグがあれば、それぞれのマクロブロックを、非オクルージョンエリアマクロブロック（たとえば、フラグ＝０）、またはオクルージョンエリアマクロブロック（たとえば、フラグ＝１）として適切に識別するのに十分であろうということに留意されたい。次いでコントロールは、ステップＳ１００４へ移される。

ステップＳ１００４においては、マクロブロックに関するフラグまたはマークが読み取られる。そのマクロブロックが非オクルージョンエリアマクロブロックであることをマークが示している場合には、そのマクロブロックをエンコーディングするために、従来のスキップモードのエンコーディングが使用される。そのマクロブロックがオクルージョンエリアマクロブロックであることをマークが示している場合には、従来のレート歪みコスト（ＲＤコスト）に基づいて、エンコーディングモードが選択され、使用される。次いでコントロールは、ステップＳ１００５へ移される。

ステップＳ１００５においては、出力伝送のためにビットストリームが用意される。このビットストリームは、エンコーディングされたオクルージョンデータを、最初に受信されたオクルージョンデータに関するインジケータまたはフラグオクルージョンデータフォーマット（すなわち、スパースまたはフィルドの表示）とともに含む。このインジケータについては、たとえば、図６に関連して詳細に上述した。コントロールは、ステップＳ１００６へ移され、ステップＳ１００６で、このエンコーディング方法は終了する。

図１１におけるデコーディング方法は、ステップＳ１１０１において開始する。コントロールが、すぐにステップＳ１１０２へ移される。

ステップＳ１１０２においては、参照ピクチャーリストが、同じタイムスタンプを有する２Ｄデータを、その参照ピクチャーリスト内の時間的ピクチャーおよびビュー間参照ピクチャーの両方の後に配置することによって構成される。次いでコントロールは、ステップＳ１１０３へ移される。

ステップＳ１１０３においては、エンコーディング方法に関するステップＳ１００２におけるのとちょうど同じように、１つまたは複数の奥行きの境界が、再構築された奥行きマップから検知される。それぞれのマクロブロックから、最も近い奥行きの境界までの距離が測定される。マクロブロックから、その最も近い奥行きの境界までの距離が、ｌピクセル以下である場合には、そのマクロブロックは、オクルージョンエリアマクロブロックとしてマークされる。マクロブロックから、その最も近い奥行きの境界までの距離が、ｌピクセルを超える場合には、そのマクロブロックは、非オクルージョンエリアマクロブロックである。そのマークまたはフラグは、マクロブロックを、オクルージョンエリアマクロブロックであるものとして識別するため、そのマークまたはフラグがなければ、その関連付けられているマクロブロックは、非オクルージョンエリアマクロブロックであるものとして自動的に識別される。図１０に関連して上述したように、２つの状態フラグがあれば、それぞれのマクロブロックを、非オクルージョンエリアマクロブロック（たとえば、フラグ＝０）、またはオクルージョンエリアマクロブロック（たとえば、フラグ＝１）として適切に識別するのに十分であろう。次いでコントロールは、ステップＳ１１０４へ移される。

次いでマクロブロックのデコーディングが、ステップＳ１１０４において実行される。デコーディングは、はじめに、ビデオデータとともに受信されたインジケータまたはフラグに基づいて実行され、一方のフラグまたはマークは、マクロブロックを、非オクルージョン／オクルージョンエリアマクロブロックであるものとして示し、他方のインジケータまたはフラグは、オクルージョンデータフォーマットを、スパースまたはフィルドとして識別する。最初に、スライスまたはピクチャー内のすべてのマクロブロックが、図９において示されているステップＳ９０３と同様の従来のビデオデコーディング方法でデコーディングされる。

スキップされたマクロブロックが、非オクルージョンエリアマクロブロックを示す一方のフラグ、および最初に受信されたオクルージョンデータに関してオクルージョンデータフォーマットをスパースとして識別する他方のインジケータによって識別された場合には、非オクルージョンエリアは、定義された色または定義された奥行き値などの定義された特徴で満たされる。スキップされたマクロブロックが、非オクルージョンエリアマクロブロックを示す一方のフラグ、および最初に受信されたオクルージョンデータに関してオクルージョンデータフォーマットをフィルドとして識別する他方のインジケータによって識別された場合には、非オクルージョンエリアは、２Ｄビデオの対応する部分からのデータサンプルで満たされる。その他のすべてのマクロブロックに関しては、上述のように、従来のデコーディングが使用される。次いでコントロールは、ステップＳ１１０５へ移され、ステップＳ１１０５で、このデータのためのデコーディング方法は終了する。

図１２および図１３は、オクルージョンデータのための更新メカニズムの使用を含む、本発明の原理に従って実現される、更新メカニズムを採用するオクルージョンデータのエンコーディングおよびデコーディングの別の実施形態に関するフローチャートを示している。

この実施形態においては、オクルージョンフレームは、定義された時間（またはフレーム）にわたって１つのフレームと次なるフレームとの間で実質的に同じまたは一定であることが予想される。エンコーダの側では、オクルージョンデータは、１つの代表オクルージョンデータフレームを使用することによって得ることができる。あるいは、１つのビデオシーンからの複数の連続したオクルージョンデータフレームを連結様式（ｃｏｍｂｉｎａｔｏｒｉａｌ ｍａｎｎｅｒ）でマージして、代表オクルージョンデータフレームを実現することもできる。そしてエンコーディングおよびデコーディングの両方に関して、代表オクルージョンデータフレームは、新たな代表オクルージョンデータフレームによって取って代わられるまで、定義された数のフレーム（すなわち、時間）にわたって有効である。この方法は、オクルージョンビデオデータまたはオクルージョン奥行きデータに適用することができる。

この技術を実現するためには、代表オクルージョンデータフレームが次の更新まで有効である間のフレーム数ｎを特定することが必要である。

加えて、代表オクルージョンデータフレームが次の更新まで有効である間のそのフレーム数ｎを、エンコーダからデコーダへのメッセージを介して伝送されるシンタックス内に含めることが必要であり、それによってデコーダは、適切に機能することができる。代表オクルージョンデータフレームが有効である間のフレームは、一般には連続していることが意図されているが、特定の状況のもとでは連続していないことも可能であると考えられる。たとえば、２つのシーンが頻繁に切り替えられる場合には、１つのシーンに関するオクルージョンデータは、交互のシーンシーケンスにおけるそのシーンに関連したフレームのために使用することができる。それらのフレームは、第２のシーンからのフレームと交互になっているため、その時間に関するフレーム数ｎは、実際には、連続していないフレームをカバーしている。

図１２は、更新メカニズムの使用を採用するオクルージョンデータのエンコーディングを実現するためのフローチャートを示している。この方法は、ステップＳ１２０１において開始し、それに関するコントロールは、ステップＳ１２０２に渡される。

ステップＳ１２０２においては、時間ｎが特定される。この時間は、一般に整数のフレーム数として表される。これは、単一の代表オクルージョンデータフレーム（ビデオまたは奥行き）が有効である時間を表す。コントロールは、ステップＳ１２０３に渡される。

ステップＳ１２０３においては、代表オクルージョンデータフレームがエンコーディングされる。次のｎ−１個の連続したオクルージョンデータフレームに対しては、エンコーディングも伝送も実行されない。それらのフレームは、事実上スキップされる。代表オクルージョンデータフレームは、その代表オクルージョンデータフレームが有効である時間ｎ内のｎ個の連続したオクルージョンデータフレームから選択された１つのオクルージョンデータフレームとすることができる。上述のように、代表オクルージョンデータフレームは、その代表オクルージョンデータフレームが有効である時間ｎ内のｎ個の連続したオクルージョンデータフレームから選択された２つ以上のオクルージョンデータフレームの特徴の組合せとすることができる。コントロールは、ステップＳ１２０４に渡される。

ステップＳ１２０４においては、エンコーディングされた代表オクルージョンデータフレームが、時間ｎを示すシンタックスメッセージとともに伝送される。コントロールは、ステップＳ１２０５に渡される。

特定ステップＳ１２０５においては、時間ｎが経過したかどうかが特定され、それによって、新たな代表オクルージョンデータフレームをエンコーディングして、現在の代表オクルージョンデータフレームを更新して置き換えることができる。時間が経過し、エンコーディングのための準備が整っている別の代表オクルージョンデータフレームがある場合には、コントロールは、ステップＳ１２０２へ戻される。エンコーディングのための準備が整っているオクルージョンデータフレームがもうない場合には、コントロールは、ステップＳ１２０６に渡され、ステップＳ１２０６で、この処理は終了する。

この実施形態においては、デコーディングされたオクルージョンフレームが、別の代表オクルージョンフレームがデコーディングされて、前の代表オクルージョンフレームが更新されて置き換えられるまで、自分の関連付けられているフレームと、デコーディングの順序で後に続くｎ−１個の連続したフレームのすべてとにわたって有効であり続けることになる。

デコーディング処理が、ステップＳ１３０１において開始し、コントロールが、ステップＳ１３０２に渡される。ステップＳ１３０２においては、シンタックスメッセージがデコーディングされて、時間ｎが特定される。コントロールは、ステップＳ１３０３に渡される。

ステップＳ１３０３においては、代表オクルージョンデータフレームがデコーディングされる。そして、その代表オクルージョンデータフレームは、時間ｎにわたって、すなわち、次のｎ−１個の連続したフレームにわたって有効なものとして保持される。コントロールは、ステップＳ１３０４に渡される。

特定ステップＳ１３０４においては、時間ｎが経過したかどうかが特定され、それによって、新たな代表オクルージョンデータフレームをデコーディングして、現在の代表オクルージョンデータフレームを更新して置き換えることができる。時間ｎが経過し、デコーディングのための準備が整っている別の代表オクルージョンデータフレームがある場合には、コントロールは、ステップＳ１３０２へ戻される。デコーディングのための準備が整っているオクルージョンデータフレームがもうない場合には、コントロールは、ステップＳ１３０５に渡され、ステップＳ１３０５で、この処理は終了する。

本明細書に記載されている方法は、コンピュータプロセッサベースの実施態様における使用、またはコンピュータ可読ストレージメディア上での使用、または本明細書の図１〜図４において示されているコーディング／デコーディング装置などのその他の装置における使用のために考えられている。

オクルージョンデータのコーディングおよびデコーディングに関する上述の説明および図示は、本発明のさまざまな実施形態の例示である。特定の修正形態および変形形態、たとえば、異なるタイプのオクルージョンデータを使用すること、特定のエンコーディングステップもしくはデコーディングステップを実行する順序を変えること、または方法における１つもしくは複数のステップを省略することまでも、本発明を実施するために使用することができる。

本明細書において列挙されているすべての例および条件を表す表現（ｃｏｎｄｉｔｉｏｎａｌ ｌａｎｇｕａｇｅ）は、本発明の原理、および、当技術分野を進展させることに対して本発明者によって寄与されたコンセプトを読者が理解する際に役立つための教示上の目的を意図されており、また、そのような具体的に列挙された例および条件に限定されるものではないと解釈されるべきである。

その上、本明細書において本発明の原理、態様、および実施形態、ならびにその具体例について述べるすべての記述は、その構造上の均等物および機能上の均等物の両方を包含することを意図されている。加えて、そのような均等物は、構造のいかんを問わず、同じ機能を実行するあらゆる均等物において開発されるあらゆる要素を含む、現在知られている均等物、ならびに将来開発される均等物の両方を含むことが意図されている。

複数の実施態様について、本明細書において説明してきた。それでもなお、さまざまな修正を行うことができるということが理解できるであろう。たとえば、別々の実施態様の要素どうしを結合、補完、修正、または除去して、その他の実施態様を作成することができる。加えて、開示されている構造および処理の代わりに、その他の構造および処理を使用することができ、その結果として生じる実施態様は、開示されている実施態様と比較して、少なくとも実質的に同じ（１つまたは複数の）機能を、少なくとも実質的に同じ（１つまたは複数の）方法で実行して、少なくとも実質的に同じ（１つまたは複数の）結果を達成することになるということを当業者なら理解するであろう。特に、本明細書においては、添付の図面を参照して、例示的な実施形態について説明してきたが、本発明の原理は、それらの厳密な実施形態に限定されるものではなく、当業者なら、本発明の原理の範囲または趣旨から逸脱することなく、それらの実施形態においてさまざまな変更および修正を行うことができるということを理解されたい。したがって、これらおよびその他の実施態様は、本出願によって考慮されており、添付の特許請求の範囲の範疇内に収まる。

Claims (32)

1. ビデオデータフレームのシーケンスにおいてオクルージョンデータを処理するための方法であって、
   前記オクルージョンデータに関するフォーマットを特定するステップであって、前記フォーマットは、スパースオクルージョンデータフォーマットおよびフィルドオクルージョンデータフォーマットのうちの１つから選択されるステップ（Ｓ６０２）と、
   前記オクルージョンデータに関する前記フォーマットが、前記フィルドオクルージョンデータフォーマットであると特定された場合に、エンコーディングの前に前記オクルージョンデータをスパースオクルージョンデータフォーマットへと変換するステップ（Ｓ６０４）と、
   前記オクルージョンデータをエンコーディングして、エンコーディングされたオクルージョンデータを作成するステップ（Ｓ６０３）と、
   前記エンコーディングされたオクルージョンデータを、前記オクルージョンデータに関して特定された前記フォーマットを表すインジケータとともに出力するステップ（Ｓ６０５）と、
   を含むことを特徴とする方法。
2. 前記変換するステップは、
   前記オクルージョンデータ内に含まれているそれぞれの非オクルージョンエリア内のそれぞれのサンプルを、定義された特徴を用いて表すステップ（Ｓ６０４）をさらに含むことを特徴とする請求項１に記載の方法。
3. 前記変換するステップは、前記表すステップの前に、前記オクルージョンデータに関して少なくとも１つのオクルージョンエリアおよび少なくとも１つの非オクルージョンエリアを識別するステップをさらに含み、前記少なくとも１つのオクルージョンエリアは、前記少なくとも１つの非オクルージョンエリアと相互に排他的であることを特徴とする請求項２に記載の方法。
4. 前記識別するステップは、
   少なくとも奥行きデータに応答して、前記オクルージョンデータに関連付けられている前記ビデオデータフレーム内の１つまたは複数の奥行きの切れ目を検知するステップであって、前記奥行きデータは、前記オクルージョンデータに関連付けられている前記ビデオデータフレーム内に含まれているステップと、
   前記１つまたは複数の奥行きの切れ目に沿ったそれぞれのエリアを前記オクルージョンデータ内の非オクルージョンエリアとして分類するステップと、
   をさらに含むことを特徴とする請求項２に記載の方法。
5. 前記定義された特徴は、定義された色を含むことを特徴とする請求項２に記載の方法。
6. 前記定義された特徴は、定義された奥行き値を含むことを特徴とする請求項２に記載の方法。
7. 前記オクルージョンデータは、オクルージョンビデオデータおよびオクルージョン奥行きデータのうちの１つを含むことを特徴とする請求項２に記載の方法。
8. 前記エンコーディングするステップは、Ｈ．２６４／ＡＶＣ、ＭＶＣ、およびＭＰＥＧ−２のうちの１つを含むビデオコーディング標準に従って実行されることを特徴とする請求項２に記載の方法。
9. 前記エンコーディングするステップは、Ｈ．２６４／ＡＶＣ、ＭＶＣ、およびＭＰＥＧ−２のうちの１つを含むビデオコーディング標準に従って実行されることを特徴とする請求項１に記載の方法。
10. 前記オクルージョンデータに関して特定された前記フォーマットを表す前記インジケータは、スライスヘッダ、シーケンスパラメータセット、ピクチャーパラメータセット、ビューパラメータセット、ネットワーク抽象化レイヤユニットヘッダ、および付加拡張情報メッセージのうちの少なくとも１つの中に含まれていることを特徴とする請求項１に記載の方法。
11. 前記オクルージョンデータは、オクルージョンビデオデータおよびオクルージョン奥行きデータのうちの１つを含むことを特徴とする請求項１に記載の方法。
12. ビデオデータフレームのシーケンスにおいてオクルージョンデータを処理するための装置であって、
    前記オクルージョンデータに関するフォーマットを特定するステップであって、前記フォーマットは、スパースオクルージョンデータフォーマットおよびフィルドオクルージョンデータフォーマットのうちの１つから選択されるステップ（Ｓ６０２）と、
    前記オクルージョンデータに関する前記フォーマットが、前記フィルドオクルージョンデータフォーマットであると特定された場合に、エンコーディングの前に前記オクルージョンデータをスパースオクルージョンデータフォーマットへと変換するステップ（Ｓ６０４）と、
    前記オクルージョンデータをエンコーディングして、エンコーディングされたオクルージョンデータを作成するステップ（Ｓ６０３）と、
    前記エンコーディングされたオクルージョンデータを、前記オクルージョンデータに関して特定された前記フォーマットを表すインジケータとともに出力するステップ（Ｓ６０５）と、
    を行うためのエンコーダを含むことを特徴とする装置。
13. 前記変換するステップは、前記オクルージョンデータ内に含まれているそれぞれの非オクルージョンエリア内のそれぞれのサンプルを、定義された特徴を用いて表すステップ（Ｓ６０４）をさらに含むことを特徴とする請求項１２に記載の装置。
14. 前記変換するステップは、前記表すステップの前に、前記オクルージョンデータに関して少なくとも１つのオクルージョンエリアおよび少なくとも１つの非オクルージョンエリアを識別するステップをさらに含み、前記少なくとも１つのオクルージョンエリアは、前記少なくとも１つの非オクルージョンエリアと相互に排他的であることを特徴とする請求項１３に記載の装置。
15. 前記識別するステップは、
    少なくとも奥行きデータに応答して、前記オクルージョンデータに関連付けられている前記ビデオデータフレーム内の１つまたは複数の奥行きの切れ目を検知するステップであって、前記奥行きデータは、前記オクルージョンデータに関連付けられている前記ビデオデータフレーム内に含まれているステップと、
    前記１つまたは複数の奥行きの切れ目に沿ったそれぞれのエリアを前記オクルージョンデータ内の非オクルージョンエリアとして分類するステップと、
    をさらに含むことを特徴とする請求項１３に記載の装置。
16. 前記定義された特徴は、定義された色を含むことを特徴とする請求項１３に記載の装置。
17. 前記定義された特徴は、定義された奥行き値を含むことを特徴とする請求項１３に記載の装置。
18. 前記オクルージョンデータは、オクルージョンビデオデータおよびオクルージョン奥行きデータのうちの１つを含むことを特徴とする請求項１３に記載の装置。
19. 前記エンコーディングするステップは、Ｈ．２６４／ＡＶＣ、ＭＶＣ、およびＭＰＥＧ−２のうちの１つを含むビデオコーディング標準に従って実行されることを特徴とする請求項１３に記載の装置。
20. 前記エンコーディングするステップは、Ｈ．２６４／ＡＶＣ、ＭＶＣ、およびＭＰＥＧ−２のうちの１つを含むビデオコーディング標準に従って実行されることを特徴とする請求項１２に記載の装置。
21. 前記オクルージョンデータに関して特定された前記フォーマットを表す前記インジケータは、スライスヘッダ、シーケンスパラメータセット、ピクチャーパラメータセット、ビューパラメータセット、ネットワーク抽象化レイヤユニットヘッダ、および付加拡張情報メッセージのうちの少なくとも１つの中に含まれていることを特徴とする請求項１２に記載の装置。
22. 前記オクルージョンデータは、オクルージョンビデオデータおよびオクルージョン奥行きデータのうちの１つを含むことを特徴とする請求項１２に記載の装置。
23. ビデオデータフレームのシーケンスにおいてオクルージョンデータを処理するための方法であって、
    受信されたオクルージョンデータに関するオリジナルフォーマットを表すインジケータを抽出するステップ（Ｓ７０２）であって、前記オリジナルフォーマットは、スパースオクルージョンデータフォーマットおよびフィルドオクルージョンデータフォーマットのうちの１つから選択されるステップと、
    前記受信されたオクルージョンデータをデコーディングして、デコーディングされたオクルージョンデータを作成するステップ（Ｓ７０３）と、
    前記インジケータが、前記オリジナルフォーマットをフィルドオクルージョンデータフォーマットとして示している場合に、前記デコーディングされたオクルージョンデータをスパースオクルージョンデータフォーマットから前記フィルドオクルージョンデータフォーマットへ変換するステップ（Ｓ７０６）と
    を含み、前記変換するステップは、
    定義された特徴を用いて表されている非オクルージョンエリアデータを、前記オクルージョンデータに関連付けられている前記ビデオデータフレーム内の２Ｄデータからのそれぞれの併置されるサンプルによって置き換えるステップ（Ｓ７０６）と、
    前記デコーディングされたオクルージョンデータ、および存在する場合には、変換されたデコーディングされたオクルージョンデータを出力するステップ（Ｓ７０５）と、
    をさらに含むことを特徴とする方法。
24. 前記定義された特徴は、定義された色を含むことを特徴とする請求項１に記載の方法。
25. 前記定義された特徴は、定義された奥行き値を含むことを特徴とする請求項１に記載の方法。
26. 前記オクルージョンデータは、オクルージョンビデオデータおよびオクルージョン奥行きデータのうちの１つを含むことを特徴とする請求項１に記載の方法。
27. 前記デコーディングするステップは、Ｈ．２６４／ＡＶＣ、ＭＶＣ、およびＭＰＥＧ−２のうちの１つを含むビデオコーディング標準に従って実行されることを特徴とする請求項１に記載の方法。
28. ビデオデータフレームのシーケンスにおいてオクルージョンデータを処理するための装置であって、
    受信されたオクルージョンデータに関するオリジナルフォーマットを表すインジケータを抽出するステップ（Ｓ７０２）であって、前記オリジナルフォーマットは、スパースオクルージョンデータフォーマットおよびフィルドオクルージョンデータフォーマットのうちの１つから選択されるステップと、
    前記受信されたオクルージョンデータをデコーディングして、デコーディングされたオクルージョンデータを作成するステップ（Ｓ７０３）と、
    前記インジケータが、前記オリジナルフォーマットをフィルドオクルージョンデータフォーマットとして示している場合に、前記デコーディングされたオクルージョンデータをスパースオクルージョンデータフォーマットから前記フィルドオクルージョンデータフォーマットへ変換するステップ（Ｓ７０６）と
    を行うためのデコーダを含み、前記変換するステップは、
    定義された特徴を用いて表されている非オクルージョンエリアデータを、前記オクルージョンデータに関連付けられている前記ビデオデータフレーム内の２Ｄデータからのそれぞれの併置されるサンプルによって置き換えるステップ（Ｓ７０６）と、
    前記デコーディングされたオクルージョンデータ、および存在する場合には、変換されたデコーディングされたオクルージョンデータを出力するステップ（Ｓ７０５）と、
    をさらに含むことを特徴とする装置。
29. 前記定義された特徴は、定義された色を含むことを特徴とする請求項２８に記載の装置。
30. 前記定義された特徴は、定義された奥行き値を含むことを特徴とする請求項２８に記載の装置。
31. 前記オクルージョンデータは、オクルージョンビデオデータおよびオクルージョン奥行きデータのうちの１つを含むことを特徴とする請求項２８に記載の装置。
32. 前記デコーディングするステップは、Ｈ．２６４／ＡＶＣ、ＭＶＣ、およびＭＰＥＧ−２のうちの１つを含むビデオコーディング標準に従って実行されることを特徴とする請求項２８に記載の装置。