JP2014526197A - マルチビュービデオコード化 - Google Patents

マルチビュービデオコード化 Download PDF

Info

Publication number
JP2014526197A
JP2014526197A JP2014523053A JP2014523053A JP2014526197A JP 2014526197 A JP2014526197 A JP 2014526197A JP 2014523053 A JP2014523053 A JP 2014523053A JP 2014523053 A JP2014523053 A JP 2014523053A JP 2014526197 A JP2014526197 A JP 2014526197A
Authority
JP
Japan
Prior art keywords
view
picture list
reference picture
component
views
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014523053A
Other languages
English (en)
Other versions
JP5908586B2 (ja
Inventor
チェン、イン
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014526197A publication Critical patent/JP2014526197A/ja
Application granted granted Critical
Publication of JP5908586B2 publication Critical patent/JP5908586B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本開示の態様はビデオデータをコーディングする方法に関する。一例では、方法は、符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を取得することを含む。方法はまた、アクセスユニット内及び第１のビュー内の第１のビューコンポーネントを符号化するために、参照ピクチャリスト内に１つ以上の参照候補を含めることを含み、１つ以上の参照候補は、アクセスユニット内及び参照ビュー情報によって示された参照ビュー内のビューコンポーネントを備え、参照候補の数は参照ビューの数と等しい。方法はまた、参照ピクチャリスト内の１つ以上の参照候補に基づいて、第１のビューコンポーネントを復号することを含む。

Description

本開示はビデオコード化に関する。
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、携帯電話又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器などを含む、広範囲にわたる機器に組み込むことができる。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、高度ビデオコード化（ＡＶＣ）、現在開発中の高効率ビデオコード化（ＨＥＶＣ）規格によって定義された規格、及びそのような規格の拡張に記載されているビデオ圧縮技法などのビデオ圧縮技法を実施する。ビデオ機器は、そのようなビデオ圧縮技法を実施することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶することができる。
ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために、空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコード化の場合、ビデオスライス（即ち、ピクチャ又はピクチャの一部分）は、ツリーブロック、コード化単位（ＣＵ）及び／又はコード化ノードと呼ばれる場合もあるビデオブロックに区分することができる。ピクチャのイントラコード化（Ｉ）スライス内のビデオブロックは、同じピクチャにおける近接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライス内のビデオブロックは、同じピクチャにおける近接ブロック内の参照サンプルに対する空間的予測、又は他の参照ピクチャ内の参照サンプルに対する時間的予測を使用することができる。
空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックをもたらす。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、及びコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数は、次いで量子化することができる。最初は２次元アレイで配列される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査することができ、なお一層の圧縮を実現するように、エントロピーコード化を適用することができる。
本開示は、その内容全体が参照により組み込まれる、２０１１年７月２８日に出願された、米国仮特許出願第６１／５１２，７７１号の優先権を主張するものである。
全般に、本開示はビデオデータをコード化するための技法を記載する。例えば、本開示は、マルチビュービデオコード化（ＭＶＣ）を実行するため、及び現在開発中のＨＥＶＣビデオコード化規格に対するＭＶＣ拡張用の技法を記載する。即ち、ＭＶＣは、ビデオデータの複数のビューをカプセル化するためのビデオコード化技法である。各ビューは、共通のシーンの対応するビデオデータが撮影された異なる視点又は角度に対応することができる。本開示の技法は、一般に、ＭＶＣのネットワークアブストラクションレイヤ（ＮＡＬ）単位、ＭＶＣのパラメータセットなどの形成に関する。
一例では、本開示の態様は、符号化されたビットストリームから、符号化されたビデオデータの複数のビューコンポーネントのうちの各ビューコンポーネントについて１つ又は複数のネットワークアブストラクションレイヤ（ＮＡＬ）単位を取得することと、符号化されたビットストリームから、ＮＡＬユニットとは別に、ビューのビュー識別子とビューコンポーネントの復号順序との間の関係を示す情報を取得することと、受信された情報に基づく復号順序で複数のビューコンポーネントの符号化されたビデオデータを復号することとを含む、ビデオデータを復号する方法を対象とし、複数のビューコンポーネントのうちの各ビューコンポーネントは共通時間位置に対応し、１つ又は複数のＮＡＬユニットは、それぞれのビューコンポーネント用の符号化されたビデオデータの少なくとも一部をカプセル化し、それぞれのビューコンポーネントの復号順序を示す情報を含む。
別の例では、本開示の態様は、符号化されたビットストリームから、符号化されたビデオデータの複数のビューコンポーネントの各ビューコンポーネントについて１つ又は複数のネットワークアブストラクションレイヤ（ＮＡＬ）単位を取得することと、符号化されたビットストリームから、ＮＡＬユニットとは別に、ビューのビュー識別子とビューコンポーネントの復号順序との間の関係を示す情報を取得することと、受信された情報に基づく復号順序で複数のビューコンポーネントの符号化されたビデオデータを復号することとを行うように構成された１つ又は複数のプロセッサを含む、ビデオデータを復号するための装置を対象とし、複数のビューコンポーネントのうちの各ビューコンポーネントは共通時間位置に対応し、１つ又は複数のＮＡＬユニットは、それぞれのビューコンポーネント用の符号化されたビデオデータの少なくとも一部をカプセル化し、それぞれのビューコンポーネントの復号順序を示す情報を含む。
別の例では、本開示の態様は、符号化されたビットストリームから、符号化されたビデオデータの複数のビューコンポーネントの各ビューコンポーネントについて１つ又は複数のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを取得するための手段と、符号化されたビットストリームから、ＮＡＬユニットとは別に、ビューのビュー識別子とビューコンポーネントの復号順序との間の関係を示す情報を取得するための手段と、受信された情報に基づく復号順序で複数のビューコンポーネントの符号化されたビデオデータを復号するための手段とを含む、ビデオデータを復号するための装置を対象とし、複数のビューコンポーネントのうちの各ビューコンポーネントは共通時間位置に対応し、１つ又は複数のＮＡＬユニットは、それぞれのビューコンポーネント用の符号化されたビデオデータの少なくとも一部をカプセル化し、それぞれのビューコンポーネントの復号順序を示す情報を含む。
別の例では、本開示の態様は、実行されたとき、符号化されたビットストリームから、符号化されたビデオデータの複数のビューコンポーネントの各ビューコンポーネントについて１つ又は複数のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを取得することと、符号化されたビットストリームから、ＮＡＬユニットとは別に、ビューのビュー識別子とビューコンポーネントの復号順序との間の関係を示す情報を取得することと、受信された情報に基づく復号順序で複数のビューコンポーネントの符号化されたビデオデータを復号することとを１つ又は複数のプロセッサに行わせる命令を記憶した、非一時的コンピュータ可読記憶媒体を対象とし、複数のビューコンポーネントのうちの各ビューコンポーネントは共通時間位置に対応し、１つ又は複数のＮＡＬユニットは、それぞれのビューコンポーネント用の符号化されたビデオデータの少なくとも一部をカプセル化し、それぞれのビューコンポーネントの復号順序を示す情報を含む。
別の例では、本開示の態様は、ビデオデータのそれぞれのビューについて複数のビューコンポーネント用のビデオデータを符号化することと、符号化されたビットストリームの一部として、ビューコンポーネントの各々の符号化されたビデオデータ用の１つ又は複数のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを、ＮＡＬユニットがそれぞれのビューコンポーネントのビデオデータの復号順序を示す情報を含み、それぞれのビューコンポーネント用の符号化されたビデオデータの少なくとも一部をカプセル化するように形成することと、符号化されたビットストリーム内で、ＮＡＬユニットとは別に、ビューのビュー識別子とビューコンポーネントの復号順序との間の関係を示す情報を提供することとを含む、ビデオデータを符号化する方法を対象とし、複数のビューコンポーネントの各々は共通時間位置に対応する。
別の例では、本開示の態様はビデオデータを符号化するための装置を対象とし、その装置は、ビデオデータのそれぞれのビューについて複数のビューコンポーネント用のビデオデータを符号化することと、符号化されたビットストリームの一部として、ビューコンポーネントの各々の符号化されたビデオデータ用の１つ又は複数のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを、ＮＡＬユニットがそれぞれのビューコンポーネントのビデオデータの復号順序を示す情報を含み、それぞれのビューコンポーネント用の符号化されたビデオデータの少なくとも一部をカプセル化するように形成することと、符号化されたビットストリーム内で、ＮＡＬユニットとは別に、ビューのビュー識別子とビューコンポーネントの復号順序との間の関係を示す情報を提供することとを行うように構成された１つ又は複数のプロセッサを備え、複数のビューコンポーネントの各々は共通時間位置に対応する。
別の例では、本開示の態様は、ビデオデータのそれぞれのビューについて複数のビューコンポーネント用のビデオデータを符号化するための手段と、符号化されたビットストリームの一部として、ビューコンポーネントの各々の符号化されたビデオデータ用の１つ又は複数のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを、ＮＡＬユニットがそれぞれのビューコンポーネントのビデオデータの復号順序を示す情報を含み、それぞれのビューコンポーネント用の符号化されたビデオデータの少なくとも一部をカプセル化するように形成するための手段と、符号化されたビットストリーム内で、ＮＡＬユニットとは別に、ビューのビュー識別子とビューコンポーネントの復号順序との間の関係を示す情報を提供するための手段とを含む、ビデオデータを符号化する装置を対象とし、複数のビューコンポーネントの各々は共通時間位置に対応する。
別の例では、本開示の態様は、実行されたとき、ビデオデータのそれぞれのビューについて複数のビューコンポーネント用のビデオデータを符号化することと、符号化されたビットストリームの一部として、ビューコンポーネントの各々の符号化されたビデオデータ用の１つ又は複数のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを、ＮＡＬユニットがそれぞれのビューコンポーネントのビデオデータの復号順序を示す情報を含み、それぞれのビューコンポーネント用の符号化されたビデオデータの少なくとも一部をカプセル化するように形成することと、符号化されたビットストリーム内で、ＮＡＬユニットとは別に、ビューのビュー識別子とビューコンポーネントの復号順序との間の関係を示す情報を提供することとを１つ又は複数のプロセッサに行わせる命令を記憶した、非一時的コンピュータ可読記憶媒体を対象とし、複数のビューコンポーネントの各々は共通時間位置に対応する。
別の例では、本開示の態様は、符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を取得することと、アクセスユニット内及び第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ又は複数の参照候補を含めることと、参照ピクチャリスト内の１つ又は複数の参照候補に基づいて第１のビューコンポーネントを復号することとを含む、ビデオデータを復号する方法を対象とし、１つ又は複数の参照候補はアクセスユニット内、及び参照ビュー情報によって示された参照ビュー内のビューコンポーネントを備え、参照候補の数は参照ビューの数に等しい。
別の例では、本開示の態様はビデオデータを復号するための装置を対象とし、その装置は、符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を取得することと、アクセスユニット内及び第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ又は複数の参照候補を含めることと、参照ピクチャリスト内の１つ又は複数の参照候補に基づいて第１のビューコンポーネントを復号することとを行うように構成された１つ又は複数のプロセッサを備え、１つ又は複数の参照候補はアクセスユニット内、及び参照ビュー情報によって示された参照ビュー内のビューコンポーネントを備え、参照候補の数は参照ビューの数に等しい。
別の例では、本開示の態様はビデオデータを復号するための装置を対象とし、その装置は、符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を取得するための手段と、アクセスユニット内及び第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ又は複数の参照候補を含めるための手段と、参照ピクチャリスト内の１つ又は複数の参照候補に基づいて第１のビューコンポーネントを復号するための手段とを備え、１つ又は複数の参照候補はアクセスユニット内、及び参照ビュー情報によって示された参照ビュー内のビューコンポーネントを備え、参照候補の数は参照ビューの数に等しい。
別の例では、本開示の態様は、実行されたとき、符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を取得することと、アクセスユニット内及び第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ又は複数の参照候補を含めることと、参照ピクチャリスト内の１つ又は複数の参照候補に基づいて第１のビューコンポーネントを復号することとを１つ又は複数のプロセッサに行わせる命令を記憶した、非一時的コンピュータ可読記憶媒体を対象とし、１つ又は複数の参照候補はアクセスユニット内、及び参照ビュー情報によって示された参照ビュー内のビューコンポーネントを備え、参照候補の数は参照ビューの数に等しい。
別の例では、本開示の態様は、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を決定することと、アクセスユニット内及び第１のビュー内の第１のビューコンポーネントを符号化するために、参照ピクチャリスト内に１つ又は複数の参照候補を含めることと、参照ピクチャリスト内の１つ又は複数の参照候補に基づいて第１のビューコンポーネントを符号化することと、符号化された第１のビューコンポーネントに符号化されたビットストリーム内の決定された参照ビュー情報を提供することとを含む、ビデオデータを符号化する方法を対象とし、１つ又は複数の参照候補はアクセスユニット内、及び参照ビュー情報によって示された参照ビュー内のビューコンポーネントを備え、参照候補の数は参照ビューの数に等しい。
別の例では、本開示の態様は、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を決定することと、アクセスユニット内及び第１のビュー内の第１のビューコンポーネントを符号化するために、参照ピクチャリスト内に１つ又は複数の参照候補を含めることと、参照ピクチャリスト内の１つ又は複数の参照候補に基づいて第１のビューコンポーネントを符号化することと、符号化された第１のビューコンポーネントに符号化されたビットストリーム内の決定された参照ビュー情報を提供することとを行うように構成された１つ又は複数のプロセッサを備える、ビデオデータを符号化するための装置を対象とし、１つ又は複数の参照候補はアクセスユニット内、及び参照ビュー情報によって示された参照ビュー内のビューコンポーネントを備え、参照候補の数は参照ビューの数に等しい。
別の例では、本開示の態様はビデオデータを符号化するための装置を対象とし、その装置は、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を決定するための手段と、アクセスユニット内及び第１のビュー内の第１のビューコンポーネントを符号化するために、参照ピクチャリスト内に１つ又は複数の参照候補を含めるための手段と、参照ピクチャリスト内の１つ又は複数の参照候補に基づいて第１のビューコンポーネントを符号化するための手段と、符号化された第１のビューコンポーネントに符号化されたビットストリーム内の決定された参照ビュー情報を提供するための手段とを備え、１つ又は複数の参照候補はアクセスユニット内、及び参照ビュー情報によって示された参照ビュー内のビューコンポーネントを備え、参照候補の数は参照ビューの数に等しい。
別の例では、本開示の態様は、実行されたとき、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を決定することと、アクセスユニット内及び第１のビュー内の第１のビューコンポーネントを符号化するために、参照ピクチャリスト内に１つ又は複数の参照候補を含めることと、参照ピクチャリスト内の１つ又は複数の参照候補に基づいて第１のビューコンポーネントを符号化することと、符号化された第１のビューコンポーネントに符号化されたビットストリーム内の決定された参照ビュー情報を提供することとを１つ又は複数のプロセッサに行わせる命令を記憶した、非一時的コンピュータ可読記憶媒体を対象とし、１つ又は複数の参照候補はアクセスユニット内、及び参照ビュー情報によって示された参照ビュー内のビューコンポーネントを備え、参照候補の数は参照ビューの数に等しい。
本開示の１つ又は複数の態様の詳細は、添付の図面及び以下の説明において記載される。本開示に記載された技法の他の特徴、目的、及び利点は、これらの説明及び図面、ならびに特許請求の範囲から明らかになろう。
本開示に記載された技法を利用できる例示的なビデオの符号化及び復号のシステムを示すブロック図。 本開示に記載された技法を実施できる例示的なビデオエンコーダを示すブロック図。 本開示に記載された技法を実施できる例示的なビデオデコーダを示すブロック図。 例示的なマルチビュービデオコード化（ＭＶＣ）の予測パターンを示す概念図。 本開示の技法のうちの１つ又は複数の一実施形態において使用できるビットストリーム構造の一例を示す概念図。 図５Ａのビットストリーム構造内に含むことができるビューの一例を示す概念図。 図５Ａのビットストリーム構造内に含むことができるネットワークアブストラクションレイヤ（ＮＡＬ）ユニットの一例を示す概念図。 図５Ａのビットストリーム構造内に含むことができるＮＡＬユニットの別の例を示す概念図。 マルチビュービットストリームを符号化する例示的な方法を示す流れ図。 マルチビュービットストリームを復号する例示的な方法を示す流れ図。 マルチビュービットストリームを符号化する例示的な方法を示す流れ図。 マルチビュービットストリームを復号する例示的な方法を示す流れ図。
特定のビデオコード化システムによれば、データ圧縮を実現するように、ビデオシーケンスにおける時間的冗長性を低減するために、動き推定及び動き補償を使用することができる。この場合、ビデオデータの予測ブロック、例えば、コード化されている現在ビデオブロックの値を予測するために使用できる別のビデオのピクチャ又はスライスからのブロックを識別する動きベクトルを生成することができる。予測ビデオブロックの値が現在ビデオブロックの値から減算されて、残差データのブロックを生成する。動き情報（例えば、動きベクトル、動きベクトルインデックス、予測方向、又は他の情報）が、残差データとともにビデオエンコーダからビデオデコーダに通信される。デコーダは、（動きベクトルに基づいて）同じ予測ブロックの位置を特定し、残差データを予測ブロックのデータと合成することにより、符号化されたビデオブロックを復元することができる。
マルチビュービデオコード化（ＭＶＣ）は、ビデオデータの複数のビューをカプセル化するためのビデオコード化規格である。一般に、各ビューは、共通のシーンの対応するビデオデータが撮影された異なる視点又は角度に対応する。コード化されたビューは、ビデオデータの３次元（３Ｄ）表示器に使用することができる。例えば、２つのビュー（例えば、観察者の左眼のビュー及び右眼のビュー）は、光の異なる偏光を使用して同時に、又はほぼ同時に表示することができ、観察者の眼の各々がビューのそれぞれ１つを受け取るように、観察者はパッシブ偏光眼鏡を着用することができる。代替的に、観察者は、各眼を単独に遮断するアクティブ眼鏡を着用することができ、表示器は、眼鏡と同期して各眼の画像間を高速に交互することができる。
ＭＶＣでは、特定のビューの特定のピクチャはビューコンポーネントと呼ばれる。即ち、ビューのビューコンポーネントは、ビューの特定の時間インスタンスに対応する。マルチビューデータを取得するために使用される全てのカメラが、様々な視点から同じシーンを撮影するので、マルチビュービデオは、比較的大量のビュー間の統計的な依存性を含んでいる場合がある。そのような依存性は、合成された時間的予測及び／又はビュー間予測のために活用することができ、画像は時間的に近接する画像からだけでなく、他のビューからの対応する画像からも予測される。即ち、ビュー間予測は、同じアクセスユニット（アクセス単位）内（即ち、同じ時間インスタンスの内部）の画像間で実行することができる。
ビュー間予測は、一般に、別のビュー内のビューコンポーネントがインター予測参照であるように実現される。予測用の「動き」ベクトルを使用するのではなく、ビュー間予測は、動きベクトルと概念的に同様であるが、動きではなく置換を記述する「置換」ベクトルを利用する。潜在的なビュー間参照は、シーケンスパラメータセット（ＳＰＳ）のＭＶＣ拡張内で通知され、インター予測参照又はビュー間予測参照のフレキシブルな順序付けを可能にする、参照ピクチャリスト構築プロセスによって修正することができる。
ＭＶＣビデオデータを含むビデオデータは、ビデオテレフォニ、記憶装置、ブロードキャスト、又はストリーミングなどのアプリケーションに対処する「ネットワークフレンドリ」なビデオ表現を提供するネットワークアブストラクションレイヤ（ＮＡＬ）ユニットに編成することができる。例えば、ビデオエンコーダは、通常、ビデオデータの各ピクチャを１つ又は複数の単独で復号可能なスライスとして符号化する。スライスは、ネットワーク上の伝送用のＮＡＬユニットにパッケージ化することができる。ビデオコード化レイヤ（ＶＣＬ）データを含むＮＡＬユニット(ＮＡＬ単位)は、ピクチャ用のデータ又はピクチャのスライス用のデータを含むことができる。例えば、ＮＡＬユニットは、コード化ブロックパターン（ＣＢＰ）値、ブロックタイプ、コード化モード、（フレーム、スライス、ブロック、又はシーケンスなどの）コード化単位用の最大ブロックサイズ、又は他の情報などのシンタックス情報を含むことができる。
各ＮＡＬユニットは、ＮＡＬユニットに記憶されたデータのタイプを識別するヘッダを含む。例示的なＭＶＣのＮＡＬユニットヘッダは、ＮＡＬユニットが属するビューのビュー識別子と、ＮＡＬユニットが（他のビューコンポーネントによる参照用の）ランダムアクセスポイントとして使用できる、所謂アンカーピクチャに属するかどうかと、ＮＡＬユニットが他のビュー内のＮＡＬユニット用のビュー間予測に使用されるかどうかと、様々な他の情報とを示すシンタックス要素を含むことができる。本明細書に記載されたように、アンカーピクチャは、一般にランダムアクセスピクチャに該当する場合があり、それらの用語は互換的に使用することができる。即ち、「ランダムアクセス」は、一般に、ストリームの開始以外のポイントでビットストリームに対する復号プロセスを開始する行為を指す。ランダムアクセスピクチャは、一般に、イントラコード化スライス（Ｉスライス）のみを含んでいるピクチャに関係する。復号順序と出力順序の両方でランダムアクセスピクチャに続くコード化ピクチャは、復号順序又は出力順序のいずれかでランダムアクセスピクチャに先行するピクチャから予測されない。
一般に、アクセスユニットは、特定の時間インスタンスの全てのビューコンポーネントを含むことができる。特定のビューコンポーネントは、特定の時間インスタンスで特定のビューの全てのＮＡＬユニットを含む。ＭＶＣのＮＡＬユニットは、（ＮＡＬユニットタイプを含む）１バイトのＮＡＬユニットヘッダを含んでいる場合があり、ＭＶＣのＮＡＬユニットヘッダ拡張部を更に含むことができる。
Ｈ．２６４／ＡＶＣはＭＶＣサポートを含むが、Ｈ．２６４／ＡＶＣに対する現在のＭＶＣ拡張は、他のビデオコード化規格に対して幾つかの非効率性を含んでいる場合がある。更に、以下でより詳細に説明されるように、Ｈ．２６４／ＡＶＣから今度のＨＥＶＣ規格などの他のコード化規格へのＭＶＣの直接インポートは、実現可能ではない可能性がある。本開示の技法は、一般に、ＭＶＣと関係するＮＡＬユニット、ＭＶＣと関係するパラメータセットなどの形成に関する。本開示の特定の技法により、今度のＨＥＶＣ規格用の効率的なＭＶＣコード化が可能になる可能性がある。
図１は、マルチビューコード化において動きベクトル予測用の技法を利用できる、例示的なビデオの符号化及び復号のシステム１０を示すブロック図である。図１に示されたように、システム１０は、宛先機器１４によって後で復号されるべき符号化ビデオデータを提供する発信源機器１２を含む。詳細には、発信源機器１２は、コンピュータ可読媒体１６を介して宛先機器１４にビデオデータを提供する。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲にわたる機器のいずれかを備えることができる。場合によっては、発信源機器１２及び宛先機器１４は、ワイヤレス通信用に装備することができる。
宛先機器１４は、コンピュータ可読媒体１６を介して、復号されるべき符号化ビデオデータを受信することができる。コンピュータ可読媒体１６は、符号化ビデオデータを発信源機器１２から宛先機器１４に移動することが可能な任意のタイプの媒体又は機器を備えることができる。一例では、コンピュータ可読媒体１６は、発信源機器１２がリアルタイムで符号化ビデオデータを宛先機器１４に直接送信することを可能にする通信媒体を備えることができる。
符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器１４に送信することができる。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つもしくは複数の物理伝送線路などの、任意のワイヤレス又は有線の通信媒体を備えることができる。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなどの、パケットベースネットワークの一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、又は、発信源機器１２から宛先機器１４への通信を容易にするために有用であり得る任意の他の機器を含むことができる。
幾つかの例では、符号化データは、出力インターフェース２２から記憶装置に出力することができる。同様に、符号化データは、入力インターフェースにより記憶装置からアクセスすることができる。記憶装置には、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性のメモリ、又は符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの様々な分散された、又はローカルにアクセスされるデータ記憶媒体のいずれかが含まれ得る。更なる一例では、記憶装置は、発信源機器１２によって生成された符号化ビデオを記憶できるファイルサーバ又は別の中間記憶装置に該当することができる。
宛先機器１４は、ストリーミング又はダウンロードを介して、記憶装置からの記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先機器１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバには、（例えば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶装置（ＮＡＳ）機器、又はローカルディスクドライブが含まれる。宛先機器１４は、インターネット接続を含む任意の標準データ接続を介して、符号化ビデオデータにアクセスすることができる。これには、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに適した、ワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、又は両方の組合せが含まれ得る。記憶装置からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。
本開示の技法は、必ずしもワイヤレスの適用例又は設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例などの様々なマルチメディア適用例のいずれかをサポートするビデオコード化に適用することができる。幾つかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオテレフォニなどの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成することができる。
図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先機器１４は、入力インターフェース２８と、ビデオデコーダ３０と、表示装置３２とを含む。本開示によれば、発信源機器１２のビデオエンコーダ２０は、マルチビューコード化において動きベクトル予測用の技法を適用するように構成することができる。他の例では、発信源機器及び宛先機器は、他の構成要素又は装置を含むことができる。例えば、発信源機器１２は、外部カメラなどの外部のビデオ発信源１８からビデオデータを受信することができる。同様に、宛先機器１４は、内蔵表示装置を含むのではなく、外部表示装置とインターフェースすることができる。
図１の図示されたシステム１０は一例にすぎない。マルチビューコード化における動きベクトル予測のための技法は、任意のデジタルビデオの符号化及び／又は復号の機器によって実行することができる。一般に、本開示の技法はビデオ符号化機器によって実行されるが、本技法は、通常「コーデック」と呼ばれるビデオエンコーダ／デコーダによって実行することもできる。更に、本開示の技法は、ビデオプリプロセッサによって実行することもできる。発信源機器１２及び宛先機器１４は、発信源機器１２が宛先機器１４に送信するためのコード化ビデオデータを生成するようなコード化機器の例にすぎない。幾つかの例では、機器１２、１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、機器１２、１４は、実質的に対称的な方式で動作することができる。従って、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、又はビデオテレフォニのための、ビデオ機器１２とビデオ機器１４との間の一方向又は双方向のビデオ送信をサポートすることができる。
発信源機器１２のビデオ発信源１８には、ビデオカメラなどの撮像装置、以前に撮影されたビデオを含んでいるビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するビデオフィードインターフェースが含まれ得る。更なる代替として、ビデオ発信源１８は、発信源ビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオ、アーカイブビデオ、及びコンピュータ生成ビデオの合成を生成することができる。場合によっては、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂カメラ付き携帯電話又はビデオ電話を形成することができる。しかしながら、上述のように、本開示に記載された技法は、一般にビデオコード化に適用可能であり得るし、ワイヤレス及び／又は有線の適用例に適用することができる。各場合において、撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化することができる。次いで、符号化ビデオ情報は、出力インターフェース２２によってコンピュータ可読媒体１６に出力することができる。
コンピュータ可読媒体１６には、ワイヤレス放送又は有線ネットワーク送信などの一時的媒体、若しくはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、又は他のコンピュータ可読媒体などの記憶媒体（即ち、非一時的記憶媒体）が含まれ得る。幾つかの例では、ネットワークサーバ（図示せず）は、発信源機器１２から符号化ビデオデータを受信し、例えば、ネットワーク送信を介して、その符号化ビデオデータを宛先機器１４に提供することができる。同様に、ディスクスタンピング設備などの媒体製造設備のコンピュータ機器は、発信源機器１２から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを製造することができる。従って、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つ又は複数のコンピュータ可読媒体を含むことが理解されよう。
宛先機器１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ブロック及び他のコード化ユニット、例えば、ＧＯＰの特性及び／又は処理を記述するシンタックス要素を含む、ビデオエンコーダ２０によって定義されたシンタックス情報を含むことができ、シンタックス情報はまた、ビデオデコーダ３０によって使用される。表示装置３２は、復号されたビデオデータをユーザに表示し、陰極線管（ＣＲＴ）、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置などの、様々な表示装置のいずれかを備えることができる。
ビデオエンコーダ２０及びビデオデコーダ３０は各々、適用可能な場合、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せなどの、様々な適切なエンコーダ回路又はデコーダ回路のいずれかとして実施することができる。ビデオエンコーダ２０及びビデオデコーダ３０の各々は、１つ又は複数のエンコーダ又はデコーダ内に含むことができ、それらのいずれも合成ビデオエンコーダ／デコーダ（コーデック）の一部として統合することができる。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む機器は、集積回路、マイクロプロセッサ、及び／又は携帯電話などのワイヤレス通信機器を備えることができる。
図１には示されていないが、幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は、各々オーディオエンコーダ及びオーディオデコーダと統合することができ、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含んで、共通のデータストリーム又は別個のデータストリーム内のオーディオとビデオの両方の符号化を処理することができる。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠することができる。
図１に示された例では、システム１０はまた、ルータ３６を有するサーバ／コンテンツ配信ネットワーク３４を含む。幾つかの例では、発信源機器１２は、上述のように、様々なワイヤレス送信及び／又は有線送信又は記憶媒体を介して、サーバ／コンテンツ配信ネットワーク３４と通信することができる。更に、図１の例では別々に示されたが、幾つかの例では、発信源機器１２とサーバ／コンテンツ配信ネットワーク３４は同じ機器を備える。サーバ／コンテンツ配信ネットワーク３４は、（発信源機器１２のビデオエンコーダ２０からの）コード化ビデオデータの１つ又は複数のバージョンを記憶することができ、そのようなコード化ビデオデータを宛先機器１４及びビデオデコーダ３０によるアクセスに利用できるようにすることができる。幾つかの例では、ルータ３６は、コード化ビデオデータを宛先機器１４に、要求されたフォーマットで提供することを担当することができる。
ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中の高効率ビデオコード化（ＨＥＶＣ）規格などのビデオコード化規格に従って動作することができ、ＨＥＶＣテストモデル（ＨＭ）に準拠することができる。代替的に、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０、高度ビデオコード化（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格などの他のプロプライエタリ規格又は業界規格、又はそのような規格の拡張に従って動作することができる。しかしながら、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオコード化規格の他の例には、ＭＰＥＧ−２及びＩＴＵ−Ｔ Ｈ．２６３が含まれる。
ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とともにＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）によって策定された。幾つかの態様では、本開示に記載された技法は、一般にＨ．２６４規格に準拠する機器に適用することができる。Ｈ．２６４規格は、ＩＴＵ−Ｔ研究グループによる２００５年３月付けのＩＴＵ−Ｔ勧告Ｈ．２６４「Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」に記載されており、本明細書ではＨ．２６４規格又はＨ．２６４仕様、又はＨ．２６４／ＡＶＣ規格若しくはＨ．２６４／ＡＶＣ仕様と呼ぶ場合がある。Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに対する拡張に取り組み続けている。
ＪＣＴ−ＶＣは、ＨＥＶＣ規格の開発に取り組んでいる。ＨＥＶＣ規格化の活動は、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコード化機器の発展的モデルに基づく。ＨＭは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存の機器に対して、ビデオコード化機器の幾つかの追加の能力を仮定する。例えば、Ｈ．２６４は９つのイントラ予測符号化モードを提供するが、ＨＭは３３個ものイントラ予測符号化モードを提供することができる。
一般に、ＨＭの作業モデルは、ビデオピクチャが、ルーマサンプルとクロマサンプルの両方を含む、一連のツリーブロック又は最大コード化単位（ＬＣＵ）に分割できることを記述する。ビットストリーム内のシンタックスデータは、画素の数に関して最大コード化単位であるＬＣＵ用のサイズを確定することができる。スライスは、コード化順序で幾つかの連続的なツリーブロックを含む。ピクチャは、１つ又は複数のスライスに区分することができる。各ツリーブロックは、４分木に従ってコード化単位（ＣＵ）に分割することができる。一般に、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。
４分木データ構造の各ノードは、対応するＣＵにシンタックスデータを提供することができる。例えば、４分木内のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含むことができる。ＣＵ用のシンタックス要素は再帰的に定義することができ、ＣＵがサブＣＵに分割されるかどうかに依存する場合がある。ＣＵがこれ以上分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵの４つのサブＣＵもリーフＣＵと呼ばれる。例えば、１６×１６サイズのＣＵがこれ以上分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵもリーフＣＵと呼ばれる。
ＣＵは、ＣＵがサイズ差異を有していないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、（サブＣＵとも呼ばれる）４つの子ノードに分割することができ、各子ノードが今度は親ノードになり、別の４つの子ノードに分割することができる。４分木のリーフノードと呼ばれる、最後の分割されない子ノードは、リーフＣＵとも呼ばれるコード化ノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深さと呼ばれる、ツリーブロックを分割できる最大回数を確定することができ、また、コード化ノードの最小サイズを確定することもできる。それに応じて、ビットストリームは最小コード化ユニット（ＳＣＵ）を確定することもできる。本開示は、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、もしくはＴＵ、又は他の規格のコンテキストにおける同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロック及びそのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。
ＣＵは、コード化ノードと、コード化ノードに関連する予測単位（ＰＵ）及び変換単位（ＴＵ）とを含む。ＣＵのサイズはコード化ノードのサイズに対応し、形状が正方形でなければならない。ＣＵのサイズは、８×８画素から、最大６４×６４以上の画素を有するツリーブロックのサイズまで及ぶ場合がある。各ＣＵは、１つ又は複数のＰＵと、１つ又は複数のＴＵとを含んでいる場合がある。ＣＵに関連するシンタックスデータは、例えば、ＣＵを１つ又は複数のＰＵに区分することを記述することができる。区分モードは、ＣＵが、スキップモード又はダイレクトモードで符号化されるか、イントラ予測モードで符号化されるか、若しくはインター予測モードで符号化されるかの間で異なる場合がある。ＰＵは、形状が非正方形になるように区分することができる。ＣＵに関連するシンタックスデータは、例えば、４分木に従ってＣＵを１つ又は複数のＴＵに区分することも記述することができる。ＴＵは、形状が正方形又は非正方形（例えば、矩形）であり得る。
ＨＥＶＣ規格は、異なるＣＵで異なる場合があるＴＵに従って、変換を可能にする。ＴＵは、通常、区分されたＬＣＵ用に確定された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、通常、ＰＵと同じサイズであるか又はＰＵよりも小さい。幾つかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ）として知られる４分木構造を使用して、より小さい単位に再分割することができる。ＲＱＴのリーフノードは変換単位（ＴＵ）と呼ばれる場合がある。ＴＵに関連する画素差分値は、変換されて変換係数を生成することができ、その変換係数は量子化することができる。
リーフＣＵは、１つ又は複数の予測単位（ＰＵ）を含むことができる。一般に、ＰＵは、対応するＣＵの全部又は一部に対応する空間的エリアを表し、そのＰＵ用の参照サンプルを取り出すためのデータを含むことができる。更に、ＰＵは予測に関係するデータを含む。例えば、ＰＵがイントラモードで符号化されるとき、ＰＵ用のデータは残差４分木（ＲＱＴ）に含むことができ、ＲＱＴはＰＵに対応するＴＵ用のイントラ予測モードを記述するデータを含むことができる。別の例として、ＰＵがインターモードで符号化されるとき、ＰＵは、ＰＵ用の１つ又は複数の動きベクトルを確定するデータを含むことができる。ＰＵ用の動きベクトルを確定するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトル用の解像度（例えば、１／４画素精度もしくは１／８画素精度）、動きベクトルが指す参照ピクチャ、及び／又は動きベクトル用の参照ピクチャリスト（例えば、リスト０、リスト１、もしくはリストＣ）を記述することができる。
１つ又は複数のＰＵを有するリーフＣＵはまた、１つ又は複数の変換単位（ＴＵ）を含むことができる。変換ユニットは、上記で説明されたように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定することができる。例えば、分割フラグは、リーフＣＵが４つの変換単位に分割されるかどうかを示すことができる。次いで、各変換ユニットは、更なるサブＴＵに更に分割することができる。ＴＵがこれ以上分割されないとき、そのＴＵはリーフＴＵと呼ぶことができる。一般に、イントラコード化の場合、リーフＣＵに属する全てのリーフＴＵは、同じイントラ予測モードを共有する。即ち、一般に、リーフＣＵの全てのＴＵについて予測値を計算するように、同じイントラ予測モードが適用される。イントラコード化の場合、ビデオエンコーダ２０は、イントラ予測モードを使用してリーフＴＵごとの残差値を、ＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算することができる。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。従って、ＴＵはＰＵよりも大きく又は小さくなることができる。イントラコード化の場合、ＰＵは、同じＣＵ用の対応するリーフＴＵと同一位置とすることができる。幾つかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに該当する場合がある。
更に、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造に関連付けることができる。即ち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含むことができる。ＴＵ４分木のルートノードは、一般にリーフＣＵに対応し、ＣＵ４分木のルートノードは、一般にツリーブロック（又はＬＣＵ）に対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。一般に、本開示は、特に明記しない限り、リーフＣＵ及びリーフＴＵに言及するために、それぞれＣＵ及びＴＵという用語を使用する。
ビデオシーケンスは、通常、一連のピクチャを含む。本明細書に記載されるように、「ピクチャ」と「フレーム」は互換的に使用することができる。即ち、ビデオデータを含んでいるピクチャは、ビデオフレーム又は単に「フレーム」と呼ばれる場合がある。ピクチャのグループ（ＧＯＰ）は、一般に、ビデオピクチャのうちの一連の１つ又は複数を備える。ＧＯＰは、ＧＯＰ内に含まれるピクチャの数を記述するシンタックスデータを、ＧＯＰのヘッダ内、ピクチャのうちの１つ又は複数のヘッダ内、又は他の場所に含むことができる。ピクチャの各スライスは、それぞれのスライス用の符号化モードを記述するスライスシンタックスデータを含むことができる。ビデオエンコーダ２０は、通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコード化ノードに対応することができる。ビデオブロックは、固定サイズ又は可変サイズを有することができ、指定されたコード化規格に従ってサイズが異なる場合がある。
一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、又はＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズでのインター予測用の非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、又は「Ｒｉｇｈｔ」という指示によって示される。従って、例えば「２Ｎ×ｎＵ」は、上部に２Ｎ×０．５ＮのＰＵと下部に２Ｎ×１．５ＮのＰＵとで水平方向に区分された２Ｎ×２ＮのＣＵを指す。
本開示では、「Ｎ×Ｎ（ＮｘＮ）」と「Ｎ×Ｎ（Ｎ ｂｙ Ｎ）」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、１６×（x）１６画素又は１６×（by）１６画素を指すために互換的に使用することができる。一般に、１６×１６ブロックは、垂直方向に１６画素を有し（ｙ＝１６）、水平方向に１６画素を有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、ここでＮは非負整数値を表す。ブロック内の画素は行と列とに配置することができる。更に、ブロックは、必ずしも、水平方向に垂直方向と同じ数の画素を有する必要があるとは限らない。例えば、ブロックはＮ×Ｍ画素を備えることができ、ここでＭは必ずしもＮに等しいとは限らない。
ＣＵのＰＵを使用したイントラ予測コード化又はインター予測コード化の後、ビデオエンコーダ２０は、ＣＵのＴＵ用の残差データを計算することができる。ＰＵは、（画素領域とも呼ばれる）空間領域において予測画素データを生成する方法又はモードを記述するシンタックスデータを備えることができ、ＴＵは、変換、例えば、残差ビデオデータに対する離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に同様の変換の適用後、変換領域において係数を備えることができる。残差データは、符号化されていないピクチャの画素と、ＰＵに対応する予測値との間の画素差分に対応することができる。ビデオエンコーダ２０は、ＣＵ用の残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵ用の変換係数を生成することができる。
変換係数を生成する任意の変換の後、ビデオエンコーダ２０は、変換係数の量子化を実行することができる。量子化は、一般に、係数を表すために使用されるデータの量をできるだけ低減するために変換係数を量子化するプロセスを指し、更なる圧縮を提供する。量子化プロセスは、係数の一部又は全部に関連するビット深さを低減することができる。例えば、量子化中にｎビットの値をｍビットの値に切り捨てることができ、ここでｎはｍよりも大きい。
量子化の後、ビデオエンコーダは変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成することができる。走査は、より高いエネルギー（従ってより低い周波数）の係数をアレイの前方に配置し、より低いエネルギー（従ってより高い周波数）の係数をアレイの後方に配置するように設計することができる。幾つかの例では、ビデオエンコーダ２０は、量子化変換係数を走査して、エントロピー符号化できるシリアル化ベクトルを生成するために、予め定義された走査順序を利用することができる。他の例では、ビデオエンコーダ２０は適応走査を実行することができる。量子化変換係数を走査して１次元ベクトルを形成した後、ビデオエンコーダ２０は、例えば、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型二値算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型二値算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化、又は別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化することができる。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化することができる。
ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルにコンテキストモデル内のコンテキストを割り当てることができる。コンテキストは、例えば、シンボルの近傍値が非０であるか否かに関係する場合がある。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボル用の可変長コードを選択することができる。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構築することができる。このようにして、ＶＬＣを使用すると、例えば、送信されるべきシンボルごとに等長コードワードを使用するよりも、ビット節約を実現することができる。確率判断は、シンボルに割り当てられるコンテキストに基づく場合がある。
ビデオエンコーダ２０は更に、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、及びＧＯＰベースのシンタックスデータなどのシンタックスデータを、例えば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、又はＧＯＰヘッダの中でビデオデコーダ３０に送ることができる。ＧＯＰシンタックスデータは、それぞれのＧＯＰ内のピクチャの数を記述することができ、ピクチャシンタックスデータは、対応するピクチャを符号化するために使用される符号化／予測モードを示すことができる。
幾つかの例では、ビデオデータを復号するときに使用できる特定のパラメータセットを、ビデオエンコーダ２０は生成することができ、ビデオデコーダ３０は受信することができる。例えば、パラメータセットは、（シーケンスパラメータセット（ＳＰＳ）内の）シーケンスレベルヘッダ情報と、（ピクチャパラメータセット（ＰＰＳ）内の）まれにしか変化しないピクチャレベルヘッダ情報とを含んでいる場合がある。パラメータセット（例えば、ＰＰＳ及びＳＰＳ）がある場合、まれにしか変化しない情報をシーケンス（例えば、ピクチャのシーケンス）ごと又はピクチャごとに繰り返す必要はなく、従ってコード化効率を改善することができる。更に、パラメータセットを使用すると、重要なヘッダ情報の帯域外送信が可能になり、誤り耐性のための冗長送信の必要を回避することができる。帯域外送信の例では、補足強調情報（ＳＥＩ）のＮＡＬユニットなどの他のＮＡＬユニットとは異なるチャネル上で、パラメータセットのＮＡＬユニットを送信することができる。
（ＳＥＩメッセージと呼ばれる）ＳＥＩのＮＡＬユニットは、ＶＣＬのＮＡＬユニットからのコード化ピクチャサンプルを復号するためには必要でないが、復号、表示、誤り耐性、及び他の目的に関係するプロセスを支援できる情報を含んでいる場合がある。ＳＥＩメッセージは、非ＶＣＬのＮＡＬユニットに含まれている場合がある。ＳＥＩメッセージは、幾つかの標準仕様の規範部分に含まれている場合があり、従って、標準準拠のデコーダ実施のために常に必須であるとは限らない。ＳＥＩメッセージは、シーケンスレベルのＳＥＩメッセージ又はピクチャレベルのＳＥＩメッセージであり得る。ＳＶＣの例ではスケーラビリティ情報ＳＥＩメッセージ、ＭＶＣではビュースケーラビリティ情報ＳＥＩメッセージなどのＳＥＩメッセージ内に、何らかのシーケンスレベル情報が含まれている場合がある。
幾つかの例では、ビデオエンコーダ２０は、Ｈ．２６４／ＡＶＣに対するＭＶＣ拡張に準拠するＭＶＣビットストリームを符号化することができる。同様に、ビデオデコーダ３０は、Ｈ．２６４／ＡＶＣに対するＭＶＣ拡張に準拠するＭＶＣビットストリームを復号することができる。ＭＶＣの最新の共同ドラフトは、ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｖｔ−ｓｉｔｅ／２００９＿０１＿Ｇｅｎｅｖａ／ＪＶＴ−ＡＤ００７から公的に入手可能なＪＶＴ−ＡＤ００７、「 ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇに対する編集者のドラフト改訂」、第３０回ＪＶＴミーティング、ジュネーブ、スイス、２００８年１月〜２月に記載されている。
Ｈ．２６４／ＡＶＣのスケーラブル拡張では、シンタックス要素は、ＮＡＬユニットヘッダ拡張部に追加されて、複数の寸法でＶＣＬのＮＡＬユニットの特性を記述するように、ＮＡＬユニットヘッダを１バイトから４バイトに拡張することができる。従って、ＨＥＶＣ内のＶＣＬのＮＡＬユニットは、Ｈ．２６４／ＡＶＣ規格内のＮＡＬユニットヘッダよりも長いＮＡＬユニットヘッダを含むことができる。Ｈ．２６４／ＡＶＣに対するＭＶＣ拡張は、本開示では「ＭＶＣ／ＡＶＣ」と呼ばれる場合がある。
ＭＶＣ／ＡＶＣのＮＡＬユニットは、ＮＡＬユニットタイプを含む１バイトのＮＡＬユニットヘッダ、及びＭＶＣ／ＡＶＣのＮＡＬユニットヘッダ拡張部を含むことができる。一例として、ＭＶＣ／ＡＶＣのＮＡＬユニットヘッダ拡張部は、以下の表１の中のシンタックス要素を含むことができる。
上記の表１では、ｉｄｒ＿ｆｌａｇ要素は、ＮＡＬユニットが瞬時復号リフレッシュ（ＩＤＲ）ピクチャに属するか、又は閉ＧＯＰランダムアクセスポイントとして使用できるビューＩＤＲ（Ｖ−ＩＤＲ）ピクチャに属するかを示すことができる。例えば、ＩＤＲピクチャ、及び表示順序とビットストリーム順序の両方でそれに続く全てのピクチャは、ビットストリーム順序又は表示順序のいずれかで前のピクチャを復号することなしに正しく復号することができる。ｐｒｉｏｒｉｔｙ＿ｉｄ要素は、変化するネットワーク状態及び／又は（例えば、単一パス適応プロセスなどの）ビデオデコーダ３０及び／又は表示装置３２の能力に応じてビットストリームを変更する、ビットストリーム適応プロセスで使用することができる。ｖｉｅｗ＿ｉｄ要素は、ＮＡＬユニットが所属するビューのビュー識別子を示すために使用することができ、ビュー識別子は、例えば、ビュー間予測用にＭＶＣデコーダの内部で、レンダリング用にデコーダの外部で使用することができる。幾つかの例では、ｖｉｅｗ＿ｉｄは、予め定義されたカメラＩＤに等しく設定することができ、比較的大きい場合がある。ｔｅｍｐｏｒａｌ＿ｉｄ要素は、特定のフレームレートに対応できる、現在のＮＡＬユニットの時間レベルを示すために使用することができる。
ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ要素は、ＮＡＬユニットが開ＧＯＰランダムアクセスポイントとして使用できるアンカーピクチャに属するかどうかを示すために使用することができる。例えば、アンカーピクチャ、及び表示順序でそれに続く全てのピクチャは、復号順序（即ち、ビットストリーム順序）で前のピクチャを復号することなしに正しく復号することができ、従ってランダムアクセスポイントとして使用することができる。アンカーピクチャと非アンカーピクチャとは異なるビュー依存性を有することができ、それらの両方はＳＰＳ内で通知することができる。即ち、本明細書に記載されたように、ビュー依存性は、一般に、現在コード化されているビューが依存するビューを指す。言い換えれば、ビュー依存性は、現在コード化されているビューをどのビューから予測できるかを説明することができる。幾つかの例によれば、ビュー依存性は、ＳＰＳのＭＶＣ拡張において通知することができる。そのような例では、全てのビュー間予測は、ＳＰＳのＭＶＣ拡張によって指定された範囲内で行うことができる。ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ要素は、ＮＡＬユニットが他のビュー内のＮＡＬユニット用のビュー間予測に使用されるかどうかを示すために使用することができる。
ＭＶＣビットストリームのベースビュー用の上記４バイトのＮＡＬユニットヘッダ情報を搬送するために、プレフィックスＮＡＬユニットをＭＶＣ内に定義することができる。ＭＶＣのコンテキストにおいて、ベースビューアクセスユニットは、特定のビューの現在時間インスタンスのＶＣＬのＮＡＬユニット、及びベースビューアクセスユニット用のプレフィックスＮＡＬユニットを含むことができ、プレフィックスＮＡＬユニットはＮＡＬユニットヘッダのみを含んでいる場合がある。プレフィックスＮＡＬユニットが（例えば、単一ビューの復号などの）復号に必要でない場合、デコーダはプレフィックスＮＡＬユニットを無視及び／又は廃棄することができる。
ＳＰＳのＭＶＣ／ＡＶＣ拡張に関して、ＭＶＣのＳＰＳはビュー間予測の目的で使用できるビューを示すことができる。例えば、潜在的なビュー間参照は、ＳＰＳのＭＶＣ／ＡＶＣ拡張において通知することができ、インター予測参照又はビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリストの構築プロセスによって修正することができる。例示的なＭＶＣ／ＡＶＣのＳＰＳが下記の表２で説明される。
幾つかの例によれば、ビュー依存性は、ＳＰＳのＭＶＣ拡張において通知することができる。全てのビュー間予測は、ＳＰＳのＭＶＣ拡張によって指定された範囲内で行うことができる。即ち、ＳＰＳは、現在コード化されているビューによる予測の目的でどのビューを参照できるかを説明することができる。上記の表２では、ｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ０［ｉ］要素は、リスト０（例えば、ＲｅｆＰｉｃＬｉｓｔ０）用の初期化された参照ピクチャリスト内のビュー間予測用のビューコンポーネントの数を指定することができる。加えて、ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ０内のビュー間予測用の第ｊのビューコンポーネントのｖｉｅｗ＿ｉｄを指定することができる。ｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ１［ｉ］要素は、リスト１（例えば、ＲｅｆＰｉｃＬｉｓｔ１）用の初期化された参照ピクチャリスト内のビュー間予測用のビューコンポーネントの数を指定することができる。ａｎｃｈｏｒ＿ｒｅｆ＿ｌ１［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ１内のビュー間予測用の第ｊのビューコンポーネントのｖｉｅｗ＿ｉｄを指定することができる。ｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ０［ｉ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ０内のビュー間予測用のビューコンポーネントの数を指定することができる。ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ０内のビュー間予測用の第ｊのビューコンポーネントのｖｉｅｗ＿ｉｄを指定することができる。ｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ１［ｉ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ１内のビュー間予測用のビューコンポーネントの数を指定することができる。ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ１［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ内のビュー間予測用の第ｊのビューコンポーネントのｖｉｅｗ＿ｉｄを指定することができる。
初期化された、又は「初期の」参照ピクチャリストは、ビューコンポーネントをビュー間予測する目的で使用される最後の参照ピクチャリストと同じか又は異なる場合がある。即ち、特定の参照候補（即ち、ビュー間予測に使用できる参照ピクチャ）は、初期の参照ピクチャリスト（例えば、冗長なピクチャ）から削除することができる。加えて、以下でより詳細に記載されるように、参照候補は、初期の参照ピクチャリストから並べ替えられて、最後の参照ピクチャリストを形成することができる。
この例では、ＭＶＣ／ＡＶＣによれば、アンカーピクチャ用のビュー依存性と非アンカーピクチャ用のビュー依存性は、別々に維持及び通知することができる。即ち、ビデオコーダは、合計４個の参照ピクチャリスト（例えば、非アンカーピクチャのリスト０、非アンカーピクチャのリスト１、アンカーピクチャのリスト０、アンカーピクチャのリスト１）を決定することができる。加えて、上記の表２に示されたように、ビデオデコーダ３０にビュー依存性を示すために別の信号伝達が必要である。即ち、ＳＰＳは、ａｎｃｈｏｒ＿ｒｅｆｓとｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓの両方に信号伝達する別個のリスト０とリスト１とを含むことができる。
更に、表２によれば、非アンカービューコンポーネント用のビュー間依存性は、アンカービューコンポーネント用のビュー間依存性のサブセットである。即ち、例えば、アンカービューのビューコンポーネントは、ビュー３とビュー４などの２つ以上の他のビューから予測することができる。しかしながら、非アンカービューは、ビュー３（アンカービューのサブセット）のピクチャから予測することしかできない。このようにして、アンカービューコンポーネント用のビュー依存性と非アンカービューコンポーネント用のビュー依存性は、別々に維持することができる。
加えて、表２では、ｎｕｍ＿ｌｅｖｅｌ＿ｖａｌｕｅｓ＿ｓｉｇｎａｌｌｅｄは、コード化ビデオシーケンスに通知されたレベル値の数を指定することができる。ｌｅｖｅｌ＿ｉｄｃ［ｉ］要素は、コード化ビデオシーケンスに通知された第ｉのレベル値を指定することができる。ｎｕｍ＿ａｐｐｌｉｃａｂｌｅ＿ｏｐｓ＿ｍｉｎｕｓ１［ｉ］プラス１要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される動作点の数を指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］［ｊ］要素は、ｌｅｖｅｌ＿ｉｄｃ１［ｉ］によって示されたレベルが適用される第ｊの動作点のｔｅｍｐｏｒａｌ＿ｉｄを指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｔａｒｇｅｔ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点用のターゲット出力ビューの数を指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔａｒｇｅｔ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］［ｋ］要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点用の第ｋのターゲット出力ビューを指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点で、ターゲット出力ビューによって依存されるが、ターゲット出力ビューに属さないビューを含むビューの数を指定することができる。
従って、ＳＰＳのＭＶＣ拡張では、ビューごとに、参照ピクチャリスト０と参照ピクチャリスト１とを形成するために使用できるビューの数を通知することができる。加えて、ＳＰＳのＭＶＣ拡張で通知されたアンカーピクチャ用の予測関係は、同じビューの（ＳＰＳのＭＶＣ拡張で通知された）非アンカーピクチャ用の予測関係とは異なる場合がある。
以下でより詳細に記載されるように、ビデオエンコーダ２０及びビデオデコーダ３０は、参照ピクチャリストを構築するときに、時間予測参照とビュー予測参照とをフレキシブルに配置することができる。参照ピクチャセクションと冗長ピクチャメカニズムとをビュー寸法に拡張することができるので、フレキシブルな配列を可能にすると、潜在的なコード化効率ゲインだけでなく誤り耐性も提供される。一例では、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、以下のステップに従って参照ピクチャリストを構築することができる。
１）他のビューからの参照ピクチャが考慮されないように、時間的（即ち、ビュー内）参照ピクチャ用の参照ピクチャリストを初期化する。
２）ピクチャがＭＶＣのＳＰＳ拡張で発生する順序で、ビュー間参照ピクチャをリストの最後に追加する。
３）参照ピクチャリスト並べ替え（ＲＰＬＲ）プロセスをビュー内参照ピクチャとビュー間参照ピクチャの両方に適用する。ビュー間参照ピクチャは、ＭＶＣのＳＰＳ拡張で指定されたそれらのインデックス値により、ＲＰＬＲコマンド内で識別することができる。
Ｈ．２６４／ＡＶＣはＭＶＣサポートを含むが、Ｈ．２６４／ＡＶＣに対する現在のＭＶＣ拡張は、他のビデオコード化規格に対して幾つかの非効率性を含んでいる場合がある。更に、以下でより詳細に説明されるように、Ｈ．２６４／ＡＶＣから今度のＨＥＶＣ規格などの他のコード化規格へのＭＶＣの直接インポートは、実現可能でない可能性がある。本開示の技法は、一般に、ＭＶＣと関係するＮＡＬユニット、ＭＶＣと関係するパラメータセットなどの形成に関する。本開示の技法は、任意の特定のコード化規格に限定されないが、本開示の特定の技法は、今度のＨＥＶＣ規格用の効率的なＭＶＣコード化を可能にすることができる。
一例として、Ｈ．２６４／ＭＶＣ規格は１０２４個までのビューをサポートし、ＮＡＬユニットヘッダ内のビュー識別子（ｖｉｅｗ＿ｉｄ）を使用して、ＮＡＬユニットが属するビューを識別する。ビューＩＤは１０ビットの長さなので、ビューＩＤの値により１０００個を超える異なるビューを一意に識別することができる。しかしながら、多くの３次元（３Ｄ）ビデオアプリケーションは、かなり少ないビューしか必要としない。更に、ビュー合成を使用してより多くの（コード化を必要としない）ビューを生成する３Ｄビデオアプリケーションには、より少ないビューしか必要とされない可能性がある。ＭＶＣ／ＡＶＣ拡張によれば、ＮＡＬユニットヘッダは、常に提供される１０ビットのビューＩＤを含む。ビューＩＤは、ＮＡＬユニットヘッダ用のビットの数を実質的に増加させる可能性があり、ＮＡＬユニットヘッダはビットストリームの比較的大きな部分を占める。
本開示の態様によれば、ビュー順序インデックス（「ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ」又は「ｖｉｅｗ＿ｉｄｘ」）は、ＮＡＬユニットヘッダの一部として通知することができる。即ち、ビュー順序インデックスをＮＡＬユニットヘッダの一部として、ビデオエンコーダ２０は符号化し送信することができ、ビデオデコーダ３０は受信し復号することができる。比較の目的で、ビュー順序インデックスは、Ｈ．２６４／ＡＶＣに対するＭＶＣ拡張（以下「ＭＶＣ／ＡＶＣ」）のＮＡＬユニットヘッダ内に通知されたビューＩＤと置き換わることができる。即ち、例えば、ｖｉｅｗ＿ｉｄｘはＮＡＬユニットヘッダ内のｖｉｅｗ＿ｉｄと置き換わることができる。
上記で説明されたように、ＭＶＣはビュー間予測を提供する。従って、参照用に使用されるビュー（即ち、他のビューを予測するために使用されるビュー）は、上記で説明されたように、参照するビューよりも前のコード化順序で発生しなければならない。ビュー順序は、一般に、アクセスユニット内のビューの順序付けを記述し、ビュー順序インデックスは、そのアクセスユニットのビュー順序における特定のビューを識別する。即ち、ビュー順序インデックスは、アクセスユニットの対応するビューコンポーネントの復号順序を記述する。
ＳＰＳは、ビュー用のビューＩＤ（ｖｉｅｗ＿ｉｄｓ）とビュー用のビュー順序インデックスとの間の関係を提供することができる。本開示の態様によれば、ビュー順序インデックスとＳＰＳ内のデータとを使用して、ビデオエンコーダ２０及びビデオデコーダ３０は、ＮＡＬユニットヘッダ内のＭＶＣ／ＡＶＣの１０ビットのｖｉｅｗ＿ｉｄをビュー順序インデックスと置き換えることができる。例えば、ビュー順序インデックスは、（例えば、２ビット、３ビットなどの）１０よりもかなり少ないビットを含む場合がある。ビュー順序インデックスとビューＩＤとの間の関係は、幾つかの関連する信号伝達を必要とする場合があるが、例えば、ＳＰＳでは、ＮＡＬユニットヘッダは、通常そのような信号伝達よりもはるかに多いビットを消費する。従って、ＮＡＬユニットヘッダのサイズを縮小することによって、本開示の技法は、ＭＶＣ／ＡＶＣの方式上でビット節約を実現することができる。関係を示す情報は、例えば、ビュー順序インデックスの値にｖｉｅｗ＿ｉｄ値をマッピングするマッピングテーブルを備えることができる。このようにして、ビデオデコーダ３０は、単にＮＡＬユニットヘッダ内のビュー順序インデックスの値を受信し、マッピングテーブルを使用してＮＡＬユニットのｖｉｅｗ＿ｉｄを決定することができる。
本開示の幾つかの態様によれば、ビュー順序インデックスは、それがＨＥＶＣベースビューか、プロファイルか、又はＭＶＣビットストリーム内でサポートされるビューの数かに応じて、動的な長さを有することができる。例えば、更なるビット節約は、２つだけのビューを含む（即ち、ステレオビデオ用の）ＭＶＣストリーム内で実現することができる。この例では、ビデオデコーダ３０が常に第２のビュー（例えば、ビュー１）を復号する前に第１のビュー（例えば、ビュー０）を復号するので、ビュー順序インデックスは必要とされない可能性がある。即ち、本開示の幾つかの態様によれば、ベースビューは、０のデフォルトのビュー順序インデックスを割り当てることができ、従って通知される必要がない。
加えて、上述のビュー順序インデックスを使用するとき、ＭＶＣ／ＡＶＣベースビューのベースビュー（例えば、ビュー０）のＮＡＬユニットの直前に含まれるプレフィックスＮＡＬユニットは、もはや必要とされない可能性がある。例えば、ビュー順序インデックスがベースビューについて常に０であり得るし、ベースビューの時間位置が（ＭＣＶ／ＡＶＣ内に含まれる）ｔｅｍｐｏｒａｌ＿ｉｄを使用して決定できるので、ビデオデコーダ３０は、ベースビュー用のプレフィックスＮＡＬユニットをもはや必要としない可能性がある。従って、ビデオエンコーダ２０は、ＮＡＬユニットヘッダ内のｔｅｍｐｏｒａｌ＿ｉｄを通知することができ、ｔｅｍｐｏｒａｌ＿ｉｄは、ビデオデコーダ３０に必要な情報の全てを提供して、特定のビューコンポーネントを特定のビューと適切な時間位置とに関連付けることができる。
新ＨＥＶＣ規格に関して、本開示の態様によれば、プレフィックスＮＡＬユニットがＨＥＶＣ準拠ベースビューに使用されないとき、ＨＥＶＣベースビューのＮＡＬユニットヘッダにフラグを追加することができる。フラグは、（その特定のＮＡＬユニットの）ビューコンポーネントが、ビットストリームの他のビューのビューコンポーネントをインター予測するために使用できるかどうかを示すためのみに使用することができる。
加えて、本開示の態様によれば、ビュー順序インデックスは、（例えば、ピクチャの表示順序を示す）ピクチャ順序カウント（ＰＯＣ）値又は（例えば、ピクチャの復号順序を示す）フレーム値とともに使用されて、ビットストリームのビューコンポーネントを識別することができる。
別の例として、上記のように、ＭＶＣ／ＡＶＣのＳＰＳは、ビューごとに別々に依存ビュー（即ち、予測の目的で１つ又は複数の他のビューによって参照されるビュー）を示すことができる。例えば、ＭＶＣ／ＡＶＣのＮＡＬユニットヘッダ内に含まれるａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは、ＮＡＬユニットが開ＧＯＰランダムアクセスポイントとして使用できるアンカーピクチャに属するかどうかを示すために使用することができる。ＭＶＣ／ＡＶＣでは、上述のように、ビュー依存性は、アンカーピクチャと非アンカーピクチャに異なって通知される。従って、ビューごとに通知される依存ビューについて、４つの異なるカテゴリが考えられ、それらの各々は、ピクチャがアンカーピクチャ用かどうか、又はピクチャがリスト０用かもしくはリスト１用かによって差別化される。そのような設計は、そのような分界を維持するために比較的大きい数のビットを必要とするだけでなく、参照ピクチャリストの構築を複雑にする場合もある（例えば、各カテゴリは参照リストの構築及び並べ替えの間維持されなければならない）。
本開示の態様によれば、ビューコンポーネントがアンカーピクチャ用か又は非アンカーピクチャ用かにかかわらず、ビデオエンコーダ２０は、通常全てのビューコンポーネントについてＭＶＣビットストリームのビューごとにビュー依存性を通知することができる（ビデオデコーダ３０はそのような信号伝達を受信することができる）。幾つかの例では、ＳＰＳは、ＮＡＬユニットヘッダ内の情報に依存するのではなく、ビューコンポーネント用のビュー依存性の指示を含む。このようにして、ビデオエンコーダ２０及びビデオデコーダ３０は、ＭＶＣ／ＡＶＣのＮＡＬユニットヘッダ内で使用されるａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇを使用しない場合がある。
通知された依存ビューのビューコンポーネントは、リスト０とリスト１の両方で参照ピクチャとして使用することができる。加えて、リスト０及びリスト１についての参照ピクチャリストの構築及び参照ピクチャリストの並べ替えは、アンカーピクチャ及び非アンカーピクチャへの通常信号伝達に基づく場合もある。幾つかの例では、シーケンスレベル、補足強調情報（ＳＥＩ）メッセージは、非アンカーピクチャがアンカーピクチャとは異なるビュー依存性を有するときを示すために使用することができる。
従って、本開示の特定の態様は、ＭＶＣ／ＡＶＣのアンカーピクチャ／非アンカーピクチャとリスト０／リスト１との信号伝達差異を削除すること、それによりビットストリームを簡略化すること、及び参照ピクチャリストの構築に関する。例えば、本開示の態様によれば、ビデオデコーダ３０は、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を受信することができる。即ち、ビデオデコーダ３０は、ビューのアンカーピクチャ用及び同様のビューの非アンカーピクチャ用のビュー依存性を示す参照ビュー情報を受信することができる。上述のように、参照ビュー情報は、例えば、各参照ビューに関連する（アクセスユニット内のビューの復号順序を示す）ビュー順序インデックスを含むことができる。
加えて、特定のビューの（アクセスユニットの）特定のピクチャを復号するとき、ビデオデコーダ３０は、特定のピクチャと同じアクセスユニットから、及び参照ビュー情報によって示された参照ビューからの参照候補（例えば、特定のピクチャがそれから予測できるビューコンポーネント）を含むことができる。幾つかの例では、ビデオデコーダ３０は、参照候補の数が参照ビューの数と等しくなるように、各参照ビューから参照ピクチャリストに参照候補を追加することができる。加えて、ビデオデコーダ３０は、リスト１、リスト０、又は両方のいずれかに参照候補を追加することができる。次いで、ビデオデコーダ３０は、参照ピクチャリスト内の参照ピクチャのうちの１つに基づいて、特定のピクチャを復号することができる。
更に別の例として、上述のように、ｐｒｉｏｒｉｔｙ＿ｉｄは、ＭＶＣ／ＡＶＣ準拠ビットストリームのＮＡＬユニットヘッダに含まれる。ｐｒｉｏｒｉｔｙ＿ｉｄは、特定のＮＡＬユニットの優先度の指示を提供する。より詳細には、各ＮＡＬユニットは、慣例的に優先度値を割り当てられる。優先度値Ｐに対する要求に応答して、Ｐ以下の優先度値を有する全てのＮＡＬユニットが提供される（即ち、Ｐより大きいｐｒｉｏｒｉｔｙ＿ｉｄ値を有するＮＡＬユニットは廃棄される）。このようにして、より低い優先度値がより高い優先度を指定する。例えば、ビュー内の時間スケーラビリティについて、同じビューのＮＡＬユニットが異なる優先度を有する場合があることを理解されたい。
この優先度は、スケーラビリティの目的で使用することができる。例えば、（比較的低い品質の表示を形成するという犠牲を払って）最小量の帯域幅を消費するビデオデータを取り出すために、ビデオデコーダ３０（又は、より一般的に宛先機器１４）は、最も高い優先度のＮＡＬユニットだけが、発信源機器１２／ビデオエンコーダ２０などの発信源から送信されることを要求することができ、ｐｒｉｏｒｉｔｙ＿ｉｄはより低い優先度のＮＡＬユニットをフィルタ処理して除くために使用することができる。幾つかの例では、サーバ／コンテンツ配信ネットワーク３４のルータ３６は、ｐｒｉｏｒｉｔｙ＿ｉｄを使用して、比較的高い優先度のＮＡＬユニットをより低い優先度のＮＡＬユニットから分離することができる。（より高い帯域幅の消費という犠牲を払って）比較的高い品質の表示を生成するために、ビデオデコーダ３０は、例えば、より高い優先度値を指定することによって、より低い優先度を有するＮＡＬユニットがより高い優先度のＮＡＬユニットを補足することを要求することができる。
本開示の態様によれば、ＮＡＬユニットヘッダ内のｐｒｉｏｒｉｔｙ＿ｉｄを通知するのではなく、ビデオエンコーダ２０はＳＰＳ内のｐｒｉｏｒｉｔｙ＿ｉｄ値を提供することができる。即ち、特定の時間レベルを有するビューごとのｐｒｉｏｒｉｔｙ＿ｉｄは、シーケンスレベルで通知することができる。加えて、本開示の態様によれば、単一パスの適応は、その適応に関連する信号伝達コンテキストが知られている限り可能であり得る。
上記で説明されたように、幾つかの例では、ビットストリームを宛先機器１４に転送することを担当することができるルータ３６は、ＳＰＳのｐｒｉｏｒｉｔｙ＿ｉｄ値を使用して特定のビューをフィルタ処理することができる。即ち、ルータ３６は完全なビットストリームを受信することができるが、宛先機器１４によって指定された優先度値以下のｐｒｉｏｒｉｔｙ＿ｉｄ値を有するＮＡＬユニットを含むサブビットストリームを抽出し、そのサブビットストリームを宛先機器に転送することができる。
更に別の例では、ＭＶＣ／ＡＶＣによれば、単一パスの適応は、ＮＡＬユニットヘッダ内の６ビットのｐｒｉｏｒｉｔｙ＿ｉｄを必要とする。例えば、上記のように、ＭＶＣ／ＡＶＣのＳＰＳは、ビュースケーラビリティ用のビューレベル指示を含むことができる。即ち、ＭＶＣビットストリームの各ビューは、階層的にコード化し、数値のビューレベルを割り当てることができる。
本開示の態様によれば、ＳＰＳはビューレベル情報を含むことができる。従って、宛先機器１４がサーバ／コンテンツ配信ネットワーク３４からビューレベルＶのビューを要求するとき、宛先機器１４は、Ｖ以下のビューレベルを有する全てのビューを受信する。上述のｐｒｉｏｒｉｔｙ＿ｉｄ値の使用と同様に、サーバ／コンテンツ配信ネットワーク３４のルータ３６は、ビューレベルを使用して、クライアントが要求したビューレベル以下のビューレベルを有するビュー用のデータを含むサブビットストリームを抽出することができる。
本開示の他の態様は、より高いプロファイルのサブビットストリームをより低いプロファイルに準拠するビットストリームに変換する軽量トランスコード化プロセスに関する。そのようなトランスコード化プロセスは、例えば、サーバ／コンテンツ配信ネットワーク３４によって実行することができる。本開示の態様によれば、トランスコード化は以下のステップで実行することができる。
１）ＳＰＳ内のｖｉｅｗ＿ｉｄｘ値とｖｉｅｗ＿ｉｄ値とを再マッピングする。
２）短い長さのｖｉｅｗ＿ｉｄｘでＮＡＬユニットヘッダをサイズ変更する。
例えば、自由視点テレビジョン（ＦＶＴ）プロファイルのビットストリームが、ビューごとにｖｉｅｗ＿ｉｄｘがｖｉｅｗ＿ｉｄに等しい３２個のビューを含んでいると仮定されたい。この例では、ビットストリームは、０、４、８、１２、１６、２０、２４、２８に等しいｖｉｅｗ＿ｉｄｘを有する８個のビューを含んでいるサブビットストリームを有する。このサブビットストリームは、ｖｉｅｗ＿ｉｄ値が０及び４である２つのビューを含んでいるサブビットストリームを更に含む。
本開示の態様によれば、８ビューのサブビットストリーム用のｖｉｅｗ＿ｉｄｘ値は、下記の表３に従って再マッピングすることができる。
本開示の態様によれば、２ビューのサブビットストリーム用のｖｉｅｗ＿ｉｄｘ値は、下記の表４に従って再マッピングすることができる。
本開示の態様によれば、ＮＡＬユニットヘッダ内のｖｉｅｗ＿ｉｄｘは、下記の表５に従って再マッピングすることができる。
代替として、上述の軽量トランスコード化プロセスは、準拠するビットストリームがビュー順序インデックス内のギャップを許す場合、ｖｉｅｗ＿ｉｄｘの再マッピングを必要としない場合がある。
図２は、マルチビュービットストリームを符号化するための、本開示に記載された技法を実施できる例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は符号化されるべきビデオデータを受信する。図２の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６と、参照ピクチャメモリ６４とを含む。次に、モード選択ユニット４０は、動き／視差推定ユニット４２と、動き補償ユニット４４と、イントラ予測ユニット４６と、パーティションユニット４８とを含む。
ビデオブロック復元のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。ブロック境界をフィルタ処理して、復元されたビデオからブロッキネスアーティファクトを除去するデブロッキングフィルタ（図２に図示せず）も含むことができる。必要な場合、デブロッキングフィルタは、通常、加算器６２の出力をフィルタ処理することになる。デブロッキングフィルタに加えて、（ループ内又はループ後の）追加ループフィルタも使用することができる。そのようなフィルタは、簡潔のために示されていないが、必要な場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理することができる。
モード選択ユニット４０は、１つ又は複数のビューからブロックの形態で未加工のビデオデータを受信することができる。モード選択ユニット４０は、例えば、誤差結果に基づいてコード化モード、即ちイントラ又はインターのうちの１つを選択し、得られたイントラコード化ブロック又はインターコード化ブロックを、加算器５０に提供して残差ブロックデータを生成し、加算器６２に提供して参照ピクチャとして使用するための符号化ブロックを復元することができる。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、パーティション情報、及び他のそのようなシンタックス情報などのシンタックス要素を、エントロピー符号化ユニット５６に提供する。
動き／視差推定ユニット４２と動き補償ユニット４４は高度に統合できるが、概念的な目的のために別々に示される。動き／視差推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在ピクチャ（又は他のコード化単位）内のコード化されている現在ブロックに対する参照ピクチャ（又は他のコード化単位）内の予測ブロックに対する、現在ピクチャ内のビデオブロックのＰＵの変位を示すことができる。
予測ブロックは、絶対値差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、又は他の差分メトリックによって決定できる画素差分に関して、コード化されるべきブロックに厳密に一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ２０は、参照ピクチャバッファと呼ばれる場合もある参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数画素位置の値を計算することができる。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間することができる。従って、動き／視差推定ユニット４２は、フル画素位置及び分数画素位置に対する動き探索を実行し、分数画素精度で動きベクトルを出力することができる。
動き／視差推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス内のビデオブロックのＰＵ用の動きベクトルを計算する。動き推定／視差ユニット４２はまた、ビュー間予測を実行するように構成することができ、その場合、動き推定／視差ユニット４２は、あるビューのピクチャ（例えば、ビュー０）のブロックと、参照ビューピクチャ（例えば、ビュー１）の対応するブロックとの間の変位ベクトルを計算することができる。一般に、動き／視差ベクトルについてのデータは、参照ピクチャリストと、参照ピクチャリストへのインデックス（ｒｅｆ＿ｉｄｘ）と、水平成分と、垂直成分とを含むことができる。参照ピクチャは、第１の参照ピクチャリスト（リスト０）、第２の参照ピクチャリスト（リスト１）、又は合成参照ピクチャリスト（リストＣ）から選択することができ、それらの各々は、参照ピクチャメモリ６４に記憶された１つ又は複数の参照ピクチャを識別する。合成リストに関して、ビデオエンコーダ２０は、２つのリスト（即ち、リスト０及びリスト１）から合成リストに挿入（追加）されるべき項目を交互に選択する。項目が合成リスト内にすでに入れられているとき、ＰＯＣ数を検査することによって、ビデオエンコーダ２０は、その項目を再び挿入することはできない。各リスト（即ち、リスト０又はリスト１）について、ビデオエンコーダ２０は、参照インデックスの昇順に基づいて項目を選択することができる。
動き／視差推定ユニット４２は、参照ピクチャの予測ブロックを識別する動き／視差ベクトルを生成し、エントロピー符号化ユニット５６と動き補償ユニット４４とに送ることができる。即ち、動き／視差推定ユニット４２は、予測ブロックを含んでいる参照ピクチャリストを識別する動きベクトルデータと、予測ブロックのピクチャを識別する参照ピクチャリストへのインデックスと、識別されたピクチャ内の予測ブロックの位置を特定する水平成分及び垂直成分とを生成し、送ることができる。
動き補償ユニット４４によって実行される動き補償は、動き／視差推定ユニット４２によって決定された動き／視差ベクトルに基づいて、予測ブロックを取得又は生成することに関与することができる。この場合も、幾つかの例では、動き／視差推定ユニット４２と動き補償ユニット４４は機能的に統合することができる。現在ビデオブロックのＰＵ用の動きベクトルを受信すると、動き補償ユニット４４は、参照ピクチャリストのうちの１つにおいて動きベクトルが指す予測ブロックの位置を特定することができる。
加算器５０は、以下で説明されるように、コード化されている現在ビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き／視差推定ユニット４２は、ルーマ成分に対して動き推定を実行し、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際に、ビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成することができる。
イントラ予測ユニット４６は、上述のように、動き／視差推定ユニット４２及び動き補償ユニット４４によって実行されるインター予測の代替として、現在ブロックをイントラ予測することができる。詳細には、イントラ予測ユニット４６は、現在ブロックを符号化するために使用するイントラ予測モードを決定することができる。幾つかの例では、イントラ予測ユニット４６は、例えば、別個の符号化パスの間、様々なイントラ予測モードを使用して現在ブロックを符号化することができ、イントラ予測ユニット４６（又は、幾つかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択することができる。
例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードについてのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択することができる。レート歪み分析は、一般に、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量、及び符号化ブロックを生成するために使用されるビットレート（即ち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロック用の最良のレート歪み値を呈するかを判断するために、様々な符号化ブロック用の歪み及びレートから比率を計算することができる。
ブロック用のイントラ予測モードを選択した後、イントラ予測ユニット４６は、ブロック用に選択されたイントラ予測モードを示す情報を、エントロピー符号化ユニット５６に提供することができる。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化することができる。ビデオエンコーダ２０は、（コードワードマッピングテーブルとも呼ばれる）複数のイントラ予測モードインデックステーブル及び複数の修正されたイントラ予測モードインデックステーブルと、様々なブロック用の符号化コンテキストの定義と、最確イントラ予測モードの指示とを含む送信されたビットストリーム構成データの中に、コンテキストの各々について使用する、イントラ予測モードインデックステーブルと修正されたイントラ予測モードインデックステーブルとを含めることができる。
ビデオエンコーダ２０は、コード化されている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって、残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つ又は複数の構成要素を代表する。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を実行することができる。ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用することができる。いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報を画素値領域から、周波数領域などの変換領域に変換することができる。
変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送ることができる。量子化ユニット５４は、変換係数を量子化してビットレートを更に低減する。量子化プロセスは、係数の一部又は全部に関連するビット深さを低減することができる。量子化の程度は、量子化パラメータを調整することによって修正することができる。幾つかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行することができる。代替として、エントロピー符号化ユニット５６が走査を実行することができる。
量子化の後、エントロピー符号化ユニット５６は、量子化変換係数をエントロピーコード化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型二値算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型二値算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化又は別のエントロピーコード化技法を実行することができる。コンテキストベースのエントロピーコード化の場合、コンテキストは近接ブロックに基づく場合がある。エントロピー符号化ユニット５６によるエントロピーコード化の後、符号化ビットストリームは、別の機器（例えば、ビデオデコーダ３０）に送信されるか、又は後で送信するかもしくは取り出すためにアーカイブすることができる。
逆量子化ユニット５８及び逆変換処理ユニット６０は、それぞれ逆量子化及び逆変換を適用して、例えば、参照ブロックとして後で使用するために、画素領域内の残差ブロックを復元する。動き補償ユニット４４は、残差ブロックを参照ピクチャメモリ６４のピクチャのうちの１つの予測ブロックに加算することによって、参照ブロックを計算することができる。動き補償ユニット４４はまた、復元された残差ブロックに１つ又は複数の補間フィルタを適用して、動き推定において使用するサブ整数画素値を計算することができる。加算器６２は、復元された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための復元されたビデオブロックを生成する。復元されたビデオブロックは、後続ピクチャ内のブロックをインターコード化するために、動き／視差推定ユニット４２及び動き補償ユニット４４によって参照ブロックとして使用することができる。
ビデオエンコーダ２０は、上述のように、幾つかのシンタックス要素を生成することができ、それらはエントロピー符号化ユニット５６又はビデオエンコーダ２０の別の符号化ユニットによって符号化することができる。幾つかの例では、ビデオエンコーダ２０は、上述のように、ＭＶＣビットストリーム用のシンタックス要素を生成し符号化することができる。
上記のように、ビュー識別子はＮＡＬユニットヘッダ内に含まれて、ＮＡＬユニットが属するビューを識別することができる。ビューＩＤは、ＮＡＬユニットヘッダ用のビットの数を実質的に増加させる可能性があり、ＮＡＬユニットヘッダはビットストリームの比較的大きな部分を占める。本開示の態様によれば、ビデオエンコーダ２０は、ＮＡＬユニットヘッダの一部としてビュー順序インデックスを通知することができる。即ち、ビデオエンコーダ２０は、通常ＮＡＬユニットヘッダ内に通知できるビューＩＤをビュー順序インデックスと置き換えることができる。ビュー順序インデックスは、アクセスユニットの対応するビューコンポーネントの復号順序を記述することができる。ビュー順序インデックスは、ＰＯＣ値又はフレーム値とともに使用されて、ビットストリームのビューコンポーネントを識別することができる。ビデオエンコーダ２０はまた、ビュー用のビューＩＤとビュー用のビュー順序インデックスとの間の関係の指示を提供するＳＰＳを生成することができる。例えば、ビデオエンコーダ２０は、ｖｉｅｗ＿ｉｄの値をビュー順序インデックスの値にマッピングするマッピングテーブルを生成し、そのようなマッピングテーブルをＳＰＳ内に含めることができる。他の例では、ビデオエンコーダ２０は、ビューＩＤとビュー順序インデックスとの間の関係を、代替の方式で示すことができる。
ビデオエンコーダ２０はまた、通常、ベースビューの直前に含むことができるプレフィックスＮＡＬユニットの符号化を回避することができる。むしろ、ビデオエンコーダ２０は、ＮＡＬユニットヘッダ内のｔｅｍｐｏｒａｌ＿ｉｄを通知することができ、ｔｅｍｐｏｒａｌ＿ｉｄは、ビデオデコーダ３０に必要な情報の全てを提供して、（例えば、０のデフォルトのベースビュー順序インデックスの場合）特定のビューコンポーネントを特定のビューと適切な時間位置とに関連付けることができる。幾つかの例では、ビデオエンコーダ２０は、ベースビューのＮＡＬユニットヘッダにフラグを追加して、（その特定のＮＡＬユニットの）ビューコンポーネントがビットストリームの他のビューのビューコンポーネントをインター予測するために使用できるかどうかを示すことができる。
本開示の態様によれば、ビューコンポーネントがアンカーピクチャ用か又は非アンカーピクチャ用かにかかわらず、かつビューコンポーネントがリスト０に属するか又はリスト１に属するかにかかわらず、ビデオエンコーダ２０は、通常全てのビューコンポーネントについて、ビューごとにビュー依存性を通知することができる。幾つかの例では、ビデオエンコーダ２０は、アンカーピクチャ用と非アンカーピクチャ用とで異なるビュー依存性を識別する、ＳＰＳ内の指示を含むことができる。
本開示の他の態様によれば、ＮＡＬユニットヘッダ内のｐｒｉｏｒｉｔｙ＿ｉｄを通知するのではなく、ビデオエンコーダ２０はＳＰＳ内のｐｒｉｏｒｉｔｙ＿ｉｄ値を提供することができる。即ち、特定の時間レベルを有するビューごとのｐｒｉｏｒｉｔｙ＿ｉｄは、シーケンスレベルで通知することができる。加えて、本開示の態様によれば、単一パスの適応は、その適応に関連する信号伝達コンテキストが知られている限り可能であり得る。加えて、ビデオエンコーダ２０は、ＳＰＳ内のビューレベル情報を通知することができる。
図３は、マルチビュービットストリームを復号するための、本開示に記載された技法を実施できる例示的なビデオデコーダ３０を示すブロック図である。図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット８０と、動き補償ユニット８２及びイントラ予測ユニット８４を有する予測ユニット８１と、逆量子化ユニット８６と、逆変換ユニット８８と、加算器９０と、参照ピクチャメモリ９２とを含む。
復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化ビデオのビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット８０は、ビットストリームをエントロピー復号して、量子化係数と、動きベクトルと、他のシンタックス要素とを生成する。エントロピー復号ユニット８０は、予測ユニット８１に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルで、シンタックス要素を受信することができる。
例えば、ビデオデコーダ３０は、ＮＡＬユニットに記憶されたデータのタイプ（例えば、ＶＣＬデータ及び非ＶＣＬデータ）を識別するＮＡＬユニットヘッダを有するＮＡＬユニットの数を受信することができる。パラメータセットは、上述のＳＰＳ、ＰＰＳ、又は他のパラメータセットなどのシーケンスレベルヘッダ情報を含んでいる場合がある。
本開示の態様によれば、ビデオデコーダ３０は、ＮＡＬユニットヘッダの一部としてビュー順序インデックスを受信することができる。即ち、ビデオデコーダ３０は、通常ＮＡＬユニットヘッダ内で通知できるビューＩＤではなく、ビュー順序インデックスを受信することができる。ビュー順序インデックスは、アクセスユニットの対応するビューコンポーネントの復号順序を記述することができる。加えて、ビデオデコーダ３０は、受信されたビュー順序インデックスと対応するビューＩＤとの間の関係を示す情報を受信することができる。その情報は、例えば、ｖｉｅｗ＿ｉｄの値をビュー順序インデックスの値にマッピングするマッピングテーブルを含むことができる。このようにして、ビデオデコーダ３０は、単にＮＡＬユニットヘッダ内のビュー順序インデックスの値を受信し、マッピングテーブルを使用してＮＡＬユニットのｖｉｅｗ＿ｉｄを決定することができる。幾つかの例では、その関係情報はＳＰＳ内で受信することができる。ビデオデコーダ３０はまた、ＰＯＣ値又はフレーム値（フレーム番号又はｆｒａｍｅ＿ｎｕｍ）とともにビュー順序インデックスを使用して、ビットストリームのビューコンポーネントを識別することができる。
幾つかの例では、本開示の態様によれば、ビデオデコーダ３０は、通常ベースビューの直前に含むことができるプレフィックスＮＡＬユニットを受信することはできない。むしろ、ビデオデコーダ３０は、ＮＡＬユニットヘッダ内のｔｅｍｐｏｒａｌ＿ｉｄを受信することができ、ｔｅｍｐｏｒａｌ＿ｉｄは、ビデオデコーダ３０に必要な情報の全てを提供して、（例えば、０のデフォルトのベースビュー順序インデックスの場合）特定のビューコンポーネントを特定のビューと適切な時間位置とに関連付けることができる。幾つかの例では、ビデオデコーダ３０は、ベースビューのＮＡＬユニットヘッダ内のフラグを受信して、（その特定のＮＡＬユニットの）ビューコンポーネントがビットストリームの他のビューのビューコンポーネントをインター予測するために使用できるかどうかを示すことができる。
本開示の態様によれば、ビューコンポーネントがアンカーピクチャ用か又は非アンカーピクチャ用かにかかわらず、かつビューコンポーネントがリスト０に属するか又はリスト１に属するかにかかわらず、ビデオデコーダ３０はまた、通常全てのビューコンポーネントについて、ビューごとにビュー依存性を受信することができる。幾つかの例では、ビデオデコーダ３０は、アンカーピクチャ用と非アンカーピクチャ用とで異なるビュー依存性を識別するＳＰＳ内の指示を受信することができる。
本開示の他の態様によれば、ＮＡＬユニットヘッダ内のｐｒｉｏｒｉｔｙ＿ｉｄを通知するのではなく、ビデオエンコーダ２０はＳＰＳ内のｐｒｉｏｒｉｔｙ＿ｉｄ値を提供することができる。加えて、本開示の態様によれば、単一パスの適応は、その適応に関連する信号伝達コンテキストが知られている限り可能であり得る。ビデオデコーダ３０はまた、ＳＰＳ内の特定のビューレベル情報を受信することができる。
ビデオスライスがイントラコード化（Ｉ）スライスとしてコード化されるとき、予測ユニット８１のイントラ予測ユニット８４は、通知されたイントラ予測モードと、現在ピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロック用の予測データを生成することができる。ピクチャがインターコード化された（即ちＢ、Ｐ又はＧＰＢ）スライスとしてコード化されるとき、予測ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロック用の予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つの内部の参照ピクチャのうちの１つから生成することができる。ビデオデコーダ３０は、参照ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構築技法を使用して、参照ピクチャリスト、リスト０及びリスト１（又は合成リスト、リストＣ）を構築することができる。
動き補償ユニット８２は、動きベクトルと他のシンタックス要素とを解析することによって現在ビデオスライスのビデオブロック用の予測情報を決定し、その予測情報を使用して、復号されている現在ビデオブロック用の予測ブロックを生成する。例えば、動き補償ユニット８２は、受信されたシンタックス要素の幾つかを使用して、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えば、イントラ予測又はインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）と、スライス用の参照ピクチャリストのうちの１つ又は複数についての構築情報と、スライスの各インター符号化ビデオブロック用の動きベクトルと、スライスの各インターコード化ビデオブロック用のインター予測ステータスと、現在ビデオスライス内のビデオブロックを復号するための他の情報とを決定する。
逆量子化ユニット８６は、ビットストリーム内で提供され、エントロピー復号ユニット８０によって復号された量子化変換係数を逆量子化（inverse quantize）、即ち逆量子化（de-quantize）する。逆量子化プロセスは、ビデオスライス内のビデオブロックごとにビデオエンコーダ２０によって計算される量子化パラメータを使用して量子化の程度を決定することと、同様に、適用すべき逆量子化の程度を決定することとを含むことができる。
逆変換処理ユニット８８は、画素領域において残差ブロックを生成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用する。本開示の態様によれば、逆変換処理ユニット８８は、変換が残差データに適用された方式を判断することができる。即ち、例えば、逆変換処理ユニット８８は、受信されたビデオデータのブロックに関連する残差ルーマサンプルと残差クロマサンプルとに、変換（例えば、ＤＣＴ、整数変換、ウェーブレット変換、又は１つ以上の他の変換）が適用された方式を表すＲＱＴを判断することができる。
動き補償ユニット８２が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロック用の予測ブロックを生成した後、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを、動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つ又は複数の構成要素を代表する。必要な場合、ブロッキネスアーティファクトを除去するために、デブロッキングフィルタも適用されて、復号されたブロックをフィルタ処理することができる。画素遷移を平滑化するか、又はさもなければビデオ品質を改善するために、（コード化ループ内又はコード化ループ後の）他のループフィルタも使用することができる。次いで、所与のピクチャ内の復号されたビデオブロックは、その後の動き補償に使用される参照ピクチャを記憶する参照ピクチャメモリ９２に記憶される。参照ピクチャメモリ９２はまた、図１の表示装置３２などの表示装置上に後で提示するための、復号されたビデオを記憶する。
図４は、例示的なＭＶＣの予測パターンを示す概念図である。図４の例では、８個のビューが示され、ビューごとに１２個の時間位置が示される。一般に、図４内の各行はビューに対応し、各列は時間位置を示す。ビューの各々は、他のビューに対する相対的なカメラ位置を示すために使用できるビュー識別子（「ｖｉｅｗ＿ｉｄ」）を使用して識別することができる。図４に示された例では、ビューＩＤは「Ｓ０」〜「Ｓ７」として示されているが、数字のビューＩＤも使用することができる。加えて、時間位置の各々は、ピクチャの表示順序を示すピクチャ順序カウント（ＰＯＣ）値を使用して識別することができる。図４に示された例では、ＰＯＣ値は「Ｔ０」〜「Ｔ１１」として示されている。
ＭＶＣは、Ｈ．２６４／ＡＶＣデコーダによって復号可能である、所謂ベースビューを有し、ステレオビューペアはＭＶＣによってサポートできるが、ＭＶＣは、３Ｄビデオ入力として３つ以上のビューをサポートすることができる。従って、ＭＶＣデコーダを有するクライアントのレンダラは、複数のビューを用いて３Ｄビデオコンテンツを予想することができる。
図４内のピクチャは、対応するピクチャがイントラコード化される（即ち、Ｉフレームである）か、又は一方向に（即ち、Ｐフレームとして）インターコード化されるか、又は複数の方向に（即ち、Ｂフレームとして）インターコード化されるかを指定する、文字を含む影付きブロックを使用して示される。一般に、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照用に矢印の始点のオブジェクトを使用する。例えば、時間位置Ｔ０にあるビューＳ２のＰフレームは、時間位置Ｔ０にあるビューＳ０のＩフレームから予測される。図４に示されたピクチャの各々は、ビューコンポーネントと呼ばれる場合がある。即ち、ビューのビューコンポーネントは、ビューの特定の時間インスタンスに対応する。
シングルビュービデオ符号化の場合と同様に、マルチビュービデオシーケンスのピクチャは、異なる時間位置にあるピクチャに対して予測符号化することができる。例えば、時間位置Ｔ１にあるビューＳ０のｂフレームは、時間位置Ｔ０にあるビューＳ０のＩフレームからそのｂフレームに向けられた矢印を有し、その矢印は、ｂフレームがＩフレームから予測されることを示す。しかしながら、更に、マルチビュービデオ符号化のコンテキストにおいて、ピクチャはビュー間予測することができる。即ち、ビューコンポーネントは、参照用の他のビュー内のビューコンポーネントを使用することができる。ＭＶＣでは、例えば、別のビュー内のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、ＳＰＳのＭＶＣ拡張において通知することができ、インター予測参照又はビュー間予測参照のフレキシブルな順序付けを可能にする、参照ピクチャリストの構築プロセスによって修正することができる。
図４は、ビュー間予測の様々な例を提供する。図４の例では、ビューＳ１のピクチャは、ビューＳ１の異なる時間位置にあるピクチャから予測されるものとして、ならびに同じ時間位置にあるビューＳ０及びビューＳ２のピクチャのピクチャからビュー間予測されるものとして示されている。例えば、時間位置Ｔ１にあるビューＳ１のｂフレームは、時間位置Ｔ０及びＴ２にあるビューＳ１のＢフレームの各々、ならびに時間位置Ｔ１にあるビューＳ０及びビューＳ２のｂフレームから予測される。
図４の例では、大文字「Ｂ」及び小文字「ｂ」は、異なる符号化方法ではなく、ピクチャ間の異なる階層関係を示すものとする。一般に、大文字の「Ｂ」フレームは、小文字の「ｂ」フレームよりも予測階層が比較的高い。図４はまた、異なるレベルの陰影を使用して予測階層における変形形態を示し、より大きい量の陰影の（即ち、比較的暗い）ピクチャは、より少ない陰影を有する（即ち、比較的明るい）ピクチャよりも予測階層が高い。例えば、図４内の全てのＩフレームは完全陰影を用いて示されるが、Ｐフレームはいくぶん明るい陰影を有し、Ｂフレーム（及び小文字のｂフレーム）は、互いに対して様々なレベルの陰影を有するが、Ｐフレーム及びＩフレームの陰影よりも常に明るい。
一般に、階層が比較的高いピクチャが、階層が比較的低いピクチャの復号中に参照ピクチャとして使用できるように、予測階層が比較的高いピクチャは、階層が比較的低いピクチャを復号する前に復号されるべきであるという点で、予測階層はビュー順序インデックスに関係する。ビュー順序インデックスは、アクセスユニット内のビューコンポーネントの復号順序を示すインデックスである。ビュー順序インデックスは、ＳＰＳなどのパラメータセット内で暗示することができる。
このようにして、参照ピクチャとして使用されるピクチャは、その参照ピクチャを参照して符号化されたピクチャを復号する前に復号することができる。ビュー順序インデックスは、アクセスユニット内のビューコンポーネントの復号順序を示すインデックスである。ＭＶＣ／ＡＶＣによれば、ビュー順序インデックスｉごとに、対応するｖｉｅｗ＿ｉｄが通知される。ビューコンポーネントの復号は、ビュー順序インデックスの昇順に従う。全てのビューが提示された場合、ビュー順序インデックスのセットは、０からビューの全数よりも１少ない数まで連続的に順序付けされたセットを備える。
幾つかの例では、全ビットストリームのサブセットが抽出されて、依然ＭＶＣに準拠するサブビットストリームを形成することができる。例えば、サーバによって提供されるサービス、１つ又は複数のクライアントのデコーダの容量、サポート、及び能力、及び／又は、１つ以上のクライアントの選好に基づいて、特定の適用例が必要とする場合がある、多くの可能なサブビットストリームが存在する。例えば、あるクライアントが３つのビューのみを必要とする場合があり、２つのシナリオがあり得る。一例では、あるクライアントは滑らかな観察エクスペリエンスを必要とし、ｖｉｅｗ＿ｉｄ値Ｓ０、Ｓ１、及びＳ２のビューを選好することができ、別の他のクライアントはビュースケーラビリティを必要とし、ｖｉｅｗ＿ｉｄ値Ｓ０、Ｓ２、及びＳ４のビューを選好することができる。これらのサブビットストリームの両方は、独立したＭＶＣビットストリームとして復号することができ、同時にサポートすることができる。
一般に、カメラの場所、方向、及び、異なるビュー間の幾何学的関係は、ビューＩＤ又はビュー順序インデックスから推測することができる。この目的のために、内部と外部の両方のカメラパラメータは、マルチビュー収集情報ＳＥＩメッセージを使用するビットストリーム内に含むことできる。
上記のように、図４は８個のビュー（Ｓ０〜Ｓ７）を示すが、ＭＶＣ／ＡＶＣ拡張は１０２４個までのビューをサポートし、ＮＡＬユニットヘッダ内のｖｉｅｗ＿ｉｄを使用して、ＮＡＬユニットが属するビューを識別する。本開示の態様によれば、ビュー順序インデックスは、ＮＡＬユニットヘッダの一部として通知することができる。即ち、比較の目的で、ビュー順序インデックスは、ＭＶＣ／ＡＶＣ拡張のＮＡＬユニットヘッダ内で通知されるビューＩＤと置き換わることができる。ビュー順序は、一般に、アクセスユニット内のビューの順序付けを記述し、ビュー順序インデックスは、そのアクセスユニットのビュー順序における特定のビューを識別する。即ち、ビュー順序インデックスは、アクセスユニットの対応するビューコンポーネントの復号順序を記述する。
従って、本開示の態様によれば、ＳＰＳは、ビュー用のｖｉｅｗ＿ｉｄとビュー用のビュー順序インデックスとの間の関係を提供することができる。ビュー順序インデックスとＳＰＳ内のデータとを使用して、ビデオエンコーダ２０及びビデオデコーダ３０は、ＮＡＬユニットヘッダ内のＭＶＣ／ＡＶＣの１０ビットのｖｉｅｗ＿ｉｄをビュー順序インデックスによって置き換えることができ、このことはＭＶＣ／ＡＶＣ方式上でビット節約につながる可能性がある。
ビュー用のｖｉｅｗ＿ｉｄとビュー順序インデックスとの間の関係を提供するＳＰＳの一例が、下記の表６に提供される。
表６に示された例では、太字で斜体のシンタックス要素は、ＭＶＣ／ＡＶＣのＳＰＳシンタックスからの逸脱、即ち、ＭＶＣ／ＡＶＣのＳＰＳシンタックスに対する修正を示す。例えば、表６に示されたＳＰＳは、コード化ビデオシーケンス用のビュー間依存関係を指定する。ＳＰＳはまた、コード化ビデオシーケンス用の動作点のサブセット用のレベル値を指定する。コード化ビデオシーケンスによって参照される全てのＳＰＳは、同一であるべきである。しかしながら、ｖｉｅｗ＿ｉｄ［ｉ］によって識別される幾つかのビューは、コード化ビデオシーケンス内に存在しない場合がある。加えて、ＳＰＳによって記述される幾つかのビュー又は時間サブセットは、元のコード化ビデオシーケンスから削除されている場合があり、従って、コード化ビデオシーケンス内に存在しない場合がある。しかしながら、ＳＰＳ内の情報は、残りのビューと時間サブセットとに常に適用される可能性がある。
上記の表６では、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１プラス１の要素は、コード化ビデオシーケンス内のコード化ビューの最大数を指定することができる。ｎｕｍ＿ｖｉｅｗ＿ｍｉｎｕｓ１の値は、両端値を含む０〜３１の範囲内であり得る。幾つかの例では、コード化ビデオシーケンス内のビューの実際の数は、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１プラス１よりも少ない場合がある。ｖｉｅｗ＿ｉｄ［ｉ］要素は、ｉに等しいビュー順序インデックスを有するビューのビュー識別子を指定することができる。ｖｉｅｗ＿ｌｅｖｅｌ［ｉ］要素は、ｉに等しいビュー順序インデックスを有するビューのｖｉｅｗ＿ｌｅｖｅｌを指定することができる。幾つかの例では、予め定義された値（ＶＬ）までのｖｉｅｗ＿ｌｅｖｅｌを有する全てのビューコンポーネントは、ＶＬよりも大きいｖｉｅｗ＿ｌｅｖｅｌを有するいかなるビューコンポーネントも復号せずに、復号できる可能性がある。
本開示の態様によれば、ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［ｉ］要素は、ｉに等しいビュー順序インデックスを有するビューコンポーネントを復号するとき、初期の参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１内のビュー間予測用のビューコンポーネントの数を指定することができる。ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［ｉ］要素の値は、Ｍｉｎ（１５，ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１）よりも大きくない可能性がある。ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［０］の値は、０に等しい場合がある。加えて、本開示の態様によれば、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］要素は、ｉに等しいビュー順序インデックスを有するビューコンポーネントを復号するとき、初期の参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１内のビュー間予測用の第ｊのビューコンポーネントのビュー順序インデックスを指定することができる。ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］の値は、両端値を含む０〜３１の範囲内であり得る。
従って、本開示の様々な態様では、アンカーピクチャ用のビュー依存性と非アンカーピクチャ用のビュー依存性は、もはや別々に維持及び通知する必要はない可能性がある。即ち、ビデオエンコーダ２０及び／又はビデオエンコーダ３０は、アンカーピクチャ用、及び同様の非アンカーピクチャ用に、単一の参照ピクチャリストを使用（又は、２つの参照ピクチャリスト、リスト０とリスト１とを維持）することができる。このようにして、上記の表６に示されたように、ビデオデコーダ３０にビュー依存性を示すために別の信号伝達は必要とされない。むしろ、ＳＰＳは、ビューコンポーネント用にリスト０とリスト１の両方を構築するために使用できるｒｅｆ＿ｖｉｅｗ＿ｉｄｘを含む。
本開示のそのような態様によれば、例えば、ビデオデコーダ３０は、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を受信することができる。即ち、ビデオデコーダ３０は、ビューのアンカーピクチャ用及び同様のビューの非アンカーピクチャ用のビュー依存性を示す参照ビュー情報を受信することができる。特定のビューの（アクセスユニットの）特定のピクチャを復号するとき、次いで、ビデオデコーダ３０は、特定のピクチャと同じアクセスユニットからの、及び参照ビュー情報によって示された参照ビューからの参照候補（例えば、特定のピクチャがそれから予測できるビューコンポーネント）を含むことができる。幾つかの例では、ビデオデコーダ３０は、参照候補の数が参照ビューの数と等しくなるように、各参照ビューから参照ピクチャリストに参照候補を追加することができる。加えて、ビデオデコーダ３０は、リスト１、リスト０、又は両方のいずれかに参照候補を追加することができる。次いで、ビデオデコーダ３０は、参照ピクチャリスト内の参照ピクチャのうちの１つに基づいて、特定のピクチャを復号することができる。
更に、表６によれば、非アンカービューコンポーネント用のビュー間依存性は、もはやアンカービューコンポーネント用のビュー間依存性のサブセットとしてＳＰＳ内に通知することはできない。むしろ、アンカービューのビューコンポーネントは、ビュー３及びビュー４などの２つ以上の他のビューから予測することができ、非アンカービューも、ビュー３及びビュー４のピクチャから予測することができる。更なる制限ビュー依存性制限が非アンカーピクチャに必要である場合、そのような制限は、ＳＥＩメッセージなどの補足信号伝達で提供することができる。
ｎｕｍ＿ｌｅｖｅｌ＿ｖａｌｕｅｓ＿ｓｉｇｎａｌｌｅｄ＿ｍｉｎｕｓ１プラス１要素は、コード化ビデオシーケンスに通知されたレベル値の数を指定することができる。ｎｕｍ＿ｌｅｖｅｌ＿ｖａｌｕｅｓ＿ｓｉｇｎａｌｌｅｄ＿ｍｉｎｕｓ１の値は、両端値を含む０〜６３の範囲内であり得る。ｌｅｖｅｌ＿ｉｄｃ［ｉ］要素は、コード化ビデオシーケンスに通知された第ｉのレベル値を指定することができる。ｎｕｍ＿ａｐｐｌｉｃａｂｌｅ＿ｏｐｓ＿ｍｉｎｕｓ［ｉ］プラス１要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される動作点の数を指定することができる。ｎｕｍ＿ａｐｐｌｉｃａｂｌｅ＿ｏｐｓ＿ｍｉｎｕｓ［ｉ］要素の値は、両端値を含む０〜１０２３の範囲内であり得る。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］［ｊ］要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点のｔｅｍｐｏｒａｌ＿ｉｄを指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｔａｒｇｅｔ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］プラス１要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点用のターゲット出力ビューの数を指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｔａｒｇｅｔ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］要素の値は、両端値を含む０〜１０２３の範囲内であり得る。
ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔａｒｇｅｔ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］［ｋ］要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点用の第ｋのターゲット出力ビューのビュー順序インデックスを指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔａｒｇｅｔ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］［ｋ］要素の値は、両端値を含む０〜３１の範囲内であり得る。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］プラス１は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点に対応するターゲット出力ビューを復号するために必要なビューの数を指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１によって指定されたビューの数は、サブビットストリーム抽出プロセスによって指定されたように、ターゲット出力ビューとターゲット出力ビューが依存するビューとを含むことができる。
別の例では、本開示の態様によれば、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］の値は、同じ時間インスタンス内のビューコンポーネントの復号順序に基づいて、ｉよりも小さくなることが必要とされる可能性がある。
ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］は、（ＭＶＣ／ＡＶＣに対して更なるビット節約のために）サイズを更に縮小することができる。例えば、更なるビット節約は、２つだけのビューを含む（即ち、ステレオビデオ用の）ＭＶＣストリーム内で実現することができる。この例では、ビデオデコーダ３０が常に第２のビュー（例えば、ビュー１）を復号する前に第１のビュー（例えば、ビュー０）を復号できるので、ビュー順序インデックスは必要とされない可能性がある。例示的な縮小されたＳＰＳが下記の表７に提供される。
表７に示された例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ＿ｄｉｆｆ＿ｍｉｎｕｓ１［ｉ］［ｊ］プラスｉ＋１要素は、ｉに等しいビュー順序インデックスを有するビューコンポーネントを復号するとき、初期の参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１内のビュー間予測用の第ｊのビューコンポーネントのビュー順序インデックスを指定することができる。ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ＿ｄｉｆｆ＿ｍｉｎｕｓ１［ｉ］［ｊ］要素の値は、両端値を含む０〜３０−ｉの範囲内であり得る。
他の例も可能である。例えば、（上記の表６及び表７に示された例のように）ＳＰＳ内にビュー依存性を通知するのではなく、ビュー依存性はＰＰＳ内に通知することができる。別の例では、ビュー依存性はＳＰＳ内に通知することができ、ビュー依存性は、更に、シーケンスパラメータセット内に通知されるビュー依存性の範囲内であるＰＰＳ内に通知することができる。例えば、ＳＰＳでは、依存ビュー（例えば、ビュー２）がビュー０とビュー１とに依存していると通知することができ、ＰＰＳでは、依存ビュー（例えば、ビュー２）がビュー０のみに依存していると通知することができる。
本開示の幾つかの態様によれば、参照ピクチャリストの構築及び並べ替えは、ＭＶＣ／ＡＶＣから変更することができる。例えば、本開示の態様によれば、上述のビューインデックス（ｖｉｅｗ＿ｉｄｘ）は、参照ピクチャリストの構築及び／又は並べ替えの間使用することができる。例示的な参照ピクチャリストのＭＶＣ修正シンタックスが、下記の表８と表９とに提供される。
表８及び表９では、ａｂｓ＿ｄｉｆｆ＿ｐｉｃ＿ｎｕｍ＿ｍｉｎｕｓ１、ｌｏｎｇ＿ｔｅｒｍ＿ｐｉｃ＿ｎｕｍ、又はａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１とともにｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃ要素は、参照ピクチャ又はビュー間専用参照コンポーネントのうちのどれが再マッピングされるかを指定することができる。例えば、ａｂｓ＿ｄｉｆｆ＿ｖｉｅｗ＿ｉｄｘ＿ｍｉｎｕｓ１プラス１要素は、参照ピクチャリスト内の現在インデックスに入れるべきビュー間参照インデックスと、ビュー間参照インデックスの予測値との間の絶対差を指定することができる。
別の例では、本開示の態様によれば、ビュー間参照のｉｎｔｅｒ＿ｖｉｅｗ＿ｉｎｄｅｘは、直接通知することができる。そのような参照ピクチャリストのＭＶＣ修正シンタックスが、下記の表１０と表１１とに提供される。
表１０及び表１１では、ビュー間参照ピクチャは、次のようにｉｎｔｅｒ＿ｖｉｅｗ＿ｉｎｄｅｘによって識別することができる。
ここで、ＣｕｒｒＶＯＩｄｘは現在のビューコンポーネントのビュー順序インデックスである。現在ピクチャのＰＯＣ値が与えられると、ＰＯＣ及びＶＯＩｄｘは、ビュー間参照ピクチャを識別するために使用することができる。
幾つかの例では、参照ピクチャリスト構築用のＭＶＣ復号プロセスは、Ｐスライス、ＳＰスライス又はＢスライスごとの復号プロセスの開始時に起動することができる。このプロセスの起動中、現在スライスと同じ値のｖｉｅｗ＿ｉｄｘを有する参照ピクチャのみを考慮することができる。復号された参照ピクチャは、「短期参照用に使用される」又は「長期参照用に使用される」とマークすることができる。短期参照ピクチャは、ｆｒａｍｅ＿ｎｕｍ及びｖｉｅｗ＿ｉｄｘの値によって識別することができ、ビュー間参照ピクチャの場合、更にＰｉｃＯｒｄｅｒＣｎｔ（）によって識別することができる。長期参照ピクチャは長期フレームインデックスを割り当てられ、長期フレームインデックス、ｖｉｅｗ＿ｉｄｘの値によって識別することができ、ビュー間参照ピクチャの場合、更にＰｉｃＯｒｄｅｒＣｎｔ（）によって識別することができる。
参照ピクチャに加えて、（非参照ピクチャであり、参照ピクチャマーキングプロセスの間マークされる可能性がない）ビュー間専用参照コンポーネントも、参照ピクチャリストに含むことができる。ビュー間専用参照コンポーネントは、ｖｉｅｗ＿ｉｄｘの値及びＰｉｃＯｒｄｅｒＣｎｔ（）によって識別することができる。
参照ピクチャリスト構築プロセスの起動中、節８．２．４．１としてＭＶＣ／ＡＶＣ内で識別される以下のプロセスは、
・短期参照ピクチャの各々への変数ＦｒａｍｅＮｕｍ、ＦｒａｍｅＮｕｍＷａｒｐ、及びＰｉｃＮｕｍの割り当てと、
・長期参照ピクチャの各々への変数ＬｏｎｇＴｅｒｍＰｉｃＮｕｍの割り当てと
を指定するように起動することができる。
参照ピクチャ、及び、存在するときビュー間専用参照コンポーネントは、参照インデックスを介してアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Ｐスライス又はＳＰスライスを復号するとき、単一の参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０が存在する。Ｂスライスを復号するとき、ＲｅｆＰｉｃＬｉｓｔ０に加えて、第２の独立した参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１が存在する。
スライスごとの復号プロセスの開始時に、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０、及びＢスライスの場合ＲｅｆＰｉｃＬｉｓｔ１は、以下の順序付けされたステップによって指定されたように導出することができる。
１．ＭＶＣ／ＡＶＣの節８．２．４．２で指定されたように、初期の参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０、及びＢスライスの場合ＲｅｆＰｉｃＬｉｓｔ１が導出される。
２．（下記の）節６．４．１で指定されたように、ビュー間参照ピクチャ又はビュー間専用参照コンポーネントが、初期の参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０、及びＢスライスの場合ＲｅｆＰｉｃＬｉｓｔ１に追加される。
３．（下記の）節６．４．２で指定されたように、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇ＿ｌ０が１に等しいとき、又はＢスライスを復号時ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇ＿ｌ１が１に等しいとき、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０、及びＢスライスの場合ＲｅｆＰｉｃＬｉｓｔ１が修正される。
加えて、修正された参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０内の項目の数は、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１であり、Ｂスライスの場合、修正された参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１内の項目の数は、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ１＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１である。参照ピクチャ又はビュー間専用参照コンポーネントは、修正された参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０又はＲｅｆＰｉｃＬｉｓｔ１内の２つ以上のインデックスで表示することができる。
節６．４．１で指定されたプロセスの起動中、ＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０又は１である）に追加されるビュー間予測参照は存在しない可能性がある。しかしながら、存在しないビュー間予測参照は、（下記の）節６．４．２で指定されたプロセスの起動後、修正されたＲｅｆＰｉｃＬｉｓｔＸ内にない可能性がある。
一例では、ビュー間予測参照用の参照ピクチャリストについての初期化プロセスを含む節６．４．１が下記で説明される。
・このプロセスへの入力は、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０又は１である）、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ、及び、ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｍｖｃ＿ｅｘｔｅｎｓｉｏｎ（）から復号されたビュー依存性情報である。
・このプロセスの出力は、場合によっては修正された参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸであり、これはやはり初期の参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸと呼ばれる。
・ｉが現在スライス用のｖｉｅｗ＿ｉｄｘの値である場合、ビュー間参照ピクチャ及びビュー間専用参照コンポーネントは、下記に指定されたように参照ピクチャリストに追加される。
・両端値を含む０からｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［ｉ］−１までのビュー間参照インデックスｊの値ごとに、ｊの昇順で、現在スライスと同じアクセスユニットからのｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいｖｉｅｗ＿ｉｄｘを有するビュー間予測参照が、ＲｅｆＰｉｃＬｉｓｔＸに追加される。
一例では、参照ピクチャリストについての修正プロセスを含む節６．４．２が下記で説明される。
・このプロセスへの入力は、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０であり、Ｂスライスを復号するときは、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１でもある。
・このプロセスの出力は、場合によっては修正された参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０であり、Ｂスライスを復号するときは、場合によっては修正された参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１でもある。
・ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇ＿ｌ０が１に等しいとき、以下の順序付けられたステップが指定される。
１．ｒｅｆＩｄｘＬ０を参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０へのインデックスとする。ｒｅｆＩｄｘＬ０が、最初に０に等しいように設定される。
２．対応するシンタックス要素ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが、ビットストリーム内で発生する順序で処理される。これらのシンタックス要素の各々について、以下が適用される。
・ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが０又は１に等しい場合、（下記の）節６．４．２．１で指定されたプロセスが、入力としてＲｅｆＰｉｃＬｉｓｔ０とｒｅｆＩｄｘＬ０とを与えられて起動され、出力がＲｅｆＰｉｃＬｉｓｔ０とｒｅｆＩｄｘＬ０とに割り当てられる。
・そうではなく、ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが２に等しい場合、（下記の）節６．４．２．２で指定されたプロセスが、入力としてＲｅｆＰｉｃＬｉｓｔ０とｒｅｆＩｄｘＬ０とを与えられて起動され、出力がＲｅｆＰｉｃＬｉｓｔ０とｒｅｆＩｄｘＬ０とに割り当てられる。
・そうではなく、ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４又は５に等しい場合、（下記の）節６．４．２．３で指定されたプロセスが、入力としてＲｅｆＰｉｃＬｉｓｔ０とｒｅｆＩｄｘＬ０とを与えられて起動され、出力がＲｅｆＰｉｃＬｉｓｔ０とｒｅｆＩｄｘＬ０とに割り当てられる。
・そうではない（ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが３に等しい）場合、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０についての修正プロセスが終了する。
・ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇ＿ｌ１が１に等しいとき、以下の順序付けられたステップが指定される。
１．ｒｅｆＩｄｘＬ１を参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１へのインデックスとする。ｒｅｆＩｄｘＬ１が、最初に０に等しいように設定される。
２．対応するシンタックス要素ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが、ビットストリーム内で発生する順序で処理される。これらのシンタックス要素の各々について、以下が適用される。
・ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが０又は１に等しい場合、（下記の）節６．４．２．１で指定されたプロセスが、入力としてＲｅｆＰｉｃＬｉｓｔ１とｒｅｆＩｄｘＬ１とを与えられて起動され、出力がＲｅｆＰｉｃＬｉｓｔ１とｒｅｆＩｄｘＬ１とに割り当てられる。
・そうではなく、ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが２に等しい場合、（下記の）節６．４．２．２で指定されたプロセスが、入力としてＲｅｆＰｉｃＬｉｓｔ１とｒｅｆＩｄｘＬ１とを与えられて起動され、出力がＲｅｆＰｉｃＬｉｓｔ１とｒｅｆＩｄｘＬ１とに割り当てられる。
・そうではなく、ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４又は５に等しい場合、（下記の）節６．４．２．３で指定されたプロセスが、入力としてＲｅｆＰｉｃＬｉｓｔ１とｒｅｆＩｄｘＬ１とを与えられて起動され、出力がＲｅｆＰｉｃＬｉｓｔ１とｒｅｆＩｄｘＬ１とに割り当てられる。
・そうではない（ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが３に等しい）場合、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１についての修正プロセスが終了する。
一例では、インター予測用の短期参照ピクチャ用の参照ピクチャリストの修正プロセスを含む節６．４．２．１が下記で説明される。
・このプロセスへの入力は、インデックスｒｅｆＩｄｘＬＸ及び参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０又は１である）である。
・このプロセスの出力は、増分されたインデックスｒｅｆＩｄｘＬＸ、及び修正された参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸである。
・変数ｐｉｃＮｕｍＬＸＮｏＷｒａｐが次のように導出される。
・ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが０に等しい場合、
・そうではない（ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが１に等しい）場合、
ここで、ｐｉｃＮｕｍＬＸＰｒｅｄは変数ｐｉｃＮｕｍＬＸＮｏＷｒａｐ用の予測値である。この節で指定されたプロセスがスライス用に最初に起動されたとき（即ち、ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃがｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ（）シンタックス内で０又は１に等しいことが最初に発生した場合）、ｐｉｃＮｕｍＬ０Ｐｒｅｄ及びｐｉｃＮｕｍＬ１Ｐｒｅｄは、最初にＣｕｒｒＰｉｃＮｕｍに等しいように設定される。ｐｉｃＮｕｍＬＸＮｏＷｒａｐの各割り当て後、ｐｉｃＮｕｍＬＸＮｏＷｒａｐの値はｐｉｃＮｕｍＬＸＰｒｅｄに割り当てられる。
幾つかの例では、変数ｐｉｃＮｕｍＬＸは、以下の擬似コードによって指定されたように導出される。
ここで、ｐｉｃＮｕｍＬＸは、「短期参照用に使用される」とマークされた参照ピクチャのＰｉｃＮｕｍに等しい場合があり、「存在しない」とマークされた短期参照ピクチャのＰｉｃＮｕｍに等しくない場合がある。短期ピクチャ数ｐｉｃＮｕｍＬＸを有するピクチャをインデックス位置ｒｅｆＩｄｘＬＸに配置し、他の任意の残りのピクチャの位置をリスト内の後のほうにシフトし、ｒｅｆＩｄｘＬＸの値を増分するために、以下のプロセスを行うことができる。
ここで、関数ｖｉｅｗＩＤＸ（ｒｅｆｐｉｃ）は参照ピクチャｒｅｆｐｉｃのｖｉｅｗ＿ｉｄｘを返し、変数ｃｕｒｒＶｉｅｗＩＤＸは現在スライスのｖｉｅｗ＿ｉｄｘに等しく、関数ＰｉｃＮｕｍＦ（ＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］）は次のように導出される。
・参照ピクチャＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］が「短期参照用に使用される」とマークされる場合、ＰｉｃＮｕｍＦ（ＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］）はピクチャＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］のＰｉｃＮｕｍである。
・そうでない（参照ピクチャＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］が「短期参照用に使用される」とマークされない）場合、ＰｉｃＮｕｍＦ（ＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］）はＭａｘＰｉｃＮｕｍに等しい。
一例では、インター予測用の長期参照ピクチャ用の参照ピクチャリストの修正プロセスを含む節６．４．２．２が下記で説明される。
・このプロセスへの入力は、インデックスｒｅｆＩｄｘＬＸ（Ｘは０又は１である）及び参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸである。
・このプロセスの出力は、増分されたインデックスｒｅｆＩｄｘＬＸ、及び修正された参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸである。
・長期ピクチャ数ｌｏｎｇ＿ｔｅｒｍ＿ｐｉｃ＿ｎｕｍを有するピクチャをインデックス位置ｒｅｆＩｄｘＬＸに配置し、他の任意の残りのピクチャの位置をリスト内の後のほうにシフトし、ｒｅｆＩｄｘＬＸの値を増分するために、以下の手順が行われる。
ここで、関数ｖｉｅｗＩＤＸ（ｒｅｆｐｉｃ）は参照ピクチャｒｅｆｐｉｃのｖｉｅｗ＿ｉｄｘを返し、変数ｃｕｒｒＶｉｅｗＩＤＸは現在スライスのｖｉｅｗ＿ｉｄｘに等しく、関数ＬｏｎｇＴｅｒｍＰｉｃＮｕｍＦ（ＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］）は次のように導出することができる。
・参照ピクチャＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］が「長期参照用に使用される」とマークされる場合、ＬｏｎｇＴｅｒｍＰｉｃＮｕｍＦ（ＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］）はピクチャＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］のＬｏｎｇＴｅｒｍＰｉｃＮｕｍである。
・そうでない（参照ピクチャＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］が「長期参照用に使用される」とマークされない）場合、ＬｏｎｇＴｅｒｍＰｉｃＮｕｍＦ（ＲｅｆＰｉｃＬｉｓｔＸ［ｃＩｄｘ］）は２＊（ＭａｘＬｏｎｇＴｅｒｍＦｌａｍｅＩｄｘ＋１）に等しい。
一例では、ビュー間予測参照用の参照ピクチャリストの修正プロセスを含む節６．４．２．３が下記で説明される。
・このプロセスへの入力は、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０又は１である）及びこのリストへのインデックスｒｅｆＩｄｘＬＸである。
・このプロセスの出力は、修正された参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０又は１である）及び増分されたインデックスｒｅｆＩｄｘＬＸである。
・ｃｕｒｒＶＯＩｄｘを現在スライスの変数ＶＯＩｄｘとする。変数ｍａｘＶｉｅｗＩｄｘはｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［ｃｕｒｒＶＯＩｄｘ］に等しいように設定される。
・変数ｐｉｃＩｎｔｅｒＶｉｅｗＩｄｘＬＸが次のように導出される。
・ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃが４に等しい場合、
ここで、ｐｉｃＩｎｔｅｒＶｉｅｗＩｄｘＬＸＰｒｅｄは変数ｐｉｃＩｎｔｅｒＶｉｅｗＩｄｘＬＸ用の予測値である。この節で指定されたプロセスがスライスのＲｅｆＰｉｃＬｉｓｔ０又はＲｅｆＰｉｃＬｉｓｔ１用に最初に起動されたとき（即ち、ｍｏｄｉｆｉｃａｔｉｏｎ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃがｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ（）シンタックス内で４又は５に等しいことが最初に発生した場合）、ｐｉｃＩｎｔｅｒＶｉｅｗＩｄｘＬ０Ｐｒｅｄ及びｐｉｃＩｎｔｅｒＶｉｅｗＩｄｘＬ１Ｐｒｅｄは、最初に−１に等しいように設定される。ｐｉｃＩｎｔｅｒＶｉｅｗＩｄｘＬＸの各割り当て後、ｐｉｃＩｎｔｅｒＶｉｅｗＩｄｘＬＸの値はｐｉｃＩｎｔｅｒＶｉｅｗＩｄｘＬＸＰｒｅｄに割り当てられる。
ビットストリームは、ｐｉｃＩｎｔｅｒＶｉｅｗＩｄｘＬＸが０以下であるか、又はｐｉｃＩｎｔｅｒＶｉｅｗＩｄｘＬＸがｍａｘＶｉｅｗＩｄｘよりも大きい結果になるデータを含んでいない場合がある。変数ｔａｒｇｅｔＶｉｅｗＩＤＸは次のように導出することができる。
ｐｉｃＩｎｔｅｒＶｉｅｗＩｄｘＬＸに等しいビュー間参照インデックスを有するビュー間予測参照をインデックス位置ｒｅｆＩｄｘＬＸに配置し、他の任意の残りのピクチャの位置をリスト内の後のほうにシフトするために、以下の手順を行うことができる。
ここで、関数ｖｉｅｗＩＤＸ（ｒｅｆｐｉｃ）は参照ピクチャｒｅｆｐｉｃのｖｉｅｗ＿ｉｄｘを返し、変数ｃｕｒｒＶｉｅｗＩＤＸは現在スライスのｖｉｅｗ＿ｉｄｘに等しく、変数ｃｕｒｒＰＯＣは現在スライスのＰｉｃＯｒｄｅｒＣｎｔ（）に等しい。
幾つかの例では、参照ピクチャリストを合成するデフォルトのプロセスを使用することができる。例えば、デフォルトの参照ピクチャリスト合成プロセスは、参照ピクチャ（ＲｅｆＰｉｃＬｉｓｔ０又はＲｅｆＰｉｃＬｉｓｔ１のいずれかから）が、合成されたリストに追加されている参照ピクチャの最初の発生であるかどうかを検査することを含むことができる。そのような検査を実行するために、（ビデオエンコーダ２０又はビデオデコーダ３０などの）ビデオコーダは、現在ピクチャＣｕｒｒＰｉｃと、ビュー間参照ピクチャと時間参照ピクチャとを含むリスト内の任意のピクチャＰｉｃＡとを比較することができる。比較は次のように行うことができる。
図５Ａは、本開示の技法のうちの１つ又は複数の一実施形態において使用できるビットストリーム構造１００の一例を示す概念図である。ビットストリーム１００は、ＨＥＶＣ規格などのビデオコード化規格に準拠することができる。更に、幾つかの例では、ビットストリーム１００はビデオコード化規格に対するＭＶＣ拡張に準拠することができる。
図５Ａに示された例では、ビットストリーム１００は複数のアクセスユニット１０２−１〜１０２−Ｎ（総称してアクセスユニット１０２）を含む。上記のように、アクセスユニット１０２は、ビュー１０４−１〜１０４−Ｍ（総称してビュー１０４）などの（ビューと呼ばれる）一組のビューコンポーネントを含むことができる。一般に、アクセスユニット１０２は、共通の時間インスタンス用の全てのデータ、例えば、ビューごとに１つのビューコンポーネント用のデータを含む。幾つかの例では、アクセスユニット１０２の各アクセスユニットは、同じ数のビュー１０４を含む。アクセスユニット１０２の各アクセスユニットを復号すると、ビューごとに１つの復号ピクチャをもたらすことができる。アクセスユニット１０２は、３次元ビデオ再生をレンダリングするために使用できる符号化ビデオデータを含んでいる場合がある。
図５Ｂは、図５Ａのビットストリーム１００の構造に含むことができるビュー１０４−Ｎの一例を示す概念図である。一般に、（アクセスユニット１０２−Ｎ内のビュー１０４などの）アクセスユニット内の各ビューコンポーネントは、一組のビデオエンコーダ／デコーダ（コーデック）レイヤ（ＶＣＬ）ＮＡＬユニットを含んでいる。即ち、図５Ｂに示された例では、ビュー１０４−Ｎは、固有の形態及び順序でＮＡＬユニット１０６−１〜１０６−３を含む。通常、ビューコンポーネントは、各アクセスユニットにおける第ｋのビューコンポーネントが同じビューに対応するように、各アクセスユニットにおいて同じ順序で配置される。他の例では、ビュー１０４−Ｎは、他の数のＮＡＬユニットを含む場合がある。
図５Ｃは、図５Ｂに示されたＮＡＬユニット１０６と同様な構造であり得る、例示的なＮＡＬユニット１０８を示す概念図である。ＮＡＬユニット１０８は、一般に、ＮＡＬユニットヘッダ１１０とペイロード１１２とを含む。加えて、ＮＡＬユニットヘッダ１１０は、第１の部分１１４と、ＭＶＣ／ＡＶＣ拡張に準拠できるＮＡＬユニットヘッダ拡張部１１６とを含む。
例えば、第１の部分１１４は、ｒｅｆ＿ｉｄｃ要素とＮＡＬユニットタイプ要素とを含む。ｒｅｆ＿ｉｄｃ要素は、ＮＡＬユニットが他のＮＡＬユニット用の参照として使用されるかどうかを示すことができる。例えば、００のｒｅｆ＿ｉｄｃ値は、ＮＡＬＵのコンテンツが（将来の参照用に使用できる）記憶されたピクチャを復元するために使用されないことを示すことができる。そのようなＮＡＬＵは、参照ピクチャの統合を危険にさらさずに廃棄することができる。００を超える値は、ＮＡＬＵの復号が参照ピクチャの統合を維持するために必要であることを示すことができる。ＮＡＬユニットタイプ要素は、ＮＡＬユニット１０８のパケットのタイプを示すことができる。
ＮＡＬユニットヘッダ拡張部１１６は、一般に、ＩＤＲフラグ（ＩＤＲ）と、優先度ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）と、ビューＩＤ（ｖｉｅｗ＿ｉｄ）と、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）と、アンカーピクチャフラグ（ＡＰＦ）と、ビュー間フラグ（ＩＶＦ）とを含む。上記の図１に関して記載されたように、ＩＤＲフラグは、ＮＡＬユニット１０８が瞬時復号リフレッシュ（ＩＤＲ）ピクチャに属するか、又は閉ＧＯＰランダムアクセスポイントとして使用できるビューＩＤＲ（Ｖ−ＩＤＲ）ピクチャに属するかを示すことができる。ｐｒｉｏｒｉｔｙ＿ｉｄは、変化するネットワーク状態ならびに／又は（例えば、単一パス適応プロセスなどの）ビデオデコーダ３０及び／もしくは表示装置３２の能力に応じてビットストリームを変更する、ビットストリーム適応プロセスで使用することができる。ｖｉｅｗ＿ｉｄは、ＮＡＬユニットが属するビューのビュー識別子を示すために使用することができる。ｔｅｍｐｏｒａｌ＿ｉｄは、特定のフレームレートに対応できる、現在のＮＡＬユニットの時間レベルを指示するために使用することができる。ＡＰＦは、ＮＡＬユニットが開ＧＯＰランダムアクセスポイントとして使用できるアンカーピクチャに属するかどうかを示すために使用することができる。ＩＶＦは、ＮＡＬユニットが他のビュー内のＮＡＬユニット用のビュー間予測に使用されるかどうかを示すために使用することができる。
上記で説明されたように、ＭＶＣ／ＡＶＣのｖｉｅｗ＿ｉｄは１０ビット長であり、１０００個を超える異なるビューを一意に識別するために使用することができる。しかしながら、一般に、実際に符号化されるビューの数は、通常、１０００ビューよりも幾つかの桁数少ない。例えば、図４は所与のＭＶＣマルチメディアコンテンツ用の８個のビューを含む。ＮＡＬユニットヘッダ１１０は全てのＮＡＬユニットに含まれるので、ｖｉｅｗ＿ｉｄはかなりの量のビットストリームを消費する可能性がある。図５Ｄに示された例に関して記載された本開示の態様は、ＮＡＬユニットヘッダからｖｉｅｗ＿ｉｄを除去することができ、それにより、ＭＶＣビデオデータをコード化するのに必要なビットの数を低減する。
図５Ｄは、図５Ｂに示されたＮＡＬユニット１０６と同様な構造であり得る、例示的なＮＡＬユニット１２０を示す概念図である。図５Ｄに示された例は、本開示の態様による例示的なＮＡＬユニットを示す。例えば、ＮＡＬユニット１２０は、ＮＡＬユニットヘッダ１２２とペイロード１２４とを含む。加えて、ＮＡＬユニットヘッダは、第１の部分１２６とＮＡＬユニットヘッダ拡張部１２８とを含む。
図５Ｃに示された例と同様に、第１の部分１２６は、ｒｅｆ＿ｉｄｃ要素とＮＡＬユニットタイプ要素とを含む。ｒｅｆ＿ｉｄｃ要素は、ＮＡＬユニットが他のＮＡＬユニット用の参照として使用されるかどうかを示すことができる。ＮＡＬユニットタイプ要素は、ＮＡＬユニット１２０のパケットのタイプを示すことができる。
しかしながら、図５Ｄの例で示されたように、ＮＡＬユニットヘッダ拡張部１２８にｖｉｅｗ＿ｉｄを含むのではなく、ビュー順序インデックスがＮＡＬユニットヘッダ１２２の一部として通知される。即ち、本開示の態様によれば、ＮＡＬユニットヘッダ１２２のビュー順序インデックスは、ＮＡＬユニットヘッダ１１０（図５Ｃ）に通知されるｖｉｅｗ＿ｉｄと置き換わることができる。上記のように、ビュー順序は、一般に、アクセスユニット１０２（図５Ａ）のうちの１つなどのアクセスユニット内のビューの順序付けを記述する。ビュー順序インデックスは、アクセスユニットのビュー順序において、ビュー１０４のうちの１つなどの特定のビューを示すことができる。即ち、ビュー順序インデックスは、アクセスユニットの対応するビューコンポーネントの復号順序を記述することができる。
拡張部１２８用の例示的なＮＡＬユニットヘッダのシンタックステーブルが、下記の表１２で提供される。
図１３に示された例では、０に等しいｎｏｎ＿ｉｄｒ＿ｆｌａｇは、現在のアクセスユニットがＩＤＲアクセスユニットであることを示すことができる。ｎｏｎ＿ｉｄｒ＿ｆｌａｇの値は、アクセスユニットの全てのＶＣＬのＮＡＬユニットについて同じであり得る。幾つかの例では、ｎｏｎ＿ｉｄｒ＿ｆｌａｇは、５に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するベースビューのＮＡＬユニットの場合、０であると推論することができる。加えて、ｎｏｎ＿ｉｄｒ＿ｆｌａｇは、１に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するベースビューのＮＡＬユニットの場合、１であると推論することができる。ｎｏｎ＿ｉｄｒ＿ｆｌａｇが存在するＮＡＬユニットの場合、変数ＩｄｒＰｉｃＦｌａｇは、ｎｏｎ＿ｉｄｒ＿ｆｌａｇが０に等しいときそのフラグを１に等しいように設定すること、及びｎｏｎ＿ｉｄｒ＿ｆｌａｇが１に等しいときそのフラグを０に等しいように設定することによって、修正することができる。
加えて、１に等しいａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは、現在のアクセスユニットがアンカーアクセスユニットであることを指定することができる。幾つかの例では、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは、１に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するベースビューのＮＡＬユニットの場合、０に等しいと推論することができ、４（クリーン復号リフレッシュ）に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するベースビューのＮＡＬユニットの場合、１であると推論することができる。
ｖｉｅｗ＿ｉｄｘは、ＮＡＬユニット用のビュー順序インデックスを指定することができる。一般に、同じ値のｖｉｅｗ＿ｉｄｘを有するＮＡＬユニットは同じビューに属する。２０に等しいＮＡＬユニットタイプは、ベースビュー内にないビューコンポーネント用のＮＡＬユニットタイプを示すために使用することができる。
図５Ｃに示された例とは対照的に、表１２の例に示されたように、ｐｒｉｏｒｉｔｙ＿ｉｄ、ｔｅｍｐｏｒａｌ＿ｉｄ、及びｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは削除され、ｖｉｅｗ＿ｉｄはｖｉｅｗ＿ｉｄｘによって置き換えられている。幾つかの例では、下記の表１３の例示的なＮＡＬユニットヘッダで示されたように、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは拡張部１２８から移動することができる。
表１３に示された例では、０に等しいｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ要素は、現在のビューコンポーネントが現在のアクセスユニット内の任意の他のビューコンポーネントによるビュー間予測に使用されないことを示すことができる。１に等しいｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは、現在のビューコンポーネントが現在のアクセスユニット内の他のビューコンポーネントによるビュー間予測に使用できることを示すことができる。ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇの値は、ビューコンポーネントの全てのＶＣＬのＮＡＬユニットについて同じであり得る。
加えて、表１３に示された例では、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１又は５に等しいとき、ビュー順序インデックスは０であると推論することができ、このビューコンポーネントのｖｉｅｗ＿ｉｄはｖｉｅｗ＿ｉｄ［０］である。そのような例では、ＮＡＬユニットヘッダ拡張部は必要とされない可能性がある。即ち、２つだけのビュー（即ち、ステレオビデオ用）を含むＭＶＣストリームでは、（ビデオデコーダ３０などの）デコーダが、常に第２のビュー（例えば、ビュー１）を復号する前に第１のビュー（例えば、ビュー０）を復号するので、ビュー順序インデックスは必要とされない可能性がある。
幾つかの例では、プレフィックスＮＡＬユニットは、もはやベースビュー（例えば、ビュー０）に必要とされない可能性がある。例えば、ビュー順序インデックスがベースビューについて常に０であり、ベースビューの時間位置がｔｅｍｐｏｒａｌ＿ｉｄを使用して決定することができるので、ベースビュー用のプレフィックスＮＡＬユニットはもはや必要とされない可能性がある。従って、ＮＡＬユニットヘッダ内のｔｅｍｐｏｒａｌ＿ｉｄは、必要な情報の全てを提供して、特定のビューコンポーネントを特定のビューと適切な時間位置とに関連付ける。
表１４は、ＮＡＬユニットヘッダ拡張部を参照する別のＮＡＬユニットヘッダを含む。
表１４に示された例では、０に等しいｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは、現在のビューコンポーネントが現在のアクセスユニット内の任意の他のビューコンポーネントによるビュー間予測に使用されないことを示すことができる。１に等しいｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは、現在のビューコンポーネントが現在のアクセスユニット内の他のビューコンポーネントによるビュー間予測に使用できることを示すことができる。ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇの値は、ビューコンポーネントの全てのＶＣＬのＮＡＬユニットについて同じであり得る。加えて、ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ＿ｍｖｃ＿ｅｘｔｅｎｓｉｏｎは、上記の表１２で示された拡張部などの拡張部を参照する。
本開示の他の態様によれば、ＭＶＣビットストリーム用のＮＡＬユニットヘッダは、下記の表１５に従って設計することができる。
表１５に示された例では、ＮＡＬユニットヘッダの形成は、例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに依存する場合がある。即ち、例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが２０及びＭＶＣのＮＡＬユニットに等しいとき、ＮＡＬユニットは、上述のｎｏｎ＿ｉｄｒ＿ｆｌａｇと、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇと、ｖｉｅｗ＿ｉｄｘとを含むことができる。従って、ステレオプロファイルの場合、ＮＡＬユニットヘッダは、下記の表１６に従って設計することができる。
更に別の例では、本開示の他の態様によれば、ＭＶＣビットストリーム用のＮＡＬユニットヘッダは、下記の表１７に従って設計することができる。
図４に関して上述されたＮＡＬユニットヘッダの特定の構成にかかわらず、シーケンスパラメータセット（ＳＰＳ）は、ビュー用のｖｉｅｗ＿ｉｄｓとビュー用のビュー順序インデックとの間の関係を提供することができる。従って、ビュー順序インデックスとＳＰＳ内のデータとを使用して、ＭＶＣ／ＡＶＣの１０ビットのｖｉｅｗ＿ｉｄはＮＡＬユニットヘッダ内でビュー順序インデックスによって置き換えることができ、このことはＭＶＣ／ＡＶＣ方式上でビット節約につながる可能性がある。ビュー順序インデックスは、ＰＯＣ値又はフレーム値（フレーム番号）とともに使用されて、ビットストリームのビューコンポーネントを識別することができる。例えば、図４に示されたビューコンポーネントのグリッドをカルテシアングリッドに関係付けて、ビュー順序インデックスは、特定のビューコンポーネントのｙ座標（例えば、Ｓ０、Ｓ１、Ｓ２、．．．）を提供することができ、ＰＯＣ値又はフレーム値は、特定のビューコンポーネントのｘ座標（例えば、Ｔ０、Ｔ１、Ｔ２、．．．）を提供することができる。このようにしてビューコンポーネントを識別することは、例えば、参照ピクチャリスト内に実施することができる。
本開示の他の態様によれば、ＭＶＣビットストリームのビューごとのビュー依存性は、ビューコンポーネントがアンカーピクチャ用か又は非アンカーピクチャ用かにかかわらず、通常全てのビューコンポーネントに通知することができる。幾つかの例では、ＳＰＳは、ＮＡＬユニットヘッダ内の情報に依存するのではなく、ビューコンポーネント用のビュー依存性を含むことができる。このようにして、ＮＡＬユニットヘッダ拡張部１２８内で使用されるａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは、削除することができる。
この例では、図４に関して上述されたように、通知された依存ビューのビューコンポーネントは、リスト０とリスト１の両方において参照ピクチャとして使用することができる。加えて、リスト０及びリスト１についての参照ピクチャリストの構築及び参照ピクチャリストの並べ替えは、アンカーピクチャ用及び非アンカーピクチャ用の通常信号伝達に基づく場合もある。幾つかの例では、シーケンスレベル、補足強調情報（ＳＥＩ）メッセージは、非アンカーピクチャがアンカーピクチャとは異なるビュー依存性を有するときを示すために使用することができる。
本開示の他の態様によれば、ＮＡＬユニットヘッダ内のｐｒｉｏｒｉｔｙ＿ｉｄを通知するのではなく、ビデオエンコーダ２０はＳＰＳ内のｐｒｉｏｒｉｔｙ＿ｉｄ値を提供することができる。上記で説明されたように、幾つかの例では、ルータ３６はＳＰＳのｐｒｉｏｒｉｔｙ＿ｉｄ値を使用して、特定のビューをフィルタ処理することができる。即ち、ルータ３６は完全なビットストリームを受信することができるが、宛先機器１４によって指定された優先度値以下のｐｒｉｏｒｉｔｙ＿ｉｄ値を有するＮＡＬユニットを含むサブビットストリームを抽出し、そのサブビットストリームを宛先機器に転送することができる。
加えて、本開示の態様によれば、優先度適応メッセージは、適応を実行するために使用することができる。例えば、下記の表１８は例示的な優先度適応ＳＥＩメッセージを示す
表１８に示された例では、ｎｕｍ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｍｉｎｕｓ１プラス１は、ＭＶＣビットストリームのＮＡＬユニットの最も高いｔｅｍｐｏｒａｌ＿ｉｄを示すことができる。１に等しいｓａｍｅ＿ｐｒｉｏｒｉｔｙ＿ｉｄ＿ｆｌａｇ［ｉ］［ｊ］要素は、ｔｅｍｐｏｒａｌ＿ｉｄ ｉとビュー順序インデックスｊとを有するＮＡＬユニットのｐｒｉｏｒｉｔｙ＿ｉｄが以前通知されたｐｒｉｏｒｉｔｙ＿ｉｄに等しいことを示すことができ、それはｊ＞０のときｐｒｉｏｒｉｔｙ＿ｉｄ［ｉ］［ｊ−１］であり、又は、ｊ＝０及びｉ＞０のときｐｒｉｏｒｉｔｙ＿ｉｄ［ｉ−１］［ｊ］である。ｐｒｉｏｒｉｔｙ＿ｉｄ［ｉ］［ｊ］要素は、ｉに等しいｔｅｍｐｏｒａｌ＿ｉｄとｊに等しいビュー順序インデックスとを有するＮＡＬユニット用の優先度識別子を指定することができる。ｐｒｉｏｒｉｔｙ＿ｉｄのより低い値がより高い優先度を示すことができる。
適応は、ＮＡＬユニットヘッダと、表１８で示されたＳＥＩメッセージなどのＳＥＩメッセージとに基づく場合がある。例えば、適応プロセスは、ＮＡＬユニットのｔｅｍｐｏｒａｌ＿ｉｄ及びｖｉｅｗ＿ｉｄｘがＴＩＤ及びＶＩＤＸであり、ターゲットｐｒｉｏｒｉｔｙ＿ｉｄがＰＩＤであると仮定する場合がある。この例では、ｐｒｉｏｒｉｔｙ＿ｉｄ［ＴＩＤ］［ＶＩＤＸ］はＰＩＤよりも大きくなく、ＮＡＬユニットは保持され、そうでない場合ＮＡＬユニットはフィルタ処理して除かれる。
本例はＳＥＩメッセージ内の優先度情報を記載するが、他の例では、ＳＥＩメッセージ内で通知されていると記載された情報は、ＭＶＣのＳＰＳなどのパラメータセットのオプション部分として通知することができる。
図６は、マルチビュービットストリームを符号化する例示的な方法を示す流れ図である。図６に示された例は、全体的に、ビデオエンコーダ２０（図１及び図２）によって実行されるものとして記載される。しかしながら、図６に関して記載されたプロセスは、様々な他のプロセッサ、処理ユニット、エンコーダ／デコーダ（コーデック）などのハードウェアベースのコード化ユニットなどによって遂行できることを理解されたい。
図６の例では、ビデオエンコーダ２０は、複数のビューコンポーネント用のビデオデータを符号化することができる（１４０）。例えば、ビデオエンコーダ２０は、複数の複数の異なるビューを符号化することができ、各ビューは、共通のシーンの対応するビデオデータがキャプチャされる異なる視点又は角度に対応する。上記のように、特定のビューの特定のピクチャはビューコンポーネントと呼ばれる。即ち、ビューのビューコンポーネントは、ビューの特定の時間インスタンスに対応する。
ビデオエンコーダ２０はまた、ビューコンポーネントの復号順序の指示を含むＮＡＬユニットを形成することができる（１４２）。例えば、図５Ａ〜図５Ｄに関して記載されたように、本開示の態様によれば、ビデオエンコーダ２０は、ビューコンポーネントの復号順序の指示を提供するＮＡＬユニットヘッダ内で、ビュー順序インデックス（ｖｉｅｗ＿ｉｄｘ）の指示を提供することができる。一般に、同じ値のｖｉｅｗ＿ｉｄｘを有するＮＡＬユニットは同じビューに属する。
ビデオエンコーダ２０はまた、ＮＡＬユニットとは別に、ビュー識別子と復号順序との間の関係の指示を提供する情報を提供することができる（１４４）。幾つかの例では、ビデオエンコーダ２０は、ビューのビュー識別子とビュー用のビュー順序インデックスとの間の関係を示す、ＳＰＳなどのパラメータセットを生成することができる。他の例では、ビデオエンコーダ２０は、ビュー順序インデックスとビュー識別子との間の関係を、異なる方式で示すことができる。
ビュー順序インデックスと別個の情報とを使用して、ビデオエンコーダ２０は、ＮＡＬユニットヘッダ内に通常含まれる１０ビットのビュー識別子を、ビュー順序インデックスによって置き換えることができ、これによりビット節約がもたらされる可能性がある。例えば、ビュー順序インデックスは、ビュー識別子よりもかなり少ないビットを含む可能性がある。ビデオエンコーダ２０は、例えばＳＰＳ内でビュー順序インデックスとビュー識別子との間の関係を通知しなければならないが、ＮＡＬユニットヘッダは、通常そのような信号伝達よりもはるかに多いビットを消費する。ＮＡＬユニットヘッダ内のビュー識別子をビュー順序インデックスと置き換えると、ＮＡＬユニットヘッダのサイズを縮小することができ、それにより、ＮＡＬユニットヘッダ内のビュー識別子をコード化ことにわたってビット節約を実現する。
また、図６に関して図示及び記載されたステップは、一例として提供されたにすぎないことを理解されたい。即ち、図６の方法のステップは、必ずしも図６に示された順序で実行される必要があるとは限らず、より少ない、追加の、又は代替のステップを実行することができる。
図７は、マルチビュービットストリームを復号する例示的な方法を示す流れ図である。図７に示された例は、全体的に、ビデオデコーダ３０（図１及び図３）によって実行されるものとして記載される。しかしながら、図７に関して記載されたプロセスは、様々な他のプロセッサ、処理ユニット、エンコーダ／デコーダ（コーデック）などのハードウェアベースのコード化ユニットなどによって遂行できることを理解されたい。
図７の例では、ビデオデコーダ３０は、それぞれのビューコンポーネントの復号順序を示す情報を含むビューコンポーネントごとに、１つ又は複数のＮＡＬユニットを受信することができる（１５０）。本開示の態様によれば、図６に関して記載されたように、それぞれのビューコンポーネントの復号順序は、ビュー順序インデックスを使用して示すことができる。従って、ビデオデコーダ３０は、ビューコンポーネントの復号順序の指示を提供する、ＮＡＬユニットヘッダ内のビュー順序インデックス（ｖｉｅｗ＿ｉｄｘ）の指示を受信することができる。一般に、同じ値のｖｉｅｗ＿ｉｄｘを有するＮＡＬユニットは同じビューに属する。
ビデオデコーダ３０はまた、ビュー識別子とビューコンポーネントの復号順序との間の関係を示す情報を受信することができる（１５２）。幾つかの例では、ビデオデコーダ３０は、ビューのビュー識別子とビュー用のビュー順序インデックスとの間の関係を示す、ＳＰＳなどのパラメータセットを受信することができる。他の例では、ビデオデコーダ３０は、ビュー順序インデックスとビュー識別子との間の関係の異なる指示を受信することができる。
ビデオデコーダ３０はまた、受信された情報を使用して、マルチビュービデオデータを復号することができる。即ち、例えば、ビデオデコーダは、ビューの各々を復号し、受信された別個の情報を使用して適切なビュー識別子を決定することができる。次いで、ビデオデコーダ３０は、例えば、表示装置３２に、ビューを使用する３Ｄ表現を提示することができる。
また、図７に関して図示及び記載されたステップは、一例として提供されたにすぎないことを理解されたい。即ち、図７の方法のステップは必ずしも図７に示された順序で実行される必要があるとは限らず、より少ない、追加の、又は代替のステップを実行することができる。
図８は、マルチビュービットストリームを符号化する例示的な方法を示す流れ図である。図８に示された例は、全体的に、ビデオエンコーダ２０（図１及び図２）によって実行されるものとして記載される。他の例では、図８に関して記載されたプロセスは、様々な他のプロセッサ、処理ユニット、エンコーダ／デコーダ（コーデック）などのハードウェアベースのコード化ユニットなどによって遂行することができる。図８の例では、ビデオデコーダ２０は、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を決定することができる（１６０）。例えば、上記のように、特定のアクセスユニットの特定のビューコンポーネントがアンカーピクチャ（ランダムアクセスポイント）であるかどうか、又は特定のアクセスユニットの特定のビューコンポーネントが非アンカーピクチャであるかどうかにかかわらず、ビュー依存性は、ビューの全てのビューコンポーネントに同じ方式で通知することができる。幾つかの例では、参照ビュー情報は、参照ビューインデックス値（参照ビュー用のビュー順序インデックス値）を使用して、ビュー依存性を示すことができる。即ち、参照ビュー情報は、アクセスユニット内の参照ビューの復号順序を示すことができる、参照ビューごとの参照ビューインデックス値を含んでいる場合がある。他の例では、参照ビュー情報は、特定の参照ビューのビュー順序インデックスと、現在復号されているビューコンポーネントのビュー順序インデックスとの間の差分を示すことができる、参照ビューインデックス差分値を含んでいる場合がある。ビュー順序インデックス値が使用される例では、上述のように、ビデオエンコーダ２０はまた、ビューのビュー順序インデックス値とビュー識別子との間の関係を示す追加情報を提供することができる。
ビデオエンコーダ２０はまた、第１のビューにおいてアクセスユニット内の第１のビューコンポーネントを符号化するとき、第１のビューコンポーネントが属するアクセスユニットと、参照ビュー情報と、参照ビュー情報によって示された参照ビューの数とに基づいて、参照ピクチャリスト内に１つ又は複数の参照候補を含めることができる（１６２）。例えば、上述のように、ビデオエンコーダ２０は、第１のビューコンポーネントを予測するための候補参照ピクチャを含む参照ピクチャリストを構築することができる（参照ピクチャは最終的な参照ピクチャリストから削除できるので、「候補」参照ピクチャである）。ビデオエンコーダ２０は、第１のビューコンポーネントと同じアクセスユニットに属する（例えば、同じ時間インスタンスを有する）参照ビュー情報によって示された参照ビューの各々において、ビュー間候補参照ピクチャを識別することができる。ビデオエンコーダ２０は、識別されたビューコンポーネントの全てを参照ピクチャリストに追加することができる。
従って、図８に示された例では、ビデオエンコーダ２０は、現在符号化されているビューコンポーネントがアンカーピクチャか又は非アンカーピクチャかを顧慮せずに、参照ピクチャリストを構築することができる。更に、ビデオエンコーダ２０は、候補参照ピクチャがリスト０に含まれるか又はリスト１に含まれるかを顧慮せずに、参照ピクチャリストを構築することができる。即ち、ビデオエンコーダ２０は、同じ参照ビュー情報を使用して、参照ピクチャリスト０又は参照ピクチャリスト１を構築することができる。加えて、ビデオデコーダ２０は、リスト０又は同様にリスト１の両方に、識別された参照候補を追加することができる。
ビデオエンコーダ２０はまた、参照ピクチャリスト内の１つ又は複数の参照候補に基づいて、第１のビューコンポーネントを符号化することができる（１６４）。例えば、ビデオエンコーダ２０は、参照ピクチャリスト内のビューコンポーネントを識別し、識別されたビューコンポーネントを使用して残差データを生成し、図２に関して上述されたように残差データを符号化することができる。ビデオエンコーダ２０はまた、符号化されたビットストリーム内で決定された参照ビュー情報を、符号化された第１のビューコンポーネントに提供することができる（１６６）。
図８に関して図示及び記載されたステップは、一例として提供されたにすぎないことを理解されたい。即ち、図８の方法のステップは、必ずしも図８に示された順序で実行される必要があるとは限らず、より少ない、追加の、又は代替のステップを実行することができる。
図９は、マルチビュービットストリームを復号する例示的な方法を示す流れ図である。図９に示された例は、全体的に、ビデオデコーダ３０（図１及び図３）によって実行されるものとして記載される。他の例では、図９に関して記載されたプロセスは、様々な他のプロセッサ、処理ユニット、エンコーダ／デコーダ（コーデック）などのハードウェアベースのコード化ユニットなどによって遂行することができる。
図９に示された例では、ビデオデコーダ３０は、符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を取得することができる（１７０）。例えば、図８に関して上述されたように、特定のアクセスユニットの特定のビューコンポーネントがアンカーピクチャ（ランダムアクセスポイント）であるかどうか、又は特定のアクセスユニットの特定のビューコンポーネントが非アンカーピクチャであるかどうかにかかわらず、ビュー依存性は、ビューの全てのビューコンポーネントに同じ方式で通知することができる。幾つかの例では、参照ビュー情報は、参照ビューインデックス値（参照ビュー用のビュー順序インデックス値）を使用して、ビュー依存性を示すことができる。即ち、参照ビュー情報は、アクセスユニット内の参照ビューの復号順序を示すことができる、参照ビューごとの参照ビューインデックス値を含んでいる場合がある。他の例では、参照ビュー情報は、特定の参照ビューのビュー順序インデックスと、現在復号されているビューコンポーネントのビュー順序インデックスとの間の差分を示すことができる、参照ビューインデックス差分値を含んでいる場合がある。ビュー順序インデックス値が使用される例では、上述のように、ビデオデコーダ３０はまた、符号化されたビットストリームから、ビューのビュー順序インデックス値とビュー識別子との間の関係を示す追加情報を取得することができる。そのような情報はシーケンスレベルから取得することができる。
ビデオデコーダ３０はまた、第１のビューにおいてアクセスユニット内の第１のビューコンポーネントを復号するとき、第１のビューコンポーネントが属するアクセスユニットと、参照ビュー情報と、参照ビュー情報によって示された参照ビューの数とに基づいて、参照ピクチャリスト内に１つ又は複数の参照候補を含めることができる（１７２）。例えば、上述のように、ビデオデコーダ３０は、第１のビューコンポーネントを予測するための候補参照ピクチャを含む参照ピクチャリストを構築することができる。ビデオデコーダ３０は、第１のビューコンポーネントと同じアクセスユニットに属する（例えば、同じ時間インスタンスを有する）参照ビュー情報によって示された参照ビューの各々において、ビュー間候補参照ピクチャを識別することができる。ビデオデコーダ３０は、識別されたビューコンポーネントの全てを参照ピクチャリストに追加することができる。
従って、図９に示された例では、ビデオデコーダ３０は、現在符号化されているビューコンポーネントがアンカーピクチャか又は非アンカーピクチャかを顧慮せずに、参照ピクチャリストを構築することができる。更に、ビデオデコーダ３０は、候補参照ピクチャがリスト０に含まれるか又はリスト１に含まれるかを顧慮せずに、参照ピクチャリストを構築することができる。即ち、ビデオデコーダ３０は、かつて符号化されたビットストリームからのみ取得された可能性がある同じ参照ビュー情報を使用して、参照ピクチャリスト０又は参照ピクチャリスト１を構築することができる。加えて、ビデオデコーダ３０は、リスト０又は同様にリスト１の両方に、識別された参照候補を追加することができる。
ビデオデコーダ３０はまた、参照ピクチャリスト内の１つ又は複数の参照候補に基づいて、第１のビューコンポーネントを復号することができる（１７４）。例えば、ビデオデコーダ２０は、上記の図３に関して記載されたように、参照ピクチャリスト内のビューコンポーネントを識別し、識別されたビューコンポーネントを（符号化されたビットストリームからの）復号された残差データと合成して、ビューコンポーネントを生成することができる。
図９に関して図示及び記載されたステップは、一例として提供されたにすぎないことを理解されたい。即ち、図９の方法のステップは、必ずしも図９に示された順序で実行される必要があるとは限らず、より少ない、追加の、又は代替のステップを実行することができる。
本開示に関して記載された特定のシンタックス要素は、説明の目的で例示的な名称を提供されたが、本開示に記載された概念は、名称にかかわらず、より一般的に任意のシンタックス要素に適用可能であることを理解されたい。例えば、特定の態様が「ビュー順序インデックス」、「ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ」又は「ｖｉｅｗ＿ｉｄｘ」に言及するが、そのようなシンタックス要素は、将来のコード化規約において代替の名称を与えられる可能性があることを理解されたい。
本開示の特定の技法が新ＨＥＶＣ規格に関して記載されたが、本技法は任意の特定のコード化規格に限定されないことを理解されたい。即ち、本技法は、より一般的に、例えば、上述のように、より短い、かつ／又はより複雑でないＮＡＬユニット及びパラメータセットを介して、マルチビュービデオコード化におけるコード化効率を実現することに関する。
例に応じて、本明細書に記載された方法のうちのいずれかの特定の行為又はイベントは、異なるシーケンスで実行でき、一斉に付加、マージ、又は除外できる（例えば、全ての記載された行為又はイベントが方法の実践のために必要であるとは限らない）ことを理解されたい。更に、特定の例では、行為又はイベントは、順次ではなく、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを介して同時に実行することができる。加えて、本開示の特定の態様は、明快にするために単一のモジュール又はユニットによって実行されるものとして記載されたが、本開示の技法は、ビデオコーダに関連するユニット又はモジュールの組合せによって実行できることを理解されたい。
１つ又は複数の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せに実施することができる。ソフトウェアに実施される場合、機能は、１つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行することができる。コンピュータ可読媒体は、例えば、データ記憶媒体などの有形媒体、又は、例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体に対応する、コンピュータ可読記憶媒体を含むことができる。
このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、又は、（２）信号もしくは搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示に記載された技法を実施するための命令、コード及び／又はデータ構造を取り出すために、１つもしくは複数のコンピュータ、又は１つもしくは複数のプロセッサによってアクセスできる任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶装置、フラッシュメモリ、又は命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用でき、コンピュータによってアクセスできる任意の他の媒体を備えることができる。同様に、いかなる接続も厳密にはコンピュータ可読媒体と称される。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモート発信源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。
しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）などの１つ以上のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、又は他の等価な集積回路若しくはディスクリート論理回路によって実行することができる。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、又は本明細書に記載された技法の実施に適した任意の他の構造のいずれかを指すことができる。加えて、幾つかの態様では、本明細書に記載された機能は、符号化及び復号のために構成された専用のハードウェア及び／又はソフトウェアモジュールの内部に提供でき、又は合成コーデックに組み込むことができる。また、本技法は、１つ又は複数の回路又は論理要素に完全に実施することができる。
本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、又は一組のＩＣ（例えば、チップセット）を含む、多種多様な機器又は装置に実施することができる。開示された技法を実行するように構成された機器の機能的態様を強調するために、様々な構成要素、モジュール、又はユニットが本開示に記載されたが、それらの構成要素、モジュール、又はユニットは、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上述のように、様々なユニットが、適切なソフトウェア及び／又はファームウェアとともに、上述された１つ又は複数のプロセッサを含んで、コーデックハードウェアユニットにおいて組み合わせることができるか、又は相互動作ハードウェアユニットの集合によって提供することができる。
本開示の様々な態様が記載された。これら及び他の態様は以下の特許請求の範囲内に入る。
本開示の様々な態様が記載された。これら及び他の態様は以下の特許請求の範囲内に入る。
以下に本願出願当初の特許請求の範囲を付記する。
[Ｃ１] 符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を取得することと、
アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを復号することとを備える、ビデオデータを復号する方法。
[Ｃ２] 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、Ｃ１に記載の方法。
[Ｃ３] 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ含まれ、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めることが、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加することを備える、Ｃ１に記載の方法。
[Ｃ４] 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、Ｃ１に記載の方法。
[Ｃ５] 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、Ｃ４に記載の方法。
[Ｃ６] 前記参照ビュー情報を取得することが、シーケンスレベルで前記参照ビュー情報を取得することを備える、Ｃ１に記載の方法。
[Ｃ７] 前記参照ビュー情報を取得することが、シーケンスレベルでビューごとに前記参照ビュー情報を取得することを備える、Ｃ６に記載の方法。
[Ｃ８] 前記シーケンスレベルで前記参照ビュー情報を取得することが、シーケンスパラメータセット（ＳＰＳ）内の前記１つ以上の参照ビューのビュー順序インデックスを取得することを備える、Ｃ６に記載の方法。
[Ｃ９] 前記１つ以上の参照ビューが前記参照ビュー情報に含まれる順序に基づいて、第１の参照ピクチャリストの第１の初期のリスト及び第２の参照ピクチャリストの第２の初期のリストのうちの１つに、同じアクセスユニットのビューコンポーネントを追加することをさらに備える、Ｃ１に記載の方法。
[Ｃ１０] 前記１つ以上の参照候補を最終的な参照ピクチャリストの任意の位置に並べ替えることをさらに備える、Ｃ１に記載の方法。
[Ｃ１１] 前記１つ以上の参照候補を並べ替えることが、前記参照ビュー情報に基づく、Ｃ１に記載の方法。
[Ｃ１２] 前記１つ以上の参照候補を最終的な参照ピクチャリストから除外することをさらに備える、Ｃ１に記載の方法。
[Ｃ１３] 符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を取得することと、
アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを復号することとを行うように構成された１つ以上のプロセッサを備える、ビデオデータを復号するための装置。
[Ｃ１４] 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、Ｃ１３に記載の装置。
[Ｃ１５] 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ含まれ、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるために、前記１つ以上のプロセッサが、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加するように構成された、Ｃ１３に記載の装置。
[Ｃ１６] 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、Ｃ１３に記載の装置。
[Ｃ１７] 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、Ｃ１６に記載の装置。
[Ｃ１８] 前記参照ビュー情報を取得するために、前記１つ以上のプロセッサが、シーケンスレベルで前記参照ビュー情報を取得するように構成された、Ｃ１３に記載の装置。
[Ｃ１９] 前記参照ビュー情報を取得するために、前記１つ以上のプロセッサが、シーケンスレベルでビューごとに前記参照ビュー情報を取得するように構成された、Ｃ１８に記載の装置。
[Ｃ２０] 前記シーケンスレベルで前記参照ビュー情報を取得するために、前記１つ以上のプロセッサが、シーケンスパラメータセット（ＳＰＳ）内の前記１つ以上の参照ビューのビュー順序インデックスを取得するように構成された、Ｃ１８に記載の装置。
[Ｃ２１] 前記１つ以上のプロセッサが、前記１つ以上の参照ビューが前記参照ビュー情報に含まれる順序に基づいて、第１の参照ピクチャリストの第１の初期のリスト及び第２の参照ピクチャリストの第２の初期のリストのうちの１つに、同じアクセスユニットのビューコンポーネントを追加するようにさらに構成された、Ｃ１３に記載の装置。
[Ｃ２２] 前記１つ以上のプロセッサが、前記１つ以上の参照候補を最終的な参照ピクチャリストの任意の位置に並べ替えるようにさらに構成された、Ｃ１３に記載の装置。
[Ｃ２３] 前記１つ以上のプロセッサが、前記参照ビュー情報に基づいて、前記１つ以上の参照候補を並べ替えるように構成された、Ｃ１３に記載の装置。
[Ｃ２４] 前記１つ以上のプロセッサが、前記１つ以上の参照候補を最終的な参照ピクチャリストから除外するように構成された、Ｃ１３に記載の装置。
[Ｃ２５] 符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を取得するための手段と、
アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ以上の参照候補を含めるための手段と、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを復号するための手段とを備える、ビデオデータを復号するための装置。
[Ｃ２６] 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、Ｃ２５に記載の装置。
[Ｃ２７] 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ含まれ、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるための手段が、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加するための手段を備える、Ｃ２５に記載の装置。
[Ｃ２８] 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、Ｃ２５に記載の装置。
[Ｃ２９] 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、Ｃ２８に記載の装置。
[Ｃ３０] 実行されたとき、１つ以上のプロセッサに、
符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を取得することと、
アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを復号することとを行わせる命令を記憶した、非一時的コンピュータ可読記憶媒体。
[Ｃ３１] 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、Ｃ３０に記載の非一時的コンピュータ可読記憶媒体。
[Ｃ３２] 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ含まれ、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるために、前記命令が前記１つ以上のプロセッサに、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加させる、Ｃ３０に記載の非一時的コンピュータ可読記憶媒体。
[Ｃ３３] 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、Ｃ３０に記載の非一時的コンピュータ可読記憶媒体。
[Ｃ３４] 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、Ｃ３３に記載の非一時的コンピュータ可読記憶媒体。
[Ｃ３５] 第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を決定することと、
アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを符号化するために、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、参照候補の数が参照ビューの数と等しい、
前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを符号化することと、
前記符号化された第１のビューコンポーネントに、符号化されたビットストリーム内の前記決定された参照ビュー情報を提供することとを備える、ビデオデータを符号化する方法。
[Ｃ３６] 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、Ｃ３５に記載の方法。
[Ｃ３７] 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ提供され、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めることが、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加することを備える、Ｃ３５に記載の方法。
[Ｃ３８] 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、Ｃ３５に記載の方法。
[Ｃ３９] 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、Ｃ３８に記載の方法。
[Ｃ４０] 前記参照ビュー情報を提供することが、シーケンスレベルで前記参照ビュー情報を提供することを備える、Ｃ３５に記載の方法。
[Ｃ４１] 前記参照ビュー情報を提供することが、シーケンスレベルでビューごとに前記参照ビュー情報を提供することを備える、Ｃ４０に記載の方法。
[Ｃ４２] 前記シーケンスレベルで前記参照ビュー情報を提供することが、シーケンスパラメータセット（ＳＰＳ）内の前記１つ以上の参照ビューのビュー順序インデックスを提供することを備える、Ｃ４０に記載の方法。
[Ｃ４３] 前記１つ以上の参照ビューが前記参照ビュー情報に含まれる順序に基づいて、第１の参照ピクチャリストの第１の初期のリスト及び第２の参照ピクチャリストの第２の初期のリストのうちの１つに、同じアクセスユニットのビューコンポーネントを追加することをさらに備える、Ｃ３５に記載の方法。
[Ｃ４４] 前記１つ以上の参照候補を最終的な参照ピクチャリストの任意の位置に並べ替えることをさらに備える、Ｃ３５に記載の方法。
[Ｃ４５] 前記１つ以上の参照候補を並べ替えることが、前記参照ビュー情報に基づく、Ｃ３５に記載の方法。
[Ｃ４６] 前記１つ以上の参照候補を最終的な参照ピクチャリストから除外することをさらに備える、Ｃ３５に記載の方法。
[Ｃ４７] 第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を決定することと、
アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを符号化するための、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを符号化することと、
前記符号化された第１のビューコンポーネントに、符号化されたビットストリーム内の前記決定された参照ビュー情報を提供することとを行うように構成された１つ以上のプロセッサを備える、ビデオデータを符号化するための装置。
[Ｃ４８] 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、Ｃ４７に記載の装置。
[Ｃ４９] 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ提供され、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるために、前記１つ以上のプロセッサが、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加するように構成された、Ｃ４７に記載の装置。
[Ｃ５０] 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、Ｃ４７に記載の装置。
[Ｃ５１] 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、Ｃ５０に記載の装置。
[Ｃ５２] 前記参照ビュー情報を提供するために、前記１つ以上のプロセッサが、シーケンスレベルで前記参照ビュー情報を提供するように構成された、Ｃ４７に記載の装置。
[Ｃ５３] 前記参照ビュー情報を提供するために、前記１つ以上のプロセッサが、シーケンスレベルでビューごとに前記参照ビュー情報を提供するように構成された、Ｃ５２に記載の装置。
[Ｃ５４] 前記シーケンスレベルで前記参照ビュー情報を提供するために、前記１つ以上のプロセッサが、シーケンスパラメータセット（ＳＰＳ）内の前記１つ以上の参照ビューのビュー順序インデックスを提供するように構成された、Ｃ５２に記載の装置。
[Ｃ５５] 前記１つ以上のプロセッサが、前記１つ以上の参照ビューが前記参照ビュー情報に含まれる順序に基づいて、第１の参照ピクチャリストの第１の初期のリスト及び第２の参照ピクチャリストの第２の初期のリストのうちの１つに、同じアクセスユニットのビューコンポーネントを追加するようにさらに構成された、Ｃ４７に記載の装置。
[Ｃ５６] 前記１つ以上のプロセッサが、前記１つ以上の参照候補を最終的な参照ピクチャリストの任意の位置に並べ替えるようにさらに構成された、Ｃ４７に記載の装置。
[Ｃ５７] 前記１つ以上の参照候補を並べ替えることが、前記参照ビュー情報に基づく、Ｃ４７に記載の装置。
[Ｃ５８] 前記１つ以上のプロセッサが、前記１つ以上の参照候補を最終的な参照ピクチャリストから除外するようにさらに構成された、Ｃ４７に記載の装置。
[Ｃ５９] 第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を決定するための手段と、
アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを符号化するために、参照ピクチャリスト内に１つ以上の参照候補を含めるための手段と、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを符号化するための手段と、
前記符号化された第１のビューコンポーネントに、符号化されたビットストリーム内の前記決定された参照ビュー情報を提供するための手段とを備える、ビデオデータを符号化するための装置。
[Ｃ６０] 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、Ｃ５９に記載の装置。
[Ｃ６１] 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ提供され、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるための手段が、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加するための手段を備える、Ｃ５９に記載の装置。
[Ｃ６２] 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、Ｃ５９に記載の装置。
[Ｃ６３] 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、Ｃ６２に記載の装置。
[Ｃ６４] 実行されたとき、１つ以上のプロセッサに、
第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を決定することと、
アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを符号化するための、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを符号化することと、
前記符号化された第１のビューコンポーネントに、符号化されたビットストリーム内の前記決定された参照ビュー情報を提供することとを行わせる命令を記憶した、非一時的コンピュータ可読記憶媒体。
[Ｃ６５] 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、Ｃ６４に記載の非一時的コンピュータ可読記憶媒体。
[Ｃ６６] 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ提供され、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるために、前記命令が前記１つ以上のプロセッサに、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加させる、Ｃ６４に記載の非一時的コンピュータ可読記憶媒体。
[Ｃ６７] 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、Ｃ６４に記載の非一時的コンピュータ可読記憶媒体。
[Ｃ６８] 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、Ｃ６７に記載の非一時的コンピュータ可読記憶媒体。

Claims (68)

  1. 符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を取得することと、
    アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
    前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを復号することと
    を備える、ビデオデータを復号する方法。
  2. 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、請求項１に記載の方法。
  3. 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ含まれ、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めることが、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加することを備える、請求項１に記載の方法。
  4. 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、請求項１に記載の方法。
  5. 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、請求項４に記載の方法。
  6. 前記参照ビュー情報を取得することが、シーケンスレベルで前記参照ビュー情報を取得することを備える、請求項１に記載の方法。
  7. 前記参照ビュー情報を取得することが、シーケンスレベルでビューごとに前記参照ビュー情報を取得することを備える、請求項６に記載の方法。
  8. 前記シーケンスレベルで前記参照ビュー情報を取得することが、シーケンスパラメータセット（ＳＰＳ）内の前記１つ以上の参照ビューのビュー順序インデックスを取得することを備える、請求項６に記載の方法。
  9. 前記１つ以上の参照ビューが前記参照ビュー情報に含まれる順序に基づいて、第１の参照ピクチャリストの第１の初期のリスト及び第２の参照ピクチャリストの第２の初期のリストのうちの１つに、同じアクセスユニットのビューコンポーネントを追加することをさらに備える、請求項１に記載の方法。
  10. 前記１つ以上の参照候補を最終的な参照ピクチャリストの任意の位置に並べ替えることをさらに備える、請求項１に記載の方法。
  11. 前記１つ以上の参照候補を並べ替えることが、前記参照ビュー情報に基づく、請求項１に記載の方法。
  12. 前記１つ以上の参照候補を最終的な参照ピクチャリストから除外することをさらに備える、請求項１に記載の方法。
  13. 符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を取得することと、
    アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
    前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを復号することと
    を行うように構成された１つ以上のプロセッサを備える、ビデオデータを復号するための装置。
  14. 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、請求項１３に記載の装置。
  15. 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ含まれ、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるために、前記１つ以上のプロセッサが、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加するように構成された、請求項１３に記載の装置。
  16. 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、請求項１３に記載の装置。
  17. 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、請求項１６に記載の装置。
  18. 前記参照ビュー情報を取得するために、前記１つ以上のプロセッサが、シーケンスレベルで前記参照ビュー情報を取得するように構成された、請求項１３に記載の装置。
  19. 前記参照ビュー情報を取得するために、前記１つ以上のプロセッサが、シーケンスレベルでビューごとに前記参照ビュー情報を取得するように構成された、請求項１８に記載の装置。
  20. 前記シーケンスレベルで前記参照ビュー情報を取得するために、前記１つ以上のプロセッサが、シーケンスパラメータセット（ＳＰＳ）内の前記１つ以上の参照ビューのビュー順序インデックスを取得するように構成された、請求項１８に記載の装置。
  21. 前記１つ以上のプロセッサが、前記１つ以上の参照ビューが前記参照ビュー情報に含まれる順序に基づいて、第１の参照ピクチャリストの第１の初期のリスト及び第２の参照ピクチャリストの第２の初期のリストのうちの１つに、同じアクセスユニットのビューコンポーネントを追加するようにさらに構成された、請求項１３に記載の装置。
  22. 前記１つ以上のプロセッサが、前記１つ以上の参照候補を最終的な参照ピクチャリストの任意の位置に並べ替えるようにさらに構成された、請求項１３に記載の装置。
  23. 前記１つ以上のプロセッサが、前記参照ビュー情報に基づいて、前記１つ以上の参照候補を並べ替えるように構成された、請求項１３に記載の装置。
  24. 前記１つ以上のプロセッサが、前記１つ以上の参照候補を最終的な参照ピクチャリストから除外するように構成された、請求項１３に記載の装置。
  25. 符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を取得するための手段と、
    アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ以上の参照候補を含めるための手段と、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
    前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを復号するための手段と
    を備える、ビデオデータを復号するための装置。
  26. 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、請求項２５に記載の装置。
  27. 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ含まれ、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるための手段が、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加するための手段を備える、請求項２５に記載の装置。
  28. 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、請求項２５に記載の装置。
  29. 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、請求項２８に記載の装置。
  30. 実行されたとき、１つ以上のプロセッサに、
    符号化されたビットストリームから、第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を取得することと、
    アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを復号するために、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
    前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを復号することと
    を行わせる命令を記憶した、非一時的コンピュータ可読記憶媒体。
  31. 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、請求項３０に記載の非一時的コンピュータ可読記憶媒体。
  32. 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ含まれ、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるために、前記命令が前記１つ以上のプロセッサに、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加させる、請求項３０に記載の非一時的コンピュータ可読記憶媒体。
  33. 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、請求項３０に記載の非一時的コンピュータ可読記憶媒体。
  34. 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、請求項３３に記載の非一時的コンピュータ可読記憶媒体。
  35. 第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を決定することと、
    アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを符号化するために、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、参照候補の数が参照ビューの数と等しい、
    前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを符号化することと、
    前記符号化された第１のビューコンポーネントに、符号化されたビットストリーム内の前記決定された参照ビュー情報を提供することと
    を備える、ビデオデータを符号化する方法。
  36. 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、請求項３５に記載の方法。
  37. 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ提供され、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めることが、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加することを備える、請求項３５に記載の方法。
  38. 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、請求項３５に記載の方法。
  39. 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、請求項３８に記載の方法。
  40. 前記参照ビュー情報を提供することが、シーケンスレベルで前記参照ビュー情報を提供することを備える、請求項３５に記載の方法。
  41. 前記参照ビュー情報を提供することが、シーケンスレベルでビューごとに前記参照ビュー情報を提供することを備える、請求項４０に記載の方法。
  42. 前記シーケンスレベルで前記参照ビュー情報を提供することが、シーケンスパラメータセット（ＳＰＳ）内の前記１つ以上の参照ビューのビュー順序インデックスを提供することを備える、請求項４０に記載の方法。
  43. 前記１つ以上の参照ビューが前記参照ビュー情報に含まれる順序に基づいて、第１の参照ピクチャリストの第１の初期のリスト及び第２の参照ピクチャリストの第２の初期のリストのうちの１つに、同じアクセスユニットのビューコンポーネントを追加することをさらに備える、請求項３５に記載の方法。
  44. 前記１つ以上の参照候補を最終的な参照ピクチャリストの任意の位置に並べ替えることをさらに備える、請求項３５に記載の方法。
  45. 前記１つ以上の参照候補を並べ替えることが、前記参照ビュー情報に基づく、請求項３５に記載の方法。
  46. 前記１つ以上の参照候補を最終的な参照ピクチャリストから除外することをさらに備える、請求項３５に記載の方法。
  47. 第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を決定することと、
    アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを符号化するための、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
    前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを符号化することと、
    前記符号化された第１のビューコンポーネントに、符号化されたビットストリーム内の前記決定された参照ビュー情報を提供することと
    を行うように構成された１つ以上のプロセッサを備える、ビデオデータを符号化するための装置。
  48. 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、請求項４７に記載の装置。
  49. 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ提供され、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるために、前記１つ以上のプロセッサが、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加するように構成された、請求項４７に記載の装置。
  50. 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、請求項４７に記載の装置。
  51. 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、請求項５０に記載の装置。
  52. 前記参照ビュー情報を提供するために、前記１つ以上のプロセッサが、シーケンスレベルで前記参照ビュー情報を提供するように構成された、請求項４７に記載の装置。
  53. 前記参照ビュー情報を提供するために、前記１つ以上のプロセッサが、シーケンスレベルでビューごとに前記参照ビュー情報を提供するように構成された、請求項５２に記載の装置。
  54. 前記シーケンスレベルで前記参照ビュー情報を提供するために、前記１つ以上のプロセッサが、シーケンスパラメータセット（ＳＰＳ）内の前記１つ以上の参照ビューのビュー順序インデックスを提供するように構成された、請求項５２に記載の装置。
  55. 前記１つ以上のプロセッサが、前記１つ以上の参照ビューが前記参照ビュー情報に含まれる順序に基づいて、第１の参照ピクチャリストの第１の初期のリスト及び第２の参照ピクチャリストの第２の初期のリストのうちの１つに、同じアクセスユニットのビューコンポーネントを追加するようにさらに構成された、請求項４７に記載の装置。
  56. 前記１つ以上のプロセッサが、前記１つ以上の参照候補を最終的な参照ピクチャリストの任意の位置に並べ替えるようにさらに構成された、請求項４７に記載の装置。
  57. 前記１つ以上の参照候補を並べ替えることが、前記参照ビュー情報に基づく、請求項４７に記載の装置。
  58. 前記１つ以上のプロセッサが、前記１つ以上の参照候補を最終的な参照ピクチャリストから除外するようにさらに構成された、請求項４７に記載の装置。
  59. 第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を決定するための手段と、
    アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを符号化するために、参照ピクチャリスト内に１つ以上の参照候補を含めるための手段と、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
    前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを符号化するための手段と、
    前記符号化された第１のビューコンポーネントに、符号化されたビットストリーム内の前記決定された参照ビュー情報を提供するための手段と
    を備える、ビデオデータを符号化するための装置。
  60. 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、請求項５９に記載の装置。
  61. 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ提供され、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるための手段が、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加するための手段を備える、請求項５９に記載の装置。
  62. 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、請求項５９に記載の装置。
  63. 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、請求項６２に記載の装置。
  64. 実行されたとき、１つ以上のプロセッサに、
    第１のビューの任意のビューコンポーネントについて、前記第１のビューのビューコンポーネントを予測するための１つ以上の参照ビューを示す参照ビュー情報を決定することと、
    アクセスユニット内及び前記第１のビュー内の第１のビューコンポーネントを符号化するための、参照ピクチャリスト内に１つ以上の参照候補を含めることと、前記１つ以上の参照候補が、前記アクセスユニット内及び前記参照ビュー情報によって示された前記参照ビュー内のビューコンポーネントを備え、前記参照候補の数が前記参照ビューの数と等しい、
    前記参照ピクチャリスト内の前記１つ以上の参照候補に基づいて、前記第１のビューコンポーネントを符号化することと、
    前記符号化された第１のビューコンポーネントに、符号化されたビットストリーム内の前記決定された参照ビュー情報を提供することと
    を行わせる命令を記憶した、非一時的コンピュータ可読記憶媒体。
  65. 前記参照ビュー情報が、ランダムアクセスポイントとして使用される前記第１のビューのビューコンポーネントと、ランダムアクセスポイントとして使用されない前記第１のビューのビューコンポーネントとの復号のために、同じであり一度だけ取得される、請求項６４に記載の非一時的コンピュータ可読記憶媒体。
  66. 前記参照ピクチャリストが第１の参照ピクチャリスト及び第２の参照ピクチャリストのうちの１つを備え、前記参照ビュー情報が、前記第１のビューの任意のビューコンポーネントの前記第１の参照ピクチャリスト用及び前記第２の参照ピクチャリスト用に、同じであり一度だけ提供され、参照候補として前記１つ以上の参照ビューのビューコンポーネントを含めるために、前記命令が前記１つ以上のプロセッサに、同じビューコンポーネントを前記第１の参照ピクチャリストと前記第２の参照ピクチャリストとに追加させる、請求項６４に記載の非一時的コンピュータ可読記憶媒体。
  67. 前記参照ビュー情報が、参照ビューごとに、アクセスユニット内のビューの復号順序を示すビュー順序インデックスの指示を備える、請求項６４に記載の非一時的コンピュータ可読記憶媒体。
  68. 前記ビュー順序インデックスの前記指示が、参照ビューの前記ビュー順序インデックスと前記第１のビューの前記ビュー順序インデックスとの間の差分を備える、請求項６７に記載の非一時的コンピュータ可読記憶媒体。
JP2014523053A 2011-07-28 2012-07-27 マルチビュービデオコード化 Active JP5908586B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161512771P 2011-07-28 2011-07-28
US61/512,771 2011-07-28
US13/559,281 2012-07-26
US13/559,281 US9674525B2 (en) 2011-07-28 2012-07-26 Multiview video coding
PCT/US2012/048478 WO2013016611A1 (en) 2011-07-28 2012-07-27 Multiview video coding

Publications (2)

Publication Number Publication Date
JP2014526197A true JP2014526197A (ja) 2014-10-02
JP5908586B2 JP5908586B2 (ja) 2016-04-26

Family

ID=46614656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014523053A Active JP5908586B2 (ja) 2011-07-28 2012-07-27 マルチビュービデオコード化

Country Status (9)

Country Link
US (1) US9674525B2 (ja)
EP (1) EP2737700A1 (ja)
JP (1) JP5908586B2 (ja)
KR (1) KR101617556B1 (ja)
CN (1) CN103718561B (ja)
BR (1) BR112014001860B1 (ja)
CA (1) CA2843189C (ja)
RU (1) RU2589347C2 (ja)
WO (1) WO2013016611A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LT2728861T (lt) * 2011-07-02 2017-10-25 Samsung Electronics Co., Ltd. Vaizdo duomenų multipleksavimo ir demultipleksavimo būdas ir aparatas vaizdo atkūrimo būklei nustatyti
EP2752011B1 (en) * 2011-08-31 2020-05-20 Nokia Technologies Oy Multiview video coding and decoding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
WO2013128832A1 (ja) * 2012-03-02 2013-09-06 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
US10205961B2 (en) 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
KR102444264B1 (ko) * 2012-09-13 2022-09-16 엘지전자 주식회사 영상 부호화/복호화 방법 및 장치
WO2014047351A2 (en) 2012-09-19 2014-03-27 Qualcomm Incorporated Selection of pictures for disparity vector derivation
EP2904773A4 (en) * 2012-10-03 2016-12-07 Hfi Innovation Inc METHOD AND APPARATUS FOR DIMINISHING BUFFER DATA RECORDING FOR THREE-DIMENSIONAL VIDEO ENCODING PURPOSES
TW201415898A (zh) * 2012-10-09 2014-04-16 Sony Corp 影像處理裝置及方法
US9930252B2 (en) * 2012-12-06 2018-03-27 Toyota Motor Engineering & Manufacturing North America, Inc. Methods, systems and robots for processing omni-directional image data
CN105325003B (zh) 2013-04-17 2019-05-28 诺基亚技术有限公司 用于视频编码和解码的装置、方法
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US9866852B2 (en) * 2014-06-20 2018-01-09 Qualcomm Incorporated Video coding using end of sequence network abstraction layer units
US9930378B2 (en) * 2015-02-11 2018-03-27 Qualcomm Incorporated Signaling of operation points for carriage of HEVC extensions
EP3404927A4 (en) * 2016-01-13 2018-11-21 Sony Corporation Information processing device and information processing method
US9955183B2 (en) * 2016-04-14 2018-04-24 Avid Technology, Inc. Open to closed group of pictures conversion in interframe video compression
KR102573250B1 (ko) * 2018-09-12 2023-08-30 후아웨이 테크놀러지 컴퍼니 리미티드 델타 화상 순서 카운트에 대한 사인값 및 절대값 시그널링
KR102166158B1 (ko) 2018-12-19 2020-10-15 (주)이머시브캐스트 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182669A (ja) * 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2009532930A (ja) * 2006-03-30 2009-09-10 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
JP2010514353A (ja) * 2006-12-21 2010-04-30 トムソン ライセンシング 多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置
WO2011002723A1 (en) * 2009-06-29 2011-01-06 Qualcomm Incorporated Assembling multiview video coding sub-bistreams in mpeg-2 systems
WO2011013257A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 マルチビュービデオ復号装置およびその方法
WO2011035211A2 (en) * 2009-09-16 2011-03-24 Qualcomm Incorporated Multi-track video coding methods and apparatus using an extractor that references two or more non- consecutive nal units

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728878B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
WO2007077942A1 (ja) 2006-01-05 2007-07-12 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US7817865B2 (en) 2006-01-12 2010-10-19 Lg Electronics Inc. Processing multiview video
CN101416518B (zh) 2006-03-29 2013-07-10 汤姆森特许公司 多视图视频编码方法和装置
CN101455082B (zh) * 2006-03-30 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US9641842B2 (en) 2006-07-06 2017-05-02 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
WO2008010932A2 (en) * 2006-07-20 2008-01-24 Thomson Licensing Method and apparatus for signaling view scalability in multi-view video coding
US8228998B2 (en) 2006-10-10 2012-07-24 Nippon Telegraph And Telephone Corporation Intra prediction encoding control method and apparatus, program therefor, and storage medium which stores the program
BRPI0717321A2 (pt) * 2006-10-13 2013-10-22 Thomson Licensing Método para gerenciamento de imagens de referência envolvendo codificação de vídeo com mútiplas visualizações
JP2010516098A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング マルチ・ビュー符号化ビデオにおいて高レベル・シンタックス参照ビューを用いてエラー隠蔽を行う方法および装置
WO2008088175A1 (en) 2007-01-17 2008-07-24 Lg Electronics Inc. Method and apparatus for processing a video signal
US20100266042A1 (en) 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal
JP2009100070A (ja) 2007-10-15 2009-05-07 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
EP2387243A4 (en) 2009-01-12 2012-12-26 Lg Electronics Inc DEPTH INFORMATION USING VIDEO SIGNAL PROCESSING METHOD AND DEVICE
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
CN105657405B (zh) 2009-02-19 2018-06-26 汤姆逊许可证公司 3d视频格式
KR101619451B1 (ko) * 2009-04-17 2016-05-10 엘지전자 주식회사 다시점 비디오 신호의 처리 방법 및 장치
US20120106634A1 (en) * 2009-04-21 2012-05-03 Lg Electronics Inc. Method and apparatus for processing multi-view video signal
EP2424240A4 (en) 2009-04-22 2013-04-10 Lg Electronics Inc METHOD FOR MODIFYING REFERENCE COPY LISTS FOR A MORE VIEWED VIDEO
JP5524594B2 (ja) 2009-12-14 2014-06-18 パナソニック株式会社 画像復号装置及び画像復号方法
WO2012052968A1 (en) 2010-10-20 2012-04-26 Nokia Corporation Method and device for video coding and decoding
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009532930A (ja) * 2006-03-30 2009-09-10 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
JP2008182669A (ja) * 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2010514353A (ja) * 2006-12-21 2010-04-30 トムソン ライセンシング 多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置
WO2011002723A1 (en) * 2009-06-29 2011-01-06 Qualcomm Incorporated Assembling multiview video coding sub-bistreams in mpeg-2 systems
WO2011013257A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 マルチビュービデオ復号装置およびその方法
WO2011035211A2 (en) * 2009-09-16 2011-03-24 Qualcomm Incorporated Multi-track video coding methods and apparatus using an extractor that references two or more non- consecutive nal units

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6016006408; Ｙｅ-Ｋｕｉ　Ｗａｎｇ　ｅｔ　ａｌ．: 'ＡＨＧ１２：　Ｖｉｄｅｏ　ｐａｒａｍｅｔｅｒ　ｓｅｔ　ａｎｄ　ｉｔｓ　ｕｓｅ　ｉｎ　３Ｄ-ＨＥＶＣ' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ　１６　ＷＰ　３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ　１／ＳＣ　２９／ＷＧ　１１ ＪＣＴＶＣ-Ｉ０５７１, 201204, ｐｐ．１-９, ９ｔｈ　Ｍｅｅｔｉｎｇ：　Ｇｅｎｅｖａ，　ＣＨ *
JPN6016006411; Ｙｅ-Ｋｕｉ　Ｗａｎｇ　ａｎｄ　Ｙｉｎｇ　Ｃｈｅｎ: 'ＡＨＧ１２：　Ｅｘａｍｐｌｅ　３Ｄ-ＨＥＶＣ　ＮＡＬ　ｕｎｉｔ　ｈｅａｄｅｒ　ｄｅｓｉｇｎ' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ　１６　ＷＰ　３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ　１／ＳＣ　２９／ＷＧ　１１ ＪＣＴＶＣ-Ｉ０５７０, 201204, ｐｐ．１-３, ９ｔｈ　Ｍｅｅｔｉｎｇ：　Ｇｅｎｅｖａ，　ＣＨ， *

Also Published As

Publication number Publication date
US9674525B2 (en) 2017-06-06
RU2014107707A (ru) 2015-09-10
BR112014001860A2 (pt) 2017-02-21
CA2843189A1 (en) 2013-01-31
EP2737700A1 (en) 2014-06-04
CN103718561A (zh) 2014-04-09
JP5908586B2 (ja) 2016-04-26
KR20140056310A (ko) 2014-05-09
BR112014001860B1 (pt) 2022-08-16
KR101617556B1 (ko) 2016-05-02
RU2589347C2 (ru) 2016-07-10
CA2843189C (en) 2018-08-28
WO2013016611A1 (en) 2013-01-31
CN103718561B (zh) 2017-03-08
US20130114705A1 (en) 2013-05-09

Similar Documents

Publication Publication Date Title
JP5902300B2 (ja) マルチビュービデオコード化
JP5908586B2 (ja) マルチビュービデオコード化
JP6629363B2 (ja) マルチビューコード化及び３ｄコード化におけるビュー依存性
JP6552923B2 (ja) ビデオコード化における動きベクトル予測
JP6117243B2 (ja) ビデオコーディング用のコーディングパラメータセットおよびｎａｌユニットヘッダ
JP5902314B2 (ja) マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化
JP2015507883A (ja) 深度を用いた３ｄビデオコーディングにおける多仮説視差ベクトル構成

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160323

R150 Certificate of patent or registration of utility model

Ref document number: 5908586

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250