JP2016506693A - マルチビューコード化プラス深度のためのトラックにおけるテクスチャビューと深度ビューの存在の指示 - Google Patents

マルチビューコード化プラス深度のためのトラックにおけるテクスチャビューと深度ビューの存在の指示 Download PDF

Info

Publication number
JP2016506693A
JP2016506693A JP2015551720A JP2015551720A JP2016506693A JP 2016506693 A JP2016506693 A JP 2016506693A JP 2015551720 A JP2015551720 A JP 2015551720A JP 2015551720 A JP2015551720 A JP 2015551720A JP 2016506693 A JP2016506693 A JP 2016506693A
Authority
JP
Japan
Prior art keywords
view
track
depth
texture
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015551720A
Other languages
English (en)
Other versions
JP6279613B2 (ja
JP2016506693A5 (ja
Inventor
ワン、イェ−クイ
チェン、イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016506693A publication Critical patent/JP2016506693A/ja
Publication of JP2016506693A5 publication Critical patent/JP2016506693A5/ja
Application granted granted Critical
Publication of JP6279613B2 publication Critical patent/JP6279613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • H04N5/919—Television signal processing therefor for bandwidth reduction by dividing samples or signal segments, e.g. television lines, among a plurality of recording channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

複数のコード化されたビューを含むビデオストリームをメディアファイル中にカプセル化するための技法が本明細書で説明される。一例では、方法は、ビデオデータのトラックを構文解析することを含み、トラックは１つ以上のビューを含む。方法は更に、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を構文解析することを含む。別の例示的な方法は、ビデオデータのトラックを合成することと、ここにおいて、トラックは１つ以上のビューを含む、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成することとを含む。

Description

優先権の主張
[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１３年１月４日に出願された米国仮出願第６１／７４９，０８９号の利益を主張する。
[0002]本開示は、ビデオコード化とビデオコンテンツの記憶とに関し、より具体的には、複数のコード化されたビューを含むビデオストリームを記憶するための技法に関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器、トランスコーダ、ルータ又は他のネットワーク機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中のＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格によって定義された規格、プロプライエタリ規格、ＶＰ８のようなオープンビデオ圧縮フォーマット、及びそのような規格、技法又はフォーマットの拡張に記載されているビデオ圧縮技法のような、ビデオ圧縮技法を実施する。ビデオ機器は、そのようなビデオ圧縮技法を実施することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶することができる。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコード化では、ビデオスライス（即ち、ビデオフレーム又はビデオフレームの一部分）がビデオブロックに分割されてよく、これらのビデオブロックは、マクロブロック、ツリーブロック、コード化単位（ＣＵ）及び／又はコード化ノードと呼ばれることもある。ビデオブロックは、それら自体がより小さなビデオブロック又は区分へと副分割されることがあり、区分は更に副分割されることがある。例えば、マクロブロックは、区分と呼ばれることが多いより小さなビデオブロックへと副分割されることがあり、区分の一部は、更に小さなビデオブロックへと副分割されることがある。
[0005]イントラ（Ｉ）モードでコード化されたビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化され得る。インターモード（例えば、予測（Ｐ）モード又は双予測（Ｂ）モード）でコード化されたビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、又は他の参照ピクチャ中の参照サンプルに対する時間的予測を使用することができる。空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックをもたらす。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化されたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、及びコード化されたブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化されたブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数が、次いで量子化され得る。最初に２次元アレイで構成される量子化された変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、なお一層の圧縮を達成するためにエントロピーコード化が適用されてよい。
[0006]本開示は、ビデオデータを記憶するための様々な技法に関する。具体的には、本開示は、複数のコード化されたビューを含むビデオストリームを記憶するための技法を説明する。
[0007]本開示の一例では、ビデオデータを処理する方法が説明される。方法は、ビデオデータのトラックを解析（構文解析（parsing））することと、ここにおいて、トラックは１つ又は複数のビューを含む、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、テクスチャビューと深度ビューの両方を含むかを決定するために情報を解析することとを含む。
[0008]別の例では、１つ又は複数のプロセッサを含む、ビデオデータを処理するための機器が説明される。１つ又は複数のプロセッサは、ビデオデータのトラックを解析するように構成され、トラックは１つ又は複数のビューを含む。１つ又は複数のプロセッサは更に、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を解析するように構成される。
[0009]命令を記憶した非一時的コンピュータ可読記憶媒体も説明される。実行されると、命令は、ビデオコード化機器の１つ又は複数のプロセッサに、ビデオデータのトラックを解析させ、トラックは１つ又は複数のビューを含む。命令を実行することは更に、ビデオコード化機器の１つ又は複数のプロセッサに、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を解析させる。
[0010]別の例では、コード化されたビデオコンテンツを含むビデオファイルを解析するように構成される装置が説明される。装置は、ビデオデータのトラックを解析するための手段を含み、トラックは１つ又は複数のビューを含む。装置は更に、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を解析するための手段を含む。
[0011]別の例では、ビデオデータを処理する方法が説明される。方法は、ビデオデータのトラックを合成することと、ここにおいて、トラックは１つ又は複数のビューを含む、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成することとを含む。
[0012]別の例では、１つ又は複数のプロセッサを含む、ビデオデータを処理するための機器。１つ又は複数のプロセッサは、ビデオデータのトラックを合成するように構成され、トラックは１つ又は複数のビューを含む。１つ又は複数のプロセッサは更に、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報によって、合成するように構成される。
[0013]命令を記憶した非一時的コンピュータ可読記憶媒体も説明される。実行されると、命令は、ビデオコード化機器の１つ又は複数のプロセッサに、ビデオデータのトラックを合成させ、トラックは１つ又は複数のビューを含む。命令を実行することは更に、ビデオコード化機器の１つ又は複数のプロセッサに、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成させる。
[0014]別の例では、コード化されたビデオコンテンツを含むビデオファイルを解析するように構成される装置が説明される。装置は、ビデオデータのトラックを合成するための手段を含み、トラックは１つ又は複数のビューを含む。装置は更に、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成するための手段を含む。
[0015]１つ又は複数の例の詳細が、添付の図面及び以下の説明に記載されている。他の特徴、目的、及び利点は、その説明及び図面、ならびに特許請求の範囲から明らかになろう。
[0016]本開示で説明される技法により生成され得る例示的なＭＶＣ＋Ｄメディアファイルの構造を示す概念図。 [0017]本開示で説明される技法により生成されるメディアファイルに含まれ得るＭＶＣ＋Ｄアクセス単位の例を示す図。 [0018]本開示で説明される技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。 [0019]本開示で説明される技法を実施し得る例示的なビデオエンコーダを示すブロック図。 [0020]本開示で説明される技法を実施し得る例示的なビデオデコーダと逆カプセル化モジュール（decapsulation）とを示すブロック図。 [0021]本開示で説明される技法を実施し得る例示的なカプセル化モジュールのコンポーネントを示すブロック図。 [0022]本開示で説明される技法を実施し得るネットワークの一部を形成する機器の例示的なセットを示すブロック図。 [0023]本開示で説明される技法による、テクスチャビューと深度ビューの存在を示すマルチビュービデオコンテンツを含むメディアファイルを構文解析する例示的な方法を示すフローチャート。 [0024]本開示で説明される技法による、テクスチャビューと深度ビューの存在を示すためにマルチビュービデオコンテンツを含むメディアファイルを合成する例示的な方法を示すフローチャート。 [0025]本開示で説明される技法による、ビューの依存関係を示すマルチビュービデオを含むメディアファイルを構文解析する例示的な方法を示すフローチャート。 [0026]本開示で説明される技法による、ビューの依存関係を示すためにマルチビュービデオコンテンツを含むメディアファイルを合成する例示的な方法を示すフローチャート。 [0027]本開示で説明される技法による、深度ビューの空間分解能を決定するためにマルチビュービデオを含むメディアファイルを構文解析する例示的な方法を示すフローチャート。 [0028]本開示で説明される技法による、深度ビューの空間分解能を示すためにマルチビュービデオコンテンツを含むメディアファイルを合成する例示的な方法を示すフローチャート。 [0029]本開示で説明される技法による、特定のビューのテクスチャビュー及び深度ビューが別々のトラックに記憶される、マルチビュービデオを含むメディアファイルを構文解析する例示的な方法を示すフローチャート。 [0030]本開示で説明される技法による、特定のビューのテクスチャビュー及び深度ビューが別々のトラックに記憶される、マルチビュービデオコンテンツを含むメディアファイルを合成する例示的な方法を示すフローチャート。
[0031]全般に、本開示は、ビデオコンテンツをカプセル化して逆カプセル化することと、コード化されたビデオコンテンツをファイルに記憶することとに関する。本開示は、例えば、国際標準化機構（ＩＳＯ）ベースのメディアファイルフォーマット（ＩＳＯＢＭＦＦ）に基づくファイルに、ＨＥＶＣビデオ規格に従ってコード化されたビデオコンテンツを記憶することを含む、ビデオコンテンツを記憶するための様々な技法を説明する。具体的には、本開示は、メディアファイル中の複数のコード化されたビューを含むビデオストリームをカプセル化するための技法を説明する。本開示全体で、「メディアファイル」という用語は「ビデオファイル」と交換可能に使用され得る。複数のコード化されたビューを含むビデオストリームを合成して解析（構文解析（parsing））するための様々な方法が本明細書で開示され、各ビューは、ＩＳＯＢＭＦＦに基づくファイルに、テクスチャビューのみ、深度ビューのみ、又はテクスチャビューと深度ビューの両方を含み得る。
[0032]ビデオコード化規格の例は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、及び、スケーラブルビデオコード化（ＳＶＣ）拡張とマルチビュービデオコード化（ＭＶＣ）拡張とを含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４を含む。加えて、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）とＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ）によって開発されている新しいビデオコード化規格、即ち、Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）がある。ＨＥＶＣの最近のワーキングドラフト（ＷＤ）は、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ９」（本明細書では「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ９」又は「ＨＥＶＣ ＷＤ９」と呼ばれる）と題され、文書ＪＣＴＶＣ−Ｋ１００３＿ｖ１１、Ｂｒｏｓｓ他、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３及びＩＳＯ／ＩＥＣ ＴＪＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ）、第１１回会合、上海、中国、２０１２年１０月１０日〜１９日に記載されており、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１１＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴＶＣ−Ｋ１００３−ｖ１１．ｚｉｐ．から利用可能である。
[0033]様々なＡＶＣ及びＨＥＶＣの拡張も、ＪＣＴ−３Ｖ及びＪＴＣ−ＶＣにおいて開発中である。ＪＣＴ−３Ｖでは、マルチビュー拡張（ＭＶ−ＨＥＶＣ）及び３Ｄビデオ拡張（３Ｄ−ＨＥＶＣ）という２つのＨＥＶＣ拡張が開発されている。加えて、ＭＶＣ＋Ｄ及び３Ｄ−ＡＶＣという２つのＡＶＣ拡張が開発されている。
[0034]進行中の規格の最近のバージョンは次の通りである。Ｍ．Ｈａｎｎｕｋｓｅｌａ （Ｎｏｋｉａ）、Ｙ．Ｃｈｅｎ （Ｑｕａｌｃｏｍｍ）、Ｇ．Ｓｕｌｌｉｖａｎ （Ｍｉｃｒｏｓｏｆｔ）、Ｔ．Ｓｕｚｕｋｉ、Ｓ．Ｈａｔｔｏｒｉ （Ｓｏｎｙ）による、２０１２年１０月付けの、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／２＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴ３Ｖ−Ｂ１００１−ｖ１．ｚｉｐ．において入手可能な、「Ｓｔｕｄｙ Ｔｅｘｔ ｏｆ ＩＳＯ／ＩＥＣ １４４９６−１０：２０１２／ＤＡＭ２ ＭＶＣ ｅｘｔｅｎｓｉｏｎ ｆｏｒ ｉｎｃｌｕｓｉｏｎ ｏｆ ｄｅｐｔｈ ｍａｐｓ」という表題の文書ＪＣＴ３Ｖ−Ｂ１００１。これは、ＭＶＣ＋Ｄ又は３次元ビデオコード化（３ＶＣ）とも呼ばれ、コード化されたビデオは３次元ビデオ（３ＤＶ）と呼ばれ得る。３次元ビデオコード化（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）は、３次元ビデオコード化（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎ ｖｉｄｅｏ ｃｏｄｉｎｇ）とも呼ばれ得る。Ｍ．Ｍ．Ｈａｎｎｕｋｓｅｌａ、Ｙ．Ｃｈｅｎ、Ｔ．Ｓｕｚｕｋｉ、Ｊ．−Ｒ．Ｏｈｍ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎによる、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／２＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴ３Ｖ−Ｂ１００２−ｖ１．ｚｉｐ．において入手可能な、「３Ｄ−ＡＶＣ ｄｒａｆｔ ｔｅｘｔ ４」という表題の文書ＪＣＴ３Ｖ−Ｂ１００２。Ｇ．Ｔｅｃｈ、Ｋ．Ｗｅｇｎｅｒ、Ｙ．Ｃｈｅｎ、Ｍ．Ｈａｎｎｕｋｓｅｌａによる、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／２＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴ３Ｖ−Ｂ１００４−ｖ１．ｚｉｐ．において入手可能な、「ＭＶ−ＨＥＶＣ Ｄｒａｆｔ Ｔｅｘｔ ２」という表題の文書ＪＣＴ３Ｖ−Ｂ１００４。
Ｇ．Ｔｅｃｈ、Ｋ．Ｗｅｇｎｅｒ、Ｙ．Ｃｈｅｎ、Ｓ．Ｙｅａによる、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／２＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴ３Ｖ−Ｂ１００５−ｖ１．ｚｉｐ．において入手可能な、「３Ｄ−ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ ２」という表題の文書ＪＣＴ３Ｖ−Ｂ１００５。
[0035]本開示は、電子データファイルへのビデオコンテンツの記憶に関する。特定のビデオ規格に従ってコード化されたビデオコンテンツを記憶するためには、その特定のビデオ規格に対応するファイルフォーマット規格が有用であり得る。具体的には、本文書は、複数のコード化されたビューを含むビデオストリームを記憶するための様々な方法を開示し、各ビューは、ＩＳＯベースのメディアファイルフォーマット（ＩＳＯＢＭＦＦ）に基づくファイルに、テクスチャビューのみ、深度ビューのみ、又は両方を含み得る。コード化拡張規格の様々な１つにおいて、複数のビュー又はレイヤが存在し得る。更に、異なるレイヤ、テクスチャビュー又は深度ビューは、異なる空間分解能を有し得る。符号化されたビデオのファイルへのカプセル化のための技法が説明され、符号化されたビデオコンテンツを取り出すためのファイルの逆カプセル化の技法も説明される。
[0036]ファイルフォーマット規格は、ＩＳＯベースのメディアファイルフォーマット（ＩＳＯＢＭＦＦ、ＩＳＯ／ＩＥＣ １４４９６−１２）と、ＭＰＥＧ−４ファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１４）、第３世代パートナーシッププロジェクト（３ＧＰＰ）ファイルフォーマット（３ＧＰＰ ＴＳ２６．２４４）、及びＡＶＣファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１５）を含む、ＩＳＯＢＭＦＦから導かれた他のフォーマットとを含む。ＩＳＯＢＭＦＦは、ＡＶＣファイルフォーマットのような多くのエンコーダ−デコーダ（コーデック）カプセル化フォーマットのための、更には、ＭＰＥＧ−４ファイルフォーマット、３ＧＰＰファイルフォーマット（３ＧＰ）、及びＤＶＢファイルフォーマットのような多くのマルチメディアコンテナフォーマットのための、基礎として使用され得る。
[0037]ＨＥＶＣファイルフォーマットは、そのカプセル化フォーマットの基礎として、ＩＳＯＢＭＦＦを使用する。（本明細書では「ＨＥＶＣＦＦ」と呼ばれる）ＨＥＶＣファイルフォーマットの最新のドラフトは、ＩＳＯ／ＩＥＣ １４４９６−１５ ２０１０／Ａｍｄ．１：２０１１（Ｅ）に従って定義され、次の規範的な参照、即ち、ＩＳＯ／ＩＥＣ １４４９６−１５、Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ１５： ＩＳＯベースのメディアファイルフォーマット（即ち、ＩＳＯＢＭＦＦ）におけるＮＡＬ単位により構成されたビデオの搬送、を含む。
[0038]ＩＳＯＢＭＦＦは、多くのビデオコード化規格のカプセル化フォーマット、及び、多くのマルチメディアコンテナフォーマットの基礎として使用される。ＩＳＯＢＭＦＦに基づく他のファイルフォーマットの例は、例えば、ＭＰＥＧ−４ファイルフォーマット（ＩＳＯ／ＩＥＣ １４４９６−１４）、３ＧＰＰファイルフォーマット（３ＧＰＰ ＴＳ２６．２４４）、及びＡＶＣファイルフォーマット（ＩＳＯ／ＩＥＣ １４４９６−１５）（即ち、ＡＶＣＦＦ）を含む。更に、本明細書で開示される技法は、ＨＥＶＣに関する幾つかの例で説明され、特定のファイルフォーマットに言及することがあるが、それらの技法は、他のビデオコード化規格及びファイルフォーマットに等しく適用可能であり得ることに留意されたい。
[0039]連続的なメディア（例えば、オーディオ及びビデオのような）に加えて、静的なメディア（例えば、画像のような）及びメタデータが、ＩＳＯＢＭＦＦに準拠したファイルに記憶され得る。ＩＳＯＢＭＦＦに従って構成されたファイルは、ローカルメディアファイルの再生、リモートファイルのプログレッシブダウンロード、Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ（ＨＴＴＰ）（ＤＡＳＨ）のためのセグメント、ストリーミングされるべきコンテンツ及びそのパケット化命令のためのコンテナ、並びに、受信されたリアルタイムメディアストリームの記録を含む、多くの目的のために使用され得る。一般に、ＩＳＯＢＭＦＦは、オーディオデータ及びビデオデータのような連続的なメディアデータが、メタデータとは独立に記憶されることを可能にする。一例では、メディアデータは、ＨＥＶＣに従ってコード化されたピクチャのグループを含み得る。メタデータは通常、メディアデータの部分が独立に復号可能であるように、表示情報とタイミング情報とを含む。
[0040]ＩＳＯＢＭＦＦは、メディアファイルを形成するための構成単位としてエレメンタリシンタックス要素が使用される、オブジェクト指向ベースの方式を使用する。ＩＳＯＢＭＦＦでは、これらのシンタックス要素は「ボックス」と呼ばれる。しかしながら、ＩＳＯＢＭＦＦに基づく特定のファイルフォーマットは、「アトム」のような異なる用語を使用して、ボックスに言及することがある。更に、ＩＳＯＢＭＦＦに基づく特定のファイルフォーマットを説明するとき、限定されない方式で、しばしば特定の用語がＨＥＶＣＦＦの用語と交換可能に使用され得ることに留意されたい。例えば、ＨＥＶＣＦＦを説明するとき、「アクセス単位」という用語が、ＩＳＯＢＭＦＦにおける「サンプル」という用語に対応することがあり、アクセス単位はいずれの用語を使用しても表され得る。
[0041]ＩＳＯＢＭＦＦでは、ボックス、エレメンタリシンタックス要素は、４文字のタイプと、ボックスのバイトカウントと、ペイロードとを含む。ボックスタイプは、特定のボックスと他のタイプのボックスとの論理的な関係を定義する。ボックスタイプはまた、その特定のボックスタイプに対してどのデータが必須であり、その特定のボックスタイプに対してどのデータが任意であるかを表し得る。ボックスは、ボックスのシーケンス又はグループの一部であってよく、サブボックスと呼ばれ得る他のボックスを含んでよい。
[0042]ＩＳＯＢＭＦＦでは、ムービーボックス（「ｍｏｏｖ」）が、ファイル中に存在する連続的なメディアストリームのメタデータを含む。ファイル中に存在する連続的なメディアストリームのメタデータは更に、トラックボックス（「ｔｒａｋ」）のような、ムービーボックス中の追加のボックス内に封入され得る。連続的なメディアストリームは、ＩＳＯＢＭＦＦファイル中ではトラックとして表されてよく、トラックは、ムービーボックス内に封入され得るメタデータを参照する論理的な構造であり、メディアストリームはサンプルのシーケンスからなる。ＩＳＯＢＭＦＦでは、メディアストリームは、メディアデータボックス（「ｍｄａｔ」）及びそのサブボックスのような、ボックス内に封入され得る。更に、幾つかの例では、メディアストリームは、ＩＳＯＢＭＦＦファイルに直接記憶され得る。トラックに対するメディアコンテンツは、オーディオ又はビデオアクセス単位のようなサンプルのシーケンスからなる。サンプルのシーケンスは、ストリームと呼ばれ得る。ＩＳＯＢＭＦＦは、エレメンタリメディアストリームを含むメディアトラックを規定する。各トラックに対するメタデータは、サンプル記述エントリーのリストを含み、サンプル記述エントリーの各々が、トラック中で使用されるコード化フォーマット又はカプセル化フォーマットと、そのフォーマットを処理するための初期化データとを提供する。各サンプルは、トラックのサンプル記述エントリーの１つと関連付けられる。ＩＳＯＢＭＦＦに基づく幾つかのファイルタイプは、ヒントトラックも含む。ヒントトラックは、メディアコンテンツがネットワークを通じてストリーミングされるときに品質及び信頼性が改善されるように、メディアコンテンツの再構成を支援する情報を含む。
[0043]ＩＳＯＢＭＦＦは、次のタイプのトラック、即ち、エレメンタリメディアストリームを含むメディアトラックと、メディア送信命令を含むか受信されたパケットストリームを表すかのいずれかであるヒントトラックと、時間同期されたメタデータを備えるタイムドメタデータトラックとを規定する。
[0044]元々は記憶のために設計されたが、ＩＳＯＢＭＦＦは、ストリーミング、例えばプログレッシブダウンロード又はＤＡＳＨのために非常に有用であることがわかっている。ストリーミングの目的で、ＩＳＯＢＭＦＦで定義されたムービーフラグメントが使用され得る。
[0045]各トラックに対するメタデータは、サンプル記述エントリーのリストを含み、サンプル記述エントリーの各々が、トラック中で使用されるコード化フォーマット又はカプセル化フォーマットと、そのフォーマットを処理するための初期化データとを提供する。各サンプルは、トラックのサンプル記述エントリーの１つと関連付けられる。
[0046]ＩＳＯＢＭＦＦは、様々な機構によってサンプル固有のメタデータを規定することを可能にする。サンプルテーブルボックス（「ｓｔｂｌ」）内の特定のボックスが、一般的な需要に応えるために標準化されている。例えば、シンクサンプルボックス（「ｓｔｓｓ」）は、トラックのランダムアクセスサンプルを列挙するために使用される。シンクサンプルは、ＭＶＣ構成記録又は３ＶＣ構成記録をそれぞれ含む任意のサンプルエントリーに対する、ＭＶＣ又は３ＶＣビットストリームの瞬時復号リフレッシュ（ＩＤＲ）アクセス単位の存在を特定する。サンプルグループ化機構は、ファイル中のサンプルグループ記述エントリーとして規定される同じ特性を共有するサンプルのグループへの、４文字のグループ化タイプに従ったサンプルのマッピングを可能にする。幾つかのグループ化タイプが、ＩＳＯＢＭＦＦにおいて規定されている。
[0047]ＩＳＯＢＭＦＦに従って記憶されたファイルと同様に、ＨＥＶＣファイルは、メタデータを参照する一連のエレメンタリストリームを含み得る。ＨＥＶＣＦＦでは、サンプルは、ＩＳＯ／ＩＥＣ ２３００８−２において定義されるように、アクセス単位と呼ばれ得る。ＨＥＶＣＦＦでは、メタデータは、サンプル記述エントリーにも含まれ得る。ＨＥＶＣＦＦはヒントを与えることを可能にし得るが、幾つかのファイルフォーマットにおいてヒントトラックが「Ｂフレーム」として参照するものは、実際には、ＩＳＯ／ＩＥＣ ２３００８−２において定義されるような、「使い捨て」のピクチャ又は非参照ピクチャであり得ることに留意されたい。更に、ＨＥＶＣビデオコンテンツの記憶のために使用されるファイルフォーマットは、ＩＳＯＢＭＦＦの既存の機能を使用し得るが、パラメータセット、時間スケーラビリティ、及びランダムアクセス復元ポイントのような、特定のＨＥＶＣコード化されたビデオコンテンツの特徴をサポートするための拡張も定義し得る。
[0048]多くの場合、ＩＳＯＢＭＦＦに基づく特定のビデオコーデックのビデオコンテンツを記憶するために、そのビデオコーデックに対するファイルフォーマット規格が使用される。幾つかの場合、規格に対する拡張としてコード化される深度を伴う複数のコード化されたビューを含むビデオストリームの記憶のために、その規格と適合するファイルフォーマットは、深度を伴う複数のコード化されたビューのために使用され得る。例えば、ＭＶＣのファイルフォーマット（これはＡＶＣファイルフォーマットの一部である）が、複数のコード化されたビュープラス深度（ＭＶＣ＋Ｄ）を含むビデオストリームの記憶のために再使用され得る。ＭＶＣ＋Ｄの設計はＭＶＣに基づくので、ＭＶＣ＋Ｄを記憶するためにＭＶＣのファイルフォーマットを使用することは可能である。しかしながら、ＭＶＣ＋Ｄコンテンツの記憶のためにＭＶＣファイルフォーマットを直接適用することは、少なくとも次の欠点を有する。まず、トラックに含まれるビューがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビュー成分と深度ビュー成分の両方を含むかを示すための方法がない。更に、第２のビューが依存する第１のビューのどの部分（テクスチャビュー、深度ビュー、又は両方）が、第２のビューを復号するために必要とされるかを示すための方法がない。また、深度ビュー成分によって参照されるシーケンスパラメータセット（ＳＰＳ）を構文解析することなく、深度ビューの空間分解能を信号伝達するための方法がない。
[0049]本開示の技法は、上記の問題の１つ又は複数を解決し、更には他の改善を提供して、深度を伴う複数のコード化されたビューを含むビデオストリームの効率的で柔軟な記憶を可能にし得る。この説明は、ＭＶＣファイルフォーマットに基づくＭＶＣ＋Ｄビデオストリームの記憶に固有であるが、本明細書で説明される技法は、任意のビデオコーデックによってコード化されるそのようなビデオコンテンツの記憶のための任意のファイルフォーマットに当てはまり得る。ＩＳＯ／ＩＥＣ １４４９６−１５の第７項は、ＭＶＣファイルフォーマットを規定する。本開示の技法は、深度を伴う複数のビューを含む３Ｄビデオコード化（３ＶＣ）データの記憶へと、ＩＳＯ／ＩＥＣ １４４９６−１５の第７項を拡張し得る。幾つかの新たなボックス及びサンプルエントリータイプが、本開示で定義される。
[0050]単一のメディアファイルが複数のトラック（例えば、ビデオデータストリーム１４６及びオーディオデータストリーム１４８のようなムービートラック及びオーディオトラック）を含み得る。サンプルエントリーは、サンプル又はトラックのトップレベルの見出し情報の記憶に備える（それは幾つかの例では、トラックは１つ又は複数のサンプルからなり得る）。サンプルは、例えば、アクセス単位１５０−１又はアクセス単位の一部（例えば、ＭＶＣ又は３ＶＣトラック中の）のような、アクセス単位であり得る。サンプルエントリーは、プロファイル、レベル、及び階層情報、及び他の高レベルの情報のような、トラック又はサンプルのための関連するコード化情報を、トラックのコーデックに与える。幾つかの例では、１つ又は複数のサンプルエントリーが、深度を伴うマルチビューメディアファイル１４２の中に存在する。
[0051]本明細書で説明される技法によれば、ＭＶＣファイルフォーマットで定義されるビュー識別子ボックスが変更される。一例では、ビュー識別子ボックスは、ビュー識別子ボックスと関連付けられるトラックに含まれるビューの各々に対して、トラック中及びストリーム中のテクスチャビュー及び／又は深度ビューの存在を示すように変更され得る。別の例では、ビュー識別子ボックスは、参照ビューのテクスチャビュー及び深度ビューが特定のビューを復号するためにどのように必要とされるかを示すために変更され得る。例えば、参照ビューのテクスチャビューのみ、深度ビューのみ、又は両方のビューが、特定のビューを復号するために必要とされ得る。ビュー識別子ボックスは、サンプルエントリー又はマルチビューグループエントリーに含まれ得る。
[0052]本開示の技法はまた、深度ビューの空間分解能を信号伝達することをサポートする。深度ビューの空間分解能は、新たに定義された３ＶＣ深度分解能ボックスで示され得る。３ＶＣ深度分解能ボックスは、新たに定義された３ＶＣ構成ボックスに含まれ得る。３ＶＣ構成ボックスは、３ＶＣデコーダ構成記録、３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄを含み、タイプ「３ｖｃ１」と「３ｖｃ２」のいずれかのサンプルエントリーの少なくとも１つに含まれる。３ＶＣ構成ボックスは別のサンプルエントリーに含まれ得る。３ＶＣデコーダ構成記録は、ＭＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄと同じシンタックスを有するが、３ＶＣビデオストリームに関する特性を示すために異なるセマンティクスを伴うように、定義される。
[0053]幾つかの例では、３ＶＣスケーラビリティ情報補足強化情報（ＳＥＩ）メッセージボックス（「ＳＥＩメッセージボックス」と本明細書では呼ばれる）が定義される。ＳＥＩメッセージボックスは、ＭＶＣ＋Ｄコーデック規格で定義される３ＤＶＣスケーラビリティ情報ＳＥＩメッセージを含む。ＳＥＩメッセージボックスはサンプルエントリーに含まれ得る。
[0054]更に、本開示の技法は、特定のビューのテクスチャビュー及び深度ビューの別々のトラックへの記憶に備える。幾つかの例では、タイプ値「ｄｅｐｓ」を伴う新たなトラック参照タイプが定義され、その存在は、現在のトラックが参照されたトラック中のテクスチャビューと関連付けられる深度ビューを含むことを示す。
[0055]幾つかの例では、Ｃｏｍｐｒｅｓｓｏｒｎａｍｅという新たな値が、３ＶＣビデオストリームを含むファイルのために推奨される。新たな名前は「＼０１２３ＶＣ Ｃｏｄｉｎｇ」である。
[0056]本明細書で説明される技法は、深度ＮＡＬ単位のみを伴う３ＶＣトラックに対して、「３ｖｃ１」及び「３ｖｃ２」という２つの新たなサンプルエントリータイプを導入する。エクストラクタは、「３ｖｃ１」では許容されず、「３ｖｃ２」では許容される。幾つかの既存のサンプルエントリータイプが更に定義される。サンプルエントリータイプ「ａｖ１」は、ＡＶＣ ＮＡＬ単位と、ＭＶＣ ＮＡＬ単位と、深度ＮＡＬ単位とを伴う３ＶＣトラックに対して、ＡＶＣ構成と、ＭＶＣ構成と、３ＶＣ構成とを含むように定義される。サンプルエントリータイプ「ｍｖｃ１」は更に、ＡＶＣ ＮＡＬ単位を伴わないがＭＶＣ ＮＡＬ単位と深度ＮＡＬ単位とを伴う３ＶＣトラックに対して、ＭＶＣ構成と３ＶＣ構成とを含むように定義され、ここでエクストラクタは許容されない。サンプルエントリータイプ「ｍｖｃ２」は更に、ＡＶＣ ＮＡＬ単位を伴わないがＭＶＣ ＮＡＬ単位と深度ＮＡＬ単位とを伴う３ＶＣトラックに対して、ＭＶＣ構成と３ＶＣ構成とを含むように定義され、ここでエクストラクタは許容される。サンプルエントリータイプの他の名称が上で説明された同様のセマンティクスとともに使用され得ることに留意されたい。
[0057]図１は、本開示で説明される技法により生成され得る例示的な深度を伴うマルチビューメディアファイル１４２の構造を示す概念図である。深度を伴うマルチビューメディアファイル１４２は、ＩＳＯＢＭＦＦ及び現在のＡＶＣファイルフォーマットに基づく。図１の例示的な深度を伴うマルチビューメディアファイル１４２は、データストリームとメタデータとの論理的な関係を示すことが意図されていることに留意されたい。他の例では、メディアファイル１４２は他のメディアファイルフォーマットに基づき得る。深度を伴うマルチビューメディアファイル１４２のために本明細書で説明される技法と同様の技法が、３次元ビデオに対応するために他のファイルフォーマットに適用され得る。簡潔にするために、深度を伴うマルチビューメディアファイル１４２の完全なカプセル化構造は示されていない。しかしながら、深度を伴うマルチビューメディアファイル１４２は、ＩＳＯＢＭＦＦ及びＡＶＣファイルフォーマットに従って定義されるボックスとカプセル化構造とを利用し得る。
[0058]ＭＶＣ及び３ＶＣストリームの記憶は、サンプルエントリー、メディア情報ボックス、及びサンプルグループ中の情報を含む、多数の構造によってサポートされ得る。表１は、提供される構造の概要と、構造の名前と、構造の機能の簡単な説明とを提供する。より具体的には、表１は、ＭＶＣ及び３ＶＣストリームのための、例示的なボックスと、サンプルエントリーと、グループ構造とを提供する。左の列のエントリー（例えば、「ｍｉｎｆ」及び「？ｖｃ？」）で開始する行の各グループはそのコンテナ内の収容構造を記述するが、高レベルの収容は示されないことに留意されたい。
Figure 2016506693
Figure 2016506693
Figure 2016506693
[0059]サンプルエントリー内の構造は、そのサンプルエントリーと関連付けられるサンプル（例えば、ビデオ情報）の復号又は使用のための情報を提供する。サンプルグループは、トラックについての時間的に変化する情報を全体として提供し、例えば、トラック内のメディアのサブセットの抽出を支援する。マルチビュー情報ボックス（メディア情報ボックス中に現れる）中の情報は、マルチビュー情報ボックスがストリームの基本ビューを含むトラック中に存在しても、幾つかのトラックにまたがることがあり、トラックの集合体を表す。
[0060]幾つかの例では、ＭＶＣ及び３ＶＣビデオエレメンタリストリームは、全てのビデオコード化に関連するＮＡＬ単位（即ち、ビデオデータを含む、又はビデオ構造を信号伝達するＮＡＬ単位）を含み、ＳＥＩメッセージ及びアクセス単位デリミタＮＡＬ単位のようなビデオコード化に関連しないＮＡＬ単位を含んでよい。また、アグリゲータ又はエクストラクタが、ＭＶＣ及び３ＶＣビデオストリーム中に存在し得る。明示的に禁止されない他のＮＡＬ単位が存在することがあり、それらは、認識されなければ無視される（例えば、ファイルにアクセスする間に出力バッファに配置されない）ことがある。ＭＶＣ及び３ＶＣストリームはまた、必要なとき、関連付けられるパラメータセットストリームを使用して記憶され得る。ＭＶＣビデオエレメンタリストリームには、ＡＶＣ ＶＣＬ ＮＡＬ単位、ＭＶＣ ＶＣＬ ＮＡＬ単位、及び非ＶＣＬ ＮＡＬ単位が存在し得る。３ＶＣビデオエレメンタリストリームには、ＡＶＣ ＶＣＬ ＮＡＬ単位、ＭＶＣ ＶＣＬ ＮＡＬ単位、深度ＶＣＬ ＮＡＬ単位、及び非ＶＣＬ ＮＡＬ単位が存在し得る。加えて、ＭＶＣ又は３ＶＣビデオエレメンタリストリームには、アグリゲータＮＡＬ単位又はエクストラクタＮＡＬ単位が存在し得る。
[0061]深度を伴うマルチビューメディアファイル１４２は、連続的なメディア（例えば、オーディオ及びビデオ）と、静的なメディア（例えば、画像）と、メタデータとを記憶し得る。ＩＳＯＢＭＦＦにおけるエレメンタリシンタックス構造は、４文字のコード化されたボックスタイプと、ボックスのバイトカウントと、ペイロードとを含む、ボックスである。深度を伴うマルチビューメディアファイル１４２は、ボックスのシーケンスからなる。図１に示される例では、深度を伴うマルチビューメディアファイル１４２は、ムービーボックス１４４と、ビデオデータストリーム１４６−１〜１４６−Ｎ（本明細書ではまとめて「ビデオデータストリーム１４６」と呼ばれる）と、オーディオデータストリーム１４８−１〜１４８−Ｎ（本明細書ではまとめて「オーディオデータストリーム１４８」と呼ばれる）とを含み、Ｎは任意の正の整数であってよく、図１のＮの異なる例に対しては同じ又は異なる数であってよい。
[0062]ビデオデータストリーム１４６は、ＩＳＯＢＭＦＦで表されるビデオトラック又はビジュアルトラックに対応し得る。ビデオストリームは、深度を伴うマルチビューメディアファイル１４２の中の１つのビデオトラックによって表され得る。ビデオデータストリーム１４６−１〜１４６−Ｎの各々は、１つ又は複数のアクセス単位１５０−１〜１５０−Ｎ（本明細書ではまとめて「アクセス単位１５０」と呼ばれる）を含み得る。深度を伴うマルチビューメディアファイル１４２の中のアクセス単位１５０は、ＩＳＯＢＭＦＦ、又はより具体的には、ＭＶＣ又はＨＥＶＣＦＦに従って定義され得る。アクセス単位１５０は、ＩＳＯＢＭＦＦのサンプルに対応し得る。アクセス単位１５０は、外部的にフレーミングされてよく、その外部フレーミングによって提供されるサイズを有してよい。幾つかの場合には、メタデータボックス１５４は、アクセス単位１５０のサイズを定義する情報を含み得る。アクセス単位１５０は、ＮＡＬ（即ち、ネットワーク抽象化レイヤ）単位１５２−１〜１５２−Ｎのセット（本明細書ではまとめて「ＮＡＬ単位１５２」と呼ばれる）を含み得る。ＮＡＬ単位１５２は、ＨＥＶＣＦＦに従って定義され得る。
[0063]各ＮＡＬ単位１５２は、例えば、バイト単位で、又は、データ記憶と関連付けられる他の長さ若しくはサイズの単位で、ＮＡＬ単位の長さを示す、長さフィールドを含み得る。幾つかの例では、長さフィールドは、１バイト、２バイト、又は４バイトとなるように構成され得る。長さフィールドは、アクセス単位１５０内でのＮＡＬ単位の簡単なスキャンを可能にする。ＮＡＬ単位１５２は、ＩＳＯ／ＩＥＣ ２３００８−２において規定されるようなＮＡＬ単位データを含み得る。他のタイプのＮＡＬ単位に加えて、ＨＥＶＣＦＦは、次のタイプのＮＡＬ単位、即ち、ＶＣＬ ＮＡＬ単位と呼ばれ得るビデオデータＮＡＬ単位と、補足強化情報（ＳＥＩ）ＮＡＬ単位と、アクセス単位（ＡＵ）デリミタＮＡＬ単位と、更には他のタイプのＮＡＬ単位とを定義する。ＩＳＯ／ＩＥＣ ２３００８−２における予備のＮＡＬ単位タイプは、今後定義を獲得する可能性があることに留意されたい。一部のファイルリーダは、ＮＡＬ単位タイプの予備の値を伴うＮＡＬ単位がこれらのアレイに存在する場合、そのＮＡＬ単位を無視するように構成され得る。この「耐性」動作（‘tolerant’ behavior）は、エラーが発生しないように設計され、今後の仕様においてこれらのアレイに対する後方互換性のある拡張の可能性を許容することに留意されたい。ＶＣＬ ＮＡＬ単位は、単一のピクチャのための全てのコード化されたスライスＮＡＬ単位が、その復号時間及び合成時間がピクチャの復号時間及び合成時間であるアクセス単位内に含まれるように、フォーマットされ得る。更に、アクセス単位１５０は、少なくとも１つのビデオデータＮＡＬ単位を含むことを要求され得る。
[0064]ムービーボックス１４４は、ＩＳＯＢＭＦＦ「ｍｏｏｖ」ボックスと同様であり得る。本明細書で説明されるように、「ｍｏｏｖ」は、ＩＳＯＢＭＦＦで定義されるムービーボックス１４４のための４文字のコード化されたボックスタイプである。更に、ボックスは他のボックスを含み得る。ムービーボックス１４４（「ｍｏｏｖ」）は、深度を伴うメディアファイル１４２の中に存在する任意の連続的なメディアストリーム１４６及び１４８のためのメタデータを含む。
[0065]ムービーボックス１４４は、１つ又は複数のメタデータボックス１５４を含み得る。メタデータボックス１５４は、ビデオデータストリーム１４６及び／又はオーディオデータストリーム１４８の各々と同様であってよく、それらのためのメタデータを含んでよい。一例では、メタデータは、１つ又は複数のメタデータボックス１５４に含まれる１つ又は複数のメタデータテーブル１５６内に含まれ得る。メタデータテーブル１５６は、ビデオデータストリーム１４６に対応するサンプルエントリーを含み得る。メタデータテーブル１５６の一例は、サンプルテーブルボックスである。ビデオデータストリーム１４６の各々は、メタデータテーブル１５６の１つ又は複数を参照し得る。
[0066]ＩＳＯＢＭＦＦは、様々な機構によってサンプル固有のメタデータを規定することを可能にする。メタデータボックス１５４は更に、サンプルエントリーを更に含むサンプル記述ボックスのような他のメタデータ情報を収容するために、サンプルテーブルボックス１６２内に特定のボックスを含み得る。サンプルテーブルボックス１６２のための４文字のコード化されたボックスタイプは「ｓｔｂｌ」であり得る。例えば、シンクサンプルボックス１６４は、トラックのランダムアクセスサンプルを列挙するために使用される。シンクサンプルボックス１６４のための４文字のコード化されたボックスタイプは「ｓｔｓｓ」であり得る。サンプルグループ化機構は、４文字のグループ化タイプに従った、深度を伴うマルチビューメディアファイル１４２中のサンプルグループ記述エントリーとして規定される同じ特性を共有するサンプルのグループへの、サンプルのマッピングを可能にする。幾つかのグループ化タイプが、ＩＳＯＢＭＦＦにおいて規定されている。
[0067]幾つかの例では、シャドウシンクボックスは、任意のＭＶＣ又は３ＶＣサンプルエントリーによって記述されるビデオデータのために使用されない。
[0068]幾つかの例では、独立の使い捨てサンプルボックスが使用され得る。独立の使い捨てサンプルボックスが、ＡＶＣとＭＶＣの両方に適合するトラックにおいて使用される場合、独立の使い捨てサンプルボックスによって示される情報は、ＭＶＣデータのどの有効なサブセット（場合によってはＡＶＣデータのみ）が使用されても、真である。情報が変化する場合、「未知」の値（フィールドｓａｍｐｌｅ−ｄｅｐｅｎｄｓ−ｏｎ、ｓａｍｐｌｅ−ｉｓ−ｄｅｐｅｎｄｅｄ−ｏｎ、及びｓａｍｐｌｅ−ｈａｓ−ｒｅｄｕｎｄａｎｃｙの値０）が使用され得る。独立の使い捨てサンプルボックスが、ＡＶＣ、ＭＶＣ、及び３ＶＣの全てに適合するトラックにおいて使用される場合、３ＶＣデータのどの有効なサブセット（場合によってはＡＶＣデータのみ又はＭＶＣデータのみ）が使用されても記述が真であることに、注意が払われなければならない。情報が変化する場合、「未知」の値（フィールドｓａｍｐｌｅ−ｄｅｐｅｎｄｓ−ｏｎ、ｓａｍｐｌｅ−ｉｓ−ｄｅｐｅｎｄｅｄ−ｏｎ、及びｓａｍｐｌｅ−ｈａｓ−ｒｅｄｕｎｄａｎｃｙの値０）が使用され得る。
[0069]深度を伴うマルチビューメディアファイル１４２は、ランダムアクセス復元サンプルグループと、ランダムアクセスポイントサンプルグループとを含み得る。タイプ「ａｖｃ１」又は「ａｖｃ２」のサンプルエントリーによって記述されるビデオデータに対して、ランダムアクセス復元サンプルグループ及びランダムアクセスポイントサンプルグループは、ビットストリーム全体に対して動作する、ＡＶＣデコーダ、ＭＶＣデコーダ、及び３ＶＣデコーダの全てのために、ランダムアクセス復元ポイントとランダムアクセスポイントとをそれぞれ特定する。ＭＶＣサンプルエントリータイプによって記述されるビデオデータに対して、ランダムアクセス復元サンプルグループは、ＭＶＣビットストリーム全体の中でランダムアクセス復元を特定し、ランダムアクセスポイントサンプルグループは、ＭＶＣビットストリーム全体の中でランダムアクセスポイントを特定する。３ＶＣサンプルエントリータイプによって記述されるビデオデータに対して、ランダムアクセス復元サンプルグループは、３ＶＣビットストリーム全体の中でランダムアクセス復元を特定することができ、ランダムアクセスポイントサンプルグループは、３ＶＣビットストリーム全体の中でランダムアクセスポイントを特定する。
[0070]ムービーボックス１４４は更に、１つ又は複数のトラックボックス１５８と１つ又は複数のメディアデータボックス１６０とを含み得る。トラックのためのメタデータは、少なくとも１つのトラックボックス１５８に封入される。トラックボックス１５８のための４文字のコード化されたボックスタイプは「ｔｒａｋ」であり得る。トラックのメディアコンテンツは、メディアデータボックス１６０に封入されるか、別個のファイルに直接封入されるかのいずれかである。メディアデータボックス１６０のための４文字のコード化されたボックスタイプは「ｍｄａｔ」であり得る。トラックに対するメディアコンテンツは、オーディオ又はビデオアクセス単位のようなサンプルのシーケンスからなる。
[0071]深度を伴うマルチビューメディアファイル１４２の中に存在する連続的なメディアストリームは、トラックの中で表現され得る。ＩＳＯＢＭＦＦは、次のタイプのトラック、即ち、エレメンタリメディアストリームを含むメディアトラックと、メディア送信命令を含むか受信されたパケットストリームを表すかのいずれかであるヒントトラックと、時間同期されたメタデータを備えるタイムドメタデータトラックとを規定する。
[0072]ＭＶＣストリーム又は３ＶＣストリームは、多数の方法の中でもとりわけ次のような方法でトラックに配置されてよく、即ち、サンプルグループと標識された１つのトラックに全てのビューがある、テクスチャビューと深度ビューの両方が存在すればそれらの両方を含む各ビューがサンプルエントリーで標識されたビュー固有のトラック中にある、１つのトラックが全てのビューを含み１つ又は複数のシングルビュートラックが独立にコード化され得るビューを各々含むハイブリッド、予測される動作点の各々がトラック中にある（例えば、ＡＶＣベース、ステレオペア、マルチビューシーン、又は３ＶＣシーン）、及び、３ＶＣのみに対して、各テクスチャ又は深度ビューがサンプルエントリーで標識された固有のトラック中にある、という方法で配置されてよい。
[0073]ＭＶＣ及び３ＶＣファイルフォーマットは、１つ又は複数のビューのトラックへの記憶を可能にする。トラックごとの複数のビューの記憶は、例えば、サブセット作成が意図されていないマルチビュービットストリームをコンテンツ提供者が提供することを望むとき、又は、出力ビューの少数の事前に定義されたセット（１個、２個、５個、又は９個のビューのような）に対してビットストリームが作成されておりそれに従ってトラックが作成され得るときに、使用され得る。２つ以上のビューがトラックに記憶され、ＭＶＣ又はＳＶＣビットストリームを表す幾つかのトラック（２つ以上）がある場合、サンプルグループ化機構の使用が推奨され得る。サンプルグループ化機構は、トラック中に存在するビューを特定する階層を定義し、幾つかの動作点のための必要とされるＮＡＬ単位を便利に抽出するために、使用され得る。サンプルグループ化機構は通常、サンプル内の規則的なＮＡＬ単位パターンを形成するために、アグリゲータＮＡＬ単位とともに使用される。従って、ＳＶＣのようなサンプルグループ化、アグリゲータ、及びサンプルグループのためのビューの定義が、ＭＶＣ及び３ＶＣのために規定される。
[0074]トラックに含まれるビューがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示し、第２のビューが依存する第１のビューのどの部分（テクスチャビュー、深度ビュー、又は両方）が第２のビューを復号するために必要とされるかを示し、深度ビュー成分によって参照されるシーケンスパラメータセット（ＳＰＳ）を解析（構文解析（parsing））することが必要とされないように深度ビューの空間分解能を信号伝達し、深度を伴う複数のコード化されたビューを含むビデオストリームの記憶の効率と柔軟性とを改善するための幾つかの技法が、本開示に含まれる。
[0075]更に、幾つかの例では、特定のビューのテクスチャビュー及び深度ビューの別々のトラックへの記憶がサポートされる。タイプ値「ｄｅｐｓ」を伴う新たなトラック参照タイプが定義される。新たなトラック参照タイプ「ｄｅｐｓ」の存在は、現在のトラックが参照されたトラック中のテクスチャビューと関連付けられる深度ビューを含むことを示し得る。代替的な例では、新たなタイプのトラック参照がタイプ値「ｔｒｅｆ」によって定義され、トラック中でのそのトラック参照の存在は、現在のトラックが参照されたトラックに記憶されているテクスチャビューに依存することを示す。別の代替的な例では、別の新たなタイプのトラック参照がタイプ値「ｄｒｅｆ」によって定義され、トラック中でのそのトラック参照の存在は、現在のトラックが参照されたトラックに記憶されている深度ビューに依存することを示す。
[0076]深度を伴うマルチビューメディアファイル１４２は更に、１つ又は複数のビュー識別子ボックス１７２を含んでよく、これらは、サンプルエントリー又はマルチビューグループエントリーに含まれ得る。例えば、ビュー識別子ボックス１７２は、トラックに含まれる各ビューに対して、トラックとビデオストリームにおける、テクスチャビュー及び／又は深度ビューの存在を示し得る。別の例では、ビュー識別子ボックス１７２は、参照ビューのテクスチャビュー及び深度ビューが特定のビューを復号するためにどのように必要とされるかを示し得る。即ち、ビュー識別子ボックス１７２は、特定のビューを復号するために、テクスチャビューのみが必要とされるか、深度ビューのみが必要とされるか、又はテクスチャビューと深度ビューの両方が必要とされるかを示す、シンタックス情報を含み得る。本明細書で使用される場合、符号化は、規定されたファイルフォーマットに従って情報を合成すること又は記憶することを指し得るとともに、復号は、ファイルフォーマットに従って情報を構文解析することを指し得る。一般に、コード化は、合成と構文解析のいずれかを指し得る。
[0077]深度を伴うマルチビューメディアファイル１４２は更に、１つ又は複数の３ＶＣ構成ボックス１６８を含み得る。３ＶＣ構成ボックス１６８は、３ＶＣデコーダ構成記録を含み得る。３ＶＣデコーダ構成記録は、３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄと名付けられ得る。３ＶＣデコーダ構成記録は、ＭＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄと同様のシンタックスを含み得るが、３ＤＶビデオストリームに関する特性を示すために異なるセマンティクスを有し得る。３ＶＣ構成ボックスは、サンプルエントリーに含まれてよく、幾つかの例では、タイプ「３ｖｃ１」又は「３ｖｃ２」のサンプルエントリーに含まれなければならない。
[0078]本開示の技法はまた、深度ビューの空間分解能の信号伝達をサポートする。３ＶＣ構成ボックス１６８は更に、３ＶＣ深度分解能ボックス１７０を含み得る。深度ビューの空間分解能は、３ＶＣ深度分解能ボックス１７０で信号伝達され得る。他の例では、３ＶＣ深度分解能ボックス１７０は、サンプルエントリーに直接追加され得る。別の代替的な例では、深度ビューの幅及び高さは、３ＶＣデコーダ構成記録で直接信号伝達され得る。
[0079]深度を伴うマルチビューメディアファイル１４２は更に、１つ又は複数の３ＶＣスケーラビリティ情報ＳＥＩメッセージボックス１６６を含み得る。３ＶＣスケーラビリティ情報ＳＥＩメッセージボックス１６６は、ＭＶＣ＋Ｄコーデック規格で定義される３ＤＶＣスケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを含み得る。幾つかの例では、３ＶＣスケーラビリティ情報ＳＥＩメッセージボックス１６６は、サンプルエントリーに含まれ得る。
[0080]深度を伴うマルチビューメディアファイル１４２は更に、マルチビューグループボックス１７４を含み得る。マルチビューグループボックス１７４は、３ＤＶ動作点を含む、ビデオデータストリーム１４６をコード化する際に使用される動作点を示し得る。一例では、マルチビューグループ化は、異なるタイプ及び階層レベルのスケーラビリティとのＮＡＬ単位の関連付けを示す、構造及びグループ化機構である。マルチビューグループボックス１７４のための４文字のコード化されたボックスタイプは「ｍｖｃｇ」であり得る。幾つかの例では、マルチビューグループボックス１７４は、マルチビュー情報ボックス（「ｍｖｃｉ」）に含まれ得る。深度を伴うマルチビューメディアファイル１４２には、０個以上のマルチビューグループボックス１７４が存在し得る。
[0081]マルチビューグループボックス１７４は、出力されるＭＶＣ又は３ＶＣストリームのビューのためのマルチビューグループを規定し得る。ターゲット出力ビューは、ｔｒａｃｋ＿ｉｄ、ｔｉｅｒ＿ｉｄ、又はｖｉｅｗ＿ｉｄに基づいて示され得る。トラックに含まれるビューが動作点と一致するとき、ｔｒａｃｋ＿ｉｄ（即ち、０に等しいｅｎｔｒｙ＿ｔｙｐｅ）がマルチビューグループボックス１７４内で使用され得る。マルチビューサンプルグループ化が使用されており、階層が２つ以上のビューをカバーする、又は幾つかの階層がビットストリームの時間的なサブセットを含むとき、ｔｉｅｒ＿ｉｄ（即ち、１に等しいｅｎｔｒｙ＿ｔｙｐｅ）がマルチビューグループボックス１７４内で使用され得る。それ以外の場合、ｖｉｅｗ＿ｉｄに基づく指示の１つ（即ち、２又は３に等しいｅｎｔｒｙ＿ｔｙｐｅ）が使用され得る。
[0082]ｅｎｔｒｙ＿ｔｙｐｅが０又は１に等しいとき、次のことが当てはまり得る。マルチビューグループボックス１７４に含まれるトラック又は階層中の各ビューはターゲット出力ビューであり、このボックスに含まれるトラック又は階層は複数のビューを含み、全ての含まれるビューはターゲット出力ビューである。
[0083]マルチビューグループボックス１７４のセマンティクスは、シンタックス要素ｎｕｍ＿ｅｎｔｒｉｅｓを含み、これは、マルチビューグループに含まれる、トラックの数（ｅｎｔｒｙ ｔｙｐｅ ０）、階層（ｅｎｔｒｙ ｔｙｐｅ １）、ターゲット出力ビュー（ｅｎｔｒｙ ｔｙｐｅ ２）、又は、ターゲット出力ビューの連続的なセット（ｅｎｔｒｙ ｔｙｐｅ ３）を示し得る。
[0084]本明細書で説明される更なる技法は、マルチビューグループボックス１７４で示される３ＤＶ動作点が存在するかどうかを示すために、一般的な属性及び／又は差別化する属性を定義することを含む。別の例では、マルチビューグループボックス１７４で示される動作点が３ＤＣ動作点又はＭＶＣ動作点であるかどうかを示すための情報が、マルチビューグループボックス１７４に含まれ得る。動作点は、スケーラブルビットストリームの独立に復号可能なサブセットであり得る。ＭＶＣ又は３ＶＣ動作点のビットストリームサブセットは、特定の時間的な分解能におけるターゲット出力ビューの特定のセットを表すことができ、特定のビットストリームサブセットを復号するために使用され得るデータからなる。３ＶＣにおいて、３ＶＣ動作点のビットストリームサブセット中の各ターゲット出力ビューは、テクスチャビュー、深度ビュー、又は両方を含み得る。更に、幾つかの例では、マルチビューグループボックス１７４で示される出力ビューがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示すために、マルチビューグループボックス１７４に含まれ得るシンタックス要素が導入される。
[0085]本開示の追加の技法では、新たなサンプルエントリータイプが定義される。例えば、「３ｖｃ１」及び「３ｖｃ２」は、深度ＮＡＬ単位のみを伴う３ＶＣトラックのために定義され、それぞれ、エクストラクタは許容されず、許容される。エクストラクタは、関連するメディアデータを含むトラック以外のトラックからのＮＡＬ単位の効率的な抽出を可能にするための、ストリーム内構造（例えば、サンプルデータ内に存在する構造）である。例えば、エクストラクタは、他のトラックからデータをどのように抽出するかについての命令を含み得る。
[0086]図１の例は、深度を伴うマルチビューメディアファイル１４２を編成するただ１つの可能な方法を示す。幾つかの例では、ボックスの１つ又は複数は他のボックスのサブボックスであり得る。即ち、異なる例では、様々なボックスが図１に示されるものとは異なる方法で編成され構成され得る。更に、本明細書で説明される技法の１つ又は複数は、本明細書で説明される１つ又は複数の他の技法との任意の組合せで使用され得る。
[0087]図２は、本開示で説明される技法により生成されるメディアファイルに含まれ得るＭＶＣ＋Ｄアクセス単位１５０の例を示す。図２は、サンプルの例示的な構造を示し、これはこの例ではアクセス単位１５０全体である。サンプルは、外部的にフレーミングされ、その外部フレーミングによって提供されるサイズを有する。サンプルのシンタックスは、エレメンタリストリームのデコーダ特有の構成を介して構成される。ビデオサンプルの構造の例は、以下の図で示される。３ＶＣサンプルは、ＩＳＯ／ＩＥＣ １４４９６−１０のＡｎｎｅｘ Ｉで定義されるような１つ又は複数のビュー成分と、関連付けられる非ＶＣＬ ＮＡＬ単位とを含んでよく、各ビュー成分は、テクスチャビュー成分、深度ビュー成分、又は両方を含み得る。
[0088]図２に示されるように、アクセス単位１５０は、ＡＵデリミタＮＡＬ単位と、ＳＥＩ ＮＡＬ単位と、２つのスライスＮＡＬ単位とを含む、ＮＡＬ単位のセットを含む。各ＮＡＬ単位は長さによって表され、この長さは、ビットストリーム順序でＮＡＬ単位の後に続くＮＡＬ単位のバイト単位の長さを示す。長さフィールドは、例えば、１、２、又は４バイトとなるように構成され得る。ＮＡＬ単位は、適用可能なビデオコード化規格で規定されるようなＮＡＬ単位データを含む。
[0089]幾つかの例では、コード化されたスライスの拡張が、深度コード化されたスライスＮＡＬ単位のために提供される。幾つかの例では、単一の瞬間に対する全ての深度コード化されたスライスＮＡＬ単位は、その合成時間がアクセス単位によって表されるピクチャの合成時間であるサンプルに含まれるべきである。３ＶＣサンプルは、少なくとも１つのＡＶＣ、ＭＶＣ、又は深度ＶＣＬ ＮＡＬ単位を含むべきである。
[0090]幾つかの例では、アクセス単位１５０−１のようなアクセス単位は、再構成され得る。１つ又は複数のＭＶＣトラック又は３ＶＣトラックのサンプルからアクセス単位１５０−１を再構成するために、ターゲット出力ビューは、マルチビューグループボックス１７４とマルチビューグループボックス関連ボックスとを調査することによって、決定される必要があり得る。１に等しいｅｘｐｌｉｃｉｔ＿ａｕ＿ｔｒａｃｋフラグは、このトラックが完全な動作点であることを述べるが、トラックは、このトラックによって配信されるどのビューが出力ビューであるかを決定するために調査され得る。
[0091]ターゲット出力ビューが、ＭＶＣデコーダ構成記録又は１ ３ＶＣデコーダ構成記録において１に等しいｅｘｐｌｉｃｉｔ＿ａｕ＿ｔｒａｃｋによって標識された任意のトラックによって厳密に表されない場合、アクセス単位１５０−１は次のように再構成され得る。決定されたターゲット出力ビューを復号するために必要とされるビューは、ビュー識別子ボックス、「ｓｃａｌ」トラック参照、又は階層依存関係ボックスに含まれる、参照ビュー識別子から断定され得る。
[0092]幾つかのトラックがアクセス単位１５０−１のためのデータを含む場合、トラック中のそれぞれのサンプルの整列が、例えば、編集リストを考慮することなく時間対サンプルのテーブルのみを使用して、復号時に実行される。アクセス単位１５０−１は、ＩＳＯ／ＩＥＣ １４４９６−１０に適合した順序でＮＡＬ単位を並べることによって、必要とされるトラック及び階層の中のそれぞれのサンプルから再構成される。以下の順序は、即ち、（関連付けられるパラメータセットトラックからの、及び関連付けられるエレメンタリストリームトラックからの）全てのパラメータセットＮＡＬ単位、（関連付けられるパラメータセットトラックからの、及び関連付けられるエレメンタリストリームトラックからの）全てのＳＥＩ ＮＡＬ単位、ビュー順序インデックス値の昇順のビュー成分、という順序は、適合したアクセス単位を形成するための手順の概要を与え、ビュー成分内でテクスチャと深度の両方が存在する場合、テクスチャビュー成分が振動ビュー成分に先行する。テクスチャビュー又は深度ビュー内のＮＡＬ単位は、サンプル内での出現の順序となっている。
[0093]図３は、本開示で説明される技法を利用し得る例示的なビデオ符号化及び復号システム１０を示すブロック図である。一例では、システム１０は、複数のコード化されたビュープラス深度を含むメディアファイルを合成又は解析（構文解析）するように構成され得る。本明細書で使用される場合、合成及びカプセル化という用語は、交換可能に使用され得る。同様に、本明細書で使用される場合、構文解析及び逆カプセル化という用語は、交換可能に使用され得る。更に、幾つかの例では、符号化という用語は合成という用語と同様に使用され、復号という用語は構文解析という用語と同様に使用される。
[0094]図３に示されるように、システム１０は、宛先機器１４によって後で復号されるべき符号化されたビデオデータを生成する発信源機器１２を含む。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲にわたる機器のいずれかを備え得る。場合によっては、発信源機器１２及び宛先機器１４は、ワイヤレス通信に対応し得る。
[0095]宛先機器１４は、リンク１６を介して復号されるべき符号化されたビデオデータを受信し得る。リンク１６は、発信源機器１２から宛先機器１４に符号化されたビデオデータを移動することが可能な任意のタイプの媒体又は機器を備え得る。一例では、リンク１６は、発信源機器１２が、符号化されたビデオデータをリアルタイムに宛先機器１４に直接送信することを可能にする通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器１４に送信され得る。通信媒体は、高周波（ＲＦ）スペクトルあるいは１つ又は複数の物理伝送線路のような、任意のワイヤレス又は有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークのような、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器１２から宛先機器１４への通信を支援するために有用であり得るルータ、スイッチ、基地局、又は任意の他の機器を含み得る。
[0096]代替的に、合成されたＭＶＣ＋Ｄメディアファイルのような符号化されたデータは、出力インターフェース２２から記憶機器３２に出力され得る。同様に、符号化されたデータは、入力インターフェース２８によって記憶機器３２からアクセスされ得る。記憶機器３２は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、又は符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散された又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。更なる例では、記憶機器３２は、発信源機器１２によって生成された符号化されたビデオを保持できるファイルサーバ又は別の中間記憶機器に対応し得る。幾つかの例では、記憶機器３２は、カプセル化モジュール２１が後でカプセル化のために取り出す、符号化されたビデオコンテンツを記憶する。宛先機器１４は、ストリーミング又はダウンロードを介して、記憶機器３２から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先機器１４に送信することが可能な、任意のタイプのサーバであり得る。例示的なファイルサーバは、（例えば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）機器、又はローカルディスクドライブを含む。宛先機器１４は、インターネット接続を含む、任意の標準的なデータ接続を通じて符号化されたビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに適しているワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、又は両方の組合せを含み得る。記憶機器３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、又は両方の組合せであり得る。
[0097]本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、例えばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例のような、種々のマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオ電話のような適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
[0098]図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、カプセル化モジュール２１と、出力インターフェース２２とを含む。幾つかの場合には、出力インターフェース２２は変調器／復調器（モデム）及び／又は送信機を含み得る。発信源機器１２において、ビデオ発信源１８は、撮像装置、例えばビデオカメラ、以前に撮影されたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、及び／又は発信源ビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムのような発信源、又はそのような発信源の組合せを含み得る。一例として、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂カメラ付き携帯電話又はビデオ電話を形成し得る。しかしながら、本開示で説明される技法は、一般にビデオコード化に適用可能であることがあり、ワイヤレス及び／又は有線の適用例に適用され得る。
[0099]撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータにより生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオデータは、発信源機器１２の出力インターフェース２２を介して宛先機器１４に直接送信され得る。符号化されたビデオデータは、更に（又は代替的に）、復号及び／又は再生のための宛先機器１４又は他の機器による後のアクセスのために記憶機器３２上に記憶され得る。
[0100]カプセル化モジュール２１は、本明細書で説明される技法に従って、ビデオエンコーダ２０から符号化されたビデオコンテンツを受信し、ビデオファイルを生成することができる。一例では、カプセル化モジュール２１は、ＭＶＣ又は３ＶＣコード化されたビデオコンテンツを受信し、ＩＳＯＢＭＦＦ及びＡＶＣＦＦの現在のバージョンに基づくファイルフォーマットを使用してビデオファイルを生成することができる。図３は、ビデオエンコーダ２０を含む発信源機器１２を示す。しかしながら、幾つかの例では、発信源機器１２はビデオエンコーダを何ら含まないことがあり、符号化されたビデオデータをカプセル化するカプセル化モジュール２１を含む。幾つかの例では、符号化されたビデオデータは、例えば、記憶機器３２のような、遠隔の記憶位置に記憶され得る。本明細書で説明されるように、カプセル化モジュール２１はビデオコード化機器であり得る。
[0101]宛先機器１４は、入力インターフェース２８と、逆カプセル化モジュール２９と、ビデオデコーダ３０と、表示装置３１とを含む。幾つかの場合には、入力インターフェース２８は、受信機及び／又はモデムを含み得る。宛先機器１４の入力インターフェース２８は、リンク１６を介して符号化されたビデオデータを受信する。リンク１６を介して通信され、又は記憶機器３２上に提供された符号化されたビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０のようなビデオデコーダにより使用するためのビデオエンコーダ２０によって生成された種々のシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信される、記憶媒体上に記憶される、又はファイルサーバ上に記憶される、符号化されたビデオデータとともに含まれ得る。
[0102]ビデオデコーダ３０が復号されたビデオデータを出力し得るように、逆カプセル化モジュール２９は、ビデオファイルを受信し、ビデオファイルを構文解析して、逆カプセル化されたビットストリームをビデオデコーダ３０に与えるように構成され得る。幾つかの例では、逆カプセル化モジュール２９は、カプセル化モジュール２１と逆のプロセスを実行し得る。ビデオデコーダ３０は、幾つかの例では、ビデオエンコーダ２０に関して説明された符号化パスとは全般に逆の復号パスを実行し得る。幾つかの例では、逆カプセル化モジュール２９は、ビデオデコーダ３０に含まれる。この文書の残りにおいて、ファイルを構文解析するビデオデコーダ３０は、ビデオデコーダ３０に含まれる逆カプセル化モジュール２９のような逆カプセル化モジュールがファイルを構文解析することを指し得る。本明細書で説明されるように、カプセル化モジュール２１は、ビデオコード化機器であり得る。
[0103]表示装置３１は、宛先機器１４と統合されてよく、又はその外部にあってよい。幾つかの例では、宛先機器１４は、統合された表示装置を含んでよく、また、外部表示装置とインターフェースするように構成されてよい。他の例では、宛先機器１４は表示装置であり得る。一般に、表示装置３１は、復号されたビデオデータをユーザに対して表示し、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置のような、種々の表示装置のいずれかを備え得る。
[0104]ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中のＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ規格又はＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格及び拡張のようなビデオ圧縮規格に従って動作することができ、ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＨＭ）に準拠し得る。具体的には、ビデオエンコーダ２０及びビデオデコーダ３０は、ＡＶＣベースのマルチビューコード化プラス深度（ＭＶＣ＋Ｄ）に従って動作することができ、ＡＶＣベースの３Ｄビデオ（３Ｄ−ＡＶＣ）コード化規格は現在、上で概説されたようにＪＣＴ−３Ｖによって開発中である。代替的に、又は追加で、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格のような他のプロプライエタリ規格又は業界規格、若しくはそのような規格の拡張に従って動作し得る。しかしながら、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオ圧縮規格の他の例は、ＭＰＥＧ−２及びＩＴＵ−Ｔ Ｈ．２６３、ならびにＶＰ８のようなオープンフォーマットを含む。
[0105]幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は、それぞれオーディオエンコーダ及びオーディオデコーダと統合されてよく、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するための適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含み得る。適用可能な場合、幾つかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルに準拠し得る。
[0106]ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せのような、種々の適切なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、適切な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、１つ又は複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれてよく、そのいずれもが、それぞれの機器において複合エンコーダ／デコーダ（コーデック）の一部として統合されてよい。
[0107]ＪＣＴ−ＶＣは、ＨＥＶＣ規格に対する拡張の開発に取り組んでいる。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＨＭ）と呼ばれるビデオコード化機器の発展的モデルに基づく。ＨＭは、例えばＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存の機器に対して、ビデオコード化機器の幾つかの追加の能力を仮定する。
[0108]ビデオコード化の幾つかの詳細が、本明細書ではＨＥＶＣの文脈で説明されている。しかしながら、本技法は、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに適用され、より具体的には、ＩＳＯベースのメディアファイルフォーマット（ＩＳＯＢＭＦＦ）に適合するテクスチャビュー及び／又は深度ビューコード化に適用され得る。
[0109]ＨＭの作業モデルは、ビデオフレーム又はピクチャが、ルーマとクロマの両方のサンプルを含む一連のマクロブロック、ツリーブロック、又は最大コード化単位（ＬＣＵ）に分割され得ることを記載する。ツリーブロックは、Ｈ．２６４規格のマクロブロックと同様の幾つかの目的を果たし得るが、ツリーブロックには、マクロブロックと比較して多くの差異がある。
[0110]図４は、本開示で説明される技法を実施し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、図１の深度を伴うマルチビューメディアファイル１４２のような、ＩＳＯベースのメディアファイルフォーマットに基づくマルチビュービデオデータを含むメディアファイルを合成し得る。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコード化とインターコード化とを実行することができる。イントラコード化は、空間的予測を利用して、所与のビデオフレーム又はピクチャ内のビデオの空間的冗長性を低減又は除去する。インターコード化は、時間的予測を利用して、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間的冗長性を低減又は除去する。イントラモード（Ｉモード）は、幾つかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測（Ｐモード）又は双方向予測（Ｂモード）のようなインターモードは、幾つかの時間ベースの圧縮モードのいずれかを指し得る。
[0111]図４の例では、ビデオエンコーダ２０は、区分ユニット３５と、予測処理ユニット４１と、フィルタユニット６３と、参照ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピーコード化ユニット５６とを含む。予測処理ユニット４１は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測ユニット４６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。フィルタユニット６３は一般に、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、及びサンプル適応オフセット（ＳＡＯ）フィルタのような、１つ又は複数のループフィルタを表し得る。図４では、フィルタユニット６３はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット６３はループ後フィルタとして実装されることがあり、その場合、フィルタリングされていないデータがコード化ループ中で使用され得る。
[0112]図４に示されるように、ビデオエンコーダ２０はビデオデータを受信し、区分ユニット３５はデータをビデオブロックに区分する。この区分は、例えば、マクロブロック及びマクロブロック区分に従った、又は場合によっては、ＬＣＵ及びＣＵの４分木構造に従った、スライス、タイル、又は他のより大きい単位への区分、並びにビデオブロック区分も含み得る。ビデオエンコーダ２０は一般に、符号化されるべきビデオスライス内のビデオブロックを符号化するコンポーネントを示す。スライスは、複数のビデオブロックに（及び、場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤差結果（例えばコード化レート及び歪みのレベル）に基づいて現在のビデオブロックについて、複数のイントラコード化モードの１つ、又は複数のインターコード化モードの１つのような、複数の可能なコード化モードの１つを選択することができる。予測処理ユニット４１は、得られたイントラコード化されたブロック又はインターコード化されたブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器６２に与え得る。
[0113]予測処理ユニット４１内のイントラ予測ユニット４６は、空間圧縮を行うために、コード化されるべき現在のブロックと同じフレーム又はスライス中の１つ又は複数の隣接ブロックに対する現在のビデオブロックのイントラ予測コード化を実行し得る。予測処理ユニット４１内の動き推定ユニット４２及び動き補償ユニット４４は、時間圧縮を行うために、１つ又は複数の参照ピクチャ中の１つ又は複数の予測ブロックに対する現在のビデオブロックのインター予測コード化を実行する。
[0114]動き推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスを、Ｐスライス、Ｂスライス、又はＧＰＢスライスとして指定し得る。動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、参照ピクチャ内の予測ブロックに対する現在のビデオフレーム又はピクチャ内のビデオブロックのＰＵ（又はマクロブロック区分又はサブブロック）の変位を示し得る。
[0115]予測ブロックは、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、又は他の差分尺度によって決定され得る画素差分に関して、コード化されるべきビデオブロックのＰＵ（又はマクロブロック区分又はサブブロック）と厳密に一致することが判明しているブロックである。幾つかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャの整数未満の画素位置のための値を計算することができる。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の小数画素位置の値を補間し得る。従って、動き推定ユニット４２は、フル画素位置と小数画素位置とに対する動き探索を実行し、小数画素精度で動きベクトルを出力し得る。
[0116]動き推定ユニット４２は、ＰＵ（又はマクロブロックの区分又はサブブロック）の位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化されたスライスにおけるビデオブロックのＰＵ（又はマクロブロックの区分又はサブブロック）のための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）又は第２の参照ピクチャリスト（リスト１）から選択されてよく、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６４に記憶された１つ又は複数の参照ピクチャを特定する。動き推定ユニット４２は、計算された動きベクトルをエントロピーコード化ユニット５６と動き補償ユニット４４とに送る。
[0117]動き補償ユニット４４によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成すること、場合によってはサブ画素精度への補間を実行することを伴い得る。現在のビデオブロックのＰＵ（又はマクロブロックの区分又はサブブロック）の動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストの１つにおいて指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コード化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって残差ビデオブロックを形成する。画素差分値は、ブロックの残差データを形成し、ルーマ及びクロマの両方の差分成分を含み得る。加算器５０は、この減算演算を実行する１つ又は複数のコンポーネントを表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０により使用するための、ビデオブロック及びビデオスライスと関連付けられるシンタックス要素を生成することができる。
[0118]イントラ予測ユニット４６は、上で説明されたように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。幾つかの例では、イントラ予測ユニット４６は、例えば、別個の符号化パスにおいて、様々なイントラ予測モードを使用して現在のブロックを符号化することができ、イントラ予測ユニット４６（又は、幾つかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択することができる。例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、一般に、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量、及び符号化されたブロックを生成するために使用されるビットレート（即ち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化されたブロックの歪み及びレートから比率を計算し得る。
[0119]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピーコード化ユニット５６に与え得る。エントロピーコード化ユニット５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信されるビットストリーム中に、複数のイントラ予測モードインデックステーブル及び複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、及び変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含め得る。
[0120]予測処理ユニット４１が、インター予測又はイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロックにおける残差ビデオデータは、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換のような変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータを画素領域から周波数領域などの変換領域に変換し得る。
[0121]変換処理ユニット５２は、結果として得られる変換係数を量子化ユニット５４に送ることができる。量子化ユニット５４は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全てと関連付けられるビット深度を減らすことができる。量子化の程度は、量子化パラメータを調整することによって変更され得る。幾つかの例では、量子化ユニット５４は次いで、量子化された変換係数を含む行列の走査を実行し得る。代替的に、エントロピーコード化ユニット５６が走査を実行し得る。
[0122]量子化の後に、エントロピーコード化ユニット５６は、量子化された変換係数をエントロピー符号化する。例えば、エントロピーコード化ユニット５６は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化又は別のエントロピー符号化方法若しくは技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化されたビットストリームは、ビデオデコーダ３０に送信され、又はビデオデコーダ３０による後の送信もしくは取り出しのためにアーカイブされ得る。エントロピーコード化ユニット５６はまた、コード化されている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化することができる。
[0123]逆量子化ユニット５８及び逆変換ユニット６０は、それぞれ逆量子化及び逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために、画素領域において残差ブロックを再構成する。動き補償ユニット４４は、参照ピクチャリストの１つの中の参照ピクチャの１つの予測ブロックに残差ブロックを加算することによって、参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つ又は複数の補間フィルタを適用して、動き推定において使用するためのサブ整数画素値を計算し得る。加算器６２は、再構成された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレーム又はピクチャ中のブロックをインター予測するために、動き推定ユニット４２と動き補償ユニット４４とによって参照ブロックとして使用され得る。
[0124]図４のビデオエンコーダ２０は、本明細書で説明される技法のオン又は複数を実装するように構成されたビデオエンコーダの例を表す。例えば、ビデオエンコーダ２０のカプセル化モジュール２１は、複数のコード化されたビューを含むビデオストリームからメディアファイルフォーマットを合成することができる。例えば、カプセル化モジュール２１は、トラックに含まれるビューの各々に対して、トラック及びストリームの中でのテクスチャ及び／又は深度の存在を示す、図１のビュー識別子ボックス１７２のようなビュー識別子ボックスを含む、メディアファイルを合成することができる。カプセル化モジュール２１は、サンプルエントリー又はマルチビューグループエントリーにビュー識別子ボックス１７２を含め得る。別の例では、カプセル化モジュール２１は、ビュー識別子モジュール１７２が、参照ビューのテクスチャビュー及び深度ビューが特定のビューを復号するためにどのように必要とされるか、即ち、テクスチャビューのみが必要とされるか、深度ビューのみが必要とされるか、又は両方が必要とされるかを示すように、メディアファイルを合成することができる。図４に示されるように、カプセル化モジュール２１はビデオエンコーダ２０の一部である。しかしながら、他の例では、カプセル化モジュール２１はビデオエンコーダ２０とは別である。
[0125]更に、ビデオエンコーダ２０は、特定のビューのテクスチャビュー及び深度ビューの別々のトラックへの記憶をサポートし得る。幾つかの例では、ビデオエンコーダ２０は、１つ又は複数の新たなタイプのトラック参照を使用して解釈するように構成される。例えば、ビデオエンコーダ２０は、タイプ値「ｄｅｐｓ」を伴う新たなトラック参照タイプを利用することができ、そのトラック参照タイプの存在は、現在のブロックが参照されたトラック中のテクスチャビューと関連付けられる深度ビューを含むことを示し得る。代替的な例では、ビデオエンコーダ２０は、タイプ値「ｔｒｅｆ」を伴う新たなトラック参照タイプを利用することができ、トラック中でのそのトラック参照タイプの存在は、現在のトラックが参照されたトラックに記憶されているテクスチャビューに依存することを示す。別の代替的な例では、新たなタイプのトラック参照が例えばタイプ値「ｄｒｅｆ」によって定義され、トラック中でのそのトラック参照の存在は、現在のトラックが参照されたトラックに記憶されている深度ビューに依存することを示す。
[0126]ビデオエンコーダ２０は、深度ビューの空間分解能の信号伝達をサポートし得る。例えば、ビデオエンコーダ２０は、３ＶＣ構成ボックスに含まれ得る、新たに定義された３ＶＣ深度分解能ボックスで深度ビューの分解能を信号伝達することができる。幾つかの例では、３ＶＣ構成ボックスは、３ＶＣデコーダ構成記録を含み、サンプルエントリーに含まれ得る（タイプ「３ｖｃ１」又は「３ｖｃ２」のサンプルエントリーに含まれなければならない）。幾つかの例では、３ＶＣＤｅｐｔｈＲｅｓｏｌｕｔｉｏｎＢｏｘは、サンプルエントリーに直接追加される。別の代替的な例では、ビデオエンコーダ２０は、３ＶＣデコーダ構成記録で、深度ビューの幅と高さとを直接信号伝達する。例えば、ビデオエンコーダ２０は、図１の深度を伴うマルチビューメディアファイル１４２のようなメディアファイルを合成し、３ＶＣ深度分解能ボックス１７０のような３ＶＣ深度分解能ボックスをサンプルエントリーに追加することができる。別の代替的な例では、ビデオエンコーダ２０は、３ＶＣ構成ボックス１６８に含まれ得る３ＶＣデコーダ構成記録で、深度ビューの幅と高さとを直接信号伝達することができる。
[0127]ビデオエンコーダ２０はまた、深度ＮＡＬ単位のみを伴う３ＶＣに対して、新たに定義されたサンプルエントリータイプ「３ｖｃ１」と「３ｖｃ２」とを使用することができ、ここでエクストラクタがそれぞれ、許容されず、許容される。ビデオエンコーダ２０は更に、ＭＶＣ＋Ｄコーデック規格で定義される３ＤＶＣスケーラビリティ情報ＳＥＩメッセージを含むように、符号化されたメディアファイルに、３ＶＣスケーラビリティ情報ＳＥＩメッセージボックスを含め得る。
[0128]別の代替的な例では、ビデオエンコーダ２０は、マルチビューグループボックス（マルチビューグループボックス１７４のような）で示される３ＶＣ動作点が存在するかどうか、マルチビューグループボックスで示される動作点が３ＶＣもしくはＭＶＣかどうか、又は、マルチビューグループボックスで示される出力ビューがテクスチャのみを含むか、深度のみを含むか、もしくは両方を含むかを示す、一般的な属性と差別化する属性とを、合成されたメディアファイルに含める。
[0129]ビデオエンコーダ２０は、トラックに含まれるビューがテクスチャビューからなるか、深度ビューからなるか、又はテクスチャビューと深度ビューの両方からなるかを示し、ビューの依存関係を示し、ＳＰＳを構文解析することを必要とすることなく深度ビューの空間分解能を信号伝達し、深度を伴う複数のコード化されたビューを含むビデオストリームの記憶の効率と柔軟性とを改善するために、本明細書で説明される技法の１つ又は複数の利用するように構成され得る。
[0130]再び図３を参照すると、カプセル化モジュール２１は、本明細書で説明される技法に従って、ビデオエンコーダ２０から符号化されたビデオコンテンツを受信し、ビデオファイルを生成することができる。一例では、カプセル化モジュール２１は、ＡＶＣ又はＨＥＶＣコード化されたビデオコンテンツを受信し、ＩＳＯＢＭＦＦ及びＡＶＣＦＦ又はＨＥＶＣＦＦの現在のバージョンにそれぞれ基づくファイルフォーマットを使用してビデオファイルを生成することができる。
[0131]図５は、本開示の技法を実施し得る例示的なビデオデコーダ３０と逆カプセル化モジュール２９とを示すブロック図である。逆カプセル化モジュール２９は、図１の深度を伴うマルチビューメディアファイル１４２のような、ＩＳＯベースのメディアファイルフォーマットに基づくマルチビュービデオデータを含むメディアファイルを構文解析し得る。逆カプセル化モジュール２９は、構文解析されたメディアファイルをビデオデコーダ３０に提供することができる。
[0132]図５の例では、ビデオデコーダ３０は、エントロピーコード化ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換ユニット８８と、加算器９０と、フィルタユニット９１と、参照ピクチャメモリ９２とを含む。予測処理ユニット８１は、動き補償ユニット８２と、イントラ予測ユニット８４とを含む。ビデオデコーダ３０は、幾つかの例では、図３のビデオエンコーダ２０に関して説明された符号化パスとは全般に逆の復号パスを実行し得る。
[0133]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化されたビデオスライスのビデオブロックと、関連付けられるシンタックス要素とを表す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ネットワークエンティティ２９から符号化されたビデオビットストリームを受信することができる。ネットワークエンティティ２９は、例えば、サーバ、メディア認識ネットワーク要素（ＭＡＮＥ）、ビデオエディタ／スプライサ、又は上で説明された技法の１つもしくは複数を実施するように構成された他のそのような機器であってもよい。上で説明されたように、本開示において説明されている技法の一部は、ネットワーク２９が符号化されたビデオビットストリームをビデオデコーダ３０に送信する前に、ネットワークエンティティ２９によって実施されてもよい。幾つかのビデオ復号システムでは、ネットワークエンティティ２９及びビデオデコーダ３０は別個の機器の一部であり得るが、他の事例では、ネットワークエンティティ２９に関して説明される機能は、ビデオデコーダ３０を備える同じ機器によって実行され得る。
[0134]ビデオデコーダ３０のエントロピーコード化ユニット８０は、量子化された係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピーコード化ユニット８０は、予測処理ユニット８１に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルで、シンタックス要素を受信することができる。
[0135]ビデオスライスがイントラコード化された（Ｉ）スライスとしてコード化されるとき、予測処理ユニット８１のイントラ予測ユニット８４は、信号伝達されたイントラ予測モードと、現在のフレーム又はピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化された（即ち、Ｂ、Ｐ又はＧＰＢ）スライスとしてコード化されるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピーコード化ユニット８０から受信された動きベクトル及び他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストの１つの中の参照ピクチャのうち１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、即ち、リスト０とリスト１とを構成し得る。
[0136]動き補償ユニット８２は、動きベクトルと他のシンタックス要素とを構文解析することによって現在のビデオスライスのビデオブロックについての予測情報を決定し、復号されている現在のビデオブロックのための予測ブロックを生成するために予測情報を使用する。例えば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えば、イントラ又はインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）と、スライスの参照ピクチャリストのうち１つ又は複数のための構成情報と、スライスの各々のインター符号化されたビデオブロックのための動きベクトルと、スライスの各々のインターコード化されたビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素の幾つかを使用する。
[0137]動き補償ユニット８２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット８２は、参照ブロックのサブ整数画素のための補間された値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２０によって使用されたような補間フィルタを使用することができる。この場合、動き補償ユニット８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用される補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成することができる。
[0138]逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピーコード化ユニット８０によって復号された、量子化された変換係数を逆量子化（inverse quantize）、即ち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中の各ビデオブロックについてビデオエンコーダ２０によって計算される量子化パラメータの使用を含み得る。逆変換ユニット８８は、画素領域において残差ブロックを生成するために、逆変換、例えば逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用する。
[0139]動き補償ユニット８２が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つ又は複数のコンポーネントを表す。所望される場合、ループフィルタ（コード化ループの中とコード化ループの後のいずれかの）も、画素移行を平滑化し、又は別様にビデオ品質を向上させるために使用され得る。フィルタユニット９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、及びサンプル適応オフセット（ＳＡＯ）フィルタのような、１つ又は複数のループフィルタを表し得る。図５では、フィルタユニット９１はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット９１はループ後フィルタとして実装され得る。所与のフレーム又はピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ９２に記憶される。参照ピクチャメモリ９２はまた、図１の表示装置３１のような表示装置上での後の提示のために、復号されたビデオを記憶する。
[0140]図５のビデオデコーダ３０は、本明細書で説明される技法の１つ又は複数を実施するように構成された逆カプセル化モジュール２９ともに使用され得るビデオデコーダの一例を表す。例えば、逆カプセル化モジュール２９は、複数のコード化されたビューを含む記憶されたビデオストリームを含むメディアファイルを解析（構文解析（parse））し、それをビデオデコーダ３０に提供することができる。例えば、逆カプセル化モジュール２９は、トラックに含まれるビューの各々に対して、トラック及びストリームの中でのテクスチャ及び／又は深度の存在を示す、図１のビュー識別子ボックス１７２のようなビュー識別子ボックスを含む、メディアファイルを構文解析することができる。逆カプセル化モジュール２９は、サンプルエントリー又はマルチビューグループエントリーからビュー識別子ボックス１７２を復号し得る。別の例では、ビデオデコーダ３０は、参照ビューのテクスチャビュー及び深度ビューが特定のビューを復号するために必要とされるかどうかを決定するために、メディアファイル中のビュー識別子ボックス１７２を構文解析する。即ち、逆カプセル化モジュール２９は、テクスチャビューのみが必要とされるか、深度ビューのみが必要とされるか、又は両方が必要とされるかを決定することができる。
[0141]更に、逆カプセル化モジュール２９は、別々のトラックに特定のビューのテクスチャビューと深度ビューとを含むメディアファイルを構文解析することができる。幾つかの例では、逆カプセル化モジュール２９は、１つ又は複数の新たなタイプのトラック参照を構文解析して解釈するように構成される。例えば、逆カプセル化モジュール２９は、タイプ値「ｄｅｐｓ」を伴う新たなトラック参照タイプを構文解析し、そのトラック参照タイプの存在は、現在のトラックが参照されたトラック中のテクスチャビューと関連付けられる深度ビューを含むことを示す。代替的な例では、逆カプセル化モジュール２９は、タイプ値「ｔｒｅｆ」を伴う別の新たなトラック参照タイプを構文解析し、トラック中でのそのトラック参照タイプの存在は、現在のトラックが参照されたトラックに記憶されているテクスチャビューに依存することを示す。別の代替的な例では、逆カプセル化モジュール２９は、タイプ値「ｄｒｅｆ」を伴う新たなタイプのトラック参照を構文解析し、トラック中でのそのトラック参照タイプの存在は、現在のトラックが参照されたトラックに記憶されている深度ビューに依存することを示す。
[0142]逆カプセル化モジュール２９は、本明細書で説明された技法に従って合成されたメディアファイルを構文解析することから、深度ビューの空間分解能を決定することができる。例えば、逆カプセル化モジュール２９は、３ＶＣ構成ボックスに含まれ得る、新たに定義された３ＶＣ深度分解能ボックスから深度ビューの分解能を決定することができる。別の代替的な例では、逆カプセル化モジュール２９は、３ＶＣデコーダ構成記録から、深度ビューの幅と高さとを直接決定する。例えば、逆カプセル化モジュール２９は、図１の深度を伴うマルチビューメディアファイル１４２のようなメディアファイルと関連付けられる深度ビューの幅と高さとを決定するために、そのメディアファイルの３ＶＣデコーダ構成記録を構文解析することができる。
[0143]逆カプセル化モジュール２９はまた、深度ＮＡＬ単位のみを伴う３ＶＣトラックに対して、「３ｖｃ１」及び「３ｖｃ２」という新たに定義されたサンプルエントリータイプを構文解析することができる。逆カプセル化モジュール２９は更に、ＭＶＣ＋Ｄコーデック規格で定義される３ＤＶＣスケーラビリティ情報ＳＥＩメッセージにアクセスするために、符号化されたメディアファイルから、３ＶＣスケーラビリティ情報ＳＥＩメッセージボックスを復号し得る。
[0144]別の代替的な例では、逆カプセル化モジュール２９は、マルチビューグループボックス（マルチビューグループボックス１７４のような）で示される３ＶＣ動作点が存在するかどうか、マルチビューグループボックス１７４で示される動作点が３ＶＣもしくはＭＶＣかどうか、又は、マルチビューグループボックス１７４で示される出力ビューがテクスチャのみを含むか、深度のみを含むか、若しくは両方を含むかを決定するための、メディアファイルからの一般的な属性と差別化する属性とを構文解析する。
[0145]逆カプセル化モジュール２９は、トラックに含まれるビューがテクスチャビューからなるか、深度ビューからなるか、又はテクスチャビューと深度ビューの両方からなるかを決定し、ビューの依存関係を決定し、ＳＰＳを構文解析することを必要とすることなく深度ビューの空間分解能を決定し、深度を伴う複数のコード化されたビューを含むビデオストリームの記憶の効率と柔軟性とを改善するために、本明細書で説明される技法の１つ又は複数の利用するように構成され得る。
[0146]図６は、例示的なカプセル化モジュール２１のコンポーネントを示すブロック図である。図６の例では、カプセル化モジュール２１は、ビデオ入力インターフェース７０と、ビデオファイル作成モジュール７２と、ビデオファイル出力インターフェース７６とを含む。ビデオファイル作成モジュール７０は、この例では、ネットワーク抽象化レイヤ（ＮＡＬ）ユニットコンストラクタ７４を含む。
[0147]ビデオ入力インターフェース７０は、コード化されたビデオコンテンツを受信することができる。ビデオ入力インターフェース７０は、ビデオエンコーダ２０からコード化されたビデオコンテンツを受信することができ、又は、記憶機器から符号化されたビデオコンテンツを取り出すことができる。コード化されたビデオコンテンツは、ＡＶＣ規格又はＨＥＶＣ規格に従ってコード化されてよく、ビデオコンテンツと、パラメータセットと、ＳＥＩメッセージとのサンプルを含み得る。符号化されたビデオコンテンツを受信すると、ビデオ入力インターフェース７０は、メディアファイルへの組立のために、コード化されたビデオコンテンツをビデオファイル作成モジュール７２に出力することができる。幾つかの例では、ビデオ入力インターフェース７０は、コード化されたビデオコンテンツがビデオファイル作成モジュール７２に出力される前に、コード化されたビデオコンテンツを編成又はバッファリンすることによって、メディアファイルの組立を支援することができる。
[0148]一般に、ビデオファイル作成モジュール７２は、受信されたコード化されたビデオコンテンツを含むビデオファイルを生成することができる。一例では、ビデオファイル作成モジュール７２は、図１に関して説明された深度を伴うマルチビューメディアファイル１４２のようなビデオファイルを作成することができる。ビデオファイル作成モジュール７２は、それに起因する機能及び手順を実行するように構成されたハードウェア、ソフトウェア、及び／又はファームウェアを含む制御ユニットに対応し得る。制御ユニットは、一般に、カプセル化モジュール２１に起因する機能を更に実行し得る。ビデオファイル作成モジュール７２がソフトウェア及び／又はファームウェアで具現化される例では、カプセル化モジュール２１は、ビデオファイル作成モジュール７２のための命令を備えるコンピュータ可読媒体と、命令を実行するための処理ユニットとを含み得る。ビデオファイル作成モジュール７２のサブモジュール（この例ではＮＡＬ単位構成器７４）は、個々のハードウェアモジュール及び／又はソフトウェアモジュールとして実装されてよく、機能的に統合されてよく、又は追加のサブモジュールへと更に分割されてよい。ビデオファイル作成モジュール７２は、例えば、１つ又は複数のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、又はそれらの任意の組合せのような、任意の好適な処理ユニット又は処理回路に対応し得る。ビデオファイル作成ユニット７２は更に、ＮＡＬ単位構成器７４のための命令を記憶する非一時的コンピュータ可読媒体、及び、命令を実行するためのプロセッサを含み得る。
[0149]一例では、ビデオファイル作成モジュール７２は、深度を伴う複数のコード化されたビューを含むビデオストリームを記憶できるファイルフォーマットに従って、符号化されたビデオデータを出力するように構成されてよく、深度ビューの特性及び関係がファイル中で信号伝達され得る。
[0150]ビデオファイル作成モジュール７２は、本開示で説明された技法を実施するように構成され得る。例えば、ビデオファイル作成モジュール７２は、シンタックス要素Ｃｏｍｐｒｅｓｓｏｒｎａｍｅの新たな値を有するメディアファイルを合成することができる。基本クラスＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙで定義されるようなＣｏｍｐｒｅｓｓｏｒｎａｍｅは、３ＤＶ（ＭＶＣ＋Ｄのような）ビデオストリームを含むファイルに対して推奨される値「＼０１２３ＶＣ Ｃｏｄｉｎｇ」とともに使用されるコンプレッサの名前を示し得る。シンタックス要素Ｃｏｍｐｒｅｓｓｏｒｎａｍｅは更に、ＡＶＣＦＦ又はＨＥＶＣＦＦに従って定義され得る。
[0151]上で説明された例示的なシンタックス及びセマンティクスに加えて、ビデオ作成モジュール７２により使用されるファイルフォーマットは、３ＶＣデコーダ構成記録に関する追加の制約を含み得る。本明細書で説明される技法によれば、シンタックス要素ＭＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄは、シンタックス要素ＡＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄと構造的に同一であり得る。しかしながら、ｌｅｎｇｈｔＳｉｚｅＭｉｎｕｓＯｎｅフィールドの前後の１つ又は複数の予備ビットが再定義される。例示的なシンタックスは次の通りである。
aligned(8) class MVCDecoderConfigurationRecord {
unsigned int(8) configurationVersion = 1;
unsigned int(8) AVCProfileIndication;
unsigned int(8) profile_compatibility;
unsigned int(8) AVCLevelIndication;
bit(1) complete_representation;
bit(1) explicit_au_track;
bit(4) reserved = ‘1111’b;
unsigned int(2) lengthSizeMinusOne;
bit(1) reserved = ‘0’b;
unsigned int(7) numOfSequenceParameterSets;
for (i=0; i< numOfSequenceParameterSets; i++) {
unsigned int(16) sequenceParameterSetLength ;
bit(8*sequenceParameterSetLength) sequenceParameterSetNALUnit;
}
unsigned int(8) numOfPictureParameterSets;
for (i=0; i< numOfPictureParameterSets; i++) {
unsigned int(16) pictureParameterSetLength;
bit(8*pictureParameterSetLength) pictureParameterSetNALUnit;
}
}
[0152]幾つかの例では、３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄのシンタックス構造は、ＭＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄと厳密に同じであり得る。ＡＶＣデコーダ構成記録（ＩＳＯ／ＩＥＣ １４４９６−１５の５．３．３．１項で定義されるような）が３ＶＣストリームとして解釈され得るストリームのために使用されるとき、ＡＶＣデコーダ構成記録は、ＡＶＣ適合基本ビューの特性を反映し得る。例えば、ＡＶＣデコーダ構成記録は、ＡＶＣ基本ビューを復号するために使用されるパラメータセットのみを含み得る。
[0153]ＭＶＣデコーダ構成記録（ＩＳＯ／ＩＥＣ １４４９６−１５で定義されるような）がＭＶＣストリーム又は３ＶＣストリームとして解釈され得るストリームのために使用されるとき、ＭＶＣデコーダ構成記録は、ＭＶＣ適合ビットストリームサブセットの特性を反映すべきである。即ち、例えば、ＭＶＣデコーダ構成記録は、ＭＶＣ適合ビットストリームサブセットを復号するために使用されるパラメータセットのみを含み得る。ＭＶＣ適合サブセットは、例えば、テクスチャビューのみを伴うビットストリームサブセットであり得る。
[0154]パラメータセットストリームは、ＡＶＣストリーム又はＭＶＣストリームのような３ＶＣストリームとともに使用され得る。そのような例では、パラメータセットは、デコーダ構成記録に含まれるべきではない。サブセットシーケンスパラメータセットを含むシーケンスパラメータセット（ＳＰＳ）は、それぞれ、１からｎｕｍＯｆＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔｓ又はｎｕｍＯｆＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔｓまで、記憶の順序で番号を付けられ得る。ファイル中のこの記録に記憶されるＳＰＳ及びピクチャパラメータセット（ＰＰＳ）は、ＩｎｉｔｉａｌＰａｒａｍｅｔｅｒＳｅｔＢｏｘによってこの１ベースのインデックスを使用して参照され得る。
[0155]フィールドＡＶＣＰｒｏｆｉｌｅＩｎｄｉｃａｔｉｏｎ、ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ、及びＡＶＣＬｅｖｅｌＩｎｄｉｃａｔｉｏｎのセマンティクスは、次のように、ＭＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄとは異なり得る。ＡＶＣＰｒｏｆｉｌｅＩｎｄｉｃａｔｉｏｎ、ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ、及びＡＶＣＬｅｖｅｌＩｎｄｉｃａｔｉｏｎは、０でなければ、準拠する３ＶＣデコーダが、この記録に含まれるＳＰＳのいずれか又はサブセットＳＰＳで示されるプロファイル、レベル、及びプロファイル適合性フラグに準拠するビットストリームを復号することが可能であるような、値を有するべきである。
[0156]他のフィールドのセマンティクスは次の通りであってよく、又は、存在しなければ、ＭＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄに対して定義されるように、ｎｕｍＯｆＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔｓが、３ＶＣエレメンタリストリームを復号するために使用されるＳＰＳ又はサブセットＳＰＳの数を示す。シンタックス要素ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔＮＡＬＵｎｉｔは、ＩＳＯ／ＩＥＣ １４４９６−１０のＡｎｎｅｘ Ｉにおいて規定されるような、ＳＰＳ又はサブセットＳＰＳ ＮＡＬ単位を含み得る。ＳＰＳは、許容されている間隔を伴う昇順のパラメータセット識別子の順序で発生すべきである。サブセットＳＰＳは、許容されているギャップを伴う昇順のパラメータセット識別子の順序で発生すべきである。任意のＳＰＳは、もしあれば、全てのサブセットＳＰＳよりも前に発生すべきである。
[0157]ビデオファイル作成モジュール７２はまた、ＡＶＣ ＮＡＬ単位と、ＭＶＣ ＮＡＬ単位と、深度ＮＡＬ単位とを伴う３ＶＣトラックのためのメディアファイルを作成することができる。２つのサンプルエントリータイプは、「３ｖｃ１」及び「３ｖｃ２」として定義される。ＭＶＣ及び３ＶＣのためのサンプルエントリーの例示的な定義が次のように与えられる。サンプルエントリータイプ「ａｖｃ１」、「ａｖｃ２」、「ｍｖｃ１」、「ｍｖｃ２」、「３ｖｃ１」、及び「３ｖｃ２」は、図１のサンプルテーブルボックス１６２のようなサンプルテーブルボックス（「ｓｔｂｌ」）内に含まれ得る。幾つかの例では、ａｖｃ１、ａｖｃ２、ｍｖｃ１、ｍｖｃ２、３ｖｃ１、及び３ｖｃ２サンプルエントリータイプの１つを、深度を伴うマルチビューメディアファイル１４２のようなメディアファイル中に有することは、必須である。幾つかの例では、１つ又は複数のサンプルエントリーが、深度を伴うマルチビューメディアファイル１４２の中に存在し得る。
[0158]ビデオファイル作成モジュール７２は、ＡＶＣ構成ボックス、ＭＶＣ構成ボックス、及び３ＶＣ構成ボックスの１つを含み得る。ＡＶＣ構成ボックスは、存在するとき、ＡＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄによって定義されるようなＡＶＣ適合基本ビューに関する、プロファイルと、レベルと、パラメータセット情報とを記述し得る。ＭＶＣ構成ボックスは、存在するとき、ＭＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄによって定義されるような、ＭＶＣストリーム全体に関する、プロファイルと、レベルと、パラメータセット情報とを記述し得る。図１の３ＶＣ構成ボックス１６８のような３ＶＣ構成ボックスは、存在するとき、３ＶＣ構成ボックス１６８に記憶される３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄによって定義されるような、３ＶＣストリーム全体に関する、プロファイルと、レベルと、パラメータセット情報とを記述し得る。
[0159]ＡＶＣサンプルエントリー「ａｖｃ１」及び「ａｖｃ２」に対して、サンプルエントリー中の幅及び高さのフィールドは、ＡＶＣ基本レイヤを記述し得る。ＭＶＣサンプルエントリー「ｍｖｃ１」及び「ｍｖｃ２」、更には、３ＶＣサンプルエントリー「３ｖｃ１」及び「３ｖｃ２」に対して、サンプルエントリーに含まれる幅及び高さは、ＭＶＣストリーム又は３ＶＣストリーム全体の任意の単一のテクスチャビューを復号することによって達成される分解能を記述し得る。３ＶＣサンプルエントリーに対して、３ＶＣ深度分解能ボックス１７０中のｄｅｐｔｈ＿ｗｉｄｔｈ及びｄｅｐｔｈ＿ｈｅｉｇｈｔは、３ＶＣストリーム全体の任意の単一の深度ビューを復号することによって達成される分解能を記述し得る。
[0160]幾つかの例では、任意の所与のサンプルエントリーにおけるＡＶＣ構成、ＭＶＣ構成、及び３ＶＣ構成中のｌｅｎｇｈｔＳｉｚｅＭｉｎｕｓＯｎｅフィールドは、同じ値を有するべきである。
[0161]優先割当てｕｎｉｆｏｒｍ ｒｅｓｏｕｒｃｅ ｉｄｅｎｔｉｆｉｅｒ（ＵＲＩ）は、ｐｒｉｏｒｉｔｙ＿ｉｄの値を割り当てるために使用される方法の名前（ＵＲＩ空間における）を提供する。優先割当てＵＲＩがＡＶＣサンプルエントリー、ＭＶＣサンプルエントリー、又は３ＶＣサンプルエントリーにおいて発生するとき、ＡＶＣストリーム、ＭＶＣストリーム、又は３ＶＣストリーム全体にけるｐｒｉｏｒｉｔｙ＿ｉｄの割当てを記述するただ１つのＵＲＩが存在すべきである。このＵＲＩはここでは名前としてのみ扱われ、逆参照可能であるべきであるが、これは必須ではない。ファイルリーダは、幾つかの方法を認識し、これによって、ｐｒｉｏｒｉｔｙ＿ｉｄに基づくストリーム抽出動作が何をするであろうかを知ることが可能であり得る。
[0162]ＩＳＯ／ＩＥＣ １４４９６−１５、セクション６．５．３．１．１で記述されるようなサンプルエントリータイプ「ａｖｃ１」及び「ａｖｃ２」に対する幾つかの要件も、ここで適用され得る。
[0163]ＡＶＣサンプルエントリー、ＭＶＣサンプルエントリー、又は３ＶＣサンプルエントリー中に存在するとき、ＶｉｅｗＳｃａｌａｂｉｌｉｔｙＩｎｆｏＳＥＩＢｏｘ、ＶｉｅｗＩｄｅｎｔｉｆｉｅｒＢｏｘ（ビュー識別子ボックス１７２のような）、ＩｎｔｒｉｎｓｉｃＣａｍｅｒａＰａｒａｍｅｔｅｒｓＢｏｘ、ＥｘｔｒｉｎｓｉｃＣａｍｅｒａＰａｒａｍｅｔｅｒｓＢｏｘ、３ＶＣＳｃａｌａｂｉｌｉｔｙＩｎｆｏｒｍａｔｉｏｎＳＥＩＢｏｘ（３ＶＣスケーラビリティ情報ＳＥＩボックス１６６のような）、ＭＰＥＧ４ＢｉｔＲａｔｅＢｏｘ及びＭＰＥＧ４ＥｘｔｅｎｓｉｏｎＤｅｓｃｒｉｐｔｏｒｓＢｏｘが、ＡＶＣストリーム、ＭＶＣストリーム、又は３ＶＣストリーム全体に適用され得る。サンプルエントリー「３ｖｃ１」及び「３ｖｃ２」の１つ又は両方に含まれ得る例示的なボックスタイプは、本質的カメラパラメータボックス（「ｉｃａｍ」）と、非本質的カメラパラメータボックス（「ｅｃａｍ」）と、ビュー識別子ボックス（「ｖｗｉｄ」）とを含む。
[0164]ＭＶＣストリームに対して、基本クラスＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙにおけるＣｏｍｐｒｅｓｓｏｒｎａｍｅは、値「＼０１２ＭＶＣ Ｃｏｄｉｎｇ」（＼０１２は、文字列「ＭＶＣ ｃｏｄｉｎｇ」のバイト単位での長さである、１０である）によって、使用されるコンプレッサの名前を示す。同様に、３ＶＣストリームに対して、基本クラスＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙにおけるＣｏｍｐｒｅｓｓｏｒｎａｍｅは、値「＼０１２３ＶＣ Ｃｏｄｉｎｇ」（＼０１２は、文字列「３ＶＣ ｃｏｄｉｎｇ」のバイト単位での長さである、１０である）によって、使用されるコンプレッサの名前を示す。
[0165]幾つかの例では、ビデオストリームのサンプルデータに存在するＮＡＬ単位を復号するために必要とされる１つ又は複数のパラメータセットは、直接、又はエクストラクタからの参照によって、そのビデオストリームのデコーダ構成又は関連付けられるパラメータセットストリーム（使用される場合）に存在すべきである。
[0166]表２は、ＡＶＣトラック、ＭＶＣトラック、及び３ＶＣトラックのためのサンプルエントリーの可能な使用法の例を与える。即ち、表２は、ＡＶＣエレメンタリストリーム、ＭＶＣエレメンタリストリーム、又は３ＶＣエレメンタリストリームが、やはり使用され得る１つ又は複数のトラック、構成、及びＭＶＣツール（常に別のトラックで使用される時限メタデータを除く）に記憶されるときの、サンプルエントリーの可能な使用法を示す。表２は、サンプルエントリーの４文字のコード化されたボックスタイプと、どの構成記録がサンプルエントリーに関するかの指示と、サンプルエントリーの意味とを含む。
Figure 2016506693
[0167]以下は、ＭＶＣサンプルエントリー及び３ＶＣサンプルエントリーのための例示的なシンタックス造を与える。
class MVCConfigurationBox extends Box(‘mvcC’) {
MVCDecoderConfigurationRecord() MVCConfig;
}
class ViewScalabilityInformationSEIBox extends Box(‘vsib’, size)
{
unsigned int(8*size-64) viewscalinfosei;
}
class 3VCDepthResolutionBox extends Box(‘3dpr’)
{
unsigned int(16) depth_width;
unsigned int(16) depth_height;
}
class 3VCConfigurationBox extends Box(‘3vcC’) {
3VCDecoderConfigurationRecord 3VCConfig;
3VCDepthResolutionBox 3vcDepthRes; //Optional
}
class 3VCScalabilityInformationSEIBox extends Box(‘3sib’, size)
{
unsigned int(8*size-64) 3vcscalinfosei;
}
class AVCMVCSampleEntry() extends AVCSampleEntry (‘avc1’ or 'avc2'){ ViewScalabilityInformationSEIBox
mvcscalinfosei; // optional
ViewIdentifierBox view_identifiers; // optional
MVCConfigurationBox mvcconfig; // optional
MVCViewPriorityAssignmentBox view_priority_method; // optional
IntrinsicCameraParametersBox intrinsic_camera_params; // optional
ExtrinsicCameraParametersBox extrinsic_camera_params; // optional
3VCConfigurationBox 3vcconfig; // optional
3VCScalabilityInformationSEIBox 3vcscalinfosei; // optional
}
class MVCSampleEntry() extends VisualSampleEntry ('mvc1' or 'mvc2'){
MVCConfigurationBox mvcconfig; // mandatory
ViewScalabilityInformationSEIBox mvcscalinfosei; // optional
ViewIdentifierBox view_identifiers; // mandatory
MPEG4BitRateBox bitrate; // optional
MPEG4ExtensionDescriptorsBox descr; // optional
MVCViewPriorityAssignmentBox view_priority_method; // optional
IntrinsicCameraParametersBox intrinsic_camera_params; // optional
ExtrinsicCameraParametersBox extrinsic_camera_params // optional
3VCConfigurationBox 3vcconfig; // optional
3VCScalabilityInformationSEIBox 3vcscalinfosei; // optional
}
class 3VCSampleEntry() extends VisualSampleEntry ('3vc1' or '3vc2'){ 3VCConfigurationBox 3vcconfig; // mandatory
3VCScalabilityInformationSEIBox 3vcscalinfosei; // optional
ViewIdentifierBox view_identifiers; // mandatory
MPEG4BitRateBox bitrate; // optional
MPEG4ExtensionDescriptorsBox descr; // optional
MVCViewPriorityAssignmentBox view_priority_method; // optional
IntrinsicCameraParametersBox intrinsic_camera_params; // optional
ExtrinsicCameraParametersBox extrinsic_camera_params // optional
}
[0168]以下は、ＭＶＣサンプルエントリー及び３ＶＣサンプルエントリーのための例示的なシンタックス要素を与える。シンタックス要素ｄｅｐｔｈ＿ｗｉｄｔｈ及びｄｅｐｔｈ＿ｈｅｉｇｈｔは、それぞれ、３ＶＣＤｅｐｔｈＲｅｓｏｌｕｔｉｏｎＢｏｘ（）（３ＶＣ深度分解能ボックス１７０のような）を含むサンプルエントリーが適用されるストリーム中の、コード化された深度ビュー成分の幅と高さの値を、画素単位で与え得る。シンタックス要素３ｖｃＤｅｐｔｈＲｅｓは、サンプルエントリーが適用されるストリーム中のコード化された深度ビュー成分の幅と高さとを含み得る。存在しないとき、コード化された深度ビュー成分の幅と高さは、コード化されたテクスチャビュー成分の幅及び高さと同じであると推測され得る。
[0169]シンタックス要素ｍｖｃｓｃａｌｉｎｆｏｓｅｉは、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｈで規定されるようなビュースケーラビリティ情報ＳＥＩメッセージのみを含むＳＥＩ ＮＡＬ単位を含み得る。コンテナボックスＶｉｅｗＳｃａｌａｂｉｌｉｔｙＩｎｆｏｒｍａｔｉｏｎＳＥＩＢｏｘの「サイズ」フィールドは、０又は１に等しくてはならない。
[0170]別のシンタックス要素３ｖｃｓｃａｌｉｎｆｏｓｅｉは、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｉで規定されるような３ＤＶＣスケーラビリティ情報ＳＥＩメッセージのみを含むＳＥＩ ＮＡＬ単位を含み得る。コンテナボックス３ＶＣＳｃａｌａｂｉｌｉｔｙＩｎｆｏｒｍａｔｉｏｎＳＥＩＢｏｘの「サイズ」フィールドは、０又は１に等しくてはならない。
[0171]ＭＶＣ＋Ｄビデオストリームに対して、ビデオファイル作成モジュール７２はまた、図１の３ＶＣスケーラビリティ情報ＳＥＩメッセージボックス１６６のような、３ＶＣスケーラビリティ情報ＳＥＩメッセージボックスを合成することができる。３ＶＣスケーラビリティ情報ＳＥＩメッセージボックス１６６は、ＭＶＣ＋Ｄコーデック規格で定義される３ＤＶＣスケーラビリティ情報ＳＥＩメッセージを含み得る。
[0172]ビデオファイル作成モジュール７２はまた、本明細書で説明される技法に従って、図１のビュー識別子ボックス１７２のようなビュー識別子ボックスを合成することができる。ビデオファイル作成モジュール７２は、トラックに含まれる各ビューに対して、トラック及びストリームの中でのテクスチャビュー及び深度ビューの存在を示すために、ビュー識別子ボックス１７２を合成することができる。更に、ビデオファイル作成モジュール７２は、参照ビューのテクスチャビュー及び深度ビューが特定のビューを復号するためにどのように必要とされるかを示すために、ビュー識別子ボックス１７２を合成することができる。
[0173]ビュー識別子ボックス１７２の更なる詳細は次の通りである。ビュー識別子ボックス１７２のための４文字のコード化されたボックスタイプは「ｖｗｉｄ」であり得る。ビュー識別子ボックス１７２は、任意のサンプルエントリー（例えば、「ａｖｃ１」、「ａｖｃ２」、「ｍｖｃ１」、「ｍｖｃ２」、「３ｖｃ１」、及び「３ｖｃ２」）に、又はマルチグループエントリーに含まれ得る。幾つかの例では、ビュー識別子ボックスは、サンプルエントリー「ｍｖｃ１」、「ｍｖｃ２」、「３ｖｃ１」、「３ｖｃ２」、及びマルチビューグループエントリー中の主要グループ定義の各々に対してちょうど１回含まれなければならない。幾つかの例では、ビュー識別子ボックス１７２は、マルチビューグループエントリー中の非主要グループ定義に対しては含まれない。
[0174]サンプルエントリーに含まれるとき、ビュー識別子ボックス１７２は、トラックに含まれるビューを示す。マルチビューグループエントリーに含まれるとき、ビュー識別子ボックス１７２は、それぞれの階層に含まれるビューを示す。ビュー識別子ボックス１７２はまた、各々の列挙されたビューのビュー順序インデックスを示す。加えて、ビュー識別子ボックス１７２は、ビュー識別子ボックス１７２がサンプルエントリー又はマルチビューグループエントリーに含まれるとき、それぞれ、トラック又は階層に含まれるｔｅｍｐｏｒａｌ＿ｉｄの値の最小値と最大値とを含む。その上、ビュー識別子ボックス１７２は、トラック又は階層に含まれるビューを復号するために必要とされる１つ又は複数の参照されるビューを示し得る。３ＶＣストリームに対して、ビュー識別子ボックス１７２は、トラックに含まれるビューの各々に対して、トラック及びストリームの中でのテクスチャ及び／又は深度の存在を示し得る。
[0175]ビュー識別子ボックス１７２の１つの例示的なシンタックスは次の通りである。
class ViewIdentifierBox extends FullBox (‘vwid’, version=0, flags)
{
unsigned int(2) reserved6 = 0;
unsigned int(3) min_temporal_id;
unsigned int(3) max_temporal_id;
unsigned int(16) num_views;
for (i=0; i<num_views; i++) {
unsigned int(6) reserved1 = 0;
unsigned int(10) view_id[i];
unsigned int(6) reserved2 = 0;
unsigned int(10) view_order_index;
unsigned int(1) texture_in_stream[i];
unsigned int(1) texture_in_track[i];
unsigned int(1) depth_in_stream[i];
unsigned int(1) depth_in_track[i];
unsigned int(2) base_view_type;
unsigned int(10) num_ref_views;
for (j = 0; j < num_ref_views; j++) {
unsigned int(4) reserved5 = 0;
unsigned int(2) dependent_component_idc[i][j];
unsigned int(10) ref_view_id[i][j];
}
}
}
[0176]ビュー識別子ボックス１７２の幾つかの例示的なセマンティクスは次のように与えられる。２つのシンタックス要素ｍｉｎ＿ｔｅｍｐｏｒａｌ＿ｉｄ及びｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄは、それぞれ、ビュー識別子ボックス１７２がサンプルエントリー又はマルチビューグループエントリーに含まれるときにそれぞれトラック又は階層にマッピングされるＮＡＬ単位のＮＡＬ単位ヘッダ拡張中に存在する、ｔｅｍｐｏｒａｌ＿ｉｄシンタックス要素の最小値と最大値とを有し得る。ＡＶＣストリームに対して、ｍｉｎ＿ｔｅｍｐｏｒａｌ＿ｉｄ及びｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄは、プレフィックスＮＡＬ単位の中にある、又はその中にあるであろう、値をとる。
[0177]シンタックス要素ｎｕｍ＿ｖｉｅｗｓは、ビュー識別子ボックス１７２がサンプルエントリー中に存在するとき、トラックに含まれるビューの数を示し得る。ビュー識別子ボックス１７２がマルチビューグループエントリー中に存在するとき、ｎｕｍ＿ｖｉｅｗｓは、それぞれの階層に含まれるビューの数を示し得る。
[0178]別のシンタックス要素ｖｉｅｗ＿ｉｄ［ｉ］は、ビュー識別子ボックス１７２がサンプルエントリー又はマルチビューグループエントリーに含まれるときにそれぞれトラック又は階層に含まれるビューのＮＡＬ単位ヘッダ拡張中の、ｖｉｅｗ＿ｉｄシンタックス要素の値を示し得る。
[0179]シンタックス要素ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘは、ビュー識別子ボックス１７２がサンプルエントリー又はマルチビューグループエントリーに含まれるときにそれぞれトラック又は階層に含まれるビューに対する、ＩＳＯ／ＩＥＣ １４４９６−１０のＡｎｎｅｘ Ｈで規定されるような、順序インデックス値（ＶＯＩｄｘ）変数の値を示し得る。
[0180]シンタックス要素ｔｅｘｔｕｒｅ＿ｉｎ＿ｓｔｒｅａｍ［ｉ］が導入され、１に等しいｔｅｘｔｕｒｅ＿ｉｎ＿ｓｔｒｅａｍ［ｉ］は、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューのテクスチャビューがストリーム中に存在することを示し得る。この値は、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューのテクスチャビューがストリーム中に存在しない可能性があることを示す。
[0181]同様に、シンタックス要素ｔｅｘｔｕｒｅ＿ｉｎ＿ｔｒａｃｋ［ｉ］が導入され、１に等しいｔｅｘｔｕｒｅ＿ｉｎ＿ｔｒａｃｋ［ｉ］は、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューのテクスチャビューがトラック中に存在することを示し得る。この値は、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューのテクスチャビューがトラック中に存在しないことを示し得る。幾つかの例では、ｔｅｘｔｕｒｅ＿ｉｎ＿ｓｔｒｅａｍ［ｉ］が０に等しいとき、ｔｅｘｔｕｒｅ＿ｉｎ＿ｔｒａｃｋ［ｉ］の値は０に等しくなければならない。
[0182]別のシンタックス要素ｄｅｐｔｈ＿ｉｎ＿ｓｔｒｅａｍ［ｉ］が導入され、１に等しいｄｅｐｔｈ＿ｉｎ＿ｓｔｒｅａｍ［ｉ］は、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューの深度ビューがストリーム中に存在することを示し得る。この値は、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューの深度ビューがストリーム中に存在しないことを示し得る。幾つかの例では、ｔｅｘｔｕｒｅ＿ｉｎ＿ｓｔｒｅａｍ［ｉ］が０に等しいとき、ｄｅｐｔｈ＿ｉｎ＿ｓｔｒｅａｍ［ｉ］の値は１に等しくなければならない。
[0183]シンタックス要素ｄｅｐｔｈ＿ｉｎ＿ｔｒａｃｋ［ｉ］が導入され、１に等しいｄｅｐｔｈ＿ｉｎ＿ｔｒａｃｋ［ｉ］は、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューの深度ビューがトラック中に存在することを示し得る。この値は、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューの深度ビューがトラック中に存在しないことを示し得る。幾つかの例では、ｄｅｐｔｈ＿ｉｎ＿ｓｔｒｅａｍ［ｉ］が０に等しいとき、ｄｅｐｔｈ＿ｉｎ＿ｔｒａｃｋ［ｉ］の値は０に等しくなければならない。幾つかの例では、ｔｅｘｔｕｒｅ＿ｉｎ＿ｔｒａｃｋ［ｉ］が０に等しいとき、ｄｅｐｔｈ＿ｉｎ＿ｔｒａｃｋ［ｉ］の値は１に等しくなければならない。
[0184]別のシンタックス要素ｂａｓｅ＿ｖｉｅｗ＿ｔｙｐｅは、ビューが基本ビューかどうか（仮想的かどうか）を示し得る。シンタックス要素ｂａｓｅ＿ｖｉｅｗ＿ｔｙｐｅは、次の値をとり得る。０は、ビューが基本ビューでも仮想基本ビューでもないことを示し、１は、ＭＶＣビットストリームの非仮想基本ビューを標識するために使用されるべきであり、２は、予備の値であり使用されるべきではなく（しかし、後で使用されることがある）、３は、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューが仮想基本ビューであることを示す。それぞれの独立にコード化された、ｖｉｅｗ＿ｉｄ［ｉ］を伴う非基本ビューは、別のトラックに存在し得る。ｂａｓｅ＿ｖｉｅｗ＿ｔｙｐｅが３に等しいとき、後続のｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓは０に等しくなければならない。
[0185]更なるシンタックス要素ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓは、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューによって直接又は間接的に参照され得るビューの数を示し得る。
[0186]ｊ番目の参照ビューのテクスチャビュー及び深度ビューがｖｉｅｗ＿ｉｄ［ｉ］を伴うビューを復号するためにどのように必要とされるかを示し得る、別のシンタックス要素ｄｅｐｅｎｄｅｎｔ＿ｃｏｍｐｏｎｅｎｔ＿ｉｄｃ［ｉ］［ｊ］が導入される。この値が０に等しい場合、参照ビューのテクスチャビューのみが必要とされ得る。この値が１に等しい場合、参照ビューの深度ビューのみが必要とされ得る。この値が２に等しい場合、参照ビューのテクスチャビューと深度ビューの両方が必要とされ得る。３という値は予備である。
[0187]別のシンタックス要素ｒｅｆ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］は、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューによって直接又は間接的に参照され得る、即ち、ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューの復号のために必要とされ得る、ｊ番目のビューのビュー識別子を示し得る。ｖｉｅｗ＿ｉｄ［ｉ］を伴うビューを復号するためにあるビューが必要とされる場合、そのビューは、ｒｅｆ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］の１つとして列挙され得る。ビュー識別子ボックス１７２がサンプルエントリーに含まれるとき、同じサンプルエントリー中のアンカーアクセス単位と非アンカーアクセス単位の両方に対する参照されるビューを示すことが推奨され得る。
[0188]更に、幾つかの例では、ビデオファイル作成モジュール７２は、深度ビューの空間分解能の明示的な指示を、図１の３ＶＣ深度分解能ボックス１７０のような３ＶＣ深度分解能ボックスにおいて提供することができる。３ＶＣ深度分解能ボックス１７０は、図１の３ＶＣ構成ボックス１６８のような３ＶＣ構成ボックスに含まれ得る。幾つかの例では、３ＶＣ構成ボックス１６８は、３ＶＣデコーダ構成記録を含まなければならず、サンプルエントリーに含まれ得るが、タイプ「３ｖｃ１」又は「３ｖｃ２」のサンプルエントリーに含まれなければならない。
[0189]幾つかの態様では、ビデオファイル作成モジュール７２は更にビデオファイルを合成し、このときテクスチャビュー及び深度ビューは別個のトラックに記憶される。ＭＶＣストリーム又は３ＶＣストリームは、ファイル中の１つ又は複数のビデオトラック（図１のビデオデータストリーム１４６のような）によって表され得る。各トラックは、ストリームの１つ又は複数のビューを表し得る。深度を伴うマルチビューメディアファイル１４２のような、３ＶＣビデオストリームを記憶するファイル中のトラックに対して、トラックは、テクスチャのみ、深度のみ、又はテクスチャと深度の両方を含み得る。
[0190]幾つかの例では、符号化された情報の完全なセットを全体として含む、１つ又は複数のトラックの最小限のセットがあり得る。全てのこれらのトラックは、サンプルエントリーの全てにおい設定された、「ｃｏｍｐｌｅｔｅ＿ｒｅｐｒｅｓｅｎｔａｔｉｏｎ」というフラグを有し得る。完全な符号化された情報を形成するトラックのグループは、「完全サブセット」と呼ばれ得る。フラグ「ｃｏｍｐｌｅｔｅ＿ｒｅｐｒｅｓｅｎｔａｔｉｏｎ」セットを有し、０に等しいｔｅｍｐｏｒａｌ＿ｉｄを伴う基本ビューのＮＡＬ単位を含むトラックは、「基本ビュートラック」として指定され得る。同じストリームの部分である全ての他のトラックが、タイプ「ｓｂａｓ」（基本ビュー）のトラック参照によって、この基本ビュートラックにリンクされ得る。完全な符号化された情報は、「完全サブセット」に含まれるトラックが保持されるときは保持されてよく、全ての他のトラックは、完全サブセットのサブセット、コピー、又は並べ替えでなければならない。
[0191]同じ基本ビュートラックを共有する全てのトラックは、同じ時間軸も共有し得る。３ＶＣストリームの幾つかの例では、特定のビューのテクスチャビューと深度ビューとを含む全てのトラックは、同じ時間軸を共有する。特定のビューのテクスチャビュー及び深度ビューは、同じ値のｖｉｅｗ＿ｉｄを（従って、同じ値のビュー順序インデックスも）有してよく、互いに関連付けられるものとして言及され得る。
[0192]トラックによって表されるビューが、ビュー間予測参照として別のトラックによって表される別のビューを使用する場合、タイプ「ｓｃａｌ」のトラック参照が、ビュー間予測のためのソーストラックを参照するトラックに含まれるべきである。
[0193]３ＶＣストリームの幾つかの例では、深度ビューが、深度ビューと関連付けられるテクスチャビューを含むトラックとは異なるトラックに記憶される場合、タイプ「ｄｅｐｓ」のトラック参照は、テクスチャビューを含むトラックを参照する、深度ビューを含むトラック中に含まれる。トラック参照「ｄｅｐｓ」の存在は、現在のトラックが参照されたトラック中のテクスチャビューと関連付けられる深度ビューを含むことを示す。
[0194]幾つかの例では、ビデオファイル作成ユニット７２がビデオファイルを生成した後、ビデオファイル作成ユニット７２は、ビデオファイルをビデオファイル出力インターフェース７６に渡す。ビデオファイル出力インターフェース７６は、例えば、発信源機器２０の出力インターフェース２２に、ビデオファイルを出力する。幾つかの例では、ビデオファイル出力インターフェース７６は、ビデオファイルを発信源機器２０の記憶媒体又は記憶機器３２に出力する。
[0195]図７は、本開示で説明される技法を実装し得るネットワーク１００の一部を形成する機器の例示的なセットを示すブロック図である。この例では、ネットワーク１００は、ルーティング機器１０４Ａ、１０４Ｂ（ルーティング機器１０４）とトランスコード化機器１０６とを含む。ルーティング機器１０４及びトランスコード化機器１０６は、ネットワーク１００の一部を形成し得る少数の機器を表すことが意図される。スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、及び他のそのような機器などの他のネットワーク機器も、ネットワーク１００内に含まれ得る。その上、サーバ機器１０２とクライアント機器１０８との間にネットワーク経路に沿って追加のネットワーク機器が提供され得る。任意のそのような機器は、本明細書で説明される１つ又は複数の技法を実施し得るエンコーダ又はデコーダを備え得る。その上、ネットワーク機器は、完全な符号化又は復号の能力を必ずしも含まないＭＡＮＥを備えてよく、ＭＡＮＥはまた、本明細書で説明された１つ又は複数の技法を実施してよい。幾つかの例では、サーバ機器１０２は図３の発信源機器１２に対応し得るが、クライアント機器１０８は図３の宛先機器１４に対応し得る。
[0196]一般に、ルーティング機器１０４は、ネットワーク１００を通じてネットワークデータを交換するための１つ又は複数のルーティングプロトコルを実装する。幾つかの例では、ルーティング機器１０４は、プロキシ又はキャッシュ動作を実行するように構成され得る。従って、幾つかの例では、ルーティング機器１０４はプロキシ機器と呼ばれ得る。一般に、ルーティング機器１０４は、ネットワーク１００を通るルートを発見するためにルーティングプロトコルを実行する。そのようなルーティングプロトコルを実行することによって、ルーティング機器１０４Ｂは、それ自体からルーティング機器１０４Ａを介してサーバ機器１０２へ至るネットワークルートを発見することができる。
[0197]ネットワーク１００を通じて、サーバ機器１０２は、本明細書で説明される技法に従って合成された１つ又は複数のメディアファイルを、クライアント機器１０８に与えることができる。他の例では、クライアント機器１０８は、ネットワーク１００を通じて、本明細書で説明された技法に従って合成されたサーバ機器１０２１つ又は複数のメディアファイルを与える。
[0198]図８は、本開示で説明される技法による、マルチビュービデオコンテンツを含むメディアファイルを構文解析する例示的な方法を示すフローチャートである。図８で説明されるプロセスは、本明細書で説明される宛先機器２０及び逆カプセル化モジュール２９の任意の組合せを含み得る、ビデオコード化機器によって実行され得る。ビデオコード化機器は、ビデオデータのトラックを構文解析することができ、トラックは１つ又は複数のビューを含む（２００）。例えば、逆カプセル化モジュール２９は、発信源機器１２からの深度を伴うマルチビューメディアファイル１４２のような、複数のコード化されたビュープラス深度を含むメディアファイルを取得することができる。ビデオコード化機器は、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を構文解析することができる（２０２）。例えば、逆カプセル化モジュール２９は、深度を伴うマルチビューメディアファイル１４２に含まれるトラックの少なくとも１つがテクスチャビューを含むか、深度ビューを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために、深度を伴うマルチビューメディアファイル１４２からの情報を構文解析することができる。
[0199]幾つかの例では、情報を構文解析することは更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを構文解析することを備え、サンプルエントリーとマルチビューグループエントリーの少なくとも１つはトラックと関連付けられる。例えば、逆カプセル化モジュール２９は、トラックに含まれる各ビューに対して、ビューがテクスチャビューか深度ビューかを決定するために、ビュー識別子ボックス１７２からの情報を構文解析することができる。逆カプセル化モジュール２９は、参照ビューのテクスチャビュー又は深度ビューがトラック中の特定のビューを復号するために必要とされるかどうかを更に決定するために、ビュー識別子ボックス１７２を構文解析することができる。
[0200]逆カプセル化モジュール２９は、第１のビデオデータに基づいて、ビデオデータの別の第２のセットを構文解析し、更に、第２のビデオデータを復号するために第１のビデオデータの第１のテクスチャビューが使用されるか、第１の深度ビューが使用されるか、又は第１のテクスチャビューと第１の深度ビューの両方が使用されるかを決定するために、情報を構文解析することができる。
[0201]別の例では、プロセスは、ビューの１つ又は複数と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを決定するために、ＳＥＩメッセージボックスを構文解析することを含む。即ち、逆カプセル化モジュール２９は、ビューの１つ又は複数のＳＥＩメッセージから情報を得るために、３ＶＣスケーラビリティ情報ＳＥＩメッセージボックス１６６のような、ＳＥＩメッセージボックスを構文解析することができる。
[0202]トラックが１つ又は複数の深度ビューを含む例では、プロセスは更に、１つ又は複数の深度ビューの空間分解能を決定するために、３ＶＣ深度分解能ボックスを構文解析することを含み得る。例えば、逆カプセル化モジュール２９は、深度を伴うマルチビューメディアファイル１４２に含まれる深度ビューの空間分解能を決定するために、３ＶＣ深度分解能ボックス１７０を構文解析する。幾つかの例では、逆カプセル化モジュール２９は、３ＶＣ構成ボックス１６８から３ＶＣ深度分解能ボックス１７０を構文解析する。他の例では、逆カプセル化モジュール２９は、３ＶＣ深度分解能ボックス１７０をサンプルエントリーから直接構文解析する。逆カプセル化モジュール２９はまた、ＭＶＣ＋Ｄビデオストリームのような３ＤＶビデオストリームに関する特性を示すセマンティクスを含む、３ＶＣデコーダ構成記録、３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄを構文解析することができる。プロセスはまた、トラックに含まれる深度ビューの幅と高さとを決定するために、３次元ビデオコード化（３ＶＣ）デコーダ構成記録を構文解析することを含み得る。
[0203]幾つかの例では、トラックは第１のトラックであり、第１のトラックはビューの深度ビューとビューのテクスチャビューとの１つを含み、プロセスは更に、ビデオデータの第２のトラックを構文解析することを含み、第２のトラックは、第１のトラックに含まれない、ビューの深度ビューとビューのテクスチャビューとの１つを含む。プロセスは更に、第２のトラックを参照する第１のトラックに対するトラック参照を構文解析することを含んでよく、トラック参照は、第２のトラックに記憶されているテクスチャビューと関連付けられる深度ビューを第１のトラックが含む（例えば、トラック参照タイプが「ｄｅｐｓ」である）ことと、第１のトラックが第２のトラックに記憶されているテクスチャビューに依存する（例えば、トラック参照タイプが「ｔｒｅｆ」である）ことと、第１のトラックが第２のトラックに記憶されている深度ビューに依存する（例えば、トラック参照タイプが「ｄｒｅｆ」である）こととの１つを示す、少なくとも１つのトラック参照タイプを含む。
[0204]トラックが３次元ビデオコード化（３ＶＣ）トラックである例では、プロセスは更に、３ＶＣデコーダ構成記録を構文解析することを含んでよく、３ＶＣデコーダ構成記録は、ビデオデータの一致するサンプルエントリーに対する構成記録を示す。トラックが１つ又は複数の深度ネットワーク抽象化レイヤ（ＮＡＬ）単位を含む３ＶＣトラックである別の例では、プロセスは、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」と、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを構文解析することを含む。更なる例では、プロセスは、本開示で説明される技法の１つ又は複数を含み得る。
[0205]図９は、本開示で説明される技法による、テクスチャビューと深度ビューの存在を示すためにマルチビュービデオコンテンツを含むメディアファイルを合成する例示的な方法を示すフローチャートである。図９で説明されるプロセスは、本明細書で説明されるカプセル化モジュール２１を含むビデオコード化機器によって実行され得る。ビデオコード化機器は、ビデオデータのトラックを合成することができ、トラックは１つ又は複数のビューを含む（２０６）。例えば、カプセル化モジュール２１は、ビデオエンコーダ２１からビデオデータを取得することができる。ビデオコード化機器は、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成することができる（２０８）。例えば、カプセル化モジュール２１は、深度を伴うマルチビューメディアファイル１４２に含まれるトラックの少なくとも１つがテクスチャビューを含むか、深度ビューを含むか、又はテクスチャビューと深度ビューの両方を含むかを示すために、深度を伴うマルチビューメディアファイル１４２へと情報を合成することができる。カプセル化モジュール２１は、本明細書で説明される技法に従って、深度を伴うマルチビューメディアファイル１４２のような、複数のコード化されたビュープラス深度を含むメディアファイルを合成することができる。
[0206]幾つかの例では、情報を合成することは更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つへとビュー識別子ボックスを合成することを備え、サンプルエントリーとマルチビューグループエントリーの少なくとも１つはトラックと関連付けられる。例えば、カプセル化モジュール２１は、トラックに含まれる各ビューに対して、ビューがテクスチャビューか深度ビューかを示すために、ビュー識別子ボックス１７２へと情報を合成することができる。カプセル化モジュール２１は、参照ビューのテクスチャビュー又は深度ビューがトラック中の特定のビューを復号するために必要とされるかどうかを更に示すために、ビュー識別子ボックス１７２を合成することができる。
[0207]カプセル化モジュール２１は、第１のビデオデータに基づいて、ビデオデータの別の第２のセットを合成し、更に、第２のビデオデータを復号又は構文解析するために第１のビデオデータの第１のテクスチャビューが使用されるか、第１の深度ビューが使用されるか、又は第１のテクスチャビューと第１の深度ビューの両方が使用され得るかを示すために、情報を合成することができる。
[0208]別の例では、プロセスは、ビューの１つ又は複数と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを示すために、ＳＥＩメッセージボックスを合成することを含む。即ち、カプセル化モジュール２１は、ビューの１つ又は複数のＳＥＩメッセージで情報を提供するために、３ＶＣスケーラビリティ情報ＳＥＩメッセージボックス１６６のような、ＳＥＩメッセージボックスを合成することができる。
[0209]トラックが１つ又は複数の深度ビューを含む例では、プロセスは更に、１つ又は複数の深度ビューの空間分解能を示すために、３ＶＣ深度分解能ボックスを合成することを含み得る。例えば、カプセル化モジュール２１は、深度を伴うマルチビューメディアファイル１４２に含まれる深度ビューの空間分解能を示すために、３ＶＣ深度分解能ボックス１７０を合成する。幾つかの例では、カプセル化モジュール２１は、３ＶＣ構成ボックス１６８において３ＶＣ深度分解能ボックス１７０を合成する。他の例では、カプセル化モジュール２１は、３ＶＣ深度分解能ボックス１７０をサンプルエントリーにおいて直接合成する。カプセル化モジュール２１はまた、ＭＶＣ＋Ｄビデオストリームのような３ＤＶビデオストリームに関する特性を示すセマンティクスを含む、３ＶＣデコーダ構成記録、即ち３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄを合成することができる。プロセスはまた、トラックに含まれる深度ビューの幅と高さとを決定するために、３次元ビデオコード化（３ＶＣ）デコーダ構成記録を合成することを含み得る。
[0210]幾つかの例では、トラックは第１のトラックであり、第１のトラックはビューの深度ビューとビューのテクスチャビューとの１つを含み、プロセスは更に、ビデオデータの第２のトラックを合成することを含み、第２のトラックは、第１のトラックに含まれない、ビューの深度ビューとビューのテクスチャビューとの１つを含む。プロセスは更に、第２のトラックを参照する第１のトラックに対するトラック参照を合成することを含んでよく、トラック参照は、第２のトラックに記憶されないテクスチャビューと関連付けられる深度ビューを第１のトラックが含む（例えば、トラック参照タイプが「ｄｅｐｓ」である）ことと、第１のトラックが第２のトラックに記憶されるテクスチャビューに依存する（例えば、トラック参照タイプが「ｔｒｅｆ」である）ことと、第１のトラックが第２のトラックに記憶される深度ビューに依存する（例えば、トラック参照タイプが「ｄｒｅｆ」である）こととの１つを示す、少なくとも１つのトラック参照タイプを含む。
[0211]トラックが３次元ビデオコード化（３ＶＣ）トラックである例では、プロセスは更に、３ＶＣデコーダ構成記録を合成することを含んでよく、３ＶＣデコーダ構成記録は、ビデオデータの一致するサンプルエントリーに対する構成記録を示す。トラックが１つ又は複数の深度ネットワーク抽象化レイヤ（ＮＡＬ）単位を含む３ＶＣトラックである別の例では、プロセスは、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」と、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを合成することを含む。更なる例では、プロセスは、本開示で説明される技法の１つ又は複数を含み得る。
[0212]図１０は、本開示で説明される技法による、ビューの依存関係を示すマルチビュービデオを含むメディアファイルを構文解析する例示的な方法を示すフローチャートである。図１０で説明されるプロセスは、本明細書で説明される逆カプセル化モジュール２９を含むビデオコード化機器によって実行され得る。ビデオコード化機器は、ビデオデータのトラックを構文解析することができ、トラックは１つ又は複数のビューを含む（２２０）。例えば、逆カプセル化モジュール２９は、発信源機器１２からの深度を伴うマルチビューメディアファイル１４２のような、複数のコード化されたビュープラス深度を含むメディアファイルを取得することができる。ビデオコード化機器は、トラック中の１つ又は複数のビューの１つを復号するために参照ビューのテクスチャビューか必要とされるか深度ビューが必要とされるかを決定するために、情報を構文解析することができる（２０２）。例えば、逆カプセル化モジュール２９は、深度を伴うマルチビューメディアファイル１４２に含まれるトラック中の１つ又は複数のビューの１つを復号するために参照ビューのテクスチャビューが必要とされるか深度ビューが必要とされるかを決定するために、深度を伴うマルチビューメディアファイル１４２からの情報を構文解析することができる。
[0213]幾つかの例では、プロセスは更に、第１のビデオデータに基づいて第２のビデオデータを復号することを含んでよく、第２のビデオデータを復号することは、第２のビデオデータを復号するために第１のビデオデータのテクスチャビューが使用されるか、深度ビューが使用されるか、又はテクスチャビューと深度ビューの両方が使用されるかを示す情報を復号することを含む。
[0214]幾つかの例では、情報を構文解析することは更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを構文解析することを備え、サンプルエントリーとマルチビューグループエントリーの少なくとも１つはトラックと関連付けられる。例えば、ビデオデコーダ３０は、深度を伴うマルチビューメディアファイル１４２に含まれるトラック中の１つ又は複数のビューの１つを復号するために参照ビューのテクスチャビューが必要とされるか深度ビューが必要とされるかを決定するために、ビュー識別子ボックス１７２からの情報を構文解析することができる。別の例では、逆カプセル化モジュール２９は、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューとを含むかを決定するために、ビュー識別子ボックス１７２からの情報を構文解析することができる。別の例では、逆カプセル化モジュール２９は、トラックに含まれる各ビューに対して、ビューがテクスチャビューか深度ビューかを決定するために、ビュー識別子ボックス１７２からの情報を構文解析することができる。逆カプセル化モジュール２９は、参照ビューのテクスチャビュー又は深度ビューがトラック中の特定のビューを復号するために必要とされるかどうかを更に決定するために、ビュー識別子ボックス１７２を構文解析することができる。
[0215]逆カプセル化モジュール２９は、第１のビデオデータに基づいて、ビデオデータの別の第２のセットを構文解析し、更に、第２のビデオデータを復号するために第１のビデオデータの第１のテクスチャビューが使用されるか、第１の深度ビューが使用されるか、又は第１のテクスチャビューと第１の深度ビューの両方が使用されるかを決定するために、情報を構文解析することができる。
[0216]別の例では、プロセスは、ビューの１つ又は複数と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを決定するために、ＳＥＩメッセージボックスを構文解析することを含む。即ち、逆カプセル化モジュール２９は、ビューの１つ又は複数のＳＥＩメッセージから情報を得るために、３ＶＣスケーラビリティ情報ＳＥＩメッセージボックス１６６のような、ＳＥＩメッセージボックスを構文解析することができる。
[0217]トラックが１つ又は複数の深度ビューを含む例では、プロセスは更に、１つ又は複数の深度ビューの空間分解能を決定するために、３ＶＣ深度分解能ボックスを構文解析することを含み得る。例えば、逆カプセル化モジュール２９は、深度を伴うマルチビューメディアファイル１４２に含まれる深度ビューの空間分解能を決定するために、３ＶＣ深度分解能ボックス１７０を構文解析する。幾つかの例では、逆カプセル化モジュール２９は、３ＶＣ構成ボックス１６８から３ＶＣ深度分解能ボックス１７０を構文解析する。他の例では、逆カプセル化モジュール２９は、３ＶＣ深度分解能ボックス１７０をサンプルエントリーから直接構文解析する。逆カプセル化モジュール２９はまた、ＭＶＣ＋Ｄビデオストリームのような３ＤＶビデオストリームに関する特性を示すセマンティクスを含む、３ＶＣデコーダ構成記録、３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄを構文解析することができる。プロセスはまた、トラックに含まれる深度ビューの幅と高さとを決定するために、３次元ビデオコード化（３ＶＣ）デコーダ構成記録を構文解析することを含み得る。
[0218]幾つかの例では、トラックは第１のトラックであり、第１のトラックはビューの深度ビューとビューのテクスチャビューとの１つを含み、プロセスは更に、ビデオデータの第２のトラックを構文解析することを含み、第２のトラックは、第１のトラックに含まれない、ビューの深度ビューとビューのテクスチャビューとの１つを含む。プロセスは更に、第２のトラックを参照する第１のトラックに対するトラック参照を構文解析することを含んでよく、トラック参照は、第２のトラックに記憶されているテクスチャビューと関連付けられる深度ビューを第１のトラックが含む（例えば、トラック参照タイプが「ｄｅｐｓ」である）ことと、第１のトラックが第２のトラックに記憶されているテクスチャビューに依存する（例えば、トラック参照タイプが「ｔｒｅｆ」である）ことと、第１のトラックが第２のトラックに記憶されている深度ビューに依存する（例えば、トラック参照タイプが「ｄｒｅｆ」である）こととの１つを示す、少なくとも１つのトラック参照タイプを含む。
[0219]トラックが３次元ビデオコード化（３ＶＣ）トラックである例では、プロセスは更に、３ＶＣデコーダ構成記録を構文解析することを含んでよく、３ＶＣデコーダ構成記録は、ビデオデータの一致するサンプルエントリーに対する構成記録を示す。トラックが１つ又は複数の深度ネットワーク抽象化レイヤ（ＮＡＬ）単位を含む３ＶＣトラックである別の例では、プロセスは、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」と、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを構文解析することを含む。更なる例では、プロセスは、本開示で説明される技法の１つ又は複数を含み得る。
[0220]図１１は、本開示で説明される技法による、ビューの依存関係を示すためにマルチビュービデオコンテンツを含むメディアファイルを合成する例示的な方法を示すフローチャートである。図１１で説明されるプロセスは、本明細書で説明されるカプセル化モジュール２１を含むビデオコード化機器によって実行され得る。ビデオコード化機器は、ビデオデータのトラックを合成することができ、トラックは１つ又は複数のビューを含む（２２６）。例えば、カプセル化モジュール２１は、ビデオエンコーダ２１からビデオデータを取得することができる。ビデオコード化機器は、トラック中の１つ又は複数のビューの１つを復号するために参照ビューのテクスチャビューか必要とされるか深度ビューが必要とされるかを示す情報を合成する、情報を合成することができる（２２８）。例えば、カプセル化モジュール２１は、深度を伴うマルチビューメディアファイル１４２に含まれるトラックの１つを復号するために参照ビューのテクスチャビューが必要とされるか深度ビューが必要とされるかを示すために、深度を伴うマルチビューメディアファイル１４２へと情報を合成することができる。カプセル化モジュール２１は、本明細書で説明される技法に従って、深度を伴うマルチビューメディアファイル１４２のような、複数のコード化されたビュープラス深度を含むメディアファイルを合成することができる。
[0221]幾つかの例では、情報を合成することは更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つへとビュー識別子ボックスを合成することを備え、サンプルエントリーとマルチビューグループエントリーの少なくとも１つはトラックと関連付けられる。例えば、カプセル化モジュール２１は、トラックに含まれる各ビューに対して、ビューがテクスチャビューか深度ビューかを示すために、ビュー識別子ボックス１７２へと情報を合成することができる。カプセル化モジュール２１は、トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューとを含むかを更に示すために、ビュー識別子ボックス１７２を合成することができる。カプセル化モジュール２１は、トラックに含まれる各ビューに対して、ビューがテクスチャビューか深度ビューかを更に示すために、ビュー識別子ボックス１７２を合成することができる。
[0222]カプセル化モジュール２１は、第１のビデオデータに基づいて、ビデオデータの別の第２のセットを合成し、更に、第２のビデオデータを復号又は構文解析するために第１のビデオデータの第１のテクスチャビューが使用されるか、第１の深度ビューが使用されるか、又は第１のテクスチャビューと第１の深度ビューの両方が使用されるかを示すために、情報を合成することができる。
[0223]別の例では、プロセスは、ビューの１つ又は複数と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを示すために、ＳＥＩメッセージボックスを合成することを含む。即ち、カプセル化モジュール２１は、ビューの１つ又は複数のＳＥＩメッセージで情報を提供するために、３ＶＣスケーラビリティ情報ＳＥＩメッセージボックス１６６のような、ＳＥＩメッセージボックスを合成することができる。
[0224]トラックが１つ又は複数の深度ビューを含む例では、プロセスは更に、１つ又は複数の深度ビューの空間分解能を示すために、３ＶＣ深度分解能ボックスを合成することを含み得る。例えば、カプセル化モジュール２１は、深度を伴うマルチビューメディアファイル１４２に含まれる深度ビューの空間分解能を示すために、３ＶＣ深度分解能ボックス１７０を合成する。幾つかの例では、カプセル化モジュール２１は、３ＶＣ構成ボックス１６８において３ＶＣ深度分解能ボックス１７０を合成する。他の例では、カプセル化モジュール２１は、３ＶＣ深度分解能ボックス１７０をサンプルエントリーにおいて直接合成する。カプセル化モジュール２１はまた、ＭＶＣ＋Ｄビデオストリームのような３ＤＶビデオストリームに関する特性を示すセマンティクスを含む、３ＶＣデコーダ構成記録、即ち３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄを合成することができる。プロセスはまた、トラックに含まれる深度ビューの幅と高さとを決定するために、３次元ビデオコード化（３ＶＣ）デコーダ構成記録を合成することを含み得る。
[0225]幾つかの例では、トラックは第１のトラックであり、第１のトラックはビューの深度ビューとビューのテクスチャビューとの１つを含み、プロセスは更に、ビデオデータの第２のトラックを合成することを含み、第２のトラックは、第１のトラックに含まれない、ビューの深度ビューとビューのテクスチャビューとの１つを含む。プロセスは更に、第２のトラックを参照する第１のトラックに対するトラック参照を合成することを含んでよく、トラック参照は、第２のトラックに記憶されないテクスチャビューと関連付けられる深度ビューを第１のトラックが含む（例えば、トラック参照タイプが「ｄｅｐｓ」である）ことと、第１のトラックが第２のトラックに記憶されるテクスチャビューに依存する（例えば、トラック参照タイプが「ｔｒｅｆ」である）ことと、第１のトラックが第２のトラックに記憶される深度ビューに依存する（例えば、トラック参照タイプが「ｄｒｅｆ」である）こととの１つを示す、少なくとも１つのトラック参照タイプを含む。
[0226]トラックが３次元ビデオコード化（３ＶＣ）トラックである例では、プロセスは更に、３ＶＣデコーダ構成記録を合成することを含んでよく、３ＶＣデコーダ構成記録は、ビデオデータの一致するサンプルエントリーに対する構成記録を示す。トラックが１つ又は複数の深度ネットワーク抽象化レイヤ（ＮＡＬ）単位を含む３ＶＣトラックである別の例では、プロセスは、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」と、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを合成することを含む。更なる例では、プロセスは、本開示で説明される技法の１つ又は複数を含み得る。
[0227]本明細書で説明される技法に従ってビデオデータを処理する代替的なプロセスは、第１のビデオデータを符号化することを含み、第１のビデオデータはテクスチャビューと深度ビューとを含む。プロセスは更に、第１のビデオデータに基づいて第２のビデオデータを符号化することを含み、第２のビデオデータを符号化することは、第２のビデオデータを復号するために第１のビデオデータのテクスチャビューが使用されるか、深度ビューが使用されるか、又はテクスチャビューと深度ビューの両方が使用されるかを示す情報を符号化することを含む。
[0228]図１２は、本開示で説明される技法による、深度ビューの空間分解能を決定するためにマルチビュービデオを含むメディアファイルを構文解析する例示的な方法を示すフローチャートである。図１２で説明されるプロセスは、本明細書で説明される逆カプセル化モジュール２９を含むビデオコード化機器によって実行され得る。ビデオコード化機器は、ビデオデータのトラックを構文解析することができ、トラックは、少なくとも１つの深度ビューを含む１つ又は複数のビューを含む（２４０）。例えば、逆カプセル化モジュール２９は、発信源機器１２からの深度を伴うマルチビューメディアファイル１４２のような、複数のコード化されたビュープラス深度を含むメディアファイルを取得することができる。ビデオコード化機器は、深度ビューと関連付けられる空間分解能を決定するために情報を構文解析することができ、空間分解能を復号することは、深度ビューのシーケンスパラメータセットの構文解析を必要としない（２４２）。例えば、逆カプセル化モジュール２９は、深度メディアファイル１４２に記憶されている深度ビューの空間分解能を決定するために、深度を伴うマルチビューメディアファイル１４２からの情報を構文解析することができる。
[0229]幾つかの例では、情報を構文解析することは更に、３ＶＣ構成ボックスからの３ＶＣ深度分解能ボックスと、サンプルエントリーからの直接の３ＶＣ深度分解能ボックスとの少なくとも１つからの、空間分解能を構文解析することを備える。即ち、幾つかの例では、３ＶＣ深度分解能ボックス１７０のような３ＶＣ深度分解能ボックスは、３ＶＣ構成ボックス１６８のような３ＶＣ構成ボックスに記憶されるが、他の例では、３ＶＣ深度分解能ボックス１７０はサンプルエントリーに直接記憶される。プロセスは更に、３ＶＣ構成ボックスからの３ＶＣデコーダ構成記録を構文解析することを備えてよく、３ＶＣ構成ボックスは、エクストラクタを許容するタイプ「３ｖｃ１」のサンプルエントリーと、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」との少なくとも１つに含まれる。
[0230]幾つかの例では、逆カプセル化モジュール２９はまた、深度ビューの幅と高さとを決定するために、３ＶＣデコーダ構成記録を構文解析することができる。３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄは、ＭＶＣ＋Ｄビデオストリームのような、３ＤＶビデオストリームに関する特性を示すセマンティクスを含み得る。プロセスはまた、トラックに含まれる深度ビューの幅と高さとを決定するために、３次元ビデオコード化（３ＶＣ）デコーダ構成記録を構文解析することを含み得る。
[0231]幾つかの例では、情報を構文解析することは更に、トラック中の１つ又は複数のビューの少なくとも１つを復号するために参照ビューのテクスチャビューが必要とされるか、又は深度ビューを必要とされるかということと、トラックが深度ビューのみを含むか、又はテクスチャビューと深度ビューとを含むかということと、トラックに含まれる各ビューに対して、ビューがテクスチャビューを含むか、又は深度ビューを含むかということとの少なくとも１つを決定するために、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを構文解析することを備え、サンプルエントリーとマルチビューグループエントリーの少なくとも１つはトラックと関連付けられる。例えば、逆カプセル化モジュール２９は、トラックに含まれる各ビューに対して、ビューがテクスチャビューか深度ビューかを決定するために、ビュー識別子ボックス１７２からの情報を構文解析することができる。逆カプセル化モジュール２９は更に、参照ビューのテクスチャビュー又は深度ビューがトラック中の特定のビューを復号するために必要とされるかどうかを決定するために、ビュー識別子ボックス１７２を構文解析することができる。
[0232]ビデオデータがビデオデータの第１のセットであり、トラックが更に少なくとも１つのテクスチャビューを含む例では、逆カプセル化モジュール２９は更に、ビデオデータの第１のセットに基づいてビデオデータの第２のセットを構文解析することができ、情報を構文解析することは、ビデオデータの第２のセットを復号するためにビデオデータの第１のセットの第１のテクスチャビューが使用されるか、第１の深度ビューが使用されるか、又は第１のテクスチャビューと第１の深度ビューの両方が使用されるかを決定するために、情報を構文解析することを備える。
[0233]別の例では、プロセスは、ビューの１つ又は複数と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを決定するために、ＳＥＩメッセージボックスを構文解析することを含む。即ち、逆カプセル化モジュール２９は、ビューの１つ又は複数のＳＥＩメッセージから情報を得るために、３ＶＣスケーラビリティ情報ＳＥＩメッセージボックス１６６のような、ＳＥＩメッセージボックスを構文解析することができる。
[0234]トラックが深度ビューを含む第１のトラックである例では、プロセスは更に、ビデオデータの第２のトラックを構文解析することを含んでよく、第２のトラックは深度ビューに対応するテクスチャビューを含み、テクスチャビューは第１のトラックには含まれない。プロセスは更に、第２のトラックを参照する第１のトラックに対するトラック参照を構文解析することを含んでよく、トラック参照は、第２のトラックに記憶されないテクスチャビューと関連付けられる深度ビューを第１のトラックが含む（例えば、トラック参照タイプが「ｄｅｐｓ」である）ことと、１つ又は複数のビュー第１のトラックが第２のトラックに記憶されるテクスチャビューに依存する（例えば、トラック参照タイプが「ｔｒｅｆ」である）ことと、１つ又は複数のビュー第１のトラックが第２のトラックに記憶される深度ビューに依存する（例えば、トラック参照タイプが「ｄｒｅｆ」である）こととの１つを示す、少なくとも１つのトラック参照タイプを含む。
[0235]ビデオデータを処理する他の例示的なプロセスは、深度ビューを復号することと、深度ビューと関連付けられる空間分解能を復号することとを含んでよく、空間分解能を復号することは、深度ビューのシーケンスパラメータセットの構文解析を必要としない。別の例では、ビデオデータを処理するプロセスは、深度ビューの空間分解能を示すために深度分解能ボックスを復号することを含む。更に別の例では、ビデオデータを処理するプロセスは、構成ボックスを復号することを含み、深度分解能ボックスは構成ボックスに含まれる。ビデオデータを処理する更なる例示的なプロセスは、サンプルエントリーから直接３ＶＣＤｅｐｔｈＲｅｓｏｌｕｔｉｏｎＢｏｘを復号することを含む。更に別の例では、ビデオデータを処理するプロセスは、３ＶＣデコーダ構成記録から深度ビューの幅と高さとを復号することを含み、３ＶＣは３次元ビデオコード化を表す。これらの例示的なプロセスのいずれもが、本明細書で説明される技法の任意のサブセットを含み得る。
[0236]図１３は、本開示で説明される技法による、深度ビューの空間分解能を示すためにマルチビュービデオコンテンツを含むメディアファイルを合成する例示的な方法を示すフローチャートである。図１３で説明されるプロセスは、本明細書で説明されるカプセル化モジュール２１を含むビデオコード化機器によって実行され得る。ビデオコード化機器は、ビデオデータのトラックを合成することができ、トラックは、少なくとも１つの深度ビューを含む１つ又は複数のビューを含む（２４６）。例えば、カプセル化モジュール２１は、ビデオエンコーダ２１からビデオデータを取得することができる。ビデオコード化機器は、深度ビューと関連付けられる空間分解能を示すために情報を合成することができ、空間分解能を復号することは、深度ビューのシーケンスパラメータセットの構文解析を必要としない（２４８）。カプセル化モジュール２１は、本明細書で説明される技法に従って、深度を伴うマルチビューメディアファイル１４２のような、複数のコード化されたビュープラス深度を含むメディアファイルを合成することができる。例えば、カプセル化モジュール２１は、深度を伴うマルチビューメディアファイル１４２に含まれるトラック中の深度ビューの空間分解能を示すために、深度を伴うマルチビューメディアファイル１４２へと情報を合成することができる。
[0237]幾つかの例では、情報を合成することは更に、３ＶＣ構成ボックス中の３ＶＣ深度分解能ボックスと、サンプルエントリー中の直接の３ＶＣ深度分解能ボックスとの少なくとも１つにおいて、空間分解能を合成することを備える。即ち、幾つかの例では、３ＶＣ深度分解能ボックス１７０のような３ＶＣ深度分解能ボックスは、３ＶＣ構成ボックス１６８のような３ＶＣ構成ボックスに記憶されるが、他の例では、３ＶＣ深度分解能ボックス１７０はサンプルエントリーに直接記憶される。プロセスは更に、３ＶＣ構成ボックスにおいて３ＶＣデコーダ構成記録を合成することを備え、３ＶＣ構成ボックスは、エクストラクタを許容するタイプ「３ｖｃ１」のサンプルエントリーと、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」との少なくとも１つに含まれる。
[0238]幾つかの例では、カプセル化モジュール２１はまた、深度ビューの幅と高さとを示すために、３ＶＣデコーダ構成記録を合成することができる。３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄは、ＭＶＣ＋Ｄビデオストリームのような、３ＤＶビデオストリームに関する特性を示すセマンティクスを含み得る。
[0239]幾つかの例では、情報を合成することは更に、トラック中の１つ又は複数のビューの少なくとも１つを復号するために参照ビューのテクスチャビューが必要とされるか、又は深度ビューを必要とされるかということと、トラックが深度ビューのみを含むか、又はテクスチャビューと深度ビューとを含むかということと、トラックに含まれる各ビューに対して、ビューがテクスチャビューを含むか、又は深度ビューを含むかということとの少なくとも１つを示すために、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからビュー識別子ボックスを合成することを備え、サンプルエントリーとマルチビューグループエントリーの少なくとも１つはトラックと関連付けられる。例えば、カプセル化モジュール２１は、トラックに含まれる各ビューに対して、ビューがテクスチャビューか深度ビューかを示すために、ビュー識別子ボックス１７２において情報を合成することができる。ビデオデコーダ３０は更に、参照ビューのテクスチャビュー又は深度ビューがトラック中の特定のビューを復号するために必要とされるかどうかを示すために、ビュー識別子ボックス１７２を合成することができる。
[0240]ビデオデータがビデオデータの第１のセットであり、トラックが更に少なくとも１つのテクスチャビューを含む例では、カプセル化モジュール２１は更に、ビデオデータの第１のセットに基づいてビデオデータの第２のセットを合成することができ、情報を構文解析することは、ビデオデータの第２のセットを復号するためにビデオデータの第１のセットの第１のテクスチャビューが使用されるか、第１の深度ビューが使用されるか、又は第１のテクスチャビューと第１の深度ビューの両方が使用されるかを示すために、情報を合成することを備える。
[0241]別の例では、プロセスは、ビューの１つ又は複数と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを示すために、ＳＥＩメッセージボックスを合成することを含む。即ち、カプセル化モジュール２１は、ビューの１つ又は複数のＳＥＩメッセージからの情報を記憶するために、３ＶＣスケーラビリティ情報ＳＥＩメッセージボックス１６６のような、ＳＥＩメッセージボックスを合成することができる。
[0242]トラックが第１のトラックである例では、プロセスは更に、ビデオデータの第２のトラックを合成することを含んでよく、第２のトラックは深度ビューに対応するテクスチャビューを含み、テクスチャビューは第１のトラックには含まれない。プロセスは更に、第２のトラックを参照する第１のトラックに対するトラック参照を合成することを含んでよく、トラック参照は、第２のトラックに記憶されないテクスチャビューと関連付けられる深度ビューを第１のトラックが含む（例えば、トラック参照タイプが「ｄｅｐｓ」である）ことと、１つ又は複数のビュー第１のトラックが第２のトラックに記憶されるテクスチャビューに依存する（例えば、トラック参照タイプが「ｔｒｅｆ」である）ことと、１つ又は複数のビュー第１のトラックが第２のトラックに記憶される深度ビューに依存する（例えば、トラック参照タイプが「ｄｒｅｆ」である）こととの１つを示す、少なくとも１つのトラック参照タイプを含む。
[0243]ビデオデータを処理する１つの例示的なプロセスは、深度ビューを符号化することと、深度ビューと関連付けられる空間分解能を符号化することとを含んでよく、空間分解能を符号化することは、深度ビューのシーケンスパラメータセットの構文解析が空間分解能を決定するために使用されないように、起きる。別の例では、ビデオデータを処理するプロセスは、深度ビューの空間分解能を示すために深度分解能ボックスを符号化することを含む。更に別の例では、ビデオデータを処理するプロセスは、構成ボックスを符号化することを含み、深度分解能ボックスは構成ボックスに含まれる。ビデオデータを処理する更に例示的なプロセスは、サンプルエントリーへと直接３ＶＣＤｅｐｔｈＲｅｓｏｌｕｔｉｏｎＢｏｘを符号化することを含む。更に別の例では、ビデオデータを処理するプロセスは、３ＶＣデコーダ構成記録において深度ビューの幅と高さとを符号化することを含み、３ＶＣは３次元ビデオコード化を表す。これらの例示的なプロセスのいずれもが、本明細書で説明される技法の任意のサブセットを含み得る。
[0244]図１４は、本開示で説明される技法による、特定のビューのテクスチャビュー及び深度ビューが別々のトラックに記憶される、マルチビュービデオを含むメディアファイルを構文解析する例示的な方法を示すフローチャートである。図１４で説明されるプロセスは、本明細書で説明される逆カプセル化モジュール２９を含むビデオコード化機器によって実行され得る。ビデオコード化機器は、ビデオデータのトラックを構文解析することができ、トラックは、特定のビューのテクスチャビューと特定のビューの深度ビューの１つのみを含む、１つ又は複数のビューを含む（２６０）。例えば、逆カプセル化モジュール２９は、別々のトラックに記憶されている特定のビューのテクスチャビューと特定のビューの深度ビューとを含む、発信源機器１２からの深度を伴うマルチビューメディアファイル１４２のようなメディアファイルを構文解析することができる。
[0245]ビデオコード化機器は、トラック参照で示される参照されたトラックに対するトラックの依存関係を決定するために、そのトラック参照を構文解析することができる（２６２）。例えば、逆カプセル化モジュール２９は、トラックが特定のビューの深度ビューを含むことと、参照トラックが特定のビューのテクスチャビューを含むこととを示す、トラック参照タイプ「ｄｅｐｓ」を構文解析することができる。別の例では、逆カプセル化モジュール２９は、参照されたトラックに記憶される特定のビューのテクスチャビューにトラックが依存することを示す、トラック参照タイプ「ｔｒｅｆ」を構文解析することができる。更に別の例では、逆カプセル化モジュール２９は、参照されたトラックに記憶される特定のビューの深度ビューにトラックが依存することを示す、トラック参照タイプ「ｄｒｅｆ」を構文解析することができる。
[0246]幾つかの例では、方法は更に、トラック中の各ビューに対して、ビューがテクスチャビューか深度ビューかを決定するために、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを構文解析することを含んでよく、サンプルエントリーとマルチビューグループエントリーの少なくとも１つはトラックと関連付けられる。別の例では、ビュー識別子ボックスは、参照ビューのテクスチャビュー又は深度ビューがトラック中の特定のビューを復号するために必要とされるかどうかを決定するために構文解析され得る。
[0247]別の例では、プロセスは、ビューの１つ又は複数と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを決定するために、ＳＥＩメッセージボックスを構文解析することを含む。トラックが特定のビューの深度ビューを含む例では、方法は更に、特定のビューの空間分解能深度ビューを決定するために、３ＶＣ深度分解能ボックスを構文解析することを含み得る。トラックが特定のビューの深度ビューを含む別の例では、方法は、特定のビューの深度ビューの幅と高さとを決定するために、３次元ビデオコード化（３ＶＣ）デコーダ構成記録を構文解析することを備える。
[0248]トラックが３次元ビデオコード化（３ＶＣ）トラックである更に別の例では、方法は更に、３ＶＣデコーダ構成記録を構文解析することを含んでよく、３ＶＣデコーダ構成記録は、ビデオデータの一致するサンプルエントリーに対する構成記録を示す。
[0249]ビデオデータを処理する別の例示的な方法では、方法は、参照されたトラックに記憶されているテクスチャビューにトラックが依存することを決定するために、トラックに対してタイプ値「ｔｒｅｆ」を復号することを含む。ビデオデータを処理する別の例示的な方法では、方法は、参照されたトラックに記憶されている深度ビューにトラックが依存することを決定するために、トラックに対してタイプ値「ｄｒｅｆ」を復号することを含む。更なる例では、本明細書で説明されるプロセスのいずれもが、本開示で説明される技法の１つ又は複数を含み得る。
[0250]図１５は、本開示で説明される技法による、特定のビューのテクスチャビュー及び深度ビューが別々のトラックに記憶される、マルチビュービデオコンテンツを含むメディアファイルを合成する例示的な方法を示すフローチャートである。図１５で説明されるプロセスは、本明細書で説明されるカプセル化モジュール２１を含むビデオコード化機器によって実行され得る。ビデオコード化機器メイビデオデータのトラック、トラックは、特定のビューのテクスチャビューと特定のビューの深度ビューの１つのみを含む、１つ又は複数のビューを含む（２６６）。例えば、カプセル化モジュール２１は、別々のトラックに記憶されている特定のビューのテクスチャビューと特定のビューの深度ビューとを含む、深度を伴うマルチビューメディアファイル１４２のようなメディアファイルを合成することができる。
[0251]ビデオコード化機器は、トラック参照で示される参照されたトラックに対するトラックの依存関係を示すために、トラックトラック参照を合成することができる（２６６）。例えば、カプセル化モジュール２１は、トラックが特定のビューの深度ビューを含むことと、参照トラックが特定のビューのテクスチャビューを含むこととを示す、トラック参照タイプ「ｄｅｐｓ」を合成することができる。別の例では、カプセル化モジュール２１は、参照されたトラックに記憶される特定のビューのテクスチャビューにトラックが依存することを示す、トラック参照タイプ「ｔｒｅｆ」を合成することができる。更に別の例では、カプセル化モジュール２１は、参照されたトラックに記憶される特定のビューの深度ビューにトラックが依存することを示す、トラック参照タイプ「ｄｒｅｆ」を合成することができる。
[0252]幾つかの例では、方法は更に、トラック中の各ビューに対して、ビューがテクスチャビューか深度ビューかを示すために、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを合成することを含んでよく、サンプルエントリーとマルチビューグループエントリーの少なくとも１つはトラックと関連付けられる。別の例では、ビュー識別子ボックスは、参照ビューのテクスチャビュー又は深度ビューがトラック中の特定のビューを復号するために必要とされるかどうかを示すために合成され得る。
[0253]別の例では、プロセスは、ビューの１つ又は複数と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを示すために、ＳＥＩメッセージボックスを合成することを含む。トラックが特定のビューの深度ビューを含む例では、方法は更に、特定のビューの深度ビューの空間分解能を示すために、３ＶＣ深度分解能ボックスを合成することを含み得る。トラックが特定のビューの深度ビューを含む別の例では、方法は、特定のビューの深度ビューの幅と高さとを示すために、３次元ビデオコード化（３ＶＣ）デコーダ構成記録を合成することを含む。
[0254]トラックが３次元ビデオコード化（３ＶＣ）トラックである更に別の例では、方法は更に、３ＶＣデコーダ構成記録を合成することを含んでよく、３ＶＣデコーダ構成記録は、ビデオデータの一致するサンプルエントリーに対する構成記録を示す。
[0255]ビデオデータを処理する別の例示的な方法では、方法は、特定のビューのテクスチャビューと深度ビューとを別々のトラックに記憶することを含む。ビデオデータを処理する別の例示的な方法では、方法は、参照されたトラックに記憶されているテクスチャビューにトラックが依存することを示すために、トラックに対してタイプ値「ｔｒｅｆ」を符号化することを含む。ビデオデータを処理する別の例示的な方法では、方法は、参照されたトラックに記憶されている深度ビューにトラックが依存することを示すために、トラックに対してタイプ値「ｄｒｅｆ」を符号化することを含む。更なる例では、本明細書で説明されるプロセスのいずれもが、本開示で説明される技法の１つ又は複数を含み得る。
[0256]別の例では、ビデオデータを処理する方法は、デコーダ構成記録を復号することを含み、デコーダ構成記録は、「ＭＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ」と同じシンタックス構造を含み、３ＶＣビデオストリームに関する特性を示すために「ＭＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ」とは少なくとも一部異なるセマンティクスを含む、「３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ」として定義される。
[0257]更に別の例では、ビデオデータを処理する方法は、深度ＮＡＬ単位のみを伴う３ＶＣトラックに対するサンプルエントリータイプを復号することを含み、エントリータイプは、エクストラクタが許容されない第１のタイプとエクストラクタが許容される第２のタイプとを含むグループから、選択される。
[0258]別の例では、ビデオデータを処理する方法は、１）ＡＶＣ ＮＡＬ単位と、ＭＶＣ ＮＡＬ単位と、深度ＮＡＬ単位とを伴う３ＶＣトラックに対する、ＡＶＣ構成と、ＭＶＣ構成と、３ＶＣ構成とを含むサンプルエントリータイプ「ａｖｃ１」と、２）ＡＶＣ ＮＡＬ単位を伴わないがＭＶＣ ＮＡＬ単位と深度ＮＡＬ単位とを伴う３ＶＣトラックに対する、エクストラクタが許容されない、ＭＶＣ構成と３ＶＣ構成とを含むサンプルエントリータイプ「ｍｖｃ１」と、３）ＡＶＣ ＮＡＬ単位を伴わないがＭＶＣ ＮＡＬ単位と深度ＮＡＬ単位とを伴う３ＶＣトラックに対する、エクストラクタが許容される、ＭＶＣ構成と３ＶＣ構成とを含むサンプルエントリータイプ「ｍｖｃ２」とを含む、サンプルエントリータイプのグループからのあるサンプルエントリータイプを復号することを含む。
[0259]別の例では、ビデオデータを処理する方法は、マルチビューグループボックスで示される３ＶＣ動作点が存在するかどうか、マルチビューグループボックスで示される動作点が３ＶＣ又はＭＶＣかどうか、及び、マルチビューグループボックスで示される出力ビューがテクスチャのみを含むか、深度のみを含むか、又は両方を含むかの少なくとも１つを示すための、属性を復号することを含む。
[0260]更なる例では、ビデオデータを処理する方法は、ＭＶＣ＋Ｄコーデック規格で定義される３次元スケーラビリティ情報ＳＥＩメッセージを含むＳＥＩメッセージボックスを復号することを含む。別の例では、ビデオデータを処理する方法は、３次元ビデオコード化（３ＶＣ）ビデオストリームを含むファイルに対して、「／０１２３ＶＣ Ｃｏｄｉｎｇ」というコンプレッサ名の値を復号することを含む。
[0261]別の例では、ビデオデータを処理する方法は、デコーダ構成記録を符号化することを含み、デコーダ構成記録は、「ＭＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ」と同じシンタックス構造を含み、３次元ビデオコード化（３ＶＣ）ビデオストリームに関する特性を示すために「ＭＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ」とは少なくとも一部異なるセマンティクスを含む、「３ＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ」として定義される。更に別の例では、ビデオデータを処理する方法は、深度ＮＡＬ単位のみを伴う３ＶＣトラックに対するサンプルエントリータイプを符号化することを含み、エントリータイプは、エクストラクタが許容されない第１のタイプとエクストラクタが許容される第２のタイプとを含むグループから選択され、ＮＡＬはネットワーク抽象化レイヤを表し、３ＶＣは３次元ビデオコード化を表す。
[0262]更に別の例では、ビデオデータを処理する方法は、１）ＡＶＣ ＮＡＬ単位と、ＭＶＣ ＮＡＬ単位と、深度ＮＡＬ単位とを伴う３ＶＣトラックに対する、ＡＶＣ構成と、ＭＶＣ構成と、３ＶＣ構成とを含むサンプルエントリータイプ「ａｖｃ１」と、２）ＡＶＣ ＮＡＬ単位を伴わないがＭＶＣ ＮＡＬ単位と深度ＮＡＬ単位とを伴う３ＶＣトラックに対する、エクストラクタが許容されない、ＭＶＣ構成と３ＶＣ構成とを含むサンプルエントリータイプ「ｍｖｃ１」と、３）ＡＶＣ ＮＡＬ単位を伴わないがＭＶＣ ＮＡＬ単位と深度ＮＡＬ単位とを伴う３ＶＣトラックに対する、エクストラクタが許容される、ＭＶＣ構成と３ＶＣ構成とを含むサンプルエントリータイプ「ｍｖｃ２」とを含む、サンプルエントリータイプのグループからのあるサンプルエントリータイプを符号化することを含む。
[0263]別の例では、ビデオデータを処理する方法は、マルチビューグループボックスで示される３ＶＣ動作点が存在するかどうか、マルチビューグループボックスで示される動作点が３ＶＣ又はＭＶＣかどうか、及び、マルチビューグループボックスで示される出力ビューがテクスチャのみを含むか、深度のみを含むか、又は両方を含むかの少なくとも１つを示すための、属性を符号化することを含む。幾つかの例では、属性は、一般的な属性又は差別化する属性の１つである。
[0264]別の例では、ビデオデータを処理する方法は、マルチビューコード化プラス深度（ＭＶＣ＋Ｄ）コーデック規格で定義される３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを含むＳＥＩメッセージボックスを符号化することを含む。別の例では、ビデオデータを処理する方法は、３次元ビデオコード化（３ＶＣ）ビデオストリームを含むファイルに対して、「／０１２３ＶＣ Ｃｏｄｉｎｇ」というコンプレッサ名の値を符号化することを含む。
[0265]本開示は、その内容全体が参照によって本明細書に組み込まれる、ＭＰＥＧアウトプット文書Ｗ１３０３６における１４４９６−１５の最新の統合された規格に基づく、次の添付書類を含む。次の添付書類において、変更されない部分は一般に示されないが、添付書類の中で「［元の文書を参照されたい］」という記述によって置き換えられる。ＭＰＥＧアウトプット文書Ｗ１３０３６における１４４９６−１５の元の規格は、ＩＳＯ／ＩＥＣが著作権を有する。
[0266]本開示の技法は、ルーティング機器１０４及びトランスコード化機器１０６のようなネットワーク機器によって実施され得るが、クライアント機器１０８によっても実施され得る。このように、ルーティング機器１０４、トランスコード化機器１０６、及びクライアント機器１０８は、本開示の特許請求の範囲の部分に記載される技法を含めて、本開示の技法を実行するように構成された機器の例を表す。その上、図１の機器、及び図２に示されたエンコーダ及び図３に示されたデコーダも、本開示の特許請求の範囲の部分に記載される技法を含めて、本開示の技法を実行するように構成され得る例示的な機器である。
[0267]１つ又は複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実現され得る。ソフトウェアで実装される場合、機能は、１つもしくは複数の命令もしくはコードとしてコンピュータ可読媒体上に記憶され、又はコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体のような有形媒体、又は、例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体に対応する、コンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、又は、（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法を実装するための命令、コード及び／又はデータ構造を取り出すために、１つもしくは複数のコンピュータ、又は１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
[0268]更に他の例では、本開示は、その上に記憶されたデータ構造を備えるコンピュータ可読媒体を企図し、データ構造は、本開示に従ってコード化された符号化されたビットストリームを含み、備える。
[0269]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ又は他の光ディスクストレージ、磁気ディスクストレージ、又は他の磁気ストレージ機器、フラッシュメモリ、若しくは、命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用され、コンピュータによってアクセスされ得る、任意の他の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモート発信源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
[0270]命令は、１つもしくは複数のデジタル信号プロセッサ（ＤＳＰ）のような１つもしくは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、又は他の等価な集積回路もしくはディスクリート論理回路によって実行され得る。従って、本明細書で使用される「プロセッサ」という用語は、前述の構造、又は本明細書で説明された技法の実施に適した任意の他の構造のいずれかを指し得る。更に、幾つかの態様では、本明細書で説明された機能は、符号化及び復号のために構成された専用のハードウェア及び／又はソフトウェアモジュール内で提供され、又は複合コーデックに組み込まれ得る。また、本技法は、１つ又は複数の回路又は論理要素中で完全に実施され得る。
[0271]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置において実施され得る。本開示では、開示される技法を実行するように構成された機器の機能的態様を強調するために、様々なコンポーネント、モジュール、又はユニットが説明されたが、それらのコンポーネント、モジュール、又はユニットは、必ずしも異なるハードウェアユニットによる実現を必要としない。むしろ、上で説明されたように、適切なソフトウェア及び／又はファームウェアとともに、様々なユニットは、コーデックハードウェアユニットにおいて組み合わせられてよく、又は上で説明されたような１つ又は複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合体よって設けられてよい。
[0272]様々な例が説明されてきた。これら例及び他の例は、以下の特許請求の範囲内にある。
[0272]様々な例が説明されてきた。これら例及び他の例は、以下の特許請求の範囲内にある。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ ビデオデータを処理する方法であって、
ビデオデータのトラックを解析することと、ここにおいて、前記トラックは１つ以上のビューを含む、前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を解析することとを備える、方法。
［２］ 情報を解析することが更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを解析することを備え、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つが前記トラックと関連付けられる、［１］に記載の方法。
［３］ 情報を解析することが更に、前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスから決定することを備える、［２］に記載の方法。
［４］ 情報を解析することが更に、参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスから決定することを備える、［２］に記載の方法。
［５］ 前記ビデオデータが、第１のテクスチャビューと第１の深度ビューとを含む第１のビデオデータを備え、前記第１のビデオデータに基づいて、第２のビデオデータを解析することを更に備え、情報を解析することが、前記第２のビデオデータを復号するために前記第１のビデオデータの前記第１のテクスチャビューが使用されるか、前記第１の深度ビューが使用されるか、又は前記第１のテクスチャビューと前記第１の深度ビューの両方が使用されるかを決定するために、情報を解析することを備える、［１］に記載の方法。
［６］ 前記ビューの１つ以上と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを決定するために、ＳＥＩメッセージボックスを解析することを更に備える、［１］に記載の方法。
［７］ 前記トラックが１つ以上の深度ビューを含み、前記１つ以上の深度ビューの空間分解能を決定するために３ＶＣ深度分解能ボックスを解析することを更に備える、［１］に記載の方法。
［８］ 前記トラックに含まれる深度ビューの幅と高さとを決定するために、３次元ビデオコード化（３ＶＣ）デコーダ構成記録を解析することを更に備える、［１］に記載の方法。
［９］ 前記トラックが第１のトラックであり、前記第１のトラックがビューの深度ビューと前記ビューのテクスチャビューの１つを含み、ビデオデータの第２のトラックを解析することを更に備え、前記第２のトラックが、前記第１のトラックに含まれない、前記ビューの前記深度ビューと前記ビューの前記テクスチャビューの前記１つを含む、［１］に記載の方法。
［１０］ 前記第２のトラックを参照する前記第１のトラックに対するトラック参照を解析することを更に備え、前記トラック参照が、前記第２のトラックに記憶されている前記テクスチャビューと関連付けられる前記深度ビューを前記第１のトラックが含むことと、前記第１のトラックが前記第２のトラックに記憶されている前記テクスチャビューに依存することと、前記第１のトラックが前記第２のトラックに記憶されている深度ビューに依存することとの１つを示す、少なくとも１つのトラック参照タイプを含む、［９］に記載の方法。
［１１］ 前記トラックが３次元ビデオコード化（３ＶＣ）トラックであり、３ＶＣデコーダ構成記録を解析することを更に備え、前記３ＶＣデコーダ構成記録が、前記ビデオデータの一致するサンプルエントリーに対する構成記録を示す、［１］に記載の方法。
［１２］ 前記トラックが、１つ以上の深度ネットワーク抽象化レイヤ（ＮＡＬ）単位を含む３次元ビデオコード化（３ＶＣ）トラックであり、前記トラックを解析することが更に、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」と、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを解析することを備える、［１］に記載の方法。
［１３］ ビデオデータを処理するための装置であって、ビデオデータを記憶するように構成されるメモリと、ビデオデータのトラックを解析し、ここにおいて、前記トラックは１つ以上のビューを含む、前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を解析する
ように構成される１つ以上のプロセッサとを備える、装置。
［１４］ 情報を解析するが更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを解析すると、ここにおいて、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つは前記トラックと関連付けられる、前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスから決定すると、参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスから決定するとの少なくとも１つを備える、［１３］に記載の装置。
［１５］ 前記ビデオデータが、第１のテクスチャビューと第１の深度ビューとを含む第１のビデオデータを備え、前記１つ以上のプロセッサが更に、前記第１のビデオデータに基づいて、第２のビデオデータを解析するように構成され、情報を解析するが、前記第２のビデオデータを復号するために前記第１のビデオデータの前記第１のテクスチャビューが使用されるか、前記第１の深度ビューが使用されるか、又は前記第１のテクスチャビューと前記第１の深度ビューの両方が使用されるかを決定するために、情報を解析するを備える、［１３］に記載の装置。
［１６］ 前記１つ以上のプロセッサが更に、前記ビューの１つ以上と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを決定するために、ＳＥＩメッセージボックスを解析するように構成される、［１３］に記載の装置。
［１７］ 前記トラックが１つ以上の深度ビューを含み、前記１つ以上のプロセッサが更に、前記１つ以上の深度ビューの空間分解能を決定するために３ＶＣ深度分解能ボックスを解析するように構成される、［１３］に記載の装置。
［１８］ 前記１つ以上のプロセッサが更に、前記トラックに含まれる深度ビューの幅と高さとを決定するために、３次元ビデオコード化（３ＶＣ）デコーダ構成記録を解析するように構成される、［１３］に記載の装置。
［１９］ 前記トラックが第１のトラックであり、前記第１のトラックがビューの深度ビューと前記ビューのテクスチャビューの１つを含み、前記１つ以上のプロセッサが更に、ビデオデータの第２のトラックを解析し、ここにおいて、前記第２のトラックは、前記第１のトラックに含まれない、前記ビューの前記深度ビューと前記ビューの前記テクスチャビューの１つを含む、前記第２のトラックを参照する前記第１のトラックに対するトラック参照を解析するように構成され、前記トラック参照が、前記第２のトラックに記憶されている前記テクスチャビューと関連付けられる前記深度ビューを前記第１のトラックが含むことと、前記第１のトラックが前記第２のトラックに記憶されている前記テクスチャビューに依存することと、前記第１のトラックが前記第２のトラックに記憶されている深度ビューに依存することとの１つを示す、少なくとも１つのトラック参照タイプを含む、［１３］に記載の装置。
［２０］ 前記トラックが３次元ビデオコード化（３ＶＣ）トラックであり、前記１つ以上のプロセッサが更に、３ＶＣデコーダ構成記録を解析するように構成され、前記３ＶＣデコーダ構成記録が、前記ビデオデータの一致するサンプルエントリーに対する構成記録を示す、［１３］に記載の装置。
［２１］ 前記トラックが、１つ以上の深度ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含む３次元ビデオコード化（３ＶＣ）トラックであり、前記トラックを解析するが更に、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」と、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを解析することを備える、［１３］に記載の装置。
［２２］ 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されると、ビデオコード化装置の１つ以上のプロセッサに、ビデオデータのトラックを解析させ、ここにおいて、前記トラックは１つ以上のビューを含む、前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を解析させる、非一時的コンピュータ可読記憶媒体。
［２３］ 情報を解析するが更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを解析するを備え、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つが前記トラックと関連付けられる、［２２］に記載の非一時的コンピュータ可読記憶媒体。
［２４］ 情報を解析するが更に、前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスから決定すると、参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスから決定するとの少なくとも１つを備える、［２３］に記載の非一時的コンピュータ可読記憶媒体。
［２５］ コード化されたビデオコンテンツを含むビデオファイルを解析するように構成される装置であって、ビデオデータのトラックを解析するための手段と、ここにおいて、前記トラックは１つ以上のビューを含む、前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を解析するための手段とを備える、装置。
［２６］ 情報を解析するための手段が更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを解析するための手段を備え、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つが前記トラックと関連付けられる、［２５］に記載の装置。
［２７］ 情報を解析するための手段が更に、前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスから決定するための手段と、参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスから決定するための手段との少なくとも１つを備える、［２６］に記載の装置。
［２８］ ビデオデータを処理する方法であって、ビデオデータのトラックを合成することと、ここにおいて、前記トラックは１つ以上のビューを含む、前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成することとを備える、方法。
［２９］ 情報を合成することが更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つへとビュー識別子ボックスを合成することを備え、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つが前記トラックと関連付けられる、［２８］に記載の方法。
［３０］ 情報を合成することが更に、前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスにおいて示すことを備える、［２９］に記載の方法。
［３１］ 参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスが示す、［２９］に記載の方法。
［３２］ 前記ビデオデータが、第１のテクスチャビューと第１の深度ビューとを含む第１のビデオデータを備え、前記第１のビデオデータに基づいて、第２のビデオデータを合成することを更に備え、情報を合成することが、前記第２のビデオデータを解析するために前記第１のビデオデータの前記第１のテクスチャビューが使用されるか、前記第１の深度ビューが使用されるか、又は前記第１のテクスチャビューと前記第１の深度ビューの両方が使用されるかを示す情報を合成することを備える、［２８］に記載の方法。
［３３］ １つ以上のビューと関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを含む、ＳＥＩメッセージボックスを合成することを更に備える、［２８］に記載の方法。
［３４］ 前記トラックが１つ以上の深度ビューを含み、３ＶＣ深度分解能ボックスにおいて前記１つ以上の深度ビューの空間分解能を示す情報を合成することを更に備える、［２８］に記載の方法。
［３５］ ３次元ビデオコード化（３ＶＣ）デコーダ構成記録を合成することを更に備え、前記３ＶＣデコーダ構成記録が、前記トラックに含まれる深度ビューの幅と高さとを示す、［２８］に記載の方法。
［３６］ 前記トラックが第１のトラックであり、前記第１のトラックがビューの深度ビューと前記ビューのテクスチャビューの１つを含み、ビデオデータの第２のトラックを合成することを更に備え、前記第２のトラックが、前記第１のトラックに含まれない、前記ビューの前記深度ビューと前記ビューの前記テクスチャビューの前記１つを含む、［２８］に記載の方法。
［３７］ 前記第２のトラックを参照する前記第１のトラックに対するトラック参照を合成することを更に備え、前記トラック参照が、前記第２のトラックに記憶されている前記テクスチャビューと関連付けられる前記深度ビューを前記第１のトラックが含むことと、前記第１のトラックが前記第２のトラックに記憶されている前記テクスチャビューに依存することと、前記第１のトラックが前記第２のトラックに記憶されている深度ビューに依存することとの１つを示す、少なくとも１つのトラック参照タイプを含む、［３６］に記載の方法。
［３８］ 前記トラックが３次元ビデオコード化（３ＶＣ）トラックであり、３ＶＣデコーダ構成記録を合成することを更に備え、前記３ＶＣデコーダ構成記録が、前記ビデオデータの一致するサンプルエントリーに対する構成記録を示す、［２８］に記載の方法。
［３９］ 前記トラックが、１つ以上の深度ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含む３次元ビデオコード化（３ＶＣ）トラックであり、前記トラックを合成することが更に、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」と、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを合成することを備える、［２８］に記載の方法。
［４０］ ビデオデータを処理するための装置であって、ビデオデータを記憶するように構成されるメモリと、 ビデオデータのトラックを合成し、ここにおいて、前記トラックは１つ以上のビューを含む、 前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成する
ように構成される１つ以上のプロセッサとを備える、装置。
［４１］ 情報を合成するが更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つへとビュー識別子ボックスを合成するを備え、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つが前記トラックと関連付けられる、［４０］に記載の装置。
［４２］ 情報を合成するが更に、前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスにおいて示すを備える、［４１］に記載の装置。
［４３］ 参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスが示す、［４１］に記載の装置。
［４４］ 前記ビデオデータが、第１のテクスチャビューと第１の深度ビューとを含む第１のビデオデータを備え、前記第１のビデオデータに基づいて、第２のビデオデータを合成するように更に構成され、情報を合成するが、前記第２のビデオデータを解析するために前記第１のビデオデータの前記第１のテクスチャビューが使用されるか、前記第１の深度ビューが使用されるか、又は前記第１のテクスチャビューと前記第１の深度ビューの両方が使用されるかを示す情報を合成するを備える、［４０］に記載の装置。
［４５］ １つ以上のビューと関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを含む、ＳＥＩメッセージボックスを合成するように更に構成される、［４０］に記載の装置。
［４６］ 前記トラックが１つ以上の深度ビューを含み、３ＶＣ深度分解能ボックスにおいて前記１つ以上の深度ビューの空間分解能を示す情報を合成するように更に構成される、［４０］に記載の装置。
［４７］ 前記トラックが第１のトラックであり、前記第１のトラックがビューの深度ビューと前記ビューのテクスチャビューの１つを含み、ビデオデータの第２のトラックを合成し、ここにおいて、前記第２のトラックは、前記第１のトラックに含まれない、前記ビューの前記深度ビューと前記ビューの前記テクスチャビューの前記１つを含む、前記第２のトラックを参照する前記第１のトラックに対するトラック参照を合成するように更に構成され、前記トラック参照が、前記第２のトラックに記憶されている前記テクスチャビューと関連付けられる前記深度ビューを前記第１のトラックが含むことと、前記第１のトラックが前記第２のトラックに記憶されている前記テクスチャビューに依存することと、前記第１のトラックが前記第２のトラックに記憶されている深度ビューに依存することとの１つを示す、少なくとも１つのトラック参照タイプを含む、［４０］に記載の装置。
［４８］ 前記トラックが３次元ビデオコード化（３ＶＣ）トラックであり、３ＶＣデコーダ構成記録を合成するように更に構成され、前記３ＶＣデコーダ構成記録が、前記ビデオデータの一致するサンプルエントリーに対する構成記録を示し、前記トラックを合成するが更に、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」とエクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを合成することを備える、［４０］に記載の装置。
［４９］ 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されると、ビデオコード化装置の１つ以上のプロセッサに、ビデオデータのトラックを合成させ、ここにおいて、前記トラックは１つ以上のビューを含む、前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成させる、非一時的コンピュータ可読記憶媒体。
［５０］ ビデオファイルを合成するように構成される装置であって、ビデオデータのトラックを合成するための手段と、ここにおいて、前記トラックは１つ以上のビューを含む、前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成するための手段とを備える、装置。

Claims (50)

  1. ビデオデータを処理する方法であって、
    ビデオデータのトラックを解析することと、ここにおいて、前記トラックは１つ以上のビューを含む、
    前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を解析することとを備える、方法。
  2. 情報を解析することが更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを解析することを備え、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つが前記トラックと関連付けられる、請求項１に記載の方法。
  3. 情報を解析することが更に、前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスから決定することを備える、請求項２に記載の方法。
  4. 情報を解析することが更に、参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスから決定することを備える、請求項２に記載の方法。
  5. 前記ビデオデータが、第１のテクスチャビューと第１の深度ビューとを含む第１のビデオデータを備え、
    前記第１のビデオデータに基づいて、第２のビデオデータを解析することを更に備え、情報を解析することが、前記第２のビデオデータを復号するために前記第１のビデオデータの前記第１のテクスチャビューが使用されるか、前記第１の深度ビューが使用されるか、又は前記第１のテクスチャビューと前記第１の深度ビューの両方が使用されるかを決定するために、情報を解析することを備える、請求項１に記載の方法。
  6. 前記ビューの１つ以上と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを決定するために、ＳＥＩメッセージボックスを解析することを更に備える、請求項１に記載の方法。
  7. 前記トラックが１つ以上の深度ビューを含み、
    前記１つ以上の深度ビューの空間分解能を決定するために３ＶＣ深度分解能ボックスを解析することを更に備える、請求項１に記載の方法。
  8. 前記トラックに含まれる深度ビューの幅と高さとを決定するために、３次元ビデオコード化（３ＶＣ）デコーダ構成記録を解析することを更に備える、請求項１に記載の方法。
  9. 前記トラックが第１のトラックであり、前記第１のトラックがビューの深度ビューと前記ビューのテクスチャビューの１つを含み、
    ビデオデータの第２のトラックを解析することを更に備え、前記第２のトラックが、前記第１のトラックに含まれない、前記ビューの前記深度ビューと前記ビューの前記テクスチャビューの前記１つを含む、請求項１に記載の方法。
  10. 前記第２のトラックを参照する前記第１のトラックに対するトラック参照を解析することを更に備え、前記トラック参照が、前記第２のトラックに記憶されている前記テクスチャビューと関連付けられる前記深度ビューを前記第１のトラックが含むことと、前記第１のトラックが前記第２のトラックに記憶されている前記テクスチャビューに依存することと、前記第１のトラックが前記第２のトラックに記憶されている深度ビューに依存することとの１つを示す、少なくとも１つのトラック参照タイプを含む、請求項９に記載の方法。
  11. 前記トラックが３次元ビデオコード化（３ＶＣ）トラックであり、
    ３ＶＣデコーダ構成記録を解析することを更に備え、前記３ＶＣデコーダ構成記録が、前記ビデオデータの一致するサンプルエントリーに対する構成記録を示す、請求項１に記載の方法。
  12. 前記トラックが、１つ以上の深度ネットワーク抽象化レイヤ（ＮＡＬ）単位を含む３次元ビデオコード化（３ＶＣ）トラックであり、前記トラックを解析することが更に、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」と、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを解析することを備える、請求項１に記載の方法。
  13. ビデオデータを処理するための装置であって、
    ビデオデータを記憶するように構成されるメモリと、
    ビデオデータのトラックを解析し、ここにおいて、前記トラックは１つ以上のビューを含む、
    前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を解析する
    ように構成される１つ以上のプロセッサとを備える、装置。
  14. 情報を解析するが更に、
    サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを解析すると、ここにおいて、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つは前記トラックと関連付けられる、
    前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスから決定すると、
    参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスから決定するとの少なくとも１つを備える、請求項１３に記載の装置。
  15. 前記ビデオデータが、第１のテクスチャビューと第１の深度ビューとを含む第１のビデオデータを備え、前記１つ以上のプロセッサが更に、
    前記第１のビデオデータに基づいて、第２のビデオデータを解析するように構成され、情報を解析するが、前記第２のビデオデータを復号するために前記第１のビデオデータの前記第１のテクスチャビューが使用されるか、前記第１の深度ビューが使用されるか、又は前記第１のテクスチャビューと前記第１の深度ビューの両方が使用されるかを決定するために、情報を解析するを備える、請求項１３に記載の装置。
  16. 前記１つ以上のプロセッサが更に、
    前記ビューの１つ以上と関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを決定するために、ＳＥＩメッセージボックスを解析するように構成される、請求項１３に記載の装置。
  17. 前記トラックが１つ以上の深度ビューを含み、前記１つ以上のプロセッサが更に、
    前記１つ以上の深度ビューの空間分解能を決定するために３ＶＣ深度分解能ボックスを解析するように構成される、請求項１３に記載の装置。
  18. 前記１つ以上のプロセッサが更に、
    前記トラックに含まれる深度ビューの幅と高さとを決定するために、３次元ビデオコード化（３ＶＣ）デコーダ構成記録を解析するように構成される、請求項１３に記載の装置。
  19. 前記トラックが第１のトラックであり、前記第１のトラックがビューの深度ビューと前記ビューのテクスチャビューの１つを含み、前記１つ以上のプロセッサが更に、
    ビデオデータの第２のトラックを解析し、ここにおいて、前記第２のトラックは、前記第１のトラックに含まれない、前記ビューの前記深度ビューと前記ビューの前記テクスチャビューの１つを含む、
    前記第２のトラックを参照する前記第１のトラックに対するトラック参照を解析するように構成され、前記トラック参照が、前記第２のトラックに記憶されている前記テクスチャビューと関連付けられる前記深度ビューを前記第１のトラックが含むことと、前記第１のトラックが前記第２のトラックに記憶されている前記テクスチャビューに依存することと、前記第１のトラックが前記第２のトラックに記憶されている深度ビューに依存することとの１つを示す、少なくとも１つのトラック参照タイプを含む、請求項１３に記載の装置。
  20. 前記トラックが３次元ビデオコード化（３ＶＣ）トラックであり、前記１つ以上のプロセッサが更に、
    ３ＶＣデコーダ構成記録を解析するように構成され、前記３ＶＣデコーダ構成記録が、前記ビデオデータの一致するサンプルエントリーに対する構成記録を示す、請求項１３に記載の装置。
  21. 前記トラックが、１つ以上の深度ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含む３次元ビデオコード化（３ＶＣ）トラックであり、前記トラックを解析するが更に、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」と、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを解析することを備える、請求項１３に記載の装置。
  22. 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されると、ビデオコード化装置の１つ以上のプロセッサに、
    ビデオデータのトラックを解析させ、ここにおいて、前記トラックは１つ以上のビューを含む、
    前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を解析させる、非一時的コンピュータ可読記憶媒体。
  23. 情報を解析するが更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを解析するを備え、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つが前記トラックと関連付けられる、請求項２２に記載の非一時的コンピュータ可読記憶媒体。
  24. 情報を解析するが更に、
    前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスから決定すると、
    参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスから決定するとの少なくとも１つを備える、請求項２３に記載の非一時的コンピュータ可読記憶媒体。
  25. コード化されたビデオコンテンツを含むビデオファイルを解析するように構成される装置であって、
    ビデオデータのトラックを解析するための手段と、ここにおいて、前記トラックは１つ以上のビューを含む、
    前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを決定するために情報を解析するための手段とを備える、装置。
  26. 情報を解析するための手段が更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つからのビュー識別子ボックスを解析するための手段を備え、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つが前記トラックと関連付けられる、請求項２５に記載の装置。
  27. 情報を解析するための手段が更に、
    前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスから決定するための手段と、
    参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスから決定するための手段との少なくとも１つを備える、請求項２６に記載の装置。
  28. ビデオデータを処理する方法であって、
    ビデオデータのトラックを合成することと、ここにおいて、前記トラックは１つ以上のビューを含む、
    前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成することとを備える、方法。
  29. 情報を合成することが更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つへとビュー識別子ボックスを合成することを備え、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つが前記トラックと関連付けられる、請求項２８に記載の方法。
  30. 情報を合成することが更に、前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスにおいて示すことを備える、請求項２９に記載の方法。
  31. 参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスが示す、請求項２９に記載の方法。
  32. 前記ビデオデータが、第１のテクスチャビューと第１の深度ビューとを含む第１のビデオデータを備え、
    前記第１のビデオデータに基づいて、第２のビデオデータを合成することを更に備え、情報を合成することが、前記第２のビデオデータを解析するために前記第１のビデオデータの前記第１のテクスチャビューが使用されるか、前記第１の深度ビューが使用されるか、又は前記第１のテクスチャビューと前記第１の深度ビューの両方が使用されるかを示す情報を合成することを備える、請求項２８に記載の方法。
  33. １つ以上のビューと関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを含む、ＳＥＩメッセージボックスを合成することを更に備える、請求項２８に記載の方法。
  34. 前記トラックが１つ以上の深度ビューを含み、
    ３ＶＣ深度分解能ボックスにおいて前記１つ以上の深度ビューの空間分解能を示す情報を合成することを更に備える、請求項２８に記載の方法。
  35. ３次元ビデオコード化（３ＶＣ）デコーダ構成記録を合成することを更に備え、前記３ＶＣデコーダ構成記録が、前記トラックに含まれる深度ビューの幅と高さとを示す、請求項２８に記載の方法。
  36. 前記トラックが第１のトラックであり、前記第１のトラックがビューの深度ビューと前記ビューのテクスチャビューの１つを含み、
    ビデオデータの第２のトラックを合成することを更に備え、前記第２のトラックが、前記第１のトラックに含まれない、前記ビューの前記深度ビューと前記ビューの前記テクスチャビューの前記１つを含む、請求項２８に記載の方法。
  37. 前記第２のトラックを参照する前記第１のトラックに対するトラック参照を合成することを更に備え、前記トラック参照が、前記第２のトラックに記憶されている前記テクスチャビューと関連付けられる前記深度ビューを前記第１のトラックが含むことと、前記第１のトラックが前記第２のトラックに記憶されている前記テクスチャビューに依存することと、前記第１のトラックが前記第２のトラックに記憶されている深度ビューに依存することとの１つを示す、少なくとも１つのトラック参照タイプを含む、請求項３６に記載の方法。
  38. 前記トラックが３次元ビデオコード化（３ＶＣ）トラックであり、
    ３ＶＣデコーダ構成記録を合成することを更に備え、前記３ＶＣデコーダ構成記録が、前記ビデオデータの一致するサンプルエントリーに対する構成記録を示す、請求項２８に記載の方法。
  39. 前記トラックが、１つ以上の深度ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含む３次元ビデオコード化（３ＶＣ）トラックであり、前記トラックを合成することが更に、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」と、エクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを合成することを備える、請求項２８に記載の方法。
  40. ビデオデータを処理するための装置であって、
    ビデオデータを記憶するように構成されるメモリと、
    ビデオデータのトラックを合成し、ここにおいて、前記トラックは１つ以上のビューを含む、
    前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成する
    ように構成される１つ以上のプロセッサとを備える、装置。
  41. 情報を合成するが更に、サンプルエントリーとマルチビューグループエントリーの少なくとも１つへとビュー識別子ボックスを合成するを備え、前記サンプルエントリーと前記マルチビューグループエントリーの前記少なくとも１つが前記トラックと関連付けられる、請求項４０に記載の装置。
  42. 情報を合成するが更に、前記トラックに含まれる各ビューに対して、前記ビューがテクスチャビューか深度ビューかを前記ビュー識別子ボックスにおいて示すを備える、請求項４１に記載の装置。
  43. 参照ビューのテクスチャビュー又は深度ビューが前記トラック中の特定のビューを復号するために必要とされるかどうかを前記ビュー識別子ボックスが示す、請求項４１に記載の装置。
  44. 前記ビデオデータが、第１のテクスチャビューと第１の深度ビューとを含む第１のビデオデータを備え、
    前記第１のビデオデータに基づいて、第２のビデオデータを合成するように更に構成され、情報を合成するが、前記第２のビデオデータを解析するために前記第１のビデオデータの前記第１のテクスチャビューが使用されるか、前記第１の深度ビューが使用されるか、又は前記第１のテクスチャビューと前記第１の深度ビューの両方が使用されるかを示す情報を合成するを備える、請求項４０に記載の装置。
  45. １つ以上のビューと関連付けられる３次元スケーラビリティ情報補足強化情報（ＳＥＩ）メッセージを含む、ＳＥＩメッセージボックスを合成するように更に構成される、請求項４０に記載の装置。
  46. 前記トラックが１つ以上の深度ビューを含み、
    ３ＶＣ深度分解能ボックスにおいて前記１つ以上の深度ビューの空間分解能を示す情報を合成するように更に構成される、請求項４０に記載の装置。
  47. 前記トラックが第１のトラックであり、前記第１のトラックがビューの深度ビューと前記ビューのテクスチャビューの１つを含み、
    ビデオデータの第２のトラックを合成し、ここにおいて、前記第２のトラックは、前記第１のトラックに含まれない、前記ビューの前記深度ビューと前記ビューの前記テクスチャビューの前記１つを含む、
    前記第２のトラックを参照する前記第１のトラックに対するトラック参照を合成するように更に構成され、前記トラック参照が、前記第２のトラックに記憶されている前記テクスチャビューと関連付けられる前記深度ビューを前記第１のトラックが含むことと、前記第１のトラックが前記第２のトラックに記憶されている前記テクスチャビューに依存することと、前記第１のトラックが前記第２のトラックに記憶されている深度ビューに依存することとの１つを示す、少なくとも１つのトラック参照タイプを含む、請求項４０に記載の装置。
  48. 前記トラックが３次元ビデオコード化（３ＶＣ）トラックであり、
    ３ＶＣデコーダ構成記録を合成するように更に構成され、前記３ＶＣデコーダ構成記録が、前記ビデオデータの一致するサンプルエントリーに対する構成記録を示し、前記トラックを合成するが更に、エクストラクタを許容するサンプルエントリータイプ「３ｖｃ１」とエクストラクタを許容しないサンプルエントリータイプ「３ｖｃ２」の少なくとも１つを合成することを備える、請求項４０に記載の装置。
  49. 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されると、ビデオコード化装置の１つ以上のプロセッサに、
    ビデオデータのトラックを合成させ、ここにおいて、前記トラックは１つ以上のビューを含む、
    前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成させる、非一時的コンピュータ可読記憶媒体。
  50. ビデオファイルを合成するように構成される装置であって、
    ビデオデータのトラックを合成するための手段と、ここにおいて、前記トラックは１つ以上のビューを含む、
    前記トラックがテクスチャビューのみを含むか、深度ビューのみを含むか、又はテクスチャビューと深度ビューの両方を含むかを示す情報を合成するための手段とを備える、装置。
JP2015551720A 2013-01-04 2013-12-23 マルチビューコード化プラス深度のためのトラックにおけるテクスチャビューと深度ビューの存在の指示 Active JP6279613B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361749089P 2013-01-04 2013-01-04
US61/749,089 2013-01-04
US14/137,063 2013-12-20
US14/137,063 US9648299B2 (en) 2013-01-04 2013-12-20 Indication of presence of texture and depth views in tracks for multiview coding plus depth
PCT/US2013/077573 WO2014107374A2 (en) 2013-01-04 2013-12-23 Indication of presence of texture and depth views in tracks for multiview coding plus depth

Publications (3)

Publication Number Publication Date
JP2016506693A true JP2016506693A (ja) 2016-03-03
JP2016506693A5 JP2016506693A5 (ja) 2017-01-12
JP6279613B2 JP6279613B2 (ja) 2018-02-14

Family

ID=51060660

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015551721A Active JP6333853B2 (ja) 2013-01-04 2013-12-23 マルチビューコード化フォーマットでの参照ビューへの現在ビュー依存性の指示
JP2015551720A Active JP6279613B2 (ja) 2013-01-04 2013-12-23 マルチビューコード化プラス深度のためのトラックにおけるテクスチャビューと深度ビューの存在の指示
JP2015551722A Active JP6324996B2 (ja) 2013-01-04 2013-12-23 マルチビューコード化ファイルフォーマットでの深度ビューの空間解像度の信号伝達
JP2015551723A Active JP6441233B2 (ja) 2013-01-04 2013-12-23 マルチビューコード化プラス深度のためのテクスチャ及び深度ビューの分離トラック記憶

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015551721A Active JP6333853B2 (ja) 2013-01-04 2013-12-23 マルチビューコード化フォーマットでの参照ビューへの現在ビュー依存性の指示

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2015551722A Active JP6324996B2 (ja) 2013-01-04 2013-12-23 マルチビューコード化ファイルフォーマットでの深度ビューの空間解像度の信号伝達
JP2015551723A Active JP6441233B2 (ja) 2013-01-04 2013-12-23 マルチビューコード化プラス深度のためのテクスチャ及び深度ビューの分離トラック記憶

Country Status (9)

Country Link
US (6) US9357199B2 (ja)
EP (5) EP2941884B1 (ja)
JP (4) JP6333853B2 (ja)
KR (6) KR102184062B1 (ja)
CN (5) CN104904204B (ja)
BR (1) BR112015016052B1 (ja)
ES (2) ES2904350T3 (ja)
TW (4) TWI603608B (ja)
WO (4) WO2014107377A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019517212A (ja) * 2016-05-20 2019-06-20 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ バーチャル・リアリティにおける円周魚眼ビデオ
JP2019523921A (ja) * 2016-05-24 2019-08-29 クアルコム，インコーポレイテッド ３６０度ビデオのためのレンズひずみ補正を用いた魚眼レンダリング
WO2020032004A1 (ja) * 2018-08-06 2020-02-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置
JP2022164946A (ja) * 2021-04-18 2022-10-28 レモン インコーポレイテッド 共通メディアアプリケーションフォーマットでのビデオユーザビリティ情報
US12015756B2 (en) 2019-11-29 2024-06-18 Zte Corporation Multi-view video processing method and apparatus

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9357199B2 (en) 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
WO2014166119A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Stereo compatibility high level syntax
JP5774652B2 (ja) 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN105637871B (zh) * 2013-10-17 2018-08-10 联发科技股份有限公司 三维或多视图视频编码方法
US20160105678A1 (en) * 2014-10-13 2016-04-14 Microsoft Technology Licensing, Llc Video Parameter Techniques
US9922680B2 (en) * 2015-02-10 2018-03-20 Nokia Technologies Oy Method, an apparatus and a computer program product for processing image sequence tracks
GB201502205D0 (en) 2015-02-10 2015-03-25 Canon Kabushiki Kaisha And Telecom Paris Tech Image data encapsulation
US10148969B2 (en) 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format
US10306253B2 (en) * 2015-10-14 2019-05-28 Qualcomm Incorporated Signaling of parameter sets in files of multi-layer bitstreams
CN113014930B (zh) * 2016-01-13 2024-04-26 索尼公司 信息处理设备、信息处理方法和计算机可读记录介质
CN108702534B (zh) * 2016-02-22 2021-09-14 索尼公司 文件生成装置、文件生成方法以及再现装置和再现方法
CN108702478B (zh) * 2016-02-22 2021-07-16 索尼公司 文件生成装置、文件生成方法、再现装置和再现方法
US10249019B2 (en) 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
US10410441B2 (en) * 2016-05-16 2019-09-10 Wi-Tronix, Llc Real-time data acquisition and recording system viewer
CN109155861B (zh) * 2016-05-24 2021-05-25 诺基亚技术有限公司 用于编码媒体内容的方法和装置以及计算机可读存储介质
US10652630B2 (en) * 2016-05-24 2020-05-12 Qualcomm Incorporated Sample entries and random access
TWI637356B (zh) * 2016-06-30 2018-10-01 聯發科技股份有限公司 將全向圖像映射到佈局輸出格式的方法和裝置
WO2018120294A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 一种信息的处理方法及装置
CN110431847B (zh) * 2017-03-24 2022-07-22 联发科技股份有限公司 视频处理方法及装置
GB2560921B (en) 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
GB2563439B (en) * 2017-06-16 2022-02-16 Canon Kk Methods, devices, and computer programs for improving streaming of portions of media data
CN107395456B (zh) * 2017-07-18 2021-06-29 郑州云海信息技术有限公司 分布式文件系统流直存测试方法及平台
JP2019054417A (ja) 2017-09-15 2019-04-04 ソニー株式会社 画像処理装置およびファイル生成装置
JP7239029B2 (ja) * 2017-09-15 2023-03-14 ソニーグループ株式会社 画像処理装置およびファイル生成装置
CN107734321A (zh) * 2017-09-26 2018-02-23 韩世民 一种基于移动设备的3d成像方法
AU2019293670B2 (en) 2018-06-29 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
WO2020003283A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Conditions for updating luts
JP7328330B2 (ja) 2018-06-29 2023-08-16 北京字節跳動網絡技術有限公司 Ｌｕｔにおける動き候補のチェック順序
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
WO2020003270A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
CN110662043B (zh) 2018-06-29 2021-12-21 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
CN110662056B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
WO2020008348A1 (en) 2018-07-02 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Order of rounding and pruning in lamvr
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
WO2020261690A1 (ja) * 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
WO2021117859A1 (ja) * 2019-12-13 2021-06-17 ソニーグループ株式会社 画像処理装置および方法
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
EP4114005A4 (en) * 2020-03-18 2023-08-09 LG Electronics, Inc. POINT CLOUD DATA TRANSMISSION DEVICE, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEIVING DEVICE AND POINT CLOUD DATA RECEIVING METHOD
CN115022715B (zh) * 2020-06-04 2023-07-25 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法及设备
US11677979B2 (en) * 2020-08-24 2023-06-13 Tencent America LLC Freeview video coding
US11563983B2 (en) 2020-09-02 2023-01-24 Lemon, Inc. Association of operation point info properties to VVC image items
EP3965424A1 (en) 2020-09-02 2022-03-09 Lemon Inc. Transition period for image transitions in a media file
US11711518B2 (en) 2020-09-17 2023-07-25 Lemon Inc. Decoding capability information storage in video coding
JP7270012B2 (ja) * 2020-09-17 2023-05-09 レモン インコーポレイテッド 映像動作点レコード構文及びセマンティクス
US11611752B2 (en) 2020-10-07 2023-03-21 Lemon Inc. Adaptation parameter set storage in video coding
US11640647B2 (en) * 2021-03-03 2023-05-02 Qualcomm Incorporated Methods and apparatus for intra-wave texture looping
US11750843B2 (en) 2021-06-28 2023-09-05 Tencent America LLC Multiview-related supplementary enhancement information messages
CN113497943B (zh) * 2021-08-09 2024-06-11 杭州小影创新科技股份有限公司 一种深度信息的量化和编码方法
CN115914672A (zh) * 2021-08-10 2023-04-04 腾讯科技（深圳）有限公司 自由视角视频的文件封装方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010530160A (ja) * 2007-06-07 2010-09-02 エンハンスト チップ テクノロジー インコーポレイテッド 符号化されたステレオスコピック映像データファイルのフォーマット
WO2011035211A2 (en) * 2009-09-16 2011-03-24 Qualcomm Incorporated Multi-track video coding methods and apparatus using an extractor that references two or more non- consecutive nal units
JP2011528868A (ja) * 2008-07-16 2011-11-24 ノキア コーポレイション トラックおよびトラックサブセットグループ化の方法および装置
WO2012122364A1 (en) * 2011-03-10 2012-09-13 Qualcomm Incorporated Coding multiview video plus depth content

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2333411B (en) 1998-01-14 2002-07-17 Ibm Document scanning system
CN100590586C (zh) * 2002-05-01 2010-02-17 联想（新加坡）私人有限公司 计算机、显示器设备的设定方法
US7406124B1 (en) * 2002-05-30 2008-07-29 Intervideo, Inc. Systems and methods for allocating bits to macroblocks within a picture depending on the motion activity of macroblocks as calculated by an L1 norm of the residual signals of the macroblocks
JP3862620B2 (ja) * 2002-06-28 2006-12-27 キヤノン株式会社 画像処理装置、及び画像処理方法
EP1727352B1 (en) 2004-02-23 2014-05-07 Toa Corporation Image compression method, image compression device, image transmission system, data compression pre-processing device, and computer program
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
BRPI0616745A2 (pt) 2005-10-19 2011-06-28 Thomson Licensing codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável
JP4818373B2 (ja) * 2006-01-09 2011-11-16 韓國電子通信研究院 Ｓｖｃファイルのデータ共有方法およびそのファイル
EP2130374A4 (en) 2007-03-23 2011-03-02 Lg Electronics Inc METHOD AND ARRANGEMENT FOR DECODING / CODING A VIDEO SIGNAL
KR101387212B1 (ko) 2007-06-12 2014-04-21 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
EP2914000A1 (en) 2007-06-19 2015-09-02 Electronics and Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
US8755672B2 (en) * 2007-06-26 2014-06-17 Lg Electronics Inc. Media file format based on, method and apparatus for reproducing the same, and apparatus for generating the same
US8331663B2 (en) 2007-06-28 2012-12-11 Qualcomm Incorporated Efficient image compression scheme to minimize storage and bus bandwidth requirements
JP5334335B2 (ja) 2007-07-02 2013-11-06 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン メディアデータコンテナおよびメタデータコンテナを有するファイルを記憶および読み出すための装置および方法
EP2088789A3 (en) 2008-02-05 2012-08-15 Samsung Electronics Co., Ltd. Apparatus and method for generating and displaying media files
KR101530713B1 (ko) 2008-02-05 2015-06-23 삼성전자주식회사 영상 파일을 생성하고 표시하기 위한 장치 및 방법
WO2010043773A1 (en) 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
WO2010060442A1 (en) * 2008-11-26 2010-06-03 Telefonaktiebolaget Lm Ericsson (Publ) Technique for handling media content to be accessible via multiple media tracks
CN105657404B (zh) 2009-02-19 2018-06-08 汤姆逊许可证公司 视频编码和解码的装置
JP5274359B2 (ja) 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
EP2425624A2 (en) 2009-05-01 2012-03-07 Thomson Licensing 3d video coding formats
WO2010151279A1 (en) 2009-06-25 2010-12-29 Thomson Licensing Depth map coding
KR101290467B1 (ko) * 2009-09-22 2013-07-26 퀄컴 인코포레이티드 2 개 이상의 비연속적인 ｎａｌ 유닛들을 참조하는 추출자를 이용하는 멀티-트랙 비디오 코딩 방법들 및 장치
KR101847072B1 (ko) 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US8930562B2 (en) 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
JP5855570B2 (ja) * 2010-09-30 2016-02-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
EP2661881A4 (en) 2010-12-29 2016-10-12 Nokia Technologies Oy CODING OF DISPARITY CARD
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US20120219069A1 (en) 2011-02-28 2012-08-30 Chong Soon Lim Methods and apparatuses for encoding and decoding images of a plurality of views using multiview video coding standard and mpeg-2 video standard
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2742688A1 (en) 2011-08-12 2014-06-18 Telefonaktiebolaget LM Ericsson (PUBL) Signaling of camera and/or depth parameters
CN103907347B (zh) * 2011-08-31 2018-01-30 诺基亚技术有限公司 多视图视频编码和解码
US20130113882A1 (en) * 2011-11-08 2013-05-09 Sony Corporation Video coding system and method of operation thereof
US10154276B2 (en) 2011-11-30 2018-12-11 Qualcomm Incorporated Nested SEI messages for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
GB201202754D0 (en) 2012-02-17 2012-04-04 Qatar Foundation Multicasting multiview 3D videos
US10097841B2 (en) * 2012-05-04 2018-10-09 Lg Electronics Inc. Method for storing image data, method for parsing image data, and an apparatus for using the same
TWI521940B (zh) * 2012-06-14 2016-02-11 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
SG11201502194QA (en) 2012-09-21 2015-04-29 Nokia Technologies Oy Method and apparatus for video coding
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US20150245063A1 (en) 2012-10-09 2015-08-27 Nokia Technologies Oy Method and apparatus for video coding
US9357199B2 (en) 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010530160A (ja) * 2007-06-07 2010-09-02 エンハンスト チップ テクノロジー インコーポレイテッド 符号化されたステレオスコピック映像データファイルのフォーマット
JP2011528868A (ja) * 2008-07-16 2011-11-24 ノキア コーポレイション トラックおよびトラックサブセットグループ化の方法および装置
WO2011035211A2 (en) * 2009-09-16 2011-03-24 Qualcomm Incorporated Multi-track video coding methods and apparatus using an extractor that references two or more non- consecutive nal units
WO2012122364A1 (en) * 2011-03-10 2012-09-13 Qualcomm Incorporated Coding multiview video plus depth content

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Information technology - Coding of audio-visual objects - Part 15: Advanced Video Coding (AVC) file", ISO/IEC 14496-15:2010/PDAM 2, JPN6017031557, May 2012 (2012-05-01), pages 1 - 12, ISSN: 0003625395 *
D. RUSANOVSKYY ET AL.: "White Paper on State of the Art in 3D Video (Draft 2)", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, vol. JCT2-A1006, JPN6017031553, August 2012 (2012-08-01), pages 1 - 14, ISSN: 0003625394 *
M. HANNUKSELA ET AL.: "Study Text of ISO/IEC 14496-10:2012/DAM2 MVC extension for inclusion of depth maps", JCT3V, vol. JCT3V-B1001, JPN6017031558, November 2012 (2012-11-01), pages 1 - 72, ISSN: 0003625396 *
MISKA M. HANNUKSELA ET AL.: "3D-AVC Draft Text 4", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENTOF ITU-T SG 16 WP 3 AND ISO/IEC JTC, vol. JCT3V-B1002_d1, JPN6017031556, October 2012 (2012-10-01), pages 1 - 70, ISSN: 0003625397 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019517212A (ja) * 2016-05-20 2019-06-20 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ バーチャル・リアリティにおける円周魚眼ビデオ
JP2019523921A (ja) * 2016-05-24 2019-08-29 クアルコム，インコーポレイテッド ３６０度ビデオのためのレンズひずみ補正を用いた魚眼レンダリング
WO2020032004A1 (ja) * 2018-08-06 2020-02-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置
US11477482B2 (en) 2018-08-06 2022-10-18 Panasonic Intellectual Property Corporation Of America Three-dimensional data storage method including acquiring one or more units in which an encoded stream generated by encoding point cloud data is stored
US11856154B2 (en) 2018-08-06 2023-12-26 Panasonic Intellectual Property Corporation Of America Three-dimensional data storage method, three-dimensional data acquisition method, three-dimensional data storage device, and three-dimensional data acquisition device
US12015756B2 (en) 2019-11-29 2024-06-18 Zte Corporation Multi-view video processing method and apparatus
JP2022164946A (ja) * 2021-04-18 2022-10-28 レモン インコーポレイテッド 共通メディアアプリケーションフォーマットでのビデオユーザビリティ情報
JP7413435B2 (ja) 2021-04-18 2024-01-15 レモン インコーポレイテッド 共通メディアアプリケーションフォーマットでのビデオユーザビリティ情報
US11962808B2 (en) 2021-04-18 2024-04-16 Lemon Inc. Video usability information in common media application format

Also Published As

Publication number Publication date
US20140192153A1 (en) 2014-07-10
US9357199B2 (en) 2016-05-31
CN104904204B (zh) 2019-05-14
US20170134708A1 (en) 2017-05-11
KR20210011508A (ko) 2021-02-01
JP2016509399A (ja) 2016-03-24
US20140192151A1 (en) 2014-07-10
KR20150104131A (ko) 2015-09-14
WO2014107374A3 (en) 2015-04-09
ES2898452T3 (es) 2022-03-07
TWI603608B (zh) 2017-10-21
US20140192152A1 (en) 2014-07-10
TW201440499A (zh) 2014-10-16
US20140193139A1 (en) 2014-07-10
TWI535271B (zh) 2016-05-21
JP6279613B2 (ja) 2018-02-14
US9648299B2 (en) 2017-05-09
TWI590643B (zh) 2017-07-01
CN104919801A (zh) 2015-09-16
JP2016508335A (ja) 2016-03-17
TW201440486A (zh) 2014-10-16
BR112015016052A2 (pt) 2017-07-11
TW201444346A (zh) 2014-11-16
KR20150104130A (ko) 2015-09-14
TW201429257A (zh) 2014-07-16
BR112015016052B1 (pt) 2023-04-11
WO2014107378A3 (en) 2015-04-09
EP2941890B1 (en) 2022-01-26
EP2941889B1 (en) 2021-10-20
JP6333853B2 (ja) 2018-05-30
US10791315B2 (en) 2020-09-29
CN104919800A (zh) 2015-09-16
KR102209478B1 (ko) 2021-01-28
EP2941884A2 (en) 2015-11-11
CN104904204A (zh) 2015-09-09
JP6441233B2 (ja) 2018-12-19
WO2014107377A3 (en) 2015-04-16
KR20150103225A (ko) 2015-09-09
KR20180023071A (ko) 2018-03-06
US20200336726A1 (en) 2020-10-22
WO2014107378A2 (en) 2014-07-10
CN110198451B (zh) 2023-04-07
EP2941884B1 (en) 2021-12-08
JP6324996B2 (ja) 2018-05-16
WO2014107376A3 (en) 2015-04-16
JP2016507967A (ja) 2016-03-10
CN104904221A (zh) 2015-09-09
ES2904350T3 (es) 2022-04-04
TWI554087B (zh) 2016-10-11
US9584792B2 (en) 2017-02-28
KR102184062B1 (ko) 2020-11-27
CN110198451A (zh) 2019-09-03
KR102113898B1 (ko) 2020-05-21
WO2014107376A2 (en) 2014-07-10
CN104904221B (zh) 2018-11-30
EP2941890A2 (en) 2015-11-11
EP3866467A1 (en) 2021-08-18
US10873736B2 (en) 2020-12-22
KR102254608B1 (ko) 2021-05-20
KR20150104132A (ko) 2015-09-14
KR101928136B1 (ko) 2018-12-11
EP2941889A2 (en) 2015-11-11
EP2941865A2 (en) 2015-11-11
CN104919800B (zh) 2019-03-01
CN104919801B (zh) 2018-06-05
WO2014107377A2 (en) 2014-07-10
WO2014107374A2 (en) 2014-07-10
US11178378B2 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
US11178378B2 (en) Signaling of spatial resolution of depth views in multiview coding file format

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180117

R150 Certificate of patent or registration of utility model

Ref document number: 6279613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250