JP2015511438A - ビデオを符号化しビデオコンテンツを記憶する方法 - Google Patents

Abstract

ビデオファイル作成モジュールを備える装置は、コード化ビデオコンテンツの複数のスライスを取得するように構成される。パラメータセットは、コード化ビデオコンテンツと関連付けられる。ビデオ作成モジュールは、ビデオストリームの１つ以上のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化する。第１のタイプのパラメータセットは、ビデオストリームの１つ以上のアクセス単位内にカプセル化され得る。第２のタイプのパラメータセットは、サンプル記述内にカプセル化され得る。サンプル記述は、ビデオストリームと関連付けられるストリーム特性を含み得る。

Description

関連出願
[0001]本出願は、その全体が参照により本明細書に組み込まれる、２０１２年１月３０日に出願された米国仮出願第６１／５９２，４６２号の利益を主張する。

[0002]本開示は、ビデオ符号化とビデオコンテンツの記憶とに関し、より詳細には、パラメータセットと他のパラメータとをビデオファイル内にカプセル化するための技法に関する。

[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中のＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格によって定義された規格、及びそのような規格の拡張に記載されているビデオ圧縮技法のような、ビデオ圧縮技法を実装する。ビデオ機器は、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶し得る。

[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を実行する。ブロックベースのビデオ符号化の場合、ビデオスライス（即ち、ビデオフレーム又はビデオフレームの一部分）が、ツリーブロック、符号化ツリー単位（ＣＴＵ）、コード化ツリーブロック（ＣＴＢ）、符号化単位（ＣＵ）及び／又は符号化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、又は他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005]空間的予測又は時間的予測は、符号化されるべきブロックの予測ブロックをもたらす。残差データは、符号化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、及びコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラ符号化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数が、次いで量子化され得る。最初に２次元アレイで構成される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、なお一層の圧縮を達成するためにエントロピー符号化が適用されてよい。

[0006]本開示は、ビデオデータを記憶するための様々な技法に関する。具体的には、本開示は、パラメータセットと他のパラメータとをビデオファイル内にカプセル化するための技法を説明する。

[0007]本開示の一例では、コード化ビデオコンテンツを含むビデオファイルを生成する方法は、コード化ビデオコンテンツの複数のスライスを取得することと、ビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを取得することと、ビデオストリームの１つ又は複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化することと、ビデオストリームの１つ又は複数のアクセス単位内に第１のタイプのパラメータセットをカプセル化することと、サンプル記述内に第２のタイプのパラメータセットをカプセル化することとを備え、サンプル記述は、ビデオストリームの１つ又は複数のアクセス単位内に記憶されたパラメータセットの数を特定するインジケータを含む。

[0008]本開示の一例では、コード化ビデオコンテンツを含むビデオファイルを生成する方法は、コード化ビデオコンテンツの複数のスライスを取得することと、ビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを取得することと、ファイルトラックのサンプル記述内に複数のパラメータセットをカプセル化することとを備え、あるタイプのパラメータセットに対応するパラメータセットネットワーク抽象化レイヤ単位が、サンプル記述中の専用のアレイに含まれる。

[0009]本開示の一例では、コード化ビデオコンテンツを含むビデオファイルを生成する方法は、コード化ビデオコンテンツの複数のスライスを取得することと、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化することと、ビデオストリームと関連付けられる複数のストリーム特性を取得することと、ファイルトラックのサンプル記述内にストリーム特性をカプセル化することとを備え、ストリーム特性は、ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む。

[0010]本開示の一例では、コード化ビデオコンテンツを含むビデオファイルを生成する方法は、コード化ビデオコンテンツの複数のスライスを取得することと、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化することであって、ビデオストリームが複数の時間レイヤを含む、カプセル化することと、ファイルトラックのサンプル記述内にインジケータをカプセル化することであって、インジケータがビデオストリームの時間レイヤの数を示す、カプセル化することとを備える。

[0011]本開示の一例では、コード化ビデオコンテンツを含むビデオファイルを生成する方法は、コード化ビデオコンテンツの複数のスライスを取得することと、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化することであって、ビデオストリームが複数の時間レイヤを含む、カプセル化することと、ファイルトラック中の複数のサンプル内に複数のアクセス単位をカプセル化することであって、ファイルトラックが、時間レイヤに対するトラック中のサンプルの割当ての表現、ならびに、時間レイヤの各々に対する特性の記述を含む、カプセル化することとを備える。

[0012]本開示の別の例では、機器は、コード化ビデオコンテンツの複数のスライスを取得し、ビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを取得し、ビデオストリームの１つ又は複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化し、ビデオストリームの１つ又は複数のアクセス単位内に第１のタイプのパラメータセットをカプセル化し、サンプル記述内に第２のタイプのパラメータセットをカプセル化するように構成される、ビデオファイル作成モジュールを備え、サンプル記述は、ビデオストリームの１つ又は複数のアクセス単位内に記憶されたパラメータセットの数を特定するインジケータを含む。

[0013]本開示の別の例では、機器は、コード化ビデオコンテンツの複数のスライスを取得し、ビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを取得し、ファイルトラックのサンプル記述内に複数のパラメータセットをカプセル化するように構成される、ビデオファイル作成モジュールを備え、あるタイプのパラメータセットに対応するパラメータセットネットワーク抽象化レイヤユニットが、サンプル記述中の専用のアレイに含まれる。

[0014]本開示の別の例では、機器は、コード化ビデオコンテンツの複数のスライスを取得し、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化し、ビデオストリームと関連付けられる複数のストリーム特性を取得し、ファイルトラックのサンプル記述内にストリーム特性をカプセル化するように構成される、ビデオファイル作成モジュールを備え、ストリーム特性は、ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む。

[0015]本開示の別の例では、機器は、コード化ビデオコンテンツの複数のスライスを取得することと、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化することであって、ビデオストリームが複数の時間レイヤを含む、カプセル化することと、ファイルトラックのサンプル記述内にインジケータをカプセル化することであって、インジケータがビデオストリームの時間レイヤの数を示す、カプセル化することとを行うように構成される、ビデオファイル作成モジュールを備える。

[0016]本開示の別の例では、機器は、コード化ビデオコンテンツの複数のスライスを取得することと、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化することであって、ビデオストリームが複数の時間レイヤを含む、カプセル化することと、ファイルトラック中の複数のサンプル内に複数のアクセス単位をカプセル化することであって、ファイルトラックが、時間レイヤに対するトラック中のサンプルの割当ての表現、ならびに、時間レイヤの各々に対する特性の記述を含む、カプセル化することとを行うように構成される、ビデオファイル作成モジュールを備える。

[0017]本開示の別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオ符号化機器の１つ又は複数のプロセッサに、コード化ビデオコンテンツの複数のスライスを取得させ、ビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを取得させ、ビデオストリームの１つ又は複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化させ、ビデオストリームの１つ又は複数のアクセス単位内に第１のタイプのパラメータセットをカプセル化させ、サンプル記述内に第２のタイプのパラメータセットをカプセル化させる命令を記憶しており、サンプル記述は、ビデオストリームの１つ又は複数のアクセス単位内に記憶されたパラメータセットの数を特定するインジケータを含む。

[0018]本開示の別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオ符号化機器の１つ又は複数のプロセッサに、コード化ビデオコンテンツの複数のスライスを取得させ、ビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを取得させ、ファイルトラックのサンプル記述内に複数のパラメータセットをカプセル化させる命令を記憶しており、あるタイプのパラメータセットに対応するパラメータセットネットワーク抽象化レイヤユニットが、サンプル記述中の専用のアレイに含まれる。

[0019]本開示の別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオ符号化機器の１つ又は複数のプロセッサに、コード化ビデオコンテンツの複数のスライスを取得させ、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化させ、ビデオストリームと関連付けられる複数のストリーム特性を取得させ、ファイルトラックのサンプル記述内にストリーム特性をカプセル化させる命令を記憶しており、ストリーム特性は、ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む。

[0020]本開示の別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオ符号化機器の１つ又は複数のプロセッサに、コード化ビデオコンテンツの複数のスライスを取得することと、複数の時間レイヤを含むビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化することと、ファイルトラックのサンプル記述内にビデオストリームの時間レイヤの数を示すインジケータをカプセル化することと、を行わせる命令を記憶している。

[0021]本開示の別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオ符号化機器の１つ又は複数のプロセッサに、コード化ビデオコンテンツの複数のスライスを取得することと、複数の時間レイヤを含むビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化することと、時間レイヤに対するトラック中のサンプルの割当ての表現、ならびに、時間レイヤの各々に対する特性の記述を含むファイルトラック中の複数のサンプル内に複数のアクセス単位をカプセル化することと、を行わせる命令を記憶している。

[0022]本開示の別の例では、コード化ビデオコンテンツを含むビデオファイルを生成するように構成される装置は、コード化ビデオコンテンツの複数のスライスを取得するための手段と、ビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを取得するための手段と、ビデオストリームの１つ又は複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化するための手段と、ビデオストリームの１つ又は複数のアクセス単位内に第１のタイプのパラメータセットをカプセル化するための手段と、サンプル記述内に第２のタイプのパラメータセットをカプセル化するための手段とを備え、サンプル記述は、ビデオストリームの１つ又は複数のアクセス単位内に記憶されたパラメータセットの数を特定するインジケータを含む。

[0023]本開示の別の例では、コード化ビデオコンテンツを含むビデオファイルを生成するように構成される装置は、コード化ビデオコンテンツの複数のスライスを取得するための手段と、ビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを取得するための手段と、ファイルトラックのサンプル記述内に複数のパラメータセットをカプセル化するための手段とを備え、あるタイプのパラメータセットに対応するパラメータセットネットワーク抽象化レイヤユニットが、サンプル記述中の専用のアレイに含まれる。

[0024]本開示の別の例では、コード化ビデオコンテンツを含むビデオファイルを生成するように構成される装置は、コード化ビデオコンテンツの複数のスライスを取得するための手段と、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化するための手段と、ビデオストリームと関連付けられる複数のストリーム特性を取得するための手段と、ファイルトラックのサンプル記述内にストリーム特性をカプセル化するための手段とを備え、ストリーム特性は、ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む。

[0025]本開示の別の例では、コード化ビデオコンテンツを含むビデオファイルを生成するように構成される装置は、コード化ビデオコンテンツの複数のスライスを取得するための手段と、複数の時間レイヤを含むビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化するための手段と、ファイルトラックのサンプル記述内にビデオストリームの時間レイヤの数を示すインジケータをカプセル化するための手段と、を備える。

[0026]本開示の別の例では、コード化ビデオコンテンツを含むビデオファイルを生成するように構成される装置は、コード化ビデオコンテンツの複数のスライスを取得するための手段と、複数の時間レイヤを含むビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの複数のスライスをカプセル化するための手段と、時間レイヤに対するトラック中のサンプルの割当ての表現、ならびに、時間レイヤの各々に対する特性の記述を含むファイルトラック中の複数のサンプル内に複数のアクセス単位をカプセル化するための手段と、を備える。

[0027]本開示の別の例では、コード化ビデオコンテンツを含むビデオファイルを処理する方法は、複数のサンプルを含むファイルトラックを取得することと、ファイルトラック中のビデオストリームの複数のサンプルから複数のアクセス単位を逆カプセル化することと、複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化することと、複数のサンプルからビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを逆カプセル化することとを備える。

[0028]本開示の別の例では、コード化ビデオコンテンツを含むビデオファイルを処理する方法は、コード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、ファイルトラックのサンプル記述からビデオの複数のスライスと関連付けられる複数のパラメータセットを逆カプセル化することと、を備え、あるタイプのパラメータセットに対応するパラメータセットネットワーク抽象化レイヤユニットがサンプル記述中の専用のアレイに含まれる。

[0029]本開示の別の例では、コード化ビデオコンテンツを含むビデオファイルを処理する方法は、ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、ファイルトラックのサンプル記述からビデオストリームと関連付けられる複数のストリーム特性を取得することと、を備え、ストリーム特性がビデオストリームのフレームレートと空間解像度の少なくとも１つを含む。

[0030]本開示の別の例では、コード化ビデオコンテンツを含むビデオファイルを生成する方法は、複数の時間レイヤを含むビデオストリームの複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化することと、ファイルトラックのサンプル記述内のビデオストリームの時間レイヤの数を示すインジケータを取得することと、を備える。

[0031]本開示の別の例では、コード化ビデオコンテンツを含むビデオファイルを処理する方法は、時間レイヤに対するトラック中のサンプルの割当ての表現、ならびに、時間レイヤの各々に対する特性の記述を含むファイルトラック中の複数のサンプルから複数のアクセス単位を逆カプセル化することと、複数の時間レイヤを含むビデオストリームの複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化することと、を備える。

[0032]本開示の別の例では、機器は、複数のサンプルを含むファイルトラックを取得し、ファイルトラック中のビデオストリームの複数のサンプルから複数のアクセス単位を逆カプセル化し、複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化し、複数のサンプルからビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを逆カプセル化するように構成される、プロセッサを備える。

[0033]本開示の別の例では、機器は、コード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、ファイルトラックのサンプル記述からビデオの複数のスライスと関連付けられる複数のパラメータセットを逆カプセル化することと、を行うように構成されプロセッサを備え、あるタイプのパラメータセットに対応するパラメータセットネットワーク抽象化レイヤユニットがサンプル記述中の専用のアレイに含まれる。

[0034]本開示の別の例では、機器は、ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、ファイルトラックのサンプル記述からビデオストリームと関連付けられる複数のストリーム特性を取得することと、を行うように構成されるプロセッサを備え、ストリーム特性がビデオストリームのフレームレートと空間解像度の少なくとも１つを含む。

[0035]本開示の別の例では、機器は、複数の時間レイヤを含むビデオストリームの複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化することと、ファイルトラックのサンプル記述からビデオストリームの時間レイヤの数を示すインジケータを取得することと、を行うように構成されるプロセッサを備える。

[0036]本開示の別の例では、機器は、時間レイヤに対するトラック中のサンプルの割当ての表現、ならびに、時間レイヤの各々に対する特性の記述を含むファイルトラック中の複数のサンプルから複数のアクセス単位を逆カプセル化することと、複数の時間レイヤを含むビデオストリームの複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化することと、を行うように構成されるプロセッサを備える。

[0037]本開示の別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオ符号化機器の１つ又は複数のプロセッサに、複数のサンプルを含むファイルトラックを取得させ、ファイルトラック中のビデオストリームの複数のサンプルから複数のアクセス単位を逆カプセル化させ、複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化させ、複数のサンプルからビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを逆カプセル化させる、命令を記憶している。

[0038]本開示の別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオ符号化機器の１つ又は複数のプロセッサに、コード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、ファイルトラックのサンプル記述からビデオの複数のスライスと関連付けられる複数のパラメータセットを逆カプセル化することと、を行わせる命令を記憶し、あるタイプのパラメータセットに対応するパラメータセットネットワーク抽象化レイヤユニットがサンプル記述中の専用のアレイに含まれる。

[0039]本開示の別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオ符号化機器の１つ又は複数のプロセッサに、ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、ファイルトラックのサンプル記述からビデオストリームと関連付けられる複数のストリーム特性を取得することと、を行わせる命令を記憶し、ストリーム特性がビデオストリームのフレームレートと空間解像度の少なくとも１つを含む。

[0040]本開示の別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオ符号化機器の１つ又は複数のプロセッサに、複数の時間レイヤを含むビデオストリームの複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化することと、ファイルトラックのサンプル記述からビデオストリームの時間レイヤの数を示すインジケータを取得することと、を行わせる命令を記憶している。

[0041]本開示の別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオ符号化機器の１つ又は複数のプロセッサに、時間レイヤに対するトラック中のサンプルの割当ての表現、ならびに、時間レイヤの各々に対する特性の記述を含むファイルトラック中の複数のサンプルから複数のアクセス単位を逆カプセル化することと、複数の時間レイヤを含むビデオストリームの複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化することと、を行わせる命令を記憶している。

[0042]別の例では、コード化ビデオコンテンツを含むビデオファイルを処理するように構成される装置は、複数のサンプルを含むファイルトラックを取得するための手段と、ファイルトラック中のビデオストリームの複数のサンプルから複数のアクセス単位を逆カプセル化するための手段と、複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化するための手段と、複数のサンプルからビデオコンテンツの複数のスライスと関連付けられる複数のパラメータセットを逆カプセル化するための手段とを備える。

[0043]別の例では、コード化ビデオコンテンツを含むビデオファイルを処理するように構成される装置は、コード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得するための手段と、ファイルトラックのサンプル記述からビデオの複数のスライスと関連付けられる複数のパラメータセットを逆カプセル化するための手段と、を備え、あるタイプのパラメータセットに対応するパラメータセットネットワーク抽象化レイヤユニットがサンプル記述中の専用のアレイに含まれる。

[0044]別の例では、コード化ビデオコンテンツを含むビデオファイルを処理するように構成される装置は、ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得するための手段と、ファイルトラックのサンプル記述からビデオストリームと関連付けられ、ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む複数のストリーム特性を取得するための手段と、を備える。

[0045]別の例では、コード化ビデオコンテンツを含むビデオファイルを処理するように構成される装置は、複数の時間レイヤを含むビデオストリームの複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化するための手段と、ファイルトラックのサンプル記述内の、ビデオストリームの時間レイヤの数を示すインジケータを取得するための手段と、を備える。

[0046]別の例では、コード化ビデオコンテンツを含むビデオファイルを処理するように構成される装置は、時間レイヤに対するトラック中のサンプルの割当ての表現、ならびに、時間レイヤの各々に対する特性の記述を含むファイルトラック中の複数のサンプルから複数のアクセス単位を逆カプセル化するための手段と、複数の時間レイヤを含むビデオストリームの複数のアクセス単位からコード化ビデオコンテンツの複数のスライスを逆カプセル化するための手段と、を備える。

[0047]１つ又は複数の例の詳細は、添付の図面及び以下の説明に記載されている。他の特徴、目的、及び利点は、その説明及び図面、ならびに特許請求の範囲から明らかになろう。

[0048]本開示で説明される技法により生成され得る例示的なメディアファイルの構造を示す概念図。 [0049]本開示で説明される技法により生成されるメディアファイルに含まれ得るＨＥＶＣアクセス単位の例を示す図。 [0050]本開示で説明される技法を利用し得る例示的なビデオ符号化及び送信システムを示すブロック図。 [0051]ビデオエンコーダの一例を示すブロック図。 [0052]本開示で説明される技法を実装し得るカプセル化モジュールの一例を示すブロック図。 [0053]本開示で説明される技法により生成され得る例示的なメディアファイルの構造を示す概念図。 [0054]本開示の技法によるコード化ビデオコンテンツを含むビデオファイルを生成する例を示すフローチャート。

[0055]全般に、本開示は、ビデオを符号化することと、コード化ビデオコンテンツをファイルに記憶することとに関する。本開示は、例えば、ＩＳＯベースのメディアファイルフォーマット（ＩＳＯＢＭＦＦ）に基づくファイルに、ＨＥＶＣビデオ規格に従って符号化されたビデオコンテンツを記憶することを含む、ビデオコンテンツを記憶するための様々な技法を説明する。具体的には、本開示は、メディアファイル中のＨＥＶＣビデオコンテンツに含まれる、シーケンスパラメータセット（ＳＰＳ）と、ピクチャパラメータセット（ＰＰＳ）と、適応パラメータセット（ＡＰＳ）とをカプセル化するための技法を説明する。全てのパラメータセットがファイルの始めに知られていることが可能であり、何も更新される必要がない場合（即ち、幾つかの場合には、同じパラメータセットＩＤを有するパラメータセットが異なるコンテンツを含むように更新される）、パラメータセットはサンプル記述に含まれてよく、これは、帯域外のパラメータ送信を可能にする。全てのパラメータセットがファイルの始めにおいて知られていることが不可能であり、又は少なくとも１つが更新される必要がある場合、パラメータセットはストリームのサンプルに含まれてよく、又は代替的に、ストリームは複数のサブストリームへと分割されてよく、複数のサブストリームの各々に対して、パラメータセットが対応するサンプル記述に含まれ得る。パラメータセットがサンプル記述に含まれること、又は、サンプル記述が適用されるストリームのサンプルにパラメータセットが含まれることを可能にすることによって、パラメータセットを記憶するためだけに追加のトラックは必要とされず、ビデオファイル作成モジュールは、サンプル記述の数と、帯域外のパラメータセット送信の可能性とのトレードオフを自由にできる。

[0056]ビデオ符号化規格の例としては、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、及びスケーラブルビデオ符号化（ＳＶＣ）拡張とマルチビュービデオ符号化（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４がある。加えて、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）とＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって開発されている新しいビデオ符号化規格、即ち、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）がある。「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ５」又は「ＷＤ５」と呼ばれるＨＥＶＣの最近のワーキングドラフト（ＷＤ）は、文書ＪＣＴＶＣ−Ｇ１１０３、Ｂｒｏｓｓら、「ＷＤ５：Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ５ ｏｆ Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第７回会合：ジュネーブ、スイス、２０１２年１１月に記載されている。更に、ＨＥＶＣの別の最近のワーキングドラフト、Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ７は、文書ＨＣＴＶＣ−Ｉ１００３、Ｂｒｏｓｓら、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ） Ｔｅｘｔ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｄｒａｆｔ ７」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第９回会合：ジュネーブ、スイス、２０１２年４月２７日〜２０１２年５月７日に記載されている。ＨＥＶＣ規格は、ＨＥＶＣの配信バージョン用の規格番号であることが意図された、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣと呼ばれる場合もある。

[0057]特定のビデオ規格に従って符号化されたビデオコンテンツを記憶するためには、その特定のビデオ規格に対応するファイルフォーマット仕様が必要とされる。ＨＥＶＣファイルフォーマットの最新のドラフトは、そのカプセル化フォーマットの基礎として、ＩＳＯＢＭＦＦを使用する。本明細書ではＨＥＶＣＦＦと呼ばれるＨＥＶＣファイルフォーマットの最新のドラフトは、ＩＳＯ／ＩＥＣ １４４９６−１５ ２０１０／Ａｍｄ．１：２０１１（Ｅ）に従って定義され、各々の全体が参照によって組み込まれる、次の規範的な参照を含む。

（１） ＩＳＯ／ＩＥＣ １４４９６−１：２００１，Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ１：Ｓｙｓｔｅｍｓ；
（２） ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣ；及び
（３） ＩＳＯ／ＩＥＣ １４４９６−１２，Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ１２：ＩＳＯ ｂａｓｅｄ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ（即ち、ＩＳＯＢＭＦＦ）
[0058]ＩＳＯ／ＩＥＣ １４４９６−１２は、ＩＳＯ／ＩＥＣ １５４４４−１２と技術的に同一であることに留意されたい。ＩＳＯＢＭＦＦは、多くのビデオ符号化規格のカプセル化フォーマット及び多くのマルチメディアコンテナフォーマットの基礎として使用される。ＩＳＯＢＭＦＦに基づく他のファイルフォーマットの例には、例えば、ＭＰＥＧ−４ファイルフォーマット（ＩＳＯ／ＩＥＣ １４４９６−１４）、３ＧＰＰファイルフォーマット（３ＧＰＰ ＴＳ２６．２４４）、及びＡＶＣファイルフォーマット（ＩＳＯ／ＩＥＣ １４４９６−１５）（即ち、ＡＶＣＦＦ）がある。更に、本明細書で開示される技法は、ＨＥＶＣに関する幾つかの例で説明され、特定のファイルフォーマットに言及することがあるが、それらの技法は、他のビデオ符号化規格及びファイルフォーマットに等しく適用可能であり得ることに留意されたい。

[0059]ＩＳＯＢＭＦＦに従って構成されたファイルは、ローカルメディアファイルの再生、リモートファイルの漸進的なダウンロード、Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ（ＤＡＳＨ）のためのセグメント、ストリーミングされるべきコンテンツのためのコンテナ及びそのパケット化命令、及び受信されたリアルタイムメディアストリームの記録を含む、多くの目的のために使用され得る。一般に、ＩＳＯＢＭＦＦは、オーディオデータ及びビデオデータのような継続的なメディアデータが、メタデータとは独立に記憶されることを可能にする。一例では、メディアデータは、ＨＥＶＣに従って符号化されたピクチャのグループを含み得る。メタデータは通常、メディアデータの部分が独立に復号可能であるように、表示情報とタイミング情報とを含む。

[0060]ＩＳＯＢＭＦＦは、メディアファイルを形成するための構成単位として基本的なシンタックス要素が使用される、オブジェクト指向ベースの方式を使用する。ＩＳＯＢＭＦＦでは、これらのシンタックス要素は「ボックス」と呼ばれる。しかしながら、ＩＳＯＢＭＦＦに基づく特定のファイルフォーマットは、「アトム」のような異なる用語を使用して、ボックスに言及することがある。更に、ＩＳＯＢＭＦＦに基づく特定のファイルフォーマットを説明するとき、限定されない方式で、しばしば特定の用語がＩＳＯＢＭＦＦの用語と交換可能に使用され得る。例えば、ＨＥＶＣＦＦを説明するとき、「アクセス単位」という用語が、ＩＳＯＢＭＦＦにおける「サンプル」という用語に対応することがあり、アクセス単位はいずれの用語を使用しても表され得る。ＩＳＯＢＭＦＦでは、ボックスは、４文字のタイプと、ボックスのバイトカウントと、ペイロードとを含む。ボックスタイプは、特定のボックスと他のタイプのボックスとの論理的な関係を定義する。ボックスタイプはまた、その特定のボックスタイプに対してどのデータが必須であり、その特定のボックスタイプに対してどのデータが任意であるかを表し得る。ボックスは、ボックスのシーケンス又はグループの一部であってよく、サブボックスと呼ばれ得る他のボックスを含んでよい。

[0061]ＩＳＯＢＭＦＦでは、Ｍｏｖｉｅボックス（「ｍｏｏｖ」）が、ファイル中に存在する継続的なメディアストリームのメタデータを含む。ファイル中に存在する継続的なメディアストリームのメタデータは更に、ｍｏｖｉｅボックス中の更なるボックス内に封入され得る。継続的なメディアストリームは、ＩＳＯＢＭＦＦファイル中ではトラックとして表されてよく、トラックは、ｍｏｖｉｅボックス内に封入され得るメタデータを参照する論理的な構造であり、メディアストリームはサンプルのシーケンスからなる。ＩＳＯＢＭＦＦでは、メディアストリームは、Ｍｅｄｉａ Ｄａｔａボックス（「ｍｄａｔ」）及びそのサブボックスのような、ボックス内に封入され得る。更に、幾つかの例では、メディアストリームは、ＩＳＯＢＭＦＦファイルに直接記憶され得る。トラックに対するメディアコンテンツは、ビデオアクセス単位のようなサンプルのシーケンスからなる。サンプルのシーケンスは、ストリームと呼ばれ得る。ＩＳＯＢＭＦＦは、基本的なメディアストリームを含むメディアトラックを規定する。各トラックに対するメタデータは、サンプル記述エントリーのリストを含み、サンプル記述エントリーの各々が、トラック中で使用される符号化フォーマット又はカプセル化フォーマットと、そのフォーマットを処理するために必要な初期化データとを提供する。各サンプルは、トラックのサンプル記述エントリーの１つと関連付けられる。ＩＳＯＢＭＦＦに基づく幾つかのファイルタイプは、ヒントトラックも含む。ヒントトラックは、メディアコンテンツがネットワークを通じてストリーミングされるときに品質及び信頼性が向上するように、メディアコンテンツの再構築を支援する情報を含む。

[0062]ＩＳＯＢＭＦＦに従って記憶されたファイルと同様に、ＨＥＶＣファイルは、メタデータを参照する一連の基本的なストリームを含み得る。ＨＥＶＣＦＦでは、サンプルは、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるように、アクセス単位と呼ばれ得る。ＨＥＶＣＦＦでは、メタデータは、サンプル記述エントリーにも含まれ得る。ＨＥＶＣＦＦはヒントを与えることを可能にし得るが、幾つかのファイルフォーマットにおいてヒントトラックが「Ｂフレーム」として参照するものは、実際には、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるような、「使い捨て」のピクチャ又は非参照ピクチャであり得ることに留意されたい。更に、ＨＥＶＣビデオコンテンツの記憶のために使用されるファイルフォーマットは、ＩＳＯＢＭＦＦの既存の機能を使用し得るが、パラメータセット、時間スケーラビリティ、及びランダムアクセス復元ポイントのような、特定のＨＥＶＣコード化ビデオコンテンツの特徴をサポートするための拡張も定義し得る。

[0063]パラメータセットという用語は、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるような、シーケンスパラメータセット、ピクチャパラメータセット、又は適応パラメータセットを指し得るシーケンス及びピクチャパラメータセット機構は、コード化ブロックデータの送信から、まれに変化する情報の送信を切り離すことができる。ＨＥＶＣによれば、コード化ブロックデータを含む各スライスは、復号パラメータを含むピクチャパラメータセットを参照し得る。更に、ピクチャパラメータセットは、シーケンスレベル復号パラメータ情報を含む、シーケンスパラメータセットを参照し得る。加えて、ＨＥＶＣは、適応パラメータセットもサポートする。適応パラメータセットは、ピクチャパラメータセット中の符号化パラメータよりも頻繁に変化することが予想される復号パラメータを含み得る。適応パラメータセットは、必要な場合には、スライスによっても参照され得る。ＡＶＣは現在、適応パラメータセットをサポートしないことに留意されたい。

[0064]ＨＥＶＣＦＦは、アクセス単位と時間スケーラビリティの様々な階層レベルとの関連付けを示すための構造化及びグルーピングの機構を含むことによって、時間スケーラビリティサンプルのグルーピングをサポートすることができる。時間スケーラビリティは一般に、コード化ビデオコンテンツが様々なフレームレート（例えば、３０フレーム毎秒（ｆｐｓ）又は６０ｆｐｓ）及び様々なビットレートで再生されることを可能にする。一例では、ＨＥＶＣビデオトラックは、グルーピングタイプが「ｔｓｃｌ」であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘの０個又は１個のインスタンスを含み得る。このＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘインスタンスは、時間レイヤに対するトラック中のサンプルの割当てを表し得る。グルーピングタイプが同じであるＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘの付随するインスタンスは、存在する場合には、時間レイヤを表すサンプルグループエントリーＴｅｍｐｏｒａｌＬａｙｅｒＥｎｔｒｙを含み得る。従って、時間レイヤサンプルグループエントリーは、グループタイプ：「ｔｓｃｌ」；コンテナ：ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ（「ｓｇｐｄ」）；必須：いいえ、及び量：０個又は１個のサンプルとして、ＨＥＶＣＦＦにおいて定義され得る。

[0065]幾つかの場合には、時間レイヤサンプルグループエントリーは、時間レイヤ中の全てのサンプルに対する時間レイヤ情報を定義することができる。時間レイヤは、非負の整数(non-negative integers)により番号を付けられてよく、各時間レイヤは、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるような特定の値のｔｅｍｐｏｒａｌ＿ｉｄと関連付けられ得る。一例では、０より大きいｔｅｍｐｏｒａｌ＿ｉｄ値と関連付けられる時間レイヤは、より小さいｔｅｍｐｏｒａｌ＿ｉｄ値と関連付けられる全ての時間レイヤに依存し得る。特定のｔｅｍｐｏｒａｌ＿ｉｄ値と関連付けられる時間レイヤ表現（時間レイヤの表現とも呼ばれ得る）は、その特定のｔｅｍｐｏｒａｌ＿ｉｄ値以上のｔｅｍｐｏｒａｌ＿ｉｄと関連付けられる全ての時間レイヤからなり得る。

[0066]以下は、時間レイヤエントリー

のために使用され得るシンタックス要素の例である。

[0067]上記の例示的な時間レイヤエントリーシンタックスでは、次のようにセマンティクスが定義され得る。

ｔｅｍｐｏｒａｌＬａｙｅｒＩｄは、時間レイヤのＩＤを与え得る。幾つかの例では、このサンプルグループのメンバーである全てのサンプルに対して、ビデオ符号化レイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位（ＶＣＬ ＮＡＬ単位は以下で更に詳しく説明される）が、ｔｅｍｐｏｒａｌＬａｙｅｒＩｄに等しい、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるようなｔｅｍｐｏｒａｌ＿ｉｄを有するべきである。

ｔｌＰｒｏｆｉｌｅＩｎｄｉｃａｔｉｏｎは、ｔｅｍｐｏｒａｌＬａｙｅｒＩｄによって特定される時間レイヤの表現に対して、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるようなプロファイルコード（ｐｒｏｆｉｌｅ＿ｉｄｃ）を含み得る。

ｔｌＰｒｏｆｉｌｅＣｏｍｐａｔｉｂｉｌｉｔｙは、ｔｅｍｐｏｒａｌＬａｙｅｒＩｄによって特定される時間レイヤの表現に対して、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるような、ＳＰＳ中のｐｒｏｆｉｌｅ＿ｉｄｃとｌｅｖｅｌ＿ｉｄｃとの間に存在するバイトと厳密に同一であると定義される、バイトであり得る。

ＬｅｖｅｌＩｎｄｉｃａｔｉｏｎは、ｔｅｍｐｏｒａｌＬａｙｅｒＩｄによって特定される時間レイヤの表現に対して、ＩＳＯ／ＩＥＣ ２３００８−１０において定義されるようなレベルコード（ｌｅｖｅｌ＿ｉｄｃ）を含み得る。

ｔｌＭａｘＢｉｔｒａｔｅは、ｔｅｍｐｏｒａｌＬａｙｅｒＩｄによって特定される時間レイヤの表現に対して、１秒の任意の時間枠にわたる最大のレートを、１０００ビット毎秒単位で与え得る。

ｔｌＡｖｇＢｉｔＲａｔｅは、ｔｅｍｐｏｒａｌＬａｙｅｒＩｄによって特定される時間レイヤの表現に対して、平均のビットレートを１０００ビット毎秒単位で与え得る。

１に等しいｔｌＣｏｎｓｔａｎｔＦｒａｍｅＲａｔｅは、ｔｅｍｐｏｒａｌＬａｙｅｒＩｄによって特定される時間レイヤの表現のフレームレートが一定であることを示し得る。値０は、ｔｅｍｐｏｒａｌＬａｙｅｒＩｄによって特定される時間レイヤの表現のフレームレートが一定であることも一定ではないこともあることを示し得る。

ｔｌＡｖｇＦｒａｍｅＲａｔｅは、ｔｅｍｐｏｒａｌＬａｙｅｒＩｄによって特定される時間レイヤの表現に対して、平均のフレームレートをフレーム／（２５６秒）の単位で与え得る。

[0068]時間スケーラビリティサンプルのグルーピングに加えて、ＨＥＶＣのワーキングドラフトは、「段階的復号リフレッシュ」又はランダムアクセス復元ポイントという概念も含む。ランダムアクセス復元ポイントは、復元ポイント補足強化情報（ＳＥＩ：Supplemental Enhancement Information）メッセージを使用して、ビットストリーム中で信号伝達され得る。このメッセージは、ランダムアクセスの始めにおいて見出されることがあり、復元が完了する前に、ＳＥＩメッセージの位置においてアクセス単位に続いてどれだけのデータが復号されるべきかを示し得る。段階的復元の概念は、ＩＳＯ／ＩＥＣ １４４９６−１２において定義されるようなタイプ「ロール」のサンプルグルーピングを使用することによって、ＨＥＶＣＦＦにおいてサポートされる。「ロール距離」が正（即ち、ロール後）のみになるように制約されるように、グループメンバーシップは、ＳＥＩメッセージを含むサンプルを標識し得る。ロールグループがファイルフォーマット中のサンプルを数える方法は、距離がＳＥＩメッセージにおいて表される方法と一致しないことがあることに留意されたい。従って、ストリームデコーダがロール前の始まりから復号を開始できるように、ストリーム内では、ロール前の始まりを標識することが必要であり得る。しかしながら、ファイル中では、ランダムアクセスを実行するとき、完全に復号され得る最も近い先行するフレーム（例えば、同期サンプル又はロール前の終わりのいずれか）に対して、決定論的な探索が望まれ得る。

[0069]図１は、ＩＳＯＢＭＦＦ及び現在のＨＥＶＣＦＦに基づく、例示的なＨＥＶＣメディアファイルの構造を示す概念図である。図１の例示的なＨＥＶＣメディアファイル１４２は、ビデオデータストリームとメタデータとの論理的な関係を示すことが意図されていることに留意されたい。簡潔にするために、ＨＥＶＣメディアファイル１４２の完全なカプセル化構造は示されていない。しかしながら、ＨＥＶＣメディアファイル１４２は、ＨＥＶＣＦＦに従って定義される、ボックス及びカプセル化の構造を利用し得る。図１に示される例では、ＨＥＶＣメディアファイル１４２は、メタデータボックス１４４とビデオデータストリーム１４６Ａ〜１４６Ｎとを含む。メタデータボックス１４４は、ＩＳＯＢＭＦＦ「ｍｏｏｖ」ボックスと同様であってよく、ビデオデータストリーム１４６Ａ〜１４６Ｎの各々に対するメタデータを含み得る。一例では、メタデータは、メタデータテーブル１４８Ａ〜１４８Ｎ内に含まれ得る。メタデータテーブル１４８Ａ〜１４８Ｎは、ビデオデータストリーム１４６Ａ〜１４６Ｎに対応するサンプルエントリーを含み得る。メタデータテーブルの一例は、サンプルテーブルボックスである。ビデオデータストリーム１４６Ａ〜１４６Ｎの各々は、メタデータテーブル１４８Ａ〜１４８Ｎの１つ又は複数を参照し得る。

[0070]ビデオデータストリーム１４６Ａ〜１４６Ｎは、ＩＳＯＢＭＦＦで表されるビデオトラック又はビジュアルトラックに対応し得る。従って、ビデオデータストリーム１４６Ａ〜１４６Ｎは、よって、（１）ＨａｎｄｌｅｒＢｏｘ中の「ｖｉｄｅ」というハンドラタイプと、（２）ビデオメディアヘッダ「ｖｍｈｄ」と、（３）ＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙの派生物とを使用し得る。ビデオストリームは、ＨＥＶＣメディアファイル１４２中の１つのビデオトラックによって表され得る。ビデオデータストリーム１４６Ａ〜１４６Ｎの各々は、１つ又は複数のアクセス単位１５０Ａ〜１５０Ｎを含み得る。ＨＥＶＣメディアファイル１４２におけるアクセス単位１５０Ａ〜１５０Ｎは、ＨＥＶＣＦＦに従って定義され得る。アクセス単位１５０Ａ〜１５０Ｎは、ＩＳＯＢＭＦＦのサンプルに対応し得る。アクセス単位１５０Ａ〜１５０Ｎは、外部的にフレーミングされてよく、その外部フレーミングによって提供されるサイズを有してよい。幾つかの場合には、メタデータボックス１４４は、アクセス単位１５０Ａ〜１５０Ｎのサイズを定義する情報を含み得る。アクセス単位１５０Ａ〜１５０Ｎは、ＮＡＬ（即ち、ネットワーク抽象化レイヤ）単位１５２Ａ〜１５２Ｎのセットを含み得る。ＮＡＬ単位１５２Ａ〜１５２Ｎは、ＨＥＶＣＦＦに従って定義され得る。

[0071]各ＮＡＬ単位１５２Ａ〜１５２Ｎは、ＮＡＬ単位の長さをバイト単位で示す長さフィールドを含み得る。幾つかの例では、長さフィールドは、１バイト、２バイト、又は４バイトとなるように構成され得る。長さフィールドは、アクセス単位内でのＮＡＬ単位の簡単なスキャンを可能にする。ＮＡＬ単位１５２Ａ〜１５２Ｎは、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて規定されるようなＮＡＬ単位データを含み得る。他のタイプのＮＡＬ単位に加えて、ＨＥＶＣＦＦは、次のタイプのＮＡＬ単位、即ち、ＶＣＬ ＮＡＬ単位と呼ばれ得るビデオデータＮＡＬ単位、補足強化情報（ＳＥＩ）ＮＡＬ単位、及びアクセス単位（ＡＵ）デリミターＮＡＬ単位、並びに他のタイプのＮＡＬ単位を定義する。ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおける予備のＮＡＬ単位タイプは、今後定義を獲得する可能性があることに留意されたい。一部のファイルリーダは、ＮＡＬ単位タイプの予備の値を伴うＮＡＬ単位がこれらのアレイに存在する場合、そのＮＡＬ単位を無視するように構成され得る。この「寛大な」挙動は、エラーが発生しないように設計され、今後の仕様においてこれらのアレイに対する後方互換性のある拡張の可能性を許容することに留意されたい。

[0072]ＶＣＬ ＮＡＬ単位は、単一のピクチャのための全てのコード化スライスＮＡＬ単位が、その復号時間及び合成時間がピクチャの復号時間及び合成時間であるアクセス単位内に含まれるように、フォーマットされ得る。更に、アクセス単位１５０Ａ〜１５０Ｎは、少なくとも１つのビデオデータＮＡＬ単位を含むことを要求され得る。

[0073]ビデオデータストリーム１４６Ａ〜１４６Ｎはまた、全てのＳＥＩ ＮＡＬ単位が、その復号時間がＳＥＩメッセージの実施される時間よりも前に存在するアクセス単位に含まれるように、フォーマットされ得る。アクセス単位１５０Ａ〜１５０Ｎ内のＳＥＩメッセージの順序は、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣに従って定義されるようなものであり得る。更に、ＨＥＶＣファイル１４２は、ピクチャのためのＳＥＩメッセージがそのピクチャを含むアクセス単位に含まれることと、ピクチャのシーケンスに関連するＳＥＩメッセージが、ＳＥＩメッセージに関連するシーケンスの最初のピクチャを含むアクセス単位に含まれることとを必要とし得る。アクセス単位デリミターＮＡＬ単位は、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣに従って制約され得る。ＨＥＶＣファイル１４２は、ビデオデータストリーム１４６Ａ〜１４６Ｎの中の、かつ単一のアクセス単位内のＮＡＬ単位のシーケンスが、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて規定されるような有効な復号順序で配置されることを必要とし得る。

[0074]図２は、ＮＡＬ単位を含むＨＥＶＣアクセス単位の例を示す。図２に示されるように、アクセス単位１５０は、ＡＵデリミターＮＡＬ単位と、ＳＥＩ ＮＡＬ単位と、２つのスライスＮＡＬ単位とを含む。更に、ＨＥＶＣＦＦは、ＩＳＯＭＢＦＦで表されるサブサンプルの概念をサポートし得ることに留意されたい。サブサンプルは、サンプル内の１つ又は複数の連続的なＮＡＬ単位として、かつ、ＲｅｆＰｉｃＦｌａｇ及びＶｃｌＮａｌＵｎｉｔＦｌａｇというフィールドの同じ値を有するものとして、定義される。図２に示される例示的なアクセス単位１５０では、２つのスライスＮＡＬ単位がサブサンプルを形成し得る。ＨＥＶＣストリームのために使用され得るサブサンプル情報ボックスの例は、ＩＳＯ／ＩＥＣ １４４９６−１２のセクション８．７．７に記載されている。サブサンプルは、複数のＮＡＬ単位と、先行するＮＡＬ単位長さフィールドとを含み得る。サブサンプルが使用される場合、サブサンプル情報ボックスの存在は任意選択であり得る。しかしながら、ＨＥＶＣＦＦによれば、サブサンプル情報ボックスがＨＥＶＣデータを含むトラック中に存在する場合、ｓｕｂｓａｍｐｌｅ＿ｐｒｉｏｒｉｔｙフィールドは、ＩＳＯ／ＩＥＣ １４４９６−１２におけるこのフィールドの仕様に従った値に設定されることが要求され得る。更に、廃棄可能フィールドは、このサンプルが依然として復号されることが可能であり、このサブサンプルが廃棄される（例えば、サブサンプルがＳＥＩ ＮＡＬ単位からなる）場合にのみ、１に設定されることが要求され得る。予備フィールドは、次の例示的なシンタックスに従ってＨＥＶＣＦＦにおいて定義される。

[0075]上記の例示的なシンタックスでは、次のようにセマンティクスが定義され得る。０に等しいＲｅｆＰｉｃＦｌａｇは、サブサンプル中の全てのＮＡＬ単位が０に等しいｎａｌ＿ｒｅｆ＿ｆｌａｇを有することを示し得る。１に等しいＲｅｆＰｉｃＦｌａｇは、サブサンプル中の全てのＮＡＬ単位が１に等しいｎａｌ＿ｒｅｆ＿ｆｌａｇを有することを示し得る。

０に等しいＶｃｌＮａｌＵｎｉｔＦｌａｇは、サブサンプル中の全てのＮＡＬ単位が０に非ＶＣＬ ＮＡＬ単位であることを示し得る。値１は、サブサンプル中の全てのＮＡＬ単位がＶＣＬ ＮＡＬ単位であることを示し得る。

[0076]再び図１を参照すると、ＨＥＶＣメディアファイル１４２は、全てのタイミング情報がビデオデータストリーム１４６Ａ〜１４６Ｎの外部にあるようにフォーマットされ得る。しかしながら、幾つかの例では、ＨＥＶＣファイル１４２は、ビデオデータストリーム１４６Ａ〜１４６Ｎにおける表示又は合成のタイムスタンプを定義する、ピクチャタイミングＳＥＩメッセージを含んでよく、それは、ピクチャタイミングＳＥＩメッセージがタイミング以外の情報を含むことがあり、適合性の確認のために必要とされ得るからである。ＨＥＶＣメディアファイル１４２は、サンプルメタデータテーブル１４８Ａ〜１４８Ｎに全てのタイミング情報を記憶することができる。メタデータテーブル１４８Ａ〜１４８Ｎに記憶されたタイミング情報は、ビデオデータストリーム１４６Ａ〜１４６Ｎにおいて提供される任意のタイミングを上書きすることができる。更に、ＨＥＶＣメディアファイル１４２は、ストリーム内で提供されるタイミング情報がデコーダによって無視されるように構成されてよく、それは、そのタイミング情報が、ＨＥＶＣメディアファイル１４２中の別の箇所で提供されるタイミング情報と矛盾することがあり、更に幾つかの場合には、ストリーム内で提供されるタイミング情報が正しくない、又は一貫性がないことがあるからである。圧縮後の編集、合成、又はファイルフォーマットレベルにおけるストリームの再タイミングが、ストリーム内に存在する任意の埋め込まれたタイミング情報を無効にし得る、又は一貫性のないものにし得るという事実により、タイミング情報の制約が課され得るということに留意されたい。

[0077]幾つかの例では、ＨＥＶＣメディアファイル１４２は、アクセス単位１５０Ａ〜１５０Ｎが復号の順序で記憶されるように構成され得る。従って、ピクチャの並べ替えが使用されず、復号時間（ＤＴＳ）及び合成時間（ＣＴＳ）が同じである場合、表示は復号の順序と同じであり、時間対サンプルの「ｓｔｔｓ」テーブルのみが使用される必要がある。Ｂピクチャだけではなく、任意の種類のピクチャがＨＥＶＣビデオにおいて並べ替えられ得ることに留意されたい。復号時間及び合成時間が異なる場合、合成時間対サンプルの「ｃｔｔｓ」テーブルも、「ｓｔｔｓ」テーブルとともに使用され得る。幾つかの例では、アクセス単位は、アクセス単位に含まれるコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることをアクセス単位中のＶＣＬ ＮＡＬ単位が示す場合、同期サンプルであると見なされ得る。

[0078]幾つかの場合には、ＨＥＶＣメディアファイル１４２は、ビデオデータストリーム１４６Ａ〜１４６Ｎが開始コードを含むことが要求されないように、構成され得る。しかしながら、開始コードを使用してＨＥＶＣメディアファイル１４２のためのストリームを配信することを望むシステムは、開始コードを挿入するようにビデオストリーム１４６Ａ〜１４６Ｎを再フォーマットすることによって、そのようにすることができる。更に、ビデオデータは当然、ＨＥＶＣメディアファイル１４２において可変ビットレートとして表されてよく、必要であれば送信のために穴埋めされ得る。従って、ＨＥＶＣメディアファイル１４２は、ビデオデータストリーム１４６Ａ〜１４６ＮがフィラーデータＮＡＬ単位とフィラーデータＳＥＩメッセージとを含むことを要求されないように、構成され得る。ＨＥＶＣメディアファイル１４２が、フィラーデータＮＡＬ単位、開始コード、０バイトのシンタックス要素、及び／又はフィラーデータＳＥＩメッセージを含まない場合、ＨＥＶＣメディアファイル１４２のビットストリーム特性は、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣ、Ａｎｎｅｘ Ｃにおいて規定されるようなＣｏｎｓｔｎｔ Ｂｉｔ−Ｒａｔｅ（ＣＢＲ）モードで仮想参照デコーダ（ＨＲＤ）を動作させるときに、ＨＲＤとの適合性に関して変化し得る。

[0079]ＨＥＶＣＦＦと同様に、ＡＶＣＦＦは、規範的な参照としてＩＳＯ／ＩＥＣ １４４９６−１：２００１も含み、ＡＶＣＦＦは、ＨＥＶＣのワーキングドラフトとしてシステムインターフェース（ハイレベルシンタックスとも呼ばれる）の同様の設計を含む。従って、ＨＥＶＣメディアファイル１４２の幾つかの部分は、ＡＶＣファイルと同様の方式でフォーマットされ得る。しかしながら、ＡＶＣＦＦの幾つかの態様は、ＨＥＶＣコード化ビデオコンテンツの最適なフォーマットを実現しないことがある。

[0080]ＡＶＣＦＦの一態様は、パラメータセットがサンプル記述に含まれ得るか、別々のパラメータセットトラックに含まれ得るかのいずれかであるので、トラックの数又はサンプル記述の数が不必要に増加することがあるというものであり、トラックとサンプル記述の各々がビデオトラック中のビデオストリーム全体のサブセットに対応する。現在のＨＥＶＣＦＦは別々のパラメータセットトラックを許容しないことに留意されたい。

[0081]ＡＶＣＦＦの別の態様は、異なるタイプのパラメータセットが、サンプル記述に含まれるか別々のパラメータセットトラックに含まれるかにかかわらず、一緒にまとめられるというものである。従って、別々のパラメータトラックを使用しないＡＶＣファイルでは、サンプル記述に何らかのタイプのパラメータを含めつつ、他のタイプのパラメータを除外することが不可能である。従って、この場合、ＳＰＳとＰＰＳの両方がサンプル記述に記憶されるが、ＰＰＳはより頻繁に変化し得る。このように、ＰＰＳはＳＰＳと独立に送信されることが可能ではない。

[0082]ＡＶＣＦＦの別の態様は、サンプル記述がＳＰＳのためのアレイとＰＰＳのための別のアレイとを含むというものである。ＡＶＣＦＦでは、これらのアレイは、宣言型ＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位を含むことも許容される。従って、ファイルパーサは、ＮＡＬ単位がパラメータセットＮＡＬ単位かＳＥＩ ＮＡＬ単位かを判定するために、ＳＰＳアレイ又はＰＰＳアレイに含まれる各ＮＡＬ単位のＮＡＬ単位ヘッダを確認しなければならないであろう。

[0083]ＡＶＣファイルフォーマットの別の態様は、トラック又はストリームの選択の目的で（例えば、ファイルベースの適応ストリーミングの用途で）重要である空間解像度及びフレームレートのようなストリーム特性がサンプル記述に記憶されることが許容されず、従って、ＡＶＣＦＦ設計ではストリーム特性が便利に入手可能ではないというものである。

[0084]ＡＶＣファイルフォーマットの別の態様は、ストリームの特定の時間的サブセットの選択に重要である、プロファイル、レベル、及びフレームレートのような時間スケーラビリティ特性が、各々の時間レイヤ表現を欠いているというものである。

[0085]図３は、本開示で説明される技法を利用し得る例示的なビデオ符号化及び送信システムを示すブロック図である。１つの例示的なシステム１０は、ビデオストリームのアクセス単位内にＰＰＳをカプセル化するように構成されてよく、サンプル記述は、ビデオストリームの１つ又は複数のアクセス単位内に記憶されたＰＰＳの数を特定するインジケータを含む。図３に示されるように、システム１０は、宛先機器１４によって後で復号されるべき符号化ビデオデータを生成する発信源機器１２を含む。発信源機器１２及び宛先機器１４は、図１に関して説明されたＨＥＶＣメディアファイル１４２が発信源機器１２において生成され宛先機器１４に送信され得るように、構成され得る。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲にわたる機器のいずれかを備え得る。幾つかの場合には、発信源機器１２及び宛先機器１４は、ワイヤレス通信に対応し得る。

[0086]図３の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、カプセル化ユニット２１と、出力インターフェース２２とを含む。ビデオ発信源１８は、例えばビデオカメラなどの撮像装置、以前に撮影されたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、及び／又は発信源ビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどの発信源、又はそのような発信源の組合せを含み得る。撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータにより生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。ビデオエンコーダ２０は、ＨＥＶＣなどのビデオ圧縮規格に従って動作することができ、ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＨＭ）に準拠し得る。更に、ビデオエンコーダ２０は、本明細書で説明される他のビデオ規格に従って動作し得る。

[0087]ＨＥＶＣに従うビデオ符号化の場合、ビデオフレームは符号化単位に区分され得る。符号化単位（ＣＵ）は一般に、ビデオ圧縮のために様々な符号化ツールが適用される基本単位として機能する画像領域を指す。ＣＵは通常、Ｙとして示されるルミナンス成分と、Ｕ及びＶとして示される２つのクロマ成分とを有する。ビデオサンプリングフォーマットに応じて、Ｕ成分及びＶ成分のサイズは、サンプル数に関して、Ｙ成分のサイズと同じであるか、又はＹ成分のサイズとは異なっていてもよい。ＣＵは、通常は正方形であり、例えば、ＡＶＣなどの他のビデオ符号化規格の下での所謂マクロブロックと同様であると見なされ得る。本出願では、例示のために、開発中のＨＥＶＣ規格の現在提案されている態様の幾つかに従う符号化が説明される。しかしながら、本開示で説明される技法は、ＡＶＣ又は他の規格に従って定義されるビデオ符号化プロセス、若しくはプロプライエタリビデオ符号化プロセスのような、他のビデオ符号化プロセスに有用であり得る。ＨＥＶＣの規格化の取り組みは、ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＨＭ）と呼ばれるビデオ符号化機器のモデルに基づく。ＨＭは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣによる機器に勝るビデオ符号化機器の幾つかの能力を仮定する。例えば、ＡＶＣは９つのイントラ予測符号化モードを提供するが、ＨＭは３４個ものイントラ予測符号化モードを提供する。

[0088]ビデオシーケンスは通常、一連のビデオフレーム又はピクチャを含む。ピクチャグループ（ＧＯＰ）は一般に、ビデオピクチャのうちの一連の１つ又は複数を備える。ＧＯＰは、ＧＯＰ中に含まれる幾つかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つ又は複数のヘッダ中、又は他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は通常、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内の符号化ノードに対応する１つ又は複数のＴＵ又はＰＵを含み得る。ビデオブロックは、サイズが固定されていても変化してもよく、指定された符号化規格に応じてサイズが異なることがある。

[0089]ＨＭによれば、ＣＵは、１つ又は複数の予測ユニット（ＰＵ）及び／又は１つ又は複数の変換単位（ＴＵ）を含み得る。ビットストリーム内のシンタックスデータは、画素の数に関して最大のＣＵである最大符号化単位（ＬＣＵ）を定義することができる。全般に、ＣＵは、ＣＵがサイズの差異を有していないことを除いて、Ｈ．２６４のマクロブロックと同様の目的を有する。従って、ＣＵはサブＣＵに分割され得る。全般に、本開示におけるＣＵへの言及は、ピクチャの最大符号化単位又はＬＣＵのサブＣＵを指し得る。ＬＣＵはサブＣＵに分割されてよく、各サブＣＵは更にサブＣＵに分割されてよい。ビットストリームのシンタックスデータは、ＣＵ深度と呼ばれる、ＬＣＵが分割され得る最大回数を定義し得る。それに応じて、ビットストリームは最小符号化単位（ＳＣＵ）も定義し得る。本開示ではまた、ＣＵ、ＰＵ、又はＴＵのいずれかを指すために「ブロック」又は「部分」という用語を使用する。全般に、「部分」は、ビデオフレームの任意のサブセットを指し得る。

[0090]ＬＣＵは４分木データ構造と関連付けられ得る。全般に、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはＬＣＵに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。例えば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義されてよく、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵが更に分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的な分割が存在しなくても、リーフＣＵの４つのサブＣＵはリーフＣＵとも呼ばれる。例えば、１６×１６サイズのＣＵが更に分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵはリーフＣＵとも呼ばれる。

[0091]その上、リーフＣＵのＴＵもそれぞれの４分木データ構造と関連付けられ得る。即ち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。本開示では、ＬＣＵがどのように区分されるかを示す４分木をＣＵ４分木と呼び、リーフＣＵがどのようにＴＵに区分されるかを示す４分木をＴＵ４分木と呼ぶ。ＴＵ４分木のルートノードは全般にリーフＣＵに対応し、ＣＵ４分木のルートノードは全般にＬＣＵに対応する。分割されないＴＵ４分木のＴＵはリーフＴＵと呼ばれる。

[0092]リーフＣＵは、１つ又は複数の予測ユニット（ＰＵ）を含み得る。全般に、ＰＵは、対応するＣＵの全部又は一部を表し、そのＰＵ用の参照サンプルを取り出すためのデータを含み得る。例えば、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵの動きベクトルを定義するデータを含み得る。動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（例えば、１／４画素精度又は１／８画素精度）、動きベクトルが指す参照フレーム、及び／又は動きベクトルの参照リスト（例えば、リスト０又はリスト１）を記述し得る。ＰＵを定義するリーフＣＵのデータはまた、例えば、ＣＵを１つ又は複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが符号化されないか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかに応じて異なり得る。イントラ符号化の場合、ＰＵは、以下で説明されるリーフ変換単位と同じように扱われ得る。

[0093]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、又はＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、又は「Ｒｉｇｈｔ」という表示によって示される。従って、例えば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ ＰＵと下部の２Ｎ×１．５Ｎ ＰＵとで水平方向に区分された２Ｎ×２Ｎ ＣＵを指す。

[0094]本開示では、「Ｎ×Ｎ（NxN）」及び「Ｎ×Ｎ（N by N）」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、１６×１６（16x16）画素又は１６×１６（16 by 16）画素を指すために互換的に使用され得る。一般に、１６×１６ブロックは、垂直方向に１６画素を有し（ｙ＝１６）、水平方向に１６画素を有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、但し、Ｎは非負の整数値を表す。ブロック中の画素は行と列で構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数の画素を有する必要があるとは限らない。例えば、ブロックはＮ×Ｍ画素を備えてよく、但し、Ｍは必ずしもＮに等しいとは限らない。

[0095]ブロック（例えば、ビデオデータの予測単位）を符号化するために、ブロックの予測子が最初に導出される。予測ブロックとも呼ばれる予測子は、イントラ（Ｉ）予測（即ち、空間的予測）又はインター（Ｐ又はＢ）予測（即ち時間的予測）のいずれかを通じて導出され得る。従って、幾つかの予測単位は、同じフレーム（又はスライス）中の隣接参照ブロック中の参照サンプルに対する空間的予測を使用してイントラ符号化（Ｉ）されてよく、他の予測単位は、前に符号化された他のフレーム（又はスライス）中の参照サンプルのブロックに対して単方向にインター符号化（Ｐ）されるか又は双方向にインター符号化（Ｂ）されてよい。各々の場合において、参照サンプルは、符号化されるべきブロックの予測ブロックを形成するために使用され得る。

[0096]予測ブロックの識別時に、元のビデオデータブロックとその予測ブロックとの間の差分が決定される。この差分は残差データと呼ばれることがあり、符号化されるべきブロック中の画素値と、コード化ブロックを表すように選択された予測ブロック中の画素値との間の画素差分を示す。より良好な圧縮を実現するために、予測残差データは、例えば、離散コサイン変換（ＤＣＴ）、整数変換、カルーネン−レーベ（Ｋ−Ｌ）変換、又は別の変換を使用して変換され得る。

[0097]ＴＵなどの変換ブロック中の残差データは、空間的画素領域に存在する画素差分値の２次元（２Ｄ）アレイで構成され得る。変換は、周波数領域などの変換領域において残差画素値を変換係数の２次元アレイに変換する。更なる圧縮のために、変換係数は、エントロピー符号化の前に量子化され得る。次いで、エントロピーコーダは、量子化変換係数に、コンテキスト適応型可変長符号化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）、確率間隔区分エントロピー符号化（ＰＩＰＥ）などのエントロピー符号化を適用する。

[0098]量子化変換係数のブロックをエントロピー符号化するために、ブロック中の量子化変換係数の２次元（２Ｄ）アレイが、特定の走査順序に従って変換係数の順序付き１次元（１Ｄ）アレイ、即ちベクトルに再構成されるように、走査プロセスが通常実行される。次いで、変換係数のベクトルにエントロピー符号化が適用される。変換単位中の量子化変換係数の走査は、エントロピーコーダのために変換係数の２Ｄアレイをシリアル化する。有意な（即ち、０ではない）係数の位置を示すための有意性マップが生成され得る。走査は、有意な（即ち、０ではない）係数のレベルを走査するために、及び／又は有意な係数の符号を符号化するために適用され得る。

[0099]ＨＥＶＣでは、有意な変換の位置情報（例えば、有意性マップ）は、走査順序内の最後の０ではない係数の位置を示すために、ＴＵについて最初に符号化される。有意性マップ及びレベル情報（係数の絶対値と符号）は、逆方向走査順序で係数ごとに符号化される。

[0100]変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２０は、変換係数の量子化を実行することができる。量子化は、一般に、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化されて、更なる圧縮を提供するプロセスを指す。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減することができる。例えば、ｎビットの値は、量子化の間にｍビットの値に丸められてよく、ｎはｍより大きい。幾つかの例では、ビデオエンコーダ２０は、事前に定義された走査順序を利用して量子化変換係数を走査し、エントロピー符号化され得るシリアル化ベクトルを生成することができる。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。

[0101]図４は、本開示で説明される技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラ符号化とインター符号化とを実行し得る。イントラ符号化は、空間的予測を利用して、所与のビデオフレーム又はピクチャ内のビデオの空間的冗長性を低減又は除去する。インター符号化は、時間的予測を利用して、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間的冗長性を低減又は除去する。イントラモード（Ｉモード）は、幾つかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測（Ｐモード）又は双方向予測（Ｂモード）などのインターモードは、幾つかの時間ベースの圧縮モードのいずれかを指し得る。

[0102]図４の例では、ビデオエンコーダ２０は、区分モジュール３５と、予測モジュール４１と、参照ピクチャメモリ６４と、加算器５０と、変換モジュール５２と、量子化モジュール５４と、エントロピー符号化モジュール５６とを含む。予測モジュール４１は、動き推定モジュール４２と、動き補償モジュール４４と、イントラ予測モジュール４６とを含む。予測モジュール４１は、区分モジュール３５も含み得る。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化モジュール５８と、逆変換モジュール６０と、加算器６２とを含む。ブロック境界をフィルタリングして、再構成されたビデオからブロック歪み(blockiness artifacts)を除去するために、デブロッキングフィルタ（図４に図示せず）も含まれ得る。必要な場合、デブロッキングフィルタは、通常、加算器６２の出力をフィルタリングする。デブロッキングフィルタに加えて、（ループ内又はループ後の）追加のループフィルタも使用され得る。

[0103]図４に示されるように、ビデオエンコーダ２０はビデオデータを受信し、区分モジュール３５はデータをビデオブロックに区分することができる。この区分は、スライス、タイル、又は他のより大きな単位へのビデオデータの区分、及び、例えば、ＰＵ’並びにＴＵ’を生成するためのＬＣＵ及びＣＵの残差４分木構造に従ったビデオブロックの区分を含み得る。区分モジュール３５は、ＬＣＵのようなビデオデータのブロックを、ＣＵ、ＰＵ、及びＴＵのようなサブブロックに区分することができる。例えば、区分モジュール３５は、以前の符号化パスにおける以前の区分方式の評価に基づいて、ビデオデータのブロックを区分することができる。例えば、区分モジュール３５は最初に、フレーム又はスライスをＬＣＵに区分し、区分モジュール４１とともに、レート歪み分析（例えば、レート歪み最適化）に基づいてＬＣＵの各々をサブＣＵに区分することができる。従って、区分モジュール３５は図４では例示の目的で別々のブロックとして示されているが、特に、予測モジュール４１によって実行されるレート歪み分析が、ＣＵと、サブＣＵと、ＰＵと、ＴＵとを生成するためにＬＣＵに適用される区分の態様を決定するために少なくとも一部使用され得る場合、区分モジュール３５によって実行される区分機能は、予測モジュール４１のモード選択及び予測機能と統合され得る。一般に、区分モジュール３５とともに、予測モジュール４１は、サブＣＵへのＬＣＵの区分を示す４分木データ構造を生成することができる。４分木のリーフノードＣＵは、１つ又は複数のＰＵと１つ又は複数のＴＵとを含み得る。

[0104]区分モジュール３５によって表されるような予測モジュール４１は、本開示で説明されるように、他のビデオコンポーネントとは独立に、複数のビデオコンポーネントの１つのための区分方式を定義するための様々な技法を提供することができる。別の態様では、予測モジュール４１は、ビデオブロックの１つ又は複数の特性に基づいて、他のビデオコンポーネントとは独立に、ビデオブロックの複数のビデオコンポーネントの少なくとも１つのための区分方式を定義するかどうかを判定することができる。幾つかの例では、特性は、ブロックサイズ、ピクチャタイプ、ブロック区分、又は動き情報の少なくとも１つを含み得る。

[0105]ビデオエンコーダ２０は、一般に、符号化されるべきビデオスライス内のビデオブロックを符号化するコンポーネントを示す。スライスは、複数のビデオブロックに（及び、場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測モジュール４１は、誤り結果（例えば、符号化レート及び歪みレベル）に基づいて、現在のビデオブロックのために、複数のイントラ符号化モードのうちの１つ、又は複数のインター符号化モードのうちの１つのような、複数の可能な符号化モードのうちの１つを選択し得る。予測モジュール４１は、得られたイントラコード化ブロック又はインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器６２に与え得る。

[0106]予測モジュール４１内のイントラ予測モジュール４６は、空間圧縮を行うために、符号化されるべき現在のブロックと同じフレーム又はスライス中の１つ又は複数の隣接ブロックに対する現在のビデオブロックのイントラ予測符号化を実行し得る。予測モジュール４１内の動き推定モジュール４２及び動き補償モジュール４４は、１つ又は複数の参照ピクチャ中の１つ又は複数の予測ブロックに対する、現在のビデオブロックのインター予測符号化を実行して、時間圧縮を行うことができる。

[0107]イントラ予測ではなくインター予測が現在のビデオブロックのために選択された場合、動き推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを判定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをＰスライス、Ｂスライス又は一般化されたＰ／Ｂ（ＧＰＢ）スライスとして指定し得る。動き推定モジュール４２及び動き補償モジュール４４は、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定モジュール４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、参照ピクチャ内の予測ブロックに対する現在のビデオフレーム又はピクチャ内のビデオブロックのＰＵの変位を示し得る。

[0108]インター符号化では、予測ブロックは、絶対値差分和（ＳＡＤ）、差分２乗和（ＳＳＤ）、又は他の差分尺度によって決定され得る画素差分に関して、符号化されるべきビデオブロックのＰＵに厳密に一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間し得る。従って、動き推定モジュール４２は、フル画素位置と分数画素位置とに対する動き探索を実行し、分数画素精度で動きベクトルを出力し得る。

[0109]動き推定モジュール４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵの動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）又は第２の参照ピクチャリスト（リスト１）から選択されてよく、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６４に記憶された１つ又は複数の参照ピクチャを識別する。動き推定モジュール４２は、計算された動きベクトルを、例えば他のシンタックス要素とともに、エントロピー符号化モジュール５６と動き補償モジュール４４とに送る。

[0110]動き補償モジュール４４によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成すること、場合によってはサブ画素精度への補間を実行することを伴い得る。現在のビデオブロックのＰＵの動きベクトルを受信すると、動き補償モジュール４４は、参照ピクチャリストのうちの１つにおいて動きベクトルが指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって残差ビデオブロックを形成する。画素差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実行する１つ又は複数のコンポーネントを表す。動き補償モジュール４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロック及びビデオスライスと関連付けられるシンタックス要素を生成することができる。

[0111]イントラ予測モジュール４６は、上で説明されたように、動き推定モジュール４２及び動き補償モジュール４４によって実行されるインター予測の代替として、現在のブロックをイントラ予測することができる。具体的には、イントラ予測モジュール４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定することができる。幾つかの例では、イントラ予測モジュール４６は、例えば、別々の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し予測ブロックを生成することができ、イントラ予測モジュール４６（又は、幾つかの例では、モード選択モジュール４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択することができる。例えば、イントラ予測モジュール４６は、様々なテストされたイントラ予測モードのためのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、一般に、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量、及び符号化ブロックを生成するために使用されるビットレート（即ち、ビット数）を決定する。イントラ予測モジュール４６は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを判定するために、様々な符号化ブロックの歪み及びレートから比率を計算し得る。

[0112]いずれの場合も、あるブロックについてのイントラ予測モードを選択した後、イントラ予測モジュール４６は、ブロックについて選択されたイントラ予測モードを示す情報をエントロピー符号化モジュール５６に提供することができる。例えば、イントラ予測モジュール４６は、１つ又は複数のシンタックス要素のような信号伝達を提供して、選択されたイントラモードを示すことができる。エントロピー符号化モジュール５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブル及び複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、及び変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含み得る。

[0113]予測モジュール４１が現在のビデオブロックの予測ブロックを生成した後、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つ又は複数のＴＵ中に含まれ、変換モジュール５２に適用され得る。変換モジュール５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換モジュール５２は、残差ビデオデータを画素領域から周波数領域などの変換領域に変換し得る。

[0114]変換モジュール５２は、得られた変換係数を量子化モジュール５４に送り得る。量子化モジュール５４は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全てと関連付けられるビット深度を低減することができる。量子化の程度は、量子化パラメータを調整することによって修正され得る。幾つかの例では、量子化モジュール５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化モジュール５６が走査を実行し得る。

[0115]量子化の後に、エントロピー符号化モジュール５６は、量子化変換係数をエントロピー符号化する。例えば、エントロピー符号化モジュール５６は、コンテキスト適応型可変長符号化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術符号化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）符号化、あるいは別のエントロピー符号化方法又は技法を実行し得る。エントロピー符号化モジュール５６によるエントロピー符号化の後に、符号化ビットストリームは、ビデオデコーダ３０に送信されるか、あるいはビデオデコーダ３０による後の送信又は取り出しのためにアーカイブされ得る。エントロピー符号化モジュール５６はまた、符号化されている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。

[0116]逆量子化モジュール５８及び逆変換モジュール６０は、それぞれ逆量子化及び逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために画素領域において残差ブロックを再構成する。動き補償モジュール４４は、残差ブロックを参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つの予測ブロックに加算することによって、参照ブロックを計算し得る。動き補償モジュール４４はまた、再構成された残差ブロックに１つ又は複数の補間フィルタを適用して、動き推定において使用するサブ整数画素値を計算し得る。加算器６２は、再構成された残差ブロックを動き補償モジュール４４によって生成された動き補償された予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレーム又はピクチャ中のブロックをインター予測するために、動き推定モジュール４２及び動き補償モジュール４４よって参照ブロックとして使用され得る。

[0117]図４のビデオエンコーダ２０は、ＨＥＶＣコード化ビデオコンテンツを出力するように構成されるビデオエンコーダの例を表し、ＨＥＶＣコード化ビデオコンテンツは、ビデオコンテンツ、パラメータセット、及びＳＥＩメッセージのコード化サンプルを含み得る。上で説明されたように、図１に示されるＨＥＶＣメディアファイル１４２に関して、ＨＥＶＣビデオ符号化規格とともに使用されるパラメータセットのタイプは、ＳＰＳと、ＰＰＳと、ＡＰＳとを含む。各パラメータセットは識別子を有し、上で説明されたように、ＨＥＶＣ規格に従って符号化された各スライスは、パラメータセットの識別子を使用して、各スライスが符号化された対象のパラメータセットを参照することができる。

[0118]再び図３を参照すると、カプセル化モジュール２１は、本明細書で説明される技法に従って、ビデオエンコーダ２０から符号化ビデオコンテンツを受信し、ビデオファイルを生成することができる。一例では、カプセル化モジュール２１は、ＨＥＶＣコード化ビデオコンテンツを受信し、ＩＳＯＢＭＦＦ及びＨＥＶＣＦＦの現在のバージョンに基づくファイルフォーマットを使用してビデオファイルを生成することができる。

[0119]図５は、例示的なカプセル化モジュール２１のコンポーネントを示すブロック図である。図５の例では、カプセル化モジュール２１は、ビデオ入力インターフェース７０と、ビデオファイル作成モジュール７２と、ビデオファイル出力インターフェース７６とを含む。ビデオファイル作成モジュール７０は、この例では、ネットワーク抽象化レイヤ（ＮＡＬ）ユニットコンストラクタ７４を含む。

[0120]ビデオ入力インターフェース７０は、コード化ビデオコンテンツを受信することができる。ビデオ入力インターフェース７０は、ビデオエンコーダ２０からコード化ビデオコンテンツを受信することができ、又は、記憶装置から符号化ビデオコンテンツを取り出すことができる。コード化ビデオコンテンツは、ＨＥＶＣ規格に従って符号化されてよく、ビデオコンテンツと、パラメータセットと、ＳＥＩメッセージとのサンプルを含み得る。符号化ビデオコンテンツを受信すると、ビデオ入力インターフェース７０は、ビデオファイルへの組立のために、コード化ビデオコンテンツをビデオファイル作成モジュール７２に出力することができる。幾つかの例では、ビデオ入力インターフェース７０は、コード化ビデオコンテンツがビデオファイル作成モジュール７２に出力される前に、コード化ビデオコンテンツを編成又はバッファリンすることによって、ビデオファイルの組立を支援することができる。

[0121]一般に、ビデオファイル作成モジュール７２は、受信されたコード化ビデオコンテンツを含むビデオファイルを生成することができる。一例では、ビデオファイル作成モジュール７２は、図１に関して説明されたＨＥＶＣメディアファイル１４２のようなビデオファイルを作成することができる。ビデオファイル作成モジュール７２は、それに起因する機能及び手順を実行するように構成されたハードウェア、ソフトウェア、及び／又はファームウェアを含む制御ユニットに対応し得る。制御ユニットは、一般に、カプセル化モジュール２１に起因する機能を更に実行し得る。ビデオファイル作成モジュール７２がソフトウェア及び／又はファームウェアで具現化される例では、カプセル化モジュール２１は、ビデオファイル作成モジュール７２のための命令を備えるコンピュータ可読媒体と、命令を実行するための処理ユニットとを含み得る。ビデオファイル作成モジュール７２のサブモジュール（この例ではＮＡＬ単位コンストラクタ７４）は、個々のハードウェアモジュール及び／又はソフトウェアモジュールとして実装されてよく、機能的に統合されてよく、又は追加のサブモジュールへと更に分割されてよい。ビデオファイル作成モジュール７２は、例えば、１つ又は複数のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、又はそれらの任意の組合せのような、任意の好適な処理ユニット又は処理回路に対応し得る。ビデオファイル作成ユニット７２は更に、ＮＡＬ単位コンストラクタ７４のための命令を記憶する非一時的コンピュータ可読媒体、ならびに、命令を実行するためのプロセッサを含み得る。

[0122]一例では、ビデオファイル作成モジュール７２は、ファイルフォーマットに従って符号化ビデオデータを出力するように構成されてよく、ここで、パラメータセットは、サンプル記述に含まれるか、サンプル記述が適用されるストリームのサンプル又はアクセス単位に含まれるかのいずれかであり得る。一例では、あるタイプのパラメータセットがサンプル記述に含まれる場合、そのタイプのパラメータセットはサンプル自体の中には含まれないことがある。即ち、この特定の例では、特定のサンプル記述が適用されるビデオストリームに対して、特定のタイプのパラメータセットは、存在する場合、サンプル記述とサンプルのいずれかに記憶され得るが、両方に記憶されることはない。代替的な例では、あるタイプのパラメータセットは、サンプル記述と、サンプル記述が適用されるストリームのサンプルとの両方に含まれ得る。パラメータセットがサンプル記述とサンプル自体のいずれかに含まれることが許容される場合、サンプル記述に含まれるパラメータセットに加えてサンプルに含まれるパラメータセットがあるかどうかを示すための指示が、サンプル記述に含まれ得る。別の例では、ビデオファイル作成モジュール７２は、ファイルフォーマットに従って符号化ビデオデータを出力するように構成されてよく、ここで、１つ以上の特定のタイプのパラメータセットが、サンプル記述と、サンプル記述が適用されるストリームのサンプルとの両方に含まれ得る。例えば、幾つかの例では、ＰＰＳがサンプル記述とサンプルの両方に含まれることをファイルフォーマットが許容し得るが、ＳＰＳはサンプル記述にのみ含まれることが許容され得る。更に、この例では、ＡＰＳは、記憶されたサンプルであることのみが許容され得る。加えて、サンプル記述に含まれるパラメータセットに加えて、サンプルに含まれる特定のタイプのパラメータセットがあり得るかどうかを示すための指示が、サンプル記述に含まれ得る。

[0123]更に、ビデオファイル作成モジュール７２は、ＨＥＶＣビデオストリームデコーダ特有情報を含む各ＨＥＶＣサンプル記述が特定のタイプのパラメータセットのグループを含み得るように、構成され得る。パラメータセットのグループは、コードブックとよく似たように機能し得る。各パラメータセットは識別子を有してよく、各コード化スライスはパラメータセット識別子を参照してよい。ファイルフォーマットによって定義されるように、パラメータセットの各構成は別々に表され得る。幾つかのファイルフォーマットによれば、パラメータセットは、異なるサンプル記述が使用されることを引き起こすことなく更新されることが不可能である。この場合、パラメータセットの更新を送ることを望むシステムは、適切なパラメータセットの更新を送るために、２つの構成を比較して、差を見出すことが必要であり得る。ＨＥＶＣＦＦは通常、幾つかのパラメータセットが使用されパラメータセットの更新が望まれるとき、パラメータセットがストリームのサンプルに含まれることを推奨する。ＨＥＶＣＦＦに準拠するデコーダは、ＨＥＶＣＦＦに基づく別のファイルフォーマットによって別段に制約されない限り、サンプルに記憶されたパラメータセット、更には、サンプル記述エントリーに記憶されたパラメータセットの両方をサポートすることが要求され得る。

[0124]一例では、ビデオファイル作成モジュール７２は、ファイルフォーマットに従って符号化ビデオデータを出力するように構成されてよく、ここで、異なるタイプのパラメータセットは、それらがサンプル記述に含まれる場合、又は、サンプル記述が適用されるストリームのサンプルに含まれる場合、一緒にまとめられない。この例では、サンプル記述又はサンプルに１つのタイプのパラメータセットを含めることは、他のタイプのパラメータセットがサンプル記述又はサンプルに含まれるかどうかとは無関係であり得る。別の例では、ビデオファイル作成モジュールは、ファイルフォーマットに従って符号化ビデオデータを出力するように構成されてよく、ここで、全てのタイプのパラメータセットのサブセットのみが、それらがサンプル記述に含まれるか、又はサンプル記述が適用されるストリームのサンプルに含まれるかに関して、一緒にまとめられる。例えば、ＳＰＳ及びＰＰＳは一緒にまとめられ得るが、サンプル記述又はサンプルにＡＰＳを含めることは、サンプル記述又はサンプルにＳＰＳとＰＰＳとを含めることとは無関係であり得る。

[0125]一例では、ビデオファイル作成モジュール７２は、ファイルフォーマットに従って符号化ビデオデータを出力するように構成されてよく、ここで、サンプル記述は各タイプのパラメータセットのアレイを含み、特定のタイプのパラメータセットのアレイはその特定のタイプのパラメータセットＮＡＬ単位のみを含み得る。加えて、サンプル記述はまた、宣言型ＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位のアレイを含み得る。従って、この場合、ファイルパーサは、ＮＡＬ単位のタイプを判定するために、アレイに含まれる各ＮＡＬ単位のＮＡＬ単位ヘッダを確認する必要はない。代替的な例では、ビデオファイル作成モジュール７２は、ファイルフォーマットに従って符号化ビデオデータを出力するように構成されてよく、このとき、アレイはサンプル記述に含まれ、アレイは、任意のタイプのパラメータセット、ならびに、宣言型ＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位を含み得る。

[0126]一例では、ビデオファイル作成モジュール７２は、ファイルフォーマットに従って符号化ビデオデータを出力するように構成されてよく、ここで、トラック又はストリームの選択の目的で（例えば、ファイルベースの適応ストリーミング用途で）重要な空間解像度及びフレームレートのようなストリーム特性がサンプル記述に含まれる。更に、別の例では、ビデオファイル作成モジュール７２は、ファイルフォーマットに従って符号化ビデオデータを出力するように構成されてよく、ここで、サンプル記述はビット深度（即ち、ビデオエンコーダ２０から出力されたピクチャの、異なる色成分に対しては同一である可能性も異なる可能性もある、ビット深度）を含む。トラック又はストリームの選択の目的で重要なストリーム特性をサンプル記述に含めることで、これらのストリーム特性の便利な入手が可能になり得る。別の例では、ビデオファイル作成モジュール７２は、ファイルフォーマットに従って符号化ビデオデータを出力するように構成されてよく、ここで、サンプル記述は、ストリーム全体にわたって他のタイルから独立に復号可能な（ＨＥＶＣにおいて定義されるような）タイルのセットについての情報、例えば、タイルのセットにより覆われる幾何学的領域を含む。

[0127]一例では、ビデオファイル作成モジュール７２は、ファイルフォーマットに従って符号化ビデオデータを出力するように構成されてよく、ここで、ストリームの特定の時間的サブセットの選択に重要である、プロファイル、レベル、及びフレームレートのような時間スケーラビリティ特性が、時間スケーラビリティサンプルグルーピング機構を通じて、各時間レイヤ表現のために含まれる。

[0128]一例では、ビデオファイル作成モジュール７２は、どれだけの時間レイヤがビデオストリームに含まれるかとは無関係に、１つのトラックにビデオストリーム全体を記憶するように構成され得る。代替的な例では、ビデオストリーム全体が２つ以上のトラックに記憶されてよく、各トラックは連続的な時間レイヤのサブセットを含む。ビデオストリーム全体が２つ以上のトラックに記憶される場合、０より大きくｔＩｄとして示されるｔｅｍｐｏｒａｌ＿ｉｄを最も下にある含まれる時間レイヤが有する各トラックを示すための、かつ、ｔＩｄ−１に等しいｔｅｍｐｏｒａｌ＿ｉｄを伴うレイヤを含むトラックを示すための指示が、ファイル中に存在し得る。これらのトラックは、トラックＡ及びトラックＢとそれぞれ示され得る。そのような指示は、トラックＡに含まれるタイプ「ｔｓｃｌ」のトラック参照であってよく、このトラック参照は、トラックＡが従属するトラックＢを参照する。トラックＡのストリーム特性は、トラックＡと、ｔＩＤ未満のｔｅｍｐｏｒａｌ＿ｉｄ値を伴う時間レイヤを集合的に含む全てのトラックとからなることを、これらの全ての時間レイヤがトラックＡにも含まれるかのように、記述し得る。一例では、ビデオファイル作成モジュール７２は、上で説明された例の任意のかつ全ての組合せを実行するように構成され得る。例えば、ビデオファイル作成モジュール７２は、本明細書で説明されるファイルフォーマットの任意のかつ全ての組合せを含むファイルフォーマットに従って、符号化ビデオデータを出力するように構成され得る。

[0129]ビデオファイル作成モジュール７２は、ファイル内に記憶されたデコーダ情報構成記録にデコーダ構成情報を含み得る。デコーダ情報は、ＨＥＶＣ規格によって定義されてよく、デコーダ構成記録は、ＨＥＶＣＦＦで現在定義されているデコーダ構成記録に基づき得るが、本明細書で説明される例と矛盾しない追加の情報も含み得る。このように、上で説明されたビデオファイル作成モジュール７２の例示的な構成の１つ又は複数は、デコーダ構成情報を定義するファイルフォーマットに従って実装され得る。デコーダ構成情報は、以下で更に説明されるように、デコーダ構成記録に含まれ得る。従って、一例では、上で説明されるようなサンプル記述は、デコーダ構成記録において具現化され得る。パラメータセット及びそのそれぞれの指示のようなメタデータは、デコーダ構成記録又はサンプル記述に含まれるものとして説明されるが、これは限定するものとして解釈されるべきではなく、ビデオファイル作成モジュール７２の例示的な構成に関して上で説明されたメタデータは、ビデオファイル作成モジュール７２によって生成されるファイルの他の部分に記憶されてよく、ビデオファイル作成モジュール７２によって生成されるファイルの他の部分は、ビデオストリームとは別個である。

[0130]一例では、ビデオファイル作成モジュール７２は、アクセス単位の含まれたＮＡＬ単位の長さを示すために各アクセス単位において使用される長さフィールドのサイズを含み得る、デコーダ構成記録を含むファイルを生成し得る。更に、一例では、ビデオファイル作成モジュール７２によって生成されるデコーダ構成記録はまた、例えば、（１）パラメータセットがサンプル記述に記憶されるかアクセス単位内に記憶されるかの指示、（２）サンプル記述とストリームのアクセス単位内のいずれかに記憶されるパラメータセットの数、（３）パラメータセットＮＡＬ単位に関する情報、（４）宣言型ＳＥＩ ＮＡＬ単位に関する情報、及び／又は（５）空間解像度情報のような、パラメータセット及び宣言型ＳＥＩ ＮＡＬ単位に関する情報を含み得る。

[0131]例示的なデコーダ構成記録は、次の例示的なシンタックスに従って、ビデオファイル作成モジュール７２によって生成され得る。以下のシンタックスは、上で説明された他の例示的なビデオファイル作成モジュール７２に従って修正され得ることに留意されたい。

[0132]上記の例示的なシンタックスでは、次のようにセマンティクスが定義され得る。

ＰｒｏｆｉｌｅＩｎｄｉｃａｔｉｏｎは、この構成記録が適用されるストリームに対して、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるようなプロファイルコード（ｐｒｏｆｉｌｅ＿ｉｄｃ）を含み得る。

ｐｒｏｆｉｌｅＣｏｍｐａｔｉｂｉｌｉｔｙは、この構成記録が適用されるストリームに対して、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるような、シーケンスパラメータセット（ＳＰＳ）中のｐｒｏｆｉｌｅ＿ｉｄｃとｌｅｖｅｌ＿ｉｄｃとの間に存在するバイトと厳密に同一であると定義される、バイトであり得る。

ＬｅｖｅｌＩｎｄｉｃａｔｉｏｎは、ＩＳＯ／ＩＥＣ ２３００８−１０において定義されるような、レベルコード（ｌｅｖｅｌ＿ｉｄｃ）を含み得る。

ｃｈｒｏｍａＦｏｒｍａｔは、この構成記録が適用されるストリームに対して、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおけるｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃパラメータによって定義されるような、ｃｈｒｏｍａ＿ｆｏｒｍａｔインジケータを含み得る。

ｂｉｔＤｅｐｔｈＬｕｍａＭｉｎｕｓ８は、この構成記録が適用されるストリームに対して、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおけるｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８パラメータによって定義されるような、ルーマビット深度インジケータを含み得る。

ｂｉｔＤｅｐｔｈＣｈｒｏｍａＭｉｎｕｓ８は、この構成記録が適用されるストリームに対して、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおけるｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８によって定義されるような、クロマビット深度インジケータを含み得る。

ｐｉｃｔｕｒｅＷｉｄｔｈＩｎＬｕｍａＰｉｘｅｌｓは、この構成記録が適用されるストリームに対して、復号ピクチャの幅をルーマ画素の単位で示し得る。

ｐｉｃｔｕｒｅＨｅｉｇｈｔＩｎＬｕｍａＰｉｘｅｌｓは、この構成記録が適用されるストリームに対して、復号ピクチャの高さをルーマ画素の単位で示し得る。

ａｖｇＦｒａｍｅＲａｔｅは、この構成記録が適用されるストリームに対して、平均のフレームレートをフレーム／（２５６秒）の単位で与え得る。値０は、指定されていない平均フレームレートを示し得る。

１に等しいｃｏｎｓｔａｎｔＦｒａｍｅＲａｔｅは、この構成記録が適用されるストリームのフレームレートが一定であることを示し得る。値２は、ストリーム中の各時間レイヤの表現のフレームレートが一定であることを示し得る。値０は、ストリームのフレームレートが一定であることも一定ではないこともあることを示し得る。

１より大きいｎｕｍＴｅｍｐｏｒａｌＬａｙｅｒｓは、この構成記録が適用されるストリームが時間的にスケーラブルであり、含まれるレイヤの数がｎｕｍＴｅｍｐｏｒａｌＬａｙｅｒｓに等しいことを示し得る。値１は、ストリームが時間的にスケーラブルではないことを示し得る。値０は、ストリームが時間的にスケーラブルであるかどうかが知られていないことを示し得る。

ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅプラス１は、この構成記録が適用されるストリーム中のＨＥＶＣビデオサンプルのＮＡＬＵｎｉｔＬｅｎｇｔｈフィールドのバイト単位の長さを示し得る。例えば、１バイトのサイズは、０という値によって示され得る。このフィールドの値は、１、２、又は４バイトによってそれぞれ符号化される長さに対応する、０、１、又は３のうちの１つであり得る。

ｎｕｍＯｆＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔｓは、この構成記録が適用されるストリームを復号するために使用されるＳＰＳの数を示し得る。一例では、値が０より大きい場合、ＳＰＳはストリームのサンプルに含まれるべきではない。一例では、値が０に等しい場合、ストリームのサンプルに少なくとも１つのＳＰＳが含まれるべきである。

ｓｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔＬｅｎｇｔｈは、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるように、ＳＰＳ ＮＡＬ単位のバイト単位の長さを示し得る。

ｓｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔＮＡＬＵｎｉｔは、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて規定されるようなＳＰＳ ＮＡＬ単位を含み得る。

ｎｕｍＯｆＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔｓは、この構成記録が適用されるストリームを復号するために使用される画素パラメータセットの数を示し得る。一例では、値が０より大きい場合、ＰＰＳはストリームのサンプルに含まれるべきではない。一例では、値が０に等しい場合、ストリームのサンプルに少なくとも１つのＰＰＳが含まれるべきである。

ｐｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔＬｅｎｇｔｈは、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるように、ＰＰＳ ＮＡＬ単位のバイト単位の長さを示し得る。

ｐｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔＮＡＬＵｎｉｔは、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて規定されるようなＰＰＳ ＮＡＬ単位を含み得る。

ｎｕｍＯｆＡｄａｐｔａｔｉｏｎＰａｒａｍｅｔｅｒＳｅｔｓは、この構成記録が適用されるストリームを復号するために使用される適応パラメータセット（ＡＰＳ）の数を示し得る。一例では、値が０より大きい場合、ＡＰＳはストリームのサンプルに含まれるべきではない。一例では、値が０に等しい場合、ＡＰＳがストリームのサンプルに含まれることも含まれないこともある。

ａｄａｐｔａｉｏｎＰａｒａｍｅｔｅｒＳｅｔＬｅｎｇｔｈは、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて定義されるように、ＡＰＳ ＮＡＬ単位のバイト単位の長さを示し得る。

ａｄａｐｔａｔｉｏｎＰａｒａｍｅｔｅｒＳｅｔＮａｌＵｎｉｔは、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣにおいて規定されるようなＡＰＳ ＮＡＬ単位を含み得る。

ｎｕｍＯｆＤｅｃｌａｒａｔｉｖｅＳｅｉＮａｌＵｎｉｔｓは、この構成記録が適用されるストリームのための宣言型ＳＥＩ ＮＡＬ単位の数を示し得る。宣言型ＳＥＩ ＮＡＬ単位は、「宣言型」の性質のＳＥＩメッセージ、即ち、ストリーム全体についての情報を与え得るＳＥＩメッセージを含み得る。そのようなＳＥＩの例は、ユーザデータＳＥＩである。

ｄｅｃｌａｒａｔｉｖｅＳｅｉＮａｌＵｎｉｔＬｅｎｇｔｈは、宣言型ＳＥＩ ＮＡＬ単位のバイト単位の長さを示し得る。

ｄｅｃｌａｒａｔｉｖｅＳｅｉＮａｌＵｎｉｔは、宣言型ＳＥＩ ＮＡＬ単位を含み得る。

ｎｕｍＯｆＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔＥｘｔは、ＡＶＣ基本ストリームを復号するために使用されるシーケンスパラメータセット拡張の数を示し得る。

ｓｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔＥｘｔＬｅｎｇｔｈは、ＩＳＯ／ＩＥＣ １４４９６−１０において定義されるような、ＳＰＳ拡張ＮＡＬ単位のバイト単位の長さを示し得る。

ｓｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔＥｘｔＮＡＬＵｎｉｔは、ＩＳＯ／ＩＥＣ １４４９６−１０において規定されるような、ＳＰＳ拡張ＮＡＬ単位を含み得る。

[0133]上で説明された例示的なシンタックス及びセマンティクスに加えて、ビデオ作成モジュール７２により使用されるファイルフォーマットは、デコーダ構成記録に関する追加の制約を含み得る。例えば、幾つかの場合には、ＰｒｏｆｉｌｅＩｎｄｉｃａｔｉｏｎ、ＬｅｖｅｌＩｎｄｉｃａｔｉｏｎ、及びプロファイルの適合性を示すフラグの値が、デコーダ構成記録によって表されるストリームの全てのパラメータセットに対して有効でなければならない。更に、幾つかの場合には、ｌｅｖｅｌ ｉｎｄｉｃａｔｉｏｎは、含まれるパラメータセットにおいて示される最高のレベル以上のレベルの能力を示さなければならず、各々のプロファイル適合性フラグは、全ての含まれるパラメータセットがそのフラグを設定する場合にのみ設定され得る。更に、幾つかの場合には、ｐｒｏｆｉｌｅ ｉｎｄｉｃａｔｉｏｎは、この構成記録と関連付けられるストリームが準拠するプロファイルを示さなければならない。更に、幾つかの場合には、シーケンスパラメータセットが異なるプロファイルによって標識され、関連するプロファイル適合フラグが全て０である場合、ストリームは、ストリーム全体が準拠するプロファイルがある場合にはそれがいずれのプロファイルであるかを判定するために、検査を必要とし得る。更に、ストリーム全体が検査されない場合、又はストリーム全体が準拠するプロファイルがないことが検査で明らかになる場合、ストリーム全体が、これらの規則が満たされ得る別々の構成記録を伴う２つ以上のサブストリームへと、分割されなければならない。

[0134]更に、幾つかの例では、クロマフォーマット及びビット深度、ならびにＨＥＶＣビデオ基本ストリームによって使用される他の重要なフォーマット情報についてのデコーダ構成記録において、明示的な指示が与えられ得る。各タイプのそのような情報は、単一のＨＥＶＣ構成記録中の全てのパラメータセットが、存在する場合には同一であることが要求され得る。更に、幾つかの場合には、２つのシーケンスが任意のタイプのそのような情報において異なる場合、２つの異なるＨＥＶＣ構成記録が必要であり得る。更に、２つのシーケンスが、それらのＶＵＩ情報における色空間の指示において異なる場合、２つの異なる構成記録も要求され得る。

[0135]更に、ビデオファイル作成モジュール７２によって生成されるデコーダ構成記録は、外部でフレーミングされ得る。デコーダ構成記録が外部でフレーミングされる場合、デコーダ構成記録のサイズは、それを含む構造によって与えられ得る。デコーダ構成記録は、バージョンフィールドも含み得る。幾つかの場合には、このデコーダ構成記録に対する互換性のある拡張は、デコーダ構成記録を拡張することができ、構成バージョンコードを変化させない。幾つかの場合には、ファイルリーダは、ファイルリーダが理解するデータの定義を超えた、認識されないデータを無視する準備ができているべきである。

[0136]デコーダ構成記録器を生成することに加えて、ビデオファイル作成モジュール７２は、特定の時間インスタンスについての全てのＮＡＬ単位を含むアクセス単位を組み立てるように更に構成され得る。図５を再び参照すると、ＮＡＬ単位コンストラクタ７４は、符号化ビデオデータを含むＮＡＬ単位を形成することができる。図１で説明されたＨＥＶＣメディアファイル１４２に関して上で説明されたように、ＮＡＬ単位のタイプには、ＡＵデリミターＮＡＬ単位、ＳＥＩ ＮＡＬ単位、及びスライスＮＡＬ単位があり得る。例示的なデコーダ記録シンタックス及びセマンティクスに関して更に説明されるように、ＮＡＬ単位の追加のタイプには、ＳＰＳ ＮＡＬ単位、ＰＰＳ ＮＡＬ単位、ＡＰＳ ＮＡＬ単位、及び宣言型ＳＥＩ ＮＡＬ単位があり得る。

[0137]一例では、ＮＡＬ単位コンストラクタ７４は、次のシンタックスに従って、デコーダ構成記録に基づいてＮＡＬ単位を定義するように構成され得る。

[0138]例示的なシンタックスでは、ＮＡＬＵｎｉｔＬｅｎｇｔｈは、バイト単位でのＮＡＬ単位のサイズを示し得る。長さフィールドは、ＮＡＬヘッダとＲＢＳＰペイロードの両方のサイズを含んでよく、長さフィールド自体を必ずしも含まない。更に、ＮＡＬＵｎｉｔは、単一のＮＡＬ単位を含み得る。ＮＡＬ単位のシンタックスは、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣで定義されてよく、ＮＡＬヘッダと可変長のカプセル化されたバイトストリームペイロードとの両方を含み得る。

[0139]更に、幾つかの例では、ビデオファイル作成モジュール７２は更に、ファイルフォーマットによって定義された制約に従って、ＮＡＬ単位を含むアクセス単位を組み立てるように構成され得る。例えば、ある場合には、コード化ピクチャのために使用されるべきサンプル内にパラメータセットが記憶されることが許容される場合、そのピクチャを含むサンプルよりも前に、又はそのピクチャのサンプルにおいて、パラメータセットが送られなければならない。図１を参照すると、ピクチャがアクセス単位１５０Ｂ内に含まれる場合、この例示的な制約によれば、アクセス単位１５０Ｂとともに使用されるべきパラメータセットについて、パラメータセットは、メタデータボックス１４４、アクセス単位１５０Ａ、又はアクセス単位１５０Ｂに記憶されなければならない。パラメータセットをビデオストリームのサンプル記述に記憶することは、パラメータセットを与えるための簡単かつ不変の方法を提供することに留意されたい。しかしながら、パラメータセットをサンプルに記憶することは、サンプル記述にパラメータセットを記憶することよりも複雑であることがあるが、パラメータセットの更新の場合及び追加のパラメータセットを追加する場合には、更なるダイナミズムを実現する。パラメータセットの更新は、特定のパラメータセットのコンテンツの存在を指すが、パラメータセットのＩＤは同じままである。

[0140]加えて、ビデオ作成モジュール７２によって使用されるファイルフォーマットは、ＨＥＶＣビジュアルサンプルエントリーとも呼ばれ得るＨＥＶＣビデオ基本ストリームにおいて、アクセス単位のフォーマットを定義することができる。一例では、アクセス単位のシンタックスは、ＨＥＶＣ基本ストリームのデコーダ特有構成を介して構成され得る。更に、一例では、１つ又は複数のアクセス単位と関連付けられるサンプル記述の名前及びフォーマットは次のように定義され得る。即ち、（１）「ｈｖｃ１」又は「ｈｖｃＣ」として定義され得るボックスタイプ、（２）Ｓａｍｐｌｅ Ｔａｂｌｅ Ｂｏｘ（「ｓｔｂｌ」）として定義され得るコンテナ、（３）必須のエントリーは「ｈｖｃ１」サンプルエントリーを含み得る、及び（４）１つ又は複数のサンプルエントリーが存在することを許容するように量が定義され得る。更に、一例では、ＨＥＶＣビジュアルサンプルエントリーは、以下で更に説明されるように、ＨＥＶＣ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｂｏｘを含むことが要求され得る。幾つかの例では、ＨＥＶＣ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｂｏｘは、上で説明されたように、ＨＥＶＣデコーダ構成記録を含み得る。

[0141]任意選択のシンタックス要素ＭＰＥＧ４ＢｉｔＲａｔｅＢｏｘは、ＨＥＶＣビデオストリームのビットレート情報を信号伝達するために、ＨＥＶＣビジュアルサンプルエントリー中に存在し得る。ＭＰＥＧ−４において使用される場合、Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ Ｄｅｓｃｒｉｐｔｏｒへと挿入されるべき拡張記述子も存在し得る。幾つかの例では、異なる構成又はパラメータセットを使用するビデオのセクションを示すために、ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ仕様によって許容されるように、複数のサンプル記述が使用され得る。

[0142]幾つかの例では、ＨＥＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘにおいて与えられた構成（プロファイルとレベルとを含む）のもとで動作するＨＥＶＣデコーダにより見られたときに、このサンプルエントリーが適用されるストリームが、適合性のある、かつ使用可能なＨＥＶＣストリームである場合にのみ、サンプルエントリーの名前「ｈｖｃ１」が使用され得る。

[0143]一例では、ビデオファイル作成モジュール７２は、次のシンタックスに従って、ＨＥＶＣビジュアルサンプルエントリーを定義するように構成され得る。

[0144]更に、上で提供された例示的なシンタックスでは、基本クラスＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙにおいて定義されるようなＣｏｍｐｒｅｓｓｏｒｎａｍｅは、推奨されている「＼０１３ＨＥＶＣ Ｃｏｄｉｎｇ」という値（＼０１２は、バイト単位のストリングの長さで１０である）とともに使用される圧縮器の名前を示し得る。シンタックス要素Ｃｏｍｐｒｅｓｓｏｒｎａｍｅは更に、ＨＥＶＣＦＦに従って定義され得る。シンタックス要素ｃｏｎｆｉｇは、デコーダ構成記録に従って定義され得る。

[0145]ビデオファイル作成モジュール７２は更に、ＮＡＬ単位を含むアクセス単位を組み立てるように構成されてよく、幅フィールド及び長さフィールドがＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙに含まれる。一例では、ＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙにおける幅フィールド及び高さフィールドは、そのエントリーによって表されるＨＥＶＣストリームの切り取られたピクチャの寸法（視覚的表示サイズ）を正確に記録しなければならない。一例では、幅フィールド及び高さフィールドは、パンスキャン(pan-scan)のような、ＳＥＩメッセージによって引き起こされるサイズの変化を何ら反映しない。幾つかの例では、パンスキャンのようなＳＥＩメッセージの視覚的な処理は、任意選択かつ端末依存である。更に、幾つかの場合には、シーケンスの幅及び高さが変化すると、新たなサンプル記述が必要とされる。幾つかの例では、トラックヘッダ中の幅フィールド及び高さフィールドは、ビデオトラック中の１つ以上のＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ中の幅フィールド及び高さフィールドと同じではないことがある。ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔで規定されるように、正規化された視覚的表示が必要であり、全てのシーケンスが、表示のためのトラックの幅及び高さへと正規化され得る。

[0146]ビデオファイル作成ユニット７２がビデオファイルを生成した後、ビデオファイル作成ユニット７２は、ビデオファイルをビデオファイル出力インターフェース７６に渡し得る。ビデオファイル出力インターフェース７６は、例えば、発信源機器２０の出力インターフェース２２に、ビデオファイルを出力し得る。幾つかの例では、ビデオファイル出力インターフェース７６は、ビデオファイルを発信源機器２０（図示せず）の記憶媒体又は記憶媒体３２に出力し得る。

[0147]図６は、ＩＳＯＢＭＦＦ及び現在のＨＥＶＣＦＦに基づく、例示的なＨＥＶＣメディアファイルの構造を示す概念図である。ＨＥＶＣメディアファイル２４２は、本開示の技法を使用したファイルフォーマットテキストの例を表し、（１）パラメータセットはサンプル記述とサンプル記述が適用されるストリームのサンプルのいずれかに含まれてよく、（２）異なるタイプのパラメータセットが、サンプル記述に含まれるか、又はサンプル記述が適用されるストリームのサンプルに含まれるかに関して、一緒にまとめられず、（３）サンプル記述が各タイプのパラメータセットのアレイを含み、特定のタイプのパラメータセットのアレイがその特定のタイプのパラメータセットＮＡＬ単位のみを含むことができ、サンプル記述が宣言型ＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位のアレイも含み、（４）ストリーム特性がサンプル記述に含まれる。図６の例示的なＨＥＶＣメディアファイル２４２は、ビデオデータストリームとメタデータとの論理的な関係を示すことが意図されていることに留意されたい。簡潔にするために、ＨＥＶＣメディアファイル２４２の完全なカプセル化構造は示されていない。しかしながら、ＨＥＶＣメディアファイル２４２は、ＨＥＶＣＦＦに従って定義される、ボックス及びカプセル化の構造を利用し得る。ＨＥＶＣメディアファイルは、上で説明された例示的なシンタックス及び制約に従って、ビデオファイル作成ユニット７２によって生成され得る。

[0148]図６に示される例では、ＨＥＶＣメディアファイル２４２は、メタデータボックス２４４とビデオデータストリーム２４６とを含む。メタデータボックス２４４は、ＩＳＯＢＭＦＦ「ｍｏｏｖ」ボックスと同様であってよく、デコーダ構成記録２５０のようなビデオデータストリーム２６６のデータを含み得る。一例では、メタデータテーブルはサンプルテーブルボックスであってよい。メタデータボックス２４４とデコーダ構成記録２５０の両方が、サンプル記述の部分を形成し得る。一例では、デコーダ構成記録２５０は、上で説明された例示的なシンタックスを使用して生成されてよく、パラメータセット及びＳＥＩ ＮＡＬ単位メッセージに関する情報を含み得る。更に、デコーダ構成記録はＳＹＮＴＡＸ ＥＬＥＭＥＮＴＳを含む。ＳＹＮＴＡＸ ＥＬＥＭＥＮＴＳは、空間解像度のようなストリーム特性に関する情報を含み得る。一例では、デコーダ構成記録２５２は、ＳＰＳアレイ２５４とＳＥＩアレイ２５８とを含み得る。ＳＰＳアレイ２５４は、ＳＰＳ ＮＡＬ単位２５５を含み得る。ＳＰＳアレイ２５８は、ＳＥＩ ＮＡＬ単位２５９を含み得る。

[0149]ビデオデータストリーム２４６は、ＨＥＶＣＦＦで表されるビデオトラック又はビジュアルトラックに対応し得る。従って、ビデオデータストリーム２４６は、よって、（１）ＨａｎｄｌｅｒＢｏｘ中の「ｖｉｄｅ」というハンドラタイプと、（２）ビデオメディアヘッダ「ｖｍｈｄ」と、（３）ＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙの派生物とを使用し得る。ビデオデータストリーム２４６は、複数のアクセス単位２６０Ａ〜２６０Ｎを含み得る。アクセス単位２６０Ａ〜２６０Ｎは、上で説明された例示的なシンタックス及び制約に従って、ビデオファイル作成ユニット７２によって生成され得る。図６に示されるように、アクセス単位２６０Ａは、ＰＰＳ ＮＡＬ単位２５６ＡとＶＣＬ ＮＡＬ単位２５６Ｂとを含み、アクセス単位２６０Ｎは、ＡＰＳ ＮＡＬ単位２５６ＣとＶＣＬ ＮＡＬ ２５６Ｄとを含む。一例では、ビデオデータストリーム２４６は、１つ又は複数の時間レイヤを含んでよく、メタデータボックス２４４は更に、ビデオデータストリーム２４６が１つ又は複数のトラックに分割されるかどうかの指示を含み得る。

[0150]このように、ＨＥＶＣファイル２４２は、例示的なファイルを表し、（１）パラメータセットはサンプル記述及びサンプル記述が適用されるストリームのサンプルに含まれ、（２）異なるタイプのパラメータセットが、サンプル記述に含まれるか、又はサンプル記述が適用されるストリームのサンプルに含まれるかに関して、一緒にまとめられず、（３）サンプル記述が各タイプのパラメータセットのアレイを含み、サンプル記述が宣言型ＳＥＩメッセージを含むＳＥＩ ＮＡＬ単位のアレイも含み、（４）ストリーム特性がサンプル記述に含まれる。

[0151]図３を再び参照すると、発信源機器１２は、１つ又は複数のファイルフォーマットに従って符号化ビデオデータを出力するように構成されてよく、宛先機器１４は、本明細書で説明されるフォーマットのような１つ又は複数のファイルフォーマットで、符号化ビデオデータを受信するように構成され得る。本明細書で説明されるビデオファイルは、発信源機器１２の出力インターフェース２２を介して、宛先機器１４に直接送信され得る。ビデオファイルは、更に（又は代替的に）、復号及び／又は再生のための宛先機器１４又は他の機器による後のアクセスのために記憶機器３２に記憶され得る。

[0152]宛先機器１４は、入力インターフェース２８と、逆カプセル化モジュール２９と、ビデオデコーダ３０と、表示装置３４とを含む。幾つかの場合、入力インターフェース２８は、受信機及び／又はモデムを含み得る。宛先機器１４の入力インターフェース２８は、リンク１６を通じて符号化ビデオデータを受信する。リンク１６を通じて通信され、又は記憶機器３２上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０のようなビデオデコーダが使用するための、ビデオエンコーダ２０によって生成される種々のシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、又はファイルサーバ上に記憶される符号化ビデオデータとともに含まれ得る。幾つかの例では、そのようなシンタックス要素は、本開示で説明されるようなイントラ符号化モードを信号伝達する、シンタックス要素を含み得る。

[0153]表示装置３４は、宛先機器１４と一体化されるか、又はその外部にあり得る。幾つかの例では、宛先機器１４は、一体型表示装置を含み、また、外部表示装置とインターフェースするように構成され得る。他の例では、宛先機器１４は表示装置であり得る。一般に、表示装置３４は、復号ビデオデータをユーザに対して表示し、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置のような、種々の表示装置のいずれかを備え得る。

[0154]宛先機器１４は、リンク１６を介して復号されるべき符号化ビデオデータを受信することができる。リンク１６は、発信源機器１２から宛先機器１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体又は機器を備え得る。一例では、リンク１６は、発信源機器１２が、符号化ビデオデータをリアルタイムで宛先機器１４に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つ又は複数の物理伝送線路のような、任意のワイヤレス通信媒体又は有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークのような、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器１２から宛先機器１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、又は任意の他の機器を含み得る。幾つかの場合には、出力インターフェース２２は、変調器／復調器（モデム）及び／又は送信機を含み得る。

[0155]代替的に、符号化データは、出力インターフェース２２から記憶機器３２に出力され得る。同様に、符号化データは、入力インターフェース２８によって記憶機器３２からアクセスされ得る。記憶機器３２は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、又は符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散された又はローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。更なる一例では、記憶機器３２は、発信源機器１２によって生成された符号化ビデオを保持し得るファイルサーバ又は別の中間記憶機器に対応し得る。宛先機器１４は、ストリーミング又はダウンロードを介して、記憶機器３２から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先機器１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）機器、又はローカルディスクドライブを含む。宛先機器１４は、インターネット接続を含む、任意の標準のデータ接続を通じて符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、又は両方の組合せを含み得る。記憶機器３２からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又は両方の組合せであり得る。

[0156]本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、例えばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例のような、様々なマルチメディア適用例のいずれかをサポートするビデオ符号化に適用され得る。幾つかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオ電話などの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。

[0157]図３には示されていないが、幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は、各々オーディオエンコーダ及びデコーダと統合されてよく、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含んでよい。適用可能な場合、幾つかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0158]ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアのような、種々の好適なエンコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つ又は複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれてよく、そのいずれも、それぞれの機器において複合エンコーダ／デコーダ（コーデック）の一部として統合されてよい。

[0159]ビデオデコーダ３０が復号ビデオデータを出力し得るように、逆カプセル化モジュール２９は、ビデオファイル解析ビデオファイルを受信するように構成され得る。幾つかの例では、逆カプセル化モジュール２９は、カプセル化モジュール７２と逆のプロセスを実行し得る。ビデオデコーダ３０は、幾つかの例では、図４のビデオエンコーダ２０に関して説明された符号化パスとは全般に逆の復号パスを実行し得る。

[0160]図７は、本開示の技法によるコード化ビデオコンテンツを含むビデオファイルを生成する方法の例を示すフローチャートである。図７で説明されるプロセスは、発信源機器２０、カプセル化モジュール２１、及び本明細書で説明されるビデオ作成モジュール７２の任意の組合せを含み得る、ビデオ符号化機器によって実行され得る。ビデオ符号化機器は、コード化ビデオコンテンツのスライスを取得し得る（７０２）。コード化ビデオコンテンツは、ＨＥＶＣに従って符号化された複数のスライスを含み得る。ビデオ符号化機器は、ビデオコンテンツのスライスと関連付けられるパラメータセットを取得し得る（７０４）。パラメータセットは、ＳＰＳ、ＰＰＳ、及び／又はＡＰＳを含み得る。ビデオ符号化機器は、コード化ビデオコンテンツのスライスをアクセス単位内にカプセル化し得る（７０６）。アクセス単位は、本明細書で説明されたように定義される。ビデオ符号化機器は、パラメータセットをアクセス単位内にカプセル化し得る（７０８）。パラメータセットは、本明細書で説明された技法に従って、アクセス単位内にカプセル化され得る。ビデオ符号化機器は、パラメータセットをサンプル記述内にカプセル化し得る（７１０）。一例では、ＰＰＳは１つ又は複数のアクセス単位内にカプセル化され得るが、ＳＰＳはサンプル記述内にカプセル化される。ビデオ符号化機器が、ビデオファイルを出力する（７１２）。ビデオファイルは更に、ファイルフォーマットに基づいて生成されてよく、ファイルフォーマットは本明細書で説明された技法に基づく。

[0161]１つ又は複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つ又は複数の命令若しくはコードとしてコンピュータ可読媒体上に記憶されるか、又はコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体又は通信媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、又は（２）信号若しくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コード及び／又はデータ構造を取り出すために１つ又は複数のコンピュータあるいは１つ又は複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

[0162]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ又は他の光ディスク記憶機器、磁気ディスク記憶機器、又は他の磁気記憶機器、フラッシュメモリ、若しくは、命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。同様に、いかなる接続も適切にコンピュータ可読媒体と呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモート発信源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0163]命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）などの１つ又は複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路又はディスクリート論理回路によって実行され得る。従って、本明細書で使用される「プロセッサ」という用語は、前述の構造、又は本明細書で説明される技法の実装に好適な他の構造のいずれかを指す。加えて、幾つかの態様では、本明細書で説明された機能は、符号化及び復号のために構成された専用のハードウェア及び／又はソフトウェアモジュール内で与えられてよく、あるいは複合コーデックに組み込まれてよい。また、本技法は、１つ又は複数の回路又は論理要素中で十分に実装され得る。

[0164]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置において実装され得る。本開示では、開示される技法を実行するように構成された機器の機能的態様を強調するために、様々なコンポーネント、モジュール、又はユニットが説明されたが、それらのコンポーネント、モジュール、又はユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上で説明されたように、様々なユニットが、好適なソフトウェア及び／又はファームウェアとともに、上で説明された１つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。

[0165]様々な例が説明されてきた。これら及び他の例は以下の特許請求の範囲内に入る。

[0165]様々な例が説明されてきた。これら及び他の例は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ コード化ビデオコンテンツを含むビデオファイルを生成する方法であって、コード化ビデオコンテンツの複数のスライスを取得することと、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの前記複数のスライスをカプセル化することと、前記ビデオストリームと関連付けられる複数のストリーム特性を取得することと、ファイルトラックのサンプル記述内にストリーム特性をカプセル化することとを備え、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、方法。
［２］ 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、［１］に記載の方法。
［３］ 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、［１］に記載の方法。
［４］ ビデオファイル作成モジュールを備える装置であって、前記ビデオファイル作成モジュールが、コード化ビデオコンテンツの複数のスライスを取得し、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの前記複数のスライスをカプセル化し、前記ビデオストリームと関連付けられる複数のストリーム特性を取得し、ファイルトラックのサンプル記述内にストリーム特性をカプセル化するように構成され、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、装置。
［５］ 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、［４］に記載の装置。
［６］ 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、［４］に記載の装置。
［７］ 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されると、ビデオコード化装置の１つ以上のプロセッサに、コード化ビデオコンテンツの複数のスライスを取得させ、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの前記複数のスライスをカプセル化させ、前記ビデオストリームと関連付けられる複数のストリーム特性を取得させ、ファイルトラックのサンプル記述内にストリーム特性をカプセル化させ、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、非一時的コンピュータ可読記憶媒体。
［８］ 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、［７］に記載の非一時的コンピュータ可読記憶媒体。
［９］ 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、［７］に記載の非一時的コンピュータ可読記憶媒体。
［１０］ コード化ビデオコンテンツを含むビデオファイルを生成するように構成される装置であって、コード化ビデオコンテンツの複数のスライスを取得するための手段と、ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの前記複数のスライスをカプセル化するための手段と、前記ビデオストリームと関連付けられる複数のストリーム特性を取得するための手段と、ファイルトラックのサンプル記述内にストリーム特性をカプセル化するための手段とを備え、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、装置。
［１１］ コード化ビデオコンテンツを含むビデオファイルを処理する方法であって、ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、前記ファイルトラックのサンプル記述から前記ビデオストリームと関連付けられる複数のストリーム特性を取得することと、を備え、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、方法。
［１２］ 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、［１１］に記載の方法。
［１３］ 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、［１１］に記載の方法。
［１４］ プロセッサを備える装置であって、前記プロセッサが、ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、前記ファイルトラックのサンプル記述から前記ビデオストリームと関連付けられる複数のストリーム特性を取得することと、を行うように構成され、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、装置。
［１５］ 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、［１４］に記載の装置。
［１６］ 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、［１４］に記載の装置。
［１７］ 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されると、ビデオコード化装置の１つ以上のプロセッサに、ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、前記ファイルトラックのサンプル記述から前記ビデオストリームと関連付けられる複数のストリーム特性を取得することと、を行わせ、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、非一時的コンピュータ可読記憶媒体。
［１８］ 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、［１７］に記載の非一時的コンピュータ可読記憶媒体。
［１９］ 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、［１７］に記載の非一時的コンピュータ可読記憶媒体。
［２０］ コード化ビデオコンテンツを含むビデオファイルを処理するように構成される装置であって、ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得するための手段と、前記ファイルトラックのサンプル記述から前記ビデオストリームと関連付けられる複数のストリーム特性を取得するための手段と、を備え、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、装置。

Claims (20)

1. コード化ビデオコンテンツを含むビデオファイルを生成する方法であって、
   コード化ビデオコンテンツの複数のスライスを取得することと、
   ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの前記複数のスライスをカプセル化することと、
   前記ビデオストリームと関連付けられる複数のストリーム特性を取得することと、
   ファイルトラックのサンプル記述内にストリーム特性をカプセル化することとを備え、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、方法。
2. 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、請求項１に記載の方法。
3. 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、請求項１に記載の方法。
4. ビデオファイル作成モジュールを備える装置であって、前記ビデオファイル作成モジュールが、
   コード化ビデオコンテンツの複数のスライスを取得し、
   ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの前記複数のスライスをカプセル化し、
   前記ビデオストリームと関連付けられる複数のストリーム特性を取得し、
   ファイルトラックのサンプル記述内にストリーム特性をカプセル化するように構成され、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、装置。
5. 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、請求項４に記載の装置。
6. 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、請求項４に記載の装置。
7. 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されると、ビデオコード化装置の１つ以上のプロセッサに、
   コード化ビデオコンテンツの複数のスライスを取得させ、
   ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの前記複数のスライスをカプセル化させ、
   前記ビデオストリームと関連付けられる複数のストリーム特性を取得させ、
   ファイルトラックのサンプル記述内にストリーム特性をカプセル化させ、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、非一時的コンピュータ可読記憶媒体。
8. 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、請求項７に記載の非一時的コンピュータ可読記憶媒体。
9. 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、請求項７に記載の非一時的コンピュータ可読記憶媒体。
10. コード化ビデオコンテンツを含むビデオファイルを生成するように構成される装置であって、
    コード化ビデオコンテンツの複数のスライスを取得するための手段と、
    ビデオストリームの複数のアクセス単位内にコード化ビデオコンテンツの前記複数のスライスをカプセル化するための手段と、
    前記ビデオストリームと関連付けられる複数のストリーム特性を取得するための手段と、
    ファイルトラックのサンプル記述内にストリーム特性をカプセル化するための手段とを備え、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、装置。
11. コード化ビデオコンテンツを含むビデオファイルを処理する方法であって、
    ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、
    前記ファイルトラックのサンプル記述から前記ビデオストリームと関連付けられる複数のストリーム特性を取得することと、を備え、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、方法。
12. 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、請求項１１に記載の方法。
13. 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、請求項１１に記載の方法。
14. プロセッサを備える装置であって、前記プロセッサが、
    ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、
    前記ファイルトラックのサンプル記述から前記ビデオストリームと関連付けられる複数のストリーム特性を取得することと、を行うように構成され、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、装置。
15. 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、請求項１４に記載の装置。
16. 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、請求項１４に記載の装置。
17. 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されると、ビデオコード化装置の１つ以上のプロセッサに、
    ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得することと、
    前記ファイルトラックのサンプル記述から前記ビデオストリームと関連付けられる複数のストリーム特性を取得することと、を行わせ、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、非一時的コンピュータ可読記憶媒体。
18. 前記サンプル記述が更に、タイルのセットによって覆われる幾何学的領域を示す情報を含む、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
19. 前記サンプル記述が更に、コード化ビデオコンテンツの前記スライスのビット深度値を含む、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
20. コード化ビデオコンテンツを含むビデオファイルを処理するように構成される装置であって、
    ビデオストリームに含まれるコード化ビデオコンテンツの複数のスライスを含むファイルトラックを取得するための手段と、
    前記ファイルトラックのサンプル記述から前記ビデオストリームと関連付けられる複数のストリーム特性を取得するための手段と、を備え、前記ストリーム特性が、前記ビデオストリームのフレームレートと空間解像度の少なくとも１つを含む、装置。

Images