JP2016514427A - ビデオコード化のための並列処理 - Google Patents

ビデオコード化のための並列処理 Download PDF

Info

Publication number
JP2016514427A
JP2016514427A JP2015561607A JP2015561607A JP2016514427A JP 2016514427 A JP2016514427 A JP 2016514427A JP 2015561607 A JP2015561607 A JP 2015561607A JP 2015561607 A JP2015561607 A JP 2015561607A JP 2016514427 A JP2016514427 A JP 2016514427A
Authority
JP
Japan
Prior art keywords
layer
tile
inter
prediction
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015561607A
Other languages
English (en)
Other versions
JP2016514427A5 (ja
JP6342432B2 (ja
Inventor
ラパカ、クリシュナカンス
リ、シャン
チェン、ジャンレ
ワン、イェ−クイ
プ、ウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016514427A publication Critical patent/JP2016514427A/ja
Publication of JP2016514427A5 publication Critical patent/JP2016514427A5/ja
Application granted granted Critical
Publication of JP6342432B2 publication Critical patent/JP6342432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一例では、ビデオデータをコード化するための機器は、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータをコード化することと、拡張レイヤタイルとベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる同一位置配置ベースレイヤブロックから、レイヤ間予測を使用することなくビデオデータの拡張レイヤタイル内の拡張レイヤブロックをコード化することと、同一位置配置ベースレイヤブロックをコード化することとを行うように構成されたビデオコーダを含む。

Description

[0001]本出願は、各々の内容全体が参照により本明細書に組み込まれる、２０１３年３月５日に出願された米国仮出願第６１／７７３，０９５号、２０１３年４月５日に出願された米国仮出願第６１／８０８，７３４号、及び２０１３年５月３日に出願された米国仮出願第６１／８１９，４９４号の利益を主張する。
[0002]本開示は、ビデオコード化に関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、携帯電話又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、先進的ビデオコード化（ＡＶＣ：Advanced Video Coding）、高効率ビデオコード化（ＨＥＶＣ）規格によって定義された規格、及びそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオ機器は、そのようなビデオコード化技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶し得る。
[0004]ビデオコード化技法は、ビデオシーケンスに固有の冗長性を低減又は除去するための空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を含む。ブロックベースのビデオコード化の場合、ビデオスライス（例えば、ビデオフレーム又はビデオフレームの一部分）が、ツリーブロック、コード化単位（ＣＵ）及び／又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化された（Ｉ）スライス内のビデオブロックは、同じピクチャにおける隣接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライス内のビデオブロックは、同じピクチャの中の隣接ブロック内の参照サンプルに対する空間的予測、又は他の参照ピクチャの中の参照サンプルに対する時間的予測を使用することができる。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0005]空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックを生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化されたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、及びコード化されたブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数が、次いで量子化され得る。最初に２次元アレイで構成される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、なお一層の圧縮を達成するためにエントロピーコード化が適用されてよい。
[0006]概して、本開示は、ビデオコード化の並列処理ための技法を説明する。例えば、本開示は、高効率ビデオコード化（ＨＥＶＣ）規格のスケーラブルな拡張において並列処理するための技法を説明するが、本技法は、マルチビューＨＥＶＣ（ＭＶ−ＨＥＶＣ）など、他のビデオコード化規格及びそのような規格の拡張に適用され得る。幾つかの例示的な解決策が、２つ以上のタイルが各レイヤに使用されるとき、（様々な次元のスケーラブルなレイヤ及び複数のビューを含み得る）レイヤにわたる並列処理と、アップサンプリングと、レイヤ間フィルタリングと、レイヤ間動き／モード予測などのレイヤ間シンタックス予測と、ｔｅｘｔｕｒｅＢｌ、レイヤ間残差予測などのレイヤ間テクスチャ予測とを効率的に実行するために説明され、各レイヤは、スケーラブルなレイヤ、ビュー、又は深度であり得る。
[0007]一例では、ビデオデータを復号する方法は、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロック（enhancement layer blocks）のタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータを復号することと、ビデオデータの拡張レイヤタイル内の拡張レイヤブロックを復号することと、ここにおいて、データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、拡張レイヤブロックを復号することは、拡張レイヤタイルとベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる同一位置配置ベースレイヤブロック（collocated base layer block）から、レイヤ間予測を使用することなく拡張レイヤブロックを復号することを備える；同一位置配置ベースレイヤブロックを復号することとを含む。
[0008]別の例では、ビデオデータを符号化する方法は、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータを符号化することと、ビデオデータの拡張レイヤタイル内の拡張レイヤブロックを符号化することと、ここにおいて、データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、拡張レイヤブロックを符号化することは、拡張レイヤタイルとベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる同一位置配置ベースレイヤブロックから、レイヤ間予測を使用することなく拡張レイヤブロックを符号化することを備える；同一位置配置ベースレイヤブロックを符号化することとを含む。
[0009]別の例では、ビデオデータをコード化するための機器は、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータをコード化することと、拡張レイヤタイルとベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる同一位置配置ベースレイヤブロックから、レイヤ間予測を使用することなくビデオデータの拡張レイヤタイル内の拡張レイヤブロックをコード化することと、同一位置配置ベースレイヤブロックをコード化することとを行うように構成されたビデオコーダ（例えば、ビデオエンコーダ又はビデオデコーダ）を含む。
[0010]別の例では、ビデオデータをコード化するための機器は、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータをコード化するための手段と、ビデオデータの拡張レイヤタイル内の拡張レイヤブロックをコード化するための手段と、ここにおいて、データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、拡張レイヤブロックをコード化することは、拡張レイヤタイルとベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる同一位置配置ベースレイヤブロックから、レイヤ間予測を使用することなく拡張レイヤブロックをコード化することを備える；同一位置配置ベースレイヤブロックをコード化するための手段とを含む。
[0011]別の例では、コンピュータ可読記憶媒体は命令を記憶しており、命令は、実行されたとき、プロセッサに、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータをコード化することと、ビデオデータの拡張レイヤタイル内の拡張レイヤブロックをコード化することと、ここにおいて、データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、拡張レイヤブロックをコード化することは、拡張レイヤタイルとベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる同一位置配置ベースレイヤブロックから、レイヤ間予測を使用することなく拡張レイヤブロックをコード化することを備える；同一位置配置ベースレイヤブロックをコード化することとを行わせる。
[0012]別の例では、ビデオデータを復号する方法は、拡張レイヤピクチャのタイルがレイヤ間予測を使用して予測され得るかどうかを表すデータを復号することと、タイルがレイヤ間予測を使用して予測され得ることをデータが示すときだけ、レイヤ間予測を使用してタイルのデータを予測することとを含む。
[0013]別の例では、ビデオデータを符号化する方法は、拡張レイヤピクチャのタイルがレイヤ間予測を使用して予測され得るかどうかを表すデータを符号化することと、タイルがレイヤ間予測を使用して予測され得ることをデータが示すときだけ、レイヤ間予測を使用してタイルのデータを予測することとを含む。
[0014]別の例では、ビデオデータをコード化するための機器は、拡張レイヤピクチャのタイルがレイヤ間予測を使用して予測され得るかどうかを表すデータをコード化することと、タイルがレイヤ間予測を使用して予測され得ることをデータが示すときだけ、レイヤ間予測を使用してタイルのデータを予測することとを行うように構成されたビデオコーダ（例えば、ビデオデコーダ又はビデオエンコーダ）を含む。
[0015]別の例では、ビデオデータをコード化するための機器は、拡張レイヤピクチャのタイルがレイヤ間予測を使用して予測され得るかどうかを表すデータをコード化するための手段と、タイルがレイヤ間予測を使用して予測され得ることをデータが示すときだけ、レイヤ間予測を使用してタイルのデータを予測するための手段とを含む。
[0016]別の例では、コンピュータ可読記憶媒体は命令を記憶しており、命令は、実行されたとき、プロセッサに、拡張レイヤピクチャのタイルがレイヤ間予測を使用して予測され得るかどうかを表すデータをコード化することと、タイルがレイヤ間予測を使用して予測され得ることをデータが示すときだけ、レイヤ間予測を使用してタイルのデータを予測することとを行わせる。
[0017]別の例では、ビデオデータを復号する方法は、共通の拡張レイヤタイル内の２つのそれぞれの拡張レイヤピクチャサンプルと同一位置配置された任意の２つの参照レイヤサンプルが、共通の参照レイヤタイル内にあるに違いないかどうかを表すシンタックス要素に対する値を復号することと、シンタックス要素の値に少なくとも部分的に基づいて拡張レイヤピクチャサンプルを復号することとを含む。
[0018]別の例では、ビデオデータを符号化する方法は、共通の拡張レイヤタイル内の２つのそれぞれの拡張レイヤピクチャサンプルと同一位置配置された任意の２つの参照レイヤサンプルが、共通の参照レイヤタイル内にあるに違いないかどうかを表すシンタックス要素に対する値を符号化することと、シンタックス要素の値に少なくとも部分的に基づいて拡張レイヤピクチャサンプルを符号化することとを含む。
[0019]別の例では、ビデオデータをコード化するための機器は、共通の拡張レイヤタイル内の２つのそれぞれの拡張レイヤピクチャサンプルと同一位置配置された任意の２つの参照レイヤサンプルが、共通の参照レイヤタイル内にあるに違いないかどうかを表すシンタックス要素に対する値をコード化することと、シンタックス要素の値に少なくとも部分的に基づいて拡張レイヤピクチャサンプルをコード化することとを行うように構成されたビデオコーダ（例えば、ビデオエンコーダ又はビデオデコーダ）を含む。
[0020]別の例では、ビデオデータをコード化するための機器は、共通の拡張レイヤタイル内の２つのそれぞれの拡張レイヤピクチャサンプルと同一位置配置された任意の２つの参照レイヤサンプルが、共通の参照レイヤタイル内にあるに違いないかどうかを表すシンタックス要素に対する値をコード化するための手段と、シンタックス要素の値に少なくとも部分的に基づいて拡張レイヤピクチャサンプルをコード化するための手段とを含む。
[0021]別の例では、コンピュータ可読記憶媒体は命令を記憶しており、命令は、実行されたとき、プロセッサに、共通の拡張レイヤタイル内の２つのそれぞれの拡張レイヤピクチャサンプルと同一位置配置された任意の２つの参照レイヤサンプルが、共通の参照レイヤタイル内にあるに違いないかどうかを表すシンタックス要素に対する値をコード化することと、シンタックス要素の値に少なくとも部分的に基づいて拡張レイヤピクチャサンプルをコード化することとを行わせる。
[0022]別の例では、ビデオデータを復号する方法は、拡張レイヤピクチャのタイルがコード化され得る前にコード化される必要のあるベースレイヤピクチャ内のタイルの数を示すデータを、拡張レイヤピクチャのタイルに対して復号することと、タイルの数に対応するベースレイヤピクチャのタイルを復号することと、ベースレイヤピクチャのタイルを復号した後に、ベースレイヤピクチャ内の少なくとも１つの他のタイルと実質的に並列に拡張レイヤピクチャのタイルを復号することとを含む。
[0023]別の例では、ビデオデータを符号化する方法は、拡張レイヤピクチャのタイルがコード化され得る前にコード化される必要のあるベースレイヤピクチャ内のタイルの数を示すデータを、拡張レイヤピクチャのタイルに対して符号化することと、タイルの数に対応するベースレイヤピクチャのタイルを符号化することと、ベースレイヤピクチャのタイルを符号化した後に、ベースレイヤピクチャ内の少なくとも１つの他のタイルと実質的に並列に拡張レイヤピクチャのタイルを符号化することとを含む。
[0024]別の例では、ビデオデータをコード化するための機器は、拡張レイヤピクチャのタイルがコード化され得る前にコード化される必要のあるベースレイヤピクチャ内のタイルの数を示すデータを、拡張レイヤピクチャのタイルに対してコード化することと、タイルの数に対応するベースレイヤピクチャのタイルをコード化することと、ベースレイヤピクチャのタイルをコード化した後に、ベースレイヤピクチャ内の少なくとも１つの他のタイルと実質的に並列に拡張レイヤピクチャのタイルをコード化することとを行うように構成されたビデオデコーダ（例えば、ビデオエンコーダ又はビデオデコーダ）を含む。
[0025]別の例では、ビデオデータをコード化するための機器は、拡張レイヤピクチャのタイルがコード化され得る前にコード化される必要のあるベースレイヤピクチャ内のタイルの数を示すデータを、拡張レイヤピクチャのタイルに対してコード化するための手段と、タイルの数に対応するベースレイヤピクチャのタイルをコード化するための手段と、ベースレイヤピクチャのタイルをコード化した後に、ベースレイヤピクチャ内の少なくとも１つの他のタイルと実質的に並列に拡張レイヤピクチャのタイルをコード化するための手段とを含む。
[0026]別の例では、コンピュータ可読記憶媒体は命令を記憶しており、命令は、実行されたとき、プロセッサに、拡張レイヤピクチャのタイルがコード化され得る前にコード化される必要のあるベースレイヤピクチャ内のタイルの数を示すデータを、拡張レイヤピクチャのタイルに対してコード化することと、タイルの数に対応するベースレイヤピクチャのタイルをコード化することと、ベースレイヤピクチャのタイルをコード化した後に、ベースレイヤピクチャ内の少なくとも１つの他のタイルと実質的に並列に拡張レイヤピクチャのタイルをコード化することとを行わせる。
[0027]１つ又は複数の例の詳細が、添付の図面及び以下の説明に記載されている。他の特徴、目的、及び利点は、その説明及び図面から、ならびに特許請求の範囲から明らかになろう。
[0028]ビデオデータを並列に処理するための技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。 [0029]ビデオデータを並列に処理するための技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0030]ビデオデータを並列に処理するための技法を実装し得るビデオデコーダの一例を示すブロック図。 [0031]スケーラブルビデオコード化（ＳＶＣ）のための様々なスケーラブルな次元を示す概念図。 [0032]ＳＶＣコード化構造の一例を示す概念図。 [0033]例示的なアクセス単位（ＡＵ）を示す概念図。 [0034]高効率ビデオコード化（ＨＥＶＣ）規格による例示的なタイルを示す概念図。 [0035]波面並列処理（ＷＰＰ）に対する波面を示す概念図。 [0036]ＨＥＶＣ（ＳＨＶＣ）デコーダのＳＶＣ拡張における並列処理の一例を示す概念図。 [0037]幾つかの拡張レイヤ（ＥＬ）サンプルが対応するベースレイヤサンプルをもたない、拡張された空間スケーラビリティの一例を示す図。 [0038]幾つかのベースレイヤ（ＢＬ）サンプルが対応する拡張レイヤサンプルをもたない、拡張された空間スケーラビリティの一例を示す図。 [0039]参照レイヤピクチャと拡張レイヤピクチャとを示す概念図。 [0040]異なるアスペクト比を有する例示的なピクチャを示す概念図。 [0041]異なる数のタイルを有する拡張レイヤピクチャと参照レイヤピクチャとを示す概念図。 [0042]本開示の技法による、レイヤ間予測を可能又は無効にするための例示的な方法を示すフローチャート。 [0043]本開示の技法による、ピクチャが異なるアスペクト比を有するときに、拡張レイヤ及び参照レイヤのピクチャを並列にコード化するための例示的な方法を示すフローチャート。 [0044]拡張レイヤピクチャのタイル境界が参照レイヤピクチャのタイル境界と整列されているかどうかに基づいて、拡張レイヤピクチャをコード化するための例示的な方法を示すフローチャート。 [0045]本開示の技法による、タイル境界が整列されていないときでさえも、拡張レイヤピクチャのタイルを参照レイヤピクチャと並列にコード化するための例示的な方法を示すフローチャート。
[0046]ビデオコード化規格は、ＩＴＵ−Ｔ Ｈ．２６１と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６３と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌと、それのスケーラブルビデオコード化（ＳＶＣ）及びマルチビュービデオコード化（ＭＶＣ）拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４とを含む。ＳＶＣとＭＶＣとのジョイントドラフトは、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されている。
[0047]更に、ＩＴＵ−Ｔビデオコード化エキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのジョイントコラボレーションチームオンビデオコード化（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発された新しいビデオコード化規格、即ち、高効率ビデオコード化（ＨＥＶＣ）がある。ＩＴＵ−Ｔ Ｈ．２６５とも呼ばれるＨＥＶＣは、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ−ＲＥＣ−Ｈ．２６５−２０１３０４−Ｉ／ｅｎにおいて入手可能な、ＩＴＵ−Ｔ Ｈ．２６５、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ、オーディオビジュアルサービスのインフラストラクチャ─動画像（Moving Video）のコード化、高効率ビデオコード化、２０１３年４月に記載されている。
[0048]Ｈ.２６４／ＡＶＣのＳＶＣ拡張とＨＥＶＣのＳＶＣ拡張の両方に対して、ＳＶＣに関する幾つかの詳細が、図４〜図９に関して以下で説明される。
[0049]マルチレイヤコード化コンテキストにおける並列処理に対して存在する解決策は、少なくとも次の問題と関連付けられ得る。
[0050]ＨＥＶＣ拡張において、同じアクセス単位又は異なるアクセス単位内の異なるレイヤに関して、より大きい相互依存性が存在し得る。例えば、拡張レイヤピクチャの復号は、復号された参照レイヤピクチャに依存し得る。ＨＥＶＣ（ＳＨＶＣ）のＳＶＣ拡張は、マルチループスケーラブル復号フレームワークを利用する。現在のＳＨＶＣフレームワークにおいて、現在のレイヤピクチャが（任意のタイプのレイヤ間予測を介して）依存する全ての参照レイヤピクチャは、現在レイヤピクチャを復号することを開始するために復号されなければならない。これは、幾つかの復号システムに対する幾つかの並列処理アーキテクチャにおいて、全体的なコーデック遅延を増加させることがある。
[0051]加えて、各レイヤ内に２つ以上のタイルを有する異なるレイヤを並列処理するとき、幾つかの領域に対するアップサンプリング、レイヤ間フィルタリング、又はレイヤ間シンタックス予測は、参照レイヤピクチャ内のタイル境界を横切ることがある。タイルに対する並列処理によって、タイル境界に沿った参照レイヤピクチャ内の再構成されたサンプルの利用可能性は保証され得ず、従って、アップサンプリング又はレイヤ間フィルタリングは、適切に実行され得ない。従って、アップサンプリング又はレイヤ間フィルタリングは、参照レイヤピクチャ全体が復号されるか又は異なるレイヤの並列処理が部分的に中断されるまで延期されなければならない。
[0052]更に、Ｋ．Ｓｕｈｒｉｎｇら、Ｔｉｌｅ ｂｏｕｎｄａｒｙ ａｌｉｇｎｍｅｎｔ ａｎｄ ｉｎｔｅｒ−ｌａｙｅｒ ｐｒｅｄｉｃｔｉｏｎ ｃｏｎｓｔｒａｉｎｔｓ ｆｏｒ ＳＨＶＣ ａｎｄ ＭＶ−ＨＥＶＣ、ＪＣＴＶＣ−Ｍ０４６４、２０１３年４月（以後「ＪＣＴＶＣ−Ｍ０４６４」）に記載されるタイル境界整合の規格は、少なくとも次の問題と関連する。拡張された空間スケーラビリティ又はアスペクト比スケーラビリティユースケースシナリオに対して、拡張レイヤサンプルは、対応するベースレイヤサンプルをもたず、その逆も同様である。従って、Ｆ．Ｈｅｎｒｙ及びＳ．Ｐａｔｅｕｘ、「Ｗａｖｅｆｒｏｎｔ ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ」、ＪＣＴＶＣ−Ｅ１９６、２０１１年３月（以後「ＪＣＴＶＣ−Ｅ１９６」）に記載されるタイル境界整合の規格は、レイヤにわたるタイルの使用をまったく許容しない。図１０は、拡張レイヤサンプルが対応するベースレイヤサンプルをもたない、拡張された空間スケーラビリティシナリオの一例を示す。図１１は、ベースレイヤサンプルが対応する拡張レイヤサンプルをもたない、拡張された空間スケーラビリティシナリオの一例を示す。ＪＣＴＶＣ−Ｍ０４６４及びＪＣＴＶＣ−Ｅ１９６は、それらの全体が参照により本明細書に組み込まれる。
[0053]図１０は、幾つかの（拡張レイヤ）ＥＬサンプルが対応するベースレイヤサンプルをもたない、拡張された空間スケーラビリティの一例を示す。図１１は、幾つかの（ベースレイヤ）ＢＬサンプルが対応する拡張レイヤサンプルをもたない、拡張された空間スケーラビリティの一例を示す。
[0054]本開示は、例えばＨＥＶＣの拡張における並列処理をサポートするために使用され得る技法の２つのカテゴリーを説明する。これらの２つのカテゴリーからの技法は、単独で又は独立に使用され得る。技法は、スケーラブルビデオコード化と、（深度を有するか又はもたない）マルチビュービデオコード化と、ＨＥＶＣに対する他の拡張及び他のビデオコーデックとに適用可能である。第１のカテゴリーは、制限付きレイヤ間予測を対象とする。第２のカテゴリーは、信号伝達（signaling）を対象とする。両カテゴリーからの技法の例は、以下でより詳細に説明される。
[0055]図１は、ビデオデータを並列に処理するための技法を利用し得る例示的なビデオ符号化及び復号システム１０を示すブロック図である。図１に示すように、システム１０は、宛先機器１４によって後で復号されるべき符号化ビデオデータを与える発信源機器１２を含む。特に、発信源機器１２は、コンピュータ可読媒体１６を介してビデオデータを宛先機器１４に与える。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲にわたる機器のいずれかを備え得る。場合によっては、発信源機器１２及び宛先機器１４は、ワイヤレス通信のために装備され得る。
[0056]宛先機器１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、符号化されたビデオデータを発信源機器１２から宛先機器１４に移動することが可能な任意のタイプの媒体又は機器を備え得る。一例では、コンピュータ可読媒体１６は、発信源機器１２が、符号化されたビデオデータをリアルタイムで宛先機器１４に直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器１４に送信され得る。通信媒体は、高周波（ＲＦ）スペクトル又は１つ以上の物理伝送線路など、任意のワイヤレス又は有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器１２から宛先機器１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、又は任意の他の機器を含み得る。
[0057]幾つかの例では、符号化されたデータは、出力インターフェース２２から記憶装置に出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶装置からアクセスされ得る。記憶装置は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性又は不揮発性のメモリ、又は符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、様々な分散された又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。更なる一例では、記憶装置は、発信源機器１２によって生成された符号化されたビデオを記憶し得る、ファイルサーバ又は別の中間記憶装置に対応し得る。
[0058]宛先機器１４は、ストリーミング又はダウンロードを介して、記憶装置から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先機器１４に送信することができる任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（例えば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）装置、又はローカルディスクドライブがある。宛先機器１４は、インターネット接続を含むいずれかの標準データ接続を通して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに適しているワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、又は両方の組合せを含むことができる。記憶装置からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。
[0059]本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。本技法は、無線テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、ｄｙｎａｍｉｃ ａｄａｐｔｉｖｅ ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の用途のような、種々のマルチメディア用途のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオテレフォニーなどの用途をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
[0060]図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先機器１４は、入力インターフェース２８と、ビデオデコーダ３０と、表示装置３２とを含む。本開示によれば、発信源機器１２のビデオエンコーダ２０は、ビデオデータを並列に処理するための技法を適用するように構成され得る。他の例では、発信源機器及び宛先機器は、他の構成要素又は構成を含み得る。例えば、発信源機器１２は、外部カメラなどの外部ビデオ発信源１８からビデオデータを受信し得る。同様に、宛先機器１４は、一体型表示装置を含むのではなく、外部表示装置とインターフェースをとり得る。
[0061]図１の図示のシステム１０は一例にすぎない。ビデオデータを並列に処理するための技法は、任意のデジタルビデオ符号化及び／又は復号機器によって実行され得る。概して、本開示の技法はビデオ符号化機器によって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。その上、本開示の技法は、ビデオプリプロセッサによっても実行され得る。発信源機器１２及び宛先機器１４は、発信源機器１２が、宛先機器１４に送信するためのコード化されたビデオデータを生成するような、コード化機器の例にすぎない。幾つかの例では、機器１２、１４の各々がビデオ符号化コンポーネントとビデオ復号コンポーネントとを含むように、機器１２、１４は、実質的に対称的な方式で動作することができる。従って、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、又はビデオテレフォニーのためのビデオ機器１２とビデオ機器１４の間の一方向又は双方向のビデオ送信をサポートし得る。
[0062]発信源機器１２のビデオ発信源１８は、ビデオカメラなどの撮像装置、以前に撮影されたビデオを含んでいるビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオ発信源１８は、発信源ビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオとアーカイブされたビデオとコンピュータにより生成されたビデオとの組合せを生成し得る。場合によっては、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂カメラフォン又はビデオフォンを形成し得る。しかしながら、上で言及されたように、本開示で説明される技法は、一般にビデオコード化に適用可能であり、ワイヤレス及び／又は有線の用途に適用され得る。各々の場合において、撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータにより生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。次いで、符号化されたビデオ情報は、出力インターフェース２２によってコンピュータ可読媒体１６に出力され得る。
[0063]コンピュータ可読媒体１６は、ワイヤレスブロードキャスト又はワイヤードネットワーク送信などの一時媒体、若しくは、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク、又は他のコンピュータ可読媒体などの記憶媒体（即ち、非一時的記憶媒体）を含み得る。幾つかの例では、ネットワークサーバ（図示せず）は、例えば、ネットワーク送信を介して、発信源機器１２から符号化されたビデオデータを受信し、宛先機器１４に符号化されたビデオデータを与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピュータ機器は、発信源機器１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを含んでいるディスクを生成し得る。従って、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つ又は複数のコンピュータ可読媒体を含むことが理解されよう。
[0064]宛先機器１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、またビデオデコーダ３０によって使用される、ブロック及び他のコード化されたユニット、例えば、ＧＯＰの特性及び／又は処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。表示装置３２は、復号されたビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置のような、様々な表示装置のいずれかを備え得る。
[0065]ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中の高効率ビデオコード化（ＨＥＶＣ）規格などのビデオコード化規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替として、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０、先進的ビデオコード化（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格などの、他のプロプライエタリ規格又は業界規格、若しくはそのような規格の拡張に従って動作することができる。但し、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオコード化規格の他の例には、ＭＰＥＧ−２及びＩＴＵ−Ｔ Ｈ．２６３がある。図１には示されていないが、幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は、それぞれオーディオエンコーダ及びオーディオデコーダと統合されてよく、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含んでもよい。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットはＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠することができる。
[0066]ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）として知られる共同パートナーシップの成果としてＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とともにＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）によって策定された。幾つかの態様では、本開示で説明する技法は、Ｈ．２６４規格に概して準拠する機器に適用され得る。Ｈ．２６４規格は、ＩＴＵ−Ｔ研究グループによる２００５年３月付けのＩＴＵ−Ｔ勧告Ｈ．２６４「Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」に記載されており、本明細書ではＨ．２６４規格又はＨ．２６４仕様、あるいはＨ．２６４／ＡＶＣ規格又は仕様と呼ぶ。Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）はＨ．２６４／ＭＰＥＧ−４ ＡＶＣへの拡張に取り組み続けている。
[0067]ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せなどの様々な適切なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実行するために１つ又は複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれてよく、そのいずれも、それぞれの機器において複合エンコーダ／デコーダ（コーデック）の一部として統合されてよい。
[0068]ＪＣＴ−ＶＣは、ＨＥＶＣ規格を開発し、ＨＥＶＣ規格のスケーラブル拡張及びマルチビュー拡張について作業中である。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコード化機器の発展的モデルに基づく。ＨＭは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存の機器に対してビデオコード化機器の幾つかの追加の能力を仮定する。例えば、Ｈ．２６４は９つのイントラ予測符号化モードを提供するが、ＨＭは３３個ものイントラ予測符号化モードを提供し得る。
[0069]概して、ＨＭの作業モデルは、ビデオフレーム又はピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロック又は最大コード化単位（ＬＣＵ）に分割され得ることを記述する。ビットストリーム内のシンタックスデータが、画素の数に関して最大コード化単位であるＬＣＵのサイズを定義し得る。スライスは、コード化順序で幾つかの連続するツリーブロックを含む。ビデオフレーム又はピクチャは、１つ又は複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコード化単位（ＣＵ）に分割され得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。
[0070]４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。例えば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義されてよく、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵがこれ以上分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵの４つのサブＣＵをリーフＣＵとも呼ぶ。例えば、１６×１６サイズのＣＵが更に分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵをリーフＣＵとも呼ぶ。
[0071]ＣＵは、ＣＵがサイズ差異を有しないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、４つの子ノード（サブＣＵとも呼ばれる）に分割され得、各子ノードは、今度は親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードと呼ばれる、最後の分割されていない子ノードは、リーフＣＵとも呼ばれるコード化ノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深度と呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、また、コード化ノードの最小サイズを定義し得る。それに応じて、ビットストリームは最小コード化単位（ＳＣＵ：smallest coding unit）をも定義し得る。本開示は、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、もしくはＴＵ、又は他の規格のコンテキストにおける同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロック及びそのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。
[0072]ＣＵは、コード化ノードと、コード化ノードに関連する予測単位（ＰＵ）及び変換単位（ＴＵ）とを含む。ＣＵのサイズは、コード化ノードのサイズに対応し、形状が正方形でなければならない。ＣＵのサイズは、８×８画素から最大６４×６４以上の画素をもつツリーブロックのサイズまでに及び得る。各ＣＵは、１つ又は複数のＰＵと、１つ又は複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、例えば、ＣＵを１つ又は複数のＰＵに区分することを記述し得る。区分化モードは、ＣＵが、スキップモード符号化又はダイレクトモード符号化されるか、イントラ予測モード符号化されるか、若しくはインター予測モード符号化されるかによって異なり得る。ＰＵは、形状が非正方形になるように区分され得る。ＣＵに関連するシンタックスデータは、例えば、４分木に従って、ＣＵを１つ又は複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形又は非方形（例えば、矩形）であり得る。
[0073]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従った変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、通常、ＰＵと同じサイズであるか、又はＰＵよりも小さい。幾つかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用して、より小さい単位に再分割され得る。ＲＱＴのリーフノードは変換単位（ＴＵ）と呼ばれることがある。ＴＵに関連する画素差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。
[0074]リーフＣＵは、１つ又は複数の予測単位（ＰＵ）を含み得る。概して、ＰＵは、対応するＣＵの全部又は一部分に対応する空間エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関係するデータを含む。例えば、ＰＵがイントラモード符号化されるとき、ＰＵについてのデータは、ＰＵに対応するＴＵについてのイントラ予測モードを記述するデータを含み得る残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つ又は複数の動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルについての分解能（例えば、１／４画素精度又は１／８画素精度）、動きベクトルが指す参照ピクチャ、及び／又は動きベクトル用の参照ピクチャリスト（例えば、リスト０、リスト１、もしくはリストＣ）を記述することができる。
[0075]１つ又は複数のＰＵを有するリーフＣＵはまた、１つ又は複数の変換単位（ＴＵ）を含み得る。変換単位は、上記で説明したように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定され得る。例えば、分割フラグは、リーフＣＵが４つの変換単位に分割されるかどうかを示し得る。次いで、各変換単位は更に、更なるサブＴＵに分割され得る。ＴＵが更に分割されないとき、そのＴＵはリーフＴＵと呼ばれることがある。一般に、イントラコード化の場合、リーフＣＵに属する全てのリーフＴＵは同じイントラ予測モードを共有する。即ち、概して、リーフＣＵの全てのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコード化の場合、ビデオエンコーダは、イントラ予測モードを使用して各リーフＴＵの残差値を、ＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。従って、ＴＵはＰＵよりも大きく又は小さくなり得る。イントラコード化の場合、ＰＵは、同じＣＵの対応するリーフＴＵと配列され得る。幾つかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに該当する場合がある。
[0076]その上、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造に関連付けられ得る。即ち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは一般にリーフＣＵに対応し、ＣＵ４分木のルートノードは一般にツリーブロック（又はＬＣＵ）に対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。概して、本開示では、特に明記しない限り、リーフＣＵ及びリーフＴＵに言及するためにそれぞれＣＵ及びＴＵという用語を使用する。
[0077]ビデオシーケンスは、通常、一連のビデオフレーム又はピクチャを含む。ピクチャグループ（ＧＯＰ）は、一般に、ビデオピクチャのうちの一連の１つ又は複数を備える。ＧＯＰは、ＧＯＰ中に含まれる幾つかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つ又は複数のヘッダ中、又は他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックはＣＵ内のコード化ノードに対応し得る。ビデオブロックは、固定サイズ又は可変サイズを有し得、指定のコード化規格に応じてサイズが異なり得る。
[0078]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、又はＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、又は「Ｒｉｇｈｔ」という表示とによって示される。従って、例えば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５ＮのＰＵ及び下部の２Ｎ×１．５ＮのＰＵで水平方向に区分された２Ｎ×２ＮのＣＵを指す。
[0079]本開示では、例えば１６×１６画素又は１６かける１６画素など、「Ｎ×Ｎ」及び「ＮかけるＮ（Ｎ ｂｙ Ｎ）」は、垂直及び水平の寸法に関して、ビデオブロックの画素範囲を示すために区別なく使用され得る。一般的に、１６×１６ブロックは、垂直方向に１６個の画素を有し（ｙ＝１６）、水平方向に１６個の画素を有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、Ｎは非負整数値を表す。ブロック内の画素は行と列に構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数の画素を有する必要はない。例えば、ブロックはＮ×Ｍ画素を備えてよく、この場合に、Ｍは必ずしもＮに等しいとは限らない。
[0080]ＣＵのＰＵを使用したイントラ予測コード化又はインター予測コード化の後に、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（画素領域とも呼ばれる）空間領域において予測画素データを生成する方法又はモードを記述するシンタックスデータを備え得、ＴＵは、変換、例えば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャの画素と、ＰＵに対応する予測値との間の画素差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＣＵ用の変換係数を生成するために、ＴＵを変換することができる。
[0081]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実施し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。例えば、量子化中にｎビット値がｍビット値に切り捨てられてよく、但し、ｎはｍよりも大きい。
[0082]量子化の後、ビデオエンコーダは、変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（従ってより低い周波数）の係数をアレイの前方に配置し、より低いエネルギー（従ってより高い周波数）の係数をアレイの後方に配置するように設計され得る。幾つかの例では、ビデオエンコーダ２０は、予め定義された走査順序を利用して、量子化された変換係数を走査し、エントロピー符号化され得る直列化されたベクトルを生成し得る。他の例では、ビデオエンコーダ２０は適応走査を実施し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、例えば、コンテキスト適応可変長コード化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応バイナリ算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化、又は別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
[0083]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、例えば、シンボルの隣接値が０ではないかどうかに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルの可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、例えば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づくことができる。
[0084]本開示の技法によれば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、上述のカテゴリーのいずれか又は両方からの技法を実装するように構成され得る。即ち、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、（レイヤ間予測を制限することに関連する）第１のカテゴリーから、及び（信号伝達に関連する）第２のカテゴリーからの技法を実行するように構成され得る。
[0085]第１のカテゴリーからの技法の幾つかの例が、次に説明される。これらの技法は、単独で、又は互いの組合せ及び／又は第２のカテゴリーからの技法との任意の組合せで、使用され得る。
[0086]第１のカテゴリーの技法の第１の例では、参照レイヤ及び拡張レイヤのタイル境界が、整列され得る。一般性を喪失することなく、（以下で説明される）図９は、４つのタイルが、参照レイヤ及び拡張レイヤに対して使用されることを示す。この場合、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、４つのプロセッサコアを用いてコード化を実行し得、プロセッサコアの各々は、タイルのうちのそれぞれの１つに専用される。４つのタイルの並列処理を保証するために、レイヤ間フィルタリングのアップサンプリングは、参照レイヤ内のタイル境界を横切ることを許容されない。拡張タイルに対して、参照レイヤの同一位置配置されたサンプルは、参照レイヤサンプルがこの拡張タイルと整列されないタイルに属する場合は利用不可能であると見なされる。例えば、図９において、タイルＥ０に対するアップサンプリング又はレイヤ間フィルタリングを行うとき、タイルＢ１内のサンプルは、利用不可能であると見なされる。従って、アップサンプリング又はレイヤ間フィルタリングのために、参照レイヤのタイル境界に沿ったパディング（padding）が必要となることがある。パディングは、例えば、タイル境界に沿ったブロックのこれらの画素値又は拡張値（extending value）にデフォルト値を加算することによって、タイル境界の他の画素に対して値を入力することを指す。
[0087]言い換えれば、レイヤ間予測は、一般的に、より高い解像度の予測タイルを生成するためにアップサンプリングされた画素に対する値を生成するためにベースレイヤタイルの画素を利用する、ある程度のアップサンプリングを必要とすることがある。第１のカテゴリーのこの第１の例によれば、拡張レイヤのブロックがベースレイヤ内のタイル境界におけるブロックに対応するとき、及びアップサンプリングがタイル境界を横切る画素を利用するとき、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、タイル境界を横切る画素を利用不可能として取り扱うのではなく、これらの画素に値をパッドする（pad）。
[0088]同様に、参照レイヤ及び拡張レイヤのタイル境界が整列されているとき、デブロッキングとサンプルアダプティブオフセット（ＳＡＯ）とを含むループフィルタは、並列符号化／復号を可能にするために参照レイヤ内のタイル境界を横切ることを許容されず、これは、参照レイヤのｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇをゼロになるように制限することによって遂行され得る。
[0089]同様に、この第１の例では、レイヤ間シンタックス予測は、参照レイヤ内のタイル境界を横切ることを許容されない。一例として、ｉｎｔｒａＢＬベースのＳＨＶＣ解決策では、参照レイヤの同一位置配置マージ又はＡＭＶＰ動き候補は、同一位置配置ブロックが整列されないタイル内に位置するときに利用不可能としてマークされ得る。更に別の例として、参照インデックス（高レベルシンタックスのみ）ベースのＳＨＶＣ解決策では、（例えば、所定の数の画素、ＣＵ、ＰＵなどの中の）タイル境界付近の領域の動き情報は、動きフィールドアップサンプリング／マッピングの間にリセット又はクリップされ得る。
[0090]第１のカテゴリー内の第２の例示的な技法として、エンコーダ制約が適用され、それによって、拡張タイル内のＣＵ／ＰＵは、同じアクセス単位内の参照ピクチャ内のタイルを横切るレイヤ間フィルタリング又は参照レイヤフィルタリングを有し得る同一位置配置ＣＵ／ＰＵからレイヤ間テクスチャ予測又はレイヤ間シンタックス予測されない。これを示すために、以下の表１に示すように、ビデオユーザビリティ情報（ＶＵＩ）フラグが使用され得、ここで、イタリック体のテキストは、ＨＥＶＣのシンタックスへの追加を表す。
Figure 2016514427
[0091]従って、表１は、追加のシンタックス要素ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇを含む。このシンタックス要素に対するセマンティクスは、次のように定義され得る：１に等しいｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇは、異なるレイヤのタイル境界が整列され、同一位置配置参照レイヤのＣＵ又はＰＵがタイルを横切るレイヤ間フィルタリング又は参照レイヤフィルタリングを有し得るときにレイヤ間テクスチャ予測は、拡張レイヤのＣＵ又はＰＵに対するタイル境界に沿って／を横切って許容されないことを示す。レイヤ間フィルタリングはまた、レイヤ間ＳＡＯ、レイヤ間アップサンプリング、レイヤ間ループフィルタなどを含み得る。参照レイヤフィルタリングは、参照レイヤＳＡＯ、参照レイヤループフィルタなどを含み得る。タイル境界の整列は、同じ拡張レイヤタイル内にある任意の２つの拡張レイヤピクチャサンプルに対して、同一位置配置参照レイヤサンプルもまた、利用可能な場合、同じ参照レイヤタイル内にあり、同じ参照レイヤタイル内に存在する任意の２つの参照レイヤピクチャサンプルに対して、同一位置配置拡張レイヤサンプルもまた、利用可能な場合、同じ拡張レイヤタイル内にあることを意味する。０に等しいシンタックス要素ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇは、レイヤ間のタイル構成に対する制約は存在しないことを示す。ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇがビットストリーム内に存在しないとき、それは０に等しくなると推測され得る。
[0092]代替として、このシンタックス要素に対するセマンティクスは、次のように定義され得る：１に等しいｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇは、異なるレイヤのタイル境界が整列され、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測は、任意の拡張レイヤタイルが任意の整列されないベースレイヤタイルを復号することなく復号され得ないように、タイル境界に沿って／を横切って許容されないことを示す。タイル境界の整列は、同じ拡張レイヤタイル内にある任意の２つの拡張レイヤピクチャサンプルに対して、同一位置配置参照レイヤサンプルもまた、利用可能な場合、同じ参照レイヤタイル内にあり、同じ参照レイヤタイル内にある任意の２つの参照レイヤピクチャサンプルに対して、同一位置配置拡張レイヤサンプルもまた、利用可能な場合、同じ拡張レイヤタイル内にあることを意味する。０に等しいシンタックス要素ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇは、レイヤ間のタイル構成に対する制約は存在しないことを示す。ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇがビットストリーム内に存在しないとき、それは０に等しくなると推測され得る。
[0093]代替として、フラグは、同様のセマンティクスを有するＳＥＩメッセージを含むコード化されたビデオシーケンスに適用されるＳＥＩメッセージ内で通知され得る。
[0094]言い換えれば、ビデオエンコーダ２０又はビデオデコーダ３０が、アクセス単位の拡張レイヤタイル内の拡張レイヤブロックをコード化（例えば、符号化又は復号）しているとき、及びアクセス単位の参照ピクチャ内のタイルを横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされるとき、ビデオエンコーダ２０又はビデオデコーダ３０は、参照ピクチャの同一位置配置ベースレイヤブロックからのレイヤ間テクスチャ予測又はレイヤ間シンタックス予測を使用する拡張レイヤブロックのコード化を防止する（例えば、無効にする）ことができる。
[0095]第１のカテゴリー内の第３の例示的な技法として、拡張された空間スケーラビリティにおいて、参照レイヤ及び拡張レイヤは、参照レイヤに対する４：３及び拡張レイヤに対する１６：９など、異なるピクチャアスペクト比を有し得る。即ち、ベースレイヤは、４：３アスペクト比のビデオを作成するために十分なビデオデータを含み得る一方で、拡張レイヤは、１６：９アスペクト比のビデオを作成するために十分なビデオデータを含み得る。この場合、参照レイヤ内に対応部分をもたない、大きい拡張レイヤ領域が存在し得、それによってレイヤ間予測は、そのような領域（即ち、ベースレイヤの４：３アスペクト比の領域の外側にある拡張レイヤピクチャ内の領域）に対して行われ得ない。そのような（ベースレイヤの４：３アスペクト比の領域の外側にある拡張レイヤピクチャ内の）領域及びレイヤ間予測され得る領域が、異なるタイル内でコード化されるとき、より良いレイヤ間の並列処理が得られ得る。
[0096]ビットストリーム内で上記を示すために、表２に関して説明される以下のシンタックス及びセマンティクスを有する、の例の中でタイルレイヤ間予測情報ＳＥＩメッセージと名付けられた新しいＳＥＩメッセージが、コード化され得る。
Figure 2016514427
[0097]この例では、ｓｅｉ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、タイルレイヤ間予測情報ＳＥＩメッセージと関連付けられたピクチャによって参照されるＰＰＳに対するｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔの値を規定する。ｓｅｉ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、両端値を含む０〜６３の範囲内になる。
[0098]代替として、ｓｅｉ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、ｕｅ（ｖ）としてコード化されるのではなく、例えばｕ（６）として固定長さにコード化されることがある。
[0099]この例では、１に等しいｎｏｎ＿ｉｎｔｅｒｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、テクスチャ又はシンタックスのレイヤ間予測が、ｉ番目のタイル列及びｊ番目のタイル行の中のタイルに対して使用されないことを示し、０に等しいｎｏｎ＿ｉｎｔｅｒｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、テクスチャ又はシンタックスのレイヤ間予測が、ｉ番目のタイル列及びｊ番目のタイル行の中のタイルに対して使用され得ることを示す。
[0100]第１のカテゴリー内の第４の例示的な技法として、仁川、韓国における第１３回ＪＣＴＶＣ会議において、タイル境界整合フラグが、ＨＥＶＣ拡張に対するＪＣＴＶＣ−Ｍ０４６４のように採用された。より具体的には、以下の技法は、拡張された空間スケーラビリティ及びアスペクト比スケーラビリティユースケースシナリオに対するタイル境界整合に関する。
[0101]この例では、タイル境界整合フラグのセマンティクスは次のように修正され、ここで、「除去された」で先行される括弧付きのテキストは、以前の定義からの削除を示す：１に等しいｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇは、［削除：「対応するベースレイヤピクチャの全てのタイル境界は所与の拡張レイヤ内に対応するタイル境界を有し、拡張レイヤ内に追加のタイル境界は存在しない。それは、（以下を）意味する」］同じ拡張レイヤタイル内にある任意の２つの拡張レイヤピクチャサンプルに対して、同一位置配置参照レイヤサンプルもまた、利用可能な場合、同じ参照レイヤタイル内にあり、同じ参照レイヤタイル内にある任意の２つの参照レイヤピクチャサンプルに対して、同一位置配置拡張レイヤサンプルもまた、利用可能な場合、同じ拡張レイヤタイル内にあることを示す。０に等しいｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇは、対応する拡張レイヤと所与の参照レイヤとの間にタイル構成に対する制約は存在しないことを示す。
[0102]同じく、拡張された空間スケーラビリティの場合に対して、参照レイヤと比較して拡張レイヤ内に追加のタイル境界が存在し得、同じく、代替として、拡張レイヤと比較して参照レイヤ内に追加のタイル境界が存在し得ることが留意され得る。
[0103]第１のカテゴリー内の第５の例示的な技法として、代替として、タイル境界整合フラグは、拡張されたスケーラビリティ又はアスペクト比スケーラビリティユースケースに対して、標準的にゼロに制約され得る。この例では、以下の制約が、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇに追加される：ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ＿ｉｄｃがゼロより大きいとき、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇは、ゼロに等しい。代替として、リサンプリングプロセスに対する幾何学的パラメータのうちの少なくとも１つが非ゼロの値を有するとき、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇは、ゼロに等しい。幾何学的パラメータは、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔを含む。
[0104]技法の第２のカテゴリーは、並列処理に対する信号伝達に関する。ＳＨＶＣは、マルチループスケーラブル復号フレームワークを利用し、ここで、現在レイヤピクチャが（任意のタイプのレイヤ間予測を介して）依存する全ての参照レイヤピクチャは、現在レイヤピクチャを復号することを開始するために復号されなければならない。しかしながら、デコーダは、異なるレイヤを並列に処理し得る。参照レイヤピクチャの部分的領域の復号が完了するとすぐに、拡張レイヤに対するデコーダスレッドが復号を開始することができれば、有利であり得る。参照レイヤピクチャのこの部分的復号は、１つ又は複数のタイルに対応し得る。
[0105]より小さいタイルは並列処理を増加させ得るが、同時にコード化効率を低下させ、その逆も同様であることも留意され得る。従って、空間スケーラビリティの場合に対して、拡張レイヤピクチャ及び参照レイヤピクチャは、異なるタイル構造を使用することがある。この場合、例えば、全体的なコーデック遅延の更なる低減を可能にするために、拡張レイヤタイルを復号することを開始する前に復号される必要がある参照レイヤピクチャ内のタイルの最大数を定義する情報をデコーダが有することが望ましい。
[0106]第２のカテゴリーの第１の例示的な技法では、例えば、ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［ｉ］と名付けられた、拡張レイヤ内の各タイルと関連付けられた新しいシンタックス要素を使用するそのような値を、ビデオエンコーダ２０が通知し、ビデオデコーダ３０が受信することができる。このシンタックス要素に対するセマンティクスは、下記の通りであり得る：ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［ｉ］プラス１は、現在のタイルが復号され得る前に復号される必要のある現在レイヤピクチャの参照レイヤピクチャ内の対応するタイルの最大数を示す。
[0107]ビデオデコーダ３０は、参照レイヤピクチャのタイル走査順序に基づいて、対応するタイルを連続的なタイルとして導出し得る。シンタックス要素は、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダ、ビデオユーザビリティ情報（ＶＵＩ）において通知され得、又は好ましくは、ｔｉｌｅ＿ｅｎａｂｌｅ＿ｆｌａｇに基づいて調整され、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤピクチャに対して通知されない、補助強化情報（ＳＥＩ）メッセージ又は他のシンタックス構造として通知され得る。
[0108]第２のカテゴリーの第２の例示的な技法（第２のカテゴリーの第１の例示的な技法を展開する）では、拡張レイヤ内の各タイルと関連付けられ、現在の拡張レイヤピクチャが依存する各参照レイヤピクチャに対する、例えばｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［ｉ］［ｊ］と名付けられた、新しいシンタックス要素を使用する値を、ビデオエンコーダ２０が通知し、ビデオデコーダ３０が受信することができる。このシンタックス要素に対するセマンティクスは、次の通りであり得る：ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［ｉ］［ｊ］プラス１は、ｉ番目の現在のタイルが復号され得る前に復号される必要のある現在レイヤピクチャのｊ番目の参照レイヤピクチャ内の対応するタイルの最大数を示す。
[0109]ビデオデコーダ３０は、参照レイヤピクチャのタイル走査順序に基づいて、対応するタイルを連続的なタイルとして導出し得る。シンタックス要素は、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダ、ＶＵＩ又はＳＥＩメッセージ、又は好ましくは、ｔｉｌｅ＿ｅｎａｂｌｅ＿ｆｌａｇに基づいて調整され、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤピクチャに対して通知されない他のシンタックス構造において通知され得る。
[0110]第２のカテゴリーの第３の例示的な技法（第２のカテゴリー内の第１の例示的な技法を展開し得る）では、拡張レイヤタイルの対応するタイルはまた、ビットストリームの中、例えば、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダ、ＶＵＩ、又はＳＥＩメッセージ、若しくは他のシンタックス構造の中の、対応するタイルのタイルＩＤを明示的に通知することによって示され得る。
[0111]第２のカテゴリーの第４の例示的な技法（第２のカテゴリー内の第１及び／又は第２の例示的な技法を展開し得る）では、参照レイヤにおけるタイル走査プロセスは、随意のタイル走査プロセスを可能にするために、拡張レイヤに対して通知され得る。
[0112]第２のカテゴリーの第５の例示的な技法は、タイル境界を横切るレイヤ間フィルタリングに関する。ＨＥＶＣドラフトにおいて定義されるフラグｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇと同様に、異なるレイヤからタイルを横切る改善された並列処理を可能にするために、例えば、ｉｎｔｅｒｌａｙｅｒ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇと呼ばれるフラグを、以下のセマンティクスを用いて定義することが提案されている：１に等しいｉｎｔｅｒｌａｙｅｒ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、レイヤ間フィルタリング動作が参照レイヤのタイル境界を横切って実行されることを規定する。０に等しいｉｎｔｅｒｌａｙｅｒ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、レイヤ間フィルタリング動作がタイル境界を横切って実行されないことを規定する。レイヤ間フィルタリング動作は、レイヤ間ＳＡＯ、レイヤ間ＡＬＦ、及び／又はアップサンプリングを含み得る。フラグは、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダ、又は他のシンタックス構造において通知され得る。
[0113]第２のカテゴリーの第６の例示的な技法は、タイル境界を横切るレイヤ間予測に関する。この第６の例示的な技法では、例えば、ｉｎｔｅｒｌａｙｅｒ＿ｐｒｅｄ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇと呼ばれるフラグを、以下のセマンティクスを用いて定義することが提案されている：１に等しいｉｎｔｅｒｌａｙｅｒ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、レイヤ間予測動作が参照レイヤのタイル境界を横切って実行されることを規定する。０に等しいｉｎｔｅｒｌａｙｅｒ＿ｐｒｅｄ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、レイヤ間フィルタリング動作がタイル境界を横切って実行されないことを規定する。レイヤ間予測は、テクスチャ、動き、シンタックス、又は残差の予測を含み得る。フラグは、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダ、又は他のシンタックス構造において通知され得る。
[0114]本開示はまた、タイルベースのアップサンプリングに関する技法を説明する。ビデオエンコーダ２０及び／又はビデオデコーダ３０は、本開示のタイルベースのアップサンプリングの技法を実行するように構成され得る。実際には、アップサンプリングが、タイル境界に沿って及び／又はそこを横切って許容されないことは好ましくない。即ち、本開示の技法によって、アップサンプリングが、タイル境界に沿って及び／又はそこを横切って可能であることが好ましい。
[0115]一例として、ビデオエンコーダ２０及びビデオデコーダ３０は、タイルベースのアップサンプリングが（例えば、対応する拡張レイヤに対して）可能にされるかどうかを示すシンタックス要素（例えば、１つ又は複数の拡張レイヤに対するＳＰＳ、ＰＰＳ、又はＶＰＳ内のフラグ）をコード化し得る。例えば、以下の表３に示すシンタックスは、ＳＰＳ内で通知され得、ここで、イタリック体のシンタックス要素は、ＳＰＳに対する従来のシンタックスに対する追加を表す：
Figure 2016514427
[0116]このシンタックス要素に対するセマンティクスは、次のように定義され得る：０に等しいｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ピクチャベースのアップサンプリングが可能にされることを規定する。１に等しいｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、タイルベースのアップサンプリングが可能にされることを規定する。
[0117]タイルベースのアップサンプリングが可能にされると、ビデオエンコーダ２０及びビデオデコーダ３０は、アップサンプリングプロセスにおけるピクチャ境界のものと同様の方法でタイル境界を取り扱うことができる。即ち、（現在ピクチャの内側又は外側にあり得る）現在タイルの外側の画素サンプルがアップサンプリングに必要であるとき、ビデオエンコーダ２０及びビデオデコーダ３０は、現在タイルの内側のそれらの画素からパッドする画素を有する画素に対する値を生成し得る。パディングプロセスは、現在ピクチャの外側の画素に対して、例えばＨＥＶＣによって定義されるプロセスと同じであり得る。
[0118]同様の原理が、レイヤ間フィルタリングにも適用され得る。レイヤ間フィルタリング動作は、レイヤ間ＡＬＦ及び／又はＳＮＲに対する平滑化フィルタなどを含み得る。以下の表４は、レイヤ間フィルタリング動作が可能にされるかどうかを示すシンタックスデータの一例を表し、ここで、イタリック体のテキストは、提案された規格の以前のバージョンへの追加を表す。
Figure 2016514427
[0119]このシンタックス要素に対するセマンティクスは、次のように定義され得る：０に等しいｉｎｔｅｒ＿ｌａｙｅｒ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ピクチャベースのレイヤ間フィルタリングが可能にされることを規定する。１に等しいｉｎｔｅｒ＿ｌａｙｅｒ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、タイルベースのレイヤ間フィルタリングが可能にされることを規定する。存在しない（例えば、ＳＰＳにおいて）とき、ビデオデコーダ３０は、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０に等しいと推測し得る。タイルベースのアップサンプリングプロセスと同様に、タイルベースのレイヤ間フィルタリングが可能にされるとき、ビデオエンコーダ２０及びビデオデコーダ３０は、レイヤ間フィルタリングプロセスにおけるピクチャ境界と同様の方法でタイル境界を取り扱うことができる。
[0120]本開示はまた、スライス境界及び／又はタイル境界周りのＳＡＯフィルタ及びデブロッキングフィルタの前に再構成された画素を使用するアップサンプリングに対する技法を説明する。ＰＰＳにおいて、１に等しいｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ループ内フィルタリング動作が、ＰＰＳを参照するピクチャ内のタイル境界を横切って実行され得ることを規定し得る。０に等しいｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ループ内フィルタリング動作が、ＰＰＳを参照するピクチャ内のタイル境界を横切って実行されないことを規定し得る。ループ内フィルタリング動作は、デブロッキングフィルタ及びサンプルアダプティブオフセットフィルタ動作を含み得る。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は、存在しない場合、１に等しいと推測され得る。
[0121]幾つかの例では、ビデオエンコーダ２０及びビデオデコーダ３０は、タイルベースのアップサンプリングが、参照レイヤループフィルタリングプロセスが実行される前（又はされた後）に再構成された画素を使用して実行されるかどうかを示すシンタックス要素（例えば、各拡張レイヤに対するＳＰＳ又はＶＰＳ内のフラグ）をコード化し得る。表５は、タイルベースのアップサンプリングが、参照レイヤループフィルタリングプロセスの前に再構成された画素を使用して実行されるかどうかを示す、ＳＰＳ内で通知され得るシンタックスデータの一例を表し、ここで、イタリック体のテキストは、提案された規格の以前のバージョンに対する、本開示で提案される追加を表す。
Figure 2016514427
[0122]このシンタックス要素に対するセマンティクスは、次のように定義され得る：０に等しいｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ｂｅｆｏｒｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、タイルベースのアップサンプリングが参照レイヤループフィルタリングプロセスの前に再構成された画素を使用することを規定する。１に等しいｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、タイルベースのアップサンプリングが参照レイヤループフィルタリングの後に再構成された画素を使用することを規定する。存在しないとき、ビデオデコーダ３０は、ｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は１に等しいと推測し得る。同様の原理が、レイヤ間フィルタリングに適用され得る。同じく、同様の原理が、タイル境界に加えて又はその代替として、スライス境界に適用され得る。「サブピクチャ単位」という用語は、フルピクチャより小さく、複数のＣＴＵを含む、スライス、タイル、波面、ＣＴＵの行、又は他のそのような単位を指すことがある。従って、上記の技法は、サブピクチャ単位ベースのアップサンプリングが、参照レイヤループフィルタリングプロセスが実行される前に再構成された画素を使用して実行されるかどうかを示すデータをコード化するための技法として説明され得る。
[0123]本開示はまた、波面並列処理（ＷＰＰ）ベースのアップサンプリングに関する技法を説明する。実際には、ＷＰＰを使用する低遅延のアプリケーションに対して、アップサンプリング（又はＳＮＲの場合に対する平滑フィルタリング）が垂直のＣＴＵ境界に沿って／を横切って許容されないことは好ましくない。即ち、垂直のＣＴＵ境界に沿って／を横切ってアップサンプリング（又は平滑フィルタリング）を可能にすることが望ましい。一実装例として、ビデオエンコーダ２０及びビデオデコーダ３０は、レイヤ間フィルタリングを実行するときに、下及び右のＣＴＵからのデータを使用することを回避するために、パディングを使用するように構成され得る。この実装形態は、参照レイヤＣＴＵが、拡張レイヤＣＴＵの前にコード化されることだけを必要とする。
[0124]本開示の技法によれば、ビデオエンコーダ２０及びビデオデコーダ３０は、ＷＰＰベースのレイヤ間フィルタリングが可能にされるかどうかを示すシンタックス要素（例えば、各拡張レイヤに対するＳＰＳ又はＶＰＳ内のフラグ）をコード化するように構成され得る。例えば、ビデオエンコーダ２０及びビデオデコーダ３０は、以下の表６によるＳＰＳ内のシンタックス要素をコード化し得、ここで、イタリック体のテキストは、本開示で提案する追加を表す。
Figure 2016514427
[0125]このシンタックス要素に対するセマンティクスは、次のように定義され得る：０に等しいｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｗｐｐｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ピクチャベースのアップサンプリングが可能にされることを規定する。１に等しいｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｗｐｐｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ＣＴＵ行ベースのアップサンプリングが可能にされることを規定する。存在しないとき、ビデオデコーダ３０は、ｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｗｐｐｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０に等しいと推測する。
[0126]ＣＴＵ行ベースのアップサンプリングが可能にされると、ビデオエンコーダ２０及びビデオデコーダ３０は、アップサンプリングプロセスにおけるピクチャ境界のものと同様の方法でＣＴＵ行境界を取り扱うことができる。即ち、（現在ピクチャの内側又は外側にあり得る）現在のＣＴＵ行の外側の画素サンプルがアップサンプリングに必要であるとき、ビデオエンコーダ２０及びビデオデコーダ３０は、現在のＣＴＵ行の内側のそれらの画素からパッドする画素を有する画素に対する値を生成し得る。パディングプロセスは、現在ピクチャの外側の画素に対して、例えばＨＥＶＣによって定義されるプロセスと同じであり得る。
[0127]ビデオエンコーダ２０は更に、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、及びＧＯＰベースのシンタックスデータなどのシンタックスデータを、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、又はＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ内のフレームの数を記述することができ、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化／予測モードを示すことができる。
[0128]ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、適用可能なとき、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ又はデコーダ回路のいずれか、若しくはそれらの任意の組合せとして実装され得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む機器は、集積回路、マイクロプロセッサ、及び／又はセルラー電話などのワイヤレス通信機器を備え得る。
[0129]図２は、ビデオデータを並列に処理するための技法を実装し得るビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコード化とインターコード化とを実施することができる。イントラコード化は、空間的予測を利用して、所与のビデオフレーム又はピクチャ内のビデオの空間的冗長性を低減又は除去する。インターコード化は、時間的予測を利用して、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間的冗長性を低減又は除去する。イントラモード（Ｉモード）は、幾つかの空間ベースのコード化モードのいずれかを指す場合がある。単方向予測（Ｐモード）又は双方向予測（Ｂモード）などのインターモードは、幾つかの時間ベースのコード化モードのいずれかを指す場合がある。
[0130]図２に示されたように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在ビデオブロックを受信する。図２の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、参照ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測単位４６と、区分化ユニット４８とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換単位６０と、加算器６２とを含む。ブロック境界をフィルタ処理して復元されたビデオからブロック歪み（blockiness artifacts）を除去するために、デブロッキングフィルタ（図２に示されず）が含まれる場合もある。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタリングすることになる。追加のフィルタ（ループ内又はループ後）もデブロッキングフィルタに加えて使用され得る。そのようなフィルタは簡潔のために示されていないが、必要な場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理することができる。
[0131]符号化プロセス中に、ビデオエンコーダ２０は、コード化されるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは、複数のビデオブロックに分割され得る。動き推定ユニット４２及び動き補償ユニット４４は、時間予測を行うために、１つ又は複数の参照フレーム中の１つ又は複数のブロックに対して、受信されたビデオブロックのインター予測コード化を実行する。イントラ予測単位４６は、代替として、空間予測を実現するために、コード化されるべきブロックと同じフレーム又はスライス内の１つ又は複数の隣接ブロックに対して、受信されたビデオブロックのイントラ予測コード化を実行することができる。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切なコード化モードを選択するために、複数のコード化パスを実行することができる。
[0132]その上、区分化ユニット４８は、以前のコード化パスにおける以前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分することができる。例えば、区分化ユニット４８は、最初にフレーム又はスライスをＬＣＵに区分し、レート歪み分析（例えば、レート歪み最適化）に基づいてＬＣＵの各々をサブＣＵに区分することができる。モード選択ユニット４０は、ＬＣＵをサブＣＵに区分することを示す４分木データ構造を更に生成し得る。４分木のリーフノードＣＵは、１つ又は複数のＰＵと１つ又は複数のＴＵとを含む場合がある。
[0133]モード選択ユニット４０は、例えば、誤差結果に基づいてコード化モード、即ち、イントラ又はインターのうちの１つを選択し、残差ブロックデータを生成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器５０に与え、参照フレームとして使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器６２に与え得る。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、区分情報（partition information）、及び他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット５６に与える。
[0134]動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット４２によって実施される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在フレーム（又は他のコード化単位）内でコード化されている現在ブロックに対する参照フレーム（又は他のコード化単位）内の予測ブロックに対する現在ビデオフレーム又はピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対値差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、又は他の差分メトリックによって決定され得る画素差分に関して、コード化されるべきブロックにぴったり一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間し得る。従って、動き推定ユニット４２は、フル画素位置と分数画素位置とに対する動き探索を実施し、分数画素精度で動きベクトルを出力し得る。
[0135]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライスにおけるビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）又は第２の参照ピクチャリスト（リスト１）から選択されてよく、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６４に記憶された１つ又は複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
[0136]動き補償ユニット４４によって実施される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックを取り込む（fetching）又は生成することに関与し得る。この場合も、幾つかの例では、動き推定ユニット４２と動き補償ユニット４４とは機能的に統合され得る。現在ビデオブロックのＰＵについての動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。加算器５０は、以下で説明されるように、コード化されている現在ビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット４２はルーマ成分に対して動き推定を実行し、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
[0137]イントラ予測単位４６は、前述のように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測単位４６は、現在のブロックを符号化するために使用するようにイントラ予測モードを決定することができる。幾つかの例では、イントラ予測単位４６は、例えば、別個の符号化パスにおいて、様々なイントラ予測モードを使用して現在のブロックを符号化することができ、イントラ予測単位４６（又は、幾つかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択することができる。
[0138]例えば、イントラ予測単位４６は、様々なテストされたイントラ予測モードのためのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、概して、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量、及び符号化されたブロックを生成するために使用されるビットレート（即ち、ビット数）を決定する。イントラ予測単位４６は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化されたブロックの歪み及びレートから比率を計算し得る。
[0139]ブロックのためのイントラ予測モードを選択した後に、イントラ予測単位４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に与え得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブル及び複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード（most probable intra-prediction mode）、イントラ予測モードインデックステーブル、及び変更されたイントラ予測モードインデックステーブルの指示とを含み得る、構成データを含め得る。
[0140]ビデオエンコーダ２０は、コード化されている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって、残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つ又は複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を含むビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を実行することができる。ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用され得る。いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報を画素値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送ることができる。量子化ユニット５４は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。幾つかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行することができる。代替的に、エントロピー符号化ユニット５６が走査を実行してよい。
[0141]量子化の後、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピーコード化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化又は別のエントロピーコード化技法を実行し得る。コンテキストベースエントロピーコード化の場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット５６によるエントロピーコード化の後に、符号化されたビットストリームは、別の機器（例えば、ビデオデコーダ３０）に送信されるか、又は後で送信するか又は取り出すためにアーカイブされ得る。
[0142]逆量子化ユニット５８及び逆変換単位６０は、それぞれ逆量子化及び逆変換を適用して、例えば、参照ブロックとして後で使用するために、画素領域中で残差ブロックを再構築する。動き補償ユニット４４は、残差ブロックを参照ピクチャメモリ６４のフレームのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。参照ピクチャメモリ６４は、復号ピクチャバッファ（ＤＰＢ）を実装し得るか又は含み得る。動き補償ユニット４４はまた、動き推定において使用するためのサブ整数画素値を計算するために、再構成された残差ブロックに１つ又は複数の補間フィルタを適用し得る。加算器６２は、再構築された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための再構築されたビデオブロックを生成する。再構築されたビデオブロックは、後続のビデオフレーム中のブロックをインターコード化するために動き推定ユニット４２及び動き補償ユニット４４によって参照ブロックとして使用され得る。
[0143]ビデオエンコーダ２０は、本開示の技法のいずれかを、単独で又は任意の組合せで実行するように構成され得るビデオエンコーダの一例を表す。例えば、ビデオエンコーダ２０は、参照レイヤピクチャが、タイル境界を横切るフィルタリングを可能にされているかどうかを決定するように構成され得、そうである場合、参照レイヤピクチャからの拡張レイヤピクチャに対するレイヤ間予測を無効にする。追加又は代替として、ビデオエンコーダ２０は、参照レイヤピクチャを符号化し、実質的に並列により大きいアスペクト比を有する拡張レイヤピクチャを符号化するように構成され得、ここで、ビデオエンコーダ２０は、レイヤ間予測を使用して拡張レイヤピクチャの重複部を符号化し、レイヤ間予測を使用せずに拡張レイヤピクチャの非重複部を符号化することができる。追加又は代替として、ビデオエンコーダ２０は、拡張レイヤに対するタイル境界が参照レイヤピクチャのタイル境界と整列されているかどうかを示すシンタックス要素を符号化し、シンタックス要素に基づいて拡張レイヤピクチャを符号化することができる。即ち、ビデオエンコーダ２０は、タイル境界が整列されていない場合にレイヤ間予測を無効にするが、タイル境界が整列されている場合にレイヤ間予測を可能にすることができる。追加又は代替として、ビデオエンコーダ２０は、拡張レイヤタイルが符号化され得る前に符号化されるべき参照レイヤタイルの数を示す拡張レイヤタイルに対するシンタックス要素を符号化し、次いで、参照レイヤタイルのその数を符号化した後、拡張レイヤタイルを符号化することができる。これらの様々な符号化動作のいずれか又は全ては、拡張レイヤタイルを符号化するためにレイヤ間予測に使用される参照レイヤタイルが、拡張レイヤタイルが符号化される前に符号化されるという制約の下で、他の符号化動作と並列に実行され得る。
[0144]図３は、ビデオデータを並列に処理するための技法を実装し得るビデオデコーダ３０の一例を示すブロック図である。図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換単位７８と、参照ピクチャメモリ８２と、加算器８０とを含む。参照ピクチャメモリ８２は、復号ピクチャバッファ（ＤＰＢ）を実装し得るか又は含み得る。ビデオデコーダ３０は、幾つかの例では、ビデオエンコーダ２０（図２）に関して説明された符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。
[0145]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化されたビデオスライスのビデオブロックと、関連付けられるシンタックス要素とを表す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、量子化係数、動きベクトル又はイントラ予測モードインジケータ、及び他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動きベクトルと他のシンタックス要素とを動き補償ユニット７２に転送する。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受信し得る。
[0146]ビデオスライスがイントラコード化（Ｉ）スライスとしてコード化されるとき、イントラ予測ユニット７４は、信号伝達されたイントラ予測モードと、現在フレーム又はピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（即ち、Ｂ、Ｐ、又はＧＰＢ）スライスとしてコード化されるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロック用の予測ブロックを生成する。予測ブロックは、参照ピクチャリストの１つの中の参照ピクチャのうち１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ８２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、即ち、リスト０とリスト１とを構成し得る。動き補償ユニット７２は、動きベクトルと他のシンタックス要素とを解析することによって現在のビデオスライスのビデオブロックについての予測情報を決定し、復号されている現在のビデオブロックのための予測ブロックを生成するために予測情報を使用する。例えば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えば、イントラ又はインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）と、スライスの参照ピクチャリストのうちの１つ又は複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素の幾つかを使用する。
[0147]動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、参照ブロックのサブ整数画素のための補間された値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
[0148]逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット７０によって復号された量子化変換係数を逆の量子化（inverse quantize）、即ち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオデコーダ３０によって計算される量子化パラメータＱＰYの使用を含み得る。
[0149]逆変換単位７８は、画素領域において残差ブロックを生成するために、逆変換、例えば逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用する。
[0150]動き補償ユニット７２が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換単位７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器８０は、この加算演算を実行する１つ又は複数の構成要素を表す。所望される場合、ブロック歪み除去するために復号されたブロックをフィルタ処理するデブロッキングフィルタも適用され得る。画素遷移を平滑化するために、又は場合によってはビデオ品質を改善するために、（コード化ループ内又はコード化ループ後のいずれかの）他のループフィルタも使用され得る。所与のフレーム又はピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ８２に記憶される。参照ピクチャメモリ８２はまた、図１の表示装置３２などの表示装置上での後の提示のために、復号されたビデオを記憶する。
[0151]ビデオデコーダ３０は、本開示の技法のいずれか又は全てを、単独で、又は任意の組合せで実施するように構成され得る。例えば、ビデオデコーダ３０は、参照レイヤピクチャが、タイル境界を横切るフィルタリングを可能にされているかどうかを決定するように構成され得、そうである場合、参照レイヤピクチャからの拡張レイヤピクチャに対するレイヤ間予測を無効にする。追加又は代替として、ビデオデコーダ３０は、参照レイヤピクチャを復号し、実質的に並列に参照レイヤピクチャより大きいアスペクト比を有する拡張レイヤピクチャを復号するように構成され得、ここで、ビデオデコーダ３０は、レイヤ間予測を使用して拡張レイヤピクチャの重複部を復号し、レイヤ間予測を使用せずに拡張レイヤピクチャの非重複部とを復号することができる。追加又は代替として、ビデオデコーダ３０は、拡張レイヤに対するタイル境界が参照レイヤピクチャの境界と整列されているかどうかを示すシンタックス要素を復号し、シンタックス要素に基づいて拡張レイヤピクチャを復号することができる。即ち、ビデオデコーダ３０は、タイル境界が整列されていない場合にレイヤ間予測を無効にするが、タイル境界が整列されている場合にレイヤ間予測を可能にすることができる。追加又は代替として、ビデオデコーダ３０は、拡張レイヤタイルが復号され得る前に復号されるべき参照レイヤタイルの数を示す拡張レイヤタイルに対するシンタックス要素を復号し、次いで、参照レイヤタイルのその数を復号した後、拡張レイヤタイルを復号することができる。これらの様々な復号動作のいずれか又は全ては、拡張レイヤタイルを復号するためにレイヤ間予測に使用される参照レイヤタイルが、拡張レイヤタイルが復号される前に復号されるという制約の下で、他の復号動作と並列に実行され得る。
[0152]図４は、スケーラブルビデオコード化（ＳＶＣ）のための様々なスケーラブルな次元を示す概念図である。図４は、ＳＶＣのスケーラビリティ構造の一例を示す。特に、異なる次元におけるスケーラビリティの一例が図４に示される。この例では、スケーラビリティが３つの次元において使用可能である。時間次元では、７．５Ｈｚ、１５Ｈｚ又は３０Ｈｚをもつフレームレートが時間スケーラビリティ（Ｔ）によってサポートされ得る。空間スケーラビリティ（Ｓ）がサポートされるとき、ＱＣＩＦ、ＣＩＦ及び４ＣＩＦなどの異なる解像度が使用可能である。特定の空間解像度及びフレームレートごとに、ピクチャ品質を改善するために信号対雑音（ＳＮＲ）（Ｑ）レイヤが追加され得る。
[0153]ビデオコンテンツがそのようなスケーラブルな方法で符号化されると、例えば、クライアント又は送信チャネルに依存し得るアプリケーション要件に従って、実際の配信されたコンテンツを適応させるために、抽出器ツールが使用され得る。図４に示された例では、各体積、即ち立方体は、同じフレームレート（時間レベル）、空間解像度及びＳＮＲレイヤをもつピクチャを含んでいる。それらの立方体（ピクチャ）を任意の次元で追加することによって、より良い表現が達成され得る。使用可能な２つ、３つ又は更に多くのスケーラビリティがあるとき、複合スケーラビリティがサポートされ得る。
[0154]ＳＶＣの仕様によれば、最も低い空間レイヤ及び品質レイヤを有するピクチャは、Ｈ．２６４／ＡＶＣと互換性があり、最低の時間レベルにあるピクチャは、より高い時間レベルにあるピクチャで強調され得る時間ベースレイヤを形成する。Ｈ．２６４／ＡＶＣ互換レイヤに加えて、空間スケーラビリティ及び／又は品質スケーラビリティを実現するために、幾つかの空間拡張レイヤ及び／又はＳＮＲ拡張レイヤが追加され得る。ＳＮＲスケーラビリティは品質スケーラビリティと呼ばれることもある。各空間又はＳＮＲ拡張レイヤ自体は、Ｈ．２６４／ＡＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルになり得る。１つの空間又はＳＮＲ拡張レイヤについて、それが依存するより低いレイヤは、その特定の空間又はＳＮＲ拡張レイヤのベースレイヤと呼ばれることもある。
[0155]図５は、ＳＶＣコード化構造の一例を示す概念図である。この例では、最低空間及び品質レイヤをもつピクチャ（ＱＣＩＦ解像度をもつ、レイヤ０及びレイヤ１中のピクチャ）は、Ｈ．２６４／ＡＶＣに適合する。それらの中で、最低時間レベルのピクチャは、図５のレイヤ０に示されているように、時間ベースレイヤを形成する。この時間ベースレイヤ（レイヤ０）は、より高い時間レベル（レイヤ１）のピクチャを用いて拡張され得る。Ｈ．２６４／ＡＶＣ互換レイヤに加えて、空間スケーラビリティ及び／又は品質スケーラビリティを実現するために、幾つかの空間拡張レイヤ及び／又はＳＮＲ拡張レイヤが追加され得る。例えば、拡張レイヤは、レイヤ２と同じ解像度をもつＣＩＦ表現であり得る。この例では、レイヤ３はＳＮＲ拡張レイヤである。この例に示されているように、各空間又はＳＮＲ拡張レイヤ自体は、Ｈ．２６４／ＡＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルになり得る。また、拡張レイヤは空間解像度とフレームレートの両方を向上させことができる。例えば、レイヤ４は、フレームレートを１５Ｈｚから３０Ｈｚに更に増加させる４ＣＩＦ拡張レイヤを与える。
[0156]図６は、例示的なアクセス単位（ＡＵ）を示す概念図である。各ＡＵは、ネットワークアブストラクションレイヤ（ＮＡＬ）単位内にカプセル化された、１つ又は複数のスライスを含む。レイヤごとのアクセス単位当たりにゼロ又はそれ以上のＮＡＬ単位が存在し得る。１つのアクセス単位内の１つのレイヤに対応するＮＡＬ単位のセットは、「レイヤ成分」と呼ばれることがある。図６の例は、図５のレイヤ成分に対応するレイヤ成分を描いている。図６の例に示されているように、同じ時間インスタンス中（即ち、共通のＡＵの中）のコード化スライスは、ビットストリーム順序で連続しており、ＳＶＣのコンテキストにおける１つのアクセス単位を形成する。それらのＳＶＣアクセス単位は、次いで、表示順序とは異なり得る、例えば、時間予測関係によって決定され得る、復号順序に従う。
[0157]Ｈ.２６４／ＡＶＣ（先進的ビデオコード化）のスケーラブルな拡張が、以下で説明される。ＳＶＣの幾つかの機能はＨ．２６４／ＡＶＣから引き継がれている。以前のスケーラブルな規格と比較すると、Ｈ.２６４／ＡＶＣに対するＳＶＣ拡張の最大の利点の幾つか、即ちレイヤ間予測及びシングルループ復号が、以下で考察される。
[0158]Ｈ.２６４／ＡＶＣのＳＶＣ拡張は、シングルループ復号をサポートする。低複雑度デコーダを保持するために、ＳＶＣではシングルループ復号が必須である。シングルループ復号で、各々のサポートされるレイヤは、単一の動き補償ループで復号され得る。これを達成するために、レイヤ間イントラ予測の使用は、同一位置配置参照レイヤ信号がそのためにイントラコード化される拡張レイヤマクロブロックのためにのみ可能にされる。より高いレイヤをレイヤ間予測するために使用される全てのレイヤが、制約付きイントラ予測を使用してコード化されることが更に必要である。
[0159]Ｈ．２６４／ＡＶＣのＳＶＣ拡張もまた、レイヤ間予測をサポートする。ＳＶＣは、テクスチャ、残差及び動きに基づいて、空間スケーラビリティ及びＳＮＲスケーラビリティのためのレイヤ間予測を導入する。ＳＶＣにおける空間スケーラビリティは、２つのレイヤ間の任意の解像度比に一般化されている。ＳＮＲスケーラビリティは、粗粒度スケーラビリティ（ＣＧＳ）又は中粒度スケーラビリティ（ＭＧＳ）によって実現され得る。ＳＶＣでは、２つの空間レイヤ又はＣＧＳレイヤは、（ＮＡＬ単位ヘッダ内でｄｅｐｅｎｄｅｎｃｙ＿ｉｄによって示される）異なる依存性レイヤに属するが、２つのＭＧＳレイヤは同じ依存性レイヤ内にあり得る。１つの依存性レイヤは、品質拡張レイヤに対応する、０からより高い値までのｑｕａｌｉｔｙ＿ｉｄを有する品質レイヤを含む。ＳＶＣでは、レイヤ間の冗長性を低減するために、レイヤ間予測方法が利用される。それらは以下の段落で簡単に紹介される。
[0160]レイヤ間イントラ予測を使用するコード化モードは、ＳＶＣでは「イントラＢＬ」モードと呼ばれる。シングルループ復号を使用可能にするために、制約付きイントラモードとしてコード化されるベースレイヤ中の同一位置配置（co-located）マクロブロック（ＭＢ）を有するＭＢのみが、レイヤ間イントラ予測モードを使用することができる。制約付きイントラモードのＭＢは、隣接するインターコード化されたＭＢからのいかなるサンプルも参照せずにイントラコード化される。
[0161]ＭＢが残差予測を使用するように指示された場合、レイヤ間予測用のベースレイヤ内で同じ位置にあるＭＢは、インターＭＢであるに違いなく、その残差は空間解像度比に従ってアップサンプリングされる場合がある。拡張レイヤの残差とベースレイヤの残差との間の差分がコード化される。即ち、
Figure 2016514427
[0162]同じ位置にあるベースレイヤの動きベクトルは、ＭＢの動きベクトル用の予測子又は拡張レイヤ内のＭＢ区分を生成するためにスケーリングされる場合がある。加えて、ＭＢごとに１つのフラグを送る、基本モードと命名された１つのＭＢタイプが存在する。このフラグが真であり、対応するベースレイヤのＭＢがイントラでない場合、動きベクトル、区分化モード、及び参照インデックスは、全てベースレイヤから導出される。
[0163]図７は、高効率ビデオコード化（ＨＥＶＣ）規格による例示的なタイルを示す概念図である。ＨＥＶＣは、タイル及び波面並列処理（ＷＰＰ）を含む、コーデックをより並列に順応させるための幾つかの提案を含む。ＨＥＶＣは、タイルのコード化ツリーブロックラスタ走査において連続的に順序付けられた、１つの列及び１つの行内で同時に発生する整数個のコード化ツリーブロックとしてタイルを定義する。各ピクチャをタイルに分割することは、ＨＥＶＣにおける区分と呼ばれる。ピクチャ内のタイルは、図７に示すように、ピクチャのタイルラスタ走査において連続的に順序付けられる。
[0164]タイルの数及びそれらの境界のロケーションは、全体のシーケンスに対して定義されてもよく、又はピクチャごとに変更されてもよい。スライス境界と同様に、タイル境界は、タイルが単独で処理され得るが、ループ内フィルタ（デブロッキング及びＳＡＯ）は依然として境界を横切れるように、パースと予測依存性とを分割する。ＨＥＶＣはまた、スライスとタイルとの間の関係に対する幾つかの制約を規定する。
[0165]タイルを使用することの１つの利点は、タイルは、エントロピー復号及び動き補償再構成に対してプロセッサ間の通信を必要としないことであるが、通信は、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に設定される場合に必要になることがある。
[0166]スライスと比較して、タイルは、潜在的にスライスより高い相関を有するサンプルを含むピクチャ区分形状を可能とし、同じく、タイルはスライスヘッダオーバーヘッドを低減するので、タイルは、一般的に、より良好なコード化効率を有する。
[0167]ＨＥＶＣにおけるタイル設計は、以下の利点を与え得る：１）並列処理を可能にすること、及び２）スライスの使用と比較して、コード化ツリー単位（ＣＴＵ）の変更された復号順序を可能にすることによってコード化効率を改善すること、しかし、主たる利点は第１の利点である。タイルがシングルレイヤコード化において使用されるとき、シンタックス要素ｍｉｎ＿ｓｐａｔｉａｌ＿ｓｅｇｍｅｎｔａｔｉｏｎ＿ｉｄｃは、１つの処理スレッドによって処理されるべきルーマサンプルの最大数を計算するためにデコーダによって使用され得、デコーダは並列復号情報を最大限に利用することが想定される。ＨＥＶＣにおいて、例えば、エントロピーコード化同期又はタイル境界もしくはスライス境界を横切るデブロッキングフィルタリングによって、異なるスレッド間に同じピクチャの相互依存性が存在し得る。ＨＥＶＣ規格は、ｍｉｎ＿ｓｐａｔｉａｌ＿ｓｅｇｍｅｎｔａｔｉｏｎ＿ｉｄｃの値を可能な最高の値にエンコーダが設定することを奨励する注記を含む。
[0168]図８は、波面並列処理（ＷＰＰ）に対する波面を示す概念図である。ＨＥＶＣは、ＷＰＰ技法を定義する。ＷＰＰが可能にされるとき、ピクチャのＣＴＵ行の各々は、分離された区分である。しかしながら、スライス及びタイルと比較すると、コード化依存性は、ＣＴＵ行の境界において分割されない。加えて、ＣＡＢＡＣ確率は、以前の行の第２のＣＴＵから伝搬され、コード化ロスを更に低減する。同じく、ＷＰＰは、通常のラスタ走査順序を変更しない。依存性は分割されないので、ＷＰＰビットストリームのレート歪みロスは、非並列ビットストリーム（nonparallel bitstream）と比較して小さい。
[0169]ＷＰＰが可能にされると、ＣＴＵ行の数までの数のプロセッサが、ＣＴＵ行（又はライン）を処理するために並列に働き得る。しかしながら、波面依存性は、ピクチャのはじめにおいて、全てのＣＴＵ行が復号を開始することを許容しない。従って、ＣＴＵ行は、同じく、ピクチャの終わりにおいて、同時に復号を終了することができない。これは、多数のプロセッサが使用されるときにより明白になる、並列化の非効率性をもたらす。
[0170]図８は、ＷＰＰが、どのようにしてＣＴＢの行を並列に処理するかを示しており、各行は、上の行の第２のＣＴＢを処理した後、利用可能なＣＡＢＡＣ確率から開始する。
[0171]Ｈ.２６４／ＡＶＣと同様に、ＨＥＶＣもまた、少なくとも時間スケーラビリティと、ＳＮＲスケーラビリティと、空間スケーラビリティとを提供する、現在、スケーラブル高効率ビデオコード化（ＳＨＶＣ：Scalable High efficiency Video Coding）と呼ばれるスケーラブルビデオコード化拡張を有することになる。提案書の募集が、２０１２年７月にリリースされた。ＳＨＶＣ作業ドラフト及びテストモデルの第１のバージョンが、２０１３年３月に利用可能になる。
[0172]ＳＨＶＣにおいて、レイヤ間テクスチャ予測を達成するために、参照レイヤの解像度が拡張レイヤの解像度より低いときに、参照レイヤの再構成されたサンプルが最初にアップサンプリングされる。ＳＮＲスケーラビリティの場合でさえ、参照レイヤサンプルは、より高いコード化効率を得るために、レイヤ間予測のために使用される前にフィルタリングされることがある。現在、アップサンプリング又はレイヤ間フィルタリングのプロセスは、レイヤ成分又は単にピクチャとも呼ばれ得るレイヤピクチャ全体に対して実行される。
[0173]ＳＨＶＣにおいて、マルチループ復号構造が使用される。デコーダは、異なるレイヤを並列に処理し得る。並列処理を容易にするために、Ｆ．Ｈｅｎｒｙ及びＳ．Ｐａｔｅｕｘ、「Ｗａｖｅｆｒｏｎｔ ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ」、ＪＣＴＶＣ−Ｅ１９６、２０１１年３月は、全ての参照レイヤのタイル境界がその拡張レイヤのタイル境界と整列されていることを示すことを提案した。異なるレイヤのタイル境界の整列は、最初に、同じ拡張レイヤタイル内にある任意の２つの拡張レイヤピクチャサンプルに対して、同一位置配置ベースレイヤサンプルもまた同じベースレイヤタイル内にあるように規定される。
[0174]ＳＨＶＣにおいて、マルチループ復号構造が使用される。デコーダは、異なるレイヤを並列に処理し得る。並列処理を容易にするために、全ての参照レイヤのタイル境界がその拡張レイヤのタイル境界と整列されていることを示すことが提案されている。タイル境界の整列及び異なるレイヤの整列のシンタックス及びセマンティクスは、以下の表７において規定され、表７は、Ｋ．Ｓｕｈｒｉｎｇ、Ｒ．Ｓｋｕｐｉｎ、Ｔ．Ｓｃｈｉｅｒｌ、Ｉｎｄｉｃａｔｉｏｎ ｏｆ ｔｉｌｅ ｂｏｕｎｄａｒｙ ａｌｉｇｎｍｅｎｔ、ＪＣＴＶＣ−Ｌ０１９７、２０１３年１月及び上記のＪＣＴＶＣ−Ｍ０４６４に記載の表に対する修正を示しており、ここで、イタリック体のテキストは提案された追加を表す。
Figure 2016514427
[0175]シンタックス要素「ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇ」に対するセマンティクスは、以下の通りである：１に等しいｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇは、対応するベースレイヤピクチャの全てのタイル境界が所与の拡張レイヤ内に対応するタイル境界を有し、拡張レイヤ内に追加のタイル境界は存在しないことを示す。従って、同じ拡張レイヤタイル内にある任意の２つの拡張レイヤピクチャサンプルに対して、同一位置配置ベースレイヤサンプルもまた、同じ参照レイヤタイル内にあり、同じ参照レイヤタイル内にある任意の２つの参照レイヤピクチャサンプルに対して、同一位置配置拡張レイヤサンプルもまた、同じ拡張レイヤタイル内にある。０に等しいシンタックス要素ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇは、対応する拡張レイヤと所与の参照レイヤとの間のタイル構成に対する制約が存在しないことを示す。
[0176]図９は、ＳＨＶＣコーダ、例えばビデオエンコーダ２０又はビデオデコーダ３０における並列処理の一例を示す概念図である。ＳＨＶＣにおいて、拡張レイヤは、ベースレイヤ又はより低い拡張レイヤなど、参照レイヤから予測され得る。更に、参照レイヤ及び拡張レイヤのピクチャのいずれか又は両方が、タイルに分割され得る。図９に示すように、参照レイヤ内のピクチャが、Ｂ０とＢ１との２つのタイルに分割される一方で、拡張レイヤ内のピクチャも、Ｅ０とＥ１との２つのタイルに分割される。この例では、同数のタイル及び同じ相対位置のタイルが、拡張レイヤピクチャ及び参照レイヤピクチャに使用されるが、概して、拡張レイヤピクチャは、参照レイヤピクチャとして同じか又は異なる数のタイルを含み得ることを理解されたい。その上、幾つかの例では、拡張レイヤピクチャは、２つ以上の参照レイヤピクチャから予測され得、それらのいずれか又は全ては、同じか又は異なる数のタイルを有し得る。
[0177]以下でより詳細に説明するように、ビデオエンコーダ２０及びビデオデコーダ３０は、参照のために参照レイヤピクチャを使用して拡張レイヤピクチャをコード化するときに様々な制約を利用するように構成され得、それらのピクチャのいずれか又は両方がタイルに区分される。以下でより詳細に説明される図１０〜図１４は、ビデオエンコーダ２０及びビデオデコーダ３０が構成され得る様々な制約のうちの幾つかを表す。
[0178]図１０は、参照レイヤピクチャ１０４から予測される例示的な拡張レイヤピクチャ１００を示す概念図である。この例では、拡張レイヤピクチャ１００がタイル１０２Ａ〜１０２Ｄを含む一方で、参照レイヤピクチャ１０４は、タイル１０６Ａ、１０６Ｂを含む。図１０の点線で示すように、拡張レイヤピクチャ１００のタイル１０２Ｂが、参照レイヤピクチャ１０４のタイル１０６Ａに対応する一方で、拡張レイヤピクチャ１００のタイル１０２Ｃは、参照レイヤピクチャ１０４のタイル１０６Ｂに対応する。
[0179]この例では、拡張レイヤピクチャ１００は、参照レイヤピクチャ１０４と異なるアスペクト比を有する。例えば、参照レイヤピクチャ１０４は４：３のアスペクト比を有し得、一方、拡張レイヤピクチャ１００は１６：９のアスペクト比を有し得る。従って、拡張レイヤピクチャ１００のタイル１０２Ａ、１０２Ｄは、参照レイヤピクチャ１０４内に対応するタイルをもたない。例えば、拡張レイヤピクチャ１００のタイル１０２Ａは、サンプル１０８を含む。垂直ハッシング（vertical hashing）で示すように、サンプル１０８は、参照レイヤピクチャ１０４内に利用可能な同一位置配置参照レイヤ（ＲＬ）サンプルをもたない。同様に、拡張レイヤピクチャ１００のタイル１０２Ｄのサンプル１１４は、利用可能な同一位置配置ＲＬサンプル（collocated RL sample）をもたない。しかしながら、サンプル１１０、１１２は、参照レイヤピクチャ１０４内に利用可能な同一位置配置参照レイヤサンプル（クロスハッチングで示す）を有する。特に、サンプル１１０、１１２は、参照レイヤピクチャ１０４のサンプル１１６、１１８に対応する。
[0180]このようにして、ビデオエンコーダ２０及びビデオデコーダ３０は、タイル１０６Ａ、１０６Ｂのそれぞれに対するレイヤ間予測を使用してタイル１０２Ｂ、１０２Ｃのビデオデータをコード化し得る。しかしながら、タイル１０２Ａ、１０２Ｄは、参照レイヤピクチャ１０４内に対応する部分をもたないので、ビデオエンコーダ２０及びビデオデコーダ３０は、レイヤ間予測を使用することなく、例えば、イントラ予測又は時間的予測を使用して、タイル１０２Ａ、１０２Ｄをコード化し得る。拡張レイヤピクチャ１００のコード化は、参照レイヤピクチャ１０４のコード化と実質的に並列に発生し得る。例えば、ビデオコーダ（例えば、ビデオエンコーダ２０又はビデオデコーダ３０）は、タイル１０６Ａをコード化し、次いで、タイル１０６Ｂと実質的に並列にタイル１０２Ｂをコード化し得る。その上、タイル１０２Ａ、１０２Ｄは参照レイヤピクチャ１０４のデータに依存しないので、タイル１０２Ａ、１０２Ｄのコード化は、タイル１０６Ａ、１０６Ｂをコード化する前に実質的に並列に、又はタイル１０６Ａ、１０６Ｂをコード化した後に発生し得る。
[0181]図１０は、タイル１０２Ｂ、１０２Ｃのタイル境界がタイル１０６Ａ、１０６Ｂのタイル境界と整列されていると言われてよい一例を示す。幾つかの例では、同じ拡張レイヤタイル内にある任意の２つの拡張レイヤピクチャサンプルに対して、同一位置配置参照レイヤサンプルもまた、利用可能な場合、同じ参照レイヤタイル内にあるとき、及び、同じ参照レイヤタイル内にある任意の２つの参照レイヤピクチャサンプルに対して、同一位置配置拡張レイヤサンプルもまた、利用可能な場合、同じ拡張レイヤタイル内にあるときに、タイル境界は、整列されていると言われてよい。タイル１０２Ａ内の任意の２つのサンプルは１０６Ａ内の同一位置配置サンプルに対応し、同様に、タイル１０６Ａ内の任意の２つのサンプルはタイル１０２Ａ内の同一位置配置サンプルに対応するので、タイル１０２Ａの境界は、タイル１０６Ａの境界と整列されていると言われてよい。同様に、タイル１０２Ｂ内の任意の２つのサンプルはタイル１０６Ｂ内の同一位置配置サンプルに対応し、同様に、タイル１０６Ｂ内の任意の２つのサンプルはタイル１０２Ｂ内の同一位置配置サンプルに対応するので、タイル１０２Ｂの境界は、タイル１０６Ｂの境界と整列されていると言われてよい。
[0182]このようにして、図１０は、ビデオエンコーダ２０及びビデオデコーダ３０が、第１のアスペクト比を備えるベースレイヤピクチャをコード化（例えば、符号化又は復号）することと、第２のアスペクト比を備える拡張レイヤピクチャをベースレイヤピクチャと実質的に並列にコード化することとを行うように構成され得る一例を描いており、第２のアスペクト比は第１のアスペクト比より大きく、拡張レイヤピクチャをコード化することは、レイヤ間予測を使用することなく、第１のアスペクト比によって定義された領域の外側にある拡張レイヤピクチャの部分をコード化することを備える。
[0183]図１１は、幾つかの参照レイヤ（又はベースレイヤ）サンプルが、対応する拡張レイヤサンプルをもたない、拡張された空間スケーラビリティの一例を示す概念図である。特に、図１１の例は、拡張レイヤピクチャ１３０と参照レイヤピクチャ１３６とを示す。この例に示すように、参照レイヤピクチャ１３６が、拡張レイヤピクチャ１３０をコード化するための参照ピクチャとして使用するために空間的にアップサンプリングされるとき、参照レイヤピクチャ１３０の部分に対応しない参照レイヤピクチャ１３６の領域が存在する。
[0184]より詳細には、参照レイヤピクチャ１３６は、タイル１３８Ａ及びタイル１３８Ｂの２つのタイルを含む一方で、拡張レイヤピクチャ１３０は、タイル１３２Ａ及びタイル１３２Ｂの、２つの概して対応するタイルを含む。参照レイヤピクチャ内の鎖線は、タイル１３２Ａ、１３２Ｂのそれぞれに対応する領域１４０Ａ、１４０Ｂを画定する。しかしながら、鎖線と参照レイヤピクチャ１３６の外部境界との間の領域１４２Ａ、１４２Ｂは、拡張レイヤピクチャ１３０の実際の領域に対応しない領域を画定する。即ち、拡張レイヤピクチャ１３０の境界周りの鎖線は、拡張レイヤピクチャ１３０の外部境界と、拡張レイヤピクチャ１３０に対するサンプルを含まないが領域１４２Ａ、１４２Ｂに対応する鎖線との間の領域１３４を画定する。
[0185]例えば、図１１は、参照レイヤピクチャ１３６のタイル１３８Ａに対する２つの例示的なサンプル、即ち、サンプル１４４及びサンプル１４８を示す。サンプル１４４は、領域１４０Ａの境界内にあるので、サンプル１４４は、拡張レイヤピクチャ１３０内のタイル１３２Ａのサンプル１５２に対応すると言われてよい。一方で、サンプル１４８は拡張レイヤピクチャ１３０のサンプルに対応せず、代わりに、領域１４２Ａが、サンプルが存在しない領域１３４内の一部に対応する。このようにして、サンプル１４８は、対応する拡張レイヤサンプルをもたないサンプルの一例として説明され得る。
[0186]同様に、図１１は、参照レイヤピクチャ１３６のタイル１３８Ｂに対する２つの例示的なサンプル、即ち、サンプル１４６及びサンプル１５０を示す。サンプル１４６は、領域１４０Ａの境界内にあるので、サンプル１４６は、拡張レイヤピクチャ１３０内のタイル１３２Ｂのサンプル１５４に対応すると言われてよい。一方で、サンプル１５０は拡張レイヤピクチャ１３０のサンプルに対応せず、代わりに、領域１４２Ｂが、サンプルが存在しない領域１３４内の一部に対応する。このようにして、サンプル１５０は、対応する拡張レイヤピクチャをもたないサンプルの別の例として説明され得る。
[0187]このようにして、図１１は、タイル１３８Ａ、１３８Ｂが、それぞれ、タイル１３２Ａ、１３２Ｂと整列されている一例を提供する。即ち、上記で説明したように、同じ拡張レイヤタイル内にある任意の２つの拡張レイヤピクチャサンプルに対して、同一位置配置参照レイヤサンプルもまた、利用可能な場合、同じ参照レイヤタイル内にあるとき、及び、同じ参照レイヤタイル内にある任意の２つの参照レイヤピクチャサンプルに対して、同一位置配置拡張レイヤサンプルもまた、利用可能な場合、同じ拡張レイヤタイル内にあるときに、タイルは、「整列されて」いると言われてよい。即ち、タイル１３８Ａ、１３８Ｂの境界は、それぞれ、タイル１３２Ａ、１３２Ｂの境界と厳密には整列されてはいないが、参照レイヤピクチャ１３６のサンプル１４８、１５０は、利用可能な拡張レイヤサンプルに対応しない。タイル１３２Ａ内の全てのサンプルは、領域１４０Ａに対応するサンプルを有し、同様に、タイル１３２Ｂ内の全てのサンプルは、領域１４０Ｂ内に対応するサンプルを有する。同様に、領域１４０Ａ内の全てのサンプルは、タイル１３２Ａ内のサンプルに対応し、領域１４０Ｂ内の全てのサンプルは、タイル１３２Ｂ内のサンプルに対応する。従って、タイル１３２Ａ、１３２Ｂは、それぞれ、タイル１３８Ａ、１３８Ｂと整列されていると言われてよい。
[0188]図１２は、参照レイヤピクチャ１６２と拡張レイヤピクチャ１６０とを示す概念図である。拡張レイヤピクチャ１６０及び参照レイヤピクチャ１６２は、同じアクセス単位内で発生し得る（又はさもなければ、互いに対応し得る）。拡張レイヤピクチャ１６０は、タイル１６４Ａ、１６４Ｂ及び１６４Ｃに区分される一方で、参照レイヤピクチャ１６２は、タイル１６８Ａ、１６８Ｂ、１６８Ｃに区分される。加えて、図１２は、タイル１６４Ｂ、１６８Ｂのそれぞれの中に例示的なブロック１６６、１７０を示す。ブロック１６６はブロック１７０と配列されているので、ブロック１６６は、ブロック１７０に対応すると言われてよい。
[0189]本開示の幾つかの例示的な技法によれば、ビデオエンコーダ２０及びビデオデコーダ３０は、様々な条件に基づいてブロック１７０からのブロック１６６のレイヤ間予測を防止するか又は可能にするように構成され得る。一例では、ビデオエンコーダ２０及びビデオデコーダ３０は、参照レイヤピクチャ１６２内のタイルを横切るレイヤ間フィルタリング及び／又は参照レイヤフィルタリングが可能にされるとき、ブロック１７０からのレイヤ間テクスチャ予測及び／又はレイヤ間シンタックス予測を使用するブロック１６６のコード化を防止するように構成され得る。ビデオエンコーダ２０及びビデオデコーダ３０は、拡張レイヤ及び参照レイヤなどの様々なレイヤのタイル境界が整列されているかどうかを示すデータ、並びにタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングがブロック１７０に対して可能にされるとき、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測の少なくとも一方がタイル境界に沿って又はそこを横切って許容されないかどうかを示すデータを、更にコード化し得る。
[0190]ビデオエンコーダ２０及びビデオデコーダ３０は、追加又は代替として、異なるレイヤ間のタイル境界（例えば、タイル１６４、１６８の境界）が整列されているかどうかを示すデータ、及びレイヤ間テクスチャ予測及び／又はレイヤ間シンタックス予測がタイル境界に沿って又はそこを横切って許容されないかどうかを示すデータをコード化し得る。レイヤ間テクスチャ予測及びレイヤ間シンタックス予測がタイル境界に沿って又はそこを横切って許容されないとき、ビデオエンコーダ２０及びビデオデコーダ３０は、整列されないベースレイヤタイルをコード化することなく、タイルのブロックをコード化し得る。例えば、（ブロック１６０と同一位置配置された）ブロック１７７が、ブロック１６４Ｂと整列されないタイル内にあるとすれば、ビデオエンコーダ２０及びビデオデコーダ３０は、最初にブロック１７７をコード化することなくブロック１６０をコード化することができ、従って、ブロック１７７と並列にブロック１６０をコード化することができる。
[0191]レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、タイル境界に沿って又はそこを横切って許容されないかどうかを示すデータは、表１に関して上記で説明した、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇシンタックス要素を備え得る。追加又は代替として、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、タイル境界に沿って又はそこを横切って許容されないかどうかを示すデータは、ビデオユーザビリティ情報（ＶＵＩ）として及び／又は補助強化情報（ＳＥＩ）メッセージの一部としてコード化され得る。
[0192]図１３は、異なるアスペクト比を有する例示的なピクチャを示す概念図である。特に、この例では、拡張レイヤピクチャ１８０は、参照レイヤピクチャ１８２と異なるアスペクト比を有する。例えば、拡張レイヤピクチャ１８０は、１６×９のアスペクト比を有し得、一方で、参照レイヤピクチャ１８２は、４：３のアスペクト比を有し得る。１６×９のアスペクト比は、４：３のアスペクト比より大きいアスペクト比の一例である。この例では、拡張レイヤピクチャ１８０は、４つのタイル、即ち１８４Ａ〜１８４Ｄに区分される。参照レイヤピクチャ１８２は、タイル１８６Ａ、１８６Ｂに区分される。概して、タイル１８４Ｂは、１８６Ａに対応すると言われてよく、一方で、タイル１８４Ｃは、タイル１８６Ｂに対応すると言われてよい。
[0193]タイル１８４Ａ〜１８４Ｄ及び１８６Ａ、１８６Ｂの各々は、複数のサンプルを含むが、簡潔性及び説明の目的で、幾つかのサンプルだけが示される。特に、この例では、サンプル１８８はタイル１８４Ｂ内に示され、サンプル１９２はタイル１８６Ａ内に示され、サンプル１９０はタイル１８４Ｄ内に示されている。更に、この例では、サンプル１８８は、サンプル１９２に対応する。即ち、タイル１８４Ｂは、（もともと、又は空間的アップサンプリングの後に）タイル１８６Ａと同じ空間解像度を有するものと仮定すると、サンプル１８８は、サンプル１９２と配列される。更に、図１３に示すように、サンプル１８８は、同じ拡張レイヤタイル、タイル１８４Ｂ内にあり、サンプル１９２は、同じ参照レイヤタイル、タイル１８６Ａ内にある。このようにして、サンプル１８８は、同じ拡張レイヤタイル内にある２つの拡張レイヤピクチャサンプルの例を表し、サンプル１９２は、利用可能な、同一位置配置参照レイヤサンプルの例を表す。その逆もまた真である：サンプル１９２は、同じ参照レイヤタイル内の２つの参照レイヤサンプルの例を表し、それに対して、同一位置配置拡張レイヤサンプル（サンプル１８８）は利用可能であり、同じく、同じ拡張レイヤタイル（即ち、タイル１８４Ｂ）内にある。この特性は、タイル１８４Ｂ内のサンプルとタイル１８６Ａ内の同一位置配置サンプルとのペアの任意のセットに対して真である。
[0194]従って、タイル１８４Ｂ及び１８６Ａは、整列されたタイル境界を有すると言われてよい。従って、ビデオエンコーダ２０又はビデオデコーダ３０などのビデオコーダは、サンプル１８８をコード化する（例えば、ビデオエンコーダ２０によって符号化する又はビデオデコーダ３０によって復号する）ための参照サンプルとしてサンプル１９２を使用してレイヤ間予測を実行し得る。その上、ビデオコーダは、タイル１８４Ｂをコード化する前にタイル１８６Ａをコード化したことと、同じく、フィルタリングは、参照レイヤ１８２のタイル境界を横切って、例えばタイル１８６Ａと１８６Ｂとの間の境界を横切って実行されないこととを仮定して、ビデオエンコーダ２０及びビデオデコーダ３０は、タイル１８６Ｂと実質的に並列にタイル１８４Ｂをコード化し得る。
[0195]この例では、サンプル１９０は、タイル１８４Ｄ内に示される。しかしながら、拡張レイヤピクチャ１８０は、参照レイヤピクチャ１８２と異なるアスペクト比を有するので、参照レイヤピクチャ１８２内にタイル１８４に対応するタイルは存在しない。それゆえに、参照レイヤピクチャ１８２内にサンプル１９０に対応する（又はサンプル１９０と同一位置配置される）利用可能なサンプルは存在しない。拡張レイヤピクチャ１８０のサンプル１９０に対応する参照レイヤピクチャ１８２のサンプルは存在しない（及び同様に、タイル１８４Ｄに対応するタイルも存在しない）が、拡張レイヤピクチャ１８０のタイルに対するタイル境界は、それにもかかわらず、参照レイヤピクチャ１８２のタイルに対するタイル境界と整列されるように画定され得る。
[0196]従って、拡張レイヤピクチャ１８０及び参照レイヤピクチャ１８２のタイル境界が（図１３の例におけるように）整列されるとき、及びレイヤ間テクスチャ予測並びに参照レイヤフィルタリングが参照レイヤピクチャ１８２のタイル境界を横切って実行されないとき、ビデオエンコーダ２０は、これを示す値を、シンタックス要素に対して、例えばｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇに対してコード化し得る。同様に、ビデオデコーダ３０は、拡張レイヤピクチャ１８０と参照レイヤピクチャ１８２とのタイル境界が整列されていることと、レイヤ間テクスチャ予測及び参照レイヤフィルタリングが参照レイヤピクチャ１８２のタイル境界を横切って実行されないこととを示す、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇなどのシンタックス要素に対する値を復号し得る。
[0197]従って、ビデオエンコーダ２０及びビデオデコーダ３０は、共通の拡張レイヤタイル内の２つのそれぞれの拡張レイヤピクチャサンプルと同一位置配置される任意の２つの参照レイヤサンプルが、共通の参照レイヤタイル内にあるに違いないかどうかを表すシンタックス要素に対する値をコード化（符号化又は復号）することと、シンタックス要素の値に少なくとも部分的に基づいて拡張レイヤピクチャサンプルをコード化することとを行うように構成されたビデオコーダの例を表す。
[0198]図１４は、異なる数のタイルを有する拡張レイヤピクチャ２００と参照レイヤピクチャ２０２とを示す概念図である。この例では、拡張レイヤピクチャ２００が８つのタイル、タイル２０４Ａ〜２０４Ｈを含む一方で、参照レイヤピクチャ２０２は、６つのタイル、タイル２０６Ａ〜２０６Ｆを含む。従って、拡張レイヤタイル２０４Ａ〜２０４Ｈの境界は、参照レイヤタイル２０６Ａ〜２０６Ｆの境界と整列されない。即ち、参照レイヤピクチャ２０２の同一位置配置サンプルが参照レイヤタイル２０６Ａ〜２０６Ｆのうちの同じタイル内にない、タイル２０４Ａ〜２０４Ｈのうちの少なくとも１つの少なくとも２つのサンプルが存在する。同様に、拡張レイヤピクチャ２００の同一位置配置サンプルが拡張レイヤタイル２０４Ａ〜２０４Ｈのうちの同じタイル内にない、タイル２０６Ａ〜２０６Ｆのうちの少なくとも１つの少なくとも２つのサンプルが存在する。
[0199]それにもかかわらず、拡張レイヤピクチャ２００のタイルと参照レイヤピクチャ２０２のタイルとの間の境界の整列がないとしても、ビデオコーダ（ビデオエンコーダ２０又はビデオデコーダ３０など）は本開示の技法を使用して、参照レイヤタイル２０６Ａ〜２０６Ｆのうちの１つ又は複数と実質的に並列に、拡張レイヤタイル２０４Ａ〜２０４Ｈのうちの１つ又は複数を依然としてコード化し得る。
[0200]特に、本開示の技法によれば、ビデオエンコーダ２０及びビデオデコーダ３０は、拡張レイヤピクチャ２００の対応するタイルがコード化され得る前にコード化されるべき、（拡張レイヤピクチャ２００に対するベースレイヤピクチャである）参照レイヤピクチャ２０２内のタイルの数を示すｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［ｉ］（ここで、ｉは、タイル２０４Ａ〜２０４Ｈのｉ番目のタイルに対応する）などのシンタックス要素に対する値を、タイル２０４Ａ〜２０４Ｈのいずれか又は全てに対してコード化し得る。特に、値がｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［ｉ］の形態で表現されるとき、ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［ｉ］の値は、拡張レイヤピクチャ２００の対応するタイルがコード化され得る前にコード化されるべき、参照レイヤピクチャ２０２内のタイルの数より小さい値であり、従って、ビデオデコーダ３０は、その値を、コード化されるべき参照レイヤピクチャ２０２内のタイルの実際の数を決定するために、ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［ｉ］の値に加算し得る。
[0201]例えば、図１４の例では、ビデオエンコーダ２０は、以下の表８によるｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［ｉ］に対する値をコード化し得る。
Figure 2016514427
[0202]この例では、０の値に１を加算すると値１が得られるので、ビデオエンコーダ２０は、タイル２０４Ａに対応するｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［０］に対して０の値をコード化し得る。この値は、ひいては、参照レイヤピクチャ２０２のうちの１つのタイル（即ち、タイル２０６Ａ）が、タイル２０４Ａがコード化され得る前にコード化されるべきであることを示す。図１４で分かるように、タイル２０６Ａをコード化することによって、タイル２０４Ａに対応する参照レイヤピクチャ２０２の全てのサンプルは、タイル２０６Ａをコード化した後にコード化されることになり、従って、ビデオエンコーダ２０は、タイル２０６Ａだけが、タイル２０４Ａがコード化され得る前にコード化されるべきであることを示し得る。同様に、ビデオデコーダ３０は、タイル２０６Ａがコード化された後に、タイル２０４Ａが、例えばタイル２０６Ｂ〜２０６Ｆのうちのいずれかと実質的に並列に（又は並列に）コード化され得ることを決定するために、ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［０］の値を使用し得る。
[0203]同じく、この例では、１の値に１を加算すると値２が得られるので、ビデオエンコーダ２０は、タイル２０４Ｂに対応するｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［１］に対して１の値をコード化し得る。この値は、ひいては、参照レイヤピクチャ２０２のうちの２つのタイル（即ち、タイル２０６Ａ、２０６Ｂ）が、タイル２０４Ｂがコード化され得る前にコード化されるべきであることを示す。図１４でわかるように、タイル２０６Ａ、２０６Ｂをコード化することによって、タイル２０４Ｂに対応する参照レイヤピクチャ２０２の全てのサンプルは、タイル２０６Ｂをコード化した後にコード化されることになり、従って、ビデオエンコーダ２０は、タイル２０４Ｂがコード化され得る前にタイル２０６Ａ、２０６Ｂがコード化されるべきであることを示し得る。同様に、ビデオデコーダ３０は、タイル２０６Ｂがコード化された後に、タイル２０４Ｂが、例えばタイル２０６Ｃ〜２０６Ｆのうちのいずれかと実質的に並列に（又は並列に）コード化され得ることを決定するために、ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［１］の値を使用し得る。
[0204]更に、この例では、２の値に１を加算すると値３が得られるので、ビデオエンコーダ２０は、タイル２０４Ｃに対応するｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［２］に対して２の値をコード化し得る。この値は、ひいては、参照レイヤピクチャ２０２のうちの３つのタイル（即ち、タイル２０６Ａ〜２０６Ｃ）が、タイル２０４Ｃがコード化され得る前にコード化されるべきであることを示す。同様に、ビデオエンコーダ２０は、タイル２０４Ｄに対応するｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［３］に対して２の値をコード化し得る。図１４でわかるように、タイル２０６Ａ〜２０６Ｃをコード化することによって、タイル２０４Ｃ及び２０４Ｄに対応する参照レイヤピクチャ２０２の全てのサンプルは、タイル２０６Ｃをコード化した後にコード化されることになり、従って、ビデオエンコーダ２０は、タイル２０４Ｃ、２０４Ｄがコード化され得る前にタイル２０６Ａ〜２０６Ｃがコード化されるべきであることを示し得る。同様に、ビデオデコーダ３０は、タイル２０６Ｃがコード化された後に、タイル２０４Ｃ及び２０４Ｄが、例えばタイル２０６Ｄ〜２０６Ｆのうちのいずれかと実質的に並列に（又は並列に）コード化され得ることを決定するために、ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［２］及びｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［３］の値を使用し得る。
[0205]その上、この例では、３の値に１を加算すると値４が得られるので、ビデオエンコーダ２０は、タイル２０４Ｅに対応するｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［４］に対して３の値をコード化し得る。この値は、ひいては、参照レイヤピクチャ２０２のうちの４つのタイル（即ち、タイル２０６Ａ、２０６Ｂ）が、タイル２０４Ｂがコード化され得る前にコード化されるべきであることを示す。図１４でわかるように、タイル２０６Ａ〜２０６Ｄをコード化することによって、タイル２０４Ｅに対応する参照レイヤピクチャ２０２の全てのサンプルは、タイル２０６Ｄをコード化した後にコード化されることになり、従って、ビデオエンコーダ２０は、タイル２０４Ｅがコード化され得る前にタイル２０６Ａ〜２０６Ｄがコード化されるべきであることを示し得る。同様に、ビデオデコーダ３０は、タイル２０６Ｄがコード化された後に、タイル２０４Ｅが、例えばタイル２０６Ｅ、２０６Ｆのうちのいずれかと実質的に並列に（又は並列に）コード化され得ることを決定するために、ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［４］の値を使用し得る。
[0206]同じく、この例では、４の値に１を加算すると値５が得られるので、ビデオエンコーダ２０は、タイル２０４Ｆに対応するｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［５］に対して４の値をコード化し得る。この値は、ひいては、参照レイヤピクチャ２０２のうちの５つのタイル（即ち、タイル２０６Ａ〜２０６Ｅ）が、タイル２０４Ｆがコード化され得る前にコード化されるべきであることを示す。図１４でわかるように、タイル２０６Ａ〜２０６Ｅをコード化することによって、タイル２０４Ｆに対応する参照レイヤピクチャ２０２の全てのサンプルは、タイル２０６Ｅをコード化した後にコード化されることになり、従って、ビデオエンコーダ２０は、タイル２０４Ｆがコード化され得る前にタイル２０６Ａ〜２０６Ｅがコード化されるべきであることを示し得る。同様に、ビデオデコーダ３０は、タイル２０６Ｅがコード化された後に、タイル２０４Ｆが、例えばタイル２０６Ｆと実質的に並列に（又は並列に）コード化され得ることを決定するために、ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［５］の値を使用し得る。
[0207]更に、この例では、５の値に１を加算すると値６が得られるので、ビデオエンコーダ２０は、タイル２０４Ｇに対応するｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［６］に対して５の値をコード化し得る。この値は、ひいては、参照レイヤピクチャ２０２のうちの６つのタイル全て（即ち、タイル２０６Ａ〜２０６Ｆ）が、タイル２０４Ｇがコード化され得る前にコード化されるべきであることを示す。同様に、ビデオエンコーダ２０は、タイル２０４Ｈに対応するｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［７］に対して５の値をコード化し得る。図１４でわかるように、タイル２０６Ａ〜２０６Ｆをコード化することによって、タイル２０４Ｃ及び２０４Ｇに対応する参照レイヤピクチャ２０２の全てのサンプルは、タイル２０６Ｆをコード化した後にコード化されることになり、従って、ビデオエンコーダ２０は、タイル２０４Ｇ、２０４Ｈがコード化され得る前にタイル２０６Ａ〜２０６Ｆがコード化されるべきであることを示し得る。同様に、ビデオデコーダ３０は、タイル２０６Ｆがコード化された後に、タイル２０４Ｇ及び２０４Ｈが、例えば参照レイヤ内の後続のピクチャ（即ち、コード化順序でピクチャ２０２に後続する参照レイヤ内のピクチャ）のタイルと実質的に並列に（又は並列に）コード化され得ることを決定するために、ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［６］及びｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［７］の値を使用し得る。
[0208]従って、ビデオエンコーダ２０及びビデオデコーダ３０は、拡張レイヤピクチャのタイルがコード化され得る前にコード化される必要のあるベースレイヤピクチャ内のタイルの数を示すデータを、拡張レイヤピクチャのタイルに対してコード化することと、タイルの数に対応するベースレイヤピクチャのタイルをコード化することと、ベースレイヤピクチャのタイルをコード化した後に、ベースレイヤピクチャ内の少なくとも１つの他のタイルと実質的に並列に拡張レイヤピクチャのタイルをコード化することとを行うように構成されたビデオコーダの例を表す。
[0209]図１５は、本開示の技法による、レイヤ間予測を可能又は無効にするための例示的な方法を示すフローチャートである。図１５方法は、概して、ビデオコーダによって実行されるものとして説明される。ビデオコーダは、例えば、ビデオエンコーダ２０又はビデオデコーダ３０、あるいは他のそのようなビデオコード化機器（例えば、ビデオトランスコーディング機器（video transcoding devices））に対応し得る。
[0210]最初に、ビデオコーダは、１つ又は複数の隣接する参照レイヤタイルをコード化し得る（２５０）。即ち、ビデオコーダは、参照レイヤピクチャ内の１つ又は複数のタイルのブロック（例えば、ＣＵ又はＰＵ）をコード化し得る。次いで、ビデオコーダは、タイル境界を横切るフィルタリングが可能にされるかどうかを決定し得る（２５２）。例えば、ビデオエンコーダ２０によって実行されるとき、ビデオエンコーダ２０は、参照レイヤピクチャに対するタイル境界を横切るフィルタリングを可能にするかどうかを決定し得る。ビデオエンコーダ２０はまた、参照レイヤピクチャに対するタイル境界を横切るフィルタリングが可能にされるかどうかを示すシンタックス要素を符号化し得る。一方で、ビデオデコーダ３０によって実行されるとき、ビデオデコーダ３０は、タイル境界を横切るフィルタリングが可能にされるかどうかをシンタックス要素から決定し得る。
[0211]タイル境界を横切るフィルタリングは、タイル境界を横切るレイヤ間フィルタリング（例えば、ここで、参照レイヤピクチャは、タイル境界を横切るフィルタリングが可能にされる更に別の参照レイヤピクチャに関してコード化される）か、あるいは参照レイヤフィルタリング、例えばデブロッキング、全ピクチャに対するアップサンプリング、又は参照レイヤピクチャの２つ以上の別個のタイルからの画素（サンプルとも呼ばれる）に適用されるフィルタを使用する任意の他のフィルタリング動作、のいずれか又は両方を含み得る。
[0212]幾つかの例では、ビデオコーダは、異なるレイヤのタイル境界が整列されているかどうかを更に決定し得る。例えば、ビデオエンコーダ２０は、タイル境界を整列させるかどうかを決定し、タイル境界が整列されているかどうかを示すシンタックス要素を符号化する一方で、ビデオデコーダ３０は、タイル境界が整列されているかどうかを決定するためにシンタックス要素を復号し得る。同様に、ビデオコーダは、レイヤ間予測が、タイル境界に沿って又はそれらを横切って許容されないかどうかを示すシンタックス要素、例えば、表１に関して上記で説明したｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇをコード化し得る。追加又は代替として、そのようなシンタックス要素は、ビデオユーザビリティ情報（ＶＵＩ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ビデオパラメータセット（ＶＰＳ）、スライスヘッダ、補助強化情報（ＳＥＩ）メッセージなどのいずれか又は全ての中に含まれ得る。
[0213]参照レイヤピクチャに対するタイル境界を横切るフィルタリングが可能にされる場合（２５２の「はい」分岐）、ビデオコーダは、拡張レイヤピクチャに対するレイヤ間予測を無効にし得る（２５４）。次いで、ビデオコーダは、レイヤ間予測を使用することなく、拡張レイヤピクチャのブロックをコード化し得る（２５６）。レイヤ間予測は、レイヤ間テクスチャ予測（例えば、ルミナンスデータ及び／又はクロミナンスデータの予測）及びレイヤ間シンタックス予測のいずれか又は両方を含み得る。参照レイヤピクチャは、拡張レイヤピクチャをコード化するときに参照のために実際に使用されないので、ビデオコーダは、参照レイヤピクチャのブロックのうちのいずれかと並列に、拡張レイヤピクチャのブロックをコード化し得る。従って、図１５の例は、拡張レイヤピクチャのブロックをコード化する前に、隣接する参照レイヤタイルをコード化することを描いているが、幾つかの例では、ビデオコーダは、タイル境界を横切るフィルタリングが参照レイヤピクチャに対して可能にされるかどうかを単に決定し、そうであれば、参照レイヤピクチャと並列に拡張レイヤピクチャをコード化することを直ちに開始することができる。
[0214]一方で、参照レイヤピクチャに対するタイル境界を横切るフィルタリングが可能にされない場合（２５２の「いいえ」分岐）、ビデオコーダは、拡張レイヤピクチャに対するレイヤ間予測を可能にし得る（２５８）。次いで、ビデオコーダは、レイヤ間予測を使用して、拡張レイヤのブロックをコード化し得る（２６０）。特に、参照レイヤタイルのうちの１つ又は複数をコード化した後、ビデオコーダは、コード化された参照レイヤタイルと境界を整列された拡張レイヤピクチャのタイルのブロックをコード化し得る。更に、ビデオコーダは、参照レイヤピクチャの後続のタイルと並列に、拡張レイヤピクチャのタイルのブロックをコード化し得る。
[0215]拡張レイヤピクチャ及び参照レイヤピクチャは、概して、同じアクセス単位内に含まれることを理解されたい。即ち、拡張レイヤピクチャ及び参照レイヤピクチャは、同じ出力時間（又は表示時間）に対応する。
[0216]このようにして、図１５の方法は、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータを復号することと、ビデオデータの拡張レイヤタイル内の拡張レイヤブロックを復号することと、ここにおいて、データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、拡張レイヤブロックを復号することは、拡張レイヤタイルとベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる同一位置配置ベースレイヤブロックから、レイヤ間予測を使用することなく拡張レイヤブロックを復号することを備える；同一位置配置ベースレイヤブロックを復号することとを含む方法の一例を表す。
[0217]図１６は、本開示の技法による、ピクチャが異なるアスペクト比を有するときに、拡張レイヤ及び参照レイヤのピクチャを並列にコード化するための例示的な方法を示すフローチャートである。図１６の方法は、概して、ビデオコーダによって実行されるものとして説明される。ビデオコーダは、例えば、ビデオエンコーダ２０又はビデオデコーダ３０、又は他のそのようなビデオコード化機器（例えば、ビデオトランスコーディング機器）に対応し得る。
[0218]この例では、ビデオコーダは、最初に、第１のアスペクト比を有する参照レイヤピクチャのタイルをコード化する（２８０）。例えば、参照レイヤピクチャは、４：３のアスペクト比を有し得る。次いで、ビデオコーダは、拡張レイヤピクチャが、参照レイヤピクチャのアスペクト比より大きいエクスペクト比を有するかどうかを決定し得る（２８２）。例えば、拡張レイヤピクチャは、１６×９のアスペクト比を有し得、一方で、参照レイヤピクチャは、４：３のアスペクト比を有し得る。
[0219]拡張レイヤピクチャが参照レイヤピクチャのアスペクト比より大きいアスペクト比を有する場合（２８２の「はい」分岐）、参照レイヤピクチャと重ならない拡張レイヤピクチャの少なくとも幾つかの部分（例えば、タイル）が存在することになる。従って、ビデオコーダは、レイヤ間予測を使用して拡張レイヤピクチャの重複部分をコード化し（２８４）、レイヤ間予測を使用することなく拡張レイヤピクチャの重複しない部分をコード化する（２８６）ことができる。更に、ビデオコーダは、参照レイヤピクチャの任意の部分と並列に、拡張レイヤピクチャの重複しない部分をコード化する一方で、ビデオコーダは、参照レイヤピクチャの後続の部分と並列に、拡張レイヤピクチャの重複部分をコード化することができる。例えば、再び図１３を参照すると、ビデオコーダは、参照レイヤピクチャ１８２の任意の部分と並列にタイル１８４Ａ、１８４Ｄをコード化し得る。ビデオコーダは、タイル１８６Ｂと並列にタイル１８４Ｂをコード化し得る。
[0220]一方で、拡張レイヤピクチャが参照レイヤピクチャのアスペクト比より大きいアスペクト比をもたない場合（２８２の「いいえ」分岐）、ビデオコーダは、レイヤ間予測を完全に使用して拡張レイヤピクチャをコード化し（２８８）、参照レイヤピクチャの他のタイルと並列に、拡張レイヤピクチャの幾つかのタイルをコード化することができる。
[0221]このようにして、図１６の方法は、第１のアスペクト比を備えるベースレイヤピクチャをコード化（例えば、符号化又は復号）することと、第２のアスペクト比を備える拡張レイヤピクチャを、ベースレイヤピクチャと実質的に並列にコード化（例えば、符号化又は復号）することとを含む方法の一例を表しており、第２のアスペクト比は第１のアスペクト比より大きく、拡張レイヤピクチャをコード化することは、レイヤ間予測を使用することなく、第１のアスペクト比によって定義された領域の外側にある拡張レイヤピクチャの部分をコード化することを備える。
[0222]図１７は、拡張レイヤピクチャのタイル境界が参照レイヤピクチャのタイル境界と整列されているかどうかに基づいて、拡張レイヤピクチャをコード化するための例示的な方法を示すフローチャートである。図１７の方法は、概して、ビデオコーダによって実行されるものとして説明される。ビデオコーダは、例えば、ビデオエンコーダ２０又はビデオデコーダ３０、あるいは他のそのようなビデオコード化機器（例えば、ビデオトランスコーディング機器）に対応し得る。
[0223]この例では、ビデオコーダは、１つ又は複数の参照レイヤタイルをコード化する（３００）。次いでビデオコーダは、拡張レイヤのタイル境界が整列されているかどうかを決定する（３０２）。例えば、ビデオエンコーダ２０は、参照レイヤピクチャを整列させるかどうかを決定し、タイル境界が整列されているかどうかを示す、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇなどのシンタックス要素に対する値を符号化し得る一方で、ビデオデコーダ３０は、例えば、ｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇなどのシンタックス要素の値に基づいて、参照レイヤの境界が整列されているかどうかを決定し得る。同じ拡張レイヤタイル内にある任意の２つの拡張レイヤピクチャサンプルに対して、同一位置配置参照レイヤサンプルもまた、利用可能な場合、同じ参照レイヤタイル内にあるとき、及び、同じ参照レイヤタイル内にある任意の２つの参照レイヤピクチャサンプルに対して、同一位置配置拡張レイヤサンプルもまた、利用可能な場合、同じ拡張レイヤタイル内にあるときに、拡張レイヤピクチャのタイル境界は、参照レイヤピクチャのタイル境界と整列されていると言われてよい。
[0224]拡張レイヤピクチャのタイル境界が、参照レイヤピクチャのタイル境界と整列されていないとき（３０２の「いいえ」分岐）、ビデオコーダは、拡張レイヤに対するレイヤ間予測を無効にし（３０４）、レイヤ間予測を使用することなく拡張レイヤピクチャのタイルをコード化する（３０６）ことができる。更に、レイヤ間予測は無効にされているので、ビデオコーダは、参照レイヤピクチャの任意の部分と並列に、拡張レイヤピクチャのタイルのいずれか又は全てをコード化し得る。
[0225]一方で、拡張レイヤピクチャのタイル境界が、参照レイヤピクチャのタイル境界と整列されているとき（３０２の「はい」分岐）、ビデオコーダは、拡張レイヤピクチャに対するレイヤ間予測を可能にし（３０８）、レイヤ間予測を使用して拡張レイヤピクチャのタイルをコード化する（３１０）ことができる。特に、参照レイヤピクチャのタイルをコード化した後、ビデオコーダは、参照レイヤピクチャの後続のタイルと並列に、拡張レイヤピクチャの対応するタイルをコード化することを開始し得る。
[0226]参照レイヤピクチャに対応しない拡張レイヤピクチャのタイルが存在する場合（例えば、図１６に関して上記で説明したように）、ビデオコーダは、参照レイヤピクチャの任意の部分と並列にこれらのタイルコード化し得る。そのようなタイルが存在するときでも、上記で与えられた例示的な定義によって、参照レイヤピクチャ内のそのようなタイルに対して「同一位置配置された」サンプルは、利用可能にならないので、タイル境界は、依然として整列されていると言われてよい。
[0227]このようにして、図１７の方法は、共通の拡張レイヤタイル内の２つのそれぞれの拡張レイヤピクチャサンプルと同一位置配置された、任意の２つの参照レイヤサンプルが、共通の参照レイヤタイル内にあるに違いないかどうかを表すシンタックス要素に対する値をコード化（例えば、符号化又は復号）することと、シンタックス要素の値に少なくとも部分的に基づいて拡張レイヤピクチャサンプルをコード化（例えば、符号化又は復号）することとを含む方法の一例を表す。
[0228]図１８は、本開示の技法による、タイル境界が整列されていないときでさえも、参照レイヤピクチャと並列に、拡張レイヤピクチャのタイルをコード化するための例示的な方法を示すフローチャートである。図１８の方法は、概して、ビデオコーダによって実行されるものとして説明される。ビデオコーダは、例えば、ビデオエンコーダ２０又はビデオデコーダ３０、あるいは他のそのようなビデオコード化機器（例えば、ビデオトランスコーディング機器（video transcoding devices））に対応し得る。
[0229]ビデオコーダは、特定の拡張レイヤタイル（即ち、対応する拡張レイヤピクチャのタイル）をコード化する前にコード化されるべき参照レイヤタイルの数（即ち、参照レイヤピクチャ内のタイルの数）を決定し得る（３２０）。特に、ビデオコーダは、各拡張レイヤタイルに対してコード化されるべき参照レイヤタイルの数を決定し得る。例えば、コード化はラスタ走査順序で（左から右に、上から下に）進むものと仮定すると、ビデオエンコーダ２０は、特定の拡張レイヤタイルがコード化され得る前に、即ち、拡張レイヤタイルに対する参照レイヤタイル内の同一位置配置サンプルの全てがコード化される前に、コード化されるべき参照レイヤタイルの数を決定し得る。ラスタ走査順序は、例として使用されるが、他のタイル走査順序も使用され得る。ビデオエンコーダ２０は、拡張レイヤタイルに対応するシンタックス要素の値、例えば、ｍａｘ＿ｒｅｆ＿ｔｉｌｅ＿ｄｅｃ＿ｉｄｃ＿ｍｉｎｕｓ１［ｉ］の値を符号化し得、ここで、ｉは、ラスタ走査順序における拡張レイヤタイルに対するインデックスを表す。ビデオデコーダ３０は、拡張レイヤタイルを復号する前に復号すべきタイルの数を決定するために、シンタックス要素に対する値を復号し得る。コード化されるべき参照レイヤタイルの数を示すデータは、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＳＰＳ）、スライスヘッダ、ビデオユーザビリティ情報（ＶＵＩ）、及び／又は補助強化情報（ＳＥＩ）メッセージの一部を形成し得る。
[0230]次いで、ビデオコーダは、参照レイヤタイルの数がコード化されているかどうかを決定する（３２２）ことができる。コード化されていない場合（３２２の「いいえ」分岐）、ビデオコーダは、次の参照レイヤタイルをコード化する（３２６）ことができる。ビデオコーダは、参照レイヤタイルの決定された数がコード化されるまで、参照レイヤタイルをコード化するために進むことができる。参照レイヤタイルの数がコード化された後（３２２の「はい」分岐）、ビデオコーダは、１つ又は複数の参照レイヤタイルと並列に拡張レイヤタイルをコード化する（３２４）ことができる。
[0231]このようにして、図１８の方法は、拡張レイヤピクチャのタイルがコード化され得る前にコード化される必要のあるベースレイヤピクチャ内のタイルの数を示すデータを、拡張レイヤピクチャのタイルに対してコード化（例えば、符号化又は復号）することと、タイルの数に対応するベースレイヤピクチャのタイルをコード化（例えば、符号化又は復号）することと、ベースレイヤピクチャのタイルをコード化した後に、ベースレイヤピクチャ内の少なくとも１つの他のタイルと実質的に並列に拡張レイヤピクチャのタイルをコード化（例えば、符号化又は復号）することとを含む方法の一例を表す。
[0232]例によるが、本明細書で説明した技法のうちいずれかの、幾つかの作用又はイベントは、異なるシーケンスで実行される可能性があり、追加されるか、併合されるか、又は完全に除外される場合がある（例えば、全ての説明した作用又はイベントが、本技法の実施のために必要であるとは限らない）ことは認識されたい。その上、幾つかの例では、動作又はイベントは、連続的にではなく、同時に、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを通じて実行され得る。
[0233]１つ又は複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実現され得る。ソフトウェアで実装される場合、機能は、１つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されてよく、あるいは、コンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を支援する任意の媒体を含む、データ記憶媒体又は通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、又は（２）信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法を実装するための命令、コード及び／又はデータ構造を取り出すために、１つ以上のコンピュータ、又は１つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含む場合がある。
[0234]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置、又は他の磁気記憶装置、フラッシュメモリ、若しくは、命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモート発信源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、この場合、ディスク（disk）は、通常、データを磁気的に再生し、一方、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
[0235]命令は、１つ以上のデジタルシグナルプロセッサ（ＤＳＰ）などの１つ以上のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、又は他の等価な集積回路若しくはディスクリート論理回路によって実行され得る。従って、本明細書で使用される「プロセッサ」という用語は、前述の構造、又は本明細書で説明された技法の実施に適した任意の他の構造のいずれかを指し得る。加えて、幾つかの態様では、本明細書で説明された機能は、符号化及び復号のために構成された専用のハードウェア及び／又はソフトウェアモジュール内に設けられる場合があるか、又は複合コーデックに組み込まれる場合がある。また、本技法は、１つ以上の回路又は論理要素に完全に実装され得る。
[0236]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置の中に実装される場合がある。本開示では、開示される技法を実行するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットが説明されたが、それらの構成要素、モジュール、又はユニットは、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、前述のように、適切なソフトウェア及び／又はファームウェアとともに、様々なユニットがコーデックハードウェアユニットにおいて組み合わせられ得るか、又は前述のような１つもしくは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合体によって設けられ得る。
[0237]種々の例が記載された。これら及び他の例は、以下の特許請求の範囲内である。
[0237]種々の例が記載された。これら及び他の例は、以下の特許請求の範囲内である。 以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ ビデオデータを復号する方法であって、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータを復号することと、前記ビデオデータの拡張レイヤタイル内の拡張レイヤブロックを復号することと、ここにおいて、前記データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、前記拡張レイヤブロックを復号することは、同一位置配置ベースレイヤブロックからレイヤ間予測を使用することなく前記拡張レイヤブロックを復号することを備え、前記同一位置配置ベースレイヤブロックに対して前記拡張レイヤタイルと前記ベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる、前記同一位置配置ベースレイヤブロックを復号することとを備える、方法。
［２］ 前記同一位置配置ベースレイヤブロックを復号することが、前記参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされるとき、前記拡張レイヤブロックと並列に前記同一位置配置ベースレイヤブロックを復号することを備える、［１］に記載の方法。
［３］ レイヤ間予測が許容されるかどうかを示す前記データが、タイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが前記同一位置配置参照レイヤブロックに対して可能にされるとき、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測の少なくとも一方が前記拡張レイヤブロックに対する前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す、［１］に記載の方法。
［４］ 異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が前記タイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データを復号することが、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇシンタックス要素を復号することを備える、［１］に記載の方法。
［５］ レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを復号することが、ビデオユーザビリティ情報（ＶＵＩ）内の前記データを復号することを備える、［１］に記載の方法。
［６］ レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを復号することが、補助強化情報（ＳＥＩ）メッセージ内の前記データを復号することを備える、［１］に記載の方法。
［７］ 前記拡張レイヤブロックが、コード化単位（ＣＵ）及び予測単位（ＰＵ）の一方を備える、［１］に記載の方法。
［８］ ビデオデータを符号化する方法であって、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか、及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータを符号化することと、前記ビデオデータの拡張レイヤタイル内の拡張レイヤブロックを符号化することと、ここにおいて、前記データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、前記拡張レイヤブロックを符号化することは、同一位置配置ベースレイヤブロックからレイヤ間予測を使用することなく前記拡張レイヤブロックを符号化することを備える、前記同一位置配置ベースレイヤブロックに対して前記拡張レイヤタイルと前記ベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる、前記同一位置配置ベースレイヤブロックを符号化することとを備える、方法。
［９］ レイヤ間予測が許容されるかどうかを示す前記データが、タイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが前記同一位置配置参照レイヤブロックに対して可能にされるとき、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測の少なくとも一方が、前記拡張レイヤブロックに対する前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す、［８］に記載の方法。
［１０］ 異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が前記タイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データを符号化することが、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇシンタックス要素を符号化することを備える、［８］に記載の方法。
［１１］ レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを符号化することが、ビデオユーザビリティ情報（ＶＵＩ）内の前記データを符号化することを備える、［８］に記載の方法。
［１２］ レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを符号化することが、補助強化情報（ＳＥＩ）メッセージ内の前記データを符号化することを備える、［８］に記載の方法。
［１３］ 前記拡張レイヤブロックが、コード化単位（ＣＵ）及び予測単位（ＰＵ）の一方を備える、［８］に記載の方法。
［１４］ ビデオデータをコード化するための機器であって、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータをコード化することと、同一位置配置ベースレイヤブロックからレイヤ間予測を使用することなく前記ビデオデータの拡張レイヤタイル内の拡張レイヤブロックをコード化することと、前記同一位置配置ベースレイヤブロックに対して前記拡張レイヤタイルと前記ベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる、前記同一位置配置ベースレイヤブロックをコード化することとを行うように構成されたビデオコーダを備える、機器。
［１５］ 前記ビデオコーダが、前記参照レイヤピクチャ内のタイル境界を横切ってレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされるとき、前記拡張レイヤブロックと並列に、前記同一位置配置ベースレイヤブロックをコード化するように構成される、［１４］に記載の機器。
［１６］ レイヤ間予測が許容されるかどうかを示す前記データが、タイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが前記同一位置配置参照レイヤブロックに対して可能にされるとき、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測の少なくとも一方が前記拡張レイヤブロックに対する前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す、［１４］に記載の機器。
［１７］ 異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が前記タイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データをコード化するために、前記ビデオコーダが、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇシンタックス要素をコード化するように構成される、［１４］に記載の機器。
［１８］ 前記ビデオコーダが、ビデオユーザビリティ情報（ＶＵＩ）内で、異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測がタイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データをコード化するように構成される、［１４］に記載の機器。
［１９］ 前記ビデオコーダが、補助強化情報（ＳＥＩ）メッセージ内で、異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測がタイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データをコード化するように構成される、［１４］に記載の機器。
［２０］ 前記拡張レイヤブロックが、コード化単位（ＣＵ）及び予測単位（ＰＵ）の一方を備える、［１４］に記載の機器。
［２１］ 前記ビデオコーダが、ビデオデコーダとビデオエンコーダの一方を備える、［１４］に記載の機器。
［２２］ ビデオデータをコード化するための機器であって、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータをコード化するための手段と、前記ビデオデータの拡張レイヤタイル内の拡張レイヤブロックをコード化するための手段と、ここにおいて、前記データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、前記拡張レイヤブロックをコード化することは、同一位置配置ベースレイヤブロックからレイヤ間予測を使用することなく前記拡張レイヤブロックをコード化することを備え、前記同一位置配置ベースレイヤブロックに対して前記拡張レイヤタイルと同一位置配置ベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる、前記同一位置配置ベースレイヤブロックをコード化するための手段とを備える、機器。
［２３］ 前記同一位置配置ベースレイヤブロックをコード化するための前記手段が、前記参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされるとき、前記拡張レイヤブロックと並列に、前記同一位置配置ベースレイヤブロックをコード化するための手段を備える、［２２］に記載の機器。
［２４］ レイヤ間予測が許容されるかどうかを示す前記データが、タイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが前記同一位置配置参照レイヤブロックに対して可能にされるとき、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測の少なくとも一方が前記拡張レイヤブロックに対する前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す、［２２］に記載の機器。
［２５］ 異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が前記タイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データをコード化するための前記手段が、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇシンタックス要素をコード化するための手段を備える、［２２］に記載の機器。
［２６］ レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データをコード化するための前記手段が、ビデオユーザビリティ情報（ＶＵＩ）内の前記データをコード化するための手段を備える、［２２］に記載の機器。
［２７］ レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データをコード化するための前記手段が、補助強化情報（ＳＥＩ）メッセージ内の前記データをコード化するための手段を備える、［２２］に記載の機器。
［２８］ 前記拡張レイヤブロックが、コード化単位（ＣＵ）及び予測単位（ＰＵ）の一方を備える、［２２］に記載の機器。
［２９］ 命令を記憶したコンピュータ可読記憶媒体であって、前記命令が、実行されたとき、プロセッサに、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が、拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータをコード化することと、前記ビデオデータの拡張レイヤタイル内の拡張レイヤブロックをコード化することと、ここにおいて、前記データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、前記拡張レイヤブロックをコード化することは、同一位置配置ベースレイヤブロックからレイヤ間予測を使用することなく前記拡張レイヤブロックをコード化することを備える、前記同一位置配置ベースレイヤブロックに対して前記拡張レイヤタイルと前記ベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる、前記同一位置配置ベースレイヤブロックをコード化することとを行わせる、コンピュータ可読記憶媒体。
［３０］ 前記プロセッサに前記同一位置配置ベースレイヤブロックをコード化させる前記命令が、前記参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされるとき、前記拡張レイヤブロックと並列に、前記同一位置配置ベースレイヤブロックを前記プロセッサにコード化させる命令を備える、［２９］に記載のコンピュータ可読記憶媒体。
［３１］ レイヤ間予測が許容されるかどうかを示す前記データが、タイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが前記同一位置配置参照レイヤブロックに対して可能にされるとき、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測の少なくとも一方が、前記拡張レイヤブロックに対する前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す、［２９］に記載のコンピュータ可読記憶媒体。
［３２］ 異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が前記タイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データを前記プロセッサにコード化させる前記命令が、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇシンタックス要素を前記プロセッサにコード化させる命令を備える、［２９］に記載のコンピュータ可読記憶媒体。
［３３］ レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを前記プロセッサにコード化させる前記命令が、ビデオユーザビリティ情報（ＶＵＩ）内の前記データを前記プロセッサにコード化させる命令を備える、［２９］に記載のコンピュータ可読記憶媒体。
［３４］ レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを前記プロセッサにコード化させる前記命令が、補助強化情報（ＳＥＩ）メッセージ内の前記データを前記プロセッサにコード化させる命令を備える、［２９］に記載のコンピュータ可読記憶媒体。
［３５］ 前記拡張レイヤブロックが、コード化単位（ＣＵ）及び予測単位（ＰＵ）の一方を備える、［２９］に記載のコンピュータ可読記憶媒体。

Claims (35)

  1. ビデオデータを復号する方法であって、
    ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータを復号することと、
    前記ビデオデータの拡張レイヤタイル内の拡張レイヤブロックを復号することと、ここにおいて、前記データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、前記拡張レイヤブロックを復号することは、同一位置配置ベースレイヤブロックからレイヤ間予測を使用することなく前記拡張レイヤブロックを復号することを備え、前記同一位置配置ベースレイヤブロックに対して前記拡張レイヤタイルと前記ベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる、
    前記同一位置配置ベースレイヤブロックを復号することとを備える、方法。
  2. 前記同一位置配置ベースレイヤブロックを復号することが、前記参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされるとき、前記拡張レイヤブロックと並列に前記同一位置配置ベースレイヤブロックを復号することを備える、請求項１に記載の方法。
  3. レイヤ間予測が許容されるかどうかを示す前記データが、タイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが前記同一位置配置参照レイヤブロックに対して可能にされるとき、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測の少なくとも一方が前記拡張レイヤブロックに対する前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す、請求項１に記載の方法。
  4. 異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が前記タイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データを復号することが、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇシンタックス要素を復号することを備える、請求項１に記載の方法。
  5. レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを復号することが、ビデオユーザビリティ情報（ＶＵＩ）内の前記データを復号することを備える、請求項１に記載の方法。
  6. レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを復号することが、補助強化情報（ＳＥＩ）メッセージ内の前記データを復号することを備える、請求項１に記載の方法。
  7. 前記拡張レイヤブロックが、コード化単位（ＣＵ）及び予測単位（ＰＵ）の一方を備える、請求項１に記載の方法。
  8. ビデオデータを符号化する方法であって、
    ビデオデータの異なるレイヤのタイル境界が整列されているかどうか、及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータを符号化することと、
    前記ビデオデータの拡張レイヤタイル内の拡張レイヤブロックを符号化することと、ここにおいて、前記データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、前記拡張レイヤブロックを符号化することは、同一位置配置ベースレイヤブロックからレイヤ間予測を使用することなく前記拡張レイヤブロックを符号化することを備える、前記同一位置配置ベースレイヤブロックに対して前記拡張レイヤタイルと前記ベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる、
    前記同一位置配置ベースレイヤブロックを符号化することとを備える、方法。
  9. レイヤ間予測が許容されるかどうかを示す前記データが、タイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが前記同一位置配置参照レイヤブロックに対して可能にされるとき、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測の少なくとも一方が、前記拡張レイヤブロックに対する前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す、請求項８に記載の方法。
  10. 異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が前記タイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データを符号化することが、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇシンタックス要素を符号化することを備える、請求項８に記載の方法。
  11. レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを符号化することが、ビデオユーザビリティ情報（ＶＵＩ）内の前記データを符号化することを備える、請求項８に記載の方法。
  12. レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを符号化することが、補助強化情報（ＳＥＩ）メッセージ内の前記データを符号化することを備える、請求項８に記載の方法。
  13. 前記拡張レイヤブロックが、コード化単位（ＣＵ）及び予測単位（ＰＵ）の一方を備える、請求項８に記載の方法。
  14. ビデオデータをコード化するための機器であって、ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータをコード化することと、同一位置配置ベースレイヤブロックからレイヤ間予測を使用することなく前記ビデオデータの拡張レイヤタイル内の拡張レイヤブロックをコード化することと、前記同一位置配置ベースレイヤブロックに対して前記拡張レイヤタイルと前記ベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる、前記同一位置配置ベースレイヤブロックをコード化することとを行うように構成されたビデオコーダを備える、機器。
  15. 前記ビデオコーダが、前記参照レイヤピクチャ内のタイル境界を横切ってレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされるとき、前記拡張レイヤブロックと並列に、前記同一位置配置ベースレイヤブロックをコード化するように構成される、請求項１４に記載の機器。
  16. レイヤ間予測が許容されるかどうかを示す前記データが、タイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが前記同一位置配置参照レイヤブロックに対して可能にされるとき、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測の少なくとも一方が前記拡張レイヤブロックに対する前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す、請求項１４に記載の機器。
  17. 異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が前記タイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データをコード化するために、前記ビデオコーダが、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇシンタックス要素をコード化するように構成される、請求項１４に記載の機器。
  18. 前記ビデオコーダが、ビデオユーザビリティ情報（ＶＵＩ）内で、異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測がタイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データをコード化するように構成される、請求項１４に記載の機器。
  19. 前記ビデオコーダが、補助強化情報（ＳＥＩ）メッセージ内で、異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測がタイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データをコード化するように構成される、請求項１４に記載の機器。
  20. 前記拡張レイヤブロックが、コード化単位（ＣＵ）及び予測単位（ＰＵ）の一方を備える、請求項１４に記載の機器。
  21. 前記ビデオコーダが、ビデオデコーダとビデオエンコーダの一方を備える、請求項１４に記載の機器。
  22. ビデオデータをコード化するための機器であって、
    ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータをコード化するための手段と、
    前記ビデオデータの拡張レイヤタイル内の拡張レイヤブロックをコード化するための手段と、ここにおいて、前記データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、前記拡張レイヤブロックをコード化することは、同一位置配置ベースレイヤブロックからレイヤ間予測を使用することなく前記拡張レイヤブロックをコード化することを備え、前記同一位置配置ベースレイヤブロックに対して前記拡張レイヤタイルと同一位置配置ベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる、
    前記同一位置配置ベースレイヤブロックをコード化するための手段とを備える、機器。
  23. 前記同一位置配置ベースレイヤブロックをコード化するための前記手段が、前記参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされるとき、前記拡張レイヤブロックと並列に、前記同一位置配置ベースレイヤブロックをコード化するための手段を備える、請求項２２に記載の機器。
  24. レイヤ間予測が許容されるかどうかを示す前記データが、タイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが前記同一位置配置参照レイヤブロックに対して可能にされるとき、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測の少なくとも一方が前記拡張レイヤブロックに対する前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す、請求項２２に記載の機器。
  25. 異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が前記タイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データをコード化するための前記手段が、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇシンタックス要素をコード化するための手段を備える、請求項２２に記載の機器。
  26. レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データをコード化するための前記手段が、ビデオユーザビリティ情報（ＶＵＩ）内の前記データをコード化するための手段を備える、請求項２２に記載の機器。
  27. レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データをコード化するための前記手段が、補助強化情報（ＳＥＩ）メッセージ内の前記データをコード化するための手段を備える、請求項２２に記載の機器。
  28. 前記拡張レイヤブロックが、コード化単位（ＣＵ）及び予測単位（ＰＵ）の一方を備える、請求項２２に記載の機器。
  29. 命令を記憶したコンピュータ可読記憶媒体であって、前記命令が、実行されたとき、プロセッサに、
    ビデオデータの異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が、拡張レイヤブロックのタイル境界に沿って又はそれを横切って許容されるかどうかを示すデータをコード化することと、
    前記ビデオデータの拡張レイヤタイル内の拡張レイヤブロックをコード化することと、ここにおいて、前記データが、異なるレイヤのタイル境界が整列されていること及びレイヤ間予測が許容されることを示すとき、前記拡張レイヤブロックをコード化することは、同一位置配置ベースレイヤブロックからレイヤ間予測を使用することなく前記拡張レイヤブロックをコード化することを備える、前記同一位置配置ベースレイヤブロックに対して前記拡張レイヤタイルと前記ベースレイヤブロックの両方を含むアクセス単位内の参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされる、
    前記同一位置配置ベースレイヤブロックをコード化することとを行わせる、コンピュータ可読記憶媒体。
  30. 前記プロセッサに前記同一位置配置ベースレイヤブロックをコード化させる前記命令が、前記参照レイヤピクチャ内のタイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが可能にされるとき、前記拡張レイヤブロックと並列に、前記同一位置配置ベースレイヤブロックを前記プロセッサにコード化させる命令を備える、請求項２９に記載のコンピュータ可読記憶媒体。
  31. レイヤ間予測が許容されるかどうかを示す前記データが、タイル境界を横切るレイヤ間フィルタリング又は参照レイヤフィルタリングが前記同一位置配置参照レイヤブロックに対して可能にされるとき、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測の少なくとも一方が、前記拡張レイヤブロックに対する前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す、請求項２９に記載のコンピュータ可読記憶媒体。
  32. 異なるレイヤのタイル境界が整列されているかどうか及びレイヤ間予測が前記タイル境界に沿って又はそれを横切って許容されるかどうかを示す前記データを前記プロセッサにコード化させる前記命令が、ｉｎｔｅｒ＿ｌａｙｅｒｐｒｅｄ＿ｎｏｔ＿ａｌｏｎｇ＿ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｆｌａｇシンタックス要素を前記プロセッサにコード化させる命令を備える、請求項２９に記載のコンピュータ可読記憶媒体。
  33. レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを前記プロセッサにコード化させる前記命令が、ビデオユーザビリティ情報（ＶＵＩ）内の前記データを前記プロセッサにコード化させる命令を備える、請求項２９に記載のコンピュータ可読記憶媒体。
  34. レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、前記タイル境界に沿って又はそれを横切って許容されないかどうかを示す前記データを前記プロセッサにコード化させる前記命令が、補助強化情報（ＳＥＩ）メッセージ内の前記データを前記プロセッサにコード化させる命令を備える、請求項２９に記載のコンピュータ可読記憶媒体。
  35. 前記拡張レイヤブロックが、コード化単位（ＣＵ）及び予測単位（ＰＵ）の一方を備える、請求項２９に記載のコンピュータ可読記憶媒体。
JP2015561607A 2013-03-05 2014-03-05 ビデオコード化のための並列処理 Active JP6342432B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201361773095P 2013-03-05 2013-03-05
US61/773,095 2013-03-05
US201361808734P 2013-04-05 2013-04-05
US61/808,734 2013-04-05
US201361819494P 2013-05-03 2013-05-03
US61/819,494 2013-05-03
US14/196,479 2014-03-04
US14/196,479 US9473779B2 (en) 2013-03-05 2014-03-04 Parallel processing for video coding
PCT/US2014/020761 WO2014138240A1 (en) 2013-03-05 2014-03-05 Parallel processing for video coding

Publications (3)

Publication Number Publication Date
JP2016514427A true JP2016514427A (ja) 2016-05-19
JP2016514427A5 JP2016514427A5 (ja) 2017-03-16
JP6342432B2 JP6342432B2 (ja) 2018-06-13

Family

ID=51487785

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015561604A Active JP6199417B2 (ja) 2013-03-05 2014-03-05 ビデオコード化のための並列処理
JP2015561607A Active JP6342432B2 (ja) 2013-03-05 2014-03-05 ビデオコード化のための並列処理
JP2015561598A Active JP6113869B2 (ja) 2013-03-05 2014-03-05 ビデオコード化のための並列処理
JP2015561597A Active JP6279622B2 (ja) 2013-03-05 2014-03-05 ビデオコード化のための並列処理

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015561604A Active JP6199417B2 (ja) 2013-03-05 2014-03-05 ビデオコード化のための並列処理

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2015561598A Active JP6113869B2 (ja) 2013-03-05 2014-03-05 ビデオコード化のための並列処理
JP2015561597A Active JP6279622B2 (ja) 2013-03-05 2014-03-05 ビデオコード化のための並列処理

Country Status (12)

Country Link
US (4) US9473779B2 (ja)
EP (4) EP2965514B1 (ja)
JP (4) JP6199417B2 (ja)
KR (4) KR101797335B1 (ja)
CN (4) CN105009587B (ja)
DK (1) DK2965515T3 (ja)
ES (2) ES2706476T3 (ja)
HU (2) HUE041798T2 (ja)
PL (1) PL2965515T3 (ja)
PT (1) PT2965515T (ja)
SI (1) SI2965515T1 (ja)
WO (4) WO2014138240A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765899B (zh) * 2011-06-15 2018-03-06 韩国电子通信研究院 用于编码和解码可伸缩视频的方法以及使用其的设备
CN104160701B (zh) * 2012-01-27 2017-06-30 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、及图像解码装置
MY172999A (en) * 2012-07-09 2019-12-18 Vid Scale Inc Codec architecture for multiple layer video coding
CN108156463B (zh) 2012-08-29 2022-07-01 Vid拓展公司 用于可分级视频编码的运动矢量预测的方法和装置
CN105144720B (zh) 2013-01-04 2018-12-28 Ge视频压缩有限责任公司 高效可伸缩编码概念
US9473779B2 (en) * 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
CN105230017B (zh) * 2013-03-21 2019-08-06 索尼公司 图像编码装置和方法以及图像解码装置和方法
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
KR102127281B1 (ko) * 2013-04-08 2020-06-26 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
US11438609B2 (en) 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
KR20160009543A (ko) * 2013-04-17 2016-01-26 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
US20160080752A1 (en) * 2013-04-17 2016-03-17 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing video signal
US9924165B1 (en) * 2013-07-03 2018-03-20 Ambarella, Inc. Interleaved video coding pipeline
US9826240B2 (en) * 2013-07-05 2017-11-21 Texas Instruments Incorporated High throughput VLSI architecture for HEVC SAO encoding
EP3021586A4 (en) * 2013-07-07 2016-12-07 Wilus Inst Standards & Technology Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN105359525A (zh) * 2013-07-14 2016-02-24 夏普株式会社 瓦片对齐信令和一致性约束
CN109862373B (zh) 2013-07-15 2021-10-15 索尼公司 用于对比特流进行编码的方法和装置
KR20150029593A (ko) * 2013-09-10 2015-03-18 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US10091519B2 (en) * 2013-10-14 2018-10-02 Electronics And Telecommunications Research Institute Multilayer-based image encoding/decoding method and apparatus
WO2015060614A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150046742A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
MX360338B (es) * 2013-10-29 2018-10-30 Kt Corp Metodo y dispositivo de codificacion/decodificacion de señal de video de multiples capas.
US10432963B2 (en) 2013-11-05 2019-10-01 Arris Enterprises Llc Bit depth variable for high precision data in weighted prediction syntax and semantics
RU2679981C2 (ru) 2014-09-30 2019-02-14 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Основанные на хешах решения кодера для кодирования видео
US10523957B2 (en) * 2014-10-08 2019-12-31 Vid Scale, Inc. Optimization using multi-threaded parallel processing framework
CN104751779A (zh) * 2014-11-25 2015-07-01 上海和辉光电有限公司 显示装置、oled像素驱动电路及其驱动方法
EP3244615A4 (en) * 2015-01-09 2018-06-20 Sony Corporation Image processing device, image processing method, and program, and recording medium
US20160353133A1 (en) * 2015-05-31 2016-12-01 Cisco Technology, Inc. Dynamic Dependency Breaking in Data Encoding
FI20165257A (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
CN107547896B (zh) * 2016-06-27 2020-10-09 杭州当虹科技股份有限公司 一种基于CUDA的Prores VLC编码方法
US11943452B2 (en) 2016-07-14 2024-03-26 Koninklijke Kpn N.V. Systems and methods for video encoding and decoding
US10418002B2 (en) * 2016-10-18 2019-09-17 Mediatek Inc. Merged access units in frame buffer compression
US10869032B1 (en) * 2016-11-04 2020-12-15 Amazon Technologies, Inc. Enhanced encoding and decoding of video reference frames
US10264265B1 (en) 2016-12-05 2019-04-16 Amazon Technologies, Inc. Compression encoding of images
US10681382B1 (en) 2016-12-20 2020-06-09 Amazon Technologies, Inc. Enhanced encoding and decoding of video reference frames
CN108965894B (zh) * 2017-05-27 2021-12-21 华为技术有限公司 一种视频图像的编解码方法及装置
US10841794B2 (en) * 2017-09-18 2020-11-17 Futurewei Technologies, Inc. Adaptive motion vector resolution
WO2019111013A1 (en) * 2017-12-06 2019-06-13 V-Nova International Ltd Method and apparatus for decoding a received set of encoded data
WO2019195036A1 (en) * 2018-04-03 2019-10-10 Futurewei Technologies, Inc. File format signaling of error mitigation in sub-picture bitstream based viewport dependent video coding
EP3843405A4 (en) * 2018-10-05 2021-10-27 LG Electronics Inc. IMAGE CODING PROCESS USING HISTORY-BASED MOVEMENT INFORMATION, AND ASSOCIATED DEVICE
CN113196771B (zh) 2018-12-21 2023-12-22 北京字节跳动网络技术有限公司 基于运动矢量精度的运动矢量范围
EP3935841A4 (en) * 2019-03-08 2023-01-04 Beijing Dajia Internet Information Technology Co., Ltd. VIDEO ENCODING TO HANDLE DIFFERENT IMAGE SIZES
SG11202109980WA (en) * 2019-03-11 2021-10-28 Huawei Tech Co Ltd Sub-picture level filtering in video coding
US11418807B2 (en) * 2019-03-15 2022-08-16 Tencent America LLC Temporal motion vector derivation in shared merge region at picture boundary
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
JP7403245B2 (ja) * 2019-06-21 2023-12-22 キヤノン株式会社 画像復号装置、画像復号方法
EP3997869A4 (en) * 2019-08-10 2022-10-26 Beijing Bytedance Network Technology Co., Ltd. SUBPICTURE DEPENDENT SIGNALING IN VIDEO STREAMS
BR112022005046A2 (pt) 2019-09-18 2022-07-05 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador e meio de gravação não transitório legível por computador
CN114503594B (zh) 2019-09-22 2024-04-05 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用
EP4022910A4 (en) 2019-09-27 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. ADAPTIVE LOOP FILTERING BETWEEN DIFFERENT VIDEO UNITS
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
CN117528097A (zh) 2019-10-29 2024-02-06 抖音视界(北京)有限公司 跨分量自适应环路滤波器
MX2022006734A (es) 2019-12-11 2022-06-09 Beijing Bytedance Network Tech Co Ltd Relleno de muestra para filtrado de circuito adaptivo de componente cruzado.
US11234017B1 (en) * 2019-12-13 2022-01-25 Meta Platforms, Inc. Hierarchical motion search processing
WO2021190438A1 (en) * 2020-03-21 2021-09-30 Beijing Bytedance Network Technology Co., Ltd. Combination of subpictures and scalability
KR20230025791A (ko) 2020-06-20 2023-02-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 상이한 코딩 블록 크기를 이용한 계층간 예측
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008030067A1 (en) * 2006-09-07 2008-03-13 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
JP2009538084A (ja) * 2006-11-17 2009-10-29 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US20060008009A1 (en) * 2004-07-09 2006-01-12 Nokia Corporation Method and system for entropy coding for scalable video codec
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100878812B1 (ko) 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
JP2007180916A (ja) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 空間解像度変換装置
US7864219B2 (en) 2006-06-15 2011-01-04 Victor Company Of Japan, Ltd. Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
AU2007318376B2 (en) 2006-11-09 2010-07-01 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
CN101401430B (zh) * 2006-11-17 2012-02-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
EP2119236A1 (en) * 2007-03-15 2009-11-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
KR101365441B1 (ko) * 2007-10-11 2014-02-19 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US8432968B2 (en) 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
WO2009130561A1 (en) * 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
US20100098156A1 (en) 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
US9325999B2 (en) 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
US20120257675A1 (en) * 2011-04-11 2012-10-11 Vixs Systems, Inc. Scalable video codec encoder device and methods thereof
US8531321B1 (en) 2011-07-21 2013-09-10 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy
JP5947405B2 (ja) 2012-02-01 2016-07-06 ノキア テクノロジーズ オーユー ビデオ符号化方法および装置
US10003810B2 (en) 2012-03-22 2018-06-19 Mediatek Inc. Method and apparatus of scalable video coding
US20140003504A1 (en) 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US20140085415A1 (en) 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
WO2014072571A1 (en) 2012-10-01 2014-05-15 Nokia Corporation Method and apparatus for scalable video coding
CN105144720B (zh) 2013-01-04 2018-12-28 Ge视频压缩有限责任公司 高效可伸缩编码概念
EP2941868B1 (en) 2013-01-07 2020-07-08 Nokia Technologies Oy Method and apparatus for video coding and decoding
US9473779B2 (en) 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008030067A1 (en) * 2006-09-07 2008-03-13 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
JP2009538084A (ja) * 2006-11-17 2009-10-29 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHIA-YANG TSAI, ET AL.: "AHG4: Non-cross-tiles loop filtering for independent tiles", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 7TH M, vol. JCTVC-G194, JPN6017050395, 26 November 2011 (2011-11-26) *
KARSTEN SUHRING ET AL.: "Tile boundary alignment and inter-layer prediction constraints for SHVC and MV-HEVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-M0464-v1, JPN6017050390, 26 April 2013 (2013-04-26) *
KARSTEN SUHRING, ET AL.: "Indication of tile boundary alignment", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-L0197, JPN6017050393, 7 January 2013 (2013-01-07) *
KRISHNA RAPAKA ET AL.: "Parallel Processing Indications for Tiles in HEVC Extensions", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-M0334, JPN6017050396, 26 April 2013 (2013-04-26) *

Also Published As

Publication number Publication date
CN105009587B (zh) 2018-04-03
CN105191310A (zh) 2015-12-23
JP2016513917A (ja) 2016-05-16
WO2014138240A1 (en) 2014-09-12
JP6342432B2 (ja) 2018-06-13
KR101797335B1 (ko) 2017-11-13
PL2965515T3 (pl) 2019-03-29
EP2965515B1 (en) 2018-10-17
PT2965515T (pt) 2019-01-28
EP2965517A1 (en) 2016-01-13
CN105009588A (zh) 2015-10-28
US9578339B2 (en) 2017-02-21
DK2965515T3 (en) 2019-01-28
EP2965514A1 (en) 2016-01-13
KR20150122788A (ko) 2015-11-02
KR102267875B1 (ko) 2021-06-21
CN105009588B (zh) 2018-08-03
JP6199417B2 (ja) 2017-09-20
BR112015021727A2 (pt) 2017-07-18
JP6113869B2 (ja) 2017-04-12
CN105191311A (zh) 2015-12-23
KR20150126892A (ko) 2015-11-13
US9294776B2 (en) 2016-03-22
HUE035318T2 (en) 2018-05-02
KR102267876B1 (ko) 2021-06-21
EP2965516B1 (en) 2016-08-24
WO2014138232A1 (en) 2014-09-12
JP2016513916A (ja) 2016-05-16
SI2965515T1 (sl) 2019-03-29
US20140254669A1 (en) 2014-09-11
CN105191311B (zh) 2018-06-05
WO2014138217A1 (en) 2014-09-12
CN105009587A (zh) 2015-10-28
US20140254666A1 (en) 2014-09-11
KR20150122780A (ko) 2015-11-02
EP2965517B1 (en) 2017-11-01
CN105191310B (zh) 2018-05-29
KR102053488B1 (ko) 2019-12-06
ES2656908T3 (es) 2018-02-28
EP2965516A1 (en) 2016-01-13
WO2014138222A1 (en) 2014-09-12
US20140254668A1 (en) 2014-09-11
BR112015021566A2 (pt) 2017-07-18
JP6279622B2 (ja) 2018-02-14
HUE041798T2 (hu) 2019-05-28
US9473779B2 (en) 2016-10-18
US9467707B2 (en) 2016-10-11
ES2706476T3 (es) 2019-03-29
JP2016514425A (ja) 2016-05-19
KR20150122787A (ko) 2015-11-02
US20140254667A1 (en) 2014-09-11
EP2965514B1 (en) 2020-10-07
EP2965515A1 (en) 2016-01-13

Similar Documents

Publication Publication Date Title
JP6279622B2 (ja) ビデオコード化のための並列処理
JP6297670B2 (ja) ハイレベルシンタックスのみのスケーラブルビデオコーディングのための、レイヤ間参照ピクチャ制限
JP6285020B2 (ja) コンポーネント間フィルタ処理
JP6388929B2 (ja) マルチレイヤビデオコーディングにおけるレイヤ間予測タイプに関するビットストリーム制約を処理すること
JP2018125863A (ja) ビデオプロパティの指示
JP2016501483A (ja) ビデオコーディングにおけるｈｅｖｃ拡張用の多重レイヤの低複雑度サポート
US9270991B2 (en) Inter-layer reference picture generation for HLS-only scalable video coding
BR112015021566B1 (pt) Método e dispositivo de decodificação e codificação de dados de vídeo hevc multicamadas, assim como memória legível por computador

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180516

R150 Certificate of patent or registration of utility model

Ref document number: 6342432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250