JP2016511619A - ビデオ情報のスケーラブルコード化のための装置及び方法 - Google Patents

ビデオ情報のスケーラブルコード化のための装置及び方法 Download PDF

Info

Publication number
JP2016511619A
JP2016511619A JP2016501529A JP2016501529A JP2016511619A JP 2016511619 A JP2016511619 A JP 2016511619A JP 2016501529 A JP2016501529 A JP 2016501529A JP 2016501529 A JP2016501529 A JP 2016501529A JP 2016511619 A JP2016511619 A JP 2016511619A
Authority
JP
Japan
Prior art keywords
bit depth
video
pixel information
upsampling
video unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016501529A
Other languages
English (en)
Other versions
JP6333942B2 (ja
JP2016511619A5 (ja
Inventor
グオ、リウェイ
チェン、ジャンレ
リ、シャン
ラパカ、クリシュナカンス
プ、ウェイ
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016511619A publication Critical patent/JP2016511619A/ja
Publication of JP2016511619A5 publication Critical patent/JP2016511619A5/ja
Application granted granted Critical
Publication of JP6333942B2 publication Critical patent/JP6333942B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)

Abstract

ビデオ情報をコード化するように構成された装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを備える。メモリユニットは、参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶するように構成される。ＥＬはＥＬビデオ単位を備え、ＲＬは、ＥＬビデオ単位に対応するＲＬビデオ単位を備える。プロセッサは、ＥＬビデオ単位の予測された画素情報を決定し、予測された画素情報を使用してＥＬビデオ単位を決定するために、単一の合成プロセスにおいてＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行するように構成される。

Description

[0001]本開示は、ビデオコード化及び圧縮の分野に関し、詳細には、スケーラブルビデオコード化（ＳＶＣ：scalable video coding）又はマルチビュービデオコード化（ＭＶＣ：multiview video coding、３ＤＶ）に関する。
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー電話又は衛星無線電話、ビデオ遠隔会議機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコード化（ＡＶＣ：Advanced Video Coding）、現在開発中の高効率ビデオコード化（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、及びそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオ機器は、そのようなビデオコード化技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶し得る。
[0003]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコード化の場合、ビデオスライス（例えば、ビデオフレーム、ビデオフレームの一部分など）が、ツリーブロック、コード化単位（ＣＵ：coding unit）及び／又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、又は他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0004]空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックを生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピー符号化が適用され得る。
[0005]スケーラブルビデオコード化（ＳＶＣ）は、参照レイヤ（ＲＬ：reference layer）と呼ばれることがあるベースレイヤ（ＢＬ：base layer）と、１つ又は複数のスケーラブル拡張レイヤ（ＥＬ：enhancement layer）とが使用されるビデオコード化を指す。ＳＶＣでは、ベースレイヤは、ベースレベルの品質でビデオデータを搬送することができる。１つ又は複数の拡張レイヤは、例えば、より高い空間レベル、時間レベル、及び／又は信号対雑音（ＳＮＲ：signal-to-noise）レベルをサポートするために追加のビデオデータを搬送することができる。拡張レイヤは、前に符号化されたレイヤに対して定義され得る。例えば、最下位レイヤはＢＬとして働き得、最上位レイヤはＥＬとして働き得る。中間レイヤは、ＥＬ又はＲＬのいずれか、又はその両方として働き得る。例えば、中間にあるレイヤは、ベースレイヤ又は介在拡張レイヤ（intervening enhancement layer）など、それの下のレイヤのためのＥＬであり、同時に、それの上の１つ又は複数の拡張レイヤのためのＲＬとして働き得る。同様に、ＨＥＶＣ規格のマルチビュー又は３Ｄ拡張では、複数のビューがあり得、１つのビューの情報は、別のビューの情報（例えば、動き推定、動きベクトル予測及び／又は他の冗長）をコード化（例えば、符号化又は復号）するために利用され得る。
[0006]ＳＶＣでは、拡張レイヤ中の現在ブロックが、ベースレイヤの画素情報を使用して予測され得る。例えば、イントラＢＬモードと呼ばれる拡張レイヤのためのコード化モードでは、拡張レイヤ中の現在ブロックのテクスチャ（例えば、画素又はサンプル値）は、ベースレイヤ中の同一位置配置ブロック（co-located block）のテクスチャを使用して予測され得る（本開示で使用する「同一位置配置（co-located）」という用語は、現在ブロック、例えば、現在予測されているブロックと同じピクチャに対応する、別のレイヤ中のブロックを指すことがある）。従って、現在ブロックのテクスチャを送信するのではなく、ビデオエンコーダは、現在ブロックのテクスチャと同一位置配置ベースレイヤブロックのテクスチャとの間の差（例えば、残差）のみを送信することができる。
[0007]しかしながら、空間スケーラビリティ及びビット深度スケーラビリティなどの幾つかのスケーラビリティ方式の場合、ベースレイヤ画素情報は、拡張レイヤ画素情報を予測するために使用される前に変更される必要があり得る。例えば、空間スケーラビリティでは、ベースレイヤ画素情報は、拡張レイヤ画素情報を予測するために使用される前に（例えば、解像度比に従って）アップサンプリングされる必要があり得、ビット深度スケーラビリティでは、ベースレイヤ画素情報は、拡張レイヤ画素情報を予測するために使用される前にビット深度変換を受ける（例えば、ビット深度差だけビットシフトされる）必要があり得る。空間スケーラビリティとビット深度スケーラビリティとが両方とも存在するとき、ベースレイヤ画素情報は、拡張レイヤ画素情報を予測するために使用される前に、アップサンプリングすることと、異なるビット深度に変換することの両方が行われる必要があり得る。しかしながら、２つの別個のプロセス中でアップサンプリングとビット深度変換とを実行することはコード化効率及び／又は予測精度の低下（例えば、丸め誤差）を生じ得る。従って、アップサンプリングプロセスとビット深度変換プロセスとを単段プロセス（single-stage process）に組み合わせることによって、コード化効率は改善され得、計算複雑さは低減され得る。
[0008]本開示のシステム、方法及び装置は、それぞれ幾つかの発明的態様を有し、それらのうちの単一の態様が、本明細書で開示する望ましい属性を単独で担当するとは限らない。
[0009]一実施形態では、ビデオ情報をコード化（例えば、符号化又は復号）するように構成された装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを含む。メモリユニットは、参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶するように構成され、ＥＬはＥＬビデオ単位を備え、ＲＬは、ＥＬビデオ単位に対応するＲＬビデオ単位を備える。プロセッサは、ＥＬビデオ単位の予測された画素情報を決定し、予測された画素情報を使用してＥＬビデオ単位を決定するために、単一の合成プロセスにおいてＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行するように構成される。
[0010]一実施形態では、ビデオ情報をコード化（例えば、符号化又は復号）する方法は、参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶することと、ＥＬがＥＬビデオ単位を備え、ＲＬが、ＥＬビデオ単位に対応するＲＬビデオ単位を備える、ＥＬビデオ単位の予測された画素情報を決定するために、単一の合成プロセスにおいてＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行することと、予測された画素情報を使用してＥＬビデオ単位を決定することとを備える。
[0011]一実施形態では、非一時的コンピュータ可読媒体は、実行されたとき、装置にプロセスを実行させるコードを備える。プロセスは、参照レイヤと拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶することと、ＥＬがＥＬビデオ単位を備え、ＲＬが、ＥＬビデオ単位に対応するＲＬビデオ単位を備える、ＥＬビデオ単位の予測された画素情報を決定するために、単一の合成プロセスにおいてＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行することと、予測された画素情報を使用してＥＬビデオ単位を決定することとを備える。
[0012]一実施形態では、ビデオ情報をコード化するように構成されたビデオコード化機器は、参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶するための手段と、ＥＬがＥＬビデオ単位を備え、ＲＬが、ＥＬビデオ単位に対応するＲＬビデオ単位を備える、ＥＬビデオ単位の予測された画素情報を決定するために、単一の合成プロセスにおいてＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行するための手段と、予測された画素情報を使用してＥＬビデオ単位を決定するための手段とを備える。
[0013]本開示で説明する態様による技法を利用し得るビデオ符号化及び復号システムの一例を示すブロック図。 [0014]本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0015]本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0016]本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。 [0017]本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。 [0018]異なる次元におけるＳＶＣスケーラビリティを示す概念図。 [0019]ＳＶＣビットストリームの例示的な構造を示す概念図。 [0020]ＳＶＣビットストリーム中のアクセス単位を示す概念図。 [0021]本開示の一実施形態による、レイヤ間予測（inter-layer prediction）の例を示す概念図。 [0022]本開示の一実施形態による、ビデオ情報をコード化する方法を示すフローチャート。 [0023]本開示の別の実施形態による、ビデオ情報をコード化する方法を示すフローチャート。
[0024]本明細書で説明する幾つかの実施形態は、ＨＥＶＣ（高効率ビデオコード化）など、高度ビデオコーデック（advanced video codecs）のコンテキストにおけるスケーラブルビデオコード化のためのレイヤ間予測に関する。より詳細には、本開示は、ＨＥＶＣのスケーラブルビデオコード化（ＳＶＣ）拡張におけるレイヤ間予測の性能の改善のためのシステム及び方法に関する。
[0025]以下の説明では、幾つかの実施形態に関係するＨ．２６４／ＡＶＣ技法について説明し、ＨＥＶＣ規格及び関係する技法についても説明する。幾つかの実施形態について、ＨＥＶＣ及び／又はＨ．２６４規格のコンテキストにおいて本明細書で説明するが、本明細書で開示するシステム及び方法が任意の好適なビデオコード化規格に適用可能であり得ることを、当業者は諒解されよう。例えば、本明細書で開示する実施形態は、以下の規格、即ち、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、及びそれのスケーラブルビデオコード化（ＳＶＣ）拡張とマルチビュービデオコード化（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４のうちの１つ又は複数に適用可能であり得る。
[0026]ＨＥＶＣは、概して、多くの点で、前のビデオコード化規格のフレームワークに従う。ＨＥＶＣにおける予測の単位は、幾つかの前のビデオコード化規格における単位（例えば、マクロブロック）とは異なる。事実上、マクロブロックの概念は、幾つかの前のビデオコード化規格において理解されているように、ＨＥＶＣ中に存在しない。マクロブロックは、考えられる利益の中でも、高いフレキシビリティを与え得る、４分木方式に基づく階層構造と置き換えられ得る。例えば、ＨＥＶＣ方式内で、３つのタイプのブロック、コード化単位（ＣＵ：Coding Unit）、予測単位（ＰＵ：Prediction Unit）、及び変換単位（ＴＵ：Transform Unit）が定義される。ＣＵは領域分割の基本単位を指し得る。ＣＵはマクロブロックの概念に類似すると見なされ得るが、それは、最大サイズを制限せず、コンテンツ適応性を改善するために４つの等しいサイズのＣＵへの再帰的分割を可能にし得る。ＰＵはインター／イントラ予測の基本単位と見なされ得、それは、不規則な画像パターンを効果的にコード化するために、単一のＰＵ中に複数の任意の形状区分を含んでいることがある。ＴＵは変換の基本単位と見なされ得る。それは、ＰＵとは無関係に定義され得るが、それのサイズは、ＴＵが属するＣＵに制限され得る。３つの異なる概念へのブロック構造のこの分離は、各々がそれの役割に従って最適化されることを可能にし得、それによりコード化効率が改善され得る。
[0027]単に説明の目的で、本明細書で開示する幾つかの実施形態について、ただ２つのレイヤ（例えば、ベースレイヤなどの下位レベルレイヤ、及び拡張レイヤなどの上位レベルレイヤ）を含む例を用いて説明する。そのような例は、複数のベースレイヤ及び／又は拡張レイヤを含む構成に適用可能であり得ることを理解されたい。更に、説明を簡単にするために、以下の開示は、幾つかの実施形態に関して「フレーム」又は「ブロック」という用語を含む。但し、これらの用語は限定的なものではない。例えば、以下で説明する技法は、ブロック（例えば、ＣＵ、ＰＵ、ＴＵ、マクロブロックなど）、スライス、フレームなど、任意の好適なビデオ単位とともに使用され得る。
ビデオコード化規格
[0028]ビデオ画像、ＴＶ画像、静止画像、又はビデオレコーダ若しくはコンピュータによって生成された画像など、デジタル画像は、水平ライン及び垂直ラインで構成された画素又はサンプルからなり得る。単一の画像中の画素の数は一般に数万個である。各画素は、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮なしに、画像エンコーダから画像デコーダに搬送されるべき情報の量は、リアルタイム画像送信を不可能にするほど非常に大きい。送信されるべき情報の量を低減するために、ＪＰＥＧ、ＭＰＥＧ及びＨ．２６３規格など、幾つかの異なる圧縮方法が開発された。
[0029]ビデオコード化規格は、ＩＴＵ−Ｔ Ｈ．２６１と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６３と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌと、それのスケーラブルビデオコード化（ＳＶＣ）及びマルチビュービデオコード化（ＭＶＣ）拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４とを含む。
[0030]更に、新しいビデオコード化規格、即ち、高効率ビデオコード化（ＨＥＶＣ）が、ＩＴＵ−Ｔビデオコード化エキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのジョイントコラボレーションチームオンビデオコード化（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発されている。ＨＥＶＣドラフト１０についての完全引用は、文書ＪＣＴＶＣ−Ｌ１００３、Ｂｒｏｓｓら、「High Efficiency Video Coding (HEVC) Text Specification Draft 10」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントコラボレーティブチームオンビデオコード化（ＪＣＴ−ＶＣ：Joint Collaborative Team on Video Coding）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４日〜２０１３年１月２３日である。
[0031]添付の図面を参照しながら新規のシステム、装置、及び方法の様々な態様について以下でより十分に説明する。但し、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造又は機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、及び方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。例えば、本明細書に記載される態様をいくつ使用しても、装置は実装され得、又は方法は実施され得る。更に、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えて又はそれらの態様以外に、他の構造、機能、又は構造及び機能を使用して実施されるそのような装置又は方法をカバーするものとする。本明細書で開示するどの態様も請求項の１つ又は複数の要素によって実施され得ることを理解されたい。
[0032]本明細書では特定の態様について説明するが、これらの態様の多くの変形及び置換は本開示の範囲内に入る。好適な態様の幾つかの利益及び利点について説明するが、本開示の範囲は特定の利益、使用、又は目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、及び伝送プロトコルに広く適用可能であるものとし、それらの幾つかを例として、図及び好適な態様についての以下の説明において示す。発明を実施するための形態及び図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲及びそれの均等物によって定義される。
[0033]添付の図面は例を示している。添付の図面中の参照番号によって示される要素は、以下の説明における同様の参照番号によって示される要素に対応する。本開示では、序数語（例えば、「第１の」、「第２の」、「第３の」など）で始まる名前を有する要素は、必ずしもそれらの要素が特定の順序を有することを暗示するとは限らない。むしろ、そのような序数語は、同じ又は同様のタイプの異なる要素を指すために使用されるにすぎない。
ビデオコード化システム
[0034]図１は、本開示で説明する態様による技法を利用し得る例示的なビデオコード化システム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコード化」又は「コード化」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。
[0035]図１に示されているように、ビデオコード化システム１０は、発信源機器１２と宛先機器１４とを含む。発信源機器１２は符号化ビデオデータを生成する。宛先機器１４は、発信源機器１２によって生成された符号化ビデオデータを復号し得る。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（例えば、ラップトップなど）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォン、所謂「スマート」パッドなどの電話ハンドセット、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータなどを含む、広範囲にわたる機器を備え得る。幾つかの例では、発信源機器１２及び宛先機器１４は、ワイヤレス通信のために装備され得る。
[0036]宛先機器１４は、チャネル１６を介して発信源機器１２から符号化ビデオデータを受信し得る。チャネル１６は、発信源機器１２から宛先機器１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体又は機器を備え得る。一例では、チャネル１６は、発信源機器１２が符号化ビデオデータを宛先機器１４にリアルタイムで直接送信することを可能にする通信媒体を備え得る。この例では、発信源機器１２は、ワイヤレス通信プロトコルなどの通信規格に従って符号化ビデオデータを変調し得、変調されたビデオデータを宛先機器１４に送信し得る。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ又は複数の物理伝送線路など、ワイヤレス通信媒体又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器１２から宛先機器１４への通信を可能にするルータ、スイッチ、基地局、又は他の機器を含み得る。
[0037]別の例では、チャネル１６は、発信源機器１２によって生成された符号化ビデオデータを記憶する記憶媒体に対応し得る。この例では、宛先機器１４は、ディスクアクセス又はカードアクセスを介して記憶媒体にアクセスし得る。記憶媒体は、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、又は符号化ビデオデータを記憶するための他の適切なデジタル記憶媒体など、様々なローカルにアクセスされるデータ記憶媒体を含み得る。更なる例では、チャネル１６は、発信源機器１２によって生成された符号化ビデオを記憶する、ファイルサーバ又は別の中間記憶機器を含み得る。この例では、宛先機器１４は、ストリーミング又はダウンロードを介して、ファイルサーバ又は他の中間記憶装置に記憶された符号化ビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することと、符号化ビデオデータを宛先機器１４に送信することとが可能なタイプのサーバであり得る。例示的なファイルサーバとしては、（例えば、ウェブサイトなどのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）機器、及びローカルディスクドライブがある。宛先機器１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。例示的なタイプのデータ接続としては、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続など）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、又はその両方の組合せがあり得る。ファイルサーバからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はその両方の組合せであり得る。
[0038]本開示の技法はワイヤレス適用例又は設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、例えばインターネットを介したストリーミングビデオ送信（例えば、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）など）、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、ビデオコード化システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオテレフォニーなどの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
[0039]図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）及び／又は送信機を含み得る。発信源機器１２において、ビデオ発信源１８は、撮像装置、例えば、ビデオカメラ、以前に撮影されたビデオデータを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェース、及び／又はビデオデータを生成するためのコンピュータグラフィックスシステムなどの発信源、又はそのような発信源の組合せを含み得る。
[0040]ビデオエンコーダ２０は、撮影されたビデオデータ、以前に撮影されたビデオデータ、又はコンピュータ生成されたビデオデータを符号化するように構成され得る。符号化ビデオデータは、発信源機器１２の出力インターフェース２２を介して宛先機器１４に直接送信され得る。符号化ビデオデータはまた、復号及び／又は再生のための宛先機器１４による後のアクセスのために記憶媒体又はファイルサーバ上に記憶され得る。
[0041]図１の例では、宛先機器１４は、入力インターフェース２８と、ビデオデコーダ３０と、表示装置３２とを含む。場合によっては、入力インターフェース２８は受信機及び／又はモデムを含み得る。宛先機器１４の入力インターフェース２８は、チャネル１６を介して符号化ビデオデータを受信する。符号化ビデオデータは、ビデオデータを表す、ビデオエンコーダ２０によって生成された様々なシンタックス要素を含み得る。シンタックス要素は、ブロック及び他のコード化単位、例えば、ピクチャグループ（ＧＯＰ：group of pictures）の特性及び／又は処理を記述し得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、又はファイルサーバ上に記憶される符号化ビデオデータとともに含まれ得る。
[0042]表示装置３２は、宛先機器１４と一体化され得るか又はその外部にあり得る。幾つかの例では、宛先機器１４は、一体型表示装置を含み得、また、外部表示装置とインターフェースするように構成され得る。他の例では、宛先機器１４は表示装置であり得る。概して、表示装置３２は復号ビデオデータをユーザに表示する。表示装置３２は、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。
[0043]ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中の高効率ビデオコード化（ＨＥＶＣ）規格など、ビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，高度ビデオコード化（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格又は業界規格、又はそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオ圧縮規格の他の例としてはＭＰＥＧ−２及びＩＴＵ−Ｔ Ｈ．２６３がある。
[0044]図１の例には示されていないが、ビデオエンコーダ２０及びビデオデコーダ３０は、それぞれオーディオエンコーダ及びデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含んで、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、幾つかの例では、ＭＵＸ−ＤＥＭＵＸ単位は、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ：user datagram protocol）などの他のプロトコルに準拠し得る。
[0045]この場合も、図１は一例にすぎず、本開示の技法は、符号化機器と復号機器との間のデータ通信を必ずしも含むとは限らないビデオコード化設定（例えば、ビデオ符号化又はビデオ復号）に適用され得る。他の例では、データがローカルメモリから取り出されること、ネットワークを介してストリーミングされることなどが行われ得る。符号化機器は、データを符号化し、メモリに記憶し得、及び／又は、復号機器は、メモリからデータを取り出し、復号し得る。多くの例では、符号化及び復号は、互いに通信しないが、メモリにデータを符号化し、及び／又はメモリからデータを取り出して復号するだけである機器によって実行される。
[0046]ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ハードウェアなど、様々な好適な回路のいずれか、又はそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、好適な非一時的コンピュータ可読記憶媒体にソフトウェアの命令を記憶し得、１つ又は複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０とビデオデコーダ３０とは、図１の例では別個の機器において実装されるものとして示されているが、本開示はそのような構成に限定されず、ビデオエンコーダ２０とビデオデコーダ３０とは同じ機器において実装され得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも、それぞれの機器において複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む機器は、集積回路、マイクロプロセッサ、及び／又はセルラー電話などのワイヤレス通信機器を備え得る。
[0047]上記で手短に述べたように、ビデオエンコーダ２０はビデオデータを符号化する。ビデオデータは１つ又は複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像である。幾つかの事例では、ピクチャはビデオ「フレーム」と呼ばれることがある。ビデオエンコーダ２０がビデオデータを符号化するとき、ビデオエンコーダ２０はビットストリームを生成し得る。ビットストリームは、ビデオデータのコード化表現を形成するビットのシーケンスを含み得る。ビットストリームはコード化ピクチャと関連データとを含み得る。コード化ピクチャはピクチャのコード化表現である。
[0048]ビットストリームを生成するために、ビデオエンコーダ２０は、ビデオデータ中の各ピクチャに対して符号化演算を実行し得る。ビデオエンコーダ２０がピクチャに対して符号化演算を実行するとき、ビデオエンコーダ２０は、一連のコード化ピクチャと関連データとを生成し得る。関連データは、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセットと、ピクチャパラメータセットと、適応パラメータセットと、他のシンタックス構造とを含み得る。シーケンスパラメータセット（ＳＰＳ：sequence parameter set）は、ピクチャの０個以上のシーケンスに適用可能なパラメータを含んでいることがある。ピクチャパラメータセット（ＰＰＳ：picture parameter set）は、０個以上のピクチャに適用可能なパラメータを含み得る。適応パラメータセット（ＡＰＳ：adaptation parameter set）は、０個以上のピクチャに適用可能なパラメータを含み得る。ＡＰＳ中のパラメータは、ＰＰＳ中のパラメータよりも変化する可能性が高いパラメータであり得る。
[0049]コード化ピクチャを生成するために、ビデオエンコーダ２０は、ピクチャを等しいサイズのビデオブロックに区分し得る。ビデオブロックはサンプルの２次元アレイであり得る。ビデオブロックの各々はツリーブロックに関連付けられる。幾つかの事例では、ツリーブロックは、最大コード化単位（ＬＣＵ：largest coding unit）と呼ばれることがある。ＨＥＶＣのツリーブロックは、Ｈ．２６４／ＡＶＣなど、以前の規格のマクロブロックに広い意味で類似し得る。しかしながら、ツリーブロックは、必ずしも特定のサイズに限定されるとは限らず、１つ又は複数のコード化単位（ＣＵ）を含み得る。ビデオエンコーダ２０は、４分木区分（quadtree partitioning）を使用して、ツリーブロックのビデオブロックを、ＣＵに関連付けられたビデオブロックに区分し得、従って「ツリーブロック」という名前がある。
[0050]幾つかの例では、ビデオエンコーダ２０はピクチャを複数のスライスに区分し得る。スライスの各々は整数個のＣＵを含み得る。幾つかの事例では、スライスは整数個のツリーブロックを備える。他の事例では、スライスの境界はツリーブロック内にあり得る。
[0051]ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実行し得る。ビデオエンコーダ２０がスライスに対して符号化演算を実行するとき、ビデオエンコーダ２０は、スライスに関連付けられた符号化データを生成し得る。スライスに関連付けられた符号化データは「コード化スライス」と呼ばれることがある。
[0052]コード化スライスを生成するために、ビデオエンコーダ２０は、スライス中の各ツリーブロックに対して符号化演算を実行し得る。ビデオエンコーダ２０がツリーブロックに対して符号化演算を実行するとき、ビデオエンコーダ２０はコード化ツリーブロックを生成し得る。コード化ツリーブロックは、ツリーブロックの符号化バージョンを表すデータを備え得る。
[0053]ビデオエンコーダ２０がコード化スライスを生成するとき、ビデオエンコーダ２０は、ラスタ走査順序に従って、スライス中のツリーブロックに対して符号化演算を実行し得る（例えば、そのツリーブロックを符号化し得る）。例えば、ビデオエンコーダ２０は、スライス中のツリーブロックの一番上の行にわたって左から右に進み、次いでツリーブロックの次の下の行にわたって左から右に進み、以下同様に進む順序で、ビデオエンコーダ２０がスライス中のツリーブロックの各々を符号化するまで、スライスのツリーブロックを符号化し得る。
[0054]ラスタ走査順序に従ってツリーブロックを符号化した結果として、所与のツリーブロックの上及び左のツリーブロックは符号化されていることがあるが、所与のツリーブロックの下及び右のツリーブロックはまだ符号化されていない。従って、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの上及び左のツリーブロックを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの下及び右のツリーブロックを符号化することによって生成された情報にアクセスすることができないことがある。
[0055]コード化ツリーブロックを生成するために、ビデオエンコーダ２０は、ツリーブロックのビデオブロックに対して４分木区分を再帰的に実行して、ビデオブロックを徐々により小さいビデオブロックに分割し得る。より小さいビデオブロックの各々は異なるＣＵに関連付けられ得る。例えば、ビデオエンコーダ２０は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し、サブブロックのうちの１つ又は複数を、４つの等しいサイズのサブサブブロックに区分し得、以下同様である。区分されたＣＵは、それのビデオブロックが、他のＣＵに関連付けられたビデオブロックに区分された、ＣＵであり得る。区分されていないＣＵは、それのビデオブロックが、他のＣＵに関連付けられたビデオブロックに区分されていない、ＣＵであり得る。
[0056]ビットストリーム中の１つ又は複数のシンタックス要素は、ビデオエンコーダ２０がツリーブロックのビデオブロックを区分し得る最大の回数を示し得る。ＣＵのビデオブロックは形状が正方形であり得る。ＣＵのビデオブロックのサイズ（例えば、ＣＵのサイズ）は、８×８画素から、最大６４×６４以上の画素をもつツリーブロックのビデオブロックのサイズ（例えば、ツリーブロックのサイズ）までに及び得る。
[0057]ビデオエンコーダ２０は、ｚ走査順序に従って、ツリーブロックの各ＣＵに対して符号化演算を実行し得る（例えば、各ＣＵを符号化し得る）。言い換えれば、ビデオエンコーダ２０は、左上のＣＵと、右上のＣＵと、左下のＣＵと、次いで右下のＣＵとを、その順序で符号化し得る。ビデオエンコーダ２０が、区分されたＣＵに対して符号化演算を実行するとき、ビデオエンコーダ２０は、ｚ走査順序に従って、区分されたＣＵのビデオブロックのサブブロックに関連付けられたＣＵを符号化し得る。言い換えれば、ビデオエンコーダ２０は、左上のサブブロックに関連付けられたＣＵと、右上のサブブロックに関連付けられたＣＵと、左下のサブブロックに関連付けられたＣＵと、次いで右下のサブブロックに関連付けられたＣＵとを、その順序で符号化し得る。
[0058]ｚ走査順序に従ってツリーブロックのＣＵを符号化した結果として、所与のＣＵの上、左上、右上、左、及び左下のＣＵは符号化されていることがある。所与のＣＵの下及び右のＣＵはまだ符号化されていない。従って、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接する幾つかのＣＵを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接する他のＣＵを符号化することによって生成された情報にアクセスすることができないことがある。
[0059]ビデオエンコーダ２０が、区分されていないＣＵを符号化するとき、ビデオエンコーダ２０は、ＣＵのために１つ又は複数の予測単位（ＰＵ）を生成し得る。ＣＵのＰＵの各々は、ＣＵのビデオブロック内の異なるビデオブロックに関連付けられ得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのための予測ビデオブロックを生成し得る。ＰＵの予測ビデオブロックはサンプルのブロックであり得る。ビデオエンコーダ２０は、イントラ予測又はインター予測を使用して、ＰＵのための予測ビデオブロックを生成し得る。
[0060]ビデオエンコーダ２０がイントラ予測を使用してＰＵの予測ビデオブロックを生成するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がイントラ予測を使用してＣＵのＰＵの予測ビデオブロックを生成する場合、ＣＵはイントラ予測されたＣＵである。ビデオエンコーダ２０がインター予測を使用してＰＵの予測ビデオブロックを生成するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つ又は複数のピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がインター予測を使用してＣＵのＰＵの予測ビデオブロックを生成する場合、ＣＵはインター予測されたＣＵである。
[0061]更に、ビデオエンコーダ２０がインター予測を使用してＰＵのための予測ビデオブロックを生成するとき、ビデオエンコーダ２０はＰＵの動き情報を生成し得る。ＰＵの動き情報は、ＰＵの１つ又は複数の参照ブロックを示し得る。ＰＵの各参照ブロックは参照ピクチャ内のビデオブロックであり得る。参照ピクチャはＰＵに関連付けられたピクチャ以外のピクチャであり得る。幾つかの事例では、ＰＵの参照ブロックはＰＵの「参照サンプル」と呼ばれることもある。ビデオエンコーダ２０は、ＰＵの参照ブロックに基づいて、ＰＵのための予測ビデオブロックを生成し得る。
[0062]ビデオエンコーダ２０がＣＵの１つ又は複数のＰＵのための予測ビデオブロックを生成した後、ビデオエンコーダ２０は、ＣＵのＰＵのための予測ビデオブロックに基づいて、ＣＵの残差データを生成し得る。ＣＵの残差データは、ＣＵのＰＵのための予測ビデオブロック中のサンプルと、ＣＵの元のビデオブロック中のサンプルとの間の差を示し得る。
[0063]更に、区分されていないＣＵに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ＣＵの残差データに対して再帰的な４分木区分を実行して、ＣＵの残差データを、ＣＵの変換単位（ＴＵ）に関連付けられた残差データの１つ又は複数のブロック（例えば、残差ビデオブロック）に区分し得る。ＣＵの各ＴＵは異なる残差ビデオブロックに関連付けられ得る。
[0064]ビデオコーダ２０は、ＴＵに関連付けられた残差ビデオブロックに１つ又は複数の変換を適用して、ＴＵに関連付けられた変換係数ブロック（例えば、変換係数のブロック）を生成し得る。概念的に、変換係数ブロックは変換係数の２次元（２Ｄ）行列であり得る。
[0065]変換係数ブロックを生成した後、ビデオエンコーダ２０は、変換係数ブロックに対して量子化プロセスを実行し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を実現する処理を指す。量子化プロセスは、変換係数の一部又は全部に関連付けられたビット深度を低減し得る。例えば、量子化中にｎビットの変換係数がｍビットの変換係数に切り捨てられることがあり、ここで、ｎはｍよりも大きい。
[0066]ビデオエンコーダ２０は、各ＣＵを量子化パラメータ（ＱＰ：quantization parameter）値に関連付け得る。ＣＵに関連付けられたＱＰ値は、ビデオエンコーダ２０が、ＣＵに関連付けられた変換係数ブロックをどのように量子化するかを決定し得る。ビデオエンコーダ２０は、ＣＵに関連付けられたＱＰ値を調整することによって、ＣＵに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。
[0067]ビデオエンコーダ２０が変換係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数ブロック中で変換係数を表すシンタックス要素のセットを生成し得る。ビデオエンコーダ２０は、これらのシンタックス要素のうちの幾つかに、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ：Context Adaptive Binary Arithmetic Coding）演算などのエントロピー符号化演算を適用し得る。コンテンツ適応型可変長コード化（ＣＡＶＬＣ：content adaptive variable length coding）、確率間隔区分エントロピー（ＰＩＰＥ：probability interval partitioning entropy）コード化、又は他のバイナリ算術コード化など、他のエントロピーコード化技法も使用され得る。
[0068]ビデオエンコーダ２０によって生成されるビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ：Network Abstraction Layer）単位を含み得る。ＮＡＬ単位の各々は、ＮＡＬ単位中のデータのタイプの指示と、データを含んでいるバイトとを含んでいるシンタックス構造であり得る。例えば、ＮＡＬ単位は、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、コード化スライス、補足拡張情報（ＳＥＩ：supplemental enhancement information）、アクセス単位区切り文字、フィラーデータ、又は別のタイプのデータを表すデータを含み得る。ＮＡＬ単位中のデータは様々なシンタックス構造を含み得る。
[0069]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。ビットストリームは、ビデオエンコーダ２０によって符号化されたビデオデータのコード化表現を含み得る。ビデオデコーダ３０がビットストリームを受信するとき、ビデオデコーダ３０は、ビットストリームに対して構文解析演算（parsing operation）を実行し得る。ビデオデコーダ３０が構文解析演算を実行するとき、ビデオデコーダ３０は、ビットストリームからシンタックス要素を抽出し得る。ビデオデコーダ３０は、ビットストリームから抽出されたシンタックス要素に基づいて、ビデオデータのピクチャを再構成し得る。シンタックス要素に基づいてビデオデータを再構成するためのプロセスは、一般に、シンタックス要素を生成するためにビデオエンコーダ２０によって実行されるプロセスとは逆であり得る。
[0070]ビデオデコーダ３０がＣＵに関連付けられたシンタックス要素を抽出した後、ビデオデコーダ３０は、シンタックス要素に基づいて、ＣＵのＰＵのための予測ビデオブロックを生成し得る。更に、ビデオデコーダ３０は、ＣＵのＴＵに関連付けられた変換係数ブロックを逆量子化し得る。ビデオデコーダ３０は、変換係数ブロックに対して逆変換を実行して、ＣＵのＴＵに関連付けられた残差ビデオブロックを再構成し得る。予測ビデオブロックを生成し、残差ビデオブロックを再構成した後、ビデオデコーダ３０は、予測ビデオブロックと残差ビデオブロックとに基づいて、ＣＵのビデオブロックを再構成し得る。このようにして、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて、ＣＵのビデオブロックを再構成し得る。
ビデオエンコーダ
[0071]図２Ａは、本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図である。ビデオエンコーダ２０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。更に、ビデオエンコーダ２０は、本開示の技法のいずれか又は全てを実行するように構成され得る。一例として、予測処理ユニット１００は、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。別の実施形態では、ビデオエンコーダ２０は、本開示で説明する技法のいずれか又は全てを実行するように構成された随意のレイヤ間予測ユニット１２８を含む。他の実施形態では、レイヤ間予測は予測処理ユニット１００（例えば、インター予測ユニット１２１及び／又はイントラ予測ユニット１２６）によって実行され得、その場合、レイヤ間予測ユニット１２８は省略され得る。但し、本開示の態様はそのように限定されない。幾つかの例では、本開示で説明する技法は、ビデオエンコーダ２０の様々な構成要素間で共有され得る。幾つかの例では、追加又は代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。
[0072]説明の目的で、本開示では、ＨＥＶＣコード化のコンテキストにおいてビデオエンコーダ２０について説明する。しかしながら、本開示の技法は、他のコード化規格又は方法にも適用可能であり得る。図２Ａに示された例はシングルレイヤコーデックのためのものである。しかしながら、図２Ｂに関して更に説明するように、ビデオエンコーダ２０の一部又は全部はマルチレイヤコーデックの処理のために複製され得る。
[0073]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコード化及びインターコード化を実行し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間冗長性を低減又は除去するために空間予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間的冗長性を低減又は除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、幾つかの空間ベースのコード化モードのいずれかを指し得る。単方向予測（Ｐモード）又は双方向予測（Ｂモード）などのインターモードは、幾つかの時間ベースのコード化モードのいずれかを指し得る。
[0074]図２Ａの例では、ビデオエンコーダ２０は複数の機能構成要素を含む。ビデオエンコーダ２０の機能構成要素は、予測処理ユニット１００と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換ユニット１１０と、再構成ユニット１１２と、フィルタユニット１１３と、復号ピクチャバッファ１１４と、エントロピー符号化ユニット１１６とを含む。予測処理ユニット１００は、インター予測ユニット１２１と、動き推定ユニット１２２と、動き補償ユニット１２４と、イントラ予測ユニット１２６と、レイヤ間予測ユニット１２８とを含む。他の例では、ビデオエンコーダ２０は、より多数の、より少数の、又は異なる機能構成要素を含み得る。更に、動き推定ユニット１２２と動き補償ユニット１２４とは、高度に統合され得るが、図２Ａの例では、説明の目的で別々に表されている。
[0075]ビデオエンコーダ２０はビデオデータを受信し得る。ビデオエンコーダ２０は、様々な発信源からビデオデータを受信し得る。例えば、ビデオエンコーダ２０は、ビデオ発信源１８（図１）又は別の発信源からビデオデータを受信し得る。ビデオデータは一連のピクチャを表し得る。ビデオデータを符号化するために、ビデオエンコーダ２０は、ピクチャの各々に対して符号化演算を実行し得る。ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実行し得る。スライスに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、スライス中のツリーブロックに対して符号化演算を実行し得る。
[0076]ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ツリーブロックのビデオブロックに対して４分木区分を実行して、ビデオブロックを徐々により小さいビデオブロックに分割し得る。より小さいビデオブロックの各々は、異なるＣＵに関連付けられ得る。例えば、予測処理ユニット１００は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し、サブブロックの１つ又は複数を、４つの等しいサイズのサブサブブロックに区分し得、以下同様である。
[0077]ＣＵに関連付けられたビデオブロックのサイズは、８×８サンプルから、最大６４×６４以上のサンプルをもつツリーブロックのサイズまでに及び得る。本開示では、「Ｎ×Ｎ（NxN）」及び「Ｎ×Ｎ（N by N）」は、垂直寸法及び水平寸法に関するビデオブロックのサンプル寸法、例えば、１６×１６（16x16）サンプル又は１６×１６（16 by 16）サンプルを指すために互換的に使用され得る。概して、１６×１６ビデオブロックは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。
[0078]更に、ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ツリーブロック用の階層的な４分木データ構造を生成し得る。例えば、ツリーブロックは、４分木データ構造のルートノードに対応し得る。予測処理ユニット１００が、ツリーブロックのビデオブロックを４つのサブブロックに区分する場合、ルートノードは、４分木データ構造中に４つの子ノードを有する。子ノードの各々は、サブブロックのうちの１つに関連付けられたＣＵに対応する。予測処理ユニット１００が、サブブロックのうちの１つを４つのサブサブブロックに区分する場合、サブブロックに関連付けられたＣＵに対応するノードは、サブサブブロックのうちの１つに関連付けられたＣＵに各々が対応する、４つの子ノードを有し得る。
[0079]４分木データ構造の各ノードは、対応するツリーブロック又はＣＵのシンタックスデータ（例えば、シンタックス要素）を含み得る。例えば、４分木の中のノードは、そのノードに対応するＣＵのビデオブロックが４つのサブブロックに区分される（例えば、分割される）かどうかを示すスプリットフラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵのビデオブロックがサブブロックに分割されるかどうかに依存し得る。それのビデオブロックが区分されていないＣＵは、４分木データ構造におけるリーフノードに対応し得る。コード化ツリーブロックは、対応するツリーブロック用の４分木データ構造に基づくデータを含み得る。
[0080]ビデオエンコーダ２０は、ツリーブロックの区分されていない各ＣＵに対して符号化演算を実行し得る。ビデオエンコーダ２０が、区分されていないＣＵに対して符号化演算を実行するとき、ビデオエンコーダ２０は、区分されていないＣＵの符号化表現を表すデータを生成する。
[0081]ＣＵに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ＣＵの１つ又は複数のＰＵの中で、ＣＵのビデオブロックを区分し得る。ビデオエンコーダ２０及びビデオデコーダ３０は、様々なＰＵサイズをサポートし得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２０及びビデオデコーダ３０は、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズと、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、又は同様の対称ＰＵサイズでのインター予測とをサポートし得る。ビデオエンコーダ２０及びビデオデコーダ３０は、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズに対する非対称区分をもサポートし得る。幾つかの例では、予測処理ユニット１００は、ＣＵのビデオブロックの辺に直角に接触しない境界に沿って、ＣＵのＰＵの間でＣＵのビデオブロックを区分するように、幾何学的な区分化を実行し得る。
[0082]インター予測ユニット１２１はＣＵの各ＰＵに対してインター予測を実行し得る。インター予測は時間圧縮を実現し得る。ＰＵに対してインター予測を実行するために、動き推定ユニット１２２はＰＵの動き情報を生成し得る。動き補償ユニット１２４は、動き情報と、ＣＵに関連付けられたピクチャ以外のピクチャ（例えば、参照ピクチャ）の復号サンプルと基づくＰＵのための予測ビデオブロックを生成し得る。本開示では、動き補償ユニット１２４によって生成された予測ビデオブロックは、インター予測ビデオブロックと呼ばれることがある。
[0083]スライスは、Ｉスライス、Ｐスライス、又はＢスライスであり得る。動き推定ユニット１２２及び動き補償ユニット１２４は、ＰＵがＩスライス中にあるか、Ｐスライス中にあるか、Ｂスライス中にあるかに応じて、ＣＵのＰＵに対して異なる演算を実行し得る。Ｉスライス中では、全てのＰＵがイントラ予測される。従って、ＰＵがＩスライス中にある場合、動き推定ユニット１２２及び動き補償ユニット１２４は、ＰＵに対してインター予測を実行しない。
[0084]ＰＵがＰスライス中にある場合、ＰＵを含んでいるピクチャは、「リスト０」と呼ばれる参照ピクチャのリストに関連付けられる。リスト０中の参照ピクチャの各々は、他のピクチャのインター予測に使用され得るサンプルを含んでいる。動き推定ユニット１２２が、Ｐスライス中のＰＵに関して動き推定演算を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得る。ＰＵの参照ブロックは、ＰＵのビデオブロック中のサンプルに最も密接に対応するサンプルのセット、例えば、サンプルのブロックであり得る。動き推定ユニット１２２は、様々なメトリクスを使用して、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。例えば、動き推定ユニット１２２は、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、又は他の差分メトリックによって、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。
[0085]Ｐスライス中のＰＵの参照ブロックを識別した後、動き推定ユニット１２２は、参照ブロックを含んでいる、リスト０中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。様々な例において、動き推定ユニット１２２は動きベクトルを異なる精度に生成し得る。例えば、動き推定ユニット１２２は、１／４サンプル精度、１／８サンプル精度、又は他の分数のサンプル精度で動きベクトルを生成し得る。分数のサンプル精度の場合、参照ブロック値は、参照ピクチャ中の整数位置のサンプル値から補間され得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって識別された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。
[0086]ＰＵがＢスライス中にある場合、ＰＵを含んでいるピクチャは、「リスト０」及び「リスト１」と呼ばれる参照ピクチャの２つのリストに関連付けられ得る。幾つかの例では、Ｂスライスを含んでいるピクチャは、リスト０とリスト１の組合せである、リストの組合せに関連付けられ得る。
[0087]更に、ＰＵがＢスライス中にある場合、動き推定ユニット１２２は、ＰＵについての単方向予測又は双方向予測を実行し得る。動き推定ユニット１２２が、ＰＵについての単方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０又はリスト１の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含んでいる、リスト０又はリスト１中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと、予測方向インジケータと、動きベクトルとを出力し得る。予測方向インジケータは、参照インデックスが、リスト０中の参照ピクチャを示すか、リスト１中の参照ピクチャを示すかを示し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。
[0088]動き推定ユニット１２２が、ＰＵについての双方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得、また、ＰＵのための別の参照ブロックについて、リスト１中の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含んでいる、リスト０及びリスト１中の参照ピクチャを示す参照インデックスと、参照ブロックとＰＵの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報としてＰＵの参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。
[0089]幾つかの例では、動き推定ユニット１２２は、ＰＵの動き情報のフルセットをエントロピー符号化ユニット１１６に出力しない。そうではなく、動き推定ユニット１２２は、別のＰＵの動き情報を参照して、ＰＵの動き情報を信号伝達（signal）し得る。例えば、動き推定ユニット１２２は、ＰＵの動き情報が、隣接ＰＵの動き情報と十分に類似していると決定し得る。この例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、ＰＵが隣接ＰＵと同じ動き情報を有することをビデオデコーダ３０に示す値を示し得る。別の例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、隣接ＰＵと動きベクトル差分（ＭＶＤ：motion vector difference）とを識別し得る。動きベクトル差分は、ＰＵの動きベクトルと、示される隣接ＰＵの動きベクトルとの間の差分を示す。ビデオデコーダ３０は、示される隣接ＰＵの動きベクトルと、動きベクトル差分とを使用して、ＰＵの動きベクトルを決定し得る。第２のＰＵの動き情報を信号伝達するときに第１のＰＵの動き情報を参照することによって、ビデオエンコーダ２０は、より少数のビットを使用して、第２のＰＵの動き情報を信号伝達することが可能であり得る。
[0090]図８及び図９に関して以下で更に説明するように、予測処理ユニット１００は、図８及び図９に示されている方法を実行することによってＰＵ（又は他の拡張レイヤブロック又はビデオ単位）をコード化（例えば、符号化又は復号）するように構成され得る。例えば、（例えば、動き推定ユニット１２２及び／又は動き補償ユニット１２４を介した）インター予測ユニット１２１、イントラ予測ユニット１２６、又はレイヤ間予測ユニット１２８は、一緒に又は別々に、図８及び図９に示されている方法を実行するように構成され得る。
[0091]ＣＵに対して符号化演算を実行することの一部として、イントラ予測ユニット１２６は、ＣＵのＰＵに対してイントラ予測を実行し得る。イントラ予測は空間圧縮を実現し得る。イントラ予測ユニット１２６がＰＵに対してイントラ予測を実行するとき、イントラ予測ユニット１２６は、同じピクチャ中の他のＰＵの復号サンプルに基づいて、ＰＵの予測データを生成し得る。ＰＵの予測データは、予測ビデオブロックと様々なシンタックス要素とを含み得る。イントラ予測ユニット１２６は、Ｉスライス、Ｐスライス、及びＢスライス中のＰＵに対してイントラ予測を実行し得る。
[0092]ＰＵに対してイントラ予測を実行するために、イントラ予測ユニット１２６は、複数のイントラ予測モードを使用して、ＰＵの予測データの複数のセットを生成し得る。イントラ予測ユニット１２６が、イントラ予測モードを使用してＰＵの予測データのセットを生成するとき、イントラ予測ユニット１２６は、イントラ予測モードに関連付けられた方向及び／又は勾配で、隣接ＰＵのビデオブロックからＰＵのビデオブロックにわたって、サンプルを延ばし得る。隣接ＰＵは、ＰＵ、ＣＵ、及びツリーブロックについて左から右、上から下の符号化順序を仮定すると、ＰＵの上、右上、左上、又は左にあり得る。イントラ予測ユニット１２６は、ＰＵのサイズに応じて、様々な数のイントラ予測モード、例えば、３３個の方向性イントラ予測モードを使用し得る。
[0093]予測処理ユニット１００は、ＰＵについての、動き補償ユニット１２４によって生成された予測データ、又はＰＵについての、イントラ予測ユニット１２６によって生成された予測データの中から、ＰＵの予測データを選択し得る。幾つかの例では、予測処理ユニット１００は、予測データのセットのレート／歪みメトリックに基づいて、ＰＵのための予測データを選択する。
[0094]予測処理ユニット１００が、イントラ予測ユニット１２６によって生成された予測データを選択する場合、予測処理ユニット１００は、ＰＵの予測データを生成するために使用されたイントラ予測モード、例えば、選択されたイントラ予測モードを信号伝達し得る。予測処理ユニット１００は、選択されたイントラ予測モードを様々な方法で信号伝達し得る。例えば、選択されたイントラ予測モードは、隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは現在ＰＵに対して最確モードであり得る。従って、予測処理ユニット１００は、選択されたイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示すための、シンタックス要素を生成し得る。
[0095]上記で説明したように、ビデオエンコーダ２０はレイヤ間予測ユニット１２８を含み得る。レイヤ間予測ユニット１２８は、ＳＶＣにおいて利用可能である１つ又は複数の異なるレイヤ（例えば、ベースレイヤ又は参照レイヤ）を使用して現在ブロック（例えば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１２８は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コード化効率を改善し、計算リ発信源要件を低減する。レイヤ間予測の幾つかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、及びレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中の同一位置配置ブロックの再構成を使用して拡張レイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用して拡張レイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用して拡張レイヤの残差を予測する。レイヤ間予測方式の各々について、より詳細に以下で説明する。
[0096]予測処理ユニット１００がＣＵのＰＵの予測データを選択した後、残差生成ユニット１０２は、ＣＵのビデオブロックからＣＵのＰＵの予測ビデオブロックを差し引くこと（例えば、マイナス符号によって示される）によって、ＣＵの残差データを生成し得る。ＣＵの残差データは、ＣＵのビデオブロック中のサンプルの異なるサンプル成分に対応する、２Ｄ残差ビデオブロックを含み得る。例えば、残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのルミナンス成分と、ＣＵの元のビデオブロック中のサンプルのルミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。更に、ＣＵの残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのクロミナンス成分と、ＣＵの元のビデオブロック中のサンプルのクロミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。
[0097]予測処理ユニット１００は、４分木区分を実行して、ＣＵの残差ビデオブロックをサブブロックに区分し得る。各分割されていない残差ビデオブロックは、ＣＵの異なるＴＵに関連付けられ得る。ＣＵのＴＵに関連付けられた残差ビデオブロックのサイズ及び位置は、ＣＵのＰＵに関連付けられたビデオブロックのサイズ及び位置に基づくことも基づかないこともある。「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造は、残差ビデオブロックの各々に関連付けられたノードを含み得る。ＣＵのＴＵはＲＱＴのリーフノードに対応し得る。
[0098]変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに１つ又は複数の変換を適用することによって、ＣＵの各ＴＵのための１つ又は複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は、変換係数の２Ｄ行列であり得る。変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに様々な変換を適用し得る。例えば、変換処理ユニット１０４は、離散コサイン変換（ＤＣＴ）、方向性変換、又は概念的に同様の変換を、ＴＵに関連付けられた残差ビデオブロックに適用し得る。
[0099]変換処理ユニット１０４が、ＴＵに関連付けられた変換係数ブロックを生成した後、量子化ユニット１０６は、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット１０６は、ＣＵに関連付けられたＱＰ値に基づいて、ＣＵのＴＵに関連付けられた変換係数ブロックを量子化し得る。
[00100]ビデオエンコーダ２０は、様々な方法でＱＰ値をＣＵに関連付け得る。例えば、ビデオエンコーダ２０は、ＣＵに関連付けられたツリーブロックに対してレート歪み分析を実行し得る。レート歪み分析では、ビデオエンコーダ２０は、ツリーブロックに対して符号化演算を複数回実行することによって、ツリーブロックの複数のコード化表現を生成し得る。ビデオエンコーダ２０がツリーブロックの異なる符号化表現を生成するとき、ビデオエンコーダ２０は、異なるＱＰ値をＣＵに関連付け得る。ビデオエンコーダ２０は、最小のビットレート及び歪みメトリックを有するツリーブロックのコード化表現で所与のＱＰ値がＣＵに関連付けられるとき、所与のＱＰ値がＣＵに関連付けられることを信号伝達し得る。
[00101]逆量子化ユニット１０８及び逆変換ユニット１１０は、それぞれ、変換係数ブロックに逆量子化と逆変換とを適用して、変換係数ブロックから残差ビデオブロックを再構成し得る。再構成ユニット１１２は、再構成された残差ビデオブロックを、予測処理ユニット１００によって生成された１つ又は複数の予測ビデオブロックからの対応するサンプルに追加して、ＴＵに関連付けられた再構成されたビデオブロックを生成し得る。このようにＣＵの各ＴＵのためのビデオブロックを再構成することによって、ビデオエンコーダ２０は、ＣＵのビデオブロックを再構成し得る。
[00102]再構成ユニット１１２がＣＵのビデオブロックを再構成した後、フィルタユニット１１３は、ＣＵに関連付けられたビデオブロックにおけるブロック歪み（blocking artifacts）を低減するためにデブロッキング演算を実行し得る。１つ又は複数のデブロッキング演算を実行した後、フィルタユニット１１３は、復号ピクチャバッファ１１４にＣＵの再構成されたビデオブロックを記憶し得る。動き推定ユニット１２２及び動き補償ユニット１２４は、再構成されたビデオブロックを含んでいる参照ピクチャを使用して、後続ピクチャのＰＵに対してインター予測を実行し得る。更に、イントラ予測ユニット１２６は、復号ピクチャバッファ１１４中の再構成されたビデオブロックを使用して、ＣＵと同じピクチャの中の他のＰＵに対してイントラ予測を実行し得る。
[00103]エントロピー符号化ユニット１１６は、ビデオエンコーダ２０の他の機能構成要素からデータを受信し得る。例えば、エントロピー符号化ユニット１１６は、量子化ユニット１０６から変換係数ブロックを受信し得、予測処理ユニット１００からシンタックス要素を受信し得る。エントロピー符号化ユニット１１６がデータを受信するとき、エントロピー符号化ユニット１１６は、１つ又は複数のエントロピー符号化演算を実行して、エントロピー符号化されたデータを生成し得る。例えば、ビデオエンコーダ２０は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）演算、ＣＡＢＡＣ演算、変数間（Ｖ２Ｖ：variable-to-variable）レングスコード化演算、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）演算、確率間隔区分エントロピー（ＰＩＰＥ）コード化演算、又は別のタイプのエントロピー符号化演算をデータに対して実行し得る。エントロピー符号化ユニット１１６は、エントロピー符号化されたデータを含むビットストリームを出力し得る。
[00104]データに対してエントロピー符号化演算を実行することの一部として、エントロピー符号化ユニット１１６は、コンテキストモデルを選択し得る。エントロピー符号化ユニット１１６がＣＡＢＡＣ演算を実行している場合、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示し得る。ＣＡＢＡＣのコンテキストでは、「ビン」という用語は、シンタックス要素の２値化されたバージョンのビットを指すために使用される。
マルチレイヤビデオエンコーダ
[00105]図２Ｂは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオエンコーダ２１の一例を示すブロック図である。ビデオエンコーダ２１は、ＳＨＶＣ及びマルチビューコード化の場合など、マルチレイヤビデオフレームを処理するように構成され得る。更に、ビデオエンコーダ２１は、本開示の技法のいずれか又は全てを実行するように構成され得る。
[00106]ビデオエンコーダ２１はビデオエンコーダ２０Ａとビデオエンコーダ２０Ｂとを含み、それらの各々はビデオエンコーダ２０として構成され得、ビデオエンコーダ２０に関して上記で説明した機能を実行し得る。更に、参照番号の再利用によって示されるように、ビデオエンコーダ２０Ａ及び２０Ｂは、ビデオエンコーダ２０としてシステムとサブシステムとのうちの少なくとも幾つかを含み得る。ビデオエンコーダ２１は、２つのビデオエンコーダ２０Ａ及び２０Ｂを含むものとして示されているが、ビデオエンコーダ２１は、そのようなものとして限定されず、任意の数のビデオエンコーダ２０レイヤを含み得る。幾つかの実施形態では、ビデオエンコーダ２１はアクセス単位中の各ピクチャ又はフレームについてビデオエンコーダ２０を含み得る。例えば、５つのピクチャを含むアクセス単位は、５つのエンコーダレイヤを含むビデオエンコーダによって処理又は符号化され得る。幾つかの実施形態では、ビデオエンコーダ２１は、アクセス単位中のフレームよりも多くのエンコーダレイヤを含み得る。幾つかのそのような場合では、ビデオエンコーダレイヤの幾つかは、幾つかのアクセス単位を処理するときに非アクティブであり得る。
[00107]ビデオエンコーダ２０Ａ及び２０Ｂに加えて、ビデオエンコーダ２１はリサンプリングユニット９０を含み得る。リサンプリングユニット９０は、場合によっては、例えば、拡張レイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。リサンプリングユニット９０は、フレームの受信されたベースレイヤに関連付けられた特定の情報をアップサンプリングするが、他の情報をアップサンプリングしないことがある。例えば、リサンプリングユニット９０は、ベースレイヤの空間サイズ又は画素の数をアップサンプリングし得るが、スライスの数又はピクチャ順序カウントは定数のままであり得る。場合によっては、リサンプリングユニット９０は、受信されたビデオを処理しないことがあるか、及び／又は随意であり得る。例えば、場合によっては、予測処理ユニット１００はアップサンプリングを実行し得る。幾つかの実施形態では、リサンプリングユニット９０は、レイヤをアップサンプリングすることと、スライス境界ルール及び／又はラスタ走査ルールのセットに準拠するために１つ又は複数のスライスを再編成、再定義、変更、又は調整することとを行うように構成される。アクセス単位中のベースレイヤ又は下位レイヤをアップサンプリングするものとして主に説明したが、場合によっては、リサンプリングユニット９０はレイヤをダウンサンプリングし得る。例えば、ビデオのストリーミング中に帯域幅が減少した場合、フレームは、アップサンプリングされるのではなく、ダウンサンプリングされ得る。
[00108]リサンプリングユニット９０は、下位レイヤエンコーダ（例えば、ビデオエンコーダ２０Ａ）の復号ピクチャバッファ１１４からピクチャ又はフレーム（又はピクチャに関連付けられたピクチャ情報）を受信し、ピクチャ（又は受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤエンコーダと同じアクセス単位中のピクチャを符号化するように構成された上位レイヤエンコーダ（例えば、ビデオエンコーダ２０Ｂ）の予測処理ユニット１００に与えられ得る。場合によっては、上位レイヤエンコーダは、下位レイヤエンコーダから削除された１つのレイヤである。他の場合には、図２Ｂのレイヤ０ビデオエンコーダとレイヤ１エンコーダとの間に１つ又は複数の上位レイヤエンコーダがあり得る。
[00109]場合によっては、リサンプリングユニット９０は省略又はバイパスされ得る。そのような場合、ビデオエンコーダ２０Ａの復号ピクチャバッファ１１４からのピクチャは、直接、又は少なくともリサンプリングユニット９０に与えられることなしに、ビデオエンコーダ２０Ｂの予測処理ユニット１００に与えられ得る。例えば、ビデオエンコーダ２０Ｂに与えられたビデオデータと、ビデオエンコーダ２０Ａの復号ピクチャバッファ１１４からの参照ピクチャとが同じサイズ又は解像度である場合、参照ピクチャは、リサンプリングなしにビデオエンコーダ２０Ｂに与えられ得る。
[00110]幾つかの実施形態では、ビデオエンコーダ２１は、ビデオエンコーダ２０Ａにビデオデータを与える前に、ダウンサンプリングユニット９４を使用して下位レイヤエンコーダに与えられるべきビデオデータをダウンサンプリングする。代替的に、ダウンサンプリングユニット９４は、ビデオデータをアップサンプリング又はダウンサンプリングすることが可能なリサンプリングユニット９０であり得る。また他の実施形態では、ダウンサンプリングユニット９４は省略され得る。
[00111]図２Ｂに示されているように、ビデオエンコーダ２１は、マルチプレクサ９８、又はｍｕｘを更に含み得る。ｍｕｘ９８は、ビデオエンコーダ２１から合成ビットストリームを出力することができる。合成ビットストリームは、ビデオエンコーダ２０Ａ及び２０Ｂの各々からビットストリームを取ることと、所与の時間において出力されるビットストリームを交替することとによって、作成され得る。場合によっては、２つの（又は、３つ以上のビデオエンコーダレイヤの場合には、より多くの）ビットストリームからのビットが一度に１ビットずつ交替され得るが、多くの場合、ビットストリームは別様に合成され得る。例えば、出力ビットストリームは、選択されたビットストリームを一度に１ブロックずつ交替することによって作成され得る。別の例では、出力ビットストリームは、ビデオエンコーダ２０Ａ及び２０Ｂの各々からブロックの非１：１比（non-1:1 ratio）を出力することによって作成され得る。例えば、２つのブロックは、ビデオエンコーダ２０Ａから出力された各ブロックについてビデオエンコーダ２０Ｂから出力され得る。幾つかの実施形態では、ｍｕｘ９８からの出力ストリームはプリプログラムされ得る。他の実施形態では、ｍｕｘ９８は、発信源機器１２上のプロセッサからなど、ビデオエンコーダ２１の外部のシステムから受信された制御信号に基づいて、ビデオエンコーダ２０Ａ、２０Ｂからのビットストリームを合成し得る。制御信号は、ビデオ発信源１８からのビデオの解像度又はビットレートに基づいて、チャネル１６の帯域幅に基づいて、ユーザに関連付けられたサブスクリプション（例えば、有料サブスクリプション対無料サブスクリプション）に基づいて、又はビデオエンコーダ２１から望まれる解像度出力を決定するための他のファクタに基づいて生成され得る。
ビデオデコーダ
[00112]図３Ａは、本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図である。ビデオデコーダ３０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。更に、ビデオデコーダ３０は、本開示の技法のいずれか又は全てを実行するように構成され得る。一例として、動き補償ユニット１６２及び／又はイントラ予測ユニット１６４は、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。一実施形態では、ビデオデコーダ３０は、場合によっては、本開示で説明する技法のいずれか又は全てを実行するように構成されたレイヤ間予測ユニット１６６を含み得る。他の実施形態では、レイヤ間予測は予測処理ユニット１５２（例えば、動き補償ユニット１６２及び／又はイントラ予測ユニット１６４）によって実行され得、その場合、レイヤ間予測ユニット１６６は省略され得る。但し、本開示の態様はそのように限定されない。幾つかの例では、本開示で説明する技法は、ビデオデコーダ３０の様々な構成要素間で共有され得る。幾つかの例では、追加又は代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。
[00113]説明の目的で、本開示では、ＨＥＶＣコード化のコンテキストにおいてビデオデコーダ３０について説明する。しかしながら、本開示の技法は、他のコード化規格又は方法にも適用可能であり得る。図３Ａに示された例はシングルレイヤコーデックのためのものである。しかしながら、図３Ｂに関して更に説明するように、ビデオデコーダ３０の一部又は全部はマルチレイヤコーデックの処理のために複製され得る。
[00114]図３Ａの例では、ビデオデコーダ３０は複数の機能構成要素を含む。ビデオデコーダ３０の機能構成要素は、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換ユニット１５６と、再構成ユニット１５８と、フィルタユニット１５９と、復号ピクチャバッファ１６０とを含む。予測処理ユニット１５２は、動き補償ユニット１６２と、イントラ予測ユニット１６４と、レイヤ間予測ユニット１６６とを含む。幾つかの例では、ビデオデコーダ３０は、図２Ａのビデオエンコーダ２０に関して説明された符号化経路とは全般に逆の復号経路を実行し得る。他の例では、ビデオデコーダ３０は、より多数の、より少数の、又は異なる機能構成要素を含み得る。
[00115]ビデオデコーダ３０は、符号化ビデオデータを備えるビットストリームを受信し得る。ビットストリームは複数のシンタックス要素を含み得る。ビデオデコーダ３０がビットストリームを受信したとき、エントロピー復号ユニット１５０は、ビットストリームに対して構文解析演算を実行し得る。ビットストリームに対して構文解析演算を実行した結果として、エントロピー復号ユニット１５０は、ビットストリームからシンタックス要素を抽出し得る。構文解析演算を実行することの一部として、エントロピー復号ユニット１５０は、ビットストリーム中のエントロピー符号化されたシンタックス要素をエントロピー復号し得る。予測処理ユニット１５２、逆量子化ユニット１５４、逆変換ユニット１５６、再構成ユニット１５８、及びフィルタユニット１５９は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成する再構成演算を実行し得る。
[00116]上記で説明したように、ビットストリームは、一連のＮＡＬ単位を備え得る。ビットストリームのＮＡＬ単位は、ビデオパラメータセット、シーケンスパラメータセットＮＡＬ単位、ピクチャパラメータセットＮＡＬ単位、ＳＥＩ ＮＡＬ単位などを含み得る。ビットストリームに対して構文解析演算を実行することの一部として、エントロピー復号ユニット１５０は、シーケンスパラメータセットＮＡＬ単位からのシーケンスパラメータセット、ピクチャパラメータセットＮＡＬ単位からのピクチャパラメータセット、ＳＥＩ ＮＡＬ単位からのＳＥＩデータなどを抽出しエントロピー復号する、構文解析演算を実行し得る。
[00117]更に、ビットストリームのＮＡＬ単位はコード化スライスＮＡＬ単位を含み得る。ビットストリームに対して構文解析演算を実行することの一部として、エントロピー復号ユニット１５０は、コード化スライスＮＡＬ単位からコード化スライスを抽出しエントロピー復号する、構文解析演算を実行し得る。コード化されたスライスの各々は、スライスヘッダとスライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含んでいることがある。スライスヘッダ中のシンタックス要素は、スライスを含んでいるピクチャに関連付けられたピクチャパラメータセットを識別するシンタックス要素を含み得る。エントロピー復号ユニット１５０は、コード化されたスライスヘッダ中のシンタックス要素に対して、ＣＡＢＡＣ復号演算などのエントロピー復号演算を実行して、スライスヘッダを再構成し得る。
[00118]コード化スライスのＮＡＬ単位からスライスデータを抽出することの一部として、エントロピー復号ユニット１５０は、スライスデータ中のコード化ＣＵからシンタックス要素を抽出する構文解析演算を実行し得る。抽出されたシンタックス要素は、変換係数ブロックに関連付けられたシンタックス要素を含み得る。エントロピー復号ユニット１５０は、次いで、シンタックス要素のうちの幾つかに対してＣＡＢＡＣ復号演算を実行し得る。
[00119]エントロピー復号ユニット１５０が区分されていないＣＵに対して構文解析演算を実行した後、ビデオデコーダ３０は、区分されていないＣＵに対して再構成演算を実行し得る。区分されていないＣＵに対して再構成演算を実行するために、ビデオデコーダ３０はＣＵの各ＴＵに対して再構成演算を実行し得る。ＣＵの各ＴＵについて再構成演算を実行することによって、ビデオデコーダ３０は、ＣＵに関連付けられた残差ビデオブロックを再構成し得る。
[00120]ＴＵに対して再構成演算を実行することの一部として、逆量子化ユニット１５４は、ＴＵに関連付けられた変換係数ブロックを逆の量子化（inverse quantize）、例えば、逆量子化（de-quantize）し得る。逆量子化ユニット１５４は、ＨＥＶＣ用に提案された、又はＨ．２６４復号規格によって定義された逆量子化プロセスと同様の方式で、変換係数ブロックを逆量子化し得る。逆量子化ユニット１５４は、量子化の程度を決定し、同様に、逆量子化ユニット１５４が適用するべき逆量子化の程度を決定するために、変換係数ブロックのＣＵのためにビデオエンコーダ２０によって計算される量子化パラメータＱＰを使用し得る。
[00121]逆量子化ユニット１５４が変換係数ブロックを逆量子化した後、逆変換ユニット１５６は、変換係数ブロックに関連付けられたＴＵのための残差ビデオブロックを生成し得る。逆変換ユニット１５６は、ＴＵのための残差ビデオブロックを生成するために、変換係数ブロックに逆変換を適用し得る。例えば、逆変換ユニット１５６は、変換係数ブロックに、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）、逆回転変換、逆方向変換、又は別の逆変換を適用し得る。幾つかの例では、逆変換ユニット１５６は、ビデオエンコーダ２０からの信号伝達に基づいて、変換係数ブロックに適用すべき逆変換を決定し得る。そのような例では、逆変換ユニット１５６は、変換係数ブロックに関連付けられたツリーブロックの４分木のルートノードにおいて信号伝達された変換に基づいて、逆変換を決定し得る。他の例では、逆変換ユニット１５６は、ブロックサイズ、コード化モードなど、１つ又は複数のコード化特性から逆変換を推論し得る。幾つかの例では、逆変換ユニット１５６はカスケード逆変換を適用し得る。
[00122]幾つかの例では、動き補償ユニット１６２は、補間フィルタに基づく補間を実行することによって、ＰＵの予測ビデオブロックを改良し得る。サブサンプル精度をもつ動き補償のために使用されるべき補間フィルタのための識別子が、シンタックス要素中に含まれ得る。動き補償ユニット１６２は、ＰＵの予測ビデオブロックの生成中にビデオエンコーダ２０によって使用された同じ補間フィルタを使用して、参照ブロックのサブ整数サンプルについての補間値を計算し得る。動き補償ユニット１６２は、受信されたシンタックス情報に従って、ビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ビデオブロックを生成し得る。
[00123]図８及び図９に関して以下で更に説明するように、予測処理ユニット１５２は、図８及び図９に示されている方法を実行することによってＰＵ（又は他の拡張レイヤブロック又はビデオ単位）をコード化（例えば、符号化又は復号）し得る。例えば、動き補償ユニット１６２、イントラ予測ユニット１６４、又はレイヤ間予測ユニット１６６は、一緒に又は別々に、図８及び図９に示されている方法を実行するように構成され得る。
[00124]ＰＵが、イントラ予測を使用して符号化される場合、イントラ予測ユニット１６４は、ＰＵのための予測ビデオブロックを生成するためにイントラ予測を実行し得る。例えば、イントラ予測ユニット１６４は、ビットストリーム中のシンタックス要素に基づいて、ＰＵのためのイントラ予測モードを決定し得る。ビットストリームは、ＰＵのイントラ予測モードを決定するためにイントラ予測ユニット１６４が使用し得るシンタックス要素を含み得る。
[00125]幾つかの事例では、シンタックス要素は、イントラ予測ユニット１６４が別のＰＵのイントラ予測モードを使用して現在ＰＵのイントラ予測モードを決定するべきであることを示し得る。例えば、現在ＰＵのイントラ予測モードは隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは、現在ＰＵに対して最確モード（most probable mode）であり得る。従って、この例では、ビットストリームは、ＰＵのイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示す、小さいシンタックス要素を含み得る。イントラ予測ユニット１６４は、次いで、イントラ予測モードを使用して、空間的に隣接するＰＵのビデオブロックに基づいて、ＰＵの予測データ（例えば、予測サンプル）を生成し得る。
[00126]上記で説明したように、ビデオデコーダ３０もレイヤ間予測ユニット１６６を含み得る。レイヤ間予測ユニット１６６は、ＳＶＣにおいて利用可能である１つ又は複数の異なるレイヤ（例えば、ベースレイヤ又は参照レイヤ）を使用して現在ブロック（例えば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１６６は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コード化効率を改善し、計算リ発信源要件を低減する。レイヤ間予測の幾つかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、及びレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中の同一位置配置ブロックの再構成を使用して拡張レイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用して拡張レイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用して拡張レイヤの残差を予測する。レイヤ間予測方式の各々について、より詳細に以下で説明する。
[00127]再構成ユニット１５８は、適用可能なとき、ＣＵのＴＵに関連付けられた残差ビデオブロックとＣＵのＰＵの予測ビデオブロックとを使用して、例えば、イントラ予測データ又はインター予測データのいずれかを使用して、ＣＵのビデオブロックを再構成し得る。従って、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて、予測ビデオブロックと残差ビデオブロックとを生成し得、予測ビデオブロックと残差ビデオブロックとに基づいて、ビデオブロックを生成し得る。
[00128]再構成ユニット１５８がＣＵのビデオブロックを再構成した後、フィルタユニット１５９は、デブロッキング演算を実行して、ＣＵに関連付けられたブロック歪みを低減し得る。フィルタユニット１５９がデブロッキング演算を実行してＣＵに関連付けられたブロック歪みを低減した後、ビデオデコーダ３０は、復号ピクチャバッファ１６０にＣＵのビデオブロックを記憶し得る。復号ピクチャバッファ１６０は、後続の動き補償、イントラ予測、及び図１の表示装置３２などの表示装置上での提示のために、参照ピクチャを与え得る。例えば、ビデオデコーダ３０は、復号ピクチャバッファ１６０中のビデオブロックに基づいて、他のＣＵのＰＵに対してイントラ予測演算又はインター予測演算を実行し得る。
スケーラブルビデオコード化（ＳＶＣ）の構造
マルチレイヤデコーダ
[00129]図３Ｂは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオデコーダ３１の一例を示すブロック図である。ビデオデコーダ３１は、ＳＨＶＣ及びマルチビューコード化の場合など、マルチレイヤビデオフレームを処理するように構成され得る。更に、ビデオデコーダ３１は、本開示の技法のいずれか又は全てを実行するように構成され得る。
[00130]ビデオデコーダ３１はビデオデコーダ３０Ａとビデオデコーダ３０Ｂとを含み、それらの各々はビデオデコーダ３０として構成され得、ビデオデコーダ３０に関して上記で説明した機能を実行し得る。更に、参照番号の再利用によって示されるように、ビデオデコーダ３０Ａ及び３０Ｂは、ビデオデコーダ３０としてシステムとサブシステムとのうちの少なくとも幾つかを含み得る。ビデオデコーダ３１は、２つのビデオデコーダ３０Ａ及び３０Ｂを含むものとして示されているが、ビデオデコーダ３１は、そのようなものとして限定されず、任意の数のビデオデコーダ３０レイヤを含み得る。幾つかの実施形態では、ビデオデコーダ３１はアクセス単位中の各ピクチャ又はフレームについてビデオデコーダ３０を含み得る。例えば、５つのピクチャを含むアクセス単位は、５つのデコーダレイヤを含むビデオデコーダによって処理又は復号され得る。幾つかの実施形態では、ビデオデコーダ３１は、アクセス単位中のフレームよりも多くのデコーダレイヤを含み得る。幾つかのそのような場合では、ビデオデコーダレイヤの幾つかは、幾つかのアクセス単位を処理するときにインアクティブ（inactive）であり得る。
[00131]ビデオデコーダ３０Ａ及び３０Ｂに加えて、ビデオデコーダ３１はアップサンプリングユニット９２を含み得る。幾つかの実施形態では、アップサンプリングユニット９２は、フレーム又はアクセス単位のための参照ピクチャリストに追加されるべき拡張レイヤ（enhanced layer）を作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。この拡張レイヤは復号ピクチャバッファ１６０に記憶され得る。幾つかの実施形態では、アップサンプリングユニット９２は、図２Ａのリサンプリングユニット９０に関して説明した実施形態の一部又は全部を含むことができる。幾つかの実施形態では、アップサンプリングユニット９２は、レイヤをアップサンプリングすることと、スライス境界ルール及び／又はラスタ走査ルールのセットに準拠するために１つ又は複数のスライスを再編成、再定義、変更、又は調整することとを行うように構成される。場合によっては、アップサンプリングユニット９２は、受信されたビデオフレームのレイヤをアップサンプリング及び／又はダウンサンプリングするように構成されたリサンプリングユニットであり得る。
[00132]アップサンプリングユニット９２は、下位レイヤデコーダ（例えば、ビデオデコーダ３０Ａ）の復号ピクチャバッファ１６０からピクチャ又はフレーム（又はピクチャに関連付けられたピクチャ情報）を受信し、ピクチャ（又は受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤデコーダと同じアクセス単位中のピクチャを復号するように構成された上位レイヤデコーダ（例えば、ビデオデコーダ３０Ｂ）の予測処理ユニット１５２に与えられ得る。場合によっては、上位レイヤデコーダは、下位レイヤデコーダから削除された１つのレイヤである。他の場合には、図３Ｂのレイヤ０ビデオデコーダとレイヤ１デコーダとの間に１つ又は複数の上位レイヤデコーダがあり得る。
[00133]場合によっては、アップサンプリングユニット９２は省略又はバイパスされ得る。そのような場合、ビデオデコーダ３０Ａの復号ピクチャバッファ１６０からのピクチャは、直接、又は少なくともアップサンプリングユニット９２に与えられることなしに、ビデオデコーダ３０Ｂの予測処理ユニット１５２に与えられ得る。例えば、ビデオデコーダ３０Ｂに与えられたビデオデータと、ビデオデコーダ３０Ａの復号ピクチャバッファ１６０からの参照ピクチャとが同じサイズ又は解像度である場合、参照ピクチャは、アップサンプリングなしにビデオデコーダ３０Ｂに与えられ得る。更に、幾つかの実施形態では、アップサンプリングユニット９２は、ビデオデコーダ３０Ａの復号ピクチャバッファ１６０から受信された参照ピクチャをアップサンプリング又はダウンサンプリングするように構成されたリサンプリングユニット９０であり得る。
[00134]図３Ｂに示されているように、ビデオデコーダ３１は、デマルチプレクサ９９、又はｄｅｍｕｘを更に含み得る。ｄｅｍｕｘ９９は符号化ビデオビットストリームを複数のビットストリームにスプリットすることができ、ｄｅｍｕｘ９９によって出力された各ビットストリームは異なるビデオデコーダ３０Ａ及び３０Ｂに与えられる。複数のビットストリームは、ビットストリームを受信することによって作成され得、ビデオデコーダ３０Ａ及び３０Ｂの各々は、所与の時間においてビットストリームの一部分を受信する。場合によっては、ｄｅｍｕｘ９９において受信されるビットストリームからのビットは、ビデオデコーダの各々（例えば、図３Ｂの例ではビデオデコーダ３０Ａ及び３０Ｂ）の間で一度に１ビットずつ交替され得るが、多くの場合、ビットストリームは別様に分割される。例えば、ビットストリームは、一度に１ブロックずつビットストリームを受信するビデオデコーダを交替することによって分割され得る。別の例では、ビットストリームは、ブロックの非１：１比によって、ビデオデコーダ３０Ａ及び３０Ｂの各々に分割され得る。例えば、２つのブロックは、ビデオデコーダ３０Ａに与えられる各ブロックについてビデオデコーダ３０Ｂに与えられ得る。幾つかの実施形態では、ｄｅｍｕｘ９９によるビットストリームの分割はプリプログラムされ得る。他の実施形態では、ｄｅｍｕｘ９９は、宛先機器１４上のプロセッサからなど、ビデオデコーダ３１の外部のシステムから受信された制御信号に基づいてビットストリームを分割し得る。制御信号は、入力インターフェース２８からのビデオの解像度又はビットレートに基づいて、チャネル１６の帯域幅に基づいて、ユーザに関連付けられたサブスクリプション（例えば、有料サブスクリプション対無料サブスクリプション）に基づいて、又はビデオデコーダ３１によって取得可能な解像度を決定するための他のファクタに基づいて生成され得る。
スケーラブルビデオコード化（ＳＶＣ）の構造
[00135]図４は、異なる次元における例示的なスケーラビリティを示す概念図である。上記で説明したように、ＳＶＣの１つの例示的な実装形態はＨＥＶＣのスケーラブルビデオコード化拡張（scalable video coding extension）を指す。ＨＥＶＣのスケーラブルビデオコード化拡張は、ビデオ情報がレイヤ中で与えられることを可能にする。各レイヤは、異なるスケーラビリティに対応するビデオ情報を与えることができる。ＨＥＶＣでは、スケーラビリティは、３つの次元において使用可能であり、即ち、時間（temporal）（又は時間（time））スケーラビリティ、空間スケーラビリティ、及び（信号対雑音比又はＳＮＲスケーラビリティと呼ばれることがある）品質スケーラビリティである。例えば、時間次元では、７．５Ｈｚ、１５Ｈｚ、３０Ｈｚなどをもつフレームレートが時間スケーラビリティ（Ｔ）によってサポートされ得る。空間スケーラビリティ（Ｓ）がサポートされるとき、ＱＣＩＦ、ＣＩＦ、４ＣＩＦなどの異なる解像度が使用可能であり得る。特定の空間解像度及びフレームレートごとに、ピクチャ品質を改善するためにＳＮＲ（Ｑ）レイヤが追加され得る。
[00136]ビデオコンテンツがそのようなスケーラブルな方法で符号化されると、例えば、クライアント又は送信チャネルに依存することがあるアプリケーション要件に従って、実際の配信されたコンテンツを適応させるために、抽出器ツールが使用され得る。図４に示された例では、各立方体は、同じフレームレート（時間レベル）、空間解像度及びＳＮＲレイヤをもつピクチャを含んでいる。例えば、立方体４０２及び４０４は、同じ解像度及びＳＮＲを有するが、異なるフレームレートを有するピクチャを含んでいる。立方体４０２及び４０６は、（例えば、同じ空間レイヤでは）同じ解像度を有するが、異なるＳＮＲ及びフレームレートを有するピクチャを表す。立方体４０２及び４０８は、（例えば、同じ品質イヤでは）同じＳＮＲを有するが、異なる解像度及びフレームレートを有するピクチャを表す。立方体４０２及び４１０は、異なる解像度と、フレームレートと、ＳＮＲとを有するピクチャを表す。それらの立方体（ピクチャ）を任意の次元で追加することによって、より良い表現が達成され得る。使用可能な２つ、３つ又は更に多くのスケーラビリティがあるとき、複合スケーラビリティがサポートされる。例えば、立方体４０２中のピクチャを立方体４０４中のピクチャと合成することによって、より高いフレームレートが実現され得る。立方体４０４中のピクチャを立方体４０６中のピクチャと合成することによって、より良好なＳＮＲが実現され得る。
[00137]ＨＥＶＣのＳＶＣ拡張によれば、最低空間レイヤ及び品質レイヤをもつピクチャは、ＨＥＶＣに適合し、最低時間レベルにあるピクチャは、より高い時間レベルにあるピクチャを用いて拡張され得る時間ベースレイヤを形成する。ＨＥＶＣ適合レイヤに加えて、空間スケーラビリティ及び／又は品質スケーラビリティを与えるために幾つかの空間及び／又はＳＮＲ拡張レイヤが追加され得る。ＳＮＲスケーラビリティは品質スケーラビリティと呼ばれることもある。各空間又はＳＮＲ拡張レイヤ自体は、ＨＥＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルになり得る。１つの空間又はＳＮＲ拡張レイヤについて、それが依存するより低いレイヤは、その特定の空間又はＳＮＲ拡張レイヤのベースレイヤと呼ばれることもある。
[00138]図５は、例示的なスケーラブルビデオコード化ビットストリームを示す概念図である。図５に示されている例示的なＳＶＣコード化構造では、最低空間及び品質レイヤをもつピクチャ（ＱＣＩＦ解像度を与えるレイヤ５０２及びレイヤ５０４中のピクチャ）は、ＨＥＶＣに適合する。それらの中で、最低時間レベルのピクチャは、図５に示されているように、時間ベースレイヤ５０２を形成する。この時間ベースレイヤ（例えば、レイヤ５０２）は、レイヤ５０４など、より高い時間レベルのピクチャを用いて拡張され得る。ＨＥＶＣ適合レイヤに加えて、空間スケーラビリティ及び／又は品質スケーラビリティを与えるために幾つかの空間及び／又はＳＮＲ拡張レイヤが追加され得る。例えば、拡張レイヤは、レイヤ５０６と同じ解像度を有するＣＩＦ表現であり得る。図５に示されている例では、レイヤ５０８はＳＮＲ拡張レイヤである。その例に示されているように、各空間又はＳＮＲ拡張レイヤ自体は、ＨＥＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルになり得る。また、拡張レイヤは空間解像度とフレームレートの両方を向上させことができる。例えば、レイヤ５１０は、フレームレートを１５Ｈｚから３０Ｈｚに更に増加させる４ＣＩＦ拡張レイヤを与える。
[00139]図６は、スケーラブルビデオコード化ビットストリーム６００中の例示的なアクセス単位（例えば、１つ又は複数のスライスからなるコード化ピクチャ）を示す概念図である。図６に示されているように、幾つかの実施形態では、同じ時間インスタンス中のコード化スライスは、ビットストリーム順序で連続しており、ＳＶＣのコンテキストにおける１つのアクセス単位を形成する。それらのＳＶＣアクセス単位は、次いで、表示順序とは異なり得る復号順序に従う。復号順序は、例えば、時間予測関係によって決定され得る。例えば、フレーム０のための（例えば、図５に示されているフレーム０のための）全ての４つのレイヤ６１２、６１４、６１６、及び６１８からなるアクセスユニット６１０の後に、フレーム４のための（例えば、図５のフレーム４のための）全ての４つのレイヤ６２２、６２４、６２６、及び６２８からなるアクセスユニット６２０が続き得る。フレーム２のためのアクセスユニット６３０は、少なくともビデオ再生の観点から順が狂って続き得る。しかしながら、フレーム０及び４からの情報は、フレーム２を符号化又は復号するときに使用され得、従って、フレーム４は、フレーム２の前に符号化又は復号され得る。フレーム０とフレーム４との間の残りのフレームのためのアクセスユニット６４０及び６５０は、図６に示されているように続き得る。
スケーラブルビデオコード化（ＳＶＣ）の機能
[00140]シングルループ復号
[00141]上記で説明したように、ＳＶＣでは、拡張レイヤは、参照レイヤから導出された情報に基づいて予測され得る。そのような予測方法はレイヤ間予測と呼ばれる。レイヤ間予測は、異なるレイヤ間に存在する冗長を利用する。レイヤ間予測方式のうちの１つはレイヤ間イントラ予測である。レイヤ間イントラ予測を使用するコード化モードは「イントラＢＬ」モードと呼ばれることがある。そのような予測モードについて、図７に関して以下で説明する。
[00142]図７に、イントラＢＬ予測の例７００の概略図を示す。特に、ベースレイヤ７１０中のベースレイヤブロック７１２は拡張レイヤ７２０中の拡張レイヤブロック７２２と同一位置配置される。イントラＢＬモードでは、ブロック７２２のテクスチャは、同一位置配置ベースレイヤブロック７１２のテクスチャを使用して予測され得る。例えば、同一位置配置ベースレイヤブロック７１２が、基本的に拡張レイヤブロック７２２と同じビデオオブジェクトを示すので、同一位置配置ベースレイヤブロック７１２の画素値と拡張レイヤブロック７２２の画素値とが互いに極めて似ていることがあり得る。従って、同一位置配置ベースレイヤブロック７１２の画素値は、拡張レイヤブロック７２２の画素値を予測するための予測子として働き得る。ベースレイヤブロック７１２は、拡張レイヤ７２０とベースレイヤ７１０とが、異なる解像度を有する場合、拡張レイヤブロック７２２を予測するために使用される前にアップサンプリングされ得る。例えば、ベースレイヤピクチャは１２８０×７２０であり得、拡張レイヤは１９２０×１０８０であり得、その場合、ベースレイヤブロック又はベースレイヤピクチャは、拡張レイヤブロック又はピクチャを予測するために使用される前に、各方向（例えば、水平及び垂直）で１．５倍にアップサンプリングされ得る。予測誤差（例えば、残差）は、変換され、量子化され、エントロピー符号化され得る。「同一位置配置」という用語は、本明細書では、拡張レイヤブロックと同じビデオオブジェクトを示すベースレイヤブロックの位置を表すために使用され得る。代替的に、その用語は、同一位置配置ベースレイヤブロックが、拡張レイヤブロックと（ベースレイヤと拡張レイヤとの間の解像度比が考慮に入れられた後の）同じ座標値を有し得ることを意味し得る。本開示では「同一位置配置」という用語が使用されているが、現在ブロックの近隣（例えば、隣接）ブロック、現在ブロックの同一位置配置ブロックの近隣（例えば、隣接）ブロック、又は他の関係するブロックを用いて同様の技法が適用され得る。
[00143]レイヤ間テクスチャ予測のための別の手法はレイヤ間参照ピクチャ（ＩＬＲＰ）の使用を伴い得る。そのような例では、（必要なアップサンプリングの後に）対応する拡張レイヤピクチャの参照ピクチャリスト中に再構成されたベースレイヤピクチャが挿入される。レイヤ間テクスチャ予測は、レイヤ間参照ピクチャを使用して拡張レイヤが予測されるときに達成される。
スケーラビリティ
[00144]スケーラブルビデオコード化方式は、空間スケーラビリティ及びビット深度スケーラビリティなど、様々なスケーラビリティを与え得る。上記で説明したように、スケーラブルビデオコード化は、より高い空間、時間、及び／又は信号対雑音（ＳＮＲ）レベルを達成するために、ベースレイヤと組み合わせて復号され得る１つ又は複数のスケーラブル拡張レイヤを与える。
[00145]空間スケーラビリティは、ベースレイヤピクチャと拡張レイヤピクチャとが異なるサイズを有する場合を指す。例えば、ベースレイヤ中のピクチャは１２８０画素×７２０画素のサイズを有し得、拡張レイヤ中のピクチャは１９２０画素×１０８０画素のサイズを有し得る。
[00146]ビット深度スケーラビリティは、ベースレイヤピクチャと拡張レイヤピクチャとが異なるビット深度を有する場合を指す。例えば、ベースレイヤ中のピクチャは８ビットのビット深度を有し得る（例えば、色成分は８ビットで表され、合計で２8＝２５６個の可能な値を生じる）が、拡張レイヤ中のピクチャは１０ビットのビット深度を有し得る（例えば、色成分は１０ビットで表され、合計で２10＝１０２４個の可能な値を生じる）。また、１つの色成分（例えば、ルーマ）が１つのビット深度を使用して表され、別の色成分（例えば、クロマ）が別のビット深度を使用して表されることが可能である。
[00147]より低いビット深度（例えば、７２０ｐ及び／又は８ビット）を有するビデオコンテンツを生成するためにレガシーデコーダ（例えば、７２０ｐ及び／又は８ビット）によって復号され得るベースレイヤと、より拡張されたビデオコンテンツ（例えば、１０８０ｐ及び／又は１０ビット）を生成するためにスケーラブルデコーダによって復号され得る１つ又は複数の拡張レイヤとを含んでいるスケーラブルビットストリームを生成するためにＳＶＣを使用することによって、レガシーデコーダとの後方互換性が与えられ得、別個のビットストリームをサイマルキャストすることと比較して帯域幅要件が低減され得、それによってコード化効率及び性能が改善される。
空間スケーラビリティ及びレイヤ間予測
[00148]上記で説明したように、ベースレイヤ中の画素値は、拡張レイヤ中の画素値を予測するために使用され得る。空間スケーラビリティの場合、ベースレイヤ中のピクチャと拡張レイヤ中のピクチャとは異なるサイズを有し、従って、ベースレイヤピクチャは、拡張レイヤピクチャを予測するために使用される前に、（例えば、それらが拡張レイヤピクチャと同じ解像度にあるように）変更される必要があり得る。例えば、ベースレイヤピクチャは、（例えば、拡張レイヤのサイズがベースレイヤのサイズよりも大きい場合）ベースレイヤと拡張レイヤとの間の解像度比によってアップサンプリングされ得る。
[00149]空間スケーラビリティの場合のそのような変更の例について以下で説明する。この例では、ベースレイヤ画素の色成分値Ｐbl0及びＰbl1に基づいて拡張レイヤ画素の色成分値Ｐelを推定するために、２タップアップサンプリングフィルタを使用する実装形態が使用される。ここで、レイヤ間予測は、ベースレイヤ画素値（又はその色成分値）に関連付けられた重みを使用して達成され得る。１つのそのような関係は以下の式で表され、但し、Ｐ’elはＰelの予測値を表す。
Figure 2016511619
[00150]この例では、ｗ0及びｗ1は重みを表し、Ｏはアップサンプリングフィルタのオフセットを表す。例えば、重みは重み係数であり得る。この例では、色成分値（例えば、ルーマ成分）Ｐｂｌ０及びＰbl1は、それぞれ重みｗ0及びｗ1によって乗算される。一実施形態では、アップサンプリングフィルタの全ての重み（例えば、重みｗi）の合計は（１＜＜Ｔ）に等しく、それは、Ｔビットだけ左側にシフトされるバイナリ１を示す。Ｔの値は、どのくらいの精度が望まれるかに基づいて選定又は決定され得る。一実施形態では、それ以上の精度が望まれる場合、Ｔの値は増加し得る。Ｔの値の増加は、より多いビットシフティングが左側に行われることを意味し、計算を実行するためにより多くのビットを生じる。一実施形態では、オフセットＯの値は（１＜＜（Ｔ−１））である。別の実施形態では、オフセットＯの値は、全ての重み（例えば、ｗi）の合計の値の半分であり得る。例えば、Ｔの値が４に等しい場合、全ての係数の和は１＜＜４になり、それは（１００００）2＝１６である。同じ例では、オフセットＯは１＜＜３になり、それは（１０００）2＝８である。オフセットＯは、式（１）の計算が、切り捨てられるのではなく切り上げられるような丸めオフセットであり得る。幾つかの実施形態では、オフセットは０であり得る。
ビット深度スケーラビリティ及びレイヤ間予測
[00151]同様に、ビット深度スケーラビリティの場合、ベースレイヤ画素及び拡張レイヤ画素は異なる数のビット（例えば、８ビット対１０ビット）で表され、従って、ベースレイヤ画素値は、拡張レイヤ画素値を予測するために使用される前に変更される（例えば、拡張レイヤ画素値と同じビット数を有するためにビット深度変換を経験する）必要があり得る。そのような変更（例えば、ビット深度変換）の一例は、（例えば、拡張レイヤが、より高いビット深度を有する場合）ベースレイヤ画素のビットをＮだけ左側にシフトすることを伴い、但し、Ｎはベースレイヤと拡張レイヤとのビット深度差を表す。
[00152]ビット深度スケーラビリティの場合のそのような変更の例について以下で説明する。この例では、Ｍは拡張レイヤのビット深度を表し、Ｎはベースレイヤのビット深度を表し、Ｋはビット深度差を表し、それはＭ−Ｎである。ここで、ビット深度は、ＹＵＶ色空間の例では、Ｙ、Ｕ、又はＶなど、特定の色成分のビット深度を指す。この例では、実施形態を示すためにルーマ成分が使用されるが、同様の方法が他の色成分に適用され得る。
[00153]この例では、Ｐelは拡張レイヤ中の画素のルーマ成分を表し、Ｐblはベースレイヤ中の対応する（例えば、同一位置配置）画素のルーマ成分を表す。ここで、レイヤ間テクスチャ予測は、ベースレイヤ色成分が拡張レイヤ色成分と同じビット数で表されるように、ベースレイヤ色成分を変換することを伴い得る。そのような変換の一実装形態が以下の式に示され、但し、Ｐ’elはＰelの予測値を表す。
Figure 2016511619
Figure 2016511619
[00154]例えば、ベースレイヤと拡張レイヤと（例えば、８ビットのビット深度を有するベースレイヤと、１０ビットのビット深度を有する拡張レイヤと）の間のビット深度差が２である場合、ベースレイヤ画素のルーマ成分は２ビットだけ左側にシフトされる。従って、式（１）に従って、ベースレイヤ中の画素（例えば、カラーホワイト）が、ベースレイヤ中で２５５（２進数で１１１１ １１１１）のルーマ成分を有する場合、予測値は１０２０（２進数で１１ １１１１ １１００）になり、それは、１０ビットビット深度でカラーホワイトのルーマ成分、即ち、１０２３の近傍にある。
[00155]本開示では、Ｋは、０よりも大きいか又はそれに等しい（例えば、拡張レイヤのビット深度は、ベースレイヤのビット深度よりも大きいか又はそれに等しい）と仮定される。しかしながら、同様の方法は、Ｋが０よりも小さい場合に適用され得る。
合成空間及びビット深度スケーラビリティ
[00156]一実施形態では、空間スケーラビリティとビット深度スケーラビリティの両方が存在する場合、上記で説明した方法は、拡張レイヤ画素値を予測するためにアップサンプリングとビット深度変換の両方を達成するために合成され得る。例えば、一実装形態は以下の通りであり得る。
１．ベースレイヤ画素ＰbliをＫビットだけ左シフトする：Ｐ’bli＝Ｐbli＜＜Ｋ
２．左シフトされた画素Ｐ’bliをアップサンプリングする：Ｐ’el＝（ｗ0Ｐ’bl0＋ｗ1Ｐ’bl1＋Ｏ）＞＞Ｔ
[00157]上記に示した例では、ビット深度変換プロセス（例えば、第１のプロセス）は、ベースレイヤ画素値に対してビット深度変換を実行し、ビット深度変換された画素値を出力し、アップサンプリングプロセス（例えば、第２のプロセス）は、ビット深度変換された画素値に対してアップサンプリングを実行し、アップサンプリングされたビット深度変換された画素値を出力する。このようにして、プロセスが直列に実行され、アップサンプリングとビット深度変換の両方は達成され得る。
[00158]別の実施形態では、ベースレイヤ画素は、最初に解像度比に従ってアップサンプリングされ、次いで、予測された拡張レイヤ画素値Ｐ’el（例えば、アップサンプリングされたビット深度変換された画素値）を取得するためにＫビットだけ左シフトされ得る。
空間及びビット深度スケーラビリティのための単段プロセス
[00159]上記で説明した例では、アップサンプリング及びビット深度変換は２段プロセスとして行われる。別の実施形態では、アップサンプリング及びビット深度変換は、合成ビット深度及び空間スケーラビリティのための予測を生成する単段プロセス中で実行される。そのような単段プロセスの一実装形態が以下の式に示される。
Figure 2016511619
[00160]式（４）はアップサンプリングプロセスを示し、この場合、右シフトは、ベースレイヤと拡張レイヤとの間のビット深度差Ｋだけ低減される。従って、ビット深度スケーラビリティがない場合よりも小さいＫビットだけの右側へのビットシフティングによって、式（４）に示されたプロセスは、Ｋビットだけの左側へのビットシフティングを効果的に実行しながら、同時にアップサンプリングをも達成する。式（４）の例では、式（４）に示された単段プロセスは、ベースレイヤ画素値に適用され、アップサンプリングされたビット深度変換された画素値を出力する。これは、上記で説明した例とは異なり、但し、ビット深度変換プロセスは、ベースレイヤ画素値に対して実行され、アップサンプリングプロセスは、ビット深度変換プロセスの出力（例えば、ビット深度変換されたベースレイヤ画素値）に対して実行される。
[00161]幾つかの実施形態では、アップサンプリングとビット深度変換とは同時に実行される。一実施形態では、アップサンプリングとビット深度変換とを「同時に」実行することは、アップサンプリングとビット深度変換の両方に寄与する少なくとも１つの演算があることを意味し得る。別の実施形態では、アップサンプリングとビット深度変換の両方を同時に実行することは、アップサンプリングとビット深度変換の両方を実行するために単一のフィルタが使用されることを意味し得る。別の実施形態では、アップサンプリングとビット深度変換の両方を同時に実行することは、アップサンプリングとビット深度変換とが時間的に互いと重複することを意味し得る。
[00162]幾つかの実施形態では、別個のビット深度変換プロセスを実行する前にアップサンプリングプロセスを終了するのではなく、ビット深度変換プロセスは単段アップサンプリングプロセスに組み込まれ得る。代替的に、幾つかの実施形態では、別個のアップサンプリングプロセスを実行する前にビット深度変換プロセスを終了するのではなく、アップサンプリングプロセスは単段ビット深度変換プロセスに組み込まれ得る。一実施形態では、単段プロセスは、乗算、加算、及び／又はビットシフティングなど、複数の数学演算を含み得る。単段プロセスは、アップサンプリングとビット深度変換の両方に寄与する少なくとも１つの演算を含み得る。一例では、そのような演算は左ビットシフトであり得る。別の例では、そのような演算は右ビットシフトであり得る。また別の例では、そのような演算は乗算を伴い得る。また別の例では、そのような演算は加算を伴い得る。
[00163]一実施形態では、アップサンプリングプロセスを実行した後に、ビット深度変換がアップサンプリングプロセスの一部としてすでに実行されているので、別個のビット深度変換プロセスは、実行される必要がないことがある。例えば、ビット深度変換プロセスはアップサンプリングプロセスに組み込まれ得る。一実施形態では、アップサンプリングプロセスに関して実行される演算のうちの１つはまた、ビット深度変換を達成し、別個のビット深度変換プロセスを実行する必要はなくなる。
[00164]幾つかの実施形態では、単段プロセス中でアップサンプリングとビット深度変換とを実行することによって、アップサンプリングプロセス中の丸め誤差が低減され得る。例えば、上記に示した単段プロセスでは、重み付けされた画素値ｗ0Ｐbl0及びｗ1Ｐbl1とオフセットＯとの合計はＷだけ右シフトされ、Ｗは式（１）中のＴよりも小さく、従って、より多くの桁が保存され、それにより、より良い精度をもたらす。
[00165]図８は、本開示の一実施形態による、ビデオ情報をコード化するための方法８００を示すフローチャートである。図８に示されたステップは、エンコーダ（例えば、図２Ｂ又は図２Ｂに示されているビデオエンコーダ）、デコーダ（例えば、図３Ａ又は図３Ｂに示されているビデオデコーダ）、又は任意の他の構成要素によって実行され得る。便宜上、方法８００について、エンコーダ、デコーダ又は別の構成要素であり得る、コーダによって実行されるものとして説明する。
[00166]方法８００はブロック８０１において開始する。ブロック８０５において、コーダは、ＥＬビデオ単位を備える拡張レイヤ（ＥＬ）と、ＥＬビデオ単位に対応するＲＬビデオ単位を備える参照レイヤ（ＲＬ）とに関連付けられたビデオ情報を記憶する。ブロック８１０において、コーダは、ＥＬビデオ単位の予測された画素情報を決定するために、ＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行する。例えば、コーダは、単段プロセスを適用することによって、アップサンプリングとビット深度変換の両方を同時に実行する。そのような単段プロセスは、アップサンプリングとビット深度変換の両方に寄与する少なくとも１つの演算を含み得る。一実施形態では、画素情報は、画素値又はそのような画素値の色成分を指し、予測された画素情報は、ＥＬビデオ単位の画素値又は色成分を決定するための予測子を指す。一実施形態では、予測画素情報は、単段プロセス中で画素値を（例えば、同時に）アップサンプリング及びビットシフトするように構成された合成アップサンプリング及びビット深度変換フィルタを適用することによって決定され得る。ブロック８１５において、コーダは、予測された画素情報を使用してＥＬビデオ単位を決定する。例えば、そのようなプロセスは、ＥＬブロックの（１つ又は複数の）実効値から、（１つ又は複数の）ＲＬ画素値に予測関数を適用することによって取得された（１つ又は複数の）予測値を減算することと、残差及び予測を送信することとを伴い得る。方法８００はブロック８２０において終了する。
[00167]上記で説明したように、図２Ａのビデオエンコーダ２０、図２Ｂのビデオエンコーダ２１、図３Ａのビデオデコーダ３０、又は図３Ｂのビデオデコーダ３１のうちの１つ又は複数の構成要素（例えば、レイヤ間予測ユニット１２８及び／又はレイヤ間予測ユニット１６６）は、画素情報に対してアップサンプリング及びビット深度変換を実行すること、ならびに予測された画素情報を使用してＥＬビデオ単位（例えば、ＥＬ中の現在ブロック）を決定することなど、本開示で説明する技法のいずれかを実装するために使用され得る。
[00168]図９は、本開示の一実施形態による、ビデオ情報をコード化するための方法９００を示すフローチャートである。図９に示されたステップは、エンコーダ（例えば、図２Ａ又は図２Ｂに示されているビデオエンコーダ）、デコーダ（例えば、図３Ａ又は図３Ｂに示されているビデオデコーダ）、又は任意の他の構成要素によって実行され得る。便宜上、方法９００について、エンコーダ、デコーダ又は別の構成要素であり得る、コーダによって実行されるものとして説明する。
[00169]方法９００はブロック９０１において開始する。ブロック９０５において、コーダは、参照レイヤの解像度と拡張レイヤの解像度とが異なるかどうかを決定する。コーダが、解像度が異なると決定した場合、ブロック９１０において、コーダは、参照レイヤのビット深度と拡張レイヤのビット深度とが異なるかどうかを決定する。コーダが、ビット深度が異なると決定した場合、ブロック９２５において、コーダは、拡張レイヤ中の現在ブロックの予測された画素情報を決定するために（例えば、図８を参照しながら説明したように、ＲＬブロック又はＲＬピクチャの画素情報に対して）同時アップサンプリング及びビット深度変換を実行する。ブロック９１０において、コーダが、ビット深度が異ならないと決定した場合、ブロック９２０において、コーダは、現在ブロックの予測された画素情報を決定するためにアップサンプリングを実行する。ブロック９０５において、コーダが、解像度が異ならないと決定した場合、ブロック９１５において、コーダは、ビット深度が異なるかどうかを決定する。コーダが、ビット深度が異なると決定した場合、ブロック９３０において、コーダは、現在ブロックの予測された画素情報を決定するためにビット深度変換を実行する。ブロック９１５において、コーダが、ビット深度が異ならないと決定した場合、ブロック９３５において、コーダは、予測された画素情報（例えば、参照レイヤ中の同一位置配置ブロックの画素情報）に基づいて現在ブロックを決定する。同様に、ブロック９２０、９２５、又は９３０において、コーダが、予測された画素情報を決定した後、ブロック９３５において、コーダは、参照レイヤ中の同一位置配置ブロックの処理された画素情報（例えば、予測された画素情報）に基づいて現在ブロックを決定する。方法９００はブロック９４０において終了する。
[00170]上記で説明したように、図２Ａのビデオエンコーダ２０、図２Ｂのビデオエンコーダ２１、図３Ａのビデオデコーダ３０、又は図３Ｂのビデオデコーダ３１のうちの１つ又は複数の構成要素（例えば、レイヤ間予測ユニット１２８及び／又はレイヤ間予測ユニット１６６）は、解像度及び／又はビット深度が異なるかどうかを決定すること、アップサンプリング、ビット深度変換、又は同時アップサンプリング及びビット深度変換を実行すること、並びに予測された画素情報を使用してＥＬ中の現在ブロックを決定することなど、本開示で説明する技法のいずれかを実装するために使用され得る。
[00171]方法９００では、図９に示されたブロックのうちの１つ又は複数は削除される（例えば、実行されない）ことがあり、及び／又は方法が実行される順序は入れ替えられることがある。例えば、図９の例では、ビット深度が異なるかどうかを検査する前に、解像度が異なるかどうかが検査されるが、別の例では、解像度が異なるかどうかを検査する前に、ビット深度が異なるかどうかが検査され得る。
予測値のクリッピング
[00172]一実施形態では、以下に示されているように予測画素のビット範囲を制限するために、式（４）に示された予測にクリッピングプロセスが適用され得る。
Figure 2016511619
[00173]この例では、Ｐ’elの値は、（例えば、アンダーフロー又はオーバーフローを防ぐために）範囲［０，（１＜＜Ｍ）−１］中の値にクリッピングされ得る。例えば、ＥＬのビット深度が１０である場合、予測値Ｐ’elは範囲［０，１０２３］にクリッピングされ得る。最小値及び最大値は、そのような例に限定されず、エンコーダによってあらかじめ定義されるか又は信号伝達され得る。ビット深度（又は値の範囲）は、ＰＰＳで信号伝達され得る。
空間及びビット深度スケーラビリティのための２次元フィルタ
[00174]式（４）に関して説明した例は、１次元（１Ｄ）アップサンプリングフィルタの場合を示す。ベースレイヤ及び拡張レイヤ中のピクチャが２Ｄ画素アレイを備える場合、そのような１Ｄフィルタは、画素を垂直方向に（例えば、Ｐbl0及びＰbl1はベースレイヤ中の垂直方向の隣接画素である）又は水平方向に（例えば、Ｐbl0及びＰbl1はベースレイヤ中の水平方向の隣接画素である）アップサンプリングするために使用され得る。１Ｄアップサンプリングフィルタを使用して、全ての方向の画素についての予測値が生成され得る。
[00175]一実施形態では、２次元分離可能フィルタが使用され得る。例えば、１Ｄ水平アップサンプリングフィルタが適用され得、次いで、１Ｄ垂直アップサンプリングフィルタが適用され得る。別の実施形態では、１Ｄ水平アップサンプリングフィルタが適用される前に、１Ｄ垂直アップサンプリングフィルタが適用され得る。水平アップサンプリングが第１の段として選択され、垂直アップサンプリングが第２の段として選択される例では、第２の段中の右シフト量（例えば、垂直アップサンプリング）は、ベースレイヤと拡張レイヤとの間のビット深度差を反映するために低減され得る。例えば、Ｔsecが、合成アップサンプリング及びビット深度変換フィルタ（例えば、上記で説明した２Ｄ分離可能フィルタ）中で、ビット深度スケーラビリティがない場合の第２の段中の右シフト量を表す場合、右シフト量Ｔsec−Ｋは第２の段中で使用され得る。言い換えれば、右シフト量は、別個の段中の予測値を左シフトする必要がなくなるように、ベースレイヤと拡張レイヤとの間のビット深度差だけ低減される。例えば、Ｔsecが４に設定され、ビット深度差が２である場合、第２の段では、重み付けされた色成分の合計は、４ではなく、４−２＝２だけ右側にシフトされる。この例では、垂直アップサンプリングが第２の段として選択されるが、同様の技法は、水平アップサンプリングが第２の段として選択されたときに適用され得る。一実施形態では、２Ｄ（又は他の次元の）分離可能フィルタの最終段中のビットシフティングは、ベースレイヤと拡張レイヤとのビット深度差だけ低減される。
[00176]別の実施形態では、アップサンプリングは、以下に示すような２Ｄ非分離可能フィルタによって実行され得る。
Figure 2016511619
但し、Ｐblijは、ロケーション（ｉ，ｊ）における画素であり、ｗijは、Ｐblijのための対応する重みである。一実施形態では、全ての重みｗijの和は１＜＜Ｔに等しい。（２Ｄ非分離可能アップサンプリングフィルタを用いた）空間スケーラビリティとビット深度スケーラビリティとの合成は、以下の式を使用して実装され得る。
Figure 2016511619
[00177]上記で説明したように、単段プロセスにおいてアップサンプリング及びビット深度変換を実行することによって、丸め誤差は低減され、それによって、より良い精度を達成し得る。
フィルタ係数の適応信号伝達
[00178]合成ビット深度及び空間スケーラビリティ方式の一実施形態では、適応レイヤ間アップサンプリング／フィルタ処理及び／又はレイヤ間コンポーネント間フィルタ処理及び／又はコンポーネント間フィルタ処理が使用され得る。フィルタ係数は、ＰＰＳ、ＡＰＳ、スライスヘッダ、及び関係する拡張などのビットストリーム中で適応的に信号伝達され得る。例えば、あるフレーム（又はスライス）のために、フィルタ係数が信号伝達され得（例えば、デコーダに送信され得）、ある他のフレームのために、フィルタ係数は、１つ又は複数のあらかじめ定義された値を取り得る。そのようなあらかじめ定義された値はエンコーダ及び／又はデコーダによって知られ得る。従って、フィルタ係数の信号伝達又は決定は異なるフレーム（又はスライス）について異なり得る。例えば、フィルタ係数を信号伝達すべきかどうか、及びどのように信号伝達すべきかは、サイド情報に基づいて決定され得、それは、限定はしないが、色空間、カラーフォーマット（４：２：２、４：２：０など）、フレームサイズ、フレームタイプ、予測モード、インター予測方向、イントラ予測モード、コード化単位（ＣＵ）サイズ、最大／最小コード化単位サイズ、量子化パラメータ（ＱＰ）、最大／最小変換単位（ＴＵ）サイズ、最大変換ツリー深度参照フレームインデックス、時間レイヤｉｄなどのうちの１つ又は複数を含み得る。例えば、フィルタ係数は、しきい値サイズよりも大きいサイズを有するフレームのためにのみ送信され得る。別の実施形態では、フィルタ係数は、しきい値サイズよりも小さいサイズを有するフレームのためにのみ送信され得る。
[00179]一実施形態では、利用可能なフィルタ係数の２つ又はそれ以上のセットがあり得、エンコーダは、フレームのためにフィルタ係数のどのセットが使用されるべきであるかを示す（１つ又は複数の）選定ビットを信号伝達し得る。従って、異なるフレーム（又はスライス）はフィルタ係数の異なるセットを使用し得る。例えば、あるフレームは高コントラストエッジを含み得、最小低域（low-pass）効果を生成するフィルタ係数が使用され得る。同じ例では、別のフレームは多くの雑音を含み得、より強い低域効果を生成するフィルタ係数が使用され得る。一実施形態では、エンコーダは、フィルタ係数の各利用可能なセットをもつ拡張レイヤフレームを予測し、コード化性能に基づいて１つのセットを選択する。一実施形態では、フィルタ係数の複数のセットは、どこか（例えば、ストレージ）に記憶され、エンコーダ及び／又はデコーダによって使用され得る。別の実施形態では、フィルタ係数はエンコーダ及び／又はデコーダによってオンザフライで導出され得る。また別の実施形態では、フィルタ係数はエンコーダによってデコーダに送信される。
[00180]一実施形態では、上記で説明した適応レイヤ間フィルタ及び／又はレイヤ間コンポーネント間フィルタ及び／又はコンポーネント間フィルタは、ＶＰＳ、ＳＰＳ、及び関係する拡張などのビットストリーム中で有効及び／又は無効にされる。例えば、適応フィルタは、フレームのサブセットのみのために有効にされ、他のフレームのために無効にされ得る。
単段プロセスのためのオフセット
[00181]式（４）に関して説明した例では、ビットシフティングが実行された後に加算されるオフセットはない。別の実施形態では、ビットシフティングが実行された後に、以下に示すようにオフセットＳが加算される。
Figure 2016511619
[00182]一実施形態では、オフセットＳは１＜＜（Ｋ−１）であり得る。この例では、（例えば、予測値が実際の拡張レイヤ画素値により近くなるように）オフセットＯはアップサンプリングプロセスのために与えられ、オフセットＳはビット深度変換プロセスのために与えられる。
[00183]別の例では、ビットシフティングが実行される前に、オフセットが加算され得る。言い換えれば、以下に示すように、式（８）中のオフセットＳは、式（８）中のオフセットＯに組み込まれ得る。
Figure 2016511619
但し、合成オフセットＯ’は、式（８）中のオフセットＯに組み込まれたオフセットＳを表す。例えば、式（８）の例で、オフセットＯが値１＜＜（Ｔ−１）を有し、オフセットＳが値１＜＜（Ｋ−１）を有する場合、新しい合成オフセットＯ’はＯ＋（Ｓ＜＜Ｗ）に等しくなり、それは１＜＜Ｔである。この例では、中間段で（例えば、ビットシフティングが実行される前に）オフセットが加算されるので、それ以上の精度が維持される。
[00184]一実施形態では、式（５）に関して説明したクリッピングは、式（８）又は式（９）に適用される。例えば、Ｐ’elの値は範囲［０，（１＜＜Ｍ）−１］中の値にクリッピングされ得、いかなるアンダーフロー又はオーバーフローも防がれ得る。
合成オフセットの適応選択
[00185]一実施形態では、上記で説明した合成オフセットＯ’は、（例えば、レート歪み性能を改善するために）適応的に選択され得る。合成オフセットＯ’のそのような適応選択は、例えば、コード化ツリー単位（ＣＴＵ）ごとに、又はピクチャごとに行われ得る。
[00186]例えば、８ビットベースレイヤピクチャでは、２つの異なる色、即ち、ブラックとホワイトとを表す２つの画素があり得る。ベースレイヤピクチャでは、カラーブラックに対応する画素は色成分値０を有し得、カラーホワイトに対応する画素は色成分値２５５を有し得る。これらの２つのベースレイヤ画素が１０ビット拡張レイヤ画素を予測するために使用されるべきである場合、画素は、最初に、８ビット表現から１０ビット表現に進むために２ビットだけ左側にシフトされ得る。ビット深度変換が実行されたとき、ブラック画素の予測値は依然として０（０＜＜２）であり、ホワイト画素の予測値は１０２０（１１１１ １１１１＜＜２であり、それは１１ １１１１ １１００＝１０２０である）である。ビット深度変換が実行された後、ブラック画素の予測値は実効値０に等しいが、ホワイト画素の予測値１０２０は、実際の拡張レイヤ画素値が１０２３であろうように３だけ離れる。一実施形態では、全体的予測誤差が低減され得るように、全ての予測値に固定オフセットが加算される。一例では、オフセットは、範囲の中心にある値であり得る。例えば、全ての予測値に固定オフセット２が加算され得、それにより、平均して予測誤差を低減することになる。別の実施形態では、オフセット値は、予測誤差が各画素（又は各ＰＵ、ＣＵ、ＬＣＵ、又はピクチャ、あるいは他の単位）について最小限に抑えられるように、複数のオフセット値（例えば、この例では、０、１、２、３）から適応的に選択される。例えば、ブラック画素のためのオフセットは０になるように選択され得、ホワイト画素のためのオフセットは３になるように選択され得る。
ルックアップテーブルからの合成オフセット（Combined Offset）の導出
[00187]一実施形態では、合成オフセットＯ’はルックアップテーブル（例えば、範囲マッピングルックアップテーブル）から導出され得る。そのようなルックアップテーブルは、入力としてベースレイヤ画素値を取り、それぞれのベースレイヤ画素値のためのオフセット値を出力し得る。従って、拡張レイヤ画素を予測するために使用されるべきオフセット値は、ベースレイヤ中の対応する（例えば、同一位置配置）画素の色成分値（例えば、画素強度値）に基づき得る。一実施形態では、ルックアップテーブルはエンコーダによってデコーダに送信される。別の実施形態では、固定ルックアップテーブルはエンコーダとデコーダの両方に知られている。そのような場合、エンコーダは、エンコーダがルックアップテーブルを使用していることをデコーダに、ただ信号伝達し得る。
相互成分予測
[00188]幾つかの実施形態では、異なる色成分（例えば、ルーマ、クロマなど）が別々に処理され得る。例えば、ベースレイヤ画素のルーマ成分が、拡張レイヤ画素のクロマ成分を予測するために使用され得る。他の実施形態では、１つ又は複数の色成分が、他の色成分を予測するために使用され得る。例えば、以下に示すように、ベースレイヤ画素のルーマ成分は、対応する拡張レイヤ画素のクロマ成分のより小さいＫ（ビット深度差）ビットを予測するために使用され得る（その逆も同様）。
Figure 2016511619
但し、Ｗは（Ｔ−Ｋ）に等しい。例えば、ルーマ信号は、クロマ信号よりも多くの詳細を含み得る。従って、拡張レイヤクロマ成分を予測するためにベースレイヤクロマ成分がフィルタ処理される場合、一部の詳細はプロセス中に容易に失われ得る。式（１０）の例では、ルーマ成分が、クロマ成分を予測するために使用される。従って、そうすることによって、更なる詳細が維持され得る。
[00189]本明細書で開示する情報及び信号は、多種多様な技術及び技法のいずれかを使用して表され得る。例えば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁界又は磁性粒子、光場又は光学粒子、あるいはそれらの任意の組合せによって表され得る。
[00190]本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例及び全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。
[00191]本明細書で説明した技法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信機器ハンドセット、又はワイヤレス通信機器ハンドセット及び他の機器における適用例を含む複数の用途を有する集積回路デバイスなど、様々な機器のいずれかにおいて実装され得る。モジュール又は構成要素として説明した特徴は、集積論理デバイスに一緒に、又は個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装した場合、本技法は、実行されたとき、上記で説明した方法のうちの１つ又は複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気又は光学データ記憶媒体など、メモリ又はデータ記憶媒体を備え得る。本技法は、追加又は代替として、伝搬信号又は電波など、命令又はデータ構造の形態でプログラムコードを搬送又は伝達し、コンピュータによってアクセスされ、読み取られ、及び／又は実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
[00192]プログラムコードは、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の等価の集積回路又はディスクリート論理回路など、１つ又は複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明する技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であり得る。プロセッサは、コンピュータ機器の組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ又は複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、又は本明細書で説明した技法の実装に好適な他の構造又は装置のいずれかを指す。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のソフトウェアモジュール又はハードウェアモジュール内に提供されるか、あるいは複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。また、本技法は、１つ又は複数の回路又は論理要素において完全に実装され得る。
[00193]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置において実装され得る。本開示では、開示する技法を実行するために構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び／又はファームウェアとともに、上記で説明した１つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作可能なハードウェアユニットの集合によって与えられ得る。
[00194]本発明の様々な実施形態について説明した。これら及び他の実施形態は以下の特許請求の範囲内に入る。
[00194]本発明の様々な実施形態について説明した。これら及び他の実施形態は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲］に記載された発明を付記する。
［１］ ビデオ情報をコード化するように構成された装置であって、前記装置は、参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶するように構成されたメモリユニットと、前記ＥＬがＥＬビデオ単位を備え、前記ＲＬが、前記ＥＬビデオ単位に対応するＲＬビデオ単位を備える、前記メモリユニットと通信しているプロセッサとを備え、前記プロセッサが、前記ＥＬビデオ単位の予測された画素情報を決定するために、単一の合成プロセスにおいて前記ＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行することと、前記予測された画素情報を使用して前記ＥＬビデオ単位を決定することとを行うように構成された、装置。
［２］ 前記ＥＬビデオ単位がＥＬピクチャと前記ＥＬピクチャ内のＥＬブロックとのうちの１つであり、前記ＲＬビデオ単位がＲＬピクチャと前記ＲＬピクチャ内のＲＬブロックとのうちの１つである、［１］に記載の装置。
［３］ 前記プロセッサが、アップサンプリングとビット深度変換とを同時に実行するように構成された、［１］に記載の装置。
［４］ 前記ビット深度変換が、前記アップサンプリングされたＲＬビデオ単位に、前記ＥＬビデオ単位のために使用されるのと同じビット数を有させる、［１］に記載の装置。
［５］ 前記同時アップサンプリング及びビット深度変換が、アップサンプリングとビット深度変換の両方に寄与する少なくとも１つの演算を含む単段プロセスを備える、［１］に記載の装置。
［６］ 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に合成アップサンプリング及びビット深度変換フィルタを適用するように構成され、前記合成アップサンプリング及びビット深度変換フィルタが、前記ＲＬと前記ＥＬとの解像度比に基づいて前記ＲＬビデオ単位の前記画素情報をアップサンプリングし、前記ＥＬのビット深度と前記ＲＬのビット深度との間の差に基づいて前記アップサンプリングされた画素情報のビット深度を変換するように構成された、［１］に記載の装置。
［７］ 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に合成ビット深度変換及びアップサンプリングフィルタを適用するように構成され、前記合成ビット深度変換及びアップサンプリングフィルタが、前記ＥＬの前記ビット深度と前記ＲＬの前記ビット深度との間の前記差に基づいて前記ＲＬビデオ単位の前記画素情報の前記ビット深度を変換し、前記ＲＬと前記ＥＬとの解像度比に基づいて前記変換された画素情報をアップサンプリングするように構成された、［１］に記載の装置。
［８］ 前記プロセッサが、１つ以上の重み係数とオフセットとビットシフト値とを有するアップサンプリング及びビット深度変換フィルタを適用するように構成され、ここにおいて、前記ビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度との間の差に依存する、［１］に記載の装置。
［９］ 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、ここにおいて、前記第１のビットシフト値が、前記ＲＬに関連付けられたＲＬビット深度に依存し、前記第２のビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度に依存する、［１］に記載の装置。
［１０］ 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、ここにおいて、前記第１のビットシフト値が、前記ＲＬに関連付けられたＲＬビット深度に依存し、前記第２のビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度との間のビット深度差によって決定される、［１］に記載の装置。
［１１］ 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、ここにおいて、前記第１のビットシフト値は、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度とが同等である場合にビットシフト値と同じ方法で導出され、前記第２のビットシフト値は、前記ＥＬビット深度と前記ＲＬビット深度との間のビット深度差に基づいて導出され、前記ＥＬビット深度と前記ＲＬビット深度とが同等である場合に前記ビットシフト値よりも小さい、［１］に記載の装置。
［１２］ 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元非分離可能フィルタを適用するように構成され、前記２次元非分離可能フィルタが、前記ＲＬの複数の画素値に対応する重み係数の行列によって乗算される前記複数の画素値の合計を備える、［１］に記載の装置。
［１３］ 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に、１つ以上のフィルタ係数を有する合成アップサンプリング及びビット深度変換フィルタを適用することと、前記ＥＬ中の各フレームについて、前記ＥＬビデオ単位を予測するための前記１つ以上のフィルタ係数を使用すべきかどうかを決定することと
を行うように更に構成された、［１］に記載の装置。
［１４］ 前記ＲＬが第１の解像度と第１のビット深度とを有し、前記ＥＬが、前記第１の解像度とは異なる第２の解像度と、前記第１のビット深度とは異なる第２のビット深度とを有し、前記アップサンプリング及びビット深度変換が、前記第１の解像度と前記第１のビット深度とを有する画素情報を前記第２の解像度と前記第２のビット深度とを有する画素情報に変換する、［１］に記載の装置。
［１５］ 前記プロセッサは、前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行し、前記ビット深度変換が実行された後にオフセットを加算するように構成された、［１］に記載の装置。
［１６］ 前記プロセッサは、前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行し、前記ビット深度変換が実行される前に単一の合成オフセットを加算するように構成された、［１］に記載の装置。
［１７］ 前記プロセッサは、前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行し、前記ビット深度変換が実行される前に単一の合成オフセットを加算するように構成され、前記合成オフセットの値が、レート歪み性能に基づいて複数のオフセット値から適応的に選択される、［１］に記載の装置。
［１８］ 前記プロセッサは、前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行し、前記ビット深度変換が実行される前に単一の合成オフセットを加算するように構成され、前記合成オフセットの前記値が、前記ＲＬビデオ単位の前記画素情報に基づいて前記合成オフセットの前記値を出力するように構成されたルックアップテーブルから導出される、［１］に記載の装置。
［１９］ 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報のクロマ成分とルーマ成分の両方に基づいて、前記予測された画素情報のクロマ成分を決定するように構成された、［１］に記載の装置。
［２０］ 前記装置がエンコーダを備え、前記プロセッサが、前記予測された画素情報を使用して前記ＥＬビデオ単位を符号化するように更に構成された、［１］に記載の装置。
［２１］ 前記装置がデコーダを備え、前記プロセッサが、前記予測された画素情報を使用して前記ＥＬビデオ単位を復号するように更に構成された、［１］に記載の装置。
［２２］ 前記装置が、コンピュータと、ノートブックと、ラップトップと、コンピュータと、タブレットコンピュータと、セットトップボックスと、電話ハンドセットと、スマートフォンと、スマートパッドと、テレビジョンと、カメラと、表示装置と、デジタルメディアプレーヤと、ビデオゲームコンソールと、車内コンピュータとのうちの１つ又は複数なるグループから選択される機器を備える、［１］に記載の装置。
［２３］ ビデオ情報をコード化する方法であって、前記方法は、参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶することと、前記ＥＬがＥＬビデオ単位を備え、前記ＲＬが、前記ＥＬビデオ単位に対応するＲＬビデオ単位を備える、前記ＥＬビデオ単位の予測された画素情報を決定するために、単一の合成プロセスにおいて前記ＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行することと、前記予測された画素情報を使用して前記ＥＬビデオ単位を決定することと
を備える、方法。
［２４］ 前記ＥＬビデオ単位がＥＬピクチャと前記ＥＬピクチャ内のＥＬブロックとのうちの１つであり、前記ＲＬビデオ単位がＲＬピクチャと前記ＲＬピクチャ内のＲＬブロックとのうちの１つである、［２３］に記載の方法。
［２５］ 前記画素情報に対してアップサンプリング及びビット深度変換を実行することが、前記アップサンプリングと前記ビット深度変換とを同時に実行することを備える、［２３］に記載の方法。
［２６］ 前記ビット深度変換が、前記アップサンプリングされたＲＬビデオ単位に、前記ＥＬビデオ単位のために使用されるのと同じビット数を有させる、［２３］に記載の方法。
［２７］ アップサンプリング及びビット深度変換を実行することが、アップサンプリングとビット深度変換の両方に寄与する少なくとも１つの演算を含む単段プロセスを実行することを更に備える、［２３］に記載の方法。
［２８］ 前記ＲＬビデオ単位の前記画素情報に合成アップサンプリング及びビット深度変換フィルタを適用することを更に備え、前記合成アップサンプリング及びビット深度変換フィルタが、前記ＲＬと前記ＥＬとの解像度比に基づいて前記ＲＬビデオ単位の前記画素情報をアップサンプリングし、前記ＥＬのビット深度と前記ＲＬのビット深度との間の差に基づいて前記アップサンプリングされた画素情報のビット深度を変換するように構成された、［２３］に記載の方法。
［２９］ 前記ＲＬビデオ単位の前記画素情報に合成ビット深度変換及びアップサンプリングフィルタを適用することを更に備え、前記合成ビット深度変換及びアップサンプリングフィルタが、前記ＥＬの前記ビット深度と前記ＲＬの前記ビット深度との間の前記差に基づいて前記ＲＬビデオ単位の前記画素情報の前記ビット深度を変換し、前記ＲＬと前記ＥＬとの解像度比に基づいて前記変換された画素情報をアップサンプリングするように構成された、［２３］に記載の方法。
［３０］ プロセッサが、１つ以上の重み係数とオフセットとビットシフト値とを有するアップサンプリング及びビット深度変換フィルタを適用するように構成され、ここにおいて、前記ビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度との間の差に依存する、［２３］に記載の方法。
［３１］ 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、ここにおいて、前記第１のビットシフト値が、前記ＲＬに関連付けられたＲＬビット深度に依存し、前記第２のビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度に依存する、［２３］に記載の方法。
［３２］ 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、ここにおいて、前記第１のビットシフト値が、前記ＲＬに関連付けられたＲＬビット深度に依存し、前記第２のビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度との間のビット深度差によって決定される、［２３］に記載の方法。
［３３］ 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、ここにおいて、前記第１のビットシフト値は、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度とが同等である場合にビットシフト値と同じ方法で導出され、前記第２のビットシフト値は、前記ＥＬビット深度と前記ＲＬビット深度との間のビット深度差に基づいて導出され、前記ＥＬビット深度と前記ＲＬビット深度とが同等である場合に前記ビットシフト値よりも小さい、［２３］に記載の方法。
［３４］ 前記ＲＬビデオ単位の前記画素情報に２次元非分離可能フィルタを適用することを更に備え、前記２次元非分離可能フィルタが、前記ＲＬの複数の画素値に対応する重み係数の行列によって乗算される前記複数の画素値の合計を備える、［２３］に記載の方法。
［３５］ 前記ＲＬビデオ単位の前記画素情報に、１つ以上のフィルタ係数を有する合成アップサンプリング及びビット深度変換フィルタを適用することと、前記ＥＬ中の各フレームについて、前記ＥＬビデオ単位を予測するための前記１つ以上のフィルタ係数を使用すべきかどうかを決定することと
を更に備える、［２３］に記載の方法。
［３６］ 前記ＲＬが第１の解像度と第１のビット深度とを有し、前記ＥＬが、前記第１の解像度とは異なる第２の解像度と、前記第１のビット深度とは異なる第２のビット深度とを有し、前記アップサンプリング及びビット深度変換が、前記第１の解像度と前記第１のビット深度とを有する画素情報を前記第２の解像度と前記第２のビット深度とを有する画素情報に変換する、［２３］に記載の方法。
［３７］ 前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行することと、前記ビット深度変換が実行された後にオフセットを加算することと
を更に備える、［２３］に記載の方法。
［３８］ 前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行することと、前記ビット深度変換が実行される前に単一の合成オフセットを加算することと
を更に備える、［２３］に記載の方法。
［３９］ 前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行することと、前記ビット深度変換が実行される前に単一の合成オフセットを加算することと、前記合成オフセットの値が、レート歪み性能に基づいて複数のオフセット値から適応的に選択される、
を更に備える、［２３］に記載の方法。
［４０］ 前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行することと、前記ビット深度変換が実行される前に単一の合成オフセットを加算することと、前記合成オフセットの前記値が、前記ＲＬビデオ単位の前記画素情報に基づいて前記合成オフセットの前記値を出力するように構成されたルックアップテーブルから導出される、
を更に備える、［２３］に記載の方法。
［４１］ 前記ＲＬビデオ単位の前記画素情報のクロマ成分とルーマ成分の両方に基づいて、前記予測された画素情報のクロマ成分を決定することを更に備える、［２３］に記載の方法。
［４２］ 実行されたとき、参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶することと、前記ＥＬがＥＬビデオ単位を備え、前記ＲＬが、前記ＥＬビデオ単位に対応するＲＬビデオ単位を備える、前記ＥＬビデオ単位の予測された画素情報を決定するために、単一の合成プロセスにおいて前記ＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行することと、前記予測された画素情報を使用して前記ＥＬビデオ単位を決定することと
を備えるプロセスを装置に実行させるコードを備える、コンピュータ可読記憶媒体。
［４３］ アップサンプリング及びビット深度変換を実行することが、アップサンプリングとビット深度変換の両方に寄与する少なくとも１つの演算を含む単段プロセスを実行することを更に備える、［４２］に記載のコンピュータ可読記憶媒体。
［４４］ ビデオ情報をコード化するように構成されたビデオコード化機器であって、前記ビデオコード化機器は、参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶するための手段と、前記ＥＬがＥＬビデオ単位を備え、前記ＲＬが、前記ＥＬビデオ単位に対応するＲＬビデオ単位を備える、前記ＥＬビデオ単位の予測された画素情報を決定するために、単一の合成プロセスにおいて前記ＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行するための手段と、前記予測された画素情報を使用して前記ＥＬビデオ単位を決定するための手段と
を備える、ビデオコード化機器。
［４５］ アップサンプリング及びビット深度変換を実行するための前記手段が、アップサンプリングとビット深度変換の両方に寄与する少なくとも１つの演算を含む単段プロセスを実行するように構成された、［４４］に記載のビデオコード化機器。

Claims (45)

  1. ビデオ情報をコード化するように構成された装置であって、前記装置は、
    参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶するように構成されたメモリユニットと、前記ＥＬがＥＬビデオ単位を備え、前記ＲＬが、前記ＥＬビデオ単位に対応するＲＬビデオ単位を備える、
    前記メモリユニットと通信しているプロセッサと
    を備え、前記プロセッサが、
    前記ＥＬビデオ単位の予測された画素情報を決定するために、単一の合成プロセスにおいて前記ＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行することと、
    前記予測された画素情報を使用して前記ＥＬビデオ単位を決定することと
    を行うように構成された、装置。
  2. 前記ＥＬビデオ単位がＥＬピクチャと前記ＥＬピクチャ内のＥＬブロックとのうちの１つであり、前記ＲＬビデオ単位がＲＬピクチャと前記ＲＬピクチャ内のＲＬブロックとのうちの１つである、請求項１に記載の装置。
  3. 前記プロセッサが、アップサンプリングとビット深度変換とを同時に実行するように構成された、請求項１に記載の装置。
  4. 前記ビット深度変換が、前記アップサンプリングされたＲＬビデオ単位に、前記ＥＬビデオ単位のために使用されるのと同じビット数を有させる、請求項１に記載の装置。
  5. 前記同時アップサンプリング及びビット深度変換が、アップサンプリングとビット深度変換の両方に寄与する少なくとも１つの演算を含む単段プロセスを備える、請求項１に記載の装置。
  6. 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に合成アップサンプリング及びビット深度変換フィルタを適用するように構成され、前記合成アップサンプリング及びビット深度変換フィルタが、前記ＲＬと前記ＥＬとの解像度比に基づいて前記ＲＬビデオ単位の前記画素情報をアップサンプリングし、前記ＥＬのビット深度と前記ＲＬのビット深度との間の差に基づいて前記アップサンプリングされた画素情報のビット深度を変換するように構成された、請求項１に記載の装置。
  7. 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に合成ビット深度変換及びアップサンプリングフィルタを適用するように構成され、前記合成ビット深度変換及びアップサンプリングフィルタが、前記ＥＬの前記ビット深度と前記ＲＬの前記ビット深度との間の前記差に基づいて前記ＲＬビデオ単位の前記画素情報の前記ビット深度を変換し、前記ＲＬと前記ＥＬとの解像度比に基づいて前記変換された画素情報をアップサンプリングするように構成された、請求項１に記載の装置。
  8. 前記プロセッサが、１つ以上の重み係数とオフセットとビットシフト値とを有するアップサンプリング及びビット深度変換フィルタを適用するように構成され、
    ここにおいて、前記ビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度との間の差に依存する、請求項１に記載の装置。
  9. 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、
    ここにおいて、前記第１のビットシフト値が、前記ＲＬに関連付けられたＲＬビット深度に依存し、前記第２のビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度に依存する、請求項１に記載の装置。
  10. 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、
    ここにおいて、前記第１のビットシフト値が、前記ＲＬに関連付けられたＲＬビット深度に依存し、前記第２のビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度との間のビット深度差によって決定される、請求項１に記載の装置。
  11. 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、
    ここにおいて、前記第１のビットシフト値は、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度とが同等である場合にビットシフト値と同じ方法で導出され、前記第２のビットシフト値は、前記ＥＬビット深度と前記ＲＬビット深度との間のビット深度差に基づいて導出され、前記ＥＬビット深度と前記ＲＬビット深度とが同等である場合に前記ビットシフト値よりも小さい、請求項１に記載の装置。
  12. 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元非分離可能フィルタを適用するように構成され、前記２次元非分離可能フィルタが、前記ＲＬの複数の画素値に対応する重み係数の行列によって乗算される前記複数の画素値の合計を備える、請求項１に記載の装置。
  13. 前記プロセッサが、
    前記ＲＬビデオ単位の前記画素情報に、１つ以上のフィルタ係数を有する合成アップサンプリング及びビット深度変換フィルタを適用することと、
    前記ＥＬ中の各フレームについて、前記ＥＬビデオ単位を予測するための前記１つ以上のフィルタ係数を使用すべきかどうかを決定することと
    を行うように更に構成された、請求項１に記載の装置。
  14. 前記ＲＬが第１の解像度と第１のビット深度とを有し、前記ＥＬが、前記第１の解像度とは異なる第２の解像度と、前記第１のビット深度とは異なる第２のビット深度とを有し、前記アップサンプリング及びビット深度変換が、前記第１の解像度と前記第１のビット深度とを有する画素情報を前記第２の解像度と前記第２のビット深度とを有する画素情報に変換する、請求項１に記載の装置。
  15. 前記プロセッサは、前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行し、前記ビット深度変換が実行された後にオフセットを加算するように構成された、請求項１に記載の装置。
  16. 前記プロセッサは、前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行し、前記ビット深度変換が実行される前に単一の合成オフセットを加算するように構成された、請求項１に記載の装置。
  17. 前記プロセッサは、前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行し、前記ビット深度変換が実行される前に単一の合成オフセットを加算するように構成され、前記合成オフセットの値が、レート歪み性能に基づいて複数のオフセット値から適応的に選択される、請求項１に記載の装置。
  18. 前記プロセッサは、前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行し、前記ビット深度変換が実行される前に単一の合成オフセットを加算するように構成され、前記合成オフセットの前記値が、前記ＲＬビデオ単位の前記画素情報に基づいて前記合成オフセットの前記値を出力するように構成されたルックアップテーブルから導出される、請求項１に記載の装置。
  19. 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報のクロマ成分とルーマ成分の両方に基づいて、前記予測された画素情報のクロマ成分を決定するように構成された、請求項１に記載の装置。
  20. 前記装置がエンコーダを備え、前記プロセッサが、前記予測された画素情報を使用して前記ＥＬビデオ単位を符号化するように更に構成された、請求項１に記載の装置。
  21. 前記装置がデコーダを備え、前記プロセッサが、前記予測された画素情報を使用して前記ＥＬビデオ単位を復号するように更に構成された、請求項１に記載の装置。
  22. 前記装置が、コンピュータと、ノートブックと、ラップトップと、コンピュータと、タブレットコンピュータと、セットトップボックスと、電話ハンドセットと、スマートフォンと、スマートパッドと、テレビジョンと、カメラと、表示装置と、デジタルメディアプレーヤと、ビデオゲームコンソールと、車内コンピュータとのうちの１つ又は複数なるグループから選択される機器を備える、請求項１に記載の装置。
  23. ビデオ情報をコード化する方法であって、前記方法は、
    参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶することと、前記ＥＬがＥＬビデオ単位を備え、前記ＲＬが、前記ＥＬビデオ単位に対応するＲＬビデオ単位を備える、
    前記ＥＬビデオ単位の予測された画素情報を決定するために、単一の合成プロセスにおいて前記ＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行することと、
    前記予測された画素情報を使用して前記ＥＬビデオ単位を決定することと
    を備える、方法。
  24. 前記ＥＬビデオ単位がＥＬピクチャと前記ＥＬピクチャ内のＥＬブロックとのうちの１つであり、前記ＲＬビデオ単位がＲＬピクチャと前記ＲＬピクチャ内のＲＬブロックとのうちの１つである、請求項２３に記載の方法。
  25. 前記画素情報に対してアップサンプリング及びビット深度変換を実行することが、前記アップサンプリングと前記ビット深度変換とを同時に実行することを備える、請求項２３に記載の方法。
  26. 前記ビット深度変換が、前記アップサンプリングされたＲＬビデオ単位に、前記ＥＬビデオ単位のために使用されるのと同じビット数を有させる、請求項２３に記載の方法。
  27. アップサンプリング及びビット深度変換を実行することが、アップサンプリングとビット深度変換の両方に寄与する少なくとも１つの演算を含む単段プロセスを実行することを更に備える、請求項２３に記載の方法。
  28. 前記ＲＬビデオ単位の前記画素情報に合成アップサンプリング及びビット深度変換フィルタを適用することを更に備え、前記合成アップサンプリング及びビット深度変換フィルタが、前記ＲＬと前記ＥＬとの解像度比に基づいて前記ＲＬビデオ単位の前記画素情報をアップサンプリングし、前記ＥＬのビット深度と前記ＲＬのビット深度との間の差に基づいて前記アップサンプリングされた画素情報のビット深度を変換するように構成された、請求項２３に記載の方法。
  29. 前記ＲＬビデオ単位の前記画素情報に合成ビット深度変換及びアップサンプリングフィルタを適用することを更に備え、前記合成ビット深度変換及びアップサンプリングフィルタが、前記ＥＬの前記ビット深度と前記ＲＬの前記ビット深度との間の前記差に基づいて前記ＲＬビデオ単位の前記画素情報の前記ビット深度を変換し、前記ＲＬと前記ＥＬとの解像度比に基づいて前記変換された画素情報をアップサンプリングするように構成された、請求項２３に記載の方法。
  30. プロセッサが、１つ以上の重み係数とオフセットとビットシフト値とを有するアップサンプリング及びビット深度変換フィルタを適用するように構成され、
    ここにおいて、前記ビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度との間の差に依存する、請求項２３に記載の方法。
  31. 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、
    ここにおいて、前記第１のビットシフト値が、前記ＲＬに関連付けられたＲＬビット深度に依存し、前記第２のビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度に依存する、請求項２３に記載の方法。
  32. 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、
    ここにおいて、前記第１のビットシフト値が、前記ＲＬに関連付けられたＲＬビット深度に依存し、前記第２のビットシフト値が、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度との間のビット深度差によって決定される、請求項２３に記載の方法。
  33. 前記プロセッサが、前記ＲＬビデオ単位の前記画素情報に２次元分離可能フィルタを適用するように構成され、前記２次元分離可能フィルタが、１つ以上の重み係数と第１のオフセットと第１のビットシフト値とを有する水平アップサンプリング段と、１つ以上の追加の重み係数と第２のオフセットと第２のビットシフト値とを有する垂直アップサンプリング段とを備え、
    ここにおいて、前記第１のビットシフト値は、前記ＥＬに関連付けられたＥＬビット深度と前記ＲＬに関連付けられたＲＬビット深度とが同等である場合にビットシフト値と同じ方法で導出され、前記第２のビットシフト値は、前記ＥＬビット深度と前記ＲＬビット深度との間のビット深度差に基づいて導出され、前記ＥＬビット深度と前記ＲＬビット深度とが同等である場合に前記ビットシフト値よりも小さい、請求項２３に記載の方法。
  34. 前記ＲＬビデオ単位の前記画素情報に２次元非分離可能フィルタを適用することを更に備え、前記２次元非分離可能フィルタが、前記ＲＬの複数の画素値に対応する重み係数の行列によって乗算される前記複数の画素値の合計を備える、請求項２３に記載の方法。
  35. 前記ＲＬビデオ単位の前記画素情報に、１つ以上のフィルタ係数を有する合成アップサンプリング及びビット深度変換フィルタを適用することと、
    前記ＥＬ中の各フレームについて、前記ＥＬビデオ単位を予測するための前記１つ以上のフィルタ係数を使用すべきかどうかを決定することと
    を更に備える、請求項２３に記載の方法。
  36. 前記ＲＬが第１の解像度と第１のビット深度とを有し、前記ＥＬが、前記第１の解像度とは異なる第２の解像度と、前記第１のビット深度とは異なる第２のビット深度とを有し、前記アップサンプリング及びビット深度変換が、前記第１の解像度と前記第１のビット深度とを有する画素情報を前記第２の解像度と前記第２のビット深度とを有する画素情報に変換する、請求項２３に記載の方法。
  37. 前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行することと、
    前記ビット深度変換が実行された後にオフセットを加算することと
    を更に備える、請求項２３に記載の方法。
  38. 前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行することと、
    前記ビット深度変換が実行される前に単一の合成オフセットを加算することと
    を更に備える、請求項２３に記載の方法。
  39. 前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行することと、
    前記ビット深度変換が実行される前に単一の合成オフセットを加算することと、前記合成オフセットの値が、レート歪み性能に基づいて複数のオフセット値から適応的に選択される、
    を更に備える、請求項２３に記載の方法。
  40. 前記ＲＬビデオ単位の前記画素情報に対してアップサンプリング及びビット深度変換を実行することと、
    前記ビット深度変換が実行される前に単一の合成オフセットを加算することと、前記合成オフセットの前記値が、前記ＲＬビデオ単位の前記画素情報に基づいて前記合成オフセットの前記値を出力するように構成されたルックアップテーブルから導出される、
    を更に備える、請求項２３に記載の方法。
  41. 前記ＲＬビデオ単位の前記画素情報のクロマ成分とルーマ成分の両方に基づいて、前記予測された画素情報のクロマ成分を決定することを更に備える、請求項２３に記載の方法。
  42. 実行されたとき、
    参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶することと、前記ＥＬがＥＬビデオ単位を備え、前記ＲＬが、前記ＥＬビデオ単位に対応するＲＬビデオ単位を備える、
    前記ＥＬビデオ単位の予測された画素情報を決定するために、単一の合成プロセスにおいて前記ＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行することと、
    前記予測された画素情報を使用して前記ＥＬビデオ単位を決定することと
    を備えるプロセスを装置に実行させるコードを備える、非一時的コンピュータ可読媒体。
  43. アップサンプリング及びビット深度変換を実行することが、アップサンプリングとビット深度変換の両方に寄与する少なくとも１つの演算を含む単段プロセスを実行することを更に備える、請求項４２に記載の非一時的コンピュータ可読媒体。
  44. ビデオ情報をコード化するように構成されたビデオコード化機器であって、前記ビデオコード化機器は、
    参照レイヤ（ＲＬ）と拡張レイヤ（ＥＬ）とに関連付けられたビデオ情報を記憶するための手段と、前記ＥＬがＥＬビデオ単位を備え、前記ＲＬが、前記ＥＬビデオ単位に対応するＲＬビデオ単位を備える、
    前記ＥＬビデオ単位の予測された画素情報を決定するために、単一の合成プロセスにおいて前記ＲＬビデオ単位の画素情報に対してアップサンプリング及びビット深度変換を実行するための手段と、
    前記予測された画素情報を使用して前記ＥＬビデオ単位を決定するための手段と
    を備える、ビデオコード化機器。
  45. アップサンプリング及びビット深度変換を実行するための前記手段が、アップサンプリングとビット深度変換の両方に寄与する少なくとも１つの演算を含む単段プロセスを実行するように構成された、請求項４４に記載のビデオコード化機器。
JP2016501529A 2013-03-15 2014-03-12 ビデオ情報のスケーラブルコード化のための装置及び方法 Active JP6333942B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361790538P 2013-03-15 2013-03-15
US61/790,538 2013-03-15
US14/205,006 US9800884B2 (en) 2013-03-15 2014-03-11 Device and method for scalable coding of video information
US14/205,006 2014-03-11
PCT/US2014/024423 WO2014150864A2 (en) 2013-03-15 2014-03-12 Device and method for scalable coding of video information

Publications (3)

Publication Number Publication Date
JP2016511619A true JP2016511619A (ja) 2016-04-14
JP2016511619A5 JP2016511619A5 (ja) 2017-03-30
JP6333942B2 JP6333942B2 (ja) 2018-05-30

Family

ID=51526960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016501529A Active JP6333942B2 (ja) 2013-03-15 2014-03-12 ビデオ情報のスケーラブルコード化のための装置及び方法

Country Status (9)

Country Link
US (1) US9800884B2 (ja)
EP (1) EP2974312B1 (ja)
JP (1) JP6333942B2 (ja)
KR (1) KR102301450B1 (ja)
CN (1) CN105009590B (ja)
BR (1) BR112015023800B8 (ja)
ES (1) ES2778350T3 (ja)
HU (1) HUE046979T2 (ja)
WO (1) WO2014150864A2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2534843A4 (en) * 2010-02-08 2017-01-18 Nokia Technologies Oy An apparatus, a method and a computer program for video coding
WO2015054307A2 (en) * 2013-10-07 2015-04-16 Vid Scale, Inc. Combined scalability processing for multi-layer video coding
US20150264368A1 (en) * 2014-03-14 2015-09-17 Sony Corporation Method to bypass re-sampling process in shvc with bit-depth and 1x scalability
US20170034538A1 (en) * 2015-07-27 2017-02-02 Sony Computer Entertainment Inc. Encode/Decode Strategy for Mitigating Irregular Stream Decoding Time
EP3340620A4 (en) * 2015-08-23 2019-04-17 LG Electronics Inc. IMAGE PROCESSING METHOD BASED ON INTER-PREDICTION MODE AND APPARATUS THEREOF
WO2017188782A2 (ko) * 2016-04-29 2017-11-02 세종대학교 산학협력단 영상 신호 부호화/복호화 방법 및 장치
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
US10992939B2 (en) * 2017-10-23 2021-04-27 Google Llc Directional intra-prediction coding
MX2020003656A (es) * 2017-10-02 2020-10-12 Arris Entpr Llc Sistema y método para reducir artefactos de bloque y proporcionar eficiencia de codificación mejorada.
US10841604B2 (en) * 2018-09-04 2020-11-17 Google Llc Temporal prediction shifting for scalable video coding
CN110662031B (zh) * 2019-03-11 2021-03-23 杭州海康威视数字技术股份有限公司 解码方法及装置
CN110677690B (zh) * 2019-09-27 2022-07-01 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质
WO2021066508A1 (ko) * 2019-09-30 2021-04-08 현대자동차주식회사 다른 해상도를 가지는 픽처들에 대한 인터 예측 방법 및 장치
CN112055203B (zh) * 2020-08-22 2024-04-12 浙江大华技术股份有限公司 帧间预测方法、视频编码方法及其相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010514236A (ja) * 2006-12-14 2010-04-30 トムソン ライセンシング 空間予測及びビット深度予測の適応的予測順序を使用してビデオ・データを符号化し、かつ／又は復号化する方法及び装置
JP2010531584A (ja) * 2007-06-27 2010-09-24 トムソン ライセンシング ビット深さスケーラビリティのために向上層残差予測を使ってビデオ・データをエンコードおよび／またはデコードする方法および装置
JP2010531585A (ja) * 2007-06-29 2010-09-24 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン ビデオエンコーダ、ビデオデコーダ、エンコードするための方法、デコードするための方法、コンピュータプログラム、およびスケーラブルなビットストリーム
JP2011501568A (ja) * 2007-10-19 2011-01-06 トムソン ライセンシング 統合された空間・ビット深度スケーラビリティ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7062096B2 (en) 2002-07-29 2006-06-13 Matsushita Electric Industrial Co., Ltd. Apparatus and method for performing bitplane coding with reordering in a fine granularity scalability coding system
KR20060105409A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7590300B2 (en) * 2004-06-24 2009-09-15 Intel Corporation Image filtering methods and apparatus
JP2006011685A (ja) 2004-06-24 2006-01-12 Noritsu Koki Co Ltd 写真画像処理方法及びその装置
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
BRPI1008372A2 (pt) 2009-02-11 2018-03-06 Thomson Licensing métodos e aparelho para codificação e decodificação de vídeo escalável com profundidade de bit utilizando mapeamento de tons e mapeamento inverso de tons
KR101597987B1 (ko) * 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
US9078008B2 (en) * 2009-04-20 2015-07-07 Dolby Laboratories Licensing Corporation Adaptive inter-layer interpolation filters for multi-layered video delivery
US8934540B2 (en) 2010-07-20 2015-01-13 Cisco Technology, Inc. Video compression using multiple variable length coding methods for multiple types of transform coefficient blocks
WO2012086203A1 (ja) * 2010-12-22 2012-06-28 パナソニック株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
BR112014012351A2 (pt) * 2011-11-08 2017-05-30 Motorola Mobility Llc dispositivos e métodos para codificação e/ou de sinalização de deslocamento adaptado de amostra
KR20180112099A (ko) * 2012-07-09 2018-10-11 브이아이디 스케일, 인크. 멀티 레이어 비디오 코딩용 코덱 아키텍처

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010514236A (ja) * 2006-12-14 2010-04-30 トムソン ライセンシング 空間予測及びビット深度予測の適応的予測順序を使用してビデオ・データを符号化し、かつ／又は復号化する方法及び装置
JP2010531584A (ja) * 2007-06-27 2010-09-24 トムソン ライセンシング ビット深さスケーラビリティのために向上層残差予測を使ってビデオ・データをエンコードおよび／またはデコードする方法および装置
JP2010531585A (ja) * 2007-06-29 2010-09-24 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン ビデオエンコーダ、ビデオデコーダ、エンコードするための方法、デコードするための方法、コンピュータプログラム、およびスケーラブルなビットストリーム
JP2011501568A (ja) * 2007-10-19 2011-01-06 トムソン ライセンシング 統合された空間・ビット深度スケーラビリティ

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DO-KYOUNG KWON TEXAS INSTRUMENTS INC., USA: "Inter-layer texture prediction for bit-depth and chroma format scalability[online]", JCTVC-L JCTVC-L0229, JPN6017047148 *
YONGYING GAO, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. V19 N4, JPN5016003886, 1 April 2009 (2009-04-01), US, pages 00 - 510 *

Also Published As

Publication number Publication date
ES2778350T3 (es) 2020-08-10
BR112015023800A2 (pt) 2017-07-18
JP6333942B2 (ja) 2018-05-30
KR102301450B1 (ko) 2021-09-10
EP2974312B1 (en) 2019-12-18
HUE046979T2 (hu) 2020-04-28
BR112015023800B1 (pt) 2023-04-25
US20140269939A1 (en) 2014-09-18
US9800884B2 (en) 2017-10-24
CN105009590B (zh) 2018-10-02
BR112015023800B8 (pt) 2023-10-17
WO2014150864A2 (en) 2014-09-25
CN105009590A (zh) 2015-10-28
EP2974312A2 (en) 2016-01-20
KR20150128915A (ko) 2015-11-18
WO2014150864A3 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
JP6333942B2 (ja) ビデオ情報のスケーラブルコード化のための装置及び方法
JP6285020B2 (ja) コンポーネント間フィルタ処理
JP6141386B2 (ja) 深度範囲パラメータのシグナリング
JP6297670B2 (ja) ハイレベルシンタックスのみのスケーラブルビデオコーディングのための、レイヤ間参照ピクチャ制限
KR102140361B1 (ko) 멀티 계층 코딩에서의 컨포먼스 윈도우 정보
JP6440735B2 (ja) マルチレイヤビデオコーデックのためのレベル定義
JP6231128B2 (ja) ビデオ情報のスケーラブル及びマルチビュー／３ｄコード化のための機器及び方法
US9769492B2 (en) Conformance parameters for bitstream partitions
US9420280B2 (en) Adaptive upsampling filters
US9344718B2 (en) Adaptive up-sampling filter for scalable video coding
US20140198846A1 (en) Device and method for scalable coding of video information
US9584808B2 (en) Device and method for scalable coding of video information
KR102314587B1 (ko) 비디오 정보의 스케일러블 코딩을 위한 디바이스 및 방법
JP6363190B2 (ja) Ｖｐｓ内のビットレート情報およびピクチャレート情報のシグナリング
JP6430394B2 (ja) 高効率ビデオコード化に基づくビデオ情報のスケーラブルコード化のための機器及び方法
US9674522B2 (en) Device and method for scalable coding of video information
JP2018514985A (ja) ビデオデータを処理するためのデバイスおよび方法
JP6479776B2 (ja) リサンプリングプロセスにおける中間データのダイナミックレンジ制御

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180425

R150 Certificate of patent or registration of utility model

Ref document number: 6333942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250