JP2016509436A - レイヤ間シンタックス予測制御 - Google Patents

レイヤ間シンタックス予測制御 Download PDF

Info

Publication number
JP2016509436A
JP2016509436A JP2015556091A JP2015556091A JP2016509436A JP 2016509436 A JP2016509436 A JP 2016509436A JP 2015556091 A JP2015556091 A JP 2015556091A JP 2015556091 A JP2015556091 A JP 2015556091A JP 2016509436 A JP2016509436 A JP 2016509436A
Authority
JP
Japan
Prior art keywords
indicator
layer
prediction
video
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015556091A
Other languages
English (en)
Other versions
JP6526574B2 (ja
JP2016509436A5 (ja
Inventor
セレジン、バディム
チェン、イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016509436A publication Critical patent/JP2016509436A/ja
Publication of JP2016509436A5 publication Critical patent/JP2016509436A5/ja
Application granted granted Critical
Publication of JP6526574B2 publication Critical patent/JP6526574B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

幾つかの態様による、ビデオ情報をコード化するための装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを含む。メモリユニットは、ベースレイヤ、拡張レイヤ、又はその両方に関連するビデオ情報を記憶するように構成される。プロセッサは、メモリユニットに動作可能に結合され、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えることと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えることとを行うように構成される。第1の指標及び第2の指標は、互いに別個に与えられ得る。一実施形態では、プロセッサは、ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするように更に構成される。

Description

[0001]本開示は、ビデオコード化及び圧縮の分野に関する。詳細には、本開示は、例えば、スケーラブルビデオコード化(SVC)、マルチビュービデオ及び3Dコード化(MVC、3DV)などの高効率ビデオコード化(HEVC)及びそれの拡張に関する。
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part 10,Advanced Video Coding(AVC)、現在開発中の高効率ビデオコード化(HEVC:High Efficiency Video Coding)規格によって定義された規格、及びそのような規格の拡張に記載されているビデオコード化技法など、ビデオコード化技法を実装する。ビデオ機器は、そのようなビデオコード化技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び/又は記憶し得る。
[0003]ビデオコード化技法は、ビデオシーケンスに固有の冗長性を低減又は除去するための空間的(イントラピクチャ)予測及び/又は時間的(インターピクチャ)予測を含む。ブロックベースのビデオコード化の場合、ビデオスライス(例えば、ビデオフレーム又はビデオフレームの一部分)が、ツリーブロック、コード化単位(CU)及び/又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化された(I)スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化された(P又はB)スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測、又は他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0004]空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックを生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は2次元アレイで構成され、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコード化が適用され得る。
[0005]幾つかの状況では、特定のベースレイヤコーデック(例えば、HEVCなど)のために(動き情報を含む)レイヤ間シンタックス予測と呼ばれる、ベースレイヤからの予測のタイプをイネイブル(有効)にすることが望ましい。しかしながら、現在のSHVC(HEVCのスケーラブル拡張)設計は、ベースレイヤからのそのような予測が許可されるか否かを示す機構を与えない。
[0006]一般に、本開示は、スケーラブルビデオコード化(SVC)に関係する技法を記載する。以下で説明する技法は、(動き情報を含む)レイヤ間シンタックス予測が特定のベースレイヤコーデック(例えば、HEVCなど)に対して許可されるかどうかを示す機構を与える。
[0007]一実施形態では、ビデオ情報を符号化又は復号するための装置が提供される。本装置は、ベースレイヤ及び拡張レイヤ(enhancement layer)に関連するビデオ情報を記憶するように構成されたメモリユニットを含む。本装置はまた、メモリユニットに動作可能に結合されたプロセッサを含む。プロセッサは、レイヤ間シンタックス予測をイネイブル(有効)又はデセイブル(無効)にするように構成された第1の指標を与えるように構成される。プロセッサはまた、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えるように構成される。第1の指標及び第2の指標は、互いに別個に与えられ得る。別の実施形態では、プロセッサは、ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために第1の指標を与えるように構成される。
[0008]別の実施形態では、ビデオ情報を復号する方法は、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を受信することと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を受信することとを含む。第1の指標及び第2の指標は互いに別個に受信される。一実施形態では、本方法はまた、ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにすることを含む。
[0009]別の実施形態では、ビデオ情報を符号化する方法は、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えることと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えることとを含む。第1の指標及び第2の指標は互いに別個に与えられる。一実施形態では、本方法はまた、ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために第1の指標を与えることを含む。
[0010]別の実施形態では、非一時的コンピュータ可読媒体は、実行されたとき、プロセッサに、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えることと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えることとを行わせるコードを含む。第1の指標及び第2の指標は互いに別個に与えられる。一実施形態では、コードは、実行されたとき、プロセッサに、ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために第1の指標を与えることを更に行わせる。
[0011]また別の実施形態では、ビデオ情報をコード化するための手段は、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えるための手段と、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えるための手段とを含む。第1の指標及び第2の指標は、互いに別個に与えられ得る。一実施形態では、第1の指標を与えるための手段は、ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために第1の指標を与えるための手段を含む。
[0012]1つ又は複数の例の詳細を、添付の図面及び以下の説明に記載し、これは、本明細書で説明する本発明の概念の完全な範囲を限定するものではない。他の特徴、目的、及び利点は、その説明及び図面から、並びに特許請求の範囲から明らかになろう。
[0013]図面全体にわたって、参照される要素間の対応を示すために参照番号が再使用される場合がある。図面は、本明細書に記載される例示的な実施形態を図示するために提供され、本開示の範囲を限定するものではない。
[0014]本開示で説明する態様に従って技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。 [0015]本開示で説明する態様に従って技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0016]本開示で説明する態様に従って技法を実装し得るビデオデコーダの一例を示すブロック図。 [0017]本開示の態様による、レイヤ間シンタックス予測を制御するための方法の一実施形態を示すフローチャート。 [0018]本開示の態様による、動き予測を制御するための方法の別の実施形態を示すフローチャート。
[0019]本開示で説明する技法は、概して、スケーラブルビデオコード化(SVC)及びマルチビュー/3Dビデオコード化に関係する。例えば、本技法は、高効率ビデオコード化(HEVC)のスケーラブルビデオコード化(SHVCと呼ばれることがある、SVC)拡張に関係し、それとともに又はそれの中で使用され得る。SVC拡張では、ビデオ情報の複数のレイヤがあり得る。最下位レベルにあるレイヤはベースレイヤ(BL:base layer)として働き、最上位にあるレイヤ(又は最上位レイヤ)は拡張化レイヤ(EL:enhanced layer)として働き得る。「拡張化レイヤ」は「拡張レイヤ」と呼ばれることがあり、これらの用語は互換的に使用され得る。ベースレイヤは「参照レイヤ」(RL:reference layer)と呼ばれることがあり、これらの用語は互換的に使用され得る。ベースレイヤとトップレイヤとの間にある全てのレイヤは、EL又は参照レイヤ(RL)のいずれか又は両方として働き得る。例えば、中間にあるレイヤは、ベースレイヤ又は介在拡張レイヤ(intervening enhancement layer)など、それの下のレイヤのためのELであり、同時にそれの上の拡張レイヤのためのRLとして働き得る。ベースレイヤとトップレイヤ(又は最上位レイヤ)との間にある各レイヤは、上位レイヤによるレイヤ間予測用の参照として使用され得、レイヤ間予測のための参照として下位レイヤを使用し得る。
[0020]簡単のために、BL及びELのただ2つのレイヤに関して例を提示するが、以下で説明するアイデア及び実施形態が複数のレイヤを用いる場合にも適用可能であることを十分理解されたい。更に、説明を簡単にするために、「フレーム」又は「ブロック」という用語をしばしば使用する。但し、これらの用語は限定的なものではない。例えば、以下で説明する技法は、限定はしないが、画素、ブロック(例えば、CU、PU、TU、マクロブロックなど)、スライス、フレームなどを含む様々なビデオ単位のいずれかとともに使用され得る。
ビデオコード化
[0021]ビデオコード化規格は、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262又はISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、及びそれのスケーラブルビデオコード化(SVC)拡張とマルチビュービデオコード化(MVC)拡張とを含む、(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264を含む。更に、ITU−Tビデオコード化エキスパートグループ(VCEG)及びISO/IECモーションピクチャエキスパートグループ(MPEG:Motion Picture Experts Group)のジョイントコラボレーションチームオンビデオコード化(JCT−VC:Joint Collaboration Team on Video Coding)によって開発されている新しいビデオコード化規格の高効率ビデオコード化(HEVC)がある。以下、HEVC WD10と呼ぶ、HEVCの最新のワーキングドラフト(WD)が、http://phenix.int−evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC−L1003−v12.zipから入手可能である。HEVC WD9と呼ばれる、HEVCの別のワーキングドラフトが、http://phenix.int−evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC−K1003−v13.zipにおいて入手可能である。HEVC WD8(又はWD8)と呼ばれる、HEVCの別のワーキングドラフトが、http://phenix.int−evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC−J1003−v8.zipにおいて入手可能である。HEVC WD7と呼ばれる、HEVCの別のワーキングドラフトが、http://phenix.int−evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC−I1003−v5.zipから入手可能である。これらの文献の全ては、その全体が参照により組み込まれる。
[0022]スケーラブルビデオコード化(SVC)は、(信号対雑音比(SNR)とも呼ばれる)品質スケーラビリティ、空間スケーラビリティ、及び/又は時間スケーラビリティを実現するために使用され得る。例えば、一実施形態では、参照レイヤ(例えば、ベースレイヤ)は、第1の品質レベルでビデオを表示するのに十分なビデオ情報を含み、拡張レイヤは、参照レイヤと比べて更なるビデオ情報を含み、その結果、参照レイヤ及び拡張レイヤは一緒に、第1の品質レベルよりも高い第2の品質レベル(例えば、少ない雑音、大きい解像度、より良いフレームレートなど)でビデオを表示するのに十分なビデオ情報を含む。拡張化レイヤは、ベースレイヤとは異なる空間解像度を有し得る。例えば、ELとBLとの間の空間アスペクト比は、1.0、1.5、2.0、又は他の異なる比であり得る。言い換えれば、ELの空間アスペクトは、BLの空間アスペクトの1.0倍、1.5倍、又は2.0倍に等しい場合がある。幾つかの例では、ELの倍率は、BLの倍率よりも大きい場合がある。例えば、EL内のピクチャのサイズは、BL内のピクチャのサイズよりも大きい場合がある。このようにして、限定ではないが、ELの空間解像度がBLの空間解像度よりも大きいことは可能であり得る。
[0023]H.264のためのSVC拡張では、現在のブロックの予測は、SVCのために提供された様々なレイヤを使用して実行され得る。そのような予測は、レイヤ間予測と呼ばれる場合がある。レイヤ間予測方法は、レイヤ間冗長性を低減するためにSVCにおいて利用され得る。レイヤ間予測の幾つかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、及びレイヤ間残差予測があり得る。レイヤ間イントラ予測は、ベースレイヤ中の同一位置配置ブロック(co-located blocks)の再構成を使用して拡張レイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動きを使用して拡張レイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用して拡張レイヤの残差を予測する。
[0024]レイヤ間動き予測の幾つかの実施形態では、(例えば、同じ位置にあるブロックについての)ベースレイヤの動きデータは、拡張レイヤ内の現在のブロックを予測するために使用され得る。例えば、拡張レイヤでビデオ単位をコード化しながら、ビデオコーダは、参照レイヤからの情報を使用して、更なる仮説を識別するために使用され得る更なる動き補償データを取得することができる。これらの更なる仮説は、ビデオのビットストリーム内にすでに存在するデータから暗黙的に導出されるので、ビットストリームのサイズにおける追加コストが殆んど又は全くない状態で、ビデオコード化における更なる性能が得られ得る。別の例では、更なる仮説を見つけるために、空間的に隣接するビデオ単位からの動き情報が使用され得る。次いで、導出された仮説は、明示的に符号化された仮説と平均化されるか、又は場合によっては組み合わされて、ビデオ単位の値のより良い予測を生成することができる。
[0025]添付の図面を参照しながら新規のシステム、装置、及び方法の様々な態様について以下でより十分に説明する。但し、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造又は機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本発明の他の態様とは無関係に実装されるにせよ、又は本発明の他の態様と組み合わされるにせよ、本明細書で開示する新規のシステム、装置、及び方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。例えば、本明細書に記載した態様をいくつ使用しても、装置は実装され得、又は方法は実施され得る。更に、本発明の範囲は、本明細書に記載の本発明の様々な態様に加えて又はそれらの態様以外に、他の構造、機能、又は構造及び機能を使用して実施されるそのような装置又は方法をカバーするものとする。本明細書で開示するどの態様も請求項の1つ又は複数の要素によって実施され得ることを理解されたい。
[0026]本明細書では特定の態様が記載されるが、これらの態様の多くの変形形態及び置換は本開示の範囲内に入る。好ましい態様の幾つかの利益及び利点が言及されるが、本開示の範囲は、特定の利益、使用、又は目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、及び伝送プロトコルに広く適用可能であるものとし、それらの幾つかを例として、図及び好適な態様についての以下の説明において示す。発明を実施するための形態及び図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲及びそれの均等物によって定義される。
ビデオコード化システム
[0027]図1は、本開示で説明する態様による技法を利用し得る例示的なビデオコード化システム10を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコード化」又は「コード化」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。
[0028]図1に示すように、ビデオコード化システム10は、発信源機器12と宛先機器14とを含む。発信源機器12は符号化ビデオデータを生成する。宛先機器14は、発信源機器12によって生成された符号化ビデオデータを復号し得る。発信源機器12は、コンピュータ可読媒体16を介して宛先機器14にビデオデータを与えることができる。発信源機器12及び宛先機器14は、デスクトップコンピュータ、ノートブック(即ち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータ、ビデオストリーミング機器などを含む、広範囲にわたる機器を含み得る。発信源機器12及び宛先機器14は、ワイヤレス通信のために装備され得る。
[0029]宛先機器14は、コンピュータ可読媒体16を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体16は、発信源機器12から宛先機器14に符号化されたビデオデータを移動させることができるタイプの媒体又は機器を備え得る。例えば、コンピュータ可読媒体16は、発信源機器12が、符号化ビデオデータを宛先機器14にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器14に送信され得る。通信媒体は、無線周波数(RF)スペクトル又は1つもしくは複数の物理伝送線路など、ワイヤレス又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器12から宛先機器14への通信を可能にするために有用であり得るルータ、スイッチ、基地局、又は他の機器を含み得る。
[0030]幾つかの実施形態では、符号化データは、出力インターフェース22から記憶装置に出力され得る。同様に、符号化データは、入力インターフェースによって記憶装置からアクセスされ得る。記憶装置は、ハードドライブ、ブルーレイ(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性又は不揮発性メモリ、若しくはビデオデータを記憶するための他のデジタル記憶媒体など、様々な分散された又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。記憶装置は、発信源機器12によって生成された符号化ビデオを記憶し得るファイルサーバ又は別の中間記憶装置に対応し得る。宛先機器14は、ストリーミング又はダウンロードを介して記憶装置から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先機器14に送信することが可能なタイプのサーバであり得る。例示的なファイルサーバは、(例えば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続記憶(NAS)装置、又はローカルディスクドライブを含む。宛先機器14は、インターネット接続を含む、標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル(例えば、Wi−Fi(登録商標)接続)、ワイヤード接続(例えば、DSL、ケーブルモデムなど)、又は両方の組合せを含み得る。記憶装置からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。
[0031]本開示の技法は、ワイヤレス適用例又は設定に加えて適用例又は設定を適用することができる。本技法は、無線テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH:dynamic adaptive streaming over HTTP)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例など、様々なマルチメディア適用例をサポートするビデオコード化に適用され得る。幾つかの実施形態では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び/又はビデオテレフォニーなどの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
[0032]図1では、発信源機器12は、ビデオ発信源18と、ビデオエンコーダ20と、出力インターフェース22とを含む。宛先機器14は、入力インターフェース28と、ビデオデコーダ30と、表示装置32とを含む。発信源機器12のビデオエンコーダ20は、複数の規格又は規格拡張に準拠するビデオデータを含むビットストリームをコード化するための技法を適用するように構成され得る。他の実施形態では、発信源機器及び宛先機器は他の構成要素又は構成を含み得る。例えば、発信源機器12は、外部カメラなど、外部ビデオ発信源18からビデオデータを受信し得る。同様に、宛先機器14は、内蔵表示装置を含むのではなく、外部表示装置とインターフェースし得る。
[0033]発信源機器12のビデオ発信源18は、ビデオカメラなどの撮像装置、予め撮影されたビデオを含んでいるビデオアーカイブ、及び/又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。ビデオ発信源18は、発信源ビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。幾つかの実施形態では、ビデオ発信源18がビデオカメラである場合、発信源機器12及び宛先機器14は、所謂カメラフォン又はビデオフォンを形成し得る。撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダ20によって符号化され得る。符号化されたビデオ情報は、出力インターフェース22によってコンピュータ可読媒体16に出力され得る。
[0034]コンピュータ可読媒体16は、ワイヤレスブロードキャスト又はワイヤードネットワーク送信などの一時媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、又は他のコンピュータ可読媒体などの記憶媒体(例えば、非一時的記憶媒体)を含み得る。ネットワークサーバ(図示せず)は、(例えば、ネットワーク送信を介して)発信源機器12から符号化されたビデオデータを受信し、宛先機器14に符号化されたビデオデータを与え得る。ディスクスタンピング設備など、媒体製造設備のコンピュータ機器は、発信源機器12から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを生成し得る。従って、コンピュータ可読媒体16は、様々な形態の1つ又は複数のコンピュータ可読媒体を含むと理解され得る。
[0035]宛先機器14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信し得る。コンピュータ可読媒体16の情報は、ビデオエンコーダ20によって定義され、ビデオデコーダ30によって使用され得る、ブロック及び他のコード化単位、例えば、GOPの特性及び/又は処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。表示装置32は、復号されたビデオデータをユーザに対して表示し、陰極線管(CRT)、液晶表示器(LCD)、プラズマ表示器、有機発光ダイオード(OLED)表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを含み得る。
[0036]ビデオエンコーダ20及びビデオデコーダ30は、現在開発中の高効率ビデオコード化(HEVC)規格などのビデオコード化規格に従って動作し得、HEVCテストモデル(HM)に準拠し得る。代替的に、ビデオエンコーダ20及びビデオデコーダ30は、代替的にMPEG−4,Part 10,Advanced Video Coding(AVC)と呼ばれるITU−T H.264規格など、他のプロプライエタリ規格もしくは業界規格、又はそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオコード化規格の他の例としては、MPEG−2及びITU−T H.263がある。図1には示されていないが、幾つかの態様では、ビデオエンコーダ20及びビデオデコーダ30は、それぞれオーディオエンコーダ及びオーディオデコーダと統合され得、適切なMUX−DEMUXユニット、又は他のハードウェア及びソフトウェアを含んで、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、又はユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0037]ビデオエンコーダ20及びビデオデコーダ30はそれぞれ、1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組合せなど、様々な好適なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、1つ又は複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ20及びビデオデコーダ30の各々は1つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも、それぞれの機器において複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。ビデオエンコーダ20及び/又はビデオデコーダ30を含む機器は、集積回路、マイクロプロセッサ、及び/又はセルラー電話などのワイヤレス通信機器を備え得る。
[0038]JCT−VCは、HEVC規格の開発に取り組んでいる。HEVC規格化の取り組みは、HEVCテストモデル(HM)と呼ばれるビデオコード化機器の発展的モデルに基づく。HMは、例えば、ITU−T H.264/AVCに従う既存の機器に対してビデオコード化機器の幾つかの追加の能力を仮定する。例えば、H.264は9つのイントラ予測符号化モードを提供するが、HMは33個ものイントラ予測符号化モードを提供し得る。
[0039]概して、HMの作業モデルは、ビデオフレーム又はピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロック又は最大コード化単位(LCU:largest coding unit)に分割され得ることを記載している。ビットストリーム内のシンタックスデータが、画素の数に関して最大コード化単位であるLCUのサイズを定義し得る。スライスは、コード化順序で幾つかの連続するツリーブロックを含む。ビデオフレーム又はピクチャは、1つ又は複数のスライスに区分され得る。各ツリーブロックは、4分木に従ってコード化単位(CU)に分割され得る。概して、4分木データ構造はCUごとに1つのノードを含み、ルートノードはツリーブロックに対応する。CUが4つのサブCUに分割された場合、CUに対応するノードは4つのリーフノードを含み、リーフノードの各々はサブCUのうちの1つに対応する。
[0040]4分木データ構造の各ノードは、対応するCUのシンタックスデータを与え得る。例えば、4分木のノードは、そのノードに対応するCUがサブCUに分割されるかどうかを示す分割フラグを含み得る。CUのシンタックス要素は、再帰的に定義され得、CUがサブCUに分割されるかどうかに依存し得る。CUが更に分割されない場合、そのCUはリーフCUと呼ばれる。本開示では、元のリーフCUの明示的分割が存在しない場合でも、リーフCUの4つのサブCUをリーフCUとも呼ぶ。例えば、16×16サイズのCUが更に分割されない場合、この16×16CUが決して分割されなくても、4つの8×8サブCUをリーフCUとも呼ぶ。
[0041]CUは、CUがサイズの差異を有さないことを除いて、H.264規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、4つの子ノード(サブCUとも呼ばれる)に分割され得、各子ノードは、今度は親ノードとなり、別の4つの子ノードに分割され得る。4分木のリーフノードと呼ばれる、最後の分割されていない子ノードは、リーフCUとも呼ばれるコード化ノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大CU深さと呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、また、コード化ノードの最小サイズを定義し得る。それに応じて、ビットストリームは最小コード化単位(SCU:smallest coding unit)をも定義し得る。本開示では、HEVCのコンテキストにおけるCU、PU、又はTU、若しくは他の規格のコンテキストにおける同様のデータ構造(例えば、H.264/AVCにおけるマクロブロック及びそれのサブブロック)のいずれかを指すために「ブロック」という用語を使用する。
[0042]CUは、コード化ノードと、コード化ノードに関連する予測ユニット(PU:prediction unit)及び変換単位(TU:transform unit)とを含む。CUのサイズは、コード化ノードのサイズに対応し、並びに形状が方形でなければならない。CUのサイズは、8×8画素から最大64×64以上の画素を有するツリーブロックのサイズまでに及び得る。各CUは、1つ又は複数のPUと、1つ又は複数のTUとを含み得る。CUに関連するシンタックスデータは、例えば、CUを1つ又は複数のPUに区分することを記述し得る。区分モードは、CUが、スキップモード符号化もしくはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかによって異なり得る。PUは、形状が非方形になるように区分され得る。CUに関連するシンタックスデータは、例えば、4分木に従って、CUを1つ又は複数のTUに区分することも記述し得る。TUは、形状が方形又は非方形(例えば、矩形)であり得る。
[0043]HEVC規格は、CUごとに異なり得るTUに従う変換を可能にする。TUは、一般に、区分されたLCUについて定義された所与のCU内のPUのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。TUは、一般にPUと同じサイズであるか又はPUよりも小さい。幾つかの例では、CUに対応する残差サンプルは、「残差クワッドツリー」(RQT:residual quad tree)として知られるクワッドツリー構造を使用して、より小さい単位に再分割され得る。RQTのリーフノードは変換単位(TU)と呼ばれることがある。TUに関連する画素差分値は、量子化され得る変換係数を生成するために変換され得る。
[0044]リーフCUは、1つ又は複数の予測単位(PU)を含み得る。概して、PUは、対応するCUの全部又は一部分に対応する空間的エリアを表し、そのPUの参照サンプルを取り出すためのデータを含み得る。その上、PUは、予測に関係するデータを含む。例えば、PUがイントラモード符号化されるとき、PUについてのデータは、PUに対応するTUについてのイントラ予測モードを記述するデータを含み得る残差4分木(RQT)中に含まれ得る。別の例として、PUがインターモード符号化されるとき、PUは、PUのための1つ又は複数の動きベクトルを定義するデータを含み得る。PUの動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度(例えば、1/4画素精度又は1/8画素精度)、動きベクトルが指す参照ピクチャ、及び/又は動きベクトルの参照ピクチャリスト(例えば、リスト0、リスト1、又はリストC)を記述し得る。
[0045]1つ又は複数のPUを有するリーフCUはまた、1つ又は複数の変換単位(TU)を含み得る。変換単位は、上記で説明したように、(TU4分木構造とも呼ばれる)RQTを使用して指定され得る。例えば、分割フラグは、リーフCUが4つの変換単位に分割されるかどうかを示し得る。次いで、各変換単位は、更に、更なるサブTUに分割され得る。TUが更に分割されないとき、そのTUはリーフTUと呼ばれることがある。概して、イントラコード化の場合、リーフCUに属する全てのリーフTUは同じイントラ予測モードを共有する。即ち、概して、リーフCUの全てのTUの予測値を計算するために同じイントラ予測モードが適用される。イントラコード化の場合、ビデオエンコーダ20は、イントラ予測モードを使用して各リーフTUの残差値をTUに対応するCUの一部と元のブロックとの間の差分として計算し得る。TUは、必ずしもPUのサイズに制限されるとは限らない。従って、TUはPUよりも大きく又は小さくなり得る。イントラコード化の場合、PUは、同じCUの対応するリーフTUと同一位置配置され得る。幾つかの例では、リーフTUの最大サイズは、対応するリーフCUのサイズに対応し得る。
[0046]更に、リーフCUのTUはまた、残差4分木(RQT)と呼ばれる、それぞれの4分木データ構造に関連付けられ得る。即ち、リーフCUは、リーフCUがどのようにTUに区分されるかを示す4分木を含み得る。TU4分木のルートノードは概してリーフCUに対応し、CU4分木のルートノードは概してツリーブロック(又はLCU)に対応する。分割されないRQTのTUはリーフTUと呼ばれる。概して、本開示では、特に明記しない限り、リーフCU及びリーフTUに言及するためにそれぞれCU及びTUという用語を使用する。
[0047]ビデオシーケンスは、一般に、一連のビデオフレーム又はピクチャを含む。ピクチャグループ(GOP)は、概して、ビデオピクチャのうちの一連の1つ又は複数を備える。GOPは、GOP中に含まれる幾つかのピクチャを記述するシンタックスデータを、GOPのヘッダ中、ピクチャのうちの1つ又は複数のヘッダ中、又は他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、CU内のコード化ノードに対応し得る。ビデオブロックは、固定サイズ又は可変サイズを有し得、指定のコード化規格に応じてサイズが異なり得る。
[0048]一例として、HMは、様々なPUサイズでの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2N又はN×NのPUサイズでのイントラ予測をサポートし、2N×2N、2N×N、N×2N、又はN×Nの対称的なPUサイズでのインター予測をサポートする。HMはまた、2N×nU、2N×nD、nL×2N、及びnR×2NのPUサイズでのインター予測のための非対称区分をサポートする。非対称区分では、CUの一方向は区分されないが、他の方向は25%と75%とに区分される。25%の区分に対応するCUの部分は、「n」とその後ろに付く「Up」、「Down」、「Left」、又は「Right」という表示によって示される。従って、例えば、「2N×nU」は、上部の2N×0.5N PUと下部の2N×1.5N PUとで水平方向に区分された2N×2N CUを指す。
[0049]本開示では、「N×N(NxN)」及び「N×N(N by N)」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、16×16(16x16)画素又は16×16(16 by 16)画素を指すために互換的に使用され得る。概して、16×16ブロックは、垂直方向に16画素を有し(y=16)、水平方向に16画素を有する(x=16)。同様に、N×Nブロックは、概して、垂直方向にN画素を有し、水平方向にN画素を有し、但し、Nは非負整数値を表す。ブロック中の画素は行と列で構成され得る。更に、ブロックは、必ずしも、水平方向に垂直方向と同じ数の画素を有する必要はない。例えば、ブロックはN×M画素を備え得、但し、Mは必ずしもNに等しいとは限らない。
[0050]CUのPUを使用したイントラ予測コード化又はインター予測コード化の後、ビデオエンコーダ20は、CUのTUのための残差データを計算し得る。PUは、(画素領域とも呼ばれる)空間領域において予測画素データを生成する方法又はモードを記述するシンタックスデータを備え得、TUは、変換、例えば、残差ビデオデータへの離散サイン変換(DST)、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、又は概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャの画素と、PUに対応する予測値との間の画素差分に対応し得る。ビデオエンコーダ20は、CUのための残差データを含むTUを形成し、次いで、TUを変換して、CUの変換係数を生成し得る。
[0051]変換係数を生成するための任意の変換の後に、ビデオエンコーダ20は、変換係数の量子化を実行し得る。量子化は、その最も広い通常の意味を有することが意図された広義の用語である。一実施形態では、量子化は、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。例えば、量子化中にnビット値がmビット値に切り捨てられ得、但し、nはmよりも大きい。
[0052]量子化の後に、ビデオエンコーダは、変換係数を走査して、量子化変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、より高いエネルギー(従ってより低い周波数)の係数をアレイの前方に配置し、より低いエネルギー(従ってより高い周波数)の係数をアレイの後方に配置するように設計され得る。幾つかの例では、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するために予め定義された走査順序を利用し得る。他の例では、ビデオエンコーダ20は適応型走査を実行し得る。量子化変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ20は、例えば、コンテキスト適応型可変長コード化(CAVLC:context-adaptive variable length coding)、コンテキスト適応型バイナリ算術コード化(CABAC:context-adaptive binary arithmetic coding)、シンタックスベースコンテキスト適応型バイナリ算術コード化(SBAC:syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE:Probability Interval Partitioning Entropy)コード化、又は別のエントロピー符号化方法に従って1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
[0053]CABACを実行するために、ビデオエンコーダ20は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、例えば、シンボルの隣接値が非0であるか否かに関係し得る。CAVLCを実行するために、ビデオエンコーダ20は、送信されるべきシンボルのための可変長コードを選択し得る。VLCにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、VLCの使用は、例えば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
[0054]ビデオエンコーダ20は、更に、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、及びGOPベースのシンタックスデータなどのシンタックスデータを、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、又はGOPヘッダ中でビデオデコーダ30に送り得る。GOPシンタックスデータは、それぞれのGOP中の幾つかのフレームを記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化/予測モードを示し得る。
ビデオエンコーダ
[0055]図2は、本開示で説明する態様による技法を実装し得るビデオエンコーダの例を示すブロック図である。ビデオエンコーダ20は、限定はしないが、図4及び図5に関して以下でより詳細に説明するレイヤ間シンタックス予測を制御する方法と動き予測を制御する方法とを含む、本開示の技法のいずれか又は全てを実行するように構成され得る。一例として、モード選択ユニット40又はレイヤ間予測ユニット66(与えられる場合)は、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。他の実施形態では、レイヤ間予測はモード選択ユニット40によって実行され得、その場合、レイヤ間予測ユニット66は省略され得る。但し、本開示の態様はそのように限定されない。幾つかの例では、本開示で説明する技法は、ビデオエンコーダ20の様々な構成要素間で共有され得る。幾つかの例では、追加として又は代わりに、プロセッサ(図示せず)が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。
[0056]ビデオエンコーダ20は、ビデオスライス内のビデオブロックの(イントラコード化、レイヤコード化、又はレイヤ間コード化といつか呼ばれる)イントラ予測、インター予測、及びレイヤ間予測を実行し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間的冗長性を低減又は除去するために空間的予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間的冗長性を低減又は除去するために時間的予測に依拠する。レイヤ間コード化は、同じビデオコード化シーケンス内の異なるレイヤ内のビデオに基づく予測に依拠する。イントラモード(Iモード)は、幾つかの空間ベースのコード化モードのいずれかを指し得る。単方向予測(Pモード)又は双方向予測(Bモード)などのインターモードは、幾つかの時間ベースのコード化モードのいずれかを指し得る。
[0057]図2に示すように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図2の例では、ビデオエンコーダ20は、モード選択ユニット40と、参照フレームメモリ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピーエンコード化単位56とを含む。モード選択ユニット40は、今度は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測ユニット46と、レイヤ間予測ユニット66と、区分化ユニット48とを含む。
[0058]ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換単位60と、加算器62とを含む。再構成されたビデオからブロック歪み(blockiness artifacts)を除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ(図2に図示せず)も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器62の出力をフィルタ処理することになる。また、デブロッキングフィルタに加えて追加のフィルタ(ループ内又はループ後)が使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、(ループ内フィルタとして)加算器50の出力をフィルタ処理し得る。
[0059]符号化プロセス中に、ビデオエンコーダ20は、コード化されるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは複数のビデオブロックに分割され得る。動き推定ユニット42及び動き補償ユニット44は、時間的予測を行うために、1つ又は複数の参照フレーム中の1つ又は複数のブロックに対して、受信されたビデオブロックのインター予測コード化を実行する。イントラ予測ユニット46は、代替的に、空間的予測を行うために、コード化されるべきブロックと同じフレーム又はスライス中の1つ又は複数の隣接ブロックに対して受信されたビデオブロックのイントラ予測コード化を実行し得る。ビデオエンコーダ20は、例えば、ビデオデータのブロックごとに適切なコード化モードを選択するために、複数のコード化パスを実行し得る。
[0060]その上、区分化ユニット48は、前のコード化パスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。例えば、区分化ユニット48は、初めにフレーム又はスライスをLCUに区分し、レート歪み分析(例えば、レート歪み最適化など)に基づいてLCUの各々をサブCUに区分し得る。モード選択ユニット40は、LCUをサブCUに区分することを示す4分木データ構造を更に生成し得る。4分木のリーフノードCUは、1つ又は複数のPU及び1つ又は複数のTUを含み得る。
[0061]モード選択ユニット40は、例えば、誤差結果に基づいてコード化モード、即ち、イントラ予測モード、インター予測モード、又はレイヤ間予測モードのうちの1つを選択し、残差ブロックデータを生成するために、得られたイントラコード化ブロック、インターコード化ブロック、又はレイヤ間コード化ブロックを加算器50に与え、参照フレームとして使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロック、インターコード化ブロック、又はレイヤ間コード化ブロックを加算器62に与え得る。モード選択ユニット40はまた、動きベクトル、イントラモード指標、区分情報、及び他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット56に与える。
[0062]動き推定ユニット42及び動き補償ユニット44は、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のフレーム(又は他のコード化単位)内でコード化されている現在のブロックに対する参照フレーム(又は他のコード化単位)内の予測ブロックに対する現在のビデオフレーム又はピクチャ内のビデオブロックのPUの変位を示し得る。予測ブロックは、絶対値差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)、又は他の差分メトリックによって決定され得る画素差分に関して、コード化されるべきブロックにぴったり一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ20は、参照フレームメモリ64に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ20は、参照ピクチャの1/4画素位置、1/8画素位置、又は他の分数画素位置の値を補間し得る。従って、動き推定ユニット42は、フル画素位置と分数画素位置とに対する動き探索を実行し、分数画素精度で動きベクトルを出力し得る。
[0063]動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライスにおけるビデオブロックのPUのための動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)又は第2の参照ピクチャリスト(リスト1)から選択され得、それらの参照ピクチャリストの各々は、参照フレームメモリ64に記憶された1つ又は複数の参照ピクチャを識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56と動き補償ユニット44とに送る。
[0064]動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することに関与し得る。幾つかの例では、動き推定ユニット42及び動き補償ユニット44は機能的に統合され得る。現在のビデオブロックのPUについての動きベクトルを受信すると、動き補償ユニット44は、動きベクトルが参照ピクチャリストのうちの1つにおいて指す予測ブロックの位置を特定し得る。加算器50は、以下で説明するように、コード化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。幾つかの実施形態では、動き推定ユニット42はルーマ成分に対して動き推定を実行し得、動き補償ユニット44は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用し得る。モード選択ユニット40は、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
[0065]イントラ予測ユニット46は、上記で説明したように、動き推定ユニット42及び動き補償ユニット44によって実行されるインター予測の代替として、現在ブロックをイントラ予測又は計算し得る。特に、イントラ予測ユニット46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。幾つかの例では、イントラ予測ユニット46は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測ユニット46(又は、幾つかの例では、モード選択ユニット40)は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
[0066]例えば、イントラ予測ユニット46は、様々なテストされたイントラ予測モードのためのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み(又は誤差)の量、並びに符号化ブロックを生成するために使用されるビットレート(即ち、ビット数)を決定する。イントラ予測ユニット46は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化ブロックの歪み及びレートから比率を計算し得る。
[0067]ブロックのためのイントラ予測モードを選択した後に、イントラ予測ユニット46は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット56に提供し得る。エントロピー符号化ユニット56は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブル及び複数の変更されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、及び変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含み得る。
[0068]ビデオエンコーダ20はレイヤ間予測ユニット66を含み得る。レイヤ間予測ユニット66は、SVCにおいて利用可能である1つ又は複数の異なるレイヤ(例えば、ベースレイヤ又は参照レイヤ)を使用して現在ブロック(例えば、EL中の現在ブロック)を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット66は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コード化効率を改善し、計算リソース要件を低減する。レイヤ間予測の幾つかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、及びレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中の同一位置配置ブロックの再構成を使用して拡張レイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用して拡張レイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用して拡張レイヤの残差を予測する。
[0069]ビデオエンコーダ20は、コード化されている元のビデオブロックから、モード選択ユニット40からの予測データを減算することによって残差ビデオブロックを形成する。加算器50は、この減算演算を実行する1つ又は複数の構成要素を表す。変換処理ユニット52は、離散コサイン変換(DCT)又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット52は、DCTと概念的に同様である他の変換を実行し得る。例えば、離散サイン変換(DST)、ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用され得る。
[0070]変換処理ユニット52は、変換を残差ブロックに適用し、残差変換係数のブロックを生成し得る。変換は、残差情報を画素値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。幾つかの例では、量子化ユニット54は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット56が走査を実行し得る。
[0071]量子化の後、エントロピー符号化ユニット56は、量子化変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コード化(CAVLC)、コンテキスト適応型バイナリ算術コード化(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コード化(SBAC)、確率間隔区分エントロピー(PIPE)コード化又は別のエントロピーコード化技法を実行し得る。コンテキストベースのエントロピーコード化の場合、コンテキストは、隣接するブロックに基づき得る。エントロピーコード化単位56によるエントロピーコード化の後、符号化されたビットストリームは、別の機器(例えば、ビデオデコーダ30)に送信されるか、又は後で送信するか又は取り出すためにアーカイブされ得る。
[0072]逆量子化ユニット58及び逆変換単位60は、それぞれ逆量子化及び逆変換を適用して、例えば参照ブロックとして後で使用するために、画素領域中で残差ブロックを再構成する。動き補償ユニット44は、残差ブロックを参照フレームメモリ64のフレームのうちの1つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、再構成された残差ブロックに1つ又は複数の補間フィルタを適用して、動き推定において使用するサブ整数画素値を計算し得る。加算器62は、再構成された残差ブロックを、動き補償ユニット44によって生成された動き補償予測ブロックに加算して、参照フレームメモリ64に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコード化するために動き推定ユニット42及び動き補償ユニット44によって参照ブロックとして使用され得る。
ビデオデコーダ
[0073]図3は、本開示で説明する態様による技法を実装し得るビデオデコーダの例を示すブロック図である。ビデオデコーダ30は、限定はしないが、図4及び図5に関して以下でより詳細に説明するレイヤ間シンタックス予測を制御する方法と動き予測を制御する方法とを含む、本開示の技法のいずれか又は全てを実行するように構成され得る。一例として、レイヤ間予測ユニット75は、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。但し、本開示の態様はそのように限定されない。幾つかの例では、本開示で説明する技法は、ビデオデコーダ30の様々な構成要素間で共有され得る。幾つかの例では、追加として又は代わりに、プロセッサ(図示せず)が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。
[0074]図3の例では、ビデオデコーダ30は、エントロピー復号ユニット70と、動き補償ユニット72と、イントラ予測ユニット74と、レイヤ間予測ユニット75と、逆量子化ユニット76と、逆変換単位78と、参照フレームメモリ82と、加算器80とを含む。幾つかの実施形態では、動き補償ユニット72及び/又はイントラ予測ユニット74はレイヤ間予測を実行するように構成され得、その場合、レイヤ間予測ユニット75は省略され得る。ビデオデコーダ30は、幾つかの例では、ビデオエンコーダ20(図2)に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モード指標に基づいて予測データを生成し得る。
[0075]復号プロセス中に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ30のエントロピー復号ユニット70は、量子化係数、動きベクトル又はイントラ予測モード指標、及び他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット70は、動きベクトルツーと他の予測シンタックス要素とを動き補償ユニット72に転送する。ビデオデコーダ30は、ビデオスライスレベル及び/又はビデオブロックレベルでシンタックス要素を受信し得る。
[0076]ビデオスライスがイントラコード化(I)スライスとしてコード化されるとき、イントラ予測ユニット74は、信号伝達されたイントラ予測モード(signaled intra prediction mode)と、現在フレーム又はピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化(例えば、B、P又はGPB)スライスとしてコード化されるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つから生成され得る。ビデオデコーダ30は、参照フレームメモリ92に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、即ち、リスト0及びリスト1を構成し得る。動き補償ユニット72は、動きベクトルと他のシンタックス要素とを構文解析すること(parsing)によって現在のビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。例えば、動き補償ユニット72は、ビデオスライスのビデオブロックをコード化するために使用される予測モード(例えば、イントラ又はインター予測)と、インター予測スライスタイプ(例えば、Bスライス、Pスライス、又はGPBスライス)と、スライスの参照ピクチャリストのうちの1つ又は複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素の幾つかを使用する。
[0077]動き補償ユニット72はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット72は、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数画素の補間値を計算し得る。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
[0078]ビデオデコーダ30もレイヤ間予測ユニット75を含み得る。レイヤ間予測ユニット75は、SVCにおいて利用可能である1つ又は複数の異なるレイヤ(例えば、ベースレイヤ又は参照レイヤ)を使用して現在ブロック(例えば、EL中の現在ブロック)を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット75は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コード化効率を改善し、計算リソース要件を低減する。レイヤ間予測の幾つかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、及びレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中の同一位置配置ブロックの再構成を使用して拡張レイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用して拡張レイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用して拡張レイヤの残差を予測する。逆量子化ユニット76は、ビットストリーム中で与えられ、エントロピー復号ユニット70によって復号された量子化変換係数を逆に量子化(inverse quantize)、例えば、逆量子化(de-quantize)する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオデコーダ30によって計算される量子化パラメータQPYの使用を含み得る。
[0079]逆変換単位78は、画素領域において残差ブロックを生成するために、逆変換、例えば逆DCT、逆DST、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用する。
[0080]動き補償ユニット72が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ30は、逆変換単位78からの残差ブロックを動き補償ユニット72によって生成された対応する予測ブロックに加算することによって、復号されたビデオブロックを形成する。加算器90は、この加算演算を実行する1つ又は複数の構成要素を表す。所望される場合、ブロック歪みを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。画素遷移を平滑化するために、又は場合によってはビデオ品質を改善するために、他のループフィルタも(コード化ループ中又はコード化ループ後のいずれかで)使用され得る。所与のフレーム又はピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ92に記憶される。参照フレームメモリ82はまた、図1の表示装置32などの表示装置上での後の表示のための、復号されたビデオを記憶する。
レイヤ間シンタックス予測
[0081]現在のSHVCテストモデルでは、ベースレイヤからの動きフィールド(例えば、動きベクトル及び参照インデックス)及び予測モードが拡張レイヤコード化のために使用され得る。但し、現在のレイヤ間シンタックス予測とともに使用され得るベースレイヤコーデックは指定されない。
ベースレイヤコーデック
[0082]現在のSHVCテストモデルでは、ベースレイヤコーデックは、HEVC又はH.264/AVCであり得る。更に、インザビデオパラメータセット(VPS)中に、HEVCが適用されるのか又はAVCが適用されるのかを示すフラグがある。1に等しいフラグavc_base_layer_flagは、ベースレイヤがRec.ITU−T H.264|ISO/IEC14496−10に準拠することを指定し、0に等しいフラグは、ベースレイヤがHEVC仕様に準拠することを指定する。従って、拡張レイヤを符号化又は復号するために使用される機器は、ベースレイヤに関してAVCが使用されるのか又はHEVCが使用されるのかを知ることができる。
ビュー間動き予測信号伝達
[0083]幾つかの技法では、依存ビュー(dependent view)のためにフラグinter_view_texture_flagが信号伝達される。フラグは、再構成された画素に基づくビュー間予測(例えば、ビュー間テクスチャ予測)が使用されないように、依存ビューのためにビュー間動き予測のみが使用されるかどうかを示す。更に、ビュー間テクスチャ予測がイネイブルであるかどうかを示し、ビュー間動き予測がイネイブルであるかどうかを示すために指示(例えば、2つのフラグ)が使用され得る。
[0084]そのような信号伝達は、例えば、シーケンスパラメータセット(「SPS」)中で与えられ得る。但し、シーケンスパラメータセット中に置かれるシンタックス要素は、同じく(又は代替的に)、同様の機能を達成するために、ビデオパラメータセット(「VPS」)中に与えられ得る。更に、スケーラブルコーデックのために同じ概念が透過的に使用され得る。
[0085]上述のように、例えば、(動き情報を含む)レイヤ間シンタックス予測を、例えば、HEVCなどの特定のベースレイヤコーデックのためにイネイブルにすることが好ましいことがある。しかしながら、現在のSHVC(HEVCのスケーラブル拡張)設計は、ベースレイヤからのそのような予測が許可されるか否かを示す方法を有していない。
レイヤ間シンタックス予測制御
[0086]一実施形態では、エンコーダ又はデコーダは、ビデオブロックを符号化又は復号するためにマルチスタンダードコーデックが使用されるかどうかを決定するプロセッサを備える。例えば、マルチスタンダードコーデックを使用することは、例えば、HEVCに従って拡張レイヤをコード化し、AVCなどの非HEVCコーデックに従ってベースレイヤをコード化するなど、異なるコーデックを用いて拡張レイヤとベースレイヤとをコード化することを指すことができる。一例として、ベースレイヤがAVCに従ってコード化されているかどうかを決定するために、プロセッサは、ビデオパラメータセット内のフラグ、例えば、avc_base_layer_flagが設定されたか否か(例えば、1に等しいか又は0に等しいか)を決定することができる。非HEVCコーデック(例えば、AVC又は他の非HEVCコーデック)が使用される場合、レイヤ間シンタックス予測はプロセッサによって使用不能にされる。しかしながら、非HEVCコーデックに従ってコード化されたレイヤの動き情報がベースレイヤにとって利用可能である場合、レイヤ間シンタックス予測が使用され得る。
[0087]代替的に、フラグは、レイヤ間シンタックス予測の使用を明確に信号伝達するために与えられ得る。一実施形態では、シンタックス予測は、拡張レイヤシンタックス要素を予測するためにベースレイヤシンタックス要素(例えば、動きベクトル、参照インデックス、予測モードなど)を使用するプロセスを指す。概して、一実施形態では、シンタックス情報は、非テクスチャ情報又は非画素情報を指すことがある。更に、(0又は1などのただ2つの値以外の値を有することができるような)バイナリ状態を超えるシンタックス要素がフラグの代わりに指示のために使用され得る。「指標」及び「フラグ」という用語は、概して、フラグ並びにそのようなシンタックス要素を指す。この指標(又はフラグ)が0である場合、レイヤ間シンタックス予測ツールは、コード化ビデオシーケンスのいかなるビデオコード化レイヤ(VCL)ネットワークアブストラクションレイヤ(NAL)ユニットのためにもイネイブルにならない。この場合、avc_base_layer_flagが、シーケンスパラメータセットのビデオパラメータセット中で特定のベースレイヤコーデック(例えば、HEVC)のみを指定する場合、レイヤ間シンタックス予測フラグは、常にデセイブルとして信号伝達され得る。
[0088]代替的に、又は上記の技法に加えて、レイヤ間テクスチャ予測がコード化ビデオシーケンスの任意のVCL NAL単位のためにイネイブルであるかどうかを示すためにフラグ又はシンタックス要素が導入され得る。言い換えれば、1つ又は複数のフラグ又はシンタックス要素など、(指示と呼ばれることがある)指標は、レイヤ間シンタックス予測とレイヤ間テクスチャ予測とを少なくとも含む異なるレイヤ間予測タイプを区別するために与えられる。
[0089]代替的に、又は上記の技法に加えて、上述のフラグは、ランダムアクセスピクチャに属するか又はそれに属さないVCL NAL単位について別個に信号伝達され得る。このようにして、ビデオパラメータセット又はシーケンスパラメータセット中に、ランダムアクセスピクチャに属さないNAL単位のための1つ及びランダムアクセスピクチャに属するNAL単位のための1つの、信号伝達されたフラグの2つのセットが存在し得る。
[0090]また別の実施形態では、特定のavc_base_layer_flagでは、拡張レイヤ中で信号伝達されるレイヤ間シンタックス予測フラグがスキップされ得る。そのような場合、レイヤ間シンタックス予測フラグは、使用不能である(例えば、0に等しくなる)と推論され得る。
[0091]別の実施形態では、レイヤ間シンタックス予測を制御する高レベルシンタックスフラグ又はシンタックス要素は、少なくともビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、又はピクチャパラメータセット(PPS)中で信号伝達され得る。
[0092]フラグはまた、現在のスライスがレイヤ間テクスチャ予測のために使用されるべきであるか否かを示すためにスライスヘッダ中で信号伝達され得る。更に、フラグは、現在のスライスがレイヤ間シンタックス予測のために使用されるべきであるかどうかを示すためにスライスヘッダ中で信号伝達され得る。
[0093]フラグはまた、現在のスライスが、それの依存レイヤの任意のいずれかとともにレイヤ間テクスチャ予測を利用する(例えば、レイヤ間テクスチャ予測から予測される)かどうかを示すためにスライスヘッダ中で信号伝達され得る。更に、フラグは、現在のスライスが、それの依存レイヤのいずれかとともにレイヤ間シンタックス予測を利用するかどうかを示すためにスライスヘッダ中で信号伝達され得る。追加又は代替として、フラグは、現在のスライスが、任意の依存レイヤからの任意の種類のレイヤ間予測を利用するかどうかを示すためにスライスヘッダ中で信号伝達され得る。
[0094]更に、上述のフラグは、slice_reserved_flag[i]によって示されるように、追加スライスヘッダビットの一部として提示され得る。
[0095]例えば、現在のSHVCテストモデルでは、ベースレイヤからの動きフィールド及び予測モードがレイヤ間参照ピクチャにマッピングされるときの動きマッピングツールがある。このツールは、HEVCベースレイヤコーデックのため(例えば、avc_base_layer_flagが0に等しくなるとき)にのみイネイブルになり得る。代替的に、高レベルシンタックスフラグは、動きマッピングツールのために導入され得る。このフラグが0である場合、動きマッピングは使用されない。一実施形態では、avc_base_layer_flagが0に等しくなる場合、動きをマッピングフラグが常に0に等しくなるか、又はavc_base_layer_flagが0に等しくなる場合、動きマッピングフラグ信号伝達がスキップされ得、動きマッピングフラグが0になると推論される。
[0096]本明細書で説明する技法は、限定はしないが、MVC及び3DVなどの他のHEVC拡張に適用可能である。そのような場合、レイヤに関して上記で説明した技法がビューに適用されることになる。他のベースレイヤコーデック、例えば、MPEG−2が使用され得る場合、同様の識別フラグが導入され得る。開示する技法は、そのような同様の方法及びコーデックの使用で拡張され得る。
[0097]図4に、図2のビデオエンコーダ20又は図3のビデオデコーダ30によって実行され得る、SHVCコード化中にレイヤ間シンタックス予測を制御する方法の一実施形態を示す。方法400はブロック410において開始する。ブロック420において、拡張レイヤのベースレイヤをコード化する(例えば、符号化又は復号する)ために非HEVCコーデック(例えば、AVCなど)が使用され、一方、拡張レイヤをコード化するためにHEVCが使用されるかどうかを決定する。例えば、ベースレイヤをコード化するために使用されるコーデックを示すために、又はより一般的に、ベースレイヤをコード化するために非HEVCコーデックが使用されるかどうかを示すために、フラグ又はシンタックス要素などの指標が与えられ得る。上記で説明した1つのそのようなフラグavc_base_layer_flagは、それが1に等しくなるとき、ベースレイヤをコード化するために非HEVCコーデック(即ち、AVC)が使用されることを示す。他のフラグ又は指標が使用され得る。ベースレイヤをコード化するために非HEVCコーデックが使用される場合、方法は、ブロック430に進み、そうでない場合、方法400は、ブロック440において終了する。例えば、ベースレイヤをコード化するためにHEVCが使用されるとイフが決定され、又はベースレイヤをコード化するために非HEVCコーデックが使用されるかどうかが決定され得ない場合、方法は、ブロック440に進む。ブロック430において、レイヤ間シンタックス予測が使用不能にされる。例えば、コード化モードとしてレイヤ間シンタックス予測が利用可能でないことを示すために指標が与えられ得る。一実施形態では、そのような指標は、上記でより詳細に説明したように、他のレイヤ間予測モード(例えば、レイヤ間テクスチャ予測など)とは無関係に信号伝達され得る。方法400は、次いで、ブロック440に進み、そこで方法400は終了する。
TMVPのデセイブル化
[0098]HEVC拡張(例えば、SVC又はMVC)では、1つ又は複数のベースレイヤ/ビュー動きベクトル候補が、時間動きベクトル候補(TMVP)とともにマージ/AMVP候補リストに含まれることがある。HEVCでは、現在のピクチャ中の全てのスライスをコード化する(符号化又は復号する)ために使用される同一位置配置参照ピクチャは1つしかない。この目的のために、インデックス値collocated_ref_idxが、スライスヘッダ中で信号伝達されるが、フレーム中の全てのスライスに対して同じになるように制限される。
[0099]しかしながら、ベースレイヤ/ビュー動きベクトルを使用することは、TMVPのための1つの時間参照ピクチャ及びベースレイヤ/ビュー動きベクトルのための1つのベースレイヤ/ビューピクチャの2つの異なる同一位置配置ピクチャから動きベクトルにアクセスすることに関連する帯域幅の増加をもたらし得る。
[00100]HEVCは、動きベクトル予測のために、現在のピクチャとは異なる1つのピクチャのみを使用する。HEVCのスケーラブル又はマルチビュー拡張では、現在のピクチャの同一位置配置ピクチャは、インデックス値collocated_ref_idxによって定義される時間参照ピクチャ又はビュー間/レイヤ参照ピクチャベースのいずれかでなければならない。
[00101]ベースレイヤ/ビュー動きベクトル(MV)候補及びTMVPの使用を制限するために、エンコーダ又はデコーダの実施形態は、以下の条件(「制限条件」)のうちの少なくとも1つを含み得る。
1.幾つかの実施形態では、ピクチャの少なくとも1つのスライスにおいてTMVPがイネイブルになっている(例えば、フラグslice_temporal_mvp_enabled_flagが1に等しくなる)場合、ベースレイヤ/ビューMV候補が現在のピクチャの任意のスライスのために使用され得ないようにビデオデータは符号化又は復号され得る。
2.幾つかの実施形態では、ピクチャ中の全てのスライスについてフラグslice_temporal_mvp_enabled_flagが0に等しくなる場合、又は代替的に、フラグsps_temporal_mvp_enabled_flagが0に等しくなる場合、マージ/AMVPリスト中でベースレイヤ/ビューMV候補が使用され得るようにビデオデータは符号化/復号され得る。
3.幾つかの実施形態では、上記で説明したように、レイヤ間/ビュー動き予測使用がフラグ、例えば、slice_motion_prediction_flagによって示される実施形態では、いずれか1つのスライス中で、フラグslice_motion_prediction_flag及びslice_temporal_mvp_enabled_flagの両方が1に等しくなり得ないようにビデオデータが符号化/復号され得る。更に、少なくとも1つのスライスが1に等しいフラグslice_temporal_mvp_enabled_flagを有するとき、フラグslice_motion_prediction_flagは、全てのスライスについて常に0にならなければならない。同様に、同じピクチャ中で少なくとも1つのスライスが1に等しいフラグslice_motion_prediction_flagを有するとき、フラグslice_temporal_mvp_enabled_flagは、全てのスライスについて常に0にならなければならない。
4.代替的に、幾つかの実施形態では、フラグslice_motion_prediction_flag及びslice_temporal_mvp_enabled_flagが条件付きで信号伝達される。例えば、一例では、シンタックスのコード化は以下の通りであり得る。
Figure 2016509436
[00102]代替的に、別のコード化例では、以下の通りであり得る。
Figure 2016509436
[00103]フラグslice_motion_prediction_flagは、存在しない場合、上記で説明したように(例えば、項目#3を参照)、0に等しくなり、フラグが制約されるとエンコーダ又はデコーダのプロセッサによって推論される。
5.幾つかの実施形態では、上記で説明したように、VPS、SPS、又はPPSフラグによってレイヤ間動き予測が制御され得るという点で、コード化は3DVと同様であり得る。例えば、一実施形態では、VPSフラグについて、シンタックス表が以下の通りであるか、又は以下を含み得る。
Figure 2016509436
[00104]信号伝達方式の別の実施形態は、以下の通りである。
Figure 2016509436
[00105]フラグvps_motion_prediction_flagは、存在しない場合、上記で説明したように(例えば、上記の項目#3及び#4を参照)、0に等しくなり、フラグが制約されるとエンコーダ又はデコーダのプロセッサによって推論される。
6.上記の実施形態の幾つかでは、ベースレイヤ及びTMVPからの動き予測を制御するために2つのフラグが使用される。別の実施形態では、マージ/AMVPモードでTMVP候補又はベースレイヤMV候補のいずれかの使用を制御するためにただ1つのフラグが使用される。例えば、これは、ベースレイヤ/ビューMV候補及びTMVP候補がシーケンスレベルにおいて一緒に使用されないように制限される実施形態において含まれ得る。
[00106]そのような実施形態の場合、要素slice_temporal_mvp_enabled_flagのセマンティクスは、このフラグが、スライス中のTMVP候補又はベースレイヤ/ビューMV候補のいずれかの使用を制御することができる方法で変更され得る。例えば、一実施形態では、要素のセマンティクスは、インター予測のために時間動きベクトル予測子が使用され得るのか、又は参照レイヤ動き予測子が使用され得るのかをslice_temporal_mvp_enabled_flagが指定することであり得る。slice_temporal_mvp_enabled_flagが0に等しくなる場合、現在のピクチャのシンタックス要素は、現在ピクチャを復号するために時間動きベクトル予測子も参照レイヤ動き予測子も使用されないように制約されることになろう。そうでない場合(slice_temporal_mvp_enabled_flagが1に等しくなるとき)、現在のピクチャを復号するために時間動きベクトル予測子又は参照レイヤ動き予測子が使用され得る。存在しないとき、slice_temporal_mvp_enabled_flagの値は0に等しくなると推論される。
[00107]例えば、一実施形態では、シンタックス実装形態は、以下を含み得る。
Figure 2016509436
[00108]図5に、図2のビデオエンコーダ20又は図3のビデオデコーダ30によって実行され得る動き予測を制御する方法の一実施形態を示す。方法500はブロック510において開始する。ブロック520において、時間参照ピクチャからの動きベクトルが、時間動きベクトル予測子(TMVP)として識別される。ブロック530において、ベースレイヤ及び/又はビューピクチャからの1つ又は複数の動きベクトルが、ベースレイヤ/ビュー動きベクトルとして識別される。ブロック540において、両方でなく、TMVP又は1つもしくは複数のベースレイヤ/ビュー動きベクトルのいずれかが、現在のピクチャの現在のブロックを符号化及び/又は復号するために使用される候補リスト中に含まれ得るような制限が与えられる。制限は、上記で説明した制限条件のうちの任意の1つ又は複数に基づいて与えられ得る。概して、現在のピクチャは、時間参照ピクチャ及びベースレイヤ/ビューピクチャに関して同一位置配置される。方法500は、ブロック550に続き、終了する。
[00109]上記の開示は特定の実施形態を記載しているが、多くの変形形態が可能である。例えば、上述されたように、上記の技法は3Dビデオコード化に適用され得る。3Dビデオの幾つかの実施形態では、参照レイヤ(例えば、ベースレイヤ)は、ビデオの第1のビューを表示するのに十分なビデオ情報を含み、拡張レイヤは、参照レイヤに比べて更なるビデオ情報を含み、その結果、参照レイヤ及び拡張レイヤは一緒に、ビデオの第2のビューを表示するのに十分な情報を含む。これらの2つのビューは、立体的な画像を生成するために使用され得る。上記で説明されたように、本開示の態様に従って、拡張レイヤ内でビデオユニットを符号化又は復号するとき、参照レイヤからの動き情報は、更なる暗黙的な仮説を識別するために使用され得る。これにより、3Dビデオのビットストリームについてのより大きいコード化効率が実現され得る。
[00110]例によっては、本明細書で説明された技法のうちいずれかの、幾つかの行為又はイベントは、異なるシーケンスで実行され得、追加、マージ、又は完全に除外され得る(例えば、全ての説明した作用又はイベントが、本技法の実施のために必要であるとは限らない)ことを認識されたい。更に、幾つかの例では、行為又はイベントは、連続的にではなく、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを通して、同時に実行され得る。
[00111]本明細書で開示される情報及び信号は、多種多様な技術及び技法のいずれかを使用して表され得る。例えば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁界又は磁性粒子、光場若しくは光学粒子、又はそれらの任意の組合せによって表され得る。
[00112]本明細書で開示した実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又はその両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて、概してそれらの機能に関して上記で説明した。そのような機能がハードウェアとして実装されるか、又はソフトウェアとして実装されるかは、特定の適用例及び全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。
[00113]本明細書で説明した技術は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信機器ハンドセット、又はワイヤレス通信機器ハンドセット及び他の機器における適用例を含む複数の用途を有する集積回路機器など、様々な機器のいずれかにおいて実装され得る。モジュール又は構成要素として説明した任意の特徴は、集積論理機器に一緒に、又は個別であるが相互運用可能な論理機器として別々に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明した方法のうちの1つ又は複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)などのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM(登録商標))、フラッシュメモリ、磁気又は光学データ記憶媒体など、メモリ又はデータ記憶媒体を備え得る。本技法は、追加又は代替として、伝搬信号又は電波など、命令又はデータ構造の形態でプログラムコードを搬送又は伝達し、コンピュータによってアクセスされ、読み取られ、及び/又は実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
[00114]プログラムコードは、1つ又は複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、又は他の等価の集積回路若しくはディスクリート論理回路など、1つ又は複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明する技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であり得る。プロセッサはまた、コンピュータ機器の組合せ、例えば、DSP及びマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、又は任意の他のそのような構成として実装され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、又は本明細書で説明する技法の実装に好適な他の構造又は装置のいずれかを指す。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のソフトウェアモジュールもしくはハードウェアモジュール内に提供され得、又は複合ビデオエンコーダ/デコーダ(コーデック)に組み込まれ得る。
[00115]本発明の様々な実施形態について説明した。これら及び他の実施形態は、以下の特許請求の範囲内に入る。
[00115]本発明の様々な実施形態について説明した。これら及び他の実施形態は、以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
[1] ビデオ情報をコード化するための装置であって、ベースレイヤ及び/又は拡張レイヤに関連するビデオ情報を記憶するように構成されたメモリユニットと、前記メモリユニットに動作可能に結合され、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えることと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えることと、ここにおいて、前記第1の指標及び前記第2の指標が互いに別個に与えられ得る、を行うように構成されたプロセッサとを備える装置。
[2] 前記プロセッサが、前記ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えるように構成された、[1]に記載の装置。
[3] 前記プロセッサは、前記コーデックがAVCコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えるように構成された、[2]に記載の装置。
[4] 前記プロセッサは、前記コーデックが非HEVC(高効率ビデオコード化)コーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えるように構成された、[2]に記載の装置。
[5] 前記コーデックを示す前記情報がフラグ又はシンタックス要素を備える、[2]に記載の装置。
[6] 前記第1の指標及び前記第2の指標が、第1のフラグ又はシンタックス要素と第2のフラグ又はシンタックス要素とを備える、[1]に記載の装置。
[7] 前記プロセッサが、ビットストリーム中で前記第1の指標と前記第2の指標とを信号伝達するように構成され、前記第1の指標及び前記第2の指標が、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、[1]に記載の装置。
[8] 前記プロセッサが、ビットストリームから前記第1の指標と前記第2の指標とを受信するように構成され、前記第1の指標及び前記第2の指標が、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、[1]に記載の装置。
[9] 前記第1の指標及び前記第2の指標が、パラメータセット、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、又は追加スライスヘッダビット中で信号伝達される、[1]に記載の装置。
[10] 前記第1の指標及び前記第2のインジータが、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、[1]に記載の装置。
[11] 前記プロセッサが、ビットストリーム中で少なくとも前記第1の指標又は前記第2の指標を信号伝達するのをスキップするように構成され、その場合、レイヤ間シンタックス予測が使用不能であると推論されることになる、[1]に記載の装置。
[12] デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータ、ビデオストリーミング機器及びワイヤレス通信のために装備された機器からなる群から選択される1つ又は複数の機器を更に備える、[1]に記載の装置。
[13] ビデオ情報を復号する方法であって、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を受信することと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を受信することと、ここにおいて、前記第1の指標及び前記第2の指標が互いに別個に受信される、を備える、方法。
[14] ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにすることを更に備える、[13]に記載の方法。
[15] 前記コーデックがAVCコーデックであるときレイヤ間シンタックス予測をデセイブルにすることを更に備える、[14]に記載の方法。
[16] 前記コーデックが非HEVC(高効率ビデオコード化)コーデックであるときレイヤ間シンタックス予測をデセイブルにすることを更に備える、[14]に記載の方法。
[17] 前記コーデックを示す前記情報がフラグ又はシンタックス要素を備える、[14]に記載の方法。
[18] 前記第1の指標及び前記第2の指標が、第1のフラグ又はシンタックス要素と第2のフラグ又はシンタックス要素とを備える、[13]に記載の方法。
[19] 前記第1の指標及び前記第2の指標が、パラメータセット、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、又は追加スライスヘッダビット中で信号伝達される、[13]に記載の方法。
[20] 前記第1の指標及び前記第2のインジータが、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、[13]に記載の方法。
[21] ビットストリーム中で少なくとも前記第1の指標又は前記第2の指標を信号伝達するのをスキップし、レイヤ間シンタックス予測が使用不能であると推論することを更に備える、[13]に記載の方法。
[22] ビデオ情報を符号化する方法であって、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えることと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えることと、ここにおいて、前記第1の指標及び前記第2の指標が互いに別個に与えられる、を備える、方法。
[23] ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えることを備える、[22]に記載の方法。
[24] 前記コーデックがAVCコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えることを備える、[23]に記載の方法。
[25] 前記コーデックが非HEVC(高効率ビデオコード化)コーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えることを備える、[23]に記載の方法。
[26] 前記コーデックを示す前記情報がフラグ又はシンタックス要素を備える、[23]に記載の方法。
[27] 前記第1の指標及び前記第2の指標が、第1のフラグ又はシンタックス要素と第2のフラグ又はシンタックス要素とを備える、[22]に記載の方法。
[28] 前記第1の指標及び前記第2の指標が、パラメータセット、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、又は追加スライスヘッダビット中で信号伝達される、[22]に記載の方法。
[29] 前記第1の指標及び前記第2のインジータが、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、[22]に記載の方法。
[30] ビットストリーム中で少なくとも前記第1の指標又は前記第2の指標を信号伝達するのをスキップし、レイヤ間シンタックス予測が使用不能であると推論することを更に備える、[22]に記載の方法。
[31] 実行されたとき、プロセッサに、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えることと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えることと、ここにおいて、前記第1の指標及び前記第2の指標が互いに別個に与えられ得る、を行わせるコードを備える非一時的コンピュータ可読媒体。
[32] 前記コードが、実行されたとき、前記プロセッサに、前記ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えることを更に行わせる、[31]に記載の非一時的コンピュータ可読媒体。
[33] 前記コードが、実行されたとき、前記プロセッサに、前記コーデックが非HEVCコーデック又はAVCコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えることを更に行わせる、[32]に記載の非一時的コンピュータ可読媒体。
[34] 前記第1の指標及び前記第2のインジータが、第1及び第2のフラグ、第1及び第2のシンタックス要素、又は単一のシンタックス要素の異なる値を備える、[31]に記載の非一時的コンピュータ可読媒体。
[35] ビデオ情報をコード化するための手段であって、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えるための手段と、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えるための手段と、ここにおいて、前記第1の指標及び前記第2の指標が互いに別個に与えられ得る、を備える、手段。
[36] 前記第1の指標を与えるための前記手段が、前記ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えるための手段を備える、[35]に記載のビデオ情報をコード化するための手段。
[37] 前記第1の指標を与えるための前記手段が、前記コーデックが非HEVCコーデック又はAVCコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えるための手段を備える、[36]に記載のビデオ情報をコード化するための手段。
[38] 前記第1の指標及び前記第2のインジータが、第1及び第2のフラグ、第1及び第2のシンタックス要素、又は単一のシンタックス要素の異なる値を備える、[35]に記載のビデオ情報をコード化するための手段。

Claims (38)

  1. ビデオ情報をコード化するための装置であって、
    ベースレイヤ及び/又は拡張レイヤに関連するビデオ情報を記憶するように構成されたメモリユニットと、
    前記メモリユニットに動作可能に結合され、
    レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えることと、
    レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えることと、
    ここにおいて、前記第1の指標及び前記第2の指標が互いに別個に与えられ得る、
    を行うように構成されたプロセッサと
    を備える装置。
  2. 前記プロセッサが、前記ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えるように構成された、請求項1に記載の装置。
  3. 前記プロセッサは、前記コーデックがAVCコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えるように構成された、請求項2に記載の装置。
  4. 前記プロセッサは、前記コーデックが非HEVC(高効率ビデオコード化)コーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えるように構成された、請求項2に記載の装置。
  5. 前記コーデックを示す前記情報がフラグ又はシンタックス要素を備える、請求項2に記載の装置。
  6. 前記第1の指標及び前記第2の指標が、第1のフラグ又はシンタックス要素と第2のフラグ又はシンタックス要素とを備える、請求項1に記載の装置。
  7. 前記プロセッサが、ビットストリーム中で前記第1の指標と前記第2の指標とを信号伝達するように構成され、前記第1の指標及び前記第2の指標が、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、請求項1に記載の装置。
  8. 前記プロセッサが、ビットストリームから前記第1の指標と前記第2の指標とを受信するように構成され、前記第1の指標及び前記第2の指標が、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、請求項1に記載の装置。
  9. 前記第1の指標及び前記第2の指標が、パラメータセット、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、又は追加スライスヘッダビット中で信号伝達される、請求項1に記載の装置。
  10. 前記第1の指標及び前記第2のインジータが、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、請求項1に記載の装置。
  11. 前記プロセッサが、ビットストリーム中で少なくとも前記第1の指標又は前記第2の指標を信号伝達するのをスキップするように構成され、その場合、レイヤ間シンタックス予測が使用不能であると推論されることになる、請求項1に記載の装置。
  12. デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータ、ビデオストリーミング機器及びワイヤレス通信のために装備された機器からなる群から選択される1つ又は複数の機器を更に備える、請求項1に記載の装置。
  13. ビデオ情報を復号する方法であって、
    レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を受信することと、
    レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を受信することと、
    ここにおいて、前記第1の指標及び前記第2の指標が互いに別個に受信される、
    を備える、方法。
  14. ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにすることを更に備える、請求項13に記載の方法。
  15. 前記コーデックがAVCコーデックであるときレイヤ間シンタックス予測をデセイブルにすることを更に備える、請求項14に記載の方法。
  16. 前記コーデックが非HEVC(高効率ビデオコード化)コーデックであるときレイヤ間シンタックス予測をデセイブルにすることを更に備える、請求項14に記載の方法。
  17. 前記コーデックを示す前記情報がフラグ又はシンタックス要素を備える、請求項14に記載の方法。
  18. 前記第1の指標及び前記第2の指標が、第1のフラグ又はシンタックス要素と第2のフラグ又はシンタックス要素とを備える、請求項13に記載の方法。
  19. 前記第1の指標及び前記第2の指標が、パラメータセット、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、又は追加スライスヘッダビット中で信号伝達される、請求項13に記載の方法。
  20. 前記第1の指標及び前記第2のインジータが、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、請求項13に記載の方法。
  21. ビットストリーム中で少なくとも前記第1の指標又は前記第2の指標を信号伝達するのをスキップし、レイヤ間シンタックス予測が使用不能であると推論することを更に備える、請求項13に記載の方法。
  22. ビデオ情報を符号化する方法であって、
    レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えることと、
    レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えることと、
    ここにおいて、前記第1の指標及び前記第2の指標が互いに別個に与えられる、
    を備える、方法。
  23. ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えることを備える、請求項22に記載の方法。
  24. 前記コーデックがAVCコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えることを備える、請求項23に記載の方法。
  25. 前記コーデックが非HEVC(高効率ビデオコード化)コーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えることを備える、請求項23に記載の方法。
  26. 前記コーデックを示す前記情報がフラグ又はシンタックス要素を備える、請求項23に記載の方法。
  27. 前記第1の指標及び前記第2の指標が、第1のフラグ又はシンタックス要素と第2のフラグ又はシンタックス要素とを備える、請求項22に記載の方法。
  28. 前記第1の指標及び前記第2の指標が、パラメータセット、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、又は追加スライスヘッダビット中で信号伝達される、請求項22に記載の方法。
  29. 前記第1の指標及び前記第2のインジータが、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、請求項22に記載の方法。
  30. ビットストリーム中で少なくとも前記第1の指標又は前記第2の指標を信号伝達するのをスキップし、レイヤ間シンタックス予測が使用不能であると推論することを更に備える、請求項22に記載の方法。
  31. 実行されたとき、プロセッサに、
    レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えることと、
    レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えることと、
    ここにおいて、前記第1の指標及び前記第2の指標が互いに別個に与えられ得る、
    を行わせるコードを備える非一時的コンピュータ可読媒体。
  32. 前記コードが、実行されたとき、前記プロセッサに、前記ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えることを更に行わせる、請求項31に記載の非一時的コンピュータ可読媒体。
  33. 前記コードが、実行されたとき、前記プロセッサに、前記コーデックが非HEVCコーデック又はAVCコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えることを更に行わせる、請求項32に記載の非一時的コンピュータ可読媒体。
  34. 前記第1の指標及び前記第2のインジータが、第1及び第2のフラグ、第1及び第2のシンタックス要素、又は単一のシンタックス要素の異なる値を備える、請求項31に記載の非一時的コンピュータ可読媒体。
  35. ビデオ情報をコード化するための手段であって、
    レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第1の指標を与えるための手段と、
    レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第2の指標を与えるための手段と、
    ここにおいて、前記第1の指標及び前記第2の指標が互いに別個に与えられ得る、
    を備える、手段。
  36. 前記第1の指標を与えるための前記手段が、前記ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えるための手段を備える、請求項35に記載のビデオ情報をコード化するための手段。
  37. 前記第1の指標を与えるための前記手段が、前記コーデックが非HEVCコーデック又はAVCコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第1の指標を与えるための手段を備える、請求項36に記載のビデオ情報をコード化するための手段。
  38. 前記第1の指標及び前記第2のインジータが、第1及び第2のフラグ、第1及び第2のシンタックス要素、又は単一のシンタックス要素の異なる値を備える、請求項35に記載のビデオ情報をコード化するための手段。
JP2015556091A 2013-02-01 2014-01-29 レイヤ間シンタックス予測制御 Active JP6526574B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201361759969P 2013-02-01 2013-02-01
US61/759,969 2013-02-01
US201361772370P 2013-03-04 2013-03-04
US61/772,370 2013-03-04
US201361809170P 2013-04-05 2013-04-05
US61/809,170 2013-04-05
US14/166,735 2014-01-28
US14/166,735 US10129550B2 (en) 2013-02-01 2014-01-28 Inter-layer syntax prediction control
PCT/US2014/013518 WO2014120721A1 (en) 2013-02-01 2014-01-29 Inter-layer syntax prediction control

Publications (3)

Publication Number Publication Date
JP2016509436A true JP2016509436A (ja) 2016-03-24
JP2016509436A5 JP2016509436A5 (ja) 2017-02-16
JP6526574B2 JP6526574B2 (ja) 2019-06-05

Family

ID=51259193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015556091A Active JP6526574B2 (ja) 2013-02-01 2014-01-29 レイヤ間シンタックス予測制御

Country Status (6)

Country Link
US (1) US10129550B2 (ja)
EP (1) EP2951997A1 (ja)
JP (1) JP6526574B2 (ja)
KR (1) KR102282331B1 (ja)
CN (1) CN104956676B (ja)
WO (1) WO2014120721A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014200022A (ja) * 2013-03-29 2014-10-23 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2014200023A (ja) * 2013-03-29 2014-10-23 株式会社Jvcケンウッド 画像復号装置、画像復号方法及び画像復号プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160191933A1 (en) * 2013-07-10 2016-06-30 Sharp Kabushiki Kaisha Image decoding device and image coding device
US10075735B2 (en) * 2013-07-14 2018-09-11 Sharp Kabushiki Kaisha Video parameter set signaling
CA2966862C (en) 2014-11-28 2021-03-30 Mediatek Inc. Method and apparatus of alternative transform for video coding
CN116156164B (zh) * 2018-12-30 2023-11-28 北京达佳互联信息技术有限公司 用于对视频进行解码的方法、设备和可读存储介质
BR112021026310A2 (pt) * 2019-06-25 2022-03-03 Interdigital Vc Holdings France Sas Previsão de vetor de movimento na codificação e decodificação de vídeo
US11146824B2 (en) * 2019-12-30 2021-10-12 Mediatek Inc. Video encoding or decoding methods and apparatuses related to high-level information signaling

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014038905A2 (ko) * 2012-09-09 2014-03-13 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1310519C (zh) 2001-09-18 2007-04-11 皇家飞利浦电子股份有限公司 视频编码和解码方法以及相应信号
CN101422046A (zh) 2006-11-09 2009-04-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP2596640B1 (en) * 2010-07-21 2016-08-10 Telefonaktiebolaget LM Ericsson (publ) Picture coding and decoding
US8344917B2 (en) 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
CN103597827B (zh) 2011-06-10 2018-08-07 寰发股份有限公司 可伸缩视频编码方法及其装置
MX351585B (es) 2012-01-31 2017-10-20 Vid Scale Inc Señalizacion de conjuntos de imagenes de referencia (rps) para videocodificacion escalable de alta eficiencia (hevc).
WO2013128010A2 (en) 2012-03-02 2013-09-06 Canon Kabushiki Kaisha Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US20130287093A1 (en) 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US20130287109A1 (en) 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
US9762903B2 (en) 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
WO2013189257A1 (en) * 2012-06-20 2013-12-27 Mediatek Inc. Method and apparatus of bi-directional prediction for scalable video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014038905A2 (ko) * 2012-09-09 2014-03-13 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAZUSHI SATO, SHVC: ON INTER-LAYER PREDICTION, JPN6017037961, 15 January 2013 (2013-01-15) *
TZU-DER CHUANG ET AL., AHG9: INTER-LAYER PREDICTION FLAG AND INTER-LAYER SYNTAX PREDICTION FLAG, JPN6017037960, 14 January 2013 (2013-01-14) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014200022A (ja) * 2013-03-29 2014-10-23 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2014200023A (ja) * 2013-03-29 2014-10-23 株式会社Jvcケンウッド 画像復号装置、画像復号方法及び画像復号プログラム

Also Published As

Publication number Publication date
EP2951997A1 (en) 2015-12-09
JP6526574B2 (ja) 2019-06-05
US20140219363A1 (en) 2014-08-07
WO2014120721A1 (en) 2014-08-07
US10129550B2 (en) 2018-11-13
KR102282331B1 (ko) 2021-07-26
KR20150111982A (ko) 2015-10-06
CN104956676B (zh) 2019-07-12
CN104956676A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
JP6297670B2 (ja) ハイレベルシンタックスのみのスケーラブルビデオコーディングのための、レイヤ間参照ピクチャ制限
JP6224236B2 (ja) 異なるレイヤ間予測タイプのための参照ピクチャの独立リサンプリングおよび選択
JP6285020B2 (ja) コンポーネント間フィルタ処理
JP6129969B2 (ja) スケーラブルビデオコード化における代替変換
JP6285024B2 (ja) マルチレイヤビデオコーディングのためのレイヤ間予測シグナリングに対する最適化
JP6158422B2 (ja) アラインされていないirapピクチャを含み得るマルチレイヤビットストリームのクロスレイヤpocアラインメント
US20150373362A1 (en) Deblocking filter design for intra block copy
JP2018125863A (ja) ビデオプロパティの指示
KR102295128B1 (ko) 계층간 픽처 시그널링 및 관련된 프로세스들
JP6495268B2 (ja) パラメータセット内のビューidビット深度のシグナリング
US20140064359A1 (en) Intra prediction most probable mode order improvement for scalable video coding
JP6526574B2 (ja) レイヤ間シンタックス予測制御
JP2015529065A (ja) スケーラブルビデオコーディングおよび3dビデオコーディングのための多重仮説動き補償
JP2015533462A (ja) ビデオコーディングのための参照ピクチャステータス
US9380307B2 (en) Method and system for intra base layer (BL) transform in video coding
JP2016506185A (ja) ビデオコーディング拡張規格のための時間動きベクトル予測
JP6352391B2 (ja) Shvcのための複数のベースレイヤ参照ピクチャ
JP2018511234A (ja) コード化パラメータのhevc予測についての利用可能性検査を低減するためのパディング
KR20200037462A (ko) 상이한 종횡비를 갖는 공간 스케일러빌리티를 위한 계층간 참조 화상 구성
JP2016537843A (ja) Mv−hevcにおけるビュー間依存タイプ
JP2015514362A (ja) ビデオ・コーディングのためのインタ・レイヤ・テクスチャ予測
JP6466349B2 (ja) スケーラブルビデオコーディングのための空間動きベクトルスケーリング
JP6479776B2 (ja) リサンプリングプロセスにおける中間データのダイナミックレンジ制御

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190508

R150 Certificate of patent or registration of utility model

Ref document number: 6526574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250