JP2019530316A - ビデオコード化のためのツリータイプコード化 - Google Patents

ビデオコード化のためのツリータイプコード化 Download PDF

Info

Publication number
JP2019530316A
JP2019530316A JP2019512793A JP2019512793A JP2019530316A JP 2019530316 A JP2019530316 A JP 2019530316A JP 2019512793 A JP2019512793 A JP 2019512793A JP 2019512793 A JP2019512793 A JP 2019512793A JP 2019530316 A JP2019530316 A JP 2019530316A
Authority
JP
Japan
Prior art keywords
block
current block
neighboring
partitioning
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019512793A
Other languages
English (en)
Other versions
JP2019530316A5 (ja
JP7218287B2 (ja
Inventor
チュアン、シャオ−チャン
リ、シャン
チェン、ジャンレ
ゾウ、フェン
チェン、ウェイ−ジュン
チェン、イ−ウェン
カルチェビチ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2019530316A publication Critical patent/JP2019530316A/ja
Publication of JP2019530316A5 publication Critical patent/JP2019530316A5/ja
Application granted granted Critical
Publication of JP7218287B2 publication Critical patent/JP7218287B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

例となるデバイスは、ビデオデータを記憶するように構成されたメモリと、メモリと通信している処理回路とを備える。処理回路は、相対次元値を取得するために、ビデオデータの現在のブロックの次元の値を現在のブロックの近隣ブロックの対応する次元の値と比較するを行うように構成される。処理回路は、相対次元値に基づいて、現在のブロックがマルチタイプツリーベースの区分化スキームの予測ツリー(PT)部分に従って区分化されるべきであると決定するようにされる構成される。PT部分は、2分木構造または中心側3分木構造のうちの1つに従って区分化することを備える。処理回路は、決定に基づいて、複数のサブブロックを形成するために、PT部分に従って現在のブロックを区分化することを行うようにさらに構成される。【選択図】図11

Description

関連出願
[0001]本出願は、2016年9月7日に出願され、そのすべての内容が参照によりここに組み込まれる米国仮出願番号第62/384,585号の利益を主張する。
[0002]本開示は、ビデオコード化に関する。
[0003]デジタルビデオ能力は、デジタルテレビ、デジタルディレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、e−bookリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレイヤ、ビデオゲームデバイス、ビデオゲーム機、セルラ式または衛星無線電話、いわゆる「スマートフォン」、ビデオテレビ会議デバイス、ビデオストリーミングデバイス等を含む、幅広い範囲のデバイスに組み込まれることができる。デジタルビデオデバイスは、ビデオコード化技法をインプリメントする、例えば、様々なビデオコード化規格によって定義される規格において説明されるビデオコード化技法など。ビデオコード化規格は、ITU−T H.261、ISO/IEC MPEG−1ビジュアル、ITU−T H.262またはISO/IEC MPEG−2ビジュアル、ITU−T H.263、ISO/IEC MPEG−4ビジュアル、および(ISO/IEC MPEG−4 AVCとしても知られている)ITU−T H.264に加え、そのSVC(Scalable Video Coding)およびMVC(Multi-View Video)拡張を含む。追加として、新規のビデオコード化規格、すなわちHEVC(High-Efficiency Video Coding)は、ITU−T VCEG(Video Coding Experts Group)のJCT−VC(Joint Collaboration Team on Video Coding)及びISO/IEC MPEG(Motion Picture Experts Group)によって最近発展された。以降の「HEVC WD」と称され、最新のHEVCドラフト仕様書は、http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zipから入手可能である。HEVCの仕様書およびFormat Rangeを含むその拡張(RExt)、Scalability(SHVC)、およびMulti−View(MV−HEVC)ExtensionsおよびScreen Content Extensionsは、http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=10481から入手可能である。ITU−T VCEG(Q6/16)およびISO/IEC MPEG(JTC 1/SC 29/WG 11)は、(スクリーンコンテンツコード化およびハイダイナミックレンジコード化のためのその現在の拡張および近々の拡張を含む)現在のHEVC規格のそれを著しく超える圧縮能力を持つ将来のビデオコード化技法の標準化のために必要なポテンシャルを現在研究している。グループは、この領域におけるそれらのエキスパートによって提案される圧縮技術設計を評価するために、JVET(Joint Video Exploration Team)として知られるジョイントコラボレーションの成果におけるこの探査アクティビティについて一体となって取り組んでいる。JVETは、2015年10月19日〜21日の間に最初に開かれた。参照ソフトウェアの最新バージョン、つまりJEM 7(Joint Exploration Model 7)は、https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0/からダウンロードすることができる。JEM−7.0のためのアルゴリズム解説は、2017年7月、ジェノバ、JVET−G1001のJ. Chen, E. Alshina, G. J. Sullivan, J.−R. Ohm, J. Boyceによる「Algorithm description of Joint Exploration Test Model 7,」にさらに説明される。
[0004]ビデオデバイスは、そのようなビデオコード化技法をインプリメントすることで、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。ビデオコード化技法は、ビデオシーケンスに内在する冗長性を低減または取り除くために、空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を含む。ブロックベースのビデオコード化の場合、ビデオスライス(例えば、ビデオフレーム又はビデオフレームの一部)は、ツリーブロック、コード化ユニット(CU)及び/又はコード化ノードとも呼ばれ得る、ビデオブロックへと区分化され得る。ピクチャのイントラコード化された(I)スライス中のビデオブロックは、同じピクチャにおける隣接ブロック中の基準サンプルに対して空間予測を使用して符号化される。ピクチャのインターコード化された(P又はB)スライス中のビデオブロックは、同じピクチャにおける隣接ブロック中の基準サンプルに対して空間予測を使用するか又は他の参照ピクチャ中の基準サンプルに対して時間予測を使用し得る。ピクチャは、フレームと呼ばれ得、参照ピクチャは、参照フレームと呼ばれ得る。
[0005]空間的または時間的予測は、結果として、コード化されるべきブロックの予測ブロックをもたらす。残差データは、コード化されることとなる元のブロックと予測ブロックとの間の画素差を表す。インターコード化されたブロックは、予測ブロックを形成する基準サンプルのブロックを指し示す動きベクトルと、コード化されたブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化されたブロックは、イントラコード化モードと残差データとに従って符号化される。さらなる圧縮のために、残差データが画素ドメインから変換ドメインに変換され得、これは、残差変換係数をもたらし、これは、その後、量子化され得る。最初は二次元アレイで配置されている、量子化された変換係数は、変換係数の一次元ベクトルを作り出すために走査され得、エントロピーコード化が、更なる圧縮を達成するために適用され得る。
[0006]概して、本開示は、ビデオデータのコード化(例えば、符号化および/または復号)に関する。本開示のいくつかの態様は、HEVCに後に発展されたブロック区分化構造に関する強化しているコード化およびシグナリング効率に向けられている。
[0007]一態様では、本開示は、コード化ビデオデータの方法に向けられている。方法は、相対次元を取得するために、ビデオデータの現在のブロックの次元を現在のブロックの近隣ブロックの対応する次元と比較することを備え、近隣ブロックは、現在のブロックに隣接した位置にある。方法は、相対次元に基づいて、現在のブロックがマルチタイプツリーベースの区分化スキームの予測ツリー(PT)部分にしたがって区分化されるべきであると決定することをさらに備え、マルチタイプツリーベースの区分化スキームのPT部分は、2分木構造または中心側3分木構造のうちの1つに従う区分化を備える。方法は、決定に基づいて、複数のサブブロックを形成するために、マルチタイプツリーベースの区分化スキームのPT部分に従って現在のブロックを区分化することを区分化することをさらに含む。
[0008]別の例では、本開示は、コード化ビデオデータのデバイスに向けられている。デバイスは、ビデオデータを記憶するように構成されたメモリと、メモリと通信している処理回路とを備える。処理回路は、相対次元値を取得するために、ビデオデータの現在のブロックの次元を現在のブロックの近隣ブロックの対応する次元と比較することを行うように構成され、近隣ブロックは、現在のブロックに隣接した位置にある。処理回路は、相対次元値に基づいて、現在のブロックがマルチタイプツリーベースの区分化スキームの予測ツリー(PT)部分にしたがって区分化されるべきであると決定することを行うようにさらに構成され、マルチタイプツリーベースの区分化スキームのPT部分は、2分木構造または中心側3分木構造のうちの1つに従って区分化することを備える。処理回路は、決定に基づいて、複数のサブブロックを形成するために、マルチタイプツリーベースの区分化スキームのPT部分に従って現在のブロックを区分化することを行うようにさらに構成される。
[0009]別の態様では、非一時的コンピュータ可読記憶媒体は、命令で符号化される。実行されると、命令は、ビデオコード化デバイスの1つまたは複数のプロセッサに、相対次元値を取得するために、ビデオデータの現在のブロックの次元を現在のブロックの近隣ブロックの対応する次元と比較することを行わせ、近隣ブロックは、現在のブロックに隣接した位置にある。処理回路は、相対次元値に基づいて、現在のブロックがマルチタイプツリーベースの区分化スキームの予測ツリー(PT)部分にしたがって区分化されべきであると決定することを行うようにさらに構成され、マルチタイプツリーベースの区分化スキームのPT部分は、2分木構造または中心側3分木構造のうちの1つに従って区分化することを備える。実行されると、命令は、ビデオコード化デバイスの1つまたは複数のプロセッサに、決定に基づいて、複数のサブブロックを形成するために、マルチタイプツリーベースの区分化スキームのPT部分に従って現在のブロックを区分化することをさらに行わせる。
[0010]別の例では、コード化ビデオデータのための装置は、相対次元を取得するために、ビデオデータの現在のブロックの次元を現在のブロックの近隣ブロックの対応する次元と比較するための手段を備え、近隣ブロックは、現在のブロックに隣接した位置にある。装置は、相対次元に基づいて、現在のブロックがマルチタイプツリーベースの区分化スキームの予測ツリー(PT)部分にしたがって区分化されるべきであると決定するための手段をさらに備え、マルチタイプツリーベースの区分化スキームのPT部分は、2分木構造または中心側3分木構造のうちの1つに従って区分化することを備える。装置は、決定に基づいて、複数のサブブロックを形成するために、マルチタイプツリーベースの区分化スキームのPT部分に従って現在のブロックを区分化することを区分化するための手段をさらに含む。
[0011]1つまたは複数の例の詳細は、添付の図面および以下の説明に記載される。他の特徴、目的、および利点が、明細書、図面、および特許請求の範囲から明らかになるであろう。
本開示の技法を実行するように構成され得る、例となるビデオ符号化及び復号システムを例示しているブロック図である。 本開示の技法を実行するように構成され得る、例となるビデオエンコーダを例示しているブロック図である。 本開示の技法を実行するように構成され得る、例となるビデオエンコーダを例示しているブロック図である。 HEVCにおけるCTUツーCU区分およびHEVC CTUツーCU区分の対応する四分木表現の例を例示する概念図である。 HEVCにおけるCTUツーCU区分およびHEVC CTUツーCU区分の対応する四分木表現の例を例示する概念図である。 インター予測モードでコード化されるコード化ユニット(CU)のための区分モードを例示する概念図である。 QTBT区分化構造の態様を例示する概念図である。 QTBT区分化構造の態様を例示する概念図である。 マルチタイプツリーブロック区分化構造の1つの例となる使用ケースを例示する概念図である。 マルチタイプツリーブロック区分化構造の1つの例となる使用ケースを例示する概念図である。 ビデオ符号化デバイスが、マルチタイプツリータイプ区分化ブロック区分のPT部分において実行できる様々な区分化スキームのための信号を送る、バイナリフォーマットで表された、コードワードの例を例示する概念図である。 本開示の態様に従って、PT分割フラグのコンテキストモデリングのための様々な上近隣および左近隣ロケーションの候補位置を例示する概念図である。 本開示の様々な態様に従う、ビデオ符号化デバイスが実行する例となる処理を例示するフローチャートである。 本開示の様々な態様に従う、ビデオ復号デバイスが実行する例となる処理を例示するフローチャートである。
[0023]図1は、モーションベクトル予測のための本開示の技法を実行するように構成され得る、例となるビデオ符号化及び復号システム10を例示しているブロック図である。図1に示されるように、システム10は、宛先デバイス14によって後の時間に復号されることとなる符号化されたビデオデータを供給するソースデバイス12を含む。特に、ソースデバイス12は、コンピュータ可読媒体16を介して宛先デバイス14にビデオデータを供給する。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンのような電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス、または同様のものを含む、幅広い範囲のデバイスの任意のものを備え得る。いくつかのケースでは、ソースデバイス12および宛先デバイス14は、ワイヤレス通信のために装備され得る。
[0024]宛先デバイス14は、コンピュータ可読媒体16を介して、復号されることとなる符号化されたビデオデータを受信し得る。コンピュータ可読媒体16は、符号化されたビデオデータをソースデバイス12から宛先デバイス14に移動させる能力がある任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体16は、ソースデバイス12がリアルタイムに宛先デバイス14に直接符号化されたビデオデータを送信することを可能にするための通信媒体を備えることができる。符号化されたビデオデータは、ワイヤレス通信プロトコルのような通信規格にしたがって変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルまたは1つまたは複数の物理伝送線のような任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、またはインターネットのようなグローバルネットワークといった、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス12から宛先デバイス14への通信を容易にするのに有益であり得る任意の他の機器を含み得る。
[0025]幾つかの例では、符号化されたデータは、出力インターフェース22から記憶デバイスに出力され得る。同様に、符号化されたデータは、記憶デバイスから、入力インターフェースによってアクセスされ得る。記憶デバイスは、ハードドライブ、ブルーレイディスク、DVD、CD−ROM、フラッシュメモリ、揮発性または非揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体のような様々な分散型または局所的にアクセスされるデータ記憶媒体のうちの任意のものを含み得る。さらなる例では、記憶デバイスは、ファイルサーバ、またはソースデバイス12によって生成された符号化されたビデオを記憶し得る別の中間記憶デバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して、記憶デバイスから、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶するおよび符号化されたビデオデータを宛先デバイス14に送信する能力がある任意のタイプのサーバであり得る。例となるファイルサーバは、(例えば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続記憶(NAS)デバイス、またはローカルディスクドライブを含む。宛先デバイス14は、インターネット接続を含む任意の標準的なデータ接続を通して、符号化されたビデオデータにアクセスし得る。これは、ファイルサーバに記憶された、符号化されたビデオデータにアクセスするのに適している、ワイヤレスチャネル(例えば、Wi−Fi接続)、有線接続(例えば、DSL、ケーブルモデム等)、又はその両方の組み合わせを含むことができる。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組み合わせであり得る。
[0026]本開示の技法は、必ずしも、ワイヤレスアプリケーション又はセッティングに制限されるわけではない。本技法は、無線テレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、HTTPを介した動的適応型ストリーミング(DASH)のようなインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されるデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他のアプリケーションのような、様々なマルチメディアアプリケーションの任意のものをサポートするビデオコード化に適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオ電話通信のようなアプリケーションをサポートするために、一方向または二方向のビデオ送信をサポートするように構成され得る。
[0027]図1の例では、ソースデバイス12は、ビデオソース18、ビデオエンコーダ20、及び出力インターフェース22を含む。宛先デバイス14は、入力インターフェース28、ビデオデコーダ30、及びディスプレイデバイス32を含む。本開示に従って、ソースデバイス12のビデオエンコーダ20は、モーションベクトル予測のための本開示の技法を適用するように構成され得る。他の例では、ソースデバイス及び宛先デバイスは、他の構成要素(components)又は配置(arrangemants)を含むことができる。例えば、ソースデバイス12は、外部のカメラのような外部のビデオソース18からビデオデータを受信することができる。同様に、宛先デバイス14は、統合されたディスプレイデバイスを含むよりむしろ外部ディスプレイデバイスとインターフェース接続し得る。
[0028]図1の例示されるシステム10は一例に過ぎない。モーションベクトル予測のための本開示の技法は、あらゆるデジタルビデオ符号化及び/又は復号デバイスによって実行され得る。概して、本開示の技法が、ビデオ符号化デバイスによって実行されるが、本技法はさらに、典型的に「CODEC」と呼ばれるビデオエンコーダ/デコーダによって実行され得る。更に本開示の技法はまた、ビデオプレプロセッサによっても実行され得る。ソースデバイス12および宛先デバイス14は単に、ソースデバイス12が宛先デバイス14への送信のためのコード化されたビデオデータを生成する、そのようなコード化デバイスの例に過ぎない。幾つかの例では、デバイス12、14は、デバイス12、14の各々がビデオ符号化及び復号コンポーネントを含むような実質的に対照な形で動作し得る。従ってシステム10は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、又はビデオ電話のために、ビデオデバイス12、14の間の一方向又は二方向ビデオ送信をサポートすることができる。
[0029]ソースデバイス12のビデオソース18は、ビデオカメラのようなビデオキャプチャデバイス、前にキャプチャされたビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース18は、ソースビデオとしてコンピュータグラフィックベースのデータ、またはライブビデオ、アーカイブされたビデオ、およびコンピュータ生成されたビデオの組合せを生成し得る。幾つかのケースでは、ビデオソース18がビデオカメラである場合、ソースデバイス12及び宛先デバイス14は、いわゆるカメラ電話又はビデオ電話を形成し得る。しかしながら上述されたように、本開示で説明される技法は、概してビデオコード化に適用可能であり得、ワイヤレスおよび/またはワイヤードアプリケーションに適用され得る。各ケースでは、キャプチャされた、事前キャプチャされた、又はコンピュータ処理のビデオは、ビデオエンコーダ20によって符号化され得る。符号化されたビデオ情報はその後、コンピュータ可読媒体16上に出力インターフェース22によって出力され得る。
[0030]コンピュータ可読媒体16は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信のような一時的な媒体、またはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、または他のコンピュータ可読媒体のような記憶媒体(すなわち、非一時的な記憶媒体)を含み得る。いくつかの例では、ネットワークサーバ(図示されない)は、ソースデバイス12から符号化されたビデオデータを受信し、例えば、ネットワーク送信を介して、符号化されたビデオデータを宛先デバイス14に供給し得る。同様に、ディスクスタンピング設備のような媒体製造設備(medium production facility)のコンピューティングデバイスは、符号化されたビデオデータをソースデバイス12から受信し、符号化されたビデオデータを含むディスクを作り出し得る。したがって、コンピュータ可読媒体16は、様々な例において、様々な形式の1つまたは複数のコンピュータ可読媒体を含むと理解され得る。
[0031]宛先デバイス14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ブロック及び他のコード化されたユニット、例えばGOP、の処理及び/又は特性を記述するシンタックス要素を含む、ビデオエンコーダ20によって定義され、そしてまたビデオデコーダ30によっても使用されるシンタックス情報を含むことができる。ディスプレイデバイス32は、ユーザに復号されたビデオデータを表示し、ブラウン管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又は別のタイプのディスプレイデバイスのような様々なディスプレイデバイスのいずれも備えることができる。
[0032]ビデオエンコーダ20およびビデオデコーダ30は、現在開発中の高効率ビデオコード化(HEVC)規格のような、ビデオ圧縮規格にしたがって動作し、HEVCテストモデル(HM)に準拠し得る。代替として、ビデオエンコーダ20およびビデオデコーダ30は、MPEG―4、Part10、アドバンスドビデオコード化(AVC)、またはそのような規格の延長として代わりに称される、ITU−T H.264規格のような、他の専有または工業規格(proprietary or industry standards)にしたがって動作し得る。しかしながら、本開示の技法は、いずれの特定のコード化規格にも限定されない。ビデオコード化規格の他の例は、MPEG−2及びITU−T H.263を含む。図1には示されていないが、いくつかの態様では、ビデオエンコーダ20及びビデオデコーダ30は、各々、オーディオエンコーダ及びデコーダと統合され得、共通データストリーム又は別個のデータストリームにおけるオーディオ及びビデオの両方の符号化に対処するために、適切なMUX−DEMUXユニット又は他のハードウェア及びソフトウェアを含み得る。適用可能な場合、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)のような他のプロトコルに準拠し得る。
[0033]ビデオエンコーダ20及びビデオデコーダ30は各々、1つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、論理回路、固定機能処理回路および/またはプログラマブル処理回路のような、処理回路、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせのような、様々な好適なエンコーダ回路のうちの任意のものとしてインプリメントされ得る。本技法が部分的にソフトウェアでインプリメントされる場合、デバイスは、このソフトウェアのための命令を、好適で非一時的なコンピュータ読取可能な媒体に記憶し、1つまたは複数のプロセッサを使用してハードウェアで命令を実行して、本開示の技法を実行し得る。ビデオエンコーダ20及びビデオデコーダ30の各々は、1つまたは複数のエンコーダまたはデコーダに含まれ得、それらのうちのどちらも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(CODEC)の一部として統合され得る。
[0034]ビデオコード化規格は、ITU−T H.261、ISO/IEC MPEG−1ビジュアル、ITU−T H.262またはISO/IEC MPEG−2ビジュアル、ITU−T H.263、ISO/IEC MPEG−4ビジュアル、および(ISO/IEC MPEG−4 AVCとしても知られている)ITU−T H.264に加え、そのSVC(Scalable Video Coding)およびMVC(Multi-View Video)拡張を含む。MVCの1つのジョイントドラフトは、2010年3月ITU−T Recommendation H.264の「Advanced video coding for generic audiovisual services,」に記載される。
[0035]追加として、新規に発展したビデオコード化規格、すなわちHEVC(High-Efficiency Video Coding)は、ITU−T VCEG(Video Coding Experts Group)のJCT−VC(Joint Collaboration Team on Video Coding)及びISO/IEC MPEG(Motion Picture Experts Group)によって発展された。HEVCの最近のドラフトは、http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zipから入手可能である。HEVC規格はまた、2014年10月に両方とも公開され、両方とも「High efficiency video coding,」と題されたRecommendation ITU−T H.265およびInternational Standard ISO/IEC 23008−2に一緒に提示される。
[0036]JCT−VCは、HEVC規格を発展した。HEVC規格化の取り組みは、HEVCテストモデル(HM)と称されるビデオコード化デバイスの発展型モデルに基づく。HMは、例えば、ITU−T H.264/AVCに準拠した既存のデバイスに対して、ビデオコード化デバイスのいくつかの追加の能力を仮定する。例えば、H.264が、9つのイントラ予測符号化モードを提供するのに対し、HEVC HMは、33もの数のイントラ予測符号化モードを提供することができる。
[0037]概して、HMのワーキングモデルは、ビデオフレームまたはピクチャが輝度サンプルおよび彩度サンプルの両方を含む最大コード化ユニット(LCU)またはツリーブロックのシーケンスに分割され得ることを説明する。ビットストリーム内のシンタックスデータは、ピクセル数の観点では最大コード化ユニットであるLCUについてのサイズを定義し得る。スライスは、いくつかの連続するツリーブロックをコード化順序で含む。ビデオフレームまたはピクチャは、1つまたは複数のスライスへと区分化され得る。各ツリーブロックは四分木にしたがってコード化ユニット(CU)へと分割され得る。一般に、四分木データ構造はCUごとに1つのノードを含み、ルートノードがツリーブロックに対応する。CUが4つのサブCUへと分割される場合、CUに対応するノードは4つのリーフノードを含み、その各々がサブCUのうちの1つに対応する。
[0038]四分木データ構造の各ノードは、対応するCUにシンタックスデータを供給し得る。例えば、四分木におけるノードは、このノードに対応するCUがサブCUへと分割されるかどうかを示す分割フラグを含み得る。CUに関するシンタックス要素は再帰的に定義され得、CUがサブCUへと分割されるかどうかに依存し得る。CUがこれ以上分割されない場合、それはリーフCUと呼ばれる。本開示では、リーフCUの4つのサブCUもまた、元のリーフCUの明示的分割が存在しない場合でも、リーフCUと称されることになる。例えば、16×16のサイズのCUがこれ以上分割されない場合、4つの8×8のサブCUもまた、16×16のCUが全く分割されなかったとはいえリーフCUと称されることになる。
[0039]CUは、CUがサイズ区別(size distinction)を有さないことを除いて、H.264規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは4つの子ノード(サブCUとも称される)へと分割され得、各子ノードは、次に親ノードになり、別の4つの子ノードへと分割され得る。四分木のリーフノードと称される、最後の非分割子ノードは、リーフCUとも称されるコード化ノードを備える。コード化されたビットストリームに関連付けられたシンタックスデータは、最大CU深度と称される、ツリーブロックが分割され得る最大回数を定義し得、またコード化ノードの最小サイズも定義し得る。したがって、ビットストリームはまた、最小コード化ユニット(SCU)も定義し得る。本開示は、HEVCのコンテキストにおけるCU、PU、またはTUのうちの任意のもの、または、他の規格のコンテキストにおける同様のデータ構造(例えば、H.264/AVCにおけるそれのマクロブロックおよびサブブロック)を指すために「ブロック」という用語を使用する。
[0040]CUは、コード化ノード、およびこのコード化ノードに関連付けられた予測ユニット(PU)ならびに変換ユニット(TU)を含む。CUのサイズはコード化ノードのサイズに対応し、形状が正方形でなければならない。CUのサイズは、8×8ピクセルから最大で、最大の64×64ピクセルまたはそれ以上のツリーブロックのサイズまでの範囲に及び得る。各CUは、1つまたは複数のPUおよび1つまたは複数のTUを含み得る。CUに関連付けられたシンタックスデータは、例えば、1つまたは複数のPUへのCUの区分化を説明し得る。区分化モードは、CUが、スキップまたはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、インター予測モード符号化されるかで異なり得る。PUは、形状が非正方形になるように区分化され得る。CUに関連付けられたシンタックスデータはまた、例えば、四分木にしたがった1つまたは複数のTUへのCUの区分化を説明し得る。HEVC規格に準拠して、TUは常に正方形である。すなわち、変換が適用されるとき、同じサイズの1次元変換は、水平および垂直の両方に適用される。
[0041]HEVC規格は、異なるCUに対して異なり得るTUにしたがった変換を許容する。TUは通常、区分化されたLCUのために定義された所与のCU中のPUのサイズに基づいてサイズ変更されるが、これは、常に当てはまるわけではないであろう。TUは通常、PUと同じサイズであるかそれより小さい。いくつかの例では、CUに対応する残差サンプルは、「残差四分木」(RQT)として知られる四分木構造を使用してより小さいユニットにさらに分割され得る。RQTのリーフノードは、変換ユニット(TU)と称され得る。TUに関連付けられた画素差分値は、量子化され得る変換係数を作り出すために変換され得る。
[0042]リーフCUは、1つ以上の予測ユニット(PU:prediction units)を含み得る。一般に、PUは、対応するCUの全体または一部に対応する空間エリアを表し、このPUについての参照サンプルを取り出すためのデータを含み得る。さらに、PUは、予測に関連するデータを含む。例えば、PUがイントラモード符号化されるとき、PUについてのデータは残差四分木(RQT)に含まれ得、それは、PUに対応するTUのためのイントラ予測モードを記述するデータを含み得る。別の例として、PUがインターモード符号化されるとき、PUは、そのPUについての1つまたは複数の動きベクトルを定義するデータを含み得る。PUについての動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルについての解像度(例えば、4分の1画素精度または8分の1画素精度)、動きベクトルが指し示す参照ピクチャ、および/または動きベクトルについての参照ピクチャリスト(例えば、リスト0、またはリスト1)を説明し得る。
[0043]1つまたは複数のPUを有するリーフCUもまた、1つまたは複数の変換ユニット(TU)を含み得る。変換ユニットは、上で述べたように、RQT(TU四分木構造とも呼ばれ得る)を使用して指定され得る。例えば、分割フラグは、リーフCUが4つの変換ユニットへと分割されるかを示し得る。その後、各変換ユニットは、さらなるサブTUへとさらに分割され得る。TUがこれ以上分割されないとき、それはリーフTUと呼ばれ得る。一般に、イントラコード化について、リーフCUに属するすべてのリーフTUが、同じイントラ予測モードを共有する。すなわち、リーフCUのすべてのTUのための予測値を算出するために、同じイントラ予測モードが一般に適用される。イントラコード化について、ビデオエンコーダは、TUに対応するCUの部分と元のブロックとの間の差分として、イントラ予測モードを使用して各リーフTUの残差値を算出し得る。TUは、必ずしもPUのサイズに制限されるわけではない。ゆえに、TUは、PUより大きい場合も小さい場合もある。イントラコード化の場合、PUは、同じCUについて対応するリーフTUとコロケートされ得る。いくつかの例では、リーフTUの最大サイズは、対応するリーフCUのサイズに対応し得る。
[0044]さらに、リーフCUのTUは、残差四分木(RQT)と呼ばれる、それぞれの四分木データ構造に関連付けられ得る。すなわち、リーフCUは、リーフCUがどのようにTUへと区分化されるかを示す四分木を含み得る。TU四分木のルートノードは一般に、リーフCUに対応し、CU四分木のルートノードは一般に、ツリーブロック(または、LCU)に対応する。分割されないRQTのTUは、リーフTUと呼ばれる。一般に、本開示は、別な方法で言及されない限り、リーフCUおよびリーフTUそれぞれを参照するために用語CUおよびTUを使用する。
[0045]ビデオシーケンスは通常、一連のビデオフレームまたはピクチャを含む。グループオブピクチャ(GOP)は一般に、一連の1つまたは複数のビデオピクチャを備える。GOPは、GOPのヘッダ、1つまたは複数のピクチャのヘッダ、またはその他の場所に、GOP内に含まれたピクチャの数を記述するシンタックスデータを含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は通常、ビデオデータを符号化するために、個別のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、CU内のコード化ノードに対応し得る。ビデオブロックは、一定または可変のサイズを有し、指定されたコード化規格にしたがってサイズが異なり得る。
[0046]例として、HMは、様々なPUサイズにおける予測をサポートする。特定のCUのサイズが2N×2Nであると想定すると、HMは、2N×2N又はN×NというPUサイズでのイントラ予測と、2N×2N、2N×N、N×2N、又はN×Nという対称的なPUサイズでのインター予測とをサポートする。HMはまた、2N×nU、2N×nD、nL×2N、及びnR×2NというPUサイズでのインター予測について非対称的な区分化をサポートする。非対称な区分化では、CUの一方の方向は区分化されないが、もう一方の方向は25%と75%へと区分化される。25%区分に対応するCUの一部は、「n」によって示され、その後に「上(U:Up)」、「下(D:Down)」、「左(L:Left)」又は「右(R:Right)」というインジケーションが続く。故に、例えば、「2N×nU」は、上には2N×0.5NPUが、下には2N×1.5N PUがくるように水平に区分化された2N×2N CUを指す。
[0047]本開示では、「N×N(NxN)」及び「N×N(N by N)」は、交換可能に使用され、垂直次元及び水平次元の観点からビデオブロックの画素次元、例えば、16×16(16x16)画素又は16×16(16 by 16)画素、を指し得る。一般に、16×16ブロックは、垂直方向に16画素(y=16)を、水平方向に16画素(x=16)を有するであろう。同様に、N×Nブロックは一般に、垂直方向にN画素を、水平方向にN画素を有し、ここで、Nは、自然数を表す。ブロック中の画素は、行と列に配置され得る。更に、ブロックは、水平方向において、必ずしも、垂直方向と同じ数の画素を有する必要はない。例えば、ブロックは、N×M画素を備えることができ、ここにおいて、Mは必ずしもNと等しくはない。
[0048]CUのPUを使用するイントラ予測またはインター予測コード化に続いて、ビデオ符号化器20は、CUのTUのために残差データを計算し得る。PUは、(ピクセルドメインとも呼ばれる)空間ドメイン内の予測ピクセルデータを生成するモードまたは方法を記述するシンタックス要素を備え、TUは、例えば、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または残差ビデオデータへの概念上同様の変換のような変換のアプリケーションに付随する変換ドメインにおける係数を備え得る。残差データは、PUに対応する予測値と非符号化ピクチャのピクセルとの間のピクセル差分に対応し得る。ビデオエンコーダ20は、CUについての残差データを含むTUを形成し、次いで、CUについての変換係数を生成するためにTUを変換し得る。
[0049]変換係数を作り出すための任意の変換に続いて、ビデオエンコーダ20は、変換係数の量子化を実行し得る。量子化は一般に、係数を表すために使用されるデータの量をできる限り低減するように変換係数が量子化されるプロセスを指し、さらなる圧縮を提供する。量子化プロセスは、係数のうちの一部または全部に関連付けられたビット深度を低減し得る。例えば、nビット値は量子化中にmビット値に丸められ得、ここで、nはmよりも大きい。
[0050]量子化に続いて、ビデオエンコーダは、変換係数をスキャンし得、量子化された変換係数を含む2次元マトリックスから一次元ベクトルを生成する。スキャンは、より高いエネルギー(それゆえ、より低い周波数)係数を、アレイの前方に置き、より低いエネルギー(それゆえ、より高い周波数)係数を、アレイの後方に置くように設計され得る。いくつかの例では、ビデオエンコーダ20は、エントロピー符号化されることができる直列ベクトルを生成するように、量子化変換係数をスキャンするための所定のスキャン順序を利用し得る。他の例では、ビデオエンコーダ20は、適応スキャンを実行し得る。1次元ベクトルを形成するように量子化された変換係数をスキャンした後、ビデオエンコーダ20は、例えば、コンテキスト適応可変長コード化(CAVLC:context adaptive variable length coding)、コンテキスト適応二進演算コード化(CABAC:context adaptive binary arithmetic coding)、シンタックスベースのコンテキスト適応二進演算コード化(SBAC:syntax-based context-adaptive binary arithmetic coding)、確率間隔区分化エントロピー(PIPE:Probability Interval Partitioning Entropy)コード化または別のエントロピー符号化方法にしたがって、1次元のベクトルをエントロピー符号化することができる。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30によって使用される符号化されたビデオデータに関連付けられたシンタックス要素をエントロピー符号化し得る。
[0051]CABACを実行するために、ビデオエンコーダ20は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、例えば、シンボルの隣接する値が非ゼロであるか否かに関し得る。CAVLCを実行するために、ビデオエンコーダ20は、送信されるべきシンボルのための可変長コードを選択し得る。VLCにおけるコードワードは、より長いコードがより可能性の低いシンボルに対応するのに対して比較的短いコードがより可能性の高いシンボルに対応するように構成され得る。このように、VLCの使用は、例えば送信されるべき各シンボルに対して等しい長さのコードワードを使用することを通じてビット節約を獲得し得る。確率の決定は、シンボルに割り当てられたコンテキストに基づき得る。いくつかの例では、ビデオエンコーダ20および/またはビデオデコーダ30は、モーション推定および補償におけるアフィンモデル(afine model)を使用し得る。
[0052]図2は、モーションベクトル予測のための本開示の技法を実行するように構成され得る、ビデオエンコーダ20の例を例示しているブロック図である。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラ及びインターコード化を実行し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオにおける空間冗長性を低減又は取り除くために空間予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオにおける時間冗長性を低減又は取り除くために時間予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースの圧縮モードのうちの任意のものを指し得る。単方向予測(Pモード)又は双方向予測(Bモード)のようなインターモードは、いくつかの時間ベースのコード化モードのうちの任意のものを指し得る。
[0053]図2において提示されているように、ビデオ符号化器20は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図2の例では、ビデオエンコーダ20は、モード選択ユニット40、参照ピクチャメモリ64、加算器50、変換処理ユニット52、量子化ユニット54、およびエントロピー符号化ユニット56を含む。次に、モード選択ユニット40は、動き補償ユニット44、動き推定ユニット42、イントラ予測ユニット46、および区分ユニット48を含む。ビデオブロック再構成について、ビデオエンコーダ20はまた、逆量子化ユニット58、逆変換ユニット60、および加算器62を含む。デブロッキングフィルタ(図2には図示せず)はまた、再構成されたビデオからブロック歪み(blockiness artifact)を除去するようにブロック境界をフィルタリングするために含まれ得る。所望される場合、デブロッキングフィルタは通常、加算器62の出力をフィルタするだろう。(ループ中またはループ後の)追加のフィルタはまた、デブロッキングフィルタに加えて使用され得る。このようなフィルタは、間欠さのために示されないが、望まれる場合、(インループフィルタ(in-loop filter)として)加算器50の出力をフィルタし得る。
[0054]符号化プロセス中、ビデオエンコーダ20は、コード化されるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定ユニット42及び動き補償ユニット44は、時間予測を提供するために、1つまたは複数の参照フレームにおける1つまたは複数のブロックに対して、受信されたビデオブロックのインター予測コード化を実行する。イントラ予測ユニット46は、空間的予測を提供するためにコード化されるべきブロックと同じフレームやスライス内の1つまたは複数の隣接ブロックに対して受信されたビデオブロックのイントラ予測コード化を実行し得る。ビデオエンコーダ20は、例えば、ビデオデータのブロックごとに適切なコード化モードを選択するために、複数のコード化パスを実行し得る。
[0055]更に、区分ユニット48は、前のコード化パスにおける前の区分化スキームの評価値(evaluation)に基づいて、ビデオデータのブロックをサブブロックに区分化し得る。例えば、区分ユニット48は、レート−歪分析(例えば、レート−歪最適化)に基づいて、最初にフレームまたはスライスをLCUに区分化し、LCUの各々をサブCUに区分化し得る。モード選択ユニット40は更に、サブCUへのLCUの区分化を示す四分木データ構造を作り出し得る。四分木のリーフノードCUは、1つまたは複数のPU及び1つまたは複数のTUを含み得る。
[0056]モード選択ユニット40は、例えば、誤差結果に基づいて、コード化モード、イントラまたはインター、のうちの1つを選択し、残差ブロックデータを生成するために加算器50に、および参照フレームとして使用される符号化されたブロックを再構築するために加算器62に、結果として生じたイントラ又はインターコード化されたブロックを提供する。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、区分情報、及び他のそのようなシンタックス情報、のようなシンタックス要素を、をエントロピー符号化ユニット56に提供する。
[0057]動き推定ユニット42および動き補償ユニット44は、高度に統合され得るが、考え方の目的で別個に例示されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックについての動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のビデオフレームまたはピクチャ内のビデオブロックのPUの、その現在のフレーム(または他のコード化されたユニット)内でコード化されているその現在のブロックに対して、参照フレーム(又は他のコード化されたユニット)内の予測ブロックに対する変位を示し得る。予測ブロックは、絶対値誤差和(SAD:sum of absolute difference)、二乗誤差和(SSD:sum of square difference)、又は他の誤差メトリックによって決定され得る画素差分の観点から、コード化されるべきブロックに密接に一致するとみられるブロックである。幾つかの例では、ビデオエンコーダ20は、参照ピクチャメモリ64に記憶された参照ピクチャのサブ整数画素位置に関する値を計算し得る。例えば、ビデオエンコーダ20は、参照ピクチャの4分の1画素位置、8分の1画素位置、又は他の分数画素位置の値を補間し得る。従って、動き推定ユニット42は、全画素位置及び分数画素位置に対して、動き探索を実行し、分数画素精度で動きベクトルを出力し得る。
[0058]動き推定ユニット42は、PUの位置と参照ピクチャの予測ブロックの位置とを比較することで、インターコード化されたスライス内のビデオブロックのPUについての動きベクトルを算出する。参照ピクチャは、各々が参照ピクチャメモリ64に記憶された1つ又は複数の参照ピクチャを識別する第1の参照ピクチャリスト(リスト0)又は第2の参照ピクチャリスト(リスト1)から選択され得る。動き推定ユニット42は、算出された動きベクトルを、エントロピー符号化ユニット56及び動き補償ユニット44に送る。
[0059]動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定された動きベクトルに基づいて、予測ブロックを取り込むこと又は生成することを伴い得る。また、いくつかの例では、動き推定ユニット42および動き補償ユニット44は機能的に統合され得る。現在のビデオブロックのPUについての動きベクトルを受けると、動き補償ユニット44は、動きベクトルが指す予測ブロックを参照ピクチャリストのうちの1つに位置付け得る。加算器50は、下記で論じられるように、コード化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット42は、輝度成分に関して動き推定を実行し、動き補償ユニット44は、彩度成分と輝度成分の両方に関して、輝度成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際に、ビデオデコーダ30によって使用されるビデオブロック及びビデオスライスに関連付けられるシンタックス要素を生成し得る。
[0060]ビデオエンコーダ20は、図1に関して上で議論され、且つ以下により詳細に説明されることになるような本開示の様々な技法のうちの任意のものを実行するように構成され得る。例えば、動き補償ユニット44は、本開示の技法に従って、AMVPまたはマージモードを使用するビデオデータのブロックのための動き情報をコード化するように構成され得る。
[0061]動き補償ユニット44がマージモードを実行するようにすると仮定して、動き補償ユニット44は、マージ候補のセットを含む候補リストを形成し得る。動き補償ユニット44は、特定の、所定の順序に基づいて候補リストに候補を追加し得る。動き補償ユニット44はまた、上で議論されるように、追加候補を加え、候補のプルーニングを実行し得る。最後に、モード選択ユニット40は、候補のうちのどれが現在のブロックの動き情報を符号化し、選択された候補を表すマージインデックスを符号化するために使用されるべきかを決定し得る。
[0062]イントラ予測ユニット46は、上で説明されたように、動き推定ユニット42及び動き補償ユニット44によって実行されるインター予測の代わりとして、現在のブロックをイントラ予測し得る。特に、イントラ予測ユニット46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。幾つかの例では、イントラ予測ユニット46は、例えば別個の符号化パス中に様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測ユニット46(又は、幾つかの例ではモード選択ユニット40)は、テストされたモードから使用すべき適切なイントラ予測モードを選択し得る。
[0063]例えば、イントラ予測ユニット46は、様々なテストされたイントラ予測モードに関するレート−歪分析を使用してレート−歪値を計算し、テストされたモードのうち、最良のレート−歪特性を有するイントラ予測モードを選択し得る。レート−歪分析は概して、符号化されたブロックを作り出すために使用されるビットレート(即ち、ビットの数)と加え、符号化されたブロックと、その符号化されたブロックを作り出すために符号化された元の、符号化されないブロックとの間の歪み(又は誤差)の量を決定する。イントラ予測ユニット46は、どのイントラ予測モードがブロックに関して最良のレート−歪値を提示しているかを決定するために、様々な符号化されたブロックに関するレート及び歪みから比率(ratio)を計算し得る。
[0064]ブロックのためのイントラ予測モードを選択した後で、イントラ予測処理ユニット46は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット56に提供し得るる。エントロピー符号化ユニット56は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、送信されたビットストリーム構成データを含み得、それは、複数のイントラ予測モードインデックス表および複数の変更されたイントラ予測モードインデックス表(コードワードマッピング表とも称される)、様々なブロックに関する符号化コンテキストの定義、最も可能性の高いイントラ予測モードのインジケーション、イントラ予測モードインデックス表、およびコンテキストの各々に使用すべき変更されたイントラ予測モードインデックス表、を含み得る。
[0065]ビデオエンコーダ20は、コード化されているオリジナルのビデオブロックから、モード選択ユニット40からの予測データを減算することによって残差ビデオブロックを形成する。加算器50は、この減算演算を実行する1つまたは複数の構成要素を表す。変換処理ユニット52は、離散コサイン変換(DCT)又は概念上同様の変換のような変換を、残差ブロックに適用し、残差変換係数値を備えるビデオブロックを作り出す。変換処理ユニット52は、DCTと概念上同様の他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換もまた使用され得る。
[0066]任意のケースにおいて、変換処理ユニット52は、その変換を残差ブロックに適用し、残差変換係数のブロックを作り出す。変換(transform)は、残差情報を、画素値ドメインから周波数ドメインのような変換ドメインへ変換(convert)し得る。変換処理ユニット52は、結果として生じる変換係数を量子化ユニット54に送り得る。量子化ユニット54は、ビットレートを更に低減するために、変換係数を量子化する。量子化プロセスは、係数のうちの一部または全部に関連付けられたビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することで修正され得る。いくつかの例では、次に、量子化ユニット54は、量子化された変換係数を含む行列のスキャンを実行し得る。代替的に、エントロピー符号化ユニット56がスキャンを実行し得る。
[0067]量子化に続いて、エントロピー符号化ユニット56は、量子化された変換係数をエントロピーコード化する。例えば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コード化(CAVLC)、コンテキスト適応型バイナリ算術コード化(CABAC)、シンタックスベースのコンテキスト適応型バイナリ算術コード化(SBAC)、確率間隔区分化エントロピー(PIPE)コード化、または別のエントロピーコード化技法を実行し得る。コンテキストベースのエントロピーコード化のケースでは、コンテキストは近隣ブロックに基づき得る。エントロピー符号化ユニット56によるエントロピーコード化に続いて、符号化されたビットストリームは、別のデバイス(例えば、ビデオデコーダ30)に送信されるか、又は後の送信又は検索のためにアーカイブされ得る。
[0068]逆量子化ユニット58及び逆変換ユニット60は、例えば、参照ブロックとしての後の使用のために、画素ドメインにおける残差ブロックを再構築するように、逆量子化及び逆変換をそれぞれ適用する。動き補償ユニット44は、参照ピクチャメモリ64のピクチャのうちの1つの予測ブロックに残差ブロックを加えることによって、参照ブロックを計算し得る。動き補償ユニット44はまた、再構築された残差ブロックに1つまたは複数の補間フィルタを適用して、動き推定で用いるサブ整数画素値を算出し得る。加算器62は、参照ピクチャメモリ64への記憶のための再構築されたビデオブロックを作り出すために、動き補償ユニット44によって作り出された動き補償された予想ブロックに再構築された残差ブロックを加える。再構築されたビデオブロックは、後続のビデオフレームにおいてブロックをインターコード化するための参照ブロックとして動き推定ユニット42及び動き補償ユニット44によって使用され得る。
[0069]図3は、本開示の動きベクトル予測技法を実行するように構成され得る、例となるビデオエンコーダ30を例示しているブロック図である。図3の例では、ビデオデコーダ30は、エントロピ復号ユニット70、動き補償ユニット72、イントラ予測ユニット74、逆量子化ユニット76、逆変換ユニット78、参照ピクチャメモリ82、および加算器80を含む。ビデオデコーダ30は、いくつかの例では、ビデオエンコーダ20(図2)に関して説明された符号化パスと概して逆の復号パスを実行することができる。動き補償ユニット72は、エントロピー復号ユニット70から受信した動きベクトルに基づいて予測データを生成し得る一方、イントラ予測ユニット74は、エントロピー復号ユニット70から受信したイントラ予測モードインジケータに基づいて予測データを生成し得る。
[0070]復号プロセス中、ビデオデコーダ30は、ビデオエンコーダ20から、符号化されたビデオスライスのビデオブロックを表す符号化されたビデオビットストリームと関連するシンタックス要素とを受信する。ビデオデコーダ30のエントロピー復号ユニット70は、量子化された係数、動きベクトル又はイントラ予測モードインジケータ、及び他のシンタックス要素を生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット70は、動き補償ユニット72に、動きベクトル及び他のシンタックス要素を転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
[0071]ビデオスライスがイントラコード化(I)スライスとしてコード化されるとき、イントラ予測ユニット74は、現在のフレームまたはピクチャの前に復号されたブロックから信号伝達されたイントラ予測モード及びデータに基づいて、現在のビデオスライスのビデオブロックに関する予測データを生成し得る。ビデオフレームがインターコード化された(即ち、B、P、又はGPB)スライスとしてコード化されるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトル及び他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックに関する予測ブロックを作り出す。予測ブロックは、参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つから作り出され得る。ビデオ復号器30は、参照ピクチャメモリ82内に記憶された参照ピクチャに基づいてデフォルト構築技法を使用して参照フレームリスト、リスト0およびリスト1を構築し得る。
[0072]動き補償ユニット72は、動きベクトル及び他のシンタックス要素を解析することによって現在のビデオスライスのビデオブロックに関する予測情報を決定し、復号されている現在のビデオブロックに関する予測ブロックを作り出すためにその予測情報を使用する。例えば、動き補償ユニット72は、ビデオスライスのビデオブロックをコード化するために使用される予測モード(例えば、イントラ又はインター予測)を決定するための受けたシンタックス要素、インター予測スライスタイプ(例えば、Bスライス、Pスライス)、スライスのための参照ピクチャリストのうちの1つ又は複数についての構築情報、スライスの各インター符号化されたビデオブロックについての動きベクトル、スライスの各インターコード化されたビデオブロックについてのインター予測ステータス、及び現在のビデオスライス内のビデオブロックを復号するための他の情報のうちのいくつかを使用する。
[0073]動き補償ユニット72はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット72は、参照ブロックのサブ整数画素に関する補間された値を計算するために、ビデオブロックの符号化中にビデオエンコーダ20によって使用されるような補間フィルタを使用し得る。このケースでは、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用される補間フィルタを決定し、予測ブロックを作り出すために補間フィルタを使用し得る。
[0074]ビデオデコーダ30は、図1に関して上で議論され、且つ以下により詳細に議論されることになるような本開示の様々な技法のうちの任意のものを実行するように構成され得る。例えば、動き補償ユニット72は、本開示の技法に従って、AMVPまたはマージモードを使用して動きベクトル予測を実行すると決定するように構成され得る。エントロピー復号ユニット70は、動き情報が現在のブロックのためにどのようにコード化されるのかを表わす1つまたは複数のシンタックス要素を復号し得る。
[0075]マージモードが実行されることを示すシンタックス要素を仮定して、動き補償ユニット72は、マージ候補のセットを含む候補リストを形成し得る。動き補償ユニット72は、特定の、所定の順序に基づいて候補リストに候補を追加し得る。動き補償ユニット72はまた、上で議論されるように、追加候補を加え、候補のプルーニングを実行し得る。最後に、動き補償ユニット72は、候補のうちのどれが現在のブロックのための動き情報をコード化するするために使用されるかを表わすマージインデックスを復号し得る。
[0076]逆量子化ユニット76は、ビットストリームにおいて提供され、かつエントロピー復号ユニット70によってエントロピー復号された量子化された変換係数を、逆の量子化(inverse quantizes)をする、即ち逆量子化(de-quantize)する。逆量子化プロセスは、量子化の程度と、また同様に適用されるべき逆量子化の程度を決定するためにビデオスライスにおけるビデオブロックごとにビデオデコーダ30によって計算された量子化パラメータQPの使用を含み得る。
[0077]逆変換ユニット78は、画素ドメインにおいて残差ブロックを作り出すために、逆変換、例えば逆DCT、逆整数変換、又は概念上同様の逆変換プロセス、を変換係数に適用する。
[0078]動き補償ユニット72が動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックに関する予測ブロックを生成した後で、ビデオデコーダ30は、逆変換ユニット78からの残差ブロックを動き補償ユニット72によって生成される対応する予測ブロックと合計することによって復号されたビデオブロックを形成する。加算器80は、この加算演算を実行する1つまたは複数のコンポーネントを表わす。所望される場合、デブロッキングフィルタもまた、ブロッキネスアーティファクトを除去するために復号されたブロックをフィルタするように適用され得る。(コード化ループ内またはコード化ループ後のどちらかの)他のループフィルタもまた、画素遷移を円滑にするか、または別の方法でビデオ品質を改善するために使用され得る。所与のフレームまたはピクチャ内の復号されたビデオブロックはその後、後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ82内に記憶される。参照ピクチャメモリ82はまた、図1のディスプレイデバイス32のようなディスプレイデバイス上における後の表示のために復号されたビデオを記憶する。
[0079]HEVCでは、スライス中の最大コード化ユニットは、コード化ツリーユニット(CTU)と呼ばれる。CTUは、四分木を含む。四分木のノードは、コード化ユニット(CU)と呼ばれる。さらに、CTUは、関連付けられたシンタックス要素と同様に、1つのルーマコード化ツリーブロック(CTB)および2つのクロマCTBを含む。ルーマCTBのサイズは、HEVCメインプロファイルにしたがって16×16から64×64までの範囲内にあることができる。しかしながら、技術的に、8×8CTBサイズが同様にサポートされることが出来ることが理解されることになる。CTUは、以下で説明される図4Aおよび4Bにおいて示される4分木構造のような、四分木方法におけるコード化ユニット(CU)に再帰的に分割され得る。
[0080]図4Aおよび4Bは、HEVCにおけるCTUツーCU(CTU−to−CU)区分およびHEVC CTUツーCU区分の対応する四分木表現の例を例示する概念図である。すなわち、図4Bの各ブランチおよびサブブランチの区分化深さは、図4A中に示されるCUを生み出す4分木区分化に対応する。図4A中に示されるサブブロックのうちの1つは、影が付されたサブブロックが8×8CUの例であることを示すために影が付される。影が付されたサブブロックについて、更なる分割が許容されず、従って、分割に関連したシグナリングが全く要求され得ない。シグナリングの無い、図4B中に示されるリーフノード(例えば、図4Aにおける区分化に起因するCU)が8×8に対応するケースでは、シグナリングが全く要求されない。4分木表現の態様は、W.J.Han等による「Improved Video Compression Efficiency Through Flexible Unit Representation and Corresponding Extension of Coding Tools」,IEEE Transaction on Circuits and Systems for Video Technology,vol. 20,no. 12,pp. 1709-1720,2010年12月で説明される。図4AのCTUツーCU区分化のシグナリングは、図4B中に示される4分木構造に従い、ここで、示される4分木中の各それぞれのノードは、それぞれのノードがさらに分割されるか否かを示すために1ビットを消費する。例えば、ビデオエンコーダ20は、上で説明されるシグナリング特徴に従って、ビデオデコーダ30に、CTUツーCU区分スキームをシグナルし得る。
[0081]CUサイズが8×8と同じくらい小さくできるが、CUサイズは、CTBのサイズと同じになるということもあり得る。各コード化ユニット(CU)は、1つのモードに従ってコード化され得る。例えば、ビデオエンコーダ20が符号化し、ビデオデコーダ30が復号し、各CUは、イントラモードまたはインターモードのいずれかに従う。CUがインターコード化(つまり、ビデオエンコーダ20がインターコード化される(つまり、ビデオエンコーダ20がCUを符号化する際にインターモードを適用する)場合、CUは、2つ(2)または4つ(4)の予測ユニット(PU)にさらに区分化され得る、または更なる区分化が適用されないとき、ちょうど1つ(1)のPUになり得る。2つのPUが1つのCU中に存在する場合、PUは、各々がCUのサイズ(エリア)の半分をカバーする長方形になることが出来る、またはPUは、CUの4分の1(1/4)および4分の3サイズでそれぞれのサイズ(エリア)を持つ2つの長方形になり得る。
[0082]図5は、インター予測モードのための区分モードを例示する概念図である。図5中に示されるように、インター予測モードでコード化CUのための8つ(8)の区分モードがある。図5中に示される8つ(8)の区分モードは、PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2NxnU、PART_2NXnD、PART_nLx2N、およびPART_nRx2Nがある。
[0083]特定のCUがインターコード化されるケースでは、動き情報の1つのセットは、各PUのために存在する。例えば、ビデオエンコーダ20がCUをインターコード化する場合、その後ビデオエンコーダ20は、CUのための、ビデオデコーダ30に動き情報の1つのセットをシグナルし得る。加えて、ビデオエンコーダ20および/またはビデオデコーダ30は、動き情報のそれぞれのセットを導出するために、一意のインター予測モードで各PUをコード化(例えば、それぞれ符号化または復号)し得る。CUがイントラコード化されるケースでは、2N×2NおよびN×Nのみが許容されるPU形状である。これらのケースでは、各PU内で、単一イントラ予測モードがコード化される一方、ビデオエンコーダ20は、CUレベルでクロマ予測モードをシグナルする。N×NイントラPU形状は、現在のCUサイズが対応するシーケンスパラメータセット(SPS)中に定義される最小のCUサイズと等しいときにのみ許容される。
[0084]様々な区分化スキームがHEVCおよび他の既存の規格を超える発展の途上で提案され研究された。1つの例は、4分木−2分木(QTBT)構造であり、これは、以下でさらに詳細に説明される。VCEG proposal COM16−C966(J.An、Y.−W.Chen、K.Zhan、H.Huang、Y.W.Huang、およびS.Leiによる「Block partitioning structure for next generation video coding」)では、4分木−2分木(QTBT)は、HEVCを超えたさらなるビデオコード化規格のために提案された。提案されたQTBT構造を示すシミュレーションは、使用されるHEVCにおける4分木構造より効率的である。
[0085]lCOM16−C966の提案されたQTBT構造では、最初に四分木構造に従ってCTBが区分化され、ここで、1つのノードの四分木分割は、このノードが最低限許容される4分木リーフノードサイズ(MinQTSize)に達するまで反復されることができる。QTBT構造に従って、4分木リーフノードサイズが最大限許容される2分木ツリールートノードサイズ(MaxBTSize)より大きくない場合、2分木構造に従ってさらに区分化されることができる。1つのノードの二分木分割は、このノードが最低限許容される2分木リーフノードサイズ(MinQTSize)、または最大限許容される2分木深度(MaXBTDepth)に達するまで反復されることができる。2分木リーフノードはすなわち、予測(例えば、イントラピクチャまたはインターピクチャ予測)のために使用され、任意のさらなる区分化なしに変換することができるCUである。
[0086]2分木分割に従って、2つの分割タイプ、すなわち、対称水平分割および対称垂直分割がある。QTBT区分化構造の一例では、CTUサイズは、128x128(すなわち、128x128のルーマサンプルと2つの対応する64x64のクロマサンプル)として設定され、MinQTSizeは、16x16として設定され、MaxBTSizeは、64x64として設定され、(幅と高さの両方についての)MinBTSizeは、4として設定され、MaxBTDepthは、4として設定される。4分木リーフノードを生成するために、最初に4分木区分化がCTUに適用される。4分木リーフノードは、16x16(つまり、MinQTSize)から128x128(すなわち、CTUサイズ)に及ぶサイズを有し得る。リーフ4分木ノードが128×128である場合、その後、4分木ノードリーフノードがMaxBTSize(つまり、64×64)を超えるので、リーフ4分木ノードは、2分木構造に従って更に分割をされないことになる。
[0087]さもなければ、(例えば、4分木リーフノードサイズが64×64のMaxBTSizeを超えない場合)リーフ4分木ノードは、2分木構造に従ってさらに区分化され得る。したがって、四分木リーフノードはまた、2分木のためのルートノードであり、0の二分木深度を有する。反復バイナリ分割経由で2分木深度がMaxBTDepth(つまり、4)に到達するとき、任意の種類のさらなる分割がないことを暗示する。MinBTSize(つまり、4)に等しい幅を有する2分木ノードは、さらなる垂直分割がないことを暗示する。同様に、2分木ノードがMinBTSize(4)に等しい高さを有する場合、さらなる水平分割がないことを暗示する。2分木のリーフノードは、すなわち、任意のさらなる区分化なしに、予測および変換によってをさらに処理されるCUである。
[0088]図6Aおよび6Bは、QTBT区分化構造の態様を例示する概念図である。図6Aは、QTBT構造に従って例となるブロック区分化を例示する。このように、図6Aは、QTBT構造の例示として説明され得る。図6Bは、図6Aにおいて示されるQTBTベースのブロック区分化に対応するツリー構造を例示する。図6Bでは、実線は、4分木ベースの分割を示し、点線は、2分木ベースの分割を示す。図6Bの2分木部分の各分割ノード(つまり、非リーフノード)では、ビデオエンコーダ20は、バイナリ分割タイプ(つまり、水平または垂直)が使用されることを示すために1つのフラグをシグナルし得る。図6Bの例では、ゼロ(0)のフラグ値は、水平分割を示し、1のフラグ値は、垂直分割を示す。QTBT構造の4分木ベースの部分について、分割タイプのインジケーションをシグナルする必要はない、何故なら、4分木ベースの部分の分割ノードは常に、等しいサイズで4サブブロックに水平および垂直に分割されるからである。
[0089]HEVCに続いて提案および研究された別のツリー構造は、「マルチタイプツリー構造」と呼ばれる。米国仮特許出願番号62/279,233および62/311,248では、マルチタイプツリー構造が提案および説明された。米国仮特許出願番号62/279,233および62/311,248において説明される技法と共に、ツリーノードは、2分木、対称中心側3分木、および/または4分木構造のような、多数のツリータイプを使用してさらに分割され得る。2レベルのマルチタイプツリー構造に従って、領域ツリー(RT)は、CTUの4分木区分で最初に構築される。マルチタイプツリー構造のRT部分の後に、マルチタイプツリー構造の予測ツリー(PT)部分の構造が続く。マルチタイプツリー構造のPT部分では、2分木および対称中心側3分木のみが拡張されることが出来る。
[0090]すなわち、マルチタイプツリー構造のPT部分では、ビデオエンコーダ20および/またはビデオデコーダ30は、2分木構造または中心側3分木構造のうちの1つに従って分割ノードを分割し得る。マルチタイプツリーベースの分割のPT部分では、2分木ベースの区分から生じた分割ノードは、中心側3分木構造に従ってさらに分割されることができる。さらに、マルチタイプツリーベースの分割のPT部分では、中心側3分木ベースの区分から生じた分割ノードは、2分木構造に従ってさらに分割されることができる。
[0091]図7Aおよび7Bは、マルチタイプツリーブロック区分化構造の1つの例となる使用ケースを例示する概念図である。図7Aは、マルチタイプツリー構造に従って区分化される例となるブロックを例示する。このように、図7Aは、マルチタイプツリー区分化構造の例示として説明され得る。図7Bは、図7Aにおいて示されるマルチツリータイプベースのブロック区分化に対応するツリー構造を例示する。
[0092]図7Aおよび7Bの各々では、実線は、マルチツリータイプ区分化構造のRTベースの態様に従う区分化を例示するために使用される一方、点線は、マルチツリータイプ区分化構造のPTベースの態様に従う区分化を例示するために使用される。図7Aおよび7Bに示されるように、マルチタイプツリー区分化構造に従って、ビデオエンコーダ20およびビデオデコーダ30は、その特定のブランチのためのRTベースの区分化を完結させた後にのみ特定のブランチのためのPTベースの区分化を開始する。さらに、図7Aおよび7Bに例示されるように、ビデオエンコーダ20およびビデオデコーダ30は、マルチタイプツリーベースの区分化スキームのPTベースの部分において、複数回、および任意の順序で、2分木ベースの区分化および中心側3分木ベースの区分化の両方をインプリメントし得る。
[0093]図7Aに示されるように、ブロック90は、4つの正方形サブブロックに、4分木構造に従って最初に区分化される。ブロック90の4分木分割は、ルートノードの4ブランチの実線分割を経由して図7Bにおいて例示される。左から右に、(図7B中の)区分化ツリー92のルートノードからの4ブランチ分割の各々は、ブロック90の4分木(つまり第1のRT部分)分割から生じる左上、右上、左下、および右下にそれぞれ対応する。左上サブブロックは、4分木区分化構造に従って再び分割され、結果として生じるサブブロックの各々は、左ノードを表わす(つまり、更なる分割がない)。ブロック90の左上サブブロックのすべての分割が4分木区分化構造に従って実行されるので、区分化ツリー92の最も左のブランチは、マルチタイプツリー区分化スキームのRT部分内で完結する。ツリー92の最も左のブランチのRTの限定された性質は、ツリー92の最も左のブランチを含むすべての分割を例示するために使用される実線を経由して図7B中に示される。
[0094]ブロック92の右上ブロックは、3つの長方形サブブロックを形成するために、中心側3分木区分化構造に従って分割される。より詳細に、ブロック92の右上サブブロックのケースでは、ビデオエンコーダ20およびビデオデコーダ30は、中心側3分木区分化構造に従って垂直分割をインプリメントする。すなわち、ビデオエンコーダ20およびビデオデコーダ30は、結果として生じるサブブロックを形成するために、右上サブブロックを垂直に分割する。右上サブブロックの垂直の中心側3分木ベースの分割は、ルートノード分割の左から2番目のブランチの3つのブランチ分割として区分化ツリー92中に示される。ブロック90の右上サブブロックが中心側3分木区分化構造に従って分割されるので、右上サブブロックの分割は、区分化ツリー92のマルチタイプツリーベースのスキームのPT部分の一部である。このように、区分化ツリー92の左から2番目のブランチにおける中心側3分木ベースの分割は、図7B中に点線を使用して例示される。
[0095]次に、ビデオエンコーダ20およびビデオデコーダ30は、2つの長方形サブブロックを形成するために、右上サブブロックの最も左の長方形サブブロックの2分木ベースの分割をインプリメントする。より詳細に、ビデオエンコーダ20およびビデオデコーダ30は、ブロック90の右上サブブロックの最も左のサブブロックに関して、2分木ベースの分割の水平バージョンをインプリメントする。2分木ベースの分割は、左から2番目のブランチの分割から生じた最も左のノードの点線の2方向分割を使用して区分化ツリー92中に示される。
[0096]ブロック90の左下サブブロックは、中心側3分木区分化構造に従って水平に分割され、この分割の結果として生じる中央のサブブロックは、中心側3分木区分化構造に従ってさらに垂直に分割される。ブロック90のマルチタイプツリー区分化のPT部分のこれらの態様は、区分化ツリー92のルートノードから生じる左から3番目のブランチのダウンストリーム区分化において点線を使用して示される。
[0097]ブロック90の右下サブブロックは、2分木区分化構造に従って水平に分割され、この分割の結果として生じる左サブブロックは、中心側3分木区分化構造に従ってさらに垂直に分割される。ブロック90のマルチタイプツリー区分化のPT部分のこれらの態様は、区分化ツリー92のルートノードから生じる最も右のブランチのダウンストリーム区分化において点線を使用して示される。
[0098]HEVCにおけるCU構造と比べて、且つQTBT構造と比べて、図7Aおよび7B中に例示されるマルチタイプツリー構造は、より良いコード化効率を提供する、何故なら、ブロック区分がよりフレキシブルだからである。加えて、中心側3分木の導入は、ビデオ信号のよりフレキシブルなローカリゼーションを提供する。マルチタイプツリー構造に従って区分化されるブロックのPT区分化部分に関して正確性を維持するために、ビデオエンコーダ20は、PT部分中の各分割ノードのための、特定の分割ノードに関してインプリメントされた特定のタイプのインジケーションをシグナルし得る。
[0099]PT区分化部分に関して正確性をサポートするために、ビデオエンコーダ20は、ツリー構造(2分木または中心側3分木)および区分化の方向性(水平または垂直)を示す情報をシグナルし得る。例えば、ビデオエンコーダ20は、ブロックのPT区分化部分の各分割ノードの区分化のためのそれについてのツリー構造および方向を示すためにコードワード割り当てを使用し得る。図7Bは、ビデオエンコーダ20がマルチタイプツリー区分化構造のPT部分内で実行できる区分化の各タイプのためにシグナルし得るコードワードの10進値を含む。図7B中に示されるように、7の10進値は、垂直中心側3分木ベースの区分化を示し、5の10進値は、水平中心側3分木ベースの区分化を示し、6の10進値は、垂直2分木ベースの区分化を示し、4の10進値は、水平2分木ベースの区分化を示す。ゼロ(0)の10進値は、ブロックのPT区分化部分におけるリーフノードを識別する。すなわち、ビデオエンコーダ20は、対応するサブブロックがさらに区分化されないことを示すためにゼロの10進値を表わすコードワードをシグナルし得る。
[0100]図8は、ビデオエンコーダ20が、マルチタイプツリー区分化ブロック区分のPT部分において実行できる様々な区分化スキームのためにシグナルし得る、2進数フォーマットで表された、例となるコードワードを例示する概念図である。図8はまた、様々なコードワードのために対応する区分化スキームを例示する。図8中で例示された2進値は、図7B中に例示された10進値に対応する。このように、2進コードワード「111」は、垂直中心側3分木ベースの区分化を示し、2進コードワード「101」は、水平中心側3分木ベースの区分化を示し、2進コードワード「110」は、垂直2分木ベースの区分化を示し、2進コードワード「100」は、水平2分木ベースの区分化を示す。2進コードワード「000」は、ブロックのPT区分化部分におけるリーフノードを識別する。第1の(最も左)のビンは、(CUが分割されるか否かを示す)PT分割フラグの値を表わし、第2のビンは、PT分割方向(例えば、水平または垂直)を表わし、第3のビンは、PT分割モード(例えば、2分木または中心側3分木)を表わす。
[0101]図7Bおよび8は、既存のマルチタイプツリーベースの区分化技法にしたがって、PT部分区分化情報のシグナリングのための例となるコードワード割り当てを例示する。示されるように、マルチタイプツリー区分化構造に従って、ビデオエンコーダ20は、対応するPTノードのための区分化情報を示す各PTノードのための3ビットまたはビンをシグナルし得る。反対に、ビデオデコーダ30は、各PTノードでのブロック区分を決定するために3ビットまたはビンを復号し得る。再び、図8に示される様々なコードワードによって表される様々な区分化スキームは、非分割、水平2分木、垂直2分木、水平3分木、および垂直3分木である。様々な使用ケースシナリオでは、ビデオエンコーダ20およびビデオデコーダ30は、マルチタイプツリー構造のPT部分が最大区分化深度を通じて早期に開始するおよび/または持続する場合のような、単一ブロックに関してコードワードの有意な数を処理し得る。1つのこのような例は、図7Aおよび7B中に例示される。マルチタイプツリー構造は、2レベル(RTおよびPT)の性質を有しルートブロックのためのツリー深度は、リーフノードのためのブロックサイズの範囲を示す。
[0102]したがって、コード化精度および区分化フレキシビリティの観点から有用であるけれども、マルチタイプツリー区分化構造は、多くのシナリオにおいてリソースヘビーおよび帯域ヘビーコード化スキームであることができる。中心側3分木構造を経由してトリプル区分の追加と共に、上で議論したマルチタイプツリー構造の特徴は、マルチタイプツリー構造に従うPT部分区分化情報をシグナルするために要求されるビット/ビンの数を増加させる。1つの例として、マルチタイプツリー構造に従ってコード化された普通のビデオコンテンツについて、ビットストリームビットの総量の9パーセント乃至14パーセント(9%−14%)は、図8に示されるコードワード割り当てに従うコードワードをシグナリングするために消費される。上で議論される技法によって提示される別の潜在的な問題は、ツリータイプシグナリングのコンテンツモデリングが大抵、現在のブロックのためのさらなる分割の可能性を決定するために近隣ブロックと現在のブロックとの間の相対深度を使用することである。
[0103]本開示は、上で説明された問題およびHEVCの後にくる提案および既存のビデオコード化技法によって提示される他の問題に(例えば、緩和することおよびいくつかのケースでは潜在的に除去することによって)取り組む技法に向けられる。本開示の技法は概して、マルチタイプツリー区分化構造のリソースおよび帯域幅消費を軽減しながら、マルチタイプツリー区分化構造によって提供される利益を利用し続けることに向けられる。本開示は、マルチタイプツリー構造を使用する効率を改善するための様々な技法を提供し、本開示の技法は、個別にまたは様々な組み合わせおよび/またはシーケンスにおいてインプリメントされ得る。このように、本開示のある態様は、ツリータイプのより効率の良いコード化に向けられるものとして説明される。
[0104]本開示のいくつかの例に従って、ある条件の下、PT区分化情報をシグナリングするための3ビン要求は、ビデオエンコーダ20がPT部分区分化のためにビデオデコーダ30にシグナルする情報に関して除外され得る。いくつかの例では、ビデオエンコーダ20およびビデオデコーダ30は、既にコード化された近隣ブロックからの利用可能な情報に基づいてブロックのためのPT区分化情報を決定する。それによって、シグナルされるコードワードの数が低減される。他の例では、ビデオエンコーダ20は、本開示の態様に従って、図8に示されるスキームから異なるコードワードスキームをシグナルし得る。本開示の技法に従ってインプリメントされることが出来るコード化制限の様々な例は、以下にさらに詳細に説明される。本開示のいくつかの例となる技法は、より良い(例えば、改良された)コンテキストモデリングのためのより信頼性のあるコンテキストを使用することに向けられる。
[0105]本開示のいくつかの技法は、現在のブロックの近隣ブロックのサイズと比較してブロック(「現在の」ブロック)のサイズが、現在のブロックのPTツリータイプコード化のためのコンテキストを選択するために使用されることができるという認識に基づく。例えば、ビデオエンコーダ20および/またはビデオデコーダ30は、現在のブロックがさらに分割されるべきであるかどうかを決定するために本明細書で説明される技法の1つまたは複数をインプリメントし、現在のブロックのサイズと、その近隣ブロックの1つまたは複数のサイズとの間の比での決定を基礎とし得る。現在のブロックがさらに分割されるかどうかを決定するために現在のブロックのサイズと近隣ブロックのサイズとの間の比を使用することによって、ビデオエンコーダ20およびビデオデコーダ30は、マルチタイプツリーベースのコード化のためにシグナリングするオーバーヘッドを低減し得る。何故なら、PT分割フラグ(図8に例示されるコードワードの最も左のビン)が現在のブロックのためにシグナルされる必要がないからである。代わりに、ビデオエンコーダ20およびビデオデコーダ30は、近隣ブロックと比較された相対サイズに基づいて現在のブロックを区分化するか否かを決定するためにお互いに同様の動作を実行し、それによって、PT分割フラグの明示のシグナリングのための必要性を除去する。
[0106]1つの例では、現在のブロックの幅が上の近隣ブロックの幅より大きいとの決定に基づいて、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックがさらに分割されそうであると決定し得る。すなわち、上の近隣ブロックが現在のブロックより小さい幅を有する場合、その後、ビデオエンコーダ20およびビデオデコーダ30は、上の近隣ブロックが分割の結果であり、現在のブロックがまた、分割されるべきであると推論し得る。このように、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックのための区分化情報に関するシグナリングオーバーヘッドを低減するために、以前にコード化された上の近隣ブロックからの情報を利用する一方、現在のブロックが分割されるべきかどうかについての決定も行う。
[0107]同様に、現在のブロックの高さが左の近隣ブロックの高さより高いとの決定に基づいて、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックがさらに分割されそうであると決定し得る。すなわち、左の近隣ブロックが現在のブロックより低い高さを有する場合、その後、ビデオエンコーダ20およびビデオデコーダ30は、左の近隣ブロックが分割の結果であり、現在のブロックがまた、分割されるべきであると推論し得る。このように、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックのための区分化情報に関するシグナリングオーバーヘッドを低減するために、以前にコード化された左の近隣ブロックからの情報を利用する一方、現在のブロックが分割されるべきかどうかについての決定も行う。
[0108]さらに、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックがさらに分割されるべきかどうかを推論するために、現在のブロックサイズとの比較における左上、右上、または左下の近隣ブロックのうちの1つまたは複数の相対サイズを使用し得る。例えば、ビデオエンコーダ20およびビデオデコーダ30が現在のブロックのエリアが左上、右上、または左下の近隣ブロックのうちの1つのエリアより大きいと決定する場合、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックがさらに分割されそうであると決定し得る。本開示の様々な部分で、ブロックエリアは、ブロック「サイズ」を指し、相対エリア情報は、「相対サイズ」または「サイズ比」と呼ばれ得る。
[0109]相対幅、相対高さ、および相対エリアの決定は、本明細書で「イベント」と呼ばれる。いくつかの例では、ビデオエンコーダ20およびビデオデコーダ30は、PT分割フラグのためのコンテキスト、例えば、現在のブロックがさらに分割されるべきかどうかの推論を決定するために、上でリストされたイベントのうちの1つまたは複数の発生のアグリゲートされた数を使用し得る。いくつかの例では、ビデオエンコーダ20およびビデオデコーダ30は、PT分割フラグのためのコンテキストのセットを形成するために個々のイベントを使用し得る。
[0110]いくつかの例では、ビデオエンコーダ20およびビデオデコーダ30は、PT分割指示のためのコンテキストを作り出すために上の近隣ブロックの幅および左の近隣ブロックの高さを利用し得る。すなわち、これらの例に従って、ビデオエンコーダ20およびビデオデコーダ30は、上の近隣ブロックの幅および左の近隣ブロックの高さに基づいて、図8において例示されるコードワードの中央ビンの値を推論し得る。上の近隣ブロックの幅が現在のブロックの幅より小さく、左の近隣ブロックの高さが現在のブロックの高さと等しいまたはより高い場合、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックが垂直に分割されそうであると決定し得る。
[0111]同様に、左の近隣ブロックの高さが現在のブロックの低く、上の近隣ブロックの幅が現在のブロックの幅と等しいまたはより大きい場合、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックが水平に分割されそうであると決定し得る。本開示のこれらの態様に従って、ビデオエンコーダ20およびビデオデコーダ30は、以前にコード化された近隣ブロックからアクセス可能な情報に基づいてPT分割指示を推論するために本開示の技法をインプリメントし得る。このように、ビデオエンコーダ20およびビデオデコーダ30は、PT分割指示が図8に例示されるコードワードスキームの中央ビンの形成においてシグナルされる必要があるとのインスタンスの数を低減し得る。
[0112]本開示のいくつかの例に従って、ビデオエンコーダ20およびビデオデコーダ30は、PT分割モードのためのコンテキストを推論するために上の近隣ブロックの幅および左の近隣ブロックの高さを利用し得る。すなわち、ビデオエンコーダ20およびビデオデコーダ30は、仮に現在のブロックがPT部分において区分化されるべきである場合、現在のブロックを区分化するための2分木構造と中心側3分木構造との間で選択するために、上の近隣ブロックの幅および左の近隣ブロックの高さを利用し得る。これらの例では、上の近隣ブロックの幅が現在のブロックのブロックの幅未満であり、現在のブロックが垂直に分割される場合、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックが中心側3分木区分化構造に従って分割されるべきと決定し得る。
[0113]これらの例では、左の近隣ブロックの高さが現在のブロックのブロックの高さ未満であり、現在のブロックが水平に分割される場合、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックが中心側3分木区分化構造に従って分割される可能性が有ると決定し得る。この方法では、ビデオエンコーダ20およびビデオデコーダ30は、前のコード化近隣ブロックからの情報に基づいて、図8に例示されるコードワードの最も右の値を推論するように本開示の技法をインプリメントし得る。
[0114]本開示のいくつかの技法に従って、ビデオエンコーダ20およびビデオデコーダ30が、現在のブロックの近隣ブロックが利用可能でないと決定する場合、その後、ビデオエンコーダ20およびビデオデコーダ30は、現在のコンテキストの導出の間のデフォルトのコンテキスト値を使用し得る。例えば、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックに関する区分化情報を示すシンタックス要素をCABACコード化またはエントロピーコード化することに関するデフォルトのコンテキストを適用し得る。
[0115]いくつかの例では、異なるRTまたはPT分割が(Y、Cb、Cr、または深度コンポーネントのような)異なるコンポーネントのために許容されるとビデオエンコーダ20およびビデオデコーダ30が決定する場合、その後、ビデオエンコーダ20および/またはビデオデコーダ30は、前述の技法のすべて(例えば、相対的な高さ/幅/エリアを利用することに関して上で述べたすべての技法)を適用するが、他のコンポーネント中の関連したブロックを使用する。すなわち、上で議論した近隣ブロックからの情報を使用する代わりに、ビデオエンコーダ20およびビデオデコーダ30は、ブロックのY、Cb、Cr、または深度コンポーネントに関する相対的な高さ/幅/エリアを使用し得る。本明細書で使用されるように、「Y」は、ルーマコンポを意味し、Cbは、クロマコンポーネントを意味し、Crは、別のクロマコンポーネントを意味する。
[0116]本開示の様々な技法は、PTツリータイプのコンテキストを計算するときの認識に基づき、近隣ブロックの位置は、様々な特性のビデオ信号に適合するように静的にまたは動的に定義されることができる。例えば、これらの技法は、上で説明された相対高さ/幅/エリアベースの技法のうちの1つまたは複数を実行するために、ビデオエンコーダ20およびビデオデコーダ30が特定の近隣ブロックを選択することを可能にする。1つの例として、現在のブロックが複数の上の近隣ブロックを有する場合、その後、ビデオエンコーダ20およびビデオデコーダ30は、相対幅ベースの決定を実行するために、上近隣ブロックのうちの1つを選択するように本明細書で説明される技法をインプリメントし得る。同様に、現在のブロックが複数の左の近隣ブロックを有する場合、その後、ビデオエンコーダ20およびビデオデコーダ30は、相対高さベースの決定を実行するために、左近隣ブロックのうちの1つを選択するように本明細書で説明される技法をインプリメントし得る。
[0117]図9は、本開示の態様に従って、PT分割フラグのコンテキストモデリングのための様々な上近隣および左近隣ロケーションの候補位置を例示する概念図である。CUのアスペクト比の範囲が以前のコード化基準によって提供されるアスペクト比と比較してより高くなるように、上近隣ブロックの位置は、現在のブロックの左上隅のすぐ上、現在のブロックの上部境界に沿った中央4×4ブロックのすぐ上、または現在のブロックの右上隅における最も右の4×4ブロックのすぐ上から選ばれることができる。
[0118]図9の位置T0−T3は、相対幅ベースの決定のために使用されるべき上近隣ブロックのための候補位置の例を例示する。同様に、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックの左上隅のすぐ左、現在のブロックの左境界に沿った中央4×4ブロックのすぐ左、または現在のブロックの左下隅における最低部の4×4ブロックのすぐ左のような、位置から左近隣ブロックを選択するように本開示の技法をインプリメントし得る。図9の位置L0−L3は、相対高さベースの決定のために使用されるべき左近隣ブロックについての候補位置の例を例示する。本明細書で説明された技法に従って、上近隣および左近隣ブロックの選択は、ブロックサイズのアスペクト比が増加するので、改善された正確性を生み出し得る。
[0119]1つの例では、ビデオエンコーダ20およびビデオデコーダ30は、上近隣ブロックとしてT0とT3との間のロケーションに位置付けられたブロックを選び、現在のブロックのためのコンテキストモデリングを実行するときの左近隣ブロックとしてL0とL3との間のロケーションに位置付けられたブロックを選び得る。別の例では、ビデオエンコーダ20は、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、またはスライスヘッダ(SH)中で情報をシグナリングすることによって上近隣ブロックおよび左近隣ブロックの位置を指定し得る。これらの例では、ビデオデコーダ30は、SPS、PPS、またはSH中でシグナルされた情報を使用して上近隣ブロックおよび左近隣ブロックの位置を選択し得る。SPS/PPH/SH中でシグナルされた近隣ブロック位置情報を使用することによって、ビデオエンコーダ20およびビデオデコーダ30は、シーケンス、ピクチャ、またはスライスのすべてのPT−分割ブロックにわたって近隣ブロック選択のために同じ情報を使用し得る。この方法では、ビデオエンコーダ20およびビデオデコーダ30は、PTベースの区分化のためにシグナルされる必要のある個別のコードワードの数を低減することによってシグナルするオーバーヘッドを低減し得る。
[0120]1つの例では、ビデオエンコーダ20は、コンテキストモデリングのためのSPS、PPS、またはSHをセット{(TL,TR),(TL,BL),(TR,BL)}から選択されたペアまたは2タプルをシグナルし得る。1つの例では、ビデオエンコーダ20およびビデオデコーダ30は、セット{TL,TR),(TL,BL),(TR,BL)}から選択されたペアまたは2タプルを静的に選び得る。上で使用された表記では、「TL」は、左上近隣ブロックを表わし、「TR」は、右上近隣ブロックを表わし、「BL」は、左下近隣ブロックを表わし、「BR」は、右下近隣ブロックを表わす。
[0121]いくつかの例では、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックの形状に基づいて上近隣ブロックおよび左近隣ブロックの位置を選び得る。例えば、現在のブロックの幅が高さより大きい場合、ビデオエンコーダ20およびビデオデコーダ30は、本開示の相対幅ベースの決定において使用されるべき上近隣ブロックとして図9中に例示されたT1またはT2を選び得る。さもなければ(例えば、現在のブロックの幅が高さ以下である場合)、ビデオエンコーダ20およびビデオデコーダ30は、本開示の相対幅ベースの決定で使用されるべき上近隣ブロックとして図9中に例示されたT0を選び得る。同様に、現在のブロックの高さが現在のブロックの幅より大きい場合、その後、ビデオエンコーダ20及びビデオデコーダ30は、本開示の相対高さベースの決定のための左近隣ブロックとして図9中に例示されるL1またはL2を選び得る。さもなければ、ビデオエンコーダ20および/またはビデオデコーダ30は、L0を選び得る。
[0122]いくつかの例に従って、ビデオエンコーダ20およびビデオデコーダ30は、位置がバラバラである場合、図9中に示されるすべての位置で近隣ブロックからの情報の組み合わせを使用してコンテキストをモデル化し得る。例えば、ビデオエンコーダ20およびビデオデコーダ30は、PT分割フラグ、PT分割方向、またはPT分割モードの値を予測するために、図9中に例示される周囲の近隣ブロックのすべてのための対応するメトリックと、現在のブロックの幅、高さ、またはサイズ(例えばエリア)を比較し得る。このような方法において複数の近隣ブロックからの情報の組み合わせを使用することによって、ビデオエンコーダ20およびビデオデコーダ30は、大量のヒューリスティックなデータが考慮されるので、PT分割フラグ、PT分割方向、PT分割モードをより正確に予測し得る。
[0123]別の例では、ビデオエンコーダ20は、さらなるシグナリングが使用されない制限を適用し得る。例えば、左近隣ブロックおよび上近隣ブロックが2分木構造に従って共に垂直に区分化される場合、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックが2分木構造に従って垂直に区分化されるべきであると推論し得る。他のこのような制限は、本開示の態様に従って適用されることができ、本開示の制限が上で議論された垂直バイナリ区分化制限の例に限定されないことが理解されることになる。
[0124]本開示のいくつかの態様に従って、ビデオエンコーダ20は、ツリータイプシグナリング上でケースバイケース基礎で適切になる(例えば、「適切な」制限としても説明される)制限を適用し得る。いくつかのケースでは、ビデオエンコーダ20は、許容可能なRTおよびPT深度を仮定すると、PT分割方向またはPT分割モードをシグナルするために使用したビンをスキップし得る。これらの技法の議論に関して、最小ブロック幅および最小ブロック高さは、それぞれmWおよびmHと表わされる。
[0125]1つの例では、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックの幅がmWに等しい場合、その後、水平PT分割のみが現在のブロックに関して生じることが出来ると決定し得る。このケースでは、ビデオエンコーダ20は、PT分割方向をシグナルし得ず、それは、PT分割方向が現在のブロックに関してビデオデコーダ30によって推論されるからである。同様に、1つの例では、現在のブロックの高さがmHに等しい場合、ビデオエンコーダ20は、水平になるPT分割方向を推論するビデオデコーダ30に基づいて、PT分割方向をシグナルし得ない。
[0126]1つの例では、現在のブロックの幅が(2×mW)に等しく、現在のブロックが垂直に分割される場合、その後、垂直2分木区分化のみがこの場合において許容されるので、ビデオエンコーダ20は、PT分割モードをシグナルし得ない。同様に、現在のブロックの高さが(2×mH)に等しく、現在のブロックが水平に分割される場合、その後、水平2分木区分化のみがこの場合において許容されるので、ビデオエンコーダ20は、PT分割モードをシグナルし得ない。
[0127]いくつかの例では、ビデオエンコーダ20は、ビットストリームにおいて、2分木または3分木あるいは両方に関して「機能しない(disabled)」インジケーションをシグナルし得る。例えば、ビデオエンコーダ20は、SPS、および/またはPPS、および/またはスライスヘッダにおけるのような、1つまたは複数シンタックス構造中で「機能しない」インジケーションをシグナルし得る。ツリータイプがあるレベルで動作しないとしてシグナルされる場合、ビデオエンコーダ20は、そのレベル内のPT分割モードのシグナリングをスキップし得る。例えば、ビデオエンコーダ20は、PPSにおける(すなわち、ピクチャレベルで)機能しない状態をシグナルする場合、その後、ビデオエンコーダは、全体のピクチャのためのPT分割モードのシグナリングをスキップし得る。
[0128]また別の例では、異なるRTまたはPT分割が現在のブロックの(Y、Cb、Cr、または深度コンポーネントのような)異なるコンポーネントのために許容される場合、ビデオエンコーダ20は、他のコンポーネントにおいて関連したブロックのRTおよび/またはPT分割に従う現在のコンポーネントのためのRTまたはPT分割制限を適用し得る。例えば、CbまたはCrコンポーネントにおいてブロックをコード化するときに、Yコンポーネントブロックが垂直に分割される場合、ビデオエンコーダ20は、現在のコンポーネントのための水平分割モードをシグナルし得ない。
[0129]本開示のいくつかの態様に従って、ビデオエンコーダ20は、図8に例示されるコードワードをシグナリングする代わりに、可変長コード化(VLC)ルックアップテーブルからのコードワードを選択し得る。VLCルックアップテーブルのコードワードは、各区分タイプの結合確率がゆがんだ分布(skewed distribution)またはより高度にゆがんだ分布に従う場合の、いくつかのビデオシグナルのための代替のフレキシビリティを提供し得る。バイナリゼーション処理それ自身は、ゆがんだ確率分布を生み出すように、近隣ブロックのコード化情報をカプセル化し得る。本開示のいくつかの例では、ビデオエンコーダ20およびビデオデコーダ30は、異なる近隣ブロック区分に従って、現在のブロック区分化のための異なる2値化方法を使用し得る。
[0130]1つの例では、ビデオエンコーダ20は、分割固有イベントをシグナルするために2つのビンの固定長(FL)コードを使用し得る。上で議論されるように、PT区分化の4つの異なるタイプは、マルチタイプツリー構造内で可能である。再び、PT区分化の4つのタイプは、水平2分木、垂直2分木、水平中心側3分木、および垂直中心側3分木である。本開示の2つのビンのFLの様々な例では、第1および第2のビンの定義は、置き換え可能であり得る。すなわち、第1のビンは、分割方向を表わし得、第2のビンは、ツリータイプを表わし得、または逆も同様である。
[0131]代替として、ビデオエンコーダ20は、区分をシグナルするために切り取られた単項(TU:truncated unary)コード化を使用し得る。下のテーブル1は、本開示の態様に従って、ビデオエンコーダ20が使用するコードワード割り当てスキームの1つの例を示す。
[0132]各区分タイプへのコードワード割り当てが各区分の確率に基づくことが出来ることが理解されることになり、上のテーブル1は単に、非限定的な例としての役割を果たす。ビデオエンコーダ20は、最も頻繁に遭遇するシナリオに最も短いコードワードを割り当て得る。テーブル1の例では、垂直2分木区分化は、PT区分化部分において最も頻繁に遭遇するシナリオを表わし、従って、ビデオエンコーダ20は、垂直2分木区分化を示すために「0」コードワードを割り当て得る。多くの使用ケースシナリオでは、ストリーム中のPT区分化ブロックの80%は、同様に分割される。同様に、ビデオエンコーダ20は、より頻繁にシグナルされるインジケーションにより短いコードワードを割り当てることによって、マルチタイプツリーベースの区分化のためのビットレート要件を低減し得る。
[0133]1つの例では、左近隣ブロックおよび上近隣ブロックが2分木を使用して共に垂直に区分化される場合、ビデオエンコーダ20およびビデオデコーダ30は、現在のブロックが同様に、垂直に区分化される高い確率があるまたは垂直に区分化されるらしいと決定し得る。このケースでは、ビデオエンコーダ20およびビデオデコーダ30は、垂直バイナリ区分のためのより短いコードワードを使用し得る。言い換えれば、ビデオエンコーダ20およびビデオデコーダ30は、この例に従って、近隣ブロック区分により、異なる区分バイナリゼーション方法を使用し得る。同様に、ビデオエンコーダ20は、現在のブロックのために最もシグナルされそうであるより多くのインジケーションに、より短いコードワードを割り当てることによって、マルチタイプツリーベースの区分化のためのビットレート要件を低減し得る。
[0134]1つの例では、ビデオエンコーダ20は、SPS、PPS、またはSHのようなビットストリームの様々なシンタックス構造中でコードワード選択をシグナルし得る。別の例では、異なるRTまたはPT分割が(Y、Cb、Cr、または深度コンポーネントのような)異なるコンポーネントのために許容される場合、ビデオエンコーダ20のためのVLCルックアップテーブルからの選択は、他のコンポーネントにおいて関連したブロックのRTおよび/またはPT分割に従って適用されることができる。例えば、CbまたはCrコンポーネントにおけるブロックおよびYコンポーネントにおける関連したブロックをコード化することが垂直に分割されるとき、ビデオエンコーダ20は、2分木ベースの区分のために短くされたコードワードをシグナルし得る。言い換えれば、この例に従って、ビデオエンコーダ20は、他のコンポーネントにおける関連したブロック区分により、異なる区分のバイナリゼーション方法を使用し得る。
[0135]本開示のある技法に従って、ビデオエンコーダ20およびビデオデコーダ30は、ピクチャ境界にわたって広がるすべてのCTUのための分割の事前定義された手法をインプリメントし得る。クロスピクチャCTU(cross−picture CTU)の分割構造がこれらの例において事前定義されるので、ビデオエンコーダ20は、区分化が現在のピクチャ内に位置付けられている各CUのすべてのサンプルをもたらすまで、ツリータイプ情報をシグナルし得ない。
[0136]1つの例では、全てのノードが結果として生じるCUを表わすステージに再帰的なRT分割が到達するまで、CTUは、ビデオエンコーダ20が任意のCU分割フラグをシグナルせずにRT分割することによって再帰的に分割されることができ、それのうちの全体が現在のピクチャ内に位置付けられる。他の例では、全てのノードが結果として生じるCUを表わすステージに再帰的なRT分割が到達するまで、CTUは、ビデオエンコーダ20が任意のCU分割フラグをシグナルせずにPT分割の1つの選択されたタイプを使用することによって再帰的に分割されることができ、それのうちの全体が現在のピクチャ内に位置付けられる。1つの例では、ビデオエンコーダ20およびビデオデコーダ30は、RTとPTとの両方を含む、通常のツリータイプシグナリングを使用して最も見込みのある表現を見つけることによって再帰的にCTUを分割し得る。例えば、右半分がピクチャの外側にあるCTUについて、あるレベルのRT分割が有効な区分を形成する。また、あるレベルのPTを持つRTにおける分割は全く、別の有効な区分を形成しない。
[0137]有効な区分は、各それぞれのCUの全体が現在のピクチャ内に位置付けられる区分として定義される。別の例では、ビデオエンコーダ20は、適用的に、CTUを分割し、ビデオエンコーダ20は、ビデオデコーダ30が、上で述べられた分割スキームのうちのどれがインプリメントされるべきかを判定または決定することができるように、1ビットフラグ、またはインデックス、あるいは複数のフラグをシグナルし得る。この例では、ビデオデコーダ30は、ビデオエンコーダ20によってインプリメントされる適応的な分割に一致する分割スキームを選択するために受信情報を使用し得る。このような方法で、ビデオエンコーダ20およびビデオデコーダ30は、ピクチャ境界に及ぶCTUの場合におけるコードワードシグナリングのためのビットレート要求を低減し得る。各々が現在のピクチャ内全体に広がるCU中へのCTUのような区分に、再帰的な分割メカニズムが事前定義されるので、ビデオエンコーダ20は、少なくとも各CUが単一ピクチャ内に含まれるまで、各ノードでの分割情報を示すコードワードを繰り返しシグナルする必要はない。
[0138]再び、ビデオエンコーダ20および/またはビデオデコーダ30は、個別に、または技法のうちの2つ以上が論理的に組み合わされることができる任意の組み合わせにおいて上で説明された技法をインプリメントし得る。上で説明されたように、本開示の技法は、様々なツリータイプがブロック区分化のために使用されるシナリオに適用可能である。例えば、領域ツリー(RT)区分化は、4分木区分を含むがそれに限定されず、予測ツリー(PT)区分化は、2分木区分化および/または対称中心側3分木区分化を含むがそれらに限定され得ない。
[0139]上で説明される技法の様々なインプリメンテーションが以下で説明される。例えば、図9に関して上で説明された近隣ブロック選択ベースの技法に関して、予測ツリー(PT)部分における各ノードについて、ビデオエンコーダ20および/またはビデオデコーダ30は、以下のコード化を実行し得る:
1. PT分割フラグについて、ビデオエンコーダ20およびビデオデコーダ30は、コンテキスト情報を導出するために幅、高さ、およびエリアピクセルサイズを使用し得る。
a)1つの例となるインプリメンテーションでは、ビデオエンコーダ20およびビデオデコーダ30は、(図9に例示される)位置T2に位置付けられる上近隣ブロックからブロック幅を選択し得る。このインプリメンテーションでは、ビデオエンコーダ20およびビデオデコーダ30は、位置L2に位置付けられた左近隣ブロックからブロック高さを選択し、(TL,TR)のペアからブロックサイズ(例えば、エリア)を選択し得る。ブロック幅および高さがそれぞれWおよびHとする。コンテキストインデックスの値は、以下のように計算されることができる。
CTX=(W>WT2)+(H>HL2)+(W*H>STL)*(W*H>STR) (1)
ここで、STLおよびSTRは、図9におけるTLおよびTRのロケーションを占有しているブロックのサイズを表わす。方程式(1)に続いて、以下の条件が満たされる場合、追加のコンテキストが選択されることができる:
CTX=((W<WT2)&&(H<HL2)&&(W*H<STL))?5:CTX (2)
このインプリメンテーションでは、T0、T1、T2、およびT3の位置が以下のように計算される。
同様に、L0、L1,L2,およびL2の位置は、以下のように計算される。
ここで、(X0,Y0)は、現在のブロックの左上隅のピクセル座標である。式(3)および(4)におけるユニットサイズは、それぞれ、XおよびY方向についての最小ブロック幅および最小ブロック高さに等しい。
b)1つの例のインプリメンテーションでは、コンテキストのより小さいセットが以下のように定義される。
c)1つの例のインプリメンテーションでは、ビデオエンコーダ20およびビデオデコーダ30は、T0とT3との間の上端位置の任意の1つからブロック幅を選択し、L0とL3との間の位置の任意の1つからブロック高さを選択し得る。このインプリメンテーションでは、ビデオエンコーダ20およびビデオデコーダ30は、以下のセットから近隣ブロックサイズのペアを選択し得る。
{(TL,TR),(TR,BL),(TL,BL)}
コンテキストインデックスの値は、上の式(1)および(2)を使用して計算されることができるが、T2,L2,STL,およびSTRで、位置は選択された1つと置き換えられる。
代替として、ビデオエンコーダ20および/またはビデオデコーダ30は、条件付きエントロピーを最小化する位置のセットに基づいて選択を行い、位置のインデックスは、SPS、PPS、またはスライスヘッダのようなビットストリーム中にシグナルされることができる。

2. PT分割方向について、ビデオエンコーダ20およびビデオデコーダ30は、コンテキストのセットを作り出すためにブロック幅、高さ、および上および左ネイバーに対するそれらの相対値を利用する本開示の技法をインプリメントし得る。
a) 1つの例のインプリメンテーションでは、コンテキストモデルのセットは、以下の(以下のテーブル2に従う)ように定義されることができる。
b) 1つの例のインプリメンテーションでは、コンテキストモデルのセットは、以下のように(以下のテーブル3も見て)定義されることができる。condLおよびcondTは、左および上ネイバーのための2つの条件であるとする:
condL=(blkSizeX==blkSizeY)&&(leftAvailable&&blkSizeY>leftBlkSizeY)
condT=(blkSizeX==blkSizeY)&&(topAvailable&&blkSizeX>topBlkSizeX)
c) 1つの例となるインプリメンテーションでは、より小さい複雑さを持つコンテキストモデルのセットは、以下のように(以下のテーブル4も見て)定義されることができる:
condLおよびcondTは、以下のような条件であるとする:
condL=(blkSizeX==blkSizeY)&&(leftAvailable&&blkSizeY>leftBlkSizeY)
condT=(blkSizeX==blkSizeY)&&(topAvailable&&blkSizeX>topBlkSizeX)
3.PT分割モードについて、ビデオエンコーダ20およびビデオデコーダ30は、コンテキストのセットを作り出すためにブロック幅、高さ、および上および左ブロックの間の相対関係を利用する本開示の技法をインプリメントし得る。
a) 1つの例となるインプリメンテーションでは、コンテキストのセットは、以下のように(以下のテーブル5も見て)定義されることができる。condLおよびcondTは、左近隣ブロックおよび上近隣ブロックのための2つの条件であるとする:
condL=(leftAvailable&&blkSizeY>leftBlkSizeY)&&(horizontal_split)
condT=(topAvailable&&blkSizeX>topBlkSizeX)&&(vertical_split)
b) 1つの例のインプリメンテーションでは、ビデオエンコーダ20および/またはビデオデコーダ30は、それ自身のフラグの尤度としてコンテキストを定義し得る。すなわち、コンテキストインデックスの値は、0に設定される。
c) 1つの実施形態では、ビデオエンコーダ20は、コンテキストツリーにこのビンの符号化を設定し得、バイパスコード化は、CABACエンジンにおけるフラグのために実行される。

4.等価システムは、(RTで生じ、3分木における第1および第3の区分)4分の1サイズのツリーのレベルの数と、他のPTツリータイプのレベルの数とを個別にカウントすることによって導出されることがができる。
a)1つの例のインプリメンテーションでは、ビデオエンコーダ20および/またはビデオデコーダ30は、以下のように2方向深度システムを定義し得る。4分の1サイズのツリーの深度および2分の1サイズのツリーの深度がそれぞれ、DおよびDであるとする。ビデオエンコーダ20および/またはビデオデコーダ30は、以下のように等価深度Dを計算し得る。
D=2*D+D (6)
b) ビデオエンコーダ20および/またはビデオデコーダ30は、幅および高さの対数値を取ることによって幅および高さに類似の定義を適用し得る。等価システムで、例えば、上の式(1)は、以下のように書き直されることができる:
ここで、DTLおよびDRTはそれぞれ、左上および右上位置を占めるブロックの等価深度である。
[0140]図10は、本開示の様々な態様に従う、ビデオエンコーダ20(またはそれ自身の処理回路)が実行する例となる処理100を例示するフローチャートである。処理100は、ビデオエンコーダ20の処理回路が相対次元値情報を取得するために近隣ブロックの対応する次元の値と現在のブロックの次元の値を比較する時に開始し得る(102)。1つの例では、ビデオエンコーダ20の処理回路は、現在のブロックの上に位置付けられる上近隣ブロックの幅と現在のブロックの幅を比較し得る。別の例では、ビデオエンコーダ20の処理回路は、現在のブロックの左に位置付けられる左近隣ブロックの高さと現在のブロックの高さを比較し得る。このような、近隣ブロックの対応する次元は、現在のブロックの次元と同様に近隣ブロックの形成ファクタ情報を示す測定値またはメトリックを表わす。
[0141]相対次元値に基づいて、ビデオエンコーダ20の処理回路は、現在のブロックがマルチタイプツリー区分化構造のPT部分に従って区分化されるべきであると決定し得る(104)。1つの例では、ビデオエンコーダ20の処理回路は、現在のブロックの幅が上近隣ブロックの幅より狭いとの決定に基づいて、現在のブロックがマルチタイプツリー構造のPT部分に従って区分化されるべきであると決定し得る。別の例では、ビデオエンコーダ20の処理回路は、現在のブロックの高さが上近隣ブロックの高さより低いとの決定に基づいて、現在のブロックがマルチタイプツリー構造のPT部分に従って区分化されるべきであると決定し得る。
[0142]次に、ビデオエンコーダ20の処理回路は、中心側3分木構造または2分木構造のいずれかに従って現在のブロックを区分化し得る(106)。上で議論されたように、PT−部分区分化は、2分木構造または中心側3分木構造のいずれかに従う。いくつかの例では、ビデオエンコーダ20の処理回路は、相対次元を決定するために使用された近隣ブロックからツリータイプ(バイナリまたは中心側トリプル)を継承し得る。次に、ビデオエンコーダ20の処理回路は、ビデオデコーダ30に符号化されたビデオビットストリームをシグナルし得る(108)。例えば、ビデオエンコーダ20の処理回路は、ビットストリームをシグナルするためにビデオエンコーダ20のネットワークインターフェースまたは他の通信ハードウェアを使用し得る。
[0143]近隣ブロックが上近隣ブロックであり、相対次元値が幅比較に基づく場合の例では、現在のブロックを区分化するために、ビデオエンコーダ20の処理回路は、現在のブロックを垂直に区分化し得る。近隣ブロックが左近隣ブロックであり、相対次元値が高さ比較に基づく場合の例では、現在のブロックを区分化するために、ビデオエンコーダ20の処理回路は、現在のブロックを水平に区分化し得る。
[0144]いくつかの例では、近隣ブロックは、現在のブロックの対角線上の近隣ブロックである。対角線上の近隣ブロックは、現在のブロックの上および左に位置付けられる左上近隣ブロック、現在のブロックの上および右に位置付けられる右上近隣ブロック、または現在のブロックの下および右に位置付けられる左下近隣ブロックのうちの任意のものを含み得る。これらの例では、対角線上の近隣ブロックの対応する次元の値と現在のブロックの次元の値を比較するために、ビデオエンコーダ20の処理回路は、近隣ブロックが対角線上の近隣ブロックであることに基づいて、上近隣ブロックのエリアと現在のブロックのエリアを比較し得る。
[0145]いくつかの例では、ビデオデコーダ30の処理回路は、現在のブロックの形状を決定するために現在のブロックの高さと現在のブロックの幅を比較し得る。これらの例では、近隣ブロックを選択するために、ビデオデコーダ30の処理回路は、現在のブロックの決定された形状に基づいて、複数の左近隣ブロックまたは複数の上近隣ブロックのうちの1つから近隣ブロックを選択し得る。
[0146]いくつかの例では、ビデオエンコーダ20の処理回路は、(i)現在のブロックの上部境界に沿う最も左の4×4サブブロックの上に位置付けられる第1の上近隣ブロックと、現在のブロックの上部境界に沿う中央の4×4サブブロックの上に位置付けられる第2の上近隣ブロックと、現在のブロックの上部境界に沿う最も右の4×4サブブロックの上に位置付けられる第3の上近隣ブロックとを含む複数の上近隣ブロック、または(ii)現在のブロックの左境界に沿う上部4×4サブブロックの左に位置付けられる第1の左近隣ブロックと、現在のブロックの左境界に沿う中央4×4サブブロックの左に位置付けられる第2の左近隣ブロックと、現在のブロックの左境界に沿う下部4×4サブブロックの左に位置付けられる第3の左近隣ブロックとを含む複数の上近隣ブロックのうちの1つから近隣ブロックを選択し得る。いくつかの例では、ビデオエンコーダ20の処理回路は、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPH)、またはスライスヘッダ(SH)のうちの1つにおいて、SPS、PPS、またはSHのうちのそれぞれの1つに対応するビデオデータのユニットにおける1つまたは複数のブロックのために選択された近隣ブロックのインジケーションをシグナルするために、ビデオエンコーダ20の通信ハードウェアを使用し得る。
[0147]いくつかの例では、ビデオエンコーダ20の処理回路は、現在のブロックの区分化のために複数の方向ツリータイプの組み合わせのうちのそれぞれの方向ツリータイプ組み合わせに複数のコードワードのうちのそれぞれのコードワードを割り当て得る。これらの例では、複数のコードワードは、0コードワード、10コードワード、110コードワード、および111コードワードを含み、複数の方向ツリータイプ組み合わせは、水平2分木組み合わせ、垂直2分木組み合わせ、水平中心側3分木組み合わせ、および垂直中心側3分木組み合わせを含む。これらの例では、マルチタイプツリーベースの区分化スキームのPT部分に従って現在のブロックを区分化するために、ビデオエンコーダ20の処理回路は、複数の方向ツリータイプ組み合わせ中に含まれる特定の方向ツリータイプ組み合わせに従って現在のブロックを区分化し得る。ビデオエンコーダ20の処理回路は、現在のブロックが区分化されることに従って特定の方向ツリータイプ組み合わせに割り当てられたそれぞれのコードワードを、符号化されたビデオビットストリーム中でシグナルするために、ビデオエンコーダ20の通信ハードウェアを使用し得る。
[0148]図11は、本開示の様々な態様に従う、ビデオデコーダ30の処理回路復号が実行し得る例となる処理120を例示するフローチャートである。処理120は、ビデオデコーダ30の処理回路が相対次元値情報を取得するために近隣ブロックの対応する次元の値と現在のブロックの次元の値を比較する時に開始し得る(122)。1つの例では、ビデオデコーダ30の処理回路は、近隣ブロックが上近隣ブロックであることに基づいて、現在のブロックの上に位置付けられる上近隣ブロックの幅と現在のブロックの幅を比較し得る。別の例では、ビデオデコーダ30の処理回路は、近隣ブロックが左近隣ブロックであることに基づいて、現在のブロックの左に位置付けられる左近隣ブロックの高さと現在のブロックの高さを比較し得る。このような、近隣ブロックの対応する次元は、現在のブロックの次元と同様に近隣ブロックの形成ファクタ情報を示す測定値またはメトリックを表わす。
[0149]相対次元値に基づいて、ビデオデコーダ30の処理回路は、現在のブロックがマルチタイプツリー区分化構造のPT部分に従って区分化されるべきであると決定し得る(124)。1つの例では、ビデオデコーダ30の処理回路は、現在のブロックの幅が上近隣ブロックの幅より狭いとの決定に基づいて、現在のブロックがマルチタイプツリー構造のPT部分に従って、区分化されるべきであると決定し得る。1つの例では、ビデオデコーダ30の処理回路は、現在のブロックの高さが上近隣ブロックの高さより低いとの決定に基づいて、現在のブロックがマルチタイプツリー構造のPT部分に従って、区分化されるべきであると決定し得る。
[0150]次に、ビデオデコーダ30の処理回路は、中心側3分木構造または2分木構造のいずれかに従って現在のブロックを区分化し得る(126)。上で議論されたように、PT−部分区分化は、2分木構造または中心側3分木構造のいずれかに従う。いくつかの例では、ビデオデコーダ30の処理回路は、相対次元を決定するために使用された近隣ブロックからツリータイプ(バイナリまたは中心側トリプル)を継承し得る。近隣ブロックが上近隣ブロックであり、相対次元値が幅比較に基づく場合の例では、現在のブロックを区分化するために、ビデオデコーダ30の処理回路は、現在のブロックを垂直に区分化し得る。近隣ブロックが左近隣ブロックであり、相対次元値が高さ比較に基づく場合の例では、現在のブロックを区分化するために、ビデオデコーダ30の処理回路は、現在のブロックを水平に区分化し得る。
[0151]いくつかの例では、近隣ブロックは、現在のブロックの対角線上の近隣ブロックである。対角線上の近隣ブロックは、現在のブロック上および左に位置付けられる左上近隣ブロック、現在のブロックの上および右に位置付けられる右上近隣ブロック、または現在のブロックの下および右に位置付けられる左下近隣ブロックのうちの任意のものを含み得る。これらの例では、対角線上の近隣ブロックの対応する次元の値と現在のブロックの次元の値を比較するために、ビデオデコーダ30の処理回路は、近隣ブロックが対角線上の近隣ブロックであることに基づいて、上近隣ブロックのエリアと現在のブロックのエリアを比較し得る。
[0152]いくつかの例では、ビデオデコーダ30の処理回路は、(i)現在のブロックの上部境界に沿う最も左の4×4サブブロックの上に位置付けられる第1の上近隣ブロックと、現在のブロックの上部境界に沿う中央の4×4サブブロックの上に位置付けられる第2の上近隣ブロックと、現在のブロックの上部境界に沿う最も右の4×4サブブロックの上に位置付けられる第3の上近隣ブロックとを含む複数の上近隣ブロック、または(ii)現在のブロックの左境界に沿う上部4×4サブブロックの左に位置付けられる第1の左近隣ブロックと、現在のブロックの左境界に沿う中央4×4サブブロックの左に位置付けられる第2の左近隣ブロックと、現在のブロックの左境界に沿う下部4×4サブブロックの左に位置付けられる第3の左近隣ブロックとを含む複数の上近隣ブロックのうちの1つから近隣ブロックを選択し得る。
[0153]いくつかの例では、ビデオデコーダ30の処理回路は、符号化されたビデオビットストリーム中で、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、またはスライスヘッダ(SH)のうちの1つを受信するために、ビデオデコーダ30の通信ハードウェア(ワイヤードまたはワイヤレス受信機)を使用し得る。これらの例では、ビデオデコーダ30の処理回路は、受信したSPS、PPH、またはSHから、SPS、PPS、またはSHのうちのそれぞれの1つに対応するビデオデータのユニットにおける1つまたは複数のブロックのために選択された近隣ブロックのインジケーションを復号し得る。いくつかの例では、ビデオデコーダ30の処理回路は、現在のブロックの形状を決定するために現在のブロックの高さと現在のブロックの幅を比較し得る。これらの例では、近隣ブロックを選択するために、ビデオデコーダ30の処理回路は、現在のブロックの決定された形状に基づいて、複数の左近隣ブロックまたは複数の上近隣ブロックのうちの1つから近隣ブロックを選択し得る。
[0154]いくつかの例では、ビデオデコーダ30の処理回路は、現在のブロックのための所定の最小幅または現在のブロックのための所定の最低高さのうちの少なくとも1つと、それぞれ、現在のブロックの幅または現在のブロックの高さのうちの少なくとも1つを比較し、比較に基づいて現在のブロックを区分化するためのツリータイプまたは現在のブロックを区分化するための区分化方向のうちの少なくとも1つを決定し得る。いくつかの例では、現在のブロックは、現在のコード化ユニット(CU)である。いくつかのこのような例では、ビデオデコーダ30の処理回路は、コード化ツリーユニット(CTU)のサイズが現在のピクチャのパディング領域を超えるて広がるようなピクチャ境界にビデオデータのCTUが広がると決定し、ピクチャ境界に広がっているCTUに基づいて、ビデオデコーダ30の処理回路は、現在のコード化ユニット(CU)が現在のピクチャ内全体に位置付けられるような、現在のCUを含む複数のCUを形成するために、マルチタイプツリー構造の所定の区分化スキームを使用してCTUを再帰的に区分化し得る。
[0155]例によっては、ここで説明した技法のうちの任意のものの特定の動作(act)またはイベントが、異なる順序で実行されることができ、追加、混合、または完全に省略され得る(例えば、説明したすべての動作またはイベントが本技法の実施に必要なわけではない)ことは認識されるべきである。さらに、特定の例では、動作またはイベントは、連続というよりはむしろ、例えば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して、コンカレントに実行され得る。
[0156]1つまたは複数の例では、記述された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのあらゆる組み合わせでインプリメントされ得る。ソフトウェアで実現される場合、これら機能は、1つ又は複数の命令又はコードとして、コンピュータ読取可能な媒体に記憶されるか、コンピュータ読取可能な媒体を通して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの移送を容易にする任意の媒体を含む通信媒体またはデータ記憶媒体のような有体の媒体に対応するコンピュータ可読記憶媒体を含み得る。このように、コンピュータ可読媒体は一般に、(1)非一時的である有形のコンピュータ可読記憶媒体または(2)信号または搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法のインプリメンテーションのための命令、コードおよび/またはデータ構造を取り出すために、1つまたは複数のコンピュータまたは1つまたは複数のプロセッサによってアクセス可能な任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
[0157]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMまたは他の光学ディスク記憶媒体、磁気ディスク記憶媒体または他の磁気記憶デバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態で望ましいプログラムコードを記憶するために使用され、コンピュータによってアクセスされ得るあらゆる他の媒体を備えることができる。また、あらゆる接続手段がコンピュータ可読媒体と適当に名付けられる。例えば、命令が、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、電波、およびマイクロ波のようなワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、電波、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的な媒体を含むのではなく、代わりに、非一時的な有形の記憶媒体を対象としていることは理解されるべきである。ここで使用される場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスク、およびブルーレイディスクを含み、ここで、ディスク(disk)は、通常磁気的にデータを再生し、ディスク(disc)は、レーザーを用いて光学的にデータを再生する。上記の組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
[0158]命令は、1つまたは複数のデジタルシグナルプロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、固定機能処理回路、プログラマブル処理回路、または他の同等の集積またはディスクリート論理回路のような1つまたは複数のプロセッサによって実行され得る。したがって、ここで使用される場合、「プロセッサ」という用語は、前述の構造またはここで説明された技法のインプリメンテーションに適切な任意の他の構造のうちの任意のものを指し得る。加えて、いくつかの態様では、ここで説明された機能性は、符号化および復号のために構成された専用ハードウェアおよび/またはソフトウェアモジュール内に提供され得るか、複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理素子において十分にインプリメントされ得る。
[0159]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(例えば、チップセット)を含む、幅広い種類のデバイスまたは装置において実行され得る。様々な構成要素、モジュール、またはユニットは、本開示では、開示された技法を実行するように構成されたデバイスの機能的な態様を強調するように説明されているが、必ずしも、異なるハードウェアユニットによる実現を必要とするわけではない。むしろ、上で説明したように、様々なユニットは、コーデックハードウェアユニットへと組み合わせられるか、適切なソフトウェアおよび/またはファームウェアと併せて、上で説明したような1つまたは複数のプロセッサを含む、相互動作するハードウェアユニットの集合によって提供され得る。
[0160]様々な例が説明されてきた。これらの例および他の例は、以下の特許請求の範囲の範囲内である。
[0160]様々な例が説明されてきた。これらの例および他の例は、以下の特許請求の範囲の範囲内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
ビデオデータをコード化する方法であって、
相対次元値を取得するために、前記ビデオデータの現在のブロックの次元の値を前記現在のブロックの近隣ブロックの対応する次元の値と比較すること、前記近隣ブロックは、前記現在のブロックに隣接した位置にある、と、
前記相対次元値に基づいて、前記現在のブロックがマルチタイプツリーベースの区分化スキームの予測ツリー(PT)部分に従って区分化されべきであると決定すること、前記マルチタイプツリーベースの区分化スキームの前記PT部分は、2分木構造または中心側3分木構造のうちの1つに従う区分化を備える、と、
前記決定に基づいて、複数のサブブロックを形成するために、前記マルチタイプツリーベースの区分化スキームの前記PT部分に従って前記現在のブロックを区分化することと
を備える、方法。
[C2]
前記近隣ブロックは、現在のブロックの上に位置付けられた上近隣ブロックを備え、
前記現在のブロックの前記次元の前記値を前記上近隣ブロックの前記対応する次元の前記値と比較することは、前記現在のブロックの上に位置付けられる前記上近隣ブロックを備える前記近隣ブロックに基づいて、前記現在のブロックの幅を前記近隣ブロックの幅と比較することを備え、
前記現在のブロックを区分化することは、前記現在のブロックを垂直に区分化することを備える、
[C1]に記載の方法。
[C3]
前記近隣ブロックは、前記現在のブロックの左に位置付けられた左近隣ブロックを備え、
前記現在のブロックの前記次元を前記左近隣ブロックの前記対応する次元と比較することは、前記現在のブロックの左に位置付けられる前記左近隣ブロックを備える前記近隣ブロックに基づいて、前記現在のブロックの高さを前記近隣ブロックの高さと比較することを備え、
前記現在のブロックを区分化することは、前記現在のブロックを水平に区分化することを備える、
[C1]に記載の方法。
[C4]
前記近隣ブロックは、
前記現在のブロックの上および左に位置付けられる左上近隣ブロック、
前記現在のブロックの上および右に位置付けられる右上近隣ブロック、
前記現在のブロックの下および右に位置付けられる左下近隣ブロック、
のうちの1つを備える対角線上の近隣ブロックであり、
前記対角線上の近隣ブロックの前記対応する次元の前記値と前記現在のブロックの前記次元の前記値を比較することは、前記対角線上の近隣ブロックにある前記近隣ブロックに基づいて、前記上近隣ブロックのエリアと前記現在のブロックのエリアを比較することを備える、
[C1]に記載の方法。
[C5]
(i)前記現在のブロックの上部境界に沿う最も左の4×4サブブロックの上に位置付けられる第1の上近隣ブロックと、前記現在のブロックの前記上部境界に沿う中央の4×4サブブロックの上に位置付けられる第2の上近隣ブロックと、前記現在のブロックの前記上部境界に沿う最も右の4×4サブブロックの上に位置付けられる第3の上近隣ブロックとを含む複数の上近隣ブロック、または
(ii)前記現在のブロックの左境界に沿う上部4×4サブブロックの左に位置付けられる第1の左近隣ブロックと、前記現在のブロックの前記左境界に沿う中央4×4サブブロックの左に位置付けられる第2の左近隣ブロックと、前記現在のブロックの前記左境界に沿う下部4×4サブブロックの左に位置付けられる第3の左近隣ブロックとを含む複数の上近隣ブロック
のうちの1つから近隣ブロックを選択することをさらに備える、[C1]に記載の方法。
[C6]
前記ビデオデータをコード化する前記方法は、符号化されたビデオデータを復号する方法を備え、前記方法は、
前記複数のサブブロックのうちの1つまたは複数のサブブロックを復号することをさらに備える、
[C5]に記載の方法。
[C7]
符号化されたビデオビットストリーム中で、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、または、スライスヘッダ(SH)のうちの少なくとも1つを受信することと、
前記受信したSPS、PPH、またはSHから、前記SPS、PPS、またはSHのうちの前記それぞれの1つに対応する前記ビデオデータのユニットにおける1つまたは複数のブロックのために前記選択された近隣ブロックのインジケーションを復号することと
をさらに備える、[C6]に記載の方法。
[C8]
前記コード化する方法は、前記ビデオデータをコード化する方法を備え、前記方法は、
前記複数のサブブロックを符号化することと、
符号化されたビデオビットストリーム中で、前記符号化された複数のサブブロックを表わす符号化されたビデオデータをシグナルすることと
をさらに備える、[C5]に記載の方法。
[C9]
シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPH)、またはスライスヘッダ(SH)のうちの1つにおいて、前記SPS、PPS、またはSHのうちの前記それぞれの1つに対応する前記ビデオデータのユニットにおける1つまたは複数のブロックのために前記選択された近隣ブロックのインジケーションをシグナルすることをさらに備える、
[C8]に記載の方法。
[C10]
前記現在のブロックの形状を決定するために、前記現在のブロックの幅を前記現在のブロックの高さと比較することをさらに備え、
前記近隣ブロックを選択することは、前記現在のブロックの前記決定された形状に基づいて、前記複数の左近隣ブロックまたは前記複数の上近隣ブロックのうちの1つから前記近隣ブロックを選択することを備える、
[C5]に記載の方法。
[C11]
前記ビデオデータをコード化する前記方法は、符号化されたビデオデータを復号する方法を備え、前記方法は、
前記現在のブロックの幅または前記現在のブロックの高さのうちの少なくとも1つを、それぞれ、前記現在のブロックのための所定の最小幅または前記現在のブロックのための所定の最低高さのうちの少なくとも1つと比較することと、
前記比較に基づいて、前記現在のブロックを区分化するためのツリータイプまたは前記現在のブロックを区分化するための区分化方向のうちの少なくとも1つを決定することと
をさらに備える、[C1]に記載の方法。
[C12]
前記現在のブロックは、現在のコード化ユニット(CU)であり、前記ビデオデータをコード化する前記方法は、符号化されたビデオデータを復号する方法を備え、前記方法は、
コード化ツリーユニット(CTU)のサイズが現在のピクチャのパディング領域を超えるて広がるようなピクチャ境界に前記ビデオデータの前記CTUが広がると決定することと、
前記ピクチャ境界に広がっている前記CTUに基づいて、前記現在のCUを含む複数のコード化ユニット(CU)を形成するために、前記マルチタイプツリー構造の所定の区分化スキームを使用して前記CTUを再帰的に区分化することと
をさらに備え、前記現在のCUは、前記現在のピクチャ内全体に位置付けられる、
[C1]に記載の方法。
[C13]
前記コード化する方法は、前記ビデオデータを符号化する方法を備え、前記方法は、
前記現在のブロックを区分化のために複数の方向ツリータイプ組み合わせのうちのそれぞれの方向ツリータイプ組み合わせに複数のコードワードのうちのそれぞれのコードワードを割り当てることと、
前記複数の方向ツリータイプ組み合わは、水平2分木組み合わせ、垂直2分木組み合わせ、水平中心側3分木、垂直中心側3分木を含み、
前記マルチタイプツリーベースの区分化スキームの前記PT部分に従って前記現在のブロックを区分化することは、前記複数の方向ツリータイプ組み合わせ中に含まれる特定の方向ツリータイプ組み合わせに従って前記現在のブロックを区分化することを備え、
符号化されたビットストリーム中で、前記現在のブロックが区分化されることに従う前記特定の方向ツリータイプ組み合わせに割り当てられた前記それぞれのコードワードをシグナルすることと、
さらに備える、[C1]に記載の方法。
[C14]
ビデオデータをコード化するためのデバイスであって、
前記ビデオデータを記憶するように構成されたメモリと、
前記メモリと通信している処理回路と
を備え、前記処理回路は、
相対次元値を取得するために、前記記憶されたビデオデータの現在のブロックの次元の値を前記現在のブロックの近隣ブロックの対応する次元の値と比較すること、前記近隣ブロックは、前記現在のブロックに隣接した位置にある、と、
前記相対次元値に基づいて、前記現在のブロックがマルチタイプツリーベースの区分化スキームの予測ツリー(PT)部分に従って区分化されるべきであると決定すること、前記マルチタイプツリーベースの区分化スキームの前記PT部分は、2分木構造または中心側3分木構造のうちの1つに従う区分化を備える、と、
前記決定に基づいて、複数のサブブロックを形成するために、前記マルチタイプツリーベースの区分化スキームの前記PT部分に従って前記現在のブロックを区分化することと
を行うように構成される、デバイス。
[C15]
前記近隣ブロックは、現在のブロックの上に位置付けられた上近隣ブロックを備え、
前記現在のブロックの前記次元の前記値を前記上近隣ブロックの前記対応する次元の前記値と比較するために、前記処理回路は、前記現在のブロックの上に位置付けられる前記上近隣ブロックを備える前記近隣ブロックに基づいて、前記現在のブロックの幅を前記近隣ブロックの幅と比較することを行うように構成され、
前記現在のブロックを区分化するために、前記処理回路は、前記現在のブロックを垂直に区分化することを行うように構成される、
[C14]に記載のデバイス。
[C16]
前記近隣ブロックは、前記現在のブロックの左に位置付けられた左近隣ブロックを備え、
前記現在のブロックの前記次元を前記左近隣ブロックの前記対応する次元と比較するために、前記処理回路は、前記現在のブロックの左に位置付けられる前記左近隣ブロックを備える前記近隣ブロックに基づいて、前記現在のブロックの高さを前記近隣ブロックの高さと比較することを行うように構成され、
前記現在のブロックを区分化するために、前記処理回路は、前記現在のブロックを水平に区分化することを行うように構成される、
[C14]に記載のデバイス。
[C17]
前記近隣ブロックは、
前記現在のブロックの上および左に位置付けられる左上近隣ブロック、
前記現在のブロックの上および右に位置付けられる右上近隣ブロック、
前記現在のブロックの下および右に位置付けられる左下近隣ブロック、
のうちの1つを備える対角線上の近隣ブロックであり、
前記対角線上の近隣ブロックの対応する前記次元の前記値と前記現在のブロックの前記次元の前記値を比較するために、前記処理回路は、前記近隣ブロックが前記対角線上の近隣ブロックであることに基づいて、前記上近隣ブロックのエリアと前記現在のブロックのエリアを比較することを行うように構成される、
[C14]に記載のデバイス。
[C18]
前記処理回路は、
(i)前記現在のブロックの上部境界に沿う最も左の4×4サブブロックの上に位置付けられる第1の上近隣ブロックと、前記現在のブロックの前記上部境界に沿う中央の4×4サブブロックの上に位置付けられる第2の上近隣ブロックと、前記現在のブロックの前記上部境界に沿う最も右の4×4サブブロックの上に位置付けられる第3の上近隣ブロックとを含む複数の上近隣ブロック、または
(ii)前記現在のブロックの左境界に沿う上部4×4サブブロックの左に位置付けられる第1の左近隣ブロックと、前記現在のブロックの前記左境界に沿う中央4×4サブブロックの左に位置付けられる第2の左近隣ブロックと、前記現在のブロックの前記左境界に沿う下部4×4サブブロックの左に位置付けられる第3の左近隣ブロックとを含む複数の上近隣ブロック
のうちの1つから近隣ブロックを選択することを行うようにさらに構成される、[C14]に記載のデバイス。
[C19]
前記デバイスは、符号化されたビデオデータを復号するためのデバイスを備え、前記処理回路は、
前記複数のサブブロックのうちの1つまたは複数のサブブロックを復号することを行うようにさらに構成される、
[C18]に記載のデバイス。
[C20]
通信ハードウェアをさらに備え、前記処理回路は、
前記通信ハードウェアを介して、符号化されたビデオビットストリーム中で、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、または、スライスヘッダ(SH)のうちの少なくとも1つを受信することと、
前記受信したSPS、PPH、またはSHから、前記SPS、PPS、またはSHのうちの前記それぞれの1つに対応する前記ビデオデータのユニットにおける1つまたは複数のブロックのために前記選択された近隣ブロックのインジケーションを復号することと
を行うようにさらに構成される、[C19]に記載のデバイス。
[C21]
前記デバイスは、前記ビデオデータを符号化するためのデバイスを備え、前記処理回路は、
前記複数のサブブロックを符号化することを行うようにさらに構成される、
[C18]に記載のデバイス。
[C22]
通信ハードウェアをさらに備え、前記処理回路は、
前記通信ハードウェアを介して、符号化されたビデオビットストリーム中で、前記符号化された複数のサブブロックを表わす符号化されたビデオデータをシグナルすることと
前記通信ハードウェアを介して、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPH)、またはスライスヘッダ(SH)のうちの1つにおいて、前記SPS、PPS、またはSHのうちの前記それぞれの1つに対応する前記ビデオデータのユニットにおける1つまたは複数のブロックのために前記選択された近隣ブロックのインジケーションをシグナルすることと
を行うようにさらに構成される、[C18]に記載のデバイス。
[C23]
前記処理回路は、
前記現在のブロックの形状を決定するために、前記現在のブロックの幅を前記現在のブロックの高さと比較することを行うようにさらに構成され、
前記近隣ブロックを選択するために、前記処理回路は、前記現在のブロックの前記決定された形状に基づいて、前記複数の左近隣ブロックまたは前記複数の上近隣ブロックのうちの1つから前記近隣ブロックを選択することを行うようにさらに構成される、
[C18]に記載のデバイス。
[C24]
前記デバイスは、前記ビデオデータを符号化するためのデバイスを備え、前記処理回路は、
前記現在のブロックの幅または前記現在のブロックの高さのうちの少なくとも1つを、それぞれ、前記現在のブロックのための所定の最小幅または前記現在のブロックのための所定の最低高さのうちの少なくとも1つと比較することと、
前記比較に基づいて、前記現在のブロックを区分化するためのツリータイプまたは前記現在のブロックを区分化するための区分化方向のうちの少なくとも1つを決定することと
を行うようにさらに構成される、[C14]に記載のデバイス。
[C25]
前記現在のブロックは、現在のコード化ユニット(CU)であり、前記デバイスは、符号化されたビデオデータを復号するためのデバイスを備え、前記処理回路は、
コード化ツリーユニット(CTU)のサイズが現在のピクチャのパディング領域を超えるて広がるようなピクチャ境界に前記ビデオデータの前記CTUが広がると決定することと、
前記ピクチャ境界に広がっている前記CTUに基づいて、前記現在のCUを含む複数のコード化ユニット(CU)を形成するために、前記マルチタイプツリー構造の所定の区分化スキームを使用して前記CTUを再帰的に区分化することと
を行うようにさらに構成され、前記現在のCUは、前記現在のピクチャ内全体に位置付けられる、
[C14]に記載のデバイス。
[C26]
前記デバイスは、前記ビデオデータを符号化するためのデバイスを備え、前記処理回路は、通信ハードウェアをさらに備え、前記処理回路は、
前記現在のブロックを区分化のために複数の方向ツリータイプ組み合わせのうちのそれぞれの方向ツリータイプ組み合わせに複数のコードワードのうちのそれぞれのコードワードを割り当てること、
ここにおいて、前記複数の方向ツリータイプ組み合わせは、水平2分木組み合わせ、垂直2分木組み合わせ、水平中心側3分木、垂直中心側3分木を含み、
前記マルチタイプツリーベースの区分化スキームの前記PT部分に従って前記現在のブロックを区分化するために、前記処理回路は、前記複数の方向ツリータイプ組み合わせ中に含まれる特定の方向ツリータイプ組み合わせに従って前記現在のブロックを区分化することを行うように構成される、と、
前記通信ハードウェアを介して、符号化されたビットストリーム中で、前記現在のブロックが区分化されることに従う前記特定の方向ツリータイプ組み合わせに割り当てられた前記それぞれのコードワードをシグナルすることと、
を行うようにさらに構成される、[C14]に記載のデバイス。

Claims (26)

  1. ビデオデータをコード化する方法であって、
    相対次元値を取得するために、前記ビデオデータの現在のブロックの次元の値を前記現在のブロックの近隣ブロックの対応する次元の値と比較すること、前記近隣ブロックは、前記現在のブロックに隣接した位置にある、と、
    前記相対次元値に基づいて、前記現在のブロックがマルチタイプツリーベースの区分化スキームの予測ツリー(PT)部分に従って区分化されべきであると決定すること、前記マルチタイプツリーベースの区分化スキームの前記PT部分は、2分木構造または中心側3分木構造のうちの1つに従う区分化を備える、と、
    前記決定に基づいて、複数のサブブロックを形成するために、前記マルチタイプツリーベースの区分化スキームの前記PT部分に従って前記現在のブロックを区分化することと
    を備える、方法。
  2. 前記近隣ブロックは、現在のブロックの上に位置付けられた上近隣ブロックを備え、
    前記現在のブロックの前記次元の前記値を前記上近隣ブロックの前記対応する次元の前記値と比較することは、前記現在のブロックの上に位置付けられる前記上近隣ブロックを備える前記近隣ブロックに基づいて、前記現在のブロックの幅を前記近隣ブロックの幅と比較することを備え、
    前記現在のブロックを区分化することは、前記現在のブロックを垂直に区分化することを備える、
    請求項1に記載の方法。
  3. 前記近隣ブロックは、前記現在のブロックの左に位置付けられた左近隣ブロックを備え、
    前記現在のブロックの前記次元を前記左近隣ブロックの前記対応する次元と比較することは、前記現在のブロックの左に位置付けられる前記左近隣ブロックを備える前記近隣ブロックに基づいて、前記現在のブロックの高さを前記近隣ブロックの高さと比較することを備え、
    前記現在のブロックを区分化することは、前記現在のブロックを水平に区分化することを備える、
    請求項1に記載の方法。
  4. 前記近隣ブロックは、
    前記現在のブロックの上および左に位置付けられる左上近隣ブロック、
    前記現在のブロックの上および右に位置付けられる右上近隣ブロック、
    前記現在のブロックの下および右に位置付けられる左下近隣ブロック、
    のうちの1つを備える対角線上の近隣ブロックであり、
    前記対角線上の近隣ブロックの前記対応する次元の前記値と前記現在のブロックの前記次元の前記値を比較することは、前記対角線上の近隣ブロックにある前記近隣ブロックに基づいて、前記上近隣ブロックのエリアと前記現在のブロックのエリアを比較することを備える、
    請求項1に記載の方法。
  5. (i)前記現在のブロックの上部境界に沿う最も左の4×4サブブロックの上に位置付けられる第1の上近隣ブロックと、前記現在のブロックの前記上部境界に沿う中央の4×4サブブロックの上に位置付けられる第2の上近隣ブロックと、前記現在のブロックの前記上部境界に沿う最も右の4×4サブブロックの上に位置付けられる第3の上近隣ブロックとを含む複数の上近隣ブロック、または
    (ii)前記現在のブロックの左境界に沿う上部4×4サブブロックの左に位置付けられる第1の左近隣ブロックと、前記現在のブロックの前記左境界に沿う中央4×4サブブロックの左に位置付けられる第2の左近隣ブロックと、前記現在のブロックの前記左境界に沿う下部4×4サブブロックの左に位置付けられる第3の左近隣ブロックとを含む複数の上近隣ブロック
    のうちの1つから近隣ブロックを選択することをさらに備える、請求項1に記載の方法。
  6. 前記ビデオデータをコード化する前記方法は、符号化されたビデオデータを復号する方法を備え、前記方法は、
    前記複数のサブブロックのうちの1つまたは複数のサブブロックを復号することをさらに備える、
    請求項5に記載の方法。
  7. 符号化されたビデオビットストリーム中で、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、または、スライスヘッダ(SH)のうちの少なくとも1つを受信することと、
    前記受信したSPS、PPH、またはSHから、前記SPS、PPS、またはSHのうちの前記それぞれの1つに対応する前記ビデオデータのユニットにおける1つまたは複数のブロックのために前記選択された近隣ブロックのインジケーションを復号することと
    をさらに備える、請求項6に記載の方法。
  8. 前記コード化する方法は、前記ビデオデータをコード化する方法を備え、前記方法は、
    前記複数のサブブロックを符号化することと、
    符号化されたビデオビットストリーム中で、前記符号化された複数のサブブロックを表わす符号化されたビデオデータをシグナルすることと
    をさらに備える、請求項5に記載の方法。
  9. シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPH)、またはスライスヘッダ(SH)のうちの1つにおいて、前記SPS、PPS、またはSHのうちの前記それぞれの1つに対応する前記ビデオデータのユニットにおける1つまたは複数のブロックのために前記選択された近隣ブロックのインジケーションをシグナルすることをさらに備える、
    請求項8に記載の方法。
  10. 前記現在のブロックの形状を決定するために、前記現在のブロックの幅を前記現在のブロックの高さと比較することをさらに備え、
    前記近隣ブロックを選択することは、前記現在のブロックの前記決定された形状に基づいて、前記複数の左近隣ブロックまたは前記複数の上近隣ブロックのうちの1つから前記近隣ブロックを選択することを備える、
    請求項5に記載の方法。
  11. 前記ビデオデータをコード化する前記方法は、符号化されたビデオデータを復号する方法を備え、前記方法は、
    前記現在のブロックの幅または前記現在のブロックの高さのうちの少なくとも1つを、それぞれ、前記現在のブロックのための所定の最小幅または前記現在のブロックのための所定の最低高さのうちの少なくとも1つと比較することと、
    前記比較に基づいて、前記現在のブロックを区分化するためのツリータイプまたは前記現在のブロックを区分化するための区分化方向のうちの少なくとも1つを決定することと
    をさらに備える、請求項1に記載の方法。
  12. 前記現在のブロックは、現在のコード化ユニット(CU)であり、前記ビデオデータをコード化する前記方法は、符号化されたビデオデータを復号する方法を備え、前記方法は、
    コード化ツリーユニット(CTU)のサイズが現在のピクチャのパディング領域を超えるて広がるようなピクチャ境界に前記ビデオデータの前記CTUが広がると決定することと、
    前記ピクチャ境界に広がっている前記CTUに基づいて、前記現在のCUを含む複数のコード化ユニット(CU)を形成するために、前記マルチタイプツリー構造の所定の区分化スキームを使用して前記CTUを再帰的に区分化することと
    をさらに備え、前記現在のCUは、前記現在のピクチャ内全体に位置付けられる、
    請求項1に記載の方法。
  13. 前記コード化する方法は、前記ビデオデータを符号化する方法を備え、前記方法は、
    前記現在のブロックを区分化のために複数の方向ツリータイプ組み合わせのうちのそれぞれの方向ツリータイプ組み合わせに複数のコードワードのうちのそれぞれのコードワードを割り当てることと、
    前記複数の方向ツリータイプ組み合わは、水平2分木組み合わせ、垂直2分木組み合わせ、水平中心側3分木、垂直中心側3分木を含み、
    前記マルチタイプツリーベースの区分化スキームの前記PT部分に従って前記現在のブロックを区分化することは、前記複数の方向ツリータイプ組み合わせ中に含まれる特定の方向ツリータイプ組み合わせに従って前記現在のブロックを区分化することを備え、
    符号化されたビットストリーム中で、前記現在のブロックが区分化されることに従う前記特定の方向ツリータイプ組み合わせに割り当てられた前記それぞれのコードワードをシグナルすることと、
    さらに備える、請求項1に記載の方法。
  14. ビデオデータをコード化するためのデバイスであって、
    前記ビデオデータを記憶するように構成されたメモリと、
    前記メモリと通信している処理回路と
    を備え、前記処理回路は、
    相対次元値を取得するために、前記記憶されたビデオデータの現在のブロックの次元の値を前記現在のブロックの近隣ブロックの対応する次元の値と比較すること、前記近隣ブロックは、前記現在のブロックに隣接した位置にある、と、
    前記相対次元値に基づいて、前記現在のブロックがマルチタイプツリーベースの区分化スキームの予測ツリー(PT)部分に従って区分化されるべきであると決定すること、前記マルチタイプツリーベースの区分化スキームの前記PT部分は、2分木構造または中心側3分木構造のうちの1つに従う区分化を備える、と、
    前記決定に基づいて、複数のサブブロックを形成するために、前記マルチタイプツリーベースの区分化スキームの前記PT部分に従って前記現在のブロックを区分化することと
    を行うように構成される、デバイス。
  15. 前記近隣ブロックは、現在のブロックの上に位置付けられた上近隣ブロックを備え、
    前記現在のブロックの前記次元の前記値を前記上近隣ブロックの前記対応する次元の前記値と比較するために、前記処理回路は、前記現在のブロックの上に位置付けられる前記上近隣ブロックを備える前記近隣ブロックに基づいて、前記現在のブロックの幅を前記近隣ブロックの幅と比較することを行うように構成され、
    前記現在のブロックを区分化するために、前記処理回路は、前記現在のブロックを垂直に区分化することを行うように構成される、
    請求項14に記載のデバイス。
  16. 前記近隣ブロックは、前記現在のブロックの左に位置付けられた左近隣ブロックを備え、
    前記現在のブロックの前記次元を前記左近隣ブロックの前記対応する次元と比較するために、前記処理回路は、前記現在のブロックの左に位置付けられる前記左近隣ブロックを備える前記近隣ブロックに基づいて、前記現在のブロックの高さを前記近隣ブロックの高さと比較することを行うように構成され、
    前記現在のブロックを区分化するために、前記処理回路は、前記現在のブロックを水平に区分化することを行うように構成される、
    請求項14に記載のデバイス。
  17. 前記近隣ブロックは、
    前記現在のブロックの上および左に位置付けられる左上近隣ブロック、
    前記現在のブロックの上および右に位置付けられる右上近隣ブロック、
    前記現在のブロックの下および右に位置付けられる左下近隣ブロック、
    のうちの1つを備える対角線上の近隣ブロックであり、
    前記対角線上の近隣ブロックの対応する前記次元の前記値と前記現在のブロックの前記次元の前記値を比較するために、前記処理回路は、前記近隣ブロックが前記対角線上の近隣ブロックであることに基づいて、前記上近隣ブロックのエリアと前記現在のブロックのエリアを比較することを行うように構成される、
    請求項14に記載のデバイス。
  18. 前記処理回路は、
    (i)前記現在のブロックの上部境界に沿う最も左の4×4サブブロックの上に位置付けられる第1の上近隣ブロックと、前記現在のブロックの前記上部境界に沿う中央の4×4サブブロックの上に位置付けられる第2の上近隣ブロックと、前記現在のブロックの前記上部境界に沿う最も右の4×4サブブロックの上に位置付けられる第3の上近隣ブロックとを含む複数の上近隣ブロック、または
    (ii)前記現在のブロックの左境界に沿う上部4×4サブブロックの左に位置付けられる第1の左近隣ブロックと、前記現在のブロックの前記左境界に沿う中央4×4サブブロックの左に位置付けられる第2の左近隣ブロックと、前記現在のブロックの前記左境界に沿う下部4×4サブブロックの左に位置付けられる第3の左近隣ブロックとを含む複数の上近隣ブロック
    のうちの1つから近隣ブロックを選択することを行うようにさらに構成される、請求項14に記載のデバイス。
  19. 前記デバイスは、符号化されたビデオデータを復号するためのデバイスを備え、前記処理回路は、
    前記複数のサブブロックのうちの1つまたは複数のサブブロックを復号することを行うようにさらに構成される、
    請求項18に記載のデバイス。
  20. 通信ハードウェアをさらに備え、前記処理回路は、
    前記通信ハードウェアを介して、符号化されたビデオビットストリーム中で、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、または、スライスヘッダ(SH)のうちの少なくとも1つを受信することと、
    前記受信したSPS、PPH、またはSHから、前記SPS、PPS、またはSHのうちの前記それぞれの1つに対応する前記ビデオデータのユニットにおける1つまたは複数のブロックのために前記選択された近隣ブロックのインジケーションを復号することと
    を行うようにさらに構成される、請求項19に記載のデバイス。
  21. 前記デバイスは、前記ビデオデータを符号化するためのデバイスを備え、前記処理回路は、
    前記複数のサブブロックを符号化することを行うようにさらに構成される、
    請求項18に記載のデバイス。
  22. 通信ハードウェアをさらに備え、前記処理回路は、
    前記通信ハードウェアを介して、符号化されたビデオビットストリーム中で、前記符号化された複数のサブブロックを表わす符号化されたビデオデータをシグナルすることと
    前記通信ハードウェアを介して、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPH)、またはスライスヘッダ(SH)のうちの1つにおいて、前記SPS、PPS、またはSHのうちの前記それぞれの1つに対応する前記ビデオデータのユニットにおける1つまたは複数のブロックのために前記選択された近隣ブロックのインジケーションをシグナルすることと
    を行うようにさらに構成される、請求項18に記載のデバイス。
  23. 前記処理回路は、
    前記現在のブロックの形状を決定するために、前記現在のブロックの幅を前記現在のブロックの高さと比較することを行うようにさらに構成され、
    前記近隣ブロックを選択するために、前記処理回路は、前記現在のブロックの前記決定された形状に基づいて、前記複数の左近隣ブロックまたは前記複数の上近隣ブロックのうちの1つから前記近隣ブロックを選択することを行うようにさらに構成される、
    請求項18に記載のデバイス。
  24. 前記デバイスは、前記ビデオデータを符号化するためのデバイスを備え、前記処理回路は、
    前記現在のブロックの幅または前記現在のブロックの高さのうちの少なくとも1つを、それぞれ、前記現在のブロックのための所定の最小幅または前記現在のブロックのための所定の最低高さのうちの少なくとも1つと比較することと、
    前記比較に基づいて、前記現在のブロックを区分化するためのツリータイプまたは前記現在のブロックを区分化するための区分化方向のうちの少なくとも1つを決定することと
    を行うようにさらに構成される、請求項14に記載のデバイス。
  25. 前記現在のブロックは、現在のコード化ユニット(CU)であり、前記デバイスは、符号化されたビデオデータを復号するためのデバイスを備え、前記処理回路は、
    コード化ツリーユニット(CTU)のサイズが現在のピクチャのパディング領域を超えるて広がるようなピクチャ境界に前記ビデオデータの前記CTUが広がると決定することと、
    前記ピクチャ境界に広がっている前記CTUに基づいて、前記現在のCUを含む複数のコード化ユニット(CU)を形成するために、前記マルチタイプツリー構造の所定の区分化スキームを使用して前記CTUを再帰的に区分化することと
    を行うようにさらに構成され、前記現在のCUは、前記現在のピクチャ内全体に位置付けられる、
    請求項14に記載のデバイス。
  26. 前記デバイスは、前記ビデオデータを符号化するためのデバイスを備え、前記処理回路は、通信ハードウェアをさらに備え、前記処理回路は、
    前記現在のブロックを区分化のために複数の方向ツリータイプ組み合わせのうちのそれぞれの方向ツリータイプ組み合わせに複数のコードワードのうちのそれぞれのコードワードを割り当てること、
    ここにおいて、前記複数の方向ツリータイプ組み合わせは、水平2分木組み合わせ、垂直2分木組み合わせ、水平中心側3分木、垂直中心側3分木を含み、
    前記マルチタイプツリーベースの区分化スキームの前記PT部分に従って前記現在のブロックを区分化するために、前記処理回路は、前記複数の方向ツリータイプ組み合わせ中に含まれる特定の方向ツリータイプ組み合わせに従って前記現在のブロックを区分化することを行うように構成される、と、
    前記通信ハードウェアを介して、符号化されたビットストリーム中で、前記現在のブロックが区分化されることに従う前記特定の方向ツリータイプ組み合わせに割り当てられた前記それぞれのコードワードをシグナルすることと、
    を行うようにさらに構成される、請求項14に記載のデバイス。
JP2019512793A 2016-09-07 2017-09-07 ビデオコード化のためのツリータイプコード化 Active JP7218287B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662384585P 2016-09-07 2016-09-07
US62/384,585 2016-09-07
US15/697,134 US10609423B2 (en) 2016-09-07 2017-09-06 Tree-type coding for video coding
US15/697,134 2017-09-06
PCT/US2017/050464 WO2018049020A1 (en) 2016-09-07 2017-09-07 Tree-type coding for video coding

Publications (3)

Publication Number Publication Date
JP2019530316A true JP2019530316A (ja) 2019-10-17
JP2019530316A5 JP2019530316A5 (ja) 2020-09-24
JP7218287B2 JP7218287B2 (ja) 2023-02-06

Family

ID=61281770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019512793A Active JP7218287B2 (ja) 2016-09-07 2017-09-07 ビデオコード化のためのツリータイプコード化

Country Status (9)

Country Link
US (3) US10609423B2 (ja)
EP (1) EP3510776A1 (ja)
JP (1) JP7218287B2 (ja)
KR (1) KR102515487B1 (ja)
CN (1) CN109644275B (ja)
BR (1) BR112019003749A2 (ja)
SG (1) SG11201900438WA (ja)
TW (1) TWI788302B (ja)
WO (1) WO2018049020A1 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567808B2 (en) * 2016-05-25 2020-02-18 Arris Enterprises Llc Binary ternary quad tree partitioning for JVET
CN109479131B (zh) * 2016-06-24 2023-09-01 世宗大学校产学协力团 视频信号处理方法及装置
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
KR102531386B1 (ko) * 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
CN117768645A (zh) 2016-10-04 2024-03-26 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
US20190260992A1 (en) * 2016-10-10 2019-08-22 Samsung Electronics Co., Ltd. Method and device for encoding or decoding luma block and chroma block
US10779004B2 (en) * 2016-10-12 2020-09-15 Mediatek Inc. Methods and apparatuses of constrained multi-type-tree block partition for video coding
GB2557430B (en) * 2016-10-12 2020-01-15 Mediatek Inc Methods and apparatuses of constrained multi-type-tree block partition for video coding
US20180109812A1 (en) * 2016-10-14 2018-04-19 Media Tek Inc. Block partitioning using tree structures
KR20180045530A (ko) * 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
CN117097911A (zh) * 2016-11-18 2023-11-21 株式会社Kt 视频解码方法、视频编码方法和压缩视频数据发送设备
WO2018092869A1 (ja) * 2016-11-21 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
JPWO2018092868A1 (ja) 2016-11-21 2019-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 符号化装置、復号装置、符号化方法及び復号方法
BR112018067678B1 (pt) * 2016-12-05 2024-01-02 Ericsson Telecomunicações S.A Método para tratamento de um fluxo contínuo de dados, codificador, decodificador, e, portadora
AU2017377490B2 (en) * 2016-12-16 2022-04-21 FG Innovation Company Limited Image decoding device and image coding device
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
CN108965894B (zh) * 2017-05-27 2021-12-21 华为技术有限公司 一种视频图像的编解码方法及装置
US10666943B2 (en) * 2017-09-15 2020-05-26 Futurewei Technologies, Inc. Block partition structure in video compression
CN111527751A (zh) * 2017-12-29 2020-08-11 夏普株式会社 用于在用于视频编码的图片的边界处划分视频块的系统和方法
EP3763128A4 (en) * 2018-03-14 2022-04-06 Mediatek Inc. METHOD AND APPARATUS PROVIDING AN OPTIMIZED DIVISION STRUCTURE FOR VIDEO CODING
CN110278443B (zh) * 2018-03-16 2022-02-11 华为技术有限公司 划分标志位的上下文建模方法及装置
WO2019174567A1 (zh) 2018-03-16 2019-09-19 华为技术有限公司 划分标志位的上下文建模方法及装置
CN116866565A (zh) * 2018-03-21 2023-10-10 Lx 半导体科技有限公司 图像编码/解码方法、存储介质以及图像数据的传输方法
US11330260B2 (en) * 2018-03-23 2022-05-10 Sharp Kabushiki Kaisha Systems and methods for adaptively partitioning video blocks for video coding
CN111937404B (zh) * 2018-03-26 2023-12-15 寰发股份有限公司 一种用于视频编码器或解码器的视频编解码方法及装置
EP3777147B1 (en) * 2018-03-29 2023-02-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding a picture using picture boundary handling
US11470359B2 (en) * 2018-03-30 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US10375422B1 (en) * 2018-03-30 2019-08-06 Tencent America LLC Method and apparatus for motion field based tree splitting
CN112055964B (zh) 2018-04-30 2022-06-07 寰发股份有限公司 用于视频编解码中的独立编码树的语法交错方法和装置
EP4319158A3 (en) * 2018-05-10 2024-04-03 Samsung Electronics Co., Ltd. Image segmentation method and apparatus for image encoding and decoding
WO2019225991A1 (ko) * 2018-05-23 2019-11-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019234613A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with partition into 3 sub-blocks by horizontal and vertical splits
CN112567749B (zh) * 2018-06-18 2024-03-26 Lg电子株式会社 使用仿射运动预测来处理视频信号的方法和装置
EP3808083A1 (en) 2018-06-18 2021-04-21 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding based on asymmetric binary partitioning of image blocks
WO2019244116A1 (en) * 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Border partition in video coding
KR20210020924A (ko) * 2018-06-27 2021-02-24 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
CN112385220B (zh) * 2018-07-14 2022-12-09 寰发股份有限公司 对具有分割约束的视频图像进行编码或解码的方法和装置
TWI820197B (zh) 2018-08-28 2023-11-01 大陸商北京字節跳動網絡技術有限公司 與擴展四叉樹相關的分割的二值化
CN116208767B (zh) * 2018-09-03 2023-11-28 华为技术有限公司 一种对码流进行解码的方法、装置以及存储码流的设备
WO2020057516A1 (en) * 2018-09-18 2020-03-26 Huawei Technologies Co., Ltd. Partitioning with high level constraint
WO2020057530A1 (en) * 2018-09-18 2020-03-26 Huawei Technologies Co., Ltd. Coding method, device, system
GB2577318B (en) * 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
WO2020069632A1 (en) * 2018-10-01 2020-04-09 Huawei Technologies Co., Ltd. A video encoder, a video decoder and corresponding methods
WO2020071368A1 (ja) * 2018-10-04 2020-04-09 株式会社エスペラントシステム データ処理システム、データ処理装置、データ処理方法及びプログラム
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084554A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Searching based motion candidate derivation for sub-block motion vector prediction
WO2020098643A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
JP7337157B2 (ja) * 2018-11-12 2023-09-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオエンコーダ、ビデオデコーダおよびピクチャを符号化または復号する方法
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
JP7319365B2 (ja) 2018-11-22 2023-08-01 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測のための調整方法
US11172214B2 (en) * 2018-12-21 2021-11-09 Qualcomm Incorporated Derivation of processing area for parallel processing in video coding
BR112021013107A2 (pt) * 2019-01-02 2021-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificação e decodificação de uma figuração e fluxo de dados
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
US20220167009A1 (en) * 2019-03-12 2022-05-26 Sharp Kabushiki Kaisha Systems and methods for performing intra prediction coding in video coding
CN113632494B (zh) * 2019-03-22 2023-12-08 华为技术有限公司 用于视频译码的变换单元分割方法
EP3922014A4 (en) 2019-04-02 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. DECODER SIDE MOTION VECTOR BYPASS
CN114026871A (zh) * 2019-06-24 2022-02-08 鸿颖创新有限公司 用于对视频数据编码的装置和方法
WO2021023262A1 (en) * 2019-08-06 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Using screen content coding tool for video encoding and decoding
JP7481430B2 (ja) 2019-08-13 2024-05-10 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測における動き精度
CN114342400A (zh) 2019-09-02 2022-04-12 北京字节跳动网络技术有限公司 基于色彩格式的编解码模式确定
KR102649584B1 (ko) 2019-09-21 2024-03-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 인트라 모드에 기초한 크기 제한
CN114762330A (zh) 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
US11589044B2 (en) * 2019-10-14 2023-02-21 Hfi Innovation Inc. Video encoding and decoding with ternary-tree block partitioning
US11363285B2 (en) * 2020-02-20 2022-06-14 Tencent America LLC Block partitioning at picture boundaries
CN113286152B (zh) 2020-02-20 2023-05-23 腾讯美国有限责任公司 视频解码方法、装置、计算机设备及存储介质
WO2021201384A1 (ko) * 2020-04-03 2021-10-07 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법
WO2021215811A1 (ko) * 2020-04-24 2021-10-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2021246837A1 (ko) * 2020-06-05 2021-12-09 엘지전자 주식회사 포인트 클라우드 데이터 처리 디바이스 및 처리 방법
WO2021256873A1 (ko) * 2020-06-17 2021-12-23 엘지전자 주식회사 포인트 클라우드 데이터 처리 디바이스 및 처리 방법
WO2021256887A1 (ko) * 2020-06-18 2021-12-23 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20230260163A1 (en) * 2020-07-13 2023-08-17 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2022025552A1 (ko) * 2020-07-31 2022-02-03 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2024015639A1 (en) * 2022-07-15 2024-01-18 Bytedance Inc. Neural network-based image and video compression method with parallel processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013509788A (ja) * 2009-10-30 2013-03-14 サムスン エレクトロニクス カンパニー リミテッド ピクチャ境界の符号化単位を符号化/復号化する方法及びその装置
JP2013229674A (ja) * 2012-04-24 2013-11-07 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び画像復号プログラム

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007023785B4 (de) * 2007-05-16 2014-06-18 Seereal Technologies S.A. Analytisches Verfahren zu Berechnung von Videohologrammen in Echtzeit und holographische Wiedergabeeinrichtung
KR101487686B1 (ko) 2009-08-14 2015-01-30 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP5562346B2 (ja) 2009-10-20 2014-07-30 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
KR101457396B1 (ko) * 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
KR101675118B1 (ko) * 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101447796B1 (ko) * 2010-04-13 2014-10-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 평면 간 예측
JP5856143B2 (ja) * 2010-04-13 2016-02-09 ジーイー ビデオ コンプレッション エルエルシー 細分割を使用した2次元情報信号の空間的なサンプリングの符号化
AU2011241283B2 (en) 2010-04-13 2015-02-05 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
PT3301648T (pt) * 2010-04-13 2020-04-20 Ge Video Compression Llc Herança em matriz de amostras em subdivisão multitree
DK2559246T3 (en) * 2010-04-13 2016-09-19 Ge Video Compression Llc Fusion of sample areas
ES2691743T3 (es) * 2010-12-06 2018-11-28 Sun Patent Trust Método de codificación de imágenes, método de decodificación de imágenes, dispositivo de codificación de imágenes y dispositivo de decodificación de imágenes
US9807424B2 (en) 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
CN102595116B (zh) * 2011-01-14 2014-03-12 华为技术有限公司 多图像块划分的编解码方法和装置
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
KR101442127B1 (ko) * 2011-06-21 2014-09-25 인텔렉추얼디스커버리 주식회사 쿼드트리 구조 기반의 적응적 양자화 파라미터 부호화 및 복호화 방법 및 장치
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9462275B2 (en) * 2012-01-30 2016-10-04 Qualcomm Incorporated Residual quad tree (RQT) coding for video coding
US9185405B2 (en) * 2012-03-23 2015-11-10 Qualcomm Incorporated Coded block flag inference in video coding
US9467701B2 (en) * 2012-04-05 2016-10-11 Qualcomm Incorporated Coded block flag coding
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
JP6080405B2 (ja) * 2012-06-29 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN102984521B (zh) * 2012-12-12 2015-04-08 四川大学 基于时域相关性的高性能视频编码帧间模式判决方法
WO2014120368A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
FR3029333A1 (fr) 2014-11-27 2016-06-03 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10382795B2 (en) * 2014-12-10 2019-08-13 Mediatek Singapore Pte. Ltd. Method of video coding using binary tree block partitioning
US10085027B2 (en) * 2015-03-06 2018-09-25 Qualcomm Incorporated Adaptive mode checking order for video encoding
WO2016148438A2 (ko) * 2015-03-13 2016-09-22 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
WO2016154963A1 (en) 2015-04-01 2016-10-06 Mediatek Inc. Methods for chroma coding in video codec
US10638129B2 (en) * 2015-04-27 2020-04-28 Lg Electronics Inc. Method for processing video signal and device for same
US10735728B2 (en) * 2015-10-12 2020-08-04 Lg Electronics Inc. Method for processing image and apparatus therefor
US10623767B2 (en) * 2015-10-19 2020-04-14 Lg Electronics Inc. Method for encoding/decoding image and device therefor
WO2017090961A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN108605130B (zh) * 2015-11-27 2021-05-11 联发科技股份有限公司 一种用于对与区块相关的符号进行熵编解码的方法和装置
US10212444B2 (en) 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
US10142652B2 (en) * 2016-05-05 2018-11-27 Google Llc Entropy coding motion vector residuals obtained using reference motion vectors
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
WO2017204427A1 (ko) * 2016-05-23 2017-11-30 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
US10567808B2 (en) * 2016-05-25 2020-02-18 Arris Enterprises Llc Binary ternary quad tree partitioning for JVET
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
KR20230033027A (ko) * 2016-11-01 2023-03-07 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10848788B2 (en) * 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
EP3383045A1 (en) * 2017-03-27 2018-10-03 Thomson Licensing Multiple splits prioritizing for fast encoding
EP3383044A1 (en) * 2017-03-27 2018-10-03 Thomson Licensing Reducing redundancy between tree types
US11134273B2 (en) * 2019-02-14 2021-09-28 Qualcomm Incorporated Regular coded bin reduction for coefficient coding
US11849131B2 (en) * 2019-03-07 2023-12-19 Qualcomm Incorporated Adaptive subblock size for affine motion compensation
US11202101B2 (en) * 2019-03-13 2021-12-14 Qualcomm Incorporated Grouped coding for palette syntax in video coding
US11277637B2 (en) * 2019-05-09 2022-03-15 Qualcomm Incorporated Reference sampling for matrix intra prediction mode
US11363284B2 (en) * 2019-05-09 2022-06-14 Qualcomm Incorporated Upsampling in affine linear weighted intra prediction
US11233988B2 (en) * 2019-05-17 2022-01-25 Qualcomm Incorporated Reference picture resampling and inter-coding tools for video coding
US11019334B2 (en) * 2019-05-17 2021-05-25 Qualcomm Incorporated Multiple adaptive loop filter sets for video coding
US11317088B2 (en) * 2019-05-17 2022-04-26 Qualcomm Incorporated Gradient-based prediction refinement for video coding
US11611759B2 (en) * 2019-05-24 2023-03-21 Qualcomm Incorporated Merge mode coding for video coding
US11381847B2 (en) * 2019-05-31 2022-07-05 Qualcomm Incorporated Coefficient coding for transform skip mode in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013509788A (ja) * 2009-10-30 2013-03-14 サムスン エレクトロニクス カンパニー リミテッド ピクチャ境界の符号化単位を符号化/復号化する方法及びその装置
JP2013229674A (ja) * 2012-04-24 2013-11-07 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び画像復号プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEI WU, ET AL.: "Fast prediction unit partiton mode selection for high-efficiency video coding intercoding using moti", JOURNAL OF ELECTRONIC IMAGING, vol. Vol. 24(6), JPN7021004184, December 2015 (2015-12-01), pages 063024 - 1, ISSN: 0004792599 *

Also Published As

Publication number Publication date
KR102515487B1 (ko) 2023-03-28
SG11201900438WA (en) 2019-03-28
US10609423B2 (en) 2020-03-31
EP3510776A1 (en) 2019-07-17
CN109644275A (zh) 2019-04-16
WO2018049020A1 (en) 2018-03-15
US11089339B2 (en) 2021-08-10
TW201813386A (zh) 2018-04-01
US20210344970A1 (en) 2021-11-04
BR112019003749A2 (pt) 2019-05-21
US11743508B2 (en) 2023-08-29
US20180070110A1 (en) 2018-03-08
TWI788302B (zh) 2023-01-01
US20200267418A1 (en) 2020-08-20
KR20190044629A (ko) 2019-04-30
JP7218287B2 (ja) 2023-02-06
CN109644275B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
US11089339B2 (en) Tree-type coding for video coding
US11431968B2 (en) Variable number of intra modes for video coding
US11172229B2 (en) Affine motion compensation with low bandwidth
CN113196749B (zh) 用于译码视频数据的方法和设备
JP6783788B2 (ja) ビデオコーディングにおけるサブブロックの動き情報の導出
US10178403B2 (en) Reference picture list construction in intra block copy mode
US20200112715A1 (en) History-based motion vector prediction for inter prediction coding
RU2698760C2 (ru) Блочное адаптивное кодирование с преобразованием цветового пространства
US9883197B2 (en) Intra prediction of chroma blocks using the same vector
JP2020536443A (ja) ビデオコーディングのためのアフィン予測動き情報をコーディングすること
JP2019525659A (ja) 分離ツリー構造を使用したイントラビデオコーディング
JP2018537908A (ja) ビデオデータの符号情報をコーディングすること
KR20220011633A (ko) 비디오 코딩을 위한 병합 모드 코딩
JP2019506071A (ja) ビデオコード化のためのマルチタイプツリーフレームワーク
JP7474774B2 (ja) ビデオコーディングにおけるイントラブロックコピーモードのための動きベクトル予測子リスト生成
US20190313108A1 (en) Non-square blocks in video coding
KR20210093926A (ko) 비디오 코딩을 위한 삼각형 모션 정보
JP2017523672A (ja) ビデオコーディングにおける成分間予測
US11064192B2 (en) Simplification of spatial-temporal motion vector prediction
US20210203982A1 (en) History-based motion vector predictor constraint for merge estimation region
JP2016513441A (ja) スケーラブルビデオコーディングのための空間動きベクトルスケーリング
US20210076072A1 (en) Constant slice header parameters signaled at higher syntax level for video coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200812

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

TRDD Decision of grant or rejection written
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230125

R150 Certificate of patent or registration of utility model

Ref document number: 7218287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150