JP2023027229A - ４：４：４彩度フォーマットにおける映像符号化の方法、電子装置、非一時的なコンピュータ可読記憶媒体及びコンピュータプログラム - Google Patents

Abstract

【課題】輝度マッピング及び彩度スケーリングを用いて適応色空間変換を実行する方法及び電子装置を提供する。【解決手段】映像データをデコードする方法は、ビットストリームから彩度スケーリングを用いる輝度マッピングがスライス内の符号化ユニットに適用されるか否かを指示する第１のシンタックス要素を受信することと、適応色空間変換を使用して符号化ユニットが符号化されるか否かを指示する第２のシンタックス要素を受信することと、第２のシンタックス要素がゼロ以外の値を有する場合、逆ＡＣＴを適用して符号化ユニットの輝度残差と彩度残差とを映像データの変換された色空間から元の色空間に転換することと、第１のシンタックス要素がゼロ以外の値を有する場合、逆ＡＣＴを実行した後、符号化ユニットの輝度サンプルへの逆輝度マッピング及び符号化ユニットの彩度残差への逆スケーリングを実行することで符号化ユニットをデコードすることと、を含む。【選択図】図１０

Description

関連出願の相互参照
本出願は、２０１９年１０月１１日に出願の“ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＯＦ ＶＩＤＥＯ ＣＯＤＩＮＧ ＩＮ ４:４:４ ＣＨＲＯＭＡ ＦＯＲＭＡＴ”と題されたUS仮出願番号第６２/９１４,２８２の利益を主張し、且つ２０１９年１０月１８日に出願の“ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＯＦ ＶＩＤＥＯ ＣＯＤＩＮＧ ＩＮ ４:４:４ ＣＨＲＯＭＡ ＦＯＲＭＡＴ”と題されたＵＳ仮出願番号第６２/９２３,３９０の利益を主張し、その両者の全内容は参照により本明細書に援用される。

本出願は、一般に、映像データ符号化および圧縮に関連し、特に、彩度残差スケーリングを用いて適応色空間変換（ＡＣＴ）を実行する方法およびシステムに関連する。

デジタル映像は、デジタルテレビ、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤー、映像ゲームコンソール、スマートフォン、映像電話会議デバイス、映像ストリーミングデバイスなどの様々な電子デバイスによってサポートされている。電子デバイスは、ＭＰＥＧ-４、ＩＴＵ-ＴＨ.２６３、ＩＴＵ-ＴＨ.２６４/ＭＰＥＧ-４、パート１０、高度映像符号化(ＡＤＶＡＮＣＥＤ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)（ＡＶＣ）、高効率映像符号化（ＨＩＧＨ ＥＦＦＩＣＩＥＮＣＹ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（ＨＥＶＣ）、および汎用映像符号化（ＶＥＲＳＡＴＩＬＥ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（ＶＶＣ）標準で定義されている映像圧縮/解凍標準を実行することにより、デジタル映像データを送信し、受信し、エンコードし、デコードし、および/または記憶する。映像圧縮は、通常、空間（フレーム内）予測および／または時間（フレーム間）予測を実行して映像データに固有の冗長性を低減または削除することを含む。ブロックベースの映像符号化の場合、映像フレームは１つまたは複数のスライスに分割され、各スライスには複数の映像ブロックがあり、これらは符号化木ユニット（ＣＴＵ）とも呼ばれてもよい。各ＣＴＵは、1つの符号化ユニット（ＣＵ）を含有し、又は事前定義された最小ＣＵサイズに達するまで再帰的により小さいＣＵに分割されてもよい。各ＣＵ（葉ＣＵとも呼ばれる）は、1つまたは複数の変換ユニット（ＴＵ）を含有し、各ＣＵは1つまたは複数の予測ユニット（ＰＵ）も含有する。各ＣＵは、イントラ、インター、またはＩＢＣモードのいずれかで符号化されてもよい。映像フレームのイントラ符号化された（Ｉ）スライス内の映像ブロックは、同じ映像フレーム内の隣接するブロックにおける参照サンプルに関して空間予測を使用しエンコードされる。映像フレームのインター符号化された（ＰまたはＢ）スライス内の映像ブロックは、同じ映像フレームにおける隣接するブロック内の参照サンプルに関して空間予測を使用し、または他の以前および/または将来の参照映像フレーム内の参照サンプルに関して時間予測を使用してもよい。

先にエンコードされた参照ブロック、例えば、隣接するブロックに基づく空間または時間予測は、符号化される当前の映像ブロックための予測ブロックをもたらす。参照ブロックを見つける処理は、ブロックマッチングアルゴリズムによって実行されてもよい。符号化される当前のブロックと予測ブロックの間のピクセル差を表現する残差データは、残差ブロックまたは予測誤差と呼ばれる。インター符号化されたブロックは、予測ブロックを形成する参照フレーム内の参照ブロックを指す動きベクトルと残差ブロックに従ってエンコードされる。動きベクトルを決定する処理は、通常、動き推定と呼ばれる。イントラ符号化されたブロックは、イントラ予測モードと残差ブロックに従ってエンコードされる。さらなる圧縮のために、残差ブロックは、ピクセルドメインから変換ドメイン、例えば、周波数ドメインに変換され、残差変換係数が得られ、これらは次に量子化されてもよい。最初に２次元アレイに配置された量子化された変換係数がスキャンされて変換係数の１次元ベクトルが生成され、次に映像ビットストリームになるようにエントロピーエンコードされ、更なる圧縮が実現され得る。

次に、エンコードされた映像ビットストリームは、コンピュータ可読記憶媒体（例えば、フラッシュメモリ）に保存されてデジタル映像機能を備えた他の電子デバイスによってアクセスされ、または有線或いは無線で電子デバイスに直接送信される。次に、電子デバイスは、例えば、エンコードされた映像ビットストリームを解析してビットストリームからシンタックス要素を取得し且つビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいてエンコードされた映像ビットストリームからデジタル映像データをその元のフォーマットに再構築することによって、映像解凍（上記の映像圧縮とは相反の処理）を実行し、再構築されたデジタル映像データを電子デバイスのディスプレイにレンダーする。

デジタル映像品質が高解像度から４Ｋｘ２Ｋ或いはさらには８Ｋｘ４Ｋに移行する場合に、エンコード／デコードされる映像データの量は指数関数的に増大する。如何にしてデコードされた映像データの画像品質を維持しながら、映像データをより効率的にエンコード/デコードできるかについて、常に挑戦がある。

特定の映像コンテンツ、例えば、スクリーンコンテンツ映像は、４：４：４彩度フォーマットでエンコードされ、当該フォーマットでは、すべての３つの成分（輝度成分および両方の彩度成分）が同じ解像度を有する。 ４：４：４彩度フォーマットは４：２：０彩度フォーマットおよび４：２：２彩度フォーマットと比べてより多くの冗長性を含む（良好な圧縮効率を実現するのに不向きである）が、４：４：４彩度フォーマットはデコードされた映像におけるシャープエッジなどの色情報を保持するために高い忠実度が要求される多くのアプリケーションに対して、依然として推奨されるエンコーディングフォーマットである。４：４：４彩度フォーマット映像に存在する冗長性を考えると、４：４：４映像の３つの色成分（例えば、ＹＣｂＣｒドメインのＹ、Ｃｂ、Ｃｒ、またはＲＧＢドメインのＧ、Ｂ、Ｒ）間の関連を利用することで、符号化を大幅に改善することが実現できるという証拠がある。これらの関連により、ＨＥＶＣスクリーンコンテンツ符号化（ＳＣＣ）拡張の開発中に、適応色空間変換（ＡＣＴ）ツールを使用して３つの色成分間の関連を利用する。

本出願は、映像データのエンコーディングおよびデコーディング、より具体的には、輝度マッピングおよび彩度スケーリング（ＬＭＣＳ）を用いて適応色空間変換（ＡＣＴ）を実行するシステムおよび方法に関する実行を説明する。

本出願の第１の態様によれば、映像データをデコードする方法は、ビットストリームから、スライスのスライスヘッダ内の第１のシンタックス要素を受信し、当該第１のシンタックス要素が、彩度スケーリングを用いる輝度マッピング（ＬＭＣＳ）がスライスにおける符号化ユニットに適用されるか否かを示すことと、符号化ユニットのための第２のシンタックス要素を受信し、当該第２のシンタックス要素が、適応色空間変換（ＡＣＴ）を使用して符号化ユニットが符号化されるか否かを示すことと、第２のシンタックス要素がゼロ以外の値を有する場合、逆ＡＣＴを適用して符号化ユニットの輝度と彩度の残差を映像データの変換された色空間から元の色空間に転換することで符号化ユニットをデコードすることと、逆ＡＣＴを実行した後、第１のシンタックス要素がゼロ以外の値が有する場合、符号化ユニットの輝度サンプルへの逆輝度マッピング及び符号化ユニットの彩度残差への逆スケーリングを実行することで符号化ユニットをデコードすることと、を含む。

本出願の第２の態様によれば、映像データをデコードする方法は、ビットストリームから、符号化ユニットに対応する映像データを受信し、符号化ユニットがイントラ予測モードによって符号化されることと、映像データから第１のシンタックス要素を受信し、第１のシンタックス要素が、適応色空間変換（ＡＣＴ）を使用して符号化ユニットが符号化されるか否かを示すことと、第１のシンタックス要素がゼロ値を有する場合、映像データから１つまたは複数のシンタックス要素を受信し、１つまたは複数のシンタックス要素が、ブロック差動パルス符号化変調（ＢＤＰＣＭ）を使用して符号化ユニットの彩度成分が符号化されるか否かを示すことと、第１のシンタックス要素がゼロ以外の値を有する場合、ＢＤＰＣＭに関連付けられた1つまたは複数のシンタックス要素にデフォルト値を割り当てることと、 ＡＣＴに関連付けられた第１のシンタックス要素およびＢＤＰＣＭに関連付けられた１つまたは複数のシンタックス要素に従って、映像データから符号化ユニットをデコードすることと、を含む。

本出願の第３の態様によれば、電子装置は、１つまたは複数の処理ユニット、メモリ、およびメモリに記憶された複数のプログラムを含む。プログラムは、１つまたは複数の処理ユニットによって実行されると、電子装置に、上記のように映像データをデコードする方法を実行させる。

本出願の第４の態様によれば、非一時的なコンピュータ可読記憶媒体は、１つまたは複数の処理ユニットを有する電子装置によって実行するための複数のプログラムを記憶する。プログラムは、１つまたは複数の処理ユニットによって実行されると、電子装置に、上記のように映像データをデコードする方法を実行させる。

実行のさらなる理解を提供するために本明細書に含まれ、且つ本明細書の一部に組み込まれ、かつ本明細書の一部を構成する添付図面は、説明された実行を示し、説明とともに、基礎となる原理を解釈するのに役立つ。同じ参照番号は対応の部分を参照する。

図１は、本開示のいくつかの実行による例示的な映像エンコーディングおよびデコーディングシステムを示すブロック図である。

図２は、本開示のいくつかの実行による例示的な映像エンコーダを示すブロック図である。

図３は、本開示のいくつかの実行による例示的な映像デコーダを示すブロック図である。

図４Ａは、本開示のいくつかの実行に従って、フレームが異なるサイズおよび形状の複数の映像ブロックに再帰的に分割される方式を示すブロック図である。 図４Ｂは、本開示のいくつかの実行に従って、フレームが異なるサイズおよび形状の複数の映像ブロックに再帰的に分割される方式を示すブロック図である。 図４Ｃは、本開示のいくつかの実行に従って、フレームが異なるサイズおよび形状の複数の映像ブロックに再帰的に分割される方式を示すブロック図である。 図４Ｄは、本開示のいくつかの実行に従って、フレームが異なるサイズおよび形状の複数の映像ブロックに再帰的に分割される方式を示すブロック図である。 図４Ｅは、本開示のいくつかの実行に従って、フレームが異なるサイズおよび形状の複数の映像ブロックに再帰的に分割される方式を示すブロック図である。

図５Ａは、本開示のいくつかの実行に従って、ＲＧＢ色空間とＹＣｇＣｏ色空間との間に残差を変換するために適応色空間変換（ＡＣＴ）の技術を適用する例を示すブロック図である。 図５Ｂは、本開示のいくつかの実行に従って、ＲＧＢ色空間とＹＣｇＣｏ色空間との間に残差を変換するために適応色空間変換（ＡＣＴ）の技術を適用する例を示すブロック図である。

図６は、本開示のいくつかの実行に従って、例示的な映像データデコーディング処理において、彩度スケーリングを用いる輝度マッピング（ＬＭＣＳ）の技術を適用することのブロック図である。

図７は、本開示のいくつかの実行に従って、映像デコーダが逆適応色空間変換（ＡＣＴ）の技術を実行することによる例示的な映像デコーディング処理を示すブロック図である。

図８Ａは、本開示のいくつかの実行に従って、映像デコーダが逆適応色空間変換（ＡＣＴ）および彩度スケーリングを用いる輝度マッピング（ＬＭＣＳ）の技術を実行することによる例示的な映像デコーディング処理を示すブロック図である。 図８Ｂは、本開示のいくつかの実行に従って、映像デコーダが逆適応色空間変換（ＡＣＴ）および彩度スケーリングを用いる輝度マッピング（ＬＭＣＳ）の技術を実行することによる例示的な映像デコーディング処理を示すブロック図である。

図９は、本開示のいくつかの実行に従って、適応色空間変換（ＡＣＴ）とブロック差動パルス符号化変調（ＢＤＰＣＭ）とを実行するの間の例示的なデコーディング論理を示すブロック図である。

図１０は、本開示のいくつかの実行に従って彩度スケーリングを用いて逆適応色空間変換を実行することによって映像デコーダが映像データをデコードすることによる例示的な処理を示すフローチャートである。

参照番号が、例示的実施形態の詳細に付与され、その例が添付の図面に示されている。以下の詳細な説明では、本明細書に提示される主題を理解するのを助けるために、多くの非限定的な特定の詳細が示される。しかし、当業者には、特許請求の範囲から逸脱することなく様々な代替案を使用することができ、主題はこれらの特定の詳細なしで実行することができることが明らかである。例えば、ここで提示される主題が、デジタル映像機能を備えた多くのタイプの電子デバイスに実行され得ることは、当業者には明らかである。

図１は、本開示のいくつかの実行に従って、映像ブロックを並列にエンコードおよびデコードするための例示的なシステム１０を示すブロック図である。図１に示されるように、システム１０は、宛先デバイス１４によって後でデコードされるべき映像データを生成およびエンコードするソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップまたはラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む任意の多種多様な電子デバイスを含んでもよい。いくつかの実行では、ソースデバイス１２および宛先デバイス１４は、無線通信機能を備えている。

いくつかの実行では、宛先デバイス１４は、リンク１６を介してデコードされるべきエンコードされた映像データを受信することができる。リンク１６は、エンコードされた映像データをソースデバイス１２から宛先デバイス１４に移動できる任意のタイプの通信媒体またはデバイスを含んでもよい。一例では、リンク１６は、ソースデバイス１２がエンコードされた映像データを宛先１４にリアルタイムで直接送信することを可能にする通信媒体を含んでもよい。エンコードされた映像データは、無線通信プロトコルなどの通信標準に従って変調され、宛先デバイス１４に送信されてもよい。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理的な送信ラインなどの任意の無線または有線通信媒体を含んでもよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局
、またはソースデバイス１２から宛先デバイス１４への通信を容易にするのに役立つ可能性がある他の任意の機器を含んでもよい。

いくつかの他の実行では、エンコードされた映像データは、出力インターフェース２２から記憶デバイス３２に送信されてもよい。続いて、記憶デバイス３２内のエンコードされた映像データは、入力インターフェース２８を介して宛先デバイス１４によってアクセスされてもよい。記憶デバイス３２は、ハードドライブ、Ｂｌｕ-ｒaｙ（登録商標）ディスク、ＤＶＤ、ＣＤ-ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、またはエンコードされた映像データを記憶するための任意の他の適切なデジタル記憶媒体などの任意のさまざまな分散型またはローカルアクセス型のデータ記憶媒体を含んでもよい。さらなる例では、記憶デバイス３２は、ソースデバイス１２によって生成されたエンコードされた映像データを保持できるファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して記憶デバイス３２から記憶された映像データにアクセスし得る。ファイルサーバーは、エンコードされた映像データを記憶しエンコードされた映像データを宛先デバイス１４に送信することができる任意のタイプのコンピュータでもよい。例示的なファイルサーバーには、ウェブサーバー（例えば、ウェブサイト用）、ＦＴＰサーバー、ネットワーク接続記憶（ＮＡＳ）デバイス、またはローカルディスクドライブが含まれる。宛先デバイス１４は、無線チャネル（例えば、Ｗｉ?Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはその両方の、ファイルサーバーに記憶されるエンコードされた映像データにアクセスするのに適す組み合わせを含む任意の標準データ接続を介してエンコードされた映像データにアクセスすることができる。記憶デバイス３２からのエンコードされた映像データの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組み合わせでもよい。

図１に示されるように、ソースデバイス１２は、映像ソース１８、映像エンコーダ２０、および出力インターフェース２２を含む。映像ソース１８は、映像キャプチャデバイス（例えば、映像カメラ）、前にキャプチャされた映像を含有する映像アーカイブ、映像コンテンツプロバイダーから映像を受信するための映像フィードインターフェイス、および/またはソース映像としてコンピューターグラフィックスデータを生成するためのコンピューターグラフィックスシステム、またはそのようなソースの組み合わせなどのソースを含んでもよい。一例として、映像ソース１８がセキュリティ監視システムの映像カメラである場合、ソースデバイス１２および宛先デバイス１４は、カメラ電話または映像電話を形成し得る。しかしながら、本出願で説明される実行は、一般に映像符号化に適用可能であり、そして無線および／または有線アプリケーションに適用されることができる。

キャプチャされた、事前にキャプチャされた、またはコンピュータで生成された映像は、映像エンコーダ２０によってエンコードされてもよい。エンコードされた映像データは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信されてもよい。エンコードされた映像データは、（または代わりに）記憶デバイス３２に記憶されて後で宛先デバイス１４または他のデバイスによってアクセスされ、デコーディングおよび／または再生のために用いられてもよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでもよい。

宛先デバイス１４は、入力インターフェース２８、映像デコーダ３０、およびディスプレイデバイス３４を含む。入力インターフェース２８は、受信機および／またはモデムを含み、リンク１６を介してエンコードされた映像データを受信することができる。リンク１６を介して通信されるまたは記憶デバイス３２上に提供されるエンコードされた映像データは、映像データをデコードする際に映像デコーダ３０によって使用されるために映像エンコーダ２０によって生成される様々なシンタックス要素を含んでもよい。そのようなシンタックス要素は、通信媒体で送信され、記憶媒体に記憶され、またはファイルサーバーに記憶されるエンコードされた映像データ内に含まれ得る。

いくつかの実行では、宛先デバイス１４は、統合ディスプレイデバイスおよび宛先デバイス１４と通信するように構成された外部ディスプレイデバイスであるディスプレイデバイス３４を含んでもよい。ディスプレイデバイス３４は、デコードされた映像データをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの任意の様々なディスプレイデバイスを含んでもよい。

映像エンコーダ２０および映像デコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ?４、パート１０、高度映像符号化（ＡＶＣ）、またはそのような標準の拡張などの専有または業界標準に従って動作できる。本出願は、特定の映像符号化／デコーディング標準に限定されず、他の映像符号化／デコーディング標準に適用可能であることが了解される。ソースデバイス１２の映像エンコーダ２０は、これらの任意の当前または将来の標準に従って映像データをエンコードするように構成され得ることが一般的に思い及ばれる。同様に、宛先デバイス１４の映像デコーダ３０は、これらの任意の当前または将来の標準に従って映像データをデコードするように構成され得ることも一般的に思い及ばれる。

映像エンコーダ２０および映像デコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせなどの任意の様々な適切なエンコーダ回路として実行されてもよい。部分的にソフトウェアに実行される場合、電子デバイスは、ソフトウェアための指令を適切な非一時的なコンピュータ可読媒体に記憶し、１つまたは複数のプロセッサを利用してハードウェアで指令を実行して本開示に開示される映像符号化／デコーディング操作を実行することができる。映像エンコーダ２０および映像デコーダ３０のそれぞれは、１つまたは複数のエンコーダまたはデコーダに含まれ、エンコーダまたはデコーダは、相応のデバイスに組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合されてもよい。

図２は、本出願において説明されるいくつかの実行による例示的な映像エンコーダ２０を示すブロック図である。映像エンコーダ２０は、映像フレーム内の映像ブロックのイントラおよびインター予測符号化を実行することができる。イントラ予測符号化は、空間予測に依存して、所与の映像フレームまたは画像内の映像データの空間冗長性を低減または削除する。インター予測符号化は、時間予測に依存して、映像シーケンスの隣接する映像フレームまたは画像内の映像データの時間冗長性を低減または削除する。

図２に示されるように、映像エンコーダ２０は、映像データメモリ４０、予測処理ユニット４１、デコード画像バッファ（ＤＰＢ）６４、サマー５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピーエンコーディングユニット５６を含む。予測処理ユニット４１は、動き推定ユニット４２、動き補償ユニット４４、分割ユニット４５、イントラ予測処理ユニット４６、およびイントラブロックコピー（ＢＣ）ユニット４８をさらに含む。いくつかの実行では、映像エンコーダ２０は、映像ブロック再構築のために、逆量子化ユニット５８、逆変換処理ユニット６０、およびサマー６２も含む。デプロッキングフィルタ（図示せず）がサマー６２とＤＰＢ６４との間に位し、ブロック境界をフィルタリングしてブロック性アーチファクトを再構築された映像から削除することができる。デブロッキングフィルタに加えて、ループ内フィルタ（図示せず）が使用され、サマー６２の出力をフィルタリングすることもできる。映像エンコーダ２０は、固定またはプログラム可能なハードウェアユニットの形態をとることができ、または１つまたは複数の図解された固定またはプログラム可能なハードウェアユニットにおいて分割されることができる。

映像データメモリ４０は、映像エンコーダ２０の構成要素によってエンコードされるべき映像データを記憶することができる。映像データメモリ４０内の映像データは、例えば、映像ソース１８から取得されてもよい。ＤＰＢ６４は、映像エンコーダ２０によって（例えばイントラまたはインター予測符号化モードで）映像データをエンコードすることに用いられる参照映像データを記憶するバッファである。映像データメモリ４０およびＤＰＢ６４は、任意の様々なメモリデバイスによって形成されてもよい。様々な例において、映像データメモリ４０は、映像エンコーダ２０の他の構成要素とオンチップであり、またはそれらの構成要素に対してオフチップでもよい。

図２に示されるように、映像データを受信した後、予測処理ユニット４１内の分割ユニット４５は、映像データを映像ブロックに分割する。この分割は、映像データに関連付けられた四分木構造などの事前定義された分割構造に従って、映像フレームをスライス、タイル、または他のより大きな符号化ユニット（ＣＵ）に分割することも含んでもよい。映像フレームは、複数の映像ブロック（またはタイルと呼ばれる映像ブロックのセット）に分割されてもよい。予測処理ユニット４１は、エラー結果（例えば、符号化レートと歪みのレベル）に基づき当前の映像ブロックに対して複数の可能な予測符号化モードの１つを選択でき、可能な予測符号化モードは、例えば複数のイントラ予測符号化モードの１つであり、または複数のインター予測符号化モードの１つである。予測処理ユニット４１は、結果として生じたイントラまたはインター予測符号化されたブロックをサマー５０に提供して残差ブロックを生成し、そしてこれをサマー６２に提供して後で参照フレームの一部として使用するためにエンコードされるブロックを再構築することができる。予測処理ユニット４１は、動きベクトル、イントラモードインジケータ、分割情報、および他のそのようなシンタックス情報などのシンタックス要素を、エントロピーエンコーディングユニット５６にも提供する。

当前の映像ブロックに適切なイントラ予測符号化モードを選択するために、予測処理ユニット４１内のイントラ予測処理ユニット４６は、符号化されるべき当前のブロックと同じフレーム内の１つまたは複数の隣接ブロックに対する当前の映像ブロックへのイントラ予測符号化を実行して空間予測を提供することができる。予測処理ユニット４１内の動き推定ユニット４２と動き補償ユニット４４は、１つまたは複数の参照フレーム内の１つまたは複数の予測ブロックに対する当前の映像ブロックへのインター予測符号化を実行して時間予測を提供する。映像エンコーダ２０は、映像データの各ブロックに対して複数の符号化パスを実行して、例えば適切な符号化モードを選択することができる。

いくつかの実行では、動き推定ユニット４２は、映像フレームのシーケンス内の所定のパターンに従って動きベクトルを生成することによって当前の映像フレームのためのインター予測モードを決定し、当該動きベクトルは、参照映像フレーム内の予測ブロックに対する当前の映像フレーム内の映像ブロックの予測ユニット（ＰＵ）の変位を指示する。動き推定ユニット４２によって実行される動き推定は、映像ブロックの動きを推定する動きベクトル生成処理である。動きベクトルは、例えば、当前のフレーム（または他の符号化されたユニット）において符号化されている当前のブロックに対する参照フレーム（または他の符号化されたユニット）内の予測ブロックに対する、当前の映像フレームまたは画像内の映像ブロックのＰＵの変位を指示できる。所定のパターンは、シーケンス内の映像フレームをＰフレームまたはＢフレームとして指定することができる。イントラＢＣユニット４８は、インター予測のために動き推定ユニット４２によって動きベクトルを決定するのに似る方式で、イントラＢＣ符号化のために例えばブロックベクトルのベクトルを決定することができ、または動き推定ユニット４２を利用してブロックベクトルを決定することができる。

予測ブロックは、参照フレームの、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）又は他の差の計量によって決定され得るピクセル差に関して符号化される映像ブロックのＰＵに厳密にマッチングすると認定されるブロックである。いくつかの実行では、映像エンコーダ２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数ピクセル位置の値を計算することができる。例えば、映像エンコーダ２０は、参照フレームの４分の１ピクセル位置、８分の１ピクセル位置、または他の部分ピクセルの位置の値を補間することができる。したがって、動き推定ユニット４２は、全ピクセル位置および部分ピクセル位置に対して動き検索を実行し、部分ピクセル精度で動きベクトルを出力することができる。

動き推定ユニット４２は、インター予測符号化フレーム内の映像ブロックのＰＵの位置を第１の参照フレームリスト（リスト０）または第２の参照フレームリスト（リスト１）から選択された参照フレームの予測ブロックの位置と比べることによって、ＰＵの動きベクトルを計算し、第１の参照フレームリストまたは第２の参照フレームリストはそれぞれ、ＤＰＢ６４に記憶された１つまたは複数の参照フレームを識別する。動き推定ユニット４２は、計算された動きベクトルを動き補償ユニット４４に送り、次にエントロピーエンコーディングユニット５６に送る。

動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴うことができる。当前の映像ブロックのＰＵの動きベクトルを受信すると、動き補償ユニット４４は、参照フレームリストの１つにおいて動きベクトルが指す予測ブロックを位置付け、ＤＰＢ６４から予測ブロックを検索し、予測ブロックをサマー５０に転送することができる。次に、サマー５０は、符号化される当前の映像ブロックのピクセル値から動き補償ユニット４４によって提供される予測ブロックのピクセル値を差し引くことにより、ピクセル差値の残差映像ブロックを形成する。残差映像ブロックを形成するピクセル差値は、輝度または彩度差成分、あるいはその両方を含んでもよい。動き補償ユニット４４は、映像フレームの映像ブロックをデコードする際に映像デコーダ３０によって使用されるために、映像フレームの映像ブロックに関連付けられたシンタックス要素を生成することもできる。シンタックス要素は、例えば、予測ブロックに使用される動きベクトルを定義するシンタックス要素、予測モードを指示する任意のフラグ、または本明細書で説明される任意の他のシンタックス情報を含んでもよい。動き推定ユニット４２と動き補償ユニット４４は高度に統合され得るが、概念的な目的のために別々に示されることに留意されたい。

いくつかの実行では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４に関連して上記と似る方式でベクトルを生成し、予測ブロックをフェッチすることができるが、予測ブロックは、符号化される当前のブロックと同じフレームにあり、そしてベクトルは動きベクトルに相反しブロックベクトルと呼ばれる。特に、イントラＢＣユニット４８は、イントラ予測モードを決定して当前のブロックをエンコードするために使用するすることができる。いくつかの例では、イントラＢＣユニット４８は、例えば、別個のエンコーディングパス中に、様々なイントラ予測モードを使用して当前のブロックをエンコードし、レート歪み分析を通じてそれらの性能をテストすることができる。次に、イントラＢＣユニット４８は、様々なテストされたイントラ予測モードの中から、使用する適切なイントラ予測モードを選択し、それに応じてイントラモードインジケータを生成することができる。例えば、イントラＢＣユニット４８は、様々なテストされたイントラ予測モードのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを、使用する適切なイントラ予測モードとして選択することができる。レート歪み分析は、一般に、エンコードされたブロックと、エンコードされるブロックを生成するためにエンコードされた元のエンコードされていないブロックとの間の歪み（またはエラー）の量、およびエンコードされるブロックを生成するために使用するビットレート（即ちビットの数量）を決定する。イントラＢＣユニット４８は、様々なエンコードされたブロックに対して歪みおよびレートから比率を計算して、どのイントラ予測モードがブロックに対する最良のレート歪み値を示すかを決定することができる。

他の例では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４を全体的または部分的に使用して、本明細書に記載の実行によるイントラＢＣ予測のためのそのような機能を実行することができる。いずれの場合でも、イントラブロックコピーの場合、予測ブロックは、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）又は他の差の計量によって決定され得るピクセル差に関して符号化されるブロックに厳密にマッチングすると認定されるブロックであり、予測ブロックの識別は、サブ整数ピクセル位置の値の計算を含んでもよい。

予測ブロックがイントラ予測による同じフレームからのものであるか、またはインター予測による異なるフレームからのものであるかにかかわらず、映像エンコーダ２０は、符号化される当前の映像ブロックのピクセル値から予測ブロックのピクセル値を差し引き、ピクセル値差を形成することにより残差映像ブロックを形成することができる。残差映像ブロックを形成するピクセル差値は、輝度成分の差と彩度成分の差との両方を含んでもよい。

イントラ予測処理ユニット４６は、動き推定ユニット４２および動き補償ユニット４４によって実行されるインター予測、またはイントラＢＣユニット４８によって実行されるイントラブロックコピー予測の代替として、上記のように当前の映像ブロックをイントラ予測することができる。特に、イントラ予測処理ユニット４６は、当前のブロックをエンコードするために使用するイントラ予測モードを決定することができる。そうするために、イントラ予測処理ユニット４６は、例えば、別個のエンコーディングパス中に、様々なイントラ予測モードを使用して当前のブロックをエンコードすることができ、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット）は、テストされたイントラ予測モードから、使用する適切なイントラ予測モードを選択することができる。イントラ予測処理ユニット４６は、ブロックに対して選択されたイントラ予測モードを指示する情報をエントロピーエンコーディングユニット５６に提供することができる。エントロピーエンコーディングユニット５６は、ビットストリームにおいて選択されたイントラ予測モードを指示する情報をエンコードすることができる。

予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して当前の映像ブロックの予測ブロックを決定した後、サマー５０は、当前の映像ブロックから予測ブロックを差し引くことによって残差映像ブロックを形成する。残差ブロック内の残差映像データは、１つまたは複数の変換ユニット（ＴＵ）に含まれることができ、変換処理ユニット５２に提供される。変換処理ユニット５２は、離散余弦変換（ＤＣＴ）または概念的に類似する変換などの変換を使用して、残差映像データを残差変換係数に変換する。

変換処理ユニット５２は、結果として生じる変換係数を量子化ユニット５４に送ることができる。量子化ユニット５４は、変換係数を量子化して、ビットレートをさらに低減する。量子化処理は、係数の一部またはすべてに関連付けられたビット深度を低減することもできる。量子化の程度は、量子化パラメータを調整することによって修正されてもよい。いくつかの例では、量子化ユニット５４は、次に、量子化された変換係数を含むマトリックスのスキャンを実行することができる。あるいは、エントロピーエンコーディングユニット５６は、スキャンを実行することができる。

量子化に続いて、エントロピーエンコーディングユニット５６は、例えば、コンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応二値算術符号化（ＳＢＡＣ）、確率間隔分割エントロピー（ＰＩＰＥ）符号化、または別のエントロピーエンコーディングの方法または技術を使用して、量子化された変換係数を映像ビットストリームにエントロピーエンコードする。エンコードされたビットストリームは、次に、映像デコーダ３０に送信され、または後で映像デコーダ３０に送信または回復されるために記憶デバイス３２にアーカイブされることができる。エントロピーエンコーディングユニット５６は、符号化される当前の映像フレームの動きベクトルおよび他のシンタックス要素をエントロピーエンコードすることもできる。

逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、他の映像ブロックの予測のための参照ブロックを生成するために、ピクセルドメインにおいて残差映像ブロックを再構築する。上記のように、動き補償ユニット４４は、ＤＰＢ６４に記憶されたフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成することができる。動き補償ユニット４４は、１つまたは複数の補間フィルタを予測ブロックに適用して、動き推定で使用するサブ整数ピクセル値を計算することができる。

サマー６２は、再構築された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ６４に記憶するための参照ブロックを生成する。参照ブロックは、次に、予測ブロックとしてイントラＢＣユニット４８、動き推定ユニット４２、および動き補償ユニット４４によって使用されて、後続の映像フレーム内の別の映像ブロックをインター予測することができる。

図３は、本出願のいくつかの実行による例示的な映像デコーダ３０を示すブロック図である。映像デコーダ３０は、映像データメモリ７９、エントロピーデコーディングユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、サマー９０、およびＤＰＢ９２を含む。予測処理ユニット８１は、動き補償ユニット８２、イントラ予測処理ユニット８４、イントラＢＣニット８５をさらに含む。映像デコーダ３０は、図２に関連して映像エンコーダ２０に関して前に記述されたエンコーディング処理に概ね逆行するデコーディング処理を実行することができる。例えば、動き補償ユニット８２は、エントロピーデコーディングユニット８０から受信した動きベクトルに基づいて予測データを生成でき、一方、イントラ予測ユニット８４は、エントロピーデコーディングユニット８０から受信したイントラ予測モードインジケータに基づいて予測データを生成できる。

いくつかの例では、映像デコーダ３０のユニットは、本出願の実現を実行するように任務を課されてもよい。また、いくつかの例では、本開示の実行は、映像デコーダ３０の１つまたは複数のユニットに分割されてもよい。例えば、イントラＢＣユニット８５は、本出願の実現を、単独で、または動き補償ユニット８２、イントラ予測処理ユニット８４、およびエントロピーデコーディングユニット８０などの映像デコーダ３０の他のユニットとの組合せで、実行できる。いくつかの例では、映像デコーダ３０は、イントラＢＣユニット８５を含まなくてもよく、イントラＢＣユニット８５の機能は、動き補償ユニット８２などの予測処理ユニット８１の他の構成要素によって実行されてもよい。

映像データメモリ７９は、映像デコーダ３０の他の構成要素によってデコードされる、エンコードされた映像ビットストリームなどの映像データを記憶することができる。映像データメモリ７９に記憶される映像データは、例えば、記憶デバイス３２から取得されてもよく、映像データの有線または無線ネットワーク通信を介してカメラなどのローカル映像ソースから取得されてもよく、または物理データ記憶媒体（例えばフラッシュドライブやハードディスク）にアクセスすることによって取得されてもよい。映像データメモリ７９は、エンコードされた映像ビットストリームからのエンコードされた映像データを記憶する符号化画像バッファ（ＣＰＢ）を含んでもよい。映像デコーダ３０のデコード画像バッファ（ＤＰＢ）９２は、映像デコーダ３０による映像データへのデコーディング（例えば、イントラまたはインター予測符号化モードで）において使用するための参照映像データを記憶する。映像データメモリ７９およびＤＰＢ９２は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（同期ＤＲＡＭ（ＳＤＲＡＭ）を含む）、磁気抵抗性ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなどの任意の様々なメモリデバイスによって形成されてもよい。説明のために、映像データメモリ７９およびＤＰＢ９２は、図３において、映像デコーダ３０の２つの別個の構成要素として示される。しかし、当業者にとって、映像データメモリ７９およびＤＰＢ９２が同じメモリデバイスまたは別個のメモリデバイスによって提供され得ることが明らかである。いくつかの例では、映像データメモリ７９は、映像デコーダ３０の他の構成要素とオンチップであり、またはそれらの構成要素に対してオフチップであることができる。

デコーディング処理中に、映像デコーダ３０は、エンコードされた映像フレームの映像ブロックおよび関連付けられたシンタックス要素を表現するエンコードされた映像ビットストリームを受信する。映像デコーダ３０は、映像フレームレベルおよび／または映像ブロックレベルでシンタックス要素を受信することができる。映像デコーダ３０のエントロピーデコーディングユニット８０は、ビットストリームをエントロピーデコードして、量子化係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成する。エントロピーデコーディングユニット８０は、次に、動きベクトルおよび他のシンタックス要素を予測処理ユニット８１に転送する。

映像フレームがイントラ予測符号化（Ｉ）フレームとして符号化され、または他のタイプのフレームにおけるイントラ符号化予測ブロックのために符号化される場合、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モード及び当前のフレームの前にデコードされたブロックからの参照データに基づき、当前の映像フレームの映像ブロックの予測データを生成できる。

映像フレームがインター予測符号化（すなわち、ＢまたはＰ）フレームとして符号化される場合、予測処理ユニット８１の動き補償ユニット８２は、エントロピーデコーディングユニット８０から受信した動きベクトルおよび他のシンタックス要素に基づいて、当前の映像フレームの映像ブロックための１つまたは複数の予測ブロックを生成する。各予測ブロックは、参照フレームリストの１つ内の参照フレームから生成されてもよい。映像デコーダ３０は、ＤＰＢ９２に記憶された参照フレームに基づきデフォルトの構築技術を使用して、参照フレームリスト、リスト０およびリスト１を構築することができる。

いくつかの例では、映像ブロックが本明細書に記載のイントラＢＣモードに従って符号化される場合、予測処理ユニット８１のイントラＢＣユニット８５は、エントロピーデコーディングユニット８０から受信したブロックベクトルおよび他のシンタックス要素に基づいて当前の映像ブロックの予測ブロックを生成する。予測ブロックは、映像エンコーダ２０によって定義された当前の映像ブロックと同じ画像の再構築された領域内にあってもよい。

動き補償ユニット８２および／またはイントラＢＣユニット８５は、動きベクトルおよび他のシンタックス要素を解析することによって当前の映像フレームの映像ブロックの予測情報を決定し、次に予測情報を使用して、デコードされている当前の映像ブロックの予測ブロックを生成する。例えば、動き補償ユニット８２は、受信したシンタックス要素のいくつかを使用して、映像フレームの映像ブロックを符号化するために使用する予測モード（例えば、イントラまたはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、フレームの1つまたは複数の参照フレームリストの構築情報、フレームの各インター予測エンコードされた映像ブロックの動きベクトル、フレームの各インター予測符号化された映像ブロックのインター予測ステータス、および他の情報を決定して、当前の映像フレームにおける映像ブロックをデコードする。

同様に、イントラＢＣユニット８５は、受信したシンタックス要素のいくつか、例えばフラグを使用して、当前の映像ブロックがイントラＢＣモードを使用して予測されたこと、フレームのどちらの映像ブロックが再構築領域にあってＤＰＢ９２に記憶されるかの構築情報、フレームの各イントラＢＣ予測映像ブロックのブロックベクトル、フレームの各イントラＢＣ予測映像ブロックのイントラＢＣ予測ステータス、および他の情報を決定して、当前の映像フレームにおける映像ブロックをデコードする。

動き補償ユニット８２は、映像ブロックのエンコーディング中に映像エンコーダ２０によって使用される補間フィルタを使用して補間を実行して、参照ブロックのサブ整数ピクセルのための補間値を計算することもできる。この場合、動き補償ユニット８２は、受信したシンタックス要素から映像エンコーダ２０によって使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成することができる。

逆量子化ユニット８６は、量子化の程度を決定するために映像エンコーダ２０により映像フレーム内の映像ブロックごとに計算されたものと同じ量子化パラメータを使用して、ビットストリームで提供されるかつエントロピーデコーディングユニット８０によってエントロピーデコードされる量子化変換係数を逆量子化する。逆変換処理ユニット８８は、ピクセルドメインにおいて残差ブロックを再構築するために、逆変換（例えば、逆ＤＣＴ、逆整数変換、または概念的に類似した逆変換処理）を変換係数に適用する。

動き補償ユニット８２またはイントラＢＣユニット８５が、ベクトルおよび他のシンタックス要素に基づいて当前の映像ブロックの予測ブロックを生成した後、サマー９０は、逆変換処理ユニット８８からの残差ブロックと動き補償ユニット８２およびイントラＢＣユニット８５によって生成された対応の予測ブロックとを合計することによって、当前の映像ブロックのデコードされた映像ブロックを再構築する。ループ内フィルタ（図示せず）は、サマー９０とＤＰＢ９２との間に位置して、デコードされた映像ブロックをさらに処理することができる。所与のフレームにおけるデコードされた映像ブロックが次にＤＰＢ９２に記憶され、ＤＰＢ９２は、次の映像ブロックの後続の動き補償に使用される参照フレームを記憶する。ＤＰＢ９２、またはＤＰＢ９２とは別のメモリデバイスは、後で図１のディスプレイデバイス３４などのディスプレイデバイスの上で提示されるために、デコードされた映像を記憶することもできる。

典型的な映像符号化処理では、映像シーケンスは、典型的には、順序付けられたフレームまたは画像のセットを含む。各フレームは、ＳＬ、ＳＣｂ、およびＳＣｒで表示される３つのサンプルアレイを含むことができる。ＳＬは、輝度サンプルの２次元アレイである。ＳＣｂは、Ｃｂ彩度サンプルの２次元アレイである。ＳＣｒは、Ｃｒ彩度サンプルの２次元アレイである。他の例では、フレームは単彩度（ｍｏｎｏｃｈｒｏｍｅ）でもよく、したがって、輝度サンプルの１つの２次元アレイのみを含む。

図４Ａに示されるように、映像エンコーダ２０（またはより具体的には分割ユニット４５）は、最初にフレームを一組の符号化木ユニット（ＣＴＵ）に分割することによってフレームのエンコードされた表現を生成する。映像フレームは、左から右、そして上から下にラスタースキャンの順序で連続して並べられた整数個のＣＴＵを含むことができる。各ＣＴＵは最大の論理符号化ユニットであり、ＣＴＵの幅さおよび高さは、映像シーケンス内のすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、および１６×１６の１つである同じサイズを有するように、シーケンスパラメータセットで映像エンコーダ２０によってシグナリングされる。しかしながら、本出願は必ずしも特定のサイズに限定されないことに留意されたい。図４Ｂに示されるように、各ＣＴＵは、１つの輝度サンプルの符号化木ブロック（ＣＴＢ）、２つの彩度サンプルの対応の符号化木ブロック、および符号化木ブロックのサンプルを符号化するために使用されるシンタックス要素を含んでもよい。シンタックス要素は、ピクセルの符号化ブロックの異なるタイプのユニットのプロパティ、および如何にして映像デコーダ３０で映像シーケンスを再構築できるかを記述し、インターまたはイントラ予測、イントラ予測モード、動きベクトル、および他のパラメータを含む。単彩度画像または３つの別個の色平面を有する画像では、ＣＴＵは、単一の符号化木ブロックと、符号化木ブロックのサンプルを符号化するために使用されるシンタックス要素とを含んでもよい。符号化木ブロックは、サンプルのＮxＮブロックでもよい。

より良い性能を実現するために、映像エンコーダ２０は、ＣＴＵの符号化木ブロックに対して二分木分割、三分木分割、四分木分割、または両方の組み合わせなどの木分割を再帰的に実行し、ＣＴＵをより小さい符号化ユニット（ＣＵ）に分割することができる。図４Ｃに示されるように、６４x６４ ＣＴＵ ４００は最初に４つのより小さいＣＵに分割され、各より小さいＣＵは３２x３２のブロックサイズを有する。４つのより小さいＣＵの中で、ＣＵ４１０とＣＵ４２０は、それぞれ４つの１６x１６ブロックサイズのＣＵに分割される。２つの１６x１６ＣＵ４３０および４４０は、それぞれ４つの８x８ブロックサイズのＣＵにさらに分割される。図４Ｄは、図４Ｃに示されるようなＣＴＵ４００の分割処理の最終結果を示す四分木データ構造を示し、四分木の各葉ノードは、３２ｘ３２から８ｘ８の範囲の相応のサイズの１つのＣＵに対応する。図４Ｂに示されるＣＴＵに類似し、各ＣＵは、輝度サンプルの符号化ブロック（ＣＢ）と、２つの同じサイズのフレームの彩度サンプルの対応の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用されるシンタックス要素とを含んでもよい。単彩度画像または３つの別個の色平面を有する画像では、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用されるシンタックス構造とを含んでもよい。図４Ｃおよび４Ｄに示される四分木分割は説明のみを目的としており、１つのＣＴＵを複数のＣＵに分割して、四分木/三分木/二分木分割に基づいてさまざまなローカル特性に適応させることができることに留意されたい。マルチタイプ木構造では、１つのＣＴＵが四分木構造によって分割され、各四分木葉ＣＵは、二分木および三分木構造によってさらに分割されてもよい。図４Ｅに示されるように、即ち四分割、水平二分割、垂直二分割、水平三分割、垂直三分割の５つの分割タイプがある。

いくつかの実行では、映像エンコーダ２０は、ＣＵの符号化ブロックを１つまたは複数のＭｘＮ予測ブロック（ＰＢ）にさらに分割することができる。予測ブロックは、同じ予測（インターまたはイントラ）が適用される長方形（正方形または非正方形）のサンプルのブロックである。ＣＵの予測ユニット（ＰＵ）は、輝度サンプルの予測ブロック、２つの彩度サンプルの対応の予測ブロック、および予測ブロックを予測するために使用されるシンタックス要素を含んでもよい。単彩度画像または３つの別個の色平面を有する画像では、ＰＵは、単一の予測ブロックと、予測ブロックを予測するために使用されるシンタックス構造とを含んでもよい。映像エンコーダ２０は、ＣＵの各ＰＵの輝度、ＣｂおよびＣｒ予測ブロックのための予測の輝度、Ｃｂ、およびＣｒブロックを生成することができる。

映像エンコーダ２０は、イントラ予測またはインター予測を使用して、ＰＵの予測ブロックを生成することができる。映像エンコーダ２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合、映像エンコーダ２０は、ＰＵに関連付けられたフレームのデコードされたサンプルに基づいて、ＰＵの予測ブロックを生成することができる。映像エンコーダ２０がインター予測を使用してＰＵの予測ブロックを生成する場合、映像エンコーダ２０は、ＰＵに関連付けられたフレーム以外の１つまたは複数のフレームのデコードされたサンプルに基づいて、ＰＵの予測ブロックを生成することができる。

映像エンコーダ２０が、ＣＵの１つまたは複数のＰＵのための予測の輝度、Ｃｂ、およびＣｒブロックを生成した後、映像エンコーダ２０は、ＣＵの元の輝度符号化ブロックからその予測輝度ブロックを差し引くことによって、ＣＵの輝度残差ブロックを生成することができ、これによってＣＵの輝度残差ブロックの各サンプルは、ＣＵの予測輝度ブロックの１つにおける輝度サンプルと、ＣＵの元の輝度符号化ブロックにおける対応のサンプルとの間の差を指示する。同様に、映像エンコーダ２０は、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成することができ、これによってＣＵのＣｂ残差ブロックの各サンプルは、ＣＵの予測Ｃｂブロックの１つにおけるＣｂサンプルとＣＵの元のＣｂ符号化ブロックにおける対応のサンプルとの間の差を指示し、ＣＵのＣｒ残差ブロックの各サンプルは、ＣＵの予測Ｃｒブロックの１つにおけるＣｒサンプルとＣＵの元のＣｒ符号化ブロックにおける対応のサンプルとの間の差を指示することがある。

さらに、図４Ｃに示されるように、映像エンコーダ２０は、四分木分割を使用して、ＣＵの輝度、Ｃｂ、およびＣｒの残差ブロックを１つまたは複数の輝度、Ｃｂ、およびＣｒの変換ブロックに分解することができる。変換ブロックは、同じ変換が適用される長方形（正方形または非正方形）のサンプルのブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロック、２つの彩度サンプルの対応の変換ブロック、および変換ブロックサンプルを変換するために使用されるシンタックス要素を含んでもよい。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられ得る。いくつかの例では、ＴＵに関連付けられた輝度変換ブロックは、ＣＵの輝度残差ブロックのサブブロックでもよい。 Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックでもよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックでもよい。単彩度画像または３つの別個の色平面を有する画像では、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するために使用されるシンタックス構造とを含んでもよい。

映像エンコーダ２０は、１つまたは複数の変換をＴＵの輝度変換ブロックに適用して、ＴＵの輝度係数ブロックを生成することができる。係数ブロックは、変換係数の2次元アレイでもよい。変換係数はスカラ量でもよい。映像エンコーダ２０は、１つまたは複数の変換をＴＵのＣｂ変換ブロックに適用して、ＴＵのＣｂ係数ブロックを生成することができる。映像エンコーダ２０は、１つまたは複数の変換をＴＵのＣｒ変換ブロックに適用して、ＴＵのＣｒ係数ブロックを生成することができる。

係数ブロック（例えば、輝度係数ブロック、Ｃｂ係数ブロックまたはＣｒ係数ブロック）を生成した後、映像エンコーダ２０は、係数ブロックを量子化することができる。量子化とは、一般に、変換係数を量子化して変換係数を表現するために使用されるデータの量を可能的に低減し、さらなる圧縮を提供する処理を指する。映像エンコーダ２０が係数ブロックを量子化した後、映像エンコーダ２０は、量子化された変換係数を指示するシンタックス要素をエントロピーエンコードすることができる。例えば、映像エンコーダ２０は、量子化された変換係数を指示するシンタックス要素に対してコンテキスト適応型二値算術符号化（ＣＡＢＡＣ）を実行することができる。最後に、映像エンコーダ２０は、符号化されたフレームおよび関連付けられたデータの表現を形成するビットのシーケンスを含むビットストリームを出力することができ、当該ビットストリームが記憶デバイス３２に保存され、または宛先デバイス１４に送信される。

映像エンコーダ２０によって生成されたビットストリームを受信した後、映像デコーダ３０は、ビットストリームを解析して、ビットストリームからシンタックス要素を取得することができる。映像デコーダ３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、映像データのフレームを再構築することができる。映像データを再構築する処理は、一般に、映像エンコーダ２０によって実行されるエンコーディング処理を逆行するものである。例えば、映像デコーダ３０は、当前のＣＵのＴＵに関連付けられた係数ブロックに対して逆変換を実行して、当前のＣＵのＴＵに関連付けられた残差ブロックを再構築することができる。映像デコーダ３０は、さらに当前のＣＵのＰＵの予測ブロックのサンプルを当前のＣＵのＴＵの変換ブロックの対応のサンプルに加算することによって、当前のＣＵの符号化ブロックを再構築する。フレームの各ＣＵの符号化ブロックを再構築した後、映像デコーダ３０は、フレームを再構築することができる。

上記のように、映像符号化は、主に２つのモード、すなわち、フレーム内予測（またはイントラ予測）およびフレーム間予測（またはインター予測）を使用して映像圧縮を実現する。パレットベース符号化は、多くの映像符号化標準で採用されるもう１つの符号化スキームである。スクリーン生成コンテンツ符号化に特に適したパレットベース符号化では、映像符号器（例えば、映像エンコーダ２０または映像デコーダ３０）は、所与のブロックの映像データを表現する色のパレットテーブルを形成する。パレットテーブルは、所与のブロックにおける最も支配的な（例えば、頻繁に使用される）ピクセル値を含む。所与のブロックの映像データに頻繁に表現されないピクセル値は、パレットテーブルに含まれなく、またはエスケープ色としてパレットテーブルに含まれる。

パレットテーブルの各エントリは、パレットテーブルにある対応のピクセル値のインデックスを含む。ブロック内のサンプルのためのパレットインデックスは、パレットテーブルからのどのエントリがどのサンプルを予測または再構築するために使用されるかを指示するように符号化されてもよい。このパレットモードは、画像、スライス、タイル、または映像ブロックの他のそのようなグルーピングの最初のブロックのパレット予測子を生成する処理から始まる。以下で説明するように、後続の映像ブロックのパレット予測子は、通常、前に使用されたパレット予測子を更新することによって生成される。説明のために、パレット予測子は画像レベルで定義されると仮定される。言い換えると、画像には複数の符号化ブロックが含まれてもよく、各符号化ブロックがその自分のパレットテーブルを有するが、画像全体に対して１つのパレット予測子がある。

映像ビットストリームにおいてパレットエントリをシグナリングすることに要するビットを低減するために、映像デコーダは、パレット予測子を利用して映像ブロックを再構築するために使用されるパレットテーブル内の新しいパレットエントリを決定することができる。例えば、パレット予測子は、前に使用されたパレットテーブルからのパレットエントリを含んでもよく、或いは最近使用されたパレットテーブルのすべてのエントリを含むことによって最近使用されたパレットテーブルで初期化されてもよい。いくつかの実行では、パレット予測子は、最近使用されたパレットテーブルからのすべてのエントリよりも少ないエントリを含み、次に他の前に使用されたパレットテーブルからのいくつかのエントリを組み込むことができる。パレット予測子は、異なるブロックを符号化するために使用されるパレットテーブルと同じサイズを有してもよく、或いは異なるブロックを符号化するために使用されるパレットテーブルと比べて大きい又は小さいものでもよい。一例では、パレット予測子は、64個のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実行される。

パレット予測子から映像データのブロックのためのパレットテーブルを生成するために、映像デコーダは、エンコードされた映像ビットストリームから、パレット予測子の各エントリのための１ビットフラグを受信することができる。１ビットフラグは、パレット予測子の関連付けられたエントリがパレットテーブルに含まれることを指示する第１の値（例えば、バイナリの１）、またはパレット予測子の関連付けられたエントリがパレットテーブルに含まれないことを指示する第２の値（例えば、バイナリの０）を有することができる。パレット予測子のサイズが映像データのブロックに使用されるパレットテーブルよりも大きい場合、パレットテーブルの最大サイズに達すると、映像デコーダはそれ以上のフラグの受信を停止してもよい。

いくつかの実行では、パレットテーブル内のいくつかのエントリは、パレット予測子を使用して決定されるのではなく、エンコードされた映像ビットストリームで直接にシグナリングされてもよい。そのようなエントリの場合、映像デコーダは、エンコードされた映像ビットストリームから、エントリに関連付けられた輝度および２つの彩度の成分のピクセル値を指示する３つの別個のｍビット値を受信することができ、ここで、ｍは映像データのビット深度を表現する。直接にシグナリングされたパレットエントリに要する複数のｍビット値と比べると、パレット予測子から得られるこれらのパレットエントリは、１ビットのフラグのみを要求する。したがって、パレット予測子を使用して一部またはすべてのパレットエントリをシグナリングすることは、新しいパレットテーブルのエントリをシグナリングすることに要するビット数を大幅に低減でき、これでパレットモード符号化の全体的な符号化効率を向上する。

多くの例では、１つのブロックのためのパレット予測子は、１つまたは複数の前に符号化されたブロックを符号化するために使用されるパレットテーブルに基づいて決定される。ただし、画像、スライス、またはタイルの最初の符号化木ユニットを符号化する場合、前に符号化されたブロックのパレットテーブルは利用できない。したがって、パレット予測子は、前に使用されたパレットテーブルのエントリを使用して生成され得ない。このような場合、パレット予測子初期化器のシーケンスは、シーケンスパラメータセット（ＳＰＳ）および/または画像パラメータセット（ＰＰＳ）でシグナリングされてもよく、シーケンスパラメータセット（ＳＰＳ）および/または画像パラメータセット（ＰＰＳ）は、前に使用されたパレットテーブルが利用できない場合にパレット予測子を生成するために使用される値である。 ＳＰＳは一般に、各スライスセグメントヘッダに見出されるシンタックス要素が指するＰＰＳに見出されるシンタックス要素のコンテンツによって決定されるように、符号化映像シーケンス（ＣＶＳ）と呼ばれる一連の続く符号化映像画像に適用されるシンタックス要素のシンタックス構造を指する。ＰＰＳは一般に、各スライスセグメントヘッダに見出されるシンタックス要素によって決定されるように、ＣＶＳ内の１つまたは複数の単独の画像に適用されるシンタックス要素のシンタックス構造を指する。したがって、ＳＰＳは一般にＰＰＳよりも高いレベルのシンタックス構造であると認定され、ＰＰＳに含まれるシンタックス要素と比べると、ＳＰＳに含まれるシンタックス要素は一般に変更頻度が低く、映像データの大部分に適用されるという意味がある。

図５Ａから５Ｂは、本開示のいくつかの実行に従って、適応色空間変換（ＡＣＴ）の技術を適用してＲＧＢ色空間とＹＣｇＣｏ色空間との間に残差を変換する例を示すブロック図である。

ＨＥＶＣスクリーンコンテンツ符号化拡張において、ＡＣＴを適用して、残差をある色空間（例えば、ＲＧＢ）から別の色空間（例えば、ＹＣｇＣｏ）へ適応的に変換することで、３つの色成分（例えば、Ｒ、Ｇ、およびＢ）の間の関連（例えば、冗長性）はＹＣｇＣｏ色空間において大幅に低減される。さらに、既存のＡＣＴ設計では、異なる色空間の適応は、ＴＵごとに１つのフラグｔｕ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇをシグナリングすることにより、変換ユニット（ＴＵ）レベルで実行される。フラグｔｕ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇが１に等しい場合に、当前のＴＵの残差がＹＣｇＣｏ空間に符号化されると指示され、それ以外の場合（即ち、フラグが０に等しい場合）に、当前のＴＵの残差が元の色空間に符号化される（即ち、色空間転換なし）と指示される。さらに、当前のＴＵはロスレスモードで符号化されること、またはロッシーモードで符号化されることに応じて、異なる色空間変換式が適用される。具体的には、ロッシーモードでのＲＧＢ色空間とＹＣｇＣｏ色空間との間のフォワード及びインバースの色空間変換式が図５Ａに定義される。

ロスレスモードの場合、ＲＧＢ-ＹＣｇＣｏ変換の可逆バージョン（ＹＣｇＣｏ-ＬＳとしても知られる）が使用される。ＲＧＢ-ＹＣｇＣｏ変換の可逆バージョンは、図５Ｂおよび関連の説明に示されるリフティング操作に基づいて実行される。

図５Ａに示されるように、ロッシーモードで使用されるフォワードおよびインバースの色変換マトリックスは正規化されていない。したがって、ＹＣｇＣｏ信号の幅さは、色変換が適用された後で元の信号の幅さよりも小さくなる。フォワード色変換によって引き起こされる幅さの低減を補償するために、調整された量子化パラメータがＹＣｇＣｏドメインの残差に適用される。具体的には、色空間変換が適用されると、ＹＣｇＣｏドメイン残差の量子化に使用されるＱＰ値ＱＰ_Ｙ、ＱＰ_Ｃｇ、およびＱＰ_Ｃｏは、それぞれＱＰ－５、ＱＰ－５、およびＱＰ－３に設定され、ここでＱＰは元の色空間で使用される量子化パラメータである。

図６は、本開示のいくつかの実行による例示的な映像データデコーディング処理において、彩度スケーリングを用いる輝度マッピング（ＬＭＣＳ）の技術を適用するブロック図である。

ＶＶＣでは、ＬＭＣＳは、ループ内フィルタ（例えば、デブロッキングフィルタ、ＳＡＯおよびＡＬＦ）の前に適用される新しい符号化ツールとして使用される。一般に、ＬＭＣＳは以下の２つの主要なモジュール有する：１）適応区分的線形モデルに基づく輝度成分のループ内マッピング；２）輝度に依存する彩度残差スケーリング。図６は、ＬＭＣＳが適用される修正されたデコーディング処理を示す。図６において、マッピングされたドメインで行われるデコーディングモジュールは、エントロピーデコーディングモジュール、逆量子化モジュール、逆変換モジュール、輝度イントラ予測モジュール、および輝度サンプル再構築モジュール（すなわち、輝度予測サンプルと輝度残差サンプルとの加算）を含む。元の（すなわち、マッピングされていない）ドメインで行われるデコーディングモジュールは、動き補償予測モジュール、彩度イントラ予測モジュール、彩度サンプル再構築モジュール（すなわち、彩度予測サンプルと彩度残差サンプルとの加算）、およびデブロッキングモジュール、ＳＡＯモジュール、ＡＬＦモジュールなどのすべてのループ内フィルターモジュールを含む。 ＬＭＣＳによって導入された新しい操作モジュールは、輝度サンプルのフォワードマッピングモジュール６１０、輝度サンプルのインバースマッピングモジュール６２０、および彩度残差スケーリングモジュール６３０を含む。

ＬＭＣＳのループ内マッピングは、入力信号のダイナミックレンジを調整して、符号化効率を改善することができる。既存のＬＭＣＳ設計の輝度サンプルのループ内マッピングは、以下の２つのマッピング関数に基づいて築かれる:１つはフォワードマッピング関数ＦｗｄＭａｐで、もう１つは対応するインバースマッピング関数ＩｎｖＭａｐである。フォワードマッピング関数は、１６個の等しいサイズのピースを持つ１つの区分的線形モデルを使用してエンコーダからデコーダにシグナリングされる。インバースマッピング関数は、フォワードマッピング関数から直接に得られるため、シグナリングされる必要はない。

輝度マッピングモデルのパラメータは、スライスレベルでシグナリングされる。プレゼンスフラグは最初にシグナリングされて、当前のスライスに対して輝度マッピングモデルがシグナリングされるか否かを指示する。当前のスライスに輝度マッピングモデルが存在する場合、対応する区分的線形モデルパラメータがさらにシグナリングされる。さらに、スライスレベルで、他のＬＭＣＳ制御フラグがシグナリングされてスライスのＬＭＣＳを有効/無効にする。

彩度残差スケーリングモジュール６３０は、ループ内マッピングが輝度信号に適用されるときに輝度信号とそれに対応する彩度信号との間の量子化精度の相互作用を補償するように設計される。また、当前のスライスに対して彩度残差スケーリングが有効にされるか無効にされるかをスライスヘッダでシグナリングする。輝度マッピングが有効にされる場合、輝度依存の彩度残差スケーリングが適用されるか否かを指示するために付加的なフラグをシグナリングする。輝度マッピングが使用されない場合、輝度依存の彩度残差スケーリングは常に無効にされ、付加的なフラグは必要でない。さらに、４つ以下の彩度サンプルを含有するＣＵにとって彩度残差スケーリングは常に無効にされる。

図７は、本開示のいくつかの実行に従って例示的な映像デコーディング処理を示すブロック図であり、当該処理で映像デコーダが逆適応色空間変換（ＡＣＴ）の技術を実行する。

ＨＥＶＣ ＳＣＣのＡＣＴ設計と同様に、ＶＶＣのＡＣＴは、４：４：４彩度フォーマットの１つのＣＵのイントラ/インター予測残差を元の色空間（例えば、ＲＧＢ色空間）からＹＣｇＣｏ色空間に転換する。その結果、３つの色成分の間の冗長性を低減して、より優しい符号化効率を得ることができる。図７には、如何にして逆ＡＣＴモジュール７１０の添加を通じて逆ＡＣＴがＶＶＣフレームワークに適用されるかを示すデコーディングフローチャートが示される。ＡＣＴが有効にされてエンコードされたＣＵを処理する場合、エントロピーデコーディング、逆量子化、および逆ＤＣＴ／ＤＳＴベースの変換は最初にＣＵに適用される。その後、図７に示されるように、逆ＡＣＴがインヴォークされて、デコードされた残差をＹＣｇＣｏ色空間から元の色空間（例えば、 ＲＧＢおよびＹＣｂＣｒ）に転換する。さらに、ロッシーモードのＡＣＴは正規化されていないため、（-５、-５、-３）のＱＰ調整がＹ、Ｃｇ、およびＣｏの成分に適用されて、変換された残差の変更された幅さを補償する。

いくつかの実施例では、ＡＣＴ方法は、ＨＥＶＣの同じＡＣＴコア変換を再利用して、異なる色空間の間に色転換を行う。具体的には、当前のＣＵがロッシー方式で符号化されること或いはロスレス方式で符号化されることに応じて、２つの異なるバージョンの色変換が適用される。ロッシーの場合のフォワードおよびインバースの色変換は、図５Ａに示されるように非可逆ＹＣｇＣｏ変換マトリックスを使用する。ロスレスの場合に、図５Ｂに示されるように可逆色変換ＹＣｇＣｏ－ＬＳが適用される。さらに、既存のＡＣＴ設計とは異なり、ＶＶＣ標準の他の符号化ツールとの相互作用を処理するために、提案されたＡＣＴスキームに次の変更が導入される。

例えば、ＨＥＶＣ内の１つのＣＵの残差が複数のＴＵに分割され得るので、色空間転換が適用される必要があるか否かを指示するために、ＡＣＴ制御フラグがＴＵごとに別々にシグナリングされる。しかしながら、図４Ｅに関連して前に説明したように、二分割および三分割構造でネストされた１つの四分木がＶＶＣに適用されてマルチ分割タイプ概念が置き換えられるので、ＨＥＶＣ内の個別のＣＵ、ＰＵ、およびＴＵ分割が削除される。これは、サポートされる最大変換サイズがＣＵの１つの成分の幅さまたは高さよりも小さい場合を除き、ほとんどの場合にさらなる分割がないで１つのＣＵ葉ノードが予測および変換処理の単位としても使用されることを意味する。そのような分割構造に基づいて、本開示では、ＣＵレベルでＡＣＴを適応的に有効および無効にすることが提案される。具体的には、ＣＵごとに１つのフラグｃｕ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇがシグナリングされ、ＣＵの残差を符号化するために元の色空間とＹＣｇＣｏ色空間との間に選択を行う。フラグが１に等しい場合に、ＣＵ内のすべてのＴＵの残差がＹＣｇＣｏ色空間で符号化されることを指示する。それ以外の場合、フラグｃｕ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇが０に等しい場合、ＣＵのすべての残差が元の色空間で符号化される。

いくつかの実施例では、シンタックス要素、例えば、ｓｐｓ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇがシーケンスパラメータセット（ＳＰＳ）に添加されて、シーケンスレベルでＡＣＴが有効であるか否かを指示する。さらに、色空間転換は輝度成分と彩度成分が同じ解像度（例えば、４：４：４彩度フォーマット４：４：４）を有する映像コンテンツに適用されるため、１つのビットストリーム適合要求を添加する必要があることによって、ＡＣＴは４：４：４彩度フォーマットの場合のみ有効にされ得る。表１は、上記のシンタックスが添加されて修正されたＳＰＳシンタックステーブルを示す。

具体的には、１に等しいｓｐｓ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇはＡＣＴが有効であることを指示し、０に等しいｓｐｓ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇはＡＣＴが無効であることを指示することで、ＳＰＳを指する、０であると推測されるＣＵに対してフラグｃｕ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇがシグナリングされない。ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが３に等しくない場合、ｓｐｓ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇの値が０に等しくなければならないことがビットストリーム適合の要件である。

別の実施例では、常にｓｐｓ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇをシグナリングする代わりに、フラグのシグナリングは、入力信号の彩度タイプに条件付けられる。具体的には、輝度成分と彩度成分とが同じ解像度の場合にのみＡＣＴが適用できると、フラグｓｐｓ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇは、入力映像が４：４：４彩度フォーマットでキャプチャされた場合にのみシグナリングされる。このような変更に伴い、修正されたＳＰＳシンタックステーブルは次のとおりです。

いくつかの実施例では、ＡＣＴを使用して映像データをデコードするためのシンタックス設計仕様は、以下の表に示される。

１に等しいフラグｃｕ_ａｃｔ_enabled_ｆｌａｇは、符号化ユニットの残差がＹＣｇＣｏ色空間に符号化されることを指示し、０に等しいフラグｃｕ_ａｃｔ_enabled_ｆｌａｇは、符号化ユニットの残差が元の色空間（例えば、ＲＧＢ又はＹＣｂＣｒ）に符号化されることを指示する。フラグｃｕ_ａｃｔ_enabled_ｆｌａｇが存在しない場合、０に等しいと推測される。

図８Ａおよび８Ｂは、本開示のいくつかの実行に従って、映像デコーダが逆適応色空間変換（ＡＣＴ）および彩度スケーリングを用いる輝度マッピングの技術を実行する例示的な映像デコーディング処理を示すブロック図である。いくつかの実施例では、映像ビットストリームは、両方のＡＣＴ（例えば、図７の逆ＡＣＴ７１０）および彩度残差スケーリング（例えば、図６の彩度残差スケーリング６３０）を使用して符号化される。いくつかの他の実施例では、映像ビットストリームは、彩度残差スケーリングを使用しており両方のＡＣＴを使用せず符号化され、これにより、逆ＡＣＴＴ７１０を必要としない。

より具体的には、図８Ａは、映像符号器が逆ＡＣＴ７１０の前に彩度残差スケーリング６３０を実行する実施例を示す。その結果、映像符号器は、色空間変換されたドメインにおいて彩度残差スケーリング６３０を用いて輝度マッピングを実行する。例えば、入力映像がＲＧＢフォーマットでキャプチャされ、ＹＣｇＣｏ色空間に変換されると仮定すると、映像符号器は、ＹＣｇＣｏ色空間の輝度残差Ｙに従って、彩度残差ＣｇおよびＣｏに対して彩度残差スケーリング６３０を実行する。

図８Ｂは、映像符号器が逆ＡＣＴ７１０の後に彩度残差スケーリング６３０を実行する代替の実施例を示す。その結果、映像符号器は、元の色空間ドメインで彩度残差スケーリング６３０を用いて輝度マッピングを実行する。例えば、入力映像がＲＧＢフォーマットでキャプチャされると仮定すると、映像符号器はＢおよびＲ成分に彩度残差スケーリングを適用する。

図９は、本開示のいくつかの実行による、適応色空間変換（ＡＣＴ）の実行とブロック差動パルス符号化変調（ＢＤＰＣＭ）との間の例示的なデコーディング論理を示すブロック図である。

ＢＤＰＣＭは、スクリーンコンテンツ符号化のための符号化ツールである。いくつかの実施例では、ＢＤＰＣＭ有効フラグは、ＳＰＳにおいてシーケンスレベルでシグナリングされる。ＢＤＰＣＭ有効フラグは、ＳＰＳで変換スキップモードが有効になる場合にのみシグナリングされる。

ＢＤＰＣＭが有効になると、ＣＵサイズが輝度サンプルに関してＭａｘＴｓＳｉｚｅ×ＭａｘＴｓＳｉｚｅ以下であり、そしてＣＵがイントラ符号化される場合、フラグはＣＵレベルで送信され、ここで、ＭａｘＴｓＳｉｚｅは、変換スキップモードが許可される最大のブロックサイズである。このフラグは、通常のイントラ符号化が使用されるかまたはＢＤＰＣＭが使用されるかを指示する。ＢＤＰＣＭが使用される場合、別のＢＤＰＣＭ予測方向フラグはさらに送信されて、予測が水平であるか又は垂直であるかを指示する。次に、フィルタリングされない参照サンプルを利用し、通常の水平または垂直のイントラ予測処理を使用してブロックが予測される。残差が量子化され、且つ各量子化残差とその予測子、つまり、水平または垂直（ＢＤＰＣＭ予測方向に応じて）の隣接位置の前に符号化された残差と間の差が符号化される。

逆量子化残差Ｑ^-１（Ｑ（ｒ_ｉ,ｊ））がイントラブロック予測値に添加されて、再構築されたサンプル値が生成される。

いくつかの実施例では、映像符号器は、ＡＣＴとＢＤＰＣＭとの間の相互作用をよりよく処理するために異なる論理を実行する。例えば、ＡＣＴが１つのイントラＣＵに適用されると、ＢＤＰＣＭは輝度成分に対して有効になるが、彩度成分に対しては無効になる（９１０）。符号化ユニットの対応の修正されたシンタックステーブルが以下のように示される。

いくつかの実施例では、ＡＣＴが１つのイントラＣＵに適用されると、ＢＤＰＣＭは、輝度成分および彩度成分の両方に対して有効にされる（９２０）。符号化ユニットの対応の修正されたシンタックステーブルが以下のように示される。

いくつかの実施例では、ＡＣＴが１つのイントラＣＵに適用されると、ＢＤＰＣＭは、輝度成分および彩度成分の両方に対して無効にされる（９３０）。このような場合、ＢＤＰＣＭ関連のシンタックス要素をシグナリングする必要はない。符号化ユニットの対応の修正されたシンタックステーブルが以下のように示される。

図１０は、本開示のいくつかの実行に従って、ＡＣＴと他の符号化ツール（例えば、ＬＭＣＳおよびＢＤＰＣＭ）との間の相互作用に基づいて逆適応色空間変換（ＡＣＴ）の技術を条件付きで実行することによって映像符号器が映像データをデコードする例示的な処理を示すフローチャート１０００である。

第１のステップとして、映像デコーダは、ビットストリームから、彩度スケーリングを用いる輝度マッピング（ＬＭＣＳ）がスライス内の符号化ユニットに適用されるか否かを指示するスライスのスライスヘッダ内の第１のシンタックス要素を受信する（１０１０）。

次に、映像デコーダは、ビットストリームから、スライス内の符号化ユニットのための第２のシンタックス要素（例えば、ｃｕ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇ）を受信する（１０２０）。第２のシンタックス要素は、符号化ユニットが適応色空間変換（ＡＣＴ）を使用して符号化されるか否かを指示する。

第２のシンタックス要素がゼロ以外の値を有する（例えば、符号化ユニットがＡＣＴを使用して符号化されたことを指示する）と、映像デコーダは、逆ＡＣＴを適用して符号化ユニットの輝度残差および彩度残差を符号化ユニットに対応する映像データの変換された色空間から元の色空間へ転換することにより、映像データをデコードする（１０３０）。

逆ＡＣＴを適用して符号化ユニットの輝度残差および彩度残差を転換した後、第１のシンタックス要素がゼロ以外の値を有する場合（例えば、符号化ユニットがＬＭＣＳで符号化されたことを指示する）、映像デコーダは、符号化ユニットの輝度サンプルへの逆輝度マッピングおよび彩度残差への逆スケーリングを実行することによって符号化ユニットに対応する映像データをデコードする（１０４０）。

いくつかの実施例では、第２のシンタックス要素を受信する前に、映像デコーダは、ビットストリームから第３のシンタックス要素（例えば、ｃｈｒｏｍａ_ｆｏｒｍａｔ_ｉｄｃ）を受信し、ここで、第３のシンタックス要素は、映像データが事前定義された彩度フォーマットを有するか否かを指示する。上記のように、ＡＣＴは、特定の事前定義された彩度フォーマット（例えば、４：４：４彩度フォーマット）に対してのみ有効になる。

いくつかの実施例では、第２のシンタックス要素（例えば、ｃｕ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇ）は、映像データが事前定義された彩度フォーマットを有する場合にのみビットストリームに存在する（例えば、映像データが４：４：４彩度フォーマットでない場合、ＡＣＴは無効にされる）。

いくつかの実施例では、変換された色空間はＹＣｇＣｏ色空間であり、一方、元の色空間は、ＲＧＢ色空間またはＹＣｂＣｒ色空間でもよい。

いくつかの実施例では、逆ＡＣＴを実行して符号化ユニットの輝度残差および彩度残差を転換した後、映像デコーダは、以下によって、符号化ユニットの輝度サンプルへの逆輝度マッピングおよび彩度残差への逆スケーリングを実行する：元の色空間の輝度残差を予測された輝度サンプルに加算することで符号化ユニットのマッピングされたドメインにおける中間輝度サンプルを生成すること；１つまたは複数の適応区分的線形モデルを使用してマッピングされたドメインの中間輝度サンプルを事前マッピングされたドメイン内の再構築された輝度成分に転換すること；マッピングされたドメイン内の対応の中間輝度サンプルに従って、彩度残差を逆スケーリングすること；スケーリングされた彩度残差と予測された彩度サンプルを使用して符号化ユニットの彩度成分を再構築すること。

いくつかの実施例では、映像デコーダは、ビットストリームから、符号化ユニットに対応する映像データを受信し、ここで、符号化ユニットは、イントラ予測モードによって符号化される。映像符号器は、映像データから第１のシンタックス要素（例えば、ｃｕ_ａｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇ）を受信し、ここで、第１のシンタックス要素は、符号化ユニットが適応色空間変換（ＡＣＴ）を使用して符号化されるか否かを指示する。第１のシンタックス要素がゼロ値を有する場合、映像符号器は映像データから１つまたは複数のシンタックス要素（例えば、ｉｎｔｒａ_ｂｄｐｃｍ_ｃｈｒｏｍａ_ｆｌａｇ、ｉｎｔｒａ_ｂｄｐｃｍ_ｃｈｒｏｍａ_ｄｉｒ_ｆｌａｇ）を受信し、ここで、１つまたは複数のシンタックス要素は、符号化ユニットの彩度成分がブロック差動パルス符号化変調（ＢＤＰＣＭ）を使用して符号化されるか否かを指示する。第１のシンタックス要素がゼロ以外の値を有する場合、映像符号器は、ＢＤＰＣＭに関連付けられた１つまたは複数のシンタックス要素にデフォルト値を割り当てる。デフォルト値は、符号化ユニットの彩度成分が逆ＢＤＰＣＭまたはその他を使用してデコードされることを指示する。映像符号器は、次に、ＡＣＴに関連付けられた第１のシンタックス要素およびＢＤＰＣＭに関連付けられた１つまたは複数のシンタックス要素に従って、映像データから符号化ユニットをデコードする。

いくつかの実施例では、第１のシンタックス要素を受信する前に、映像デコーダは、映像データから第２のシンタックス要素を受信し、ここで、第２のシンタックス要素は、映像データが事前定義された彩度フォーマットを有するか否かを指示する。上記のように、ＡＣＴは、特定の事前定義された彩度フォーマット（例えば、４：４：４彩度フォーマット）に対してのみ有効になる。

いくつかの実施例では、第１のシンタックス要素は、映像データが事前定義された彩度フォーマットを有する場合にのみビットストリームに存在する。

いくつかの実施例では、色空間変換が適用されておらず符号化ユニットが符号化されるときに、符号化ユニットは逆ＢＤＰＣＭを使用してデコードされる。

１つ又は複数の例では、説明される機能はハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組み合わせにおいて実行されてもよい。ソフトウェアにより実行される場合、機能は１つ又は複数の指令又はコードとしてコンピュータ可読媒体に記憶され、又はコンピュータ可読媒体により送信され、ハードウェアベース処理ユニットにより実行されてもよい。コンピュータ可読媒体は、例えばデータ記憶媒体等の有形媒体に対応するコンピュータ可読記憶媒体、又は、コンピュータプログラムを一箇所から例えば通信プロトコルに基づいて他の箇所まで容易に伝送することができるいかなる媒体を含む通信媒体を含んでもよい。この方式によって、コンピュータ可読媒体は一般的に、（１）非一時的有形コンピュータ可読記憶媒体、又は、（２）信号又はキャリアウェーブ等の通信媒体に対応してもよい。データ記憶媒体は、１つ又は複数のコンピュータ、又は１つ又は複数のプロセッサがアクセスして指令、コード及び／又はデータ構造を検索することにより本願に説明される実施形態を実行することができるいかなる利用可能媒体であってもよい。コンピュータプログラム製品はコンピュータ可読媒体を含んでもよい。

本明細書の実施形態の説明において使用される用語は特定の実施形態を説明するためのものに過ぎず、特許請求の範囲を制限するためのものではない。上下の文脈において他の意味を明確に指示していない限り、実施形態の説明及び添付の特許請求の範囲に使用される単数形式の「１種類」、「１つ」及び「該」は複数形式も含むように意図されている。更に理解されるように、本明細書に使用される用語「及び／又は」は１つ又は複数の関連する列挙した項目の任意及びすべての可能な組み合わせを指し、且つ１つ又は複数の関連する列挙した項目の任意及びすべての可能な組み合わせを含む。更に理解されるように、用語「備える」及び／又は「含む」は本明細書に使用される際に前記特徴、要素及び／又は構成要素の存在を指定するが、１つ又は複数の他の特徴、要素、構成要素及び／又はそれらからなる群の存在又は追加を排除しない。

更に理解されるように、用語「第１」、「第２」等は本明細書において様々な要素を説明することに用いられてもよいが、これらの要素はこれらの用語により制限されるものではない。これらの用語は１種類の要素と他の種類の要素とを区別することのみに用いられる。例えば、実施形態の範囲を逸脱せずに、第１電極は第２電極と称されてもよく、且つ、同様に第２電極は第１電極と称されてもよい。第１電極及び第２電極はいずれも電極であるが、同じ電極ではない。

本願の記述は説明及び記述のためのものであり、開示される形式の本発明を網羅又は制限するように意図されるものではない。上記記述及び関連図面における指導を受けて、多くの修正、変化及び代替実施形態は当業者にとっては明らかなものである。実施例の選択及び記述は、本発明の原理、実際応用を最もよく解釈し、且つ、当業者が本発明の様々な実施形態を理解でき、基本原理及び様々な修正を有する様々な実施形態を最もよく利用し、例えば期待される特定用途に適用するようにするためのものである。従って、理解されるように、特許請求の範囲は開示される実施形態の具体例に限らず、且つ修正及び他の実施形態は添付の特許請求の範囲内に含まれるように意図されている。

Claims (10)

1. 映像エンコードの方法であって、
   彩度スケーリングを用いる輝度マッピング（ＬＭＣＳ）がスライスにおける符号化ユニットに適用されているか否かを決定することと、
   前記スライスにおける１つの符号化ユニットが、適応色空間変換（ＡＣＴ）を使用して符号化されているか否かを決定することと、
   前記符号化ユニットが、適応色空間変換（ＡＣＴ）を使用して符号化されていることが決定されることに従って、逆ＡＣＴを適用して符号化ユニットの輝度残差と彩度残差とを映像データの１つの変換された色空間から元の色空間に転換することで符号化ユニットに対応する映像データをデコードすることと、
   逆ＡＣＴを適用して符号化ユニットの輝度残差と彩度残差とを転換した後、前記彩度スケーリングを用いる輝度マッピング（ＬＭＣＳ）が前記スライスにおける符号化ユニットに適用されていることが決定されることに従って、元の色空間における符号化ユニットの輝度残差に基づき中間輝度サンプルを得て、中間輝度サンプルを使用して逆輝度マッピングを実行し且つ元の色空間における符号化ユニットの彩度残差を使用して逆スケーリングを実行することで符号化ユニットに対応する映像データをデコードすることと、
   を含む、方法。
2. ＬＭＣＳが前記スライスにおける符号化ユニットに適用されているか否かを指示する第１のシンタックス要素をシグナリングすることと、
   前記符号化ユニットが、ＡＣＴを使用して符号化されているか否かを指示する第２のシンタックス要素をシグナリングすることと、
   を更に含む請求項１に記載の方法。
3. 第２のシンタックス要素をシグナリングする前に、第３のシンタックス要素をシグナリングし、当該第３のシンタックス要素は、映像データが事前定義された彩度フォーマットを有するか否かを指示する、
   請求項２に記載の方法。
4. 事前定義された彩度フォーマットは４：４：４彩度フォーマットである、
   請求項３に記載の方法。
5. 第２のシンタックス要素は、映像データが事前定義された彩度フォーマットを有する場合にのみシグナリングされる、
   請求項３に記載の方法。
6. 変換された色空間はＹＣｇＣｏ色空間である、
   請求項１に記載の方法。
7. 元の色空間における符号化ユニットの輝度残差に基づき中間輝度サンプルを得て、中間輝度サンプルを使用して逆輝度マッピングを実行し且つ元の色空間における符号化ユニットの彩度残差を使用して逆スケーリングを実行することで符号化ユニットに対応する映像データをデコードするのは、
   元の色空間の輝度残差を符号化ユニットの予測された輝度サンプルに加算することにより、符号化ユニットのマッピングされたドメインにおける中間輝度サンプルを生成することと、
   １つまたは複数の適応区分的線形モデルを使用して、マッピングされたドメインの中間輝度サンプルを、事前にマッピングされたドメインの再構築された輝度成分に転換することと、
   マッピングされたドメイン内の対応する中間輝度サンプルに従って、元の色空間の彩度残差を逆スケーリングすることと、
   符号化ユニットのスケーリングされた彩度残差と予測された彩度サンプルとを使用して、符号化ユニットの彩度成分を再構築することと、
   を更に含む、
   請求項１に記載の方法。
8. 電子装置であって、
   １つまたは複数の処理ユニットと、
   前記１つまたは複数の処理ユニットにカップリングされるメモリと、
   前記メモリに記憶される複数のプログラムと
   を含み、
   前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されると、電子装置に、請求項１～７のいずれか１項に記載の方法を実行させる、
   電子装置。
9. 非一時的なコンピュータ可読記憶媒体であって、
   １つまたは複数の処理ユニットを有する電子装置によって実行するための複数のプログラムを記憶し、前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されると、電子装置に、デコードされた映像データに基づくビットストリームを生成し、前記ビットストリームを送信するための請求項１～７のいずれか１項に記載の方法を実行させる、
   非一時的なコンピュータ可読記憶媒体。
10. コンピュータプログラムであって、
    １つまたは複数の処理ユニットを有する電子装置によって実行するための複数のプログラムコードを含み、前記複数のプログラムコードは、前記１つまたは複数の処理ユニットによって実行されると、電子装置に、請求項１～７のいずれか１項に記載の方法を実行させる、
    コンピュータプログラム。

Images