JP2023501191A - クロス成分映像コーディングにおける線形パラメータの導出 - Google Patents

Abstract

映像処理方法は、映像のクロマブロックと映像のビットストリーム表現との間の変換のために、ダウンサンプリングフィルタを使用して、クロマブロックの並置した輝度ブロックの、正の整数であるＮ個の上側近傍ラインから生成されるダウンサンプリングした輝度サンプルを使用することによって、クロス成分線形モデルのパラメータを導出することと、クロス成分線形モデルを使用して生成される予測クロマブロックを使用して、変換を行うこととを含む。【選択図】図１１

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０１９年１１月１日出願の国際特許出願第ＰＣＴ／ＣＮ２０１９／１１５０３４号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本願の開示の一部として参照により援用される。

本願は、映像および画像の符号化および復号技術に関する。

デジタル映像は、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

開示された技術は、クロス成分線形モデル予測を使用して符号化または復号を行うために、映像または画像のデコーダまたはエンコーダの実施形態によって使用されてもよい。

１つの例示的な態様において、映像を処理する方法が開示される。この方法は、映像のクロマブロックと映像のビットストリーム表現との間の変換のために、ダウンサンプリングフィルタを使用して、クロマブロックの並置した輝度ブロックの、正の整数であるＮ個の上側近傍ラインから生成されるダウンサンプリングした輝度サンプルを使用することによって、クロス成分線形モデルのパラメータを導出することと、クロス成分線形モデルを使用して生成される予測クロマブロックを使用して、前記変換を行うことと、を含む。

別の例示的な態様において、映像を処理する方法が開示される。この方法は、映像のコンポーネントの映像領域と映像のビットストリーム表現との間の変換のために、変換スキップモードを使用してコーディングした映像ブロックに対する最大許容ブロックサイズを決定することと、前記決定に基づいて前記変換を行うことと、を含む。

別の例示的な態様において、映像を処理する方法が開示される。この方法は、第１の規則と第２の規則に従って、映像ブロックを含む映像と前記映像のビットストリーム表現との間の変換を行うことを含み、前記映像ブロックの第１の部分のコーディングに変換スキップコーディングツールを使用し、前記映像ブロックの第２の部分のコーディングに変換コーディングツールを使用し、前記第１の規則は、前記映像ブロックの前記第１の部分のための最大許容ブロックサイズを規定し、前記第２の規則は、前記映像ブロックの前記第２の部分のための最大許容ブロックサイズを規定し、前記映像ブロックの前記第１の部分に対する前記最大許容ブロックサイズは、前記映像ブロックの前記第２の部分に対する前記最大許容ブロックサイズとは異なる。

別の例示的な態様において、映像を処理する方法が開示される。この方法は、１つ以上のブロックを含む映像と映像のビットストリーム表現との間の変換を行うことを含み、ビットストリーム表現は、変換スキップツールの使用を示す構文要素がビットストリーム表現に含まれるかどうかが、変換スキップツールを使用してコーディングされるクロマブロックの最大許容サイズに依存すると規定するフォーマット規則に準拠する。

別の例示的な態様において、映像を処理する方法が開示される。この方法は、第１のクロマ成分の１つ以上の第１の映像ブロックおよび第２のクロマ成分の１つ以上の第２の映像ブロックと、映像のビットストリーム表現とを含む映像との間の変換を行うことを含み、前記ビットストリーム表現は、１つ以上の第１のクロマブロックおよび１つ以上の第２のクロマブロックをコーディングするための変換スキップツールの可用性を一緒に示す構文要素を使用することを規定するフォーマット規則に準拠する。

別の例示的な態様において、上述された方法は、処理装置を含む映像エンコーダによって実装されてもよい。

さらに別の例示的な態様において、これらの方法は、処理装置実行可能命令の形式で実施されてもよく、コンピュータ可読プログラム媒体に記憶されてもよい。

これらの、および他の態様は、本明細書でさらに説明される。

ピクチャにおける４：２：２の輝度およびクロマサンプルの名目上の垂直および水平の位置を示す。 映像エンコーダの例を示す。 ６７個のイントラ予測モードの例を示す。 水平方向および垂直方向の横断走査の例を示す。 α、βの導出に使用したサンプルの位置の例を示す。 １つの４×８個のサンプルブロックを２つの独立して復号可能な領域に分割する例を示す。 垂直方向予測モジュールを有する４×Ｎのブロックに対してスループットを最大にするように、画素の行を処理する例示的な順序を示す。 低周波数非可分変換（ＬＦＮＳＴ）処理の例を示す。 ４：２：２映像のためのＣＣＬＭパラメータの導出に使用される、近傍のクロマサンプルおよびダウンサンプリングして並置した近傍の輝度サンプルの例を示す。 映像処理装置の例を示す。 例示的な映像エンコーダのブロック図を示す。 開示される技術のいくつかの実装形態に基づく、映像処理方法の例を示すフローチャートである。 映像処理システムの例を示すブロック図である。 例示的な映像コーディングシステムを示すブロック図である。 開示された技術のいくつかの実施形態によるエンコーダを示すブロック図である。 開示された技術のいくつかの実施形態によるデコーダを示すブロック図である。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。 開示される技術のいくつかの実装形態に基づくビデオ処理の例を示すフローチャートである。

本明細書は、伸張または復号されたデジタル映像または画像の品質を向上させるために、画像または映像ビットストリームのデコーダによって使用できる様々な技術を提供する。簡潔にするために、本明細書では、用語「映像」は、一連のピクチャ（従来から映像と呼ばれる）および個々の画像の両方を含むように使用される。さらに、映像エンコーダは、さらなる符号化に使用される復号されたフレームを再構成するために、符号化の処理中にこれらの技術を実装してもよい。

本明細書では、理解を容易にするために章の見出しを使用しており、１つの章に開示された実施形態をその章にのみ限定するものではない。このように、ある章の実施形態は、他の章の実施形態と組み合わせることができる。

１．発明の概要
本発明は、映像コーディング技術に関する。具体的には、本発明は、画像／映像コーディングにおけるクロス成分線形モデル予測および他のコーディングツールに関する。ＨＥＶＣのような既存の映像コーディング規格に適用してもよいし、規格（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を確定させるために適用してもよい。本発明は、将来の映像コーディング規格または映像コーデックにも適用可能である。

２．映像コーディングの導入
映像コーディング規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４ Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像コーディング規格は、時間予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。ＨＥＶＣを超えた将来の映像コーディング技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅ）と呼ばれる参照ソフトウェアに組み込まれてきた。２０１８年４月には、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）の間にＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔ Ｔｅａｍ（ＪＶＥＴ）が発足し、ＨＥＶＣと比較して５０％のビットレート削減を目標にＶＶＣ規格の策定に取り組んでいる。

２．１．色空間及びクロマサブサンプリング
色空間は、カラーモデル（又はカラーシステム）としても知られ、色の範囲を数字のタプル（ｔｕｐｌｅ）として簡単に記述する抽象的な数学モデルであり、典型的には３又は４つの値又は色成分（例えばＲＧＢ）である。基本的には、色空間は座標系とサブ空間とを合成したものである。

映像圧縮の場合、最も頻繁に使用される色空間は、ＹＣｂＣｒ及びＲＧＢである。

ＹＣｂＣｒ、Ｙ’ＣｂＣｒ、またはＹ Ｐｂ／Ｃｂ Ｐｒ／Ｃｒは、ＹＣＢＣＲまたはＹ’ＣＢＣＲとも呼ばれ、映像およびデジタル写真システムのカラー画像パイプラインの一部として使用される色空間のファミリーである。Ｙ’は輝度成分であり、ＣＢおよびＣＲは青色差および赤色差クロマ成分である。Ｙ’（素数を有する）はＹとは区別され、Ｙは輝度であり、ガンマ補正されたＲＧＢ原色に基づいて光強度が非線形に符号化されることを意味する。

クロマサブサンプリングは、人間の視覚システムが、輝度よりも色差の方が知覚が低いことを利用して、輝度情報よりもクロマ情報の方が解像度が低くなるように実装して画像を符号化する方法である。

２．１．１． ４：４：４
３つのＹ’ＣｂＣｒ成分の各々は、同じサンプルレートを有し、従って、クロマサブサンプリングは存在しない。この方式は、ハイエンドフィルムスキャナ及び映画のポストプロダクションに用いられることがある。

２．１．２． ４：２：２
２つのクロマ成分は、輝度のサンプルレートの半分でサンプリングされ、水平クロマ解像度は半分にされ、垂直クロマ解像度は変化しない。これにより、視覚的にほとんどまたは全く差がなく、非圧縮の映像信号の帯域幅を１／３に低減することができる。４：２：２カラーフォーマットの名目上の垂直および水平の位置の例が、例えば、ＶＶＣ作業草案の図１Ａに示されている。

２．１．３． ４：２：０
４：２：０では、水平サンプリングは４：１：１に比べて２倍になるが、このスキームではＣｂ及びＣｒチャネルを各１行おきのラインでのみサンプリングするので、垂直解像度は半分になる。従って、データレートは同じである。Ｃｂ及びＣｒはそれぞれ水平及び垂直方向の両方に２倍ずつサブサンプリングされる。異なる水平及び垂直位置を有する４：２：０スキームの３つの変形がある。
● ＭＰＥＧ－２において、ＣｂおよびＣｒは水平方向に共座している。Ｃｂ、Ｃｒは垂直方向の画素間に位置する（格子間に位置する）。
● ＪＰＥＧ／ＪＦＩＦにおいて、Ｈ．２６１、およびＭＰＥＧ－１、Ｃｂ、およびＣｒは、交互の輝度サンプルの中間の格子間に位置する。
● ４：２：０ ＤＶにおいて、ＣｂおよびＣｒは、水平方向に共座している。垂直方向には、それらは交互に共座している。

２．２．典型的な映像コーデックのコーディングフロー
図１Ｂは、３つのインループフィルタリングブロック、すなわち非ブロック化フィルタ（ＤＦ）、サンプル適応オフセット（ＳＡＯ）およびＡＬＦを含むＶＶＣのエンコーダブロック図の例を示す。ＤＦ（予め定義されたフィルタを使用する）とは異なり、ＳＡＯおよびＡＬＦは、現在のピクチャのオリジナルサンプルを利用し、それぞれ、オフセットを追加することにより、および、有限インパルス応答（ＦＩＲ）フィルタを適用することにより、オフセットおよびフィルタ係数を信号通知するコーディングされた側情報を用いて、元のサンプルと再構成サンプルとの間の平均二乗誤差を低減する。ＡＬＦは、各ピクチャの最後の処理ステージに位置し、前のステージで生成されたアーチファクトを捕捉し、修正しようとするツールと見なすことができる。

２．３．６７個のイントラ予測モードを有するイントラモードコーディング
自然映像に表される任意のエッジ方向をキャプチャするために、指向性イントラモードの数は、ＨＥＶＣで使用されるように、３３から６５に拡張される。追加の指向性モードは、図２において赤い点線の矢印で示され、平面モードとＤＣモードは同じままである。これらのより密度の高い指向性イントラ予測モードは、すべてのブロックサイズ、および輝度およびクロマイントラ予測の両方に適用される。

従来のアンギュラ・イントラ予測方向は、図２に示すように、時計回り方向に４５度から－１３５度まで規定される。ＶＴＭにおいて、いくつかの従来の角度イントラ予測モードは、非正方形のブロックのために、広角イントラ予測モードに適応的に置き換えられる。置換されたモードは、元の方法を使用して信号通知され、構文解析後、広角モードのインデックスに再マッピングされる。イントラ予測モードの総数は変化せず、すなわち、６７であり、イントラモードのコーディングは変化しない。

前記ＨＥＶＣにおいて、すべてのイントラコーディングされたブロックは正方形の形状を有し、その辺の各々の長さは２の累乗である。このように、ＤＣモードを使用してイントラ予測子を生成するのに、除算演算を必要としない。ＶＶＣにおいて、ブロックは長方形であってもよく、一般的な場合、ブロックごとに除算演算を使用することが必要である。ＤＣ予測のための除算演算を回避するために、長辺のみを使用して非正方形のブロックの平均を計算する。
図２は、６７個のイントラ予測モードの例を示す。

２．４．インター予測
インター予測ＣＵごとに、動きベクトル、参照ピクチャインデックス、および参照ピクチャリスト使用インデックスで構成される動きパラメータ、並びにＶＶＣの新しいコーディング特徴に必要な追加情報が、インター予測サンプル生成に使用される。動きパラメータは、明示的または暗示的に信号通知されてもよい。ＣＵがスキップモードでコーディングされる場合、ＣＵは１つのＰＵに関連付けられ、有意な残差係数、コーディング動きベクトルデルタまたは参照ピクチャインデックスを有さない。マージモードが指定され、これにより、空間的および時間的候補、並びにＶＶＣに導入された追加のスケジュールを含む、現在のＣＵのための動きパラメータを近傍のＣＵから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたＣＵに適用することができる。マージモードの代替案は、動きパラメータを明確に送信することであり、動きベクトル、各参照ピクチャリストおよび参照ピクチャリスト使用フラグに対応する参照ピクチャインデックス、並びに他の必要な情報が、ＣＵごとに明確に信号通知される。

２．５．イントラブロックコピー（ＩＢＣ）
イントラブロックコピー（ＩＢＣ）は、ＳＣＣのＨＥＶＣ拡張に採用されているツールである。これにより、スクリーンコンテンツ材料のコーディング効率が有意に向上することが知られている。ＩＢＣモードはブロックレベルコーディングモードとして実装されるので、エンコーダにおいてブロックマッチング（ＢＭ）を行い、各ＣＵごとに最適なブロックベクトル（又は動きベクトル）を見出す。ここで、ブロックベクトルは、現在のブロックから、現在のピクチャの内部で既に再構成された参照ブロックへの変位を示すために使用される。ＩＢＣコーディングされたＣＵの輝度ブロックベクトルは、整数精度である。クロマブロックベクトルは、整数精度にも丸められる。ＡＭＶＲと組み合わせた場合、ＩＢＣモードは、１画素と４画素の動きベクトル精度を切り替えることができる。ＩＢＣコーディングされたＣＵは、イントラ予測モード又はインター予測モード以外の第３の予測モードとして扱われる。ＩＢＣモードは、幅および高さの両方が６４輝度サンプル以下のＣＵに適用可能である。

エンコーダ側では、ＩＢＣのためにハッシュに基づく動き推定を行う。エンコーダは、１６個の輝度サンプル以下の幅または高さを有するブロックに対してＲＤチェックを行う。非マージモードの場合、まず、ハッシュに基づく検索を使用してブロックベクトル検索を行う。ハッシュ検索が有効な候補を返さないなら、局所検索に基づくブロックマッチングを行う。

ハッシュに基づく検索において、現在のブロックと参照ブロックとのハッシュキーマッチング（３２ビットＣＲＣ）を、許容されるすべてのブロックサイズに拡大する。現在のピクチャにおけるすべての位置のためのハッシュキーの計算は、４×４個のサブブロックに基づく。現在のブロックのサイズがより大きい場合、すべての４×４サブブロックのすべてのハッシュキーが対応する参照位置のハッシュキーに合致する場合に、ハッシュキーは参照ブロックのそれに合致すると決定される。複数の参照ブロックのハッシュキーが現在のブロックのハッシュキーに合致すると分かったなら、合致した各参照ブロックのブロックベクトルコストを計算し、最小限のコストを有するものを選択する。
ブロックマッチング検索において、検索範囲は前のＣＴＵおよび現在のＣＴＵの両方をカバーするように設定される。
ＣＵレベルにおいて、ＩＢＣモードはフラグで信号通知され、ＩＢＣ ＡＭＶＰモードまたはＩＢＣスキップ／マージモードとして以下のように信号通知され得る。

－ＩＢＣスキップ／マージモード：マージ候補インデックスを使用して、近傍の候補ＩＢＣコーディングされたブロックからのリストにおいて、どのブロックベクトルを使用して現在のブロックを予測するかを示す。マージリストは、空間候補、ＨＭＶＰ候補、およびペアワイズ候補からなる。

－ ＩＢＣ ＡＭＶＰモード：ブロックベクトル差を動きベクトル差と同様にコーディングする。ブロックベクトル予測方法は、２つの候補を予測子として使用し、１つは左の近傍からのものであり、１つは上の近傍のものである（ＩＢＣコーディングされている場合）。いずれかの近傍が利用可能でない場合、デフォルトのブロックベクトルが予測子として使用される。ブロックベクトル予測子インデックスを示すように、フラグが信号通知される。

２．６．パレットモード
パレットモード信号通知の場合、パレットモードはコーディングユニットに対する予測モードとしてコーディングされ、すなわち、コーディングユニットに対する予測モードは、ＭＯＤＥ＿ＩＮＴＲＡ，ＭＯＤＥ＿ＩＮＴＥＲ，ＭＯＤＥ＿ＩＢＣ，ＭＯＤＥ＿ＰＬＴであってもよい。パレットモードが利用される場合、ＣＵにおける画素値は、代表的な色値の小集合によって表される。前記集合をパレットと呼ぶ。パレットの色に近い値を有する画素の場合、パレットインデックスが信号通知される。パレットの外側の値を有する画素に対して、この画素はエスケープシンボルで表され、量子化された画素値は直接信号通知される。

パレット符号化ブロックを復号するために、デコーダは、パレットの色およびインデックスを復号する必要がある。パレットの色はパレットテーブルで記述され、パレットテーブルコーディングツールで符号化される。現在のＣＵにエスケープシンボルが存在するかどうかを示すべく、ＣＵごとにエスケープフラグが信号通知される。エスケープシンボルが存在する場合、パレットテーブルを１つだけ増やし、最後のインデックスをエスケープモードに割り当てる。ＣＵにおけるすべての画素のパレットインデックスは、パレットインデックスマップを形成し、パレットインデックスマップコーディングツールによって符号化される。

パレットテーブルをコーディングするために、パレット予測子が維持される。予測子は、各スライスの最初に初期化され、ここで予測子は０にリセットされる。パレット予測子のエントリごとに、再利用フラグが通知され、現在のパレットの一部であるかどうかが示される。再利用フラグは、ゼロのランレングスコーディングを使用して送信される。この後、新しいパレットエントリの数は、次数０の指数ゴロムコードを使用して通知される。最後に、新しいパレットエントリのコンポーネント値が通知される。現在のＣＵを符号化した後、現在のパレットを使用してパレット予測子を更新し、許容される最大サイズに達する（パレットスタッフィング）まで、現在のパレットにおいて再使用されていない前のパレット予測子からのエントリを新しいパレット予測子の末端に追加する。

パレットインデックスマップをコーディングするために、インデックスは、図３に示すように、横方向および縦方向の横断走査を使用してコーディングされる。ｐａｌｅｔｔｅ＿ｔｒａｎｓｐｏｓｅ＿ｆｌａｇを使用して、ビットストリームにおける走査順序を明確に信号通知する。

図３は、水平方向および垂直方向の横断走査の例を示す。

パレットインデックスは、２つのメインパレットサンプルモード、すなわち‘ＩＮＤＥＸ’および‘ＣＯＰＹ＿ＡＢＯＶＥ’を使用してコーディングされる。このモードは、水平走査が使用される場合に最上行を除いたフラグを使用し、垂直走査が使用される場合に第１の列を除いたフラグを使用し、または前のモードが「ＣＯＰＹ＿ＡＢＯＶＥ」であった場合のフラグを使用して信号通知される。「ＣＯＰＹ＿ＡＢＯＶＥ」モードでは、上の行のサンプルのパレットインデックスをコピーする。「ＩＮＤＥＸ」モードにおいて、パレットインデックスは明確に信号通知される。「ＩＮＤＥＸ」モードおよび「ＣＯＰＹ＿ＡＢＯＶＥ」モードの両方について、同じモードを使用してコーディングされる画素の数を指定する実行値が信号通知される。

インデックスマップの符号化順序は、以下の通りである。まず、ＣＵのためのインデックス値の数が信号通知される。これに続いて、トランケーテッドバイナリコーディング（ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ ｃｏｄｉｎｇ）を使用して、ＣＵ全体の実際のインデックス値を信号通知する。バイパスモードでは、インデックスの数およびインデックス値の両方がコーディングされる。これにより、インデックス関連バイパスビンがグループ化される。次に、パレットモード（ＩＮＤＥＸまたはＣＯＰＹ＿ＡＢＯＶＥ）および実行がインターリーブ方式で信号通知される。最後に、ＣＵ全体のためのエスケープサンプルに対応する成分エスケープ値をグループ化し、バイパスモードでコーディングする。インデックス値を信号通知した後、追加の構文要素ｌａｓｔ＿ｒｕｎ＿ｔｙｐｅ＿ｆｌａｇを信号通知する。この構文要素は、インデックスの数と連動して、ブロックにおける最後の実行に対応する実行値を信号通知する必要をなくす。

ＶＴＭにおいて、輝度およびクロマのためのコーディングユニットの分割を分離するＩスライスのためにデュアルツリーが有効化される。そこで、本提案では、輝度（Ｙ成分）とクロマ（Ｃｂ、Ｃｒ成分）とに対して別々にパレットが適用される。デュアルツリーが無効になっている場合、ＨＥＶＣパレットと同様に、Ｙ，Ｃｂ，Ｃｒ成分に対してパレットが共同で適用される。

２．７．クロス成分線形モデル予測
ＶＶＣにおいてクロス成分線形モデル（ＣＣＬＭ）予測モードが使用され、この場合、線形モデルを使用することによって、同じＣＵの再構成された輝度サンプルに基づいて、次のようにクロマサンプルを予測する。
ｐｒｅｄ_Ｃ（ｉ，ｊ）＝α・ｒｅｃ_Ｌ’（ｉ，ｊ）＋β （２－１）

ここで、ｐｒｅｄ_Ｃ（ｉ，ｊ）は、１つのＣＵにおける予測クロマサンプルを表し、ｒｅｃ_Ｌ（ｉ，ｊ）は、同じＣＵのダウンサンプリングされ再構成された輝度サンプルを表す。

図４は、左上のサンプルの位置及びＬＭモードに関与する現在地のサンプルを例示する。

図４は、α、βの導出に使用したサンプルの位置の例を示す。

上側テンプレートおよび左側テンプレートを使用して、ＬＭモードにおいて線形モデル係数を一緒に計算できる他に、ＬＭ＿ＡおよびＬＭ＿Ｌモードと呼ばれる他の２つのＬＭモードにおいても代替して使用できる。ＬＭ＿Ａモードにおいて、上側テンプレートのみを使用して線形モデル係数を算出する。より多くのサンプルを得るために、上側テンプレートを（Ｗ＋Ｈ）に拡張する。ＬＭ＿Ｌモードにおいて、左側のテンプレートのみを使用して線形モデル係数を計算する。より多くのサンプルを得るために、左側のテンプレートを（Ｈ＋Ｗ）に拡張する。非正方形ブロックの場合、上側テンプレートをＷ＋Ｗに拡張し、左テンプレートをＨ＋Ｈに拡張する。

ＣＣＬＭパラメータ（αおよびβ）は、せいぜい４つの近傍のクロマサンプルおよびそれらに対応するダウンサンプリングした輝度サンプルを用いて導出される。現在のクロマブロック寸法をＷ×Ｈとすると、Ｗ’およびＨ’は以下のように設定される。
－ ＬＭモードが適用される場合、Ｗ’＝Ｗ，Ｈ’＝Ｈ；
－ ＬＭ－Ａモードが適用される場合、Ｗ’＝Ｗ＋Ｈ；
－ ＬＭ－Ｌモードが適用される場合、Ｈ’＝Ｈ＋Ｗ；

上側近傍位置はＳ［０，－１］…Ｓ［Ｗ’－１，－１］と表され、左側近傍位置はＳ［－１，０］…Ｓ［－１，Ｈ’－１］と表される。次に、４つのサンプルを以下のように選択する。
－ ＬＭモードが適用される場合、および上側および左側近傍サンプルの両方が利用可能である場合には、Ｓ［Ｗ’／４，－１］，Ｓ［３Ｗ’／４，－１］，Ｓ［－１，Ｈ’／４］，Ｓ［－１，３Ｈ’／４］；
－ ＬＭ－Ａモードが適用されるか、または上側近傍サンプルのみが利用可能である場合、Ｓ［Ｗ’／８，－１］，Ｓ［３Ｗ’／８，－１］，Ｓ［５Ｗ’／８，－１］，Ｓ［７Ｗ’／８，－１］；
－ ＬＭ－Ｌモードが適用されるか、または左側近傍サンプルのみが利用可能である場合、Ｓ［－１，Ｈ’／８］，Ｓ［－１，３Ｈ’／８］，Ｓ［－１，５Ｈ’／８］，Ｓ［－１，７Ｈ’／８］；

最終的に、線形模型パラメータα及びβは、以下の式に従って求められる。

これは、計算の複雑性を低減すると共に、必要な表を記憶するために必要なメモリサイズを低減する利点を有する。

４：２：０映像シーケンスのクロマサンプル位置をマッチングするために、２つのタイプのダウンサンプリングフィルタを輝度サンプルに適用して、水平方向および垂直方向の両方向に２：１のダウンサンプリング比を達成する。ダウンサンプリングフィルタの選択は、ＳＰＳレベルフラグによって規定される。２つのダウンスマッピングフィルタは、それぞれ「タイプ０」および「タイプ２」のコンテンツに対応する。

なお、上側基準ラインがＣＴＵ境界にある場合、ダウンサンプリングされた輝度サンプルを生成するために、１つの輝度線（イントラ予測における一般的な線バッファ）のみが使用される。

このパラメータ計算は、復号処理の一部として行われ、エンコーダ検索動作として行われるだけではない。その結果、α値およびβ値をデコーダに伝達するための構文は使用されない。

クロマイントラモードコーディングの場合、クロマイントラモードコーディングのために合計８つのイントラモードが許可される。これらのモードには、５つの伝統的なイントラモードと６つの構成要素共通の線形モデルモードが含まれる（ＬＭ、ＬＭ＿ＡおよびＬＭ＿Ｌ）。クロマモード信号通知および導出処理を表２－２に示す。クロマモードコーディングは、対応する輝度ブロックのイントラ予測モードに直接依存する。Ｉスライスにおいて、輝度成分とクロマ成分に対するブロック分割構造の分離が有効化されているため、１つのクロマブロックは複数の輝度ブロックに対応してもよい。よって、クロマＤＭモードの場合、現在のクロマブロックの中心位置を含む、対応する輝度ブロックのイントラ予測モードは直接継承される。

２．８．ブロック差分パルスコード変調コーディング（ＢＤＰＣＭ）
ＪＶＥＴ－Ｍ００５７において、ＢＤＰＣＭが提案されている。現在の画素を予測するために左（Ａ）（または上（Ｂ））の画素を使用する水平（または垂直）予測モジュールの形状により、ブロックを最もスループット効率よく処理する方法は、１つの列（またはライン）のすべての画素を並列に処理し、これらの列（またはライン）を順次処理することである。スループットを向上させるために、我々は、以下の処理を導入する。すなわち、このブロックにおいて選択された予測子が垂直である場合、幅４のブロックを水平フロンティアで二分割し、このブロックにおいて選択された予測子が水平である場合、高さ４のブロックを垂直フロンティアで二分割する。

１つのブロックを分割する場合、１つの領域からのサンプルに対して別の領域からの画素を使用して予測を計算することはできず、このような状況が発生した場合、予測画素を予測方向の参照画素に置き換える。これについては、垂直方向に予測された４×８個のブロック内の現在の画素Ｘの異なる位置について、図５に示されている。

図５は、１つの４×８個のサンプルブロックを２つの独立して復号可能な領域に分割する例を示す。

この特性のおかげで、図６に示すように、４×４ブロックを２サイクルで処理することができ、４×８または８×４ブロックを４サイクルで処理してもよい。

図６は、垂直方向予測モジュールを有する４×Ｎのブロックに対してスループットを最大にするように、画素の行を処理する例示的な順序を示す。

表２－３に、ブロックのサイズに依存して、ブロックを処理するのに必要なサイクル数をまとめる。なお、両寸法がともに８以上である任意のブロックに対して、１サイクル当たり８画素以上の処理ができるということは自明である。

２．９．量子化残差ドメインＢＤＰＣＭ
ＪＶＥＴ－Ｎ０４１３において、量子化残差ドメインＢＤＰＣＭ（以下、ＲＢＤＰＣＭと称する）が提案される。イントラ予測は、イントラ予測と同様に、予測方向（水平または垂直予測）にサンプルコピーすることで、ブロック全体で予測する。残差を量子化し、量子化された残差とその予測子（水平または垂直）量子化値との間のデルタをコーディングする。

水平予測の場合、類似した規則が適用され、残差量子化サンプルは、以下の式によって得られる。

水平方向の場合、

このスキームの主な利点は、逆方向のＤＰＣＭを、係数の構文解析中にオンザフライで行うことができ、係数の構文解析中に予測子を追加するだけで済むこと、または、構文解析後に行うことができることである。

量子化された残差ドメインＢＤＰＣＭにおいては、常に変換スキップが使用される。

２．１０．ＶＶＣにおける複数の変換セット（ＭＴＳ）
ＶＴＭにおいて、サイズが６４×６４までの大きなブロックサイズの変換が有効化され、これは、主に高解像度映像、例えば、１０８０ｐおよび４Ｋシーケンスに有用である。サイズ（幅または高さ、または幅と高さの両方）が６４である変換ブロックに対して、高周波数変換係数をゼロにし、低周波数係数のみを保持する。例えば、Ｍ×Ｎ変換ブロックの場合、ブロック幅をＭ、ブロック高さをＮとすると、Ｍが６４である場合、左３２列の変換係数のみが保持される。同様に、Ｎが６４である場合、変換係数の上位３２行のみが保持される。大きなブロックに対して変換スキップモードを使用する場合、値をゼロ化することなくブロック全体を使用する。ＶＴＭはまた、ＳＰＳにおける設定可能な最大変換サイズをサポートし、そのため、エンコーダは、特定の実装の必要性に基づいて、最大１６長、３２長、または６４長の変換サイズを選択する柔軟性を有する。

ＨＥＶＣで使用されてきたＤＣＴ－ＩＩに加え、インターコーディングされたブロックおよびイントラコーディングされたブロックの両方の残差コーディングのために、複数の変換選択（ＭＴＳ）スキームが使用される。これは、ＤＣＴ８／ＤＳＴ７から選択された複数の変換を使用する。新しく導入された変換行列は、ＤＳＴ－ＶＩＩおよびＤＣＴ－ＶＩＩＩである。選択されたＤＳＴ／ＤＣＴの基本関数を以下の表２－４に示す。

変換行列の直交性を維持するために、変換行列はＨＥＶＣにおける変換行列よりも正確に量子化される。変換係数の中間値を１６ビットの範囲内に維持するために、水平変換後および垂直変換後、すべての係数は１０ビットを有することになる。

ＭＴＳスキームを制御するために、ＳＰＳレベルにおいて、イントラおよびインターに対してそれぞれ別個の有効化フラグを規定する。ＳＰＳにおいてＭＴＳが有効化されると、ＭＴＳが適用されているかどうかを示すように、ＣＵレベルフラグが信号通知される。ここで、ＭＴＳは輝度に対してのみ適用される。ＭＴＳ ＣＵレベルフラグは、以下の条件が満たされる場合に信号通知される。
－ 幅および高さが共に３２以下
－ ＣＢＦ フラグが１である

ＭＴＳ ＣＵフラグがゼロである場合、ＤＣＴ２が両方向に適用される。しかしながら、ＭＴＳ ＣＵフラグが１である場合、２つの他のフラグが追加的に信号通知され、それぞれ水平方向および垂直方向の変換タイプを示す。表２－５に示すように、マッピングテーブルを変換し、信号通知する。イントラモードおよびブロック形状の依存性を除去することで、ＩＳＰおよび暗示的ＭＴＳのための統一した変換選択を使用する。現在のブロックがＩＳＰモードである場合、または現在のブロックがイントラブロックであり、イントラおよびインターの明示的ＭＴＳが共にオンである場合、水平および垂直変換コアの両方にＤＳＴ７のみが使用される。行列精度を変換する場合、８ビットのプライマリ変換コアを使用する。そのため、ＨＥＶＣで使用されるすべての変換コアは、４ポイントＤＣＴ－２及びＤＳＴ－７、８ポイント、１６ポイント及び３２ポイントＤＣＴ－２などを含め、同じに保たれる。また、６４ポイントＤＣＴ－２、４ポイントＤＣＴ－８、８ポイント、１６ポイント、３２ポイントＤＳＴ－７及びＤＣＴ－８などの他の変換コアは、８ビットのプライマリ変換コアを使用する。

大きなサイズのＤＳＴ－７およびＤＣＴ－８の複雑性を低減するために、サイズ（幅または高さ、または幅と高さの両方）が３２であるＤＳＴ－７およびＤＣＴ－８ブロックに対して、高周波数変換係数をゼロ化する。１６×１６個の低周波数領域内の係数のみが保持される。

ＨＥＶＣにおけるように、ブロックの残差は、変換スキップモードでコーディングしてもよい。構文コーディングの冗長性を回避するために、ＣＵレベルＭＴＳ＿ＣＵ＿ｆｌａｇがゼロでない場合、変換スキップフラグは信号通知されない。変換スキップのブロックサイズの制限は、ＪＥＭ４におけるＭＴＳの場合と同じであり、ブロックの幅および高さが両方とも３２以下である場合、変換スキップがＣＵに適用可能であることを示す。なお、現在のＣＵのためにＬＦＮＳＴまたはＭＩＰがアクティブ化されるとき、暗示的ＭＴＳ変換がＤＣＴ２に設定される。また、ＭＴＳがインターコーディングされたブロックに対して有効化される場合、暗示的ＭＴＳは依然として有効化され得る。

２．１１．低周波数非可分変換（ＬＦＮＳＴ）
ＶＶＣにおいて、図７に示すように、順方向プライマリ変換と量子化との間（エンコーダ側）、および逆量子化と逆方向プライマリ変換（デコーダ側）との間に、縮小セカンダリ変換として知られるＬＦＮＳＴ（低周波数非可分変換）が適用される。ＬＦＮＳＴにおいて、ブロックサイズに従って、４×４非可分変換または８×８非可分変換を適用する。例えば、４×４のＬＦＮＳＴは、小さなブロック（即ち、ｍｉｎ（幅、高さ）＜８）に適用され、８×８のＬＦＮＳＴは、より大きなブロック（即ち、ｍｉｎ（幅、高さ）＞４）に適用される。

図７は、低周波数非可分変換（ＬＦＮＳＴ）処理の例を示す。

２．１１．１．縮小非可分変換

ＲＴのための逆変換行列は、その順方向変換の転置である。８×８のＬＦＮＳＴの場合、４倍の縮小率を適用し、従来の８×８の非可分変換行列サイズである６４×６４の直接行列を１６×４８の直接行列に縮小する。すなわち、デコーダ側において、４８×１６逆ＲＳＴ行列を使用して、８×８の左上の領域にコア（一次）変換係数を生成する。同じ変換セット構成を有する１６×６４個の行列の代わりに１６×４８個の行列を適用する時、各々の行列は、右下４×４ブロックを除く左上８×８ブロックの３つの４×４ブロックから４８個の入力データを取り込む。寸法を縮小することによって、すべてのＬＦＮＳＴ行列を記憶するためのメモリ使用量を１０ＫＢから妥当な性能低下をもたらす８ＫＢに縮小する。複雑性を低減するために、ＬＦＮＳＴは、第１の係数サブグループの外側のすべての係数が非有意な場合にのみ適用可能であるように制限される。従って、ＬＦＮＳＴが適用される場合、すべての１次のみの変換係数はゼロでなければならない。これにより、前回の有意位置に信号通知したＬＦＮＳＴインデックスの調整を可能にし、従って、現在のＬＦＮＳＴ設計における余分な係数スキャンを回避するもので、このことは、特定の位置においてだけ有意係数をチェックするために必要とされる。ＬＦＮＳＴを（１画素当たりの乗算に関して）取り扱う最悪のケースは、４×４および８×８ブロックに対する非可分変換を、それぞれ８×１６および８×４８変換に限定する。そのような場合、ＬＦＮＳＴが適用されるとき、前回の有意走査位置は、１６未満の他のサイズの場合、８未満でなければならない。４×Ｎ、Ｎ×４、およびＮ＞８の形状を有するブロックに対して、提案された制限は、ＬＦＮＳＴが１回だけ適用されることと、左上の４×４領域のみに適用されることを意味する。ＬＦＮＳＴが適用される場合、すべての１次のみの係数がゼロであるため、このような場合は、プライマリ変換に必要な演算の数が低減される。エンコーダの観点から見ると、ＬＦＮＳＴ変換を試験する時には、係数の量子化は非常に簡単になる。最初の１６個の係数に対して（スキャン順に）、ひずみ率が最適化された量子化を最大限に実行しなければならず、残りの係数は強制的にゼロになるようにする。

２．１１．２．ＬＦＮＳＴ（低周波数非可分変換）変換選択
全体で４個の変換セットがあり、１つの変換セット当たり２つの非可分変換行列（カーネル）がＬＦＮＳＴにおいて使用される。表２－６に示すように、イントラ予測モードから変換セットへのマッピングは、予め規定される。現在のブロック（８１＜＝ｐｒｅｄＭｏｄｅＩｎｔｒａ＜＝８３）に３つのＣＣＬＭモード（ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭ、またはＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ）のうちの１つを使用する場合、現在のクロマブロックに対して変換集合０を選択する。各変換セットに対して、選択された非可分セカンダリ変換候補は、明示的に信号通知されたＬＦＮＳＴインデックスによってさらに規定される。このインデックスは、変換係数の後、イントラＣＵごとに１回、ビットストリームで信号通知される。

２．１１．３．ＬＦＮＳＴインデックスの信号通知および他のツールとの相互作用
ＬＦＮＳＴは、第１の係数サブグループの外側のすべての係数が非有意である場合にのみ適用可能であるように制限されるため、ＬＦＮＳＴインデックスのコーディングは、最後の有意係数の位置に依存する。また、ＬＦＮＳＴインデックスはコンテキストコーディングされるが、イントラ予測モードに依存せず、第１のビンのみがコンテキストコーディングされる。さらに、ＬＦＮＳＴは、イントラスライスおよびインタースライスの両方において、且つ輝度およびクロマの両方に対して適用される。デュアルツリーが有効化される場合、輝度およびクロマのためのＬＦＮＳＴインデックスは、別個に信号通知される。インタースライス（デュアルツリーが無効化される）の場合、単一のＬＦＮＳＴインデックスが信号通知され、輝度およびクロマの両方に使用される。

ＩＳＰモードが選択された場合、すべての実行可能な分割ブロックにＲＳＴが適用されたとしても、性能の向上は限界であったため、ＬＦＮＳＴは無効化され、ＲＳＴインデックスは信号通知されない。さらに、ＩＳＰ予測された残差のためにＲＳＴを無効化することにより、符号化の複雑性を低減してもよい。ＭＩＰモードが選択されているとき、ＬＦＮＳＴも無効化され、インデックスは信号通知されない。

既存の最大変換サイズ制限（６４×６４）のために、６４×６４より大きいＣＵが暗示的に分割される（ＴＵタイリング）ことを考慮すると、ＬＦＮＳＴインデックス検索は、特定の数の復号パイプラインステージのために、データバッファリングを４倍に増加させ得る。従って、ＬＦＮＳＴが許容される最大サイズは、６４×６４に制限される。なお、ＬＦＮＳＴは、ＤＣＴ２のみで有効化される。

２．１２．クロマの変換スキップ
ＶＶＣにおいて、クロマ変換スキップ（ＴＳ）が導入される。その動機は、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇおよびｍｔｓ＿ｉｄｘをｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ部分に再配置することによって、輝度とクロマとの間のＴＳおよびＭＴＳ信号通知を統一することである。クロマＴＳのために１つのコンテキストモデルが追加される。ｍｔｓ＿ｉｄｘについては、コンテキストモデルもバイナリゼーションも変更されない。さらに、クロマＴＳを使用する場合にも、ＴＳ残差コーディングが適用される。

意味論

２．１３．クロマ用ＢＤＰＣＭ

どちらのブロックも通常ブロッキング・アーチファクトの原因となる変換ステージを使用しないので、非ブロック化フィルタは、２つのＢｌｏｃｋ－ＤＰＣＭブロックの間の境界で非アクティブ化される。この非アクティブ化は、輝度およびクロマ成分に対して独立して行われる。

３．開示される解決策が解決しようとする技術課題の例
ＣＣＬＭおよびＴＳにおける線形パラメータを導出する現在の設計は、以下の問題を有する。
１．非４：４：４カラーフォーマットの場合、ＣＣＬＭにおける線形パラメータの導出は、近傍のクロマサンプルおよびダウンサンプリングして並置した近傍の輝度サンプルを含む。図８に示すように、現在のＶＶＣにおいて、最も近いラインがＣＴＵ境界にない場合、４：２：２映像用の現在のブロックより上側の第２のラインを使用して、ダウンサンプリングして並置した近傍の最上の輝度サンプルを導出する。しかしながら、４：２：２映像の場合、垂直解像度は変化しない。それゆえ、ダウンサンプリングして並置した近傍の最上の輝度サンプルと、近傍のクロマサンプルとの間には、位相シフトが存在する。

図８は、４：２：２映像のためのＣＣＬＭパラメータの導出に使用される、近傍のクロマサンプルおよびダウンサンプリングして並置した近傍の輝度サンプルの例を示す。
２．現在のＶＶＣにおいて、輝度変換スキップフラグの信号通知およびクロマ変換スキップフラグの信号通知のための条件チェックにおいて、同じ最大ブロックサイズが使用される。このような設計は、カラーフォーマットを考慮しておらず、望ましくない。
ａ．輝度ＢＤＰＣＭフラグの信号通知およびクロマＢＤＰＣＭフラグの信号通知についても、同様の問題が存在し、同じ最大ブロックサイズは条件チェックに用いられる。

４．実施形態および技術のリスト化
以下に列記されるものは、一般的な概念を説明するための例であると考えられるべきである。これら項目は狭い意味で解釈されるべきではない。さらに、これらの項目は、任意の方法で組み合わせることができる。

本文書において、用語「ＣＣＬＭ」は、現在の色成分のサンプル／残差を予測するため、または現在の色成分におけるサンプルの再構成を導出するために、クロスカラー成分情報を利用するコーディングツールを表す。本発明は、ＶＶＣに記載されたＣＣＬＭ技術に限定されない。

１．クロマブロックのためのＣＣＬＭパラメータを導出するとき、その並置した輝度ブロックの１つ以上の上側近傍ラインを使用して、そのダウンサンプリングして並置した近傍の最上の輝度サンプルを導出してもよい。
ａ．一例において、現在のクロマブロックが最上のＣＴＵ境界にない場合、上側の第２のラインの代わりに、並置した輝度ブロックの最も近い上側のラインを、ダウンサンプリングして並置した最上の輝度サンプルの導出に使用してもよい。
ｉ．一例において、１つの同じダウンサンプリングフィルタは、ダウンサンプリングして並置した近傍の最上の輝度サンプルおよびダウンサンプリングして並置した近傍の左側輝度サンプルを導出するために使用してもよい。
１）例えば、［１ ２ １］フィルタを使用してもよい。より具体的には、ｐＤｓＹ［ｘ］＝（ｐＹ［２＊ｘ－１］［－１］＋２＊ｐＹ［２＊ｘ］［－１］＋ｐＹ［２＊ｘ＋１］［－１］＋２）＞＞２であり、ｐＹ［２＊ｘ］［－１］，ｐＹ［２＊ｘ－１］［－１］，ｐＹ［２＊ｘ＋１］［－１］は、最も近い上側の近傍ラインからの輝度サンプルであり、ｐＤｓｔＹ［ｘ］は、ダウンサンプリングして並置した最上の輝度サンプルである。
ｉｉ．一例において、異なるダウンサンプリングフィルタ（例えば、異なるフィルタタップ／異なるフィルタ係数）を、ダウンサンプリングして並置した近傍の最上の輝度サンプルおよびダウンサンプリングして並置した近傍の左側輝度サンプルを導出するために使用してもよい。
ｉｉｉ．一例において、１つの同じダウンサンプリングフィルタを、クロマブロックの位置に関わらず（例えば、クロマブロックは、最上のＣＴＵ境界にあってもなくてもよい）、ダウンサンプリングして並置した近傍の最上の輝度サンプルを導出するために使用してもよい。
ｉｖ．一例において、上記方法は、４：２：２フォーマットの画像／映像にのみ適用されてもよい。
ｂ．一例において、現在のクロマブロックが最上のＣＴＵ境界にない場合、上側の第２のラインを除いて、並置した輝度ブロックの最も近い上側のラインを含む上側の近傍の輝度サンプルを、ダウンサンプリングして並置した最上の輝度サンプルの導出に使用してもよい。
ｃ．一例において、ダウンサンプリングして並置した近傍の最上の輝度サンプルの導出は、複数のラインに位置したサンプルに依存してもよい。
ｉ．一例において、それは、２つ目の最も近いラインと、並置した輝度ブロックの上側の最も近いラインとの両方に依存してもよい。
ｉｉ．一例において、ダウンサンプリングして並置した近傍の最上の輝度サンプルを、異なるカラーフォーマット（例えば、４：２：０および４：２：２）に対して１つの同じダウンサンプリングフィルタを使用して導出してもよい。
１）一例において、６タップフィルタ（例えば、［１ ２ １； １ ２ １］）を利用してもよい。
ａ）一例において、ダウンサンプリングして並置した近傍の最上の輝度サンプルは、ｐＤｓＹ［ｘ］＝（ｐＹ［２＊ｘ－１］［－２］＋２＊ｐＹ［２＊ｘ］［－２］＋ｐＹ［２＊ｘ＋１］［－２］＋ｐＹ［２＊ｘ－１］［－１］＋２＊ｐＹ［２＊ｘ］［－１］＋ｐＹ［２＊ｘ＋１］［－１］＋４）＞＞３として導出されてもよく、ｐＹは、対応する輝度サンプルであり、ｐＤｓｔＹ［ｘ］は、ダウンサンプリングして並置した近傍の最上の輝度サンプルを表す。
ｂ）さらに、代替的に、上記方法は、ｓｐｓ＿ｃｃｌｍ＿ｃｏｌｏｃａｔｅｄ＿ｃｈｒｏｍａ＿ｆｌａｇが０に等しい場合に適用されてもよい。
２）一例において、５タップフィルタ（例えば、［０ １ ０； １ ４ １； ０ １ ０］）を利用してもよい。
ａ）一例において、ダウンサンプリングして並置した近傍の最上の輝度サンプルは、ｐＤｓＹ［ｘ］＝（ｐＹ［２＊ｘ］［－２］＋ｐＹ［２＊ｘ－１］［－１］＋４＊ｐＹ［２＊ｘ］［－１］＋ｐＹ［２＊ｘ＋１］［－１］＋ｐＹ［２＊ｘ］［０］＋４）＞＞３として導出されてもよく、ｐＹは、対応する輝度サンプルであり、ｐＤｓｔＹ［ｘ］は、ダウンサンプリングして並置した近傍の最上の輝度サンプルを表す。
ｂ）さらに代替的に、上記方法は、ｓｐｓ＿ｃｃｌｍ＿ｃｏｌｏｃａｔｅｄ＿ｃｈｒｏｍａ＿ｆｌａｇが１に等しい場合に適用されてもよい。
ｉｉｉ．一例において、上記方法は、４：２：２フォーマットの画像／映像にのみ適用されてもよい。

２．変換スキップコーディングされたブロックの最大ブロックサイズは、色成分に依存してもよい。ここで、輝度およびクロマのための変換スキップコーディングされたブロックの最大ブロックサイズを、それぞれＭａｘＴｓＳｉｚｅＹおよびＭａｘＴｓＳｉｚｅＣとする。
ａ．一例において、輝度およびクロマ成分に対する最大ブロックサイズは異なってもよい。
ｂ．一例において、２つのクロマ成分に対する最大ブロックサイズは異なってもよい。
ｃ．一例において、輝度およびクロマ成分に対する、または各色成分に対する最大ブロックサイズは、別個に信号通知されてもよい。
ｉ．一例において、ＭａｘＴｓＳｉｚｅＣ／ＭａｘＴｓＳｉｚｅＹは、シーケンスレベル／ピクチャレベル／スライスレベル／タイルグループレベルで、例えば、シーケンスヘッダ／ピクチャヘッダ／ＳＰＳ／ＶＰＳ／ＤＰＳ／ＰＰＳ／ＡＰＳ／スライスヘッダ／タイルグループヘッダで信号通知されてもよい。
ｉｉ．一例において、ＭａｘＴｓＳｉｚｅＹは、たとえば、変換スキップが有効化されるかされないか、または／ＢＤＰＣＭが有効化されるかされないかに従って、条件付きで信号通知されてもよい。
ｉｉｉ．一例において、ＭａｘＴｓＳｉｚｅＣは、たとえば、カラーフォーマット／変換スキップが有効化されるかされないか／ＢＤＰＣＭが有効化されるかされないかに従って条件付きで信号通知されてもよい。
ｉｖ．代替的に、輝度成分とクロマ成分との間の最大ブロックサイズの予測コーディングを利用してもよい。
ｄ．一例において、ＭａｘＴｓＳｉｚｅＣは、ＭａｘＴｓＳｉｚｅＹに依存してもよい。
ｉ．一例において、ＭａｘＴｓＳｉｚｅＣは、ＭａｘＴｓＳｉｚｅＹに等しく設定されてもよい。
ｉｉ．一例において、ＭａｘＴｓＳｉｚｅＣは、ＭａｘＴｓＳｉｚｅＹ／Ｎ（Ｎは整数）に等しく設定されてもよい。例えば、Ｎ＝２である。
ｅ．一例において、ＭａｘＴｓＳｉｚｅＣは、クロマサブサンプリング比に従って設定されてもよい。
ｉ．一例において、ＭａｘＴｓＳｉｚｅＣは、ＭａｘＴｓＳｉｚｅＹ＞＞ＳｕｂＷｉｄｔｈＣに等しく設定され、ＳｕｂＷｉｄｔｈＣは、表２－１に定義されている。
ｉｉ．一例において、ＭａｘＴｓＳｉｚｅＣは、ＭａｘＴｓＳｉｚｅＹ＞＞ＳｕｂＨｅｉｇｈｔＣに等しく設定され、ＳｕｂＨｅｉｇｈｔＣは、表２－１に定義されている。
ｉｉｉ．一例において、ＭａｘＴｓＳｉｚｅＣは、ＭａｘＴｓＳｉｚｅＹ＞＞ｍａｘ（ＳｕｂＷｉｄｔｈＣ，ＳｕｂＨｅｉｇｈｔＣ）に等しく設定される。
ｉｖ．一例において、ＭａｘＴｓＳｉｚｅＣは、ＭａｘＴｓＳｉｚｅＹ＞＞ｍｉｎ（ＳｕｂＷｉｄｔｈＣ，ＳｕｂＨｅｉｇｈｔＣ）に等しく設定される。

３．変換コーディングされたブロックのための最大許容ブロックサイズの幅および高さは、異なるように定義されてもよい。
ａ．一例において、最大許容ブロックサイズの幅および高さは、別個に信号通知されてもよい。
ｂ．一例において、クロマ変換コーディングされたブロックに対する最大許容ブロックサイズの幅および高さは、それぞれＭａｘＴｓＳｉｚｅＷＣおよびＭａｘＴｓＳｉｚｅＨＣと表されてもよい。ＭａｘＴｓＳｉｚｅＷＣは、ＭａｘＴｓＳｉｚｅＹ＞＞ＳｕｂＷｉｄｔｈＣに等しく設定されてもよく、ＭａｘＴｓＳｉｚｅＨＣは、ＭａｘＴｓＳｉｚｅＹ＞＞ＳｕｂＨｅｉｇｈｔＣに等しく設定されてもよい。
ｉ．一例において、ＭａｘＴｓＳｉｚｅＹは、黒丸２で定義されているものである。

ａ．一例において、クロマ変換スキップフラグは、以下の条件に従って条件付きで信号通知されてもよい。
ｉ．一例において、条件は、ｔｂＷがＭａｘＴｓＳｉｚｅＣ以下であり、ｔｂＨがＭａｘＴｓＳｉｚｅＣ以下であり、ｔｂＷおよびｔｂＨが現在のクロマブロックの幅および高さである。
１）一例において、ＭａｘＴｓＳｉｚｅＣは、黒丸２～３のそれと同じように定義できる。
ｉｉ．一例において、条件は、ｔｂＷがＭａｘＴｓＳｉｚｅＷＣ以下であり、ｔｂＨがＭａｘＴｓＳｉｚｅＨＣ以下であり、ｔｂＷおよびｔｂＨが現在のクロマブロックの幅および高さであり、ＭａｘＴｓＳｉｚｅＷＣおよびＭａｘＴｓＳｉｚｅＨＣがそれぞれクロマ変換スキップコーディングされたブロックの最大許容ブロックサイズの幅および高さを表す。
１）一例において、ＭａｘＴｓＳｉｚｅＷＣおよび／またはＭａｘＴｓＳｉｚｅＨＣは、黒丸３のそれと同じように定義できる。

５．２つのクロマ色成分のために２つのＴＳフラグをコーディングする代わりに、１つの構文を使用して２つのクロマ色成分のためのＴＳの使用を示すことが提案される。

ｉ．一例において、単一の構文要素の値は、バイナリ値である。
１）さらに代替的に、２つのクロマ成分ブロックは、単一の構文要素に従って、同じＴＳモードのオン／オフ制御を共有する。
ａ）一例において、単一の構文要素の値が０に等しいことは、ＴＳが両方に対して無効化されていることを示す。
ｂ）一例において、単一の構文要素の値が０に等しいことは、ＴＳが両方に対して有効化されていることを示す。
２）代替的に、単一の構文要素の値がＫに等しい（例えば、Ｋ＝１）かどうかに基づいて、第２の構文要素をさらに信号通知することができる。
ａ）一例において、単一の構文要素の値が０に等しいことは、両方の構文要素に対してＴＳが無効化されていることを示し、単一の構文要素の値が０に等しいことは、２つのクロマ成分のうち少なくとも１つのクロマ成分に対してＴＳが有効化されていることを示す。
ｂ）第２の構文要素を使用して、ＴＳを２つのクロマ成分のうちのいずれか１つに適用するか、および／またはＴＳをその両方に適用するかを示してもよい。
ｉｉ．一例において、単一の構文要素の値は、非バイナリ値である。
１）一例において、単一の構文要素の値がＫ０に等しいことは、ＴＳが両方に対して無効化されていることを示す。
２）一例において、単一の構文要素の値がＫ１に等しいことは、第１のクロマ色成分に対してＴＳが有効化されており、第２の色成分に対してＴＳが無効化されていることを示す。
３）一例において、単一の構文要素の値がＫ２に等しいことは、第１のクロマ色成分に対してＴＳが無効化されており、第２の色成分に対してＴＳが有効化されていることを示す。
４）一例において、単一の構文要素の値がＫ３に等しいことは、ＴＳが両方に対して有効であることを示す。
５）一例において、単一の構文要素は、固定長、単項、切り捨てられた単項、ｋ次のＥＧ２値化法を使用してコーディングされてもよい。
ｉｉｉ．一例において、単一の構文要素および／または第２の構文要素は、コンテキストコーディングされてもよいし、またはバイパスコーディングされてもよい。

６．上記開示された方法を適用するかどうかおよび／またはどのように適用するかは、例えば、シーケンスヘッダ／ピクチャヘッダ／ＳＰＳ／ＶＰＳ／ＤＰＳ／ＰＰＳ／ＡＰＳ／スライスヘッダ／タイルグループヘッダにおいて、シーケンスレベル／ピクチャレベル／スライスレベル／タイルグループレベルで信号通知してもよい。

７．上述した開示された方法を適用するかどうか、および／またはどのように適用するかは、カラーフォーマット、シングル／デュアルツリー分割等のコーディングされた情報に依存してもよい。

５．実施形態
この章は、例示的な実施形態およびこれらの実施形態を説明するように現在のＶＶＣ規格を修正する方法を示す。ＶＶＣ仕様の変更は、太字およびイタリック文字で強調されている。削除されたテキストには二重括弧で囲んだ印が付けられている（例えば、［［ａ］］は文字「ａ」の削除を意味する）。

５．１．実施形態１
ＪＶＥＴ－Ｐ２００１－ｖ９で規定される作業草案は、次のように変更することができる。

…
３．ｘ＝０．．ｎＴｂＷ－１，ｙ＝０．．ｎＴｂＨ－１としたときの、ダウンサンプリングして並置した輝度サンプルｐＤｓＹ［ｘ］［ｙ］は、以下のように導出される。
－ ＳｕｂＷｉｄｔｈＣとＳｕｂＨｅｉｇｈｔＣの両方が１に等しい場合、以下が適用される。
－ ｘ＝１．．ｎＴｂＷ－１、ｙ＝１．．ｎＴｂＨ－１としたときのｐＤｓＹ［ｘ］［ｙ］は、次のように導出される。
ｐＤｓｔＹ［ｘ］［ｙ］＝ｐＹ［ｘ］［ｙ］ （８－１５９）
－ そうでない場合、以下が適用される。
－ １次元フィルタ係数アレイＦ１、Ｆ２、および２次元フィルタ係数アレイＦ３、Ｆ４は、以下のように規定される。
Ｆ１［ｉ］＝１，ｗｉｔｈ ｉ＝０．．１ （８－１６０）
Ｆ２［０］＝１，Ｆ２［１］＝２，Ｆ２［２］＝１ （８－１６１）
Ｆ３［ｉ］［ｊ］＝Ｆ４［ｉ］［ｊ］＝０，ｗｉｔｈ ｉ＝０．．２，ｊ＝０．．２ （８－１６２）
－ ＳｕｂＷｉｄｔｈＣとＳｕｂＨｅｉｇｈｔＣの両方が２に等しい場合、以下が適用される。
Ｆ１［０］＝１，Ｆ１［１］＝１ （８－１６３）
Ｆ３［０］［１］＝１，Ｆ３［１］［１］＝４，Ｆ３［２］［１］＝１，Ｆ３［１］［０］＝１，Ｆ３［１］［２］＝１ （８－１６４）
Ｆ４［０］［１］＝１，Ｆ４［１］［１］＝２，Ｆ４［２］［１］＝１ （８－１６５）
Ｆ４［０］［２］＝１，Ｆ４［１］［２］＝２，Ｆ４［２］［２］＝１ （８－１６６）
－ そうでない場合、以下が適用される。
Ｆ１［０］＝２，Ｆ１［１］＝０ （８－１６７）
Ｆ３［１］［１］＝８ （８－１６８）
Ｆ４［０］［１］＝２，Ｆ４［１］［１］＝４，Ｆ４［２］［１］＝２， （８－１６９）

…
５．ｎｕｍＳａｍｐＴが０よりも大きい場合、選択された近傍の最上のクロマサンプルｐＳｅｌＣ［ｉｄｘ］は、ｉｄｘ＝ｃｎｔＬ．．ｃｎｔＬ＋ｃｎｔＴ－１とした場合のｐ［ｐｉｃｋＰｏｓＴ［ｉｄｘ－ｃｎｔＬ］］［－１］に等しく設定され、ダウンサンプリングした近傍の最上の輝度サンプルｐＳｅｌＤｓＹ［ｉｄｘ］は、ｉｄｘ＝０．．ｃｎｔＬ＋ｃｎｔＴ－１として、以下のように規定される。
…
－ そうでない場合（ｓｐｓ＿ｃｃｌｍ＿ｃｏｌｏｃａｔｅｄ＿ｃｈｒｏｍａ＿ｆｌａｇが０に等しい場合）、以下が適用される。
－ ｘが０よりも大きい場合、以下が適用される。
－ ｂＣＴＵｂｏｕｎｄａｒｙがＦＡＬＳＥに等しい場合、以下が適用される。

－ そうでない場合（ｂＣＴＵｂｏｕｎｄａｒｙがＴＲＵＥに等しい場合）、以下が適用される。
ｐＳｅｌＤｓＹ［ｉｄｘ］＝（Ｆ２［０］＊ｐＹ［ＳｕｂＷｉｄｔｈＣ＊ｘ－１］［－１］＋
Ｆ２［１］＊ｐＹ［ＳｕｂＷｉｄｔｈＣ＊ｘ］［－１］＋ （８－１９４）
Ｆ２［２］＊ｐＹ［ＳｕｂＷｉｄｔｈＣ＊ｘ＋１］［－１］＋２）＞＞２
－ そうでない場合（ｘが０に等しい）、以下が適用される。
－ ａｖａｉｌＴＬがＴＲＵＥに等しく、ｂＣＴＵｂｏｕｎｄａｒｙがＦＡＬＳＥに等しい場合、以下が適用される。

－ そうでない場合、ａｖａｉｌＴＬがＴＲＵＥに等しく、ｂＣＴＵｂｏｕｎｄａｒｙがＴＲＵＥに等しい場合、以下が適用される。
ｐＳｅｌＤｓＹ［ｉｄｘ］＝（Ｆ２［０］＊ｐＹ［－１］［－１］＋Ｆ２［１］＊ ｐＹ［０］［－１］＋
Ｆ２［２］＊ｐＹ［１］［－１］＋２）＞＞２ （８－１９６）
－ そうでない場合、ａｖａｉｌＴＬがＦＡＬＳＥに等しく、ｂＣＴＵｂｏｕｎｄａｒｙがＦＡＬＳＥに等しい場合、以下が適用される。
ｐＳｅｌＤｓＹ［ｉｄｘ］＝（Ｆ１［１］＊ｐＹ［０］［－２］＋Ｆ１［０］＊ｐＹ［０］［－１］＋１）＞＞１ （８－１９７）
－ そうでない場合（ａｖａｉｌＴＬがＦＡＬＳＥに等しく、ｂＣＴＵｂｏｕｎｄａｒｙがＴＲＵＥに等しい場合）、以下が適用される。
ｐＳｅｌＤｓＹ［ｉｄｘ］＝ｐＹ［０］［－１］ （８－１９８）
…

５．２．実施形態２
本実施形態において、最大許容変換スキップコーディングされたブロックサイズに従ったクロマ変換スキップフラグコーディングの例を示す。ＪＶＥＴ－Ｐ２００１－ｖ９で規定される作業草案は、次のように変更することができる。

５．３．実施形態３
本実施形態において、最大許容変換スキップコーディングされたブロックサイズに従ったクロマ変換スキップフラグコーディングの例を示す。ＪＶＥＴ－Ｐ２００１－ｖ９で規定される作業草案は、次のように変更することができる。

図９は、映像処理装置９００のブロック図である。装置９００は、本明細書に記載の方法の１つ以上を実装するために使用してもよい。装置９００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）受信機等により実施されてもよい。装置９００は、１つ以上の処理装置９０２と、１つ以上のメモリ９０４と、映像処理ハードウェア９０６と、を含んでもよい。１つまたは複数の処理装置９０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。メモリ（複数可）９０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア９０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい（例えば、前の項目に記載されているもの）。いくつかの実施形態において、ハードウェア９０６は、処理装置９０２、例えばグラフィック処理装置内に部分的にまたは全体が含まれてもよい。

図１０は、例示的な映像エンコーダのブロック図を示す。

図１１は、映像を処理する方法１１００のフローチャートである。この方法１１００は、映像のクロマブロックと映像のコーディングされた表現との間の変換について、ダウンサンプリングフィルタを使用して、同一位置に配置された輝度ブロックの、正の整数であるＮ個の上側近傍ラインから生成され、ダウンサンプリングされた、同一位置に配置された近傍の最上の輝度サンプルを使用することによって、クロス成分線形モデルのパラメータを導出すること（１１０２）と、クロス成分線形モデルを使用して生成された予測クロマブロックを使用して、前記変換を行うこと（１１０４）とを含む。

図１２は、開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。

図１２は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１２００を示すブロック図である。様々な実装形態は、システム１２００のモジュールの一部又は全部を含んでもよい。システム１２００は、映像コンテンツを受信するための入力ユニット１２０２を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、８又は１０ビットのマルチコンポーネント画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット１２０２は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。

システム１２００は、本明細書に記載される様々なコーディング又は符号化方法を実装することができるコーディングコンポーネント１２０４を含んでもよい。コーディングコンポーネント１２０４は、入力ユニット１２０２からの映像の平均ビットレートをコーディングコンポーネント１２０４の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像コード変換技術と呼ばれることがある。コーディングコンポーネント１２０４の出力は、コンポーネント１２０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット１２０２において受信された、記憶された又は通信された映像のビットストリーム（又はコーディングされた）表現は、コンポーネント１２０８によって使用されて、表示インターフェース１２１０に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張（映像展開）と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作又はツールと呼ぶが、コーディングツール又は動作はエンコーダで使用され、それに対応する、コーディングの結果を逆にする復号ツール又は動作は、デコーダによって実行されることが理解されよう。

周辺バスインターフェースまたは表示インターフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細マルチメディアインターフェース（ＨＤＭＩ）またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び／又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。

開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、１つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。

開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知って、ビットストリームを処理する。

本明細書に開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための１つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

図１３は、本開示の技法を利用し得る例示的な映像コーディングシステム１００を示すブロック図である。

図１３に示すように、映像コーディングシステム１００は、送信元デバイス１１０と、送信先デバイス１２０と、を備えてもよい。送信元デバイス１１０は、映像符号化機器とも称され得る符号化映像データを生成する。送信先デバイス１２０は、送信元デバイス１１０によって生成された、映像復号デバイスと呼ばれ得る符号化映像データを復号し得る。

送信元デバイス１１０は、映像ソース１１２と、映像エンコーダ１１４と、入出力（Ｉ／Ｏ）インターフェース１１６と、を備えてもよい。

映像ソース１１２は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および／または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、１つ以上のピクチャを含んでもよい。映像エンコーダ１１４は、映像ソース１１２からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。Ｉ／Ｏインターフェース１１６は、変復調器（モデム）および／または送信機を含んでもよい。符号化された映像データは、ネットワーク１３０ａを介して、Ｉ／Ｏインターフェース１１６を介して直接送信先デバイス１２０に送信されることができる。符号化された映像データは、送信先デバイス１２０がアクセスするために、記憶媒体／サーバ１３０ｂに記憶してもよい。

送信先デバイス１２０は、Ｉ／Ｏインターフェース１２６、映像デコーダ１２４、および表示装置１２２を含んでもよい。

Ｉ／Ｏインターフェース１２６は、受信機および／またはモデムを含んでもよい。Ｉ／Ｏインターフェース１２６は、送信元デバイス１１０または記憶媒体／サーバ１３０ｂから符号化映像データを取得してもよい。映像デコーダ１２４は、符号化された映像データを復号してもよい。表示装置１２２は、復号した映像データをユーザに表示してもよい。表示装置１２２は、送信先デバイス１２０と一体化されてもよく、または外部表示デバイスとインターフェースするように構成される送信先デバイス１２０の外部にあってもよい。

映像エンコーダ１１４および映像デコーダ１２４は、高効率映像コーディング（ＨＥＶＣ）規格、汎用映像コーディング（ＶＶＣ）規格、および他の現在のおよび／または更なる規格等の映像圧縮規格に従って動作してもよい。

図１４は、映像エンコーダ２００の一例を示すブロック図であり、この映像エンコーダ２００は、図１３に示されるシステム１００における映像エンコーダ１１４であってもよい。

映像エンコーダ２００は、本開示の技術のいずれか又は全部を実行するように構成されてもよい。図１４の実施例において、映像エンコーダ２００は、複数の機能モジュールを備える。本開示で説明される技法は、映像エンコーダ２００の様々なモジュール間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

映像エンコーダ２００の機能モジュールは、分割ユニット２０１と、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５及びイントラ予測ユニット２０６を含んでもよい予測ユニット２０２と、残差生成ユニット２０７と、変換ユニット２０８と、量子化ユニット２０９と、逆量子化ユニット２１０と、逆方向変換ユニット２１１と、再構成ユニット２１２と、バッファ２１３と、エントロピー符号化ユニット２１４とを含んでもよい。

他の例において、映像エンコーダ２００は、より多くの、より少ない、又は異なる機能コンポーネントを含んでもよい。一例において、予測ユニット２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含んでもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが現在の映像ブロックが位置するピクチャであるＩＢＣモードにおいて予測（ｐｒｅｄｉｃａｔｉｏｎ）を行うことができる。

さらに、動き推定ユニット２０４及び動き補償ユニット２０５などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図１４の例においては別々に表されている。

分割ユニット２０１は、１つのピクチャを１つ以上の映像ブロックに分割することができる。映像エンコーダ２００及び映像デコーダ３００は、様々な映像ブロックサイズをサポートしてもよい。

モード選択ユニット２０３は、例えば、エラー結果に基づいて、イントラ又はインターのいずれかのコーディングモードの１つを選択し、得られたイントラ又はインターコーディングされたブロックを、残差生成ユニット２０７に供給して残差ブロックデータを生成し、また再構成ユニット２１２に供給して参照ピクチャとして符号化ブロックを再構成してもよい。本発明の実施例において、モード選択ユニット２０３は、インター予測信号およびイントラ予測信号に基づいて予測を行うイントラおよびインター予測（ＣＩＩＰ）モードの組み合わせを選択してもよい。また、モード選択ユニット２０３は、インター予測の場合、ブロックのために動きベクトルの解像度（例えば、サブピクセル又は整数ピクセル精度）を選択してもよい。

現在の映像ブロックに対してインター予測を実行するために、動き推定ユニット２０４は、バッファ２１３からの１つ以上の参照フレームと現在の映像ブロックとを比較することで、現在の映像ブロックのために動き情報を生成してもよい。動き補償ユニット２０５は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ２１３からのピクチャの動き情報及び復号サンプルに基づいて、現在の映像ブロックのために予測映像ブロックを判定してもよい。

動き推定ユニット２０４及び動き補償ユニット２０５は、例えば、現在の映像ブロックがＩスライスであるか、Ｐスライスであるか、又はＢスライスであるかに基づいて、現在の映像ブロックに対して異なる演算を実行してもよい。

いくつかの例において、動き推定ユニット２０４は、現在の映像ブロックに対して単方向予測を実行し、動き推定ユニット２０４は、現在の映像ブロックに対して、リスト０又はリスト１の参照ピクチャを検索して、参照映像ブロックを求めてもよい。そして、動き推定ユニット２０４は、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを含む、リスト０またはリスト１における参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット２０４は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。

他の例において、動き推定ユニット２０４は、現在の映像ブロックを双方向予測してもよく、動き推定ユニット２０４は、リスト０における参照ピクチャの中から現在の映像ブロックのために参照映像ブロックを検索してもよく、また、リスト１における参照ピクチャの中から現在の映像ブロックのために別の参照映像ブロックを検索してもよい。そして、動き推定ユニット２０４は、参照映像ブロックを含むリスト０およびリスト１における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット２０４は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。

いくつかの例において、動き推定ユニット２０４は、デコーダの復号処理のために、動き情報のフルセットを出力してもよい。

いくつかの例では、動き推定ユニット２０４は、現在の映像のために動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット２０４は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似していると判定してもよい。

一例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ３００に示す値を示してもよい。

別の例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差（ＭＶＤ）とを識別してもよい。動きベクトルの差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ３００は、指示された映像ブロックの動きベクトルと、動きベクトルの差分を用いて、現在の映像ブロックの動きベクトルを判定してもよい。

上述したように、映像エンコーダ２００は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ２００によって実装され得る予測信号通知技法の２つの例は、高度動きベクトル予測（ＡＭＶＰ）およびマージモード信号通知を含む。

イントラ予測ユニット２０６は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット２０６が現在の映像ブロックをイントラ予測する場合、イントラ予測ユニット２０６は、同じピクチャにおける他の映像ブロックの復号されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロック及び様々な構文要素を含んでもよい。

残差生成ユニット２０７は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって（例えば、マイナス符号によって示されている）、現在の映像ブロックのために残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。

他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差データがなくてもよく、残差生成ユニット２０７は、減算演算を実行しなくてもよい。

変換処理ユニット２０８は、現在の映像ブロックに関連付けられた残差映像ブロックに１つ以上の変換を適用することによって、現在の映像ブロックのために１つ以上の変換係数映像ブロックを生成してもよい。

変換処理ユニット２０８が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット２０９は、現在の映像ブロックに関連付けられた１つ以上の量子化パラメータ（ＱＰ）値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。

逆量子化ユニット２１０および逆方向変換ユニット２１１は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット２１２は、予測ユニット２０２が生成した１つ以上の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを加え、現在のブロックに関連付けられた再構成映像ブロックを生成し、バッファ２１３に記憶することができる。

再構成ユニット２１２が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキング・アーチファクトを縮小するために、ループフィルタリング動作を行ってもよい。

エントロピー符号化ユニット２１４は、映像エンコーダ２００の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット２１４は、データを受信すると、１つ以上のエントロピー符号化演算を行い、エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力してもよい。

図１５は、映像デコーダ３００の一例を示すブロック図であり、この映像デコーダ３００は、図１３に示されるシステム１００における映像デコーダ１１４であってもよい。

映像デコーダ３００は、本開示の技術のいずれか又は全部を実行するように構成されてもよい。図１５の実施例において、映像デコーダ３００は、複数の機能モジュールを備える。本開示で説明される技法は、映像デコーダ３００の様々なモジュール間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

図１５の実施例において、映像デコーダ３００は、エントロピー復号ユニット３０１、動き補償ユニット３０２、イントラ予測ユニット３０３、逆量子化ユニット３０４、逆方向変換ユニット３０５、及び再構成ユニット３０６、並びにバッファ３０７を備える。映像デコーダ３００は、いくつかの例では、映像エンコーダ２００（例えば、図１４）に関して説明した符号化パスとほぼ逆の復号パスを行ってもよい。

エントロピー復号ユニット３０１は、符号化ビットストリームを取り出す。符号化ビットストリームは、エントロピーコーディングされた映像データ（例えば、映像データの符号化ブロック）を含んでもよい。エントロピー復号ユニット３０１は、エントロピーコーディングされた映像データを復号し、エントロピー復号された映像データから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット３０２は、例えば、ＡＭＶＰ及びマージモードを実行することで、このような情報を判定してもよい。

動き補償ユニット３０２は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を実行する。構文要素には、サブピクセルの精度で使用される補間フィルタのための識別子が含まれてもよい。

動き補償ユニット３０２は、映像ブロックの符号化中に映像エンコーダ２０によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間値を計算してもよい。動き補償ユニット３０２は、受信した構文情報に基づいて、映像エンコーダ２００が使用する補間フィルタを決定し、この補間フィルタを使用して予測ブロックを生成してもよい。

動き補償ユニット３０２は、構文情報の一部を用いて、符号化された映像シーケンスのフレーム（複数可）および／またはスライス（複数可）を符号化するために使用されるブロックのサイズ、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、インター符号化ブロック間の各１つ以上の参照フレーム（および参照フレームリスト）、および符号化された映像シーケンスを復号するための他の情報を決定してもよい。

イントラ予測ユニット３０３は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット３０３は、ビットストリームに提供され、エントロピー復号ユニット３０１によって復号された量子化された映像ブロック係数を逆量子化（すなわち、逆量子化）する。逆方向変換ユニット３０３は、逆変換を適用する。

再構成ユニット３０６は、残差ブロックと、動き補償ユニット２０２又はイントラ予測ユニット３０３によって生成された対応する予測ブロックとを合計し、復号されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号されたブロックをフィルタリングするために非ブロック化フィルタを適用してもよい。復号された映像ブロックはバッファ３０７に記憶され、バッファ３０７は後続の動き補償のための参照ブロックを提供する。

開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、１つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。

本明細書では、「映像処理」という用語は、映像符号化、映像復号、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。

次に、いくつかの実施形態において好適な項目を列挙する。

以下の項目は、前章に記載された技術の例示的な実施形態を示す。

１．映像のクロマブロックと映像のコーディングされた表現との間の変換のために、ダウンサンプリングフィルタを使用して、並置した輝度ブロックの、正の整数であるＮ個の上側近傍ラインから生成されるダウンサンプリングして並置した近傍の最上の輝度サンプルを使用することによって、クロス成分線形モデルのパラメータを導出することと、クロス成分線形モデルを使用して生成される予測クロマブロックを使用して、前記変換を行うことと、を含む映像処理方法。

２．クロマブロックが最上のコーディングツリーユニットの境界にないために、Ｎ個の上側近傍ラインは、並置した輝度ブロックの最も近い上側のラインに対応する、項目１に記載の方法。

３．前記ダウンサンプリングフィルタは、ダウンサンプリングして並置した近傍の左側輝度サンプルを生成するためにも適用される、項目１～２のいずれかに記載の方法。

４．前記ダウンサンプリングフィルタは、ダウンサンプリングして並置した近傍の左側輝度サンプルを生成するために使用される別のダウンサンプリングしフィルタとは異なる、項目１～２のいずれかに記載の方法。

５．前記ダウンサンプリングフィルタは、前記コーディングツリーユニットの最上の境界に対する前記クロマブロックの位置に依存しない、項目１のいずれかに記載の方法。

６．前記方法は、４：２：２のフォーマットを有する映像に起因して、選択的に適用される、項目１のいずれかに記載の方法。

７．Ｎは１より大きい、項目１に記載の方法。

８．前記Ｎ個の上側近傍ラインは、最も近い上側のラインおよび２番目に近い上側のラインを含む、項目７に記載の方法。

９．前記ダウンサンプリングフィルタは、前記映像のカラーフォーマットに依存する、項目１に記載の方法。

１０．前記ダウンサンプリングフィルタは、６タップフィルタである、項目１～９のいずれかに記載の方法。

１１．前記ダウンサンプリングフィルタは、５タップフィルタである、項目１～９のいずれかに記載の方法。

１２．前記変換は、前記映像を前記コーディングされた表現に符号化することを含む、項目１～１１のいずれかに記載の方法。

１３．前記変換は、前記映像の画素値を生成すべく前記コーディングされた表現を復号することを含む、項目１～１１のいずれかに記載の方法。

１４．項目１～１３の１項目以上に記載の方法を実装するように構成された処理装置を備える、映像復号装置。

１５．項目１～１３の１項目以上に記載の方法を実装するように構成された処理装置を備える映像符号化装置。

１６．コンピュータコードが記憶されたコンピュータプログラム製品において、前記のコードが処理装置により実行されると、前記処理装置は、項目１～１３のいずれかに記載の方法を実装する。

１７．本明細書に記載の方法、装置またはシステム。

第２組の項目では、前章で開示された技術の特定の特徴及び態様を説明する（例えば、項目１）。

１．映像のクロマブロックと映像のビットストリーム表現との間の変換のために、ダウンサンプリングフィルタを使用して、クロマブロックの並置した輝度ブロックの、正の整数であるＮ個の上側近傍ラインから生成されるダウンサンプリングした輝度サンプルを使用することによって、クロス成分線形モデルのパラメータを導出すること１６０２と、クロス成分線形モデルを使用して生成された予測クロマブロックを使用して、前記変換を行うこととを含む、映像処理方法。

２．クロマブロックが最上のコーディングツリーユニットの境界にないために、Ｎ個の上側近傍ラインは、並置した輝度ブロックの最も近い上側のラインに対応する、項目１に記載の方法。

３．前記ダウンサンプリングフィルタは、並置した輝度ブロックの左側近傍ラインから生成される他のダウンサンプリングした輝度サンプルに対しても適用される、項目１～２のいずれかに記載の方法。

４．別のダウンサンプリングフィルタは、並置した輝度ブロックの左側近傍ラインから生成される他のダウンサンプリングした輝度サンプルの生成に適用される、項目１～２のいずれかに記載の方法。

５．前記ダウンサンプリングフィルタは、［１、２、１］のフィルタ係数を有する、項目１～４のいずれかに記載の方法。

６．ダウンサンプリングされた輝度サンプルｐＤｓＹ［ｘ］は、式ｐＤｓＹ［ｘ］＝（ｐＹ［２＊ｘ－１］［－１］＋２＊ｐＹ［２＊ｘ］［－１］＋ｐＹ［２＊ｘ＋１］［－１］＋２）＞＞２を満たし、ｐＹ［２＊ｘ］［－１］，ｐＹ［２＊ｘ－１］［－１］およびｐＹ［２＊ｘ＋１］［－１］は、最も近い上側の近傍ラインからの輝度サンプルであり、ｘは整数である、項目１～５のいずれかに記載の方法。

７．前記ダウンサンプリングフィルタは、前記コーディングツリーユニットの最上の境界に対する前記クロマブロックの位置に依存しない、項目１～６のいずれかに記載の方法。

８．前記方法は、前記映像の４：２：２カラーフォーマットに起因して選択的に適用される、項目１～６のいずれかに記載の方法。

９．クロマブロックが最上のコーディングツリーユニットの境界にないために、Ｎ個の上側近傍ラインは、並置した輝度ブロックの最も近い上側のラインを含むが、２番目に近い上側のラインを排除する、項目１に記載の方法。

１０．Ｎは１より大きい、項目１に記載の方法。

１１．前記Ｎ個の上側近傍ラインは、最も近い上側のラインおよび２番目に近い上側のラインを含む、項目１０に記載の方法。

１２．前記ダウンサンプリングフィルタは、前記映像のカラーフォーマットに依存する、項目１に記載の方法。

１３．前記ダウンサンプリングフィルタは、６タップフィルタである、項目１～１２のいずれかに記載の方法。

１４．前記ダウンサンプリングフィルタは、５タップフィルタである、項目１～１２のいずれかに記載の方法。

１５．前記変換は、前記映像を前記ビットストリーム表現に符号化することを含む、項目１～１４のいずれかに記載の方法。

１６．前記変換は、前記ビットストリーム表現から前記映像を復号することを含む、項目１～１４のいずれかに記載の方法。

１７．項目１から１６のいずれか１つまたは複数に記載された方法を実施するように構成された処理装置を含む映像処理装置。

１８．実行されると、項目１から１６までのいずれか１つ以上に記載された方法を処理装置に実施させるプログラムコードを格納したコンピュータ可読媒体。

１９．上述した方法のいずれかに従って生成されたビットストリーム表現を記憶するコンピュータ可読媒体。

第３組の項目では、前章で開示された技術の特定の特徴及び態様を説明する（例えば項目２～７）。

１．映像のコンポーネントの映像領域と映像のビットストリーム表現との間の変換のために、変換スキップモードを使用してコーディングされた映像ブロックに対する最大許容ブロックサイズを決定すること１６１２と、前記決定に基づいて前記変換を行うこと１６１４と、を含む、映像処理方法（例えば、図１６Ａに示す方法１６１０）。

２．前記変換スキップモードは、符号化中に、非恒等変換を適用せずに前記映像ブロックの残差をコーディングすること、または復号中に、ビットストリーム表現においてコーディングされた残差に対して非恒等逆変換を適用せずに、復号された映像ブロックを決定することを含む、項目１に記載の方法。

３．前記変換スキップモードは、ブロックレベルで差分パルス符号変調（ＤＰＣＭ）を使用するイントラコーディングツールに対応するＢＤＰＣＭ（ブロック差分パルス符号変調）を含む、項目１に記載の方法。

４．前記最大許容ブロックサイズは、前記変換スキップされたブロックがクロマブロックであるかまたは輝度ブロックであるかに依存する、項目１に記載の方法。

５．前記最大許容ブロックサイズは、前記変換スキップされたブロックのクロマ成分に依存する、項目１に記載の方法。

６．輝度ブロックのための最大許容ブロックサイズ（ＭａｘＴｓＳｉｚｅＹ）とクロマブロックのための最大許容ブロックサイズ（ＭａｘＴｓＳｉｚｅＣ）とが、ビットストリーム表現において別個に信号通知される、項目１に記載の方法。

７．前記ＭａｘＴｓＳｉｚｅＣおよび／またはＭａｘＴｓＳｉｚｅＹは、シーケンスレベル、ピクチャレベル、スライスレベル、またはタイルグループレベルで信号通知される、項目６に記載の方法。

８．前記ＭａｘＴｓＳｉｚｅＹは、前記変換スキップモードの有効化状態に基づいて条件付きで信号通知される、項目６に記載の方法。

９．前記ＭａｘＴｓＳｉｚｅＹは、カラーフォーマットおよび／または前記変換スキップモードの有効化状態に基づいて条件付きで信号通知される、項目６に記載の方法。

１０．前記変換は、輝度成分の最大ブロックサイズとクロマ成分の最大ブロックサイズとの間の予測コーディングを利用することによって行われる、項目１に記載の方法。

１１．前記映像ブロックはクロマ映像ブロックであり、前記映像ブロックのための最大許容ブロックサイズ（ＭａｘＴｓＳｉｚｅＣ）は、輝度成分の別の映像ブロックのための最大許容ブロックサイズ（ＭａｘＴｓＳｉｚｅＹ）に依存する、項目１に記載の方法。

１２．ＭａｘＴｓＳｉｚｅＣがＭａｘＴｓＳｉｚｅＹに等しく設定される、項目１１に記載の方法。

１３．ＭａｘＴｓＳｉｚｅＣがＭａｘＴｓＳｉｚｅＹ／Ｎに等しく設定され、Ｎが整数である、項目１１に記載の方法。

１４．前記映像ブロックはクロマ映像ブロックであり、前記映像ブロックのための最大許容ブロックサイズ（ＭａｘＴｓＳｉｚｅＣ）はクロマサブサンプリング比に従って設定される、項目１に記載の方法。

１５．ＭａｘＴｓＳｉｚｅＣは、ｉ）ＭａｘＴｓＳｉｚｅＹ＞＞ＳｕｂＷｉｄｔｈＣ，ｉｉ）ＭａｘＴｓＳｉｚｅＹ＞＞ＳｕｂＨｅｉｇｈｔＣ，ｉｉｉ）ＭａｘＴｓＳｉｚｅＹ＞＞ｍａｘ（ＳｕｂＷｉｄｔｈＣ，ＳｕｂＨｅｉｇｈｔＣ），ｉｖ）ＭａｘＴｓＳｉｚｅＹ＞＞ｍｉｎ（ＳｕｂＷｉｄｔｈＣ，ＳｕｂＨｅｉｇｈｔＣ）に等しく設定され、ＭａｘＴｓＳｉＺｅＹは、輝度映像ブロックの最大ブロックサイズを示し、ＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈｔＣは予め定義されている、項目１４に記載の方法。

１６．第１の規則と第２の規則に従って、映像ブロックを含む映像と前記映像のビットストリーム表現との間の変換を行うことを含む、映像処理方法（例えば、図１６Ａに示す方法１６１０）。変換スキップコーディングツールを使用して前記映像ブロックの第１の部分をコーディングし、変換コーディングツールが前記映像ブロックの第２の部分をコーディングするために使用され、前記第１の規則は、前記映像ブロックの前記第１の部分のための最大許容ブロックサイズを規定し、前記第２の規則は、前記映像ブロックの前記第２の部分のための最大許容ブロックサイズを規定し、前記映像ブロックの前記第１の部分に対する前記最大許容ブロックサイズは、前記映像ブロックの前記第２の部分の前記最大許容ブロックサイズとは異なる。

１７．前記最大許容ブロックサイズは、対応するブロックの幅および高さに対応する、項目１６に記載の方法。

１８．最大許容ブロックサイズの幅および高さを別個に信号伝達する、項目１７に記載の方法。

１９．クロマブロックである映像ブロックの第２の部分について、幅（ＭａｘＴｓＳｉｚｅＷＣ）はＭａｘＴｓＳｉｚｅＹ＞＞ＳｕｂＷｉｄｔｈＣに等しく設定され、高さ（ＭａｘＴｓＳｉｚｅＨＣ）はＭａｘＴｓＳｉｚｅＹ＞＞ＳｕｂＨｅｉｇｈｔＣに等しく設定され、ＭａｘＴｓＳｉｚｅＹは、輝度ブロックのための最大許容ブロックサイズを示す、項目１７に記載の方法。

２０．１つ以上のクロマブロックを含む映像と、前記映像のビットストリーム表現との間の変換を行うことを含む、映像処理方法（例えば、図１６Ａに示す方法１６１０）。ビットストリーム表現は、変換スキップツールの使用を示す構文要素がビットストリーム表現に含まれるかどうかが、変換スキップツールを使用してコーディングされるクロマブロックの最大許容サイズに依存すると規定するフォーマット規則に準拠する。

２１．前記変換スキップツールは、変換をバイパスすること、または恒等変換を適用することを含む、項目２０に記載の方法。

２２．ｔｂＷがＭａｘＴｓＳｉｚｅＣ以下であり、ｔｂＨがＭａｘＴｓＳｉｚｅＣ以下である場合、構文要素が信号通知され、ここで、ｔｂＷおよびｔｂＨは、それぞれクロマブロックの幅および高さであり、ＭａｘＴｓＳｉｚｅＣは、それぞれクロマブロックの最大許容サイズである、項目２０に記載の方法。

２３．ｔｂＷがＭａｘＴｓＳｉｚｅＷＣ以下であり、ｔｂＨがＭａｘＴｓＳｉｚｅＨＣ以下である場合、構文要素が信号通知され、ここで、ｔｂＷおよびｔｂＨは、それぞれクロマブロックの幅および高さであり、ＭａｘＴｓＳｉｚｅＷＣおよびＭａｘＴｓＳｉｚｅＨＣは、それぞれクロマブロックの最大許容サイズの幅と高さを表す、項目２０に記載の方法。

２４．前記変換スキップツールは、ブロックレベルで差分パルス符号変調（ＤＰＣＭ）モードを使用するイントラコーディングツールに対応するＢＤＰＣＭ（ブロック差分パルス符号変調）を含む、項目２０に記載の方法。

２５．第１のクロマ成分の１つ以上の第１の映像ブロックおよび第２のクロマ成分の１つ以上の第２の映像ブロックとを含む映像と、前記映像のビットストリーム表現との間の変換を行うことを含む映像処理方法（例えば、図１６Ａに示す方法１６１０）。前記ビットストリーム表現は、１つ以上の第１のクロマブロックおよび１つ以上の第２のクロマブロックをコーディングするための変換スキップツールの可用性を一緒に示す構文要素を使用することを規定するフォーマット規則に準拠する。

２６．前記構文要素は、バイナリ値を有する、項目２５に記載の方法。

２７．前記変換スキップツールは、前記構文要素に従って、前記１つ以上の第１の映像ブロックおよび前記１つ以上の第２の映像ブロックにおいて有効化または無効化される、項目２５に記載の方法。

２８．前記フォーマット規則は、前記構文要素の値がＫに等しいかどうかに基づいて、ビットストリーム表現に追加の構文要素を含むことをさらに規定し、Ｋは整数である、項目２５に記載の方法。

２９．前記第２の構文要素は、１つ以上の第１の映像ブロックおよび１つ以上の第２の映像ブロックのうちのどのブロックに変換スキップツールを適用するかを示すために使用される、項目２８に記載の方法。

３０．前記構文要素は、非バイナリ値を有する、項目２５に記載の方法。

３１．前記構文要素は、固定長、単項、切り捨てられた単項、またはｋ次の指数ゴロム（ＥＧ）バイナリゼーション法でコーディングされる、項目３０に記載の方法。

３２．前記前記構文要素は、コンテキストコーディングされるかまたはバイパスコーディングされる、項目２５に記載の方法。

３３．前記方法を適用するかどうかおよび／またはどのように適用するかは、シーケンスレベル、ピクチャレベル、スライスレベル、またはタイルグループレベルで信号通知される、先行する項目のいずれか１つに記載の方法。

３４．先行する項目のいずれか１つに記載の方法であって、方法は、さらに、コーディングされた情報に基づく。

３５．前記変換は、前記映像を前記ビットストリーム表現に符号化することを含む、項目１～３４のいずれかに記載の方法。

３６．前記変換は、前記ビットストリーム表現から前記映像を復号することを含む、項目１～３４のいずれかに記載の方法。

３７．項目１から３６のいずれか１つまたは複数に記載された方法を実装するように構成された処理装置を含む映像処理装置。

３８．実行されると、項目１から３６までのいずれか１つ以上に記載された方法を処理装置に実施させるプログラムコードを格納したコンピュータ可読媒体。

３９．上述した方法のいずれかに従って生成されたコーディングされた表現またはビットストリーム表現を記憶する、コンピュータ可読媒体。

本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

関連出願の相互参照
本願は、２０１９年１１月１日出願の国際特許出願第ＰＣＴ／ＣＮ２０１９／１１５０３４号の優先権および利益を主張する、２０２０年１１月２日出願の国際特許出願第ＰＣＴ／ＣＮ２０２０／１２５７９６号に基づく。上記出願の開示全体は、本願の開示の一部として参照により援用される。

Claims (19)

1. 映像のクロマブロックと前記映像のビットストリーム表現との間の変換のために、ダウンサンプリングフィルタを使用して、前記クロマブロックの並置した輝度ブロックの、正の整数であるＮ個の上側近傍ラインから生成されるダウンサンプリングした輝度サンプルを使用することによって、クロス成分線形モデルのパラメータを導出することと、
   前記クロス成分線形モデルを使用して生成される予測クロマブロックを使用して前記変換を行うことと、を含む、
   映像処理方法。
2. 前記クロマブロックが最上のコーディングツリーユニットの境界にないために、前記Ｎ個の上側近傍ラインは、前記並置した輝度ブロックの最も近い上側のラインに対応する、
   請求項１に記載の方法。
3. 前記ダウンサンプリングフィルタは、前記並置した輝度ブロックの左側近傍ラインから生成される他のダウンサンプリングした輝度サンプルを生成するためにも適用される、
   請求項１～２のうちいずれかに記載の方法。
4. 別のダウンサンプリングフィルタは、前記並置した輝度ブロックの左側近傍ラインから生成される他のダウンサンプリングした輝度サンプルを生成するために適用される、
   請求項１～２のうちいずれかに記載の方法。
5. 前記ダウンサンプリングフィルタは、［１、２、１］のフィルタ係数を有する、
   請求項１～４のうちいずれかに記載の方法。
6. ダウンサンプリングされた輝度サンプルｐＤｓＹ［ｘ］は、式ｐＤｓＹ［ｘ］＝（ｐＹ［２＊ｘ－１］［－１］＋２＊ｐＹ［２＊ｘ］［－１］＋ｐＹ［２＊ｘ＋１］［－１］＋２）＞＞２を満たし、ｐＹ［２＊ｘ］［－１］，ｐＹ［２＊ｘ－１］［－１］およびｐＹ［２＊ｘ＋１］［－１］は、最も近い上側の近傍ラインからの輝度サンプルであり、ｘは整数である、
   請求項１～５のうちいずれかに記載の方法。
7. 前記ダウンサンプリングフィルタは、前記コーディングツリーユニットの最上の境界に対する前記クロマブロックの位置に依存しない、
   請求項１～６のうちいずれかに記載の方法。
8. 前記方法は、前記映像の４：２：２カラーフォーマットに起因して選択的に適用される、
   請求項１～６のうちいずれかに記載の方法。
9. 前記クロマブロックが最上のコーディングツリーユニットの境界にないために、前記Ｎ個の上側近傍ラインは、前記並置した輝度ブロックの最も近い上側のラインを含むが、２番目に近い上側のラインを排除する、
   請求項１に記載の方法。
10. Ｎは１より大きい、
    請求項１に記載の方法。
11. 前記Ｎ個の上側近傍ラインは、前記最も近い上側のラインおよび２番目に近い上側のラインを含む、
    請求項１０に記載の方法。
12. 前記ダウンサンプリングフィルタは、前記映像のカラーフォーマットに依存する、
    請求項１に記載の方法。
13. 前記ダウンサンプリングフィルタは、６タップフィルタである、
    請求項１～１２のうちいずれかに記載の方法。
14. 前記ダウンサンプリングフィルタは、５タップフィルタである、
    請求項１～１２のうちいずれかに記載の方法。
15. 前記変換は、前記映像を前記ビットストリーム表現に符号化することを含む、
    請求項１～１４のうちいずれかに記載の方法。
16. 前記変換は、前記映像を前記ビットストリーム表現から復号することを含む、
    請求項１～１４のうちいずれかに記載の方法。
17. 請求項１～１６のうちいずれか１項以上に記載の方法を実装するように構成された処理装置を備える、
    映像処理装置。
18. 実行されると、処理装置に、請求項１から１６のうちいずれか１つ以上に記載の方法を実装させるプログラムコードを格納する、
    コンピュータ可読媒体。
19. 上述した方法のいずれかに従って生成されたビットストリーム表現を記憶する、
    コンピュータ可読媒体。

Images