JP2022528062A - 双方向オプティカルフローに基づく映像符号化及び復号化 - Google Patents

Abstract

サンプル微調整および映像符号化フィルタリング法のためのデバイス、システム、及び方法を記載する。例示の態様において、映像処理方法は、映像の１つのブロックとこの映像の１つのビットストリーム表現との間での変換のために、このブロックにおける１つの予測サンプルのための１つの微調整値を、クリッピング演算を微調整値に適用することによって修正することを含む。オプティカルフロー符号化処理の勾配値に基づいて、微調整値を導出する。クリッピング演算の出力が範囲内にある。この方法は、また、微調整値に基づいて予測サンプルを微調整し、この微調整された予測サンプルに基づいて変換を行うことを含む。
【選択図】図１１Ａ

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０１９年４月２日出願の国際特許出願第ＰＣＴ／ＣＮ２０１９／０８０９１４号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

この特許文献は、映像符号化技術、デバイスおよびシステムに関する。

映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

デジタル映像符号化、具体的には、映像符号化のためのサンプル微調整およびフィルタリング法に関するデバイス、システム、及び方法について記載する。記載した方法は、既存の映像符号化規格（例えば、高効率映像符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ））及び将来の映像符号化規格（例えば、汎用映像符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ））又はコーデックの両方に適用してもよい。

１つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックとこの映像のビットストリーム表現の間での変換のために、現在のブロックにおける画素とこの画素に近傍の画素との間の差の重み付け平均にクリッピング演算を適用することを含む。この方法は、クリッピング演算の出力に基づいてこの変換を行うことも含む。

別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックとこの映像のビットストリーム表現の間での変換のために、この現在のブロックの近傍の画素のセットに基づいてフィルタリング処理を構成することを含む。この方法は、フィルタリング処理に基づいてこの変換を行い、このフィルタリング処理の出力を行うことも含む。

別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の１つのブロックとこの映像の１つのビットストリーム表現との間での変換のために、このブロックにおける１つの予測サンプルのための１つの微調整値を、クリッピング演算を微調整値に適用することによって修正することを含む。オプティカルフロー符号化処理の勾配値に基づいて、微調整値を導出する。クリッピング演算の出力が範囲内にある。この方法は、また、修正された微調整値に基づいて予測サンプルを微調整し、この微調整された予測サンプルに基づいて変換を行うことを含む。

別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、オプティカルフロー符号化処理において、映像のブロックと映像のビットストリーム表現との間での変換のために、勾配値を修正することを含む。この方法は、また、この変換のために、この修正された勾配値に基づいてサブシーケンス予測演算を行うことを含む。

別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックに対して１次元フィルタリング処理を構成することと、１次元フィルタリング処理に基づいて、対応するビットストリーム表現から現在の映像ブロックを再構成することとを含む。

さらに別の代表的な態様において、上記方法は、処理装置が実行可能なコードの形式で実施され、コンピュータ可読プログラム媒体に記憶される。

さらに別の代表的な態様において、上述した方法を行うように構成された、または動作可能なデバイスが開示される。この装置は、この方法を実装するようにプログラムされた処理装置を含んでもよい。

さらに別の代表的な態様において、映像デコーダ装置は、本明細書で説明されるような方法を実装してもよい。

開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される。

映像符号化のためのエンコーダブロック図の例を示す。 形状変換に基づく適応ループフィルタ（ＧＡＬＦ）フィルタ形状の例を示す。 形状変換に基づく適応ループフィルタ（ＧＡＬＦ）フィルタ形状の例を示す。 形状変換に基づく適応ループフィルタ（ＧＡＬＦ）フィルタ形状の例を示す。 ＧＡＬＦエンコーダ決定のためのフローグラフの例を示す。 適応ループフィルタ（ＡＬＦ）分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 適応ループフィルタ（ＡＬＦ）分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 適応ループフィルタ（ＡＬＦ）分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 適応ループフィルタ（ＡＬＦ）分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 輝度フィルタの形状の例を示す。 ワイド映像グラフィックアレイ（ＷＶＧＡ）シーケンスの領域分割を例示している。 再整形を伴う復号化のフローの例示的なフロー図を示す。 双方向オプティカルフロー（ＢＤＯＦもしくはＢＩＯ）アルゴリズムで使用されるオプティカルフローの軌跡の例を示す。 ブロック拡張なしの双方向オプティカルフロー（ＢＩＯ）アルゴリズムを使用した例示的なスナップショットを示す。 ブロック拡張なしの双方向オプティカルフロー（ＢＩＯ）アルゴリズムを使用した例示的なスナップショットを示す。 オプティカルフロー（ＰＲＯＦ）を用いた予測微調整の例を示す。 本開示の技術に従った、映像符号化におけるサンプル微調整及びフィルタリングのための例示的な方法のフロー図を示す。 本開示の技術に従った、映像符号化におけるサンプル微調整及びフィルタリングのための例示的な方法のフロー図を示す。 本特許明細書に記載されるビジュアルメディアの復号化又はビジュアルメディアの符号化技術を実現するためのハードウェアプラットフォームの一例を示すブロック図である。 開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。 本技術にしたがった映像処理方法を示すフローチャートである。 本技術にしたがった別の映像処理方法を示すフローチャートである。 本技術にしたがった別の映像処理方法を示すフローチャートである。 本技術にしたがったさらに別の映像処理方法を示すフローチャートである。

より高い解像度の映像の需要が増大しているため、近代技術において、映像符号化法および技術は、遍在している。ビデオコーデックは、一般的に、デジタル映像を圧縮又は展開する電子回路又はソフトウェアを含み、より高い符号化効率を提供するように絶えず改良されている。ビデオコーデックは、非圧縮映像を圧縮フォーマットに変換する、又はその逆である。映像の品質、映像を表現するために使用されるデータの数（ビットレートで決まる）、エンコーディングおよびデコーディングアルゴリズムの複雑性、データの損失およびエラーに対する敏感さ、編集のしやすさ、ランダムアクセス、およびエンドツーエンドの遅延（待ち時間）の間には複雑な関係がある。この圧縮フォーマットは、通常、標準的な映像圧縮仕様、例えば、高効率映像符号化（ＨＥＶＣ）規格（Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られている）、完成させるべき汎用映像符号化（ＶＶＣ）規格、または他の現在のおよび／または将来の映像符号化基準に準拠する。

いくつかの実施形態において、将来の映像符号化技術は、共同探索モデル（ＪＥＭ）として知られる参照ソフトウェアを使用して探索される。ＪＥＭでは、サブブロックベースの予測は、アフィン予測、代替時間的動きベクトル予測（ＡＴＭＶＰ）、空間的－時間的動きベクトル予測（ＳＴＭＶＰ）、双方向オプティカルフロー（ＢＩＯ）、フレームレートアップ変換（ＦＲＵＣ）、ローカル適応動きベクトル解像度（ＬＡＭＶＲ）、オーバーラップブロック動き補償（ＯＢＭＣ）、ローカル照明補償（ＬＩＣ）、デコーダ側動きベクトル改良（ＤＭＶＲ）などの、いくつかの符号化ツールで適用されている。

開示される技術の実施形態は、ランタイム性能を向上させるために、既存の映像符号化規格（例えば、ＨＥＶＣ、Ｈ．２６５）および将来の規格に適用されてもよい。本明細書では、説明の可読性を向上させるために章の見出しを使用しており、説明又は実施形態（及び／又は実装形態）をそれぞれの章のみに限定するものではない。

１ 色空間及びクロマサブサンプリングの例
色空間は、カラーモデル（又はカラーシステム）としても知られ、色の範囲を数字のタプルとして一般的に、３又は４つの値又は色成分（例えばＲＧＢ）として、簡単に記述する抽象的な数学モデルである。基本的には、色空間は座標系とサブ空間とを精緻化したものである。

映像圧縮の場合、最も頻繁に使用される色空間は、ＹＣｂＣｒ及びＲＧＢである。

ＹＣｂＣｒ、Ｙ’ＣｂＣｒ、又はＹ Ｐｂ／Ｃｂ Ｐｒ／Ｃｒは、ＹＣＢＣＲ又はＹ’ＣＢＣＲとも呼ばれ、映像及びデジタル写真システムのカラー画像パイプラインの一部として使用される色空間のファミリーである。Ｙ’は輝度成分であり、ＣＢ及びＣＲは青色差及び赤色差クロマ成分である。Ｙ’（素数を有する）はＹとは区別され、Ｙは輝度であり、ガンマ補正されたＲＧＢ原色に基づいて光強度が非線形に符号化されることを意味する。

クロマサブサンプリングは、人間の視覚システムが、輝度よりも色差の方が知覚が低いことを利用して、輝度情報よりもクロマ情報の方が解像度が低くなるように実装して画像を符号化する方法である。

１．１ ４：４：４ カラーフォーマット
３つのＹ’ＣｂＣｒ成分の各々は、同じサンプルレートを有し、従って、クロマサブサンプリングは存在しない。このスキームは、ハイエンドのフィルムスキャナ及び映画のポストプロダクションに用いられることがある。

１．２ ４：２：２ カラーフォーマット
２つのクロマ成分は、輝度のサンプルレートの半分でサンプリングされ、例えば、水平クロマ解像度が半分にされる。これにより、視覚的にほとんど又は全く差がなく、非圧縮の映像信号の帯域幅を１／３に低減することができる。

１．３ ４：２：０ カラーフォーマット
４：２：０では、水平サンプリングは４：１：１に比べて２倍になるが、このスキームではＣｂ及びＣｒチャネルを各１行おきのラインでのみサンプリングするので、垂直解像度は半分になる。従って、データレートは同じである。Ｃｂ及びＣｒはそれぞれ水平及び垂直方向の両方向に２倍にサブサンプリングされる。異なる水平及び垂直位置を有する４：２：０スキームの３つの変形がある。

○ ＭＰＥＧ－２において、Ｃｂ及びＣｒは水平方向に共座している。Ｃｂ、Ｃｒは垂直方向の画素間に位置する（格子間に位置する）。

○ ＪＰＥＧ／ＪＦＩＦにおいて、Ｈ．２６１、及びＭＰＥＧ－１、Ｃｂ、及びＣｒは、交互の輝度サンプルの中間に位置する。

○ ４：２：０ ＤＶにおいて、Ｃｂ及びＣｒは、水平方向に共座している。垂直方向において、それらは一行おきに共座している。

２ 典型的な映像コーデックの符号化フローの例
図１は、３つのインループフィルタリングブロック、すなわち非ブロック化フィルタ（ＤＦ）、サンプル適応オフセット（ＳＡＯ）及び適応ループフィルタ（ＡＬＦ）を含む、ＶＶＣのエンコーダブロック図の例を示す。予め規定されたフィルタを使用するＤＦとは異なり、ＳＡＯ及びＡＬＦは、現在のピクチャの元のサンプルを利用し、オフセットを追加し、且つ有限インパルス応答（ＦＩＲ）フィルタを適用することによって、オフセット及びフィルタ係数を信号通知する符号化側情報とともに、オリジナルサンプルと再構成サンプルとの間の平均二乗誤差をそれぞれ低減する。ＡＬＦは、各ピクチャの最後の処理段階に位置し、前の段階で生成されたアーチファクトを捕捉し、修正しようとするツールと見なすことができる。

３ ＪＥＭにおける形状変換に基づく適応ループフィルタの例
ＪＥＭにおいて、ブロックに基づくフィルタ適応を用いた形状変換に基づく適応ループフィルタ（ＧＡＬＦ）が適用される。輝度成分は、局所勾配の方向および働きに基づいて、２×２ブロックごとに２５個のフィルタのうち１つを選択する。

３．１ フィルタ形状の例
本願において、輝度成分として、最大３つのダイヤモンドフィルタ形状（図２Ａに示すように、５×５ダイヤモンド、７×７ダイヤモンド、９×９ダイヤモンドのそれぞれについて図２Ｂ、図２Ｃに示す）を選択することができる。輝度成分に使用されるフィルタ形状を示すために、ピクチャレベルでインデックスが信号通知される。１つのピクチャにおけるクロマ成分に対して、５×５ダイヤモンド形状が使用される。

３．１．１ ブロック区分
各２×２ブロックを２５個のクラスのうちの１つに分類する。分類インデックスＣは、その方向性ＤおよびアクティビティＡ＾の量子化値に基づいて、以下のように導出される。

ＤおよびＡ＾を計算するために、まず、１－Ｄラプラシアンを使用して、水平、垂直および２つの対角線方向の勾配を計算する。

ｉおよびｊは、２×２ブロックの左上のサンプルの座標を表し、Ｒ（ｉ，ｊ）は、座標（ｉ，ｊ）において再構成されたサンプルを示す。
そして、水平方向および垂直方向の勾配のＤ最大値およびＤ最小値を以下のように設定する。

および２つの対角線方向の勾配の最大値および最小値は、以下のように設定される。

指向性Ｄの値を導出するために、これらの値を互いに且つ２つの閾値ｔ_１およびｔ_２と比較する。

ステップ１．

の両方が真である場合、Ｄが０に設定される。

ステップ２．

の場合、ステップ３から続け、あるいは、ステップ４から続ける。

ステップ３．

である場合、Ｄは２に設定され、あるいは、Ｄは１に設定される。

ステップ４．

である場合、Ｄは４に設定され、あるいは、Ｄは３に設定される。

アクティビティ値Ａは、以下のように計算される。

Ａをさらに０～４の範囲に量子化し、量子化された値をＡ＾とする。ピクチャにおける両クロマ成分に対して、分類方法は適用されず、即ち、単一のＡＬＦ係数のセットが各クロマ成分に対して適用される。

３．１．２ フィルタ係数の幾何学的変換
それぞれの２×２ブロックをフィルタリングする前に、そのブロックに対して計算された勾配値に基づいて、フィルタ係数ｆ（ｋ，ｌ）に対して、ローテーション、又は対角線及び垂直方向の反転等の幾何学的変換を施す。これは、これらの変換をフィルタ支持領域内のサンプルに適用することに等しい。その考えは、ＡＬＦが適用される異なるブロックを、それらの方向性を揃えることによって、より類似させることである。

対角線、垂直方向の反転および回転を含む３つの幾何学的変換を紹介する。

ここで、Ｋはフィルタのサイズであり、０≦ｋ，ｌ≦Ｋ－１が係数座標であり、位置（０，０）は左上隅にあり、位置（Ｋ－１，Ｋ－１）は右下隅にある。この変換は、そのブロックに対して計算された勾配値に基づいて、フィルタ係数ｆ（ｋ，ｌ）に適用される。変換と４方向の４つの勾配との関係を表１にまとめる。

３．１．３ フィルタパラメータの信号通知
ＪＥＭにおいて、ＧＡＬＦフィルタパラメータは、第１のＣＴＵのために、例えば、スライスヘッダの後且つ第１のＣＴＵのＳＡＯパラメータの前に信号通知される。最大２５組の輝度フィルタ係数を信号通知することができる。ビットオーバーヘッドを低減するために、異なる分類のフィルタ係数をマージすることができる。また、参照ピクチャのＧＡＬＦ係数を記憶し、現在のピクチャのＧＡＬＦ係数として再利用することができる。現在のピクチャは、参照ピクチャのために記憶されたＧＡＬＦ係数を使用し、ＧＡＬＦ係数信号通知を回避することを選択してもよい。この場合、１つの参照ピクチャへのインデックスのみが信号通知され、記憶されている示された参照ピクチャのＧＡＬＦ係数が現在のピクチャに継承される。

ＧＡＬＦ時間的予測をサポートするために、ＧＡＬＦフィルタセットの候補リストが保持される。新しいシーケンスを復号化する開始時は、候補リストは空である。１つのピクチャを復号化した後、対応するフィルタのセットを候補リストに加えてもよい。候補リストのサイズが最大許容値（例えば、現在のＪＥＭでは６）に達すると、新しい１組のフィルタが、最も古いセットを復号化の順序に上書きし、すなわち、先入れ先出し（ＦＩＦＯ）規則を適用して候補リストを更新する。重複を回避するために、対応するピクチャがＧＡＬＦ時間的予測を使用しない場合、１つのセットのみをリストに追加することができる。時間的スケーラビリティをサポートするために、複数のフィルタセットの候補リストがあり、各候補リストは１つの時間層に関連付けられる。具体的には、時間層インデックス（ＴｅｍｐＩｄｘ）が割り当てられた各アレイは、ＴｅｍｐＩｄｘが小さい、前回復号化されたピクチャのフィルタセットを構成してもよい。例えば、ｋ番目の配列は、ｋに等しいＴｅｍｐＩｄｘに関連付けられるように割り当てられ、それは、ＴｅｍｐＩｄｘがｋ以下のピクチャからのフィルタセットのみを含む。特定のピクチャを符号化した後、このピクチャに関連付けられたフィルタセットを用いて、等しい又はより高いＴｅｍｐＩｄｘに関連付けられた配列を更新する。

ＧＡＬＦ係数の時間的予測は、信号通知オーバーヘッドを最小限に抑えるために、インター符号化されたフレームに使用される。イントラフレームの場合、時間的予測は利用できず、各クラスに１組の１６個の固定フィルタが割り当てられる。固定フィルタの使用を示すために、各クラスのためのフラグが信号通知され、必要に応じて、選択された固定フィルタのインデックスが信号通知される。特定のクラスに対して固定フィルタを選択した場合でも、このクラスに対して適応フィルタｆ（ｋ，ｌ）の係数を送信することができ、この場合、再構成画像に適用されるフィルタの係数は両方の係数セットの合計となる。

輝度成分のフィルタリング処理は、ＣＵレベルで制御することができる。ＧＡＬＦがＣＵの輝度成分に適用されるかどうかを示すために、１つのフラグが信号通知される。クロマ成分の場合、ＧＡＬＦが適用されるかどうかは、ピクチャレベルでのみ示す。

３．１．４ フィルタリング処理
デコーダ側において、１つのブロックに対してＧＡＬＦが有効化されると、このブロック内のそれぞれのサンプルＲ（ｉ，ｊ）がフィルタリングされ、その結果、以下に示すように、サンプル値Ｒ’（ｉ，ｊ）が得られる。ここで、Ｌは、フィルタ長を表し、ｆ_{（ｍ，ｎ）}は、フィルタ係数を表し、ｆ（ｋ，ｌ）は、復号化されたフィルタ係数を表す。

３．１．５ エンコーダ側フィルタパラメータの判定処理
図３には、ＧＡＬＦのための全体的なエンコーダ決定処理が示されている。各ＣＵの輝度サンプルに対して、エンコーダは、ＧＡＬＦが適用され、かつ適切な信号通知フラグがスライスヘッダに含まれているか否かを決定する。クロマサンプルの場合、フィルタを適用する決定は、ＣＵレベルではなくピクチャレベルに基づいて行われる。さらに、ピクチャのためのクロマＧＡＬＦは、このピクチャのために輝度ＧＡＬＦが有効化されている場合にのみチェックされる。

４ ＶＶＣにおける形状変換に基づく適応ループフィルタの例
現在のＶＶＣにおけるＧＡＬＦの設計は、ＪＥＭにおける設計に比べ、以下のような大きな変化を有している。

（１） 適応フィルタ形状を除去する。輝度成分に対しては７×７フィルタ形状のみが許可され、クロマ成分に対しては５×５フィルタ形状のみが許可される。

（２） ＡＬＦパラメータの時間的予測及び固定フィルタからの予測は、両方とも除去される。

（３）各ＣＴＵに対して、ＡＬＦが有効化されるか又は無効化されるかどうかに関わらず、１ビットのフラグが信号通知される。

（３）クラスインデックスの計算は、２×２の代わりに、４×４レベルで行われる。また、いくつかの実施形態において、ＡＬＦ分類のためのサブサンプリングされたラプラシアン計算方法が利用される。具体的には、１つのブロック内のサンプル毎に水平／垂直／４５対角線／１３５度勾配を計算する必要がない。その代わりに、１：２サブサンプリングが利用される。

５ ＡＶＳ２における領域に基づく適応ループフィルタの例
ＡＬＦは、インループフィルタリングの最終段階である。この処理には２つの段階がある。第１の段階は、フィルタ係数の導出である。フィルタ係数をトレーニングするために、エンコーダは、再構成された輝度成分の画素を１６個の領域に分類し、ｗｉｅｎｅｒ－ｈｏｐｆ方程式を使用して、カテゴリ毎に１つのフィルタ係数のセットをトレーニングし、元のフレームと再構成されたフレームとの間の平均二乗誤差を最小限に抑える。これらの１６個のフィルタ係数のセット間の冗長性を低減するために、エンコーダは、ひずみ率性能に基づいてそれらを適応的にマージする。その最大値において、１６個の異なるフィルタセットを輝度成分に割り当てることができ、１つのフィルタセットのみをクロミナンス成分に割り当てることができる。第２の段階は、フレームレベル及びＬＣＵレベルの両方を含むフィルタ決定である。まず、エンコーダは、フレームレベル適応ループフィルタリングを行うかどうかを決定する。フレームレベルＡＬＦがオンである場合、エンコーダは、ＬＣＵレベルＡＬＦを行うかどうかをさらに決定する。

５．１ フィルタ形状
例示的なフィルタ形状は、７×７の十字形であり、輝度成分及びクロマ成分の両方について図５に示すように、３×３の正方形を重ね合わせたものである。図５中の四角はそれぞれサンプルに対応する。従って、合計１７個のサンプルを使用して、位置Ｃ８のサンプルのためのフィルタリングされた値を導出する。係数を送信するオーバーヘッドを考慮して、点対称フィルタは、９つの係数だけを残して、｛Ｃ０，Ｃ１、・・・、Ｃ８｝を利用し、これにより、フィルタリングにおけるフィルタ係数の数を半分に減らすと共に乗算の数を減らす。この点対称フィルタは、１つのフィルタリングされたサンプルの計算の半分を減らすこともでき、例えば、１つのフィルタリングされたサンプルに対して９回の乗算及び１４回の加算演算のみを行う。

５．２ 領域別適応マージ
異なる符号化エラーに適応するために、一部の実施形態では、輝度成分のために、領域に基づく複数の適応ループフィルタを採用する。輝度成分は、図６に示すように、各基本領域が最大符号化ユニット（ＬＣＵ）の境界に位置合わせされた１６個の略等分したサイズの基本領域に分割され、領域毎に１つのウィーナーフィルタを導出する。より多くのフィルタを使用するほど、より多くの歪みが低減されるが、これらの係数を符号化するために使用されるビットは、フィルタの数とともに増加する。最良のレートひずみ率を実現するために、これらの領域を、同じフィルタ係数を共有する、より少なく、より大きい領域にマージすることができる。マージ処理を簡単にするために、各領域には、画像の前置相関に基づいて修正されたヒルベルト順に従ってインデックスが割り当てられる。ひずみ率コストに基づいて、インデックスが連続する２つの領域をマージすることができる。

領域間のマッピング情報は、デコーダに信号通知されるべきである。ＡＶＳ－２において、基本領域の数はマージ結果を示すためのものであり、フィルタ係数はその領域の順に従って順次圧縮される。例えば、｛０，１｝、｛２，３，４｝、｛５，６，７，８，９｝及び左側の基本領域をそれぞれ１つの領域にマージする場合、このマージマップを表すために３つの整数のみを符号化する（即ち、２，３，５）。

５．３ 副情報の信号通知
複数のスイッチフラグも使用される。シーケンス切替フラグａｄａｐｔｉｖｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｅｎａｂｌｅは、シーケンス全体に適応ループフィルタを適用するかどうかを制御するためのフラグである。画像切り替えフラグｐｉｃｔｕｒｅ＿ａｌｆ＿ｅｎｂｌｅ［ｉ］、は、対応するｉ番目の画像成分に対してＡＬＦを適用するかどうかを制御する。ｐｉｃｔｕｒｅ＿ａｌｆ＿ｅｎｂｌｅ［ｉ］が有効になっている場合にのみ、その色成分に対応するＬＣＵレベルのフラグ及びフィルタ係数を送信する。ＬＣＵレベルフラグ、ｌｃｕ＿ａｌｆ＿ｅｎａｂｌｅ［ｋ］、は、対応するｋ番目のＬＣＵに対してＡＬＦが有効化されるかどうかを制御し、スライスデータにインターリーブされる。異なるレベルの調整済みフラグの決定はすべて、ひずみ率コストに基づく。柔軟性が高いので、ＡＬＦは、符号化効率をさらに有意に向上させる。

いくつかの実施形態において、輝度成分のために、１６個までのフィルタ係数のセットが存在可能である。

いくつかの実施形態において、各クロマ成分（Ｃｂ及びＣｒ）に対して１つのフィルタ係数セットを送信してもよい。

６ ＧＡＬＦの例
いくつかの実施形態において、適応ループフィルタのフィルタリング処理は次のように行われる。

ここで、サンプルＩ（ｘ＋ｉ，ｙ＋ｊ）は入力サンプルであり、Ｏ（ｘ，ｙ）はフィルタリングされた出力サンプル（即ち、フィルタ結果）であり、ｗ（ｉ，ｊ）はフィルタ係数を表す。いくつかの実施形態において、固定点精度計算のために整数演算を使用して実装される。

ここで、Ｌはフィルタ長を表し、ｗ（ｉ，ｊ）は固定小数点精度におけるフィルタ係数である。

７ 非線形適応ループフィルタリング（ＡＬＦ）
７．１ フィルタリングの再形成
式（１１）は、符号化効率に影響を及ぼすことなく、以下の式で再定式化することができる。

ここで、ｗ（ｉ，ｊ）は、式（１１）におけるフィルタ係数と同じである［例外ｄｗ（０，０）、式（１３）においては１に等しいが、式（１１）において１－Σ_{（ｉ，ｊ）≠（０，０）}ｗ（ｉ，ｊ）に等しい］。

７．２ 修正されたフィルタ
上記式（１３）のフィルタ式を用いることで、単純なクリッピング関数を使用して、近傍サンプル値（Ｉ（ｘ＋ｉ，ｙ＋ｊ））が現在のサンプル値（Ｉ（ｘ，ｙ））のフィルタリングと異なり過ぎている場合に、その影響を低減することで、非線形性を導入し、ＡＬＦをより効率的にする。

この提案において、ＡＬＦフィルタは、以下のように修正される。

ここで、Ｋ（ｄ，ｂ）＝ｍｉｎ（ｂ，ｍａｘ（－ｂ，ｄ））はクリッピング関数であり、ｋ（ｉ，ｊ）はクリッピングパラメータであり、これは（ｉ，ｊ）フィルタ係数に依存する。エンコーダは、最適化を行い、最良のｋ（ｉ，ｊ）を見出す。

いくつかの実施形態において、各ＡＬＦフィルタに対してクリッピングパラメータｋ（ｉ，ｊ）を特定し、１つのフィルタ係数あたり１つのクリッピング値を信号通知する。これは、１つの輝度フィルタ当たりビットストリームにおいて、最大１２個のクリッピング値を信号通知することができ、クロマフィルタに対しては最大６個のクリッピング値を信号通知することができることを意味する。

信号通知コスト及びエンコーダの複雑性を制限するために、クリッピング値の評価は、小さなセットの可能な値に限定されてもよい。４つの固定値のみを使用でき、これらはインターとイントラのタイルグループと同じである。

局所的な差の分散は、輝度の場合の方が、クロマの場合よりも大きいことが多いので、輝度フィルタ及びクロマフィルタの２つの異なるセットを使用できる。各セットにおける最大サンプル値（ここでは、１０ビットのビット深度の場合、１０２４）を含めることができ、必要でない場合、クリッピングを無効にすることができる。

いくつかの実施形態において、用いられるクリッピング値のセットを表２に示す。４つの値は、対数ドメインにおいて、輝度についてのサンプル値（１０ビットで符号化される）の全範囲を、及びクロマについての４～１０２４の範囲をほぼ等分することによって選択された。

より正確には、クリッピング値の輝度テーブルは、以下の式によって得られた。

同様に、クリッピング値のクロマテーブルは、以下の式に従って取得される。

選択されたクリッピング値は、上記表２のクリッピング値のインデックスに対応するゴロム符号化方式を使用して、“ａｌｆ＿ｄａｔａ”構文要素に符号化される。この符号化方式は、フィルタインデックスの符号化方式と同じである。

８ インループ再整形（ＩＬＲ）の例
インループリシェイプ（ＩＬＲ）の基本的な考えは、元の（第１のドメインにおける）信号（予測／再構成信号）を第２のドメイン（リシェイプされたドメイン）に変換することである。

インループ輝度リシェイパは、１対のルックアップテーブル（ＬＵＴ）として実装されるが、信号通知されたＬＵＴから他方を計算することができるので、２つのＬＵＴのうちの一方のみを信号通知する必要がある。各ＬＵＴは、１次元１０ビット１０２４エントリマッピングテーブル（１Ｄ－ＬＵＴ）である。１つのＬＵＴは、フォワードＬＵＴ、ＦｗｄＬＵＴであり、これは、入力輝度コード値Ｙ_ｉを変更された値Ｙ_ｒ：Ｙ_ｒ＝ＦｗｄＬＵＴ［Ｙ_ｉ］にマッピングする。他方のＬＵＴは、逆ＬＵＴ、ＩｎｖＬＵＴであり、変更されたコード値Ｙ_ｒをＹ＾_ｉ：Ｙ＾_ｉ：ＩｎｖＬＵＴ［Ｙ_ｒ］にマッピングする。（Ｙ＾_ｉはＹ_ｉの再構成値を表す）。

８．１ 例示的な区分線形（ＰＷＬ）モデル
概念的には、区分線形（ＰＷＬ）は、以下のように実装される。

ｘ１、ｘ２を２つの入力支点とし、ｙ１、ｙ２を１つのピースに対応する出力支点とする。ｘ１とｘ２との間の任意の入力値ｘに対する出力値ｙは、以下の式によって補間することができる

ｙ＝（（ｙ２－ｙ１）／（ｘ２－ｘ１））＊（ｘ－ｘ１）＋ｙ１

固定点実装では、この式は、以下のように書き換えることができる。

ｙ＝（（ｍ＊ｘ＋２ＦＰ＿ＰＲＥＣ－１）＞＞ＦＰ＿ＰＲＥＣ）＋ｃ

ここで、ｍはスカラーであり、ｃはオフセットであり、ＦＰ＿ＰＲＥＣは精度を規定するための定数である。

なお、いくつかの実施形態では、ＰＷＬモデルは、１０２４エントリのＦｗｄＬＵＴマッピングテーブルおよびＩｎｖＬＵＴマッピングテーブルを予め計算するために使用されるが、ＰＷＬモデルは、ＬＵＴを予め計算することなく、実装において同一のマッピング値をオンザフライで計算することも可能にする。

８．２ 例示の再整形
８．２．１ 輝度のリシェイプ
インループ輝度リシェイプのいくつかの実施例は、より複雑性低いパイプラインを提供し、且つインタースライス再構成におけるブロック単位のイントラ予測のための復号化待ち時間を排除する。イントラ予測は、インタースライスおよびイントラスライスの両方のために、リシェイプされたドメインにおいて行われる。

イントラ予測は、スライスタイプにかかわらず、リシェイプされたドメインで行われる。このような構成によれば、前回のＴＵ再構成を行った直後にイントラ予測を開始することができる。このような構成は、スライスに依存する代わりに、イントラモードのための統一された処理を提供することもできる。図７は、モードに基づく復号化処理の例を示すブロック図である。

いくつかの実施形態において、１６個の区分線形（ＰＷＬ）モデルを３２個のＰＷＬモデルの代わりに用いて輝度及びクロマ残差スケーリングを行ってもよい。

いくつかの実施形態において、インループ輝度リシェイパを用いたインタースライス再構成（薄い影が付けられたブロックは、リシェイプされたドメインにおける信号を示す。輝度残差、輝度内予測、および輝度内再構成）

８．２．２ 輝度依存クロマ残差スケーリング
輝度依存クロマ残差スケーリングは、固定小数点整数演算で実装される乗算処理である。クロマ残差スケーリングは、輝度信号のクロマ信号との相互作用を補償する。ＴＵレベルでクロマ残差スケーリングを適用する。具体的には、以下が適用される。

○ イントラの場合、再構成された輝度を平均する。

○ インターの場合、予測輝度を平均する。

この平均値は、ＰＷＬモデルにおけるインデックスを特定するために使用される。このインデックスは、スケーリング係数ｃＳｃａｌｅＩｎｖを特定する。クロマ残差にその数を乗算する。

なお、クロマスケーリング係数は、再構成された輝度値ではなく、フォワードマップされた予測輝度値から算出される。

８．２．３ ＩＬＲ副情報の信号通知
パラメータは（現在）タイルグループヘッダ（ＡＬＦに類似）で送信される。これらは、４０～１００ビットを要すると報告されている。
以下の規格は、ＪＶＥＴ－Ｌ１００１のバージョン９に基づいている。追加された構文は黄色で強調表示される。

一般的に、シーケンスパラメータセットＲＢＳＰの意味論では、次の意味論を追加する。
ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１と等しい場合は、符号化映像シーケンス（ＣＶＳ）においてリシェイパが使用されていることを規定している。ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０と等しい場合は、ＣＶＳにおいてリシェイパが使用されていないことを規定している。
タイルグループヘッダ構文において、以下の意味論を追加する。
ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１と等しい場合は、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ（）がタイルグループ内に存在することを規定している。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０と等しい場合は、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ（）がタイルグループヘッダに存在しないことを規定している。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが存在しない場合は、０に等しいと推論される。
ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１と等しい場合は、現在のタイルグループに対してリシェイパが有効になっていることを規定している。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０と等しい場合は、現在のタイルグループに対してリシェイパが有効になっていないことを規定している。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇが存在しない場合、０であると推論される。
ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇが１と等しい場合は、現在のタイルグループに対してクロマ残差スケーリングを有効であることを規定している。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇが０と等しい場合は、現在のタイルグループに対してクロマ残差スケーリングが有効でないことを規定している。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇが存在しない場合は、０であると推測される。
ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ（）構文を追加する。
ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘは、最小のビン（またはピース）インデックスを、リシェイパ構築処理に使用するように規定している。ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘの値が０～ＭａｘＢｉｎＩｄｘの範囲内にあるものとする。ＭａｘＢｉｎＩｄｘの値は１５と等しいとする。
ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｄｅｌｔａ＿ｍａｘ＿ｂｉｎ＿ｉｄｘは、最大許容ビン（またはピース）インデックスＭａｘＢｉｎＩｄｘから最大ビンインデックスを引いたものが、リシェイパ構築処理で使用されることを規定している。ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｍａｘ＿ｂｉｎ＿ｉｄｘの値は、ＭａｘＢｉｎＩｄｘ－ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｄｅｌｔａ＿ｍａｘ＿ｂｉｎ＿ｉｄｘに等しく設定される。
ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ ｂｉｎ＿ｄｅｌｔａ＿ａｂｓ＿ｃｗ＿ｐｒｅｃ＿ｍｉｎｕｓ１＋１は、構文ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂｉｎ＿ｄｅｌｔａ＿ａｂｓ＿ＣＷ［ｉ］の表現に使用するビット数を規定している。
ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂｉｎ＿ｄｅｌｔａ＿ａｂｓ＿ＣＷ［ｉ］は、ｉ番目のビンの絶対デルタコード名値を規定する。
ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｂｉｎ＿ｄｅｌｔａ＿ｓｉｇｎ＿ＣＷ＿ｆｌａｇ［ｉ］は、ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂｉｎ＿ｄｅｌｔａ＿ａｂｓ＿ＣＷ［ｉ］のサインを次のように記述する。
－ ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂｉｎ＿ｄｅｌｔａ＿ｓｉｇｎ＿ＣＷ＿ｆｌａｇ［ｉ］が０と等しい場合、対応する変数ＲｓｐＤｅｌｔａＣＷ［ｉ］は正の値である。
－ そうでない場合（ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂｉｎ＿ｄｅｌｔａ＿ｓｉｇｎ＿ＣＷ＿ｆｌａｇ［ｉ］が０と等しくない）、対応する変数ＲｓｐＤｅｌｔａＣＷ［ｉ］は負の値である。
ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂｉｎ＿ｄｅｌｔａ＿ｓｉｇｎ＿ＣＷ＿ｆｌａｇ［ｉ］が存在しない場合、０に等しいと推測される。
変数ＲｓｐＤｅｌｔａＣＷ［ｉ］＝（１ ２＊ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂｉｎ＿ｄｅｌｔａ＿ｓｉｇｎ＿ＣＷ［ｉ］）＊ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂｉｎ＿ｄｅｌｔａ＿ａｂｓ＿ＣＷ［ｉ］；
変数ＲｓｐＣＷ［ｉ］は、以下のステップとして導出される。
変数ＯｒｇＣＷは、（１＜＜ＢｉｔＤｅｐｔｈ_Ｙ）／（ＭａｘＢｉｎＩｄｘ＋１）に等しく設定される。
－ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ＜＝ｉ＜＝ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｍａｘ＿ｂｉｎ＿ｉｄｘの場合、ＲｓｐＣＷ［ｉ］＝ＯｒｇＣＷ＋ＲｓｐＤｅｌｔａＣＷ［ｉ］である。
－ そうでない場合、ＲｓｐＣＷ［ｉ］＝０である。
ＢｉｔＤｅｐｔｈ_Ｙの値が１０に等しい場合、ＲｓｐＣＷ［ｉ］の値は、３２～２＊ＯｒｇＣＷ＿１の範囲内にくる。
ｉが０～ＭａｘＢｉｎＩｄｘ＋１の範囲にある変数ＩｎｐｕｔＰｉｖｏｔ［ｉ］は、以下のように導出される。
ＩｎｐｕｔＰｉｖｏｔ［ｉ］＝ｉ＊ＯｒｇＣＷ
ｉが０～ＭａｘＢｉｎＩｄｘ＋１の範囲にあり、変数ＳｃａｌｅＣｏｅｆ［ｉ］およびＩｎｖＳｃａｌｅＣｏｅｆｆ［ｉ］がそれぞれ０～ＭａｘＢｉｎＩｄｘの範囲にあり、ｉが０～ＭａｘＢｉｎＩｄｘの範囲にある変数ＲｅｓｈａｐｅＰｉｖｏｔ［ｉ］は、以下のように導出される。
ｓｈｉｆｔＹ＝１４
ＲｅｓｈａｐｅＰｉｖｏｔ［０］＝０；
ｆｏｒ（ｉ＝０；ｉ＜＝ＭａｘＢｉｎＩｄｘ；ｉ＋＋）｛
ＲｅｓｈａｐｅＰｉｖｏｔ［ｉ＋１］＝ＲｅｓｈａｐｅＰｉｖｏｔ［ｉ］＋ＲｓｐＣＷ［ｉ］
ＳｃａｌｅＣｏｅｆ［ｉ］＝（ＲｓｐＣＷ［ｉ］＊（１＜＜ｓｈｉｆｔＹ）＋（１＜＜（Ｌｏｇ２（ＯｒｇＣＷ）－１）））＞＞（Ｌｏｇ２（ＯｒｇＣＷ））
ｉｆ（ＲｓｐＣＷ［ｉ］＝＝０）
ＩｎｖＳｃａｌｅＣｏｅｆｆ［ｉ］＝０
ｅｌｓｅ
ＩｎｖＳｃａｌｅＣｏｅｆｆ［ｉ］＝ＯｒｇＣＷ＊（１＜＜ｓｈｉｆｔＹ）／ＲｓｐＣＷ［ｉ］
｝
ｉが０～ＭａｘＢｉｎＩｄｘの範囲内にある変数ＣｈｒｏｍａＳｃａｌｅＣｏｅｆ［ｉ］は、以下のように導出される。
ＣｈｒｏｍａＲｅｓｉｄｕａｌＳｃａｌｅＬｕｔ［６４］＝｛１６３８４，１６３８４，１６３８４，１６３８４，１６３８４，１６３８４，１６３８４，８１９２，８１９２，８１９２，８１９２，５４６１，５４６１，５４６１，５４６１，４０９６，４０９６，４０９６，４０９６，３２７７，３２７７，３２７７，３２７７，２７３１，２７３１，２７３１，２７３１，２３４１，２３４１，２３４１，２０４８，２０４８，２０４８，１８２０，１８２０，１８２０，１６３８，１６３８，１６３８，１６３８，１４８９，１４８９，１４８９，１４８９，１３６５，１３６５，１３６５，１３６５，１２６０，１２６０，１２６０，１２６０，１１７０，１１７０，１１７０，１１７０，１０９２，１０９２，１０９２，１０９２，１０２４，１０２４，１０２４，１０２４｝；
ｓｈｉｆｔＣ＝１１
－ ｉｆ（ＲｓｐＣＷ［ｉ］＝＝０）
ＣｈｒｏｍａＳｃａｌｅＣｏｅｆ［ｉ］＝（１＜＜ｓｈｉｆｔＣ）
－ Ｏｔｈｅｒｗｉｓｅ（ＲｓｐＣＷ［ｉ］ ！＝０），ＣｈｒｏｍａＳｃａｌｅＣｏｅｆ［ｉ］＝ＣｈｒｏｍａＲｅｓｉｄｕａｌＳｃａｌｅＬｕｔ［ＲｓｐＣＷ［ｉ］＞＞１］

８．２．４ ＩＬＲの使用方法
エンコーダ側では、まず、各ピクチャ（またはタイルグループ）をリシェイプされたドメインに変換する。そして、すべての符号化処理は、リシェイプされたドメインで行われる。イントラ予測の場合、近傍のブロックはリシェイプされたドメインにあり、インター予測の場合、まず、参照ブロック（復号化ピクチャバッファからの元のドメインから生成される）をリシェイプされたドメインに変換する。そして、残差を生成し、ビットストリームに符号化する。

ピクチャ全体（またはタイルグループ）の符号化／復号化が終わった後、リシェイプされたドメインのサンプルを元のドメインに変換し、次いで、非ブロック化フィルタおよび他のフィルタを適用する。

以下の場合、予測信号へのフォワードリシェイプは無効化される。

○ 現在のブロックはイントラ符号化されている

○ 現在のブロックはＣＰＲ（現在のピクチャを参照し、別名イントラブロックコピー、ＩＢＣ）として符号化される。

○ 現在のブロックは、結合されたインターイントラモード（ＣＩＩＰ）として符号化され、イントラ予測ブロックのためにフォワードリシェイプは無効化される。

９ 双方向オプティカルフロー（ＢＩＯまたはＢＤＯＦ）
９．１ ＢＩＯの概要と分析
ＢＤＯＦ（別名、ＢＩＯ）では、まず、動き補償を行い、現在のブロックの（各予測方向における）第１の予測を生成する。第１の予測は、ブロック内の各サブブロックまたは画素の空間的勾配、時間的勾配、及びオプティカルフローを導出するために用いられ、これらを用いて第２の予測、例えば、サブブロックまたはピクセルの最終予測を生成する。以下、その詳細を説明する。

双方向オプティカルフロー（ＢＩＯ）方法は、双方向予測のためにブロック単位の動き補償の上で実行されるサンプル単位の動きの改良である。いくつかの実施例において、サンプルレベルの動きの改良は、シグナリングを用いない。

ブロック動き補償後の基準ｋ（ｋ＝０，１）からの輝度をＩ^（ｋ）とし、∂Ｉ^（ｋ）／∂ｘ、∂Ｉ^（ｋ）／∂ｙをそれぞれＩ^（ｋ）勾配の水平成分、垂直成分とする。オプティカルフローが有効であると仮定すると、動きベクトルフィールド（ｖ_ｘ，ｖ_ｙ）ｉは、以下の式によって求められる。

このオプティカルフロー方程式を各サンプルの動き軌跡に対してエルミート補間によって組み合わせることにより、両端にある両機能値Ｉ^（ｋ）および導関数∂Ｉ^（ｋ）／∂ｘ ａｎｄ ∂Ｉ^（ｋ）／∂ｙに合致する唯一の３次多項式が得られる。ｔ＝０におけるこの多項式の値は、ＢＩＯ次式のような、ＢＩＯ予測となる。

図８は、双方向オプティカルフロー（ＢＩＯ）法におけるオプティカルフローの軌跡の一例を示す。ここで、τ_０及びτ_１は、参照フレームまでの距離を示す。距離τ_０およびτ_１は、Ｒｅｆ_０およびＲｅｆ_１のＰＯＣに基づいて以下のように計算される。τ_０＝ＰＯＣ（ｃｕｒｒｅｎｔ）－ＰＯＣ（Ｒｅｆ_０），τ_１＝ＰＯＣ（Ｒｅｆ_１）－ＰＯＣ（ｃｕｒｒｅｎｔ）。両方の予測が同じ時間方向から来たものである場合（両方とも過去から来たものであるか、又は両方とも将来から来たものである場合）、符号が異なる（例えば、τ_０・τ_１＜０）。このケースでは、予測が同じ時刻（例えば、τ_０・τ_１≠０）からのものでない場合、ＢＩＯが適用される。両方の参照領域は、非ゼロ動き（例えば、ＭＶｘ_０，ＭＶｙ_０，ＭＶｘ_１，ＭＶｙ_１≠０）を有し、ブロック動きベクトルは、時距離（例えば、ＭＶｘ_０／ＭＶｘ_１＝ＭＶｙ_０／ＭＶｙ_１≠－τ_０／τ_１）に比例する。

動きベクトルフィールド（ｖ_ｘ，ｖ_ｙ）は、点ＡおよびＢにおける値の差Δを最小化することによって判定される。図８は、動き軌跡と基準フレーム平面の交差における例を示す。モデルは、Δに対するローカルテーラー展開の第１の線形項のみを以下のように使用する。

上記式におけるすべての値は、（ｉ’，ｊ’）として表されるサンプル位置に依存する。動きがローカル周辺エリアにおいて一貫していると仮定すると、Δは、現在の予測点（ｉ，ｊ）を中心とする（２Ｍ＋１）×（２Ｍ＋１）個の正方形ウィンドウΩの内側で最小化することができる。式中、Ｍは２に等しい。

この最適化問題に対して、ＪＥＭは、まず垂直方向に最小化し、次に水平方向に最小化する簡単なアプローチを使用する。その結果、以下のようになる。

ここで

ゼロ又は非常に小さな数値での除算を回避するために、式（１９）及び式（２０）において、正則化パラメータｒ及びｍを導入する。式中、

ここで、ｄは映像サンプルのビット深度である。

バイオメモリアクセスを通常の双方向予測動き補償と同じにするために、現在のブロック内の位置について、すべての予測値及び勾配値Ｉ^（ｋ），∂Ｉ^（ｋ）／∂ｘ，∂Ｉ^（ｋ）／∂ｙを計算する。図９Ａは、ステップ９００の外部におけるアクセス位置を例示している。図９Ａに示すとおり、式（１７）において、予測ブロックの境界上の現在の予測点を中心とする（２Ｍ＋１）×（２Ｍ＋１）個の正方形窓Ωは、ブロックの外側の位置にアクセスする必要がある。ＪＥＭにおいて、ブロックの外部のＩ^（ｋ），∂Ｉ^（ｋ）／∂ｘ，∂Ｉ^（ｋ）／∂ｙの値は、ブロックの内部の最も近い利用可能な値に等しくなるように設定される。例えば、これは、図９Ｂに示すように、パディング領域９０１として実装することができる。

ＢＩＯを用いることで、サンプル毎に動きフィールドを改良することができる。計算の複雑性を低減するために、ＪＥＭではブロックに基づくＢＩＯの設計が用いられている。動きの改良は、４×４ブロックに基づいて計算することができる。ブロックに基づくＢＩＯにおいて、４×４ブロックにおけるすべてのサンプルの、式（２１）におけるｓ_ｎの値を統合し、次いで、この統合したｓ_ｎの値を使用して、４×４ブロックのためのＢＩＯ動きベクトルオフセットを導出する。具体的には、ブロックに基づくＢＩＯ導出には、以下の式を用いることができる。

式中、ｂ_ｋは、予測ブロックのｋ番目の４×４ブロックに属するサンプルのセットを表す。関連する動きベクトルオフセットを導出するために、式（１９）および式（２０）におけるｓ_ｎは（（ｓ_ｎ，ｂｋ）＞＞４）に置き換えられる。

シナリオによってはＢＩＯのＭＶレジメンがノイズや不規則な動きで信頼できない場合がある。従って、ＢＩＯにおいて、ＭＶレジメンの大きさは閾値にクリップされる。閾値は、現在のピクチャの参照ピクチャがすべて一方向からのものであるか否かに基づいて判定される。例えば、現在のピクチャのすべての参照ピクチャが一方向からのものである場合、閾値を１２×２^１４－ｄに設定し、そうでない場合、閾値を１２×２^１３－ｄに設定する。

ＢＩＯの勾配は、ＨＥＶＣ動き補償処理（例えば、２Ｄ分離可能有限インパルス応答（ＦＩＲ））に準拠した演算を使用して、動き補償補間と同時に計算されてもよい。いくつかの実施形態において、前記２Ｄ分離可能なＦＩＲのための入力は、ブロック動きベクトルの端数部分に従って、動き補償処理および端数位置（ｆｒａｃＸ，ｆｒａｃＹ）のためのものと同じ参照フレームサンプルである。水平方向勾配∂Ｉ／∂ｘの場合、まず、信号は、デスケーリングシフトでｄ－８で、端数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＳを使用して垂直方向に補間される。次に、１８－ｄによるデスケーリングシフトで端数位置ｆｒａｃＸｗｉｔｈに対応する、水平方向に勾配フィルタＢＩＯｆｉｌｔｅｒＧを適用する。垂直方向勾配∂Ｉ／∂ｙの場合、デスケーリングシフトｄ－８で、端数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＧを使用して勾配フィルタを垂直方向に適用する。そして、１８－ｄによるデスケーリングシフトで端数位置ｆｒａｃＸに対応する水平方向のＢＩＯｆｉｌｔｅｒＳを使用して信号の移動を行う。適度な複雑性を維持するために、勾配計算ＢＩＯｆｉｌｔｅｒＧおよび信号変位ＢＩＯｆｉｌｔｅｒＦのための補間フィルタの長さはより短くてもよい（例えば６タップ）。表３は、ＢＩＯにおけるブロック動きベクトルの異なる端数位置の勾配計算に使用できる例示的なフィルタを示す。表４は、ＢＩＯにおける予測信号の生成に使用できる例示的な補間フィルタを示す。

本ＪＥＭにおいて、２つの予測が異なる参照ピクチャからのものである場合、ＢＩＯをすべての双方向予測ブロックに適用することができる。ＣＵのローカル照明補償（ＬＩＣ）を有効にすると、ＢＩＯを無効にすることができる。

いくつかの実施形態において、ＯＢＭＣは、通常のＭＣ処理の後、１つのブロックに適用される。計算の複雑性を低減するために、ＯＢＭＣ処理中にＢＩＯを適用しなくてもよい。つまり、ＢＩＯは、それ自身のＭＶを使用する場合、１つのブロックのＭＣ処理において適用され、ＯＢＭＣ処理において近傍のブロックのＭＶを使用する場合、ＭＣ処理においては適用されない。

１０ オプティカルフロー（ＰＲＯＦ）による予測微調整例
いくつかの実施形態において、サブブロックに基づくアフィン動き補償予測をオプティカルフローにより微調整することができる。サブブロックに基づくアフィン動き補償を行った後、オプティカルフロー方程式で導出された差を加算することで、予測サンプルを微調整し、これをオプティカルフロー予測微調整（ＰＲＯＦ）と呼ぶ。このような技法は、メモリアクセス帯域幅を増大させることなく、画素レベルの粒度におけるインター予測を実現することができる。

動き補償の粒度をより細かくするために、本寄稿では、オプティカルフローを用いたサブブロックに基づくアフィン動き補償予測を微調整する方法を提案している。サブブロックに基づくアフィン動き補償を行った後、オプティカルフロー方程式で導出された差を加算することで、輝度予測サンプルを微調整する。ＰＲＯＦは、以下の４つのステップとして説明される。

ステップ１）サブブロックに基づくアフィン動き補償を行い、サブブロック予測Ｉ（ｉ，ｊ）を生成する。

ステップ２）３タップフィルタ［－１，０，１］を使用して、個々のサンプル位置において、サブブロック予測の空間的勾配ｇ_ｘ（ｉ，ｊ）及びｇ_ｙ（ｉ，ｊ）を算出する。

サブブロック予測は、勾配計算のために各側で１つの画素だけ拡張される。メモリの帯域幅及び複雑性を低減するために、拡大された境界上の画素は、参照ピクチャにおける最も近い整数画素位置からコピーされる。従って、パディング領域のための追加の補間が回避される。

ステップ３）オプティカルフロー方程式によって輝度予測の微調整を計算する。

ここで、Δｖ（ｉ，ｊ）は、図１０に示すように、ｖ（ｉ，ｊ）によって表される、サンプル位置（ｉ，ｊ）について算出された画素ＭＶと、画素（ｉ，ｊ）が属するサブブロックＭＶのサブブロックＭＶとの差分である。

サブブロック中心に対するアフィンモデルパラメータ及び画素位置は、サブブロックからサブブロックに変化しないので、第１のサブブロックについてΔｖ（ｉ，ｊ）を計算し、同じＣＵにおける他のサブブロックに再利用することができる。画素位置からサブブロックの中心までの水平及び垂直オフセットをｘ、ｙとすると、Δｖ（ｘ，ｙ）は、以下の式で導出することができる。

４パラメータアフィンモデルの場合、

６パラメータアフィンモデルの場合、

ここで、（ｖ_０ｘ，ｖ_０ｙ）、（ｖ_１ｘ，ｖ_１ｙ）、（ｖ_２ｘ，ｖ_２ｙ）は、左上、右上、左下の制御点動きベクトルであり、ｗ、ｈは、ＣＵの幅及び高さである。

ステップ４）最後に、輝度予測の微調整がサブブロック予測Ｉ（ｉ，ｊ）に加えられる。最終予測Ｉ’は、次式のように生成される。

１１ 既存の実装形態の欠点
非線形ＡＬＦ（ＮＬＡＬＦ）、ＢＩＯ（ａｋａ ＢＤＯＦ）および／またはＰＲＯＦ設計には、以下の問題がある。

（１）ＢＤＯＦ又はＰＲＯＦのいずれか一方の場合、予測サンプルに適用された導出オフセット値は、元のサンプルから離れ過ぎている可能性があり、それによって、より大きい残差となる。

（２）強い水平又は垂直パターンを有するシーケンスに対して準最適なのものとすることができる２－Ｄフィルタリングが適用される。

１２ 映像符号化におけるサンプルの微調整及びフィルタリングのための例示的な方法
本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示される技術に基づいた映像符号化のためのサンプル微調整およびフィルタリング方法は、既存のおよび将来の映像符号化規格の両方を向上させることができ、様々な実装形態のために以下の例で解明される。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載されている様々な特徴を組み合わせることができる。

なお、以下の例でいう‘フィルタリング方法’とは、適応ループフィルタ／再構成後フィルタ（例えば、バイラテラルフィルタ、拡散フィルタ等）を指す場合がある。
１． なお、各近傍の画素と現在の画素との差をクリッピングする代わりに、近傍の画素の重み付け平均をクリッピングしてもよい。
ａ． いくつかの実施形態において、クリッピングは次のように行うことができる。ここで、Ｋはクリッピング演算である。

２． １次元フィルタリング方法を利用してもよい。
ａ． いくつかの実施形態において、１次元フィルタは水平方向に近傍のサンプルのみを使用してもよい。
ｉ． いくつかの実施形態において、前記フィルタリング処理は次のように表現してもよい。

ｉｉ． サンプル／フィルタタップの数（例えば、Ｔ）は、画素ごとに異なってもよい。例えば、ＣＴＵ境界にある画素の場合、現在のＣＴＵ内にない画素は使用されない。
ｂ． いくつかの実施形態において、前記ショートタップフィルタは垂直方向に近傍のサンプルのみを使用してもよい。

ｉ． Ｔは、画素ごとに異なってもよい。例えば、ＣＴＵ境界にある画素の場合、現在のＣＴＵ内にない画素は使用されない。
ｃ． いくつかの実施形態において、１次元タップフィルタは、水平／垂直方向を除き、一方向に近傍のサンプルのみを使用してもよい。
ｄ． いくつかの実施形態において、ｗｓ（ｓｉ）は画素の分類によって異なっていてもよい。
ｅ． いくつかの実施形態において、ｗｓ（ｓｉ）は異なるクラスの画素に対して同じであってもよい。
ｆ． いくつかの実施形態において、ｗｓ（ｓｉ）はデコーダに信号通知されてもよい。
ｇ． いくつかの実施形態において、ｗｓ（ｓｉ）は予め規定されていてもよい。
３． １次元非線形適応ループフィルタリング方法を利用してもよい。
ａ． いくつかの実施形態において、前記ショートタップフィルタは水平方向に近傍のサンプルのみを使用してもよい。
ｉ． いくつかの実施形態において、非線形フィルタリング方法は、水平方向に近傍のサンプルを用いて次のように表現してもよい。

ｉｉ． Ｔは、画素ごとに異なってもよい。例えば、ＣＴＵ境界にある画素の場合、現在のＣＴＵ内にない画素は使用されない。
ｂ． いくつかの実施形態において、１次元非線形フィルタは垂直方向に近傍のサンプルのみを使用してもよい。
ｉ． いくつかの実施形態において、非線形フィルタリング方法は、垂直方向に近傍のサンプルを用いて次のように表現してもよい。

ｉｉ． Ｔは、画素ごとに異なってもよい。例えば、ＣＴＵ境界にある画素の場合、現在のＣＴＵ内にない画素は使用されない。
ｃ． いくつかの実施形態において、１次元非線形タップフィルタは、水平／垂直方向を除き、一方向に近傍のサンプルのみを使用してもよい。
ｄ． いくつかの実施形態において、ｗｓ（ｓｉ）は画素の分類によって異なっていてもよい。
ｅ． いくつかの実施形態において、ｗｓ（ｓｉ）は異なるクラスの画素に対して同じであってもよい。
ｆ． いくつかの実施形態において、ｗｓ（ｓｉ）はデコーダに信号通知されてもよい。
ｇ． いくつかの実施形態において、ｗｓ（ｓｉ）は予め規定されていてもよい。
４． バイラテラルフィルタ又はアダマールフィルタにおいて、画素は異なる方向に沿ってフィルタリングされてもよい。
ａ． いくつかの実施形態において、画素は勾配情報によって異なる方向にフィルタリングされてもよい。
ｂ． いくつかの実施形態において、各Ｍ×Ｎサブブロックに対して、水平方向勾配及び垂直方向勾配を計算し、水平方向勾配の絶対値の合計が垂直方向勾配の絶対値の合計より大きいか或いは等しい場合、サブブロック内の画素を水平方向にフィルタリングしてもよい。
ｉ． 代替的に、サブブロック内の画素を垂直方向にフィルタリングしてもよい
ｃ． いくつかの実施形態において、各Ｍ×Ｎサブブロックに対して、水平方向勾配及び垂直方向勾配を計算し、水平方向勾配の絶対値の合計が垂直方向勾配の絶対値の合計より小さいか或いは等しい場合、サブブロック内の画素を垂直方向にフィルタリングしてもよい。
ｉ． 代替的に、サブブロック内の画素を水平方向にフィルタリングしてもよい。
ｄ． いくつかの実施形態において、各Ｍ×Ｎサブブロックに対して、水平方向勾配、垂直方向勾配、４５度対角勾配及び１３５度斜め勾配を算出し、サブブロック内の画素を絶対勾配の最大合計を有する方向に沿って選別してもよい。
ｅ． いくつかの実施形態において、各Ｍ×Ｎサブブロックに対して、水平方向勾配、垂直方向勾配、４５度対角勾配及び１３５度斜め勾配を算出し、サブブロック内の画素を絶対勾配の最小合計を有する方向に沿って選別してもよい。
５． ＢＯＤＦにおいて、勾配は、サンプルの微調整又は／及びＭＶオフセットの導出に使用される前に修正されてもよい。
ａ． いくつかの実施形態において、ＢＤＯＦで算出された空間的及び／又は時間的勾配は、ある範囲［ｍｉｎ，ｍａｘ］にクリップされてもよい。
ｉ． 変数ｍｉｎ及びｍａｘは、空間的勾配及び時間的勾配に対して異なってもよい。
ｉｉ． 変数ｍｉｎは０より小さくてもよく、ｍａｘはゼロより大きくてもよい。
ｉｉｉ． 変数ｍｉｎ及びｍａｘは、サンプルの入力ビット深度に依存してもよい。
ｉｖ． 変数ｍｉｎ及びｍａｘは、中間サンプルを生成するために用いられる補間フィルタに依存してもよい。
ｖ． 変数ｍｉｎ及びｍａｘは、信号通知されてもよい。
ｖｉ． 変数ｍｉｎ及びｍａｘは、予め規定されてもよい。
ｂ． いくつかの実施形態において、ＢＤＯＦで算出された空間的及び／又は時間的勾配は、非線形関数によって修正されてもよい。
ｉ． 例えば、ロジスティックＳ字関数を使用してもよい。
ｃ． 同様に、ＰＲＯＦにおいて、勾配は、サンプルの微調整又は／及びＭＶオフセットの導出に使用される前に、修正されてもよい。
６． ＢＯＤＦ／ＰＲＯＦにおいて、微調整されたサンプル値、又は予測サンプルとその微調整されたサンプル値との差（又はオフセット）は、さらに修正してから最終的な再構成サンプル値を導出してもよい。
ａ． ＢＯＤＦ／ＰＲＯＦでは、予測サンプルとその微調整されたサンプル値との差にクリッピング演算を加えてもよい。
ｂ． いくつかの実施形態において、前記差はある範囲［ｍｉｎ，ｍａｘ］にクリッピングされてもよい。
ｉ． 変数ｍｉｎ及びｍａｘは、空間的勾配及び時間的勾配に対して異なってもよい。
ｉｉ． 変数ｍｉｎは０より小さくてもよく、ｍａｘはゼロより大きくてもよい。
ｉｉｉ． 変数ｍｉｎ及びｍａｘは、サンプルの入力ビット深度に依存してもよい。
ｉｖ． 変数ｍｉｎ及びｍａｘは、中間サンプルを生成するために用いられる補間フィルタに依存してもよい。
ｖ． 変数ｍｉｎ及びｍａｘは、信号通知されてもよい。
ｖｉ． 変数ｍｉｎ及びｍａｘは、予め規定されてもよい。
ｃ． さらに、代替的に、１つの予測サンプルの最終再構成値は、クリップされた差に依存してもよい。
ｄ． さらに、代替的に、１つの予測サンプルの最終再構成値は、修正された微調整されたサンプル／修正された微調整された差に依存してもよい。
７． 上記方法で利用されるクリッピングパラメータは、シーケンスレベル、ピクチャレベル、ＣＴＵレベル等のようなある映像符号化ユニットレベルで信号通知されてもよい。
ａ． いくつかの実施形態において、それらはＳＰＳ／ＶＰＳ／ＰＰＳ／タイルグループヘッダ／ＣＴＵの行／領域に信号通知されてもよい。
ｂ． 代替的に、パラメータはオンザフライで導出されてもよい。
ｃ． 代替的に、パラメータは、量子化パラメータ、タイルグループのタイプ、符号化モード情報、変形パラメータ等に従って導出されてもよい。
８． 上記方法を適用するかどうかは、カラーフォーマットに依存し得る。
ａ． 提案した方法は、１つの色成分、例えばＧ又は輝度色成分にのみ適用可能であってもよい。
ｂ． 代替的に、提案した方法は、４：４：４のカラーフォーマットにおけるすべての色成分に適用可能であってもよい。

上述した例は、以下に説明する方法、例えば、方法１１００および１１５０のコンテキストに含まれてもよく、これらの方法は、映像デコーダ又は映像エンコーダにおいて実装されてもよい。

図１１Ａは、例示的な映像処理方法のフローチャートを示す。方法１１００は、ステップ１１０２において、現在の映像ブロックに対して、この現在の映像ブロックの近傍の画素の重み付け平均に適用されるクリッピング演算を含むフィルタリング処理を構成することを含む。

いくつかの実施形態において、前記フィルタリング処理は次のステップを含む。

式中、Ｉ（ｘ，ｙ）は、現在の映像ブロックの（ｘ，ｙ）番目の画素であり、Ｏ（ｘ，ｙ）は、（ｘ，ｙ）番目の画素の出力値であり、ｗ（ｉ，ｊ）は、重み係数であり、Ｋ（Σ）はクリッピング演算である。

方法１１００は、ステップ１１０４において、フィルタリング処理に基づいて、対応するビットストリーム表現から現在の映像ブロックを再構成することを含む。

いくつかの実施形態において、クリッピング演算の１つ以上のパラメータは、シーケンスパラメータセット（ＳＰＳ）、映像パラメータセット（ＶＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、符号化ツリーユニット（ＣＴＵ）行またはＣＴＵ領域において信号通知される。

いくつかの実施形態において、クリッピング演算の１つ以上のパラメータはオンザフライで導出される。

いくつかの実施形態において、クリッピング演算の１つ以上のパラメータは、現在の映像ブロックの量子化パラメータ、１つ以上の再整形パラメータ、タイルグループのタイプ又は符号化モードに基づいて導出される。

いくつかの実施形態において、前記フィルタリング処理は、適応ループフィルタ処理又は再構成後フィルタリング処理に対応する。１つの例において、再構成後フィルタリング処理は、バイラテラルフィルタ、アダマールフィルタ、又は拡散フィルタのうちの少なくとも１つを使用する。

図１１Ｂは、例示的な映像処理方法のフローチャートを示す。方法１１５０は、ステップ１１５２において、現在の映像ブロックに対して１次元フィルタリング処理を構成することを含む。

方法１１５０は、ステップ１１５４において、１次元フィルタリング処理に基づいて、対応するビットストリーム表現から現在の映像ブロックを再構成することを含む。

いくつかの実施形態において、１次元フィルタリング処理は、水平方向に近傍のサンプル、垂直方向に近傍のサンプル、４５度の対角線に沿った近傍のサンプル、又は現在の映像ブロックの１３５度の対角線に沿った近傍のサンプルのうち少なくとも１つに適用される。一例において、符号化ツリーユニット（ＣＴＵ）境界の画素に適用される１次元フィルタリング処理の第１のフィルタタップのセットは、１つのＣＴＵ内に完全にある画素に適用される１次元フィルタリング処理の第２のフィルタタップのセットとは異なる。別の例において、第１のフィルタタップのセット又は第２のフィルタタップのセットは、対応するビットストリーム表現において予め規定されるか、又は信号通知される。

いくつかの実施形態において、前記１次元フィルタリング処理を構成することは、勾配情報に基づいて行われる。一例において、前記勾配情報は、現在の映像ブロックのＭ×Ｎ個のサブブロックに対して、複数の水平方向勾配及び複数の垂直方向勾配を含む。別の例において、複数の水平方向勾配の絶対値の合計は、複数の垂直方向勾配の絶対値の合計以上である。さらに別の例において、複数の水平方向勾配の絶対値の合計は、複数の垂直方向勾配の絶対値の合計以下である。さらに別の例において、１次元フィルタリング処理は、水平方向に近傍のサンプルに適用される。さらに別の例において、１次元フィルタリング処理は、垂直方向に近傍のサンプルに適用される。

いくつかの実施形態において、前記勾配情報は、Ｍ×Ｎサブブロックのための複数の４５°対角勾配と、Ｍ×Ｎサブブロックのための複数の１３５°対角勾配とをさらに含むことができる。一例において、１次元フィルタリング処理は、複数の水平方向勾配、垂直方向勾配、４５度対角勾配及び１３５度斜め勾配の絶対値の合計の最大値に対応する方向に沿って適用される。別の例において、１次元フィルタリング処理は、複数の水平方向勾配、垂直方向勾配、４５度対角勾配及び１３５度斜め勾配の絶対値の合計の最小値に対応する方向に沿って適用される。

いくつかの実施形態において、前記１次元フィルタリング処理を構成することは、勾配情報の修正に基づいて行われる。例えば、この変形例は、範囲［ｍｉｎ，ｍａｘ］のクリッピング演算を勾配情報に適用することを含む。別の例において、ｍｉｎ及びｍａｘは、空間的勾配のための第１の組の値を用いて構成され、ｍｉｎ及びｍａｘは、時間的勾配のための第１の組の値とは異なった第２の組の値を用いて構成される。さらに別の実施例において、ｍｉｎ＜０およびｍａｘ＞０である。さらに別の実施例において、ｍｉｎ及びｍａｘの値は、現在の映像ブロックのサンプルのビット深度に基づいて選択される。さらに別の例において、ｍｉｎ及びｍａｘの値は、対応するビットストリーム表現において予め規定されるか、又は信号通知される。

いくつかの実施形態において、前記修正は前記勾配情報に非線形関数を適用することを含む。一例において、この非線形関数は、ロジスティックＳ字関数である。

いくつかの実施形態において、１次元フィルタリング処理は、適応ループフィルタ処理又は再構成後フィルタリング処理に対応する。１つの例において、再構成後フィルタリング処理は、バイラテラルフィルタ、アダマールフィルタ、又は拡散フィルタのうちの少なくとも１つを使用する。

１３ 開示される技術の例示的な実装形態
図１２は、映像処理装置１２００のブロック図である。装置１２００は、本明細書に記載の方法の１つ以上を実装するために使用してもよい。装置１２００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（モノのインターネット）受信機等により実施されてもよい。装置１２００は、１つ以上の処理装置１２０２と、１つ以上のメモリ１２０４と、映像処理ハードウェア１２０６と、を含んでもよい。１つまたは複数の処理装置１２０２は、本明細書に記載される１つ以上の方法（方法１１００および１１５０を含むが、これに限定されない）を実装するように構成されてもよい。メモリ（複数可）１２０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア１２０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。

いくつかの実施形態において、映像符号化法は、図１２を参照して説明したように、ハードウェアプラットフォームに実装される装置を使用して実施してもよい。

図１３は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１３００を示すブロック図である。様々な実装形態は、システム１３００のモジュールの一部又は全部を含んでもよい。システム１３００は、映像コンテンツを受信するための入力ユニット１３０２を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、８又は１０ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット１３０２は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。

システム１３００は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール１３０４を含んでもよい。符号化モジュール１３０４は、入力ユニット１３０２からの映像の平均ビットレートを符号化モジュール１３０４の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール１３０４の出力は、モジュール１３０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット１３０２において受信された、記憶された又は通信された映像のビットストリーム（又は符号化）表現は、モジュール１３０８によって使用されて、表示インターフェースユニット１３１０に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張（映像展開）と呼ばれることがある。さらに、特定の映像処理動作を“符号化”動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダ及びそれに対応する、復号化の結果を逆にする復号化ツール又は動作が、デコーダによって行われることが理解されよう。

周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び／又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。

図１４は、本技術に従った映像処理の方法１４００を示すフローチャートである。この方法１４００は、動作１４１０において、映像の現在のブロックとこの映像のビットストリーム表現の間での変換のために、現在のブロックにおける画素とこの画素に近傍の画素との間の差の重み付け平均にクリッピング演算を適用することを含む。方法１４００は、ステップ１４２０において、クリッピング演算の出力に基づいて変換を行うことを含む。

いくつかの実施形態において、前記クリッピング演算は、

として適用され、式中、Ｉ（ｘ，ｙ）は、現在のブロックの（ｘ，ｙ）番目の画素であり、Ｏ（ｘ，ｙ）は（ｘ，ｙ）番目の画素の出力値であり、ｗ（ｉ，ｊ）は、重み係数であり、Ｋ（・）は、クリッピング演算である。いくつかの実施形態において、クリッピング演算の１つ以上のパラメータは、シーケンスパラメータセット（ＳＰＳ）、映像パラメータセット（ＶＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、符号化ツリーユニット（ＣＴＵ）行またはＣＴＵ領域において信号通知される。いくつかの実施形態において、クリッピング演算の１つ以上のパラメータはオンザフライで導出される。いくつかの実施形態において、クリッピング演算の１つ以上のパラメータは、現在の映像ブロックの量子化パラメータ、１つ以上の再整形パラメータ、タイルグループのタイプ又は符号化モードに基づいて導出される。

図１５は、本技術にしたがった映像処理方法１５００を示すフローチャートである。この方法１５００は、動作１５１０において、映像の現在のブロックとこの映像のビットストリーム表現の間での変換のために、この現在のブロックの近傍の画素のセットに基づいてフィルタリング処理を構成することを含む。この方法１５００は、動作１５２０において、フィルタリング処理に基づいてこの変換を行い、このフィルタリング処理の出力を行うことも含む。

いくつかの実施形態において、前記フィルタ処理は、現在のブロックの近傍の画素のセットに基づいて一次元フィルタリング動作を実行することを含む。いくつかの実施形態において、一次元フィルタリング動作は非線形適応ループフィルタリング方法を含む。

いくつかの実施形態において、前記近傍の画素のセットは前記現在のブロックの水平近傍の画素を含む。いくつかの実施形態において、前記フィルタリング処理は、

を含み、式中、Ｉ（ｘ，ｙ）は現在のブロックの（ｘ，ｙ）番目の画素であり、Ｏ（ｘ，ｙ）は（ｘ，ｙ）番目の画素の出力値であり、ｗ（ｉ，ｊ）は重み係数であり、Ｔは前記フィルタリング処理に使用されるべき画素の数を表し、ｗ（ｓｉ）はＴに対応するフィルタ係数を表す。本実施例において、前記フィルタリング処理は、

を含み、式中、Ｉ（ｘ，ｙ）は現在のブロックの（ｘ，ｙ）番目の画素であり、Ｏ（ｘ，ｙ）は（ｘ，ｙ）番目の画素の出力値であり、ｗ（ｉ，ｊ）は、重み係数であり、Ｋ（・）は、クリッピング演算であり、Ｔは、フィルタリング処理に使用する画素数を洗割り、ｗｓ（ｓｉ）は、Ｔに対応するフィルタリング係数を表し、ｋ（ｉ，ｊ）は、クリッピングパラメータを表す。

いくつかの実施形態において、前記近傍の画素のセットは前記現在のブロックの垂直近傍の画素を含む。いくつかの実施形態において、前記フィルタリング処理は、

を含み、式中、Ｉ（ｘ，ｙ）は現在のブロックの（ｘ，ｙ）番目の画素であり、Ｏ（ｘ，ｙ）は（ｘ，ｙ）番目の画素の出力値であり、ｗ（ｉ，ｊ）は重み係数であり、Ｔは前記フィルタリング処理に使用されるべき画素の数を表し、ｗ（ｓｉ）はＴに対応するフィルタ係数を表す。本実施例において、前記フィルタリング処理は、

を含み、式中、Ｉ（ｘ，ｙ）は現在のブロックの（ｘ，ｙ）番目の画素であり、Ｏ（ｘ，ｙ）は（ｘ，ｙ）番目の画素の出力値であり、ｗ（ｉ，ｊ）は、重み係数であり、Ｋ（・）は、クリッピング演算であり、Ｔは、フィルタリング処理に使用する画素数を洗割り、ｗｓ（ｓｉ）は、Ｔに対応するフィルタリング係数を表し、ｋ（ｉ，ｊ）は、クリッピングパラメータを表す。

いくつかの実施形態において、Ｔは現在のブロックの異なる画素ごとに変化する。いくつかの実施形態において、現在のブロックの（ｘ，ｙ）番目の画素が現在のブロックの境界に位置する場合、前記フィルタリング処理に使用される画素Ｔの数は現在のブロックの外側に位置する画素を除外する。いくつかの実施形態において、ｗｓ（ｋ）は現在のブロックの異なる画素ごとに異なる。いくつかの実施形態において、ｗｓ（ｋ）は現在のブロックの異なる画素に対して同じである。いくつかの実施形態において、ｗｓ（ｋ）はビットストリーム表現で信号通知される。いくつかの実施形態において、ｗｓ（ｋ）は予め規定される。

いくつかの実施形態において、一次元フィルタリング動作は水平方向又は垂直方向にフィルタリングをすることを排除する。

いくつかの実施形態において、このフィルタ処理は、異なる方向に沿って１つのフィルタを適用することを含む。いくつかの実施形態において、前記フィルタは、バイラテラルフィルタ又はアダマールフィルタを含む。いくつかの実施形態において、前記フィルタは、現在のブロックに関連付けられた勾配情報に基づいて異なる方向に適用される。いくつかの実施形態において、前記方法は、現在のブロックにおける１つのサブブロックに対して、前記サブブロックにおける画素の水平方向勾配及び垂直方向勾配を判定することと、水平方向勾配の絶対値の合計が垂直方向勾配の絶対値の合計より大きい又は等しい場合、前記サブブロックに対して前記フィルタを水平に適用することとを含む。いくつかの実施形態において、前記方法は、現在のブロックにおける１つのサブブロックに対して、前記サブブロックにおける画素の水平方向勾配及び垂直方向勾配を決定することと、水平方向勾配の絶対値の合計が垂直方向勾配の絶対値の合計より大きい又は等しい場合、前記フィルタを前記サブブロックに垂直に適用することとを含む。いくつかの実施形態において、前記方法は、現在のブロックにおける１つのサブブロックに対して、前記サブブロックにおける画素の水平方向勾配及び垂直方向勾配を決定することと、水平方向勾配の絶対値の合計が垂直方向勾配の絶対値の合計以下の場合、前記フィルタを前記サブブロックに水平に適用することとを含む。いくつかの実施形態において、前記方法は、現在のブロックにおける１つのサブブロックに対して、前記サブブロックにおける画素の水平方向勾配及び垂直方向勾配を決定することと、水平方向勾配の絶対値の合計が垂直方向勾配の絶対値の合計以下の場合、前記フィルタを前記サブブロックに垂直に適用することとを含む。いくつかの実施形態において、前記方法は、現在のブロックにおける１つのサブブロックに対して、前記サブブロックにおける画素の水平方向勾配、垂直方向勾配、４５°の対角勾配及び１３５°の対角勾配を決定することと、判定された水平方向勾配、垂直方向勾配、４５°の対角勾配及び１３５°の対角勾配に基づいて、絶対勾配の最大合計を有する方向に沿って前記フィルタを前記サブブロックに適用することとを含む。いくつかの実施形態において、前記方法は、現在のブロックにおける１つのサブブロックに対して、前記サブブロックにおける画素の水平方向勾配、垂直方向勾配、４５°の対角勾配及び１３５°の対角勾配を決定することと、判定された水平方向勾配、垂直方向勾配、４５°の対角勾配及び１３５°の対角勾配に基づいて、絶対勾配の最小合計を有する方向に沿って前記フィルタを前記サブブロックに適用することとを含む。

いくつかの実施形態において、前記フィルタリング処理が現在のブロックに適用可能であるかどうかは、現在のブロックのカラーフォーマットに基づく。いくつかの実施形態において、前記フィルタリング処理は現在のブロックの単一色成分に適用されてもよい。いくつかの実施形態において、前記単一色成分は、輝度色成分又は緑色成分である。いくつかの実施形態において、現在のブロックのカラーフォーマットが４：４：４カラーフォーマットであるとき、前記フィルタリング処理は現在のブロックのすべての色成分に適用可能である。

図１６は、本技術にしたがった映像処理方法１６００を示すフローチャートである。この方法１６００は、動作１６１０において、映像の１つのブロックとこの映像の１つのビットストリーム表現との間での変換のために、このブロックにおける１つの予測サンプルのための１つの微調整値を、クリッピング演算を微調整値に適用することによって修正することを含む。オプティカルフロー符号化処理の勾配値に基づいて、微調整値を導出する。クリッピング演算の出力が範囲内にある。方法１６００は、動作１６２０において、修正された微調整値に基づいて予測サンプルを微調整することを含む。方法１６００は、動作１６３０において、微調整された予測サンプルに基づいて変換を行うことをさらに含む。

いくつかの実施形態において、オプティカルフロー符号化処理は、オプティカルフロー処理による予測微調整を含む。いくつかの実施形態において、オプティカルフロー符号化処理は、双方向オプティカルフロー処理を含む。

いくつかの実施形態において、前記範囲は前記サンプルの入力ビット深度に基づいて判定される。いくつかの実施形態において、この範囲は、サンプルの空間的勾配又は時間的勾配に基づいて可変である。いくつかの実施形態において、前記範囲は［ｍｉｎ，ｍａｘ］であり、ｍｉｎは０より小さく、ｍａｘは０より大きい。いくつかの実施形態において、この範囲は、サンプルに関連付けられた中間サンプルを生成するための補間フィルタに基づく。いくつかの実施形態において、範囲はビットストリーム表現で信号通知される。いくつかの実施形態において、範囲は予め規定される。

いくつかの実施形態において、前記クリッピング演算の出力に基づいて前記サンプルの最終再構成値を判定定する。いくつかの実施形態において、サンプルの修正された予測値に基づいて、サンプルの最終再構成値を判定する。いくつかの実施形態において、前記ブロックはアフィン動きで符号化される。いくつかの実施形態において、微調整値は、ブロックにおける複数のサンプルの各々に対して導出される。

図１７は、本技術にしたがった映像処理方法１７００を示すフローチャートである。この方法１７００は、動作１７１０において、オプティカルフロー符号化処理において、映像のブロックと映像のビットストリーム表現との間での変換のために、勾配値を修正することを含む。この方法１７００は、また、動作１７２０において、この変換のために、この修正された勾配値に基づいてサブシーケンス予測演算を実行することを含む。いくつかの実施形態において、オプティカルフロー符号化処理は、オプティカルフロー処理または双方向オプティカルフロー処理による予測微調整を含む。いくつかの実施形態において、後続の予測動作は、サンプル微調整動作又は動きベクトルオフセット導出動作を含む。

いくつかの実施形態において、前記勾配値を修正することは、前記勾配値に対してクリッピング演算を行うことを含み、前記クリッピング演算の出力はある範囲内にある。いくつかの実施形態において、この範囲は、この勾配が予測サンプルの空間的勾配であるか又は時間的勾配であるかどうかに基づいて可変である。いくつかの実施形態において、前記範囲は［ｍｉｎ，ｍａｘ］であり、ｍｉｎは０より小さく、ｍａｘは０より大きい。いくつかの実施形態において、前記範囲は前記サンプルの入力ビット深度に基づいて判定される。いくつかの実施形態において、この範囲は、サンプルに関連付けられた中間サンプルを生成するための補間フィルタに基づく。いくつかの実施形態において、範囲はビットストリーム表現で信号通知される。いくつかの実施形態において、範囲は予め規定される。いくつかの実施形態において、勾配値を修正することは、勾配値に非線形関数を適用することを含む。いくつかの実施形態において、前記非線形関数はロジスティックＳ字関数を含む。

いくつかの実施形態において、前記ブロックはアフィン動きで符号化される。いくつかの実施形態において、勾配値は、ブロックにおける複数のサンプルの各々に対して導出される。

いくつかの実施形態において、クリッピング演算の１つ以上のパラメータは、シーケンスパラメータセット（ＳＰＳ）、映像パラメータセット（ＶＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、符号化ツリーユニット（ＣＴＵ）行またはＣＴＵ領域において信号通知される。いくつかの実施形態において、クリッピング演算の１つ以上のパラメータはオンザフライで導出される。いくつかの実施形態において、クリッピング演算の１つ以上のパラメータは、現在の映像ブロックの量子化パラメータ、１つ以上の再整形パラメータ、タイルグループのタイプ又は符号化モードに基づいて導出される。

いくつかの実施形態において、前記修正することが現在のブロックに適用可能であるかどうかは、現在のブロックのカラーフォーマットに基づく。いくつかの実施形態において、前記修正することは現在のブロックの単一色成分に適用されてもよい。いくつかの実施形態において、前記単一色成分は、輝度色成分又は緑色成分である。いくつかの実施形態において、現在のブロックのカラーフォーマットが４：４：４カラーフォーマットであるとき、前記修正することは現在のブロックのすべての色成分に適用されてもよい。

いくつかの実施形態において、オプティカルフロー符号化処理は、ブロック内の動きをオプティカルフローとしてモデル化する処理である。

いくつかの実施形態において、前記変換を行うことは、映像の現在のブロックに基づいてビットストリーム表現を生成することを含む。いくつかの実施形態において、変換を行うことは、ビットストリーム表現から映像の現在のブロックを生成することを含む。

開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、１つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。

開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知って、ビットストリームを処理する。

本明細書では、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現（または符号化表現）への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換および符号化された誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべきであるか、又は含まれないべきであるかを判定し、構文フィールドを符号化表現に含めるか、又は符号化表現から除外することによって、それに応じて符号化表現を生成してもよい。

以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。

本特許明細書に記載された主題および機能操作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、様々なシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。本明細書に記載された主題の実装形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行されるため、又はデータ処理装置の操作を制御するために、有形で非可搬性のコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、又はこれらの１つ以上の組み合わせであってもよい。“データ処理ユニット”又は“データ処理装置”という用語は、例えば、プログラマブル処理装置、コンピュータ、又は複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス等の半導体メモリデバイスを含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本明細書は、図面とともに、例示のみを目的とするものであり、例示的とは例を意味することが意図される。本明細書で使用される場合、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈からそうでないことが明確に示されていない限り、複数形も含むことが意図される。さらに、文脈からそうでないことが明確に示されていない限り、「または」の使用は、「および／または」を含むことが意図される。

本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲又は特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の文脈で説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

（関連出願の相互参照）
本願は、２０１９年４月２日出願の国際特許出願第ＰＣＴ／ＣＮ２０１９／０８０９１４号の優先権と利益を主張する、２０２０年４月２日出願の国際特許出願第ＰＣＴ／ＣＮ２０２０／０８２９４１号の国内段階である。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

Claims (39)

1. 映像処理方法であって、
   映像のブロックと前記映像のビットストリーム表現との間での変換のために、前記ブロックにおける予測サンプルのための微調整値を、クリッピング演算を微調整値に適用することによって修正することと、ここで、前記微調整値は、オプティカルフロー符号化処理の勾配値に基づいて導出され、前記クリッピング演算の出力はある範囲内であり、
   修正された前記微調整値に基づいて前記予測サンプルを微調整することと、
   微調整された前記予測サンプルに基づいて前記変換を行うことと、を含む、
   方法。
2. 前記オプティカルフロー符号化処理は、オプティカルフロー処理による予測微調整を含む、請求項１に記載の方法。
3. 前記オプティカルフロー符号化処理は、双方向オプティカルフロー処理を含む、請求項１に記載の方法。
4. 前記範囲は、サンプルの入力ビット深度に基づいて判定される、請求項１～３のいずれか１項に記載の方法。
5. 前記範囲は、サンプルの空間的勾配又は時間的勾配に基づいて可変である、請求項１～３のいずれか１項に記載の方法。
6. 前記範囲は、［ｍｉｎ，ｍａｘ］であり、ｍｉｎが０より小さく、ｍａｘが０よりも大きい、請求項１～３のいずれか１項に記載の方法。
7. 前記範囲は、サンプルに関連付けられた中間サンプルを生成するための補間フィルタに基づく、請求項１～３のいずれか１項に記載の方法。
8. 前記範囲は、前記ビットストリーム表現で信号通知される、請求項１～３のいずれか１項に記載の方法。
9. 前記範囲は、予め規定されている、請求項１～３のいずれか１項に記載の方法。
10. 前記クリッピング演算の前記出力に基づいて、サンプルの最終再構成値を判定する、請求項１～９のいずれか１項に記載の方法。
11. 前記サンプルの修正された予測値に基づいて、サンプルの最終再構成値を判定する、請求項１～９のいずれか１項に記載の方法。
12. 前記ブロックは、アフィン動きで符号化される、請求項１～１１のいずれか１項に記載の方法。
13. 前記微調整値は、前記ブロックにおける複数のサンプルの各々に対して導出される、請求項１～１２のいずれか１項に記載の方法。
14. 映像のブロックと前記映像のビットストリーム表現との間での変換のために、オプティカルフロー符号化処理における勾配値を修正することと、
    前記変換のための修正された前記勾配値に基づいてサブシーケンス予測演算を行うことと、を含む、
    映像処理方法。
15. 前記オプティカルフロー符号化処理は、オプティカルフロー処理又は双方向オプティカルフロー処理による予測微調整を含む、請求項１４に記載の方法。
16. 前記サブシーケンス予測演算は、サンプル微調整演算又は動きベクトルオフセット導出演算を含む、請求項１４又は１５に記載の方法。
17. 前記勾配値を修正することは、前記勾配値にクリッピング演算を適用することを含み、前記クリッピング演算の出力は、ある範囲内にある、請求項１４～１６のいずれか１項に記載の方法。
18. 前記勾配値が予測サンプルの空間的勾配であるか又は時間的勾配であるかどうかに基づいて、前記範囲は可変である、請求項１７に記載の方法。
19. 前記範囲は、［ｍｉｎ，ｍａｘ］であり、ｍｉｎが０より小さく、ｍａｘが０よりも大きい、請求項１７に記載の方法。
20. 前記範囲は、サンプルの入力ビット深度に基づいて判定される、請求項１７に記載の方法。
21. 前記範囲は、サンプルに関連付けられた中間サンプルを生成するための補間フィルタに基づく、請求項１７に記載の方法。
22. 前記範囲は、前記ビットストリーム表現において信号通知される、請求項１７に記載の方法。
23. 前記範囲は、予め規定されている、請求項１７に記載の方法。
24. 前記勾配値を修正することは、前記勾配値に非線形関数を適用することを含む、請求項１４～１６のいずれか１項に記載の方法。
25. 前記非線形関数は、ロジスティックＳ字関数を含む、請求項２４に記載の方法。
26. 前記ブロックは、アフィン動きで符号化される、請求項１４～２５のいずれか１項に記載の方法。
27. 前記勾配値は、前記ブロックにおける複数のサンプルの各々について導出される、請求項１４～２６のいずれか１項に記載の方法。
28. 前記クリッピング演算の１つ以上のパラメータは、シーケンスパラメータセット（ＳＰＳ）、映像パラメータセット（ＶＰＳ）、ピクチャパラメータセット（ＰＰＳ）、タイルグループヘッダ、符号化ツリーユニット（ＣＴＵ）行またはＣＴＵ領域において信号通知される、請求項１～１３および１７～２３のいずれか１項に記載の方法。
29. 前記クリッピング演算の１つ以上のパラメータがオンザフライで導出される、請求項１～１３および１７～２３のいずれか１項に記載の方法。
30. 前記クリッピング演算の１つ以上のパラメータは、現在の映像ブロックの１つ以上の量子化パラメータ、１つ以上の再整形パラメータ、タイルグループのタイプ又は符号化モードに基づいて導出される、請求項１～１３および１７～２３のいずれか１項に記載の方法。
31. 前記修正することが現在の前記ブロックに適用可能であるかどうかは、現在の前記ブロックのカラーフォーマットに基づく、請求項１～３０のいずれか１項に記載の方法。
32. 前記修正することは前記現在のブロックの単一色成分に適用できる、請求項３１に記載の方法。
33. 前記単一色成分は、輝度色成分又は緑色成分である、請求項３２に記載の方法。
34. 前記現在のブロックの前記カラーフォーマットが４：４：４カラーフォーマットであるとき、前記修正することは前記現在のブロックのすべての色成分に適用できる、請求項３１に記載の方法。
35. 前記変換を行うことは前記映像の現在の前記ブロックに基づいて前記ビットストリーム表現を生成することを含む、請求項１～３４のいずれか１項に記載の方法。
36. 前記変換を行うことは、前記ビットストリーム表現から前記映像の現在の前記ブロックを生成することを含む、請求項１～３４のいずれか１項に記載の方法。
37. 前記オプティカルフロー符号化処理は、前記ブロック内の動きをオプティカルフローとしてモデル化する処理である、請求項１～３６のいずれか１項に記載の方法。
38. 処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置であって、命令が処理装置によって実装されることにより、処理装置に、請求項１～３７のいずれか１項に記載の方法を実施させる映像システムの装置。
39. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、請求項１～３７のいずれか１項に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。

Images