JP2022506161A - 精緻化を伴うインター予測のための補間 - Google Patents

Abstract

精緻化を伴うインター予測を含む、デジタル・映像符号化のためのデバイス、システム、および方法が記述されている。例示的な映像処理の方法は、映像の現在のブロックとその映像のビットストリーム表現の間における変換のために、第１の符号化モードを使用する変換のための第１の線形最適化モデルの使用を決定することであって、第１の線形最適化モデルは、第２の符号化モードを使用する変換のために使用される第２の線形最適化モデルから導出される、ことと、その決定に基づいて変換を実行することと、を含む。別の例示的な映像処理の方法は、映像の現在のブロックとその映像のビットストリーム表現の間における変換のために、双方向オプティカルフローのツールのための勾配値計算アルゴリズムの使用を決定することと、その決定に基づいてその変換を実行することと、を含む。【選択図】図２８Ａ

Description

（関連出願の相互参照）
パリ条約に基づいて適用可能な特許法および／または規則の下に、この出願は、２０１８年１１月５日に提出された国際特許出願第ＰＣＴ／ＣＮ２０１８／１１３９２８号の優先権および恩典を主張して適時になされる。米国の法律の下におけるすべての目的のために、上記の出願の完全な開示は、参照により、この出願の開示の一部として援用される。

この特許書類は、映像符号化技術、デバイス、およびシステムに関する。

映像圧縮における進歩にもかかわらず、デジタル映像は、未だに、インターネットおよびそのほかのデジタル通信ネットワークにおいてもっとも大きな帯域幅使用を占めている。映像を受信し、表示する能力のあるユーザデバイスの接続数が増加することから、デジタル映像使用のための帯域幅需要が伸び続けることが予想される。

デジタル映像符号化、特に、映像符号化のための線形モード予測の調和に関係するデバイス、システム、および方法。記述されている方法は、既存の映像符号化規格（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｃｏｄｉｎｇ））および将来的な映像符号化規格または映像コーデックの両方に適用できる。

１つの代表的な側面において、開示されている技術は、映像処理の方法の提供に使用することができる。この方法は、映像の現在のブロックとその映像のビットストリーム表現の間における変換のために、第１の符号化モードを使用する変換のための第１の線形最適化モデルの使用を決定することであって、第２の符号化モードを使用する変換のために使用される第２の線形最適化モデルから導出される第１の線形最適化モデルの使用を決定することと、その決定に基づいて変換を実行することと、を含む。

別の代表的な側面においては、開示されている技術は、映像処理の方法を提供するべく使用することができる。この方法は、映像の現在のブロックのピクチャに関連付けされた１つまたは複数のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）パラメータに基づいて、オプティカルフローを使用する符号化モードである第１の予測モード、またはその第１の予測モードとは異なる第２の予測モードのうちのいずれかを有効化することと、第１のモードまたは第２のモードに基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を含む。

さらに別の代表的な側面においては、開示されている技術は、映像処理の方法を提供するべく使用することができる。この方法は、映像の現在のブロックに関連付けされている符号化済み情報に基づいて、その現在のブロックの参照ピクチャに関連付けされる１つまたは複数の速度ベクトル（ｖ_ｘ，ｖ_ｙ）を連続的に導出することと、その１つまたは複数の速度ベクトルに基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を含み、符号化済み情報は、現在のブロックの動きベクトルの水平成分の値、現在のブロックの動きベクトルの垂直成分の値、または現在のブロックのサイズを有する。

さらに別の代表的な側面においては、開示されている技術は、映像処理の方法を提供するべく使用することができる。この方法は、映像の現在のブロックのためにオプティカルフローを使用する符号化モードが有効化されたとの決定時に、その現在のブロックの各色成分のために単一タイプの補間フィルタを使用するフィルタリング動作を実行することと、そのフィルタリング工程に基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を含む。

さらに別の代表的な側面においては、開示されている技術は、映像処理の方法を提供するべく使用することができる。この方法は、映像の現在のブロックのためにオプティカルフローを使用する符号化モードが有効化されたとの決定時に、その現在のブロックの各色成分のために単一タイプの補間フィルタを使用するフィルタリング工程を実行することと、現在のブロックの少なくとも１つのサンプルが所定の範囲の外側に位置するとの決定時に、パディング工程を実行することと、これらのフィルタリング工程およびパディング工程に基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を含む。

さらに別の代表的な側面においては、開示されている技術は、映像処理の方法を提供するべく使用することができる。この方法は、映像の現在のブロックとその映像のビットストリーム表現の間における変換のために、オプティカルフローのツールのための勾配値計算アルゴリズムの使用を決定することと、その決定に基づいてその変換を実行することと、を含む。

さらに別の代表的な側面においては、開示されている技術は、映像処理の方法を提供するべく使用することができる。この方法は、映像の現在のブロックのサブブロックについての１つまたは複数の差分絶対値和（ＳＡＤ）の計算に基づいて、その現在のブロックのためにオプティカルフローを使用する符号化モードの選択的使用可能性に関する判定を行うことと、その判定に基づいて、現在のブロックとその現在のブロックのビットストリーム表現の間における変換を実行することと、を含む。

さらに別の代表的な側面においては、開示されている技術は、映像処理の方法を提供するべく使用することができる。この方法は、映像の現在のブロックのためのＧＢｉ（Ｇｅｎｅｒａｌｉｚｅｄ Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｉｍｐｒｏｖｅｍｅｎｔ）処理の選択的使用可能性に基づいて、その現在のブロックのためにオプティカルフローを使用する符号化モードの１つまたは複数のパラメータを導出することと、オプティカルフローを使用する符号化モードの１つまたは複数のパラメータに基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を含む。

さらに別の代表的な側面においては、開示されている技術は、映像処理の方法を提供するべく使用することができる。この方法は、オプティカルフローを使用する符号化モードを用いて符号化された映像の現在のブロックのために、オプティカルフローを使用する符号化モードの最終予測出力に対してクリッピング工程を実行することと、その最終予測出力に基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を含む。

さらに別の代表的な側面においては、上に述べられている方法が、プロセッサ実行可能コードの形式で具体化され、コンピュータ可読プログラム媒体内に格納される。

さらに別の代表的な側面においては、上に述べられている方法を実施するべく構成されるか、または動作可能なデバイスが開示されている。このデバイスは、この方法を実装するべくプログラムされるプロセッサを含むことができる。

さらに別の代表的な側面においては、映像デコーダ装置が、この中に述べられている方法を実装することができる。

これらの、またそのほかの、開示されている技術の側面および特徴は、より詳しく、図面、説明、および特許請求の範囲の中に記述されている。

マージ候補リストを構築する例を示したブロック図である。 空間的候補の位置の例を示した説明図である。 空間的マージ候補の冗長性チェックを受ける候補ペアの例を示した説明図である。 現在のブロックのサイズおよび形状に基づく第２の予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）の位置の例を示した説明図である。 現在のブロックのサイズおよび形状に基づく第２の予測ユニット（ＰＵ）の位置の例を示した説明図である。 時間的マージ候補のための動きベクトルスケーリングの例を示した説明図である。 時間的マージ候補のための候補位置の例を示した説明図である。 結合双方向予測マージ候補を生成する例を示した説明図である。 動きベクトル予測候補を構築する例を示した説明図である。 空間的動きベクトル候補のための動きベクトルスケーリングの例を示した説明図である。 符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）のためのＡＴＭＶＰ（Ａｌｔｅｒｎａｔｉｖｅ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）アルゴリズムを使用する動き予測の例を示した説明図である。 ＳＴＭＶＰ（Ｓｐａｔｉａｌ－Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）アルゴリズムによって使用されるサブブロックおよび近傍ブロックを伴う符号化ユニット（ＣＵ）の例を示した説明図である。 ＯＢＭＣ（Ｏｖｅｒｌａｐｐｅｄ Ｂｌｏｃｋ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）アルゴリズムを使用するサブブロックのスナップショットの例を示した説明図である。 ＯＢＭＣアルゴリズムを使用するサブブロックのスナップショットの例を示した説明図である。 ＬＩＣ（Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）アルゴリズムのためのパラメータの導出に使用される近傍サンプルの例を示した説明図である。 単純化したアフィン動きモデルの例を示した説明図である。 サブブロック毎のアフィンＭＶＦ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ）の例を示した説明図である。 ＡＦ＿ＩＮＴＥＲアフィン動きモードのためのＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）の例を示した説明図である。 ＡＦ＿ＭＥＲＧＥアフィン動きモードのための候補の例を示した説明図である。 ＡＦ＿ＭＥＲＧＥアフィン動きモードのための候補の例を示した説明図である。 ＦＲＵＣ（Ｆｒａｍｅ－Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ）アルゴリズムに基づく特殊マージモードであるＰＭＭＶＤ（Ｐａｔｔｅｒｎ Ｍａｔｃｈｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｅｒｉｖａｔｉｏｎ）モードにおけるバイラテラルマッチングの例を示した説明図である。 ＦＲＵＣアルゴリズムにおけるテンプレートマッチングの例を示した説明図である。 ＦＲＵＣアルゴリズムにおけるユニラテラル動き推定の例を示した説明図である。 ＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）アルゴリズムによって使用されるオプティカルフローの軌跡の例を示した説明図である。 ブロック拡張を伴わないＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）アルゴリズムの使用のスナップショットの例を示した説明図である。 ブロック拡張を伴わないＢＤＯＦアルゴリズムの使用のスナップショットの例を示した説明図である。 ＢＤＯＦにおいて使用される補間済みサンプルの例を示した説明図である。 バイラテラルテンプレートマッチングに基づくＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）アルゴリズムの例を示した説明図である。 線形予測モードにおける線形モデル（αおよびβ）のパラメータの導出のために使用されるサンプルの位置の例を示した説明図である。 最大と最小の輝度値の間の直線（線形モデルを表す）の例を示した説明図である。 ＢＤＯＦにおいて使用される補間済みサンプルの別の例を示した説明図である。 映像処理のための方法の例を示したフローチャートである。 映像処理のための方法の例を示したフローチャートである。 映像処理のための方法の例を示したフローチャートである。 映像処理のための方法の例を示したフローチャートである。 映像処理のための方法の例を示したフローチャートである。 映像処理のための方法の例を示したフローチャートである。 映像処理のための方法の例を示したフローチャートである。 映像処理のための方法の例を示したフローチャートである。 映像処理のための方法の例を示したフローチャートである。 この書類にて記述されているビジュアルメディア復号化またはビジュアルメディア符号化技術を実装するためのハードウエアプラットフォームの例を示したブロック図である。 開示されている技術を実装できる映像処理システムの例を示したブロック図である。

より高い解像度の映像への増加する需要に起因して、近代技術の至る所に映像符号化方法および技術が姿を現わしている。映像コーデックは、通常、デジタル映像を圧縮または圧縮解除する電子回路またはソフトウエアを含み、より高い符号化効率を提供するべく絶えず改良されている。映像コーデックは、圧縮されていない映像を圧縮されたフォーマットに変換するか、またはその逆を行う。映像品質、（ビットレートによって決定される）映像を表現するために使用されるデータの量、符号化および復号化のアルゴリズムの複雑性、データの喪失およびエラーに対する敏感度、編集の容易性、ランダムアクセス、およびエンド・トゥ・エンド遅延（待ち時間）の間には複雑な関係が存在する。圧縮フォーマットは、通常、標準映像圧縮仕様、例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格（Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られる）、確立された最終化が予定されているＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格、またはその他の、現行および／または将来的な映像符号化規格に従う。

開示されている技術の実施形態は、既存の映像符号化規格（例えば、ＨＥＶＣ、Ｈ．２６５）および将来的な規格に適用され、圧縮パフォーマンスを向上させることができる。この書類においては、記述の読みやすさを向上させるためにセクションの見出しが使用されているが、いかなる形においてもここでの議論または実施形態（および／または、実装）がそれぞれのセクションのみに限定されることはない。

１．ＨＥＶＣ／Ｈ．２６５におけるインター予測の例
映像符号化規格は、ここ数年にわたって有意に改良され、現在は、より高い解像度のためのサポートおよび高い符号化効率がある程度提供されている。ＨＥＶＣおよびＨ．２６５等の最近の規格は、ハイブリッド映像符号化構造に基づいており、それにおいては、時間的予測に変換符号化がプラスされて利用されている。

１．１ 予測モードの例
それぞれのインター予測されたＰＵ（予測ユニット：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）は、１つまたは２つの参照ピクチャリストのための動きパラメータを有する。いくつかの実施形態においては、動きパラメータが、動きベクトルおよび参照ピクチャインデックスを含む。ほかの実施形態においては、２つの参照ピクチャリストのうちの１つの使用もまた、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃを使用してシグナリングしてよい。さらにほかの実施形態においては、動きベクトルが、予測因子に関する差分として明示的に符号化されてよい。

スキップモードを用いてＣＵが符号化されるとき、１つのＰＵがＣＵと関連付けされ、有意な残余の係数、符号化された動きベクトル差分、または参照ピクチャインデックスが存在しない。マージモードが指定され、それによって、現在のＰＵのための動きパラメータが、空間的および時間的候補を含めて近傍のＰＵから獲得される。マージモードは、スキップモードだけでなく、任意のインター予測されたＰＵに適用することが可能である。マージモードに対する代替は、動きパラメータの明示的な送信であり、それにおいては、各参照ピクチャリストのための参照ピクチャインデックスおよび参照ピクチャリスト使用に対応する動きベクトルが、それぞれのＰＵ毎に明示的にシグナリングされる。

シグナリングが、２つの参照ピクチャリストのうちの１つが使用されることになる旨を示しているとき、サンプルの１つのブロックからＰＵが生成される。これは、『単方向予測』と呼ばれる。単方向予測は、ＰスライスおよびＢスライスの両方のために利用可能である。

シグナリングが、参照ピクチャリストの両方が使用されることになる旨を示しているとき、サンプルの２つのブロックからＰＵが生成される。これは、『双方向予測』と呼ばれる。双方向予測は、Ｂスライスのみのために利用可能である。

１．１．１ マージモードのための候補を構築する実施形態
マージモードを使用してＰＵが予測されるとき、マージ候補リスト内のエントリを指し示すインデックスがビットストリームから構文解析され、かつ使用されて動き情報が取り出される。このリストの構築を、以下のステップのシーケンスにあるように要約することが可能である：

ステップ１：初期候補の導出
ステップ１．１：空間的候補の導出
ステップ１．２：空間的候補のための冗長性チェック
ステップ１．３：時間的候補の導出
ステップ２：追加の候補の挿入
ステップ２．１：双方向予測候補の作成
ステップ２．２：ゼロ動き候補の挿入

図１は、上に要約されているステップのシーケンスに基づいてマージ候補リストを構築する例を示している。空間的マージ候補の導出のために、５つの異なる位置に位置する候補の中から最大で４つのマージ候補が選択される。時間的マージ候補の導出のために、２つの候補の中から最大で１つのマージ候補が選択される。デコーダにおいては、それぞれのＰＵについて一定数の候補が仮定されることから、候補の数が、スライスヘッダの中でシグナリングされたマージ候補の最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）に到達しないときは、追加の候補が生成される。候補の数が一定であることから、最良マージ候補のインデックスが、ＴＵ（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ ｂｉｎａｒｉｚａｔｉｏｎ）を使用して符号化される。ＣＵのサイズが８に等しい場合には、現在のＣＵのすべてのＰＵが、２Ｎ×２Ｎの予測ユニットのマージ候補リストと同一の単一のマージ候補リストを共有する。

１．１．２ 空間的マージ候補の構築
空間的マージ候補の導出においては、図２に図示されている位置に位置する候補の中から最大で４つのマージ候補が選択される。導出の順序は、Ａ_１、Ｂ_１、Ｂ_０、Ａ_０、およびＢ_２である。位置Ｂ_２は、位置Ａ_１、Ｂ_１、Ｂ_０、およびＡ_０のいずれのＰＵも（例えば、別のスライスまたはタイルに属しているために）利用可能でないか、またはイントラ符号化されているときにのみ考慮される。位置Ａ_１の候補が追加された後は、符号化効率が向上するように、残りの候補の追加が、同一の動き情報を伴う候補がリストから除外されることを保証する冗長性チェックの対象となる。

計算の複雑性を低減するために、可能性のある候補のペアのすべてが、上に述べられている冗長性チェックにおいて考慮されるわけではない。それに代えて、図３の矢印によりリンクされるペアのみが考慮され、冗長性チェックのために使用される対応する候補が同一の動き情報を有していない場合にのみ、リストに候補が追加される。重複する動き情報の別のソースは、２Ｎ×２Ｎとは異なるパーティションと関連付けされる『第２のＰＵ』である。例として述べるが、図４Ａおよび図４Ｂは、それぞれＮ×２Ｎおよび２Ｎ×Ｎの場合の第２のＰＵを図示している。現在のＰＵがＮ×２Ｎとして分割されているとき、位置Ａ_１における候補は、リスト構築のために考慮されない。いくつかの実施態様においては、この候補の追加が同一の動き情報を有する２つの予測ユニットを導く可能性があり、これは、符号化ユニット内にＰＵを１つだけ有することに対する冗長である。同様に、２Ｎ×Ｎとして現在のＰＵが分割されているときには、位置Ｂ_１が考慮されない。

１．１．３ 時間的マージ候補の構築
このステップにおいては、リストに候補が１つだけ追加される。特に、この時間的マージ候補の導出においては、スケーリングされた動きベクトルが、与えられた参照ピクチャリスト内において現在のピクチャと最小のＰＯＣ差分を有するピクチャに属する同一位置のＰＵ（ｃｏ－ｌｏｃａｔｅｄ ＰＵ）に基づいて導出される。その同一位置のＰＵの導出のために使用されるべき参照ピクチャリストは、スライスヘッダの中で明示的にシグナリングされる。

図５は、時間的マージ候補のためのスケーリングされた動きベクトル（破線として示されている）の導出の例を示しており、同一位置のＰＵの動きベクトルからＰＯＣ距離ｔｂおよびｔｄを使用してスケーリングされ、ｔｂは、現在のピクチャの参照ピクチャと現在のピクチャの間におけるＰＯＣ差分として定義され、ｔｄは、同一位置のピクチャの参照ピクチャと当該同一位置のピクチャの間におけるＰＯＣ差分として定義される。時間的マージ候補の参照ピクチャインデックスは、ゼロに等しく設定される。Ｂスライスについては、一方は参照ピクチャリスト０のためとし、他方は参照ピクチャリスト１のためとする２つの動きベクトルが取得され、組み合わされて双方向予測マージ候補が作られる。

参照フレームに属する同一位置のＰＵ（Ｙ）においては、時間的候補のための位置が、図６に図示されているとおり、候補Ｃ_０とＣ_１の間において選択される。位置Ｃ_０のＰＵが利用可能でないか、イントラ符号化されているか、または現在のＣＴＵの外側である場合には、位置Ｃ_１が使用される。それ以外であれば、位置Ｃ_０が、時間的マージ候補の導出において使用される。

１．１．４ 追加のタイプのマージ候補の構築
空間的－時間的マージ候補のほかに、追加のタイプのマージ候補、すなわち結合双方向予測マージ候補およびゼロマージ候補の２つが存在する。結合双方向予測マージ候補は、空間的－時間的マージ候補を利用することによって生成される。結合双方向予測マージ候補は、Ｂスライスのためにのみ使用される。結合双方向予測候補は、初期候補の第１の参照ピクチャリストの動きパラメータと、別の候補の第２の参照ピクチャリストの動きパラメータとを組み合わせることによって生成される。これら２つのタプルが異なる動き仮説を提供する場合には、それらは、新しい双方向予測候補を形成することになる。

図７は、この処理の例を示しており、元のリスト（左側の７１０）内の、ｍｖＬ０およびｒｅｆＩｄｘＬ０、またはｍｖＬ１およびｒｅｆＩｄｘＬ１を有する２つの候補が使用されて、結合双方向予測マージ候補が作成され、それが最終的なリスト（右側の７２０）に追加される。

ゼロ動き候補が挿入されて、マージ候補リスト内の残りのエントリが埋められ、したがって、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄキャパシティに達する。これらの候補は、ゼロの空間的変位、およびゼロから始まり、かつ新しいゼロ動き候補がリストに追加される都度に増加する参照ピクチャインデックスを有している。これらの候補によって使用される参照フレームの数は、単方向および双方向予測それぞれについて１つおよび２つである。いくつかの実施形態においては、これらの候補に対して冗長性チェックが実行されない。

１．１．５ 並列処理のための動き推定領域の例
符号化処理を高速化するために、動き推定を並列に実施することが可能であり、それによって、与えられた領域の内側のすべての予測ユニットのための動きベクトルが、同時に導出される。空間的近傍からのマージ候補の導出は、１つの予測ユニットが動きパラメータを隣接ＰＵから導出することが、それに関連付けされた動き推定が完了するまで可能でないため、並列処理と干渉することがある。符号化効率と処理待ち時間の間におけるトレードオフを軽減するために、動き推定領域（ＭＥＲ：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ｒｅｇｉｏｎ）を定義することができる。ＭＥＲのサイズは、ピクチャパラメータセット（ＰＰＳ）の中で『ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２』構文要素を使用してシグナリングすることができる。ＭＥＲが定義されるとき、同一領域内に入るマージ候補が利用不可としてマークされ、したがって、リスト構築においては考慮されない。

１．２ ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）の実施形態
ＡＭＶＰは、動きベクトルの近傍のＰＵとの空間的－時間的相関を利用し、動きパラメータの明示的な送信のために使用される。これは、最初に、時間的に近傍の左と上のＰＵ位置の利用可能性をチェックし、冗長候補を除去し、ゼロベクトルを追加して候補リストを一定長にすることによって動きベクトル候補リストを構築する。その後、エンコーダが、候補リストの中から最良の予測因子を選択し、対応する選択した候補を示すインデックスを送信することが可能になる。マージインデックスシグナリングと同様に、最良の動きベクトル候補のインデックスが、短縮項（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）を使用して符号化される。符号化されることになる最大値は、この場合においては２である（図８参照）。以下のセクションにおいては、動きベクトル予測候補の導出処理についての詳細を提供する。

１．２．１ 動きベクトル予測候補の構築の例
図８は、動きベクトル予測候補のための導出処理の要約であり、入力としてｒｅｆｉｄｘを伴う各参照ピクチャリストのために実装することができる。

動きベクトル予測においては、２つのタイプの動きベクトル候補、すなわち、空間的－動きベクトル候補および時間的動きベクトル候補が考慮される。空間的動きベクトル候補の導出については、最終的に２つの動きベクトル候補が、先の図２の中に示されているとおり、５つの異なる位置で見つかる各ＰＵの動きベクトルに基づいて導出される。

時間的動きベクトル候補の導出については、１つの動きベクトル候補が、２つの異なる同一位置にある配置に基づいて導出される２つの候補から選択される。時間的－空間的候補の最初のリストが作られた後、リスト内の重複する動きベクトル候補が除去される。潜在的な候補の数が２より大きい場合には、関連付けされた参照ピクチャリスト内の参照ピクチャインデックスが１より大きい動きベクトル候補が、リストから除去される。時間的－空間的動きベクトル候補の数が２より小さい場合には、追加のゼロ動きベクトル候補がリストに追加される。

１．２．２ 空間的動きベクトル候補の構築
空間的動きベクトル候補の導出においては、先の図２の中に示されているとおりの動きマージの位置と同じ位置に位置するＰＵから導出される５つの潜在的候補の中から最大で２つの候補が考慮される。現在のＰＵの左側のための導出の順序は、Ａ_０、Ａ_１、およびスケーリングされたＡ_０、およびスケーリングされたＡ_１として定義される。現在のＰＵの上側のための導出の順序は、Ｂ_０、Ｂ_１、Ｂ_２、スケーリングされたＢ_０、スケーリングされたＢ_１、スケーリングされたＢ_２として定義される。したがって、各側について、動きベクトル候補として使用することが可能な４つのケース、すなわち、空間的スケーリングの使用が必要とされない２つのケース、および空間的スケーリングが使用される２つのケースが存在する。４つの異なるケースは、以下のとおりに要約される：

－－空間的スケーリングなし
（１）同一の参照ピクチャリスト、かつ、同一の参照ピクチャインデックス（同一のＰＯＣ）
（２）異なる参照ピクチャリスト、かつ、同一の参照ピクチャ（同一のＰＯＣ）
－－空間的スケーリング
（３）同一の参照ピクチャリスト、かつ、異なる参照ピクチャ（異なるＰＯＣ）
（４）異なる参照ピクチャリスト、かつ、異なる参照ピクチャ（異なるＰＯＣ）

空間的スケーリングなしのケースが最初にチェックされ、それに空間的スケーリングを許容するケースが続く。空間的スケーリングは、参照ピクチャリストによらず、近傍のＰＵの参照ピクチャと、現在のＰＵのそれとの間においてＰＯＣが異なるときに考慮される。左側候補のすべてのＰＵが利用可能でないか、またはイントラ符号化されている場合には、上側動きベクトルのためのスケーリングが、左および上側ＭＶ候補の並列導出を補助することが許容される。それ以外は、上側動きベクトルのための空間的スケーリングが許容されない。

図９の例に示されているとおり、空間的スケーリングのケースについては、近傍のＰＵの動きベクトルが、時間的スケーリングと類似する態様でスケーリングされる。１つの相違は、現在のＰＵの参照ピクチャリストおよびインデックスが入力として与えられることであるが、実際のスケーリング処理は、時間的スケーリングのそれと同じである。

１．２．３ 時間的動きベクトル候補の構築
参照ピクチャインデックスの導出を除けば、時間的マージ候補の導出のためのすべての処理は、（図６の例に示されているとおり）空間的動きベクトル候補の導出のためのそれと同じである。いくつかの実施態様においては、参照ピクチャインデックスが、デコーダにシグナリングされる。

２． ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ）におけるインター予測方法の例
いくつかの実施形態においては、将来的な映像符号化技術が、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ）として知られる参照ソフトウエアを使用して探査される。ＪＥＭにおいては、いくつかの符号化ツールに、アフィン予測、ＡＴＭＶＰ（Ａｌｔｅｒｎａｔｉｖｅ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）、ＳＴＭＶＰ（Ｓｐａｔｉａｌ－Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）、双方向オプティカルフロー（ＢＤＯＦまたはＢＩＯ）、ＦＲＵＣ（Ｆｒａｍｅ－Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ）、ＬＡＭＶＲ（Ｌｏｃａｌｌｙ Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ）、ＯＢＭＣ（Ｏｖｅｒｌａｐｐｅｄ Ｂｌｏｃｋ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）、ＬＩＣ（Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）、およびＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）等のサブブロックベースの予測が採り入れられる。

２．１ サブＣＵに基づく動きベクトル予測の例
ＱＴＢＴ（Ｑｕａｄ Ｔｒｅｅ ｐｌｕｓ Ｂｉｎａｒｙ Ｔｒｅｅｓ）を用いるＪＥＭにおいては、各ＣＵが、各予測方向のために多くとも１セットの動きパラメータを有することが可能である。いくつかの実施形態においては、２つのサブＣＵレベルの動きベクトル予測方法が、エンコーダ内において、ラージＣＵをサブＣＵに分割し、ラージＣＵのすべてのサブＣＵのための動き情報を導出することによって考慮される。ＡＴＭＶＰ（Ａｌｔｅｒｎａｔｉｖｅ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法は、各ＣＵが、同一位置の参照ピクチャ内の現在のＣＵより小さい複数のブロックから複数セットの動き情報をフェッチすることを可能にする。ＳＴＭＶＰ（Ｓｐａｔｉａｌ－Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法においては、サブＣＵの動きベクトルが、時間的動きベクトル予測因子および空間的な近傍の動きベクトルを使用することによって再帰的に導出される。いくつかの実施形態においては、サブＣＵ動き予測のためのより正確な動きフィールドを保存するために、参照フレームのための動き圧縮を無効化することができる。

２．１．１ ＡＴＭＶＰ（Ａｌｔｅｒｎａｔｉｖｅ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）の例
ＡＴＭＶＰ方法においては、ＴＭＶＰ（Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法が、現在のＣＵより小さいブロックから複数セットの動き情報（動きベクトルおよび参照インデクスを含む）をフェッチすることによって修正される。

図１０は、ＣＵ１０００のためのＡＴＭＶＰ動き予測処理の例を示している。ＡＴＭＶＰ方法は、ＣＵ１０００内のサブＣＵ１００１の動きベクトルを２つのステップで予測する。第１のステップは、時間的ベクトルを伴う参照ピクチャ１０５０内の対応するブロック１０５１を識別する。参照ピクチャ１０５０は、動きソースピクチャとも呼ばれる。第２のステップは、現在のＣＵ１０００をサブＣＵ１００１に分割し、各サブＣＵに対応するブロックから動きベクトルならびに各サブＣＵの参照インデックスを取得する。

第１のステップにおいては、参照ピクチャ１０５０および対応するブロックが、現在のＣＵ１０００の空間的近傍のブロックの動き情報によって決定される。近傍のブロックの反復的な走査処理を回避するために、現在のＣＵ１０００のマージ候補リスト内の最初のマージ候補が使用される。最初の利用可能な動きベクトルおよびその関連付けされた参照インデックスが、時間的なベクトルおよび動きソースピクチャに対するインデックスに設定される。このようにして、対応するブロック（配列されたブロックと呼ばれることがある）が、ＴＭＶＰと比較してより正確に識別することができ、対応するブロックが、現在のＣＵに対して常に右下または中央の位置になる。

第２のステップにおいては、現在のＣＵの座標に時間的なベクトルを追加することによって、動きソースピクチャ１０５０内の時間的なベクトルにより、サブＣＵ１０５１の対応するブロックが識別される。各サブＣＵについて、それの対応するブロック（例えば、中心のサンプルをカバーする最小の動きグリッド）の動き情報が使用されて、そのサブＣＵのための動き情報が導出される。対応するＮ×Ｎブロックの動き情報が識別された後、それが、動きスケーリングおよびそのほかの手順が適用されるＨＥＶＣのＴＭＶＰと同じ方法で、現在のサブＣＵの動きベクトルおよび参照インデックスに変換される。例えば、デコーダが、低遅延条件（例えば、現在のピクチャのすべての参照ピクチャのＰＯＣは、現在のピクチャのＰＯＣより小さい）が満たされているか否かをチェックし、また可能性として、動きベクトルＭＶｘ（例えば、参照ピクチャリストＸに対応する動きベクトル）を使用して各サブＣＵのための動きベクトルＭＶｙを予測する（例えば、Ｘが０または１に等しければ、Ｙは、１－Ｘに等しい）。

２．１．２ ＳＴＭＶＰ（Ｓｐａｔｉａｌ－Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）の例
ＳＴＭＶＰ方法においては、サブＣＵの動きベクトルが、ラスタスキャンの順序に従って再帰的に導出される。図１１は、４つのサブブロックを伴う１つのＣＵおよび近傍のブロックの例を示している。４つの４×４サブＣＵのＡ（１１０１）、Ｂ（１１０２）、Ｃ（１１０３）、およびＤ（１１０４）を含む８×８のＣＵ１１００を考える。現在のフレーム内の近傍の４×４ブロックは、ａ（１１１１）、ｂ（１１１２）、ｃ（１１１３）、およびｄ（１１１４）としてラベル付けされる。

サブＣＵ Ａの動き導出は、それの２つの空間的ネイバーを識別することによって開始する。第１の近傍は、サブＣＵ Ａ１１０１の上側のＮ×Ｎブロック（ブロックｃ１１１３）である。このブロックｃ（１１１３）が利用可能でないか、またはイントラ符号化されている場合には、サブＣＵ Ａ（１１０１）の上側のほかのＮ×Ｎブロックがチェックされる（ブロックｃ１１１３から開始して左から右へ）。第２の近傍は、サブＣＵ Ａ１１０１の左側のブロック（ブロックｂ１１１２）である。ブロックｂ（１１１２）が利用可能でないか、またはイントラ符号化されている場合には、サブＣＵ Ａ１１０１の左側のほかのブロックがチェックされる（ブロックｂ１１１２から開始して上から下へ）。各リストのための近傍のブロックから獲得された動き情報は、与えられたリストのための第１の参照フレームに対してスケーリングされる。次に、サブブロックＡ１１０１のＴＭＶＰ（Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）が、ＨＥＶＣ内に指定されているＴＭＶＰの導出と同じ手順に従って導出される。ブロックＤ１１０４の配列されたブロックの動き情報がフェッチされ、相応じてスケーリングされる。最後に、動き情報の取り出しおよびスケーリングの後、すべての利用可能な動きベクトルが、それぞれの参照リスト毎に別々に平均される。平均化された動きベクトルは、現在のサブＣＵの動きベクトルとして割り当てられる。

２．１．３ サブＣＵ動き予測モードシグナリングの例
いくつかの実施形態においては、サブＣＵモードが、追加のマージ候補として有効化され、そのモードのシグナリングに必要とされる追加の構文要素は存在しない。２つの追加のマージ候補が、ＡＴＭＶＰモードおよびＳＴＭＶＰモードを表すべく各ＣＵのマージ候補リストに追加される。ほかの実施形態においては、ＡＴＭＶＰおよびＳＴＭＶＰが有効化されることをシーケンスパラメータセットが示している場合に、最大で７つのマージ候補を使用することができる。追加のマージ候補の符号化ロジックは、ＨＭにおけるマージ候補のためのそれと同じであり、すなわちこれは、ＰまたはＢスライス内のそれぞれのＣＵ毎に、さらに２つのＲＤチェックが２つの追加のマージ候補のために必要になる可能性があることを意味する。いくつかの実施形態、例えばＪＥＭ、においては、マージインデックスのすべてのビンが、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）によってコンテキスト符号化される。ほかの実施形態、例えばＨＥＶＣ、においては、最初のビンのみがコンテキスト符号化され、残りのビンは、バイパス符号化されたコンテキストである。

２．２ 適応型動きベクトル差分分解の例
いくつかの実施形態においては、スライスヘッダ内のｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇが０に等しいとき、１／４輝度サンプルを単位にして、（ＰＵの動きベクトルと予測された動きベクトルとの間における）ＭＶＤ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）がシグナリングされる。ＪＥＭにおいては、ＬＡＭＶＲ（Ｌｏｃａｌｌｙ Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ）が導入される。ＪＥＭにおいては、１／４輝度サンプル、整数輝度サンプル、または４輝度サンプルを単位にしてＭＶＤを符号化することが可能である。ＭＶＤ解像度は、符号化ユニット（ＣＵ）レベルにおいて制御され、ＭＶＤ解像度フラグが、少なくとも１つの非ゼロＭＶＤの構成要素を有する各ＣＵのために条件付きでシグナリングされる。

少なくとも１つの非ゼロＭＶＤの構成要素を有するＣＵのために、１／４輝度サンプルＭＶ精度がそのＣＵ内において使用されるか否かを示すために、第１のフラグがシグナリングされる。第１のフラグ（１に等しい）が、１／４輝度サンプルＭＶ精度が使用されないことを示すとき、整数輝度サンプルＭＶ精度または４輝度サンプルＭＶ精度を使用するか否かを示す別のフラグがシグナリングされる。

ＣＵの第１のＭＶＤ解像度フラグがゼロであるか、またはＣＵのために符号化されていない（ＣＵ内のすべてのＭＶＤがゼロであることを意味する）場合、そのＣＵのために１／４輝度サンプルＭＶ解像度が使用される。ＣＵが、整数輝度サンプルＭＶ精度または４輝度サンプルＭＶ精度を使用するとき、そのＣＵのためのＡＭＶＰ候補リスト内のＭＶＰが対応する精度に丸められる。

エンコーダにおいては、ＣＵレベルのＲＤチェックが使用されて、いずれのＭＶＤ解像度がＣＵのために使用されることになるか、が決定される。すなわち、各ＭＶＤ解像度のためにＣＵレベルのＲＤチェックが３回実行される。エンコーダの速度を加速するために、ＪＥＭにおいては、以下の符号化スキームが適用される。

－－標準１／４輝度サンプルＭＶＤ解像度を用いるＣＵのＲＤチェックの間に、現在のＣＵ（整数輝度サンプル精度）の動き情報が格納される。格納された動き情報（丸め後）が、時間の掛かる動き推定処理が３回にわたって複製されないように、整数輝度サンプルおよび４輝度サンプルＭＶＤ分解を用いる同一ＣＵのためのＲＤチェックの間におけるさらに小さい範囲の動きベクトル精緻化のための開始点として使用される。

－－４輝度サンプルＭＶＤ解像を用いるＣＵのＲＤチェックは、条件付きで呼び出される。ＣＵについて、整数輝度サンプルＭＶＤ解像度のＲＤコストが、１／４輝度サンプルＭＶＤ解像度よりはるかに大きい場合、そのＣＵのための４輝度サンプルＭＶＤ解像度のＲＤチェックがスキップされる。

２．３ より高い動きベクトルストレージの精度の例
ＨＥＶＣにおいては、動きベクトルの精度が１／４ピクセル（４：２：０映像についての１／４輝度サンプルおよび１／８彩度サンプル）である。ＪＥＭにおいては、内部動きベクトルストレージおよびマージ候補のための精度が１／１６ピクセルに増加する。より高い動きベクトル精度（１／１６ピクセル）が、スキップ／マージモードを用いて符号化されるＣＵのための動き補償インター予測に使用される。標準ＡＭＶＰモードを用いて符号化されるＣＵのためには、整数ピクセルまたは１／４ピクセルのいずれかの動きが使用される。

ＨＥＶＣ動き補償補間フィルタと同じフィルタ長および正規化因子を有するＳＨＶＣアップサンプリング補間フィルタが、追加の分数ピクセル位置のための動き補償補間フィルタとして使用される。彩度成分の動きベクトル精度は、ＪＥＭにおいて１／３２サンプルであり、１／３２ピクセルの分数位置の追加の補間フィルタが、２つの近傍の１／１６ピクセルの分数位置のフィルタの平均を使用することによって導出される。

２．４ ＯＢＭＣ（Ｏｖｅｒｌａｐｐｅｄ Ｂｌｏｃｋ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）の例
ＪＥＭにおいては、ＣＵレベルにおける構文を使用してＯＢＭＣのオン・オフを切り換えることが可能である。ＪＥＭにおいてＯＢＭＣが使用されるときには、ＣＵの右側および下側の境界を除き、ＯＢＭＣが、すべての動き補償（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）ブロック境界のために実施される。それに加えて、これは、輝度および彩度成分の両方のために適用される。ＪＥＭにおいては、ＭＣブロックが符号化ブロックに対応する。サブＣＵモードを用いてＣＵが符号化されるときには（サブＣＵマージ、アフィン、およびＦＲＵＣモードを含む）、ＣＵの各サブブロックがＭＣブロックになる。一様な態様でＣＵ境界を処理するために、すべてのＭＣブロック境界のためにサブブロックレベルにおいてＯＢＭＣが実行され、それにおいては、サブブロックサイズは、図１２Ａおよび１２Ｂに示されているとおり、４×４に等しく設定される。

図１２Ａは、ＣＵ／ＰＵ境界におけるサブブロックを示しており、ハッチングは、ＯＢＭＣが適用されるサブブロックである。同様に図１２Ｂは、ＡＴＭＶＰモードにおけるサブＰＵを示している。

ＯＢＭＣが現在のサブブロックに適用されるとき、現在の動きベクトルのほかに、接続されている４つの近傍のサブブロックの動きベクトルもまた、これらが利用可能であり、かつ現在の動きベクトルとまったく同じでなければ、現在のサブブロックのための予測ブロックの導出に使用される。複数の動きベクトルに基づく、これらの複数の予測ブロックが組み合わされて、現在のサブブロックの最終的な予測シグナルが生成される。

近傍のサブブロックの動きベクトルに基づく予測ブロックは、ＰＮとして示され、Ｎは、上側、下側、左側、および右側の近傍のサブブロックのためのインデックスを示し、現在のサブブロックの動きベクトルに基づく予測ブロックは、ＰＣとして示される。ＰＮが、現在のサブブロックと同じ動き情報を含んでいる近傍のサブブロックの動き情報に基づく場合には、ＰＮからＯＢＭＣが実施されない。それ以外は、ＰＮのすべてのサンプルが、ＰＣ内の同じサンプルに追加され、すなわち、ＰＮの４つの行／列がＰＣに追加される。重み付け因子｛１／４，１／８，１／１６，１／３２｝がＰＮのために使用され、重み付け因子｛３／４，７／８，１５／１６，３１／３２｝がＰＣのために使用される。例外は、小さいＭＣブロック（すなわち、符号化ブロックの高さまたは幅が４に等しいか、またはサブＣＵモードを用いてＣＵが符号化されている）であり、その場合は、ＰＮの２つの行／列だけがＰＣに追加される。この場合においては、重み付け因子｛１／４，１／８｝がＰＮのために使用され、重み付け因子｛３／４，７／８｝がＰＣのために使用される。垂直（水平）に近傍のサブブロックの動きベクトルに基づいて生成されるＰＮについては、ＰＮの同一行（列）内のサンプルが同じ重み付け因子を用いてＰＣに追加される。

ＪＥＭにおいては、２５６輝度サンプルより小さいか、または等しいサイズを伴うＣＵについて、ＣＵレベルフラグがシグナリングされて、現在のＣＵのためにＯＢＭＣが適用されるか否か、が示される。２５６輝度サンプルより大きいサイズを伴うか、またはＡＭＶＰモードを用いて符号化されていないＣＵについては、デフォルトによりＯＢＭＣが適用される。エンコーダにおいては、ＣＵのためにＯＢＭＣが適用されるとき、動き推定ステージの間に、それの影響が考慮に入れられる。上側の近傍のブロックおよび左側の近傍のブロックの動き情報を使用してＯＢＭＣによって形成される予測シグナルが、現在のＣＵのオリジナルのシグナルの上側および左側の境界の補償に使用され、その後、標準の動き推定処理が適用される。

２．５ 局所的照度補償（ＬＩＣ：Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）の例
ＬＩＣは、照度変化のための線形モデルに基づき、スケーリング因子ａおよびオフセットｂを使用する。また、これは、各インターモード符号化された符号化ユニット（ＣＵ）毎に適応的に有効化されるか、または無効化される。

ＣＵに対してＬＩＣが適用されるとき、最小二乗誤差法が採用され、現在のＣＵの近傍のサンプルおよびそれらの対応する参照サンプルを使用することによって、パラメータａおよびｂが導出される。図１３は、ＩＣアルゴリズムのパラメータの導出に使用される近傍のサンプルの例を示している。特に、図１３に示されているとおり、ＣＵのサブサンプリングされた（２：１サブサンプリング）近傍のサンプルおよび参照ピクチャ内の対応するサンプル（現在のＣＵまたはサブＣＵの動き情報によって識別される）が使用される。ＩＣパラメータは、それぞれの予測方向毎に別々に導出され、適用される。

マージモードを用いてＣＵが符号化されるとき、ＬＩＣフラグが、マージモードにおける動き情報のコピーと類似する方法で近傍のブロックからコピーされる；それ以外は、そのＣＵのためにＬＩＣが適用されるか否かを示すＬＩＣフラグがシグナリングされる。

ピクチャのためにＬＩＣが有効化されるとき、ＣＵのためにＬＩＣが適用されるか否かを決定する追加のＣＵレベルのＲＤチェックが必要になる。ＣＵのためにＬＩＣが有効化されるときは、整数ピクセル動き探索および分数ピクセル動き探索それぞれに対して、ＭＲ－ＳＡＤ（Ｍｅａｎ－Ｒｅｍｏｖｅｄ Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）およびＭＲ－ＳＡＴＤ（Ｍｅａｎ－Ｒｅｍｏｖｅｄ Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｈａｄａｍａｒｄ－Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ）が、ＳＡＤおよびＳＡＴＤに代えて使用される。

符号化の複雑性を低減するために、ＪＥＭにおいては、以下の符号化スキームが適用される。

－－現在のピクチャとそれの参照ピクチャの間に明白な照度変化が存在しないときは、全体のピクチャに対してＬＩＣが無効化される。この状況を識別するために、現在のピクチャおよび現在のピクチャのすべての参照ピクチャのヒストグラムが、エンコーダにおいて計算される。現在のピクチャと、現在のピクチャのすべての参照ピクチャの間におけるヒストグラムの差が所定の閾値より小さい場合には、現在のピクチャに対するＬＩＣが無効化される；それ以外の場合には、現在のピクチャに対するＬＩＣが有効化される。

２．６ アフィン動き補償予測の例
ＨＥＶＣにおいては、平行移動動きモデルのみが、動き補償予測（ＭＣＰ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ）に適用される。しかしながら、カメラおよび対象は、多くの種類の動き、例えば、ズームイン／アウト、回転、遠近運動、および／またはそのほかの不規則な動き等を有する可能性がある。これに対してＪＥＭは、単純化したアフィン変換動き補償予測を適用する。図１４は、２つの制御点動きベクトルＶ_０およびＶ_１によって記述されるブロック１４００のアフィン動きフィールドの例を示している。ブロック１４００の動きベクトルフィールド（ＭＶＦ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ）は、次の式（１）によって記述することが可能である。

図１４に示されているとおり、（ｖ_０ｘ，ｖ_０ｙ）は、左上の角の制御点の動きベクトルであり、（ｖ_１ｘ，ｖ_１ｙ）は、右上の角の制御点の動きベクトルである。動き補償予測を単純化するために、サブブロックベースのアフィン変換予測を適用することが可能である。サブブロックのサイズＭ×Ｎは、次の式（２）に従って導出される。

これにおいて、ＭｖＰｒｅは、動きベクトルの分数精度（例えば、ＪＥＭにおける１／１６）である。（ｖ_２ｘ，ｖ_２ｙ）は、式（１）に従って計算される左下側の制御点の動きベクトルである。ＭおよびＮは、それぞれをｗおよびｈの除数にする必要がある場合には、下方への調整を行うことが可能である。

図１５は、ブロック１５００のためのサブブロック毎のアフィンＭＶＦの例を示している。各Ｍ×Ｎサブブロックの動きベクトルを導出するために、各サブブロックの中心のサンプルの動きベクトルを、式（１）に従って計算し、動きベクトルの分数精度（例えば、ＪＥＭにおける１／１６）に丸めることが可能である。その後、動き補償補間フィルタを適用し、各サブブロックの予測を、導出済みの動きベクトルを用いて生成することが可能である。ＭＣＰの後、各サブブロックの高い正確度の動きベクトルが丸められて、標準の動きベクトルと同じ精度が保存される。

２．６．１ ＡＦ＿ＩＮＴＥＲモードの実施形態
ＪＥＭには、２つのアフィン動きモード、すなわち、ＡＦ＿ＩＮＴＥＲモードおよびＡＦ＿ＭＥＲＧＥモードが存在する。幅および高さの両方が８より大きいＣＵに対しては、ＡＦ＿ＩＮＴＥＲモードを適用することが可能である。ビットストリーム内においてＣＵレベルのアフィンフラグがシグナリングされ、ＡＦ＿ＩＮＴＥＲモードが使用されるか否か、が示される。ＡＦ＿ＩＮＴＥＲモードにおいては、動きベクトルのペア｛（ｖ_０，ｖ_１）｜ｖ_０＝｛ｖ_Ａ，ｖ_Ｂ，ｖ_Ｃ｝，ｖ_１＝｛ｖ_Ｄ，ｖ_Ｅ｝｝を伴う候補リストが、近傍のブロックを使用して構築される。

図１６は、ＡＦ＿ＩＮＴＥＲモードにおけるブロック１６００のための動きベクトル予測（ＭＶＰ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）の例を示している。図１６に示されているように、サブブロックＡ、Ｂ、またはＣの動きベクトルからｖ_０が選択される。近傍のブロックからの動きベクトルは、参照リストに従ってスケーリングすることが可能である。動きベクトルは、近傍のブロックのための参照のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）、現在のＣＵのための参照のＰＯＣ、および現在のＣＵのＰＯＣの間における関係に従ってスケーリングすることも可能である。近傍のサブブロックＤおよびＥからｖ_１を選択するアプローチも同様である。候補リストの数が２より小さい場合には、ＡＭＶＰ候補のそれぞれを複製することによって構成される動きベクトルのペアを用いてリストがパディングされる。候補リストが２より大きいときは、最初に、近傍の動きベクトルに従って（例えば、ペアの候補内における２つの動きベクトルの類似性に基づいて）それらの候補をソートすることが可能である。いくつかの実装においては、最初の２つの候補が維持される。いくつかの実施形態においては、ＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）コストチェックが使用されて、現在のＣＵのＣＰＭＶＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）としていずれの動きベクトルのペアの候補が選択されるか、が決定される。候補リスト内のＣＰＭＶＰの位置を示すインデックスは、ビットストリーム内においてシグナリングすることが可能である。現在のアフィンＣＵのＣＰＭＶＰが決定された後、アフィン動き推定が適用され、ＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）が見つけられる。その後、ＣＰＭＶとＣＰＭＶＰの差が、ビットストリーム内においてシグナリングされる。

２．６．３ ＡＦ＿ＭＥＲＧＥモードの実施形態
ＡＦ＿ＭＥＲＧＥモードにおいてＣＵが適用されるとき、有効な近傍の再構築ブロックからアフィンモードを用いて符号化された最初のブロックが取得される。図１７Ａは、現在のＣＵ１７００のための候補ブロックの選択順序の例を示している。図１７Ａに示されているとおり、この選択順序は、現在のＣＵ１７００の左（１７０１）から、上（１７０２）、右上（１７０３）、左下（１７０４）、左上（１７０５）とすることが可能である。図１７Ｂは、ＡＦ＿ＭＥＲＧＥモードにおける現在のＣＵ１７００のための候補ブロックの別の例を示している。近傍の左下のブロック１８０１がアフィンモードで符号化されている場合には、図１７Ｂに示されているとおり、サブブロック１７０１を含むＣＵの左上の角、右上の角、および左下の角の動きベクトルｖ_２、ｖ_３、およびｖ_４が導出される。現在のＣＵ１７００の左上の角の動きベクトルｖ_０は、ｖ２、ｖ３、およびｖ４に基づいて計算される。相応じて、現在のＣＵの右上の動きベクトルｖ１を計算することが可能である。

現在のＣＵのＣＰＭＶ ｖ０およびｖ１が、式（１）のアフィン動きモデルに従って計算された後、現在のＣＵのＭＶＦを生成することが可能である。現在のＣＵがＡＦ＿ＭＥＲＧＥモードを用いて符号化されているか否かを識別するために、アフィンモードで符号化されている少なくとも１つの近傍のブロックが存在するときには、ビットストリーム内においてアフィンフラグをシグナリングすることが可能である。

２．７ ＰＭＭＶＤ（Ｐａｔｔｅｒｎ Ｍａｔｃｈｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｅｒｉｖａｔｉｏｎ）の例
ＰＭＭＶＤモードは、ＦＲＵＣ（Ｆｒａｍｅ－Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ）方法に基づく特殊マージモードである。このモードを用いると、ブロックの動き情報がシグナリングされないが、デコーダ側で導出される。

ＦＲＵＣフラグは、ＣＵについて、それのマージフラグが真のときにシグナリングすることが可能である。ＦＲＵＣフラグが偽のときは、マージインデックスをシグナリングすることが可能であり、通常のマージモードが使用される。ＦＲＵＣフラグが真のときは、追加のＦＲＵＣモードフラグをシグナリングして、いずれの方法（例えば、バイラテラルマッチング、またはテンプレートマッチング）がそのブロックのための動き情報の導出に使用されることになるか、を示すことが可能である。

エンコーダ側においては、ＣＵのためにＦＲＵＣマージモードを使用するか否かの判定が、通常のマージ候補のために行われるようなＲＤコスト選択に基づく。例えば、複数のマッチングモード（例えば、バイラテラルマッチング、およびテンプレートマッチング）が、ＲＤコスト選択を使用することによってＣＵについてチェックされる。最小コストを導く１つが、さらにほかのＣＵモードと比較される。ＦＲＵＣマッチングモードが最も効率的であるとき、そのＣＵのためにＦＲＵＣフラグが真に設定され、関係するマッチングモードが使用される。

通常、ＦＲＵＣマージモードにおける動き導出処理は、２つのステップを有する：最初に、ＣＵレベルの動き探索が実行され、その後に、サブＣＵレベルの動き精緻化が続く。ＣＵレベルにおいては、バイラテラルマッチングまたはテンプレートマッチングに基づいてＣＵ全体のための初期動きベクトルが導出される。最初に、ＭＶ候補のリストが生成され、最小マッチングコストを導く候補が、さらなるＣＵレベルの精緻化のための開始点として選択される。その後、その開始点周りのバイラテラルマッチングまたはテンプレートマッチングに基づいて局所的探索が実行される。最小マッチングコストに帰するＭＶが、ＣＵ全体のためのＭＶとして採用される。その後に続いて、その動き情報が、サブＣＵレベルにおいて、開始点として導出されたＣＵ動きベクトルを用いてさらに精緻化される。

例えば、以下の導出処理が、Ｗ×ＨのＣＵ動き情報導出のために実行される。第１のステージにおいて、Ｗ×ＨのＣＵ全体のためのＭＶが導出される。第２のステージにおいて、ＣＵが、さらにＭ×ＭのサブＣＵに分割される。Ｍの値は、式（３）のとおりに計算され、Ｄは、予め定義された分割の深さであり、ＪＥＭにおいては、デフォルトにより３に設定されている。その後、各サブＣＵのためのＭＶが導出される。

図１８は、ＦＲＵＣ（Ｆｒａｍｅ－Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ）方法において使用されるバイラテラルマッチングの例を示している。バイラテラルマッチングは、現在のＣＵの動き情報の導出に使用され、２つの異なる参照ピクチャ（１８１０、１８１１）内の現在のＣＵ（１８００）の動きの軌跡に沿う２つのブロックの間において最も近い一致を見つけ出すことによってそれを導出する。連続する動きの軌跡の仮定の下においては、２つの参照ブロックを指し示す動きベクトルＭＶ０（１８０１）およびＭＶ１（１８０２）が、現在のピクチャと２つの参照ピクチャの間における時間的距離、例えば、ＴＤ０（１８０３）およびＴＤ１（１８０４）に比例する。いくつかの実施形態においては、現在のピクチャ１８００が、時間的に２つの参照ピクチャ（１８１０、１８１１）の間にあり、現在のピクチャからそれらの２つの参照ピクチャまでの時間的距離が同じであり、バイラテラルマッチングがミラーベースの双方向ＭＶになる。

図１９は、ＦＲＵＣ（Ｆｒａｍｅ－Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ）方法において使用されるテンプレートマッチングの例を示している。テンプレートマッチングは、現在のＣＵ１９００の動き情報の導出に使用可能であり、現在のピクチャ内のテンプレート（例えば、現在のＣＵの上側および／または左側の近傍のブロック）と参照ピクチャ１９１０内のブロック（例えば、テンプレートと同じサイズ）の間における最も近い一致を見つけ出すことによってそれを導出する。上に述べられているＦＲＵＣマージモードを除き、テンプレートマッチングは、ＡＭＶＰモードに対しても適用可能である。ＪＥＭおよびＨＥＶＣの両方において、ＡＭＶＰは、２つの候補を有する。テンプレートマッチング方法を用いると、新しい候補を導出することが可能である。テンプレートマッチングによって新しく導出された候補が、最初の既存ＡＭＶＰ候補と異なる場合には、ＡＭＶＰ候補リストの一番先頭にそれが挿入され、その後、リストサイズが（例えば、２番目の既存ＡＭＶＰ候補を除去することによって）２に設定される。ＡＭＶＰモードに適用されるときは、ＣＵレベルの探索のみが適用される。

ＣＵレベルにおいて設定されるＭＶ候補は、（１）現在のＣＵがＡＭＶＰモードの場合には、元のＡＭＶＰ候補、（２）すべてのマージ候補、および（３）補間されたＭＶフィールド（後述）内のいくつかのＭＶ、および上側および左側の近傍の動きベクトルを含むことが可能である。

バイラテラルマッチングを使用するときには、マージ候補のそれぞれの有効なＭＶを、バイラテラルマッチングの仮定を用いてＭＶペアを生成する入力として使用することが可能である。例えば、マージ候補の１つの有効なＭＶは、参照リストＡにおける（ＭＶａ，ｒｅｆ_ａ）である。その場合、それのペアとなるバイラテラルＭＶの参照ピクチャｒｅｆ_ｂが、ｒｅｆ_ａとｒｅｆ_ｂが現在のピクチャの時間的に異なる側となるように、他方の参照リストＢ内に見つけられる。そのようなｒｅｆ_ｂが、参照リストＢ内において利用可能でない場合には、ｒｅｆ_ｂが、ｒｅｆ_ａとは異なる参照として決定され、現在のピクチャに対するそれの時間的距離が、リストＢ内における最小のものになる。ｒｅｆ_ｂが決定された後に、ＭＶｂが、現在のピクチャとｒｅｆ_ａ、ｒｅｆ_ｂの間の時間的距離に基づいてＭＶａをスケーリングすることによって導出される。

いくつかの実装においては、補間されたＭＶフィールドからの４つのＭＶを、ＣＵレベルの候補リストに追加することも可能である。より具体的に述べると、現在のＣＵの位置（０，０）、（Ｗ／２，０）、（０，Ｈ／２）、および（Ｗ／２，Ｈ／２）の補間されたＭＶが追加される。ＡＭＶＰモードにおいてＦＲＵＣが適用されるときは、元のＡＭＶＰ候補もまた、ＣＵレベルのＭＶ候補セットに追加される。いくつかの実装では、ＣＵレベルにおいて、ＡＭＶＰ ＣＵのための１５個のＭＶと、マージＣＵのための１３個のＭＶを、候補リストに追加することが可能である。

サブＣＵレベルにおけるＭＶ候補セットは、ＣＵレベルの探索から決定されるＭＶ、（２）上、左、左上、および右上の近傍のＭＶ、（３）参照ピクチャからの配置されたＭＶのスケーリングされたバージョン、（４）１つまたは複数のＡＴＭＶＰ候補（例えば、最大４つ）、および（５）１つまたは複数のＳＴＭＶＰ候補（例えば、最大４つ）を含む。参照ピクチャからのスケーリングされたＭＶは、以下のとおりに導出される。両方のリスト内の参照ピクチャがトラバースされる。参照ピクチャ内のサブＣＵの配置された位置のＭＶが、開始ＣＵレベルのＭＶの参照に対してスケーリングされる。ＡＴＭＶＰおよびＳＴＭＶＰ候補は、最初の４つとすることが可能である。サブＣＵレベルにおいて、１つまたは複数のＭＶ（例えば、最大１７）が候補リストに追加される。

補間されるＭＶフィールドの生成。フレームの符号化の前に、補間される動きフィールドが、ユニラテラルＭＥに基づいてピクチャ全体のために生成される。その場合、後に動きフィールドを、ＣＵレベルまたはサブＣＵレベルのＭＶ候補として使用することができる。

いくつかの実施形態においては、両方の参照リスト内の各参照ピクチャの動きフィールドが、４×４ブロックレベルでトラバースされる。図２０は、ＦＲＵＣ方法におけるユニラテラル動き推定（ＭＥ：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）２０００の例を示している。各４×４ブロックについて、そのブロックに関連付けされた動きが現在のピクチャ内の４×４ブロックを通過し、かつそのブロックが、まだいずれの補間された動きにも割り当てられていない場合には、参照ブロックの動きが、時間的距離ＴＤ０およびＴＤ１に従って現在のピクチャに対して（ＨＥＶＣ内のＴＭＶＰのＭＶスケーリングのそれと同じ方法で）スケーリングされ、スケーリング後の動きが、現在のフレーム内のブロックに割り当てられる。４×４ブロックに割り当てられるスケーリングされたＭＶが存在しない場合には、ブロックの動きが、補間動きフィールド内において利用不可としてマークされる。

補間およびマッチングコスト。動きベクトルが、分数サンプル位置を指し示しているときには、動き補償された補間が必要になる。複雑性を低減するために、通常の８タップＨＥＶＣ補間に代えてバイリニア補間を、バイラテラルマッチングおよびテンプレートマッチングの両方のために使用することが可能である。

マッチングコストの計算は、異なる段階においてわずかに異なる。ＣＵレベルにおいて候補セットから候補を選択するとき、マッチングコストは、バイラテラルマッチングまたはテンプレートマッチングの差分絶対値和（ＳＡＤ）とすることが可能である。開始ＭＶが決定された後、以下のとおりに、サブＣＵレベルの探索におけるバイラテラルマッチングのマッチングコストＣが計算される。

これにおいて、ｗは、重み付け因子である。いくつかの実施形態においては、ｗを経験則的に４に設定することが可能である。ＭＶおよびＭＶ^ｓは、それぞれ、現在のＭＶおよび開始ＭＶを示す。ＳＡＤは、さらにサブＣＵレベルの探索におけるテンプレートマッチングのマッチングコストとして使用することができる。

ＦＲＵＣモードにおいては、ＭＶが輝度サンプルのみを使用することによって導出される。導出された動きは、ＭＣインター予測のための輝度および彩度両方のために使用されることになる。ＭＶが判定された後、輝度に対する８タップ補間フィルタ、および彩度に対する４タップ補間フィルタを使用して最終的なＭＣが実行される。

ＭＶ精緻化は、バイラテラルマッチングコスト、またはテンプレートマッチングコストの評価基準を用いるパターンベースのＭＶ探索である。ＪＥＭにおいては、２つの探索パターン－－ＣＵレベルおよびサブＣＵレベルにおけるＭＶ精緻化それぞれのための、ＵＣＢＤＳ（Ｕｎｒｅｓｔｒｉｃｔｅｄ Ｃｅｎｔｅｒ－Ｂｉａｓｅｄ Ｄｉａｍｏｎｄ Ｓｅａｒｃｈ）および適応型横断探索がサポートされている。ＣＵおよびサブＣＵレベルの両方のＭＶ精緻化について、１／４輝度サンプルのＭＶ正確度においてＭＶが直接探索され、１／８輝度サンプルのＭＶ精緻化がこれに続く。ＣＵおよびサブＣＵ段階のためのＭＶ精緻化の探索範囲は、８輝度サンプルに等しく設定される。

バイラテラルマッチングマージモードにおいては、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロックの間における最も近い整合に基づいてＣＵの動き情報が導出されることから、双方向予測が適用される。テンプレートマッチングマージモードにおいては、エンコーダが、ｌｉｓｔ０からの単方向予測、ｌｉｓｔ１からの単方向予測、またはＣＵのための双方向予測の中から選択することが可能である。選択は、以下のとおり、テンプレートマッチングコストに基づくことが可能である。

ｃｏｓｔＢｉ≦ｆａｃｔｏｒ＊ｍｉｎ（ｃｏｓｔ０，ｃｏｓｔ１）の場合、
双方向予測が使用される。
それ以外の場合において、ｃｏｓｔ０≦ｃｏｓｔ１の場合、
ｌｉｓｔ０からの単方向予測が使用される。
それ以外は、
ｌｉｓｔ１からの単方向予測が使用される。

これにおいて、ｃｏｓｔ０は、ｌｉｓｔ０テンプレートマッチングのＳＡＤであり、ｃｏｓｔ１は、ｌｉｓｔ１テンプレートマッチングのＳＡＤであり、ｃｏｓｔＢｉは、双方向予測テンプレートマッチングのＳＡＤである。例えば、因数の値が１．２５に等しいとき、そのことが、選択処理が双方向予測に向かってバイアスされていることを意味する。インター予測方向選択は、ＣＵレベルのテンプレートマッチング処理に適用することが可能である。

２．８ ＧＢｉ（Ｇｅｎｅｒａｌｉｚｅｄ Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｉｍｐｒｏｖｅｍｅｎｔ）の例
ＧＢｉ（Ｇｅｎｅｒａｌｉｚｅｄ Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｉｍｐｒｏｖｅｍｅｎｔ）が、ＶＴＭ－３．０に採用されている。ＧＢｉは、双方向予測モードにおいて、Ｌ０およびＬ１からの予測因子に対して等しくない重みを適用する。インター予測モードにおいては、等しい重みのペア（１／２，１／２）を含む複数の重みペアが、ＲＤＯ（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）に基づいて評価され、選択された重みペアのＧＢｉインデックスが、デコーダに対してシグナリングされる。マージモードにおいては、近傍のＣＵからＧＢｉインデックスが受け継がれる。予測因子の生成の公式は、以下の式（５）に示されるとおりである。

これにおいて、Ｐ_ＧＢｉは、ＧＢｉの最終的な予測因子であり、ｗ_０およびｗ_１は、それぞれ、リスト０（Ｌ０）およびリスト１（Ｌ１）の予測因子（Ｐ_Ｌ０およびＰ_Ｌ１）に適用される選択されたＧＢｉ重みである。ＲｏｕｎｄｉｎｇＯｆｆｓｅｔ_ＧＢｉおよびｓｈｉｆｔＮｕｍ_ＧＢｉは、ＧＢｉの最終的な予測因子の正規化に使用される。サポートされているｗ_１の重みセットは、｛－１／４，３／８，１／２，５／８，５／４｝であり、それにおいては、これらの５つの重みが、１つの等しい重みペア、および４つの等しくない重みペアに対応する。混合利得、すなわち、ｗ_１とｗ_０の和は、１．０に固定されている。したがって、対応するｗ_０の重みセットは、｛５／４，５／８，１／２，３／８，－１／４｝である。重みペアの選択は、ＣＵレベルにおいて行われる。

非低遅延ピクチャについては、重みセットのサイズが５つから３つに縮小され、それにおいては、ｗ_１重みセットが｛３／８，１／２，５／８｝となり、ｗ_０重みセットが｛５／８，１／２，３／８｝となる。非低遅延ピクチャの重みセットのサイズ縮小は、ＢＭＳ２．１ ＧＢｉおよびこの寄与におけるすべてのＧＢｉテストに適用される。

２．８．１ ＧＢｉエンコーダのバグ修正
ＧＢｉ符号化時間を短縮するために、現在のエンコーダ設計においては、エンコーダが、４／８に等しいＧＢｉ重みから推定された単方向予測動きベクトルを格納し、他のＧＢｉ重みの単方向予測探索のためにそれらを再使用する。この高速符号化方法は、平行移動動きモデルおよびアフィン動きモデルの両方に適用される。ＶＴＭ２．０においては、６パラメータのアフィンモデルが、４パラメータのアフィンモデルとともに採用された。ＢＭＳ２．１エンコーダは、ＧＢｉ重みが４／８に等しいときの単方向予測アフィンＭＶの格納において、４パラメータのアフィンモデルと６パラメータのアフィンモデルを差別しない。その結果、ＧＢｉ重み４／８を用いる符号化の後に、４パラメータのアフィンＭＶが６パラメータのアフィンＭＶによって上書きされてよい。格納された６パラメータのアフィンＭＶが、他のＧＢｉ重みのための４パラメータのアフィンＭＥのために使用されてもよく、または格納された４パラメータのアフィンＭＶが６パラメータのアフィンＭＥのために使用されてもよい。提案されているＧＢｉエンコーダのバグ修正は、４パラメータと６パラメータのアフィンＭＶのストレージを分離する。エンコーダは、ＧＢｉ重みが４／８に等しいとき、アフィンモデルタイプに基づいてこれらのアフィンＭＶを格納し、対応するアフィンＭＶを、他のＧＢｉ重みのためのアフィンモデルタイプに基づいて再使用する。

２．８．２ ＧＢｉエンコーダの高速化
この既存の実装においては、ＧＢｉが有効化されているときの符号化時間を短縮する５つのエンコーダ高速化方法が提案される。

（１）条件付きでいくつかのＧＢｉ重みのためのアフィン動き推定をスキップ

ＢＭＳ２．１においては、４パラメータおよび６パラメータ・アフィンＭＥを含むアフィンＭＥが、すべてのＧＢｉ重みのために実行される。発明者らは、条件付きで、これらの等しくないＧＢｉ重み（４／８に等しくない重み）のためのアフィンＭＥをスキップすることを提案する。具体的には、４／８のＧＢｉ重みの評価後において、アフィンモードが現在の最良モードとして選択され、かつそれがアフィンマージモードではない場合だけに限って、他のＧＢｉ重みのためにアフィンＭＥが実行されることになる。現在のピクチャが非低遅延ピクチャである場合には、アフィンＭＥが実行されるとき、等しくないＧＢｉ重みのために、平行移動モデルのための双方向予測ＭＥがスキップされることになる。現在の最良モードとしてアフィンモードが選択されないか、または現在の最良モードとしてアフィンマージが選択される場合においては、アフィンＭＥが、他のすべてのＧＢｉ重みについてスキップされることになる。

（２）１ピクセルおよび４ピクセルＭＶＤ精度のための符号化における低遅延ピクチャについてのＲＤコストチェック用の重みの数の低減

低遅延ピクチャについては、１／４ピクセル、１ピクセル、および４ピクセルを含むすべてのＭＶＤ精度のためのＲＤコストチェック用に５つの重みが存在する。エンコーダは、最初に１／４ペルＭＶＤ精度のためのＲＤコストをチェックすることになる。発明者らは、１ピクセルおよび４ピクセルＭＶＤ精度のためのＲＤコストチェック用のＧＢｉ重みの部分をスキップすることを提案する。発明者らは、それらの１／４ピクセルＭＶＤ精度におけるＲＤコストに従ってこれらの等しくない重みを整える。ＧＢｉ重み４／８とともに、最も小さいＲＤコストを伴う最初の２つの重みだけが、１ピクセルおよび４ピクセルＭＶＤ精度における符号化の間に評価されることになる。したがって、低遅延ピクチャについては、１ピクセルおよび４ピクセルＭＶＤ精度のために、多くとも３つの重みが評価されることになる。

（３）Ｌ０およびＬ１参照ピクチャが同一のとき、双方向予測探索を条件付きでスキップ

ＲＡ内のいくつかのピクチャについては、両方の参照ピクチャリスト（リスト０およびリスト１）内に同一のピクチャが生じることがある。例えば、ＣＴＣにおけるランダムアクセス符号化構成の場合、第１のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）のための参照ピクチャ構造が以下のとおりにリストされる。

ＰＯＣ：１６，ＴＬ：０，［Ｌ０：０］［Ｌ１：０］
ＰＯＣ：８，ＴＬ：１，［Ｌ０：０ １６］［Ｌ１：１６ ０］
ＰＯＣ：４，ＴＬ：２，［Ｌ０：０ ８］［Ｌ１：８ １６］
ＰＯＣ：２，ＴＬ：３，［Ｌ０：０ ４］［Ｌ１：４ ８］
ＰＯＣ：１，ＴＬ：４，［Ｌ０：０ ２］［Ｌ１：２ ４］
ＰＯＣ：３，ＴＬ：４，［Ｌ０：２ ０］［Ｌ１：４ ８］
ＰＯＣ：６，ＴＬ：３，［Ｌ０：４ ０］［Ｌ１：８ １６］
ＰＯＣ：５，ＴＬ：４，［Ｌ０：４ ０］［Ｌ１：６ ８］
ＰＯＣ：７，ＴＬ：４，［Ｌ０：６ ４］［Ｌ１：８ １６］
ＰＯＣ：１２，ＴＬ：２，［Ｌ０：８ ０］［Ｌ１：１６ ８］
ＰＯＣ：１０，ＴＬ：３，［Ｌ０：８ ０］［Ｌ１：１２ １６］
ＰＯＣ：９，ＴＬ：４，［Ｌ０：８ ０］［Ｌ１：１０ １２］
ＰＯＣ：１１，ＴＬ：４，［Ｌ０：１０ ８］［Ｌ１：１２ １６］
ＰＯＣ：１４，ＴＬ：３，［Ｌ０：１２ ８］［Ｌ１：１２ １６］
ＰＯＣ：１３，ＴＬ：４，［Ｌ０：１２ ８］［Ｌ１：１４ １６］
ＰＯＣ：１５，ＴＬ：４，［Ｌ０：１４ １２］［Ｌ１：１６ １４］

ピクチャ１６、８、４、２、１、１２、１４、および１５が、両方のリスト内に同じ参照ピクチャ（１つまたは複数）を有している。これらのピクチャのための双方向予測については、Ｌ０およびＬ１の参照ピクチャが同一である可能性がある。発明者らは、１）双方向予測における２つの参照ピクチャが同一であり、２）時間レイヤが１より大きく、３）ＭＶＤ精度が１／４ピクセルのとき、エンコーダが、等しくないＧＢｉ重みのための双方向予測ＭＥをスキップすることを提案する。アフィン双方向予測ＭＥについては、この高速スキップ方法が、４パラメータのアフィンＭＥに対してだけ適用される。

（４）時間レイヤおよび、参照ピクチャと現在のピクチャの間におけるＰＯＣ距離に基づいて、等しくないＧＢｉ重みのためのＲＤコストチェックをスキップ

発明者らは、時間レイヤが４に等しいか（ＲＡ内における最も高い時間レイヤ）、または参照ピクチャ（リスト０またはリスト１のいずれか）と現在のピクチャの間におけるＰＯＣ距離が１に等しく、かつ符号化ＱＰが３２より大きい場合に、これらの等しくないＧＢｉ重みのためのＲＤコスト評価をスキップすることを提案する。

（５）ＭＥの間においては、等しくないＧＢｉ重みのための浮動小数点演算を固定小数点演算に変更

既存の双方向予測探索については、エンコーダが、一方のリストのＭＶを固定し、他方のリスト内のＭＶを精緻化することになる。ＭＥの前にターゲットが修正されて、計算の複雑性が低減される。例えば、リスト１のＭＶが固定され、エンコーダがリスト０のＭＶを精緻化することになる場合には、リスト０のＭＶ精緻化のためのターゲットが、式（６）を用いて修正される。Ｏは、元の信号であり、Ｐ_１は、リスト１の予測信号であり、ｗは、リスト１のためのＧＢｉ重みである。

これにおいて、項（１／（８－ｗ））は、浮動小数点精度で格納され、それが計算の複雑性を増加する。発明者らは、式（６）を式（７）のとおりに固定小数点に変更することを提案する。

これにおいて、ａ_１およびａ_２は、スケーリング因子であり、次のとおりに計算される。

２．８．３ ＧＢｉのためのＣＵサイズ制約
この方法においては、小さいＣＵのためにＧＢｉが無効化される。インター予測モードにおいては、双方向予測が使用され、かつＣＵエリアが１２８輝度サンプルより小さい場合に、何らかのシグナリングを伴うことなくＧＢｉが無効化される。

２．９ ＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）の例
双方向オプティカルフロー（ＢＤＯＦまたはＢＩＯ）においては、動き補償が最初に実行されて、現在のブロックの最初の予測が（各予測方向において）生成される。この最初の予測は、各サブブロックまたはブロック内のピクセルの空間的勾配、時間的勾配、およびオプティカルフローの導出に使用され、その後それらが使用されて、２番目の予測、例えば、そのサブブロックまたはピクセルの最終的な予測が生成される。詳細は、以下のとおりに記述される。

ＢＤＯＦは、双方向予測のためのブロック単位の動き補償の先頭に実施されるサンプル単位の動きの精緻化である。いくつかの実装においては、サンプルレベルの動き精緻化がシグナリングを使用しない。

ブロック動き補償後の参照ｋ（ｋ＝０，１）からの輝度値をＩ^（ｋ）とし、∂Ｉ^（ｋ）／∂ｘ、および∂Ｉ^（ｋ）／∂ｙを、それぞれＩ^（ｋ）勾配の水平および垂直成分として示す。オプティカルフローが有効であると仮定すると、動きベクトルフィールド（ｖ_ｘ，ｖ_ｙ）が次のとおりに与えられる：

このオプティカルフロー式と各サンプルの動き軌跡のためのエルミート補間とを組み合わせると、最終的に、関数値Ｉ^（ｋ）、ならびに導関数∂Ｉ^（ｋ）／∂ｘおよび∂Ｉ^（ｋ）／∂ｙの両方に整合する一意的な三次多項式が結果として得られる。ｔ＝０におけるこの多項式の値がＢＤＯＦ予測である：

図２４は、ＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）方法における一例のオプティカルフロー軌跡を示している。ここでは、τ_０およびτ_１が、参照フレームに対する距離を示す。距離τ_０およびτ_１は、Ｒｅｆ_０およびＲｅｆ_１のためのＰＯＣに基づいて計算される：τ_０＝ＰＯＣ（ｃｕｒｒｅｎｔ）－ＰＯＣ（Ｒｅｆ_０）、τ_１＝ＰＯＣ（Ｒｅｆ_１）－ＰＯＣ（ｃｕｒｒｅｎｔ）。両方の予測が同じ時間方向から（両方が過去から、または両方が未来から）到来する場合には、符号が異なる（例えば、τ_０・τ_１＜０）。この場合において、予測が同じ時間モーメントからでない（例えば、τ_０≠τ_１）場合には、ＢＤＯＦが適用される。両方の参照される領域は、非ゼロの動き（例えば、ＭＶ_ｘ０，ＭＶ_ｙ０，ＭＶ_ｘ１，ＭＶ_ｙ１≠０）を有し、ブロック動きベクトルは、時間距離に比例する（例えば、ＭＶ_ｘ０／ＭＶ_ｘ１＝ＭＶ_ｙ０／ＭＶ_ｙ１＝－τ_０／τ_１）。

動きベクトルフィールド（ｖ_ｘ，ｖ_ｙ）は、点ＡとＢにおける値の間の差Δを最小化することによって決定される。図９Ａ～図９Ｂは、動き軌跡および参照フレーム平面の交差の例を示している。モデルは、Δについての局所的テーラー展開の最初の線形項のみを使用する：

上の式のすべての値は、（ｉ’，ｊ’）として示されるサンプルの位置に依存する。動きが、局所的に取り囲むエリア内において一貫していると仮定すると、Δを、現在の予測されているポイント（ｉ，ｊ）に中心を置く（２Ｍ＋１）×（２Ｍ＋１）の正方形の窓Ωの内側に最小化することが可能であり、それにおいてＭは２に等しい：

この最適化問題のために、ＪＥＭは、最初に垂直方向において、その後、水平方向において最小化を行う単純化のアプローチを使用する。この結果は、以下のとおりとなる。

ゼロまたは非常に小さい値による除算を回避するために、式（９）および式（１０）に正則化パラメータｒおよびｍを導入することが可能である。

これにおいて、ｄは、映像サンプルのビット深度である。

ＢＤＯＦのためのメモリアクセスを、通常の双方向予測動き補償のためのそれと同じに維持するために、すべての予測および勾配値、Ｉ^（ｋ），∂Ｉ^（ｋ）／∂ｘ，∂Ｉ^（ｋ）／∂ｙが、現在のブロックの内側の位置について計算される。図２２Ａは、ブロック２２００の外側のアクセス位置の例を示している。図２２Ａに示されているとおり、式（９）において、予測ブロックの境界上の現在の予測点に中心を置く（２Ｍ＋１）×（２Ｍ＋１）の正方形の窓Ωは、ブロックの外側の位置にアクセスする必要がある。ＪＥＭにおいては、ブロックの外側のＩ^（ｋ），∂Ｉ^（ｋ）／∂ｘ，∂Ｉ^（ｋ）／∂ｙの値が、そのブロックの内側の最も近い利用可能な値に等しく設定される。例えば、これは、図２２Ｂに示されるとおり、パディングエリア２２０１として実装することが可能である。

ＢＤＯＦを用いると、各サンプルについて動きフィールドを精緻化できる可能性がある。計算の複雑性を低減するために、ＪＥＭにおいては、ブロックベースのＢＤＯＦの設計が使用される。動きの精緻化は、４×４ブロックに基づいて計算することが可能である。ブロックベースのＢＤＯＦにおいては、４×４ブロック内のすべてのサンプルの式（９）のｓ_ｎの値を集計することが可能であり、その後、集計したｓ_ｎの値が、４×４ブロックのためのＢＤＯＦ動きベクトルオフセットの導出に使用される。より具体的に述べれば、ブロックベースのＢＤＯＦの導出のために以下の公式を使用することが可能である：

これにおいて、ｂ_ｋは、予測されるブロックのｋ番目の４×４ブロックに属するサンプルのセットを示す。式（９）および式（１０）のｓ_ｎは、（（ｓ_ｎ，ｂｋ）＞＞４）によって置換され、関連付けされた動きベクトルオフセットが導出される。

いくつかのシナリオにおいては、ＢＩＯのＭＶレジメントが、ノイズまたは不規則な動きに起因して信頼できないことがある。したがって、ＢＤＯＦにおいては、ＭＶレジメントの大きさが閾値にクリップされる。閾値は、現在のピクチャの参照ピクチャが、すべて１つの方向からのものであるか否かに基づいて決定される。例えば、現在のピクチャの参照ピクチャが、すべて１つの方向からのものである場合には、閾値が、１２×２^１４－ｄに設定され、それ以外の場合には、１２×２^１３－ｄに設定される。

ＢＤＯＦのための勾配は、ＨＥＶＣ動き補償処理（例えば、２Ｄ分離可能なＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ））と調和する演算を使用して動き補償補間と同時に計算することが可能である。いくつかの実施形態においては、２Ｄ分離可能なＦＩＲのための入力が、動き補償処理のためのそれと同じ参照フレームサンプル、およびブロック動きベクトルの分数部分に従った分数位置（ｆｒａｃＸ，ｆｒａｃＹ）である。水平勾配∂Ｉ／∂ｘについては、信号が最初に、逆スケーリングシフトｄ－８を伴う分数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＳを使用して垂直に補間される。その後、１８－ｄによる逆スケーリングシフトを伴う分数位置ｆｒａｃＸに対応して、勾配フィルタＢＩＯｆｉｌｔｅｒＧが水平方向に適用される。垂直勾配∂Ｉ／∂ｙについては、逆スケーリングシフトｄ－８を伴う分数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＧを使用して勾配フィルタが垂直に適用される。その後、１８－ｄによる逆スケーリングシフトを伴う分数位置ｆｒａｃＸに対応して、水平方向にＢＩＯｆｉｌｔｅｒＳを使用して信号変位が実行される。勾配計算のための補間フィルタのＢＩＯｆｉｌｔｅｒＧおよび信号変位ＢＩＯｆｉｌｔｅｒＦの長さは、複雑性を妥当に維持するために、より短く（例えば、６タップ）することが可能である。表１は、ＢＤＯＦにおけるブロック動きベクトルの種々の分数位置の勾配計算のために使用することが可能なフィルタの例を示している。表２は、ＢＩＯにおける予測シグナル生成のために使用することが可能な補間フィルタの例を示している。

ＪＥＭにおいては、２つの予測が異なる参照ピクチャからのものであるとき、双方向予測されるすべてのブロックに対してＢＤＯＦを適用することが可能である。ＬＩＣ（Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）がＣＵのために有効化されているときには、ＢＤＯＦを無効化することが可能である。

いくつかの実施形態においては、通常のＭＣ処理後のブロックにＯＢＭＣが適用される。計算の複雑性を低減するために、ＯＢＭＣ処理の間は、ＢＤＯＦが適用されなくてもよい。このことは、ＢＤＯＦが、それ独自のＭＶの使用時には、ブロックのためのＭＣ処理において適用され、ＯＢＭＣ処理の間に近傍のブロックのＭＶが使用されるときには、ＭＣ処理において適用されないことを意味する。

２．９．１ ＶＴＭ－３．０におけるＢＤＯＦの例
ステップ１：ＢＩＯが適用可能か否かの判断（Ｗ／Ｈは、現在のブロックの幅／高さ）

ＢＩＯは、以下の場合に適用可能でない：
〇現在の映像ブロックがアフィン符号化されているか、またはＡＴＭＶＰ符号化されている
〇（ｉＰＯＣ－ｉＰＯＣ_０）×（ｉＰＯＣ－ｉＰＯＣ_１）≧０
〇Ｈ＝＝４、または（Ｗ＝＝４、かつＨ＝＝８）
〇重み付け予測を伴う
〇ＧＢｉ重みが（１，１）でない

ＢＤＯＦは、２つの参照ブロック（Ｒ_０およびＲ_１として示される）の間における合計のＳＡＤが、閾値より小さい場合、すなわち以下の場合に使用されない：

ステップ２：データの準備

Ｗ×Ｈブロックについて、（Ｗ＋２）×（Ｈ＋２）個のサンプルが補間される。

内側のＷ×Ｈ個のサンプルは、通常の動き補償と同様に、８タップの補間フィルタを用いて補間される。

４つの側辺の外側のサンプルのライン（図２３の黒丸）が、バイリニアフィルタを用いて補間される。

各位置について、２つの参照ブロック（Ｒ_０およびＲ_１）上において勾配が計算される。
Ｇｘ０（ｘ，ｙ）＝（Ｒ０（ｘ＋１，ｙ）－Ｒ０（ｘ－１，ｙ））＞＞４
Ｇｙ０（ｘ，ｙ）＝（Ｒ０（ｘ，ｙ＋１）－Ｒ０（ｘ，ｙ－１））＞＞４
Ｇｘ１（ｘ，ｙ）＝（Ｒ１（ｘ＋１，ｙ）－Ｒ１（ｘ－１，ｙ））＞＞４
Ｇｙ１（ｘ，ｙ）＝（Ｒ１（ｘ，ｙ＋１）－Ｒ１（ｘ，ｙ－１））＞＞４

各位置について、内部の値が以下のとおりに計算される：
Ｔ１＝（Ｒ０（ｘ，ｙ）＞＞６）－（Ｒ１（ｘ，ｙ）＞＞６）、Ｔ２＝（Ｇｘ０（ｘ，ｙ）＋Ｇｘ１（ｘ，ｙ））＞＞３、Ｔ３＝（Ｇｙ０（ｘ，ｙ）＋Ｇｙ１（ｘ，ｙ））＞＞３；および、
Ｂ１（ｘ，ｙ）＝Ｔ２＊Ｔ２、Ｂ２（ｘ，ｙ）＝Ｔ２＊Ｔ３、Ｂ３（ｘ，ｙ）＝－Ｔ１＊Ｔ２、Ｂ５（ｘ，ｙ）＝Ｔ３＊Ｔ３、Ｂ６（ｘ，ｙ）＝－Ｔ１＊Ｔ３

ステップ３：各ブロックのための予測の計算

２つの４×４参照ブロックの間のＳＡＤが閾値より小さい場合には、４×４ブロックのためのＢＤＯＦがスキップされる。

ＶｘおよびＶｙを計算する。

４×４ブロック内の各位置のための最終的な予測を計算する。
ｂ（ｘ，ｙ）＝（Ｖｘ（Ｇｘ^０（ｘ，ｙ）－Ｇｘ^１（ｘ，ｙ））＋Ｖｙ（Ｇｙ^０（ｘ，ｙ）－Ｇｙ^１（ｘ，ｙ））＋１）＞＞１
Ｐ（ｘ，ｙ）＝（Ｒ^０（ｘ，ｙ）＋Ｒ^１（ｘ，ｙ）＋ｂ（ｘ，ｙ）＋ｏｆｆｓｅｔ）＞＞ｓｈｉｆｔ

これにおいて、ｂ（ｘ，ｙ）は、訂正項として知られる。

２．９．２ ＶＴＭ－３．０におけるＢＤＯＦ（またはＢＩＯ）の代替例
８．３．４ インターブロックのための復号化処理

－－ｐｒｅｄＦｌａｇＬ０およびｐｒｅｄＦｌａｇＬ１が１に等しく、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ，ｒｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘ０］）＊ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ，ｒｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘ１］）＜０、ＭｏｔｉｏｎＭｏｄｅｌＩｄｃ［ｘＣｂ］［ｙＣｂ］が０に等しく、かつＭｅｒｇｅＭｏｄｅＬｉｓｔ［ｍｅｒｇｅ＿ｉｄｘ［ｘＣｂ］［ｙＣｂ］］がＳｂＣｏｌに等しくない場合、ｂｉｏＡｖａｉｌａｂｌｅＦｌａｇの値を真に設定する。

－－それ以外の場合には、ｂｉｏＡｖａｉｌａｂｌｅＦｌａｇの値を偽に設定する。

－－ｂｉｏＡｖａｉｌａｂｌｅＦｌａｇが真に等しければ、以下が適用される：
－－変数ｓｈｉｆｔが、Ｍａｘ（２，１４－ｂｉｔＤｅｐｔｈ）に等しく設定される。
－－変数ｃｕＬｅｖｅｌＡｂｓＤｉｆｆＴｈｒｅｓおよびｓｕｂＣｕＬｅｖｅｌＡｂｓＤｉｆｆＴｈｒｅｓが、（１＜＜（ｂｉｔＤｅｐｔｈ－８＋ｓｈｉｆｔ））＊ｃｂＷｉｄｔｈ＊ｃｂＨｅｉｇｈｔおよび１＜＜（ｂｉｔＤｅｐｔｈ－３＋ｓｈｉｆｔ）に等しく設定される。変数ｃｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆが、０に設定される。

－－ｘＳｂＩｄｘ＝０から・・（ｃｂＷｉｄｔｈ＞＞２）－１まで、およびｙＳｂＩｄｘ＝０から・・（ｃｂＨｅｉｇｈｔ＞＞２）－１までについて、現在のサブブロックの変数ｓｕｂＣｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］および双方向オプティカルフロー利用フラグｂｉｏＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］が以下のとおりに導出される：
ｓｕｂＣｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］＝Σ_ｉΣ_ｊＡｂｓ（ｐｒｅｄＳａｍｐｌｅｓＬ０Ｌ［（ｘＳｂＩｄｘ＜＜２）＋１＋ｉ］［（ｙＳｂＩｄｘ＜＜２）＋１＋ｊ］－ｐｒｅｄＳａｍｐｌｅｓＬ１Ｌ［（ｘＳｂＩｄｘ＜＜２）＋１＋ｉ］［（ｙＳｂＩｄｘ＜＜２）＋１＋ｊ］）、ただし、ｉ，ｊ＝０・・・３
ｂｉｏＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］＝ｓｕｂＣｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］＞＝ｓｕｂＣｕＬｅｖｅｌＡｂｓＤｉｆｆＴｈｒｅｓ
ｃｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ＋＝ｓｕｂＣｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］

－－ｃｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆがｃｕＬｅｖｅｌＡｂｓＤｉｆｆＴｈｒｅｓより小さい場合には、ｂｉｏＡｖａｉｌａｂｌｅＦｌａｇを偽に設定する。

－－ｂｉｏＡｖａｉｌａｂｌｅＦｌａｇが真に等しい場合には、現在の輝度符号化サブブロックの内側の予測サンプル、ｐｒｅｄＳａｍｐｌｅｓＬ［ｘＬ＋ｘＳｂ］［ｙＬ＋ｙＳｂ］、ただし、ｘＬ＝０・・・ｓｂＷｉｄｔｈ－１、かつｙＬ＝０・・・ｓｂＨｅｉｇｈｔ－１、が、輝度符号化サブブロック幅ｓｂＷｉｄｔｈ、輝度符号化サブブロック高さｓｂＨｅｉｇｈｔ、およびサンプル配列ｐｒｅｄＳａｍｐｌｅｓＬ０ＬおよびｐｒｅｄＳａｍｐｌｅｓＬ１Ｌ、および変数ｐｒｅｄＦｌａｇＬ０、ｐｒｅｄＦｌａｇＬ１、ｒｅｆＩｄｘＬ０、ｒｅｆＩｄｘＬ１を用いて、第８．３．４．５節に指定されている双方向オプティカルフローサンプル予測処理を呼び出すことによって導出される。

８．３．４．３ 分数標本補間処理
８．３．４．３．１ 全般

この処理に対する入力は：
－現在のピクチャの上左側の輝度サンプルに関する現在の符号化サブブロックの上左側標本を指定する輝度位置（ｘＳｂ，ｙＳｂ）、
－輝度サンプル内の現在の符号化サブブロックの幅を指定する変数ｓｂＷｉｄｔｈ、
－輝度サンプル内の現在の符号化サブブロックの高さを指定する変数ｓｂＨｅｉｇｈｔ、
－１／１６輝度サンプル単位で与えられる輝度動きベクトルｍｖＬＸ、
－１／３２彩度サンプル単位で与えられる彩度動きベクトルｍｖＣＬＸ、
－選択された参照ピクチャサンプル配列ｒｅｆＰｉｃＬＸＬおよび配列ｒｅｆＰｉｃＬＸＣｂおよびｒｅｆＰｉｃＬＸＣｒ、
－双方向オプティカルフロー有効化フラグｂｉｏＡｖａｉｌａｂｌｅＦｌａｇ、
である。

この処理の出力は：
－ｂｉｏＡｖａｉｌａｂｌｅＦｌａｇが偽のときの予測輝度サンプル値の（ｓｂＷｉｄｔｈ）×（ｓｂＨｅｉｇｈｔ）配列ｐｒｅｄＳａｍｐｌｅｓＬＸＬ、またはｂｉｏＡｖａｉｌａｂｌｅＦｌａｇが真のときの予測輝度サンプル値の（ｓｂＷｉｄｔｈ＋２）×（ｓｂＨｅｉｇｈｔ＋２）配列のｐｒｅｄＳａｍｐｌｅｓＬＸＬ、
－予測彩度サンプル値の２つの（ｓｂＷｉｄｔｈ／２）×（ｓｂＨｅｉｇｈｔ／２）配列ｐｒｅｄＳａｍｐｌｅｓＬＸＣｂおよびｐｒｅｄＳａｍｐｌｅｓＬＸＣｒ、
である。

（ｘＩｎｔＬ，ｙＩｎｔＬ）をフルサンプル単位で与えられる輝度位置とし、（ｘＦｒａｃＬ，ｙＦｒａｃＬ）を、１／１６サンプル単位で与えられるオフセットとする。これらの変数は、参照サンプル配列ｒｅｆＰｉｃＬＸＬ、ｒｅｆＰｉｃＬＸＣｂ、およびｒｅｆＰｉｃＬＸＣｒの内側の分数サンプル位置を指定するために、この節内においてのみ使用される。

ｂｉｏＡｖａｉｌａｂｌｅＦｌａｇが真に等しいときは、予測輝度サンプル配列ｐｒｅｄＳａｍｐｌｅｓＬＸＬの内側の各輝度サンプル位置（ｘＬ＝－１・・・ｓｂＷｉｄｔｈ，ｙＬ＝－１・・・ｓｂＨｅｉｇｈｔ）について、対応する予測輝度サンプル値ｐｒｅｄＳａｍｐｌｅｓＬＸＬ［ｘＬ］［ｙＬ］が、以下のとおりに導出される：

－変数ｘＩｎｔＬ、ｙＩｎｔＬ、ｘＦｒａｃＬ、およびｙＦｒａｃＬは、次のとおりに導出される：
ｘＩｎｔＬ＝ｘＳｂ－１＋（ｍｖＬＸ［０］＞＞４）＋ｘＬ
ｙＩｎｔＬ＝ｙＳｂ－１＋（ｍｖＬＸ［１］＞＞４）＋ｙＬ
ｘＦｒａｃＬ＝ｍｖＬＸ［０］＆１５
ｙＦｒａｃＬ＝ｍｖＬＸ［１］＆１５

－ｂｉｌｉｎｅａｒＦｉｌｔＥｎａｂｌｅｄＦｌａｇの値は、次のとおりに導出される：
－ｘＬが－１またはｓｂＷｉｄｔｈに等しいか、またはｙＬが－１またはｓｂＨｅｉｇｈｔに等しい場合には、ｂｉｌｉｎｅａｒＦｉｌｔＥｎａｂｌｅｄＦｌａｇの値を真に設定する。
－それ以外の場合には、ｂｉｌｉｎｅａｒＦｉｌｔＥｎａｂｌｅｄＦｌａｇの値を偽に設定する。

－予測輝度サンプル値ｐｒｅｄＳａｍｐｌｅｓＬＸＬ［ｘＬ］［ｙＬ］は、（ｘＩｎｔＬ，ｙＩｎｔＬ）、（ｘＦｒａｃＬ，ｙＦｒａｃＬ）、ｒｅｆＰｉｃＬＸＬ、およびｂｉｌｉｎｅａｒＦｉｌｔＥｎａｂｌｅｄＦｌａｇを入力として用いて、８．３．４．３．２節に指定されている処理を呼び出すことによって導出される。

ｂｉｏＡｖａｉｌａｂｌｅＦｌａｇが偽に等しいときは、予測輝度サンプル配列ｐｒｅｄＳａｍｐｌｅｓＬＸＬの内側の各輝度サンプル位置（ｘＬ＝０・・・ｓｂＷｉｄｔｈ－１，ｙＬ＝０・・・ｓｂＨｅｉｇｈｔ－１）について、対応する予測輝度サンプル値ｐｒｅｄＳａｍｐｌｅｓＬＸＬ［ｘＬ］［ｙＬ］が、以下のとおりに導出される：

－変数ｘＩｎｔＬ、ｙＩｎｔＬ、ｘＦｒａｃＬ、およびｙＦｒａｃＬは、次のとおりに導出される：
ｘＩｎｔＬ＝ｘＳｂ＋（ｍｖＬＸ［０］＞＞４）＋ｘＬ
ｙＩｎｔＬ＝ｙＳｂ＋（ｍｖＬＸ［１］＞＞４）＋ｙＬ
ｘＦｒａｃＬ＝ｍｖＬＸ［０］＆１５
ｙＦｒａｃＬ＝ｍｖＬＸ［１］＆１５

－変数ｂｉｌｉｎｅａｒＦｉｌｔＥｎａｂｌｅｄＦｌａｇは、偽に設定される。

－予測輝度サンプル値ｐｒｅｄＳａｍｐｌｅｓＬＸＬ［ｘＬ］［ｙＬ］は、（ｘＩｎｔＬ，ｙＩｎｔＬ）、（ｘＦｒａｃＬ，ｙＦｒａｃＬ）、ｒｅｆＰｉｃＬＸＬ、およびｂｉｌｉｎｅａｒＦｉｌｔＥｎａｂｌｅｄＦｌａｇを入力として用いて、８．３．４．３．２節に指定されている処理を呼び出すことによって導出される。

８．３．４．５ 双方向オプティカルフロー（ＢＤＯＦまたはＢＩＯ）予測処理

この処理に対する入力は：
－現在の符号化ブロックの幅および高さを指定する２つの変数ｎＣｂＷおよびｎＣｂＨ、
－２つの（ｎＣｂＷ＋２）×（ｎＣｂＨ＋２）輝度予測サンプル配列のｐｒｅｄＳａｍｐｌｅｓＬ０およびｐｒｅｄＳａｍｐｌｅｓＬ１、
－予測リスト利用フラグのｐｒｅｄＦｌａｇＬ０およびｐｒｅｄＦｌａｇＬ１、
－参照インデックスのｒｅｆＩｄｘＬ０およびｒｅｆＩｄｘＬ１、
－双方向オプティカルフロー利用フラグのｂｉｏＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］、ｘＳｂＩｄｘ＝０．．（ｎＣｂＷ＞＞２）－１、ｙＳｂＩｄｘ＝０．．（ｎＣｂＨ＞＞２）－１、
である。

この処理の出力は、輝度予測サンプル値の（ｎＣｂＷ）×（ｎＣｂＨ）配列、ｐｂＳａｍｐｌｅｓである。

変数ｂｉｔＤｅｐｔｈは、ＢｉｔＤｅｐｔｈＹに等しく設定される。

変数ｓｈｉｆｔ２は、Ｍａｘ（３，１５－ｂｉｔＤｅｐｔｈ）に等しく設定され、変数ｏｆｆｓｅｔ２は、１＜＜（ｓｈｉｆｔ２－１）に等しく設定される。

変数ｍｖＲｅｆｉｎｅＴｈｒｅｓは、１＜＜（１３－ｂｉｔＤｅｐｔｈ）に等しく設定される。

ｘＳｂＩｄｘ＝０から（ｎＣｂＷ＞＞２）－１まで、およびｙＳｂＩｄｘ＝０から（ｎＣｂＨ＞＞２）－１までにおいて、
－ｂｉｏＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］が偽の場合には、ｘ＝ｘＳｂ・・・ｘＳｂ＋３、およびｙ＝ｙＳｂ・・・ｙＳｂ＋３について、現在の予測ユニットの予測サンプル値が、以下のとおりに導出される：
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ）－１，
（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］＋ｏｆｆｓｅｔ２）＞＞ｓｈｉｆｔ２）

－それ以外の場合には、現在の予測ユニットの予測サンプル値が、以下のとおりに導出される：
予測サンプル配列ｐｒｅｄＳａｍｐｌｅｓＬ０およびｐｒｅｄＳａｍｐｌｅＬ１の上左のサンプルに関する現在のサブブロックの上左側サンプルを指定する位置（ｘＳｂ，ｙＳｂ）が、次のとおりに導出される：
ｘＳｂ＝（ｘＳｂＩｄｘ＜＜２）＋１
ｙＳｂ＝（ｙＳｂＩｄｘ＜＜２）＋１

－ｘ＝ｘＳｂ－１からｘＳｂ＋４まで、およびｙ＝ｙＳｂ－１からｙＳｂ＋４までにおいて、以下が適用される：
－予測サンプル配列の内側の対応するサンプル（ｘ，ｙ）のそれぞれについての位置（ｈｘ，ｖｙ）が、次のとおりに導出される：
ｈｘ＝Ｃｌｉｐ３（１，ｎＣｂＷ，ｘ）
ｖｙ＝Ｃｌｉｐ３（１，ｎＣｂＨ，ｙ）

－変数のｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］、およびｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］が、次のとおりに導出される：
ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ－１］［ｖｙ］）＞＞４
ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ－１］）＞＞４
ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ－１］［ｖｙ］）＞＞４
ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ－１］）＞＞４

－変数のｔｅｍｐ、ｔｅｍｐＸ、およびｔｅｍｐＹが、次のとおりに導出される：
ｔｅｍｐ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ］［ｖｙ］＞＞６）－（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈｘ］［ｖｙ］＞＞６）
ｔｅｍｐＸ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］）＞＞３
ｔｅｍｐＹ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］）＞＞３

－変数のｓＧｘ２、ｓＧｙ２、ｓＧｘＧｙ、ｓＧｘｄＩ、およびｓＧｙｄＩが、次のとおりに導出される：
ｓＧｘ２＝Σ_ｘΣ_ｙ（ｔｅｍｐＸ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］＊ｔｅｍｐＸ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］）、ただし、ｘ，ｙ＝－１・・・４
ｓＧｙ２＝Σ_ｘΣ_ｙ（ｔｅｍｐＹ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］＊ｔｅｍｐＹ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］）、ただし、ｘ，ｙ＝－１・・・４
ｓＧｘＧｙ＝Σ_ｘΣ_ｙ（ｔｅｍｐＸ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］＊ｔｅｍｐＹ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］）、ただし、ｘ，ｙ＝－１・・・４
ｓＧｘｄＩ＝Σ_ｘΣ_ｙ（－ｔｅｍｐＸ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］＊ｔｅｍｐ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］）、ただし、ｘ，ｙ＝－１・・・４
ｓＧｙｄＩ＝Σ_ｘΣ_ｙ（－ｔｅｍｐＹ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］＊ｔｅｍｐ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］）、ただし、ｘ，ｙ＝－１・・・４

－現在のサブブロックの水平および垂直の動き精緻化が、次のとおりに導出される：
ｖｘ＝ｓＧｘ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，－（ｓＧｘｄＩ＜＜３）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２）））：０
ｖｙ＝ｓＧｙ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，（（ｓＧｙｄＩ＜＜３）－（（ｖｘ＊ｓＧｘＧｙｍ）＜＜１２＋ｖｘ＊ｓＧｘＧｙｓ）＞＞１）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｙ２）））：０
ｓＧｘＧｙｍ＝ｓＧｘＧｙ＞＞１２；
ｓＧｘＧｙｓ＝ｓＧｘＧｙ＆（（１＜＜１２）－１）

ｘ＝ｘＳｂ－１からｘＳｂ＋２まで、およびｙ＝ｙＳｂ－１からｙＳｂ＋２までにおいて、以下が適用される：
ｓａｍｐｌｅＥｎｈ＝Ｒｏｕｎｄ（（ｖｘ＊（ｇｒａｄｉｅｎｔＨＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＨＬ０［ｘ＋１］［ｙ＋１］））＞＞１）＋Ｒｏｕｎｄ（（ｖｙ＊（ｇｒａｄｉｅｎｔＶＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＶＬ０［ｘ＋１］［ｙ＋１］））＞＞１）
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ）－１，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ＋１］［ｙ＋１］＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ＋１］［ｙ＋１］＋ｓａｍｐｌｅＥｎｈ＋ｏｆｆｓｅｔ２）＞＞ｓｈｉｆｔ２）

２．１０ ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）の例
双方向予測演算においては、１つのブロック領域の予測のためにそれぞれ、ｌｉｓｔ０の動きベクトル（ＭＶ）およびｌｉｓｔ１のＭＶを使用して形成される２つの予測ブロックが組み合わされて単一の予測シグナルが形成される。ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）方法においては、双方向予測の２つの動きベクトルが、さらに、バイラテラルテンプレートマッチング処理によって精緻化される。デコーダにおいて適用されるバイラテラルテンプレートマッチングは、追加の動き情報の伝達を伴うことなく精緻化されたＭＶを獲得するために、バイラテラルテンプレートと参照ピクチャ内の再構築サンプルの間において歪みベースの探索を実行する。

ＤＭＶＲにおいては、バイラテラルテンプレートが、図２４に示されているとおり、それぞれ、ｌｉｓｔ０の初期ＭＶ０およびｌｉｓｔ１のＭＶ１からの２つの予測ブロックの重み付けされた組み合わせ（すなわち、平均）として生成される。テンプレートマッチング演算は、生成されたテンプレートと参照ピクチャ内の（初期予測ブロック周りの）サンプル領域の間におけるコスト測度の計算からなる。２つの参照ピクチャのそれぞれについて、最小テンプレートコストをもたらしたＭＶが、そのリストのアップデート後のＭＶとして考慮されて、元のそれと置き換わる。ＪＥＭにおいては、それぞれのリストについて、９つのＭＶ候補が探索される。これらの９つのＭＶ候補は、元のＭＶと、元のＭＶに対する水平または垂直いずれか、または両方の方向における１輝度サンプルオフセットを伴って周囲を取り囲む８つのＭＶを含む。最後に、２つの新しいＭＶ、すなわち、図２４に示されているとおりのＭＶ０′およびＭＶ１′が、最終的な双方向予測結果を生成するために使用される。コスト測度として、差分絶対値和（ＳＡＤ）が使用される。なお、１つの周囲を取り囲むＭＶによって生成される予測ブロックのコストを計算するとき、実際には、（整数ピクセルに）丸められたＭＶが実際のＭＶに代えて使用されて、予測ブロックが獲得される。

ＤＭＶＲは、追加の構文要素の伝達を伴うことなく、一方のＭＶは、過去の参照ピクチャから、他方は、未来の参照ピクチャからとする双方向予測のマージモードのために適用される。ＪＥＭにおいては、ＬＩＣ、アフィン動き、ＦＲＵＣ、またはサブＣＵマージ候補がＣＵのために有効化されているときには、ＤＭＶＲが適用されない。

３． 開示されている技術に関係する例示的な実施形態
３．１ ＣＣＬＭ（Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｍｏｄｅｌ）予測の例

交差成分の冗長性を低減するために、ＬＭとしても知られるＣＣＬＭ予測モードがＪＥＭにおいて使用され、それにおいては、以下のとおり、線形モデルを使用することによって、同じＣＵの再構築された輝度サンプルに基づいて彩度サンプルが予測される：

これにおいて、ｐｒｅｄ_Ｃ（ｉ，ｊ）は、ＣＵ内の予測される彩度サンプルを表し、ｒｅｃ_Ｌ’（ｉ，ｊ）は、色フォーマットが４：２：０または４：２：２のときには同じＣＵのダウンサンプリングされた再構築後の輝度サンプルを表すが、色フォーマットが４：４：４のときには、ｒｅｃ_Ｌ’（ｉ，ｊ）は、同じＣＵの再構築後の輝度サンプルを表す。ＣＣＬＭパラメータαおよびβは、現在のブロック周りの近傍の再構築後の輝度および彩度サンプルの間における回帰誤差を最小化することによって次のとおりに導出される：

これにおいて、Ｌ（ｎ）は、ダウンサンプリングされた（色フォーマットが４：２：０または４：２：２のとき）または元の（色フォーマットが４：４：４のとき）上側および左側の近傍の再構築後の輝度サンプルを表し、Ｃ（ｎ）は、上側および左側の近傍の再構築後の彩度サンプルを表し、Ｎの値は、現在の彩度符号化ブロックの幅および高さのうちの最小値の２倍に等しい。正方形状の符号化ブロックについては、上の２つの式が直接適用される。非正方形の符号化ブロックについては、より長い方の境界の近傍のサンプルが、より短い方の境界のためのサンプルと同数を有するべく最初にサブサンプリングされる。図２５は、ＣＣＬＭモードに関係する左側および上側の再構築されたサンプル、および現在ブロックのサンプルの位置を示している。

この回帰誤差最小化の計算は、エンコーダ探索演算だけでなく、復号化処理の一部として実行され、したがって、αおよびβ値の伝達に構文は使用されない。また、ＣＣＬＭ予測モードは、２つの彩度成分の間における予測も含み、すなわち、Ｃｒ成分がＣｂ成分から予測される。残部の領域には、再構築されたサンプル信号を使用することに代えて、ＣＣＬＭのＣｂからのＣｒ予測が適用される。これは、重み付けされた再構築後のＣｂ残部を元のＣｒイントラ予測に加えて、最終的なＣｒ予測を形成することによって実装される：

これにおいて、ｒｅｓｉ_Ｃｂ’（ｉ，ｊ）は、位置（ｉ，ｊ）における再構築後のＣｂ残留サンプルを示す。

スケーリング因子αは、ＣＣＬＭの輝度からの彩度予測における方法と類似の形で導出される。唯一の相違は、以下のとおり、導出されたスケーリング因子が－０．５のデフォルト値に向けてバイアスされるように、誤差関数におけるデフォルトのα値に関して回帰コストが加算されることである：

これにおいて、Ｃｂ（ｎ）は、近傍の再構築されたＣｂサンプルを表し、Ｃｒ（ｎ）は、近傍の再構築されたＣｒサンプルを表し、λは、Σ（Ｃｂ（ｎ）・Ｃｂ（ｎ））＞＞９に等しい。

ＣＣＬＭの輝度からの彩度予測モードは、１つの追加の彩度イントラ予測モードとして追加される。エンコーダ側においては、彩度成分のための追加の１つのＲＤコストチェックが、彩度イントラ予測モードを選択するために追加される。ＣＣＬＭの輝度からの彩度予測モード以外のイントラ予測モードがＣＵの彩度成分のために使用されるときには、ＣＣＬＭのＣｂからのＣｒ予測が、Ｃｒ成分の予測のために使用される。

３．２ 単純化したＣＣＬＭの例
いくつかの既存の実装においては、線形モデルのパラメータαおよびβのＬＭＳアルゴリズムが、直線の式によって置き換えられる。２つのポイント（輝度および彩度の対）（Ａ，Ｂ）は、図２６に図示されているとおり、隣接する輝度サンプルのセットの内側の最小値および最大値である。これにおいて、線形モデルのパラメータαおよびβは、以下に従って取得される：

除算は、乗算およびシフトによって回避し、置き換えられてもよい。

彩度予測因子を導出するために、現在のＶＴＭ実装に関して、以下のとおり、乗算を整数演算によって置き換える：

さらに、その実装は、また、シフトＳが常に同一の値を有することから、現在のＶＴＭ実装より単純でもある。複雑性に関して言えば、提案されているアルゴリズムは、次の表に示されているとおり、演算の数を低減する：

演算の数は低減されるが、提案されている方法は、近傍のサンプルの最小および最大の輝度値を取得するためにいくつかの比較を必要とする。

４． 既存の実装の欠点
いくつかの既存の実装は、以下の欠点を抱えている。

（１）ＢＩＯおよびＣＣＬＭは、両方ともに線形回帰を必要とするが、単純化の方法が異なる。

（２）ＶＴＭにおけるＢＩＯ実装は、ＰＯＣ距離を考慮しない。

（３）Ｒｅｆ０上の速度は、ｖ_ｘ ^（０）およびｖ_ｙ ^（０）として示される。Ｒｅｆ１上の速度は、ｖ_ｘ ^（１）およびｖ_ｙ ^（１）として示される。現在のＢＩＯ設計においては、２つの参照ピクチャ上の速度が、ｖ_ｘ ^（１）＝－ｖ_ｘ ^（０）＝ｖ_ｘおよびｖ_ｙ ^（１）＝－ｖ_ｙ ^（０）＝ｖ_ｙ（または、ｖ_ｘ ^（１）＝ｖ_ｘ ^（０）＝ｖ_ｘおよびｖ_ｙ ^（１）＝ｖ_ｙ ^（０）＝ｖ_ｙ）であるようにミラーリングされることが前提とされる。しかしながら、この前提が真でないことがあり得る。

（４）ＢＩＯにおける速度ｖ_ｘおよびｖ_ｙの導出が過度に単純化されている。

（５）ＢＩＯにおけるｖ_ｘおよびｖ_ｙの導出は、ＤＭＶＲまたはデコーダ側の動き導出と組み合わせることが可能である。

（６）ｖ_ｘおよびｖ_ｙがわかれば、Ｒｅｆ０／Ｒｅｆ１上の予測／勾配をさらに精緻化されてよい。
（７）追加の補間フィルタ（バイリニアフィルタ）が、ピクセルおよび境界の補間に導入される。

（８）いくつかの丸めおよびクリッピング演算が、ＢＩＯ手順の中に見当たらない。

（９）内部演算の精度がさらに下げられることが可能である。

（１０）ＢＩＯのためのＳＡＤの計算を単純化することが可能である。

（１１）ＧＢｉが適用されるとき、値の重み付けが、ＢＩＯ導出手順の中で適切に考慮されない。

５． 精緻化を伴うインター予測のための方法の例
現在開示されている技術の実施形態は、既存の実装の欠点を克服し、ＢＩＯおよびＣＣＬＭにおける線形回帰手順を調和させ、ＢＩＯの修正を提案し、それによってより高い符号化効率を伴う映像符号化を提供する。開示されている技術に基づく線形モード予測の調和は、既存および将来両方の映像符号化標準を強化することができ、それは、以下の多様な実装のために記述されている例の中で明瞭になる。以下に提供される開示されている技術の例は、一般概念を説明するものであり、限定として解釈されることを意味しない。例においては、別段の記載が明示的に示されていない限り、これらの例の中に記述された多様な特徴を組み合わせることができる。

リスト０およびリスト１からの現在のピクチャの参照ピクチャを、それぞれＲｅｆ０およびＲｅｆ１によって示し、τ_０＝ＰＯＣ（ｃｕｒｒｅｎｔ）－ＰＯＣ（Ｒｅｆ０）、τ_１＝ＰＯＣ（Ｒｅｆ１）－ＰＯＣ（ｃｕｒｒｅｎｔ）と示し、Ｒｅｆ０およびＲｅｆ１からの現在のブロックの参照ブロックを、それぞれｒｅｆｂｌｋ０およびｒｅｆｂｌｋ１によって示す。現在のブロック内のサブブロックについて、ｒｅｆｂｌｋ１を指し示すｒｅｆｂｌｋ０内のその対応するサブブロックのＭＶを、（ｖ_ｘ，ｖ_ｙ）によって示す。Ｒｅｆ０およびＲｅｆ１内のサブブロックのＭＶを、それぞれ、（ｍｖＬ０_ｘ，ｍｖＬ０_ｙ）および（ｍｖＬ１_ｘ，ｍｖＬ１_ｙ）によって示す。

Ｓｈｉｆｔ（ｘ，ｓ）は、Ｓｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）＞＞ｓとして定義される。

ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）は、次のとおりに定義される：

これにおいて、ｏｆｆは、整数のオフセット、例えば、０または２^ｓ－１を表す。

Ｃｌｉｐ３（ｘ，ｍｉｎ，ｍａｘ）は、次のとおりに定義される：

例１。ＢＩＯ内において使用される線形最適化モジュールが、映像符号化システム内の他の符号化ツールによって使用されることが可能であることが提案される。

（ａ）線形最適化モジュールは、ｋを０からＮ－１までとする入力、２つのパラメータａおよびｂを出力として、以下の式が最小化または概略最小化が可能となるようなサンプルのグループ（ｕ_ｋ，ｖ_ｋ，ｗ_ｋ）を含む。

式（９）および式（１０）から、ＢＩＯ内における次のことがわかる：

これにおいて、Ｇ_ｘ（ｘ，ｙ）およびＧ_ｙ（ｘ，ｙ）は、それぞれ、水平および垂直の勾配を表す。

（ｂ）１つの例においては、ＢＩＯ内で使用される線形最適化モジュールが、ＣＣＬＭのためのパラメータの導出に使用される。式（１８）および式（１９）から、表記を次のとおりに記述することが可能である：

（ｃ）それに代えて、別の、ＣＣＬＭ等の符号化ツール内で使用される線形最適化モジュールを使用して、ＢＩＯ内におけるｖ_ｘおよびｖ_ｙを導出することも可能である。

例２。ＢＩＯ手順を適用するか否か、およびどのように適用するかということがＰＯＣ距離に依存することが提案される。

（ａ）ａｂｓ（τ_０）≧Ｔ０、またはａｂｓ（τ_１）≧Ｔ１の場合には、ＢＩＯ手順が適用されない。Ｔ０およびＴ１は、整数、例えば、Ｔ０＝Ｔ１＝４である。Ｔ０およびＴ１は、一定の数とすること、またはＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵ内においてデコーダに対してエンコーダからシグナリングすることが可能である。

（ｂ）ａｂｓ（τ_０）≧Ｔ０、かつａｂｓ（τ_１）≧Ｔ１の場合には、ＢＩＯ手順が適用されない。Ｔ０およびＴ１は、整数、例えば、Ｔ０＝Ｔ１＝４である。Ｔ０およびＴ１は、一定の数とすること、またはＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵ内においてデコーダに対してエンコーダからシグナリングすることが可能である。

（ｃ）ａｂｓ（τ_０）＋ａｂｓ（τ_１）≧Ｔの場合には、ＢＩＯ手順が適用されない。Ｔは、整数、例えば、Ｔ＝８である。Ｔは、一定の数とすること、またはＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵ内においてデコーダに対してエンコーダからシグナリングすることが可能である。

（ｄ）ａｂｓ（ａｂｓ（τ_０）－ａｂｓ（τ_１））≧Ｔの場合には、ＢＩＯ手順が適用されない。Ｔは、整数、例えば、Ｔ＝８である。Ｔは、一定の数とすること、またはＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵ内においてデコーダに対してエンコーダからシグナリングすることが可能である。

（ｅ）ａｂｓ（τ_０）≧Ｔ＊ａｂｓ（τ_１）、またはａｂｓ（τ_１）≧Ｔ＊ａｂｓ（τ_０）の場合には、ＢＩＯ手順が適用されない。Ｔは、整数、例えば、Ｔ＝４である。Ｔは、一定の数とすること、またはＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵ内においてデコーダに対してエンコーダからシグナリングすることが可能である。

例３。ＢＩＯ処理における予測値の精緻化に使用される速度ベクトルがＰＯＣ距離に依存することが提案される。ＢＩＯ手順の後の予測は、以下のとおりに計算される：

これにおいて、Ｇ_ｘ ^（０）およびＧ_ｙ ^（０）は、Ｒｅｆ０上の水平および垂直の勾配を表し、Ｇ_ｘ ^（０）およびＧ_ｙ ^（０）は、Ｒｅｆ０上の水平および垂直の勾配を表す。

（ｉ）ＶＴＭ－３．０におけるＢＩＯ設計においては、ｖ_ｘ＝ｖ_ｘ ^（１）＝－ｖ_ｘ ^（０）、かつｖ_ｙ＝ｖ_ｙ ^（１）＝－ｖ_ｙ ^（０）であり、ｖ_ｘおよびｖ_ｙが導出される。その後、式（２２）が式（９）とまったく同じになる。

（ｉｉ）１つの例においては：

これにおいて、除算は、ＨＥＶＣにおけるＭＶスケーリング演算と同様に乗算およびシフトとして実装することが可能である。

例４。常に、最初にｖ_ｙが０に等しいことを前提としてからｖ_ｘを導出することに代えて、最初にｖ_ｙを導出し、ｖ_ｙに基づいてｖ_ｘを導出することが提案される。それに代えて、ｖ_ｙまたはｖ_ｘを最初に導出するか否かは、符号化された情報、例えば、動きベクトルの水平および垂直成分、ブロックサイズ等の値に依存することができる。

例５。ｖ_ｘおよびｖ_ｙが反復的な形で導出されることが提案される。
ａ．１つの例においては、ｉ番目のステップにおいて導出されたｖ_ｘがｉ番目のステップにおけるｖ_ｙの導出に使用され、ｉ番目のステップにおいて導出されたｖ_ｙが、ｉ＋１番目のステップにおいて導出されるｖ_ｘの導出に使用される。この導出が反復的に行われる。
ｂ．それの代替においては、ｉ番目のステップにおいて導出されたｖ_ｙがｉ番目のステップにおけるｖ_ｘの導出に使用され、ｉ番目のステップにおいて導出されたｖ_ｘが、ｉ＋１番目のステップにおいて導出されるｖ_ｙの導出に使用される。この導出が反復的に行われる。
ｃ．同一のステップ内においてｖ_ｘの導出にｖ_ｙを使用するか、またはｖ_ｙの導出にｖ_ｘを使用するかについては、符号化された情報、例えば、動きベクトルの水平および垂直成分、ブロックサイズ等の値に依存してよい。

ｄ．１つの例においては、ｖ_ｙ＝－（ｓ_６－ε×ｖ_ｘｓ_２）／ｓ_５とし、それにおいてｓ２、ｓ５、ｓ６は、式（１３）におけるとおりに定義される。εは、整数、または１／２または１／４などの分数である。
ｉ．除法演算は、単純化すること、例えば、ＪＥＭ－３．０におけるように、ＭＳＢシフトによって置き換えることが可能である。
ｉｉ．クリッピング演算を除法演算後にすることができる。

ｅ．１つの例においては、ｖ_ｘ＝－（ｓ_３－ε×ｖ_ｙｓ_２）／ｓ_１とし、それにおいてｓ１、ｓ２、ｓ３は、式（１３）におけるとおりに定義される。εは、整数、または１／２または１／４などの分数である。
ｉ．除法演算は、単純化すること、例えば、ＪＥＭ－３．０におけるように、ＭＳＢシフトによって置き換えることが可能である。
ｉｉ．クリッピング演算を除法演算後にすることができる。

ｆ．この導出は、ｉが所定の数、例えば２に到達するまで反復的に行われる。
ｇ．それの代替においては、導出の１ラウンドの前後におけるｖ_ｘおよび／またはｖ_ｙの間の絶対差が閾値より小さくなるまで導出が反復的に行われる。

例６。ＢＩＯにおけるｖ_ｘおよびｖ_ｙの導出は、ＤＭＶＲ、バイラテラルマッチング、またはその他の、デコーダ側の動き導出方法と組み合わせることが可能である。
ａ．ブロックまたはサブブロック（４×４ブロック等）のためにＢＩＯにおいて導出されるｖ_ｘおよびｖ_ｙは、ＤＭＶＲ、バイラテラルマッチング、またはその他のデコーダ側の動き導出方法の探索開始点の導出に使用することが可能である。Ｒｅｆ０およびＲｅｆ１のための元のＭＶをＭＶ０およびＭＶ１とし、ＤＭＶＲ、バイラテラルマッチング、またはその他のデコーダ側の動き導出方法の開始点としてＭＶ０’およびＭＶ１’と記されるＭＶは、以下のとおりに計算することが可能である：
ｉ．１つの例においては、ＭＶ０’＝ＭＶ０＋（ｖ_ｘ，ｖ_ｙ）、ＭＶ１’＝ＭＶ１－（ｖ_ｘ，ｖ_ｙ）；
ｉｉ．１つの例においては、ＭＶ０’＝ＭＶ０－（ｖ_ｘ，ｖ_ｙ）、ＭＶ１’＝ＭＶ１＋（ｖ_ｘ，ｖ_ｙ）；
ｉｉｉ．１つの例においては、ＭＶ０’＝ＭＶ０＋Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ）、ＭＶ１’＝ＭＶ１－Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ）；
ｉｖ．１つの例においては、ＭＶ０’＝ＭＶ０－Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ）、ＭＶ１’＝ＭＶ１＋Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ）；
ｖ．１つの例においては、ＭＶ０’＝Ｃｌｉｐ（ＭＶ０＋Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ））、ＭＶ１’＝Ｃｌｉｐ（ＭＶ１－Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ））；
ｖｉ．１つの例においては、ＭＶ０’＝Ｃｌｉｐ（ＭＶ０－Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ））、ＭＶ１’＝Ｃｌｉｐ（ＭＶ１＋Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ））；

ｂ．それの代替においては、ブロックまたはサブブロック（４×４ブロック等）のためのＤＭＶＲ、バイラテラルマッチング、またはその他のデコーダ側の動き導出方法の出力ＭＶを、ＢＩＯ内において使用されるｖ_ｘおよびｖ_ｙの導出に使用することが可能である。Ｒｅｆ０およびＲｅｆ１のための元のＭＶをＭＶ０およびＭＶ１とし、出力ＭＶをＭＶ０’およびＭＶ１’とすると、ｖ_ｘおよびｖ_ｙは、以下のとおりに計算することが可能である：
ｉ．１つの例においては、（ｖ_ｘ，ｖ_ｙ）＝Ｓｃａｌｅ（ＭＶ０’－ＭＶ０）
ｉｉ．１つの例においては、（ｖ_ｘ，ｖ_ｙ）＝Ｓｃａｌｅ（ＭＶ０－ＭＶ０’）
ｉｉｉ．１つの例においては、（ｖ_ｘ，ｖ_ｙ）＝Ｓｃａｌｅ（ＭＶ１’－ＭＶ１）
ｉｖ．１つの例においては、（ｖ_ｘ，ｖ_ｙ）＝Ｓｃａｌｅ（ＭＶ１－ＭＶ１’）
ｖ．１つの例においては、（ｖ_ｘ，ｖ_ｙ）＝（Ｓｃａｌｅ（ＭＶ０’－ＭＶ０）＋Ｓｃａｌｅ（ＭＶ１’－ＭＶ１））／２
ｖｉ．１つの例においては、（ｖ_ｘ，ｖ_ｙ）＝（Ｓｃａｌｅ（ＭＶ０－ＭＶ０’）＋Ｓｃａｌｅ（ＭＶ１－ＭＶ１’））／２

例７。導出されたｖ_ｘおよびｖ_ｙは、Ｒｅｆ０およびＲｅｆ１上における予測および勾配の精緻化に使用することが可能であることが提案される。その後、精緻化された予測および勾配は、新しいｖ_ｘおよびｖ_ｙの導出に使用される。
ａ．導出および精緻化の手順は、導出の１ラウンドの前後におけるｖ_ｘまたはｖ_ｙの間の絶対差が閾値より小さくなるまで反復的に行うことが可能である。それに代えて、導出および精緻化の手順を、所定の反復回数に到達するまで反復的に行うことが可能である。例えば、その数が２になる。

ｂ．Ｒｅｆ０およびＲｅｆ１のための元のＭＶをＭＶ０およびＭＶ１とすると、精緻化された予測および勾配を得るＭＶ０’およびＭＶ１’として記されるＭＶは、以下のとおりに計算することが可能である：
ｉ．１つの例においては、ＭＶ０’＝ＭＶ０＋（ｖ_ｘ，ｖ_ｙ）、ＭＶ１’＝ＭＶ１－（ｖ_ｘ，ｖ_ｙ）；
ｉｉ．１つの例においては、ＭＶ０’＝ＭＶ０－（ｖ_ｘ，ｖ_ｙ）、ＭＶ１’＝ＭＶ１＋（ｖ_ｘ，ｖ_ｙ）；
ｉｉｉ．１つの例においては、ＭＶ０’＝ＭＶ０＋Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ）、ＭＶ１’＝ＭＶ１－Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ）；
ｉｖ．１つの例においては、ＭＶ０’＝ＭＶ０－Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ）、ＭＶ１’＝ＭＶ１＋Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ）；
ｖ．１つの例においては、ＭＶ０’＝Ｃｌｉｐ（ＭＶ０＋Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ））、ＭＶ１’＝Ｃｌｉｐ（ＭＶ１－Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ））；
ｖｉ．１つの例においては、ＭＶ０’＝Ｃｌｉｐ（ＭＶ０－Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ））、ＭＶ１’＝Ｃｌｉｐ（ＭＶ１＋Ｓｃａｌｅ（ｖ_ｘ，ｖ_ｙ））；

例８。１つのブロックまたは１つのサブブロック内の部分的なサンプルに対してＢＩＯが適用できることが提案される。１つの例においては、最初／最後の行／最初／最後の列で見つかるサンプルについてはＢＩＯが適用されない。

例９。ＢＩＯが適用されるときは、１つの色成分のために、補間フィルタが１種類だけ使用されることが提案される。
ａ．１つの例においては、ＢＩＯが適用されるとき、輝度成分に対して８タップ補間フィルタだけが使用される。
ｂ．代替においては、さらにまた、メモリ帯域幅を低減するために、フェッチされるべきサンプルのサイズ／範囲を補間フィルタによって要求されるより小さく制限することが提案される。
ｃ．代替においては、さらにまた、いくつかのサンプルが所与のサイズ／範囲の外側の位置に位置するとき、パディングを適用してもよい。

ｄ．現在のブロックをＭ×Ｎ、要求されているサブサンプルのサイズを（Ｍ＋Ｇ）×（Ｎ＋Ｇ）とすると、Ｌタップ補間フィルタによって要求されるサイズが（Ｍ＋Ｇ＋Ｌ－１）×（Ｎ＋Ｇ＋Ｌ－１）となる必要がある。ＢＩＯ手順を用いてフェッチされることになる整数輝度サンプルの許容されるサイズを、（Ｍ＋Ｌ－１＋ｋ）×（Ｎ＋Ｌ－１＋ｋ）とすることが提案される。例えば、ｋは０、または１であり、かつｋは、Ｇより小さい。整数輝度サンプルが、補間処理によって要求されるが、フェッチされることが許容されない場合には、隣接する輝度サンプルによってそれがパディングされることになる。
ｉ．図２７は、ＢＩＯ手順における補間フィルタリングの例を示している。現在のブロックサイズは、Ｍ×Ｎであり、この例においては、Ｍ＝Ｎ＝８である。必要とされるサブサンプルのサイズは、勾配の計算に起因して（Ｍ＋２）×（Ｎ＋２）である。したがって、補間フィルタによって要求される整数サンプルは、（Ｍ＋２＋７）×（Ｎ＋２＋７）であり、この例においては、１７×１７に等しい。しかしながら、（Ｍ＋７）×（Ｎ＋７）の、すなわちこの例においては、１５×１５に等しい整数サンプルだけのフェッチが要求される。補間フィルタによって要求されるその他のサンプル（フィルタ内の黒丸）は、隣接するフェッチされたサンプルによってパディングされる。
ｅ．１つの例においては、ｘ＝－１またはｙ＝－１またはｘ＝Ｗまたはｙ＝Ｈとする位置（ｘ，ｙ）の勾配が計算されず、これらの位置においては、ＢＩＯが適用されない。現在のブロックの左上を（０，０）とし、現在のブロックの幅／高さをＷ／Ｈとする。

ｆ．１つの例においては、ｘ＝－１またはｙ＝－１またはｘ＝Ｗまたはｙ＝Ｈとする位置（ｘ，ｙ）の勾配が、異なる方法で計算される。例えば、
〇ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝
ｈｘ＝＝１の場合、（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ］）＞＞４
ｈｘ＝＝ｎＣｂＷの場合、（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ－１］［ｖｙ］）＞＞４
それ以外の場合、（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ－１］［ｖｙ］）＞＞４。
〇ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＝
ｖｙ＝＝１の場合、（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ］）＞＞４
ｖｙ＝＝ｎＣｂＨの場合、（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ－１］）＞＞４
それ以外の場合、（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ－１］）＞＞４。
〇ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］＝
ｈｘ＝＝１の場合、（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ］）＞＞４
ｈｘ＝＝ｎＣｂＷの場合、（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈｘ］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ－１］［ｖｙ］）＞＞４
それ以外の場合、（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ－１］［ｖｙ］）＞＞４。
〇ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］＝
ｖｙ＝＝１の場合、（ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ］）＞＞４
ｖｙ＝＝ｎＣｂＨの場合、（ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ－１］）＞＞４
それ以外の場合、（ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ－１］）＞＞４。

別の例においては、
〇ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝
ｈｘ＝＝１の場合、（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ］）＞＞３
ｈｘ＝＝ｎＣｂＷの場合、（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ－１］［ｖｙ］）＞＞３
それ以外の場合、（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ－１］［ｖｙ］）＞＞４。
〇ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＝
ｖｙ＝＝１の場合、（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ］）＞＞３
ｖｙ＝＝ｎＣｂＨの場合、（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ－１］）＞＞３
それ以外の場合、（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ－１］）＞＞４。
〇ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］＝
ｈｘ＝＝１の場合、（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ］）＞＞３
ｈｘ＝＝ｎＣｂＷの場合、（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈｘ］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ－１］［ｖｙ］）＞＞３
それ以外の場合、（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ－１］［ｖｙ］）＞＞４
〇ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］＝
ｖｙ＝＝１の場合、（ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ］）＞＞３
ｖｙ＝＝ｎＣｂＨの場合、（ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ－１］）＞＞３
それ以外の場合、（ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ－１］）＞＞４

ｇ．１つの例においては、勾配の計算の前に、外側のサンプル（図２３における黒丸）が、パディングによって補間されない。
ｉ．例えば、すべての有効なｈｘおよびｖｙについて、
ｐｒｅｄＳａｍｐｌｅＬ０［０］［ｖｙ］＝ｐｒｅｄＳａｍｐｌｅＬ０［１］［ｖｙ］、
ｐｒｅｄＳａｍｐｌｅＬ０［ｎＣｂＷ＋１］［ｖｙ］＝ｐｒｅｄＳａｍｐｌｅＬ０［ｎＣｂＷ］［ｖｙ］、
ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［０］＝ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［１］、
ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｎＣｂＨ＋１］＝ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｎＣｂＨ］、および
ｐｒｅｄＳａｍｐｌｅＬ１［０］［ｖｙ］＝ｐｒｅｄＳａｍｐｌｅＬ１［１］［ｖｙ］、
ｐｒｅｄＳａｍｐｌｅＬ１［ｎＣｂＷ＋１］［ｖｙ］＝ｐｒｅｄＳａｍｐｌｅＬ１［ｎＣｂＷ］［ｖｙ］、
ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［０］＝ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［１］、
ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｎＣｂＨ＋１］＝ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｎＣｂＨ］。

ｈ．１つの例においては、ＢＩＯにおける勾配の計算方法とＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）における勾配の計算方法が同じ方法である。
ｉ．１つの例においては、ＶＴＭ－３におけるＢＩＯのための勾配の計算方法が、ＡＬＦのための勾配の計算にも使用される。
ｉｉ．１つの例においては、ＶＴＭ－３におけるＡＬＦのための勾配の計算方法が、ＢＩＯのための勾配の計算にも使用される。

例１０。双方向オプティカルフロー予測処理に対する以下の変更が提案される。
ａ．勾配値は、４以外の異なる値によってシフトされてよい。１つの例においては、変数ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］、およびｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］が、以下のとおりに導出される：
ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝ＳｉｇｎＳｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ－１］［ｖｙ］，Ｓ）
ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＝ＳｉｇｎＳｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ－１］，Ｓ）
ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］＝ＳｉｇｎＳｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ－１］［ｖｙ］，Ｓ）
ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］＝ＳｉｇｎＳｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ－１］，Ｓ）
ｉ．１つの例においては、Ｓが、４または５といった一定の数になる。
ｉｉ．１つの例においては、Ｓが、サンプルのビット深度に依存する。例えば、Ｓは、Ｂ－Ｐに等しく、それにおいてＢは、８、１０、または１２といったサンプルのビット深度であり、Ｐは、６などの整数である。

ｂ．勾配値は、範囲内となる必要がある。１つの例においては、変数ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］、およびｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］が、Ｋビット整数、例えば、Ｋ＝８または１６によって表されることが保証される必要がある。
ｉ．例えば、導出後、勾配が、以下のとおりにクリップされる：
ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝Ｃｌｉｐ３（－２^Ｋ－１，２^Ｋ－１－１，ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］）
ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＝Ｃｌｉｐ３（－２^Ｋ－１，２^Ｋ－１－１，ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］）
ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］＝Ｃｌｉｐ３（－２^Ｋ－１，２^Ｋ－１－１，ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］）
ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］＝Ｃｌｉｐ３（－２^Ｋ－１，２^Ｋ－１－１，ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］）

ｃ．内部変数ｔｅｍｐ、ｔｅｍｐＸ、およびｔｅｍｐＹが、以下のとおりに導出される：
ｔｅｍｐ［ｘ］［ｙ］＝ＳｉｇｎＳｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈｘ］［ｖｙ］，Ｓ１）
ｔｅｍｐＸ［ｘ］［ｙ］＝ＳｉｇｎＳｈｉｆｔ（ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］，Ｓ２）
ｔｅｍｐＹ［ｘ］［ｙ］＝ＳｉｇｎＳｈｉｆｔ（ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］，Ｓ３）
ｉ．１つの例においては、Ｓ１、Ｓ２、およびＳ３が、Ｓ１＝６、Ｓ２＝Ｓ３＝３といった一定の数である。
ｉｉ．１つの例においては、Ｓ１、Ｓ２、およびＳ３が、サンプルのビット深度に依存する。例えば、Ｓ１＝Ｂ－Ｐ１、Ｓ２＝Ｂ－Ｐ２、およびＳ３＝Ｂ－Ｐ３であり、それにおいてＢは、８、１０、または１２といったサンプルのビット深度であり、Ｐ１、Ｐ２、およびＰ３は、例えば、Ｐ１＝４、Ｐ２＝Ｐ３＝７といった整数である。

ｄ．内部変数ｔｅｍｐ、ｔｅｍｐＸ、およびｔｅｍｐＹが、Ｋ１ビット整数、Ｋ２ビット整数、およびＫ３ビット整数、例えばＫ１＝８または１６、Ｋ２＝８または１６、Ｋ３＝８または１６によって表されることが保証される必要がある。
ｉ．例えば、内部変数は、導出された後に以下のとおりにクリップされる：
ｔｅｍｐ［ｘ］［ｙ］＝Ｃｌｉｐ３（－２^Ｋ１－１，２^Ｋ１－１－１，ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］）
ｔｅｍｐＸ［ｘ］［ｙ］＝Ｃｌｉｐ３（－２^Ｋ２－１，２^Ｋ２－１－１，ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］）
ｔｅｍｐＹ［ｘ］［ｙ］＝Ｃｌｉｐ３（－２^Ｋ３－１，２^Ｋ３－１－１，ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］）

ｅ．内部変数ｓＧｘ２、ｓＧｙ２、ｓＧｘＧｙ、ｓＧｘｄＩ、およびｓＧｙｄＩは、範囲内にある必要がある。１つの例においては、これらの変数が、Ｋ１ビット整数、Ｋ２ビット整数、Ｋ３ビット整数、Ｋ４ビット整数、およびＫ５ビット整数、例えばＫ１＝８または１６、Ｋ２＝８または１６、Ｋ３＝８または１６によって表されることが保証される必要がある。
ｉ．例えば、内部変数は、導出された後に以下のとおりに右シフトされる：
ｓＧｘ２＝Ｓｈｉｆｔ（ｓＧｘ２，Ｓ１）
ｓＧｙ２＝Ｓｈｉｆｔ（ｓＧｙ２，Ｓ２）
ｓＧｘＧｙ＝ＳｉｇｎＳｈｉｆｔ（ｓＧｘＧｙ，Ｓ３）
ｓＧｘｄＩ＝ＳｉｇｎＳｈｉｆｔ（ｓＧｘｄＩ，Ｓ４）
ｓＧｙｄＩ＝ＳｉｇｎＳｈｉｆｔ（ｓＧｙｄＩ，Ｓ５）
１つの例においては、Ｓ１、Ｓ２、Ｓ３、Ｓ４、およびＳ５が、４または５といった一定の数である。
代替においては、Ｓ１、Ｓ２、Ｓ３、Ｓ４、およびＳ５が、サンプルのビット深度に依存する。例えば、Ｓ１＝Ｂ－Ｐ１、Ｓ２＝Ｂ－Ｐ２、Ｓ３＝Ｂ－Ｐ３、Ｓ４＝Ｂ－Ｐ４、およびＳ５＝Ｂ－Ｐ５であり、それにおいて、Ｂは、８、１０、または１２といったサンプルビット深度、Ｐ１、Ｐ２、Ｐ３、Ｐ４、およびＰ５は、整数である。
ｉｉ．例えば、内部変数は、導出された後に以下のとおりにクリップされる：
ｓＧｘ２＝Ｃｌｉｐ３（０，２^Ｋ１－１，ｓＧｘ２）
ｓＧｙ２＝Ｃｌｉｐ３（０，２^Ｋ２－１，ｓＧｙ２）
ｓＧｘＧｙ＝Ｃｌｉｐ３（－２^Ｋ３－１，２^Ｋ３－１－１，ｓＧｘＧｙ）
ｓＧｘｄＩ＝Ｃｌｉｐ３（－２^Ｋ４－１，２^Ｋ４－１－１，ｓＧｘｄＩ）
ｓＧｙｄＩ＝Ｃｌｉｐ３（－２^Ｋ５－１，２^Ｋ５－１－１，ｓＧｙｄＩ）

ｆ．変数ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］、およびｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］は、選択された位置のみについて導出される。
ｉ．１つの例においては、ｘ％Ｑ＝＝０を伴う位置（ｘ，ｙ）におけるサンプルのみについてそれらが計算される。例えば、Ｑ＝２。
ｉｉ．１つの例においては、ｘ％Ｑ＝＝１を伴う位置（ｘ，ｙ）におけるサンプルのみについてそれらが計算される。例えば、Ｑ＝２。
ｉｉｉ．１つの例においては、ｙ％Ｑ＝＝０を伴う位置（ｘ，ｙ）におけるサンプルのみについてそれらが計算される。例えば、Ｑ＝２。
ｉｖ．１つの例においては、ｙ％Ｑ＝＝１を伴う位置（ｘ，ｙ）におけるサンプルのみについてそれらが計算される。例えば、Ｑ＝２。
ｖ．１つの例においては、ｙ％Ｑ＝＝０またはｙ％Ｑ＝＝３を伴う位置（ｘ，ｙ）におけるサンプルのみについてそれらが計算される。例えば、Ｑ＝４。

ｇ．内部変数ｔｅｍｐ［ｘ］［ｙ］、ｔｅｍｐＸ［ｘ］［ｙ］、およびｔｅｍｐＹ［ｘ］［ｙ］は、選択された位置のみについて導出される。
ｉ．１つの例においては、ｘ％Ｑ＝＝０を伴う位置（ｘ，ｙ）におけるサンプルのみについてそれらが計算される。例えば、Ｑ＝２。
ｉｉ．１つの例においては、ｘ％Ｑ＝＝１を伴う位置（ｘ，ｙ）におけるサンプルのみについてそれらが計算される。例えば、Ｑ＝２。
ｉｉｉ．１つの例においては、ｙ％Ｑ＝＝０を伴う位置（ｘ，ｙ）におけるサンプルのみについてそれらが計算される。例えば、Ｑ＝２。
ｉｖ．１つの例においては、ｙ％Ｑ＝＝１を伴う位置（ｘ，ｙ）におけるサンプルのみについてそれらが計算される。例えば、Ｑ＝２。
ｖ．１つの例においては、ｙ％Ｑ＝＝０またはｙ％Ｑ＝＝３を伴う位置（ｘ，ｙ）におけるサンプルのみについてそれらが計算される。例えば、Ｑ＝４。
ｖｉ．１つの例においては、ｔｅｍｐ［ｘ］［ｙ］、ｔｅｍｐＸ［ｘ］［ｙ］、ｔｅｍｐＹ［ｘ］［ｙ］、およびｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］が、同じ位置、例えば、この例のｇ．ｉ乃至ｇ．ｖの位置におけるサンプルについて計算される。

ｈ．内部変数ｓＧｘ２、ｓＧｙ２、ｓＧｘＧｙ、ｓＧｘｄＩ、およびｓＧｙｄＩは、選択された位置のサンプルの累積を用いてのみ計算される。公式化の形においては、
ｓＧｘ２＝Σ_ｘΣ_ｙ（ｔｅｍｐＸ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］＊ｔｅｍｐＸ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］）、ただし、ｘ，ｙ∈Ｓ
ｓＧｙ２＝Σ_ｘΣ_ｙ（ｔｅｍｐＹ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］＊ｔｅｍｐＹ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］）、ただし、ｘ，ｙ∈Ｓ
ｓＧｘＧｙ＝Σ_ｘΣ_ｙ（ｔｅｍｐＸ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］＊ｔｅｍｐＹ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］）、ただし、ｘ，ｙ∈Ｓ
ｓＧｘｄＩ＝Σ_ｘΣ_ｙ（－ｔｅｍｐＸ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］＊ｔｅｍｐ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］）、ただし、ｘ，ｙ∈Ｓ
ｓＧｙｄＩ＝Σ_ｘΣ_ｙ（－ｔｅｍｐＹ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］＊ｔｅｍｐ［ｘＳｂ＋ｘ］［ｙＳｂ＋ｙ］）、ただし、ｘ，ｙ∈Ｓ
これにおいて、Ｓは、選択された位置のセットである。

ｉ．１つの例においては、選択された位置が、ｘ＝０、１、２、３、およびｙ＝０、１、２、３である。
ｉｉ．１つの例においては、選択された位置が、ｘ＝０、２、およびｙ＝０、１、２、３である。
ｉｉｉ．１つの例においては、選択された位置が、ｘ＝１、２、およびｙ＝０、１、２、３である。
ｉｖ．１つの例においては、選択された位置が、ｘ＝１、３、およびｙ＝０、１、２、３である。
ｖ．１つの例においては、選択された位置が、ｘ＝２、３、およびｙ＝０、１、２、３である。
ｖｉ．１つの例においては、選択された位置が、ｘ＝０、３、およびｙ＝０、１、２、３である。
ｖｉｉ．１つの例においては、選択された位置が、ｙ＝０、２、およびｘ＝０、１、２、３である。
ｖｉｉｉ．１つの例においては、選択された位置が、ｙ＝１、２、およびｘ＝０、１、２、３である。
ｉｘ．１つの例においては、選択された位置が、ｙ＝１、３、およびｘ＝０、１、２、３である。
ｘ．１つの例においては、選択された位置が、ｙ＝２、３、およびｘ＝０、１、２、３である。

ｘｉ．１つの例においては、選択された位置が、ｙ＝０、３、およびｘ＝０、１、２、３である。
ｘｉｉ．１つの例においては、選択された位置が、ｘ＝－１、４、およびｙ＝－１、０、１、２、３、４である。
ｘｉｉｉ．１つの例においては、選択された位置が、ｘ＝０、３、およびｙ＝－１、０、１、２、３、４である。
ｘｉｖ．１つの例においては、選択された位置が、ｘ＝１、２、およびｙ＝－１、０、１、２、３、４である。
ｘｖ．１つの例においては、選択された位置が、ｘ＝－１、１、３、およびｙ＝－１、０、１、２、３、４である。
ｘｖｉ．１つの例においては、選択された位置が、ｘ＝０、２、４、およびｙ＝－１、０、１、２、３、４である。
ｘｖｉｉ．１つの例においては、選択された位置が、ｘ＝－１、１、２、４、およびｙ＝－１、０、１、２、３、４である。
ｘｖｉｉｉ．１つの例においては、選択された位置が、ｘ＝０、１、２、３、およびｙ＝－１、０、１、２、３、４である。
ｘｉｘ．１つの例においては、選択された位置が、ｙ＝－１、４、およびｘ＝－１、０、１、２、３、４である。
ｘｘ．１つの例においては、選択された位置が、ｙ＝０、３、およびｘ＝－１、０、１、２、３、４である。

ｘｘｉ．１つの例においては、選択された位置が、ｙ＝１、２、およびｘ＝－１、０、１、２、３、４である。
ｘｘｉｉ．１つの例においては、選択された位置が、ｙ＝－１、１、３、およびｘ＝－１、０、１、２、３、４である。
ｘｘｉｉｉ．１つの例においては、選択された位置が、ｙ＝０、２、４、およびｘ＝－１、０、１、２、３、４である。
ｘｘｉｖ．１つの例においては、選択された位置が、ｙ＝－１、１、２、４、およびｘ＝－１、０、１、２、３、４である。
ｘｘｖ．１つの例においては、選択された位置が、ｙ＝０、１、２、３、およびｘ＝－１、０、１、２、３、４である。

ｉ．ｖ_ｘおよびｖ_ｙの導出に使用される除法演算が、より洗練された形に置き換えられる。
ｉ．１つの例においては、ｖｘ＝ｓＧｘ２＞０？ Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，－（ｓＧｘｄＩ＜＜３）＞＞Ｍ）：０。Ｍは、ｓＧｘ２の値に応じて、Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２））またはＣｅｉｌｉｎｇ（Ｌｏｇ２（ｓＧｘ２））とすることが可能である。例えば、３＊ｓＧｘ２が２^{Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２））＋２}より大きい場合には、ＭをＣｅｉｌｉｎｇ（Ｌｏｇ２（ｓＧｘ２））とし、それ以外の場合には、ＭをＦｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２））とする。別の例においては、ｓＧｘ２がＴより大きい場合には、ＭをＣｅｉｌｉｎｇ（Ｌｏｇ２（ｓＧｘ２））とし、それ以外の場合には、ＭをＦｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２））とする。例えば、Ｔ＝（Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２））＋Ｃｅｉｌｉｎｇ（Ｌｏｇ２（ｓＧｘ２）））／２である。別の例においては、ｓＧｘ２＊ｓＧｘ２が２^{２＊Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２））＋１}より大きい場合には、ＭをＣｅｉｌｉｎｇ（Ｌｏｇ２（ｓＧｘ２））とし、それ以外の場合には、ＭをＦｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２））とする。
１．代替においては、ｖｘ＝ｓＧｘ２＞０？ Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，－（（ｓＧｘｄＩ＜＜３）＋Ｏｆｆｓｅｔ）＞＞Ｍ）：０。Ｏｆｆｓｅｔは、１＜＜（Ｍ－１）等の整数である。
ａ．Ｏｆｆｓｅｔは、ｓＧｘ２に依存させることが可能である。

ｉｉ．１つの例においては、ｖｙ＝ｓＧｙ２＞０？ Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，（（ｓＧｙｄＩ＜＜３）－（（ｖｘ＊ｓＧｘＧｙｍ）＜＜１２＋ｖｘ＊ｓＧｘＧｙｓ）＞＞１）＞＞Ｍ：０。Ｍは、ｓＧｙ２の値に応じて、Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｙ２））またはＣｅｉｌｉｎｇ（Ｌｏｇ２（ｓＧｙ２））とすることが可能である。例えば、３＊ｓＧｙ２が２^{Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｙ２））＋２}より大きい場合には、ＭをＣｅｉｌｉｎｇ（Ｌｏｇ２（ｓＧｙ２））とし、それ以外の場合には、ＭをＦｌｏｏｒ（Ｌｏｇ２（ｓＧｙ２））とする。別の例においては、ｓＧｙ２がＴより大きい場合には、ＭをＣｅｉｌｉｎｇ（Ｌｏｇ２（ｓＧｙ２））とし、それ以外の場合には、ＭをＦｌｏｏｒ（Ｌｏｇ２（ｓＧｙ２））とする。例えば、Ｔ＝（Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｙ２））＋Ｃｅｉｌｉｎｇ（Ｌｏｇ２（ｓＧｙ２）））／２である。別の例においては、ｓＧｙ２＊ｓＧｙ２が２^{２＊Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｙ２））＋１}より大きい場合には、ＭをＣｅｉｌｉｎｇ（Ｌｏｇ２（ｓＧｙ２））とし、それ以外の場合には、ＭをＦｌｏｏｒ（Ｌｏｇ２（ｓＧｙ２））とする。
１．代替においては、ｖｙ＝ｓＧｙ２＞０？ Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，（（（ｓＧｙｄＩ＜＜３）－（（ｖｘ＊ｓＧｘＧｙｍ）＜＜１２＋ｖｘ＊ｓＧｘＧｙｓ）＞＞１）＋Ｏｆｆｓｅｔ）＞＞Ｍ：０。Ｏｆｆｓｅｔは、１＜＜（Ｍ－１）等の整数である。
ａ．Ｏｆｆｓｅｔは、ｓＧｙ２に依存させることが可能である。

ｉｉｉ．ｓＧｘＧｙｍおよびｓＧｘＧｙｓは、ｓＧｘＧｙの符号に応じて計算される。ｘ≧０の場合にはｓｉｇｎ（ｘ）＝１、ｘ＜０の場合にはｓｉｇｎ（ｘ）＝－１とすれば、ｓＧｘＧｙｍ＝ｓｉｇｎ（ｓＧｘＧｙ）＊｜ｓＧｘＧｙ｜＞＞Ｗ；ｓＧｘＧｙｓ＝ｓｉｇｎ（ｓＧｘＧｙ）＊（｜ｓＧｘＧｙ｜＆（（１＜＜Ｗ）－１））。
１．Ｗは、１２などの一定の数とすることが可能である。または、それを、サンプルビット深度に依存させてもよい。
ｉｖ．ＢＩＯ手順における除法演算は、ルックアップテーブルによって計算される。
（ｉ）ＣＣＬＭにおいても、除法演算の置き換えに同じルックアップテーブルが使用される。

例１１。ブロック全体およびサブブロックのＳＡＤの計算に基づくＢＩＯオン／オフの判定は、サブブロックのＳＡＤの計算だけを計算することによって単純化することができる。それに代えて、ＳＡＤの計算を、そのほかの、ＭＲ－ＳＡＤ等の規則によって置き換えることができる。

例１２。ＢＩＯにおけるＳＡＤの計算は、選択された位置のサンプルのみを用いて行われる。
ａ．ｓｕｂＣｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］＝Σ_ｉΣ_ｊＡｂｓ（ｐｒｅｄＳａｍｐｌｅｓＬ０Ｌ［（ｘＳｂＩｄｘ＜＜２）＋１＋ｉ］［（ｙＳｂＩｄｘ＜＜２）＋１＋ｊ］－ｐｒｅｄＳａｍｐｌｅｓＬ１Ｌ［（ｘＳｂＩｄｘ＜＜２）＋１＋ｉ］［（ｙＳｂＩｄｘ＜＜２）＋１＋ｊ］）、ただし、ｉ，ｊ∈Ｓ
これにおいて、Ｓは、選択された位置のセットである。
ｉ．１つの例においては、選択された位置が、ｉ＝０、２、およびｊ＝０、１、２、３である。
ｉｉ．１つの例においては、選択された位置が、ｉ＝１、２、およびｊ＝０、１、２、３である。
ｉｉｉ．１つの例においては、選択された位置が、ｉ＝１、３、およびｊ＝０、１、２、３である。
ｉｖ．１つの例においては、選択された位置が、ｉ＝２、３、およびｊ＝０、１、２、３である。
ｖ．１つの例においては、選択された位置が、ｉ＝０、３、およびｊ＝０、１、２、３である。
ｖｉ．１つの例においては、選択された位置が、ｊ＝０、２、およびｉ＝０、１、２、３である。
ｖｉｉ．１つの例においては、選択された位置が、ｊ＝１、２、およびｉ＝０、１、２、３である。
ｖｉｉｉ．１つの例においては、選択された位置が、ｊ＝１、３、およびｉ＝０、１、２、３である。
ｉｘ．１つの例においては、選択された位置が、ｊ＝２、３、およびｉ＝０、１、２、３である。
ｘ．１つの例においては、選択された位置が、ｊ＝０、３、およびｉ＝０、１、２、３である。
ｘｉ．１つの例においては、選択された位置が、ｉ＝０、３、およびｊ＝０、３である。
ｘｉｉ．１つの例においては、選択された位置が、ｉ＝１、２、およびｊ＝１、２である。

ｂ．それに代えて、ｓｕｂＣｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］＝ｍａｘ_ｉ，ｊＡｂｓ（ｐｒｅｄＳａｍｐｌｅｓＬ０Ｌ［（ｘＳｂＩｄｘ＜＜２）＋１＋ｉ］［（ｙＳｂＩｄｘ＜＜２）＋１＋ｊ］－ｐｒｅｄＳａｍｐｌｅｓＬ１Ｌ［（ｘＳｂＩｄｘ＜＜２）＋１＋ｉ］［（ｙＳｂＩｄｘ＜＜２）＋１＋ｊ］）、ただし、ｉ，ｊ∈Ｓ。
これにおいて、Ｓは、選択された位置のセットである。

ｃ．それに代えて、ｓｕｂＣｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］＝ｍｉｎ_ｉ，ｊＡｂｓ（ｐｒｅｄＳａｍｐｌｅｓＬ０Ｌ［（ｘＳｂＩｄｘ＜＜２）＋１＋ｉ］［（ｙＳｂＩｄｘ＜＜２）＋１＋ｊ］－ｐｒｅｄＳａｍｐｌｅｓＬ１Ｌ［（ｘＳｂＩｄｘ＜＜２）＋１＋ｉ］［（ｙＳｂＩｄｘ＜＜２）＋１＋ｊ］）、ただし、ｉ，ｊ∈Ｓ
これにおいて、Ｓは、選択された位置のセットである。

ｄ．閾値ｓｕｂＣｕＬｅｖｅｌＡｂｓＤｉｆｆＴｈｒｅｓは、適応型としてよい。
ｉ．それを、ＱＰおよびＰＯＣ距離等の符号化情報に依存させてもよい。
ｉｉ．それを、ＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵ内においてデコーダに対してエンコーダからシグナリングさせてもよい。

例１３。ＢＩＯにおけるＳＡＤの計算は、選択されたサブブロック上のサンプルのみを用いて行われる。
ａ．代替においては、さらにまた、各サブブロックのためのＳＡＤの計算が、１つのサブブロック内のサンプルの部分に影響を及ぼすだけであってもよい。

ｂ．ｃｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ＝Σ_{ｘＳｂＩｄｘ}Σ_{ｙＳｂＩｄｘ}ｓｕｂＣｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］、ただし、ｘＳｂＩｄｘ、ｙＳｂＩｄｘ∈Ｓ
これにおいて、Ｓは、選択されたサブブロックのセットである。
ｉ．１つの例においては、選択された位置がｘＳｂＩｄｘ％２＝＝０である。
ｉｉ．１つの例においては、選択された位置がｘＳｂＩｄｘ％２＝＝１である。
ｉｉｉ．１つの例においては、選択された位置がｘＳｂＩｄｘ％４＝＝０である。
ｉｖ．１つの例においては、選択された位置がｘＳｂＩｄｘ＝＝０、またはｘＳｂＩｄｘ＝＝（ｃｂＷｉｄｔｈ＞＞２）－１である。
ｖ．１つの例においては、選択された位置がｘＳｂＩｄｙ％２＝＝０である。
ｖｉ．１つの例においては、選択された位置がｘＳｂＩｄｙ％２＝＝１である。
ｖｉｉ．１つの例においては、選択された位置がｘＳｂＩｄｙ％４＝＝０である。
ｖｉｉｉ．１つの例においては、選択された位置がｘＳｂＩｄｙ＝＝０、またはｘＳｂＩｄｙ＝＝（ｃｂＨｅｉｇｈｔ＞＞２）－１である。
ｉｘ．１つの例においては、選択された位置が（ｘＳｂＩｄｙ＝＝０、またはｘＳｂＩｄｙ＝＝（ｃｂＨｅｉｇｈｔ＞＞２）－１）、および（ｘＳｂＩｄｙ＝＝０、またはｘＳｂＩｄｙ＝＝（ｃｂＨｅｉｇｈｔ＞＞２）－１）である。

ｃ．ｃｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ＝Ｍａｘ_{ｘＳｂＩｄｘ}，_{ｙＳｂＩｄｘ}ｓｕｂＣｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］、ただし、ｘＳｂＩｄｘ，ｙＳｂＩｄｘ∈Ｓ

ｄ．ｃｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ＝Ｍｉｎ_{ｘＳｂＩｄｘ}，_{ｙＳｂＩｄｘ}ｓｕｂＣｕＬｅｖｅｌＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆ［ｘＳｂＩｄｘ］［ｙＳｂＩｄｘ］、ただし、ｘＳｂＩｄｘ，ｙＳｂＩｄｘ∈Ｓ

ｅ．閾値ｃｕＬｅｖｅｌＡｂｓＤｉｆｆＴｈｒｅｓは、適応型としてよい。
ｉ．それを、ＱＰおよびＰＯＣ距離等の符号化情報に依存させてもよい。
ｉｉ．それを、ＡＭＶＰモード、マージモードまたはＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ ＭＶ Ｄｉｆｆｅｒｅｎｃｅ）モード等の符号化モードに依存させてもよい。
ｉｉｉ．それを、ＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵ内においてデコーダに対してエンコーダからシグナリングさせてもよい。

例１４。例１２および例１３について、提案されている方法は、ＳＡＤがほかの規則によって置き換えられるこのほかの場合に対しても適用させてもよい。すなわち、１つのサブブロック内のサンプルの部分だけ、および／またはサブブロック（複数形）の部分を考慮して、ＢＩＯの使用を判定してもよい。

例１５。ＢＩＯ手順においてどのように変数を導出するかは、ＧＢｉが適用されるときと、そうでないときとで異なっていてもよい。
ａ．代替においては、さらにまた、その導出が、異なる重み付けの値を伴うＧＢｉについて異なっていてよい。

ｂ．ここで、ＧＢｉ処理におけるＲｅｆ０およびＲｅｆ１のための重み付けの値をＷ０およびＷ１とし、予測ブロックは、ＳＡＤの計算、勾配の計算等のＢＩＯ手順において使用される変数の導出前に、最初に重み付けされる。
ｉ．２つの予測ブロックを、ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］およびｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］によって示す。ＢＩＯのための入力として、Ｗ０＊ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］およびｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］およびＷ１＊ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］が使用される。

ｃ．それに代えて、ＢＩＯ手順において使用される変数の導出前に、ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］が、Ｓｈｉｆｔ（Ｗ０＊ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］，Ｓ０）として予め計算され、ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］が、Ｓｈｉｆｔ（Ｗ１＊ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］，Ｓ１）として予め計算される。
ｉ．Ｓ０およびＳ１は、サンプルビット深度に依存してよい。
ｉｉ．Ｓ０およびＳ１は、Ｗ０およびＷ１に依存してよい。
ｉｉｉ．Ｓ０およびＳ１は、２などの一定の数としてよい。

ｄ．代替においては、訂正項の値も、１つのブロックの最終的な予測ブロックを生成するときに重み付けされてよい。
ｉ．ＢＩＯ手順において使用されるパラメータの導出時に、２つの予測ブロックが、従来技術と同様に、ＢＩＯへの入力として重み付けされることなく使用される。しかしながら、最終的な予測ブロックは、重み付けされた予測ブロックの値および重み付けされた訂正項の値によって生成される。
ｉｉ．訂正項に適用される重みは、予測ブロックのために使用されるそれと同じにすることができる。それに代えて、訂正項に対して異なる重みを適用することができる。

例１６。訂正項の値は、特定の範囲内にある必要があることが提案される。
（ａ）例えば、訂正項が、［ｍｉｎＣｏｒｒｅｃｔｉｏｎ，ｍａｘＣｏｒｒｅｃｔｉｏｎ］にクリップされる。
ｉ．ｍｉｎＣｏｒｒｅｃｔｉｏｎおよびｍａｘＣｏｒｒｅｃｔｉｏｎは、例えば、－３２および３２に固定してよい。
ｉｉ．ｍｉｎＣｏｒｒｅｃｔｉｏｎおよびｍａｘＣｏｒｒｅｃｔｉｏｎは、サンプルビット深度に依存してよい。例えば、ｍｉｎＣｏｒｒｅｃｔｉｏｎ＝－（３２＜＜（ＢｉｔＤｅｐｔｈ－８））、ｍａｘＣｏｒｒｅｃｔｉｏｎ＝３２＜＜（ＢｉｔＤｅｐｔｈ－８））。
ｉｉｉ．ｍｉｎＣｏｒｒｅｃｔｉｏｎおよびｍａｘＣｏｒｒｅｃｔｉｏｎは、ブロックの幅および／または高さに依存してよい。
ｉｖ．ｍｉｎＣｏｒｒｅｃｔｉｏｎおよびｍａｘＣｏｒｒｅｃｔｉｏｎは、ＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵライン／ＣＴＵ／ＣＵ内においてデコーダに対してエンコーダからシグナリングされてよい。

（ｂ）例えば、訂正項は、範囲の外にある場合に、因子によって除されるか、または右シフトされる。

例１７。ＢＩＯにおける最終予測出力は、特定の範囲内にある必要があることが提案される。
（ａ）例えば、ＢＩＯにおける最終予測出力は、［ｍｉｎＰｒｅｄ，ｍａｘＰｒｅｄ］にクリップされる。
ｉ．ｍｉｎＰｒｅｄおよびｍａｘＰｒｅｄは、－３２および３２といった一定の数であってよい。
ｉｉ．ｍｉｎＰｒｅｄおよびｍａｘＰｒｅｄは、サンプルビット深度に依存してよい。例えば、ｍｉｎＰｒｅｄ＝－（３２＜＜（ＢｉｔＤｅｐｔｈ－８））、ｍａｘＣｏｒｒｅｃｔｉｏｎ＝３２＜＜（ＢｉｔＤｅｐｔｈ－８））。
ｉｉｉ．ｍｉｎＰｒｅｄおよびｍａｘＰｒｅｄは、ブロックの幅および／または高さに依存してよい。
ｉｖ．ｍｉｎＰｒｅｄおよびｍａｘＰｒｅｄは、ＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵライン／ＣＴＵ／ＣＵ内においてデコーダに対してエンコーダからシグナリングされてよい。

上で述べた例は、以下に述べる方法、例えば、映像デコーダまたは映像エンコーダにおいて実装することができる方法２８１０、２８２０、２８３０、２８４０、２８５０、および２８６０の文脈の中に組み込まれてよい。

図２８Ａは、映像処理のための例示的な方法のフローチャートを示している。方法２８１０は、ステップ２８１２において、映像の現在のブロックとその映像のビットストリーム表現の間における変換のために、第１の符号化モードを使用する変換のための第１の線形最適化モデルの使用を決定することを含み、第１の線形最適化モデルは、第２の符号化モードを使用する変換のために使用される第２の線形最適化モデルから導出される。

方法２８１０は、ステップ２８１４において、その決定に基づいてその変換を実行することを含む。

図２８Ｂは、映像処理のための例示的な方法のフローチャートを示している。方法２８２０は、ステップ２８２２において、映像の現在のブロックのピクチャに関連付けされた１つまたは複数のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）パラメータに基づいて、第１の予測モードまたは第１の予測モードとは異なる第２の予測モードのうちのいずれかを有効化することを含み、第１の予測モードは、オプティカルフローを使用する符号化モードである。

方法２８２０は、ステップ２８２４において、第１のモードまたは第２のモードに基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することを含む。

図２８Ｃは、映像処理のための例示的な方法のフローチャートを示している。方法２８３０は、ステップ２８３２において、映像の現在のブロックに関連付けされている符号化済み情報に基づいて、その現在のブロックの参照ピクチャに関連付けされる１つまたは複数の速度ベクトル（ｖ_ｘ，ｖ_ｙ）を連続的に導出することを含む。

方法２８３０は、ステップ２８３４において、その１つまたは複数の速度ベクトルに基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することを含み、符号化済み情報は、現在のブロックの動きベクトルの水平成分の値、現在のブロックの動きベクトルの垂直成分の値、または現在のブロックのサイズを包含する。

図２８Ｄは、映像処理のための例示的な方法のフローチャートを示している。方法２８４０は、ステップ２８４２において、映像の現在のブロックのためにオプティカルフローを使用する符号化モードが有効化されたとの決定時に、その現在のブロックの各色成分のために単一タイプの補間フィルタを使用するフィルタリング工程を実行することを含む。

方法２８４０は、ステップ２８４４において、そのフィルタリング工程に基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することを含む。

図２８Ｅは、映像処理のための例示的な方法のフローチャートを示している。方法２８５０は、ステップ２８５２において、映像の現在のブロックとその映像のビットストリーム表現の間における変換のために、オプティカルフローツールのための勾配値計算アルゴリズムの使用を決定することを含む。

方法２８５０は、ステップ２８５４において、その決定に基づいてその変換を実行することを含む。

図２８Ｆは、映像処理のための例示的な方法のフローチャートを示している。方法２８６０は、ステップ２８６２において、映像の現在のブロックのサブブロックについての１つまたは複数の差分絶対値和（ＳＡＤ）の計算に基づいて、その現在のブロックのためにオプティカルフローを使用する符号化モードの選択的な有効化に関係する判定を行うことを含む。

方法２８６０は、ステップ２８６４において、その判定に基づいて、現在のブロックとその現在のブロックのビットストリーム表現の間における変換を実行することを含む。

図２８Ｇは、映像処理のための例示的な方法のフローチャートを示している。方法２８７０は、ステップ２８７２において、映像の現在のブロックのためのＧＢｉ（Ｇｅｎｅｒａｌｉｚｅｄ Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｉｍｐｒｏｖｅｍｅｎｔ）処理の選択的な有効化に基づいて、その現在のブロックのためにオプティカルフローを使用する符号化モードの１つまたは複数のパラメータを導出することを含む。

方法２８７０は、ステップ２８７４において、オプティカルフローを使用する符号化モードの１つまたは複数のパラメータに基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することを含む。

図２８Ｈは、映像処理のための例示的な方法のフローチャートを示している。方法２８８０は、ステップ２８８２において、オプティカルフローを使用する符号化モードを用いて符号化された映像の現在のブロックのために、オプティカルフローを使用する符号化モードの最終予測出力の訂正項に対してクリッピング工程を実行することを含む。

方法２８８０は、ステップ２８８４において、その最終予測出力に基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することを含む。

図２８Ｉは、映像処理のための例示的な方法のフローチャートを示している。方法２８９０は、ステップ２８９２において、映像の現在のブロックのためにオプティカルフローを使用する符号化モードが有効化されたとの決定時に、その現在のブロックの各カラー成分のために単一タイプの補間フィルタを使用するフィルタリング工程を実行することを含む。

方法２８９０は、ステップ２８９４において、現在のブロックの少なくとも１つのサンプルが所定の範囲の外側に位置するとの決定時に、パディング工程を実行することを含む。

方法２８９０は、ステップ２８９６において、これらのフィルタリング工程およびパディング工程に基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することを含む。

いくつかの実施形態においては、以下の技術的な解決策を実装することができる：
Ａ１．映像処理の方法が、映像の現在のブロックとその映像のビットストリーム表現の間における変換のために、第１の符号化モードを使用する変換のための第１の線形最適化モデルの使用を決定することであって、第１の線形最適化モデルは、第２の符号化モードを使用する変換のために使用される第２の線形最適化モデルから導出される、ことと；その決定に基づいて変換を実行することと、を包含する。

Ａ２．解決策Ａ１の方法において、第２の符号化モードは、ＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）予測モードである。

Ａ３．解決策Ａ２の方法において、第２の線形最適化モデルは、入力としてのＮ個のグループのサンプル（ｕ_ｋ，ｖ_ｋ，ｗ_ｋ）および２つの出力パラメータａおよびｂを包含し、第２の線形最適化モデルは、次式を最小化、または概略で最小化する：

Ａ４．解決策Ａ３の方法において、ｕ_ｋ＝（Ｉ^（０）（ｘ，ｙ）－Ｉ^（１）（ｘ，ｙ））、ｖ_ｋ＝（Ｇ_ｘ ^（０）（ｘ，ｙ）－Ｇ_ｘ ^（１）（ｘ，ｙ））、ｗ_ｋ＝（Ｇ_ｙ ^（０）（ｘ，ｙ）－Ｇ_ｙ ^（１）（ｘ，ｙ））、ａ＝ｖ_ｘ、およびｂ＝ｖ_ｙであり、Ｉ^（ｉ）（ｘ，ｙ）は、参照フレームｉ内のピクセル位置（ｘ，ｙ）における輝度サンプルを表し、Ｇ_ｘ ^（ｉ）（ｘ，ｙ）およびＧ_ｙ ^（ｉ）（ｘ，ｙ）はそれぞれ、輝度サンプルの水平勾配および垂直勾配を表す。

Ａ５．解決策Ａ３の方法において、ｕ_ｋ＝－Ｃ（ｎ）、ｖ_ｋ＝Ｌ（ｎ）、ｗ_ｋ＝１、ａ＝α、およびｂ＝βであり、Ｃ（ｎ）は、上側および左側の近傍の再構築後の彩度サンプルを表し、Ｌ（ｎ）は、上側および左側の近傍の再構築後の輝度サンプルを表し、αおよびβは、第２の線形最適化モデルのパラメータを表す。

Ａ６．解決策Ａ１の方法において、第２の符号化モードは、交差成分線形モデル予測モードである。

Ａ７．映像処理の方法が、映像の現在のブロックのピクチャに関連付けされた１つまたは複数のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）パラメータに基づいて、第１の予測モードまたは第１の予測モードとは異なる第２の予測モードのうちのいずれかを有効化することであって、第１の予測モードは、オプティカルフローを使用する符号化モードである、ことと；第１のモードまたは第２のモードに基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を包含する。

Ａ８．解決策Ａ７の方法は、さらに、オプティカルフローを使用する符号化モードの有効化を抑制することを包含し、第１の参照ピクチャ（Ｒ_０）および第２の参照ピクチャ（Ｒ_１）は、現在のブロックを包含する現在のピクチャに関連付けされ、τ_０は、現在のピクチャのピクチャオーダーカウントと第１の参照ピクチャのピクチャオーダーカウントとの間における差（τ_０＝ＰＯＣ（ｃｕｒｒｅｎｔ）－ＰＯＣ（Ｒ_０））であり、τ_１は、第２の参照ピクチャのピクチャオーダーカウントと現在のピクチャのピクチャオーダーカウントとの間における差（τ_１＝ＰＯＣ（Ｒ_１）－ＰＯＣ（ｃｕｒｒｅｎｔ））である。

Ａ９．解決策Ａ８の方法において、ａｂｓ（τ_０）≧Ｔ_０またはａｂｓ（τ_１）≧Ｔ_１であり、Ｔ_０およびＴ_１は、整数である。

Ａ１０．解決策Ａ８の方法において、ａｂｓ（τ_０）≧Ｔ_０かつａｂｓ（τ_１）≧Ｔ_１であり、Ｔ_０およびＴ_１は、整数である。

Ａ１１．解決策Ａ９またはＡ１０の方法において、Ｔ_０＝Ｔ_１＝４である。

Ａ１２．解決策Ａ８の方法において、ａｂｓ（τ_０）＋ａｂｓ（τ_１）≧Ｔ_０であり、Ｔ_０は、整数である。

Ａ１３．解決策Ａ１２の方法において、Ｔ_０＝８である。

Ａ１４．解決策Ａ８の方法において、ａｂｓ（ａｂｓ（τ_０）－ａｂｓ（τ_１））≧Ｔ_０であり、Ｔ_０は、整数である。

Ａ１５．解決策Ａ１４の方法において、Ｔ_０＝０である。

Ａ１６．解決策Ａ８の方法において、ａｂｓ（τ_０）≧ａｂｓ（τ_１）×Ｔ_０、かつａｂｓ（τ_１）≧ａｂｓ（τ_０）×Ｔ_０であり、Ｔ_０は、整数である。

Ａ１７．解決策Ａ１６の方法において、Ｔ_０＝８である。

Ａ１８．解決策Ａ９乃至Ａ１７のいずれかの方法において、Ｔ_０は、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、スライスヘッダ、タイルグループヘッダ、タイル、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）、またはＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）内においてシグナリングされる。

Ａ１９．解決策Ａ７の方法において、オプティカルフローを使用する符号化モードが有効化され、現在のブロックを包含する現在のピクチャのための１つまたは複数の速度ベクトル（ｖ_ｘ，ｖ_ｙ）が、１つまたは複数のＰＯＣ距離に基づき、第１の参照ピクチャ（Ｒ_０）および第２の参照ピクチャ（Ｒ_１）が、現在のピクチャに関連付けされる。

Ａ２０．解決策Ａ１９の方法において、τ_０は、現在のピクチャのピクチャオーダーカウントと第１の参照ピクチャのピクチャオーダーカウントとの間における差（τ_０＝ＰＯＣ（ｃｕｒｒｅｎｔ）－ＰＯＣ（Ｒ_０））であり、τ_１が、第２の参照ピクチャのピクチャオーダーカウントと現在のピクチャのピクチャオーダーカウントとの間における差（τ_１＝ＰＯＣ（Ｒ_１）－ＰＯＣ（ｃｕｒｒｅｎｔ））であり、

であり、
（ｖ_ｘ ^（０），ｖ_ｙ ^（０））は、第１の参照ピクチャについての速度ベクトルであり、（ｖ_ｘ ^（１），ｖ_ｙ ^（１））は、第２の参照ピクチャについての速度ベクトルである。

Ａ２１．解決策Ａ１９の方法において、１つまたは複数の速度ベクトルは、反復的な態様で導出される。

Ａ２２．解決策Ａ１９の方法において、１つまたは複数の速度ベクトルは、第３の予測モードに基づき、第３の予測モードは、ＤＭＶＲまたはバイラテラルマッチングである。

Ａ２３．解決策Ａ２２の方法において、ＭＶ０およびＭＶ１は、それぞれ、第１および第２の参照ピクチャについての動きベクトルであり、ＭＶ０’およびＭＶ１’は、第３の予測モードのための初期動きベクトルである。

Ａ２４．解決策Ａ２３の方法において、ＭＶ０’＝ＭＶ０＋（ｖ_ｘ，ｖ_ｙ）、かつＭＶ１’＝ＭＶ１－（ｖ_ｘ，ｖ_ｙ）である。

Ａ２５．解決策Ａ２３の方法において、ＭＶ０’＝ＭＶ０－（ｖ_ｘ，ｖ_ｙ）、かつＭＶ１’＝ＭＶ１＋（ｖ_ｘ，ｖ_ｙ）である。

Ａ２６．解決策Ａ７の方法において、オプティカルフローを使用する符号化モードが有効化され、かつ現在のブロックのサンプルのサブセットに適用され、当該サンプルのサブセットは、現在のブロックのすべてのサンプルを除外する。

Ａ２７．解決策Ａ２６の方法において、サンプルのサブセットは、現在のブロックの最初の行、最後の行、最初の列、または最後の列のサンプルを除外する。

Ａ２８．解決策Ａ７の方法において、オプティカルフローを使用する符号化モードが有効化され、かつ現在のブロックのサブブロックのサンプルのサブセットに適用され、当該サンプルのサブセットは、現在のブロックのサブブロックの全サンプルと同じではない。

Ａ２９．解決策Ａ２８の方法において、サンプルのサブセットは、現在のブロックのサブブロックの最初の行、最後の行、最初の列、または最後の列のサンプルを除外する。

Ａ３０．解決策Ａ１乃至Ａ２９のいずれかの方法において、オプティカルフローを使用する符号化モードは、ＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）予測モードである。

Ａ３１．映像処理の方法が、映像の現在のブロックに関連付けされている符号化済み情報に基づいて、その現在のブロックの参照ピクチャに関連付けされる１つまたは複数の速度ベクトル（ｖ_ｘ，ｖ_ｙ）を連続的に導出することと；その１つまたは複数の速度ベクトルに基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を包含し、符号化済み情報は、現在のブロックの動きベクトルの水平成分の値、現在のブロックの動きベクトルの垂直成分の値、または現在のブロックのサイズを包含する。

Ａ３２．Ａ３１の方法において、ｖ_ｙが最初に導出され、ｖ_ｘは、ｖ_ｙの値に基づいて導出される。

Ａ３３．解決策Ａ３１の方法は、さらに、１つまたは複数の速度ベクトルに基づいて、参照ピクチャの少なくとも１つの予測または少なくとも１つの勾配を精緻化することと；精緻化の後に続いて、参照ピクチャに基づいて当該１つまたは複数の速度ベクトルを導出することと、を包含する。

Ａ３４．解決策Ａ３３の方法において、精緻化および導出は、１つまたは複数の速度ベクトルのうちの１つの連続する値の間における差が所定の閾値より小さくなるまで複数回実行される。

Ａ３５．解決策Ａ１乃至Ａ３４のいずれかの方法において、変換は、ビットストリーム表現から現在のブロックを生成する。

Ａ３６．解決策Ａ１乃至Ａ３４のいずれかの方法において、変換は、現在のブロックからビットストリーム表現を生成する。

Ａ３７．映像システムにおける装置が、プロセッサ、および命令を有する非一過性のメモリを包含し、当該命令は、プロセッサによる実行時に、解決策Ａ１乃至Ａ３６のいずれか１つの方法をプロセッサに実装させる。

Ａ３８．非一過性のコンピュータ可読媒体上に格納されたコンピュータプログラムプロダクトであって、解決策Ａ１乃至Ａ３６のいずれか１つの方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクト。

いくつかの実施形態においては、以下の技術的な解決策を実装することができる：
Ｂ１．映像処理の方法が、映像の現在のブロックのためにオプティカルフローを使用する符号化モードが有効化されたとの決定時に、その現在のブロックの各色成分のために単一タイプの補間フィルタを使用するフィルタリング工程を実行することと；そのフィルタリング工程に基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を包含する。

Ｂ２．解決策Ｂ１の方法において、色成分は、輝度成分を包含し、単一タイプの補間フィルタは、８タップ補間フィルタを包含する。

Ｂ３．解決策Ｂ１の方法において、フィルタリング工程において使用される現在のブロックのサンプルの第１の数は、単一タイプの補間フィルタによって要求されるサンプルの第２の数より少なく、それによってフィルタリング工程のメモリ帯域幅が低減される。

Ｂ４．解決策Ｂ３の方法において、サンプルの第２の数は、オプティカルフローを使用する符号化モードが適用されないとき、フィルタリング工程において使用される現在のブロックのサンプルの数に等しい。

Ｂ５．解決策Ｂ１の方法において、現在のブロックのサンプルの数がフィルタリング工程において使用され、それにおいてこの方法は、さらに、オプティカルフローを使用する符号化モードが適用されるとの決定時に、パディング工程を実行することを包含する。

Ｂ６．解決策Ｂ１の方法において、現在のブロックのサイズは、Ｍ×Ｎであり、勾配の計算によって要求されるサンプルの第１の数は、（Ｍ＋Ｇ）×（Ｎ＋Ｇ）であり、単一タイプの補間フィルタは、Ｌタップを包含し、フィルタリング工程によって要求されるサンプルの第２の数は、（Ｍ＋Ｇ＋Ｌ－１）×（Ｎ＋Ｇ＋Ｌ－１）であり、フィルタリング工程において使用されるサンプルの第３の数は、（Ｍ＋Ｌ－１＋ｋ）×（Ｎ＋Ｌ－１＋ｋ）であり、それにおいて、Ｍ、Ｎ、Ｇ、およびＬは、正の整数であり、ｋは、Ｇより小さい整数であり、それにおいて、サンプルの第２の数とサンプルの第３の数の間における差を構成するサンプルの第４の数がパディングされる。

Ｂ７．解決策Ｂ６の方法において、Ｍ＝Ｎ＝８、Ｌ＝８、かつＧ＝２である。

Ｂ８．解決策Ｂ６またはＢ７の方法において、ｋ＝０またはｋ＝１である。

Ｂ９．解決策Ｂ１の方法において、現在のブロックの左上のピクセルの座標が（０，０）であり、それにおいてこの方法は、さらに、所定の位置のピクセルに対する勾配値の計算およびオプティカルフローを使用する符号化モードの適用を抑制することを包含する。

Ｂ１０．解決策Ｂ９の方法において、所定の位置のｘ座標は、－１またはＷであり、それにおいてＷは、現在のブロックの幅であり、かつＷは、正の整数である。

Ｂ１１．解決策Ｂ９の方法において、所定の位置のｙ座標は、－１またはＨであり、それにおいてＨは、現在のブロックの高さであり、かつＨは、正の整数である。

Ｂ１２．解決策Ｂ１の方法において、現在のブロックの左上のピクセルの座標が（０，０）であり、それにおいてこの方法は、さらに、所定の位置のピクセルのための勾配値の計算を修正することを包含する。

Ｂ１３．解決策Ｂ１２の方法において、所定の位置のｘ座標は、－１またはＷであり、それにおいてＷは、現在のブロックの幅であり、かつＷは、正の整数である。

Ｂ１４．解決策Ｂ１２の方法において、所定の位置のｙ座標は、－１またはＨであり、それにおいてＨは、現在のブロックの高さであり、かつＨは、正の整数である。

Ｂ１５．解決策Ｂ１３またはＢ１４の方法において、勾配値の計算は、

とすることを包含し、それにおいてＷは、現在のブロックの幅であり、ｐｒｅｄＳａｍｐｌｅＬ０は、参照リストＬ０からの現在のブロックのための輝度予測サンプルを包含する配列であり、ｇｒａｄｉｅｎｔＨＬ０は、参照リストＬ０から導出された勾配値の水平成分であり、ｈｘおよびｖｙは、整数の座標インデックスである。

Ｂ１６．解決策Ｂ１３またはＢ１４の方法において、勾配値の計算は、

とすることを包含し、
それにおいてＷは、現在のブロックの幅であり、ｐｒｅｄＳａｍｐｌｅＬ０は、現在のブロックからの輝度予測サンプルを包含する配列であり、ｇｒａｄｉｅｎｔＶＬ０は、参照リストＬ０から導出された勾配値の垂直成分であり、ｈｘおよびｖｙは、整数の座標インデックスである。

Ｂ１７．解決策Ｂ１の方法は、さらに、勾配値の計算に先行して、現在のブロックの外側の１つまたは複数のサンプルを、当該１つまたは複数の外側のサンプルの補間に代えてパディングすることを包含する。

Ｂ１８．解決策Ｂ１の方法において、オプティカルフローを用いる符号化モードにおいて使用される１つまたは複数の勾配の計算は、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）において使用されるものとまったく同じである。

Ｂ１９．映像処理の方法が、映像の現在のブロックのためにオプティカルフローを使用する符号化モードが有効化されたとの決定時に、その現在のブロックの各色成分のために単一タイプの補間フィルタを使用するフィルタリング工程を実行することと；現在のブロックの少なくとも１つのサンプルが所定の範囲の外側に位置するとの決定時に、パディング工程を実行することと；これらのフィルタリング工程およびパディング工程に基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を包含する。

Ｂ２０．解決策Ｂ１９の方法において、パディング工程は、勾配の計算の実行に先行して実行される。

Ｂ２１．解決策Ｂ１９の方法において、所定の範囲は、現在のブロックの高さまたは幅に基づく。

Ｂ２２．解決策Ｂ１乃至Ｂ２１のいずれかの方法において、オプティカルフローを使用する符号化モードは、ＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）予測モードを包含する。

Ｂ２３．解決策Ｂ１乃至Ｂ２２のいずれかの方法において、変換は、ビットストリーム表現から現在のブロックを生成する。

Ｂ２４．解決策Ｂ１乃至Ｂ２２のいずれかの方法において、変換は、現在のブロックからビットストリーム表現を生成する。

Ｂ２５．映像システムにおける装置が、プロセッサ、および命令を伴う非一過性のメモリを包含し、それにおいて当該命令は、プロセッサによる実行時に、解決策Ｂ１乃至Ｂ２４のいずれか１つの方法をプロセッサに実装させる。

Ｂ２６．非一過性のコンピュータ可読媒体上に格納されたコンピュータプログラムプロダクトであって、解決策Ｂ１乃至Ｂ２４のいずれか１つの方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクト。

いくつかの実施形態においては、以下の技術的な解決策を実装することができる：
Ｃ１．映像処理の方法が、映像の現在のブロックとその映像のビットストリーム表現の間における変換のために、オプティカルフローツールのための勾配値計算アルゴリズムの使用を決定することと；その決定に基づいてその変換を実行することと、を包含し、それにおいて、勾配値計算アルゴリズムは、旧来の勾配値計算アルゴリズムとは異なり、
ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ－１］［ｖｙ］）＞＞４、
ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ－１］）＞＞４、
ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ－１］［ｖｙ］）＞＞４、および、
ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ－１］）＞＞４、
を包含し、
それにおいて、ｇｒａｄｉｅｎｔＨＬ０は、参照リストＬ０から導出された勾配値の水平成分であり、ｇｒａｄｉｅｎｔＶＬ０は、参照リストＬ０から導出された勾配値の垂直成分であり、ｇｒａｄｉｅｎｔＨＬ１は、参照リストＬ１から導出された勾配値の水平成分であり、ｇｒａｄｉｅｎｔＶＬ１は、参照リストＬ１から導出された勾配値の垂直成分であり、ｐｒｅｄＳａｍｐｌｅＬ０は、参照リストＬ０からの現在のブロックのための輝度予測サンプルを包含する配列であり、ｐｒｅｄＳａｍｐｌｅＬ１は、参照リストＬ１からの現在のブロックのための輝度予測サンプルを包含する配列であり、ｈｘおよびｖｙは、整数の座標インデックスである。

Ｃ２．解決策Ｃ１の方法において、勾配値計算の修正は、所定の正の整数（Ｓ）によって勾配値をシフトすることを包含するが、それにおいては、Ｓ≠４とする。

Ｃ３．解決策Ｃ２の方法において、Ｓ＝６である。

Ｃ４．解決策Ｃ２の方法において、Ｓ＝Ｂ－Ｐであり、それにおいて、Ｂは、現在のブロックのサンプルのビット深度であり、Ｐは、正の整数である。

Ｃ５．解決策Ｃ４の方法において、Ｐ＝６であり、Ｂ＝８または１２である。

Ｃ６．解決策Ｃ１の方法において、勾配値計算の修正は、勾配値をＫビットの整数として表現できるように勾配値をクリッピングすることを包含し、それにおいて、Ｋは、正の整数である。

Ｃ７．解決策Ｃ６の方法において、Ｋ＝８または１６である。

Ｃ８．解決策Ｃ１の方法において、オプティカルフローツールのための勾配値計算アルゴリズムは、第１の内部変数（ｔｅｍｐ）、第２のインターバル変数（ｔｅｍｐＸ）、および第３の内部変数（ｔｅｍｐＹ）の計算を包含し、それにおいて、その計算は：
ｔｅｍｐ［ｘ］［ｙ］＝ＳｉｇｎＳｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ］，Ｓ１）、
ｔｅｍｐＸ［ｘ］［ｙ］＝ＳｉｇｎＳｈｉｆｔ（ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］，Ｓ２）、および、
ｔｅｍｐＹ［ｘ］［ｙ］＝ＳｉｇｎＳｈｉｆｔ（ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］，Ｓ３）、
として定義され、
それにおいてＳ１、Ｓ２、およびＳ３は、整数であり、ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）は、

として定義され、それにおいてｏｆｆは、整数である。

Ｃ９．解決策Ｃ８の方法において、Ｓ１＝６かつＳ２＝Ｓ３＝３である。

Ｃ１０．解決策Ｃ８の方法において、Ｓ１、Ｓ２、およびＳ３は、現在のブロックのサンプルのビット深度（Ｂ）に基づく。

Ｃ１１．解決策Ｃ１０の方法において、Ｓ１＝Ｂ－Ｐ１、Ｓ２＝Ｂ－Ｐ２、かつＳ３＝Ｂ－Ｐ３であり、それにおいて、Ｐ１、Ｐ２、およびＰ３は、整数である。

Ｃ１２．解決策Ｃ１１の方法において、Ｂ＝８、１０、または１２であり、それにおいて、Ｐ１＝４、かつＰ２＝Ｐ３＝７である。

Ｃ１３．解決策Ｃ１の方法において、オプティカルフローツールのための勾配値計算アルゴリズムは、それぞれ、Ｋ１ビット整数、Ｋ２ビット整数、およびＫ３ビット整数によって表現可能な第１の内部変数（ｔｅｍｐ）と、第２のインターバル変数（ｔｅｍｐＸ）と、第３の内部変数（ｔｅｍｐＹ）の計算を包含し、それにおいて、Ｋ１、Ｋ２、およびＫ３は、正の整数である。

Ｃ１４．解決策Ｃ１３の方法において、Ｋ１＝８または１６、Ｋ２＝８または１６、かつＫ３＝８または１６である。

Ｃ１５．解決策Ｃ１３またはＣ１４の方法において、ｔｅｍｐ、ｔｅｍｐＸ、およびｔｅｍｐＹの計算の後に、
ｔｅｍｐ［ｘ］［ｙ］＝Ｃｌｉｐ３（－２^Ｋ１－１，２^Ｋ１－１－１，ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］）、
ｔｅｍｐＸ［ｘ］［ｙ］＝Ｃｌｉｐ３（－２^Ｋ２－１，２^Ｋ２－１－１，ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］）、および、
ｔｅｍｐＹ［ｘ］［ｙ］＝Ｃｌｉｐ３（－２^Ｋ３－１，２^Ｋ３－１－１，ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］）、
として定義されるクリッピング工程が続き、
それにおいて、Ｃｌｉｐ３（ｘ，ｍｉｎ，ｍａｘ）は、

として定義される。

Ｃ１６．解決策Ｃ１の方法において、オプティカルフローツールのための勾配値計算アルゴリズムは、それぞれ、Ｋ１ビット整数、Ｋ２ビット整数、Ｋ３ビット整数、Ｋ４ビット整数、およびＫ５ビット整数によって表現可能なｓＧｘ２、ｓＧｙ２、ｓＧｘＧｙ、ｓＧｘｄＩ、およびｓＧｙｄＩを包含する複数の内部変数の計算を包含し、それにおいて、Ｋ１、Ｋ２、Ｋ３、Ｋ４、およびＫ５は、正の整数である。

Ｃ１７．解決策Ｃ１６の方法において、Ｋ１＝８または１６、Ｋ２＝８または１６、Ｋ３＝８または１６、Ｋ４＝８または１６、かつＫ５＝８または１６である。

Ｃ１８．解決策Ｃ１６およびＣ１７の方法において、ｓＧｘ２、ｓＧｙ２、ｓＧｘＧｙ、ｓＧｘｄＩ、およびｓＧｙｄＩの計算の後に、
ｓＧｘ２＝Ｓｈｉｆｔ（ｓＧｘ２，Ｓ１）、
ｓＧｙ２＝Ｓｈｉｆｔ（ｓＧｙ２，Ｓ２）、
ｓＧｘＧｙ＝ＳｉｇｎＳｈｉｆｔ（ｓＧｘＧｙ，Ｓ３）、
ｓＧｘｄＩ＝ＳｉｇｎＳｈｉｆｔ（ｓＧｘｄＩ，Ｓ４）、および、
ｓＧｙｄＩ＝ＳｉｇｎＳｈｉｆｔ（ｓＧｙｄＩ，Ｓ５）、
として定義されるシフト工程が続き、
それにおいて、Ｓ１、Ｓ２、Ｓ３、Ｓ４、およびＳ５は、正の整数であり、Ｓｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）＞＞ｓであり、それにおいてＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）は、

として定義され、
それにおいてｏｆｆは、整数である。

Ｃ１９．解決策Ｃ１８の方法において、Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５は、４または５に等しい。

Ｃ２０．解決策Ｃ１８の方法において、Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５は、現在のブロックのサンプルのビット深度（Ｂ）に基づく。

Ｃ２１．解決策Ｃ８の方法において、Ｓ１＝Ｂ－Ｐ１、Ｓ２＝Ｂ－Ｐ２、Ｓ３＝Ｂ－Ｐ３、Ｓ４＝Ｂ－Ｐ４、かつＳ５＝Ｂ－Ｐ５であり、それにおいてＰ１、Ｐ２、Ｐ３、Ｐ４、およびＰ５は、整数である。

Ｃ２２．解決策Ｃ２１の方法において、Ｂ＝８、１０、または１２である。

Ｃ２３．解決策Ｃ１６およびＣ１７の方法において、ｓＧｘ２、ｓＧｙ２、ｓＧｘＧｙ、ｓＧｘｄＩ、およびｓＧｙｄＩの計算の後に、
ｓＧｘ２＝Ｃｌｉｐ３（０，２^Ｋ１－１，ｓＧｘ２）、
ｓＧｙ２＝Ｃｌｉｐ３（０，２^Ｋ２－１，ｓＧｙ２）、
ｓＧｘＧｙ＝Ｃｌｉｐ３（－２^Ｋ３－１，２^Ｋ３－１－１，ｓＧｘＧｙ）、
ｓＧｘｄＩ＝Ｃｌｉｐ３（－２^Ｋ４－１，２^Ｋ４－１－１，ｓＧｘｄＩ）、および、
ｓＧｙｄＩ＝Ｃｌｉｐ３（－２^Ｋ５－１，２^Ｋ５－１－１，ｓＧｙｄＩ）、
として定義されるクリッピング工程が続き、
それにおいて、Ｃｌｉｐ３（ｘ，ｍｉｎ，ｍａｘ）は、

として定義される。

Ｃ２４．解決策Ｃ１乃至Ｃ２３のいずれかの方法において、オプティカルフローツールは、ＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）ツールを包含する。

Ｃ２５．映像処理の方法が、映像の現在のブロックのサブブロックについての１つまたは複数の差分絶対値和（ＳＡＤ）の計算に基づいて、その現在のブロックのためにオプティカルフローを使用する符号化モードの選択的な有効化に関係する判定を行うことと；その判定に基づいて、現在のブロックとその現在のブロックのビットストリーム表現の間における変換を実行することと、を包含する。

Ｃ２６．解決策Ｃ２５の方法において、ＳＡＤの計算は、ＭＲ－ＳＡＤ（Ｍｅａｎ－Ｒｅｍｏｖｅｄ Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）の計算を包含する。

Ｃ２７．解決策Ｃ２５またはＣ２６の方法において、ＳＡＤの計算は、現在のブロックの所定の位置にあるサンプルに対して実行される。

Ｃ２８．解決策Ｃ２５またはＣ２６の方法において、ＳＡＤの計算は、現在のブロックのサブブロックの所定の位置にあるサンプルに対して実行される。

Ｃ２９．映像処理の方法が、映像の現在のブロックのためのＧＢｉ（Ｇｅｎｅｒａｌｉｚｅｄ Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｉｍｐｒｏｖｅｍｅｎｔ）処理の選択的な有効化に基づいて、その現在のブロックのためにオプティカルフローを使用する符号化モードの１つまたは複数のパラメータを導出することと；ＢＤＯＦ予測モードの１つまたは複数のパラメータに基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を包含する。

Ｃ３０．映像処理の方法が、オプティカルフローを使用する符号化モードを用いて符号化された映像の現在のブロックのために、オプティカルフローを使用する符号化モードの最終予測出力の訂正項に対してクリッピング工程を実行することと；その最終予測出力に基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を包含する。

Ｃ３１．クレームＣ３０の方法において、訂正項は、範囲［ｍｉｎＣｏｒｒｅｃｔｉｏｎ，ｍａｘＣｏｒｒｅｃｔｉｏｎ］にクリップされ、それにおいて、ｍｉｎＣｏｒｒｅｃｔｉｏｎおよびｍａｘＣｏｒｒｅｃｔｉｏｎは、整数である。

Ｃ３２．解決策Ｃ３１の方法において、ｍｉｎＣｏｒｒｅｃｔｉｏｎ＝－３２かつｍａｘＣｏｒｒｅｃｔｉｏｎ＝３２である。

Ｃ３３．解決策Ｃ３１の方法において、ｍｉｎＣｏｒｒｅｃｔｉｏｎおよびｍａｘＣｏｒｒｅｃｔｉｏｎは、サンプルのビット深度に基づく。

Ｃ３４．解決策Ｃ３１の方法において、ｍｉｎＣｏｒｒｅｃｔｉｏｎおよびｍａｘＣｏｒｒｅｃｔｉｏｎは、現在の映像ブロックの高さまたは幅に基づく。

Ｃ３５．解決策Ｃ３１の方法において、ｍｉｎＣｏｒｒｅｃｔｉｏｎおよびｍａｘＣｏｒｒｅｃｔｉｏｎは、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、スライスヘッダ、タイルグループヘッダ、タイル、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）、またはＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）内においてシグナリングされる。

Ｃ３６．解決策Ｃ３０の方法において、最終予測出力は、範囲［ｍｉｎＰｒｅｄ，ｍａｘＰｒｅｄ］にクリップされ、それにおいて、ｍｉｎＰｒｅｄおよびｍａｘＰｒｅｄは、整数である。

Ｃ３７．解決策Ｃ３６の方法において、ｍｉｎＰｒｅｄ＝－３２かつｍａｘＰｒｅｄ＝３２である。

Ｃ３８．解決策Ｃ３６の方法において、ｍｉｄＰｒｅｄおよびｍａｘＰｒｅｄは、サンプルのビット深度に基づく。

Ｃ３９．解決策Ｃ３６の方法において、ｍｉｄＰｒｅｄおよびｍａｘＰｒｅｄは、現在の映像ブロックの高さまたは幅に基づく。

Ｃ４０．解決策Ｃ３６の方法において、ｍｉｄＰｒｅｄおよびｍａｘＰｒｅｄは、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、スライスヘッダ、タイルグループヘッダ、タイル、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）、またはＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）内においてシグナリングされる。

Ｃ４１．解決策Ｃ３０乃至Ｃ４０のいずれかの方法において、訂正項は、オプティカルフローを使用する符号化モードに基づいて導出されたサンプルのための予測オフセットを包含する。

Ｃ４２．解決策Ｃ２５乃至Ｃ４１のいずれかの方法において、オプティカルフローを使用する符号化モードは、ＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）予測モードを包含する。

Ｃ４３．解決策Ｃ１乃至Ｃ４２のいずれかの方法において、変換は、ビットストリーム表現から現在のブロックを生成する。

Ｃ４４．解決策Ｃ１乃至Ｃ４２のいずれかの方法において、変換は、現在のブロックからビットストリーム表現を生成する。

Ｃ４５．映像システムにおける装置が、プロセッサ、および命令を伴う非一過性のメモリを包含し、それにおいて当該命令は、プロセッサによる実行時に、解決策Ｃ１乃至Ｃ４４のいずれか１つの方法をプロセッサに実装させる。

Ｃ４６．非一過性のコンピュータ可読媒体上に格納されたコンピュータプログラムプロダクトであって、解決策Ｃ１乃至Ｃ４４のいずれか１つの方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクト。

６．開示されているテクノロジの実装の例
図２９は、映像処理装置２９００のブロック図である。装置２９００は、この中に述べられている方法のうちの１つまたは複数の実装に使用することができる。装置２９００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）受信機等々において具体化されてよい。装置２９００は、１つまたは複数のプロセッサ２９０２、１つまたは複数のメモリ２９０４、および映像処理ハードウエア２９０６を含んでよい。プロセッサ２９０２（１つまたは複数）は、この書類の中に記述されている１つまたは複数の方法（限定ではないが、方法２８００を含む）を実装するべく構成されてよい。メモリ（または、複数のメモリ）２９０４は、この中に記述されている方法および技術を実装するために使用されるデータおよびコードを格納するために使用されてよい。映像処理ハードウエア２９０６を使用して、この書類の中に記述されているいくつかの技術をハードウエア回路において実装されてよい。

いくつかの実施形態においては、映像符号化方法は、図２９に関して記述されているとおりのハードウエアプラットフォーム上において実装される装置を使用して実装されてよい。

開示されている技術のいくつかの実施形態は、映像処理ツールまたはモードの有効化の判定または決定を行うことを含む。一例においては、映像処理ツールまたはモードが有効化されるとき、エンコーダが、映像のブロックの処理においてそれらのツールまたはモードを使用するか、または実装することになるが、必ずしも、それらのツールまたはモードの使用に基づいて結果として得られるビットストリームを修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、映像処理ツールまたはモードを、それが判定または決定に基づいて有効化されているとき、使用することになる。別の例においては、映像処理ツールまたはモードが有効化されるとき、デコーダが、映像処理ツールまたはモードに基づいてビットストリームが修正されているとの認識の下に、そのビットストリームを処理することになる。すなわち、映像のビットストリーム表現から映像のブロックへの変換は、上記の判定または決定に基づいて有効化された映像処理ツールまたはモードを使用して実行されることになる。

開示されている技術のいくつかの実施形態は、映像処理ツールまたはモードの無効化の判定または決定を行うことを含む。一例においては、映像処理ツールまたはモードが無効化されるとき、エンコーダは、映像のブロックの、映像のビットストリーム表現への変換において当該ツールまたはモードを使用しない。別の例においては、映像処理ツールまたはモードが無効化されるとき、デコーダが、上記の判定または決定に基づいて有効化される映像処理ツールまたはモードを使用してビットストリームが修正されていないとの認識の下に、そのビットストリームを処理することになる。

図３０は、この中に開示されている多様な技術を実装することができる一例の映像処理システム３０００を示したブロック図である。多様な実装は、システム３０００の構成要素のうちのいくつかまたは全部を含んでよい。システム３０００は、映像コンテンツを受信するための入力３００２を含んでよい。映像コンテンツは、生または非圧縮フォーマット、例えば、８または１０ビットの多成分ピクセル値として、あるいは圧縮または符号化フォーマットで受信されてよい。入力３００２は、ネットワークインターフェース、周辺機器バスインターフェース、またはストレージインターフェースを表してもよい。ネットワークインターフェースの例には、イーサネット、ＰＯＮ（Ｐａｓｓｉｖｅ Ｏｐｔｉｃａｌ Ｎｅｔｗｏｒｋ）等の有線インターフェース、およびＷｉ－Ｆｉまたはセルラインターフェース等の無線インターフェースが含まれる。

システム３０００は、この書類の中に記述されている多様な符号化または符号化方法を実装できる符号化構成要素３００４を含んでよい。符号化構成要素３００４は、入力３００２から符号化構成要素３００４の出力への映像の平均ビットレートを低減し、その映像の符号化された表現を生成してよい。したがって、符号化手法は、しばしば、映像圧縮または映像トランスコーディング技術と呼ばれる。符号化構成要素３００４の出力は、構成要素３００６によって表されているとおり、格納されるか、または通信接続を介して送信されるかのいずれかであってよい。格納されるか、または通信される、入力３００２において受信された映像のビットストリーム（または、符号化された）表現は、構成要素３００８によって、表示インターフェース３０１０へ送信されるピクセル値または表示可能な映像を生成するために使用されてよい。ビットストリーム表現からユーザが視聴可能な映像を生成する処理は、しばしば、映像展開と呼ばれる。さらにまた、特定の映像処理動作が『符号化（ｃｏｄｉｎｇ）』動作またはツールと呼ばれるが、認識されるように、符号化ツールまたは動作は、エンコーダにおいて使用されることになり、それに対応する、その符号化の結果を逆転させる復号化ツールまたは動作は、デコーダによって実行されることになる。

周辺機器バスインターフェースまたは表示インターフェースの例には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）またはＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）またはディスプレイポート等々を含めてよい。ストレージインターフェースの例には、ＳＡＴＡ（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）、ＰＣＩ、ＩＤＥインターフェース、およびこれらの類が含まれる。この書類の中に記述されている技術は、携帯電話、ラップトップ、スマートフォン、またはそのほかの、デジタルデータ処理および／または映像表示を実行する能力のあるデバイスといった多様な電子デバイス内において具体化されてよい。

以上から、現在開示されている技術の具体的な実施形態が、ここでは、例証の目的のために記述されていること、したがって、本発明の範囲からの逸脱を伴うことなく多様な修正がなされ得ることは認識されることになろう。したがって、現在開示されている技術は、付随する特許請求の範囲によるほかは限定されない。

この特許書類の中に記述されている発明の要旨および機能動作の実装は、この明細書内に開示されている構造およびそれらの構造的均等物を含めた多様なシステム、デジタル電子回路、またはコンピュータソフトウエア、ファームウエア、もしくはハードウエア内において、またはそれらのうちの１つまたは複数の組み合わせにおいて実装することが可能である。この明細書内に記述されている発明の要旨の実装は、１つまたは複数のコンピュータプログラムプロダクト、すなわち有体物の非一過性のコンピュータ可読媒体上にエンコードされたデータ処理装置による実行、あるいはその動作の制御のためのコンピュータプログラム命令の１つまたは複数のモジュールとして実装することが可能である。コンピュータ可読媒体は、マシン可読ストレージデバイス、マシン可読ストレージ基材、メモリデバイス、マシン可読伝播信号をもたらす組成物、またはこれらのうちの１つまたは複数の組み合わせとすることが可能である。用語『データ処理ユニット』または『データ処理装置』は、例として述べるが、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含むデータを処理するためのあらゆる装置、デバイス、およびマシンを囲い込む。『装置』は、ハードウエアに加えて、論議されているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウエア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらのうちの１つまたは複数の組み合わせを構成するコードを含むことが可能である。

コンピュータプログラム（プログラム、ソフトウエア、ソフトウエアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイル済みまたは翻訳済みの言語を含む任意形式のプログラミング言語で記述することが可能であり、かつそれを、スタンドアロンプログラムとして、またはモジュール、構成要素、サブルーチンとして、またはそのほかのコンピューティング環境における使用に適したユニットを含む任意の形式で展開することが可能である。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応している必要はない。プログラムは、そのほかのプログラムまたはデータ（例えば、マークアップ言語書類内に格納される１つまたは複数のスクリプト）を保持するファイルの部分内、論議されているプログラム専用の単一ファイル内、または複数の調和されたファイル（例えば、１つまたは複数のモジュール、サブプログラム、またはコードの部分を格納するファイル）内に格納することが可能である。コンピュータプログラムは、１つのコンピュータ上において、または１つの場所に設置されるか、または複数の場所にわたって分散され、通信ネットワークによって相互接続される複数のコンピュータ上において実行されるべく展開することが可能である。

この明細書の中に記述されている処理およびロジックフローは、１つまたは複数のコンピュータプログラムを実行して入力データに対する演算および出力の生成により機能を実施する１つまたは複数のプログラマブルプロセッサによって実施することが可能である。これらの処理およびロジックフローは、専用ロジック回路、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって実行することも可能であり、また、それによって装置を実装することも可能である。

コンピュータプログラムの実行に適したプロセッサには、例として述べるが、汎用および専用両方のマイクロプロセッサ、および任意の１つまたは複数の任意種類のデジタルコンピュータが含まれる。概して言えば、プロセッサは、読出し専用メモリまたはランダムアクセスメモリまたはそれら両方から命令およびデータを受け取る。コンピュータの必須の要素は、命令を実行するためのプロセッサ、ならびに命令およびデータを格納するための１つまたは複数のメモリデバイスである。概して言えば、コンピュータは、また、データを格納するための、例えば、磁気、光磁気ディスク、もしくは光ディスクといった１つまたは複数の大容量ストレージデバイスも含むか、またはそこからデータを受け取るために、またはそこへデータを転送するために、またはその両方のためにそれらと動作可能に結合される。しかしながら、コンピュータがそれらのデバイスを有することは、必須ではない。コンピュータプログラム命令およびデータを格納するために適したコンピュータ可読媒体には、例として述べるが、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュメモリデバイスを含めたあらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスが含まれる。プロセッサおよびメモリは、専用ロジック回路によって補うこと、またはそれの中に組み込むことが可能である。

この明細書は、図面とともに、例示的なものとしてのみ考慮されることが意図されており、それにおいて、例示的とは例であることを意味する。ここで使用されるとき、『または』の使用は、『および／または』を含むことが、文脈がそれ以外であることを明白に示していない限り、意図されている。

この特許書類は、多くの詳細を含んでいるが、これらは、本発明の、または請求されている範囲を限定するものと解釈されるべきでなく、むしろその逆に、特定の発明の特定の実施形態に特有なものとし得る特徴の記述として解釈される。この特許書類の中で、別々の実施形態という文脈において記述されている特定の特徴は、単一の実施形態の中で組み合わされて実装されることも可能である。その逆に、単一の実施形態という文脈において記述されている多様な特徴は、複数の実施形態の中で別々に、または任意の適切な部分的組み合わせにおいて実装することも可能である。それに加えて、特徴が、特定の組み合わせにおいて作用するとして上で記述されていることもあり、また、当初こそそれ自体が主張されていることがあるかも知れないが、主張されている組み合わせからの１つまたは複数の特徴を、いくつかの場合には、組み合わせから削除することが可能であり、また、主張されている組み合わせが、部分的組み合わせに、または部分的組み合わせの変形に向けられてもよい。

同様に、図面においては、動作が特定の順序で図示されているが、そのことを、所望の結果の達成に、その種の動作がそこに示されている特定の順序もしくは並び順において実行されること、または図解されている動作が実行されることが要求されているとしては理解されないものとする。それに加えて、この特許書類の中に記述されている実施形態内における多様なシステム構成要素の分離が、すべての実施形態においてその種の分離が要求されているとしては理解されるべきではない。

いくつかの実装および例だけが記述されているが、そのほかの実装、強化、および変形を、この特許書類の中に記述され、図解されているものに基づいて行うことは可能である。

Claims (26)

1. 映像処理の方法であって、
   映像の現在のブロックのためにオプティカルフローを使用する符号化モードが有効化されたとの決定時に、前記現在のブロックの各色成分のために単一タイプの補間フィルタを使用するフィルタリング工程を実行することと、
   前記フィルタリング工程に基づいて、前記現在のブロックと前記映像のビットストリーム表現の間における変換を実行することと、
   を有する、映像処理の方法。
2. 前記色成分は、輝度成分を有し、前記単一タイプの補間フィルタは、８タップ補間フィルタを有する、請求項１に記載の方法。
3. 前記フィルタリング工程において使用される前記現在のブロックのサンプルの第１の数は、前記単一タイプの補間フィルタによって要求されるサンプルの第２の数より少なく、それによって前記フィルタリング工程のメモリ帯域幅が低減される、請求項１に記載の方法。
4. サンプルの前記第２の数は、オプティカルフローを使用する前記符号化モードが適用されないとき、前記フィルタリング工程において使用される前記現在のブロックのサンプルの数に等しい、請求項３に記載の方法。
5. 前記現在のブロックのサンプルの数が前記フィルタリング工程において使用され、
   前記方法は、さらに、
   オプティカルフローを使用する前記符号化モードが適用されるとの決定時に、パディング工程を実行すること、
   を包含する、請求項１に記載の方法。
6. 前記現在のブロックのサイズは、Ｍ×Ｎであり、
   勾配計算によって要求されるサンプルの第１の数は、（Ｍ＋Ｇ）×（Ｎ＋Ｇ）であり、
   前記単一タイプの補間フィルタは、Ｌタップを有し、
   前記フィルタリング工程によって要求されるサンプルの第２の数は、（Ｍ＋Ｇ＋Ｌ－１）×（Ｎ＋Ｇ＋Ｌ－１）であり、
   前記フィルタリング工程において使用されるサンプルの第３の数は、（Ｍ＋Ｌ－１＋ｋ）×（Ｎ＋Ｌ－１＋ｋ）であり、
   Ｍ、Ｎ、Ｇ、およびＬは、正の整数であり、
   ｋは、Ｇより小さい整数であり、
   サンプルの前記第２の数とサンプルの前記第３の数の間の差を有するサンプルの第４の数がパディングされる、請求項１に記載の方法。
7. Ｍ＝Ｎ＝８、Ｌ＝８、かつＧ＝２である、請求項６に記載の方法。
8. ｋ＝０、またはｋ＝１である、請求項６または７に記載の方法。
9. 前記現在のブロックの左上のピクセルの座標が（０，０）であり、
   前記方法は、さらに、
   所定の位置のピクセルに対する勾配値の計算およびオプティカルフローを使用する前記符号化モードの適用を抑制すること、
   を有する、請求項１に記載の方法。
10. 前記所定の位置のｘ座標は、－１またはＷであり、
    Ｗは、前記現在のブロックの幅であり、
    Ｗは、正の整数である、請求項９に記載の方法。
11. 前記所定の位置のｙ座標は、－１またはＨであり、
    Ｈは、前記現在のブロックの高さであり、
    Ｈは、正の整数である、請求項９に記載の方法。
12. 前記現在のブロックの左上のピクセルの座標が（０，０）であり、
    前記方法は、さらに、
    所定の位置のピクセルのための勾配値の計算を修正すること、
    を有する、請求項１に記載の方法。
13. 前記所定の位置のｘ座標は、－１またはＷであり、
    Ｗは、前記現在のブロックの幅であり、
    Ｗは、正の整数である、請求項１２に記載の方法。
14. 前記所定の位置のｙ座標は、－１またはＨであり、
    Ｈは、前記現在のブロックの高さであり、
    Ｈは、正の整数である、請求項１２に記載の方法。
15. 前記勾配値の前記計算は、
    

    

    とすることを有し、
    Ｗは、前記現在のブロックの幅であり、
    ｐｒｅｄＳａｍｐｌｅＬ０は、参照リストＬ０からの前記現在のブロックのための輝度予測サンプルを有する配列であり、
    ｇｒａｄｉｅｎｔＨＬ０は、前記参照リストＬ０から導出された前記勾配値の水平成分であり、
    ｈｘおよびｖｙは、整数の座標インデックスである、請求項１３または１４に記載の方法。
16. 前記勾配値の前記計算は、
    

    

    とすることを有し、
    Ｗは、前記現在のブロックの幅であり、
    ｐｒｅｄＳａｍｐｌｅＬ０は、前記現在のブロックからの輝度予測サンプルを有する配列であり、
    ｇｒａｄｉｅｎｔＶＬ０は、参照リストＬ０から導出された前記勾配値の垂直成分であり、
    ｈｘおよびｖｙは、整数の座標インデックスである、請求項１３または１４に記載の方法。
17. 前記勾配値の前記計算に先行して、前記現在のブロックの外側の１つまたは複数のサンプルを、前記１つまたは複数の外側のサンプルの補間に代えてパディングすること、
    を更に有する、請求項１に記載の方法。
18. オプティカルフローを使用する前記符号化モードにおいて使用される１つまたは複数の勾配の計算は、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）において使用されるものと同一である、請求項１に記載の方法。
19. 映像処理の方法であって、
    映像の現在のブロックのためにオプティカルフローを使用する符号化モードが有効化されたとの決定時に、前記現在のブロックの各色成分のために単一タイプの補間フィルタを使用するフィルタリング工程を実行することと、
    前記現在のブロックの少なくとも１つのサンプルが所定の範囲の外側に位置するとの決定時に、パディング工程を実行することと、
    前記フィルタリング工程および前記パディング工程に基づいて、前記現在のブロックと前記映像のビットストリーム表現の間における変換を実行することと、
    を有する、映像処理の方法。
20. 前記パディング工程は、勾配計算の実行に先行して実行される、請求項１９に記載の方法。
21. 前記所定の範囲は、前記現在のブロックの高さまたは幅に基づく、請求項１９に記載の方法。
22. オプティカルフローを使用する前記符号化モードは、ＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）予測モードを有する、請求項１乃至２１のいずれかに記載の方法。
23. 前記変換は、前記ビットストリーム表現から前記現在のブロックを生成する、請求項１乃至２２のいずれかに記載の方法。
24. 前記変換は、前記現在のブロックから前記ビットストリーム表現を生成する、請求項１乃至２２のいずれかに記載の方法。
25. 映像システムにおける装置であって、プロセッサおよび命令を有する非一時的メモリを有し、前記命令は、前記プロセッサにより実行された際に、前記プロセッサに、請求項１乃至２４のうちの１つまたは複数に記載の前記方法を実装させる、装置。
26. 非一時的コンピュータ可読媒体上に格納されたコンピュータプログラムプロダクトであって、請求項１乃至２４のうちの１つまたは複数に記載の前記方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクト。

Images