JP2022527852A - 異なる動きベクトル微調整における勾配計算 - Google Patents

異なる動きベクトル微調整における勾配計算 Download PDF

Info

Publication number
JP2022527852A
JP2022527852A JP2021560232A JP2021560232A JP2022527852A JP 2022527852 A JP2022527852 A JP 2022527852A JP 2021560232 A JP2021560232 A JP 2021560232A JP 2021560232 A JP2021560232 A JP 2021560232A JP 2022527852 A JP2022527852 A JP 2022527852A
Authority
JP
Japan
Prior art keywords
block
sample
prof
optical flow
predsample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021560232A
Other languages
English (en)
Other versions
JPWO2020211865A5 (ja
JP7319386B2 (ja
Inventor
カイ ジャン
リー ジャン
ホンビン リウ
ユエ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022527852A publication Critical patent/JP2022527852A/ja
Publication of JPWO2020211865A5 publication Critical patent/JPWO2020211865A5/ja
Priority to JP2023117759A priority Critical patent/JP2023145563A/ja
Application granted granted Critical
Publication of JP7319386B2 publication Critical patent/JP7319386B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

映像処理方法は、映像の現在の映像ブロックに対して、精度規則に従って、初期予測サンプルの勾配に基づいて、オプティカルフロー計算を使用して、現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、現在の映像ブロックに対する最終予測ブロックを判定することと、最終予測ブロックを使用して、現在の映像ブロックと符号化表現との間で変換を行うこととを含み、オプティカルフロー計算は、ＰＲＯＦ手順またはＢＤＯＦ手順による予測微調整を含み、精度規則は、ＰＲＯＦ手順およびＢＤＯＦ手順の両方に対して勾配を表現するために同じ精度を使用するように規定するように提供される。【選択図】図２９Ａ

Description

（関連出願の相互参照）
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０１９年４月１９日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０８３４３４号、２０１９年６月２５日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０９２７６２号の優先権および利益を適時に主張することを目的とする。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
本特許明細書は、映像処理技術、デバイスおよびシステムに関する。
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
デジタル映像処理に関する装置、システムおよび方法。記載された方法は、既存の映像符号化規格（例えば、高効率映像符号化（ＨＥＶＣ））および将来の映像符号化規格又はビデオコーデックの両方に適用され得る。
１つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックのサブブロックレベルで行われるアフィンモード動き補償を使用して、映像の前記現在の映像ブロックに対する予測ブロックを生成することと、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順を使用して、前記予測ブロックを微調整するために、前記現在の映像ブロックの領域に対して勾配計算を行うことであって、前記領域のサイズ（Ｍ×Ｎ）は、前記現在の映像ブロックのサブブロックのサイズとは異なり、Ｍ、Ｎは正の整数である、勾配計算を行うことと、前記勾配計算に基づいて、前記現在の映像ブロックと前記映像の符号化表現との間で変換を行うこととを含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、第１のサイズを有する映像の現在の映像ブロックに対し、規則に従って第２のサイズを有する映像領域に対して行われた勾配計算を使用して１つ以上の中間予測ブロックを微調整することによって算出された最終予測ブロックを導出することであって、前記微調整することは、オプティカルフロー手順を使用する、導出することと、前記最終予測ブロックを使用して、前記現在の映像ブロックと前記映像の符号化表現との間で変換を行うこととを含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在の映像ブロックに対し、双方向オプティカルフロー（ＢＤＯＦ）またはオプティカルフロー付き予測微調整（ＰＲＯＦ）を使用して動き情報を導出することと、前記現在の映像ブロックの領域において、前記領域における少なくとも１つのサンプルが前記勾配計算から省略されるように、サンプルに対する勾配計算を行うことと、前記勾配計算に基づいて、前記現在の映像ブロックと前記現在の映像ブロックを含む映像の符号化表現との間で変換を行うこととを含み、前記現在の映像ブロックに対する１つ以上の初期予測は、サブブロックレベルで算出されて前記ＰＲＯＦ中のオプティカルフロー計算を使用して微調整されるか、または１つ以上の初期予測は、ＢＤＯＦ中の空間的および時間的勾配を使用して微調整される。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在の映像ブロックに対して、精度規則に従って、初期予測サンプルの勾配に基づいて、オプティカルフロー計算を使用して、現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、現在の映像ブロックに対する最終予測ブロックを判定することと、前記最終予測ブロックを使用して、前記現在の映像ブロックと符号化表現との間で変換を行うこととを含み、前記オプティカルフロー計算は、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順または双方向オプティカルフロー（ＢＤＯＦ）手順による予測微調整を含み、前記精度規則は、前記ＰＲＯＦ手順および前記ＢＤＯＦ手順の両方に対して前記勾配を表現するために同じ精度を使用するように規定する。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在の映像ブロックと前記映像の符号化表現との間での変換のために、オプティカルフロー計算を使用して、前記現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、前記現在の映像ブロックに対する最終予測ブロックを判定することと、最終予測ブロックを使用して前記変換を行うこととを含み、前記オプティカルフロー計算は、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順および／または双方向オプティカルフロー（ＢＤＯＦ）手順による予測微調整を含み、前記オプティカルフロー計算は、パディングサンプルを導出すべく、規則に従って、前記ＰＲＯＦ手順または前記ＢＤＯＦ手順の少なくとも一方に適用可能なパディング演算をさらに含む。
さらに別の代表的な態様において、上記方法は、処理装置が実行可能なコードの形式で実施され、コンピュータ可読プログラム媒体に記憶される。
さらに別の代表的な態様において、上述した方法を行うように構成された、または動作可能なデバイスが開示される。この装置は、この方法を実装するようにプログラムされた処理装置を含んでもよい。
さらに別の代表的な態様において、映像デコーダ装置は、本明細書で説明されるような方法を実装してもよい。
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される。
マージ候補リストを構築する例を示す。 空間的候補の位置の一例を示す。 空間的マージ候補の冗長性チェックの対象となる候補対の例を示す。 現在のブロックのサイズおよび形状に基づく第２の予測ユニット（ＰＵ）の位置の例を示す。 現在のブロックのサイズおよび形状に基づく第２の予測ユニット（ＰＵ）の位置の例を示す。 時間的マージ候補のための動きベクトルのスケーリングの例を示す。 時間マージ候補の候補位置の一例を示す。 結合双方向予測マージ候補を生成する例を示す。 動きベクトル予測候補の構築例を示す。 空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す。 符号化ユニット（ＣＵ）のために代替の時間的動きベクトル予測（ＡＴＭＶＰ）アルゴリズムを使用する動き予測の例を示す。 空間的－時間的動きベクトル予測（ＳＴＭＶＰ）アルゴリズムで使用されるサブブロックおよび近傍のブロックを有する符号化ユニット（ＣＵ）の例を示す。 重複ブロック動き補償（ＯＢＭＣ）アルゴリズムを使用する場合のサブブロックの例示的なスナップショットを示す。 重複ブロック動き補償（ＯＢＭＣ）アルゴリズムを使用する場合のサブブロックの例示的なスナップショットを示す。 局所照明補償（ＬＩＣ）アルゴリズムのためのパラメータを導出するために使用される近傍のサンプルの例を示す。 簡略化したアフィン動きモデルの一例を示す。 サブブロックごとのアフィン動きベクトルフィールド（ＭＶＦ）の例を示す。 ＡＦ＿ＩＮＴＥＲアフィン動きモードにおける動きベクトル予測（ＭＶＰ）の例を示す。 ＡＦ＿ＭＥＲＧＥアフィン動きモードの候補の例を示す。 ＡＦ＿ＭＥＲＧＥアフィン動きモードの候補の例を示す。 フレームレートアップ変換（ＦＲＵＣ）アルゴリズムに基づく特殊なマージモードである、パターンマッチング動きベクトル導出（ＰＭＭＶＤ）モードにおけるバイラテラルマッチングの例を示す。 ＦＲＵＣアルゴリズムにおけるテンプレートマッチングの一例を示す。 ＦＲＵＣアルゴリズムにおける片側動き推定の例を示す。 双方向オプティカルフロー（ＢＩＯ）アルゴリズムで使用されるオプティカルフローの軌跡の例を示す。 ブロック拡張なしの双方向オプティカルフロー（ＢＩＯ）アルゴリズムを使用した例示的なスナップショットを示す。 ブロック拡張なしの双方向オプティカルフロー（ＢＩＯ）アルゴリズムを使用した例示的なスナップショットを示す。 ＢＩＯに使用される補間されたサンプルの例を示す。 バイラテラルテンプレートマッチングに基づくデコーダ側動きベクトル改良（ＤＭＶＲ）アルゴリズムの一例を示す。 １つのサブブロックＭＶ ＶＳＢおよび画素Δｖ（ｉ，ｊ）の例を示す。 位相可変水平面フィルタリングの例を示す。 １つの例の８タップ水平フィルタリングを適用する例を示す。 不均一な位相垂直フィルタリングの例を示す。 映像処理のための例示的な方法のフローチャートを示す。 映像処理のための例示的な方法のフローチャートを示す。 映像処理のための例示的な方法のフローチャートを示す。 映像処理のための例示的な方法のフローチャートを示す。 映像処理のための例示的な方法のフローチャートを示す。 本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図である。 本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図である。 １６×１６個の領域における１６個の４×４個のサブブロックの例を示す。
より高い解像度の映像の需要が増大しているため、近代技術において、映像処理方法および技術は、遍在している。ビデオコーデックは、一般的に、デジタル映像を圧縮又は展開する電子回路又はソフトウェアを含み、より高い符号化効率を提供するように絶えず改良されている。ビデオコーデックは、非圧縮映像を圧縮フォーマットに変換する、又はその逆である。映像の品質、映像を表現するために使用されるデータの数（ビットレートで決まる）、エンコーディングおよびデコーディングアルゴリズムの複雑性、データの損失およびエラーに対する敏感さ、編集のしやすさ、ランダムアクセス、およびエンドツーエンドの遅延（待ち時間）の間には複雑な関係がある。この圧縮フォーマットは、通常、標準的な映像圧縮仕様、例えば、高効率映像符号化（ＨＥＶＣ）規格（Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られている）、完成させるべき汎用映像符号化規格、または他の現在のおよび／または将来の映像符号化基準に準拠する。
開示される技術の実施形態は、圧縮性能を向上させるために、既存の映像符号化規格（例えば、ＨＥＶＣ、Ｈ．２６５）および将来の規格に適用されてもよい。本明細書では、説明の可読性を向上させるために章の見出しを使用しており、説明または実施形態（および／または実装形態）をそれぞれの章のみに限定するものではない。
１． ＨＥＶＣ／Ｈ．２６５におけるインター予測の例
映像符号化規格は、長年にわたって大幅に改善され、現在、部分的には、高いコーディング効率を実現し、より高い解像度をサポートする。ＨＥＶＣおよびＨ．２６５などの最近の規格は、時間予測プラス変換符号化が利用されるハイブリッド映像符号化構造に基づく。
１．１ 予測モードの例
各インター予測されたＰＵ（予測ユニット）は、１つまたは２つの参照ピクチャリストのための動きパラメータを有する。いくつかの実施形態において、動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。他の実施例において、２つの参照ピクチャリストのうちの１つの参照ピクチャリストの使用は、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃを用いて通知されてもよい。さらに他の実施形態において、動きベクトルは、予測子に対するデルタとして明確にコーディングされてもよい。
１つのＣＵがスキップモードにて符号化される場合、１つのＰＵがこのＣＵに関連付けられ、有意な残差係数がなく、符号化された動きベクトル差分も参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のＰＵのための動きパラメータを、空間的および時間的候補を含む近傍のＰＵから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたＰＵに適用することができる。マージモードの代替としては、動きパラメータの明確な送信があり、ＰＵごとに、各参照ピクチャリストおよび参照ピクチャリストの使用に対応する参照ピクチャインデックスである、動きベクトルを明確に信号通知する。
２つの参照ピクチャリストのうちの１つを使用することを信号通知が示す場合、１つのサンプルのブロックからＰＵを生成する。これを「単一予測」と呼ぶ。ＰスライスおよびＢスライスの両方に対して単一予測が利用可能である。
両方の参照ピクチャリストを使用することを信号通知が示す場合、２つのサンプルのブロックからＰＵを生成する。これを「双方向予測」と呼ぶ。Ｂスライスのみに双方向予測が利用可能である。
１．１．１ マージモードの候補を構築する実施形態
マージモードを使用してＰＵを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、以下のステップのシーケンスに基づいてまとめることができる。
ステップ１：初期候補導出
ステップ１．１：空間的候補導出
ステップ１．２：空間的候補の冗長性チェック
ステップ１．３：時間的候補導出
ステップ２：追加の候補挿入
ステップ２．１：双方向予測候補の作成
ステップ２．２：動きゼロ候補の挿入
図１は、上記ステップのシーケンスに基づいてマージ候補リストを構築する例を示す。空間的マージ候補導出のために、５つの異なる位置にある候補の中から最大４つのマージ候補を選択する。時間的マージ候補導出のために、２つの候補の中から最大１つのマージ候補を選択する。デコーダ側ではＰＵごとに一定数の候補を想定しているので、候補数がスライスヘッダで信号通知されるマージ候補（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）の最大数に達しない場合、追加候補を生成する。候補の数は一定であるので、短縮された単項２値化（ＴＵ）を使用して最良マージ候補のインデックスを符号化する。ＣＵのサイズが８に等しい場合、現在のＣＵのすべてのＰＵは、２Ｎ×２Ｎ予測ユニットのマージ候補リストと同じ１つのマージ候補リストを共有する。
１．１．２ 空間的マージ候補の構築
空間的マージ候補の導出において、図２に示す位置にある候補の中から、最大４つのマージ候補を選択する。導出の順序はＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２である。位置Ａ１、Ｂ１、Ｂ０、Ａ０のいずれかのＰＵが利用可能でない場合（例えば、別のスライスまたはタイルに属しているため）、またはイントラ符号化された場合にのみ、位置Ｂ２が考慮される。位置Ａ１の候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。
計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。代わりに、図３において矢印でリンクされた対のみを考慮し、冗長性チェックに使用される対応する候補が同じ動き情報を有していない場合にのみ、その候補をリストに加える。重複した動き情報の別のソースは、２Ｎ×２Ｎとは異なる分割に関連付けられた「第２のＰＵ」である。図４Ａおよび図４Ｂは、それぞれ、Ｎ×２Ｎおよび２Ｎ×Ｎの場合の第２のＰＵを描いている。現在のＰＵをＮ×２Ｎに分割する場合、リスト構築に位置Ａ１の候補は考慮されない。いくつかの実施形態において、この候補を加えることにより、２つの予測ユニットが同じ動き情報を有するようになり、１つの符号化ユニットに１つのＰＵのみを有することは冗長である。同様に、現在のＰＵを２Ｎ×Ｎに分割する場合、位置Ｂ１は考慮されない。
１．１．３ 時間的マージ候補の構築
このステップにおいて、１つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間に最小のＰＯＣ差を有するピクチャに属する同一位置ＰＵに基づいて、スケーリングされた動きベクトルを導出する。スライスヘッダにおいて、同一位置のＰＵ（ｃｏ－ｌｏｃａｔｅｄ ＰＵ）の導出に用いられる参照ピクチャリストが明確に信号通知される。
図５は、ＰＯＣ距離ｔｂ、ｔｄを用いて、コロケーションＰＵの動きベクトルからスケーリングされた、現在のピクチャの参照ピクチャと現在のピクチャとの間のＰＯＣ差をｔｂとし、コロケーションピクチャの参照ピクチャとコロケーションピクチャとの間のＰＯＣ差をｔｄとする、時間的マージ候補のためのスケーリングされた動きベクトル（点線）の導出の例を示す。時間的マージ候補の参照ピクチャインデックスをゼロに等しく設定する。Ｂスライスの場合、２つの動きベクトル、即ち、１つは参照ピクチャリスト０のためのもの、もう１つは参照ピクチャリスト１のためのものを取得し、これらを組み合わせることによって、双方向予測マージ候補を形成する。
参照フレームに属する同一位置のＰＵ（Ｙ）において、図６に示すように、候補Ｃ０と候補Ｃ１との間で時間的候補の位置を選択する。位置Ｃ０のＰＵが利用可能でない場合、イントラ符号化されている場合、または現在のＣＴＵの外側にある場合、位置Ｃ１が使用される。そうでない場合、位置Ｃ０が時間的マージ候補の導出に使用される。
１．１．４ 追加タイプのマージ候補の構築
空間的－時間的マージ候補の他に、２つの追加のタイプのマージ候補、すなわち、結合双方向予測マージ候補およびゼロマージ候補がある。空間的－時間的マージ候補を利用して、結合双方向予測マージ候補を生成する。結合双方向予測マージ候補は、Ｂスライスのみに使用される。最初の候補の第１の参照ピクチャリスト動きパラメータと別の候補の第２の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双方向予測候補を生成する。これら２つのタプルが異なる動き仮説を提供する場合、これらのタプルは、新しい双方向予測候補を形成する。
図７は、この処理の例を示しており、ｍｖＬ０、ｒｅｆＩｄｘＬ０、又はｍｖＬ１、ｒｅｆＩｄｘＬ１を有するオリジナルリスト（７１０、左側）における、２つの候補を使用して、最終リスト（７２０、右側）に加えられる結合双方向予測マージ候補を生成する。
ゼロ動き候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ容量にヒットする。これらの候補は、空間的変位がゼロであり、新しいゼロ動き候補をリストに加える度にゼロから始まり増加する参照ピクチャインデックスを有する。これらの候補が使用する参照フレームの数は、それぞれ、一方向予測の場合は１つ、双方向予測の場合は２つである。いくつかの実施形態において、これらの候補に対して冗長性チェックは行われない。
１．１．５ 並列処理のための動き推定領域の例
符号化処理を高速化するために、動き推定を並列に行うことができ、それによって、所与の領域内のすべての予測ユニットの動きベクトルを同時に導出する。１つの予測ユニットは、その関連する動き推定が完了するまで、隣接するＰＵから動きパラメータを導出することができないので、空間的近傍からのマージ候補の導出は、並列処理に干渉する可能性がある。符号化効率と処理待ち時間との間のトレードオフを緩和するために、動き推定領域（ＭＥＲ）を規定することができる。「ｌｏｇ２＿ｐａｒａｌｌｅｌ＿ｍｅｒｇｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ２」構文要素を使用して、ピクチャパラメータ集合（ＰＰＳ）においてＭＥＲのサイズを信号通知してもよい。１つのＭＥＲを規定するとき、同じ領域にあるマージ候補は利用不可能であるとしてマークされ、それゆえにリスト構築においては考慮されない。
１．２ 高度動きベクトル予測（ＡＭＶＰ）の実施形態
ＡＭＶＰは、動きベクトルと近傍のＰＵとの間の空間的－時間的相関を利用し、これを動きパラメータの明確な伝送に用いる。まず、左側、上側の時間的に近傍のＰＵ位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることで、動きベクトル候補リストを構築する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用してエンコードされる。この場合に符号化される最大値は２である（図８参照）。以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。
１．２．１ 動きベクトル予測候補の構築例
図８は、動きベクトル予測候補の導出処理をまとめたものであり、ｒｅｆｉｄｘを入力として、各参照ピクチャリストに対して実装されてもよい。
動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という２つのタイプの動きベクトル候補が考慮される。空間的動きベクトル候補を導出するために、先に図２に示したように、５つの異なる位置にある各ＰＵの動きベクトルに基づいて、最終的には２つの動きベクトル候補を導出する。
時間的動きベクトル候補を導出するために、２つの異なる同一位置に配置された位置に基づいて導出された２つの候補から１つの動きベクトル候補を選択する。空間的－時間的候補の最初のリストを作成した後、リストにおける重複した動きベクトル候補を除去する。候補の数が２よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデックスが１よりも大きい動きベクトル候補をリストから削除する。空間的―時間的動きベクトル候補の数が２未満である場合は、追加のゼロ動きベクトル候補をリストに加える。
１．２．２ 空間的動きベクトル候補の構築
空間的動きベクトル候補の導出において、先に図２に示したような位置にあるＰＵから導出された５つの潜在的な候補のうち、動きマージと同じ位置にあるものを最大２つの候補を考慮する。現在のＰＵの左側のための導出の順序は、Ａ０、Ａ１、スケーリングされたＡ０、スケーリングされたＡ１として規定される。現在のＰＵの上側のための導出の順序は、Ｂ０、Ｂ１、Ｂ２、スケーリングされたＢ０、スケーリングされたＢ１、スケーリングされたＢ２として規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合が４つ、すなわち空間的スケーリングを使用する必要がない２つの場合と、空間的スケーリングを使用する２つの場合とがある。４つの異なる場合をまとめると、以下のようになる。
―空間スケーリングなし
（１）同じ参照ピクチャリスト、及び同じ参照ピクチャインデックス（同じＰＯＣ）
（２）異なる参照ピクチャリストであるが、同じ参照ピクチャ（同じＰＯＣ）
―空間的スケーリング
（３）同じ参照ピクチャリストであるが、異なる参照ピクチャ（異なるＰＯＣ）
（４）異なる参照ピクチャリスト、及び異なる参照ピクチャ（異なるＰＯＣ）
まず、非空間的スケーリングの場合をチェックし、次に、空間的スケーリングを可能にする場合をチェックする。参照ピクチャリストにかかわらず、ＰＯＣが近傍のＰＵの参照ピクチャと現在のＰＵの参照ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのＰＵが利用可能でないか、又はイントラ符号化されている場合、上側の動きベクトルのスケーリングは、左側及び上側ＭＶ候補の並列導出に役立つ。そうでない場合、上側の動きベクトルに対して空間的スケーリングは許可されない。
図９の例に示すように、空間的スケーリングの場合、時間的スケーリングと同様にして、近傍のＰＵの動きベクトルをスケーリングする。１つの違いは、現在のＰＵの参照ピクチャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的スケーリングと同じであることである。
１．２．３ 時間的動きベクトル候補の構築
参照ピクチャインデックスを導出すること以外は、時間的マージ候補を導出するためのすべての処理は、空間的動きベクトル候補を導出するための処理と同じである（図６の例に示す）。いくつかの実施形態において、参照ピクチャインデックスはデコーダに信号通知される。
２． 共同探索モデル（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ：ＪＥＭ）におけるインター予測方法の例
いくつかの実施形態において、将来の映像符号化技術は、共同探索モデル（ＪＥＭ）として知られる参照ソフトウェアを使用して探索される。ＪＥＭでは、サブブロックベースの予測は、アフィン予測、代替時間的動きベクトル予測（ＡＴＭＶＰ）、空間的－時間的動きベクトル予測（ＳＴＭＶＰ）、双方向オプティカルフロー（ＢＩＯ）、フレームレートアップ変換（ＦＲＵＣ）、ローカル適応動きベクトル解像度（ＬＡＭＶＲ）、オーバーラップブロック動き補償（ＯＢＭＣ）、ローカル照明補償（ＬＩＣ）、デコーダ側動きベクトル改良（ＤＭＶＲ）などの、いくつかの符号化ツールで適用されている。
２．１ サブＣＵに基づく動きベクトル予測の例
４分木に２分木を加えたＪＥＭ（ＱＴＢＴ）において、各ＣＵは、各予測方向に対して最大１つの動きパラメータのセットを有することができる。いくつかの実施形態において、エンコーダにおいて、ラージＣＵをサブＣＵに分割し、ラージＣＵのすべてのサブＣＵの動き情報を導出することにより、２つのサブＣＵレベルの動きベクトル予測方法を考慮する。代替的な時間的動きベクトル予測（ＡＴＭＶＰ）方法により、各ＣＵが、配列された参照ピクチャにおける現在のＣＵよりも小さい複数のブロックから複数の動き情報のセットを取り出すことが可能となる。ＳＴＭＶＰ（Ｓｐａｔｉａｌ－Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）法において、時間的動きベクトル予測因子および空間的近傍動きベクトルを使用して、サブＣＵの動きベクトルを再帰的に導出する。いくつかの実施形態において、サブＣＵ動き予測のためにより正確な動きフィールドを維持するために、参照フレームの動き圧縮は無効にされてもよい。
２．１．１ 代替の時間的動きベクトル予測（ＡＴＭＶＰ）の例
ＡＴＭＶＰ法において、時間的動きベクトル予測（ＴＭＶＰ）法は、現在のＣＵより小さいブロックから複数セットの動き情報（動きベクトルおよび参照インデックスを含む）を取り出すことで修正される。
図１０は、ＣＵ１０００におけるＡＴＭＶＰ動き予測処理の一例を示す。ＡＴＭＶＰ法は、ＣＵ１０００におけるサブＣＵ１００１の動きベクトルを２つのステップで予測する。第１のステップでは、参照ピクチャ１０５０における対応するブロック１０５１を時間的ベクトルで特定する。参照ピクチャ１０５０は、モーションソースピクチャとも呼ばれる。第２のステップでは、現在のＣＵ１０００をサブＣＵ１００１に分割し、各サブＣＵに対応するブロックから、各サブＣＵの動きベクトルおよび参照インデックスを得る。
第１のステップにおいて、現在のＣＵ１０００の空間的に近傍のブロックの動き情報によって、参照ピクチャ１０５０および対応するブロックを判定する。近傍のブロックの繰り返し走査処理を回避するために、現在のＣＵ１０００のマージ候補リストにおける第１のマージ候補を用いる。第１の利用可能な動きベクトル及びその関連する参照インデックスを、時間的ベクトル及び動きソースピクチャのインデックスに設定する。このように、ＴＭＶＰに比べて、対応するブロックをより正確に特定することができ、対応するブロック（配列されたブロックと呼ばれることがある）は、常に現在のＣＵに対して右下または中心位置にある。
第２のステップにおいて、現在のＣＵの座標に時間的ベクトルを加えることで、モーションソースピクチャ１０５０における時間的ベクトルによって、サブＣＵ１０５１の対応するブロックを特定する。サブＣＵごとに、その対応するブロックの動き情報（例えば、中心サンプルを覆う最小の動きグリッド）を使用して、サブＣＵの動き情報を導出する。対応するＮ×Ｎブロックの動き情報を特定した後、ＨＥＶＣのＴＭＶＰと同様に、現在のサブＣＵの動きベクトル及び参照インデックスに変換され、動きスケーリングや他の手順が適用される。例えば、デコーダは、低遅延条件（例えば、現在のピクチャのすべての参照ピクチャのＰＯＣが現在のピクチャのＰＯＣよりも小さい）が満たされているかどうかをチェックし、場合によっては、動きベクトルＭＶｘ（例えば、参照ピクチャリストＸに対応する動きベクトル）を使用して、各サブＣＵの動きベクトルＭＶｙ（例えば、Ｘが０又は１に等しく、Ｙが１－Ｘに等しい）を予測する。
２．１．２ 空間的－時間的動きベクトル予測（ＳＴＭＶＰ）の例
ＳＴＭＶＰ法において、サブＣＵの動きベクトルは、ラスタスキャンの順に沿って再帰的に導出される。図１１は、４つのサブブロックおよび近傍のブロックを有する１つのＣＵの例を示す。４つの４×４個のサブＣＵ、Ａ（１１０１）、Ｂ（１１０２）、Ｃ（１１０３）、およびＤ（１１０４）を含む８×８個のＣＵ１１００を考える。現在のフレームにおける近傍の４×４ブロックを、ａ（１１１１）、ｂ（１１１２）、ｃ（１１１３）、ｄ（１１１４）とラベルする。
サブＣＵのＡの動きの導出は、その２つの空間的近傍を特定することで始まる。第１の近傍は、サブＣＵ、Ａ１１０１の上のＮ×Ｎブロックである（ブロックｃ１１１３）。このブロックｃ（１１１３）が利用可能でない、又はイントラ符号化されている場合、サブＣＵＡ（１１０１）の上の他のＮ×Ｎ個のブロックをチェックする（ブロックｃ１１１３から始まって左から右へ）。第２の近傍は、サブＣＵＡ１１０１の左側のブロックである（ブロックｂ１１１２）。ブロックｂ（１１１２）が利用可能でない、又はイントラ符号化されている場合、サブＣＵ、Ａ１１０１の左側の他のブロックをチェックする（ブロックｂ１１１２から始まり、上から下へ）。各リストの近傍のブロックから得られた動き情報を、所与のリストの第１の参照フレームにスケーリングする。次に、ＨＥＶＣに規定されているＴＭＶＰ導出と同じ手順に従って、サブブロックＡ１１０１の時間的動きベクトル予測子（ＴＭＶＰ）を導出する。ブロックＤ１１０４における配列されたブロックの動き情報がフェッチされ、それに応じてスケーリングされる。最後に、動き情報を検索し、スケーリングした後、参照リストごとにすべての利用可能な動きベクトルを別々に平均する。この平均化された動きベクトルを現在のサブＣＵの動きベクトルとする。
２．１．３ サブＣＵの動き予測モード信号通知の例
いくつかの実施形態において、サブＣＵモードは追加のマージ候補として有効とされ、モードを信号通知するために追加の構文要素は必要とされない。ＡＴＭＶＰモード及びＳＴＭＶＰモードを表すように、各ＣＵのマージ候補リストに２つの追加のマージ候補を加える。他の実施形態において、シーケンスパラメータセットがＡＴＭＶＰおよびＳＴＭＶＰが有効であることを示す場合、７個までのマージ候補を使用してもよい。追加のマージ候補のエンコーディングロジックは、ＨＭにおけるマージ候補の場合と同じであり、つまり、Ｐ又はＢスライスにおける各ＣＵについて、２つの追加のマージ候補に対して２回以上のＲＤチェックが必要となるかもしれない。いくつかの実施形態において、例えばＪＥＭのように、マージインデックスのすべての２値（ｂｉｎ）はコンテキストベースの適応型バイナリ算術コーディング（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）によりコンテキスト符号化される。他の実施形態、例えばＨＥＶＣにおいては、第１の２値のみがコンテキストコーディングされ、残りの２値はコンテキストバイパスコーディングされる。
２．２ 適応動きベクトル差解像度の例
本発明の実施例中において、ｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇがスライスヘッダにおいて０であるとき、４分の１輝度サンプルの単位で動きベクトルの差（ＭＶＤ）（動きベクトルとＰＵの予測動きベクトルとの差）を信号通知される。ＪＥＭにおいて、ローカル適応型動きベクトル解像度（ＬＡＭＶＲ）が導入される。ＪＥＭにおいて、ＭＶＤは、１／４輝度サンプル、整数輝度サンプル又は４つの輝度サンプルの単位で符号化できる。ＭＶＤ分解能は符号化ユニット（ＣＵ）レベルで制御され、ＭＶＤ解像度フラグは、少なくとも１つのノンゼロＭＶＤモジュールを有する各ＣＵに対して条件付きで信号通知される。
少なくとも１つの非ゼロＭＶＤの構成要素を有するＣＵの場合、１／４輝度サンプルＭＶ精度がＣＵにおいて使用されるか否かを示すために、第１のフラグが信号通知される。第１のフラグ（１に等しい）が、１／４輝度サンプルＭＶ精度が使用されていないことを示す場合、整数輝度サンプルＭＶ精度が使用されるか又は４輝度サンプルＭＶ精度が使用されるかを示すために、別のフラグが信号通知される。
ＣＵの第１のＭＶＤ解像度フラグがゼロであるか、又はＣＵに対して符号化されていない（つまり、ＣＵにおけるすべてのＭＶＤがゼロである）場合、ＣＵに対して１／４輝度サンプルＭＶ解像度が使用される。ＣＵが整数輝度サンプルＭＶ精度又は４輝度サンプルＭＶ精度を使用する場合、ＣＵのＡＭＶＰ候補リストにおけるＭＶＰを対応する精度に丸める。
エンコーダにおいて、ＣＵレベルのＲＤチェックは、どのＭＶＤ解像度をＣＵに用いるかを判定するために使用される。すなわち、１つのＭＶＤ解像度ごとに３回、ＣＵレベルのＲＤチェックを行う。エンコーダの速度を速めるために、ＪＥＭにおいては、以下の符号化方式が適用される。
－通常の１／４輝度サンプルＭＶＤ解像度を有するＣＵのＲＤチェック中、現在のＣＵの動き情報（整数輝度サンプル精度）が記憶される。整数輝度サンプル及び４輝度サンプルのＭＶＤ解像度を有する同じＣＵのＲＤチェック中に、記憶された動き情報（丸められた後）は、更なる小範囲動きベクトル微調整の開始点として使用されるので、時間がかかる動き推定処理が３回重複しない。
－４輝度サンプルＭＶＤ解像度を有するＣＵのＲＤチェックを条件付きで呼び出す。ＣＵの場合、整数輝度サンプルＭＶＤ解像度のＲＤコストが１／４輝度サンプルＭＶＤ解像度のそれよりもはるかに大きい場合、ＣＵのための４輝度サンプルＭＶＤ解像度のＲＤチェックは省略される。
２．３ 動きベクトルの記憶精度を向上させる例
ＨＥＶＣにおいて、動きベクトルの精度は、１／４画素（４：２：０映像の場合、１／４輝度サンプルおよび１／８彩度サンプル）である。ＪＥＭにおいて、内部の動きベクトルの記憶およびマージ候補の精度は、１／１６画素にまで向上する。スキップ／マージモードで符号化されたＣＵの動き補償インター予測には、より高い動きベクトル精度（１／１６画素）が用いられる。通常のＡＭＶＰモードで符号化されたＣＵの場合、整数画素または１／４画素の動きのいずれかが使用される。
ＨＥＶＣ動き補償補間フィルタと同じフィルタ長と正規化係数を有するＳＨＶＣアップサンプリング補間フィルタを、追加の分数画素位置の動き補償補間フィルタとして使用する。ＪＥＭにおいて、彩度成分の動きベクトルの精度は１／３２サンプルであり、近傍の２つの１／１６画素の端数位置のフィルタの平均を用いて、１／３２画素の端数位置の追加の補間フィルタを導出する。
２．４ 重複ブロック動き補償（ＯＢＭＣ）の例
ＪＥＭにおいて、ＯＢＭＣは、ＣＵレベルの構文を使用してオン／オフを切り替えることができる。ＪＥＭにおいてＯＢＭＣを使用する場合、ＯＢＭＣは、ＣＵの右下の境界を除くすべての動き補償（ＭＣ）ブロック境界に対して行われる。また、輝度及び彩度成分の両方に適用される。ＪＥＭにおいて、ＭＣブロックは符号化ブロックに対応する。ＣＵがサブＣＵモードで符号化された（サブＣＵマージ、アフィン、及びＦＲＵＣモードを含む）場合、ＣＵの各サブブロックは１つのＭＣブロックである。均一にＣＵ境界を処理するために、ＯＢＭＣは、すべてのＭＣブロック境界に対してサブブロックレベルで実行され、ここで、サブブロックサイズは、図１２Ａ、１２Ｂに示すように、４×４に等しく設定される。
図１２Ａは、ＣＵ／ＰＵ境界におけるサブブロックを示し、斜線を付けたサブブロックは、ＯＢＭＣが適用される場所である。同様に、図１２Ｂは、ＡＴＭＶＰモードのサブＰＵを示す。
ＯＢＭＣが現在のサブブロックに適用される場合、現在の動きベクトルの他に、４つの接続された近傍のサブブロックの動きベクトルも、利用可能であり、現在の動きベクトルと同じでない場合には、現在のサブブロックのための予測ブロックを導出するために使用される。複数の動きベクトルに基づくこれらの複数の予測ブロックを組み合わせ、現在のサブブロックの最終予測信号を生成する。
近傍のサブブロックの動きベクトルに基づく予測ブロックをＰＮ（Ｎは、近傍の上、下、左、右のサブブロックのインデックス）とし、現在のサブブロックの動きベクトルに基づく予測ブロックをＰＣとする。ＰＮが現在のサブブロックと同じ動き情報を含む近傍のサブブロックの動き情報に基づく場合、ＯＢＭＣはＰＮから行われない。そうでない場合、ＰＮのすべてのサンプルをＰＣ内の同じサンプルに加える。すなわち、ＰＮの４つの行／列をＰＣに加える。ＰＮには重み係数｛１／４，１／８，１／１６，１／３２｝を用い、ＰＣには重み係数｛３／４，７／８，１５／１６，３１／３２｝を用いる。例外は、小さなＭＣブロック（すなわち、符号化ブロックの高さ又は幅が４に等しいか、又は１つのＣＵがサブＣＵモードで符号化された場合）であり、その場合、２つの行／列のＰＮのみがＰＣに追加される。この場合、ＰＮに対して重み係数｛１／４，１／８｝が使用され、ＰＣに対して重み係数｛３／４，７／８｝が使用される。垂直（水平）方向に近傍のサブブロックの動きベクトルに基づいて生成されたＰＮに対して、ＰＮの同じ行（列）におけるサンプルを、同じ重み係数でＰＣに加算する。
ＪＥＭにおいて、サイズが２５６輝度サンプル以下のＣＵの場合、現在のＣＵに対してＯＢＭＣが適用されているかどうかを示すように、ＣＵレベルフラグが信号通知される。サイズが２５６輝度サンプルよりも大きい、又はＡＭＶＰモードで符号化されていないＣＵの場合、ＯＢＭＣがデフォルトで適用される。エンコーダにおいて、ＯＢＭＣがＣＵに適用される場合、その影響は動き推定ステージ中に考慮される。上側近傍のブロックおよび左側近傍のブロックの動き情報を用いてＯＢＭＣにより形成された予測信号は、現在のＣＵの元の信号の上側および左側の境界を補償するために用いられ、その後、通常の動き推定処理が適用される。
２．５ 局所照明補償（ＬＩＣ）の例
ＬＩＣは、倍率ａおよびオフセットｂを用いて、照明変化の線形モデルに基づく。そして、各インターモード符号化ユニット（ＣＵ）に対して適応的に有効又は無効とされる。
ＬＩＣがＣＵに適用される場合、現在のＣＵの近傍のサンプルおよびそれらに対応する参照サンプルを使用することによって、パラメータａおよびｂを導出するために、最小二乗誤差法が使用される。図１３は、ＩＣアルゴリズムのパラメータを導出するために使用される近傍のサンプルの例を示す。具体的には、図１３に示すように、ＣＵのサブサンプリング（２：１サブサンプリング）された近傍のサンプルと、参照ピクチャにおける対応するサンプル（現在のＣＵ又はサブＣＵの動き情報によって特定される）とを使用する。ＩＣパラメータは、各予測方向に対して別々に導出され、適用される。
１つのＣＵがマージモードで符号化される場合、マージモードにおける動き情報のコピーと同様に、近傍のブロックからＬＩＣフラグをコピーし、そうでない場合、ＣＵにＬＩＣフラグを信号通知してＬＩＣが適用されるかどうかを示す。
１つのピクチャに対してＬＩＣが有効化されるとき、１つのＣＵに対してＬＩＣが適用されるかどうかを判定するために、追加のＣＵレベルＲＤチェックが必要である。ＬＩＣがＣＵのために有効である場合、整数画素動き探索および小数画素動き探索それぞれのために、ＳＡＤおよびＳＡＴＤの代わりに、絶対拡散の平均除去和（ＭＲ－ＳＡＤ）および絶対アダマール変換差の平均除去和（ＭＲ－ＳＡＴＤ）を使用する。
符号化の複雑性を低減するために、ＪＥＭにおいては、以下の符号化方式が適用される。
－現在の画像とその参照ピクチャとの間に明瞭な照度変化がない場合、ＬＩＣはピクチャ全体に対して無効にされる。この状況を識別するために、エンコーダにおいて、現在のピクチャ及び現在のピクチャのすべての参照ピクチャのヒストグラムを計算する。現在のピクチャと現在のピクチャのすべての参照ピクチャとの間のヒストグラム差が所与の閾値よりも小さい場合、現在のピクチャに対してＬＩＣを無効化し、そうでない場合、現在のピクチャに対してＬＩＣを有効化する。
２．６ アフィン動き補償予測の例
ＨＥＶＣにおいて、動き補償予測（ＭＣＰ）のために並進運動モデルのみが適用される。しかしながら、カメラおよび対象物は、様々な種類の動き、例えば、ズームイン／ズームアウト、回転、透視運動、及び／又は他の不規則な動きを有してもよい。一方、ＪＥＭは、簡易アフィン変換動き補償予測を適用する。図１４は、２つの制御点の動きベクトルＶ０、Ｖ１によって記述されるブロック１４００のアフィンモーションフィールドの例を示す図である。ブロック１４００の動きベクトルフィールド（ＭＶＦ）は、以下の式で表すことができる。
Figure 2022527852000002
図１４に示すように、（ｖ０ｘ，ｖ０ｙ）は、左上隅の制御点の動きベクトルであり、（ｖ１ｘ，ｖ１ｙ）は、右上隅の制御点の動きベクトルである。動き補償予測を簡単にするために、サブブロックに基づくアフィン変換予測を適用することができる。サブブロックのサイズＭ×Ｎは、以下のように導出される。
Figure 2022527852000003
ここで、ＭｖＰｒｅは、動きベクトルの端数部分の精度である（例えば、ＪＥＭにおいて１／１６）。（ｖ２ｘ，ｖ２ｙ）は、式（１）に従って算出された左下制御点の動きベクトルである。必要であれば、ＭおよびＮを下方に調整して、それぞれｗおよびｈの除数にすることができる。
図１５は、ブロック１５００のためのサブブロックごとのアフィンＭＶＦの例を示す。各Ｍ×Ｎ個のサブブロックの動きベクトルを導出するために、式（１）に従って、各サブブロックの中心サンプルの動きベクトルを計算し、動きベクトルの端数精度（例えば、ＪＥＭでは１／１６）に丸めることができる。次に、動き補償補間フィルタを適用して、導出された動きベクトルを用いて各サブブロックの予測を生成することができる。ＭＣＰの後、各サブブロックの高精度動きベクトルを丸め、通常の動きベクトルと同じ精度で保存する。
２．６．１ ＡＦ＿ＩＮＴＥＲモードの実施形態
ＪＥＭにおいて、ＡＦ＿ＩＮＴＥＲモードおよびＡＦ＿ＭＥＲＧＥモードの２つのアフィン動きモードがある。幅と高さの両方が８より大きいＣＵの場合、ＡＦ＿ＩＮＴＥＲモードを適用することができる。ＡＦ＿ＩＮＴＥＲモードが使用されるかどうかを示すために、ビットストリームにおいてＣＵレベルのアフィンフラグが信号通知される。ＡＦ＿ＩＮＴＥＲモードにおいて、近傍のブロックを使用して動きベクトル対
Figure 2022527852000004
 を有する候補リストを構築する。
図１６は、ＡＦ＿ＩＮＴＥＲモードにおけるブロック１６００のための動きベクトル予測（ＭＶＰ）の例を示す。図１６に示すように、サブブロックＡ、Ｂ、またはＣの動きベクトルの中からｖ０を選択する。近傍のブロックからの動きベクトルは、参照リストに従ってスケーリングすることができる。また、動きベクトルは、近傍のブロックの参照のピクチャオーダカウント（ＰＯＣ）と、現在のＣＵの参照のＰＯＣと、現在のＣＵのＰＯＣとの間の関係に基づいてスケーリングされてもよい。近傍のサブブロックＤおよびＥからｖ１を選択する方法は類似している。候補リストの数が２未満である場合、ＡＭＶＰ候補の各々を複製した動きベクトル対でリストを埋める。候補リストが２よりも大きい場合、まず、近傍の動きベクトルに基づいて（例えば、対候補における２つの動きベクトルの類似性に基づいて）候補をソートする。いくつかの実装形態において、最初の２つの候補を保持する。いくつかの実施形態において、ひずみ率（ＲＤ）コストチェックを用いて、どの動きベクトル対候補を現在のＣＵの制御点動きベクトル予測（ＣＰＭＶＰ）として選択するかを判定する。ビットストリームにおいて、候補リストにおけるＣＰＭＶＰの位置を示すインデックスを信号通知することができる。現在のアフィンＣＵのＣＰＭＶＰを判定した後、アフィン動き推定を適用し、制御点動きベクトル（ＣＰＭＶ）を求める。次に、ＣＰＭＶとＣＰＭＶＰとの差をビットストリームにおいて信号通知する。
２．６．３ ＡＦ＿ＭＥＲＧＥモードの実施形態
ＡＦ＿ＭＥＲＧＥモードにおいてＣＵを適用する場合、ＣＵは、有効な近傍の再構築ブロックから、アフィンモードで符号化された第１のブロックを得る。図１７Ａは、現在のＣＵ１７００のための候補ブロックの選択順序の例を示す。図１７Ａに示すように、選択順序は、現在のＣＵ１７００の左（１７０１）、上（１７０２）、右上（１７０３）、左下（１７０４）から左上（１７０５）までとすることができる。図１７Ｂは、ＡＦ＿ＭＥＲＧＥモードにおける現在のＣＵ１７００のための候補者ブロックの別の例を示す。近傍の左下ブロック１８０１をアフィンモードで符号化する場合、図１７Ｂに示すように、サブブロック１７０１を含むＣＵの左上隅、右上隅、左下隅の動きベクトルｖ２、ｖ３、ｖ４を導出する。ｖ２、ｖ３、ｖ４に基づいて、現在のＣＵ１７００における左上隅の動きベクトルｖ０を算出する。従って、現在のＣＵの右上の動きベクトルｖ１を算出することができる。
式（１）のアフィン動きモデルに従って現在のＣＵｖ０，ｖ１のＣＰＭＶを計算した後、現在のＣＵのＭＶＦを生成することができる。現在のＣＵがＡＦ＿ＭＥＲＧＥモードで符号化されているかどうかを識別するために、アフィンモードで符号化されている近傍のブロックが少なくとも１つある場合、ビットストリーム内にアフィンフラグを信号通知することができる。
２．７ パターンマッチング動きベクトル導出（ＰＭＭＶＤ）の例
ＰＭＭＶＤモードは、フレームレートアップ変換（ＦＲＵＣ）法に基づく特殊マージモードである。このモードでは、ブロックの動き情報は信号通知されず、デコーダ側で導出される。
ＦＲＵＣフラグは、そのマージフラグが真である場合、ＣＵに信号通知され得る。ＦＲＵＣフラグが偽である場合、マージインデックスを信号通知することができ、通常のマージモードが使用される。ＦＲＵＣフラグが真である場合、追加のＦＲＵＣモードフラグを信号通知して、どの方法（例えば、バイラテラルマッチングまたはテンプレートマッチング）を使用してブロックの動き情報を導出するかを示すことができる。
エンコーダ側では、ＣＵのためにＦＲＵＣマージモードを使用するかどうかの決定は、通常のマージ候補に対して行われるのと同じように、ＲＤコストの選択に基づく。例えば、ＲＤコスト選択を使用して、１つのＣＵに対して複数のマッチングモード（例えば、バイラテラルマッチングおよびテンプレートマッチング）をチェックする。最小コストに導くものが、更に、他のＣＵモードと比較される。ＦＲＵＣマッチングモードが最も効率的なものである場合、ＣＵに対してＦＲＵＣフラグを真に設定し、関連するマッチングモードを使用する。
一般的に、ＦＲＵＣマージモードにおける動き導出処理では、まずＣＵレベルの動き探索が行われ、次にサブＣＵレベルの動き改良を行うという２つのステップを有する。ＣＵレベルでは、バイラテラルマッチング又はテンプレートマッチングに基づいて、ＣＵ全体のための初期の動きベクトルを導出する。まず、ＭＶ候補のリストを生成し、最小マッチングコストに導く候補を、さらなるＣＵレベル改良の開始点として選択する。そして、開始点付近でのバイラテラルマッチング又はテンプレートマッチングに基づく局所検索を行う。最小マッチングコストにおけるＭＶの結果を、ＣＵ全体のＭＶとする。続いて、導出されたＣＵ動きベクトルを開始点として、サブＣＵレベルでの動き情報をさらに改良する。
例えば、Ｗ×Ｈ ＣＵ動き情報導出のために、以下の導出処理を行う。第１のステージにおいて、Ｗ×Ｈ ＣＵ全体のためのＭＶが導出される。第２のステージにおいて、ＣＵは、Ｍ×Ｍ個のサブＣＵにさらに分割される。Ｍの値は、式（３）のように計算されるが、Ｄは、予め規定義された分割深さであり、ＪＥＭにおいてデフォルトで３に設定される。そして、各サブＣＵのＭＶを導出する。
Figure 2022527852000005
図１８は、フレームレートアップ変換（ＦＲＵＣ）法で使用されるバイラテラルマッチングの例を示す。このバイラテラルマッチングは、２つの異なる参照ピクチャ（１８１０、１８１１）における現在のＣＵ（１８００）の動き軌跡に沿った２つのブロック間の最も近いマッチングを見出すことで、現在のＣＵの動き情報を導出するために用いられる。連続した動き軌跡を仮定すると、２つの参照ブロックを指す動きベクトルＭＶ０（１８０１）、ＭＶ１（１８０２）は、現在のピクチャと２つの参照ピクチャとの間の時間的距離、例えばＴＤ０（１８０３）、ＴＤ１（１８０４）に比例する。いくつかの実施形態において、現在のピクチャ１８００が時間的に２つの参照ピクチャ（１８１０、１８１１）の間にあり、現在のピクチャと２つの参照ピクチャとの時間的な距離が同じである場合、バイラテラルマッチングはミラーに基づく双方向ＭＶとなる。
図１９は、フレームレートアップ変換（ＦＲＵＣ）法で使用されるテンプレートマッチングの例を示す。テンプレートマッチングを使用して、現在のピクチャにおけるテンプレート（例えば、現在のＣＵの上側及び／又は左側の近傍のブロック）と参照ピクチャ１９１０におけるブロック（例えば、テンプレートと同じサイズ）との間の最も近いマッチングを見出すことで、現在のＣＵ１９００の動き情報を導出することができる。前述のＦＲＵＣマージモード以外に、テンプレートマッチングは、ＡＭＶＰモードにも適用できる。ＪＥＭおよびＨＥＶＣの両方において、ＡＭＶＰは２つの候補を有する。テンプレートマッチング法を用いることで、新しい候補を導出することができる。テンプレートマッチングによって新規に導出された候補が、第１の既存のＡＭＶＰ候補と異なる場合、ＡＭＶＰ候補リストの最初に挿入し、次に、（例えば、第２の既存のＡＭＶＰ候補を取り除くことによって）リストサイズを２に設定する。ＡＭＶＰモードに適用される場合、ＣＵレベル検索のみが適用される。
ＣＵレベルのＭＶ候補セットは、以下を含むことができる。（１）現在のＣＵがＡＭＶＰモードにある場合、元のＡＭＶＰ候補、（２）すべてのマージ候補、（３）補間されたＭＶフィールド内の複数のＭＶ（後述）、および左上の近傍の動きベクトル。
バイラテラルマッチングを使用する場合、マージ候補の各有効なＭＶを入力として使用して、バイラテラルマッチングを仮定してＭＶ対を生成することができる。例えば、マージ候補の１つの有効なＭＶは、参照リストＡにおいて（ＭＶａ，ｒｅｆａ）であり、そして、その対をなすバイラテラルＭＶの参照ピクチャｒｅｆｂが他の参照リストＢにおいて見出され、ｒｅｆａおよびｒｅｆｂは、時間的に現在のピクチャの異なる側にある。参照リストＢにおいてこのようなｒｅｆｂが利用可能でない場合、ｒｅｆｂをｒｅｆａとは異なる参照として決定し、現在のピクチャとの時間的距離はリストＢにおける最小値である。ｒｅｆｂを決定した後、現在のピクチャとｒｅｆａ，ｒｅｆｂとの時間的距離に基づいてＭＶａをスケーリングすることでＭＶｂを導出する。
いくつかの実装形態において、補間されたＭＶフィールドからの４つのＭＶをＣＵレベル候補リストに追加してもよい。具体的には、現在のＣＵの（０，０）、（Ｗ／２，０）、（０，Ｈ／２）、（Ｗ／２，Ｈ／２）の位置の補間されたＭＶを加算する。ＡＭＶＰモードでＦＲＵＣを適用する場合、元のＡＭＶＰ候補をＣＵレベルＭＶ候補セットにも加える。いくつかの実装形態において、ＣＵレベルにおいて、ＡＭＶＰ ＣＵのための１５個のＭＶおよびマージＣＵに対し、１３個のＭＶを候補リストに加えることができる。
サブＣＵレベルのＭＶ候補セットは、ＣＵレベルの検索によって決定されたＭＶと、（２）上、左、左上、右上の近傍のＭＶと、（３）参照ピクチャからの配列されたＭＶのスケーリングされたバージョンと、（４）１つ以上（例えば、４つまで）のＡＴＭＶＰ候補と、（５）１つ以上（例えば、４つまで）のＳＴＭＶＰ候補とを含む。参照ピクチャからのスケーリングされたＭＶは、以下のように導出される。両方のリストにおける参照ピクチャをトラバースする。参照ピクチャにおけるサブＣＵの配列位置にあるＭＶは、開始ＣＵレベルＭＶの参照に対してスケーリングされる。ＡＴＭＶＰおよびＳＴＭＶＰの候補は、最初の４つの候補であってもよい。サブＣＵレベルにおいて、１つ以上（例えば、最大１７個）のＭＶが候補リストに追加される。
補間されたＭＶフィールドの生成 フレームを符号化する前に、一方のＭＥに基づいてピクチャ全体に対して補間動きフィールドを生成する。そして、この動きフィールドを後にＣＵレベルまたはサブＣＵレベルのＭＶ候補として使用してもよい。
いくつかの実施形態において、両方の参照リストにおける各参照ピクチャの動きフィールドは、４×４ブロックレベルでトラバースされる。図２０は、ＦＲＵＣ方法におけるユニラテラル動き推定（ＭＥ）２０００の例を示す。各４×４ブロックにおいて、現在のピクチャの４×４ブロックを通過するブロックに関連する動きで、補間動きがまだ割り当てられていない場合、時間距離ＴＤ０およびＴＤ１に基づいて（ＨＥＶＣにおけるＴＭＶＰのＭＶスケーリングと同様に）、参照ブロックの動きを現在のピクチャにスケーリングし、スケーリングされた動きを現在のフレームのブロックに割り当てる。４×４ブロックにスケーリングされたＭＶが割り当てられていない場合、ブロックの動きは、補間された動きフィールドにおいて利用不可能であるとマークされる。
補間およびマッチングコスト １つの動きベクトルが１つの分数のサンプル位置を指す場合、動き補償補間が必要である。複雑性を低減するために、通常の８タップＨＥＶＣ補間の代わりに、バイラテラルマッチングおよびテンプレートマッチングの両方に双線形補間を使用できる。
マッチングコストの計算は、異なるステップでは少し異なる。ＣＵレベルの候補セットから候補を選択する場合、マッチングコストは、バイラテラルマッチングまたはテンプレートマッチングの差分の絶対値の和（ＳＡＤ）とすることができる。開始ＭＶを決定した後、サブＣＵレベル検索におけるバイラテラルマッチングのマッチングコストＣを以下のように算出する。
Figure 2022527852000006
ここで、ｗは重み係数である。いくつかの実施形態において、ｗは経験的に４に設定されてもよい。ＭＶおよびＭＶｓは、それぞれ、現在のＭＶおよび開始ＭＶを示す。ＳＡＤは、依然として、サブＣＵレベル検索におけるテンプレートマッチングのマッチングコストとして使用されてもよい。
ＦＲＵＣモードにおいて、ＭＶは、輝度サンプルのみを使用することによって導出される。導出された動きは、ＭＣインター予測のために、輝度および彩度の両方に使用される。ＭＶを決定した後、輝度用の８タップ補間フィルタおよび彩度用の４タップ補間フィルタを使用して、最終的なＭＣを行う。
ＭＶ改良は、バイラテラルマッチングコストまたはテンプレートマッチングコストの基準を有するパターンに基づくＭＶ検索である。ＪＥＭでは、２つの検索パターン、即ち、無制限中心バイアス菱形検索（ＵＣＢＤＳ）およびＣＵレベルおよびサブＣＵレベルでのＭＶ改良のための適応的横断検索をそれぞれサポートする。ＣＵおよびサブＣＵレベルのＭＶ改善の両方のために、ＭＶは、１／４輝度サンプルＭＶの精度で直接検索され、これに続いて１／８輝度サンプルＭＶの改良が行われる。ＣＵおよびサブＣＵステップのためのＭＶ改良の検索範囲は、８つの輝度サンプルに等しく設定される。
バイラテラルマッチングマージモードにおいては、双方向予測が適用される。なぜなら、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロック間の最も近いマッチングに基づいて、ＣＵの動き情報を導出するからである。テンプレートマッチングマージモードにおいて、エンコーダは、ｌｉｓｔ０からの単一予測、ｌｉｓｔ１からの単一予測、またはＣＵのための双方向予測のうちから選択することができる。選択は、テンプレートマッチングコストに基づいて、以下のように行うことができる。
ｃｏｓｔＢｉ＜＝ｆａｃｔｏｒ＊ｍｉｎ（ｃｏｓｔ０，ｃｏｓｔ１）の場合
双方向予測を用いる。
それ以外の場合において、ｃｏｓｔ０＜＝ｃｏｓｔ１の場合
ｌｉｓｔ０からの単一予測を用いる。
そうでない場合、
ｌｉｓｔ１からの単一予測を用いる。
ここで、ｃｏｓｔ０はｌｉｓｔ０テンプレートマッチングのＳＡＤであり、ｃｏｓｔ１はｌｉｓｔ１テンプレートマッチングのＳＡＤであり、ｃｏｓｔＢｉは双方向予測テンプレートマッチングのＳＡＤである。例えば、ｆａｃｔｏｒの値が１．２５である場合、選択処理が双方向予測に偏っていることを意味する。このインター予測方向選択は、ＣＵレベルのテンプレートマッチング処理に適用することができる。
２．８ 一般化双方向予測微調整（ＧＢｉ）の例
ＪＶＥＴ－Ｌ０６４６に提案された一般化双方向予測微調整（ＧＢｉ）をＶＴＭ－３．０に採用している。ＧＢｉは、双方向予測モードにおいて、Ｌ０およびＬ１からの予測子に不等な重みを適用する。インター予測モードにおいて、ひずみ率最適化（ＲＤＯ）に基づいて、同等な重み対（１／２，１／２）を含む複数の重み対を評価し、選択された重み対のＧＢｉインデックスをデコーダに信号通知する。マージモードにおいて、ＧＢｉインデックスは近傍のＣＵから継承される。予測子生成式を式（５）に示す。
Figure 2022527852000007
ここで、ＰＧＢｉはＧＢｉの最終予測子であり、ｗ０およびｗ１は、それぞれリスト０（Ｌ０）およびリスト１（Ｌ１）の予測子（ＰＬ０ ａｎｄ ＰＬ１）に適用される選択されたＧＢｉ重みである。ＲｏｕｎｄｉｎｇＯｆｆｓｅｔＧＢｉおよびｓｈｉｆｔＮｕｍＧＢｉは、ＧＢｉにおける最終予測子を正規化するために使用する。支持されるｗ１重みセットは、｛－１／４，３／８，１／２，５／８，５／４｝であり、ここで、５つの重みは、１つの同等な重み対および４つの不等な重み対に対応する。ブレンドゲイン、即ち、ｗ１とｗ０との合計は、１．０に固定される。従って、対応するｗ０重みセットは、｛５／４，５／８，１／２，３／８、－１／４｝となる。重み対の選択はＣＵレベルである。
非低遅延ピクチャの場合、重みセットの大きさは５から３に低減され、ここで、ｗ１重みセットは｛３／８，１／２，５／８｝であり、ｗ０重みセットは｛５／８，１／２，３／８｝である。非低遅延ピクチャのための重みセットのサイズ縮小は、ＢＭＳ２．１ ＧＢｉおよびこの寄与におけるすべてのＧＢｉテストに適用される。
２．８．１ ＧＢｉ エンコーダバグ修正
ＧＢｉ符号化時間を短縮するために、現在のエンコーダ設計では、エンコーダは、ＧＢｉ重みが４／８であることから推定された１つの予測動きベクトルを記憶し、それらを他のＧＢｉ重みの単一予測探索に再利用する。この高速符号化方法は、並進動きモデルおよびアフィン動きモデルの両方に適用される。ＶＴＭ２．０において、６パラメータアフィンモデルを４パラメータアフィンモデルとともに採用した。ＢＭＳ２．１エンコーダは、ＧＢｉ重みが４／８である場合、単一予測アフィンＭＶを記憶するとき、４パラメータアフィンモデルと６パラメータアフィンモデルを差別化しない。その結果、ＧＢｉ重み４／８で符号化した後、４パラメータアフィンＭＶに６パラメータアフィンＭＶを上書きしてもよい。記憶された６パラメータアフィンＭＶは、他のＧＢｉ重みのための４パラメータアフィンＭＥに使用されてもよく、または記憶された４パラメータアフィンＭＶは、６パラメータアフィンＭＥに使用してもよい。提案されたＧＢｉエンコーダバグ修正は、４パラメータアフィンＭＶ記憶域と６パラメータアフィンＭＶ記憶域とを分離することである。エンコーダは、ＧＢｉ重みが４／８である場合、アフィンモデルタイプに基づいてこれらのアフィンＭＶを記憶し、他のＧＢｉ重みである場合、このアフィンモデルタイプに基づいて対応するアフィンＭＶを再利用する。
２．８．２ ＧＢｉエンコーダのスピードアップ
本既存の実装形態において、ＧＢｉが有効化される場合、符号化時間を短縮するために、５つのエンコーダ高速化方法が提案される。
（１） あるＧＢｉ重みのためのアフィン動き推定を条件付きでスキップする
ＢＭＳ２．１において、すべてのＧＢｉ重みに対して、４パラメータおよび６パラメータのアフィンＭＥを含むアフィンＭＥを行う。これらの不等なＧＢｉ重み（重みが４／８に等しくない）のために、条件付きでアフィンＭＥをスキップすることを提案する。具体的には、４／８のＧＢｉ重みを評価した後、現在の最良のモードとしてアフィンモードが選択され、アフィンマージモードでない場合にのみ、他のＧＢｉ重みに対してアフィンＭＥを行う。現在のピクチャが非低遅延ピクチャである場合、アフィンＭＥが行われる時に、等しくないＧＢｉ重みに対して、変換モデルのための双方向予測ＭＥはスキップされる。現在の最良のモードとしてアフィンモードが選択されていない場合、または現在の最良モードとしてアフィンマージが選択されている場合、他のすべてのＧＢｉ重みに対してアフィンＭＥをスキップする。
（２）１画素、４画素のＭＶＤ精度の符号化における低遅延ピクチャのＲＤコストチェックのための重み付けの数を減らす。
低遅延ピクチャの場合、１／４画素、１画素、および４画素を含むすべてのＭＶＤ精度のためのＲＤコストチェックには５つの重みがある。エンコーダは、まずＲＤコストを１／４画素のＭＶＤ精度でチェックする。１画素および４画素のＭＶＤ精度のためのＲＤコストチェックのために、ＧＢｉ重みの一部をスキップすることを提案する。１／４画素ＭＶＤ精度におけるＲＤコストに従って、これらの不等な重みを順に並べる。１画素および４画素のＭＶＤ精度での符号化中に、ＧＢｉ重み４／８と共に、ＲＤコストが最小の最初の２つの重みのみを評価する。従って、低遅延ピクチャの場合、１画素および４画素のＭＶＤ精度に対して最大３つの重みを評価する。
（３） Ｌ０とＬ１参照ピクチャが同じである場合、条件付きで双方向予測検索をスキップする
ＲＡにおけるいくつかのピクチャの場合、同じピクチャが両方の参照ピクチャリスト（ｌｉｓｔ－０およびｌｉｓｔ－１）において発生し得る。例えば、ＣＴＣにおけるランダムアクセス符号化構成の場合、第１のピクチャグループ（ＧＯＰ）の参照ピクチャ構造は、以下のようにリストされる。
ＰＯＣ：１６，ＴＬ：０，［Ｌ０：０］ ［Ｌ１：０］
ＰＯＣ：８，ＴＬ：１，［Ｌ０：０ １６］ ［Ｌ１：１６ ０］
ＰＯＣ：４，ＴＬ：２，［Ｌ０：０ ８］ ［Ｌ１：８ １６］
ＰＯＣ：２，ＴＬ：３，［Ｌ０：０ ４］ ［Ｌ１：４ ８］
ＰＯＣ：１，ＴＬ：４，［Ｌ０：０ ２］ ［Ｌ１：２ ４］
ＰＯＣ：３，ＴＬ：４，［Ｌ０：２ ０］ ［Ｌ１：４ ８］
ＰＯＣ：６，ＴＬ：３，［Ｌ０：４ ０］ ［Ｌ１：８ １６］
ＰＯＣ：５，ＴＬ：４，［Ｌ０：４ ０］ ［Ｌ１：６ ８］
ＰＯＣ：７，ＴＬ：４，［Ｌ０：６ ４］ ［Ｌ１：８ １６］
ＰＯＣ：１２，ＴＬ：２，［Ｌ０：８ ０］ ［Ｌ１：１６ ８］
ＰＯＣ：１０，ＴＬ：３，［Ｌ０：８ ０］ ［Ｌ１：１２ １６］
ＰＯＣ：９，ＴＬ：４，［Ｌ０：８ ０］ ［Ｌ１：１０ １２］
ＰＯＣ：１１，ＴＬ：４，［Ｌ０：１０ ８］ ［Ｌ１：１２ １６］
ＰＯＣ：１４，ＴＬ：３，［Ｌ０：１２ ８］ ［Ｌ１：１２ １６］
ＰＯＣ：１３，ＴＬ：４，［Ｌ０：１２ ８］ ［Ｌ１：１４ １６］
ＰＯＣ：１５，ＴＬ：４，［Ｌ０：１４ １２］ ［Ｌ１：１６ １４］
なお、ピクチャ１６、８、４、２、１、１２、１４および１５は、両方のリストにおいて同じ参照ピクチャを有する。これらのピクチャの双方向予測のために、Ｌ０参照ピクチャとＬ１参照ピクチャとが同じであってもよい。１）双方向予測における２つの参照ピクチャが同じであり、２）時間層が１よりも大きく、３）ＭＶＤ精度が１／４画素である場合、エンコーダは、不等なＧＢｉ重みのために双方向予測ＭＥをスキップすることを提案する。アフィン双方向予測ＭＥの場合、この高速スキップ方法は、４パラメータアフィンＭＥにのみ適用される。
（４） 時間層および参照ピクチャと現在の画像との間のＰＯＣ距離に基づいて、ＧＢｉ重みが不等であるかどうかを判断するためのＲＤコストチェックのスキップ
時間層が４（ＲＡにおける最も高い時間層）であるか、または参照ピクチャ（ｌｉｓｔ－０またはｌｉｓｔ－１）と現在のピクチャとの間のＰＯＣ距離が１に等しく、且つ符号化ＱＰが３２よりも大きい場合、これらの不等なＧＢｉ重みのためのＲＤコスト評価をスキップすることを提案する。
（５） ＭＥ時のＧＢｉ重みが等しくない場合、浮動点計算を固定小数点計算に変更する
既存の双方向予測検索の場合、エンコーダは、１つのリストのＭＶを固定し、別のリストにおけるＭＶを微調整する。計算の複雑性を低減するために、ＭＥの前にオブジェクトを修正する。例えば、ｌｉｓｔ－１のＭＶが固定であり、エンコーダがｌｉｓｔ－０のＭＶを微調整するべきである場合、ｌｉｓｔ－０のＭＶ微調整の対象は、式（６）で修正される。Ｏは元の信号であり、Ｐ１はｌｉｓｔ－１の予測信号である。ｗはｌｉｓｔ－１のＧＢｉ重みである。
Figure 2022527852000008
ここで、
Figure 2022527852000009
 という語は浮動端数点精度で記憶されるため、演算量が増加する。式（６）を式（７）のように固定小数点に変更することを提案する。
Figure 2022527852000010
ここで、ａ１およびａ２は倍率であり、それらは以下のように計算される。
Figure 2022527852000011
２．８．３ ＧＢｉのＣＵサイズ制約
この方法では、小さなＣＵの場合、ＧＢｉを無効にする。インター予測モードにおいて、双方向予測が使用され、ＣＵ領域が１２８個の輝度サンプルより小さい場合、ＧＢｉは、いかなる信号通知もせずに無効にされる。
２．９ 双方向オプティカルフロー（ＢＤＯＦまたはＢＩＯ）の例
２．９．１ ＢＤＯＦの概要
ＢＩＯにおいて、まず、動き補償を行い、現在のブロックの（各予測方向における）第１の予測を生成する。第１の予測は、ブロック内の各サブブロックまたはピクセルの空間的勾配、時間的勾配、及びオプティカルフローを導出するために用いられ、これらを用いて第２の予測、例えば、サブブロックまたはピクセルの最終予測を生成する。以下、その詳細を説明する。
双方向オプティカルフロー（ＢＩＯ）方法は、双方向予測のためにブロック単位の動き補償の上で実行されるサンプル単位の動きの改良である。いくつかの実施例において、サンプルレベルの動きの改良は、シグナリングを用いない。
ブロック動き補償後の参照ｋ（ｋ＝０，１）からの輝度をＩ（ｋ）とし、∂Ｉ（ｋ）／∂ｘ、∂Ｉ（ｋ）／∂ｙをそれぞれＩ（ｋ）勾配の水平成分、垂直成分とする。オプティカルフローが有効であると仮定すると、動きベクトルフィールド（ｖｘ，ｖｙ）ｉは、以下の式によって与えられる。
Figure 2022527852000012
このオプティカルフロー方程式をそれぞれの試料の運動軌道に対してエルミート内挿法によって組み合わせることにより、両端にある両機能値Ｉ（ｋ）および導関数∂Ｉ（ｋ）／∂ｘ、∂Ｉ（ｋ）／∂ｙに合致する唯一の３次多項式が得られる。ｔ＝０におけるこの多項式の値は、ＢＩＯ次式のような、ＢＩＯ予測となる。
Figure 2022527852000013
図２４は、双方向オプティカルフロー（ＢＩＯ）法におけるオプティカルフローの軌跡の一例を示す。ここで、τ０及びτ１は、基準フレームまでの距離を示す。距離τ０，τ１は、Ｒｅｆ０およびＲｅｆ１のＰＯＣ：τ０＝ＰＯＣ（電流）－ＰＯＣ（Ｒｅｆ０），τ１＝ＰＯＣ（Ｒｅｆ１）－ＰＯＣ（電流）に基づいて算出される。両方の予測が同じ時間方向から来たものである場合（両方とも過去から来たものであるか、又は両方とも将来から来たものである場合）、符号が異なる（例えば、τ０・τ１＜０）。このケースでは、予測が同時刻（例えば、τ０≠τ１）からのものでない場合、ＢＩＯが適用される。両方の参照領域は、非ゼロ動き（例えば、
Figure 2022527852000014
 ）を有し、ブロック動きベクトルは、時距離（例えば、
Figure 2022527852000015
 ）に比例する。
動きベクトルフィールド（ｖｘ，ｖｙ）は、点Ａおよび点Ｂにおける値の間の差分Δを最小化することで決定する。図９Ａ－図９Ｂは、動き軌跡と参照フレーム面との交差点の例を示す。モデルは、Δに対するローカルテーラー展開の第１の線形項のみを以下のように使用する。
Figure 2022527852000016
上記式におけるすべての値は、サンプルの位置に依存し、（ｉ’，Ｊ’）と表される。動きが局所的な周辺領域において一貫していると仮定すると、Δは、現在の予測点（ｉ，Ｊ）を中心とする（２Ｍ＋１）×（２Ｍ＋１）個の正方形ウィンドウΩの内側で最小化することができる。式中、Ｍは２に等しい。
Figure 2022527852000017
この最適化問題に対して、ＪＥＭは、まず垂直方向に最小化し、次に水平方向に最小化する簡単なアプローチを使用する。その結果、以下のようになる。
Figure 2022527852000018
Figure 2022527852000019
ここで、
Figure 2022527852000020
ゼロ又は非常に小さな数値での除算を回避するために、式（１２）及び式（１３）において、正則化パラメータｒ及びｍを導入する。
Figure 2022527852000021
Figure 2022527852000022
ここで、ｄは映像サンプルのビット深度である。
ＢＩＯに対するメモリアクセスを通常の双方向予測動き補正と同じにするために、現ブロック内の位置に対して、すべての予測値及び勾配値Ｉ（ｋ），∂Ｉ（ｋ）／∂ｘ，∂Ｉ（ｋ）／∂ｙを計算する。図２２Ａは、ブロック２２００の外側のアクセス位置の例を示す。図２２Ａに示すとおり、式（１２）において、予測ブロックの境界上の現在の予測点を中心とする（２Ｍ＋１）×（２Ｍ＋１）個の正方形窓は、ブロックの外側の位置にアクセスする必要がある。ＪＥＭにおいて、ブロックの外部のＩ（ｋ），∂Ｉ（ｋ）／∂ｘ，∂Ｉ（ｋ）／∂ｙの値はブロックの内部で最も近い有効数値に等しくなるように設定される。例えば、これは、図２２Ｂに示すように、パディング領域２２０１として実装することができる。
ＢＩＯを用いることで、サンプルごとに動きフィールドを改良することができる。計算の複雑性を低減するために、ＪＥＭではブロックに基づくＢＩＯの設計が用いられている。動きの改良は、４×４ブロックに基づいて計算することができる。ブロックに基づくＢＩＯにおいて、４×４ブロックにおけるすべてのサンプルの、式（１２）におけるｓｎの値を統合し、次いで、この統合したｓｎの値を使用して、４×４ブロックのためのＢＩＯ動きベクトルオフセットを導出する。具体的には、ブロックに基づくＢＩＯ導出には、以下の式を用いることができる。
Figure 2022527852000023
ここで、ｂｋは、予測ブロックのｋ番目の４×４ブロックに属するサンプルの集合を表し、式（１２）及び式（１３）におけるｓｎを（（ｓｎ，ｂｋ）＞＞４）に置き換え、関連する動きベクトルオフセットを導出する。
シナリオによってはＢＩＯのＭＶレジメンがノイズや不規則な動きで信頼できない場合がある。従って、ＢＩＯにおいて、ＭＶレジメンの大きさは閾値にクリップされる。閾値は、現在のピクチャの参照ピクチャがすべて一方向からのものであるか否かに基づいて判定される。現画像のすべての基準画像が一方向からのものである場合、しきい値を１２×２１４－ｄに設定し、そうでない場合、しきい値を１２×２１３－ｄに設定する。
ＢＩＯの勾配は、ＨＥＶＣ動き補償処理（例えば、２Ｄ分離可能有限インパルス応答（ＦＩＲ））に準拠した演算を使用して、動き補償補間と同時に計算されてもよい。いくつかの実施形態において、前記２Ｄ分離可能なＦＩＲのための入力は、ブロックモーションベクトルの端数部分により、動き補正処理および端数位置（ｆｒａｃＸ，ｆｒａｃＹ）のためのものと同じ基準フレームサンプルであ。水平方向勾配∂Ｉ／∂ｘの場合、まず、デスケーリングシフトｄ－８のｆｒａｃＹｗｉｔｈにある端数位置に対応するＢＩＯｆｉｌｔｅｒＳを使用して垂直方向に信号を補間する。次に、１８－ｄによるデスケーリングシフトｆｒａｃＸｗｉｔｈの端数位置に対応して、水平方向にグラジエントフィルターＢＩＯｆｉｌｔｅｒＧを行う。垂直方向勾配∂Ｉ／∂ｙの場合、デスケーリングシフトｄ－８で、端数位置ｆｒａｃＹに対応するＢＩＯｆｉｌｔｅｒＧを使用して勾配フィルタを垂直方向に適用する。そして、１８－ｄによるデスケーリングシフトで端数位置ｆｒａｃＸに対応する水平方向のＢＩＯｆｉｌｔｅｒＳを使用して信号の変位を行う。適度な複雑性を保持するために、勾配計算ＢＩＯｆｉｌｔｅｒＧおよび信号変位ＢＩＯｆｉｌｔｅｒＦのための補間フィルタの長さはより短くてもよい（例えば６タップ）。表１は、ＢＩＯにおけるブロック動きベクトルの異なる端数位置の勾配計算に使用できる例示的なフィルタを示す。表２は、ＢＩＯにおける予測信号の生成に使用できる例示的な補間フィルタを示す。
Figure 2022527852000024
Figure 2022527852000025
本ＪＥＭにおいて、２つの予測が異なる参照ピクチャからのものである場合、ＢＩＯをすべての双方向予測ブロックに適用することができる。ＣＵのローカル照明補償（ＬＩＣ）を有効にすると、ＢＩＯを無効にすることができる。
いくつかの実施形態において、ＯＢＭＣは、通常のＭＣ処理の後、１つのブロックに適用される。計算の複雑性を低減するために、ＯＢＭＣ処理中にＢＩＯを適用しなくてもよい。つまり、ＢＩＯは、それ自身のＭＶを使用する場合、１つのブロックのＭＣ処理において適用され、ＯＢＭＣ処理において近傍のブロックのＭＶを使用する場合、ＭＣ処理においては適用されない。
２．９．２ ＪＶＥＴ－Ｌ０２５６に提案されているＶＴＭ－３．０におけるＢＩＯの例
ステップ１： ＢＩＯが適用可能かどうかを判断する（Ｗ／Ｈは現在のブロックの幅／高さ）。
ＢＩＯは下記の場合は適用不可能である。
○ 現在の映像ブロックが、アフィン符号化されるか、またはＡＴＭＶＰ符号化されている。
○ （ｉＰＯＣ－ｉＰＯＣ０）×（ｉＰＯＣ－ｉＰＯＣ１）≧０
○ Ｈ＝＝４ ｏｒ（Ｗ＝＝４ ａｎｄ Ｈ＝＝８）
○ 重み予測で
○ ＧＢｉ重みが（１，１）でない
２つの参照ブロック（Ｒ０およびＲ１と表される）間の総ＳＡＤが閾値より小さい場合、ＢＩＯは使用されない。
Figure 2022527852000026
ステップ２： データ作成
Ｗ×Ｈブロックの場合、（Ｗ＋２）×（Ｈ＋２）個のサンプルを補間する。
内側のＷ×Ｈサンプルは、通常の動き補償の場合と同様に、８タップ補間フィルタで補間する。
バイリニアフィルタでサンプルの４つの側方外線（図２３中の黒い丸）を補間する。
それぞれの位置に対して、２つの参照ブロック（Ｒ０およびＲ１）に対して勾配を計算する。
Ｇｘ０（ｘ，ｙ）＝（Ｒ０（ｘ＋１，ｙ）－Ｒ０（ｘ－１，ｙ））＞＞４
Ｇｙ０（ｘ，ｙ）＝（Ｒ０（ｘ，ｙ＋１）－Ｒ０（ｘ，ｙ－１））＞＞４
Ｇｘ１（ｘ，ｙ）＝（Ｒ１（ｘ＋１，ｙ）－Ｒ１（ｘ－１，ｙ））＞＞４
Ｇｙ１（ｘ，ｙ）＝（Ｒ１（ｘ，ｙ＋１）－Ｒ１（ｘ，ｙ－１））＞＞４
各位置に対して、内部値は、以下のように計算される。
Ｔ１＝（Ｒ０（ｘ，ｙ）＞＞６）－（Ｒ１（ｘ，ｙ）＞＞６），Ｔ２＝（Ｇｘ０（ｘ，ｙ）＋Ｇｘ１（ｘ，ｙ））＞＞３，Ｔ３＝（Ｇｙ０（ｘ，ｙ）＋Ｇｙ１（ｘ，ｙ））＞＞３；および
Ｂ１（ｘ，ｙ）＝Ｔ２＊Ｔ２，Ｂ２（ｘ，ｙ）＝Ｔ２＊Ｔ３，Ｂ３（ｘ，ｙ）＝－Ｔ１＊Ｔ２，Ｂ５（ｘ，ｙ）＝Ｔ３＊Ｔ３，Ｂ６（ｘ，ｙ）＝－Ｔ１＊Ｔ３
ステップ３： 各ブロックの予測を計算する
２つの４×４参照ブロック間のＳＡＤが閾値より小さい場合、４×４ブロックのためにＢＩＯをスキップする。
ＶｘおよびＶｙを計算する。
４×４ブロックにおける各位置の最終予測を以下のように計算する。
ｂ（ｘ，ｙ）＝（Ｖｘ（Ｇｘ０（ｘ，ｙ）－Ｇｘ１（ｘ，ｙ））＋Ｖｙ（Ｇｙ０（ｘ，ｙ）－Ｇｙ１（ｘ，ｙ））＋１）＞＞１
Ｐ（ｘ，ｙ）＝（Ｒ０（ｘ，ｙ）＋Ｒ１（ｘ，ｙ）＋ｂ（ｘ，ｙ）＋ｏｆｆｓｅｔ）＞＞ｓｈｉｆｔ
ここで、ｂ（ｘ，ｙ）を補正項目とする。
２．９．３ ＶＴＭ－４．０におけるＢＩＯ
ビット深度に応じてＢＤＯＦで計算した結果を丸めることを提案するＪＶＥＴ－Ｍ００６３をＶＴＭ－４．０に採用した。
ＶＴＭ－４．０にＪＶＥＴ－Ｍ０４８７を採用し、バイリニアフィルタリングを取り除き、参照ブロックの最も近い整数画素を取り出し、４つの側方のサンプルの外線を埋める（図２３中の黒い丸）。
ＶＴＭ－４．０におけるＢＩＯに関する作業草案を以下に示す（ＪＶＥＴ－Ｍ１００１より）。
２．９．４ 端数サンプル補間処理
一般
この処理への入力は以下の通りである。
－ 現在のピクチャの左上の輝度サンプルに対する現在の符号化サブブロックの左上のサンプルを規定する輝度位置（ｘＳｂ，ｙＳｂ）、
－ 現在の符号化サブブロックの幅を規定する変数ｓｂＷｉｄｔｈ、
－ 現在の符号化サブブロックの高さを規定する変数ｓｂＨｅｉｇｈｔ、
－ 動きベクトルオフセットｍｖＯｆｆｓｅｔ、
－ 微調整動きベクトルｒｅｆＭｖＬＸ、
－ 選択した参照ピクチャサンプル配列ｒｅｆＰｉｃＬＸ、
－ 双方向オプティカルフローフラグｂｄｏｆＦｌａｇ、
－ 現在のブロックの色成分インデックスを規定する変数ｃＩｄｘ。
この処理の出力は以下の通りである。
－ 予測サンプル値の（ｓｂＷｉｄｔｈ＋ｂｄｏｆＯｆｆｓｅｔ）×（ｓｂＨｅｉｇｈｔ＋ｂｄｏｆＯｆｆｓｅｔ）配列ｐｒｅｄＳａｍｐｌｅｓＬＸ。
双方向オプティカルフロー境界オフセットｂｄｏｆＯｆｆｓｅｔは、以下のように導出される。
ｂｄｏｆＯｆｆｓｅｔ＝ｂｄｏｆＦｌａｇ ？ ２：０ （８－８１１）
－ ｃＩｄｘが０に等しい場合、以下が適用される。
－ （ｘＩｎｔＬ，ｙＩｎｔＬ）をフルサンプルユニットで与えられた輝度位置とし、（ｘＦｒａｃＬ，ｙＦｒａｃＬ）を１／１６サンプルユニットで求めたオフセットとする。これらの変数は、本項でのみ、参照サンプル配列ｒｅｆＰｉｃＬＸ内の端数サンプル位置を規定するために使用される。
－ 予測輝度サンプルアレイｐｒｅｄＳａｍｐｌｅｓＬＸ内の各輝度サンプル位置（ｘＬ＝０．．ｓｂＷｉｄｔｈ－１＋ｂｄｏｆＯｆｆｓｅｔ，ｙＬ＝０．．ｓｂＨｅｉｇｈｔ－１＋ｂｄｏｆＯｆｆｓｅｔ）について、対応する予測輝度サンプル値ｐｒｅｄＳａｍｐｌｅｓＬＸ［ｘＬ］［ｙＬ］は以下のように導出される。
－ 変数ｘＩｎｔＬ、ｙＩｎｔＬ、ｘＦｒａｃＬ、ｙＦｒａｃＬは、以下のように導出される。
ｘＩｎｔＬ＝ｘＳｂ＋（ｒｅｆＭｖＬＸ［０］＞＞４）＋ｘＬ （８－８１２）
ｙＩｎｔＬ＝ｙＳｂ＋（ｒｅｆＭｖＬＸ［１］＞＞４）＋ｙＬ （８－８１３）
ｘＦｒａｃＬ＝ｒｅｆＭｖＬＸ［０］＆１５ （８－８１４）
ｙＦｒａｃＬ＝ｒｅｆＭｖＬＸ［１］＆１５ （８－８１５）
－ ｂｄｏｆＦｌａｇがＴＲＵＥであり、且つ以下の条件のうちの１つ以上が真である場合、予測輝度サンプル値ｐｒｅｄＳａｍｐｌｅｓＬＸ［ｘＬ］［ｙＬ］は、（ｘＩｎｔＬ，ｙＩｎｔＬ）、（ｘＦｒａｃＬ，ｙＦｒａｃＬ）およびｒｅｆＰｉｃＬＸを入力として、８．５．７．３．３．項で規定されているような輝度整数サンプルフェッチ処理を呼び出すことによって導出される。
－ ｂｄｏｆＦｌａｇがＴＲＵＥである。
－ ｘＬが０に等しい
－ ｘＬがｓｂＷｉｄｔｈ＋１に等しい
－ ｙＬが０に等しい
－ ｙＬがｓｂＨｅｉｇｈｔ＋１に等しい
そうでない場合、以下が適用される。：
－ 動きベクトルｍｖＬＸは、（ｒｅｆＭｖＬＸ－ｍｖＯｆｆｓｅｔ）に等しく設定される。
（ｘＩｎｔＬ，ｙＩｎｔＬ）、（ｘＦｒａｃＬ，ｙＦｒａｃＬ）、ｒｅｆＰｉｃＬＸ、およびｐａｄＶａｌを入力として、８．５．７．３．２項で規定されるような輝度サンプル８タップ補間フィルタリング処理を呼び出すことによって、予測輝度サンプル値ｐｒｅｄＳａｍｐｌｅｓＬＸ［ｘＬ］［ｙＬ］が導出される。
・・・

輝度整数サンプルフェッチ処理
この処理への入力は以下の通りである。
－ フルサンプルユニット（ｘＩｎｔＬ，ｙＩｎｔＬ）における輝度位置。
－ 輝度参照サンプルアレイｒｅｆＰｉｃＬＸＬ。
この処理の出力は、予測輝度サンプル値ｐｒｅｄＳａｍｐｌｅＬＸＬである。
この変数ｓｈｉｆｔは、Ｍａｘ（２，１４－ＢｉｔＤｅｐｔｈＹ）に等しく設定される。
変数ｐｉｃＷはｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しく設定され、変数ｐｉｃＨはｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しく設定される。
フルサンプルユニット（ｘＩｎｔ，ｙＩｎｔ）における輝度位置は、以下のように導出される。
ｘＩｎｔ＝Ｃｌｉｐ３（０，ｐｉｃＷ－１，ｓｐｓ＿ｒｅｆ＿ｗｒａｐａｒｏｕｎｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ？ （８－８３８）
ＣｌｉｐＨ（（ｓｐｓ＿ｒｅｆ＿ｗｒａｐａｒｏｕｎｄ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１＋１）＊ＭｉｎＣｂＳｉｚｅＹ，ｐｉｃＷ，ｘＩｎｔＬ）：ｘＩｎｔＬ）
ｙＩｎｔ＝Ｃｌｉｐ３（０，ｐｉｃＨ－１，ｙＩｎｔＬ） （８－８３９）
予測輝度サンプル値ｐｒｅｄＳａｍｐｌｅＬＸＬは、以下のように導出される。
ｐｒｅｄＳａｍｐｌｅＬＸＬ＝ｒｅｆＰｉｃＬＸＬ［ｘＩｎｔ］［ｙＩｎｔ］＜＜ｓｈｉｆｔ３ （８－８４０）

双方向オプティカルフロー予測処理
この処理への入力は以下の通りである。
－ 現在の符号化ブロックの幅および高さを規定する２つの変数ｎＣｂＷおよびｎＣｂＨ
－ ２つの（ｎＣｂＷ＋２）×（ｎＣｂＨ＋２）輝度予測サンプル配列ｐｒｅｄＳａｍｐｌｅｓＬ０およびｐｒｅｄＳａｍｐｌｅｓＬ１。
－ 予測リスト利用フラグｐｒｅｄＦｌａｇＬ０およびｐｒｅｄＦｌａｇＬ１。
－ 参照インデックスｒｅｆＩｄｘＬ０およびｒｅｆＩｄｘＬ１。
－ ｘＩｄｘ＝０．．（ｎＣｂＷ＞＞２）－１，ｙＩｄｘ＝０．．（ｎＣｂＨ＞＞２）－１の場合の双方向オプティカルフロー利用フラグｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＩｄｘ］［ｙＩｄｘ］。
この処理の出力は、輝度予測サンプル値の（ｎＣｂＷ）×（ｎＣｂＨ）配列ｐｂＳａｍｐｌｅｓである。
変数ｂｉｔＤｅｐｔｈ、ｓｈｉｆｔ１、ｓｈｉｆｔ２、ｓｈｉｆｔ３、ｓｈｉｆｔ４、ｏｆｆｓｅｔ４、およびｍｖＲｅｆｉｎｅＴｈｒｅｓは、以下のように導出される。
－ 変数ｂｉｔＤｅｐｔｈはＢｉｔＤｅｐｔｈＹに等しく設定される。
－ 変数ｓｈｉｆｔ１は、Ｍａｘ（２，１４－ｂｉｔＤｅｐｔｈ）に等しく設定される。
－ 変数ｓｈｉｆｔ２は、Ｍａｘ（８，ｂｉｔＤｅｐｔｈ－４）に等しく設定される。
－ 変数ｓｈｉｆｔ３は、Ｍａｘ（５，ｂｉｔＤｅｐｔｈ－７）に等しく設定される。
－ 変数ｓｈｉｆｔ４は、Ｍａｘ（３，１５－ｂｉｔＤｅｐｔｈ）に等しく設定され、変数ｏｆｆｓｅｔ４は１＜＜（ｓｈｉｆｔ４－１）に等しく設定される。
－ 変数ｍｖＲｅｆｉｎｅＴｈｒｅｓはＭａｘ（２，１＜＜（１３－ｂｉｔＤｅｐｔｈ））に等しく設定される。
ｘＩｄｘ＝０．．（ｎＣｂＷ＞＞２）－１、ｙＩｄｘ＝０．．（ｎＣｂＨ＞＞２）－１の場合、以下が適用される。
－ 変数ｘＳｂを（ｘＩｄｘ＜＜２）＋１に等しく設定し、ｙＳｂを（ｙＩｄｘ＜＜２）＋１に等しく設定する。
－ ｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＩｄｘ］ がＦＡＬＳＥである場合、ｘ＝ｘＳｂ－１．．ｘＳｂ＋２，ｙ＝ｙＳｂ－１．．ｙＳｂ＋２に対して、現在のサブブロックの予測サンプル値は、以下の方に導出される。
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（２ｂｉｔＤｅｐｔｈ）－１（８－８５２），（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ＋１］［ｙ＋１］＋ｏｆｆｓｅｔ２＋
ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ＋１］［ｙ＋１］）＞＞ｓｈｉｆｔ２）
－ そうでない場合（ｂｄｏｆＵｔｉｌｉｚａｔｉｏｎＦｌａｇ［ｘＳｂＩｄｘ］［ｙＩｄｘ］がＴＲＵＥである）、現在のサブブロックの予測サンプル値は、以下のように導出される。
－ ｘ＝ｘＳｂ－１．．ｘＳｂ＋４，ｙ＝ｙＳｂ－１．．ｙＳｂ＋４の場合、以下の順序付けられたステップが適用される。
１． 予測サンプルアレイ内の対応するサンプル位置（ｘ，ｙ）の各々の位置（ｈｘ，ｖｙ）は、以下のように導出される。
ｈｘ＝Ｃｌｉｐ３（１，ｎＣｂＷ，ｘ） （８－８５３）
ｖｙ＝Ｃｌｉｐ３（１，ｎＣｂＨ，ｙ） （８－８５４）
２． 変数ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］、ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］は、以下のように導出される。
ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ－１］［ｖｙ］）＞＞ｓｈｉｆｔ１ （８－８５５）
ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ０［ｈｘ］［ｖｙ－１］）＞＞ｓｈｉｆｔ１ （８－８５６）
ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈｘ＋１］［ｖｙ］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ－１］［ｖｙ］）＞＞ｓｈｉｆｔ１ （８－８５７）
ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ＋１］－ｐｒｅｄＳａｍｐｌｅＬ１［ｈｘ］［ｖｙ－１］）＞＞ｓｈｉｆｔ１ （８－８５８）
３． 変数ｔｅｍｐ［ｘ］［ｙ］、ｔｅｍｐｐＨ［ｘ］［ｙ］、ｔｅｍｐＶ［ｘ］［ｙ］は、以下のように導出される。
ｄｉｆｆ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｈｘ］［ｖｙ］＞＞ｓｈｉｆｔ２）－（ｐｒｅｄＳａｍｐｌｅｓＬ１［ｈｘ］［ｖｙ］＞＞ｓｈｉｆｔ２） （８－８５９）
ｔｅｍｐＨ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＨＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＨＬ１［ｘ］［ｙ］）＞＞ｓｈｉｆｔ３ （８－８６０）
ｔｅｍｐＶ［ｘ］［ｙ］＝（ｇｒａｄｉｅｎｔＶＬ０［ｘ］［ｙ］＋ｇｒａｄｉｅｎｔＶＬ１［ｘ］［ｙ］）＞＞ｓｈｉｆｔ３ （８－８６１）
－ 変数ｓＧｘ２、ｓＧｙ２、ｓＧｘＧｙ、ｓＧｘｄＩ、ｓＧｙｄＩは、以下のように導出される。
ｓＧｘ２＝ΣｉΣｊ（ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６２）
ｓＧｙ２＝ΣｉΣｊ（ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６３）
ｓＧｘＧｙ＝ΣｉΣｊ（ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ－１．．４ （８－８６４）
ｓＧｘｄＩ＝ΣｉΣｊ（－ｔｅｍｐＨ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｄｉｆｆ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６５）
ｓＧｙｄＩ＝ΣｉΣｊ（－ｔｅｍｐＶ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］＊ｄｉｆｆ［ｘＳｂ＋ｉ］［ｙＳｂ＋ｊ］）ｗｉｔｈ ｉ，ｊ＝－１．．４ （８－８６６）
－ 現在のサブブロックの水平および垂直方向の動きオフセットは、以下のように導出される。
ｖｘ＝ｓＧｘ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ， （８－８６７）
－（ｓＧｘｄＩ＜＜３）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２）））：０
ｖｙ＝ｓＧｙ２＞０？Ｃｌｉｐ３（－ｍｖＲｅｆｉｎｅＴｈｒｅｓ，ｍｖＲｅｆｉｎｅＴｈｒｅｓ，（（ｓＧｙｄＩ＜＜３）－ （８－８６８）
（（ｖｘ＊ｓＧｘＧｙｍ）＜＜１２＋ｖｘ＊ｓＧｘＧｙｓ）＞＞１）＞＞Ｆｌｏｏｒ（Ｌｏｇ２（ｓＧｘ２）））：０
－ ｘ＝ｘＳｂ－１．．ｘＳｂ＋２、ｙ＝ｙＳｂ－１．．ｙＳｂ＋２の場合、現在のサブブロックの予測サンプル値は、以下のように導出される。
ｂｄｏｆＯｆｆｓｅｔ＝Ｒｏｕｎｄ（（ｖｘ＊（ｇｒａｄｉｅｎｔＨＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＨＬ０［ｘ＋１］［ｙ＋１］））＞＞１） （８－８６９）
＋Ｒｏｕｎｄ（（ｖｙ＊（ｇｒａｄｉｅｎｔＶＬ１［ｘ＋１］［ｙ＋１］－ｇｒａｄｉｅｎｔＶＬ０［ｘ＋１］［ｙ＋１］））＞＞１）
［フロート入力に対してＥｄ．（ＪＣ）：Ｒｏｕｎｄ（）動作を定義する。入力が整数値であるので、ここではＲｏｕｎｄ（）動作は冗長であるように見える。推薦者が確認すること。］
ｐｂＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（２ｂｉｔＤｅｐｔｈ）－１（８－８７０），（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ＋１］［ｙ＋１］＋ｏｆｆｓｅｔ４＋
ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ＋１］［ｙ＋１］＋ｂｄｏｆＯｆｆｓｅｔ）＞＞ｓｈｉｆｔ４）
２．１０ デコーダ側動きベクトル改良（ＤＭＶＲ）の例
双方向予測操作において、１つのブロック領域を予測するために、ｌｉｓｔ０の動きベクトル（ＭＶ）およびｌｉｓｔ１のＭＶをそれぞれ使用して構成される２つの予測ブロックを組み合わせ、１つの予測信号を形成する。デコーダ側動きベクトル微調整（ＤＭＶＲ）方法において、バイラテラルテンプレートマッチング処理によって、双方向予測の２つの動きベクトルをさらに微調整する。追加の動き情報を送信することなく微調整されたＭＶを得るために、デコーダにおいてバイラテラルテンプレートマッチングを適用し、バイラテラルテンプレートと参照ピクチャにおける再構成サンプルとの間の歪みに基づく検索を行う。
ＤＭＶＲにおいて、図２４に示すように、ｌｉｓｔ０の最初のＭＶ０とｌｉｓｔ１のＭＶ１とから、それぞれ２つの予測ブロックの重み付け結合（すなわち、平均）としてバイラテラルテンプレートを生成する。テンプレートマッチング操作は、生成されたテンプレートと参照ピクチャにおけるサンプル領域（最初の予測ブロックの付近）との間のコスト尺度を計算することからなる。２つの参照ピクチャの各々について、テンプレートコストが最小となるＭＶを、そのリストの更新されたＭＶと見なし、元のＭＶに置き換える。ＪＥＭにおいて、各リストに対して９つのＭＶ候補を検索する。９つのＭＶ候補は、元のＭＶと、水平又は垂直方向のいずれか又は両方向に元のＭＶに対してオフセットしている１つの輝度サンプルを有する８つの周囲のＭＶを含む。最後に、２つの新しいＭＶ、即ち、図２４に示すようなＭＶ０’及びＭＶ１’を使用して、最終的な双方向予測結果を生成する。絶対差の合計（ＳＡＤ）をコスト尺度として使用する。なお、１つの周囲のＭＶによって生成された予測ブロックのコストを計算する場合、実際のＭＶの代わりに、丸められたＭＶ（整数画素）を使用して予測ブロックを得る。
ＤＭＶＲは、追加の構文要素を送信することなく、過去の参照ピクチャからの１つのＭＶと、将来の参照ピクチャからの１つのＭＶとの間の双方向予測のマージモードに適用される。ＪＥＭにおいて、ＣＵに対してＬＩＣ、アフィン動き、ＦＲＵＣ、またはサブＣＵマージ候補が有効である場合、ＤＭＶＲは適用されない。
２．１１ ＪＶＥＴ－Ｎ０２３６
本寄稿では、オプティカルフローを用いたサブブロックに基づくアフィン動き補償予測を微調整する方法を提案している。サブブロックに基づくアフィン動き補償を行った後、オプティカルフロー方程式で導出された差を加算することで、予測サンプルを微調整し、これをオプティカルフロー付き予測微調整（ＰＲＯＦ）と呼ぶ。提案した方法は、メモリアクセス帯域幅を増大させることなく、画素レベルの粒度におけるインター予測を実現することができる。
動き補償の粒度をより細かくするために、本寄稿では、オプティカルフローを用いたサブブロックに基づくアフィン動き補償予測を微調整する方法を提案している。サブブロックに基づくアフィン動き補償を行った後、オプティカルフロー方程式で導出された差を加算することで、輝度予測サンプルを微調整する。提案されたオプティカルフロー付き予測微調整（ＰＲＯＦ）を以下の４つのステップに分けて説明する。
ステップ１）サブブロックに基づくアフィン動き補償を行い、サブブロック予測Ｉ（ｉ，ｊ）を生成する。
ステップ２）３タップフィルタ［－１，０，１］を使用して、個々のサンプル位置において、サブブロック予測の空間的勾配ｇｘ（ｉ，ｊ）及びｇｙ（ｉ，ｊ）を算出する。
ｇｘ（ｉ，ｊ）＝Ｉ（ｉ＋１，ｊ）－Ｉ（ｉ－１，ｊ）
ｇｙ（ｉ,ｊ）＝Ｉ（ｉ,ｊ＋１）－Ｉ（ｉ,ｊ－１）
サブブロック予測は、勾配計算のために各側で１つの画素だけ拡張される。メモリの帯域幅および複雑性を低減するために、拡大された境界上の画素は、参照ピクチャにおける最も近い整数画素位置からコピーされる。従って、パディング領域のための追加の補間が回避される。
ステップ３）オプティカルフロー方程式によって輝度予測の微調整（ΔＩとする）を計算する。
ΔＩ（ｉ,ｊ）＝ｇｘ（ｉ,ｊ）＊Δｖｘ（ｉ,ｊ）＋ｇｘ（ｉ,ｊ）＊Δｖｘ（ｉ,ｊ）
ここで、デルタＭＶ（Δｖ（ｉ，ｊ）で示す）は、図２５に示すように、ｖ（ｉ，ｊ）によって表される、サンプル位置（ｉ，ｊ）について算出された画素ＭＶと、画素（ｉ，ｊ）が属するサブブロックＭＶのサブブロックＭＶとの差分である。
サブブロック中心に対するアフィンモデルパラメータ及び画素位置は、サブブロックからサブブロックに変化しないので、第１のサブブロックについてΔｖ（ｉ，ｊ）を計算し、同じＣＵにおける他のサブブロックに再利用することができる。画素位置からサブブロックの中心までの水平及び垂直オフセットをｘ、ｙとすると、Δｖ（ｘ，ｙ）は、以下の式で導出することができる。
Figure 2022527852000027
４パラメータアフィンモデルの場合、
Figure 2022527852000028
６パラメータアフィンモデルの場合、
Figure 2022527852000029
ここで、（ｖ０ｘ，ｖ０ｙ）、（ｖ１ｘ，ｖ１ｙ）、（ｖ２ｘ，ｖ２ｙ）は、左上、右上、左下の制御点動きベクトルであり、ｗ、ｈは、ＣＵの幅及び高さである。
ステップ４）最後に、輝度予測の微調整がサブブロック予測Ｉ（ｉ，ｊ）に加えられる。最終予測Ｉ’は、次の方程式のように生成される。
Ｉ’（ｉ,ｊ）＝Ｉ（ｉ,ｊ）－ΔＩ（ｉ,ｊ）
ＪＶＥＴ－Ｎ０２３６の詳細
ａ） ＰＲＯＦの勾配の導出方法
ＪＶＥＴ－Ｎ０２６３において、各参照リストにおける各サブブロック（ＶＴＭ－４．０における４×４サブブロック）の勾配を計算する。サブブロックごとに、参照ブロックの最も近い整数サンプルを取り出し、サンプルの４つの側部外線を埋める（図２３中の黒い丸）。
現在のサブブロックのＭＶを（ＭＶｘ，ＭＶｙ）とする。そして、その端数部分を、（ＦｒａｃＸ，ＦｒａｃＹ）＝（ＭＶｘ＆１５，ＭＶｙ＆１５）として算出する。整数部分は、（ＩｎｔＸ，ＩｎｔＹ）＝（ＭＶｘ＞＞４，ＭＶｙ＞＞＞４）として計算される。オフセット（ＯｆｆｓｅｔＸ，ＯｆｆｓｅｔＹ）は、以下のように導出される。
ＯｆｆｓｅｔＸ＝ＦｒａｃＸ＞７ ？１：０；
ＯｆｆｓｅｔＹ＝ＦｒａｃＹ＞７ ？１：０；
現在のサブブロックの左上座標を（ｘＣｕｒ，ｙＣｕｒ）とし、現在のサブブロックの寸法をＷ×Ｈとする。
次に、（ｘＣｏｒ０，ｙＣｏｒ０）、（ｘＣｏｒ１，ｙＣｏｒ１）、（ｘＣｏｒ２，ｙＣｏｒ２）、（ｘＣｏｒ３，ｙＣｏｒ３）を以下のように計算する。
（ｘＣｏｒ０，ｙＣｏｒ０）＝（ｘＣｕｒ＋ＩｎｔＸ＋ＯｆｆｓｅｔＸ－１，ｙＣｕｒ＋ＩｎｔＹ＋ＯｆｆｓｅｔＹ－１）；
（ｘＣｏｒ１，ｙＣｏｒ１）＝（ｘＣｕｒ＋ＩｎｔＸ＋ＯｆｆｓｅｔＸ－１，ｙＣｕｒ＋ＩｎｔＹ＋ＯｆｆｓｅｔＹ＋Ｈ）；
（ｘＣｏｒ２，ｙＣｏｒ２）＝（ｘＣｕｒ＋ＩｎｔＸ＋ＯｆｆｓｅｔＸ－１，ｙＣｕｒ＋ＩｎｔＹ＋ＯｆｆｓｅｔＹ）；
（ｘＣｏｒ３，ｙＣｏｒ３）＝（ｘＣｕｒ＋ＩｎｔＸ＋ＯｆｆｓｅｔＸ＋Ｗ，ｙＣｕｒ＋ＩｎｔＹ＋ＯｆｆｓｅｔＹ）；
ｘ＝０．．Ｗ－１，ｙ＝０．．Ｈ－１であるＰｒｅｄＳａｍｐｌｅ［ｘ］［ｙ］が、サブブロックのための予測サンプルを記憶すると仮定する。次に、パディングサンプルを以下のように導出する。
ＰｒｅｄＳａｍｐｌｅ［ｘ］［－１］＝（Ｒｅｆ（ｘＣｏｒ０＋ｘ，ｙＣｏｒ０）＜＜Ｓｈｉｆｔ０）－Ｒｏｕｎｄｉｎｇ，ｆｏｒ ｘ＝－１．．Ｗ；
ＰｒｅｄＳａｍｐｌｅ［ｘ］［Ｈ］＝（Ｒｅｆ（ｘＣｏｒ１＋ｘ，ｙＣｏｒ１）＜＜Ｓｈｉｆｔ０）－Ｒｏｕｎｄｉｎｇ，ｆｏｒ ｘ＝－１．．Ｗ；
ＰｒｅｄＳａｍｐｌｅ［－１］［ｙ］＝（Ｒｅｆ（ｘＣｏｒ２，ｙＣｏｒ２＋ｙ）＜＜Ｓｈｉｆｔ０）－Ｒｏｕｎｄｉｎｇ，ｆｏｒ ｙ＝０．．Ｈ－１；
ＰｒｅｄＳａｍｐｌｅ［Ｗ］［ｙ］＝（Ｒｅｆ（ｘＣｏｒ３，ｙＣｏｒ３＋ｙ）＜＜Ｓｈｉｆｔ０）－Ｒｏｕｎｄｉｎｇ，ｆｏｒ ｙ＝０．．Ｈ－１；
ここで、Ｒｅｃは参照ピクチャを表す。丸めは整数であり、例示のＰＲＯＦ実装形態において２１３である。Ｓｈｉｆｔ０＝Ｍａｘ（２，（１４－ＢｉｔＤｅｐｔｈ））；
ＰＲＯＦは、勾配が入力輝度サンプルと同じ精度で出力されるＶＴＭ－４．０におけるＢＩＯとは異なり、勾配の精度を向上させることを試みる。
ＰＲＯＦにおける勾配は、以下のように計算される。
Ｓｈｉｆｔ１＝Ｓｈｉｆｔ０－４．
ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］）＞＞Ｓｈｉｆｔ１
ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］）＞＞Ｓｈｉｆｔ１
なお、ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］は、補間後の精度を維持する。
ｂ） ＰＲＯＦのΔｖの導出方法
Δｖの導出（ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］およびｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］として表され、ｐｏｓＸ＝０．．Ｗ－１，ｐｏｓＹ＝０．．Ｈ－１である）は以下のように説明できる。
現在のブロックの寸法をｃｂＷｉｄｔｈ×ｃｂＨｅｉｇｈｔとし、制御点動きベクトルの数をｎｕｍＣｐＭｖとし、制御点動きベクトルをｃｐＭｖＬＸ［ｃｐＩｄｘ］とし、ｃｐＩｄｘ＝０．．ｎｕｍＣｐＭｖ－１であり、Ｘが２つの参照リストを表し、０または１であるとする。
変数ｌｏｇ２ＣｂＷおよびｌｏｇ２ＣｂＨは、以下のように導出される。
ｌｏｇ２ＣｂＷ＝Ｌｏｇ２（ｃｂＷｉｄｔｈ）
ｌｏｇ２ＣｂＨ＝Ｌｏｇ２（ｃｂＨｅｉｇｈｔ）
変数ｍｖＳｃａｌｅＨｏｒ、ｍｖＳｃａｌｅＶｅｒ、ｄＨｏｒＸ、ｄＶｅｒＸは、以下のように導出される。
ｍｖＳｃａｌｅＨｏｒ＝ｃｐＭｖＬＸ［０］［０］＜＜７
ｍｖＳｃａｌｅＶｅｒ＝ｃｐＭｖＬＸ［０］［１］＜＜７
ｄＨｏｒＸ＝（ｃｐＭｖＬＸ［１］［０］－ｃｐＭｖＬＸ［０］［０］）＜＜（７－ｌｏｇ２ＣｂＷ）
ｄＶｅｒＸ＝（ｃｐＭｖＬＸ［１］［１］－ｃｐＭｖＬＸ［０］［１］）＜＜（７－ｌｏｇ２ＣｂＷ）
変数ｄＨｏｒＹおよびｄＶｅｒＹは、以下のように導出される。
－ ｎｕｍＣｐＭｖが３に等しい場合、以下が適用される。
ｄＨｏｒＹ＝（ｃｐＭｖＬＸ［２］［０］－ｃｐＭｖＬＸ［０］［０］）＜＜（７－ｌｏｇ２ＣｂＨ）
ｄＶｅｒＹ＝（ｃｐＭｖＬＸ［２］［１］－ｃｐＭｖＬＸ［０］［１］）＜＜（７－ｌｏｇ２ＣｂＨ）
－ そうでない場合（ｎｕｍＣｐＭｖが２に等しい）、以下が適用される。
ｄＨｏｒＹ＝－ｄＶｅｒＸ
ｄＶｅｒＹ＝ｄＨｏｒＸ
変数ｑＨｏｒＸ、ｑＶｅｒＸ、ｑＨｏｒＹ、ｑＶｅｒＹは、以下のように導出される。
ｑＨｏｒＸ＝ｄＨｏｒＸ＜＜２；
ｑＶｅｒＸ＝ｄＶｅｒＸ＜＜２；
ｑＨｏｒＹ＝ｄＨｏｒＹ＜＜２；
ｑＶｅｒＹ＝ｄＶｅｒＹ＜＜２；
ｄＭｖＨ［０］［０］、ｄＭｖＶ［０］［０］は、以下のように計算される。
ｄＭｖＨ［０］［０］＝（（ｄＨｏｒＸ＋ｄＨｏｒＹ）＜＜１）－（（ｑＨｏｒＸ＋ｑＨｏｒＹ）＜＜１）；
ｄＭｖＶ［０］［０］＝（（ｄＶｅｒＸ＋ｄＶｅｒＹ）＜＜１）－（（ｑＶｅｒＸ＋ｑＶｅｒＹ）＜＜１）；
１～Ｗ－１のｘＰｏｓの場合、ｄＭｖＨ［ｘＰｏｓ］［０］、ｄＭｖＶ［ｘＰｏｓ］［０］は、以下のように導出される。
ｄＭｖＨ［ｘＰｏｓ］［０］＝ｄＭｖＨ［ｘＰｏｓ－１］［０］＋ｑＨｏｒＸ；
ｄＭｖＶ［ｘＰｏｓ］［０］＝ｄＭｖＶ［ｘＰｏｓ－１］［０］＋ｑＶｅｒＸ；
１～Ｈ－１のｙＰｏｓについて、以下が適用される。
ｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ］＝ｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ－１］＋ｑＨｏｒＹ ｗｉｔｈ ｘＰｏｓ＝０．．Ｗ－１
ｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ］＝ｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ－１］＋ｑＶｅｒＹ ｗｉｔｈ ｘＰｏｓ＝０．．Ｗ－１
最後に、ｐｏｓＸ＝０．．Ｗ－１、ｐｏｓＹ＝０．．Ｈ－１のｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ］およびｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ］を、以下のように右シフトする。
ｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ］＝ＳａｔＳｈｉｆｔ（ｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ］，７＋２－１）；
ｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ］＝ＳａｔＳｈｉｆｔ（ｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ］，７＋２－１）；
ここで、ＳａｔＳｈｉｆｔ（ｘ，ｎ）およびＳｈｉｆｔ（ｘ，ｎ）は、以下のように定義される。
Figure 2022527852000030
Ｓｈｉｆｔ（ｘ，ｎ）＝（ｘ＋ｏｆｆｓｅｔ０）＞＞ｎ
一例において、ｏｆｆｓｅｔ０および／またはｏｆｆｓｅｔ１は、（１＜＜＜ｎ）＞＞１に設定される。
ｃ） ＰＲＯＦのΔＩの導出方法
サブブロック内の位置（ｐｏｓＸ，ｐｏｓＹ）の場合、その対応するΔｖ（ｉ，ｊ）は、（ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］，ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］）として表される。その対応する勾配を（ｇｒａｄｉｅｎｔＨ［ｐｏｓＸ］［ｐｏｓＹ］，ｇｒａｄｉｅｎｔＶ［ｐｏｓＸ］［ｐｏｓＹ］）と表す。
そして、ΔＩ（ｐｏｓＸ，ｐｏｓＹ）を以下のように導出する。
（ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］，ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］）は、以下のようにクリッピングされる。
ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］＝Ｃｌｉｐ３（－３２７６８，３２７６７，ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］）；
ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］＝Ｃｌｉｐ３（－３２７６８，３２７６７，ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］）；
ΔＩ（ｐｏｓＸ，ｐｏｓＹ）＝ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］×ｇｒａｄｉｅｎｔＨ［ｐｏｓＸ］［ｐｏｓＹ］＋ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］×ｇｒａｄｉｅｎｔＶ［ｐｏｓＸ］［ｐｏｓＹ］；
ΔＩ（ｐｏｓＸ，ｐｏｓＹ）＝Ｓｈｉｆｔ（ΔＩ（ｐｏｓＸ，ｐｏｓＹ），１＋１＋４）；
ΔＩ（ｐｏｓＸ，ｐｏｓＹ）＝Ｃｌｉｐ３（－（２１３－１），２１３－１，ΔＩ（ｐｏｓＸ，ｐｏｓＹ））；
ｄ） ＰＲＯＦのためにＩ’をどのように導出するか
現在のブロックが双方向予測または重み付け予測として符号化されていない場合、
Ｉ’（ｐｏｓＸ，ｐｏｓＹ）＝Ｓｈｉｆｔ（（Ｉ（ｐｏｓＸ，ｐｏｓＹ）＋ΔＩ（ｐｏｓＸ，ｐｏｓＹ）），Ｓｈｉｆｔ０），
Ｉ’（ｐｏｓＸ，ｐｏｓＹ）＝ＣｌｉｐＳａｍｐｌｅ（Ｉ’（ｐｏｓＸ，ｐｏｓＹ）），
ここで、ＣｌｉｐＳａｍｐｌｅは、サンプル値を有効な出力サンプル値にクリッピングする。
そして、Ｉ’（ｐｏｓＸ，ｐｏｓＹ）をインター予測値として出力する。
そうでない場合（現在のブロックは、双方向予測または重み付け予測として符号化される）。
Ｉ’（ｐｏｓＸ，ｐｏｓＹ）が記憶され、他の予測値および／または重み値に従ってインター予測値を生成するために使用される。
２．１２ ＪＶＥＴ－Ｎ０５１０
ＪＶＥＴ－Ｎ０５１０には、位相可変アフィンサブブロック動き補償（ＭＣ）が提案される。従来の２段階の水平－垂直補間を適用する。しかしながら、すべてのサンプル行に対して同じ水平フィルタを使用し、すべてのサンプル列に対して同じ垂直フィルタを使用する位相不変ブロックに基づくＭＣとは異なり、フィルタの異なる位相を、アフィンサブブロックにおける異なるサンプル行および異なるサンプル列に適用することができる。
アフィンサブブロックにおけるアフィン動きモデルをよりよく近似するために、このサブブロックに位相可変ＭＣを適用する。提案した方法において、アフィン符号化ブロックも４×４個のサブブロックに分割され、ＶＴＭ４．０と同様にして、各サブブロックごとに１つのサブブロックＭＶを導出する。各サブブロックのＭＣは２つのステージに分けられる。第１のステージは、（４＋Ｌ－１）×（４＋Ｌ－１）個の参照ブロック窓を（４＋Ｌ－１）行の水平フィルタリングでフィルタリングすることであり、ここで、Ｌは、補間フィルタリングモジュールのフィルタタップ長である。しかしながら、並進ＭＣとは異なり、提案される位相可変アフィンサブブロックＭＣにおいて、各サンプル行のフィルタ位相は異なる。各サンプル行に対して、ＭＶｘは、以下のように導出される。
ＭＶｘ＝（ｓｕｂｂｌｏｃｋＭＶｘ＜＜７＋ｄＭｖＶｅｒＸ×（ｒｏｗＩｄｘ－Ｌ／２－２））＞＞７
各サンプル行のフィルタ位相は、ＭＶｘから導出される。ｓｕｂｂｌｏｃｋＭＶｘは、ＶＴＭ４．０に記載されているように、導出されたサブブロックＭＶのＭＶのｘ成分である。ｒｏｗＩｄｘはサンプル行インデックスである。ｄＭｖＶｅｒＸは（ｃｕＢｏｔｔｏｍＬｅｆｔＣＰＭＶｘ－ｃｕＴｏｐＬｅｆｔＣＰＭＶｘ）＜＜（７－ｌｏｇ２ＬｕｍａＣｂＨｅｉｇｈｔ）であり、ここで、ｃｕＢｏｔｔｏｍＬｅｆｔＣＰＭＶｘは、ＣＵ左下制御点ＭＶのｘ成分であり、ｃｕＴｏｐＬｅｆｔＣＰＭＶｘは、ＣＵ左上制御点ＭＶのｘ成分であり、ＬｕｍａＣｂＨｅｉｇｈｔは輝度符号化ブロック（ＣＢ）の高さのｌｏｇ２である。
水平フィルタリングの後、４×（４＋Ｌ－１）個の水平フィルタリングされたサンプルを生成する。図２６は提案された水平方向フィルタリングの概念を示す。グレーの点は参照ブロック窓のサンプルであり、オレンジの点は水平方向にフィルタリングされたサンプルを示す。８×１サンプルの青色の管は、図２６および図２７にそれぞれ示すように、８タップの水平フィルタリングを１回適用することを意味する。各サンプル行は、４回の水平フィルタリングを必要とする。１つのサンプル行におけるフィルタ位相は同じである。しかしながら、異なる行におけるフィルタ位相は異なる。スキューされた４×１１個のサンプルが生成される。
第２段階において、４×（４＋Ｌ－１）個の水平方向にフィルタリングされたサンプル（図２６が橙色のサンプル）をさらに垂直方向にフィルタリングする。各サンプル列に対して、ＭＶｙは、以下のように導出される。
ＭＶｙ＝（ｓｕｂｂｌｏｃｋＭＶｙ＜＜７＋ｄＭｖＨｏｒＹ×（ｃｏｌｕｍｎＩｄｘ－２））＞＞７ （式２）
各サンプル列のフィルタ位相は、ＭＶｙから導出される。ｓｕｂｂｌｏｃｋＭＶｙは、ＶＴＭ４．０で行われたように、導出されたサブブロックＭＶのＭＶのｙ成分である。ｃｏｌｕｍｎＩｄｘはサンプル列インデックスである。ｄＭｖＨｏｒＹは、（ｃｕＴｏｐＲｉｇｈｔＣＰＭＶｙ－ｃｕＴｏｐＬｅｆｔＣＰＭＶｙ）＜＜（７－ｌｏｇ２ＬｕｍａＣｂＷｉｄｔｈ）であり、ｃｕＴｏｐＲｉｇｈｔＣＰＭＶｙはＣＵ右上制御点ＭＶのｙ成分であり、ｃｕＴｏｐＬｅｆｔＣＰＭＶｙはＣＵ左上制御点ＭＶのｙ成分であり、ｌｏｇ２ＬｕｍａＣｂＷｉｄｔｈは輝度ＣＢの幅のｌｏｇ２である。
垂直フィルタリングの後、４×４アフィンサブブロック予測サンプルを生成する。図２８に、提案された垂直フィルタリングの概念を示す。明るいオレンジ色の点は、第１ステージからの水平方向にフィルタリングされたサンプルである。赤色の点は、最終予測サンプルとして垂直方向にフィルタリングされたサンプルである。
本提案において、使用される補間フィルタセットは、ＶＴＭ４．０におけるものと同じである。唯一の相違は、１つのサンプル行における水平フィルタ位相が異なり、１つのサンプル列における垂直フィルタ位相が異なることである。提案した方法における各アフィンサブブロックに対するフィルタリング動作の数は、ＶＴＭ４．０と同じである。
３． 既存の実装形態の欠点
既存の実装形態の中には、以下の欠点を有するものがある。
（１） 勾配計算方法は、ＢＤＯＦおよびＰＲＯＦにおいて同一ではない。
（ａ） ＢＤＯＦでは、ブロック全体の勾配を計算し、パディングを１回行う。ＰＲＯＦでは、各サブブロックごとに勾配を計算し、Ｎ回パディングを行う（Ｎ個のサブブロックがあると仮定する）。
（ｂ） ＰＲＯＦは、ＢＤＯＦよりも高い勾配精度を必要とする。
（２） ＰＲＯＦと他のツールとの間のやりとりは不明瞭である。
（３） 彩度成分へのＰＲＯＦの適用方法は不明である。
（４） Δｖの導出処理が正しくない場合がある。
（５） ＰＲＯＦは、より高い符号化性能のために条件付きで行われてもよい。
（６） ＪＶＥＴ－Ｎ０２３６およびＪＶＥＴ－Ｎ０５１０の方法をどのように組み合わせるか不明である。
（７） ｄＭｖＨおよびｄＭｖＶのビット幅は大き過ぎる場合がある。
４． オプティカルフロー付き予測微調整（ＰＲＯＦ）のための例示的な方法
本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示される技術に基づいたオプティカルフロー付き予測微調整の方法は、既存のおよび将来の映像符号化規格の両方を向上させることができ、様々な実装形態のために以下の例で解明される。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載されている様々な特徴を組み合わせることができる。
リスト０およびリスト１からの現在の画像の参照ピクチャをそれぞれＲｅｆ０およびＲｅｆ１で表し、τ０＝ＰＯＣ（ｃｕｒｒｅｎｔ）－ＰＯＣ（Ｒｅｆ０），τ１＝ＰＯＣ（Ｒｅｆ１）－ＰＯＣ（ｃｕｒｒｅｎｔ）を表し、且つＲｅｆ０およびＲｅｆ１からの現在のブロックの参照ブロックをそれぞれｒｅｆｂｌｋ０およびｒｅｆｂｌｋ１で表す。現在のブロックにおける１つのサブブロックに対して、ｒｅｆｂｌｋ０におけるｒｅｆｂｌｋ１を指すその対応するサブブロックのＭＶは、（ｖｘ，ｖｙ）によって表される。Ｒｅｆ０、Ｒｅｆ１におけるサブブロックのＭＶを、それぞれ（ｍｖＬ０ｘ，ｍｖＬ０ｙ）、（ｍｖＬ１ｘ，ｍｖＬ１ｙ）と表す。
Ｓｈｉｆｔ（ｘ，ｓ）は、Ｓｈｉｆｔ（ｘ，ｓ）＝（ｘ＋ｏｆｆ）＞＞ｓとして定義される。
ＳｉｇｎＳｈｉｆｔ（ｘ，ｓ）は、として定義される。
Figure 2022527852000031
一例において、ｏｆｆｓｅｔ０および／またはｏｆｆｓｅｔ１は、（１＜＜ｎ）＞＞１または（１＜＜（ｎ－１））に設定される。別の例において、ｏｆｆｓｅｔ０および／またはｏｆｆｓｅｔ１は、０に設定される。さらに別の例において、ｏｆｆｓｅｔ０＝ｏｆｆｓｅｔ１＝（（１＜＜ｎ）＞＞１）－１または（（１＜＜（ｎ－１）））－１である。
Ｃｌｉｐ３（ｘ，ｍｉｎ，ｍａｘ）は、以下のように定義される。
Figure 2022527852000032
ここで、Ｍａｘ（ａ，ｂ）＝ａ＞＝ｂ ？ ａ：ｂおよびＭｉｎ（ａ，ｂ）＝ａ＜＝ｂ ？ ａ：ｂ．
以下の説明において、２つの動きベクトル間の演算は、この演算を動きベクトルの２つの成分の両方に適用することを意味する。例えば、ＭＶ３＝ＭＶ１＋ＭＶ２は、ＭＶ３ｘ＝ＭＶ１ｘ＋ＭＶ２ｘおよびＭＶ３ｙ＝ＭＶ１ｙ＋ＭＶ２ｙである。代替的に、この動作は、２つの動きベクトルの水平または垂直成分にのみ適用されてもよい。ＭＶ（ＭＶｘ，ＭＶｙ）の「絶対値」という用語は、ａｂｓ（ＭＶｘ）、またはａｂｓ（ＭＶｙ）、またはｍａｘ（ａｂｓ（ＭＶｘ）、ａｂｓ（ＭＶｙ））またはａｂｓ（ＭＶｘ）＋ａｂｓ（ＭＶｙ）と表してもよく、関数ａｂｓ（ｘ）は、ｘの絶対値を返し、関数ｍａｘ（ｘ，ｙ）は、ｘとｙのうち大きい方を返す。
以下の説明において、図２に示すように、左の近傍のブロック、左下の近傍のブロック、上の近傍のブロック、右上の近傍のブロックおよび左上の近傍のブロックを、ブロックＡ１、Ａ０、Ｂ１、Ｂ０、Ｂ２と表記する。
１． ＰＲＯＦにおける勾配計算は、アフィンモードにおける動き補償に使用されるサブブロックサイズとは異なるＭ×Ｎの領域レベルで実行されてもよいことが提案される。
ａ． 一例において、ＰＲＯＦにおける勾配計算は、１つのサブブロックよりも大きいＭ×Ｎ個の領域に対して行われてもよい。
ｂ． 一例において、ＭおよびＮは、ある予め定義された数であってもよく、例えば、である。Ｍ＝Ｎ＝８またはＭ＝Ｎ＝１６である。
ｃ． 一例において、ＭおよびＮは、サブブロックのサイズの幅／高さに基づいて定義される、Ｗｍｃを、動き補償に使用されるサブブロックサイズの幅／高さとすると、例えば、Ｍ＝Ｎ＝２＊Ｗｍｃなど、何らかの数であってもよい。
ｄ． ＰＲＯＦにおける勾配を導出するために使用されるパディング処理は、Ｍ×Ｎ領域レベルで行われる。
ｅ． 上記のすべての例において、ＭおよびＮの定義は、以下の通りである。
ｉ． 一例において、Ｍ＝ｍｉｎ（Ｋ０、ブロック幅）であり、Ｋ０は整数値である。
ｉｉ． 一例において、Ｎ＝ｍｉｎ（Ｋ１、ブロックの高さ）であり、Ｋ０は整数値である。
ｉｉｉ． 上記の例では、Ｋ０＝Ｋ１＝１６である。
ｉｖ． 一例において、Ｋ０およびＫ１は、ＢＤＯＦに使用されるものと位置合わせされる。
ｆ．第１のサブブロックにおける第１のサンプルの勾配は、第２のサブブロックにおける第２のサンプルによって導出されてもよい。
ｉ． 一例において、第２のサブブロックは、第１のサブブロックに隣接する。
ｉｉ． 一例において、第２のサンプルは、第１のサブブロックまたは第２のサブブロックにある場合と同様に、第１のサンプルの勾配を導出するために使用される。
ｉｉｉ． 上記方法は、Ｍ×Ｎがサブブロックよりも大きい場合に適用されてもよい。
ｇ． 各Ｍ×Ｎ領域のパディング処理のために、１つ又は複数のＭＶを導出してもよい。
ｉ． 一例において、１つの特定のＭＶは、Ｍ×Ｎ領域のためのパディング処理のために導出される。整数参照サンプルは、特定のＭＶで位置判定され、次いで、Ｍ×Ｎ領域外のサンプルをパディングするために使用してもよい。
（ｉ） 一例において、特定のＭＶは、Ｍ×Ｎ領域における１つのサブブロックの１つのＭＶであってもよく、例えば、Ｍ×Ｎ領域における左上隅のサブブロックまたは中央のサブブロックである。図３１に例を示す。特定のＭＶとして、サブブロックＡ、Ｂ、Ｃ、Ｄ、ＥのＭＶを選択してもよい。
（ｉｉ） 一例において、特定のＭＶは、アフィンモデルからＭ×Ｎ領域の特定の位置（例えば、中心）に向かって導出されてもよい。
（ｉｉｉ）一例において、特定のＭＶは、Ｍ×Ｎ領域におけるサブブロックのＭＶから導出されてもよい。
ａ． 例えば、特定のＭＶは、Ｍ×Ｎ領域におけるすべてのサブブロックのＭＶの平均として導出されてもよい。
ｂ． 例えば、特定のＭＶは、中央サブブロックの複数のＭＶの平均として導出されてもよい。
ｉ． 例えば、特定のＭＶは、図３１におけるＢ、Ｃ、Ｄ、Ｅの複数のＭＶの平均値として導出されてもよい。
ｉｉ． 例えば、特定のＭＶは、図３１におけるＢおよびＥの複数のＭＶの平均値として導出されてもよい。
ｉｉｉ． 例えば、特定のＭＶは、図３１におけるＣおよびＤの複数のＭＶの平均値として導出されてもよい。
ｃ． 例えば、特定のＭＶは、複数のＭＶ（例えば、ＣＰＭＶまたはサブブロックのＭＶ）の関数として導出されてもよい。
ｉｉ． 一例において、Ｍ×Ｎ領域に対するパディング処理のために、複数のＭＶが導出される。整数参照サンプルは、複数のＭＶのうちの１つのＭＶに配置され、次いで、Ｍ×Ｎ領域外のサンプルをパディングするために使用してもよい。
（ｉ）一例において、第１のサンプルをＭ×Ｎ領域の第１のサブブロックにパディングする場合、第１のサブブロックの第１のＭＶを使用して、第１のサンプルをパディングするための整数参照サンプルを位置決めしてもよい。
ｉｉｉ． 上述の方法は、Ｍ×Ｎが１つのサブブロックよりも大きい場合に適用され、ＰＲＯＦにおける勾配を導出するために使用されるパディング処理は、各Ｍ×Ｎ領域に対して行われる。
２． ＰＲＯＦ／ＢＩＯにおける勾配計算は、Ｍ×Ｎ個の領域レベルで実行されてもよく、Ｍ／Ｎは適応的に変更されてもよい。
ａ． 一例において、ＭおよびＮは、現在のブロックの寸法Ｗ×Ｈに依存してもよい。
ｉ． 例えば、この領域は現在のブロック全体、すなわち、Ｍ＝Ｗ、Ｎ＝Ｈであってもよい。
ｉｉ． 例えば、Ｍ＝Ｗ／Ｔ１、Ｎ＝Ｈ／Ｔ２であり、ここで、Ｔ１、Ｔ２は整数であり、例えば、Ｔ１＝Ｔ２＝２である。
ｉｉｉ． 一例において、Ｍおよび／またはＮは、ＶＰＳ／ＤＰＳ／ＳＰＳ／ＰＰＳ／ＡＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵなどにおいて、エンコーダからデコーダに信号通知されてもよい。
（ｉ） 代替的に、Ｍおよび／またはＮは、映像符号化規格のプロファイル／レベル／層において指定されてもよい。
ｉｖ． 一例において、Ｍ＝Ｍｉｎ（Ｗ，Ｔ１）およびＮ＝Ｍｉｎ（Ｈ，Ｔ２）である。例えば、Ｔ１＝Ｔ２＝１６である。
（ｉ）一例において、Ｔ１および／またはＴ２は、ＶＰＳ／ＤＰＳ／ＳＰＳ／ＰＰＳ／ＡＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵにおけるように、エンコーダからデコーダに信号通知されてもよい。
（ｉｉ） 代替的に、Ｔ１および／またはＴ２は、映像符号化規格のプロファイル／レベル／層において指定されてもよい。
３． 上記方法に対して、以下をさらに適用してもよい。
ａ． 一例において、Ｍは、少なくともＭｍｉｎに等しく、Ｎは、少なくともＮｍｉｎに等しく、例えば、Ｍｍｉｎ＝Ｎｍｉｎ＝８である。
ｂ． 一例において、パディング処理は、各Ｍ×Ｎ領域に対して１回行われ、パディングされた（Ｍ＋ｄＭ）×（Ｎ＋ｄＮ）領域を取得し、例えば、ｄＭ＝ｄＮ＝２である。
ｉ． 一例において、領域内のサンプル（例えば、図２３における白丸）は、補間フィルタリングによる動き補償から導出されてもよい。
（ｉ） 一例において、この領域内のサンプルは、この領域における複数のサブブロックの動き補償から導出されてもよい。
ｉｉ． 一例において、サンプルの４つの側部外側ライン（例えば、図２３における黒丸）は、パディングされてもよい。
（ｉ） 一例において、パディングされるサンプルは、参照ブロックにおける最も近い整数サンプルの強度をコピーしてもよい。
（ｉｉ） 一例において、パディングされるサンプルは、パディングされていない領域における最も近いサンプルの強度をコピーしてもよい。
４． ＰＲＯＦ／ＢＩＯにおける勾配計算が適用される各領域に対して、各サンプルごとに勾配値を計算する代わりに、サンプルの一部に基づいて勾配を計算することが提案される。
ａ． 一例において、ＰＲＯＦ／ＢＩＯにおいて、所与の座標におけるサンプルに関連付けられた勾配を使用してもよく、例えば、（２ｘ，ｙ）または（ｘ，２ｙ）または（２ｘ＋１，２ｙ＋１）または（２ｘ，２ｙ）において、（ｍ，ｎ）は、現在のブロックにおける左上のサンプルに対する座標である。
ｂ． 一例において、サンプルは、まず修正され（例えば、ダウンサンプリングされ）、修正されたサンプルは、勾配を導出するために使用してもよい。
５． ＢＤＯＦおよびＰＲＯＦにおいて計算される勾配値の精度は同じであってもよいことが提案される。
ａ． 一例において、サンプル差は同じ値でシフトされてもよい。
ｉ． 一例において、水平および／または垂直方向勾配（それぞれ、ｇｒａｄｉｅｎｔＨ、ｇｒａｄｉｅｎｔＶで表される）は、以下のようにして計算されてもよい。
ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］）＞＞Ｓｈｉｆｔ０
ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］）＞＞Ｓｈｉｆｔ１
あるいは、
ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０）
ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１）
あるいは、
ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０）
ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１）
ｉｉ． 一例において、水平および／または垂直方向勾配（それぞれ、ｇｒａｄｉｅｎｔＨ、ｇｒａｄｉｅｎｔＶで表される）は、以下のようにして計算されてもよい。
ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］）＞＞Ｓｈｉｆｔ０
ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］）＞＞Ｓｈｉｆｔ１
あるいは、
ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０）
ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１）
あるいは、
ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０）
ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１）
ｉｉｉ． 一例において、Ｓｈｉｆｔ０および／またはＳｈｉｆｔ１は、Ｍａｘ（２，（１４－ＢｉｔＤｅｐｔｈ））に設定されてもよく、ここで、ＢｉｔＤｅｐｔｈは、再構成されたサンプル／入力サンプルのビット深度である。
６． ＰＲＯＦ、ＢＩＯ、またはＰＲＯＦとＢＩＯの両方に、サンプルの外線をパディングするための以下の方法（図２３において黒丸など、パディングサンプルと呼ばれる）を適用してもよい。
ａ． パディングサンプルは、ＰＲＯＦおよび／またはＢＩＯと同じ方法でパディングされてもよい。「同じ方法」は、以下に開示される任意のパディング方法であってもよい。
ｂ． 一例において、パディングサンプルは、ＰＲＯＦおよび／またはＢＩＯのための参照ピクチャにおける整数サンプルから導出されてもよい（例えば、コピーされてもよい）。
ｉ． 一例において、パディングサンプルの導出に使用される整数サンプルは、パディングサンプルの位置によってＭＶを加算して配置され、加算演算で整数ＭＶに丸められてもよい。
（ｉ） 一例において、ＭＶ（ＭｖＸ，ＭｖＹ）は、床整数ＭＶ（ＩｎｔＸ，ＩｎｔＹ）に丸められてもよい。例えば、ＰをＭＶ精度とした場合、ＩｎｔＸ＝ＭｖＸ＞＞Ｐ、ＩｎｔＹ＝ＭｖＹ＞＞Ｐである。
（ｉｉ） 一例において、ＭＶ（ＭｖＸ，ＭｖＹ）は、最も近い整数ＭＶ（ＩｎｔＸ，ＩｎｔＹ）に丸められてもよい。例えば、ＰをＭＶの精度とした場合、ＦｒａｃＸ＝ＭｖＸ＆（（１＜＜Ｐ）－１），ＦｒａｃＹ＝ＭｖＹ ＆ （（１＜＜Ｐ）－１），ＯｆｆＸ＝（ＦｒａｃＸ＞＝（１＜＜（Ｐ－１））） ？１：０，ＯｆｆＹ＝（ＦｒａｃＹ＞＝（１＜＜（Ｐ－１））） ？１：０に設定すると、ＩｎｔＸ＝（ＭｖＸ＞＞Ｐ）＋ＯｆｆＸ，ＩｎｔＹ＝（ＭｖＹ＞＞Ｐ）＋ＯｆｆＹとなる。ＨａｌｆＦｒａｃは、１＜＜（Ｐ－１）に等しくてもよく、他の例において、（１＜＜（Ｐ－１））－１または（１＜＜（Ｐ－１））＋１に等しくてもよい。
（ｉｉｉ） 一例において、ＰをＭＶ精度とすると、ＭＶ（ＭｖＸ，ＭｖＹ）は、ＩｎｔＸ＝ＳａｔＳｈｉｆｔ（ＭｖＸ，Ｐ）、ＩｎｔＹ＝ＳａｔＳｈｉｆｔ（ＭｖＹ，Ｐ）として、整数ＭＶ（ＩｎｔＸ，ＩｎｔＹ）に丸められてもよい。
（ｉｖ） 上記黒丸において、ＭＶ精度Ｐは、カラーフォーマットおよび／または色成分に依存してもよい。
ａ． 例えば、Ｃｂ／Ｃｒ成分のＭＶ精度は、輝度成分のＭＶ精度に４：２：０カラーフォーマットのＫを加えたものに等しくてもよい。例えば、Ｋは１に等しくてもよい。
（ｖ） パディングを行う方法は、ＶＰＳ／ＤＰＳ／ＳＰＳ／ＰＰＳ／ＡＰＳ／スライスヘッダ／タイルグループヘッダ／タイル／ＣＴＵ／ＣＵなどにおいて、エンコーダからデコーダに信号通知されてもよい。
ａ． 代替的に、パディングを行う方法は、映像符号化規格のプロファイル／レベル／層で指定されてもよい。
（ｖｉ） パディングを行う方法は、ブロック寸法に依存してもよい。
７． ＰＲＯＦを適用する場合、符号化ツールＸを適用できないことが提案される。
ａ． 代替的に、符号化ツールＸを適用する場合、ＰＲＯＦを適用することができない。
ｂ． 一例において、符号化ツールＸが適用され得ない場合、符号化ツールＸを示すための構文要素は、信号通知されなくてもよい。
ｃ． 一例において、符号化ツールＸは、一般化Ｂｉ予測（ＧＢＩ）であってもよい。
ｉ． 例えば、ＧｂｉＩｄｘが０に等しくない場合、ＰＲＯＦは適用されない。
ｉｉ． 代替的に、ＰＲＯＦが適用される場合、ＧｂｉＩｄｘは０でなければならない。
ｉｉｉ． 代替的に、ＰＲＯＦが適用される場合、ＧｂｉＩｄｘは信号通知されず、０であると推測される。
ｉｖ． 代替的に、ＰＲＯＦが適用される場合、ＧｂｉＩｄｘが０であってもなくても、ＧＢＩは適用されない。
ｄ． 一例において、符号化ツールＸは、局所照明補償であってもよい。
ｅ． 一例において、符号化ツールＸは、多重変換セット（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｔ：ＭＴＳ）であってもよい。
ｉ． 例えば、ＰＲＯＦを適用する場合、デフォルト変換のみを適用することができる。
（ｉ） 例えば、ＰＲＯＦが適用される場合、ＭＴＳに関連する構文要素は適用されない。
ｆ． 一例において、符号化ツールＸは、重み付け予測であってもよい。
ｉ． 例えば、１つのブロックに対して重み予測による不等な重みおよび／または不等なオフセットを適用する場合、ＰＲＯＦは適用されない。
８． ＰＲＯＦの適用方法は、カラーフォーマットおよび／または別個のプレーン符号化の使用に依存してもよいことが提案される。
ａ． 一例において、カラーフォーマットが４：０：０である場合、ＰＲＯＦを彩度成分に適用することができない。
ｂ． 一例において、カラーフォーマットが４：４：４である場合、ＰＲＯＦは彩度成分に適用されてもよい。
ｃ． 一例において、ＰＲＯＦは、カラーフォーマットが４：０：０に等しくない場合、彩度成分に適用されてもよい。
ｄ． 一例において、デルタＭＶ（例えば、２．１１章におけるΔｖ）の導出方法は、カラーフォーマットに依存してもよい。
９． ＰＲＯＦの適用方法は、色成分に依存してもよいことが提案される。
ａ． 一例において、勾配は、各色成分ごとに独立して計算されてもよい。
ｉ． 代替的に、第１の色成分に対して算出された勾配を第２の色成分に使用してもよい。
ｉｉ． 代替的に、勾配は、２回、輝度／主色成分に対して１回、および２つの彩度／依存色成分に対して１回、計算してもよい。
ｂ． 一例において、デルタＭＶ（例えば、２．１１章におけるΔｖ）は、各色成分ごとに独立して算出されてもよい。
ｉ． 代替的に、第１の色成分のために算出されたデルタＭＶを第２の色成分に使用してもよい。
ｃ． 一例において、各色成分ごとに独立して予測微調整（例えば、２．１１章におけるΔＩ）を算出してもよい。
ｉ． 代替的に、第１の色成分のために計算された予測微調整（例えば、２．１１章におけるΔＩ）は、第２の色成分によって使用してもよい。
ｄ． 一例において、ＰＲＯＦにおける勾配の精度は、色成分に依存してもよい。
ｅ． 一例において、ＰＲＯＦにおけるデルタＭＶ（例えば、２．１１章におけるΔｖ）の精度は、色成分に依存してもよい。
ｆ． 一例において、ＰＲＯＦにおけるクリッピング演算の有無および方法は、色成分に依存してもよい。
ｇ． 一例において、ＰＲＯＦにおけるシフト動作の有無および方法は、色成分に依存してもよい。
ｈ． 一例において、ＰＲＯＦは、輝度成分のみに適用されてもよい。
ｉ． 一例において、ＰＲＯＦは、異なるサブブロックサイズの異なる色成分に適用されてもよい。
ｉ． 代替的に、ＰＲＯＦは、同じサブブロックサイズの異なる色成分に適用されてもよい。
ｊ． 一例において、ＰＲＯＦは、Ｍ＊Ｎ個のサブブロックサイズの彩度成分に適用されてもよい。
ｉ． 例えば、ＭおよびＮを４に等しく設定する。
ｋ． 上記方法（黒丸 ｈ－ｊ）は、カラーフォーマット（例えば、４：２：０または４：４：４）にさらに依存してもよい。
１０． デルタＭＶ（例えば、２．１１章におけるΔｖ）の導出は、サブブロックの幅および／または高さに依存してもよいことが提案される。
ａ． 一例において、ｄＭｖＨ［０］［０］およびｄＭｖＶ［０］［０］は、以下のように計算される。
ｑＨｏｒＸ＝ｄＨｏｒＸ＊Ｐ０；
ｑＶｅｒＸ＝ｄＶｅｒＸ＊Ｐ０；
ｑＨｏｒＹ＝ｄＨｏｒＹ＊Ｐ０；
ｑＶｅｒＹ＝ｄＶｅｒＹ＊Ｐ０；
ｄＭｖＨ［０］［０］＝（（ｉＤＭｖＨｏｒＸ＋ｉＤＭｖＶｅｒＸ）＊Ｐ１）－（ｑｕａｄＨｏｒＸ＊（ｂｌｏｃｋＷｉｄｔｈ＞＞１）＋ｑｕａｄＶｅｒＸ＊（ｂｌｏｃｋＨｅｉｇｈｔ＊Ｐ１））；
ｄＭｖＶ［０］［０］＝（（ｉＤＭｖＨｏｒＹ＋ｉＤＭｖＶｅｒＹ）＊Ｐ１）－（ｑｕａｄＨｏｒＹ＊（ｂｌｏｃｋＷｉｄｔｈ＞＞１）＋ｑｕａｄＶｅｒＹ＊（ｂｌｏｃｋＨｅｉｇｈｔ＊Ｐ１））；
ここで、ｂｌｏｃｋＷｉｄｔｈおよびｂｌｏｃｋＨｅｉｇｈｔは、それぞれサブブロックの幅および高さを表す。Ｐ０およびＰ１は、精度を制御する２つの数である。
ｉ． 例えば、Ｐ０＝４であり、Ｐ１＝２である場合、ｄＭｖＨ［０］［０］およびｄＭｖＶ［０］［０］は、以下のように計算される。
ｑＨｏｒＸ＝ｄＨｏｒＸ＜＜２；
ｑＶｅｒＸ＝ｄＶｅｒＸ＜＜２；
ｑＨｏｒＹ＝ｄＨｏｒＹ＜＜２；
ｑＶｅｒＹ＝ｄＶｅｒＹ＜＜２；
ｄＭｖＨ［０］［０］＝（（ｉＤＭｖＨｏｒＸ＋ｉＤＭｖＶｅｒＸ）＜＜１）－（ｑｕａｄＨｏｒＸ＊（ｂｌｏｃｋＷｉｄｔｈ＞＞１）＋ｑｕａｄＶｅｒＸ＊（ｂｌｏｃｋＨｅｉｇｈｔ＞＞１））；
ｄＭｖＶ［０］［０］＝（（ｉＤＭｖＨｏｒＹ＋ｉＤＭｖＶｅｒＹ）＜＜１）－（ｑｕａｄＨｏｒＹ＊（ｂｌｏｃｋＷｉｄｔｈ＞＞１）＋ｑｕａｄＶｅｒＹ＊（ｂｌｏｃｋＨｅｉｇｈｔ＞＞１））；
１１． なお、アフィン符号化されたブロックに対して、ＰＲＯＦは、常に適用される代わりに、条件付きで行われてもよいことが提案される。
ａ． 一例において、ＰＲＯＦの実行の有無およびその方法は、現在のブロックの寸法Ｗ×Ｈに依存してもよい。
ｉ． 例えば、ＰＲＯＦは、Ｗ＜＝Ｔ１および／またはＨ＜＝Ｔ２の場合、適用されなくてもよく、例えば、Ｔ１＝Ｔ２＝１６である。
ｉｉ． 例えば、ＰＲＯＦは、Ｗ＜Ｔ１および／またはＨ＜Ｔ２の場合、適用されなくてもよく、例えば、Ｔ１＝Ｔ２＝１６である。
ｉｉｉ． 例えば、ＰＲＯＦは、Ｗ＞＝Ｔ１および／またはＨ＞＝Ｔ２、例えばＴ１＝Ｔ２＝６４の場合、ＰＲＯＦを適用しなくてもよい。
ｉｖ． 例えば、ＰＲＯＦは、Ｗ＞Ｔ１および／またはＨ＞Ｔ２、例えば、Ｔ１＝Ｔ２＝６４の場合、適用されなくてもよい。
ｖ． 例えば、Ｗ＊Ｈ＞Ｔ１、例えば、Ｔ１＝６４＊６４である場合、ＰＲＯＦは適用されなくてもよい。
ｖｉ． 例えば、Ｗ＊Ｈ＞＝Ｔ１、例えば、Ｔ１＝６４＊６４の場合、ＰＲＯＦは適用されなくてもよい。
ｖｉｉ． 例えば、Ｗ＊Ｈ＜Ｔ１、例えば、Ｔ１＝１６＊１６である場合、ＰＲＯＦは適用されなくてもよい。
ｖｉｉｉ． 例えば、Ｗ＊Ｈ＜＝Ｔ１、例えば、Ｔ１＝１６＊１６である場合、ＰＲＯＦは適用されなくてもよい。
ｉｘ． 例えば、ｍｉｎ（Ｗ，Ｈ）＞＝Ｔ１、例えば、Ｔ１＝６４の場合、ＰＲＯＦを適用しなくてもよい。
ｘ． 例えば、ｍｉｎ（Ｗ，Ｈ）＞Ｔ１、例えばＴ１＝６４である場合、ＰＲＯＦを適用しなくてもよい。
ｘｉ． 例えば、ｍａｘ（Ｗ，Ｈ）＜＝Ｔ１、例えば、Ｔ１＝１６の場合、ＰＲＯＦは、適用されなくてもよい。
ｘｉｉ． 例えば、ｍａｘ（Ｗ，Ｈ）＜Ｔ１、例えば、Ｔ１＝１６の場合、ＰＲＯＦは、適用されなくてもよい。
ｂ． 一例において、ＰＲＯＦの実行の有無、および／またはその方法は、制御点動きベクトルに依存してもよい。
ｃ． 一例において、ＰＲＯＦを行うかどうか、および／またはどのように行うかは、アフィンパラメータおよび／またはアフィンパラメータの数に依存してもよい。
ｉ． ４パラメータアフィンモデルの場合、
Figure 2022527852000033
の場合、ＰＲＯＦの実行の有無およびその方法は、パラメータａおよびｂに依存してもよい。
ｉｉ． ４パラメータアフィンモデルの場合、
Figure 2022527852000034
ＰＲＯＦの実行の有無およびその方法は、ａ、ｂ、ｃ、ｄなどのパラメータに依存してもよい。
ｉｉｉ． 一例において、最大アフィンパラメータが閾値より小さい（または大きくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉ） 代替的に、すべての（例えば、４つまたは６つの）アフィンパラメータが閾値より小さい（または大きくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉｉ） 代替的に、少なくとも１つのアフィンパラメータが閾値より小さい（または大きくない）場合、ＰＲＯＦを適用しなくてもよい。
ｉｖ． 一例において、アフィンパラメータの絶対値の最大値が閾値より小さい（または大きくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉ） 代替的に、すべてのアフィンパラメータの絶対値が閾値より小さい（または大きくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉｉ） 代替的に、ＰＲＯＦは、すべてのアフィンパラメータの絶対値のうちの少なくとも１つが閾値よりも大きい（または小さくない）場合にのみ適用されてもよい。
ｖ． 一例において、最小アフィンパラメータが閾値よりも大きい（または小さくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉ） 代替的に、すべての（例えば、４つまたは６つの）アフィンパラメータが閾値よりも大きい（または小さくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉｉ） 代替的に、少なくとも１つのアフィンパラメータが閾値よりも大きい（または小さくない）場合、ＰＲＯＦを適用しなくてもよい。
ｖｉ． 一例において、アフィンパラメータの絶対値の最小値が閾値よりも大きい（または小さくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉ） 代替的に、すべてのアフィンパラメータの絶対値が閾値よりも大きい（または小さくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉｉ） 代替的に、ＰＲＯＦは、アフィンパラメータの絶対値のうちの少なくとも１つが閾値より小さい（または大きくない）場合にのみ適用されてもよい。
ｖｉｉ． 一例において、ＪＶＥＴ－Ｎ０２３６に開示されるようなデルタＭＶの「絶対値」の最大値が閾値より小さい（または大きくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉ） 代替的に、すべてのデルタＭＶの「絶対値」が閾値より小さい（または大きくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉｉ） 代替的に、ＰＲＯＦは、デルタＭＶの「絶対値」のうちの少なくとも１つが閾値よりも大きい（または小さくない）場合にのみ適用されてもよい。
ｖｉｉｉ． 一例において、デルタＭＶの「絶対値」の最小値が閾値よりも大きい（または小さくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉ） 代替的に、すべてのデルタＭＶの「絶対値」が閾値よりも大きい（または小さくない）場合、ＰＲＯＦを適用しなくてもよい。
（ｉｉ） 代替的に、ＰＲＯＦは、デルタＭＶの「絶対値」のうちの少なくとも１つが閾値よりも大きい（または小さくない）場合にのみ適用されてもよい。
ｉｘ． 一例において、ＰＲＯＦは特定の位置に適用されてもよい。
（ｉ） 例えば、ＰＲＯＦは、その対応するデルタＭＶの「絶対値」が閾値より小さい（または大きくない）場合、位置に適用されてもよい。
（ｉｉ） 例えば、ＰＲＯＦは、その対応するデルタＭＶの「絶対値」が閾値よりも大きい（または小さくない）場合、位置に適用されてもよい。
ｘ． 一例において、アフィンパラメータは、ＪＶＥＴ－Ｍ１００１に記載されているように、特定の精度で、整数ｄＨｏｒＸ、ｄＶｅｒＸ、ｄＨｏｒＹ、ｄＶｅｒＹと表現されてもよい。
ｘｉ． 一例において、閾値はビット深度に依存してもよい。
（ｉ） 一例において、閾値は、１＜＜ＢｉｔＤｅｐｔｈとして導出されてもよい。
（ｉｉ）さらに、代替的に、この閾値は、双方向予測が適用されるかまたは単一予測が適用されるかに依存してもよい。
ａ． 例えば、閾値は、（１＜＜ＢｉｔＤｅｐｔｈ）＋（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ？１：０）として導出されてもよい。
ｘｉｉ． 一例において、黒丸１１に開示された方法の適用の有無、および／またはその方法は、参照ピクチャの構造に依存してもよい。
（ｉ） 例えば、現在のピクチャのすべての参照ピクチャが現在のピクチャの表示順に前置されている場合、すなわち、すべての参照ピクチャのＰＯＣが現在のピクチャのＰＯＣより小さい場合、本明細書に開示される方法の１つまたは複数は適用されなくてもよい。
（ｉｉ） 代替的に、黒丸１１に開示された方法の提供の有無、および／またはその方法は、スライス／ピクチャのタイプ（例えば、ＩスライスまたはＢスライス）に依存してもよい。
（ｉｉｉ） 代替的に、黒丸１１に開示された方法の提供の有無、および／またはその方法は、時間層に依存してもよい。
ｘｉｉｉ． 黒丸１１において、符号化方法「ＰＲＯＦ」の代わりに、ＪＶＥＴ－Ｎ０２１６に開示されるような織り交ぜ予測または位相可変アフィンサブブロック動き補償など、アフィン予測符号化を向上させるための他の符号化方法を使用してもよい。
１２． ＪＶＥＴ－Ｎ０５１０に提案されているような位相可変アフィンサブブロック動き補償をまず適用して予測値を得て、次にＰＲＯＦを用いてもよいことが提案される。
１３． 任意の有効なｘおよびｙに対してｄＭｖＨ［ｘ］［ｙ］および／またはｄＭｖＶ［ｘ］［ｙ］を導出するために使用される任意の変数のビット幅は、特定の数、例えば３２を超えることができないことが提案される。
ａ． 一例において、ｄＭｖＨ［ｘ］［ｙ］および／またはｄＭｖＶ［ｘ］［ｙ］は、他のｄＭｖＨ［ｔ］［ｚ］および／またはｄＭｖＶ［ｔ］［ｚ］を導出するために使用される前にクリッピングされる。ここで、（ｔ，ｚ）は、（ｘ，ｙ）に等しくない。
ｂ． 一例において、ｄＭｖＨ［ｘ］［ｙ］および／またはｄＭｖＶ［ｘ］［ｙ］は、他のｄＭｖＨ［ｔ］［ｚ］および／またはｄＭｖＶ［ｔ］［ｚ］を導出するために使用される前に右へシフトされる。ここで、（ｔ，ｚ）は、（ｘ，ｙ）に等しくない。
１４． ｄＭｖＨおよび／またはｄＭｖＶは、記憶された動きベクトルと同じ精度を有してもよいことが提案される。
ａ． 例えば、
ｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ］＝ＳａｔＳｈｉｆｔ（ｄＭｖＨ［ｘＰｏｓ］［ｙＰｏｓ］，７＋Ｍ）；
ｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ］＝ＳａｔＳｈｉｆｔ（ｄＭｖＶ［ｘＰｏｓ］［ｙＰｏｓ］，７＋Ｍ）；
ここで、Ｍは、ｄＭｖＨおよび／またはｈＭｖＶ、例えばＭ＝２を導出するための追加の精度である。
１５． 予測微調整ΔＩを導出するために使用される前のｄＭｖＨおよび／またはｄＭｖＶにおけるクリッピングは、ｄＭｖＨおよび／またはｄＭｖＶの精度に依存してもよいことが提案される。
ａ． 例えば、
ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］＝Ｃｌｉｐ３（－２Ｋ－１，２Ｋ－１－１，ｄＭｖＨ［ｐｏｓＸ］［ｐｏｓＹ］）；
ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］＝Ｃｌｉｐ３（－２Ｋ－１，２Ｋ－１－１，ｄＭｖＶ［ｐｏｓＸ］［ｐｏｓＹ］）；
ここで、Ｋは、ｄＭｖＨおよび／またはｄＭｖＶの精度に依存する。
ｂ． 代替的に、ｄＭｖＨ［ｘ］［ｙ］および／またはｄＭｖＶ［ｘ］［ｙ］は、予測微調整を導出するために使用される前にクリッピングされない。
１６. 予測微調整ΔＩ（ｐｏｓＸ，ｐｏｓＹ）の右シフトは、ΔＩ（ｐｏｓＸ，ｐｏｓＹ）の符号に依存してもよいことが提案される。
ａ． 例えば、ΔＩ（ｐｏｓＸ，ｐｏｓＹ）＝ＳａｔＳｈｉｆｔ（ΔＩ（ｐｏｓＸ，ｐｏｓＹ），Ｎ）、ここで、Ｎは整数である。
１７． 予測微調整ΔＩ（ｐｏｓＸ，ｐｏｓＹ）におけるクリッピングは、サンプルビット深度に依存してもよいことが提案される。
ａ． 例えば、ΔＩ（ｐｏｓＸ，ｐｏｓＹ）＝Ｃｌｉｐ３（－（２３＋ＢｉｔＤｅｐｔｈ－１），２３＋ＢｉｔＤｐｅｔｈ－１，ΔＩ（ｐｏｓＸ，ｐｏｓＹ））；
１８． アフィンモードブロック内のサブブロック境界（例えば、内側サブブロック境界）に対して非ブロック化の実行の有無および／またはその方法は、ＪＶＥＴ－Ｎ０２１６に開示されるような織り交ぜ予測、および／またはＰＲＯＦ、および／または位相可変アフィンサブブロック動き補償をブロックに適用するかどうかに依存してもよい。
ａ． 一例において、織り交ぜ予測または／およびＰＲＯＦまたは／および位相可変アフィンサブブロック動き補償がブロックに適用される場合、非ブロック化は無効にされてもよい。
ｉ． 代替的に、非ブロック化フィルタは、ブロックに織り交ぜ予測または／およびＰＲＯＦまたは／および位相可変アフィンサブブロック動き補償が適用されるサブブロック境界において、より弱くてもよい。例えば、このような境界において、境界強度を小さく設定してもよい。
ｂ． 一例において、織り交ぜ予測または／およびＰＲＯＦまたは／および位相可変アフィンサブブロック動き補償がブロックに適用されない場合、非ブロック化は有効にされてもよい。
上述した例は、以下に説明する方法、例えば、方法２９１０～２９５０のコンテキストに含まれてもよく、これらの方法は、映像デコーダ又は映像エンコーダにおいて実装されてもよい。
図２９Ａは、例示的な映像処理方法のフローチャートを示す。方法２９１０は、ステップ２９１２において、現在の映像ブロックのサブブロックレベルで行われるアフィンモード動き補償を使用して、映像の前記現在の映像ブロックに対する予測ブロックを生成することを含む。方法２９１０は、ステップ２９１４において、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順を使用して予測ブロックを微調整すべく、現在の映像ブロックの領域に対して勾配計算を行うことをさらに含み、この領域のサイズ（Ｍ×Ｎ）は、現在の映像ブロックのサブブロックのサイズとは異なり、ＭおよびＮが正の整数である。方法２９１０は、ステップ２９１６において、前記勾配計算に基づいて、前記現在の映像ブロックと前記映像の符号化表現との間での変換を行うことを、さらに含む。
図２９Ｂは、例示的な映像処理方法のフローチャートを示す。方法２９２０は、ステップ２９２２において、第１のサイズを有する映像の現在の映像ブロックに対し、規則に従って第２のサイズを有する映像領域に対して行われた勾配計算を使用して１つ以上の中間予測ブロックを微調整することによって算出された最終予測ブロックを導出することを含み、前記微調整することは、オプティカルフロー手順を使用する。方法２９２０は、ステップ２９２４において、最終予測ブロックを使用して、現在の映像ブロックと、映像の符号化表現との間で変換を行うことをさらに含む。
図２９Ｃは、例示的な映像処理方法のフローチャートを示す。方法２９３０は、ステップ２９３２において、映像の現在の映像ブロックに対し、双方向オプティカルフロー（ＢＤＯＦ）またはオプティカルフロー付き予測微調整（ＰＲＯＦ）を使用して動き情報を導出することを含む。方法２９３０は、ステップ２９３４において、前記現在の映像ブロックの領域において、前記領域における少なくとも１つのサンプルが前記勾配計算から省略されるように、サンプルに対する勾配計算を行うことをさらに含む。方法２９３０は、ステップ２９３６において、前記勾配計算に基づいて、前記現在の映像ブロックと、前記現在の映像ブロックを構成する映像の符号化表現との間で変換を行うことをさらに含む。いくつかの実装形態において、前記現在の映像ブロックに対する１つ以上の初期予測は、サブブロックレベルで算出されて前記ＰＲＯＦ中のオプティカルフロー計算を使用して微調整されるか、または１つ以上の初期予測は、ＢＤＯＦ中の空間的および時間的勾配を使用して微調整される。
図２９Ｄは、例示的な映像処理方法のフローチャートを示す。この方法２９４０は、ステップ２９４２において、映像の現在の映像ブロックに対して、精度規則に従って、初期予測サンプルの勾配に基づいて、オプティカルフロー計算を使用して、現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、現在の映像ブロックに対する最終予測ブロックを判定することを含む。方法２９４０は、ステップ２９４４において、前記最終予測ブロックを使用して、前記現在の映像ブロックと符号化表現との間で変換を行うこととをさらに含み、前記オプティカルフロー計算は、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順または双方向オプティカルフロー（ＢＤＯＦ）手順による予測微調整を含み、前記精度規則は、前記ＰＲＯＦ手順および前記ＢＤＯＦ手順の両方に対して前記勾配を表現するための同じ精度を使用するように規定する。
図２９Ｅは、例示的な映像処理方法のフローチャートを示す。方法２９５０は、ステップ２９５２において、映像の現在の映像ブロックと前記映像の符号化表現との間での変換のために、オプティカルフロー計算を使用して前記現在の映像ブロックの１つ以上の初期予測を微調整することで、前記現在の映像ブロックの最終予測ブロックを判定することを含む。方法２９５０は、ステップ２９５４において、前記最終予測ブロックを使用して前記変換を行うことをさらに含む。いくつかの実装形態において、前記オプティカルフロー計算は、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順および／または双方向オプティカルフロー（ＢＤＯＦ）手順による予測微調整を含み、前記オプティカルフロー計算は、規則に従って、前記ＰＲＯＦ手順または前記ＢＤＯＦ手順の少なくとも一方に適用してパディングサンプルを導出できるパディング演算をさらに含む。
５． 開示される技術の例示的な実装形態
図３０Ａは、映像処理装置３０００のブロック図である。装置３０００は、本明細書に記載の方法の１つ以上を実装するために使用してもよい。装置３０００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（モノのインターネット）受信機等により実施されてもよい。装置３０００は、１つ以上の処理装置３００２と、１つ以上のメモリ３００４と、映像処理ハードウェア３００６と、を含んでもよい。１つまたは複数の処理装置３００２は、本明細書に記載される１つ以上の方法（方法２９００を含むが、これに限定されない）を実装するように構成されてもよい。メモリ（複数可）３００４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア３００６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
図３０Ｂは、開示された技術を実装することができる例示的な映像処理システムを示すブロック図の別の例である。図３０Ｂは、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム４１００を示すブロック図である。様々な実装形態は、システム４１００のモジュールの一部又は全部を含んでもよい。システム４１００は、映像コンテンツを受信するための入力ユニット４１０２を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、８又は１０ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット４１０２は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。
システム４１００は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール４１０４を含んでもよい。符号化モジュール４１０４は、入力ユニット４１０２からの映像の平均ビットレートを符号化モジュール４１０４の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール４１０４の出力は、モジュール４１０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット４１０２において受信された、記憶された又は通信された映像のビットストリーム（又は符号化）表現は、モジュール４１０８によって使用されて、表示インターフェースユニット４１１０に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張（映像展開）と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダ及びそれに対応する、復号化の結果を逆にする復号化ツール又は動作が、デコーダによって行われることが理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び／又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、１つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、決定または判定に基づいて無効化された映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知って、ビットストリームを処理する。
本明細書では、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換および符号化された誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。
開示された方法及び技法は、本明細書に開示された技法を使用できるようにすることで、スマートフォン、ノートパソコン、卓上パソコン、及び類似した機器等の映像処理デバイスに組み込まれる映像エンコーダおよび／またはデコーダの実施形態に有益となることが理解される。
様々な技術および実施形態を、以下の項に基づくフォーマットを使用して説明することができる。
第１組の項目では、前章で開示された技術の特定の特徴及び態様を説明する。
１． 映像処理方法であって、 現在の映像ブロックの第１の領域において勾配計算を行うことであって、前記第１の領域（Ｍ×Ｎ）は、アフィンモードで動き補償の為に使用される前記現在の映像ブロックのサブブロックのサイズとは異なり、ＭおよびＮは正の整数（＞０）である、勾配計算を行うことと、前記勾配計算に基づいて、前記現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うこととを含む、方法。
２． 前記第１の領域のサイズが前記サブブロックのサイズよりも大きい、項目１に記載の方法。
３． ＭおよびＮが予め定義された正の整数である、項目１または２に記載の方法。
４． 前記第１の領域のサイズは、前記サブブロックのサイズに基づく、項目１または２に記載の方法。
５． Ｍ／Ｎが適応的に変更される、項目１に記載の方法。
６． ＭおよびＮが前記現在の映像ブロックの寸法に基づく、項目１に記載の方法。
７． Ｍが最小値Ｍｍｉｎを有し、Ｎが最小値Ｎｍｉｎを有する、項目１～６のいずれかに記載の方法。
８． Ｍｍｉｎ＝Ｎｍｉｎ＝８である、項目７に記載の方法。
９． 第１の領域にパディングを施して、サイズ（Ｍ＋ｄＭ）×（Ｎ＋ｄＮ）の第１のパディング領域を生成する、項目１～６のいずれかに記載の方法。
１０． 補間フィルタリングによる動き補償に基づいて、前記第１の領域または前記第１のパディング領域におけるサンプルを導出する、項目９に記載の方法。
１１． 前記勾配計算を行う時に、前記第１の領域における少なくとも１つのサンプルを省略する、項目１に記載の方法。
１２． 前記勾配計算は、双方向オプティカルフロー（ＢＤＯＦ）において第１の精度で、オプティカルフロー付き予測微調整（ＰＲＯＦ）において第２の精度で行われ、第１の精度と第２の精度が等しい、項目１に記載の方法。
１３． 現在の映像ブロックに対するオプティカルフロー付き予測微調整（ＰＲＯＦ）を用いた予測微調整の選択的な適用に従って、現在の映像ブロックへの符号化ツールの選択的な適用に関して、決定することであって、前記符号化ツールは、前記ＰＲＯＦとは異なる、決定を行うことと、前記決定に基づいて、前記現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うこととを含む、映像処理方法。
１４． 前記ＰＲＯＦが適用されず、前記符号化ツールが適用される、項目１３に記載の方法。
１５． 前記符号化ツールは、一般化された双方向予測を含む、項目１３に記載の方法。
１６． 前記ＰＲＯＦが適用されず、前記一般化された双方向予測に関連付けられたインデックスがゼロでない、項目１５に記載の方法。
１７． 前記符号化ツールは、局所照明補償である、項目１３に記載の方法。
１８． 前記符号化ツールは、多重変換セット（ＭＴＳ）である、項目１３に記載の方法。
１９． 前記ＰＲＯＦが適用され、前記ＭＴＳからのデフォルト変換のみが前記現在の映像ブロックに適用される、項目１８に記載の方法。
２０． 前記符号化ツールは、重み付け予測である、項目１３に記載の方法。
２１． 現在の映像ブロックと現在の映像ブロックを構成する映像のビットストリーム表現との間での変換中、オプティカルフロー付き予測微調整（ＰＲＯＦ）演算の選択的適用に関して決定することを含み、前記決定は、現在の映像ブロックの色情報に基づく、映像処理方法。
２２． 前記ＰＲＯＦ演算は、前記現在の映像ブロックの１つ以上の彩度成分に適用されず、前記色情報は、４：０：０のカラーフォーマットを含む、項目２１に記載の方法。
２３． 前記ＰＲＯＦ演算は、前記現在の映像ブロックの１つ以上の彩度成分に適用され、前記色情報は、４：４：４のカラーフォーマットを含む、項目２１に記載の方法。
２４． 前記ＰＲＯＦ演算は、前記現在の映像ブロックの１つ以上の彩度成分に適用され、前記色情報は、４：０：０のカラーフォーマットを含む、項目２１に記載の方法。
２５． 前記ＰＲＯＦ演算が適用され、前記色情報は複数の色成分を含む、項目２１に記載の方法。
２６． 前記ＰＲＯＦ演算の１つ以上の勾配は、複数の色成分の各々について独立して計算される、項目２５に記載の方法。
２７． 前記複数の色成分の第１の色成分に対して前記ＰＲＯＦ演算の１つ以上の勾配を計算し、前記複数の色成分の第２の色成分に再利用する、項目２５に記載の方法。
２８． 前記勾配の精度は、前記複数の色成分のうちの少なくとも１つに基づく、項目２６または２７に記載の方法。
２９． 現在の映像ブロックの高さ（Ｈ）または幅（Ｗ）に基づいて、オプティカルフロー付き予測微調整（ＰＲＯＦ）演算の選択的な適用に関して決定することと、前記決定に基づいて、前記現在の映像ブロックと前記現在の映像ブロックを含む映像のビットストリーム表現との間で変換を行うこととを含む、映像処理方法。
３０． 前記ＰＲＯＦ演算は、前記現在の映像ブロックの輝度成分に適用される、項目２９に記載の方法。
３１． 前記現在の映像ブロックは、アフィンモードを使用して符号化される、項目２９に記載の方法。
３２． 前記ＰＲＯＦ演算が適用されず、Ｗ≦Ｔ１および／またはＨ≦Ｔ２であり、Ｔ１＝Ｔ２＝１６である、項目３１に記載の方法。
３３． ＰＲＯＦ演算が適用されず、Ｗ≧Ｔ１および／またはＨ≧Ｔ２であり、Ｔ１＝Ｔ２＝６４である、項目３１に記載の方法。
３４． 前記ＰＲＯＦ演算が適用されず、Ｗ×Ｈ≦Ｔまたは最大（Ｗ，Ｈ）≦Ｔであり、Ｔ＝１６である、項目３１に記載の方法。
３５． 前記ＰＲＯＦ演算が適用されず、Ｗ×Ｈ≧Ｔまたは最小（Ｗ，Ｈ）≧Ｔであり、Ｔ＝６４である、項目３１に記載の方法。
３６． 前記現在の映像ブロックのサイズは、Ｗ×Ｈであり、Ｍ＝ｍｉｎ（Ｋ，Ｗ）であり、Ｋが整数である、項目１または２に記載の方法。
３７． 前記現在の映像ブロックのサイズは、Ｗ×Ｈであり、Ｎ＝ｍｉｎ（Ｋ，Ｈ）であり、Ｋが整数である、項目１または２に記載の方法。
３８． Ｋ＝１６である、項目３６または３７に記載の方法。
３９． 前記勾配計算を行う前に、前記現在の映像ブロックの前記第１の領域においてパディング処理を行うことをさらに含む、項目１または２に記載の方法。
４０． 前記パディング処理を行うことは、１つ以上の動きベクトルを導出することを含む、項目３９に記載の方法。
４１． 前記１つ以上の動きベクトルは、アフィンモデルから前記第１の領域の特定の位置に向かって導出される動きベクトルを含む、項目４０に記載の方法。
４２． 前記１つ以上の動きベクトルは、前記第１の領域の少なくとも１つのサブブロックの少なくとも１つの動きベクトルから導出された動きベクトルを含む、項目４０に記載の方法。
４３． 前記パディング処理を行うことは、現在の映像ブロックの高さまたは幅に基づく、項目３９に記載の方法。
４４． パディング処理を行うことは、映像パラメータセット（ＶＰＳ）、デコーダパラメータセット（ＤＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、適応パラメータセット（ＡＰＳ）、スライスヘッダ、タイル、タイルグループヘッダ、符号化ツリーユニット（ＣＴＵ）または符号化ユニット（ＣＵ）の信号通知に基づいて行われる、項目３９に記載の方法。
４５． ＭおよびＮは、映像パラメータセット（ＶＰＳ）、デコーダパラメータセット（ＤＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、適応パラメータセット（ＡＰＳ）、スライスヘッダ、タイル、タイルグループヘッダ、符号化ツリーユニット（ＣＴＵ）または符号化ユニット（ＣＵ）において信号通知される、項目５または６に記載の方法。
４６． ＭおよびＮは、映像符号化規格のプロファイル、レベルまたは階層で指定される、項目５または６に記載の方法。
４７． 処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置であって、命令が処理装置によって実装されることにより、処理装置に、項目１～４６のいずれか１項目に記載の方法を実施させる映像システムの装置。
４８． 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、項目１～４６のいずれか１項目に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
第２組の項目では、例えば、例示の実装形態１～４を含む、前章に開示された技術の特定の特徴及び態様を説明する。
１． 現在の映像ブロックのサブブロックレベルで行われるアフィンモード動き補償を使用して、映像の前記現在の映像ブロックに対する予測ブロックを生成することと、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順を使用して、前記予測ブロックを微調整するために、前記現在の映像ブロックの領域に対して勾配計算を行うことであって、前記領域のサイズ（Ｍ×Ｎ）は、前記現在の映像ブロックのサブブロックのサイズとは異なり、Ｍ、Ｎは正の整数である、勾配計算を行うことと、前記勾配計算に基づいて、前記現在の映像ブロックと前記映像の符号化表現との間で変換を行うこととを含む、映像処理方法。
２． 前記領域のサイズが前記サブブロックのサイズよりも大きい、項目１に記載の方法。
３． ＭおよびＮが予め定義された正の整数である、項目１または２に記載の方法。
４． 前記領域のサイズは、前記サブブロックのサイズに基づく、項目１または２に記載の方法。
５． 前記ＰＲＯＦ手順におけるパディング演算を適用して、（Ｍ×Ｎ）個の領域レベルにおける勾配を導出する、項目１に記載の方法。
６． Ｍがｍｉｎ（Ｋ０、ブロック幅）として定義され、Ｎがｍｉｎ（Ｋ１、ブロック高さ）として定義され、Ｋ０およびＫ１が整数である、項目１～５のいずれかに記載の方法。
７． Ｋ０およびＫ１が１６と等しい、項目６に記載の方法。
８． 前記勾配計算を行うことは、前記現在の映像ブロックの第１のサブブロックにおける第１のサンプルに対する第１の勾配と、前記現在の映像ブロックの第２のサブブロックにおける第２のサンプルに対する第２の勾配と、を取得することを含む、項目１に記載の方法。
９． 前記第２のサブブロックが前記第１のサブブロックに隣接している、項目８に記載の方法。
１０． 前記第２のサンプルを使用して前記第１の勾配を導出する、項目８に記載の方法。
１１． 前記領域のサイズ（Ｍ×Ｎ）は、前記現在の映像ブロックのサブブロックのサイズよりも大きい、項目８～１０のいずれかに記載の方法。
１２． 前記領域のパディング演算のために１つ以上の動きベクトルを導出する、項目１に記載の方法。
１３． 前記領域のパディング演算のために、現在の映像ブロックの参照ブロックにおける整数サンプルに関連付けられた特定の動きベクトルを導出する、項目１２に記載の方法。
１４． 前記特定の動きベクトルは、前記領域におけるサブブロックの１つの動きベクトルに対応する、項目１３に記載の方法。
１５． 前記特定の動きベクトルは、前記領域の特定の位置にアフィンモデルを適用することで導出される、項目１３に記載の方法。
１６． 前記特定の動きベクトルは、前記領域におけるすべてのサブブロックの動きベクトルから導出される、項目１３に記載の方法。
１７． 前記特定の動きベクトルは、前記領域におけるすべてのサブブロックの動きベクトルの平均として導出される、項目１３に記載の方法。
１８． 前記特定の動きベクトルは、前記領域におけるサブブロックのうち、前記領域の中心付近に位置するサブブロックの少なくともいくつかの動きベクトルの平均として導出される、項目１３に記載の方法。
１９． 前記特定の動きベクトルは、前記領域における制御点動きベクトルまたはサブブロックの動きベクトルを含む複数の動きベクトルの関数として導出される、項目１３に記載の方法。
２０． 前記領域のパディング演算のために、現在の映像ブロックの参照ブロックにおける整数サンプルに関連付けられた複数の動きベクトルを導出する、項目１２に記載の方法。
２１． 前記領域の第１のサブブロックに隣接する第１のサンプルをパディングするために、前記領域における前記第１のサブブロックの第１の動きベクトルを使用して、前記整数サンプルの位置を特定する、項目２０に記載の方法。
２２． 領域のサイズ（Ｍ×Ｎ）は、現在の映像ブロックのサブブロックのサイズよりも大きい、項目１２に記載の方法。
２３． ＭおよびＮの最小値が、それぞれＭｍｉｎおよびＮｍｉｎとして予め決定される、項目１～２２のいずれかに記載の方法。
２４． Ｍｍｉｎ＝Ｎｍｉｎ＝８である、項目２３に記載の方法。
２５． 前記領域に対してパディング演算を行うことと、（Ｍ＋ｄＭ）×（Ｎ＋ｄＮ）のサイズを有するパディング領域にパドリングサンプルを生成する、項目１～２４のいずれかに記載の方法。
２６． 前記領域内のサンプルは、補間フィルタリングによる動き補償から導出される、項目２５に記載の方法。
２７． 前記サンプルは、前記領域における複数のサブブロックの動き補償から導出される、項目２６に記載の方法。
２８． 前記パドリングサンプルは、前記領域の４つの外側に沿って導出される、項目２５に記載の方法。
２９． パドリングサンプルは、前記現在の映像ブロックの参照ブロックにおける最も近い整数サンプルの強度をコピーする、項目２８に記載の方法。
３０． パドリングサンプルは、パディングされていない前記領域における最も近いサンプルの強度をコピーする、項目２８に記載の方法。
３１． 前記変換を行うことは、前記現在の映像ブロックから前記符号化表現を生成することを含む、項目１～３０のいずれかに記載の方法。
３２． 前記変換を行うことは、前記符号化表現から前記現在の映像ブロックを生成することを含む、項目１～３０のいずれかに記載の方法。
３３． 第１のサイズを有する映像の現在の映像ブロックに対し、規則に従って第２のサイズを有する映像領域に対して行われた勾配計算を使用して１つ以上の中間予測ブロックを微調整することによって算出された最終予測ブロックを導出することであって、前記微調整することは、オプティカルフロー手順を使用する、導出することと、前記最終予測ブロックを使用して、前記現在の映像ブロックと前記映像の符号化表現との間で変換を行うこととを含む、映像処理方法。
３４． 前記規則は、前記第２のサイズが前記第１のサイズの関数であることを規定する、項目３３に記載の方法。
３５． 前記規則は、第２のサイズの幅（Ｍ）および／または第２のサイズの高さ（Ｎ）が、第１のサイズの幅（Ｗ）および／または第１のサイズの高さ（Ｈ）に依存することを規定する、項目３４に記載の方法。
３６． Ｍ＝ＷおよびＮ＝Ｈである、項目３５に記載の方法。
３７． Ｍ＝Ｎ＝２＊Ｗｍｃであり、Ｗｍｃは、現在の映像ブロックに対する動き補償を使用して１つ以上の中間予測ブロックを得るために使用される、現在の映像ブロックのサブブロックの幅または高さである、項目３５に記載の方法。
３８． ＭおよびＮのうちの少なくとも１つは、映像パラメータセット（ＶＰＳ）、復号化パラメータセット（ＤＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、適応パラメータセット（ＡＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット、または符号化ユニットにおいて信号通知される、項目３５記載の方法。
３９． 前記ＭおよびＮのうちの少なくとも１つは、前記規則のプロファイル、レベルまたは層において規定される、項目３５に記載の方法。
４０． Ｍ＝Ｍｉｎ（Ｗ，Ｔ１）かつＮ＝Ｍｉｎ（Ｈ，Ｔ２）であり、Ｔ１およびＴ２が正の整数である、項目３５に記載の方法。
４１． Ｔ１およびＴ２のうちの少なくとも１つが、映像パラメータセット（ＶＰＳ）、復号化パラメータセット（ＤＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、適応パラメータセット（ＡＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット、または符号化ユニットにおいて信号通知される、項目４０に記載の方法。
４２． Ｔ１およびＴ２のうちの少なくとも１つが、規則のプロファイル、レベルまたは層において規定される、項目４０に記載の方法。
４３． ＭおよびＮの最小値が、それぞれＭｍｉｎおよびＮｍｉｎとして予め決定される、項目３５～４２のいずれかに記載の方法。
４４． Ｍｍｉｎ＝Ｎｍｉｎ＝８である、項目４３に記載の方法。
４５． 前記領域に対してパディング演算を行うことと、（Ｍ＋ｄＭ）×（Ｎ＋ｄＮ）のサイズを有するパディング領域にパドリングサンプルを生成する、項目３３～４４のいずれかに記載の方法。
４６． 前記領域内のサンプルは、補間フィルタリングによる動き補償から導出される、項目４５に記載の方法。
４７． 前記サンプルは、前記領域における複数のサブブロックの動き補償から導出される、項目４６に記載の方法。
４８． 前記パドリングサンプルは、前記領域の４つの外側に沿って導出される、項目４５に記載の方法。
４９． パドリングサンプルは、前記現在の映像ブロックの参照ブロックにおける最も近い整数サンプルの強度をコピーする、項目４８に記載の方法。
５０． パドリングサンプルは、パディングされていない前記領域における最も近いサンプルの強度をコピーする、項目４８に記載の方法。
５１． 前記オプティカルフロー手順は、１つ以上の中間予測ブロックをサブブロックレベルで算出し、前記オプティカルフロー計算を使用して微調整する、オプティカルフローによるオプティカルフロー付き予測微調整（ＰＲＯＦ）手順を含む、項目３３に記載の方法。
５２． 前記オプティカルフロー手順は、空間的勾配および時間的勾配を使用して前記１つ以上の中間予測ブロックを微調整する双方向オプティカルフロー（ＢＤＯＦ）手順を含む、項目３３に記載の方法。
５３． 前記変換を行うことは、前記現在の映像ブロックから前記符号化表現を生成することを含む、項目３３～５２のいずれかに記載の方法。
５４． 前記変換を行うことは、前記符号化表現から前記現在の映像ブロックを生成することを含む、項目３３～５２のいずれかに記載の方法。
５５． 映像の現在の映像ブロックに対し、双方向オプティカルフロー（ＢＤＯＦ）またはオプティカルフロー付き予測微調整（ＰＲＯＦ）を使用して動き情報を導出することと、前記現在の映像ブロックの領域において、前記領域における少なくとも１つのサンプルが前記勾配計算から省略されるように、サンプルに対する勾配計算を行うことと、前記勾配計算に基づいて、前記現在の映像ブロックと前記現在の映像ブロックを含む映像の符号化表現との間で変換を行うこととを含み、前記現在の映像ブロックに対する１つ以上の初期予測は、サブブロックレベルで算出されて前記ＰＲＯＦ中のオプティカルフロー計算を使用して微調整されるか、または１つ以上の初期予測は、ＢＤＯＦ中の空間的勾配および時間的勾配を使用して微調整される、映像処理方法。
５６． 前記ＢＩＯおよびＰＲＯＦにおいて、所与の座標におけるサンプルに関連付けられた勾配を使用する、項目５５に記載の方法。
５７． 前記サンプルは、前記勾配計算を行う前に修正され、修正されたサンプルは、前記勾配計算を行う間に使用される、項目５５に記載の方法。
５８． 前記変換を行うことは、前記現在の映像ブロックから前記符号化表現を生成することを含む、項目５５～５７のいずれかに記載の方法。
５９． 前記変換を行うことは、前記符号化表現から前記現在の映像ブロックを生成することを含む、項目５５～５７のいずれかに記載の方法。
第３組の項目では、例えば、例示の実装形態５および６を含む、前章に開示された技術の特定の特徴及び態様を説明する。
１． 映像の現在の映像ブロックに対して、精度規則に従って、初期予測サンプルの勾配に基づいて、オプティカルフロー計算を使用して、現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、現在の映像ブロックに対する最終予測ブロックを判定することと、前記最終予測ブロックを使用して、前記現在の映像ブロックと符号化表現との間での変換を行うこととを含み、前記オプティカルフロー計算は、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順または双方向オプティカルフロー（ＢＤＯＦ）手順による予測微調整を含み、前記精度規則は、前記ＰＲＯＦ手順および前記ＢＤＯＦ手順の両方に対して前記勾配を表現するために同じ精度を使用するように規定する、映像処理方法。
２． 前記ＰＲＯＦ手順において、１つ以上の初期予測は、アフィン動き補償予測中にサブブロックレベルで算出され、オプティカルフロー計算を使用して微調整される、項目１に記載の方法。
３． 前記ＢＤＯＦ手順において、前記１つ以上の初期予測は、オプティカルフロー計算中に取得された少なくとも１つの勾配値を使用して微調整される、項目１に記載の方法。
４． それぞれｇｒａｄｉｅｎｔＨおよびｇｒａｄｉｅｎｔＶとして表される水平方向勾配および垂直方向勾配を、以下の１つとして計算する、項目１に記載の方法。
ｉ） ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］）＞＞Ｓｈｉｆｔ０，ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］）＞＞Ｓｈｉｆｔ１，
ｉｉ） ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０），ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１），
ｉｉｉ） ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０），ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１），ｏｒ
ｉｖ） ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝Ｓｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］，Ｓｈｉｆｔ０）－Ｓｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］，Ｓｈｉｆｔ０），ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝Ｓｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］，Ｓｈｉｆｔ０）－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］，Ｓｈｉｆｔ１），ａｎｄ
ここで、Ｓｈｉｆｔ（ｘ，ｎ）は、Ｓｈｉｆｔ（ｘ，ｎ）＝（ｘ＋ｏｆｆｓｅｔ０）＞＞ｎとして定義され、Ｓａｔｓｈｉｆｔ（ｘ，ｎ）は、として定義される。
Figure 2022527852000035
５． それぞれｇｒａｄｉｅｎｔＨおよびｇｒａｄｉｅｎｔＶとして表される水平方向勾配および垂直方向勾配を、以下の１つとして計算する、項目１に記載の方法。
ｉ） ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］）＞＞Ｓｈｉｆｔ０，ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］）＞＞Ｓｈｉｆｔ１，
ｉｉ） ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０），ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１），ｏｒ
ｉｉｉ） ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０），ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１），ａｎｄ
ここで、Ｓｈｉｆｔ（ｘ，ｎ）は、Ｓｈｉｆｔ（ｘ，ｎ）＝（ｘ＋ｏｆｆｓｅｔ０）＞＞ｎとして定義され、Ｓａｔｓｈｉｆｔ（ｘ，ｎ）は、以下のように定義される。
Figure 2022527852000036
６． Ｓｈｉｆｔ０および／またはＳｈｉｆｔ１がＭａｘ（２、（１４－ＢｉｔＤｅｐｔｈ））に設定され、ＢｉｔＤｅｐｔｈが再構成されたサンプルまたは入力サンプルのビット深度を表す、項目４または５に記載の方法。
７． ＰＲＯＦおよびＢＤＯＦに使用されるＳｈｉｆｔ０および／またはＳｈｉｆｔ１が同じである、項目１～６のいずれかに記載の方法。
８． 前記変換を行うことは、前記現在の映像ブロックから前記符号化表現を生成することを含む、項目１～７のいずれかに記載の方法。
９． 前記変換を行うことは、前記符号化表現から前記現在の映像ブロックを生成することを含む、項目１～７のいずれかに記載の方法。
１０． 映像の現在の映像ブロックと前記映像の符号化表現との間での変換のために、オプティカルフロー計算を使用して、前記現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、前記現在の映像ブロックに対する最終予測ブロックを判定することと、最終予測ブロックを使用して前記変換を行うこととを含み、前記オプティカルフロー計算は、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順および／または双方向オプティカルフロー（ＢＤＯＦ）手順による予測微調整を含み、前記オプティカルフロー計算は、規則に従って、前記ＰＲＯＦ手順または前記ＢＤＯＦ手順の少なくとも一方に適用してパディングサンプルを導出できるパディング演算をさらに含む、映像処理方法。
１１． 前記ＰＲＯＦ手順において、１つ以上の初期予測は、アフィン動き補償予測中にサブブロックレベルで算出され、オプティカルフロー計算を使用して微調整される、項目１０に記載の方法。
１２． 前記ＢＤＯＦ手順において、前記１つ以上の初期予測は、オプティカルフロー計算中に取得された少なくとも１つの勾配値を使用して微調整される、項目１０に記載の方法。
１３． 前記規則は、前記ＰＲＯＦ手順および前記ＢＤＯＦ手順に対して同じパディング演算を使用することを規定する、項目１０に記載の方法。
１４． 前記規則は、前記現在の映像ブロックの参照ピクチャにおける整数位置にある整数サンプルから前記パディングサンプルを導出することを規定する、項目１０に記載の方法。
１５． 整数サンプルは、整数ＭＶに丸めたＭＶ（Ｍｖｘ，Ｍｖｙ）の差を有するパディングサンプルの周囲に位置する、項目１４に記載の方法。
１６． ＭＶ（Ｍｖｘ，ＭｖＹ）を床整数（ＩｎｔＸ，ＩｎｔＹ）に丸める、項目１４に記載の方法。
１７． ＭＶ（Ｍｖｘ，ＭｖＹ）を最も近い整数ＭＶ（ＩｎｔＸ，ＩｎｔＹ）に丸める、項目１４に記載の方法。
１８． ＩｎｔＸ＝ＳａｔＳｈｉｆｔ（ＭｖＸ，Ｐ）およびＩｎｔＹ＝ＳａｔＳｈｉｆｔ（ＭｖＹ，Ｐ）となるように、ＭＶ（Ｍｖｘ，ＭｖＹ）を整数ＭＶ（ＩｎｔＸ，ＩｎｔＹ）に丸め、Ｐは、ＭＶの精度を示し、
Figure 2022527852000037
１９． 前記現在の映像ブロックのカラーフォーマットおよび／または色成分に依存するＭＶの精度に基づいて、ＭＶを丸める、項目１５～１８のいずれかに記載の方法。
２０． ＶＰＳ（映像パラメータセット）、ＤＰＳ（復号化パラメータセット）、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、ＡＰＳ（適応パラメータセット）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット、または符号化ユニットにおいて、前記パディング演算を行う方法についての情報を信号通知する、項目１０に記載の方法。
２１． 前記パディング演算を行う方法についての情報は、規則のプロファイル、レベル、または層にある、項目１０に記載の方法。
２２． 前記パディング演算を行う方法についての情報は、現在の映像ブロックの寸法に依存する、項目１０に記載の方法。
２３． 前記変換を行うことは、前記現在の映像ブロックから前記符号化表現を生成することを含む、項目１０～２２のいずれかに記載の方法。
２４． 前記変換を行うことは、前記符号化表現から前記現在の映像ブロックを生成することを含む、項目１０～２２のいずれかに記載の方法。
２５． 処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置であって、命令が処理装置によって実装されることにより、処理装置に、項目１０～２２のいずれか１つに記載の方法を実施させる映像システムの装置。
２６． 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、項目１０～２２のいずれか１つに記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
２７． 映像の現在の映像ブロックを前記映像の符号化表現に符号化するために、精度規則に従った動きの勾配に基づいて、オプティカルフロー計算を使用して、前記現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、前記現在の映像ブロックに対する最終予測ブロックを判定することと、前記最終予測ブロックを使用して、前記現在の映像ブロックを符号化表現に符号化することと、を含み、前記オプティカルフロー計算は、１つ以上の初期予測は、サブブロックレベルで算出され、前記オプティカルフロー計算を使用して微調整される、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順、および／または前記１つ以上の初期予測が、空間的および時間的勾配を使用して微調整される双方向オプティカルフロー（ＢＤＯＦ）手順による予測微調整を含み、前記精度規則は、前記ＰＲＯＦ手順および前記ＢＤＯＦ手順の両方に対して前記勾配を表すために同じ精度を使用するように規定する、映像符号化方法。
２８． 映像の現在の映像ブロックを前記映像の符号化表現から復号化するために、精度規則に従って、動きの勾配に基づいて、オプティカルフロー計算を使用して、前記現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、前記現在の映像ブロックに対する最終予測ブロックを判定することと、前記最終予測ブロックを使用して、符号化表現から現在の映像ブロックを生成することと、を含み、前記オプティカルフロー計算は、１つ以上の初期予測は、サブブロックレベルで算出され、前記オプティカルフロー計算を使用して微調整される、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順、および／または前記１つ以上の初期予測が、空間的および時間的勾配を使用して微調整される双方向オプティカルフロー（ＢＤＯＦ）手順による予測微調整を含み、前記精度規則は、前記ＰＲＯＦ手順および前記ＢＤＯＦ手順の両方に対して前記勾配を表現するために同じ精度を使用するように規定する、映像復号化方法。
２９． 映像の現在の映像ブロックを前記映像の符号化表現に符号化するために、オプティカルフロー計算を使用して、前記現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、前記現在の映像ブロックに対する最終予測ブロックを判定することと、前記最終予測ブロックを使用して、前記現在の映像ブロックを符号化表現に符号化することと、を含み、前記オプティカルフロー計算は、１つ以上の初期予測は、サブブロックレベルで算出され、前記オプティカルフロー計算を使用して微調整される、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順、および／または前記１つ以上の初期予測が、空間的および時間的勾配を使用して微調整される双方向オプティカルフロー（ＢＤＯＦ）手順による予測微調整を含み、前記オプティカルフロー計算は、規則に従って、前記ＰＲＯＦ手順または前記ＢＤＯＦ手順の少なくとも一方に適用してパディングサンプルを導出できるパディング演算をさらに含む、映像符号化方法。
３０． 映像の現在の映像ブロックを前記映像の符号化表現から復号化するために、オプティカルフロー計算を使用して、前記現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、前記現在の映像ブロックに対する最終予測ブロックを判定することと、前記最終予測ブロックを使用して、復号化された現在の映像ブロックを符号化表現から生成することと、を含み、前記オプティカルフロー計算は、１つ以上の初期予測は、サブブロックレベルで算出され、前記オプティカルフロー計算を使用して微調整される、オプティカルフロー付き予測微調整（ＰＲＯＦ）手順、および／または前記１つ以上の初期予測が、空間的および時間的勾配を使用して微調整される双方向オプティカルフロー（ＢＤＯＦ）手順による予測微調整を含み、前記オプティカルフロー計算は、パディングサンプルを導出すべく、規則に従って、前記ＰＲＯＦ手順または前記ＢＤＯＦ手順の少なくとも一方に適用可能なパディング演算をさらに含む、映像復号化方法。
以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。
本特許明細書に記載された主題および機能操作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、様々なシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。本明細書に記載された主題の実装形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行されるため、又はデータ処理装置の操作を制御するために、有形で非可搬性のコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、又はこれらの１つ以上の組み合わせであってもよい。「データ処理ユニット」又は「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、又は複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス等の半導体メモリデバイスを含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本明細書は、図面とともに、例示のみを目的とするものであり、例示的とは例を意味することが意図される。本明細書において、「または」の使用は、文脈からそうでないことが明確に示されていない限り、「および／または」を含むことが意図される。
本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲又は特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の文脈で説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
（関連出願の相互参照）
本願は、２０１９年４月１９日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０８３４３４号および２０１９年６月２５日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０９２７６２号の優先権および利益を主張する、２０２０年４月２０日出願の国際特許出願ＰＣＴ／ＣＮ２０２０／０８５６６２号の国内段階である。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

Claims (26)

  1. 映像の現在の映像ブロックに対して、精度規則に従って、初期予測サンプルの勾配に基づいて、オプティカルフロー計算を使用して、前記現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、前記現在の映像ブロックに対する最終予測ブロックを判定することと、
    前記最終予測ブロックを使用して、前記現在の映像ブロックと符号化表現との間で変換を行うこととを含み、
    前記オプティカルフロー計算は、ＰＲＯＦ(Ｐｒｅｄｉｃｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ）手順またはＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）手順を含み、
    前記精度規則は、前記ＰＲＯＦ手順および前記ＢＤＯＦ手順の両方に対して前記勾配を表現するために同じ精度を使用するように規定する、
    映像処理方法。
  2. 前記ＰＲＯＦ手順において、前記１つ以上の初期予測は、アフィン動き補償予測中にサブブロックレベルで算出され、前記オプティカルフロー計算を使用して微調整される、
    請求項１に記載の方法。
  3. 前記ＢＤＯＦ手順において、前記１つ以上の初期予測は、前記オプティカルフロー計算中に取得された少なくとも１つの勾配値を使用して微調整される、
    請求項１に記載の方法。
  4. それぞれｇｒａｄｉｅｎｔＨおよびｇｒａｄｉｅｎｔＶで表される水平方向勾配および垂直方向勾配を、以下の１つで計算し：
    ｉ）ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］）＞＞Ｓｈｉｆｔ０，
    ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］）＞＞Ｓｈｉｆｔ１，
    ｉｉ）ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０），
    ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１），
    ｉｉｉ）ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０），ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１），ｏｒ
    ｉｖ）ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝Ｓｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］，Ｓｈｉｆｔ０）－Ｓｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］，Ｓｈｉｆｔ０），ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝Ｓｈｉｆｔ（ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］，Ｓｈｉｆｔ０）－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］，Ｓｈｉｆｔ１），ａｎｄ
    Ｓｈｉｆｔ（ｘ，ｎ）は、Ｓｈｉｆｔ（ｘ，ｎ）＝（ｘ＋ｏｆｆｓｅｔ０）＞＞ｎで定義され、Ｓａｔｓｈｉｆｔ（ｘ，ｎ）は、
    Figure 2022527852000038
     で定義される、
    請求項１に記載の方法。
  5. それぞれｇｒａｄｉｅｎｔＨおよびｇｒａｄｉｅｎｔＶで表される水平方向勾配および垂直方向勾配を、以下の１つで計算し：
    ｉ）ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］）＞＞Ｓｈｉｆｔ０，ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］）＞＞Ｓｈｉｆｔ１，
    ｉｉ）ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０），ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝Ｓｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１），ｏｒ
    ｉｉｉ）ｇｒａｄｉｅｎｔＨ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅｓ［ｘ＋１］［ｙ］－ｐｒｅｄＳａｍｐｌｅ［ｘ－１］［ｙ］），Ｓｈｉｆｔ０），ｇｒａｄｉｅｎｔＶ［ｘ］［ｙ］＝ＳａｔＳｈｉｆｔ（（ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＊２－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ＋１］－ｐｒｅｄＳａｍｐｌｅ［ｘ］［ｙ－１］），Ｓｈｉｆｔ１），ａｎｄ
    Ｓｈｉｆｔ（ｘ，ｎ）は、Ｓｈｉｆｔ（ｘ，ｎ）＝（ｘ＋ｏｆｆｓｅｔ０）＞＞ｎで定義され、Ｓａｔｓｈｉｆｔ（ｘ，ｎ）は、
    Figure 2022527852000039
     で定義される、
    請求項１に記載の方法。
  6. Ｓｈｉｆｔ０および／またはＳｈｉｆｔ１がＭａｘ（２、（１４－ＢｉｔＤｅｐｔｈ））に設定され、ＢｉｔＤｅｐｔｈが再構成されたサンプルまたは入力サンプルのビット深度を表す、
    請求項４または５に記載の方法。
  7. ＰＲＯＦおよびＢＤＯＦに使用されるＳｈｉｆｔ０および／またはＳｈｉｆｔ１が同じである、
    請求項１～６のいずれか１項に記載の方法。
  8. 前記変換を行うことは、前記現在の映像ブロックから前記符号化表現を生成することを含む、
    請求項１～７のいずれか１項に記載の方法。
  9. 前記変換を行うことは、前記符号化表現から前記現在の映像ブロックを生成することを含む、
    請求項１～７のいずれか１項に記載の方法。
  10. 映像の現在の映像ブロックと前記映像の符号化表現との間での変換のために、オプティカルフロー計算を使用して、前記現在の映像ブロックに対する１つ以上の初期予測を微調整することによって、前記現在の映像ブロックに対する最終予測ブロックを判定することと、
    前記最終予測ブロックを使用して前記変換を行うことと、を含み、
    前記オプティカルフロー計算は、ＰＲＯＦ(Ｐｒｅｄｉｃｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ）手順またはＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）手順を含み、
    前記オプティカルフロー計算は、パディングサンプルを導出すべく、規則に従って、前記ＰＲＯＦ手順または前記ＢＤＯＦ手順の少なくとも一方に適用可能なパディング演算をさらに含む、
    映像処理方法。
  11. 前記ＰＲＯＦ手順において、前記１つ以上の初期予測は、アフィン動き補償予測中にサブブロックレベルで算出され、前記オプティカルフロー計算を使用して微調整される、
    請求項１０に記載の方法。
  12. 前記ＢＤＯＦ手順において、前記１つ以上の初期予測は、前記オプティカルフロー計算中に取得された少なくとも１つの勾配値を使用して微調整される、
    請求項１０に記載の方法。
  13. 前記規則は、前記ＰＲＯＦ手順および前記ＢＤＯＦ手順に対して同じパディング演算を使用することを規定する、
    請求項１０に記載の方法。
  14. 前記規則は、前記現在の映像ブロックの参照ピクチャにおいて整数位置にある整数サンプルから前記パディングサンプルを導出することを規定する、
    請求項１０に記載の方法。
  15. 整数サンプルは、整数ＭＶに丸めたＭＶ（Ｍｖｘ，Ｍｖｙ）の差を有するパディングサンプルの周囲に位置する、
    請求項１４に記載の方法。
  16. ＭＶ（Ｍｖｘ，ＭｖＹ）を床整数（ＩｎｔＸ，ＩｎｔＹ）に丸める、
    請求項１４に記載の方法。
  17. ＭＶ（Ｍｖｘ，ＭｖＹ）を最も近い整数ＭＶ（ＩｎｔＸ，ＩｎｔＹ）に丸める、
    請求項１４に記載の方法。
  18. ＩｎｔＸ＝ＳａｔＳｈｉｆｔ（ＭｖＸ，Ｐ）およびＩｎｔＹ＝ＳａｔＳｈｉｆｔ（ＭｖＹ，Ｐ）となるように、ＭＶ（Ｍｖｘ，ＭｖＹ）を整数ＭＶ（ＩｎｔＸ，ＩｎｔＹ）に丸め、Ｐは、ＭＶの精度と、
    Figure 2022527852000040
     を示す、
    請求項１４に記載の方法。
  19. 前記現在の映像ブロックのカラーフォーマットおよび／または色成分に依存するＭＶの精度に基づいて、ＭＶを丸める、
    請求項１５～１８のいずれか１項に記載の方法。
  20. 前記パディング演算を行う方法の情報が、映像パラメータセット（ＶＰＳ）、復号化パラメータセット（ＤＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、適応パラメータセット（ＡＰＳ）、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット、または符号化ユニットにおいて、信号化される、
    請求項１０に記載の方法。
  21. 前記パディング演算を行う方法についての情報は、前記規則のプロファイル、レベル、または層にある、
    請求項１０に記載の方法。
  22. 前記パディング演算を行う方法についての情報は、前記現在の映像ブロックの寸法に依存する、
    請求項１０に記載の方法。
  23. 前記変換を行うことは、前記現在の映像ブロックから前記符号化表現を生成することを含む、
    請求項１０～２２のいずれか１項に記載の方法。
  24. 前記変換を行うことは、前記符号化表現から前記現在の映像ブロックを生成することを含む、
    請求項１０～２２のいずれか１項に記載の方法。
  25. 処理装置と命令を含む非一時的メモリとを備える映像システムの装置であって、
    前記処理装置による実行時の前記命令は、前記処理装置に請求項１０～２４のいずれか１項に記載の方法を実行させる、
    装置。
  26. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、
    請求項１０～２４のいずれか１項に記載の方法を実行するためのプログラムコードを含む、
    コンピュータプログラム製品。
JP2021560232A 2019-04-19 2020-04-20 異なる動きベクトル微調整における勾配計算 Active JP7319386B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023117759A JP2023145563A (ja) 2019-04-19 2023-07-19 異なる動きベクトル微調整における勾配計算

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN2019083434 2019-04-19
CNPCT/CN2019/083434 2019-04-19
CN2019092762 2019-06-25
CNPCT/CN2019/092762 2019-06-25
PCT/CN2020/085662 WO2020211865A1 (en) 2019-04-19 2020-04-20 Gradient calculation in different motion vector refinements

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023117759A Division JP2023145563A (ja) 2019-04-19 2023-07-19 異なる動きベクトル微調整における勾配計算

Publications (3)

Publication Number Publication Date
JP2022527852A true JP2022527852A (ja) 2022-06-06
JPWO2020211865A5 JPWO2020211865A5 (ja) 2022-06-20
JP7319386B2 JP7319386B2 (ja) 2023-08-01

Family

ID=72837050

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021560232A Active JP7319386B2 (ja) 2019-04-19 2020-04-20 異なる動きベクトル微調整における勾配計算
JP2023117759A Pending JP2023145563A (ja) 2019-04-19 2023-07-19 異なる動きベクトル微調整における勾配計算

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023117759A Pending JP2023145563A (ja) 2019-04-19 2023-07-19 異なる動きベクトル微調整における勾配計算

Country Status (5)

Country Link
US (2) US11356697B2 (ja)
EP (2) EP4304178A3 (ja)
JP (2) JP7319386B2 (ja)
CN (2) CN113728626B (ja)
WO (2) WO2020211865A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7239732B2 (ja) * 2019-04-02 2023-03-14 北京字節跳動網絡技術有限公司 双方向オプティカルフローに基づく映像符号化及び復号化
EP4304178A3 (en) 2019-04-19 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Gradient calculation in different motion vector refinements
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
CN113711609B (zh) 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
KR102662616B1 (ko) 2019-05-21 2024-04-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 어파인 모드를 위한 적응적 모션 벡터 차이 해상도
WO2020257484A1 (en) * 2019-06-21 2020-12-24 Vid Scale, Inc. Precision refinement for motion compensation with optical flow
CN114365490A (zh) 2019-09-09 2022-04-15 北京字节跳动网络技术有限公司 高精度图像和视频编解码的系数缩放
EP4032300A4 (en) * 2019-09-20 2022-11-09 Telefonaktiebolaget Lm Ericsson (Publ) BIDIRECTIONAL OPTICAL FLOW SIMPLIFIED VIDEO CODING AND/OR DECODING METHODS ON SHIFT OPERATIONS AND APPARATUS THEREOF
JP7323712B2 (ja) 2019-09-21 2023-08-08 北京字節跳動網絡技術有限公司 画像およびビデオコーディングのための高精度変換および量子化
CN114556918A (zh) 2019-10-12 2022-05-27 北京字节跳动网络技术有限公司 细化视频编解码工具的使用和信令
WO2021073630A1 (en) 2019-10-18 2021-04-22 Beijing Bytedance Network Technology Co., Ltd. Syntax constraints in parameter set signaling of subpictures
US20230021722A1 (en) * 2021-07-20 2023-01-26 Mediatek Inc. Apparatus and method for performing motion vector refinement to get more precise motion vectors
US20230291908A1 (en) * 2022-02-04 2023-09-14 Tencent America LLC Affine estimation in pre-analysis of encoder
EP4258666A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data
US20240022758A1 (en) * 2022-07-12 2024-01-18 Tencent America LLC Full-pixel based and group-based motion compensated picture boundary padding
WO2024012052A1 (en) * 2022-07-15 2024-01-18 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102204254B (zh) 2008-09-04 2015-03-18 汤姆森特许公司 使用隐式运动预测进行预测精细化的方法及装置
JP2011142585A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
JP5768662B2 (ja) 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10390041B2 (en) 2012-03-30 2019-08-20 Sun Patent Trust Predictive image coding and decoding using two reference pictures
TWI651963B (zh) 2012-10-12 2019-02-21 韓國電子通信研究院 視訊編碼及解碼方法及使用該方法之裝置
US10412419B2 (en) 2013-07-12 2019-09-10 Qualcomm Incorporated Adaptive filtering in video coding
EP3047639B1 (en) 2013-09-20 2018-07-18 VID SCALE, Inc. Video encoder and methods providing 3d look-up table coding for color gamut scalability
KR102298599B1 (ko) 2014-04-29 2021-09-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 샘플 적응 오프셋 필터링에 대한 인코더측 결정
AU2014202921B2 (en) 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
US10200717B2 (en) 2014-06-19 2019-02-05 Sharp Kabushiki Kaisha Image decoding device, image coding device, and predicted image generation device
CN107005713A (zh) 2014-11-04 2017-08-01 三星电子株式会社 施加边缘类型偏移的视频编码方法和设备以及视频解码方法和设备
WO2016078511A1 (en) 2014-11-18 2016-05-26 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
US10158836B2 (en) 2015-01-30 2018-12-18 Qualcomm Incorporated Clipping for cross-component prediction and adaptive color transform for video coding
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
EP3310055A4 (en) 2015-06-09 2018-06-20 Huawei Technologies Co. Ltd. Image encoding/decoding method and apparatus
CN113473120A (zh) 2015-06-11 2021-10-01 英迪股份有限公司 使用自适应去块滤波编码和解码图像的方法及其装置
CN107710762A (zh) 2015-06-19 2018-02-16 诺基亚技术有限公司 用于视频编码和解码的装置、方法、以及计算机程序
CN107925772B (zh) 2015-09-25 2020-04-14 华为技术有限公司 利用可选插值滤波器进行视频运动补偿的装置和方法
US20180332292A1 (en) 2015-11-18 2018-11-15 Mediatek Inc. Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
US10432947B2 (en) 2015-11-24 2019-10-01 Samsung Electronics Co., Ltd. Method and apparatus for decoding video, and method and apparatus for coding video
US20190028731A1 (en) 2016-01-07 2019-01-24 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
WO2017134957A1 (ja) * 2016-02-03 2017-08-10 シャープ株式会社 動画像復号装置、動画像符号化装置、および予測画像生成装置
MY201069A (en) 2016-02-05 2024-02-01 Hfi Innovation Inc Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
US11563938B2 (en) 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
US11095898B2 (en) 2016-03-28 2021-08-17 Lg Electronics Inc. Inter-prediction mode based image processing method, and apparatus therefor
US10750172B2 (en) 2016-04-22 2020-08-18 Vid Scale, Inc. Prediction systems and methods for video coding based on filtering nearest neighboring pixels
KR20190015216A (ko) 2016-05-05 2019-02-13 브이아이디 스케일, 인크. 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현
BR112018073434A2 (pt) 2016-05-13 2019-03-26 Interdigital Vc Holdings, Inc. método e aparelho para codificação de vídeo com corte adaptativo
JP2019519148A (ja) 2016-05-13 2019-07-04 ヴィド スケール インコーポレイテッド ビデオ符号化のための一般化された多重仮説予測（Ｇｅｎｅｒａｌｉｚｅｄ Ｍｕｌｔｉ−Ｈｙｐｏｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ）のためのシステムおよび方法
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US11095922B2 (en) 2016-08-02 2021-08-17 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
WO2018048265A1 (ko) * 2016-09-11 2018-03-15 엘지전자 주식회사 향상된 옵티컬 플로우 움직임 백터를 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2018061563A1 (ja) 2016-09-27 2018-04-05 シャープ株式会社 アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
US10341659B2 (en) 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
WO2018105579A1 (ja) 2016-12-09 2018-06-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
KR102581456B1 (ko) 2017-01-04 2023-09-21 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
EP3586513A4 (en) * 2017-03-16 2020-12-09 MediaTek Inc METHOD AND APPARATUS FOR REFINING MOTION BASED ON A BIDIRECTIONAL OPTICAL FLOW FOR VIDEO CODING
US10491917B2 (en) 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation
CN116708831A (zh) * 2017-04-24 2023-09-05 Sk电信有限公司 编解码视频数据的方法、发送编码视频数据比特流的方法
US10805630B2 (en) * 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
JP6765520B2 (ja) 2017-05-19 2020-10-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
CN107277316B (zh) 2017-06-12 2020-05-12 京东方科技集团股份有限公司 显示装置及其制造方法
US10904565B2 (en) 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
US10477237B2 (en) 2017-06-28 2019-11-12 Futurewei Technologies, Inc. Decoder side motion vector refinement in video coding
EP3649780A1 (en) 2017-07-03 2020-05-13 Vid Scale, Inc. Motion-compensation prediction based on bi-directional optical flow
US10757442B2 (en) 2017-07-05 2020-08-25 Qualcomm Incorporated Partial reconstruction based template matching for motion vector derivation
WO2019040075A1 (en) 2017-08-24 2019-02-28 Ford Global Technologies, Llc ENHANCED FUEL SUPPLYING OF VEHICLE
US10609384B2 (en) 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
MX2020003656A (es) 2017-10-02 2020-10-12 Arris Entpr Llc Sistema y método para reducir artefactos de bloque y proporcionar eficiencia de codificación mejorada.
US10757417B2 (en) 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ｉｂｃとａｔｍｖｐとの間でのインタラクション
US11303923B2 (en) 2018-06-15 2022-04-12 Intel Corporation Affine motion compensation for current picture referencing
WO2019244051A1 (en) 2018-06-19 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Selected mvd precision without mvp truncation
TWI752341B (zh) 2018-08-04 2022-01-11 大陸商北京字節跳動網絡技術有限公司 不同解碼器側運動矢量推導模式之間的交互
EP4325859A3 (en) 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
TWI815974B (zh) 2018-09-23 2023-09-21 大陸商北京字節跳動網絡技術有限公司 具有自適應運動矢量分辨率的運動矢量的修改
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
WO2020084512A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Affine motion information derivation from neighboring block
WO2020093999A1 (en) 2018-11-05 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
WO2020103872A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement for combined inter intra prediction mode
KR20240011246A (ko) 2018-11-26 2024-01-25 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 타일 독립성 제약을 이용하는 인터 예측 개념
GB2580173B (en) 2018-12-21 2022-07-27 Canon Kk A filter
CN113491114A (zh) 2019-02-20 2021-10-08 北京达佳互联信息技术有限公司 用于帧间预测的运动向量舍入、截取和存储的方法和装置
US20200296405A1 (en) 2019-03-14 2020-09-17 Qualcomm Incorporated Affine motion compensation refinement using optical flow
KR20220112864A (ko) 2019-03-15 2022-08-11 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스
AU2020240048B2 (en) 2019-03-18 2022-12-22 Tencent America LLC Method and apparatus for video coding
US11343525B2 (en) 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors
US11962796B2 (en) 2019-04-01 2024-04-16 Qualcomm Incorporated Gradient-based prediction refinement for video coding
JP7239732B2 (ja) 2019-04-02 2023-03-14 北京字節跳動網絡技術有限公司 双方向オプティカルフローに基づく映像符号化及び復号化
EP4304178A3 (en) 2019-04-19 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Gradient calculation in different motion vector refinements
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
CN113711609B (zh) 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
US20210092390A1 (en) 2019-09-23 2021-03-25 Alibaba Group Holding Limited Methods and apparatuses for prediction refinement with optical flow in reference picture resampling

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUN-CHI CHEN AND YUWEN HE: "BoG Report on CE2-related Contributions", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0776, JPN6022048715, 21 March 2019 (2019-03-21), ISSN: 0004926675 *
JIANCONG (DANIEL) LUO AND YUWEN HE: "CE2-related: Prediction refinement with optical flow for affine mode", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0236-r5, JPN6022048713, 26 March 2019 (2019-03-26), ISSN: 0004926674 *
XIAOYU XIU, ET AL.: "CE9-related: Improvements on bi-directional optical flow (BDOF)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0325_r2, JPN6022048714, 26 March 2019 (2019-03-26), ISSN: 0004926673 *

Also Published As

Publication number Publication date
EP4304178A2 (en) 2024-01-10
US11356697B2 (en) 2022-06-07
US11924463B2 (en) 2024-03-05
WO2020211864A1 (en) 2020-10-22
CN113728626B (zh) 2023-05-30
CN113728626A (zh) 2021-11-30
EP4304178A3 (en) 2024-03-06
US20220070490A1 (en) 2022-03-03
EP3922015A4 (en) 2022-07-20
EP3922015A1 (en) 2021-12-15
KR20210152470A (ko) 2021-12-15
JP7319386B2 (ja) 2023-08-01
CN113728630B (zh) 2023-11-17
US20210368203A1 (en) 2021-11-25
WO2020211865A1 (en) 2020-10-22
CN113728630A (zh) 2021-11-30
JP2023145563A (ja) 2023-10-11

Similar Documents

Publication Publication Date Title
JP7319386B2 (ja) 異なる動きベクトル微調整における勾配計算
WO2020211867A1 (en) Delta motion vector in prediction refinement with optical flow process
CN113711608B (zh) 利用光流的预测细化过程的适用性
WO2020108650A1 (en) Flag indication method in intra block copy mode
JP2022500909A (ja) 適応動きベクトル解像度によるアフィンモードへの構文の使用
WO2020031059A1 (en) Constraints for usage of updated motion information
WO2020156516A1 (en) Context for coding affine mode adaptive motion vector resolution
CN110662041B (zh) 视频比特流处理的方法和装置，存储视频比特流的方法和非暂时性计算机可读记录介质
CN110740321B (zh) 基于更新的运动矢量的运动预测
WO2020156517A1 (en) Fast algorithms for symmetric motion vector difference coding mode
CN110662077B (zh) 用于视频编解码的对称性双向预测模式
CN114503596B (zh) 运动矢量细化和其他编解码工具之间的相互作用
WO2020156525A1 (en) Multiple syntax elements for adaptive motion vector resolution
WO2020192747A1 (en) Motion information precision alignment in affine advanced motion vector prediction
CN111010570B (zh) 基于仿射运动信息的尺寸限制
WO2020049512A1 (en) Two-step inter prediction
KR102662024B1 (ko) 상이한 모션 벡터 정제의 그레디언트 계산

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230720

R150 Certificate of patent or registration of utility model

Ref document number: 7319386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150