JP2022525876A - オプティカルフローベースの予測精緻化の計算 - Google Patents

オプティカルフローベースの予測精緻化の計算 Download PDF

Info

Publication number
JP2022525876A
JP2022525876A JP2021555421A JP2021555421A JP2022525876A JP 2022525876 A JP2022525876 A JP 2022525876A JP 2021555421 A JP2021555421 A JP 2021555421A JP 2021555421 A JP2021555421 A JP 2021555421A JP 2022525876 A JP2022525876 A JP 2022525876A
Authority
JP
Japan
Prior art keywords
video block
prediction
sample
motion
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021555421A
Other languages
English (en)
Inventor
ザン，カイ
ザン，リー
リュウ，ホンビン
シュイ，ジィジォン
ワン，ユエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022525876A publication Critical patent/JP2022525876A/ja
Priority to JP2023207339A priority Critical patent/JP2024015289A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

映像処理の方法は、ｘ及びｙは分数であるとして、オプティカルフローに基づく方法を用いて符号化される映像ブロック内の位置（ｘ，ｙ）における第１の動き変位Ｖｘ（ｘ，ｙ）及び位置（ｘ，ｙ）における第２の動き変位Ｖｙ（ｘ，ｙ）を決定し、Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、少なくとも位置（ｘ，ｙ）と映像ブロックの基本映像ブロックの中心位置とに基づいて決定され、第１の動き変位及び第２の動き変位を用いて、映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行することを含む。

Description

パリ条約に基づく適用可能な特許法及び／又は規則の下で、この出願は、２０１９年３月１７日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０７８４１１号、２０１９年３月１８日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０７８５０１号、２０１９年３月１９日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０７８７１９号、及び２０１９年３月２７日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０７９９６１号の優先権及び利益を適時に主張して行われる。法律の下での全ての目的のために、上記出願の開示全体を、この出願の開示の一部として援用する。
この特許文書は、映像符号化及び復号に関連する。
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅使用を占めている。映像を受信して表示することが可能な接続ユーザ装置の数が増えるにつれて、デジタル映像使用に対する帯域幅需要が増加し続けることが予期される。
映像の処理においてオプティカルフローに基づく予測の精緻化を使用するようにデジタルビデオエンコーダ、トランスコーダ及びデコーダによって実装されることができる様々な技術が提供される。
映像処理方法の第１の例は、映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定するステップであり、ｘ及びｙは整数である、ステップと、前記精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて取得される前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を用いて、前記映像ブロックと前記映像ブロックのビットストリーム表現との間での変換を実行するステップと、を含む。
映像処理方法の第２の例は、映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定するステップであり、ｘ及びｙは整数である、ステップと、少なくとも前記精緻化予測サンプルＰ’（ｘ，ｙ）に基づく前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）に基づく残差サンプル値Ｒｅｓ（ｘ，ｙ）を含むよう、前記映像ブロックのビットストリーム表現を符号化するステップと、を含む。
映像処理方法の第３の例は、ｘ及びｙは分数であるとして、オプティカルフローに基づく方法を用いて符号化される映像ブロック内の位置（ｘ，ｙ）における第１の動き変位Ｖｘ（ｘ，ｙ）及び前記位置（ｘ，ｙ）における第２の動き変位Ｖｙ（ｘ，ｙ）を決定するステップであり、Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、少なくとも前記位置（ｘ，ｙ）と前記映像ブロックの基本映像ブロックの中心位置とに基づいて決定される、ステップと、前記第１の動き変位及び前記第２の動き変位を用いて、前記映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行するステップと、を含む。
映像処理方法の第４の例は、映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記映像ブロック内の前記位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定するステップであり、前記第１の勾配成分及び前記第２の勾配成分は、前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値に基づくものであり、且つ前記ｘ及びｙは整数である、ステップと、前記勾配Ｇｘ（ｘ，ｙ）、Ｇｙ（ｘ，ｙ）を用いて精緻化されたものである予測サンプルＰ（ｘ，ｙ）の前記最終予測サンプル値に残差サンプル値Ｒｅｓ（ｘ，ｙ）を加えたものに基づいて得られた、前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を用いて、前記映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行するステップと、を含む。
映像処理方法の第５の例は、映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記映像ブロック内の前記位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定するステップであり、前記第１の勾配成分及び前記第２の勾配成分は、前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値に基づくものであり、且つ前記ｘ及びｙは整数である、ステップと、前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）に基づく残差サンプル値Ｒｅｓ（ｘ，ｙ）を含むよう、前記映像ブロックのビットストリーム表現を符号化するステップであり、前記再構成サンプル値Ｒｅｃ（ｘ，ｙ）は、前記勾配Ｇｘ（ｘ，ｙ）、Ｇｙ（ｘ，ｙ）を用いて精緻化されたものである予測サンプルＰ（ｘ，ｙ）の前記最終予測サンプル値に前記残差サンプル値Ｒｅｓ（ｘ，ｙ）を加えたものに基づく、ステップと、を含む。
映像処理方法の第６の例は、映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記映像ブロック内の前記位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定するステップであり、前記第１の勾配成分及び前記第２の勾配成分は、前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の中間予測サンプル値に基づくものであり、前記予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値は前記中間予測サンプル値に基づき、且つ前記ｘ及びｙは整数である、ステップと、予測サンプルＰ（ｘ，ｙ）の前記最終予測サンプル値と残差サンプル値Ｒｅｓ（ｘ，ｙ）とに基づいて得られた、前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を用いて、前記映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行するステップと、を含む。
映像処理方法の第７の例は、映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記映像ブロック内の前記位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定するステップであり、前記第１の勾配成分及び前記第２の勾配成分は、前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の中間予測サンプル値に基づくものであり、前記予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値は前記中間予測サンプル値に基づき、且つ前記ｘ及びｙは整数である、ステップと、前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）に基づく残差サンプル値Ｒｅｓ（ｘ，ｙ）を含むよう、前記映像ブロックのビットストリーム表現を符号化するステップであり、前記再構成サンプル値Ｒｅｃ（ｘ，ｙ）は、予測サンプルＰ（ｘ，ｙ）の前記最終予測サンプル値と前記残差サンプル値Ｒｅｓ（ｘ，ｙ）とに基づく、ステップと、を含む。
映像処理方法の第８の例は、アフィン符号化映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定するステップであり、前記第１方向は前記第２方向に直交し、且つｘ及びｙは整数である、ステップと、前記精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を決定するステップと、前記アフィン符号化映像ブロック内の前記位置（ｘ，ｙ）における精緻化再構成サンプル値Ｒｅｃ’（ｘ，ｙ）を決定するステップであり、Ｒｅｃ’（ｘ，ｙ）＝Ｒｅｃ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である、ステップと、前記精緻化再構成サンプル値Ｒｅｃ’（ｘ，ｙ）を用いて、前記アフィン符号化映像ブロックと前記アフィン符号化映像ブロックのビットストリーム表現との間での変換を実行するステップと、を含む。
映像処理方法の第９の例は、アフィン符号化映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定するステップであり、前記第１方向は前記第２方向に直交し、且つｘ及びｙは整数である、ステップと、前記精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を決定するステップと、前記アフィン符号化映像ブロック内の前記位置（ｘ，ｙ）における精緻化再構成サンプル値Ｒｅｃ’（ｘ，ｙ）を決定するステップであり、Ｒｅｃ’（ｘ，ｙ）＝Ｒｅｃ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である、ステップと、前記残差サンプル値Ｒｅｓ（ｘ，ｙ）を含むよう、前記アフィン符号化映像ブロックのビットストリーム表現を符号化するステップと、を含む。
映像処理方法の第１０の例は、アフィンモードの映像ブロックについて、１／Ｎピクセル精度で動きベクトルを決定するステップと、前記映像ブロック内の位置（ｘ，ｙ）について推定された動き変位ベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））を決定するステップであり、当該動き変位ベクトルは１／Ｍピクセル精度で導出され、Ｎ及びＭは正の整数であり、且つｘ及びｙは整数である、ステップと、前記動きベクトル及び前記動き変位ベクトルを用いて、前記映像ブロックと前記映像ブロックのビットストリーム表現との間での変換を実行するステップと、を含む。
映像処理方法の第１１の例は、映像ブロックについて又は前記映像ブロックのサブブロックについて二組の動きベクトルを決定するステップであり、前記二組の動きベクトルの各組が異なる動きベクトルピクセル精度を持ち、且つ前記二組の動きベクトルは、時間動きベクトル予測（ＴＭＶＰ）技術を用いて又はサブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）技術を用いて決定される、ステップと、前記二組の動きベクトルに基づいて、前記映像ブロックと前記映像ブロックのビットストリーム表現との間での変換を実行する、ステップと、を含む。
映像処理方法の第１２の例は、アフィン符号化モードを用いて符号化される映像ブロック上で、Ｋは１より大きい整数であるとして、Ｋ通りのサブブロックパターンを用いて前記映像ブロックを複数のパーティションに分割することによって、インタウィーブ予測技術を実行するステップと、前記Ｋ通りのサブブロックパターンのうちの最初のものを用いて動き補償を行うことによって、前記映像ブロックの予測サンプルを生成するステップであり、位置（ｘ，ｙ）における予測サンプルをＰ（ｘ，ｙ）と表記し、ｘ及びｙは整数である、ステップと、第Ｌパターンと表記する前記Ｋ通りのサブブロックパターンの残りのうちの少なくとも１つについて、最初のサブブロックパターンで導出された予測サンプルと、前記Ｋ通りのサブブロックパターンのうちの前記最初のものを用いて導出された動きベクトルと前記第Ｌパターンを用いて導出された動きベクトルとの間の差とに基づいて、前記位置（ｘ，ｙ）におけるオフセット値ＯＬ（ｘ，ｙ）を決定するステップと、ＯＬ（ｘ，ｙ）及びＰ（ｘ，ｙ）の関数として前記位置（ｘ，ｙ）についての最終予測サンプルを決定するステップと、前記最終予測サンプルを用いて、映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップと、を含む。
映像処理方法の第１３の例は、最終予測サンプルを用いて、映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップを含み、前記最終予測サンプルは、精緻化中間予測サンプルから、（ａ）ルールに基づいて、インタウィーブ予測技術及びそれに続くオプティカルフローベースの予測精緻化技術を実行すること、又は（ｂ）動き補償技術を実行すること、によって導出される。
映像処理方法の第１４の例は、双予測が適用される場合に、最終予測サンプルを用いて、映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップを含み、前記最終予測サンプルは、精緻化中間予測サンプルから、（ａ）インタウィーブ予測技術を無効にして、オプティカルフローベースの予測精緻化技術を実行すること、又は（ｂ）動き補償技術を実行すること、によって導出される。
映像処理方法の第１５の例は、予測サンプルを用いて、映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップを含み、前記予測サンプルは、オプティカルフローベースの予測精緻化技術を実行することによって精緻化中間予測サンプルから導出され、前記オプティカルフローベースの予測精緻化技術を前記実行することは、前記映像ブロックについて第１方向において推定された第１組の動き変位Ｖｘ（ｘ，ｙ），又は前記映像ブロックについて第２方向において推定された第２組の動き変位Ｖｙ（ｘ，ｙ）のうちの一方のみに依存し、ｘ及びｙは整数であり、且つ前記第１方向は前記第２方向に直交する。
映像処理方法の第１６の例は、映像ブロックについての精緻化動きベクトルを、前記映像ブロックの動きベクトルを精緻化することによって取得するステップであり、動き補償技術を実行する前に前記動きベクトルが精緻化され、前記精緻化動きベクトルは１／Ｎピクセル精度を持ち、前記動きベクトルは１／Ｍピクセル精度を持つ、ステップと、前記映像ブロック上でオプティカルフローベースの予測精緻化技術を実行することによって最終予測サンプルを取得するステップであり、前記精緻化動きベクトルと前記動きベクトルとの間の差に対して前記オプティカルフローベースの予測精緻化技術が適用される、ステップと、前記最終予測サンプルを用いて、前記映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップと、を含む。
映像処理方法の第１７の例は、映像ブロックに対してマルチステップデコーダ側動きベクトル精緻化プロセスを用いて、最終動きベクトルを決定するステップであり、当該最終動きベクトルは１／Ｎピクセル精度を持つ、ステップと、前記最終動きベクトルを用いて、現在ブロックとビットストリーム表現との間での変換を実行するステップと、を含む。
映像処理方法の第１８の例は、映像ブロックの精緻化中間予測サンプルを、前記映像ブロックの中間予測サンプルに対してインタウィーブ予測技術及びオプティカルフローベースの予測精緻化技術を実行することによって取得するステップと、前記精緻化中間予測サンプルから最終予測サンプルを導出するステップと、前記最終予測サンプルを用いて、前記映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップと、を含む。
映像処理方法の第１９の例は、映像ブロックの精緻化中間予測サンプルを、前記映像ブロックの中間予測サンプルに対してインタウィーブ予測技術及び位相変分アフィンサブブロック動き補償（ＰＡＭＣ）技術を実行することによって取得するステップと、前記精緻化中間予測サンプルから最終予測サンプルを導出するステップと、前記最終予測サンプルを用いて、前記映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップと、を含む。
映像処理方法の第２０の例は、映像ブロックの精緻化中間予測サンプルを、前記映像ブロックの中間予測サンプルに対してオプティカルフローベースの予測精緻化技術及び位相変分アフィンサブブロック動き補償（ＰＡＭＣ）技術を実行することによって取得するステップと、前記精緻化中間予測サンプルから最終予測サンプルを導出するステップと、前記最終予測サンプルを用いて、前記映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップと、を含む。
映像処理方法の第２１の例は、映像ブロックと該映像ブロックのビットストリーム表現との間での変換において、前記映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）で推定された第１方向及び／又は第２方向における勾配と、前記位置（ｘ，ｙ）について推定された第１の動き変位及び／又は第２の動き変位と、の関数として前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定するステップと、前記精緻化予測サンプルＰ’（ｘ，ｙ）からの再構成サンプル値Ｒｅｃ（ｘ，ｙ）を用いて前記変換を実行するステップと、を含む。
映像処理方法の第２２の例は、映像ブロックを符号化するオプティカルフローベースの方法に対応する映像ブロック内の位置（ｘ，ｙ）における第１の変位ベクトルＶｘ（ｘ，ｙ）及び第２の変位ベクトルＶｙ（ｘ，ｙ）を、隣接ブロック又は基本ブロックからの情報に基づいて決定するステップと、前記第１の変位ベクトル及び前記第２の変位ベクトルを用いて、前記映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行するステップと、を含む。
映像処理方法の第２３の例は、映像ブロックと該映像ブロックのビットストリーム表現との間での変換において、前記映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定するステップであり、前記位置（ｘ，ｙ）での第１方向における勾配と第２方向における勾配とが、前記精緻化予測サンプルＰ’（ｘ，ｙ）及び前記位置（ｘ，ｙ）における残差サンプル値から決定される最終予測値に基づいて決定される、ステップと、前記第１方向における前記勾配及び前記第２方向における前記勾配を用いて前記変換を実行するステップと、を含む。
映像処理方法の第２４の例は、アフィン符号化される映像ブロック内の位置（ｘ，ｙ）における再構成サンプルＲｅｃ（ｘ，ｙ）を決定するステップと、前記位置（ｘ，ｙ）における第１及び第２の変位ベクトル並びに第１及び第２の勾配を用いてＲｅｃ（ｘ，ｙ）を精緻化して、精緻化再構成サンプルＲｅｃ’（ｘ，ｙ）を取得するステップと、前記精緻化再構成サンプルを用いて、前記映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行するステップと、を含む。
映像処理方法の第２５の例は、アフィン符号化モードを用いて符号化される映像ブロックと該映像ブロックのビットストリーム表現との間での変換において、Ｋは１より大きい整数であるとして、Ｋ通りのサブブロックパターンを用いて前記映像ブロックを複数のパーティションに分割することによって、前記映像ブロックのインタウィーブ予測を実行するステップと、前記Ｋ通りのサブブロックパターンのうちの最初のものを用いて動き補償を実行して、前記映像ブロックの予測サンプルを生成するステップであり、位置（ｘ，ｙ）における予測サンプルをＰ（ｘ，ｙ）と表記する、ステップと、第Ｌパターンと表記する前記Ｋ通りのサブブロックパターンの残りのうちの少なくとも１つについて、Ｐ（ｘ，ｙ）と、前記Ｋ通りのサブブロックパターンのうちの前記最初のものを用いて導出された動きベクトルと前記第Ｌパターンを用いて導出された動きベクトルとの間の差とに基づいて、前記位置（ｘ，ｙ）におけるオフセット値ＯＬ（ｘ，ｙ）を決定するステップと、ＯＬ（ｘ，ｙ）及びＰ（ｘ，ｙ）の関数として前記位置（ｘ，ｙ）についての最終予測サンプルを決定するステップと、前記最終予測サンプルを用いて前記変換を実行するステップと、を含む。
更なる他の一態様例において、この特許文献に記載される方法のうちの１つを実装するように構成されたビデオエンコーダ装置が開示される。
更なる他の一態様例において、この特許文献に記載される方法のうちの１つを実装するように構成されたビデオデコーダ装置が開示される。
更なる他の一態様において、コンピュータ読み取り可能媒体が開示される。この特許文献に記載される方法のうちの１つを実装するためのプロセッサ実行可能コードが、当該コンピュータ読み取り可能媒体に格納される。従って、上記の方法及びこの特許文献に記載される方法のいずれかに記載の方法を実装するためのコードを有する非一時的なコンピュータ読み取り可能媒体である。
これら及び他の態様が本文書に詳細に記載される。
マージ候補リスト構築のための導出プロセスの一例を示している。 空間マージ候補の位置の例を示している。 空間マージ候補の冗長性検査に考慮される候補ペアの例を示している。 Ｎ×２Ｎ及び２Ｎ×Ｎパーティションの第２のＰＵの位置の例を示している。 時間マージ候補に対する動きベクトルスケーリングの説明図を示している。 時間マージ候補Ｃ０及びＣ１の候補位置の例を示している。 結合双予測マージ候補の一例を示している。 動きベクトル予測候補に関する導出プロセスをまとめたものである。 空間動きベクトル候補に対する動きベクトルスケーリングの説明図を示している。 符号化ユニットＣＵに対するアドバンスト時間動きベクトル予測子ＡＴＭＶＰ動き予測の一例を示している。 ４つのサブブロック（Ａ－Ｄ）及びその隣接ブロック（ａ－ｄ）を有する１つのＣＵの一例を示している。 ＯＢＭＣが適用されるところのサブブロックの説明図の例である。 ＩＣパラメータを導出するのに使用される隣接するサンプルの例を示している。 単純化されたアフィン動きモデルを示している。 サブブロックごとのアフィンＭＶＦの一例を示している。 ＡＦ＿ＩＮＴＥＲに関するＭＶＰの一例を示している。 図１７Ａ－１７Ｂは、ＡＦ＿ＭＥＲＧＥに関する候補を示している。 図１７Ａ－１７Ｂは、ＡＦ＿ＭＥＲＧＥに関する候補を示している。 バイラテラルマッチングの一例を示している。 テンプレートマッチングの一例を示している。 フレームレートアップコンバージョンＦＲＵＣにおけるユニラテラル動き推定ＭＥの一例を示している。 オプティカルフローの軌跡の一例を示している。 図２２Ａ－２２Ｂは、ブロックの外側のアクセス位置の例、及び余分なメモリアクセス及び計算を回避するためにどのようにパディングが使用されるのかの一例を示している。 図２２Ａ－２２Ｂは、ブロックの外側のアクセス位置の例、及び余分なメモリアクセス及び計算を回避するためにどのようにパディングが使用されるのかの一例を示している。 ＢＩＯで使用される補間サンプルの例を示している。 バイラテラルテンプレートマッチングに基づくＤＭＶＲの一例を示している。 サブブロックＭＶ ＶＳＢ及びピクセルΔｖ（ｉ，ｊ）（矢印として示される）の例を示している。 Ｖｘ（ｘ，ｙ）及び／又はＶｙ（ｘ，ｙ）をどのように導出するかの一例を示している。 映像処理装置の一例を示している。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 図２８Ａ－２８Ｕは、映像処理の方法に関するフローチャート例である。 インタウィーブ予測におけるスプリットパターンの一例を示している。 位相変分水平フィルタリングの一例を示している。 一回の８タップ水平フィルタリングを適用した一例を示している。 不均一位相垂直フィルタリングの一例を示している。 ここに開示される様々な技術が実装され得る映像処理システムの一例を示すブロック図である。 本開示の一部の実施形態に従った映像符号化システムを示すブロック図である。 本開示の一部の実施形態に従ったエンコーダを示すブロック図である。 本開示の一部の実施形態に従ったデコーダを示すブロック図である。
本文書は、解凍又は復号されたデジタル映像又は画像の品質を向上させるために画像又は映像ビットストリームのデコーダによって使用されることができる様々な技術を提供する。簡潔さのため、用語“映像”は、ここでは、一連のピクチャ（伝統的に映像と呼ばれる）及び個々の画像の両方を含むように使用される。また、ビデオエンコーダも、更なる符号化のために使用される復号フレームを再構成するために、符号化のプロセスにおいてこれらの技術を実装し得る。
本文書では、理解を容易にするためにセクション見出しを使用するが、それらは実施形態及び技術を対応するセクションに限定するものではない。従って、１つのセクションからの実施形態を、他のセクションからの実施形態と組み合わせることができる。
１． 概要
この特許文献に記載されるこの技術は映像符号化技術に関する。具体的には、記載される技術は、映像符号化における動き補償に関連する。これは、ＨＥＶＣのような既存の映像符号化標準に適用されてもよいし、成立される標準（バーサタイルビデオコーディング）に適用されてもよい。これは、将来の映像符号化標準又は映像コーデックにも適用可能である。
２． 背景
映像符号化標準は、主に、周知のＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ標準の開発を通じて発展してきた。ＩＴＵ－ＴがＨ．２６１及びＨ．２６３を作成し、ＩＳＯ／ＩＥＣがＭＰＥＧ－１及びＭＰＥＧ－４ Ｖｉｓｕａｌを作成し、そして、これら２つの組織が共同で、Ｈ．２６２／ＭＰＥＧ－２ Ｖｉｄｅｏ及びＨ．２６４／ＭＰＥＧ－４ ＡＶＣ（Advanced Video Coding）及びＨ．２６５／ＨＥＶＣ標準を作成した。Ｈ．２６２以来、映像符号化標準は、時間予測に加えて変換符号化が利用されるハイブリッド映像符号化構造に基づいている。ＨＥＶＣの先の将来の映像符号化技術を探求するため、２０１５年にＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Joint Video Exploration Team）を設立した。それ以来、数多くの新しい方法が、ＪＶＥＴによって採用され、共同探索モデルＪＥＭ（Joint Exploration Model）と名付けられたリファレンスソフトウェアに入れられてきた。２０１８年４月には、ＨＥＶＣと比較して５０％のビットレート低減を目指すＶＶＣ標準に取り組むべく、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）との間でＪＶＥＴ（Joint Video Expert Team）を発足させた。
ＶＶＣドラフトの最新版、すなわち、バーサタイルビデオコーディング（ドラフト２）は：
http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K1001-v7.zip
にて見つけることができる。
ＶＴＭと呼ばれるＶＶＣの最新リファレンスソフトウェアは：
https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-2.1
にて見つけることができる。
２．１ ＨＥＶＣ／Ｈ．２６５におけるインター予測
インター予測による各ＰＵは、１つ又は２つの参照ピクチャリストに関する動きパラメータを有する。動きパラメータは、動きベクトル及び参照ピクチャインデックスを含む。２つの参照ピクチャリストのうちの１つの使用がまた、inter_pred_idcを用いて信号伝達され得る。動きベクトルは、予測子に対するデルタとして明示的に符号化され得る。
ＣＵがスキップモードで符号化される場合、そのＣＵに１つのＰＵが関連付けられ、有意な残差係数は存在せず、符号化された動きベクトルデルタ又は参照ピクチャインデックスは存在しない。マージモードが規定されており、それによれば、現在ＰＵに関する動きパラメータが、空間候補及び時間候補を含め、隣接するＰＵから取得される。マージモードは、スキップモードに対してだけでなく、任意のインター予測ＰＵに適用されることができる。マージモードに代わるものは、動きパラメータの明示的な伝送であり、それにおいては、動きベクトル（より正確には、動きベクトル予測子と比較した動きベクトル差（ＭＶＤ））、各参照ピクチャリストに関する対応する参照ピクチャインデックス、及び参照ピクチャリスト使用が、ＰＵごとに明示的に信号伝達される。このようなモードを、この開示においては、アドバンスト動きベクトル予測（Advanced motion vector prediction；ＡＭＶＰ）と呼ぶ。
２つの参照ピクチャリストのうちの一方が使用されることを信号伝達が指し示すとき、そのＰＵは、１つのブロックのサンプルから生成される。これは、“片予測（uni-prediction）”と呼ばれている。片予測は、Ｐスライス及びＢスライスの両方で利用可能である。
それら参照ピクチャリストの両方が使用されることを信号伝達が指し示すとき、そのＰＵは、２つのブロックのサンプルから生成される。これは、“双予測（bi-prediction）”と呼ばれている。双予測は、Ｂスライスでのみ利用可能である。
以下のテキストは、ＨＥＶＣにて規定されるインター予測モードについての詳細を提供するものである。マージモードから説明を始めることとする。
２．１．１． マージモード
２．１．１．１． マージモードに関する候補の導出
マージモードを使用してＰＵが予測されるとき、マージ候補リスト内のエントリを指すインデックスがビットストリームから構文解析され、動き情報を取り出すために使用される。このリストの構築は、ＨＥＶＣ標準に規定されており、以下の一連のステップに従って要約され得る：
・ ステップ１：当初候補導出
－ ステップ１．１：空間候補導出
－ ステップ１．２：空間候補に関する冗長性検査
－ ステップ１．３：時間候補導出
・ ステップ２：追加候補挿入
－ ステップ２．１：双予測候補の作成
－ ステップ２．２：ゼロ動き候補の挿入
図１にも、これらのステップを概略的に示す。空間マージ候補導出のために、５つの異なる位置にある候補の中から最大４つのマージ候補が選択される。時間マージ候補導出のために、２つの候補の中から最大１つのマージ候補が選択される。デコーダで各ＰＵに対して一定数の候補が仮定されるので、ステップ１から得られた候補の数が、スライスヘッダ内で信号伝達されるマージ候補の最大数（MaxNumMergeCand）に達しない場合、追加候補が生成される。候補の数は一定であるので、最良のマージ候補のインデックスが、ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ ｂｉｎａｒｉｚａｔｉｏｎ（ＴＵ）を用いて符号化される。ＣＵのサイズが８に等しい場合、現在ＣＵの全てのＰＵが、２Ｎ×２Ｎ予測ユニットのマージ候補リストと同じものである単一のマージ候補リストを共有する。
以下にて、上述のステップに関連する処理を詳述する。
２．１．１．２． 空間候補導出
空間マージ候補の導出では、図２に示す位置にある候補の中から最大４つのマージ候補が選択される。導出の順序はＡ１、Ｂ１、Ｂ０、Ａ０、及びＢ２である。位置Ｂ２は、位置Ａ１、Ｂ１、Ｂ０、Ａ０のうちのいずれかのＰＵが利用可能でない場合（例えば、それが別のスライス又はタイルに属するため）又はイントラ符号化される場合にのみ考慮される。位置Ａ１の候補が追加された後、残りの候補の追加は、符号化効率が向上されるように、同じ動き情報を有する候補がリストから除外されることを保証する冗長性検査にかけられる。計算複雑性を低減させるために、前述の冗長性検査では、可能な全ての候補ペアが考慮されるわけではない。その代わりに、図３の矢印で結び付けられたペアのみが考慮され、冗長性検査に使用される対応する候補が同じ動き情報を持たない場合にのみ、候補がリストに追加される。重複動き情報の別の発生源は、２Ｎ×２Ｎとは異なる分割に関連する“第２のＰＵ”である。一例として、図４は、それぞれ、Ｎ×２Ｎ及び２Ｎ×Ｎの場合の第２のＰＵを示している。現在ＰＵがＮ×２Ｎに分割されるとき、Ａ１にある候補はリスト構築に考慮されない。実際、この候補を追加することは、同じ動き情報を有する２つの予測ユニットにつながることになり、それは、符号化ユニット内に１つのみのＰＵを有することには冗長である。同様に、現在ＰＵが２Ｎ×Ｎに分割されるとき、位置Ｂ１は考慮されない。
２．１．１．３． 時間候補導出
このステップでは、１つの候補のみがリストに追加される。特に、この時間マージ候補の導出では、所与の参照ピクチャリスト内で現在ピクチャとのＰＯＣ差が最小であるピクチャに属するコロケートＰＵに基づいて、スケーリングされた動きベクトルが導出される。コロケートＰＵの導出に使用される参照ピクチャリストは、スライスヘッダ内で明示的に信号伝達される。時間マージ候補に関するスケーリングされた動きベクトルは、図５に点線で示すようにして得られ、それは、ＰＯＣ距離ｔｂ及びｔｄを用いて、コロケートＰＵ（ｃｏｌ＿ＰＵ）の動きベクトルからスケーリングされるものであり、ここで、ｔｂは、現在ピクチャ（ｃｕｒｒ＿ｐｉｃ）の参照ピクチャ（ｃｕｒｒ＿ｒｅｆ）と現在ピクチャとの間のＰＯＣ差であると定義され、ｔｄは、コロケートピクチャ（ｃｏｌ＿ｐｉｃ）の参照ピクチャ（ｃｏｌ＿ｒｅｆ）とコロケートピクチャとの間のＰＯＣ差であると定義される。時間マージ候補の参照ピクチャインデックスは、ゼロに等しく設定される。スケーリングプロセスの実際の具現化はＨＥＶＣ仕様書に定められている。Ｂスライスでは、一方が参照ピクチャリスト０に関し、他方が参照ピクチャリスト１に関するものである２つの動きベクトルが得られ、これらが組み合わされて、双予測マージ候補をなす。
図５は、時間マージ候補に対する動きベクトルスケーリングの説明図を示している。
参照フレームに属するコロケートＰＵ（Ｙ）では、図６に示すように、時間候補に関する位置が、候補Ｃ０及びＣ１の間で選択される。位置Ｃ０のＰＵが利用可能でない、又はイントラ符号化される、又は現在ＣＴＵ行の外側にある場合、位置Ｃ１が使用される。それ以外の場合には、位置Ｃ０が時間マージ候補の導出に使用される。
図６は、時間マージ候補Ｃ０及びＣ１についての候補位置の例を示している。
２．１．１．４． 追加候補挿入
空間及び時間マージ候補の他に、結合双予測マージ候補及びゼロマージ候補という２つの更なるタイプのマージ候補が存在する。結合双予測マージ候補は、空間及び時間マージ候補を利用することによって生成される。結合双予測マージ候補はＢスライスのみに使用される。結合双予測候補は、当初候補の第１の参照ピクチャリスト動きパラメータを別のものの第２の参照ピクチャリスト動きパラメータと組み合わせることによって生成される。これら２つのタプルが異なる動き仮説を提供する場合、それらは新たな双予測候補を形成する。一例として、図７は、mvL0とrefIdxL0、又はmvL1とrefIdxL1、を有するものである元のリスト（左側）内の２つの候補を用いて、最終的なリスト（右側）に追加される結合双予測マージ候補が作成される場合を示している。これらの追加マージ候補を生成するために考慮される組み合わせに関するルールが数多く存在する。
マージ候補リストの残りのエントリを埋め、それ故にMaxNumMergeCand容量に達するように、ゼロ動き候補が挿入される。これらの候補は、ゼロの空間変位と、ゼロから始まり、新たなゼロ動き候補がリストに追加される度に増加する参照ピクチャインデックスと、を有する。これらの候補によって使用される参照フレームの数は、片方向予測及び双方向予測でそれぞれ１及び２である。最後に、これらの候補に対して冗長性検査は行われない。
２．１．１．５ 並列処理向けの動き推定領域
符号化プロセスを高速化するために、動き推定を並列に実行することができ、それにより、所与の領域内の全ての予測ユニットに対する動きベクトルが同時に導出される。空間的に近隣するものからのマージ候補の導出は、１つの予測ユニットが、隣接ＰＵから動きパラメータをそれに関連する動き推定が完了するまで導出することができないので、並列処理を妨げてしまい得る。符号化効率と処理レイテンシとの間のトレードオフを緩和するために、ＨＥＶＣは、そのサイズが“log2_parallege_merge_level_minus2”構文要素を用いてピクチャパラメータセット内で信号伝達される動き推定領域（motion estimation region；ＭＥＲ）を定義している。ＭＥＲが規定される場合、同じ領域に入るマージ候補は利用不可とマークされ、それ故にリスト作成において考慮されない。
２．１．２ ＡＭＶＰ
ＡＭＶＰは、隣接ＰＵとの動きベクトルの空間－時間相関を利用し、それが動きパラメータの明示的伝送に使用される。各参照ピクチャリストに対して、先ず、左上の時間的に隣接するＰＵ位置の利用可能性を検査し、冗長候補を除去し、そして、ゼロベクトルを追加して候補リストを一定長さにすることによって、動きベクトル候補リストが構築される。そして、エンコーダは、候補リストから最良の予測子を選択し、選択した候補を指し示す対応するインデックスを送信することができる。同様に、マージインデックス信号伝達では、最良の動きベクトル候補のインデックスがｔｒｕｎｃａｔｅｄ ｕｎａｒｙを用いて符号化される。この場合に符号化される最大値は２である（図８を参照）。以下のセクションにて、動きベクトル予測候補の導出プロセスの詳細を提供する。
２．１．２．１ ＡＭＶＰ候補の導出
動きベクトル予測では、空間動きベクトル候補及び時間動きベクトル候補の２種類の動きベクトル候補が考慮される。空間動きベクトル候補導出では、図２で示したような５つの異なる位置にある各ＰＵの動きベクトルに基づいて、最終的に２つの動きベクトル候補が導出される。
時間動きベクトル候補導出では、２つの異なるコロケート位置に基づいて導出されるものである２つの候補から、１つの動きベクトル候補が選択される。空間－時間候補の第１のリストが作成された後、リスト内の重複した動きベクトル候補が除去される。可能性ある候補の数が２よりも多い場合、関連する参照ピクチャリスト内でその参照ピクチャインデックスが１よりも大きい動きベクトル候補がリストから削除される。空間－時間動きベクトル候補の数が２より少ない場合、追加のゼロ動きベクトル候補がリストに追加される。
２．１．２．２． 空間動きベクトル候補
空間動きベクトル候補の導出においては、図２で示したような位置にあるＰＵから導出されるものである５つの可能性ある候補の中の最大２つの候補が考慮され、それらの位置は動きマージの位置と同じである。現在ＰＵの左側についての導出の順序が、Ａ０、Ａ１、及びスケーリングされたＡ０、スケーリングされたＡ１として定められる。現在ＰＵの上側についての導出の順序が、Ｂ０、Ｂ１、Ｂ２、スケーリングされたＢ０、スケーリングされたＢ１、スケーリングされたＢ２として定められる。従って、各側について、動きベクトル候補として使用され得る４つのケースが存在し、２つのケースは空間スケーリングを使用する必要がなく、２つのケースでは空間スケーリングが使用される。それら４つの異なるケースは、以下のようにまとめられる：
・ 空間スケーリングなし
－ （１）同一参照ピクチャリスト、且つ同一参照ピクチャインデックス（同一ＰＯＣ）
－ （２）異なる参照ピクチャリスト、しかし、同一参照ピクチャ（同一ＰＯＣ）
・ 空間スケーリング
－ （３）同一参照ピクチャリスト、しかし、異なる参照ピクチャ（異なるＰＯＣ）
－ （４）異なる参照ピクチャリスト、且つ異なる参照ピクチャ（異なるＰＯＣ）
空間スケーリングなしのケースが最初に検査され、空間スケーリングが続く。空間スケーリングは、参照ピクチャリストにかかわらず、隣接ＰＵの参照ピクチャと現在ＰＵの参照ピクチャとの間でＰＯＣが異なる場合に考慮される。左候補の全てのＰＵが利用可能でない又はイントラ符号化される場合、左及び上のＭＶ候補の並列導出を助けるために、上の動きベクトルに対するスケーリングが可能にされる。それ以外の場合には、上の動きベクトルに対して空間スケーリングは可能にされない。
図９は、空間動きベクトル候補に対する動きベクトルスケーリングの説明図を示している。
空間スケーリングプロセスでは、図９として示すように、隣接ＰＵの動きベクトルが、時間スケーリングに関してと同様のやり方でスケーリングされる。主な違いは、参照ピクチャリスト及び現在ＰＵのインデックスが入力として与えられることであり、実際のスケーリングプロセスは時間スケーリングのそれと同じである。
２．１．２．３． 時間動きベクトル候補
参照ピクチャインデックスの導出は別にして、時間マージ候補の導出のための全てのプロセスは、空間動きベクトル候補の導出に関してと同じである（図６を参照）。参照ピクチャインデックスがデコーダに信号伝達される。
２．２． ＪＥＭにおける新しいインター予測方法
２．２．１ サブＣＵベース動きベクトル予測
ＱＴＢＴを用いるＪＥＭでは、各ＣＵが、各予測方向に対して最大１セットの動きパラメータを持つことができる。エンコーダにおいて、大きなＣＵを複数のサブＣＵに分割し、大きなＣＵの全てのサブＣＵに対して動き情報を導出することによって、２つのサブＣＵレベルの動きベクトル予測方法が考慮される。代替的時間動きベクトル予測（alternative temporal motion vector prediction；ＡＴＭＶＰ）法は、各ＣＵが、コロケート参照ピクチャ内の現在ＣＵよりも小さい複数のブロックから複数セットの動き情報をフェッチすることを可能にする。空間－時間動きベクトル予測（spatial-temporal motion vector prediction；ＳＴＭＶＰ）法では、サブＣＵの動きベクトルが、時間動きベクトル予測子と空間隣接動きベクトルとを用いることによって再帰的に導出される。
サブＣＵ動き予測のためにより正確な動きフィールドを保存するために、現行では参照フレームに対する動き圧縮が無効にされる。
２．２．１．１． 代替的時間動きベクトル予測
代替的時間動きベクトル予測（ＡＴＭＶＰ）法では、動きベクトルの時間動きベクトル予測（temporal motion vector prediction；ＴＭＶＰ）が、現在ＣＵよりも小さい複数のブロックから複数セットの動き情報（動きベクトル及び参照インデックスを含む）をフェッチすることによって修正される。図１０に示すように、サブＣＵは、正方形のＮ×Ｎブロックである（Ｎはデフォルトで４に設定される）。
ＡＴＭＶＰは、ＣＵ内の複数のサブＣＵの動きベクトルを２ステップで予測する。第１ステップは、いわゆる時間ベクトルを用いて参照ピクチャ内の対応するブロックを特定することである。参照ピクチャ１０５０は、モーションソースピクチャとも呼ばれる。第２ステップは、図１０に示すように、現在ＣＵ１０００をサブＣＵ１００１へと分割し、各サブＣＵに対応するブロックから、各サブＣＵの動きベクトル及び参照インデックスを取得することである。
第１ステップにて、参照ピクチャ及び対応するブロックが、現在ＣＵの空間隣接ブロックの動き情報によって決定される。隣接ブロックの繰り返し走査処理を回避するために、現在ＣＵのマージ候補リスト内の最初のマージ候補が使用される。第１の利用可能な動きベクトル及びそれに関連する参照インデックスが、モーションソースピクチャへの時間ベクトル及びインデックスであるように設定される。斯くして、ＡＴＭＶＰでは、対応するブロックを、ＴＭＶＰと比較して、より正確に特定することでき、対応するブロック（同一位置のブロックと呼ばれることもある）は常に現在ＣＵに対して右下又は中央の位置にある。
第２ステップにて、現在ＣＵの座標に時間ベクトルを足し合わせることによって、サブＣＵの対応するブロックが、モーションソースピクチャ内の時間ベクトルによって特定される。各サブＣＵについて、対応するブロック（中心サンプルをカバーする最小動きグリッド）の動き情報を用いて、そのサブＣＵに関する動き情報が導出される。対応するＮ×Ｎブロックの動き情報が特定された後、それが、ＨＥＶＣのＴＭＶＰと同様にして、現在サブＣＵの動きベクトル及び参照インデックスに変換され、ここで、動きスケーリング及び他の手順が適用される。例えば、デコーダは、低遅延条件（すなわち、現在ピクチャの全ての参照ピクチャのＰＯＣが、現在ピクチャのＰＯＣよりも小さいこと）が満たされているかをチェックし、動きベクトルＭＶｘ（参照ピクチャリストＸに対応する動きベクトル）を用いて、各サブＣＵに関する動きベクトルＭＶｙ（Ｘは０又は１に等しく、Ｙは１－Ｘに等しい）を予測し得る。
２．２．１．２． 空間－時間動きベクトル予測
この方法では、サブＣＵの動きベクトルが、ラスタ走査順に従って再帰的に導出される。図１１は、この概念を示している。４つの４×４のサブＣＵ Ａ、Ｂ、Ｃ、及びＤを含む８×８のＣＵを考える。現在フレーム内の隣接する４×４のブロックを、ａ、ｂ、ｃ、及びｄとラベル付ける。
サブＣＵ Ａに対する動き導出は、それの２つの空間的に隣接するものを特定することによって開始する。隣接する第１のものは、サブＣＵ Ａの上のＮ×Ｎブロック（ブロックｃ）である。このブロックｃが利用可能でない又はイントラ符号化される場合、サブＣＵ Ａの上の他のＮ×Ｎブロックが検査される（ブロックｃから始めて左から右へ）。隣接する第２のものは、サブＣＵ Ａの左のブロック（ブロックｂ）である。ブロックｂが利用可能でない又はイントラ符号化される場合、サブＣＵ Ａの左の他のブロックが検査される（ブロックｂから始めて上から下へ）。各リストについてこれら隣接ブロックから得られた動き情報が、所与のリストについての最初の参照フレームに対してスケーリングされる。次に、サブブロックＡの時間動きベクトル予測子（temporal motion vector predictor；ＴＭＶＰ）が、ＨＥＶＣで規定されるのと同じＴＭＶＰ導出手順に従うことによって導出される。位置Ｄのコロケートブロックの動き情報が、然るべくフェッチされてスケーリングされる。最後に、動き情報を取り出してスケーリングした後に、全ての利用可能な動きベクトル（最大３つ）が、各参照リストについて別々に平均化される。平均化された動きベクトルが、現在サブＣＵの動きベクトルとして割り当てられる。
２．２．１．３． サブＣＵ動き予測モード信号伝達
サブＣＵモードは、追加のマージ候補として有効にされ、これらのモードを信号伝達するのに追加の構文要素は必要とされない。ＡＴＭＶＰモード及びＳＴＭＶＰモードを表すために、各ＣＵのマージ候補リストに２つの追加マージ候補が加えられる。シーケンスパラメータセットがＡＴＭＶＰ及びＳＴＭＶＰが有効にされることを指し示す場合に、最大７つのマージ候補が使用される。これら追加マージ候補の符号化論理は、ＨＭにおけるマージ候補に関してと同じであり、これは、Ｐスライス又はＢスライス内の各ＣＵについて、２つの追加マージ候補に対して２つの更なるＲＤ検査が必要とされることを意味する。
ＪＥＭでは、マージインデックスの全てのビンが、ＣＡＢＡＣによってコンテキスト符号化される。一方、ＨＥＶＣでは、最初のビンのみがコンテキスト符号化され、残りのビンはコンテキストバイパス符号化される。
２．２．２． 適応動きベクトル差レゾリューション
ＨＥＶＣでは、スライスヘッダ内でuse_integer_mv_flagが０に等しい場合に、（動きベクトルとＰＵの予測動きベクトルとの間の）動きベクトル差（ＭＶＤ）が、１／４ルマサンプルの単位で信号伝達される。ＪＥＭでは、局所適応動きベクトルレゾリューション（locally adaptive motion vector resolution；ＬＡＭＶＲ）が導入されている。ＪＥＭにおいて、ＭＶＤは、１／４ルマサンプル、整数ルマサンプル、４ルマサンプルの単位で符号化されることができる。このＭＶＤ分解能は、符号化ユニット（ＣＵ）レベルで制御され、ＭＶＤ分解能フラグが、少なくとも１つの非ゼロのＭＶＤ成分を持つ各ＣＵに対して条件付きで信号伝達される。
少なくとも１つの非ゼロのＭＶＤ成分を持つＣＵに対して、そのＣＵで１／４ルマサンプルＭＶ精度が使用されるかを指し示すために、第１のフラグが信号伝達される。１／４ルマサンプルＭＶ精度が使用されないことを第１のフラグ（１に等しい）が指し示す場合、整数ルマサンプルＭＶ精度又は４ルマサンプルＭＶ精度が使用されるかを指し示すために、別のフラグが信号伝達される。
ＣＵの第１のＭＶＤ分解能フラグがゼロである又はＣＵに対して符号化されない（ＣＵ内の全てのＭＶＤがゼロであることを意味する）場合、１／４ルマサンプルＭＶ分解能がそのＣＵに対して使用される。ＣＵが整数ルマサンプルＭＶ精度又は４ルマサンプルＭＶ精度を使用する場合、そのＣＵに関するＡＭＶＰ候補リスト内のＭＶＰは、対応する精度に丸められる。
エンコーダで、ＣＵレベルでのＲＤ検査を用いて、ＣＵに対してどのＭＶＤ分解能が使用されるべきかを決定する。すなわち、ＣＵレベルＲＤ検査が３回、ＭＶＤ解像度ごとに実行される。エンコーダ速度を加速させるために、ＪＥＭでは以下の符号化スキームが適用される：
・ 通常の１／４ルマサンプルＭＶＤ分解能でのＣＵのＲＤ検査において、現在ＣＵの動き情報（整数ルマサンプル精度）が記憶される。記憶された動き情報（丸め後）が、整数ルマサンプル及び４ルマサンプルＭＶＤ分解能での同一ＣＵについてのＲＤ検査において、更に小さい範囲での動きベクトル精緻化の出発点として使用されることで、時間のかかる動き推定プロセスが３回も繰り返されないようにする。
・ ４ルマサンプルＭＶＤ分解能でのＣＵのＲＤ検査が条件付きで呼び出される。あるＣＵに対して、整数ルマサンプルＭＶＤ分解能でのＲＤコストが１／４ルマサンプルＭＶＤ分解能でのそれよりも遥かに大きい場合、そのＣＵに対する４ルマサンプルＭＶＤ分解能のＲＤ検査がスキップされる。
２．２．３ より高い動きベクトル記憶精度
ＨＥＶＣにおいて、動きベクトル精度は１／４ペル（４：２：０映像の場合は１／４ルマサンプル及び１／８クロマサンプル）である。ＪＥＭでは、内部動きベクトル記憶及びマージ候補の精度が１／１６ペルに上昇する。このいっそう高い動きベクトル精度（１／１６ペル）が、スキップ／マージモードで符号化されるＣＵに対する動き補償インター予測で使用される。通常のＡＭＶＰモードで符号化されるＣＵでは、セクション０で記載したように、整数ペル又は１／４ペルのいずれかの動きが使用される。
ＨＥＶＣ動き補償補間フィルタと同じフィルタ長及び正規化係数を持つものであるＳＨＶＣアップサンプリング補間フィルタが、更なる分数ペル位置に対する動き補償補間フィルタとして使用される。クロマ成分動きベクトル精度はＪＥＭにおいて１／３２サンプルであり、１／３２ペル分数位置の追加の補間フィルタは、２つの隣接する１／１６ペル分数位置のフィルタの平均を用いることによって得られる。
２．２．４ オーバーラップブロック動き補償
以前、Ｈ．２６３で、オーバーラップブロック動き補償（Overlapped Block Motion Compensation；ＯＢＭＣ）が使用されてきた。ＪＥＭでは、Ｈ．２６３においてとは異なり、ＣＵレベルの構文を用いて、ＯＢＭＣをオン及びオフに切り換えることができる。ＯＢＭＣがＪＥＭで使用されるとき、ＯＢＭＣは、ＣＵの右境界及び下境界を除く全ての動き補償（ＭＣ）ブロック境界に対して実行される。さらに、これは、ルマ成分及びクロマ成分の両方に適用される。ＪＥＭにおいて、ＭＣブロックは符号化ブロックに対応している。ＣＵがサブＣＵモード（サブＣＵマージ、アフィン、及びＦＲＵＣモードを含む）で符号化される場合、そのＣＵの各サブブロックがＭＣブロックである。ＣＵ境界を一様なやり方で処理するために、図１２に示すようにサブブロックサイズを４×４に等しく設定して、全てのＭＣブロック境界に対してサブブロックレベルでＯＢＭＣが実行される。
ＯＢＭＣが現在サブブロックに適用される場合、現在動きベクトルの他に、利用可能であり且つ現在動きベクトルと同一ではない場合に、４つのつながった隣接サブブロックの動きベクトルも、現在サブブロックについての予測ブロックを導出するために使用される。複数の動きベクトルに基づくこれら複数の予測ブロックを組み合わせて、現在サブブロックの最終的な予測信号を生成する。
隣接サブブロックの動きベクトルに基づく予測ブロックは、Ｎは隣接する上、下、左及び右のサブブロックに関するインデックスを差し示すとして、ＰＮと表記され、現在サブブロックの動きベクトルに基づく予測ブロックはＰＣと表記される。ＰＮが、現在サブブロックに対して同じ動き情報を含む隣接サブブロックの動き情報に基づく場合、ＯＢＭＣはＰＮからは実行されない。それ以外の場合には、ＰＮの全てのサンプルがＰＣ内の同じサンプルに足し合わされ、すなわち、ＰＮの４つの行／列がＰＣに加算される。重み係数｛１／４，１／８，１／１６，１／３２｝がＰＮに対して使用され、重み係数｛３／４，７／８，１５／１６，３１／３２｝がＰＣに対して使用される。例外は、小さいＭＣブロック（すなわち、符号化ブロックの高さ又は幅が４に等しい場合、又はＣＵがサブＣＵモードで符号化される場合）であり、その場合には、ＰＮのうち２つの行／列のみがＰｃに足し合わされる。この場合、重み係数｛１／４，１／８｝がＰＮに対して使用され、重み係数｛３／４，７／８｝がＰＣに対して使用される。垂直（水平）隣接サブブロックの動きベクトルに基づいて生成されるＰＮでは、ＰＮの同じ行（列）のサンプルが、同じ重み係数でＰＣに足し合わされる。
ＪＥＭでは、２５６ルマサンプル以下のサイズのＣＵについて、その現在ＣＵにＯＢＭＣが適用されるか否かを指し示すためにＣＵレベルのフラグが信号伝達される。２５６ルマサンプルよりも大きいサイズのＣＵ又はＡＭＶＰモードで符号化されないＣＵについては、ＯＢＭＣがデフォルトで適用される。エンコーダにおいて、ＯＢＭＣがＣＵに適用されるとき、その影響が動き推定段階の間に考慮すされる。上隣接ブロック及び左隣接ブロックの動き情報を用いてＯＢＭＣによって形成される予測信号が、現在ＣＵの原信号の上境界及び左境界を補償するために使用され、次いで、通常の動き推定プロセスが適用される。
２．２．５ 局所照明補償
局所照明補償（Local Illumination Compensation；ＬＩＣ）は、スケーリング係数ａとオフセットｂを用いた、照明変化に関する線形モデルに基づく。また、それは、インターモード符号化される符号化ユニット（ＣＵ）ごとに適応的に有効又は無効にされる。
図１３は、ＩＣパラメータを導出するのに使用される隣接サンプルの例を示している。
ＬＩＣがＣＵに適用される場合、現在ＣＵの隣接サンプル及びそれらの対応する参照サンプルを用いることによってパラメータａ及びｂを導出するために、最小二乗誤差法が採用される。より具体的には、図１３に例示するように、ＣＵのサブサンプリング（２：１サブサンプリング）された隣接サンプルと、参照ピクチャ内の対応するサンプル（現在ＣＵ又は現在サブＣＵの動き情報によって特定される）とが使用される。各予測方向について別々にＩＣパラメータが導出されて適用される。
ＣＵがマージモードで符号化される場合、マージモードにおける動き情報コピーと同様のやり方で、ＬＩＣフラグが隣接ブロックからコピーされ、それ以外の場合には、ＣＵについて、ＬＩＣが適用されるか否かを指し示すために、ＬＩＣフラグが信号伝達される。
ＬＩＣがピクチャに対して有効にされる場合、ＣＵにＬＩＣが適用されるか否かを決定するために追加のＣＵレベルのＲＤチェックが必要とされる。ＬＩＣがＣＵに対して有効にされる場合、整数ピクセル動き探索及び分数ピクセル動き探索のために、それぞれ、絶対差の平均除去和（mean-removed sum of absolute difference；ＭＲ－ＳＡＤ）及び絶対アダマール変換差の平均除去和（mean-removed sum of absolute Hadamard-transformed difference；ＭＲ－ＳＡＴＤ）が、ＳＡＤ及びＳＡＴＤの代わりに使用される。
符号化の複雑さを低減させるために、ＪＥＭでは符号化スキームが適用される：
・ 現在ピクチャとその参照ピクチャとの間に明白な照明変化がないときにはピクチャ全体に対してＬＩＣが無効にされる。この状況を特定するために、現在ピクチャのヒストグラム及び現在ピクチャの全ての参照ピクチャのヒストグラムがエンコーダで計算される。現在ピクチャと現在ピクチャの全ての参照ピクチャとの間でヒストグラム差が所与の閾値より小さい場合、現在ピクチャに対してＬＩＣが無効にされ、それ以外の場合には、現在ピクチャに対してＬＩＣが有効にされる。
２．２．６ アフィン動き補償予測
ＨＥＶＣでは、動き補償予測（motion compensation prediction；ＭＣＰ）に並進動きモデルのみが適用されている。一方、現実世界では、例えばズームイン／アウト、回転、遠近動作、及び他の不規則な動きといった、多くの種類の動きが存在する。ＪＥＭでは、単純化されたアフィン変換動き補償予測が適用されている。図１４に示すように、ブロックのアフィン動きフィールドが、２つの制御点動きベクトルによって記述される。
ブロックの動きベクトルフィールド（motion vector field；ＭＶＦ）は、次式：
Figure 2022525876000002
 によって記述される。
ここで、（ｖ０ｘ，ｖ０ｙ）は、左上角の制御点の動きベクトルであり、（ｖ１ｘ，ｖ１ｙ）は、右上角の制御点の動きベクトルである。
動き補償予測を更に単純化するために、サブブロックベースのアフィン変換予測が適用される。サブブロックサイズＭ×Ｎが、式２：
Figure 2022525876000003
 においてのように導出され、ここで、MvPreは動きベクトル分数精度（ＪＥＭでは１／１６）であり、（ｖ２ｘ，ｖ２ｙ）は、式１に従って計算される左下制御点の動きベクトルである。
式２によって導出された後に、Ｍ及びＮは、必要な場合に、それぞれｗ及びｈの除数にするために下方調整されるべきである。
各Ｍ×Ｎサブブロックの動きベクトルを導出するために、図１５に示すように、各サブブロックの中心サンプルの動きベクトルが、式１に従って計算され、１／１６分数精度に丸められる。次いで、セクション０で述べた動き補償補間フィルタが適用されて、導出された動きベクトルを有する各サブブロックの予測が生成される。
ＭＣＰの後、各サブブロックの高精度動きベクトルが丸められ、通常の動きベクトルと同じ精度で保存される。
ＪＥＭでは、ＡＦ＿ＩＮＴＥＲモード及びＡＦ＿ＭＥＲＧＥモードという２つのアフィン動きモードが存在する。ＡＦＦＩＮＥ＿ＩＮＴＥＲモード及びＡＦＦＩＮＥ＿ＭＥＲＧＥモードである。幅及び高さの両方が８よりも大きいＣＵに対して、ＡＦ＿ＩＮＴＥＲモードを適用することができる。ＡＦ＿ＩＮＴＥＲモードが使用されるかを指し示すために、ＣＵレベルでのアフィンフラグがビットストリーム内で信号伝達される。このモードでは、動きベクトルペア｛（ｖ０，ｖ１）｜ｖ０＝｛ｖＡ，ｖＢ，ｖＣ｝，ｖ１＝｛ｖＤ，ｖＥ｝｝を持つ候補リストが、隣接ブロックを用いて構築される。図１６に示すように、ｖ０は、ブロックＡ、Ｂ又はＣの動きベクトルから選択される。隣接ブロックからの動きベクトルは、参照リストと、隣接ブロックに対するリファレンスのＰＯＣ、現在ＣＵに対するリファレンスのＰＯＣ、及び現在ＣＵのＰＯＣの間の関係と、に従ってスケーリングされる。そして、隣接ブロックＤ及びＥからｖ１を選択するアプローチは同様である。候補リストの数が２よりも少ない場合、そのリストは、ＡＭＶＰ候補の各々を複製することによって構成される動きベクトルペアによってパディングされる。候補リストが２より大きい場合、それらの候補が先ず、隣接する動きベクトルの一貫性（ペア候補の２つの動きベクトルの類似度）に従ってソートされ、最初の２つの候補のみが保持される。ＲＤコスト検査を使用して、どの動きベクトルペア候補が現在ＣＵの制御点動きベクトル予測（ＣＰＭＶＰ）として選択されるかを決定する。そして、候補リスト内でのＣＰＭＶＰの位置を指し示すインデックスが、ビットストリーム内で信号伝達される。現在アフィンＣＵのＣＰＭＶＰが決定された後、アフィン動き推定が適用され、制御点動きベクトル（ＣＰＭＶ）が見出される。そして、ＣＰＭＶとＣＰＭＶＰとの差分がビットストリーム内で信号伝達される。
ＡＦ＿ＭＥＲＧＥモードにおいてＣＵが適用されるとき、それは、有効な隣接再構成ブロックからアフィンモードで符号化された最初のブロックを取得する。そして、候補ブロックの選択順序は、図１７Ａに示すように、左から、上、右上、左下、左上である。図１７Ｂに示すように隣接左下ブロックがアフィンモードで符号化される場合、ブロックＡを含むＣＵの左上角、右上角、及び左下角の動きベクトルｖ２、ｖ３、及びｖ４が導出される。そして、現在ＣＵの左上の動きベクトルｖ０が、ｖ２、ｖ３、及びｖ４に従って算出される。次に、現在ＣＵの右上の動きベクトルｖ１が算出される。
現在ＣＵのＣＰＭＶ ｖ０及びｖ１が、単純化されたアフィン動きモデルの式１に従って計算された後、現在ＣＵのＭＶＦが生成される。現在ＣＵがＡＦ＿ＭＥＲＧＥモードで符号化されるかを特定するために、少なくとも１つの隣接ブロックがアフィンモードで符号化されるときに、アフィンフラグがビットストリーム内で信号伝達される。
２．２．７ パターンマッチング動きベクトル導出
パターンマッチング動きベクトル導出（pattern matched motion vector derivation；ＰＭＭＶＤ）モードは、フレームレートアップコンバージョン（Frame-Rate Up Conversion；ＦＲＵＣ）技術に基づく特別なマージモードである。このモードでは、ブロックの動き情報は信号伝達されずにデコーダ側で導出される。
マージフラグが真（true）である場合、ＣＵについてＦＲＵＣフラグが信号伝達される。ＦＲＵＣフラグが偽（false）である場合、マージインデックスが信号伝達され、通常のマージモードが使用される。ＦＲＵＣフラグが真である場合、ブロックについての動き情報を導出するためにどの方法（バイラテラルマッチング又はテンプレートマッチング）が使用されるかを指し示すために、追加のＦＲＵＣモードフラグが信号伝達される。
エンコーダ側で、ＣＵにＦＲＵＣマージモードを使用するかの決定は、通常のマージ候補に関して行われているようなＲＤコスト選択に基づく。すなわち、ＣＵについて、２つのマッチングモード（バイラテラルマッチング及びテンプレートマッチング）がどちらも、ＲＤコスト選択を用いることによって検査される。最小コストにつながる方の１つが更に、他のＣＵモードと比較される。ＦＲＵＣマッチングモードが最も効率的なものである場合、そのＣＵに対してＦＲＵＣフラグが真に設定され、関係付けられたマッチングモードが使用される。
ＦＲＵＣマージモードにおける動き導出プロセスは２つのステップを有する。先ず、ＣＵレベルの動き探索が実行され、サブＣＵレベルの動き精緻化が続く。ＣＵレベルでは、バイラテラルマッチング又はテンプレートマッチングに基づいて、ＣＵ全体に対して当初動きベクトルが導出される。最初にＭＶ候補のリストが生成され、最小マッチングコストにつながる候補が、更なるＣＵレベル精緻化のための出発点として選択される。そして、出発点の周りでのバイラテラルマッチング又はテンプレートマッチングに基づく局所探索が実行され、最小マッチングコストをもたらすＭＶが、ＣＵ全体についてのＭＶとして採られる。続いて、導出されたＣＵ動きベクトルを出発点として、サブＣＵレベルで動き情報が更に精緻化される。
例えば、Ｗ×ＨのＣＵ動き情報導出の場合、以下の導出プロセスが実行される。第１段階にて、Ｗ×Ｈ ＣＵ全体についてのＭＶが導出される。第２段階にて、ＣＵが更にＭ×ＭサブＣＵに分割される。Ｍの値は式（１６）においてと同様に計算され、Ｄは、ＪＥＭではデフォルトで３に設定される予め定められた分割深さである。
Figure 2022525876000004
図１８に示すように、バイラテラルマッチングは、２つの異なる参照ピクチャ内の現在ＣＵの動き軌跡に沿った２つのブロック間で最も近い一致を見出すことによって現在ＣＵの動き情報を導出するために使用される。連続した動き軌跡という仮定の下、２つの参照ブロックを指す動きベクトルＭＶ０及びＭＶ１は、現在ピクチャと２つの参照ピクチャとの間の時間距離、すなわち、ＴＤ０及びＴＤ１に比例したものとなる。特別なケースとして、現在ピクチャが時間的に２つの参照ピクチャの間にあり、且つ現在ピクチャから２つの参照ピクチャまでの時間距離が同じである場合、バイラテラルマッチングはミラーに基づく双方向ＭＶになる。
図１９に示すように、テンプレートマッチングは、現在ピクチャ内のテンプレート（現在ＣＵの上及び／又は左隣接ブロック）と参照ピクチャ内のブロック（テンプレートと同じサイズ）との間で最も近い一致を見出すことによって現在ＣＵの動き情報を導出するために使用される。上述のＦＲＵＣマージモードを除き、テンプレートマッチングはＡＭＶＰモードにも適用される。ＪＥＭでは、ＨＥＶＣで行われているように、ＡＭＶＰは２つの候補を有する。テンプレートマッチング法を用いて、新たな候補が導出される。テンプレートマッチングによって新たに導出された候補が最初の既存のＡＭＶＰ候補と異なる場合、それがＡＭＶＰ候補リストの最初の部分に挿入され、リストサイズが２に設定される（２番目の既存のＡＭＶＰ候補を削除することを意味する）。ＡＭＶＰモードに適用される場合、ＣＵレベル探索のみが適用される。
２．２．７．１ ＣＵレベルＭＶ候補セット
ＣＵレベルで設定されるＭＶ候補は：
（ｉ）現在ＣＵがＡＭＶＰモードにある場合、元のＡＭＶＰ候補
（ｉｉ）全てのマージ候補
（ｉｉｉ）セクション０で紹介した、補間ＭＶフィールド内の幾つかのＭＶ
（ｉｖ）上及び左隣接動きベクトル
で構成される。
バイラテラルマッチングを使用する場合、マージ候補の妥当なＭＶの各々が、バイラテラルマッチングを仮定したＭＶペアを生成するための入力として用いられる。例えば、マージ候補の１つの妥当なＭＶが参照リストＡにおける（ＭＶａ，ｒｅｆａ）である。すると、それとペアにされたバイラテラルＭＶの参照ピクチャｒｅｆｂが、ｒｅｆａとｒｅｆｂとが時間的に現在ピクチャの異なる側にあるようにして、他方の参照リストＢ内で見出される。そのようなｒｅｆｂが参照リストＢ内で得られない場合、ｒｅｆｂは、リストＢ内の、ｒｅｆａとは異なり且つ現在ピクチャに対する時間距離が最小のリファレンスとして決定される。ｒｅｆｂが決定された後、現在ピクチャとｒｅｆａ及びｒｅｆｂとの間の時間距離に基づいてＭＶａをスケーリングすることによって、ＭＶｂが導出される。
補間ＭＶフィールドからの４つのＭＶもＣＵレベル候補リストに加えられる。より具体的には、現在ＣＵの位置（０，０）、（Ｗ／２，０）、（０，Ｈ／２）及び（Ｗ／２，Ｈ／２）における補間ＭＶが追加される。
ＦＲＵＣがＡＭＶＰモードで適用される場合、元のＡＭＶＰ候補もＣＵレベルＭＶ候補セットに加えられる。
ＣＵレベルでは、ＡＭＶＰ ＣＵに対する最大１５個のＭＶと、マージＣＵに対する最大１３個のＭＶとが、候補リストに加えられる。
２．２．７．２ サブＣＵレベルＭＶ候補セット
サブＣＵレベルで設定されるＭＶ候補は：
（ｉ）ＣＵレベル探索から決定されるＭＶ
（ｉｉ）上、左、左上、及び右上隣接ＭＶ
（ｉｉｉ）参照ピクチャからのコロケートＭＶをスケーリングしたもの
（ｉｖ）最大４つのＡＴＭＶＰ候補
（ｖ）最大４つのＳＴＭＶＰ候補
で構成される。
参照ピクチャからのスケーリングされたＭＶは、以下のように導出される。両方のリスト内の全ての参照ピクチャが検討される。参照ピクチャ内のサブＣＵのコロケート位置におけるＭＶが、出発ＣＵレベルＭＶのリファレンスにスケーリングされる。
ＡＴＭＶＰ及びＳＴＭＶＰ候補は、最初の４つの候補に限られる。
サブＣＵレベルでは、最大１７個のＭＶが候補リストに加えられる。
２．２．７．３ 補間ＭＶフィールドの生成
フレームを符号化する前に、ピクチャ全体に対して、ユニラテラルＭＥに基づいて補間動きフィールドが生成される。そして、動きフィールドは、後に、ＣＵレベル又はサブＣＵレベルＭＶ候補として使用され得る。
先ず、両方の参照リスト内の各参照ピクチャの動きフィールドが、４×４ブロックレベルで検討される。各４×４ブロックについて、現在ピクチャ内の４×４ブロックとそのブロックとを通る（図２０に示すように）そのブロックに関連する動きに、如何なる補間された動きも割り当てられていない場合、参照ブロックの動きが、時間距離ＴＤ０及びＴＤ１に従って現在ピクチャにスケーリングされ（ＨＥＶＣでのＴＭＶＰのＭＶスケーリングと同じやり方）、スケーリングされた動きが、現在フレーム内のブロックに割り当てられる。ある４×４ブロックに、スケーリングされたＭＶが割り当てられていない場合、そのブロックの動きは、補間動きフィールドにおいて利用可能でないとしてマークされる。
２．２．７．４ 補間及びマッチングコスト
動きベクトルが分数サンプル位置を指すとき、動き補償補間が必要とされる。複雑さを低減させるため、バイラテラルマッチング及びテンプレートマッチングの両方で、通常の８タップＨＥＶＣ補間の代わりにバイリニア補間が使用される。
マッチングコストの計算は、異なるステップで少し異なる。ＣＵレベルで候補セットから候補を選択するとき、マッチングコストは、バイラテラルマッチング又はテンプレートマッチングの絶対和差（ＳＡＤ）である。出発ＭＶが決定された後、サブＣＵレベル探索におけるバイラテラルマッチングのマッチングコストＣが、次のように計算され：
Figure 2022525876000005
 ここで、ｗは、経験的に４に設定される重み係数であり、ＭＶ及びＭＶｓは、それぞれ、現在ＭＶ及び出発ＭＶを指す。サブＣＵレベル探索におけるテンプレートマッチングのマッチングコストとして、ＳＡＤが依然として使用される。
ＦＲＵＣモードでは、ＭＶは、ルマサンプルのみを使用して導出される。導出された動きがＭＣインター予測のためにルマ及びクロマの両方に使用されることになる。ＭＶが決定された後、ルマに対しては８タップ補間フィルタを使用し、クロマに対しては４タップ補間フィルタを使用して、最終的なＭＣが実行される。
２．２．７．５ ＭＶ精緻化
ＭＶ精緻化は、バイラテラルマッチングコスト又はテンプレートマッチングコストの基準を用いたパターンベースのＭＶ探索である。ＪＥＭでは、無制限中心バイアスダイヤモンド探索（unrestricted center-biased diamond search；ＵＣＢＤＳ）と、ＣＵレベル及びサブＣＵレベルでのＭＶ精緻化のための適応クロス探索との、２つの探索パターンがサポートされている。ＣＵレベル及びサブＣＵレベルの両方のＭＶ精緻化で、ＭＶは１／４ルマサンプルＭＶ精度で直接探索され、これに１／８ルマサンプルＭＶ精緻化が続く。ＣＵ及びサブＣＵステップのＭＶ精緻化の探索範囲は、８ルマサンプルに等しく設定される。
２．２．７．６ テンプレートマッチングＦＲＵＣマージモードにおける予測方向の選択
バイラテラルマッチングマージモードでは、２つの異なる参照ピクチャ内の現在ＣＵの動き軌跡に沿った２つのブロック間の最も近い一致に基づいてＣＵの動き情報が導出されるので、双予測が常に適用される。テンプレートマッチングマージモードには、そのような制限はない。テンプレートマッチングマージモードにおいて、エンコーダは、ｌｉｓｔ０からの片予測、ｌｉｓｔ１からの片予測、又はＣＵに対する双予測の中から選択することができる。この選択は、次のようにテンプレートマッチングのコストに基づく：
ｃｏｓｔＢｉ＜＝ｆａｃｔｏｒ＊ｍｉｎ（ｃｏｓｔ０，ｃｏｓｔ１）である場合、
双予測が使用される；
そうでなく、ｃｏｓｔ０＜＝ｃｏｓｔ１である場合、
ｌｉｓｔ０からの片予測が使用される；
その他の場合、
ｌｉｓｔ１からの片予測が使用される；
ここで、ｃｏｓｔ０はｌｉｓｔ０テンプレートマッチングのＳＡＤであり、ｃｏｓｔ１はｌｉｓｔ１テンプレートマッチングのＳＡＤであり、ｃｏｓｔＢｉは双予測テンプレートマッチングのＳＡＤである。ｆａｃｔｏｒの値は１．２５に等しく、これは、この選択プロセスが双予測の方にバイアスされることを意味する。
インター予測方向選択は、ＣＵレベルテンプレートマッチングプロセスにのみ適用される。
２．２．８ 一般化双予測改良
ＪＶＥＴ－Ｌ０６４６で提案される一般化Ｂｉ予測改良（ＧＢｉ）がＶＴＭ－－３．０に採用されている。
ＧＢｉはＪＶＥＴ－Ｃ００４７で提案された。ＪＶＥＴ－Ｋ０２４８はＧＢｉでの利得－複雑性トレードオフを改善し、ＢＭＳ２．１に採用された。ＢＭＳ２．１ ＧＢｉは、双予測モードでＬ０からの予測子とＬ１からの予測子とに不均等な重みを適用する。インター予測モードでは、等しい重みペア（１／２，１／２）を含む複数の重みペアがレート歪み最適化（ＲＤＯ）に基づいて評価され、選択された重みペアのＧＢｉインデックスがデコーダに信号伝達される。マージモードでは、ＧＢｉインデックスは隣接ＣＵから継承される。ＢＭＳ２．１ ＧＢｉでは、双予測モードでの予測子生成が式（１）に示される。
ＰＧＢｉ＝（ｗ０＊ＰＬ０＋ｗ１＊ＰＬ１＋RoundingOffsetGBi）＞＞shiftNumGBi
であり、ここで、ＰＧＢｉはＧＢｉの最終予測子であり、ｗ０及びｗ１は選択されたＧＢｉ重みペアであり、それぞれ、リスト０（Ｌ０）及びリスト１（Ｌ１）の予測子に適用される。RoundingOffsetGBi及びshiftNumGBiは、ＧＢｉにおける最終予測子を正規化するために用いられる。サポートされるｗ１重みセットは｛－１／４，３／８，１／２，５／８，５／４｝であり、これら５つの重みは、１つの等しい重みペア及び４つの等しくない重みペアに対応する。混合利得、すなわち、ｗ１とｗ０との和は１．０に固定される。従って、対応するｗ０重みセットは｛５／４，５／８，１／２，３／８，－１／４｝である。この重みペア選択はＣＵレベルにおいてである。
非低遅延ピクチャでは、重みセットサイズが５から３に縮小され、ｗ１重みセットは｛３／８，１／２，５／８｝であり、ｗ０重みセットは｛５／８，１／２，３／８｝である。非低遅延ピクチャに対する重みセットサイズ縮小は、ＢＭＳ２．１ ＧＢｉ及びこの寄稿における全てのＧＢｉテストに適用される。
このＪＶＥＴ－Ｌ０６４６では、ＧＢｉ性能を更に向上させるために、ＪＶＥＴ－Ｌ０１９７とＪＶＥＴ－Ｌ０２９６とに基づく１つの組み合わせソリューションが提案されている。具体的には、ＢＭＳ２．１の既存のＧＢｉ設計の上に以下の変更が適用される。
２．２．８．１ ＧＢｉエンコーダバグ修正
ＧＢｉ符号化時間を短縮するために、現行エンコーダ設計では、エンコーダは、４／８に等しいＧＢｉ重みから推定された片予測動きベクトルを記憶し、それらを他のＧＢｉ重みの片予測探索のために再利用する。この高速な符号化方法は、並進動きモデル及びアフィン動きモデルの両方に適用される。ＶＴＭ２．０では、６パラメータアフィンモデルが４パラメータアフィンモデルと共に採用された。ＢＭＳ２．１エンコーダは、ＧＢｉ重みが４／８に等しいときの片予測アフィンＭＶを記憶する場合に、４パラメータアフィンモデルと６パラメータアフィンモデルとを区別しない。従って、ＧＢｉ重み４／８で符号化した後、４パラメータアフィンＭＶが６パラメータアフィンＭＶによって上書きされ得る。記憶された６パラメータアフィンＭＶが、他のＧＢｉ重みに対する４パラメータアフィンＭＥに使用されることができ、あるいは、格納された４パラメータアフィンＭＶが、６パラメータアフィンＭＥに使用されることができる。提案されるＧＢｉエンコーダバグ修正は、４パラメータアフィンＭＶストレージと６パラメータアフィンＭＶストレージとを分離する。当該エンコーダは、ＧＢｉ重みが４／８に等しい場合に、アフィンモデルタイプに基づいてそれらのアフィンＭＶを記憶し、他のＧＢｉ重みについては、アフィンモデルタイプに基づいて対応するアフィンＭＶを再利用する。
２．２．８．２
ＧＢｉエンコーダ高速化
ＧＢｉを有効にされるときに符号化時間を短縮するために、５つのエンコーダ高速化方法が提案されている。
（１）一部のＧＢｉ重みについてのアフィン動き推定を条件付きでスキップする。
ＢＭＳ２．１では、４パラメータ及び６パラメータアフィンＭＥを含むアフィンＭＥが全てのＧＢｉ重みについて実行される。我々は、等しくないＧＢｉ重み（４／８に等しくない重み）についてのアフィンＭＥを条件付きでスキップすることを提案する。具体的には、アフィンＭＥは、４／８のＧＢｉ重みを評価した後にアフィンモードが現在の最良モードとして選択され且つそれがアフィンマージモードではない場合にのみ、他のＧＢｉ重みについて実行される。現在ピクチャが非低遅延ピクチャである場合、アフィンＭＥが実行されるとき、並進モデルの双予測ＭＥが、等しくないＧＢｉ重みについてスキップされる。アフィンモードが現在の最良モードとして選択されない場合、又はアフィンマージが現在の最良モードとして選択される場合、アフィンＭＥは他の全てのＧＢｉ重みについてスキップされる。
（２）１ペル及び４ペルＭＶＤ精度での符号化において低遅延ピクチャに対するＲＤコスト検査のための重みの数を削減する。
低遅延ピクチャでは、１／４ペル、１ペル及び４ペルを含む全てのＭＶＤ精度でのＲＤコスト検査に関して５つの重みが存在する。エンコーダは先ず１／４ペルＭＶＤ精度でのＲＤコストを検査することになる。我々は、１ペル及び４ペルＭＶＤ精度でのＲＤコスト検査に関して、ＧＢｉ重みの一部をスキップすることを提案する。我々は、１／４ペルＭＶＤ精度でのそれらのＲＤコストに従って、それらの等しくない重みを順序付ける。最小のＲＤコストを有する最初の２つの重みのみが、ＧＢｉ重み４／８と共に、１ペル及び４ペルＭＶＤ精度での符号化において評価されることになる。従って、低遅延ピクチャに対して、多くて３つの重みが１ペル及び４ペルＭＶＤ精度について評価されることになる。
（３）Ｌ０参照ピクチャとＬ１参照ピクチャとが同じである場合に双予測探索を条件付きでスキップする。
ＲＡにおける一部のピクチャでは、同じピクチャが両方の参照ピクチャリスト（ｌｉｓｔ－０及びｌｉｓｔ－１）内に発生することがある。例えば、ＣＴＣにおけるランダムアクセス符号化構成では、第１のグループオブピクチャ（ＧＯＰ）に対する参照ピクチャ構造は次のようにリスト化される：
ＰＯＣ：１６、ＴＬ：０、［Ｌ０：０］［Ｌ１：０］
ＰＯＣ：８、ＴＬ：１、［Ｌ０：０ １６］ ［Ｌ１：１６ ０］
ＰＯＣ：４、ＴＬ：２、［Ｌ０：０ ８］ ［Ｌ１：８ １６］
ＰＯＣ：２，ＴＬ：３，［Ｌ０：０ ４］ ［Ｌ１：４ ８］
ＰＯＣ：１、ＴＬ：４、［Ｌ０：０ ２］ ［Ｌ１：２ ４］
ＰＯＣ：３、ＴＬ：４、［Ｌ０：２ ０］ ［Ｌ１：４ ８］
ＰＯＣ：６，ＴＬ：３，［Ｌ０：４ ０］ ［Ｌ１：８ １６］
ＰＯＣ：５、ＴＬ：４、［Ｌ０：４ ０］ ［Ｌ１：６８］
ＰＯＣ：７、ＴＬ：４、［Ｌ０：６ ４］ ［Ｌ１：８ １６］
ＰＯＣ：１２、ＴＬ：２、［Ｌ０：８ ０］ ［Ｌ１：１６ ８］
ＰＯＣ：１０、ＴＬ：３、［Ｌ０：８ ０］ ［Ｌ１：１２ １６］
ＰＯＣ：９、ＴＬ：４、［Ｌ０：８ ０］ ［Ｌ１：１０ １２］
ＰＯＣ：１１、ＴＬ：４、［Ｌ０：１０ ８］ ［Ｌ１：１２ １６］
ＰＯＣ：１４、ＴＬ：３、［Ｌ０：１２ ８］ ［Ｌ１：１２ １６］
ＰＯＣ：１３、ＴＬ：４、［Ｌ０：１２ ８］ ［Ｌ１：１４ １６］
ＰＯＣ：１５、ＴＬ：４、［Ｌ０：１４ １２］ ［Ｌ１：１６ １４］
ピクチャ１６、８、４、２、１、１２、１４、及び１５が両方のリスト内で同じ参照ピクチャを持つことが分かる。これらのピクチャに対する双予測では、Ｌ０とＬ１とで参照ピクチャが同じであることが可能である。我々は、１）双予測における２つの参照ピクチャが同一であり、且つ２）時間層が１より大きく、且つ３）ＭＶＤ精度が１／４ペルである場合に、等しくないＧＢｉ重みについての双予測ＭＥをエンコーダがスキップすることを提案する。アフィン双予測ＭＥでは、この高速スキップ法は４パラメータアフィンＭＥにのみ適用される。
（４）時間層及び参照ピクチャと現在ピクチャとの間のＰＯＣ距離に基づいて、等しくないＧＢｉ重みについてのＲＤコスト検査をスキップする。
我々は、時間層が４（ＲＡにおける最も高い時間層）に等しい、又は参照ピクチャ（ｌｉｓｔ－０又はｌｉｓｔ－１のいずれか）と現在ピクチャとの間のＰＯＣ距離が１に等しく、符号化ＱＰが３２より大きい場合に、等しくないＧＢｉ重みについてのＲＤコスト評価をスキップすることを提案する。
（５）ＭＥにおける等しくないＧＢｉ重みについて浮動小数点計算を固定小数点計算に変更する。
既存の双予測探索で、エンコーダは１つのリストのＭＶを固定し、もう１つのリストのＭＶを精緻化する。計算の複雑さを低減させるために、ターゲットがＭＥの前に修正される。例えば、ｌｉｓｔ－１のＭＶが固定され、エンコーダがｌｉｓｔ－０のＭＶを精緻化する場合、ｌｉｓｔ－０のＭＶ精緻化のターゲットが式（５）で修正される。Ｏは元の信号であり、Ｐ１はｌｉｓｔ－１の予測信号である。ｗはｌｉｓｔ－１に対するＧＢｉ重みである。
Figure 2022525876000006
ここで、項（１／（８－ｗ））は浮動小数点精度にて格納され、それが計算の複雑さを増す。我々は、式（５）を式（６）：
Figure 2022525876000007
 として固定小数点に変更することを提案し、ここで、ａ１及びａ２はスケーリング係数であり、
Figure 2022525876000008
 として計算される。
２．２．８．３ ＧＢｉに対するＣＵサイズ制約
この方法では、小さいＣＵに対してＧＢｉが無効にされる。インター予測モードにおいて、双予測が使用され且つＣＵ領域が１２８ルマサンプルより小さい場合、如何なる信号伝達もなくＧＢｉが無効にされる。
２．２．９ 双方向オプティカルフロー
２．２．９．１ 理論解析
ＢＩＯでは、現在ブロックの（各予測方向における）第１の予測を生成するために、先ず、動き補償が実行される。第１の予測を用いて、ブロック内の各サブブロック／ピクセルの空間勾配、時間勾配、及びオプティカルフローが導出され、次いで、それらを用いて、第２の予測、すなわち、サブブロック／ピクセルの最終予測が生成される。詳細は以下のとおりである。
双方向オプティカルフロー（ＢＩＯ）は、双方向予測のためのブロックごとの動き補償に加えて実行されるサンプルごとの動き精緻化である。このサンプルレベルの動き精緻化は信号伝達を使用しない。
図２１は、オプティカルフロー軌跡の一例を示している。
ブロック動き補償後のリファレンスｋ（ｋ＝０，１）からのルマ値をＩ（ｋ）とし、∂Ｉ（ｋ）／∂ｘ、∂Ｉ（ｋ）／∂ｙは、それぞれ、Ｉ（ｋ）勾配の水平成分及び垂直成分である。オプティカルフローが妥当であると仮定すると、動きベクトルフィールド（ｖｘ，ｖｙ）は式：
Figure 2022525876000009
 によって与えられる。
このオプティカルフローの式を各サンプルの動き軌跡に対するエルミート補間と組み合わせると、両端で関数値Ｉ（ｋ）及び導関数∂Ｉ（ｋ）／∂ｘ、∂Ｉ（ｋ）／∂ｙの両方に一致する固有の三次多項式が得られる。ｔ＝０におけるこの多項式の値がＢＩＯ予測：
Figure 2022525876000010
 である。
ここで、τ０及びτ１は、図２１に示すように参照フレームまでの距離を表す。拒理τ０及びτ１は、Ｒｅｆ０及びＲｅｆ１に関するＰＯＣに基づいて、τ０＝ＰＯＣ（現在）－ＰＯＣ（Ｒｅｆ０）、τ１＝ＰＯＣ（Ｒｅｆ１）－ＰＯＣ（現在）と計算される。両方の予測が同じ時間方向からのものである（両方とも過去から又は両方とも未来からのいずれかである）場合、符号が異なる（すなわち、τ０・τ１＜０）。この場合、ＢＩＯは、予測が同一の時点からでなく（すなわち、τ０≠τ１）、両方の参照領域が非ゼロの動きを持ち（ＭＶｘ０，ＭＶｙ０，ＭＶｘ１，ＭＶｙ１≠０）、且つブロック動きベクトルが時間距離に比例する（ＭＶｘ０／ＭＶｘ１＝ＭＶｙ０／ＭＶｙ１＝－τ０／τ１）場合にのみ適用される。
動きベクトルフィールド（ｖｘ，ｖｙ）は、（図９の動き軌跡と参照フレーム面との交点である）点Ａと点Ｂとの間での値の差Δを最小化することによって決定される。モデルは、Δに関する局所テイラー展開：
Figure 2022525876000011
 の最初の１次項のみを使用する。
式（９）の全ての値は、これまでの表記から省略していたサンプル位置（ｉ’，ｊ’）に依存する。動きが局所的な周囲領域内で一貫していると仮定し、我々は、Ｍは２に等しいとして、現在予測している点（ｉ，ｊ）を中心とした（２Ｍ＋１）×（２Ｍ＋１）の正方形ウィンドウΩの内側でΔを最小化する：
Figure 2022525876000012
この最適化問題に対して、ＪＥＭは、最初に垂直方向、次に水平方向に最小化する単純化したアプローチを使用する。それは、
Figure 2022525876000013
 を生じさせ、ここで、
Figure 2022525876000014
 である。
ゼロ又は非常に小さい値による除算を回避するために、正規化パラメータｒ及びｍが式（１１）及び（１２）に導入されている。
Figure 2022525876000015
ここで、ｄは映像サンプルのビット深度である。
ＢＩＯのためのメモリアクセスを通常の双予測動き補償と同じに保つために、全ての予測及び勾配値Ｉ（ｋ）、∂Ｉ（ｋ）／∂ｘ、∂Ｉ（ｋ）／∂ｙが、現在ブロックの内側の位置についてのみ計算される。式（１３）において、予測ブロックの境界上の現在予測している点を中心とする（２Ｍ＋１）×（２Ｍ＋１）の正方形ウィンドウΩは、（図２２Ａに示すように）ブロックの外側の位置にアクセスする必要がある。ＪＥＭでは、ブロックの外側のＩ（ｋ）、∂Ｉ（ｋ）／∂ｘ、∂Ｉ（ｋ）／∂ｙの値は、ブロックの内側の最も近い利用可能な値に等しく設定される。例えば、これは、図２２Ｂに示すように、パディングとして実装されることができる。
ＢＩＯを用いると、各サンプルに対して動きフィールドを精緻化することが可能である。計算の複雑さを低減させるために、ＪＥＭではＢＩＯのブロックベース設計が使用される。その動き精緻化は、４×４ブロックに基づいて計算される。ブロックベースのＢＩＯでは、４×４ブロック内の全てのサンプルの式（１３）中のｓｎの値が集約され、そして、ｓｎの集約値を用いて、その４×４ブロックについてのＢＩＯ動きベクトルオフセットが導出される。より具体的には、ブロックベースのＢＩＯ導出のために、次式：
Figure 2022525876000016
 が使用され、ここで、ｂｋは、予測ブロックのｋ番目の４×４ブロックに属するサンプルの集合を表す。関連する動きベクトルオフセットを導出するために、式（１１）及び（１２）中のｓｎが（（ｓｎ，ｂｋ）＞＞４）によって置き換えられる。
一部のケースで、ＢＩＯのＭＶ精緻化は、ノイズ又は不規則な動きのために信頼できないものであるかもしれない。従って、ＢＩＯでは、ＭＶ精緻化の大きさが閾値ｔｈＢＩＯにクリップされる。この閾値は、現在ピクチャの参照ピクチャが全て一方向からであるかに基づいて決定される。現在ピクチャの全ての参照ピクチャが一方向からである場合、閾値の値は１２×２１４－ｄに設定され、そうでない場合には、それは１２×２１３－ｄに設定される。
ＢＩＯに関する勾配は、ＨＥＶＣ動き補償プロセス（２Ｄ分離可能ＦＩＲ）と一貫した演算を使用して、動き補償補間と同時に計算される。この２Ｄ分離可能ＦＩＲの入力は、動き補償プロセスと同じ参照フレームサンプル、及びブロック動きベクトルの分数部に従った分数位置（fracX，fracY）である。水平勾配∂Ｉ／∂ｘの場合、先ず、デスケーリングシフトｄ－８をした分数位置ｆｒａｃＹに対応するBIOfilterSを用いて信号が垂直に補間され、次いで、１８－ｄだけデスケーリングシフトをした分数位置fracXに対応するBIOfilterGが水平方向に適用される。垂直勾配∂Ｉ／∂ｙの場合、先ず、デスケーリングシフトｄ－８をした分数位置fracYに対応するBIOfilterGを用いて垂直に勾配フィルタが適用され、次いで、１８－ｄだけデスケーリングシフトをした分数位置fracXに対応するBIOfilterSを用いて水平方向に信号変位が行われる。勾配計算用の補間フィルタBIOfilterG及び信号変位用の補間フィルタBIOfilterFの長さは、合理的な複雑さを維持するためにいっそう短く（６タップ）される。表１は、ＢＩＯにおけるブロック動きベクトルの異なる分数位置に対する勾配計算に使用されるフィルタを示している。
表２は、ＢＩＯにおける予測信号生成に使用される補間フィルタを示している。
Figure 2022525876000017
Figure 2022525876000018
ＪＥＭでは、ＢＩＯは、２つの予測が異なる参照ピクチャからである場合に、全ての双予測ブロックに適用される。ＣＵに対してＬＩＣが有効にされる場合には、ＢＩＯは無効にされる。
ＪＥＭでは、ＯＢＭＣが通常のＭＣプロセス後にブロックに適用される。計算の複雑さを低減させるために、ＢＩＯはＯＢＭＣプロセス中には適用されない。これが意味することは、ＢＩＯは、自身のＭＶを使用するときのブロックに対するＭＣプロセスにおいてのみ適用され、ＯＢＭＣプロセスにおいて隣接ブロックのＭＶが使用されるときのＭＣプロセスにおいては適用されない。
２．２．９．２ ＪＶＥＴ－Ｌ０２５６で提案されているＶＴＭ－３．０におけるＢＩＯ
ステップ１：ＢＩＯが適用可能であるかを判定する（ＷおよびＨは現在ブロックの幅及び高さである）。
以下の場合、ＢＩＯは適用可能でない：
・ アフィン符号化される
・ ＡＴＭＶＰ符号化される
・ （iPOC－iPOC0）＊（iPOC－iPOC1）＞＝０
・ Ｈ＝＝４又は（Ｗ＝＝４且つＨ＝＝８）
・ 重み付け予測を用いる
・ ＧＢｉ重みが（１，１）でない。
以下の場合、ＢＩＯは使用されない：
－ ２つの参照ブロック（Ｒ０及びＲ１と表記）の間の合計ＳＡＤが閾値よりも小さい。
Figure 2022525876000019
ステップ２：データ準備
Ｗ×Ｈブロックに対し、（Ｗ＋２）×（Ｈ＋２）サンプルが補間される。
内側のＷ×Ｈサンプルは、通常の動き補償においてと同様に８タップ補間フィルタで補間される。
サンプルの４辺の外側ライン（図２３の黒丸）は、バイリニアフィルタで補間される。
各位置について、２つの参照ブロック（Ｒ０及びＲ１と表記される）上で勾配が計算される：
Gx0(x,y)=(R0(x+1,y)-R0(x-1,y))>>4
Gy0(x,y)=(R0(x,y+1)-R0(x,y-1))>>4
Gx1(x,y)=(R1(x+1,y)-R1(x-1,y))>>4
Gy1(x,y)=(R1(x,y+1)-R1(x,y-1))>>4。
各位置について、内部値が
T1=(R0(x,y)>>6)-(R1(x,y)>>6)，T2=(Gx0(x,y)+Gx1(x,y))>>3，T3=(Gy0(x,y)+Gy1(x,y))>>3
B1(x,y)=T2*T2，B2(x,y)=T2*T3，B3(x,y)=-T1*T2，B5(x,y)=T3*T3，B6(x,y)=-T1*T3
として計算される。
ステップ３：各ブロックについての予測を計算する
２つの４×４参照ブロック間のＳＡＤが閾値より小さい場合、ＢＩＯは４×４ブロックに対してスキップされる。
Ｖｘ及びＶｙを計算する。
４×４ブロック内の各位置について最終予測値を計算する：
b(x,y)=(Vx(Gx0(x,y)-Gx1(x,y))+Vy(Gy0(x,y)-Gy1(x,y))+1)>>1
P(x,y)=(R0(x,y)+R1(x,y)+b(x,y)+offset)>>shift。
ｂ（ｘ，ｙ）は補正項として知られている。
２．２．９．３ ＶＴＭ－３．０におけるＢＩＯ
以下のセクション番号は、ＶＶＣ標準文書の最新版におけるセクションを参照している。
８．３．４ インターブロックの復号プロセス
－ predFlagL0及びpredFlagL1が１に等しく、DiffPicOrderCnt(currentPic、refPicList0[refIdx0])*DiffPicOrderCnt(currPic,refPicList1[refIdx1])<0であり、MotionModelIdc[xCb][yCb]が０に等しく、且つMergeModeList[merge_idx[xCb]][yCb]]がSbColに等しくない場合、bioAvailablegの値をTRUEに設定する。
－ それ以外の場合、bioAvailableFlagの値をFALSEに設定する。
．．．（元の仕様書のテキストが続く）
－ bioAvailableFlagがTRUEに等しい場合、以下が適用される：
－ 変数ShiftがMax(2,14-bitDepth)に等しく設定される。
－ 変数cuLevelAbsDiffThres及びsubCuLevelAbsDiffThresが、(1<<(bitDepth-8+shift))*cbWidth*cbHeight及び1<<(bitDepth-3+shift)に等しく設定される。変数cuLevelSumAbsoluteDiffが０に設定される。
－ xSbIdx=0..(cbWidth>>2)-1及びySbIdx=0..(cbHeight>>2)-1に対し、変数subCuLevelSumAbsoluteDiff[xSbIdx][ySbIdx]及び現在サブブロックの双方向オプティカルフロー利用フラグbioUtilizationFlag[xSbIdx][ySbIdx]が、次のように導出される：
i,j=0..3で、subCuLevelSumAbsoluteDiff[xSbIdx][ySbIdx]＝ΣiΣj
Abs(predSamplesL0L[(xSbIdx<<2)+1+i][(ySbIdx<<2)+1+j]－

predSamplesL1L[(xSbIdx<<2)+1+i][(ySbIdx<<2)+1+j])
bioUtilizationFlag[xSbIdx][ySbIdx]＝
subCuLevelSumAbsoluteDiff[xSbIdx][ySbIdx]>=subCuLevelAbsDiffThres
cuLevelSumAbsoluteDiff+=subCuLevelSumAbsoluteDiff[xSbIdx][ySbIdx]
－ cuLevelSumAbsoluteDiffがcuLevelAbsDiffThresより小さい場合、bioAvailableFlagをFALSEに設定する。
－ bioAvailableFlagがTRUEに等しい場合、現在ルマ符号化サブブロック内の予測サンプルである、xL=0..sbWidth-1及びyL=0..sbHeight-1でのpredSamplesL[xL+xSb][yL+ySb]が、ルマ符号化サブブロック幅sbWidth、ルマ符号化サブブロック高さsbHeight、サンプルアレイpreSamplesL0L及びpreSamplesL1L、並びに変数predFlagL0、predFlagL1、refIdxL0、refIdxL1を用いて、節８．３．４．５に規定される双方向オプティカルフローサンプル予測プロセスを呼び出すことによって導出される。
８．３．４．３ 分数サンプル補間プロセス
８．３．４．３．１ 全般
このプロセスへのインプットは以下の通りである：
－ 現在ピクチャの左上ルマサンプルに対して現在符号化サブブロックの左上サンプルを規定するルマ位置(xSb,ySb)、
－ ルマサンプル内の現在符号化サブブロックの幅を規定する変数sbWidth、
－ ルマサンプル内の現在符号化サブブロックの高さを規定する変数sbHeight、
－ １／１６ルマサンプル単位で与えられるルマ動きベクトルmvLX、
－ １／３２クロマサンプル単位で与えられるクロマ動きベクトルmvCLX、
－ 選択された参照ピクチャサンプルアレイrefPicLXL並びにアレイrefPicLXCb及びrefPicLXCr、
－ 双方向オプティカルフロー有効化フラグbioAvailableFlag。
このプロセスの出力は以下である：
－ bioAvailableFlagがFALSEである場合の、予測ルマサンプル値の（sbWidth）×（sbHeight）アレイpredSamplesLXL、又はbioAvailableFlagがTRUEである場合の、予測ルマサンプル値の（sbWidth＋２）×（sbHeight＋２）アレイpredSamplesLXL、
－ 予測クロマサンプル値の２つの（sbWidth／２）×（sbHeight／２）アレイpreSamplesLXCb及びpreSamplesLXCr。
(xIntL,yIntL)をフルサンプル単位で与えられるルマ位置とし、(xFracL,yFracL)を１／１６サンプル単位で与えられるオフセットとする。これらの変数は、参照サンプルアレイrefPicLXL、refPicLXCb、及びrefPicLXCrの内側の分数サンプルの位置を規定するためにこの節でのみ使用される。
bioAvailableFlagがTRUEに等しい場合、予測ルマサンプルアレイpreSamplesLXLの内側の各ルマサンプル位置（xL=-1..sbWidth，yL=-1..sbHeight）について、対応する予測ルマサンプル値preSamplesLXL[xL][yL]が次のように導出される：
－ 変数xIntL、yIntL、xFracL及びyFracLが、次のように導出される：
xIntL=xSb-1+(mvLX[0]>>4)+xL
yIntL=ySb-1+(mvLX[1]>>4)+yL
xFracL=mvLX[0]&15
yFracL=mvLX[1]&15
－ bilinearFiltEnabledFlagの値が次のように導出される：
－ xLが－１又はsbWidthに等しい場合、又はyLが－１又はsbHeightに等しい場合、bilinearFiltEnabledFlagの値をTRUEに設定する。
－ それ以外の場合、bilinearFiltEnabledFlagの値をFALSEに設定する。
－ (xIntL,yIntL)、(xFracL,yFracL)、refPicLXL、bilinearFiltEnabledFlagを入力として、第８．３．４．３．２項に規定されるプロセスを呼び出すことによって、予測ルマサンプル値predSamplesLXL[xL][yL]が導出される。
bioAvailableFlagがFALSEに等しい場合、予測ルマサンプルアレイpreSamplesLXLの内側の各ルマサンプル位置（xL=0..sbWidth-1，yL=0..sbHeight-1）について、対応する予測ルマサンプル値preSamplesLXL[xL][yL]が以下のように導出される：
－ 変数xIntL、yIntL、xFracL及びyFracLが、次のように導出される：
xIntL=xSb+(mvLX[0]>>4)+xL
yIntL=ySb+(mvLX[1]>>4)+yL
xFracL=mvLX[0]&15
yFracL=mvLX[1]&15
－ 変数bilinearFiltEnabledFlagがFALSEに設定される。
－ (xIntL,yIntL)、(xFracL,yFracL)、refPicLXL、bilinearFiltEnabledFlagを入力として、第８．３．４．３．２項に規定されるプロセスを呼び出すことによって、予測ルマサンプル値predSamplesLXL[xL][yL]が導出される。
．．．（元の仕様書のテキストが続く）
８．３．４．５ 双方向オプティカルフロー予測プロセス
このプロセスへの入力は以下である：
－ 現在符号化ブロックの幅及び高さを規定する２つの変数nCbW及びnCbH、
－ ２つの（nCbW＋２）×（nCbH＋２）ルマ予測サンプルアレイｐredSamplesL0及びpredSamplesL1、
－ 予測リスト利用フラグpredFlagL0及びpredFlagL1、
－ 参照インデックスrefIdxL0及びrefIdxL1、
－ xSbIdx=0..(nCbW>2)-1、ySbIdx=0...(nCbH>2)-1での、双方向オプティカルフロー利用フラグbioUtilizationFlag[xSbIdx][ySbIdx]。
このプロセスの出力は、ルマ予測サンプル値の（nCbW）×（nCbH）アレイpbSamplesである。
変数bitDepthが、BitDepthYに等しく設定される。
変数shift2が、Max(3,15-bitDepth）に等しく設定され、変数offset2が、1<<(shift2-1)に等しく設定される。
変数mvRefinesThresが、1<<(13-bitDepth)に等しく設定される。
xSbIdx=0..(nCbW>>2)-1及びySbIdx=0..(nCbH>>2)-1に対し、
－ bioUtilizationFlag[xSbIdx][ySbIdx]がFALSEである場合、x=xSb..xSb+3、y=ySb..ySb+3に対して、現在予測ユニットの予測サンプル値が次のように導出される：
pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1，
(predSamplesL0[x][y]+predSamplesL1[x][y]+offset2)>>shift2)
－ それ以外の場合、現在予測ユニットの予測サンプル値は次のように導出される：
－ 予測サンプルアレイpredSamplesL0及びpredSampleL1の左上サンプルに対して現在サブブロックの左上サンプルを規定する位置（xSb，ySb）が、次のように導出される：
xSb=(xSbIdx<<2)+1
ySb=(ySbIdx<<2)+1
－ x=xSb-1..xSb+4、y=ySb-1..ySb+4に対して、以下が適用される：
－ 予測サンプルアレイの内側の対応するサンプル（ｘ，ｙ）の各々についての位置（ｈｘ，ｖｙ）が、次のように導出される：
hx=Clip3(1,nCbW,x)
vy=Clip3(1,nCbH,y)
－ 変数gradientHL0[x][y]、gradientVL0[x][y]、gradientHL1[x][y]及びgradientVL1[x][y]が、次のように導出される：
gradientHL0[x][y]=(predSamplesL0[hx+1][vy]-predSampleL0[hx-1][vy])>>4
gradientVL0[x][y]=(predSampleL0[hx][vy+1]-predSampleL0[hx][vy-1])>>4
gradientHL1[x][y]=(predSamplesL1[hx+1][vy]-predSampleL1[hx-1][vy])>>4
gradientVL1[x][y]=(predSampleL1[hx][vy+1]-predSampleL1[hx][vy1])>>4
－ 変数temp、tempX、tempYが、次のように導出される：
temp[x][y]=(predSamplesL0[hx][vy]>>6)-(predSamplesL1[hx][vy]>>6)
tempX[x][y]=(gradientHL0[x][y]+gradientHL1[x][y])>>3
tempY[x][y]=(gradientVL0[x][y]+gradientVL1[x][y])>>3
－ 変数sGx2、sGy2、sGxGy、sGxdI及びsGydIが、次のように導出される：
x,y=-1..4で、sGx2=ΣxΣy(tempX[xSb+x][ySb+y]*tempX[xSb+x][ySb+y])
x,y=-1..4で、sGy2=ΣxΣy(tempY[xSb+x][ySb+y]*tempY[xSb+x][ySb+y])
x,y=-1..4で、sGxGy=ΣxΣ(tempX[xSb+x][ySb+y]*tempY[xSb+x][ySb+y])
x,y=-1..4で、sGxdIΣxΣ(-tempX[xSb+x][ySb+y]*temp[xSb+x][ySb+y])
x,y=-1..4で、sGydI=ΣxΣy(-tempY[xSb+x][ySb+y]*temp[xSb+x][ySb+y])
－ 現在サブブロックの水平及び垂直動き精緻化が、次のように導出される：
vx=sGx2>0?Clip3(-mvRefineThres,mvRefineThres,-(sGxdI<<3)>>Floor(Log2(sGx2))):0
vy=sGy2>0?Clip3(-mvRefineThres,mvRefineThres,((sGydI<<3)-((vx*sGxGym)<<12+vx*sGxGys)>>1)>>Floor(Log2(sGy2))):0
sGxGym=sGxGy>>12;
sGxGys=sGxGy&((1<<12)-1)
ｘ＝ｘＳｂ－１．．ｘＳｂ＋２、ｙ＝ｙＳｂ－１．．ｙＳｂ＋２に対し、以下が適用される：
sampleEnh=Round((vx*(gradientHL1[x+1][y+1]-gradientHL0[x+1][y+1]))>>1)
+Round((vy*(gradientVL1[x+1][y+1]-gradientVL0[x+1][y+1]))>>1)
pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1,(predSamplesL0[x+1][y+1]
+predSamplesL1[x+1][y+1]+sampleEnh+offset2)>>shift2)
２．２．１０ デコーダ側動きベクトル精緻化（ＤＭＶＲ）
ＤＭＶＲは、デコーダ側動きベクトル導出（Decoder-side Motion Vector Derivation；ＤＭＶＤ）の一種である。
双予測演算では、１つのブロック領域の予測のために、ｌｉｓｔ０の動きベクトル（ＭＶ）とｌｉｓｔ１のＭＶとを用いて形成される２つの予測ブロックが結合されて単一の予測信号を形成する。デコーダ側動きベクトル精緻化（decoder-side motion vector refinement；ＤＭＶＲ）法においては、双予測の二つの動きベクトルが、バイラテラルテンプレートマッチングプロセスによって更に精緻化される。精緻化されたＭＶを追加の動き情報の伝送なし得るために、バイラテラルテンプレートと参照ピクチャ内の再構成サンプルとの間で歪ベース探索を実行するよう、デコーダにおいてバイラテラルテンプレートマッチングが適用される。
ＤＭＶＲにおいて、バイラテラルテンプレートは、図２４に示すように、当初の、ｌｉｓｔ０のＭＶ０及びｌｉｓｔ１のＭＶ１からの、２つの予測ブロックの重み付けた結合（すなわち平均）として生成される。テンプレートマッチング演算は、生成されたテンプレートと参照ピクチャ内のサンプル領域（当初予測ブロック付近）との間のコスト指標を計算することからなる。２つの参照ピクチャの各々について、最小のテンプレートコストを生み出すＭＶが、元のＭＶを置き換えるためのそのリストの更新されたＭＶとみなされる。ＪＥＭでは、各リストに対して９つのＭＶ候補が探索される。９つのＭＶ候補は、元のＭＶと、元のＭＶに対して水平方向若しくは垂直方向のいずれか又は両方に１ルマサンプルのオフセットを有する８つの周囲のＭＶとを含む。最終的に、それら２つの新たなＭＶ、すなわち、図２４に示すＭＶ０’及びＭＶ１’が、最終的な双予測結果を生成するために使用される。絶対差の和（sum of absolute differences；ＳＡＤ）がコスト指標として使用される。留意されたいことには、周囲の１つのＭＶによって生成される予測ブロックのコストを計算するとき、予測ブロックを得るために、実際には、実際のＭＶの代わりに（整数ペルに）丸められたＭＶが使用される。
ＤＭＶＲは、追加の構文要素の伝送なしに、過去の参照ピクチャからの１つのＭＶと未来の参照ピクチャからのもう１つのＭＶとを用いる双予測のマージモードに適用される。ＪＥＭでは、ＣＵに対してＬＩＣ、アフィン動き、ＦＲＵＣ、又はサブＣＵマージ候補が有効にされるとき、ＤＭＶＲは適用されない。
２．２．１１ ＪＶＥＴ－Ｎ０２３６
この寄稿は、オプティカルフローを用いてサブブロックベースのアフィン動き補償予測を精緻化する方法を提案している。サブブロックベースのアフィン動き補償が実行された後、予測サンプルが、オプティカルフロー方程式によって導出された差を加えることによって精緻化され、これは、オプティカルフローを用いた予測精緻化（prediction refinement with optical flow；ＰＲＯＦ）として参照されている。提案される方法は、メモリアクセス帯域幅を増加させることなく、ピクセルレベルの粒度でインター予測を達成することができる。
より細かい粒度での動き補償を達成するため、この寄稿は、オプティカルフローを用いてサブブロックベースのアフィン動き補償予測を精緻化する方法を提案している。サブブロックベースのアフィン動き補償が実行された後、ルマ予測サンプルが、オプティカルフロー方程式によって導出された差を加えることによって精緻化される。提案されるＰＲＯＦ（prediction refinement with optical flow）は、以下の４つのステップとして記述される。
ステップ１）サブブロックベースのアフィン動き補償を実行して、サブブロック予測Ｉ（ｉ，ｊ）を生成する。
ステップ２）各サンプル位置で３タップフィルタ［－１，０，１］を用いてサブブロック予測の空間勾配ｇｘ（ｉ，ｊ）及びｇｙ（ｉ，ｊ）を計算する：
Figure 2022525876000020
サブブロック予測は、勾配計算のために、各側で１ピクセルずつ拡張される。メモリ帯域幅及び複雑さを低減させるために、拡張された境界上のピクセルは、参照ピクチャ内の最も近い整数ピクセル位置からコピーされる。従って、パディング領域のための追加の補間は回避される。
ステップ３）オプティカルフロー方程式によりルマ予測精緻化：
Figure 2022525876000021
 を計算し、ここで、Δｖ（ｉ，ｊ）は、図２５に示すように、ｖ（ｉ，ｊ）によって表記されるサンプル位置（ｉ，ｊ）について計算されたピクセルＭＶと、ピクセル（ｉ，ｊ）が属するサブブロックのサブブロックＭＶとの間の差である。
アフィンモデルパラメータ及びサブブロック中心に対するピクセル位置はサブブロック間で変更されないので、Δｖ（ｉ，ｊ）を最初のサブブロックについて計算し、同じＣＵ内の他のサブブロックに対して再利用することができる。ｘ及びｙを、ピクセル位置からサブブロックの中心までの水平オフセット及び垂直オフセットとして、Δｖ（ｘ，ｙ）を、次式：
Figure 2022525876000022
 によって導出することができる。
４パラメータアフィンモデルでは、
Figure 2022525876000023
 である。
６パラメータアフィンモデルでは、
Figure 2022525876000024
 である。ここで、（ｖ０ｘ，ｖ０ｙ）、（ｖ１ｘ，ｖ１ｙ）、（ｖ２ｘ，ｖ２ｙ）は、左上、右上、左下の制御点動きベクトルであり、ｗ及びｈはＣＵの幅及び高さである。
ステップ４）最後に、ルマ予測精緻化をサブブロック予測Ｉ（ｉ，ｊ）に足し合わせる。最終予測Ｉ’が、次式：
Figure 2022525876000025
 として生成される。
２．２．１２ ＪＶＥＴ－Ｎ０５１０
位相変分アフィンサブブロック動き補償（phase-variant affine subblock motion compensation；ＰＡＭＣ）
アフィンサブブロックにおけるアフィン動きモデルをより良く近似するために、位相変分ＭＣがサブブロックに適用される。提案される方法では、アフィン符号化ブロックも４×４サブブロックに分割され、ＶＴＭ４．０で行われるように各サブブロックについてサブブロックＭＶが導出される。各サブブロックのＭＣは２つのステージに分けられる。第１ステージは、（４＋Ｌ－１）×（４＋Ｌ－１）参照ブロックウィンドウを（４＋Ｌ－１）行の水平フィルタリングでフィルタリングするものであり、ここで、Ｌは補間フィルタのフィルタータップ長である。しかしながら、並進ＭＣとは異なり、提案される位相変分アフィンサブブロックＭＣでは、各サンプル行のフィルタ位相が異なる。各サンプル行について、ＭＶｘが次のように導出される：
MVx=(subblockMVx<<7+dMvVerX×(rowIdx-L/2-2))>>7 （式１）
各サンプル行のフィルタ位相はＭＶｘから導出される。subblockMVxは、ＶＴＭ４．０で行われるように導出されるサブブロックＭＶのＭＶのｘ成分である。rowIdxはサンプル行インデックスである。dMvVerXは、(cuBottomLeftCPMVx-cuTopLeftCPMVx)<<(7-log2LumaCbHeight)であり、ここで、cuBottomLeftCPMVxはＣＵ左下制御点ＭＶのｘ成分であり、cuTopLeftCPMVxはＣＵ左上制御点ＭＶのｘ成分であり、LumaCbHeightはルマ符号化ブロック（ＣＢ）の高さのｌｏｇ２である。
水平フィルタリング後、４×（４＋Ｌ－１）水平フィルタリングされたサンプルが生成される。図１は、提案される水平フィルタリングの概念を示している。灰色の点は参照ブロックウィンドウのサンプルであり、橙色の点は水平フィルタリングされたサンプルを表している。青い管状の８×１サンプルは、図３０及び図３１に示すように、一回の８タップ水平フィルタリングを適用することを表す。各サンプル行が４回の水平フィルタリングを必要とする。１つのサンプル行のフィルタ位相は同じである。しかしながら、異なる行のフィルタ位相は異なる。斜めにされた４×１１サンプルが生成される。
第２ステージにて、４×（４＋Ｌ－１）水平フィルタリングされたサンプル（図１の橙色のサンプル）が更に垂直フィルタリングされる。各サンプル列について、ＭＶｙが次のように導出される：
MVy=(subblockMVy<<7+dMvHorY×(columnIdx-2))>>7 （式２）
各サンプル行のフィルタ位相はＭＶｙから導出される。subblockMVyは、ＶＴＭ４．０で行われるように導出されるサブブロックＭＶのＭＶのｙ成分である。columnIdxはサンプル列インデックスである。dMvHorYは、(cuTopRightCPMVy-cuTopLeftCPMVy)<<(7-log2LumaCbWidth)であり、ここで、cuTopRightCPMVyはＣＵ右上制御点ＭＶのｙ成分であり、cuTopLeftCPMVyはＣＵ左上制御点ＭＶのｙ成分であり、log2LumaCbWidthはルマＣＢの幅のｌｏｇ２である。
垂直フィルタリング後、４×４アフィンサブブロック予測サンプルが生成される。図３２は、提案される垂直フィルタリングの概念を示している。明るい橙色の点は、第１ステージからの、水平フィルタリングされたサンプルである。赤色の点は、最終予測サンプルとして垂直フィルタリングされたサンプルである。
この提案において、使用される補間フィルタセットは、ＶＴＭ４．０におけるものと同じである。唯一の違いは、１つのサンプル行に対する水平フィルタ位相が異なるとともに、１つのサンプル列に対する垂直フィルタ位相が異なることである。提案される方法における各アフィンサブブロックに対するフィルタリング演算の数に関しては、ＶＴＭ４．０におけるそれと同じである。
３． 開示される技術的ソリューションによって解決される問題の例
１． ＢＩＯは双予測のみ考慮する
２． ｖｘ及びｖｙの導出は、隣接ブロックの動き情報を考慮しない
３． ＪＶＥＴ－Ｎ０２３６ではアフィン予測にオプティカルフローが用いられるが、最適からは程遠い。
４． 実施形態及び技術の例
これらの問題に取り組むために、我々は、オプティカルフローを用いた精緻化予測サンプルの導出に関する異なる構成を提案する。加えて、我々は、現在サブブロック／ブロックの最終予測ブロックを得るために、隣接（例えば、隣の又は隣ではない）ブロックの情報（例えば再構成サンプル又は動き情報など）、及び／又は１つのサブブロック／ブロックの、及び該１つのサブブロック／ブロックの予測ブロックの勾配を用いることを提案する。
以下に列挙される技術及び実施形態は、一般的概念を説明するための例とみなされるべきである。これらの実施形態は狭義に解釈されるべきではない。さらに、これらの技術は、任意の好適なやり方で組み合わされることができる。
リスト０及びリスト１からの現在ピクチャの参照ピクチャを、それぞれ、Ｒｅｆ０及びＲｅｆ１で表し、τ０＝ＰＯＣ（現在）-ＰＯＣ（Ｒｅｆ０）、τ１＝ＰＯＣ（Ｒｅｆ１）-ＰＯＣ（現在）と表し、また、Ｒｅｆ０及びＲｅｆ１からの現在ブロックの参照ブロックを、それぞれ、ｒｅｆｂｌｋ０、Ｒｅｆｂｌｋ１で表す。現在ブロック内のサブブロックに対して、ｒｅｆｂｌｋ１を指すｒｅｆｂｌｋ０の対応する参照サブブロックのＭＶが、（ｖｘ，ｖｙ）によって表記される。Ｒｅｆ０及びＲｅｆ１を参照する現在サブブロックのＭＶが、それぞれ、（ｍｖＬ０ｘ，ｍｖＬ０ｙ）及び（ｍｖＬ１ｘ，ｍｖＬ１ｙ）によって表記される。
以下の説明において、ＳａｔＳｈｉｆｔ（ｘ，ｎ）は、
Figure 2022525876000026
 として定義され、Ｓｈｉｆｔ（ｘ，ｎ）は、Ｓｈｉｆｔ（ｘ，ｎ）＝（ｘ＋ｏｆｆｓｅｔ０）＞＞ｎとして定義される。
一例において、ｏｆｆｓｅｔ０及び／又はｏｆｆｓｅｔ１は、（１＜＜ｎ）＞＞１又は（１＜＜（ｎ－１）に設定される。他の一例において、ｏｆｆｓｅｔ０及び／又はｏｆｆｓｅｔ１は０に設定される。
他の一例において、ｏｆｆｓｅｔ０＝ｏｆｆｓｅｔ１＝（（１＜＜ｎ）＞＞１）－１又は（（１＜＜（ｎ－１）））－１である。
Ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｘ）は
Figure 2022525876000027
 として定義される。
以下の説明において、２つの動きベクトル間での演算は、その演算が動きベクトルの２つの成分の両方に適用されることを意味する。例えば、ＭＶ３＝ＭＶ１＋ＭＶ２は、ＭＶ３ｘ＝ＭＶ１ｘ＋ＭＶ２ｘ及びＭＶ３ｙ＝ＭＶ１ｙ＋ＭＶ２ｙと等価である。あるいは、演算は、２つの動きベクトルの水平成分又は垂直成分にのみに適用されることもある。
以下の説明において、左隣接ブロック、左下隣接ブロック、上隣接ブロック、右上隣接ブロック、及び左上隣接ブロックは、図２に示すブロックＡ１、Ａ０、Ｂ１、Ｂ０、及びＢ２として表記される。
１． ブロック内の位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）をＰ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）として精緻化できることが提案される。Ｐ’（ｘ，ｙ）が残差サンプルＲｅｓ（ｘ，ｙ）と共に使用されて、再構成されたＲｅｃ（ｘ，ｙ）を生成する。（Ｇｘ（ｘ，ｙ），Ｇｙ（ｘ，ｙ））は、それぞれ例えば水平方向及び垂直方向に沿ったものなどの、位置（ｘ，ｙ）における勾配を表す。（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、オンザフライで導出され得る位置（ｘ，ｙ）における動き変位を表す；
ａ． あるいは、重み付け関数が、予測サンプル、勾配、及び動き変位に適用され得る。例えば、Ｐ’（ｘ，ｙ）＝α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）であり、ここで、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み値であり、整数又は実数とし得る；
ｉ． 例えば、Ｐ’（ｘ，ｙ）＝（α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）＋ｏｆｆｓｅｔＰ）／（α（ｘ，ｙ）＋β（ｘ，ｙ）＋γ（ｘ，ｙ））である。一例において、ｏｆｆｓｅｔＰは０に設定される。あるいは、除算がシフトによって置換されてもよい；
ｉｉ． 例えば、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）－Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）；
ｉｉｉ． 例えば、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）－Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）－Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）；
ｉｖ． 例えば、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）－Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）；
ｖ． 例えば、Ｐ’（ｘ，ｙ）＝０．５×Ｐ（ｘ，ｙ）＋０．２５×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋０．２５×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）；
ｖｉ． 例えば、Ｐ’（ｘ，ｙ）＝０．５×Ｐ（ｘ，ｙ）＋０．５×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋０．５×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）；
ｖｉｉ． 例えば、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＋０．５×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋０．５×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）；
ｂ． あるいは、Ｐ’（ｘ，ｙ）＝Ｓｈｉｆｔ（α（ｘ，ｙ）×Ｐ（ｘ，ｙ），ｎ１）＋Ｓｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ），ｎ２）＋Ｓｈｉｆｔ（γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み値であり、整数である。ｎ１、ｎ２、ｎ３は、例えば１など、非不の整数である；
ｃ． あるいは、Ｐ’（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（α（ｘ，ｙ）×Ｐ（ｘ，ｙ），ｎ１）＋ＳａｔＳｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ），ｎ２）＋ＳａｔＳｈｉｆｔ（γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み値であり、整数である。ｎ１、ｎ２、ｎ３は、例えば１など、非不の整数である；
ｄ． あるいは、Ｐ’（ｘ，ｙ）＝Ｓｈｉｆｔ（α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ１）であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み値であり、整数である。ｎ１は、例えば１など、非不の整数である；
ｅ． あるいは、Ｐ’（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ１）であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み値であり、整数である。ｎ１は、例えば１など、非不の整数である；
ｆ． あるいは、Ｐ’（ｘ，ｙ）＝α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋Ｓｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ），ｎ２）＋Ｓｈｉｆｔ（γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み値であり、整数である。ｎ２、ｎ３は、例えば１など、非不の整数である；
ｇ． あるいは、Ｐ’（ｘ，ｙ）＝α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ），ｎ２）＋ＳａｔＳｈｉｆｔ（γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み値であり、整数である。ｎ２、ｎ３は、例えば１など、非不の整数である；
ｈ． あるいは、Ｐ’（ｘ，ｙ）＝α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋Ｓｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み値であり、整数である。ｎ３は、例えば１など、非不の整数である；
ｉ． あるいは、Ｐ’（ｘ，ｙ）＝α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み値であり、整数である。ｎ３は、例えば１など、非不の整数である；
ｊ． あるいは、Ｐ’（ｘ，ｙ）＝ｆ０（Ｐ（ｘ，ｙ））＋ｆ１（Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ））＋ｆ２（Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ））であり、ｆ０、ｆ１及びｆ２は３つの関数である；
ｋ． 一例において、（Ｇｘ（ｘ，ｙ），Ｇｙ（ｘ，ｙ））はＰ（ｘ１，ｙ１）で計算され、ｘ１は［ｘ－Ｂｘ０，ｘ＋Ｂｘ１］の範囲に属し、ｙ１は［ｙ－Ｂｙ０，ｙ＋Ｂｙ１］の範囲に属し、Ｂｘ０、Ｂｘ１、Ｂｙ０、Ｂｙ１は整数である；
ｉ． 例えば、Ｇｘ（ｘ，ｙ）＝Ｐ（ｘ＋１，ｙ）－Ｐ（ｘ－１，ｙ）、Ｇｙ（ｘ，ｙ）＝Ｐ（ｘ，ｙ＋１）－Ｐ（ｘ，ｙ－１）；
（ｉ）あるいは、Ｇｘ（ｘ，ｙ）＝Ｓｈｉｆｔ（Ｐ（ｘ＋１，ｙ）－Ｐ（ｘ－１，ｙ），ｎ１）、Ｇｙ（ｘ，ｙ）＝Ｓｈｉｆｔ（Ｐ（ｘ，ｙ＋１）－Ｐ（ｘ，ｙ－１），ｎ２）である。例えば、ｎ１＝ｎ２＝１である；
（ｉｉ）あるいは、Ｇｘ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（Ｐ（ｘ＋１，ｙ）－Ｐ（ｘ－１，ｙ），ｎ１）、Ｇｙ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（Ｐ（ｘ，ｙ＋１）－Ｐ（ｘ，ｙ－１），ｎ２）である。例えば、ｎ１＝ｎ２＝１である；
ｌ． Ｐ（ｘ，ｙ）は片予測（１つのＭＶでのインター予測）の予測値とし得る；
ｍ． Ｐ（ｘ，ｙ）は双予測（２つのＭＶでのインター予測）後の最終予測値とし得る；
ｉ． 例えば、Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ）は、ＢＩＯ（双方向オプティカルフローＢＤＯＦとしても知られる）に規定される手法に従って導出され得る；
ｎ． Ｐ（ｘ，ｙ）は多重仮説インター予測（３つ以上のＭＶでのインター予測）であってもよい；
ｏ． Ｐ（ｘ，ｙ）はアフィン予測であってもよい；
ｐ． Ｐ（ｘ，ｙ）はイントラ予測であってもよい；
ｑ． Ｐ（ｘ，ｙ）はイントラブロックコピー（ＩＢＣ）予測であってもよい；
ｒ． Ｐ（ｘ，ｙ）は、三角予測モード（ＴＰＭ）によって生成されてもよいし、ジオグラフィック予測モード（ＧＰＭ）技術によって生成されてもよい；
ｓ． Ｐ（ｘ，ｙ）はインター－イントラ結合予測であってもよい；
ｔ． Ｐ（ｘ，ｙ）は、領域が同一の動きモデル及びパラメータを共有するものであるグローバルインター予測であってもよい；
ｕ． Ｐ（ｘ，ｙ）は、パレット符号化モードによって生成されてもよい；
ｖ． Ｐ（ｘ，ｙ）は、マルチビュー又は３Ｄビデオコーディングにおけるインタービュー予測であってもよい；
ｗ． Ｐ（ｘ，ｙ）は、スケーラブルビデオコーディングにおける層間予測であってもよい；
ｘ． Ｐ（ｘ，ｙ）は、精緻化される前にフィルタリングされてもよい；
ｙ． Ｐ（ｘ，ｙ）は、再構成サンプル値を得るために残差サンプル値と加算されることになる最終予測であってもよい。一部の実施形態において、Ｐ（ｘ，ｙ）は、精緻化プロセスが適用されない場合の最終予測とし得る。一部の実施形態において、Ｐ’（ｘ，ｙ）は、精緻化プロセスが適用される場合の最終予測とし得る；
ｉ． 一例において、双予測又は多重仮説予測が適用されるブロック（又はサブブロック）で、上の関数が一回、最終予測値に適用される；
ｉｉ． 一例において、双予測又は多重仮説予測が適用されるブロック（又はサブブロック）で、１つの予測方向又は参照ピクチャ又は動きベクトルに従った各予測ブロックに対して、予測ブロックを更新するために、上のプロセスが呼び出されるように、上の関数が複数回適用される。その後、更新された予測ブロックを用いて最終予測ブロックが生成され得る；
ｉｉｉ． あるいは、Ｐ（ｘ，ｙ）は、最終予測を導出するために使用されることになるものである中間予測であってもよい；
（ｉ）例えば、Ｐ（ｘ，ｙ）は、現在ブロックが双予測でインター予測される場合に、１つの参照ピクチャリストからの予測とし得る；
（ｉｉ）例えば、Ｐ（ｘ，ｙ）は、現在ブロックがＴＰＭで又はＧＰＭ技術でインター予測される場合に、１つの参照ピクチャリストからの予測とし得る；
（ｉｉｉ）例えば、Ｐ（ｘ，ｙ）は、現在ブロックが多重仮説でインター予測される場合に、１つの参照ピクチャからの予測とし得る；
（ｉｖ）例えば、Ｐ（ｘ，ｙ）は、現在ブロックがインター－イントラ結合予測される場合に、インター予測とし得る；
（ｖ）例えば、Ｐ（ｘ，ｙ）は、現在ブロックが局所照明補償（ＬＩＣ）を使用する場合に、ＬＩＣが適用される前のインター予測とし得る；
（ｖｉ）例えば、Ｐ（ｘ，ｙ）は、現在ブロックがＤＭＶＲ（又は他の種類のＤＭＶＤ）を使用する場合に、ＤＭＶＲ（又は他の種類のＤＭＶＤ）が適用される前のインター予測とし得る；
（ｖｉｉ）例えば、Ｐ（ｘ，ｙ）は、現在ブロックが重み付け予測又は一般化双予測（ＧＢｉ）を使用する場合に、重み係数が乗算される前のインター予測とし得る；
ｚ． Ｇ（ｘ，ｙ）と表記される勾配、例えばＧｘ（ｘ，ｙ）又は／及びＧｙ（ｘ，ｙ）は、再構成サンプル値を得るために残差サンプル値と加算されることになる最終予測上で導出されてもよい。一部の実施形態において、精緻化プロセスが適用されない場合、再構成サンプル値を得るために最終予測サンプル値が残差サンプル値に加算される；
ｉ． 例えば、Ｇ（ｘ，ｙ）はＰ（ｘ，ｙ）上で導出され得る；
ｉｉ． あるいは、Ｇ（ｘ，ｙ）は、最終予測を導出するために使用されることになるものである中間予測上で導出され得る；
（ｉ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックが双予測でインター予測される場合に、１つの参照ピクチャリストからの予測上で導出され得る；
（ｉｉ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックがＴＰＭで又はＧＰＭ技術でインター予測される場合に、１つの参照ピクチャリストからの予測上で導出され得る；
（ｉｉｉ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックが多重仮説でインター予測される場合に、１つの参照ピクチャからの予測上で導出され得る；
（ｉｖ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックがインター－イントラ結合予測される場合に、インター予測上で導出され得る；
（ｖ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックが局所照明補償（ＬＩＣ）を使用する場合に、ＬＩＣが適用される前のインター予測上で導出され得る；
（ｖｉ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックがＤＭＶＲ（又は他の種類のＤＭＶＤ）を使用する場合に、ＤＭＶＲ（又は他の種類のＤＭＶＤ）が適用される前のインター予測上で導出され得る；
（ｖｉｉ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックが重み付け予測又は一般化双予測（ＧＢｉ）を使用する場合に、重み係数が乗算される前のインター予測上で導出され得る；
ａａ． あるいは、Ｐ’（ｘ，ｙ）は、最終予測サンプルを得るために、他の方法によって更に処理されてもよい；
ｂｂ． あるいは、ブロック内の位置（ｘ，ｙ）における再構成サンプルＲｅｃ（ｘ，ｙ）が、Ｒｅｃ’（ｘ，ｙ）＝Ｒｅｃ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）として精緻化され得る。Ｒｅｃ’（ｘ，ｙ）は、再構成されたＲｅｃ（ｘ，ｙ）を置き換えるために使用されることになる。（Ｇｘ（ｘ，ｙ），Ｇｙ（ｘ，ｙ））は、それぞれ例えば水平方向及び垂直方向に沿ったものなどの、位置（ｘ，ｙ）における勾配を表す。（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、オンザフライで導出され得る位置（ｘ，ｙ）における動き変位を表す；
ｉ． 一例において、（Ｇｘ（ｘ，ｙ），Ｇｙ（ｘ，ｙ））は再構成サンプル上で導出される。
２． （例えば箇条書き１においてなどの）オプティカルフローベースの方法で利用されるＶｘ（ｘ，ｙ）及び／又はＶｙ（ｘ，ｙ）が空間又は時間隣接ブロックに依存し得ることが提案される；
ａ． あるいは、ＢＩＯ（ＢＤＯＦとしても知られる）のプロセスにおけるＶｘ（ｘ，ｙ）及び／又はＶｙ（ｘ，ｙ）が空間又は時間隣接ブロックに依存してもよい；
ｂ． 一例において、空間又は時間隣接ブロックへの“依存”は、動き情報（例えば、ＭＶ）、符号化モード（例えば、インター符号化又はイントラ符号化）、隣接ＣＵ寸法、隣接ＣＵ位置などへの依存を含み得る；
ｃ． 一例において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））はＭＶＭｉｘに等しいとし得る；
ｉ． 一例において、ＭＶＭｉｘはＷｃ（ｘ，ｙ）×ＭＶｃ＋ＷＮ１（ｘ，ｙ）×ＭＶＮ１＋ＷＮ２（ｘ，ｙ）×ＭＶＮ２＋．．．＋ＷＮｋ（ｘ，ｙ）×ＭＶＮｋに等しくてもよく、ここで、ＭＶｃは現在ブロックのＭＶであり、ＭＶＮ１．．．ＭＶＮｋはｋ個の空間又は時間隣接ブロック：Ｎ１．．．ＮｋのＭＶである。Ｗｃ、ＷＮ１．．．ＷＮｋは、整数又は実数とし得る重み値である；
ｉｉ． あるいは、ＭＶＭｉｘはＳｈｉｆｔ（Ｗｃ（ｘ，ｙ）×ＭＶｃ＋ＷＮ１（ｘ，ｙ）×ＭＶＮ１＋ＷＮ２（ｘ，ｙ）×ＭＶＮ２＋．．．＋ＷＮｋ（ｘ，ｙ）×ＭＶＮｋ，ｎ１）に等しくてもよく、ここで、ＭＶｃは現在ブロックのＭＶであり、ＭＶＮ１．．．ＭＶＮｋはｋ個の空間又は時間隣接ブロック：Ｎ１．．．ＮｋのＭＶである。Ｗｃ、ＷＮ１．．．ＷＮｋは、整数である重み値である；
ｉｉｉ． あるいは、ＭＶＭｉｘはＳａｔＳｈｉｆｔ（Ｗｃ（ｘ，ｙ）×ＭＶｃ＋ＷＮ１（ｘ，ｙ）×ＭＶＮ１＋ＷＮ２（ｘ，ｙ）×ＭＶＮ２＋．．．＋ＷＮｋ（ｘ，ｙ）×ＭＶＮｋ，ｎ１）に等しくてもよく、ここで、ＭＶｃは現在ブロックのＭＶであり、ＭＶＮ１．．．ＭＶＮｋはｋ個の空間又は時間隣接ブロック：Ｎ１．．．ＮｋのＭＶである。Ｗｃ、ＷＮ１．．．ＷＮｋは、整数である重み値である；
ｉｖ． 一例において、Ｗｃ（ｘ，ｙ）＝０である；
ｖ． 一例において、ｋ＝１である。そして、Ｎ１は空間隣接ブロックである；
（ｉ）一例において、Ｎ１は、位置（ｘ，ｙ）に最も近い空間隣接ブロックである；
（ｉｉ）一例において、ＷＮ１（ｘ，ｙ）は、位置（ｘ，ｙ）がＮ１に近いほど大きい；
ｖｉ． 一例において、ｋ＝１である。そして、Ｎ１は時間隣接ブロックである；
（ｉ）例えば、Ｎ１は、位置（ｘ，ｙ）についてのコロケートピクチャ内のコロケートブロックである；
一例において、異なる位置は異なる空間又は時間隣接ブロックを使用し得る；
ｖｉｉ． 図２６は、Ｖｘ（ｘ，ｙ）及び／又はＶｙ（ｘ，ｙ）をどのように導出するかの一例を示している。図中、各ブロックが基本ブロック（例えば４×４ブロック）を表す。現在ブロックが太線でマークされている；
（ｉ）例えば、上境界又は左境界にないものである陰影付きの基本ブロック内の予測サンプルは、オプティカルフローで精緻化されない；
（ｉｉ）例えば、Ｃ００、Ｃ１０、Ｃ２０及びＣ３０などの上境界にある基本ブロック内の予測サンプルは、オプティカルフローで精緻化されることになる；
ａ． 例えば、上境界にある基本ブロック内の予測サンプルについてのＭＶＭｉｘは、隣接する上隣接ブロックに依存して導出されることになる。例えば、Ｃ１０内の予測サンプルについてのＭＶＭｉｘは、上隣接ブロックＴ１に依存して導出されることになる；
（ｉｉｉ）例えば、Ｃ００、Ｃ０１、Ｃ０２及びＣ０３などの左境界にある基本ブロック内の予測サンプルは、オプティカルフローで精緻化されることになる；
ａ． 例えば、左境界にある基本ブロック内の予測サンプルについてのＭＶＭｉｘは、隣接する左隣接ブロックに依存して導出されることになる。例えば、Ｃ０１内の予測サンプルについてのＭＶＭｉｘは、左隣接ブロックＬ１に依存して導出されることになる；
ｖｉｉｉ． 一例において、ＭＶｃ及びＭＶＮ１．．．ＭＶＮｋは同じ参照ピクチャにスケーリングされ得る；
（ｉ）一例において、それらは、ＭＶｃが参照する参照ピクチャにスケーリングされる；
ｉｘ． 一例において、それがイントラ符号化されない場合にのみ、空間又は時間隣接ブロックＮｓを用いてＭＶＭｉｘを導出することができる；
ｘ． 一例において、それがＩＢＣ符号化されない場合にのみ、空間又は時間隣接ブロックＮｓを用いてＭＶＭｉｘを導出することができる；
ｘｉ． 一例において、ＭＶｓがＭＶｃと同じ参照ピクチャを参照する場合にのみ、空間又は時間隣接ブロックＮｓを用いてＭＶＭｉｘを導出することができる；
ｄ． 一例において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））はｆ（ＭＶＭｉｘ，ＭＶｃ）に等しいとしてもよく、ここで、ｆは関数であり、ＭＶｃは現在ブロックのＭＶである；
ｉ． 例えば、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））はＭＶＭｉｘ－ＭＶｃに等しいとし得る；
ｉｉ． 例えば、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））はＭＶｃ－ＭＶＭｉｘに等しいとし得る；
ｉｉｉ． 例えば、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））はｐ×ＭＶＭｉｘ＋ｑ×ＭＶｃに等しいとすることができ、ここで、ｐ及びｑは実数である。ｐ及びｑの一部の例は、ｐ＝ｑ＝０．５、又はｐ＝１、ｑ＝－０．５、又はｑ＝１、ｐ＝－０．５などである；
（ｉ）あるいは、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））はＳｈｉｆｔ（ｐ×ＭＶＭｉｘ＋ｑ×ＭＶｃ，ｎ）又はＳａｔＳｈｉｆｔ（ｐ×ＭＶＭｉｘ＋ｐ×ＭＶｃ，ｎ）に等しいとしてもよく、ここでｐ，ｑ及びｎは整数である。ｎ、ｐ及びｑの一部の例は、ｎ＝１、ｐ＝２、ｑ＝－１、又はｎ＝１、ｐ＝ｑ＝１、又はｎ＝１、ｐ＝－１、ｑ＝２などである；
ｅ． 一例において、現在ブロックは片予測でインター予測され、ＭＶｃは参照ピクチャリスト０を参照し得る；
ｆ． 一例において、現在ブロックは片予測でインター予測され、ＭＶｃは参照ピクチャリスト１を参照し得る；
ｇ． 一例において、現在ブロックは双予測でインター予測され、ＭＶｃは参照ピクチャリスト０又は参照ピクチャリスト１を参照し得る；
ｉ． 一例において、最終予測がオプティカルフローによって精緻化される。（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、例えば参照ピクチャリスト０又は参照ピクチャリスト１など、参照ピクチャリストの１つを参照するＭＶｃで導出され得る；
ｉｉ． 一例において、参照リスト０からの予測がオプティカルフローによって精緻化される。（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、参照リスト０を参照するＭＶｃで導出され得る；
ｉｉｉ． 一例において、参照リスト１からの予測がオプティカルフローによって精緻化される。（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、参照リスト１を参照するＭＶｃで導出され得る；
ｉｖ． オプティカルフローによって精緻化された後の参照リスト０からの予測と、独立にオプティカルフローによって精緻化された後の参照リスト１からの予測とを組み合わせて（例えば、平均して、又は加重平均して）、最終予測を得ることができる；
ｈ． 一例において、現在ブロックが双予測でインター予測され、ＢＤＯＦが適用され、Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ）が、空間又は時間隣接ブロックに応じて修正される；
ｉ． 例えば、ＢＤＯＦプロセスにて導出される（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））が、Ｖ’（ｘ，ｙ）＝（Ｖ’ｘ（ｘ，ｙ），Ｖ’ｙ（ｘ，ｙ））と表記され、開示される方法で導出される（Ｖｘ（ｘ，ｙ））、Ｖｙ（ｘ，ｙ））がＶ”（ｘ，ｙ）＝（Ｖ”ｘ（ｘ，ｙ），Ｖ”ｙ（ｘ，ｙ））と表記されるとすると、最終的なＶ（ｘ，ｙ）＝（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、以下のように導出されることができる：
（ｉ）例えば、Ｖ（ｘ，ｙ）＝Ｖ’（ｘ，ｙ）×Ｗ’（ｘ，ｙ）＋Ｖ”（ｘ，ｙ）×Ｗ”（ｘ，ｙ）であり、ここで、Ｗ’（ｘ，ｙ）及びＷ”（ｘ，ｙ）は整数又は実数である。例えば、Ｗ’（ｘ，ｙ）＝０、Ｗ”（ｘ，ｙ）＝１、又はＷ’（ｘ，ｙ）＝１、Ｗ”（ｘ，ｙ）＝０、又はＷ’（ｘ，ｙ）＝０．５、Ｗ”（ｘ，ｙ）＝０．５である；
（ｉｉ）例えば、Ｖ（ｘ，ｙ）＝Ｓｈｉｆｔ（Ｖ’（ｘ，ｙ）×Ｗ’（ｘ，ｙ）＋Ｖ”（ｘ，ｙ）×Ｗ”（ｘ，ｙ），ｎ１）であり、ここで、Ｗ’（ｘ，ｙ）及びＷ”（ｘ，ｙ）は整数である。ｎ１は、例えば１など、非負の整数である；
（ｉｉｉ）例えば、Ｖ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（Ｖ’（ｘ，ｙ）×Ｗ’（ｘ，ｙ）＋Ｖ”（ｘ，ｙ）×Ｗ”（ｘ，ｙ），ｎ１）であり、ここで、Ｗ’（ｘ，ｙ）及びＷ”（ｘ，ｙ）は整数である。ｎ１は、例えば１など、非負の整数である；
ｉｉ． 例えば、空間又は時間隣接ブロックに応じてＢＤＯＦにて（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））を修正するかどうかは、位置（ｘ，ｙ）に依存し得る；
（ｉ）例えば、上境界又は左境界にないものである図２６の陰影付きの基本ブロック内の（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、空間又は時間隣接ブロックに応じて修正されない；
ｉ． Ｖｘ（ｘ，ｙ）及び／又はＶｙ（ｘ，ｙ）をクリップされてもよい；
ｊ． あるいは、上述の方法における空間又は時間隣接ブロックが、現在ブロックの非隣接ブロックによって置き換えられてもよい；
ｋ． あるいは、上述の方法における空間又は時間隣接ブロックが、現在サブブロックの非隣接サブブロックによって置き換えられてもよい；
ｌ． あるいは、上述の方法における空間又は時間隣接ブロックが、現在サブブロックをカバーする現在ブロック／現在ＣＴＵ／現在ＶＰＤＵ／現在領域の非隣接サブブロックによって置き換えられてもよい；
ｍ． あるいは、上述の方法における空間又は時間隣接ブロックが、履歴ベースの動きベクトルにおけるエントリによって置き換えられてもよい。
３． ＪＶＥＴ－Ｎ０２３６に開示されているオプティカルフローを用いたアフィン予測上での精緻化におけるＶｘ（ｘ，ｙ）及び／又はＶｙ（ｘ，ｙ）が、以下のように導出されてもよいことが提案される：
ａ． Ｖｘ（ｘ，ｙ）＝ａ×（ｘ－ｘｃ）＋ｂ×（ｙ－ｙｃ）、Ｖｙ（ｘ，ｙ）＝ｃ×（ｘ－ｘｃ）＋ｄ×（ｙ－ｙｃ）であり、ここで、（ｘ，ｙ）は検討中の位置であり、（ｘｃ，ｙｃ）は、位置（ｘ，ｙ）をカバーする寸法ｗ×ｈ（例えば４×４又は８×８）の基本ブロックの中心位置であり、ａ、ｂ、ｃ及びｄはアフィンパラメータである；
ｉ． あるいは、Ｖｘ（ｘ，ｙ）＝Ｓｈｉｆｔ（ａ×（ｘ－ｘｃ）＋ｂ×（ｙ－ｙｃ），ｎ１），Ｖｙ（ｘ，ｙ）＝Ｓｈｉｆｔ（ｃ×（ｘ－ｘｃ）＋ｄ×（ｙ－ｙｃ），ｎ１）であり、ただし、ｎ１は整数である；
ｉｉ． あるいは、Ｖｘ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（ａ×（ｘ－ｘｃ）＋ｂ×（ｙ－ｙｃ），ｎ１），Ｖｙ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（ｃ×（ｘ－ｘｃ）＋ｄ×（ｙ－ｙｃ），ｎ１）であり、ただし、ｎ１は整数である；
ｉｉｉ． 例えば、位置（ｘ，ｙ）をカバーする基本ブロック（例えば、４×４又は８×８）の左上位置が（ｘ０，ｙ０）であるとすると、（ｘｃ，ｙｃ）＝（ｘ０＋（ｗ／２，ｙ０＋（ｈ／２））である；
（ｉ）あるいは、（ｘｃ，ｙｃ）＝（ｘ０＋（ｗ／２）－１，ｙ０＋（ｈ／２）－１）である；
（ｉｉ）あるいは、（ｘｃ，ｙｃ）＝（ｘ０＋（ｗ／２），ｙ０＋（ｈ／２）－１）である；
（ｉｉｉ）あるいは、（ｘｃ，ｙｃ）＝（ｘ０＋（ｗ／２）－１，ｙ０＋（ｈ／２））である；
ｉｖ． 一例において、現在ブロックが４パラメータアフィンモードを適用する場合、ｃ＝－ｂ且つｄ＝ａである；
ｖ． 一例において、ａ、ｂ、ｃ及びｄは、現在ブロックの幅（Ｗ）及び高さ（Ｈ）と共に、ＣＰＭＶから導出されてもよい。例えば、
Figure 2022525876000028
 であり、ｍｖ０、ｍｖ１、及びｍｖ２はＣＰＭＶである；
（ｉ）ａ、ｂ、ｃ及びｄはクリップされてもよい；
（ｉｉ）ａ、ｂ、ｃ及びｄはシフトされてもよい；
ｖｉ． 一例において、ａ、ｂ、ｃ及びｄは、ＰＣＴ／ＣＮ２０１８／１１１１７６号に開示されるような隣接ブロックのストレージから導出されることができ、その文献をここに援用する；
ｖｉｉ． 一例において、ａ、ｂ、ｃ及びｄは、ＰＣＴ／ＣＮ２０１９／０７５８６７号に開示されるような履歴ベースのストレージから導出されることができ、その文献をここに援用する；
ｖｉｉｉ． あるいは、Ｖｘ（ｘ，ｙ）＝－ａ×（ｘ－ｘｃ）－ｂ×（ｙ－ｙｃ）、Ｖｙ（ｘ，ｙ）＝－ｃ×（ｘ－ｘｃ）－ｄ×（ｙ－ｙｃ）である；
ｂ． 一例において、Ｖｘ（ｘ＋１，ｙ）＝Ｖｘ（ｘ，ｙ）＋ａ、且つＶｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋ｃである；
ｉ． あるいは、Ｖｘ（ｘ＋１，ｙ）＝Ｓｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ａ，ｎ１）、Ｖｙ（ｘ＋１，ｙ）＝Ｓｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｃ，ｎ１）であり、ただし、ｎ１は整数である；
ｉｉ． あるいは、Ｖｘ（ｘ＋１，ｙ）＝ＳａｔＳｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ａ，ｎ１）、Ｖｙ（ｘ＋１，ｙ）＝ＳａｔＳｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｃ，ｎ１）であり、ただし、ｎ１は整数である；
ｉｉｉ． あるいは、Ｖｘ（ｘ＋１，ｙ）＝Ｖｘ（ｘ，ｙ）＋Ｓｈｉｆｔ（ａ，ｎ１）、Ｖｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋Ｓｈｉｆｔ（ｃ，ｎ１）であり、ただし、ｎ１は整数である；
ｉｖ． あるいは、Ｖｘ（ｘ＋１，ｙ）＝Ｖｘ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ａ，ｎ１）、Ｖｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ｃ，ｎ１）であり、ただし、ｎ１は整数である；
ｃ． 一例において、Ｖｘ（ｘ，ｙ＋１）＝Ｖｘ（ｘ，ｙ）＋ｂ、且つＶｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋ｄである；
ｉ． あるいは、Ｖｘ（ｘ，ｙ＋１）＝Ｓｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ｂ，ｎ１）、Ｖｙ（ｘ，ｙ＋１）＝Ｓｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｄ，ｎ１）であり、ただし、ｎ１は整数である；
ｉｉ． あるいは、Ｖｘ（ｘ，ｙ＋１）＝ＳａｔＳｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ｂ，ｎ１）、Ｖｙ（ｘ，ｙ＋１）＝ＳａｔＳｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｄ，ｎ１）であり、ただし、ｎ１は整数である；
ｉｉｉ． あるいは、Ｖｘ（ｘ，ｙ＋１）＝Ｖｘ（ｘ，ｙ）＋Ｓｈｉｆｔ（ｂ，ｎ１）、Ｖｙ（ｘ，ｙ＋１）＝Ｖｙ（ｘ，ｙ）＋Ｓｈｉｆｔ（ｄ，ｎ１）であり、ただし、ｎ１は整数である；
ｉｖ． あるいは、Ｖｘ（ｘ，ｙ＋１）＝Ｖｘ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ｂ，ｎ１）、Ｖｙ（ｘ，ｙ＋１）＝Ｖｙ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ｄ，ｎ１）であり、ただし、ｎ１は整数である；
ｄ． 一例において、現在ブロックが双予測でアフィン予測される場合、｛ａ，ｂ，ｃ，ｄ｝は、参照ピクチャリスト０又は参照ピクチャリスト１を参照し得る；
ｉ． 一例において、最終予測がオプティカルフローによって精緻化される。（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、例えば参照ピクチャリスト０又は参照ピクチャリスト１など、参照ピクチャリストの１つを参照する｛ａ，ｂ，ｃ，ｄ｝で導出され得る；
ｉｉ． 一例において、参照リスト０からの予測がオプティカルフローによって精緻化される。（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、参照リスト０を参照する｛ａ，ｂ，ｃ，ｄ｝で導出され得る；
ｉｉｉ． 一例において、参照リスト１からの予測がオプティカルフローによって精緻化される。（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、参照リスト１を参照する｛ａ，ｂ，ｃ，ｄ｝で導出され得る；
ｉｖ． オプティカルフローによって精緻化（例えば、参照ピクチャリスト０を参照するａ、ｂ、ｃ、及びｄを用いて導出された第１の動き変位ベクトル（Ｖ０ｘ（ｘ，ｙ），Ｖ０ｙ（ｘ、ｙ）で精緻化）された後の参照リスト０からの予測と、独立にオプティカルフローによって精緻化（例えば、参照ピクチャリスト１を参照するａ、ｂ、ｃ、及びｄを用いて導出された第２の動き変位ベクトル（Ｖ１ｘ（ｘ，ｙ），Ｖ１ｙ（ｘ、ｙ）で精緻化）された後の参照リスト１からの予測とを組み合わせて（例えば、平均して、又は加重平均して）、最終予測を得ることができる；
ｅ． Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ）は、ＭＶｃとは異なる精度のものであってもよい；
ｉ． 一例において、Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ）は、１／８ペル精度のものとし得る；
ｉｉ． 一例において、Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ）は、１／１６ペル精度のものとし得る；
ｉｉｉ． 一例において、Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ）は、１／３２ペル精度のものとし得る；
ｉｖ． 一例において、Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ）は、１／６４ペル精度のものとし得る；
ｖ． 一例において、Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ）は、１／１２８ペル精度のものとし得る；
ｆ． Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ）は、フロートピクセル精度のものであってもよい。
４． オプティカルフローベースの方法において（例えば、ＪＶＥＴ－Ｎ０２３６に開示されているオプティカルフローベースを用いたアフィン予測上での精緻化においてのように）Ｇ（ｘ，ｙ）と表記される勾配、例えばＧｘ（ｘ，ｙ）又は／及びＧｙ（ｘ，ｙ）が、再構成サンプル値を得るために残差サンプル値と加算されることになる最終予測上で導出されてもよいことが提案される；
ｉ． あるいは、Ｇ（ｘ，ｙ）は、最終予測を導出するために使用されることになるものである中間予測上で導出されてもよい；
（ｉ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックが双予測でインター予測される場合に、１つの参照ピクチャリストからの予測上で導出され得る；
（ｉｉ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックがアフィンモードと局所照明補償（ＬＩＣ）との両方を使用するときに、ＬＩＣが適用される前のインター予測上で導出され得る；
（ｉｉｉ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックがアフィンモードと重み付け予測又は一般化双予測（ＧＢｉ）又はＣＵレベル重み付け双予測（Bi-prediction with CU-level Weights；ＢＣＷ）との両方を使用する場合に、重み係数が乗算される前のインター予測上で導出され得る；
（ｉｖ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックがアフィンモードと局所照明補償（ＬＩＣ）との両方を使用するときに、ＬＩＣが適用されたインター予測上で導出されてもよい；
（ｖ）例えば、Ｇ（ｘ，ｙ）は、現在ブロックがアフィンモードと重み付け予測又は一般化双予測（ＧＢｉ）又はＣＵレベル重み付け双予測（Bi-prediction with CU-level Weights；ＢＣＷ）との両方を使用する場合に、重み係数が乗算されたインター予測上で導出されてもよい。
５． アフィン符号化ブロック内の位置（ｘ，ｙ）における再構成サンプルＲｅｃ（ｘ，ｙ）を、Ｒｅｃ’（ｘ，ｙ）＝Ｒｅｃ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）として精緻化できることが提案される。Ｒｅｃ’（ｘ，ｙ）は、再構成されたＲｅｃ（ｘ，ｙ）を置き換えるために使用されることになる。（Ｇｘ（ｘ，ｙ），Ｇｙ（ｘ，ｙ））は、それぞれ例えば水平方向及び垂直方向に沿ったものなどの、位置（ｘ，ｙ）における勾配を表す。（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、ＪＶＥＴ－Ｎ０２３６で提案されている方法又は本文書で開示される方法で導出され得る；
ａ． 一例において、（Ｇｘ（ｘ，ｙ），Ｇｙ（ｘ，ｙ））は、再構成サンプル上で導出される；
ｂ． 一例において、Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、２×２ブロックレベルで導出され得る。
６． Ｖ（ｘ，ｙ）、すなわち、Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、サブブロックレベルで導出されることができ、オプティカルフローベースの精緻化がサブブロックレベルで実行され得る；
ａ． 一例において、Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、２×２ブロックレベルで導出され得る；
ｂ． 一例において、Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、４×１ブロックレベルで導出され得る。
７． Ｖｘ（ｘ，ｙ）又はＶｙ（ｘ，ｙ）のみがＰＲＯＦにおいて使用され得る；
ａ． 一例において、Ｖｘ（ｘ，ｙ）がＰＲＯＦにおいて使用され、Ｖｙ（ｘ，ｙ）はゼロであると仮定され得る；
ｂ． 一例において、Ｖｙ（ｘ，ｙ）がＰＲＯＦにおいて使用され、Ｖｘ（ｘ，ｙ）はゼロであると仮定され得る；
ｃ．一例において、ＲＰＯＦにおいてＶｘ（ｘ，ｙ）が使用されるのか、それともＶｙ（ｘ，ｙ）が使用されるのかは、アフィンパラメータに依存し得る；
ｉ． 例えば、Ｖｘ（ｘ，ｙ）の絶対値の和がＶｙ（ｘ，ｙ）の絶対値の和以上である場合、Ｖｘ（ｘ，ｙ）がＰＲＯＦにおいて使用され、Ｖｙ（ｘ，ｙ）はゼロであると仮定され得る；
ｉｉ． 例えば、Ｖｘ（ｘ，ｙ）の絶対値の和がＶｙ（ｘ，ｙ）の絶対値の和以下である場合、Ｖｙ（ｘ，ｙ）がＰＲＯＦにおいて使用され、Ｖｘ（ｘ，ｙ）はゼロであると仮定され得る；
ｉｉｉ． 例えば、絶対水平勾配の和が絶対垂直勾配の和以上である場合、Ｖｘ（ｘ，ｙ）がＰＲＯＦにおいて使用され、Ｖｙ（ｘ，ｙ）はゼロであると仮定され得る；
ｉｖ． 例えば、絶対水平勾配の和が絶対垂直勾配の和以下である場合、Ｖｙ（ｘ，ｙ）がＰＲＯＦにおいて使用され、Ｖｘ（ｘ，ｙ）はゼロであると仮定され得る。
８． アフィンモードにおいて導出される動きベクトルは１／Ｎペル精度のものとすることができ、Ｖｘ（ｘ，ｙ）、Ｖｙ（ｘ，ｙ）は１／Ｍペル精度のものとすることができ、ただし、Ｎ及びＭは正の整数である；
ａ． 一例において、Ｎは８に等しく、Ｍは１６に等しい；
ｂ． 一例において、Ｎは８に等しく、Ｍは３２に等しい；
ｃ． 一例において、Ｎは８に等しく、Ｍは６４に等しい；
ｄ． 一例において、Ｎは８に等しく、Ｍは１２８に等しい；
ｅ． 一例において、Ｎは４に等しく、Ｍは８に等しい；
ｆ． 一例において、Ｎは４に等しく、Ｍは１６に等しい；
ｇ． 一例において、Ｎは４に等しく、Ｍは３２に等しい；
ｈ． 一例において、Ｎは４に等しく、Ｍは６４に等しい；
ｉ． 一例において、Ｎは４に等しく、Ｍは１２８に等しい。
９． ＴＭＶＰ又は／及びＳｂＴＭＶＰにおいて、各ブロック又は／及び各サブブロックに対して、異なる精度の二組のＭＶ（それぞれＭＶ１及びＭＶ２と表記される）が導出され得る；
ａ． 一例において、ＭＶ１は１／Ｎペル精度のものとすることができ、ＭＶ２は１／Ｍペル精度のもの１／Ｎ－ｐｅｌ精度のものとすることができ、ただし、Ｎ及びＭは正の整数である；
ｂ． 箇条書き８に記載したＮ及びＭが採用され得る；
ｃ． 一例において、Ｎは１６に等しく、Ｍは３２に等しい；
ｄ． 一例において、Ｎは１６に等しく、Ｍは６４に等しい；
ｅ． 一例において、Ｎは１６に等しく、Ｍは１２８に等しい；
ｆ． 各ブロック又は／及び各サブブロックでＭＶ１をＭＶｃとし且つＭＶ２－ＭＶ１をＶ（ｘ，ｙ）として、オプティカルフローベースの精緻化が適用され得る。
１０． １／Ｍペル精度の動きベクトルＭｖに対し、それが、動き補償に使用される前に１／Ｎペル精度に丸められ（ＭｖＲと表記される）に丸められ、そして、Ｍｖと丸めＭＶであるＭｖＲとの間のデルタＭＶを用いてＰＲＯＦを実行して、最終予測サンプルを生成し得る；
ａ． 一例において、Ｍは１６であり、Ｎは１である；
ｂ． 一例において、Ｍは８であり、Ｎは１である；
ｃ． 一例において、Ｍは４であり、Ｎは１である；
ｄ． 一例において、Ｍは１６であり、Ｎは２である；
ｅ． 一例において、Ｍは８であり、Ｎは２である；
ｆ． 一例において、Ｍは４であり、Ｎは２である；
ｇ． 一例において、Ｍｖは、水平方向のみ又は垂直方向のみで１／Ｎペル精度に丸められてもよく、それに対応してＰＲＯＦが水平方向又は垂直方向で実行され得る；
ｈ． 一例において、双予測ブロックに対して、この方法は、Ｘ＝０，１として、予測方向Ｘでのみ動きベクトルに適用され得る；
ｉ． 一例において、双予測ブロックに対して、この方法は、両方の方向で動きベクトルに適用され得る；
ｊ． 一例において、Ｋ１個の部分ＭＶ成分（すなわち、１つのＭＶ成分が１つの水平又は垂直ＭＶに対応する）が存在すると仮定して、この方法は、Ｋ１＞＝０、Ｋ２＞＝０、Ｋ２＜＝Ｋ１として、Ｋ２個の部分ＭＶ成分に適用され得る。
１１． ＰＣＴ／ＣＮ２０１９／０７２０６０号又はＰＣＴ／ＣＮ２０１８／１０９４２５号で提案される（ＢＤＯＦに加えて）動きベクトル精緻化方法にて導出される動きベクトルは、１／Ｎ ＭＶの精度のものとし得る。一実施形態例において、映像処理の方法は、現在映像ブロックに対してマルチステップデコーダ側動きベクトル精緻化処理を用いて、最終動きベクトルを決定し、該最終動きベクトルを用いて、現在ブロックとビットストリーム表現との間での変換を実行することを有する。一部の実施形態において、現在マクロブロックに対するマルチステップデコーダ側動きベクトル精緻化プロセスは、マルチステップ精緻化プロセスのｉ番目のステップにおける精緻化値に対して実行され、ここで、ｉは整数である。一部の実施形態において、マルチステップ精緻化プロセスは、ｉ番目のステップの精緻化値を生成するために（ｉ－１）番目のステップの精緻化値を使用することを含み、ここで、ｉ＝１乃至Ｎであり、Ｎは、マルチステップ精緻化プロセスにおいて実行される精緻化ステップの総数であり、Ｎは１より大きい；
ａ． 一例において、Ｎは３２に等しい；
ｂ． 一例において、Ｎは６４に等しい；
ｃ． 一例において、Ｎは１２８に等しい；
ｃ． 精緻化されたＭＶを用いて動き補償を実行するとき、箇条書き１０に記載した方法が適用され得る；
ｉ． 一例において、精緻化されたＭＶは１／３２ペル精度であり、それが先ず、動き補償に使用される前に１／１６ペル精度に丸められ、そして、精緻化されたＭＶと丸められたＭＶとの間のデルタＭＶを用いてＰＲＯＦを実行して最終予測サンプルを生成する；
ｉｉ． 一例において、精緻化されたＭＶは１／３２ペル精度であり、それが先ず、動き補償に使用される前に１ペル精度に丸められ、そして、精緻化されたＭＶと丸められたＭＶとの間のデルタＭＶを用いてＰＲＯＦを実行して最終予測サンプルを生成する；
ｉｉｉ． 一例において、精緻化されたＭＶは１／６４ペル精度であり、それが先ず、動き補償に使用される前に１／１６ペル精度に丸められ、そして、精緻化されたＭＶと丸められたＭＶとの間のデルタＭＶを用いてＰＲＯＦを実行して最終予測サンプルを生成する；
ｉｖ． 一例において、精緻化されたＭＶは１／６４ペル精度であり、それが先ず、動き補償に使用される前に１ペル精度に丸められ、そして、精緻化されたＭＶと丸められたＭＶとの間のデルタＭＶを用いてＰＲＯＦを実行して最終予測サンプルを生成する。
１２． ＪＶＥＴ－Ｎ０２３６に記載される方法を含め、上の方法がある特定のタイプのブロックに適用され得ることが提案される；
ａ． 一例において、当該方法は８×４ブロック又はサブブロックにのみ適用される；
ｂ． 一例において、当該方法は４×８ブロック又はサブブロックにのみ適用される；
ｃ． 一例において、当該方法は４×４片予測ブロック又はサブブロックにのみ適用される；
ｄ． 一例において、当該方法は８×４、４×８及び４×４片予測ブロック又はサブブロックにのみ適用される；
ｅ． 一例において、当該方法は、４×４双予測ブロック又はサブブロック以外の取り得る全てのブロックに適用される；
ｆ． 一例において、当該方法はルマブロックにのみ適用される；
ｇ． 一例において、当該方法を適用するかどうかは、以下に依存し得る：
ｉ． 色成分；
ｉｉ． ブロックサイズ；
ｉｉｉ． カラーフォーマット；
ｉｖ． ブロック位置；
ｖ． 動きタイプ；
ｖｉ． 動きベクトルの大きさ；
ｖｉｉ． 符号化モード；
ｖｉｉｉ． ピクセル勾配の大きさ；
ｉｘ． 変換タイプ；
ｘ． ＢＩＯが適用されるか；
ｉｘ． 双方向予測が適用されるか；
ｘｉｉ． ＤＭＶＲが適用されるか；
１３． ＰＲＯＦは、ＰＣＴ／ＣＮ２０１９／０７１５０７号に記載されるインタウィーブ予測に適用されることができ、その文献をここに援用する。インタウィーブ予測では、所与のブロックの２つの異なるサブブロックパーティションから中間予測値が生成され、それら２つの異なるサブブロックパーティションは、少なくとも、１つのパーティション内のサブブロックの一部又は全てが、もう１つのパーティションでの一部又は全てのサブブロックとは異なるサイズを持つようにされる；
ａ． 一例において、アフィンモードで符号化されるブロックは、Ｋ通りのパターンでサブブロックに分割され得る。Ｋ＝２の場合の例を図２９に示す。最初のパターンにて、動き補償が実行され、各サブブロックの予測サンプル（Ｐ（ｘ，ｙ）と表記される）が生成される。第Ｌ（１＜Ｌ＜＝Ｋ）パターンでは、動き補償は実行されず、代わりに、最初のパターンの予測サンプルと、最初のパターンで導出されたＭＶ（ＭＶ１（ｘ，ｙ）と表記される）と第Ｌパターンで導出されたＭＶ（ＭＶＬ（ｘ，ｙ）と表記される）との間のＭＶ差とに基づいて、ＰＲＯＦを用いて、各サンプルについてオフセット（ＯＬ（ｘ，ｙ）と表記される）が導出される。Ｐ（ｘ，ｙ）とＯＬ（ｘ，ｙ）との関数として最終予測サンプルが生成される；
ｉ． 一例において、Ｋは２に等しい；
（ｉ）一例において、最終予測サンプルは：Ｐ（ｘ，ｙ）＋（（Ｏ１（ｘ，ｙ）＋１）＞＞１）として生成され得る；
（ｉｉ）一例において、最終予測サンプルは、Ｐ（ｘ，ｙ）＋（Ｏ１（ｘ，ｙ）＞＞＞１）として生成され得る；
ｉ． 一例において、最終予測サンプルは、Ｐ（ｘ，ｙ）＋（Ｏ１（ｘ，ｙ）＋．．．＋ＯＫ（ｘ，ｙ）＋Ｋ／２）／Ｋとして生成され得る；
ｉｉｉ． 一例において、最終予測サンプルは、Ｐ（ｘ，ｙ）＋（Ｏ１（ｘ，ｙ）＋．．．＋ＯＫ（ｘ，ｙ））／Ｋとして生成され得る；
ｂ． 一例において、ＯＬ（ｘ，ｙ）は、中間Ｐ（ｘ，ｙ）を用いて導出され得る；
ｉ． 例えば、ＯＬ（ｘ， ｙ）は、水平及び垂直補間後であるがそれを入力サンプルと同じビット深度に変換する前に生成される中間Ｐ（ｘ，ｙ）を用いて導出され得る；
ｃ． 一例において、ＯＬ（ｘ，ｙ）は、各予測方向に対して導出され得る；
ｄ． 一例において、ＶＬ（ｘ，ｙ）、すなわち、第ＬパターンにおけるＶ（ｘ，ｙ）は、ＭＶＬ（ｘ，ｙ）－ＭＶ１（ｘ，ｙ）として導出され得る；
ｅ． 一例において、ＭＶ１（ｘ，ｙ）は１／ＮペルＭＶ精度のものとすることができ、ＭＶＬ（ｘ，ｙ）は１／ＭＬペルＭＶ精度のものとすることができる；
ｉ． 一例において、Ｎは１６に等しく、ＭＬは３２に等しい；
ｉｉ． 一例において、Ｎは１６に等しく、ＭＬは６４に等しい；
ｉｉｉ． 一例において、Ｎは１６に等しく、ＭＬは１２８に等しい；
ｉｖ． 一例において、Ｎは８に等しく、ＭＬは１６に等しい；
ｖ． 一例において、Ｎは８に等しく、ＭＬは３２に等しい；
ｖｉ． 一例において、Ｎは８に等しく、ＭＬは６４に等しい；
ｖｉｉ． 一例において、Ｎは８に等しく、ＭＬは１２８に等しい；
ｖｉｉｉ． 一例において、Ｎは４に等しく、ＭＬは８に等しい；
ｉｘ． 一例において、Ｎは４に等しく、ＭＬは１６に等しい；
ｘ． 一例において、Ｎは４に等しく、ＭＬは３２に等しい；
ｘｉ． 一例において、Ｎは４に等しく、ＭＬは６４に等しい；
ｘｉｉ． 一例において、Ｎは４に等しく、ＭＬは１２８に等しい；
ｘｉｉｉ． ＭＬは異なるＬに対して異なってもよい
１４． オプティカルフローベースの予測精緻化方法（略してＰＲＯＦ）は、インタウィーブ予測と組み合わされることができる；
ａ． 一例において、先ず、中間予測ブロックを生成するために、インタウィーブ予測を適用することができ、そして、ＰＲＯＦを更に適用して、それらの中間予測ブロックを精緻化することができる。精緻化された中間予測ブロックに従って最終予測ブロックを導出することができる；
ｂ． 一例において、アフィンモードで符号化されるブロックは、Ｋ通りのパターンでサブブロックに分割され得る。各パターンについて、動き補償が実行され、各サブブロックの予測サンプルが生成され得る。次いで、各パターンに対してＰＲＯＦが実行され、パターンの予測が更新され得る。最後に、各パターンの予測サンプルが融合されて（例えば、ＰＣＴ／ＣＮ２０１８／０８９２４２号、ＰＣＴ／ＣＮ２０１８／１０３７７０号、ＰＣＴ／ＣＮ２０１８／１０４９８４号、ＰＣＴ／ＣＮ２０１９／０７００５８号、ＰＣＴ／ＣＮ２０１９／０７１５０７号、ＰＣＴ／ＣＮ２０１９／０７１５７６号のうちのいずれか１つ以上に記載されているように）、ブロックの最終予測が作成される。一実施形態例において、映像システムにおいてブロックベースの動き予測を改善する方法は：映像フレームからピクセルのセットを選択してブロックを形成し；第１パターンに従ってブロックを第１セットのサブブロックに分割し；第１セットのサブブロックに基づいて第１中間予測ブロックを生成し；第２パターンに従ってブロックを第２セットのサブブロックに分割し、第２セット内の少なくとも１つのサブブロックは、第１セット内のサブブロックとは異なるサイズを有し；第２セットのサブブロックに基づいて第２中間予測ブロックを生成し；そして、第１中間予測ブロック及び第２中間予測ブロックに基づいて予測ブロックを決定することを有する。一部の実施形態において、予測ブロックを決定することは、予測サンプルのうちの第１サブセットが第１中間予測ブロックの重み付けた組み合わせとして計算され、予測サンプルのうちの第２サブセットがサブブロックベースの予測からコピーされ、第１サブセット及び第２サブセットが分割パターンに基づく、という部分予測を用いることを含む；
ｃ． 一例において、片予測の場合、ＰＲＯＦ及びインタウィーブ予測が１つのブロックに適用され得る；
ｄ． 一例において、双方向予測の場合、インタウィーブ予測が無効にされ得る一方で、ＰＲＯＦが有効にされ得る；
ｅ． 一例において、ＰＲＯＦ及びインタウィーブ予測の両方が１つのブロックに適用される場合（コムモード（comb-mode）と呼ぶ）、コムモードで符号化されない他のブロックを符号化するのに使用される補間フィルタとは異なるとし得る例えば６タップ又はバイリニア補間フィルタなどの、より短いタップフィルタが利用され得る；
ｆ． 一例において、ＰＲＯＦ及びインタウィーブ予測の両方が１つのブロックに適用される場合（コムモード（comb-mode）と呼ぶ）、アフィンサブブロックサイズは、８×４若しくは４×８又はその他に設定され得る。あるいは、さらに、コムモードに使用されるサブブロックサイズは、コムモードで符号化されない他のアフィン符号化ブロックを符号化するのに使用されるものとは異なり得る；
ｇ． ＰＲＯＦ及びインタウィーブ予測を適用すべきか、及び／又はどのように適用するかは、例えば予測方向、参照ピクチャ情報、色成分などの符号化された情報に従って決定され得る。
１５． ＰＲＯＦはイントラ予測に適用されてもよい；
ａ． 一例において、アンギュラ予測にて、サブピクセル位置参照サンプルがＰＲＯＦによって生成される。ここでは、隣接再構成サンプルが予測サンプルとみなされ、サブピクセル位置と整数ペル位置との間の差がＶ（ｘ，ｙ）とみなされる；
ｉ． 一例において、上ライン又は／及び右上ラインのサブピクセル位置に対して、Ｖｙ（ｘ，ｙ）は常にゼロとし得る；
ｉｉ． 一例において、左ライン又は／及び左下ラインのサブピクセル位置に対して、Ｖｙ（ｘ，ｙ）は常にゼロとし得る；
ｉｉｉ． 一例において、サブピクセル位置は１／Ｎペル精度のものとし得る；
（ｉ）例えば、Ｎは３２に等しいとし得る；
（ｉｉ）例えば、Ｎは６４に等しいとし得る；
（ｉｉｉ）例えば、Ｎは１２８に等しいとし得る；
ｉｖ． 一例において、サブピクセル位置はフロート精度のものとし得る。
１６． 一例において、ＰＲＯＦとインタウィーブ予測とが組み合わされて適用され得る；
ａ． 例えば、先ずＰＲＯＦが適用され、次いでインタウィーブ予測が適用される；
ｉ． 先ず、２つの異なる分割パターンでの予測がＰＲＯＦによって処理され、次いで、それらが重み付けて足し合わされて、最終予測（又は別の予測プロセスの前の中間予測）が得られる；
ｂ． 例えば、先ずインタウィーブ予測が適用され、次いでＰＲＯＦが適用される；
ｉ． ２つの異なる分割パターンでの予測が重み付けて足し合わされて、中間予測が得られ、次いで、該中間予測にＰＲＯＦが適用されて、最終予測（又は別の予測プロセスの前の中間予測）が得られる。
１７． 一例において、ＰＡＭＣとインタウィーブ予測とが組み合わされて適用され得る；
ａ． 例えば、先ずＰＡＭＣが適用され、次いでインタウィーブ予測が適用される；
ｉ． ２つの異なる分割パターンでの予測がＰＡＭＣの補間方法で生成されることができ、次いで、それらが重み付けて足し合わされて、最終予測（又は別の予測プロセスの前の中間予測）が得られる；
ｂ． 例えば、先ずインタウィーブ予測が適用され、次いでＰＡＭＣが適用される。
１８． 一例において、ＰＲＯＦとＰＡＭＣとが組み合わされて適用され得る；
ａ． 例えば、先ずＰＡＭＣが適用され、次いでＰＲＯＦが適用される；
ｉ． ＰＡＭＣの補間方法で予測が生成され、次いで、それらがＰＲＯＦによって処理されて、最終予測（又は別の予測プロセスの前の中間予測）が得られ得る；
ｂ． 例えば、先ずＰＲＯＦが適用され、次いでＰＡＭＣが適用される。
図２７は、映像処理装置２７００のブロック図である。装置２７００は、ここに記載される方法のうちの１つ以上を実装するために使用され得る。装置２７００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信器にて具現化され得る。装置２７００は、１つ以上のプロセッサ２７０２、１つ以上のメモリ２７０４、及び映像処理ハードウェア２７０６を含み得る。（１つ以上の）プロセッサ２７０２は、本文書に記載される１つ以上の方法を実行するように構成され得る。（１つ以上の）メモリ２７０４は、ここに記載される方法及び技術を実行するのに使用されるデータ及びコードを格納するために使用され得る。映像処理ハードウェア２７０６は、本文書に記載される一部の技術をハードウェア回路にて実装するために使用されることができ、また、部分的に又は完全にプロセッサ２７０２（例えば、グラフィックスプロセッサコアＧＰＵ又は他の信号処理回路）の一部であってもよい。
図２８Ａは、映像処理方法の一例に関するフローチャートである。方法２８００Ａは、映像ブロックと該映像ブロックのビットストリーム表現との間での変換において、映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、位置（ｘ，ｙ）で推定された第１方向及び／又は第２方向における勾配と、位置（ｘ，ｙ）について推定された第１の動き変位及び／又は第２の動き変位と、の関数として位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定（２８０２）し、精緻化予測サンプルＰ’（ｘ，ｙ）からの再構成サンプル値Ｒｅｃ（ｘ，ｙ）を用いて変換を実行（２８０４）することを含む。
図２８Ｂは、映像処理方法の一例に関するフローチャートである。方法２８００Ｂは、映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定（２８１２）し、ｘ及びｙは整数であり、精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて取得される位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を用いて、映像ブロックと映像ブロックのビットストリーム表現との間での変換を実行（２８１４）することを含む。
図２８Ｃは、映像処理方法の一例に関するフローチャートである。方法２８００Ｃは、映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定（２８２２）し、ｘ及びｙは整数であり、少なくとも精緻化予測サンプルＰ’（ｘ，ｙ）に基づく位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）に基づく残差サンプル値Ｒｅｓ（ｘ，ｙ）を含むよう、映像ブロックのビットストリーム表現を符号化（２８２４）することを含む。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１方向及び第２方向は互いに直交する。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の動き変位は、第１方向に平行な方向を表し、第２の動き変位は、第２方向に平行な方向を表す。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み付け値であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は整数又は実数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝（α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）＋ｏｆｆｓｅｔＰ）／（α（ｘ，ｙ）＋β（ｘ，ｙ）＋γ（ｘ，ｙ））であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み付け値であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は整数又は実数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｏｆｆｓｅｔＰは０に等しい。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）は、バイナリシフト演算を用いて取得される。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）－Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）－Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）－Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）－Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝０．５×Ｐ（ｘ，ｙ）＋０．２５×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋０．２５×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝０．５×Ｐ（ｘ，ｙ）＋０．５×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋０．５×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＋０．５×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋０．５×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝Ｓｈｉｆｔ（α（ｘ，ｙ）×Ｐ（ｘ，ｙ），ｎ１）＋Ｓｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ），ｎ２）＋Ｓｈｉｆｔ（γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は、位置（ｘ，ｙ）における重み付け値であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は整数であり、ｎ１、ｎ２、ｎ３は非負の整数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｎ１、ｎ２、ｎ３は１に等しい。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（α（ｘ，ｙ）×Ｐ（ｘ，ｙ），ｎ１）＋ＳａｔＳｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ），ｎ２）＋ＳａｔＳｈｉｆｔ（γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は位置（ｘ，ｙ）における重み付け値であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は整数であり、ｎ１、ｎ２、ｎ３は非負の整数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｎ１、ｎ２、ｎ３は１に等しい。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝Ｓｈｉｆｔ（α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ１）であり、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は位置（ｘ，ｙ）における重み付け値であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は整数であり、ｎ１は非負の整数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｎ１は１に等しい。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ１）であり、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は位置（ｘ，ｙ）における重み付け値であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は整数であり、ｎ１は非負の整数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｎ１は１に等しい。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋Ｓｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ），ｎ２）＋Ｓｈｉｆｔ（γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は位置（ｘ，ｙ）における重み付け値であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は整数であり、ｎ２及びｎ３は非負の整数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｎ２及びｎ３は１に等しい。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ），ｎ２）＋ＳａｔＳｈｉｆｔ（γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は位置（ｘ，ｙ）における重み付け値であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は整数であり、ｎ２及びｎ３は非負の整数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｎ２及びｎ３は１に等しい。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋Ｓｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は位置（ｘ，ｙ）における重み付け値であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は整数であり、ｎ３は非負の整数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｎ３は１に等しい。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ），ｎ３）であり、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は位置（ｘ，ｙ）における重み付け値であり、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は整数であり、ｎ３は非負の整数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｎ３は１に等しい。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、１－４、Ｐ’（ｘ，ｙ）＝ｆ０（Ｐ（ｘ，ｙ））＋ｆ１（Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ））＋ｆ２（Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ））であり、ｆ０（）、ｆ１（）、及びｆ２（）は３つの関数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の勾配成分Ｇｘ（ｘ，ｙ）及び第２の勾配成分Ｇｙ（ｘ，ｙ）は、第２の予測サンプルＰ（ｘ１，ｙ１）を用いて計算され、ｘ１は［ｘ－Ｂｘ０，ｘ＋Ｂｘ１］の第１範囲に属し、ｙ１は［ｙ－Ｂｙ０，ｙ＋Ｂｙ１］の第２範囲に属し、Ｂｘ０及びＢｙ０は整数であり、Ｂｘ１及びＢｙ１は整数である。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の勾配成分Ｇｘ（ｘ，ｙ）＝Ｐ（ｘ＋１，ｙ）－Ｐ（ｘ－１，ｙ）であり、第２の勾配成分Ｇｙ（ｘ，ｙ）＝Ｐ（ｘ，ｙ＋１）－Ｐ（ｘ，ｙ－１）である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の勾配成分Ｇｘ（ｘ，ｙ）＝Ｓｈｉｆｔ（Ｐ（ｘ＋１，ｙ）－Ｐ（ｘ－１，ｙ），ｎ１）であり、第２の勾配成分Ｇｙ（ｘ，ｙ）＝Ｓｈｉｆｔ（Ｐ（ｘ，ｙ＋１）－Ｐ（ｘ，ｙ－１），ｎ２）であり、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指す。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の勾配成分Ｇｘ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（Ｐ（ｘ＋１，ｙ）－Ｐ（ｘ－１，ｙ），ｎ１）であり、第２の勾配成分Ｇｙ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（Ｐ（ｘ，ｙ＋１）－Ｐ（ｘ，ｙ－１），ｎ２）であり、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指す。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｎ１及びｎ２は１に等しい。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルＰ（ｘ，ｙ）は、位置（ｘ，ｙ）にある片予測サンプルである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルＰ（ｘ，ｙ）は、双予測の最終結果である。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、双方向オプティカルフロー（ＢＩＯ）技術を用いて導出される。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、前記予測サンプルＰ（ｘ，ｙ）は、以下のうちのいずれか１つを満たす：多重仮説インター予測技術の結果；アフィン予測技術の結果；イントラ予測技術の結果；イントラブロックコピー（ＩＢＣ）予測技術の結果；三角予測モード（ＴＰＭ）技術によって生成される；ジオグラフィック予測モード（ＧＰＭ）技術によって生成される；インター－イントラ結合予測技術の結果；グローバルインター予測技術の結果であり、グローバルインター予測技術は、同じ動きモデル及びパラメータを共有する領域を含む；パレット符号化モードの結果；マルチビュー又は３Ｄビデオコーディングにおけるインタービュー予測の結果；スケーラブルビデオコーディングにおける層間予測の結果；精緻化予測サンプルＰ’（ｘ，ｙ）を決定する前のフィルタリング演算の結果。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルＰ（ｘ，ｙ）は、精緻化プロセスが適用されない場合の最終予測サンプル値であり、再構成サンプル値Ｒｅｃ（ｘ，ｙ）は、予測サンプルＰ（ｘ，ｙ）に残差サンプル値Ｒｅｓ（ｘ，ｙ）を足し合わせることによって取得される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルＰ（ｘ，ｙ）から精緻化された精緻化予測サンプルＰ’（ｘ，ｙ）は、精緻化プロセスが適用される場合の最終予測サンプル値であり、再構成されたサンプル値Ｒｅｃ（ｘ，ｙ）は、精緻化予測サンプルＰ’（ｘ，ｙ）に残差サンプル値Ｒｅｓ（ｘ，ｙ）を足し合わせることによって取得される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、双予測技術又は多重仮説予測技術が映像ブロックに又は映像ブロックのサブブロックに適用され、第１の勾配成分、第２の勾配成分、第１の動き変位、及び第２の動き変位が、最終予測サンプル値に１回適用される。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、双予測技術又は多重仮説予測技術が映像ブロックに又は映像ブロックのサブブロックに適用され、第１の勾配成分、第２の勾配成分、第１の動き変位、及び第２の動き変位が、映像ブロックの予測ブロックに複数回適用されて、複数セットの、第１の勾配成分、第２の勾配成分、第１の動き変位、及び第２の動き変位が取得され、精緻化予測サンプルＰ’（ｘ，ｙ）に基づいて各予測ブロックを更新することによって、更新予測ブロックが取得され、該更新予測ブロックを用いて、映像ブロックについての最終予測ブロックが生成される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１のセットは、１つの位置で第１の予測ブロックに、第１の勾配成分、第２の勾配成分、第１の動き変位、又は第２の動き変位のうち少なくとも１つについて、第２のセットにおいて同じ１つの位置で第２の予測ブロックに適用される第１の勾配成分、第２の勾配成分、第１の動き変位、又は第２の動き変位のうちの対応する少なくとも１つとは異なるものを適用する。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルＰ（ｘ，ｙ）は、それを用いて最終予測サンプル値が導出されることになる中間予測サンプル値である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックが双予測技術を用いてインター予測されることに応答して、予測サンプルＰ（ｘ，ｙ）は、１つの参照ピクチャリストからの予測サンプルである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックが三角予測モード（ＴＰＭ）技術を用いてインター予測されることに応答して、予測サンプルＰ（ｘ，ｙ）は、１つの参照ピクチャリストからの予測サンプルである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックがジオメトリック分割モード（ＧＰＭ）技術を用いてインター予測されることに応答して、予測サンプルＰ（ｘ，ｙ）は、１つの参照ピクチャリストからの予測サンプルである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックが多重仮説予測技術を用いてインター予測されることに応答して、予測サンプルＰ（ｘ，ｙ）は、１つの参照ピクチャリストからの予測サンプルである。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルＰ（ｘ，ｙ）は、インター－インター結合予測される映像ブロックについてのインター予測サンプルである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルＰ（ｘ，ｙ）は、局所照明補償（ＬＩＣ）技術が映像ブロックに適用される前のインター予測サンプルであり、映像ブロックはＬＩＣ技術を使用する。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルＰ（ｘ，ｙ）は、デコーダ側動きベクトル精緻化（ＤＭＶＲ）技術又はデコーダ側動きベクトル導出（ＤＭＶＤ）技術が映像ブロックに適用される前のインター予測サンプルであり、映像ブロックはＤＭＶＲ技術又はＤＭＶＤ技術を使用する。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルＰ（ｘ，ｙ）は、重み係数が乗算される前のインター予測サンプルであり、映像ブロックは、重み付け予測技術又は一般化Ｂｉ予測（ＧＢｉ）技術を使用する。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１方向における第１の勾配成分及び／又は第２方向における第２の勾配成分は、最終予測サンプル値に対して導出され、精緻化プロセスが適用されない場合、最終予測サンプル値が残差サンプル値Ｒｅｓ（ｘ，ｙ）に加算されて、再構成サンプル値Ｒｅｃ（ｘ，ｙ）が取得される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、最終予測サンプル値は予測サンプルＰ（ｘ，ｙ）である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１方向における第１の勾配成分及び／又は第２方向における第２の勾配成分は、それを用いて最終予測サンプル値が導出されることになる中間予測サンプル値に対して導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックが双予測技術を用いてインター予測されることに応答して、第１方向における第１の勾配成分及び／又は第２方向における第２の勾配成分は、１つの参照ピクチャリストからの予測サンプルから導出される。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックが三角予測モード（ＴＰＭ）技術を用いてインター予測されることに応答して、第１方向における第１の勾配成分及び／又は第２方向における第２の勾配成分は、１つの参照ピクチャリストから導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックがジオメトリック予測モード（ＧＰＭ）技術を用いてインター予測されることに応答して、第１方向における第１の勾配成分及び／又は第２方向における第２の勾配成分は、１つの参照ピクチャリストから導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックが多重仮説予測技術を用いてインター予測されることに応答して、第１方向における第１の勾配成分及び／又は第２方向における第２の勾配成分は、１つの参照ピクチャリストから導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１方向における第１の勾配成分及び／又は第２方向における第２の勾配成分は、インター－インター結合予測される映像ブロックについてのインター予測サンプルから導出される。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１方向における第１の勾配成分及び／又は第２方向における第２の勾配成分は、局所照明補償（ＬＩＣ）技術が映像ブロックに適用される前のインター予測サンプルから導出され、映像ブロックはＬＩＣ技術を使用する。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１方向における第１の勾配成分及び／又は第２方向における第２の勾配成分は、デコーダ側動きベクトル精緻化（ＤＭＶＲ）技術又はデコーダ側動きベクトル導出（ＤＭＶＤ）技術が映像ブロックに適用される前のインター予測サンプルから導出され、映像ブロックはＤＭＶＲ技術又はＤＭＶＤ技術を使用する。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１方向における第１の勾配成分及び／又は第２方向における第２の勾配成分は、重み係数が乗算される前のインター予測サンプルから導出され、映像ブロックは、重み付け予測技術又は一般化Ｂｉ予測（ＧＢｉ）技術を使用する。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、精緻化予測サンプルＰ’（ｘ，ｙ）は、最終予測サンプル値を得るために更に修正される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１方向における第１の勾配成分はＧｘ（ｘ，ｙ）と表され、第２方向における第２の勾配成分はＧｙ（ｘ，ｙ）と表され、第１の動き変位はＶｘ（ｘ，ｙ）と表され、第２の動き変位はＶｙ（ｘ，ｙ）と表され、位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）が、精緻化再構成サンプル値Ｒｅｃ’（ｘ，ｙ）で置き換えられ、Ｒｅｃ’（ｘ，ｙ）＝Ｒｅｃ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の勾配成分Ｇｘ（ｘ，ｙ）及び第２の勾配成分Ｇｙ（ｘ，ｙ）は、再構成サンプル値に基づいて導出される。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、当該方法は更に、映像ブロック内の位置（ｘ，ｙ）における第１の動き変位Ｖｘ（ｘ，ｙ）及び位置（ｘ，ｙ）における第２の動き変位Ｖｙ（ｘ，ｙ）を、少なくとも映像ブロックの空間隣接映像ブロックからの情報、又は少なくとも映像ブロックに対して時間的に遅れずに位置する時間隣接映像ブロックからの情報に基づいて決定することを有する。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、空間隣接映像ブロックは、映像ブロックに隣接して位置し、時間隣接映像ブロックは、映像ブロックに時間的に遅れずに隣接して位置する。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）は、少なくとも映像ブロックの空間隣接映像ブロック、又は少なくとも映像ブロックに対して時間的に遅れずに位置する時間隣接映像ブロックに基づいて、双方向オプティカルフロー（ＢＩＯ）技術を用いて決定される。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、空間隣接映像ブロックからの又は時間隣接映像ブロックからの情報は、動き情報、符号化モード、隣接符号化ユニット（ＣＵ）寸法、又は隣接ＣＵ位置を含む。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、Ｗｃ（ｘ，ｙ）×ＭＶｃ＋ＷＮ１（ｘ，ｙ）×ＭＶＮ１＋ ＷＮ２（ｘ，ｙ）×ＭＶＮ２＋．．．＋ＷＮｋ（ｘ，ｙ）×ＭＶＮｋに等しいＭＶＭｉｘに等しく、ここで、ＭＶｃは、映像ブロックの動きベクトルであり、ＭＶＮ１、．．．、ＭＶＮｋは、ｋ個の空間隣接映像ブロック又は時間隣接映像ブロックの動きベクトルであり、Ｎ１、．．．、Ｎｋは、空間隣接映像ブロック又は時間隣接映像ブロックであり、Ｗｃ、ＷＮ１、．．．、ＷＮｋは、整数又は実数である重み値である。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、Ｓｈｉｆｔ（Ｗｃ（ｘ，ｙ）×ＭＶｃ＋ＷＮ１（ｘ，ｙ）×ＭＶＮ１＋ＷＮ２（ｘ，ｙ）×ＭＶＮ２＋．．．＋ＷＮｋ（ｘ，ｙ）×ＭＶＮｋ，ｎ１）に等しいＭＶＭｉｘに等しく、ここで、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、ＭＶｃは、映像ブロックの動きベクトルであり、ＭＶＮ１、．．．、ＭＶＮｋは、ｋ個の空間隣接映像ブロック又は時間隣接映像ブロックの動きベクトルであり、Ｎ１、．．．、Ｎｋは、空間隣接映像ブロック又は時間隣接映像ブロックであり、Ｗｃ、ＷＮ１、．．．、ＷＮｋは、整数又は実数である重み値であり、ｎ１は整数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、ＳａｔＳｈｉｆｔ（Ｗｃ（ｘ，ｙ）×ＭＶｃ＋ＷＮ１（ｘ，ｙ）×ＭＶＮ１＋ＷＮ２（ｘ，ｙ）×ＭＶＮ２＋．．．＋ＷＮｋ（ｘ，ｙ）×ＭＶＮｋ，ｎ１）に等しいＭＶＭｉｘに等しく、ここで、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、ＭＶｃは、映像ブロックの動きベクトルであり、ＭＶＮ１、．．．、ＭＶＮｋは、ｋ個の空間隣接映像ブロック又は時間隣接映像ブロックの動きベクトルであり、Ｎ１、．．．、Ｎｋは、空間隣接映像ブロック又は時間隣接映像ブロックであり、Ｗｃ、ＷＮ１、．．．、ＷＮｋは、整数又は実数である重み値であり、ｎ１は整数である。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｗｃ（ｘ，ｙ）はゼロに等しい。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｋは１に等しく、Ｎ１は空間隣接映像ブロックである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｎ１は、映像ブロック内の位置（ｘ，ｙ）に位置的に最も近い空間隣接映像ブロックである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ＷＮ１（ｘ，ｙ）は、Ｎ１が映像ブロック内の位置（ｘ，ｙ）に近づくにつれて値が増加する。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、ｋは１に等しく、Ｎ１は時間隣接映像ブロックである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、Ｎ１は、映像ブロック内の位置（ｘ，ｙ）についてのコロケートピクチャ内のコロケート映像ブロックである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルが映像ブロックの上境界又は左境界に位置しないことに応答して、基本映像ブロック内の予測サンプルは精緻化されない。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルが映像ブロックの上境界に位置することに応答して、基本映像ブロック内の予測サンプルが精緻化される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））はＭＶＭｉｘに等しく、映像ブロックの上境界に位置する基本映像ブロックについてのＭＶＭｉｘが、映像ブロックの上に位置する隣接映像ブロックに基づいて導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、予測サンプルが映像ブロックの左境界に位置することに応答して、基本映像ブロック内の予測サンプルが精緻化される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））はＭＶＭｉｘに等しく、映像ブロックの左境界に位置する基本映像ブロックについてのＭＶＭｉｘが、映像ブロックの左に位置する隣接映像ブロックに基づいて導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロック及び動きベクトルと、ある数の空間隣接映像ブロックの又はある数の時間隣接映像ブロックの動きベクトルとが、同一参照ピクチャにスケーリングされる。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、上記同一参照ピクチャは、映像ブロックの動きベクトルによって参照される参照ピクチャである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、空間隣接映像ブロック又は時間隣接映像ブロックがイントラ符号化されない場合にのみ、空間隣接映像ブロック又は時間隣接映像ブロックを用いて（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））が導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、空間隣接映像ブロック又は時間隣接映像ブロックがイントラブロックコピー（ＩＢＣ）予測符号化されない場合にのみ、空間隣接映像ブロック又は時間隣接映像ブロックを用いて（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））が導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、空間隣接映像ブロック又は時間隣接映像ブロックの第１の動きベクトルが映像ブロックの第２の動きベクトルと同じ参照ピクチャを参照する場合にのみ、空間隣接映像ブロック又は時間隣接映像ブロックを用いて（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））が導出される。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、ｆ（ＭＶＭｉｘ，ＭＶｃ）に等しく、ここで、ｆは関数であり、ＭＶｃは映像ブロックの動きベクトルである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、ＭＶＭｉｘ－ＭＶｃに等しい。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、ＭＶｃ－ＭＶＭｉｘに等しい。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、ｐ×ＭＶＭｉｘ＋ｑ×ＭＶｃに等しく、ここで、ｐ及びｑは実数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、Ｓｈｉｆｔ（ｐ×ＭＶＭｉｘ＋ｑ×ＭＶｃ，ｎ）又はＳａｔＳｈｉｆｔ（ｐ×ＭＶＭｉｘ＋ｐ×ＭＶｃ，ｎ）に等しく、ここで、ｐ、ｑ及びｎは整数であり、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指す。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックは、片予測でインター予測され、映像ブロックの動きベクトルは参照ピクチャリスト０を参照する。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックは、片予測でインター予測され、映像ブロックの動きベクトルは参照ピクチャリスト１を参照する。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックは、双予測技術を用いてインター予測され、映像ブロックの動きベクトルは、参照ピクチャリスト０又は参照ピクチャリスト１を参照する。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、参照ピクチャリスト０又は参照ピクチャリスト１を参照する映像ブロックの動きベクトルから導出される第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）に基づいて、最終予測サンプル値が精緻化される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、参照ピクチャリスト０を参照する映像ブロックの動きベクトルから導出される第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）に基づいて、参照ピクチャリスト０からの第１の予測サンプル値が精緻化される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、参照ピクチャリスト１を参照する映像ブロックの動きベクトルから導出される第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）に基づいて、参照ピクチャリスト１からの第２の予測サンプル値が精緻化される。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、参照ピクチャリスト０から精緻化された第１の予測サンプル値及び参照ピクチャリスト１から精緻化された第２の予測サンプル値を用いて、最終予測サンプル値が導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、最終予測サンプル値は、参照ピクチャリスト０から精緻化された第１の予測サンプル値と参照ピクチャリスト１から精緻化された第２の予測サンプル値との平均又は加重平均に等しい。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックは双予測技術を用いてインター予測され、双方向オプティカルフロー（ＢＩＯ）技術が映像ブロックに適用され、第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）が、空間隣接映像ブロック又は時間隣接映像ブロックに基づいて修正される。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の動き変位ベクトルＶ’（ｘ，ｙ）＝（Ｖ’ｘ（ｘ，ｙ），Ｖ’ｙ（ｘ，ｙ））がＢＩＯ技術から導出され、ＢＩＯ技術以外の方法を用いて導出された第２の動き変位ベクトルが、Ｖ”（ｘ，ｙ）＝（Ｖ”ｘ（ｘ，ｙ），Ｖ”ｙ（ｘ，ｙ）と表記され、第３の動き変位ベクトルＶ（ｘ，ｙ）＝（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））が、第１組の動き変位ベクトル及び第２組の動き変位ベクトルの関数として取得され、第３の動き変位ベクトルＶ（ｘ，ｙ）を用いて予測サンプルＰ（ｘ，ｙ）が精緻化される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第３組の動き変位ベクトルは、次式：Ｖ（ｘ，ｙ）＝Ｖ’（ｘ，ｙ）×Ｗ’（ｘ，ｙ）＋Ｖ”（ｘ，ｙ）×Ｗ”（ｘ，ｙ）を用いて取得され、ここで、Ｗ’（ｘ，ｙ）及びＷ”（ｘ，ｙ）は整数又は実数である）。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第３組の動き変位ベクトルは、次式：Ｖ（ｘ，ｙ）＝Ｓｈｉｆｔ（Ｖ’（ｘ，ｙ）×Ｗ’（ｘ，ｙ）＋Ｖ”（ｘ，ｙ）×Ｗ”（ｘ，ｙ），ｎ１）を用いて取得され、ここで、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、Ｗ’（ｘ，ｙ）及びＷ”（ｘ，ｙ）は整数であり、ｎ１は非負の整数である。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第３組の動き変位ベクトルは、次式：Ｖ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（Ｖ’（ｘ，ｙ）×Ｗ’（ｘ，ｙ）＋Ｖ”（ｘ，ｙ）×Ｗ”（ｘ，ｙ），ｎ１）を用いて取得され、ここで、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、Ｗ’（ｘ，ｙ）及びＷ”（ｘ，ｙ）は整数であり、ｎ１は非負の整数である。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）は、空間隣接映像ブロック又は時間隣接映像ブロックに基づいて、及び位置（ｘ，ｙ）に基づいて修正される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックの上境界又は映像ブロックの左境界に位置しない第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）は修正されない。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）はクリップされる。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、空間隣接映像ブロック又は時間隣接映像ブロックは、映像ブロックに隣接しない映像ブロックである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、空間隣接映像ブロック又は時間隣接映像ブロックは、映像ブロックに隣接しないサブブロックである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、空間隣接映像ブロック又は時間隣接映像ブロックは、映像ブロック、又は符号化ツリーユニット（ＣＴＵ）、又は映像処理・配信ユニット（ＶＰＤＵ）、又はサブブロックをカバーする現在領域、のうちのいずれにも隣接しないサブブロックである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、空間隣接映像ブロック又は時間隣接映像ブロックの動きベクトルは、履歴ベース動きベクトルにおけるエントリを含む。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、デコーダ側で第１の動き変位及び第２の動き変位を決定することは、映像ブロックのビットストリーム表現を構文解析することによって、第１の動き変位及び第２の動き変位に関連する情報の存在を決定することを含む。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）は、映像ブロックのサブブロックレベルで導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の動き変位及び第２の動き変位は、２×２ブロックレベルで導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、第１の動き変位及び第２の動き変位は、４×１ブロックレベルで導出される。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックは８×４映像ブロックである、又はサブブロックは８×４サブブロックである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックは４×８映像ブロックである、又はサブブロックは４×８サブブロックである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックは４×４片予測映像ブロックである、又はサブブロックは４×４片予測サブブロックである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックは、８×４、４×８、及び４×４片予測映像ブロックである、又はサブブロックは、８×４、４×８、及び４×４片予測サブブロックである。
方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックは４×４双予測映像ブロックを除外する、又はサブブロックは４×４双予測サブブロックを除外する。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、映像ブロックはルマ映像ブロックである。方法２８００Ｂ及び／又は２８００Ｃに関する一部の実施形態において、上記決定すること及び上記実行することは、映像ブロックの色成分、映像ブロックのブロックサイズ、映像ブロックのカラーフォーマット、映像ブロックのブロック位置、動きタイプ、動きベクトルの大きさ、符号化モード、ピクセル勾配の大きさ、変換タイプ、双方向オプティカルフロー（ＢＩＯ）技術が適用されるかどうか、双予測技術が適用されるかどうか、及びデコーダ側動きベクトル精緻化（ＤＭＶＲ）法が適用されるかどうか、のうちのいずれか１つ以上に基づいて行われる。
図２８Ｄは、映像処理方法の一例に関するフローチャートである。方法２８００Ｄは、ｘ及びｙは分数であるとして、オプティカルフローに基づく方法を用いて符号化される映像ブロック内の位置（ｘ，ｙ）における第１の動き変位Ｖｘ（ｘ，ｙ）及び位置（ｘ，ｙ）における第２の動き変位Ｖｙ（ｘ，ｙ）を決定（２８３２）し、Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、少なくとも位置（ｘ，ｙ）と映像ブロックの基本映像ブロックの中心位置とに基づいて決定され、第１の動き変位及び第２の動き変位を用いて、映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行（２８３４）することを含む。
方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ，ｙ）＝ａ×（ｘ－ｘｃ）＋ｂ×（ｙ－ｙｃ）であり、Ｖｙ（ｘ，ｙ）＝ｃ×（ｘ－ｘｃ）＋ｄ×（ｙ－ｙｃ）であり、（ｘｃ，ｙｃ）は映像ブロックの基本映像ブロックの中心位置であり、ａ、ｂ、ｃ及びｄはアフィンパラメータであり、基本映像ブロックは寸法ｗ×ｈを持ち、且つ基本映像ブロックの位置は位置（ｘ，ｙ）を含む。方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ，ｙ）＝Ｓｈｉｆｔ（ａ×（ｘ－ｘｃ）＋ｂ×（ｙ－ｙｃ），ｎ１）であり、Ｖｙ（ｘ，ｙ）＝Ｓｈｉｆｔ（ｃ×（ｘ－ｘｃ）＋ｄ×（ｙ－ｙｃ），ｎ１）であり、（ｘｃ，ｙｃ）は映像ブロックの基本映像ブロックの中心位置であり、ａ、ｂ、ｃ及びｄはアフィンパラメータであり、基本映像ブロックは寸法ｗ×ｈを持ち、基本映像ブロックの位置は位置（ｘ，ｙ）を含み、Ｓｈｉｆｔ（）関数は、バイナリシフト演算を指し、且つ
ｎ１は整数である。方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（ａ×（ｘ－ｘｃ）＋ｂ×（ｙ－ｙｃ），ｎ１）であり、Ｖｙ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（ｃ×（ｘ－ｘｃ）＋ｄ×（ｙ－ｙｃ），ｎ１）であり、（ｘｃ，ｙｃ）は映像ブロックの基本映像ブロックの中心位置であり、ａ、ｂ、ｃ及びｄはアフィンパラメータであり、基本映像ブロックは寸法ｗ×ｈを持ち、基本映像ブロックの位置は位置（ｘ，ｙ）を含み、ＳａｔＳｈｉｆｔ（）関数は、飽和バイナリシフト演算を指し、且つｎ１は整数である。
方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ，ｙ）＝－ａ×（ｘ－ｘｃ）－ｂ×（ｙ－ｙｃ）であり、Ｖｙ（ｘ，ｙ）＝－ｃ×（ｘ－ｘｃ）－ｄ×（ｙ－ｙｃ）であり、（ｘｃ，ｙｃ）は映像ブロックの基本映像ブロックの中心位置であり、ａ、ｂ、ｃ及びｄはアフィンパラメータであり、基本映像ブロックは寸法ｗ×ｈを持ち、且つ基本映像ブロックの位置は位置（ｘ，ｙ）を含む。方法２８００Ｄに関する一部の実施形態において、（ｘｃ，ｙｃ）＝（ｘ０＋（ｗ／２），ｙ０＋（ｈ／２））であり、基本映像ブロックの左上の位置が（ｘ０，ｙ０）である。方法２８００Ｄに関する一部の実施形態において、（ｘｃ，ｙｃ）＝（ｘ０＋（ｗ／２）－１，ｙ０＋（ｈ／２）－１）であり、基本映像ブロックの左上の位置が（ｘ０，ｙ０）である。方法２８００Ｄに関する一部の実施形態において、（ｘｃ、ｙｃ）＝（ｘ０＋（ｗ／２），ｙ０＋（ｈ／２）－１）であり、基本映像ブロックの左上の位置が（ｘ０，ｙ０）である。
方法２８００Ｄに関する一部の実施形態において、（ｘｃ，ｙｃ）＝（ｘ０＋（ｗ／２）－１，ｙ０＋（ｈ／２））であり、基本映像ブロックの左上の位置が（ｘ０，ｙ０）である。方法２８００Ｄに関する一部の実施形態において、映像ブロックが４パラメータアフィンモードを用いて符号化されることに応答して、ｃ＝－ｂ且つｄ＝ａである。方法２８００Ｄに関する一部の実施形態において、ａ、ｂ、ｃ及びｄは、制御点動きベクトル（ＣＰＭＶ）、映像ブロックの幅（Ｗ）、及び映像ブロックの高さ（Ｈ）から導出され得る。方法２８００Ｄに関する一部の実施形態において、
Figure 2022525876000029
 であり、ｍｖ０、ｍｖ１、及びｍｖ２はＣＰＭＶであり、上付き文字ｈを有する動きベクトル成分は、該動きベクトル成分が第１方向にあることを指し示し、上付き文字ｖを有する別の動きベクトル成分は、該別の動きベクトル成分が第２方向にあることを指し示し、第１方向は第２方向に直交し、Ｗは映像ブロックの幅を示し、且つＨは映像ブロックの高さを示す。方法２８００Ｄに関する一部の実施形態において、ａ、ｂ、ｃ及びｄはクリップされる。方法２８００Ｄに関する一部の実施形態において、ａ、ｂ、ｃ及びｄはシフトされる。方法２８００Ｄに関する一部の実施形態において、ａ、ｂ、ｃ及びｄは、映像ブロックの隣接映像ブロックに関する記憶情報から取得され得る。
方法２８００Ｄに関する一部の実施形態において、ａ、ｂ、ｃ及びｄは、履歴ベースの記憶情報から取得され得る。方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ＋１，ｙ）＝Ｖｘ（ｘ，ｙ）＋ａであり、且つＶｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋ｃである。方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ＋１，ｙ）＝Ｓｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ａ，ｎ１）であり、Ｖｙ（ｘ＋１，ｙ）＝Ｓｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｃ，ｎ１）であり、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、且つｎ１は整数である。方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ＋１，ｙ）＝ＳａｔＳｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ａ，ｎ１）であり、Ｖｙ（ｘ＋１，ｙ）＝ＳａｔＳｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｃ，ｎ１）であり、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、且つｎ１は整数である。方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ＋１，ｙ）＝Ｖｘ（ｘ，ｙ）＋Ｓｈｉｆｔ（ａ，ｎ１）であり、Ｖｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋Ｓｈｉｆｔ（ｃ，ｎ１）であり、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、且つｎ１は整数である。
方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ＋１，ｙ）＝Ｖｘ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ａ，ｎ１）であり、Ｖｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ｃ，ｎ１）であり、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、且つｎ１は整数である。方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ，ｙ＋１）＝Ｖｘ（ｘ，ｙ）＋ｂであり、且つＶｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋ｄである。方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ，ｙ＋１）＝Ｓｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ｂ，ｎ１）であり、Ｖｙ（ｘ，ｙ＋１）＝Ｓｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｄ，ｎ１）であり、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、且つｎ１は整数である。方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ，ｙ＋１）＝ＳａｔＳｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ｂ，ｎ１）であり、Ｖｙ（ｘ，ｙ＋１）＝ＳａｔＳｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｄ，ｎ１）であり、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、且つｎ１は整数である。方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ，ｙ＋１）＝Ｖｘ（ｘ，ｙ）＋Ｓｈｉｆｔ（ｂ，ｎ１）であり、Ｖｙ（ｘ，ｙ＋１）＝Ｖｙ（ｘ，ｙ）＋Ｓｈｉｆｔ（ｄ，ｎ１）であり、Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、且つｎ１は整数である。
方法２８００Ｄに関する一部の実施形態において、Ｖｘ（ｘ，ｙ＋１）＝Ｖｘ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ｂ，ｎ１）であり、Ｖｙ（ｘ，ｙ＋１）＝Ｖｙ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ｄ，ｎ１）であり、ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、且つｎ１は整数である。方法２８００Ｄに関する一部の実施形態において、映像ブロックが、双予測技術を用いてアフィン予測されることに応答して、ａ、ｂ、ｃ、及びｄは、参照ピクチャリスト０又は参照ピクチャリスト１を参照する。方法２８００Ｄに関する一部の実施形態において、最終予測サンプルが、第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）で精緻化され、且つ第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）は、参照ピクチャリスト０及び参照ピクチャリスト１のうちのいずれか一方を参照するａ、ｂ、ｃ、及びｄを用いて導出される。
方法２８００Ｄに関する一部の実施形態において、第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）に関する予測サンプルは、参照ピクチャリスト０からであり、且つ精緻化され、且つ第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）は、参照ピクチャリスト０を参照するａ、ｂ、ｃ、及びｄを用いて導出される。方法２８００Ｄに関する一部の実施形態において、第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）に関する予測サンプルは、参照ピクチャリスト１からであり、且つ精緻化され、且つ第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）は、参照ピクチャリスト１を参照するａ、ｂ、ｃ、及びｄを用いて導出される。方法２８００Ｄに関する一部の実施形態において、参照ピクチャリスト０からの第１の予測サンプルが、参照ピクチャリスト０を参照するａ、ｂ、ｃ、及びｄを用いて導出された第１の動き変位ベクトル（Ｖ０ｘ（ｘ，ｙ），Ｖ０ｙ（ｘ，ｙ））で精緻化され、参照ピクチャリスト１からの第２の予測サンプルが、参照ピクチャリスト１を参照するａ、ｂ、ｃ、及びｄを用いて導出された第２の動き変位ベクトル（Ｖ１ｘ（ｘ，ｙ），Ｖ１ｙ（ｘ，ｙ））で精緻化され、且つ第１の予測サンプルと第２の予測サンプルとを組み合わせることによって最終予測サンプルが取得される。
方法２８００Ｄに関する一部の実施形態において、動き変位ベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、映像ブロックの動きベクトルの第２動きベクトル精度とは異なる第１動きベクトル精度を持つ。方法２８００Ｄに関する一部の実施形態において、第１動きベクトル精度は１／８ピクセル精度である。方法２８００Ｄに関する一部の実施形態において、第１動きベクトル精度は１／１６ピクセル精度である。方法２８００Ｄに関する一部の実施形態において、第１動きベクトル精度は１／３２ピクセル精度である。方法２８００Ｄに関する一部の実施形態において、第１動きベクトル精度は１／６４ピクセル精度である。方法２８００Ｄに関する一部の実施形態において、第１動きベクトル精度は１／１２８ピクセル精度である。方法２８００Ｄに関する一部の実施形態において、動き変位ベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、フロートピクセル精度技術に基づいて決定される。
図２８Ｅは、映像処理方法の一例に関するフローチャートである。方法２８００Ｅは、映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、映像ブロック内の位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定（２８４２）し、第１の勾配成分及び第２の勾配成分は、位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値に基づくものであり、且つｘ及びｙは整数であり、勾配Ｇｘ（ｘ，ｙ）、Ｇｙ（ｘ，ｙ）を用いて精緻化されたものである予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値に残差サンプル値Ｒｅｓ（ｘ，ｙ）を加えたものに基づいて得られた、位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を用いて、映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行（２８４４）することを含む。
図２８Ｆは、映像処理方法の一例に関するフローチャートである。方法２８００Ｆは、映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、映像ブロック内の位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定（２８５２）し、第１の勾配成分及び第２の勾配成分は、位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値に基づくものであり、且つｘ及びｙは整数であり、位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）に基づく残差サンプル値Ｒｅｓ（ｘ，ｙ）を含むよう、映像ブロックのビットストリーム表現を符号化（２８５４）し、再構成サンプル値Ｒｅｃ（ｘ，ｙ）は、勾配Ｇｘ（ｘ，ｙ）、Ｇｙ（ｘ，ｙ）を用いて精緻化されたものである予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値に残差サンプル値Ｒｅｓ（ｘ，ｙ）を加えたものに基づく、ことを含む。
図２８Ｇは、映像処理方法の一例に関するフローチャートである。方法２８００Ｇは、映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、映像ブロック内の位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定（２８６２）し、第１の勾配成分及び第２の勾配成分は、位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の中間予測サンプル値に基づくものであり、予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値は中間予測サンプル値に基づき、且つｘ及びｙは整数であり、予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値と残差サンプル値Ｒｅｓ（ｘ，ｙ）とに基づいて得られた、位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を用いて、映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行（２８６４）することを含む。
図２８Ｈは、映像処理方法の一例に関するフローチャートである。方法２８００Ｈは、映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、映像ブロック内の位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定（２８７２）し、第１の勾配成分及び第２の勾配成分は、位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の中間予測サンプル値に基づくものであり、予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値は中間予測サンプル値に基づき、且つｘ及びｙは整数であり、位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）に基づく残差サンプル値Ｒｅｓ（ｘ，ｙ）を含むよう、映像ブロックのビットストリーム表現を符号化（２８７４）し、再構成サンプル値Ｒｅｃ（ｘ，ｙ）は、予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値と残差サンプル値Ｒｅｓ（ｘ，ｙ）とに基づく、ことを含む。
方法２８００Ｇ及び／又は２８００Ｈに関する一部の実施形態において、映像ブロックが、双予測技術を用いてアフィン予測されることに応答して、第１の勾配成分及び／又は第２の勾配成分は、１つの参照ピクチャリストからの中間予測サンプル値に基づく。方法２８００Ｇ及び／又は２８００Ｈに関する一部の実施形態において、映像ブロックがアフィンモード及び局所照明補償（ＬＩＣ）を使用するとき、第１の勾配成分及び／又は第２の勾配成分は、ＬＩＣが適用される前のインター予測サンプル値に基づく。方法２８００Ｇ及び／又は２８００Ｈに関する一部の実施形態において、映像ブロックが、重み付け予測技術又はＣＵレベル重み付け双予測（ＢＣＷ）技術のうちいずれか一方を用いたアフィンモードを使用するとき、第１の勾配成分及び／又は第２の勾配成分は、重み係数を乗じられる前のインター予測サンプル値に基づく。方法２８００Ｇ及び／又は２８００Ｈに関する一部の実施形態において、映像ブロックがアフィンモード及び局所照明補償（ＬＩＣ）を使用するとき、第１の勾配成分及び／又は第２の勾配成分は、ＬＩＣが適用されたインター予測サンプル値に基づく。方法２８００Ｇ及び／又は２８００Ｈに関する一部の実施形態において、映像ブロックが、重み付け予測技術又はＣＵレベル重み付け双予測（ＢＣＷ）技術のうちいずれか一方を用いたアフィンモードを使用するとき、第１の勾配成分及び／又は第２の勾配成分は、重み係数を乗じられたインター予測サンプル値に基づく。
図２８Ｉは、映像処理方法の一例に関するフローチャートである。方法２８００Ｉは、アフィン符号化映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定（２８２２）し、第１方向は第２方向に直交し、且つｘ及びｙは整数であり、精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を決定（２８８４）し、アフィン符号化映像ブロック内の位置（ｘ，ｙ）における精緻化再構成サンプル値Ｒｅｃ’（ｘ，ｙ）を決定（２８８６）し、Ｒｅｃ’（ｘ，ｙ）＝Ｒｅｃ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）であり、精緻化再構成サンプル値Ｒｅｃ’（ｘ，ｙ）を用いて、アフィン符号化映像ブロックとアフィン符号化映像ブロックのビットストリーム表現との間での変換を実行（２８８８）することを含む。
図２８Ｊは、映像処理方法の一例に関するフローチャートである。方法２８００Ｊは、アフィン符号化映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定（２８９２）し、第１方向は第２方向に直交し、且つｘ及びｙは整数であり、精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を決定（２８９４）し、アフィン符号化映像ブロック内の位置（ｘ，ｙ）における精緻化再構成サンプル値Ｒｅｃ’（ｘ，ｙ）を決定（２８９６）し、Ｒｅｃ’（ｘ，ｙ）＝Ｒｅｃ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）であり、残差サンプル値Ｒｅｓ（ｘ，ｙ）を含むよう、アフィン符号化映像ブロックのビットストリーム表現を符号化（２８９８）することを含む。
方法２８００Ｉ及び／又は２８００Ｊに関する一部の実施形態において、第１の勾配成分Ｇｘ（ｘ，ｙ）及び／又は第２の勾配成分Ｇｙ（ｘ，ｙ）は再構成サンプル値Ｒｅｃ（ｘ，ｙ）に基づく。方法２８００Ｉ及び／又は２８００Ｊに関する一部の実施形態において、第１の動き変位Ｖｘ（ｘ，ｙ）及び第２の動き変位Ｖｙ（ｘ，ｙ）は、アフィン符号化映像ブロックの２×２ブロックレベルで導出される。
図２８Ｋは、映像処理方法の一例に関するフローチャートである。方法２８００Ｋは、アフィンモードの映像ブロックについて、１／Ｎピクセル精度で動きベクトルを決定（２８１０２）し、映像ブロック内の位置（ｘ，ｙ）について推定された動き変位ベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））を決定（２８１０４）し、当該動き変位ベクトルは１／Ｍピクセル精度で導出され、Ｎ及びＭは正の整数であり、且つｘ及びｙは整数であり、動きベクトル及び動き変位ベクトルを用いて、映像ブロックと映像ブロックのビットストリーム表現との間での変換を実行（２８１０６）することを含む。
方法２８００Ｋに関する一部の実施形態において、Ｎは８に等しく且つＭは１６に等しい、又はＮは８に等しく且つＭは３２に等しい、又はＮは８に等しく且つＭは６４に等しい、又はＮは８に等しく且つＭは１２８に等しい、又はＮは４に等しく且つＭは８に等しい、又はＮは４に等しく且つＭは１６に等しい、又はＮは４に等しく且つＭは３２に等しい、又はＮは４に等しく且つＭは６４に等しい、又はＮは４に等しく且つＭは１２８に等しい。
図２８Ｌは、映像処理方法の一例に関するフローチャートである。方法２８００Ｌは、映像ブロックについて又は映像ブロックのサブブロックについて二組の動きベクトルを決定（２８１１２）し、二組の動きベクトルの各組が異なる動きベクトルピクセル精度を持ち、且つ二組の動きベクトルは、時間動きベクトル予測（ＴＭＶＰ）技術を用いて又はサブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）技術を用いて決定され、二組の動きベクトルに基づいて、映像ブロックと映像ブロックのビットストリーム表現との間での変換を実行（２８１１４）することを含む。
方法２８００Ｌに関する一部の実施形態において、二組の動きベクトルは、第１組の動きベクトルと第２組の動きベクトルとを含み、第１組の動きベクトルは１／Ｎピクセル精度を持ち、第２組の動きベクトルは１／Ｍピクセル精度を持ち、且つＮ及びＭは正の整数である。方法２８００Ｌに関する一部の実施形態において、Ｎは８に等しく且つＭは１６に等しい、又はＮは８に等しく且つＭは３２に等しい、又はＮは８に等しく且つＭは６４に等しい、又はＮは８に等しく且つＭは１２８に等しい、又はＮは４に等しく且つＭは８に等しい、又はＮは４に等しく且つＭは１６に等しい、又はＮは４に等しく且つＭは３２に等しい、又はＮは４に等しく且つＭは６４に等しい、又はＮは４に等しく且つＭは１２８に等しい、又はＮは１６に等しく且つＭは３２に等しい、又はＮは１６に等しく且つＭは６４に等しい、又はＮは１６に等しく且つＭは１２８に等しい。方法２８００Ｌに関する一部の実施形態において、オプティカルフローに基づく方法を適用することによって、二組の動きベクトルに精緻化が適用され、二組の動きベクトルは、第１組の動きベクトルと第２組の動きベクトルとを含み、第１組の動きベクトルを用いて、オプティカルフローに基づく方法における予測サンプルが取得され、且つ第１組の動きベクトルのうちの第１の動きベクトルから第２組の動きベクトルのうちの第２の動きベクトルを差し引くことによって、オプティカルフローに基づく方法における、映像ブロック内の位置について推定された動き変位が取得される。
方法２８００Ｌに関する一部の実施形態において、オプティカルフローに基づく方法は、映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定する、ことによって適用され、ｘ及びｙは整数であり、且つ位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）が、精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて取得される。方法２８００Ｌに関する一部の実施形態において、第１方向及び第２方向は互いに直交する。方法２８００Ｌに関する一部の実施形態において、第１の動き変位は、第１方向に平行な方向を表し、第２の動き変位は、第２方向に平行な方向を表す。方法２８００Ｌに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である。
方法２８００Ｃ乃至２８００Ｌのいずれか１つ以上に関する一部の実施形態において、映像ブロックは８×４映像ブロックである、又はサブブロックは８×４サブブロックである。方法２８００Ｃ乃至２８００Ｌのいずれか１つ以上に関する一部の実施形態において、映像ブロックは４×８映像ブロックである、又はサブブロックは４×８サブブロックである。方法２８００Ｃ乃至２８００Ｌのいずれか１つ以上に関する一部の実施形態において、映像ブロックは４×４片予測映像ブロックである、又はサブブロックは４×４片予測サブブロックである。方法２８００Ｃ乃至２８００Ｌのいずれか１つ以上に関する一部の実施形態において、映像ブロックは、８×４、４×８、及び４×４片予測映像ブロックである、又はサブブロックは、８×４、４×８、及び４×４片予測サブブロックである。方法２８００Ｃ乃至２８００Ｌのいずれか１つ以上に関する一部の実施形態において、映像ブロックは４×４双予測映像ブロックを除外する、又はサブブロックは４×４双予測サブブロックを除外する。方法２８００Ｃ乃至２８００Ｌのいずれか１つ以上に関する一部の実施形態において、映像ブロックはルマ映像ブロックである。方法２８００Ｃ乃至２８００Ｌのいずれか１つ以上に関する一部の実施形態において、上記決定すること及び上記実行することは、映像ブロックの色成分、映像ブロックのブロックサイズ、映像ブロックのカラーフォーマット、映像ブロックのブロック位置、動きタイプ、動きベクトルの大きさ、符号化モード、ピクセル勾配の大きさ、変換タイプ、双方向オプティカルフロー（ＢＩＯ）技術が適用されるかどうか、双予測技術が適用されるかどうか、及びデコーダ側動きベクトル精緻化（ＤＭＶＲ）法が適用されるかどうか、のうちのいずれか１つ以上に基づいて行われる。
図２８Ｍは、映像処理方法の一例に関するフローチャートである。方法２８００Ｍは、アフィン符号化モードを用いて符号化される映像ブロック上で、Ｋは１より大きい整数であるとして、Ｋ通りのサブブロックパターンを用いて映像ブロックを複数のパーティションに分割することによって、インタウィーブ予測技術を実行（２８１２２）し、Ｋ通りのサブブロックパターンのうちの最初のものを用いて動き補償を行うことによって、映像ブロックの予測サンプルを生成（２８１２４）し、位置（ｘ，ｙ）における予測サンプルをＰ（ｘ，ｙ）と表記し、ｘ及びｙは整数であり、第Ｌパターンと表記するＫ通りのサブブロックパターンの残りのうちの少なくとも１つについて、最初のサブブロックパターンで導出された予測サンプルと、Ｋ通りのサブブロックパターンのうちの最初のものを用いて導出された動きベクトルと第Ｌパターンを用いて導出された動きベクトルとの間の差とに基づいて、位置（ｘ，ｙ）におけるオフセット値ＯＬ（ｘ，ｙ）を決定（２８１２６）し、ＯＬ（ｘ，ｙ）及びＰ（ｘ，ｙ）の関数として位置（ｘ，ｙ）についての最終予測サンプルを決定（２８１２８）し、最終予測サンプルを用いて、映像ブロックのビットストリーム表現と映像ブロックとの間での変換を実行（２８１３０）することを含む。
方法２８００Ｍに関する一部の実施形態において、Ｋ＝２であり、Ｌ＝１であり、最終予測サンプルは、Ｐ（ｘ，ｙ）＋（（Ｏ１（ｘ，ｙ）＋１）＞＞１）を用いて決定され、ただし、＞＞はバイナリシフト演算を表す。方法２８００Ｍに関する一部の実施形態において、Ｋ＝２であり、Ｌ＝１であり、最終予測サンプルは、Ｐ（ｘ，ｙ）＋（Ｏ１（ｘ，ｙ）＞＞１）を用いて決定され、ただし、＞＞はバイナリシフト演算を表す。方法２８００Ｍに関する一部の実施形態において、最終予測サンプルは、Ｐ（ｘ，ｙ）＋（Ｏ１（ｘ，ｙ）＋．．．＋ＯＫ（ｘ，ｙ）＋Ｋ／２）／Ｋを用いて決定される。方法２８００Ｍに関する一部の実施形態において、最終予測サンプルは、Ｐ（ｘ，ｙ）＋（Ｏ１（ｘ，ｙ）＋．．．＋ＯＫ（ｘ，ｙ））／Ｋを用いて決定される。方法２８００Ｍに関する一部の実施形態において、ＯＬ（ｘ，ｙ）は、水平及び垂直補間を行った後、且つ予測サンプルを入力サンプルのビット深度に変換する前に、最初のサブブロックパターンで導出された予測サンプルから生成される。方法２８００Ｍに関する一部の実施形態において、ＯＬ（ｘ，ｙ）は、各予測方向に対して生成される。方法２８００Ｍに関する一部の実施形態において、第Ｌパターンでの位置（ｘ，ｙ）における動き変位が、第Ｌパターンからの位置（ｘ，ｙ）における第１の動きベクトルと、Ｋ通りのサブブロックパターンのうちの最初のものからの位置（ｘ，ｙ）における第２の動きベクトルとの間の差として導出される。
方法２８００Ｍに関する一部の実施形態において、Ｋ通りのサブブロックパターンのうちの最初のものを用いて導出された動きベクトルは、１／Ｎピクセル精度を持ち、第Ｌパターンを用いて導出された動きベクトルは、１／ＭＬピクセル精度を持ち、Ｎ及びＭは整数である。方法２８００Ｍに関する一部の実施形態において、Ｎ＝１６且つＭＬ＝３２である、又はＮ＝１６且つＭＬ＝６４である、又はＮ＝１６且つＭＬ＝１２８である、又はＮ＝８且つＭＬ＝１６である、又はＮ＝８且つＭＬ＝３２である、又はＮ＝８且つＭＬ＝６４である、又はＮ＝８且つＭＬ＝１２８である、又はＮ＝４且つＭＬ＝８である、又はＮ＝４且つＭＬ＝１６である、又はＮ＝４且つＭＬ＝３２である、又はＮ＝４且つＭＬ＝６４である、又はＮ＝４且つＭＬ＝１２８である。方法２８００Ｍに関する一部の実施形態において、ＭＬが、Ｋ通りのサブブロックパターンの残りの各々に対して異なる。
図２８Ｎは、映像処理方法の一例に関するフローチャートである。方法２８００Ｎは、最終予測サンプルを用いて、映像ブロックのビットストリーム表現と映像ブロックとの間での変換を実行（２８１３２）することを含み、最終予測サンプルは、精緻化中間予測サンプルから、（ａ）ルールに基づいて、インタウィーブ予測技術及びそれに続くオプティカルフローベースの予測精緻化技術を実行すること、又は（ｂ）動き補償技術を実行すること、によって導出される。
方法２８００Ｎに関する一部の実施形態において、映像ブロックは、Ｋ通りのサブブロックパターンを用いて映像ブロックを複数のパーティションに分割することによって、アフィン符号化モードを使用して符号化され、Ｋは、１より大きい整数であり、各サブブロックパターンについて、動き補償技術を実行することによって、各サブブロックに対して予測サンプルが生成され、予測サンプルが、オプティカルフローベースの予測精緻化技術を用いて精緻化されて、更新された予測サンプルが取得され、且つ各サブブロックパターンの精緻化された予測サンプルを組み合わせることによって、最終予測サンプルが生成される。方法２８００Ｎに関する一部の実施形態において、映像ブロックは片予測映像ブロックであり、インタウィーブ予測技術及びオプティカルフローベースの予測精緻化技術が映像ブロックに適用される。方法２８００Ｎに関する一部の実施形態において、インタウィーブ予測技術及び／又はオプティカルフローベースの予測精緻化技術で符号化される映像ブロックに、第１のタップフィルタが適用され、該第１のタップフィルタは、インタウィーブ予測技術及び／又はオプティカルフローベースの予測精緻化技術で符号化されない他の映像ブロックのために使用される補間フィルタに使用される第２のタップフィルタよりも短い。
方法２８００Ｎに関する一部の実施形態において、映像ブロックに対するアフィンサブブロックサイズは８×４又は４×８である。方法２８００Ｎに関する一部の実施形態において、インタウィーブ予測技術及び／又はオプティカルフローベースの予測精緻化技術で符号化される映像ブロックに対して、第１のサブブロックサイズが使用され、該第１のサブブロックサイズは、インタウィーブ予測技術及び／又はオプティカルフローベースの予測精緻化技術で符号化されない他の映像ブロックの第２のサブブロックサイズとは異なる。方法２８００Ｎに関する一部の実施形態において、ルールは、映像ブロックの符号化情報に基づき、該符号化情報は、映像ブロックの予測方向、映像ブロックの参照ピクチャ情報、又は映像ブロックの色成分を含む、請求項８２に記載の方法。
図２８Ｏは、映像処理方法の一例に関するフローチャートである。方法２８００Ｏは、双予測が適用される場合に、最終予測サンプルを用いて、映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行（２８１４２）することを含み、前記最終予測サンプルは、精緻化中間予測サンプルから、（ａ）インタウィーブ予測技術を無効にして、オプティカルフローベースの予測精緻化技術を実行すること、又は（ｂ）動き補償技術を実行すること、によって導出される。
図２８Ｐは、映像処理方法の一例に関するフローチャートである。方法２８００Ｐは、映像処理方法の第１５の例は、予測サンプルを用いて、映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行（２８１５２）することを含み、前記予測サンプルは、オプティカルフローベースの予測精緻化技術を実行することによって精緻化中間予測サンプルから導出され、前記オプティカルフローベースの予測精緻化技術を前記実行することは、前記映像ブロックについて第１方向において推定された第１組の動き変位Ｖｘ（ｘ，ｙ），又は前記映像ブロックについて第２方向において推定された第２組の動き変位Ｖｙ（ｘ，ｙ）のうちの一方のみに依存し、ｘ及びｙは整数であり、且つ前記第１方向は前記第２方向に直交する。
方法２８００Ｐに関する一部の実施形態において、予測サンプルは、第１組の動き変位Ｖｘ（ｘ，ｙ）のみに基づき、第２組の動き変位Ｖｙ（ｘ，ｙ）はゼロである。方法２８００Ｐに関する一部の実施形態において、予測サンプルは、第２組の動き変位Ｖｙ（ｘ，ｙ）のみに基づき、第１組の動き変位Ｖｘ（ｘ，ｙ）はゼロである。方法２８００Ｐに関する一部の実施形態において、第１組の動き変位Ｖｘ（ｘ，ｙ）の絶対値の和が第２組の動き変位Ｖｙ（ｘ，ｙ）の絶対値の和以上であることに応答して、予測サンプルは、第１組の動き変位Ｖｘ（ｘ，ｙ）のみに基づく。方法２８００Ｐに関する一部の実施形態において、第１組の動き変位Ｖｘ（ｘ，ｙ）の絶対値の和が第２組の動き変位Ｖｙ（ｘ，ｙ）の絶対値の和以下であることに応答して、予測サンプルは、第２組の動き変位Ｖｙ（ｘ，ｙ）のみに基づく。
方法２８００Ｐに関する一部の実施形態において、第１方向における第１の勾配成分の絶対値の和が第２方向における第２の勾配成分の絶対値の和以上であることに応答して、予測サンプルは、第１組の動き変位Ｖｘ（ｘ，ｙ）のみに基づく。方法２８００Ｐに関する一部の実施形態において、第１方向における第１の勾配成分の絶対値の和が第２方向における第２の勾配成分の絶対値の和以上であることに応答して、予測サンプルは、第２組の動き変位Ｖｙ（ｘ，ｙ）のみに基づく。
図２８Ｑは、映像処理方法の一例に関するフローチャートである。方法２８００Ｑは、映像ブロックについての精緻化動きベクトルを、映像ブロックの動きベクトルを精緻化することによって取得（２８１６２）し、動き補償技術を実行する前に動きベクトルが精緻化され、精緻化動きベクトルは１／Ｎピクセル精度を持ち、動きベクトルは１／Ｍピクセル精度を持ち、映像ブロック上でオプティカルフローベースの予測精緻化技術を実行することによって最終予測サンプルを取得（２８１６４）し、精緻化動きベクトルと動きベクトルとの間の差に対してオプティカルフローベースの予測精緻化技術が適用され、最終予測サンプルを用いて、映像ブロックのビットストリーム表現と映像ブロックとの間での変換を実行（２８１６６）することを含む。
方法２８００Ｑに関する一部の実施形態において、Ｍは１６であり且つＮは１である、又はＭは８であり且つＮは１である、又はＭは４であり且つＮは１である、又はＭは１６であり且つＮは２である、又はＭは８であり且つＮは２である、又はＭは４であり且つＮは２である。方法２８００Ｑに関する一部の実施形態において、動きベクトルは第１方向又は第２方向のいずれかにあり、第１方向は第２方向に直交し、オプティカルフローベースの予測精緻化技術は、第１方向又は第２方向のいずれかで実行される。方法２８００Ｑに関する一部の実施形態において、映像ブロックは双予測映像ブロックであり、動きベクトルは第１方向又は第２方向で精緻化され、第１方向は第２方向に直交する。方法２８００Ｑに関する一部の実施形態において、映像ブロックは双予測映像ブロックであり、動きベクトルは第１方向及び第２方向で精緻化され、第１方向は第２方向に直交する。方法２８００Ｑに関する一部の実施形態において、オプティカルフローベースの予測精緻化技術は、動きベクトルの第１の数の部分動きベクトル成分に対して実行され、第１の数の部分動きベクトル成分は、動きベクトルの第２の数の部分動きベクトル成分よりも少ない又は等しい。
図２８Ｒは、映像処理方法の一例に関するフローチャートである。方法２８００Ｒは、映像ブロックに対してマルチステップデコーダ側動きベクトル精緻化プロセスを用いて、最終動きベクトルを決定（２８１７２）し、当該最終動きベクトルは１／Ｎピクセル精度を持ち、最終動きベクトルを用いて、現在ブロックとビットストリーム表現との間での変換を実行（２８１７４）することを含む。
方法２８００Ｒに関する一部の実施形態において、Ｎは、３２又は６４又は１２８に等しい。方法２８００Ｒに関する一部の実施形態において、最終動きベクトルは、映像ブロックについての動きベクトルを精緻化することによって得られる精緻化動きベクトルであり、動きベクトルは、動き補償技術を実行するのに先立って精緻化され、映像ブロック上でオプティカルフローベースの予測精緻化技術を実行することによって、最終予測サンプルが取得され、オプティカルフローベースの予測精緻化技術は、最終動きベクトルと動きベクトルとの間の差に適用される。方法２８００Ｒに関する一部の実施形態において、オプティカルフローベースの予測精緻化技術は、映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定する、ことによって適用され、ｘ及びｙは整数であり、且つ位置（ｘ，ｙ）における最終予測サンプルＲｅｃ（ｘ，ｙ）は、精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて取得される。方法２８００Ｒに関する一部の実施形態において、第１方向及び第２方向は互いに直交する。方法２８００Ｒに関する一部の実施形態において、第１の動き変位は、第１方向に平行な方向を表し、第２の動き変位は、第２方向に平行な方向を表す、請求項１０４に記載の方法。
方法２８００Ｒに関する一部の実施形態において、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である。方法２８００Ｒに関する一部の実施形態において、動き補償技術を実行するのに先立って、１／３２ピクセル精度を持つ精緻化動きベクトルが１／１６ピクセル精度に丸められる。方法２８００Ｒに関する一部の実施形態において、動き補償技術を実行するのに先立って、１／３２ピクセル精度を持つ精緻化動きベクトルが１ピクセル精度に丸められる。方法２８００Ｒに関する一部の実施形態において、動き補償技術を実行するのに先立って、１／６４ピクセル精度を持つ精緻化動きベクトルが１／１６ピクセル精度に丸められる。方法２８００Ｒに関する一部の実施形態において、動き補償技術を実行するのに先立って、１／６４ピクセル精度を持つ精緻化動きベクトルが１ピクセル精度に丸められる。
図２８Ｓは、映像処理方法の一例に関するフローチャートである。方法２８００Ｓは、映像ブロックの精緻化中間予測サンプルを、映像ブロックの中間予測サンプルに対してインタウィーブ予測技術及びオプティカルフローベースの予測精緻化技術を実行することによって取得（２８１８２）し、精緻化中間予測サンプルから最終予測サンプルを導出（２８１８４）し、最終予測サンプルを用いて、映像ブロックのビットストリーム表現と映像ブロックとの間での変換を実行（２８１８６）することを含む。
方法２８００Ｓに関する一部の実施形態において、先ず、オプティカルフローベースの予測精緻化技術が実行され、次いで、インタウィーブ予測技術が実行される。方法２８００Ｓに関する一部の実施形態において、先ず、オプティカルフローベースの予測精緻化技術を用いて、２つの異なるサブブロック分割パターンを有する精緻化中間予測サンプルが取得され、そして、精緻化中間予測サンプルが、インタウィーブ予測技術を用いて加重平均されて、最終予測サンプルが取得される。方法２８００Ｓに関する一部の実施形態において、先ず、インタウィーブ予測技術が実行され、次いで、オプティカルフローベースの予測精緻化技術が実行される。方法２８００Ｓに関する一部の実施形態において、先ず、２つの異なるサブブロック分割パターンを有する中間予測サンプルが、インタウィーブ予測技術を用いて加重平均されて、精緻化中間予測サンプルが取得され、そして、精緻化中間予測サンプルに対してオプティカルフローベースの予測精緻化技術が実行されて、最終予測サンプルが取得される。方法２８００Ｎ乃至２８００Ｓのいずれか１つ以上に関する一部の実施形態において、オプティカルフローベースの予測精緻化技術は、オプティカルフローを用いた予測精緻化（prediction refinement with optical flow；ＰＲＯＦ）技術である。
図２８Ｔは、映像処理方法の一例に関するフローチャートである。方法２８００Ｔは、映像ブロックの精緻化中間予測サンプルを、映像ブロックの中間予測サンプルに対してインタウィーブ予測技術及び位相変分アフィンサブブロック動き補償（ＰＡＭＣ）技術を実行することによって取得（２８１９２）し、精緻化中間予測サンプルから最終予測サンプルを導出（２８１９４）し、最終予測サンプルを用いて、映像ブロックのビットストリーム表現と映像ブロックとの間での変換を実行（２８１９６）することを含む。
方法２８００Ｔに関する一部の実施形態において、先ず、ＰＡＭＣ技術が実行され、次いで、インタウィーブ予測技術が実行される。方法２８００Ｔに関する一部の実施形態において、先ず、ＰＡＭＣ技術の補間法を用いて、２つの異なるサブブロック分割パターンを有する精緻化中間予測サンプルが取得され、そして、精緻化中間予測サンプルが、インタウィーブ予測技術を用いて加重平均されて、最終予測サンプルが取得される。方法２８００Ｔに関する一部の実施形態において、先ず、インタウィーブ予測技術が実行され、次いで、ＰＡＭＣ技術が実行される。
図２８Ｕは、映像処理方法の一例に関するフローチャートである。方法２８００Ｕは、映像ブロックの精緻化中間予測サンプルを、映像ブロックの中間予測サンプルに対してオプティカルフローベースの予測精緻化技術及び位相変分アフィンサブブロック動き補償（ＰＡＭＣ）技術を実行することによって取得（２８２０２）し、精緻化中間予測サンプルから最終予測サンプルを導出（２８２０４）し、最終予測サンプルを用いて、映像ブロックのビットストリーム表現と映像ブロックとの間での変換を実行（２８２０６）するこ
方法２８００Ｕに関する一部の実施形態において、先ず、ＰＡＭＣ技術が実行され、次いで、オプティカルフローベースの予測精緻化技術が実行される。方法２８００Ｕに関する一部の実施形態において、先ず、ＰＡＭＣ技術の補間法を用いて、２つの異なるサブブロック分割パターンを有する精緻化中間予測サンプルが取得され、そして、精緻化中間予測サンプルが、オプティカルフローベースの予測精緻化技術を用いて処置されて、最終予測サンプルが取得される。方法２８００Ｕに関する一部の実施形態において、先ず、オプティカルフローベースの予測精緻化技術が実行され、次いで、ＰＡＭＣ技術が実行される。
本文書において、用語“映像処理”は、映像符号化（トランスコーディングを含む）、映像復号、映像圧縮又は映像解凍を指し得る。例えば、映像圧縮アルゴリズムが、映像のピクセル表現から対応するビットストリーム表現への変換又はその逆の変換の間に適用され得る。現在映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内でコロケートにある又は異なるところに広がったビットに対応し得る。例えば、マクロブロックは、変換され符号化された誤差残差値に関して符号化されることができ、また、ビットストリーム内のヘッダ及び他のフィールド内のビットを使用して符号化されることができる。
理解されることには、開示される方法及び技術は、本文書に開示された技術の使用を可能にすることによって、例えばスマートフォン、ラップトップ、デスクトップ、及び類似の装置などの映像処理装置に組み込まれたビデオエンコーダ及び／又はデコーダの実施形態に有益となる。
以下の項のリストは、本文書に開示される技術を使用する更なる機構及び実施形態を提供する。
１． 映像処理の方法であって、映像ブロックと該映像ブロックのビットストリーム表現との間での変換において、前記映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）で推定された第１方向及び／又は第２方向における勾配と、前記位置（ｘ，ｙ）について推定された第１の動き変位及び／又は第２の動き変位と、の関数として前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定するステップと、前記精緻化予測サンプルＰ’（ｘ，ｙ）からの再構成サンプル値Ｒｅｃ（ｘ，ｙ）を用いて前記変換を実行するステップと、を有する方法。
２． 前記第１方向及び前記第２方向が互いに直交する、項１に記載の方法。
３． 前記第１の動き変位は、前記第１方向に平行な方向においてであり、第２の動き変位は、前記第２方向に平行な方向においてである、項１又は２のいずれかに記載の方法。
４． 前記第１方向における前記勾配はＧｘ（ｘ，ｙ）と表され、前記第２方向における前記勾配はＧｙ（ｘ，ｙ）と表され、前記第１の動き変位はＶｘ（ｘ，ｙ）と表され、前記第２の動き変位はＶｙ（ｘ，ｙ）と表され、Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である、項１乃至３のいずれかに記載の方法。
５． 第１方向における前記勾配はＧｘ（ｘ，ｙ）と表され、前記第２方向における前記勾配はＧｙ（ｘ，ｙ）と表され、前記第１の動き変位はＶｘ（ｘ，ｙ）と表され、前記第２の動き変位はＶｙ（ｘ，ｙ）と表され、Ｐ’（ｘ，ｙ）＝α（ｘ，ｙ）×Ｐ（ｘ，ｙ）＋β（ｘ，ｙ）×Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋γ（ｘ，ｙ）×Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）であり、ただし、α（ｘ，ｙ）、β（ｘ，ｙ）及びγ（ｘ，ｙ）は前記位置（ｘ，ｙ）における重み付け値であり且つ整数又は実数である、項１乃至３のいずれかに記載の方法。
６． 前記予測サンプルＰ（ｘ，ｙ）は、前記位置（ｘ，ｙ）における片予測サンプルである、項１乃至５のいずれかに記載の方法。
７． 前記予測サンプルＰ（ｘ，ｙ）は、前記位置（ｘ，ｙ）における双予測の最終結果である、項１乃至５のいずれかに記載の方法。
８． 前記予測サンプルＰ（ｘ，ｙ）は、以下のうちの１つを満たす、項１乃至５のいずれかに記載の方法：
・ 多重仮説インター予測（３つ以上のＭＶを用いるインター予測）の結果、
・ アフィン予測の結果、
・ イントラ予測の結果、
・ イントラブロックコピー（ＩＢＣ）予測の結果、
・ 三角予測モード（ＴＰＭ）によって生成される、
・ インター－イントラ結合予測の結果、
・ 領域が同じ動きモデル及びパラメータを共有するものであるグローバルインター予測の結果、
・ パレット符号化モードの結果、
・ マルチビュー又は３Ｄビデオコーディングにおけるインタービュー予測の結果、
・ スケーラブルビデオコーディングにおける層間予測の結果、
・ フィルタリング演算の結果。
前記位置（ｘ，ｙ）での予測の精度を向上させるための精緻化プロセスの結果。
９． 前記再構成サンプル値Ｒｅｃ（ｘ，ｙ）は、前記変換中に使用するのに先立って更に精緻化される、項１乃至８のいずれかに記載の方法。
セクション４に列挙された項目１は、方法１乃至９に関する実施形態の更なる例を提供する。
１０． 映像処理の方法であって、映像ブロックを符号化するオプティカルフローベースの方法に対応する映像ブロック内の位置（ｘ，ｙ）における第１の変位ベクトルＶｘ（ｘ，ｙ）及び第２の変位ベクトルＶｙ（ｘ，ｙ）を、隣接ブロック又は基本ブロックからの情報に基づいて決定するステップと、前記第１の変位ベクトル及び前記第２の変位ベクトルを用いて、前記映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行するステップと、を有する方法。
１１． 前記隣接ブロックは空間隣接ブロックである、項１０に記載の方法。
１２． 前記隣接ブロックは時間隣接ブロックである、項１０に記載の方法。
１３． 前記隣接ブロックは、符号化ユニット寸法、又は符号化モード、又は前記映像ブロックに隣接する取り得る候補ブロックの位置に基づいて選択される、項１０乃至１２のいずれかに記載の方法。
１４． 前記第１の変位ベクトル及び前記第２の変位ベクトルは、複数の隣接ブロックについての動きベクトルの組み合わせを用いて計算される、項１０乃至１３のいずれかに記載の方法。
１５． 前記基本ブロックは所定の寸法を持つ、項１１乃至１３のいずれかに記載の方法。
１６． Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、Ｖｘ（ｘ，ｙ）＝ａ×（ｘ－ｘｃ）＋ｂ（ｙ－ｙｃ）、Ｖｙ（ｘ，ｙ）＝ｃ×（ｘ－ｘｃ）＋ｄ（ｙ－ｙｃ）として決定され、ここで、（ｘｃ，ｙｃ）は、前記位置（ｘ，ｙ）をカバーする寸法ｗ×ｈの前記基本ブロックの中心位置である、項１０に記載の方法。
１７． Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、Ｖｘ（ｘ，ｙ）＝Ｓｈｉｆｔ（ａ×（ｘ－ｘｃ）＋ｂ（ｙ－ｙｃ），ｎ１）、Ｖｙ（ｘ，ｙ）＝Ｓｈｉｆｔ（ｃ×（ｘ－ｘｃ）＋ｄ（ｙ－ｙｃ），ｎ１として決定され、ここで、ｎ１は整数であり、（ｘｃ，ｙｃ）は、前記位置（ｘ，ｙ）をカバーする寸法ｗ×ｈの前記基本ブロックの中心位置である、項１０に記載の方法。
１８． Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、Ｖｘ（ｘ＋１，ｙ）＝Ｖｘ（ｘ，ｙ）＋ａ及びＶｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋ｃとして決定され、パラメータａ及びｃは、前記隣接ブロックから又は履歴ベースの記憶装置からの情報に基づいて取得される、項１０に記載の方法。
１９． Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）の精度は、前記基本ブロックの動きベクトルの精度とは異なる、項１０乃至１８のいずれかに記載の方法。
セクション４の項目２は、項１０乃至１９の実施形態の更なる例を提供する。
２０． 映像処理の方法であって、映像ブロックと該映像ブロックのビットストリーム表現との間での変換において、前記映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定するステップであり、前記位置（ｘ，ｙ）での第１方向における勾配と第２方向における勾配とが、前記精緻化予測サンプルＰ’（ｘ，ｙ）及び前記位置（ｘ，ｙ）における残差サンプル値から決定される最終予測値に基づいて決定される、ステップと、前記第１方向における前記勾配及び前記第２方向における前記勾配を用いて前記変換を実行するステップと、を有する方法。
２１． 前記第１方向における前記勾配及び前記第２方向における前記勾配は、水平勾配及び垂直勾配に対応する、項２０に記載の方法。
２２． 前記第１方向における前記勾配及び前記第２方向における前記勾配は、中間予測の結果から導出される、項２０乃至２１のいずれかに記載の方法。
２３． 前記第１方向における前記勾配及び前記第２方向における前記勾配は、アフィン予測される双予測映像ブロックである前記映像ブロックに対する１つの参照ピクチャリストから導出される、項２０乃至２１のいずれかに記載の方法。
セクション４の項目３及び４は、項２０乃至２３に記載された技術の更なる実施形態例を提供する。
２４． 映像処理の方法であって、アフィン符号化される映像ブロック内の位置（ｘ，ｙ）における再構成サンプルＲｅｃ（ｘ，ｙ）を決定するステップと、前記位置（ｘ，ｙ）における第１及び第２の変位ベクトル並びに第１及び第２の勾配を用いてＲｅｃ（ｘ，ｙ）を精緻化して、精緻化再構成サンプルＲｅｃ’（ｘ，ｙ）を取得するステップと、前記精緻化再構成サンプルを用いて、前記映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行するステップと、を有する方法。
２５． Ｒｅｃ’（ｘ，ｙ）＝Ｒｅｃ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）であり、Ｇｘ（ｘ，ｙ）及びＧｙ（ｘ，ｙ）は、前記第１及び第２の勾配を表し、Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、前記位置（ｘ，ｙ）における前記第１及び第２の変位ベクトルを表す、項２４に記載の方法。
２６． Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）はサブブロックレベルで導出される、項２５に記載の方法。
２７． Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は１／Ｍペル精度で導出され、Ｍは整数である、項２５に記載の方法。
２８． 当該方法は、前記映像ブロックが特定の寸法及び／又は特定の符号化モードを持つことの結果として適用される、項１乃至２７のいずれかに記載の方法。
２９． 前記特定の寸法は８×４である、項２８に記載の方法。
３０． 前記映像ブロックは４×４片予測映像ブロックである、項２８に記載の方法。
セクション４の項目５乃至１２は、項２４乃至３０に記載された実施形態の例を提供する。
３１． 当該方法は、前記映像ブロックが、特定の色成分若しくは特定のカラーフォーマットを持つこと、又は映像ピクチャ内で特定の位置を持つこと、又は特定の変換タイプを使用することの結果として適用される、項１乃至２７のいずれかに記載の方法。
３２．前記変換は、前記ビットストリーム表現から前記現在ブロックを生成すること、又は前記現在ブロックから前記ビットストリーム表現を生成することを含む、項１乃至３１のいずれかに記載の方法。
３３． 映像処理の方法であって、 映像処理方法の第２５の例は、アフィン符号化モードを用いて符号化される映像ブロックと該映像ブロックのビットストリーム表現との間での変換において、Ｋは１より大きい整数であるとして、Ｋ通りのサブブロックパターンを用いて前記映像ブロックを複数のパーティションに分割することによって、前記映像ブロックのインタウィーブ予測を実行するステップと、前記Ｋ通りのサブブロックパターンのうちの最初のものを用いて動き補償を実行して、前記映像ブロックの予測サンプルを生成するステップであり、位置（ｘ，ｙ）における予測サンプルをＰ（ｘ，ｙ）と表記する、ステップと、第Ｌパターンと表記する前記Ｋ通りのサブブロックパターンの残りのうちの少なくとも１つについて、Ｐ（ｘ，ｙ）と、前記Ｋ通りのサブブロックパターンのうちの前記最初のものを用いて導出された動きベクトルと前記第Ｌパターンを用いて導出された動きベクトルとの間の差とに基づいて、前記位置（ｘ，ｙ）におけるオフセット値ＯＬ（ｘ，ｙ）を決定するステップと、ＯＬ（ｘ，ｙ）及びＰ（ｘ，ｙ）の関数として前記位置（ｘ，ｙ）についての最終予測サンプルを決定するステップと、前記最終予測サンプルを用いて前記変換を実行するステップと、を有する方法。
３４． Ｋ＝２であり、Ｌ＝１であり、前記最終予測サンプルは、Ｐ（ｘ，ｙ）＋（（Ｏ１（ｘ，ｙ）＋１）＞＞１）を用いて決定され、ただし、＞＞はバイナリシフト演算を表す、項３３に記載の方法。
３５． Ｋ＝２であり、Ｌ＝１であり、前記最終予測サンプルは、Ｐ（ｘ，ｙ）＋（Ｏ１（ｘ，ｙ）＞＞１）を用いて決定され、ただし、＞＞はバイナリシフト演算を表す、項３３に記載の方法。
３６． ＯＬ（ｘ，ｙ）は、水平及び垂直補間を実行した後にＰ（ｘ，ｙ）から生成される、項３３乃至３５のいずれかに記載の方法。
３７． 前記最初のパターンに対する動き補償は１／Ｎピクセル精度を使用することができ、前記第Ｌパターンに対する動き補償は１／ＭＬピクセル精度を使用することができ、Ｎ及びＭは整数である、項３３乃至３５のいずれかに記載の方法。
３８． Ｎ＝１６、且つＭＬ＝３２、６４又は１２８である、項３７に記載の方法。
３９． Ｎ＝８、且つＭＬ＝１６、３２、６４又は１２８である、項３７に記載の方法。
４０． Ｎ＝４、且つＭＬ＝８、１６、３２、６４又は１２８である、項３７に記載の方法。
４１． 項１乃至４０のいずれかに記載の方法を実装するように構成されたプロセッサを有するビデオエンコーダ又はリエンコーダ。
４２． 項１乃至４０のいずれかに記載の方法を実装するように構成されたプロセッサを有するビデオデコーダ。
４３． 項１乃至４０のいずれかに記載の方法を実装するためのコードを有したコンピュータ読み取り可能媒体。
図３３は、ここに開示される様々な技術が実装され得る映像処理システム２１００の一例を示すブロック図である。様々な実装は、システム２１００のコンポーネントの一部又は全てを含み得る。システム２１００は、映像コンテンツを受信する入力２１０２を含み得る。映像コンテンツは、例えば８ビット又は１０ビットのマルチコンポーネント（多成分）ピクセル値といった、ロー（未加工）又は未圧縮のフォーマットで受信されてもよいし、あるいは圧縮又は符号化されたフォーマットで受信されてもよい。入力２１０２は、ネットワークインタフェース、周辺バスインタフェース、又はストレージインタフェースを表し得る。ネットワークインタフェースの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）などの有線インタフェース、及びＷｉ－Ｆｉ（登録商標）若しくはセルラーインタフェースなどの無線インタフェースを含む。
システム２１００は、本文書に記載される様々なコーディング又は符号化方法を実装し得る符号化コンポーネント２１０４を含み得る。符号化コンポーネント２１０４は、入力２１０２から符号化コンポーネント２１０４の出力まで映像の平均ビットレートを低減させて、映像の符号化表現を生成し得る。符号化技術は、それ故に、映像圧縮技術又は映像トランスコーディング技術と呼ばれることがある。符号化コンポーネント２１０４の出力は、格納されるか、コンポーネント２１０６によって表されるように接続されて通信を介して伝送されるかし得る。入力２１０２で受信された映像の格納又は通信されるビットストリーム（又は符号化）表現は、ディスプレイインタフェース２１１０に送られるピクセル値又は表示可能映像を生成するためにコンポーネント２１０８によって使用され得る。ビットストリーム表現からユーザが見ることができる映像を生成するプロセスは、映像解凍と呼ばれることがある。また、特定の映像処理操作が“符号化”の操作又はツールとして参照されることがあるが、理解されることには、符号化のツール又は操作はエンコーダで使用され、符号化の結果を裏返す対応する復号のツール又は操作がデコーダで実行されることになる。
周辺バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）又は高精細マルチメディアインタフェース（ＨＤＭＩ（登録商標））又はディスプレイポート（Displayport）などを含み得る。ストレージインタフェースの例は、ＳＡＴＡ（serial advanced technology attachment）、ＰＣＩ、ＩＤＥインタフェースなどを含む。本文書に記載される技術は、例えば携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び／又は映像表示を実行することが可能な他の装置などの、種々のエレクトロニクス装置にて具現化され得る。
開示される技術の一部の実施形態は、映像処理ツール又はモードを有効にする決定を行うことを含む。一例において、映像処理ツール又はモードが有効にされるとき、エンコーダは、映像のブロックの処理においてそのツール又はモードを使用又は実装することになるが、必ずしも、そのツール又はモードの使用に基づいて、結果として生じるビットストリームを変更するわけではない。すなわち、映像のブロックから映像のビットストリーム表現への変換は、映像処理ツール又はモードを、それが決定に基づいて有効にされるときに使用することになる。他の一例において、映像処理ツール又はモードが有効にされるとき、デコーダは、その映像処理ツール又はモードに基づいてビットストリームが変更されていることを知って、ビットストリームを処理することになる。すなわち、映像のビットストリーム表現から映像のブロックへの変換は、決定に基づいて有効にされていた映像処理ツール又はモードを用いて実行されることになる。
開示される技術の一部の実施形態は、映像処理ツール又はモードを無効にする決定を行うことを含む。一例において、映像処理ツール又はモードが無効にされるとき、エンコーダは、映像のブロックの映像のビットストリームへの変換においてそのツール又はモードを使用しないことになる。他の一例において、映像処理ツール又はモードが無効にされるとき、デコーダは、決定に基づいて無効にされていた映像処理ツール又はモードを用いてはビットストリームが変更されていないことを知って、ビットストリームを処理することになる。
図３４は、この開示の技術を利用し得る映像符号化システム１００の一例を示すブロック図である。図３４に示すように、映像符号化システム１００は、ソース装置１１０及びデスティネーション装置１２０を含み得る。ソース装置１１０は、符号化映像データを生成し、映像符号化装置として参照され得る。デスティネーション装置１２０は、ソース装置１１０によって生成された符号化映像データを復号することができ、映像復号装置として参照され得る。ソース装置１１０は、映像ソース１１２、ビデオエンコーダ１１４、及び入力／出力（Ｉ／Ｏ）インタフェース１１６を含み得る。
映像ソース１１２は、例えば、映像キャプチャ装置、映像コンテンツプロバイダから映像データを受信するインタフェース、及び／又は映像データを生成するコンピュータグラフィックスシステム、又はそのようなソースの組み合わせなどの、ソースを含み得る。映像データは、１つ以上のピクチャを有し得る。ビデオエンコーダ１１４は、映像ソース１１２からの映像データを符号化してビットストリームを生成する。ビットストリームは、映像データの符号化表現を形成する一連のビットを含み得る。ビットストリームは、符号化ピクチャ及び関連データを含み得る。符号化ピクチャはピクチャの符号化表現である。関連データは、シーケンスパラメータセット、ピクチャパラメータセット、及び他の構文構造を含み得る。Ｉ／Ｏインタフェース１１６は、変調器／復調器（モデム）及び／又は送信器を含み得る。符号化映像データは、Ｉ／Ｏインタフェース１１６を介し、ネットワーク１３０ａを通じて直接、デスティネーション装置１２０に伝送され得る。符号化映像データはまた、デスティネーション装置１２０によるアクセスのためにストレージ媒体／サーバ１３０ｂ上に格納されてもよい。
デスティネーション装置１２０は、Ｉ／Ｏインタフェース１２６、ビデオデコーダ１２４、及び表示装置１２２を含み得る。
Ｉ／Ｏインタフェース１２６は、受信器及び／又はモデムを含み得る。Ｉ／Ｏインタフェース１２６は、ソース装置１１０又はストレージ媒体／サーバ１３０ｂから符号化映像データを取得し得る。ビデオデコーダ１２４は符号化映像データを復号し得る。表示装置１２２は、復号映像データをユーザに表示し得る。表示装置１２２は、デスティネーション装置１２０と一体化されてもよいし、あるいは、外部表示装置とインタフェースするように構成されたデスティネーション装置１２０の外部にあってもよい。
ビデオエンコーダ１１４及びビデオデコーダ１２４は、例えばハイエフィシェンシビデオコーディング（ＨＥＶＣ）標準、バーサタイルビデオコーディング（ＶＶＣ）標準、及び他の現行の及び／又は将来の標準などの、映像圧縮標準に従って動作し得る。
図３５は、図３４に示したシステム１００内のビデオエンコーダ１１４とし得るものであるビデオエンコーダ２００の一例を示すブロック図である。
ビデオエンコーダ２００は、この開示の技術のうちのいずれか又は全てを実行するように構成され得る。図３５の例において、ビデオエンコーダ２００は、複数の機能コンポーネントを含んでいる。この開示に記載される技術は、ビデオエンコーダ２００の様々なコンポーネントの間で共有され得る。一部の例において、プロセッサが、この開示に記載される技術のうちのいずれか又は全てを実行するように構成され得る。
ビデオエンコーダ２００の機能コンポーネントは、分割ユニット２０１と、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５、及びイントラ予測ユニット２０６を含み得る予測ユニット２０２と、残差生成ユニット２０７と、変換ユニット２０８と、量子化ユニット２０９と、逆量子化ユニット２１０と、逆変換ユニット２１１と、再構成ユニット２１２と、バッファ２１３と、エントロピー符号化ユニット２１４とを含み得る。
他の例において、ビデオエンコーダ２００は、より多くの、より少ない、又は異なる機能コンポーネントを含んでもよい。一例において、予測ユニット２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含んでいてもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが、現在映像ブロックが位置するところのピクチャである、というＩＢＣモードで予測を実行し得る。
また、例えば動き推定ユニット２０４及び動き補償ユニット２０５などの一部のコンポーネントは、図３５の例では説明の目的で別々に表されているが、高度に集積されることができる。
分割ユニット２０１は、ピクチャを１つ以上の映像ブロックに分割し得る。ビデオエンコーダ２００及びビデオデコーダ３００は、様々な映像ブロックサイズをサポートし得る。
モード選択ユニット２０３は、例えば誤差結果に基づいて、イントラ又はインターである複数の符号化モードのうちの１つを選択し、得られたイントラ又はインター符号化ブロックを、残差ブロックデータを生成する残差生成ユニット２０７と、参照ピクチャとしての使用のために符号化ブロックを再構成する再構成ユニット２１２とに提供し得る。一部の例において、モード選択ユニット２０３は、予測がインター予測信号及びイントラ予測信号に基づくものである組み合わせイントラ・インター予測（combination of intra and inter predication；ＣＩＩＰ）モードを選択してもよい。モード選択ユニット２０３はまた、インター予測の場合に、ブロックに対する動きベクトルの分解能（例えば、サブピクセル又は整数ピクセルの精度）を選択し得る。
現在映像ブロックに対してインター予測を実行するために、動き推定ユニット２０４が、バッファ２１３からの１つ以上の参照フレームを現在映像ブロックと比較することによって、現在映像ブロックについての動き情報を生成し得る。動き補償ユニット２０５が、現在映像ブロックに関連付けられたピクチャ以外の、バッファ２１３からのピクチャの動き情報及び復号サンプルに基づいて、現在映像ブロックについての予測映像ブロックを決定し得る。
動き推定ユニット２０４及び動き補償ユニット２０５は、例えば、現在映像ブロックがＩスライス内にあるか、Ｐスライス内にあるか、それともＢスライス内にあるかに応じて、現在映像ブロックに対して異なる演算を実行し得る。
一部の例において、動き推定ユニット２０４は、現在映像ブロックに対して片方向予測を実行することができ、動き推定ユニット２０４は、現在映像ブロックに対する参照映像ブロックについてリスト０又はリスト１の参照ピクチャを探索し得る。そして、動き推定ユニット２０４は、参照映像ブロックを含んだリスト０又はリスト１内の参照ピクチャを指し示す参照インデックスと、現在映像ブロックと参照映像ブロックとの間の空間変位を指し示す動きベクトルとを生成し得る。動き推定ユニット２０４は、現在映像ブロックの動き情報として、上記参照インデックスと、予測方向インジケータと、上記動きベクトルとを出力し得る。現在映像ブロックの動き情報によって示される参照映像ブロックに基づいて、動き補償ユニット２０５が現在ブロックの予測映像ブロックを生成し得る。
他の例において、動き推定ユニット２０４は、現在映像ブロックに対して双方向予測を実行することができ、動き推定ユニット２０４は、現在映像ブロックに対する参照映像ブロックについてリスト０内の参照ピクチャを探索し得るとともに、現在映像ブロックに対するもう１つの参照映像ブロックについてリスト１内の参照ピクチャも探索し得る。そして、動き推定ユニット２０４は、参照映像ブロックを含んだリスト０内の及びリスト１内の参照ピクチャを指し示す参照インデックスと、それら参照映像ブロックと現在映像ブロックとの間の空間変位を指し示す動きベクトルとを生成し得る。動き推定ユニット２０４は、現在映像ブロックの動き情報として、それら参照インデックスと、現在映像ブロックの上記動きベクトルとを出力し得る。現在映像ブロックの動き情報によって示される参照映像ブロックに基づいて、動き補償ユニット２０５が現在ブロックの予測映像ブロックを生成し得る。
一部の例において、動き推定ユニット２０４は、デコーダの復号処理のために、動き情報の完全なセットを出力し得る。
一部の例において、動き推定ユニット２０４は、現在映像についての動き情報の完全なセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、別の映像ブロックの動き情報を参照して現在映像ブロックの動き情報を信号伝達してもよい。例えば、動き推定ユニット２０４は、現在映像ブロックの動き情報が隣接映像ブロックの動き情報と十分に似ていると判定し得る。
一例において、動き推定ユニット２０４は、現在映像ブロックに関連付けられる構文構造内で、現在映像ブロックが別の映像ブロックと同じ動き情報を持つことをビデオデコーダ３００に示す値を指し示し得る。
他の一例において、動き推定ユニット２０４は、現在映像ブロックに関連付けられる構文構造内で、別の映像ブロックと動きベクトル差（ＭＶＤ）とを特定してもよい。動きベクトル差は、現在映像ブロックの動きベクトルと、指し示される映像ブロックの動きベクトルとの間の差を示す。ビデオデコーダ３００は、指し示された映像ブロックの動きベクトルと動きベクトル差とを用いて、現在映像ブロックの動きベクトルを決定し得る。
上述のように、ビデオエンコーダ２００は、動きベクトルを予測的に信号伝達し得る。ビデオエンコーダ２００によって実装され得る予測的シグナリング技術の２つの例は、アドバンスト動きベクトル予測（ＡＭＶＰ）及びマージモードシグナリングを含む。
イントラ予測ユニット２０６は、現在映像ブロックに対してイントラ予測を実行し得る。イントラ予測ユニット２０６が現在映像ブロックに対してイントラ予測を実行するとき、イントラ予測ユニット２０６は、同じピクチャ内の他の映像ブロックの復号サンプルに基づいて、現在映像ブロックについての予測データを生成し得る。現在映像ブロックについての予測データは、予測映像ブロックと様々な構文要素とを含み得る。
残差生成ユニット２０７は、現在映像ブロックの（１つ以上の）予測映像ブロックを現在映像ブロックから差し引くことによって（例えば、マイナス符号によって示される）、現在映像ブロックについての残差データを生成し得る。現在映像ブロックの残差データは、現在映像ブロック内のサンプルの異なるサンプル成分に対応する残差映像ブロックを含み得る。
他の例では、例えばスキップモードにおいて、現在映像ブロックのために現在映像ブロックについての残差データが存在しないことがあり、残差生成ユニット２０７は減算演算を実行しないことがある。
変換処理ユニット２０８は、現在映像ブロックに関連する残差映像ブロックに１つ以上の変換を適用することによって、現在映像ブロックについての１つ以上の変換係数映像ブロックを生成し得る。
変換処理ユニット２０８が現在映像ブロックに関する変換係数映像ブロックを生成した後、量子化ユニット２０９が、現在映像ブロックに関する変換係数映像ブロックを、現在映像ブロックに関する１つ以上の量子化パラメータ（ＱＰ）値に基づいて量子化し得る。
逆量子化ユニット２１０及び逆変換ユニット２１１が、変換係数映像ブロックに、それぞれ、逆量子化及び逆変換を適用して、変換係数映像ブロックから残差映像ブロックを再構成し得る。再構成ユニット２１２が、再構成された残差映像ブロックを、予測ユニット２０２によって生成された１つ以上の予測映像ブロックからの対応するサンプルに足し合わせて、バッファ２１３に記憶される現在ブロックに関する再構成映像ブロックを生成し得る。
再構成ユニット２１２が映像ブロックを再構成した後、映像ブロック内の映像ブロッキングアーチファクトを低減させるために、ループフィルタリング演算が実行され得る。
エントロピー符号化ユニット２１４が、ビデオエンコーダ２００の他の機能コンポーネントからデータを受信し得る。エントロピー符号化ユニット２１４がデータを受信すると、エントロピー符号化ユニット２１４は、１つ以上のエントロピー符号化演算を実行してエントロピー符号化データを生成し、そして、エントロピー符号化データを含むビットストリームを出力し得る。
図３６は、図３４に示したシステム１００内のビデオデコーダ１２４とし得るものであるビデオデコーダ３００の一例を示すブロック図である。
ビデオデコーダ３００は、この開示の技術のうちのいずれか又は全てを実行するように構成され得る。図３６の例において、ビデオデコーダ３００は、複数の機能コンポーネントを含んでいる。この開示に記載される技術は、ビデオデコーダ３００の様々なコンポーネントの間で共有され得る。一部の例において、プロセッサが、この開示に記載される技術のうちのいずれか又は全てを実行するように構成され得る。
図３６の例において、ビデオデコーダ３００は、エントロピー復号ユニット３０１、動き補償ユニット３０２、イントラ予測ユニット３０３、逆量子化ユニット３０４、逆変換ユニット３０５、再構成ユニット３０６、及びバッファ３０７を含んでいる。ビデオデコーダ３００は、一部の例において、ビデオエンコーダ２００（図３５）に関して説明した符号化パスに対して概ね逆の復号パスを実行し得る。
エントロピー復号ユニット３０１が符号化ビットストリームを取り出し得る。符号化ビットストリームは、エントロピー符号化された映像データ（例えば、映像データの符号化ブロック）を含み得る。エントロピー復号ユニット３０１はエントロピー符号化映像データを復号することができ、エントロピー復号された映像データから、動き補償ユニット３０２が、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他のモーション情報を含む動き情報を決定し得る。動き補償ユニット３０２は、例えば、ＡＭＶＰ及びマージモードを実行することによって、そのような情報を決定し得る。
動き補償ユニット３０２は、場合により補間フィルタに基づく補間を実行して、動き補償ブロックを生成し得る。サブピクセル精度で使用される補間フィルタに関する識別子が構文要素に含められ得る。
動き補償ユニット３０２は、映像ブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間値を計算し得る。動き補償ユニット３０２は、ビデオエンコーダ２００によって使用された補間フィルタを、受信した構文情報に従って決定し、その補間フィルタを用いて予測ブロックを生成し得る。
動き補償ユニット３０２は、構文情報の一部を用いて、符号化映像シーケンスのフレーム及び／又はスライスを符号化するのに使用されるブロックのサイズ、符号化映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述するパーティション情報、各パーティションがどのように符号化されるかを指し示すモード、各インター符号化ブロックに関する１つ又は複数の参照フレーム（及び参照フレームリスト）、及び符号化映像シーケンスを復号するための他の情報を決定し得る。
イントラ予測ユニット３０３は、例えばビットストリーム内で受信した、イントラ予測モードを用いて、空間的に隣接するブロックから予測ブロックを形成し得る。逆量子化ユニット３０３が、ビットストリーム内で提供されてエントロピー復号ユニット３０１によって復号された量子化された映像ブロック係数を逆量子化する、すなわち、量子化解除する。逆変換ユニット３０３が逆変換を適用する。
再構成ユニット３０６が、残差ブロックを、動き補償ユニット３０２又はイントラ予測ユニット３０３によって生成された対応する予測ブロックと足し合わせて、復号ブロックを形成し得る。望まれる場合、ブロックアーチファクトを除去するために復号ブロックをフィルタリングするよう、デブロッキングフィルタも適用され得る。そして、復号映像ブロックがバッファ３０７に格納され、それが、後の動き補償／イントラ予測のための参照ブロックを提供し、また、表示装置上での提示のための復号映像を生成する。
この特許文献において、用語“サンプル（sample又はsamples）”は、映像ブロックの１つ以上のサンプルを指すことができる。以上から、理解されることには、ここに開示された技術の特定の実施形態を説明の目的でここに記述したが、発明の範囲から逸脱することなく様々な変更が為され得る。従って、ここに開示された技術は、添付の請求項による場合を除き、限定されるものではない。
開示される及びその他のソリューション、この文書に記述される例、実施形態、モジュール及び機能動作は、この文書に開示されている構造及びそれらに構造的に均等なものを含め、デジタル電子回路、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアにて、あるいはこれらのうちの１つ以上の組み合わせにて実施されることができる。開示される及びその他の実施形態は、１つ以上のコンピュータプログラムプロダクトとして実装されることができ、すなわち、データ処理装置による実行のための、又はデータ処理装置の動作を制御するための、コンピュータ読み取り可能媒体にエンコードされたコンピュータプログラム命令の１つ以上のモジュールとして実装されることができる。コンピュータ読み取り可能媒体は、機械読み取り可能記憶装置、機械読み取り可能記憶基板、メモリ装置、機械読み取り可能な伝搬信号を生じさせる物質の組成、又はそれらのうちの１つ以上の組み合わせとすることができる。用語“データ処理装置”は、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含め、データを処理するあらゆる装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの１つ以上の組み合わせを構成するコードといった、問題としているコンピュータプログラムのための実行環境を作り出すコードを含むことができる。伝播される信号は、人工的に生成される信号であり、例えば、適切な受信器装置への伝送のために情報をエンコードするために生成される機械生成による電気信号、光信号、又は電磁信号である。
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル型又はインタープリタ型の言語を含め、如何なる形態のプログラミング言語で記述されてもよく、また、スタンドアロンプログラムとして、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとして、を含め、如何なる形態で展開されてもよい。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラム若しくはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に格納されてもよいし、問題としているプログラムに専用の単一ファイルに格納されてもよいし、あるいは、複数の連携ファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を格納するファイル）に格納されてもよい。コンピュータプログラムは、１つのコンピュータ上で実行されるように展開されてもよいし、あるいは、一箇所に配置された、又は複数箇所に分散されて通信ネットワークによって相互接続された、複数のコンピュータ上で実行されるように展開されてもよい。
この文書に記載されるプロセス及び論理フローは、入力データについて演算して出力を生成することによって機能を実行するよう、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行されることができる。これらのプロセス及び論理フローはまた、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）といった専用の論理回路によって実行されることもでき、また、装置も、そのような専用の論理回路として実装されることができる。
コンピュータプログラムの実行に適したプロセッサは、例として、汎用及び専用の双方のマイクロプロセッサ、及び任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリ若しくはランダムアクセスメモリ又はこれらの両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを格納する１つ以上のメモリデバイスである。一般に、コンピュータはまた、例えば磁気ディスク、磁気光ディスク、又は光ディスクといった、データを格納するための１つ以上の大容量ストレージ装置を含み、あるいは、大容量ストレージ装置からデータを受信したり、それにデータを転送したりするように動作的に結合される。しかしながら、コンピュータは、そのような装置を有する必要はない。コンピュータプログラム命令及びデータを格納するのに適したコンピュータ読み取り可能媒体は、例として、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスといった半導体メモリデバイス、例えば内部ハードディスク又はリムーバブルディスクといった磁気ディスク；光磁気ディスク；並びにＣＤ ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含め、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用の論理回路によって補われたり、それに組み込まれたりしてもよい。
この特許文書は数多くの詳細が含んでいるが、それらは、いずれかの主題又は特許請求され得るものの範囲についての限定として解釈されるべきでなく、むしろ、特定の技術の特定の実施形態に特有とし得る機構の説明として解釈されるべきである。別々の実施形態の文脈でこの特許文書に記載されている特定の複数の機構が、単一の実施形態にて組み合わせて実装されることもできる。逆に、単一の実施形態の文脈で説明されている種々の機構が、複数の実施形態にて別々に、又は何らかの好適なサブコンビネーションで実装されることもできる。さらには、複数の機構が、特定の組み合わせにて作用するものとして上述され、さらには当初はそのように特許請求されていることがあり得るが、場合によって、特許請求されている組み合わせからの１以上の機構を組み合わせから除くこともでき、また、特許請求されている組み合わせをサブコンビネーション又はサブコンビネーションのバリエーションへと導いてもよい。
同様に、図面には処理が特定の順序で示されるが、このことは、所望の結果を達成するために、それらの動作が図示される特定の順序で若しくは順番に実行されること、又は図示される全ての処理が実行されることを要求するものとして理解されるべきでない。また、この特許文書に記載されている実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を必要とするものとして理解されるべきでない。
ほんの少しの実装及び例を記載したのみであり、この特許文書に記載及び図示されているものに基づいて、他の実装、拡張及び変形が行われ得る。
これは、２０２０年３月１７日に出願された国際特許出願ＰＣＴ／ＣＮ２０２０／０７９６７５号の国内移行出願であり、当該国際特許出願は、２０１９年３月１７日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０７８４１１号、２０１９年３月１８日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０７８５０１号、２０１９年３月１９日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０７８７１９号、及び２０１９年３月２７日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０７９９６１号の優先権及び利益を主張するものである。上記出願の開示全体を、この出願の開示の一部として援用する。

Claims (128)

  1. 映像処理の方法であって、
    ｘ及びｙは分数であるとして、オプティカルフローに基づく方法を用いて符号化される映像ブロック内の位置（ｘ，ｙ）における第１の動き変位Ｖｘ（ｘ，ｙ）及び前記位置（ｘ，ｙ）における第２の動き変位Ｖｙ（ｘ，ｙ）を決定するステップであり、
    Ｖｘ（ｘ，ｙ）及びＶｙ（ｘ，ｙ）は、少なくとも前記位置（ｘ，ｙ）と前記映像ブロックの基本映像ブロックの中心位置とに基づいて決定される、
    ステップと、
    前記第１の動き変位及び前記第２の動き変位を用いて、前記映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行するステップと、
    を有する方法。
  2. Ｖｘ（ｘ，ｙ）＝ａ×（ｘ－ｘｃ）＋ｂ×（ｙ－ｙｃ）であり、
    Ｖｙ（ｘ，ｙ）＝ｃ×（ｘ－ｘｃ）＋ｄ×（ｙ－ｙｃ）であり、
    （ｘｃ，ｙｃ）は前記映像ブロックの前記基本映像ブロックの前記中心位置であり、
    ａ、ｂ、ｃ及びｄはアフィンパラメータであり、
    前記基本映像ブロックは寸法ｗ×ｈを持ち、且つ
    前記基本映像ブロックの位置は前記位置（ｘ，ｙ）を含む、
    請求項１に記載の方法。
  3. Ｖｘ（ｘ，ｙ）＝Ｓｈｉｆｔ（ａ×（ｘ－ｘｃ）＋ｂ×（ｙ－ｙｃ），ｎ１）であり、
    Ｖｙ（ｘ，ｙ）＝Ｓｈｉｆｔ（ｃ×（ｘ－ｘｃ）＋ｄ×（ｙ－ｙｃ），ｎ１）であり、
    （ｘｃ，ｙｃ）は前記映像ブロックの前記基本映像ブロックの前記中心位置であり、
    ａ、ｂ、ｃ及びｄはアフィンパラメータであり、
    前記基本映像ブロックは寸法ｗ×ｈを持ち、
    前記基本映像ブロックの位置は前記位置（ｘ，ｙ）を含み、
    Ｓｈｉｆｔ（）関数は、バイナリシフト演算を指し、且つ
    ｎ１は整数である、
    請求項１に記載の方法。
  4. Ｖｘ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（ａ×（ｘ－ｘｃ）＋ｂ×（ｙ－ｙｃ），ｎ１）であり、
    Ｖｙ（ｘ，ｙ）＝ＳａｔＳｈｉｆｔ（ｃ×（ｘ－ｘｃ）＋ｄ×（ｙ－ｙｃ），ｎ１）であり、
    （ｘｃ，ｙｃ）は前記映像ブロックの前記基本映像ブロックの前記中心位置であり、
    ａ、ｂ、ｃ及びｄはアフィンパラメータであり、
    前記基本映像ブロックは寸法ｗ×ｈを持ち、
    前記基本映像ブロックの位置は前記位置（ｘ，ｙ）を含み、
    ＳａｔＳｈｉｆｔ（）関数は、飽和バイナリシフト演算を指し、且つ
    ｎ１は整数である、
    請求項１に記載の方法。
  5. Ｖｘ（ｘ，ｙ）＝－ａ×（ｘ－ｘｃ）－ｂ×（ｙ－ｙｃ）であり、
    Ｖｙ（ｘ，ｙ）＝－ｃ×（ｘ－ｘｃ）－ｄ×（ｙ－ｙｃ）であり、
    （ｘｃ，ｙｃ）は前記映像ブロックの前記基本映像ブロックの前記中心位置であり、
    ａ、ｂ、ｃ及びｄはアフィンパラメータであり、
    前記基本映像ブロックは寸法ｗ×ｈを持ち、且つ
    前記基本映像ブロックの位置は前記位置（ｘ，ｙ）を含む、
    請求項１に記載の方法。
  6. （ｘｃ，ｙｃ）＝（ｘ０＋（ｗ／２），ｙ０＋（ｈ／２））であり、前記基本映像ブロックの左上の位置が（ｘ０，ｙ０）である、請求項２乃至５のいずれかに記載の方法。
  7. （ｘｃ，ｙｃ）＝（ｘ０＋（ｗ／２）－１，ｙ０＋（ｈ／２）－１）であり、前記基本映像ブロックの左上の位置が（ｘ０，ｙ０）である、請求項２乃至５のいずれかに記載の方法。
  8. （ｘｃ、ｙｃ）＝（ｘ０＋（ｗ／２），ｙ０＋（ｈ／２）－１）であり、前記基本映像ブロックの左上の位置が（ｘ０，ｙ０）である、請求項２乃至５のいずれかに記載の方法。
  9. （ｘｃ，ｙｃ）＝（ｘ０＋（ｗ／２）－１，ｙ０＋（ｈ／２））であり、前記基本映像ブロックの左上の位置が（ｘ０，ｙ０）である、請求項２乃至５のいずれかに記載の方法。
  10. 前記映像ブロックが４パラメータアフィンモードを用いて符号化されることに応答して、ｃ＝－ｂ且つｄ＝ａである、請求項２乃至９のいずれかに記載の方法。
  11. ａ、ｂ、ｃ及びｄは、制御点動きベクトル（ＣＰＭＶ）、前記映像ブロックの幅（Ｗ）、及び前記映像ブロックの高さ（Ｈ）から導出され得る、請求項２乃至９のいずれかに記載の方法。
  12. Figure 2022525876000030
     であり、
    ｍｖ０、ｍｖ１、及びｍｖ２は前記ＣＰＭＶであり、
    上付き文字ｈを有する動きベクトル成分は、該動きベクトル成分が第１方向にあることを指し示し、
    上付き文字ｖを有する別の動きベクトル成分は、該別の動きベクトル成分が第２方向にあることを指し示し、
    前記第１方向は前記第２方向に直交し、
    Ｗは前記映像ブロックの前記幅を示し、且つ
    Ｈは前記映像ブロックの前記高さを示す、
    請求項１１に記載の方法。
  13. ａ、ｂ、ｃ及びｄはクリップされる、請求項１１に記載の方法。
  14. ａ、ｂ、ｃ及びｄはシフトされる、請求項１１に記載の方法。
  15. ａ、ｂ、ｃ及びｄは、前記映像ブロックの隣接映像ブロックに関する記憶情報から取得され得る、請求項２乃至９のいずれかに記載の方法。
  16. ａ、ｂ、ｃ及びｄは、履歴ベースの記憶情報から取得され得る、請求項２乃至９のいずれかに記載の方法。
  17. Ｖｘ（ｘ＋１，ｙ）＝Ｖｘ（ｘ，ｙ）＋ａであり、且つＶｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋ｃである、請求項１に記載の方法。
  18. Ｖｘ（ｘ＋１，ｙ）＝Ｓｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ａ，ｎ１）であり、
    Ｖｙ（ｘ＋１，ｙ）＝Ｓｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｃ，ｎ１）であり、
    Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、且つ
    ｎ１は整数である、
    請求項１に記載の方法。
  19. Ｖｘ（ｘ＋１，ｙ）＝ＳａｔＳｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ａ，ｎ１）であり、
    Ｖｙ（ｘ＋１，ｙ）＝ＳａｔＳｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｃ，ｎ１）であり、
    ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、且つ
    ｎ１は整数である、
    請求項１に記載の方法。
  20. Ｖｘ（ｘ＋１，ｙ）＝Ｖｘ（ｘ，ｙ）＋Ｓｈｉｆｔ（ａ，ｎ１）であり、
    Ｖｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋Ｓｈｉｆｔ（ｃ，ｎ１）であり、
    Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、且つ
    ｎ１は整数である、
    請求項１に記載の方法。
  21. Ｖｘ（ｘ＋１，ｙ）＝Ｖｘ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ａ，ｎ１）であり、
    Ｖｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ｃ，ｎ１）であり、
    ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、且つ
    ｎ１は整数である、
    請求項１に記載の方法。
  22. Ｖｘ（ｘ，ｙ＋１）＝Ｖｘ（ｘ，ｙ）＋ｂであり、且つＶｙ（ｘ＋１，ｙ）＝Ｖｙ（ｘ，ｙ）＋ｄである、請求項１に記載の方法。
  23. Ｖｘ（ｘ，ｙ＋１）＝Ｓｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ｂ，ｎ１）であり、
    Ｖｙ（ｘ，ｙ＋１）＝Ｓｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｄ，ｎ１）であり、
    Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、且つ
    ｎ１は整数である、
    請求項１に記載の方法。
  24. Ｖｘ（ｘ，ｙ＋１）＝ＳａｔＳｈｉｆｔ（Ｖｘ（ｘ，ｙ）＋ｂ，ｎ１）であり、
    Ｖｙ（ｘ，ｙ＋１）＝ＳａｔＳｈｉｆｔ（Ｖｙ（ｘ，ｙ）＋ｄ，ｎ１）であり、
    ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、且つ
    ｎ１は整数である、
    請求項１に記載の方法。
  25. Ｖｘ（ｘ，ｙ＋１）＝Ｖｘ（ｘ，ｙ）＋Ｓｈｉｆｔ（ｂ，ｎ１）であり、
    Ｖｙ（ｘ，ｙ＋１）＝Ｖｙ（ｘ，ｙ）＋Ｓｈｉｆｔ（ｄ，ｎ１）であり、
    Ｓｈｉｆｔ（）関数はバイナリシフト演算を指し、且つ
    ｎ１は整数である、
    請求項１に記載の方法。
  26. Ｖｘ（ｘ，ｙ＋１）＝Ｖｘ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ｂ，ｎ１）であり、
    Ｖｙ（ｘ，ｙ＋１）＝Ｖｙ（ｘ，ｙ）＋ＳａｔＳｈｉｆｔ（ｄ，ｎ１）であり、
    ＳａｔＳｈｉｆｔ（）関数は飽和バイナリシフト演算を指し、且つ
    ｎ１は整数である、
    請求項１に記載の方法。
  27. 前記映像ブロックが、双予測技術を用いてアフィン予測されることに応答して、ａ、ｂ、ｃ、及びｄは、参照ピクチャリスト０又は参照ピクチャリスト１を参照する、請求項２乃至２６のいずれかに記載の方法。
  28. 最終予測サンプルが、前記第１の動き変位Ｖｘ（ｘ，ｙ）及び前記第２の動き変位Ｖｙ（ｘ，ｙ）で精緻化され、且つ
    前記第１の動き変位Ｖｘ（ｘ，ｙ）及び前記第２の動き変位Ｖｙ（ｘ，ｙ）は、参照ピクチャリスト０及び参照ピクチャリスト１のうちのいずれか一方を参照するａ、ｂ、ｃ、及びｄを用いて導出される、
    請求項２乃至２６のいずれかに記載の方法。
  29. 前記第１の動き変位Ｖｘ（ｘ，ｙ）及び前記第２の動き変位Ｖｙ（ｘ，ｙ）に関する予測サンプルは、参照ピクチャリスト０からであり、且つ精緻化され、且つ
    前記第１の動き変位Ｖｘ（ｘ，ｙ）及び前記第２の動き変位Ｖｙ（ｘ，ｙ）は、前記参照ピクチャリスト０を参照するａ、ｂ、ｃ、及びｄを用いて導出される、
    請求項２乃至２６のいずれかに記載の方法。
  30. 前記第１の動き変位Ｖｘ（ｘ，ｙ）及び前記第２の動き変位Ｖｙ（ｘ，ｙ）に関する予測サンプルは、参照ピクチャリスト１からであり、且つ精緻化され、且つ
    前記第１の動き変位Ｖｘ（ｘ，ｙ）及び前記第２の動き変位Ｖｙ（ｘ，ｙ）は、前記参照ピクチャリスト１を参照するａ、ｂ、ｃ、及びｄを用いて導出される、
    請求項２乃至２６のいずれかに記載の方法。
  31. 参照ピクチャリスト０からの第１の予測サンプルが、前記参照ピクチャリスト０を参照するａ、ｂ、ｃ、及びｄを用いて導出された第１の動き変位ベクトル（Ｖ０ｘ（ｘ，ｙ），Ｖ０ｙ（ｘ，ｙ））で精緻化され、
    参照ピクチャリスト１からの第２の予測サンプルが、前記参照ピクチャリスト１を参照するａ、ｂ、ｃ、及びｄを用いて導出された第２の動き変位ベクトル（Ｖ１ｘ（ｘ，ｙ），Ｖ１ｙ（ｘ，ｙ））で精緻化され、且つ
    前記第１の予測サンプルと前記第２の予測サンプルとを組み合わせることによって最終予測サンプルが取得される、
    請求項２乃至２６のいずれかに記載の方法。
  32. 動き変位ベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、前記映像ブロックの動きベクトルの第２動きベクトル精度とは異なる第１動きベクトル精度を持つ、請求項１に記載の方法。
  33. 前記第１動きベクトル精度は１／８ピクセル精度である、請求項３２に記載の方法。
  34. 前記第１動きベクトル精度は１／１６ピクセル精度である、請求項３２に記載の方法。
  35. 前記第１動きベクトル精度は１／３２ピクセル精度である、請求項３２に記載の方法。
  36. 前記第１動きベクトル精度は１／６４ピクセル精度である、請求項３２に記載の方法。
  37. 前記第１動きベクトル精度は１／１２８ピクセル精度である、請求項３２に記載の方法。
  38. 動き変位ベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、フロートピクセル精度技術に基づいて決定される、請求項１に記載の方法。
  39. 映像処理の方法であって、
    映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記映像ブロック内の前記位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定するステップであり、
    前記第１の勾配成分及び前記第２の勾配成分は、前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値に基づくものであり、且つ
    前記ｘ及びｙは整数である、
    ステップと、
    前記勾配Ｇｘ（ｘ，ｙ）、Ｇｙ（ｘ，ｙ）を用いて精緻化されたものである予測サンプルＰ（ｘ，ｙ）の前記最終予測サンプル値に残差サンプル値Ｒｅｓ（ｘ，ｙ）を加えたものに基づいて得られた、前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を用いて、前記映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行するステップと、
    を有する方法。
  40. 映像処理の方法であって、
    映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記映像ブロック内の前記位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定するステップであり、
    前記第１の勾配成分及び前記第２の勾配成分は、前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値に基づくものであり、且つ
    前記ｘ及びｙは整数である、
    ステップと、
    前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）に基づく残差サンプル値Ｒｅｓ（ｘ，ｙ）を含むよう、前記映像ブロックのビットストリーム表現を符号化するステップであり、
    前記再構成サンプル値Ｒｅｃ（ｘ，ｙ）は、前記勾配Ｇｘ（ｘ，ｙ）、Ｇｙ（ｘ，ｙ）を用いて精緻化されたものである予測サンプルＰ（ｘ，ｙ）の前記最終予測サンプル値に前記残差サンプル値Ｒｅｓ（ｘ，ｙ）を加えたものに基づく、
    ステップと、
    を有する方法。
  41. 映像処理の方法であって、
    映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記映像ブロック内の前記位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定するステップであり、
    前記第１の勾配成分及び前記第２の勾配成分は、前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の中間予測サンプル値に基づくものであり、
    前記予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値は前記中間予測サンプル値に基づき、且つ
    前記ｘ及びｙは整数である、
    ステップと、
    予測サンプルＰ（ｘ，ｙ）の前記最終予測サンプル値と残差サンプル値Ｒｅｓ（ｘ，ｙ）とに基づいて得られた、前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を用いて、前記映像ブロックと現在映像ブロックのビットストリーム表現との間での変換を実行するステップと、
    を有する方法。
  42. 映像処理の方法であって、
    映像ブロック内の位置（ｘ，ｙ）で推定された、第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記映像ブロック内の前記位置（ｘ，ｙ）で推定された、第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）とを決定するステップであり、
    前記第１の勾配成分及び前記第２の勾配成分は、前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）の中間予測サンプル値に基づくものであり、
    前記予測サンプルＰ（ｘ，ｙ）の最終予測サンプル値は前記中間予測サンプル値に基づき、且つ
    前記ｘ及びｙは整数である、
    ステップと、
    前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）に基づく残差サンプル値Ｒｅｓ（ｘ，ｙ）を含むよう、前記映像ブロックのビットストリーム表現を符号化するステップであり、
    前記再構成サンプル値Ｒｅｃ（ｘ，ｙ）は、予測サンプルＰ（ｘ，ｙ）の前記最終予測サンプル値と前記残差サンプル値Ｒｅｓ（ｘ，ｙ）とに基づく、
    ステップと、
    を有する方法。
  43. 前記映像ブロックが、双予測技術を用いてアフィン予測されることに応答して、前記第１の勾配成分及び／又は前記第２の勾配成分は、１つの参照ピクチャリストからの前記中間予測サンプル値に基づく、請求項４１又は４２のいずれかに記載の方法。
  44. 前記映像ブロックがアフィンモード及び局所照明補償（ＬＩＣ）を使用するとき、前記第１の勾配成分及び／又は前記第２の勾配成分は、前記ＬＩＣが適用される前のインター予測サンプル値に基づく、請求項４１又は４２のいずれかに記載の方法。
  45. 前記映像ブロックが、重み付け予測技術又はＣＵレベル重み付け双予測（ＢＣＷ）技術のうちいずれか一方を用いたアフィンモードを使用するとき、前記第１の勾配成分及び／又は前記第２の勾配成分は、重み係数を乗じられる前のインター予測サンプル値に基づく、請求項４１又は４２のいずれかに記載の方法。
  46. 前記映像ブロックがアフィンモード及び局所照明補償（ＬＩＣ）を使用するとき、前記第１の勾配成分及び／又は前記第２の勾配成分は、前記ＬＩＣが適用されたインター予測サンプル値に基づく、請求項４１又は４２のいずれかに記載の方法。
  47. 前記映像ブロックが、重み付け予測技術又はＣＵレベル重み付け双予測（ＢＣＷ）技術のうちいずれか一方を用いたアフィンモードを使用するとき、前記第１の勾配成分及び／又は前記第２の勾配成分は、重み係数を乗じられたインター予測サンプル値に基づく、請求項４１又は４２のいずれかに記載の方法。
  48. 映像処理の方法であって、
    アフィン符号化映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定するステップであり、
    前記第１方向は前記第２方向に直交し、且つ
    ｘ及びｙは整数である、
    ステップと、
    前記精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を決定するステップと、
    前記アフィン符号化映像ブロック内の前記位置（ｘ，ｙ）における精緻化再構成サンプル値Ｒｅｃ’（ｘ，ｙ）を決定するステップであり、Ｒｅｃ’（ｘ，ｙ）＝Ｒｅｃ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である、ステップと、
    前記精緻化再構成サンプル値Ｒｅｃ’（ｘ，ｙ）を用いて、前記アフィン符号化映像ブロックと前記アフィン符号化映像ブロックのビットストリーム表現との間での変換を実行するステップと、
    を有する方法。
  49. 映像処理の方法であって、
    アフィン符号化映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定するステップであり、
    前記第１方向は前記第２方向に直交し、且つ
    ｘ及びｙは整数である、
    ステップと、
    前記精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）を決定するステップと、
    前記アフィン符号化映像ブロック内の前記位置（ｘ，ｙ）における精緻化再構成サンプル値Ｒｅｃ’（ｘ，ｙ）を決定するステップであり、Ｒｅｃ’（ｘ，ｙ）＝Ｒｅｃ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である、ステップと、
    前記残差サンプル値Ｒｅｓ（ｘ，ｙ）を含むよう、前記アフィン符号化映像ブロックのビットストリーム表現を符号化するステップと、
    を有する方法。
  50. 前記第１の勾配成分Ｇｘ（ｘ，ｙ）及び／又は前記第２の勾配成分Ｇｙ（ｘ，ｙ）は前記再構成サンプル値Ｒｅｃ（ｘ，ｙ）に基づく、請求項４８又は４９のいずれかに記載の方法。
  51. 前記第１の動き変位Ｖｘ（ｘ，ｙ）及び前記第２の動き変位Ｖｙ（ｘ，ｙ）は、前記アフィン符号化映像ブロックの２×２ブロックレベルで導出される、請求項４８又は４９のいずれかに記載の方法。
  52. 映像処理の方法であって、
    アフィンモードの映像ブロックについて、１／Ｎピクセル精度で動きベクトルを決定するステップと、
    前記映像ブロック内の位置（ｘ，ｙ）について推定された動き変位ベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））を決定するステップであり、
    当該動き変位ベクトルは１／Ｍピクセル精度で導出され、
    Ｎ及びＭは正の整数であり、且つ
    ｘ及びｙは整数である、
    ステップと、
    前記動きベクトル及び前記動き変位ベクトルを用いて、前記映像ブロックと前記映像ブロックのビットストリーム表現との間での変換を実行するステップと、
    を有する方法。
  53. Ｎは８に等しく且つＭは１６に等しい、又は
    Ｎは８に等しく且つＭは３２に等しい、又は
    Ｎは８に等しく且つＭは６４に等しい、又は
    Ｎは８に等しく且つＭは１２８に等しい、又は
    Ｎは４に等しく且つＭは８に等しい、又は
    Ｎは４に等しく且つＭは１６に等しい、又は
    Ｎは４に等しく且つＭは３２に等しい、又は
    Ｎは４に等しく且つＭは６４に等しい、又は
    Ｎは４に等しく且つＭは１２８に等しい、
    請求項５２に記載の方法。
  54. 映像処理の方法であって、
    映像ブロックについて又は前記映像ブロックのサブブロックについて二組の動きベクトルを決定するステップであり、
    前記二組の動きベクトルの各組が異なる動きベクトルピクセル精度を持ち、且つ
    前記二組の動きベクトルは、時間動きベクトル予測（ＴＭＶＰ）技術を用いて又はサブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）技術を用いて決定される、
    ステップと、
    前記二組の動きベクトルに基づいて、前記映像ブロックと前記映像ブロックのビットストリーム表現との間での変換を実行する、ステップと、
    を有する方法。
  55. 前記二組の動きベクトルは、第１組の動きベクトルと第２組の動きベクトルとを含み、
    前記第１組の動きベクトルは１／Ｎピクセル精度を持ち、
    前記第２組の動きベクトルは１／Ｍピクセル精度を持ち、且つ
    前記Ｎ及びＭは正の整数である、
    請求項５４に記載の方法。
  56. Ｎは８に等しく且つＭは１６に等しい、又は
    Ｎは８に等しく且つＭは３２に等しい、又は
    Ｎは８に等しく且つＭは６４に等しい、又は
    Ｎは８に等しく且つＭは１２８に等しい、又は
    Ｎは４に等しく且つＭは８に等しい、又は
    Ｎは４に等しく且つＭは１６に等しい、又は
    Ｎは４に等しく且つＭは３２に等しい、又は
    Ｎは４に等しく且つＭは６４に等しい、又は
    Ｎは４に等しく且つＭは１２８に等しい、又は
    Ｎは１６に等しく且つＭは３２に等しい、又は
    Ｎは１６に等しく且つＭは６４に等しい、又は
    Ｎは１６に等しく且つＭは１２８に等しい、
    請求項５５に記載の方法。
  57. オプティカルフローに基づく方法を適用することによって、前記二組の動きベクトルに精緻化が適用され、
    前記二組の動きベクトルは、第１組の動きベクトルと第２組の動きベクトルとを含み、
    前記第１組の動きベクトルを用いて、前記オプティカルフローに基づく方法における予測サンプルが取得され、且つ
    前記第１組の動きベクトルのうちの第１の動きベクトルから前記第２組の動きベクトルのうちの第２の動きベクトルを差し引くことによって、前記オプティカルフローに基づく方法における、前記映像ブロック内の位置について推定された動き変位が取得される、
    請求項５４に記載の方法。
  58. 前記オプティカルフローに基づく方法は、
    前記映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定する、
    ことによって適用され、
    ｘ及びｙは整数であり、且つ
    前記位置（ｘ，ｙ）における再構成サンプル値Ｒｅｃ（ｘ，ｙ）が、前記精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて取得される、
    請求項５７に記載の方法。
  59. 前記第１方向及び前記第２方向は互いに直交する、請求項５８に記載の方法。
  60. 前記第１の動き変位は、前記第１方向に平行な方向を表し、前記第２の動き変位は、前記第２方向に平行な方向を表す、請求項５８に記載の方法。
  61. Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である、請求項５８に記載の方法。
  62. 前記映像ブロックは８×４映像ブロックである、又は前記サブブロックは８×４サブブロックである、請求項１乃至６１のいずれかに記載の方法。
  63. 前記映像ブロックは４×８映像ブロックである、又は前記サブブロックは４×８サブブロックである、請求項１乃至６１のいずれかに記載の方法。
  64. 前記映像ブロックは４×４片予測映像ブロックである、又は前記サブブロックは４×４片予測サブブロックである、請求項１乃至６１のいずれかに記載の方法。
  65. 前記映像ブロックは、８×４、４×８、及び４×４片予測映像ブロックである、又は前記サブブロックは、８×４、４×８、及び４×４片予測サブブロックである、請求項１乃至６１のいずれかに記載の方法。
  66. 前記映像ブロックは４×４双予測映像ブロックを除外する、又は前記サブブロックは４×４双予測サブブロックを除外する、請求項１乃至６１のいずれかに記載の方法。
  67. 前記映像ブロックはルマ映像ブロックである、請求項１乃至６１のいずれかに記載の方法。
  68. 前記決定するステップ及び前記実行するステップは、
    前記映像ブロックの色成分、
    前記映像ブロックのブロックサイズ、
    前記映像ブロックのカラーフォーマット、
    前記映像ブロックのブロック位置、
    動きタイプ、
    動きベクトルの大きさ、
    符号化モード、
    ピクセル勾配の大きさ、
    変換タイプ、
    双方向オプティカルフロー（ＢＩＯ）技術が適用されるかどうか、
    双予測技術が適用されるかどうか、及び
    デコーダ側動きベクトル精緻化（ＤＭＶＲ）法が適用されるかどうか、
    のうちのいずれか１つ以上に基づいて行われる、請求項１乃至－６１のいずれかに記載の方法。
  69. 映像処理の方法であって、
    アフィン符号化モードを用いて符号化される映像ブロック上で、Ｋは１より大きい整数であるとして、Ｋ通りのサブブロックパターンを用いて前記映像ブロックを複数のパーティションに分割することによって、インタウィーブ予測技術を実行するステップと、
    前記Ｋ通りのサブブロックパターンのうちの最初のものを用いて動き補償を行うことによって、前記映像ブロックの予測サンプルを生成するステップであり、位置（ｘ，ｙ）における予測サンプルをＰ（ｘ，ｙ）と表記し、ｘ及びｙは整数である、ステップと、
    第Ｌパターンと表記する前記Ｋ通りのサブブロックパターンの残りのうちの少なくとも１つについて、最初のサブブロックパターンで導出された予測サンプルと、前記Ｋ通りのサブブロックパターンのうちの前記最初のものを用いて導出された動きベクトルと前記第Ｌパターンを用いて導出された動きベクトルとの間の差とに基づいて、前記位置（ｘ，ｙ）におけるオフセット値ＯＬ（ｘ，ｙ）を決定するステップと、
    ＯＬ（ｘ，ｙ）及びＰ（ｘ，ｙ）の関数として前記位置（ｘ，ｙ）についての最終予測サンプルを決定するステップと、
    前記最終予測サンプルを用いて、映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップと、
    を有する方法。
  70. Ｋ＝２であり、Ｌ＝１であり、前記最終予測サンプルは、Ｐ（ｘ，ｙ）＋（（Ｏ１（ｘ，ｙ）＋１）＞＞１）を用いて決定され、ただし、＞＞はバイナリシフト演算を表す、請求項６９に記載の方法。
  71. Ｋ＝２であり、Ｌ＝１であり、前記最終予測サンプルは、Ｐ（ｘ，ｙ）＋（Ｏ１（ｘ，ｙ）＞＞１）を用いて決定され、ただし、＞＞はバイナリシフト演算を表す、請求項６９に記載の方法。
  72. 前記最終予測サンプルは、Ｐ（ｘ，ｙ）＋（Ｏ１（ｘ，ｙ）＋．．．＋ＯＫ（ｘ，ｙ）＋Ｋ／２）／Ｋを用いて決定される、請求項６９に記載の方法。
  73. 前記最終予測サンプルは、Ｐ（ｘ，ｙ）＋（Ｏ１（ｘ，ｙ）＋．．．＋ＯＫ（ｘ，ｙ））／Ｋを用いて決定される、請求項６９に記載の方法。
  74. 前記ＯＬ（ｘ，ｙ）は、水平及び垂直補間を行った後、且つ前記予測サンプルを入力サンプルのビット深度に変換する前に、前記最初のサブブロックパターンで導出された前記予測サンプルから生成される、請求項６９乃至７３のいずれかに記載の方法。
  75. 前記ＯＬ（ｘ，ｙ）は、各予測方向に対して生成される、請求項６９乃至７３のいずれかに記載の方法。
  76. 前記第Ｌパターンでの前記位置（ｘ，ｙ）における動き変位が、前記第Ｌパターンからの前記位置（ｘ，ｙ）における第１の動きベクトルと、前記Ｋ通りのサブブロックパターンのうちの前記最初のものからの前記位置（ｘ，ｙ）における第２の動きベクトルとの間の差として導出される、請求項６９乃至７３のいずれかに記載の方法。
  77. 前記Ｋ通りのサブブロックパターンのうちの前記最初のものを用いて導出された前記動きベクトルは、１／Ｎピクセル精度を持ち、前記第Ｌパターンを用いて導出された前記動きベクトルは、１／ＭＬピクセル精度を持ち、Ｎ及びＭは整数である、請求項６９乃至７６のいずれかに記載の方法。
  78. Ｎ＝１６且つＭＬ＝３２である、又は
    Ｎ＝１６且つＭＬ＝６４である、又は
    Ｎ＝１６且つＭＬ＝１２８である、又は
    Ｎ＝８且つＭＬ＝１６である、又は
    Ｎ＝８且つＭＬ＝３２である、又は
    Ｎ＝８且つＭＬ＝６４である、又は
    Ｎ＝８且つＭＬ＝１２８である、又は
    Ｎ＝４且つＭＬ＝８である、又は
    Ｎ＝４且つＭＬ＝１６である、又は
    Ｎ＝４且つＭＬ＝３２である、又は
    Ｎ＝４且つＭＬ＝６４である、又は
    Ｎ＝４且つＭＬ＝１２８である、
    請求項７７に記載の方法。
  79. ＭＬが、前記Ｋ通りのサブブロックパターンの前記残りの各々に対して異なる、請求項７７に記載の方法。
  80. 映像処理の方法であって、
    最終予測サンプルを用いて、映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップを有し、
    前記最終予測サンプルは、精緻化中間予測サンプルから、
    （ａ）ルールに基づいて、インタウィーブ予測技術及びそれに続くオプティカルフローベースの予測精緻化技術を実行すること、又は
    （ｂ）動き補償技術を実行すること、
    によって導出される、
    方法。
  81. 前記映像ブロックは、Ｋ通りのサブブロックパターンを用いて前記映像ブロックを複数のパーティションに分割することによって、アフィン符号化モードを使用して符号化され、
    Ｋは、１より大きい整数であり、
    各サブブロックパターンについて、前記動き補償技術を実行することによって、各サブブロックに対して予測サンプルが生成され、
    前記予測サンプルが、前記オプティカルフローベースの予測精緻化技術を用いて精緻化されて、更新された予測サンプルが取得され、且つ
    各サブブロックパターンの前記精緻化された予測サンプルを組み合わせることによって、前記最終予測サンプルが生成される、
    請求項８０に記載の方法。
  82. 前記映像ブロックは片予測映像ブロックであり、前記インタウィーブ予測技術及び前記オプティカルフローベースの予測精緻化技術が前記映像ブロックに適用される、請求項８０に記載の方法。
  83. 前記インタウィーブ予測技術及び／又は前記オプティカルフローベースの予測精緻化技術で符号化される前記映像ブロックに、第１のタップフィルタが適用され、該第１のタップフィルタは、前記インタウィーブ予測技術及び／又は前記オプティカルフローベースの予測精緻化技術で符号化されない他の映像ブロックのために使用される補間フィルタに使用される第２のタップフィルタよりも短い、請求項８２に記載の方法。
  84. 前記映像ブロックに対するアフィンサブブロックサイズは８×４又は４×８である、請求項８２に記載の方法。
  85. 前記インタウィーブ予測技術及び／又は前記オプティカルフローベースの予測精緻化技術で符号化される前記映像ブロックに対して、第１のサブブロックサイズが使用され、該第１のサブブロックサイズは、前記インタウィーブ予測技術及び／又は前記オプティカルフローベースの予測精緻化技術で符号化されない他の映像ブロックの第２のサブブロックサイズとは異なる、請求項８２に記載の方法。
  86. 前記ルールは、前記映像ブロックの符号化情報に基づき、該符号化情報は、前記映像ブロックの予測方向、前記映像ブロックの参照ピクチャ情報、又は前記映像ブロックの色成分を含む、請求項８２に記載の方法。
  87. 映像処理の方法であって、
    双予測が適用される場合に、最終予測サンプルを用いて、映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップを有し、
    前記最終予測サンプルは、精緻化中間予測サンプルから、
    （ａ）インタウィーブ予測技術を無効にして、オプティカルフローベースの予測精緻化技術を実行すること、又は
    （ｂ）動き補償技術を実行すること、
    によって導出される、
    方法。
  88. 映像処理の方法であって、
    予測サンプルを用いて、映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップを有し、
    前記予測サンプルは、オプティカルフローベースの予測精緻化技術を実行することによって精緻化中間予測サンプルから導出され、
    前記オプティカルフローベースの予測精緻化技術を前記実行することは、前記映像ブロックについて第１方向において推定された第１組の動き変位Ｖｘ（ｘ，ｙ），又は前記映像ブロックについて第２方向において推定された第２組の動き変位Ｖｙ（ｘ，ｙ）のうちの一方のみに依存し、
    ｘ及びｙは整数であり、且つ
    前記第１方向は前記第２方向に直交する、
    方法。
  89. 前記予測サンプルは、前記第１組の動き変位Ｖｘ（ｘ，ｙ）のみに基づき、前記第２組の動き変位Ｖｙ（ｘ，ｙ）はゼロである、請求項８８に記載の方法。
  90. 前記予測サンプルは、前記第２組の動き変位Ｖｙ（ｘ，ｙ）のみに基づき、前記第１組の動き変位Ｖｘ（ｘ，ｙ）はゼロである、請求項８８に記載の方法。
  91. 前記第１組の動き変位Ｖｘ（ｘ，ｙ）の絶対値の和が前記第２組の動き変位Ｖｙ（ｘ，ｙ）の絶対値の和以上であることに応答して、前記予測サンプルは、前記第１組の動き変位Ｖｘ（ｘ，ｙ）のみに基づく、請求項８８に記載の方法。
  92. 前記第１組の動き変位Ｖｘ（ｘ，ｙ）の絶対値の和が前記第２組の動き変位Ｖｙ（ｘ，ｙ）の絶対値の和以下であることに応答して、前記予測サンプルは、前記第２組の動き変位Ｖｙ（ｘ，ｙ）のみに基づく、請求項８８に記載の方法。
  93. 前記第１方向における第１の勾配成分の絶対値の和が前記第２方向における第２の勾配成分の絶対値の和以上であることに応答して、前記予測サンプルは、前記第１組の動き変位Ｖｘ（ｘ，ｙ）のみに基づく、請求項８８に記載の方法。
  94. 前記第１方向における第１の勾配成分の絶対値の和が前記第２方向における第２の勾配成分の絶対値の和以上であることに応答して、前記予測サンプルは、前記第２組の動き変位Ｖｙ（ｘ，ｙ）のみに基づく、請求項８８に記載の方法。
  95. 映像処理の方法であって、
    映像ブロックについての精緻化動きベクトルを、前記映像ブロックの動きベクトルを精緻化することによって取得するステップであり、動き補償技術を実行する前に前記動きベクトルが精緻化され、前記精緻化動きベクトルは１／Ｎピクセル精度を持ち、前記動きベクトルは１／Ｍピクセル精度を持つ、ステップと、
    前記映像ブロック上でオプティカルフローベースの予測精緻化技術を実行することによって最終予測サンプルを取得するステップであり、前記精緻化動きベクトルと前記動きベクトルとの間の差に対して前記オプティカルフローベースの予測精緻化技術が適用される、ステップと、
    前記最終予測サンプルを用いて、前記映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップと、
    を有する方法。
  96. Ｍは１６であり且つＮは１である、又は
    Ｍは８であり且つＮは１である、又は
    Ｍは４であり且つＮは１である、又は
    Ｍは１６であり且つＮは２である、又は
    Ｍは８であり且つＮは２である、又は
    Ｍは４であり且つＮは２である、
    請求項９５に記載の方法。
  97. 前記動きベクトルは第１方向又は第２方向のいずれかにあり、前記第１方向は前記第２方向に直交し、前記オプティカルフローベースの予測精緻化技術は、前記第１方向又は前記第２方向のいずれかで実行される、請求項９５に記載の方法。
  98. 前記映像ブロックは双予測映像ブロックであり、前記動きベクトルは第１方向又は第２方向で精緻化され、前記第１方向は前記第２方向に直交する、請求項９５に記載の方法。
  99. 前記映像ブロックは双予測映像ブロックであり、前記動きベクトルは第１方向及び第２方向で精緻化され、前記第１方向は前記第２方向に直交する、請求項９５に記載の方法。
  100. 前記オプティカルフローベースの予測精緻化技術は、前記動きベクトルの第１の数の部分動きベクトル成分に対して実行され、前記第１の数の部分動きベクトル成分は、前記動きベクトルの第２の数の部分動きベクトル成分よりも少ない又は等しい、請求項９５に記載の方法。
  101. 映像処理の方法であって、
    映像ブロックに対してマルチステップデコーダ側動きベクトル精緻化プロセスを用いて、最終動きベクトルを決定するステップであり、当該最終動きベクトルは１／Ｎピクセル精度を持つ、ステップと、
    前記最終動きベクトルを用いて、現在ブロックとビットストリーム表現との間での変換を実行するステップと、
    を有する方法。
  102. Ｎは、３２又は６４又は１２８に等しい、請求項１０１に記載の方法。
  103. 前記最終動きベクトルは、前記映像ブロックについての動きベクトルを精緻化することによって得られる精緻化動きベクトルであり、前記動きベクトルは、動き補償技術を実行するのに先立って精緻化され、
    前記映像ブロック上でオプティカルフローベースの予測精緻化技術を実行することによって、最終予測サンプルが取得され、
    前記オプティカルフローベースの予測精緻化技術は、前記最終動きベクトルと前記動きベクトルとの間の差に適用される、
    請求項１０１に記載の方法。
  104. 前記オプティカルフローベースの予測精緻化技術は、
    前記映像ブロック内の位置（ｘ，ｙ）における精緻化予測サンプルＰ’（ｘ，ｙ）を、前記位置（ｘ，ｙ）で推定された第１方向における第１の勾配成分Ｇｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）で推定された第２方向における第２の勾配成分Ｇｙ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第１の動き変位Ｖｘ（ｘ，ｙ）と、前記位置（ｘ，ｙ）について推定された第２の動き変位Ｖｙ（ｘ，ｙ）とで前記位置（ｘ，ｙ）における予測サンプルＰ（ｘ，ｙ）を修正することによって決定する、
    ことによって適用され、
    ｘ及びｙは整数であり、且つ
    前記位置（ｘ，ｙ）における前記最終予測サンプルＲｅｃ（ｘ，ｙ）は、前記精緻化予測サンプルＰ’（ｘ，ｙ）及び残差サンプル値Ｒｅｓ（ｘ，ｙ）に基づいて取得される、
    請求項１０３に記載の方法。
  105. 前記第１方向及び前記第２方向は互いに直交する、請求項１０４に記載の方法。
  106. 前記第１の動き変位は、前記第１方向に平行な方向を表し、前記第２の動き変位は、前記第２方向に平行な方向を表す、請求項１０４に記載の方法。
  107. Ｐ’（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＋Ｇｘ（ｘ，ｙ）×Ｖｘ（ｘ，ｙ）＋Ｇｙ（ｘ，ｙ）×Ｖｙ（ｘ，ｙ）である、請求項１０４に記載の方法。
  108. 前記動き補償技術を実行するのに先立って、１／３２ピクセル精度を持つ前記精緻化動きベクトルが１／１６ピクセル精度に丸められる、請求項１０３に記載の方法。
  109. 前記動き補償技術を実行するのに先立って、１／３２ピクセル精度を持つ前記精緻化動きベクトルが１ピクセル精度に丸められる、請求項１０３に記載の方法。
  110. 前記動き補償技術を実行するのに先立って、１／６４ピクセル精度を持つ前記精緻化動きベクトルが１／１６ピクセル精度に丸められる、請求項１０３に記載の方法。
  111. 前記動き補償技術を実行するのに先立って、１／６４ピクセル精度を持つ前記精緻化動きベクトルが１ピクセル精度に丸められる、請求項１０３に記載の方法。
  112. 映像処理の方法であって、
    映像ブロックの精緻化中間予測サンプルを、前記映像ブロックの中間予測サンプルに対してインタウィーブ予測技術及びオプティカルフローベースの予測精緻化技術を実行することによって取得するステップと、
    前記精緻化中間予測サンプルから最終予測サンプルを導出するステップと、
    前記最終予測サンプルを用いて、前記映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップと、
    を有する方法。
  113. 先ず、前記オプティカルフローベースの予測精緻化技術が実行され、次いで、前記インタウィーブ予測技術が実行される、請求項１１２に記載の方法。
  114. 先ず、前記オプティカルフローベースの予測精緻化技術を用いて、２つの異なるサブブロック分割パターンを有する前記精緻化中間予測サンプルが取得され、そして、前記精緻化中間予測サンプルが、前記インタウィーブ予測技術を用いて加重平均されて、前記最終予測サンプルが取得される、請求項１１３に記載の方法。
  115. 先ず、前記インタウィーブ予測技術が実行され、次いで、前記オプティカルフローベースの予測精緻化技術が実行される、請求項１１２に記載の方法。
  116. 先ず、２つの異なるサブブロック分割パターンを有する前記中間予測サンプルが、前記インタウィーブ予測技術を用いて加重平均されて、前記精緻化中間予測サンプルが取得され、そして、前記精緻化中間予測サンプルに対して前記オプティカルフローベースの予測精緻化技術が実行されて、前記最終予測サンプルが取得される、請求項１１５に記載の方法。
  117. 前記オプティカルフローベースの予測精緻化技術は、オプティカルフローを用いた予測精緻化（ＰＲＯＦ）技術である、請求項８０乃至１１６のいずれかに記載の方法。
  118. 映像処理の方法であって、
    映像ブロックの精緻化中間予測サンプルを、前記映像ブロックの中間予測サンプルに対してインタウィーブ予測技術及び位相変分アフィンサブブロック動き補償（ＰＡＭＣ）技術を実行することによって取得するステップと、
    前記精緻化中間予測サンプルから最終予測サンプルを導出するステップと、
    前記最終予測サンプルを用いて、前記映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップと、
    を有する方法。
  119. 先ず、前記ＰＡＭＣ技術が実行され、次いで、前記インタウィーブ予測技術が実行される、請求項１１８に記載の方法。
  120. 先ず、前記ＰＡＭＣ技術の補間法を用いて、２つの異なるサブブロック分割パターンを有する前記精緻化中間予測サンプルが取得され、そして、前記精緻化中間予測サンプルが、前記インタウィーブ予測技術を用いて加重平均されて、前記最終予測サンプルが取得される、請求項１１９に記載の方法。
  121. 先ず、前記インタウィーブ予測技術が実行され、次いで、前記ＰＡＭＣ技術が実行される、請求項１１８に記載の方法。
  122. 映像処理の方法であって、
    映像ブロックの精緻化中間予測サンプルを、前記映像ブロックの中間予測サンプルに対してオプティカルフローベースの予測精緻化技術及び位相変分アフィンサブブロック動き補償（ＰＡＭＣ）技術を実行することによって取得するステップと、
    前記精緻化中間予測サンプルから最終予測サンプルを導出するステップと、
    前記最終予測サンプルを用いて、前記映像ブロックのビットストリーム表現と前記映像ブロックとの間での変換を実行するステップと、
    を有する方法。
  123. 先ず、前記ＰＡＭＣ技術が実行され、次いで、前記オプティカルフローベースの予測精緻化技術が実行される、請求項１２２に記載の方法。
  124. 先ず、前記ＰＡＭＣ技術の補間法を用いて、２つの異なるサブブロック分割パターンを有する前記精緻化中間予測サンプルが取得され、そして、前記精緻化中間予測サンプルが、前記オプティカルフローベースの予測精緻化技術を用いて処置されて、前記最終予測サンプルが取得される、請求項１２３に記載の方法。
  125. 先ず、前記オプティカルフローベースの予測精緻化技術が実行され、次いで、前記ＰＡＭＣ技術が実行される、請求項１１８に記載の方法。
  126. 請求項１乃至１２５のいずれかに記載の方法を実装するように構成されたプロセッサを有するビデオエンコーダ又はリエンコーダ。
  127. 請求項１乃至１２５のいずれかに記載の方法を実装するように構成されたプロセッサを有するビデオデコーダ。
  128. 請求項１乃至１２５のいずれかに記載の方法を実装するためのコードを有した非一時的なコンピュータ読み取り可能媒体。
JP2021555421A 2019-03-17 2020-03-17 オプティカルフローベースの予測精緻化の計算 Pending JP2022525876A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023207339A JP2024015289A (ja) 2019-03-17 2023-12-08 オプティカルフローベースの予測精緻化の計算

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
CN2019078411 2019-03-17
CNPCT/CN2019/078411 2019-03-17
CN2019078501 2019-03-18
CNPCT/CN2019/078501 2019-03-18
CNPCT/CN2019/078719 2019-03-19
CN2019078719 2019-03-19
CNPCT/CN2019/079961 2019-03-27
CN2019079961 2019-03-27
PCT/CN2020/079675 WO2020187199A1 (en) 2019-03-17 2020-03-17 Calculation of prediction refinement based on optical flow

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023207339A Division JP2024015289A (ja) 2019-03-17 2023-12-08 オプティカルフローベースの予測精緻化の計算

Publications (1)

Publication Number Publication Date
JP2022525876A true JP2022525876A (ja) 2022-05-20

Family

ID=72518951

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021555421A Pending JP2022525876A (ja) 2019-03-17 2020-03-17 オプティカルフローベースの予測精緻化の計算
JP2023207339A Pending JP2024015289A (ja) 2019-03-17 2023-12-08 オプティカルフローベースの予測精緻化の計算

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023207339A Pending JP2024015289A (ja) 2019-03-17 2023-12-08 オプティカルフローベースの予測精緻化の計算

Country Status (6)

Country Link
US (2) US11343529B2 (ja)
EP (1) EP3925220A4 (ja)
JP (2) JP2022525876A (ja)
KR (1) KR102659481B1 (ja)
CN (3) CN113574869B (ja)
WO (2) WO2020187198A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10715818B2 (en) * 2016-08-04 2020-07-14 Intel Corporation Techniques for hardware video encoding
US11343525B2 (en) * 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors
JP7323641B2 (ja) 2019-05-21 2023-08-08 北京字節跳動網絡技術有限公司 アフィンモードのための適応動きベクトル差分分解
EP4300964A3 (en) * 2019-06-21 2024-03-13 VID SCALE, Inc. Precision refinement for motion compensation with optical flow
CN113411605B (zh) * 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
KR20220042125A (ko) 2019-08-10 2022-04-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처 디코딩에서의 버퍼 관리
JP7482220B2 (ja) 2019-10-18 2024-05-13 北京字節跳動網絡技術有限公司 サブピクチャのパラメータセットシグナリングにおける構文制約
JP2023518494A (ja) * 2020-03-23 2023-05-01 北京字節跳動網絡技術有限公司 アフィンマージおよびアフィン動きベクトル予測モードの予測微調整
CN116491120A (zh) * 2020-10-14 2023-07-25 北京达佳互联信息技术有限公司 用于仿射运动补偿预测细化的方法和装置
US11949863B2 (en) * 2021-08-02 2024-04-02 Tencent America LLC Geometric partition mode with intra block copy
US20230079743A1 (en) * 2021-09-16 2023-03-16 Qualcomm Incorporated Multiple inter predictors with decoder side motion vector derivation for video coding
US20230119972A1 (en) * 2021-10-01 2023-04-20 Mediatek Inc. Methods and Apparatuses of High Throughput Video Encoder
CN114399539B (zh) * 2022-01-14 2024-09-03 合肥英睿系统技术有限公司 运动目标的检测方法、设备以及存储介质
US20230336737A1 (en) * 2022-04-18 2023-10-19 Tencent America LLC Sub-block based temporal motion vector predictor with an motion vector offset
WO2024012052A1 (en) * 2022-07-15 2024-01-18 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2024027784A1 (en) * 2022-08-05 2024-02-08 Mediatek Inc. Method and apparatus of subblock-based temporal motion vector prediction with reordering and refinement in video coding
WO2024054029A1 (ko) * 2022-09-06 2024-03-14 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019002215A1 (en) * 2017-06-26 2019-01-03 Interdigital Vc Holdings, Inc. MULTIPLE PREDICTION CANDIDATES FOR MOTION COMPENSATION
WO2020163319A1 (en) * 2019-02-07 2020-08-13 Vid Scale, Inc. Systems, apparatus and methods for inter prediction refinement with optical flow

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1592248B1 (en) * 2004-04-30 2006-09-20 Matsushita Electric Industrial Co., Ltd. Motion vector estimation employing adaptive temporal prediction
US9615089B2 (en) * 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
US9877025B2 (en) * 2013-07-12 2018-01-23 British Broadcasting Corporation Video encoding and decoding with prediction at higher precision
US10327001B2 (en) * 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN104125470B (zh) * 2014-08-07 2017-06-06 成都瑞博慧窗信息技术有限公司 一种视频数据传输方法
WO2017034089A1 (ko) * 2015-08-23 2017-03-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
EP3345396A4 (en) * 2015-09-01 2019-03-27 Telefonaktiebolaget LM Ericsson (publ) SPATIAL IMPROVEMENT OF TRANSFORMER BLOCKS
CN107925775A (zh) * 2015-09-02 2018-04-17 联发科技股份有限公司 基于双向预测光流技术的视频编解码的运动补偿方法及装置
ES2710234B1 (es) * 2015-09-11 2020-03-09 Kt Corp Procedimiento y dispositivo para procesar señales de vídeo
CN105338354B (zh) * 2015-09-29 2019-04-05 北京奇艺世纪科技有限公司 一种运动向量估计方法和装置
CN108293117A (zh) * 2015-11-24 2018-07-17 三星电子株式会社 基于像素梯度的后处理帧内或帧间预测块的方法和装置
MY201069A (en) * 2016-02-05 2024-02-01 Hfi Innovation Inc Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
WO2017195914A1 (ko) * 2016-05-11 2017-11-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
EP3264768A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with adaptive motion information refinement
CN110115032B (zh) * 2016-12-22 2021-07-20 联发科技股份有限公司 用于视频编解码的运动细化的方法以及装置
US10931969B2 (en) 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10805630B2 (en) * 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
CN107277316B (zh) 2017-06-12 2020-05-12 京东方科技集团股份有限公司 显示装置及其制造方法
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
US10904565B2 (en) 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
CN117478884A (zh) 2017-07-03 2024-01-30 Vid拓展公司 用于视频编解码的设备、方法
EP4415366A2 (en) * 2017-08-03 2024-08-14 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks in an inter prediction slice of video data
CN107623850B (zh) * 2017-09-26 2019-11-22 杭州电子科技大学 一种基于时空相关性的快速屏幕内容编码方法
US10986360B2 (en) * 2017-10-16 2021-04-20 Qualcomm Incorproated Various improvements to FRUC template matching
US11012715B2 (en) * 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
WO2020093999A1 (en) 2018-11-05 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
US11089325B2 (en) * 2019-02-08 2021-08-10 Qualcomm Incorporated Constrained affine motion inheritance for video coding
US20200296405A1 (en) * 2019-03-14 2020-09-17 Qualcomm Incorporated Affine motion compensation refinement using optical flow

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019002215A1 (en) * 2017-06-26 2019-01-03 Interdigital Vc Holdings, Inc. MULTIPLE PREDICTION CANDIDATES FOR MOTION COMPENSATION
WO2020163319A1 (en) * 2019-02-07 2020-08-13 Vid Scale, Inc. Systems, apparatus and methods for inter prediction refinement with optical flow

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANCONG (DANIEL) LUO ET AL., CE2-RELATED: PREDICTION REFINEMENT WITH OPTICAL FLOW FOR AFFINE MODE, JPN6022051652, 14 March 2019 (2019-03-14), ISSN: 0004939376 *
JIANLE CHEN ET AL., ALGORITHM DESCRIPTION FOR VERSATILE VIDEO CODING AND TEST MODEL 4 (VTM 4), JPN6023048945, 16 February 2019 (2019-02-16), pages 34 - 36, ISSN: 0005211578 *

Also Published As

Publication number Publication date
CN113597766B (zh) 2023-11-10
CN113574869A (zh) 2021-10-29
EP3925220A4 (en) 2022-06-29
WO2020187199A1 (en) 2020-09-24
US20220007050A1 (en) 2022-01-06
WO2020187198A1 (en) 2020-09-24
CN113574869B (zh) 2024-01-05
JP2024015289A (ja) 2024-02-01
KR102659481B1 (ko) 2024-04-23
US11343529B2 (en) 2022-05-24
EP3925220A1 (en) 2021-12-22
KR20210137463A (ko) 2021-11-17
CN113597766A (zh) 2021-11-02
US20210392367A1 (en) 2021-12-16
CN117478876A (zh) 2024-01-30
US11973973B2 (en) 2024-04-30

Similar Documents

Publication Publication Date Title
KR102659481B1 (ko) 광학 흐름에 기초한 예측 정제의 계산
US11159808B2 (en) Using inter prediction with geometric partitioning for video processing
JP7556090B2 (ja) デコーダ側精緻化ツールのサイズ選択アプリケーション
US11616973B2 (en) Coding of block vectors for intra block copy-coded blocks
WO2020259426A1 (en) Motion candidate list construction for intra block copy mode
JP7318099B2 (ja) ビデオコーディングにおける変換ブロック・サイズ制約
CN114450959A (zh) 视频编解码中的几何分割模式
WO2020244659A1 (en) Interactions between sub-block based intra block copy and different coding tools
KR102627821B1 (ko) 이웃 블록 정보를 사용한 모션 후보 리스트 구성
WO2020244660A1 (en) Motion candidate list construction for video coding
WO2021000883A1 (en) Storage of motion information in history-based motion vector prediction table

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230906

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231205