JP2023171861A - 映像処理における代替の補間フィルタの選択的使用 - Google Patents

映像処理における代替の補間フィルタの選択的使用 Download PDF

Info

Publication number
JP2023171861A
JP2023171861A JP2023166357A JP2023166357A JP2023171861A JP 2023171861 A JP2023171861 A JP 2023171861A JP 2023166357 A JP2023166357 A JP 2023166357A JP 2023166357 A JP2023166357 A JP 2023166357A JP 2023171861 A JP2023171861 A JP 2023171861A
Authority
JP
Japan
Prior art keywords
interpolation filter
video
pixel
alternative
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023166357A
Other languages
English (en)
Inventor
ホンビン リウ
Hongbin Liu
リー ジャン
Li Zhang
カイ ジャン
Kai Zhang
ジジョン シュー
Jizheng Xu
ユエ ワン
Yue Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2023171861A publication Critical patent/JP2023171861A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties

Abstract

【課題】動きベクトルを導出するデバイス、システムおよび方法を提供する。【解決手段】映像処理方法は、映像の現在のピクチャの現在の映像ブロックと映像の符号化表現との変換のために、代替の補間フィルタの適用可能性を判定することであって、代替の補間フィルタの適用可能性は、変換において代替の補間フィルタを適用するかどうかを示すことと、この判定することに基づいて、変換を行うことと、を含む。代替の補間フィルタの適用可能性は、現在のピクチャの参照ピクチャをリサンプリングして変換を行う参照ピクチャリサンプリングが使用されるかどうかに基づいて判定される。【選択図】図12

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2019
年8月20日出願の国際特許出願第PCT/CN2019/101541号の優先権およ
び利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願
の開示全体は、本明細書の開示の一部として参照により援用される。
本特許明細書は、映像処理技術、デバイスおよびシステムに関する。
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネットおよび
他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信
および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル
映像の使用に対する帯域幅需要は増大し続けることが予測される。
デジタル映像処理に関し、具体的には、動きベクトルを導出することに関するデバイス
、システム、および方法が記載される。説明される方法は、既存の映像符号化規格(例え
ば、高効率映像符号化(High Efficiency Video Coding、
HEVC)又は多様な映像符号化)および将来の映像符号化規格又は映像コーデックに適
用され得る。
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使
用してもよい。この方法は、映像の現在のピクチャの現在の映像ブロックと映像の符号化
表現との変換のために、代替の補間フィルタの適用可能性を判定することを含み、前記代
替の補間フィルタの適用可能性は、前記変換においてこの代替の補間フィルタを適用する
かどうかを示す。この方法は、前記判定に基づいて、前記変換を行う。ここで、代替の補
間フィルタの適用可能性は、現在のピクチャの参照ピクチャをリサンプリングして変換を
行う参照ピクチャリサンプリングが使用されるかどうかに基づいて判定される。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の現在の映像ブロックを、動き候補と開始点との距離に関する
情報を提供する動きベクトル表現を含む動きベクトル差を有するマージモード(MMVD
)として表現するために使用される符号化モードを判定することと、現在の映像ブロック
と判定することに基づく符号化表現に基づいて、変換を行うことと、を含み、前記変換は
、1/2画素補間フィルタがデフォルトの1/2画素補間フィルタとは異なる代替の1/
2画素補間フィルタであるという第1の条件を定義する第1の規則と、前記代替の1/2
画素補間フィルタを継承するかどうかについての第2の条件を定義する第2の規則とに従
って選択される1/2画素補間フィルタを使用して算出された現在の映像ブロックのため
の予測ブロックを使用して行われる。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の現在の映像領域で使用される符号化モードを判定することと
、符号化モードに基づいて、現在の映像領域の動きベクトルまたは動きベクトル差分値を
表すために使用される精度の判定を行うことと、現在の映像ブロックと前記映像の符号化
表現との変換を行うことと、を含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の現在の映像ブロックの符号化モードを、動きベクトル差を有
するマージモード(MMVD)として判定することと、現在の映像ブロックに関連付けら
れたベースマージ候補の動き精度情報に基づいて、現在の映像ブロックに対して、距離イ
ンデックスと、予め定義されたオフセットとの関係を規定する距離テーブルを判定するこ
とと、前記距離テーブルを使用して、前記現在の映像ブロックと前記映像の符号化表現と
の変換を行うことと、を含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、第1の映像領域のためのデコーダ側動きベクトル微調整(DMVR
)計算に使用される動きベクトル差が、Xが整数分の1であるX画素解像度よりも細かい
解像度を有し、代替の1/2画素補間フィルタを使用して判定された第1の判定を行うこ
ととであって、第1の判定によって、第1の映像領域に関連付けられた代替の1/2画素
補間フィルタの情報を記憶せず、または後に処理される第2の映像領域には利用可能とし
ない第2の判定を行うことと、前記第1の判定および前記第2の判定に基づいて、前記第
1の映像領域および前記第2の映像領域からなる映像と、前記映像の符号化表現との変換
を行うことと、を含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、規則に従って、代替の1/2画素補間フィルタが映像の現在の映像
ブロックに利用可能であるかどうかを判定することと、前記判定することに基づいて、現
在の映像ブロックとこの映像の符号化表現との変換を行うことと、を含み、前記規則は、
現在の映像ブロックが符号化表現においてマージブロックまたはスキップ符号化ブロック
として符号化される場合、前記判定することは、前記代替の1/2画素補間フィルタがこ
の現在の映像ブロックの前に符号化または復号化された前のブロックを処理するために使
用されるかどうかとは無関係であることを規定する。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、規則に従って、代替の1/2画素補間フィルタが映像の現在の映像
ブロックに利用可能であるかどうかを判定することと、前記判定することに基づいて、現
在の映像ブロックと映像の符号化表現との変換を行うことと、を含み、前記規則は、現在
の映像ブロックの符号化情報に基づいて、デフォルトの1/2画素補間フィルタとは異な
る代替の1/2画素補間フィルタの適用可能性を規定する。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の現在の映像ブロックに対して、規則に従って代替の1/2画
素補間フィルタの係数を判定することと、この判定することに基づいて、現在の映像ブロ
ックと映像の符号化表現との変換を行うことと、を含み、前記規則は、代替の1/2画素
補間フィルタと特定の符号化モードで使用される1/2画素補間フィルタとの関係を規定
する。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の現在の映像ブロックと映像の符号化表現との変換のために、
規則に従って代替の1/2画素補間フィルタを適用することと、前記現在の映像ブロック
と映像の符号化表現との変換を行うこととを含み、前記規則は、代替の補間フィルタを、
Xは1/2以外であるX画素における位置に適用することを規定する。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、X画素精度を有する第1の動きベクトル成分に対して、映像の第1
の映像ブロックによって代替の補間フィルタを選択する第1の判定を行うことと、第1の
判定によって、別の代替の補間フィルタを、Xが整数分の1であるX画素精度とは異なる
精度を有する第2の動きベクトル成分に使用する第2の判定を行うことと、第1の映像ブ
ロックと第2の映像ブロックとを含む映像と映像の符号化表現との変換を行うことと、を
含む。
さらに、代表的な態様において、前記開示される方法のうちのいずれか1つは、エンコ
ーダ側の実装形態である。
また、代表的な態様において、前記開示される方法のうちのいずれか1つは、デコーダ
側の実装形態である。
上述された方法のうちの1つは、処理装置が実行可能なコードの形式で実施され、コン
ピュータ可読プログラム媒体に記憶される。
さらに別の代表的な態様では、処理装置と、命令を搭載した非一時的メモリとを備える
、映像システムにおける装置が開示される。この命令は、処理装置によって実行されると
、処理装置に、本明細書に開示される方法のいずれかを実装させる。
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲
でより詳細に説明される。
4分木+2分木(QTBT)ブロック構造を示す図である。 4分木+2分木(QTBT)ブロック構造を示す図である。 マージ候補リストを構築する例を示す。 空間的候補の位置の一例を示す。 空間的マージ候補の冗長性チェックの対象となる候補対の例を示す。 現在のブロックのサイズおよび形状に基づく第2の予測ユニット(PU)の位置の例を示す。 現在のブロックのサイズおよび形状に基づく第2の予測ユニット(PU)の位置の例を示す。 時間的マージ候補のための動きベクトルのスケーリングの例を示す。 時間マージ候補の候補位置の一例を示す。 結合双方向予測マージ候補を生成する例を示す。 動きベクトル予測候補の構築例を示す。 空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す。 本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図である。 本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図である。 動画処理のフローチャートを示す。 MMVD検索の例を示す。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。 映像処理の方法の一例を示すフローチャートである。
1.HEVC/H.265における映像符号化
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発
展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-
1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 Vide
oとH.264/MPEG-4 AVC(Advanced Video Coding
)とH.265/HEVC規格を共同で作った。H.262以来、映像符号化規格は、時
間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超え
た将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同で
JVET(Joint Video Exploration Team)を設立した。
それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exp
loration Mode)と呼ばれる参照ソフトウェアに組み込まれてきた。201
8年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG1
1(MPEG)の間にJoint Video Expert Team(JVET)が
発足し、HEVCと比較して50%のビットレート削減を目標にVVC規格の策定に取り
組んでいる。
2.1.大きいCTUを有する4分木+2分木(QTBT)ブロック構造
HEVCにおいて、CTUは、様々な局所的特徴に適応するように、符号化ツリーと呼
ばれる4分木構造を用いてCUに分割される。インターピクチャ(時間的)予測またはイ
ントラピクチャ(空間的)予測を使用する、ピクチャ領域を符号化するかどうかの決定は
、CUレベルで行われる。各CUは、PU分割タイプに応じて1つ、2つまたは4つのP
Uに更に分割することができる。1つのPUの内部では、同じ予測処理が適用され、PU
単位で関連情報がデコーダに送信される。PU分割タイプに基づく予測処理を適用して残
差ブロックを得た後、CUのためのコーディングツリー符号化ツリーに類似した別の4分
木構造に基づいて、CUを変換ユニット(TU)に分割することができる。HEVC構造
の重要な特徴の1つは、CU、PU、TUを含む複数のパーティション概念を有すること
である。
図1は、4分木+2分木(QTBT)ブロック構造を示す図である。QTBT構造は、
複数のパーティションタイプの概念を削除する。すなわち、CU、PU、TUのコンセプ
トの切り離しを取り除き、CUパーティションの形状の柔軟性を向上させる。QTBTブ
ロック構造において、CUは正方形または長方形のいずれかを有することができる。図1
に示すように、まず、符号化ツリーユニット(CTU)を4分木構造で分割する。4分木
の葉ノードは、2分木構造によってさらに分割される。2分木の分割には、対称水平分割
と対称垂直分割の2つの分割タイプがある。2分木の葉ノードは、符号化ユニット(CU
)と呼ばれ、このセグメント化は、それ以上の分割を行うことなく、予測および変換処理
に使用される。これは、QTBTの符号化されたブロック構造において、CU、PUおよ
びTUが同じブロックサイズを有することを意味する。JEMにおいて、CUは、しばし
ば異なる色成分の符号化ブロック(CB)からなり、例えば、4:2:0彩度フォーマッ
トのPおよびBスライスの場合、1つのCUは1つの輝度CBおよび2つの彩度CBを含
み、また、CUは、しばしば単一の成分のCBからなり、例えば、Iスライスの場合、1
つのCUは、1つの輝度CBのみ、または、2つの彩度CBのみを含む。
QTBT分割スキームに対して以下のパラメータを規定する。
-CTUのサイズ:1つの4分木のルートノードのサイズ、HEVCと同じ概念
-MinQTSize:最小許容の4分木の葉ノードサイズ
-MaxBTSize:最大許容の2分木のルートノードサイズ
-MaxBTDepth:最大許容の2分木の深さ
-MinBTSize:最小許容の2分木の葉ノードのサイズ
QTBTの分割構造の一例において、CTUのサイズを、2つの対応する64×64ブ
ロックの彩度サンプルを有する128×128の輝度サンプルとして設定し、MinQT
Sizeを16×16として設定し、MaxBTSizeを64×64として設定し、M
inBTSize(幅および高さの両方について)を4×4として設定し、MaxBTD
epthを4として設定する。4分木の分割は、まずCTUに適用され、4分木の葉ノー
ドを生成する。4分木の葉ノードは、16×16(即ち、MinQTSize)から12
8×128(即ち、CTUサイズ)までのサイズを有することが可能である。葉4分木の
ノードが128×128である場合、サイズがMaxBTSize(すなわち、64×6
4)を超えるため、2分木によってさらに分割されない。そうでない場合、葉4分木のノ
ードは、2分木によってさらに分割されてもよい。従って、この4分木の葉ノードは、2
分木のルートノードでもあり、その2分木の深さは0である。2分木の深さがMaxBT
Depth(すなわち、4)に達した場合、それ以上の分割は考慮されない。2分木のノ
ードの幅がMinBTSize(すなわち、4)に等しい場合、それ以上の水平分割は考
慮されない。同様に、2分木のノードの高さがMinBTSizeに等しい場合、それ以
上の垂直分割は考慮されない。2分木の葉ノードは、さらに分割することなく、予測およ
び変換処理によってさらに処理される。JEMにおいて、最大CTUサイズは、256×
256個の輝度サンプルである。
図1AはQTBTを用いたブロックの分割の例を示し、図1Bは対応するツリー表現を
示す。実線は4分木の分割を表し、点線は2分木の分割を表す。2分木の各分割(即ち、
非葉)ノードにおいて、1つのフラグが、どの分割タイプ(即ち、水平または垂直)が使
用されるかを示すために信号通知される。ここで、0は、水平分割を表し、1は、垂直分
割を表す。4分木の分割の場合、4分木の分割は常にブロックを水平および垂直に分割し
、等分したサイズの4つのサブブロックを生成するため、分割タイプを示す必要がない。
さらに、QTBT方式は、輝度および彩度が別個のQTBT構造を有する能力をサポー
トする。現在、PおよびBスライスの場合、1つのCTUにおける輝度および彩度CTB
は、同じQTBT構造を共有する。しかしながら、Iスライスの場合、輝度CTBはQT
BT構造によってCUに分割され、彩度CTBは別のQTBT構造によって彩度CUに分
割される。これは、1つのIスライスにおける1つのCUが1つの輝度成分の1つの符号
化ブロックまたは2つの彩度成分の1つの符号化ブロックからなり、1つのPまたはBス
ライスにおける1つのCUが3つの色成分すべての符号化ブロックからなることを意味す
る。
HEVCにおいて、小さなブロックのためのインター予測は、動き補償のメモリアクセ
スを低減するために制限され、その結果、4×8および8×4ブロックのために双方向予
測はサポートされず、4×4ブロックのためにインター予測はサポートされない。JEM
のQTBTにおいて、これらの制限は取り除かれる。
2.2.HEVC/H.265におけるインター予測
各インター予測されたPUは、1つまたは2つの参照ピクチャリストのための動きパラ
メータを有する。動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含
む。2つの参照ピクチャリストのうちの1つの参照ピクチャリストの使用は、inter
_pred_idcを使用して信号通知されてもよい。動きベクトルは、予測子に対する
デルタ(delta)として明確にコーディングされてもよい。
1つのCUがスキップモードにて符号化される場合、1つのPUがこのCUに関連付け
られ、有意な残差係数がなく、符号化された動きベクトル差分も参照ピクチャインデック
スもない。マージモードを指定し、これにより、現在のPUのための動きパラメータを、
空間的および時間的候補を含む近傍のPUから取得する。マージモードは、スキップモー
ドのためだけでなく、任意のインター予測されたPUに適用することができる。マージモ
ードの代替として、動きパラメータの明示的な送信があり、動きベクトル(より正確には
、動きベクトル予測子と比較した動きベクトル差分)、各参照ピクチャリストの対応する
参照ピクチャインデックス、および参照ピクチャリストの使用状況が、各PUに明確に信
号通知される。このようなモードを、本開示では高度動きベクトル予測(AMVP)と呼
ぶ。
2つの参照ピクチャリストのうちの1つを使用することを信号通知が示す場合、サンプ
ルのうちの1つのブロックからPUを生成する。これを「単一予測」と呼ぶ。Pスライス
およびBスライスの両方に対して単一予測が利用可能である。
両方の参照ピクチャリストを使用することを信号通知が示す場合、サンプルのうちの2
つのブロックからPUを生成する。これを「双方向予測」と呼ぶ。Bスライスのみに双方
向予測が利用可能である。
以下、HEVCに規定されるインター予測モードについて詳細に説明する。まず、マー
ジモードについて説明する。
2.2.1.マージモード
2.2.1.1.マージモードの候補の導出
マージモードを使用してPUを予測する場合、ビットストリームからマージ候補リスト
におけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する
。このリストの構成は、HEVC規格で規定されており、以下のステップのシーケンスに
基づいてまとめることができる。
●ステップ1:初期候補導出
o ステップ1.1:空間的候補導出
o ステップ1.2:空間的候補の冗長性チェック
o ステップ1.3:時間的候補導出
● ステップ2:追加の候補挿入
o ステップ2.1:双方向予測候補の作成
o ステップ2.2:動きゼロ候補の挿入
これらのステップは図2にも概略的に示されている。空間的マージ候補導出のために、
5つの異なる位置にある候補の中から最大4つのマージ候補を選択する。時間的マージ候
補導出のために、2つの候補の中から最大1つのマージ候補を選択する。デコーダ側では
PUごとに一定数の候補を想定しているので、ステップ1で得た候補数がスライスヘッダ
で信号通知されるマージ候補(MaxNumMergeCand)の最大数に達しない場
合、追加候補を生成する。候補の数は一定であるので、短縮された単項2値化(TU)を
使用して最良マージ候補のインデックスを符号化する。CUのサイズが8に等しい場合、
現在のCUのすべてのPUは、2N×2N予測ユニットのマージ候補リストと同じ1つの
マージ候補リストを共有する。
以下、上述したステップに関連付けられた動作を詳しく説明する。
2.2.1.2.空間的候補導出
空間的マージ候補の導出において、図3に示す位置にある候補の中から、最大4つのマ
ージ候補を選択する。導出の順序はA、B、B、A、Bである。位置A、B
、B、AのいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタ
イルに属しているため)、またはイントラ符号化された場合にのみ、位置Bが考慮され
る。位置Aの候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それに
より、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させる
ことができる。計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えら
れる候補対のすべてを考慮することはしない。代わりに、図4において矢印でリンクされ
た対のみを考慮し、冗長性チェックに使用される対応する候補が同じ動き情報を有してい
ない場合にのみ、その候補をリストに加える。重複した動き情報の別のソースは、2N×
2Nとは異なる分割に関連付けられた「第2のPU」である。一例として、図5は、それ
ぞれN×2Nおよび2N×Nの場合の第2のPUを示す。現在のPUをN×2Nに分割す
る場合、リスト構築に位置Aの候補は考慮されない。実際、この候補を加えることによ
り、同じ動き情報を有する2つの予測ユニットが導かれることとなり、1つの符号化ユニ
ットに1つのPUのみを有するためには冗長である。同様に、現在のPUを2N×Nに分
割する場合、位置Bは考慮されない。
2.2.1.3.時間的候補導出
このステップにおいて、1つの候補のみがリストに追加される。具体的には、この時間
的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間
に最小のPOC差を有するピクチャに属する同一位置PUに基づいて、スケーリングされ
た動きベクトルを導出する。スライスヘッダにおいて、同一位置のPUの導出に用いられ
る参照ピクチャリストが明確に信号通知される。図6に点線で示すように、時間的マージ
候補のスケーリングされた動きベクトルが得られる。これは、POC距離tbおよびtd
を利用して、同一位置のPUの動きベクトルからスケーリングしたものである。tbは、
現在のピクチャの参照ピクチャと現在のピクチャのPOC差として規定され、tdは、同
一位置のPUの参照ピクチャと同一位置のピクチャのPOC差として規定する。時間的マ
ージ候補の参照ピクチャインデックスをゼロに等しく設定する。このスケーリング処理の
実際的な実現については、HEVC仕様に記載されている。Bスライスの場合、2つの動
きベクトル、即ち、1つは参照ピクチャリスト0のためのもの、もう1つは参照ピクチャ
リスト1のためのものを取得し、これらを組み合わせることによって、双方向予測マージ
候補を形成する。
参照フレームに属する同一位置のPU(Y)において、図7に示すように、候補C
候補Cとの間で時間的候補の位置を選択する。位置CのPUが利用可能でない場合、
イントラ符号化されている場合、または現在のCTUの外側にある場合、位置Cが使用
される。そうでない場合、位置Cが時間的マージ候補の導出に使用される。
2.2.1.4.追加の候補挿入
空間的-時間的マージ候補の他に、2つの追加のタイプのマージ候補、すなわち、結合
双方向予測マージ候補およびゼロマージ候補がある。空間的-時間的マージ候補を利用し
て、結合双方向予測マージ候補を生成する。結合双方向予測マージ候補は、Bスライスの
みに使用される。最初の候補の第1の参照ピクチャリスト動きパラメータと別の候補の第
2の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双方向予測候補を
生成する。これら2つのタプルが異なる動き仮説を提供する場合、これらのタプルは、新
しい双方向予測候補を形成する。一例として、図8は、オリジナルリスト(左側)におけ
る、mvL0およびrefIdxL0、またはmvL1およびrefIdxL1を有する
2つの候補を用いて、最終リスト(右側)に加えられる結合双方向予測マージ候補を生成
する場合を示す。これらの追加のマージ候補を生成するために考慮される組み合わせにつ
いては、様々な規則が存在する。
ゼロ動き候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより
、ゼロ動き候補はMaxNumMergeCand容量にヒットする。これらの候補は、
空間的変位がゼロであり、新しいゼロ動き候補をリストに加える度にゼロから始まり増加
する参照ピクチャインデックスを有する。これらの候補が使用する参照フレームの数は、
それぞれ、一方向予測の場合は1つ、双方向予測の場合は2つである。最終的には、これ
らの候補に対して冗長性チェックは行われない。
2.2.1.5.並列処理のための動き推定領域
符号化処理を高速化するために、動き推定を並列に行うことができ、それによって、所
与の領域内のすべての予測ユニットの動きベクトルを同時に導出する。1つの予測ユニッ
トは、その関連する動き推定が完了するまで、隣接するPUから動きパラメータを導出す
ることができないので、空間的近傍からのマージ候補の導出は、並列処理に干渉する可能
性がある。符号化効率と処理待ち時間との間のトレードオフを緩和するために、HEVC
は、動き推定領域(MER:Motion Estimation Region)を規
定し、そのサイズは、「log2_parallel_merge_level_min
us2」構文要素を使用してピクチャパラメータセットにおいて信号通知される。1つの
MERを規定するとき、同じ領域にあるマージ候補は利用不可能であるとしてマークされ
、それゆえにリスト構築においては考慮されない。
2.2.2.AMVP
AMVPは、動きベクトルと近傍のPUとの間の空間的-時間的相関を利用し、これを
動きパラメータの明確な伝送に用いる。各参照ピクチャリストに対し、まず、左側、上側
の時間的に近傍のPU位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトル
を加えることで、候補リストの長さを一定にすることで、動きベクトル候補リストを構築
する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を
示す対応するインデックスを送信することができる。マージインデックスの信号通知と同
様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用して符号化され
る。この場合に符号化対象の最大値は2である(図9参照)。以下の章では、動きベクト
ル予測候補の導出処理の詳細を説明する。
2.2.2.1.AMVP候補の導出
図9は、動きベクトル予測候補の導出処理をまとめている。
動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という
2つのタイプの動きベクトル候補が考慮される。空間的動きベクトル候補を導出するため
に、図3に示したように、5つの異なる位置にある各PUの動きベクトルに基づいて、最
終的には2つの動きベクトル候補を導出する。
時間的動きベクトル候補を導出するために、2つの異なる同一位置に配置された位置に
基づいて導出された2つの候補から1つの動きベクトル候補を選択する。空間的-時間的
候補の最初のリストを作成した後、リストにおける重複した動きベクトル候補を除去する
。候補の数が2よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチ
ャインデックスが1よりも大きい動きベクトル候補をリストから削除する。空間的―時間
的動きベクトル候補の数が2未満である場合は、追加のゼロ動きベクトル候補をリストに
加える。
2.2.2.2.空間的動きベクトル候補
空間的動きベクトル候補の導出において、図3に示したような位置にあるPUから導出
された5つの可能性のある候補のうち、動きマージと同じ位置にあるものを最大2つの候
補を考慮する。A、A、スケーリングされたA、スケーリングされたAとして規
定される。現在のPUの上側のための導出の順序は、B、B、B、スケーリングさ
れたB、スケーリングされたB、スケーリングされたBとして規定される。辺ごと
に、動きベクトル候補として使用できる4つのケースがあり、すなわち空間的スケーリン
グに関連付けられていない2つのケースと、空間的スケーリングを使用する2つのケース
とがある。4つの異なる場合をまとめると、以下のようになる。
● 空間スケーリングなし
-(1)同じ参照ピクチャリスト、および同じ参照ピクチャインデックス(同
じPOC)
-(2)異なる参照ピクチャリストであるが、同じ参照ピクチャ(同じPOC

● 空間スケーリング
-(3)同じ参照ピクチャリストであるが、異なる参照ピクチャ(異なるPO
C)
-(4)異なる参照ピクチャリスト、および異なる参照ピクチャ(異なるPO
C)
最初に非空間的スケーリングの場合をチェックし、次に空間的スケーリングを行う。参
照ピクチャリストにかかわらず、POCが近傍のPUの参照ピクチャと現在のPUの参照
ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのPUが利
用可能でないか、又はイントラ符号化されている場合、上側の動きベクトルのスケーリン
グは、左側および上側MV候補の並列導出に役立つ。そうでない場合、上側の動きベクト
ルに対して空間的スケーリングは許可されない。
空間的スケーリング処理において、図10に示すように、時間的スケーリングと同様に
して、近傍のPUの動きベクトルをスケーリングする。主な違いは、現在のPUの参照ピ
クチャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的ス
ケーリングと同じであることである。
2.2.2.3.時間的動きベクトル候補
参照ピクチャインデックスを導出する以外は、時間的マージ候補を導出するための処理
は、すべて、空間的動きベクトル候補を導出するための処理と同じである(図7参照)。
参照ピクチャインデックスはデコーダに信号通知される。
2.3.適応型動きベクトル差分解像度(AMVR)
VVCにおいて、通常のインターモードの場合、MVDは1/4輝度サンプル、整数輝
度サンプル又は4つの輝度サンプルの単位で符号化できる。MVD分解能は符号化ユニッ
ト(CU)レベルで制御され、MVD解像度フラグは、少なくとも1つのノンゼロMVD
モジュールを有する各CUに対して条件付きで信号通知される。
少なくとも1つの非ゼロMVDの構成要素を有するCUの場合、1/4輝度サンプルM
V精度がCUにおいて使用されるか否かを示すために、第1のフラグが信号通知される。
第1のフラグ(1に等しい)が、1/4輝度サンプルMV精度が使用されていないことを
示す場合、整数輝度サンプルMV精度が使用されるか又は4輝度サンプルMV精度が使用
されるかを示すために、別のフラグが信号通知される。
CUの第1のMVD解像度フラグがゼロであるか、又はCUに対して符号化されていな
い(つまり、CUにおけるすべてのMVDがゼロである)場合、CUに対して1/4輝度
サンプルMV解像度が使用される。CUが整数輝度サンプルMV精度又は4輝度サンプル
MV精度を使用する場合、CUのAMVP候補リストにおけるMVPを対応する精度に丸
める。
2.4.VVCにおける補間フィルタ
輝度補間フィルタリングの場合、表1に示すように、1/16画素の精度のサンプルに
対して8タップの分離可能な補間フィルタを用いる。
Figure 2023171861000002
同様に、表2に示すように、1/32画素精度のクロマ補間には、4タップの分離可能
な補間フィルタが使用される。
Figure 2023171861000003
4:2:2の垂直補間および4:4:4のクロマチャネルの水平および垂直補間の場合
、表2の奇数位置を使用せず、1/16画素のクロマ補間になる。
2.5.代替輝度1/2画素補間フィルタ
JVET-N0309において、代替の1/2画素補間フィルタが提案されている。
1/2画素輝度補間フィルタの切り替えは、動きベクトルの精度に基づいて行われる。
既存の1/4画素、フル画素、および4画素のAMVRモードに加え、新しい1/2画素
精度AMVRモードが導入される。1/2画素度の動きベクトルの精度の場合にのみ、代
替の1/2画素度の輝度補間フィルタを選択することができる。
2.5.1.1/2画素AMVRモード
非アフィン非マージインター符号化CUのための追加のAMVRモードが提案され、こ
のモードは、1/2画素精度で動きベクトル差を信号通知することを可能にする。現在の
VVC草案の既存のAMVRスキームは、以下のようにして簡単に拡張される。構文要素
amvr_flagの直後に、amvr_flag==1の場合、新しいコンテキストモ
デル化されたバイナリ構文要素hpel_amvr_flagがあり、これは、hpel
_amvr_flag==1の場合、新しい1/2画素AMVRモードの使用を示す。そ
うでない場合、すなわちhpel_amvr_flag==0である場合、現在のVVC
草案におけるように、フル画素と4画素AMVRモードとの間の選択は、構文要素amv
r_precision_flagによって示される。
2.5.2.代替輝度1/2画素補間フィルタ
1/2画素動きベクトル精度を使用する非アフィン非マージインター符号化CU(すな
わち、1/2画素AMVRモード)の場合、新しい構文要素if_idxの値に基づいて
、HEVC/VVC1/2画素輝度補間フィルタと1つ以上の代替1/2画素補間とを切
り替える。構文要素if_idxは、1/2画素AMVRモードの場合にのみ信号通知さ
れる。空間的マージ候補を用いたスキップ/マージモードの場合、構文要素if_idx
の値は近傍のブロックから継承される。
2.5.2.1.テスト1:1つの代替の1/2画素補間フィルタ
このテストケースにおいて、通常のHEVC/VVC1/2画素補間フィルタの代替え
として、1つの6タップ補間フィルタが存在する。次の表は、構文要素if_idxの値
と選択された1/2画素輝度補間フィルタとの間のマッピングを示す。
Figure 2023171861000004
2.5.2.2.テスト2:2つの代替的な1/2画素補間フィルタ
このテストケースでは、通常のHEVC/VVC1/2画素補間フィルタの代替として
、2つの8タップ補間フィルタがある。次の表は、構文要素if_idxの値と選択され
た1/2画素輝度補間フィルタとの間のマッピングを示す。
Figure 2023171861000005
amvr_precision_idxは、現在のCUが1/2画素、1画素または4
画素MV精度を使用しているかどうかを示すように信号通知される。符号化されるべきビ
ンが2つある。
hpel_if_idxは、デフォルトの1/2画素補間フィルタを使用するか代替の
1/2画素補間フィルタを使用するかを示すように信号通知される。2つの代替の1/2
画素補間フィルタを使用する場合、2つの符号化対象のビンがある。
2.6.一般化双方向予測
従来の双方向予測において、L0およびL1からの予測子を平均し、均等重み0.5を
使用して最終予測子を生成する。予測子生成式は、式(3)に示される。
TraditionalBiPred=(PL0+PL1+RoundingOffs
et)>>shiftNum, (1)
式(3)において、従来の双予測のための最終予測子をPTraditionalBiP
redとすると、PL0およびPL1は、それぞれL0およびL1からの予測子であり
、丸めオフセットおよびシフト数は、最終予測子を正規化するために使用される。
L0とL1からの予測子に異なる重みを適用することを可能にするために、一般化双予
測(GBI)が提案されている。予測子の生成を式(4)に示す。
GBi=((1-w)*PL0+w*PL1+RoundingOffsetGB
)>>shiftNumGBi, (2)
式(4)において、PGBiはGBiの最終予測子である。(1-w)およびwは、
それぞれL0およびL1の予測子に適用される選択されたGBI重みである。Round
ingOffsetGBiおよびseftNumGBiは、GBiにおける最終予測子を
正規化するために使用する。
サポートされるwの重みは、{-1/4,3/8,1/2,5/8,5/4}である
。1つの均等重みセットおよび4つの不均等重みセットがサポートされる。均等重みの場
合、最終予測子を生成する処理は、従来の双予測モードにおける処理と全く同じである。
ランダムアクセス(RA)条件における真の双予測の場合、候補重みセットの数を3に減
らす。
高度動きベクトル予測(AMVP)モードの場合、このCUが双方向予測によって符号
化されている場合、GBIにおける重み選択は、CUレベルで明確に信号通知される。マ
ージモードの場合、重み選択はマージ候補から継承される。
2.7.MVD(MMVD)とのマージモード
マージモードに加え、暗黙的に導出された動き情報を現在のCUの予測サンプル生成に
直接使用する場合、VVCに動きベクトル差を有するマージモード(MMVD)を導入す
る。スキップフラグおよびマージフラグを送信した直後に、MMVDフラグを信号通知し
て、MMVDモードをCUに使用するかどうかを指定する。
MMVDにおいて、マージ候補が選択された後、信号通知されたMVD情報によってさ
らに微調整される。このさらなる情報は、マージ候補フラグと、動きの大きさを指定する
ためのインデックスと、動き方向の指示のためのインデックスとを含む。MMVDモード
において、マージリストにおける最初の2つの候補のうちの1つを選択し、MVベースと
して使用する。マージ候補フラグは、どちらを使用するかを指定するように信号通知され
る。
図13は、MMVD検索の例を示す。距離インデックスは、動きの大きさの情報を指定
して、予め定義された開始点からのオフセットを示す。図13に示すように、開始MVの
水平成分又は垂直成分のいずれかにオフセットを加える。距離インデックスと予め定義さ
れたオフセットとの関係を、表3に示す。
Figure 2023171861000006
方向インデックスは、開始点に対するMVDの方向を表す。方向インデックスは、表4
に示すように、4つの方向を表すことができる。なお、MVD符号の意味は、開始MVの
情報に従って異なってもよい。開始MVが未予測MV又は双予測MVであり、両方のリス
トが現在のピクチャの同じ側を指している(即ち、2つの参照符号のPOCが両方とも現
在のピクチャのPOCよりも大きい、又は両方とも現在のピクチャのPOCより小さい)
場合、表4における符号は、開始MVに加えられるMVオフセットの符号を指定する。開
始MVが双予測MVであり、2つのMVが現在のピクチャの異なる側を指している(即ち
、1つの参照のPOCが現在のピクチャのPOCよりも大きく、他の参照のPOCが現在
のピクチャのPOCより小さい)場合、表4における符号は、開始MVのlist0 M
V成分に加えられるMVオフセットの符号を規定し、list1 MVの符号は逆の値を
有する。
Figure 2023171861000007
slice_fpel_mmvd_enabled_flagは、MMVDに分数距離
を使用できるかどうかを示すために、スライスヘッダで信号通知される。スライスに対し
て分数距離が許容される場合、上記距離に4を乗じることにより、以下の距離テーブルを
生成する。
Figure 2023171861000008
slice_fpel_mmvd_enabled_flagが1に等しい場合は、動
きベクトル差を有するマージモードが現在のスライスにおける整数サンプル精度を使用す
ることを指定する。slice_fpel_mmvd_enabled_flagが0に
等しい場合は、動きベクトル差を有するマージモードが現在のスライスにおける端数サン
プル精度を使用できることを指定する。存在しない場合、slice_fpel_mmv
d_enabled_flagの値は0であると推測される。
3.従来の実装形態における課題
代替の1/2画素補間フィルタは、MMVDモードで導出されたMVが1/2画素精度
でなくても、動きベクトル差(MMVD)モードでマージして継承されてもよく、これは
妥当ではない。
amvr_precision_idxおよびhpel_if_idxを符号化する場
合、すべてのビンはコンテキスト符号化される。
代替の補間フィルタフラグは、空間近傍のブロックから派生する関連付けられたマージ
候補が選択された場合、空間近傍のブロックから継承されてもよい。しかし、継承された
MVをさらに微調整する(例えば、DMVRを使用する)場合、最終的なMVは1/2画
素精度を指していない場合がある。従って、フラグが真であっても、新しいフィルタの使
用は、フラグが真であり、MVが1/2画素(half画素)であるという条件下にある
ので、代替の補間フィルタも無効化される。
同様に、AMVR処理において、AMVRの精度が1/2画素である場合、MVPおよ
びMVDはいずれも1/2画素内にある。しかしながら、最終的なMVは1/2画素内に
なくてもよい。この場合、信号伝達されたAMVR精度が1/2画素を表しているにもか
かわらず、この新しいフィルタを使用することは許可されない。
4.例示的な実施形態および技術
以下の実施形態の詳細は、一般的な概念を説明するための例であると考えられるべきで
ある。これらの実施形態は狭い意味で解釈されるべきではない。さらに、これらの実施形
態は、任意の方法で組み合わせることができる。
デコーダ側動きベクトル導出(DMVD)は、BDOF(双方向オプティカルフロー)
および/またはDMVR(デコーダ側動きベクトル微調整)および/またはデコーダにお
ける微調整動きベクトル又は予測サンプルに関連付けられた他のツールを表すために用い
られる。
以下の文脈において、デフォルト補間フィルタは、HEVC/VVCに定義されるもの
を示すことができる。以下の説明において、新しく導入された補間フィルタ(例えば、J
VET-N0309に提案されているもの)を代替補間フィルタとも呼ぶこともできる。
MMVDの用語は、ある追加のMVDで復号された動き情報を更新することができる任意
の符号化方法を指してもよい。
1.Nが2に等しくない異なるNに対して、代替の1/N個の画素補間フィルタを使
用してもよい。
a.一例において、Nは、4、16等に等しくてもよい。
b.一例において、1/N画素の補間フィルタのインデックスは、AMVRモ
ードで信号通知されてもよい。
i.さらに、代替的に、1/N画素のMV/MVD精度がブロックに
よって選択された場合にのみ、1/N画素の補間フィルタのインデックスを信号通知して
もよい。
c.一例において、代替の1/N画素補間フィルタは、マージモードおよび/
またはMMVDモードで継承されなくてもよい。
i.さらに、代替的に、デフォルトの1/N画素補間フィルタのみを
マージモードおよび/またはMMVDモードで使用してもよい。
d.一例において、代替の1/N画素補間フィルタは、マージモードで継承さ
れてもよい。
e.一例において、代替の1/N画素補間フィルタは、MMVDモードで継承
されてもよい。
i.一例において、代替の1/N画素補間フィルタは、最終的に導出
されたMVが1/N画素の精度である、すなわち、MV成分がより微細なMV精度でない
場合、MMVDモードで継承されてもよい。
ii.一例において、代替の1/N画素補間フィルタは、最終的に導
出されたMVのK(K≧1)個のMV成分が1/N画素精度である場合、MMVDモード
で継承されてもよい。
f.一例において、代替の1/N画素補間フィルタは、MMVDモードおよび
/またはマージモードで継承されてもよいが、代替の1/N画素補間フィルタは、動き補
償にのみ使用される。代替の1/N画素補間フィルタのインデックスは、ブロックのため
に記憶されなくてもよく、後続の符号化ブロックによって使用されなくてもよい。
2.補間フィルタの指示(例えば、デフォルトの1/2画素補間フィルタ、代替の1
/2画素補間フィルタ)は、動きベクトル、参照インデックス等の他の動き情報とともに
記憶されてもよい。
a.一例において、1つの符号化/復号化対象のブロックが、異なる区域(例
えば、異なるCTU行、異なるVPDU)に位置する第2のブロックにアクセスする場合
、第2のブロックに関連付けられた内挿フィルタを、現在のブロックの符号化/復号化で
使用することは許可されない。
3.代替の1/2画素補間フィルタは、マージモードおよび/またはMMVDモード
で継承されなくてもよい。
a.一例において、代替の1/2画素補間フィルタは、MMVDモードで継承
されなくてもよい。
i.さらに、代替的に、VVCにおけるデフォルトの1/2画素補間
フィルタは、常にMMVDモードに使用してもよい。
ii.代替的に、代替の1/2画素補間フィルタは、MMVDモード
で継承されてもよい。すなわち、MMVDモードの場合、ベースマージ候補に関連付けら
れた代替1/2画素補間フィルタを継承することができる。
b.一例において、代替の1/2画素補間フィルタは、特定の条件下において
MMVDモードで継承されてもよい。
i.一例において、代替の1/2画素補間フィルタは、最終的に導出
されたMVが1/2画素精度である、すなわち、1/4画素精度、1/16画素精度のよ
うなより微細なMV精度のMV成分がない場合に継承されてもよい。
ii.一例において、代替の1/2画素補間フィルタは、最終的に導
出されたMVのK(K≧1)個のMV成分が1/2画素精度である場合、MMVDモード
で継承されてもよい。
iii.一例において、MMVDにおいて選択された距離(例えば、
表3に定義される距離)がX画素精度であるか、またはX画素より粗い精度である(例え
ば、Xが1/2であり、1画素、2画素、4画素等がX画素より粗い)場合、代替の1/
2画素補間フィルタを継承してもよい。
iv.一例において、MMVDにおいて選択された距離(例えば、表
3に定義される距離)がX画素精度であるか、またはX画素より細かい精度である(例え
ば、Xが1/4、1/16画素であり、X画素よりも細かい)場合、代替の1/2画素補
間フィルタを継承しなくてもよい。
v.MMVDにおいて代替の1/2画素補間フィルタを使用しない場
合、代替の1/2画素補間フィルタの情報は、ブロックのために記憶されず、後続の符号
化ブロックによって使用されなくてもよい。
c.一例において、代替の1/2画素補間フィルタは、MMVDモードおよび
/またはマージモードで継承されてもよいが、代替の1/2画素補間フィルタは、動き補
償にのみ使用される。代替の1/2画素補間フィルタの代わりに、デフォルトの1/2画
素補間フィルタのインデックスをブロックに対して記憶してもよく、後続の符号化ブロッ
クによって使用してもよい。
d.上記方法は、1/N画素の精度のために複数の補間フィルタを適用するこ
とができる他の場合にも適用可能である。
4.MV/MVD精度情報は、AMVPモードおよび/またはアフィンインターモー
ドで符号化されたCU/PU/ブロックのために記憶されてもよく、マージモードおよび
/またはアフィンマージモードで符号化されたCU/PU/ブロックによって継承されて
もよい。
a.一例において、空間的に隣接する(隣接または非隣接)ブロックから導出
された候補に対して、関連付けられた隣接ブロックのMV/MVD精度を継承してもよい

b.一例において、ペアワイズマージ候補に対して、2つの関連する空間マー
ジ候補が同じMV/MVD精度を有する場合、このようなMV/MVD精度をペアワイズ
マージ候補に割り当ててもよく、あるいは、固定MV/MVD精度(例えば、1/4画素
または1/16画素)を割り当ててもよい。
c.一例において、固定MV/MVD精度(例えば、1/4画素または1/1
6画素)を時間マージ候補に割り当ててもよい。
d.一例において、MV/MVD精度は、履歴に基づく動きベクトル予測(H
MVP)テーブルに記憶されてもよく、HMVPマージ候補によって継承されてもよい。
e.一例において、ベースマージ候補のMV/MVD精度は、MMVDモード
で符号化されたCU/PU/ブロックによって継承されてもよい。
f.一例において、継承されたMV/MVD精度は、後続のブロックのMV/
MVD精度を予測するために使用され得る。
g.一例において、マージ符号化ブロックのMVは、継承されたMV/MVD
精度に丸められてもよい。
5.MMVDにおいてどの距離テーブルを使用するかは、ベースマージ候補のMV/
MVD精度に依存してもよい。
a.一例において、ベースマージ候補のMV/MVDが1/N画素精度である
場合、MMVDに使用される距離は、1/N画素精度であるか、または1/N画素よりも
粗い精度であるべきである。
i.例えば、N=2である場合、MMVDにおける距離は、1/2画
素、1画素、2画素等の精度のみであってもよい。
b.1つの例において、分数距離を含む距離テーブル(表3に定義される)(
例えば、slice_fpel_mmvd_enabled_flagが0である場合に
定義される距離テーブル)は、ベースマージ候補のMV/MVD精度に従って修正されて
もよい。
i.例えば、ベースマージ候補のMV/MVD精度が1/N画素であ
り、距離テーブルの最も細かいMVD精度が1/M画素(例えば、M=4)である場合、
距離テーブルにおけるすべての距離にM/Nを乗算してもよい。
6.代替の1/2画素補間フィルタを選択するCU/PU/ブロック(例えば、マー
ジモードで符号化される)の場合、DMVRで導出されたMVDがX画素(例えば、X=
1/2)より細かい場合、代替の1/2画素補間フィルタの情報は、CU/PU/ブロッ
クのために記憶されなくてもよく、以下のブロックでは使用されなくてもよい。
a.一例において、DMVRにおいて導出されたサブブロックのMVD精度に
基づいて、サブブロックレベルでDMVRを行う場合、異なるサブブロックごとに代替の
1/2画素補間フィルタの情報を記憶するか否かを独立して判定してもよい。
b.一例において、導出されたMVDが、サブブロック/ブロックの少なくと
もN(例えば、N=1)個の場合、X画素よりも細かい精度を有する場合、代替的な1/
2画素補間フィルタの情報を記憶せず、後続のブロックに用いられなくてもよい。
7.補間フィルタ情報は、履歴に基づく動きベクトル予測(HMVP)テーブルに記
憶されてもよく、HMVPマージ候補によって継承されてもよい。
a.一例において、HMVPルックアップテーブルに新しい候補を挿入すると
き、補間フィルタ情報を考慮することができる。例えば、同じ動き情報であるが、補間フ
ィルタ情報が異なる2つの候補を、2つの異なる候補と見なすことができる。
b.一例において、HMVPルックアップテーブルに新しい候補を挿入すると
き、同じ動き情報を有するが、補間フィルタ情報が異なる2つの候補を同じ候補と見なす
ことができる。
8.マージ候補リストにマージ候補を挿入する場合、プルーニング処理において補間
フィルタ情報を考慮してもよい。
a.一例において、補間フィルタが異なる2つのマージ候補を、2つの異なる
マージ候補と見なすことができる。
b.一例において、HMVPマージ候補をマージリストに挿入するとき、プル
ーニング処理において補間フィルタ情報を考慮してもよい。
c.一例において、HMVPマージ候補をマージリストに挿入するとき、プル
ーニング処理において補間フィルタ情報を考慮しなくてもよい。
9.なお、ペアワイズマージ候補および/または結合マージ候補および/またはゼロ
動きベクトル候補および/または他のデフォルト候補を生成する場合、常にデフォルト補
間フィルタを使用する代わりに、補間フィルタ情報を考慮してもよい。
a.一例において、両方の候補(ペアワイズマージ候補又は/および結合マー
ジ候補の生成に関与する)が同じ代替補間フィルタを使用する場合、このような補間フィ
ルタは、ペアワイズマージ候補又は/および結合マージ候補において継承されてもよい。
b.一例において、2つの候補(ペアワイズマージ候補又は/および結合マー
ジ候補の生成に関与する)のうちの1つがデフォルト補間フィルタを用いない場合、その
補間フィルタをペアワイズマージ候補又は/および結合マージ候補に継承してもよい。
c.一例において、2つの候補(結合マージ候補の生成に関与する)のうちの
1つがデフォルトの補間フィルタを用いない場合、その補間フィルタを結合マージ候補に
継承してもよい。しかしながら、このような補間フィルタは、対応する予測方向にのみ使
用してもよい。
d.一例において、2つの候補(結合マージ候補の生成に関与する)が異なる
補間フィルタを用いる場合、それらの補間フィルタを両方とも結合マージ候補において継
承してもよい。この場合、異なる予測方向に対して異なる補間フィルタを使用してもよい

e.一例において、K(K≧0)個以下のペアワイズマージ候補又は/および
結合されたマージ候補は、代替補間フィルタを使用してもよい。
f.一例において、デフォルト補間フィルタは、ペアワイズマージ候補又は/
および結合マージ候補に対して常に使用される。
10.現在のブロックをIBCモードで符号化する場合、1/2画素の動きベクトル
/動きベクトル差精度を使用できないようにすることが提案されている。
a.さらに、代替的に、1/2画素MV/MVD精度の使用の指示を信号通知
する必要がない。
b.一例において、現在のブロックがIBCモードで符号化される場合、代替
の1/2画素補間フィルタは、常に無効にされる。
c.さらに、代替的に、1/2画素補間フィルタの指示を信号通知する必要が
ない。
d.一例において、「現在のブロックをIBCモードで符号化する」の条件は
、「現在のブロックを1つのモードで符号化する」に置き換えてもよい。このようなモー
ドは、三角形モード、マージモード等として定義してもよい。
11.amvr_precision_idxおよび/またはhpel_if_id
xを符号化する場合、第1のビンのみをコンテキスト符号化してもよい。
a.さらに、代替的に、他のビンをバイパス符号化してもよい。
b.一例において、amvr_precision_idxの第1のビンを、
バイパス符号化してもよい。
c.一例において、hpel_if_idxの第1のビンは、バイパス符号化
してもよい。
d.一例において、1つのコンテキストのみが、amvr_precisio
n_idxの第1のビンを符号化するために使用してもよい。
e.一例において、1つのコンテキストのみが、hpel_if_idxの第
1のビンを符号化するために使用してもよい。
f.一例において、amvr_precision_idxのすべてのビンは
、同じコンテキストを共有してもよい。
g.一例において、hpel_if_idxのすべてのビンは、同じコンテキ
ストを共有してもよい。
12.代替補間フィルタを使用する場合、一部の符号化ツールは許可されない場合が
ある。
a.一例において、代替補間フィルタを使用する場合、双方向オプティカルフ
ロー(BDOF)は許可されない場合もある。
b.一例において、代替補間フィルタを使用する場合、DMVR又は/および
DMVDは許可されない場合もある。
c.一例において、代替補間フィルタを使用する場合、インター・イントラ結
合予測(CIIP)は許可されない場合もある。
i.一例において、マージ候補が代替補間フィルタを継承する場合、
CIIPフラグをスキップし、偽であると推論してもよい。
ii.代替的に、CIIPフラグが真である場合、デフォルトの補間
フィルタを常に使用してもよい。
d.一例において、代替補間フィルタを使用する場合、SMVD(対称動きベ
クトル差)は許可されない場合もある。
i.一例において、SMVDを用いる場合、デフォルトの補間フィル
タが常に使用され、代替補間フィルタに関する構文要素は信号通知されない。
ii.代替的に、代替補間フィルタに関する構文要素が、代替補間フ
ィルタを使用することを示す場合、SMVDに関する構文要素は信号通知されなくてもよ
く、SMVDモードは使用されない。
e.一例において、代替補間フィルタを使用する場合、SBT(サブブロック
変換)は許可されない場合もある。
i.一例において、SBTを用いる場合、デフォルトの補間フィルタ
が常に使用され、代替補間フィルタに関する構文要素は信号通知されない。
ii.代替的に、代替補間フィルタに関する構文要素が、代替補間フ
ィルタを使用することを示す場合、SBTに関する構文要素は信号通知されなくてもよく
、SBTは使用されない。
f.一例において、代替補間フィルタを使用する場合、三角予測は許可されな
い場合もある。
i.一例において、補間フィルタ情報は、三角予測において継承され
ず、デフォルトの補間フィルタのみが使用してもよい。
g.代替的に、代替補間フィルタを使用する場合、三角予測は許可される場合
もある。
i.一例において、補間フィルタ情報は、三角予測において継承され
てもよい。
h.代替的に、上述した符号化ツールの場合、それが有効にされていれば、代
替の1/2画素補間フィルタを無効化することができる。
13.フィルタは、N画素精度MVに適用されてもよい。
a.一例において、Nは、1、2又は4等に等しくてもよい。
b.一例において、このフィルタは、ローパスフィルタであってもよい。
c.一例において、このフィルタは、1-dフィルタであってもよい。
i.例えば、このフィルタは、1次元水平フィルタであってもよい。
ii.例えば、このフィルタは、1-d垂直フィルタであってもよい

d.一例において、このようなフィルタが使用されているかどうかを示すよう
に、フラグを信号通知してもよい。
i.さらに、代替的に、このようなフラグは、ブロックに対してN-
pel MVD精度(AMVRモードで信号伝達される)を使用する場合にのみ信号伝達
されてもよい。
14.GBIモードにおける通常のインターモードおよびアフィンモードのために、
異なる重み係数セットを使用してもよい。
a.一例において、通常のインターモードおよびアフィンモードに使用される
重み係数セットは、SPS/タイルグループヘッダ/スライスヘッダ/VPS/PPS等
において信号通知されてもよい。
b.一例において、通常のインターモードおよびアフィンモードに使用される
重み係数セットは、エンコーダおよびデコーダにおいて予め規定されてもよい。
15.代替補間フィルタをどのように定義/選択するかは、符号化モード情報に依存
してもよい。
a.一例において、アフィンモードおよび非アフィンモードの場合、代替補間
フィルタの許容されるセットは異なってもよい。
b.一例において、IBCモードおよび非IBCモードの場合、代替補間フィ
ルタの許容されるセットは異なってもよい。
16.一例において、代替の1/2画素補間フィルタがマージ符号化ブロックにおい
て適用されるかまたはスキップ符号化ブロックにおいて適用されるかは、代替の1/2画
素補間フィルタが隣接ブロックにおいて適用されるかどうかとは無関係である。
a.一例において、hpel_if_idxはどのブロックに対しても記憶さ
れない。
b.一例において、代替の1/2画素補間フィルタを継承するかまたは廃棄す
るかは、符号化情報に依存し、かつ/または他の符号化ツールの有効/無効に依存しても
よい。
17.一例において、代替の1/2画素補間フィルタが適用される(例えば、マージ
符号化ブロックまたはスキップ符号化ブロックにおいて)かどうかは、現在のブロックの
符号化情報に依存してもよい。
a.一例において、マージインデックスがKである場合、代替の1/2画素補
間フィルタは、マージまたはスキップ符号化ブロックにおいて適用され、Kは、2、3、
4、5などの整数である。
b.一例において、マージインデックスIdxがIdx%SはKと等しいこと
を満たす場合、代替の1/2画素補間フィルタは、マージまたはスキップ符号化ブロック
に適用される。ここで、SおよびKは整数である。例えば、Sは2であり、Kは1である

c.一例において、特定のマージ候補は、代替の1/2画素補間フィルタを適
用してもよい。例えば、ペアワイズマージ候補は、代替の1/2画素補間フィルタを適用
してもよい。
18.一例において、代替の1/2画素補間フィルタは、アフィンインター予測に使
用される1/2画素補間フィルタと位置合わせされてもよい。
a.例えば、統合補間フィルタ係数は、[3、-11、40、40、-11、
3]であってもよい。
b.例えば、統合補間フィルタ係数は、[3、9、20、20、9、3]であ
ってもよい。
19.一例において、代替の1/2画素補間フィルタは、クロマインター予測に使用
される1/2画素補間フィルタと同一であってもよい。
a.例えば、統合補間フィルタ係数は、[-4、36、36、-4]であって
もよい。
20.一例において、代替の補間フィルタは、1/2画素位置のみだけでなく適用さ
てもよい。
a.例えば、代替の補間フィルタが明確にまたは暗黙に適用されるべきである
と示された場合(例えば、hpel_if_idxが1である場合)、かつ、MVがX画
素における位置を指し、ここで、Xは1/2に等しくない(例えば、1/4または3/4
)場合、X画素位置のための代替の補間フィルタを適用すべきである。代替の補間フィル
タは、X画素位置に対して、元の補間フィルタとは異なる少なくとも1つの係数を有する
べきである。
b.一例において、上記の黒丸は、デコーダ側動きベクトル微調整(DMVR
)又はMMVD若しくはSMVD又は他のデコーダ側動き導出処理の後に適用される。
c.1つの例において、参照ピクチャリサンプリング(RPR)が使用される
場合、参照ピクチャが現在のピクチャと異なる解像度を有する場合、上記の黒丸が適用さ
れる。
21.代替の補間フィルタは、双予測の場合において、1つの予測方向にのみに適用
されてもよい。
22.1つのブロックによって、X画素(例えば、X=1/2)の精度を有するMV
成分のための代替の補間フィルタを選択する場合、X画素以外の精度を有するMV成分(
例えば、1/4、1/16)が存在すると仮定すると、このようなMV成分に対して、デ
フォルト補間フィルタの代わりに他の代替の補間フィルタを使用してもよい。
a.一例において、ガウス補間フィルタがX画素精度のMV成分のために選択
される場合、ガウス補間フィルタは、X画素以外の精度のMV成分のために使用されても
よい。
b.一例において、フラットトップ補間フィルタが、X画素精度を有するMV
成分のために選択される場合、フラットトップ補間フィルタは、X画素以外の精度を有す
るMV成分のために使用されてもよい。
c.一例において、このような制約は、X画素精度以外の特定のMV精度にの
み適用されてもよい。
i.例えば、このような制約は、X画素よりも精密なMV成分にのみ
適用されてもよい。
ii.例えば、このような制約は、X画素よりも精度が粗いMV成分
にのみ適用されてもよい。
23.代替の補間フィルタを適用するかどうか、および/またはどのように適用する
かは、RPRが使用されるかどうかに依存してもよい。
a.一例において、RPRが使用される場合、代替の補間フィルタを使用すべ
きではない。
b.一例において、現在のブロックの参照ピクチャが現在のピクチャと異なる
解像度である場合、代替の補間フィルタ(例えば、1/2画素補間フィルタ)を使用すべ
きではない。
5.実施形態の例
JVET-O2001-vEの上の黒丸3の例を示す。新しく追加された部品は、太い
下線を付けたテキストで強調表示される。
8.5.2.2.マージモード用輝度動きベクトルの導出処理
この処理は、general_merge_flag[xCb][yCb]が1である
場合にのみ呼び出され、ここで、(xCb,yCb)は、現在のピクチャの左上の輝度サ
ンプルに対して現在の輝度符号化ブロックの左上のサンプルを規定する。
この処理への入力は以下の通りである。
-現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上の
サンプルの輝度位置(xCb,yCb)、
-輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
-輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeigh
t。
この処理の出力は以下の通りである。
-1/16分数サンプル精度mvL0[0][0]およびmvL1[0][0]にお
ける輝度動きベクトル。
-参照インデックスrefIdxL0およびrefIdxL1、
-予測リスト利用フラグpredFlagL0[0][0]およびpredFlag
L1[0][0]、
-1/2サンプル補間フィルタインデックスhpelIfIdx、
-双方向予測重みインデックスbcwIdx。
-マージ候補リストmergeCandList。
双方向予測重みインデックスbcwIdxは、0に等しく設定される。
動きベクトルmvL0[0][0]、mvL1[0]、参照インデックスrefIdx
L0、refIdxL1、および予測利用フラグpredFlagLagL0[0][0
]、predFlagL1[0][0]は、以下の順序ステップで導出される。
1.8.5.2.3項で規定された近傍の符号化ユニットからの空間的マージ候補の
導出処理は、輝度符号化ブロックの位置(xCb,yCb)、輝度符号化ブロックの幅c
bWidth、および輝度符号化ブロックの高さcbHeightを入力として呼び出さ
れ、出力は、可用性フラグavailableFlagA,availableFla
gA,availableFlagB,availableFlagBおよびav
ailableFlagB、参照インデックスrefIdxLXA,refIdxL
XA,refIdxLXB,refIdxLXBおよびrefIdxLXB,予
測リスト利用フラグpredFlagLXA,predFlagLXA,predF
lagLXB,predFlagLXBおよびpredFlagLXBと、動きベ
クトルmvLXA,mvLXA,mvLXB,mvLXBおよびmvLXB
但しXが0または1、および1/2サンプル補間フィルタインデックスhpelIfIdxA,hpelIfIdxA,hpelIfIdxB,hpelIfIdxB,hpelIfIdxB,、および双方向予測重みインデックスbcwIdxA,bcwIdxA,bcwIdxB,bcwIdxB,bcwIdxBであることを示している。
2.参照インデックスrefIdxLXCol(Xが0または1)および時間的マー
ジ候補Colの双方向予測重みインデックスbcwIdxColが0に設定され、hpe
lIfIdxColが0に設定される。
3.8.5.2.11項で規定された時間的輝度動きベクトル予測の導出処理は、輝
度位置(xCb,yCb)、輝度符号化ブロック幅cbWidth、輝度符号化ブロック
高さcbHeight、および変数refIdxL0Colを入力として呼び出され、そ
の出力が可用性フラグavailabilityFlagL0Col、および時間的動き
ベクトルmvL0Colとなる。変数availableFlagCol、predFl
agL0Col、およびpredFlagL1Colは、以下のように導出される。
availableFlagCol=availableFlagL0Col
(8-303)
predFlagL0Col=availableFlagL0Col (8
-304)
predFlagL1Col=0 (8-305)
4.slice_typeがBである場合、8.5.2.11項で規定された時間的
輝度動きベクトル予測の導出処理は、輝度位置(xCb,yCb)、輝度符号化ブロック
幅cbWidth、輝度符号化ブロック高さcbHeight、および変数refIdx
L1Colを入力として呼び出され、その出力が可用性フラグavailability
FlagL1Col、および時間的動きベクトルmvL1Colとなる。変数avail
ableFlagColおよびpredFlagL1Colは、以下のように導出される

availableFlagCol=availableFlagL0Col|
|availableFlagL1Col (8-306)
predFlagL1Col=availableFlagL1Col (8
-307)
5.マージ候補リストmergeCandListは、以下のように構成される。
i=0
if(availableFlagA
mergeCandList[i++]=A
if(availableFlagB
mergeCandList[i++]=B
if(availableFlagB
mergeCandList[i++]=B (8-308)
if(availableFlagA
mergeCandList[i++]=A
if(availableFlagB
mergeCandList[i++]=B
if(availableFlagCol)
mergeCandList[i++]=Col
6.変数numCurrMergeCand、およびnumOrigMergeCa
ndは、mergeCandListにおけるマージ候補の数に等しく設定される。
7.numCurrMergeCandが(MaxNumMergeCand-1)
よりも小さく、かつNumHmvpCandが0よりも大きい場合、以下が適用される。
- 8.5.2.6項で規定されるような履歴に基づくマージ候補の導出処理は、
mergeCandListおよびnumCurrMergeCandを入力として呼び
出され、morgeCandListおよびnumCurrMergeCandを出力と
して修正される。
- OrigMergeCandは、numCurrMergeCandに等しく
設定される。
8.numCurrMergeCandがMaxNumMergeCandより小さ
く、かつ1より大きい場合、以下が適用される。
- 8.5.2.4項で規定されている対の平均マージ候補の導出処理は、mer
geCandList、参照インデックスrefIdxL0N、refIdxL1N、予
測リスト利用フラグpredFlagL0N、preDFlagL1N、動きベクトルm
vL0N、mlvL1N、およびmergeCandListにおけるすべての候補Nの
1/2サンプル補間フィルタインデックスhpelIfIdxN、およびnumCurr
MergeCandを入力として呼び出され、出力は、mergeCandList、n
umCurrMergeCand、参照インデックスrefIdxL0avgCandお
よびrefIdxL1avgCand、予測リスト利用フラグpredFlagL0av
gCandおよびpredFlagL1avgCand、および、mergeCandL
istに追加される候補avgCandの動きベクトルmvL0avgCandおよびm
vL1avgCandに割り当てられる。mergeCandListに追加される候補
avgCandの双方向予測重みインデックスbcwIdxは、0に等しく設定される。
- OrigMergeCandは、numCurrMergeCandに等しく
設定される。
9.8.5.2.5項で規定されているゼロ動きベクトルマージ候補の導出処理は、mergeCandList、参照インデックスrefIdxL0NおよびrefIdxL1N、予測リスト利用フラグpredFlagL0NおよびpredFlagL1N、mergeCandListの各候補Nの動きベクトルmvL0NおよびmvL1N、numCurrMergeCandを入力として呼び出され、出力は、mergeCandList、numCurrMergeCand、参照インデックスrefIdxL0zeroCandおよびrefIdxL1zeroCand、予測リスト利用フラグpredFlagL0zeroCandおよびpredFlagL1zeroCand、およびmergeCandListに追加されるすべての新しい候補zeroCandの動きベクトルmvL0zeroCandおよびmvL1zeroCandに割り当てられる。mergeCandListに追加されるすべての新しい候補zeroCandの1/2サンプル補間フィルタインデックスhpelIfIdxは、0に設定される。mergeCandListに追加されるすべての新しい候補zeroCandの双方向予測重みインデックスbcwIdxは、0に等しく設定される。追加される候補の数numZeroMergeCandは、(numCurrMergeCand-numOrigMergeCand)に等しく設定される。numZeroMergeCandが0より大きい場合、mは0からnumZeroMergeCand-1(両端を含む)までの範囲になる。
10.マージ候補リストmergeCandList(N=mergeCandLi
st[merge_idx[xCb][yCb])における位置merge_idx[x
Cb][yCb]の候補をNとし、Xを0または1に置き換えることにより、以下の割り
当てを行う。
refIdxLX=refIdxLXN (8-309)
predFlagLX[0][0]=predFlagLXN (8-3
10)
mvLX[0][0][0]=mvLXN[0] (8-311)
mvLX[0][0][1]=mvLXN[1] (8-312)
hpelIfIdx=hpelIfIdxN (8-313)
bcwIdx=bcwIdxN (8-314)
11.mmvd_merge_flag[xCb][yCb]が1と等しい場合、以
下が適用される。
- 8.5.2.7で規定されるようなマージ動きベクトル差の導出処理が、輝度
位置(xCb,yCb)、参照インデックスrefIdxL0、refIdxL1、およ
び予測リスト利用フラグpredFlagL0[0][0]およびpredFlagL1
[0][0]を入力として、また、動きベクトル差mMvdL0、mMvdL1を出力と
して呼び出される。
- 動きベクトル差mMvdLXは、Xが0および1である場合、マージ動きベク
トルmvLXに以下のように加算される。
mvLX[0][0][0]+=mMvdLX[0] (8-315)
mvLX[0][0][1]+=mMvdLX[1] (8-316)
mvLX[0][0][0]=Clip3(-217,217-1,mvL
X[0][0][0]) (8-317)
mvLX[0][0][1]=Clip3(-217,217-1,mvL
X[0][0][1]) (8-318)
Figure 2023171861000009
6.開示される技術の例示的な実装形態
図11Aは、映像処理装置1100のブロック図である。装置1100は、本明細書に
記載の方法の1つ以上を実装するために使用してもよい。装置1100は、スマートフォ
ン、タブレット、コンピュータ、IoT(モノのインターネット)受信機等により実施さ
れてもよい。装1100は、1つ以上の処理装1102と、1つ以上のメモリ1104と
、映像処理ハードウェ1106と、を含んでもよい。処理装置(単数または複数1102
は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(
単数または複数)1104は、本明細書で説明される方法および技術を実装するために使
用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア1
106を使用して、ハードウェア回路において、本明細書に記載されるいくつかの技術を
実装してもよく、一部又は全部が処理装置1102の一部(例えば、グラフィック処理装
置コアGPU又は他の信号処理回路)であってもよい。
図11Bは、開示された技術が実装され得る映像処理システムのブロック図の別の例で
ある。図11Bは、本明細書に開示される様々な技術を実装することができる例示的な映
像処理システム1150を示すブロック図である。様々な実装形態は、システム1150
のモジュールの一部又は全部を含んでもよい。システム1150は、映像コンテンツを受
信するための入力ユニット1152を含んでもよい。映像コンテンツは、未加工又は非圧
縮フォーマット、例えば、8又は10ビットのマルチモジュール画素値で受信されてもよ
く、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット1152は、ネ
ットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを
表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、パッ
シブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fi(登録商標
)またはセルラーインターフェース等の無線インターフェースを含む。
システム1150は、本明細書に記載される様々な符号化又は符号化方法を実装するこ
とができる符号化モジュール1154を含んでもよい。符号化モジュール1154は、入
力ユニット1152からの映像の平均ビットレートを符号化モジュール1154の出力に
低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮また
は映像コード変換技術と呼ばれることがある。符号化モジュール1154の出力は、モジ
ュール1156によって表されるように、記憶されてもよいし、接続された通信を介して
送信されてもよい。入力ユニット1152において受信された、記憶された又は通信され
た映像のビットストリーム(又は符号化)表現は、モジュール1158によって使用され
て、表示インターフェースユニット1160に送信される画素値又は表示可能な映像を生
成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理
は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「符号
化」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダおよびそれに対応す
る、復号化の結果を逆にする復号化ツール又は動作が、デコーダによって行われることが
理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニ
バーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDM
I(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、
シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインタ
ーフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマー
トフォン、又はデジタルデータ処理および/又は映像表示を実施可能な他のデバイス等の
様々な電子デバイスに実施されてもよい。
本特許文献に記載される映像処理方法は、図11Aまたは図11Bに記載されるような
ハードウェアプラットフォームに実装される装置を使用して実施されてもよい。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するよ
うに決定または判定することを含む。一例において、映像処理ツールまたはモードが有効
化される場合、エンコーダは、1つの映像ブロックを処理する際にこのツールまたはモー
ドを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として
得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックか
ら映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールま
たはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例
において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリ
ームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリー
ムを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたは
モードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するよ
うに決定または判定することを含む。一例において、映像処理ツールまたはモードが無効
にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換
する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまた
はモードが無効にされている場合、デコーダは、決定または判定に基づいて無効化された
映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知っ
て、ビットストリームを処理する。
本明細書では、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮、また
は映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から
対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現
在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、
ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよ
い。例えば、1つのマクロブロックは、変換および符号化された誤り残差値の観点から、
且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符
号化されてもよい。
開示された方法および技法は、本明細書に開示された技法を使用できるようにすること
で、スマートフォン、ノートパソコン、卓上パソコン、および類似した機器等の映像処理
デバイスに組み込まれる映像エンコーダおよび/またはデコーダの実施形態に有益となる
ことが理解される。
図12は、映像処理の方法2000の一例を示すフローチャートである。方法1200
は、1210において、近傍のブロックのセットに少なくとも1つの補間フィルタを適用
することに基づいて、現在の映像ブロックに対して動き情報の1つのセットを判定し、少
なくとも1つの補間フィルタは、動き情報の1つのセットの整数画素精度またはサブ画素
精度に構成可能である。方法1200は、1220において、前記現在の映像ブロックと
前記現在の映像ブロックのビットストリーム表現との変換を行うことを含み、前記変換は
、前記ビットストリーム表現において信号通知される前記単一の動き情報のセットを微調
整するためのデコーダ動きベクトル微調整(DMVR)ステップを含む。
項目の第1のセットは、前章で開示された技術のいくつかの実施形態を説明する。
1.1つの現在の映像ブロックに対して、1つの近傍のブロックのセットに少なくとも
1つの補間フィルタを適用することに基づいて、単一の動き情報のセットを判定すること
であって、前記少なくとも1つの補間フィルタは、前記単一の動き情報のセットの整数画
素精度又はサブピクセル精度に構成可能であり、前記現在の映像ブロックと前記現在の映
像ブロックのビットストリーム表現との間での変換を行うことであって、前記変換は、前
記ビットストリーム表現において信号通知される前記単一の動き情報のセットを微調整す
るためのデコーダ動きベクトル微調整(DMVR)ステップを含む、映像処理方法。
2.前記単一の動き情報のセットが適応型動きベクトル解像度(AMVR)モードに関
連付けられている場合、前記少なくとも1つの補間フィルタのインデックスを前記ビット
ストリーム表現において信号通知する、項目1に記載の方法。
3.前記単一の動き情報のセットが1つのマージモードに関連付けられている場合、前
記少なくとも1つの補間フィルタのインデックスを前の映像ブロックから継承される、項
目1に記載の方法。
4.前記単一の動き情報のセットが動きベクトル差(MMVD)モードでのマージに関
連付けられる場合、少なくとも1つの補間フィルタのインデックスを前の映像ブロックか
ら継承する、項目1に記載の方法。
5.前記少なくとも1つの補間フィルタは、サブピクセル精度を有するデフォルトフィ
ルタに対応し、前記単一の動き情報のセットは、動きベクトル差分(MMVD)モードで
のマージに関連付けられる、項目1に記載の方法。
6.前記現在の映像ブロックのための前記少なくとも1つの補間フィルタの係数が、前
記前の映像ブロックから継承される、項目2~4のいずれか1つに記載の方法。
7.前記単一の動き情報のセットの前記サブピクセル精度は、1/4画素又は1/16
画素に等しい、項目1~6のいずれかに記載の方法。
8.前記単一の動き情報のセットの1つ以上の成分がサブピクセル精度を有する、項目
1~7のいずれかに記載の方法。
9.前記少なくとも1つの補間フィルタは、6つの係数又は8つの係数を使用して表さ
れる、項目1に記載の方法。
10.前記少なくとも1つの補間フィルタのインデックスは、現在の映像ブロックにの
み関連付けられ、後続の映像ブロックには関連付けられない、項目5に記載の方法。
11.前記少なくとも1つの補間フィルタに関する情報が、前記単一の動き情報のセッ
トとともに記憶される、項目1に記載の方法。
12.前記少なくとも1つの補間フィルタに関する情報は、前記少なくとも1つの補間
フィルタをデフォルトフィルタとして特定する、項目11に記載の方法。
13.前記現在の映像ブロックのための前記少なくとも1つの補間フィルタの係数が、
別の映像ブロックの補間フィルタによって利用されないようにする、項目1に記載の方法
14.前記少なくとも1つの補間フィルタは、複数のフィルタに対応し、各フィルタは
、前記複数のフィルタにおける、前記単一の動き情報のセットの前記サブピクセル精度に
関連付けられる、項目1~13のいずれかに記載の方法。
15.前記単一の動き情報のセットの各成分の精度が、前記単一の動き情報のセットの
サブピクセル精度以下である、項目1~14のいずれかに記載の方法。
16.前記少なくとも1つの補間フィルタは、履歴に基づく動きベクトル予測(HMV
P)ルックアップテーブルに記憶される、項目1~15のいずれかに記載の方法。
17.第16項に記載の方法であって、さらに、
別の映像ブロックの動き情報が現在の映像ブロックの1つの動きセットと同じであるこ
とを検出すると、この単一の動き情報のセットを、別の映像ブロックの動き情報を挿入せ
ずにHMVPテーブルに挿入することを含む、方法。
18.第16項に記載の方法であって、さらに、
別の映像ブロックの動き情報が現在の映像ブロックの1つの動きセットと同じであるこ
とを検出すると、HMVPテーブルに、現在の映像ブロックの1つの動き情報セットと別
の映像ブロックの動き情報を挿入することを含む、方法。
19.前記別の映像ブロックは1つの補間フィルタに関連し、前記挿入は、現在の映像
ブロックの少なくとも1つの補間フィルタおよび/または前記別の映像ブロックの補間フ
ィルタに少なくとも部分的に基づく、項目17~18のいずれか1つに記載の方法。
20.前記現在の映像ブロックと別の映像ブロックとは、ペアワイズ候補又は結合され
たマージ候補に対応する、項目17~19のいずれかに記載の方法。
21.前記現在の映像ブロックの前記少なくとも1つの補間フィルタと前記別の映像ブ
ロックの前記補間フィルタとが同じである、項目17~20のいずれかに記載の方法。
22.前記現在の映像ブロックの前記少なくとも1つの補間フィルタと前記別の映像ブ
ロックの前記補間フィルタとが異なる、項目17~20のいずれかに記載の方法。
23.前記現在の映像ブロックは、イントラブロックコピー(IBC)モードで符号化
され、前記単一の動き情報のセットの表現における前記サブピクセル精度の使用が無効化
される、項目1に記載の方法。
24.前記少なくとも1つの補間フィルタの使用が無効にされる、項目1~23のいず
れかに記載の方法。
25.前記少なくとも1つの補間フィルタは、amvr_precision_idx
フラグおよび/またはhpel_if_idxフラグに関連付けられる、項目1に記載の
方法。
26.前記amvr_precision_idxフラグおよび/またはhpel_i
f_idxフラグが、バイパス符号化ビン又はコンテキスト符号化ビンに関連付けられる
、項目25に記載の方法。
27.第1のビンは、バイパス符号化ビン又はコンテキスト符号化ビンである、項目2
6に記載の方法。
28.すべてのビンが同じコンテキストを共有する、項目25~27のいずれかに記載
の方法。
29.前記少なくとも1つの補間フィルタを用いることに基づいて、1つ以上の映像処
理ステップを無効化する、項目1に記載の方法。
30.前記1つ以上の映像処理ステップは、前記デコーダ動きベクトル微調整(DMV
R)ステップと、双方向オプティカルフロー(BDOF)ステップと、インター・イント
ラ結合予測(CIIP)ステップと、対称動きベクトル差(SMVD)ステップと、サブ
ブロック変換(SBT)ステップと、三角形予測ステップと、を含む項目29に記載の方
法。
31.前記少なくとも1つの補間フィルタは、デフォルトフィルタに対応する、項目3
0に記載の方法。
32.前記1つ以上の映像処理ステップを無効化することは、前記ビットストリーム表
現において、前記1つ以上の映像処理ステップの指示を無効化することを含む、項目30
~31のいずれかに記載の方法。
33.前記1つ以上の映像処理ステップを無効化することは、前記現在の映像ブロック
の前記少なくとも1つの補間フィルタを別の映像ブロックに継承することを無効化するこ
とを含む、項目30~31のいずれかに記載の方法。
34.前記単一の動き情報のセットの前記整数画素精度は、1画素、2画素、又は4画
素に対応する、項目1に記載の方法。
35.前記少なくとも1つの補間フィルタは、ローパスフィルタである、項目34に記
載の方法。
36.前記少なくとも1つの補間フィルタは1次元フィルタである、項目34に記載の
方法。
37.前記1次元フィルタは、水平フィルタ又は垂直フィルタである、項目36に記載
の方法。
38.前記ビットストリーム表現におけるフラグは、前記少なくとも1つの補間フィル
タを用いるどうかを示す、項目34に記載の方法。
39.前記現在の映像ブロックが適応型動きベクトル解像度(AMVR)モードに関連
付けられる、項目1~38のいずれかに記載の方法。
40.前記現在の映像ブロックのインターモードのための前記少なくとも1つの補間フ
ィルタは、現在の映像ブロックの一般化された双予測(GBI)モードとは異なる、項目
1~39のいずれか1つに記載の方法。
41.前記少なくとも1つの補間フィルタは、予め判定される、項目1~40のいずれ
かに記載の方法。
42.前記ビットストリーム表現は、現在の映像ブロックに関連付けられた映像パラメ
ータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、タイル
グループヘッダ、又はスライスヘッダを含む、項目1~41のいずれかに記載の方法。
43.前記映像処理は、エンコーダ側の実装形態である、項目1~42のいずれか1項
目以上に記載の方法。
44.前記映像処理は、デコーダ側の実装形態である、項目1~70のいずれか1項目
以上に記載の方法。
45.処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置で
あって、命令が処理装置によって実装されることにより、処理装置に、項目1~44のい
ずれかに記載の方法を実施させる映像システムの装置。
46.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であ
って項目1~45のいずれか1項以上に記載の方法を実行するためのプログラムコードを
含む、コンピュータプログラム製品。
項の第2のセットでは、前章に開示された技術のいくつかの実施形態、例えば、実施形
態3-6および16-23を説明する。
1.映像の現在のピクチャの現在の映像ブロックと映像の符号化表現との変換のために
、代替の補間フィルタの適用可能性を判定すること(1412)と、ここで前記代替の補
間フィルタの適用可能性は、前記変換においてこの代替の補間フィルタを適用するかどう
かを示し、この判定することに基づいて、前記変換を行うこと(1414)と、を含み、
代替の補間フィルタの適用可能性は、現在のピクチャの参照ピクチャをリサンプリングし
て変換を行う参照ピクチャリサンプリングが使用されるかどうかに基づいて判定される、
映像処理方法(例えば、図14Aに示す方法1410)。
2.前記参照ピクチャのリサンプリングを使用することによって、代替の補間フィルタ
を適用しない、項目1に記載の方法。
3.前記参照ピクチャは、現在のピクチャの解像度と異なる解像度を有する、項目2に
記載の方法。
4.前記判定することが前記代替の補間フィルタを適用しないと判定した場合、デフォ
ルト補間フィルタを適用する、項目1に記載の方法。
5.前記デフォルト補間フィルタは、フィルタ係数[-1,4,-11,40,40,
-11,4,-1]を有する8タップフィルタに対応する、項目4に記載の方法。
6.前記代替の補間フィルタは、フィルタ係数[3,9,20,20,9,3]を有す
る6タップフィルタに対応する、項目1~5のいずれかに記載の方法。
7.前記代替の補間フィルタは、前記現在の映像ブロックの予測に使用される1/2画
素補間フィルタである、項目1~6のいずれかに記載の方法。
8.前記代替の補間フィルタを使用する場合、前記現在の映像ブロックを、1/2画素
の位置を指す少なくとも1つの動きベクトルで符号化する、項目1~7のいずれかに記載
の方法。
9.前記現在の映像ブロックは、前記代替の補間フィルタが使用される場合、水平1/
2画素位置または垂直1/2画素位置、または水平および垂直1/2画素位置を指す少な
くとも1つの動きベクトルで符号化される、項目1~8のいずれかに記載の方法。
10.映像の現在の映像ブロックを、動き候補と開始点との距離に関する情報を提供す
る動きベクトル表現を含む動きベクトル差を有するマージモード(MMVD)として表現
するために使用される符号化モードを判定すること(1422)と、
この判定することに基づいた前記現在の映像ブロックおよび符号化表現に基づいて、変換
を行うこと(1424)と、を含み、
前記変換は、1/2画素補間フィルタがデフォルトの1/2画素補間フィルタとは異なる
代替の1/2画素補間フィルタであるという第1の条件を定義する第1の規則と、前記代
替の1/2画素補間フィルタを継承するかどうかについての第2の条件を定義する第2の
規則とに従って選択される前記1/2画素補間フィルタを使用して算出された前記現在の
映像ブロックのための予測ブロックを使用して行われる、映像処理方法(例えば、図14
Bに示す方法1420)。
11.前記第2の規則は、距離がX画素精度またはX画素精度よりも粗い精度のいずれ
かを有する場合、代替の1/2画素補間フィルタを継承することを規定する、項目10に
記載の方法。
12.Xは1/2であり、より粗い精度は1、2、または4である、項目11に記載の
方法。
13.前記第2の規則は、距離がX画素精度またはX画素精度よりも細かい精度のいず
れかを有する場合、代替の1/2画素補間フィルタを継承しないことを規定する、項目1
0に記載の方法。
14.Xは1/4であり、より微細な精度は1/16である、項目13に記載の方法。
15.映像の現在の映像領域で使用される符号化モードを判定すること(1432)と
、符号化モードに基づいて、現在の映像領域の動きベクトルまたは動きベクトル差分値を
表すために使用される精度の判定を行うこと(1434)と、現在の映像ブロックと前記
映像の符号化表現との変換を行うこと(1436)と、を含む、映像処理方法(例えば、
図14Cに示す方法1430)。
16.前記判定を行うことは、前記精度を継承するかどうかを判定することを含む、項
目15に記載の方法。
17.前記精度が継承されない場合、この方法は、前記精度を記憶することをさらに含
む、項目15に記載の方法。
18.前記精度が継承される判定によって、前記変換は、前記精度を直接に信号通知す
ることなく、現在の映像領域を前記符号化表現に符号化することを含む、項目15に記載
の方法。
19.前記精度が継承されていない判定によって、前記変換は、精度を信号通知するこ
とによって、現在の映像領域を符号化して符号化表現にすることを含む、項目15に記載
の方法。
20.前記映像領域は、映像ブロック、符号化ユニット、または予測ユニットに対応す
る、項目15に記載の方法。
21.前記映像領域が、符号化ユニットに対応する、項目15に記載の方法。
22.前記映像領域は、予測ユニットに対応する、項目15に記載の方法。
23.前記符号化モードは、空間的および時間的に隣接するブロックから動き候補を導
出する高度動きベクトル予測(AMVP)モード、アフィンインターモード、マージモー
ド、および/またはアフィンマージモードに対応する、項目15に記載の方法。
24.近傍のブロックから導出された候補に対して、該近傍のブロックに使用される動
きベクトルまたは動きベクトル差分値を表すための精度を継承する、項目15に記載の方
法。
25.同じ精度を有する2つの空間マージ候補に関連付けられたペアワイズマージ候補
に対して、ペアワイズマージ候補に同じ精度を割り当て、そうでない場合、ペアワイズマ
ージ候補に固定動き精度情報を割り当てる、項目15に記載の方法。
26.時間マージ候補に対して、固定精度を割り当てる、項目15に記載の方法。
27.前記現在の映像領域を符号化するか、または復号化された表現を生成する前に、
少なくとも1つの履歴に基づく動きベクトル予測(HMVP)テーブルを維持することを
さらに含み、前記HMVPテーブルは、1つ以上の前回処理されたブロックの動き情報に
対応する1つ以上のエントリを含み、前記精度はHMVPテーブルに記憶され、HMVP
マージ候補によって継承される項目15に記載の方法。
28.動きベクトル差で動き情報を更新する動きベクトル差を有するマージモード(M
MVD)で符号化された現在の映像領域に対して、ベースマージ候補の精度を継承する、
項目15に記載の方法。
29.継承すると判定された精度を使用して、後続の映像領域の精度を予測する、項目
15または16に記載の方法。
30.マージモードで符号化された映像ブロックの動きベクトルを、現在の映像領域の
精度に丸める、項目15に記載の方法。
31.映像の現在の映像ブロックの符号化モードを、動きベクトル差を有するマージモ
ード(MMVD)として判定すること(1442)と、現在の映像ブロックに関連付けら
れたベースマージ候補の動き精度情報に基づいて、現在の映像ブロックに対して、距離イ
ンデックスと、予め定義されたオフセットとの関係を規定する距離テーブルを判定するこ
と(1444)と、前記距離テーブルを使用して、前記現在の映像ブロックと前記映像の
符号化表現との変換を行うこと(1446)と、を含む、映像処理方法(例えば、図14
Dに示す方法1440)。
32.Nが正の整数であり、ベースマージ候補が1/N画素精度を有する場合、1/N
画素精度または1/N画素より粗い精度を有する距離を使用する、項目31に記載の方法
33.Nが2であり、距離が1/2画素、1画素、または2画素である、項目31に記
載の方法。
34.前記ベースマージ候補の動き精度情報に基づいて、分数距離を含む距離テーブル
を修正する、項目31に記載の方法。
35.MMVDモードに対して分数距離が許容されるかどうかを示すように、フラグが
信号通知される、項目34に記載の方法。
36.NおよびMが正の整数であり、ベースマージ候補が1/N画素精度を有し、距離
テーブルの最も細かい動きベクトル差精度が1/M画素精度を有する場合、距離テーブル
における距離にM/Nを乗算する、項目34に記載の方法。
37.第1の映像領域のためのデコーダ側動きベクトル微調整(DMVR)計算に使用
される動きベクトル差が、Xが整数分の1であるX画素解像度より細かい解像度を有し、
代替の1/2画素補間フィルタを使用して判定された第1の判定を行うこと(1452)
と、第1の判定によって、第1の映像領域に関連付けられた代替の1/2画素補間フィル
タの情報を記憶せず、または後に処理される第2の映像領域には利用可能としない第2の
判定を行うこと(1454)と、前記第1の判定および前記第2の判定に基づいて、前記
第1の映像領域および前記第2の映像領域からなる映像と、前記映像の符号化表現との変
換を行うこと(1456)と、を含む映像処理方法(例えば、図14Eに示す方法145
0)。
38.前記映像領域が、映像ブロック、符号化ユニット、又は予測ユニットに対応する
、項目37に記載の方法。
39.前記第2の判定は、DMVRがサブブロックレベルで行われる場合、前記映像の
サブブロックごとに行われる項目37に記載の方法。
40.前記動きベクトルの差は、前記映像の少なくともN個のサブブロックまたはブロ
ックのために、X画素解像度よりも細かい解像度を有する、項目37に記載の方法。
41.規則に従って、代替の1/2画素補間フィルタが映像の現在の映像ブロックに利
用可能であるかどうかを判定すること(1462)と、前記判定することに基づいて、現
在の映像ブロックとこの映像の符号化表現との変換を行うこと(1464)と、を含み、
前記規則は、現在の映像ブロックがこの符号化表現においてマージブロック又はスキップ
符号化ブロックとして符号化されている場合、前記判定することは、前記代替の1/2画
素補間フィルタがこの現在の映像ブロックの前に符号化又は復号化された前のブロックを
処理するために使用されるかどうかとは無関係であることを規定する、映像処理方法(例
えば、図14Fに示す方法1460)。
42.前記代替の1/2画素補間フィルタを前記変換に使用するかどうかを識別するパ
ラメータは、前記映像のどのブロックに対しても記憶されない、項目41に記載の方法。
43.代替の1/2画素補間フィルタを継承するか廃棄するかは、現在の映像ブロック
において有効または無効にされた符号化情報および/または符号化ツールに依存する、項
目41の方法。
44.規則に従って、代替の1/2画素補間フィルタが映像の現在の映像ブロックに利
用可能であるかどうかを判定すること(1462)と、前記判定することに基づいて、現
在の映像ブロックとこの映像の符号化表現との変換を行うこと(1464)と、を含み、
前記規則は、現在の映像ブロックの符号化情報に基づいて、デフォルトの1/2画素補間
フィルタとは異なる代替の1/2画素補間フィルタの適用可能性を規定する、映像処理方
法(例えば、図14Fに示す方法1460)。
45.前記現在の映像ブロックは、符号化表現において、マージブロックまたはスキッ
プ符号化ブロックとして符号化される、項目44に記載の方法。
46.前記符号化表現は、Kが正の整数であり、Kと等しいマージインデックスを含む
場合、代替の1/2画素補間フィルタは、マージまたはスキップモードで符号化された現
在の映像ブロックに適用される、項目44に記載の方法。
47.前記符号化表現は、SおよびKが正の整数であり、Idx%SがKと等しいこと
を満たすマージインデックスIdxを含む場合、代替の1/2画素補間フィルタは、マー
ジモードまたはスキップモードで符号化された現在の映像ブロックに適用される、項目4
4に記載の方法。
48.前記代替の1/2画素補間フィルタを特定のマージ候補に適用する、項目44に
記載の方法。
49.前記特定のマージ候補は、ペアワイズマージ候補に対応する、項目48に記載の
方法。
50.映像の現在の映像ブロックに対して、規則に従って代替の1/2画素補間フィル
タの係数を判定すること(1472)と、判定することに基づいて、現在の映像ブロック
と映像の符号化表現との変換を行うこと(1474)と、を含み、前記規則は、代替の1
/2画素補間フィルタと、特定の符号化モードで使用される1/2画素補間フィルタとの
関係を規定する、映像処理方法(例えば、図14Gに示す方法1470)。
51.前記規則は、代替の1/2画素補間フィルタを、アフィンインター予測に使用さ
れる1/2画素補間フィルタに位置合わせすることを規定する項目50に記載の方法。
52.前記代替補間フィルタは、[3,-11,40,40,-11,3].の係数セ
ットを有する、項目51に記載の方法。
53.前記代替補間フィルタは、[3,9,20,20,9,3].の係数セットを有
する、項目51に記載の方法。
54.前記規則は、代替の1/2画素補間フィルタを、クロマインター予測に使用され
る1/2画素補間フィルタと同一であることを規定する項目50に記載の方法。
55.前記代替補間フィルタは、[-4,36,36,-4].の係数セットを有する
、項目54に記載の方法。
56.映像の現在の映像ブロックと映像の符号化表現との変換のために、規則に従って
代替の1/2画素補間フィルタを適用すること(1482)と、前記現在の映像ブロック
と映像の符号化表現との変換を行うこと(1484)とを含み、前記規則は、この代替の
補間フィルタをX画素における位置に適用することを規定し、Xは1/2以外である、映
像処理方法(例えば、図14Hに示す方法1480)。
57.前記代替の補間フィルタの使用が、明確にまたは暗黙に示される、項目56に記
載の方法。
58.前記代替の補間フィルタは、X画素での位置に割り当てられているデフォルト補
間フィルタの係数とは異なる少なくとも1つの係数を有する、項目57に記載の方法。
59.前記代替の1/2画素補間フィルタを前記適用することは、デコーダ側動きベク
トル微調整(DMVR)または動きベクトル差を有するマージモード(MMVD)もしく
は対称動きベクトル差異(SMVD)または他のデコーダ側動き導出処理の後に行われる
、項目56に記載の方法。
60.前記代替の1/2画素補間フィルタを前記適用することは、参照ピクチャリサン
プリング(RPR)が使用され、参照ピクチャが現在の映像ブロックを含む現在のピクチ
ャの解像度と異なる解像度を有する場合に行われる、項目56に記載の方法。
61.現在の映像ブロックが双予測を使用する場合、代替の1/2画素補間フィルタを
1つの予測方向にのみ適用する、項目56~60のいずれかに記載の方法。
62.X画素精度を有する第1の動きベクトル成分に対して、映像の第1の映像ブロッ
クによって代替の補間フィルタを選択する第1の判定を行うこと(1492)と、第1の
判定によって、別の代替の補間フィルタを、Xが整数分の1であるX画素精度とは異なる
精度を有する第2の動きベクトル成分に使用する第2の判定を行うこと(1494)と、
第1の映像ブロックと第2の映像ブロックとを含む映像と、映像の符号化表現との変換を
行うこと(1496)と、を含む映像処理方法(例えば、図14Iに示す方法1490)
63.前記代替の補間フィルタおよび前記他の代替の補間フィルタは、ガウス補間フィ
ルタに対応する、項目62に記載の方法。
64.代替の補間フィルタおよび他の代替の補間フィルタは、フラットップ補間フィル
タに対応する、項目62に記載の方法。
65.前記第2の動きベクトル成分は、前記X画素精度より細かい精度を有する、項目
62に記載の方法。
66.前記第2の動きベクトル成分は、前記X画素精度よりも粗い精度を有する、項目
62に記載の方法。
67.前記変換を行うことは、前記現在の映像ブロックから前記符号化表現を生成する
ことを含む、項目1~66のいずれかに記載の方法。
68.前記変換を行うことは、前記符号化表現から前記現在の映像ブロックを生成する
ことを含む、項目1~66のいずれかに記載の方法。
69.処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置で
あって、命令が処理装置によって実装されることにより、処理装置に、項目1~68のい
ずれか1項目に記載の方法を実施させる映像システムの装置。
70.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であ
って、第1~68項のいずれか1項に記載の方法を実行するためのプログラムコードを含
む、コンピュータプログラム製品。
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュ
ール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物
を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しく
はハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施しても
よい。開示された、およびその他の実施形態は、1つ以上のコンピュータプログラム製品
、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制
御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1
つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可
読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質
の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理装置」と
いう用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、
若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および
機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境
を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管
理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成す
るコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成
した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化す
るために生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション
、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された
言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタ
ンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジ
ュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開すること
ができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対
応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの
一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されて
いてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の
調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を
格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つの
サイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワーク
によって相互接続される複数のコンピュータで実行させるように展開することも可能であ
る。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生
成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する
1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフロ
ーはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲー
トアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はま
た、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ
処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置
を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリま
たはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を
実行するための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイ
スとである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶
デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこ
れらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するよ
うに動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイス
を有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコ
ンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを
含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば
内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROM
およびDVD-ROMディスク等の半導体記憶装置を含む。処理装置およびメモリは、特
定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み
込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範
囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特
有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の
コンテキストで説明されている特定の特徴は、1つの例において組み合わせて実装しても
よい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態におい
て別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、
特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されてい
てもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わ
せから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサ
ブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成
するために、このような動作が示された特定の順番でまたは連続した順番で行われること
、または示された全ての動作が行われることを必要とするものと理解されるべきではない
。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、
全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示され
ているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
関連出願の相互参照
願は、2019年8月20日出願の国際特許出願第PCT/CN2019/101541号の優先権および利益を主張する2020年8月20日出願の国際特許出願第PCT/CN2020/110147号に基づく特願2022-509198号の分割出願である記出願の開示全体は、本明細書の開示の一部として参照により援用される。

Claims (70)

  1. 映像の現在のピクチャの現在の映像ブロックと前記映像の符号化表現との変換のために
    、代替の補間フィルタの適用可能性を判定することと、ここで前記代替の補間フィルタの
    前記適用可能性は、前記変換において前記代替の補間フィルタを適用するかどうかを示し

    この判定することに基づいて前記変換を行うことと、を含む映像処理方法であって、
    前記代替の補間フィルタの前記適用可能性は、前記現在のピクチャの参照ピクチャをリサ
    ンプリングして前記変換を行う参照ピクチャリサンプリングが使用されるかどうかに基づ
    いて判定される、映像処理方法。
  2. 前記参照ピクチャのリサンプリングを使用することによって、前記代替の補間フィルタ
    を適用しない、請求項1に記載の方法。
  3. 前記参照ピクチャは、前記現在のピクチャの解像度と異なる解像度を有する、請求項2
    に記載の方法。
  4. 前記判定することが、前記代替の補間フィルタを適用しないと判定した場合、デフォル
    ト補間フィルタが適用される、請求項1に記載の方法。
  5. 前記デフォルト補間フィルタは、フィルタ係数[-1,4,-11,40,40,-1
    1,4,-1]を有する8タップフィルタに対応する、請求項4に記載の方法。
  6. 前記代替の補間フィルタは、フィルタ係数[3,9,20,20,9,3]を有する6
    タップフィルタに対応する、請求項1~5のいずれかに記載の方法。
  7. 前記代替の補間フィルタは、前記現在の映像ブロックの予測に使用される1/2画素補
    間フィルタである、請求項1~6のいずれかに記載の方法。
  8. 前記代替の補間フィルタを使用する場合、前記現在の映像ブロックは、1/2画素の位
    置を指す少なくとも1つの動きベクトルで符号化される、請求項1~7のいずれかに記載
    の方法。
  9. 前記現在の映像ブロックは、前記代替の補間フィルタが使用される場合、水平1/2画
    素位置または垂直1/2画素位置、または水平および垂直1/2画素位置を指す少なくと
    も1つの動きベクトルで符号化される、請求項1~8のいずれかに記載の方法。
  10. 映像の現在の映像ブロックを、動き候補と開始点との距離に関する情報を提供する動き
    ベクトル表現を含む動きベクトル差を有するマージモードマージモード(MMVD)とし
    て表現するために使用される符号化モードを判定することと、
    この判定することに基づいて、前記現在の映像ブロックおよび符号化表現に基づいて、変
    換を行うことと、を含む映像処理方法であって、
    前記変換は、1/2画素補間フィルタがデフォルトの1/2画素補間フィルタとは異なる
    代替の1/2画素補間フィルタであるという第1の条件を定義する第1の規則と、前記代
    替の1/2画素補間フィルタを継承するかどうかについての第2の条件を定義する第2の
    規則とに従って選択される前記1/2画素補間フィルタを使用して算出された前記現在の
    映像ブロックのための予測ブロックを使用して行われる、映像処理方法。
  11. 前記第2の規則は、前記距離がX画素精度またはX画素精度より粗い精度のいずれかを
    有する場合、前記代替の1/2画素補間フィルタを継承することを規定する、請求項10
    に記載の方法。
  12. Xは1/2であり、前記より粗い精度は1、2、または4である、請求項11に記載の
    方法。
  13. 前記第2の規則は、前記距離がX画素精度またはX画素精度より細かい精度のいずれか
    を有する場合、前記代替の1/2画素補間フィルタを継承しないことを規定する、請求項
    10に記載の方法。
  14. Xは1/4であり、前記より細かい精度は1/16である、請求項13に記載の方法。
  15. 映像の現在の映像領域で使用される符号化モードを判定することと、前記符号化モード
    に基づいて、前記現在の映像領域に対する動きベクトル又は動きベクトル差分値を表すた
    めに使用される精度についての判定を行うことと、前記現在の映像ブロックと前記映像の
    符号化表現との変換を行うことと、を含む、映像処理方法。
  16. 前記判定を行うことは、前記精度を継承するかどうかを判定することを含む、請求項1
    5に記載の方法。
  17. 前記精度が継承されない場合、この方法は、前記精度を記憶することをさらに含む、請
    求項15に記載の方法。
  18. 前記精度が継承されるとの前記判定によって、前記変換は、前記精度を直接に信号通知
    することなく、前記現在の映像領域を前記符号化表現に符号化することを含む、請求項1
    5に記載の方法。
  19. 前記精度が継承されないとの前記判定によって、前記変換は、前記精度を信号通知する
    ことにより、前記現在の映像領域を前記符号化表現に符号化することを含む、請求項15
    に記載の方法。
  20. 前記映像領域は、映像ブロック、符号化ユニット、または予測ユニットに対応する、請
    求項15に記載の方法。
  21. 前記映像領域は、符号化ユニットに対応する、請求項15に記載の方法。
  22. 前記映像領域は、予測ユニットに対応する、請求項15に記載の方法。
  23. 前記符号化モードは、空間的および時間的に隣接するブロックから動き候補を導出する
    高度動きベクトル予測(AMVP)モード、アフィンインターモード、マージモード、お
    よび/またはアフィンマージモードに対応する、請求項15に記載の方法。
  24. 近傍のブロックから導出された候補に対して、前記近傍のブロックに使用される動きベ
    クトルまたは動きベクトル差分値を表すための精度が継承される、請求項15に記載の方
    法。
  25. 同じ精度を有する2つの空間マージ候補に関連付けられたペアワイズマージ候補に対し
    て、前記ペアワイズマージ候補に同じ精度を割り当て、そうでない場合、固定動き精度情
    報を前記ペアワイズマージ候補に割り当てる、請求項15に記載の方法。
  26. 時間マージ候補に対して、固定精度を割り当てる、請求項15に記載の方法。
  27. 前記現在の映像領域を符号化すること、または前記復号化された表現を生成することの
    前に、少なくとも1つの履歴に基づく動きベクトル予測(HMVP)テーブルを維持する
    ことをさらに含み、前記HMVPテーブルは、1つ以上の前回処理されたブロックの動き
    情報に対応する1つ以上のエントリを含み、前記精度は前記HMVPテーブルに記憶され
    、HMVPマージ候補によって継承される、請求項15に記載の方法。
  28. 動きベクトル差で動き情報を更新する、動きベクトル差を有するマージモード(MMV
    D)で符号化された現在の映像領域に対して、ベースマージ候補の精度を継承する、請求
    項15に記載の方法。
  29. 継承したと判定されている前記精度を使用して、後続の映像領域の精度を予測する、請
    求項15または16に記載の方法。
  30. マージモードで符号化された映像ブロックの動きベクトルを前記現在の映像領域の前記
    精度に丸める、請求項15に記載の方法。
  31. 映像の現在の映像ブロックの符号化モードを、動きベクトル差を有するマージモード(
    MMVD)として判定することと、
    前記現在の映像ブロックに関連付けられたベースマージ候補の動き精度情報に基づいて、
    前記現在の映像ブロックに対して、距離インデックスと、予め定義されたオフセットとの
    関係を規定する距離テーブルを判定することと、
    前記距離テーブルを使用して、前記現在の映像ブロックと前記映像の符号化表現との変換
    を行うことと、を含む映像処理方法。
  32. 前記ベースマージ候補が1/N画素精度を有し、Nが正の整数である場合、1/N画素
    精度または1/N画素単位より粗い精度を有する距離を使用する、請求項31に記載の方
    法。
  33. Nは2であり、前記距離は1/2画素、1画素、または2画素である、請求項31に記
    載の方法。
  34. 前記ベースマージ候補の前記動き精度情報に基づいて、分数距離を含む距離テーブルを
    修正する、請求項31に記載の方法。
  35. 前記MMVDモードに対して前記分数距離が許容されるかどうかを示すように、フラグ
    が信号通知される、請求項34に記載の方法。
  36. NおよびMが正の整数であり、前記ベースマージ候補が1/N画素精度を有し、前記距
    離テーブルの最も細かい動きベクトル差精度が1/M画素精度を有する場合、前記距離テ
    ーブルにおける距離にM/Nを乗算する、請求項34に記載の方法。
  37. 第1の映像領域のためのデコーダ側動きベクトル微調整(DMVR)計算に使用される
    動きベクトル差が、Xは整数分の1であるX画素解像度より細かい解像度を有し、代替の
    1/2画素補間フィルタを使用して判定された第1の判定を行うことと、
    前記第1の判定によって、前記第1の映像領域に関連付けられた前記代替の1/2画素補
    間フィルタの情報を記憶せず、または後に処理される第2の映像領域には利用可能としな
    い第2の判定を行うことと、前記第1の判定および前記第2の判定に基づいて、前記第1
    の映像領域および前記第2の映像領域からなる映像と、前記映像の符号化表現との変換を
    行うことと、を含む映像処理方法。
  38. 前記映像領域は、映像ブロック、符号化ユニット、または予測ユニットに対応する、請
    求項37に記載の方法。
  39. 前記第2の判定は、DMVRがサブブロックレベルで行われる場合、前記映像のサブブ
    ロックごとに行われる、請求項37に記載の方法。
  40. 前記動きベクトル差は、前記映像の少なくともN個のサブブロックまたはブロックのた
    めに、X画素解像度より細かい前記解像度を有する、請求項37に記載の方法。
  41. 規則に従って、代替の1/2画素補間フィルタが映像の現在の映像ブロックに利用可能
    であるかどうかを判定することと、この判定することに基づいて、前記現在の映像ブロッ
    クと前記映像の符号化表現との変換を行うことと、を含む映像処理方法であって、
    前記規則は、前記現在の映像ブロックが前記符号化表現においてマージブロック又はスキ
    ップ符号化ブロックとして符号化される場合、前記判定することは、前記代替の1/2画
    素補間フィルタが前記現在の映像ブロックの前に符号化又は復号化された前のブロックを
    処理するために使用されるかどうかとは無関係であることを規定する、映像処理方法。
  42. 前記代替の1/2画素補間フィルタを前記変換に使用するかどうかを識別するパラメー
    タが、前記映像のどのブロックに対しても記憶されない、請求項41に記載の方法。
  43. 前記代替の1/2画素補間フィルタを継承するか廃棄するかは、前記現在の映像ブロッ
    クにおいて有効または無効にされた符号化情報および/または符号化ツールに依存する、
    請求項41に記載の方法。
  44. 規則に従って、代替の1/2画素補間フィルタが映像の現在の映像ブロックに利用可能
    であるかどうかを判定することと、この判定することに基づいて、前記現在の映像ブロッ
    クと前記映像の符号化表現との変換を行うことと、を含む映像処理方法であって、
    前記規則は、前記現在の映像ブロックの符号化情報に基づいて、デフォルトの1/2画素
    補間フィルタとは異なる前記代替の1/2画素補間フィルタの適用可能性を規定する、映
    像処理方法。
  45. 前記現在の映像ブロックは、前記符号化表現において、マージブロックまたはスキップ
    符号化ブロックとして符号化される、請求項44に記載の方法。
  46. 前記符号化表現は、Kが正の整数であり、Kと等しいマージインデックスを含む場合、
    前記代替の1/2画素補間フィルタは、マージまたはスキップモードで符号化された前記
    現在の映像ブロックに適用される、請求項44に記載の方法。
  47. 前記符号化表現は、SおよびKが正の整数であり、Idx%SがKと等しいことを満た
    すマージインデックスIdxを含む場合、前記代替の1/2画素補間フィルタは、マージ
    モードまたはスキップモードで符号化された前記現在の映像ブロックに適用される、請求
    項44に記載の方法。
  48. 前記代替の1/2画素補間フィルタは、特定のマージ候補に適用される、請求項44に
    記載の方法。
  49. 前記特定のマージ候補は、ペアワイズマージ候補に対応する、請求項48に記載の方法
  50. 映像の現在の映像ブロックに対して、規則に従って代替の1/2画素補間フィルタの係
    数を判定することと、この判定することに基づいて、前記現在の映像ブロックと前記映像
    の符号化表現との変換を行うことと、を含む映像処理方法であって、
    前記規則は、前記代替の1/2画素補間フィルタと特定の符号化モードで使用される1/
    2画素補間フィルタとの関係を規定する、映像処理方法。
  51. 前記規則は、前記代替の1/2画素補間フィルタを、アフィンインター予測に使用され
    る前記1/2画素補間フィルタに位置合わせすることを規定する請求項50に記載の方法
  52. 前記代替の補間フィルタは、[3、-11、40、40、-11、3]である係数セッ
    トを有する、請求項51に記載の方法。
  53. 前記代替の補間フィルタは、[3、9、20、20、9、3]である係数セットを有す
    る、請求項51に記載の方法。
  54. 前記規則は、前記代替の1/2画素補間フィルタを、クロマインター予測に使用される
    前記1/2画素補間フィルタと同一であることを規定する請求項50に記載の方法。
  55. 前記代替の補間フィルタは、[-4,36,36,-4]である係数セットを有する、
    請求項54に記載の方法。
  56. 映像の現在の映像ブロックと前記映像の符号化表現との変換のために、規則に従って代
    替の1/2画素補間フィルタを適用することと、
    前記現在の映像ブロックと前記映像の符号化表現との変換を行うこととを含む映像処理
    方法であって、
    前記規則は、前記代替の補間フィルタをX画素における位置に適用することを規定し、
    Xは1/2以外である、映像処理方法。
  57. 前記代替の補間フィルタの使用が、明確にまたは暗黙に示される、請求項56に記載の
    方法。
  58. 前記代替の補間フィルタは、X画素での前記位置に割り当てられているデフォルト補間
    フィルタの係数とは異なる少なくとも1つの係数を有する、請求項57に記載の方法。
  59. 前記代替の1/2画素補間フィルタを前記適用することは、デコーダ側動きベクトル微
    調整(DMVR)、または動きベクトル差を有するマージモード(MMVD)、または対
    称動きベクトル差異(SMVD)、または他のデコーダ側動き導出処理の後に行われる、
    請求項56に記載の方法。
  60. 参照ピクチャリサンプリング(RPR)が使用され、参照ピクチャが前記現在の映像ブ
    ロックを含む現在のピクチャの解像度と異なる解像度を有する場合、前記代替の1/2画
    素補間フィルタを前記適用することが行われる、請求項56に記載の方法。
  61. 前記現在の映像ブロックが双予測を使用する場合、前記代替の1/2画素補間フィルタ
    は、1つの予測方向にのみ適用される、請求項56~60のいずれかに記載の方法。
  62. X画素精度を有する第1の動きベクトル成分に対して、映像の第1の映像ブロックによ
    って代替の補間フィルタを選択する第1の判定を行うことと、前記第1の判定によって、
    別の代替の補間フィルタを、Xが整数分の1であるX画素精度とは異なる精度の第2の動
    きベクトル成分に使用する第2の判定を行うことと、前記第1の映像ブロックと第2の映
    像ブロックとを含む映像と、前記映像の符号化表現との変換を行うことと、を含む映像処
    理方法。
  63. 前記代替の補間フィルタおよび前記他の代替の補間フィルタは、ガウス補間フィルタに
    対応する、請求項62に記載の方法。
  64. 前記代替の補間フィルタおよび前記他の代替の補間フィルタは、フラットトップ補間フ
    ィルタに対応する、請求項62に記載の方法。
  65. 前記第2の動きベクトル成分は、前記X画素精度より細かい前記精度を有する、請求項
    62に記載の方法。
  66. 前記第2の動きベクトル成分は、前記X画素精度より粗い精度を有する、請求項62に
    記載の方法。
  67. 前記変換を行うことは、前記現在の映像ブロックから前記符号化表現を生成することを
    含む、請求項1~66のいずれかに記載の方法。
  68. 前記変換を行うことは、前記符号化表現から前記現在の映像ブロックを生成することを
    含む、請求項1~66のいずれかに記載の方法。
  69. 処理装置と、命令を含む非一時的メモリとを備えた映像システムの装置であって、前記
    処理装置による実行時に、前記命令は、前記処理装置に請求項1~68のいずれか1項に
    記載の方法を実装させる装置。
  70. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、
    請求項1~68のいずれか1項に記載の方法を実行するためのプログラムコードを含む、
    コンピュータプログラム製品。
JP2023166357A 2019-08-20 2023-09-27 映像処理における代替の補間フィルタの選択的使用 Pending JP2023171861A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/101541 2019-08-20
CN2019101541 2019-08-20
JP2022509198A JP7359942B2 (ja) 2019-08-20 2020-08-20 映像処理における代替の補間フィルタの選択的使用
PCT/CN2020/110147 WO2021032143A1 (en) 2019-08-20 2020-08-20 Selective use of alternative interpolation filters in video processing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022509198A Division JP7359942B2 (ja) 2019-08-20 2020-08-20 映像処理における代替の補間フィルタの選択的使用

Publications (1)

Publication Number Publication Date
JP2023171861A true JP2023171861A (ja) 2023-12-05

Family

ID=74659749

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022509198A Active JP7359942B2 (ja) 2019-08-20 2020-08-20 映像処理における代替の補間フィルタの選択的使用
JP2023166357A Pending JP2023171861A (ja) 2019-08-20 2023-09-27 映像処理における代替の補間フィルタの選択的使用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022509198A Active JP7359942B2 (ja) 2019-08-20 2020-08-20 映像処理における代替の補間フィルタの選択的使用

Country Status (7)

Country Link
US (2) US11503288B2 (ja)
EP (1) EP3997881A4 (ja)
JP (2) JP7359942B2 (ja)
KR (1) KR102635319B1 (ja)
CN (2) CN114270856A (ja)
BR (1) BR112022002480A2 (ja)
WO (1) WO2021032143A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7307191B2 (ja) 2019-04-01 2023-07-11 北京字節跳動網絡技術有限公司 履歴に基づく動きベクトル予測のための補間フィルタの使用
CN114270856A (zh) * 2019-08-20 2022-04-01 北京字节跳动网络技术有限公司 视频处理中的备选插值滤波器的选择性使用
US20220295057A1 (en) * 2019-09-04 2022-09-15 Interdigital Vc Holdings France, Sas Switchable interpolation filters
CN112788345B (zh) * 2019-11-11 2023-10-24 腾讯美国有限责任公司 视频数据解码方法、装置、计算机设备和存储介质
US20230179763A1 (en) * 2021-12-06 2023-06-08 Tencent America LLC Interpolation Filters for Adaptive Motion Vector Difference Resolution

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3724203B2 (ja) 1998-03-10 2005-12-07 ソニー株式会社 符号化装置および方法、並びに記録媒体
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
WO2008148272A1 (en) 2007-06-04 2008-12-11 France Telecom Research & Development Beijing Company Limited Method and apparatus for sub-pixel motion-compensated video coding
EP2136565A1 (en) 2008-06-19 2009-12-23 Thomson Licensing Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame
US8811484B2 (en) 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US8548041B2 (en) 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US8422771B2 (en) 2008-10-24 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for demosaicing
GB2469679B (en) 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
WO2011003326A1 (en) 2009-07-06 2011-01-13 Mediatek Singapore Pte. Ltd. Single pass adaptive interpolation filter
JP2011050001A (ja) 2009-08-28 2011-03-10 Sony Corp 画像処理装置および方法
US8417049B2 (en) 2009-10-14 2013-04-09 Hewlett-Packard Development Company, L.P. Fast image resolution enhancement with de-pixeling
US8879632B2 (en) 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
PT3301648T (pt) 2010-04-13 2020-04-20 Ge Video Compression Llc Herança em matriz de amostras em subdivisão multitree
CN102316317B (zh) 2010-07-10 2013-04-24 华为技术有限公司 一种生成图像预测值的方法和装置
EP2675163A1 (en) 2010-07-21 2013-12-18 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
US8797414B2 (en) 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
US9049454B2 (en) 2011-01-19 2015-06-02 Google Technology Holdings Llc. High efficiency low complexity interpolation filters
ES2862898T3 (es) 2011-06-30 2021-10-08 Mitsubishi Electric Corp Aparato de codificación de imágenes, aparato de decodificación de imágenes, método de codificación de imágenes y método de decodificación de imágenes
JP5762243B2 (ja) 2011-10-18 2015-08-12 日本電信電話株式会社 映像符号化方法,装置,映像復号方法,装置およびそれらのプログラム
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US10623759B2 (en) 2012-06-13 2020-04-14 Sony Corporation Decoupling enhancements in sample adaptive offset (SAO) for high efficiency video encoder (HEVC)
FR3000350A1 (fr) * 2012-12-21 2014-06-27 France Telecom Procede et dispositif de transmission d'une sequence d'images, procede et dispositif de reception, programme d'ordinateur et support d'enregistrement correspondants.
US9781416B2 (en) * 2013-02-26 2017-10-03 Qualcomm Incorporated Neighboring block disparity vector derivation in 3D video coding
WO2014172387A1 (en) * 2013-04-15 2014-10-23 Huawei Technologies Co., Ltd. Method and apparatus of depth prediction mode selection
US20150063451A1 (en) 2013-09-05 2015-03-05 Microsoft Corporation Universal Screen Content Codec
EP3080985B1 (en) 2013-12-13 2023-08-02 VID SCALE, Inc. Video processing method and device for the alignment of luma and chroma using interpolation
US9819947B2 (en) * 2014-01-02 2017-11-14 Vid Scale, Inc. Methods, apparatus and systems for scalable video coding with mixed interlace and progressive content
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US10531116B2 (en) 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
CN105874789B (zh) 2014-01-29 2019-10-29 联发科技股份有限公司 利用自适应运动向量精度的方法
CN110225360A (zh) 2014-04-01 2019-09-10 联发科技股份有限公司 视频编码中自适应内插滤波的方法
US9924191B2 (en) 2014-06-26 2018-03-20 Qualcomm Incorporated Filters for advanced residual prediction in video coding
US20160080771A1 (en) * 2014-09-17 2016-03-17 Mediatek Inc. Motion compensation apparatus having at least one processing circuit shared by normal mode and resized reference frame mode and related motion compensation method
KR20170084055A (ko) 2014-11-06 2017-07-19 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2016078599A1 (en) * 2014-11-20 2016-05-26 Mediatek Inc. Method of motion vector and block vector resolution control
US10462480B2 (en) 2014-12-31 2019-10-29 Microsoft Technology Licensing, Llc Computationally efficient motion estimation
EP3304907B1 (en) 2015-06-08 2022-03-23 VID SCALE, Inc. Intra block copy mode for screen content coding
KR20180008445A (ko) 2015-06-10 2018-01-24 삼성전자주식회사 적응적 가중치 예측을 위한 신택스 시그널링을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
CN108353176B (zh) 2015-09-24 2022-05-03 Lg 电子株式会社 在图像编译系统中的基于amvr的图像编译方法和装置
US10602141B2 (en) 2015-10-16 2020-03-24 Lg Electronics Inc. Filtering method and apparatus for improving prediction in image coding system
CN108353184B (zh) 2015-11-05 2022-02-01 联发科技股份有限公司 一种视频编解码的方法及装置
US10602176B2 (en) 2016-04-15 2020-03-24 Google Llc Coding interpolation filter type
WO2018012933A1 (ko) 2016-07-14 2018-01-18 삼성전자 주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US10116957B2 (en) 2016-09-15 2018-10-30 Google Inc. Dual filter type for motion compensated prediction in video coding
US10382781B2 (en) 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
US10462462B2 (en) 2016-09-29 2019-10-29 Qualcomm Incorporated Motion vector difference coding technique for video coding
US10341659B2 (en) 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
KR102543752B1 (ko) 2016-12-22 2023-06-14 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10701393B2 (en) 2017-05-10 2020-06-30 Mediatek Inc. Method and apparatus of reordering motion vector prediction candidate set for video coding
US20180332298A1 (en) 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression
US10904565B2 (en) 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
KR20200001554A (ko) 2018-06-27 2020-01-06 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102542433B1 (ko) 2018-08-10 2023-06-13 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램
US11336914B2 (en) 2018-08-16 2022-05-17 Qualcomm Incorporated History-based candidate list with classification
US11212550B2 (en) 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
CN117082259A (zh) 2018-10-10 2023-11-17 华为技术有限公司 帧间预测方法及装置
KR20210072098A (ko) 2018-10-24 2021-06-16 후아웨이 테크놀러지 컴퍼니 리미티드 현재 블록에 대한 모션 정보를 결정하는 방법, 히스토리 기반 모션 벡터 예측기 목록을 구성하고 업데이트하는 방법, 및 비 일시적 컴퓨터 판독 가능형 저장 매체, 및 비디오 인코딩/디코딩 방법 및 장치
WO2020125738A1 (en) 2018-12-21 2020-06-25 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods using history based motion vector prediction
US11178414B2 (en) * 2019-02-27 2021-11-16 Mediatek Inc. Classification for multiple merge tools
EP4358036A2 (en) 2019-03-11 2024-04-24 Huawei Technologies Co., Ltd. Interpolation filter clipping for sub-picture motion vectors
JP7307191B2 (ja) 2019-04-01 2023-07-11 北京字節跳動網絡技術有限公司 履歴に基づく動きベクトル予測のための補間フィルタの使用
JP2022530240A (ja) 2019-05-02 2022-06-28 北京字節跳動網絡技術有限公司 複数の参照フィルタを使用するイントラビデオコーディング
SG11202112279WA (en) * 2019-05-11 2021-12-30 Beijing Bytedance Network Technology Co Ltd Selective use of coding tools in video processing
EP3954124A4 (en) * 2019-05-12 2022-08-03 Beijing Bytedance Network Technology Co., Ltd. SIGNALING FOR RE-SAMPLING REFERENCE IMAGE
US11184607B2 (en) * 2019-06-13 2021-11-23 Qualcomm Incorporated Same picture order count (POC) numbering for scalability support
US11190781B2 (en) * 2019-06-24 2021-11-30 Alibaba Group Holding Limited Adaptive resolution change in video processing
US11563933B2 (en) * 2019-07-09 2023-01-24 Qualcomm Incorporated Reference picture resampling with switchable filters
US11425414B2 (en) 2019-08-05 2022-08-23 Tencent America LLC Method and apparatus for video coding
CN114270856A (zh) * 2019-08-20 2022-04-01 北京字节跳动网络技术有限公司 视频处理中的备选插值滤波器的选择性使用
US11375222B2 (en) 2019-09-22 2022-06-28 Tencent America LLC Method and device for video encoding and decoding with interpolation filter flag being consistent with MMVD distances

Also Published As

Publication number Publication date
EP3997881A1 (en) 2022-05-18
WO2021032143A1 (en) 2021-02-25
CN114270856A (zh) 2022-04-01
KR102635319B1 (ko) 2024-02-07
JP7359942B2 (ja) 2023-10-11
US11503288B2 (en) 2022-11-15
BR112022002480A2 (pt) 2022-04-26
EP3997881A4 (en) 2022-09-14
CN117395411A (zh) 2024-01-12
KR20220043133A (ko) 2022-04-05
JP2022544667A (ja) 2022-10-20
US20230076783A1 (en) 2023-03-09
US20220132111A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
JP7307191B2 (ja) 履歴に基づく動きベクトル予測のための補間フィルタの使用
KR102628361B1 (ko) 인터-예측을 위한 대역폭 제어 방법
WO2020192611A1 (en) Interaction between merge list construction and other tools
JP7359942B2 (ja) 映像処理における代替の補間フィルタの選択的使用
CN113383554A (zh) LUT和共享Merge列表之间的交互
JP2024038053A (ja) サブブロックに基づくインター予測のための調整方法
JP7323641B2 (ja) アフィンモードのための適応動きベクトル差分分解
JP2023156417A (ja) イントラブロックコピーコーディングされたブロックにおけるブロックベクトルのコーディング
CN110677658B (zh) 基于优先级的非相邻Merge设计
KR102635518B1 (ko) 변환된 단예측 후보의 사용
CN113412623A (zh) 记录仿射模式自适应运动矢量分辨率的上下文
TW202017370A (zh) 擴展Merge模式與其他視頻編碼工具之間的交互
CN113366851A (zh) 对称运动矢量差编解码模式的快速算法
JP2024037992A (ja) サブブロックに基づくインター予測における動き精度

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231004