JP2023065581A - ビデオ符号化及び復号化 - Google Patents
ビデオ符号化及び復号化 Download PDFInfo
- Publication number
- JP2023065581A JP2023065581A JP2023031313A JP2023031313A JP2023065581A JP 2023065581 A JP2023065581 A JP 2023065581A JP 2023031313 A JP2023031313 A JP 2023031313A JP 2023031313 A JP2023031313 A JP 2023031313A JP 2023065581 A JP2023065581 A JP 2023065581A
- Authority
- JP
- Japan
- Prior art keywords
- affine
- merge
- candidates
- block
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 230
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 217
- 238000000034 method Methods 0.000 claims abstract description 75
- 230000002123 temporal effect Effects 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 117
- 238000009795 derivation Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 28
- 230000008901 benefit Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 24
- 230000015654 memory Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 9
- 230000011664 signaling Effects 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 7
- 238000004091 panning Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 239000010410 layer Substances 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
Description
HEVCは、コンテキスト適応型バイナリ算術符号化(CABAC)、ゴロムライス符号、又は固定長符号化と呼ばれる単純なバイナリ表現など、複数種類のエントロピー符号化を使用する。ほとんどの場合、異なるシンタックス要素を表現するために、バイナリ符号化処理が実行される。このバイナリ符号化処理はまた、非常に具体的であり、異なる構文要素に依存する。算術符号化は、それらの現在の確率に従ってシンタックス要素を表す。CABACは、コンテキスト変数によって定義される「コンテキスト」に応じてシンタックス要素の確率を分離する算術符号化の拡張である。これは条件付き確率に相当する。コンテキスト変数は、すでに符号化されている左上のブロック(以下により詳細に説明するように、図6bのA2)及び左上のブロック(図6bのB3)の現在のシンタックス値から導き出され得る。
HEVCは、3つの異なるインターモード、すなわち、インターモード、マージモード、及びマージスキップモードを使用する。これらのモード間の主な違いは、ビットストリームにおけるデータ伝達である。動きベクトル符号化について、現在のHEVC規格は、規格の先のバージョンには存在しなかった動きベクトル予測のための競合ベースの方式を含む。インター又はマージモードのそれぞれについて最良の動きベクトル予測子又は最良の動き情報を見つけるために、いくつかの候補が符号化部側で歪みレート基準と競合していることを意味する。最良の予測子又は動き情報の最良の候補に対応するインデックスが、ビットストリームに挿入される。復号化部は、予測子又は候補の同じセットを導出することができ、複合化されたインデックスに従って最良の1つを使用する。HEVCの画面コンテンツ拡張では、イントラブロックコピーと呼ばれる新しい符号化ツールが、それらの3つのインターモードのいずれかとして伝達され、IBCと同等のインターモードとの間の差分は、基準フレームが現在の1つであるかどうかをチェックすることによって行われる。これは、例えば、リストL0の参照インデックスをチェックすることと、これがそのリスト内の最後のフレームである場合、これがイントラブロックコピーであると推定することによって実施され得る。実施するための別の方法は、現在のピクチャオーダカウントと参照フレームを比較すること、すなわち、等しい場合、これはイントラブロックコピーである。
オルタナティブ・テンポラル・モーション・ベクタ・プレディクション(ATMVP)は、特定の動き補償である。時間的基準フレームからの現在のブロックについて1つの動き情報のみを考慮する代わりに、それぞれ配置されたブロックの各動き情報が考慮される。したがって、この時間的動きベクトル予測は図9に示すように、各サブブロックの関連する動き情報と一緒に、現在のブロックの分割を与える。現在のVTM参照ソフトウェアでは、ATMVPがマージ候補のリストに挿入されたマージ候補として伝達される。SPSレベルでATMVPが有効化されると、最大マージ候補数は1つ増加される。したがって、このモードが無効化されている場合、5の代わりに6の候補が考慮される。
HEVCでは、動き補償予測(MCP)のために並進運動モデルのみが適用される。一方、現実世界では、例えばズームイン/ズームアウト、回転、遠近運動、及び他の不規則な動きなど、多くの種類の運動がある。JEMでは、簡易アフィン変換動き補償予測が適用され、2017年7月13~21日にトリノのJVET会議で発表された文書JVET-G1001の抽出に基づいて、アフィンモードの一般原理を以下に述べる。この文書全体は、それはJEMで使用される他のアルゴリズムを記述するので、ここに参照により組み込まれる。図11(a)に示すように、ブロックのアフィン動き場は、2つの制御点動きベクトルによって記述される。ブロックの動きベクトル場(MVF)は、以下の数式1によって記述される。
Ctx = IsAffine(A2) + IsAffine(B3)
ここで、IsAffine(ブロック)はブロックがアフィンブロックでない場合に0を、ブロックがアフィンである場合に1を返す関数である。
JEMでは、アフィンマージモード(マージ又はマージスキップ)は位置A1、B1、B0、A0、B2のブロック間でアフィンである第1の隣接ブロックから導出される。これらの位置は、図6a及び6bに示される。しかしながら、どのようにアフィンパラメータが導出されるかは、完全には定義されておらず、本発明は、少なくともこの点を改善することを目的とする。
図12は、符号化モードに関連するいくつかのシンタックス要素の部分復号化処理のフローチャートである。この図では、スキップフラグ(1201)、予測モード(1211)、マージフラグ(1203)、マージインデックス(1208)、及びアフィンフラグ(1207)が復号化され得る。インタースライス内の全てのCUについて、スキップフラグが復号化される(1201)。CUがスキップでない場合(1202)、プレドモード(予測モード)が復号される(1211)。このシンタックス要素は、現在のCUがインター又はイントラモードであるかを示す。CUがスキップ(1202)である場合、それの現在のモードはインターモードであることに留意されたい。CU(1212)の場合、CUはAMVP内又はマージモード内で符号化される。CUがインター(1212)である場合、マージフラグが復号化される(1203)。CUがマージである場合(1204)又はCUがスキップである場合(1202)、アフィンフラグ(1206)が復号化される必要があるかが検証される(1205)。現在のCUが、現在のVVCにおいてCUの高さ及び幅が等しくならなければならないことを意味する、2N×2NCUである場合、このフラグは復号化される。
図13は、マージ候補導出を示すフローチャートである。この導出は図8に示されるHEVCのマージリスト導出の上に構築されている。HEVCと比較した主な変更は、ATMVP候補(1319、1321、1323)の追加、候補の完全な重複チェック(1320、1325)、及び候補の新しい順序である。ATMVP予測は、それは現在のCUのいくつかの動き情報を表すので、特別な候補として設定される。第1のサブブロック(左上)の値は時間的候補と比較され、時間的候補はそれらが等しい場合、マージリストに追加されない(1320)。ATMVP候補は、他の空間的候補とは比較されない。リスト内に既にある各空間的候補と比較される時間的候補とは反対に(1325)、それが重複候補である場合、マージ候補リスト内に追加されない。
・A1
・B1
・B0
・A0
・ATMVP
・B2
・時間的
・組み合わせ
・Zero_MV
第1の実施形態では、アフィン動き予測モードが、少なくとも1つのインターモードのためのビットストリームの一部のために伝達(例えば、有効化又は無効化)され得る。前記ビットストリームの一部に使用されるインター予測モードが判定され、アフィン動きモードが、ビットストリームの一部で使用されるインター予測モードに依存して伝達される(有効化又は無効化)。この実施形態の利点は、未使用のシンタックスを除去することによって、より良い符号化効率になることである。さらに、それは、評価される必要のないいくつかのインター符号化の可能性を回避することによって、符号化部の複雑さを低減する。最終的には、符号化部側では、CABAC符号化されるいくつかのアフィンフラグが、符号化処理の効率を向上させるビットストリームから抽出される必要がない。第1実施形態の例では、スキップモードは、アフィンモードのために有効化されない。CUがスキップされたCUである場合(データストリーム内のスキップフラグの状態又は存在に基づいて)、アフィンフラグはビットストリームから抽出される必要がないことを意味する。図14(図12と同じ構造を共有し、対応する説明はここを適用する)はこの例を示す。図14において、CUがスキップ(1402)である場合、アフィンフラグ(1406)は復号化されず、1405の条件は評価されない。CUがスキップである場合、マージインデックスは復号化される(1406)。
第2の実施形態では、現在のブロックのアフィンモードを伝達することは、1つ以上の隣接するブロックのモードに依存する。符号化効率を改善するために利用され得る隣接するブロックがどのように符号化されるかに相関を有する可能性がある。特に、1つ以上の特定の隣接ブロックがアフィンモードを使用する場合、アフィンモードが現在のモードに適切である可能性がより高い。一実施形態では、アフィンマージ又はアフィンマージスキップモードの候補の数が、2つの候補のみに減らされる。少数のアフィンフラグがマージモードのために復号化され、かつ、より少ない比較及びメモリバッファアクセスがアフィンマージチェック条件(1205)のために必要とされるので、この実施形態の利点は、復号部側での複雑さの低減である。符号化部側のより少ないアフィンマージモードは、評価される必要がある。
第3実施形態では、現在のブロックのアフィンモードを伝達することは、現在のブロックに隣接するブロックに対応するマージ候補のリストに依存する。第3実施形態の一例では、リストは、現在のアフィンフラグのコンテキスト導出のために、そのようなブロックのアフィンフラグ値が既にメモリ内にあり、そのようなさらなるメモリアクセスが必要ではないため、前記ブロックに関連するコンテキスト変数を判定するために使用されているブロックから始まる。例えば、可能なアフィンマージ候補は、図6(b)に示すように、A2又はB3又はBO又はAO又はB2の順序である(A1又はB1又はBO又はAO又はB2の代わりに)。これは、現在のVTMと比較して、符号化効率の改善を与える。そして、それはまた、最悪のシナリオに対するアフィンフラグの復号化のためにアクセスされる必要があるアフィンフラグの量を制限する。現在のバージョンでは、モジュール1205用の5及びアフィンフラグコンテキスト導出用の2及び現在の実施形態では、A2及びB3のアフィンフラグ値としての5のみが、現在のアフィンフラグのコンテキスト導出のためのメモリ内に既に存在するので、そのようなさらなるメモリアクセスは必要ではない。
第4実施形態では、アフィンモードの伝達は、隣接するブロックがマージモードであるか否かに依存して実行される。第4実施形態の一例では、アフィンマージ(マージ及びスキップ)の候補がアフィンAMVP候補のみであってもよい。図17は、この実施形態を示す。この実施形態の利点は、少しのアフィンフラグが符号化効率に影響することなく復号化される必要があるので、符号化の複雑さ低減になる。第4実施形態のさらなる例では、アフィンマージ(マージ及びスキップ)の候補が、アフィンAMVP候補又はマージアフィン候補のみであってもよいが、アフィンマージスキップでなくてよい。先の実施例と同様に、この例の利点は、少しのアフィンフラグは符号化効率に影響することなく復号化される必要があるので、符号化の複雑さ低減になる。
第5の実施形態では、アフィンモードを伝達することは、アフィンモードを候補動き予測子として挿入することを含む。第5実施形態の一例では、アフィンマージ(及びマージスキップ)がマージ候補として伝達される。この場合、図12のモジュール1205、1206及び1207は除去される。加えて、マージモードの符号化効率に影響を与えないように、マージ候補の最大可能数はインクリメントされる。例えば、現在のVTMバージョンでは、この値は6に等しく設定され、したがって、この実施形態をVTMの現在のバージョンに適用する場合、値は7になる。本利点は、少数のシンタックス要素が復号化される必要があるため、マージモードのシンタックス要素の設計簡略化になる。いくつかの状況では、符号化効率が観察され得る。
A1
B1
B0
A0
アフィンマージ
ATMVP
B2
時間的
組み合わせ
Zero_MV
a)スキップモードが有効化されている場合(スキップフラグの状況)
この基準を適用する一例では、アフィンマージインデックスが高い値(例えば5)に等しく設定された値を有するか、又は現在のマージがマージスキップモードである場合、それは空間的及び時間的MVの後に設定される。第1実施形態について説明したように、任意の大きな(又は複雑な)動きになる可能性が低いので、アフィンモードがスキップモードのために選択される可能性は低い。
b)隣接ブロックの動き情報
この基準を適用する一例では、アフィンマージインデックスが高い値に等しく設定された値を有するか、又は左の1つのブロック及び上の1つのブロック(例えば、ブロックA1及びB1)の動き情報が同様か又は等しい場合、それは空間的及び時間的MVの後に設定される。A1がB1と同じ動き情報を有する場合、動き情報は現在のブロックについて一定である高い確率を有する。したがって、アフィンマージは、選択される低い確率を有する。
この基準を適用する一例では、アフィンマージインデックスが高い値に等しく設定された値を有するか、又はATMVP候補が1つの動き情報のみを含む場合、それは空間的及び時間的MVの後に設定される。その場合、配置されたブロックの前のフレーム内の細分化はない。したがって、現在のブロックコンテンツが非一定の動きの内部にあるわずかな可能性があるので、マージリスト内の高い位置にアフィンを設定しないことが好ましい。
d)隣接ブロックがアフィンモードを使用する場合
この基準を適用する一例では、アフィンマージインデックスが低い値に等しく設定された値を有するか、又は2つ以上の隣接ブロックがアフィンである場合、それは時間的予測の前で、かつ、空間的予測子から遠くに設定される。この基準を適用する追加の例では、アフィンマージインデックス又はアフィン位置(idx)が、idx=P-Nに等しく設定され、ここで、Pはアフィンマージインデックスについて可能な最低位置であり、Nはアフィン隣接ブロックの数である。一例では、Pは5であり、Nは5であり、隣接ブロックはA1、B1、B0、A0、B2である。この表記では、最高位置は0のインデックス値を有することに留意されたい。
a)スキップフラグの状況
この基準を適用する一例では、現在のマージがマージスキップモードである場合、アフィンマージ候補は追加されない。第1実施形態で説明したように、スキップモードではアフィンモードが選択される低い可能性がある。
b)隣接ブロックの動き情報
この基準を適用する一実施形態では、アフィンマージ候補は左の1つのブロック及び上の1つのブロック(例えば、ブロックA1及びB1)の動き情報が同様か、又は等しい場合には追加されない。左の1つのブロック及び上の1つのブロック(例えば、ブロックA1及びB1)が同じ動き情報を有する場合、動き情報は現在のブロックに対して一定である高い確率となる。したがって、アフィンマージは無効化されるであろう。
c)ATMVP候補
この基準を適用する一実施形態では、ATMVP候補が1つの動き情報のみを含む場合、アフィンマージ候補は追加されない。このような例では、現在のブロックコンテンツが非一定の動きの内部にあるわずかな可能性があるので、マージリスト内の高い位置でアフィンを無効化することが好ましい。これらの基準の組合せが可能であることを理解されたい。
図20は、本発明の1つ以上の実施形態の実装するためのコンピューティングデバイス1300の模式的なブロック図である。コンピューティングデバイス1300は、マイクロコンピュータ、ワークステーション、又はライトポータブルデバイス等のデバイスであってもよい。コンピューティングデバイス1300は、以下に接続された通信バスを備える、マイクロプロセッサなどの中央処理装置(CPU)1301、本発明の実施形態の方法の実行可能コードを記憶するためのランダムアクセスメモリ(RAM)1302及び本発明の実施形態に係る画像の少なくとも一部を符号化又は復号化するための方法を実現するために必要な変数及びパラメータを記録するために適合されたレジスタ、それらのメモリ容量は例えば、拡張ポートに接続されたオプションのRAMによって拡張されてもよく、本発明の実施形態を実現するためのコンピュータプログラムを記憶するための読み出し専用メモリ(ROM)1303、ネットワークインターフェース(NET)13004は処理されるデジタルデータが送信又は受信される通信ネットワークに典型的に接続される。ネットワークインターフェース(NET)1304は単一のネットワークインターフェースであってもよいし、異なるネットワークインターフェース(例えば、有線及び無線インターフェース、又は異なる種類の有線又は無線インターフェース)のセットで構成されてもよい。
本発明の目的はアフィンモードが最も効率的な方法で利用されることを保証することであり、上述の特定の例は、アフィンモードが有用であると知覚される可能性に依存して、アフィンモードの使用を伝達することに関することが理解されるであろう。これのさらなる例は複雑な動き(アフィン変換が特に効率的である)が符号化されていることが知られている場合に、符号化部に適用され得る。このような場合の例には以下を含む。
a)カメラズームイン/ズームアウト
b)撮影(すなわち、回転運動)中に向きを変えるポータブルカメラ(例えば、携帯電話)
c)「魚眼」レンズカメラのパン(例えば、画像の一部の伸張/歪曲)
Claims (8)
- 動き予測を使用して符号化されたビットストリームからの画像を復号する方法であって、
動き予測子候補のリストを生成することと、
サブブロックアフィン予測の候補をマージ候補として挿入することと、を含み、
前記リスト内の前記サブブロックアフィン予測の候補の順序は、サブブロックコロケーテッド時間的予測の候補の状況に基づいて可変である、
ことを特徴とする方法。 - 動き予測を使用してビットストリームに画像を符号化する方法であって、
動き予測子候補のリストを生成することと、
サブブロックアフィン予測の候補をマージ候補として挿入することと、を含み、
前記リスト内の前記サブブロックアフィン予測の候補の順序は、サブブロックコロケーテッド時間的予測の候補の状況に基づいて可変である、
ことを特徴とする方法。 - 前記リスト内の前記サブブロックアフィン予測の候補の前記順序は、サブブロックコロケーテッド時間的予測の候補を使用するかに基づいて可変である、
ことを特徴とする請求項1又は2に記載の方法。 - 前記リストは、前記サブブロックアフィン予測の候補を含むことを特徴とする請求項1乃至3のいずれか1項に記載の方法。
- 前記リストの最大候補数は、前記サブブロックアフィン予測が有効かに依存することを特徴とする請求項1乃至4のいずれか1項に記載の方法。
- 動き予測を使用してビットストリームに画像を符号化する符号化器であって、
動き予測子候補のリストを生成する手段と、
サブブロックアフィン予測の候補をマージ候補として挿入する手段と、を含み、
前記リスト内の前記サブブロックアフィン予測の候補の順序は、サブブロックコロケーテッド時間的予測の候補の状況に基づいて可変である、
ことを特徴とする符号化器。 - 動き予測を使用してビットストリームからの画像を復号する復号化器であって、
動き予測子候補のリストを生成する手段と、
サブブロックアフィン予測の候補をマージ候補として挿入する手段と、を含み、
前記リスト内の前記サブブロックアフィン予測の候補の順序は、サブブロックコロケーテッド時間的予測の候補の状況に基づいて可変である、
ことを特徴とする復号化器。 - コンピュータに請求項1又は2に記載の方法を実行させるためのコンピュータプログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1815444.3A GB2577318B (en) | 2018-09-21 | 2018-09-21 | Video coding and decoding |
GB1815444.3 | 2018-09-21 | ||
JP2021507497A JP2022501870A (ja) | 2018-09-21 | 2019-09-18 | ビデオ符号化及び復号化 |
PCT/EP2019/075079 WO2020058371A1 (en) | 2018-09-21 | 2019-09-18 | Video coding and decoding |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021507497A Division JP2022501870A (ja) | 2018-09-21 | 2019-09-18 | ビデオ符号化及び復号化 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023065581A true JP2023065581A (ja) | 2023-05-12 |
JP7530465B2 JP7530465B2 (ja) | 2024-08-07 |
Family
ID=64024174
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021507497A Pending JP2022501870A (ja) | 2018-09-21 | 2019-09-18 | ビデオ符号化及び復号化 |
JP2023031313A Active JP7530465B2 (ja) | 2018-09-21 | 2023-03-01 | ビデオ符号化及び復号化 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021507497A Pending JP2022501870A (ja) | 2018-09-21 | 2019-09-18 | ビデオ符号化及び復号化 |
Country Status (8)
Country | Link |
---|---|
US (2) | US12034953B2 (ja) |
EP (1) | EP3854094A1 (ja) |
JP (2) | JP2022501870A (ja) |
KR (2) | KR102408765B1 (ja) |
CN (1) | CN112740696A (ja) |
GB (1) | GB2577318B (ja) |
TW (2) | TW202402049A (ja) |
WO (1) | WO2020058371A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2577318B (en) | 2018-09-21 | 2021-03-10 | Canon Kk | Video coding and decoding |
GB2578150C (en) | 2018-10-18 | 2022-05-18 | Canon Kk | Video coding and decoding |
GB2595054B (en) * | 2018-10-18 | 2022-07-06 | Canon Kk | Video coding and decoding |
WO2020098752A1 (en) * | 2018-11-14 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Improvements of affine prediction mode |
CN109688414B (zh) * | 2018-12-19 | 2022-11-11 | 同济大学 | 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法 |
EP3954119A4 (en) * | 2019-05-21 | 2022-06-22 | Beijing Bytedance Network Technology Co., Ltd. | SYNTAX SIGNALING IN A SUBBLOCK MERGE MODE |
US20230018401A1 (en) * | 2019-06-25 | 2023-01-19 | Interdigital Vc Holdings France, Sas | Motion vector prediction in video encoding and decoding |
WO2021027767A1 (en) | 2019-08-10 | 2021-02-18 | Beijing Bytedance Network Technology Co., Ltd. | Position restriction for inter coding mode |
BR112022007408A2 (pt) | 2019-10-18 | 2022-09-27 | Beijing Bytedance Network Tech Co Ltd | Método e aparelho de processamento de vídeo, e, meio legível por computador |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017200771A1 (en) * | 2016-05-16 | 2017-11-23 | Qualcomm Incorporated | Affine motion prediction for video coding |
WO2018131523A1 (ja) * | 2017-01-12 | 2018-07-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011013253A1 (ja) * | 2009-07-31 | 2011-02-03 | 株式会社 東芝 | 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置 |
CN107105280B (zh) | 2010-12-14 | 2020-01-03 | M&K控股株式会社 | 用于编码运动画面的设备 |
AU2015272007B2 (en) | 2011-04-20 | 2018-02-01 | Qualcomm Incorporated | Motion vector prediction in video coding |
EP2741499A4 (en) | 2011-08-03 | 2014-12-10 | Panasonic Ip Corp America | VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO CODING DEVICE, VIDEO ENCODING DEVICE AND VIDEO ENCODING / DECODING DEVICE |
CN107483925B (zh) | 2011-09-09 | 2020-06-19 | 株式会社Kt | 用于解码视频信号的方法 |
US9083983B2 (en) | 2011-10-04 | 2015-07-14 | Qualcomm Incorporated | Motion vector predictor candidate clipping removal for video coding |
KR20130050405A (ko) | 2011-11-07 | 2013-05-16 | 오수미 | 인터 모드에서의 시간 후보자 결정방법 |
AU2012336557C1 (en) | 2011-11-08 | 2016-03-10 | Kt Corporation | Method and apparatus for coefficient scan based on partition mode of prediction unit |
US9264706B2 (en) | 2012-04-11 | 2016-02-16 | Qualcomm Incorporated | Bypass bins for reference index coding in video coding |
US9538172B2 (en) | 2012-04-11 | 2017-01-03 | Qualcomm Incorporated | Grouping bypass coded syntax elements in video coding |
US20140086328A1 (en) | 2012-09-25 | 2014-03-27 | Qualcomm Incorporated | Scalable video coding in hevc |
KR101789954B1 (ko) | 2013-12-27 | 2017-10-25 | 인텔 코포레이션 | 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측 |
KR101994870B1 (ko) | 2014-01-03 | 2019-07-01 | 지이 비디오 컴프레션, 엘엘씨 | 웨지렛 기반 코딩 개념 |
GB2524476B (en) | 2014-03-14 | 2016-04-27 | Canon Kk | Method, device and computer program for optimizing transmission of motion vector related information when transmitting a video stream |
WO2016008157A1 (en) | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
KR101904683B1 (ko) | 2014-12-09 | 2018-10-04 | 미디어텍 인크. | 비디오 코딩에서 움직임 벡터 예측자 또는 합병 후보를 도출하는 방법 |
US10306229B2 (en) | 2015-01-26 | 2019-05-28 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
US11477477B2 (en) | 2015-01-26 | 2022-10-18 | Qualcomm Incorporated | Sub-prediction unit based advanced temporal motion vector prediction |
CN106559669B (zh) * | 2015-09-29 | 2018-10-09 | 华为技术有限公司 | 预测图像编解码方法及装置 |
CN108432250A (zh) | 2016-01-07 | 2018-08-21 | 联发科技股份有限公司 | 用于视频编解码的仿射帧间预测的方法及装置 |
WO2017147765A1 (en) | 2016-03-01 | 2017-09-08 | Mediatek Inc. | Methods for affine motion compensation |
CN116614639A (zh) * | 2016-07-12 | 2023-08-18 | 韩国电子通信研究院 | 图像编码/解码方法和用于所述方法的记录介质 |
CN109565600B (zh) | 2016-08-04 | 2021-11-09 | 华为技术有限公司 | 用于在预测参数中进行数据隐藏的方法和装置 |
US10326986B2 (en) | 2016-08-15 | 2019-06-18 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
US10721489B2 (en) * | 2016-09-06 | 2020-07-21 | Qualcomm Incorporated | Geometry-based priority for the construction of candidate lists |
US10609423B2 (en) * | 2016-09-07 | 2020-03-31 | Qualcomm Incorporated | Tree-type coding for video coding |
WO2018049594A1 (en) | 2016-09-14 | 2018-03-22 | Mediatek Inc. | Methods of encoder decision for quad-tree plus binary tree structure |
US10812791B2 (en) | 2016-09-16 | 2020-10-20 | Qualcomm Incorporated | Offset vector identification of temporal motion vector predictor |
US10462462B2 (en) * | 2016-09-29 | 2019-10-29 | Qualcomm Incorporated | Motion vector difference coding technique for video coding |
US10778999B2 (en) | 2016-09-30 | 2020-09-15 | Qualcomm Incorporated | Frame rate up-conversion coding mode with affine motion model |
KR102472399B1 (ko) | 2016-10-04 | 2022-12-05 | 인텔렉추얼디스커버리 주식회사 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
US10448010B2 (en) * | 2016-10-05 | 2019-10-15 | Qualcomm Incorporated | Motion vector prediction for affine motion models in video coding |
CN117528108A (zh) | 2016-11-28 | 2024-02-06 | 英迪股份有限公司 | 图像编码方法、图像解码方法及用于传送比特流的方法 |
EP4090025A1 (en) | 2016-12-05 | 2022-11-16 | LG Electronics Inc. | Video decoding method, video encoding method, storage medium and transmission method |
US10701390B2 (en) * | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
MX2019011211A (es) | 2017-03-21 | 2019-12-05 | Lg Electronics Inc | Metodo de transformacion en el sistema de codificacion de imagenes y aparato para el mismo. |
US10701391B2 (en) | 2017-03-23 | 2020-06-30 | Qualcomm Incorporated | Motion vector difference (MVD) prediction |
WO2019003993A1 (ja) * | 2017-06-26 | 2019-01-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
GB2563936A (en) | 2017-06-30 | 2019-01-02 | Canon Kk | Method and apparatus for encoding or decoding a flag during video data encoding |
EP3468195A1 (en) * | 2017-10-05 | 2019-04-10 | Thomson Licensing | Improved predictor candidates for motion compensation |
US11877001B2 (en) * | 2017-10-10 | 2024-01-16 | Qualcomm Incorporated | Affine prediction in video coding |
JP2021016016A (ja) | 2017-10-20 | 2021-02-12 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
US20190208211A1 (en) | 2018-01-04 | 2019-07-04 | Qualcomm Incorporated | Generated affine motion vectors |
US20190222834A1 (en) | 2018-01-18 | 2019-07-18 | Mediatek Inc. | Variable affine merge candidates for video coding |
WO2020004990A1 (ko) * | 2018-06-27 | 2020-01-02 | 엘지전자 주식회사 | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
US10863193B2 (en) | 2018-06-29 | 2020-12-08 | Qualcomm Incorporated | Buffer restriction during motion vector prediction for video coding |
WO2020008334A1 (en) | 2018-07-01 | 2020-01-09 | Beijing Bytedance Network Technology Co., Ltd. | Efficient affine merge motion vector derivation |
TW202017377A (zh) | 2018-09-08 | 2020-05-01 | 大陸商北京字節跳動網絡技術有限公司 | 視頻編碼和解碼中的仿射模式 |
CN117714717A (zh) * | 2018-09-10 | 2024-03-15 | 华为技术有限公司 | 视频解码方法及视频解码器 |
GB2577318B (en) | 2018-09-21 | 2021-03-10 | Canon Kk | Video coding and decoding |
-
2018
- 2018-09-21 GB GB1815444.3A patent/GB2577318B/en active Active
-
2019
- 2019-09-18 CN CN201980062116.9A patent/CN112740696A/zh active Pending
- 2019-09-18 US US17/275,091 patent/US12034953B2/en active Active
- 2019-09-18 EP EP19770081.8A patent/EP3854094A1/en active Pending
- 2019-09-18 WO PCT/EP2019/075079 patent/WO2020058371A1/en unknown
- 2019-09-18 KR KR1020217011863A patent/KR102408765B1/ko active IP Right Grant
- 2019-09-18 KR KR1020227005800A patent/KR20220028162A/ko not_active Application Discontinuation
- 2019-09-18 JP JP2021507497A patent/JP2022501870A/ja active Pending
- 2019-09-20 TW TW112132064A patent/TW202402049A/zh unknown
- 2019-09-20 TW TW108134043A patent/TWI815969B/zh active
-
2022
- 2022-05-24 US US17/752,677 patent/US12058360B2/en active Active
-
2023
- 2023-03-01 JP JP2023031313A patent/JP7530465B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017200771A1 (en) * | 2016-05-16 | 2017-11-23 | Qualcomm Incorporated | Affine motion prediction for video coding |
WO2018131523A1 (ja) * | 2017-01-12 | 2018-07-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Non-Patent Citations (1)
Title |
---|
LAROCHE, GUILLAUME ET AL.: "CE4-related: On Affine mode restriction", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACA, vol. JVET-L0193 (version 1), JPN6022020943, 24 September 2018 (2018-09-24), ISSN: 0005215572 * |
Also Published As
Publication number | Publication date |
---|---|
CN112740696A (zh) | 2021-04-30 |
GB201815444D0 (en) | 2018-11-07 |
US20220360804A1 (en) | 2022-11-10 |
TWI815969B (zh) | 2023-09-21 |
KR20220028162A (ko) | 2022-03-08 |
US12058360B2 (en) | 2024-08-06 |
GB2577318A (en) | 2020-03-25 |
TW202402049A (zh) | 2024-01-01 |
JP2022501870A (ja) | 2022-01-06 |
JP7530465B2 (ja) | 2024-08-07 |
KR102408765B1 (ko) | 2022-06-15 |
TW202015403A (zh) | 2020-04-16 |
GB2577318B (en) | 2021-03-10 |
KR20210056431A (ko) | 2021-05-18 |
US20220053204A1 (en) | 2022-02-17 |
US12034953B2 (en) | 2024-07-09 |
WO2020058371A1 (en) | 2020-03-26 |
EP3854094A1 (en) | 2021-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7530465B2 (ja) | ビデオ符号化及び復号化 | |
JP7514236B2 (ja) | ビデオ符号化及び復号 | |
JP7514345B2 (ja) | ビデオ符号化の動きベクトル予測子インデックス符号化 | |
GB2582929A (en) | Residual signalling | |
GB2606282A (en) | Video coding and decoding | |
GB2585019A (en) | Residual signalling | |
JP7321345B2 (ja) | ビデオ符号化及び復号 | |
JP2023052553A (ja) | ビデオ符号化及び復号 | |
KR20240072202A (ko) | 비디오 코딩 및 디코딩 | |
GB2585018A (en) | Residual signalling | |
WO2023202956A1 (en) | Video coding and decoding | |
GB2589735A (en) | Video coding and decoding | |
GB2597616A (en) | Video coding and decoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240726 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7530465 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |