JP2021528921A - デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置 - Google Patents
デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置 Download PDFInfo
- Publication number
- JP2021528921A JP2021528921A JP2020572893A JP2020572893A JP2021528921A JP 2021528921 A JP2021528921 A JP 2021528921A JP 2020572893 A JP2020572893 A JP 2020572893A JP 2020572893 A JP2020572893 A JP 2020572893A JP 2021528921 A JP2021528921 A JP 2021528921A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- unrefined
- motion
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 427
- 238000000034 method Methods 0.000 title claims abstract description 100
- 239000013598 vector Substances 0.000 claims abstract description 232
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 10
- 238000007670 refining Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 19
- 230000002123 temporal effect Effects 0.000 description 19
- 230000015654 memory Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 238000012360 testing method Methods 0.000 description 13
- 238000009795 derivation Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 11
- 238000005192 partition Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 230000011664 signaling Effects 0.000 description 9
- 238000000638 solvent extraction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 241000700159 Rattus Species 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- 101710121996 Hexon protein p72 Proteins 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 101710125418 Major capsid protein Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- RMLPZKRPSQVRAB-UHFFFAOYSA-N tris(3-methylphenyl) phosphate Chemical compound CC1=CC=CC(OP(=O)(OC=2C=C(C)C=CC=2)OC=2C=C(C)C=CC=2)=C1 RMLPZKRPSQVRAB-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本出願は、その全体を参照することによって本明細書に組み込まれる、「Methods and Apparatus for Reducing the Coding Latency of Decoder−Side Motion Refinement」と題する米国仮特許出願第62/690,507号(2018年6月27日に出願された)からの特許出願であり、その利益を主張する。
(a)第1の動きベクトルを使用して第1の予測P0を生成し、第2の動きベクトルを使用して第2の予測P1を生成することと、
(b)第1の予測P0および第2の予測P1を平均化することによって、双予測テンプレート信号Ptmpを生成することと、
(c)テンプレート信号Ptmpに基づいて、第1の動きベクトルに対する第1の動きリファインメント(Δx,Δy)* 0および第2の動きベクトルに対する第2の動きリファインメント(Δx,Δy)* 1を判定するために、オプティカルフローモデルを使用することと、
(d)第1の動きリファインメント(Δx,Δy)* 0を使用して第1の動きベクトルをリファインし、第2の動きリファインメント(Δx,Δy)* 1を使用して第2の動きベクトルをリファインすることと、
を含むステップを反復的に実行することによってリファインされる。
図1Aは、1つまたは複数の開示される実施形態を実装することができる、例示的な通信システム100を示す図である。通信システム100は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムであってもよい。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通じて、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)、ゼロテールユニークワード離散フーリエ変換拡散OFDM(ZT UW DTS−S−OFDM)、ユニークワードOFDM(UW−OFDM)、リソースブロックフィルタードOFDM、およびフィルタバンクマルチキャリア(FBMC)など、1つまたは複数のチャネルアクセス方法を利用してもよい。
HEVCのように、VVCは、ブロックベースハイブリッドビデオコーディングフレームワーク上で構築される。図2は、ブロックベースハイブリッドビデオ符号化システムの実施例の機能的ブロック図である。入力ビデオ信号103は、ブロックごとに処理される。ブロックは、コーディングユニット(CU)と称されてもよい。VTM−1.0では、CUは、最大で128×128画素であってもよい。しかしながら、四分木のみに基づいてブロックを区画化するHEVCと比較して、VTM−1.0では、コーディングツリーユニット(CTU)は、四分/二分/三分木に基づいて、変化する特性に適合するようCUに分割されてもよい。加えて、HEVCにおける複数の区画ユニットタイプの概念は排除されることがあり、その結果、VVCでは、CU、予測ユニット(PU)、および変換ユニット(TU)の分離は使用されず、代わりに、各々のCUは、更なる区画なしに予測および変換の両方のための基本単位として使用されることがある。マルチタイプツリー構造では、CTUは、四分木構造によって最初に区画化される。次いで、各々の四分木リーフノードは更に、二分木および三分木構造によって区画化されてもよい。図3A〜3Eに示されるように、5つの分岐タイプ、四分区画化(quaternary partitioning)、水平二分区画化(horizontal binary partitioning)、垂直二分区画化(vertical binary partitioning)、水平三分区画化(horizontal ternary partitioning)、および垂直三分区画化(vertical ternary partitioning)が存在してもよい。
HEVCのように、動き情報をシグナリングするオーバヘッドを低減させるために、VTMおよびBMSの両方は、各々のCUの動き情報をコーディングする2つのモード、すなわち、マージモードおよび非マージモードを含む。マージモードでは、カレントCUの動き情報は、空間隣接ブロックおよび時間隣接ブロックから直接導出され、競合ベーススキーム(competition-based scheme)は、全ての利用可能な候補の中から最良の隣接ブロックを選択するために適用され、それに対応して、最良の候補のインデックスのみが、デコーダにおいてCUの動き情報を再構築するために送信される。インターコーディングされたPUが非マージモードにおいてコーディングされる場合、MVは、進化型動きベクトル予測(AMVP)技術から導出されたMV予測子を使用して異なってコーディングされる。マージモードのように、AMVPは、空間隣接候補および時間隣接候補からMV予測子を導出する。次いで、MV予測子と実際のMVとの間の差、および予測子のインデックスがデコーダに送信される。
VTMにおけるマージモードに対し、選択されたマージ候補が双予測されるとき、カレントCUの予測信号は、候補の参照リストL0およびL1と関連付けられた2つのMVを使用して、2つの予測ブロックを平均化することによって形成される。しかしながら、マージ候補の動き情報(カレントCUの空間隣接または空間隣接のいずれかから導出される)は、カレントCUの真の動きを表すのに十分に正確でないことがあり、したがって、インター予測の効率性を悪化させることがある。マージモードのコーディング性能を更に改善するために、デコーダ側動きベクトルリファインメント(DMVR)方法は、マージモードのMVをリファインするためにBMS−1.0において適用される。特に、選択されたマージ候補が双予測されるとき、双予測テンプレートは、参照リストL0およびL1のそれぞれからのMVに基づいて、2つの予測信号の平均として最初に生成される。次いで、ブロックマッチングベース動きリファインメント(block-matching based motion refinement)は、以下に説明されるように、ターゲットとして双予測テンプレートを使用して、初期MVの周りで局所的に実行される。
VTM/BMS−1.0における双予測は、平均化を使用して既に再構築された参照ピクチャから取得された2つの時間予測ブロックの組み合わせである。しかしながら、ブロックベース動き補償の制限に起因して、それらは、2つの予測ブロックの間で取得することができる残りの小さな動きであることがあり、よって、動き補償された予測の効率性を低減させる。この問題に対処するために、ブロック内部のサンプルごとにそのような動きを補償するために、JEMにおいて双方向オプティカルフロー(BIO)が使用されている。特に、BIOは、双予測が使用されるときのブロックベース動き補償された予測の上位で実行される、サンプルごとの動きリファインメントである。1つのブロック内の各々のサンプルに対するリファインされた動きベクトルの導出は、古典的なオプティカルフローモデルに基づいている。I(k)(x,y)が参照ピクチャリストk(k=0,1)から導出される予測ブロックの行列(x,y)におけるサンプル値であり、∂I(k)(x,y)/∂xおよび∂I(k)(x,y)/∂yが、サンプルの水平勾配および垂直勾配であるとする。BIOによって修正された双予測信号は、式(2)として取得される。
HEVCおよびそれに先行したもののように、VTM−1.0は、ピクチャの間の時間的冗長性を効率的に低減させるために、動き補償された予測(MCP:motion compensated prediction)を採用し、よって、高いインターコーディング効率を達成する。1つのCUの予測信号を生成するために使用されるMVがビットストリームにおいてシグナリングされ、またはその空間/時間隣接から継承されるかのいずれかであることを理由に、空間隣接CUのMCPの間の依存性は存在しない。結果として、同一のピクチャ/スライス内の全てのインターブロックのMCP処理は、相互に独立している。よって、VTM−1.0およびHEVCに対し、複数のインターブロックの復号処理を並列して行うことができ、例えば、それらは、並列性を利用するために、異なるスレッドに割り当てられてもよい。
DMVRの符号化/復号待ち時間を除去または低減させると共に、その主要なコーディング性能を保持する方法が本開示において提案される。特に、開示の様々な実施形態は、以下の態様のうちの1つまたは複数を含む。
上記指摘されたように、カレントブロックのリファインされたMVがDMVRを通じて完全に再構築されるまで隣接ブロックの符号化/復号が実行されないことを理由に、1つのDMVRブロックのリファインされたMVを、その隣接ブロックのMV予測子として使用することは、真のCODEC設計に対する並列符号化/復号に対して不適切である。そのような分析に基づいて、この章では、DMVRによって生じるコーディング待ち時間を除去する方法が提案される。いくつかの実施形態では、DMVRのコア設計(例えば、ブロックマッチングベース動きリファインメント)は、既存の設計と同一のままである。しかしながら、MV予測(例えば、AMVP、マージ、TMVP、およびATMVP)ならびにデブロッキングを実行するために使用されるDMVRブロックのMVは、DMVRによって生じる隣接ブロックの間の依存性を除去することができるように修正される。
いくつかの実施形態では、リファインされた動きを使用する代わりに、DMVRブロックのリファインされていない動きを使用してMV予測およびデブロッキングを常に実行することが提案される。図11は、そのような方法が適用された後の修正されたDMVR処理を示す。図11に示されるように、リファインされたMVを使用する代わりに、MV予測子を導出し、デブロッキングフィルタの境界強度を判定するために、リファインされていないMV(DMVRの前の元のMV)が使用される。ブロックの最終双予測信号を生成するために、リファインされたMVのみが使用される。カレントブロックのリファインされたMVとその隣接ブロックの復号との間の依存性が存在しないことを理由に、DMVRの符号化/復号待ち時間を除去するために、そのような実施形態が使用されてもよい。
図11の実施例では、TMVPおよびATMVPを通じて後のピクチャ内の併置ブロックに対する時間動き予測子を導出し、カレントブロックとその空間隣接との間のデブロッキングフィルタに対する境界強度を計算するために、DMVRブロックのリファインされていないMVが使用される。リファインされていないMVがリファインされたMVよりも精度が劣ることがあることを理由に、これは、何らかのコーディング性能損失につながることがある。一方で、時間動き予測(TMVPおよびATMVP)は、前に復号されたピクチャ(特に、併置ピクチャ)のMVを使用して、カレントピクチャ内のMVを予測する。したがって、カレントピクチャに対して時間動き予測を実行する前に、併置ピクチャ内のDMVR CUのリファインされたMVは、既に再構築されている。同様の状況もデブロッキングフィルタ処理に適用可能であり、デブロッキングフィルタが再構築された再構築されたサンプルに適用されることを理由に、カレントブロックのサンプルがMC(DMVRを含む)、逆量子化、および逆変換を通じて完全に再構築された後にのみ、それを起動することができる。したがって、デブロッキングがDMVRブロックに適用される前に、リファインされたMVが既に利用可能である。
図12の実施例では、空間動き予測およびデブロッキングフィルタに対してDMVRブロックの異なるMVが使用される。一方で、時間動き予測に対して使用されるMV(外部メモリに記憶された)とは異なり、空間動き予測およびデブロッキングに対して使用されるMVは、データアクセス速度を増大させるために、実用的なCODEC設計に対してオンチップメモリを使用して記憶されることが多い。したがって、図12の方法のいくつかの実装態様は、2つの異なるオンチップメモリが、各々のDMVRブロックに対してリファインされていないMVおよびリファインされたMVの両方を記憶することを要求する。これは、MVをキャッシュするために使用されるラインバッファサイズを二倍にすることがあり、ハードウェアの実装態様に対して望ましくないことがある。MVの記憶の総オンチップメモリサイズをVTM−1.0にあるのと同一に維持するために、更なる実施形態では、デブロッキング処理に対してDMVRブロックのリファインされていないMVを使用することが提案される。図13は、この実施形態に従ったDMVR処理の実施例を示す。特に、図12における方法のように、最終双予測信号の生成に加え、TMVPおよびATMVPを通じて時間動き予測子を生成するために、リファインされたDMVR MVも使用される。しかしながら、図13の実施形態では、空間動き予測子(空間AMVPおよび空間マージ)を導出するだけでなく、カレントブロックのデブロッキングフィルタに対する境界強度を判定するためにも、リファインされていないMVが使用される。
上記指摘されたように、DMVRに対する符号化/復号待ち時間の1つの原因は、空間動き予測(例えば、空間AMVPおよび空間マージモード)によって被られる、DMVRブロックのリファインされたMVの再構築とその隣接ブロックの復号との間の依存性である。図11乃至13の方法などの方法は、DMVRのコーディング待ち時間を除去または低減させることができるが、この低減した待ち時間は、精度が劣るリファインされていないMVが空間動き予測に対して使用されることに起因して、コーディング効率が劣化することの犠牲となることがある。一方で、図10に示されるように、DMVRによって生じる最悪のケースの符号化/復号待ち時間は、DMVRモードによってコーディングされる最大数の連続ブロックに直接関連する。それらの問題に対処するために、いくつかの実施形態では、符号化/復号待ち時間を低減させると共に、空間動き予測に対してリファインされていないMVを使用することによって生じるコーディング損失を低減させるために、領域ベース方法(region-based method)が使用される。
本明細書で説明される追加の実施形態は、DMVR動きリファインメントを計算するためのブロックマッチング動き探索を置き換えるよう機能する。小型ローカルウインドウ内で動き探索を実行するブロックマッチングベース方法と比較して、実施例の実施形態は、空間サンプル導関数および時間サンプル導関数に基づいて、動きリファインメントを直接計算する。そのような実施形態は、導出されたリファインされた動きの値が探索ウインドウに制限されないことを理由に、計算上の複雑性を低減させ、リファインメント精度を増大させることができる。
上記議論されたように、ブロックが双予測されるとき、ブロックベース動き補償された予測の上位に対してサンプルごとの動きリファインメントをもたらすために、JEMにおいてBIOが使用されている。現在の設計に基づいて、BIOは、MVバッファに記憶され、空間動き予測および時間動き予測ならびにデブロッキングフィルタに対して使用されるMVを更新することなく、リファインメントの結果として動き補償された予測サンプルを強化するにすぎない。これは、現在のDMVRとは反対に、BIOは、隣接ブロックの間のいずれの符号化/復号待ち時間をもたらさない。しかしながら、現在のBIO設計では、動きリファインメントは、小さい単位(例えば、4×4)で導出される。これは、特にデコーダ側において、無視できない計算上の複雑性を招く。これは、ハードウェアCODEC実装態様に対して望ましくない。したがって、DMVRの待ち時間に対処すると共に、許容できるコーディングの複雑性を維持するために、いくつかの実施形態では、DMVRによってコーディングされるビデオブロックに対する局所的動きリファインメントを計算するために、ブロックベースBIOを使用することが提案される。特に、提案される実施形態では、BIOのコア設計(例えば、勾配およびリファインされた動きベクトルの計算)は、動きリファインメントを計算する既存の設計にあるのと同一に維持される。しかしながら、複雑性を低減させるために、動きリファインメントの量は、CUレベルに基づいて導出され、単一の値は、CU内部の全てのサンプルに対して集約され、単一の動きリファインメントを計算するために使用され、カレントCU内部の全てのサンプルは、同一の動きリファインメントを共有する。BIOに関して上記使用された同一の表記に基づいて、提案されるブロックレベルBIO動きリファインメントの例は、式(5)として導出される。
上述したように、BIOは、各々のサンプル位置における導出されたL0およびL1動きリファインメントがカレントピクチャの周りで対称である、すなわち、
Claims (15)
- ブロックベースビデオコーディング方法であって、
第1のブロックにおいて、第1のリファインされた動きベクトルおよび第2のリファインされた動きベクトルを生成するよう、第1のリファインされていない動きベクトルおよび第2のリファインされていない動きベクトルをリファインするステップと、
前記第1のリファインされていない動きベクトルおよび前記第2のリファインされていない動きベクトルのうちの一方または両方を使用して、第2のブロックの動き情報を予測するステップであって、前記第2のブロックは、前記第1のブロックの空間隣接である、ステップと、
前記第1のリファインされた動きベクトルおよび前記第2のリファインされた動きベクトルを使用して、双予測により前記第1のブロックを予測するステップと、
を備えたことを特徴とする方法。 - 前記第1のリファインされていない動きベクトルおよび前記第2のリファインされていない動きベクトルをリファインするステップは、デコーダ側動きベクトルリファインメント(DMVR)を使用して実行される、ことを特徴とする請求項1に記載の方法。
- 前記第1のリファインされていない動きベクトルおよび前記第2のリファインされていない動きベクトルをリファインするステップは、誤差メトリックを実質的に最小化するよう、前記第1のリファインされた動きベクトルおよび前記第2のリファインされた動きベクトルを選択することを含む、ことを特徴とする請求項1に記載の方法。
- 前記誤差メトリックは、テンプレートコストであり、前記第1のリファインされていない動きベクトルおよび前記第2のリファインされていない動きベクトルをリファインするステップは、前記第1のリファインされていない動きベクトルおよび前記第2のリファインされていない動きベクトルを使用して双予測によって生成されたテンプレート信号に関して、前記テンプレートコストを実質的に最小化するよう、前記第1のリファインされた動きベクトルおよび前記第2のリファインされた動きベクトルを選択することを含む、ことを特徴とする請求項3に記載の方法。
- 前記テンプレートコストは、絶対差の合計である、ことを特徴とする請求項4に記載の方法。
- 前記誤差メトリックは、オプティカルフロー誤差メトリックである、ことを特徴とする請求項3に記載の方法。
- 前記第1のリファインされた動きベクトルおよび前記第2のリファインされた動きベクトルのうちの少なくとも1つを使用して、第3のブロックの動き情報を予測するステップを更に備え、前記第3のブロックおよび前記第1のブロックは、異なるピクチャ内の併置ブロックである、ことを特徴とする請求項1乃至6のいずれか一項に記載の方法。
- 前記第3のブロックの動き情報を予測するステップは、進化型時間動きベクトル予測(ATMVP)を使用して実行される、ことを特徴とする請求項7に記載の方法。
- 前記第2のブロックの動き情報を予測するステップは、空間進化型動きベクトル予測(AMVP)を使用することを含む、ことを特徴とする請求項1乃至8のいずれか一項に記載の方法。
- 前記第2のブロックの動き情報を予測するステップは、前記第1のリファインされていない動きベクトルおよび前記第2のリファインされていない動きベクトルのうちの少なくとも1つを空間マージ候補として使用することを含む、ことを特徴とする請求項1乃至8のいずれか一項に記載の方法。
- 前記第2のブロックの動き情報を予測するステップは、前記第1のリファインされていない動きベクトルまたは前記第2のリファインされていない動きベクトルを識別する少なくとも1つのインデックスを受信することを含む、ことを特徴とする請求項1乃至8のいずれか一項に記載の方法。
- 少なくとも1つの再構築された動きベクトルを生成するよう、前記第1のリファインされていない動きベクトルおよび前記第2のリファインされていない動きベクトルのうちの少なくとも1つに動きベクトル差を追加するステップと、
前記少なくとも1つの再構築された動きベクトルにより、前記第2のブロックのインター予測を生成するステップと、
を更に備えたことを特徴とする請求項1乃至8のいずれか一項に記載の方法。 - 前記第1のリファインされていない動きベクトルおよび前記第2のリファインされていない動きベクトルのうちの少なくとも1つを使用して、前記第2のブロックのインター予測を生成するステップを更に備えたことを特徴とする請求項1乃至11のいずれか一項に記載の方法。
- 前記第1のリファインされていない動きベクトルおよび前記第2のリファインされていない動きベクトルの少なくとも一部に基づいて、前記第1のブロックに対するデブロッキングフィルタ強度を判定するステップを更に備えたことを特徴とする請求項1乃至13のいずれか一項に記載の方法。
- プロセッサ、およびビデオコーディング方法を含む機能を実行するよう動作可能な命令を記憶した非一時的コンピュータ可読媒体を備えたビデオコーディングシステムであって、前記ビデオコーディング方法は、
第1のブロックにおいて、第1のリファインされた動きベクトルおよび第2のリファインされた動きベクトルを生成するよう、第1のリファインされていない動きベクトルおよび第2のリファインされていない動きベクトルをリファインするステップと、
前記第1のリファインされていない動きベクトルおよび前記第2のリファインされていない動きベクトルのうちの一方または両方を使用して、第2のブロックの動き情報を予測するステップであって、前記第2のブロックは、前記第1のブロックの空間隣接である、ステップと、
前記第1のリファインされた動きベクトルおよび前記第2のリファインされた動きベクトルを使用して、双予測により前記第1のブロックを予測するステップと、
を備えたことを特徴とするビデオコーディングシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023222829A JP2024029161A (ja) | 2018-06-27 | 2023-12-28 | デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862690507P | 2018-06-27 | 2018-06-27 | |
US62/690,507 | 2018-06-27 | ||
PCT/US2019/038300 WO2020005719A1 (en) | 2018-06-27 | 2019-06-20 | Methods and apparatus for reducing the coding latency of decoder-side motion refinement |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023222829A Division JP2024029161A (ja) | 2018-06-27 | 2023-12-28 | デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021528921A true JP2021528921A (ja) | 2021-10-21 |
JP7414742B2 JP7414742B2 (ja) | 2024-01-16 |
Family
ID=67185748
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020572893A Active JP7414742B2 (ja) | 2018-06-27 | 2019-06-20 | デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置 |
JP2023222829A Pending JP2024029161A (ja) | 2018-06-27 | 2023-12-28 | デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023222829A Pending JP2024029161A (ja) | 2018-06-27 | 2023-12-28 | デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11546628B2 (ja) |
EP (1) | EP3815374A1 (ja) |
JP (2) | JP7414742B2 (ja) |
KR (1) | KR20210029160A (ja) |
CN (1) | CN112369032A (ja) |
AU (2) | AU2019295574B2 (ja) |
MX (1) | MX2021000129A (ja) |
TW (2) | TW202345596A (ja) |
WO (1) | WO2020005719A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020084476A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Sub-block based prediction |
WO2020084474A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Gradient computation in bi-directional optical flow |
WO2020098647A1 (en) | 2018-11-12 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Bandwidth control methods for affine prediction |
CN113170097B (zh) | 2018-11-20 | 2024-04-09 | 北京字节跳动网络技术有限公司 | 视频编解码模式的编解码和解码 |
CN113056914B (zh) | 2018-11-20 | 2024-03-01 | 北京字节跳动网络技术有限公司 | 基于部分位置的差计算 |
CN112514384A (zh) | 2019-01-28 | 2021-03-16 | 株式会社 Xris | 视频信号编码/解码方法及其装置 |
JP7072088B2 (ja) * | 2019-02-08 | 2022-05-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置及び復号装置 |
JP2022521554A (ja) | 2019-03-06 | 2022-04-08 | 北京字節跳動網絡技術有限公司 | 変換された片予測候補の利用 |
JP7307192B2 (ja) | 2019-04-02 | 2023-07-11 | 北京字節跳動網絡技術有限公司 | デコーダ側の動きベクトルの導出 |
WO2020233662A1 (en) | 2019-05-21 | 2020-11-26 | Beijing Bytedance Network Technology Co., Ltd. | Syntax signaling for optical-flow based inter coding |
EP3991432A1 (en) * | 2019-07-01 | 2022-05-04 | InterDigital VC Holdings France, SAS | Bi-directional optical flow refinement of affine motion compensation |
CN114175654A (zh) * | 2019-08-08 | 2022-03-11 | 鸿颖创新有限公司 | 用于对视频数据编码的设备和方法 |
EP4018659A4 (en) | 2019-09-19 | 2022-11-30 | Beijing Bytedance Network Technology Co., Ltd. | SCALE WINDOW IN VIDEO CODING |
JP7391199B2 (ja) | 2019-10-05 | 2023-12-04 | 北京字節跳動網絡技術有限公司 | 映像コーディングツールのレベルベースシグナリング |
WO2021068956A1 (en) * | 2019-10-12 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | Prediction type signaling in video coding |
KR20220073740A (ko) | 2019-10-13 | 2022-06-03 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 레퍼런스 픽처 리샘플링 및 비디오 코딩 툴 사이의 상호 작용 |
EP4032290A4 (en) | 2019-10-18 | 2022-11-30 | Beijing Bytedance Network Technology Co., Ltd. | SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS |
JP2023011955A (ja) * | 2019-12-03 | 2023-01-25 | シャープ株式会社 | 動画像符号化装置、動画像復号装置 |
KR20220113379A (ko) | 2019-12-27 | 2022-08-12 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 픽처 헤더의 슬라이스 유형의 시그널링 |
US11917176B2 (en) | 2021-09-28 | 2024-02-27 | Avago Technologies International Sales Pte. Limited | Low-latency and high-throughput motion vector refinement with template matching |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180041769A1 (en) * | 2016-08-08 | 2018-02-08 | Mediatek Inc. | Pattern-based motion vector derivation for video coding |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10536701B2 (en) * | 2011-07-01 | 2020-01-14 | Qualcomm Incorporated | Video coding using adaptive motion vector resolution |
US9491460B2 (en) * | 2013-03-29 | 2016-11-08 | Qualcomm Incorporated | Bandwidth reduction for video coding prediction |
US9667996B2 (en) | 2013-09-26 | 2017-05-30 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
US11477477B2 (en) * | 2015-01-26 | 2022-10-18 | Qualcomm Incorporated | Sub-prediction unit based advanced temporal motion vector prediction |
WO2018016823A1 (ko) * | 2016-07-18 | 2018-01-25 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
EP4351139A3 (en) * | 2017-06-09 | 2024-05-15 | Electronics and Telecommunications Research Institute | Video encoding/decoding method and device, and recording medium storing bit stream |
KR20190108506A (ko) * | 2018-03-14 | 2019-09-24 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
-
2019
- 2019-06-20 AU AU2019295574A patent/AU2019295574B2/en active Active
- 2019-06-20 CN CN201980044209.9A patent/CN112369032A/zh active Pending
- 2019-06-20 US US17/256,155 patent/US11546628B2/en active Active
- 2019-06-20 EP EP19736899.6A patent/EP3815374A1/en active Pending
- 2019-06-20 MX MX2021000129A patent/MX2021000129A/es unknown
- 2019-06-20 JP JP2020572893A patent/JP7414742B2/ja active Active
- 2019-06-20 WO PCT/US2019/038300 patent/WO2020005719A1/en unknown
- 2019-06-20 KR KR1020207037636A patent/KR20210029160A/ko unknown
- 2019-06-24 TW TW112118968A patent/TW202345596A/zh unknown
- 2019-06-24 TW TW108122003A patent/TWI805788B/zh active
-
2022
- 2022-12-05 US US18/075,169 patent/US11973974B2/en active Active
-
2023
- 2023-04-11 AU AU2023202182A patent/AU2023202182A1/en active Pending
- 2023-12-28 JP JP2023222829A patent/JP2024029161A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180041769A1 (en) * | 2016-08-08 | 2018-02-08 | Mediatek Inc. | Pattern-based motion vector derivation for video coding |
Non-Patent Citations (3)
Title |
---|
JIANLE CHEN, ET AL.: ""Algorithm Description of Joint Exploration Test Model 7 (JEM 7)"", DOCUMENT: JVET-G1001-V1, [ONLINE], vol. JVET-G1001 (version 1), JPN6023023904, 19 August 2017 (2017-08-19), pages 13 - 28, ISSN: 0005082419 * |
大久保 榮 監修, 「インプレス標準教科書シリーズ 改訂三版H.264/AVC教科書」, vol. 第1版, JPN6023023902, 1 January 2009 (2009-01-01), JP, pages 144 - 148, ISSN: 0005082420 * |
村上 篤道(外2名), 「高効率映像符号化技術 HEVC/H.265とその応用」, vol. 第1版, JPN6023023903, JP, pages 125 - 136, ISSN: 0005082418 * |
Also Published As
Publication number | Publication date |
---|---|
EP3815374A1 (en) | 2021-05-05 |
WO2020005719A1 (en) | 2020-01-02 |
JP2024029161A (ja) | 2024-03-05 |
TW202015412A (zh) | 2020-04-16 |
KR20210029160A (ko) | 2021-03-15 |
US20210274213A1 (en) | 2021-09-02 |
MX2021000129A (es) | 2021-03-25 |
US11546628B2 (en) | 2023-01-03 |
US11973974B2 (en) | 2024-04-30 |
AU2023202182A1 (en) | 2023-05-04 |
JP7414742B2 (ja) | 2024-01-16 |
US20230120362A1 (en) | 2023-04-20 |
CN112369032A (zh) | 2021-02-12 |
TWI805788B (zh) | 2023-06-21 |
AU2019295574B2 (en) | 2023-01-12 |
TW202345596A (zh) | 2023-11-16 |
AU2019295574A1 (en) | 2021-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7414742B2 (ja) | デコーダ側動きリファインメントのコーディング待ち時間を低減させる方法および装置 | |
US11582458B2 (en) | Adaptive motion vector precision for affine motion model based video coding | |
JP7311589B2 (ja) | 双方向オプティカルフローのための複雑性低減およびビット幅制御 | |
JP2021518059A (ja) | エンコーディングおよびデコーディングのレイテンシ低減に基づく、テンプレートによるインター予測技術 | |
JP7307184B2 (ja) | オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法 | |
US20240107024A1 (en) | Affine motion model derivation method | |
JP2022536967A (ja) | オプティカルフローによる動き補償のための精度精緻化 | |
RU2803479C2 (ru) | Адаптивная точность вектора движения для кодирования видеосигналов на основе аффинной модели движения | |
RU2811563C2 (ru) | Системы, устройства и способы для уточнения интерпрогнозирования с помощью оптического потока | |
RU2789522C2 (ru) | Методики промежуточного предсказания на основе шаблона, основанные на уменьшении задержки кодирования и декодирования |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210226 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210120 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7414742 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |