JP2023009262A - ビデオ符号化のための一般化された多重仮説予測(Generalized Multi-Hypothesis Prediction)のためのシステムおよび方法 - Google Patents
ビデオ符号化のための一般化された多重仮説予測(Generalized Multi-Hypothesis Prediction)のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2023009262A JP2023009262A JP2022184106A JP2022184106A JP2023009262A JP 2023009262 A JP2023009262 A JP 2023009262A JP 2022184106 A JP2022184106 A JP 2022184106A JP 2022184106 A JP2022184106 A JP 2022184106A JP 2023009262 A JP2023009262 A JP 2023009262A
- Authority
- JP
- Japan
- Prior art keywords
- weight
- block
- prediction
- weights
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000013507 mapping Methods 0.000 claims abstract 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 11
- 230000001174 ascending effect Effects 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 description 113
- 230000002123 temporal effect Effects 0.000 description 38
- 230000008569 process Effects 0.000 description 29
- 238000005286 illumination Methods 0.000 description 28
- 239000013598 vector Substances 0.000 description 27
- 238000004891 communication Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 239000010410 layer Substances 0.000 description 18
- 238000005192 partition Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 230000003044 adaptive effect Effects 0.000 description 10
- 230000011664 signaling Effects 0.000 description 10
- 238000010276 construction Methods 0.000 description 9
- 238000012804 iterative process Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000001364 causal effect Effects 0.000 description 8
- 238000009795 derivation Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- HCUOEKSZWPGJIM-YBRHCDHNSA-N (e,2e)-2-hydroxyimino-6-methoxy-4-methyl-5-nitrohex-3-enamide Chemical compound COCC([N+]([O-])=O)\C(C)=C\C(=N/O)\C(N)=O HCUOEKSZWPGJIM-YBRHCDHNSA-N 0.000 description 3
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本出願は、以下の米国仮特許出願、すなわち、2016年5月13日に出願された「Systems and Methods for Generalized Multi-Hypothesis Prediction for Video Coding」と題する第62/336227号、2016年5月27日に出願された「Systems and Methods for Generalized Multi-Hypothesis Prediction for Video Coding」と題する第62/342772号、2016年9月23日に出願された「Systems and Methods for Generalized Multi-Hypothesis Prediction for Video Coding」と題する第62/399234号、および2016年10月31日に出願された「Systems and Methods for Generalized Multi-Hypothesis Prediction for Video Coding」と題する第62/415187号の非仮出願であり、米国特許法第119条(c)の下で、それらからの利益を主張する。これらの出願のすべては、それらの全体が、参照によって本明細書に組み込まれる。
図1は、汎用的なブロックベースのハイブリッドビデオエンコーディングシステム100のブロック図である。入力ビデオ信号102は、ブロック毎に処理される。HEVCにおいては、高解像度(1080p以上)のビデオ信号を効率的に圧縮するために、(「符号化ユニット」またはCUと呼ばれる)拡張されたブロックサイズが、使用される。HEVCにおいては、CUは、最大で64×64ピクセルであることができる。CUは、予測ユニットまたはPUにさらに区分されることができ、それらに対して、別々の予測方法が、適用される。入力ビデオブロック(MBまたはCU)毎に、空間的予測(160)および/または時間的予測(162)が、実行されることができる。空間的予測(または「イントラ予測」)は、同じビデオ画像/スライス内のすでに符号化された近隣ブロックからのピクセルを使用して、現在のビデオブロックを予測する。空間的予測は、ビデオ信号に内在する空間的冗長性を低減させる。(「インター予測」または「動き補償予測」とも呼ばれる)時間的予測は、すでに符号化されたビデオ画像からのピクセルを使用して、現在のビデオブロックを予測する。時間的予測は、ビデオ信号に内在する時間的冗長性を低減させる。与えられたビデオブロックについての時間的予測信号は、現在ブロックとそれの基準ブロックとの間の動きの量および方向を示す、1つまたは複数の動きベクトルによってシグナリングされることができる。また、(H.264/AVCまたはHEVCなど、最近のビデオ符号化規格のケースのように)複数の基準画像が、サポートされる場合、ビデオブロック毎に、基準画像の基準インデックスも、送信されることができる。基準インデックスは、時間的予測信号が、基準画像ストア(164)内のどの基準画像に由来するかを識別するために、使用される。空間的および/または時間的予測の後、エンコーダ内のモード決定ブロック(180)は、例えば、レート-歪み最適化方法に基づいて、最良の予測モードを選択する。予測ブロックは、その後、現在のビデオブロックから減算され(116)、予測残差は、変換(104)を使用して脱相関され、目標ビットレートを達成するために、量子化される(106)。量子化された残差係数は、逆量子化(110)および逆変換(112)されて、再構成された残差を形成し、それは、その後、予測ブロックに加算され戻されて(126)、再構成されたビデオブロックを形成する。さらに、デブロッキングフィルタおよび適応ループフィルタなどのインループフィルタリングが、再構成されたビデオブロックに適用されることができ(166)、その後、それは、基準画像ストア(164)に入れられ、さらなるビデオブロックを符号化するために使用される。出力ビデオビットストリーム120を形成するために、符号化モード(インターまたはイントラ)、予測モード情報、動き情報、および量子化された残差係数は、すべてが、エントロピ符号化ユニット(108)に送信され、さらに圧縮およびパックされて、ビットストリームを形成する。
図2は、ブロックベースのビデオデコーダ200の全体的なブロック図を与える。ビデオビットストリーム202は、エントロピデコーディングユニット208において、アンパックおよびエントロピデコードされる。符号化モードおよび予測情報は、(イントラ符号化の場合は)空間的予測ユニット260に、または(インター符号化の場合は)時間的予測ユニット262に送信されて、予測ブロックを形成する。残差変換係数は、逆量子化ユニット210および逆変換ユニット212に送信されて、残差ブロックを再構成する。予測ブロックおよび残差ブロックは、その後、226において、合算される。再構成されたブロックは、さらに、インループフィルタリングを通過することができ、その後、それは、基準画像ストア264内に記憶される。基準画像ストア内の再構成されたビデオは、その後、ディスプレイデバイスを駆動するために送出されるほか、さらなるビデオブロックを予測するためにも使用される。
重み付けされた双予測は、動き補償を実行するときに、フェージング推移など、経時的な照度変化を補償するために主に使用される、符号化ツールである。スライス毎に、乗算的な重み値および加算的なオフセット値の2つのセットが、明示的に示され、基準リスト毎に、一度に1つずつ、動き補償予測に別々に適用される。この技法は、照度が、どの画像についても直線的かつ等しく変化するときは、最も効果的である。
局所的な照度補償においては、パラメータ(乗算的な重み値および加算的なオフセット値の2つのペア)が、ブロック毎に適合させられる。これらのパラメータをスライスレベルにおいて示す、重み付けされた双予測と異なり、この技法は、テンプレート(TC)の再構成信号と、テンプレートの予測信号(T0およびT1)との間の照度変化に、最適なパラメータを適合させることに訴える(図3を参照)。結果のパラメータは、(重みとオフセット値の第1のペアについては)TCとT0との間の照度差を、また(重みとオフセット値の第2のペアについては)TCとT1との間の照度差を、別々に最小化することによって、最適化される。その後、重み付けされた双予測に関するものと同じ動き補償プロセスが、導出されたパラメータを用いて実行される。
空間および時間にわたる照度の変化は、動き補償予測の性能に深刻な影響を与えることができる。図4に見ることができるように、照度が、時間方向に沿って弱まるとき、動き補償予測は、良好な性能を提供しない。例えば、オブジェクトのサンプルが、t-3からtまでの時間の期間にわたって、移動し、このサンプルの強度値が、それの動きの軌跡に沿って、vt-3からvtに変化する。このサンプルが、第tの画像において予測されることになると仮定すると、それの予測値は、vt-3からvt-1のうちに制限され、したがって、貧弱な動き補償予測が、もたらされることがある。重み付けされた双予測および局所的な照度補償の上述の技法は、この問題を十分には解決しないことがある。照度は、画像内において、激しく変動することがあるので、重み付けされた双予測は、失敗することがある。局所的な照度補償は、ブロックとそれの関連付けられたテンプレートブロックとの間の低い照度相関が原因で、重みおよびオフセット値の貧弱な推定をときには生成する。これらの例は、大域的な記述およびテンプレートベースの局所的な記述が、空間および時間にわたる照度変動を表すために十分ではないことを示している。
本明細書において説明される例示的な実施形態は、重み付けされた動き補償予測についての予測効率を改善させることができる。いくつかの実施形態においては、動き補償予測、および多重仮説予測信号を線形結合するためのブロックレベルの重み値を使用する、一般化された多重仮説予測のためのシステムおよび方法が、提案される。いくつかの実施形態においては、重み値を使用する一般化された双予測フレームワークが、説明される。いくつかの実施形態においては、重みの有限セットが、シーケンス、画像、またはスライスレベルにおいて、使用され、重みのセットについての構築プロセスが、説明される。いくつかの実施形態においては、重み値は、与えられた重みセットに基づいて、決定され、現在ブロックおよびそれの基準ブロックの信号を考慮して、最適化される。重み値をシグナリングするための例示的な符号化方法が、説明される。提案される予測についての動き推定プロセスのための例示的なエンコーダ探索基準が、説明され、開示される時間的予測技法と組み合わされた、提案される予測プロセスが、説明される。
本明細書において説明される例示的なシステムおよび方法は、一般化された多重仮説予測を利用する。一般化された多重仮説予測は、複数の動き補償予測信号の線形結合に基づいて、ピクセルの強度値の推定値を提供する、多重仮説予測の一般化された形式として、説明されることができる。一般化された多重仮説予測は、異なる品質を有する複数の予測を一緒に組み合わせることによって、それらの利益を利用することができる。正確な推定値に到達するために、動き補償予測信号が、予め定められた関数f(●)を通して、処理されることができ(例えば、ガンマ補正、局所的な照度補正、ダイナミックレンジ補正)、その後、線形結合されることができる。一般化された多重仮説予測は、式(1)を参照して、説明されることができ、
一般化された双予測(GBi)という用語は、動き仮説の数が2に制限される、すなわち、n=2である、一般化された多重仮説予測の特別なケースを指すために、本明細書においては使用される。このケースにおいては、式(1)によって与えられる、サンプルxにおける予測信号は、
P[x]=w0*P0[x+v0]+w1*P1[x+v1] (2)
に簡略化されることができ、ここで、w0およびw1は、ブロック内のすべてのサンプルにわたって共用される、2つの重み値である。この式に基づいて、重み値w0およびw1を調整することによって、多種多様な予測信号が、生成されることができる。基準リストL0を用いる片予測については、(w0,w1)=(1,0)、基準リストL1を用いる片予測については、(w0,w1)=(0,1)、および2つの基準リストを用いる双予測については、(w0,w1)=(0.5,0.5)など、w0およびw1についてのいくつかの構成は、従来の片予測および双予測と同じ予測をもたらすことができる。(1,0)および(0,1)のケースにおいては、動き情報の一方のセットだけが、シグナリングされるが、その理由は、ゼロに等しい重み値と関連付けられた他方のセットは、予測信号P[x]に対していかなる効力も生じないからである。
P[x]=(1-w1)*P0[x+v0]+w1*P1[x+v1] (3)
のように、さらに簡略化されることができる。例示的な実施形態においては、シグナリングオーバヘッドをさらに制限するために、頻繁に使用される重み値は、(これ以降、WL1と呼ばれる)セット内に配置されることができ、そのため、各重み値は、それがWL1内においてどのエントリを占有するかを指し示す、制限された範囲内のインデックス値weight_idxによって示されることができる。
図5は、一般化された双予測を実行するように適合された、例示的なビデオエンコーダのブロック図である。図1に示されたビデオエンコーダに類似して、例示的なビデオエンコーダにおいても、空間的予測および時間的予測は、2つの基本的なピクセル領域予測モジュールである。空間的予測モジュールは、図1に示されたものと同じであることができる。図1において「動き予測」と命名された時間的予測モジュールは、一般化された双予測(GBi)モジュール502によって置換されることができる。一般化された双予測(GBi)モジュールは、加重平均の方法で、2つの別々の動き補償予測(MCP)信号を結合するように動作可能であることができる。図6に示されるように、GBiモジュールは、以下のように、最終的なインター予測信号を生成するためのプロセスを実装することができる。GBiモジュールは、現在のビデオブロックと双予測との間の重み付けされた双予測誤差を最小化する2つの基準ブロックを指し示す、2つの最適な動きベクトル(MV)を探索するために、基準画像において動き推定を実行することができる。GBiモジュールは、これら2つの予測ブロックを、それらの2つの最適なMVを用いた動き補償を通して、フェッチすることができる。GBiモジュールは、その後、2つの予測ブロックの加重平均として、一般化された双予測の予測信号を計算することができる。
図9は、いくつかの実施形態における、ビデオデコーダのブロック図である。図9のデコーダは、図5に示されたビデオエンコーダによって生成されたビットストリームをデコードするように動作可能であることができる。符号化モードおよび予測情報は、空間的予測または一般化された双予測を使用して、予測信号を導出するために、使用されることができる。一般化された双予測のために、ブロック動き情報および重み値が、受信され、デコードされる。
明示的にシグナリングされた重み、デコーダ側で導出された重み、およびスケーリングされた重みを使用する、重みセットWL1の例示的な構築プロセスが、重みセットWL1のサイズをコンパクトにするための例示的な削減プロセスとともに、以下で説明される。
明示的な重み値は、シーケンス、画像、およびスライスレベルの各々において、シグナリングされ、階層的に管理されることができる。より低いレベルにおいて指定された重みは、より高いレベルにおけるそれらを置換することができる。より高いレベルにおける明示的な重みの数がpであり、相対的により低いレベルにおけるそれがqであると仮定すると、より低いレベルにおいて重み値リストを構築するときに、置換のための以下のルールが、適用されることができる。
● p>qであるとき、より高いレベルにおける最後のq個の重みが、より低いレベルにおけるq個の重みによって置換される。
● p≦qであるとき、より高いレベルにおけるすべての重みが、より低いレベルにおいて指定されたそれらによって置換される。
いくつかの実施形態においては、スライスレベルの重みセットWL1内の重み値は、シグナリングを用いずに、エンコーダおよびデコーダの両方において、テンプレートマッチングを通して導出される。図7に示されるように、この暗黙的な重み値は、現在ブロックの動き情報を有するテンプレートの予測信号(T0およびT1)と、テンプレートの再構成信号(すなわち、TC)との間の差を最小化することによって、導出されることができる。この問題は、
w* = argminwΣX(TC[x]-(1-w)*T0[x+v0]-w*T1[x+v1])2 (4)
として定式化されることができ、ここで、v0およびv1は、現在ブロックの動きベクトルである。式(4)は、2次関数であるので、T0およびT1が、正確に同じでない場合、導出される重みの閉形式表現が、獲得されることができ、すなわち、
いくつかの実施形態においては、明示的な重み値は、画像レベルにおいて示された2つのスケーリング係数gbi_scaling_factorsを使用することによって、さらにスケーリングされることができる。画像内における経時的なダイナミクスが高い可能な照度変化が原因で、これらの重み値のダイナミックレンジは、これらすべてのケースをカバーするには十分でないことがある。重み付けされた双予測は、画像間の照度差を補償することができるが、基礎となるビデオコーデックにおいてそれが可能にされると常に保証されるとは限らない。そのため、これらのスケーリング係数は、重み付けされた双予測が使用されないときに、複数の基準画像にわたる照度差を調節するために、使用されることができる。
例示的な実施形態は、WL1内の重み値の数をさらに低減させるように動作する。重み値を削減するための2つの例示的な手法が、以下で詳細に説明される。第1の手法は、動き補償予測結果に応答して、動作し、第2の手法は、0から1までの間の範囲の外の重み値に基づいて、動作する。
● weight_control_idx=0の場合、WL1は、関連付けられた画像について無変化のままである。
● weight_control_idx=1の場合、WL1内の範囲外重みは、関連付けられた画像に対して利用可能ではない。
● weight_control_idx=2の場合、WL1内の範囲外重みは、それの基準フレームが純粋に過去に由来する(例えば、HEVCおよびJEMにおける低遅延構成)、関連付けられた画像のいくつかに対して利用可能である。
● weight_control_idx=3の場合、WL1内の範囲外重みは、HEVCおよびJEMにおけるスライスレベルのフラグmvd_ll_zero_flagが有効であるときに限って、関連付けられた画像に対して利用可能である。
重みインデックス符号化のための2進化および符号語割り当てのための例示的なシステムおよび方法が、以下でより詳細に説明される。
例示的な実施形態においては、各重みインデックス(weight_idx)は、エントロピ符号化の前に、システマティック符号を通して、一意的な2進表現(binary_weight_idx)に変換される。説明の目的で、提案される2進化方法のツリー構造が、図8に示されている。binary_weight_idxの第1のビットは、(0または1に等しい重みと関連付けられた)片予測と、双予測とを区別するために使用される。片予測ブランチにおいては、別のビットが、2つの基準リスト、すなわち、(0に等しい重み値を指し示す重みインデックスと関連付けられた)基準リストL0、または(1に等しい重み値を指し示す重みインデックスと関連付けられた)基準リストL1のうちのどちらが参照されるかを示すために、シグナリングされる。双予測ブランチにおいては、各リーフノードは、WL1内の残りの重み値、すなわち、0でも1でもない重み値のうちの1つと関連付けられた、一意的な重みインデックス値を割り当てられる。例示的なビデオコーデックは、切断単進符号(truncated unary code)(例えば、図8)、および指数ゴロム符号(Exponential-Golomb code)など、双予測ブランチを2進化するための、多様なシステマティック符号をサポートする。双予測ブランチ内の各リーフノードが一意的なweight_idxを割り当てられる、例示的な技法が、以下でより詳細に説明される。このツリー構造を調べることを通して、各重みインデックスは、一意的な符号語(例えば、binary_weight_idx)にマッピングされることができ、またはそれから回復されることができる。
例示的な2進ツリー構造においては、各リーフノードは、1つの符号語に対応する。重みインデックスのシグナリングオーバヘッドを低減させるために、様々な適応的符号語割り当て方法が、双予測ブランチ内の各リーフノードを、一意的な重みインデックスにマッピングするために、使用されることができる。例示的な方法は、予め定められた符号語割り当て、ブロック適応的符号語割り当て、時間的レイヤベースの符号語割り当て、および時間遅延CTU適応的符号語割り当てを含む。これらの例示的な方法は、先に符号化されたブロックにおいて使用された重み値の発生に基づいて、双予測ブランチにおける符号語割り当てを更新する。頻繁に使用される重みは、より短い長さの符号語(すなわち、双予測ブランチにおけるより浅いリーフノード)に割り当てられることができ、一方、それ以外は、相対的により長い長さの符号語に割り当てられることができる。
一般化された双予測の適用を拡張して、局所的な照度補償、重み付けされた双予測、マージモード、双予測オプティカルフロー、アフィン動き予測、重ね合わされたブロック動き補償、およびフレームレートアップコンバージョン双予測を含む、他の符号化技術と一緒に用いるための実施形態が、以下で説明される。
例示的な一般化された双予測技法は、他の技法の中でもとりわけ、局所的な照度補償(IC)、および/または重み付けされた双予測の上で実行されることができる。ICおよび重み付けされた双予測の両方は、基準ブロック上における照度変化を補償するように動作する。それらの間の1つの相違は、ICの使用においては、重み(c0およびc1)ならびにオフセット値(o0およびo1)は、ブロック毎のテンプレートマッチングを通して導出され、一方、重み付けされた双予測の使用においては、これらのパラメータは、スライス毎に明示的にシグナリングされることである。これらのパラメータ(c0、c1、o0、o1)を用いると、GBiの予測信号は、
P[x]=(1-w1)*(c0*P0[x+v0]+o0)+w1*(c1*P1[x+v1]+o1) (14)
のように計算されることができる。
いくつかの実施形態においては、因果関係のある近隣ブロックからの動き情報ばかりではなく、同じ時間におけるそのブロックの重みインデックスも推測するために、マージモードが、使用される。(図13に示されるような)因果関係のある近隣ブロックに対するアクセス順序は、HEVCにおいて指定されたものと同じであることができ、空間的ブロックは、左、上、右上、左下、および右上ブロックの順序でアクセスされ、一方、時間的ブロックは、右下、および中央ブロックの順序でアクセスされる。いくつかの実施形態においては、空間的ブロックから最大で4つ、時間的ブロックから最大で1つ、最大で5つのマージ候補が、構築される。マージ候補を与えられると、式(3)、式(8)、式(13)、または式(14)において指定されたGBi予測プロセスが、適用されることができる。重みインデックスは、選択されたマージ候補の重み情報から推測されるので、それは、シグナリングされる必要がないことに留意されたい。
いくつかの実施形態においては、GBiの重み値は、双予測オプティカルフロー(BIO)モデルに適用されることができる。動き補償予測信号(P0[x+v0]およびP1[x+v1])に基づいて、BIOは、L0およびL1内の2つの対応するサンプル間の差を、それらの空間的垂直および水平勾配値に関して、低減させるために、オフセット値OBIO[x]を推定することができる。このオフセット値をGBi予測と組み合わせるために、式(3)は、
P[x]=(1-w1)*P0[x+v0]+w1*P1[x+v1]+oBIO[x] (15)
のように、再定式化されることができ、ここで、w1は、GBi予測を実行するために使用される重み値である。このオフセット値も、式(8)、式(13)、または式(14)のように、P0およびP1内の予測信号がスケーリングされた後、加算的オフセットとして、他のGBi変動に適用されることができる。
例示的な実施形態においては、GBi予測は、従来の双予測に対する拡張に類似した方式で、アフィン予測と組み合わされることができる。しかしながら、動き補償を実行するために使用される基本処理ユニットに、相違が存在する。アフィン予測は、PUの微細粒度の動きフィールド表現を形成するための、モデルベースの動きフィールド導出技法であり、各4×4ユニットの動きフィールド表現が、片予測または双予測変換動きベクトル、および与えられたモデルパラメータに基づいて導出される。すべての動きベクトルは、同じ基準画像を指し示すので、重み値を4×4ユニットの各々に適合させる必要はない。そのため、重み値は、各ユニットにわたって共用されることができ、PU当たりただ1つの重みインデックスが、シグナリングされることができる。4×4ユニットにおける動きベクトル、および重み値を用いて、GBiは、ユニット毎ベースで実行されることができ、そのため、同じ式(3)、式(8)、式(13)、および式(14)が、変更なしに、直接的に適用されることができる。
重ね合わされたブロック動き補償(OBMC)は、サンプル自らの動きベクトル、およびそれの因果関係のある近隣におけるそれらから導出された、動き補償信号に基づいて、このサンプルの強度値の予測を提供するための方法である。GBiの例示的な実施形態においては、OBMCのための動き補償においては、重み値も、考慮されることができる。例が、図14において示されており、現在ブロック内のサブブロックB1は、3つの動き補償予測ブロックを有し、それらの各々は、ブロックN1、N5、またはB1自体からの動き情報および重み値を使用することによって形成され、B1の結果の予測信号は、3つの加重平均であることができる。
いくつかの実施形態においては、GBiは、フレームレートアップコンバージョン(FRUC)と一緒に動作することができる。FRUCのために、2つの異なるモードが、使用されることができる。現在画像が、L0内の第1の基準画像とL1内の第1の基準画像との間に収まる場合、双予測モードが、使用されることができる。L0内の第1の基準画像およびL1内の第1の基準画像が、ともに、前方基準画像または後方基準画像である場合、片予測モードが、使用されることができる。FRUCにおける双予測ケースが、以下で詳細に説明される。JEMにおいては、FRUC双予測のために、等しい重み(すなわち、0.5)が、使用される。FRUC双予測における2つの予測因子の品質は、異なることができるが、等しい重みを使用して、等しくない予測品質を有する2つの予測因子を結合することは、準最適であることができる。GBiの使用は、等しくない重みの使用が原因で、最終的な双予測品質を改善することができる。例示的な実施形態においては、GBiの重み値は、FRUC双予測を用いて符号化されたブロックについて導出され、したがって、シグナリングされる必要はない。WL1内の各重み値は、FRUC双予測のMV導出プロセスを用いて、PU内の4×4サブブロックの各々について、独立に評価される。4×4ブロックについて、(2つの基準リストと関連付けられた2つの片予測動き補償予測因子間の絶対差の和である)最小バイラテラルマッチング誤差(minimal bilateral matching error)をもたらす重み値が、選択される。
双予測探索のための初期基準リスト
双予測の動き推定(ME)ステージにおいて、2つの基準リストのうちのどちらが最初に探索されるべきかを決定することによって、GBiの予測性能を改善するための方法が、以下で説明される。従来の双予測と同様に、MEステージコスト、すなわち、
Cost(ti,Uj)=Σx|I[x]-P[x]|+λ*Bits(ti,uj,重みインデックス) (19)
を最小化するために決定される、それぞれ基準リストL0および基準リストL1と関連付けられた、2つの動きベクトルが、存在し、ここで、I[x]は、現在画像内のxに配置されたサンプルxの元の信号であり、P[x]は、GBiの予測信号であり、tiおよびujは、それぞれ、L0内の第iの基準画像およびL1内の第jの基準画像を指し示す、動きベクトルであり、λは、MEステージにおいて使用されるラグランジュパラメータであり、Bits(●)関数は、入力変数をエンコードするためのビットの数を推定する。式(3)、式(8)、式(13)、および式(14)の各々は、式(19)におけるP[x]を置換するために、適用されることができる。説明を簡潔にするために、以下のプロセスのための例として、式(3)について考察する。したがって、式(19)におけるコスト関数は、
Cost(ti,uj)=Σx|I[x]-(1-w1)*P0[x+ti]-w1*P1[x+uj]|+λ*Bits(ti,uj,重みインデックス) (20)
のように書き直されることができる。
1.{uj|∀j}における最良の動きを用いて、ti,∀iを最適化する。
2.{ti|∀i}における最良の動きを用いて、uj,∀jを最適化する。
3.tiおよびujが変更されなくなるまで、または反復の最大数に到達するまで、ステップ1およびステップ2を繰り返す。
1.{ti|∀i}における最良の動きを用いて、uj,∀jを最適化する。
2.{uj|∀j}における最良の動きを用いて、ti,∀iを最適化する。
3.ujおよびtiが変更されなくなるまで、または反復の最大数に到達するまで、ステップ1およびステップ2を繰り返す。
Cost(ti)=Σx|I[x]-P0[x+ti]|+λ*Bits(ti) (22)
Cost(uj)=Σx|I[x]-P1[x+uj]|+λ*Bits(uj) (23)
しかしながら、この初期化プロセスは、1-w1およびw1が等しくないケースにおいては、最適でないことがある。重み値の一方が、0にきわめて近い、例えば、w1=limw→0wであり、それの関連付けられた動きのMEステージコストが、他方よりもたまたま低い、典型的な例。このケースにおいては、式(20)は、
Cost(ti,uj)=Σx|I[x]-P0[x+ti]|+λ*Bits(ti,uj,重みインデックス) (24)
に退化する。ujのための費やされるオーバヘッドは、予測信号に何の貢献もせず、GBiについての貧弱な探索結果をもたらす。本開示においては、式(21)の代わりに、重み値の大きさが、使用され、すなわち、
評価される重み値の数は、追加の複雑度をエンコーダに導入することができるので、例示的な実施形態は、2分探索法を利用して、エンコーディングの初期ステージにおいて、可能性の低い重み値を削減する。1つのそのような探索方法においては、(0および1の重みと関連付けられた)従来の片予測、ならびに(0.5の重みと関連付けられた)双予測が、まさに開始時に実行され、WL1内の重み値は、4つのグループ、すなわち、A=[wmin,0]、B=[0,0.5]、C=[0.5,1]、およびD=[1,wmax]に分類されることができる。wminおよびwmaxは、それぞれ、WL1内の最小の重み値および最大の重み値を表し、一般性を失うことなく、wmin<0、およびwmax>1であることが、仮定される。可能性のある重み値の範囲を決定するために、以下のルールが、適用されることができる。
● w=0が、w=1よりも良いMEステージコストを与える場合、以下のルールが、適用される。
○ w=0.5が、w=0およびw=1よりも良いMEステージコストを与える場合、B内の重み値に基づいて、重みセットW(0)が、形成される。
○ それ以外の場合、A内の重み値に基づいて、W(0)が、形成される。
● それ以外の場合(w=1が、w=0よりも良いMEステージコストを与える場合)、以下のルールが、適用される。
○ w=0.5が、w=0およびw=1よりも良いMEステージコストを与える場合、C内の重み値に基づいて、W(0)が、形成される。
○ それ以外の場合、D内の重み値に基づいて、W(0)が、形成される。
1.(wmin+wmax)/2に最も近い重み値であるwmiddleを用いて、GBiを実行する。
2.wmiddleが、wminおよびwmaxよりも良いMEステージコストを与える場合、[wmin,wmiddle]および[wmiddle,wmax]の両方を独立にテストするために、W(k+1)に対する再帰プロセスが、呼び出され、反復プロセスは、ステップ6にジャンプする。
3.そうではなく、wmiddleが、wminおよびwmaxよりも悪いMEステージコストを与える場合、反復プロセスは、終了する。
4.そうではなく、wminが、wmaxよりも良いMEステージコストを与える場合、[wmin,wmiddle]内の重み値に基づいて、W(k+1)が、形成され、反復プロセスは、ステップ6にジャンプする。
5.それ以外の場合(wminが、wmaxよりも悪いMEステージコストを与える場合)、[wmiddle,wmax]内の重み値に基づいて、W(k+1)が、形成され、反復プロセスは、ステップ6にジャンプする。
6.W(k+1)内に存続する重み値の数が、3つ以上の場合、W(k+1)内の最小値および最大値に従って、wminおよびwmaxが、リセットされ、反復プロセスは、ステップ1に戻り、それ以外の場合、反復プロセスは、終了する。
いくつかの実施形態においては、2N×2Nパーティションについての各重み値をテストした後、0、0.5、および1以外の最良実行重み値は、非2N×2Nパーティションの最適な重み値についての推定値として役立つことができる。いくつかの実施形態においては、n個の一意的な推定値が、存在すると仮定すると、0、0.5、1、およびn個の推定値に等しい重み値だけが、非2N×2Nパーティションのために評価される。
いくつかの実施形態においては、非2N×2Nパーティションのすべてが、例示的なビデオエンコーダによって、テストされるとは限らない。非2N×2Nパーティションは、2つのサブカテゴリに、すなわち、2N×NおよびN×2Nパーティションタイプを有する、対称的動きパーティション(SMP)と、2N×nU、2N×nD、nL×2N、およびnR×2Nパーティションタイプを有する、非対称的動きパーティション(AMP)とに、分類されることができる。SMPにおけるパーティションについてのレート-歪み(R-D)コストが、2N×2Nのそれよりも小さい場合、AMP内のパーティションタイプのいくつかが、エンコーダにおいて評価される。AMP内のどのパーティションタイプをテストするかについての決定は、2N×NおよびN×2Nのうちのどちらが、R-Dコストに関して、より良い性能を示すかに依存することができる。2N×Nのレート-歪みコストが、より小さい場合、パーティションタイプ2N×nUおよび2N×nDが、さらにチェックされることができ、それ以外の場合(N×2Nのコストが、より小さい場合)、パーティションタイプnL×2NおよびnR×2Nが、さらにチェックされることができる。
マルチパスエンコーダを使用する、例示的な実施形態においては、より以前のエンコーディングパスから最適化された(ブロック動きおよび重み値などの)予測パラメータが、後続のエンコーディングパスにおける初期パラメータ推定として、採用されることができる。そのようなエンコーダにおいては、画像から区分された符号化ブロックは、2回またはさらに多く、予測およびエンコードされることができ、エンコーディング複雑度のかなりの増加をもたらす。この複雑度を低減させるための1つの技法は、初期エンコーディングパスからの最適化された予測パラメータをバッファし、以降のエンコーディングパスにおいて、それらをさらなる精緻化のための初期パラメータ推定として取ることである。例えば、初期パスにおいて、インター予測モードが、たまたま最良のモードである場合、エンコーダは、エンコーディングパスの残りにおいて、インター予測モードだけを評価する。いくつかの実施形態においては、バッファリングが、WL1内における重み値の選択、選択された重み値と関連付けられた双予測MV、ICフラグ、OBMCフラグ、整数動きベクトル(IMV)フラグ、および符号化ブロックフラグ(CBF)など、GBiに関連する予測パラメータについて実行される。そのような実施形態においては、これらのバッファされたパラメータの値は、後続のエンコーディングパスにおいて、再使用または精緻化されることができる。特に、上述の双予測MVが、取られるとき、これらのMVは、双予測探索のための初期探索位置として役立つことができる。その後、それらは、動き推定ステージにおいて精緻化され、その後、次のエンコーディングパスのための初期探索位置として取られる。
図16は、符号化されたビットストリーム構造の例を示す概略図である。符号化されたビットストリーム1000は、多数のNAL(ネットワークアブストラクションレイヤ)ユニット1001から成る。NALユニットは、符号化されたスライス1006などの、符号化されたサンプルデータ、またはパラメータセットデータ、スライスヘッダデータ1005、もしくは(SEIメッセージと呼ばれることがある)補助強化情報(supplemental enhancement information)データ1007などの、高レベルシンタックスメタデータを含み得る。パラメータセットは、複数のビットストリームレイヤに適用することができる(例えば、ビデオパラメータセット1002(VPS))、または1つのレイヤ内の符号化されたビデオシーケンスに適用することができる(例えば、シーケンスパラメータセット1003(SPS))、または1つの符号化されたビデオシーケンス内の多数の符号化された画像に適用することができる(例えば、画像パラメータセット1004(PPS))、基本的なシンタックス要素を含む、高レベルシンタックス構造である。パラメータセットは、ビデオビットストリームの符号化された画像と一緒に送信されること、または(信頼できるチャネルを使用した帯域外送信、ハードコーディングなどを含む)他の手段を通して送信されることができる。スライスヘッダ1005も、相対的に小さい、またはあるスライスもしくは画像タイプにだけ関連する、何らかの画像関連情報を含むことができる、高レベルシンタックス構造である。SEIメッセージ1007は、デコーディングプロセスによって必要とされないことがあるが、画像出力タイミングまたは表示、ならびに損失検出および隠蔽など、様々な他の目的のために使用されることができる情報を搬送する。
Claims (24)
- ビデオエンコーディング方法であって、
現在画像における少なくとも現在ブロックについて、第1の重みおよび第2の重みを識別するブロックレベル情報をエンコードすることであって、前記第1の重みおよび第2の重みの少なくとも1つは、0、0.5または1に等しくない値を有する、ことと、
第1の基準画像における第1の基準ブロックと第2の基準画像における第2の基準ブロックとの加重和として前記現在ブロックを予測することであって、前記第1の基準ブロックは、前記第1の重みによって重み付けされ、前記第2の基準ブロックは、前記第2の重みによって重み付けされる、ことと
を備え、
前記ブロックレベル情報をエンコードすることは、切り捨てられた単進符号を使用して重みインデックスを符号語にマッピングし、ビットストリームの前記符号語をエントロピエンコードすることを含む、方法。 - 前記第2の重みは、1から前記第1の重みを減算することによって識別される、請求項1の方法。
- 前記現在ブロックを予測することは、アフィン予測を使用して実行される、請求項1の方法。
- 前記第1の重みおよび前記第2の重みは、所定の重みのセットから識別される、請求項1の方法。
- 切り捨てられた前記単進符号は、5つ以下の双予測重みの所定のセットにおける重みを識別し、符号語長の増加順に配置された前記双予測重みの所定のセットは、降順の第2の重みのセットとインターリーブされた昇順の第1の重みのセットを含む、請求項1の方法。
- 入力ブロックから前記予測された現在ブロックを減算して残差を生成し、前記残差を前記ビットストリームにエンコードすることをさらに備える、請求項1乃至5のいずれか一項に記載の方法。
- ビデオ復号方法であって、
ビデオの現在画像における少なくとも現在ブロックについて、第1の重みおよび第2の重みを識別するブロックレベル情報をビットストリームから復号することであって、前記第1の重みおよび第2の重みの少なくとも1つは、0、0.5または1に等しくない値を有する、ことと、
第1の基準画像における第1の基準ブロックと第2の基準画像における第2の基準ブロックとの加重和として前記現在ブロックを予測することであって、前記第1の基準ブロックは、前記第1の重みによって重み付けされ、前記第2の基準ブロックは、前記第2の重みによって重み付けされる、ことと
を備え、
前記ブロックレベル情報を復号することは、符号語を前記ビットストリームからエントロピ復号し、切り捨てられた単進符号を使用して重みインデックスを前記符号語から回復することを含む、方法。 - 前記第2の重みは、1から前記第1の重みを減算することによって識別される、請求項7の方法。
- 前記現在ブロックを予測することは、アフィン予測を使用して実行される、請求項7の方法。
- 前記第1の重みおよび前記第2の重みは、所定の重みのセットから識別される、請求項7の方法。
- 切り捨てられた前記単進符号は、5つ以下の双予測重みの所定のセットにおける重みを識別し、符号語長の増加順に配置された前記双予測重みの所定のセットは、降順の第2の重みのセットとインターリーブされた昇順の第1の重みのセットを含む、請求項7の方法。
- 前記ビットストリームから前記現在ブロックの残差を復号し、前記残差を前記予測された現在ブロックに付加して再構成されたブロックを生成することをさらに備える、請求項7乃至11のいずれか一項に記載の方法。
- ビデオエンコーディング装置であって、
現在画像における少なくとも現在ブロックについて、第1の重みおよび第2の重みを識別するブロックレベル情報をエンコードすることであって、前記第1の重みおよび第2の重みの少なくとも1つは、0、0.5または1に等しくない値を有する、ことと、
第1の基準画像における第1の基準ブロックと第2の基準画像における第2の基準ブロックとの加重和として前記現在ブロックを予測することであって、前記第1の基準ブロックは、前記第1の重みによって重み付けされ、前記第2の基準ブロックは、前記第2の重みによって重み付けされる、ことと
を少なくとも実行するように構成されたプロセッサを備え、
前記ブロックレベル情報をエンコードすることは、切り捨てられた単進符号を使用して重みインデックスを符号語にマッピングし、ビットストリームの前記符号語をエントロピエンコードすることを含む、装置。 - 前記第2の重みは、1から前記第1の重みを減算することによって識別される、請求項13の装置。
- 前記現在ブロックを予測することは、アフィン予測を使用して実行される、請求項13の装置。
- 前記第1の重みおよび前記第2の重みは、所定の重みのセットから識別される、請求項13の装置。
- 切り捨てられた前記単進符号は、5つ以下の双予測重みの所定のセットにおける重みを識別し、符号語長の増加順に配置された前記双予測重みの所定のセットは、降順の第2の重みのセットとインターリーブされた昇順の第1の重みのセットを含む、請求項13の装置。
- 前記プロセッサは、入力ブロックから前記予測された現在ブロックを減算して残差を生成し、前記残差を前記ビットストリームにエンコードするようにさらに構成される、請求項13乃至16のいずれか一項に記載の装置。
- ビデオ復号装置であって、
ビデオの現在画像における少なくとも現在ブロックについて、第1の重みおよび第2の重みを識別するブロックレベル情報をビットストリームから復号することであって、前記第1の重みおよび第2の重みの少なくとも1つは、0、0.5または1に等しくない値を有する、ことと、
第1の基準画像における第1の基準ブロックと第2の基準画像における第2の基準ブロックとの加重和として前記現在ブロックを予測することであって、前記第1の基準ブロックは、前記第1の重みによって重み付けされ、前記第2の基準ブロックは、前記第2の重みによって重み付けされる、ことと
を少なくとも実行するように構成されたプロセッサを備え、
前記ブロックレベル情報を復号することは、符号語を前記ビットストリームからエントロピ復号し、切り捨てられた単進符号を使用して重みインデックスを前記符号語から回復することを含む、装置。 - 前記第2の重みは、1から前記第1の重みを減算することによって識別される、請求項19の装置。
- 前記現在ブロックを予測することは、アフィン予測を使用して実行される、請求項19の装置。
- 前記第1の重みおよび前記第2の重みは、所定の重みのセットから識別される、請求項19の装置。
- 切り捨てられた前記単進符号は、5つ以下の双予測重みの所定のセットにおける重みを識別し、符号語長の増加順に配置された前記双予測重みの所定のセットは、降順の第2の重みのセットとインターリーブされた昇順の第1の重みのセットを含む、請求項19の装置。
- 前記プロセッサは、前記ビットストリームから前記現在ブロックの残差を復号し、前記残差を前記予測された現在ブロックに付加して再構成されたブロックを生成するようにさらに構成された、請求項19乃至23のいずれか一項に記載の装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024060827A JP2024074929A (ja) | 2016-05-13 | 2024-04-04 | ビデオ符号化のための一般化された多重仮説予測(Generalized Multi-Hypothesis Prediction)のためのシステムおよび方法 |
Applications Claiming Priority (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662336227P | 2016-05-13 | 2016-05-13 | |
US62/336,227 | 2016-05-13 | ||
US201662342772P | 2016-05-27 | 2016-05-27 | |
US62/342,772 | 2016-05-27 | ||
US201662399234P | 2016-09-23 | 2016-09-23 | |
US62/399,234 | 2016-09-23 | ||
US201662415187P | 2016-10-31 | 2016-10-31 | |
US62/415,187 | 2016-10-31 | ||
PCT/US2017/032208 WO2017197146A1 (en) | 2016-05-13 | 2017-05-11 | Systems and methods for generalized multi-hypothesis prediction for video coding |
JP2018559392A JP2019519148A (ja) | 2016-05-13 | 2017-05-11 | ビデオ符号化のための一般化された多重仮説予測(Generalized Multi−Hypothesis Prediction)のためのシステムおよび方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018559392A Division JP2019519148A (ja) | 2016-05-13 | 2017-05-11 | ビデオ符号化のための一般化された多重仮説予測(Generalized Multi−Hypothesis Prediction)のためのシステムおよび方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024060827A Division JP2024074929A (ja) | 2016-05-13 | 2024-04-04 | ビデオ符号化のための一般化された多重仮説予測(Generalized Multi-Hypothesis Prediction)のためのシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023009262A true JP2023009262A (ja) | 2023-01-19 |
JP7469439B2 JP7469439B2 (ja) | 2024-04-16 |
Family
ID=58745461
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018559392A Ceased JP2019519148A (ja) | 2016-05-13 | 2017-05-11 | ビデオ符号化のための一般化された多重仮説予測(Generalized Multi−Hypothesis Prediction)のためのシステムおよび方法 |
JP2022184106A Active JP7469439B2 (ja) | 2016-05-13 | 2022-11-17 | ビデオ符号化のための一般化された多重仮説予測(Generalized Multi-Hypothesis Prediction)のためのシステムおよび方法 |
JP2024060827A Pending JP2024074929A (ja) | 2016-05-13 | 2024-04-04 | ビデオ符号化のための一般化された多重仮説予測(Generalized Multi-Hypothesis Prediction)のためのシステムおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018559392A Ceased JP2019519148A (ja) | 2016-05-13 | 2017-05-11 | ビデオ符号化のための一般化された多重仮説予測(Generalized Multi−Hypothesis Prediction)のためのシステムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024060827A Pending JP2024074929A (ja) | 2016-05-13 | 2024-04-04 | ビデオ符号化のための一般化された多重仮説予測(Generalized Multi-Hypothesis Prediction)のためのシステムおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11363253B2 (ja) |
EP (2) | EP3456049B1 (ja) |
JP (3) | JP2019519148A (ja) |
KR (2) | KR102480191B1 (ja) |
CN (3) | CN109496430B (ja) |
WO (1) | WO2017197146A1 (ja) |
Families Citing this family (106)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3456049B1 (en) | 2016-05-13 | 2022-05-04 | VID SCALE, Inc. | Systems and methods for generalized multi-hypothesis prediction for video coding |
CN116567262A (zh) | 2016-05-24 | 2023-08-08 | 韩国电子通信研究院 | 图像编码/解码方法和用于所述方法的记录介质 |
CN114363636B (zh) * | 2016-07-05 | 2024-06-04 | 株式会社Kt | 用于处理视频信号的方法和装置 |
WO2018021585A1 (ko) * | 2016-07-26 | 2018-02-01 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측 방법 및 장치 |
WO2018062892A1 (ko) * | 2016-09-28 | 2018-04-05 | 엘지전자(주) | 가중치 인덱스에 기초하여 최적의 예측을 수행하는 방법 및 장치 |
US10798404B2 (en) | 2016-10-05 | 2020-10-06 | Qualcomm Incorporated | Systems and methods of performing improved local illumination compensation |
US10750203B2 (en) * | 2016-12-22 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive bi-prediction for video coding |
CN110115032B (zh) * | 2016-12-22 | 2021-07-20 | 联发科技股份有限公司 | 用于视频编解码的运动细化的方法以及装置 |
US10931969B2 (en) * | 2017-01-04 | 2021-02-23 | Qualcomm Incorporated | Motion vector reconstructions for bi-directional optical flow (BIO) |
US10701366B2 (en) * | 2017-02-21 | 2020-06-30 | Qualcomm Incorporated | Deriving motion vector information at a video decoder |
EP3468198A1 (en) * | 2017-10-05 | 2019-04-10 | Thomson Licensing | Method and apparatus for video encoding and decoding based on illumination compensation |
WO2019087878A1 (ja) * | 2017-10-30 | 2019-05-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
CN109963155B (zh) | 2017-12-23 | 2023-06-06 | 华为技术有限公司 | 图像块的运动信息的预测方法、装置及编解码器 |
WO2019140083A1 (en) * | 2018-01-12 | 2019-07-18 | Futurewei Technologies, Inc. | Adaptive multi-hypothesis context-adaptive binary arithmetic coding (mcabac) |
WO2019143602A1 (en) * | 2018-01-16 | 2019-07-25 | Vid Scale, Inc. | Motion compensated bi-prediction based on local illumination compensation |
CN111801946B (zh) * | 2018-01-24 | 2024-07-19 | Vid拓展公司 | 用于具有降低的译码复杂性的视频译码的广义双预测 |
EP3518543A1 (en) * | 2018-01-26 | 2019-07-31 | Thomson Licensing | Illumination compensation flag in frame rate up-conversion with template matching |
WO2019151284A1 (ja) * | 2018-01-30 | 2019-08-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
CN112236995B (zh) * | 2018-02-02 | 2024-08-06 | 苹果公司 | 基于多假设运动补偿技术的视频编码、解码方法及编码器、解码器 |
US11924440B2 (en) | 2018-02-05 | 2024-03-05 | Apple Inc. | Techniques of multi-hypothesis motion compensation |
EP3780598A4 (en) | 2018-03-29 | 2022-01-26 | Nippon Hoso Kyokai | PICTURE CODING DEVICE, PICTURE DECODING DEVICE, AND PROGRAM |
EP3777167A1 (en) * | 2018-03-30 | 2021-02-17 | Vid Scale, Inc. | Template-based inter prediction techniques based on encoding and decoding latency reduction |
EP3554080A1 (en) * | 2018-04-13 | 2019-10-16 | InterDigital VC Holdings, Inc. | Methods and devices for picture encoding and decoding |
WO2019223746A1 (en) | 2018-05-23 | 2019-11-28 | Mediatek Inc. | Method and apparatus of video coding using bi-directional cu weight |
WO2019229683A1 (en) * | 2018-05-31 | 2019-12-05 | Beijing Bytedance Network Technology Co., Ltd. | Concept of interweaved prediction |
WO2019230904A1 (ja) * | 2018-06-01 | 2019-12-05 | シャープ株式会社 | 画像復号装置、および画像符号化装置 |
KR20210016581A (ko) | 2018-06-05 | 2021-02-16 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Ibc 및 atmvp 간의 상호 작용 |
WO2019234669A1 (en) * | 2018-06-07 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Signaled mv precision |
US11477474B2 (en) * | 2018-06-08 | 2022-10-18 | Mediatek Inc. | Methods and apparatus for multi-hypothesis mode reference and constraints |
WO2019238008A1 (en) | 2018-06-11 | 2019-12-19 | Mediatek Inc. | Method and apparatus of bi-directional optical flow for video coding |
WO2019244117A1 (en) | 2018-06-21 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Unified constrains for the merge affine mode and the non-merge affine mode |
KR102701593B1 (ko) | 2018-06-21 | 2024-08-30 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 칼라 컴포넌트 간의 서브 블록 mv 상속 |
TWI719519B (zh) | 2018-07-02 | 2021-02-21 | 大陸商北京字節跳動網絡技術有限公司 | 對於dmvr的塊尺寸限制 |
JP2021526762A (ja) * | 2018-07-06 | 2021-10-07 | 三菱電機株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法 |
WO2020011775A1 (en) * | 2018-07-10 | 2020-01-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-hypothesis prediction |
US11140418B2 (en) | 2018-07-17 | 2021-10-05 | Qualcomm Incorporated | Block-based adaptive loop filter design and signaling |
EP3834416A4 (en) * | 2018-08-17 | 2022-08-17 | HFI Innovation Inc. | METHODS AND APPARATUS FOR VIDEO PROCESSING WITH BIDIRECTIONAL PREDICTION IN VIDEO CODING SYSTEMS |
WO2020060843A1 (en) * | 2018-09-19 | 2020-03-26 | Interdigital Vc Holdings, Inc. | Generalized bi-prediction index coding |
EP3668097A1 (en) * | 2018-12-13 | 2020-06-17 | InterDigital VC Holdings, Inc. | Generalized bi-prediction index coding |
CN118200534A (zh) * | 2018-09-21 | 2024-06-14 | 夏普株式会社 | 图像解码装置 |
CN117768651A (zh) * | 2018-09-24 | 2024-03-26 | 北京字节跳动网络技术有限公司 | 处理视频数据的方法、装置、介质、以及比特流存储方法 |
TW202029755A (zh) * | 2018-09-26 | 2020-08-01 | 美商Vid衡器股份有限公司 | 視訊編碼雙預測 |
EP4432661A2 (en) * | 2018-10-02 | 2024-09-18 | InterDigital VC Holdings, Inc. | Generalized bi-prediction and weighted prediction |
WO2020084465A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Simplified coding of generalized bi-directional index |
CN111083489B (zh) | 2018-10-22 | 2024-05-14 | 北京字节跳动网络技术有限公司 | 多次迭代运动矢量细化 |
WO2020084507A1 (en) | 2018-10-23 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Harmonized local illumination compensation and modified inter prediction coding |
CN112868238B (zh) * | 2018-10-23 | 2023-04-21 | 北京字节跳动网络技术有限公司 | 局部照明补偿和帧间预测编解码之间的并置 |
KR20230128587A (ko) * | 2018-10-27 | 2023-09-05 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 서브블록 병합 후보를 위한 개별적인 병합 목록 및 비디오 코딩을 위한 인트라-인터 기술 조화 |
CN111107373B (zh) * | 2018-10-29 | 2023-11-03 | 华为技术有限公司 | 基于仿射预测模式的帧间预测的方法及相关装置 |
CN112997485A (zh) | 2018-11-05 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 用于具有细化的帧间预测的插值 |
CN112997489B (zh) * | 2018-11-06 | 2024-02-06 | 北京字节跳动网络技术有限公司 | 具有几何分割的帧间预测的边信息信令 |
EP3861723A4 (en) | 2018-11-10 | 2022-04-20 | Beijing Bytedance Network Technology Co., Ltd. | ROUNDS IN PAIRS OF MEDIUM CANDIDATE BILLS |
WO2020098643A1 (en) | 2018-11-12 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Simplification of combined inter-intra prediction |
TWI734254B (zh) * | 2018-11-12 | 2021-07-21 | 聯發科技股份有限公司 | 視訊編碼之多重假設方法和裝置 |
CN113039801B (zh) * | 2018-11-17 | 2023-12-19 | 北京字节跳动网络技术有限公司 | 用运动矢量差候选构建Merge |
CN117319644A (zh) | 2018-11-20 | 2023-12-29 | 北京字节跳动网络技术有限公司 | 基于部分位置的差计算 |
US11146810B2 (en) * | 2018-11-27 | 2021-10-12 | Qualcomm Incorporated | Decoder-side motion vector refinement |
CN113170110B (zh) | 2018-12-03 | 2024-05-14 | 北京字节跳动网络技术有限公司 | 候选的最大数量的指示方法 |
US11394989B2 (en) * | 2018-12-10 | 2022-07-19 | Tencent America LLC | Method and apparatus for video coding |
US10855992B2 (en) | 2018-12-20 | 2020-12-01 | Alibaba Group Holding Limited | On block level bi-prediction with weighted averaging |
CN113196773B (zh) | 2018-12-21 | 2024-03-08 | 北京字节跳动网络技术有限公司 | 具有运动矢量差的Merge模式中的运动矢量精度 |
CN113170166B (zh) | 2018-12-30 | 2023-06-09 | 北京字节跳动网络技术有限公司 | 具有几何分割的帧间预测在视频处理中有条件的应用 |
WO2020140948A1 (en) | 2019-01-02 | 2020-07-09 | Beijing Bytedance Network Technology Co., Ltd. | Motion vector derivation between dividing patterns |
JP7548908B2 (ja) | 2019-01-14 | 2024-09-10 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | 重み付け予測に適応された双方向オプティカルフローによる映像符号化及び復号の方法及び装置 |
CN113302918A (zh) | 2019-01-15 | 2021-08-24 | 北京字节跳动网络技术有限公司 | 视频编解码中的加权预测 |
WO2020147805A1 (en) * | 2019-01-17 | 2020-07-23 | Beijing Bytedance Network Technology Co., Ltd. | Deblocking filtering using motion prediction |
WO2020156538A1 (en) | 2019-02-03 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between mv precisions and mv difference coding |
CN113424533B (zh) | 2019-02-14 | 2024-09-10 | 北京字节跳动网络技术有限公司 | 复杂度降低的解码器侧运动推导 |
US11134262B2 (en) | 2019-02-28 | 2021-09-28 | Tencent America LLC | Method and apparatus for video coding |
US11190797B2 (en) * | 2019-03-01 | 2021-11-30 | Qualcomm Incorporated | Constraints on decoder-side motion vector refinement based on weights for bi-predicted prediction |
WO2020180704A1 (en) * | 2019-03-05 | 2020-09-10 | Vid Scale, Inc. | Affine motion model derivation method |
WO2020177756A1 (en) | 2019-03-06 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Size dependent inter coding |
CN113748673B (zh) * | 2019-03-11 | 2024-07-05 | 阿里巴巴集团控股有限公司 | 用于针对合并模式确定预测权重的方法、设备和系统 |
EP3928521A4 (en) * | 2019-04-02 | 2022-08-17 | Beijing Bytedance Network Technology Co., Ltd. | BIDIRECTIONAL OPTICAL FLOW BASED VIDEO ENCODING AND DECODING |
WO2020211866A1 (en) * | 2019-04-19 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Applicability of prediction refinement with optical flow process |
WO2020211864A1 (en) | 2019-04-19 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Region based gradient calculation in different motion vector refinements |
CN115499669B (zh) * | 2019-04-25 | 2023-08-29 | 北京达佳互联信息技术有限公司 | 对视频信号进行编码的双向光流方法、计算设备和存储介质 |
KR102627821B1 (ko) * | 2019-06-04 | 2024-01-23 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 이웃 블록 정보를 사용한 모션 후보 리스트 구성 |
CN114208171A (zh) | 2019-06-14 | 2022-03-18 | Lg电子株式会社 | 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置 |
KR102627936B1 (ko) | 2019-06-14 | 2024-01-23 | 엘지전자 주식회사 | 쌍 예측이 적용되는 경우 가중 평균을 위한 가중치 인덱스 정보를 도출하는 영상 디코딩 방법 및 그 장치 |
CA3143546A1 (en) | 2019-06-14 | 2020-12-17 | Lg Electronics Inc. | Image decoding method for deriving weight index information for biprediction, and device for same |
KR20220002700A (ko) | 2019-06-24 | 2022-01-06 | 엘지전자 주식회사 | 쌍 예측을 적용하는 영상 디코딩 방법 및 그 장치 |
WO2020262900A1 (ko) * | 2019-06-24 | 2020-12-30 | 엘지전자 주식회사 | 머지 후보를 이용하여 예측 샘플을 도출하는 영상 디코딩 방법 및 그 장치 |
CN114342405A (zh) * | 2019-06-24 | 2022-04-12 | Lg电子株式会社 | 图像解码方法和用于该图像解码方法的装置 |
US12063352B2 (en) | 2019-06-28 | 2024-08-13 | Sk Telecom Co., Ltd. | Method for deriving bidirectional prediction weight index and video decoding apparatus |
KR20220017427A (ko) * | 2019-07-05 | 2022-02-11 | 엘지전자 주식회사 | 머지 후보의 양방향 예측을 위한 가중치 인덱스를 유도하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
CN114342375A (zh) * | 2019-07-05 | 2022-04-12 | Lg电子株式会社 | 用于推导双向预测的权重索引的图像编码/解码方法和装置以及发送比特流的方法 |
CN114342377A (zh) * | 2019-07-05 | 2022-04-12 | Lg电子株式会社 | 用于执行双向预测的图像编码/解码方法和设备及发送比特流的方法 |
WO2021023255A1 (en) * | 2019-08-08 | 2021-02-11 | FG Innovation Company Limited | Device and method for coding video data |
KR102679376B1 (ko) * | 2019-08-22 | 2024-06-27 | 엘지전자 주식회사 | 가중 예측을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
EP4011077A4 (en) | 2019-09-13 | 2022-11-30 | Beijing Bytedance Network Technology Co., Ltd. | SAMPLE WEIGHTED BIDIRECTIONAL PREDICTION IN VIDEO CODING |
WO2021058498A1 (en) * | 2019-09-26 | 2021-04-01 | Interdigital Vc Holdings France, Sas | Extended motion information comparison |
WO2021057996A1 (en) | 2019-09-28 | 2021-04-01 | Beijing Bytedance Network Technology Co., Ltd. | Geometric partitioning mode in video coding |
EP4026321A4 (en) * | 2019-10-06 | 2022-11-30 | Huawei Technologies Co., Ltd. | HARMONIZING WEIGHTED PREDICTION WITH AFFINER MODEL-BASED MOTION COMPENSATION |
KR20230018532A (ko) * | 2019-10-09 | 2023-02-07 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 광 흐름에 의한 예측 개선, 양방향 광 흐름 및 디코더 측 움직임 벡터 개선을 위한 방법들 및 장치들 |
CN111629207B (zh) * | 2020-04-30 | 2022-09-16 | 中山大学 | 一种模板匹配帧内子划分方法 |
US20220201322A1 (en) * | 2020-12-23 | 2022-06-23 | Qualcomm Incorporated | Multiple hypothesis prediction for video coding |
JP2024501154A (ja) * | 2020-12-23 | 2024-01-11 | クゥアルコム・インコーポレイテッド | ビデオコーディングのための複数仮説予測 |
US11863774B2 (en) | 2021-01-15 | 2024-01-02 | Tencent America LLC | Method and apparatus for video coding |
US12081736B2 (en) * | 2021-04-26 | 2024-09-03 | Tencent America LLC | Bi-prediction without signaling cu-level weights |
US12108076B2 (en) | 2021-11-01 | 2024-10-01 | Tencent America LLC | Index reordering of bi-prediction with CU-level weight (BCW) by using template-matching |
WO2023177752A1 (en) * | 2022-03-15 | 2023-09-21 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices on probability calculation for context-based adaptive binary arithmetic coding |
US11936903B2 (en) * | 2022-04-19 | 2024-03-19 | Tencent America LLC | Bilateral matching based scaling factor derivation for JMVD |
US20230370604A1 (en) * | 2022-05-16 | 2023-11-16 | Tencent America LLC | Flexible scaling factors for joint mvd coding |
US20240007615A1 (en) * | 2022-07-04 | 2024-01-04 | Alibaba (China) Co., Ltd. | Deriving bi-prediction with coding unit-level weight indices for merge candidates |
US20240195978A1 (en) * | 2022-12-13 | 2024-06-13 | Apple Inc. | Joint motion vector coding |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004007377A (ja) * | 2002-04-18 | 2004-01-08 | Toshiba Corp | 動画像符号化/復号化方法及び装置 |
JP2005533466A (ja) * | 2002-07-15 | 2005-11-04 | トムソン ライセンシング | ビデオ符号化における参照ピクチャの適応重み付け |
JP2008541502A (ja) * | 2005-05-26 | 2008-11-20 | 株式会社エヌ・ティ・ティ・ドコモ | 動き及び予測の重み付けパラメータを符号化する方法及び装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3374989B2 (ja) * | 1993-03-26 | 2003-02-10 | ソニー株式会社 | 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置 |
US7376186B2 (en) | 2002-07-15 | 2008-05-20 | Thomson Licensing | Motion estimation with weighting prediction |
KR101132062B1 (ko) * | 2004-06-02 | 2012-04-02 | 파나소닉 주식회사 | 화상 부호화 장치 및 화상 복호화 장치 |
US8995526B2 (en) * | 2009-07-09 | 2015-03-31 | Qualcomm Incorporated | Different weights for uni-directional prediction and bi-directional prediction in video coding |
PL3879831T3 (pl) * | 2011-05-31 | 2024-07-29 | Jvckenwood Corporation | Urządzenie do kodowania ruchomego obrazu wizyjnego, sposób kodowania ruchomego obrazu wizyjnego i program do kodowania ruchomego obrazu wizyjnego, a także urządzenie do dekodowania ruchomego obrazu wizyjnego, sposób dekodowania ruchomego obrazu wizyjnego i program do dekodowania ruchomego obrazu wizyjnego |
MY164898A (en) * | 2011-09-29 | 2018-01-30 | Sharp Kk | Image decoding device, image decoding method, and image encoding device |
JP6012014B2 (ja) * | 2012-03-30 | 2016-10-25 | サン パテント トラスト | 画像符号化方法および画像復号方法 |
US9906786B2 (en) | 2012-09-07 | 2018-02-27 | Qualcomm Incorporated | Weighted prediction mode for scalable video coding |
EP2952003B1 (en) * | 2013-01-30 | 2019-07-17 | Intel Corporation | Content adaptive partitioning for prediction and coding for next generation video |
CN113259683B (zh) * | 2013-04-08 | 2024-08-23 | Ge视频压缩有限责任公司 | 分量间预测 |
KR20240000649A (ko) * | 2015-08-24 | 2024-01-02 | 엘지전자 주식회사 | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
EP3456049B1 (en) | 2016-05-13 | 2022-05-04 | VID SCALE, Inc. | Systems and methods for generalized multi-hypothesis prediction for video coding |
US10805631B2 (en) | 2016-09-23 | 2020-10-13 | Lg Electronics Inc. | Method and apparatus for performing prediction using template-based weight |
-
2017
- 2017-05-11 EP EP17725080.0A patent/EP3456049B1/en active Active
- 2017-05-11 CN CN201780042257.5A patent/CN109496430B/zh active Active
- 2017-05-11 WO PCT/US2017/032208 patent/WO2017197146A1/en unknown
- 2017-05-11 KR KR1020227009791A patent/KR102480191B1/ko active IP Right Grant
- 2017-05-11 CN CN202210588340.5A patent/CN115118971A/zh active Pending
- 2017-05-11 KR KR1020187032916A patent/KR102379874B1/ko active IP Right Grant
- 2017-05-11 US US16/099,392 patent/US11363253B2/en active Active
- 2017-05-11 EP EP22166000.4A patent/EP4060992A1/en active Pending
- 2017-05-11 CN CN202210588059.1A patent/CN115118970A/zh active Pending
- 2017-05-11 JP JP2018559392A patent/JP2019519148A/ja not_active Ceased
-
2022
- 2022-06-13 US US17/838,729 patent/US20220312001A1/en active Pending
- 2022-11-17 JP JP2022184106A patent/JP7469439B2/ja active Active
-
2024
- 2024-04-04 JP JP2024060827A patent/JP2024074929A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004007377A (ja) * | 2002-04-18 | 2004-01-08 | Toshiba Corp | 動画像符号化/復号化方法及び装置 |
JP2005533466A (ja) * | 2002-07-15 | 2005-11-04 | トムソン ライセンシング | ビデオ符号化における参照ピクチャの適応重み付け |
JP2008541502A (ja) * | 2005-05-26 | 2008-11-20 | 株式会社エヌ・ティ・ティ・ドコモ | 動き及び予測の重み付けパラメータを符号化する方法及び装置 |
Non-Patent Citations (1)
Title |
---|
CHUN-CHI CHEN, XIAOYU XIU, YUWEN HE, AND YAN YE: "Generalized bi-prediction for inter coding", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-C0047, JPN6023045449, May 2016 (2016-05-01), pages 1 - 4, ISSN: 0005191538 * |
Also Published As
Publication number | Publication date |
---|---|
US11363253B2 (en) | 2022-06-14 |
CN115118971A (zh) | 2022-09-27 |
EP3456049A1 (en) | 2019-03-20 |
KR20220043240A (ko) | 2022-04-05 |
WO2017197146A1 (en) | 2017-11-16 |
KR20190018624A (ko) | 2019-02-25 |
KR102379874B1 (ko) | 2022-03-30 |
CN109496430A (zh) | 2019-03-19 |
US20190230350A1 (en) | 2019-07-25 |
KR102480191B1 (ko) | 2022-12-21 |
EP3456049B1 (en) | 2022-05-04 |
CN109496430B (zh) | 2022-06-14 |
JP2019519148A (ja) | 2019-07-04 |
JP2024074929A (ja) | 2024-05-31 |
EP4060992A1 (en) | 2022-09-21 |
US20220312001A1 (en) | 2022-09-29 |
CN115118970A (zh) | 2022-09-27 |
JP7469439B2 (ja) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7469439B2 (ja) | ビデオ符号化のための一般化された多重仮説予測(Generalized Multi-Hypothesis Prediction)のためのシステムおよび方法 | |
US11082687B2 (en) | Motion vector prediction for affine motion models in video coding | |
CN109121465B (zh) | 用于运动补偿残差预测的系统和方法 | |
US11212532B2 (en) | Method and apparatus for encoding and decoding motion information | |
CN111801946B (zh) | 用于具有降低的译码复杂性的视频译码的广义双预测 | |
JP2017532885A (ja) | 時間ブロックベクトル予測を用いたイントラブロックコピー符号化 | |
JP2017522803A (ja) | ブロックベクトル導出を用いるイントラブロックコピー符号化のための方法およびシステム | |
KR20130006616A (ko) | 비디오 인코딩 및 디코딩을 위한 암시적인 적응 움직임 벡터 예측자 선택을 위한 방법 및 장치 | |
CN112840645B (zh) | 视频编码系统中组合多个预测子用于块预测的方法及装置 | |
JP7260562B2 (ja) | 複雑性の低いフレームレートアップ変換 | |
RU2803479C2 (ru) | Адаптивная точность вектора движения для кодирования видеосигналов на основе аффинной модели движения |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7469439 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |