JP2022503464A - ビデオコーディング用動きベクトル予測 - Google Patents
ビデオコーディング用動きベクトル予測 Download PDFInfo
- Publication number
- JP2022503464A JP2022503464A JP2021502646A JP2021502646A JP2022503464A JP 2022503464 A JP2022503464 A JP 2022503464A JP 2021502646 A JP2021502646 A JP 2021502646A JP 2021502646 A JP2021502646 A JP 2021502646A JP 2022503464 A JP2022503464 A JP 2022503464A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- prediction
- vector candidate
- partition
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 794
- 239000013598 vector Substances 0.000 title claims abstract description 707
- 238000005192 partition Methods 0.000 claims abstract description 256
- 238000000034 method Methods 0.000 claims description 200
- 238000006243 chemical reaction Methods 0.000 claims description 122
- 238000013139 quantization Methods 0.000 claims description 93
- 238000012545 processing Methods 0.000 description 211
- 230000008569 process Effects 0.000 description 90
- 238000010586 diagram Methods 0.000 description 87
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 72
- 238000012937 correction Methods 0.000 description 30
- 238000009795 derivation Methods 0.000 description 28
- 230000002093 peripheral effect Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 238000011156 evaluation Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 230000011664 signaling Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 101100537098 Mus musculus Alyref gene Proteins 0.000 description 5
- 101150095908 apex1 gene Proteins 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000003702 image correction Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 229910003460 diamond Inorganic materials 0.000 description 3
- 239000010432 diamond Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 102100036790 Tubulin beta-3 chain Human genes 0.000 description 1
- 102100036788 Tubulin beta-4A chain Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical group COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
まず、実施の形態に係る符号化装置を説明する。図1は、実施の形態に係る符号化装置100の機能構成を示すブロック図である。符号化装置100は、動画像をブロック単位で符号化する動画像符号化装置である。
図2は、符号化装置100による全体的な符号化処理の一例を示すフローチャートである。
分割部102は、入力動画像に含まれる各ピクチャを複数のブロックに分割し、各ブロックを減算部104に出力する。例えば、分割部102は、まず、ピクチャを固定サイズ(例えば128x128)のブロックに分割する。他の固定ブロックサイズが採用されてもよい。この固定サイズのブロックは、符号化ツリーユニット(CTU)と呼ばれることがある。そして、分割部102は、例えば再帰的な四分木(quadtree)及び/又は二分木(binary tree)ブロック分割に基づいて、固定サイズのブロックの各々を可変サイズ(例えば64x64以下)のブロックに分割する。すなわち、分割部102は、分割パターンを選択する。この可変サイズのブロックは、符号化ユニット(CU)、予測ユニット(PU)あるいは変換ユニット(TU)と呼ばれることがある。なお、種々の処理例では、CU、PU及びTUは区別される必要はなく、ピクチャ内の一部又はすべてのブロックがCU、PU、TUの処理単位となってもよい。
ピクチャを並列にデコードするために、ピクチャはスライス単位またはタイル単位で構成される場合がある。スライス単位またはタイル単位からなるピクチャは、分割部102によって構成されてもよい。
減算部104は、分割部102から入力され、分割部102によって分割されたブロック単位で、原信号(原サンプル)から予測信号(以下に示す予測制御部128から入力される予測サンプル)を減算する。つまり、減算部104は、符号化対象ブロック(以下、カレントブロックという)の予測誤差(残差ともいう)を算出する。そして、減算部104は、算出された予測誤差(残差)を変換部106に出力する。
変換部106は、空間領域の予測誤差を周波数領域の変換係数に変換し、変換係数を量子化部108に出力する。具体的には、変換部106は、例えば空間領域の予測誤差に対して所定の離散コサイン変換(DCT)又は離散サイン変換(DST)を行う。所定のDCT又はDSTは、予め定められていてもよい。
量子化部108は、変換部106から出力された変換係数を量子化する。具体的には、量子化部108は、カレントブロックの変換係数を所定の走査順序で走査し、走査された変換係数に対応する量子化パラメータ(QP)に基づいて当該変換係数を量子化する。そして、量子化部108は、カレントブロックの量子化された変換係数(以下、量子化係数という)をエントロピー符号化部110及び逆量子化部112に出力する。所定の走査順序は、予め定められていてもよい。
エントロピー符号化部110は、量子化部108から入力された量子化係数に基づいて符号化信号(符号化ビットストリーム)を生成する。具体的には、エントロピー符号化部110は、例えば、量子化係数を二値化し、二値信号を算術符号化し、圧縮されたビットストリームまたはシーケンスを出力する。
逆量子化部112は、量子化部108から入力された量子化係数を逆量子化する。具体的には、逆量子化部112は、カレントブロックの量子化係数を所定の走査順序で逆量子化する。そして、逆量子化部112は、カレントブロックの逆量子化された変換係数を逆変換部114に出力する。所定の走査順序は、予め定められていてもよい。
逆変換部114は、逆量子化部112から入力された変換係数を逆変換することにより予測誤差(残差)を復元する。具体的には、逆変換部114は、変換係数に対して、変換部106による変換に対応する逆変換を行うことにより、カレントブロックの予測誤差を復元する。そして、逆変換部114は、復元された予測誤差を加算部116に出力する。
加算部116は、逆変換部114から入力された予測誤差と予測制御部128から入力された予測サンプルとを加算することによりカレントブロックを再構成する。そして、加算部116は、再構成されたブロックをブロックメモリ118及びループフィルタ部120に出力する。再構成ブロックは、ローカル復号ブロックと呼ばれることもある。
ブロックメモリ118は、例えば、イントラ予測で参照されるブロックであって符号化対象ピクチャ(カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ118は、加算部116から出力された再構成ブロックを格納する。
フレームメモリ122は、例えば、インター予測に用いられる参照ピクチャを格納するための記憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ122は、ループフィルタ部120によってフィルタされた再構成ブロックを格納する。
ループフィルタ部120は、加算部116によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ122に出力する。ループフィルタとは、符号化ループ内で用いられるフィルタ(インループフィルタ)であり、例えば、デブロッキング・フィルタ(DFまたはDBF)、サンプルアダプティブオフセット(SAO)及びアダプティブループフィルタ(ALF)などを含む。
デブロッキング・フィルタでは、ループフィルタ部120は、再構成画像のブロック境界にフィルタ処理を行うことによって、そのブロック境界に生じる歪みを減少させる。
q’1=(p0+q0+q1+q2+2)/4
q’2=(p0+q0+q1+3×q2+2×q3+4)/8
図11は、符号化装置100の予測処理部で行われる処理の一例を示すフローチャートである。なお、予測処理部は、イントラ予測部124、インター予測部126、および予測制御部128の全てまたは一部の構成要素からなる。
イントラ予測部124は、ブロックメモリ118に格納されたカレントピクチャ内のブロックを参照してカレントブロックのイントラ予測(画面内予測ともいう)を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部124は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部128に出力する。
インター予測部126は、フレームメモリ122に格納された参照ピクチャであってカレントピクチャとは異なる参照ピクチャを参照してカレントブロックのインター予測(画面間予測ともいう)を行うことで、予測信号(インター予測信号)を生成する。インター予測は、カレントブロック又はカレントブロック内のカレントサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部126は、カレントブロック又はカレントサブブロックについて参照ピクチャ内で動き探索(motion estimation)を行い、そのカレントブロック又はカレントサブブロックに最も一致する参照ブロック又はサブブロックを見つける。そして、インター予測部126は、参照ブロック又はサブブロックからカレントブロック又はサブブロックへの動き又は変化を補償する動き情報(例えば動きベクトル)を取得する。インター予測部126は、その動き情報に基づいて、動き補償(または動き予測)を行い、カレントブロック又はサブブロックのインター予測信号を生成する。インター予測部126は、生成されたインター予測信号を予測制御部128に出力する。
図15は、インター予測の基本的な流れの一例を示すフローチャートである。
図16は、動きベクトル導出の一例を示すフローチャートである。
図18は、動きベクトル導出の他の例を示すフローチャートである。MV導出のモード、すなわちインター予測モードには、複数のモードがあり、大きく分けて、差分MVを符号化するモードと、差分動きベクトルを符号化しないモードとがある。差分MVを符号化しないモードには、マージモード、FRUCモード、およびアフィンモード(具体的には、アフィンマージモード)がある。これらのモードの詳細については、後述するが、簡単には、マージモードは、周辺の符号化済みブロックから動きベクトルを選択することによって、カレントブロックのMVを導出するモードであり、FRUCモードは、符号化済み領域間で探索を行うことによって、カレントブロックのMVを導出するモードである。また、アフィンモードは、アフィン変換を想定して、カレントブロックを構成する複数のサブブロックそれぞれの動きベクトルを、カレントブロックのMVとして導出するモードである。
ノーマルインターモードは、候補MVによって示される参照ピクチャの領域から、カレントブロックの画像に類似するブロックに基づいて、カレントブロックのMVを導出するインター予測モードである。また、このノーマルインターモードでは、差分MVが符号化される。
マージモードは、候補MVリストから候補MVをカレントブロックのMVとして選択することによって、そのMVを導出するインター予測モードである。
動き情報は符号化装置側から信号化されずに、復号装置側で導出されてもよい。なお、上述のように、H.265/HEVC規格で規定されたマージモードが用いられてもよい。また例えば、復号装置側で動き探索を行うことにより動き情報が導出されてもよい。実施の形態において、復号装置側では、カレントブロックの画素値を用いずに動き探索が行われる。
第1パターンマッチングでは、異なる2つの参照ピクチャ内の2つのブロックであってカレントブロックの動き軌道(motion trajectory)に沿う2つのブロックの間でパターンマッチングが行われる。したがって、第1パターンマッチングでは、上述した候補の評価値の算出のための所定の領域として、カレントブロックの動き軌道に沿う他の参照ピクチャ内の領域が用いられる。所定の領域は、予め定められていてもよい。
第2パターンマッチング(テンプレートマッチング)では、カレントピクチャ内のテンプレート(カレントピクチャ内でカレントブロックに隣接するブロック(例えば上及び/又は左隣接ブロック))と参照ピクチャ内のブロックとの間でパターンマッチングが行われる。したがって、第2パターンマッチングでは、上述した候補の評価値の算出のための所定の領域として、カレントピクチャ内のカレントブロックに隣接するブロックが用いられる。
次に、複数の隣接ブロックの動きベクトルに基づいてサブブロック単位で動きベクトルを導出するアフィンモードについて説明する。このモードは、アフィン動き補償予測(affine motion compensation prediction)モードと呼ばれることがある。
図25Bは、3つの制御ポイントを有するアフィンモードにおけるサブブロック単位の動きベクトルの導出の一例を説明するための概念図である。図25Bにおいて、カレントブロックは、16の4x4サブブロックを含む。ここでは、隣接ブロックの動きベクトルに基づいてカレントブロックの左上角制御ポイントの動きベクトルv0が導出され、同様に、隣接ブロックの動きベクトルに基づいてカレントブロックの右上角制御ポイントの動きベクトルv1、隣接ブロックの動きベクトルに基づいてカレントブロックの左下角制御ポイントの動きベクトルv2が導出される。そして、以下の式(1B)により、3つの動きベクトルv0、v1及びv2が投影されてもよく、カレントブロック内の各サブブロックの動きベクトル(vx,vy)が導出されてもよい。
図26A、図26Bおよび図26Cは、アフィンマージモードを説明するための概念図である。
図28Aは、2つの制御ポイントを有するアフィンインターモードを説明するための概念図である。
異なる制御ポイント数(例えば、2つと3つ)のアフィンモードをCUレベルで切り替えて信号化する場合、符号化済みブロックとカレントブロックで制御ポイントの数が異なる場合がある。図30Aおよび図30Bは、符号化済みブロックとカレントブロックで制御ポイントの数が異なる場合の、制御ポイントの予測ベクトル導出方法を説明するための概念図である。
図31Aは、マージモードおよびDMVRの関係を示すフローチャートである。
動き補償では、予測画像を生成し、その予測画像を補正するモードがある。そのモードは、例えば、後述のBIOおよびOBMCである。
動き探索により得られたカレントブロックの動き情報だけでなく、隣接ブロックの動き情報も用いて、インター予測信号が生成されてもよい。具体的には、(参照ピクチャ内の)動き探索により得られた動き情報に基づく予測信号と、(カレントピクチャ内の)隣接ブロックの動き情報に基づく予測信号と、を重み付け加算することにより、カレントブロック内のサブブロック単位でインター予測信号が生成されてもよい。このようなインター予測(動き補償)は、OBMC(overlapped block motion compensation)と呼ばれることがある。
次に、動きベクトルを導出する方法について説明する。まず、等速直線運動を仮定したモデルに基づいて動きベクトルを導出するモードについて説明する。このモードは、BIO(bi-directional optical flow)モードと呼ばれることがある。
次に、LIC(local illumination compensation)処理を用いて予測画像(予測)を生成するモードの一例について説明する。
予測制御部128は、イントラ予測信号(イントラ予測部124から出力される信号)及びインター予測信号(インター予測部126から出力される信号)のいずれかを選択し、選択した信号を予測信号として減算部104及び加算部116に出力する。
図40は、符号化装置100の実装例を示すブロック図である。符号化装置100は、プロセッサa1及びメモリa2を備える。例えば、図1に示された符号化装置100の複数の構成要素は、図40に示されたプロセッサa1及びメモリa2によって実装される。
次に、例えば上記の符号化装置100から出力された符号化信号(符号化ビットストリーム)を復号可能な復号装置について説明する。図41は、実施の形態に係る復号装置200の機能構成を示すブロック図である。復号装置200は、動画像をブロック単位で復号する動画像復号装置である。
図42は、復号装置200による全体的な復号処理の一例を示すフローチャートである。
エントロピー復号部202は、符号化ビットストリームをエントロピー復号する。具体的には、エントロピー復号部202は、例えば、符号化ビットストリームから二値信号に算術復号する。そして、エントロピー復号部202は、二値信号を多値化(debinarize)する。エントロピー復号部202は、ブロック単位で量子化係数を逆量子化部204に出力する。エントロピー復号部202は、実施の形態におけるイントラ予測部216、インター予測部218および予測制御部220に、符号化ビットストリーム(図1参照)に含まれている予測パラメータを出力してもよい。イントラ予測部216、インター予測部218および予測制御部220は、符号化装置側におけるイントラ予測部124、インター予測部126および予測制御部128で行われる処理と同じ予測処理を実行することができる。
逆量子化部204は、エントロピー復号部202からの入力である復号対象ブロック(以下、カレントブロックという)の量子化係数を逆量子化する。具体的には、逆量子化部204は、カレントブロックの量子化係数の各々について、当該量子化係数に対応する量子化パラメータに基づいて当該量子化係数を逆量子化する。そして、逆量子化部204は、カレントブロックの逆量子化された量子化係数(つまり変換係数)を逆変換部206に出力する。
逆変換部206は、逆量子化部204からの入力である変換係数を逆変換することにより予測誤差を復元する。
加算部208は、逆変換部206からの入力である予測誤差と予測制御部220からの入力である予測サンプルとを加算することによりカレントブロックを再構成する。そして、加算部208は、再構成されたブロックをブロックメモリ210及びループフィルタ部212に出力する。
ブロックメモリ210は、イントラ予測で参照されるブロックであって復号対象ピクチャ(以下、カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ210は、加算部208から出力された再構成ブロックを格納する。
ループフィルタ部212は、加算部208によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ214及び表示装置等に出力する。
フレームメモリ214は、インター予測に用いられる参照ピクチャを格納するための記憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ214は、ループフィルタ部212によってフィルタされた再構成ブロックを格納する。
図43は、復号装置200の予測処理部で行われる処理の一例を示すフローチャートである。なお、予測処理部は、イントラ予測部216、インター予測部218、および予測制御部220の全てまたは一部の構成要素からなる。
イントラ予測部216は、符号化ビットストリームから読み解かれたイントラ予測モードに基づいて、ブロックメモリ210に格納されたカレントピクチャ内のブロックを参照してイントラ予測を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部216は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部220に出力する。
インター予測部218は、フレームメモリ214に格納された参照ピクチャを参照して、カレントブロックを予測する。予測は、カレントブロック又はカレントブロック内のサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部218は、符号化ビットストリーム(例えば、エントロピー復号部202から出力される予測パラメータ)から読み解かれた動き情報(例えば動きベクトル)を用いて動き補償を行うことでカレントブロック又はサブブロックのインター予測信号を生成し、インター予測信号を予測制御部220に出力する。
符号化ビットストリームから読み解かれた情報がノーマルインターモードを適用することを示す場合、インター予測部218は、符号化ストリームから読み解かれた情報に基づいて、MVを導出し、そのMVを用いて動き補償(予測)を行う。
予測制御部220は、イントラ予測信号及びインター予測信号のいずれかを選択し、選択した信号を予測信号として加算部208に出力する。全体的に、復号装置側の予測制御部220、イントラ予測部216およびインター予測部218の構成、機能、および処理は、符号化装置側の予測制御部128、イントラ予測部124およびインター予測部126の構成、機能、および処理と対応していてもよい。
図46は、復号装置200の実装例を示すブロック図である。復号装置200は、プロセッサb1及びメモリb2を備える。例えば、図41に示された復号装置200の複数の構成要素は、図46に示されたプロセッサb1及びメモリb2によって実装される。
各用語は一例として、以下のような定義であってもよい。
以上の各実施の形態において、機能的又は作用的なブロックの各々は、通常、MPU(micro proccessing unit)及びメモリ等によって実現可能である。また、機能ブロックの各々による処理は、ROM等の記録媒体に記録されたソフトウェア(プログラム)を読み出して実行するプロセッサなどのプログラム実行部として実現されてもよい。当該ソフトウェアは、配布されてもよい。当該ソフトウェアは、半導体メモリなどの様々な記録媒体に記録されてもよい。なお、各機能ブロックをハードウェア(専用回路)によって実現することも可能である。ハードウェア及びソフトウェアの様々な組み合わせが採用され得る。
図61は、コンテンツ配信サービスを実現する適切なコンテンツ供給システムex100の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ、図示された例における固定無線局である基地局ex106、ex107、ex108、ex109、ex110が設置されている。
また、ストリーミングサーバex103は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。例えば、ストリーミングサーバex103は、CDN(Contents Delivery Network)により実現され、世界中に分散された多数のエッジサーバとエッジサーバ間をつなぐネットワークによりコンテンツ配信が実現されていてもよい。CDNでは、クライアントに応じて物理的に近いエッジサーバが動的に割り当てられ得る。そして、当該エッジサーバにコンテンツがキャッシュ及び配信されることで遅延を減らすことができる。また、いくつかのタイプのエラーが発生した場合又はトラフィックの増加などにより通信状態が変わる場合に複数のエッジサーバで処理を分散したり、他のエッジサーバに配信主体を切り替えたり、障害が生じたネットワークの部分を迂回して配信を続けることができるので、高速かつ安定した配信が実現できる。
互いにほぼ同期した複数のカメラex113及び/又はスマートフォンex115などの端末により撮影された異なるシーン、又は、同一シーンを異なるアングルから撮影した画像或いは映像を統合して利用することが増えてきている。各端末で撮影した映像は、別途取得した端末間の相対的な位置関係、又は、映像に含まれる特徴点が一致する領域などに基づいて統合され得る。
コンテンツの切り替えに関して、図62に示す、上記各実施の形態で示した動画像符号化方法を応用して圧縮符号化されたスケーラブルなストリームを用いて説明する。サーバは、個別のストリームとして内容は同じで質の異なるストリームを複数有していても構わないが、図示するようにレイヤに分けて符号化を行うことで実現される時間的/空間的スケーラブルなストリームの特徴を活かして、コンテンツを切り替える構成であってもよい。つまり、復号側が性能という内的要因と通信帯域の状態などの外的要因とに応じてどのレイヤを復号するかを決定することで、復号側は、低解像度のコンテンツと高解像度のコンテンツとを自由に切り替えて復号できる。例えばユーザが移動中にスマートフォンex115で視聴していた映像の続きを、例えば帰宅後にインターネットTV等の機器で視聴したい場合には、当該機器は、同じストリームを異なるレイヤまで復号すればよいので、サーバ側の負担を軽減できる。
図64は、コンピュータex111等におけるwebページの表示画面例を示す図である。図65は、スマートフォンex115等におけるwebページの表示画面例を示す図である。図64及び図65に示すようにwebページが、画像コンテンツへのリンクであるリンク画像を複数含む場合があり、閲覧するデバイスによってその見え方は異なっていてもよい。画面上に複数のリンク画像が見える場合には、ユーザが明示的にリンク画像を選択するまで、又は画面の中央付近にリンク画像が近付く或いはリンク画像の全体が画面内に入るまで、表示装置(復号装置)は、リンク画像として各コンテンツが有する静止画又はIピクチャを表示してもよいし、複数の静止画又はIピクチャ等でgifアニメのような映像を表示してもよいし、ベースレイヤのみを受信し、映像を復号及び表示してもよい。
また、車の自動走行又は走行支援のため2次元又は3次元の地図情報などのような静止画又は映像データを送受信する場合、受信端末は、1以上のレイヤに属する画像データに加えて、メタ情報として天候又は工事の情報なども受信し、これらを対応付けて復号してもよい。なお、メタ情報は、レイヤに属してもよいし、単に画像データと多重化されてもよい。
また、コンテンツ供給システムex100では、映像配信業者による高画質で長時間のコンテンツのみならず、個人による低画質で短時間のコンテンツのユニキャスト、又はマルチキャスト配信が可能である。このような個人のコンテンツは今後も増加していくと考えられる。個人コンテンツをより優れたコンテンツにするために、サーバは、編集処理を行ってから符号化処理を行ってもよい。これは、例えば、以下のような構成を用いて実現できる。
また、これらの符号化又は復号処理は、一般的に各端末が有するLSIex500において処理される。LSI(large scale integration circuitry)ex500(図61参照)は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化又は復号用のソフトウェアをコンピュータex111等で読み取り可能な何らかの記録メディア(CD-ROM、フレキシブルディスク、又はハードディスクなど)に組み込み、そのソフトウェアを用いて符号化又は復号処理を行ってもよい。さらに、スマートフォンex115がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンex115が有するLSIex500で符号化処理されたデータであってもよい。
図66は、図61に示されたスマートフォンex115のさらに詳細を示す図である。また、図67は、スマートフォンex115の構成例を示す図である。スマートフォンex115は、基地局ex110との間で電波を送受信するためのアンテナex450と、映像及び静止画を撮ることが可能なカメラ部ex465と、カメラ部ex465で撮像した映像、及びアンテナex450で受信した映像等が復号されたデータを表示する表示部ex458とを備える。スマートフォンex115は、さらに、タッチパネル等である操作部ex466と、音声又は音響を出力するためのスピーカ等である音声出力部ex457と、音声を入力するためのマイク等である音声入力部ex456と、撮影した映像或いは静止画、録音した音声、受信した映像或いは静止画、メール等の符号化されたデータ、又は、復号化されたデータを保存可能なメモリ部ex467と、ユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのSIMex468とのインタフェース部であるスロット部ex464とを備える。なお、メモリ部ex467の代わりに外付けメモリが用いられてもよい。
Claims (58)
- 回路と、
前記回路に接続されたメモリと、を備え、
前記回路は、動作において、
画像のカレントブロックを複数のパーティションに分割し、
前記複数のパーティションのうちの第1パーティションの単予測動きベクトル候補セットから第1動きベクトルを予測し、
前記第1動きベクトルを用いて前記第1パーティションを符号化する
画像符号化装置。 - 前記回路は、動作において、
前記単予測動きベクトル候補セットを生成する
請求項1に記載の画像符号化装置。 - 前記回路は、動作において、
前記カレントブロックの動きベクトル候補のリストを用いて、前記単予測動きベクトル候補セットを生成する
請求項2に記載の画像符号化装置。 - 前記回路は、動作において、
双予測動きベクトル候補から、前記単予測動きベクトル候補セットの単予測動きベクトル候補を生成する
請求項2に記載の画像符号化装置。 - 前記回路は、動作において、
前記双予測動きベクトル候補のインデックスに基づいて、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項4に記載の画像符号化装置。 - 前記回路は、動作において、
前記双予測動きベクトル候補の複数の動きベクトルが指すそれぞれの参照ピクチャに基づいて、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項4に記載の画像符号化装置。 - 前記回路は、動作において、
前記それぞれの参照ピクチャのうち表示順で前記カレントブロックを含むピクチャに最も近い参照ピクチャを指す、前記双予測動きベクトル候補の動きベクトルを選択することによって、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項6に記載の画像符号化装置。 - 前記回路は、動作において、
前記それぞれの参照ピクチャのうち符号化順で前記カレントブロックを含むピクチャに最も近い参照ピクチャを指す、前記双予測動きベクトル候補の動きベクトルを選択することによって、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項6に記載の画像符号化装置。 - 前記回路は、動作において、
表示順で前記カレントブロックを含むピクチャより前である、前記双予測動きベクトル候補の動きベクトルを選択することによって、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項6に記載の画像符号化装置。 - 前記回路は、動作において、
表示順で前記カレントブロックを含むピクチャより後である、前記双予測動きベクトル候補の動きベクトルを選択することによって、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項6に記載の画像符号化装置。 - 前記回路は、動作において、
前記それぞれの参照ピクチャのうち表示順で前記カレントブロックを含むピクチャよりも前で最も近い参照ピクチャを指す、前記双予測動きベクトル候補の動きベクトルを選択することによって、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項6に記載の画像符号化装置。 - 前記回路は、動作において、
前記双予測動きベクトル候補の複数の動きベクトルが指す複数の参照ピクチャに関連するそれぞれの参照ピクチャリストに基づいて、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項4に記載の画像符号化装置。 - 前記回路は、動作において、
単予測動きベクトル候補から、前記単予測動きベクトル候補セットの単予測動きベクトル候補を生成する
請求項2に記載の画像符号化装置。 - 前記回路は、動作において、
1以上の空間隣接パーティションから、前記単予測動きベクトル候補セットの単予測動きベクトル候補を生成する
請求項2に記載の画像符号化装置。 - 前記第1パーティションは、三角形形状パーティションである
請求項1に記載の画像符号化装置。 - 前記回路は、動作において、
前記第1パーティションの特徴に基づいて、第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項1に記載の画像符号化装置。 - 前記特徴は、前記第1パーティションの形状であり、前記回路は、動作において、前記第1パーティションが非矩形形状を有することに応じて、前記第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項16に記載の画像符号化装置。 - 前記特徴は、前記第1パーティションのサイズであり、前記回路は、動作において、前記第1パーティションのサイズと閾値パーティションサイズとの比較に基づいて、前記第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項16に記載の画像符号化装置。 - 動作において、原ピクチャを受信し、複数のブロックに分割する分割部と、
動作において、前記分割部から前記複数のブロックと、予測制御部から複数の予測とを受信し、各予測を対応ブロックから減算して残差を出力する第1加算部と、
動作において、前記第1加算部から出力された複数の残差に対して変換を行って、複数の変換係数を出力する変換部と、
動作において、前記複数の変換係数を量子化して、複数の量子化変換係数を生成する量子化部と、
動作において、前記複数の量子化変換係数を符号化して、ビットストリームを生成するエントロピー符号化部と、
動作において、前記複数の量子化変換係数を逆量子化して、前記複数の変換係数を取得し、前記複数の変換係数を逆変換して、前記複数の残差を取得する逆量子化変換部と、
動作において、前記逆量子化変換部から出力された前記複数の残差と、前記予測制御部から出力された前記複数の予測とを加算して、前記複数のブロックを再構成する第2加算部と、
インター予測部、イントラ予測部及びメモリに接続された前記予測制御部とを備え、
前記インター予測部は、動作において、符号化済みの参照ピクチャにおける参照ブロックに基づいてカレントブロックの予測を生成し、前記イントラ予測部は、動作において、カレントピクチャにおける符号化済みの参照ブロックに基づいてカレントブロックの予測を生成し、
前記インター予測部は、動作において、
画像のカレントブロックを複数のパーティションに分割し、
前記複数のパーティションのうちの第1パーティションの単予測動きベクトル候補セットから第1動きベクトルを予測し、
前記第1動きベクトルを用いて前記第1パーティションを符号化する
画像符号化装置。 - 前記インター予測部は、動作において、
前記単予測動きベクトル候補セットを生成する
請求項19に記載の画像符号化装置。 - 前記インター予測部は、動作において、
前記カレントブロックの動きベクトル候補のリストを用いて、前記単予測動きベクトル候補セットを生成する
請求項20に記載の画像符号化装置。 - 前記インター予測部は、動作において、
双予測動きベクトル候補から、前記単予測動きベクトル候補セットの単予測動きベクトル候補を生成する
請求項20に記載の画像符号化装置。 - 前記インター予測部は、動作において、
単予測動きベクトル候補から、前記単予測動きベクトル候補セットの単予測動きベクトル候補を生成する
請求項20に記載の画像符号化装置。 - 前記インター予測部は、動作において、
前記第1パーティションの特徴に基づいて、第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項19に記載の画像符号化装置。 - 前記特徴は、前記第1パーティションのサイズであり、前記インター予測部は、動作において、前記第1パーティションのサイズと閾値パーティションサイズとの比較に基づいて、前記第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項24に記載の画像符号化装置。 - 画像の処理対象のカレントブロックを複数のパーティションに分割し、
前記複数のパーティションのうちの第1パーティションの単予測動きベクトル候補セットから第1動きベクトルを予測し、
前記第1動きベクトルを用いて前記第1パーティションを符号化する
画像符号化方法。 - 前記単予測動きベクトル候補セットを生成する
請求項26に記載の画像符号化方法。 - 前記第1パーティションの特徴に基づいて、第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項26に記載の画像符号化方法。 - 前記特徴は、前記第1パーティションのサイズであり、前記画像符号化方法は、動作において、前記第1パーティションのサイズと閾値パーティションサイズとの比較に基づいて、前記第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項28に記載の画像符号化方法。 - 回路と、
前記回路に接続されたメモリと、を備え、
前記回路は、動作において、
画像のカレントブロックを複数のパーティションに分割し、
前記複数のパーティションのうちの第1パーティションの単予測動きベクトル候補セットから第1動きベクトルを予測し、
前記第1動きベクトルを用いて前記第1パーティションを復号する
画像復号装置。 - 前記回路は、動作において、
前記単予測動きベクトル候補セットを生成する
請求項30に記載の画像復号装置。 - 前記回路は、動作において、
前記カレントブロックの動きベクトル候補のリストを用いて、前記単予測動きベクトル候補セットを生成する
請求項31に記載の画像復号装置。 - 前記回路は、動作において、
双予測動きベクトル候補から、前記単予測動きベクトル候補セットの単予測動きベクトル候補を生成する
請求項31に記載の画像復号装置。 - 前記回路は、動作において、
前記双予測動きベクトル候補のインデックスに基づいて、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項33に記載の画像復号装置。 - 前記回路は、動作において、
前記双予測動きベクトル候補の複数の動きベクトルが指すそれぞれの参照ピクチャに基づいて、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項33に記載の画像復号装置。 - 前記回路は、動作において、
前記それぞれの参照ピクチャのうち表示順で前記カレントブロックを含むピクチャに最も近い参照ピクチャを指す、前記双予測動きベクトル候補の動きベクトルを選択することによって、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項35に記載の画像復号装置。 - 前記回路は、動作において、
前記それぞれの参照ピクチャのうち符号化順で前記カレントブロックを含むピクチャに最も近い参照ピクチャを指す、前記双予測動きベクトル候補の動きベクトルを選択することによって、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項35に記載の画像復号装置。 - 前記回路は、動作において、
表示順で前記カレントブロックを含むピクチャより前である、前記双予測動きベクトル候補の動きベクトルを選択することによって、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項35に記載の画像復号装置。 - 前記回路は、動作において、
表示順で前記カレントブロックを含むピクチャより後である、前記双予測動きベクトル候補の動きベクトルを選択することによって、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項35に記載の画像復号装置。 - 前記回路は、動作において、
前記それぞれの参照ピクチャのうち表示順で前記カレントブロックを含むピクチャよりも前で最も近い参照ピクチャを指す、前記双予測動きベクトル候補の動きベクトルを選択することによって、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項35に記載の画像復号装置。 - 前記回路は、動作において、
前記双予測動きベクトル候補の複数の動きベクトルが指す複数の参照ピクチャに関連するそれぞれの参照ピクチャリストに基づいて、前記単予測動きベクトル候補セットの前記単予測動きベクトル候補を生成する
請求項33に記載の画像復号装置。 - 前記回路は、動作において、
単予測動きベクトル候補から、前記単予測動きベクトル候補セットの単予測動きベクトル候補を生成する
請求項31に記載の画像復号装置。 - 前記回路は、動作において、
1以上の空間隣接パーティションから、前記単予測動きベクトル候補セットの単予測動きベクトル候補を生成する
請求項31に記載の画像復号装置。 - 前記第1パーティションは、三角形形状パーティションである
請求項30に記載の画像復号装置。 - 前記回路は、動作において、
前記第1パーティションの特徴に基づいて、第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項30に記載の画像復号装置。 - 前記特徴は、前記第1パーティションの形状であり、前記回路は、動作において、前記第1パーティションが非矩形形状を有することに応じて、前記第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項45に記載の画像復号装置。 - 前記特徴は、前記第1パーティションのサイズであり、前記回路は、動作において、前記第1パーティションのサイズと閾値パーティションサイズとの比較に基づいて、前記第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項45に記載の画像復号装置。 - 動作において、符号化ビットストリームを受信し復号して、複数の量子化変換係数を取得するエントロピー復号部と、
動作において、前記複数の量子化変換係数を逆量子化して複数の変換係数を取得し、前記複数の変換係数を逆変換して複数の残差を取得する逆量子化変換部と、
動作において、前記逆量子化変換部から出力される前記複数の残差と、予測制御部から出力される複数の予測とを加算して、複数のブロックを再構成する加算部と、
インター予測部、イントラ予測部及びメモリに接続された前記予測制御部とを備え、
前記インター予測部は、動作において、復号済みの参照ピクチャにおける参照ブロックに基づいてカレントブロックの予測を生成し、前記イントラ予測部は、動作において、カレントピクチャにおける符号化済みの参照ブロックに基づいてカレントブロックの予測を生成し、
前記インター予測部は、動作において、
画像のカレントブロックを複数のパーティションに分割し、
前記複数のパーティションのうちの第1パーティションの単予測動きベクトル候補セットから第1動きベクトルを予測し、
前記第1動きベクトルを用いて前記第1パーティションを復号する
画像復号装置。 - 前記インター予測部は、動作において、
前記単予測動きベクトル候補セットを生成する
請求項48に記載の画像復号装置。 - 前記インター予測部は、動作において、
前記カレントブロックの動きベクトル候補のリストを用いて、前記単予測動きベクトル候補セットを生成する
請求項49に記載の画像復号装置。 - 前記インター予測部は、動作において、
双予測動きベクトル候補から、前記単予測動きベクトル候補セットの単予測動きベクトル候補を生成する
請求項49に記載の画像復号装置。 - 前記インター予測部は、動作において、
単予測動きベクトル候補から、前記単予測動きベクトル候補セットの単予測動きベクトル候補を生成する
請求項49に記載の画像復号装置。 - 前記インター予測部は、動作において、
前記第1パーティションの特徴に基づいて、第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項48に記載の画像復号装置。 - 前記特徴は、前記第1パーティションのサイズであり、前記インター予測部は、動作において、前記第1パーティションのサイズと閾値パーティションサイズとの比較に基づいて、前記第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項53に記載の画像復号装置。 - 画像の処理対象のカレントブロックを複数のパーティションに分割し、
前記複数のパーティションのうちの第1パーティションの単予測動きベクトル候補セットから第1動きベクトルを予測し、
前記第1動きベクトルを用いて前記第1パーティションを復号する
画像復号方法。 - 前記単予測動きベクトル候補セットを生成する
請求項55に記載の画像復号方法。 - 前記第1パーティションの特徴に基づいて、第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項55に記載の画像復号方法。 - 前記特徴は、前記第1パーティションのサイズであり、前記画像復号方法は、動作において、前記第1パーティションのサイズと閾値パーティションサイズとの比較に基づいて、前記第1単予測動きベクトル候補セットから前記第1パーティションの前記第1動きベクトルを予測すると決定する
請求項57に記載の画像復号方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023117697A JP2023126578A (ja) | 2018-07-17 | 2023-07-19 | 画像符号化装置及び画像復号装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862699404P | 2018-07-17 | 2018-07-17 | |
US62/699,404 | 2018-07-17 | ||
PCT/JP2019/027511 WO2020017423A1 (en) | 2018-07-17 | 2019-07-11 | Motion vector prediction for video coding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117697A Division JP2023126578A (ja) | 2018-07-17 | 2023-07-19 | 画像符号化装置及び画像復号装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022503464A true JP2022503464A (ja) | 2022-01-12 |
Family
ID=67480266
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021502646A Pending JP2022503464A (ja) | 2018-07-17 | 2019-07-11 | ビデオコーディング用動きベクトル予測 |
JP2023117697A Pending JP2023126578A (ja) | 2018-07-17 | 2023-07-19 | 画像符号化装置及び画像復号装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023117697A Pending JP2023126578A (ja) | 2018-07-17 | 2023-07-19 | 画像符号化装置及び画像復号装置 |
Country Status (8)
Country | Link |
---|---|
US (3) | US20200029087A1 (ja) |
JP (2) | JP2022503464A (ja) |
KR (1) | KR20210028651A (ja) |
CN (1) | CN112514394A (ja) |
BR (1) | BR112020026686A2 (ja) |
MX (5) | MX2021000265A (ja) |
TW (1) | TWI808218B (ja) |
WO (1) | WO2020017423A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4072141A1 (en) * | 2016-03-24 | 2022-10-12 | Intellectual Discovery Co., Ltd. | Method and apparatus for encoding/decoding video signal |
US11750832B2 (en) * | 2017-11-02 | 2023-09-05 | Hfi Innovation Inc. | Method and apparatus for video coding |
MX2021000265A (es) * | 2018-07-17 | 2021-03-25 | Panasonic Ip Corp America | Prediccion de vectores de movimiento para codificacion de video. |
US11030777B2 (en) * | 2018-09-14 | 2021-06-08 | Sony Group Corporation | Adaptive subband coding for lifting transform |
MX2021004020A (es) * | 2018-10-08 | 2021-06-30 | Huawei Tech Co Ltd | Aparatos y metodos para interprediccion de una particion geometrica de un bloque de codificacion. |
CN113170093B (zh) * | 2018-11-20 | 2023-05-02 | 北京字节跳动网络技术有限公司 | 视频处理中的细化帧间预测 |
JP7164813B2 (ja) * | 2018-11-21 | 2022-11-02 | 日本電信電話株式会社 | 予測装置、予測方法、及びプログラム。 |
US10778977B2 (en) * | 2018-12-05 | 2020-09-15 | Qualcomm Incorporated | Triangle motion information for video coding |
CN113243108A (zh) * | 2018-12-25 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 利用三角形形状预测单元的视频编解码 |
WO2020263472A1 (en) * | 2019-06-24 | 2020-12-30 | Alibaba Group Holding Limited | Method and apparatus for motion vector refinement |
US11412221B2 (en) * | 2019-06-24 | 2022-08-09 | Alibaba Group Holding Limited | Method and apparatus for motion field storage in triangle partition mode and geometric partition mode |
WO2021030019A1 (en) * | 2019-08-15 | 2021-02-18 | Alibaba Group Holding Limited | Block partitioning methods for video coding |
CN115104310A (zh) * | 2020-01-26 | 2022-09-23 | 抖音视界有限公司 | 沿不同方向的运动补偿 |
US12095984B2 (en) * | 2022-02-07 | 2024-09-17 | Tencent America LLC | Sub-block based constraint on bi-prediction for out-of-boundary conditions |
US20240029316A1 (en) * | 2022-07-14 | 2024-01-25 | Tencent America LLC | Systems and methods for reflection symmetry-based mesh coding |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016530848A (ja) * | 2013-09-13 | 2016-09-29 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 非対称動き分割を使用するビデオコーディング技法 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2533765T3 (es) | 2006-03-30 | 2015-04-15 | Lg Electronics Inc. | Un método y un aparato para descodificar/codificar una señal de video |
RU2010120518A (ru) | 2007-10-15 | 2011-11-27 | Нокиа Корпорейшн (Fi) | Пропуск информации движения и одноцикловое кодирование для многоракурсного видеоконтента |
WO2010017166A2 (en) * | 2008-08-04 | 2010-02-11 | Dolby Laboratories Licensing Corporation | Overlapped block disparity estimation and compensation architecture |
EP2321970A1 (en) | 2008-09-04 | 2011-05-18 | Thomson Licensing | Methods and apparatus for prediction refinement using implicit motion prediction |
JP2012023597A (ja) * | 2010-07-15 | 2012-02-02 | Sony Corp | 画像処理装置及び画像処理方法 |
EP3657798B1 (en) | 2010-10-06 | 2022-10-12 | NTT DoCoMo, Inc. | Bi-predictive image decoding method |
US9807424B2 (en) * | 2011-01-10 | 2017-10-31 | Qualcomm Incorporated | Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation |
JP2013106312A (ja) * | 2011-11-16 | 2013-05-30 | Jvc Kenwood Corp | 画像符号化装置、画像符号化方法及び画像符号化プログラム |
US9538180B2 (en) | 2012-12-17 | 2017-01-03 | Qualcomm Incorporated | Motion vector prediction in video coding |
KR20130067280A (ko) * | 2013-04-18 | 2013-06-21 | 엠앤케이홀딩스 주식회사 | 인터 예측 부호화된 동영상 복호화 방법 |
WO2015006884A1 (en) | 2013-07-19 | 2015-01-22 | Qualcomm Incorporated | 3d video coding with partition-based depth inter coding |
EP3202143B8 (en) * | 2014-11-18 | 2019-09-25 | MediaTek Inc. | Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate |
AU2016316309B2 (en) * | 2015-09-02 | 2019-01-24 | Hfi Innovation Inc. | Method and apparatus of decoder side motion derivation for video coding |
WO2017048008A1 (ko) * | 2015-09-17 | 2017-03-23 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인터 예측 방법 및 장치 |
US20170244964A1 (en) * | 2016-02-23 | 2017-08-24 | Mediatek Inc. | Method and Apparatus of Flexible Block Partition for Video Coding |
US20190158860A1 (en) * | 2016-05-13 | 2019-05-23 | Sharp Kabushiki Kaisha | Video decoding device |
US10560718B2 (en) * | 2016-05-13 | 2020-02-11 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
WO2018105582A1 (ja) * | 2016-12-09 | 2018-06-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
US20180199057A1 (en) * | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
US10602180B2 (en) * | 2017-06-13 | 2020-03-24 | Qualcomm Incorporated | Motion vector prediction |
JP6510084B2 (ja) * | 2018-01-05 | 2019-05-08 | 株式会社東芝 | 動画像復号化方法及び電子装置 |
WO2019151279A1 (ja) * | 2018-01-30 | 2019-08-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
CN111771377B (zh) * | 2018-01-30 | 2024-09-20 | 松下电器(美国)知识产权公司 | 编码装置 |
WO2019151297A1 (ja) * | 2018-01-30 | 2019-08-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
KR102551362B1 (ko) * | 2018-02-28 | 2023-07-04 | 삼성전자주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
US11509925B2 (en) * | 2018-04-12 | 2022-11-22 | Samsung Electronics Co.. Ltd. | Method and device for video encoding and video decoding motion vector information |
CN118175329A (zh) * | 2018-05-17 | 2024-06-11 | 松下电器(美国)知识产权公司 | 编码装置、编码方法、解码装置、解码方法和计算机可读取介质 |
US20200014931A1 (en) * | 2018-07-06 | 2020-01-09 | Mediatek Inc. | Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems |
MX2021000265A (es) * | 2018-07-17 | 2021-03-25 | Panasonic Ip Corp America | Prediccion de vectores de movimiento para codificacion de video. |
CN118590651A (zh) * | 2018-11-13 | 2024-09-03 | 北京字节跳动网络技术有限公司 | 用于子块预测块的多假设 |
-
2019
- 2019-07-11 MX MX2021000265A patent/MX2021000265A/es unknown
- 2019-07-11 WO PCT/JP2019/027511 patent/WO2020017423A1/en active Application Filing
- 2019-07-11 BR BR112020026686-8A patent/BR112020026686A2/pt unknown
- 2019-07-11 KR KR1020217001088A patent/KR20210028651A/ko unknown
- 2019-07-11 CN CN201980047145.8A patent/CN112514394A/zh active Pending
- 2019-07-11 JP JP2021502646A patent/JP2022503464A/ja active Pending
- 2019-07-16 US US16/513,586 patent/US20200029087A1/en not_active Abandoned
- 2019-07-16 TW TW108125111A patent/TWI808218B/zh active
-
2021
- 2021-01-08 MX MX2024002717A patent/MX2024002717A/es unknown
- 2021-01-08 MX MX2024002715A patent/MX2024002715A/es unknown
- 2021-01-08 MX MX2024002713A patent/MX2024002713A/es unknown
- 2021-01-08 MX MX2024002714A patent/MX2024002714A/es unknown
- 2021-08-20 US US17/408,315 patent/US11722684B2/en active Active
-
2023
- 2023-06-08 US US18/331,800 patent/US20230319300A1/en active Pending
- 2023-07-19 JP JP2023117697A patent/JP2023126578A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016530848A (ja) * | 2013-09-13 | 2016-09-29 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 非対称動き分割を使用するビデオコーディング技法 |
Non-Patent Citations (3)
Title |
---|
"Advanced video coding for generic audiovisual services", ITU-T RECOMMENDATION H.264, JPN6022005467, May 2003 (2003-05-01), pages 73 - 75, ISSN: 0005022475 * |
ANTHONY JOCH AND ALEXIS MICHAEL TOURAPIS: "Cleanup of MV Decoding Process in B-slices", JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6), vol. JVT-F073, JPN6022005465, 2 December 2002 (2002-12-02), ISSN: 0005022476 * |
YONGJO AHN AND DONGGYU SIM: "CE10-related: Diagonal motion partitions on top of MTT block structure", JOINT VIDEO EXPERTS TEAM(JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-K0270, JPN6022005466, 15 July 2018 (2018-07-15), ISSN: 0005161558 * |
Also Published As
Publication number | Publication date |
---|---|
US20200029087A1 (en) | 2020-01-23 |
US20230319300A1 (en) | 2023-10-05 |
MX2024002714A (es) | 2024-03-20 |
MX2024002715A (es) | 2024-03-20 |
US11722684B2 (en) | 2023-08-08 |
US20210385474A1 (en) | 2021-12-09 |
WO2020017423A1 (en) | 2020-01-23 |
JP2023126578A (ja) | 2023-09-07 |
CN112514394A (zh) | 2021-03-16 |
TW202019174A (zh) | 2020-05-16 |
KR20210028651A (ko) | 2021-03-12 |
TWI808218B (zh) | 2023-07-11 |
MX2021000265A (es) | 2021-03-25 |
MX2024002713A (es) | 2024-03-20 |
BR112020026686A2 (pt) | 2021-03-30 |
MX2024002717A (es) | 2024-03-20 |
TW202344048A (zh) | 2023-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7074854B2 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP6950095B2 (ja) | 符号化装置及び復号装置 | |
JP2022503464A (ja) | ビデオコーディング用動きベクトル予測 | |
WO2020184555A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP2023164617A (ja) | 画像符号化装置、画像復号装置及びビットストリーム生成装置 | |
JP7389283B2 (ja) | 符号化装置及び復号装置 | |
JP7189234B2 (ja) | 符号化装置及び復号装置 | |
JPWO2020085235A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP2023068203A (ja) | 復号装置及び復号方法 | |
JPWO2019240050A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 | |
JP7072088B2 (ja) | 符号化装置及び復号装置 | |
JP2023017026A (ja) | 非一時的記憶媒体 | |
JP2023029589A (ja) | 符号化装置及び復号装置 | |
JPWO2020045050A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2020031902A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 | |
JPWO2020050279A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 | |
JP2023001298A (ja) | 復号装置及び復号方法 | |
JP2022168052A (ja) | 復号装置及び符号化装置 | |
JP7079377B2 (ja) | 符号化装置、復号装置、符号化方法、および復号方法 | |
WO2021025080A1 (ja) | 符号化装置、復号装置、符号化方法、および復号方法 | |
WO2021006196A1 (ja) | 符号化装置、復号装置、符号化方法、および復号方法 | |
WO2020122232A1 (ja) | 符号化装置、復号装置、符号化方法、および復号方法 | |
WO2020031923A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220506 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221214 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230719 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230727 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230929 |