JP2022504383A - マージモードのためのエンコーダ、デコーダ、および対応する方法 - Google Patents
マージモードのためのエンコーダ、デコーダ、および対応する方法 Download PDFInfo
- Publication number
- JP2022504383A JP2022504383A JP2021518874A JP2021518874A JP2022504383A JP 2022504383 A JP2022504383 A JP 2022504383A JP 2021518874 A JP2021518874 A JP 2021518874A JP 2021518874 A JP2021518874 A JP 2021518874A JP 2022504383 A JP2022504383 A JP 2022504383A
- Authority
- JP
- Japan
- Prior art keywords
- list
- prediction
- candidate
- block
- candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 150
- 230000033001 locomotion Effects 0.000 claims abstract description 272
- 238000012545 processing Methods 0.000 claims abstract description 63
- 230000008569 process Effects 0.000 claims description 61
- 238000004590 computer program Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 description 119
- 238000013139 quantization Methods 0.000 description 80
- 238000004891 communication Methods 0.000 description 40
- 238000006243 chemical reaction Methods 0.000 description 32
- 230000009466 transformation Effects 0.000 description 32
- 239000000872 buffer Substances 0.000 description 25
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 22
- 238000010276 construction Methods 0.000 description 18
- 230000002123 temporal effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 238000000638 solvent extraction Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 241000023320 Luma <angiosperm> Species 0.000 description 10
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 10
- 238000005192 partition Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 10
- 238000009795 derivation Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000002441 reversible effect Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000003491 array Methods 0.000 description 6
- 230000011664 signaling Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 229920001690 polydopamine Polymers 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000002427 irreversible effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 101150114515 CTBS gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Analogue/Digital Conversion (AREA)
Abstract
本開示は、マージ候補リストに従ってブロックを処理する方法およびデバイスを提供し、方法は、現在のブロックの近隣のブロックの動き情報に応じて第1のリストを構築するステップと、現在のブロックの予測情報を取得するステップと、現在のブロックの予測情報が、下位ブロック予測が現在のブロックに適用されることを示すとき、第1のリストに従って現在のブロックに関する単予測の候補を取得するステップと、現在のブロックのインター予測を実行するために現在のブロックに関する単予測の候補を使用するステップとを含む。本開示の実施形態によれば、通常のマージリストが直接使用されることが可能であり、下位ブロック予測のための単予測のマージ候補リストを明示的に生成する必要がない。
Description
本出願(開示)の実施形態は、概して、ピクチャ処理の分野に関し、より詳細には、マージモードに関する。
ビデオコーディング(ビデオ符号化および復号)は、広範なデジタルビデオアプリケーション、たとえば、ブロードキャストデジタルTV、インターネットおよびモバイルネットワーク上のビデオ送信、ビデオチャットのようなリアルタイム会話アプリケーション、テレビ会議、DVDおよびブルーレイディスク、ビデオコンテンツ獲得および編集システム、ならびにセキュリティアプリケーションのカムコーダにおいて使用される。
比較的短いビデオでさえも描くために必要とされるビデオデータの量はかなり多くなり得、それが、データが限られた帯域幅の容量を有する通信ネットワークを介してストリーミングされるかまたはそれ以外の方法で伝達されるべきであるときに困難をもたらす可能性がある。したがって、ビデオデータは、概して、現代の通信ネットワークを介して伝達される前に圧縮される。メモリリソースが限られている可能性があるので、ビデオがストレージデバイスに記憶されるとき、ビデオのサイズも問題となりうる。多くの場合、ビデオ圧縮デバイスは、送信または記憶の前にビデオデータをコーディングするために送信元においてソフトウェアおよび/またはハードウェアを使用し、それによって、デジタルビデオ画像を表現するために必要とされるデータの量を削減する。次いで、圧縮されたデータが、ビデオデータを復号するビデオ解凍デバイスによって送信先において受信される。限られたネットワークリソースおよびより高いビデオ品質のますます増加する需要によって、ピクチャ品質をほとんどまたはまったく犠牲にせずに圧縮比を高める改善された圧縮および解凍技術が、望ましい。
本出願の実施形態は、独立請求項に係る符号化および復号のための装置および方法を提供する。
上述のおよびその他の目的は、独立請求項の主題により達成される。さらなる実装の形態は、従属請求項、明細書、および図面から明らかである。
本開示の第1の態様によれば、マージ候補リストに従ってブロックを処理する方法が、開示され、方法は、
現在のブロックの近隣のブロックの動き情報に応じて第1のリストを構築するステップと、現在のブロックの予測情報を取得するステップと、現在のブロックの予測情報が、下位ブロック予測が現在のブロックに適用されることを示すとき、第1のリストに従って現在のブロックに関する単予測(uni-prediction)の候補を取得するステップと、現在のブロックのインター予測を実行するために現在のブロックに関する単予測の候補を使用するステップとを含む。
現在のブロックの近隣のブロックの動き情報に応じて第1のリストを構築するステップと、現在のブロックの予測情報を取得するステップと、現在のブロックの予測情報が、下位ブロック予測が現在のブロックに適用されることを示すとき、第1のリストに従って現在のブロックに関する単予測(uni-prediction)の候補を取得するステップと、現在のブロックのインター予測を実行するために現在のブロックに関する単予測の候補を使用するステップとを含む。
この方法においては、通常のマージ候補リストが、余計な動きベクトルの刈り込み(pruning)なしに下位ブロック区画(たとえば、三角形または非矩形など)のマージ予測のために再利用される。
可能な実装の形態において、現在のブロックが、2つの下位ブロックを含み、各下位ブロックが、単予測の候補に対応する。
可能な実装の形態において、1つの単予測の候補が、第1のリストの1つの双予測(bi-prediction)の候補に応じて生成される。
可能な実装の形態において、2つの単予測の候補が、第1のリストの1つの双予測の候補に応じて生成される。
可能な実装の形態において、1つの単予測の候補が、双予測の候補の第1の部分である。
可能な実装の形態において、1つの単予測の候補が、双予測の候補の第2の部分である。
可能な実装の形態において、下位ブロック予測が、三角予測(triangular prediction)である。
可能な実装の形態において、第1のリストの1つの双予測の候補に応じた2つの単予測の候補の生成が、
2つの単予測の候補の間の類似性を決定することを含む。
2つの単予測の候補の間の類似性を決定することを含む。
可能な実装の形態において、単予測の候補が、第1のリストの双予測の候補に応じて、第1のリスト内の候補の順序に基づいて生成される。
本開示の第2の態様によれば、エンコーダは、方法の実施形態を実行するための処理回路を含む。
本開示の第3の態様によれば、デコーダは、方法の実施形態を実行するための処理回路を含む。
本開示の第4の態様によれば、コンピュータプログラム製品は、方法の実施形態を実行するためのプログラムコードを含む。
本開示の第5の態様によれば、デコーダは、
1つ以上のプロセッサと、
プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、方法の実施形態を実行するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体と
を含む。
1つ以上のプロセッサと、
プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、方法の実施形態を実行するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体と
を含む。
本開示の第6の態様によれば、エンコーダは、
1つ以上のプロセッサと、
プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、方法の実施形態を実行するようにエンコーダを構成する、非一時的コンピュータ可読ストレージ媒体と
を含む。
1つ以上のプロセッサと、
プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、方法の実施形態を実行するようにエンコーダを構成する、非一時的コンピュータ可読ストレージ媒体と
を含む。
本開示の実施形態によれば、異なるマージモードによって共有される共通の動作を最大化するために、通常のマージリストが構築され、その動きベクトルが下位ブロック予測のために使用される。例においては、通常のマージ候補リストの各マージ候補に関して、そのL0またはL1の動きベクトルのうちの1つおよび1つだけが、1つの下位ブロック予測のために使用される。さらに、L0対L1の動きベクトルを選択する順序が、そのマージインデックス(merge index)のパリティ(parity)に基づく。通常のマージリストが直接使用されることが可能であり、下位ブロック予測のための単予測のマージ候補リストを明示的に生成する必要がない。
例においては、通常のマージリストが構築されると、通常のマージ候補リストの各マージ候補に関して、そのL0またはL1の動きベクトルのうちの1つおよび1つだけが、1つの下位ブロック予測のために使用される。さらに、L0対L1の動きベクトルを選択する順序が、そのマージインデックスのパリティに基づく。例においては、表1に示されるように、偶数値のインデックスを有する候補に関しては、そのL0の動きベクトルが、まず、下位ブロック予測のために使用されるように選択される。そのL0の動きベクトルが利用可能でない場合、そのL1の動きベクトルが、L0の動きベクトルの代わりに使用される。奇数値のインデックスを有する候補に関しては、そのL1の動きベクトルが、まず、三角予測のために使用されるように選択される。それが利用可能でない場合、そのL0の動きベクトルが、代わりに使用される。表1においては、各マージインデックスに対応して、「x」印を付けられた動きベクトルが、まず、下位ブロック予測のために選択される。
本開示の実施形態によれば、通常のマージリストが直接使用されることが可能であり、下位ブロック予測のための単予測のマージ候補リストを明示的に生成する必要がない。デコーダ側で、下位ブロックのマージインデックスが受信されると、単予測のMVの候補が、シグナリングされたマージインデックス値に基づいて容易に見つけられうる。
1つ以上の実施形態の詳細が、添付の図面および以下の説明に記載されている。その他の特徴、目的、および利点は、明細書、図面、および特許請求の範囲から明らかになるであろう。
以下で、本開示の実施形態が、添付の図および図面を参照してより詳細に説明される。
以下で、同一の参照符号は、別途明記されない場合、同一のまたは少なくとも機能的に等価な特徴を指す。
以下の説明においては、本開示の一部を形成し、本開示の実施形態の特定の態様または本開示の実施形態が使用されてもよい特定の態様を例として示す添付の図面が参照される。本開示の実施形態は、その他の態様において使用され、図面に示されない構造的または論理的変更を含んでもよいことが理解される。したがって、以下の詳細な説明は、限定的意味に理解されるべきでなく、本開示の範囲は、添付の特許請求の範囲によって定義される。
たとえば、説明される方法に関連する開示は、方法を実行するように構成された対応するデバイスまたはシステムに、かつその逆に当てはまってもよいあることが理解される。たとえば、1つ以上の特定の方法のステップが説明される場合、対応するデバイスは、説明される1つ以上の方法のステップを実行するための1つ以上のユニット、たとえば、機能ユニット(たとえば、1つもしくは複数のステップを実行する1つのユニット、または複数のステップのうちの1つもしくは複数をそれぞれが実行する複数のユニット)を、たとえそのような1つ以上のユニットが明示的に説明されないかまたは図に示されないとしても含んでもよい。一方、たとえば、特定の装置が1つ以上のユニット、たとえば、機能ユニットに基づいて説明される場合、対応する方法は、1つ以上のユニットの機能を実行するための1つのステップ(たとえば、1つもしくは複数のユニットの機能を実行する1つのステップ、または複数のユニットのうちの1つもしくは複数の機能をそれぞれが実行する複数のステップ)を、たとえそのような1つ以上のステップが明示的に説明されないかまたは図に示されないとしても含んでもよい。さらに、本明細書において説明される様々な例示的な実施形態および/または態様の特徴は、そうでないことが明記されない限り互いに組み合わされてもよいことが理解される。
ビデオコーディングは、概して、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスの処理を指す。用語「ピクチャ」の代わりに、用語「フレーム」または「画像」が、ビデオコーディングの分野において同義語として使用されてもよい。ビデオコーディング(または概してコーディング)は、2つの部分、ビデオ符号化およびビデオ復号を含む。ビデオ符号化は、送信元の側で実行され、概して、(より効率的な記憶および/または送信のために)ビデオピクチャを表現するために必要とされるデータの量を減らすために元のビデオピクチャを(たとえば、圧縮によって)処理することを含む。ビデオ復号は、送信先の側で実行され、概して、ビデオピクチャを再構築するためにエンコーダと比べて逆の処理を含む。ビデオピクチャ(または概してピクチャ)の「コーディング」に言及する実施形態は、ビデオピクチャまたはそれぞれのビデオシーケンスの「符号化」または「復号」に関すると理解される。符号化部分と復号部分との組み合わせは、コーデック(コーディングおよびデコーディング)とも呼ばれる。
可逆ビデオコーディングの場合、(記憶または送信中に送信損失またはその他のデータ損失がないと仮定して)元のビデオピクチャが再構築されることが可能であり、つまり、再構築されたビデオピクチャは元のビデオピクチャと同じ品質を有する。不可逆ビデオコーディングの場合、ビデオピクチャを表現するデータの量を減らすために、たとえば、量子化によるさらなる圧縮が実行され、これは、デコーダにおいて完全に再構築され得ず、つまり、再構築されたビデオピクチャの品質は、元のビデオピクチャの品質に比べてより低いまたはより悪い。
いくつかのビデオコーディング規格は、「不可逆ハイブリッドビデオコーデック」のグループに属する(つまり、サンプル領域(sample domain)における空間および時間予測と変換領域(transform domain)において量子化を適用するための2D変換コーディングとを組み合わせる)。ビデオシーケンスの各ピクチャは、概して、1組の重なり合わないブロックに区分けされ、コーディングは、概して、ブロックレベルで実行される。言い換えると、エンコーダにおいて、ビデオは、概して、たとえば、空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を使用して予測ブロック(prediction block)を生成し、現在のブロック(現在処理されている/処理されるブロック)から予測ブロックを差し引いて残差ブロックを取得し、残差ブロックを変換し、変換領域において残差ブロックを量子化して送信されるデータの量を削減する(圧縮)ことによってブロック(ビデオブロック)レベルで処理され、つまり、符号化され、一方、デコーダにおいては、表現するために現在のブロックを再構築するために、エンコーダと比べて逆の処理が、符号化されたまたは圧縮されたブロックに適用される。さらに、エンコーダは、後続のブロックを処理する、つまり、コーディングするために両方が同一の予測(たとえば、イントラおよびインター予測)ならびに/または再構築を生成するようにデコーダの処理ループを複製する。
以下で、ビデオコーディングシステム10、ビデオエンコーダ20およびビデオデコーダ30の実施形態が、図1から図3に基づいて説明される。
図1Aは、本出願の技術を利用してもよい例示的なコーディングシステム10、たとえば、ビデオコーディングシステム10(または短くコーディングシステム10)を示す概略的なブロック図である。ビデオコーディングシステム10のビデオエンコーダ20(または短くエンコーダ20)およびビデオデコーダ30(または短くデコーダ30)は、本出願において説明される様々な例による技術を実行するように構成されてもよいデバイスの例を示す。
図1Aに示されるように、コーディングシステム10は、符号化されたピクチャデータ13を復号するために、たとえば、送信先デバイス14に符号化されたピクチャデータ21を提供するように構成された送信元デバイス12を含む。
送信元デバイス12は、エンコーダ20を含み、追加的に、つまり、任意選択で、ピクチャソース16、プリプロセッサ(または前処理ユニット)18、たとえば、ピクチャプリプロセッサ18、および通信インターフェースまたは通信ユニット22を含んでもよい。
ピクチャソース16は、任意の種類のピクチャ撮影デバイス、たとえば、実世界のピクチャを撮影するためのカメラ、ならびに/または任意の種類のピクチャ生成デバイス、たとえば、コンピュータによってアニメーションされるピクチャを生成するためのコンピュータグラフィックスプロセッサ、または実世界のピクチャ、コンピュータによって生成されたピクチャ(たとえば、画面コンテンツ(screen content)、仮想現実(VR)ピクチャ)、および/もしくはそれらの任意の組み合わせ(たとえば、拡張現実(AR)ピクチャ)を取得および/もしくは提供するための任意の種類のその他のデバイスを含むかまたはそのようなデバイスであってもよい。ピクチャソースは、上述のピクチャのいずれかを記憶するための任意の種類のメモリまたはストレージであってもよい。
プリプロセッサ18および前処理ユニット18によって実行される処理と区別して、ピクチャまたはピクチャデータ17は、生ピクチャまたは生ピクチャデータ17とも呼ばれてもよい。
プリプロセッサ18は、(生)ピクチャデータ17を受け取り、ピクチャデータ17に対して前処理を実行して前処理されたピクチャ19または前処理されたピクチャデータ19を取得するように構成される。プリプロセッサ18によって実行される前処理は、たとえば、トリミング、(たとえば、RGBからYCbCrへの)カラーフォーマット変更、色補正、または雑音除去を含んでもよい。前処理ユニット18は、任意選択の構成要素であってもよいことが理解されうる。
ビデオエンコーダ20は、前処理されたピクチャデータ19を受け取り、符号化されたピクチャデータ21を提供するように構成される(さらなる詳細が、下で、たとえば、図2に基づいて説明される)。
送信元デバイス12の通信インターフェース22は、符号化されたピクチャデータ21を受け取り、符号化されたピクチャデータ21(またはその任意のさらに処理されたバージョン)を、記憶するかまたは直接再構築するために別のデバイス、たとえば、送信先デバイス14または任意のその他のデバイスに通信チャネル13を介して送信するように構成されてもよい。
送信先デバイス14は、デコーダ30(たとえば、ビデオデコーダ30)を含み、追加的に、つまり、任意選択で、通信インターフェースまたは通信ユニット28、ポストプロセッサ32(または後処理ユニット32)、およびディスプレイデバイス34を含んでもよい。
送信先デバイス14の通信インターフェース28は、たとえば、送信元デバイス12から直接、または任意のその他のソース、たとえば、ストレージデバイス、たとえば、符号化されたピクチャデータのストレージデバイスから符号化されたピクチャデータ21(またはその任意のさらに処理されたバージョン)を受信し、符号化されたピクチャデータ21をデコーダ30に提供するように構成される。
通信インターフェース22および通信インターフェース28は、送信元デバイス12と送信先デバイス14との間の直接通信リンク、たとえば、直接有線もしくはワイヤレス接続を介して、あるいは任意の種類のネットワーク、たとえば、有線もしくはワイヤレスネットワークもしくはそれらの任意の組み合わせ、または任意の種類のプライベートおよびパブリックネットワーク、またはそれらの任意の種類の組み合わせを介して符号化されたピクチャデータ21または符号化されたデータ13を送信または受信するように構成されてもよい。
通信インターフェース22は、たとえば、符号化されたピクチャデータ21を適切なフォーマット、たとえば、パケットにパッケージングする、および/または通信リンクもしくは通信ネットワークを介して送信するための任意の種類の送信の符号化もしくは処理を使用して符号化されたピクチャデータを処理するように構成されてもよい。
通信インターフェース22の相手先を形成する通信インターフェース28は、たとえば、送信されたデータを受信し、任意の種類の対応する送信の復号もしくは処理および/またはパッケージングの解除を使用して送信データを処理して符号化されたピクチャデータ21を取得するように構成されてもよい。
通信インターフェース22と通信インターフェース28との両方が、送信元デバイス12から送信先デバイス14の方を指す図1Aの通信チャネル13に関する矢印によって示される単方向通信インターフェース、または双方向通信インターフェースとして構成されてもよく、たとえば、接続をセットアップし、通信リンクおよび/またはデータ送信、たとえば、符号化されたピクチャデータの送信に関連する任意のその他の情報を確認し、やりとりするために、たとえば、メッセージを送信および受信するように構成されてもよい。
デコーダ30は、符号化されたピクチャデータ21を受信し、復号されたピクチャデータ31または復号されたピクチャ31を提供するように構成される(さらなる詳細が、下で、たとえば、図3または図5に基づいて説明される)。
送信先デバイス14のポストプロセッサ32は、復号されたピクチャデータ31(再構築されたピクチャデータとも呼ばれる)、たとえば、復号されたピクチャ31を後処理して後処理されたピクチャデータ33、たとえば、後処理されたピクチャ33を取得するように構成される。後処理ユニット32によって実行される後処理は、たとえば、(たとえば、YCbCrからRGBへの)カラーフォーマット変更、色補正、トリミング、またはリサンプリング、またはたとえばディスプレイデバイス34による表示のためにたとえば復号されたピクチャデータ31を準備するための任意のその他の処理を含んでもよい。
送信先デバイス14のディスプレイデバイス34は、たとえば、ユーザまたは視聴者に対してピクチャを表示するために後処理されたピクチャデータ33を受け取るように構成される。ディスプレイデバイス34は、再構築されたピクチャを示すための任意の種類のディスプレイ、たとえば、一体型または外部ディスプレイもしくはモニタであるかまたはそのようなディスプレイもしくはモニタを含んでもよい。ディスプレイは、たとえば、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロLEDディスプレイ、液晶オンシリコン(LCoS: liquid crystal on silicon)、デジタル光プロセッサ(DLP: digital light processor)、または任意の種類のその他のディスプレイを含んでもよい。
図1Aは送信元デバイス12および送信先デバイス14を別々のデバイスとして示すが、デバイスの実施形態は、両方または両方の機能、送信元デバイス12または対応する機能および送信先デバイス14または対応する機能も含んでもよい。そのような実施形態において、送信元デバイス12または対応する機能および送信先デバイス14または対応する機能は、同じハードウェアおよび/もしくはソフトウェアを使用してまたは別々のハードウェアおよび/もしくはソフトウェアまたはそれらの任意の組み合わせによって実装されてもよい。
説明に基づいて当業者に明らかになるように、異なるユニットの機能または図1Aに示される送信元デバイス12および/もしくは送信先デバイス14内の機能の存在および(厳密な)分割は、実際のデバイスおよびアプリケーションに応じて変わってもよい。
エンコーダ20(たとえば、ビデオエンコーダ20)またはデコーダ30(たとえば、ビデオデコーダ30)またはエンコーダ20とデコーダ30との両方は、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ハードウェア、それらのビデオコーディングに専用のまたは任意の組み合わせなどの、図1Bに示された処理回路によって実装されてもよい。エンコーダ20は、図2のエンコーダ20および/または本明細書において説明される任意のその他のエンコーダシステムもしくはサブシステムに関連して検討される様々なモジュールを具現化するために処理回路46によって実装されてもよい。デコーダ30は、図3のデコーダ30および/または本明細書において説明される任意のその他のデコーダシステムもしくはサブシステムに関連して検討される様々なモジュールを具現化するために処理回路46によって実装されてもよい。処理回路は、後で検討される様々な動作を実行するように構成されてもよい。図5に示されるように、技術が部分的にソフトウェアで実装される場合、デバイスは、好適な非一時的コンピュータ可読ストレージ媒体にソフトウェアのための命令を記憶してもよく、本開示の技術を実行するために1つ以上のプロセッサを使用するハードウェアにおいて命令を実行してもよい。ビデオエンコーダ20およびビデオデコーダ30のどちらでも、たとえば、図1Bに示されるように単一のデバイス内の組み合わされたエンコーダ/デコーダ(コーデック)の一部として組み込まれてもよい。
送信元デバイス12および送信先デバイス14は、任意の種類のハンドヘルドまたは固定デバイス、たとえば、ノートブックまたはラップトップコンピュータ、モバイル電話、スマートフォン、タブレットまたはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、(コンテンツサービスサーバまたはコンテンツ配信サーバなどの)ビデオストリーミングデバイス、放送受信機デバイス、放送送信機デバイスなどを含む広範なデバイスのいずれかを含んでもよく、オペレーティングシステムを使用しないかまたは任意の種類のオペレーティングシステムを使用してもよい。場合によっては、送信元デバイス12および送信先デバイス14は、ワイヤレス通信に対応していてもよい。したがって、送信元デバイス12および送信先デバイス14は、ワイヤレス通信デバイスであってもよい。
場合によっては、図1Aに示されたビデオコーディングシステム10は、例であるに過ぎず、本開示の技術は、符号化デバイスと復号デバイスとの間のいかなるデータ通信も含むとは限らないビデオコーディングの状況(たとえば、ビデオの符号化またはビデオの復号)に適用されてもよい。その他の例においては、データが、ローカルメモリから取り出される、またはネットワークを介してストリーミングされる、などである。ビデオ符号化デバイスが、データを符号化し、メモリに記憶してもよく、および/またはビデオ復号デバイスが、メモリからデータを取り出し、復号してもよい。いくつかの例において、符号化および復号が、互いに通信せず、単にメモリにデータを符号化し、および/またはメモリからデータを取り出し、復号するデバイスによって実行される。
説明の便宜上、本開示の実施形態は、たとえば、高効率ビデオコーディング(HEVC: High-Efficiency Video Coding)、または多目的ビデオコーディング(VVC: Versatile Video coding)、ITU-Tビデオコーディング専門家グループ(VCEG: Video Coding Experts Group)およびISO/IEC動画専門家グループ(MPEG: Motion Picture Experts Group)のビデオコーディングに関する共同作業チーム(JCT-VC: Joint Collaboration Team on Video Coding)によって開発された次世代ビデオコーディング規格の参照ソフトウェアを参照することによって本明細書において説明される。当業者は、本開示の実施形態がHEVCまたはVVCに限定されないことを理解するであろう。
エンコーダおよび符号化方法
図2は、本出願の技術を実装するように構成される例示的なビデオエンコーダ20の概略的なブロック図を示す。図2の例において、ビデオエンコーダ20は、入力201(または入力インターフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタユニット220、復号ピクチャバッファ(DPB: decoded picture buffer)230、モード選択ユニット260、エントロピー符号化ユニット270、および出力272(または出力インターフェース272)を含む。モード選択ユニット260は、インター予測ユニット244、イントラ予測ユニット254、および区分けユニット262を含んでもよい。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(図示せず)を含んでもよい。図2に示されたビデオエンコーダ20は、ハイブリッドビデオエンコーダまたはハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれてもよい。
図2は、本出願の技術を実装するように構成される例示的なビデオエンコーダ20の概略的なブロック図を示す。図2の例において、ビデオエンコーダ20は、入力201(または入力インターフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタユニット220、復号ピクチャバッファ(DPB: decoded picture buffer)230、モード選択ユニット260、エントロピー符号化ユニット270、および出力272(または出力インターフェース272)を含む。モード選択ユニット260は、インター予測ユニット244、イントラ予測ユニット254、および区分けユニット262を含んでもよい。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(図示せず)を含んでもよい。図2に示されたビデオエンコーダ20は、ハイブリッドビデオエンコーダまたはハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれてもよい。
残差計算ユニット204、変換処理ユニット206、量子化ユニット208、モード選択ユニット260は、エンコーダ20の順方向信号経路を形成するとみなされてもよく、一方、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、バッファ216、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオエンコーダ20の逆方向信号経路を形成するとみなされてもよく、ビデオエンコーダ20の逆方向信号経路は、デコーダの信号経路(図3のビデオデコーダ30を参照されたい)に対応する。逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオエンコーダ20の「内蔵デコーダ」を形成するともみなされる。
ピクチャ&ピクチャの区分け(ピクチャ&ブロック)
エンコーダ20は、たとえば、入力201を介してピクチャ17(またはピクチャデータ17)、たとえば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを受け取るように構成されてもよい。受け取られたピクチャまたはピクチャデータはまた、前処理されたピクチャ19(または前処理されたピクチャデータ19)であってもよい。簡単にするために、以下の説明は、ピクチャ17に言及する。ピクチャ17は、(特に、ビデオコーディングにおいて、現在のピクチャをその他のピクチャ、たとえば、同じビデオシーケンス、つまり、現在のピクチャも含むビデオシーケンスの既に符号化されたおよび/または復号されたピクチャと区別するために)現在のピクチャまたはコーディングされるピクチャとも呼ばれてもよい。
エンコーダ20は、たとえば、入力201を介してピクチャ17(またはピクチャデータ17)、たとえば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを受け取るように構成されてもよい。受け取られたピクチャまたはピクチャデータはまた、前処理されたピクチャ19(または前処理されたピクチャデータ19)であってもよい。簡単にするために、以下の説明は、ピクチャ17に言及する。ピクチャ17は、(特に、ビデオコーディングにおいて、現在のピクチャをその他のピクチャ、たとえば、同じビデオシーケンス、つまり、現在のピクチャも含むビデオシーケンスの既に符号化されたおよび/または復号されたピクチャと区別するために)現在のピクチャまたはコーディングされるピクチャとも呼ばれてもよい。
(デジタル)ピクチャは、強度(intensity)値を有するサンプルの2次元配列または行列とみなされるかまたはみなされうる。配列のサンプルは、ピクセル(ピクチャエレメントの短縮形)またはペルとも呼ばれてもよい。配列またはピクチャの水平および垂直方向(または軸)のサンプル数は、ピクチャのサイズおよび/または解像度を定義する。色の表現のために、概して、3つの色成分が使用され、つまり、ピクチャが表現されるかまたは3つのサンプル配列を含んでもよい。RBGフォーマットまたは色空間で、ピクチャは、対応する赤、緑、および青のサンプル配列を含む。しかし、ビデオコーディングにおいて、各ピクセルは、概して、輝度(luminance)およびクロミナンス(chrominance)フォーマットまたは色空間、たとえば、Y(代わりにLが使用されることもある)によって示される輝度成分ならびにCbおよびCrによって示される2つのクロミナンス成分を含むYCbCrで表される。輝度(または短くルマ(luma))成分Yは、明るさまたは(たとえば、グレースケールピクチャと同様の)グレーレベルの強度を表し、一方、2つのクロミナンス(または短くクロマ(chroma))成分CbおよびCrは、色度または色情報成分を表す。したがって、YCbCrフォーマットのピクチャは、輝度サンプル値(Y)の輝度サンプル配列およびクロミナンス値(CbおよびCr)の2つのクロミナンスサンプル配列を含む。RGBフォーマットのピクチャは、YCbCrフォーマットに変更され、または変換され、およびその逆がされてもよく、プロセスは、色変換または変更としても知られる。ピクチャがモノクロである場合、ピクチャは、輝度サンプル配列のみを含んでもよい。したがって、ピクチャは、たとえば、モノクロフォーマットにおいてはルマサンプルの配列であり、または4:2:0、4:2:2、および4:4:4カラーフォーマットにおいてはルマサンプルの配列およびクロマサンプルの2つの対応する配列であってもよい。
ビデオエンコーダ20の実施形態は、ピクチャ17を複数の(通常は重なり合わない)ピクチャブロック203に区分けするように構成されたピクチャ区分けユニット(図2に示さず)を含んでもよい。これらのブロックは、ルートブロック、マクロブロック(H.264/AVC)、またはコーディングツリーブロック(CTB: coding tree block)もしくはコーディングツリーユニット(CTU: coding tree unit)(H.265/HEVCおよびVVC)とも呼ばれてもよい。ピクチャ区分けユニットは、ビデオシーケンスのすべてのピクチャおよびブロックサイズを定義する対応するグリッドに関して同じブロックサイズを使用するか、あるいはピクチャまたはピクチャのサブセットもしくはグループの間でブロックサイズを変更し、各ピクチャを対応するブロックに区分けするように構成されてもよい。
さらなる実施形態において、ビデオエンコーダは、ピクチャ17のブロック203、たとえば、ピクチャ17を形成する1つの、いくつかの、またはすべてのブロックを直接受け取るように構成されてもよい。ピクチャブロック203は、現在のピクチャブロックまたはコーディングされるピクチャブロックとも呼ばれてもよい。
ピクチャ17と同様に、ピクチャブロック203は、ピクチャ17よりも寸法が小さいが、強度値(サンプル値)を有するサンプルの2次元配列または行列とやはりみなされるかまたはみなされうる。言い換えると、ブロック203は、適用されるカラーフォーマットに応じて、たとえば、1つのサンプル配列(たとえば、モノクロピクチャ17の場合はルマ配列、またはカラーピクチャの場合はルマもしくはクロマ配列)、あるいは3つのサンプル配列(たとえば、カラーピクチャ17の場合はルマおよび2つのクロマ配列)、あるいは任意のその他の数および/または種類の配列を含んでもよい。ブロック203の水平および垂直方向(または軸)のサンプル数は、ブロック203のサイズを定義する。したがって、ブロックは、たとえば、サンプルのMxN(M列×N行)配列または変換係数のMxN配列であってもよい。
図2に示されたビデオエンコーダ20の実施形態は、ピクチャ17をブロック毎に符号化するように構成されてもよく、たとえば、符号化および予測が、ブロック203毎に実行される。
残差の計算
残差計算ユニット204は、たとえば、サンプル毎に(ピクセル毎に)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を差し引いてサンプル領域において残差ブロック205を取得することによって、ピクチャブロック203および予測ブロック265(予測ブロック265についてのさらなる詳細は後で与えられる)に基づいて残差ブロック205(残差205とも呼ばれる)を計算するように構成されてもよい。
残差計算ユニット204は、たとえば、サンプル毎に(ピクセル毎に)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を差し引いてサンプル領域において残差ブロック205を取得することによって、ピクチャブロック203および予測ブロック265(予測ブロック265についてのさらなる詳細は後で与えられる)に基づいて残差ブロック205(残差205とも呼ばれる)を計算するように構成されてもよい。
変換
変換処理ユニット206は、残差ブロック205のサンプル値に対して変換、たとえば、離散コサイン変換(DCT)または離散サイン変換(DST)を適用して変換領域において変換係数207を取得するように構成されてもよい。変換係数207は、変換残差係数とも呼ばれ、変換領域において残差ブロック205を表現してもよい。
変換処理ユニット206は、残差ブロック205のサンプル値に対して変換、たとえば、離散コサイン変換(DCT)または離散サイン変換(DST)を適用して変換領域において変換係数207を取得するように構成されてもよい。変換係数207は、変換残差係数とも呼ばれ、変換領域において残差ブロック205を表現してもよい。
変換処理ユニット206は、H.265/HEVCのために規定された変換などのDCT/DSTの整数近似を適用するように構成されてもよい。直交DCT変換と比較して、そのような整数近似は、概して、特定の率でスケーリングされる。順および逆変換によって処理される残差ブロックのノルム(norm)を維持するために、追加的な倍率(scaling factor)が、変換プロセスの一部として適用される。倍率は、概して、倍率がシフト演算のために2の累乗であること、変換係数のビット深度、正確さと実装コストとの間のトレードオフなどのような特定の制約に基づいて選択される。たとえば、特定の倍率が、たとえば、逆変換処理ユニット212による逆変換(およびたとえば、ビデオデコーダ30における逆変換処理ユニット312による対応する逆変換)のために指定され、たとえば、エンコーダ20の変換処理ユニット206による順変換のための対応する倍率が、それに応じて指定されてもよい。
ビデオエンコーダ20(それぞれ、変換処理ユニット206)の実施形態は、たとえば、ビデオデコーダ30が変換パラメータを受信し、復号のために使用してもよいように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化されるかもしくは圧縮される変換パラメータ、たとえば、ある種の1つの変換または複数の変換を出力するように構成されてもよい。
量子化
量子化ユニット208は、たとえば、スカラー量子化またはベクトル量子化を適用することによって変換係数207を量子化して量子化された係数209を取得するように構成されてもよい。量子化された係数209は、量子化された変換係数209または量子化された残差係数209とも呼ばれてもよい。
量子化ユニット208は、たとえば、スカラー量子化またはベクトル量子化を適用することによって変換係数207を量子化して量子化された係数209を取得するように構成されてもよい。量子化された係数209は、量子化された変換係数209または量子化された残差係数209とも呼ばれてもよい。
量子化プロセスは、変換係数207の一部またはすべてに関連するビット深度を削減してもよい。たとえば、nビットの変換係数が、量子化中にmビットの変換係数に切り捨てられてもよく、nは、mよりも大きい。量子化の度合いは、量子化パラメータ(QP: quantization parameter)を調整することによって修正されてもよい。たとえば、スカラー量子化に関して、より細かいまたはより粗い量子化を達成するために異なるスケーリングが適用されてもよい。より小さな量子化ステップサイズは、より細かい量子化に対応し、一方、より大きな量子化ステップサイズは、より粗い量子化に対応する。適用可能な量子化ステップサイズが、量子化パラメータ(QP)によって示されてもよい。量子化パラメータは、たとえば、適用可能な量子化ステップサイズの予め定義された組へのインデックスであってもよい。たとえば、小さな量子化パラメータが、細かい量子化(小さな量子化ステップサイズ)に対応してもよく、大きな量子化パラメータが、粗い量子化(大きな量子化ステップサイズ)に対応してもよく、またはその逆であってもよい。量子化は、量子化ステップサイズによる除算を含んでもよく、たとえば、逆量子化ユニット210による対応するおよび/または逆逆量子化は、量子化ステップサイズによる乗算を含んでもよい。一部の規格、たとえば、HEVCによる実施形態は、量子化パラメータを使用して量子化ステップサイズを決定するように構成されてもよい。概して、量子化ステップサイズは、除算を含む等式の固定小数点近似(fixed point approximation)を使用して量子化パラメータに基づいて計算されてもよい。量子化ステップサイズおよび量子化パラメータに関する等式の固定小数点近似において使用されるスケーリングが原因で修正されてもよい残差ブロックのノルムを復元するために、量子化および逆量子化に関して追加的な倍率が導入されてもよい。1つの例示的な実装においては、逆変換および逆量子化のスケーリングが、組み合わされてもよい。代替的に、カスタマイズされた量子化テーブルが使用され、たとえば、ビットストリーム内でエンコーダからデコーダにシグナリングされてもよい。量子化は、不可逆演算であり、損失は、量子化ステップサイズが大きくなるにつれて増加する。
ビデオエンコーダ20(それぞれ、量子化ユニット208)の実施形態は、たとえば、ビデオデコーダ30が量子化パラメータを受信し、復号のために適用してもよいように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化される量子化パラメータ(QP)を出力するように構成されてもよい。
逆量子化
逆量子化ユニット210は、たとえば、量子化ユニット208と同じ量子化ステップサイズに基づいてまたはそれを使用して、量子化ユニット208により適用された量子化方式の逆を適用することによって、量子化された係数に量子化ユニット208の逆量子化を適用して逆量子化された係数211を取得するように構成される。逆量子化された係数211は、逆量子化された残差係数211とも呼ばれ、--量子化による損失が原因で概して変換係数と同一ではないが--変換係数207に対応してもよい。
逆量子化ユニット210は、たとえば、量子化ユニット208と同じ量子化ステップサイズに基づいてまたはそれを使用して、量子化ユニット208により適用された量子化方式の逆を適用することによって、量子化された係数に量子化ユニット208の逆量子化を適用して逆量子化された係数211を取得するように構成される。逆量子化された係数211は、逆量子化された残差係数211とも呼ばれ、--量子化による損失が原因で概して変換係数と同一ではないが--変換係数207に対応してもよい。
逆変換
逆変換処理ユニット212は、変換処理ユニット206によって適用された変換の逆変換、たとえば、逆離散コサイン変換(DCT)または逆離散サイン変換(DST)またはその他の逆変換を適用してサンプル領域において再構築された残差ブロック213(または対応する逆量子化された係数213)を取得するように構成される。再構築された残差ブロック213は、変換ブロック(transform block)213とも呼ばれてもよい。
逆変換処理ユニット212は、変換処理ユニット206によって適用された変換の逆変換、たとえば、逆離散コサイン変換(DCT)または逆離散サイン変換(DST)またはその他の逆変換を適用してサンプル領域において再構築された残差ブロック213(または対応する逆量子化された係数213)を取得するように構成される。再構築された残差ブロック213は、変換ブロック(transform block)213とも呼ばれてもよい。
再構築
再構築ユニット214(たとえば、加算器または合算器214)は、たとえば、再構築された残差ブロック213のサンプル値と予測ブロック265のサンプル値とを--サンプル毎に--足すことによって予測ブロック265に変換ブロック213(すなわち、再構築された残差ブロック213)を足してサンプル領域において再構築されたブロック215を取得するように構成される。
再構築ユニット214(たとえば、加算器または合算器214)は、たとえば、再構築された残差ブロック213のサンプル値と予測ブロック265のサンプル値とを--サンプル毎に--足すことによって予測ブロック265に変換ブロック213(すなわち、再構築された残差ブロック213)を足してサンプル領域において再構築されたブロック215を取得するように構成される。
フィルタリング
ループフィルタユニット220(または短く「ループフィルタ」220)は、再構築されたブロック215をフィルタリングしてフィルタリングされたブロック221を取得する、または概して、再構築されたサンプルをフィルタリングしてフィルタリングされたサンプルを取得するように構成される。ループフィルタユニットは、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(SAO: sample-adaptive offset)フィルタ、または1つもしくは複数のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF: adaptive loop filter)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ(collaborative filter)、もしくはこれらの任意の組み合わせなどの1つ以上のループフィルタを含んでもよい。ループフィルタユニット220は図2にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット220は、ループ後フィルタとして実装されてもよい。フィルタリングされたブロック221は、フィルタリングされた再構築されたブロック221とも呼ばれてもよい。
ループフィルタユニット220(または短く「ループフィルタ」220)は、再構築されたブロック215をフィルタリングしてフィルタリングされたブロック221を取得する、または概して、再構築されたサンプルをフィルタリングしてフィルタリングされたサンプルを取得するように構成される。ループフィルタユニットは、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(SAO: sample-adaptive offset)フィルタ、または1つもしくは複数のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF: adaptive loop filter)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ(collaborative filter)、もしくはこれらの任意の組み合わせなどの1つ以上のループフィルタを含んでもよい。ループフィルタユニット220は図2にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット220は、ループ後フィルタとして実装されてもよい。フィルタリングされたブロック221は、フィルタリングされた再構築されたブロック221とも呼ばれてもよい。
ビデオエンコーダ20(それぞれ、ループフィルタユニット220)の実施形態は、たとえば、デコーダ30が同じループフィルタのパラメータまたはそれぞれのループフィルタを受信し、復号のために適用してもよいように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化される(サンプル適応オフセット情報などの)ループフィルタのパラメータを出力するように構成されてもよい。
復号ピクチャバッファ
復号ピクチャバッファ(DPB)230は、ビデオエンコーダ20によってビデオデータを符号化するための参照ピクチャまたは概して参照ピクチャデータを記憶するメモリであってもよい。DPB230は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗変化型RAM(RRAM: resistive RAM)、またはその他の種類のメモリデバイスなどの様々なメモリデバイスのいずれかによって形成されてもよい。復号ピクチャバッファ(DPB)230は、1つ以上のフィルタリングされたブロック221を記憶するように構成されてもよい。復号ピクチャバッファ230は、同じ現在のピクチャまたは異なるピクチャ、たとえば、既に再構築されたピクチャのその他の既にフィルタリングされたブロック、たとえば、既に再構築され、フィルタリングされたブロック221を記憶するようにさらに構成されてもよく、たとえば、インター予測のために、完全な既に再構築された、つまり、復号されたピクチャ(および対応する参照ブロックおよびサンプル)ならびに/または部分的に再構築された現在のピクチャ(および対応する参照ブロックおよびサンプル)を提供してもよい。復号ピクチャバッファ(DPB)230は、たとえば、再構築されたブロック215がループフィルタユニット220によってフィルタリングされない場合、1つもしくは複数のフィルタリングされていない再構築されたブロック215もしくは概してフィルタリングされていない再構築されたサンプルを記憶し、または再構築されたブロックもしくはサンプルの任意のその他のさらに処理されたバージョンを記憶するようにも構成されてもよい。
復号ピクチャバッファ(DPB)230は、ビデオエンコーダ20によってビデオデータを符号化するための参照ピクチャまたは概して参照ピクチャデータを記憶するメモリであってもよい。DPB230は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗変化型RAM(RRAM: resistive RAM)、またはその他の種類のメモリデバイスなどの様々なメモリデバイスのいずれかによって形成されてもよい。復号ピクチャバッファ(DPB)230は、1つ以上のフィルタリングされたブロック221を記憶するように構成されてもよい。復号ピクチャバッファ230は、同じ現在のピクチャまたは異なるピクチャ、たとえば、既に再構築されたピクチャのその他の既にフィルタリングされたブロック、たとえば、既に再構築され、フィルタリングされたブロック221を記憶するようにさらに構成されてもよく、たとえば、インター予測のために、完全な既に再構築された、つまり、復号されたピクチャ(および対応する参照ブロックおよびサンプル)ならびに/または部分的に再構築された現在のピクチャ(および対応する参照ブロックおよびサンプル)を提供してもよい。復号ピクチャバッファ(DPB)230は、たとえば、再構築されたブロック215がループフィルタユニット220によってフィルタリングされない場合、1つもしくは複数のフィルタリングされていない再構築されたブロック215もしくは概してフィルタリングされていない再構築されたサンプルを記憶し、または再構築されたブロックもしくはサンプルの任意のその他のさらに処理されたバージョンを記憶するようにも構成されてもよい。
モード選択(区分け&予測)
モード選択ユニット260は、区分けユニット262、インター予測ユニット244、およびイントラ予測ユニット254を含み、元のピクチャデータ、たとえば、元のブロック203(現在のピクチャ17の現在のブロック203)と、再構築されたピクチャデータ、たとえば、同じ(現在の)ピクチャの、および/またはたとえば復号ピクチャバッファ230もしくはその他のバッファ(たとえば、図示されていないラインバッファ)からの1つもしくは複数の既に復号されたピクチャからのフィルタリングされたおよび/またはフィルタリングされていない再構築されたサンプルまたはブロックとを受け取るかまたは取得するように構成される。再構築されたピクチャデータは、予測ブロック265または予測子(predictor)265を取得するための予測、たとえば、インター予測またはイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、区分けユニット262、インター予測ユニット244、およびイントラ予測ユニット254を含み、元のピクチャデータ、たとえば、元のブロック203(現在のピクチャ17の現在のブロック203)と、再構築されたピクチャデータ、たとえば、同じ(現在の)ピクチャの、および/またはたとえば復号ピクチャバッファ230もしくはその他のバッファ(たとえば、図示されていないラインバッファ)からの1つもしくは複数の既に復号されたピクチャからのフィルタリングされたおよび/またはフィルタリングされていない再構築されたサンプルまたはブロックとを受け取るかまたは取得するように構成される。再構築されたピクチャデータは、予測ブロック265または予測子(predictor)265を取得するための予測、たとえば、インター予測またはイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、(区分けを含まない)現在のブロックの予測モードのための区分けおよび予測モード(たとえば、イントラまたはインター予測モード)を決定するかまたは選択し、残差ブロック205の計算および再構築されたブロック215の再構築のために使用される対応する予測ブロック265を生成するように構成されてもよい。
モード選択ユニット260の実施形態は、最良の一致もしくは言い換えると最小の残差(最小の残差は送信もしくは記憶のためのより優れた圧縮を意味する)または最小のシグナリングオーバーヘッド(最小のシグナリングオーバーヘッドは送信もしくは記憶のためのより優れた圧縮を意味する)を提供する、あるいはそれら両方を考慮するかまたは釣り合いを取る区分けおよび予測モードを(たとえば、モード選択ユニット260によってサポートされるかまたはモード選択ユニット260が利用可能な区分けおよび予測モードから)選択するように構成されてもよい。モード選択ユニット260は、レート歪み最適化(RDO)に基づいて区分けおよび予測モードを決定する、つまり、最小のレート歪みを提供する予測モードを選択するように構成されてもよい。この文脈の「最良の」、「最小の」、「最適な」などのような用語は、必ずしも全体の「最良の」、「最小の」、「最適な」などを指さず、値が閾値を超えることもしくは下回ることのような終了もしくは選択の基準、または潜在的に「準最適な選択」につながるが、複雑さおよび処理時間を削減するその他の制約を満たすことをも指してもよい。
言い換えると、区分けユニット262は、たとえば、四分木区分け(QT)、二分区分け(BT)、または三分木区分け(TT)、またはこれらの任意の組み合わせを反復的に使用してブロック203を(やはりブロックを形成する)より小さなブロックの区画または下位ブロックに区分けし、たとえば、ブロックの区画または下位ブロックの各々に関して予測を実行するように構成されてもよく、モード選択は、区分けされたブロック203の木構造の選択を含み、予測モードは、ブロックの区画または下位ブロックの各々に適用される。
以下で、例示的なビデオエンコーダ20によって実行される(たとえば、区分けユニット260による)区分けならびに(インター予測ユニット244およびイントラ予測ユニット254による)予測処理が、より詳細に説明される。
区分け
区分けユニット262は、現在のブロック203をより小さな区画、たとえば、正方形または長方形のサイズのより小さなブロックに区分け(または分割)してもよい。これらのより小さなブロック(下位ブロックとも呼ばれてもよい)は、より一層小さな区画にさらに区分けされてもよい。これは、木区分けまたは階層的木区分けとも呼ばれ、たとえば、ルートツリーレベル0(階層レベル0、深さ0)のルートブロックが、再帰的に区分けされ、たとえば、次に低いツリーレベルの2つ以上のブロック、たとえば、ツリーレベル1(階層レベル1、深さ1)のノードに区分けされてもよく、これらのブロックが、次に低いレベル、たとえば、ツリーレベル2(階層レベル2、深さ2)の2つ以上のブロックに再び区分けされてもよく、たとえば、終了基準が満たされる、たとえば、最大のツリーの深さまたは最小のブロックサイズが達せられるので区分けが終了されるまで以下同様である。さらに区分けされないブロックは、木の葉ブロックまたは葉ノードとも呼ばれる。2つの区画への区分けを使用する木は、二分木(BT)と呼ばれ、3つの区画への区分けを使用する木は、三分木(TT)と呼ばれ、4つの区画への区分けを使用する木は、四分木(QT)と呼ばれる。
区分けユニット262は、現在のブロック203をより小さな区画、たとえば、正方形または長方形のサイズのより小さなブロックに区分け(または分割)してもよい。これらのより小さなブロック(下位ブロックとも呼ばれてもよい)は、より一層小さな区画にさらに区分けされてもよい。これは、木区分けまたは階層的木区分けとも呼ばれ、たとえば、ルートツリーレベル0(階層レベル0、深さ0)のルートブロックが、再帰的に区分けされ、たとえば、次に低いツリーレベルの2つ以上のブロック、たとえば、ツリーレベル1(階層レベル1、深さ1)のノードに区分けされてもよく、これらのブロックが、次に低いレベル、たとえば、ツリーレベル2(階層レベル2、深さ2)の2つ以上のブロックに再び区分けされてもよく、たとえば、終了基準が満たされる、たとえば、最大のツリーの深さまたは最小のブロックサイズが達せられるので区分けが終了されるまで以下同様である。さらに区分けされないブロックは、木の葉ブロックまたは葉ノードとも呼ばれる。2つの区画への区分けを使用する木は、二分木(BT)と呼ばれ、3つの区画への区分けを使用する木は、三分木(TT)と呼ばれ、4つの区画への区分けを使用する木は、四分木(QT)と呼ばれる。
上述のように、本明細書において使用される用語「ブロック」は、ピクチャの一部分、特に、正方形または長方形の一部分であってもよい。たとえば、HEVCおよびVVCに関連して、ブロックは、コーディングツリーユニット(CTU)、コーディングユニット(CU: coding unit)、予測ユニット(PU: prediction unit)、および変換ユニット(TU: transform unit)、ならびに/または対応するブロック、たとえば、コーディングツリーブロック(CTB)、コーディングブロック(CB: coding block)、変換ブロック(TB)、または予測ブロック(PB)であるかまたはそれらに対応してもよい。
たとえば、コーディングツリーユニット(CTU)は、ルマサンプルのCTB、3つのサンプル配列を有するピクチャのクロマサンプルの2つの対応するCTB、またはモノクロピクチャもしくはサンプルをコーディングするために使用される3つの別々の色平面(colour plane)およびシンタックス(syntax)構造を使用してコーディングされるピクチャのサンプルのCTBであるかまたはそれらを含んでもよい。それに対応して、コーディングツリーブロック(CTB)は、構成要素のCTBへの分割が区分けであるようなNの何らかの値に関するサンプルのNxNのブロックであってもよい。コーディングユニット(CU)は、ルマサンプルのコーディングブロック、3つのサンプル配列を有するピクチャのクロマサンプルの2つの対応するコーディングブロック、またはモノクロピクチャもしくはサンプルをコーディングするために使用される3つの別々の色平面およびシンタックス構造を使用してコーディングされるピクチャのサンプルのコーディングブロックであるかまたはそれらを含んでもよい。それに対応して、コーディングブロック(CB)は、CTBのコーディングブロックへの分割が区分けであるようなMおよびNの何らかの値に関するサンプルのMxNのブロックであってもよい。
たとえば、HEVCによる実施形態において、コーディングツリーユニット(CTU)は、コーディングツリーとして表される四分木構造を使用することによってCUに分割されてもよい。インターピクチャ(時間)予測を使用してピクチャエリアをコーディングすべきかまたはイントラピクチャ(空間)予測を使用してピクチャエリアをコーディングすべきかの判断は、CUレベルで行われる。各CUは、PU分割タイプに従って1つ、2つ、または4つのPUにさらに分割されうる。1つのPU内では、同じ予測プロセスが適用され、関連する情報がPUに基づいてデコーダに送信される。PU分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、CUは、CUに関するコーディングツリーと同様の別の四分木構造によって変換ユニット(TU)に区分けされうる。
たとえば、多目的ビデオコーディング(VVC)と呼ばれる現在開発されている最新のビデオコーディング規格による実施形態においては、四分木および二分木(QTBT)区分けが、コーディングブロックを区分けするために使用される。QTBTブロック構造において、CUは、正方形かまたは長方形かのどちらかの形状を持ちうる。たとえば、コーディングツリーユニット(CTU)が、まず、四分木構造によって区分けされる。四分木の葉ノードが、二分木または三分(ternary)(または三分(triple))木構造によってさらに区分けされる。区分けツリーの葉ノードは、コーディングユニット(CU)と呼ばれ、そのセグメント分けが、いかなるさらなる区分けもなしに予測および変換処理のために使用される。これは、CU、PU、およびTUがQTBTコーディングブロック構造において同じブロックサイズを有することを意味する。平行して、多区画、たとえば、三分木区画も、QTBTブロック構造と一緒に使用されるように提案された。
一例において、ビデオエンコーダ20のモード選択ユニット260は、本明細書において説明される区分け技術の任意の組み合わせを実行するように構成されてもよい。
上述のように、ビデオエンコーダ20は、1組の(予め決定された)予測モードから最良のまたは最適な予測モードを決定するまたは選択するように構成される。1組の予測モードは、たとえば、イントラ予測モードおよび/またはインター予測モードを含んでもよい。
イントラ予測
1組のイントラ予測モードは、たとえばHEVCにおいて定義された35個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含んでもよく、あるいはたとえばVVCのために定義された67個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含んでもよい。
1組のイントラ予測モードは、たとえばHEVCにおいて定義された35個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含んでもよく、あるいはたとえばVVCのために定義された67個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含んでもよい。
イントラ予測ユニット254は、1組のイントラ予測モードのうちのイントラ予測モードによって、同じ現在のピクチャの近隣のブロックの再構築されたサンプルを使用してイントラ予測ブロック265を生成するように構成される。
イントラ予測ユニット254(または概してモード選択ユニット260)は、たとえば、ビデオデコーダ30が予測パラメータを受信し、復号のために使用してもよいように、符号化されたピクチャデータ21に含めるためにシンタックス要素266の形態でエントロピー符号化ユニット270にイントラ予測パラメータ(または概してブロックに関する選択されたイントラ予測モードを示す情報)を出力するようにさらに構成される。
インター予測
1組の(または可能な)インター予測モードは、利用可能な参照ピクチャ(つまり、たとえば、DBP230に記憶された前の少なくとも部分的に復号されたピクチャ)ならびにその他のインター予測パラメータ、たとえば、最もよく一致する参照ブロックを探索するために参照ピクチャ全体が使用されるのかもしくは参照ピクチャの一部のみ、たとえば、現在のブロックのエリアの周りの探索窓(search window)エリアのみが使用されるか、ならびに/またはたとえば、ピクセル補間、たとえば、半/セミペル(half/semi-pel)および/もしくは4分の1ペル補間が適用されるか否かに依存する。
1組の(または可能な)インター予測モードは、利用可能な参照ピクチャ(つまり、たとえば、DBP230に記憶された前の少なくとも部分的に復号されたピクチャ)ならびにその他のインター予測パラメータ、たとえば、最もよく一致する参照ブロックを探索するために参照ピクチャ全体が使用されるのかもしくは参照ピクチャの一部のみ、たとえば、現在のブロックのエリアの周りの探索窓(search window)エリアのみが使用されるか、ならびに/またはたとえば、ピクセル補間、たとえば、半/セミペル(half/semi-pel)および/もしくは4分の1ペル補間が適用されるか否かに依存する。
上述の予測モードに加えて、スキップモードおよび/またはダイレクトモードが、適用されてもよい。
インター予測ユニット244は、動き推定(ME)ユニットおよび動き補償(MC)ユニット(どちらも図2に示さず)を含んでもよい。動き推定ユニットは、動き推定のために、ピクチャブロック203(現在のピクチャ17の現在のピクチャブロック203)および復号されたピクチャ231、または少なくとも1つのもしくは複数の既に再構築されたブロック、たとえば、1つもしくは複数のその他の/異なる既に復号されたピクチャ231の再構築されたブロックを受信するかまたは取得するように構成されてもよい。たとえば、ビデオシーケンスは、現在のピクチャおよび既に復号されたピクチャ231を含んでもよく、または言い換えると、現在のピクチャおよび既に復号されたピクチャ231は、ビデオシーケンスを形成するピクチャのシーケンスの一部であるかもしくはそのようなピクチャのシーケンスを形成してもよい。
エンコーダ20は、たとえば、複数のその他のピクチャのうちの同じまたは異なるピクチャの複数の参照ブロックから参照ブロックを選択し、参照ピクチャ(もしくは参照ピクチャインデックス)および/または参照ブロックの位置(x、y座標)と現在のブロックの位置との間のオフセット(空間オフセット)をインター予測パラメータとして動き推定ユニットに提供するように構成されてもよい。このオフセットは、動きベクトル(MV)とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得、たとえば、受信し、インター予測パラメータに基づいてまたはインター予測パラメータを使用してインター予測を実行してインター予測ブロック265を取得するように構成される。動き補償ユニットによって実行される動き補償は、おそらくはサブピクセルの精度の補間を実行する動き推定によって決定された動き/ブロックベクトルに基づく予測ブロックのフェッチまたは生成を含んでもよい。補間フィルタリングが、知られているピクセルサンプルから追加的なピクセルサンプルを生成してもよく、したがって潜在的に、ピクチャブロックをコーディングするために使用されてもよい候補予測ブロックの数を増やす。現在のピクチャブロックのPUに関する動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうちの1つにおいて動きベクトルが指す予測ブロックを見つけてもよい。
動き補償ユニットは、ビデオスライスのピクチャブロックを復号する際にビデオデコーダ30によって使用するためのブロックおよびビデオスライスに関連するシンタックス要素も生成してもよい。
エントロピーコーディング
エントロピー符号化ユニット270は、たとえば、ビデオデコーダ30がパラメータを受信し、復号のために使用してもよいように、たとえば、符号化されたビットストリーム21の形態で出力272を介して出力されうる符号化されたピクチャデータ21を得るために、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素に対して、たとえば、エントロピー符号化アルゴリズムもしくは方式(たとえば、可変長コーディング(VLC: variable length coding)方式、コンテキスト適応VLC方式(CAVLC: context adaptive VLC)、算術コーディング方式、2値化、コンテキスト適応2値算術コーディング(CABAC: context adaptive binary arithmetic coding)、シンタックスに基づくコンテキスト適応2値算術コーディング(SBAC: syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE: probability interval partitioning entropy) コーディング、もしくは別のエントロピー符号化方法もしくは技術)またはバイパス(bypass)(非圧縮)を適用するように構成される。符号化されたビットストリーム21は、ビデオデコーダ30に送信されるか、または後の送信またはビデオデコーダ30による取り出しのためにメモリに記憶されてもよい。
エントロピー符号化ユニット270は、たとえば、ビデオデコーダ30がパラメータを受信し、復号のために使用してもよいように、たとえば、符号化されたビットストリーム21の形態で出力272を介して出力されうる符号化されたピクチャデータ21を得るために、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素に対して、たとえば、エントロピー符号化アルゴリズムもしくは方式(たとえば、可変長コーディング(VLC: variable length coding)方式、コンテキスト適応VLC方式(CAVLC: context adaptive VLC)、算術コーディング方式、2値化、コンテキスト適応2値算術コーディング(CABAC: context adaptive binary arithmetic coding)、シンタックスに基づくコンテキスト適応2値算術コーディング(SBAC: syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE: probability interval partitioning entropy) コーディング、もしくは別のエントロピー符号化方法もしくは技術)またはバイパス(bypass)(非圧縮)を適用するように構成される。符号化されたビットストリーム21は、ビデオデコーダ30に送信されるか、または後の送信またはビデオデコーダ30による取り出しのためにメモリに記憶されてもよい。
ビデオエンコーダ20その他の構造の変化形が、ビデオストリームを符号化するために使用されうる。たとえば、変換に基づかないエンコーダ20は、特定のブロックまたはフレームに関して変換処理ユニット206なしに残差信号を直接量子化しうる。別の実装において、エンコーダ20は、単一のユニットに組み合わされた量子化ユニット208および逆量子化ユニット210を持ちうる。
デコーダおよび復号方法
図3は、本出願の技術を実装するように構成されるビデオデコーダ30の例を示す。ビデオデコーダ30は、復号されたピクチャ331を取得するために、たとえば、エンコーダ20によって符号化された符号化されたピクチャデータ21(たとえば、符号化されたビットストリーム21)を受信するように構成される。符号化されたピクチャデータまたはビットストリームは、符号化されたピクチャデータ、たとえば、符号化されたビデオスライスのピクチャブロックおよび関連するシンタックス要素を表すデータを復号するための情報を含む。
図3は、本出願の技術を実装するように構成されるビデオデコーダ30の例を示す。ビデオデコーダ30は、復号されたピクチャ331を取得するために、たとえば、エンコーダ20によって符号化された符号化されたピクチャデータ21(たとえば、符号化されたビットストリーム21)を受信するように構成される。符号化されたピクチャデータまたはビットストリームは、符号化されたピクチャデータ、たとえば、符号化されたビデオスライスのピクチャブロックおよび関連するシンタックス要素を表すデータを復号するための情報を含む。
図3の例において、デコーダ30は、エントロピー復号ユニット304、逆量子化ユニット310、逆変換処理ユニット312、再構築ユニット314(たとえば、合算器314)、ループフィルタ320、復号ピクチャバッファ(DBP)330、インター予測ユニット344、およびイントラ予測ユニット354を含む。インター予測ユニット344は、動き補償ユニットであるかまたは動き補償ユニットを含んでもよい。ビデオデコーダ30は、いくつかの例において、図2のビデオエンコーダ100に関連して説明された符号化パスと概して逆である復号パスを実行してもよい。
エンコーダ20に関連して説明されたように、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット344、およびイントラ予測ユニット354は、ビデオエンコーダ20の「内蔵デコーダ」を形成するともみなされる。したがって、逆量子化ユニット310は、逆量子化ユニット110と機能的に同一であってもよく、逆変換処理ユニット312は、逆変換処理ユニット212と機能的に同一であってもよく、再構築ユニット314は、再構築ユニット214と機能的に同一であってもよく、ループフィルタ320は、ループフィルタ220と機能的に同一であってもよく、復号ピクチャバッファ330は、復号ピクチャバッファ230と機能的に同一であってもよい。したがって、ビデオ20エンコーダのそれぞれのユニットおよび機能に関して与えられた説明が、ビデオデコーダ30のそれぞれのユニットおよび機能に準用される。
エントロピー復号
エントロピー復号ユニット304は、ビットストリーム21(または概して符号化されたピクチャデータ21)を解析し、たとえば、符号化されたピクチャデータ21にエントロピー復号を実行して、たとえば、量子化された係数309ならびに/あるいは復号されたコーディングパラメータ(図3に示さず)、たとえば、インター予測パラメータ(たとえば、参照ピクチャインデックスおよび動きベクトル)、イントラ予測パラメータ(たとえば、イントラ予測モードもしくはインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素のいずれかまたはすべてを取得するように構成される。エントロピー復号ユニット304は、エンコーダ20のエントロピー符号化ユニット270に関連して説明された符号化方式に対応する復号アルゴリズムまたは方式を適用するように構成されてもよい。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ、および/またはその他のシンタックス要素をモード選択ユニット360に提供し、その他のパラメータをデコーダ30のその他のユニットに提供するようにさらに構成されてもよい。ビデオデコーダ30は、ビデオスライスのレベルおよび/またはビデオブロックのレベルでシンタックス要素を受信してもよい。
エントロピー復号ユニット304は、ビットストリーム21(または概して符号化されたピクチャデータ21)を解析し、たとえば、符号化されたピクチャデータ21にエントロピー復号を実行して、たとえば、量子化された係数309ならびに/あるいは復号されたコーディングパラメータ(図3に示さず)、たとえば、インター予測パラメータ(たとえば、参照ピクチャインデックスおよび動きベクトル)、イントラ予測パラメータ(たとえば、イントラ予測モードもしくはインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素のいずれかまたはすべてを取得するように構成される。エントロピー復号ユニット304は、エンコーダ20のエントロピー符号化ユニット270に関連して説明された符号化方式に対応する復号アルゴリズムまたは方式を適用するように構成されてもよい。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ、および/またはその他のシンタックス要素をモード選択ユニット360に提供し、その他のパラメータをデコーダ30のその他のユニットに提供するようにさらに構成されてもよい。ビデオデコーダ30は、ビデオスライスのレベルおよび/またはビデオブロックのレベルでシンタックス要素を受信してもよい。
逆量子化
逆量子化ユニット310は、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から量子化パラメータ(QP)(または概して逆量子化に関連する情報)および量子化された係数を受け取り、復号された量子化された係数309に対して量子化パラメータに基づいて逆量子化を適用して、変換係数311とも呼ばれてもよい逆量子化された係数311を取得するように構成されてもよい。逆量子化プロセスは、量子化の度合いと、同様に、適用されるべき逆量子化の度合いとを決定するために、ビデオスライス内の各ビデオブロックに関してビデオエンコーダ20によって決定された量子化パラメータを使用することを含んでもよい。
逆量子化ユニット310は、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から量子化パラメータ(QP)(または概して逆量子化に関連する情報)および量子化された係数を受け取り、復号された量子化された係数309に対して量子化パラメータに基づいて逆量子化を適用して、変換係数311とも呼ばれてもよい逆量子化された係数311を取得するように構成されてもよい。逆量子化プロセスは、量子化の度合いと、同様に、適用されるべき逆量子化の度合いとを決定するために、ビデオスライス内の各ビデオブロックに関してビデオエンコーダ20によって決定された量子化パラメータを使用することを含んでもよい。
逆変換
逆変換処理ユニット312は、変換係数311とも呼ばれる逆量子化された係数311を受け取り、サンプル領域において再構築された残差ブロック213を取得するために、逆量子化された係数311に変換を適用するように構成されてもよい。再構築された残差ブロック213は、変換ブロック213とも呼ばれてもよい。変換は、逆変換、たとえば、逆DCT、逆DST、逆整数変換、または概念的に同様の逆変換プロセスであってもよい。逆変換処理ユニット312は、逆量子化された係数311に適用される変換を決定するために、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から変換パラメータまたは対応する情報を受け取るようにさらに構成されてもよい。
逆変換処理ユニット312は、変換係数311とも呼ばれる逆量子化された係数311を受け取り、サンプル領域において再構築された残差ブロック213を取得するために、逆量子化された係数311に変換を適用するように構成されてもよい。再構築された残差ブロック213は、変換ブロック213とも呼ばれてもよい。変換は、逆変換、たとえば、逆DCT、逆DST、逆整数変換、または概念的に同様の逆変換プロセスであってもよい。逆変換処理ユニット312は、逆量子化された係数311に適用される変換を決定するために、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から変換パラメータまたは対応する情報を受け取るようにさらに構成されてもよい。
再構築
再構築ユニット314(たとえば、加算器または合算器314)は、たとえば、再構築された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを足すことによって予測ブロック365に再構築された残差ブロック313を足してサンプル領域において再構築されたブロック315を取得するように構成されてもよい。
再構築ユニット314(たとえば、加算器または合算器314)は、たとえば、再構築された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを足すことによって予測ブロック365に再構築された残差ブロック313を足してサンプル領域において再構築されたブロック315を取得するように構成されてもよい。
フィルタリング
(コーディングループ内かまたはコーディングループの後かのどちらかの)ループフィルタユニット320は、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するために再構築されたブロック315をフィルタリングしてフィルタリングされたブロック321を取得するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(SAO)フィルタ、または1つもしくは複数のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ、もしくはこれらの任意の組み合わせなどの1つ以上のループフィルタを含んでもよい。ループフィルタユニット320は図3にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット320は、ループ後フィルタとして実装されてもよい。
(コーディングループ内かまたはコーディングループの後かのどちらかの)ループフィルタユニット320は、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するために再構築されたブロック315をフィルタリングしてフィルタリングされたブロック321を取得するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(SAO)フィルタ、または1つもしくは複数のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ、もしくはこれらの任意の組み合わせなどの1つ以上のループフィルタを含んでもよい。ループフィルタユニット320は図3にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット320は、ループ後フィルタとして実装されてもよい。
復号ピクチャバッファ
次いで、ピクチャの復号されたビデオブロック321は、その他のピクチャに関するその後の動き補償のための参照ピクチャとしておよび/またはディスプレイ上にそれぞれ出力するために復号されたピクチャ331を記憶する復号ピクチャバッファ330に記憶される。
次いで、ピクチャの復号されたビデオブロック321は、その他のピクチャに関するその後の動き補償のための参照ピクチャとしておよび/またはディスプレイ上にそれぞれ出力するために復号されたピクチャ331を記憶する復号ピクチャバッファ330に記憶される。
デコーダ30は、復号されたピクチャ311を、ユーザへの提示または視聴のために、たとえば、出力312を介して出力するように構成される。
予測
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一であってもよく、イントラ予測ユニット354は、インター予測ユニット254と機能的に同一であってもよく、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)復号されたピクチャデータ21から受け取られた区分けおよび/または予測パラメータまたはそれぞれの情報に基づいて分割または区分けの判断および予測を実行する。モード選択ユニット360は、予測ブロック365を得るために、(フィルタリングされたまたはフィルタリングされていない)再構築されたピクチャ、ブロック、またはそれぞれのサンプルに基づいてブロック毎に予測(イントラまたはインター予測)を実行するように構成されてもよい。
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一であってもよく、イントラ予測ユニット354は、インター予測ユニット254と機能的に同一であってもよく、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)復号されたピクチャデータ21から受け取られた区分けおよび/または予測パラメータまたはそれぞれの情報に基づいて分割または区分けの判断および予測を実行する。モード選択ユニット360は、予測ブロック365を得るために、(フィルタリングされたまたはフィルタリングされていない)再構築されたピクチャ、ブロック、またはそれぞれのサンプルに基づいてブロック毎に予測(イントラまたはインター予測)を実行するように構成されてもよい。
ビデオスライスがイントラコーディングされた(I)スライスとしてコーディングされるとき、モード選択ユニット360のイントラ予測ユニット354は、シグナリングされたイントラ予測モードおよび現在のピクチャの既に復号されたブロックからのデータに基づいて現在のビデオスライスのピクチャブロックに関する予測ブロック365を生成するように構成される。ビデオピクチャがインターコーディングされた(つまり、BまたはP)スライスとしてコーディングされるとき、モード選択ユニット360のインター予測ユニット344(たとえば、動き補償ユニット)は、エントロピー復号ユニット304から受け取られたモーションベクトルおよびその他のシンタックス要素に基づいて現在のビデオスライスのビデオブロックに関する予測ブロック365を生成するように構成される。インター予測に関して、予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから生成されてもよい。ビデオデコーダ30は、DPB330に記憶された参照ピクチャに基づいてデフォルトの構築技術を使用して参照フレームリスト、List 0およびList 1を構築してもよい。
モード選択ユニット360は、動きベクトルおよびその他のシンタックス要素を解析することによって現在のビデオスライスのビデオブロックに関する予測情報を決定するように構成され、予測情報を使用して、復号されている現在のビデオブロックに関する予測ブロックを生成する。たとえば、モード選択ユニット360は、受信されたシンタックス要素の一部を使用して、ビデオスライスのビデオブロックをコーディングするために使用された予測モード(たとえば、イントラまたはインター予測)、インター予測のスライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)、スライスのための参照ピクチャリストのうちの1つまたは複数に関する構築情報、スライスのそれぞれのインターコーディングされたビデオブロックに関する動きベクトル、スライスのそれぞれのインターコーディングされたビデオブロックに関するインター予測のステータス、および現在のビデオスライス内のビデオブロックを復号するためのその他の情報を決定する。
ビデオデコーダ30のその他の変化形が、符号化されたピクチャデータ21を復号するために使用されうる。たとえば、デコーダ30は、ループフィルタリングユニット320なしで出力ビデオストリームを生成しうる。たとえば、変換に基づかないデコーダ30は、特定のブロックまたはフレームに関して逆変換処理ユニット312なしに残差信号を直接逆量子化しうる。別の実装において、ビデオデコーダ30は、単一のユニットに組み合わされた逆量子化ユニット310および逆変換処理ユニット312を持ちうる。
エンコーダ20およびデコーダ30において、現在のステップの処理結果は、さらに処理され、次いで、次のステップに出力されてもよいことを理解されたい。たとえば、補間フィルタリング、動きベクトルの導出、またはループフィルタリングの後、Clipまたはシフトなどのさらなる演算が、補間フィルタリング、動きベクトルの導出、またはループフィルタリングの処理結果に対して実行されてもよい。
さらなる演算が、(アフィンモードの制御点動きベクトル(control point motion vector)、アフィン、平面、ATMVPモードの下位ブロック動きベクトル、時間動きベクトル(temporal motion vector)などを含むがこれらに限定されない)現在のブロックの導出された動きベクトルに適用されてもよいことに留意されたい。たとえば、動きベクトルの値は、その表現ビットに従って所定の範囲に制約される。動きベクトルの表現ビットがbitDepthである場合、次いで、範囲は、-2^(bitDepth-1)～2^(bitDepth-1)-1であり、「^」は、累乗を意味する。たとえば、bitDepthが16に等しいように設定される場合、範囲は、-32768～32767であり、bitDepthが18に等しいように設定される場合、範囲は、-131072～131071である。ここで、動きベクトルを制約するための2つの方法を提供する。
方法1: 流れる演算によってあふれ(overflow)MSB(最上位ビット)を削除する
ux= ( mvx+2bitDepth ) % 2bitDepth (1)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (2)
uy= ( mvy+2bitDepth ) % 2bitDepth (3)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (4)
ux= ( mvx+2bitDepth ) % 2bitDepth (1)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (2)
uy= ( mvy+2bitDepth ) % 2bitDepth (3)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (4)
たとえば、mvxの値が-32769である場合、式(1)および(2)を適用した後、結果として得られる値は、32767である。コンピュータシステムにおいて、10進数は、2の補数として記憶される。-32769の2の補数は、1,0111,1111,1111,1111(17ビット)であり、次いで、MSBが破棄され、したがって、結果として得られる2の補数は、0111,1111,1111,1111(10進数は32767)であり、これは、式(1)および(2)を適用することによる出力と同じである。
ux= ( mvpx + mvdx +2bitDepth ) % 2bitDepth (5)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (6)
uy= ( mvpy + mvdy +2bitDepth ) % 2bitDepth (7)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (8)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (6)
uy= ( mvpy + mvdy +2bitDepth ) % 2bitDepth (7)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (8)
演算は、式(5)から(8)に示されるように、mvpとmvdとの合計中に適用されてもよい。
方法2: 値をクリッピングすることによってあふれMSBを削除する
vx = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vx)
vy = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vy)
関数Clip3の定義は、次の通りである。
vx = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vx)
vy = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vy)
関数Clip3の定義は、次の通りである。
図4は、本開示の実施形態に係るビデオコーディングデバイス400の概略図である。ビデオコーディングデバイス400は、本明細書において説明されるように開示される実施形態を実装するのに好適である。実施形態において、ビデオコーディングデバイス400は、図1Aのビデオデコーダ30などのデコーダまたは図1Aのビデオエンコーダ20などのエンコーダであってもよい。
ビデオコーディングデバイス400は、データを受信するための着信ポート410(または入力ポート410)および受信機ユニット(Rx)420、データを処理するためのプロセッサ、論理ユニット、または中央演算処理装置(CPU)430、データを送信するための送信機ユニット(Tx)440および発信ポート450(または出力ポート450)、ならびにデータを記憶するためのメモリ460を含む。ビデオコーディングデバイス400は、光または電気信号の発信または着信のために着信ポート410、受信機ユニット420、送信機ユニット440、および発信ポート450に結合された光-電気(OE)構成要素および電気-光(EO)構成要素も含んでもよい。
プロセッサ430は、ハードウェアおよびソフトウェアによって実装される。プロセッサ430は、1つ以上のCPUチップ、コア(たとえば、マルチコアプロセッサとして)、FPGA、ASIC、およびDSPとして実装されてもよい。プロセッサ430は、着信ポート410、受信機ユニット420、送信機ユニット440、発信ポート450、およびメモリ460と通信する。プロセッサ430は、コーディングモジュール470を含む。コーディングモジュール470は、上述の開示された実施形態を実装する。たとえば、コーディングモジュール470は、様々なコーディング動作を実装するか、処理するか、準備するか、または提供する。したがって、コーディングモジュール470を含むことは、ビデオコーディングデバイス400の機能を大幅に改善し、ビデオコーディングデバイス400の異なる状態への転換をもたらす。代替的に、コーディングモジュール470は、メモリ460に記憶され、プロセッサ430によって実行される命令として実装される。
メモリ460は、1つ以上のディスク、テープドライブ、およびソリッドステートドライブを含んでもよく、プログラムが実行するために選択されるときにそのようなプログラムを記憶するためならびにプログラムの実行中に読まれる命令およびデータを記憶するためのオーバーフローデータストレージデバイス(over-flow data storage device)として使用されてもよい。メモリ460は、たとえば、揮発性および/または不揮発性であってもよく、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、3値連想メモリ(TCAM: ternary content-addressable memory)、および/またはスタティックランダムアクセスメモリ(SRAM)であってもよい。
図5は、例示的な実施形態に係る、図1の送信元デバイス12および送信先デバイス14のどちらかまたは両方として使用されてもよい装置500の簡略化されたブロック図である。
装置500のプロセッサ502は、中央演算処理装置でありうる。代替的に、プロセッサ502は、既存のまたは今後開発される、情報を操作または処理することができる任意のその他の種類の1つのデバイスまたは複数のデバイスでありうる。開示される実装は示されるように単一のプロセッサ、たとえば、プロセッサ502によって実施されうるが、2つ以上のプロセッサを使用することによって速度および効率面の利点が実現されうる。
装置500のメモリ504は、実装において、読み取り専用メモリ(ROM)デバイスまたはランダムアクセスメモリ(RAM)デバイスでありうる。任意のその他の好適な種類のストレージデバイスが、メモリ504として使用されうる。メモリ504は、バス512を使用してプロセッサ502によってアクセスされるコードおよびデータ506を含みうる。メモリ504は、オペレーティングシステム508およびアプリケーションプログラム510をさらに含み得、アプリケーションプログラム510は、プロセッサ502が本明細書において説明される方法を実行すること可能にする少なくとも1つのプログラムを含む。たとえば、アプリケーションプログラム510は、本明細書において説明される方法を実行するビデオコーディングアプリケーションをさらに含むアプリケーション1からNを含みうる。
装置500は、ディスプレイ518などの1つ以上の出力デバイスも含みうる。ディスプレイ518は、一例において、ディスプレイをタッチ入力を感知するように動作可能であるタッチ感知要素と組み合わせるタッチ式ディスプレイであってもよい。ディスプレイ518は、バス512を介してプロセッサ502に結合されうる。
ここでは単一のバスとして示されるが、装置500のバス212は、複数のバスから構成されうる。さらに、二次ストレージ514は、装置500のその他の構成要素に直接結合され得、またはネットワークを介してアクセスされ得、メモリカードなどの単一の統合されたユニットもしくは複数のメモリカードなどの複数のユニットを含みうる。したがって、装置500は、多種多様な構成で実装されうる。
マージ候補リスト
マージ動き候補リストを構築するプロセスが、ITU-T H.265規格によって導入されている。別の実施形態において、マージ動き候補リストは、多目的ビデオコーディング(VVC)の拡張されたマージ予測によって使用される。
マージ動き候補リストを構築するプロセスが、ITU-T H.265規格によって導入されている。別の実施形態において、マージ動き候補リストは、多目的ビデオコーディング(VVC)の拡張されたマージ予測によって使用される。
ブロックマージ動作は、動きデータのコーディングのための特別なモード(「マージモード」とも呼ばれる)である。ブロックマージ動作は、現在のブロックが近隣のブロックの同じ動き情報を使用することを可能にする。動き情報は、動きデータを含み、動きデータは、1つまたは2つの参照ピクチャリストが使用されるかどうかの情報ならびに各参照ピクチャリストに関する参照インデックスおよび動きベクトルを含む。ブロックマージ動作は、2つの近隣のブロックがピクチャフレーム内の同じ変形しない物体に対応する場合に特に有用である。この場合、2つのブロックは、同じ動きベクトルおよび同じ参照ピクチャを使用して予測されてもよく、したがって、動き情報は、両方のブロックに関して同一である。
実装においては、近隣のブロックが利用可能であり、動き情報を含むかどうかを調べた後、近隣のブロックのすべての動きデータを動き情報候補とみなす前に、いくつかのさらなる冗長性の検査が実行される。
実装において、マージ候補リストは、以下の5種類の候補を順に含めることによって構築される。
1) 空間的な近隣のCUからの空間的MVP
2) 同じ場所にあるCUからの時間的MVP
3) FIFOテーブルからの履歴に基づくMVP
4) ペアの平均MVP
5) ゼロMV
1) 空間的な近隣のCUからの空間的MVP
2) 同じ場所にあるCUからの時間的MVP
3) FIFOテーブルからの履歴に基づくMVP
4) ペアの平均MVP
5) ゼロMV
マージリストのサイズが、スライスヘッダ内でシグナリングされ、マージリストの最大の許されるサイズは、たとえば、6である。マージモードにおける各CUのコードに関して、最良のマージ候補のインデックスが、符号化される。
マージ候補の各カテゴリの生成プロセスが、提供される。
空間的候補の導出
実装においては、最大4つのマージ候補が、図12に示される位置にある候補の中から選択される。導出の順序は、B1、A1、B0、A0、およびB2である。位置A0、B0、B1、A1のいずれのCUも(たとえば、それが別のスライスもしくはタイルに属するので)利用可能でないかまたはイントラコーディングされるときにのみ、位置B2が考慮される。位置B1の候補が追加された後、残りの候補の追加は、コーディング効率が改善されるように同じモーション情報を有する候補がリストから除外されることを保証する冗長性の検査を受ける。計算の複雑さを減らすため、すべての可能な候補のペアが、上述の冗長性の検査において考慮されるとは限らない。その代わりに、図13において矢印によってつながれたペアのみが考慮され、冗長性の検査のために使用された対応する候補が同じ動き情報を持たない場合に、候補がリストに追加されるだけである。
実装においては、最大4つのマージ候補が、図12に示される位置にある候補の中から選択される。導出の順序は、B1、A1、B0、A0、およびB2である。位置A0、B0、B1、A1のいずれのCUも(たとえば、それが別のスライスもしくはタイルに属するので)利用可能でないかまたはイントラコーディングされるときにのみ、位置B2が考慮される。位置B1の候補が追加された後、残りの候補の追加は、コーディング効率が改善されるように同じモーション情報を有する候補がリストから除外されることを保証する冗長性の検査を受ける。計算の複雑さを減らすため、すべての可能な候補のペアが、上述の冗長性の検査において考慮されるとは限らない。その代わりに、図13において矢印によってつながれたペアのみが考慮され、冗長性の検査のために使用された対応する候補が同じ動き情報を持たない場合に、候補がリストに追加されるだけである。
実施中に、変更可能であると考えられる空間的近隣の順序、位置、および数、上の例は、限定とみなされない可能性がある。
時間的候補の導出
実装においては、1つの候補のみが、リストに追加される。特に、この時間的マージ候補の導出においては、同じ場所にあるCUが同じ場所にある参照ピクチャに属することに基づいて、スケーリングされた動きベクトルが導出される。同じ場所にあるCUの導出のために使用される参照ピクチャリストが、スライスヘッダ内で明示的にシグナリングされる。時間的マージ候補に関するスケーリングされた動きベクトルは、図14の破線によって示されるように取得され、POC距離tbおよびtdを使用して同じ場所にあるCUの動きベクトルからスケーリングされ、tbは、現在のピクチャの参照ピクチャと現在のピクチャとの間のPOCの差であるものと定義され、tdは、同じ場所にあるピクチャの参照ピクチャと同じ場所にあるピクチャとの間のPOCの差であるものと定義される。時間的マージ候補の参照ピクチャインデックスは、ゼロに等しいように設定される。
実装においては、1つの候補のみが、リストに追加される。特に、この時間的マージ候補の導出においては、同じ場所にあるCUが同じ場所にある参照ピクチャに属することに基づいて、スケーリングされた動きベクトルが導出される。同じ場所にあるCUの導出のために使用される参照ピクチャリストが、スライスヘッダ内で明示的にシグナリングされる。時間的マージ候補に関するスケーリングされた動きベクトルは、図14の破線によって示されるように取得され、POC距離tbおよびtdを使用して同じ場所にあるCUの動きベクトルからスケーリングされ、tbは、現在のピクチャの参照ピクチャと現在のピクチャとの間のPOCの差であるものと定義され、tdは、同じ場所にあるピクチャの参照ピクチャと同じ場所にあるピクチャとの間のPOCの差であるものと定義される。時間的マージ候補の参照ピクチャインデックスは、ゼロに等しいように設定される。
時間的候補に関する位置は、図15に示されるように、候補C0と候補C1との間で選択される。位置C0のCUが利用可能でないか、イントラコーディングされるか、またはCTUの現在の行の外にある場合、位置C1が使用される。そうでない場合、時間的マージ候補の導出において位置C0が使用される。
履歴に基づくマージ候補の導出
履歴に基づくMVP(HMVP)マージ候補は、空間的MVPおよびTMVPの後にマージリストに追加される。実装においては、既にコーディングされたブロックの動き情報が、テーブルに記憶され、現在のCUのMVPとして使用される。複数のHMVP候補を有するテーブルが、符号化/復号プロセス中に保守される。テーブルは、新しいCTUの行に行き当たるとき、リセットされる(空にされる)。下位ブロックでないインターコーディングされたCUが存在するときにはいつも、関連する動き情報が、新しいHMVP候補としてテーブルの最後のエントリに追加される。
履歴に基づくMVP(HMVP)マージ候補は、空間的MVPおよびTMVPの後にマージリストに追加される。実装においては、既にコーディングされたブロックの動き情報が、テーブルに記憶され、現在のCUのMVPとして使用される。複数のHMVP候補を有するテーブルが、符号化/復号プロセス中に保守される。テーブルは、新しいCTUの行に行き当たるとき、リセットされる(空にされる)。下位ブロックでないインターコーディングされたCUが存在するときにはいつも、関連する動き情報が、新しいHMVP候補としてテーブルの最後のエントリに追加される。
たとえば、HMVPのテーブルのサイズSは、5に設定され、これは、最大5つの履歴に基づくMVP(HMVP)がテーブルに追加されてもよいことを示す。新しい動き候補をテーブルに挿入するとき、制約された先入れ先出し(FIFO)ルールが利用され、テーブル内に同一のHMVPが存在するかどうかを知るために冗長性の検査が最初に適用される。存在が分かった場合、同一のHMVPが、テーブルから削除され、その後、すべてのHMVP候補が、前に移動される。
HMVP候補は、マージ候補リストの構築プロセスにおいて使用されてもよい。テーブルの最新のいくつかのHMVPが、順に調べられ、TMVP候補の後に候補リストに挿入される。冗長性の検査が、HMVP候補に対して空間的または時間的マージ候補まで適用される。
冗長性の検査の動作の数を減らすために、異なる簡略化が導入されてもよい。概して、利用可能なマージ候補の総数が最大限に許容されるマージ候補から1を引いた値に達すると、HMVPからのマージ候補リストの構築プロセスは、終了される。
ペアの平均マージ候補の導出
既存のマージ候補リストの候補の予め定義されたペアを平均することによって、ペアの平均候補が生成され、予め定義されたペアは、たとえば、(0, 1)として定義され、数は、マージ候補リストへのマージインデックスを表す。平均された動きベクトルが、各参照リストに関して別々に計算される。両方の動きベクトルが1つのリスト内で利用可能である場合、これら2つの動きベクトルが、たとえそれらが異なる参照ピクチャを指すとしても平均され、1つの動きベクトルのみが利用可能である場合、その1つをそのまま使用し、動きベクトルが利用可能でない場合、このリストを無効のままとする。
既存のマージ候補リストの候補の予め定義されたペアを平均することによって、ペアの平均候補が生成され、予め定義されたペアは、たとえば、(0, 1)として定義され、数は、マージ候補リストへのマージインデックスを表す。平均された動きベクトルが、各参照リストに関して別々に計算される。両方の動きベクトルが1つのリスト内で利用可能である場合、これら2つの動きベクトルが、たとえそれらが異なる参照ピクチャを指すとしても平均され、1つの動きベクトルのみが利用可能である場合、その1つをそのまま使用し、動きベクトルが利用可能でない場合、このリストを無効のままとする。
ITU-T H.265によるマージ候補リストの構築についての例において、マージ候補リストは、以下の候補に基づいて構築される。
1. 5つの空間的な近隣のブロックから導出される最大4つの空間的候補、
2. 2つの時間的な同じ場所にあるブロックから1つの時間的候補が導出される、
3. 組み合わされた双予測の(bi-predictive)候補を含む追加的な候補、および
4. ゼロ動きベクトル候補
1. 5つの空間的な近隣のブロックから導出される最大4つの空間的候補、
2. 2つの時間的な同じ場所にあるブロックから1つの時間的候補が導出される、
3. 組み合わされた双予測の(bi-predictive)候補を含む追加的な候補、および
4. ゼロ動きベクトル候補
空間的候補
空間的な近隣のブロックの動き情報が、まず、動き情報候補としてマージ候補リストに追加される(例において、マージ候補リストは、最初の動きベクトルがマージ候補リストに追加される前は空のリストであってもよい)。ここで、マージリストに挿入されると考えられる近隣のブロックが、図7bに示される。インター予測のブロックのマージのために、最大4つの候補が、A1、B1、B0、A0、およびB2をこの順序で順番に調べることによってマージリストに挿入される。
空間的な近隣のブロックの動き情報が、まず、動き情報候補としてマージ候補リストに追加される(例において、マージ候補リストは、最初の動きベクトルがマージ候補リストに追加される前は空のリストであってもよい)。ここで、マージリストに挿入されると考えられる近隣のブロックが、図7bに示される。インター予測のブロックのマージのために、最大4つの候補が、A1、B1、B0、A0、およびB2をこの順序で順番に調べることによってマージリストに挿入される。
動き情報は、動きデータを含んでもよく、動きデータは、1つまたは2つの参照ピクチャリストが使用されるかどうかの情報ならびに各参照ピクチャリストに関する参照インデックスおよび動きベクトルを含む。
例においては、近隣のブロックが利用可能であるかどうかおよび近隣のブロックが動き情報を含むかどうかを調べた後、近隣のブロックのすべての動きデータを動き情報候補とみなす前に、いくつかのさらなる冗長性の検査が実行される。これらの冗長性の検査は、以下の2つのカテゴリに分けられうる。
カテゴリ1、リスト内に冗長な動きデータを有する候補を持つことを避ける
カテゴリ2、冗長なシンタックスを生成する、その他の手段によって表現されうる2つの区画をマージすることを防止する
カテゴリ1、リスト内に冗長な動きデータを有する候補を持つことを避ける
カテゴリ2、冗長なシンタックスを生成する、その他の手段によって表現されうる2つの区画をマージすることを防止する
時間的候補
図7aは、時間的動き情報候補が取り出されるブロックの座標を示した。同じ場所にあるブロックは、現在のブロックの同じ-x、-y座標を有するが、異なるピクチャ(参照ピクチャのうちの1つ)上にあるブロックである。時間的動き情報候補は、リストが満杯でない場合、マージリストに追加される(例において、マージリストは、マージリストの候補の量が閾値未満であるとき、満杯でなく、たとえば、閾値は、4、5、6などであってもよい)。
図7aは、時間的動き情報候補が取り出されるブロックの座標を示した。同じ場所にあるブロックは、現在のブロックの同じ-x、-y座標を有するが、異なるピクチャ(参照ピクチャのうちの1つ)上にあるブロックである。時間的動き情報候補は、リストが満杯でない場合、マージリストに追加される(例において、マージリストは、マージリストの候補の量が閾値未満であるとき、満杯でなく、たとえば、閾値は、4、5、6などであってもよい)。
生成された候補
空間的および時間的動き情報候補の挿入後に、マージリストがまだ満杯でない場合、生成された候補が、リストを満たすために追加される。例において、マージリストのサイズは、シーケンスパラメータセット内に示され、コーディングされたビデオシーケンス全体を通じて固定である。
空間的および時間的動き情報候補の挿入後に、マージリストがまだ満杯でない場合、生成された候補が、リストを満たすために追加される。例において、マージリストのサイズは、シーケンスパラメータセット内に示され、コーディングされたビデオシーケンス全体を通じて固定である。
双予測
インター予測モードは、「双予測」と呼ばれ、2つの動きベクトルが、ブロックを予測するために使用される。動きベクトルは、同じ参照ピクチャまたは異なる参照ピクチャを指し得、参照ピクチャは、参照ピクチャリストIDおよび参照ピクチャインデックスによって示されうる。たとえば、第1の動きベクトルが、参照ピクチャリストL0の第1のピクチャを指してもよく、第2の動きベクトルが、参照ピクチャリストL1の第1のピクチャを指してもよい。2つの参照ピクチャリスト(たとえば、L0およびL1)が保有されてもよく、第1の動きベクトルによって指されるピクチャが、リストL0から選択され、第2の動きベクトルによって指されるピクチャが、リストL1から選択される。
インター予測モードは、「双予測」と呼ばれ、2つの動きベクトルが、ブロックを予測するために使用される。動きベクトルは、同じ参照ピクチャまたは異なる参照ピクチャを指し得、参照ピクチャは、参照ピクチャリストIDおよび参照ピクチャインデックスによって示されうる。たとえば、第1の動きベクトルが、参照ピクチャリストL0の第1のピクチャを指してもよく、第2の動きベクトルが、参照ピクチャリストL1の第1のピクチャを指してもよい。2つの参照ピクチャリスト(たとえば、L0およびL1)が保有されてもよく、第1の動きベクトルによって指されるピクチャが、リストL0から選択され、第2の動きベクトルによって指されるピクチャが、リストL1から選択される。
例においては、動き情報が双予測を示す場合、次いで、動き情報は、以下の2つの部分を含む。
・L0部分: 動きベクトル、および参照ピクチャリストL0のエントリを指す参照ピクチャインデックス
・L1部分: 動きベクトル、および参照ピクチャリストL1のエントリを指す参照ピクチャインデックス
・L0部分: 動きベクトル、および参照ピクチャリストL0のエントリを指す参照ピクチャインデックス
・L1部分: 動きベクトル、および参照ピクチャリストL1のエントリを指す参照ピクチャインデックス
ピクチャ順序カウント(POC: Picture Order Count): 各ピクチャに関連付けられる変数が、CVS(コーディングされたビデオシーケンス)のすべてのピクチャの中の関連するピクチャを一意に特定する。関連するピクチャが復号ピクチャバッファから出力されるべきであるとき、POCは、復号ピクチャバッファから出力されるべきである同じCVS内のその他のピクチャの出力順序の位置に対する出力順の関連するピクチャの位置を示すために使用される。
参照ピクチャリストL0またはL1は、1つ以上の参照ピクチャを含んでもよく、各参照ピクチャは、POCによって特定される。各参照インデックスおよびPOC値との関連付けが、ビットストリーム内でシグナリングされてもよい。例として、参照ピクチャリストL0およびL1は、以下の参照ピクチャを含んでもよい。
上記の例において、参照ピクチャリストL1の(参照インデックス0によって示される)第1のエントリは、POC値13を有する参照ピクチャである。参照ピクチャリストL1の(参照インデックス1によって示される)第2のエントリは、POC値14を有する参照ピクチャである。
三角予測モード
三角予測モードの概念は、動き補償予測のための三角形区画である。図9に示される例として、CUが、対角方向または逆対角方向に2つの三角予測ユニットに分割される。CU内の各三角予測ユニットは、単予測の候補リストから導出される単予測の動きベクトルおよび参照フレームインデックスを使用してインター予測される。適応的な重み付けプロセスが、三角予測ユニットを予測した後、対角線のエッジに対して実行される。それから、変換および量子化プロセスが、CU全体に適用される。このモードは、スキップモードおよびマージモードに対して適用されるだけであることが留意される。
三角予測モードの概念は、動き補償予測のための三角形区画である。図9に示される例として、CUが、対角方向または逆対角方向に2つの三角予測ユニットに分割される。CU内の各三角予測ユニットは、単予測の候補リストから導出される単予測の動きベクトルおよび参照フレームインデックスを使用してインター予測される。適応的な重み付けプロセスが、三角予測ユニットを予測した後、対角線のエッジに対して実行される。それから、変換および量子化プロセスが、CU全体に適用される。このモードは、スキップモードおよびマージモードに対して適用されるだけであることが留意される。
三角予測モードにおいては、ブロックが、(図9のように)2つの三角形の部分に分割され、各部分が、1つの動きベクトルを使用して予測されうる。(PU1によって表される)1つの三角形の部分を予測するために使用される動きベクトルは、(PU2によって表される)もう1つの三角形の部分を予測するために使用される動きベクトルと異なることが可能である。三角予測モードを実行する複雑さを減らすために、各部分は、単一の動きベクトル(単予測)を使用するだけで予測されうることが留意される。言い換えると、PU1およびPU2は、双予測を使用して予測され得ない。
下位ブロック予測モード
三角予測モードは、ブロックが2つのブロックに分割される下位ブロック予測の特別な場合である。上記の例においては、2つのブロック分割方向が示される(45度の区画および135度の区画)。しかし、その他の区画の角度および区画の割合も、可能である(たとえば、図11の例)ことが留意される。
三角予測モードは、ブロックが2つのブロックに分割される下位ブロック予測の特別な場合である。上記の例においては、2つのブロック分割方向が示される(45度の区画および135度の区画)。しかし、その他の区画の角度および区画の割合も、可能である(たとえば、図11の例)ことが留意される。
いくつかの例において、ブロックは、2つの下位ブロックの部分に分割され、各部分が、適用された単予測である。三角予測モードに比べて、違いは、ブロックがどのようにして2つの部分に分割されるかであり、したがって、それは、三角予測の一般化されたバージョンを表す。例として、下位ブロックは、区画の角度に応じて長方形であるかまたは長方形以外でありうる。いくつかの例において、現在のブロックが、2つの予測ユニットからなり、2つの予測ユニットが、仮想的な分割線によって分割される。この場合、現在のブロックが幾何学予測モードによって予測されると呼ばれる。
ITU-T H.265およびVVCのマージリスト構築プロセスは、動き情報候補のリストを出力する。VVCのマージリスト構築プロセスは、http://phenix.it-sudparis.eu/jvet/に公開されている文書JVET-L1001_v2 Versatile Video Coding (Draft 3)の「8.3.2.2 Derivation process for luma motion vectors for merge mode」のセクションに記載されている。動き情報という用語は、動き補償予測プロセスを実行するために必要な動きデータを指す。動き情報は、通常、以下の情報を指す。
・ブロックが単予測を適用するのかまたは双予測を適用するのか
・予測において使用される参照ピクチャのID(ブロックが双予測を適用する場合は2つのID)
・動きベクトル(ブロックが双予測される場合は2つの動きベクトル)
・追加的な情報
・ブロックが単予測を適用するのかまたは双予測を適用するのか
・予測において使用される参照ピクチャのID(ブロックが双予測を適用する場合は2つのID)
・動きベクトル(ブロックが双予測される場合は2つの動きベクトル)
・追加的な情報
VVCの仕様草案のテキストの最新バージョンにおいて、マージリスト構築プロセスは、文書JVET-L1001_v7 Versatile Video Coding (Draft 3)の「8.3.2.2 Derivation process for luma motion vectors for merge mode」のセクションに記載されている。
本出願において提示される態様は、上の3つの例に限定されないことが留意される。上の例において説明されたマージリスト構築プロセスは、三角予測モードがコーディングブロックに適用されないときに、構築されたマージリストがコーディングブロックの予測を取得するために使用されるという共通点がある。マージリスト(第1のリスト)の候補を使用して第2の動き情報候補のリストを生成するための本開示の方法であって、マージリストの候補は、VVCまたはITU-T H.265の任意のバージョンに記載の方法でありうる何らかの方法に従って生成される。
VVCおよびH.265において、マージリスト構築プロセスの出力は、N候補動き情報を含む。数Nは、概して、ビットストリームに含まれ、5、6などの正の整数でありうる。構築されたマージリストに含まれる候補は、単予測情報または双予測情報を含んでもよい。これは、マージリストから選択される候補が双予測動作を示してもよいことを意味する。
三角予測モードがコーディングブロックに適用される場合、コーディングブロックのそれぞれの三角形の部分は、(ハードウェアの実装の懸念が原因で)単予測によって適用されなければならず、双予測によって適用されてはならない。これは、双予測を示す通常のマージリストの候補が使用され得ず、それが性能の低下を引き起こすことを意味する。
問題は、以下のように再整理されうる。
・ブロックが三角予測モードを適用する場合、インジケーションがビットストリームに含められ、それぞれの三角形の部分を予測するために使用される動き情報を示すために使用される。たとえば、インジケーションは、2つのマージインデックスの形態であり得、第1のマージインデックスが、第1の部分を予測するために適用されるマージリストのエントリを指定し、第2のマージインデックスが、第2の部分を予測するために適用されるマージリストのエントリを指定する。
・個々の部分に双予測を適用することは禁止され、これは、それぞれの部分において使用されるように示される動き情報が単予測を示さなければならないことを意味する。
・マージリスト内に、単予測の動き情報候補および双予測の動き情報候補を有することが可能である。双予測の候補を選択することが禁じられるので、これは、性能の低下を引き起こす。単予測の候補のみが使用されうるので、候補リストのサイズが事実上縮小される。
・ブロックが三角予測モードを適用する場合、インジケーションがビットストリームに含められ、それぞれの三角形の部分を予測するために使用される動き情報を示すために使用される。たとえば、インジケーションは、2つのマージインデックスの形態であり得、第1のマージインデックスが、第1の部分を予測するために適用されるマージリストのエントリを指定し、第2のマージインデックスが、第2の部分を予測するために適用されるマージリストのエントリを指定する。
・個々の部分に双予測を適用することは禁止され、これは、それぞれの部分において使用されるように示される動き情報が単予測を示さなければならないことを意味する。
・マージリスト内に、単予測の動き情報候補および双予測の動き情報候補を有することが可能である。双予測の候補を選択することが禁じられるので、これは、性能の低下を引き起こす。単予測の候補のみが使用されうるので、候補リストのサイズが事実上縮小される。
VVCにおいては、ブロックが特定のサイズ(幅4サンプルまたは高さ4サンプル)を有する場合、ブロックを予測するために双予測を適用することが禁止される。8x4/4x8のブロックは、ブロックの区分けを使用して実現されうる最も小さな可能なインター予測ブロックである。ハードウェアの実装は最も小さな可能なブロックをそれらの最悪の場合の複雑さの測定基準と考える必要があるので、双予測は、ハードウェアの複雑さの懸念が原因で最も小さなブロックに関して許されない。したがって、最も小さなブロックに関して双予測を禁止することは、ハードウェアの実装に関する最悪の場合の複雑さを減らす。
VVCの場合、ブロックが8x4/4x8のサイズを有する場合およびブロックがマージモードでコーディングされる場合、問題1の場合と同様の問題が存在する。
本開示の実施形態(実施形態1)においては、マージリストを構築するための以下のステップに従う。
ステップ1: 単予測または双予測を伴う動き情報候補を含む動き候補リスト(第1のリスト)を構築する。
第1のリストは、ITU-T H.265およびVVCの方法に従って構築され得、H.265およびVVCのマージリスト構築プロセスについての上の例および開示を参照されたい。
ステップ2: 以下のようにして第1のリストの候補を使用して第2のリストを構築する。
第1のリストの第1の候補から開始する。
ステップ2.1: 候補が単予測の候補である場合、候補(動き情報候補)を第2のリストに加える。
または、
ステップ2.2: 候補が双予測の候補である場合、2つの単予測の候補が生成され、2つの単予測の候補が以下の順序に従って第2のリストに追加される。
・第1の動き情報候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む(候補は、第2のリストに挿入する前に単予測の候補として設定される)。
・第2の動き情報候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む(候補は、第2のリストに挿入する前に単予測の候補として設定される)。
ステップ2.2: 候補が双予測の候補である場合、2つの単予測の候補が生成され、2つの単予測の候補が以下の順序に従って第2のリストに追加される。
・第1の動き情報候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む(候補は、第2のリストに挿入する前に単予測の候補として設定される)。
・第2の動き情報候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む(候補は、第2のリストに挿入する前に単予測の候補として設定される)。
ステップ2.3: 第1のリストの次の候補に進み、指定された量の候補が第2のリストに集められるまでまたは第1のリストのすべての候補が処理されるまでステップ2.1またはステップ2.2を継続する。
第1のマージリストおよび第2のマージリストが、現在のブロックのインター予測プロセスにおいて使用されてもよい。
例においては、三角予測が現在のブロックに適用される場合、第2のリストの2つの候補が、三角予測を実行するために選択され、1つの候補が、第1の三角形の部分の予測プロセスにおいて使用され、もう1つの候補が、第2の三角形の部分の予測において使用される。
別の例においては、現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズである場合、第2のリストの1つの候補が、現在のブロックのインター予測を実行するために選択される。この例においては、現在のブロックのサイズが小さいとき、現在のブロックに関して双予測が許されない。
別の例においては、マージモードが現在のブロックに適用され、三角予測モードが現在のブロックに適用されない場合、第1のリストの1つの候補が、現在のブロックの予測を実行するために選択され、この例は、ITU-T H.265またはVVCにおいて開示されている関連するプロセスと同じである。
例において、第1の動き候補リストは、マージリストである。
三角(または下位ブロック)予測のための候補リストがマージモードの候補リストから導出されるので、実現可能な実装において、候補リストは独立したリストでなくてもよいことが留意される。第2の候補リストの候補は、マージモードの候補リスト内の候補に対するインジケータポイントによって表されてもよい。
実施形態1は、動き情報候補リスト(第2のリスト)を構築する方法を開示し、第2のリストは、単予測の候補を含む。
三角予測がブロックに適用されない場合、第1のリストが、ブロックの予測において使用される。例において、第1のリストは、マージモードを適用するように示されるが、三角予測モードを適用するように示されないコーディングブロックのために使用される。
第2のリストは、第1のリストに基づいて構築される。三角予測がブロックに適用される場合、動き情報(または動きベクトル)候補が、第2のリストから選択される。第2のリストは、単予測の候補を含み、候補は、ブロックの第1のおよび第2の三角形の部分に適用されうる。例においては、三角マージモード(triangular merge mode)がブロックに適用される場合、2つのマージインデックスが、ビットストリームにコーディングされる。マージインデックスは、第2のリストのどの候補がブロックの第1のまたは第2の三角形の部分のために使用されるのかを特定する。
別の例においては、現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズである場合、1つのマージインデックスが、第2のリストのどの候補がブロックを予測するために使用されるのかを特定するためにビットストリームにコーディングされる。現在のブロックのブロックサイズが閾値よりも大きい(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるかもしくはパラメータセット内でシグナリングされる最も小さなサイズではない場合、マージインデックスは、第1のリストのどの候補がブロックを予測するために使用されるのかを特定するためにビットストリームにコーディングされる。
図6は、実施形態1の1つの可能な実装の流れ図を示す。流れ図は、第1の動き候補リストに基づく第2の動き候補リストの構築を示す。602によれば、三角予測がブロックに適用される場合、第2の動き候補リストが、ブロックを予測するために使用され、三角予測がブロックに適用されない場合、第1の動き候補リストが、ブロックを予測するために使用される。別の例において、602の条件は、ブロックサイズの検査を含んでもよい。ブロックサイズの検査の結果に応じて、第1の動き候補リストまたは第2の動き候補リストが、ブロックを予測するために使用されてもよい。
別の例においては、ブロックが三角予測を適用しないと決定される場合、ブロックが第1の動き候補リストを使用するか否かを判断するためにその他の条件が調べられうる。一例においては、ブロックが三角予測を適用しないと決定される場合、ブロックがマージモードを適用するか否かがさらに判定される。マージモードが適用される場合、第1の動き候補リストが、ブロックを予測する際に使用され、マージモードが適用されない場合、現在のブロックを予測するその他の方法(たとえば、イントラ予測)が、適用されてもよい。
実施形態1によれば、第2の動き候補リストが、第1の動き候補リストに基づいて構築される。第2のリストは、単予測の候補のみを含み、したがって、使用不可能な候補(たとえば、双予測の候補)を含まない利点を有してもよい。したがって、どの候補が使用されるのかをシグナリングするためのインジケータが、より少ない数のビットによって表されることが可能であり、それが、圧縮効率を高める。
本開示の実施形態(実施形態2)においては、マージリストを構築するための以下のステップに従う。
ステップ1: 単予測または双予測を伴う動き情報候補を含む動き候補リスト(第1のリスト)を構築する。
第1のリストは、ITU-T H.265およびVVCの方法に従って構築され得、HEVCおよびVVCのマージリスト構築プロセスについての上の例および開示を参照されたい。
ステップ2: 以下のようにして第1のリストの候補を使用して第2のリストを構築する。
第1のリストの第1の候補から開始する。
第1のリストの第1の候補から開始する。
ステップ2.1: 候補が単予測の候補である場合、候補(動き情報候補)を第2のリストに加える。
または、
ステップ2.2: 候補が双予測の候補である場合、2つの単予測の候補が生成され、2つの単予測の候補が以下の順序に従って第2のリストに追加される。
・第1の候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L0と表記され、(リストL0の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L0と表記される。
・第2の候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L1と表記され、(リストL1の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L1と表記される。POC_L0がPOC_L1に等しい場合およびmv_L0がmv_L1に似ている場合、次いで、第2の候補は、第2のリストに含まれない。POC_L0がPOC_L1と等しくないかまたはmv_L0がmv_L1に似ていないかのどちらかの場合、第2の候補は、第2のリストに含まれる。
ステップ2.2: 候補が双予測の候補である場合、2つの単予測の候補が生成され、2つの単予測の候補が以下の順序に従って第2のリストに追加される。
・第1の候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L0と表記され、(リストL0の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L0と表記される。
・第2の候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L1と表記され、(リストL1の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L1と表記される。POC_L0がPOC_L1に等しい場合およびmv_L0がmv_L1に似ている場合、次いで、第2の候補は、第2のリストに含まれない。POC_L0がPOC_L1と等しくないかまたはmv_L0がmv_L1に似ていないかのどちらかの場合、第2の候補は、第2のリストに含まれる。
ステップ2.3: 第1のリストの次の候補に進み、指定された量の候補が第2のリストに集められるまでまたは第1のリストのすべての候補が処理されるまでステップ2.1またはステップ2.2を継続する。
第1のマージリストおよび第2のマージリストが、現在のブロックのインター予測プロセスにおいて使用されてもよい。
例においては、三角予測(または下位ブロック予測)が現在のブロックに適用される場合、第2のリストの2つの候補が、三角予測(または下位ブロック予測)を実行するために選択され、1つの候補が、第1の三角形の部分の予測プロセスにおいて使用され、もう1つの候補が、第2の三角形の部分の予測において使用される。
別の例においては、現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズである場合、第2のリストの1つの動き情報候補が、現在のブロックのインター予測を実行するために選択される。この例においては、現在のブロックのサイズが小さいとき、現在のブロックに関して双予測が許されない。
別の例においては、マージモードが現在のブロックに適用され、三角予測モードが現在のブロックに適用されない場合、第1のリストの1つの候補が、現在のブロックの予測を実行するために選択され、この例は、ITU-T H.265またはVVCにおいて開示されている関連するプロセスと同じである。
例においては、POC_L0がPOC_L1に等しい場合およびmv_L0がmv_L1と同一である場合、ステップ2.2の第2の候補が、第2のリストに追加されない。
別の例においては、L0部分の参照ピクチャインデックスがL1部分の参照ピクチャインデックスと同じである場合およびmv_L0がmv_L1と同一である(または代替的に似ている)場合、ステップ2.2の第2の候補が、第2のリストに追加されない。
例において、2つの動きベクトルの類似性は、以下の不等式によって決定されてもよい。
-K< (MV1.x - MV2.x) < Kおよび-K< (MV1.y - MV2.y) < K
式中、MV1.xは、第1の動きベクトルのx成分を表し(MV2.xの意味はMV1.xと同様である)、MV1.y(MV2.yの意味はMV1.yと同様である)は、y成分を表し、Kは、正の数である。この例においては、両方の不等式が当てはまる場合、動きベクトルMV1は、動きベクトルMV2に似ているとみなされる。
-K< (MV1.x - MV2.x) < Kおよび-K< (MV1.y - MV2.y) < K
式中、MV1.xは、第1の動きベクトルのx成分を表し(MV2.xの意味はMV1.xと同様である)、MV1.y(MV2.yの意味はMV1.yと同様である)は、y成分を表し、Kは、正の数である。この例においては、両方の不等式が当てはまる場合、動きベクトルMV1は、動きベクトルMV2に似ているとみなされる。
別の例において、類似性は、以下の等式に基づいて決定されてもよい。
(MV1.x >> N) - (MV2.x >>N) == Kおよび(MV1.x >> N) - (MV2.x >>N) == K
(MV1.x >> N) - (MV2.x >>N) == Kおよび(MV1.x >> N) - (MV2.x >>N) == K
式中、x>>yは、xの2の補数による整数の表現の、2進数のy桁分の算術右シフトを意味する。この関数は、yの非負の整数値に対してのみ定義される。右シフトの結果として最上位ビット(MSB)にシフトされるビットは、シフト演算の前のxのMSBに等しい値を有する。「==」は、演算子の両側が同一であるときに真である有理演算(rational operation)である。この例においては、両方の等式が当てはまる場合、動きベクトルMV1は、動きベクトルMV2に似ているとみなされる。
例においては、第1の動き候補リストが、マージリストである。
三角(または下位ブロック)予測のための候補リストがマージモードの候補リストから導出されるので、実現可能な実装において、候補リストは独立したリストでなくてもよいことが留意される。第2の候補リストの候補は、マージモードの候補リストの候補を指すインジケータによって表されてもよい。
実施形態2の1つの可能な実装の流れ図が、図8に示される。実施形態1との違いは、ステップ811にある。ステップ811において、双予測される候補のL1部分が、L0部分と比較される(L0部分の動きベクトルが、L1部分の動きベクトルと比較され、L0部分の参照ピクチャのPOCが、L1部分の参照ピクチャのPOCと比較される)。類似性の測定基準に従ってL0部分がL1部分に似ている場合、次いで、L1部分に基づいて生成される単予測の候補は、第2の動き候補リストに挿入されない。
ステップ2.2において、(第1の動き候補リストの双予測の候補のL1部分に基づいて生成される単予測の候補である)第2の候補が(第1の動き候補リストの双予測の候補のL0部分に基づいて生成される単予測の候補である)第1の候補と十分に異なる場合にのみ、第2の候補が、第2の動き候補リストに追加される。
L1部分がL0部分と似ている(または同一である)ときL1部分は第2のリストに挿入されないので、圧縮効率が高められる。
図8において、ステップ2.2は、807、811、および808によって示される。まず807によって、双予測の動き候補のL1部分が、第2のリストに挿入される。次いで、811によって、第2のリストの(インデックス値last_entryによって示される)最後のエントリが、第2のリストの(インデックス値last_entry - 1によって示される)前のエントリと比較される。808によって、最後のエントリのPOC値が前のエントリのPOC値と同じであり、最後のエントリの動きベクトルが前のエントリの動きベクトルと同一である場合、最後のエントリは、第2のリストから削除される。807と、811と、808との組み合わせは、本開示の実施形態のステップ2.2に対応することが留意される。
本開示の実施形態(実施形態3)においては、マージリストを構築するための以下のステップに従う。
ステップ1: 単予測または双予測を伴う動き情報候補を含む動き候補リスト(第1のリスト)を構築する。
第1のリストは、ITU-T H.265およびVVCの方法に従って構築され得、HEVCおよびVVCのマージリスト構築プロセスについての上の例および開示を参照されたい。
ステップ2: 第1のリストが、以下のように更新される。
第1のリストのすべてのエントリに関して、
・候補が双予測の候補であるか否かを調べる。候補が双予測の候補である場合、L0部分に属する動きベクトルは、mv_L0と表記され、参照インデックスは、ref_idx_L0と表記され、(リストL0の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L0と表記される。L1部分に属する動きベクトルは、mv_L1と表記され、参照インデックスは、ref_idx_L1と表記され、(リストL1の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L1と表記される。
・POC_L0がPOC_L1に等しい場合およびmv_L0がmv_L1に似ている(または実施形態の別の例においては同一である)場合、候補は単予測の候補として更新され、動きベクトルはMV_L0に設定され、参照ピクチャリストはL0に設定され、参照インデックスはref_idx_L0に設定される。
第1のリストのすべてのエントリに関して、
・候補が双予測の候補であるか否かを調べる。候補が双予測の候補である場合、L0部分に属する動きベクトルは、mv_L0と表記され、参照インデックスは、ref_idx_L0と表記され、(リストL0の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L0と表記される。L1部分に属する動きベクトルは、mv_L1と表記され、参照インデックスは、ref_idx_L1と表記され、(リストL1の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L1と表記される。
・POC_L0がPOC_L1に等しい場合およびmv_L0がmv_L1に似ている(または実施形態の別の例においては同一である)場合、候補は単予測の候補として更新され、動きベクトルはMV_L0に設定され、参照ピクチャリストはL0に設定され、参照インデックスはref_idx_L0に設定される。
ステップ3: 以下のようにして第1のリストの候補を使用して第2のリストを構築する。
ステップ3.1: 更新された第1のリストの第1の候補から開始する。
ステップ3.2: 候補が単予測の候補である場合、候補(動き情報候補)を第2のリストに加える。
または、
ステップ3.3: 候補が双予測の候補である場合、2つの単予測の候補が生成され、2つの単予測の候補が以下の順序に従って第2のリストに追加される。
・第1の候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。
・第2の候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。
ステップ3.3: 候補が双予測の候補である場合、2つの単予測の候補が生成され、2つの単予測の候補が以下の順序に従って第2のリストに追加される。
・第1の候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。
・第2の候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。
ステップ3.4: 第1のリストの次の候補に進み、指定された量の候補が第2のリストに集められるまでまたは第1のリストのすべての候補が処理されるまでステップ3.2またはステップ3.3を継続する。
例においては、三角予測が現在のブロックに適用される場合、第2のリストの2つの候補が、三角予測を実行するために選択され、1つの候補が、第1の三角形の部分の予測プロセスにおいて使用され、もう1つの候補が、第2の三角形の部分の予測において使用される。
別の例においては、現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズである場合、第2のリストの1つの動き情報候補が、現在のブロックのインター予測を実行するために選択される。この例においては、現在のブロックのサイズが小さいとき、現在のブロックに関して双予測が許されない。
別の例においては、マージモードが現在のブロックに適用され、三角予測モードが現在のブロックに適用されない(あるいは現在のブロックのブロックサイズが閾値を超えている(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるかもしくはパラメータセット内でシグナリングされる最も小さなサイズではない)場合、第1のリストの候補が、現在のブロックの予測を実行するために選択される。
本開示の実施形態(実施形態4)においては、マージリストを構築するための以下のステップに従う。
ステップ1: 単予測または双予測を伴う動き情報候補を含む動き候補リスト(第1のリスト)を構築する。
第1のリストは、ITU-T H.265およびVVCの方法に従って構築され得、HEVCおよびVVCのマージリスト構築プロセスについての上の例および開示を参照されたい。
ステップ2: 以下のようにして第1のリストの候補を使用して第2のリストを構築する。
ステップ2.1: 第1のリストの第1の動き情報候補から開始する。
ステップ2.2: 候補が単予測の候補である場合、候補(動き情報候補)を第2のリストに加える。
ステップ2.3: 第1のリストの次の候補に進み、指定された量の候補が第2のリストに集められるまでまたは第1のリストのすべての候補が処理されるまでステップ2.2を継続する。
ステップ2.4: 第1のリストの第1の候補から開始する。
ステップ2.5: 候補が双予測の候補である場合、2つの単予測の候補が生成され、以下の順序に従って第2のリストに追加される。
・第1の動き情報候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。第1の候補を第2のリストに追加する。
・第2の動き情報候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。第2のリストが一杯でない場合、第2の候補を第2のリストに追加する。
・第1の動き情報候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。第1の候補を第2のリストに追加する。
・第2の動き情報候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。第2のリストが一杯でない場合、第2の候補を第2のリストに追加する。
ステップ2.6: 第1のリストの次の候補に進み、指定された量の候補が第2のリストに集められるまでまたは第1のリストのすべての候補が処理されるまでステップ2.5を継続する。
第1のマージリストおよび第2のマージリストが、現在のブロックのインター予測プロセスにおいて使用されてもよい。
三角(または下位ブロック)予測のための候補リストがマージモードの候補リストから導出されるので、実現可能な実装において、候補リストは独立したリストでなくてもよいことが留意される。第2の候補リストの候補は、マージモードの候補リストの候補を指すインジケータによって表されてもよい。
例においては、三角予測が現在のブロックに適用される場合、第2のリストの2つの候補が、三角予測を実行するために選択され、1つの候補が、第1の三角形の部分の予測プロセスにおいて使用され、もう1つの候補が、第2の三角形の部分の予測において使用される。
別の例においては、現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズである場合、第2のリストの1つの候補が、現在のブロックのインター予測を実行するために選択される。この例においては、現在のブロックのサイズが小さいとき、現在のブロックに関して双予測が許されない。
別の例においては、マージモードが現在のブロックに適用され、三角予測モードが現在のブロックに適用されない場合、第1のリストの1つの候補が、現在のブロックの予測を実行するために選択され、この例は、ITU-T H.265またはVVCにおいて開示されている関連するプロセスと同じである。
本開示の実施形態(実施形態5)においては、第2のリスト(動き候補リスト)のサイズが、第1のリストのサイズ以下である。
たとえば、第2のリストのサイズは、MがN以下であると判定される場合、Mに等しいように設定され、Nは、第1のリストのサイズ(動き候補の数)である。そうでない場合(MがNよりも大きいと判定される場合)、第2のリストのサイズは、Nに等しいように設定される。
別の例において、Nは、ビットストリームにコーディングされるインジケータから導出されることが可能であり、Mは、予め定義された数であることが可能である。MおよびNは、正の整数であることが可能であり、たとえば、Mは、5に等しくてもよく、Nは、6に等しくてもよい。
この実施形態の例は、以下の通りである。(第2のリストの最大サイズを示す)値Mは、5であってもよく、これは、予め決定される。また、N(第1のリストのサイズ)の値は、シーケンスパラメータセット(SPS)内でシグナリングされてもよい。Nの値が6としてシグナリングされる場合、第1のリストのサイズが第2のリストのサイズよりも大きいので、第2のリストのサイズは、5に等しいように設定される。別のシナリオにおいては、NがSPS内で3であるとシグナリングされる場合、次いで、第2のリストのサイズも、3に等しいように設定される。
別の例において、Nは、ビットストリーム内にコーディングされるインジケータから導出され得、Mは、やはりビットストリーム内にコーディングされるインジケータから導出されうる。この例において、Mの値を導出するために使用されるインジケータは、Nよりも大きいMの値を示し得ない。
別の例では、ITU-T H.265において、マージリスト(第1のリスト)のサイズが、Nであり、Nは、ビットストリームにコーディングされるシンタックス要素に基づいて修正されうる。Nの値は、正の整数であり得(たとえば、正の整数の値は2から5までの間であり)、正の整数の値は、SPS内でシグナリングされる。マージリストのサイズは、ビデオシーケンス全体に対して固定である。
実施形態5によれば、第2のリストのサイズが、第1のリストのサイズ以下である。いくつかの例において、第2のリストのサイズも、誤り耐性を目的として固定である。上述の実施形態1から4によれば、第2のリストが、第1のリストに基づいて構築される。第2のリストのサイズは、第1のリストのサイズ以下である。第1のリストの候補のすべてが単予測の候補である場合、この場合、第2のリストに挿入されうる動き候補の最大数は、第1のリストの候補の数に等しい。したがって、第2のリストのサイズが第1のリスト以下であるように設定される場合、第2のリストは、常に完全に満たされることが保証される。
別の実施形態(実施形態6)によれば、第2のリストのサイズが、現在のブロックのサイズに基づいて決定される。現在のブロックのサイズが閾値よりも小さい場合、第2のリストのサイズは、Kに等しいように設定され、現在のブロックのサイズが閾値以上である場合、第2のリストのサイズは、Lに等しいように設定される。ブロックのサイズは、その幅および高さ(たとえば、幅かける高さ)に基づいて決定されうる。KおよびLは、K<Lである正の整数である。
たとえば、ブロックの幅かける高さが128以上である場合、第2のリストのサイズは、5に等しいように設定されうる。ブロックの幅かける高さが128未満である場合、第2のリストのサイズは、3に等しいように設定されうる。
別の例においては、ブロックの幅が8以下であるかまたはブロックの高さが8以下である場合、第2のリストのサイズは、3に等しいように設定される。ブロックの幅と高さとの両方が8を超えている場合、次いで、第2のリストのサイズは、5に等しいように設定される。
本開示の実施形態(実施形態7)においては、マージリストを構築するための以下のステップに従う。
ステップ1: 単予測または双予測を伴う動き情報候補を含む動き候補リスト(第1のリスト)を構築する。
第1のリストは、ITU-T H.265およびVVCの方法に従って構築され得、H.265およびVVCのマージリスト構築プロセスについての上の例および開示を参照されたい。
ステップ2: 以下のようにして第1のリストの候補を使用して第2のリストを構築する。
ステップ2.1: 第1のリストの第1の候補から開始する。
ステップ2.2: 動き情報候補が単予測の候補である場合、候補(動き情報候補)を第2のリストに加える。
または、
ステップ2.3: 動き情報候補が双予測の候補である場合、1つの単予測の候補が、以下のように双予測の候補に基づいて生成され、第2のリストに追加される。
・生成された単予測の動き情報候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む(候補は、第2のリストに挿入する前に単予測の候補として設定される)。
ステップ2.3: 動き情報候補が双予測の候補である場合、1つの単予測の候補が、以下のように双予測の候補に基づいて生成され、第2のリストに追加される。
・生成された単予測の動き情報候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む(候補は、第2のリストに挿入する前に単予測の候補として設定される)。
ステップ2.4: 第1のリストの次の候補に進み、指定された量の候補が第2のリストに集められるまでまたは第1のリストのすべての候補が処理されるまでステップ2.2またはステップ2.3を継続する。
第1のマージリストおよび第2のマージリストが、現在のブロックのインター予測プロセスにおいて使用されてもよい。
例においては、三角予測が現在のブロックに適用される場合、第2のリストの2つの候補が、三角予測を実行するために選択され、1つの候補が、第1の三角形の部分の予測プロセスにおいて使用され、もう1つの候補が、第2の三角形の部分の予測において使用される。
別の例においては、現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズである場合、第2のリストの1つの候補が、現在のブロックのインター予測を実行するために選択される。この例においては、現在のブロックのサイズが小さいとき、現在のブロックに関して双予測が許されない。
別の例においては、マージモードが現在のブロックに適用され、三角予測モードが現在のブロックに適用されない場合、第1のリストの1つの候補が、現在のブロックの予測を実行するために選択され、この例は、ITU-T H.265またはVVCにおいて開示されている関連するプロセスと同じである。
例においては、第1の動き候補リストが、マージリストである。
三角(または下位ブロック)予測のための候補リストがマージモードの候補リストから導出されるので、実現可能な実装において、候補リストは独立したリストでなくてもよいことが留意される。第2の候補リストの候補は、マージモードの候補リストの候補を指すインジケータによって表されてもよい。
実施形態7は、動き情報候補リスト(第2のリスト)を構築する方法を開示し、第2のリストは、単予測の候補を含む。
三角予測がブロックに適用されない場合、第1のリストが、ブロックの予測において使用される。例において、第1のリストは、マージモードを適用するように示されるが、三角予測モードを適用するように示されないコーディングブロックのために使用される。
第2のリストは、第1のリストに基づいて構築される。三角予測がブロックに適用される場合、動き情報(または動きベクトル)候補が、第2のリストから選択される。第2のリストは、単予測の候補を含み、候補は、ブロックの第1のおよび第2の三角形の部分に適用されうる。例においては、三角マージモードがブロックに適用される場合、2つのマージインデックスが、ビットストリームにコーディングされる。マージインデックスは、第2のリストのどの候補がブロックの第1のまたは第2の三角形の部分のために使用されるのかを特定する。
別の例においては、現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズである場合、1つのマージインデックスが、第2のリストのどの候補がブロックを予測するために使用されるのかを特定するためにビットストリームにコーディングされる。現在のブロックのブロックサイズが閾値よりも大きい(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるかもしくはパラメータセット内でシグナリングされる最も小さなサイズではない場合、マージインデックスは、第1のリストのどの候補がブロックを予測するために使用されるのかを特定するためにビットストリームにコーディングされる。
実施形態7によれば、第1のリストの動き候補が双予測の候補である場合、候補は、双予測の候補が単予測の候補に変更された後、第2のリストに追加される。双予測の動き候補は、2つの動きベクトルおよび2つの参照ピクチャインデックスを含み、1つのペアが、参照ピクチャリストL0に対応し、もう1つのペアが、参照ピクチャリストL1に対応する。変更された単予測の候補は、参照ピクチャリストL0に対応する参照ピクチャインデックスおよび動きベクトルを含む。実施形態7において、参照ピクチャリストL1に対応する動きデータは、ブロックが三角予測を適用すると決定される場合、第2の単予測の候補を生成するために使用されない。
図10は、実施形態7の流れ図を示す。
本開示の実施形態(実施形態8)においては、マージリストを構築するための以下のステップに従う。
ステップ1: 単予測または双予測を伴う動き情報候補を含む動き候補リスト(第1のリスト)を構築する。
第1のリストは、ITU-T H.265およびVVCの方法に従って構築され得、H.265およびVVCのマージリスト構築プロセスについての上の例および開示を参照されたい。
ステップ2: 以下のようにして第1のリストの候補を使用して第2のリストおよび第3のリストを構築する。
ステップ2.1: 第1のリストの第1の候補から開始する。
ステップ2.2: 候補が単予測の候補である場合、候補(動き情報候補)を第2のリストおよび第3のリストに加える。
または、
ステップ2.3: 候補が双予測の候補である場合、2つの単予測の候補が生成され、以下の順序に従って、1つの単予測の候補が第2のリストに追加され、1つの単予測の候補が第3のリストに追加される。
・第1の動き情報候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む(候補は、第2のリストに挿入する前に単予測の候補として設定される)。
・第2の動き情報候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む(候補は、第3のリストに挿入する前に単予測の候補として設定される)。
ステップ2.3: 候補が双予測の候補である場合、2つの単予測の候補が生成され、以下の順序に従って、1つの単予測の候補が第2のリストに追加され、1つの単予測の候補が第3のリストに追加される。
・第1の動き情報候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む(候補は、第2のリストに挿入する前に単予測の候補として設定される)。
・第2の動き情報候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む(候補は、第3のリストに挿入する前に単予測の候補として設定される)。
ステップ2.4: 第1のリストの次の候補に進み、指定された量の候補が第2のリストおよび第3のリストに集められるまでまたは第1のリストのすべての候補が処理されるまでステップ2.2またはステップ2.3を継続する。
第1のマージリスト、第2のマージリスト、および第3のマージリストが、現在のブロックのインター予測プロセスにおいて使用されてもよい。
例においては、三角予測が現在のブロックに適用される場合、第2のリストの1つの候補および第3のリストの1つの候補が、三角予測を実行するために選択され、1つの候補が、第1の三角形の部分の予測プロセスにおいて使用され、もう1つの候補が、第2の三角形の部分の予測において使用される。
別の例においては、現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズである場合、第2のリストの1つの候補が、現在のブロックのインター予測を実行するために選択される。この例においては、現在のブロックのサイズが小さいとき、現在のブロックに関して双予測が許されない。
別の例においては、マージモードが現在のブロックに適用され、三角予測モードが現在のブロックに適用されない場合、第1のリストの1つの候補が、現在のブロックの予測を実行するために選択され、この例は、ITU-T H.265またはVVCにおいて開示されている関連するプロセスと同じである。
例においては、第1の動き候補リストが、マージリストである。
三角(または下位ブロック)予測のための候補リストがマージモードの候補リストから導出されるので、実現可能な実装において、候補リストは独立したリストでなくてもよいことが留意される。第2の候補リストの候補は、マージモードの候補リストの候補を指すインジケータによって表されてもよい。
実施形態8は、2つの動き情報候補リスト(第2のリストおよび第3のリスト)を構築する方法を開示し、第2のリストおよび第3のリストは、単予測の候補を含む。
三角予測がブロックに適用されない場合、第1のリストが、ブロックの予測において使用される。例において、第1のリストは、マージモードを適用するように示されるが、三角予測モードを適用するように示されないコーディングブロックのために使用される。
第2のリストおよび第3のリストは、第1のリストに基づいて構築される。三角予測がブロックに適用される場合、動き情報(または動きベクトル)候補が、第2のリストおよび第3のリストから選択される。第2のリストおよび第3のリストは、単予測の候補を含み、候補は、ブロックの第1のおよび第2の三角形の部分に適用されうる。例においては、三角マージモードがブロックに適用される場合、2つのマージインデックスが、ビットストリームにコーディングされる。第1のマージインデックスは、第2のリストのどの候補がブロックの第1の三角形の部分のために使用されるのかおよび第3のリストのどの候補がブロックの第2の三角形の部分のために使用されるのかを特定する。
別の例においては、現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズである場合、1つのマージインデックスが、第2のリストのどの候補がブロックを予測するために使用されるのかを特定するためにビットストリームにコーディングされる。現在のブロックのブロックサイズが閾値よりも大きい(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるかもしくはパラメータセット内でシグナリングされる最も小さなサイズではない場合、マージインデックスは、第1のリストのどの候補がブロックを予測するために使用されるのかを特定するためにビットストリームにコーディングされる。
別の例においては、ブロックが三角予測を適用しないと決定される場合、ブロックが第1の動き候補リストを使用するか否かを判断するためにその他の条件が調べられうる。一例においては、ブロックが三角予測を適用しないと決定される場合、ブロックがマージモードを適用するか否かがさらに判定される。マージモードが適用される場合、第1の動き候補リストが、ブロックを予測する際に使用され、マージモードが適用されない場合、現在のブロックを予測するその他の方法(たとえば、イントラ予測)が、適用されてもよい。
実施形態8によれば、第2のおよび第3の動き候補リストが、第1の動き候補リストに基づいて構築される。第2のおよび第3のリストは、単予測の候補のみを含み、したがって、使用不可能な候補(たとえば、双予測の候補)を含まない利点を有してもよい。したがって、どの候補が使用されるのかをシグナリングするためのインジケータが、より少ない数のビットによって表されることが可能であり、それが、圧縮効率を高める。
本開示の実施形態(実施形態9)においては、マージリストを構築するための以下のステップに従う。
ステップ1: 単予測または双予測を伴う動き情報候補を含む動き候補リスト(第1のリスト)を構築する。
第1のリストは、ITU-T H.265およびVVCの方法に従って構築され得、H.265およびVVCのマージリスト構築プロセスについての上の例および開示を参照されたい。
ステップ1.1: 正の整数値Nによってカウンタを初期化する(カウンタの値がNに等しいように設定される)。
ステップ2: 以下のようにして第1のリストの候補を使用して第2のリストを構築する。
ステップ2.1: 第1のリストの第1の候補から開始する。
ステップ2.2: 候補が単予測の候補である場合、候補(動き情報候補)を第2のリストに加える。
または、
ステップ2.3: 候補が双予測の候補である場合、2つの単予測の候補が前記1つの双予測の候補に応じて生成され、2つの単予測の候補が以下の順序に従って第2のリストに追加される。
・第1の候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L0と表記され、(リストL0の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L0と表記される。
・第2の候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L1と表記され、(リストL1の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L1と表記される。
○以下の条件のすべてが満たされる場合、第2の候補が、第2のリストに挿入される。
◆カウンタの値が、0よりも大きい。
◆POC_L0がPOC_L1に等しくないかまたはmv_L0がmv_L1に似ていないかのどちらかである場合。
○カウンタの値がゼロに等しい場合、次いで、第2の候補が、第2のリストに挿入される。
・カウンタの値がゼロよりも大きい場合、カウンタの値が、1減らされる。
ステップ2.3: 候補が双予測の候補である場合、2つの単予測の候補が前記1つの双予測の候補に応じて生成され、2つの単予測の候補が以下の順序に従って第2のリストに追加される。
・第1の候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L0と表記され、(リストL0の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L0と表記される。
・第2の候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L1と表記され、(リストL1の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L1と表記される。
○以下の条件のすべてが満たされる場合、第2の候補が、第2のリストに挿入される。
◆カウンタの値が、0よりも大きい。
◆POC_L0がPOC_L1に等しくないかまたはmv_L0がmv_L1に似ていないかのどちらかである場合。
○カウンタの値がゼロに等しい場合、次いで、第2の候補が、第2のリストに挿入される。
・カウンタの値がゼロよりも大きい場合、カウンタの値が、1減らされる。
ステップ2.4: 第1のリストの次の候補に進み、指定された量(数)の候補が第2のリストに集められるまでまたは第1のリストのすべての候補が処理されるまでステップ2.2またはステップ2.3を継続する。
候補の指定された数は、予め定義された値またはビットストリーム内で示される値でありうる。1つの特定の実装において、指定された数は、5である。この場合、候補は、5つの候補が第2のリストに入れられるまで第2のリストに追加される。
1つの可能な実装において、Nの値は、1に等しい予め定義された数でありうる。
実施形態9によれば、(上のセクションの条件の検査「POC_L0がPOC_L1に等しくないかまたはmv_L0がmv_L1に似ていないかのどちらかである場合」によって与えられる)動きベクトルの比較動作の回数が、最大値Nに制限される。ハードウェアの実装は特定のタイミングの制約を有するので、動きベクトルの比較動作の回数を減らし、制限することは、ハードウェアの実装の処理スループットを改善するのに役立つ。
実施形態9によれば、動きベクトルの比較動作が、第1のリストの第1のN個の双予測の候補のために必要とされる。Nが1に等しいの場合、2つの生成された単予測の候補が第2のリストに挿入される前に、第1のリストの第1の双予測が、動きベクトルの比較動作を必要とする。第1のリストの第1の双予測の候補が2.3のステップによって処理された後、残りの双予測の候補は、動きベクトルの比較動作を必要としない。
代替的に、第2のマージリストは、以下のステップによって構築されてもよい。
ステップ1: 単予測または双予測を伴う動き情報候補を含む動き候補リスト(第1のリスト)を構築する。
第1のリストは、ITU-T H.265およびVVCの方法に従って構築され得、H.265およびVVCのマージリスト構築プロセスについての上の例および開示を参照されたい。
ステップ1.1: 正の整数値Nによってカウンタを初期化する(カウンタの値がNに等しいように設定される)。
ステップ2: 以下のようにして第1のリストの候補を使用して第2のリストを構築する。
ステップ2.1: 第1のリストの第1の候補から開始する。
ステップ2.2: 候補が単予測の候補である場合、候補(動き情報候補)を第2のリストに加える。
または、
ステップ2.3: 候補が双予測の候補である場合、2つの単予測の候補が前記1つの双予測の候補に応じて生成され、2つの単予測の候補が以下の順序に従って第2のリストに追加される。
・第1の候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L0と表記され、(リストL0の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L0と表記される。
・第2の候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L1と表記され、(リストL1の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L1と表記される。
○以下の条件のすべてが満たされる場合、第2の候補が、第2のリストに挿入される。
◆カウンタの値が、0よりも大きい。
◆POC_L0がPOC_L1に等しくないかまたはmv_L0がmv_L1に似ていないかのどちらかである場合。
○カウンタの値がゼロに等しい場合、次いで、第2の候補が、第2のリストに挿入される。
ステップ2.3: 候補が双予測の候補である場合、2つの単予測の候補が前記1つの双予測の候補に応じて生成され、2つの単予測の候補が以下の順序に従って第2のリストに追加される。
・第1の候補がL0参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L0と表記され、(リストL0の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L0と表記される。
・第2の候補がL1参照ピクチャリストに対応する動きベクトルおよび参照ピクチャインデックスを含む。動きベクトルは、mv_L1と表記され、(リストL1の参照ピクチャインデックスに基づいて計算された)参照ピクチャのPOC値は、POC_L1と表記される。
○以下の条件のすべてが満たされる場合、第2の候補が、第2のリストに挿入される。
◆カウンタの値が、0よりも大きい。
◆POC_L0がPOC_L1に等しくないかまたはmv_L0がmv_L1に似ていないかのどちらかである場合。
○カウンタの値がゼロに等しい場合、次いで、第2の候補が、第2のリストに挿入される。
ステップ2.4: カウンタの値がゼロよりも大きい場合、カウンタの値が、1減らされる。
ステップ2.5: 第1のリストの次の候補に進み、指定された量の候補が第2のリストに集められるまでまたは第1のリストのすべての候補が処理されるまでステップ2.2またはステップ2.3を継続する。
候補の指定された数は、予め定義された値またはビットストリーム内で示される値でありうる。1つの特定の実装において、指定された数は、5である。この場合、候補は、5つの候補が第2のリストに入れられるまで第2のリストに追加される。
1つの特定の実装において、Nの値は、1に等しい予め定義された数でありうる。
実施形態9の代替形態によれば、(上のセクションの条件の検査「POC_L0がPOC_L1に等しくないかまたはmv_L0がmv_L1に似ていないかのどちらかである場合」として説明された)動きベクトルの比較動作の回数が、最大値Nに制限される。ハードウェアの実装は特定のタイミングの制約を有するので、動きベクトルの比較動作の回数を減らし、制限することは、ハードウェアの実装の処理スループットを改善するのに役立つ。
実施形態9の代替形態によれば、動きベクトルの比較動作が、第1のリストの第1のN個の候補のために必要とされる。Nが1に等しい場合、第1のリストの第1の双候補は、それが双予測の候補である場合、動きベクトルの比較動作を必要とする。第1のリストの第1の候補が2.3のステップによって処理された後、残りの双予測の候補は、動きベクトルの比較動作を必要としない。
第1の例においては、第1のリストの第1の双予測の候補が(2つの単予測の候補を生成し、第2のリストに挿入することによって)処理された後、カウンタが、1減らされる。第2の例においては、第1のリストの第1の候補が単予測の候補であるのかまたは双予測の候補であるのかにかかわらず、前記候補が処理された後、カウンタが、1減らされる。
第1のマージリストおよび第2のマージリストが、現在のブロックのインター予測プロセスにおいて使用されてもよい。三角(または下位ブロック)予測のための候補リストがマージモードの候補リストから導出されるので、実現可能な実装において、候補リストは独立したリストでなくてもよいことが留意される。第2の候補リストの候補は、マージモードの候補リストの候補を指すインジケータによって表されてもよい。
例においては、三角予測が現在のブロックに適用される場合、第2のリストの2つの候補が、三角予測を実行するために選択され、1つの候補が、第1の三角形の部分の予測プロセスにおいて使用され、もう1つの候補が、第2の三角形の部分の予測において使用される。
別の例においては、現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズである場合、第2のリストの1つの動き情報候補が、現在のブロックのインター予測を実行するために選択される。この例においては、現在のブロックのサイズが小さいとき、現在のブロックに関して双予測が許されない。
別の例においては、マージモードが現在のブロックに適用され、三角予測モードが現在のブロックに適用されない場合、第1のリストの1つの候補が、現在のブロックの予測を実行するために選択され、この例は、ITU-T H.265またはVVCにおいて開示されている関連するプロセスと同じである。
例においては、POC_L0がPOC_L1に等しい場合およびmv_L0がmv_L1と同一である場合、ステップ2.3の第2の候補が、第2のリストに追加されない。
別の例においては、L0部分の参照ピクチャインデックスがL1部分の参照ピクチャインデックスと同じである場合およびmv_L0がmv_L1と同一である(または代替的に似ている)場合、ステップ2.3の第2の候補が、第2のリストに追加されない。
例において、2つの動きベクトルの類似性は、以下の不等式によって決定されてもよい。
-K< (MV1.x - MV2.x) < Kおよび-K< (MV1.y - MV2.y) < K
式中、MV1.xは、第1の動きベクトルのx成分を表し(MV2.xの意味はMV1.xと同様である)、MV1.y(MV2.yの意味はMV1.yと同様である)は、y成分を表し、Kは、正の数である。この例においては、両方の不等式が当てはまる場合、動きベクトルMV1は、動きベクトルMV2に似ているとみなされる。
-K< (MV1.x - MV2.x) < Kおよび-K< (MV1.y - MV2.y) < K
式中、MV1.xは、第1の動きベクトルのx成分を表し(MV2.xの意味はMV1.xと同様である)、MV1.y(MV2.yの意味はMV1.yと同様である)は、y成分を表し、Kは、正の数である。この例においては、両方の不等式が当てはまる場合、動きベクトルMV1は、動きベクトルMV2に似ているとみなされる。
別の例において、類似性は、以下の等式に基づいて決定されてもよい。
(MV1.x >> N) - (MV2.x >>N) == Kおよび(MV1.x >> N) - (MV2.x >>N) == K
(MV1.x >> N) - (MV2.x >>N) == Kおよび(MV1.x >> N) - (MV2.x >>N) == K
式中、x>>yは、xの2の補数による整数の表現の、2進数のy桁分の算術右シフトを意味する。この関数は、yの非負の整数値に対してのみ定義される。右シフトの結果として最上位ビット(MSB)にシフトされるビットは、シフト演算の前のxのMSBに等しい値を有する。「==」は、演算子の両側が同一であるときに真である有理演算である。この例においては、両方の等式が当てはまる場合、動きベクトルMV1は、動きベクトルMV2に似ているとみなされる。
例においては、第1の動き候補リストが、マージリストである。
ステップ2.3において、(第1の動き候補リストの双予測の候補のL1部分に基づいて生成される単予測の候補である)第2の候補が(第1の動き候補リストの双予測の候補のL0部分に基づいて生成される単予測の候補である)第1の候補と十分に異なる場合にのみ、第2の候補が、第2の動き候補リストに追加される。
L1部分がL0部分と似ている(または同一である)ときL1部分は第2のリストに挿入されないので、圧縮効率が高められる。
実施形態9は、動き情報候補リスト(第2のリスト)を構築する方法を開示し、第2のリストは、単予測の候補を含む。
三角予測がブロックに適用されない場合、第1のリストが、ブロックの予測において使用される。例において、第1のリストは、マージモードを適用するように示されるが、三角予測モードを適用するように示されないコーディングブロックのために使用される。
第2のリストは、第1のリストに基づいて構築される。三角予測がブロックに適用される場合、動き情報(または動きベクトル)候補が、第2のリストから選択される。第2のリストは、単予測の候補を含み、候補は、ブロックの第1のおよび第2の三角形の部分に適用されうる。例においては、三角マージモードがブロックに適用される場合、2つのマージインデックスが、ビットストリームにコーディングされる。マージインデックスは、第2のリストのどの候補がブロックの第1のまたは第2の三角形の部分のために使用されるのかを特定する。
別の例においては、現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズである場合、1つのマージインデックスが、第2のリストのどの候補がブロックを予測するために使用されるのかを特定するためにビットストリームにコーディングされる。現在のブロックのブロックサイズが閾値よりも大きい(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるかもしくはパラメータセット内でシグナリングされる最も小さなサイズではない場合、マージインデックスは、第1のリストのどの候補がブロックを予測するために使用されるのかを特定するためにビットストリームにコーディングされる。
別の例においては、ブロックが三角予測を適用しないと決定される場合、ブロックが第1の動き候補リストを使用するか否かを判断するためにその他の条件が調べられうる。一例においては、ブロックが三角予測を適用しないと決定される場合、ブロックがマージモードを適用するか否かがさらに判定される。マージモードが適用される場合、第1の動き候補リストが、ブロックを予測する際に使用され、マージモードが適用されない場合、現在のブロックを予測するその他の方法(たとえば、イントラ予測)が、適用されてもよい。
実施形態9によれば、第2の動き候補リストが、第1の動き候補リストに基づいて構築される。第2のリストは、単予測の候補のみを含み、したがって、使用不可能な候補(たとえば、双予測の候補)を含まない利点を有してもよい。したがって、どの候補が使用されるのかをシグナリングするためのインジケータが、より少ない数のビットによって表されることが可能であり、それが、圧縮効率を高める。
実施形態1～9においては、態様が、用語「第1のリスト」および「第2のリスト」を使用して説明されており、コーディングブロックが三角または下位ブロック予測モードによってコーディングされる場合、第2のリストの動き情報候補が、コーディングブロックを予測するために使用されることが留意される。本開示は、第1のリストを構築するためのルールに対する修正ともみなされうる。第1のリストが単予測の候補を含むのみでなく双予測の候補も含むことが可能であるので、第1のリストは、(すべての選択可能な候補が単予測の候補でなければならないことを要求する)三角予測を使用して予測されるコーディングブロックの予測において使用され得ない。したがって、本開示は、たとえば、ITU-T H.265規格またはVVC規格草案に記載されているリスト構築ルールに対する修正とみなされうる。実際、開示される態様は、単予測の候補および双予測の候補を含む任意の動き情報リストに適用可能であり、本開示の目的は、結果として得られる動き情報候補リストが単予測の候補のみを含むようにしてリスト構築ルールを修正することである。したがって、修正されたリスト構築ルールは、三角(または下位ブロック)予測を使用して予測されるコーディングブロックを予測するために使用されうる動き情報候補を取得するために適用されることが可能である。言い換えると、実施形態1～9は、単予測の候補と双予測の候補との両方を含むマージリストを構築するための1組のルールが与えられたとして、単予測の候補のみを含む動き情報候補リストを取得するために必要なルールの修正を説明する。
例1. マージ候補リストに従ってブロックを処理する方法であって、
現在のブロックの近隣のブロックの動き情報に応じて第1のリストを構築するステップと、
第1のリストに応じて第2のリストを構築するステップと、
現在のブロックの予測情報またはブロックサイズ情報を取得するステップと、
現在のブロックの予測情報またはブロックサイズ情報に従って現在のブロックのインター予測を実行するために第1のリストまたは第2のリストを使用するステップと
を含む、方法。
現在のブロックの近隣のブロックの動き情報に応じて第1のリストを構築するステップと、
第1のリストに応じて第2のリストを構築するステップと、
現在のブロックの予測情報またはブロックサイズ情報を取得するステップと、
現在のブロックの予測情報またはブロックサイズ情報に従って現在のブロックのインター予測を実行するために第1のリストまたは第2のリストを使用するステップと
を含む、方法。
例2. 第2のリストのすべての候補が、単予測の候補である、例1の方法。
例3. 第1のリストに応じて第2のリストを構築するステップが、
第1のリストの1つの双予測の候補に応じて2つの単予測の候補を生成するステップと、
2つの単予測の候補に応じて第2のリストを構築するステップと
を含む、例1または2の方法。
第1のリストの1つの双予測の候補に応じて2つの単予測の候補を生成するステップと、
2つの単予測の候補に応じて第2のリストを構築するステップと
を含む、例1または2の方法。
例4. 第1のリストに応じて第2のリストを構築するステップが、
第1のリストの1つの双予測の候補に応じて1つの単予測の候補を生成するステップと、
1つの単予測の候補に応じて第2のリストを構築するステップと
を含む、例1または2の方法。
第1のリストの1つの双予測の候補に応じて1つの単予測の候補を生成するステップと、
1つの単予測の候補に応じて第2のリストを構築するステップと
を含む、例1または2の方法。
例5. 第1のリストに応じて第2のリストを構築するステップが、
第1のリストの1つの双予測の候補に応じて2つの単予測の候補を生成するステップと、
第1のリストの少なくとも1つの単予測の候補および2つの単予測の候補に応じて第2のリストを構築するステップと
を含む、例1または2の方法。
第1のリストの1つの双予測の候補に応じて2つの単予測の候補を生成するステップと、
第1のリストの少なくとも1つの単予測の候補および2つの単予測の候補に応じて第2のリストを構築するステップと
を含む、例1または2の方法。
例6. 第1のリストに応じて第2のリストを構築するステップが、
第1のリストの1つの双予測の候補に応じて2つの単予測の候補を生成するステップと、
2つの単予測の候補の間の類似性を決定するステップと、
2つの単予測の候補および類似性を決定するステップの結果に応じて第2のリストを構築するステップと
を含む、例1または2の方法。
第1のリストの1つの双予測の候補に応じて2つの単予測の候補を生成するステップと、
2つの単予測の候補の間の類似性を決定するステップと、
2つの単予測の候補および類似性を決定するステップの結果に応じて第2のリストを構築するステップと
を含む、例1または2の方法。
例7. 第1のリストに応じて第2のリストを構築するステップが、
第1のリストの双予測の候補を2つの単予測の候補に分割することによって第1のリストの少なくとも1つの単予測の候補を第2のリストに挿入するステップを含む、例1から6のいずれか1つの方法。
第1のリストの双予測の候補を2つの単予測の候補に分割することによって第1のリストの少なくとも1つの単予測の候補を第2のリストに挿入するステップを含む、例1から6のいずれか1つの方法。
例8. 第1のリストに応じて第2のリストを構築するステップが、
第1のリストの少なくとも1つの単予測の候補の順序に従っておよび第1のリストの双予測の候補を2つの単予測の候補に分割することによって第1のリストの少なくとも1つの単予測の候補を第2のリストに挿入するステップを含む、例1から6のいずれか1つの方法。
第1のリストの少なくとも1つの単予測の候補の順序に従っておよび第1のリストの双予測の候補を2つの単予測の候補に分割することによって第1のリストの少なくとも1つの単予測の候補を第2のリストに挿入するステップを含む、例1から6のいずれか1つの方法。
例9. 方法が、
第1のリストの双予測の候補の2つの構成要素の間の類似性を決定するステップと、
類似性を決定するステップの結果に応じて第1のリストを更新するステップと
をさらに含み、
それに対応して、第1のリストに応じて第2のリストを構築するステップが、
更新された第1のリストに応じて第2のリストを構築するステップを含む、例1から8のいずれか1つの方法。
第1のリストの双予測の候補の2つの構成要素の間の類似性を決定するステップと、
類似性を決定するステップの結果に応じて第1のリストを更新するステップと
をさらに含み、
それに対応して、第1のリストに応じて第2のリストを構築するステップが、
更新された第1のリストに応じて第2のリストを構築するステップを含む、例1から8のいずれか1つの方法。
例10. 第2のリストのサイズが、第1のリストのサイズ以下である、例1から9のいずれか1つの方法。
例11. 第2のリストのサイズが、現在のブロックのブロックサイズに応じて決定される、例1から9のいずれか1つの方法。
例12. 第2のリストのサイズが、現在のブロックの幅の長さまたは高さの長さに応じて決定される、例1から9のいずれか1つの方法。
例13. 現在のブロックの予測情報またはブロックサイズ情報に従ってインター予測を実行するために第1のリストまたは第2のリストを使用するステップが、
三角予測(もしくは下位ブロック予測)が現在のブロックに適用されるとき、現在のブロックを予測するために第2のリストが使用されること、
または、
三角予測(もしくは下位ブロック予測)が現在のブロックに適用されないとき、現在のブロックを予測するために第1のリストが使用されることを含む、例1から12のいずれか1つの方法。
三角予測(もしくは下位ブロック予測)が現在のブロックに適用されるとき、現在のブロックを予測するために第2のリストが使用されること、
または、
三角予測(もしくは下位ブロック予測)が現在のブロックに適用されないとき、現在のブロックを予測するために第1のリストが使用されることを含む、例1から12のいずれか1つの方法。
例14. 現在のブロックの予測情報またはブロックサイズ情報に従ってインター予測を実行するために第1のリストまたは第2のリストを使用するステップが、
現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズであるとき、現在のブロックを予測するために第2のリストが使用されること、
あるいは、
現在のブロックのブロックサイズが閾値よりも大きい(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるかもしくはパラメータセット内でシグナリングされる最も小さなサイズではないとき、現在のブロックを予測するために第1のリストが使用されることを含む、例1から13のいずれか1つの例。
現在のブロックのブロックサイズが閾値以下である(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるもしくはパラメータセット内でシグナリングされる最も小さなサイズであるとき、現在のブロックを予測するために第2のリストが使用されること、
あるいは、
現在のブロックのブロックサイズが閾値よりも大きい(たとえば、閾値は16であってもよい)かまたは現在のブロックのブロックサイズが予め定義されるかもしくはパラメータセット内でシグナリングされる最も小さなサイズではないとき、現在のブロックを予測するために第1のリストが使用されることを含む、例1から13のいずれか1つの例。
例15. 例1から14のいずれか1つに係る方法を実行するための処理回路を含む、エンコーダ(20)。
例16. 例1から14のいずれか1つに係る方法を実行するための処理回路を含む、デコーダ(30)。
例17. 例1から14のいずれか1つに係る方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
例18. デコーダであって、
1つ以上のプロセッサと、
プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、例1から14のいずれか1つに係る方法を実行するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体と
を含む、デコーダ。
1つ以上のプロセッサと、
プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、例1から14のいずれか1つに係る方法を実行するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体と
を含む、デコーダ。
例19. エンコーダであって、
1つ以上のプロセッサと、
プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、例1から14のいずれか1つに係る方法を実行するようにエンコーダを構成する、非一時的コンピュータ可読ストレージ媒体と
を含む、エンコーダ。
1つ以上のプロセッサと、
プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、例1から14のいずれか1つに係る方法を実行するようにエンコーダを構成する、非一時的コンピュータ可読ストレージ媒体と
を含む、エンコーダ。
本開示の実施形態が主にビデオコーディングに基づいて説明されたが、コーディングシステム10、エンコーダ20、およびデコーダ30(およびそれに対応してシステム10)の実施形態、ならびに本明細書において説明されたその他の実施形態はまた、静止ピクチャの処理またはコーディング、つまり、ビデオコーディングと同様のいかなる先行するまたは連続するピクチャからも独立した個々のピクチャの処理またはコーディングのために構成されてもよいことに留意されたい。概して、ピクチャの処理コーディングが単一のピクチャ17に制限される場合、インター予測ユニット244(エンコーダ)および344(デコーダ)のみが、利用可能でなくてもよい。ビデオエンコーダ20およびビデオデコーダ30のすべてのその他の機能(ツールまたはテクノロジーとも呼ばれる)、たとえば、残差計算204/304、変換206、量子化208、逆量子化210/310、(逆)変換212/312、区分け262/362、イントラ予測254/354、および/またはループフィルタ220、320、およびエントロピーコーディング270、およびエントロピー復号304が、静止ピクチャの処理のために等しく使用されてもよい。
以下は、上述の実施形態において示された符号化方法および復号方法の応用ならびにそれらを使用するシステムの説明である。
図16は、コンテンツ配信サービスを実現するためのコンテンツ供給システム3100を示すブロック図である。このコンテンツ供給システム3100は、キャプチャデバイス3102、端末デバイス3106を含み、任意選択でディスプレイ3126を含む。キャプチャデバイス3102は、通信リンク3104を介して端末デバイス3106と通信する。通信リンクは、上述の通信チャネル13を含んでもよい。通信リンク3104は、WIFI、イーサネット、ケーブル、ワイヤレス(3G/4G/5G)、USB、またはこれらの任意の種類の組み合わせなどを含むがこれらに限定されない。
キャプチャデバイス3102は、データを生成し、上の実施形態に示された符号化方法によってデータを符号化してもよい。代替的に、キャプチャデバイス3102は、データをストリーミングサーバ(図示せず)に配信してもよく、サーバが、データを符号化し、符号化されたデータを端末デバイス3106に送信する。キャプチャデバイス3102は、カメラ、スマートフォンもしくはスマートパッド、コンピュータもしくはラップトップ、テレビ会議システム、PDA、車載デバイス、またはこれらのいずれかの組み合わせなどを含むがこれらに限定されない。たとえば、キャプチャデバイス3102は、上述の送信元デバイス12を含んでもよい。データがビデオを含むとき、キャプチャデバイス3102に含まれるビデオエンコーダ20が、ビデオ符号化処理を実際に実行してもよい。データがオーディオ(つまり、声)を含むとき、キャプチャデバイス3102に含まれるオーディオエンコーダが、オーディオ符号化処理を実際に実行してもよい。いくつかの実際のシナリオに関して、キャプチャデバイス3102は、符号化されたビデオおよびオーディオデータを一緒に多重化することによってそれらのデータを配信する。その他の実際のシナリオに関して、たとえば、テレビ会議システムにおいて、符号化されたオーディオデータおよび符号化されたビデオデータは、多重化されない。キャプチャデバイス3102は、符号化されたオーディオデータおよび符号化されたビデオデータを端末デバイス3106に別々に配信する。
コンテンツ供給システム3100において、端末デバイス310は、符号化されたデータを受信し、再生する。端末デバイス3106は、上述の符号化されたデータを復号することができるスマートフォンもしくはスマートパッド3108、コンピュータもしくはラップトップ3110、ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)3112、TV3114、セットトップボックス(STB)3116、テレビ会議システム3118、ビデオ監視システム3120、携帯情報端末(PDA)3122、車載デバイス3124、またはこれらのいずれかの組み合わせなどの、データ受信および復元能力を有するデバイスであることが可能である。たとえば、端末デバイス3106は、上述の送信先デバイス14を含んでもよい。符号化されたデータがビデオを含むとき、端末デバイスに含まれるビデオデコーダ30が、ビデオの復号を実行するために優先される。符号化されたデータがオーディオを含むとき、端末デバイスに含まれるオーディオデコーダが、オーディオ復号処理を実行するために優先される。
ディスプレイを有する端末デバイス、たとえば、スマートフォンもしくはスマートパッド3108、コンピュータもしくはラップトップ3110、ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)3112、TV 3114、携帯情報端末(PDA)、または車載デバイス3124に関して、端末デバイスは、復号されたデータをその端末デバイスのディスプレイに供給することができる。ディスプレイを備えていない端末デバイス、たとえば、STB 3116、テレビ会議システム3118、またはビデオ監視システム3120に関しては、外部ディスプレイ3126に連絡を取り、復号されたデータが受信され示される。
このシステムの各デバイスが符号化または復号を実行するとき、上述の実施形態において示されたピクチャ符号化デバイスまたはピクチャ復号デバイスが、使用されうる。
図17は、端末デバイス3106の例の構造を示す図である。端末デバイス3106がキャプチャデバイス3102からストリームを受信した後、プロトコル進行ユニット3202が、ストリームの送信プロトコルを分析する。プロトコルは、リアルタイムストリーミングプロトコル(RTSP)、ハイパーテキスト転送プロトコル(HTTP)、HTTPライブストリーミングプロトコル(HLS)、MPEG-DASH、リアルタイムトランスポートプロトコル(RTP)、リアルタイムメッセージングプロトコル(RTMP)、またはこれらの任意の種類の組み合わせなどを含むがこれらに限定されない。
プロトコル進行ユニット3202がストリームを処理した後、ストリームファイルが生成される。ファイルは、多重分離ユニット3204に出力される。多重分離ユニット3204は、多重化されたデータを符号化されたオーディオデータおよび符号化されたビデオデータに分離しうる。上述のように、いくつかの実際のシナリオに関して、たとえば、テレビ会議システムにおいて、符号化されたオーディオデータおよび符号化されたビデオデータは、多重化されない。この状況では、符号化されたデータは、多重分離ユニット3204を通さずにビデオデコーダ3206およびオーディオデコーダ3208に送信される。
多重分離処理によって、ビデオエレメンタリストリーム(ES)、オーディオES、および任意選択で字幕が生成される。上述の実施形態において説明されたビデオデコーダ30を含むビデオデコーダ3206は、上述の実施形態において示された復号方法によってビデオESを復号してビデオフレームを生成し、このデータを同期ユニット3212に供給する。オーディオデコーダ3208は、オーディオESを復号してオーディオフレームを生成し、このデータを同期ユニット3212に供給する。代替的に、ビデオフレームは、そのビデオフレームを同期ユニット3212に供給する前に、(図17に示されていない)バッファに記憶されてもよい。同様に、オーディオフレームは、そのオーディオフレームを同期ユニット3212に供給する前に、(図17に示されていない)バッファに記憶されてもよい。
同期ユニット3212は、ビデオフレームとオーディオフレームとを同期し、ビデオ/オーディオをビデオ/オーディオディスプレイ3214に供給する。たとえば、同期ユニット3212は、ビデオ情報およびオーディオ情報の提示を同期する。情報は、コーディングされたオーディオデータおよびビジュアルデータの提示に関するタイムスタンプならびにデータストリームの配信自体に関するタイムスタンプを使用するシンタックスにおいてコーディングしてもよい。
字幕がストリームに含まれる場合、字幕デコーダ3210が、字幕を復号し、その字幕をビデオフレームおよびオーディオフレームと同期し、ビデオ/オーディオ/字幕をビデオ/オーディオ/字幕ディスプレイ3216に供給する。
本発明は、上述のシステムに限定されず、上述の実施形態のピクチャ符号化デバイスかまたはピクチャ復号デバイスかのどちらかが、その他のシステム、たとえば、自動車のシステムに組み込まれうる。
たとえば、エンコーダ20およびデコーダ30、ならびにたとえばエンコーダ20およびデコーダ30に関連して本明細書において説明された機能の実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実装されてもよい。ソフトウェアに実装される場合、機能は、1つ以上の命令またはコードとしてコンピュータ可読媒体上に記憶されるかまたは通信媒体上で送信され、ハードウェアに基づく処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データストレージ媒体などの有形の媒体に対応するコンピュータ可読ストレージ媒体、またはたとえば通信プロトコルによるある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含んでもよい。このようにして、概して、コンピュータ可読媒体は、(1)非一時的である有形のコンピュータ可読ストレージ媒体または(2)信号もしくは搬送波などの通信媒体に対応してもよい。データストレージ媒体は、本開示において説明された技術の実装のための命令、コード、および/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされうる任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
限定ではなく例として、そのようなコンピュータ可読ストレージ媒体は、RAM、ROM、EEPROM、CD-ROMもしくはその他の光ディスクストレージ、磁気ディスクストレージもしくはその他の磁気ストレージデバイス、フラッシュメモリ、または命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされうる任意のその他の媒体を含みうる。また、任意の接続が、適切にコンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、ラジオ波、およびマイクロ波などのワイヤレステクノロジーを用いてウェブサイト、サーバ、またはその他のリモートソースから送信される場合、次いで、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、ラジオ波、およびマイクロ波などのワイヤレステクノロジーは、媒体の定義に含まれる。しかし、コンピュータ可読ストレージ媒体およびデータストレージ媒体は、接続、搬送波、信号、またはその他の一時的媒体を含まず、その代わりに、非一時的な有形のストレージ媒体を対象とすることを理解されたい。本明細書において使用されるとき、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD: compact disc)、レーザディスク(laser disc)、光ディスク(optical disc)、デジタルバーサタイルディスク(DVD: digital versatile disc)、フロッピーディスク(floppy disk)、およびブルーレイディスク(Blu-ray disc)を含み、ディスク(disk)が、通常、磁気的にデータを再生する一方、ディスク(disc)は、レーザを用いて光学的にデータを再生する。上記のものの組み合わせも、コンピュータ可読媒体の範囲に含まれるべきである。
命令は、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、またはその他の等価な集積もしくはディスクリート論理回路などの1つ以上のプロセッサによって実行されてもよい。したがって、用語「プロセッサ」は、本明細書において使用されるとき、上述の構造または本明細書において説明された技術の実装に好適な任意のその他の構造のいずれかを指してもよい。加えて、一部の態様において、本明細書において説明された機能は、符号化および復号のために構成された専用のハードウェアおよび/もしくはソフトウェアモジュール内に提供されるか、または組み合わされたコーデックに組み込まれてもよい。また、技術は、1つ以上の回路または論理要素にすべて実装されうる。
本開示の技術は、ワイヤレスハンドセット、集積回路(IC)、または1組のIC(たとえば、チップセット)を含む多種多様なデバイスまたは装置に実装されてもよい。様々な構成要素、モジュール、またはユニットが、開示された技術を実行するように構成されたデバイスの機能の態様を強調するために本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上述のように、様々なユニットが、コーデックハードウェアユニットにおいて組み合わされるか、または好適なソフトウェアおよび/もしくはファームウェアと連携した、上述の1つもしくは複数のプロセッサを含む相互運用性のあるハードウェアユニットの集合によって提供されてもよい。
10 ビデオコーディングシステム、コーディングシステム
12 送信元デバイス
13 符号化されたピクチャデータ、通信チャネル
14 送信先デバイス
16 ピクチャソース
17 ピクチャ、ピクチャデータ、生ピクチャ、生ピクチャデータ、モノクロピクチャ、カラーピクチャ、現在のピクチャ
18 プリプロセッサ、前処理ユニット、ピクチャプリプロセッサ
19 前処理されたピクチャ、前処理されたピクチャデータ
20 ビデオエンコーダ、エンコーダ
21 符号化されたピクチャデータ、符号化されたビットストリーム
22 通信インターフェース、通信ユニット
28 通信インターフェース、通信ユニット
30 デコーダ、ビデオデコーダ
31 復号されたピクチャデータ、復号されたピクチャ
32 ポストプロセッサ、後処理ユニット
33 後処理されたピクチャデータ、後処理されたピクチャ
34 ディスプレイデバイス
46 処理回路
100 ビデオエンコーダ
201 入力、入力インターフェース
203 ピクチャブロック、元のブロック、現在のブロック、区分けされたブロック、現在のピクチャブロック
204 残差計算ユニット、残差計算
205 残差ブロック、残差
206 変換処理ユニット、変換
207 変換係数
208 量子化ユニット、量子化
209 量子化された係数、量子化された変換係数、量子化された残差係数
210 逆量子化ユニット、逆量子化
211 逆量子化された係数、逆量子化された残差係数
212 逆変換処理ユニット、(逆)変換
213 再構築された残差ブロック、逆量子化された係数、変換ブロック
214 再構築ユニット、加算器、合算器
215 再構築されたブロック
216 バッファ
220 ループフィルタユニット、ループフィルタ
221 フィルタリングされたブロック、フィルタリングされた再構築されたブロック
230 復号ピクチャバッファ(DPB)
231 復号されたピクチャ
244 インター予測ユニット
254 イントラ予測ユニット、インター予測ユニット、イントラ予測
260 モード選択ユニット
262 区分けユニット、区分け
265 予測ブロック、予測子
266 シンタックス要素
270 エントロピー符号化ユニット、エントロピーコーディング
272 出力、出力インターフェース
304 エントロピー復号ユニット、残差計算、エントロピー復号
309 量子化された係数
310 逆量子化ユニット、逆量子化
311 逆量子化された係数、変換係数
312 逆変換処理ユニット、(逆)変換、出力
313 再構築された残差ブロック
314 再構築ユニット、合算器、加算器
315 再構築されたブロック
320 ループフィルタ、ループフィルタユニット、ループフィルタリングユニット
321 フィルタリングされたブロック、復号されたビデオブロック
330 復号ピクチャバッファ(DPB)
331 復号されたピクチャ
344 インター予測ユニット
354 イントラ予測ユニット、イントラ予測
360 モード選択ユニット
362 区分け
365 予測ブロック
400 ビデオコーディングデバイス
410 着信ポート、入力ポート
420 受信機ユニット(Rx)
430 プロセッサ、論理ユニット、中央演算処理装置(CPU)
440 送信機ユニット(Tx)
450 発信ポート、出力ポート
460 メモリ
470 コーディングモジュール
500 装置
502 プロセッサ
504 メモリ
506 データ
508 オペレーティングシステム
510 アプリケーションプログラム
512 バス
514 二次ストレージ
518 ディスプレイ
3100 コンテンツ供給システム
3102 キャプチャデバイス
3104 通信リンク
3106 端末デバイス
3108 スマートフォン、スマートパッド
3110 コンピュータ、ラップトップ
3112 ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)
3114 TV
3116 セットトップボックス(STB)
3118 テレビ会議システム
3120 ビデオ監視システム
3122 携帯情報端末(PDA)
3124 車載デバイス
3126 ディスプレイ
3202 プロトコル進行ユニット
3204 多重分離ユニット
3206 ビデオデコーダ
3208 オーディオデコーダ
3210 字幕デコーダ
3212 同期ユニット
3214 ビデオ/オーディオディスプレイ
3216 ビデオ/オーディオ/字幕ディスプレイ
12 送信元デバイス
13 符号化されたピクチャデータ、通信チャネル
14 送信先デバイス
16 ピクチャソース
17 ピクチャ、ピクチャデータ、生ピクチャ、生ピクチャデータ、モノクロピクチャ、カラーピクチャ、現在のピクチャ
18 プリプロセッサ、前処理ユニット、ピクチャプリプロセッサ
19 前処理されたピクチャ、前処理されたピクチャデータ
20 ビデオエンコーダ、エンコーダ
21 符号化されたピクチャデータ、符号化されたビットストリーム
22 通信インターフェース、通信ユニット
28 通信インターフェース、通信ユニット
30 デコーダ、ビデオデコーダ
31 復号されたピクチャデータ、復号されたピクチャ
32 ポストプロセッサ、後処理ユニット
33 後処理されたピクチャデータ、後処理されたピクチャ
34 ディスプレイデバイス
46 処理回路
100 ビデオエンコーダ
201 入力、入力インターフェース
203 ピクチャブロック、元のブロック、現在のブロック、区分けされたブロック、現在のピクチャブロック
204 残差計算ユニット、残差計算
205 残差ブロック、残差
206 変換処理ユニット、変換
207 変換係数
208 量子化ユニット、量子化
209 量子化された係数、量子化された変換係数、量子化された残差係数
210 逆量子化ユニット、逆量子化
211 逆量子化された係数、逆量子化された残差係数
212 逆変換処理ユニット、(逆)変換
213 再構築された残差ブロック、逆量子化された係数、変換ブロック
214 再構築ユニット、加算器、合算器
215 再構築されたブロック
216 バッファ
220 ループフィルタユニット、ループフィルタ
221 フィルタリングされたブロック、フィルタリングされた再構築されたブロック
230 復号ピクチャバッファ(DPB)
231 復号されたピクチャ
244 インター予測ユニット
254 イントラ予測ユニット、インター予測ユニット、イントラ予測
260 モード選択ユニット
262 区分けユニット、区分け
265 予測ブロック、予測子
266 シンタックス要素
270 エントロピー符号化ユニット、エントロピーコーディング
272 出力、出力インターフェース
304 エントロピー復号ユニット、残差計算、エントロピー復号
309 量子化された係数
310 逆量子化ユニット、逆量子化
311 逆量子化された係数、変換係数
312 逆変換処理ユニット、(逆)変換、出力
313 再構築された残差ブロック
314 再構築ユニット、合算器、加算器
315 再構築されたブロック
320 ループフィルタ、ループフィルタユニット、ループフィルタリングユニット
321 フィルタリングされたブロック、復号されたビデオブロック
330 復号ピクチャバッファ(DPB)
331 復号されたピクチャ
344 インター予測ユニット
354 イントラ予測ユニット、イントラ予測
360 モード選択ユニット
362 区分け
365 予測ブロック
400 ビデオコーディングデバイス
410 着信ポート、入力ポート
420 受信機ユニット(Rx)
430 プロセッサ、論理ユニット、中央演算処理装置(CPU)
440 送信機ユニット(Tx)
450 発信ポート、出力ポート
460 メモリ
470 コーディングモジュール
500 装置
502 プロセッサ
504 メモリ
506 データ
508 オペレーティングシステム
510 アプリケーションプログラム
512 バス
514 二次ストレージ
518 ディスプレイ
3100 コンテンツ供給システム
3102 キャプチャデバイス
3104 通信リンク
3106 端末デバイス
3108 スマートフォン、スマートパッド
3110 コンピュータ、ラップトップ
3112 ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)
3114 TV
3116 セットトップボックス(STB)
3118 テレビ会議システム
3120 ビデオ監視システム
3122 携帯情報端末(PDA)
3124 車載デバイス
3126 ディスプレイ
3202 プロトコル進行ユニット
3204 多重分離ユニット
3206 ビデオデコーダ
3208 オーディオデコーダ
3210 字幕デコーダ
3212 同期ユニット
3214 ビデオ/オーディオディスプレイ
3216 ビデオ/オーディオ/字幕ディスプレイ
Claims (13)
- マージ候補リストに従ってブロックを処理する方法であって、
現在のブロックの近隣のブロックの動き情報に応じて第1のリストを構築するステップと、
前記現在のブロックの予測情報を取得するステップと、
前記現在のブロックの前記予測情報が、下位ブロック予測が前記現在のブロックに適用されることを示すとき、
前記第1のリストに従って前記現在のブロックに関する単予測の候補を取得するステップと、
前記現在のブロックのインター予測を実行するために前記現在のブロックに関する前記単予測の候補を使用するステップと
を含む、方法。 - 前記現在のブロックが、2つの下位ブロックを含み、各下位ブロックが、単予測の候補に対応する、請求項1に記載の方法。
- 1つの単予測の候補が、前記第1のリストの1つの双予測の候補に応じて生成される、請求項1または2に記載の方法。
- 2つの単予測の候補が、前記第1のリストの1つの双予測の候補に応じて生成される、請求項1または2に記載の方法。
- 1つの単予測の候補が、前記双予測の候補の第1の部分である、請求項3または4に記載の方法。
- 1つの単予測の候補が、前記双予測の候補の第2の部分である、請求項3または4に記載の方法。
- 前記下位ブロック予測が、三角予測である、請求項1から6のいずれか一項に記載の方法。
- 前記第1のリストの前記1つの双予測の候補に応じた前記2つの単予測の候補の生成が、
前記2つの単予測の候補の間の類似性を決定することを含む、請求項4に記載の方法。 - 前記単予測の候補が、前記第1のリストの双予測の候補に応じて、前記第1のリスト内の前記候補の順序に基づいて生成される、請求項1から8のいずれか一項に記載の方法。
- 請求項1から9のいずれか一項に記載の方法を実行するための処理回路を含む、エンコーダ(20)。
- 請求項1から9のいずれか一項に記載の方法を実行するための処理回路を含む、デコーダ(30)。
- 請求項1から9のいずれか一項に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
- デコーダであって、
1つ以上のプロセッサと、
前記プロセッサに結合され、前記プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、前記プログラミングが、前記プロセッサによって実行されるときに、請求項1から9のいずれか一項に記載の方法を実行するように前記デコーダを構成する、非一時的コンピュータ可読ストレージ媒体と
を含む、デコーダ。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862770142P | 2018-11-20 | 2018-11-20 | |
| US62/770,142 | 2018-11-20 | ||
| US201962788487P | 2019-01-04 | 2019-01-04 | |
| US62/788,487 | 2019-01-04 | ||
| PCT/RU2019/050221 WO2020106189A1 (en) | 2018-11-20 | 2019-11-20 | An encoder, a decoder and corresponding methods for merge mode |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024040503A Division JP2024083360A (ja) | 2018-11-20 | 2024-03-14 | マージモードのためのエンコーダ、デコーダ、および対応する方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022504383A true JP2022504383A (ja) | 2022-01-13 |
| JP7457010B2 JP7457010B2 (ja) | 2024-03-27 |
Family
ID=70773942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021518874A Active JP7457010B2 (ja) | 2018-11-20 | 2019-11-20 | マージモードのためのエンコーダ、デコーダ、および対応する方法 |
Country Status (16)
| Country | Link |
|---|---|
| US (2) | US11909959B2 (ja) |
| EP (1) | EP3864846B1 (ja) |
| JP (1) | JP7457010B2 (ja) |
| KR (1) | KR102622148B1 (ja) |
| CN (6) | CN116389766A (ja) |
| AU (2) | AU2019383290B2 (ja) |
| BR (1) | BR112021008016A2 (ja) |
| CA (1) | CA3112373A1 (ja) |
| ES (1) | ES2972326T3 (ja) |
| HU (1) | HUE064819T2 (ja) |
| IL (1) | IL283310A (ja) |
| MX (1) | MX2021005032A (ja) |
| PL (1) | PL3864846T3 (ja) |
| PT (1) | PT3864846T (ja) |
| SG (1) | SG11202102020UA (ja) |
| WO (1) | WO2020106189A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113196758A (zh) * | 2018-12-18 | 2021-07-30 | 韩国电子通信研究院 | 图像编码/解码方法和设备以及存储比特流的记录介质 |
| CN113852815B (zh) * | 2018-12-25 | 2022-12-27 | 北京达佳互联信息技术有限公司 | 利用三角形形状预测单元的视频编码方法、设备及介质 |
| CN116634172A (zh) * | 2019-01-02 | 2023-08-22 | 北京大学 | 候选mv列表构建方法和装置 |
| US11528504B2 (en) * | 2019-07-11 | 2022-12-13 | Qualcomm Incorporated | Motion vector prediction with motion information collecting buffer |
| CN115699735A (zh) * | 2020-05-29 | 2023-02-03 | 北京达佳互联信息技术有限公司 | 使用几何分区的视频编解码方法及装置 |
| CN115699736A (zh) * | 2020-06-03 | 2023-02-03 | 北京达佳互联信息技术有限公司 | 具有运动矢量细化的几何分区模式 |
| EP4356607A1 (en) * | 2021-06-14 | 2024-04-24 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices for geometric partition mode with motion vector refinement |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018522466A (ja) * | 2015-06-09 | 2018-08-09 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ビデオコーディングのための照明補償ステータスを決定するシステムおよび方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101014660B1 (ko) * | 2003-10-24 | 2011-02-16 | 삼성전자주식회사 | 인트라 예측 방법 및 장치 |
| US9648334B2 (en) * | 2011-03-21 | 2017-05-09 | Qualcomm Incorporated | Bi-predictive merge mode based on uni-predictive neighbors in video coding |
| CN108174203B (zh) * | 2012-01-18 | 2021-12-21 | Jvc 建伍株式会社 | 动图像解码装置以及动图像解码方法 |
| US9451277B2 (en) | 2012-02-08 | 2016-09-20 | Qualcomm Incorporated | Restriction of prediction units in B slices to uni-directional inter prediction |
| US9554150B2 (en) * | 2013-09-20 | 2017-01-24 | Qualcomm Incorporated | Combined bi-predictive merging candidates for 3D video coding |
| SG11201703454XA (en) * | 2014-11-18 | 2017-06-29 | Mediatek Inc | Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate |
| BR112017011890A2 (pt) * | 2014-12-09 | 2018-07-03 | Mediatek Inc | método de derivação de preditor de vetor de movimento ou de candidato a fusão em codificação de vídeo |
| US10721489B2 (en) * | 2016-09-06 | 2020-07-21 | Qualcomm Incorporated | Geometry-based priority for the construction of candidate lists |
| TW202025760A (zh) * | 2018-09-12 | 2020-07-01 | 大陸商北京字節跳動網絡技術有限公司 | 要檢查多少個hmvp候選 |
| WO2020098713A1 (en) * | 2018-11-13 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Motion candidate list construction for prediction |
| WO2020098695A1 (en) | 2018-11-13 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Construction method for a single type motion candidate list |
| WO2020125752A1 (en) * | 2018-12-21 | 2020-06-25 | Mediatek Inc. | Method and apparatus of simplified triangle merge mode candidate list derivation |
-
2019
- 2019-11-20 BR BR112021008016-3A patent/BR112021008016A2/pt unknown
- 2019-11-20 MX MX2021005032A patent/MX2021005032A/es unknown
- 2019-11-20 CN CN202310367132.7A patent/CN116389766A/zh active Pending
- 2019-11-20 CN CN202310390348.5A patent/CN116582681A/zh active Pending
- 2019-11-20 CN CN202310398395.4A patent/CN116800980A/zh active Pending
- 2019-11-20 SG SG11202102020UA patent/SG11202102020UA/en unknown
- 2019-11-20 PT PT198880437T patent/PT3864846T/pt unknown
- 2019-11-20 PL PL19888043.7T patent/PL3864846T3/pl unknown
- 2019-11-20 JP JP2021518874A patent/JP7457010B2/ja active Active
- 2019-11-20 HU HUE19888043A patent/HUE064819T2/hu unknown
- 2019-11-20 CN CN202310390288.7A patent/CN116405696A/zh active Pending
- 2019-11-20 CA CA3112373A patent/CA3112373A1/en active Pending
- 2019-11-20 WO PCT/RU2019/050221 patent/WO2020106189A1/en active Application Filing
- 2019-11-20 CN CN201980058695.XA patent/CN112673633B/zh active Active
- 2019-11-20 EP EP19888043.7A patent/EP3864846B1/en active Active
- 2019-11-20 CN CN202310367148.8A patent/CN116389767A/zh active Pending
- 2019-11-20 AU AU2019383290A patent/AU2019383290B2/en active Active
- 2019-11-20 ES ES19888043T patent/ES2972326T3/es active Active
- 2019-11-20 KR KR1020217008881A patent/KR102622148B1/ko active IP Right Grant
-
2021
- 2021-05-19 IL IL283310A patent/IL283310A/en unknown
- 2021-05-19 US US17/324,401 patent/US11909959B2/en active Active
-
2023
- 2023-09-27 AU AU2023237109A patent/AU2023237109A1/en active Pending
- 2023-12-29 US US18/400,754 patent/US20240137499A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018522466A (ja) * | 2015-06-09 | 2018-08-09 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ビデオコーディングのための照明補償ステータスを決定するシステムおよび方法 |
Non-Patent Citations (1)
| Title |
|---|
| RU-LING LIAO, ET AL.: "CE10.3.1.b: Triangular prediction unit mode", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-L0124-v2, JPN6022027935, 5 October 2018 (2018-10-05), ISSN: 0004987284 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112673633A (zh) | 2021-04-16 |
| US20210274168A1 (en) | 2021-09-02 |
| CN116582681A (zh) | 2023-08-11 |
| IL283310A (en) | 2021-07-29 |
| CN112673633B (zh) | 2023-04-04 |
| EP3864846A1 (en) | 2021-08-18 |
| AU2019383290A1 (en) | 2021-04-01 |
| CN116405696A (zh) | 2023-07-07 |
| WO2020106189A1 (en) | 2020-05-28 |
| MX2021005032A (es) | 2021-06-15 |
| CN116389767A (zh) | 2023-07-04 |
| SG11202102020UA (en) | 2021-03-30 |
| PL3864846T3 (pl) | 2024-04-08 |
| EP3864846B1 (en) | 2024-01-03 |
| KR102622148B1 (ko) | 2024-01-05 |
| BR112021008016A2 (pt) | 2021-08-03 |
| US20240137499A1 (en) | 2024-04-25 |
| HUE064819T2 (hu) | 2024-04-28 |
| AU2023237109A1 (en) | 2023-10-26 |
| CN116389766A (zh) | 2023-07-04 |
| ES2972326T3 (es) | 2024-06-12 |
| CN116800980A (zh) | 2023-09-22 |
| CA3112373A1 (en) | 2020-05-28 |
| KR20210046758A (ko) | 2021-04-28 |
| EP3864846A4 (en) | 2021-12-15 |
| PT3864846T (pt) | 2024-03-06 |
| AU2019383290B2 (en) | 2023-07-06 |
| JP7457010B2 (ja) | 2024-03-27 |
| US11909959B2 (en) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3115867C (en) | Inter prediction method and apparatus | |
| JP7106744B2 (ja) | ルーマおよびクロマ成分についてｉｂｃ専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法 | |
| JP7457010B2 (ja) | マージモードのためのエンコーダ、デコーダ、および対応する方法 | |
| JP7225375B2 (ja) | パレット符号化を使用するエンコード装置、デコード装置および対応する方法 | |
| KR20210141712A (ko) | Ibc 병합 리스트를 사용하는 인코더, 디코더 및 대응 방법들 | |
| US11876997B2 (en) | Encoder, decoder and corresponding methods of most probable mode list construction for blocks with multi-hypothesis prediction | |
| KR20210009351A (ko) | 서브 블록 파티셔닝 모드를 위한 인코더, 디코더 및 대응 방법 | |
| JP2022511850A (ja) | エンコーダ、デコーダ、及びデブロッキングフィルタの境界強度導出の対応する方法 | |
| JP2022527924A (ja) | イントラ平滑化のための方法および装置 | |
| JP2022522570A (ja) | Ｉｂｃマージリストを使用するエンコーダ、デコーダ、及び対応する方法 | |
| JP2022551313A (ja) | ピクチャヘッダのシグナリングを簡略化するためのエンコーダ、デコーダ及び対応する方法 | |
| JP2023169226A (ja) | 現在のブロックについての補間フィルタインデックスを導出するための方法および装置 | |
| JP2023126744A (ja) | 幾何学的区分けモードのためのサンプルの距離の計算 | |
| JP2023100701A (ja) | イントラ予測のためのイントラモードコーディングを使用するエンコーダ、デコーダ、および対応する方法 | |
| JP7414976B2 (ja) | エンコーダ、デコーダ、および、対応する方法 | |
| RU2811983C2 (ru) | Кодер, декодер и соответствующие способы для режима субблочного разделения | |
| JP2024083360A (ja) | マージモードのためのエンコーダ、デコーダ、および対応する方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210519 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240314 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7457010 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |