JP2023139037A - 量子化残差差分パルス符号変調符号化を使用したイントラ符号化映像 - Google Patents
量子化残差差分パルス符号変調符号化を使用したイントラ符号化映像 Download PDFInfo
- Publication number
- JP2023139037A JP2023139037A JP2023111065A JP2023111065A JP2023139037A JP 2023139037 A JP2023139037 A JP 2023139037A JP 2023111065 A JP2023111065 A JP 2023111065A JP 2023111065 A JP2023111065 A JP 2023111065A JP 2023139037 A JP2023139037 A JP 2023139037A
- Authority
- JP
- Japan
- Prior art keywords
- mode
- intra
- block
- video block
- current video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 196
- 238000003672 processing method Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims description 87
- 238000012545 processing Methods 0.000 claims description 61
- 239000013598 vector Substances 0.000 claims description 61
- 238000013139 quantization Methods 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 21
- 238000013507 mapping Methods 0.000 description 15
- 238000009795 derivation Methods 0.000 description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 241000023320 Luma <angiosperm> Species 0.000 description 11
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 230000011664 signaling Effects 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- GPAAEXYTRXIWHR-UHFFFAOYSA-N (1-methylpiperidin-1-ium-1-yl)methanesulfonate Chemical compound [O-]S(=O)(=O)C[N+]1(C)CCCCC1 GPAAEXYTRXIWHR-UHFFFAOYSA-N 0.000 description 1
- FZEIVUHEODGHML-UHFFFAOYSA-N 2-phenyl-3,6-dimethylmorpholine Chemical compound O1C(C)CNC(C)C1C1=CC=CC=C1 FZEIVUHEODGHML-UHFFFAOYSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M3/00—Conversion of analogue values to or from differential modulation
- H03M3/04—Differential modulation with several bits, e.g. differential pulse code modulation [DPCM]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】映像または画像に二次変換を使用する映像符号化及び復号方法を提供する。
【解決手段】映像処理の方法1100は、差分符号化モードを用いて現在の映像ブロックに関連付けられて記憶されるべき第1のイントラ符号化モードを判定することによって、映像の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換を実行する1102ことを含む。現在の映像ブロックに関連付けられた第1のイントラ符号化モードは、差分符号化モードによって使用される第2の予測モードに従って判定され、差分符号化モードにおいて、現在の映像ブロックのイントラ予測の量子化残差と、量子化残差の予測との差分を、差分パルス符号化変調(DPCM)表現を使用して、現在の映像ブロックのためにビットストリーム表現で表現する。
【選択図】図11
【解決手段】映像処理の方法1100は、差分符号化モードを用いて現在の映像ブロックに関連付けられて記憶されるべき第1のイントラ符号化モードを判定することによって、映像の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換を実行する1102ことを含む。現在の映像ブロックに関連付けられた第1のイントラ符号化モードは、差分符号化モードによって使用される第2の予測モードに従って判定され、差分符号化モードにおいて、現在の映像ブロックのイントラ予測の量子化残差と、量子化残差の予測との差分を、差分パルス符号化変調(DPCM)表現を使用して、現在の映像ブロックのためにビットストリーム表現で表現する。
【選択図】図11
Description
関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2019年5月1日出願の国際特許出願第PCT/CN2019/085398号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2019年5月1日出願の国際特許出願第PCT/CN2019/085398号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
この特許文献は、映像符号化技術、デバイスおよびシステムに関する。
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
本明細書は、映像または画像の復号化または符号化中に二次変換を使用する様々な実施形態および技術を説明する。
一つの例示的な態様において、映像処理方法は、映像の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換を、差分符号化モードを用いて前記現在の映像ブロックに関連付けられて記憶されるべき第1のイントラ符号化モードを判定することにより実行することを含み、前記現在の映像ブロックに関連付けられた前記第1のイントラ符号化モードは、前記差分符号化モードによって使用される第2の予測モードに従って判定され、前記差分符号化モードにおいて、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分は、差分パルス符号化変調(DPCM)表現を使用して、前記現在の映像ブロックのために前記ビットストリーム表現で表現される。
別の例示的な態様において、映像処理方法は、映像の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換中に差分符号化モードによって使用されるイントラ符号化モードを、規則に従って、判定することと、前記判定することに基づいて、差分符号化モードを用いて現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換を実行することと、を含み、前記差分符号化モードにおいて、現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分は、差分パルス符号化変調(DPCM)表現を使用して、現在の映像ブロックのためにビットストリーム表現で表現され、前記量子化残差の予測が前記イントラ符号化モードに従って実行される。
別の例示的な態様において、映像復号化方法が開示される。この方法は、差分符号化モードを使用し、且つ共存規則に基づいてイントラ予測モードを選択的に使用して、現在の映像ブロックと前記現在の映像ブロックの前記ビットストリーム表現との変換を行うことを含み、前記イントラ予測モードは、前記現在の映像ブロックのサンプルに対する予測を生成するために使用され、前記差分符号化モードを使用して、差分パルス符号化変調表現を使って前記画素の前記予測から量子化残差を表現する。
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、差分パルス符号化変調表現を使用して前記現在の映像ブロックの画素の予測からの量子化残差ブロックを表す差分符号化モードを使用して、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、差分パルス符号化変調表現を使用して表現され、前記予測の第1の方向または前記差分符号化モードの第2の方向は、前記ビットストリーム表現から推測可能である。
さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、適用規則に基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換に差分符号化モードが適用可能であることを判定することと、前記差分符号化モードを使用して現在の映像ブロックとビットストリーム表現との変換を実行することとを含む。前記差分符号化モードにおいて、前記現在の映像ブロックの画素のイントラ予測からの量子化残差ブロックは、水平方向または垂直方向とは異なる残差予測方向に行われる差分パルス符号化変調表現を使用して表現される。
さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、差分符号化モードが現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換に適用可能であることを判定することと、前記差分符号化モードの実装規則を使用して現在の映像ブロックとビットストリーム表現との間での前記変換を行うことと、を含み、前記差分符号化モードにおいて、前記現在の映像ブロックの画素のイントラ予測からの量子化残差ブロックは、水平方向または垂直方向とは異なる残差予測方向に行われる差分パルス符号化変調表現を使用して表現される。
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換中に使用される差分符号化モードが、前記現在の映像ブロックに関連付けられたイントラ符号化モードと同じであることを判定することと、前記差分符号化モードの実装規則を使用して現在の映像ブロックとビットストリーム表現との変換を実行することと、を含む。
さらに別の例示的な態様において、映像処理装置が開示される。この装置は、上述した方法を行うように構成された処理装置を備える。
さらに別の例示的な態様において、コンピュータ可読媒体が開示される。この媒体には、上述した方法を処理装置で行うためのコードが記憶されている。
これらの、および他の態様は、本明細書で説明される。
本明細書では、理解を容易にするために章の見出しを使用しており、1つの章に開示された実施形態をその章にのみ限定するものではない。さらに、特定の実施形態は、VVC(Versatile Video Coding)または他の特定の映像コーデックを参照して説明されたが、開示された技術は、他の映像符号化技術にも適用可能である。さらに、いくつかの実施形態は映像符号化ステップを詳細に説明しているが、符号化を復号化する、対応するステップはデコーダによって実行されることが理解されよう。さらに、映像処理という用語は、映像符号化または圧縮、映像の復号化または展開、および映像の画素がある圧縮形式から別の圧縮形式へ、または別の圧縮ビットレートで表現される映像のコード変換を含む。
1.概要
本明細書は、映像符号化技術に関する。具体的には、映像符号化におけるDPCM符号化に関する。HEVCのような既存の映像符号化規格に適用してもよいし、規格(Versatile Video Coding)を確定させるために適用してもよい。本発明は、将来の映像符号化規格または映像コーデックにも適用可能である。
2.初期の協議
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC[1]規格を共同で作った。H.262以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Mode)[3,4]と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間にJoint Video Expert Team(JVET)が発足し、HEVCと比較して50%のビットレート削減を目標にVVC規格の策定に取り組んでいる。
VVCドラフトの最新バージョン、即ち、Versatile Video Coding(ドラフト4)は、以下を参照することができる。
phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5755VTMと呼ばれるVVCの最新の参照ソフトウェアは、以下で確認することができる。
vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-4.0
phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5755VTMと呼ばれるVVCの最新の参照ソフトウェアは、以下で確認することができる。
vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-4.0
2.1 イントラブロックコピー
イントラブロックコピー(IBC)、別名、現在のピクチャの参照は、HEVCスクリーンコンテンツ符号化拡張機能(HEVC-SCC)[1]と現在のVVCテストモデル(VTM-4.0)に採用されている。IBCは、動き補償の概念をインターフレーム符号化からイントラフレーム符号化に拡張する。図1に示すように、現在のブロックは、IBCが適用される場合、同じピクチャ内の1つの参照ブロックによって予測される。現在のブロックを符号化または復号化する前に、参照ブロックにおけるサンプルは既に再構成されていなければならない。IBCは、カメラでキャプチャされたほとんどのシーケンスに対してそれほど効率的ではないが、スクリーンコンテンツに対しては、有意な符号化利得を示す。その理由は、スクリーンコンテンツピクチャにおいて、アイコン、文字等の繰り返しパターンが多いためである。IBCは、これらの繰り返しパターン間の冗長性を有効に除去することができる。HEVC-SCCにおいて、インター符号化ユニット(CU)は、現在のピクチャをその参照ピクチャとして選択する場合、IBCを適用することができる。この場合、MVをブロックベクトル(BV)と改称し、BVは常に整数画素精度を有する。メインプロファイルHEVCに適合するように、現在のピクチャは、復号化ピクチャバッファ(DPB)における「長期」参照ピクチャとしてマークされる。なお、同様に、複数のビュー/3D映像符号化規格において、ビュー間の参照ピクチャも「長期」参照ピクチャとしてマークされる。
BVがその参照ブロックを見つけた後、この参照ブロックをコピーすることで予測を生成することができる。残差は、元の信号から参照画素を減算することによって得ることができる。そして、他の符号化モードと同様に、変換および量子化を適用することができる。
図1は、イントラブロックコピーの説明図である。
しかしながら、参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、或いは何らかの制約によって制限された有効領域の外にある場合、画素値の一部または全部は規定されない。基本的に、このような問題に対処するために2つの解決策がある。1つは、このような状況、例えばビットストリーム適合性を許可しないことである。もう1つは、これらの未定義の画素値にパディングを適用することである。以下のサブセッションでは、解決策を詳細に説明する。
2.2 HEVCスクリーンコンテンツ符号化拡張機能におけるIBC
HEVCのスクリーンコンテンツ符号化拡張機能において、1つのブロックが現在のピクチャを参照として使用する場合、以下の仕様のテキストに示すように、参照ブロック全体が利用可能な再構成された領域内にあることを保証すべきである。
変数offsetXおよびoffsetYは、以下のように導出される。
offsetX=(ChromaArrayType==0)?0:(mvCLX[0]&0x7?2:0) (8-106)
offsetY=(ChromaArrayType==0)?0:(mvCLX[1]&0x7?2:0) (8-107)
offsetX=(ChromaArrayType==0)?0:(mvCLX[0]&0x7?2:0) (8-106)
offsetY=(ChromaArrayType==0)?0:(mvCLX[1]&0x7?2:0) (8-107)
参照ピクチャが現在のピクチャである場合、輝度動きベクトルmvLXは、以下の制約に従うべきであることが、ビットストリーム適合性の要件である。
-6.4.1項で規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCb,yCb)と等しく設定された(xCurr,yCurr)と、(xPb+(mvLX[0]>>2)-offsetX,yPb+(mvLX[1]>>2)-offsetY)に等しく設定された近傍の輝度位置(xNbY,yNbY)と、が入力として呼び出されると、出力はTRUEとなる。
-6.4.1項で規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCb.yCb)と等しく設定された(xCurr,yCurr)、(xPb+(mvLX[0]>>2)+nPbW-1+offsetX,yPb+(mvLX[1]>>2)+nPbH-1+offsetY)に等しく設定された近傍の輝度位置(xNbY,yNbY)を入力として呼び出されると、出力はTRUEとなる。
-以下の条件の一方または両方がTRUEであること。
-(mvLX[0]>>2)+nPbW+xB1+offsetXの値が0以下である。
-(mvLX[1]>>2)の値+nPbH+yB1+offsetYが0以下である。
-以下の条件がTRUEとなること。
(xPb+(mvLX[0]>>2)+nPbSw-1+offsetX)/CtbSizeY-xCurr/CtbSizeY<=yCurr/CtbSizeY-(yPb+(mvLX[1]>>2)+nPbSh-1+offsetY)/CtbSizeY (8-108)
-6.4.1項で規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCb,yCb)と等しく設定された(xCurr,yCurr)と、(xPb+(mvLX[0]>>2)-offsetX,yPb+(mvLX[1]>>2)-offsetY)に等しく設定された近傍の輝度位置(xNbY,yNbY)と、が入力として呼び出されると、出力はTRUEとなる。
-6.4.1項で規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCb.yCb)と等しく設定された(xCurr,yCurr)、(xPb+(mvLX[0]>>2)+nPbW-1+offsetX,yPb+(mvLX[1]>>2)+nPbH-1+offsetY)に等しく設定された近傍の輝度位置(xNbY,yNbY)を入力として呼び出されると、出力はTRUEとなる。
-以下の条件の一方または両方がTRUEであること。
-(mvLX[0]>>2)+nPbW+xB1+offsetXの値が0以下である。
-(mvLX[1]>>2)の値+nPbH+yB1+offsetYが0以下である。
-以下の条件がTRUEとなること。
(xPb+(mvLX[0]>>2)+nPbSw-1+offsetX)/CtbSizeY-xCurr/CtbSizeY<=yCurr/CtbSizeY-(yPb+(mvLX[1]>>2)+nPbSh-1+offsetY)/CtbSizeY (8-108)
このように、参照ブロックが現在のブロックと重複するケース、または参照ブロックがピクチャの外にあるケースは発生しない。参照ブロックまたは予測ブロックを埋める必要がない。
2.3. VVC試験モデルにおけるIBC
現在のVVC試験モデル、すなわち、VTM-4.0設計において、参照ブロック全体は現在の符号化ツリーユニット(CTU)を有するべきであり、現在のブロックと重複しない。よって、参照または予測ブロックをパディングする必要がない。IBCフラグは、現在のCUの予測モードとして符号化される。このように、各CUに対して、MODE_INTRA、MODE_INTER、およびMODE_IBCという全部で3つの予測モードが存在する。
2.3.1 IBCマージモード
IBCマージモードにおいて、IBCマージ候補リストにおけるエントリを指すインデックスをビットストリームから構文解析する。このIBCマージリストの構築は、以下のステップのシーケンスに従ってまとめることができる。
●ステップ1:空間的候補の導出
●ステップ2:HMVP候補の挿入
●ステップ3:対の平均候補の挿入
●ステップ1:空間的候補の導出
●ステップ2:HMVP候補の挿入
●ステップ3:対の平均候補の挿入
空間的マージ候補の導出において、図12に示す位置にある候補の中から、最大4つのマージ候補を選択する。導出の順序はA1、B1、B0、A0及びB2である。位置A1、B1、B0、A0のいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはIBCモードで符号化されていない場合にのみ、位置B2が考慮される。位置A1の候補を加えた後、残りの候補を挿入すると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。代わりに、図13において矢印でリンクされた対のみを考慮し、冗長性チェックに使用される対応する候補が同じ動き情報を有していない場合にのみ、その候補をリストに加える。
空間的候補を挿入した後、IBCマージリストサイズが依然として最大IBCマージリストサイズより小さい場合、HMVPテーブルからのIBC候補を挿入することができる。HMVP候補の挿入にあたり、冗長性チェックを行う。
最後に、対の平均候補をIBCマージリストに挿入する。
マージ候補によって特定される参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、或いは何らかの制約によって制限された有効領域の外にある場合、マージ候補は無効なマージ候補と呼ばれる。
なお、IBCマージリストに無効なマージ候補を挿入してもよい。
2.3.2 IBC AMVPモード
IBC AMVPモードでは、IBC AMVPリストにおけるエントリを指すAMVPインデックスが、ビットストリームから構文解析される。このIBC AMVPリストの構築は、以下のステップのシーケンスに従ってまとめることができる。
●ステップ1:空間的候補の導出
○利用可能な候補が見つかるまで、A0,A1をチェックする。
○利用可能な候補が見つかるまで、B0、B1、B2をチェックする。
●ステップ2:HMVP候補の挿入
●ステップ3:ゼロ候補の挿入
●ステップ1:空間的候補の導出
○利用可能な候補が見つかるまで、A0,A1をチェックする。
○利用可能な候補が見つかるまで、B0、B1、B2をチェックする。
●ステップ2:HMVP候補の挿入
●ステップ3:ゼロ候補の挿入
空間的候補を挿入した後、IBC AMVPリストサイズが依然として最大IBC AMVPリストサイズより小さい場合、HMVPテーブルからのIBC候補を挿入することができる。
最後に、IBC AMVPリストにゼロ候補を挿入する。
2.4 パレットモード
パレットモードの背景にある基本的な考えは、CUにおけるサンプルを代表的な色値の小さな集合で表現することである。この集合をパレットと呼ぶ。また、エスケープシンボルの後に(場合によっては量子化された)成分値を信号通知することによって、パレットの外側にあるサンプルを示すこともできる。これを図2に示す。
2.5 HEVCスクリーンコンテンツ符号化拡張機能におけるパレットモード(HEVC-SCC)
HEVC-SCCにおけるパレットモードでは、パレットおよびインデックスマップを符号化するために予測方式が用いられる。
2.5.1 パレットエントリの符号化
パレットエントリを符号化するために、パレット予測子が維持される。SPSにおいて、パレットの最大サイズおよびパレット予測子が信号通知される。HEVC-SCCにおいて、palette_predictor_initializer_present_flagがPPSに導入される。このフラグが1である場合、ビットストリームにおいて、パレット予測子を初期化するためのエントリが信号通知される。パレット予測子は、各CTU行、各スライス、および各タイルの始めに初期化される。palette_predictor_initializer_present_flagの値によって、palette_predictorを0にリセットするか、またはPPSに信号通知されたパレット予測子の初期化エントリを使用してパレット予測子を初期化する。HEVC-SCCでは、PPSレベルでパレット予測子の初期化を明確に無効にするために、サイズ0のパレット予測子初期化子を有効化した。
パレット予測子におけるエントリごとに、それが現在のパレットの一部であるかどうかを示すように、再利用フラグが信号通知される。これを図3に示す。再利用フラグは、ゼロのランレングス符号化を使用して送信される。この後、新しいパレットエントリの数は、次数0の指数ゴロムコードを使用して信号通知される。最後に、新しいパレットエントリのための成分値が信号通知される。
2.5.2 パレットインデックスの符号化
パレットインデックスは、図4に示すように、水平方向および垂直方向の横断走査を使用して符号化される。palette_transpose_flagを使用して、ビットストリームにおける走査順序を明確に信号通知する。以下のサブセクションでは、走査が水平であると仮定する。
パレットインデックスは、2つのメインパレットサンプルモードである「INDEX」および「COPY_ABOVE」を使用して符号化される。前述のように、エスケープシンボルも「INDEX」モードとして信号通知され、最大パレットサイズに等しいインデックスが割り当てられる。このモードは、最上行を除くフラグを使用して、または前回のモードが「COPY_ABOVE」であった場合に、信号通知される。「COPY_ABOVE」モードでは、上の行のサンプルのパレットインデックスが、コピーされる。「INDEX」モードにおいて、パレットインデックスが、明確に信号通知される。「INDEX」モードと「COPY_ABOVE」モードの両方の場合、同じモードを使用して符号化される後続のサンプルの数を規定する実行値が、信号通知される。エスケープシンボルが「INDEX」または「COPY_ABOVE」モードにおける実行の一部である場合、エスケープシンボルごとにエスケープ成分値が、信号通知される。パレットインデックスの符号化を図5に示す。
この構文順序は、以下のようにして実行される。まず、CUのためのインデックス値の数が信号通知される。これに続いて、トランケーテッドバイナリ符号化(truncated binary coding)を使用して、CU全体の実際のインデックス値を信号通知する。バイパスモードでは、インデックスの数およびインデックス値の両方が符号化される。これにより、インデックス関連バイパスビンがグループ化される。次に、パレットサンプルモード(必要な場合)および実行は、インターリーブ方式で信号通知される。最後に、CU全体のためのエスケープサンプルに対応する成分エスケープ値をグループ化し、バイパスモードで符号化する。
インデックス値を信号通知した後、追加の構文要素last_run_type_flagを信号通知する。この構文要素は、インデックスの数と連動して、ブロックにおける最後の実行に対応する実行値を信号通知する必要をなくす。
HEVC-SCCでは、パレットモードは、4:2:2、4:2:0、およびモノクロのクロマフォーマットに対しても有効になる。パレットエントリおよびパレットインデックスの信号通知は、すべてのクロマフォーマットに対してほぼ同じである。非モノクロフォーマットの場合、各パレットエントリは、3つの成分からなる。モノクロフォーマットの場合、各パレットエントリは単一の成分からなる。サブサンプリングされたクロマ方向の場合、クロマサンプルは、2で割り切れる輝度サンプル指数に関連付けられる。CUのパレットインデックスを再構成した後、1つのサンプルに単一の成分しか関連付けられていない場合、パレットエントリの第1の成分のみが使用される。信号通知における唯一の違いは、エスケープ成分値である。エスケープサンプルごとに、信号通知されるエスケープ成分値の数は、そのサンプルに関連付けられた成分の数によって異なってもよい。
2.6 変換スキップモードにおける係数符号化
JVET-M0464号及びJVET-N0280号において、残差符号化を変換スキップレベルの統計及び信号特性に適応させるために、TS(Transform Skip)モードにおける係数符号化についていくつかの改良が提案されている。
提案された変形例を以下に示す。
前回の有意な走査位置なし:
残差信号は予測後の空間残差を反映しており、TSに対して変換によるエネルギー圧縮は行われないので、変換ブロックの右下隅の末尾にゼロ又は有意でないレベルがより高い確率で後続することはもはやなくなる。従って、この場合、最後の重要な走査位置信号送信は省略される。その代わりに、処理される第1のサブブロックは、変換ブロック内の最も右下のサブブロックである。
残差信号は予測後の空間残差を反映しており、TSに対して変換によるエネルギー圧縮は行われないので、変換ブロックの右下隅の末尾にゼロ又は有意でないレベルがより高い確率で後続することはもはやなくなる。従って、この場合、最後の重要な走査位置信号送信は省略される。その代わりに、処理される第1のサブブロックは、変換ブロック内の最も右下のサブブロックである。
サブブロックCBF:
最後の重要な走査位置信号がない場合、TSのcoded_sub_block_flagを有するサブブロックCBF信号は、次のように変更されることが必要である。
●量子化のために、前述の有意でないシーケンスは、依然として変換ブロック内でローカルに発生し得る。従って、前に説明したように、最後の重要な走査位置が除去され、全てのサブブロックに対してcoded_sub_block_flagが符号化される。
●DC周波数位置をカバーするサブブロック(左上のサブブロック)のcoded_sub_block_flagは、特殊な場合を提示する。VVC草案3において、このサブブロックのcoded_sub_block_flagは決して信号通知されず、常に1に等しいと推測される。最後の有意な走査位置が別のサブブロックに位置する場合、それは、DCサブブロックの外側に少なくとも1つの有意なレベルがあることを意味する。その結果、DCサブブロックは、このサブブロックのcoded_subblock_flagが1に等しいと推測されるが、ゼロ/非有意レベルのみを含んでもよい。TSに最後の走査位置情報がない場合、各サブブロックのcoded_sub_block_flagが通知される。これは、他のcoded_sub_block_flag構文要素が既に0に等しい場合を除き、DCサブブロックのcoded_sub_block_flagをも含む。この場合、DC coded_sub_block_flagは1に等しいと推測される(inferDcSbCbf=1)。このDCサブブロックには少なくとも1つの有意なレベルがなければならないので、このDCサブブロックにおける他のすべてのsig_coeff_flag構文要素が0に等しい場合、(0,0)における第1の位置のsig_coeff_flag構文要素は信号通知されず、1に等しくなるように導出される(inferSbDcSigCoefflag=1)。
●coded_sub_block_flagのコンテクストモデリングを変更する。コンテクストモデルインデックスは、両方の論理和ではなく、左に対するcoded_sub_block_flagと現在のサブブロックの上方のcoded_sub_block_flagとの合計として計算される。
最後の重要な走査位置信号がない場合、TSのcoded_sub_block_flagを有するサブブロックCBF信号は、次のように変更されることが必要である。
●量子化のために、前述の有意でないシーケンスは、依然として変換ブロック内でローカルに発生し得る。従って、前に説明したように、最後の重要な走査位置が除去され、全てのサブブロックに対してcoded_sub_block_flagが符号化される。
●DC周波数位置をカバーするサブブロック(左上のサブブロック)のcoded_sub_block_flagは、特殊な場合を提示する。VVC草案3において、このサブブロックのcoded_sub_block_flagは決して信号通知されず、常に1に等しいと推測される。最後の有意な走査位置が別のサブブロックに位置する場合、それは、DCサブブロックの外側に少なくとも1つの有意なレベルがあることを意味する。その結果、DCサブブロックは、このサブブロックのcoded_subblock_flagが1に等しいと推測されるが、ゼロ/非有意レベルのみを含んでもよい。TSに最後の走査位置情報がない場合、各サブブロックのcoded_sub_block_flagが通知される。これは、他のcoded_sub_block_flag構文要素が既に0に等しい場合を除き、DCサブブロックのcoded_sub_block_flagをも含む。この場合、DC coded_sub_block_flagは1に等しいと推測される(inferDcSbCbf=1)。このDCサブブロックには少なくとも1つの有意なレベルがなければならないので、このDCサブブロックにおける他のすべてのsig_coeff_flag構文要素が0に等しい場合、(0,0)における第1の位置のsig_coeff_flag構文要素は信号通知されず、1に等しくなるように導出される(inferSbDcSigCoefflag=1)。
●coded_sub_block_flagのコンテクストモデリングを変更する。コンテクストモデルインデックスは、両方の論理和ではなく、左に対するcoded_sub_block_flagと現在のサブブロックの上方のcoded_sub_block_flagとの合計として計算される。
sig_coeff_flagコンテクストモデリング:
sig_coeff_flagコンテクストモデルにおけるローカルテンプレートは、現在地の走査位置の左側(NB0)及び上側(NB1)の近傍のみを含むように修正される。コンテクストモデルオフセットは、重要な近傍位置sig_coeff_flag[NB0]+sig_coeff_flag[NB1]の個数に過ぎない。そこで、今回の変換区間における対角dに応じて異なるコンテクスト集合を選択することを排除する。その結果、sig_coeff_flagを符号化するための3つのコンテクストモデル及び1つのコンテクストモデル集合が得られる。
sig_coeff_flagコンテクストモデルにおけるローカルテンプレートは、現在地の走査位置の左側(NB0)及び上側(NB1)の近傍のみを含むように修正される。コンテクストモデルオフセットは、重要な近傍位置sig_coeff_flag[NB0]+sig_coeff_flag[NB1]の個数に過ぎない。そこで、今回の変換区間における対角dに応じて異なるコンテクスト集合を選択することを排除する。その結果、sig_coeff_flagを符号化するための3つのコンテクストモデル及び1つのコンテクストモデル集合が得られる。
abs_level_gt1_flag及びpar_level_flag context modelling:
abs_level_gt1_flag及びpar_level_flagには1つのコンテクストモデルを用いる。
abs_level_gt1_flag及びpar_level_flagには1つのコンテクストモデルを用いる。
abs_remainder符号化:
変換スキップ残差絶対レベルの経験的分布は、典型的には、依然としてラプラシアン又は幾何学的分布に適応するが、変換係数絶対レベルよりも大きい不安定性が存在する。具体的には、残留絶対値レベルの場合、連続して実現する窓内の分散が高くなる。これは、abs_remainderシンタックスの二値化及びコンテクストモデリングを以下のように修正する動機となる。
●2値化においてより高いカットオフ値、即ち、sig_coeff_flag、abs_level_gt1_flag、par_level_flag、及びabs_level_gt3を用いた符号化からabs_remainderのRice符号への移行点と、各ビンの位置に専用のコンテクストモデルを用いることで、より高い圧縮効率が得られる。カットオフを大きくすると、より多くの「Xより大きい」フラグがもたらされ、例えば、カットオフに達するまで、abs_level_gt5_flag、abs_level_gt7_flag等を導入していく。カットオフ自体は5に固定される(numGtFlags=5)。
●ライスパラメータ導出のためのテンプレートを修正し、すなわち、現在の走査位置の左側の近傍及び上側の近傍のみを、sig_coeff_flagコンテクストモデリングのためのローカルテンプレートに類似していると見なす。
変換スキップ残差絶対レベルの経験的分布は、典型的には、依然としてラプラシアン又は幾何学的分布に適応するが、変換係数絶対レベルよりも大きい不安定性が存在する。具体的には、残留絶対値レベルの場合、連続して実現する窓内の分散が高くなる。これは、abs_remainderシンタックスの二値化及びコンテクストモデリングを以下のように修正する動機となる。
●2値化においてより高いカットオフ値、即ち、sig_coeff_flag、abs_level_gt1_flag、par_level_flag、及びabs_level_gt3を用いた符号化からabs_remainderのRice符号への移行点と、各ビンの位置に専用のコンテクストモデルを用いることで、より高い圧縮効率が得られる。カットオフを大きくすると、より多くの「Xより大きい」フラグがもたらされ、例えば、カットオフに達するまで、abs_level_gt5_flag、abs_level_gt7_flag等を導入していく。カットオフ自体は5に固定される(numGtFlags=5)。
●ライスパラメータ導出のためのテンプレートを修正し、すなわち、現在の走査位置の左側の近傍及び上側の近傍のみを、sig_coeff_flagコンテクストモデリングのためのローカルテンプレートに類似していると見なす。
coeff_sign_flagコンテクストモデリング:
符号のシーケンス内の不安定性及び予測残差がしばしば偏っていることに起因して、全体的な経験的分布がほぼ均一に分布している場合であっても、符号はコンテクストモデルを使用して符号化され得る。符号の符号化には1つの専用コンテクストモデルが使用され、符号はsig_coeff_flagの後に構文解析されて、すべてのコンテクスト符号化ビンが一緒にまとめられる。
符号のシーケンス内の不安定性及び予測残差がしばしば偏っていることに起因して、全体的な経験的分布がほぼ均一に分布している場合であっても、符号はコンテクストモデルを使用して符号化され得る。符号の符号化には1つの専用コンテクストモデルが使用され、符号はsig_coeff_flagの後に構文解析されて、すべてのコンテクスト符号化ビンが一緒にまとめられる。
2.7 量子化残差ブロック差動パルスコード変調(QR-BDPCM)
JVET-M0413において、量子化残差ブロック差動パルスコード変調(QR-BDPCM)が、スクリーンコンテンツを効率的に符号化するために提案されている。
QR-BDPCMで使用される予測方向は、垂直予測モードおよび水平予測モードであり得る。イントラ予測は、イントラ予測と同様に、予測方向(水平または垂直予測)にサンプルコピーすることで、ブロック全体で予測する。残差を量子化し、量子化残差とその予測子(水平または垂直)量子化値との間のデルタを符号化する。これは、以下のように説明することができる。サイズM(行)×N(列)のブロックについて、ri,j,0≦i≦M-1、0≦j≦N-1を、上または左ブロックの境界サンプルからのフィルタリングされていないサンプルを使用して、水平方向(予測ブロックに対して左隣の画素値を1ラインずつコピーする)または垂直方向(予測ブロックにおける各ラインに上隣のラインをコピーする)にイントラ予測を行った後の予測残差とする。Q(ri,j)、0≦i≦M-1、0≦j≦N-1は、残差ri,jの量子化バージョンを表し、この場合、残差は、元のブロックと予測ブロック値との間の差である。次に、ブロックDPCMが量子化残差サンプルに適用され、その結果、要素r~i,jを有する修正されたM×N個の配列R~が得られる。垂直BDPCMが信号通知されると、以下のようになる。
水平予測の場合、類似した規則が適用され、残差量子化サンプルは、以下の式によって得られる。
残差量子化サンプルr~i,jはデコーダに送られる。
デコーダ側では、上記の計算を逆にして、Q(ri,j)、0≦i≦M-1、0≦j≦N-1を生成する。垂直予測の場合、以下である。
水平方向の場合、以下である。
逆量子化残差Q-1(Q(ri,j))をイントラブロック予測値に加算し、再構成されたサンプル値を生成する。
このスキームの主な利点は、逆方向のDPCMを、係数の構文解析中にオンザフライで行うことができ、係数の構文解析中に予測子を追加するだけで済むこと、または、構文解析後に行うことができることである。
dbpcm_flag[x0][y0]が1の場合、位置(x0,y0)の輝度符号化ブロックを含む符号化ユニットにbdpcm_dir_flagが存在することを指定するbdpcm_dir_flag[x0][y0]=0は、bdpcmブロックで使用される予測方向が水平であることを指定し、そうでない場合、垂直である。
8.4.2 輝度イントラ予測モードのための導出処理
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
この処理において、輝度イントラ予測モードIntraPredModeY[xCb][yCb]が導出される。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
この処理において、輝度イントラ予測モードIntraPredModeY[xCb][yCb]が導出される。
表8-1に、イントラ予測モードIntraPredModeY[xCb][yCb]の値とその関連名称を示す。
注意-:イントラ予測モードINTRA_LT_CCLM、INTRA_L_CCLM、INTRA_T_CCLMは、クロマ成分にのみ適用可能である。
IntraPredModeY[xCb][yCb]は、以下の順序のステップによって導出される。
- 近傍位置(xNbA、yNbA)および(xNbB、yNbB)は、それぞれ、(xCb-1,yCb+cbHeight-1)および(xCb+cbWidth-1,yCb-1)に等しく設定される。
- XをAまたはBのいずれかに置き換える場合、変数candIntraPredModeXは、以下のように導出される。
・・・
- 変数ispDefaultMode1及びispDefaultMode2は、以下のように定義される。
・・・
- x=0..5のcandModeList[x]は、以下のように導出される。
・・・
- IntraPredModeY[xCb][yCb]は、以下の手順を適用することによって導出される。
- bdpcm_flag[xCb][yCb]が1に等しい場合、IntraPredModeY[xCb][yCb]は、candModeList[0]に等しく設定される。
- そうでない場合、intra_luma_mpm_flag[xCb][yCb]が1に等しい場合、IntraPredModeY[xCb][yCb]は、candModeList[intra_luma_mpm_idx[xCb][yCb]]と等しく設定される。
- そうでない場合、IntraPredModeY[xCb][yCb]は、以下の順序のステップを適用することによって導出される。
・・・
- 近傍位置(xNbA、yNbA)および(xNbB、yNbB)は、それぞれ、(xCb-1,yCb+cbHeight-1)および(xCb+cbWidth-1,yCb-1)に等しく設定される。
- XをAまたはBのいずれかに置き換える場合、変数candIntraPredModeXは、以下のように導出される。
・・・
- 変数ispDefaultMode1及びispDefaultMode2は、以下のように定義される。
・・・
- x=0..5のcandModeList[x]は、以下のように導出される。
・・・
- IntraPredModeY[xCb][yCb]は、以下の手順を適用することによって導出される。
- bdpcm_flag[xCb][yCb]が1に等しい場合、IntraPredModeY[xCb][yCb]は、candModeList[0]に等しく設定される。
- そうでない場合、intra_luma_mpm_flag[xCb][yCb]が1に等しい場合、IntraPredModeY[xCb][yCb]は、candModeList[intra_luma_mpm_idx[xCb][yCb]]と等しく設定される。
- そうでない場合、IntraPredModeY[xCb][yCb]は、以下の順序のステップを適用することによって導出される。
・・・
x=xCb..xCb+cbWidth-1およびy=yCb..yCb+cbHeight-1の場合、変数IntraPredModeY[x][y]は、IntraPredModeY[xCb][yCb]と等しく設定される。
2.8 マトリックスに基づくイントラ予測(MIP)
行列に基づくイントラ予測は、アフィン線形重み付きイントラ予測(ALWIP)とも呼ばれ、重み付き行列を使用してイントラ予測信号を導出する。
2.8.1 方法の説明
幅Wおよび高さHの矩形ブロックのサンプルを予測するために、アフィン線形重み付きイントラ予測(ALWIP)は、ブロックの左側のH個の再構成された近傍の境界サンプルの1つのラインと、ブロックの上側のW個の再構成された近傍の境界サンプルの1つのラインとを入力とする。再構成されたサンプルが利用できない場合、従来のイントラ予測で行われたように生成される。
予測信号の生成は、以下の3つのステップに基づいて行われる。
1.境界サンプルのうち、W=H=4の場合、4つのサンプルを抽出し、それ以外の場合、8つのサンプルを平均することによって抽出する。
2.平均化されたサンプルを入力として、行列ベクトル乗算に続いてオフセットの加算を実行する。その結果、元のブロックにおけるサンプルのサブサンプリングされたセットに対して、縮小された予測信号が得られる。
3.残りの位置の予測信号は、各方向への単一ステップの線形補間である線形補間によってサブサンプリングされたセットにおける予測信号から生成される。
1.境界サンプルのうち、W=H=4の場合、4つのサンプルを抽出し、それ以外の場合、8つのサンプルを平均することによって抽出する。
2.平均化されたサンプルを入力として、行列ベクトル乗算に続いてオフセットの加算を実行する。その結果、元のブロックにおけるサンプルのサブサンプリングされたセットに対して、縮小された予測信号が得られる。
3.残りの位置の予測信号は、各方向への単一ステップの線形補間である線形補間によってサブサンプリングされたセットにおける予測信号から生成される。
行列の3つのセットS0、S1およびS2から、予測シグナルを生成するために必要な行列およびオフセットベクトルを取り込む。セットS0は、16行4列の18個の行列Ai
0,i∈{0,…,17}と、サイズ16の18個のオフセットベクトルbi
0,i∈{0,…,17}で構成されている。このセットS1の4×4サイズの行列およびオフセットベクトルは、10個の行列Ai
1,i∈{0,…,9}からなり、そのそれぞれは、16行8列のオフセットベクトルを有し、それぞれのサイズが16の10個のオフセットベクトルbi
1,i∈{0,…,9}を有する。そのセットの行列およびオフセットベクトルは、サイズ4×8、8×4、および8×8のブロックに使用される。最後に、このセットS2は、6個の行列Ai
2,i∈{0,…,5}からなり、その各々は、64個の行および8個の列を有し、且つ6個のオフセットベクトルbi
2,i∈{0,…,5}の寸法が64である。そのセットまたはその一部の行列およびオフセットベクトル、並びにオフセットベクトルは、他のすべてのブロック形状に使用される。
行列ベクトル積の計算に必要な乗算の総数は、常に4・W・H以下である。すなわち、ALWIPモードでは、1つのサンプルにつき最大4回の乗算が必要である。
2.8.2 境界の平均化
まず、インプット境界bdrytop、bdryleftを小さな境界bdrytop
red、bdryleft
redに縮小する。ここで、bdrytop
redおよびbdryleft
redは、両方とも、4×4-ブロックの場合、2つのサンプルからなり、他のすべての場合、両方とも4つのサンプルからなる。
4×4ブロックの場合、0≦i<2に対しては次のように定義する。
そして、bdryleft
redを同じように定義する。
そうでない場合、ブロック幅W=4・2kとして与えられる場合、0≦i<4に対しては次のように定義する。
そして、bdryleft
redを同じように定義する。
2つの縮小された境界bdrytop
redおよびbdryleft
redは、縮小された境界ベクトルに連結され、このようにして、形状4×4のブロックの場合、サイズ4となり、他のすべての形状のブロックの場合、サイズ8となる。モードがALWIP-modeを指す場合、この連結は以下のように定義される。
最後に、サブサンプリングされた予測信号を補間するために、大きなブロックに対して、平均化された境界の第2のバージョンが必要である。すなわち、min(W,H)>8であり、W≧Hである場合、1つはW=8*2lを書き込み、0≦i<8の場合、定義する。
min(W,H)>8であり、H>Wである場合、同様にbdryleft
redIIを定義する。
2.8.3 行列ベクトル乗算による縮小予測信号の生成
縮小されたインプットベクトルbdryredのうち、1つは縮小された予測シグナルpredredを生成する。この信号は、ダウンサンプリングされた幅Wredおよび高さHredのブロックにおける信号である。ここで、Wred及びHredは、次のように定義される。
縮小された予測信号predredは、行列ベクトルの積を計算し、次のようにオフセットを加えることによって計算される。
ここで、Aは、W=H=4であり、他のすべての場合において8つの列を有する場合、Wred・Hred行および4列を有する行列である。bは、大きさWred・Hredのベクトルである。
行列Aおよびベクトルbは、セットS0、S1、S2のうちの1つから以下のように取り込まれる。1つのインデックスidx=idx(W,H)を以下のように定義する。
さらに、mを以下のように置く。
そして、idx≦1又はidx≦2であり、且つmin(W,H)>4である場合、A=Am
idx及びb=bm
idxとする。idx=2およびmin(W,H)=4の場合、Aを、Am
idxのすべての行を取り除くことによって生じる行列とし、W=4の場合、ダウンサンプリングされたブロックにおける奇数x座標に対応し、またはH=4の場合、ダウンサンプリングされたブロックにおける奇数y座標に対応する。
最後に、以下の場合、縮小された予測信号をその転置に置き換える。
● W=H=4およびmode≧18
● max(W,H)=8およびmode≧10
● max(W,H)>8およびmode≧6
● W=H=4およびmode≧18
● max(W,H)=8およびmode≧10
● max(W,H)>8およびmode≧6
W=H=4の場合、Aは4列16行であるので、predredの算出に必要な乗算数は4である。他のすべての場合において、Aは、8列およびWred・Hred行を有し、これらの場合において、8・Wred・Hred≦4・W・H乗算が必要であることを即座に確認し、即ち、この場合においても、predredを計算するために、1つのサンプル当たり最大4回の乗算が必要である。
2.8.4 ALWIPプロセス全体の説明
図6、図7、図8、図9の様々な形状に対して、平均化、行列ベクトル乗算、線形内挿の全体的な処理を示す。なお、残りの形状は、いずれか1つの図示された場合と同様に扱われる。
1. 4×4ブロックを仮定すると、ALWIPは、境界の各軸に沿って2つの平均をとる。結果として得られる4つの入力サンプルは、行列ベクトル乗算に入る。行列はセットS0から取り込まれる。オフセットを加算した後、16個の最終予測サンプルが得られる。予測信号を生成するために線形補間は必要でない。このようにして、1つのサンプル当たり、合計(4・16)/(4・4)=4回の乗算を行う。
図6は、4×4ブロックのためのALWIPの例示である。
2. 8×8ブロックを仮定すると、ALWIPは、境界の各軸に沿って4つの平均をとる。結果として得られる8つの入力サンプルは、行列ベクトル乗算に入る。行列はセットS1から取り込まれる。これにより、予測ブロックの奇数位置に16個のサンプルが得られる。このようにして、1つのサンプル当たり、合計(8・16)/(8・8)=2回の乗算を行う。オフセットを加えた後、これらのサンプルは、縮小された上端境界を使用することによって垂直方向に補間される。元の左側境界を使用して水平補間を行う。
図7は、8×8ブロックのためのALWIPの例示である。
3. 8×4ブロックを仮定すると、ALWIPは、境界の水平軸に沿って4つの平均をとり、左境界上の4つの元の境界値をとる。結果として得られる8つの入力サンプルは、行列ベクトル乗算に入る。行列はセットS1から取り込まれる。これにより、予測ブロックの水平方向の奇数位置および垂直方向の各位置に16個のサンプルが得られる。このようにして、1つのサンプル当たり、合計(8・16)/(8・4)=4回の乗算を行う。オフセットを加算した後、元の左境界を使用してこれらのサンプルを水平方向に補間する。
図8は、8×4ブロックのためのALWIPの例示である。
転置された場合はそれに応じて処理される。
4. 16×16ブロックを仮定すると、ALWIPは、境界の各軸に沿って4つの平均をとる。結果として得られる8つの入力サンプルは、行列ベクトル乗算に入る。行列はセットS2から取り込まれる。これにより、予測ブロックの奇数位置に64個のサンプルが得られる。このようにして、1つのサンプル当たり、合計(8・64)/(16・16)=2回の乗算を行う。オフセットを加算した後、これらのサンプルを、上端境界の8つの平均を使用することによって垂直方向に補間する。元の左側境界を使用して水平補間を行う。
図9は、16×16ブロックのためのALWIPの例示である。
より大きい形状の場合、この手順は本質的に同じであり、1つのサンプル当たりの乗算の数が4未満であることを確認することは容易である。
W>8のW×8ブロックの場合、サンプルは奇数個の水平位置および各垂直位置で得られるので、水平補間のみが必要である。ここで、(8・64)/(W・8)=64/W乗算/サンプルごとに演算を行い、縮小予測を算出する。
最後に、W>8であるW×4個のブロックに対して、Akを、ダウンサンプリングされたブロックの横軸に沿った奇数個の入力に対応するすべての行を取り除くことによって生じる行列とする。このように、出力サイズは32であり、再び、水平補間のみを実行しなければならない。縮小予測の算出のために、(8・32)/(W・4)=64/W乗算/サンプルごとに乗算を行う。W=16の場合、追加の乗算は必要とされず、一方、W>16の場合、線形補間の場合、1つのサンプル当たり2未満の乗算しか必要とされない。よって、乗算の総数は4以下である。
転置された場合はそれに応じて処理される。
W>8のW×8ブロックの場合、サンプルは奇数個の水平位置および各垂直位置で得られるので、水平補間のみが必要である。ここで、(8・64)/(W・8)=64/W乗算/サンプルごとに演算を行い、縮小予測を算出する。
最後に、W>8であるW×4個のブロックに対して、Akを、ダウンサンプリングされたブロックの横軸に沿った奇数個の入力に対応するすべての行を取り除くことによって生じる行列とする。このように、出力サイズは32であり、再び、水平補間のみを実行しなければならない。縮小予測の算出のために、(8・32)/(W・4)=64/W乗算/サンプルごとに乗算を行う。W=16の場合、追加の乗算は必要とされず、一方、W>16の場合、線形補間の場合、1つのサンプル当たり2未満の乗算しか必要とされない。よって、乗算の総数は4以下である。
転置された場合はそれに応じて処理される。
2.8.5 シングルステップ線形補間
max(W,H)≧8を有するW×Hブロックの場合、予測信号は、線形内挿によってWred×Hredに縮小された予測信号predredから生じる。ブロックの形状によっては、垂直、水平または両方向に線形補間を行う。線形補間を両方向に適用する場合、まずW<Hを水平方向に適用し、最初に垂直方向に適用する場合、水平方向に適用し、そうでない場合、線形補間を水平方向に適用する。
一般性を損なうことなく、max(W,H)≧8およびW≧Hを有するW×Hブロックを考える。そして、1次元線形補間は、以下のようにして行われる。一般性を損なうことなく、垂直方向の線形補間を説明すれば十分である。まず、境界信号によって縮小された予測信号を上端に拡大する。垂直アップサンプリング係数Uver=H/Hredを定義し、Uver=2uver>1と書き込む。次に、次のように拡張縮小予測信号を定義する。
そして、この拡大縮小された予測信号から、0≦x<Wred,0≦y<Hred,0≦k<Uverの場合、以下の式によって垂直線形補間予測信号を生成する。
ビットシフトのみの線形補間アルゴリズムは乗算を必要としない。
2.8.6 提案されたイントラ予測モードの信号化
イントラモードの各符号化ユニット(CU)ごとに、ALWIPモードを対応する予測ユニット(PU)に適用するかどうかを示すフラグをビットストリームにおいて送信する。ALWIPモードを適用する場合、3つのMPMSを有するMPMリストを使用して、ALWIPモードのインデックスpredmodeを信号通知する。
ここで、MPMの導出は、上記左右のPUのイントラモードを使用して、以下のようにして行われる。map_angular_to_alwipidxには3つの固定テーブルがあり、idx∈{0,1,2}は、各々の従来のイントラ予測モードpredmodeAngularに1つのアルバイト(ALWIP)モードを割り当てる。
幅Wおよび高さHの夫々のユニットに対して、1つのインデックスを定義する。
これは、3つのセットのうちどれからALWIPパラメータを上記1.3章に記載のように取り込むかを示す。
上記予測ユニットPUaboveが使用可能であり、現在のPUと同じCTUに属し、且つイントラモードにある場合、idx(PU)=idx(PUabove)であり、且つALWIP-mode predmodeabove
ALWIPでPUaboveにALWIPを適用する場合、以下のようになる。
上記PUが使用可能であり、現在のPUと同じCTUに属し、イントラモードにあり、且つ上記PUに従来のイントラ予測モードpredmodeabove
Angularを適用すると、以下のようになる。
他のすべての場合において、次のようになる。
これは、このモードが使用できないことを意味する。同様にして、但し、左側のPUが現在のPUと同じCTUに属する必要があるという制限なしに、モードmodeleft
ALWIPを導出する。
最後に、3つの固定デフォルトリストlistidx、idx∈{0,1,2}が提供され、その各々は3つの異なるALWIPモードを含む。デフォルト一覧listidx(PU)およびモードmodeabove
ALWIPおよびmodeleft
ALWIPのうち、デフォルト値を-1に置き換え、且つ重複を排除することで、3つの異なるMPMを構築する。
2.8.7 従来の輝度およびクロマイントラ予測モードのための適応型MPMリスト導出
提案されたALWIPモードは、従来のイントラ予測モードのMPMに基づく符号化と以下のように調和される。従来のイントラ予測モードのための輝度およびクロマMPMリスト導出処理は、固定テーブルmap_alwip_to_angularidx、idx∈{0,1,2}を使用し、所与のPUにおけるALWIPモードpredmodeALWIPを従来のイントラ予測モードの1つにマッピングする。
predmodeAngular=map_alwip_to_angularidx(PU)[predmodeALWIP].
predmodeAngular=map_alwip_to_angularidx(PU)[predmodeALWIP].
輝度MPMリストの導出のために、ALWIPモードpredmodeALWIPを使用する近傍の輝度ブロックに遭遇した場合、このブロックは、従来のイントラ予測モードpredmodeAngularを使用していたものとして扱われる。クロマMPMリスト導出の場合、現在の輝度ブロックがLWIPモードを使用する時はいつでも、同じマッピングを使用してALWIPモードを従来のイントラ予測モードに変換する。
2.9 67個のイントラ予測モードを有するイントラモード符号化
自然映像に表される任意のエッジ方向をキャプチャするために、VTM4における指向性イントラモードの数は、HEVCで使用されるように、33から65に拡張される。HEVCにない新しい指向性モードは、図14に赤い点線の矢印で示されており、平面モードとDCモードは同じままである。これらのより密度の高い指向性イントラ予測モードは、すべてのブロックサイズ、および輝度およびクロマイントラ予測の両方に適用される。
MRL符号化ツールおよびISP符号化ツールの適用の有無にかかわらず、イントラブロックに対して統一された6-MPMリストが提案される。MPMリストは、VTM4.0などの場合、左上の近傍のブロックのイントラモードに基づいて構成される。ここで、左側のモードをLeftとし、上記ブロックのモードをAboveとすると、統合MPMリストは、以下のように構成される。
●近傍のブロックが利用可能でない場合、そのイントラモードはデフォルトでPlanarに設定される。
● モードLeftおよびAboveの両方が非角度モードである場合、次のようになる。
〇 MPM list→{Planar,DC,V,H,V-4,V+4}
●モードLeftおよびAboveの一方が角度モードであり、他方が非角度モードである場合、次のようになる。
〇 MaxモードをLeft and Aboveでより大きいモードに設定する。
〇 MPM list→{Planar,Max,DC,Max-1,Max+1,Max-2}
●LeftとAboveが共に角度であり、かつそれらが異なる場合、以下のようになる。
〇 MaxモードをLeft and Aboveでより大きいモードに設定する。
〇 LeftモードとAboveモードとの差が2~62の範囲内にある場合
■MPM list→{Planar,Left,Above,DC,Max-1,Max+1}
〇 あるいは、
■MPM list→{Planar,Left,Above,DC,Max-2,Max+2}
●LeftとAboveが両方ともに角度であり、かつ同じである場合、以下のようになる。
〇 MPM list→{Planar,Left,Left-1,Left+1,DC,Left-2}
●近傍のブロックが利用可能でない場合、そのイントラモードはデフォルトでPlanarに設定される。
● モードLeftおよびAboveの両方が非角度モードである場合、次のようになる。
〇 MPM list→{Planar,DC,V,H,V-4,V+4}
●モードLeftおよびAboveの一方が角度モードであり、他方が非角度モードである場合、次のようになる。
〇 MaxモードをLeft and Aboveでより大きいモードに設定する。
〇 MPM list→{Planar,Max,DC,Max-1,Max+1,Max-2}
●LeftとAboveが共に角度であり、かつそれらが異なる場合、以下のようになる。
〇 MaxモードをLeft and Aboveでより大きいモードに設定する。
〇 LeftモードとAboveモードとの差が2~62の範囲内にある場合
■MPM list→{Planar,Left,Above,DC,Max-1,Max+1}
〇 あるいは、
■MPM list→{Planar,Left,Above,DC,Max-2,Max+2}
●LeftとAboveが両方ともに角度であり、かつ同じである場合、以下のようになる。
〇 MPM list→{Planar,Left,Left-1,Left+1,DC,Left-2}
構文要素intra_luma_mpm_flag[x0][y0]、intra_luma_not_planar_flag[x0][y0]、 intra_luma_mpm_idx[x0][y0]およびintra_luma_mpm_remainder[x0][y0]は、輝度サンプルのイントラ予測モードを指定する。配列インデックスx0,y0は、ピクチャの左上輝度サンプルに対する、考慮される符号化ブロックの左上輝度サンプルの位置(x0,y0)を指定する。intra_luma_mpm_flag[x0][y0]が1に等しい場合、第8.4.2項に従って、近傍のイントラ予測符号化ユニットから前記イントラ予測モードを推論する。
intra_luma_mpm_flag[x0][y0]が存在しない場合、1に等しいと推測される。
intra_luma_not_planar_flag[x0][y0]が存在しない場合、1に等しいと推測される。
intra_luma_mpm_flag[x0][y0]が存在しない場合、1に等しいと推測される。
intra_luma_not_planar_flag[x0][y0]が存在しない場合、1に等しいと推測される。
2.10 クロマイントラモード符号化
クロマイントラモード符号化の場合、クロマイントラモード符号化の場合、合計8つのイントラモードが許可される。これらのモードには、5つの伝統的なイントラモードと6つの構成要素共通の線形モデルモードが含まれる。クロマDMモードは、対応する輝度イントラ予測モードを使用する。Iスライスにおいて、輝度成分とクロマ成分に対するブロック分割構造の分離が有効化されているため、1つのクロマブロックは複数の輝度ブロックに対応してもよい。よって、クロマDMモードの場合、現在のクロマブロックの中心位置を含む、対応する輝度ブロックのイントラ予測モードは直接継承される。
3. 開示される実施形態が解決しようとする技術的課題の例
QR-BDPCMは、画面コンテンツの符号化において符号化の利点を実現することができるが、依然としていくつかの欠点を有する可能性がある。
1.QR-BDPCMモードにおける予測は、水平および垂直イントラ予測にのみ限定され、QR-BDPCMモードにおける予測効率を制限する可能性がある。
2.イントラ予測モードが、QR-BDPCMモードのレートコストを増加させ得るQR-BDPCM符号化ブロックのために信号通知される。
3.QR-BDPCMモードにおいて信号通知されたメッセージを予測モードにマッピングするとき、近傍の情報は考慮されない。
4.QR-BDPCMは、水平DPCMおよび垂直DPCMのみをサポートすることによって残差を表し、複素残差ブロックにおける符号化性能を含む可能性がある。
5.QR-BDPCMにおける残留範囲は、他の非QR-BDPCMモードの最大範囲を超える可能性がある。
6.QR-BDPCMはブロック形状を考慮していない。
7.QR-BDPCMで輝度ブロックを符号化する場合、クロマをどのように扱うかは不明である。
8.QR-BDPCMは、第1のMPMモードのみを記憶イントラモードとして使用し、これは、イントラモードの符号化効率を制限する可能性がある。
1.QR-BDPCMモードにおける予測は、水平および垂直イントラ予測にのみ限定され、QR-BDPCMモードにおける予測効率を制限する可能性がある。
2.イントラ予測モードが、QR-BDPCMモードのレートコストを増加させ得るQR-BDPCM符号化ブロックのために信号通知される。
3.QR-BDPCMモードにおいて信号通知されたメッセージを予測モードにマッピングするとき、近傍の情報は考慮されない。
4.QR-BDPCMは、水平DPCMおよび垂直DPCMのみをサポートすることによって残差を表し、複素残差ブロックにおける符号化性能を含む可能性がある。
5.QR-BDPCMにおける残留範囲は、他の非QR-BDPCMモードの最大範囲を超える可能性がある。
6.QR-BDPCMはブロック形状を考慮していない。
7.QR-BDPCMで輝度ブロックを符号化する場合、クロマをどのように扱うかは不明である。
8.QR-BDPCMは、第1のMPMモードのみを記憶イントラモードとして使用し、これは、イントラモードの符号化効率を制限する可能性がある。
4. 例示的な実施形態及び技術
以下に列記されるものは、一般的な概念を説明するための例であると考えられるべきである。これらの発明は狭い意味で解釈されるべきではない。さらに、これらの発明は、任意の方法で組み合わせることができる。
1.QR-BDPCM符号化ブロックにおけるサンプル予測は、行列に基づくイントラ予測(MIP)方法によって生成してもよい。
a.1つの例において、QR-BDPCMおよびMIPの両方が1つのブロックに対して有効化される場合、MIPにおける許可モードの一部のみがサポートされないように制限される。
i.一例において、許可モードの一部は、水平および/または垂直通常イントラモードにマッピングされ得る、行列ベースのイントラ予測方法に関連するモードを含んでもよい。
ii.一例において、許可モードの一部は、水平および/または垂直通常イントラモードにマッピングされ得る、行列ベースのイントラ予測方法に関連するモードのみを含んでもよい。
b.一例において、1つのブロックに対してQR-BDPCMおよびMIPの両方が有効化される場合、MIPにおけるすべての許可モードがサポートされる。
a.1つの例において、QR-BDPCMおよびMIPの両方が1つのブロックに対して有効化される場合、MIPにおける許可モードの一部のみがサポートされないように制限される。
i.一例において、許可モードの一部は、水平および/または垂直通常イントラモードにマッピングされ得る、行列ベースのイントラ予測方法に関連するモードを含んでもよい。
ii.一例において、許可モードの一部は、水平および/または垂直通常イントラモードにマッピングされ得る、行列ベースのイントラ予測方法に関連するモードのみを含んでもよい。
b.一例において、1つのブロックに対してQR-BDPCMおよびMIPの両方が有効化される場合、MIPにおけるすべての許可モードがサポートされる。
2.QR-BDPCM符号化ブロックにおけるサンプル予測は、垂直/水平イントラ予測以外のイントラ予測モードで生成してもよい。
a.1つの例示的な実施例において、QR-BDPCM符号化ブロックにおけるサンプルは、イントラ予測モードKによって予測してもよい。
i.例えば、Kは、平面モードでもよい。
ii.例えば、KはDCモードでもよい。
iii.例えば、Kは水平モードでもよい。
iv.例えば、Kは垂直モードでもよい。
v.1つの例示的な実施例において、Kは、最も可能性の高いモードの一覧における1つの候補でもよい。
vi.1つの例示的な実施例において、Kは、ビットストリームにおいて信号通知してもよい。
b.QR-BDPCMのための許容されるイントラ予測モードは、以下に基づいてもよい。
i.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
ii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iv.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
v.現在のブロックの近傍のブロックのイントラ予測モード
vi.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
vii.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
viii.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
ix.分離/二重符号化ツリー構造
x.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
a.1つの例示的な実施例において、QR-BDPCM符号化ブロックにおけるサンプルは、イントラ予測モードKによって予測してもよい。
i.例えば、Kは、平面モードでもよい。
ii.例えば、KはDCモードでもよい。
iii.例えば、Kは水平モードでもよい。
iv.例えば、Kは垂直モードでもよい。
v.1つの例示的な実施例において、Kは、最も可能性の高いモードの一覧における1つの候補でもよい。
vi.1つの例示的な実施例において、Kは、ビットストリームにおいて信号通知してもよい。
b.QR-BDPCMのための許容されるイントラ予測モードは、以下に基づいてもよい。
i.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
ii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iv.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
v.現在のブロックの近傍のブロックのイントラ予測モード
vi.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
vii.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
viii.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
ix.分離/二重符号化ツリー構造
x.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
3.QR-BDPCM符号化ブロックにおけるサンプル予測は、非隣接サンプルによって生成され得る。
a.一例において、IBCマージモードの場合、QR-BDPCMも有効化してよい。
b.一例において、IBC AMVPモードの場合、QR-BDPCMもまた有効化してよい。
c.IBCおよびQR-BDPCMで使用されるブロックベクトルは、信号通知しても、導出しても、または予め定義してもよい。
i.一例において、IBCモードは、動きベクトル(ブロックベクトル)および/またはマージインデックスによって示してもよい。
ii.一例において、IBCモードは、デフォルト動きベクトルによって示してもよい。
1.一例において、デフォルト動きベクトルは、(-w,0)であってもよく、ここで、wは、正の整数である。
2.一例において、デフォルト動きベクトルは、(0,-h)であってもよく、ここで、hは、正の整数である。
3.一例において、デフォルト動きベクトルは、(-w,-h)であってもよく、ここで、wおよびhは、2つの正の整数である。
iii.一例において、IBC符号化ブロックおよびQP-BPDCM符号化ブロックにおいて使用される動きベクトルの指示は、以下に基づいてもよい。
1.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
2.現在のブロックおよび/またはその近傍のブロックのブロック寸法
3.現在のブロックおよび/またはその近傍のブロックのブロック形状
4.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
5.現在のブロックの近傍のブロックの動きベクトル
6.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
7.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
8.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
9.分離/二重符号化ツリー構造
10.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
d.一例において、QR-BDPCMモードにおけるサンプル予測は、Inter予測ツール(例えば、アフィンモード、マージモード、およびインターモード)によって生成してもよい。
a.一例において、IBCマージモードの場合、QR-BDPCMも有効化してよい。
b.一例において、IBC AMVPモードの場合、QR-BDPCMもまた有効化してよい。
c.IBCおよびQR-BDPCMで使用されるブロックベクトルは、信号通知しても、導出しても、または予め定義してもよい。
i.一例において、IBCモードは、動きベクトル(ブロックベクトル)および/またはマージインデックスによって示してもよい。
ii.一例において、IBCモードは、デフォルト動きベクトルによって示してもよい。
1.一例において、デフォルト動きベクトルは、(-w,0)であってもよく、ここで、wは、正の整数である。
2.一例において、デフォルト動きベクトルは、(0,-h)であってもよく、ここで、hは、正の整数である。
3.一例において、デフォルト動きベクトルは、(-w,-h)であってもよく、ここで、wおよびhは、2つの正の整数である。
iii.一例において、IBC符号化ブロックおよびQP-BPDCM符号化ブロックにおいて使用される動きベクトルの指示は、以下に基づいてもよい。
1.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
2.現在のブロックおよび/またはその近傍のブロックのブロック寸法
3.現在のブロックおよび/またはその近傍のブロックのブロック形状
4.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
5.現在のブロックの近傍のブロックの動きベクトル
6.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
7.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
8.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
9.分離/二重符号化ツリー構造
10.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
d.一例において、QR-BDPCMモードにおけるサンプル予測は、Inter予測ツール(例えば、アフィンモード、マージモード、およびインターモード)によって生成してもよい。
4.QR-BDPCMにおける量子化残差予測方向の指示は、オンザフライで導出してもよい。
a.一例において、QR-BDPCMにおける量子化残差予測方向の指示は、現在のイントラ予測モードの指示に基づいて推測してもよい。
i.一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが垂直である場合、垂直に推測してもよい。
ii.一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが水平である場合、水平に推測してもよい。
iii.一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが水平である場合、垂直に推測してもよい。
iv.一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが垂直である場合、水平に推測してもよい。
b.一例において、QR-BDPCMにおける量子化残差予測方向の指示は、以下に基づいてもよい。
i.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
ii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iv.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
v.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
vi.現在のブロックの近傍のブロックのイントラ予測モード
vii.現在のブロックの近傍のブロックの動きベクトル
viii.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
ix.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
x.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
xi.分離/二重符号化ツリー構造
xii.現在のブロックに適用される変換タイプ
xiii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
a.一例において、QR-BDPCMにおける量子化残差予測方向の指示は、現在のイントラ予測モードの指示に基づいて推測してもよい。
i.一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが垂直である場合、垂直に推測してもよい。
ii.一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが水平である場合、水平に推測してもよい。
iii.一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが水平である場合、垂直に推測してもよい。
iv.一例において、QR-BDPCMにおける量子化残差予測の方向は、イントラ予測モードが垂直である場合、水平に推測してもよい。
b.一例において、QR-BDPCMにおける量子化残差予測方向の指示は、以下に基づいてもよい。
i.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
ii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iv.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
v.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
vi.現在のブロックの近傍のブロックのイントラ予測モード
vii.現在のブロックの近傍のブロックの動きベクトル
viii.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
ix.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
x.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
xi.分離/二重符号化ツリー構造
xii.現在のブロックに適用される変換タイプ
xiii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
5.記憶されるべきQR-BDPCM符号化ブロックのイントラモードは、イントラ予測プロセスで使用されるイントラ予測モードに合わせてもよい。
a.一例において、QR-BDPCMが垂直イントラ予測を用いる場合(例えば、現在のブロックのbdpcm_dir_flagが1である)、記憶されるべきQR-BDPCM符号化ブロックのイントラモードを垂直モードと推測することができる。
b.一例において、QR-BDPCMが水平イントラ予測を用いる(例えば、現在のブロックのbdpcm_dir_flagが0である)場合、記憶されるべきQR-BDPCM符号化ブロックのイントラモードを水平モードと推測され得る。
c.一例において、QR-BDPCMが左上イントラ予測方向を用いる場合、記憶されるべきQR-BDPCM符号化ブロックのイントラモードを、左上モード(例えば、VVCにおけるモード34)と推測され得る。
d.一例において、QR-BDPCMモードにおけるイントラ予測処理に用いられる場合、記憶されるべきQR-BDPCM符号化ブロックのイントラモードをそのモードと推測され得る。
e.一例において、QR-BDPCMモードにおける残差予測処理に用いられる場合、記憶されるべきQR-BDPCM符号化ブロックのイントラモードをそのモードと推測してよい。
f.一例において、QR-BDPCMにおいて符号化されたブロックのイントラモードは、最確モード(MPM:Most Probable Modes)リスト中の1つのモードと推測され得る。
g.一例において、QR-BDPCMにおいて符号化されたブロックのイントラモードは、予め定義されたモードと推測してよい。
i.一例において、予め定義されたモードは、以下であることができる。
1.平面モード
2.DCモード
3.垂直モード
4.水平モード
h.1つの例において、QR-BDPCMモードで符号化されたブロックのイントラモードは、以下に基づいて判定してよい。
i.色成分
ii.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
iii. bdpcm_dir_flag
iv. bdpcm_flag
ii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iv.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
v.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
vi.現在のブロックの近傍のブロックのイントラ予測モード
vii.現在のブロックの近傍のブロックの動きベクトル
viii.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
ix.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
x.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
xi.符号化ツリー構造
xii.現在のブロックに適用される変換タイプ
xiii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
i.一例において、記憶されたイントラ予測モードは、例えば、後続の符号化されるべきブロックのMPMリスト構築などのために、後続のブロックを符号化するために利用されてもよい。
a.一例において、QR-BDPCMが垂直イントラ予測を用いる場合(例えば、現在のブロックのbdpcm_dir_flagが1である)、記憶されるべきQR-BDPCM符号化ブロックのイントラモードを垂直モードと推測することができる。
b.一例において、QR-BDPCMが水平イントラ予測を用いる(例えば、現在のブロックのbdpcm_dir_flagが0である)場合、記憶されるべきQR-BDPCM符号化ブロックのイントラモードを水平モードと推測され得る。
c.一例において、QR-BDPCMが左上イントラ予測方向を用いる場合、記憶されるべきQR-BDPCM符号化ブロックのイントラモードを、左上モード(例えば、VVCにおけるモード34)と推測され得る。
d.一例において、QR-BDPCMモードにおけるイントラ予測処理に用いられる場合、記憶されるべきQR-BDPCM符号化ブロックのイントラモードをそのモードと推測され得る。
e.一例において、QR-BDPCMモードにおける残差予測処理に用いられる場合、記憶されるべきQR-BDPCM符号化ブロックのイントラモードをそのモードと推測してよい。
f.一例において、QR-BDPCMにおいて符号化されたブロックのイントラモードは、最確モード(MPM:Most Probable Modes)リスト中の1つのモードと推測され得る。
g.一例において、QR-BDPCMにおいて符号化されたブロックのイントラモードは、予め定義されたモードと推測してよい。
i.一例において、予め定義されたモードは、以下であることができる。
1.平面モード
2.DCモード
3.垂直モード
4.水平モード
h.1つの例において、QR-BDPCMモードで符号化されたブロックのイントラモードは、以下に基づいて判定してよい。
i.色成分
ii.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
iii. bdpcm_dir_flag
iv. bdpcm_flag
ii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iv.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
v.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
vi.現在のブロックの近傍のブロックのイントラ予測モード
vii.現在のブロックの近傍のブロックの動きベクトル
viii.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
ix.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
x.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
xi.符号化ツリー構造
xii.現在のブロックに適用される変換タイプ
xiii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
i.一例において、記憶されたイントラ予測モードは、例えば、後続の符号化されるべきブロックのMPMリスト構築などのために、後続のブロックを符号化するために利用されてもよい。
6.QR-BDPCMにおける信号通知されたインデックスからQR-BDPCMモードにおけるイントラ予測モードへのマッピングは、以下に基づいてもよい。
a.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
b.現在のブロックおよび/またはその近傍のブロックのブロック寸法
c.現在のブロックおよび/またはその近傍のブロックのブロック形状
d.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
e.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
f.現在のブロックの近傍のブロックのイントラ予測モード
g.現在のブロックの近傍のブロックの動きベクトル
h.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
i.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
j.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
k.分離/二重符号化ツリー構造
l.現在のブロックに適用される変換タイプ
m.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
a.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
b.現在のブロックおよび/またはその近傍のブロックのブロック寸法
c.現在のブロックおよび/またはその近傍のブロックのブロック形状
d.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
e.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
f.現在のブロックの近傍のブロックのイントラ予測モード
g.現在のブロックの近傍のブロックの動きベクトル
h.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
i.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
j.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
k.分離/二重符号化ツリー構造
l.現在のブロックに適用される変換タイプ
m.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
7.QR-BDPCMにおいて、量子化残差は、水平方向および垂直方向に沿って予測される。なお、量子化残差を垂直方向および水平方向以外の方向に沿って予測することも提案されている。Q(ri,j)が量子化残差を表し、かつr~i,jが残差予想処理後の量子化残差を表すとする。
a.一例において、45度QR-BDPCMがサポートしてもよい。
i.一例において、DPCMは、45°に沿って実施されてもよく、Q(r(i-1),(j-1))が利用可能である場合、r~i,jは、Q(ri,j)-Q(r(i-1),(j-1))によって導出してもよい。
b.一例において、135度QR-BDPCMをサポートしてもよい。
i.一例において、DPCMは、45°に沿って実施されてもよく、Q(r(i-1),(j+1))が利用可能である場合、r~i,jは、Q(ri,j)-Q(r(i-1),(j+1))によって導出してもよい。
c.一例において、任意の方向をQR-BDPCMにおいてサポートしてもよい。
i.1つの例示的な実施例において、Q(r(i-m),(j-n))が利用可能である場合、r~i,jはQ(ri,j)-Q(r(i-m),(j-n))によって導出されてもよい。
1.一例において、mおよび/またはnは、ビットストリームにおいて信号通知してもよい。
2.一例において、mおよび/またはnは、整数であってもよく、以下に基づいてもよい。
3.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
4.iおよび/またはj
5.現在のブロックおよび/またはその近傍のブロックのブロック寸法
6.現在のブロックおよび/またはその近傍のブロックのブロック形状
7.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
8.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
9.現在のブロックの近傍のブロックのイントラ予測モード
10.現在のブロックの近傍のブロックの動きベクトル
11.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
12.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
13.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
14.分離/二重符号化ツリー構造
15.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
a.一例において、45度QR-BDPCMがサポートしてもよい。
i.一例において、DPCMは、45°に沿って実施されてもよく、Q(r(i-1),(j-1))が利用可能である場合、r~i,jは、Q(ri,j)-Q(r(i-1),(j-1))によって導出してもよい。
b.一例において、135度QR-BDPCMをサポートしてもよい。
i.一例において、DPCMは、45°に沿って実施されてもよく、Q(r(i-1),(j+1))が利用可能である場合、r~i,jは、Q(ri,j)-Q(r(i-1),(j+1))によって導出してもよい。
c.一例において、任意の方向をQR-BDPCMにおいてサポートしてもよい。
i.1つの例示的な実施例において、Q(r(i-m),(j-n))が利用可能である場合、r~i,jはQ(ri,j)-Q(r(i-m),(j-n))によって導出されてもよい。
1.一例において、mおよび/またはnは、ビットストリームにおいて信号通知してもよい。
2.一例において、mおよび/またはnは、整数であってもよく、以下に基づいてもよい。
3.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
4.iおよび/またはj
5.現在のブロックおよび/またはその近傍のブロックのブロック寸法
6.現在のブロックおよび/またはその近傍のブロックのブロック形状
7.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
8.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
9.現在のブロックの近傍のブロックのイントラ予測モード
10.現在のブロックの近傍のブロックの動きベクトル
11.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
12.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
13.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
14.分離/二重符号化ツリー構造
15.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
8.QR-BDPCMは、クロマブロック(例えば、Cb/Cr、またはB/R色成分)に適用してもよい。
a.一例において、輝度およびクロマQR-BDPCM符号化ブロックのための許容されるイントラ予測方向は、同じであってもよく、例えば、水平および垂直のみであってもよい。
b.一例において、輝度QR-BDPCM符号化ブロックおよびクロマQR-BDPCM符号化ブロックのための許容される予測方法は、同じであってもよく、例えば、IBC/インター/水平および垂直イントラ予測モードであってもよい。
c.一例において、輝度QR-BDPCM符号化ブロックおよびクロマQR-BDPCM符号化ブロックのための許容される残差予測方向は、同じであってもよい。
d.一例において、クロマQR-BDPCMのための残差予測方向は、対応する輝度ブロックのための残差予測方向から導出され得る。
i.一例において、対応する輝度ブロックは、同一位置の輝度ブロックであってもよい。
ii.一例において、対応する輝度ブロックは、クロマブロックの左上隅の同一位置のサンプルを含む輝度ブロックであってもよい。
iii.一例において、対応する輝度ブロックは、クロマブロックの中心合わせされたサンプルの同一位置のサンプルを含む輝度ブロックであってもよい。
e.一例において、CCLMおよびQR-BDPCMは、同じクロマブロックに適用できなかった。
i.あるいは、CCLMは、QR-BDPCM符号化ブロックにも適用可能である。
f.一例において、ジョイントクロマ残差符号化(例えば、ジョイントcbおよびcr符号化)方法およびQR-BDPCMは、同じクロマブロックに適用され得なかった。
a.一例において、輝度およびクロマQR-BDPCM符号化ブロックのための許容されるイントラ予測方向は、同じであってもよく、例えば、水平および垂直のみであってもよい。
b.一例において、輝度QR-BDPCM符号化ブロックおよびクロマQR-BDPCM符号化ブロックのための許容される予測方法は、同じであってもよく、例えば、IBC/インター/水平および垂直イントラ予測モードであってもよい。
c.一例において、輝度QR-BDPCM符号化ブロックおよびクロマQR-BDPCM符号化ブロックのための許容される残差予測方向は、同じであってもよい。
d.一例において、クロマQR-BDPCMのための残差予測方向は、対応する輝度ブロックのための残差予測方向から導出され得る。
i.一例において、対応する輝度ブロックは、同一位置の輝度ブロックであってもよい。
ii.一例において、対応する輝度ブロックは、クロマブロックの左上隅の同一位置のサンプルを含む輝度ブロックであってもよい。
iii.一例において、対応する輝度ブロックは、クロマブロックの中心合わせされたサンプルの同一位置のサンプルを含む輝度ブロックであってもよい。
e.一例において、CCLMおよびQR-BDPCMは、同じクロマブロックに適用できなかった。
i.あるいは、CCLMは、QR-BDPCM符号化ブロックにも適用可能である。
f.一例において、ジョイントクロマ残差符号化(例えば、ジョイントcbおよびcr符号化)方法およびQR-BDPCMは、同じクロマブロックに適用され得なかった。
9.QR-BDPCMにおける再構成された量子化残差は、特定の範囲内に限定してもよい。
a.一例において、全ての量子化残差(例えば、式2-7-1および式2-7-2におけるr~i,j)が所定の範囲内にあってもよいという制約を加えることができる。
b.一例において、再構成された量子化残差(例えば、式2-7-3および式2-7-4におけるQ(ri,j))の全てが一定の範囲内にあってもよいという制約を加えることができる。
c.一例において、再構成された量子化残差が所定の範囲内にあるように、クリップ演算を量子化残差の差(例えば、式2-7-1および式2-7-2におけるr~i,j)に適用してもよい。
d.一例において、再構成された量子化残差が所定の範囲内にあるように、クリップ演算を再構成された量子化残差の差(例えば、式2-7-3および式2-7-4におけるQ(ri,j))に適用してもよい。
e.一例において、クリッピング演算は、(x<min?min:(x>max?max:x))として定義してもよい。
f.一例において、クリッピング演算は、(x<=min?min:(x>=max?max:x))として定義してもよい。
g.一例において、クリッピング演算は、(x<min?min:(x>=max?max:x))として定義してもよい。
h.一例において、クリッピング演算は、(x<=min?min:(x>max?max:x))として定義してもよい。
i.一例において、minおよび/またはmaxは、負または正であってもよい。
j.一例において、minは-32768に設定され、maxは32767に設定される。
i.あるいは、このminおよび/またはmaxは、QR-BDPCMで符号化されていないブロックの逆量子化の範囲に依存してもよい。
ii.あるいは、この最小値および/または最大値は、入力サンプル/再構成サンプルのビット深さに依存してもよい。
iii.あるいは、minおよび/またはmaxは、可逆符号化が使用されるかどうかに依存してもよい。
1.一例において、minおよび/またはmaxは、transquant_bypass_enabled_flagに依存してもよい。
2.一例において、minおよび/またはmaxは、cu_transquant_bypass_flagに依存してもよい。
k.一例において、minおよび/またはmaxは、以下に基づいてもよい。
i.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
ii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iv.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
v.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
vi.現在のブロックの近傍のブロックのイントラ予測モード
vii.現在のブロックの近傍のブロックの動きベクトル
viii.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
ix.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
x.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
xi.分離/二重符号化ツリー構造
xii.現在のブロックに適用される変換タイプ
xiii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
a.一例において、全ての量子化残差(例えば、式2-7-1および式2-7-2におけるr~i,j)が所定の範囲内にあってもよいという制約を加えることができる。
b.一例において、再構成された量子化残差(例えば、式2-7-3および式2-7-4におけるQ(ri,j))の全てが一定の範囲内にあってもよいという制約を加えることができる。
c.一例において、再構成された量子化残差が所定の範囲内にあるように、クリップ演算を量子化残差の差(例えば、式2-7-1および式2-7-2におけるr~i,j)に適用してもよい。
d.一例において、再構成された量子化残差が所定の範囲内にあるように、クリップ演算を再構成された量子化残差の差(例えば、式2-7-3および式2-7-4におけるQ(ri,j))に適用してもよい。
e.一例において、クリッピング演算は、(x<min?min:(x>max?max:x))として定義してもよい。
f.一例において、クリッピング演算は、(x<=min?min:(x>=max?max:x))として定義してもよい。
g.一例において、クリッピング演算は、(x<min?min:(x>=max?max:x))として定義してもよい。
h.一例において、クリッピング演算は、(x<=min?min:(x>max?max:x))として定義してもよい。
i.一例において、minおよび/またはmaxは、負または正であってもよい。
j.一例において、minは-32768に設定され、maxは32767に設定される。
i.あるいは、このminおよび/またはmaxは、QR-BDPCMで符号化されていないブロックの逆量子化の範囲に依存してもよい。
ii.あるいは、この最小値および/または最大値は、入力サンプル/再構成サンプルのビット深さに依存してもよい。
iii.あるいは、minおよび/またはmaxは、可逆符号化が使用されるかどうかに依存してもよい。
1.一例において、minおよび/またはmaxは、transquant_bypass_enabled_flagに依存してもよい。
2.一例において、minおよび/またはmaxは、cu_transquant_bypass_flagに依存してもよい。
k.一例において、minおよび/またはmaxは、以下に基づいてもよい。
i.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
ii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iv.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
v.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
vi.現在のブロックの近傍のブロックのイントラ予測モード
vii.現在のブロックの近傍のブロックの動きベクトル
viii.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
ix.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
x.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
xi.分離/二重符号化ツリー構造
xii.現在のブロックに適用される変換タイプ
xiii.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
10.1つのブロックに対してQR-DPCMを最後の行/列から1つ目の行/列に適用してもよい。
a.一例において、残差予測方向が水平である場合、(i+1)番目のカラムの残差を使用して、i番目のカラムの残差を予測してもよい。
b.一例において、残差予測方向が垂直である場合、(i+1)番目の行の残差を使用して、i番目の行の残差を予測してもよい。
a.一例において、残差予測方向が水平である場合、(i+1)番目のカラムの残差を使用して、i番目のカラムの残差を予測してもよい。
b.一例において、残差予測方向が垂直である場合、(i+1)番目の行の残差を使用して、i番目の行の残差を予測してもよい。
11.QR-DPCMは、1つのブロックのサブセットに適用されてもよい。
a.一例において、残差予測方向が水平である場合、QR-DPCMは、残差の左端のk個の列には適用されない。
b.一例において、残差予測方向が垂直である場合、QR-DPCMは、残差の上位k行には適用されない。
c.一例において、残差予測方向が水平である場合、QR-DPCMは、残差の右端のk個の列には適用されない。
d.一例において、残差予測方向が垂直である場合、QR-DPCMは、残差の下位k行には適用されない。
e.上述したkの値は、以下に基づいて予め定義された値であってもよい。
i.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
ii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iv.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
v.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
vi.現在のブロックのイントラ予測モード
vii.現在のブロックの近傍のブロックのイントラ予測モード
viii.現在のブロックの近傍のブロックの動きベクトル
ix.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
x.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
xi.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
xii.分離/二重符号化ツリー構造
xiii.現在のブロックに適用される変換タイプ
xiv.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
a.一例において、残差予測方向が水平である場合、QR-DPCMは、残差の左端のk個の列には適用されない。
b.一例において、残差予測方向が垂直である場合、QR-DPCMは、残差の上位k行には適用されない。
c.一例において、残差予測方向が水平である場合、QR-DPCMは、残差の右端のk個の列には適用されない。
d.一例において、残差予測方向が垂直である場合、QR-DPCMは、残差の下位k行には適用されない。
e.上述したkの値は、以下に基づいて予め定義された値であってもよい。
i.LCUのSPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCU行/グループにおいて信号通知されるメッセージ
ii.現在のブロックおよび/またはその近傍のブロックのブロック寸法
iii.現在のブロックおよび/またはその近傍のブロックのブロック形状
iv.現在のブロック及び/又はその近傍のブロックの最も可能性の高いモード
v.現在のブロックの近傍のブロックの予測モード(イントラ/インター)
vi.現在のブロックのイントラ予測モード
vii.現在のブロックの近傍のブロックのイントラ予測モード
viii.現在のブロックの近傍のブロックの動きベクトル
ix.現在のブロックの近傍のブロックのQR-BDPCMモードの表示
x.現在のブロック及び/又はその近傍のブロックの現在の量子化パラメータ
xi.カラーフォーマットの表示(例えば、4:2:0、4:4:4)
xii.分離/二重符号化ツリー構造
xiii.現在のブロックに適用される変換タイプ
xiv.スライス/タイルグループのタイプおよび/またはピクチャのタイプ
12.QR-DPCMは1つのブロックに対してセグメントごとに適用してもよい。
a.一例において、残差予測方向が垂直であり、N=nKである場合、残差予測は、以下のように行っても良い。
a.一例において、残差予測方向が垂直であり、N=nKである場合、残差予測は、以下のように行っても良い。
b.一例において、残差予測方向が水平であり、M=mKである場合、残差予測は、以下のように行ってもよい。
13.1つの色成分に対してQR-DPCMを有効化/無効化にすることは、別の色成分に関連付けられたものから導出してもよい。
a.一例において、クロマブロックの場合、QR-DPCMを有効化するかどうかは、同一位置のルマブロック内の1つまたは複数の代表ブロックに関連付けられたQR-DPCMの使用に依存してもよい。
i.一例において、代表ブロックは、DM導出に用いられるものと同様に定義してもよい。
ii.一例において、並置された輝度ブロック内の代表的なブロックがQR-DPCM符号化され、現在のクロマブロックがDMモードで符号化される場合、QR-DPCMは、現在のクロマブロックに対しても有効化されてもよい。
b.代替的に、QR-DPCMの使用の指示は、クロマ成分のために信号通知してもよい。
i.一例において、2つのクロマ成分の使用を示すように、1つのフラグを信号通知してもよい。
ii.あるいは、2つのクロマ成分の使用をそれぞれ示すように、2つのフラグを信号通知してもよい。
iii.一例において、クロマブロックが特定のモード(例えば、CCLM)で符号化される場合、QR-DPCMの使用の指示の信号通知はスキップされる。
a.一例において、クロマブロックの場合、QR-DPCMを有効化するかどうかは、同一位置のルマブロック内の1つまたは複数の代表ブロックに関連付けられたQR-DPCMの使用に依存してもよい。
i.一例において、代表ブロックは、DM導出に用いられるものと同様に定義してもよい。
ii.一例において、並置された輝度ブロック内の代表的なブロックがQR-DPCM符号化され、現在のクロマブロックがDMモードで符号化される場合、QR-DPCMは、現在のクロマブロックに対しても有効化されてもよい。
b.代替的に、QR-DPCMの使用の指示は、クロマ成分のために信号通知してもよい。
i.一例において、2つのクロマ成分の使用を示すように、1つのフラグを信号通知してもよい。
ii.あるいは、2つのクロマ成分の使用をそれぞれ示すように、2つのフラグを信号通知してもよい。
iii.一例において、クロマブロックが特定のモード(例えば、CCLM)で符号化される場合、QR-DPCMの使用の指示の信号通知はスキップされる。
14.上記方法は、DPCM/QR-DPCM.の他の分散にも適用可能である。
5. 実施形態
5.1 実施形態#1
i.輝度イントラ予測モードのための導出処理
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
この処理において、輝度イントラ予測モードIntraPredModeY[xCb][yCb]が導出される。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
この処理において、輝度イントラ予測モードIntraPredModeY[xCb][yCb]が導出される。
表8-1に、イントラ予測モードIntraPredModeY[xCb][yCb]の値とその関連名称を示す。
注意-:イントラ予測モードINTRA_LT_CCLM、INTRA_L_CCLM、INTRA_T_CCLMは、クロマ成分にのみ適用可能である。
IntraPredModeY[xCb][yCb]は、以下の順序のステップによって導出される。
-近傍位置(xNbA、yNbA)および(xNbB、yNbB)は、それぞれ、(xCb-1,yCb+cbHeight-1)および(xCb+cbWidth-1,yCb-1)に等しく設定される。
-XをAまたはBのいずれかに置き換える場合、変数candIntraPredModeXは、以下のように導出される。
・・・
- 変数ispDefaultMode1及びispDefaultMode2は、以下のように定義される。
・・・
- x=0..5のcandModeList[x]は、以下のように導出される。
・・・
-近傍位置(xNbA、yNbA)および(xNbB、yNbB)は、それぞれ、(xCb-1,yCb+cbHeight-1)および(xCb+cbWidth-1,yCb-1)に等しく設定される。
-XをAまたはBのいずれかに置き換える場合、変数candIntraPredModeXは、以下のように導出される。
・・・
- 変数ispDefaultMode1及びispDefaultMode2は、以下のように定義される。
・・・
- x=0..5のcandModeList[x]は、以下のように導出される。
・・・
x=xCb..xCb+cbWidth-1およびy=yCb..yCb+cbHeight-1の場合、変数IntraPredModeY[x][y]は、IntraPredModeY[xCb][yCb]と等しく設定される。
5.2 実施形態#2
8.4.2 輝度イントラ予測モードのための導出処理
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
この処理において、輝度イントラ予測モードIntraPredModeY[xCb][yCb]が導出される。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
この処理において、輝度イントラ予測モードIntraPredModeY[xCb][yCb]が導出される。
表8-1に、イントラ予測モードIntraPredModeY[xCb][yCb]の値とその関連名称を示す。
注意-:イントラ予測モードINTRA_LT_CCLM、INTRA_L_CCLM、INTRA_T_CCLMは、クロマ成分にのみ適用可能である。
-近傍位置(xNbA、yNbA)および(xNbB、yNbB)は、それぞれ、(xCb-1,yCb+cbHeight-1)および(xCb+cbWidth-1,yCb-1)に等しく設定される。
-XをAまたはBのいずれかに置き換える場合、変数candIntraPredModeXは、以下のように導出される。
・・・
- 変数ispDefaultMode1及びispDefaultMode2は、以下のように定義される。
・・・
- x=0..5のcandModeList[x]は、以下のように導出される。
・・・
- IntraPredModeY[xCb][yCb]は、以下の手順を適用することによって導出される。
- intra_luma_mpm_flag[xCb][yCb]が1に等しい場合、IntraPredModeY[xCb][yCb]は、candModeList[intra_luma_mpm_[xCb][yCb]]に等しく設定される。
- そうでない場合、IntraPredModeY[xCb][yCb]は、以下の順序のステップを適用することによって導出される。
・・・
-XをAまたはBのいずれかに置き換える場合、変数candIntraPredModeXは、以下のように導出される。
・・・
- 変数ispDefaultMode1及びispDefaultMode2は、以下のように定義される。
・・・
- x=0..5のcandModeList[x]は、以下のように導出される。
・・・
- IntraPredModeY[xCb][yCb]は、以下の手順を適用することによって導出される。
- intra_luma_mpm_flag[xCb][yCb]が1に等しい場合、IntraPredModeY[xCb][yCb]は、candModeList[intra_luma_mpm_[xCb][yCb]]に等しく設定される。
- そうでない場合、IntraPredModeY[xCb][yCb]は、以下の順序のステップを適用することによって導出される。
・・・
x=xCb..xCb+cbWidth-1およびy=yCb..yCb+cbHeight-1の場合、変数IntraPredModeY[x][y]は、IntraPredModeY[xCb][yCb]と等しく設定される。
6. 参照
[1]
ITU-T and ISO/IEC,“高効率映像符号化”,Rec.ITU-T H.265 | ISO/IEC 23008-2(02/2018).
[2]
B.Bross,J.Chen,S.Liu,汎用映像符号化(草案4),JVET-M1001,Jan.2019
ITU-T and ISO/IEC,“高効率映像符号化”,Rec.ITU-T H.265 | ISO/IEC 23008-2(02/2018).
[2]
B.Bross,J.Chen,S.Liu,汎用映像符号化(草案4),JVET-M1001,Jan.2019
図10は、映像処理装置1000のブロック図である。装置1000は、本明細書に記載の方法の1つ以上を実装するために使用してもよい。装置1000は、スマートフォン、タブレット、コンピュータ、IoT(モノのインターネット)受信機等により実施されてもよい。装置1000は、1つ以上の処理装置1002と、1つ以上のメモリ1004と、映像処理ハードウェア1006と、を含んでもよい。1つまたは複数のプロセッサ1002は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)1004は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア1006は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
図11は、映像処理の方法1100の一例を示すフローチャートである。方法1100は、差分符号化モードを使用し、且つ共存規則に基づいてイントラ予測モードを選択的に使用して、現在の映像ブロックと前記現在の映像ブロックの前記ビットストリーム表現との変換を行うこと(1102)を含む。前記イントラ予測モードは前記現在の映像ブロックのサンプルに対する予測を生成するために使用される。前記差分符号化モードを使用して、差分パルス符号化変調表現を使って前記画素の前記予測から量子化残差を表現する。
図15は、本開示の技術を利用し得る例示的な映像符号化システム100を示すブロック図である。図15に示すように、映像符号化システム100は、送信元装置110と、送信先装置120と、を備えてもよい。送信元装置110は、符号化映像データを生成するものであり、映像符号化機器とも称され得る。送信先装置120は、送信元装置110によって生成された符号化映像データを復号し得るものであり、映像復号化デバイスと称され得る。送信元装置110は、映像ソース112と、映像エンコーダ114と、入出力(I/O)インタフェース116と、を備えてもよい。
映像ソース112は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインタフェース、および/または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、1つ以上のピクチャを含んでもよい。映像エンコーダ114は、映像ソース112からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データの符号化表現を形成するビットシーケンスを含んでもよい。ビットストリームは、符号化ピクチャおよび関連付けられたデータを含んでもよい。符号化ピクチャは、ピクチャの符号化表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。I/Oインタフェース116は、変復調器(モデム)および/または送信機を含んでもよい。符号化された映像データは、ネットワーク130aを介して、I/Oインタフェース116を介して送信先装置120に直接送信されてもよい。符号化された映像データは、送信先装置120がアクセスするために、記憶媒体/サーバ130bに記憶されてもよい。
送信先装置120は、I/Oインタフェース126、映像デコーダ124、および表示デバイス122を含んでもよい。
I/Oインタフェース126は、受信機および/またはモデムを含んでもよい。I/Oインタフェース126は、送信元装置110または記憶媒体/サーバ130bから符号化映像データを取得してもよい。映像デコーダ124は、符号化された映像データを復号化してもよい。表示デバイス122は、復号化された映像データをユーザに表示してもよい。表示デバイス122は、送信先装置120と一体化されてもよく、または外部表示デバイスとインタフェースするように構成される送信先装置120の外部にあってもよい。
映像エンコーダ114および映像デコーダ124は、高効率映像符号化(HEVC)規格、汎用映像符号化(VVVM)規格、および他の現在のおよび/または更なる規格等の映像圧縮規格に従って動作してもよい。
図16は、映像エンコーダ200の一例を示すブロック図であり、この映像エンコーダ200は、図15に示されるシステム100における映像エンコーダ114であってもよい。
映像エンコーダ200は、本開示の技術のいずれか又は全部を実行するように構成されてもよい。図16の実施例において、映像エンコーダ200は、複数の機能モジュールを備える。本開示で説明される技術は、映像エンコーダ200の様々なコンポーネント間で共有され得る。いくつかの例では、プロセッサは、本開示で説明される技術のいずれか又はすべてを実行するように構成されてもよい。
映像エンコーダ200の機能モジュールは、分割ユニット201、予測ユニット202、予測ユニット202を含んでもよく、予測ユニット202は、モード選択ユニット203、動き推定ユニット204、動き補償ユニット205、及びイントラ予測ユニット206、残差生成ユニット207、変換ユニット208、量子化ユニット209、逆量子化ユニット210、逆変換ユニット211、再構成ユニット212、バッファ213、及びエントロピー符号化ユニット214を含んでもよい。
他の例において、映像エンコーダ200は、より多くの、より少ない、又は異なる機能コンポーネントを含んでもよい。一例において、予測ユニット202は、IBC(Intra Block Copy)ユニットを含んでもよい。IBCユニットは、少なくとも1つの参照ピクチャが現在の映像ブロックが位置するピクチャであるIBCモードにおいて、予測(predication)を行うことができる。
さらに、動き推定ユニット204及び動き補償ユニット205などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図16の例においては別々に表されている。
分割ユニット201は、1つのピクチャを1つ以上の映像ブロックに分割することができる。映像エンコーダ200及び映像デコーダ300は、様々な映像ブロックサイズをサポートしてもよい。
モード選択ユニット203は、例えば、エラー結果に基づいて、イントラ又はインターのいずれかの符号化モードの1つを選択し、得られたイントラ又はインター符号化ブロックを、残差生成ユニット207に供給して残差ブロックデータを生成し、再構成ユニット212に供給して参照ピクチャとしての使用のために符号化ブロックを再構成してもよい。いくつかの例では、モード選択ユニット203は、インター予測信号及びイントラ予測信号に基づいて予測を行うイントラ及びインター組み合わせ予測(CIIP)モードを選択してもよい。モード選択ユニット203は、インター予測の場合、ブロックのために動きベクトルの解像度(例えば、サブピクセル又は整数ピクセル精度)を選択してもよい。
現在の映像ブロックに対してインター予測を実行するために、動き推定ユニット204は、バッファ213からの1つ以上の参照フレームと現在の映像ブロックとを比較することで、現在の映像ブロックのために動き情報を生成してもよい。動き補償ユニット205は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ213からのピクチャの動き情報及び復号化サンプルに基づいて、現在の映像ブロックのために予測映像ブロックを判定してもよい。
動き推定ユニット204及び動き補償ユニット205は、例えば、現在の映像ブロックがIスライスであるか、Pスライスであるか、又はBスライスであるかに基づいて、現在の映像ブロックに対して異なる演算を実行することができる。
いくつかの例において、動き推定ユニット204は、現在の映像ブロックに対して単方向予測を実行し、動き推定ユニット204は、現在の映像ブロックに対して、リスト0又はリスト1の参照ピクチャを検索して、参照映像ブロックを求めることができる。そして、動き推定ユニット204は、リスト0又はリスト1における、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの空間変位を示す動きベクトルとを含む参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット204は、参照インデックス、予測方向インジケータ、及び動きベクトルを、現在の映像ブロックの動き情報として出力する。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。
他の例において、動き推定ユニット204は、現在の映像ブロックを双方向予測してもよく、動き推定ユニット204は、リスト0における参照ピクチャの中から現在の映像ブロックために参照映像ブロックを検索してもよく、また、リスト1における参照ピクチャの中から現在の映像ブロックのために別の参照映像ブロックを検索してもよい。次に、動き推定ユニット204は、参照映像ブロックを含むリスト0及びリスト1における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの空間変位を示す動きベクトルと、を生成してもよい。動き推定ユニット204は、現在の映像ブロックの参照インデックス及び動きベクトルを、現在の映像ブロックの動き情報として出力する。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成する。
いくつかの例において、動き推定ユニット204は、デコーダの復号化処理のために、動き情報のフルセットを出力してもよい。
いくつかの例では、動き推定ユニット204は、現在の映像のために動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット204は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット204は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似していると判定してもよい。
一例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ300に示す値を示してもよい。
別の例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差分(MVD)と、を識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ300は、指示された映像ブロックの動きベクトルと、動きベクトル差分と、を用いて、現在の映像ブロックの動きベクトルを判定してもよい。
上述したように、映像エンコーダ200は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ200によって実施され得る予測信号通知の技術の2つの例は、高度動きベクトル予測(AMVP)及びマージモード信号通知を含む。
イントラ予測ユニット206は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット206が現在の映像ブロックをイントラ予測する場合、イントラ予測ユニット206は、同じピクチャ中の他の映像ブロックの復号化されたサンプルに基づいて、現在の映像ブロックのために予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロック及び様々な構文要素を含んでもよい。
残差生成ユニット207は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって(例えば、マイナス符号によって示されている)、現在の映像ブロックのために残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。
他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差データがなくてもよく、残差生成ユニット207は、減算演算を実行しなくてもよい。
変換処理ユニット208は、現在の映像ブロックに関連付けられた残差映像ブロックに1つ以上の変換を適用することによって、現在の映像ブロックのために1つ以上の変換係数映像ブロックを生成してもよい。
変換処理ユニット208が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット209は、現在の映像ブロックに関連付けられた1つ以上の量子化パラメータ(QP)値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。
逆量子化ユニット210および逆変換ユニット211は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット212は、予測ユニット202が生成した1つ以上の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを加え、現在のブロックに関連付けられた再構成映像ブロックを生成し、バッファ213に記憶することができる。
再構成ユニット212が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング演算を行ってもよい。
エントロピー符号化ユニット214は、映像エンコーダ200の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット214は、データを受信すると、1つ以上のエントロピー符号化演算を行い、エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力してもよい。
図17は、映像デコーダ300の一例を示すブロック図であり、この映像デコーダ300は、図15に示されるシステム100における映像デコーダ114であってもよい。
映像デコーダ300は、本開示の技術のいずれか又は全部を実行するように構成されてもよい。図17の実施例において、映像デコーダ300は、複数の機能モジュールを備える。本開示で説明される技法は、映像デコーダ300の様々なモジュール間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれか又はすべてを実行するように構成されてもよい。
図17の実施例において、映像デコーダ300は、エントロピー復号化ユニット301、動き補償ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変換ユニット305、及び再構成ユニット306、並びにバッファ307を備える。映像デコーダ300は、いくつかの例では、映像エンコーダ200(図16)に関して説明した符号化パスとほぼ逆の復号化パスを行ってもよい。
エントロピー復号化ユニット301は、符号化ビットストリームを取り出す。符号化ビットストリームは、エントロピー符号化された映像データ(例えば、映像データの符号化ブロック)を含んでもよい。エントロピー復号化ユニット301は、エントロピー符号化された映像データを復号化し、エントロピー復号化された映像データから、動き補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を判定してもよい。動き補償ユニット302は、例えば、AMVP及びマージモードを実行することで、このような情報を判定してもよい。
動き補償ユニット302は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を実行する。構文要素には、サブピクセルの精度で使用される補間フィルタのための識別子が含まれてもよい。
動き補償ユニット302は、映像ブロックの符号化中に映像エンコーダ20によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間値を計算してもよい。動き補償ユニット302は、受信した構文情報に基づいて、映像エンコーダ200が使用する補間フィルタを判定し、この補間フィルタを使用して予測ブロックを生成してもよい。
動き補償ユニット302は、構文情報の一部を使用して、符号化された映像シーケンスのフレーム(複数可)および/またはスライス(複数可)を符号化するために使用されるブロックのサイズ、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、インター符号化ブロック毎の1つ以上の参照フレーム(および参照フレームリスト)、および符号化された映像シーケンスを復号化するための他の情報を判定してもよい。
イントラ予測ユニット303は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット303は、ビットストリームにおいて提供され、エントロピー復号化ユニット301によって復号化された量子化された映像ブロック係数を逆量子化、すなわち、非量子化する。逆変換ユニット303は、逆変換を適用する。
再構成ユニット306は、残差ブロックと、動き補償ユニット202又はイントラ予測ユニット303によって生成された対応する予測ブロックと、を合計し、復号化されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号化されたブロックをフィルタリングするために非ブロック化フィルタを適用してもよい。復号化された映像ブロックは、バッファ307に記憶され、バッファ307は、後続の動き補償/イントラ予測のために参照ブロックを提供し、且つ表示装置に表示するために復号化された映像を生成する。
本発明の実施例において、ALWIPモード又はMIPモードにおいて、現在の映像ブロックのための予測ブロックは、行及び列の平均値をとり、その後に行列乗算をし、その後に補間をして予測ブロックを判定することができる。
図18は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム2100を示すブロック図である。様々な実装形態は、システム2100のモジュールの一部又は全部を含んでもよい。システム2100は、映像コンテンツを受信するための入力ユニット2102を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、8又は10ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット2102は、ネットワークインタフェース、周辺バスインタフェース、又は記憶インタフェースを表してもよい。ネットワークインタフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インタフェース、およびWi-Fi(登録商標)またはセルラーインタフェース等の無線インタフェースを含む。
システム2100は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール2104を含んでもよい。符号化モジュール2104は、入力ユニット2102から符号化モジュール2104の出力への映像の平均ビットレートを低減して、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール2104の出力は、モジュール2106によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット2102において受信された、記憶された又は通信された映像のビットストリーム(又は符号化)表現は、モジュール2108によって使用されて、表示インタフェースユニット2110に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダで使用され、対応する復号化ツール又は動作であり符号化の結果を逆にするものは、デコーダによって行われることが理解されよう。
周辺バスインタフェースユニットまたは表示インタフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインタフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインタフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインタフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び/又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、1つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、決定または判定に基づいて無効化された映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知って、ビットストリームを処理する。
図19は、映像処理方法1900の例を示すフローチャートである。方法1900は、差分符号化モードを使用して、現在の映像ブロックに関連付けられて記憶されるべき第1のイントラ符号化モードを判定することによって、映像の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換を実行すること(1902)を含み、ここで、現在の映像ブロックに関連付けられた第1のイントラ符号化モードは、差分符号化モードによって使用される第2の予測モードに従って判定され、その差分符号化モードにおいて、現在の映像ブロックのイントラ予測の量子化残差とこの量子化残差の予測との差分を、差分パルス符号化変調(DPCM)表現を使用して、現在の映像ブロックのためにビットストリーム表現で表現する。
方法1900のためのいくつかの実施例において、第2の予測モードが垂直予測モードであることに応じて、第1のイントラ符号化モードが垂直イントラ予測モードと推測される。方法1900のためのいくつかの実施例において、第2の予測モードが水平予測モードであることに応じて、第1のイントラ符号化モードが水平イントラ予測モードであると推測される。方法1900のためのいくつかの実施例において、第2の予測モードが左上対角予測モードであることに応じて、第1のイントラ符号化モードが左上対角イントラ予測モードと推測される。方法1900のいくつかの実施例において、第1のイントラ符号化モードは第2の予測モードと同じであると推測されてよい。
方法1900のためのいくつかの実施例において、第2の予測モードは、第1のイントラ符号化モードと同じであると推測される。方法1900のためのいくつかの実施例において、第1のイントラ符号化モードは、最確モード(MPM)リストにおけるモードに基づいて推測される。方法1900のためのいくつかの実施例において、第1のイントラ符号化モードは、予め定義されたイントラ予測モードである。方法1900のためのいくつかの実施例において、予め定義されたイントラ予測モードは、平面モードを含む。方法1900のためのいくつかの実施例において、予め定義されたイントラ予測モードは、DCモードを含む。方法1900のためのいくつかの実施例において、予め定義されたイントラ予測モードは、垂直モードを含む。方法1900のためのいくつかの実施例において、予め定義されたイントラ予測モードは、水平モードを含む。方法1900のためのいくつかの実施例において、映像の追加の映像ブロックは、第1のイントラ符号化モードで符号化され、現在の映像ブロックは、時間的に追加の映像ブロックに先行する。方法1900のためのいくつかの実施例において、第1のイントラ符号化モードを用いて、追加の映像ブロックのために最確モード(MPM)リストを構築する。
図20は、映像処理方法2000の例を示すフローチャートである。方法2000は、規則に従って、映像の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換中に差分符号化モードで使用されるイントラ符号化モードを判定すること(2002)を含む。動作2004は、上記の判定に基づいて、差分符号化モードを使用して、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との変換を実行し、差分符号化モードにおいて、現在の映像ブロックのイントラ予測の量子化残差とこの量子化残差の予測との差分を、差分パルス符号化変調(DPCM)表現を使用して、現在の映像ブロックのためにビットストリーム表現で表現し、量子化残差の予測はイントラ符号化モードに従って実行される。
方法2000のためのいくつかの実施例において、この規則は、現在の映像ブロックに関連付けられた色成分に基づいてイントラ符号化モードを判定することを規定する。方法2000のいくつかの実施例において、この規則は、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、又はLCU群において信号通知されるメッセージに基づいてイントラ符号化モードを判定することを規定する。方法2000のためのいくつかの実施例において、この規則は、差分符号化モードにおいてイントラ符号化モードが実行される方向を示すフラグに基づいて、イントラ符号化モードを判定することを規定する。方法2000のためのいくつかの実施例において、この規則は、量子化残差の予測の方向を示すフラグに基づいて、イントラ符号化モードを判定することを規定する。方法2000のためのいくつかの実施例において、この規則は、現在の映像ブロックか現在の映像ブロックの近傍の映像ブロックのどちらかのブロック寸法に基づいてイントラ符号化モードを判定することを規定する。
方法2000のためのいくつかの実施例において、この規則は、現在の映像ブロックか現在の映像ブロックの近傍の映像ブロックのどちらかの形状に基づいて、イントラ符号化モードを判定することを規定する。方法2000のためのいくつかの実施例において、この規則は、現在の映像ブロック又は現在の映像ブロックの近傍の映像ブロックの最確モード(MPM)に基づいてイントラ符号化モードを判定することを規定する。方法2000のためのいくつかの実施例において、この規則は、現在の映像ブロックの近傍の映像ブロックのインター予測モード又はイントラ予測モードに基づいてイントラ符号化モードを判定することを規定する。方法2000のためのいくつかの実施例において、この規則は、現在の映像ブロックの近傍の映像ブロックの動きベクトルに基づいてイントラ符号化モードを判定することを規定する。方法2000のためのいくつかの実施例において、この規則は、現在の映像ブロックの近傍の映像ブロックが差分符号化モードを用いて符号化されているかどうかの指示に基づいて、イントラ符号化モードを判定することを規定する。
方法2000のいくつかの実施例において、この規則は、現在の映像ブロック又は現在の映像ブロックの近傍の映像ブロックの量子化パラメータの値に基づいてイントラ符号化モードを判定することを規定する。方法2000のいくつかの実施例において、この規則は、現在の映像ブロックを符号化するために用いられるカラーフォーマットに基づいてイントラ符号化モードを判定することを規定する。方法2000のためのいくつかの実施例において、この規則は、現在の映像ブロックを符号化するために別個の又は二重された符号化ツリー構造を用いるかどうかに基づいて、イントラ符号化モードを判定することを規定する。方法2000のためのいくつかの実施例において、この規則は、現在の映像ブロックに適用される変換タイプに基づいてイントラ符号化モードを判定することを規定する。方法2000のいくつかの実施例において、この規則は、現在の映像ブロックに関連付けられたスライス又はタイルグループタイプ又はピクチャのタイプに基づいて、イントラ符号化モードを判定することを規定する。
以下の例のリストは、追加の実施形態の説明である。
1.映像処理方法は、差分符号化モードを使用し、且つ共存規則に基づいてイントラ予測モードを選択的に使用して、現在の映像ブロックと前記現在の映像ブロックの前記ビットストリーム表現との変換を行うことを含み、前記イントラ予測モードは、前記現在の映像ブロックのサンプルに対する予測を生成するために使用され、前記差分符号化モードを使用して、差分パルス符号化変調表現を使用して、前記画素の前記予測から量子化残差を表現する、方法。
2.前記イントラ予測モードは、行列ベースのイントラ予測モード(MIP)であり、前記共存規則は、前記MIPを前記MIPの許容モードの一部に限定する、実施例1に記載の方法。
3.許容モードの一部は、水平又は垂直の通常イントラモードを含む、実施例2に記載の方法。
実施例1~3のさらなる実施形態は、第4章の第1項に記載されている。例えば、差分符号化モードは、QR-BDPCM符号化モードの現在のバージョンを表してもよい。
4.前記イントラ予測モードは、非水平又は非垂直方向に沿った予測を含む、実施例1に記載の方法。
5.前記イントラ予測モードは、平面予測モードであるか、又はDC予測モードである、実施例1又は4に記載の方法。
6.前記イントラ予測モードは、垂直又は水平予測モードである、実施例1又は4に記載の方法。
7.前記イントラ予測モードは、前記ビットストリーム表現における1つのフィールドによって識別される、実施例1又は4に記載の方法。
8.前記イントラ予測モードは、現在の映像ブロック又は近傍のブロックのブロック寸法に依存する、実施例1又は4に記載の方法。
9.前記イントラ予測モードは、現在のブロック又は近傍のブロックの形状に依存する、実施例1又は4に記載の方法。
10.前記イントラ予測モードは、現在の映像ブロック又は前記近傍の映像ブロックがインター予測又はイントラ予測を使用して符号化されるかに依存する、実施例1又は4に記載の方法。
11.前記イントラ予測モードは、前記近傍の映像ブロックが前記差分符号化モードを用いて符号化されるかどうかに依存する、実施例1又は4に記載の方法。
12.前記イントラ予測モードは、現在の映像ブロック又は近傍の映像ブロックに使用される量子化パラメータの値に依存する、実施例1又は4に記載の方法。
13.前記イントラ予測モードは、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに依存する、実施例1又は4に記載の方法。
14.前記イントラ予測モードは、前記現在の映像ブロックを符号化するために別個の符号化ツリー構造を使用するか又は二重化された符号化ツリー構造を使用するかに依存する、実施例1又は4に記載の方法。
実施例4~14のさらなる実施形態は、第4章の第2項に記載されている。
15.現在の映像ブロックのサンプルの予測の生成を、近傍の映像領域内の非隣接サンプルから実行する、実施例1に記載の方法。
16.前記イントラ予測モードは、前記イントラブロックコピーマージモードを含む、実施例1に記載の方法。
17.前記イントラ予測モードは、イントラブロックコピー高度動きベクトル予測モードを含む、実施例1に記載の方法。
18.前記イントラ予測モードは、ブロックベクトル又はマージインデックスによって示される、実施例15~17のいずれかに記載の方法。
実施例15~18のさらなる実施形態は、第4章の第3項に記載されている。
19.前記共存規則は、前記ビットストリーム表現におけるフィールドに基づいて、前記差分符号化モードにおける信号通知されたインデックスから前記イントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
20.前記共存規則は、現在の映像ブロック又は近傍のブロックの寸法に基づいて、差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
21.前記共存規則は、現在の映像ブロック又は近傍のブロックの形状に基づいて、差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
22.前記共存規則は、現在の映像ブロック又は近傍のブロックの予測モードに基づいて、差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
23.前記共存規則は、現在の映像ブロック又は近傍のブロックの最確モードに基づいて、差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
24.前記共存規則は、現在の映像ブロック又は近傍のブロックの動きベクトルに基づいて、差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
25.前記共存規則は、前記差分符号化モードにおいて信号通知されたインデックスから前記イントラ予測モードへのマッピングを、近傍のブロックが前記差分符号化モードで符号化されているかどうかに基づいて規定する、実施例1に記載の方法。
26.前記共存規則は、現在の映像ブロック又は近傍のブロックで使用される量子化パラメータに基づいて、差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
27.前記共存規則は、前記現在の映像ブロックのカラーフォーマットに基づいて、前記差分符号化モードにおける信号通知されたインデックスから前記イントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
28.前記共存規則は、前記現在の映像ブロックが別個の符号化ツリーを使用するかまたは二重化された符号化ツリーを使用するかに基づいて、前記差分符号化モードにおける信号通知されたインデックスからイントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
29.前記共存規則は、前記現在の映像ブロックに適用される変換に基づいて、前記差分符号化モードにおける信号通知されたインデックスから前記イントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
30.前記共存規則は、前記現在の映像ブロックのスライスタイプ、タイルグループタイプ又はピクチャタイプに基づいて、前記差分符号化モードにおける信号通知されたインデックスから前記イントラ予測モードへのマッピングを規定する、実施例1に記載の方法。
実施例19~30のさらなる実施形態は、第4章の第2項に記載されている。
31.映像処理方法は、現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換を、前記現在の映像ブロックの画素の予測からの量子化残差ブロックが差分パルス符号化変調表現を使用して表現される差分符号化モードを使用して行うことを含み、前記予測の第1の方向又は前記差分符号化モードの第2の方向は前記ビットストリーム表現から推測可能である、方法。
32.画素の前記予測の前記第1の方向は、前記予測に使用されるイントラ予測モードから暗黙的に推測可能である、実施例31に記載の方法。
33.前記差分符号化モードの前記第2の方向は、前記予測の前記第1の方向と同じ方向であると推測可能である、実施例32に記載の方法。
34.前記第2の方向は、前記予測に使用されるイントラ予測モードから推測可能である、実施例31に記載の方法。
35.前記第2の方向は、前記現在の映像ブロック又は近傍のブロックの寸法、又は前記現在の映像ブロック又は近傍のブロックの形状から推測可能である、実施例31に記載の方法。
36.前記第2の方向は、近傍のブロックの動きベクトルから推測可能である、実施例31に記載の方法。
37.前記第2の方向は、前記現在の映像ブロック又は近傍のブロックの最確モードから推測可能である、実施例31に記載の方法。
38.前記第2の方向は、近傍のブロックの予測モードから推測可能である、実施例31に記載の方法。
39.前記第2の方向は、近傍のブロックのイントラ予測モードから推測可能である、実施例31に記載の方法。
40.前記第2の方向が、近傍のブロックが前記差分符号化モードを使用するか否かから推測することができる、実施例31に記載の方法。
実施例31~40のさらなる実施形態は、第4章の第4項に記載されている。
41.映像処理方法は、適用規則に基づいて、現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換に差分符号化モードが適用可能であることを判定することと、前記差分符号化モードを用いて、現在の映像ブロックとビットストリーム表現との変換を実行することと、を含み、前記差分符号化モードにおいて、前記現在の映像ブロックの画素のイントラ予測からの量子化残差ブロックは、水平または垂直方向とは異なる残差予測方向に行われる差分パルス符号化変調表現を使用して表現される、方法。
42.前記残差予測方向は45度方向である、実施例41に記載の方法。
43.前記残差予測方向は、135度方向である、実施例41に記載の方法。
44.前記残差予測方向は、前記ビットストリーム表現におけるフィールド、又は前記現在の映像ブロック若しくは近傍のブロックの寸法、又は前記現在の映像ブロック若しくは前記近傍のブロックの形状に関連する、実施例41に記載の方法。
実施例41~44のさらなる実施形態は、第4章の第7項に記載されている。
45.前記適用規則は、前記現在の映像ブロックがクロマブロックであることに起因して、前記差分符号化モードを使用することを規定する、実施例41に記載の方法。
46.前記適用規則は、前記現在の映像ブロックのための前記残差予測方向が、前記現在の映像ブロックに対応する輝度ブロックのためのものと同じ方向であることをさらに規定する、実施例45に記載の方法。
47.前記適用規則は、前記現在の映像ブロックに対してクロスコンポーネント線形モデル(CCLM)符号化モードを使用しないことに起因して、差分符号化を使用することを規定する、実施例41に記載の方法。
実施例45~47のさらなる実施形態は、第4章の第8項に記載されている。
48.前記適用規則は、1つの色成分に対する前記差分符号化モードの適用可能性を、別の色成分に対する前記差分符号化モードの適用可能性から導出することを規定する、実施例41に記載の方法。
実施例48のさらなる実施形態は、第4章の第12項に記載されている。
49.映像処理方法は、差分符号化モードが現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換に適用可能であることを判定することと、前記差分符号化モードの実装規則を使用して、現在の映像ブロックとビットストリーム表現との前記変換を行うことと、を含み、前記差分符号化モードにおいて、前記現在の映像ブロックの画素のイントラ予測からの量子化残差ブロックは、水平方向又は垂直方向とは異なる残差予測方向に行われる差分パルス符号化変調表現を使用して表現される、方法。
50.前記実施規則は、前記量子化残差ブロックの値をある範囲内に制限することを規定する、実施例49に記載の方法。
51.前記実装規則は、クリッピングを使用して前記量子化残差ブロックを取得することを規定する、実施例49に記載の方法。
実施例49~51のさらなる実施形態は、第4章の第9項に記載されている。
52. 前記実装規則は、前記現在の映像ブロックの最後の行から前記現在の映像ブロックの第1の行への予測を実行することを規定する、実施例49に記載の方法。
53. 前記実装規則は、前記現在の映像ブロックの最後の列から前記現在の映像ブロックの第1の列への予測を実行することを規定する、実施例49に記載の方法。
実施例52~53のさらなる実施形態は、第4章の第10項に記載されている。
54.前記実装規則は、前記現在の映像ブロックのサブセットのみに前記差分符号化モードを適用することを規定する、実施例49に記載の方法。
55.前記サブセットは、k個の左側の残差列を除外し、ここで、kは、前記ブロックのピクセル幅よりも小さい整数である、実施例54に記載の方法。
56.前記サブセットは、k個の上行の残差を除外し、ここで、kは、前記ブロックのピクセル高さよりも小さい整数である、実施例54に記載の方法。
実施例54~56のさらなる実施形態は、第4章の第10項に記載されている。
57.前記実施規則は、前記差分符号化モードをセグメントごとに前記変換に適用することを規定する、実施例49に記載の方法。
実施例57のさらなる実施形態は、第4章の第12項に記載されている。
58.映像処理方法は、現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換中に使用される差分符号化モードが、前記現在の映像ブロックに関連するイントラ符号化モードと同じであることを判定することと、前記差分符号化モードの実装規則を使用して、現在の映像ブロックとビットストリーム表現との前記変換を実行することとを含み、前記差分符号化モードにおいて、前記現在の映像ブロックのピクセルのイントラ予測からの量子化残差ブロックは、水平方向又は垂直方向とは異なる残差予測方向に実行される差分パルス符号化変調表現を使用して表現される、映像処理方法。
59.前記差分符号化モードは、垂直イントラ予測モードである、実施例58に記載の方法。
60.前記差分符号化モードは、水平イントラ予測モードである、実施例58に記載の方法。
61.前記差分符号化モードは、予め定義されたイントラ予測モードである、実施例58に記載の方法。
実施例58~61のさらなる実施形態は、第4章の第5項に記載する。
62. 実施例1~61に記載の1つ以上を実装するように構成された処理装置を備える映像処理装置。
63.コードが記憶されたコンピュータ読み取り可能な媒体であって、前記コードが処理装置によって実行されると、処理装置に、実施例1~61のいずれか1つ以上に記載の方法を実装させる、コンピュータ読み取り可能な媒体。
本明細書における例の一覧において、用語「変換」は、現在の映像ブロックのためのビットストリーム表現の生成、又はビットストリーム表現から現在の映像ブロックを生成することを指すことができる。ビットストリーム表現は、ビットの連続したグループを表す必要がなく、ヘッダフィールド又は符号化画素値情報を表すコード名に含まれるビットに分割されてもよい。
上記の例において、適用可能性規則は、予め定義されたものであってもよく、エンコーダ及びデコーダに知られたものであってもよい。
本明細書に記載されているように、開示された技術は、映像エンコーダまたはデコーダで実施されて、イントラ符号化における差分符号化モードの使用に関して考慮事項の様々な実装規則の使用を含む技術を使用して圧縮効率を改善し得ることが理解されよう。
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテクストで説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテクストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
関連出願の相互参照
本願は、日本特許出願2021-563191号に基づくものであり、この日本特許出願は、2020年4月30日出願の国際特許出願PCT/US2020/030684号に基づくものであり、この国際特許出願は、2019年5月1日出願の国際特許出願PCT/CN2019/085398号の優先権および利益を主張する。上記の特許出願は、参照によりその全体が本明細書に組み込まれる。
本願は、日本特許出願2021-563191号に基づくものであり、この日本特許出願は、2020年4月30日出願の国際特許出願PCT/US2020/030684号に基づくものであり、この国際特許出願は、2019年5月1日出願の国際特許出願PCT/CN2019/085398号の優先権および利益を主張する。上記の特許出願は、参照によりその全体が本明細書に組み込まれる。
Claims (32)
- 映像処理方法であって、
映像の現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換を、差分符号化モードを用いて前記現在の映像ブロックに関連付けられて記憶されるべき第1のイントラ符号化モードを判定することにより、実行することを含み、
前記現在の映像ブロックに関連付けられた前記第1のイントラ符号化モードは、前記差分符号化モードによって使用される第2の予測モードに従って判定され、
前記差分符号化モードにおいて、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分は、差分パルス符号化変調(DPCM)表現を使用して、前記現在の映像ブロックのために前記ビットストリーム表現で表現される、
方法。 - 前記第2の予測モードが垂直予測モードであることに応じて、前記第1のイントラ符号化モードは垂直イントラ予測モードであると推測される、
請求項1に記載の方法。 - 前記第2の予測モードが水平予測モードであることに応じて、前記第1のイントラ符号化モードが水平イントラ予測モードであると推測される、
請求項1に記載の方法。 - 前記第2の予測モードが左上対角予測モードであることに応じて、前記第1のイントラ符号化モードが左上対角イントラ予測モードであると推測される、
請求項1に記載の方法。 - 前記第1のイントラ符号化モードは、前記第2の予測モードと同じであると推測される、
請求項1に記載の方法。 - 前記第2の予測モードは、前記第1のイントラ符号化モードと同じであると推測される、
請求項1に記載の方法。 - 前記第1のイントラ符号化モードは、最確モード(MPM)リストにおけるモードに基づいて推測される、
請求項1に記載の方法。 - 前記第1のイントラ符号化モードは、予め定義されたイントラ予測モードである、
請求項1に記載の方法。 - 前記予め定義されたイントラ予測モードは、平面モードを含む、
請求項8に記載の方法。 - 前記予め定義されたイントラ予測モードは、DCモードを含む、
請求項8に記載の方法。 - 前記予め定義されたイントラ予測モードは、垂直モードを含む、
請求項8に記載の方法。 - 前記予め定義されたイントラ予測モードは、水平モードを含む、
請求項8に記載の方法。 - 映像処理方法であって、
規則に基づいて、映像の現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との変換中に、差分符号化モードで使用されるイントラ符号化モードの判定を行うことと、
前記判定に基づいて、前記差分符号化モードを用いて、前記現在の映像ブロックと前記現在の映像ブロックの前記ビットストリーム表現との前記変換を実行することと、
を含み、
前記差分符号化モードにおいて、前記現在の映像ブロックのイントラ予測の量子化残差と前記量子化残差の予測との差分は、差分パルス符号化変調(DPCM)表現を使用して、前記現在の映像ブロックのために前記ビットストリーム表現で表現され、
前記量子化残差の前記予測は、前記イントラ符号化モードに従って実行される、
方法。 - 前記規則は、前記現在の映像ブロックに関連付けられた色成分に基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行、又はLCU群において信号通知されるメッセージに基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記差分符号化モードにおいて前記イントラ符号化モードを実行する方向を示すフラグに基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記量子化残差の前記予測の方向を示すフラグに基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックかのどちらかのブロック寸法に基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記現在の映像ブロックか前記現在の映像ブロックの近傍の映像ブロックかのどちらかの形状に基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記現在の映像ブロック又は前記現在の映像ブロックの近傍の映像ブロックの最確モード(MPM)に基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記現在の映像ブロックの近傍の映像ブロックのインター予測モード又はイントラ予測モードに基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記現在の映像ブロックの近傍の映像ブロックの動きベクトルに基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記現在の映像ブロックの近傍の映像ブロックが前記差分符号化モードを使用して符号化されるかどうかの指示に基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記現在の映像ブロックにおける又は前記現在の映像ブロックの近傍の映像ブロックにおける量子化パラメータの値に基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記現在の映像ブロックを符号化するために使用されるカラーフォーマットに基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記現在の映像ブロックを符号化するために別個の又は二重化された符号化ツリー構造を使用するかどうかに基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記現在の映像ブロックに適用される変換タイプに基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記規則は、前記現在の映像ブロックに関連付けられたスライス又はタイルグループタイプ又はピクチャタイプに基づいて、前記イントラ符号化モードを判定することを規定する、
請求項13に記載の方法。 - 前記映像の追加の映像ブロックは、前記第1のイントラ符号化モードで符号化され、
前記現在の映像ブロックは、時間的に前記追加の映像ブロックに先行する、
請求項1に記載の方法。 - 前記第1のイントラ符号化モードを使用して、前記追加の映像ブロックのために最確モード(MPM)リストを構築する、
請求項29に記載の方法。 - 請求項1~30の1つ以上に実装するように構成された処理装置を備える映像処理装置。
- コードが記憶された非一時的なコンピュータ可読媒体であって、
前記コードは、処理装置によって実行されると、前記処理装置に、請求項1~30のいずれか1項以上に記載の方法を実装させる、
非一時的なコンピュータ可読媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2019/085398 | 2019-05-01 | ||
CN2019085398 | 2019-05-01 | ||
PCT/US2020/030684 WO2020223467A1 (en) | 2019-05-01 | 2020-04-30 | Intra coded video using quantized residual differential pulse code modulation coding |
JP2021563191A JP7311627B2 (ja) | 2019-05-01 | 2020-04-30 | 量子化残差差分パルス符号変調符号化を使用したイントラ符号化映像 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021563191A Division JP7311627B2 (ja) | 2019-05-01 | 2020-04-30 | 量子化残差差分パルス符号変調符号化を使用したイントラ符号化映像 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023139037A true JP2023139037A (ja) | 2023-10-03 |
Family
ID=73029310
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021563191A Active JP7311627B2 (ja) | 2019-05-01 | 2020-04-30 | 量子化残差差分パルス符号変調符号化を使用したイントラ符号化映像 |
JP2023111065A Pending JP2023139037A (ja) | 2019-05-01 | 2023-07-05 | 量子化残差差分パルス符号変調符号化を使用したイントラ符号化映像 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021563191A Active JP7311627B2 (ja) | 2019-05-01 | 2020-04-30 | 量子化残差差分パルス符号変調符号化を使用したイントラ符号化映像 |
Country Status (6)
Country | Link |
---|---|
US (3) | US11431966B2 (ja) |
EP (1) | EP3942799A4 (ja) |
JP (2) | JP7311627B2 (ja) |
KR (1) | KR102707777B1 (ja) |
CN (2) | CN113796069B (ja) |
WO (1) | WO2020223467A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113906753B (zh) | 2019-04-24 | 2023-12-01 | 字节跳动有限公司 | 编解码视频的量化残差差分脉冲编解码调制表示的约束 |
CN113785306B (zh) | 2019-05-02 | 2024-06-14 | 字节跳动有限公司 | 基于编解码树结构类型的编解码模式 |
EP3949387A4 (en) | 2019-05-02 | 2022-05-18 | ByteDance Inc. | SIGNALING IN A TRANSFORM JUMP MODE |
WO2020235959A1 (ko) * | 2019-05-22 | 2020-11-26 | 엘지전자 주식회사 | 영상 코딩 시스템에서 bdpcm을 사용하는 영상 디코딩 방법 및 그 장치 |
EP3985970A4 (en) | 2019-06-11 | 2022-08-03 | Wilus Institute of Standards and Technology Inc. | VIDEO SIGNAL PROCESSING METHOD AND APPARATUS USING A BLOCK DPCM PREDICTION METHOD |
KR102639614B1 (ko) * | 2019-06-13 | 2024-02-21 | 엘지전자 주식회사 | 움직임 벡터 예측 기반 영상/비디오 코딩 방법 및 장치 |
Family Cites Families (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11275592A (ja) | 1998-01-22 | 1999-10-08 | Victor Co Of Japan Ltd | 動画像符号列変換装置及びその方法 |
KR100813963B1 (ko) * | 2005-09-16 | 2008-03-14 | 세종대학교산학협력단 | 동영상의 무손실 부호화, 복호화 방법 및 장치 |
WO2007139266A1 (en) | 2006-06-01 | 2007-12-06 | Electronics And Telecommunications Research Institute | Method and apparatus for video coding on pixel-wise prediction |
TW201028018A (en) | 2009-01-07 | 2010-07-16 | Ind Tech Res Inst | Encoder, decoder, encoding method and decoding method |
KR101379185B1 (ko) | 2009-04-14 | 2014-03-31 | 에스케이 텔레콤주식회사 | 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
UA109312C2 (uk) | 2011-03-04 | 2015-08-10 | Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації | |
KR20130049523A (ko) * | 2011-11-04 | 2013-05-14 | 오수미 | 인트라 예측 블록 생성 장치 |
US9503750B2 (en) | 2011-11-04 | 2016-11-22 | Futurewei Technologies, Inc. | Binarization of prediction residuals for lossless video coding |
US10390046B2 (en) | 2011-11-07 | 2019-08-20 | Qualcomm Incorporated | Coding significant coefficient information in transform skip mode |
US9332259B2 (en) | 2012-01-18 | 2016-05-03 | Qualcomm Incorporated | Indication of use of wavefront parallel processing in video coding |
US9838684B2 (en) | 2012-04-11 | 2017-12-05 | Qualcomm Incorporated | Wavefront parallel processing for video coding |
US9621921B2 (en) | 2012-04-16 | 2017-04-11 | Qualcomm Incorporated | Coefficient groups and coefficient coding for coefficient scans |
US9426466B2 (en) | 2012-06-22 | 2016-08-23 | Qualcomm Incorporated | Transform skip mode |
CN108712652A (zh) * | 2012-06-29 | 2018-10-26 | 韩国电子通信研究院 | 视频编码方法和计算机可读介质 |
US9264713B2 (en) | 2012-07-11 | 2016-02-16 | Qualcomm Incorporated | Rotation of prediction residual blocks in video coding with transform skipping |
US9549182B2 (en) | 2012-07-11 | 2017-01-17 | Qualcomm Incorporated | Repositioning of prediction residual blocks in video coding |
US9407915B2 (en) * | 2012-10-08 | 2016-08-02 | Google Inc. | Lossless video coding with sub-frame level optimal quantization values |
US20140286413A1 (en) | 2013-03-25 | 2014-09-25 | Qualcomm Incorporated | Disabling sign data hiding in video coding |
KR102245088B1 (ko) | 2013-04-08 | 2021-04-28 | 지이 비디오 컴프레션, 엘엘씨 | 성분-간 예측 |
US9667990B2 (en) | 2013-05-31 | 2017-05-30 | Qualcomm Incorporated | Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation |
US11323747B2 (en) * | 2013-06-05 | 2022-05-03 | Qualcomm Incorporated | Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans |
US9648335B2 (en) | 2013-07-12 | 2017-05-09 | Qualcomm Incorporated | Bitstream restrictions on picture partitions across layers |
US9558567B2 (en) | 2013-07-12 | 2017-01-31 | Qualcomm Incorporated | Palette prediction in palette-based video coding |
CA2923439C (en) * | 2013-10-14 | 2018-08-21 | Mediatek Singapore Pte. Ltd. | Method of residue differential pulse-code modulation for hevc range extension |
KR20150055858A (ko) | 2013-11-14 | 2015-05-22 | 삼성전자주식회사 | 차분 레지듀얼 신호를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
GB201321851D0 (en) | 2013-12-10 | 2014-01-22 | Canon Kk | Run length parameters coding for palette mode |
TWI536811B (zh) | 2013-12-27 | 2016-06-01 | 財團法人工業技術研究院 | 影像處理方法與系統、解碼方法、編碼器與解碼器 |
US20150189321A1 (en) | 2014-01-02 | 2015-07-02 | Mediatek Inc. | Method of Binarization and Context Adaptive Binary Arithmetic Coding of Depth Coding Syntax |
US9860540B2 (en) | 2014-01-03 | 2018-01-02 | Qualcomm Incorporated | Inference of nooutputofpriorpicsflag in video coding |
US10404988B2 (en) | 2014-03-16 | 2019-09-03 | Vid Scale, Inc. | Method and apparatus for the signaling of lossless video coding |
US9877035B2 (en) | 2014-03-17 | 2018-01-23 | Qualcomm Incorporated | Quantization processes for residue differential pulse code modulation |
WO2015165030A1 (en) | 2014-04-29 | 2015-11-05 | Microsoft Technology Licensing, Llc | Encoder-side decisions for sample adaptive offset filtering |
EP3202150B1 (en) * | 2014-09-30 | 2021-07-21 | Microsoft Technology Licensing, LLC | Rules for intra-picture prediction modes when wavefront parallel processing is enabled |
GB2531004A (en) | 2014-10-06 | 2016-04-13 | Canon Kk | Residual colour transform signalled at sequence level for specific coding modes |
WO2016074147A1 (en) | 2014-11-11 | 2016-05-19 | Mediatek Singapore Pte. Ltd. | Separated coding tree for luma and chroma |
EP3032830A1 (en) | 2014-12-08 | 2016-06-15 | Thomson Licensing | Differential coding of intra modes |
CN107211121B (zh) | 2015-01-22 | 2020-10-23 | 联发科技(新加坡)私人有限公司 | 视频编码方法与视频解码方法 |
CN106416254B (zh) | 2015-02-06 | 2019-08-02 | 微软技术许可有限责任公司 | 在媒体编码期间跳过评估阶段 |
US10057574B2 (en) | 2015-02-11 | 2018-08-21 | Qualcomm Incorporated | Coding tree unit (CTU) level adaptive loop filter (ALF) |
CN106664405B (zh) | 2015-06-09 | 2020-06-09 | 微软技术许可有限责任公司 | 用调色板模式对经逸出编码的像素的稳健编码/解码 |
WO2017045101A1 (en) | 2015-09-14 | 2017-03-23 | Mediatek Singapore Pte. Ltd. | Advanced deblocking filter in video coding |
CN108141619B (zh) | 2015-10-19 | 2020-11-20 | 联发科技股份有限公司 | 管理已解码图像缓存器的方法及装置 |
US10972731B2 (en) | 2015-11-10 | 2021-04-06 | Interdigital Madison Patent Holdings, Sas | Systems and methods for coding in super-block based video coding framework |
WO2017088093A1 (en) | 2015-11-23 | 2017-06-01 | Mediatek Singapore Pte. Ltd. | On the smallest allowed block size in video coding |
WO2017139937A1 (en) | 2016-02-18 | 2017-08-24 | Mediatek Singapore Pte. Ltd. | Advanced linear model prediction for chroma coding |
US11223852B2 (en) | 2016-03-21 | 2022-01-11 | Qualcomm Incorporated | Coding video data using a two-level multi-type-tree framework |
WO2017184970A1 (en) | 2016-04-22 | 2017-10-26 | Vid Scale, Inc. | Prediction systems and methods for video coding based on filtering nearest neighboring pixels |
KR20190015216A (ko) * | 2016-05-05 | 2019-02-13 | 브이아이디 스케일, 인크. | 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현 |
CA3025490A1 (en) | 2016-05-28 | 2017-12-07 | Mediatek Inc. | Method and apparatus of current picture referencing for video coding using affine motion compensation |
US11368681B2 (en) * | 2016-07-18 | 2022-06-21 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium in which bitstream is stored |
US10390015B2 (en) | 2016-08-26 | 2019-08-20 | Qualcomm Incorporated | Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction |
EP4075798B1 (en) | 2016-10-04 | 2024-09-11 | HFI Innovation Inc. | Method and apparatus for intra chroma coding in image and video coding |
US10194147B2 (en) | 2017-01-19 | 2019-01-29 | Google Llc | DC coefficient sign coding scheme |
EP4415366A2 (en) | 2017-08-03 | 2024-08-14 | Sharp Kabushiki Kaisha | Systems and methods for partitioning video blocks in an inter prediction slice of video data |
WO2019234674A1 (en) * | 2018-06-07 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Integer motion compensation |
WO2019244117A1 (en) * | 2018-06-21 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Unified constrains for the merge affine mode and the non-merge affine mode |
WO2019244116A1 (en) | 2018-06-21 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Border partition in video coding |
KR20200001554A (ko) | 2018-06-27 | 2020-01-06 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
CN110662056B (zh) * | 2018-06-29 | 2022-06-07 | 北京字节跳动网络技术有限公司 | 哪个查找表需要更新或不更新 |
JP7460617B2 (ja) * | 2018-06-29 | 2024-04-02 | 北京字節跳動網絡技術有限公司 | Lut更新条件 |
EP4307679A3 (en) * | 2018-07-02 | 2024-06-19 | Beijing Bytedance Network Technology Co., Ltd. | Luts with intra prediction modes and intra mode prediction from non-adjacent blocks |
CN113170116B (zh) | 2018-11-22 | 2024-08-16 | 北京字节跳动网络技术有限公司 | 为帧内模式视频处理使用参考行 |
JP2021513755A (ja) | 2019-01-15 | 2021-05-27 | エルジー エレクトロニクス インコーポレイティド | 変換スキップフラグを利用した映像コーディング方法及び装置 |
US11012701B2 (en) * | 2019-02-22 | 2021-05-18 | Tencent America LLC | Residual coding for transform skip mode and block differential pulse-code modulation |
EP3769533A4 (en) * | 2019-02-24 | 2022-04-20 | Tencent America Llc | IMPROVED RESIDUAL ENCODING FOR TRANSFORMATION SKIP MODE AND BLOCK DIFFERENTIAL PULSE CODE MODULATION |
US11825120B2 (en) | 2019-02-28 | 2023-11-21 | Qualcomm Incorporated | Subblock coding by generalized intra prediction in video coding |
US11202100B2 (en) | 2019-03-11 | 2021-12-14 | Qualcomm Incorporated | Coefficient coding for transform skip mode |
US11070812B2 (en) | 2019-03-12 | 2021-07-20 | Qualcomm Incorporated | Coefficient domain block differential pulse-code modulation in video coding |
US11128876B2 (en) * | 2019-03-12 | 2021-09-21 | Qualcomm Incorporated | Joint coefficient coding of transform skip and BDPCM mode for 4:4:4 color formats |
US11451826B2 (en) | 2019-04-15 | 2022-09-20 | Tencent America LLC | Lossless coding mode and switchable residual coding |
US20220210430A1 (en) | 2019-04-16 | 2022-06-30 | Lg Electronics Inc. | Method and device for coding/decoding image using differential coding of residual coefficient, and method for transmitting bitstream |
CN113711611B (zh) | 2019-04-19 | 2024-03-19 | 字节跳动有限公司 | 用于变换跳过模式中的系数编解码的方法、装置和介质 |
WO2020218861A1 (ko) | 2019-04-23 | 2020-10-29 | 주식회사 윌러스표준기술연구소 | 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치 |
CN113906753B (zh) | 2019-04-24 | 2023-12-01 | 字节跳动有限公司 | 编解码视频的量化残差差分脉冲编解码调制表示的约束 |
US11190758B2 (en) * | 2019-04-25 | 2021-11-30 | Qualcomm Incorporated | Block-based quantized residual domain pulse code modulation assignment for intra prediction mode derivation |
US11368721B2 (en) * | 2019-04-30 | 2022-06-21 | Tencent America LLC | Method and apparatus for interaction between intra prediction mode and block differential pulse-code modulation mode |
EP3949387A4 (en) | 2019-05-02 | 2022-05-18 | ByteDance Inc. | SIGNALING IN A TRANSFORM JUMP MODE |
CN113785306B (zh) | 2019-05-02 | 2024-06-14 | 字节跳动有限公司 | 基于编解码树结构类型的编解码模式 |
-
2020
- 2020-04-30 CN CN202080032754.9A patent/CN113796069B/zh active Active
- 2020-04-30 WO PCT/US2020/030684 patent/WO2020223467A1/en unknown
- 2020-04-30 JP JP2021563191A patent/JP7311627B2/ja active Active
- 2020-04-30 CN CN202311517694.1A patent/CN117857783A/zh active Pending
- 2020-04-30 KR KR1020217033193A patent/KR102707777B1/ko active IP Right Grant
- 2020-04-30 EP EP20798668.8A patent/EP3942799A4/en active Pending
-
2021
- 2021-10-15 US US17/502,233 patent/US11431966B2/en active Active
-
2022
- 2022-07-28 US US17/876,000 patent/US20220377321A1/en active Pending
-
2023
- 2023-07-05 JP JP2023111065A patent/JP2023139037A/ja active Pending
- 2023-11-03 US US18/501,497 patent/US20240121381A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3942799A1 (en) | 2022-01-26 |
US20240121381A1 (en) | 2024-04-11 |
EP3942799A4 (en) | 2022-06-08 |
CN113796069B (zh) | 2024-03-08 |
US20220038687A1 (en) | 2022-02-03 |
CN113796069A (zh) | 2021-12-14 |
US11431966B2 (en) | 2022-08-30 |
KR20220002292A (ko) | 2022-01-06 |
KR102707777B1 (ko) | 2024-09-20 |
WO2020223467A1 (en) | 2020-11-05 |
JP2022529528A (ja) | 2022-06-22 |
CN117857783A (zh) | 2024-04-09 |
JP7311627B2 (ja) | 2023-07-19 |
US20220377321A1 (en) | 2022-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7414843B2 (ja) | 符号化映像の量子化残差差分パルス符号変調表現 | |
JP7448559B2 (ja) | 変換スキップモードのためのコンテキスト符号化 | |
JP7403555B2 (ja) | イントラコーディングモードにおけるマトリクスの導出 | |
JP7288084B2 (ja) | 変換スキップモードにおける信号通知 | |
JP7311627B2 (ja) | 量子化残差差分パルス符号変調符号化を使用したイントラ符号化映像 | |
JP7288083B2 (ja) | 符号化ツリー構造タイプに基づく符号化モード | |
JPWO2020211807A5 (ja) | ||
RU2807214C2 (ru) | Ограничение представления дифференциальной импульсно-кодовой модуляции квантового остатка кодированного видео |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240806 |