JP2023129533A - ビデオ符号化方法、電子装置、記憶媒体及びプログラム - Google Patents
ビデオ符号化方法、電子装置、記憶媒体及びプログラム Download PDFInfo
- Publication number
- JP2023129533A JP2023129533A JP2023118337A JP2023118337A JP2023129533A JP 2023129533 A JP2023129533 A JP 2023129533A JP 2023118337 A JP2023118337 A JP 2023118337A JP 2023118337 A JP2023118337 A JP 2023118337A JP 2023129533 A JP2023129533 A JP 2023129533A
- Authority
- JP
- Japan
- Prior art keywords
- video
- transform
- block
- zero
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims description 22
- 230000004044 response Effects 0.000 claims abstract 2
- 238000012545 processing Methods 0.000 claims description 52
- 239000013598 vector Substances 0.000 description 34
- 230000008569 process Effects 0.000 description 23
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000013139 quantization Methods 0.000 description 15
- 230000011664 signaling Effects 0.000 description 13
- 241000023320 Luma <angiosperm> Species 0.000 description 12
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 12
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 244000050403 Iris x germanica Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】ビデオ符号化方法を提供する。【解決手段】ゼロアウト領域内に位置する変換ブロックの符号化グループの何れかが非ゼロ係数を有するか否か決定し、前記変換ブロックは非ゼロ領域と前記ゼロアウト領域とを含み、非ゼロ係数を有する前記ゼロアウト領域内に位置する前記変換ブロックの符号化グループがないという決定に応じて、前記変換ブロックの係数を変換するために、水平方向および垂直方向の両方で各々の逆変換を適用する。【選択図】図2
Description
本出願は、一般に、ビデオ符号化及び圧縮に関し、より具体的には、VVC(versatile video coding)規格における変換符号化方法及び係数符号化方法の既存の設計を改善し簡素化する方法及び装置に関する。
デジタルビデオは、デジタルテレビ、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録装置、デジタルメディアプレーヤ、ビデオゲームコンソール、スマートフォン、ビデオテレビ会議装置、ビデオストリーミング装置等の様々な電子装置によってサポートされる。電子装置は、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、パート10、AVC(Advanced Video Coding)、HEVC(High Efficiency Video Coding)、およびVVC(Versatile Video
Coding)規格によって定義されるビデオ圧縮/解凍規格を実装することによって、デジタルビデオデータを送信、受信、符号化、復号化、および/または格納する。ビデオ圧縮は通常、ビデオデータに固有の冗長性を低減または除去するために、空間(イントラフレーム)予測および/または時間(インターフレーム)予測を実行することを含む。ブロックベースのビデオ符号化の場合、ビデオフレームは1以上のスライスに分割され、各スライスは符号化ツリーユニット(CTU)とも呼ばれ得る複数のビデオブロックを有する。各CTUは、1つの符号化ユニット(CU)を含むか、または、所定の最小CUサイズに達するまで、より小さなCUに再帰的に分割することができる。各CU(リーフCUとも呼ばれる)は1以上の変換ユニット(TU)を含み、各CUは、1以上の予測ユニット(PU)も含む。各CUは、イントラモード、インターモード、またはIBCモードのいずれかで符号化することができる。ビデオフレームのイントラ符号化(I)スライス内のビデオブロックは、同じビデオフレーム内の隣接ブロック内の参照サンプルに関する空間予測を使用して符号化される。ビデオフレームのインター符号化(PまたはB)スライス内のビデオブロックは、同じビデオフレーム内の隣接ブロック内の参照サンプルに関する空間予測、または他の以前および/または将来の参照ビデオフレーム内の参照サンプルに関する時間予測を使用することができる。
Coding)規格によって定義されるビデオ圧縮/解凍規格を実装することによって、デジタルビデオデータを送信、受信、符号化、復号化、および/または格納する。ビデオ圧縮は通常、ビデオデータに固有の冗長性を低減または除去するために、空間(イントラフレーム)予測および/または時間(インターフレーム)予測を実行することを含む。ブロックベースのビデオ符号化の場合、ビデオフレームは1以上のスライスに分割され、各スライスは符号化ツリーユニット(CTU)とも呼ばれ得る複数のビデオブロックを有する。各CTUは、1つの符号化ユニット(CU)を含むか、または、所定の最小CUサイズに達するまで、より小さなCUに再帰的に分割することができる。各CU(リーフCUとも呼ばれる)は1以上の変換ユニット(TU)を含み、各CUは、1以上の予測ユニット(PU)も含む。各CUは、イントラモード、インターモード、またはIBCモードのいずれかで符号化することができる。ビデオフレームのイントラ符号化(I)スライス内のビデオブロックは、同じビデオフレーム内の隣接ブロック内の参照サンプルに関する空間予測を使用して符号化される。ビデオフレームのインター符号化(PまたはB)スライス内のビデオブロックは、同じビデオフレーム内の隣接ブロック内の参照サンプルに関する空間予測、または他の以前および/または将来の参照ビデオフレーム内の参照サンプルに関する時間予測を使用することができる。
以前に符号化された参照ブロック、例えば、隣接ブロックに基づく空間的または時間的予測は、符号化されるべき現在のビデオブロックのための予測ブロックをもたらす。参照ブロックを見つけるプロセスは、ブロックマッチングアルゴリズムによって達成することができる。符号化される現在のブロックと予測ブロックとの間の画素差を表す残差データは、残差ブロックまたは予測誤差と呼ばれる。インター符号化されたブロックは、予測ブロックを形成する参照フレーム内の参照ブロック、および残差ブロックを指し示す動きベクトルに従って符号化される。動きベクトルを決定するプロセスは、典型的には動き推定と呼ばれる。イントラ符号化ブロックは、イントラ予測モード及び残差ブロックに従って符号化される。さらなる圧縮のために、残差ブロックは、画素領域から変換領域、例えば周波数領域に変換され、結果として残差変換係数が得られ、次いで、量子化され得る。量子化された変換係数は、まず、2次元アレイに配置され、変換係数の1次元ベクトルを生成するために走査され、次いで、ビデオビットストリームにエントロピー符号化されて、さらに多くの圧縮を達成することができる。
次いで、符号化されたビデオビットストリームはデジタルビデオ機能を有する別の電子装置によってアクセスされるか、もしくは、有線または無線で電子装置に直接送信されるように、コンピュータ可読記憶媒体(例えば、フラッシュメモリ)に保存される。次いで
、電子装置はビットストリームから構文要素を得るために符号化ビデオビットストリームを構文解析し、ビットストリームから得られた構文要素に少なくとも部分的に基づいて符号化ビデオビットストリームから元のフォーマットにデジタルビデオデータを再構成することによって、ビデオ解凍(上述のビデオ圧縮とは反対の処理である)を実行し、再構成されたデジタルビデオデータを電子装置のディスプレイ上にレンダリングする。
、電子装置はビットストリームから構文要素を得るために符号化ビデオビットストリームを構文解析し、ビットストリームから得られた構文要素に少なくとも部分的に基づいて符号化ビデオビットストリームから元のフォーマットにデジタルビデオデータを再構成することによって、ビデオ解凍(上述のビデオ圧縮とは反対の処理である)を実行し、再構成されたデジタルビデオデータを電子装置のディスプレイ上にレンダリングする。
高精細度から4K×2Kまたは8K×4Kに至るデジタルビデオ品質では、符号化/復号化されるビデオデータの量は指数関数的に増大する。これは、復号化されたビデオデータの画質を維持しつつ、ビデオデータをより効率的に符号化/復号化する方法が課題となっている。
本出願はビデオデータの符号化および復号化に関連する実装を説明し、より具体的には、変換および係数符号化方法の既存の設計を改善し、単純化する方法および装置を説明する。
本出願の第1態様によれば、ビデオデータ復号化方法は、変換ブロックを符号化するビットストリームを受信し、前記変換ブロックは、非ゼロ領域とゼロアウト領域とを含み、前記ゼロアウト領域内に非ゼロ係数があるかどうかチェックし、前記変換ブロックの前記ゼロアウト領域に非ゼロ係数がないという決定に従って、走査方向に沿った前記変換ブロックの最後の非ゼロ係数の走査順序インデックスを決定し、前記最後の非ゼロ係数の前記走査順序インデックスが所定のしきい値よりも大きいという決定に従って、前記ビットストリームから、多重変換選択(MTS)インデックスの値を受信し、前記多重変換選択(MTS)インデックスの値に基づいて、前記変換ブロックの係数を変換するために、水平方向および垂直方向の両方で各々の変換を適用する。
本出願の第2態様によれば、電子装置は、1以上の処理ユニットと、メモリと、メモリに格納された複数のプログラムとを含む。プログラムは1以上の処理ユニットによって実行されると、電子装置に、上述したようなビデオデータ復号化方法を実行させる。
本出願の第3の態様によれば、非一時的コンピュータ可読記憶媒体は、1以上の処理ユニットを有する電子装置によって実行される複数のプログラムを記憶する。プログラムは1以上の処理ユニットによって実行されると、電子装置に、上述したようなビデオデータ復号化方法を実行させる。
添付の図面は実施形態のさらなる理解を提供するために含まれ、本明細書に組み込まれ、本明細書の一部を構成し、説明された実施形態を示し、説明とともに、基礎となる原理を説明するのに役立つ。同様の参照番号は、対応する部分を指す。
ここで、特定の実施例を詳細に参照し、その例を添付の図面に示す。以下の詳細な説明では、本明細書で提示される主題の理解を助けるために、多数の非限定的な特定の詳細が記載される。しかし、当業者には特許請求の範囲から逸脱することなく、様々な代替形態を使用することができ、主題はこれらの特定の詳細なしに実施することができることが明らかであろう。例えば、本明細書で提示される主題はデジタルビデオ機能を有する多くのタイプの電子装置上で実施され得ることが、当業者には明らかであろう。
図1は、本開示のいくつかの実装による、ビデオブロックを並列に符号化および復号化するための例示的なシステム10を示すブロック図である。図1に示すように、システム10はソース装置12を含み、ソース装置12はデスティネーション装置14によって後で復号化されるビデオデータを生成し、符号化する。ソース装置12およびデスティネーション装置14は、デスクトップまたはラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、多種多様な電子装置のいずれかを備えることができる。一部の実装では、ソース装置12及びデスティネーション装置14は無線通信機能を備える。
ある実装では、デスティネーション装置14がリンク16を介して復号化されるべき符号化ビデオデータを受信することができる。リンク16は、符号化されたビデオデータをソース装置12からデスティネーション装置14に移動させることができる任意のタイプの通信媒体または装置を含むことができる。一例では、リンク16が、ソース装置12が符号化されたビデオデータをデスティネーション装置14に直接リアルタイムで送信できるようにするための通信媒体を備えてもよい。符号化されたビデオデータは、無線通信プロトコルなどの通信規格に従って変調され、デスティネーション装置14に送信されてもよい。通信媒体は、無線周波数(RF)スペクトルもしくは1以上の物理的伝送線など、任意の無線または有線通信媒体を備えることができる。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークのようなパケットベースのネットワークの一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、またはソース装置12からデスティネーション装置14への通信を容易にするために有用であり得る任意の他の機器を含み得る。
他のいくつかの実装では、符号化されたビデオデータが出力インターフェイス22から記憶装置32に送信されてもよい。続いて、記憶装置32内の符号化されたビデオデータは、入力インターフェイス28を介してデスティネーション装置14によってアクセスされることができる。記憶装置32は、ハードドライブ、ブルレイディスク、DVD、CD-ROM、フラッシュメモリ、揮発性または不揮発性メモリ、または符号化されたビデオデータを記憶する他の任意の適切なデジタル記憶媒体などの、様々な分散またはローカルにアクセスされるデータ記憶媒体のいずれかを含むことができる。さらなる例では、記憶装置32がソース装置12によって生成された符号化ビデオデータを保持することができるファイルサーバまたは別の中間記憶装置に対応することができる。デスティネーション装置14は、ストリーミングまたはダウンロードを介して記憶装置32から、記憶されたビデオデータにアクセスすることができる。ファイルサーバは符号化されたビデオデータを記憶し、符号化されたビデオデータをデスティネーション装置14に送信することができる任意のタイプのコンピュータであってもよい。例示的なファイルサーバは、ウェブサーバ、FTPサーバ、ネットワークアタッチドストレージ装置、またはローカルディスクドライブを含む。デスティネーション装置14は無線チャネル(例えば、Wi-Fi接続)、有線接続(例えば、DSL、ケーブルモデム等)、またはファイルサーバに記憶された符号化ビデオデータにアクセスするのに適した両方の組み合わせを含む、任意の標準データ接続を介して符号化ビデオデータにアクセスすることができる。記憶装置32からの符号化されたビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、またはその両方の組み合わせであってもよい。
図1に示すように、ソース装置12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェイス22とを含む。ビデオソース18はビデオキャプチャ装置、例えば、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェイス、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、あるいはそのようなソースの組み合わせなどのソースを含むことができる。一例として、ビデオソース18がセキュリティ監視システムのビデオカメラである場合、ソース装置12およびデスティネーション装置14は、カメラ付き電話またはビデオ電話を形成することができる。しかしながら、本願に記載されている実装は一般にビデオ符号化に適用可能であり、無線および/または有線アプリケーションに適用可能である。
キャプチャされた、事前キャプチャされた、またはコンピュータ生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化されたビデオデータは、ソース装置12の出力インターフェイス22を介してデスティネーション装置14に直接送信されてもよい。符号化されたビデオデータは復号化および/または再生のために、デスティネーション装置14または他の装置による以後のアクセスのために記憶装置32に記憶することもできる。出力インターフェイス22は、モデムおよび/または送信機をさらに含むことができる。
デスティネーション装置14は、入力インターフェイス28と、ビデオデコーダ30と、表示装置34とを含む。入力インターフェイス28は受信機および/またはモデムを含み、リンク16を介して符号化ビデオデータを受信することができる。リンク16を介して通信されるか、または記憶装置32上に提供される符号化されたビデオデータは、ビデオデータを復号化する際にビデオデコーダ30によって使用するためにビデオエンコーダ20によって生成される様々な構文要素を含むことができる。このような構文要素は、通信媒体上で送信されてもよいし、記憶媒体上に記憶されてもよいし、またはファイルサーバに記憶されてもよいし、符号化されたビデオデータ内に含まれてもよい。
一部の実装では、デスティネーション装置14は、統合表示装置であり得る表示装置34と、デスティネーション装置14と通信するように構成された外部表示装置とを含むことができる。表示装置34は復号化されたビデオデータをユーザに表示し、液晶ディスプレイ(LED)、プラズマディスプレイ、有機発光ダイオード(OLED)、または別のタイプの表示装置のような様々な表示装置のいずれかを備えることができる。
ビデオエンコーダ20およびビデオデコーダ30は、VVC、HEVC、MPEG-4、Part 10、AVC(Advanced video Coding)、またはそのような規格の拡張など、独自仕様または業界規格に従って動作することができる。本出願は、特定のビデオ符号化/復号化規格に限定されず、他のビデオ符号化/復号化規格に適用可能であることを理解されたい。一般に、ソース装置12のビデオエンコーダ20は、これらの現在または将来の規格のいずれかに従ってビデオデータを符号化するように構成され得ることが企図される。同様に、一般に、デスティネーション装置14のビデオデコーダ30は、これらの現在または将来の規格のいずれかに従ってビデオデータを復号化するように構成され得ることも企図される。
ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な適切なエンコーダ回路のいずれかとして実装することができる。部分的にソフトウェアで実装される場合、電子装置は適切な非一時的コンピュータ可読媒体にソフトウェアの命令を格納し、本開示で開示されるビデオ符号化/復号化動作を実行するために1以上のプロセッサを使用してハードウェアで命令を実行することができる。ビデオエンコーダ20およびビデオデコーダ30のそれぞれは、1以上のエンコーダまたはデコーダに含まれてもよく、そのいずれも、それぞれの装置内の複合エンコーダ/デコーダ(CODEC)の一部として統合されてもよい。
図2は、本出願で説明されるいくつかの実装形態による例示的なビデオエンコーダ20を示すブロック図である。ビデオエンコーダ20は、ビデオフレーム内のビデオブロックのイントラ予測符号化およびインター予測符号化を実行し得る。イントラ予測符号化は所与のビデオフレームまたはピクチャ内のビデオデータにおける空間冗長性を低減または除去するために、空間予測に依存する。インター予測符号化はビデオシーケンスの隣接するビデオフレームまたはピクチャ内のビデオデータにおける時間的冗長性を低減または除去するために、時間的予測に依存する。
図2に示すように、ビデオエンコーダ20は、ビデオデータメモリ40と、予測処理ユニット41と、復号ピクチャバッファ(DPB)64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。予測処理ユニット41はさらに、動き推定ユニット42、動き補償ユニット44、分割ユニット45、イントラ予測処理ユニット46、イントラブロックコピー(BC)ユニット48を有する。いくつかの実装では、ビデオエンコーダ20はまた、逆量子化ユニット58、逆変換処理ユニット60、及びビデオブロック再構成のための加算器62を含む。デブロッキングフィルタ(図示せず)を加算器62とDPB64との間に配置して、ブロック境界をフィルタリングして、再構成されたビデオからブロックノイズアーチファクトを除去することができる。インループフィルタ(図示せず)は、デブロッキングフィルタに加えて、加算器62の出力をフィルタリングするために使用されてもよい。ビデオエンコーダ20は固定またはプログラマブルハードウェアユニットの形態をとることができ、または図示された固定またはプログラマブルハードウェアユニットのうちの1以上の間で分割するこ
とができる。
とができる。
ビデオデータメモリ40は、ビデオエンコーダ20の構成要素によって符号化されるべきビデオデータを記憶することができる。ビデオデータメモリ40内のビデオデータは例えば、ビデオソース18から取得することができる。DPB64はビデオエンコーダ20によるビデオデータの符号化に(例えば、イントラ予測符号化モードまたはインター予測符号化モードで)使用するための参照ビデオデータを格納するバッファである。ビデオデータメモリ40およびDPB64は、様々なメモリ装置のいずれかによって形成することができる。様々な例では、ビデオデータメモリ40がビデオエンコーダ20の他の構成要素とオンチップであってもよく、または、これらの構成要素とオフチップであってもよい。
図2に示すように、ビデオデータを受信した後、予測処理ユニット41内の分割ユニット45は、ビデオデータをビデオブロックに分割する。この分割はまた、ビデオフレームを、ビデオデータに関連付けられた4分木構造などの事前定義された分割構造に従って、スライス、タイル、または他のより大きな符号化ユニット(CU)に分割することを含むことができる。ビデオフレームは、複数のビデオブロック(またはタイルと呼ばれるビデオブロックのセット)に分割することができる。予測処理ユニット41は誤差結果(例えば、符号化率及び歪みのレベル)に基づいて、現在のビデオブロックに対して、複数のイントラ予測符号化モードの1以上のインター予測符号化モードの1つなどの、複数の可能な予測符号化モードの1つを選択することができる。予測処理ユニット41は結果として生じるイントラまたはインター予測符号化ブロックを加算器50に提供して、残差ブロックを生成し、続いて参照フレームの一部として使用するために符号化ブロックを再構成する加算器62に提供することができる。予測処理ユニット41はまた、動きベクトル、イントラモード指標、分割情報、および他のそのような構文情報などの構文要素をエントロピー符号化ユニット56に提供する。
現在のビデオブロックのための適切なイントラ予測符号化モードを選択するために、予測処理ユニット41内のイントラ予測処理ユニット46は空間予測を提供するために、符号化されるべき現在のブロックと同じフレーム内の1以上の隣接ブロックに対して、現在のビデオブロックのイントラ予測符号化を実行し得る。予測処理ユニット41内の動き推定ユニット42および動き補償ユニット44は時間予測を提供するために、1以上の参照フレーム内の1以上の予測ブロックに対する現在のビデオブロックのインター予測符号化を実行する。ビデオエンコーダ20は、例えば、ビデオデータの各ブロックについて適切な符号化モードを選択するために、複数の符号化パスを実行することができる。
いくつかの実装形態では、動き推定ユニット42がビデオフレームのシーケンス内の所定のパターンに従って、参照ビデオフレーム内の予測ブロックに対する現在のビデオフレーム内のビデオブロックの予測ユニット(PU)の変位を示す動きベクトルを生成することによって、現在のビデオフレームのインター予測モードを決定する。動き推定ユニット42によって実行される動き推定は動きベクトルを生成するプロセスであり、動きベクトルは、ビデオブロックの動きを推定する。動きベクトルは例えば、現在のフレーム(または他の符号化ユニット)内で符号化されている現在のブロックに対する、参照フレーム(または他の符号化ユニット)内の予測ブロックに対する、現在のビデオフレームまたはピクチャ内のビデオブロックのPUの変位を示し得る。所定のパターンは、シーケンス内のビデオフレームをPフレームまたはBフレームとして指定することができる。イントラBCユニット48は相互予測のための動き推定ユニット42による動きベクトルの決定に類似した方法で、イントラBC符号化のためのベクトル、例えばブロックベクトルを決定することができ、または、ブロックベクトルを決定するために動き推定ユニット42を利用することができる。
予測ブロックは、絶対差分和(SAD)、二乗差分和(SSD)、または他の差分メトリックによって決定され得る、画素差分に関して符号化されるべきビデオブロックのPUに近く一致すると見なされる参照フレームのブロックである。いくつかの実装では、ビデオエンコーダ20がDPB64に格納された参照フレームのサブ整数画素位置の値を計算することができる。例えば、ビデオエンコーダ20は、参照フレームの1/4画素位置、1/8画素位置、または他の分数画素位置の値を補間することができる。従って、動き推定部42は全画素位置及び分数画素位置に対して動き探索を行い、分数画素精度で動きベクトルを出力することができる。
動き推定ユニット42は、PUの位置を、それぞれがDPB64に格納された1以上の参照フレームを識別する第1参照フレームリスト(List0)または第2参照フレームリスト(List1)から選択された参照フレームの予測ブロックの位置と比較することによって、インター予測符号化フレーム内のビデオブロックのPUの動きベクトルを計算する。動き推定ユニット42は計算された動きベクトルを動き補償ユニット44に送り、次いでエントロピー符号化ユニット56に送る。
動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを含むことができる。現在のビデオブロックのPUのための動きベクトルを受信すると、動き補償ユニット44は、動きベクトルが参照フレームリストのうちの1つを示す、予測ブロックを探し出し、DPB64から予測ブロックを取り出し、予測ブロックを加算器50に転送することができる。次いで、加算器50は、動き補償ユニット44によって提供される予測ブロックの画素値を、符号化されている現在のビデオブロックの画素値から差し引くことによって、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、輝度または彩度成分の差分またはその両方を含むことができる。動き補償ユニット44はまた、ビデオフレームのビデオブロックを復号化する際にビデオデコーダ30によって使用されるために、ビデオフレームのビデオブロックに関連する構文要素を生成し得る。構文要素は例えば、予測ブロックを識別するために使用される動きベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書に記載する他の任意の構文情報を含むことができる。動き推定ユニット42および動き補償ユニット44は高度に統合されてもよいが、概念的な目的のために別々に図示されていることに留意されたい。
いくつかの実装ではイントラBCユニット48が動き推定ユニット42および動き補償ユニット44に関連して上述したのと同様の方法でベクトルを生成し、予測ブロックをフェッチすることができるが、予測ブロックは符号化されている現在のブロックと同じフレーム内にあり、ベクトルは動きベクトルとは対照的にブロックベクトルと呼ばれる。特に、イントラBCユニット48は、現在のブロックを符号化するために使用するイントラ予測モードを決定することができる。いくつかの例では、イントラBCユニット48が例えば別個の符号化パスの間に、様々なイントラ予測モードを用いて現在のブロックを符号化し、レート歪解析を通してそれらの性能をテストすることができる。次に、イントラBCユニット48は種々の試されたイントラ予測モードの中で、適切なイントラ予測モードを使用し、それに応じてイントラモード指標を生成することができる。例えば、イントラBCユニット48は種々の試されたイントラ予測モードに対してレート歪み解析を用いてレート歪み値を計算し、使用する適切なイントラ予測モードとして、試されたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択することができる。レート歪み分析は一般に、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み(または誤差)の量、ならびに符号化されたブロックを生成するために使用されるビットレート(すなわち、ビット数)を決
定する。イントラBCユニット48はどのイントラ予測モードがブロックのための最良のレート歪み値を示すかを決定するために、様々な符号化されたブロックのための歪みおよびレートから比率を計算することができる。
定する。イントラBCユニット48はどのイントラ予測モードがブロックのための最良のレート歪み値を示すかを決定するために、様々な符号化されたブロックのための歪みおよびレートから比率を計算することができる。
他の例では、イントラBCユニット48が本明細書で説明される実装によるイントラBC予測のためのそのような機能を実行するために、全体的にまたは部分的に、動き推定ユニット42および動き補償ユニット44を使用することができる。いずれの場合も、イントラブロックコピーの場合、予測ブロックは絶対差分和(SAD)、二乗差分和(SSD)、または他の差分メトリックによって決定され得る、画素差に関して、符号化されるブロックに近く一致すると見なされるブロックであり得、予測ブロックの識別はサブ整数画素位置の値の計算を含み得る。
予測ブロックがイントラ予測による同じフレームからであるか、あるいはインター予測による異なるフレームからであるかにかかわらず、ビデオエンコーダ20は、予測ブロックの画素値を、符号化されている現在のビデオブロックの画素値から差し引いて、画素差分値を形成することによって、残差ビデオブロックを形成することができる。残差ビデオブロックを形成する画素差分値は、輝度成分差分及び彩度成分差分の両方を含むことができる。
イントラ予測処理ユニット46は上述したように、動き推定ユニット42及び動き補償ユニット44によって実行されるインター予測、またはイントラBCユニット48によって実行されるイントラブロックコピー予測に代わるものとして、現在のビデオブロックをイントラ予測することができる。特に、イントラ予測処理ユニット46は、現在のブロックを符号化するために使用するイントラ予測モードを決定することができる。そうするために、イントラ予測処理ユニット46は例えば、別々の符号化パスに、様々なイントラ予測モードを使用して現在のブロックを符号化することができ、イントラ予測処理ユニット46(または、いくつかの例ではモード選択ユニット)がテストされたイントラ予測モードから使用するための適切なイントラ予測モードを選択することができる。イントラ予測処理ユニット46は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット56に提供することができる。エントロピー符号化ユニット56は、選択されたイントラ予測モードを示す情報をビットストリームに符号化することができる。
予測処理ユニット41がインター予測またはイントラ予測のいずれかを介して現在のビデオブロックの予測ブロックを決定した後、加算器50は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック内の残差ビデオデータは1以上の変換ユニット(TU)に含めることができ、変換処理ユニット52に供給される。変換処理ユニット52は、離散コサイン変換(DCT)または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。
変換処理ユニット52は、得られた変換係数を量子化ユニット54に送ることができる。量子化ユニット54は、変換係数を量子化してビットレートをさらに低減する。また、量子化プロセスは、係数の一部または全てに関連するビット深度を低減することができる。量子化の度合いは、量子化パラメータを調整することによって修正されてもよい。いくつかの例では、量子化ユニット54が次に、量子化変換係数を含む行列の走査を実行することができる。あるいは、エントロピー符号化ユニット56が走査を実行してもよい。
量子化に続いて、エントロピー符号化ユニット56は例えば、コンテキスト適応可変長符号化(CAVLC)、コンテキスト適応バイナリ算術符号化(CABAC)、構文ベースのコンテキスト適応バイナリ算術符号化(SBAC)、確率間隔分割エントロピー(P
IPE)符号化、または別のエントロピー符号化方法または技法を使用して、量子化された変換係数をビデオビットストリームにエントロピー符号化する。符号化されたビットストリームは次に、ビデオデコーダ30に送信されるかもしれないし、または、以降のビデオデコーダ30への送信または検索のために記憶装置32にアーカイブされるかもしれない。エントロピー符号化ユニット56はまた、符号化されている現在のビデオフレームのための動きベクトルおよび他の構文要素をエントロピー符号化することができる。
IPE)符号化、または別のエントロピー符号化方法または技法を使用して、量子化された変換係数をビデオビットストリームにエントロピー符号化する。符号化されたビットストリームは次に、ビデオデコーダ30に送信されるかもしれないし、または、以降のビデオデコーダ30への送信または検索のために記憶装置32にアーカイブされるかもしれない。エントロピー符号化ユニット56はまた、符号化されている現在のビデオフレームのための動きベクトルおよび他の構文要素をエントロピー符号化することができる。
逆量子化ユニット58および逆変換処理ユニット60は、それぞれ逆量子化および逆変換を適用して、他のビデオブロックの予測のための参照ブロックを生成するための画素ドメイン内の残差ビデオブロックを再構成する。上述のように、動き補償ユニット44は、DPB64に記憶されたフレームの1以上の参照ブロックから動き補償予測ブロックを生成することができる。動き補償ユニット44はまた、動き推定で使用するためのサブ整数画素値を計算するために、予測ブロックに1以上の補間フィルタを適用することができる。
加算器62は、動き補償ユニット44によって生成された動き補償予測ブロックに再構成された残差ブロックを追加して、DPB64に記憶するための参照ブロックを生成する。次いで、参照ブロックは、後続のビデオフレーム内の別のビデオブロックを予測するための予測ブロックとして、イントラBCユニット48、動き推定ユニット42および動き補償ユニット44によって使用され得る。
図3は、本出願のいくつかの実装による例示的なビデオデコーダ30を示すブロック図である。ビデオデコーダ30は、ビデオデータメモリ79、エントロピー復号化ユニット80、予測処理ユニット81、逆量子化ユニット86、逆変換処理ユニット88、加算器90、およびDPB92を含む。予測処理ユニット81はさらに、動き補償ユニット82、イントラ予測処理ユニット84、イントラBCユニット85を有している。ビデオデコーダ30は、図2に関連してビデオエンコーダ20に関して上述した符号化プロセスとほぼ逆の復号化プロセスを実行することができる。例えば、動き補償ユニット82はエントロピー復号化ユニット80から受け取った動きベクトルに基づいて予測データを生成することができ、一方、イントラ予測ユニット84は、エントロピー復号化ユニット80から受け取ったイントラ予測モード指標に基づいて予測データを生成することができる。
いくつかの例では、ビデオデコーダ30のユニットが本願の実装を実行するようにタスクされてもよい。また、いくつかの例では、本開示の実装がビデオデコーダ30のユニットのうちの1以上の間で分割され得る。例えば、イントラBCユニット85は、単独で、または動き補償ユニット82、イントラ予測処理ユニット84、およびエントロピー復号化ユニット80などのビデオデコーダ30の他のユニットと組み合わせて、本願の実装を実行することができる。いくつかの例ではビデオデコーダ30がイントラBCユニット85を含んでいなくてもよく、イントラBCユニット85の機能は動き補償ユニット82のような予測処理ユニット81の他の構成要素によって実行されてもよい。
ビデオデータメモリ79はビデオデコーダ30の他の構成要素によって復号化されるために、符号化されたビデオビットストリームなどのビデオデータを記憶することができる。ビデオデータメモリ79に記憶されたビデオデータは例えば、記憶装置32から、カメラなどのローカルビデオソースから、ビデオデータの有線または無線ネットワーク通信を介して、または物理データ記憶媒体(例えば、フラッシュドライブまたはハードディスク)にアクセスすることによって、取得することができる。ビデオデータメモリ79は、符号化ビデオビットストリームからの符号化ビデオデータを記憶する符号化ピクチャバッファ(CPB)を含むことができる。ビデオデコーダ30の復号化されたピクチャバッファ(DPB)92はビデオデコーダ30によってビデオデータを復号化する際に使用するた
めの参照ビデオデータを記憶する(例えば、イントラまたはインター予測符号化モードで)ビデオデータメモリ79およびDPB92は、SDRAM(synchronous DRAM)、MRAM(magneto-resistive RAM)、RRAM(登録商標)(resistive RAM)、または他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ(DRAM)などの様々なメモリデバイスのいずれかによって形成され得る。説明のために、ビデオデータメモリ79およびDPB92は、図3のビデオデコーダ30の2つの別個の構成要素として示されている。しかしながら、当業者には、ビデオデータメモリ79およびDPB92が同じメモリ装置または別個のメモリ装置によって提供されてもよいことは明らかであろう。いくつかの例では、ビデオデータメモリ79がビデオデコーダ30の他の構成要素とオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。
めの参照ビデオデータを記憶する(例えば、イントラまたはインター予測符号化モードで)ビデオデータメモリ79およびDPB92は、SDRAM(synchronous DRAM)、MRAM(magneto-resistive RAM)、RRAM(登録商標)(resistive RAM)、または他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ(DRAM)などの様々なメモリデバイスのいずれかによって形成され得る。説明のために、ビデオデータメモリ79およびDPB92は、図3のビデオデコーダ30の2つの別個の構成要素として示されている。しかしながら、当業者には、ビデオデータメモリ79およびDPB92が同じメモリ装置または別個のメモリ装置によって提供されてもよいことは明らかであろう。いくつかの例では、ビデオデータメモリ79がビデオデコーダ30の他の構成要素とオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。
復号化プロセスの間に、ビデオデコーダ30は、符号化されたビデオフレームのビデオブロックおよび関連する構文要素を表す符号化されたビデオビットストリームを受信する。ビデオデコーダ30は、ビデオフレームレベルおよび/またはビデオブロックレベルで構文要素を受信することができる。ビデオデコーダ30のエントロピー復号化ユニット80は、ビットストリームをエントロピー復号化して、量子化された係数、動きベクトルまたはイントラ予測モード指標、および他の構文要素を生成する。次に、エントロピー復号化ユニット80は、動きベクトルおよび他の構文要素を予測処理ユニット81に転送する。
ビデオフレームがイントラ予測符号化(I)フレームとして、または他のタイプのフレームのイントラ符号化予測ブロックのために符号化される場合、予測処理ユニット81のイントラ予測処理ユニット84は、シグナリングされたイントラ予測モードと、現在のフレームの以前に復号化されたブロックからの参照データとに基づいて、現在のビデオフレームのビデオブロックのための予測データを生成し得る。
ビデオフレームがインター予測符号化(すなわち、BまたはP)フレームとして符号化されるとき、予測処理ユニット81の動き補償ユニット82は、エントロピー復号化ユニット80から受信された動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックのための1以上の予測ブロックを生成する。予測ブロックの各々は、参照フレームリストのうちの1つの参照フレームから生成され得る。ビデオデコーダ30は、DPB92に記憶された参照フレームに基づくデフォルト構成技術を使用して、参照フレームリスト、List0およびList1を構成することができる。
いくつかの例ではビデオブロックが本明細書で説明されるイントラBCモードに従って符号化される場合、予測処理ユニット81のイントラBCユニット85はエントロピー復号化ユニット80から受信されるブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックのための予測ブロックを生成する。予測ブロックは、ビデオエンコーダ20によって定義された現在のビデオブロックと同じピクチャの再構成された領域内にあってもよい。
動き補償ユニット82および/またはイントラBCユニット85は動きベクトルおよび他の構文要素を構文解析することによって、現在のビデオフレームのビデオブロックの予測情報を決定し、次いで、その予測情報を使用して、復号化されている現在のビデオブロックの予測ブロックを生成する。例えば、動き補償ユニット82は受信した構文要素のうちのいくつかを使用して、ビデオフレームのビデオブロックを符号化するために使用される予測モード(例えば、イントラ予測またはインター予測)、インター予測フレームタイプ(例えば、BまたはP)、フレームのための参照フレームリストのうちの1以上のための構成情報、フレームの各インター予測符号化ビデオブロックのための動きベクトル、フ
レームの各インター予測符号化ビデオブロックのためのインター予測ステータス、および現在のビデオフレームのビデオブロックを復号化するための他の情報を決定する。
レームの各インター予測符号化ビデオブロックのためのインター予測ステータス、および現在のビデオフレームのビデオブロックを復号化するための他の情報を決定する。
同様に、イントラBCユニット85は受信した構文要素のいくつか、例えばフラグを使用して、現在のビデオブロックがイントラBCモードを使用して予測されたこと、フレームのどのビデオブロックが再構成領域内にあり、DPB92に格納されるべきかの構成情報、フレームの各イントラBC予測ビデオブロックのブロックベクトル、フレームの各イントラBC予測ビデオブロックのイントラBC予測ステータス、および現在のビデオフレームのビデオブロックを復号化するための他の情報を決定することができる。
また、動き補償ユニット82はビデオブロックの符号化中にビデオエンコーダ20によって使用されるような補間フィルタを使用して補間を実行し、参照ブロックのサブ整数画素に対する補間値を計算してもよい。この場合、動き補償ユニット82は受信した構文要素からビデオエンコーダ20によって使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成することができる。
逆量子化処理ユニット86は、ビデオフレームのビデオブロックごとにビデオエンコーダ20によって計算された同じ量子化パラメータを用いて、ビットストリームに提供されエントロピー復号化部80によってエントロピー復号化された量子化変換係数を逆量子化して量子化の度合いを決定する。逆変換処理ユニット88は、画素領域で残差ブロックを再構成するために、逆変換、例えば、逆DCT、逆整数変換、または概念的に類似する逆変換処理を変換係数に適用する。
動き補償ユニット82またはイントラBCユニット85がベクトルおよび他の構文要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、加算器90は、逆変換処理ユニット88からの残差ブロックと、動き補償ユニット82およびイントラBCユニット85によって生成された対応する予測ブロックとを加算することによって、現在のビデオブロックのための復号化されたビデオブロックを再構成する。インループフィルタ(図示せず)を加算器90とDPB92との間に配置して、復号化されたビデオブロックをさらに処理することができる。所定のフレーム内の復号化されたビデオブロックは、次のビデオブロックの後続の動き補償のために使用される参照フレームを格納するDPB92に格納される。DPB92、またはDPB92とは別個のメモリ装置は図1の表示装置34のような表示装置上に後で提示するために、復号化されたビデオを記憶することもできる。
典型的なビデオ符号化プロセスでは、ビデオシーケンスが典型的にはフレームまたはピクチャの順序付けられたセットを含む。各フレームは、SL、SCb、およびSCrで示される3つのサンプルアレイを含むことができる。SLは、輝度サンプルの2次元アレイである。SCbは、Cb彩度サンプルの2次元アレイである。SCrは、Cr彩度サンプルの2次元アレイである。他の例では、フレームは単色であってもよく、したがって、輝度サンプルの1つの2次元アレイのみを含む。
図4Aに示すように、ビデオエンコーダ20(またはより具体的には分割ユニット45)は、まず、フレームを1セットの符号化ツリーユニット(CTU)に分割することによって、フレームの符号化表現を生成する。ビデオフレームは、左から右へ、および上から下へのラスタ走査順序で連続的に順序付けられた整数個のCTUを含むことができる。各CTUは最大の論理符号化単位であり、CTUの幅および高さは、ビデオシーケンスの全てのCTUが128×128、64×64、32×32、および16×16のうちの1つである同じサイズを有するように、シーケンスパラメータセットでビデオエンコーダ20によってシグナリングされる。しかし、本願は、必ずしも特定のサイズに限定されないこ
とに留意されたい。図4Bに示すように、各CTUは、輝度サンプルの1つの符号化ツリーブロック(CTB)、彩度サンプルの2つの対応する符号化ツリーブロック、および符号化ツリーブロックのサンプルを符号化するために使用される構文要素を備えることができる。構文要素は、インターまたはイントラ予測、イントラ予測モード、動きベクトル、および他のパラメータを含む、画素の符号化ブロックの異なるタイプのユニットのプロパティ、およびビデオシーケンスがビデオデコーダ30においてどのように再構成され得るかを記述する。モノクロピクチャまたは3つの別々のカラープレーンを有するピクチャでは、CTUが単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するために使用される構文要素とを備えることができる。符号化ツリーブロックは、サンプルのN×Nブロックであってもよい。
とに留意されたい。図4Bに示すように、各CTUは、輝度サンプルの1つの符号化ツリーブロック(CTB)、彩度サンプルの2つの対応する符号化ツリーブロック、および符号化ツリーブロックのサンプルを符号化するために使用される構文要素を備えることができる。構文要素は、インターまたはイントラ予測、イントラ予測モード、動きベクトル、および他のパラメータを含む、画素の符号化ブロックの異なるタイプのユニットのプロパティ、およびビデオシーケンスがビデオデコーダ30においてどのように再構成され得るかを記述する。モノクロピクチャまたは3つの別々のカラープレーンを有するピクチャでは、CTUが単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するために使用される構文要素とを備えることができる。符号化ツリーブロックは、サンプルのN×Nブロックであってもよい。
より良好な性能を達成するために、ビデオエンコーダ20はCTUの符号化ツリーブロック上で、2分木分割、3分木分割、4分木分割、または両方の組合せなどのツリー分割を再帰的に実行し、CTUをより小さい符号化単位(CU)に分割することができる。図4Cに示すように、64×64CTU400は、まず、各々が32×32のブロックサイズを有する4つのより小さなCUに分割される。4つのより小さいCUの中で、CU410およびCU420は、それぞれ、ブロックサイズによって16×16の4つのCUに分割される。2つの16×16CU430および440はそれぞれ、ブロックサイズによって8×8の4つのCUにさらに分割される。図4Dは図4Cに示されるようなCTU400の分割プロセスの最終結果を示す4分木データ構造を示し、4分木の各リーフノードは、32×32から8×8の範囲のそれぞれのサイズの1つのCUに対応する。図4Bに示すCTUと同様に、各CUは、輝度サンプルの符号化ブロック(CB)と、同じサイズのフレームの彩度サンプルの2つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文要素とを備えることができる。モノクロピクチャまたは3つの別々のカラープレーンを有するピクチャでは、CUが単一の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文構造とを備えることができる。図4Cおよび図4Dに示された4分木分割は例示の目的のためだけのものであり、1つのCTUをCUに分割して、4分木/3分木/2分木分割に基づいて様々なローカル特性に適応させることができることに留意されたい。マルチタイプツリー構造では1つのCTUが4分木構造によって区分され、各4分木リーフCUは2分木構造および3分木構造によってさらに区分することができる。図4Eに示すように、5つの分割タイプ、すなわち、4分割、水平2分割、垂直分割、水平3分割、および垂直3分割がある。
いくつかの実装では、ビデオエンコーダ20がCUの符号化ブロックを1以上のM×N予測ブロック(PB)にさらに分割することができる。予測ブロックは、同じ予測、インターまたはイントラが適用されるサンプルの矩形(正方形または非正方形)ブロックである。CUの予測ユニット(PU)は、輝度サンプルの予測ブロックと、彩度サンプルの2つの対応する予測ブロックと、予測ブロックを予測するために使用される構文要素とを備え得る。モノクロピクチャまたは3つの別個のカラープレーンを有するピクチャでは、PUが単一の予測ブロックと、予測ブロックを予測するために使用される構文構造とを備えることができる。ビデオエンコーダ20は、CUの各PUの輝度、Cb、およびCr予測ブロックについて、予測輝度、Cb、およびCrブロックを生成することができる。
ビデオエンコーダ20はPUに対する予測ブロックを生成するために、イントラ予測またはインター予測を使用してもよい。ビデオエンコーダ20がPUの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ20は、PUに関連するフレームの復号化されたサンプルに基づいて、PUの予測ブロックを生成し得る。ビデオエンコーダ20がPUの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ20は、PUに関連するフレーム以外の1以上のフレームの復号化サンプルに基づいて、PUの予測ブロックを生成し得る。
ビデオエンコーダ20がCUの1以上のPUのための予測輝度、Cb、およびCrブロックを生成した後、ビデオエンコーダ20は、CUの輝度残差ブロック内の各サンプルがCUの予測輝度ブロックのうちの1つの輝度サンプルと、CUの元の輝度符号化ブロックの対応するサンプルとの間の差を示すように、元の輝度符号化ブロックからCUの予測輝度ブロックを減算することによって、CUのための輝度残差ブロックを生成し得る。同様に、ビデオエンコーダ20は、CUのCb残差ブロック内の各サンプルがCUの予測Cbブロックのうちの1つのCbサンプルと、CUの元のCb符号化ブロック内の対応するサンプルとの間の差を示し、CUのCr残差ブロック内の各サンプルがCUの予測Crブロックのうちの1つ内のCrサンプルと、CUの元のCr符号化ブロック内の対応するサンプルとの間の差を示し得るように、CUのためのCb残差ブロックおよびCr残差ブロックをそれぞれ生成し得る。
さらに、図4Cに示すように、ビデオエンコーダ20はCUの輝度、Cb、およびCr残差ブロックを1以上の輝度、Cb、およびCr変換ブロックに分解するために、4分木分割を使用してもよい。変換ブロックは、同じ変換が適用されるサンプルの矩形(正方形または非正方形)ブロックである。CUの変換ユニット(TU)は、輝度サンプルの変換ブロックと、彩度サンプルの2つの対応する変換ブロックと、変換ブロックサンプルを変換するために使用される構文要素とを備え得る。したがって、CUの各TUは、輝度変換ブロック、Cb変換ブロック、およびCr変換ブロックに関連付けられ得る。いくつかの例では、TUに関連する輝度変換ブロックがCUの輝度残差ブロックのサブブロックであり得る。Cb変換ブロックは、CUのCb残差ブロックのサブブロックであってもよい。Cr変換ブロックは、CUのCr残差ブロックのサブブロックであってもよい。モノクロピクチャまたは3つの別々のカラープレーンを有するピクチャでは、TUが単一の変換ブロックと、変換ブロックのサンプルを変換するために使用される構文構造とを備えることができる。
ビデオエンコーダ20は、TUの輝度変換ブロックに1以上の変換を適用して、TUの輝度係数ブロックを生成することができる。係数ブロックは、変換係数の2次元配列であってもよい。変換係数は、スカラー量であってもよい。ビデオエンコーダ20は、TUのCb変換ブロックに1以上の変換を適用して、TUのCb係数ブロックを生成することができる。ビデオエンコーダ20は、TUのCr変換ブロックに1以上の変換を適用して、TU用のCr係数ブロックを生成することができる。
係数ブロック(例えば、輝度係数ブロック、Cb係数ブロックまたはCr係数ブロック)を生成した後、ビデオエンコーダ20は、係数ブロックを量子化することができる。量子化とは、一般に、変換係数が量子化されて、変換係数を表現するために使用されるデータの量がおそらく減少し、さらなる圧縮が提供されるプロセスを指す。ビデオエンコーダ20が係数ブロックを量子化した後、ビデオエンコーダ20は、量子化された変換係数を示す構文要素をエントロピー符号化することができる。例えば、ビデオエンコーダ20は、量子化された変換係数を示す構文要素に対して、コンテキスト適応バイナリ算術符号化(CABAC)を実行することができる。最後に、ビデオエンコーダ20は符号化されたフレームと関連データの表現を形成するビット列を含むビットストリームを出力することができ、これは、記憶装置32に保存されるか、またはデスティネーション装置14に送信されるかのいずれかである。
ビデオエンコーダ20によって生成されたビットストリームを受信した後、ビデオデコーダ30は、ビットストリームを構文解析して、ビットストリームから構文要素を得ることができる。ビデオデコーダ30は、ビットストリームから得られた構文要素に少なくとも部分的に基づいて、ビデオデータのフレームを再構成してもよい。ビデオデータを再構
成するプロセスは一般に、ビデオエンコーダ20によって実行される符号化プロセスと逆である。例えば、ビデオデコーダ30は、現在のCUのTUに関連付けられた係数ブロックに対して逆変換を実行して、現在のCUのTUに関連付けられた残差ブロックを再構成することができる。ビデオデコーダ30はまた、現在のCUのPUのための予測ブロックのサンプルを、現在のCUのTUの変換ブロックの対応するサンプルに加算することによって、現在のCUの符号化ブロックを再構成する。フレームの各CUについて符号化ブロックを再構成した後、ビデオデコーダ30は、フレームを再構成することができる。
成するプロセスは一般に、ビデオエンコーダ20によって実行される符号化プロセスと逆である。例えば、ビデオデコーダ30は、現在のCUのTUに関連付けられた係数ブロックに対して逆変換を実行して、現在のCUのTUに関連付けられた残差ブロックを再構成することができる。ビデオデコーダ30はまた、現在のCUのPUのための予測ブロックのサンプルを、現在のCUのTUの変換ブロックの対応するサンプルに加算することによって、現在のCUの符号化ブロックを再構成する。フレームの各CUについて符号化ブロックを再構成した後、ビデオデコーダ30は、フレームを再構成することができる。
上述のように、ビデオ符号化は主に2つのモード、すなわち、イントラフレーム予測(またはイントラ予測)およびインターフレーム予測(またはインター予測)を使用してビデオ圧縮を達成する。パレットベースの符号化は、多くのビデオ符号化規格によって採用されている別の符号化方式である。画面生成コンテンツ符号化に特に適し得るパレットベースの符号化ではビデオコーダ(例えば、ビデオエンコーダ20またはビデオデコーダ30)は所与のブロックのビデオデータを表す色のパレットテーブルを形成する。パレットテーブルは所与のブロックの最も優勢な(例えば、頻繁に使用される)画素値を含む。指定されたブロックのビデオデータで頻繁に表現されない画素値は、パレットテーブルに含まれないか、エスケープカラーとしてパレットテーブルに含まれる。
パレットテーブルの各エントリには、パレットテーブルの対応する画素値のインデックスが含まれる。ブロックのサンプルに対するパレットインデックスは、パレットテーブルからのどのエントリがどのサンプルを予測または再構成するために使用されるかを示すために符号化されてもよい。このパレットモードは、ピクチャ、スライス、タイル、またはその他のビデオブロックのグループ化の最初のブロックのパレット予測子を生成するプロセスから始まる。以下に説明するように、後続のビデオブロックのパレット予測子は、典型的には以前に使用されたパレット予測子を更新することによって生成される。説明のために、パレット予測子は画像レベルで定義されると仮定される。言い換えると、ピクチャはそれぞれが独自のパレットテーブルを有する複数の符号化ブロックを含むことができるが、ピクチャ全体に対する1つのパレット予測子が存在する。
ビデオビットストリームのパレットエントリのシグナリングに必要なビットを減らすために、ビデオデコーダは、ビデオブロックの再構成に使用されるパレットテーブルの新しいパレットエントリを決定するためのパレット予測子を利用することができる。例えば、パレット予測子は以前に使用されたパレットテーブルからのパレットエントリを含むことができ、あるいは最後に使用されたパレットテーブルの全てのエントリを含むことによって、最後に使用されたパレットテーブルで初期化されることさえできる。一部の実装では、パレット予測子が最後に使用されたパレットテーブルからの全てのエントリより少ないエントリを含み、その後、他の以前に使用されたパレットテーブルからのいくつかのエントリを組み込むことができる。パレット予測子は、異なるブロックを符号化するために使用されるパレットテーブルと同じサイズを有してもよく、あるいは異なるブロックを符号化するために使用されるパレットテーブルよりも大きくても小さくてもよい。1つの例では、パレット予測子が64のパレットエントリを含む先入れ先出し(FIFO)テーブルとして実装されている。
パレット予測子からビデオデータのブロックのパレットテーブルを生成するために、ビデオデコーダは符号化されたビデオビットストリームから、パレット予測子の各エントリに対して1ビットのフラグを受信することができる。1ビットフラグはパレット予測子の関連するエントリがパレットテーブルに含まれることを示す第1値(例えば、バイナリ1)、またはパレット予測子の関連するエントリがパレットテーブルに含まれないことを示す第2値(例えば、バイナリ0)を有することができる。パレット予測子のサイズがビデオデータのブロックに使用されるパレットテーブルより大きい場合、ビデオデコーダは、
パレットテーブルの最大サイズに達すると、より多くのフラグの受信を停止することがある。
パレットテーブルの最大サイズに達すると、より多くのフラグの受信を停止することがある。
一部の実装では、パレットテーブルの一部のエントリがパレット予測子を使用して決定される代わりに、符号化されたビデオビットストリームで直接シグナリングされてもよい。そのようなエントリについて、ビデオデコーダは符号化されたビデオビットストリームから、輝度の画素値を示す3つの別個のmビット値と、エントリに関連付けられた2つの彩度成分とを受信することができ、ここで、mは、ビデオデータのビット深度を表す。直接シグナリングされたパレットエントリに必要な複数のmビット値と比較して、パレット予測子から派生したそれらのパレットエントリは、1ビットフラグのみを必要とする。したがって、パレット予測子を使用していくつかのまたは全てのパレットエントリをシグナリングすることは、新しいパレットテーブルのエントリをシグナリングするために必要とされるビット数を大幅に低減することができ、それによってパレットモード符号化の全体的な符号化効率を改善する。
多くの場合、1つのブロックのパレット予測子は、以前に符号化された1以上のブロックを符号化するために使用されるパレットテーブルに基づいて決定される。しかし、ピクチャ、スライス、またはタイル内の最初の符号化ツリーユニットを符号化するとき、以前に符号化されたブロックのパレットテーブルは利用できないことがある。したがって、以前に使用したパレットテーブルのエントリを使用してパレット予測子を生成することはできない。このような場合、パレット予測子イニシャライザのシーケンスはシーケンスパラメータセット(SPS)および/またはピクチャパラメータセット(PPS)でシグナリングされることがあり、これは、以前に使用されたパレットテーブルが利用できないときにパレット予測子を生成するために使用される値である。SPSは一般に、各スライスセグメントヘッダに見られる構文要素によって参照されるPPSに見られる構文要素の内容によって決定される、符号化ビデオシーケンス(CVS)と呼ばれる一連の連続符号化ビデオ画像に適用される構文要素の構文構造を指す。PPSは一般に、各スライスセグメントヘッダに見られる構文要素によって決定されるように、CVS内の1以上の個々のピクチャに適用される構文要素の構文構造を指す。それゆえ、SPSは一般に、PPSより高いレベルの構文構造と見なされ、SPSに含まれる構文要素は一般に、PPSに含まれる構文要素と比較して、あまり頻繁に変更されず、ビデオデータのより大きな部分に適用されることを意味する。
図5は、本開示のいくつかの実装による、インター符号化ブロックおよびイントラ符号化ブロックの残差を変換するための例示的な多重変換選択(MTS)スキームを示す表500である。例えば、符号化の間、ビデオエンコーダ20は、図2の変換処理ユニット52を用いてMTSを実行する。復号化の間、ビデオデコーダ30は、図3の逆変換処理ユニット88を用いて、対応する逆変換方法を使用して逆変換を実行する。
現在のVVC仕様は、インター符号化ブロックおよびイントラ符号化ブロックの両方において残差を変換するためのMTS方式を採用している。MTSが使用される場合、符号化の間に、ビデオエンコーダが符号化されたブロックの残差に適用するために、多くの変換方法のうちの1つを選択する。例えば、ビデオエンコーダはDCT2変換(例えば、MTSがディスエーブルされる)、DCT8変換、またはDST7変換を、符号化ブロックの残差に適用することができる。構文要素のグループ(例えば、MTS_CU_flag、MTS_Hor_flag、MTS_Ver_flag)(フラグとも呼ばれる)は、符号化されたブロックに使用される特定の変換方法を通知するために使用される。
いくつかの実施形態では、イントラモードとインターモードのためのMTSを別々に可能にするために、2つの構文要素がシーケンスレベルで指定される(例えば、シーケンス
パラメータセット(SPS)に含まれる)。MTSがシーケンスレベルで有効にされると、別のCUレベル構文要素(例えば、表500のMTS_CU_flag)が、MTSが特定のCUに適用されるかどうかを示すためにさらにシグナリングされる。
パラメータセット(SPS)に含まれる)。MTSがシーケンスレベルで有効にされると、別のCUレベル構文要素(例えば、表500のMTS_CU_flag)が、MTSが特定のCUに適用されるかどうかを示すためにさらにシグナリングされる。
いくつかの実施形態ではMTSが符号化ブロックの特性に関連する複数の基準が満たされる場合にのみ使用され、この基準には、1)符号化ブロックの幅および高さの両方が所定の値(例えば、32)以下であること、2)符号化ブロックが輝度符号化ブロックであること(例えば、MTSが輝度残差符号化においてのみ使用されるので、輝度CBFフラグ==1であること)、および3)最後の非ゼロ係数の水平座標および垂直座標の両方が所定の値(例えば、16)よりも小さいこと(例えば、最後の非ゼロ係数が変換ブロックの所定の左上領域に限定されること)が含まれる。上記の基準のいずれかが満たされない場合、ビデオエンコーダはMTSを適用せず、むしろブロック残差を変換するためのDCT2変換のようなデフォルト変換方法を適用し、対応する構文要素は、デフォルト変換が使用されることを示すように設定される(例えば、MTS_CU_flag==0およびMTS_Hor_flagおよびMTS_Ver_flagはシグナリングされない)。
表500は、構文要素値と、MTSで使用されている対応する変換方法とを示す。DCT2変換を使用してブロック残差を変換する場合、MTS_CU_flagは0に設定され、MTS_Hor_flagおよびMTS_Ver_flagはシグナリングされない。MTS_CU_flagが1にセットされている場合(例えば、DCT8および/またはDST7が使用されていることを示す)、水平方向および垂直方向の変換タイプを示すために、2つの他の構文要素(例えば、MTS_Hor_flag、MTS_Ver_flag)が追加でシグナリングされる。MTS_Hor_flag==1またはMTS_Ver_flag==1の場合、それぞれの水平または垂直成分はDST7方式を使用して変換される。MTS_Hor_flag==0またはMTS_Ver_flag==0の場合、DCT8方式で水平/垂直成分を変換する。
いくつかの実施形態では、全てのMTS変換係数がDCT2コア変換と同じ6ビット精度で符号化される。VVCがHEVCで使用される全ての変換サイズをサポートすると仮定すると、HEVCで使用される全ての変換コアは、4ポイント、8ポイント、16ポイント、および32ポイントDCT2変換、ならびに4ポイントDST7変換を含めて、VVCと同じに保たれる。一方、64ポイントDCT2、4ポイントDCT8、8ポイント、16ポイント、32ポイントDST7およびDCT8を含む他の変換コアは、VVC変換設計において追加的にサポートされる。
さらに、大きなサイズのDST7またはDCT8変換の計算量を削減するために、ブロックの幅または高さのいずれかが32に等しい場合に、変換係数(例えば、変換ブロックの左上16×16領域)が低周波数領域の外側に位置する変換係数(例えば、高周波数変換係数)はDST7およびDCT8変換ブロックに対してゼロに設定される(例えば、ゼロアウト動作)。
いくつかの実施形態では、変換ブロックの変換係数が非重複係数グループ(CG)を使用して符号化される。CGサイズは、変換ブロックのサイズに基づいて決定される。変換ブロック内のCGおよび各CG内の変換係数は1つの事前定義された走査順序(例えば、対角走査順序)に基づいて符号化される。
図6は、本開示のいくつかの実装による、非ゼロ変換係数を有する例示的な変換ブロック600を示すブロック図である。変換ブロック600は、変換ブロック600の左上のメッシュ部分に対応する第1領域602と、変換ブロック600の破線部分によって表される第2領域604とを含む。第1領域602は変換ブロック600の所定のサイズ(例
えば、左上16×16領域)を有し、1以上の非ゼロ変換係数(例えば、第1、第2、および第3の非ゼロ係数606、608、および610)を含む。第2領域604は1以上の非ゼロ変換係数を含んでも含まなくてもよい、第1領域602の外側の領域である。
えば、左上16×16領域)を有し、1以上の非ゼロ変換係数(例えば、第1、第2、および第3の非ゼロ係数606、608、および610)を含む。第2領域604は1以上の非ゼロ変換係数を含んでも含まなくてもよい、第1領域602の外側の領域である。
図5で説明したように、ビデオエンコーダ/デコーダはMTSを使用して、イントラモードおよびインターモードの両方(例えば、DCT8またはDST7変換)における残差(例えば、輝度残差)を変換してもよい。さらに、ビデオエンコーダ/デコーダは(1)符号化ブロックの幅および高さの両方が所定の値(たとえば、32)以下である場合にのみMTSを使用し、(2)符号化ブロックは輝度符号化ブロックであり(たとえば、MTSが輝度残差符号化にのみ適用されるので、輝度CBFフラグ==1)、(3)最後の非ゼロ係数(たとえば、第3非ゼロ係数610)の水平座標および垂直座標の両方が所定の値(たとえば、16)よりも小さく、すなわち、第1領域602内である。
いくつかの実施形態では、上に列挙した3つの基準が満たされる場合、変換ブロックの所定の左上領域(例えば、第1領域602)に1つの非ゼロ変換係数しかない場合であっても、MTSをイネーブルにすることができる。他の実施形態ではMTS符号化利得がDCT2変換よりも良好なエネルギーコンパクションにつながる1つの非DCT2変換の適切な選択から来るので、MTSツールは変換ブロックに十分な数の非ゼロ変換係数が存在する場合にのみ有効である。この場合、MTS構文要素をシグナリングするために、追加の基準が使用される。
いくつかの実施形態では、追加の基準が変換ブロック内に少なくとも最小数の非ゼロ変換係数があることを含む(例えば、MTS_CU_flagは上記の3つの基準が満たされるとき、および変換ブロック全体に少なくとも最小数の非ゼロ変換係数があるときにのみシグナリングされる)。復号化の間、ビデオデコーダは非ゼロ変換係数の数が事前に定義されたしきい値を超えた場合に、MTS構文要素(例えば、MTS_CU_flag)を受信し、解析するだけである。非ゼロ変換係数の最小数が存在しない場合、ビデオデコーダはMTS_CU_flagを0に設定し、逆DCT2変換を変換ブロックに適用する。例えば、変換ブロック600において、MTSをイネーブルするための非ゼロ変換係数の最小数が2であると仮定すると、3つの非ゼロ係数があるので、MTSは変換ブロック600に対してイネーブルされ得る。
いくつかの実施形態では、MTS構文要素が変換ブロック内の最後の非ゼロ変換係数の走査順序インデックスに基づいて条件付きでシグナリングされる。例えば、図6では最後の非ゼロ変換係数(第3非ゼロ係数610)の走査順序インデックスはNであり、その結果、ビデオエンコーダまたはデコーダは変換ブロック内の非ゼロ係数の数が所定の閾値を超えるかどうかを判定するために、全ての非ゼロ変換係数をカウントする必要はない(これは輝度残差を解析するときに、無視できない計算の複雑さの増加を引き起こす可能性がある)。具体的には、MTSが最後の非ゼロ係数の走査順序インデックス(すなわち、N)が所定の閾値(例えば、3)を超える場合にのみ、変換ブロックに使用される。最後の非ゼロ変換係数の走査順序インデックスが所定のしきい値よりも大きい場合、MTS_CU_flagは(例えば、図5のテーブル500に従って)使用される特定の変換を示すようにシグナリングされる。一方、最後の非ゼロ変換係数のインデックス位置が所定のしきい値よりも大きくない場合、MTS_CU_flagはシグナリングされず、ゼロであると推論される(例えば、DCT2が使用される)。このアプローチでは、MTS構文要素を解析する前に、変換ブロックごとに1つのチェックのみが実行される。以下の表1は、この方法が関連する変更に下線を引いた条件MTSシグナリングに適用される場合に、符号化ユニットおよび変換ユニットに使用される構文テーブルを示す。表1では、ブール変数MtsLastSigCoeffPosMetThresholdFlagを使用して、最後の非ゼロ係数のインデックス位置が事前定義されたしきい値より大きいかどうか
を表すため、MTS_CU_flagが所定の変換ブロックに対してシグナリングされることが許可される。
表1:MTSシグナリングのための符号化ユニットおよび変換ユニットの修正構文テーブル
を表すため、MTS_CU_flagが所定の変換ブロックに対してシグナリングされることが許可される。
表1:MTSシグナリングのための符号化ユニットおよび変換ユニットの修正構文テーブル
図5に関連する説明で言及したように、MTSの下で、変換ブロックにおける所定の左上領域(例えば、非ゼロ領域としても知られる左上16×16領域)の外側の変換係数(例えば、高周波変換係数)は変換ブロックの幅または高さのいずれかが所定値(例えば、16)よりも大きい場合に、ゼロに強制される(例えば、この領域は、ゼロアウト領域としても知られる)。例えば、図6において、第2領域604はゼロアウト領域であってもよく、第1領域602は非ゼロ領域であってもよい。MTS_CU_flagは最後の非ゼロ係数(例えば、第3非ゼロ係数610)の水平座標および垂直座標の両方が所定の値(例えば、16)よりも小さく、最後の非ゼロ係数が非ゼロ領域内にあることを示す場合にのみシグナリングされる。しかしながら、変換係数が対角走査順序に基づいて走査されるという事実のために、そのようなMTSシグナリング条件は全ての非ゼロ変換係数が常に所定の最上位左側領域の内側に位置することを保証することができない(例えば、図6には示されていないが、最後の非ゼロ係数の前の1以上の非ゼロ係数が第2領域604に存在することがある)。したがって、全ての非ゼロ係数が非ゼロ領域(例えば、第1領域602)の内側にあることを保証するために、追加のチェックが必要である。
いくつかの実施形態では、追加のチェックの例がMTSゼロアウト領域(例えば、第2領域604)内に非ゼロ係数が存在する場合に、MTSインデックスの値、すなわち、MTS_idxがゼロでなければならない(すなわち、DCT2がデフォルトで使用される)ように、ビットストリーム適合制約を含む。
いくつかの実施形態では、左上領域の外側に位置する非ゼロ係数があるかどうかに応じて(例えば、min(TUWidth,16)×min(TUHeight,16))、
MTSインデックスがシグナリングされる。肯定された場合、MTSインデックスはシグナリングされず、常に0として推論される。そうでない場合、MTSインデックスはビットストリームにシグナリングされ、使用されている変換を示す。
MTSインデックスがシグナリングされる。肯定された場合、MTSインデックスはシグナリングされず、常に0として推論される。そうでない場合、MTSインデックスはビットストリームにシグナリングされ、使用されている変換を示す。
各走査位置をチェックする代わりに、符号化グループ(CG)レベルでCBFをチェックすることによって、ゼロアウト領域に非ゼロ係数があるかどうかの判定を行うことができる。具体的には、ゼロアウト領域内に位置する現在のTBのいずれかのCGが1に等しいCBF値を有する(すなわち、CG内に非ゼロ係数がある)場合、MTSインデックスのシグナリングは省略される。以下の表2は(現在のVVC仕様と比較して)上述のMTSシグナリング制約が適用される場合の変換ユニットの修正構文テーブルを示し、提案された制約付きMTSシグナリングに関連する変更に下線が引かれている。
表2:MTSシグナリングのための提案された変換ユニット構文テーブル
表2:MTSシグナリングのための提案された変換ユニット構文テーブル
いくつかの実施形態では、変換スキップモードがビットストリーム内の3つの変換スキップフラッグを、各成分に1つずつシグナリングすることによって、輝度成分および彩度成分に独立して適用することができる。しかしながら、現在の設計では、現在のTUの彩度残差がJCCRモードで符号化されるとき、変換スキップモードを彩度成分に適用することは禁止される。変換スキップおよびJCCRは、彩度残差を再構成する際に異なる段階で適用されるので、2つの符号化ツールを同時に使用可能にすることができる。したがって、本開示の別の実施形態では、1つのTU内の彩度残差がJCCRモードで符号化される場合に、彩度変換スキップモードを可能にすることが提案される
図7は、本開示のいくつかの実装による、ビデオコーダが多重変換選択(MTS)スキームを使用してブロック残差を符号化する技法を実装する例示的なプロセス700を示すフローチャートである。説明の便宜上、プロセス700はビデオデコーダ、例えば、図3のビデオデコーダ30によって実行されるものとして説明される。プロセス700の間、MTSのシグナリングは、最後の非ゼロ係数の位置、および変換ブロックの異なる領域における非ゼロ係数の存在に条件付けされる。
最初のステップとして、ビデオデコーダ30は変換ブロックを符号化するビットストリームを受信し、変換ブロックは非ゼロ領域(例えば、左上16×16領域)およびゼロアウト領域(例えば、左上16×16領域の外側の領域)を含む(710)。
次に、ビデオデコーダ30は、ゼロアウト領域内に非ゼロ係数があるかどうかをチェックする(720)。
変換ブロックのゼロアウト領域内に非ゼロ係数が存在しないとの判断に従い、ビデオデコーダ30は走査方向(例えば、対角走査方向)(730)に沿った変換ブロックの最後の非ゼロ係数の走査順序インデックスを決定する。例えば、図6において、変換ブロックの最後の非ゼロ係数(第3非ゼロ係数610)は、3の走査次数インデックスを有する。
最後の非ゼロ係数の走査順序インデックスが事前定義されたしきい値(例えば、ブール変数MtsLastSigCoeffPosMetThresholdFlag==1より大きいという決定に従って)(740)、ビデオデコーダ30はビットストリームから、多重変換選択(MTS)インデックスの値を受信する(750)。例えば、図6の変換ブロック600について、所定のしきい値が2である場合、最後の非ゼロ係数3が所定のしきい値2より大きいので、ビデオデコーダ30はMTSインデックスの値を受信する。
最後に、ビデオデコーダ30は、それぞれの変換を、MTSインデックス(760)の値に基づいて、水平方向および垂直方向の両方における変換ブロックの変換係数に適用する。例えば、図5および関連する記載で説明したように、MTS_CU_flagの値が0である場合、ビデオデコーダは逆DCT2変換を変換ブロックに適用する。MTS_CU_flagの値が1の場合、ビデオデコーダはさらに追加の構文要素(MTS_Hor_flagやMTS_Ver_flagなど)を受信し、逆DST7またはDCT8を変換ブロックに選択的に適用する。
いくつかの実施形態では、最後の非ゼロ係数の走査順序インデックスが所定の閾値以下であるという決定に従って、ビデオデコーダ30は変換ブロック(例えば、DCT-2)にデフォルト変換を適用する。
ある実施形態では、ビデオデコーダ30が、MTSインデックスがビットストリームから受信する第1値(例えば、1)を有するという決定に従って、MTSインデックスの値に基づいて、変換ブロックに変換の各々を適用する。MTS水平フラグ(MTS_Hor_flagなど)の値とMTS垂直フラグ(MTS_Ver_flagなど)の値に基づいて水平方向の変換ブロックの係数を適用し(MTS_Hor_flag==0の場合はDST-7、MTS_Ver_flag==1の場合はDCT-8など)、MTSインデックスが2番目の値を持つとの判断に従って(例えば、0)、水平方向と垂直方向の両方でデフォルトの変換(例えばDCT-2)を使用して変換ブロックを変換する。
いくつかの実施形態では、ビデオデコーダ30がゼロアウト領域内の輝度係数群の符号化ブロックフラグ(CBF)をチェックし、ゼロアウト領域内の全ての輝度係数群のCBFがゼロである場合にのみ、ゼロアウト領域内に非ゼロ係数がないと判定することによって、ゼロアウト領域内に非ゼロ係数があるかどうかをチェックする。例えば、ゼロアウト領域内の1つの輝度係数群のCBFが1である場合、ゼロアウト領域内に少なくとも1つの非ゼロ係数があり、MTSインデックスはシグナリングされない。
いくつかの実施形態では、ビデオデコーダ30が最後の非ゼロ係数の水平座標および垂直座標をチェックし、最後の非ゼロ係数の水平座標または垂直座標のいずれかがゼロアウト領域内にあるときに、ゼロアウト領域内に少なくとも1つの非ゼロ係数があると判定することによって、ゼロアウト領域内に非ゼロ係数があるかどうかをチェックする。例えば、最後の非ゼロ係数の水平座標または垂直座標がゼロアウト領域内にある場合、ゼロアウト領域内に少なくとも1つの非ゼロ係数がある。
いくつかの実施形態では変換ブロックの彩度残差が彩度残差ジョイント符号化(JCCR)モードにおいて符号化され、彩度変換スキップモードは変換ブロックに対してイネーブルされる。
いくつかの実施形態では、非ゼロ領域が変換ブロックの左上16×16領域である。
いくつかの実施形態では、走査順序は対角走査順序である。
上述のように、MTSを使用する動機は、DCT/DST変換における他のコア変換を使用して、残差サンプルのより良好なエネルギー圧縮を達成することである。異なる予測モードから生じる残差は、異なる特性を提示することができる。いくつかの実施形態では、全ての予測モードにMTSを使用することは有益ではない場合がある。例えば、通常、空間領域におけるよりも時間領域におけるサンプル間に多くの相関があり、したがって、インター予測サンプルはしばしば、イントラ予測サンプルよりも良好な予測効率を有する。換言すれば、インター予測ブロックの残差の大きさは、イントラ予測ブロックの残差の大きさよりも小さいことが多い。この場合、MTSモードは、ブロックをインター符号化するためにディスエーブルされてもよい。具体的には、現在の符号化ブロックがイントラ符号化されるとき、構文mts_idxは非DCT2変換が現在の符号化ブロックに適用されるか否かを決定するために解析される。さもなければ、現在の符号化ブロックがインター符号化されるとき、構文mts_idxは解析されず、常に0であると推論される、すなわち、DCT2変換のみが適用可能である。提案された方法を有する対応する構文テーブルは、以下のように指定される。
表3:MTSシグナリングのための追加の提案された変換ユニット構文テーブル
表3:MTSシグナリングのための追加の提案された変換ユニット構文テーブル
図8は、本開示のいくつかの実装による、例示的なコンテキスト適応バイナリ算術符号化(CABAC)エンジンを示すブロック図である。
コンテキスト適応バイナリ算術符号化(CABAC)は多くのビデオ符号化規格、例えば、H.264/MPEG-4 AVC、HEVC(High Efficiency Video Coding)およびVVCで使用されるエントロピー符号化の形態である。CABACは算術符号化に基づいており、ビデオ符号化規格のニーズに適応させるために、いくつかの革新および変更がなされている。例えば、CABACはバイナリシンボルを符号化し、これは、複雑さを低く保ち、任意のシンボルのより頻繁に使用されるビットに対する確率モデリングを可能にする。確率モデルは、局所コンテキストに基づいて適応的に選択され、符号化モードが通常局所的に良好に相関されるので、確率のより良好なモデリングを可能にする。最後に、CABACは量子化された確率範囲および確率状態を用いることで、乗算不要の範囲分割を実現している。
CABACは、異なるコンテキストに対して複数の確率モードを有する。まず、全ての非バイナリシンボルをバイナリに変換する。次いで、各ビン(またはビットと呼ばれる)について、コーダはどの確率モデルを使用するかを選択し、次いで、近くの要素からの情報を使用して、確率推定値を最適化する。最後に算術符号化を適用してデータを圧縮する。
コンテキストモデリングは、符号化シンボルの条件付き確率の推定値を提供する。適切なコンテキストモデルを利用して、符号化する現在のシンボルの近傍における既に符号化されたシンボルに従って異なる確率モデル間で切り替えることによって、所与のシンボル間冗長性を利用することができる。データシンボルの符号化には、以下の段階が含まれる。
2値化:CABACは、バイナリ決定(1または0)のみが符号化されることを意味するバイナリ算術符号化を使用する。非2値化シンボル(例えば、変換係数または動きベクトル)は、算術符号化の前に「2値化」されるか、またはバイナリコードに変換される。このプロセスはデータシンボルを可変長コードに変換するプロセスに似ているが、バイナリコードは送信前にさらに(算術コーダによって)符号化される。ステージは、2値化されたシンボルの各ビン(または「ビット」)に対して繰り返される。
コンテキストモデル選択:「コンテキストモデル」は、2値化シンボルの1以上のビンの確率モデルである。このモデルは、最近符号化されたデータシンボルの統計に応じて、利用可能なモデルの選択から選択されてもよい。コンテキストモデルは、各ビンが「1」または「0」である確率を格納する。
算術符号化:算術コーダは、選択された確率モデルに従って各ビンを符号化する。各ビンには2つのサブレンジ(「0」および「1」に対応する)しかないことに留意されたい。
確率更新:選択されたコンテキストモデルは実際の符号化値に基づいて更新される(例えば、ビン値が「1」であった場合、「1」の頻度カウントが増加される)。
各非バイナリ構文要素値をビンのシーケンスに分解することによって、CABACにおける各ビン値のさらなる処理は関連する符号化モード決定に依存し、これは、通常モードまたはバイパスモードのいずれかとして選択することができる。後者は、一様に分布していると仮定され、その結果、正規のバイナリ算術符号化(および復号化)プロセス全体が単にバイパスされるビンに対して選択される。正規符号化モードでは、各ビン値が正規バイナリ算術符号化エンジンを使用することによって符号化され、関連する確率モデルは構文要素のタイプと、構文要素の2値化表現におけるビン位置またはビンインデックス(binIdx)とに基づいて、固定選択によって決定されるか、または関連するサイド情報(例えば、CU/PU/TUの空間近傍、成分、深さ、またはサイズ、あるいはTU内の位置)に応じて2つ以上の確率モデルから適応的に選択される。確率モデルの選択は、コンテキストモデリングと呼ばれる。重要な設計決定として、後者の場合は一般に、最も頻繁に観測されるビンのみに適用され、他の、通常は頻繁に観測されないビンは、ジョイント、典型的にはゼロ次確率モデルを使用して処理される。このようにして、CABACはサブシンボルレベルでの選択的適応確率モデリングを可能にし、従って、著しく低減した全体モデリングまたは学習コストでシンボル間冗長性を活用するための効率的な手段を提供する。固定の場合と適応の場合の両方について、原則として、1つの確率モデルから別の確率モデルへの切り替えが、任意の2つの連続する正規符号化ビンの間で起こり得ることに留意されたい。一般に、CABACにおけるコンテキストモデルの設計は不必要なモ
デリングコストオーバーヘッドを回避し、統計的依存性を大幅に活用するという相反する目的の間の良好な妥協ポイントを見出す目的を反映する。
デリングコストオーバーヘッドを回避し、統計的依存性を大幅に活用するという相反する目的の間の良好な妥協ポイントを見出す目的を反映する。
CABACにおける確率モデルのパラメータは適応的であり、これはビンソースの統計的変動に対するモデル確率の適応がエンコーダ及びデコーダの両方において、後方適応及び同期方式でビン毎に実行されることを意味し、この処理は確率推定と呼ばれる。そのために、CABACの各確率モデルは、区間[0:01875;0:98125]の範囲にある関連付けられたモデル確率値pを持つ126の異なる状態の中から1つを取り出すことができる。各確率モデルの2つのパラメータは、コンテキストメモリ内に7ビットエントリとして記憶される:最低確率シンボル(LPS)のモデル確率pLPSを表す63の確率状態の各々について6ビット、および最高確率シンボル(MPS)の値であるnMPSについて1ビット。
1以上の例では、説明された機能がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実施される場合、機能は、1以上の命令またはコードとして、コンピュータ可読媒体上に記憶され、またはそれを介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体はデータ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、または例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は一般に、(1)非一時的有形コンピュータ可読記憶媒体、または(2)信号または搬送波などの通信媒体に対応することができる。データ記憶媒体は本願に記載の実施のための命令、コードおよび/またはデータ構造を取り出すために、1以上のコンピュータまたは1以上のプロセッサによってアクセス可能な任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
本明細書の実装の説明で使用される用語は特定の実装を説明するためだけのものであり、特許請求の範囲を限定することを意図するものではない。実施形態の説明および添付の特許請求の範囲で使用されるように、「1つの」などの単数形は文脈が別段の明確な指示をしない限り、複数形も同様に含むことが意図される。また、本明細書で使用される用語「および/または」は関連する列挙された項目のうちの1以上の任意の、および全ての可能な組合せを指し、包含することが理解されるのであろう。用語「含む」などは本明細書で使用される場合、述べられた特徴、要素、および/または構成要素の存在を指定するが、1以上の他の特徴、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことがさらに理解されるであろう。
また、第1、第2などの用語は様々な要素を説明するために本明細書で使用され得るが、これらの要素はこれらの用語によって限定されるべきではないことも理解される。これらの用語は、1つの要素を別の要素から区別するためにのみ使用される。例えば、実施の範囲から逸脱することなく、第1電極を第2電極と呼ぶことができ、同様に、第2電極を第1電極と呼ぶことができる。第1電極と第2電極は両方とも電極であるが、それらは同じ電極ではない。
本出願の説明は例示および説明の目的で提示されており、網羅的であることも、開示された形態の発明に限定されることも意図されていない。前述の説明および関連する図面に提示された教示の恩恵を受ける当業者には、多くの修正形態、変形形態、および代替実施形態が明らかになる。本実施形態は本発明の原理、実際の応用を最もよく説明するために、また、他の当業者が様々な実施のために本発明を理解し、考えられる特定の用途に適した様々な修正を伴う基礎となる原理および様々な実施を最もよく利用することができるように、選択され、説明された。したがって、特許請求の範囲は開示された実施態様の特定
の例に限定されるべきではなく、変更および他の実施態様は添付の特許請求の範囲内に含まれることが意図されることを理解されたい。
の例に限定されるべきではなく、変更および他の実施態様は添付の特許請求の範囲内に含まれることが意図されることを理解されたい。
〔関連出願〕
本出願は2019年11月21日に出願された「変換および係数シグナリングに関する方法および装置」という名称の米国仮特許出願第62/938,890号、および2020年1月10日に出願された「変換および係数シグナリングに関する方法および装置」という名称の米国仮特許出願第62/959,325号の優先権を主張し、これらの両方は、その全体が参照により組み込まれる。
本出願は2019年11月21日に出願された「変換および係数シグナリングに関する方法および装置」という名称の米国仮特許出願第62/938,890号、および2020年1月10日に出願された「変換および係数シグナリングに関する方法および装置」という名称の米国仮特許出願第62/959,325号の優先権を主張し、これらの両方は、その全体が参照により組み込まれる。
Claims (10)
- ゼロアウト領域内に位置する変換ブロックの符号化グループの何れかが非ゼロ係数を有するか否か決定し、
前記変換ブロックは非ゼロ領域と前記ゼロアウト領域とを含み、
非ゼロ係数を有する前記ゼロアウト領域内に位置する前記変換ブロックの符号化グループがないという決定に応じて、
前記変換ブロックの係数を変換するために、水平方向および垂直方向の両方で各々の逆変換を適用する、
ビデオ符号化方法。 - 前記ゼロアウト領域内に位置する前記変換ブロックの符号化グループが非ゼロ係数を有するという決定に従って、
所定のデフォルト逆変換を適用して、前記変換ブロックの係数を、前記水平方向および垂直方向の両方で変換する、
ことをさらに含む、請求項1に記載のビデオ符号化方法。 - 前記所定のデフォルト逆変換は逆DCT-2変換であり、前記逆変換の各々は逆DST-7変換および逆DCT-8変換を含む、
請求項2に記載のビデオ符号化方法。 - 前記変換ブロックの彩度残差は彩度残差ジョイント符号化(JCCR)モードで符号化され、
変換スキップモードが対応する彩度変換ブロックに対してイネーブルされる、
請求項1に記載のビデオ符号化方法。 - 前記非ゼロ領域は、前記変換ブロックの左上の16×16領域である、請求項1に記載のビデオ符号化方法。
- 前記変換ブロックの係数の走査順序は、対角走査順序である、請求項1に記載のビデオ符号化方法。
- 電子装置であって、
1以上の処理ユニットと、
1以上の前記処理ユニットに結合されたメモリと、
1以上の前記処理ユニットによって実行されると、前記電子装置に請求項1~請求項6の何れか1項に記載のビデオ符号化方法を実行させる、前記メモリに記憶された複数のプログラムと、
を含む、
電子装置。 - 1以上の処理ユニットを有する電子装置によって実行される複数のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、複数の前記プログラムは、1以上の前記処理ユニットによって実行されると、前記電子装置に請求項1~請求項6の何れか1項に記載のビデオ符号化方法を実行させる、非一時的コンピュータ可読記憶媒体。
- 請求項1~請求項6の何れか1項に記載のビデオ符号化方法によって生成されたビットストリームを記憶した非一時的コンピュータ可読記憶媒体。
- 1以上の処理ユニットを有する電子装置によって実行されるプログラムであって、1以上の前記処理ユニットによって実行されると、前記電子装置に請求項1~請求項6の何れか1項に記載のビデオ符号化方法を実行させる、プログラム。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962938890P | 2019-11-21 | 2019-11-21 | |
US62/938,890 | 2019-11-21 | ||
US202062959325P | 2020-01-10 | 2020-01-10 | |
US62/959,325 | 2020-01-10 | ||
PCT/US2020/061843 WO2021102424A1 (en) | 2019-11-21 | 2020-11-23 | Methods and apparatus on transform and coefficient signaling |
JP2022529703A JP7319468B2 (ja) | 2019-11-21 | 2020-11-23 | ビデオ復号化方法、電子装置、非一時的コンピュータ可読記憶媒体、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022529703A Division JP7319468B2 (ja) | 2019-11-21 | 2020-11-23 | ビデオ復号化方法、電子装置、非一時的コンピュータ可読記憶媒体、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023129533A true JP2023129533A (ja) | 2023-09-14 |
Family
ID=75980942
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022529703A Active JP7319468B2 (ja) | 2019-11-21 | 2020-11-23 | ビデオ復号化方法、電子装置、非一時的コンピュータ可読記憶媒体、及びプログラム |
JP2023118337A Pending JP2023129533A (ja) | 2019-11-21 | 2023-07-20 | ビデオ符号化方法、電子装置、記憶媒体及びプログラム |
JP2023118339A Pending JP2023139135A (ja) | 2019-11-21 | 2023-07-20 | ビデオ復号化方法、電子装置、記憶媒体及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022529703A Active JP7319468B2 (ja) | 2019-11-21 | 2020-11-23 | ビデオ復号化方法、電子装置、非一時的コンピュータ可読記憶媒体、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023118339A Pending JP2023139135A (ja) | 2019-11-21 | 2023-07-20 | ビデオ復号化方法、電子装置、記憶媒体及びプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US12015798B2 (ja) |
EP (1) | EP4062645A4 (ja) |
JP (3) | JP7319468B2 (ja) |
KR (3) | KR20240024337A (ja) |
CN (2) | CN116016915B (ja) |
MX (1) | MX2022006209A (ja) |
WO (1) | WO2021102424A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230112642A1 (en) * | 2021-10-13 | 2023-04-13 | Tencent America LLC | Adaptive multiple transform set selection |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9154801B2 (en) * | 2010-09-30 | 2015-10-06 | Texas Instruments Incorporated | Method and apparatus for diagonal scan and simplified coding of transform coefficients |
US20130016789A1 (en) * | 2011-07-15 | 2013-01-17 | General Instrument Corporation | Context modeling techniques for transform coefficient level coding |
EP2946553B1 (en) * | 2013-01-16 | 2019-01-02 | BlackBerry Limited | Transform coefficient coding for context-adaptive binary entropy coding of video |
US9215464B2 (en) * | 2013-09-19 | 2015-12-15 | Blackberry Limited | Coding position data for the last non-zero transform coefficient in a coefficient group |
US9432696B2 (en) * | 2014-03-17 | 2016-08-30 | Qualcomm Incorporated | Systems and methods for low complexity forward transforms using zeroed-out coefficients |
CN107211146A (zh) * | 2014-11-21 | 2017-09-26 | Vid拓展公司 | 一维变换模式和系数扫描顺序 |
US10631013B2 (en) * | 2015-06-11 | 2020-04-21 | Lg Electronics Inc. | Method for re-positioning significant coefficient in image encoding/decoding process and device therefor |
CN114866770A (zh) * | 2015-08-07 | 2022-08-05 | Lg 电子株式会社 | 视频编译系统中的帧间预测方法和装置 |
CN117412037A (zh) | 2016-08-31 | 2024-01-16 | 株式会社Kt | 用于处理视频信号的方法和设备 |
CA3142941C (en) * | 2017-01-03 | 2024-06-18 | Lg Electronics Inc. | Image processing method and apparatus therefor |
US10244261B2 (en) * | 2017-01-26 | 2019-03-26 | Google Llc | Transform coefficient coding using level maps |
US10750181B2 (en) * | 2017-05-11 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive multiple transforms for video coding |
WO2018212430A1 (ko) * | 2017-05-15 | 2018-11-22 | 엘지전자 주식회사 | 영상 코딩 시스템에서 주파수 도메인 필터링 방법 및 그 장치 |
KR20240010541A (ko) * | 2017-07-04 | 2024-01-23 | 삼성전자주식회사 | 다중 코어 변환에 의한 비디오 복호화 방법 및 장치, 다중 코어 변환에 의한 비디오 부호화 방법 및 장치 |
AU2018311237B2 (en) * | 2017-08-04 | 2021-07-29 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and apparatus for configuring transform for video compression |
WO2019152131A1 (en) * | 2018-01-30 | 2019-08-08 | Interdigital Vc Holdings, Inc. | Methods and devices for picture encoding and decoding using multiple transforms |
KR20200138804A (ko) * | 2018-03-29 | 2020-12-10 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 변환 세트 |
US10491914B2 (en) * | 2018-03-29 | 2019-11-26 | Tencent America LLC | Transform information prediction |
CN115604470A (zh) * | 2018-04-01 | 2023-01-13 | Lg电子株式会社(Kr) | 视频编解码方法、计算机可读存储介质及发送方法 |
WO2019203569A1 (ko) * | 2018-04-17 | 2019-10-24 | 엘지전자 주식회사 | 전처리/후처리 행렬에 기초하는 근사 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치 |
JP7223014B2 (ja) * | 2018-06-03 | 2023-02-15 | エルジー エレクトロニクス インコーポレイティド | 縮小された変換を用いて、ビデオ信号を処理する方法及び装置 |
JP2021166320A (ja) * | 2018-07-06 | 2021-10-14 | ソニーグループ株式会社 | 画像処理装置および方法 |
RU2766571C1 (ru) * | 2018-09-23 | 2022-03-15 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ кодирования/декодирования видеосигналов и устройство для этого |
US11290731B2 (en) * | 2019-05-22 | 2022-03-29 | Tencent America LLC | Method and apparatus for video coding |
KR20220029586A (ko) * | 2019-07-05 | 2022-03-08 | 엘지전자 주식회사 | 크로마 양자화 파라미터 데이터를 코딩하는 영상 디코딩 방법 및 그 장치 |
-
2020
- 2020-11-23 EP EP20889028.5A patent/EP4062645A4/en active Pending
- 2020-11-23 JP JP2022529703A patent/JP7319468B2/ja active Active
- 2020-11-23 WO PCT/US2020/061843 patent/WO2021102424A1/en unknown
- 2020-11-23 MX MX2022006209A patent/MX2022006209A/es unknown
- 2020-11-23 KR KR1020247004676A patent/KR20240024337A/ko active Application Filing
- 2020-11-23 CN CN202211534362.XA patent/CN116016915B/zh active Active
- 2020-11-23 KR KR1020247004677A patent/KR20240024338A/ko active Application Filing
- 2020-11-23 CN CN202080094011.4A patent/CN115004704A/zh active Pending
- 2020-11-23 KR KR1020227017329A patent/KR102638578B1/ko active IP Right Grant
-
2022
- 2022-05-20 US US17/750,169 patent/US12015798B2/en active Active
-
2023
- 2023-07-20 JP JP2023118337A patent/JP2023129533A/ja active Pending
- 2023-07-20 JP JP2023118339A patent/JP2023139135A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023139135A (ja) | 2023-10-03 |
CN116016915A (zh) | 2023-04-25 |
US12015798B2 (en) | 2024-06-18 |
KR102638578B1 (ko) | 2024-02-20 |
JP7319468B2 (ja) | 2023-08-01 |
KR20240024338A (ko) | 2024-02-23 |
MX2022006209A (es) | 2022-06-22 |
WO2021102424A1 (en) | 2021-05-27 |
KR20220097913A (ko) | 2022-07-08 |
US20220286708A1 (en) | 2022-09-08 |
CN115004704A (zh) | 2022-09-02 |
EP4062645A1 (en) | 2022-09-28 |
JP2022552580A (ja) | 2022-12-16 |
KR20240024337A (ko) | 2024-02-23 |
EP4062645A4 (en) | 2023-08-16 |
CN116016915B (zh) | 2024-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102626260B1 (ko) | 잔차 및 계수 코딩 방법 및 장치 | |
JP7201873B2 (ja) | 残差及び係数符号化の方法、プログラム並びに装置 | |
JP7256595B2 (ja) | パレットモードを用いたビデオ符号化の方法及び装置 | |
CN114930833A (zh) | 使用调色板模式的视频编解码的方法和装置 | |
JP2024038262A (ja) | 4:4:4の彩度形式でのビデオ符号化の方法および装置 | |
JP2023129533A (ja) | ビデオ符号化方法、電子装置、記憶媒体及びプログラム | |
JP2023164981A (ja) | パレットモードを使用するビデオコーディングの方法及び装置 | |
CN114930844A (zh) | 用于视频编解码的残差和系数编解码 | |
CN114762352A (zh) | 用于视频编解码的去块滤波 | |
CN115136603A (zh) | 用于视频编解码的无损编解码模式 | |
JP7401631B2 (ja) | パレットモードを用いたビデオコーディングの方法および装置 | |
WO2021055970A1 (en) | Methods and apparatus of video coding using palette mode | |
WO2021207035A1 (en) | Methods and apparatus on transform and coefficient signaling | |
WO2021138432A1 (en) | Methods and apparatus of video coding using palette mode | |
CN115714866A (zh) | 残差和系数编解码的方法和装置 | |
CN114556932A (zh) | 用于视频编解码的无损编解码模式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230720 |