JP2022549773A - 映像データの可逆符号化 - Google Patents

映像データの可逆符号化 Download PDF

Info

Publication number
JP2022549773A
JP2022549773A JP2022516282A JP2022516282A JP2022549773A JP 2022549773 A JP2022549773 A JP 2022549773A JP 2022516282 A JP2022516282 A JP 2022516282A JP 2022516282 A JP2022516282 A JP 2022516282A JP 2022549773 A JP2022549773 A JP 2022549773A
Authority
JP
Japan
Prior art keywords
flag
coding
control information
transform
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022516282A
Other languages
English (en)
Other versions
JPWO2021061318A5 (ja
Inventor
サーヴァー，モハメッド，ゴラム
ルオ，ジャンコン
イエ，ヤン
Original Assignee
アリババ グループ ホウルディング リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アリババ グループ ホウルディング リミテッド filed Critical アリババ グループ ホウルディング リミテッド
Publication of JP2022549773A publication Critical patent/JP2022549773A/ja
Publication of JPWO2021061318A5 publication Critical patent/JPWO2021061318A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、映像データの残差符号化を行うためのシステム及び方法を提供する。特定の開示の実施形態によれば、方法は、映像シーケンスを符号化するための制御情報を受け取ることと、制御情報に基づいて、映像シーケンスの符号化ブロックの予測残差信号を符号化するための符号化方法を決定することとを含む。符号化方法は、変換残差符号化及び変換スキップ残差符号化の一方である。

Description

関連出願の相互参照
[0001] 本開示は、全体として本明細書に援用される、２０１９年９月２３日に出願された米国仮特許出願第６２／９０４，５７４号に対する優先権の利益を主張するものである。
技術分野
[0002] 本開示は、概して、映像処理に関し、特に、映像データの可逆符号化を行い、及び可逆符号化のための残差符号化技術を選択するための方法及び装置に関する。
背景
[0003] 映像は、視覚情報を捕捉する一連の静止ピクチャ（又は「フレーム」）である。記憶メモリ及び伝送帯域幅を減少させるために、映像は、記憶又は伝送前に圧縮され、表示前に復元され得る。圧縮プロセスは、通常、エンコーディングと呼ばれ、復元プロセスは、通常、デコーディングと呼ばれる。最も一般的には、予測、変換、量子化、エントロピー符号化及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、ＨＥＶＣ（High Efficiency Video Coding）／H.265標準規格、ＶＶＣ（Versatile Video Coding）／H.266標準規格、ＡＶＳ標準規格などの映像符号化標準規格が、標準化機関によって開発されている。一層高度な映像符号化技術が、映像標準規格に採用されるにつれて、新しい映像符号化標準規格の符号化効率は、一層高くなる。
開示の概要
[0004] 本開示の実施形態は、映像シーケンスを符号化するための制御情報を受け取ることと、制御情報に基づいて、映像シーケンスの符号化ブロックの予測残差信号を符号化するための符号化方法を決定することであって、符号化方法は、変換残差符号化及び変換スキップ残差符号化の一方である、決定することとを含む残差符号化方法を提供する。
[0005] 本開示の実施形態は、残差符号化で映像信号を処理するためのシステムも提供する。システムは、命令セットを保存するためのメモリと、少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、映像シーケンスを符号化するための制御情報を受け取ることと、制御情報に基づいて、映像シーケンスの符号化ブロックの予測残差信号を符号化するための符号化方法を決定することであって、符号化方法は、変換残差符号化及び変換スキップ残差符号化の一方である、決定することとをシステムに行わせるように、命令セットを実行するように構成される。
[0006] 本開示の実施形態は、コンピュータシステムの少なくとも１つのプロセッサによって実行可能な命令を保存する非一時的コンピュータ可読媒体であって、命令の実行は、映像シーケンスを符号化するための制御情報を受け取ることと、制御情報に基づいて、映像シーケンスの符号化ブロックの予測残差信号を符号化するための符号化方法を決定することであって、符号化方法は、変換残差符号化及び変換スキップ残差符号化の一方である、決定することとを含む方法をコンピュータシステムに行わせる、非一時的コンピュータ可読媒体も提供する。
図面の簡単な説明
[0007] 本開示の実施形態及び様々な態様は、以下の詳細な説明及び添付の図面に示される。図面に示される様々な特徴は、一定の縮尺で描かれていない。
[0008]本開示の実施形態と一致した例示的映像シーケンスの構造を示す。 [0009]本開示の実施形態と一致した、ハイブリッド映像符号化システムの例示的エンコーディングプロセスの概略図を示す。 [0010]本開示の実施形態と一致した、ハイブリッド映像符号化システムの別の例示的エンコーディングプロセスの概略図を示す。 [0011]本開示の実施形態と一致した、ハイブリッド映像符号化システムの例示的デコーディングプロセスの概略図を示す。 [0012]本開示の実施形態と一致した、ハイブリッド映像符号化システムの別の例示的デコーディングプロセスの概略図を示す。 [0013]本開示の実施形態と一致した、映像をエンコード又はデコードするための例示的装置のブロック図である。 [0014]本開示の実施形態と一致した、例示的変換ユニットシンタックスを示す。 [0015]本開示の実施形態と一致した、sps_bdpcm_transform_residual_coding_flagを使用するための例示的ＳＰＳシンタックスを示す。 [0016]本開示の実施形態と一致した、例示的スライスヘッダシンタックスを示す。 [0017]本開示の実施形態と一致した、例示的変換ブロックシンタックスを示す。 [0018]本開示の実施形態と一致した、例示的変換残差符号化シンタックスを示す。 [0018]本開示の実施形態と一致した、例示的変換残差符号化シンタックスを示す。 [0018]本開示の実施形態と一致した、例示的変換残差符号化シンタックスを示す。 [0018]本開示の実施形態と一致した、例示的変換残差符号化シンタックスを示す。 [0018]本開示の実施形態と一致した、例示的変換残差符号化シンタックスを示す。 [0019]本開示の実施形態と一致した、残差符号化で映像信号を処理するための例示的コンピュータ実施方法のフローチャートである。
詳細な説明
[0020] ここで、例が添付の図面に示される例示的実施形態に詳細に言及する。以下の説明は、別段の記載のない限り、異なる図面の同じ番号が同じ又は類似の要素を表す、添付の図面を参照する。例示的実施形態の以下の説明に記載する実装形態は、本発明と一致した全ての実装形態を表すわけではない。代わりに、それらは、添付の特許請求の範囲に記載される本発明に関連する態様と一致した装置及び方法の例に過ぎない。特に別段の記載のない限り、「又は」という用語は、実行不可能でない限り、全ての可能な組み合わせを網羅する。例えば、コンポーネントがＡ又はＢを含み得ると記載される場合、特に別段の記載のない限り又は実行不可能でない限り、コンポーネントは、Ａ、又はＢ、又はＡ及びＢを含み得る。第２の例として、コンポーネントがＡ、Ｂ又はＣを含み得ると記載される場合、特に別段の記載のない限り又は実行不可能でない限り、コンポーネントは、Ａ、又はＢ、又はＣ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ及びＢ及びＣを含み得る。
[0021] 映像符号化システムは、例えば、消費される記憶空間を減らすか、又はデジタル映像信号に関連する伝送帯域幅の消費を減らすために、デジタル映像信号を圧縮するために使用されることが多い。オンライン映像ストリーミング、ビデオ会議又は映像モニタリングなどの映像圧縮の様々な適用において人気を得ている（例えば、１９２０×１０８０ピクセルの解像度を有する）高精細（ＨＤ）映像では、映像データの圧縮効率を向上させることが可能な映像符号化ツールを開発する継続的な必要性がある。
[0022] 例えば、映像モニタリング適用は、多くの適用状況（例えば、セキュリティ、交通又は環境モニタリングなど）において、一層及び広範囲に使用されており、モニタリングデバイスの数及び解像度は、急速に増大し続けている。多くの映像モニタリング適用状況は、より多くの情報を捕捉するためにＨＤ映像をユーザに提供することを好み、ＨＤ映像は、より多くの情報を捕捉するために、１フレーム当たりでより多くのピクセルを有する。しかしながら、ＨＤ映像ビットストリームは、伝送のための高帯域幅及び記憶のための大きい空間を要求する高ビットレートを有し得る。例えば、平均１９２０×１０８０解像度を有するモニタリング映像ストリームは、リアルタイム伝送のために４Ｍｂｐｓもの帯域幅を必要とし得る。また、映像モニタリングは、一般に、継続的に７×２４をモニタリングし、これは、映像データが保存される場合、記憶システムにとって大きい課題となり得る。したがって、ＨＤ映像の高帯域幅及び大容量記憶に対する要求は、映像モニタリングにおける大規模展開に対する主な制限となっている。
[0023] 映像は、視覚情報を保存するために時系列で配置された一連の静止ピクチャ（又は「フレーム」）である。映像キャプチャデバイス（例えば、カメラ）を使用して、これらのピクチャを時系列で捕捉及び保存することができ、映像再生デバイス（例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤー又は表示機能を備えた任意のエンドユーザ端末）を使用して、このようなピクチャを時系列で表示することができる。また、用途によっては、監視、会議の開催又は生放送などのために、映像キャプチャデバイスは、捕捉された映像を映像再生デバイス（例えば、モニタを備えたコンピュータ）にリアルタイムで伝送することができる。
[0024] このような用途で必要とされる記憶空間及び伝送帯域幅を減少させるために、映像は、記憶及び伝送前に圧縮され、表示前に復元され得る。圧縮及び復元は、プロセッサ（例えば、汎用コンピュータのプロセッサ）又は専用ハードウェアによって実行されるソフトウェアによって実施され得る。圧縮のためのモジュールは、一般に「エンコーダ」と呼ばれ、復元のためのモジュールは、一般に「デコーダ」と呼ばれる。エンコーダ及びデコーダは、まとめて「コーデック」と呼ばれることがある。エンコーダ及びデコーダは、様々な適切なハードウェア、ソフトウェア又はこれらの組み合わせの何れかとして実装され得る。例えば、エンコーダ及びデコーダのハードウェア実装は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、離散論理又はこれらの任意の組み合わせなどの回路網を含み得る。エンコーダ及びデコーダのソフトウェア実装は、プログラムコード、コンピュータ実行可能命令、ファームウェア又はコンピュータ可読媒体に固定された、任意の適切なコンピュータ実施アルゴリズム若しくはプロセスを含み得る。映像圧縮及び復元は、MPEG-1、MPEG-2、MPEG-4、H.26x系などの様々なアルゴリズム又は標準規格によって実施され得る。用途によっては、コーデックが、第１の符号化標準規格から映像を復元し、第２の符号化標準規格を用いて復元映像を再圧縮することができ、この場合、コーデックは、「トランスコーダ」と呼ばれることがある。
[0025] 映像エンコーディングプロセスは、ピクチャの再構成のために使用することができる有用な情報を識別及び保持し、再構成にとって重要ではない情報を無視することができる。無視された重要ではない情報を完全に再構成することができない場合、このようなエンコーディングプロセスは、「不可逆」と呼ばれることがある。そうでなければ、それは、「可逆」と呼ばれることがある。ほとんどのエンコーディングプロセスは、不可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を減少させるためのトレードオフである。
[0026] エンコードされているピクチャ（「現在のピクチャ」と呼ぶ）の有用な情報は、参照ピクチャ（例えば、前にエンコードされ、及び再構成されたピクチャ）に対する変化を含む。このような変化は、ピクセルの位置変化、輝度変化又は色変化を含む場合があり、中でも、位置変化は、最も重要である。物体を表すピクセル群の位置変化は、参照ピクチャ及び現在のピクチャ間の物体の動きを反映し得る。
[0027] 別のピクチャを参照することなく符号化されたピクチャ（すなわち、それは、それ自体の参照ピクチャである）は、「Ｉピクチャ」と呼ばれる。前のピクチャを参照ピクチャとして使用して符号化されたピクチャは、「Ｐピクチャ」と呼ばれる。前のピクチャ及び未来のピクチャの両方を参照ピクチャとして使用して（すなわち、参照が「双方向」である）符号化されたピクチャは、「Ｂピクチャ」と呼ばれる。
[0028] 先述の通り、ＨＤ映像を使用する映像モニタリングは、高帯域幅及び大容量記憶の要求の課題に直面する。このような課題に対処するために、エンコード映像のビットレートを減少させることができる。Ｉピクチャ、Ｐピクチャ及びＢピクチャの中で、Ｉピクチャは、最も高いビットレートを有する。ほとんどのモニタリング映像の背景は、ほぼ静止しているため、エンコード映像の総ビットレートを減少させる方法の１つは、映像エンコーディングのために、より少ない数のＩピクチャを使用することであり得る。
[0029] しかしながら、より少ないＩピクチャを使用するという改良は、一般的にエンコード映像においてＩピクチャの割合は小さいため、ささいなものとなり得る。例えば、一般的な映像ビットストリームにおいて、Ｉピクチャ、Ｂピクチャ及びＰピクチャの比率は、１：２０：９の場合があり、この場合、Ｉピクチャは、総ビットレートの１０％未満を占め得る。すなわち、このような例では、全てのＩピクチャを除去した場合でも、減少したビットレートは、１０％以下となり得る。
[0030] 図１は、本開示の実施形態と一致する、映像シーケンス例１００の構造を示す。映像シーケンス１００は、ライブ映像又は捕捉及びアーカイブされた映像であり得る。映像１００は、実際の映像、コンピュータ生成された映像（例えば、コンピュータゲーム映像）又はそれらの組み合わせ（例えば、拡張現実効果を有した実際の映像）であり得る。映像シーケンス１００は、映像キャプチャデバイス（例えば、カメラ）、前に捕捉された映像を包含する映像アーカイブ（例えば、記憶デバイスに保存された映像ファイル）又は映像コンテンツプロバイダから映像を受信するための映像フィードインタフェース（例えば、映像ブロードキャストトランシーバ）から入力され得る。
[0031] 図１に示されるように、映像シーケンス１００は、ピクチャ１０２、１０４、１０６及び１０８を含む、タイムラインに沿って時間的に配置された一連のピクチャを含み得る。ピクチャ１０２～１０６は連続しており、ピクチャ１０６と１０８との間には、さらに多くのピクチャが存在する。図１では、ピクチャ１０２は、Ｉピクチャであり、その参照ピクチャは、ピクチャ１０２自体である。ピクチャ１０４は、Ｐピクチャであり、その参照ピクチャは、矢印によって示されるように、ピクチャ１０２である。ピクチャ１０６は、Ｂピクチャであり、その参照ピクチャは、矢印によって示されるように、ピクチャ１０４及び１０８である。幾つかの実施形態では、あるピクチャ（例えば、ピクチャ１０４）の参照ピクチャは、そのピクチャの直前又は直後に存在しなくてもよい。例えば、ピクチャ１０４の参照ピクチャは、ピクチャ１０２に先行するピクチャであり得る。ピクチャ１０２～１０６の参照ピクチャは単なる例であり、本開示は、参照ピクチャの実施形態を図１に示される例のように限定しないことに留意されたい。
[0032] 一般的に、映像コーデックは、ピクチャ全体のエンコーディング又はデコーディングを、そのようなタスクの計算の複雑さゆえに、一度に行わない。より正確に言えば、それらは、ピクチャを基本セグメントに分割し、セグメントごとにピクチャをエンコード又はデコードし得る。このような基本セグメントは、本開示では、基本処理ユニット（「ＢＰＵ」）と呼ばれる。例えば、図１の構造１１０は、映像シーケンス１００のあるピクチャ（例えば、ピクチャ１０２～１０８の何れか）の構造例を示す。構造１１０では、ピクチャは、４×４の基本処理ユニットに分割され、それらの境界は、破線で示されている。幾つかの実施形態では、基本処理ユニットは、一部の映像符号化標準規格（例えば、ＭＰＥＧ系統、H.261、H.263若しくはH.264／ＡＶＣ）では「マクロブロック」と呼ばれることがあるか、又は一部の他の映像符号化標準規格（例えば、H.265／ＨＥＶＣ若しくはH.266／ＶＶＣ）では、「符号化ツリーユニット」（「ＣＴＵ」）と呼ばれることがある。基本処理ユニットは、ピクチャにおいて、１２８×１２８、６４×６４、３２×３２、１６×１６、４×８、１６×３２又はピクセルの任意の形状及びサイズなどの可変サイズを有し得る。基本処理ユニットのサイズ及び形状は、符号化効率と、基本処理ユニットにおいて維持されるべき詳細のレベルとのバランスに基づいて、ピクチャごとに選択することができる。
[0033] 基本処理ユニットは、コンピュータメモリに（例えば、映像フレームバッファに）保存された異なる複数のタイプの映像データの群を含み得る論理ユニットであり得る。例えば、カラーピクチャの基本処理ユニットは、無彩色の明度情報を表すルマ成分（Ｙ）、色情報を表す１つ又は複数のクロマ成分（例えば、Ｃｂ及びＣｒ）並びに関連のシンタックス要素を含み得る（ここで、ルマ成分及びクロマ成分は、同じサイズの基本処理ユニットを有し得る）。ルマ成分及びクロマ成分は、一部の映像符号化標準規格（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣ）では、「符号化ツリーブロック」（「ＣＴＢ」）と呼ばれることがある。基本処理ユニットに対して行われるどのような演算も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。
[0034] 映像符号化は、複数の演算ステージを有し、これらの例を図２Ａ～２Ｂ及び３Ａ～３Ｂに詳細に示す。各ステージで、基本処理ユニットのサイズが、処理するにはまだ大き過ぎる場合があり、したがって、本開示では「基本処理サブユニット」と呼ばれるセグメントへとさらに分割され得る。幾つかの実施形態では、基本処理サブユニットは、一部の映像符号化標準規格（例えば、ＭＰＥＧ系統、H.261、H.263若しくはH.264／ＡＶＣ）では「ブロック」と呼ばれることがあるか、又は一部の他の映像符号化標準規格（例えば、H.265／ＨＥＶＣ若しくはH.266／ＶＶＣ）では、「符号化ユニット」（「ＣＵ」）と呼ばれることがある。基本処理サブユニットは、基本処理ユニットと同じ又はより小さいサイズを有し得る。基本処理ユニットと同様に、基本処理サブユニットも、コンピュータメモリに（例えば、映像フレームバッファに）保存された異なる複数のタイプの映像データ（例えば、Ｙ、Ｃｂ、Ｃｒ及び関連のシンタックス要素）の群を含み得る論理ユニットである。基本処理サブユニットに対して行われるどのような演算も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。このような分割は、処理のニーズに応じてさらなるレベルに対して行われ得ることに留意されたい。異なるステージが異なるスキームを用いて基本処理ユニットを分割し得ることにも留意されたい。
[0035] 例えば、モード決定ステージ（その一例を図２Ｂに詳細に示す）において、エンコーダは、基本処理ユニットに対してどの予測モード（例えば、ピクチャ内予測又はピクチャ間予測）を使用すべきかを決定することができ、基本処理ユニットは、このような決定を下すには大き過ぎる場合がある。エンコーダは、基本処理ユニットを複数の基本処理サブユニット（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣの場合のＣＵ）に分割し、及び個々の基本処理サブユニットごとに予測タイプを決定することができる。
[0036] 別の例として、予測ステージ（その一例を図２Ａに詳細に示す）において、エンコーダは、基本処理サブユニット（例えば、ＣＵ）のレベルで予測演算を行うことができる。しかしながら、場合により、基本処理サブユニットは、処理するにはまだ大き過ぎる場合がある。エンコーダは、基本処理サブユニットを（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣにおいて「予測ブロック」又は「ＰＢ」と呼ばれる）より小さいセグメントにさらに分割することができ、このセグメントのレベルで、予測演算を行うことができる。
[0037] 別の例として、変換ステージ（その一例を図２Ａに詳細に示す）では、エンコーダは、残差基本処理サブユニット（例えば、ＣＵ）に対して変換演算を行うことができる。しかしながら、場合により、基本処理サブユニットは、処理するにはまだ大き過ぎる場合がある。エンコーダは、基本処理サブユニットを（例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣにおいて「変換ブロック」又は「ＴＢ」と呼ばれる）より小さいセグメントにさらに分割することができ、このセグメントのレベルで、変換演算を行うことができる。同じ基本処理サブユニットの分割スキームが予測ステージ及び変換ステージで異なり得ることに留意されたい。例えば、H.265／ＨＥＶＣ又はH.266／ＶＶＣでは、同じＣＵの予測ブロック及び変換ブロックが異なるサイズ及び数を有し得る。
[0038] 図１の構造１１０では、基本処理ユニット１１２は、３×３の基本処理サブユニットにさらに分割され、それらの境界は、点線で示される。同じピクチャの異なる基本処理ユニットが、異なるスキームで基本処理サブユニットに分割され得る。
[0039] 幾つかの実装形態では、並列処理能力並びに映像エンコーディング及びデコーディングに対する誤り耐性を提供するために、ピクチャの領域ごとに、エンコーディング又はデコーディングプロセスがピクチャの他のどの領域からの情報にも依存しないことが可能であるように、ピクチャは、処理のために複数の領域に分割され得る。すなわち、ピクチャの各領域は、独立して処理することができる。そうすることで、コーデックは、ピクチャの異なる複数の領域を並列に処理することができ、したがって、符号化効率が向上される。また、ある領域のデータが処理時に壊れた場合又はネットワーク伝送時に失われた場合、コーデックは、壊れたデータ又は失われたデータに依存することなく、同じピクチャの他の領域を正確にエンコード又はデコードすることができ、したがって、誤り耐性能力が提供される。一部の映像符号化標準規格では、ピクチャは、異なる複数のタイプの領域に分割することができる。例えば、H.265／ＨＥＶＣ及びH.266／ＶＶＣは、２つの領域タイプ：「スライス」及び「タイル」を提供する。映像シーケンス１００の異なる複数のピクチャが、ピクチャを領域に分割するための異なるパーティションスキームを有し得ることにも留意されたい。
[0040] 例えば、図１において、構造１１０は、３つの領域１１４、１１６及び１１８に分割され、それらの境界は、構造１１０内の実線として示されている。領域１１４は、４つの基本処理ユニットを含む。領域１１６及び１１８のそれぞれは、６つの基本処理ユニットを含む。図１の構造１１０の基本処理ユニット、基本処理サブユニット及び領域は、単なる例であり、本開示は、それらの実施形態を限定しないことに留意されたい。
[0041] 図２Ａは、本開示の実施形態と一致したエンコーディングプロセス例２００Ａの概略図を示す。例えば、エンコーディングプロセス２００Ａは、エンコーダによって行うことができる。図２Ａに示されるように、エンコーダは、プロセス２００Ａに従って、映像シーケンス２０２を映像ビットストリーム２２８へとエンコードすることができる。図１の映像シーケンス１００と同様に、映像シーケンス２０２は、時間的順序で配置されたピクチャ（「オリジナルピクチャ」と呼ぶ）のセットを含み得る。図１の構造１１０と同様に、映像シーケンス２０２の各オリジナルピクチャは、エンコーダにより、基本処理ユニット、基本処理サブユニット又は処理のための領域に分割することができる。幾つかの実施形態では、エンコーダは、映像シーケンス２０２のオリジナルピクチャごとに、基本処理ユニットのレベルでプロセス２００Ａを行うことができる。例えば、エンコーダは、反復的方法でプロセス２００Ａを行い得、プロセス２００Ａの１回の反復で１つの基本処理ユニットをエンコードすることができる。幾つかの実施形態では、エンコーダは、映像シーケンス２０２の各オリジナルピクチャの領域（例えば、領域１１４～１１８）に対してプロセス２００Ａを並列に行うことができる。
[0042] 図２Ａでは、エンコーダは、予測データ２０６及び予測ＢＰＵ２０８を生成するために、映像シーケンス２０２のオリジナルピクチャの基本処理ユニット（「オリジナルＢＰＵ」と呼ばれる）を予測ステージ２０４に送ることができる。エンコーダは、オリジナルＢＰＵから予測ＢＰＵ２０８を減算することにより、残差ＢＰＵ２１０を生成することができる。エンコーダは、量子化変換係数２１６を生成するために、残差ＢＰＵ２１０を変換ステージ２１２及び量子化ステージ２１４に送ることができる。エンコーダは、映像ビットストリーム２２８を生成するために、予測データ２０６及び量子化変換係数２１６を二進符号化ステージ２２６に送ることができる。コンポーネント２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１６、２２６及び２２８は、「順方向経路」と呼ばれることがある。プロセス２００Ａ中に、エンコーダは、量子化ステージ２１４後、再構成残差ＢＰＵ２２２を生成するために、量子化変換係数２１６を逆量子化ステージ２１８及び逆変換ステージ２２０に送ることができる。エンコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することにより、プロセス２００Ａの次の反復のために予測ステージ２０４において使用される予測参照２２４を生成することができる。プロセス２００Ａのコンポーネント２１８、２２０、２２２及び２２４は、「再構成経路」と呼ばれることがある。再構成経路は、エンコーダ及びデコーダが共に予測のために同じ参照データを使用することを確実にするために使用することができる。
[0043] エンコーダは、（順方向経路において）オリジナルピクチャの各オリジナルＢＰＵをエンコードし、及び（再構成経路において）オリジナルピクチャの次のオリジナルＢＰＵをエンコードするための予測参照２２４を生成するために、反復的にプロセス２００Ａを行うことができる。オリジナルピクチャの全てのオリジナルＢＰＵをエンコードした後、エンコーダは、映像シーケンス２０２の次のピクチャのエンコーディングに進むことができる。
[0044] プロセス２００Ａを参照すると、エンコーダは、映像キャプチャデバイス（例えば、カメラ）によって生成された映像シーケンス２０２を受け取ることができる。本明細書で使用される「受け取る」という用語は、受け取ること、入力すること、獲得すること、取り出すこと、取得すること、読み出すこと、アクセスすること又はデータを入力するためのあらゆる方法のあらゆるアクションを指し得る。
[0045] 予測ステージ２０４において、現在の反復では、エンコーダは、オリジナルＢＰＵ及び予測参照２２４を受け取ることができ、並びに予測データ２０６及び予測ＢＰＵ２０８を生成するために予測演算を行うことができる。予測参照２２４は、プロセス２００Ａの前の反復の再構成経路から生成することができる。予測ステージ２０４の目的は、予測データ２０６を抽出することにより、情報の冗長性を減少させることであり、予測データ２０６は、予測データ２０６及び予測参照２２４から予測ＢＰＵ２０８としてオリジナルＢＰＵを再構成するために使用することができる。
[0046] 理想的には、予測ＢＰＵ２０８は、オリジナルＢＰＵと同一となり得る。しかしながら、非理想的な予測及び再構成演算により、予測ＢＰＵ２０８は、一般に、オリジナルＢＰＵとは僅かに異なる。このような差を記録するために、予測ＢＰＵ２０８を生成した後、エンコーダは、それをオリジナルＢＰＵから減算することにより、残差ＢＰＵ２１０を生成することができる。例えば、エンコーダは、予測ＢＰＵ２０８のピクセルの値（例えば、グレースケール値又はＲＧＢ値）をオリジナルＢＰＵの対応するピクセルの値から減算することができる。残差ＢＰＵ２１０の各ピクセルは、オリジナルＢＰＵ及び予測ＢＰＵ２０８の対応するピクセル間のこのような減算の結果として残差値を有し得る。オリジナルＢＰＵと比較して、予測データ２０６及び残差ＢＰＵ２１０は、より少ないビットを有し得るが、それらを使用して、大きい品質の劣化なしにオリジナルＢＰＵを再構成することができる。したがって、オリジナルＢＰＵは、圧縮される。
[0047] 残差ＢＰＵ２１０をさらに圧縮するために、変換ステージ２１２において、エンコーダは、それを２次元「基底パターン」のセットに分解する（各基底パターンは、「変換係数」に関連付けられる）ことにより、残差ＢＰＵ２１０の空間冗長性を減少させることができる。基底パターンは、同じサイズ（例えば、残差ＢＰＵ２１０のサイズ）を有し得る。各基底パターンは、残差ＢＰＵ２１０の変動周波数（例えば、明度変動の周波数）成分を表し得る。どの基底パターンも、他の基底パターンの何れの結合（例えば、線形結合）からも再現することができない。すなわち、この分解は、残差ＢＰＵ２１０の変動を周波数領域に分解することができる。このような分解は、関数の離散フーリエ変換に類似し、ここで、基底パターンは、離散フーリエ変換の基底関数（例えば、三角法関数）に類似し、変換係数は、基底関数に関連付けられた係数に類似する。
[0048] 異なる変換アルゴリズムは、異なる基底パターンを使用することができる。例えば、離散コサイン変換又は離散サイン変換などの様々な変換アルゴリズムを変換ステージ２１２において使用することができる。変換ステージ２１２における変換は、可逆である。すなわち、エンコーダは、（「逆変換」と呼ばれる）変換の逆演算によって残差ＢＰＵ２１０を復元することができる。例えば、残差ＢＰＵ２１０のピクセルを復元するために、逆変換は、基底パターンの対応するピクセルの値をそれぞれの関連付けられた係数で乗算すること及びそれらの積を加算することによって加重和を生成することであり得る。映像符号化標準規格のために、エンコーダ及びデコーダは共に、同じ変換アルゴリズム（したがって、同じ基底パターン）を使用することができる。したがって、エンコーダは、変換係数のみを記録することができ、デコーダは、基底パターンをエンコーダから受け取ることなく、変換係数から残差ＢＰＵ２１０を再構成することができる。残差ＢＰＵ２１０と比較して、変換係数は、より少ないビットを有し得るが、それらを使用して、大きい品質の劣化なしに残差ＢＰＵ２１０を再構成することができる。したがって、残差ＢＰＵ２１０は、さらに圧縮される。
[0049] エンコーダは、量子化ステージ２１４において変換係数をさらに圧縮することができる。変換プロセスにおいて、異なる基底パターンは、異なる変動周波数（例えば、明度変動周波数）を表し得る。人間の目は、一般に、低周波変動を認識することが得意であるため、エンコーダは、デコーディングにおいて大きい品質の劣化を生じさせることなく、高周波変動の情報を無視することができる。例えば、量子化ステージ２１４において、エンコーダは、各変換係数を（「量子化パラメータ」と呼ばれる）整数値で除算し、及びその商を最も近い整数に丸めることにより、量子化変換係数２１６を生成することができる。このような演算後、高周波基底パターンの幾つかの変換係数がゼロに変換され得、低周波基底パターンの変換係数が、より小さい整数に変換され得る。エンコーダは、ゼロ値の量子化変換係数２１６を無視することができ、それにより変換係数がさらに圧縮される。量子化プロセスも可逆であり、ここで、量子化変換係数２１６は、（「逆量子化」と呼ばれる）量子化の逆演算で変換係数に再構成され得る。
[0050] エンコーダは、丸め演算においてこのような除算の余りを無視するため、量子化ステージ２１４は、不可逆となり得る。一般的に、量子化ステージ２１４は、プロセス２００Ａにおいて、最も多くの情報損失に寄与し得る。情報損失が大きくなるほど、量子化変換係数２１６が必要とし得るビットが少なくなる。異なる情報損失レベルを得るために、エンコーダは、量子化パラメータ又は量子化プロセスの他のパラメータの異なる値を使用し得る。
[0051] 二進符号化ステージ２２６では、エンコーダは、例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応的二進算術符号化又は他の可逆若しくは不可逆圧縮アルゴリズムなどの二進符号化技術を使用して、予測データ２０６及び量子化変換係数２１６をエンコードすることができる。幾つかの実施形態では、予測データ２０６及び量子化変換係数２１６の他にも、エンコーダは、例えば、予測ステージ２０４で使用される予測モード、予測演算のパラメータ、変換ステージ２１２における変換タイプ、量子化プロセスのパラメータ（例えば、量子化パラメータ）又はエンコーダ制御パラメータ（例えば、ビットレート制御パラメータ）などの他の情報を二進符号化ステージ２２６においてエンコードすることができる。エンコーダは、二進符号化ステージ２２６の出力データを使用して、映像ビットストリーム２２８を生成することができる。幾つかの実施形態では、映像ビットストリーム２２８は、ネットワーク伝送のためにさらにパケット化され得る。
[0052] プロセス２００Ａの再構成経路を参照すると、逆量子化ステージ２１８において、エンコーダは、量子化変換係数２１６に対して逆量子化を行うことにより、再構成変換係数を生成することができる。逆変換ステージ２２０では、エンコーダは、再構成変換係数に基づいて、再構成残差ＢＰＵ２２２を生成することができる。エンコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することにより、プロセス２００Ａの次の反復で使用される予測参照２２４を生成することができる。
[0053] 映像シーケンス２０２をエンコードするために、プロセス２００Ａの他のバリエーションが使用され得ることに留意されたい。幾つかの実施形態では、プロセス２００Ａのステージは、異なる順序でエンコーダによって行うことができる。幾つかの実施形態では、プロセス２００Ａの１つ又は複数のステージは、単一のステージに統合され得る。幾つかの実施形態では、プロセス２００Ａの単一のステージが複数のステージに分割され得る。例えば、変換ステージ２１２及び量子化ステージ２１４が単一のステージに統合され得る。幾つかの実施形態では、プロセス２００Ａは、さらなるステージを含み得る。幾つかの実施形態では、プロセス２００Ａは、図２Ａの１つ又は複数のステージを省略し得る。
[0054] 図２Ｂは、本開示の実施形態と一致した別のエンコーディングプロセス例２００Ｂの概略図を示す。プロセス２００Ｂは、プロセス２００Ａから変更され得る。例えば、プロセス２００Ｂは、ハイブリッド映像符号化標準規格（例えば、H.26x系）に準拠したエンコーダによって使用され得る。プロセス２００Ａと比較して、プロセス２００Ｂの順方向経路は、モード決定ステージ２３０をさらに含み、予測ステージ２０４を空間予測ステージ２０４２及び時間予測ステージ２０４４に分割する。プロセス２００Ｂの再構成経路は、ループフィルタステージ２３２及びバッファ２３４をさらに含む。
[0055] 一般に、予測技術は、２つのタイプ：空間予測及び時間予測に分類することができる。空間予測（例えば、ピクチャ内予測又は「イントラ予測」）は、同じピクチャ内の１つ又は複数の既に符号化された隣接ＢＰＵからのピクセルを使用することにより、現在のＢＰＵを予測することができる。すなわち、空間予測における予測参照２２４は、隣接ＢＰＵを含み得る。空間予測は、ピクチャの固有の空間冗長性を減少させることができる。時間予測（例えば、ピクチャ間予測又は「インター予測」）は、１つ又は複数の既に符号化されたピクチャからの領域を使用することにより、現在のＢＰＵを予測することができる。すなわち、時間予測における予測参照２２４は、符号化されたピクチャを含み得る。時間予測は、ピクチャの固有の時間冗長性を減少させることができる。
[0056] プロセス２００Ｂを参照すると、順方向経路において、エンコーダは、空間予測ステージ２０４２及び時間予測ステージ２０４４において予測演算を行う。例えば、空間予測ステージ２０４２において、エンコーダは、イントラ予測を行うことができる。エンコードされているピクチャのオリジナルＢＰＵに関して、予測参照２２４は、同じピクチャ内の（順方向経路において）エンコードされ、及び（再構成経路において）再構成された１つ又は複数の隣接ＢＰＵを含み得る。エンコーダは、隣接ＢＰＵを外挿することによって予測ＢＰＵ２０８を生成することができる。外挿技術には、例えば、線形外挿若しくは補間又は多項式外挿若しくは補間などが含まれ得る。幾つかの実施形態では、エンコーダは、例えば予測ＢＰＵ２０８のピクセルごとに、対応するピクセルの値を外挿することにより、ピクセルレベルで外挿を行い得る。外挿に使用される隣接ＢＰＵは、垂直方向（例えば、オリジナルＢＰＵの上）、水平方向（例えば、オリジナルＢＰＵの左）、対角線方向（例えば、オリジナルＢＰＵの左下、右下、左上若しくは右上）又は使用した映像符号化標準規格において定義される任意の方向などの様々な方向からオリジナルＢＰＵに対して位置し得る。イントラ予測の場合、予測データ２０６は、例えば、使用された隣接ＢＰＵの場所（例えば、座標）、使用された隣接ＢＰＵのサイズ、外挿のパラメータ又はオリジナルＢＰＵに対する使用された隣接ＢＰＵの方向などを含み得る。
[0057] 別の例として、時間予測ステージ２０４４では、エンコーダは、インター予測を行うことができる。現在のピクチャのオリジナルＢＰＵに関して、予測参照２２４は、（順方向経路において）エンコードされ、及び（再構成経路において）再構成された１つ又は複数のピクチャ（「参照ピクチャ」と呼ばれる）を含み得る。幾つかの実施形態では、参照ピクチャは、ＢＰＵごとにエンコードされ、及び再構成され得る。例えば、エンコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することにより、再構成ＢＰＵを生成することができる。同じピクチャの全ての再構成ＢＰＵが生成されると、エンコーダは、参照ピクチャとして再構成ピクチャを生成することができる。エンコーダは、参照ピクチャの（「探索窓」と呼ばれる）範囲内のマッチング領域を探索するために、「動き推定」の演算を行い得る。参照ピクチャにおける探索窓の場所は、現在のピクチャにおけるオリジナルＢＰＵの場所に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内において、現在のピクチャのオリジナルＢＰＵと同じ座標を有する場所を中心とし得、所定の距離だけ外に延在され得る。エンコーダが（例えば、ペル再帰アルゴリズム又はブロックマッチングアルゴリズムなどを使用して）探索窓内のオリジナルＢＰＵに類似した領域を識別すると、エンコーダは、そのような領域をマッチング領域として決定することができる。マッチング領域は、オリジナルＢＰＵとは異なる寸法（例えば、より小さい、等しい、より大きい又は異なる形状）を有し得る。参照ピクチャ及び現在のピクチャは、（例えば図１に示されるように）タイムラインにおいて時間的に分離されるため、時間が経過するにつれて、マッチング領域がオリジナルＢＰＵの場所に「移動する」と見なすことができる。エンコーダは、そのような動きの方向及び距離を「動きベクトル」として記録し得る。（例えば、図１のピクチャ１０６のように）複数の参照ピクチャが使用される場合、エンコーダは、参照ピクチャごとに、マッチング領域を探索し、それに関連付けられた動きベクトルを決定することができる。幾つかの実施形態では、エンコーダは、それぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを割り当てることができる。
[0058] 動き推定を使用して、例えば、平行移動、回転又はズーミングなどの様々なタイプの動きを識別することができる。インター予測の場合、予測データ２０６は、例えば、マッチング領域の場所（例えば、座標）、マッチング領域に関連付けられた動きベクトル、参照ピクチャの数又は参照ピクチャに関連付けられた重みを含み得る。
[0059] 予測ＢＰＵ２０８を生成するために、エンコーダは、「動き補償」の演算を行い得る。動き補償を用いて、予測データ２０６（例えば、動きベクトル）及び予測参照２２４に基づいて予測ＢＰＵ２０８を再構成することができる。例えば、エンコーダは、エンコーダが現在のピクチャのオリジナルＢＰＵを予測することができる動きベクトルに従って、参照ピクチャのマッチング領域を移動させることができる。（例えば、図１のピクチャ１０６のように）複数の参照ピクチャが使用される場合、エンコーダは、それぞれの動きベクトルに従って参照ピクチャのマッチング領域を移動させ、及びマッチング領域のピクセル値を平均することができる。幾つかの実施形態では、エンコーダがそれぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを割り当てた場合、エンコーダは、移動されたマッチング領域のピクセル値の加重和を加えることができる。
[0060] 幾つかの実施形態では、インター予測は、単方向又は双方向であり得る。単方向インター予測は、現在のピクチャに対して同じ時間方向の１つ又は複数の参照ピクチャを使用し得る。例えば、図１のピクチャ１０４は、参照ピクチャ（例えば、ピクチャ１０２）がピクチャ１０４に先行する単方向インター予測ピクチャである。双方向インター予測は、現在のピクチャに対して両時間方向にある１つ又は複数の参照ピクチャを使用し得る。例えば、図１のピクチャ１０６は、参照ピクチャ（すなわち、ピクチャ１０４及び１０８）がピクチャ１０４に対して両時間方向にある双方向インター予測ピクチャである。
[0061] プロセス２００Ｂの順方向経路をさらに参照すると、空間予測２０４２及び時間予測ステージ２０４４後、モード決定ステージ２３０において、エンコーダは、プロセス２００Ｂの現在の反復に関する予測モード（例えば、イントラ予測又はインター予測の一方）を選択することができる。例えば、エンコーダは、レート歪み最適化技術を行うことができ、かかる技術では、エンコーダは、候補予測モードのビットレート及び上記候補予測モード下の再構成参照ピクチャの歪みに応じて、コスト関数の値を最小にするために予測モードを選択することができる。選択された予測モードに応じて、エンコーダは、対応する予測ＢＰＵ２０８及び予測データ２０６を生成することができる。
[0062] プロセス２００Ｂの再構成経路では、順方向経路においてイントラ予測モードが選択されていた場合、予測参照２２４（例えば、現在のピクチャ内でエンコードされ、及び再構成された現在のＢＰＵ）の生成後、エンコーダは、（例えば、現在のピクチャの次のＢＰＵの外挿のために）後で使用するために、予測参照２２４を空間予測ステージ２０４２に直接送ることができる。順方向経路においてインター予測モードが選択されていた場合、予測参照２２４（例えば、全てのＢＰＵがエンコードされ、及び再構成された現在のピクチャ）の生成後、エンコーダは、ループフィルタステージ２３２に予測参照２２４を送ることができ、ループフィルタステージ２３２では、エンコーダは、インター予測によって導入される歪み（例えば、ブロッキングアーチファクト）を低減又は無くすためにループフィルタを予測参照２２４に適用することができる。エンコーダは、ループフィルタステージ２３２において、例えば、非ブロック化、サンプル適応オフセット又は適応ループフィルタなどの様々なループフィルタ技術を適用することができる。ループフィルタリングが行われた参照ピクチャは、後に使用するために（例えば、映像シーケンス２０２の未来ピクチャのためのインター予測参照ピクチャとして使用されるように）、バッファ２３４（又は「デコードピクチャバッファ」）に保存され得る。エンコーダは、時間予測ステージ２０４４で使用される１つ又は複数の参照ピクチャをバッファ２３４に保存し得る。幾つかの実施形態では、エンコーダは、量子化変換係数２１６、予測データ２０６及び他の情報と共に、ループフィルタのパラメータ（例えば、ループフィルタ強度）を二進符号化ステージ２２６においてエンコードし得る。
[0063] 図３Ａは、本開示の実施形態と一致したデコーディングプロセス例３００Ａの概略図を示す。プロセス３００Ａは、図２Ａの圧縮プロセス２００Ａに対応する解凍プロセスであり得る。幾つかの実施形態では、プロセス３００Ａは、プロセス２００Ａの再構成経路に類似し得る。デコーダは、プロセス３００Ａに従って、映像ビットストリーム２２８を映像ストリーム３０４へとデコードすることができる。映像ストリーム３０４は、映像シーケンス２０２に非常に類似し得る。しかしながら、圧縮及び解凍プロセス（例えば、図２Ａ～２Ｂの量子化ステージ２１４）における情報損失により、一般に、映像ストリーム３０４は、映像シーケンス２０２と同一ではない。図２Ａ～２Ｂのプロセス２００Ａ及び２００Ｂと同様に、デコーダは、映像ビットストリーム２２８においてエンコードされたピクチャごとに、基本処理ユニット（ＢＰＵ）のレベルでプロセス３００Ａを行うことができる。例えば、デコーダは、プロセス３００Ａの１回の反復でデコーダが１つの基本処理ユニットをデコードすることができる反復的方法でプロセス３００Ａを行い得る。幾つかの実施形態では、デコーダは、映像ビットストリーム２２８においてエンコードされた各ピクチャの領域（例えば、領域１１４～１１８）に対してプロセス３００Ａを並行して行うことができる。
[0064] 図３Ａでは、デコーダは、エンコードされたピクチャの基本処理ユニット（「エンコードＢＰＵ」と呼ばれる）に関連付けられた映像ビットストリーム２２８の部分を二進デコーディングステージ３０２に送ることができる。二進デコーディングステージ３０２では、デコーダは、上記部分を予測データ２０６及び量子化変換係数２１６へとデコードすることができる。デコーダは、再構成残差ＢＰＵ２２２を生成するために、量子化変換係数２１６を逆量子化ステージ２１８及び逆変換ステージ２２０に送ることができる。デコーダは、予測ＢＰＵ２０８を生成するために、予測データ２０６を予測ステージ２０４に送ることができる。デコーダは、再構成残差ＢＰＵ２２２を予測ＢＰＵ２０８に加算することにより、予測参照２２４を生成することができる。幾つかの実施形態では、予測参照２２４は、バッファ（例えば、コンピュータメモリのデコードピクチャバッファ）に保存することができる。デコーダは、プロセス３００Ａの次の反復において予測演算を行うための予測ステージ２０４に予測参照２２４を送ることができる。
[0065] デコーダは、エンコードされたピクチャの各エンコードＢＰＵをデコードし、及びエンコードされたピクチャの次のエンコードＢＰＵをエンコードするための予測参照２２４を生成するために、プロセス３００Ａを反復して行うことができる。エンコードされたピクチャの全てのエンコードＢＰＵのデコーディング後、デコーダは、表示のために上記ピクチャを映像ストリーム３０４に出力し、映像ビットストリーム２２８の次のエンコードされたピクチャのデコーディングに進み得る。
[0066] 二進デコーディングステージ３０２では、デコーダは、エンコーダによって使用された二進符号化技術（例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応的二進算術符号化又は他の可逆圧縮アルゴリズム）の逆演算を行うことができる。幾つかの実施形態では、予測データ２０６及び量子化変換係数２１６の他にも、デコーダは、例えば、予測モード、予測演算のパラメータ、変換タイプ、量子化プロセスのパラメータ（例えば、量子化パラメータ）又はエンコーダ制御パラメータ（例えば、ビットレート制御パラメータ）などの他の情報を二進デコーディングステージ３０２においてデコードすることができる。幾つかの実施形態では、映像ビットストリーム２２８がネットワーク上でパケット伝送される場合、デコーダは、映像ビットストリーム２２８を二進デコーディングステージ３０２に送る前に、それをパケット化解除することができる。
[0067] 図３Ｂは、本開示の実施形態と一致した別のデコーディングプロセス例３００Ｂの概略図を示す。プロセス３００Ｂは、プロセス３００Ａから変更され得る。例えば、プロセス３００Ｂは、ハイブリッド映像符号化標準規格（例えば、H.26x系）に準拠したデコーダによって使用され得る。プロセス３００Ａと比較して、プロセス３００Ｂは、予測ステージ２０４を空間予測ステージ２０４２及び時間予測ステージ２０４４にさらに分割し、ループフィルタステージ２３２及びバッファ２３４をさらに含む。
[0068] プロセス３００Ｂでは、デコード中の（「現在のピクチャ」と呼ばれる）エンコードされたピクチャの（「現在のＢＰＵ」と呼ばれる）エンコード基本処理ユニットに関して、デコーダによって二進デコーディングステージ３０２からデコードされた予測データ２０６は、エンコーダによって現在のＢＰＵをエンコードするためにどの予測モードが使用されたかに応じて、様々なタイプのデータを含み得る。例えば、現在のＢＰＵをエンコードするためにイントラ予測がエンコーダによって使用された場合、予測データ２０６は、イントラ予測を示す予測モードインジケータ（例えば、フラグ値）又はイントラ予測演算のパラメータなどを含み得る。イントラ予測演算のパラメータは、例えば、基準として使用される１つ又は複数の隣接ＢＰＵの場所（例えば、座標）、隣接ＢＰＵのサイズ、外挿のパラメータ又はオリジナルＢＰＵに対する隣接ＢＰＵの方向などを含み得る。別の例として、現在のＢＰＵをエンコードするためにインター予測がエンコーダによって使用された場合、予測データ２０６は、インター予測を示す予測モードインジケータ（例えば、フラグ値）又はインター予測演算のパラメータなどを含み得る。インター予測演算のパラメータは、例えば、現在のＢＰＵに関連付けられた参照ピクチャの数、参照ピクチャにそれぞれ関連付けられた重み、それぞれの参照ピクチャにおける１つ若しくは複数のマッチング領域の場所（例えば、座標）又はマッチング領域にそれぞれ関連付けられた１つ若しくは複数の動きベクトルなどを含み得る。
[0069] 予測モードインジケータに基づいて、デコーダは、空間予測ステージ２０４２において空間予測（例えば、イントラ予測）を行うか、又は時間予測ステージ２０４４において時間予測（例えば、インター予測）を行うかを決めることができる。このような空間予測又は時間予測を行う詳細は、図２Ｂに示され、以下では繰り返さない。そのような空間予測又は時間予測を行った後、デコーダは、予測ＢＰＵ２０８を生成することができる。デコーダは、図３Ａに示されるように、予測ＢＰＵ２０８及び再構成残差ＢＰＵ２２２を加算することにより、予測参照２２４を生成することができる。
[0070] プロセス３００Ｂでは、デコーダは、プロセス３００Ｂの次の反復において予測演算を行うための空間予測ステージ２０４２又は時間予測ステージ２０４４に予測参照２２４を送ることができる。例えば、現在のＢＰＵが空間予測ステージ２０４２においてイントラ予測を用いてデコードされる場合、予測参照２２４（例えば、デコードされた現在のＢＰＵ）の生成後、デコーダは、後に使用するために（例えば、現在のピクチャの次のＢＰＵの外挿のために）予測参照２２４を空間予測ステージ２０４２に直接送ることができる。現在のＢＰＵが時間予測ステージ２０４４においてインター予測を用いてデコードされる場合、予測参照２２４（例えば、全てのＢＰＵがデコードされた参照ピクチャ）の生成後、エンコーダは、歪み（例えば、ブロッキングアーチファクト）を低減又は無くすために、予測参照２２４をループフィルタステージ２３２に送ることができる。デコーダは、図２Ｂに示した方法でループフィルタを予測参照２２４に適用することができる。ループフィルタリングが行われた参照ピクチャは、後に使用するために（例えば、映像ビットストリーム２２８の未来にエンコードされるピクチャのためのインター予測参照ピクチャとして使用されるように）、バッファ２３４（例えば、コンピュータメモリのデコードピクチャバッファ）に保存され得る。デコーダは、時間予測ステージ２０４４で使用される１つ又は複数の参照ピクチャをバッファ２３４に保存し得る。幾つかの実施形態では、現在のＢＰＵをエンコードするためにインター予測が使用されたことを予測データ２０６の予測モードインジケータが示す場合、予測データは、ループフィルタのパラメータ（例えば、ループフィルタ強度）をさらに含み得る。
[0071] 図４は、本開示の実施形態による、映像をエンコード又はデコードするための装置例４００のブロック図である。図４に示されるように、装置４００は、プロセッサ４０２を含み得る。プロセッサ４０２が本明細書に記載される命令を実行すると、装置４００は、映像エンコーディング又はデコーディングのための専用マシンになることができる。プロセッサ４０２は、情報の操作又は処理を行うことが可能な任意のタイプの回路網であり得る。例えば、プロセッサ４０２は、幾つかの中央処理装置（すなわち「ＣＰＵ」）、グラフィック処理ユニット（すなわち「ＧＰＵ」）、ニューラル処理ユニット（「ＮＰＵ」）、マイクロコントローラユニット（「ＭＣＵ」）、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産（ＩＰ）コア、プログラマブル論理アレイ（ＰＬＡ）、プログラマブルアレイロジック（ＰＡＬ）、汎用アレイロジック（ＧＡＬ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）又は特定用途向け集積回路（ＡＳＩＣ）などの任意の組み合わせを含み得る。幾つかの実施形態では、プロセッサ４０２は、単一の論理コンポーネントとしてグループ化されたプロセッサのセットであり得る。例えば、図４に示されるように、プロセッサ４０２は、プロセッサ４０２ａ、プロセッサ４０２ｂ及びプロセッサ４０２ｎを含む複数のプロセッサを含み得る。
[0072] 装置４００は、データ（例えば、命令セット、コンピュータコード又は中間データなど）を保存するように構成されたメモリ４０４も含み得る。例えば、図４に示されるように、保存されたデータは、プログラム命令（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂのステージを実装するためのプログラム命令）及び処理用データ（例えば、映像シーケンス２０２、映像ビットストリーム２２８又は映像ストリーム３０４）を含み得る。プロセッサ４０２は、（例えば、バス４１０を介して）プログラム命令及び処理用データにアクセスし、処理用データに対して演算又は操作を行うために、プログラム命令を実行することができる。メモリ４０４は、高速ランダムアクセス記憶デバイス又は不揮発性記憶デバイスを含み得る。幾つかの実施形態では、メモリ４０４は、幾つかのランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、光ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル（ＳＤ）カード、メモリスティック又はコンパクトフラッシュ（登録商標）（ＣＦ）カードなどの任意の組み合わせを含み得る。メモリ４０４も、単一の論理コンポーネントとしてグループ化されたメモリの群（図４では図示せず）であり得る。
[0073] バス４１０は、内部バス（例えば、ＣＰＵメモリバス）又は外部バス（例えば、ユニバーサルシリアルバスポート、周辺コンポーネント相互接続エクスプレスポート）などの、装置４００内のコンポーネント間でデータを転送する通信デバイスであり得る。
[0074] 曖昧さを生じさせずに説明を簡単にするために、本開示では、プロセッサ４０２及び他のデータ処理回路はまとめて「データ処理回路」と呼ばれる。データ処理回路は、完全にハードウェアとして又はソフトウェア、ハードウェア若しくはファームウェアの組み合わせとして実装され得る。さらに、データ処理回路は、単一の独立したモジュールであり得るか、又は装置４００の任意の他のコンポーネントと完全に若しくは部分的に統合され得る。
[0075] 装置４００は、ネットワーク（例えば、インターネット、イントラネット、ローカルエリアネットワーク又はモバイル通信ネットワークなど）との有線又は無線通信を提供するために、ネットワークインタフェース４０６をさらに含み得る。幾つかの実施形態では、ネットワークインタフェース４０６は、幾つかのネットワークインタフェースコントローラ（ＮＩＣ）、無線周波数（ＲＦ）モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、ブルートゥース（登録商標）アダプタ、赤外線アダプタ、近距離無線通信（「ＮＦＣ」）アダプタ又はセルラーネットワークチップなどの任意の組み合わせを含み得る。
[0076] 幾つかの実施形態では、任意選択的に、装置４００は、１つ又は複数の周辺デバイスに対する接続を提供するために、周辺インタフェース４０８をさらに含み得る。図４に示されるように、周辺デバイスは、カーソル制御デバイス（例えば、マウス、タッチパッド若しくはタッチスクリーン）、キーボード、ディスプレイ（例えば、陰極線管ディスプレイ、液晶ディスプレイ若しくは発光ダイオードディスプレイ）又は映像入力デバイス（例えば、カメラ若しくは映像アーカイブに結合された入力インタフェース）などを含み得る（ただし、これらに限定されない）。
[0077] 映像コーデック（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂを行うコーデック）は、装置４００内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装され得ることに留意されたい。例えば、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂの一部又は全てのステージが、メモリ４０４にロードされ得るプログラム命令などの、装置４００の１つ又は複数のソフトウェアモジュールとして実装され得る。別の例として、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂの一部又は全てのステージは、専用データ処理回路など（例えば、ＦＰＧＡ、ＡＳＩＣ又はＮＰＵなど）の、装置４００の１つ又は複数のハードウェアモジュールとして実装され得る。
[0078] ＪＶＥＴアドホックグループ（ＡＨＧ）可逆及びほぼ可逆符号化ツール（ＡＨＧ１８）は、ＶＶＣテストモデル６．０（VTM-6.0）に基づいた可逆ソフトウェアをリリースした。このソフトウェアは、cu_transquant_bypass_flagと呼ばれる符号化ユニット（ＣＵ）レベルフラグを導入した。cu_transquant_bypass_flag＝１の場合、それは、そのＣＵの予測残差信号の変換及び量子化がスキップされ、そのＣＵの残差が可逆的に直接符号化されることを意味する。
[0079] 不可逆ＶＶＣに類似して、現在の可逆コーデックは、２種類の残差符号化技術である変換スキップ（ＴＳ）残差符号化及び変換残差符号化を使用する。ＴＳ残差符号化は、以下の２つの条件の一方が満たされた場合に選択される：１）intra_bdpcm_flagが１に等しい値を有するか、又は２）transform_skip_flagが１に等しい値を有する。変換残差符号化は、上述の条件の両方が偽である場合に使用される。
[0080] また、現在の可逆コーデックでは、ＢＤＰＣＭ（block differential pulse code modulation）が選択された場合、変換スキップ（ＴＳ）残差符号化が使用される。そうでない場合、変換残差符号化が使用される。
[0081] しかしながら、従来、ＶＶＣ６では、変換残差符号化技術及びＴＳ残差符号化技術の両方が非可逆コーデックのために設計される。残差係数の統計的特性は、不可逆符号化が使用されるか、又は可逆符号化が使用されるかに応じて異なる。したがって、符号化効率を向上させるために、可逆符号化のための既存の残差符号化方法を向上させることが望ましい。本開示は、可逆符号化を行うための適切な残差符号化技術を選択するための様々な方法を提供する。
[0082] 幾つかの実施形態によれば、映像信号に対する残差符号化方法は、ＴＳ残差符号化及び変換残差符号化を含み得る。
[0083] ＴＳ残差符号化は、以下の２つの条件が共に満たされた場合に選択することができる。２つの条件は、映像信号がルマ成分であること及びintra_bdpcm_flag又はtransform_skip_flagの何れか一方が１であることを含み得る。
[0084] 変換残差符号化は、上記２つの条件の何れか一方が偽である場合に選択することができる。
[0085] 幾つかの実施形態では、変換スキップ及びＢＤＰＣＭブロックは、ＴＳ残差符号化及び変換残差符号化の一方を選択することを許可され得る。この選択は、さらなるフラグをシグナリングすることによって制御され得る。さらなるフラグは、ＣＵレベル、スライスレベル、ピクチャレベル又はピクチャパラメータセット（ＰＰＳ）若しくはＳＰＳにおいてシグナリングされ得る。
[0086] 例えば、cu_transquant_bypass_flagは、ＣＵレベルでシグナリングされ得、可逆符号化のための２種類の残差符号化技術の一方を選択するために使用することができる。cu_transquant_bypass_flagが１である場合、intra_bdpcm_flag又はtransform_skip_flagの値にかかわらず、変換残差符号化が使用される。図５の表１は、開示の実施形態を実装するために、破線ボックス内に示されるシンタックス要素が提案される、例示的変換ユニットシンタックス表を示す。
[0087] 幾つかの実施形態によれば、ルマＢＤＰＣＭブロックによって使用される残差符号化技術をシグナリングするために、シーケンスパラメータセット（ＳＰＳ）レベルフラグ「sps_bdpcm_transform_residual_coding_flag」が使用される。具体的には、１に等しいsps_bdpcm_transform_residual_coding_flagは、ＢＤＰＣＭが現在のルマブロックに適用される場合（例えば、intra_bdpcm_flag＝１）、現在のルマブロックが変換残差符号化を使用することを指定する。また、０に等しいsps_bdpcm_transform_residual_coding_flagは、ＢＤＰＣＭが現在のルマブロックに適用される場合（例えば、intra_bdpcm_flag＝１）、現在のルマブロックがＴＳ残差符号化を使用することを指定する。さらに、sps_bdpcm_transform_residual_coding_flagが存在しない場合、それは、０に等しいと推論される。
[0088] これらの実施形態では、sps_bdpcm_transform_residual_coding_flagは、予め設定された条件に基づいてシグナリングされる。一例として、sps_bdpcm_enabled_flagが１である場合、sps_bdpcm_transform_residual_coding_flagがシグナリングされる。
[0089] 別の例として、sps_bdpcm_enabled_flag及びtransquant_bypass_enabled_flagが共に１である場合、sps_bdpcm_transform_residual_coding_flagがシグナリングされる。図６の表２は、sps_bdpcm_enabled_flag及びtransquant_bypass_enabled_flagの両方に基づいて、sps_bdpcm_transform_residual_coding_flagをシグナリングするための例示的ＳＰＳシンタックス表を示し、表では、開示の実施形態を実装するために、破線ボックス内に示されるシンタックス要素が提案される。表２（図６）に示されるように、１に等しいsps_bdpcm_transform_residual_coding_flagは、ＢＤＰＣＭが現在のルマブロックに適用され（例えば、intra_bdpcm_flag＝１）、並びに現在のブロックが変換及び量子化バイパスモードにある（例えば、cu_transquant_bypass_flag＝１）場合、現在のルマブロックが変換残差符号化を使用することを指定する。また、０に等しいsps_bdpcm_transform_residual_coding_flagは、ＢＤＰＣＭが現在のルマブロックに適用され（例えば、intra_bdpcm_flag＝１）、並びに現在のブロックが変換及び量子化バイパスモードにある（例えば、cu_transquant_bypass_flag＝１）場合、現在のルマブロックがＴＳ残差符号化を使用することを指定する。
[0090] 上記の記載は、残差符号化プロセスを説明するために一例としてルマブロックを使用するが、開示の方法は、クロマブロックの残差符号化にも同様に容易に適用可能であることが企図される。
[0091] 幾つかの実施形態では、残差符号化方法の選択は、ＰＰＳ、ピクチャヘッダ又はスライスヘッダなどの他のレベルでシグナリングすることもできる。例えば、ＴＳ残差符号化の選択は、スライスレベルで制御することができる。その場合、ＴＳ残差符号化方法を有効／無効にするために、スライスレベルフラグが提供される。スライスレベルフラグの意味論は、以下で与えられる。
[0092] １に等しいslice_ts_residual_coding_disabled_flagは、現在のスライスの変換スキップ及びＢＤＰＣＭブロックの残差サンプルをパースするために、residual_coding( )シンタックス構造が使用されることを指定する。０に等しいslice_ts_residual_coding_disabled_flagは、現在のスライスの変換スキップブロックの残差サンプルをパースするために、residual_ts_coding( )シンタックス構造が使用されることを指定する。slice_ts_residual_coding_disabled_flagが存在しない場合、それは、０に等しいことが推論される。
[0093] 図７の表３は、例示的スライスヘッダシンタックスを示し、そこでは、開示の実施形態を実装するために、破線ボックス内に示されるシンタックス要素が提案される。図８の表４は、例示的変換ブロックシンタックスを示し、そこでは、開示の実施形態を実装するために、破線ボックス内に示されるシンタックス要素が提案される。幾つかの実施形態では、slice_ts_residual_coding_disabled_flagの値が１に等しい場合、変換スキップ及びＢＤＰＣＭブロックは、ＴＳ残差符号化方法の代わりに変換残差符号化方法を使用する。
[0094] 本開示の幾つかの実施形態によれば、変換残差符号化に関して、最後の有意な係数の位置のシグナリングが省かれ得る。ＶＶＣ６の変換残差符号化方法では、変換ブロックの残差符号化の最初に、最後の有意な係数の位置がシグナリングされる。対照的に、開示の方法では、cu_transquant_bypass_flag＝１の場合、最後の有意な係数の位置は、シグナリングされず、代わりに、その位置は、変換ブロックの右下の位置であると推論される。cu_transquant_bypass_flag＝０の場合、最後の有意な係数の位置は、ＶＶＣ６の場合と同じ方法でシグナリングされる。
[0095] ＶＶＣ６の変換残差符号化では、最初のサブブロック及び最後のサブブロックのcoded_sub_block_flagは、シグナリングされず、１であると推論される。開示の方法では、cu_transquant_bypass_flag＝１の場合、全てのサブブロックのcoded_sub_block_flagがシグナリングされる。しかしながら、前に符号化された全てのサブブロックのcoded_sub_block_flagがゼロである場合、最初のサブブロックのcoded_sub_block_flagは、１であると推論される。ＶＶＣ６と同様に、開示の方法では、cu_transquant_bypass_flag＝０の場合、最初のサブブロック及び最後のサブブロックは、シグナリングされず、１であると推論される。
[0096] ＶＶＣ６の変換残差符号化では、最後の有意な係数の位置が常にシグナリングされ、最後の有意な係数が常に非ゼロ値であるため、最後の有意な係数のsig_coeff_flagは、シグナリングされることを必要とされず、１であると推論される。対照的に、開示の方法では、cu_transquant_bypass_flag＝１の場合、最後の有意な係数は、常に右下の係数であり、それは、ゼロ又は非ゼロ値の何れか一方となり得る。したがって、cu_transquant_bypass_flag＝１の場合、開示の方法は、最後の有意な係数の位置のsig_coeff_flagをシグナリングし得る。しかしながら、cu_transquant_bypass_flag＝０の場合、開示の方法は、ＶＶＣ６の変換残差符号化と同じ方法でsig_coeff_flagをシグナリングし得る。
[0097] 図９の表５は、開示の方法による、最後の有意な係数の位置をシグナリングするための例示的変換残差符号化シンタックス表を示す。表５（図９）では、破線ボックス内に示されるシンタックス要素は、ＶＶＣ６の変換残差符号化シンタックスに対する提案される変更である。
[0098] 本開示の幾つかの実施形態によれば、変換残差符号化に関して、cu_transquant_bypass_flagの値にかかわらず、最後の有意な係数の位置のシグナリングが省かれ得る。
[0099] 図１０は、本開示の実施形態と一致した、残差符号化で映像信号を処理するための例示的コンピュータ実施方法１０００のフローチャートである。幾つかの実施形態では、方法１０００は、コーデック（例えば、図２Ａ～２Ｂのエンコーディングプロセス２００Ａ若しくは２００Ｂを使用するエンコーダ又は図３Ａ～３Ｂのデコーディングプロセス３００Ａ若しくは３００Ｂを使用するデコーダ）によって行うことができる。例えば、コーデックは、映像シーケンスをエンコード又はトランスコードするための装置（例えば、装置４００）の１つ又は複数のソフトウェア又はハードウェアコンポーネントとして実装され得る。幾つかの実施形態では、映像シーケンスは、非圧縮映像シーケンス（例えば、映像シーケンス２０２）又はデコードされた圧縮映像シーケンス（例えば、映像ストリーム３０４）であり得る。幾つかの実施形態では、映像シーケンスは、装置のプロセッサ（例えば、プロセッサ４０２）に関連付けられたモニタリングデバイス（例えば、図４の映像入力デバイス）によって捕捉することができるモニタリング映像シーケンスであり得る。映像シーケンスは、複数のピクチャを含み得る。装置は、ピクチャレベルで方法１０００を行うことができる。例えば、装置は、方法１０００において、一度に１つのピクチャを処理することができる。別の例として、装置は、方法１０００において、一度に複数のピクチャを処理することができる。方法１０００は、以下のようなステップを含み得る。
[00100] ステップ１００２では、映像シーケンスを符号化するための制御情報を受け取ることができる。制御情報は、映像シーケンスの異なるレベルでシグナリングされ得るフラグを含み得る。例えば、フラグは、ＣＵレベル、スライスレベル、ピクチャレベル又はピクチャパラメータセット（ＰＰＳ）若しくはＳＰＳにおいてシグナリングされ得る。
[00101] ステップ１００４では、映像シーケンスの符号化ブロックの予測残差信号を符号化するための符号化方法は、制御情報に基づいて、変換残差符号化及び変換スキップ残差符号化の一方であると決定することができる。
[00102] 幾つかの実施形態では、制御情報は、映像シーケンスの符号化ユニットレベルでシグナリングすることができ、制御情報は、符号化ブロックの予測残差信号の変換及び量子化をスキップするか否かを示す第１のフラグを含む。例えば、第１のフラグは、cu_transquant_bypass_flagであり得る。第１のフラグが第１の条件を満たすことに応答して、符号化方法は、変換残差符号化であると決定することができる。表１（図５）に示されるように、cu_transquant_bypass_flagの値が「１」である場合、intra_bdpcm_flag又はtransform_skip_flagの値にかかわらず、変換残差符号化が使用される。したがって、第１の条件は、第１のフラグの値が「１」であることを含み得る。変換残差符号化が可逆コーデックによって行われることが理解される。cu_transquant_bypass_flagの値が「０」である場合、変換スキップ及びＢＤＰＣＭブロックは、共にＴＳ残差符号化を使用し得る。
[00103] 幾つかの実施形態では、制御情報は、第２のフラグ及び第３のフラグをさらに含み得る。例えば、第２のフラグは、intra_bdpcm_flagであり得、第３のフラグは、transform_skip_flagであり得る。第１のフラグが第１の条件を満たさない場合、符号化方法は、第２のフラグ又は第３のフラグの値に基づいて決定することができる。intra_bdpcm_flagが「１」に等しい場合、符号化方法は、ＢＤＰＣＭであり得る。transform_skip_flagが「１」に等しい場合、符号化方法は、変換スキップ符号化であり得る。
[00104] 幾つかの実施形態では、符号化ユニットレベルでシグナリングされる以外として、制御情報は、映像シーケンスのシーケンスパラメータセット（ＳＰＳ）においてシグナリングされ得、制御情報は、第４のフラグ及び第５のフラグを含み得る。例えば、第４のフラグは、sps_bdpcm_transform_residual_coding_flagであり得、第５のフラグは、intra_bdpcm_flagであり得る。表２（図６）を参照して述べたように、第４のフラグ及び第５のフラグが第１の値（例えば、「１」）に等しいことに応答して、符号化方法は、変換残差符号化であると決定することができる。また、第４のフラグが第２の値（例えば、「０」）に等しく、及び第５のフラグが第１の値（例えば、「１」）に等しいことに応答して、符号化方法は、変換スキップ残差符号化であると決定することができる。
[00105] 幾つかの実施形態では、第４のフラグは、映像シーケンスについてＢＤＰＣＭ（block differential pulse code modulation）が有効にされる場合、制御情報においてシグナリングすることができる。幾つかの実施形態では、第４のフラグは、映像シーケンスについてＢＤＰＣＭが有効にされ、並びに符号化ブロックについて変換及び量子化バイパスモードが有効にされる場合、制御情報においてシグナリングすることができる。
[00106] 幾つかの実施形態では、制御情報は、映像シーケンスのスライスについてスライスレベルでシグナリングすることができる。また、制御情報は、第６のフラグ（例えば、slice_ts_residual_coding_disabled_flag）を含み得る。表３（図７）及び表４（図８）を参照して述べたように、符号化ブロックの予測残差信号を符号化するための符号化方法は、第６のフラグの値が第１の値である場合、変換スキップ残差符号化であると決定することができる。符号化ブロックは、制御情報がスライスレベルでシグナリングされるスライスに関連付けられると理解される。
[00107] 幾つかの実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、上記の方法を行うために、デバイス（開示のエンコーダ及びデコーダなど）によって実行され得る。非一時的媒体の一般的な形態には、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ又は他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ及びＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ又は他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、他のメモリチップ又はカートリッジ並びに上記のネットワーク化バージョンが含まれる。デバイスは、１つ若しくは複数のプロセッサ（ＣＰＵ）、入出力インタフェース、ネットワークインタフェース及び／又はメモリを含み得る。
[00108] 実施形態は、以下の条項を用いてさらに説明することができる。
１．映像シーケンスを符号化するための制御情報を受け取ることと、
制御情報に基づいて、映像シーケンスの符号化ブロックの予測残差信号を符号化するための符号化方法を決定することであって、符号化方法は、変換残差符号化及び変換スキップ残差符号化の一方である、決定することと
を含むコンピュータ実施方法。
２．制御情報は、映像シーケンスの符号化ユニットレベルでシグナリングされ、
制御情報は、符号化ブロックの予測残差信号の変換及び量子化をスキップするか否かを示す第１のフラグを含む、条項１に記載の方法。
３．制御情報に基づいて符号化方法を決定することは、第１のフラグが第１の条件を満たすことに応答して、符号化方法を変換残差符号化に決定することをさらに含む、条項２に記載の方法。
４．第１の条件は、第１のフラグの値が「１」であることを含み、及び
変換残差符号化は、可逆コーデックによって行われる、条項３に記載の方法。
５．制御情報は、第２のフラグ及び第３のフラグをさらに含み、及び
制御情報に基づいて符号化方法を決定することは、第１のフラグが第１の条件を満たさないことに応答して、第２のフラグ又は第３のフラグの値に基づいて符号化方法を決定することをさらに含む、条項２に記載の方法。
６．制御情報は、映像シーケンスのシーケンスパラメータセットにおいてシグナリングされ、
制御情報は、第４のフラグ及び第５のフラグを含み、及び
制御情報に基づいて符号化方法を決定することは、
第４のフラグ及び第５のフラグが同じ値を有することに応答して、符号化方法を変換残差符号化に決定することと、
第４のフラグ及び第５のフラグが異なる値を有することに応答して、符号化方法を変換スキップ残差符号化に決定することと
をさらに含む、条項１に記載の方法。
７．映像シーケンスについてＢＤＰＣＭ（block differential pulse code modulation）が有効にされることに応答して、制御情報において第４のフラグをシグナリングすることをさらに含む、条項６に記載の方法。
８．映像シーケンスについてＢＤＰＣＭが有効にされ、並びに符号化ブロックについて変換及び量子化バイパスモードが有効にされることに応答して、制御情報において第４のフラグをシグナリングすることをさらに含む、条項６に記載の方法。
９．制御情報は、映像シーケンスのスライスについてスライスレベルでシグナリングされ、
制御情報は、第６のフラグを含み、及び
制御情報に基づいて符号化方法を決定することは、第６のフラグの値が第１の値であることに応答して、符号化方法を変換スキップ残差符号化に決定することをさらに含む、条項１に記載の方法。
１０．符号化ブロックは、スライスに関連付けられる、条項９に記載の方法。
１１．残差符号化で映像信号を処理するためのシステムであって、
命令セットを保存するためのメモリと、
少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、
映像シーケンスを符号化するための制御情報を受け取ることと、
制御情報に基づいて、映像シーケンスの符号化ブロックの予測残差信号を符号化するための符号化方法を決定することであって、符号化方法は、変換残差符号化及び変換スキップ残差符号化の一方である、決定することと
をシステムに行わせるように、命令セットを実行するように構成される、システム。
１２．制御情報は、映像シーケンスの符号化ユニットレベルでシグナリングされ、
制御情報は、符号化ブロックの予測残差信号の変換及び量子化をスキップするか否かを示す第１のフラグを含む、条項１１に記載のシステム。
１３．制御情報に基づいて符号化方法を決定する場合、少なくとも１つのプロセッサは、
第１のフラグが第１の条件を満たすことに応答して、符号化方法を変換残差符号化に決定すること
をシステムにさらに行わせるように、命令セットを実行するように構成される、条項１２に記載のシステム。
１４．第１の条件は、第１のフラグの値が「１」であることを含み、及び
変換残差符号化は、可逆コーデックによって行われる、条項１３に記載のシステム。
１５．制御情報は、第２のフラグ及び第３のフラグをさらに含み、及び
制御情報に基づいて符号化方法を決定する場合、少なくとも１つのプロセッサは、
第１のフラグが第１の条件を満たさないことに応答して、第２のフラグ又は第３のフラグの値に基づいて符号化方法を決定すること
をシステムにさらに行わせるように、命令セットを実行するように構成される、条項１２に記載のシステム。
１６．制御情報は、映像シーケンスのシーケンスパラメータセットにおいてシグナリングされ、
制御情報は、第４のフラグ及び第５のフラグを含み、及び
制御情報に基づいて符号化方法を決定する場合、少なくとも１つのプロセッサは、
第４のフラグ及び第５のフラグが同じ値を有することに応答して、符号化方法を変換残差符号化に決定することと、
第４のフラグ及び第５のフラグが異なる値を有することに応答して、符号化方法を変換スキップ残差符号化に決定することと
をシステムにさらに行わせるように、命令セットを実行するように構成される、条項１１に記載のシステム。
１７．少なくとも１つのプロセッサは、
映像シーケンスについてＢＤＰＣＭが有効にされることに応答して、制御情報において第４のフラグをシグナリングすること
をシステムにさらに行わせるように、命令セットを実行するように構成される、条項１６に記載のシステム。
１８．少なくとも１つのプロセッサは、
映像シーケンスについてＢＤＰＣＭが有効にされ、並びに符号化ブロックについて変換及び量子化バイパスモードが有効にされることに応答して、制御情報において第４のフラグをシグナリングすること
をシステムにさらに行わせるように、命令セットを実行するように構成される、条項１６に記載のシステム。
１９．制御情報は、映像シーケンスのスライスについてスライスレベルでシグナリングされ、
制御情報は、第６のフラグを含み、及び
制御情報に基づいて符号化方法を決定する場合、少なくとも１つのプロセッサは、
第６のフラグの値が第１の値であることに応答して、符号化方法を変換スキップ残差符号化に決定すること
をシステムにさらに行わせるように、命令セットを実行するように構成される、条項１１に記載のシステム。
２０．コンピュータシステムの少なくとも１つのプロセッサによって実行可能な命令を保存する非一時的コンピュータ可読媒体であって、命令の実行は、
映像シーケンスを符号化するための制御情報を受け取ることと、
制御情報に基づいて、映像シーケンスの符号化ブロックの予測残差信号を符号化するための符号化方法を決定することであって、符号化方法は、変換残差符号化及び変換スキップ残差符号化の一方である、決定することと
を含む方法をコンピュータシステムに行わせる、非一時的コンピュータ可読媒体。
[00109] 「第１の」及び「第２の」などの本明細書の関係語は、あるエンティティ又は動作を別のエンティティ又は動作と区別するためにのみ使用されるものであり、これらのエンティティ又は動作間の実際の関係又は順序を必要とするもの又は暗示するものではないことに留意されたい。また、「含む」、「有する」、「含有する」及び「包含する」という語並びに他の類似の形態は、意味が同等であることと、これらの語の何れか１つに続く１つ又は複数の項が、そのような１つ若しくは複数の項の網羅的列挙ではない点又は列挙された１つ若しくは複数の項のみに限定されない点でオープンエンド形式であることとが意図される。
[00110] 上記の実施形態は、ハードウェア若しくはソフトウェア（プログラムコード）又はハードウェア及びソフトウェアの組み合わせによって実施され得ることが理解される。ソフトウェアによって実施される場合、それは、上記のコンピュータ可読媒体に保存され得る。ソフトウェアは、プロセッサによる実行時に、開示の方法を行うことができる。本開示に記載したコンピューティングユニット及び他の機能ユニットは、ハードウェア若しくはソフトウェア又はハードウェア及びソフトウェアの組み合わせによって実装され得る。当業者は、上記のモジュール／ユニットの内の複数が、１つのモジュール／ユニットとして統合され得ることと、上記のモジュール／ユニットのそれぞれが、複数のサブモジュール／サブユニットにさらに分割され得ることとも理解するであろう。
[00111] 上述の本明細書では、実装形態によって異なり得る多数の具体的詳細に関して、実施形態を説明した。記載した実施形態の特定の適応及び変更が行われ得る。ここに開示した本発明の本明細書及び実施を考慮して、他の実施形態が当業者には明らかとなり得る。上記の本明細書及び例は、単なる例示と見なされることが意図され、本発明の真の範囲及び趣旨は、以下の特許請求の範囲によって示される。また、図面に示されるステップの順序は、単に、説明のためのものであることが意図され、ステップの何れの特定の順序にも限定されることは意図されない。そのため、同じ方法を実施しながら、これらのステップが異なる順序で行われ得ることを当業者は理解できる。
[00112] 図面及び本明細書では、例示的実施形態を開示した。しかしながら、これらの実施形態に対して多くの変形形態及び変更形態を作ることができる。したがって、特定の用語が使用されるが、それらは、単に一般的及び説明的な意味で使用されるものであり、限定を意図したものではない。

Claims (20)

  1. 映像シーケンスを符号化するための制御情報を受け取ることと、
    前記制御情報に基づいて、前記映像シーケンスの符号化ブロックの予測残差信号を符号化するための符号化方法を決定することであって、前記符号化方法は、変換残差符号化及び変換スキップ残差符号化の一方である、決定することと
    を含むコンピュータ実施方法。
  2. 前記制御情報は、前記映像シーケンスの符号化ユニットレベルでシグナリングされ、
    前記制御情報は、前記符号化ブロックの前記予測残差信号の変換及び量子化をスキップするか否かを示す第１のフラグを含む、請求項１に記載の方法。
  3. 前記制御情報に基づいて前記符号化方法を決定することは、前記第１のフラグが第１の条件を満たすことに応答して、前記符号化方法を前記変換残差符号化に決定することをさらに含む、請求項２に記載の方法。
  4. 前記第１の条件は、前記第１のフラグの値が「１」であることを含み、及び
    前記変換残差符号化は、可逆コーデックによって行われる、請求項３に記載の方法。
  5. 前記制御情報は、第２のフラグ及び第３のフラグをさらに含み、及び
    前記制御情報に基づいて前記符号化方法を決定することは、前記第１のフラグが第１の条件を満たさないことに応答して、前記第２のフラグ又は前記第３のフラグの値に基づいて前記符号化方法を決定することをさらに含む、請求項２に記載の方法。
  6. 前記制御情報は、前記映像シーケンスのシーケンスパラメータセットにおいてシグナリングされ、
    前記制御情報は、第４のフラグ及び第５のフラグを含み、及び
    前記制御情報に基づいて前記符号化方法を決定することは、
    前記第４のフラグ及び前記第５のフラグが同じ値を有することに応答して、前記符号化方法を前記変換残差符号化に決定することと、
    前記第４のフラグ及び前記第５のフラグが異なる値を有することに応答して、前記符号化方法を前記変換スキップ残差符号化に決定することと
    をさらに含む、請求項１に記載の方法。
  7. 前記映像シーケンスについてＢＤＰＣＭ（block differential pulse code modulation）が有効にされることに応答して、前記制御情報において前記第４のフラグをシグナリングすることをさらに含む、請求項６に記載の方法。
  8. 前記映像シーケンスについてＢＤＰＣＭが有効にされ、並びに前記符号化ブロックについて変換及び量子化バイパスモードが有効にされることに応答して、前記制御情報において前記第４のフラグをシグナリングすることをさらに含む、請求項６に記載の方法。
  9. 前記制御情報は、前記映像シーケンスのスライスについてスライスレベルでシグナリングされ、
    前記制御情報は、第６のフラグを含み、及び
    前記制御情報に基づいて前記符号化方法を決定することは、前記第６のフラグの値が第１の値であることに応答して、前記符号化方法を前記変換スキップ残差符号化に決定することをさらに含む、請求項１に記載の方法。
  10. 前記符号化ブロックは、前記スライスに関連付けられる、請求項９に記載の方法。
  11. 残差符号化で映像信号を処理するためのシステムであって、
    命令セットを保存するためのメモリと、
    少なくとも１つのプロセッサとを含み、前記少なくとも１つのプロセッサは、
    映像シーケンスを符号化するための制御情報を受け取ることと、
    前記制御情報に基づいて、前記映像シーケンスの符号化ブロックの予測残差信号を符号化するための符号化方法を決定することであって、前記符号化方法は、変換残差符号化及び変換スキップ残差符号化の一方である、決定することと
    を前記システムに行わせるように、前記命令セットを実行するように構成される、システム。
  12. 前記制御情報は、前記映像シーケンスの符号化ユニットレベルでシグナリングされ、
    前記制御情報は、前記符号化ブロックの前記予測残差信号の変換及び量子化をスキップするか否かを示す第１のフラグを含む、請求項１１に記載のシステム。
  13. 前記制御情報に基づいて前記符号化方法を決定する場合、前記少なくとも１つのプロセッサは、
    前記第１のフラグが第１の条件を満たすことに応答して、前記符号化方法を前記変換残差符号化に決定すること
    を前記システムにさらに行わせるように、前記命令セットを実行するように構成される、請求項１２に記載のシステム。
  14. 前記第１の条件は、前記第１のフラグの値が「１」であることを含み、及び
    前記変換残差符号化は、可逆コーデックによって行われる、請求項１３に記載のシステム。
  15. 前記制御情報は、第２のフラグ及び第３のフラグをさらに含み、及び
    前記制御情報に基づいて前記符号化方法を決定する場合、前記少なくとも１つのプロセッサは、
    前記第１のフラグが第１の条件を満たさないことに応答して、前記第２のフラグ又は前記第３のフラグの値に基づいて前記符号化方法を決定すること
    を前記システムにさらに行わせるように、前記命令セットを実行するように構成される、請求項１２に記載のシステム。
  16. 前記制御情報は、前記映像シーケンスのシーケンスパラメータセットにおいてシグナリングされ、
    前記制御情報は、第４のフラグ及び第５のフラグを含み、及び
    前記制御情報に基づいて前記符号化方法を決定する場合、前記少なくとも１つのプロセッサは、
    前記第４のフラグ及び前記第５のフラグが同じ値を有することに応答して、前記符号化方法を前記変換残差符号化に決定することと、
    前記第４のフラグ及び前記第５のフラグが異なる値を有することに応答して、前記符号化方法を前記変換スキップ残差符号化に決定することと
    を前記システムにさらに行わせるように、前記命令セットを実行するように構成される、請求項１１に記載のシステム。
  17. 前記少なくとも１つのプロセッサは、
    前記映像シーケンスについてＢＤＰＣＭが有効にされることに応答して、前記制御情報において前記第４のフラグをシグナリングすること
    を前記システムにさらに行わせるように、前記命令セットを実行するように構成される、請求項１６に記載のシステム。
  18. 前記少なくとも１つのプロセッサは、
    前記映像シーケンスについてＢＤＰＣＭが有効にされ、並びに前記符号化ブロックについて変換及び量子化バイパスモードが有効にされることに応答して、前記制御情報において前記第４のフラグをシグナリングすること
    を前記システムにさらに行わせるように、前記命令セットを実行するように構成される、請求項１６に記載のシステム。
  19. 前記制御情報は、前記映像シーケンスのスライスについてスライスレベルでシグナリングされ、
    前記制御情報は、第６のフラグを含み、及び
    前記制御情報に基づいて前記符号化方法を決定する場合、前記少なくとも１つのプロセッサは、
    前記第６のフラグの値が第１の値であることに応答して、前記符号化方法を前記変換スキップ残差符号化に決定すること
    を前記システムにさらに行わせるように、前記命令セットを実行するように構成される、請求項１１に記載のシステム。
  20. コンピュータシステムの少なくとも１つのプロセッサによって実行可能な命令を保存する非一時的コンピュータ可読媒体であって、前記命令の実行は、
    映像シーケンスを符号化するための制御情報を受け取ることと、
    前記制御情報に基づいて、前記映像シーケンスの符号化ブロックの予測残差信号を符号化するための符号化方法を決定することであって、前記符号化方法は、変換残差符号化及び変換スキップ残差符号化の一方である、決定することと
    を含む方法を前記コンピュータシステムに行わせる、非一時的コンピュータ可読媒体。
JP2022516282A 2019-09-23 2020-08-24 映像データの可逆符号化 Pending JP2022549773A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962904574P 2019-09-23 2019-09-23
US62/904,574 2019-09-23
PCT/US2020/047602 WO2021061318A1 (en) 2019-09-23 2020-08-24 Lossless coding of video data

Publications (2)

Publication Number Publication Date
JP2022549773A true JP2022549773A (ja) 2022-11-29
JPWO2021061318A5 JPWO2021061318A5 (ja) 2023-08-15

Family

ID=74881384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022516282A Pending JP2022549773A (ja) 2019-09-23 2020-08-24 映像データの可逆符号化

Country Status (6)

Country Link
US (1) US12047578B2 (ja)
EP (1) EP4035069A4 (ja)
JP (1) JP2022549773A (ja)
KR (1) KR20220062655A (ja)
CN (1) CN114731440A (ja)
WO (1) WO2021061318A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020354148B2 (en) * 2019-09-25 2024-02-15 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling residual coding method used for encoding block to which BDPCM is applied, and method for transmitting bitstream
US11973983B2 (en) * 2019-10-11 2024-04-30 Qualcomm Incorporated Signaling coding scheme for residual values in transform skip for video coding
CN115336274B (zh) * 2020-02-05 2023-05-26 Lg电子株式会社 与残差编码关联的图像解码方法以及用于其的装置
WO2021170058A1 (en) * 2020-02-27 2021-09-02 Beijing Bytedance Network Technology Co., Ltd. Transform skip residual coding

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763181B1 (ko) * 2005-04-19 2007-10-05 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
CN102137263B (zh) 2011-05-09 2013-07-03 松日数码发展(深圳)有限公司 基于cnm关键帧分类的分布式视频编码及解码方法
US9521410B2 (en) * 2012-04-26 2016-12-13 Qualcomm Incorporated Quantization parameter (QP) coding in video coding
US9264713B2 (en) 2012-07-11 2016-02-16 Qualcomm Incorporated Rotation of prediction residual blocks in video coding with transform skipping
WO2014071439A1 (en) * 2012-11-08 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
KR20140081681A (ko) 2012-12-14 2014-07-01 한국전자통신연구원 영상의 부호화 방법 및 이를 이용하는 장치
US20140169452A1 (en) 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Video encoding method and apparatus using the same
GB2512658B (en) 2013-04-05 2020-04-01 British Broadcasting Corp Transmitting and receiving a composite image
US11323747B2 (en) 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
US11470339B2 (en) 2013-08-27 2022-10-11 Qualcomm Incorporated Residual prediction for intra block copying
CA2923439C (en) * 2013-10-14 2018-08-21 Mediatek Singapore Pte. Ltd. Method of residue differential pulse-code modulation for hevc range extension
US20150195574A1 (en) * 2013-11-06 2015-07-09 Arris Enterprises, Inc. Modification of picture parameter set (pps) for hevc extensions
KR20220024711A (ko) * 2019-06-20 2022-03-03 인터디지털 브이씨 홀딩스 프랑스 에스에이에스 다목적 비디오 코딩을 위한 무손실 모드
EP4032289A4 (en) * 2019-09-19 2023-09-13 HFI Innovation Inc. RESIDUAL CODING SELECTION METHOD AND APPARATUS FOR LOSSLESS CODING MODE IN VIDEO CODING

Also Published As

Publication number Publication date
WO2021061318A1 (en) 2021-04-01
US12047578B2 (en) 2024-07-23
EP4035069A1 (en) 2022-08-03
KR20220062655A (ko) 2022-05-17
US20210092388A1 (en) 2021-03-25
CN114731440A (zh) 2022-07-08
EP4035069A4 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
JP2022548825A (ja) 映像処理における量子化パラメータのシグナリング
US12047578B2 (en) Lossless coding of video data
WO2021055114A1 (en) Method and system for signaling chroma quantization parameter offset
KR20220045045A (ko) 비디오 신호의 행렬 가중된 인트라 예측
US11889091B2 (en) Methods for processing chroma signals
JP2023519216A (ja) ループフィルタの高レベルシンタックス制御
JP2023509838A (ja) サブピクチャ分割情報をシグナリングするための方法及び機器
US11638019B2 (en) Methods and systems for prediction from multiple cross-components
CN114788284B (zh) 用于在调色板模式下对视频数据进行编码的方法和装置
JP2022548204A (ja) 変換スキップモードで映像データを符号化するための方法及び装置
JP2023515321A (ja) 最大変換サイズ及び残差符号化方法のシグナリング
JP2022548555A (ja) 映像符号化のための動き補償方法
JP2022548521A (ja) 参照ダウンサンプリングありの動き補償補間のためのフィルタ
JP2022548203A (ja) サブブロック変換情報を信号化するための方法及び装置
US20240357119A1 (en) Lossless coding of video data
US20210084293A1 (en) Method and apparatus for coding video data
CN115443655A (zh) 用于处理视频编码中自适应颜色变换和低频不可分离变换的方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240910