JP2022541076A - ビデオ符号化復号化における定量化および逆定量化設計のための方法及び装置 - Google Patents

ビデオ符号化復号化における定量化および逆定量化設計のための方法及び装置 Download PDF

Info

Publication number
JP2022541076A
JP2022541076A JP2022518415A JP2022518415A JP2022541076A JP 2022541076 A JP2022541076 A JP 2022541076A JP 2022518415 A JP2022518415 A JP 2022518415A JP 2022518415 A JP2022518415 A JP 2022518415A JP 2022541076 A JP2022541076 A JP 2022541076A
Authority
JP
Japan
Prior art keywords
quantification
obtaining
encoder
scale value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022518415A
Other languages
English (en)
Other versions
JP7382494B2 (ja
JP7382494B6 (ja
Inventor
ホンチェン チュウ
シャオユウ シュウ
シエンリン ワン
イーウェン チェン
ツン－チュアン マー
ビン ユ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of JP2022541076A publication Critical patent/JP2022541076A/ja
Priority to JP2023136408A priority Critical patent/JP2023162319A/ja
Publication of JP7382494B2 publication Critical patent/JP7382494B2/ja
Application granted granted Critical
Publication of JP7382494B6 publication Critical patent/JP7382494B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

ビデオ符号化のための方法が提供される。この方法は、符号化ユニット（ＣＵ）の残差データのための定量化パラメータを決定することと、前記定量化パラメーターをスケール率でスケーリングすることにより、スケール値を導出することと、前記ＣＵに関連する複数の係数を決定することと、前記ＣＵに関連する複数のパラメータを決定することと、前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得することと、前記スケール値、前記複数の係数、および前記複数のビットシフトに基づいて定量化レベルを取得することとを含む。【選択図】 図１

Description

関連出願の相互参照
本出願は、２０１９年９月２２日に提出された米国仮出願第６２／９０４６６８号に対する優先権を主張するものであり、この特許出願の開示全体を参照によって本願明細書に援引する。
本願は、全般的にビデオ符号化復号化及び圧縮に関し、特に、限定されないが、ビデオ符号化復号化における定量化および逆定量化設計のための方法及び装置に関する。
多種のビデオ符号化復号化技術は、ビデオデータを圧縮することに使用されることができる。ビデオ符号化復号化は、１つまたは複数のビデオ符号化復号化標準に従って実行される。ビデオ符号化復号化標準には、多用途ビデオ符号化（ＶＶＣ：Versatile Video Coding）、共同探査試験モデル（ＪＥＭ：Joint Exploration Test Model）、高効率ビデオ符号化復号化（Ｈ.２６５／ＨＥＶＣ：High Efficiency Video Coding）、高度なビデオ符号化復号化（Ｈ.２６４／ＡＶＣ：Advanced Video Coding）、及び動画専門家グループ（ＭＰＥＧ：Moving picture Experts Group）符号化復号化などを含む。ビデオ符号化復号化では、一般に、ビデオ画像またはシーケンスに存在する冗長性による予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化復号化技術の重要な目標は、ビデオ品質の低下を回避しまたは最小限に抑えながら、ビデオデータをより低いビットレートの形式に圧縮することである。
本開示は、全般的にビデオ符号化復号化における定量化および逆定量化設計に関する技術の例を述べる。
本開示の第１の方面に従い、符号化ユニット（ＣＵ）の残差データのための定量化パラメータを決定することと、前記定量化パラメーターをスケール率でスケーリングすることにより、スケール値を導出することと、前記ＣＵに関連する複数の係数を決定することと、前記ＣＵに関連する複数のパラメータを決定することと、前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得することと、前記スケール値、前記複数の係数、および前記複数のビットシフトに基づいて定量化レベルを取得することと、を含むエンコーダーに適用されるビデオ符号化方法を提供する。
本開示の第２の方面に従い、定量化パラメータ及び定量化レベルを含むビデオビットストリームを受信することと、前記定量化パラメータをスケーリング率でスケーリングすることにより、スケール値を導出することと、符号化ユニット（ＣＵ）に関連する複数のパラメータを決定することと、前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得することと、前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて、前記ＣＵに関連する複数の係数を取得することと、を含むデコーダに適用されるビデオ符号化方法を提供する。
本開示の第３の方面に従い、１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサに接続されている非一時的なメモリと、前記非一時的なメモリに格納されている複数のプログラムと、を含み、前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、ＣＵの残差データのための定量化パラメータを決定し、前記定量化パラメーターをスケール率でスケーリングすることにより、スケール値を導出し、前記ＣＵに関連する複数の係数を決定し、前記ＣＵに関連する複数のパラメータを決定し、前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得し、前記スケール値、前記複数の係数、および前記複数のビットシフトに基づいて定量化レベルを取得する、のような操作を実行させる、コンピューティング装置を提供する。
本開示の第４の方面に従い、１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサに接続されている非一時的なメモリと、前記非一時的なメモリに格納されている複数のプログラムと、を含み、前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、定量化パラメータ及び定量化レベルを含むビデオビットストリームを受信し、前記定量化パラメータをスケーリング率でスケーリングすることにより、スケール値を導出し、ＣＵに関連する複数のパラメータを決定し、前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得し、前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて、前記ＣＵに関連する複数の係数を取得する、のような操作を実行させる、コンピューティング装置を提供する。
本開示の第５の方面に従い、１つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを格納している非一時的なコンピュータ読取可能な記憶媒体であって、前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、ＣＵの残差データのための定量化パラメータを決定し、前記定量化パラメーターをスケール率でスケーリングすることにより、スケール値を導出し、前記ＣＵに関連する複数の係数を決定し、前記ＣＵに関連する複数のパラメータを決定し、前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得し、前記スケール値、前記複数の係数、および前記複数のビットシフトに基づいて定量化レベルを取得する、のような操作を実行させる、非一時的なコンピュータ読取可能な記憶媒体を提供する。
本開示の第６の方面に従い、１つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを格納している非一時的なコンピュータ読取可能な記憶媒体であって、前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、定量化パラメータ及び定量化レベルを含むビデオビットストリームを受信し、前記定量化パラメータをスケーリング率でスケーリングすることにより、スケール値を導出し、ＣＵに関連する複数のパラメータを決定し、前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得し、前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて、前記ＣＵに関連する複数の係数を取得する、のような操作を実行させる、非一時的なコンピュータ読取可能な記憶媒体を提供する。
本開示の例のより具体的な説明は、添付の図面に示す特定の例を参照して与えられる。これらの図面はいくつかの例を示しているに過ぎず、したがって範囲の限定でないと考すれば、これらの例は、添付の図面を使用することにより、追加の特異性および詳細が説明される。
図１は、本開示のある実施形態に係る例示的なビデオエンコーダを示すブロック図である。 図２は、本開示のある実施形態に係る例示的なビデオデコーダを示すブロック図である。 図３は、本開示のある実施形態に係る、符号化木ユニット（ＣＴＵ：Coding Tree Unit）に分割された画像を示す。 図４は、本開示のある実施形態に係る、マルチタイプ木分割モードを示す概略図である。 図５は、本開示のある実施形態に係る、入れ子マルチタイプ木符号化木構造を有する四分木における区画分割情報の信号による通知メカニズムを示す。 図６は、本開示のある実施形態に係る、入れ子マルチタイプ木符号化ブロック構造を有する四分木で複数のＣＵに分割されたＣＴＵを示す。 図７は、本開示のある実施形態に係る、パレットモッドで符号化復号化されたブロックの例を示す。 図８Ａ及び図８Ｂは、本開示のある実施形態に係る、水平及び垂直トラバース走査を示す。 図９は、本開示のある実施形態に係る、パレットインデックスの符号化を示す。 図１０は、本開示のある実施形態に係る、ビデオ符号化復号化のための例示的な装置を示すブロック図である。 図１１は、本開示のある実施形態に係る、ビデオ符号化復号化における定量化設計の例示的な処理を示すフローチャートである。 図１２は、本開示のある実施形態に係る、ビデオ符号化復号化における逆定量化設計の例示的な処理を示すフローチャートである。
以下、例が添付の図面に示されている具体的な実施の形態を詳細に参照する。以下の詳細な説明において、ここで述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳細を述べる。ただし、各種の変形を実現することができることは、当業者にとって明らかである。例えば、ここで述べる趣旨がデジタルビデオ機能を有する多くの種類の電子装置で実現され得ることは、業者にとって明らかである。
本明細書における「１つの実施形態」、「実施形態」、「例」、「ある実施形態」、「ある例」または類似の表現への言及は、述べる特定の特徴、構造または特性が少なくとも１つの実施形態または例に含まれることを意味する。１つまたは複数の実施形態と結合して述べる特徴、構造、要素または特性は、明確に別段の指示をしない限り、他の実施形態にも適用可能である。
本開示全体では、「第１」、「第２」、「第３」などの用語はすべて、関連する要素、例えば、装置、部品、構成、ステップなどへの言及のためのものとしてのみ使用され、文脈が明確に別段の指示をしない限り、任意の空間的または時間的な順を意味するものでない。たとえば、「第１の装置」および「第２の装置」は、２つの別個に形成された装置、または同一の装置における２つの部分、部品、または操作状態を指すものであって、任意に名前が付けられることができる。
「モジュール」、「サブモジュール」、「回路」、「サブ回路」、「回路システム」、「サブ回路システム」、「ユニット」または「サブユニット」という用語は、１つまたは複数のプロセッサによって実行できるコードまたは命令を格納するメモリ(共有、専用、またはグループ)を含む。モジュールは、コードまたは命令を格納しているか、または格納していない１つまたは複数の回路が含む場合がある。モジュールまたは回路は、直接または間接的に接続されている１つまたは複数の部品を含むことが可能である。これらの部品は、互いに物理的に接続したり、互いに隣り合って位置したり、またはそうでないことが可能である。
ここで使用されるように、「（もし）…たら」または「（もし）…ば」、「（もし）…と」という用語は、文脈に応じて、「…ときに」または「…に応じて」を意味すると理解されることが可能である。これらの用語は、請求の範囲に出現する場合、関連する限定または特徴が条件付き的または選択的であることを意味していない場合がある。たとえば、一つの方法は、ｉ)条件Ｘが存在する場合、機能または動作Ｘ'が実行されるステップと、ｉｉ)条件Ｙが存在する場合、機能または動作Ｙ'が実行されるステップとを含む。この方法は、機能または動作Ｘ'を実行する能力と、機能または動作Ｙ'を実行する能力との両方を含めて実現される必要がある。そこで、機能Ｘ'とＹ'とは両方とも、異なる時間にこの方法の複数回の実行で実現されることが可能である。
ユニットまたはモジュールは、完全にソフトウェアによって実現されてもよく、完全にハードウェアによって実現されてもよく、またはハードウェアとソフトウェアとの組み合わせによって実現されてもよい。完全的なソフトウェアの実現では、たとえば、ユニットまたはモジュールが、特定の機能を実行するために、直接的または間接的に互いにリンクされている機能的に関連するコードブロックまたはソフトウェア部品を含むことが可能である。
図１は、本開示のある実施形態に係る例示的なビデオエンコーダを示すブロック図である。エンコーダ１００には、ビデオフレームが、処理のための複数のビデオブロックに区画される。予測は、特定のビデオブロックごとに、インター予測アプローチまたはイントラ予測アプローチに基づいて形成される。インター予測では、以前に再構成されたフレームからの画素に基づいて、動き推定及び動き補償によって１つ又は複数の予測子を形成する。イントラ予測では、現在のフレームにおける再構成された画素に基づいて予測子を形成する。モード決定により、現在のブロックを予測するための最適な予測子が選択されることができる。
変換回路１０２には、現在のビデオブロックとその予測子との差を表す予測残差が送られる。そして、定量化回路１０４には、エントロピーの低減のために、変換係数が変換回路１０２から送られる。次に、定量化された係数は、エントロピー符号化回路１０６に供給されて圧縮されたビデオビットストリームを生成する。図１に示すように、インター予測回路および／またはイントラ予測回路１１２からのビデオブロック区画情報、動きベクトル、参照画像インデックス、およびイントラ予測モードなどの予測関連情報１１０も、エントロピー符号化回路１０６を介して供給され、圧縮されたビデオビットストリーム１１４に保存される。
当該エンコーダ１００では、予測の目的として、画素を再構成するために、デコーダ関連回路も必要である。最初には、逆定量化１１６および逆変換回路１１８では、予測残差が再構成される。この再構成された予測残差は、ブロック予測子１２０と組み合わされて、現在のビデオブロックのためのフィルタリングされていない再構成画素が生成される。
符号化効率及び表示品質をさらに向上させるために、インループフィルタを使用する。例えば、ＡＶＣ、ＨＥＶＣ、およびＶＶＣの現在のバージョンでは、非ブロック化フィルタが提供されている。ＨＥＶＣでは、符号化効率をさらに向上させるために、ＳＡＯ（サンプル適応型オフセット）と呼ばれる追加的インループフィルターが定義されている。ＶＶＣ標準の現在のバージョンでは、更なる別のＡＬＦ（適応型ループフィルタ）と呼ばれるインループフィルターが積極的に研究されており、最終の標準に含まれている可能性が高い。
図２は、多くのビデオ符号化復号化標準と組み合わせて使用できる例示的なブロックに基づくビデオデコーダ２００を示すブロック図である。このデコーダ２００は、図１のエンコーダ１００における再構成関連部分に類似している。デコーダ２００では、入力ビデオビットストリーム２０１は、最初にエントロピー復号化２０２により復号化されて、定量化された係数レベルおよび予測関連情報が導出される。次に、定量化された係数レベルは、逆定量化２０４および逆変換２０６により処理されて、再構成された予測残差が得られる。イントラ／インターモード選択部２１２において実現されているブロック予測子メカニズムは、復号化された予測情報に基づいて、イントラ予測２０８または動き補償２１０を実行するように構成されている。逆変換２０６からの再構成された予測残差と、ブロック予測子メカニズムによって生成された予測出力とが、加算部２１４によって加算されることで、フィルタリングされていない再構成の画素のセットが取得される。インループフィルタ２０９がオンになる場合では、これらの再構成の画素に対してフィルタリング操作を実行されて、最終的な再構成されたビデオ出力２２２を導出する。
上述した、ＶＶＣ、ＪＥＭ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ１０のようなビデオ符号化/復号化標準は、概念的に類似している。たとえば、これらは、すべてブロックに基づく処理を使用する。共同ビデオ専門家チーム（ＪＶＥＴ：Joint Video Experts Team）は、ＪＶＥＴの会議において、多用途ビデオ符号化（ＶＶＣ）の最初のドラフトおよびＶＶＣ試験モデル１（ＶＴＭ１：VVC Test Model 1）符号化方法を定義した。二値および三値分割符号化ブロック構造による入れ子マルチタイプ木を持つ四分木は、ＶＶＣの最初の新しい符号化特徴として含まれていることが決定された。四分木では、親ノードが４つの子ノードに分割でき、各子ノードが、４つの新しい子ノードに分割される別の親ノードになる可能性がある。
ＶＶＣでは、画像区画構造によって、入力ビデオが符号化木ユニット（ＣＴＵ：coding tree unit）と呼ばれるブロックに分割される。ＣＴＵは、入れ子マルチタイプ木構造を持つ四分木によって符号化ユニット（ＣＵ）に分割され、ここでリーフＣＵは、同じ予測モード（例えばイントラまたはインター）を共有する領域を定義している。本開示では、「ユニット」という用語は、すべての成分をカバーする画像の領域を定義している。「ブロック」という用語は、特定の成分（例えば、輝度）をカバーする領域を定義するためのものであって、４：２：０などの彩度サンプリングフォーマットを考える場合、空間的な位置において異なることがある。
画像のＣＴＵへの区画
画像は一連の符号化木ユニット（ＣＴＵ）に分割される。ＣＴＵの概念は、ＨＥＶＣのＣＴＵの概念と同じである。３つのサンプル配列がある画像の場合では、ＣＴＵが、Ｎ×Ｎの輝度サンプルブロック及び２つの対応する彩度サンプルブロックからなる。図３は、本開示のある実施形態に係る、ＣＴＵに分割された画像を示す。ＣＴＵにおける輝度ブロックの最大許可サイズは１２８×１２８に指定されている。輝度変換ブロックの最大サイズは６４×６４である。
木構造によるＣＴＵの区画化
ＨＥＶＣでは、ＣＴＵが、各種なローカル特性に適応するように符号化木として示される四分木構造によってＣＵに分割される。リーフＣＵレベルでは、画像間（時間的）予測か画像内（空間的）予測かを使用して画像領域を符号化することが決定される。各リーフＣＵは、予測ユニット（ＰＵ）分割タイプに応じて、さらに１つ、２つ、または４つのＰＵに分割されることができる。１つのＰＵ内では、同じ予測処理が適用され、関連情報がＰＵ単位でデコーダーに送信される。ＰＵ分割タイプに基づいて予測処理を適用することで残差ブロックを取得した後、リーフＣＵが、このＣＵのための符号化木と類似な別の四分木構造に従って変換ユニット（ＴＵ）に区画されることができる。ＨＥＶＣ構造の主要な特徴の１つは、ＣＵ、ＰＵ、およびＴＵを含む複数の区画概念があることである。
ＶＶＣでは、二値および三値分割セグメンテーション構造による入れ子マルチタイプ木を持つ四分木が、複数の区画ユニットタイプの概念を置き換える。例えば、これは、最大変換長のサイズが大きすぎるＣＵの場合以外、ＣＵ、ＰＵ、およびＴＵの概念の区分を取り除き、ＣＵ区画形状のより柔軟性をサポートする。符号化木構造では、ＣＵが正方形または長方形の形状をとることが可能である。ＣＴＵは、最初に四分木構造によって区画される。次に、この四分木のリーフノードはマルチタイプ木構造によってさらに区画されることが可能である。
図４は、本開示のある実施形態に係る、マルチタイプ木分割モードを示す概略図である。図４に示すように、マルチタイプ木構造では、垂直二値分割（SPLIT_BT_VER）、水平二値分割（SPLIT_BT_HOR）、垂直三値分割（SPLIT_TT_VER）、および水平三値分割（SPLIT_TT_HOR）の４つの分割タイプがある。マルチタイプ木のリーフノードは、符号化ユニット（ＣＵ）と呼ばれ、ＣＵは、最大変換長が大きすぎない限り、このセグメンテーションが、更なる区画せずに予測処理及び変換処理に用いられる。そこで、入れ子マルチタイプ木符号化ブロック構造を持つ四分木では、ＣＵ、ＰＵ、およびＴＵが同じブロックサイズを持つことが可能である。例外として、サポートされる最大変換長がＣＵのカラー成分の幅または高さよりも小さい場合である。
図５は、本開示のある実施形態に係る、入れ子マルチタイプ木符号化木構造を持つ四分木における区画分割情報の信号による通知メカニズムを示す。ＣＴＵは、４分木のルートとして扱われ、最初に４分木構造によって分割される。次に、４分木の各リーフノードは、許可できるのに十分な大きさである限り、マルチタイプ木構造によってさらに分割される。マルチタイプ木構造では、ノードがさらに分割されているかどうかを示す第１のフラグ（mtt_split_cu_flag）が通知される。ノードがさらに分割されていると、第２のフラグ（mtt_split_cu_vertical_flag）が通知されて分割方向が示され、次に第３のフラグ（mtt_split_cu_binary_flag）が通知されて分割が二値分割か三値分割かが示される。 mtt_split_cu_vertical_flag及びmtt_split_cu_binary_flagの値に基づいて、ＣＵのマルチタイプ木分割モード（MttSplitMode）が表１に示すように導出される。
Figure 2022541076000002
図６は、本開示のある実施形態に係る、入れ子マルチタイプ木符号化ブロック構造を持つ四分木で複数のＣＵに分割されたＣＴＵを示す。図６に示すように、太いブロックエッジは四分木区画を表し、残りのエッジはマルチタイプ木区画を表す。入れ子マルチタイプ木区画を持つ四分木は、ＣＵからなるコンテンツ適応型の符号化木構造を提供する。ＣＵのサイズは、ＣＴＵと同じくらい大きいか、輝度サンプルの単位で４×４と小さいかである。４：２：０彩度フォーマットの場合では、最大彩度符号化ブロック（ＣＢ）サイズが６４×６４であり、最小彩度ＣＢサイズが２×２である。
ＶＶＣでは、サポートされる最大輝度変換サイズが６４×６４であり、サポートされる最大彩度変換サイズが３２×３２である。ＣＢの幅または高さが最大変換幅または最大変換高さよりも大きい場合では、ＣＢが水平方向および/または垂直方向にその方向の変換サイズ制限に適合するように自動的に分割される。
以下のパラメーターは、入れ子マルチタイプ木符号化木スキームを持つ四分木のためのシーケンスパラメータセット（ＳＰＳ：Sequence Parameter Set）構文要素によって定義および指定される。
ＣＴＵサイズ：四分木のルートノードサイズである；
MinQTSize：最小許可四分木リーフノードサイズである；
MaxBtSize：最大許可二分木ルートノードサイズである；
MaxTtSize：最大許可三分木ルートノードサイズである；
MaxMttDepth：マルチタイプ木分割の四分木リーフからの最大許可階層深さである。
MinBTSize：最小許可二分木リーフノードサイズである；
MinTtSize：最小許可三分木リーフノードサイズである。
入れ子マルチタイプ木符号化木構造を持つ四分木の一例では、ＣＴＵサイズが２つの対応する６４×６４ブロックの４：２：０彩度サンプルを持つ１２８×１２８輝度サンプルに設定されている。MinQTSizeが１６×１６、MaxBtSizeが１２８×１２８、MaxTtSizeが６４×６４に設定されている。MinBtSize及びMinTtSizeの幅及び高さの両方が４×４、MaxMttDepthが４に設定されている。四分木区画は最初にＣＴＵに適用されて、四分木リーフノードが生成される。四分木リーフノードは、１６×１６（即ち、MinQTSize）から１２８×１２８（即ち、ＣＴＵサイズ）までのサイズを持つことが可能である。リーフQTノードが１２８×１２８である場合、このサイズがMaxBtSize及びMaxTtSize（即ち、６４×６４）を超えるため、当該リーフQTノードが二分木によってさらに分割されることがではない。それ以外の場合、当該リーフQTノードはマルチタイプ木によってさらに区画されることができる。したがって、当該四分木リーフノードはマルチタイプ木のルートノードでもあって、マルチタイプ木深さ０、即ちMttDepthを持つものである。このマルチタイプ木深さがMaxMttDepth（即ち、４）に達すると、更なる分割が考慮されない。当該マルチタイプ木ノードがMinBtSizeに等しく、かつ２×MinTtSize以下の幅を持つと、更なる水平分割が考慮されない。同様に、当該マルチタイプ木ノードがMinBtSizeに等しくかつ２×MinTtSize以下の高さを持つと、更なる垂直分割が考慮されない。
図７は、本開示のある実施形態に係る、パレットモッドで符号化復号化されたブロックの例を示す。ハードウェアによるＶＶＣデコーダーでは、６４×６４輝度ブロック及３２×３２彩度パイプライン設計を可能にするために、図７に示すように、輝度符号化ブロックの幅または高さが６４よりも大きい場合、ＴＴ分割が禁止される。彩度符号化ブロックの幅または高さが３２よりも大きい場合でも、ＴＴ分割が禁止されます。
ＶＶＣでは、符号化木スキームは、輝度および彩度が別個のブロック木構造を有する能力をサポートする。このＣＵ分割構造は、双木構造または双符号化木構造と呼ばれる。輝度及び彩度の両方で共有されるＣＵ分割構造は、単一木構造または単一符号化木構造と呼ばれる。Ｐスライス及びＢスライスの場合、１つのＣＴＵ内の輝度および彩度符号化木ブロック（ＣＴＢ）は、同じ符号化木構造を共有する必要がある。ただし、Ｉスライスの場合、輝度及び彩度が別々のブロック木構造を持つことができる。個別のブロック木モードが適用される場合には、輝度ＣＴＢが１つの符号化木構造によってＣＵに分割され、彩度ＣＴＢが別の符号化構造によって彩度ＣＵに分割される。これは、ＩスライスにおけるＣＵが、１つの輝度成分の符号化ブロックまたは２つの彩度成分の符号化ブロックからなり、ＰまたはＢスライスにおけるＣＵが、ビデオがモノクロでない限り、常に３つのカラー成分すべての符号化ブロックからなる。
コア変換のマルチ変換選択（ＭＴＳ）
ＨＥＶＣで使用されたＤＣＴ―ＩＩに加えて、ＭＴＳスキームが、インター符号化されたブロックおよびイントラ符号化されたブロックの両方の残差符号化に使用される。これは、ＤＣＴ８／ＤＳＴ７から選択された複数の変換を使用する。新しく導入された変換行列は、ＤＳＴ―ＶＩＩ及びＤＣＴ―ＶＩＩＩである。表２には、選択したＤＳＴ／ＤＣＴの基本関数を示す。
Figure 2022541076000003
変換行列の直交性を維持するために、変換行列はＨＥＶＣにおける変換行列よりも正確に定量化される。変換された係数の中間値を１６ビット範囲内に維持するために、水平変換後及び垂直変換後、すべての係数は１０ビットを持つことになる。
ＭＴＳスキームを制御するために、イントラ及びインターについて個別の有効化フラグがＳＰＳレベルでそれぞれ指定される。ＭＴＳがＳＰＳで有効化されると、ＭＴＳが適用るかどうかを示すＣＵレベルフラグが信号で通知される。ここでは、ＭＴＳが輝度のみに適用される。ＭＴＳ ＣＵレベルフラグは、次の条件が満たされたときに通知される。つまり、まず、幅及び高さの両方が３２以下であり、次に、ＣＢＦフラグが１に等しい。
ＭＴＳ ＣＵフラグが０に等しい場合、ＤＣＴ２が両方向に適用される。ただし、ＭＴＳ ＣＵフラグが１に等しい場合、水平方向及び垂直方向の変換タイプをそれぞれ示す他の２つのフラグが追加で通知される。変換及び信号による通知マッピングテーブルが表３に示されている。ＩＳＰおよび非明示的ＭＴＳに対する統合した変換選択は、イントラモードおよびブロック形状の依存関係を除去することで使用される。現在のブロックがＩＳＰモードの場合、または現在のブロックがイントラブロックであり、イントラ及びインター明示的ＭＴＳがオンの場合、ＤＳＴ７のみが水平変換コア及び垂直変換コアの両方に使用される。変換行列の精度については、８ビットの一次変換コアが使用される。したがって、ＨＥＶＣで使用される、４点ＤＣＴ２およびＤＳＴ７、８点、１６点および３２点ＤＣＴ２を含むすべての変換コアは同じままである。また、６４点ＤＣＴ２、４点ＤＣＴ８、８点、１６点、３２点ＤＳＴ７及びＤＣＴ８を含む他の変換コアは、８ビットの一次変換コアを使用する。
Figure 2022541076000004
大きなサイズのＤＳＴ７およびＤＣＴ８の複雑さを低減するために、高周波変換係数は、サイズ（幅または高さ、または幅と高さの両方）が３２に等しいＤＳＴ７およびＤＣＴ８ブロックについてゼロとされる。１６ｘ１６低周波領域内の係数のみは残留される。
ブロックの残差は、ＨＥＶＣの場合のように、変換スキップモードで符号化されることができる。構文符号化の冗長性を回避するために、ＣＵレベルMTS_CU_flagがゼロに等しくない場合、変換スキップフラグは信号で通知される。変換スキップに対するブロックサイズの制限は、ＪＥＭ４におけるＭＴＳに対するものと同じであって、ブロックの幅及び高さの両方が３２以下の場合に変換スキップがＣＵに適用できることを示す。なお、現在のＣＵに対してＬＦＮＳＴまたはＭＩＰがアクティブ化されている場合には、非明示的ＭＴＳ変換がＤＣＴ２に設定され。また、ＭＴＳがインター符号化されたブロックに対して有効になっている場合でも、非明示的ＭＴＳを有効にすることができる。
定量化パラメータ制御
あるの例では、最大ＱＰが５１から６３に拡張され、それに応じて初期定量化パラメーター（ＱＰ）の信号による通知が変更される場合がある。slice_qp_deltaの非ゼロ値が符号化されると、SliceQpYの初期値がスライスセグメントレイヤーで変更される。具体的には、init_qp_minus26の値を（-２６+QpBdOffsetY）から+３７の範囲になるように変更できる。変換ブロックのサイズが４の累乗でない場合、変換処理による非明示的スケーリングを補正するために、変換係数は、１８１／２５６（または１８１／１２８）で乗算するのではなく、ＱＰまたはＱＰ levelScaleテーブルへの変更とともに処理される。変換スキップブロックの場合、ＱＰが４に等しいであると定量化ステップサイズが１になるため、最小許可ＱＰは４として定義される。
ある例では、固定ルックアップテーブルを使用して、輝度定量化パラメータＱＰＹを彩度定量化パラメータＱＰＣに変換する。ＶＶＣでは、より柔軟な輝度―彩度ＱＰマッピングが使用される。柔軟な区分線形モデルを使用し、線形モデルへの唯一の制約が各区分の傾きが負にならないことであるＳＰＳでは、固定テーブルを使用する代わりに、輝度―彩度ＱＰマッピング関係が信号で通知される。つまり、輝度ＱＰが増加するにつわて、彩度ＱＰは、フラットに留まるか増加しなければならないが、減少することができない。区分線形モデルは、１）モデル内の区分の数；２）その区分のための入力（輝度）および出力（彩度）デルタＱＰによって定義される。この区分線形モデルの入力範囲は[-QpBdOffsetY, 63]であり、この区分線形モデルの出力範囲は[-QpBdOffsetC, 63]である。ＱＰマッピング関係は、Ｃｂ、Ｃｒ、およびジョイントＣｂ/Ｃｒ符号化に関して個別に信号で通知されることも、３つのタイプの残差符号化すべてに関して併せて信号で通知することもできる。
ＨＥＶＣの場合と同様に、ＣＵレベルＱＰ適応はＶＶＣで許可されている。輝度成分及び彩度成分のデルタＱＰ値は、別々に信号で通知されることができる。彩度成分の場合、許可されている彩度ＱＰオフセット値は、ＨＥＶＣと同様の方法で、画像パラメータセット（ＰＰＳ）におけるオフセットリストの形式で通知される。リストは、Ｃｂ、Ｃｒ、およびジョイントＣｂ/Ｃｒ符号化に関して個別に定義されている。Ｃｂ、Ｃｒ、およびジョイントＣｂ/Ｃｒリストのそれぞれについては、最大６つのオフセット値が許可される。ＣＵレベルでは、オフセットリスト内のどのオフセット値がそのＣＵの彩度ＱＰを調整するように使用されるかを示すインデックスが信号で通知される。
変換係数の定量化および逆定量化処理
変換処理では、定量化および逆定量化処理中に結果として得られる係数を特定の因子でスケールしたから、シフト操作を行う必要がある。スケーリング率は次のように定義される。
Figure 2022541076000005
 ここで、Ｍ及びＮは、変換ブロックの幅及び高さである。
ある例では、ブロックの次元が２の累乗であって、Ｍ＝２ｍおよびＮ＝２ｎである。これは、ＭがＮに等しい場合、または実際にＭ・Ｎが４の累乗である場合、スケーリング率が右シフトによって適用できることを意味する。このような条件を満たすブロックは、「通常ブロック」と呼ばれる。Ｍ・Ｎが４の累乗でない場合、異なるスケール及びシフト値が補償に使用される。スケール値は表４のように定義されている。このような条件を満たすブロックは、「補償ブロック」と呼ばれる。
Figure 2022541076000006
変換スキップモードで符号化されたブロックについては、通常ブロックに対して定義されたスケールおよびシフト操作が実行される。
スケーリングされた変換係数の導出が表５に示されている。表５のすべての変数の定義は、ＶＶＣ草案仕様のバージョン６に記載されている。
Figure 2022541076000007
ＱＰ値が使用されていれば、変換係数の定量化および逆定量化処理は次のように記述できる。定量化は、式（２）で表すことができる。
Figure 2022541076000008
逆定量化は、式（３）で表すことができる。
Figure 2022541076000009
 ここで、変数rectNonTsFlagは、式（４）で取得できる。
Figure 2022541076000010
 ここで、pCoeffは変換係数値である；pLevelは、定量化された値または定量化レベルである；pCoeffは、非定量化処理から再構成された変換係数値である。
変数rectNonTsFlagは、現在のブロックが「通常ブロック」または「補償ブロック」として分類されているかどうかを表す。これはfalseまたは０の値を有する場合、現在のブロックは通常ブロックとして分類されている。これはtrueまたは１の値を有する場合、現在のブロックは補償ブロックとして分類されている。
変数transformShiftは、
Figure 2022541076000011
 に等しい２次元（２Ｄ）変換によるダイナミック範囲の増加を補償するために使用されるビットシフトを表し、ここで、Ｗ及びＨが現在の変換ユニットの幅及び高さであり、bitDepthが符号化ビット深度である。シフト操作で使用される実際の値transformShift'は、rectNonTsFlagの値に応じて、transformShiftと同じ値、または（transformShift-１）に等しい値を取る場合がある。encScale[][]およびdecScale[][]は、それぞれ１４ビットおよび６ビットの精度の定量化および非定量化スケーリング値であって、表４に示すように定義される。「通常ブロック」または「補償ブロック」に使用されるススケーリング率のセットは、rectNonTsFlagの値に応じて、選択されて現在のブロックに使用される。
変換スキップモードのための定量化および非定量化処理
変換スキップモードでは、予測残差が、変換操作を実行せずに直接定量化および符号化される。より具体的には、その定量化および非定量化処理は、以下のように説明されることができる。
定量化は、式（６）で表すことができる。
Figure 2022541076000012
 非定量化は、式（７）で表すことができる。
Figure 2022541076000013
 ここで、pResi及びpResi'は、元の予測残差サンプル値と再構成された予測残差サンプル値である；pLevelは、定量化された値又は定量化レベルである；encScale[]及びdecScale[]は、それぞれ１４ビット及び６ビットの精度の定量化及び非定量化スケーリング値であって、表４に示す「通常ブロック」に使用されるものと同じように定義される。
パレットモードのための定量化および非定量化処理
ＶＴＭ６は、４：４：４カラーフォーマットでの画面内容符号化のためのパレットモードをサポートしている。パレットモードが有効になっていて、ＣＵのサイズが６４×６４以下である場合、パレットモードがこのＣＵに使用されるかどうかが示すフラグがＣＵレベルで送信される。パレットモードは、イントラ予測、インター予測、およびイントラブロックコピー（ＩＢＣ）モード以外の予測モードとして信号で通知される。
パレットモードがＣＵに使用される場合、ＣＵにおけるサンプル値は、代表的な色値の小さなセットで表すことができる。このセットは「パレット」と呼ばれる。パレット色に近い値を持つ画素については、パレットインデックスが、それらの値をデコーダーに伝達するように信号で通知される場合がある。にじみシンボルインデックスに続いてにじみ値を信号で通知することにより、値が如何なるパレット色に近くないサンプルを指定することも可能である。このにじみ値は、サンプルの定量化された成分値である。これは図７に示されている。
にじみ値の定量化及び非定量化については、次の式が、それぞれエンコーダー及びデコーダーで適用される対応する処理を示している。
定量化は、式（８）で表すことができる。
Figure 2022541076000014
非定量化は、式（９）で表すことができる。
Figure 2022541076000015
 ここで、pEsca及びpEsca'は、元のにじみ値と再構成されたにじみ値である；pLevelは、定量化された値又は定量化レベルである；encScale[]及びdecScale[]は、それぞれ１４ビット及び６ビットの精度の定量化及び非定量化スケーリング値であって、表４に示す「通常ブロック」に使用されるものと同じように定義される。
パレットの符号化では、色のリストを含むパレット予測子が維持される。この予測子は、非波面の場合に各スライスの先頭で、波面の場合に各ＣＴＵ行の先頭で、０（つまり空のリスト）に初期化される。パレット予測子のエントリごとに、再利用フラグが通知されて、このＣＵの現在のパレットの一部であるかどうかが示される。この再利用フラグは、ゼロのラン長符号化により送信される。この後、新しいパレットエントリの数及び新しいパレットエントリの成分値が信号で通知される。パレットモードでＣＵを符号化した後、パレット予測子は現在のパレットで更新され、現在のパレットで再利用されないパレット予測子からのエントリが、新しいパレット予測子を形成するように許可された最大パレットサイズに達するまで最後に追加される。現在のＣＵにおいてにじみシンボルが存在するかどうかを示すために、各ＣＵに対して１つのにじみフラグが通知される。にじみシンボルが存在する場合、パレットテーブルが１つで拡張され、最後のインデックスがにじみシンボルを表すように割り当てられる。
図８Ａ及び図８Ｂは、本開示のある実施形態に係る、水平及び垂直トラバース走査を示す。ＣＵ内のサンプルのパレットインデックスは、パレットインデックスマップを形成する。インデックスマップは、図８Ａ及び図８Ｂに示されるように、水平および／または垂直トラバース走査により符号化される。走査順序は、palette_transpose_flagによりビットストリームに明示的に信号で通知される。
図９は、本開示のある実施形態に係る、パレットインデックスの符号化を示す。パレットインデックスは、INDEX及びCOPY_ABOVEの２つの主要なパレットサンプルモードにより符号化される。このモードは、水平走査のみが使用される第１の行、垂直走査のみが使用される第１の列、または前のモードがCOPY_ABOVEであったパレットサンプル位置を除いて、１つのフラグにより信号で通知される。COPY_ABOVEモードでは、上方の行におけるサンプルのパレットインデックスがコピーされる。INDEXモードでは、パレットインデックスが明示的に信号で通知される。INDEXモード及びCOPY_ABOVEモードの両方では、同じ対応モードにより符号化される画素数を指定するラン値が信号で通知される。
インデックスマップの符号化順序は次のとおりである。まず、INDEXランに関連付けられたインデックス値の数が信号で通知される。これに続いて、ＣＵ全体の実際のインデックス値が切り捨てられた二値符号化により信号で通知される。次に、パレットモード（INDEXまたはCOPY_ABOVE）及び各ランのラン長がインターリーブ方式で信号で通知される。最後に、ＣＵ全体の定量化されたにじみモード色がグループ化され、指数ゴロンブ符号化で符号化される。
双輝度／彩度木を持つスライスの場合、パレットは輝度（Ｙ成分）及び彩度（ＣｂおよびＣｒ成分）に個別に適用される。単一木のスライスの場合、パレットはＹ、Ｃｂ、Ｃｒ成分に一緒に適用され、つまり、このパレットにおける各エントリにはＹ、Ｃｂ、Ｃｒ値が含まれる。非ブロック化の場合、パレットで符号化されたブロックのブロック境界は非ブロック化されない。
定量化スキームの３つの異なる設計が利用可能であり、通常の変換、変換スキップ、およびパレットモードにそれぞれ適用される。それぞれの異なる定量化設計は、異なるシフトおよびスケール操作に関連付けられる。通常の変換が適用されるブロックの場合、シフト及びスケール操作はブロック形状に依存する。変換スキップが適用されるブロックの場合、シフトおよびスケール操作はブロック形状に依存しない。パレットモードで符号化されたブロックの場合、スケール操作のみが実行され、この操作がブロック形状に依存しない。このような非統一の設計は、規格化の観点から最適ではない場合がある。
ある例では、変換及び定量化を単純化し、さらに改善するための方法を提供する。変換スキップモードで使用される定量化および逆定量化操作をパレットモードに適用することにで、変換スキップモードおよびパレットモードで使用される定量化および逆定量化操作を統合することが可能である。
ある例では、パレットモードでの現在の定量化および逆定量化操作を変換スキップモードに適用することで、変換スキップモードおよびパレットモードで使用される定量化および逆定量化操作を統合することが可能である。
ある例では、通常の変換モードのための定量化および逆定量化操作を変換スキップモード及びパレットモードも含むすべてのモードに適用することで、通常の変換モード、変換スキップモード、およびパレットモードの定量化および逆定量化操作をすべて統合することが可能である。
変換スキップモード及びパレットモードのための定量化及び逆定量化の協調
Figure 2022541076000016
Figure 2022541076000017
Figure 2022541076000018
Figure 2022541076000019
Figure 2022541076000020
Figure 2022541076000021
通常の変換モード、変換スキップモード及びパレットモードのための定量化及び逆定量化の協調
ある例では、通常の変換モードのための定量化および逆定量化操作を変換スキップモード及びパレットモードを含むすべてのモードに適用することで、通常の変換モード、変換スキップモード、およびパレットモードの定量化および逆定量化操作をすべて統合することが可能である。
ある例では、通常の変換モードのための定量化および逆定量化処理が、変換スキップモードおよびパレットモードにも使用される。例えば、式（２）、（３）、（４）、および（５）は、変換スキップモードおよびパレットモードでの定量化／逆定量化処理にも使用される。
Figure 2022541076000022
Figure 2022541076000023
Figure 2022541076000024
Figure 2022541076000025
Figure 2022541076000026
Figure 2022541076000027
ある例では、上記の方法を使用して異なるサンプル値の定量化および逆定量化処理を統合する場合、特定の画像領域、たとえば、 ＣＵがロスレス符号化モードで符号化されたことを示すように個別のフラグ、たとえば、trans_quant_bypass_flagをビットストリームに信号で通知することが可能である。 そのようなフラグが、特定のブロックがロスレスモードで符号化されたことを示している場合、対応する定量化および逆定量化処理は、ブロックの符号化に対してバイパスされる。
図１０は、本開示のある実施形態に係る、ビデオ符号化復号化のための装置を示すブロック図である。装置１１００は、携帯電話、タブレットコンピュータ、デジタル放送端末、タブレット装置、または携帯情報端末などの端末であってもよい。
装置１１００は、図１０に示されるように、処理部１００２、メモリ１００４、電源部１００６、マルチメディア部１００８、オーディオ部１０１０、入力／出力（Ｉ／Ｏ）インターフェース１０１２、センサ部１０１４、および通信部１０１６のうちの１つ以上を含んでもよい。
処理部１００２は、通常に、表示、電話発呼、データ通信、カメラ操作、および記録操作に関連する操作など、装置１０００の全体的な操作を制御する。処理部１００２は、上記の方法のステップの全部または一部を実現するための命令を実行するための１つまたは複数のプロセッサ１０２０を含むことが可能である。さらに、処理部１００２は、処理部１００２と他の部品との間の相互作用に寄与する１つまたは複数のモジュールを含むことが可能である。例えば、処理部１００２は、マルチメディア部１００８と処理部１００２との間の相互作用に寄与するためのマルチメディアモジュールを含んでもよい。
メモリ１００４は、装置１１００の動作をサポートするために異なるタイプのデータを格納するように構成される。そのようなデータの例には、装置１１００上で動作する任意のアプリケーションまたは方法のための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどが含まれる。メモリ１００４は、任意のタイプの揮発性または非揮発性の記憶装置またはそれらの組み合わせによって実現され、メモリ１００４は、静的ランダムアクセスメモリ（ＳＲＡＭ：Static Random Access Memory）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read-Only Memory）、消去型プログラマブルリードオンリメモリ（ＥＰＲＯＭ：Erasable Programmable Read-Only Memory）、プログラマブルリードオンリメモリ（ＰＲＯＭ：Programmable Read-Only Memory）、リードオンリメモリ（ＲＯＭ：Read-Only Memory）、磁気メモリ、フラッシュメモリ、磁気ディスク、またはコンパクトディスクであってもよい。
電源部１００６は、装置１０００の各部品に電力を供給する。電源部１００６は、電源管理システム、１つまたは複数の電源、および装置１０００のための電力を生成、管理、および分配することに関連する他の部品を含んでもよい。
マルチメディア部１００８は、装置１０００とユーザとの間の出力インターフェースを提供するスクリーンを含む。ある例では、スクリーンには、液晶表示装置（ＬＣＤ：Liquid Crystal Display）およびタッチパネル（ＴＰ：Touch Panel）を含んでもよい。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。このタッチパネルは、このタッチパネル上のタッチ、スライド、およびジェスチャを感知するための１つまたは複数のタッチセンサーを含んでもよい。タッチセンサーは、タッチまたはスライド動作の境界を感知するだけでなく、タッチまたはスライド操作に関連する持続時間および圧力も検出することができる。ある例では、マルチメディア部１００８は、フロントカメラおよび／またはリアカメラを含んでもよい。装置１０００が撮像モードまたはビデオモードなどの動作モードにあるとき、フロントカメラおよび／またはリアカメラは、外部マルチメディアデータを受信することができる。
オーディオ部１０１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオ部１０１０は、マイクロフォン（ＭＩＣ）を含む。マイクロフォンは、装置１０００が通話モード、録音モード、および音声認識モードなどの動作モードにあるとき、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ１００４にさらに格納されてよく、または通信部１０１６を介して送信されてもよい。ある例では、オーディオ部１０１０が、オーディオ信号を出力するためのスピーカーをさらに含む。
Ｉ／Ｏインターフェース１０１２は、処理部１００２と周辺インターフェースモジュールとの間のインターフェースを提供する。上述した周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンには、ホームボタン、音量ボタン、スタートボタン、およびロックボタンが含まれるが、これらに限定されない。
センサ部１０１４は、装置１０００の異なる態様で状態評価を提供するための１つまたは複数のセンサを含む。例えば、センサ部１０１４は、装置１０００のオン／オフ状態および構成要素の相対位置を検出することができる。例えば、これらの構成要素は、装置１０００のディスプレイおよびキーパッドである。センサ部１０１４はまた、装置１０００または装置１０００の構成要素の位置変化、ユーザによる装置１０００上での接触の有無、装置１０００の向きまたは加速／減速、および装置１０００の温度変化を検出することもできる。センサ部１０１４は、物理的な接触なしに近くの物体の存在を検出するように構成される近接センサを含んでもよい。センサ部１０１４は、画像化アプリケーションで使用されるＣＭＯＳまたはＣＣＤ画像センサなどの光学センサをさらに含んでもよい。ある例では、センサー部１０１４は、加速度センサー、ジャイロセンサー、磁気センサー、圧力センサー、または温度センサーをさらに含んでもよい。
通信部１０１６は、装置１０００と他の装置との間の有線または無線通信に役立つように構成される。装置１０００は、ＷｉＦｉ、４Ｇ、またはそれらの組み合わせなどの通信標準に基づいて無線ネットワークにアクセスすることができる。一例では、通信部１０１６は、報知チャネルを介して外部報知管理システムから報知信号または報知関連情報を受信する。一例では、通信部１０１６は、短距離通信を促進するための近距離無線通信（ＮＦＣ）モジュールをさらに含んでもよい。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ関連付け（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術に基づいて実現してもよい。
一例では、装置１０００は、上記の方法を実行するために特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理装置（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラー、マイクロコントローラー、マイクロプロセッサー、またはその他の電子要素の１つまたは複数によって実現してもよい。
非一時的なコンピュータ読取可能な記憶媒体は、例えば、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、フラッシュメモリ、ハイブリッドドライブや固体ハイブリッドドライブ（ＳＳＨＤ）、読み出し専用メモリ（ＲＯＭ）、コンパクトディスク読み出し専用メモリ（ＣＤ―ＲＯＭ）、磁気テープ、フロッピーディスクなどであってもよい。
図１１は、本開示のある実施形態に係る、ビデオ符号化復号化における定量化設計の例示的な処理を示すフローチャートである。この処理は、エンコーダーで適用できる。
ステップ１１０１において、プロセッサ１０２０は、ＣＵの残差データのための定量化パラメータを決定する。
ステップ１１０２において、プロセッサ１０２０は、定量化パラメータをスケーリング率でスケーリングすることによりスケール値を導出する。
ステップ１１０３において、プロセッサ１０２０は、ＣＵに関連する複数の係数を決定する。
ある例では、これらの複数の係数は、変換係数、ＣＵのにじみ色値、および予測残差サンプル値を含んでよい。
ステップ１１０４において、プロセッサ１０２０は、ＣＵに関連する複数のパラメータを決定する。
ある例では、これらの複数のパラメータは、符号化ビット深度、およびＣＵの幅および高さに基づいて決定されるビットシフトを含み、スケーリング率は、ＣＵの幅および高さに基づいて決定される。
ステップ１１０５において、プロセッサ１０２０は、これらの複数のパラメータをビットシフトすることによって、複数のビットシフトを取得する。
ステップ１１０６において、プロセッサ１０２０は、スケール値、それらの複数の係数、およびそれらの複数のビットシフトに基づいて定量化レベルを取得する。
ある例では、プロセッサ１０２０は、ＣＵに関連する複数の係数を決定するとき、さらに、ＣＵのにじみ色値を決定する。にじみ色値は、このＣＵから選択された所定の複数の色ではない色を有するＣＵにおける画素の値であってもよい。そして、プロセッサ１０２０は、スケール値、これらの複数の係数、およびこれらの複数のビットシフトに基づいて定量化レベルを取得するとき、さらに、スケール値、にじみ色値、およびこれらの複数のビットシフトに基づいて定量化レベルを取得する。
ある例では、プロセッサ１０２０は、ＣＵに関連する予測残差サンプルをさらに決定する。プロセッサ１０２０は、ＣＵに関連する複数の係数を決定するとき、さらに、予測残差サンプルに対応する予測残差サンプル値を決定する。プロセッサ１０２０は、スケール値、複数の係数、および複数のビットシフトに基づいて定量化レベルを取得するとき、さらに、スケール値、予測残差サンプル値、および複数のビットシフトに基づいて定量化レベルを取得する。
図１２は、本開示のある実施形態に係る、ビデオ符号化復号化における逆定量化設計の例示的な処理を示すフローチャートである。この処理は、デコーダで適用できる。
ステップ１２０１において、プロセッサ１０２０は、定量化パラメータ及び定量化レベルを含むビデオビットストリームを受信する。
ステップ１２０２において、プロセッサ１０２０は、定量化パラメータをスケーリング率でスケーリングすることによりスケール値を導出する。
ステップ１２０３において、プロセッサ１０２０は、ＣＵに関連する複数のパラメータを決定する。
ある例では、これらの複数のパラメータは、符号化ビット深度、およびＣＵの幅および高さに基づいて決定されるビットシフトを含み、スケーリング率は、ＣＵの幅および高さに基づいて決定される。
ステップ１２０４において、プロセッサ１０２０は、これらの複数のパラメータをビットシフトすることによって、複数のビットシフトを取得する。
ステップ１２０５において、プロセッサ１０２０は、定量化レベル、スケール値及びこれらの複数のビットシフトに基づいて、ＣＵに関連する複数の係数を取得する。
ある例では、これらの複数の係数は、再構成された変換係数、ＣＵの再構成されたにじみ色値、および再構成された予測残差サンプル値を含んでよい。
ある例では、プロセッサ１０２０は、定量化レベル、スケール値及びこれらの複数のビットシフトに基づいてＣＵに関連する複数の係数を取得するときに、さらに、定量化レベル、スケール値及びこれらの複数のビットシフトに基づいてＣＵの再構成されたにじみ色値を決定する。この再構成されたにじみ色値は、このＣＵから選択された所定の複数の色ではない色を有するＣＵにおける画素の値であってもよい。
ある例では、プロセッサ１０２０は、ＣＵに関連する予測残差サンプルをさらに決定する。プロセッサ１０２０は、定量化レベル、スケール値、および複数のビットシフトに基づいてＣＵに関連する複数の係数を取得するとき、定量化レベル、スケール値、およびこれらの複数のビットシフトに基づいて、このＣＵの再構成された予測残差サンプル値を取得する。この再構成された予測残差サンプル値は、予測残差サンプルに対応することが可能である。
ある例では、ビデオ符号化のための計算装置が提供されている。この装置は、プロセッサ１０２０と、プロセッサによって実行可能な命令を格納するように構成されたメモリ１００４とを含む。ここで、プロセッサは、命令の実行時に、図１１に示されるような方法を実行するように構成される。
ある例では、ビデオ符号化のための計算装置が提供されている。この装置は、プロセッサ１０２０と、プロセッサによって実行可能な命令を格納するように構成されたメモリ１００４とを含む。ここで、プロセッサは、命令の実行時に、図１２に示されるような方法を実行するように構成される。
別のある例では、命令が格納された、非一時的なコンピュータ読取可能な記憶媒体１００４が提供される。これらの命令は、プロセッサ１０２０によって実行されると、このプロセッサに、図１１に示すような方法を実行させる。
別のある例では、命令が格納された、非一時的なコンピュータ読取可能な記憶媒体１００４が提供される。これらの命令は、プロセッサ１０２０によって実行されると、このプロセッサに、図１２に示すような方法を実行させる。
本開示の説明は、例示の便利のために提示されており、網羅的なまたは本開示に限定されることを意図するものではない。たくさんの変更、変形、および置換した実現は、前述の説明および関連する図面に提示された教示を得った当業者にとっては明らかである。
実施形態は、本開示の原理を説明し、当業者が各種の実施のための開示を理解し、基礎原理および各種の変更を予期される特定の用途に適させるための各種の実施を最もよく利用できるようにするために選択されおよび説明されたものである。したがって、本開示の範囲は、開示された実施形態の特定の例に限定されなく、変更および他の実現も、本開示の範囲に含まれることを理解されるべきである。
MaxMttDepth：マルチタイプ木分割の四分木リーフノードからの最大許可階層深さである。
Figure 2022541076000056
通常の変換モード、変換スキップモード及びパレットモードのための定量化及び逆定量化の協調
Figure 2022541076000057
ある例では、プロセッサ１０２０は、ＣＵに関連する予測残差サンプルをさらに決定する。プロセッサ１０２０は、ＣＵに関連する複数の係数を決定すると、さらに、予測残差サンプルに対応する予測残差サンプル値を決定する。プロセッサ１０２０は、スケール値、複数の係数、および複数のビットシフトに基づいて定量化レベルを取得し、さらに、スケール値、予測残差サンプル値、および複数のビットシフトに基づいて定量化レベルを取得する。
ある例では、変換及び定量化を単純化し、さらに改善するための方法を提供する。変換スキップモードで使用される定量化および逆定量化演算をパレットモードに適用することにで、変換スキップモードおよびパレットモードで使用される定量化および逆定量化演算を統合することが可能である。
ある例では、パレットモードでの現在の定量化および逆定量化演算を変換スキップモードに適用することで、変換スキップモードおよびパレットモードで使用される定量化および逆定量化演算を統合することが可能である。
ある例では、通常の変換モードのための定量化および逆定量化演算を変換スキップモード及びパレットモードも含むすべてのモードに適用することで、通常の変換モード、変換スキップモード、およびパレットモードの定量化および逆定量化演算をすべて統合することが可能である。
変換スキップモード及びパレットモードのための定量化及び逆定量化の協調
Figure 2022541076000059
Figure 2022541076000060
Figure 2022541076000061
Figure 2022541076000062
Figure 2022541076000063
ある例では、通常の変換モードのための定量化および逆定量化演算を変換スキップモード及びパレットモードを含むすべてのモードに適用することで、通常の変換モード、変換スキップモード、およびパレットモードの定量化および逆定量化演算をすべて統合することが可能である。
Figure 2022541076000064
Figure 2022541076000065
Figure 2022541076000066

Claims (22)

  1. エンコーダによって符号化ユニット（ＣＵ）の残差データのための定量化パラメータを決定することと、
    前記エンコーダーによって前記定量化パラメーターをスケール率でスケーリングすることにより、スケール値を導出することと、
    前記エンコーダによって前記ＣＵに関連する複数の係数を決定することと、
    前記エンコーダによって前記ＣＵに関連する複数のパラメータを決定することと、
    前記エンコーダによって前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得することと、
    前記エンコーダによって、前記スケール値、前記複数の係数、および前記複数のビットシフトに基づいて定量化レベルを取得することと、
    を含むビデオ符号化方法。
  2. 前記複数の係数は、変換係数を含み、前記複数のパラメータは、符号化ビット深度、および前記ＣＵの幅および高さに基づいて決定されるビットシフトを含み、前記スケール率は、前記ＣＵの幅および高さに基づいて決定される、請求項１に記載の方法。
  3. 前記エンコーダによって前記ＣＵに関連する複数の係数を決定することは、前記ＣＵから選択された所定の複数の色ではない色を有する前記ＣＵにおける画素の値である前記ＣＵのにじみ色値を決定することを含み、
    前記エンコーダによって前記スケール値、前記複数の係数、および前記複数のビットシフトに基づいて定量化レベルを取得することは、前記エンコーダによって前記スケール値、前記にじみ色値、および前記複数のビットシフトに基づいて前記定量化レベルを取得することを含む、
    請求項１に記載の方法。
  4. 前記エンコーダによって前記スケール値、前記にじみ色値、および前記複数のビットシフトに基づいて前記定量化レベルを取得することは、以下の関数を実行することにより前記定量化レベルを取得することを含み、
    Figure 2022541076000028
     請求項３に記載の方法。
  5. 前記エンコーダによって前記スケール値、前記にじみ色値、および前記複数のビットシフトに基づいて前記定量化レベルを取得することは、以下の関数を実行することにより前記定量化レベルを取得することを含み、
    Figure 2022541076000029
     請求項３に記載の方法。
  6. 前記エンコーダーによって、前記ＣＵに関連する予測残差サンプルを決定することをさらに含み、
    前記エンコーダによって前記ＣＵに関連する複数の係数を決定することは、前記エンコーダによって前記予測残差サンプルに対応する予測残差サンプル値を決定することを含み、
    前記エンコーダによって前記スケール値、前記複数の係数、および前記複数のビットシフトに基づいて定量化レベルを取得することは、前記エンコーダによって、前記スケール値、前記予測残差サンプル値、および前記複数のビットシフトに基づいて前記定量化レベルを取得することを含む、
    請求項１に記載の方法。
  7. 前記エンコーダによって、前記スケール値、前記予測残差サンプル値、および前記複数のビットシフトに基づいて前記定量化レベルを取得することは、以下の関数を実行することにより前記定量化レベルを取得することを含み、
    Figure 2022541076000030
     請求項６に記載の方法。
  8. 前記エンコーダによって、前記スケール値、前記予測残差サンプル値、および前記複数のビットシフトに基づいて前記定量化レベルを取得することは、以下の関数を実行することにより前記定量化レベルを取得することを含み、
    Figure 2022541076000031
     請求項６に記載の方法。
  9. デコーダによって定量化パラメータ及び定量化レベルを含むビデオビットストリームを受信することと、
    前記デコーダによって前記定量化パラメータをスケーリング率でスケーリングすることにより、スケール値を導出することと、
    前記デコーダによって符号化ユニット（ＣＵ）に関連する複数のパラメータを決定することと、
    前記デコーダによって前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得することと、
    前記デコーダによって前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて、前記ＣＵに関連する複数の係数を取得することと、
    を含むビデオ符号化方法。
  10. 前記複数の係数は、変換係数を含み、前記複数のパラメータは、符号化ビット深度および前記ＣＵの幅および高さに基づいて決定されるビットシフトを含み、前記スケール率は、前記ＣＵの幅および高さに基づいて決定される、請求項９に記載の方法。
  11. 前記デコーダによって前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて前記ＣＵに関連する複数の係数を取得することは、前記デコーダによって前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて前記ＣＵの再構成されたにじみ色値を取得することを含み、
    前記再構成されたにじみ色値は、前記ＣＵから選択された所定の複数の色ではない色を有する前記ＣＵにおける画素の値である、
    請求項９に記載の方法。
  12. 前記デコーダによって前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて前記ＣＵの再構成されたにじみ色値を取得することは、以下の関数を実行することにより前記再構成されたにじみ色値を取得することを含み、
    Figure 2022541076000032
     請求項１１に記載の方法。
  13. 前記デコーダによって前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて前記ＣＵの再構成されたにじみ色値を取得することは、以下の関数を実行することにより前記再構成されたにじみ色値を取得することを含み、
    Figure 2022541076000033
     請求項１１に記載の方法。
  14. 前記デコーダによって、前記ＣＵに関連する予測残差サンプルを決定することをさらに含み、
    前記デコーダによって前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて前記ＣＵに関連する複数の係数を取得することは、前記デコーダによって前記定量化レベル、前記スケール値、および前記複数のビットシフトに基づいて、前記ＣＵの再構成された予測残差サンプル値を取得することを含み、
    前記再構成された予測残差サンプル値は、前記予測残差サンプルに対応する、
    請求項１０に記載の方法。
  15. 前記デコーダによって前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて前記ＣＵの再構成された予測残差サンプル値を取得することは、以下の関数を実行することにより前記再構成された予測残差サンプル値を取得することを含み、
    Figure 2022541076000034
     請求項１４に記載の方法。
  16. 前記デコーダによって前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて前記ＣＵの再構成された予測残差サンプル値を取得することは、以下の関数を実行することを含み、
    Figure 2022541076000035
     請求項１４に記載の方法。
  17. １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサに接続されている非一時的なメモリと、
    前記非一時的なメモリに格納されている複数のプログラムと、
    を含み、
    前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
    符号化ユニット（ＣＵ）の残差データのための定量化パラメータを決定し、
    前記定量化パラメーターをスケール率でスケーリングすることにより、スケール値を導出し、
    前記ＣＵに関連する複数の係数を決定し、
    前記ＣＵに関連する複数のパラメータを決定し、
    前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得し、
    前記スケール値、前記複数の係数、および前記複数のビットシフトに基づいて定量化レベルを取得する、
    のような操作を実行させる、コンピューティング装置。
  18. 前記エンコーダによって前記ＣＵに関連する複数の係数を決定することは、前記ＣＵから選択された所定の複数の色ではない色を有する前記ＣＵにおける画素の値である前記ＣＵのにじみ色値を決定することを含み、
    前記エンコーダによって前記スケール値、前記複数の係数、および前記複数のビットシフトに基づいて定量化レベルを取得することは、前記エンコーダによって前記スケール値、前記にじみ色値、および前記複数のビットシフトに基づいて前記定量化レベルを取得することを含む、
    請求項１７に記載のコンピューティング装置。
  19. 前記１つまたは複数のプロセッサに、
    前記エンコーダーによって、前記ＣＵに関連する予測残差サンプルを決定することをさらに含む、
    のような操作を実行させ、
    前記エンコーダによって前記ＣＵに関連する複数の係数を決定することは、前記エンコーダによって前記予測残差サンプルに対応する予測残差サンプル値を決定することを含み、
    前記エンコーダによって前記スケール値、前記複数の係数、および前記複数のビットシフトに基づいて定量化レベルを取得することは、前記エンコーダによって、前記スケール値、前記予測残差サンプル値、および前記複数のビットシフトに基づいて前記定量化レベルを取得することを含む、
    請求項１７に記載のコンピューティング装置。
  20. １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサに接続されている非一時的なメモリと、
    前記非一時的なメモリに格納されている複数のプログラムと、
    を含み、
    前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
    定量化パラメータ及び定量化レベルを含むビデオビットストリームを受信し、
    前記定量化パラメータをスケーリング率でスケーリングすることにより、スケール値を導出し、
    符号化ユニット（ＣＵ）に関連する複数のパラメータを決定し、
    前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得し、
    前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて、前記ＣＵに関連する複数の係数を取得する、
    のような操作を実行させる、コンピューティング装置。
  21. １つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを格納している非一時的なコンピュータ読取可能な記憶媒体であって、
    前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
    符号化ユニット（ＣＵ）の残差データのための定量化パラメータを決定し、
    前記定量化パラメーターをスケール率でスケーリングすることにより、スケール値を導出し、
    前記ＣＵに関連する複数の係数を決定し、
    前記ＣＵに関連する複数のパラメータを決定し、
    前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得し、
    前記スケール値、前記複数の係数、および前記複数のビットシフトに基づいて定量化レベルを取得する、
    のような操作を実行させる、非一時的なコンピュータ読取可能な記憶媒体。
  22. １つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを格納している非一時的なコンピュータ読取可能な記憶媒体であって、
    前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
    定量化パラメータ及び定量化レベルを含むビデオビットストリームを受信し、
    前記定量化パラメータをスケーリング率でスケーリングすることにより、スケール値を導出し、
    符号化ユニット（ＣＵ）に関連する複数のパラメータを決定し、
    前記複数のパラメータをビットシフトすることにより、複数のビットシフトを取得し、
    前記定量化レベル、前記スケール値及び前記複数のビットシフトに基づいて、前記ＣＵに関連する複数の係数を取得する、
    のような操作を実行させる、非一時的なコンピュータ読取可能な記憶媒体。

JP2022518415A 2019-09-23 2020-09-23 ビデオ符号化復号化における定量化および逆定量化設計のための方法及び装置 Active JP7382494B6 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023136408A JP2023162319A (ja) 2019-09-23 2023-08-24 ビデオ符号化復号化における定量化および逆定量化設計のための方法及び装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962904668P 2019-09-23 2019-09-23
US62/904,668 2019-09-23
PCT/US2020/052175 WO2021061744A1 (en) 2019-09-23 2020-09-23 Methods and devices for quantization and de-quantization design in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023136408A Division JP2023162319A (ja) 2019-09-23 2023-08-24 ビデオ符号化復号化における定量化および逆定量化設計のための方法及び装置

Publications (3)

Publication Number Publication Date
JP2022541076A true JP2022541076A (ja) 2022-09-21
JP7382494B2 JP7382494B2 (ja) 2023-11-16
JP7382494B6 JP7382494B6 (ja) 2023-11-29

Family

ID=75167108

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022518415A Active JP7382494B6 (ja) 2019-09-23 2020-09-23 ビデオ符号化復号化における定量化および逆定量化設計のための方法及び装置
JP2023136408A Pending JP2023162319A (ja) 2019-09-23 2023-08-24 ビデオ符号化復号化における定量化および逆定量化設計のための方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023136408A Pending JP2023162319A (ja) 2019-09-23 2023-08-24 ビデオ符号化復号化における定量化および逆定量化設計のための方法及び装置

Country Status (7)

Country Link
US (1) US20220217349A1 (ja)
EP (1) EP4035368A4 (ja)
JP (2) JP7382494B6 (ja)
KR (4) KR20230125862A (ja)
CN (2) CN114450948A (ja)
MX (1) MX2022003471A (ja)
WO (1) WO2021061744A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018510539A (ja) * 2015-01-29 2018-04-12 ヴィド スケール インコーポレイテッド パレット符号化モードのためのエスケープカラー符号化
WO2021030667A1 (en) * 2019-08-15 2021-02-18 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using palette mode
WO2021040400A1 (ko) * 2019-08-26 2021-03-04 엘지전자 주식회사 팔레트 모드 기반 영상 또는 비디오 코딩

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2805492B1 (en) * 2012-01-19 2018-11-14 VID SCALE, Inc. System and method of video coding quantization and dynamic range control
US9635371B2 (en) * 2013-05-31 2017-04-25 Qualcomm Incorporated Determining rounding offset using scaling factor in picture resampling
US10708588B2 (en) * 2013-06-19 2020-07-07 Apple Inc. Sample adaptive offset control
EP2843949B1 (en) * 2013-06-28 2020-04-29 Velos Media International Limited Methods and devices for emulating low-fidelity coding in a high-fidelity coder
US10038915B2 (en) * 2014-05-22 2018-07-31 Qualcomm Incorporated Escape sample coding in palette-based video coding
US10382749B2 (en) * 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
CN110099277B (zh) * 2014-05-23 2021-06-25 寰发股份有限公司 调色板大小发信和有条件的调色板例外标志发信的方法
US10136141B2 (en) * 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
JP2017522839A (ja) * 2014-06-20 2017-08-10 シャープ株式会社 整合パレット符号化
RU2686559C2 (ru) * 2015-01-29 2019-04-29 Кэнон Кабусики Кайся Инициализатор предсказателя палитры при кодировании или декодировании самостоятельных кодируемых структур
EP3308540B1 (en) * 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
US10097842B2 (en) * 2015-09-18 2018-10-09 Qualcomm Incorporated Restriction of escape pixel signaled values in palette mode video coding
KR20180074150A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 Sao 필터링을 포함하는 비디오 데이터의 부호화를 위한 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018510539A (ja) * 2015-01-29 2018-04-12 ヴィド スケール インコーポレイテッド パレット符号化モードのためのエスケープカラー符号化
WO2021030667A1 (en) * 2019-08-15 2021-02-18 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using palette mode
WO2021040400A1 (ko) * 2019-08-26 2021-03-04 엘지전자 주식회사 팔레트 모드 기반 영상 또는 비디오 코딩

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS, JIANLE CHEN, AND SHAN LIU: "Video Coding (Draft 6)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O2001 (version 14), JPN6022035522, July 2019 (2019-07-01), pages 198 - 199, ISSN: 0004961862 *
HONG-JHENG JHU, ET AL.: "Non-CE8: Quantization unification for palette escape and transform skip", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-P515-v2, JPN6022028725, October 2019 (2019-10-01), pages 1 - 9, ISSN: 0004961864 *
YUNG-HSUAN CHAO, ET AL.: "Non-CE8: Quantization in palette escape mode", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-P0483, JPN6022035523, October 2019 (2019-10-01), pages 1 - 4, ISSN: 0004961863 *

Also Published As

Publication number Publication date
CN114827605A (zh) 2022-07-29
WO2021061744A1 (en) 2021-04-01
EP4035368A4 (en) 2022-11-30
KR102487062B1 (ko) 2023-01-09
US20220217349A1 (en) 2022-07-07
KR20230127375A (ko) 2023-08-31
JP7382494B2 (ja) 2023-11-16
KR20220054900A (ko) 2022-05-03
KR102571893B1 (ko) 2023-08-28
MX2022003471A (es) 2022-04-19
JP2023162319A (ja) 2023-11-08
KR20230125862A (ko) 2023-08-29
KR20230006060A (ko) 2023-01-10
JP7382494B6 (ja) 2023-11-29
CN114450948A (zh) 2022-05-06
EP4035368A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
JP7422684B2 (ja) ブロックベースの適応ループフィルタ（ａｌｆ）の設計およびシグナリング
JP6657110B2 (ja) 色空間変換コーディングにおけるビット深度の修正
JP6929647B2 (ja) ブロック適応色空間コンバージョンコーディング
JP6640119B2 (ja) ブロック適応性のある色空間コンバージョンコーディング
JP7463399B2 (ja) ビデオコーディングのための勾配ベースの予測改良
US20220124347A1 (en) Lossless coding modes for video coding
KR20220140642A (ko) 비디오 코딩에서의 신택스 엘리먼트의 시그널링을 위한 방법 및 장치
JP7382494B2 (ja) ビデオ符号化復号化における定量化および逆定量化設計のための方法及び装置
CN117296323A (zh) 基于特征的变换选择

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220426

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220412

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230407

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230825

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R150 Certificate of patent or registration of utility model

Ref document number: 7382494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150