JP2022531216A - クロスコンポーネントコーディングの適用条件 - Google Patents

クロスコンポーネントコーディングの適用条件 Download PDF

Info

Publication number
JP2022531216A
JP2022531216A JP2021564420A JP2021564420A JP2022531216A JP 2022531216 A JP2022531216 A JP 2022531216A JP 2021564420 A JP2021564420 A JP 2021564420A JP 2021564420 A JP2021564420 A JP 2021564420A JP 2022531216 A JP2022531216 A JP 2022531216A
Authority
JP
Japan
Prior art keywords
block
chroma
luma
current video
cclm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021564420A
Other languages
English (en)
Other versions
JP7407206B2 (ja
Inventor
デン,ジピン
ザン,リー
リュウ,ホンビン
ザン,カイ
シュイ,ジィジォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022531216A publication Critical patent/JP2022531216A/ja
Application granted granted Critical
Publication of JP7407206B2 publication Critical patent/JP7407206B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)

Abstract

ビジュアルメディア処理の方法が、ビジュアルメディアデータのカレントビデオユニットに関連づけられた少なくとも1つのクロマブロックのためのクロマ残差スケーリングファクタを固定値に基づいて表すことを指定するルールを使用するステップであり、固定値は1つ以上の条件に少なくとも基づく、ステップと、カレントビデオユニットとカレントビデオユニットのビットストリーム表現との間のコンバージョンを実行するステップと、を含む。

Description

[関連出願の相互参照]
パリ条約による適用可能な特許法及び/又は規則に基づき、本出願は、2019年5月8日に出願された国際特許出願第PCT/CN2019/085996号の優先権及び利益を適時に主張するために行われる。法に基づく全ての目的のために、前述の出願の開示全体が、本出願の開示の一部として参照により組み込まれる。
[技術分野]
本特許文献は、ビデオ符号化/復号手法、デバイス、及びシステムに関する。
ビデオ圧縮の進歩にもかかわらず、デジタルビデオは、依然として、インターネット及び他のデジタル通信ネットワークにおける最大の帯域幅使用を占めている。ビデオを受信し表示することができる接続ユーザデバイスの数が増加すると、デジタルビデオ使用に対する帯域幅需要は増大し続けることが予想される。
デジタルビデオ符号化/復号に関連するデバイス、システム、及び方法、具体的には、ビデオ符号化/復号におけるクロスコンポーネント線形モデル(cross-component linear model、CCLM)予測モードのための簡素化された線形モデル導出について記載する。記載される方法は、既存のビデオ符号化標準(例えば、高効率ビデオ符号化(High Efficiency Video Coding、HEVC))及び将来のビデオ符号化標準(例えば、汎用ビデオ符号化(Versatile Video Coding、VVC))又はコーデックの双方に適用され得る。
代表的な一態様において、開示される技術は、ビジュアルメディア処理の方法を含む。この例示的な方法は、ビジュアルメディアデータの対応するルマブロックの近隣のルマブロックの利用可能性を決定したことに応答して、ビジュアルメディアデータのカレントビデオクロマブロックのための第1のパラメータを、第1のパラメータが固定値又はカレントビデオクロマブロックの近隣のルマサンプルの丸めベースの平均値として導出されるように導出するステップであり、対応するルマブロックは、カレントビデオクロマブロックに関連づけられた位置をカバーする、ステップと、第1のパラメータに基づいてクロマスケーリングファクタを決定するステップと、クロマスケーリングファクタに基づいてカレントビデオクロマブロックのクロマ残差スケーリングを実行するステップと、カレントビデオクロマブロックとカレントビデオクロマブロックのビットストリーム表現との間のコンバージョンにクロマスケーリングファクタを使用するステップと、を含む。
代表的な一態様において、開示される技術は、ビジュアルメディア処理の方法を含む。この例示的な方法は、ビジュアルメディアデータのカレントビデオユニットに関連づけられた少なくとも1つのクロマブロックのためのクロマ残差スケーリングファクタを固定値に基づいて表すことを指定するルールを使用するステップであり、固定値は1つ以上の条件に少なくとも基づく、ステップと、カレントビデオユニットとカレントビデオユニットのビットストリーム表現との間のコンバージョンを実行するステップと、を含む。
代表的な一態様において、開示される技術は、ビジュアルメディア処理の方法を含む。この例示的な方法は、ビジュアルメディアデータのカレントビデオブロックとカレントビデオブロックのビットストリーム表現との間のコンバージョンの間、カレントビデオブロックに関連づけられた大きさ及び/又はパーティション情報及び/又は符号化構造タイプに少なくとも部分的に基づいて、カレントビデオブロックの色成分に対するクロスコンポーネント線形モデル(CCLM)の適用を選択的に有効又は無効にする決定を行うステップであり、CCLMにおいて、第1の色成分セットは、第2の色成分セットの線形結合に基づいて予測される、ステップを含む。
さらに別の例示的な態様において、上述の方法は、プロセッサを含むビデオエンコーダ装置により実装され得る。
さらに別の例示的な態様において、上述の方法は、プロセッサを含むビデオデコーダ装置により実装され得る。
さらに別の例示的な態様において、これらの方法は、プロセッサ実行可能命令の形態で具現化され、コンピュータ読取可能プログラム媒体に記憶され得る。
これら及び他の態様について本文献でさらに説明する。
HEVCにおけるangularイントラ予測モードの一例を示す。 HEVCではない方向モードの一例を示す。 CCLMモードに関連する一例を示す。 クロマスケーリングアーキテクチャによるルママッピングの一例を示す。 異なる色フォーマットにおけるルマブロック及びクロマブロックの一例を示す。 同じ色フォーマットにおけるルマブロック及びクロマブロックの一例を示す。 複数のフォーマットをカバーするコロケートルマブロックの一例を示す。 より大きいルマブロック内のルマブロックの一例を示す。 より大きいルマブロック内及び境界ボックス内のルマブロックの一例を示す。 本文献に記載のビジュアルメディアデコード又はビジュアルメディアエンコード手法を実装するハードウェアプラットフォームの一例のブロック図である。 開示される技術によるクロスコンポーネント予測のための線形モデル導出の一例示的な方法のフローチャートを示す。 開示される技術を実施することができる一例示的なビデオ処理システムのブロック図である。 ビジュアルメディア処理方法の一例のフローチャートである。 ビジュアルメディア処理方法の一例のフローチャートである。 ビジュアルメディア処理方法の一例のフローチャートである。
2.1 HEVCに関する簡潔なレビュー
2.1.1 HEVC/H.265におけるイントラ予測
イントラ予測は、考慮されているカラーチャネルで事前に再構成されたサンプルを用いて、所与のTB(変換ブロック(transform block))のためのサンプルを生成することを伴う。イントラ予測モードは、ルマ(luma)チャネル及びクロマ(chroma)チャネルについて別個にシグナリングされ、クロマチャネルイントラ予測モードは、任意で、「DM_CHROMA」モードを介してルマチャネルイントラ予測モードに依存する。イントラ予測モードはPB(予測ブロック(prediction block))レベルでシグナリングされるが、イントラ予測プロセスは、CUの残差四分木階層(residual quad-tree hierarchy)に従ってTBレベルで適用され、それにより、1つのTBの符号化がCU内の次のTBの符号化への影響を有することができ、したがって、参照値として使用されるサンプルへの距離を低減させる。
HEVCは、35個のイントラ予測モード - DCモード、planarモード、及び33個の方向又は「angular」イントラ予測モードを含む。33個のangularイントラ予測モードが図1に示されている。
クロマカラーチャネルに関連づけられたPBでは、イントラ予測モードは、planar、DC、水平、垂直、「DM_CHROMA」モード、又は時にはdiagonalモード「34」のいずれかとして指定される。
クロマフォーマット4:2:2及び4:2:0では、クロマPBは2つ又は4つ(それぞれ)のルマPBと重なり得ることに留意する。この場合、DM_CHROMAのためのルマ方向は、これらのルマPBの左上から取得される。
DM_CHROMAモードは、ルマカラーチャネルPBのイントラ予測モードがクロマカラーチャネルPBに適用されることを示す。これは比較的一般的であるため、intra_chroma_pred_modeの最確モード符号化方式は、このモードが選択される方を好んでバイアスされる。
2.2 汎用ビデオ符号化(VVC)アルゴリズムの説明
2.2.1 VVC符号化アーキテクチャ
HEVCを越える将来のビデオ符号化技術を探求するため、2015年にVCEGとMPEGにより合同で合同ビデオ探求チーム(Joint Video Exploration Team、JVET)が設立された。JVET会議は四半期に1回同時開催されており、新しい符号化標準はHEVCと比較して50%のビットレート低減を目指している。この新しいビデオ符号化標準は2018年4月のJVET会議で汎用ビデオ符号化(Versatile Video Coding、VVC)として正式に命名され、その当時にVVCテストモデル(VTM)の最初のバージョンがリリースされた。VVC標準化に寄与する継続的な努力が存在するため、JVET会議毎にVVC標準に対して新しい符号化手法が採択されている。VVC作業原案及びテストモデルVTMは、次いで、毎会議後に更新される。VVCプロジェクトは現在、2020年7月の会議での技術的完成(FDIS)を狙っている。
ほとんどの先行する標準と同様に、VVCは、インターピクチャ及びイントラピクチャ予測並びに変換符号化をエントロピー符号化と組み合わせたブロックベースのハイブリッド符号化アーキテクチャを有する。ピクチャパーティション化構造は、入力ビデオを符号化ツリーユニット(coding tree units、CTU)と呼ばれるブロックに分ける。CTUは、ネストされたマルチタイプツリー構造を有する四分木を用いて符号化ユニット(coding units、CU)に分割され、リーフ符号化ユニット(CU)は、同じ予測モード(例えば、イントラ又はインター)を共有する領域を定義する。本文献において、用語「ユニット」は、全ての色成分をカバーする画像の領域を定義する。用語「ブロック」は、特定の色成分(例えば、ルマ)をカバーする領域を定義するために用いられ、4:2:0などのクロマサンプリングフォーマットを考慮するとき空間的位置において異なり得る。
2.2.2 VVCにおけるデュアル/セパレートツリーパーティション
ルマ成分とクロマ成分は、Iスライスに対して別個のパーティションツリーを有することができる。別個のツリーパーティション化は、CTUレベルではなく、64×64ブロックレベル下である。VTMソフトウェアでは、デュアルツリーのオンとオフを制御するためのSPSフラグがある。
2.2.3 VVCにおけるイントラ予測
2.2.3.1 67個のイントラ予測モード
自然ビデオで提示される任意のエッジ方向を捕捉するために、VTM4における方向イントラモードの数は、HEVCで使用される33から、65に拡張される。HEVCにない新しい方向モードは、図2に赤い点線の矢印として示されており、planarモードとDCモードは同じままである。これらのより高密度の方向イントラ予測モードは、全てのブロックサイズに、並びにルマ及びクロマ双方のイントラ予測に適用される。
2.2.3.2 クロスコンポーネント線形モデル予測(CCLM)
クロスコンポーネント冗長性を低減するために、クロスコンポーネント線形モデル(cross-component linear model、CCLM)予測モードがVTM4で使用され、これについて、クロマサンプルは、以下の線形モデルを使用することにより、同じCUの再構成されたルマサンプルに基づいて予測される。
Figure 2022531216000002
ここで、pred(i,j)は、CU内の予測クロマサンプルを表し、rec(i,j)は、同じCUのダウンサンプリングされた再構成ルマサンプルを表す。線形モデルパラメータα及びβは、2つのサンプルからのルマ値とクロマ値との間の関係から導出され、該2つのサンプルは、ダウンサンプリングされた近隣のルマサンプルのセット内で最小サンプル値を有する、及び最大サンプルを有するルマサンプルと、それらの対応するクロマサンプルである。線形モデルパラメータα及びβは、以下の式に従って得られる。
Figure 2022531216000003
ここで、YとXは、最大ルマサンプル値を有するルマサンプルのルマ値とクロマ値を表す。また、XとYは、それぞれ、最小ルマサンプルを有するルマサンプルのルマ値とクロマ値を表す。図3は、左及び上のサンプルの位置とCCLMモードに関与するカレント(current)ブロックのサンプルの一例を示す。
パラメータαを計算するための除算演算は、ルックアップテーブルで実装される。テーブルを記憶するために必要なメモリを低減するために、diff値(最大値と最小値との間の差)とパラメータαが指数表記により表現される。例えば、diffは、4ビットの有効部分と指数で近似される。結果として、1/diffの表は、次のように、仮数の16個の値について16個の要素に低減される。
Figure 2022531216000004
これは、計算の複雑さと、必要なテーブルを記憶するのに必要なメモリサイズの双方を低減する利点を有する。
上テンプレートと左テンプレートを使用して線形モデル係数を一緒に計算できるほかに、これらを代替的に、LM_Aモード及びLM_Lモードと呼ばれる他の2つのLMモードで使用することもできる。
LM_Aモードでは、上テンプレートのみを使用して線形モデル係数を計算する。より多くのサンプルを得るために、上テンプレートは(W+H)に拡張される。LM_Lモードでは、左テンプレートのみを使用して線形モデル係数を計算する。より多くのサンプルを得るために、左テンプレートは(H+W)に拡張される。
非正方形ブロックでは、上テンプレートはW+Wに拡張され、左テンプレートはH+Hに拡張される。
4:2:0ビデオシーケンスのクロマサンプル位置にマッチングするために、2つのタイプのダウンサンプリングフィルタをルマサンプルに適用して、水平及び垂直双方の方向における2対1のダウンサンプリング比を達成する。ダウンサンプリングフィルタの選択は、SPSレベルフラグにより指定される。2つのダウンサンプリングフィルタは以下のとおりであり、これらはそれぞれ、「type-0」及び「type-2」のコンテンツに対応する。
Figure 2022531216000005
上側参照ラインがCTU境界にあるとき、ダウンサンプリングされたルマサンプルを作成するために、1つのルマライン(イントラ予測における一般的なラインバッファ)のみが使用されることに留意する。
このパラメータ計算は、デコーディング処理の一部として実行され、単にエンコーダ探索動作としてではない。結果として、αとβの値をデコーダに伝達するためにシンタックスは使用されない。
クロマイントラモード符号化では、クロマイントラモード符号化に対して合計8つのイントラモードが許可されている。これらのモードは、5つの従来のイントラモードと3つのクロスコンポーネント線形モデルモード(CCLM、LM_A、及びLM_L)を含む。クロマモード符号化は、対応するルマブロックのイントラ予測モードに直接依存する。Iスライスでは、ルマ成分とクロマ成分に対する別個のブロックパーティション化構造が有効にされるため、1つのクロマブロックが複数のルマブロックに対応する場合がある。したがって、クロマDMモードでは、カレントクロマブロックの中心位置をカバーする対応するルマブロックのイントラ予測モードが直接継承される。
2.2.3.2.1 対応する修正作業原案(JVET-N0271)
以下の仕様は、JVET-M1001の修正作業原案及びJVET-N0271の採択に基づく。採択されたJVET-N0220における修正を太字と下線で示す。
シンタックステーブル
Figure 2022531216000006
セマンティクス
0に等しいsps_cclm_enabled_flagは、ルマ成分からクロマ成分へのクロスコンポーネント線形モデルイントラ予測が無効にされていることを指定する。1に等しいsps_cclm_enabled_flagは、ルマ成分からクロマ成分へのクロスコンポーネント線形モデルイントラ予測が有効にされていることを指定する。
復号処理
Figure 2022531216000007
Figure 2022531216000008
Figure 2022531216000009
Figure 2022531216000010
Figure 2022531216000011
Figure 2022531216000012
Figure 2022531216000013
Figure 2022531216000014
2.2.3.3 種々のイントラ予測の態様
VTM4は、HEVCとは異なる多くのイントラ符号化ツールを含み、例えば、以下の特徴がボックツリー構造の上のVVCテストモデル3に含まれている。
・ ワイドアングルモード拡張を有する67個のイントラモード
・ ブロックサイズ及びモード依存の4タップ補間フィルタ
・ 位置依存イントラ予測組み合わせ(Position dependent intra prediction combination、PDPC)
・ クロスコンポーネント線形モデルイントラ予測
・ マルチ参照ラインイントラ予測
・ イントラサブパーティション
2.2.4 VVCにおけるインター予測
2.2.4.1 組み合わせインター及びイントラ予測(Combined inter and intra prediction、CIIP)
VTM4では、CUがマージモードで符号化されるとき、CUが少なくとも64個のルマサンプルを含む(すなわち、CU幅×CU高さが64以上である)場合、さらなるフラグをシグナリングして、組み合わせインター/イントラ予測(CIIP)モードがカレントCUに適用されるかを示す。
CIIP予測を形成するために、イントラ予測モードが、2つのさらなるシンタックス要素から最初導出される。最大4つのとり得るイントラ予測モード、すなわち、DC、planar、水平、又は垂直を使用することができる。次いで、通常のイントラ及びインターデコーディング処理を用いて、インター予測及びイントラ予測信号が導出される。最後、CIIP予測を得るために、インター及びイントラ予測信号の加重平均が実行される。
2.2.4.2 種々のインター予測の態様
VTM4は、HEVCとは異なる多くのインター符号化ツールを含み、例えば、以下の特徴がボックツリー構造の上のVVCテストモデル3に含まれている。
・ アフィン動きインター予測
・ サブブロックベースの時間的動きベクトル予測
・ 適応的動きベクトル分解能
・ 時間的動き予測のための8×8ブロックベースの動き圧縮
・ ルマ成分に対する8タップ補間フィルタとクロマ成分に対する4タップ補間フィルタを有する、高精度(1/16pel)動きベクトル記憶及び動き補償
・ 三角形パーティション(Triangular partitions)
・ 組み合わせイントラ及びインター予測
・ MVD付きマージ(Merge with MVD、MMVD)
・ 対称的MVD符号化
・ 双方向オプティカルフロー
・ デコーダ側動きベクトル精緻化
・ 双予測加重平均(Bi-predictive weighted averaging)
2.2.5 ループ内フィルタ
VTM4には、合計で3つのループ内フィルタがある。デブロッキングフィルタとSAO(HEVCにおける2つのループフィルタ)の他に、VTM4では適応ループフィルタ(adaptive loop filter、ALF)が適用される。VTM4におけるフィルタリングプロセスの順序は、デブロッキングフィルタ、SAO、及びALFである。
VTM4において、SAO及びデブロッキングフィルタリング処理は、HEVCにおけるものとほぼ同じである。
VTM4では、クロマスケーリング付きルママッピングと呼ばれる新しい処理が追加された(この処理は、以前は適応ループ内リシェーパとして知られていた)。この新しい処理は、デブロッキングの前に実行される。
2.2.6 クロマスケーリング付きルママッピング(LMCS、別名、ループ内リシェーピング)
VTM4では、クロマスケーリング付きルママッピング(luma mapping with chroma scaling、LMCS)と呼ばれる符号化ツールが、ループフィルタの前に新しい処理ブロックとして追加されている。LMCSは、2つの主要なコンポーネントを有し、すなわち、1)適応区分線形モデルに基づくルマ成分のループ内マッピングと、2)クロマ成分では、ルマ依存のクロマ残差スケーリングが適用される。図4は、デコーダの視点からのLMCSアーキテクチャを示す。図4の水色の影付きブロックは、マッピングされたドメインでどこに処理が適用されるかを示し、これらには、逆量子化、逆変換、ルマイントラ予測、及びルマ予測のルマ残差との加算が含まれる。図4の影無しブロックは、元の(すなわち、マッピングされていない)ドメインでどこに処理が適用されるかを示し、これらには、デブロッキング、ALF、及びSAOなどのループフィルタ、動き補償された予測、クロマイントラ予測、クロマ予測のクロマ残差との加算、及び参照ピクチャとしてのデコードされたピクチャの記憶が含まれる。図4の淡黄の影付きブロックは、ルマ信号の順方向及び逆方向マッピング、並びにルマ依存のクロマスケーリング処理を含む、新しいLMCS機能ブロックである。VVCにおける大抵の他のツールと同様に、LMCSはSPSフラグを使用してシーケンスレベルで有効/無効にすることができる。
2.2.6.1 区分線形モデルによるルママッピング
ルマ成分のループ内マッピングは、圧縮効率を改善するために、ダイナミックレンジにわたってコードワードを再分配することにより入力信号のダイナミックレンジを調整する。ルママッピングは、順方向マッピング関数FwdMapと、対応する逆方向マッピング関数InvMapを利用する。FwdMap関数は、16個の等しい部分(pieces)を有する区分線形モデル(piecewise linear model)を使用してシグナリングされる。InvMap関数はシグナリングされる必要はなく、代わりにFwdMap関数から導出される。
ルママッピングモデルは、タイルグループレベルでシグナリングされる。プレゼンスフラグが最初シグナリングされる。ルママッピングモデルがカレントタイルグループに存在する場合、対応する区分線形モデルパラメータがシグナリングされる。区分線形モデルは、入力信号のダイナミックレンジを16等分にパーティション化し、各部分について、その線形マッピングパラメータは、その部分に割り当てられたコードワードの数を使用して表現される。10ビットの入力を一例にとる。16個の部分の各々は、デフォルトで64個のコードワードをそれに割り当てられる。シグナリングされたコードワード数を使用して、スケーリングファクタを計算し、それに応じてその部分のためのマッピング関数を調整する。タイルグループレベルでは、別のLMCSイネーブルフラグがシグナリングされて、図4に示すようなLMCS処理がカレントタイルグループに適用されるかを示す。
FwdMap区分線形モデルの各i番目の部分、i=0...15は、2つの入力ピボット点InputPivot[]と2つの出力(マッピングされた)ピボット点MappedPivot[]により定義される。
InputPivot[]とMappedPivot[]は(10ビットビデオを仮定して)次のように計算される。
1) OrgCW = 64
2) i = 0:16について、InputPivot[i] = i*OrgCW
3) i = 0:16について、MappedPivot[i]は次のように計算される:
MappedPivot[0]=0;
for(i=0; i<16; i++)
MappedPivot[i+1] = MappedPivot[i] + SignalledCW[i]
ここで、SignalledCW[i]は、i番目の部分に対するシグナリングされたコードワード数である。
図4に示すように、イントラ符号化ブロックでは、マッピングされたドメインにおいて動き補償予測が実行される。言い換えると、動き補償された予測ブロックYpredがDPBの参照信号に基づいて計算された後、FwdMap関数が適用されて、元のドメインのルマ予測ブロックをマッピングされたドメインにマッピングし、Y’pred=FwdMap(Ypred)である。イントラ符号化ブロックでは、マッピングされたドメインでイントラ予測が実行されるため、FwdMap関数は適用されない。再構成ブロックYが計算された後、InvMap関数が適用されて、マッピングされたドメインにおける再構成されたルマ値を元のドメインにおける再構成されたルマ値に逆にコンバートする(
Figure 2022531216000015
)。InvMap関数は、イントラ符号化ルマブロック及びインター符号化ルマブロックの双方に適用される。
ルママッピング処理(順方向及び/又は逆方向マッピング)は、ルックアップテーブル(LUT)を使用するか又はオンザフライ(on-the-fly)計算を使用するかのいずれかで実装することができる。LUTが使用される場合、FwdMapLUT及びInvMapLUTをタイルグループレベルでの使用のために予め計算及び予め記憶することができ、順方向及び逆方向のマッピングは、それぞれ、FwdMap(Ypred)=FwdMapLUT(Ypred)及びInvMap(Y)=InvMapLUT(Y)として簡単に実装することができる。あるいは、オンザフライ計算を用いてもよい。順方向マッピング関数FwdMapを一例にとる。ルマサンプルが属する部分を解決するために、サンプル値は6ビット(これは16等分に対応する)右シフトされる。次いで、その部分のための線形モデルパラメータが取り出され、オンザフライで適用されて、マッピングされたルマ値を計算する。iを部分インデックスとし、a1、a2をそれぞれInputPivot[i]、InputPivot[i+1]とし、b1、b2をそれぞれMappedPivot[i]、MappedPivot[i+1]とする。FwdMap関数は次のように評価される。
Figure 2022531216000016
InvMap関数は、同様の方法でオンザフライで計算することができるが、例外は、サンプル値が属する部分を解決するとき単純な右ビットシフトの代わりに条件チェックが適用されることであり、なぜならば、マッピングされたドメインにおける部分が等しいサイズではないためである。
2.2.6.2 ルマ依存のクロマ残差スケーリング
クロマ残差スケーリングは、ルマ信号とその対応するクロマ信号との間の相互作用を補償するように設計されている。クロマ残差スケーリングが有効にされているか否かも、タイルグループレベルでシグナリングされる。ルママッピングが有効にされている場合、及びデュアルツリーパーティション(セパレートクロマツリーとしても知られる)がカレントタイルグループに適用されない場合、さらなるフラグがシグナリングされて、ルマ依存のクロマ残差スケーリングが有効にされているか否かを示す。ルママッピングが使用されないとき、又はカレントタイルグループでデュアルツリーパーティションが使用されるとき、ルマ依存のクロマ残差スケーリングは無効にされる。さらに、ルマ依存のクロマ残差スケーリングは、そのエリアが4以下のクロマブロックでは常に無効にされる。
クロマ残差スケーリングは、(イントラ符号化ブロック及びインター符号化ブロックの双方について)対応するルマ予測ブロックの平均値に依存する。avgY’をルマ予測ブロックの平均として表す。CScaleInvの値は、次のステップで計算される。
1) InvMap関数に基づいて、avgY’が属する区分線形モデルのインデックスYIdxを見つける。
2) CScaleInv=cScaleInv[YIdx]であり、ここでcScaleInv[]は予め計算された16個の部分のLUTである。
カレントブロックがイントラ、CIIP、又はイントラブロックコピー(IBC、別名、カレントピクチャ参照又はCPR)モードとして符号化される場合、avgY’はイントラ、CIIP、又はIBCの予測ルマ値の平均として計算され、そうでない場合、avgY’は順方向マッピングされたインター予測ルマ値(図4のYpred)の平均として計算される。サンプルベースで実行されるルママッピングとは異なり、CScaleInvはクロマブロック全体に対して定数値である。CScaleInvを用いて、クロマ残差スケーリングは次のように適用される。
Figure 2022531216000017
2.2.6.3 JVET-M1001_v7の対応作業原案とJVET-N0220の採択
以下の仕様は、JVET-M1001の修正作業原案及びJVET-N0220の採択に基づく。採択されたJVET-N0220における修正を太字と下線で示す。
[シンタックステーブル]
Figure 2022531216000018
[セマンティクス]
Figure 2022531216000019
Figure 2022531216000020
Figure 2022531216000021
3. 既存の実装の欠点
LMCS/CCLMの現在の設計は、以下の問題を有し得る。
1. LMCS符号化ツールでは、クロマ残差スケーリングファクタは、コロケート(collocated)ルマ予測ブロックの平均値により導出され、これは、LMCSクロマ残差スケーリングにおけるクロマサンプルの処理のための待ち時間を結果としてもたらす。
a) 単一/共有ツリーの場合、待ち時間は、(a)利用可能なルマブロック全体の全ての予測サンプルを待つこと、及び(b)(a)により得られた全てのルマ予測サンプルの平均をとることにより引き起こされる。
b)デュアル/セパレートツリーの場合、待ち時間は、Iスライスにおいてルマ及びクロマ成分の別個のブロックパーティション化構造が有効にされるため、さらに悪くなる。したがって、1つのクロマブロックが複数のルマブロックに対応し得、1つの4×4クロマブロックが64×64ルマブロックに対応し得る。ゆえに、最悪の場合、カレントの4×4クロマブロックのクロマ残差スケーリングファクタは、64×64ルマブロック全体の全ての予測サンプルが利用可能になるまで待つ必要があり得る。一言で言えば、デュアル/セパレートツリーにおける待ち時間の問題は、はるかに深刻である。
2. CCLM符号化ツールでは、イントラクロマ予測のためのCCLMモデル計算は、ルマブロックとクロマブロックの双方の左及び上の参照サンプルに依存する。また、クロマブロックのためのCCLM予測は、同じCUのコロケートルマ再構成サンプルに依存する。これは、デュアル/セパレートツリーにおける長い待ち時間を引き起こす。
・ デュアル/セパレートツリーの場合、1つの4×4クロマブロックは64×64ルマブロックに対応し得る。ゆえに、最悪の場合、カレントクロマブロックのCCLM処理は、対応する64×64ルマブロック全体が再構成されるまで待つ必要があり得る。この待ち時間の問題は、デュアル/セパレートツリーにおけるLMCSクロマスケーリングと同様である。
4. 例示的な手法及び実施形態
上記問題に取り組むために、ルマ依存のクロマ残差スケーリング、CCLM、及び異なる色成分からの情報に依存する他の符号化ツールにおけるクロスコンポーネント依存性を除去/低減/制限するためのいくつかの方法を提案する。
以下に記載される詳細な実施形態は、一般的な概念を説明するための一例として考慮されるべきである。これらの実施形態は狭義に解釈されるべきではない。さらに、これらの実施形態は、任意の方法で組み合わせることができる。
以下に記載される箇条書きはLMCS/CCLMに明示的に言及しているが、この方法は、異なる色成分からの情報に依存する他の符号化ツールにも適用可能であり得ることに留意されたい。さらに、以下で言及される用語「ルマ(luma)」と「クロマ(chroma)」は、それぞれ、「第1の色成分」と「第2の色成分」、例えば、RGB色フォーマットにおける「G成分」と「B/R成分」などに置き換えられてもよい。
以下の議論では、「コロケートサンプル/ブロック(collocated sample/block)」の定義は、VVC作業原案JVET-M1001におけるコロケートサンプル/ブロックの定義と一致する。より具体的には、4:2:0色フォーマットにおいて、クロマブロックの左上サンプルが位置(xTbC,yTbC)にあると仮定し、コロケートルマブロック位置の左上サンプル(xTbY、yTbY)は、(xTbY,yTbY)=(xTbC<<1,yTbC<<1)として導出される。図5に示すように、カレントクロマブロックの左上サンプルは、クロマピクチャの(x=16,y=16)に位置し、そのコロケートルマブロックの左上サンプルは、ルマピクチャにおけるコロケートルマブロックのブロックパーティションにかかわらず、ルマピクチャの(x=32,y=32)に位置する。別の例として、同じ色成分で言うと、図6に示すように、参照フレーム内のコロケートブロックの左上サンプルの位置は、カレントフレーム内のカレントブロックの左上サンプルの位置と同じであるべきであり、カレントブロックの左上サンプルがカレントフレーム内の(x,y)であると仮定し、カレントブロックのコロケートブロックの左上サンプルは参照フレーム内の同じ位置(x,y)を有する。
以下の議論では、「対応するブロック」は、カレントブロックとは異なる位置を有し得る。例えば、カレントブロックとその参照フレーム内の対応するブロックとの間に動きシフトが存在し得る。図6に示されるように、カレントブロックがカレントフレーム内の(x,y)に位置し、それが動きベクトル(mv,mv)を有すると仮定し、カレントブロックの対応するブロックは、参照フレーム内の(x+mv,y+mv)に位置し得る。また、IBC符号化ブロックでは、コロケートルマブロック(ゼロベクトルで指し示される)及び対応するルマブロック(非ゼロBVで指し示される)は、カレントフレームの異なる場所に位置し得る。別の例では、ルマブロックのパーティションが(Iスライスのデュアルツリーパーティションにおいて)クロマブロックのパーティションと一致しないとき、カレントクロマブロックのコロケートルマブロックは、より大きいルマブロックに属し得、これは、コロケートルマブロックの左上サンプルをカバーする重なったルマ符号化ブロックのパーティションサイズに依存する。図5に示すように、太線の矩形がブロックのパーティションを示すと仮定すると、64×64ルマブロックはBTにより最初分割され、次いで、64×64ルマブロックの右部分はTTによりさらに分割され、これは、それぞれ32×16、32×32、32×16に等しいサイズの3つのルマブロックを結果としてもたらす。ゆえに、カレントクロマブロックのコロケートルマブロックの左上サンプル(x=32,y=32)を見ると、それは、TTパーティションの中央の32×32ルマブロックに属する。この場合、コロケートルマブロックの左上サンプルをカバーする対応するルマブロックを、「対応するルマブロック」と呼ぶ。したがって、この例では、対応するルマブロックの左上サンプルは(x=32,y=16)に位置する。
以下、DMVD(デコーダ側動きベクトル導出(decoder-side motion vector derivation))を使用して、BDOF(別名、BIO)、又は/及びDMVR(デコーダ側動きベクトル精緻化(decode-side motion vector refinement))、又は/及びFRUC(フレームレートアップコンバージョン(frame rate up-conversion))、又は/及びデコーダにおいて動きベクトル又は/及び予測サンプル値を精緻化する他の方法を表す。
[LMCSとCCLMのモデル計算のクロマスケーリング待ち時間の除去]
1. インター符号化ブロックについて、参照フレーム内のカレントブロックの1つ又は複数の参照サンプルが、LMCSモードにおけるクロマ残差スケーリングファクタを導出するために使用され得ることが提案される。
a) 一例において、参照ルマサンプルは、クロマ残差スケーリングファクタを導出するために直接使用され得る。
i. あるいは、参照サンプルに補間が最初適用されてもよく、補間されたサンプルを使用してクロマ残差スケーリングファクタを導出してもよい。
ii. あるいは、異なる参照フレーム内の参照サンプルを利用して、クロマ残差スケーリングファクタ導出に使用される最終参照サンプルを導出してもよい。
1) 一例において、双予測符号化ブロックに対して、上記方法が適用されてもよい。
iii. 一例において、参照サンプルの強度が、クロマ残差スケーリングファクタを導出するために使用される前に、リシェーピングドメイン(reshaping domain)にコンバートされてもよい。
iv. 一例において、参照サンプルの線形結合が、クロマ残差スケーリングファクタを導出するために使用されてもよい。
1) 例えば、a×S+bを用いてクロマ残差スケーリングファクタを導出してもよく、ここで、Sは参照サンプルであり、a及びbはパラメータである。一例において、a及びbは、局所照度補償(Localized Illuminate Compensation、LIC)により導出されてもよい。
b) 一例において、参照フレーム内の参照ルマサンプルの位置は、カレントブロックの動きベクトルに依存し得る。
i. 一例において、参照サンプルは、参照ピクチャ内にあり、かつカレントルマブロックと同じ幅及び高さを有する参照ルマブロックに属する。参照ピクチャ内の参照ルマサンプルの位置は、カレントピクチャ内のその対応するルマサンプルの位置として、動きベクトルを加算して計算されてもよい。
ii. 一例において、参照ルマサンプルの位置は、カレントルマブロックの左上(又は中心、又は右下)サンプルの位置とカレントブロックの動きベクトルにより導出されてもよく、参照フレーム内の対応するルマサンプルと呼ばれる。
1) 一例において、整数動きベクトルを使用して、参照フレーム内の対応するルマサンプルを導出してもよい。一例において、1つのブロックに関連づけられた動きベクトルは、整数の動きベクトルを導出するために、ゼロに近づくように丸められるか又はゼロから離れるように丸められるかのいずれかを行われてもよい。
2) あるいは、分数動きベクトルを使用して、参照フレーム内の対応するルマサンプルを導出してもよく、それにより、分数参照サンプルを導出するために補間処理が必要とされ得る。
iii. あるいは、参照ルマサンプルの位置は、カレントルマブロックの左上(又は中心、又は右下)サンプルの位置により導出されてもよい。
iv. あるいは、参照フレーム内のいくつかの予め定義された位置における複数の対応するルマサンプルを選定して、クロマ残差スケーリングファクタを計算してもよい。
c) 一例において、複数の参照ルマサンプルの中央値又は平均値を使用して、クロマ残差スケーリングファクタを導出してもよい。
d) 一例において、予め定義された参照フレーム内の参照ルマサンプルを使用して、クロマ残差スケーリングファクタを導出してもよい。
i. 一例において、予め定義された参照フレームは、参照ピクチャリスト0の、0に等しい参照インデックスを有するフレームでもよい。
ii. あるいは、予め定義された参照フレームの参照インデックス及び/又は参照ピクチャリストは、シーケンス/ピクチャ/タイルグループ/スライス/タイル/CTU行/ビデオユニットレベルでシグナリングされてもよい。
iii. あるいは、複数の参照フレーム内の参照ルマサンプルが導出されてもよく、平均値又は加重平均値を利用してクロマ残差スケーリングファクタを得てもよい。
2. LMCSモードにおいてルマサンプルからクロマ残差スケーリングファクタを導出するかどうか及び導出する方法が、カレントブロックが双予測を適用するかどうかに依存し得ることが提案される。
a) 一例において、クロマ残差スケーリングファクタは、各予測方向に対して個々に導出される。
3. LMCSモードにおいてルマサンプルからクロマ残差スケーリングファクタを導出するかどうか及び導出する方法が、カレントブロックがサブブロックベースの予測を適用するかどうかに依存し得ることが提案される。
a) 一例において、サブブロックベースの予測はアフィン予測である。
b) 一例において、サブブロックベースの予測は代替時間動きベクトル予測(Alternative Temporal Motion Vector Prediction、ATMVP)である。
c) 一例において、クロマ残差スケーリングファクタは、各サブブロックに対して個々に導出される。
d) 一例において、クロマ残差スケーリングファクタは、それがサブブロックにより予測されるとしても、ブロック全体に対して導出される。
i. 一例において、箇条書き1に記載されるように、1つの選択されたサブブロック(例えば、左上サブブロック)の動きベクトルを使用して、カレントブロックの参照サンプルを識別してもよい。
4. クロマ残差スケーリングファクタを導出するために使用されるルマ予測値が、最終ルマ予測値の代わりに中間ルマ予測値でもよいことが提案される。
a) 一例において、双方向オプティカルフロー(Bi-Directional Optical Flow)(BDOF、別名、BIO)の処理の前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
b) 一例において、デコーダ側動きベクトル精緻化(DMVR)の処理の前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
c) 一例において、LICの処理の前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
d) 一例において、JVET-N0236で提案されている予測精緻化オプティカルフロー(Prediction Refinement Optical Flow、PROF)の処理の前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
5. 中間動きベクトルは、参照サンプルを識別するために使用され得る。
a) 一例において、BDOF又は/及びDMVR又は/及び他のDMVD方法の処理の前の動きベクトルを使用して、参照サンプルを識別してもよい。
b) 一例において、JVET-N0236で提案されている予測精緻化オプティカルフロー(PROF)の処理の前の動きベクトルを使用して、参照サンプルを識別してもよい。
6. 上記方法は、カレントブロックがインターモードで符号化されているとき適用可能であり得る。
7. IBC符号化ブロックについて、カレントフレームの参照ブロック内の1つ又は複数の参照サンプルが、LMCSモードにおけるクロマ残差スケーリングファクタを導出するために使用され得ることが提案される。ブロックがIBC符号化されるとき、用語「動きベクトル」は「ブロックベクトル」と呼ばれることもあり、参照ピクチャはカレントピクチャとして設定される。
a) 一例において、参照サンプルは、カレントピクチャ内にあり、かつカレントブロックと同じ幅及び高さを有する参照ブロックに属する。参照サンプルの位置は、その対応するサンプルの位置として、動きベクトルを加算して計算されてもよい。
b) 一例において、参照ルマサンプルの位置は、カレントルマブロックの左上(又は中心、又は右下)サンプルの位置により、動きベクトルを加算して導出されてもよい。
c) あるいは、参照ルマサンプルの位置は、カレントルマブロックの左上(又は中心、又は右下)サンプルの位置により、カレントブロックのブロックベクトルを加算して導出されてもよい。
d) あるいは、カレントルマブロックの参照領域内のいくつかの予め定義された位置における複数の対応するルマサンプルを選定して、クロマ残差スケーリングファクタを計算してもよい。
e) 一例において、複数の対応するルマサンプルは、クロマ残差スケーリングファクタを導出する関数を用いて計算されてもよい。
i. 例えば、複数の対応するルマサンプルの中央値又は平均値を計算して、クロマ残差スケーリングファクタを導出してもよい。
f) 一例において、参照サンプルの強度が、クロマ残差スケーリングファクタを導出するために使用される前に、リシェーピングドメインにコンバートされてもよい。
i. あるいは、参照サンプルの強度は、クロマ残差スケーリングファクタを導出するために使用される前に、元のドメインにコンバートされてもよい
8. カレントフレーム内のカレントルマブロックの識別された位置に位置する1つ又は複数の予測/再構成サンプルが、LMCSモードにおいてカレントクロマブロックに対するクロマ残差スケーリングファクタを導出するために使用され得ることが提案される。
a) 一例において、カレントブロックがインター符号化される場合、カレントルマブロックの中心に位置するルマ予測(又は再構成)サンプルを選定して、クロマ残差スケーリングファクタを導出してもよい。
b) 一例において、第1のM×Nルマ予測(又は再構成)サンプルの平均値を選定して、クロマ残差スケーリングファクタを導出してもよく、ここで、M×Nは、コロケートルマブロックサイズの幅×高さより小さくてもよい。
9. CCLMモデルを計算するために使用される手順の全部又は一部が、LMCSモードにおけるカレントクロマブロックのクロマ残差スケーリングファクタ導出に使用され得ることが提案される。
a) 一例において、CCLMモデルパラメータ導出プロセスにおけるコロケートルマブロックの近隣のルマサンプルの識別された位置に位置する参照サンプルを利用して、クロマ残差スケーリングファクタを導出してもよい。
i. 一例において、これらの参照サンプルを直接使用してもよい。
ii. あるいは、これらの参照サンプルにダウンサンプリングを適用してもよく、ダウンサンプリングされた参照サンプルを適用してもよい。
b) 一例において、CCLMモデル計算のために選択されたS個の参照サンプルのうちK個が、LMCSモードにおけるクロマ残差スケーリングファクタ導出に使用されてもよい。例えば、Kは1に等しく、Sは4に等しい。
c) 一例において、CCLMモードにおけるコロケートルマブロックの参照サンプルの平均/最小/最大値が、LMCSモードにおけるクロマ残差スケーリングファクタ導出に使用されてもよい。
10. クロマ残差スケーリングファクタの導出のためにサンプルを選択する方法は、カレントブロックの符号化情報に依存し得る。
a) 符号化情報は、QP、符号化モード、POC、イントラ予測モード、動き情報などを含み得る。
b) 一例において、IBC符号化ブロック又は非IBC符号化ブロックでは、サンプルを選択する方法が異なり得る。
c) 一例において、サンプルを選択する方法は、参照ピクチャ情報、例えば、参照ピクチャとカレントピクチャとの間のPOC距離などに基づいて異なり得る。
11. クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算が、コロケートルマブロックの左上サンプルをカバーする対応するルマブロックの近隣の(neighboring)サンプルに依存し得ることが提案される。本発明において、「符号化ブロック(coding block)」は、HEVC仕様又はVVC作業原案に規定されるCU/TU/PUなどのビデオ符号化領域を参照し得る。
a) 「対応するルマ符号化ブロック」は、コロケートルマ符号化ブロックの左上位置をカバーする符号化ブロックとして定義され得る。
i. 図5は、デュアルツリーの場合のイントラ符号化クロマブロックについて、クロマ成分のCTUパーティションがルマ成分のCTUパーティションと異なり得る一例を示す。最初、カレントクロマブロックのコロケートルマブロックの左上サンプルをカバーする「対応するルマ符号化ブロック」が取り出される。次いで、「対応するルマ符号化ブロック」のブロックサイズ情報を使用することにより、「対応するルマ符号化ブロック」の左上サンプルを導出することができ、コロケートルマブロックの左上サンプルをカバーする「対応するルマ符号化ブロック」の左上サンプルは(x=32,y=16)に位置する。
b) 一例において、コロケートルマ符号化ブロックの左上サンプルをカバーする「対応するルマ符号化ブロック」の位置を導出するために、ブロックサイズ/パーティション/位置/座標が必要とされ得る。
i. 一例において、ブロックサイズ及び/又はブロックパーティション及び/又はブロック座標は、ルマ成分などの特定の色成分の各ブロックについて記憶されてもよい。
ii. 一例において、「対応するルマ符号化ブロック」とカレントブロックは、常に同じCTU又はCTU行内にあり得、したがって、ラインバッファ内にブロックサイズ/パーティション/位置/座標の記憶がなくてもよい。
c) 一例において、「対応するルマ符号化ブロック」にない再構成サンプルを使用して、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出してもよい。
i. 一例において、「対応するルマ符号化ブロック」に隣接した再構成サンプルを使用して、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出してもよい。
1) 一例において、「対応するルマ符号化ブロック」の左近隣列及び/又は上近隣行に位置するN個のサンプルを使用して、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出してもよく、ここで、N=1....2W+2Hであり、W及びHは「対応するルマ符号化ブロック」の幅及び高さである。
a) 「対応するルマ符号化ブロック」の左上サンプルが(xCb,yCb)であると仮定し、一例において、上近隣ルマサンプルは(xCb+W/2,yCb-1)又は(xCb-1,yCb-1)に位置し得る。別の例では、左近隣ルマサンプルが(xCb+W-1,yCb-1)に位置し得る。
b) 一例において、近隣のサンプルの位置は固定されてもよく、かつ/あるいは予め定義されたチェック順序におけるものでもよい。
2) 一例において、N個の近隣のサンプルのうち1つが、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出するために選択される。N=3、及び3つの近隣のサンプル(xCb-1、yCb-H-1)、(xCb+W/2、yCb-1)、(xCb-1、yCb-1)のチェック順序を仮定し、チェックリスト内の最初の利用可能な近隣のサンプルを選択して、クロマ残差スケーリングファクタを導出してもよい。
3) 一例において、「対応するルマ符号化ブロック」の左近隣列及び/又は上近隣行に位置するN個のサンプルの中央値又は平均値を使用して、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出してもよく、ここで、N=1....2W+2Hであり、W及びHは「対応するルマ符号化ブロック」の幅及び高さである。
d) 一例において、クロマ残差スケーリングを実行するかどうかは、対応するルマブロックの「利用可能な」近隣のサンプルに依存し得る。
i. 一例において、近隣のサンプルの「利用可能性」は、カレントブロック/サブブロックのエンコーディングモード、又は/及び近隣のサンプルのエンコーディングモードに依存してもよい。
1) 一例において、インターモードで符号化されたブロックについて、イントラモード又は/及びIBCモード又は/及びCIIPモード又は/及びLICモードで符号化された近隣のサンプルは、「利用不可能」とみなされ得る。
2) 一例において、インターモードで符号化されたブロックについて、近隣のサンプルが拡散フィルタ又は/及びバイラテラルフィルタ又は/又はアダマール変換(Hadamard transform)フィルタを採用し、「利用不可能」とみなされ得る。
ii. 一例において、近隣のサンプルの「利用可能性」は、カレントピクチャ/タイル/タイルグループ/VPDU/スライスの幅及び/又は高さに依存し得る。
1) 一例において、近隣のブロックがカレントピクチャの外側に位置する場合、それは「利用不可能」として扱われる。
iii. 一例において、「利用可能な」近隣のサンプルがないとき、クロマ残差スケーリングは拒否されてもよい。
iv. 一例において、「利用可能な」近隣のサンプルの数がK(K>=1)より小さいとき、クロマ残差スケーリングは拒否されてもよい。
v. あるいは、利用不可能な近隣のサンプルは、デフォルトの固定値、又はパディング、又は置換によりフィルされてもよく、それにより、クロマ残差スケーリングは常に適用され得る。
1) 一例において、近隣のサンプルが利用できない場合、それは、1<<(bitDepth-1)でフィルされてもよく、ここで、bitDepthは、ルマ/クロマ成分のサンプルのビット深度を指定する。
2) あるいは、近隣のサンプルが利用できない場合、それは、左/右/上/下の近隣に位置する周囲のサンプルからのパディングによりフィルされてもよい。
3) あるいは、近隣のサンプルが利用できない場合、それは、予め定義されたチェック順序において最初の利用可能な隣接したサンプルにより置換されてもよい。
4) あるいは、近隣のサンプルが利用できない場合、それは、予め定義されたフィルタリング/マッピング値によりフィルされてもよい(例えば、1<<(bitDepth-1)のフィルタリング/マッピング値であり、ここで、bitDepthは、ルマ/クロマ成分のサンプルのビット深度を指定する)。
a) 一例において、フィルタリング/マッピング処理は、LMCSの順方向マッピングのLUTインデックス化であり得る。
e) 一例において、クロマ残差スケーリングを実行するかどうか及び実行する方法は、カレントブロックの符号化モード、及び/又は近隣のブロックの符号化モードに依存し得る。
i. 「カレントブロック」は、カレントクロマブロックを参照し得、あるいはそれは、コロケートルマブロック、又はコロケートクロマブロックの少なくとも1つのサンプルをカバーする対応するルマブロックを参照し得る。「近隣ブロック」(隣接(adjacent)又は非隣接(non-adjacent))は、カレントクロマブロックの近隣のクロマブロックを参照し得、あるいはそれらは、カレントルマブロックの近隣のルマブロックを参照し得る。
ii. 一例において、所与の位置をカバーする1つのルマ近隣ブロックの符号化モードが利用されてもよく、例えば、カレントブロックの左上の座標に対して相対的に(-1,-1)などである。
iii. 一例において、複数の位置をカバーする複数の近隣のブロックの符号化モードが利用されてもよく、例えば、カレントブロックの左上座標に対して相対的に(x,-1)(例えば、xは0...ブロックの幅から1引いた値)、及び/又はカレントブロックの左上座標に対して相対的に(-1,y)(例えば、yは-1...ブロックの高さから1引いた値)などである。
iv. 一例において、1つの近隣のブロックの再構成が、カレントのスライス/タイルグループ内のサンプルにアクセスすることを必要とする場合、例えば、それがX-符号化される場合、クロマ残差スケーリングは無効にされる。
1) 例えば、モードXはイントラモードでもよい。
2) 例えば、モードXはCIIPモードでもよい。
3) 例えば、モードXはIBCモードでもよい。
4) 一例において、カレントブロックがCIIP符号化でなくインター符号化され、対応するルマブロックの近隣の近隣ブロックがモードXで符号化される場合、クロマ残差スケーリングは無効にされる。
v. 一例において、1つの近隣のブロックの再構成が、カレントのスライス/タイルグループ内のサンプルにアクセスすることを必要とする場合、例えば、それがX-符号化される場合、デフォルト値を使用して、クロマ残差スケーリングファクタを導出してもよい
1) 例えば、モードXはイントラモードでもよい。
2) 例えば、モードXはCIIPモードでもよい。
3) 例えば、モードXはIBCモードでもよい。
4) 一例において、カレントブロックがCIIP符号化でなくインター符号化され、対応するルマブロックの近隣ブロックがモードXで符号化される場合、デフォルト値を使用してクロマ残差スケーリングファクタを導出してもよい。
5) 一例において、デフォルト値はルマ/クロマサンプルのビット深度に依存し得る。
6) 一例において、デフォルト値は、1<<(bitDepth-1)のフィルタリング/マッピング値に設定されてもよく、ここで、bitDepthは、ルマ/クロマ成分のサンプルのビット深度を指定する。一例において、フィルタリング/マッピング処理は、LMCSの順方向マッピングのLUTインデックス化であり得る。
f) 一例において、「対応するルマ符号化ブロック」の近隣のフィルタ/マッピングされた再構成サンプルを使用して、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出してもよい。
i. 一例において、フィルタリング/マッピング処理には、イントラブロックのための参照平滑化フィルタリング、バイラテラルフィルタなどのポストフィルタリング、アダマール変換ベースのフィルタ、リシェーパドメインの順方向マッピングなどを含んでもよい。
12. カレントスライス/タイルグループにおける複数のクロマブロック(CU又はTUなど)に対してクロマ残差スケーリングファクタを導出するために、固定値が使用され得ることが提案される。
a) 一例において、N個のブロックに対するクロマ残差スケーリングファクタが、固定値により導出されてもよく、Nは、1...カレントスライス/タイルグループ内のクロマブロックの総数である。
b) 一例において、固定値を使用して、その値が属する区分線形モデルのインデックスを見つけてもよく、次いで、導出された区分インデックスからクロマ残差スケーリングファクタを計算してもよい。一例において、固定値はルマサンプルの内部ビット深度に依存し得る。
c) 一例において、固定値は、クロマ残差スケーリングファクタを表すために直接使用されてもよい。
d) 一例において、固定値及び/又は固定クロマ残差スケーリングファクタは、ピクチャ/スライス/タイルグループのタイプ(例えば、I又はP又はBスライス)及び/又はブロックの符号化モード(例えば、イントラモード又はインターモード)に依存し得る。
e) 一例において、固定値は、異なるピクチャ/スライス/タイルグループ/タイルに対して異なり得る。
f) 一例において、固定クロマ残差スケーリングファクタが、LMCSにおけるクロマ残差をスケーリングするために直接使用されてもよい。
i. 一例において、固定クロマ残差スケーリングファクタは、DPS/SPS/PPS/VPS/APS/スライスヘッダ/タイルグループヘッダなどのビデオユニットでシグナリングされてもよい。
ii. 一例において、ピクチャ/スライス/タイルグループ/タイルの固定クロマ残差スケーリングファクタは、ピクチャ/スライス/タイルグループ/タイルにおけるルマサンプルリシェーピングのためのマッピング関数(例えば、区分線形関数)に依存し得る。
1) 一例において、固定クロマ残差スケーリングファクタは、JVET-M1001-v7で定義されている配列InvScaleCoeff[]及び/又は配列ScaleCoeff[]に依存し得る。
a) 例えば、ピクチャ/スライス/タイルグループ/タイルに対する固定クロマ残差スケーリングファクタにより依存される配列InvScaleCoeff[]及び/又は配列ScaleCoeff[]を使用して、ピクチャ/スライス/タイルグループ/タイル内のルマサンプルをリシェープしてもよい。
2) 一例において、固定クロマ残差スケーリングファクタは、ルマサンプルをリシェープするために使用される区分線形関数の全てのスケーリングファクタの中の最小/最大/中央/平均値により導出されてもよい。
a) 例えば、固定クロマ残差スケーリングファクタは、InvScaleCoeff[i]の最小/最大/中央/平均値により導出されてもよく、ここで、iは、最小インデックス(JVET-M1001-v7におけるlmcs_min_bin_idxなど)から最大インデックス(JVET-M1001-v7におけるLmcsMaxBinIdxなど)までである。
i. 例えば、固定クロマ残差スケーリングファクタは、InvascaleCoeff[i]の最小/最大/中央/平均値と等しく、ここでiは、最小インデックス(JVET-M1001-v7で定義されるlmcs_min_bin_idxなど)から最大インデックス(JVET-M1001-v7で定義されるLmcsMaxBinIdxなど)までである。
ii. あるいは、固定クロマ残差スケーリングファクタは、InvScaleCoeff[i]の最小/最大/中央/平均値により導出されてもよく、ここで、iは、最小インデックス(0など)から最大インデックス(15など)までであり、JVET-M1001-v7で定義されるlmcsCW[i]は、0に等しくない。
g) 一例において、固定値は、クロマスケーリングファクタを導出するための区分関数インデックスを表すために使用されてもよい。
i. 一例において、固定値は、DPS/SPS/PPS/VPS/APS/スライスヘッダ/タイルグループヘッダなどのビデオユニットでシグナリングされてもよい。
ii. 一例において、固定値はルマサンプル強度を表してもよく、これは、区分関数インデックスを識別するために使用され得、識別された区分関数インデックスはさらに、クロマスケーリングファクタを見つけるために使用される。一例において、固定値は0、又は(1<<lumaBitDepth)-1、又は1<<(lumaBitDepth-1)に等しくてもよく、ここで、lumaBitDepthはルマサンプルのビット深度を示す。
1) 一例において、固定値が区分関数の入力レンジ内である場合、区分関数が識別される。
2) 一例において、固定値が区分関数の出力レンジ内である場合、区分関数が識別される。
iii. 一例において、固定値は区分関数インデックスを表してもよく、これは、クロマスケーリングファクタを見つけるために使用され得る。
1) 一例において、固定値は、LMCS構築プロセスで使用される最小ビンインデックス(例えば、lmcs_min_bin_idx)に等しくてもよい。
2) 一例において、固定値は、LMCS構築プロセスで使用される最大ビンインデックス(例えば、LmcsMaxBinIdx)に等しくてもよい。
3) 一例において、固定値は、LMCS構築プロセスで使用される最大ビンインデックスと最小ビンインデックスの平均に等しくてもよい。
[クロマ残差スケーリング及び/又はCCLMが適用されるか否かの制限]
13. クロマ残差スケーリング又はCCLMが適用されるか否かが、対応する及び/又はコロケートのルマブロックのパーティションに依存し得ることが提案される。
a) 一例において、クロスコンポーネント情報でツールを有効にするか又は無効にするかは、コロケートルマ(例えば、Y又はG成分)ブロック内のCU/PU/TUの数に依存し得る。
i. 一例において、コロケートルマ(例えば、Y又はG成分)ブロック内のCU/PU/TUの数が数値閾値を超えている場合、そのようなツールは無効にされてもよい。
ii. あるいは、クロスコンポーネント情報でツールを有効にするか又は無効にするかは、パーティションツリー深さに依存してもよい。
1) 一例において、コロケートルマブロック内のCUの最大(又は最小、又は平均、又は他のバリエーション)四分木深さが閾値を超えている場合、そのようなツールは無効にされてもよい。
2) 一例において、コロケートルマブロック内のCUの最大(又は最小、又は平均、又は他のバリエーション)BT及び/又はTT深さが閾値を超えている場合、そのようなツールは無効にされてもよい。
iii. あるいは、さらに、クロスコンポーネント情報でツールを有効にするか又は無効にするかは、クロマブロックのブロックの大きさ(dimension)に依存してもよい。
iv. あるいは、さらに、クロスコンポーネント情報でツールを有効にするか又は無効にするかは、コロケートルマが複数のVPDU/予め定義された領域サイズをまたぐ(cross)かどうかに依存してもよい。
v. 上記議論における閾値は、固定数でもよく、あるいはシグナリングされてもよく、あるいは標準のプロファイル/レベル/層に依存してもよい。
b) 一例において、カレントクロマブロックのコロケートルマブロックが複数のパーティション(例えば、図7における)により分けられる場合、クロマ残差スケーリング及び/又はCCLMは禁止されてもよい。
i. あるいは、カレントクロマブロックのコロケートルマブロックが分割されていない場合(例えば、1つのCU/TU/PU内)、クロマ残差スケーリング及び/又はCCLMは適用されてもよい。
c) 一例において、カレントクロマブロックのコロケートルマブロックがM個より多くのCU/PU/TUを含む場合、クロマ残差スケーリング及び/又はCCLMは禁止されてもよい。
i. 一例において、Mは1より大きい整数でもよい。
ii. 一例において、Mは、それがCCLMであるか又はクロマ残差スケーリング処理であるかに依存してもよい。
iii. Mは固定数でもよく、あるいはシグナリングされてもよく、あるいは標準プロファイル/レベル/層に依存してもよい。
d) コロケートルマブロック内の上述のCUは、コロケートルマブロック内の全てのCUであると解釈されてもよい。あるいは、コロケートルマブロック内のCUは、コロケートルマブロック内の部分的なCU、例えば、コロケートルマブロックの境界に沿ったCUであると解釈されてもよい。
e) コロケートルマブロック内の上述のCUは、サブCU又はサブブロックであると解釈されてもよい。
i. 例えば、サブCU又はサブブロックはATMVPで使用され得る。
ii. 例えば、サブCU又はサブブロックはアフィン予測で使用され得る。
iii. 例えば、サブCU又はサブブロックは、イントラサブパーション(Intra Sub-Partitions、ISP)モードで使用され得る。
f) 一例において、コロケートルマブロックの左上ルマサンプルをカバーするCU/PU/TUが予め定義されたルマブロックサイズより大きい場合、クロマ残差スケーリング及び/又はCCLMは禁止されてもよい。
i. 一例が図8に示され、コロケートルマブロックは32×32であるが、それは64×64に等しいサイズの対応するルマブロック内にあり、予め定義されたルマブロックサイズが32×64である場合、クロマ残差スケーリング及び/又はCCLMはこの場合禁止される。
ii. あるいは、カレントクロマブロックのコロケートされたものが分割されておらず、コロケートルマブロックの左上ルマサンプルをカバーする対応するルマブロックが、予め定義された境界ボックス(bounding box)内に完全に含まれている場合、カレントクロマブロックに対するクロマ残差スケーリング及び/又はCCLMを適用してもよい。境界ボックスは、図9に示すように、幅W及び高さHを有する、W×Hで示される矩形として定義され得、ここで、対応するルマブロックは幅32及び高さ64を有し、境界ボックスは幅40及び高さ70を有する。
1) 一例において、境界ボックスのサイズW×Hは、CTU幅及び/又は高さに従って、又はCU幅及び/又は高さに従って、又は任意の値に従って定義されてもよい。
g) 一例において、カレントクロマブロックのコロケートルマブロックが複数のパーティションにより分けられる場合、コロケートルマブロックの予め定義されたパーティション内の予測サンプル(又は、再構成サンプル)のみが、LMCSモードにおけるクロマ残差スケーリングファクタを導出するために使用される。
i. 一例において、コロケートルマブロックの第1のパーティション内の全ての予測サンプル(又は、再構成サンプル)の平均を使用して、LMCSモードにおけるクロマ残差スケーリングファクタを導出する。
ii. あるいは、コロケートルマブロックの第1のパーティションにおける左上の予測サンプル(又は、再構成サンプル)を使用して、LMCSモードにおけるクロマ残差スケーリングファクタを導出する。
iii. あるいは、コロケートルマブロックの第1のパーティションにおける中心の予測サンプル(又は、再構成サンプル)を使用して、LMCSモードにおけるクロマ残差スケーリングファクタを導出する。
h) CCLM及びLMCSなどのクロスコンポーネントツールを適用するかどうか及び適用する方法が、コロケートルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUの符号化モードに依存し得ることが提案される。
i. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUがアフィンモードで符号化されている場合、クロスコンポーネントツールは無効にされる。
ii. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUが双予測で符号化されている場合、クロスコンポーネントツールは無効にされる。
iii. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUがBDOFで符号化されている場合、クロスコンポーネントツールは無効にされる。
iv. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUがDMVRで符号化されている場合、クロスコンポーネントツールは無効にされる。
v. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUが、JVET-N0217で提案されている行列アフィン予測モードで符号化されている場合、クロスコンポーネントツールは無効にされる。
vi. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUがインターモードで符号化されている場合、クロスコンポーネントツールは無効にされる。
vii. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUがISPモードで符号化されている場合、クロスコンポーネントツールは無効にされる。
viii. 一例において、「コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCU」は、対応するルマブロックを参照し得る。
i) CCLM/LMCSが禁止されているとき、CCLM/LMCSの使用の指標のシグナリングはスキップされてもよい。
j) 本開示において、CCLMは、LMモード、LM-Tモード、及びLM-Lモードを含む、CCLMの任意のバリアントモードを参照し得る。
14. CCLM及びLMCSなどのクロスコンポーネントツールを適用するかどうか及び適用する方法が、クロマブロックの一部に対して実行され得ることが提案される。
a) 一例において、CCLM及びLMCSなどのクロスコンポーネントツールを適用するかどうか及び適用する方法は、クロマサブブロックレベルにおけるものである。
i. 一例において、クロマサブブロックは、クロマCU内の2×2又は4×4ブロックとして定義される。
ii. 一例において、クロマサブブロックについて、カレントクロマCUの対応するルマ符号化ブロックが、サブブロックの対応するブロックの全てのサンプルをカバーするとき、CCLMが適用されてもよい。
iii. 一例において、クロマサブブロックについて、対応するブロックの全てのサンプルが、カレントクロマCUの対応するルマ符号化ブロックによりカバーされるわけではないとき、CCLMは適用されない。
iv. 一例において、CCLM又はLMCSのパラメータは、各クロマサブブロックに対して、そのサブブロックをクロマCUとして扱うものとして導出される。
v. 一例において、CCLM又はLMCSがクロマサブブロックに適用されるとき、コロケートブロックのサンプルが使用されてもよい。
15. CCLMなどのクロスコンポーネントツールを適用するかどうか及び適用する方法が、ブロックの大きさ及び/又はパーティション情報及び/又はパーティション構造タイプ(例えば、デュアルツリー又は単一ツリー)に依存し得ることが提案される。
a) 一例において、CCLMは、クロマデュアルツリーパーティションに対して無効にされ得る。
b) 一例において、CCLMは、ブロックの大きさに依存して条件付きで無効にされ得る。
i. 一例において、カレントブロックの大きさがWB×HBであると仮定し、以下のCCLMは、WBと、HBと、2つの整数T1及びT2との間の関係に依存して無効にされてもよい。
1) 一例において、CCLMは、WB≧T1及びHB≧T2の場合、無効にされてもよい。例えば、T1=T2=8である。
2) 一例において、CCLMは、WB*HB>=T1の場合、無効にされてもよい。例えば、T1=64である。
3) 一例において、CCLMは、Min(WB,HB)>=T1の場合、無効にされてもよい。例えば、T1=8である。
4) 一例において、CCLMは、Max(WB,HB)>=T1の場合、無効にされてもよい。例えば、T1=8である。
5) 一例において、CCLMは、WB<=T1及びHB<=T2の場合、無効にされてもよい。例えば、T1=T2=16である。
6) 一例において、CCLMは、WB*HB<=T1の場合、無効にされてもよい。例えば、T1=4096である。
7) 一例において、CCLMは、Min(WB,HB)<=T1の場合、無効にされてもよい。例えば、T1=64である。
8) 一例において、CCLMは、Max(WB,HB)<=T1の場合、無効にされてもよい。例えば、T1=64である。
c) 一例において、CCLMは、ブロックの大きさ及び/又はパーティション情報により制限されてもよい。
i. 一例において、大きさWB×HBのクロマブロックについて、以下の条件のうち1つ又は複数が満たされる場合、CCLMは無効にされる。例えば、WB=HB=32である。以下の箇条書きにおいて、コロケートルマブロックの大きさは(sh×WB)×(sv×HB)であり得、ここで、shとsvはスケーリングファクタである。例えば、色フォーマットが4:2:0のとき、sh=sv=2である。
1) カレントクロマブロックは水平分割を伴うリーフノードにあり、コロケートルマブロックは垂直分割を伴うリーフノードにある。
a) 一例において、カレントクロマブロックはSPLIT_TT_HORモードで分割され、コロケートルマブロックはSPLIT_TT_VERモードで分割される。
b) 一例において、カレントクロマブロックはSPLIT_TT_HORモードで分割され、コロケートルマブロックはSPLIT_BT_VERモードで分割される。
c) 一例において、カレントクロマブロックはSPLIT_BT_HORモードで分割され、コロケートルマブロックはSPLIT_TT_VERモードで分割される。
d) 一例において、カレントクロマブロックはSPLIT_BT_HORモードで分割され、コロケートルマブロックはSPLIT_BT_VERモードで分割される。
2) カレントクロマブロックは垂直分割を伴うリーフノードにあり、コロケートルマブロックは水平分割を伴うリーフノードにある。
a) 一例において、カレントクロマブロックはSPLIT_TT_VERモードで分割され、コロケートルマブロックはSPLIT_TT_HORモードで分割される。
b) 一例において、カレントクロマブロックはSPLIT_TT_VERモードで分割され、コロケートルマブロックはSPLIT_BT_HORモードで分割される。
c) 一例において、カレントクロマブロックはSPLIT_BT_VERモードで分割され、コロケートルマブロックはSPLIT_TT_HORモードで分割される。
d) 一例において、カレントクロマブロックはSPLIT_BT_VERモードで分割され、コロケートルマブロックはSPLIT_BT_HORモードで分割される。
d) 一例において、CCLMがブロックに対して無効にされている場合、CCLMに関連するシンタックス要素は、ブロック内でシグナリングされなくてもよい。
i. あるいは、CCLMがブロックに対して無効にされている場合、CCLMに関連するシンタックス要素はシグナリングされ得るが、CCLMモードは、適合ビットストリーム内のブロックで使用されるべきではない。
ii. あるいは、CCLMがブロックに対して無効にされている場合、CCLMに関連するシンタックス要素はシグナリングされてもよい。CCLMモードがシグナリングされる場合、planar又はDCなどのデフォルトモードが適用され得る。
[LMCSモードにおけるクロマ残差スケーリングの適用可能性]
16. ルマ依存クロマ残差スケーリングを適用できるかどうかが、JVET-M1001に規定されるタイルグループヘッダに加えて、他のシンタックスレベルでシグナリングされ得ることが提案される。
a) 例えば、chroma_residual_scale_flagが、シーケンスレベルで(例えば、SPS内で)、ピクチャレベルで(例えば、PPS又はピクチャヘッダ内で)、スライスレベルで(例えば、スライスヘッダ内で)、タイルレベルで、CTU行レベルで、CTUレベルで、CUレベルでシグナリングされてもよい。1に等しいchroma_residual_scale_flagは、シグナリングされたシンタックスレベル以下のCUに対してクロマ残差スケーリングを有効にされていることを指定する。0に等しいchroma_residual_scale_flagは、シグナリングされたシンタックスレベル以下に対してクロマ残差スケーリングが有効にされないことを指定する。chroma_residual_scale_flagが存在しないとき、それは0に等しいと推論される。
b) 一例において、クロマ残差スケーリングがパーティションノードレベルで制約されている場合、chroma_residual_scale_flagは、シグナリングされなくてもよく、パーティションノードによりカバーされるCUについて0であると推論され得る。一例において、パーティションノードはCTUでもよい(CTUは、4要素からなるツリーパーティションのルートノードとして扱われる)。
c) 一例において、32×32以下のクロマブロックサイズに対してクロマ残差スケーリングが制約されている場合、chroma_residual_scale_flagは、シグナリングされなくてもよく、32×32以下のクロマブロックサイズについて0であると推論され得る。
[CCLMモードの適用可能性]
17. CCLMモードを適用できるかどうかが、JVET-M1001に規定されるspsレベルに加えて、他のシンタックスレベルでシグナリングされ得ることが提案される。
a) 例えば、それは、ピクチャレベルで(例えば、PPS又はピクチャヘッダ内で)、スライスレベルで(例えば、スライスヘッダ内で)、タイルグループレベルで(例えば、タイルグループヘッダ内で)、タイルレベルで、CTU行レベルで、CTUレベルで、CUレベルでシグナリングされてもよい。
b) 一例において、CCLMを適用できない場合、cclm_flagはシグナリングされなくてもよく、0であると推論され得る。
i. 一例において、8x8以下のクロマブロックサイズについてクロマ残差スケーリングが制約されている場合、cclm_flagはシグナリングされなくてもよく、8x8以下のクロマブロックサイズについて0であると推論され得る。
[イントラモード及びインターモードのクロマ残差スケーリングファクタ導出の統合]
18. クロマ残差スケーリングファクタは、ルマブロックをエンコード/デコードした後に導出され得、続く符号化ブロックのために記憶及び使用され得る。
a) 一例において、ルマブロック内の特定の予測サンプル又は/及び中間予測サンプル又は/及び再構成サンプル又は/及びループフィルタリング前(例えば、デブロッキングフィルタ又は/及びSAOフィルタ又は/及びバイラテラルフィルタ又は/及びアダマール変換フィルタ又は/及びALFフィルタにより処理される前)の再構成サンプルが、クロマ残差スケーリングファクタの導出に使用され得る。
i. 例えば、ルマブロックの最下行又は/及び右列内の部分的サンプルを、クロマ残差スケーリングファクタの導出に使用してもよい。
b) 単一ツリーの場合、イントラモード又は/及びIBCモード又は/及びインターモードで符号化されるブロックをエンコードするとき、近隣のブロックの導出されたクロマ残差スケーリングファクタが、カレントブロックのスケーリングファクタを導出するために使用され得る。
i. 一例において、特定の近隣のブロックが順番にチェックされてもよく、最初の利用可能なクロマ残差スケーリングファクタがカレントブロックに使用されてもよい。
ii. 一例において、特定の近隣のブロックが順番にチェックされてもよく、最初のK個の利用可能な近隣クロマ残差スケーリングファクタに基づいてスケーリングファクタを導出してもよい。
iii. 一例において、インターモード又は/及びCIIPモードで符号化されるブロックについて、近隣のブロックがイントラモード又は/及びIBCモード又は/及びCIIPモードで符号化されている場合、近隣のブロックのクロマ残差スケーリングファクタは「利用不可能」とみなされてもよい。
iv. 一例において、近隣のブロックは、左(又は、左上)→上(又は、右上)の順にチェックされ得る。
1) あるいは、近隣のブロックは、上(又は、右上)→左(又は、左上)の順にチェックされてもよい。
c) セパレートツリーの場合、クロマブロックをエンコードするとき、対応するルマブロックが最初識別され得る。次いで、その(例えば、対応するルマブロックの)近隣のブロックの導出されたクロマ残差スケーリングファクタが、カレントブロックのスケーリングファクタを導出するために使用され得る。
i. 一例において、特定の近隣のブロックが順番にチェックされてもよく、最初の利用可能なクロマ残差スケーリングファクタがカレントブロックに使用されてもよい。
ii. 一例において、特定の近隣のブロックが順番にチェックされてもよく、最初のK個の利用可能な近隣クロマ残差スケーリングファクタに基づいてスケーリングファクタを導出してもよい。
d) 近隣のブロックは予め定義された順序でチェックされてもよい。
i. 一例において、近隣のブロックは、左(又は、左上)→上(又は、右上)の順にチェックされ得る。
ii. 一例において、近隣のブロックは、上(又は、右上)→左(又は、左上)の順にチェックされ得る。
iii. 一例において、近隣のブロックは、左下→左→右上→上→左上の順にチェックされ得る。
iv. 一例において、近隣のブロックは、左→上→右上→左下→左上の順にチェックされ得る。
e) 一例において、クロマ残差スケーリングを適用するかどうかは、近隣のブロックの「利用可能性」に依存し得る。
i. 一例において、「利用可能な」近隣のブロックがないとき、クロマ残差スケーリングは拒否されてもよい。
ii. 一例において、「利用可能な」近隣のブロックの数がK(K>=1)より小さいとき、クロマ残差スケーリングは拒否されてもよい。
iii. あるいは、「利用可能な」近隣のブロックがないとき、クロマ残差スケーリングファクタはデフォルト値により導出されてもよい。
1) 一例において、デフォルト値1<<(BitDepth-1)を使用して、クロマ残差スケーリングファクタを導出してもよい。
f) 一例において、カレントクロマブロックのクロマ残差スケーリングファクタは、続く符号化ブロックのために記憶及び使用され得る。
g) 一例において、クロマ残差スケーリングファクタの記憶は、ラインバッファから除去され得る。
i. 一例において、カレントブロックと、アクセスされる近隣の(隣接又は非隣接の)ブロックとが異なる領域内にあるとき、そのクロマ残差スケーリングファクタは「利用不可能」とみなされ得、カレントブロックのクロマ残差スケーリングファクタの導出に使用されなくてもよい。
1) 領域は、スライス、タイル、タイルグループ、CTU行、又はCTUであり得る。
2) あるいは、そのクロマ残差スケーリングファクタは、そのような場合にはデフォルト値として考慮されてもよい。
3) あるいは、クロマ残差スケーリングは、そのような場合には適用できない。
h) 一例において、カレントクロマブロックのクロマ残差スケーリングファクタはオンザフライで更新されてもよく、続くブロックのスケーリングファクタ導出のために履歴テーブルに保存されてもよい。
i. 履歴テーブルは、FIFO(先入れ先出し)方式で更新され得る。
ii. クロマブロックをデコード/エンコードした後、クロマ残差スケーリングファクタを(例えば、ルマ値に従って)導出してもよく、FIFO履歴テーブルに記憶してもよい。
iii. 一例において、FIFO履歴テーブルは、最大で1つのエントリを含み得る。この場合、最新の復号ブロックの導出されたクロマ残差スケーリングファクタがカレントブロックに使用される。
iv. 一例において、履歴テーブルは、ピクチャ及び/又はスライス及び/又はタイルグループ及び/又はタイル及び/又はCTU行及び/又はCTUをエンコード/デコードする前にリフレッシュされる。
1) 一例において、履歴テーブルがリフレッシュされるとき、履歴テーブルにデフォルトのクロマ残差スケーリングファクタを入れてもよい。
2) 一例において、FIFO履歴テーブルがリフレッシュされるとき、履歴テーブルは空に設定される。
5. 実施形態
5.1 実施形態#1
以下で論じられる例示的な実施形態は、セクション4の項目11の一例示的な方法に関する。
新たに追加された部分は下線と太字で示され、VVC作業原案から削除される部分は太字の大文字フォントで示される。この修正は、最新のVVC作業原案(JVET-M1007-v7)とJVET-N220-v3における新しい採択に基づく。
Figure 2022531216000022
Figure 2022531216000023
Figure 2022531216000024
Figure 2022531216000025
5.2 実施形態♯2
以下の実施形態は、本発明の説明の項目11における方法に関する。
新たに追加された部分は下線と太字で示され、VVC作業原案から削除される部分は太字の大文字フォントで示される。この修正は、最新のVVC作業原案(JVET-M1007-v7)とJVET-N220-v3における新しい採択に基づく。
実施形態#2と#1との差を、以下のとおり列挙する。
- 複数の近隣ルマサンプルをチェックして、クロマ残差スケーリングファクタを導出する。
- 近隣ルマサンプルが利用できないとき、又は、近隣ルマがINTRA/CIIP/IBCモードで符号化されている一方でカレントがINTERモードで符号化されているとき、#2はクロマ残差スケーリングファクタ導出にデフォルト値を使用する。
Figure 2022531216000026
Figure 2022531216000027
Figure 2022531216000028
Figure 2022531216000029
5.3 実施形態#3
以下の実施形態は、本発明の説明の項目12における方法に関する。
新たに追加された部分は太字の斜体で強調表示され、VVC作業原案から削除される部分は大文字の太字フォントで強調表示されている。この修正は、最新のVVC作業原案(JVET-M1007-v7)とJVET-N220-v3における新しい採択に基づく。
Figure 2022531216000030
Figure 2022531216000031
5.4 実施形態#4
以下の実施形態は、本発明の説明の項目12における方法に関する。
新たに追加された部分は太字の斜体で強調表示され、VVC作業原案から削除される部分は大文字の太字フォントで強調表示されている。この修正は、最新のVVC作業原案(JVET-M1007-v7)とJVET-N220-v3における新しい採択に基づく。
Figure 2022531216000032
Figure 2022531216000033
5.5 実施形態5
以下の実施形態は、本発明の説明の項目12における方法に関する。
新たに追加された部分は太字の斜体で強調表示され、VVC作業原案から削除される部分は大文字の太字フォントで強調表示されている。この修正は、最新のVVC作業原案(JVET-M1007-v7)とJVET-N220-v3における新しい採択に基づく。
Figure 2022531216000034
Figure 2022531216000035
6. 開示された技術の例示的な実装
図10は、ビデオ処理装置1000のブロック図である。装置1000は、本明細書に記載される方法の1つ以上を実施するために使用することができる。装置1000は、スマートフォン、タブレット、コンピュータ、モノのインターネット(Internet of Things、IoT)の受信機などにおいて具現化されてもよい。装置1000は、1つ以上のプロセッサ1002、1つ以上のメモリ1004、及びビデオ処理ハードウェア1006を含むことができる。プロセッサ1002は、本文献に記載される1つ以上の方法(これらに限定されないが、方法800及び900を含む)を実施するように構成され得る。メモリ(複数のメモリ)1004は、本明細書に記載される方法及び手法を実施するために使用されるデータ及びコードを記憶するために使用され得る。ビデオ処理ハードウェア1006は、本文献に記載されるいくつかの手法をハードウェア回路に実装するために使用され得る。
いくつかの実施形態において、ビデオ符号化方法は、図10に関して説明したようなハードウェアプラットフォーム上に実装される装置を使用して実施されてもよい。
図11は、開示された技術による、クロスコンポーネント予測のための線形モデル導出の一例示的な方法1100のフローチャートを示す。この方法1100は、ステップ1110において、カレントビデオブロックとカレントビデオブロックのビットストリーム表現との間のコンバージョン(conversion)を実行するステップを含み、このコンバージョンの間、1つ以上の参照フレームに含まれる第1の色成分値セットから、カレントビデオブロックの第2の色成分値セットが導出され、第1の色成分値セットは、ビデオ符号化ステップの線形モデルにおいて使用可能である。
いくつかの実施形態が、以下の箇条ベースのフォーマットを使用して説明され得る。
1. ビデオ処理のための方法であって、
カレントビデオブロックと前記カレントビデオブロックのビットストリーム表現との間のコンバージョンを実行するステップであり、前記コンバージョンの間、前記カレントビデオブロックの第2の色成分値セットが、1つ以上の参照フレームに含まれる第1の色成分値セットから導出され、前記第1の色成分値セットは、ビデオ符号化ステップの線形モデルにおいて使用可能である、ステップ
を含む方法。
2. 前記第1の色成分値セットは、前記ビデオ符号化ステップの前記線形モデルにおいて使用する前に補間される、箇条1に記載の方法。
3. の前記第1の色成分値セットの線形結合が、前記線形モデルのパラメータとして使用可能である、箇条1乃至2のうちいずれか1つ以上に記載の方法。
4. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットの位置は、前記カレントビデオブロックの動き情報に少なくとも部分的に基づいて選択される、箇条1に記載の方法。
5. 前記1つ以上の参照フレーム内のルマ成分値の位置は、前記カレントビデオブロック内の対応するルマ成分値の位置と、前記カレントビデオブロックの前記動き情報とから計算される、箇条4に記載の方法。
6. 前記対応するルマ成分値の位置は、前記カレントビデオブロック内の左上サンプル、中心サンプル、又は右下サンプルである、箇条5に記載の方法。
7. 前記カレントビデオブロックの前記動き情報は、整数動きベクトル又は分数動きベクトルに対応する、箇条6に記載の方法。
8. 前記分数動きベクトルは、前記1つ以上の参照フレームにおける分数ルマ成分値を用いて導出される、箇条7に記載の方法。
9. 前記整数動きベクトルは、ゼロに近づくよう又はゼロから離れるように丸めることにより導出される、箇条7に記載の方法。
10. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットの位置は、予め定義された位置である、箇条1に記載の方法。
11. 前記第1の色成分値セットの中央値又は平均値が、前記カレントビデオブロックの前記第2の色成分値セットを導出するために使用される、箇条1乃至10のうちいずれか1つ以上に記載の方法。
12. 前記1つ以上の参照フレームは予め定義された参照フレームである、箇条1乃至11のうちいずれか1つ以上に記載の方法。
13. 前記予め定義された参照フレームは、参照ピクチャリストの参照インデックスを有するフレームを含む、箇条12に記載の方法。
14. 前記参照インデックスはゼロであり、前記参照ピクチャリストはゼロである、箇条13に記載の方法。
15. 前記参照インデックス及び/又は前記参照ピクチャリストは、以下、すなわち、シーケンス、ピクチャ、タイル、グループ、スライス、タイル、符号化ツリーユニット、又はビデオブロック、のうち1つ以上に関連づけられたビットストリーム表現においてシグナリングされる、箇条13に記載の方法。
16. 前記カレントビデオブロックの前記第2の色成分値セットは、前記1つ以上の参照フレームに含まれる前記第1の色成分値セットの数学的平均又は加重平均から導出される、箇条1に記載の方法。
17. 前記カレントビデオブロックの前記第2の色成分値セットは、前記カレントビデオブロックが双予測符号化ブロックであるかどうかに基づいて、前記1つ以上の参照フレームに含まれる前記第1の色成分値のセットから選択的に導出される、箇条1に記載の方法。
18. 前記カレントビデオブロックの前記第2の色成分値セットは、前記第1の色成分値セットの各予測方向に対して個々に導出される、箇条17に記載の方法。
19. 前記カレントビデオブロックの前記第2の色成分値セットは、前記カレントビデオブロックがサブブロックベースの予測に関連づけられるかどうかに基づいて、前記1つ以上の参照フレームに含まれる前記第1の色成分値セットから選択的に導出される、箇条1に記載の方法。
20. 前記サブブロックベースの予測は、アフィン予測又は代替時間動きベクトル予測(ATMVP)に対応する、箇条1に記載の方法。
21. 前記カレントビデオブロックの前記第2の色成分値セットは、個々のサブブロックに対して導出される、箇条19乃至20のうちいずれか1つ以上に記載の方法。
22. 前記カレントビデオブロックの前記第2の色成分値セットは、前記サブブロックベースの予測にかかわらず、前記カレントビデオブロックの全体に対して導出される、箇条19乃至21のうちいずれか1つ以上に記載の方法。
23. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、前記カレントビデオブロックのサブブロックの動きベクトルに少なくとも部分的に基づいて選択される、箇条19乃至22のうちいずれか1つ以上に記載の方法。
24. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、中間色成分値である、箇条1乃至23のうちいずれか1つ以上に記載の方法。
25. 前記ビデオ符号化ステップは、別のビデオ符号化ステップに先行する、箇条1乃至24のうちいずれか1つ以上に記載の方法。
26. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、前記カレントビデオブロック又は前記カレントビデオブロックのサブブロックの中間動きベクトルに少なくとも部分的に基づいて選択され、前記中間動きベクトルは、前記別のビデオ符号化ステップの前に計算される、箇条25に記載の方法。
27. 前記別のビデオ符号化ステップは、以下のステップ、すなわち、双方向オプティカルフロー(BDOF)ステップ、デコーダ側動きベクトル精緻化(DMVR)ステップ、予測精緻化オプティカルフロー(PROF)ステップ、のうち1つ又は組み合わせを含む、箇条24乃至26のうちいずれか1つ以上に記載の方法。
28. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、対応するルマブロックに関連づけられたM×Nルマ成分値に対応する、箇条1乃至27のうちいずれか1つ以上に記載の方法。
29. 前記対応するルマブロックは、前記カレントビデオブロックのコロケートルマブロックである、箇条28に記載の方法。
30. MとNの積は、前記カレントビデオブロックの前記コロケートルマブロックのブロック幅とブロック高さの積より小さい、箇条29に記載の方法。
31. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、前記コロケートルマブロックの近隣のルマサンプルの位置で識別される参照サンプルの少なくとも一部に対応する、箇条27乃至30のうちいずれか1つ以上に記載の方法。
32. 前記第1の色成分値セットは、前記ビデオ符号化ステップの前記線形モデルにおいて使用する前にダウンサンプリングされる、箇条1乃至31のうちいずれか1つ以上に記載の方法。
33. 前記カレントビデオブロックの前記第2の色成分値セットは、前記カレントビデオブロックの以下の情報、すなわち、量子化パラメータ、符号化モード、又はピクチャオーダカウント(POC)、のうち1つ以上に少なくとも部分的に基づいて選択される、箇条1に記載の方法。
34. 前記近隣のルマサンプルの位置は、前記コロケートルマブロックの左上サンプルがカバーされるようなものである、箇条31に記載の方法。
35. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、前記対応するルマブロックの外部の位置で識別される参照サンプルの少なくとも一部に対応する、箇条28に記載の方法。
36. 前記カレントビデオブロックの前記第2の色成分値セットは、前記対応するルマブロックの近隣のサンプルの利用可能性に基づいて、前記1つ以上の参照フレームに含まれる前記第1の色成分値セットから選択的に導出される、箇条28に記載の方法。
37. 前記対応するルマブロックの前記近隣のサンプルの利用可能性は、前記カレントビデオブロックの符号化モードの使用、前記対応するルマブロックの前記近隣のサンプルの符号化モードの使用、前記対応するルマブロックの符号化モードの使用、1つ以上の近隣のビデオブロックの符号化モードの使用、前記対応するルマブロックの前記近隣のサンプルに関連づけられたフィルタのタイプの使用、又は前記カレントビデオブロック又はそのサブブロックに対する前記対応するルマブロックの前記近隣のサンプルの位置、のうち1つ以上に基づく、箇条28に記載の方法。
38. 前記対応するルマブロックの前記近隣のサンプルの利用可能性の欠如に応答して、利用不可能なサンプルを他のサンプルで置換、フィル、又はパディングするステップ、
をさらに含む箇条28に記載の方法。
39. 前記対応するルマブロックの近隣のサンプルに平滑化フィルタを適用するステップ、
をさらに含む箇条28条に記載の方法。
40. ビデオ処理のための方法であって、
カレントビデオブロックと前記カレントビデオブロックのビットストリーム表現との間のコンバージョンを実行するステップであり、前記コンバージョンの間、前記カレントビデオブロックの第2の色成分値セットは、1つ以上の参照フレームに含まれる第1の色成分値セットから導出され、前記第1の色成分値セットは、ビデオ符号化ステップの線形モデルにおいて使用可能である、ステップと、
前記1つ以上の参照フレームに含まれる前記第1の色成分値セットが前記カレントビデオブロックのコロケートルマブロックであると決定したことに応答して、前記カレントビデオブロックの前記コロケートルマブロックに関連づけられた1つ以上の条件に基づいて、前記カレントビデオブロックの前記第2の色成分値セットの導出を選択的に有効又は無効にするステップと、
を含む方法。
41. 前記カレントビデオブロックの前記コロケートルマブロックに関連づけられた前記1つ以上の条件は、前記コロケートルマブロックのパーティションサイズ、前記コロケートルマブロックの符号化ユニット数が閾値数値に達していること、前記コロケートルマブロックの左上ルマサンプルが閾値サイズに達していること、前記コロケートルマブロックのパーティションツリー深さ、対応するルマブロックが前記コロケートルマブロックの前記左上ルマサンプルをカバーしていること、前記コロケートルマブロック又は前記カレントビデオブロックの大きさ、又は対応するルマブロックが前記コロケートルマブロックの前記左上ルマサンプルをカバーし、さらに予め定義されたサイズの境界ボックス内に含まれることを含む、箇条40に記載の方法。
42. 前記導出を選択的に有効又は無効にすることを示す情報は、前記ビットストリーム表現に含まれる、箇条40に記載の方法。
43. 前記対応するルマブロックの近隣のサンプルの利用可能性は、予め定義された順序に従って前記近隣のサンプルをチェックすることに関連づけられる、箇条28に記載の方法。
44. 前記コロケートルマブロック及び前記カレントビデオブロックは、同じ符号化ツリーユニット、又は符号化ツリーユニットの同じ行に関連づけられる、箇条41に記載の方法。
45. ビデオ処理のための方法であって、
カレントビデオブロックとカレントビデオブロックのビットストリーム表現との間のコンバージョンを実行するステップであり、前記コンバージョンの間、前記カレントビデオブロックの第2の色成分値セットが、1つ以上の参照フレームに含まれる第1の色成分値セットから導出され、前記第1の色成分値セットは、ビデオ符号化ステップの線形モデルにおいて使用可能である、ステップと、
前記カレントビデオブロック又は前記カレントビデオブロックの近隣のビデオブロックの1つ以上の特性が満たされると決定したことに応答して、前記カレントビデオブロックの前記第2の色成分値セットの導出を選択的に有効又は無効にするステップと、
を含む方法。
46. 前記カレントビデオブロック又は前記カレントビデオブロックの近隣のビデオブロックの前記1つ以上の特性は、前記カレントビデオブロックの空間位置に対する空間位置をカバーする近隣のルマブロックに対応する、箇条45に記載の方法。
47. 前記カレントビデオブロック又は前記カレントビデオブロックの近隣のビデオブロックの前記1つ以上の特性は、前記カレントビデオブロックの空間位置に対する前記カレントビデオブロックの前記近隣のビデオブロックの空間位置に対応する、箇条45に記載の方法。
48. 前記近隣のビデオブロックの再構成が前記カレントビデオブロックの符号化モードに少なくとも部分的に基づくと決定したことに応答して、前記カレントビデオブロックの前記第2の色成分値セットの導出を無効にするステップ、
をさらに含む箇条45に記載の方法。
49. 前記カレントビデオブロックがインター符号化ブロックであり、組み合わせインター及びイントラ予測の符号化ブロックでなく、前記カレントビデオブロックの対応するルマブロックの近隣のブロックがイントラ符号化ブロック、組み合わせインター及びイントラ予測(CIIP)ブロック、又はイントラブロックコピー(IBC)符号化ブロックであると決定したことに応答して、前記カレントビデオブロックの前記第2の色成分値セットの導出を無効にするステップ、
をさらに含む箇条45に記載の方法。
50. 前記カレントビデオブロックがインター符号化ブロックであり、組み合わせインター及びイントラ予測の符号化ブロックでなく、前記カレントビデオブロックの対応するルマブロックの近隣のブロックがイントラ符号化ブロック、組み合わせインター及びイントラ予測(CIIP)ブロック、又はイントラブロックコピー(IBC)符号化ブロックであると決定したことに応答して、前記カレントビデオブロックの前記第2の色成分値セットの導出を有効にするステップであり、前記第1の色成分値セットは固定値である、ステップ、
をさらに含む箇条45条に記載の方法。
51. 前記第1の色成分値セットは固定値である、箇条45に記載の方法。
52. 前記固定値は、前記ビデオ符号化ステップの前記線形モデルの区分インデックスに対応する、箇条51に記載の方法。
53. 前記近隣のサンプルは、前記カレントビデオブロックに対して隣接又は非隣接であり得る、箇条1乃至52のうちいずれか1つ以上に記載の方法。
54. 前記近隣のサンプルは、前記カレントビデオブロックの近隣のクロマブロックに関連づけられ、あるいは前記カレントビデオブロックの近隣のクロマブロックであり得る、箇条1乃至52のうちいずれか1つ以上に記載の方法。
55. 前記カレントビデオブロックは、クロマブロック、前記コロケートルマブロック、又は前記コロケートクロマブロックの左上ルマサンプルをカバーする前記対応するルマブロックに対応する、箇条1乃至54のうちいずれか1つ以上に記載の方法。
56. 前記カレントビデオブロックの前記第2の色成分値セットは、1つ以上の他のビデオブロックと関連して使用のために記憶される、箇条1乃至54のうちいずれか1つ以上に記載の方法。
57. 前記線形モデルは、クロスコンポーネント線形モデル(CCLM)に対応し、前記ビデオ符号化ステップは、クロマスケーリング付きルママッピング(LMCS)モードに対応する、箇条1乃至56のうちいずれか1つ以上に記載の方法。
58. 前記カレントビデオブロックは、インター符号化ブロック、双予測符号化ブロック、組み合わせインター及びイントラ予測(CIIP)ブロック、又はイントラブロックコピー(IBC)符号化ブロックである、箇条1乃至57のうちいずれか1つ以上に記載の方法。
59. 前記カレントビデオブロックの前記第2の色成分値セットは、前記ビットストリーム表現における他のビデオブロックに関連づけられた使用のために記憶される、箇条1乃至58のうちいずれか1つ以上に記載の方法。
60. 前記カレントビデオブロックの前記第2の色成分値セットは、前記他のビデオブロックに含まれる近隣のビデオブロックによる選択的な利用可能性又は利用不可性(unavailability)のためのラインバッファに記憶され、前記カレントビデオブロック及び前記近隣のビデオブロックは、異なるスライス、タイル、タイルグループ、符号化ツリーユニット、又は符号化ツリーユニットの行に関連づけられる、箇条59に記載の方法。
61. 前記カレントビデオブロックの前記第2の色成分値セットは、固定値である、箇条60に記載の方法。
62. 前記カレントビデオブロックの前記第2の色成分値セットは、導出を防止される、箇条60に記載の方法。
63. 前記カレントビデオブロックの前記第2の色成分値セットの導出は、防止される、箇条59に記載の方法。
64. 前記カレントビデオブロックの前記第2の色成分値セットは、前記他のビデオブロックに含まれる近隣のビデオブロックによる選択的な利用可能性又は利用不可性のためにテーブルに記憶される、箇条59に記載の方法。
65. 前記カレントビデオブロックの前記第2の色成分値セットは、動的に更新される、箇条64に記載の方法。
66. 前記カレントビデオブロックの前記第2の色成分値セットは、前記他のビデオブロック内の前のビデオブロックと同じである、箇条65に記載の方法。
67. 前記カレントビデオブロックの前記第2の色成分値セットは、先入れ先出し(FIFO)方式で動的に更新される、箇条64に記載の方法。
68. 前記第1の色成分値セットは、ルマサンプル値に対応し、前記第2の色成分値セットは、クロマスケーリングファクタに対応する、箇条1乃至67のうちいずれか1つ以上に記載の方法。
69. ビデオ処理のための方法であって、
少なくとも2つの成分ブロックを含むビデオブロックと前記ビデオブロックのビットストリーム表現との間のコンバージョンのためのクロスコンポーネントコーデックツールの適用可能性をルールに基づいて決定するステップと、
前記クロスコンポーネントコーデックツールを選択的に使用することにより前記コンバージョンを実行するステップと、
含む方法。
70. 前記ルールは、前記カレントビデオブロックの大きさに基づく、箇条69に記載の方法。
71. 前記ルールは、前記カレントビデオブロックのパーティション情報に基づく、箇条69乃至70に記載の方法。
72. 前記ルールは、前記カレントビデオブロックのパーティションツリー構造に基づく、箇条69乃至71のうちいずれかに記載の方法。
73. 前記パーティションツリー構造は、デュアルツリー又は単一ツリーのうちの1つである、箇条72に記載の方法。
74. 前記ルールは、前記カレントビデオブロックが前記デュアルツリーパーティションツリー構造を有するクロマブロックであることに起因して、前記クロスコンポーネントコーデックツールを無効にすることを指定する、箇条72に記載の方法。
75. 前記ルールは、前記ビットストリーム表現における前記クロスコンポーネントコーデックツールのシンタックス要素のシグナリングを省略することを指定する、箇条69乃至74のうちいずれかに記載の方法。
箇条69乃至75に記載のさらなる例及び態様は、セクション4の項目15に記載されている。
76. プロセッサと、命令を有する非一時的メモリと、を含むビデオシステムにおける装置であって、前記命令は前記プロセッサにより実行されると、前記プロセッサに箇条1乃至75のうちいずれか1つにおける方法を実施させる、装置。
77. 非一時的コンピュータ読取可能媒体に記憶されたコンピュータプログラム製品であって、箇条1乃至75のうちいずれか1つにおける方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
図12は、本明細書に開示される様々な手法が実装され得る一例示的なビデオ処理システム1200を示すブロック図である。様々な実装が、システム1200のコンポーネントの一部又は全部を含んでもよい。システム1200は、ビデオコンテンツを受信する入力1202を含み得る。ビデオコンテンツは、生の又は非圧縮のフォーマット、例えば、8又は10ビットのマルチ成分画素値で受け取ることができ、あるいは圧縮又はエンコードされたフォーマットでもよい。入力1202は、ネットワークインターフェース、周辺バスインターフェース、又はストレージインターフェースを表すことができる。ネットワークインターフェースの例には、イーサネット、受動光ネットワーク(passive optical network、PON)などの有線インターフェース、及びWi-Fi又はセルラーインターフェースなどの無線インターフェースが含まれる。
システム1200は、本文献に記載される様々な符号化又はエンコード方法を実施することができる符号化コンポーネント1204を含み得る。符号化コンポーネント1204は、入力1202から符号化コンポーネント1204の出力へのビデオの平均ビットレートを低減して、ビデオの符号化表現を生成することができる。したがって、この符号化手法は、ビデオ圧縮又はビデオトランスコーディング手法と時に呼ばれる。符号化コンポーネント1204の出力は、コンポーネント1206により表されるように、記憶されるか、又は接続された通信を介して送信されてもよい。入力1202で受信したビデオの、記憶され又は通信されたビットストリーム(又は、符号化された)表現は、画素値、又はディスプレイインターフェース1210に送られる表示可能なビデオを生成するために、コンポーネント1208により使用することができる。ビットストリーム表現からユーザが見ることができるビデオを生成するプロセスは、ビデオ解凍と時に呼ばれる。さらに、特定のビデオ処理動作は「符号化」動作又はツールと呼ばれ、符号化ツール又は動作はエンコーダで使用され、符号化の結果を逆にする対応する復号ツール又は動作はデコーダにより実行されることが理解されるであろう。
周辺バスインターフェース又はディスプレイインターフェースの例には、ユニバーサルシリアルバス(USB)又は高精細マルチメディアインターフェース(high definition multimedia interface、HDMI(登録商標))又はDisplayportなどを含んでもよい。ストレージインターフェースの例には、SATA(シリアルアドバンストテクノロジーアタッチメント(serial advanced technology attachment))、PCI、IDEインターフェースなどが含まれる。本文献に記載される手法は、携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び/又はビデオ表示を実行することができる他のデバイスなどの様々な電子デバイスにおいて具現化することができる。
図13は、ビジュアルメディア処理方法の一例のフローチャートである。このフローチャートのステップは、本文献のセクション4の例12g(ii)に関連して説明される。ステップ1302において、プロセスは、ビジュアルメディアデータの対応するルマブロックの近隣のルマブロックの利用可能性を決定したことに応答して、ビジュアルメディアデータのカレントビデオクロマブロックのための第1のパラメータを、第1のパラメータが固定値又はカレントビデオクロマブロックの近隣のルマサンプルの丸めベースの平均値として導出されるように、導出し、対応するルマブロックは、カレントビデオクロマブロックに関連づけられた位置をカバーする。ステップ1304において、プロセスは、第1のパラメータに基づいてクロマスケーリングファクタを決定する。ステップ1306において、プロセスは、クロマスケーリングファクタに基づいてカレントビデオクロマブロックのクロマ残差スケーリングを実行する。ステップ1308において、プロセスは、カレントビデオクロマブロックとビットストリームとの間のコンバージョンのためにクロマスケーリングファクタを使用する。
図14は、ビジュアルメディア処理方法の一例のフローチャートである。このフローチャートのステップは、本文献のセクション4の例12dに関連して説明される。ステップ1402において、プロセスは、ビジュアルメディアデータのカレントビデオユニットに関連づけられた少なくとも1つのクロマブロックのためのクロマ残差スケーリングファクタを固定値に基づいて表すことを指定するルールを使用し、固定値は、1つ以上の条件に少なくとも基づく。ステップ1404において、プロセスは、カレントビデオユニットとカレントビデオユニットのビットストリーム表現との間のコンバージョンを実行する。
図15は、ビジュアルメディア処理方法の一例のフローチャートである。このフローチャートのステップは、本文献のセクション4の例15に関連して説明される。ステップ1502において、ビジュアルメディアデータのカレントビデオブロックとカレントビデオブロックのビットストリーム表現との間のコンバージョンの間、プロセスは、カレントビデオブロックに関連づけられた大きさ及び/又はパーティション情報及び/又は符号化構造タイプに少なくとも部分的に基づいて、カレントビデオブロックの色成分に対するクロスコンポーネント線形モデル(CCLM)の適用を選択的に有効又は無効にする決定を行い、CCLMにおいて、第1の色成分セットは、第2の色成分セットに基づいて予測される。
次に、本文献のいくつかの実施形態を、箇条ベースのフォーマットで提示する。
X1. ビジュアルメディア処理の方法であって、
ビジュアルメディアデータの対応するルマブロックの近隣のルマブロックの利用可能性を決定したことに応答して、前記ビジュアルメディアデータのカレントビデオクロマブロックのための第1のパラメータを、前記第1のパラメータが固定値又は前記カレントビデオクロマブロックの近隣のルマサンプルの丸めベースの平均値として導出されるように導出するステップであり、前記対応するルマブロックは、前記カレントビデオクロマブロックに関連づけられた位置をカバーする、ステップと、
前記第1のパラメータに基づいてクロマスケーリングファクタを決定するステップと、
前記クロマスケーリングファクタに基づいて前記カレントビデオクロマブロックのクロマ残差スケーリングを実行するステップと、
前記カレントビデオクロマブロックと前記カレントビデオクロマブロックのビットストリーム表現との間のコンバージョンに前記クロマスケーリングファクタを使用するステップと、
を含む方法。
X2. 前記第1のパラメータに基づいてクロマスケーリングファクタを決定するステップは、
前記第1のパラメータを使用して区分線形関数のインデックスを識別するステップを含む、箇条X1に記載の方法。
X3. 前記区分線形関数の前記インデックスを識別すると、前記カレントビデオクロマブロックの前記クロマ残差スケーリングに使用される前記クロマ残差ファクタを決定するステップ、
をさらに含む、箇条X2に記載の方法。
X4. 前記クロマ残差スケーリングファクタは、前記ビットストリーム表現におけるフィールドとして含まれる、箇条X1に記載の方法。
X5. 前記近隣のルマブロックのうち少なくとも1つが利用可能である場合、前記第1のパラメータは、前記カレントビデオクロマブロックの前記近隣のルマサンプルの前記丸めベースの平均値として導出される、箇条X1乃至X4のうちいずれか1つ以上に記載の方法。
X6. 近隣のルマブロックが利用不可能である場合、前記第1のパラメータは前記固定値として導出される、箇条X1乃至X4のうちいずれか1つ以上に記載の方法。
X7. 前記固定値はゼロである、箇条X1又はX6に記載の方法。
X8. 前記固定値は、ルマ色成分及び/又はクロマ色成分のビット深度に基づく、箇条X1又はX6に記載の方法。
X9. 前記固定値は、(1<<BitDepth)-1、又は1<<(BitDepth-1)であり、BitDepthは、前記ルマ色成分及び/又はクロマ色成分の前記ビット深度を示す、箇条X8に記載の方法。
X10. 前記固定値は、前記区分線形関数における最大ビンインデックスである、箇条X6に記載の方法。
X11. 前記固定値は、前記区分線形関数における最小ビンインデックスである、箇条X6に記載の方法。
X12. 前記固定値は、適応区分線形関数における最小ビンインデックスと最大ビンインデックスの平均である、箇条X6に記載の方法。
A1. ビジュアルメディア処理の方法であって、
ビジュアルメディアデータのカレントビデオユニットに関連づけられた少なくとも1つのクロマブロックのためのクロマ残差スケーリングファクタを固定値に基づいて表すことを指定するルールを使用するステップであり、前記固定値は1つ以上の条件に少なくとも基づく、ステップと、
前記カレントビデオユニットと前記カレントビデオユニットのビットストリーム表現との間のコンバージョンを実行するステップと、
を含む方法。
A2. 前記1つ以上の条件は、
(1)ピクチャ/スライス/タイルグループ/タイル/サブピクチャ/符号化ツリーユニット(CTU)行/CTU/仮想パイプラインデータユニット(VPDU)のタイプ、
(2)ピクチャ/スライス/タイルグループ/タイル/サブピクチャ/CTU行/CTU/VPDUの幅及び/又は高さ、
(3)前記カレントビデオユニットの符号化モード、又は
(4)前記カレントビデオユニットの近隣のサンプル
を含む、箇条A1に記載の方法。
A3. 第1の固定値が、第1のタイプのピクチャ/スライス/タイルグループ/タイル/サブピクチャ/CTU行/CTU/VPDUに対して計算され、第2の固定値が、第2のタイプのピクチャ/スライス/タイルグループ/タイル/サブピクチャ/CTU行/CTU/VPDUに対して計算される、箇条A2に記載の方法。
B1. ビジュアルメディア処理の方法であって、
ビジュアルメディアデータのカレントビデオブロックと前記カレントビデオブロックのビットストリーム表現との間のコンバージョンの間、前記カレントビデオブロックに関連づけられた大きさ及び/又はパーティション情報及び/又は符号化構造タイプに少なくとも部分的に基づいて、前記カレントビデオブロックの色成分に対するクロスコンポーネント線形モデル(CCLM)の適用を選択的に有効又は無効にする決定を行うステップであり、前記CCLMにおいて、第1の色成分セットは、第2の色成分セットの線形結合に基づいて予測される、ステップ、
を含む方法。
B2. 前記符号化構造タイプは、単一ツリー又はデュアルツリーである、箇条B1に記載の方法。
B3. 前記CCLMは、前記カレントビデオブロックがクロマブロックであること及び前記パーティション情報がデュアルツリーパーティションを指定することに基づいて無効にされる、箇条B1に記載の方法。
B4. 前記CCLMは、前記カレントビデオブロックの大きさが少なくとも1つの閾値条件を満たさないことに基づいて無効にされる、箇条B1に記載の方法。
B5. 前記少なくとも1つの閾値条件は、(i)前記カレントビデオブロックの幅及び/又は前記カレントビデオブロックの高さと、(ii)1つ以上の閾値パラメータと、の間の数学的関係に基づく、箇条B1に記載の方法。
B6. 前記1つ以上の閾値パラメータは、8、16、64、又は4096の値を有する、箇条B1に記載の方法。
B7. 前記カレントビデオブロックが水平分割を伴うリーフノードにあり、前記カレントビデオブロックに関連づけられたコロケートルマブロックが垂直分割を伴うリーフノードにあることを前記パーティション情報が指定するとき、前記CCLMは無効にされる、箇条B1に記載の方法。
B8. 前記カレントビデオブロックが水平三分割(horizontal ternary split)を伴うクロマブロックであり、前記コロケートルマブロックが垂直三分割(vertical ternary split)を伴うとき、前記CCLMは無効にされる、箇条B7に記載の方法。
B9. 前記カレントビデオブロックが水平二分割(horizontal binary split)を伴うクロマブロック分割であり、前記コロケートルマブロックが垂直三分割を伴うとき、前記CCLMは無効にされる、箇条B7に記載の方法。
B10. 前記カレントビデオブロックが水平二分割を伴うクロマブロック分割であり、前記コロケートルマブロックが垂直三分割を伴うとき、前記CCLMは無効にされる、箇条B7に記載の方法。
B11. 前記カレントビデオブロックが水平二分割を伴うクロマブロック分割であり、前記コロケートルマブロックが垂直二分割(vertical binary split)を伴うとき、前記CCLMは無効にされる、箇条B7に記載の方法。
B12. 前記カレントビデオブロックが垂直分割を伴うリーフノードにあり、前記カレントビデオブロックに関連づけられたコロケートルマブロックが水平分割を伴うリーフノードにあることを前記パーティション情報が指定するとき、前記CCLMは無効にされる、箇条B1に記載の方法。
B13. 前記カレントビデオブロックが垂直三分割を伴うクロマブロックであり、前記コロケートルマブロックが水平三分割を伴うとき、前記CCLMは無効にされる、箇条12に記載の方法。
B14. 前記カレントビデオブロックが垂直三分割を伴うクロマブロックであり、前記コロケートルマブロックが水平二分割を伴うとき、前記CCLMは無効にされる、箇条B12に記載の方法。
B15. 前記カレントビデオブロックが二垂直分割を伴うクロマブロックであり、前記コロケートルマブロックが水平三分割であるとき、前記CCLMは無効にされる、B12項の方法。
B16. 前記カレントビデオブロックが垂直二分割を伴うクロマブロックであり、前記コロケートルマブロックが水平二分割を伴うとき、前記CCLMは無効にされる、箇条B11に記載の方法。
B17. 前記カレントビデオブロックに対して前記CCLMが無効にされていると決定すると、前記ビットストリーム表現から、前記CCLMの適用を示すシンタックス要素を除外するステップ、
をさらに含む箇条B1乃至B16のうちいずれか1つ以上に記載の方法。
B18. 前記カレントビデオブロックに対して前記CCLMが無効にされていると決定すると、前記ビットストリーム表現に、前記CCLMの適用を示すシンタックス要素を含めるステップであり、前記CCLMに関連づけられた1つ以上の予測モードの使用はスキップされる、ステップ、
をさらに含む箇条B1乃至B16のうちいずれか1つ以上に記載の方法。
B19.前記カレントビデオブロックに対して前記CCLMが無効にされていると決定すると、前記ビットストリーム表現に、前記CCLMの適用を示すシンタックス要素を含めるステップであり、デフォルト予測モードが適用される、ステップ、
をさらに含む箇条B1乃至B16のうちいずれか1つ以上に記載の方法。
B20. 前記デフォルト予測モードは、planarモード又はDCモードである、箇条B19に記載の方法。
B21. 前記コンバージョンは、前記ビットストリーム表現をビデオブロックから生成することを含む、箇条X1乃至B20のうちいずれか1つ以上に記載の方法。
B22. 前記コンバージョンは、前記ビットストリーム表現からビデオブロックの画素値を生成することを含む、箇条X1乃至B20のうちいずれか1つ以上に記載の方法。
B23. 箇条X1乃至B20のうちいずれか1つ以上に記載の方法を実施するように構成されたプロセッサを含むビデオエンコーダ装置。
B24. 箇条X1乃至B20のうちいずれか1つ以上に記載の方法を実施するように構成されたプロセッサを含むビデオデコーダ装置。
B25. コードを記憶させたコンピュータ読取可能媒体であって、前記コードは、箇条X1乃至B20のうちいずれか1項以上に記載の方法を実施するプロセッサ実行可能命令を具現化している、コンピュータ読取可能媒体。
本文献において、用語「ビデオ処理」又は「ビジュアルメディア処理」は、ビデオ符号化、ビデオ復号、ビデオ圧縮、又はビデオ解凍を参照し得る。例えば、ビデオ圧縮アルゴリズムはビデオの画素表現から対応するビットストリーム表現へのコンバージョンに適用することができ、あるいはその逆も同様である。カレントビデオブロックのビットストリーム表現は、例えば、シンタックスにより定義されるように、ビットストリーム内の異なる場所にコロケートされ又は拡散されるビットに対応し得る。例えば、マクロブロックは、変換及び符号化された誤差残差値の観点で、また、ビットストリーム内のヘッダ及び他のフィールド内のビットを使用して符号化され得る。さらに、コンバージョンの間、デコーダは、上記のソリューションに記載されるように、決定に基づいて、いくつかのフィールドが存在し得、又は存在し得ないという知識を用いてビットストリームをパースすることができる。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべき、又は含まれるべきでないと決定し、それに応じて、シンタックスフィールドを含め、又は符号化表現から除外することにより、符号化表現を生成することができる。
以上から、本明細書において説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正がなされ得ることが理解されるであろう。したがって、本開示の技術は、別記の特許請求の範囲によるものを除き、限定されない。
本特許文献に記載されている主題事項及び機能動作の実装は、本明細書に開示されている構造及びそれらの構造的等価物を含む、様々なシステム、デジタル電子回路で、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアにおいて、又はそれらの1つ以上の組み合わせにおいて実施することができる。本明細書に記載されている主題事項の実装は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のため、又はデータ処理装置の動作を制御するための、有形及び非一時的コンピュータ読取可能媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実施することができる。コンピュータ読取可能媒体は、マシン読取可能記憶デバイス、マシン読取可能記憶基板、メモリデバイス、マシン読取可能伝搬信号に影響を与える物質の組成、又はこれらの1つ以上の組み合わせとすることができる。用語「データ処理ユニット」又は「データ処理装置」は、例えばプログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理するための全ての装置、デバイス、及びマシンを包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はこれらの1つ以上の組み合わせを構成するコードを含むことができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイル型又は解釈型言語を含む任意の形式のプログラミング言語で書くことができ、それは、スタンドアロンプログラムとして、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、又は他のユニットとしてを含む、任意の形態でデプロイすることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するものではない。プログラムは、他のプログラム又はデータを保持するファイルの一部分(例えば、マークアップ言語文書に記憶された1つ以上のスクリプト)に、問題のプログラム専用の単一のファイルに、又は複数の調整されたファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの一部分を記憶するファイル)に記憶することができる。コンピュータプログラムは、1つのコンピュータ上で、又は、1つのサイトに配置され若しくは複数のサイトにわたり分散されて通信ネットワークにより相互接続される複数のコンピュータ上で、実行されるようにデプロイすることができる。
本明細書に記載されるプロセス及び論理フローは、入力データに対して動作し出力を生成することにより機能を実行するために、1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサにより実行することができる。プロセス及び論理フローは、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)により実行することもでき、装置もまた、これらとして実行することができる。
コンピュータプログラムの実行に適したプロセッサには、例えば、汎用及び専用双方のマイクロプロセッサ、及び任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサが含まれる。一般に、プロセッサは、読取専用メモリ又はランダムアクセスメモリ又は双方から命令及びデータを受け取る。コンピュータの必須要素は、命令を実行するプロセッサと、命令及びデータを記憶する1つ以上のメモリデバイスである。一般に、コンピュータはまた、データを記憶する1つ以上の大容量記憶デバイス、例えば、磁気、磁気光ディスク、又は光ディスクを含み、あるいはこれらからデータを受け取り、又はこれらにデータを転送し、又は双方を行うために動作上結合される。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ読取可能媒体には、例として半導体メモリデバイス、例えば、EPROM、EEPROM、及びフラッシュメモリデバイスを含む、全ての形態の不揮発性メモリ、媒体、及びメモリデバイスが含まれる。プロセッサ及びメモリは、専用論理回路により補足し、又は専用論理回路に組み込むことができる。
明細書は図面と共に、単に例示的とみなされることが意図され、例示的は一例を意味する。本明細書で用いられるとき、「又は」の使用は、文脈が別段明確に示さない限り、「及び/又は」を含むことが意図される。
本特許文献は多くの詳細を含むが、これらは、いずれかの発明の範囲又は請求され得るものの範囲に対する限定とみなされるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明とみなされるべきである。別個の実施形態の文脈において本特許文献に記載されている特定の特徴は、単一の実施形態で組み合わせて実施することもできる。逆に、単一の実施形態の文脈において記載されている様々な特徴は、複数の実施形態において別個に、又は任意の適切なサブコンビネーションで実施することもできる。さらに、特徴は、特定の組み合わせにおいて作用するものとして上述されていることがあり、そのようなものとして最初に請求されることがあるが、請求された組み合わせからの1つ以上の特徴を、いくつかの場合、組み合わせから切り出すことができ、請求される組み合わせは、サブコンビネーション、又はサブコンビネーションのバリエーションに向けられ得る。
同様に、動作は図面において特定の順序で示されているが、これは、所望の結果を達成するために、そのような動作が図示される特定の順序で又は順番に実行されること、又は全ての例示された動作が実行されることを要求するものとして理解されるべきではない。さらに、本特許文献に記載されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。
少数の実装及び例のみが記載されており、本特許文献に記載及び例示されているものに基づいて他の実装、拡張、及びバリエーションがなされ得る。
[関連出願の相互参照]
出願は、2019年5月8日に出願された国際特許出願第PCT/CN2019/085996号の優先権及び利益を主張する、2020年5月8日に出願された第PCT/CN2020/089096号に基づく。全ての前述の特許願がその全体を参照により本明細書に組み込まれる。
[関連出願の相互参照]
本出願は、2019年5月8日に出願された国際特許出願第PCT/CN2019/085996号の優先権及び利益を主張する、2020年5月8日に出願された第PCT/CN2020/089096号に基づく。全ての前述の特許出願が、その全体を参照により本明細書に組み込まれる。
[技術分野]
本特許文献は、ビデオコーディング/復号手法、デバイス、及びシステムに関する。
ビデオ圧縮の進歩にもかかわらず、デジタルビデオは、依然として、インターネット及び他のデジタル通信ネットワークにおける最大の帯域幅使用を占めている。ビデオを受信し表示することができる接続ユーザデバイスの数が増加すると、デジタルビデオ使用に対する帯域幅需要は増大し続けることが予想される。
デジタルビデオコーディング/復号に関連するデバイス、システム、及び方法、具体的には、ビデオコーディング/復号におけるクロスコンポーネント線形モデル(cross-component linear model、CCLM)予測モードのための簡素化された線形モデル導出について記載する。記載される方法は、既存のビデオコーディング標準(例えば、高効率ビデオコーディング(High Efficiency Video Coding、HEVC))及び将来のビデオコーディング標準(例えば、汎用ビデオコーディング(Versatile Video Coding、VVC))又はコーデックの双方に適用され得る。
代表的な一態様において、開示される技術は、ビジュアルメディア処理の方法を含む。この例示的な方法は、ビジュアルメディアデータの対応するルマブロックの近隣のルマブロックの利用可能性を決定したことに応答して、ビジュアルメディアデータのカレントビデオクロマブロックのための第1のパラメータを、第1のパラメータが固定値又はカレントビデオクロマブロックの近隣のルマサンプルの丸めベースの平均値として導出されるように導出するステップであり、対応するルマブロックは、カレントビデオクロマブロックに関連づけられた位置をカバーする、ステップと、第1のパラメータに基づいてクロマスケーリングファクタを決定するステップと、クロマスケーリングファクタに基づいてカレントビデオクロマブロックのクロマ残差スケーリングを実行するステップと、カレントビデオクロマブロックとカレントビデオクロマブロックのビットストリーム表現との間のコンバージョンにクロマスケーリングファクタを使用するステップと、を含む。
代表的な一態様において、開示される技術は、ビジュアルメディア処理の方法を含む。この例示的な方法は、ビジュアルメディアデータのカレントビデオユニットに関連づけられた少なくとも1つのクロマブロックのためのクロマ残差スケーリングファクタを固定値に基づいて表すことを指定するルールを使用するステップであり、固定値は1つ以上の条件に少なくとも基づく、ステップと、カレントビデオユニットとカレントビデオユニットのビットストリーム表現との間のコンバージョンを実行するステップと、を含む。
代表的な一態様において、開示される技術は、ビジュアルメディア処理の方法を含む。この例示的な方法は、ビジュアルメディアデータのカレントビデオブロックとカレントビデオブロックのビットストリーム表現との間のコンバージョンの間、カレントビデオブロックに関連づけられた大きさ及び/又はパーティション情報及び/又はコーディング構造タイプに少なくとも部分的に基づいて、カレントビデオブロックの色成分に対するクロスコンポーネント線形モデル(CCLM)の適用を選択的に有効又は無効にする決定を行うステップであり、CCLMにおいて、第1の色成分セットは、第2の色成分セットの線形結合に基づいて予測される、ステップを含む。
さらに別の例示的な態様において、上述の方法は、プロセッサを含むビデオエンコーダ装置により実装され得る。
さらに別の例示的な態様において、上述の方法は、プロセッサを含むビデオデコーダ装置により実装され得る。
さらに別の例示的な態様において、これらの方法は、プロセッサ実行可能命令の形態で具現化され、コンピュータ読取可能プログラム媒体に記憶され得る。
これら及び他の態様について本文献でさらに説明する。
HEVCにおけるangularイントラ予測モードの一例を示す。 HEVCではない方向モードの一例を示す。 CCLMモードに関連する一例を示す。 クロマスケーリングアーキテクチャによるルママッピングの一例を示す。 異なる色フォーマットにおけるルマブロック及びクロマブロックの一例を示す。 同じ色フォーマットにおけるルマブロック及びクロマブロックの一例を示す。 複数のフォーマットをカバーするコロケートルマブロックの一例を示す。 より大きいルマブロック内のルマブロックの一例を示す。 より大きいルマブロック内及び境界ボックス内のルマブロックの一例を示す。 本文献に記載のビジュアルメディアデコード又はビジュアルメディアエンコード手法を実装するハードウェアプラットフォームの一例のブロック図である。 開示される技術によるクロスコンポーネント予測のための線形モデル導出の一例示的な方法のフローチャートを示す。 開示される技術を実施することができる一例示的なビデオ処理システムのブロック図である。 ビジュアルメディア処理方法の一例のフローチャートである。 ビジュアルメディア処理方法の一例のフローチャートである。 ビジュアルメディア処理方法の一例のフローチャートである。
2.1 HEVCに関する簡潔なレビュー
2.1.1 HEVC/H.265におけるイントラ予測
イントラ予測は、考慮されているカラーチャネルで事前に再構成されたサンプルを用いて、所与のTB(変換ブロック(transform block))のためのサンプルを生成することを伴う。イントラ予測モードは、ルマ(luma)チャネル及びクロマ(chroma)チャネルについて別個にシグナリングされ、クロマチャネルイントラ予測モードは、任意で、「DM_CHROMA」モードを介してルマチャネルイントラ予測モードに依存する。イントラ予測モードはPB(予測ブロック(prediction block))レベルでシグナリングされるが、イントラ予測プロセスは、CUの残差四分木階層(residual quad-tree hierarchy)に従ってTBレベルで適用され、それにより、1つのTBのコーディングがCU内の次のTBのコーディングへの影響を有することができ、したがって、参照値として使用されるサンプルへの距離を低減させる。
HEVCは、35個のイントラ予測モード - DCモード、planarモード、及び33個の方向又は「angular」イントラ予測モードを含む。33個のangularイントラ予測モードが図1に示されている。
クロマカラーチャネルに関連づけられたPBでは、イントラ予測モードは、planar、DC、水平、垂直、「DM_CHROMA」モード、又は時にはdiagonalモード「34」のいずれかとして指定される。
クロマフォーマット4:2:2及び4:2:0では、クロマPBは2つ又は4つ(それぞれ)のルマPBと重なり得ることに留意する。この場合、DM_CHROMAのためのルマ方向は、これらのルマPBの左上から取得される。
DM_CHROMAモードは、ルマカラーチャネルPBのイントラ予測モードがクロマカラーチャネルPBに適用されることを示す。これは比較的一般的であるため、intra_chroma_pred_modeの最確モードコーディング方式は、このモードが選択される方を好んでバイアスされる。
2.2 汎用ビデオコーディング(VVC)アルゴリズムの説明
2.2.1 VVCコーディングアーキテクチャ
HEVCを越える将来のビデオコーディング技術を探求するため、2015年にVCEGとMPEGにより合同で合同ビデオ探求チーム(Joint Video Exploration Team、JVET)が設立された。JVET会議は四半期に1回同時開催されており、新しいコーディング標準はHEVCと比較して50%のビットレート低減を目指している。この新しいビデオコーディング標準は2018年4月のJVET会議で汎用ビデオコーディング(Versatile Video Coding、VVC)として正式に命名され、その当時にVVCテストモデル(VTM)の最初のバージョンがリリースされた。VVC標準化に寄与する継続的な努力が存在するため、JVET会議毎にVVC標準に対して新しいコーディング手法が採択されている。VVC作業原案及びテストモデルVTMは、次いで、毎会議後に更新される。VVCプロジェクトは現在、2020年7月の会議での技術的完成(FDIS)を狙っている。
ほとんどの先行する標準と同様に、VVCは、インターピクチャ及びイントラピクチャ予測並びに変換コーディングをエントロピーコーディングと組み合わせたブロックベースのハイブリッドコーディングアーキテクチャを有する。ピクチャパーティション化構造は、入力ビデオをコーディングツリーユニット(coding tree units、CTU)と呼ばれるブロックに分ける。CTUは、ネストされたマルチタイプツリー構造を有する四分木を用いてコーディングユニット(coding units、CU)に分割され、リーフコーディングユニット(CU)は、同じ予測モード(例えば、イントラ又はインター)を共有する領域を定義する。本文献において、用語「ユニット」は、全ての色成分をカバーする画像の領域を定義する。用語「ブロック」は、特定の色成分(例えば、ルマ)をカバーする領域を定義するために用いられ、4:2:0などのクロマサンプリングフォーマットを考慮するとき空間的位置において異なり得る。
2.2.2 VVCにおけるデュアル/セパレートツリーパーティション
ルマ成分とクロマ成分は、Iスライスに対して別個のパーティションツリーを有することができる。別個のツリーパーティション化は、CTUレベルではなく、64×64ブロックレベル下である。VTMソフトウェアでは、デュアルツリーのオンとオフを制御するためのSPSフラグがある。
2.2.3 VVCにおけるイントラ予測
2.2.3.1 67個のイントラ予測モード
自然ビデオで提示される任意のエッジ方向を捕捉するために、VTM4における方向イントラモードの数は、HEVCで使用される33から、65に拡張される。HEVCにない新しい方向モードは、図2に赤い点線の矢印として示されており、planarモードとDCモードは同じままである。これらのより高密度の方向イントラ予測モードは、全てのブロックサイズに、並びにルマ及びクロマ双方のイントラ予測に適用される。
2.2.3.2 クロスコンポーネント線形モデル予測(CCLM)
クロスコンポーネント冗長性を低減するために、クロスコンポーネント線形モデル(cross-component linear model、CCLM)予測モードがVTM4で使用され、これについて、クロマサンプルは、以下の線形モデルを使用することにより、同じCUの再構成されたルマサンプルに基づいて予測される。
Figure 2022531216000051
ここで、pred(i,j)は、CU内の予測クロマサンプルを表し、rec(i,j)は、同じCUのダウンサンプリングされた再構成ルマサンプルを表す。線形モデルパラメータα及びβは、2つのサンプルからのルマ値とクロマ値との間の関係から導出され、該2つのサンプルは、ダウンサンプリングされた近隣のルマサンプルのセット内で最小サンプル値を有する、及び最大サンプルを有するルマサンプルと、それらの対応するクロマサンプルである。線形モデルパラメータα及びβは、以下の式に従って得られる。
Figure 2022531216000052
ここで、YとXは、最大ルマサンプル値を有するルマサンプルのルマ値とクロマ値を表す。また、XとYは、それぞれ、最小ルマサンプルを有するルマサンプルのルマ値とクロマ値を表す。図3は、左及び上のサンプルの位置とCCLMモードに関与するカレント(current)ブロックのサンプルの一例を示す。
パラメータαを計算するための除算演算は、ルックアップテーブルで実装される。テーブルを記憶するために必要なメモリを低減するために、diff値(最大値と最小値との間の差)とパラメータαが指数表記により表現される。例えば、diffは、4ビットの有効部分と指数で近似される。結果として、1/diffの表は、次のように、仮数の16個の値について16個の要素に低減される。
Figure 2022531216000053
これは、計算の複雑さと、必要なテーブルを記憶するのに必要なメモリサイズの双方を低減する利点を有する。
上テンプレートと左テンプレートを使用して線形モデル係数を一緒に計算できるほかに、これらを代替的に、LM_Aモード及びLM_Lモードと呼ばれる他の2つのLMモードで使用することもできる。
LM_Aモードでは、上テンプレートのみを使用して線形モデル係数を計算する。より多くのサンプルを得るために、上テンプレートは(W+H)に拡張される。LM_Lモードでは、左テンプレートのみを使用して線形モデル係数を計算する。より多くのサンプルを得るために、左テンプレートは(H+W)に拡張される。
非正方形ブロックでは、上テンプレートはW+Wに拡張され、左テンプレートはH+Hに拡張される。
4:2:0ビデオシーケンスのクロマサンプル位置にマッチングするために、2つのタイプのダウンサンプリングフィルタをルマサンプルに適用して、水平及び垂直双方の方向における2対1のダウンサンプリング比を達成する。ダウンサンプリングフィルタの選択は、SPSレベルフラグにより指定される。2つのダウンサンプリングフィルタは以下のとおりであり、これらはそれぞれ、「type-0」及び「type-2」のコンテンツに対応する。
Figure 2022531216000054
上側参照ラインがCTU境界にあるとき、ダウンサンプリングされたルマサンプルを作成するために、1つのルマライン(イントラ予測における一般的なラインバッファ)のみが使用されることに留意する。
このパラメータ計算は、デコーディング処理の一部として実行され、単にエンコーダ探索動作としてではない。結果として、αとβの値をデコーダに伝達するためにシンタックスは使用されない。
クロマイントラモードコーディングでは、クロマイントラモードコーディングに対して合計8つのイントラモードが許可されている。これらのモードは、5つの従来のイントラモードと3つのクロスコンポーネント線形モデルモード(CCLM、LM_A、及びLM_L)を含む。クロマモードコーディングは、対応するルマブロックのイントラ予測モードに直接依存する。Iスライスでは、ルマ成分とクロマ成分に対する別個のブロックパーティション化構造が有効にされるため、1つのクロマブロックが複数のルマブロックに対応する場合がある。したがって、クロマDMモードでは、カレントクロマブロックの中心位置をカバーする対応するルマブロックのイントラ予測モードが直接継承される。
2.2.3.2.1 対応する修正作業原案(JVET-N0271)
以下の仕様は、JVET-M1001の修正作業原案及びJVET-N0271の採択に基づく。採択されたJVET-N0220における修正を太字と下線で示す。
シンタックステーブル
Figure 2022531216000055
セマンティクス
0に等しいsps_cclm_enabled_flagは、ルマ成分からクロマ成分へのクロスコンポーネント線形モデルイントラ予測が無効にされていることを指定する。1に等しいsps_cclm_enabled_flagは、ルマ成分からクロマ成分へのクロスコンポーネント線形モデルイントラ予測が有効にされていることを指定する。
復号処理
Figure 2022531216000056
Figure 2022531216000057
Figure 2022531216000058
Figure 2022531216000059
Figure 2022531216000060
Figure 2022531216000061
Figure 2022531216000062
Figure 2022531216000063
2.2.3.3 種々のイントラ予測の態様
VTM4は、HEVCとは異なる多くのイントラコーディングツールを含み、例えば、以下の特徴がボックツリー構造の上のVVCテストモデル3に含まれている。
・ ワイドアングルモード拡張を有する67個のイントラモード
・ ブロックサイズ及びモード依存の4タップ補間フィルタ
・ 位置依存イントラ予測組み合わせ(Position dependent intra prediction combination、PDPC)
・ クロスコンポーネント線形モデルイントラ予測
・ マルチ参照ラインイントラ予測
・ イントラサブパーティション
2.2.4 VVCにおけるインター予測
2.2.4.1 組み合わせインター及びイントラ予測(Combined inter and intra prediction、CIIP)
VTM4では、CUがマージモードでコーディングされるとき、CUが少なくとも64個のルマサンプルを含む(すなわち、CU幅×CU高さが64以上である)場合、さらなるフラグをシグナリングして、組み合わせインター/イントラ予測(CIIP)モードがカレントCUに適用されるかを示す。
CIIP予測を形成するために、イントラ予測モードが、2つのさらなるシンタックス要素から最初導出される。最大4つのとり得るイントラ予測モード、すなわち、DC、planar、水平、又は垂直を使用することができる。次いで、通常のイントラ及びインターデコーディング処理を用いて、インター予測及びイントラ予測信号が導出される。最後、CIIP予測を得るために、インター及びイントラ予測信号の加重平均が実行される。
2.2.4.2 種々のインター予測の態様
VTM4は、HEVCとは異なる多くのインターコーディングツールを含み、例えば、以下の特徴がボックツリー構造の上のVVCテストモデル3に含まれている。
・ アフィン動きインター予測
・ サブブロックベースの時間的動きベクトル予測
・ 適応的動きベクトル分解能
・ 時間的動き予測のための8×8ブロックベースの動き圧縮
・ ルマ成分に対する8タップ補間フィルタとクロマ成分に対する4タップ補間フィルタを有する、高精度(1/16pel)動きベクトル記憶及び動き補償
・ 三角形パーティション(Triangular partitions)
・ 組み合わせイントラ及びインター予測
・ MVD付きマージ(Merge with MVD、MMVD)
・ 対称的MVDコーディング
・ 双方向オプティカルフロー
・ デコーダ側動きベクトル精緻化
・ 双予測加重平均(Bi-predictive weighted averaging)
2.2.5 ループ内フィルタ
VTM4には、合計で3つのループ内フィルタがある。デブロッキングフィルタとSAO(HEVCにおける2つのループフィルタ)の他に、VTM4では適応ループフィルタ(adaptive loop filter、ALF)が適用される。VTM4におけるフィルタリングプロセスの順序は、デブロッキングフィルタ、SAO、及びALFである。
VTM4において、SAO及びデブロッキングフィルタリング処理は、HEVCにおけるものとほぼ同じである。
VTM4では、クロマスケーリング付きルママッピングと呼ばれる新しい処理が追加された(この処理は、以前は適応ループ内リシェーパとして知られていた)。この新しい処理は、デブロッキングの前に実行される。
2.2.6 クロマスケーリング付きルママッピング(LMCS、別名、ループ内リシェーピング)
VTM4では、クロマスケーリング付きルママッピング(luma mapping with chroma scaling、LMCS)と呼ばれるコーディングツールが、ループフィルタの前に新しい処理ブロックとして追加されている。LMCSは、2つの主要なコンポーネントを有し、すなわち、1)適応区分線形モデルに基づくルマ成分のループ内マッピングと、2)クロマ成分では、ルマ依存のクロマ残差スケーリングが適用される。図4は、デコーダの視点からのLMCSアーキテクチャを示す。図4の水色の影付きブロックは、マッピングされたドメインでどこに処理が適用されるかを示し、これらには、逆量子化、逆変換、ルマイントラ予測、及びルマ予測のルマ残差との加算が含まれる。図4の影無しブロックは、元の(すなわち、マッピングされていない)ドメインでどこに処理が適用されるかを示し、これらには、デブロッキング、ALF、及びSAOなどのループフィルタ、動き補償された予測、クロマイントラ予測、クロマ予測のクロマ残差との加算、及び参照ピクチャとしてのデコードされたピクチャの記憶が含まれる。図4の淡黄の影付きブロックは、ルマ信号の順方向及び逆方向マッピング、並びにルマ依存のクロマスケーリング処理を含む、新しいLMCS機能ブロックである。VVCにおける大抵の他のツールと同様に、LMCSはSPSフラグを使用してシーケンスレベルで有効/無効にすることができる。
2.2.6.1 区分線形モデルによるルママッピング
ルマ成分のループ内マッピングは、圧縮効率を改善するために、ダイナミックレンジにわたってコードワードを再分配することにより入力信号のダイナミックレンジを調整する。ルママッピングは、順方向マッピング関数FwdMapと、対応する逆方向マッピング関数InvMapを利用する。FwdMap関数は、16個の等しい部分(pieces)を有する区分線形モデル(piecewise linear model)を使用してシグナリングされる。InvMap関数はシグナリングされる必要はなく、代わりにFwdMap関数から導出される。
ルママッピングモデルは、タイルグループレベルでシグナリングされる。プレゼンスフラグが最初シグナリングされる。ルママッピングモデルがカレントタイルグループに存在する場合、対応する区分線形モデルパラメータがシグナリングされる。区分線形モデルは、入力信号のダイナミックレンジを16等分にパーティション化し、各部分について、その線形マッピングパラメータは、その部分に割り当てられたコードワードの数を使用して表現される。10ビットの入力を一例にとる。16個の部分の各々は、デフォルトで64個のコードワードをそれに割り当てられる。シグナリングされたコードワード数を使用して、スケーリングファクタを計算し、それに応じてその部分のためのマッピング関数を調整する。タイルグループレベルでは、別のLMCSイネーブルフラグがシグナリングされて、図4に示すようなLMCS処理がカレントタイルグループに適用されるかを示す。
FwdMap区分線形モデルの各i番目の部分、i=0...15は、2つの入力ピボット点InputPivot[]と2つの出力(マッピングされた)ピボット点MappedPivot[]により定義される。
InputPivot[]とMappedPivot[]は(10ビットビデオを仮定して)次のように計算される。
1) OrgCW = 64
2) i = 0:16について、InputPivot[i] = i*OrgCW
3) i = 0:16について、MappedPivot[i]は次のように計算される:
MappedPivot[0]=0;
for(i=0; i<16; i++)
MappedPivot[i+1] = MappedPivot[i] + SignalledCW[i]
ここで、SignalledCW[i]は、i番目の部分に対するシグナリングされたコードワード数である。
図4に示すように、インターコーディングブロックでは、マッピングされたドメインにおいて動き補償予測が実行される。言い換えると、動き補償された予測ブロックYpredがDPBの参照信号に基づいて計算された後、FwdMap関数が適用されて、元のドメインのルマ予測ブロックをマッピングされたドメインにマッピングし、Y’pred=FwdMap(Ypred)である。イントラコーディングブロックでは、マッピングされたドメインでイントラ予測が実行されるため、FwdMap関数は適用されない。再構成ブロックYが計算された後、InvMap関数が適用されて、マッピングされたドメインにおける再構成されたルマ値を元のドメインにおける再構成されたルマ値に逆にコンバートする(
Figure 2022531216000064
)。InvMap関数は、イントラコーディングルマブロック及びインターコーディングルマブロックの双方に適用される。
ルママッピング処理(順方向及び/又は逆方向マッピング)は、ルックアップテーブル(LUT)を使用するか又はオンザフライ(on-the-fly)計算を使用するかのいずれかで実装することができる。LUTが使用される場合、FwdMapLUT及びInvMapLUTをタイルグループレベルでの使用のために予め計算及び予め記憶することができ、順方向及び逆方向のマッピングは、それぞれ、FwdMap(Ypred)=FwdMapLUT(Ypred)及びInvMap(Y)=InvMapLUT(Y)として簡単に実装することができる。あるいは、オンザフライ計算を用いてもよい。順方向マッピング関数FwdMapを一例にとる。ルマサンプルが属する部分を解決するために、サンプル値は6ビット(これは16等分に対応する)右シフトされる。次いで、その部分のための線形モデルパラメータが取り出され、オンザフライで適用されて、マッピングされたルマ値を計算する。iを部分インデックスとし、a1、a2をそれぞれInputPivot[i]、InputPivot[i+1]とし、b1、b2をそれぞれMappedPivot[i]、MappedPivot[i+1]とする。FwdMap関数は次のように評価される。
Figure 2022531216000065
InvMap関数は、同様の方法でオンザフライで計算することができるが、例外は、サンプル値が属する部分を解決するとき単純な右ビットシフトの代わりに条件チェックが適用されることであり、なぜならば、マッピングされたドメインにおける部分が等しいサイズではないためである。
2.2.6.2 ルマ依存のクロマ残差スケーリング
クロマ残差スケーリングは、ルマ信号とその対応するクロマ信号との間の相互作用を補償するように設計されている。クロマ残差スケーリングが有効にされているか否かも、タイルグループレベルでシグナリングされる。ルママッピングが有効にされている場合、及びデュアルツリーパーティション(セパレートクロマツリーとしても知られる)がカレントタイルグループに適用されない場合、さらなるフラグがシグナリングされて、ルマ依存のクロマ残差スケーリングが有効にされているか否かを示す。ルママッピングが使用されないとき、又はカレントタイルグループでデュアルツリーパーティションが使用されるとき、ルマ依存のクロマ残差スケーリングは無効にされる。さらに、ルマ依存のクロマ残差スケーリングは、そのエリアが4以下のクロマブロックでは常に無効にされる。
クロマ残差スケーリングは、(イントラコーディングブロック及びインターコーディングブロックの双方について)対応するルマ予測ブロックの平均値に依存する。avgY’をルマ予測ブロックの平均として表す。CScaleInvの値は、次のステップで計算される。
1) InvMap関数に基づいて、avgY’が属する区分線形モデルのインデックスYIdxを見つける。
2) CScaleInv=cScaleInv[YIdx]であり、ここでcScaleInv[]は予め計算された16個の部分のLUTである。
カレントブロックがイントラ、CIIP、又はイントラブロックコピー(IBC、別名、カレントピクチャ参照又はCPR)モードとしてコーディングされる場合、avgY’はイントラ、CIIP、又はIBCの予測ルマ値の平均として計算され、そうでない場合、avgY’は順方向マッピングされたインター予測ルマ値(図4のYpred)の平均として計算される。サンプルベースで実行されるルママッピングとは異なり、CScaleInvはクロマブロック全体に対して定数値である。CScaleInvを用いて、クロマ残差スケーリングは次のように適用される。
Figure 2022531216000066
2.2.6.3 JVET-M1001_v7の対応作業原案とJVET-N0220の採択
以下の仕様は、JVET-M1001の修正作業原案及びJVET-N0220の採択に基づく。採択されたJVET-N0220における修正を太字と下線で示す。
[シンタックステーブル]
Figure 2022531216000067
[セマンティクス]
Figure 2022531216000068
Figure 2022531216000069
Figure 2022531216000070
3. 既存の実装の欠点
LMCS/CCLMの現在の設計は、以下の問題を有し得る。
1. LMCSコーディングツールでは、クロマ残差スケーリングファクタは、コロケート(collocated)ルマ予測ブロックの平均値により導出され、これは、LMCSクロマ残差スケーリングにおけるクロマサンプルの処理のための待ち時間を結果としてもたらす。
a) 単一/共有ツリーの場合、待ち時間は、(a)利用可能なルマブロック全体の全ての予測サンプルを待つこと、及び(b)(a)により得られた全てのルマ予測サンプルの平均をとることにより引き起こされる。
b)デュアル/セパレートツリーの場合、待ち時間は、Iスライスにおいてルマ及びクロマ成分の別個のブロックパーティション化構造が有効にされるため、さらに悪くなる。したがって、1つのクロマブロックが複数のルマブロックに対応し得、1つの4×4クロマブロックが64×64ルマブロックに対応し得る。ゆえに、最悪の場合、カレントの4×4クロマブロックのクロマ残差スケーリングファクタは、64×64ルマブロック全体の全ての予測サンプルが利用可能になるまで待つ必要があり得る。一言で言えば、デュアル/セパレートツリーにおける待ち時間の問題は、はるかに深刻である。
2. CCLMコーディングツールでは、イントラクロマ予測のためのCCLMモデル計算は、ルマブロックとクロマブロックの双方の左及び上の参照サンプルに依存する。また、クロマブロックのためのCCLM予測は、同じCUのコロケートルマ再構成サンプルに依存する。これは、デュアル/セパレートツリーにおける長い待ち時間を引き起こす。
・ デュアル/セパレートツリーの場合、1つの4×4クロマブロックは64×64ルマブロックに対応し得る。ゆえに、最悪の場合、カレントクロマブロックのCCLM処理は、対応する64×64ルマブロック全体が再構成されるまで待つ必要があり得る。この待ち時間の問題は、デュアル/セパレートツリーにおけるLMCSクロマスケーリングと同様である。
4. 例示的な手法及び実施形態
上記問題に取り組むために、ルマ依存のクロマ残差スケーリング、CCLM、及び異なる色成分からの情報に依存する他のコーディングツールにおけるクロスコンポーネント依存性を除去/低減/制限するためのいくつかの方法を提案する。
以下に記載される詳細な実施形態は、一般的な概念を説明するための一例として考慮されるべきである。これらの実施形態は狭義に解釈されるべきではない。さらに、これらの実施形態は、任意の方法で組み合わせることができる。
以下に記載される箇条書きはLMCS/CCLMに明示的に言及しているが、この方法は、異なる色成分からの情報に依存する他のコーディングツールにも適用可能であり得ることに留意されたい。さらに、以下で言及される用語「ルマ(luma)」と「クロマ(chroma)」は、それぞれ、「第1の色成分」と「第2の色成分」、例えば、RGB色フォーマットにおける「G成分」と「B/R成分」などに置き換えられてもよい。
以下の議論では、「コロケートサンプル/ブロック(collocated sample/block)」の定義は、VVC作業原案JVET-M1001におけるコロケートサンプル/ブロックの定義と一致する。より具体的には、4:2:0色フォーマットにおいて、クロマブロックの左上サンプルが位置(xTbC,yTbC)にあると仮定し、コロケートルマブロック位置の左上サンプル(xTbY、yTbY)は、(xTbY,yTbY)=(xTbC<<1,yTbC<<1)として導出される。図5に示すように、カレントクロマブロックの左上サンプルは、クロマピクチャの(x=16,y=16)に位置し、そのコロケートルマブロックの左上サンプルは、ルマピクチャにおけるコロケートルマブロックのブロックパーティションにかかわらず、ルマピクチャの(x=32,y=32)に位置する。別の例として、同じ色成分で言うと、図6に示すように、参照フレーム内のコロケートブロックの左上サンプルの位置は、カレントフレーム内のカレントブロックの左上サンプルの位置と同じであるべきであり、カレントブロックの左上サンプルがカレントフレーム内の(x,y)であると仮定し、カレントブロックのコロケートブロックの左上サンプルは参照フレーム内の同じ位置(x,y)を有する。
以下の議論では、「対応するブロック」は、カレントブロックとは異なる位置を有し得る。例えば、カレントブロックとその参照フレーム内の対応するブロックとの間に動きシフトが存在し得る。図6に示されるように、カレントブロックがカレントフレーム内の(x,y)に位置し、それが動きベクトル(mv,mv)を有すると仮定し、カレントブロックの対応するブロックは、参照フレーム内の(x+mv,y+mv)に位置し得る。また、IBCコーディングブロックでは、コロケートルマブロック(ゼロベクトルで指し示される)及び対応するルマブロック(非ゼロBVで指し示される)は、カレントフレームの異なる場所に位置し得る。別の例では、ルマブロックのパーティションが(Iスライスのデュアルツリーパーティションにおいて)クロマブロックのパーティションと一致しないとき、カレントクロマブロックのコロケートルマブロックは、より大きいルマブロックに属し得、これは、コロケートルマブロックの左上サンプルをカバーする重なったルマコーディングブロックのパーティションサイズに依存する。図5に示すように、太線の矩形がブロックのパーティションを示すと仮定すると、64×64ルマブロックはBTにより最初分割され、次いで、64×64ルマブロックの右部分はTTによりさらに分割され、これは、それぞれ32×16、32×32、32×16に等しいサイズの3つのルマブロックを結果としてもたらす。ゆえに、カレントクロマブロックのコロケートルマブロックの左上サンプル(x=32,y=32)を見ると、それは、TTパーティションの中央の32×32ルマブロックに属する。この場合、コロケートルマブロックの左上サンプルをカバーする対応するルマブロックを、「対応するルマブロック」と呼ぶ。したがって、この例では、対応するルマブロックの左上サンプルは(x=32,y=16)に位置する。
以下、DMVD(デコーダ側動きベクトル導出(decoder-side motion vector derivation))を使用して、BDOF(別名、BIO)、又は/及びDMVR(デコーダ側動きベクトル精緻化(decode-side motion vector refinement))、又は/及びFRUC(フレームレートアップコンバージョン(frame rate up-conversion))、又は/及びデコーダにおいて動きベクトル又は/及び予測サンプル値を精緻化する他の方法を表す。
[LMCSとCCLMのモデル計算のクロマスケーリング待ち時間の除去]
1. インターコーディングブロックについて、参照フレーム内のカレントブロックの1つ又は複数の参照サンプルが、LMCSモードにおけるクロマ残差スケーリングファクタを導出するために使用され得ることが提案される。
a) 一例において、参照ルマサンプルは、クロマ残差スケーリングファクタを導出するために直接使用され得る。
i. あるいは、参照サンプルに補間が最初適用されてもよく、補間されたサンプルを使用してクロマ残差スケーリングファクタを導出してもよい。
ii. あるいは、異なる参照フレーム内の参照サンプルを利用して、クロマ残差スケーリングファクタ導出に使用される最終参照サンプルを導出してもよい。
1) 一例において、双予測コーディングブロックに対して、上記方法が適用されてもよい。
iii. 一例において、参照サンプルの強度が、クロマ残差スケーリングファクタを導出するために使用される前に、リシェーピングドメイン(reshaping domain)にコンバートされてもよい。
iv. 一例において、参照サンプルの線形結合が、クロマ残差スケーリングファクタを導出するために使用されてもよい。
1) 例えば、a×S+bを用いてクロマ残差スケーリングファクタを導出してもよく、ここで、Sは参照サンプルであり、a及びbはパラメータである。一例において、a及びbは、局所照度補償(Localized Illuminate Compensation、LIC)により導出されてもよい。
b) 一例において、参照フレーム内の参照ルマサンプルの位置は、カレントブロックの動きベクトルに依存し得る。
i. 一例において、参照サンプルは、参照ピクチャ内にあり、かつカレントルマブロックと同じ幅及び高さを有する参照ルマブロックに属する。参照ピクチャ内の参照ルマサンプルの位置は、カレントピクチャ内のその対応するルマサンプルの位置として、動きベクトルを加算して計算されてもよい。
ii. 一例において、参照ルマサンプルの位置は、カレントルマブロックの左上(又は中心、又は右下)サンプルの位置とカレントブロックの動きベクトルにより導出されてもよく、参照フレーム内の対応するルマサンプルと呼ばれる。
1) 一例において、整数動きベクトルを使用して、参照フレーム内の対応するルマサンプルを導出してもよい。一例において、1つのブロックに関連づけられた動きベクトルは、整数の動きベクトルを導出するために、ゼロに近づくように丸められるか又はゼロから離れるように丸められるかのいずれかを行われてもよい。
2) あるいは、分数動きベクトルを使用して、参照フレーム内の対応するルマサンプルを導出してもよく、それにより、分数参照サンプルを導出するために補間処理が必要とされ得る。
iii. あるいは、参照ルマサンプルの位置は、カレントルマブロックの左上(又は中心、又は右下)サンプルの位置により導出されてもよい。
iv. あるいは、参照フレーム内のいくつかの予め定義された位置における複数の対応するルマサンプルを選定して、クロマ残差スケーリングファクタを計算してもよい。
c) 一例において、複数の参照ルマサンプルの中央値又は平均値を使用して、クロマ残差スケーリングファクタを導出してもよい。
d) 一例において、予め定義された参照フレーム内の参照ルマサンプルを使用して、クロマ残差スケーリングファクタを導出してもよい。
i. 一例において、予め定義された参照フレームは、参照ピクチャリスト0の、0に等しい参照インデックスを有するフレームでもよい。
ii. あるいは、予め定義された参照フレームの参照インデックス及び/又は参照ピクチャリストは、シーケンス/ピクチャ/タイルグループ/スライス/タイル/CTU行/ビデオユニットレベルでシグナリングされてもよい。
iii. あるいは、複数の参照フレーム内の参照ルマサンプルが導出されてもよく、平均値又は加重平均値を利用してクロマ残差スケーリングファクタを得てもよい。
2. LMCSモードにおいてルマサンプルからクロマ残差スケーリングファクタを導出するかどうか及び導出する方法が、カレントブロックが双予測を適用するかどうかに依存し得ることが提案される。
a) 一例において、クロマ残差スケーリングファクタは、各予測方向に対して個々に導出される。
3. LMCSモードにおいてルマサンプルからクロマ残差スケーリングファクタを導出するかどうか及び導出する方法が、カレントブロックがサブブロックベースの予測を適用するかどうかに依存し得ることが提案される。
a) 一例において、サブブロックベースの予測はアフィン予測である。
b) 一例において、サブブロックベースの予測は代替時間動きベクトル予測(Alternative Temporal Motion Vector Prediction、ATMVP)である。
c) 一例において、クロマ残差スケーリングファクタは、各サブブロックに対して個々に導出される。
d) 一例において、クロマ残差スケーリングファクタは、それがサブブロックにより予測されるとしても、ブロック全体に対して導出される。
i. 一例において、箇条書き1に記載されるように、1つの選択されたサブブロック(例えば、左上サブブロック)の動きベクトルを使用して、カレントブロックの参照サンプルを識別してもよい。
4. クロマ残差スケーリングファクタを導出するために使用されるルマ予測値が、最終ルマ予測値の代わりに中間ルマ予測値でもよいことが提案される。
a) 一例において、双方向オプティカルフロー(Bi-Directional Optical Flow)(BDOF、別名、BIO)の処理の前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
b) 一例において、デコーダ側動きベクトル精緻化(DMVR)の処理の前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
c) 一例において、LICの処理の前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
d) 一例において、JVET-N0236で提案されている予測精緻化オプティカルフロー(Prediction Refinement Optical Flow、PROF)の処理の前のルマ予測値を使用して、クロマ残差スケーリングファクタを導出してもよい。
5. 中間動きベクトルは、参照サンプルを識別するために使用され得る。
a) 一例において、BDOF又は/及びDMVR又は/及び他のDMVD方法の処理の前の動きベクトルを使用して、参照サンプルを識別してもよい。
b) 一例において、JVET-N0236で提案されている予測精緻化オプティカルフロー(PROF)の処理の前の動きベクトルを使用して、参照サンプルを識別してもよい。
6. 上記方法は、カレントブロックがインターモードでコーディングされているとき適用可能であり得る。
7. IBCコーディングブロックについて、カレントフレームの参照ブロック内の1つ又は複数の参照サンプルが、LMCSモードにおけるクロマ残差スケーリングファクタを導出するために使用され得ることが提案される。ブロックがIBCコーディングされるとき、用語「動きベクトル」は「ブロックベクトル」と呼ばれることもあり、参照ピクチャはカレントピクチャとして設定される。
a) 一例において、参照サンプルは、カレントピクチャ内にあり、かつカレントブロックと同じ幅及び高さを有する参照ブロックに属する。参照サンプルの位置は、その対応するサンプルの位置として、動きベクトルを加算して計算されてもよい。
b) 一例において、参照ルマサンプルの位置は、カレントルマブロックの左上(又は中心、又は右下)サンプルの位置により、動きベクトルを加算して導出されてもよい。
c) あるいは、参照ルマサンプルの位置は、カレントルマブロックの左上(又は中心、又は右下)サンプルの位置により、カレントブロックのブロックベクトルを加算して導出されてもよい。
d) あるいは、カレントルマブロックの参照領域内のいくつかの予め定義された位置における複数の対応するルマサンプルを選定して、クロマ残差スケーリングファクタを計算してもよい。
e) 一例において、複数の対応するルマサンプルは、クロマ残差スケーリングファクタを導出する関数を用いて計算されてもよい。
i. 例えば、複数の対応するルマサンプルの中央値又は平均値を計算して、クロマ残差スケーリングファクタを導出してもよい。
f) 一例において、参照サンプルの強度が、クロマ残差スケーリングファクタを導出するために使用される前に、リシェーピングドメインにコンバートされてもよい。
i. あるいは、参照サンプルの強度は、クロマ残差スケーリングファクタを導出するために使用される前に、元のドメインにコンバートされてもよい
8. カレントフレーム内のカレントルマブロックの識別された位置に位置する1つ又は複数の予測/再構成サンプルが、LMCSモードにおいてカレントクロマブロックに対するクロマ残差スケーリングファクタを導出するために使用され得ることが提案される。
a) 一例において、カレントブロックがインターコーディングされる場合、カレントルマブロックの中心に位置するルマ予測(又は再構成)サンプルを選定して、クロマ残差スケーリングファクタを導出してもよい。
b) 一例において、第1のM×Nルマ予測(又は再構成)サンプルの平均値を選定して、クロマ残差スケーリングファクタを導出してもよく、ここで、M×Nは、コロケートルマブロックサイズの幅×高さより小さくてもよい。
9. CCLMモデルを計算するために使用される手順の全部又は一部が、LMCSモードにおけるカレントクロマブロックのクロマ残差スケーリングファクタ導出に使用され得ることが提案される。
a) 一例において、CCLMモデルパラメータ導出プロセスにおけるコロケートルマブロックの近隣のルマサンプルの識別された位置に位置する参照サンプルを利用して、クロマ残差スケーリングファクタを導出してもよい。
i. 一例において、これらの参照サンプルを直接使用してもよい。
ii. あるいは、これらの参照サンプルにダウンサンプリングを適用してもよく、ダウンサンプリングされた参照サンプルを適用してもよい。
b) 一例において、CCLMモデル計算のために選択されたS個の参照サンプルのうちK個が、LMCSモードにおけるクロマ残差スケーリングファクタ導出に使用されてもよい。例えば、Kは1に等しく、Sは4に等しい。
c) 一例において、CCLMモードにおけるコロケートルマブロックの参照サンプルの平均/最小/最大値が、LMCSモードにおけるクロマ残差スケーリングファクタ導出に使用されてもよい。
10. クロマ残差スケーリングファクタの導出のためにサンプルを選択する方法は、カレントブロックのコーディング情報に依存し得る。
a) コーディング情報は、QP、コーディングモード、POC、イントラ予測モード、動き情報などを含み得る。
b) 一例において、IBCコーディングブロック又は非IBCコーディングブロックでは、サンプルを選択する方法が異なり得る。
c) 一例において、サンプルを選択する方法は、参照ピクチャ情報、例えば、参照ピクチャとカレントピクチャとの間のPOC距離などに基づいて異なり得る。
11. クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算が、コロケートルマブロックの左上サンプルをカバーする対応するルマブロックの近隣の(neighboring)サンプルに依存し得ることが提案される。本発明において、「コーディングブロック(coding block)」は、HEVC仕様又はVVC作業原案に規定されるCU/TU/PUなどのビデオコーディング領域を参照し得る。
a) 「対応するルマコーディングブロック」は、コロケートルマコーディングブロックの左上位置をカバーするコーディングブロックとして定義され得る。
i. 図5は、デュアルツリーの場合のイントラコーディングクロマブロックについて、クロマ成分のCTUパーティションがルマ成分のCTUパーティションと異なり得る一例を示す。最初、カレントクロマブロックのコロケートルマブロックの左上サンプルをカバーする「対応するルマコーディングブロック」が取り出される。次いで、「対応するルマコーディングブロック」のブロックサイズ情報を使用することにより、「対応するルマコーディングブロック」の左上サンプルを導出することができ、コロケートルマブロックの左上サンプルをカバーする「対応するルマコーディングブロック」の左上サンプルは(x=32,y=16)に位置する。
b) 一例において、コロケートルマコーディングブロックの左上サンプルをカバーする「対応するルマコーディングブロック」の位置を導出するために、ブロックサイズ/パーティション/位置/座標が必要とされ得る。
i. 一例において、ブロックサイズ及び/又はブロックパーティション及び/又はブロック座標は、ルマ成分などの特定の色成分の各ブロックについて記憶されてもよい。
ii. 一例において、「対応するルマコーディングブロック」とカレントブロックは、常に同じCTU又はCTU行内にあり得、したがって、ラインバッファ内にブロックサイズ/パーティション/位置/座標の記憶がなくてもよい。
c) 一例において、「対応するルマコーディングブロック」にない再構成サンプルを使用して、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出してもよい。
i. 一例において、「対応するルマコーディングブロック」に隣接した再構成サンプルを使用して、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出してもよい。
1) 一例において、「対応するルマコーディングブロック」の左近隣列及び/又は上近隣行に位置するN個のサンプルを使用して、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出してもよく、ここで、N=1....2W+2Hであり、W及びHは「対応するルマコーディングブロック」の幅及び高さである。
a) 「対応するルマコーディングブロック」の左上サンプルが(xCb,yCb)であると仮定し、一例において、上近隣ルマサンプルは(xCb+W/2,yCb-1)又は(xCb-1,yCb-1)に位置し得る。別の例では、左近隣ルマサンプルが(xCb+W-1,yCb-1)に位置し得る。
b) 一例において、近隣のサンプルの位置は固定されてもよく、かつ/あるいは予め定義されたチェック順序におけるものでもよい。
2) 一例において、N個の近隣のサンプルのうち1つが、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出するために選択される。N=3、及び3つの近隣のサンプル(xCb-1、yCb-H-1)、(xCb+W/2、yCb-1)、(xCb-1、yCb-1)のチェック順序を仮定し、チェックリスト内の最初の利用可能な近隣のサンプルを選択して、クロマ残差スケーリングファクタを導出してもよい。
3) 一例において、「対応するルマコーディングブロック」の左近隣列及び/又は上近隣行に位置するN個のサンプルの中央値又は平均値を使用して、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出してもよく、ここで、N=1....2W+2Hであり、W及びHは「対応するルマコーディングブロック」の幅及び高さである。
d) 一例において、クロマ残差スケーリングを実行するかどうかは、対応するルマブロックの「利用可能な」近隣のサンプルに依存し得る。
i. 一例において、近隣のサンプルの「利用可能性」は、カレントブロック/サブブロックのエンコーディングモード、又は/及び近隣のサンプルのエンコーディングモードに依存してもよい。
1) 一例において、インターモードでコーディングされたブロックについて、イントラモード又は/及びIBCモード又は/及びCIIPモード又は/及びLICモードでコーディングされた近隣のサンプルは、「利用不可能」とみなされ得る。
2) 一例において、インターモードでコーディングされたブロックについて、近隣のサンプルが拡散フィルタ又は/及びバイラテラルフィルタ又は/又はアダマール変換(Hadamard transform)フィルタを採用し、「利用不可能」とみなされ得る。
ii. 一例において、近隣のサンプルの「利用可能性」は、カレントピクチャ/タイル/タイルグループ/VPDU/スライスの幅及び/又は高さに依存し得る。
1) 一例において、近隣のブロックがカレントピクチャの外側に位置する場合、それは「利用不可能」として扱われる。
iii. 一例において、「利用可能な」近隣のサンプルがないとき、クロマ残差スケーリングは拒否されてもよい。
iv. 一例において、「利用可能な」近隣のサンプルの数がK(K>=1)より小さいとき、クロマ残差スケーリングは拒否されてもよい。
v. あるいは、利用不可能な近隣のサンプルは、デフォルトの固定値、又はパディング、又は置換によりフィルされてもよく、それにより、クロマ残差スケーリングは常に適用され得る。
1) 一例において、近隣のサンプルが利用できない場合、それは、1<<(bitDepth-1)でフィルされてもよく、ここで、bitDepthは、ルマ/クロマ成分のサンプルのビット深度を指定する。
2) あるいは、近隣のサンプルが利用できない場合、それは、左/右/上/下の近隣に位置する周囲のサンプルからのパディングによりフィルされてもよい。
3) あるいは、近隣のサンプルが利用できない場合、それは、予め定義されたチェック順序において最初の利用可能な隣接したサンプルにより置換されてもよい。
4) あるいは、近隣のサンプルが利用できない場合、それは、予め定義されたフィルタリング/マッピング値によりフィルされてもよい(例えば、1<<(bitDepth-1)のフィルタリング/マッピング値であり、ここで、bitDepthは、ルマ/クロマ成分のサンプルのビット深度を指定する)。
a) 一例において、フィルタリング/マッピング処理は、LMCSの順方向マッピングのLUTインデックス化であり得る。
e) 一例において、クロマ残差スケーリングを実行するかどうか及び実行する方法は、カレントブロックのコーディングモード、及び/又は近隣のブロックのコーディングモードに依存し得る。
i. 「カレントブロック」は、カレントクロマブロックを参照し得、あるいはそれは、コロケートルマブロック、又はコロケートクロマブロックの少なくとも1つのサンプルをカバーする対応するルマブロックを参照し得る。「近隣ブロック」(隣接(adjacent)又は非隣接(non-adjacent))は、カレントクロマブロックの近隣のクロマブロックを参照し得、あるいはそれらは、カレントルマブロックの近隣のルマブロックを参照し得る。
ii. 一例において、所与の位置をカバーする1つのルマ近隣ブロックのコーディングモードが利用されてもよく、例えば、カレントブロックの左上の座標に対して相対的に(-1,-1)などである。
iii. 一例において、複数の位置をカバーする複数の近隣のブロックのコーディングモードが利用されてもよく、例えば、カレントブロックの左上座標に対して相対的に(x,-1)(例えば、xは0...ブロックの幅から1引いた値)、及び/又はカレントブロックの左上座標に対して相対的に(-1,y)(例えば、yは-1...ブロックの高さから1引いた値)などである。
iv. 一例において、1つの近隣のブロックの再構成が、カレントのスライス/タイルグループ内のサンプルにアクセスすることを必要とする場合、例えば、それがX-コーディングされる場合、クロマ残差スケーリングは無効にされる。
1) 例えば、モードXはイントラモードでもよい。
2) 例えば、モードXはCIIPモードでもよい。
3) 例えば、モードXはIBCモードでもよい。
4) 一例において、カレントブロックがCIIPコーディングでなくインターコーディングされ、対応するルマブロックの近隣の近隣ブロックがモードXでコーディングされる場合、クロマ残差スケーリングは無効にされる。
v. 一例において、1つの近隣のブロックの再構成が、カレントのスライス/タイルグループ内のサンプルにアクセスすることを必要とする場合、例えば、それがX-コーディングされる場合、デフォルト値を使用して、クロマ残差スケーリングファクタを導出してもよい
1) 例えば、モードXはイントラモードでもよい。
2) 例えば、モードXはCIIPモードでもよい。
3) 例えば、モードXはIBCモードでもよい。
4) 一例において、カレントブロックがCIIPコーディングでなくインターコーディングされ、対応するルマブロックの近隣ブロックがモードXでコーディングされる場合、デフォルト値を使用してクロマ残差スケーリングファクタを導出してもよい。
5) 一例において、デフォルト値はルマ/クロマサンプルのビット深度に依存し得る。
6) 一例において、デフォルト値は、1<<(bitDepth-1)のフィルタリング/マッピング値に設定されてもよく、ここで、bitDepthは、ルマ/クロマ成分のサンプルのビット深度を指定する。一例において、フィルタリング/マッピング処理は、LMCSの順方向マッピングのLUTインデックス化であり得る。
f) 一例において、「対応するルマコーディングブロック」の近隣のフィルタ/マッピングされた再構成サンプルを使用して、クロマ残差スケーリングファクタ及び/又はCCLMのモデル計算を導出してもよい。
i. 一例において、フィルタリング/マッピング処理には、イントラブロックのための参照平滑化フィルタリング、バイラテラルフィルタなどのポストフィルタリング、アダマール変換ベースのフィルタ、リシェーパドメインの順方向マッピングなどを含んでもよい。
12. カレントスライス/タイルグループにおける複数のクロマブロック(CU又はTUなど)に対してクロマ残差スケーリングファクタを導出するために、固定値が使用され得ることが提案される。
a) 一例において、N個のブロックに対するクロマ残差スケーリングファクタが、固定値により導出されてもよく、Nは、1...カレントスライス/タイルグループ内のクロマブロックの総数である。
b) 一例において、固定値を使用して、その値が属する区分線形モデルのインデックスを見つけてもよく、次いで、導出された区分インデックスからクロマ残差スケーリングファクタを計算してもよい。一例において、固定値はルマサンプルの内部ビット深度に依存し得る。
c) 一例において、固定値は、クロマ残差スケーリングファクタを表すために直接使用されてもよい。
d) 一例において、固定値及び/又は固定クロマ残差スケーリングファクタは、ピクチャ/スライス/タイルグループのタイプ(例えば、I又はP又はBスライス)及び/又はブロックのコーディングモード(例えば、イントラモード又はインターモード)に依存し得る。
e) 一例において、固定値は、異なるピクチャ/スライス/タイルグループ/タイルに対して異なり得る。
f) 一例において、固定クロマ残差スケーリングファクタが、LMCSにおけるクロマ残差をスケーリングするために直接使用されてもよい。
i. 一例において、固定クロマ残差スケーリングファクタは、DPS/SPS/PPS/VPS/APS/スライスヘッダ/タイルグループヘッダなどのビデオユニットでシグナリングされてもよい。
ii. 一例において、ピクチャ/スライス/タイルグループ/タイルの固定クロマ残差スケーリングファクタは、ピクチャ/スライス/タイルグループ/タイルにおけるルマサンプルリシェーピングのためのマッピング関数(例えば、区分線形関数)に依存し得る。
1) 一例において、固定クロマ残差スケーリングファクタは、JVET-M1001-v7で定義されている配列InvScaleCoeff[]及び/又は配列ScaleCoeff[]に依存し得る。
a) 例えば、ピクチャ/スライス/タイルグループ/タイルに対する固定クロマ残差スケーリングファクタにより依存される配列InvScaleCoeff[]及び/又は配列ScaleCoeff[]を使用して、ピクチャ/スライス/タイルグループ/タイル内のルマサンプルをリシェープしてもよい。
2) 一例において、固定クロマ残差スケーリングファクタは、ルマサンプルをリシェープするために使用される区分線形関数の全てのスケーリングファクタの中の最小/最大/中央/平均値により導出されてもよい。
a) 例えば、固定クロマ残差スケーリングファクタは、InvScaleCoeff[i]の最小/最大/中央/平均値により導出されてもよく、ここで、iは、最小インデックス(JVET-M1001-v7におけるlmcs_min_bin_idxなど)から最大インデックス(JVET-M1001-v7におけるLmcsMaxBinIdxなど)までである。
i. 例えば、固定クロマ残差スケーリングファクタは、InvascaleCoeff[i]の最小/最大/中央/平均値と等しく、ここでiは、最小インデックス(JVET-M1001-v7で定義されるlmcs_min_bin_idxなど)から最大インデックス(JVET-M1001-v7で定義されるLmcsMaxBinIdxなど)までである。
ii. あるいは、固定クロマ残差スケーリングファクタは、InvScaleCoeff[i]の最小/最大/中央/平均値により導出されてもよく、ここで、iは、最小インデックス(0など)から最大インデックス(15など)までであり、JVET-M1001-v7で定義されるlmcsCW[i]は、0に等しくない。
g) 一例において、固定値は、クロマスケーリングファクタを導出するための区分関数インデックスを表すために使用されてもよい。
i. 一例において、固定値は、DPS/SPS/PPS/VPS/APS/スライスヘッダ/タイルグループヘッダなどのビデオユニットでシグナリングされてもよい。
ii. 一例において、固定値はルマサンプル強度を表してもよく、これは、区分関数インデックスを識別するために使用され得、識別された区分関数インデックスはさらに、クロマスケーリングファクタを見つけるために使用される。一例において、固定値は0、又は(1<<lumaBitDepth)-1、又は1<<(lumaBitDepth-1)に等しくてもよく、ここで、lumaBitDepthはルマサンプルのビット深度を示す。
1) 一例において、固定値が区分関数の入力レンジ内である場合、区分関数が識別される。
2) 一例において、固定値が区分関数の出力レンジ内である場合、区分関数が識別される。
iii. 一例において、固定値は区分関数インデックスを表してもよく、これは、クロマスケーリングファクタを見つけるために使用され得る。
1) 一例において、固定値は、LMCS構築プロセスで使用される最小ビンインデックス(例えば、lmcs_min_bin_idx)に等しくてもよい。
2) 一例において、固定値は、LMCS構築プロセスで使用される最大ビンインデックス(例えば、LmcsMaxBinIdx)に等しくてもよい。
3) 一例において、固定値は、LMCS構築プロセスで使用される最大ビンインデックスと最小ビンインデックスの平均に等しくてもよい。
[クロマ残差スケーリング及び/又はCCLMが適用されるか否かの制限]
13. クロマ残差スケーリング又はCCLMが適用されるか否かが、対応する及び/又はコロケートのルマブロックのパーティションに依存し得ることが提案される。
a) 一例において、クロスコンポーネント情報でツールを有効にするか又は無効にするかは、コロケートルマ(例えば、Y又はG成分)ブロック内のCU/PU/TUの数に依存し得る。
i. 一例において、コロケートルマ(例えば、Y又はG成分)ブロック内のCU/PU/TUの数が数値閾値を超えている場合、そのようなツールは無効にされてもよい。
ii. あるいは、クロスコンポーネント情報でツールを有効にするか又は無効にするかは、パーティションツリー深さに依存してもよい。
1) 一例において、コロケートルマブロック内のCUの最大(又は最小、又は平均、又は他のバリエーション)四分木深さが閾値を超えている場合、そのようなツールは無効にされてもよい。
2) 一例において、コロケートルマブロック内のCUの最大(又は最小、又は平均、又は他のバリエーション)BT及び/又はTT深さが閾値を超えている場合、そのようなツールは無効にされてもよい。
iii. あるいは、さらに、クロスコンポーネント情報でツールを有効にするか又は無効にするかは、クロマブロックのブロックの大きさ(dimension)に依存してもよい。
iv. あるいは、さらに、クロスコンポーネント情報でツールを有効にするか又は無効にするかは、コロケートルマが複数のVPDU/予め定義された領域サイズをまたぐ(cross)かどうかに依存してもよい。
v. 上記議論における閾値は、固定数でもよく、あるいはシグナリングされてもよく、あるいは標準のプロファイル/レベル/層に依存してもよい。
b) 一例において、カレントクロマブロックのコロケートルマブロックが複数のパーティション(例えば、図7における)により分けられる場合、クロマ残差スケーリング及び/又はCCLMは禁止されてもよい。
i. あるいは、カレントクロマブロックのコロケートルマブロックが分割されていない場合(例えば、1つのCU/TU/PU内)、クロマ残差スケーリング及び/又はCCLMは適用されてもよい。
c) 一例において、カレントクロマブロックのコロケートルマブロックがM個より多くのCU/PU/TUを含む場合、クロマ残差スケーリング及び/又はCCLMは禁止されてもよい。
i. 一例において、Mは1より大きい整数でもよい。
ii. 一例において、Mは、それがCCLMであるか又はクロマ残差スケーリング処理であるかに依存してもよい。
iii. Mは固定数でもよく、あるいはシグナリングされてもよく、あるいは標準プロファイル/レベル/層に依存してもよい。
d) コロケートルマブロック内の上述のCUは、コロケートルマブロック内の全てのCUであると解釈されてもよい。あるいは、コロケートルマブロック内のCUは、コロケートルマブロック内の部分的なCU、例えば、コロケートルマブロックの境界に沿ったCUであると解釈されてもよい。
e) コロケートルマブロック内の上述のCUは、サブCU又はサブブロックであると解釈されてもよい。
i. 例えば、サブCU又はサブブロックはATMVPで使用され得る。
ii. 例えば、サブCU又はサブブロックはアフィン予測で使用され得る。
iii. 例えば、サブCU又はサブブロックは、イントラサブパーション(Intra Sub-Partitions、ISP)モードで使用され得る。
f) 一例において、コロケートルマブロックの左上ルマサンプルをカバーするCU/PU/TUが予め定義されたルマブロックサイズより大きい場合、クロマ残差スケーリング及び/又はCCLMは禁止されてもよい。
i. 一例が図8に示され、コロケートルマブロックは32×32であるが、それは64×64に等しいサイズの対応するルマブロック内にあり、予め定義されたルマブロックサイズが32×64である場合、クロマ残差スケーリング及び/又はCCLMはこの場合禁止される。
ii. あるいは、カレントクロマブロックのコロケートされたものが分割されておらず、コロケートルマブロックの左上ルマサンプルをカバーする対応するルマブロックが、予め定義された境界ボックス(bounding box)内に完全に含まれている場合、カレントクロマブロックに対するクロマ残差スケーリング及び/又はCCLMを適用してもよい。境界ボックスは、図9に示すように、幅W及び高さHを有する、W×Hで示される矩形として定義され得、ここで、対応するルマブロックは幅32及び高さ64を有し、境界ボックスは幅40及び高さ70を有する。
1) 一例において、境界ボックスのサイズW×Hは、CTU幅及び/又は高さに従って、又はCU幅及び/又は高さに従って、又は任意の値に従って定義されてもよい。
g) 一例において、カレントクロマブロックのコロケートルマブロックが複数のパーティションにより分けられる場合、コロケートルマブロックの予め定義されたパーティション内の予測サンプル(又は、再構成サンプル)のみが、LMCSモードにおけるクロマ残差スケーリングファクタを導出するために使用される。
i. 一例において、コロケートルマブロックの第1のパーティション内の全ての予測サンプル(又は、再構成サンプル)の平均を使用して、LMCSモードにおけるクロマ残差スケーリングファクタを導出する。
ii. あるいは、コロケートルマブロックの第1のパーティションにおける左上の予測サンプル(又は、再構成サンプル)を使用して、LMCSモードにおけるクロマ残差スケーリングファクタを導出する。
iii. あるいは、コロケートルマブロックの第1のパーティションにおける中心の予測サンプル(又は、再構成サンプル)を使用して、LMCSモードにおけるクロマ残差スケーリングファクタを導出する。
h) CCLM及びLMCSなどのクロスコンポーネントツールを適用するかどうか及び適用する方法が、コロケートルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUのコーディングモードに依存し得ることが提案される。
i. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUがアフィンモードでコーディングされている場合、クロスコンポーネントツールは無効にされる。
ii. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUが双予測でコーディングされている場合、クロスコンポーネントツールは無効にされる。
iii. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUがBDOFでコーディングされている場合、クロスコンポーネントツールは無効にされる。
iv. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUがDMVRでコーディングされている場合、クロスコンポーネントツールは無効にされる。
v. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUが、JVET-N0217で提案されている行列アフィン予測モードでコーディングされている場合、クロスコンポーネントツールは無効にされる。
vi. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUがインターモードでコーディングされている場合、クロスコンポーネントツールは無効にされる。
vii. 例えば、コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCUがISPモードでコーディングされている場合、クロスコンポーネントツールは無効にされる。
viii. 一例において、「コロケートルマブロックの少なくとも1つのサンプルをカバーする1つ又は複数のルマCU」は、対応するルマブロックを参照し得る。
i) CCLM/LMCSが禁止されているとき、CCLM/LMCSの使用の指標のシグナリングはスキップされてもよい。
j) 本開示において、CCLMは、LMモード、LM-Tモード、及びLM-Lモードを含む、CCLMの任意のバリアントモードを参照し得る。
14. CCLM及びLMCSなどのクロスコンポーネントツールを適用するかどうか及び適用する方法が、クロマブロックの一部に対して実行され得ることが提案される。
a) 一例において、CCLM及びLMCSなどのクロスコンポーネントツールを適用するかどうか及び適用する方法は、クロマサブブロックレベルにおけるものである。
i. 一例において、クロマサブブロックは、クロマCU内の2×2又は4×4ブロックとして定義される。
ii. 一例において、クロマサブブロックについて、カレントクロマCUの対応するルマコーディングブロックが、サブブロックの対応するブロックの全てのサンプルをカバーするとき、CCLMが適用されてもよい。
iii. 一例において、クロマサブブロックについて、対応するブロックの全てのサンプルが、カレントクロマCUの対応するルマコーディングブロックによりカバーされるわけではないとき、CCLMは適用されない。
iv. 一例において、CCLM又はLMCSのパラメータは、各クロマサブブロックに対して、そのサブブロックをクロマCUとして扱うものとして導出される。
v. 一例において、CCLM又はLMCSがクロマサブブロックに適用されるとき、コロケートブロックのサンプルが使用されてもよい。
15. CCLMなどのクロスコンポーネントツールを適用するかどうか及び適用する方法が、ブロックの大きさ及び/又はパーティション情報及び/又はパーティション構造タイプ(例えば、デュアルツリー又は単一ツリー)に依存し得ることが提案される。
a) 一例において、CCLMは、クロマデュアルツリーパーティションに対して無効にされ得る。
b) 一例において、CCLMは、ブロックの大きさに依存して条件付きで無効にされ得る。
i. 一例において、カレントブロックの大きさがWB×HBであると仮定し、以下のCCLMは、WBと、HBと、2つの整数T1及びT2との間の関係に依存して無効にされてもよい。
1) 一例において、CCLMは、WB≧T1及びHB≧T2の場合、無効にされてもよい。例えば、T1=T2=8である。
2) 一例において、CCLMは、WB*HB>=T1の場合、無効にされてもよい。例えば、T1=64である。
3) 一例において、CCLMは、Min(WB,HB)>=T1の場合、無効にされてもよい。例えば、T1=8である。
4) 一例において、CCLMは、Max(WB,HB)>=T1の場合、無効にされてもよい。例えば、T1=8である。
5) 一例において、CCLMは、WB<=T1及びHB<=T2の場合、無効にされてもよい。例えば、T1=T2=16である。
6) 一例において、CCLMは、WB*HB<=T1の場合、無効にされてもよい。例えば、T1=4096である。
7) 一例において、CCLMは、Min(WB,HB)<=T1の場合、無効にされてもよい。例えば、T1=64である。
8) 一例において、CCLMは、Max(WB,HB)<=T1の場合、無効にされてもよい。例えば、T1=64である。
c) 一例において、CCLMは、ブロックの大きさ及び/又はパーティション情報により制限されてもよい。
i. 一例において、大きさWB×HBのクロマブロックについて、以下の条件のうち1つ又は複数が満たされる場合、CCLMは無効にされる。例えば、WB=HB=32である。以下の箇条書きにおいて、コロケートルマブロックの大きさは(sh×WB)×(sv×HB)であり得、ここで、shとsvはスケーリングファクタである。例えば、色フォーマットが4:2:0のとき、sh=sv=2である。
1) カレントクロマブロックは水平分割を伴うリーフノードにあり、コロケートルマブロックは垂直分割を伴うリーフノードにある。
a) 一例において、カレントクロマブロックはSPLIT_TT_HORモードで分割され、コロケートルマブロックはSPLIT_TT_VERモードで分割される。
b) 一例において、カレントクロマブロックはSPLIT_TT_HORモードで分割され、コロケートルマブロックはSPLIT_BT_VERモードで分割される。
c) 一例において、カレントクロマブロックはSPLIT_BT_HORモードで分割され、コロケートルマブロックはSPLIT_TT_VERモードで分割される。
d) 一例において、カレントクロマブロックはSPLIT_BT_HORモードで分割され、コロケートルマブロックはSPLIT_BT_VERモードで分割される。
2) カレントクロマブロックは垂直分割を伴うリーフノードにあり、コロケートルマブロックは水平分割を伴うリーフノードにある。
a) 一例において、カレントクロマブロックはSPLIT_TT_VERモードで分割され、コロケートルマブロックはSPLIT_TT_HORモードで分割される。
b) 一例において、カレントクロマブロックはSPLIT_TT_VERモードで分割され、コロケートルマブロックはSPLIT_BT_HORモードで分割される。
c) 一例において、カレントクロマブロックはSPLIT_BT_VERモードで分割され、コロケートルマブロックはSPLIT_TT_HORモードで分割される。
d) 一例において、カレントクロマブロックはSPLIT_BT_VERモードで分割され、コロケートルマブロックはSPLIT_BT_HORモードで分割される。
d) 一例において、CCLMがブロックに対して無効にされている場合、CCLMに関連するシンタックス要素は、ブロック内でシグナリングされなくてもよい。
i. あるいは、CCLMがブロックに対して無効にされている場合、CCLMに関連するシンタックス要素はシグナリングされ得るが、CCLMモードは、適合ビットストリーム内のブロックで使用されるべきではない。
ii. あるいは、CCLMがブロックに対して無効にされている場合、CCLMに関連するシンタックス要素はシグナリングされてもよい。CCLMモードがシグナリングされる場合、planar又はDCなどのデフォルトモードが適用され得る。
[LMCSモードにおけるクロマ残差スケーリングの適用可能性]
16. ルマ依存クロマ残差スケーリングを適用できるかどうかが、JVET-M1001に規定されるタイルグループヘッダに加えて、他のシンタックスレベルでシグナリングされ得ることが提案される。
a) 例えば、chroma_residual_scale_flagが、シーケンスレベルで(例えば、SPS内で)、ピクチャレベルで(例えば、PPS又はピクチャヘッダ内で)、スライスレベルで(例えば、スライスヘッダ内で)、タイルレベルで、CTU行レベルで、CTUレベルで、CUレベルでシグナリングされてもよい。1に等しいchroma_residual_scale_flagは、シグナリングされたシンタックスレベル以下のCUに対してクロマ残差スケーリングを有効にされていることを指定する。0に等しいchroma_residual_scale_flagは、シグナリングされたシンタックスレベル以下に対してクロマ残差スケーリングが有効にされないことを指定する。chroma_residual_scale_flagが存在しないとき、それは0に等しいと推論される。
b) 一例において、クロマ残差スケーリングがパーティションノードレベルで制約されている場合、chroma_residual_scale_flagは、シグナリングされなくてもよく、パーティションノードによりカバーされるCUについて0であると推論され得る。一例において、パーティションノードはCTUでもよい(CTUは、4要素からなるツリーパーティションのルートノードとして扱われる)。
c) 一例において、32×32以下のクロマブロックサイズに対してクロマ残差スケーリングが制約されている場合、chroma_residual_scale_flagは、シグナリングされなくてもよく、32×32以下のクロマブロックサイズについて0であると推論され得る。
[CCLMモードの適用可能性]
17. CCLMモードを適用できるかどうかが、JVET-M1001に規定されるspsレベルに加えて、他のシンタックスレベルでシグナリングされ得ることが提案される。
a) 例えば、それは、ピクチャレベルで(例えば、PPS又はピクチャヘッダ内で)、スライスレベルで(例えば、スライスヘッダ内で)、タイルグループレベルで(例えば、タイルグループヘッダ内で)、タイルレベルで、CTU行レベルで、CTUレベルで、CUレベルでシグナリングされてもよい。
b) 一例において、CCLMを適用できない場合、cclm_flagはシグナリングされなくてもよく、0であると推論され得る。
i. 一例において、8x8以下のクロマブロックサイズについてクロマ残差スケーリングが制約されている場合、cclm_flagはシグナリングされなくてもよく、8x8以下のクロマブロックサイズについて0であると推論され得る。
[イントラモード及びインターモードのクロマ残差スケーリングファクタ導出の統合]
18. クロマ残差スケーリングファクタは、ルマブロックをエンコード/デコードした後に導出され得、続くコーディングブロックのために記憶及び使用され得る。
a) 一例において、ルマブロック内の特定の予測サンプル又は/及び中間予測サンプル又は/及び再構成サンプル又は/及びループフィルタリング前(例えば、デブロッキングフィルタ又は/及びSAOフィルタ又は/及びバイラテラルフィルタ又は/及びアダマール変換フィルタ又は/及びALFフィルタにより処理される前)の再構成サンプルが、クロマ残差スケーリングファクタの導出に使用され得る。
i. 例えば、ルマブロックの最下行又は/及び右列内の部分的サンプルを、クロマ残差スケーリングファクタの導出に使用してもよい。
b) 単一ツリーの場合、イントラモード又は/及びIBCモード又は/及びインターモードでコーディングされるブロックをエンコードするとき、近隣のブロックの導出されたクロマ残差スケーリングファクタが、カレントブロックのスケーリングファクタを導出するために使用され得る。
i. 一例において、特定の近隣のブロックが順番にチェックされてもよく、最初の利用可能なクロマ残差スケーリングファクタがカレントブロックに使用されてもよい。
ii. 一例において、特定の近隣のブロックが順番にチェックされてもよく、最初のK個の利用可能な近隣クロマ残差スケーリングファクタに基づいてスケーリングファクタを導出してもよい。
iii. 一例において、インターモード又は/及びCIIPモードでコーディングされるブロックについて、近隣のブロックがイントラモード又は/及びIBCモード又は/及びCIIPモードでコーディングされている場合、近隣のブロックのクロマ残差スケーリングファクタは「利用不可能」とみなされてもよい。
iv. 一例において、近隣のブロックは、左(又は、左上)→上(又は、右上)の順にチェックされ得る。
1) あるいは、近隣のブロックは、上(又は、右上)→左(又は、左上)の順にチェックされてもよい。
c) セパレートツリーの場合、クロマブロックをエンコードするとき、対応するルマブロックが最初識別され得る。次いで、その(例えば、対応するルマブロックの)近隣のブロックの導出されたクロマ残差スケーリングファクタが、カレントブロックのスケーリングファクタを導出するために使用され得る。
i. 一例において、特定の近隣のブロックが順番にチェックされてもよく、最初の利用可能なクロマ残差スケーリングファクタがカレントブロックに使用されてもよい。
ii. 一例において、特定の近隣のブロックが順番にチェックされてもよく、最初のK個の利用可能な近隣クロマ残差スケーリングファクタに基づいてスケーリングファクタを導出してもよい。
d) 近隣のブロックは予め定義された順序でチェックされてもよい。
i. 一例において、近隣のブロックは、左(又は、左上)→上(又は、右上)の順にチェックされ得る。
ii. 一例において、近隣のブロックは、上(又は、右上)→左(又は、左上)の順にチェックされ得る。
iii. 一例において、近隣のブロックは、左下→左→右上→上→左上の順にチェックされ得る。
iv. 一例において、近隣のブロックは、左→上→右上→左下→左上の順にチェックされ得る。
e) 一例において、クロマ残差スケーリングを適用するかどうかは、近隣のブロックの「利用可能性」に依存し得る。
i. 一例において、「利用可能な」近隣のブロックがないとき、クロマ残差スケーリングは拒否されてもよい。
ii. 一例において、「利用可能な」近隣のブロックの数がK(K>=1)より小さいとき、クロマ残差スケーリングは拒否されてもよい。
iii. あるいは、「利用可能な」近隣のブロックがないとき、クロマ残差スケーリングファクタはデフォルト値により導出されてもよい。
1) 一例において、デフォルト値1<<(BitDepth-1)を使用して、クロマ残差スケーリングファクタを導出してもよい。
f) 一例において、カレントクロマブロックのクロマ残差スケーリングファクタは、続くコーディングブロックのために記憶及び使用され得る。
g) 一例において、クロマ残差スケーリングファクタの記憶は、ラインバッファから除去され得る。
i. 一例において、カレントブロックと、アクセスされる近隣の(隣接又は非隣接の)ブロックとが異なる領域内にあるとき、そのクロマ残差スケーリングファクタは「利用不可能」とみなされ得、カレントブロックのクロマ残差スケーリングファクタの導出に使用されなくてもよい。
1) 領域は、スライス、タイル、タイルグループ、CTU行、又はCTUであり得る。
2) あるいは、そのクロマ残差スケーリングファクタは、そのような場合にはデフォルト値として考慮されてもよい。
3) あるいは、クロマ残差スケーリングは、そのような場合には適用できない。
h) 一例において、カレントクロマブロックのクロマ残差スケーリングファクタはオンザフライで更新されてもよく、続くブロックのスケーリングファクタ導出のために履歴テーブルに保存されてもよい。
i. 履歴テーブルは、FIFO(先入れ先出し)方式で更新され得る。
ii. クロマブロックをデコード/エンコードした後、クロマ残差スケーリングファクタを(例えば、ルマ値に従って)導出してもよく、FIFO履歴テーブルに記憶してもよい。
iii. 一例において、FIFO履歴テーブルは、最大で1つのエントリを含み得る。この場合、最新の復号ブロックの導出されたクロマ残差スケーリングファクタがカレントブロックに使用される。
iv. 一例において、履歴テーブルは、ピクチャ及び/又はスライス及び/又はタイルグループ及び/又はタイル及び/又はCTU行及び/又はCTUをエンコード/デコードする前にリフレッシュされる。
1) 一例において、履歴テーブルがリフレッシュされるとき、履歴テーブルにデフォルトのクロマ残差スケーリングファクタを入れてもよい。
2) 一例において、FIFO履歴テーブルがリフレッシュされるとき、履歴テーブルは空に設定される。
5. 実施形態
5.1 実施形態#1
以下で論じられる例示的な実施形態は、セクション4の項目11の一例示的な方法に関する。
新たに追加された部分は下線と太字で示され、VVC作業原案から削除される部分は太字の大文字フォントで示される。この修正は、最新のVVC作業原案(JVET-M1007-v7)とJVET-N220-v3における新しい採択に基づく。
Figure 2022531216000071
Figure 2022531216000072
Figure 2022531216000073
Figure 2022531216000074
5.2 実施形態♯2
以下の実施形態は、本発明の説明の項目11における方法に関する。
新たに追加された部分は下線と太字で示され、VVC作業原案から削除される部分は太字の大文字フォントで示される。この修正は、最新のVVC作業原案(JVET-M1007-v7)とJVET-N220-v3における新しい採択に基づく。
実施形態#2と#1との差を、以下のとおり列挙する。
- 複数の近隣ルマサンプルをチェックして、クロマ残差スケーリングファクタを導出する。
- 近隣ルマサンプルが利用できないとき、又は、近隣ルマがINTRA/CIIP/IBCモードでコーディングされている一方でカレントがINTERモードでコーディングされているとき、#2はクロマ残差スケーリングファクタ導出にデフォルト値を使用する。
Figure 2022531216000075
Figure 2022531216000076
Figure 2022531216000077
Figure 2022531216000078
5.3 実施形態#3
以下の実施形態は、本発明の説明の項目12における方法に関する。
新たに追加された部分は太字の斜体で強調表示され、VVC作業原案から削除される部分は大文字の太字フォントで強調表示されている。この修正は、最新のVVC作業原案(JVET-M1007-v7)とJVET-N220-v3における新しい採択に基づく。
Figure 2022531216000079
Figure 2022531216000080
5.4 実施形態#4
以下の実施形態は、本発明の説明の項目12における方法に関する。
新たに追加された部分は太字の斜体で強調表示され、VVC作業原案から削除される部分は大文字の太字フォントで強調表示されている。この修正は、最新のVVC作業原案(JVET-M1007-v7)とJVET-N220-v3における新しい採択に基づく。
Figure 2022531216000081
Figure 2022531216000082
5.5 実施形態5
以下の実施形態は、本発明の説明の項目12における方法に関する。
新たに追加された部分は太字の斜体で強調表示され、VVC作業原案から削除される部分は大文字の太字フォントで強調表示されている。この修正は、最新のVVC作業原案(JVET-M1007-v7)とJVET-N220-v3における新しい採択に基づく。
Figure 2022531216000083
Figure 2022531216000084
6. 開示された技術の例示的な実装
図10は、ビデオ処理装置1000のブロック図である。装置1000は、本明細書に記載される方法の1つ以上を実施するために使用することができる。装置1000は、スマートフォン、タブレット、コンピュータ、モノのインターネット(Internet of Things、IoT)の受信機などにおいて具現化されてもよい。装置1000は、1つ以上のプロセッサ1002、1つ以上のメモリ1004、及びビデオ処理ハードウェア1006を含むことができる。プロセッサ1002は、本文献に記載される1つ以上の方法(これらに限定されないが、方法800及び900を含む)を実施するように構成され得る。メモリ(複数のメモリ)1004は、本明細書に記載される方法及び手法を実施するために使用されるデータ及びコードを記憶するために使用され得る。ビデオ処理ハードウェア1006は、本文献に記載されるいくつかの手法をハードウェア回路に実装するために使用され得る。
いくつかの実施形態において、ビデオコーディング方法は、図10に関して説明したようなハードウェアプラットフォーム上に実装される装置を使用して実施されてもよい。
図11は、開示された技術による、クロスコンポーネント予測のための線形モデル導出の一例示的な方法1100のフローチャートを示す。この方法1100は、ステップ1110において、カレントビデオブロックとカレントビデオブロックのビットストリーム表現との間のコンバージョン(conversion)を実行するステップを含み、このコンバージョンの間、1つ以上の参照フレームに含まれる第1の色成分値セットから、カレントビデオブロックの第2の色成分値セットが導出され、第1の色成分値セットは、ビデオコーディングステップの線形モデルにおいて使用可能である。
いくつかの実施形態が、以下の箇条ベースのフォーマットを使用して説明され得る。
1. ビデオ処理のための方法であって、
カレントビデオブロックと前記カレントビデオブロックのビットストリーム表現との間のコンバージョンを実行するステップであり、前記コンバージョンの間、前記カレントビデオブロックの第2の色成分値セットが、1つ以上の参照フレームに含まれる第1の色成分値セットから導出され、前記第1の色成分値セットは、ビデオコーディングステップの線形モデルにおいて使用可能である、ステップ
を含む方法。
2. 前記第1の色成分値セットは、前記ビデオコーディングステップの前記線形モデルにおいて使用する前に補間される、箇条1に記載の方法。
3. の前記第1の色成分値セットの線形結合が、前記線形モデルのパラメータとして使用可能である、箇条1乃至2のうちいずれか1つ以上に記載の方法。
4. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットの位置は、前記カレントビデオブロックの動き情報に少なくとも部分的に基づいて選択される、箇条1に記載の方法。
5. 前記1つ以上の参照フレーム内のルマ成分値の位置は、前記カレントビデオブロック内の対応するルマ成分値の位置と、前記カレントビデオブロックの前記動き情報とから計算される、箇条4に記載の方法。
6. 前記対応するルマ成分値の位置は、前記カレントビデオブロック内の左上サンプル、中心サンプル、又は右下サンプルである、箇条5に記載の方法。
7. 前記カレントビデオブロックの前記動き情報は、整数動きベクトル又は分数動きベクトルに対応する、箇条6に記載の方法。
8. 前記分数動きベクトルは、前記1つ以上の参照フレームにおける分数ルマ成分値を用いて導出される、箇条7に記載の方法。
9. 前記整数動きベクトルは、ゼロに近づくよう又はゼロから離れるように丸めることにより導出される、箇条7に記載の方法。
10. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットの位置は、予め定義された位置である、箇条1に記載の方法。
11. 前記第1の色成分値セットの中央値又は平均値が、前記カレントビデオブロックの前記第2の色成分値セットを導出するために使用される、箇条1乃至10のうちいずれか1つ以上に記載の方法。
12. 前記1つ以上の参照フレームは予め定義された参照フレームである、箇条1乃至11のうちいずれか1つ以上に記載の方法。
13. 前記予め定義された参照フレームは、参照ピクチャリストの参照インデックスを有するフレームを含む、箇条12に記載の方法。
14. 前記参照インデックスはゼロであり、前記参照ピクチャリストはゼロである、箇条13に記載の方法。
15. 前記参照インデックス及び/又は前記参照ピクチャリストは、以下、すなわち、シーケンス、ピクチャ、タイル、グループ、スライス、タイル、コーディングツリーユニット、又はビデオブロック、のうち1つ以上に関連づけられたビットストリーム表現においてシグナリングされる、箇条13に記載の方法。
16. 前記カレントビデオブロックの前記第2の色成分値セットは、前記1つ以上の参照フレームに含まれる前記第1の色成分値セットの数学的平均又は加重平均から導出される、箇条1に記載の方法。
17. 前記カレントビデオブロックの前記第2の色成分値セットは、前記カレントビデオブロックが双予測コーディングブロックであるかどうかに基づいて、前記1つ以上の参照フレームに含まれる前記第1の色成分値のセットから選択的に導出される、箇条1に記載の方法。
18. 前記カレントビデオブロックの前記第2の色成分値セットは、前記第1の色成分値セットの各予測方向に対して個々に導出される、箇条17に記載の方法。
19. 前記カレントビデオブロックの前記第2の色成分値セットは、前記カレントビデオブロックがサブブロックベースの予測に関連づけられるかどうかに基づいて、前記1つ以上の参照フレームに含まれる前記第1の色成分値セットから選択的に導出される、箇条1に記載の方法。
20. 前記サブブロックベースの予測は、アフィン予測又は代替時間動きベクトル予測(ATMVP)に対応する、箇条1に記載の方法。
21. 前記カレントビデオブロックの前記第2の色成分値セットは、個々のサブブロックに対して導出される、箇条19乃至20のうちいずれか1つ以上に記載の方法。
22. 前記カレントビデオブロックの前記第2の色成分値セットは、前記サブブロックベースの予測にかかわらず、前記カレントビデオブロックの全体に対して導出される、箇条19乃至21のうちいずれか1つ以上に記載の方法。
23. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、前記カレントビデオブロックのサブブロックの動きベクトルに少なくとも部分的に基づいて選択される、箇条19乃至22のうちいずれか1つ以上に記載の方法。
24. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、中間色成分値である、箇条1乃至23のうちいずれか1つ以上に記載の方法。
25. 前記ビデオコーディングステップは、別のビデオコーディングステップに先行する、箇条1乃至24のうちいずれか1つ以上に記載の方法。
26. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、前記カレントビデオブロック又は前記カレントビデオブロックのサブブロックの中間動きベクトルに少なくとも部分的に基づいて選択され、前記中間動きベクトルは、前記別のビデオコーディングステップの前に計算される、箇条25に記載の方法。
27. 前記別のビデオコーディングステップは、以下のステップ、すなわち、双方向オプティカルフロー(BDOF)ステップ、デコーダ側動きベクトル精緻化(DMVR)ステップ、予測精緻化オプティカルフロー(PROF)ステップ、のうち1つ又は組み合わせを含む、箇条24乃至26のうちいずれか1つ以上に記載の方法。
28. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、対応するルマブロックに関連づけられたM×Nルマ成分値に対応する、箇条1乃至27のうちいずれか1つ以上に記載の方法。
29. 前記対応するルマブロックは、前記カレントビデオブロックのコロケートルマブロックである、箇条28に記載の方法。
30. MとNの積は、前記カレントビデオブロックの前記コロケートルマブロックのブロック幅とブロック高さの積より小さい、箇条29に記載の方法。
31. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、前記コロケートルマブロックの近隣のルマサンプルの位置で識別される参照サンプルの少なくとも一部に対応する、箇条27乃至30のうちいずれか1つ以上に記載の方法。
32. 前記第1の色成分値セットは、前記ビデオコーディングステップの前記線形モデルにおいて使用する前にダウンサンプリングされる、箇条1乃至31のうちいずれか1つ以上に記載の方法。
33. 前記カレントビデオブロックの前記第2の色成分値セットは、前記カレントビデオブロックの以下の情報、すなわち、量子化パラメータ、コーディングモード、又はピクチャオーダカウント(POC)、のうち1つ以上に少なくとも部分的に基づいて選択される、箇条1に記載の方法。
34. 前記近隣のルマサンプルの位置は、前記コロケートルマブロックの左上サンプルがカバーされるようなものである、箇条31に記載の方法。
35. 前記1つ以上の参照フレームに含まれる前記第1の色成分値セットは、前記対応するルマブロックの外部の位置で識別される参照サンプルの少なくとも一部に対応する、箇条28に記載の方法。
36. 前記カレントビデオブロックの前記第2の色成分値セットは、前記対応するルマブロックの近隣のサンプルの利用可能性に基づいて、前記1つ以上の参照フレームに含まれる前記第1の色成分値セットから選択的に導出される、箇条28に記載の方法。
37. 前記対応するルマブロックの前記近隣のサンプルの利用可能性は、前記カレントビデオブロックのコーディングモードの使用、前記対応するルマブロックの前記近隣のサンプルのコーディングモードの使用、前記対応するルマブロックのコーディングモードの使用、1つ以上の近隣のビデオブロックのコーディングモードの使用、前記対応するルマブロックの前記近隣のサンプルに関連づけられたフィルタのタイプの使用、又は前記カレントビデオブロック又はそのサブブロックに対する前記対応するルマブロックの前記近隣のサンプルの位置、のうち1つ以上に基づく、箇条28に記載の方法。
38. 前記対応するルマブロックの前記近隣のサンプルの利用可能性の欠如に応答して、利用不可能なサンプルを他のサンプルで置換、フィル、又はパディングするステップ、
をさらに含む箇条28に記載の方法。
39. 前記対応するルマブロックの近隣のサンプルに平滑化フィルタを適用するステップ、
をさらに含む箇条28条に記載の方法。
40. ビデオ処理のための方法であって、
カレントビデオブロックと前記カレントビデオブロックのビットストリーム表現との間のコンバージョンを実行するステップであり、前記コンバージョンの間、前記カレントビデオブロックの第2の色成分値セットは、1つ以上の参照フレームに含まれる第1の色成分値セットから導出され、前記第1の色成分値セットは、ビデオコーディングステップの線形モデルにおいて使用可能である、ステップと、
前記1つ以上の参照フレームに含まれる前記第1の色成分値セットが前記カレントビデオブロックのコロケートルマブロックであると決定したことに応答して、前記カレントビデオブロックの前記コロケートルマブロックに関連づけられた1つ以上の条件に基づいて、前記カレントビデオブロックの前記第2の色成分値セットの導出を選択的に有効又は無効にするステップと、
を含む方法。
41. 前記カレントビデオブロックの前記コロケートルマブロックに関連づけられた前記1つ以上の条件は、前記コロケートルマブロックのパーティションサイズ、前記コロケートルマブロックのコーディングユニット数が閾値数値に達していること、前記コロケートルマブロックの左上ルマサンプルが閾値サイズに達していること、前記コロケートルマブロックのパーティションツリー深さ、対応するルマブロックが前記コロケートルマブロックの前記左上ルマサンプルをカバーしていること、前記コロケートルマブロック又は前記カレントビデオブロックの大きさ、又は対応するルマブロックが前記コロケートルマブロックの前記左上ルマサンプルをカバーし、さらに予め定義されたサイズの境界ボックス内に含まれることを含む、箇条40に記載の方法。
42. 前記導出を選択的に有効又は無効にすることを示す情報は、前記ビットストリーム表現に含まれる、箇条40に記載の方法。
43. 前記対応するルマブロックの近隣のサンプルの利用可能性は、予め定義された順序に従って前記近隣のサンプルをチェックすることに関連づけられる、箇条28に記載の方法。
44. 前記コロケートルマブロック及び前記カレントビデオブロックは、同じコーディングツリーユニット、又はコーディングツリーユニットの同じ行に関連づけられる、箇条41に記載の方法。
45. ビデオ処理のための方法であって、
カレントビデオブロックとカレントビデオブロックのビットストリーム表現との間のコンバージョンを実行するステップであり、前記コンバージョンの間、前記カレントビデオブロックの第2の色成分値セットが、1つ以上の参照フレームに含まれる第1の色成分値セットから導出され、前記第1の色成分値セットは、ビデオコーディングステップの線形モデルにおいて使用可能である、ステップと、
前記カレントビデオブロック又は前記カレントビデオブロックの近隣のビデオブロックの1つ以上の特性が満たされると決定したことに応答して、前記カレントビデオブロックの前記第2の色成分値セットの導出を選択的に有効又は無効にするステップと、
を含む方法。
46. 前記カレントビデオブロック又は前記カレントビデオブロックの近隣のビデオブロックの前記1つ以上の特性は、前記カレントビデオブロックの空間位置に対する空間位置をカバーする近隣のルマブロックに対応する、箇条45に記載の方法。
47. 前記カレントビデオブロック又は前記カレントビデオブロックの近隣のビデオブロックの前記1つ以上の特性は、前記カレントビデオブロックの空間位置に対する前記カレントビデオブロックの前記近隣のビデオブロックの空間位置に対応する、箇条45に記載の方法。
48. 前記近隣のビデオブロックの再構成が前記カレントビデオブロックのコーディングモードに少なくとも部分的に基づくと決定したことに応答して、前記カレントビデオブロックの前記第2の色成分値セットの導出を無効にするステップ、
をさらに含む箇条45に記載の方法。
49. 前記カレントビデオブロックがインターコーディングブロックであり、組み合わせインター及びイントラ予測のコーディングブロックでなく、前記カレントビデオブロックの対応するルマブロックの近隣のブロックがイントラコーディングブロック、組み合わせインター及びイントラ予測(CIIP)ブロック、又はイントラブロックコピー(IBC)コーディングブロックであると決定したことに応答して、前記カレントビデオブロックの前記第2の色成分値セットの導出を無効にするステップ、
をさらに含む箇条45に記載の方法。
50. 前記カレントビデオブロックがインターコーディングブロックであり、組み合わせインター及びイントラ予測のコーディングブロックでなく、前記カレントビデオブロックの対応するルマブロックの近隣のブロックがイントラコーディングブロック、組み合わせインター及びイントラ予測(CIIP)ブロック、又はイントラブロックコピー(IBC)コーディングブロックであると決定したことに応答して、前記カレントビデオブロックの前記第2の色成分値セットの導出を有効にするステップであり、前記第1の色成分値セットは固定値である、ステップ、
をさらに含む箇条45条に記載の方法。
51. 前記第1の色成分値セットは固定値である、箇条45に記載の方法。
52. 前記固定値は、前記ビデオコーディングステップの前記線形モデルの区分インデックスに対応する、箇条51に記載の方法。
53. 前記近隣のサンプルは、前記カレントビデオブロックに対して隣接又は非隣接であり得る、箇条1乃至52のうちいずれか1つ以上に記載の方法。
54. 前記近隣のサンプルは、前記カレントビデオブロックの近隣のクロマブロックに関連づけられ、あるいは前記カレントビデオブロックの近隣のクロマブロックであり得る、箇条1乃至52のうちいずれか1つ以上に記載の方法。
55. 前記カレントビデオブロックは、クロマブロック、前記コロケートルマブロック、又は前記コロケートクロマブロックの左上ルマサンプルをカバーする前記対応するルマブロックに対応する、箇条1乃至54のうちいずれか1つ以上に記載の方法。
56. 前記カレントビデオブロックの前記第2の色成分値セットは、1つ以上の他のビデオブロックと関連して使用のために記憶される、箇条1乃至54のうちいずれか1つ以上に記載の方法。
57. 前記線形モデルは、クロスコンポーネント線形モデル(CCLM)に対応し、前記ビデオコーディングステップは、クロマスケーリング付きルママッピング(LMCS)モードに対応する、箇条1乃至56のうちいずれか1つ以上に記載の方法。
58. 前記カレントビデオブロックは、インターコーディングブロック、双予測コーディングブロック、組み合わせインター及びイントラ予測(CIIP)ブロック、又はイントラブロックコピー(IBC)コーディングブロックである、箇条1乃至57のうちいずれか1つ以上に記載の方法。
59. 前記カレントビデオブロックの前記第2の色成分値セットは、前記ビットストリーム表現における他のビデオブロックに関連づけられた使用のために記憶される、箇条1乃至58のうちいずれか1つ以上に記載の方法。
60. 前記カレントビデオブロックの前記第2の色成分値セットは、前記他のビデオブロックに含まれる近隣のビデオブロックによる選択的な利用可能性又は利用不可性(unavailability)のためのラインバッファに記憶され、前記カレントビデオブロック及び前記近隣のビデオブロックは、異なるスライス、タイル、タイルグループ、コーディングツリーユニット、又はコーディングツリーユニットの行に関連づけられる、箇条59に記載の方法。
61. 前記カレントビデオブロックの前記第2の色成分値セットは、固定値である、箇条60に記載の方法。
62. 前記カレントビデオブロックの前記第2の色成分値セットは、導出を防止される、箇条60に記載の方法。
63. 前記カレントビデオブロックの前記第2の色成分値セットの導出は、防止される、箇条59に記載の方法。
64. 前記カレントビデオブロックの前記第2の色成分値セットは、前記他のビデオブロックに含まれる近隣のビデオブロックによる選択的な利用可能性又は利用不可性のためにテーブルに記憶される、箇条59に記載の方法。
65. 前記カレントビデオブロックの前記第2の色成分値セットは、動的に更新される、箇条64に記載の方法。
66. 前記カレントビデオブロックの前記第2の色成分値セットは、前記他のビデオブロック内の前のビデオブロックと同じである、箇条65に記載の方法。
67. 前記カレントビデオブロックの前記第2の色成分値セットは、先入れ先出し(FIFO)方式で動的に更新される、箇条64に記載の方法。
68. 前記第1の色成分値セットは、ルマサンプル値に対応し、前記第2の色成分値セットは、クロマスケーリングファクタに対応する、箇条1乃至67のうちいずれか1つ以上に記載の方法。
69. ビデオ処理のための方法であって、
少なくとも2つの成分ブロックを含むビデオブロックと前記ビデオブロックのビットストリーム表現との間のコンバージョンのためのクロスコンポーネントコーデックツールの適用可能性をルールに基づいて決定するステップと、
前記クロスコンポーネントコーデックツールを選択的に使用することにより前記コンバージョンを実行するステップと、
含む方法。
70. 前記ルールは、前記カレントビデオブロックの大きさに基づく、箇条69に記載の方法。
71. 前記ルールは、前記カレントビデオブロックのパーティション情報に基づく、箇条69乃至70に記載の方法。
72. 前記ルールは、前記カレントビデオブロックのパーティションツリー構造に基づく、箇条69乃至71のうちいずれかに記載の方法。
73. 前記パーティションツリー構造は、デュアルツリー又は単一ツリーのうちの1つである、箇条72に記載の方法。
74. 前記ルールは、前記カレントビデオブロックが前記デュアルツリーパーティションツリー構造を有するクロマブロックであることに起因して、前記クロスコンポーネントコーデックツールを無効にすることを指定する、箇条72に記載の方法。
75. 前記ルールは、前記ビットストリーム表現における前記クロスコンポーネントコーデックツールのシンタックス要素のシグナリングを省略することを指定する、箇条69乃至74のうちいずれかに記載の方法。
箇条69乃至75に記載のさらなる例及び態様は、セクション4の項目15に記載されている。
76. プロセッサと、命令を有する非一時的メモリと、を含むビデオシステムにおける装置であって、前記命令は前記プロセッサにより実行されると、前記プロセッサに箇条1乃至75のうちいずれか1つにおける方法を実施させる、装置。
77. 非一時的コンピュータ読取可能媒体に記憶されたコンピュータプログラム製品であって、箇条1乃至75のうちいずれか1つにおける方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
図12は、本明細書に開示される様々な手法が実装され得る一例示的なビデオ処理システム1200を示すブロック図である。様々な実装が、システム1200のコンポーネントの一部又は全部を含んでもよい。システム1200は、ビデオコンテンツを受信する入力1202を含み得る。ビデオコンテンツは、生の又は非圧縮のフォーマット、例えば、8又は10ビットのマルチ成分画素値で受け取ることができ、あるいは圧縮又はエンコードされたフォーマットでもよい。入力1202は、ネットワークインターフェース、周辺バスインターフェース、又はストレージインターフェースを表すことができる。ネットワークインターフェースの例には、イーサネット、受動光ネットワーク(passive optical network、PON)などの有線インターフェース、及びWi-Fi又はセルラーインターフェースなどの無線インターフェースが含まれる。
システム1200は、本文献に記載される様々なコーディング又はエンコード方法を実施することができるコーディングコンポーネント1204を含み得る。コーディングコンポーネント1204は、入力1202からコーディングコンポーネント1204の出力へのビデオの平均ビットレートを低減して、ビデオのコーディング表現を生成することができる。したがって、このコーディング手法は、ビデオ圧縮又はビデオトランスコーディング手法と時に呼ばれる。コーディングコンポーネント1204の出力は、コンポーネント1206により表されるように、記憶されるか、又は接続された通信を介して送信されてもよい。入力1202で受信したビデオの、記憶され又は通信されたビットストリーム(又は、コーディングされた)表現は、画素値、又はディスプレイインターフェース1210に送られる表示可能なビデオを生成するために、コンポーネント1208により使用することができる。ビットストリーム表現からユーザが見ることができるビデオを生成するプロセスは、ビデオ解凍と時に呼ばれる。さらに、特定のビデオ処理動作は「コーディング」動作又はツールと呼ばれ、コーディングツール又は動作はエンコーダで使用され、コーディングの結果を逆にする対応する復号ツール又は動作はデコーダにより実行されることが理解されるであろう。
周辺バスインターフェース又はディスプレイインターフェースの例には、ユニバーサルシリアルバス(USB)又は高精細マルチメディアインターフェース(high definition multimedia interface、HDMI(登録商標))又はDisplayportなどを含んでもよい。ストレージインターフェースの例には、SATA(シリアルアドバンストテクノロジーアタッチメント(serial advanced technology attachment))、PCI、IDEインターフェースなどが含まれる。本文献に記載される手法は、携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び/又はビデオ表示を実行することができる他のデバイスなどの様々な電子デバイスにおいて具現化することができる。
図13は、ビジュアルメディア処理方法の一例のフローチャートである。このフローチャートのステップは、本文献のセクション4の例12g(ii)に関連して説明される。ステップ1302において、プロセスは、ビジュアルメディアデータの対応するルマブロックの近隣のルマブロックの利用可能性を決定したことに応答して、ビジュアルメディアデータのカレントビデオクロマブロックのための第1のパラメータを、第1のパラメータが固定値又はカレントビデオクロマブロックの近隣のルマサンプルの丸めベースの平均値として導出されるように、導出し、対応するルマブロックは、カレントビデオクロマブロックに関連づけられた位置をカバーする。ステップ1304において、プロセスは、第1のパラメータに基づいてクロマスケーリングファクタを決定する。ステップ1306において、プロセスは、クロマスケーリングファクタに基づいてカレントビデオクロマブロックのクロマ残差スケーリングを実行する。ステップ1308において、プロセスは、カレントビデオクロマブロックとビットストリームとの間のコンバージョンのためにクロマスケーリングファクタを使用する。
図14は、ビジュアルメディア処理方法の一例のフローチャートである。このフローチャートのステップは、本文献のセクション4の例12dに関連して説明される。ステップ1402において、プロセスは、ビジュアルメディアデータのカレントビデオユニットに関連づけられた少なくとも1つのクロマブロックのためのクロマ残差スケーリングファクタを固定値に基づいて表すことを指定するルールを使用し、固定値は、1つ以上の条件に少なくとも基づく。ステップ1404において、プロセスは、カレントビデオユニットとカレントビデオユニットのビットストリーム表現との間のコンバージョンを実行する。
図15は、ビジュアルメディア処理方法の一例のフローチャートである。このフローチャートのステップは、本文献のセクション4の例15に関連して説明される。ステップ1502において、ビジュアルメディアデータのカレントビデオブロックとカレントビデオブロックのビットストリーム表現との間のコンバージョンの間、プロセスは、カレントビデオブロックに関連づけられた大きさ及び/又はパーティション情報及び/又はコーディング構造タイプに少なくとも部分的に基づいて、カレントビデオブロックの色成分に対するクロスコンポーネント線形モデル(CCLM)の適用を選択的に有効又は無効にする決定を行い、CCLMにおいて、第1の色成分セットは、第2の色成分セットに基づいて予測される。
次に、本文献のいくつかの実施形態を、箇条ベースのフォーマットで提示する。
X1. ビジュアルメディア処理の方法であって、
ビジュアルメディアデータの対応するルマブロックの近隣のルマブロックの利用可能性を決定したことに応答して、前記ビジュアルメディアデータのカレントビデオクロマブロックのための第1のパラメータを、前記第1のパラメータが固定値又は前記カレントビデオクロマブロックの近隣のルマサンプルの丸めベースの平均値として導出されるように導出するステップであり、前記対応するルマブロックは、前記カレントビデオクロマブロックに関連づけられた位置をカバーする、ステップと、
前記第1のパラメータに基づいてクロマスケーリングファクタを決定するステップと、
前記クロマスケーリングファクタに基づいて前記カレントビデオクロマブロックのクロマ残差スケーリングを実行するステップと、
前記カレントビデオクロマブロックと前記カレントビデオクロマブロックのビットストリーム表現との間のコンバージョンに前記クロマスケーリングファクタを使用するステップと、
を含む方法。
X2. 前記第1のパラメータに基づいてクロマスケーリングファクタを決定するステップは、
前記第1のパラメータを使用して区分線形関数のインデックスを識別するステップを含む、箇条X1に記載の方法。
X3. 前記区分線形関数の前記インデックスを識別すると、前記カレントビデオクロマブロックの前記クロマ残差スケーリングに使用される前記クロマ残差ファクタを決定するステップ、
をさらに含む、箇条X2に記載の方法。
X4. 前記クロマ残差スケーリングファクタは、前記ビットストリーム表現におけるフィールドとして含まれる、箇条X1に記載の方法。
X5. 前記近隣のルマブロックのうち少なくとも1つが利用可能である場合、前記第1のパラメータは、前記カレントビデオクロマブロックの前記近隣のルマサンプルの前記丸めベースの平均値として導出される、箇条X1乃至X4のうちいずれか1つ以上に記載の方法。
X6. 近隣のルマブロックが利用不可能である場合、前記第1のパラメータは前記固定値として導出される、箇条X1乃至X4のうちいずれか1つ以上に記載の方法。
X7. 前記固定値はゼロである、箇条X1又はX6に記載の方法。
X8. 前記固定値は、ルマ色成分及び/又はクロマ色成分のビット深度に基づく、箇条X1又はX6に記載の方法。
X9. 前記固定値は、(1<<BitDepth)-1、又は1<<(BitDepth-1)であり、BitDepthは、前記ルマ色成分及び/又はクロマ色成分の前記ビット深度を示す、箇条X8に記載の方法。
X10. 前記固定値は、前記区分線形関数における最大ビンインデックスである、箇条X6に記載の方法。
X11. 前記固定値は、前記区分線形関数における最小ビンインデックスである、箇条X6に記載の方法。
X12. 前記固定値は、適応区分線形関数における最小ビンインデックスと最大ビンインデックスの平均である、箇条X6に記載の方法。
A1. ビジュアルメディア処理の方法であって、
ビジュアルメディアデータのカレントビデオユニットに関連づけられた少なくとも1つのクロマブロックのためのクロマ残差スケーリングファクタを固定値に基づいて表すことを指定するルールを使用するステップであり、前記固定値は1つ以上の条件に少なくとも基づく、ステップと、
前記カレントビデオユニットと前記カレントビデオユニットのビットストリーム表現との間のコンバージョンを実行するステップと、
を含む方法。
A2. 前記1つ以上の条件は、
(1)ピクチャ/スライス/タイルグループ/タイル/サブピクチャ/コーディングツリーユニット(CTU)行/CTU/仮想パイプラインデータユニット(VPDU)のタイプ、
(2)ピクチャ/スライス/タイルグループ/タイル/サブピクチャ/CTU行/CTU/VPDUの幅及び/又は高さ、
(3)前記カレントビデオユニットのコーディングモード、又は
(4)前記カレントビデオユニットの近隣のサンプル
を含む、箇条A1に記載の方法。
A3. 第1の固定値が、第1のタイプのピクチャ/スライス/タイルグループ/タイル/サブピクチャ/CTU行/CTU/VPDUに対して計算され、第2の固定値が、第2のタイプのピクチャ/スライス/タイルグループ/タイル/サブピクチャ/CTU行/CTU/VPDUに対して計算される、箇条A2に記載の方法。
B1. ビジュアルメディア処理の方法であって、
ビジュアルメディアデータのカレントビデオブロックと前記カレントビデオブロックのビットストリーム表現との間のコンバージョンの間、前記カレントビデオブロックに関連づけられた大きさ及び/又はパーティション情報及び/又はコーディング構造タイプに少なくとも部分的に基づいて、前記カレントビデオブロックの色成分に対するクロスコンポーネント線形モデル(CCLM)の適用を選択的に有効又は無効にする決定を行うステップであり、前記CCLMにおいて、第1の色成分セットは、第2の色成分セットの線形結合に基づいて予測される、ステップ、
を含む方法。
B2. 前記コーディング構造タイプは、単一ツリー又はデュアルツリーである、箇条B1に記載の方法。
B3. 前記CCLMは、前記カレントビデオブロックがクロマブロックであること及び前記パーティション情報がデュアルツリーパーティションを指定することに基づいて無効にされる、箇条B1に記載の方法。
B4. 前記CCLMは、前記カレントビデオブロックの大きさが少なくとも1つの閾値条件を満たさないことに基づいて無効にされる、箇条B1に記載の方法。
B5. 前記少なくとも1つの閾値条件は、(i)前記カレントビデオブロックの幅及び/又は前記カレントビデオブロックの高さと、(ii)1つ以上の閾値パラメータと、の間の数学的関係に基づく、箇条B1に記載の方法。
B6. 前記1つ以上の閾値パラメータは、8、16、64、又は4096の値を有する、箇条B1に記載の方法。
B7. 前記カレントビデオブロックが水平分割を伴うリーフノードにあり、前記カレントビデオブロックに関連づけられたコロケートルマブロックが垂直分割を伴うリーフノードにあることを前記パーティション情報が指定するとき、前記CCLMは無効にされる、箇条B1に記載の方法。
B8. 前記カレントビデオブロックが水平三分割(horizontal ternary split)を伴うクロマブロックであり、前記コロケートルマブロックが垂直三分割(vertical ternary split)を伴うとき、前記CCLMは無効にされる、箇条B7に記載の方法。
B9. 前記カレントビデオブロックが水平二分割(horizontal binary split)を伴うクロマブロック分割であり、前記コロケートルマブロックが垂直三分割を伴うとき、前記CCLMは無効にされる、箇条B7に記載の方法。
B10. 前記カレントビデオブロックが水平二分割を伴うクロマブロック分割であり、前記コロケートルマブロックが垂直三分割を伴うとき、前記CCLMは無効にされる、箇条B7に記載の方法。
B11. 前記カレントビデオブロックが水平二分割を伴うクロマブロック分割であり、前記コロケートルマブロックが垂直二分割(vertical binary split)を伴うとき、前記CCLMは無効にされる、箇条B7に記載の方法。
B12. 前記カレントビデオブロックが垂直分割を伴うリーフノードにあり、前記カレントビデオブロックに関連づけられたコロケートルマブロックが水平分割を伴うリーフノードにあることを前記パーティション情報が指定するとき、前記CCLMは無効にされる、箇条B1に記載の方法。
B13. 前記カレントビデオブロックが垂直三分割を伴うクロマブロックであり、前記コロケートルマブロックが水平三分割を伴うとき、前記CCLMは無効にされる、箇条12に記載の方法。
B14. 前記カレントビデオブロックが垂直三分割を伴うクロマブロックであり、前記コロケートルマブロックが水平二分割を伴うとき、前記CCLMは無効にされる、箇条B12に記載の方法。
B15. 前記カレントビデオブロックが二垂直分割を伴うクロマブロックであり、前記コロケートルマブロックが水平三分割であるとき、前記CCLMは無効にされる、B12項の方法。
B16. 前記カレントビデオブロックが垂直二分割を伴うクロマブロックであり、前記コロケートルマブロックが水平二分割を伴うとき、前記CCLMは無効にされる、箇条B11に記載の方法。
B17. 前記カレントビデオブロックに対して前記CCLMが無効にされていると決定すると、前記ビットストリーム表現から、前記CCLMの適用を示すシンタックス要素を除外するステップ、
をさらに含む箇条B1乃至B16のうちいずれか1つ以上に記載の方法。
B18. 前記カレントビデオブロックに対して前記CCLMが無効にされていると決定すると、前記ビットストリーム表現に、前記CCLMの適用を示すシンタックス要素を含めるステップであり、前記CCLMに関連づけられた1つ以上の予測モードの使用はスキップされる、ステップ、
をさらに含む箇条B1乃至B16のうちいずれか1つ以上に記載の方法。
B19.前記カレントビデオブロックに対して前記CCLMが無効にされていると決定すると、前記ビットストリーム表現に、前記CCLMの適用を示すシンタックス要素を含めるステップであり、デフォルト予測モードが適用される、ステップ、
をさらに含む箇条B1乃至B16のうちいずれか1つ以上に記載の方法。
B20. 前記デフォルト予測モードは、planarモード又はDCモードである、箇条B19に記載の方法。
B21. 前記コンバージョンは、前記ビットストリーム表現をビデオブロックから生成することを含む、箇条X1乃至B20のうちいずれか1つ以上に記載の方法。
B22. 前記コンバージョンは、前記ビットストリーム表現からビデオブロックの画素値を生成することを含む、箇条X1乃至B20のうちいずれか1つ以上に記載の方法。
B23. 箇条X1乃至B20のうちいずれか1つ以上に記載の方法を実施するように構成されたプロセッサを含むビデオエンコーダ装置。
B24. 箇条X1乃至B20のうちいずれか1つ以上に記載の方法を実施するように構成されたプロセッサを含むビデオデコーダ装置。
B25. コードを記憶させたコンピュータ読取可能媒体であって、前記コードは、箇条X1乃至B20のうちいずれか1項以上に記載の方法を実施するプロセッサ実行可能命令を具現化している、コンピュータ読取可能媒体。
本文献において、用語「ビデオ処理」又は「ビジュアルメディア処理」は、ビデオ符号化、ビデオ復号、ビデオ圧縮、又はビデオ解凍を参照し得る。例えば、ビデオ圧縮アルゴリズムはビデオの画素表現から対応するビットストリーム表現へのコンバージョンに適用することができ、あるいはその逆も同様である。カレントビデオブロックのビットストリーム表現は、例えば、シンタックスにより定義されるように、ビットストリーム内の異なる場所にコロケートされ又は拡散されるビットに対応し得る。例えば、マクロブロックは、変換及びコーディングされた誤差残差値の観点で、また、ビットストリーム内のヘッダ及び他のフィールド内のビットを使用して符号化され得る。さらに、コンバージョンの間、デコーダは、上記のソリューションに記載されるように、決定に基づいて、いくつかのフィールドが存在し得、又は存在し得ないという知識を用いてビットストリームをパースすることができる。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべき、又は含まれるべきでないと決定し、それに応じて、シンタックスフィールドを含め、又はコーディング表現から除外することにより、コーディング表現を生成することができる。
以上から、本明細書において説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正がなされ得ることが理解されるであろう。したがって、本開示の技術は、別記の特許請求の範囲によるものを除き、限定されない。
本特許文献に記載されている主題事項及び機能動作の実装は、本明細書に開示されている構造及びそれらの構造的等価物を含む、様々なシステム、デジタル電子回路で、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアにおいて、又はそれらの1つ以上の組み合わせにおいて実施することができる。本明細書に記載されている主題事項の実装は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のため、又はデータ処理装置の動作を制御するための、有形及び非一時的コンピュータ読取可能媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実施することができる。コンピュータ読取可能媒体は、マシン読取可能記憶デバイス、マシン読取可能記憶基板、メモリデバイス、マシン読取可能伝搬信号に影響を与える物質の組成、又はこれらの1つ以上の組み合わせとすることができる。用語「データ処理ユニット」又は「データ処理装置」は、例えばプログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理するための全ての装置、デバイス、及びマシンを包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はこれらの1つ以上の組み合わせを構成するコードを含むことができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイル型又は解釈型言語を含む任意の形式のプログラミング言語で書くことができ、それは、スタンドアロンプログラムとして、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、又は他のユニットとしてを含む、任意の形態でデプロイすることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するものではない。プログラムは、他のプログラム又はデータを保持するファイルの一部分(例えば、マークアップ言語文書に記憶された1つ以上のスクリプト)に、問題のプログラム専用の単一のファイルに、又は複数の調整されたファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの一部分を記憶するファイル)に記憶することができる。コンピュータプログラムは、1つのコンピュータ上で、又は、1つのサイトに配置され若しくは複数のサイトにわたり分散されて通信ネットワークにより相互接続される複数のコンピュータ上で、実行されるようにデプロイすることができる。
本明細書に記載されるプロセス及び論理フローは、入力データに対して動作し出力を生成することにより機能を実行するために、1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサにより実行することができる。プロセス及び論理フローは、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)により実行することもでき、装置もまた、これらとして実行することができる。
コンピュータプログラムの実行に適したプロセッサには、例えば、汎用及び専用双方のマイクロプロセッサ、及び任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサが含まれる。一般に、プロセッサは、読取専用メモリ又はランダムアクセスメモリ又は双方から命令及びデータを受け取る。コンピュータの必須要素は、命令を実行するプロセッサと、命令及びデータを記憶する1つ以上のメモリデバイスである。一般に、コンピュータはまた、データを記憶する1つ以上の大容量記憶デバイス、例えば、磁気、磁気光ディスク、又は光ディスクを含み、あるいはこれらからデータを受け取り、又はこれらにデータを転送し、又は双方を行うために動作上結合される。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ読取可能媒体には、例として半導体メモリデバイス、例えば、EPROM、EEPROM、及びフラッシュメモリデバイスを含む、全ての形態の不揮発性メモリ、媒体、及びメモリデバイスが含まれる。プロセッサ及びメモリは、専用論理回路により補足し、又は専用論理回路に組み込むことができる。
明細書は図面と共に、単に例示的とみなされることが意図され、例示的は一例を意味する。本明細書で用いられるとき、「又は」の使用は、文脈が別段明確に示さない限り、「及び/又は」を含むことが意図される。
本特許文献は多くの詳細を含むが、これらは、いずれかの発明の範囲又は請求され得るものの範囲に対する限定とみなされるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明とみなされるべきである。別個の実施形態の文脈において本特許文献に記載されている特定の特徴は、単一の実施形態で組み合わせて実施することもできる。逆に、単一の実施形態の文脈において記載されている様々な特徴は、複数の実施形態において別個に、又は任意の適切なサブコンビネーションで実施することもできる。さらに、特徴は、特定の組み合わせにおいて作用するものとして上述されていることがあり、そのようなものとして最初に請求されることがあるが、請求された組み合わせからの1つ以上の特徴を、いくつかの場合、組み合わせから切り出すことができ、請求される組み合わせは、サブコンビネーション、又はサブコンビネーションのバリエーションに向けられ得る。
同様に、動作は図面において特定の順序で示されているが、これは、所望の結果を達成するために、そのような動作が図示される特定の順序で又は順番に実行されること、又は全ての例示された動作が実行されることを要求するものとして理解されるべきではない。さらに、本特許文献に記載されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。
少数の実装及び例のみが記載されており、本特許文献に記載及び例示されているものに基づいて他の実装、拡張、及びバリエーションがなされ得る。

Claims (40)

  1. ビジュアルメディア処理の方法であって、
    ビジュアルメディアデータの対応するルマブロックの近隣のルマブロックの利用可能性を決定したことに応答して、前記ビジュアルメディアデータのカレントビデオクロマブロックのための第1のパラメータを、前記第1のパラメータが固定値又は前記カレントビデオクロマブロックの近隣のルマサンプルの丸めベースの平均値として導出されるように導出するステップであり、前記対応するルマブロックは、前記カレントビデオクロマブロックに関連づけられた位置をカバーする、ステップと、
    前記第1のパラメータに基づいてクロマスケーリングファクタを決定するステップと、
    前記クロマスケーリングファクタに基づいて前記カレントビデオクロマブロックのクロマ残差スケーリングを実行するステップと、
    前記カレントビデオクロマブロックと前記カレントビデオクロマブロックのビットストリーム表現との間のコンバージョンに前記クロマスケーリングファクタを使用するステップと、
    を含む方法。
  2. 前記第1のパラメータに基づいて前記クロマスケーリングファクタを決定するステップは、
    前記第1のパラメータを使用して区分線形関数のインデックスを識別するステップ
    を含む、請求項1に記載の方法。
  3. 前記区分線形関数の前記インデックスを識別すると、前記カレントビデオクロマブロックの前記クロマ残差スケーリングに使用される前記クロマ残差ファクタを決定するステップ、
    をさらに含む請求項2に記載の方法。
  4. 前記クロマ残差スケーリングファクタは、前記ビットストリーム表現におけるフィールドとして含まれる、請求項1に記載の方法。
  5. 前記近隣のルマブロックのうち少なくとも1つが利用可能である場合、前記第1のパラメータは、前記カレントビデオクロマブロックの前記近隣のルマサンプルの前記丸めベースの平均値として導出される、請求項1乃至4のうちいずれか1項以上に記載の方法。
  6. 近隣のルマブロックが利用不可能である場合、前記第1のパラメータは前記固定値として導出される、請求項1乃至4のうちいずれか1項以上に記載の方法。
  7. 前記固定値はゼロである、請求項1又は6に記載の方法。
  8. 前記固定値は、ルマ色成分及び/又はクロマ色成分のビット深度に基づく、請求項1又は6に記載の方法。
  9. 前記固定値は、(1<<BitDepth)-1、又は1<<(BitDepth-1)であり、BitDepthは、前記ルマ色成分及び/又はクロマ色成分の前記ビット深度を示す、請求項8に記載の方法。
  10. 前記固定値は、前記区分線形関数における最大ビンインデックスである、請求項6に記載の方法。
  11. 前記固定値は、前記区分線形関数における最小ビンインデックスである、請求項6に記載の方法。
  12. 前記固定値は、適応区分線形関数における最小ビンインデックスと最大ビンインデックスの平均である、請求項6に記載の方法。
  13. ビジュアルメディア処理の方法であって、
    ビジュアルメディアデータのカレントビデオユニットに関連づけられた少なくとも1つのクロマブロックのためのクロマ残差スケーリングファクタを固定値に基づいて表すことを指定するルールを使用するステップであり、前記固定値は1つ以上の条件に少なくとも基づく、ステップと、
    前記カレントビデオユニットと前記カレントビデオユニットのビットストリーム表現との間のコンバージョンを実行するステップと、
    を含む方法。
  14. 前記1つ以上の条件は、
    (1)ピクチャ/スライス/タイルグループ/タイル/サブピクチャ/符号化ツリーユニット(CTU)行/CTU/仮想パイプラインデータユニット(VPDU)のタイプ、
    (2)ピクチャ/スライス/タイルグループ/タイル/サブピクチャ/CTU行/CTU/VPDUの幅及び/又は高さ、
    (3)前記カレントビデオユニットの符号化モード、又は
    (4)前記カレントビデオユニットの近隣のサンプル
    を含む、請求項13に記載の方法。
  15. 第1の固定値が、第1のタイプのピクチャ/スライス/タイルグループ/タイル/サブピクチャ/CTU行/CTU/VPDUに対して計算され、第2の固定値が、第2のタイプのピクチャ/スライス/タイルグループ/タイル/サブピクチャ/CTU行/CTU/VPDUに対して計算される、請求項14に記載の方法。
  16. ビジュアルメディア処理の方法であって、
    ビジュアルメディアデータのカレントビデオブロックと前記カレントビデオブロックのビットストリーム表現との間のコンバージョンの間、前記カレントビデオブロックに関連づけられた大きさ及び/又はパーティション情報及び/又は符号化構造タイプに少なくとも部分的に基づいて、前記カレントビデオブロックの色成分に対するクロスコンポーネント線形モデル(CCLM)の適用を選択的に有効又は無効にする決定を行うステップであり、前記CCLMにおいて、第1の色成分セットは、第2の色成分セットの線形結合に基づいて予測される、ステップ
    を含む方法。
  17. 前記符号化構造タイプは、単一ツリー又はデュアルツリーである、請求項16に記載の方法。
  18. 前記CCLMは、前記カレントビデオブロックがクロマブロックであること及び前記パーティション情報がデュアルツリーパーティションを指定することに基づいて無効にされる、請求項16に記載の方法。
  19. 前記CCLMは、前記カレントビデオブロックの大きさが少なくとも1つの閾値条件を満たさないことに基づいて無効にされる、請求項16に記載の方法。
  20. 前記少なくとも1つの閾値条件は、(i)前記カレントビデオブロックの幅及び/又は前記カレントビデオブロックの高さと、(ii)1つ以上の閾値パラメータと、の間の数学的関係に基づく、請求項16に記載の方法。
  21. 前記1つ以上の閾値パラメータは、8、16、64、又は4096の値を有する、請求項16に記載の方法。
  22. 前記カレントビデオブロックが水平分割を伴うリーフノードにあり、前記カレントビデオブロックに関連づけられたコロケートルマブロックが垂直分割を伴うリーフノードにあることを前記パーティション情報が指定するとき、前記CCLMは無効にされる、請求項16に記載の方法。
  23. 前記カレントビデオブロックが水平三分割を伴うクロマブロックであり、前記コロケートルマブロックが垂直三分割を伴うとき、前記CCLMは無効にされる、請求項22に記載の方法。
  24. 前記カレントビデオブロックが水平二分割を伴うクロマブロック分割であり、前記コロケートルマブロックが垂直三分割を伴うとき、前記CCLMは無効にされる、請求項22に記載の方法。
  25. 前記カレントビデオブロックが水平二分割を伴うクロマブロック分割であり、前記コロケートルマブロックが垂直三分割を伴うとき、前記CCLMは無効にされる、請求項22に記載の方法。
  26. 前記カレントビデオブロックが水平二分割を伴うクロマブロック分割であり、前記コロケートルマブロックが垂直二分割を伴うとき、前記CCLMは無効にされる、請求項22に記載の方法。
  27. 前記カレントビデオブロックが垂直分割を伴うリーフノードにあり、前記カレントビデオブロックに関連づけられたコロケートルマブロックが水平分割を伴うリーフノードにあることを前記パーティション情報が指定するとき、前記CCLMは無効にされる、請求項16に記載の方法。
  28. 前記カレントビデオブロックが垂直三分割を伴うクロマブロックであり、前記コロケートルマブロックが水平三分割を伴うとき、前記CCLMは無効にされる、請求項27に記載の方法。
  29. 前記カレントビデオブロックが垂直三分割を伴うクロマブロックであり、前記コロケートルマブロックが水平二分割を伴うとき、前記CCLMは無効にされる、請求項27に記載の方法。
  30. 前記カレントビデオブロックが二垂直分割を伴うクロマブロックであり、前記コロケートルマブロックが水平三分割であるとき、前記CCLMは無効にされる、請求項27に記載の方法。
  31. 前記カレントビデオブロックが垂直二分割を伴うクロマブロックであり、前記コロケートルマブロックが水平二分割を伴うとき、前記CCLMは無効にされる、請求項26に記載の方法。
  32. 前記カレントビデオブロックに対して前記CCLMが無効にされていると決定すると、前記ビットストリーム表現から、前記CCLMの適用を示すシンタックス要素を除外するステップ、
    をさらに含む請求項16乃至31のうちいずれか1項以上に記載の方法。
  33. 前記カレントビデオブロックに対して前記CCLMが無効にされていると決定すると、前記ビットストリーム表現に、前記CCLMの適用を示すシンタックス要素を含めるステップであり、前記CCLMに関連づけられた1つ以上の予測モードの使用はスキップされる、ステップ、
    をさらに含む請求項16乃至31のうちいずれか1項以上に記載の方法。
  34. 前記カレントビデオブロックに対して前記CCLMが無効にされていると決定すると、前記ビットストリーム表現に、前記CCLMの適用を示すシンタックス要素を含めるステップであり、デフォルト予測モードが適用される、ステップ、
    をさらに含む請求項16乃至31のうちいずれか1項以上に記載の方法。
  35. 前記デフォルト予測モードは、Planarモード又はDCモードである、請求項34に記載の方法。
  36. 前記コンバージョンは、前記ビットストリーム表現をビデオブロックから生成することを含む、請求項1乃至35のうちいずれか1項以上に記載の方法。
  37. 前記コンバージョンは、前記ビットストリーム表現からビデオブロックの画素値を生成することを含む、請求項1乃至35のうちいずれか1項以上に記載の方法。
  38. 請求項1乃至35のうちいずれか1項以上に記載の方法を実施するように構成されたプロセッサを含むビデオエンコーダ装置。
  39. 請求項1乃至35のうちいずれか1項以上に記載の方法を実施するように構成されたプロセッサを含むビデオデコーダ装置。
  40. コードを記憶させたコンピュータ読取可能媒体であって、前記コードは、請求項1乃至35のうちいずれか1項以上に記載の方法を実施するプロセッサ実行可能命令を具現化している、コンピュータ読取可能媒体。
JP2021564420A 2019-05-08 2020-05-08 クロスコンポーネントコーディングの適用条件 Active JP7407206B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/085996 2019-05-08
CN2019085996 2019-05-08
PCT/CN2020/089096 WO2020224629A1 (en) 2019-05-08 2020-05-08 Conditions for applicability of cross-component coding

Publications (2)

Publication Number Publication Date
JP2022531216A true JP2022531216A (ja) 2022-07-06
JP7407206B2 JP7407206B2 (ja) 2023-12-28

Family

ID=73050582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021564420A Active JP7407206B2 (ja) 2019-05-08 2020-05-08 クロスコンポーネントコーディングの適用条件

Country Status (8)

Country Link
US (2) US11463713B2 (ja)
EP (1) EP3949395A4 (ja)
JP (1) JP7407206B2 (ja)
KR (1) KR102641796B1 (ja)
CN (2) CN117221558A (ja)
BR (1) BR112021021661A2 (ja)
SG (1) SG11202111961SA (ja)
WO (1) WO2020224629A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI824006B (zh) * 2018-09-12 2023-12-01 大陸商北京字節跳動網絡技術有限公司 交叉分量線性建模中的下採樣
WO2020182091A1 (en) 2019-03-08 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Reshaping model in video processing
AU2020260285B2 (en) 2019-04-18 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Restriction on applicability of cross component mode
BR112021019675A2 (pt) 2019-04-23 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
CN117221558A (zh) 2019-05-08 2023-12-12 北京字节跳动网络技术有限公司 跨分量编解码的适用性条件
WO2020256510A1 (ko) * 2019-06-21 2020-12-24 현대자동차주식회사 코딩 툴들을 제어하는 방법 및 장치
KR20220024006A (ko) 2019-06-22 2022-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링을 위한 신택스 요소
CN114097232A (zh) * 2019-06-25 2022-02-25 交互数字Vc控股法国有限公司 用于译码/解码图片数据的方法和装置
CN114342381B (zh) * 2019-07-05 2023-11-17 Lg电子株式会社 图像解码和编码方法及用于图像的数据的发送方法
CN114303368A (zh) * 2019-07-05 2022-04-08 Lg电子株式会社 基于亮度映射和色度缩放的视频或图像编码
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
CN110446044B (zh) * 2019-08-21 2022-08-09 浙江大华技术股份有限公司 线性模型预测方法、装置、编码器及存储装置
JPWO2021100450A1 (ja) * 2019-11-21 2021-05-27
US20210409706A1 (en) * 2020-06-30 2021-12-30 Tencent America LLC Low latency cross component intra prediction mode
WO2023133443A2 (en) * 2022-01-05 2023-07-13 Bytedance Inc. Method, apparatus, and medium for video processing
CN115118982B (zh) * 2022-06-24 2024-05-24 腾讯科技(深圳)有限公司 一种视频处理方法、设备、存储介质及计算机程序产品
WO2024130123A2 (en) * 2022-12-16 2024-06-20 Beijing Dajia Internet Information Technology Co., Ltd Method and apparatus for cross-component prediction for video coding
US20240276012A1 (en) * 2023-02-08 2024-08-15 Tencent America LLC Bias value determination for chroma-for-luma (cfl) mode

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061588A1 (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
WO2019054200A1 (ja) * 2017-09-15 2019-03-21 ソニー株式会社 画像処理装置および方法
WO2019069950A1 (ja) * 2017-10-06 2019-04-11 シャープ株式会社 画像符号化装置及び画像復号装置
WO2020220884A1 (zh) * 2019-04-30 2020-11-05 华为技术有限公司 视频序列的帧内预测方法及装置
JP2022532277A (ja) * 2019-02-28 2022-07-14 インターデジタル ヴイシー ホールディングス, インコーポレイテッド ピクチャの符号化及び復号のための方法及び装置

Family Cites Families (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5281752B2 (ja) 2007-02-28 2013-09-04 日本無機株式会社 フィルタパック及びそれを用いたエアフィルタ
EP2051524A1 (en) 2007-10-15 2009-04-22 Panasonic Corporation Image enhancement considering the prediction error
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
WO2011126272A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation
EP3101897B1 (en) 2010-04-09 2021-10-20 Xylene Holding S.A. Moving image encoding device and method, moving image decoding device and method, bitstream
DK2559245T3 (en) 2010-04-13 2015-08-24 Ge Video Compression Llc Video Coding using multitræsunderinddeling Images
HUE036401T2 (hu) 2010-09-30 2018-07-30 Samsung Electronics Co Ltd Eljárás képek interpolálására simító interpolációs szûrõt felhasználva
AU2011345535B2 (en) 2010-12-23 2015-08-20 Samsung Electronics Co., Ltd. Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
WO2012090504A1 (en) 2010-12-28 2012-07-05 Panasonic Corporation Methods and apparatuses for coding and decoding video stream
US9565428B2 (en) * 2011-06-20 2017-02-07 Mediatek Singapore Pte. Ltd. Method and apparatus of chroma intra prediction with reduced line memory
KR20130058524A (ko) * 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
JP5375938B2 (ja) 2011-12-14 2013-12-25 ソニー株式会社 復号装置及び方法
CN103227917B (zh) 2012-01-31 2016-12-14 华为技术有限公司 解码方法和装置
US9451258B2 (en) 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
CN104471940B (zh) 2012-04-16 2017-12-15 联发科技(新加坡)私人有限公司 色度帧内预测方法及装置
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN115052159A (zh) 2012-07-02 2022-09-13 韩国电子通信研究院 视频编码/解码方法和非暂时性计算机可读记录介质
US9516309B2 (en) 2012-07-09 2016-12-06 Qualcomm Incorporated Adaptive difference domain spatial and temporal reference reconstruction and smoothing
US9350899B2 (en) 2012-09-14 2016-05-24 Qualcomm Incorporated Methods and device for efficient resampling and resizing of digital images
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9648319B2 (en) 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
GB2513111A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
US9503732B2 (en) 2013-04-10 2016-11-22 Arris Enterprises, Inc. Re-sampling with phase offset adjustment for luma and chroma to select filters in scalable video coding
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
EP3598751B1 (en) 2013-06-28 2024-04-10 Velos Media International Limited Methods and devices for emulating low-fidelity coding in a high-fidelity coder
US9648330B2 (en) 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
EP3056004A2 (en) 2013-10-11 2016-08-17 VID SCALE, Inc. High level syntax for hevc extensions
US9648332B2 (en) 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
US10397607B2 (en) 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
US9930348B2 (en) 2014-03-14 2018-03-27 Qualcomm Incorporated Coefficient level coding in a video coding process
US20180176588A1 (en) 2014-03-14 2018-06-21 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
US10271052B2 (en) 2014-03-14 2019-04-23 Qualcomm Incorporated Universal color-space inverse transform coding
US10142642B2 (en) 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
US20150373343A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Representation format update in multi-layer codecs
US10200700B2 (en) 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
JP2017531382A (ja) 2014-09-12 2017-10-19 ヴィド スケール インコーポレイテッド ビデオ符号化のための成分間相関解除
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
KR20200051831A (ko) 2014-10-28 2020-05-13 미디어텍 싱가폴 피티이. 엘티디. 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법
US9998742B2 (en) 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
ES2872724T3 (es) 2015-02-19 2021-11-02 Magic Pony Tech Limited Mejora de los datos visuales mediante el uso de redes neuronales actualizadas
US10455249B2 (en) 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
EP3281409B1 (en) 2015-04-06 2019-05-01 Dolby Laboratories Licensing Corporation In-loop block-based image reshaping in high dynamic range video coding
WO2016167538A1 (ko) 2015-04-12 2016-10-20 엘지전자(주) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
WO2016199409A1 (en) 2015-06-07 2016-12-15 Sharp Kabushiki Kaisha Systems and methods for optimizing video coding based on a luminance transfer function or video color component values
WO2017019818A1 (en) 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
WO2017053432A1 (en) 2015-09-21 2017-03-30 Vid Scale, Inc. Inverse reshaping for high dynamic range video coding
US20170105014A1 (en) 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents
US10045023B2 (en) 2015-10-09 2018-08-07 Telefonaktiebolaget Lm Ericsson (Publ) Cross component prediction in video coding
US20170150156A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Illumination compensation with non-square predictive blocks in video coding
CA3013317A1 (en) 2016-02-08 2017-08-17 Sharp Kabushiki Kaisha Systems and methods for transform coefficient coding
GB2548358A (en) 2016-03-15 2017-09-20 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
CN108885783B (zh) 2016-03-23 2022-02-15 杜比实验室特许公司 编码和解码可逆制作质量单层视频信号
JP6895645B2 (ja) 2016-03-25 2021-06-30 パナソニックIpマネジメント株式会社 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置
ES2984654T3 (es) 2016-05-19 2024-10-30 Dolby Laboratories Licensing Corp Remodelación de croma para imágenes de alto rango dinámico
WO2017201139A1 (en) 2016-05-19 2017-11-23 Dolby Laboratories Licensing Corporation Chroma reshaping for high dynamic range images
CN112689147B (zh) * 2016-05-28 2023-10-13 寰发股份有限公司 视频数据处理方法以及装置
WO2017206803A1 (en) 2016-05-28 2017-12-07 Mediatek Inc. Method and apparatus of current picture referencing for video coding
US10484712B2 (en) 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
CN109479133B (zh) * 2016-07-22 2021-07-16 夏普株式会社 使用自适应分量缩放对视频数据进行编码的系统和方法
US10390015B2 (en) * 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
US10419757B2 (en) 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
EP3510772B1 (en) 2016-09-09 2020-12-09 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
US10652575B2 (en) 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
CN116915985A (zh) 2016-10-04 2023-10-20 Lx 半导体科技有限公司 图像编码/解码方法和发送方法
US10477240B2 (en) 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
WO2018116925A1 (ja) 2016-12-21 2018-06-28 シャープ株式会社 イントラ予測画像生成装置、画像復号装置、および画像符号化装置
JP2020031252A (ja) * 2016-12-22 2020-02-27 シャープ株式会社 画像復号装置及び画像符号化装置
US20180199062A1 (en) 2017-01-11 2018-07-12 Qualcomm Incorporated Intra prediction techniques for video coding
US11025903B2 (en) 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
US10694181B2 (en) 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
EP3386198A1 (en) 2017-04-07 2018-10-10 Thomson Licensing Method and device for predictive picture encoding and decoding
WO2018236031A1 (ko) 2017-06-21 2018-12-27 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN110301134B (zh) 2017-06-29 2024-02-06 杜比实验室特许公司 整合的图像整形和视频编码
EP3425911A1 (en) 2017-07-06 2019-01-09 Thomson Licensing A method and a device for picture encoding and decoding
US10778978B2 (en) 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
US20190116376A1 (en) 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
KR102435014B1 (ko) 2018-02-14 2022-08-23 돌비 레버러토리즈 라이쎈싱 코오포레이션 레이트 왜곡 최적화를 이용한 비디오 코딩에서의 이미지 재성형
US11190790B2 (en) * 2018-04-01 2021-11-30 Lg Electronics Inc. Parallel processing method for color component of video signal, and device therefor
CN109005408B (zh) * 2018-08-01 2020-05-29 北京奇艺世纪科技有限公司 一种帧内预测方法、装置及电子设备
CN116347109A (zh) 2018-08-17 2023-06-27 北京字节跳动网络技术有限公司 一种处理视频数据的方法和装置
TWI824006B (zh) 2018-09-12 2023-12-01 大陸商北京字節跳動網絡技術有限公司 交叉分量線性建模中的下採樣
WO2020084512A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Affine motion information derivation from neighboring block
CN117241017A (zh) 2018-11-05 2023-12-15 北京字节跳动网络技术有限公司 数字视频编解码的方法、设备和系统
WO2020094057A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Position based intra prediction
BR112021010428A2 (pt) 2018-12-07 2021-08-24 Beijing Bytedance Network Technology Co., Ltd. Método para processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador
CN118573896A (zh) 2018-12-31 2024-08-30 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
CN113424528A (zh) 2019-02-01 2021-09-21 北京字节跳动网络技术有限公司 环路整形和块差分脉冲编解码调制之间的相互作用
CN117499669A (zh) 2019-02-22 2024-02-02 华为技术有限公司 用于色度子块的仿射帧间预测的方法及装置
WO2020169101A1 (en) 2019-02-22 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Neighbouring sample selection for intra prediction
CN113491121B (zh) 2019-02-24 2022-12-06 北京字节跳动网络技术有限公司 对视频数据进行编解码的方法、设备及计算机可读介质
EP3703366A1 (en) 2019-02-28 2020-09-02 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding
WO2020177702A1 (en) 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Two-level signaling of filtering information in video processing
EP3935847A4 (en) 2019-03-04 2022-12-07 Alibaba Group Holding Limited METHOD AND SYSTEM FOR PROCESSING VIDEO CONTENT
US20200288126A1 (en) 2019-03-08 2020-09-10 Qualcomm Incorporated Reshaping filter average calculation for video coding
US12114000B2 (en) 2019-03-08 2024-10-08 Qualcomm Incorporated Combined residual coding in video coding
WO2020182091A1 (en) 2019-03-08 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Reshaping model in video processing
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
WO2020192633A1 (en) 2019-03-25 2020-10-01 Mediatek Inc. Method and apparatus of the quantization matrix computation and representation for video coding
WO2020204413A1 (ko) 2019-04-03 2020-10-08 엘지전자 주식회사 복원 픽처를 수정하는 비디오 또는 영상 코딩
AU2020260285B2 (en) 2019-04-18 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Restriction on applicability of cross component mode
CN113711604B (zh) 2019-04-20 2023-10-27 北京字节跳动网络技术有限公司 视频编解码中色度和亮度语法元素的信令
BR112021019675A2 (pt) 2019-04-23 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
CN117221558A (zh) 2019-05-08 2023-12-12 北京字节跳动网络技术有限公司 跨分量编解码的适用性条件
WO2020231139A1 (ko) 2019-05-16 2020-11-19 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
US11388406B2 (en) 2019-05-20 2022-07-12 Dolby Laboratories Licensing Corporation Piece-wise-linear mapping for in-loop reshaping in image coding
JP2021002780A (ja) 2019-06-21 2021-01-07 シャープ株式会社 動画像復号装置および動画像符号化装置
KR20220024006A (ko) 2019-06-22 2022-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링을 위한 신택스 요소
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
EP3981146A4 (en) 2019-07-11 2022-08-03 Beijing Bytedance Network Technology Co., Ltd. BITSTREAM CONFORMITY RESTRICTIONS FOR INTRA-BLOCK COPY IN VIDEO ENCODING
US11601657B2 (en) 2020-04-02 2023-03-07 Qualcomm Incorporated LUMA mapping with chroma scaling (LMCS) in video coding
CN115668947A (zh) 2020-04-02 2023-01-31 Lg电子株式会社 用信号通知hls的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
US11375212B2 (en) 2020-04-18 2022-06-28 Qualcomm Incorporated Flexible chroma processing for dynamic range adjustment
US20230214959A1 (en) 2020-06-15 2023-07-06 Sony Group Corporation Information processing apparatus, information processing method, and information processing program
US12034910B2 (en) 2020-06-18 2024-07-09 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling high level information for tool control based on color representation format, and computer-readable recording medium storing bitstream
EP4252418A4 (en) 2020-11-30 2024-05-22 Beijing Dajia Internet Information Technology Co., Ltd. CHROMACODING IMPROVEMENT WITH ADAPTIVE OFFSET OF CROSS-COMPONENT SAMPLES

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061588A1 (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
WO2019054200A1 (ja) * 2017-09-15 2019-03-21 ソニー株式会社 画像処理装置および方法
WO2019069950A1 (ja) * 2017-10-06 2019-04-11 シャープ株式会社 画像符号化装置及び画像復号装置
JP2022532277A (ja) * 2019-02-28 2022-07-14 インターデジタル ヴイシー ホールディングス, インコーポレイテッド ピクチャの符号化及び復号のための方法及び装置
WO2020220884A1 (zh) * 2019-04-30 2020-11-05 华为技术有限公司 视频序列的帧内预测方法及装置
JP2022531280A (ja) * 2019-04-30 2022-07-06 華為技術有限公司 ビデオ・シーケンスのイントラ予測方法及び装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EDOUARD FRANCOIS, ET AL.: ""AHG16/non-CE3: Study of CCLM restrictions in case of separate luma/chroma tree", Document: JVET-N03", JVET-N0390, vol. version 5, JPN6022048856, 23 March 2019 (2019-03-23), pages 1 - 7, ISSN: 0004926692 *
JIANLE CHEN, ET AL.: ""Algorithm description for Versatile Video Coding and Test Model 4 (VTM 4)", Document: JVET-M1002-v2", JVET-M1002, vol. version 2, JPN6022048857, 19 March 2019 (2019-03-19), pages 1 - 23, ISSN: 0004926693 *
RECOMMENDATION ITU-T H.265 (02/2018), JPN6022048858, 13 February 2018 (2018-02-13), pages 77 - 78, ISSN: 0004926694 *

Also Published As

Publication number Publication date
JP7407206B2 (ja) 2023-12-28
CN117221558A (zh) 2023-12-12
CN113796072A (zh) 2021-12-14
CN113796072B (zh) 2023-10-03
EP3949395A1 (en) 2022-02-09
SG11202111961SA (en) 2021-12-30
US11463713B2 (en) 2022-10-04
US20220030257A1 (en) 2022-01-27
BR112021021661A2 (pt) 2021-12-21
KR20220006053A (ko) 2022-01-14
US12034942B2 (en) 2024-07-09
WO2020224629A1 (en) 2020-11-12
KR102641796B1 (ko) 2024-03-04
US20220385926A1 (en) 2022-12-01
EP3949395A4 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
JP7407206B2 (ja) クロスコンポーネントコーディングの適用条件
JP7418478B2 (ja) クロマ残差スケーリングのためのシンタックス要素
JP7302009B2 (ja) クロスコンポーネントモードの利用可能性に対する制約
JP7460748B2 (ja) クロマ残差スケーリングのシグナリング
JP7317991B2 (ja) クロスコンポーネント依存性を低減するための方法
JP2022508194A (ja) 映像処理におけるパルス符号変調技術
CN114208187A (zh) 帧内块复制虚拟缓冲区的映射限制
JPWO2020216246A5 (ja)
RU2817006C2 (ru) Способ определения параметров в кросс-компонентном режиме
RU2815434C2 (ru) Способы уменьшения межкомпонентной зависимости

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7407206

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150