JP2022525226A - 適応ループフィルタリングパラメータセットに対する制限 - Google Patents

適応ループフィルタリングパラメータセットに対する制限 Download PDF

Info

Publication number
JP2022525226A
JP2022525226A JP2021555615A JP2021555615A JP2022525226A JP 2022525226 A JP2022525226 A JP 2022525226A JP 2021555615 A JP2021555615 A JP 2021555615A JP 2021555615 A JP2021555615 A JP 2021555615A JP 2022525226 A JP2022525226 A JP 2022525226A
Authority
JP
Japan
Prior art keywords
video
block
time layer
video data
layer index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021555615A
Other languages
English (en)
Other versions
JP7417624B2 (ja
Inventor
ザン,リー
ザン,カイ
リュウ,ホンビン
シュイ,ジィジォン
ワン,ユエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022525226A publication Critical patent/JP2022525226A/ja
Priority to JP2024000129A priority Critical patent/JP2024038245A/ja
Application granted granted Critical
Publication of JP7417624B2 publication Critical patent/JP7417624B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Abstract

Figure 2022525226000001
ビデオコーディングのためのインループ再成形を含む、デジタルビデオコーディングのためのデバイス、システム及び方法が、記載される。ビデオ処理のための、例となる方法は、1つ以上のビデオデータユニットを含むビデオとビデオのビットストリーム表現との間の変換を実行するステップを含む。ビットストリーム表現は、コーディングモードが有効にされる1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードに対するデフォルトのパラメータを示すサイド情報の包含を指定するフォーマット規則に従う。サイド情報は、元の領域及び再成形された領域でのビデオブロックの表現及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づきビデオブロックを構成するパラメータを提供する。

Description

[関連出願への相互参照]
適用可能な特許法、及び/又はパリ条約に従う規則の下で、本願は、2019年3月23日付けで出願された国際特許出願第PCT/CN2019/079393号に対する優先権及びその利益を適時請求するようになされる。米国法の下での全ての目的のために、上記の出願の開示全体は、本願の開示の部分として参照により援用される。
本特許文献は、ビデオコーディング技術、デバイス、及びシステムに関する。
ビデオ圧縮の進歩にかかわらず、デジタルビデオは依然として、インターネット及び他のデジタル通信ネットワーク上で最大バンド幅使用を占める。ビデオを受信及び表示することが可能なユーザデバイスの接続数が増えるにつれて、デジタルビデオ利用のためのバンド幅需要は成長し続けることが予期される。
デジタルビデオコーディングに、具体的には、ビデオコーディングのためのインループ再成形(in-loop reshaping ILR)に関するデバイス、システム、及び方法が、記載される。記載されている方法は、既存のビデオ処理規格(例えば、High Efficiency Video Coding(HEVC))及び将来のビデオ処理規格若しくはビデオコーデックの両方に適用されてよい。
1つの代表的な態様において、開示されている技術は、ビデオ処理のための方法を提供するために使用されてよい。この方法は、1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換を実行するステップを含み、前記ビットストリーム表現は、コーディングモードが有効にされる前記1つ以上のビデオデータユニットのビデオブロックに適用可能である前記コーディングモードのデフォルトのパラメータを示すサイド情報の包含を指定するフォーマット規則に従い、前記サイド情報は、元の領域及び再成形された領域での前記ビデオブロックの表現及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づき前記ビデオブロックを構成するためのパラメータを提供する。
他の代表的な態様において、開示されている技術は,ビデオ処理のための方法を提供するために使用されてよい。この方法は、1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換を実行するステップを含み、前記ビットストリーム表現は、コーディングモードが有効にされる前記1つ以上のビデオデータユニットのビデオブロックに適用可能である前記コーディングモードのデフォルトのパラメータを示すサイド情報の包含を指定するフォーマット規則に従い、前記デフォルトのパラメータは、前記ビットストリーム表現において明示的に通知されたパラメータがない場合に、前記コーディングモードのために使用され、前記コーディングモードは、元の領域及び再成形された領域での前記ビデオブロックの表現及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づき前記ビデオブロックを構成することを有する。
更なる他の代表的な態様において、開示されている技術は、ビデオ処理のための方法を提供するために使用されてよい。この方法は、1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、前記1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードについてのパラメータとを通知するシンタックス要素を含む前記ビットストリーム表現を構成するステップと、該構成するステップに基づき前記変換を実行するステップとを含み、前記コーディングモードは、元の領域及び再成形された領域及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づき前記ビデオブロックを構成することを有する。
更なる他の代表的な態様において、開示されている技術は、ビデオ処理のための方法を提供するために使用されてよい。この方法は、1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、前記1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードについてのパラメータとを通知するシンタックス要素を含む前記ビットストリーム表現をパースするステップと、該パースするステップに基づき前記変換を実行するステップとを含み、前記コーディングモードは、元の領域及び再成形された領域及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づき前記ビデオブロックを構成することを有する。
更なる他の代表的な態様において、開示されている技術は、ビデオ処理のための方法を提供するために使用されてよい。この方法は、ビデオの第1ビデオデータユニットと前記ビデオのビットストリーム表現との間の変換を実行するステップを含み、コーディングモードが、前記第1ビデオデータユニットのビデオブロックに適用可能であり、前記コーディングモードは、該コーディングモードに関連したサイド情報に基づいて、元の領域及び再成形された領域及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づき前記ビデオブロックを構成することを有し、前記サイド情報は、時間レイヤインデックスに基づく規則に従って決定される。
更なる他の代表的な態様において、開示されている技術は、ビデオ処理のための方法を提供するために使用されてよい。この方法は、1つ以上のビデオデータを含むビデオと該ビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、前記1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードについてのパラメータとを通知するシンタックス要素を含む前記ビットストリーム表現を構成するステップと、該構成するステップに基づき前記変換を実行するステップとを含み、前記コーディングモードは、適応ループフィルタ(Adaptive Loop Filter,ALF)係数を使用するフィルタリングプロセスに基づき前記ビデオの現在のブロックを構成することを有する。
更なる他の代表的な態様において、開示されている技術は、ビデオ処理のための方法を提供するために使用されてよい。この方法は、1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、前記1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードについてのパラメータとを通知するシンタックス要素を含む前記ビットストリーム表現をパースするステップと、該パースするステップに基づき前記変換を実行するステップとを含み、前記コーディングモードは、適応ループフィルタ(ALF)係数を使用するフィルタリングプロセスに基づき前記ビデオの現在のブロックを構成することを有する。
更なる他の代表的な態様において、開示されている技術は、ビデオ処理のための方法を提供するために使用されてよい。この方法は、ビデオの第1ビデオデータユニットと前記ビデオのビットストリーム表現との間の変換を実行するステップを含み、コーディングモードが、前記第1ビデオデータユニットのビデオブロックに適用可能であり、前記コーディングモードは、該コーディングモードに関連したサイド情報に基づいて、適応ループフィルタ(ALF)係数を使用するフィルタリングプロセスに基づく前記ビデオの現在のブロックを構成することを有し、前記サイド情報は、時間レイヤインデックスに基づく規則に従って決定される。
更なる他の代表的な態様において、上記の方法は、プロセッサ実行可能なコードの形で具現され、コンピュータ可読プログラム媒体に記憶される。
更なる他の代表的な態様において、上記の方法を実行するよう構成されるか又は動作可能であるデバイスが、開示される。デバイスは、この方法を実装するようプログラムされているプロセッサを含んでよい。
更なる他の代表的な態様において、ビデオデコーダ装置が、本明細書で記載されている方法を実装してもよい。
開示されている技術の上記及び他の態様及び特徴は、図面、明細書及び特許請求の範囲で更に詳細に説明される。
マージ候補リストを構成する例を示す。 空間的候補の位置の例を示す。 空間マージ候補の冗長性検査を受ける候補対の例を示す。 現在のブロックのサイズ及び形状に基づく第2予測ユニット(PU)の位置の例を示す。 現在のブロックのサイズ及び形状に基づく第2予測ユニット(PU)の位置の例を示す。 時間マージ候補に対する動きベクトルスケーリングの例を示す。 時間マージ候補の候補位置の例を示す。 複合双予測マージ候補を生成する例を示す。 動きベクトル予測候補を構成する例を示す。 空間動きベクトル候補に対する動きベクトルスケーリングの例を示す。 コーディングユニット(CU)に対して適応時間動きベクトル予測(ATMVP)を使用した動き予測の例を示す。 空間時間動きベクトル予測(STMVP)アルゴリズムによって使用されるサブブロック及び隣接ブロックを伴ったコーディングユニット(CU)の例を示す。 照度補償(IC)パラメータを導出するための隣接サンプルの例を示す。 単純化された4パラメータアフィンモデルの例を示す。 単純化された6パラメータアフィンモデルの例を示す。 サブブロックごとのアフィン動きベクトル場(MVF)の例を示す。 4パラメータアフィンモデルの例を示す。 6パラメータアフィンモデルの例を示す。 遺伝によるアフィン候補に対するAF_INTERのための動きベクトル予測の例を示す。 構成されたアフィン候補に対するAF_INTERのための動きベクトル予測の例を示す。 AF_MERGEモードのための候補ブロックの例を示す。 AF_MERGEモードのためのCPMV予測子導出の例を示す。 アフィンマージモードのための候補位置の例を示す。 UMVE探索プロセスの例を示す。 UMVE探索ポイントの例を示す。 バイラテラルテンプレートマッチングに基づくデコーダ側動きベクトル精緻化(DMVR)の例を示す。 再成形を伴う復号化フローのフローチャートの例を示す。 バイラテラルフィルタで利用される隣接サンプルの例を示す。 重み計算で利用される2つのサンプルをカバーするウィンドウの例を示す。 スキャンパターンの例を示す。 インターモード復号化プロセスの例を示す。 インターモード復号化プロセスの他の例を示す。 再構成後フィルタを伴ったインターモード復号化プロセスの例を示す。 再構成後フィルタを伴ったインターモード復号化プロセスの他の例を示す。 例となるビデオ処理方法のフローチャートを示す。 例となるビデオ処理方法のフローチャートを示す。 例となるビデオ処理方法のフローチャートを示す。 例となるビデオ処理方法のフローチャートを示す。 本開示で記載される視覚媒体復号化又は視覚媒体符号化技術を実装するためのハードウェアプラットフォームの例のブロック図である。 開示されている技術が実装され得るビデオ処理システムの例のブロック図である。
より高い解像度のビデオの需要の高まりにより、ビデオコーディング方法及び技術は、現在のテクノロジにおいて至る所に存在している。ビデオコーデックは、通常は、デジタルビデオを圧縮又は圧縮解除する電子回路又はソフトウェアを含み、より高いコーディング効率をもたらすよう改善され続けている。ビデオコーデックは、非圧縮ビデオを圧縮されたフォーマットに変換し、又はその逆も同様である。ビデオ品質と、ビデオを表すために使用される(ビットレートによって決定された)データの量と、符号化及び復号化アルゴリズムの複雑さと、データ損失及び誤りに対する敏感さと、編集の容易さと、ランダムアクセスと、エンド間遅延(レイテンシ)との間には、複雑な関係が存在する。圧縮されたフォーマットは、通常は,標準のビデオ圧縮仕様、例えば、HEVC(High Efficiency Video Coding)規格(H.265又はMPEG-H Part2としても知られている。)、完成されるべきVVC(Versatile Video Coding)規格、あるいは、他の現在及び/又は将来のビデオコーディング規格に従う。
開示されている技術の実施形態は、圧縮性能を改善するために既存のビデオコーディング規格(例えば、HEVC、H.265)及び将来の規格に適用されてよい。セクション見出しは、説明の読みやすさを改善するために本明細書中で使用されており、本開示又は実施形態(及び/又は実施)を夫々のセクションに限定するものでは決してない。
[1.HEVC/H.265でのインター予測の例]
ビデオコーディング規格は、長年にわたって大いに改善してきており、現在では、高いコーディング効率をもたらし、より高い解像度をサポートする。HEVC及びH.265などの最近の規格は、時間予測及び変換コーディングが利用されるハイブリッドビデオコーディング構造に基づく。
[1.1 予測モードの例]
夫々のインター予測されたPU(prediction unit)は、1つ又は2つの参照ピクチャリストについての動きパラメータを有している。いくつかの実施形態で、動きパラメータは、動きベクトル及び参照ピクチャインデックスを含む。他の実施形態で、2つの参照ピクチャリストの一方の利用は、inter_pred_idcを用いてシグナリングされてもよい。更なる他の実施形態で、動きベクトルは、予測子に対する差分として明示的にコーディングされてもよい。
CUがスキップモードでコーディングされる場合に、1つのPUがCUと関連付けられ、有意な残差係数、コーディングされた動きベクトル差分、又は参照ピクチャインデックスは、存在しない。マージモードが指定され、これによって、現在のPUの動きパラメータは、空間及び時間的候補を含む隣接PUから取得される。マージモードは、スキップモードのためだけでなく、如何なるインター予測されたPUにも適用可能である。マージモードに対する代替手段は、動きパラメータの明示的な伝送であり、動きベクトル(より厳密に言えば、動きベクトル予測子と比較した動きベクトル差分(motion vector differences,MVD))、各参照ピクチャリストの対応する参照ピクチャインデックス、及び参照ピクチャリスト利用が、各PUごとに明示的にシグナリングされる。このようなモードは、本明細書では高度動きベクトル予測(advanced motion vector prediction,AMVP)と呼ばれる。
2つの参照ピクチャリストの一方が使用されるべきであることをシグナリングが示す場合に、PUは、サンプルの1つのブロックから生成される。これは「片予測」(uni-prediction)と呼ばれる。片予測は、Pスライス及びBスライスの両方について利用可能である。
両方の参照ピクチャリストが使用されるべきであることをシグナリングが示す場合に、PUは、サンプルの2つのブロックから生成される。これは「双予測」(bi-prediction)と呼ばれる。双予測は、Bスライスについてのみ利用可能である。
参照ピクチャリスト
HEVCでは、インター予測という用語が、現在の復号されているピクチャ以外の参照ピクチャのデータ要素(例えば、サンプル値又は動きベクトル)から導出された予測を表すために使用される。同様に、H.264/AVCでは、ピクチャは、複数の参照ピクチャから予測され得る。インター予測のために使用される参照ピクチャは、1つ以上の参照ピクチャリストに編成される。参照インデックスは、リスト内のどの参照ピクチャが予測信号を生成するために使用されるべきであるかを識別する。
単一の参照ピクチャリストList0は、Pスライスのために使用され、2つの参照リストList0及びList1は、Bスライスのために使用される。留意されるべきは、List0/1に含まれる参照ピクチャは、捕捉/表示順序に関して過去及び未来のピクチャからであってよい点である。
[1.1.1 マージモードの候補を構成する実施形態]
PUがマージモードを用いて予測される場合に、merge candidates list(マージ候補リスト)内のエントリを指し示すインデックスは、ビットストリームからパースされ、動き情報を読み出すために使用される。このリストの構成は、次のステップの連続に従って手短に述べられ得る:
ステップ1:初期候補の導出
ステップ1.1:空間的候補の導出
ステップ1.2:空間的候補に対する冗長性検査
ステップ1.3:時間的候補の導出
ステップ2:追加候補の挿入
ステップ2.1:双予測候補の生成
ステップ2.2:ゼロ動き候補の挿入
図1は、上述されたステップの連続に基づきマージ候補リストを構成する例を示す。初期マージ候補の導出のために、最大4つのマージ候補が、5つの異なった位置にある候補の中から選択される。時間マージ候補の導出のために、最大1つのマージ候補が、2つの候補の中から選択される。PUごとの一定数の候補がデコーダで考えられているので、候補の数が、スライスヘッダでシグナリングされているマージ候補の最大数(MaxNumMergeCand)に達しない場合には、追加候補が生成される。候補の数は一定であるから、最良のマージ候補のインデックスは、トランケーテッドユーナリー二値化(truncated unary binarization,TU)を用いて符号化される。CUのサイズが8に等しい場合に、現在のCUの全てのPUは、2N×2N予測ユニットのマージ候補リストと同一である単一のマージ候補リストを共有する。
[1.1.2 空間マージ候補の構成]
空間マージ候補の導出において、最大4つのマージ候補が、図2に表されている位置にある候補の中から選択される。導出の順序は、A、B、B、A、及びBである。位置Bは、位置A、B、B、AのいずれかのPU(それが他のスライス又はタイルに属するために)利用可能でないか、あるいは、イントラコーディングされている場合にのみ検討される。位置Aでの候補が加えられた後、残りの候補の追加は冗長性検査を受ける。これは、同じ動き情報を有する候補が、コーディング効率が改善されるようにリストから外されることを確かにする。
計算複雑性を低減するために、上記の冗長性検査において、可能性がある全ての候補対が検討されるわけではない。代わりに、図3において矢印で結ばれている対が検討され、候補は、冗長性検査のために使用された対応する候補が同じ動き情報を有していない場合にのみリストに加えられる。そっくり同じ動き情報の他のソースは、2N×2Nとは異なるパーティションに関連した「第2PU」である。例として、図4A及び図4Bは、夫々、N×2N及び2N×Nの場合について、第2PUを表す。現在のPUがN×2Nとしてパーティション化される場合に、位置Aでの候補はリスト構成のために考慮に入れられない。いくつかの実施形態において、この候補を加えることは、同じ動き情報を有する2つの予測ユニットを生じる可能性があり、これは、コーディングユニット内でただ1つのPUを有するには冗長である。同様に、位置Bは、現在のPUが2N×Nとしてパーティション化される場合に考慮に入れられない。
[1.1.3 時間マージ候補の構成]
このステップでは、ただ1つの候補がリストに加えられる。特に、この時間マージ候補の導出において、スケーリングされた動きベクトルは、所与の参照ピクチャリスト内で現在のピクチャとのPOC差が最小であるピクチャに属する同一位置(co-located)PUに基づいて導出される。同一位置PUの導出のために使用される参照ピクチャリストは、スライスヘッダで明示的にシグナリングされる。
図5は、時間マージ候補のスケーリングされた動きベクトルの導出の例を(破線として)示し、スケーリングされた動きベクトルは、POC距離tb及びtdを用いて同一位置PUの動きベクトルからスケーリングされている。tbは、現在のピクチャの参照ピクチャと現在のピクチャとの間のPOC距離であるよう定義され、tdは、同一位置ピクチャの参照ピクチャと同一位置ピクチャとの間のPOC差であるよう定義される。時間マージ候補の参照ピクチャインデックスは、ゼロに等しくセットされる。Bスライスについては、2つの動きベクトル(1つは参照ピクチャリスト0用であり、もう1つは参照ピクチャリスト1用である)が取得され、双予測マージ候補を生成するよう結合される。
参照フレームに属する同一位置PU(Y)では、時間的候補の位置が、図6に表されているように、候補C及びCの間で選択される。位置CにあるPUが利用可能でないか、イントラコーディングされているか、あるいは、現在のCTUの外にある場合に、位置Cが使用される。そうでない場合には、位置Cが時間マージ候補の導出において使用される。
[1.1.4 更なるタイプのマージ候補の構成]
空間及び時間マージ候補に加えて、2つの更なるタイプのマージ候補、すなわち、複合双予測マージ候補(combined bi-predictive merge candidate)及びゼロマージ候補(zero merge candidate)が存在する。複合双予測マージ候補は、空間及び時間マージ候補を利用することによって生成される。複合双予測マージ候補は、Bスライスにのみ使用される。複合双予測マージ候補は、最初の候補の第1参照ピクチャリスト動きパラメータを他の第2参照ピクチャリスト動きパラメータと組み合わせることによって生成される。これら2つのタプルが異なった動き仮説(hypotheses)をもたらす場合に、それらは新しい双予測候補を形成することになる。
図7は、このプロセスの例を表し、mvL0及びrefIdxL0又はmvL1及びrefIdx1を有する原リスト(左側にある710)内の2つの候補が、最終的なリスト(右側にある720)に加えられる複合双予測マージ候補を生成するために使用される。これらの追加マージ候補を生成するために考えられる組み合わせに関して多数の規則がある。
ゼロ動き候補は、マージ候補リスト内の残りのエントリを満たして、MaxNumMergeCand容量に達するよう挿入される。これらの候補は、ゼロ空間変位と、ゼロから始まって、新しいゼロ動き候補がリストに加えられるたびに増える参照ピクチャインデックスとを有している。これらの候補によって使用される参照フレームの数は、一方向予測及び双方向予測の夫々について1及び2である。いくつかの実施形態では、これらに候補に対しては冗長性検査が実行されない。
[1.2 高度動きベクトル予測(AMVP)の実施形態]
AMVP(Advanced Motion Vector Prediction)は、動きパラメータの明示的な伝送のために使用される隣接PUとの動きベクトルの空間時間相関を利用する。それは、左及び上にある時間的に隣接したPU位置の利用可能性を最初に確認し、冗長な候補を除いて、候補リストを一定の長さにするようゼロベクトルを加えることによって、動きベクトル候補リストを構成する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。同様に、マージインデックスシグナリングにより、最良の動きベクトル候補のインデックスは、トランケーテッドユーナリーを用いて符号化される。この場合に符号化される最大値は2である(図8を参照)。以下のセクションでは、動きベクトル予測候補の導出プロセスに関する詳細が提供される。
[1.2.1 AMVP候補を導出する例]
図8は、動きベクトル予測候補の導出プロセスを要約し、各参照ピクチャリストについて入力としてrefidxを用いて実施されてよい。
動きベクトル予測では、2つのタイプの動きベクトル候補、すなわち、空間動きベクトル候補及び時間動きベクトル候補、が考えられている。空間動きベクトル候補導出については、2つの動きベクトル候補が、先に図2に示されたように5つの異なった位置にある各PUの動きベクトルに基づいて最終的に導出される。
時間動きベクトル候補導出については、2つの異なった同一位置の位置に基づいて導出される2つの候補から、1つの動きベクトル候補が選択される。空間時間的候補の第1リストが生成された後、リスト内の重複した動きベクトル候補が除かれる。潜在的な候補の数が2つよりも多い場合には、関連する参照ピクチャリスト内の参照ピクチャインデックスが1よりも大きい動きベクトル候補は、リストから除かれる。空間時間動きベクトル候補の数が2つよりも少ない場合には、追加のゼロ動きベクトル候補がリストに加えられる。
[1.2.2 空間動きベクトル候補の構成]
空間動きベクトル候補の導出において、先に図2に示されたような位置(これらの位置は、動きマージのそれらと同じである)にあるPUから導出される5つの潜在的な候補から、最大2つの候補が考えられる。現在のPUの左側の導出の順序は、A、A及びスケーリングされたA、スケーリングされたAとして定義される。現在のPUの上側の導出の順序は、B、B、B、スケーリングされたB、スケーリングされたB、スケーリングされたBとして定義される。夫々の側について、従って、動きベクトル候補として使用され得る4つの場合が存在し、2つの場合は、空間スケーリングを使用することが不要であり、他の2つの場合には、空間スケーリングが使用される。4つの異なる場合は、次のように簡単に述べられる。
・空間スケーリングなし
(1)同じ参照ピクチャリスト、かつ同じ参照ピクチャインデックス(同じPOC)
(2)異なる参照ピクチャリスト、しかし同じ参照ピクチャ(同じPOC)
・空間スケーリング
(3)同じ参照ピクチャリスト、しかし異なる参照ピクチャ(異なるPOC)
(4)異なる参照ピクチャリスト、かつ異なる参照ピクチャ(異なるPOC)
空間スケーリングなしの場合が最初に確認され、その後に空間スケーリングが続く。空間スケーリングは、参照ピクチャリストにかかわらず隣接PUの参照ピクチャと現在のPUのそれとの間でPOCが異なる場合に考えられる。左の候補の全てのPUが利用不可能であるか、又はイントラコーディングされている場合に、上の動きベクトルのスケーリングが、左及び上のMV候補の並列導出を助けるよう可能にされる。そうでない場合には、空間スケーリングは、上の動きベクトルに対して認められないい。
図9に示されるように、空間スケーリングの場合については、隣接PUの動きベクトルは、時間スケーリングの場合と同じようにしてスケーリングされる。主な違いは、現在のPUの参照ピクチャリスト及びインデックスが入力として与えられる点であり、実際のスケーリングプロセスは時間スケーリングのそれと同じである。
[1.2.3 時間動きベクトル候補の構成]
参照ピクチャインデックス導出は別として、時間マージ候補の導出のための全てのプロセスは、空間動きベクトル候補の導出(図6の例で示される)の場合と同じである。いくつかの実施形態において、参照ピクチャインデックスはデコーダへシグナリングされる。
[2.JEMにおける新しいインター予測方法の例]
いくつかの実施形態において、将来のビデオコーディング技術は、JEM(Joint Exploration Model)として知られている参照ソフトウェアを用いて探求されている。JEMでは、サブブロックベースの予測が、アフィン予測、代替時間動きベクトル予測(Alternative Temporal Motion Vector Prediction,ATMVP)、空間時間動きベクトル予測(Spatial-Temporal Motion Vector Prediction,STMVP)、双方向オプティカルフロー(bi-directional optical flow,BIO)、フレームレートアップコンバージョン(Frame-Rate Up Conversion,FRUC)、局所適応動きベクトル分割(Locally Adaptive Motion Vector Resolution,LAMVR)、オーバーラップブロック動き補償(Overlapped Block Motion Compensation,OBMC)、局所照度補償(Local Illumination Compensation,LIC)、及びデコーダ側動きベクトル精緻化(Decoder side Motion Vector Refinement,DMVR)などのいくつかのコーディングツールで導入されている。
[2.1 サブCUベースの動きベクトル予測の例]
四分木プラス二分木(quadtrees plus binary trees,QTBT)によるJEMでは、各CUは、予測方向ごとに多くてもひと組の動きパラメータを有することができる。いくつかの実施形態において、2つのサブCUレベル動きベクトル予測方法が、大きいCUをサブCUに分割し、大きいCUの全てのサブCUについて動き情報を導出することによって、エンコーダにおいて考えられている。代替時間動きベクトル予測(ATMVP)方法は、各CUが、同一位置の参照ピクチャにある現在のCUよりも小さい複数のブロックから複数の組の動き情報をフェッチすることを可能にする。空間時間動きベクトル予測(STMVP)方法では、サブCUの動きベクトルは、時間動きベクトル予測子及び空間隣接動きベクトルを使用することによって再帰的に導出される。いくつかの実施形態において、サブCU動き予測のためのより正確な運動場を保つために、参照フレームのための動き圧縮は無効にされてもよい。
[2.1.1 ATMVPの例]
ATMVP(Alternative Temporal Motion Vector Prediction)法では、時間動きベクトル予測(Temporal Motion Vector Prediction,TMVP)法が、現在のCUよりも小さいブロックから複数の組の動き情報(動きベクトル及び参照インデックスを含む)をフェッチすることによって改良されている。
図10は、CU1000に対するATMVP動き予測プロセスの例を示す。ATMVP方法は、2つのステップでCU1000内のサブCU1001の動きベクトルを予測する。最初のステップは、時間ベクトルにより参照ピクチャ1050内の対応するブロック1051を識別することである。参照ピクチャ1050は、モーションソースピクチャ(motion source picture)とも呼ばれる。第2のステップは、現在のCU1000をサブCU1001に分け、各サブCUに対応するブロックから各サブCUの動きベクトル及び参照インデックスを取得することである。
最初のステップで、参照ピクチャ1050及び対応するブロックは、現在のCU1000の空間隣接ブロックの動き情報によって決定される。隣接ブロックの反復的な走査プロセスを回避するために、現在のCU1000のマージ候補リスト内の最初のマージ候補が使用される。最初の利用可能な動きベクトル及びその関連する参照インデックスが、時間ベクトルと、モーションソースピクチャへのインデックスとであるようセットされる。このようにして、対応するブロックは、TMVPと比較して、より正確に識別され得る。ここで、対応するブロック(時々、同一位置ブロックと呼ばれる)は、現在のCUに対して右下又は中心位置に常にある。
第2のステップで、サブCU1051の対応するブロックは、モーションソースピクチャ1050の時間ベクトルによって、現在のCUの座標にその時間ベクトルを加えることによって識別される。各サブCUについて、その対応するブロック(例えば、中心サンプルをカバーする最小モーショングリッド)の動き情報が、当該サブCUの動き情報を導出するために使用される。対応するN×Nブロックの動き情報が識別された後、それは、HEVCのTMVPと同じように、現在のサブCUの動きベクトル及び参照インデックスに変換される。このとき、動きスケーリング及び他のプロシージャが適用される。例えば、デコーダは、低遅延条件(例えば、現在のピクチャの全ての参照ピクチャのPOCが現在のピクチャのPOCよりも小さい)が満足されるかどうかを確認し、場合により、各サブCUについて動きベクトルMVy(例えば、Xは0又は1に等しく、Yは1-Xに等しい)を予測するために動きベクトルMVx(例えば、参照ピクチャリストXに対応する動きベクトル)を使用する。
[2.1.2 STMVPの例]
STMVP(spatial-temporal motion vector prediction)法では、サブCUの動きベクトルは、ラスタ走査順序に従って、再帰的に導出される。図11は、4つのサブブロックを有する1つのCUを、隣接するブロックとともに示す。4つの4×4サブCU A(1101)、B(1102)、C(1103)及びD(1104)を含む8×8CUを考える。現在のフレームの隣接する4×4ブロックは、a(1111)、b(1112)、c(1112)及びd(1114)と表記される。
サブCU Aの動き導出は、その2つの空間近傍を識別することによって開始する。第1近傍は、サブCU A(1101)の上にあるN×Nブロック(ブロックc 1113)である。このブロックc(1113)が利用不可能であるか、又はイントラコーディングされている場合に、サブCU A(1101)の上にある他のN×Nブロックが確認される(ブロックc 1113から始まって、左から右へ)。第2近傍は、サブCU A(1101)の左にあるブロック(ブロックb 1112)である。ブロックb(1112)が利用不可能であるか、又はイントラコーディングされている場合に、サブCU A(1101)の左にある他のブロックが確認される(ブロックb 1112から始まって、上から下へ)。各リストについて隣接ブロックから取得された動き情報は、所与のリストについての第1参照フレームにスケーリングされる。次に、サブブロックA(1101)の時間動きベクトル予測子(TMVP)が、HEVCで定められているTMVP導出の同じプロシージャに従うことによって、導出される。位置D(1104)での同一位置ブロックの動き情報は、それに応じてフェッチされスケーリングされる。最後に、動き情報を取り出しスケーリングした後、全ての利用可能な動きベクトルは、参照リストごとに別々に平均化される。平均化された動きベクトルは、現在のサブCUの動きベクトルとして割り当てられる。
[2.1.3 サブCU動き予測モードシグナリングの例]
いくつかの実施形態において、サブCUモードは、追加のマージ候補として使用可能であり、モードをシグナリングするために追加のシンタックス要素は必要とされない。2つの追加マージ候補が、ATMVPモード及びSTMVPモードを表すために各CUのマージ候補に加えられる。他の実施形態において、ATMVP及びSTMVPが使用可能であることをシーケンスパラメータセットが示す場合には、最大7つのマージ候補が使用され得る。追加マージ候補の符号化ロジックは、HMにおけるマージ候補の場合と同じである。これは、P又はBスライス内の各CUについて、2つ以上のRDチェックが2つの追加マージ候補のために必要とされる可能性があることを意味する。いくつかの実施形態、例えば、JEMでは、マージインデックスの全ビンが、CABAC(Context-based Adaptive Binary Arithmetic Coding))によってコンテキストコーディングされる。他の実施形態、例えば、HEVCでは、最初のビンのみがコンテキストコーディングされ、残りのビンは、コンテキストバイパスコーディングされる。
[2.2 JEMにおけるLICの例]
局所照度補償(LIC)は、スケーリング係数a及びオフセットbを用いて、照度変化のための線形モデルに基づく。そして、それは、各インターモードコーディングされたコーディングユニット(CU)について適応的に有効又は無効にされる。
LICがCUに適用される場合に、最小二乗誤差法が、現在のCUの隣接サンプル及びそれらの対応する参照サンプルを使用することによってパラメータa及びbを導出するために用いられる。より具体的には、図12に表されるように、CUのサブサンプリング(2:1サブサンプリング)された隣接サンプル及び参照ピクチャ内の対応するサンプル(現在のCU又はサブCUの動き情報によって識別される)が使用される。
[2.2.1 予測ブロックの導出]
ICパラメータは、各予測方向について別々に導出され適用される。予測方向ごとに、第1の予測ブロックが、複合された動き情報により生成され、次いで、時間予測ブロックが、LICモデルを適用することによって取得される。その後に、2つの時間予測ブロックが、最終的な予測ブロックを導出するために利用される。
CUがマージモードでコーディングされる場合に、LICフラグは、マージモードでの動き情報コピーと同じようにして、隣接ブロックからコピーされる。そうでない場合には、LICフラグは、LICが適用されるか否かを示すよう当該CUについてシグナリングされる。
LICがピクチャに使用可能である場合に、追加のCUレベルRDチェックが、LICがCUに適用されるか否かを決定するために必要である。LICがCUに使用可能である場合に、平均除去絶対差分和(Mean-Removed Sum of Absolute Difference,MR-SAD)及び平均除去絶対アダマール変換差分和(Mean-Removed Sum of Absolute Hadamard-Transformed Difference,MR-SATD)が、SAD及びSATDの代わりに、整数ペル動き探索及び分数ペル動き探索のために夫々使用される。
符号化複雑性を低減するために、以下の符号化スキームがJEMでは適用される:現在のピクチャとその参照ピクチャとの間に明らかな照度変化がない場合には、ピクチャ全体に対してLICは無効にされる。この状況を識別するために、現在のピクチャ及び現在のピクチャのあらゆる参照ピクチャのヒストグラムがエンコーダで計算される。現在のピクチャと現在のピクチャのあらゆる参照ピクチャとの間のヒストグラム差が所与の閾値よりも小さい場合に、LICは現在のピクチャに対して無効にされ、そうでない場合には、LICは現在のピクチャに対して有効にされる。
[2.3 VVCにおけるインター予測方法の例]
MVDをシグナリングするための適応動きベクトル差分解(AMVR)、アフィン予測モード、三角予測モード(Triangular Prediction Mode,TPM)、ATMVP、一般化された双予測(Generalized Bi-Prediction,GBI)、双予測オプティカルフロー(BIO)などの、インター予測の改善のためのいくつかの新しいコーディングツールが存在する。
[2.3.1 VVCにおけるコーディングブロック構造の例]
VVCでは、四分木/二分木/多分木(QT/BT/TT)構造が、ピクチャを正方形又は長方形ブロックに分割するために採用されている。QT/BT/TTに加えて、別のツリー(別名、デュアルコーディングツリー)も、Iフレームに対してVVCでは採用されている。別のツリーによれば、コーディングブロック構造は、ルーマ成分及びクロマ成分について別々にシグナリングされる。
[2.3.2 適応動きベクトル差分解の例]
いくつかの実施形態において、(PUの動きベクトルと予測された動きベクトルとの間の)動きベクトル差分(MVD)は、スライスヘッダにおいてuse_integer_my_flagが0に等しいときに4分の1ルーマサンプルの単位でシグナリングされる。JEMでは、局所適応動きベクトル分解(LAMVR)が紹介されている。JEMでは、MVDは、4分の1ルーマサンプル、整数ルーマサンプル、又は4ルーマサンプルの単位でコーディングされ得る。MVD分解は、コーディングユニット(CU)レベルで制御され、MVD分解フラグは、少なくとも1つの非ゼロMVD成分を有している各CUについて条件付きでシグナリングされる。
少なくとも1つの非ゼロMVD成分を有するCUについては、4分の1ルーマサンプルMV精度がCUで使用されるかどうかを示すために、第1フラグがシグナリングされる。第1グラフ(1に等しい)が、4分の1ルーマサンプルMV精度が使用されないことを示す場合に、整数ルーマサンプルMV精度又は4ルーマサンプルMV精度が使用されるかどうかを示すために、他のフラグがシグナリングされる。
CUの第1MVD分解フラグがゼロであるか、あるいは、CUに対してコーディングされない(つまり、CU内の全てのMVDがゼロである)場合に、そのCUに対しては、4分の1ルーマサンプルMV分解が使用される。CUが整数ルーマサンプルMV精度又は4ルーマサンプルMVDがゼロ精度を使用する場合に、そのCUのAMVP候補リスト内のMVPは、対応する精度に丸められる。
[2.3.3 アフィン動き補償予測の例]
HEVCでは、並進運動モデル(translation motion model)しか動き補償予測(Motion Compensation Prediction,MCP)のために適用されない。しかし、カメラ及び対象物は、多くの種類の動き、例えば、ズームイン/アウト、回転、射影運動、及び他の不規則な動きを有する可能性がある。VVCでは、簡単化されたアフィン変換動き補償予測が4パラメータアフィンモデル及び6パラメータアフィンモデルにより適用される。図13A及び13Bに示されるように、ブロックのアフィン運動場は、(変数a、b、e及びfを使用する4パラメータアフィンモデルでは)2つ又は(変数a、b、c、d、e及びfを使用する6パラメータアフィンモデルでは)3つの制御点動きベクトルによって夫々記述される。
ブロックの動きベクトル場(Motion Vector Field,MVF)は、4パラメータアフィンモデル及び6パラメータアフィンモデルにより夫々、次の式によって記述される:
Figure 2022525226000002
ここで、(mv ,mv )は、左上隅の制御点の(CP)動きベクトルであり、(mv ,mv )は、右上隅の制御点の動きベクトルであり、(mv ,mv )は、左下隅の制御点の動きベクトルであり、(x,y)は、現在のブロック内の左上サンプルに対する代表点の座標を表す。CP動きベクトルは、シグナリング(アフィンAMVPモードと同様)されるか、あるいは、オン・ザ・フライで導出(アフィンモードと同様)されてよい。w及びhは、現在のブロックの幅及び高さである。実際に、分割は、丸め演算付き右シフトによって実施される。VTMでは、代表点は、サブブロックの中心位置であるよう定義され、例えば、現在のブロック内の左上サンプルに対するサブブロックの左上隅の座標が(xs,ys)である場合に、代表点の座標は、(xs+2,ys+2)であるよう定義される。各サブブロック(例えば、VTMでは4×4)について、代表点は、そのサブブロック全体の動きベクトルを導出するために利用される。
図14は、ブロック1300のサブブロックごとのアフィンMVFの例を示し、動き補償予測を更に簡単にするために、サブブロックベースのアフィン変換予測が適用される。各M×Nサブブロックの動きベクトルを導出するために、各サブブロックの中心サンプルの動きベクトルは、式(1)及び(2)に従って計算され、動きベクトル分数精度(例えば、JEMでは、1/16)に丸められ得る。次いで、動き補償補間フィルタが、導出された動きベクトルにより各サブブロックの予測を生成するために適用される。1/16ペルのための補間フィルタがアフィンモードによって導入される。MCPの後、各サブブロックの高精度動きベクトルは丸められ、通常の動きベクトルと同じ精度としてセーブされる。
[2.3.3.1 アフィン予測のシグナリングの例]
並進運動モデルと同様に、アフィンモデルによるサイド情報をシグナリングするための2つのモードもある。それらは、AFFINE_INTERモード及びAFFINE_MERGEモードである。
[2.3.3.2 AF_INTERモードの例]
幅及び高さの両方が8よりも大きいCUについては、AF_INTERモードが適用され得る。CUレベルでのアフィンフラグは、AF_INTERモードが使用されるかどうかを示すためにビットストリームでシグナリングされる。このモードで、各参照ピクチャリスト(List0又はList1)について、アフィンAMVP候補リストは、次の順序で3つのタイプのアフィン動き予測子により構成され、各候補は、現在のブロックの推定されたCPMVを含む。エンコーダ側で見つけられた最良のCPMV(例えば、図17のmv、mv、mv)と推定されたCPMVとの差がシグナリングされる。更には、推定されたCPMVが導出されるアフィンAMVP候補のインデックスが更にシグナリングされる。
1)遺伝による(つまり、引き継がれた(inherited))アフィン動き予測子
検査順序は、HEVC AMVPリスト構成における空間MVPのそれと同様である。最初に、現在のブロックと同じ参照ピクチャを有し、アフィンコーディングされている{A1,A0}内の最初のブロックから、左側の遺伝的アフィン動き予測子が導出される。第2に、現在のブロックと同じ参照ピクチャを有し、アフィンコーディングされている{B1,B0,B2}内の最初のブロックから、上側の遺伝的アフィン動き予測子が導出される。5つのブロックA1、A0、B1、B0、B2は、図16に表されている。
隣接するブロックがアフィンモードでコーディングされていると分かると、隣接するブロックをカバーするコーディングユニットのCPMVは、現在のブロックのCPMVの予測子を導出するために使用される。例えば、A1が非アフィンモードでコーディングされ、A0が4パラメータアフィンモードでコーディングされる場合に、左側の遺伝的アフィンMV予測子はA0から導出されることになる。この場合に、図18Bで左上CPMVについてはMV 及び右上CPMVについてはMV によって表されている、A0をカバーするCUのCPMVは、現在のブロックの左上位置(座標(x0,y0)を有する)、右上位置(座標(x1,y1)を有する)及び右下位置(座標(x2,y2)を有する)についてMV 、MV 、MV によって表される現在のブロックの推定されたCPMVを導出するために利用される。
2)構成されたアフィン動き予測子
構成されたアフィン動き予測子は、同じ参照ピクチャを有している、図17に示されるような隣接するインターコーディングされたブロックから導出される制御点動きベクトル(CPMV)から成る。現在のアフィン動きモデルが4パラメータアフィンである場合に、CPMVの数は2であり、そうではなく、現在のアフィン動きモデルが6パラメータアフィンである場合に、CPMVの数は3である。左上CPMV
(外1)
Figure 2022525226000003
(以降、バーmv)は、現在のブロックと同じ参照ピクチャを有している、インターコーディングされているグループ{A,B,C}内の最初のブロックでのMVによって、導出される。右上CPMV
(外2)
Figure 2022525226000004
(以降、バーmv)は、現在のブロックと同じ参照ピクチャを有している、インターコーディングされているグループ{D,E}内の最初のブロックでのMVによって、導出される。左下CPMV
(外3)
Figure 2022525226000005
(以降、バーmv)は、現在のブロックと同じ参照ピクチャを有している、インターコーディングされているグループ{F,G}内の最初のブロックでのMVによって、導出される。
- 現在のアフィン動きモデルが4パラメータアフィンである場合に、構成されたアフィン動き予測子は、バーmv及びバーmvの両方が求められる、つまり、バーmv及びバーmvが現在のブロックの左上位置(座標(x0,y0)を有する)及び右上位置(座標(x1,y1)を有する)についての推定されたCPMVとして使用される場合にのみ、候補リストに挿入される。
- 現在のアフィン動きモデルが6パラメータアフィンである場合に、構成されたアフィン動き予測子は、バーmv、バーmv、及びバーmvが全て求められる、つまり、バーmv、バーmv、及びバーmvが現在のブロックの左上位置(座標(x0,y0)を有する)、右上位置(座標(x1,y1)を有する)及び右下位置(座標(x2,y2)を有する)についての推定されたCPMVとして使用される場合にのみ、候補リストに挿入される。
構成されたアフィン動き予測子を候補リストに挿入する場合に、プルーニングプロセスは適用されない。
3)通常のAMVP動き予測子
以下は、アフィン動き予測の数が最大値に達するまで適用される。
1)利用可能である場合に全てのCPMVをバーmvに等しくセットすることによってアフィン動き予測子を導出する。
2)利用可能である場合に全てのCPMVをバーmvに等しくセットすることによってアフィン動き予測子を導出する。
3)利用可能である場合に全てのCPMVをバーmvに等しくセットすることによってアフィン動き予測子を導出する。
4)利用可能である場合に全てのCPMVをHEVC TMVPに等しくセットすることによってアフィン動き予測子を導出する。
5)全てのCPMVをゼロMVにセットすることによってアフィン動き予測子を導出する。
留意されるべきは、
(外4)
Figure 2022525226000006
(以降、バーmv)は、構成されたアフィン動きでは既に導出されている点である。
AF_INTERモードでは、4又は6パラメータアフィンモードが使用される場合に、2又は3つの制御点が必要とされるので、2つ又は3つのMVDが、図15A及び15Bに示されるように、それらの制御点に対してコーディングされる必要がある。既存の実施では、MVは次のように導出されてよく、例えば、それは、mvdからmvd及びmvdを予測する。
Figure 2022525226000007
ここで、バーmv、mvd及びmvは、図15Bに示されるように、夫々、左上ピクセル(i=0)、右上ピクセル(i=1)、又は左下ピクセル(i=2)の予測された動きベクトル、動きベクトル差分及び動きベクトルである。いくつかの実施形態において、2つの動きベクトル(例えば、mvA(xA,yA)及びmvB(xB,yB))の追加は、別々に2つの成分の和に等しい。例えば、newMV=mvA+mvBは、newMVの2つの成分が夫々、(xA+xB)及び(yA+yB)にセットされることを暗示する。
[2.3.3.3 AF_MERGEモードの例]
CUがAF_MERGEモードで適用される場合に、それは、有効な隣接する再構成されたブロックからアフィンモードによりコーディングされた最初のブロックを得る。そして、候補ブロックの選択順序は、図18Aに示されるように、左から、上、右上、左下、左上へである(順にA、B、C、D、Eによって表される)。例えば、隣接する左下ブロックが、図18BでA0によって表されるように、アフィンモードでコーディングされる場合に、ブロックAを含む隣接するCU/PUの左上隅、右上隅、及び左下隅の制御点(CP)動きベクトルmv 、mv 及びmv がフェッチされる。そして、現在のCU/PU上の左上隅/右上/左下の動きベクトルmv 、mv 及びmv (6パラメータアフィンモデルのためにのみ使用される)は、mv 、mv 及びmv に基づいて計算される。留意されるべきは、VTM-2.0では、現在のブロックがアフィンコーディングされている場合に、左上隅に位置するサブブロック(例えば、VTMでは、4×4ブロック)は、mv0を保存し、右上隅にあるサブブロックは、mv1を保存する。現在のブロックが6パラメータアフィンモデルでコーディングされる場合には、左下隅にあるサブブロックは、mv2を保存し、そうでない(4パラメータアフィンモデルによる)場合には、LBはmv2’を保存する。他のサブブロックは、MCのために使用されるMVを保存する。
現在のCUのCPMV v0及びv1が式(1)及び(2)のアフィン動きモデルに従って計算された後、現在のCUのMVFが生成され得る。現在のCUがAF_MERGEモードでコーディングされているかどうかを識別するために、アフィンモードでコーディングされている少なくとも1つの隣接ブロックがある場合に、アフィンフラグがビットストリームでシグナリングされ得る。
いくつかの実施形態(例えば、JVET-L0142及びJVET-L0632)において、アフィンマージ候補リストは、次のステップで構成されてよい。
1)遺伝によるアフィン候補の挿入
遺伝によるアフィン候補(inherited affine candidate)とは、候補が、その有効な隣接するアフィンコーディングされたブロックのアフィン動きモデルから導出されることを意味する。最大2つの遺伝的アフィン候補が、隣接ブロックのアフィン動きモデルから導出され、候補リストに挿入される。左側予測子については、走査順序は{A0,A1}であり、上側予測子については、走査順序は{B0,B1,B2}である。
2)構成されたアフィン候補の挿入
アフィンマージ候補リスト内の候補の数がMaxNumAffineCand(この構成では5にセットされる)に満たない場合には、構成されたアフィン候補(constructed affine candidates)が候補リストに挿入される。構成されたアフィン候補とは、候補が、各制御点の隣接動き情報を結合することによって構成されることを意味する。
a)制御点の動き情報は、最初に、図19に示されている指定された空間近傍及び時間近傍から導出される。CPk(k=1,2,3,4)は、k番目の制御点を表す。A0、A1、A2、B0、B1、B2及びB3は、CPk(k=1,2,3)を予測するための空間的位置である。Tは、CP4を予測するための時間的位置である。
CP1、CP2、CP3及びCP4の座標は、夫々、(0,0)、(W,0)、(H,0)及び(W,H)であり、ここで、W及びHは、現在のブロックの幅及び高さである。
各制御点の動き情報は、次の優先順序に従って取得される:
CP1については、チェック優先度はB2→B3→A2である。B2は、それが利用可能である場合に使用される。そうではない場合に、B3が利用可能であるならば、B3が使用される。B2及びB3の両方が利用不可能である場合には、A2が使用される。3つ全ての候補が利用不可能である場合には、CP1の動き情報は取得不可能である。
CP2については、チェック優先度はB1→B0である。
CP3については、チェック優先度はA1→A0である。
CP4については、Tが使用される。
b)第2に、制御点の組み合わせが、アフィンマージ候補を構成するために使用される。
I.3つの制御点の動き情報が、6パラメータアフィン候補を構成するために必要とされる。3つの制御点は、次の4つの組み合わせ({CP1,CP2,CP4},{CP1,CP2,CP3},{CP2,CP3,CP4},{CP1,CP3,CP4})のうちの1つから選択され得る。組み合わせ{CP1,CP2,CP3}、{CP2,CP3,CP4}、{CP1,CP3,CP4}は、左上、右上、及び左下制御点によって表される6パラメータ運動モデルへ変換されることになる。
II.2つの制御点の動きベクトルが、4パラメータアフィン候補を構成するために必要とされる。2つの制御点は、次の6つの組み合わせ({CP1,CP4},{CP2,CP3},{CP1,CP2},{CP2,CP4},{CP1,CP3},{CP3,CP4})のうちの1つから選択され得る。組み合わせ{CP1,CP4}、{CP2,CP3}、{CP2,CP4}、{CP1,CP3}、{CP3,CP4}は、左上及び右上制御点によって表される4パラメータ運動モデルへ変換されることになる。
III.構成されたアフィン候補の組み合わせは、次の順序:{CP1,CP2,CP3},{CP1,CP2,CP4},{CP1,CP3,CP4},{CP2,CP3,CP4},{CP1,CP2},{CP1,CP3},{CP2,CP3},{CP1,CP4},{CP2,CP4},{CP3,CP4}として候補リストに挿入される。
i.組み合わせの参照リストX(Xは0又は1である。)については、制御点の中で最大利用率を有する参照インデックスが、リストXの参照インデックスとして選択され、差分参照ピクチャを指し示す動きベクトルはスケーリングされることになる。
候補が導出された後、同じ候補がリストに挿入されているかどうかをチェックするために、完全プルーニングプロセスが実行される。同じ候補が存在する場合には、導出された候補は捨てられる。
3)ゼロ動きベクトルによるパディング
アフィンマージ候補リスト内の候補の数が5よりも少ない場合に、リストが一杯になるまで、ゼロ参照インデックスを有するゼロ動きベクトルが候補リストに挿入される。
より具体的には、サブブロックマージ候補リストについて、4パラメータマージ候補は、MVが(0,0)にセットされ、予測方向がリスト0からの片予測(Pスライスの場合)及び双予測(Bスライスの場合)にセットされる。
[2.3.4 動きベクトル差分によるマージ(MMVD)の例]
JVET-L0054では、究極の動きベクトル表示(Ultimate Motion Vector Expression,UMVE)(動きベクトル差分によるマージ(Merge mode with Motion Vector Difference,MMVD)としても知られている)が提示されている。UMVEは、提案されている動きベクトル表示法によりスキップ又はマージのどちらかのモードに使用される。
UMVEは、VVCでの通常のマージ候補リストに含まれているものと同じくマージ候補を再利用する。マージ候補の中から、基本候補が選択可能であり、提案されている動きベクトル表示法によって更に拡張される。
UMVEは、新しい動きベクトル差分(MVD)表現法を提供し、その表現法では、開始点、運動の大きさ、及び運動方向が、MVDを表すために使用される。
この提案されている技術は、マージ候補リストをそのまま使用する。しかし、デフォルトのマージタイプ(MRG_TYPE_DEFAULT_N)である候補しか、UMVEの拡張のために考慮されない。
基本候補インデックスは開始点を定義する。基本候補インデックスは、次のように、リスト内の候補の中で最良の候補を示す:
Figure 2022525226000008
基本候補の数が1に等しい場合には、基本候補IDXはシグナリングされない。
距離インデックスは動きの大きさの情報である。距離インデックスは、開始点情報からの予め定義された距離を示す。予め定義された距離は次の通りである:
Figure 2022525226000009
方向インデックスは、開始点に対するMVDの方向を表す。方向インデックスは、以下で示されるように、4つの方向を表すことができる。
Figure 2022525226000010
いくつかの実施形態において、UMVEフラグは、スキップフラグ及びマージフラグを送った直後にシグナリングされる。スキップ及びマージフラグが真である場合に、UMVEフラグはパースされる。UMVEフラグが1に等しい場合に、UMVEシンタックスはパースされる。しかし、1でない場合には、AFFINEフラグがパースされる。AFFINEフラグが1に等しい場合には、それはアフィンモードである。しかし、1でない場合には、スキップ/マージインデックスが、VTMのスキップ/マージモードについてパースされる。
UMVE候補のための追加のラインバッファは不要である。ソフトウェアのスキップ/マージ候補は基本候補として直接使用されるからである。入力されたUMVEインデックスを用いて、MVの補完は、動き補償の直前に決定される。このため、長いラインバッファを保持する必要はない。
現在の一般的なテスト条件では、マージ候補リスト内の第1又は第2マージ候補のどちらかが基本候補として選択され得る。
[2.3.5 デコーダ側動きベクトル精緻化(DMVR)の例]
双予測動作では、1つのブロック領域の予測のために、リスト0の動きベクトル(MV)及びリスト1のMVを用いて夫々形成された2つの予測ブロックが、単一の予測信号を形成するよう結合される。デコーダ側動きベクトル精緻化(DMVR)法では、双予測の2つの動きベクトルは更に精緻化される。
JEM設計では、動きベクトルは、バイラテラルテンプレートマッチングプロセスによって精緻化される。バイラテラルテンプレートマッチングは、精緻化されたMVを追加の動き情報の伝送なしで取得するために、バイラテラルテンプレートと参照ピクチャ内の再構成サンプルとの間でひずみベースの探索を実行するようデコーダで適用される。一例が図22に表されている。バイラテラルテンプレートは、図22に示されるように、夫々リスト0の初期MV0及びリスト1のMV1からの2つの予測ブロックの加重結合(すなわち、平均)として生成される。テンプレートマッチング動作は、生成されたテンプレートと参照ピクチャ内の(初期予測ブロックの周りの)サンプル領域との間のコスト指標を計算することから成る。2つの参照ピクチャの夫々について、最小テンプレートコストをもたらすMVは、元のMVを置換するためのそのリストの更新されたMVと見なされる。JEMでは、9つのMV候補がリストごとに探索される。9つのMVは、元のMVと、水平若しくは垂直のどちらか一方の方向又は両方の方向において元のMVに対して1ルーマサンプルだけオフセットされた8つの周囲MVとを含む。最終的に、2つの新しいMV、すなわち、図22に示されるMV0’及びMV1’が、最終的な双予測結果を生成するために使用される。絶対差分和(SAD)がコスト指標として使用される。1つの周囲MVによって生成された予測ブロックのコストを計算する場合に、(整数ペルに)丸められたMVが、実際には、実際のMVの代わりに予測ブロックを取得するために使用される点に留意されたい。
DMVRのプロセスを更に簡単にするために、JVET-M0147は、JEMでの設計に対するいくつかの変更を提案した。より具体的には、VTM-4.0に対する採用されたDMVR(まもなくリリースされる)は、次の主な特徴を備えている:
○リスト0とリスト1との間の(0,0)位置SADでの早期終了
○DMVRのブロックサイズW×H>=64&&H>=8
○CUサイズ>16×16のDMVRについてCUを複数の16×16サブブロックに分割
○参照ブロックサイズ(W+7)×(H+7)(ルーマについて)
○25ポイントのSADベースの整数ペル探索(すなわち、(+-)2絞り探索範囲、単一ステージ)
○双線形補間に基づいたDMVR
○バイラテラルマッチングを可能にするための、リスト0とリスト1との間のMVDミラーリング
○“パラメトリック誤差表現方程式(Parametric error surface equation)”に基づいたサブペル精緻化
○(必要な場合に)参照ブロックパディングを備えたルーマ/クロマMC
○MC及びTMVPにのみ使用される精緻化されたMV
[2.3.6 複合イントラ-インター予測(CIIP)の例]
JVET-L0100では、多重仮説(multi-hypothesis)予測が提案されており、複合イントラ-インター予測(combined intra and inter prediction)は、多重仮説を生成するための1つの方法である。
多重仮説予測がイントラモードを改善するために適用される場合に、多重仮説予測は、1つのイントラ予測と1つのマージインデックス化予測とを組み合わせる。マージCUでは、1つのフラグが、フラグが真である場合にイントラ候補リストからイントラモードを選択するために、マージモードについてシグナリングされる。ルーマ成分については、イントラ候補リストは、DC、プレーナー、水平、及び垂直モードを含む4つのイントラ予測モードから導出され、イントラ候補リストのサイズは、ブロック形状に応じて3又は4であることができる。CU幅がCU高さの2倍よりも大きい場合に、水平モードはイントラモードリストから除かれ、CU高さがCU幅の2倍よりも大きい場合に、垂直モードはイントラリストモードから除かれる。イントラモードインデックスによって選択された1つのイントラ予測モード、及びマージインデックスによって選択された1つのマージインデックス化予測は、加重平均を用いて組み合わされる。クロマ成分については、余分のシグナリングによらずに、常にDMが適用される。予測を組み合わせるための重みは、次の通りに説明される。DC又はプレーナーモードが選択されるか、あるいは、CB幅又は高さが4よりも小さい場合に、等しい重みが適用される。CB幅及び高さが4以上であるようなCBについては、水平/垂直モードが選択される場合に、1つのCBが最初に、垂直方向/水平方向に、4つの等しい面積の領域に分けられる。iが1から4であり、(w_intra,w_inter)=(6,2)、(w_intra,w_inter)=(5,3)、(w_intra,w_inter)=(3,5)、及び(w_intra,w_inter)=(2,6)であるとして、(w_intra,w_inter)と表される各重みセットは、対応する領域に適用されることになる。(w_intra,w_inter)は、参照サンプルに最も近い領域用であり、(w_intra,w_inter)は、参照サンプルから最も遠い領域用である。次いで、組み合わされた予測は、2つの重み付けされた予測を合計し、3ビット右シフトすることによって、計算され得る。更に、予測子のイントラ仮説のためのイントラ予測モードは、次の隣接CUの参照のためにセーブされ得る。
[2.4 JVET-M0427でのインループ再成形(ILR)]
インループ再成形(in-loop reshaping,ILR)の基本的な考えは、元の(第1の領域の)信号(予測/再構成信号)を第2の領域(再成形された領域)に変換することである。
インループルーマリシェーパは、一対の参照テーブル(LUT)として実装されるが、2つのLUTのうちの一方しかシグナリングされる必要がなく、他方は、シグナリングされたLUTから計算可能である。各LUTは、1次元、10ビット、1024エントリのマッピングテーブル(1D-LUT)である。一方のLUTは、前方(forward)LUT(FwdLUT)であり、入力されたルーマコード値Yを変更後の値Y:Y=FwdLUT[Y]にマッピングする。他方のLUTは、後方(inverse)LTU(InvLUT)であり、変更後のコード値Y
(外5)
Figure 2022525226000011
にマッピングする(
(外6)
Figure 2022525226000012
は、Yの再構成値を表す。)。
[2.4.1 区分線形(PWL)モデル]
いくつかの実施形態において、区分線形(piece-wise linear,PWL)は、次のように実装される。
x1、x2を2つの入力ピボット点とし、y1、y2を1つの区分のそれらの対応する出力ピボット点とする。x1からx2の間にあるいずれかの入力値xに対する出力値yは、次の式によって補間され得る:

y=((y2-y1)/(x2-x1))×(x-x1)+y1
固定点実施では、式は:

y=((m×x+2FP_PREC-1)>>FP_PREC)+c

と書き直され得る。ここで、mはスカラーであり、cはオフセットであり、FP_PRECは、精度を指定する定数値である。
CE-12ソフトウェアでは、PWLモデルが、1024エントリFwdLUT及びInvLUTマッピングテーブルを再計算するために使用されるが、PWLモデルは、LUTを再計算せずにオン・ザ・フライで同じマッピング値を計算する実施も可能にすることに留意されたい。
[2.4.2 テストCE12-2]
[2.4.2.1 ルーマ再成形]
インループルーマ再成形のテスト2(すなわち、提案中のCE12-2)は、インタースライス再構成におけるブロックごとのイントラ予測の復号化レイテンシも取り除く、より複雑度の低いパイプラインを提供する。イントラ予測は、インター及びイントラスライスの両方について再成形領域で実行される。
イントラ予測は、スライスタイプにかかわらず、常に再成形領域で実行される。そのような配置によれば、イントラ予測は、前のUT再構成が行われた直後に開始することができる。そのような配置はまた、スライス依存である代わりに、イントラモードのための統合されたプロセスを提供することもできる。図23は、モードに基づいたCE12-2複合プロセスのブロック図を示す。
CE12-2はまた、CE12-1の32区分PWLモデルの代わりに、ルーマ及びクロマ残差スケーリングについて16区分の区分線形(PWL)モデルを試験する。
CE12-2におけるインループルーマリシェーパによるインタースライス再構成(薄緑色の陰付きブロックは、再成形領域での信号を示す:ルーマ残差、予測されたイントラルーマ、及び再構成されたイントラルーマ)。
[2.4.2.2 ルーマ依存クロマ残差スケーリング(LCRS)]
ルーマ依存クロマ残差スケーリング(luma-dependent chroma residue scaling,LCRS)は、固定点整数演算により実装される乗法プロセスである。クロマ残差スケーリングは、ルーマ信号とクロマ信号との相互作用を補償する。クロマ残差スケーリングは、TUレベルで適用される。より具体的には、次が適用される:
○イントラについては、再構成されたルーマが平均化される。
○インターについては、予測ルーマが平均化される。
平均は、PWLモデル内でインデックスを識別するために使用される。インデックスは、スケーリング係数cScaleInvを識別する。クロマ残差は、その数を乗じられる。
クロマスケーリング係数は、再構成されたルーマ値よりもむしろ、前方マッピングされた予測されたルーマ値から計算される。
[2.4.2.3 ILRサイド情報のシグナリング]
パラメータは、(現在のところ)タイルグループヘッダで送信される(ALFと同様)。それらは、伝えられるところによると、40~100ビットを要する。次の表は、JVET-L1001のバージョン9に基づく。追加されたシンタックスは、大きめの太字で示されている。削除は、太字の二重隅括弧[[削除された部分]]を用いて示されている。
Figure 2022525226000013
Figure 2022525226000014
Figure 2022525226000015
Figure 2022525226000016
Figure 2022525226000017
[2.4.2.4 ILRの利用]
エンコーダ側で、各ピクチャ(又はタイルグループ)は、最初に、再成形領域に変換される。そして、全てのコーディングプロセスは、再成形領域で実行される。イントラ予測については、隣接ブロックは再成形領域にある。インター予測については、参照ブロック(復号化ピクチャバッファから、元の領域から生成される)が、最初に、再成形領域に変換される。次いで、残差が生成され、ビットストリーム内にコーディングされる。
ピクチャ(又はタイルグループ)全体が符号化/復号化を終えた後、再成形領域内のサンプルは元の領域に変換され、次いで、デブロッキングフィルタ及び他のフィルタが適用される。
予測信号に対する順方向再成形は、次の場合に無効にされる:
○現在のブロックがイントラコーディングされている
○現在のブロックがCPR(current picture referencing)(イントラブロックコピー(IBC)の別名でも知られている)としてコーディングされている
○現在のブロックが、複合インター-イントラモード(CIIP)としてコーディングされており、順方向再成形が、イントラ予測ブロックに対して無効にされている。
[JVET-N0805]
タイルグループヘッダでILRサイド情報をシグナリングしないように、JVET-N0805では、それらをAPSでシグナリングすることが提案されている。それは、次の主な考えを含む:
- 任意に、SPSでLMCSパラメータを送る。
- ALF及びLMCSパラメータに対してAPSタイプを定義する。各APSは1つのタイプしか有さない。
- LMCSツールが有効にされる場合に、LMCS aps_idの有無を示すようTGHにフラグを有する。シグナリングされない場合には、SPSパラメータが使用される。
*ツールが有効にされる場合に参照される有効なものを常に有するためにセマンティック制約を追加する必要がある。
[2.5.2.5.1 JVET-M1001(VVCワーキングドラフト4)の上の提案された設計の実装]
Figure 2022525226000018
Figure 2022525226000019
Figure 2022525226000020
[2.4.2.6 JVET-N0138]
この寄与は、ALFパラメータに加えてリシェーパモデルパラメータの運搬のための適応パラメータセット(adaptation parameter set,APS)の拡張された利用を提案する。最後の会議で、ALFパラメータは、複数のタイルグループでのパラメータの不必要な冗長シグナリングを回避することによるコーディング効率改善のために、タイルグループヘッダの代わりにAPSによって運ばれることが、決定されている。同じ理由に基づいて、タイルグループヘッダの代わりに、APSによってリシェーパモデルパラメータを運ぶことが提案される。APS内のパラメータのタイプ(少なくともALS又はリシェーパモデルかどうか)を識別するために、APSタイプ情報が、APS IDとともにAPSシンタックスで必要とされる。
Figure 2022525226000021
[2.5 仮想パイプラインデータユニット(VPDU)]
仮想パイプラインデータユニット(virtual pipeline data unit,VPDU)は、ピクチャ内の重なり合わないM×M-ルーマ(L)/N×N-クロマ(C)ユニットとして定義される。ハードウェアデコーダで、連続したVPDUは、同時に複数のパイプライン段によって処理され、異なる段は異なるVPDUを同時に処理する。VPDUサイズは、ほとんどのパイプライン段でバッファサイズに大体比例するので、VPDUサイズを小さく保つことは、非常に重要であると言える。HEVCハードウェアデコーダで、VPDUサイズは最大変換ブロック(TB)サイズにセットされる。最大TBサイズを32×32-L/16×16-C(HEVCと同様)から64×64-L/32×32-C(現在のVVCと同様)に広げることは、HEVCと比較して予想通りに4倍のVPDUサイズ(64×64-L/32×32-C)をもたらすコーディング利得をもたらすことができる。しかし、四分木(QT)コーディングユニット(CU)パーティション化に加えて、三分木(TT)及び二分木(BT)が、更なるコーディング利得を達成するためにVVCでは採用され、TT及びBT分割は、再帰的に128×128-L/64×64-Cコーディングツリーブロック(CTU)に適用され得る。これは、HEVCと比較して16倍のVPDUサイズ(128×128-L/64×64-C)をもたらすと言われている。
VVCの現在の設計では、VPDUは、64×64-L/32×32-Cとして定義されている。
[2.6 適応パラメータセット]
適応パラメータセット(adaptation parameter set,APS)は、ALFパラメータを運ぶためにVVCで採用される。タイルグループヘッダは、ALFが有効にされる場合に条件付きで存在するaps_idを含む。APSは、aps_id及びALFパラメータを含む。新しいNUT(AVC及びHEVCで見られるようなNALユニットタイプ)値が(JVET-M0132から)APSに対して割り当てられる。VTM-4.0での一般的なテスト条件(表示される)については、aps_id=0を使用して、各ピクチャとともにAPSを送信することが提案されている。差し当たり、APS IDの範囲は、0から31となり、APSはピクチャにわたって共有可能である(ピクチャ内の異なるタイルグループでは異なってもよい)。ID値は、存在する場合に固定長符号化されるべきである。ID値は、同じピクチャ内の異なるコンテンツで再利用され得ない。
[2.7 関連ツール]
[2.7.1 拡散フィルタ(DF)]
JVET-L0157では、拡散フィルタ(diffusion filter)が提案されており、CUのイントラ/インター予測信号は、拡散フィルタによって更に変更されてもよい。
一様拡散フィルタ。一様拡散フィルタは、以下で定義されるように、hとして又はhIVとして与えられる固定マスクにより予測信号を畳み込むことによって実現される。予測信号自体に加えて、ブロックの左及び上にある再構成されたサンプルの1ラインが、フィルタ処理された信号のための入力として使用され、それらの再構成された信号の使用は、インターブロックでは回避され得る。
predを、イントラ又は動き補償された予測によって取得された所与のブロックでの予測信号とする。フィルタの境界値を扱うために、予測信号は、予測信号predextに拡張される必要がある。この拡張された予測は、2つの方法で形成可能である。
中間ステップとして、ブロックの左及び上にある再構成されたサンプルの1ラインが予測信号に加えられ、次いで、結果として得られた信号が全ての方向でミラーリングされる。あるいは、予測信号自体しか、全ての方向でミラーリングされない。後者の拡張は、インターブロックのために使用される。この場合に、予測信号自体しか、拡張された予測predextのための入力を有さない。
フィルタhが使用されるべきである場合には、上記の境界拡張を用いて、予測信号predをh×predで置換することが提案される。ここで、フィルタマスクhは、
Figure 2022525226000022
として与えられる。
フィルタhIVが使用されるべきである場合には、予測信号をhIV×predで置換することが提案される。ここで、フィルタhIVは、

IV=h×h×h×h

として与えられる。
指向性拡散フィルタ。信号適応拡散フィルタを使用する代わりに、指向性フィルタ、すなわち、水平フィルタhhor及び垂直フィルタhverが使用され、これらは依然として、固定マスクを有している。より厳密には、前のセクションのマスクhに対応する一様拡散フィルタリングが、単純に、垂直方向又は水平方向に沿ってしか適用されないよう制限される。垂直フィルタは、予測信号に固定フィルタマスクを適用することによって実現される:
Figure 2022525226000023
水平フィルタは、転置マスク

hor=h ver

を使用することによって実現される。
[2.7.2 バイラテラルフィルタ(BF)]
バイラテラルフィルタは、JVET-L0406で提案されており、それは常に、非ゼロ変換係数及び17よりも大きいスライス量子化パラメータを有するルーマブロックに適用される。従って、バイラテラルフィルタの利用をシグナリングする必要はない。バイラテラルフィルタは、適用される場合に、逆変換の直後に、復号されたサンプルに対して実行される。更には、フィルタパラメータ、すなわち、重みは、コーディングされた情報から明示的に導出される。
フィルタリングプロセスは:
Figure 2022525226000024
として定義される。ここで、P0,0は、現在のサンプルの強さであり、P’0,0は、現在のサンプルの変更後の強さであり、Pk,0及びWは、夫々、k番目の隣接サンプルについての強さ及び重みパラメータである。1つの現在サンプル及びその4つの隣接サンプル(すなわち、K=4)の例が図24に表されている。
より具体的には、k番目の隣接サンプルに関連した重みW(x)は、次のように定義される:
Figure 2022525226000025
ここで、
Figure 2022525226000026
ここで、σは、コーディングモード及びコーディングブロックサイズに依存する。記載されているフィルタリングプロセスは、並列処理を可能にするために、イントラコーディングされたブロックに、及びTUが更に分割される場合に、インターコーディングされたブロックに適用される。
ビデオ信号の統計特性をより良く捕らえ、フィルタの性能を改善するために、式(2)から得られた重み関数は、ブロックパーティション化(最小サイズ)のパラメータ及びコーディングモードに依存するように、表4で一覧にされているように、σパラメータによって調整されている。
Figure 2022525226000027
コーディング性能を更に改善するために、TUが分割されない場合のインターコーディングされたブロックについては、現在のサンプルとその隣接サンプルの1つとの間の強さの差は、現在のサンプル及び隣接するサンプルをカバーする2つのウィンドウ間の代表的な強さの差によって置換される。従って、フィルタリングプロセスの式は:
Figure 2022525226000028
に改められる。ここで、Pk,m及びP0,mは、夫々、Pk,0及びP0,0を中心とするウィンドウ内のm番目のサンプル値を表す。この提案では、ウィンドウサイズは3×3にセットされる。P2,0及びP0,0をカバーする2つのウィンドウの例は、図25に表されている。
[2.7.3 アダマール変換領域フィルタ(HF)]
JVET-K0068では、1次元アダマール変換領域でのインループフィルタが、再構成の後にCUレベルで適用され、乗算なしの実装を有している。提案されているフィルタは、予め定義された条件を満足する全てのCUブロックに適用され、フィルタパラメータは、コーディングされた情報から導出される。
提案されているフィルタリングは、4×4ブロックを除き、スライス量子化パラメータが17よりも大きい場合に、非ゼロ変換係数を有するルーマ再構成ブロックに常に適用される。フィルタパラメータは、コーディングされた情報から明示的に導出される。提案されているフィルタは、適用される場合に、逆変換の直後に、復号されたサンプルに対して実行される。
再構成されたブロックからの各ピクセルについて、ピクセル処理は次のステップを有する:
○スキャンパターンに従って現在のものを含む処理ピクセル周囲の4つの隣接ピクセルをスキャンする
○読み出されたピクセルの4ポイントアダマール変換
○次の式
Figure 2022525226000029
に基づくスペクトルフィルタリング
ここで、(i)は、アダマールスペクトルにおけるスペクトル成分のインデックスであり、R(i)は、インデックスに対応する再構成されたピクセルのスペクトル成分であり、σは、次の式:
Figure 2022525226000030
を用いてコーデック量子化パラメータQPから導出するフィルタリングパラメータである。
スキャンパターンの例は、図26に示されており、Aは、現在のピクセルであり、{B,C,D}は、現在のCU内にある。
[3.既存の実施の欠点]
既存のILR実施では、次の欠点が存在することがある。
1)タイルグループヘッダでのILRサイド情報のシグナリングは、必要とするビットが多すぎるということで、適切でない。更には、異なるピクチャ/タイルグループの間の予測は認められない。従って、タイルグループごとにILRのサイド情報が伝送される必要があり、このことは、特に低解像度の場合に、低ビットレートでコーディング損失を生じさせる可能性がある。
2)ILRとDMVR(又は他の新たに導入されたコーディングツール)との間の相互作用は不明である。例えば、ILRは、原信号を再成形領域に変換するようインター予測信号に適用され、復号された残差は再成形領域にある。一方で、DMVRも、1つのブロックの動きベクトルを精緻化するために予測信号に依存する。元の領域又は再成形領域でDMVRを適用すべきかどうかは不明である。
3)ILRとスクリーンコンテンツコーディングツール、例えば、パレット、B-DPCM、IBC、変換スキップ、変換量子化バイパス(transquant-bypass)、I-PCMモードとの間の相互作用は明確でない。
4)ルーマ依存クロマ残差スケーリングがILRで使用される。従って、ハードウェア設計にとって有益でない追加の遅延(ルーマとクロマとの間の依存性による)が導入される。
5)VPDUの目標は、他の64×64正方領域の処理を開始する前に、1つの64×64正方領域の処理の完了を保証することである。しかし、ILRの設計によれば、クロマがルーマの予測信号に依存するということで、VPDUの違反を引き起こす可能性があるILRの利用に対する制限はない。
6)1つのCUで全てのゼロ係数が発生した場合に、予測ブロック及び再構成ブロックは、依然として、順方向及び逆方向再成形プロセスを実行する。このことは、計算複雑性を浪費する。
7)JVET-N0138では、ILR情報をAPSでシグナリングすることが提案されている。いくつかの新しい問題がこの解決法によって引き起こされる可能性がある。例えば、2種類のAPSが設計されるが、ILRについてシグナリングされるadaptation_parameter_set_idは、ILR情報を含まないAPSを参照することがある。同様に、適応ループフィルタリング(ALF)についてシグナリングされるadaptation_parameter_set_idは、ALF情報を含まないAPSを参照することがある。
[4.ビデオコーディングのためのインループ再成形の例示的な方法]
目下開示されている技術の実施形態は、既存の実施の欠点を解消し、それによって、より高いコーディング効率をビデオコーディングにもたらす。開示されている技術に基づいたインループ再成形の方法は、既存のビデオコーディング規格及び将来のビデオコーディング規格の両方を強化することができ、様々な実施について記載されている以下の例で説明される。以下で提供される開示されている技術の例は、一般概念を説明しており、限定と解釈されるよう意図されない。例において、明示的に反対のことを示さない限りは、それらの例で記載されている様々な特徴は組み合わされてもよい。留意されるべきは、提案されている技術のいくつかは、既存の候補リスト構成プロセスに適用されてもよい点である。
本明細書中で、デコーダ側動きベクトル導出(DMVD)は、ブロック/サブブロック動き情報を導出又は精緻化するよう動き推定を実行するDMVR及びFRUC、並びにサンプルごとの動き精緻化を実行するBIOのような方法を含む。
1.DMVRのようなDMVD技術での動き情報精緻化プロセスは、再成形領域での情報に依存してよい。
a.一例で、元の領域で参照ピクチャから生成された予測ブロックは、動き情報精緻化に使用される前に、最初に、再成形領域に変換されてよい。
i.代替的に、更には、コスト計算(例えば、SAD、MR-SAD)/勾配計算が再成形領域で実行される。
ii.代替的に、更には、動き情報が精緻化された後、再成形プロセスは、精緻化された動き情報により生成された予測ブロックについて無効にされる。
b.代替的に、DMVRのようなDMVD技術での動き情報精緻化プロセスは、元の領域での情報に依存してもよい。
i.DMVDプロセスは、元の領域での予測ブロックにより呼び出されてよい。
ii.一例で、動き情報精緻化の後、精緻化された動き情報により取得された予測ブロック、又は最終的な予測ブロック(例えば、2つの予測ブロックの加重平均)が、最終的な再構成ブロックを生成するために再成形領域に更に変換されてよい。
iii.代替的に、更には、動き情報が精緻化された後、再成形プロセスは、精緻化された動き情報により生成された予測ブロックについて無効にされる。
2.現在のタイル/タイルグループ/ピクチャ内のサンプル及び局所照度補償(LIC)パラメータを導出するために利用された参照ピクチャから導出されたサンプルの領域(元の領域又は再成形領域のどちらか)をそろえることが提案される。
a.一例で、再成形領域が、LICパラメータを導出するために利用される。
i.代替的に、更には、サンプル(例えば、参照ピクチャ内の参照サンプル(補間の有無によらず)及び参照サンプルの隣接/非隣接サンプル(補間の有無によらない))は、LICパラメータを導出するために使用される前に、最初に、再成形領域に変換されてよい。
b.一例で、元の領域が、LICパラメータを導出するために利用される。
i.代替的に、更には、(例えば、現在のタイルグループ/ピクチャ/タイル内の)現在のブロックの空間的に隣接した/隣接していないサンプルは、LICパラメータを導出するために使用される前に、最初に、元の領域に変換されてよい。
c.LICパラメータが1つの領域で導出される場合に、予測ブロックの同じ領域が、LICパラメータをその予測ブロックに適用するときに使用されるべきである。
i.一例で、上記a.が呼び出される場合に、参照ブロックは再成形領域に変換されてよく、LICモデルは、再成形された参照ブロックに適用される。
ii.一例で、上記b.が呼び出される場合に、参照ブロックは元の領域のままであり、LICモデルは、元の領域での参照ブロックに適用される。
d.一例で、LICモデルは、再成形領域での予測ブロックに適用される(例えば、予測ブロックは、最初に、順方向再成形により再成形領域に変換される)。
e.一例で、LICモデルは、最初に、元の領域での予測ブロックに適用され、その後に、LICを適用された予測ブロックに依存した最終的な予測ブロックが、次いで、再成形領域に(例えば、順方向再成形により)変換され、再構成ブロックを導出するために利用されてよい。
f.上記の方法は、空間的に隣接した/隣接していないサンプル及び参照ピクチャ内の参照サンプルの両方に依存する他のコーディングツールに拡張されてもよい。
3.予測ブロックに適用されるフィルタ(例えば、拡散フィルタ(DF))については、フィルタは、元の領域での予測ブロックに適用される。
a.代替的に、更には、その後に、再構成ブロックを生成するために、フィルタ処理された予測信号に再成形が適用される。
b.インターコーディングのためのプロセスの例は、図27に表されている。
c.代替的に、フィルタは、再成形領域での予測信号に適用される。
i.代替的に、更には、再成形は、最初に予測ブロックに適用され、その後に、フィルタリング方法が、再構成ブロックを生成するために、再成形された予測ブロックに更に適用されてもよい。
ii.インターコーディングのためのプロセスの例は、図28に表されている。
d.フィルタパラメータは、ILRが有効にされるか否かに依存してもよい。
4.再構成ブロックに適用されるフィルタ(例えば、バイラテラルフィルタ(BF)、アダマール変換領域フィルタ(HF))については、フィルタは、再成形領域ではなく、元の領域での再構成ブロックに適用される。
a.代替的に、更には、再成形領域での再構成ブロックは、最初に元の領域に変換され、その後に、フィルタは、適用され、再構成ブロックを生成するために利用されてよい。
b.インターコーディングのためのプロセスの例は、図29に表されている。
c.代替的に、フィルタは、再成形領域での再構成ブロックに適用されてもよい。
i.代替的に、更には、逆方向再成形を適用する前に、フィルタが最初に適用されてもよい。その後に、フィルタ処理された再構成ブロックは、次いで、元の領域に変換されてよい。
ii.インターコーディングのためのプロセスの例は、図30に表されている。
d.フィルタパラメータは、ILRが有効にされるか否かに依存してもよい。
5.再成形領域で(例えば、イントラ/インター又は他の種類の予測方法後に)再構成ブロックに適用され得るフィルタリングプロセスを適用することが提案される。
a.一例で、デブロッキングフィルタ(DBF)プロセスが再成形領域で実行される。この場合に、逆方向再成形は、DBFの前に適用されない。
i.この場合に、DBFパラメータは、再成形が適用されるか否かに応じて異なってもよい。
ii.一例で、DBFプロセスは、再成形が有効にされるか否かに依存してもよい。
1.一例で、この方法は、DBFが元の領域で呼び出されるときに適用される。
2.代替的に、この方法は、DBFが再成形領域で呼び出されるときに適用される。
b.一例で、サンプル適応オフセット(SAO)フィルタリングプロセスが再成形領域で実行される。この場合に、逆方向再成形は、SAOの前に適用されない。
c.一例で、適応ループフィルタ(ALF)フィルタリングプロセスが再成形領域で実行される。この場合に、逆方向再成形は、ALFの前に適用されない。
d.代替的に、更には、逆方向再成形は、DBFの後にブロックに適用されてもよい。
e.代替的に、更には、逆方向再成形は、SAOの後にブロックに適用されてもよい。
f.代替的に、更には、逆方向再成形は、ALFの後にブロックに適用されてもよい。
g.上記のフィルタリング方法は、他の種類のフィルタリング方法で置換されてもよい。
6.タイルグループヘッダの代わりに新しいパラメータセット(例えば、ILR APS)でILRパラメータをシグナリングすることが提案される。
a.一例で、タイルグループヘッダはaps_idを含んでもよい。代替的に、更には、aps_idは、ILRが有効にされる場合に条件付きで存在する。
b.一例で、ILR APSは、aps_id及びILRパラメータを含む。
c.一例で、新しいNUT(AVC及びHEVCで見られるようなNALユニットタイプ)値が、ILR APSに割り当てられる。
d.一例で、ILR APS ID値の範囲は、0からM(例えば、M=2K-1)である。
e.一例で、ILR APSは、ピクチャにわたって共有されてもよい(ピクチャ内の異なるタイルグループで異なってもよい)。
f.一例で、ID値は、存在する場合に固定長符号化されてもよい。代替的に、それは、指数ゴロム(exponential-Golomb,EG)コーディング、トランケーテッドユーナリー又は他の二値化方法によりコーディングされてもよい。
g.一例で、ID値は、同じピクチャ内の異なるコンテンツにより再利用され得ない。
h.一例で、ILR APS及びALFパラメータのためのAPSは、同じNUTを共有してもよい。
i.代替的に、ILRパラメータは、ALFパラメータのための現在のAPSで運ばれてもよい。この場合に、ILR APSについて述べられている上記の方法は、現在のAPSで置換されてよい。
j.代替的に、ILRパラメータは、SPS/VPS/PPS/シーケンスヘッダ/ピクチャヘッダで運ばれてもよい。
k.一例で、ILRパラメータは、リシェーパモデル情報、ILR方法の利用、クロマ残差スケーリング係数を含んでよい。
l.代替的に、更には、ILRパラメータは、1つの例で(例えば、APSで)シグナリングされてもよく、かつ/あるいは、ILRの利用は、第2レベルで(例えば、タイルグループヘッダで)更にシグナリングされてもよい。
m.代替的に、更には、予測コーディングは、異なるAPSインデックスでILRパラメータをコーディングするよう適用されてもよい。
7.ルーマ依存クロマ残差スケーリング(LCRS)をクロマブロックに適用する代わりに、ルーマとクロマとの間の依存性を除くよう順方向/逆方向再成形プロセスをクロマブロックに適用することが提案される。
a.一例で、1つのM区分の区分線形(PWL)モデル及び/又は順方向/逆方向参照テーブルが、1つのクロマ成分に利用されてよい。代替的に、2つのPWLモデル及び/又は順方向/逆方向参照テーブルが、2つのクロマ成分をコーディングするために夫々利用されてもよい。
b.一例で、クロマのPWLモデル及び/又は順方向/逆方向参照は、ルーマのPWLモデル及び/又は順方向/逆方向参照テーブルから導出されてもよい。
i.一例で、クロマのPWLモデル/参照テーブルを更にシグナリングする必要はない。
c.一例で、クロマのPWLモデル/順方向/逆方向参照テーブルは、SPS/VPS/APS/PPS/シーケンスヘッダ/ピクチャヘッダ/タイルグループヘッダ/タイルヘッダ/CTU行/CTUのグループ/リージョンでシグナリングされてもよい。
8.一例で、1つのピクチャ/タイルグループのILRパラメータをシグナリングする方法は、前にコーディングされたピクチャ/タイルグループのILRパラメータに依存してもよい。
a.例えば、1つのピクチャ/タイルグループのILRパラメータは、1つ又は複数の前にコーディングされたピクチャ/タイルグループのILRパラメータによって予測されてもよい。
9.特定のブロック寸法/時間レイヤ/タイルグループタイプ/ピクチャタイプ/コーディングモード/動き情報の特定のタイプについてルーマ依存クロマ残差スケーリング(LCRS)を無効にすることが提案される。
a.一例で、順方向/逆方向再成形プロセスがルーマブロックに適用される場合でさえ、LCRSは、対応するクロマブロックに適用されなくてもよい。
b.代替的に、順方向/逆方向再成形プロセスがルーマブロックに適用されない場合でさえ、LCRSは、対応するクロマブロックに依然として適用されてもよい。
c.一例で、LCRSは、交差成分線形モデル(cross-component linear model,CCLM)モードが適用される場合に使用されない。CCLMモードはLM、LM-A及びLM-Lを含む。
d.一例で、LCRSは、交差成分線形モデル(CCLM)モードが適用されない場合に使用されない。CCLMモードはLM、LM-A及びLM-Lを含む。
e.一例で、コーディングされたルーマブロックが1つのVPDU(例えば、64×64)を超える場合。
i.一例で、ルーマブロックサイズがM×Hよりも小さいサンプル、例えば、16又は32又は64ルーマサンプルを含む場合に、LCRSは許されない。
ii.代替的に、ルーマブロックの幅及び/又は高さの最小サイズがXよりも小さいか又は大きくない場合に、LCRSは許されない。一例で、Xは8にセットされる。
iii.代替的に、ルーマブロックの幅及び/又は高さの最小サイズがX以上である場合に、LCRSは許されない。一例で、Xは8にセットされる。
iv.代替的に、ルーマブロックの幅>th1又は>=th1かつ/あるいはルーマブロックの高さ>th2又は>=2である場合に、LCRSは許されない。一例で、th1及び/又はth2は8にセットされる。
1.一例で、th1及び/又はth2は128にセットされる。
2.一例で、th1及び/又はth2は64にセットされる。
v.代替的に、ルーマブロックの幅<th1又は<=th1かつ/あるいはルーマブロックの高さth2<又は<=th2である場合に、LCRSは許されない。一例で、th1及び/又はth2は8にセットされる。
10.ILR(順方向再成形プロセス及び/又は逆方向再成形プロセス)を無効にすべきかどうかは、係数に依存してもよい。
a.一例で、1つのブロックが全ゼロ係数でコーディングされる場合に、予測ブロックに適用される順方向再成形のプロセスはスキップされる。
b.一例で、1つのブロックが全ゼロ係数でコーディングされる場合に、再構成ブロックに適用される逆方向再成形のプロセスはスキップされる。
c.一例で、1つのブロックが、特定の位置にあるただ1つの非ゼロ係数(例えば、1つのブロックの左上位置にあるDC係数、1つのブロック内の左上コーディンググループにある係数)でコーディングされる場合に、予測ブロックに適用される順方向再成形及び/又は再構成ブロックに適用される逆方向再成形のプロセスはスキップされる。
d.一例で、1つのブロックがたったM(例えば、M=1)個の非ゼロ係数でコーディングされる場合に、予測ブロックに適用される順方向再成形及び/又は再構成ブロックに適用される逆方向再成形のプロセスはスキップされる。
11.コーディングされたブロックが1つのVPDUを超える場合に仮想パイプラインデータユニット(VPDU)にILR適用リージョンを分けることが提案される。各適用リージョン(例えば、64×64の最大サイズを有する)は、ILR操作のための個別的CUと見なされる。
a.一例で、ブロックの幅>th1又は>=th1かつ/あるいはブロックの高さ>th2又は>=th2である場合に、それは、幅<th1又は<=th1かつ/あるいは高さ<th2又は<=th2を有するサブブロックに分けられてよく、ILRは、サブブロックごとに実行され得る。
i.一例で、サブブロックは、同じ幅及び/又は高さを有してもよい。
ii.一例で、右境界及び/又は下境界にあるものを除いたサブブロックは、同じ幅及び/又は高さを有してもよい。
iii.一例で、左境界及び/又は上境界にあるものを除いたサブブロックは、同じ幅及び/又は高さを有してもよい。
b.一例で、ブロックのサイズ(すなわち、幅×高さ)>th3又は>=th3である場合に、それは、サイズ<th3又は<=th3を有するサブブロックに分けられてよく、ILRは、サブブロックごとに実行され得る。
i.一例で、サブブロックは、同じサイズを有してもよい。
ii.一例で、右境界及び/又は下境界にあるものを除いたサブブロックは、同じサイズを有してもよい。
iii.一例で、左境界及び/又は上境界にあるものを除いたサブブロックは、同じサイズを有してもよい。
c.代替的に、ILRの利用は、特定のブロック寸法にのみ制限される。
i.一例で、コーディングされたブロックが1つのVPDU(例えば、64×64)を超える場合に、ILRは許されない。
ii.一例で、ブロックサイズがM×Hよりも小さいサンプル、例えば、16又は32又は64ルーマサンプルを含む場合に、ILRは許されない。
iii.代替的に、ブロックの幅及び/又は高さの最小サイズがXよりも小さいか又は大きくない場合に、ILRは許されない。一例で、Xは8にセットされる。
iv.代替的に、ブロックの幅及び/又は高さの最小サイズがX以上である場合に、ILRは許されない。一例で、Xは8にセットされる。
v.代替的に、ブロックの幅>th1又は>=th1かつ/あるいはブロックの高さ>th2又は>=th2である場合に、ILRは許されない。一例で、th1及び/又はth2は8にセットされる。
1.一例で、th1及び/又はth2は128にセットされる。
2.一例で、th1及び/又はth2は64にセットされる。
vi.代替的に、ブロックの幅<th1又は<=th1かつ/あるいはブロックの高さth2<又は<=th2である場合に、ILRは許されない。一例で、th1及び/又はth2は8にセットされる。
12.上記の方法(例えば、ILRを無効にすべきかどうか及び/又はLCRSを無効にすべきかどうか及び/又はクロマコーディングのためにPWL/参照テーブルをシグナリングすべきかどうか)は、4:4:4/4:2:0などの色フォーマットに依存してもよい。
13.ILRを有効にする指示(例えば、tile_group_reshaper_enable_flag)は、提示されているリシェーパモデルの指示(例えば、tile_group_reshaper_model_present_flag)の条件下でコーディングされてもよい。
a.代替的に、tile_group_reshaper_model_present_flagが、tile_group_reshaper_enable_flagの条件下でコーディングされてもよい。
b.代替的に、tile_group_reshaper_model_present_flag及びtile_group_reshaper_enable_flagを含む2つのシンタックス要素のうちの一方しかコーディングされなくてもよい。他方のシンタックス要素の値は、シグナリングされ得る一方に等しくセットされる。
14.異なるクリッピング方法が、予測信号及び再構成プロセスに適用されてもよい。
a.一例で、適応的にクリッピングする方法が適用されてもよく、クリップされるべき最大値及び最小値は、再成形領域で定義され得る。
b.一例で、適応的にクリッピングする方法は、再成形領域での予測信号に適用されてもよい。
c.代替的に、更には、固定クリッピング(例えば、ビットデプスに従う)が、再構成ブロックに適用されてもよい。
15.フィルタパラメータ(例えば、DF、BF、HFで使用されるもの)は、ILRが有効にされるか否かに依存してもよい。
16.パレットモードでコーディングされたブロックについては、ILRは、無効にされるか、又は異なるように適用される、ことが提案される。
a.一例で、ブロックがパレットモードでコーディングされている場合に、再成形及び逆方向再成形はスキップされる。
b.代替的に、ブロックがパレットモードでコーディングされている場合に、異なる再成形及び逆方向再成形が適用されてもよい。
17.代替的に、ILRが適用される場合に、パレットモードは異なるようにコーディングされてもよい。
a.一例で、ILRが適用される場合に、パレットモードは元の領域でコーディングされてもよい。
b.代替的に、ILRが適用される場合に、パレットモードは再成形領域でコーディングされてもよい。
c.一例で、ILRが適用される場合に、パレット予測子が元の領域でシグナリングされてもよい。
d.代替的に、パレット予測子は、再成形領域でシグナリングされてもよい。
18.IBCモードでコーディングされたブロックについては、ILRは、無効にされるか、又は異なるように適用される、ことが提案される。
a.一例で、ブロックがIBCモードでコーディングされている場合に、再成形及び逆方向再成形はスキップされる。
b.代替的に、ブロックがIBCモードでコーディングされている場合に、異なる再成形及び逆方向再成形が適用されてもよい。
19.代替的に、ILRが適用される場合に、IBCは異なるようにコーディングされてもよい。
a.一例で、ILRが適用される場合に、IBCモードは元の領域で実行されてもよい。
b.代替的に、ILRが適用される場合に、IBCモードは再成形領域で実行されてもよい。
20.B-DPCMモードでコーディングされたブロックについては、ILRは、無効にされるか、又は異なるように適用される、ことが提案される。
a.一例で、ブロックがB-DPCMモードでコーディングされている場合に、再成形及び逆方向再成形はスキップされる。
b.代替的に、ブロックがB-DPCMモードでコーディングされている場合に、異なる再成形及び逆方向再成形が適用される。
21.代替的に、ILRが適用される場合に、B-DPCMモードは異なるようにコーディングされてもよい。
a.一例で、ILRが適用される場合に、B-DPCMは元の領域で実行されてもよい。
b.代替的に、ILRが適用される場合に、B-DPCMは再成形領域で実行されてもよい。
22.変換スキップモードでコーディングされたブロックについては、ILRは、無効にされるか、又は異なるように適用される、ことが提案される。
a.一例で、ブロックが変換スキップモードでコーディングされている場合に、再成形及び逆方向再成形はスキップされる。
b.代替的に、ブロックが変換スキップモードでコーディングされている場合に、異なる再成形及び逆方向再成形が適用されてもよい。
23.代替的に、ILRが適用される場合に、変換スキップモードは異なるようにコーディングされてもよい。
a.一例で、ILRが適用される場合に、変換スキップは元の領域で実行されてもよい。
b.代替的に、ILRが適用される場合に、変換スキップは再成形領域で実行されてもよい。
24.I-PCMモードでコーディングされたブロックについては、ILRは、無効にされるか、又は異なるように適用される、ことが提案される。
a.一例で、ブロックがパレットモードでコーディングされている場合に、再成形及び逆方向再成形はスキップされる。
b.代替的に、ブロックがパレットモードでコーディングされている場合に、異なる再成形及び逆方向再成形が適用されてもよい。
25.代替的に、ILRが適用される場合に、I-PCMモードは異なるようにコーディングされてもよい。
a.一例で、ILRが適用される場合に、I-PCMモードは元の領域でコーディングされてもよい。
b.代替的に、ILRが適用される場合に、I-PCMモードは再成形領域でコーディングされてもよい。
26.変換量子化バイパスモードでコーディングされたブロックについては、ILRは、無効にされるか、又は異なるように適用される、ことが提案される。
a.一例で、ブロックが変換量子化バイパスモードでコーディングされている場合に、再成形及び逆方向再成形はスキップされる。
27.代替的に、ブロックが変換量子化バイパスモードでコーディングされている場合に、異なる再成形及び逆方向再成形が適用される。
28.上記の箇条書きについて、ILRが無効にされる場合に、順方向再成形及び/又は逆方向再成形プロセスはスキップされてもよい。
a.代替的に、予測及び/又は再構成及び/又は残差信号は元の領域にある。
b.代替的に、予測及び/又は再構成及び/又は残差信号は再成形領域にある。
29.多数の再成形/逆再成形機能(例えば、多重PWLモデル)が、1つのピクチャ/1つのタイルグループ/1つのVPDU/1つのリージョン/1つのCTU行/多数のCUをコーディングするために可能にされてもよい。
a.多数の機能から選択する方法は、ブロック寸法/コーディングモード/ピクチャタイプ/低遅延検査フラグ/動き情報/参照ピクチャ/ビデオコンテンツ、などに依存してもよい。
b.一例で、複数組のILRサイド情報(例えば、再成形/逆方向再成形機能)は、SPS/VPS/PPS/シーケンスヘッダ/ピクチャヘッダ/タイルグループヘッダ/タイルヘッダ/リージョン/VPDU/などごとにシグナリングされてもよい。
i.代替的に、更には、ILRサイド情報の予測コーディングが利用されてもよい。
c.一例で、1つよりも多いaps_idが、PPS/ピクチャヘッダ/タイルグループヘッダ/タイルヘッダ/リージョン/VPDU/などでシグナリングされてもよい。
30.一例で、再成形情報は、VPS、SPS、PPS、又はAPS以外の新しいシンタックスセットでシグナリングされる。例えば、再成形情報は、inloop_reshapingu_parameter_set()(IRPS又はその他名称)と表される組でシグナリングされる。
a.例となるシンタックス設計は、以下の通りである。
Figure 2022525226000031
b.例となるシンタックス設計は、以下の通りである。
Figure 2022525226000032
31.一例で、IRL情報は、APSでALF情報とともにシグナリングされる。
a.例となるシンタックス設計は、以下の通りである。
Figure 2022525226000033
b.一例で、1つのtile_group_aps_idは、タイルグループが参照するAPSのadaptation_paramter_set_idを示すようタイルグループヘッダでシグナリングされる。現在のタイルグループについてのALF情報及びILR情報は両方とも、指定されたAPSでシグナリングされる。
i.例となるシンタックス設計は、以下の通りである。
Figure 2022525226000034
32.一例で、ILR情報及びALF情報は、異なるAPSでシグナリングされる。
a.第1のID(tile_group_aps_id_alfと呼ばれてもよい)は、タイルグループが参照する第1APSの第1のadaptation_paramter_set_idを示すようタイルグループヘッダでシグナリングされる。現在のタイルグループについてのALF情報は、指定された第1APSでシグナリングされる。
b.第2のID(tile_group_aps_id_irpsと呼ばれてもよい)は、タイルグループが参照する第2APSの第2のadaptation_paramter_set_idを示すようタイルグループヘッダでシグナリングされる。現在のタイルグループについてのILR情報は、指定された第2APSでシグナリングされる。
c.一例で、第1APSは、コンフォーマンスビットストリーム(conformance bitstream)でALF情報を有するべきである。
d.一例で、第2APSは、コンフォーマンスビットストリームでILR情報を有するべきである。
e.例となるシンタックス設計は、以下の通りである。
Figure 2022525226000035
33.一例で、adaptation_paramter_set_idを指定されているいくつかのAPSは、ALF情報を有するべきである。他の例として、adaptation_paramter_set_idを指定されているいくつかのAPSは、ILR情報を有するべきである。
a.例えば、2Nに等しいadaptation_paramter_set_idを有するAPSは、ALF情報を有するべきである。Nは任意の整数である。
b.例えば、2N+1に等しいadaptation_paramter_set_idを有するAPSは、ILR情報を有するべきである。Nは任意の整数である。
c.例となるシンタックス設計は、以下の通りである。
Figure 2022525226000036
i.例えば、2×tile_group_aps_id_alfは、タイルグループが参照する第1APSの第1のadaptation_paramter_set_idを示す。現在のタイルグループについてのALF情報は、指定された第1APSでシグナリングされる。
ii.例えば、2×tile_group_aps_id_irps+1は、タイルグループが参照する第2APSの第2のadaptation_paramter_set_idを示す。現在のタイルグループについてのILR情報は、指定された第2APSでシグナリングされる。
34.一例で、タイルグループは、現在のタイルグループの前にシグナリングされる、指定されたタイプのネットワーク抽象レイヤ(NAL)ユニットの前にシグナリングされたAPS(又はIRPS)を参照することができない。
a.一例で、タイルグループは、現在のタイルグループの前にシグナリングされる、指定されたタイプのタイルグループの前にシグナリングされたAPS(又はIRPS)を参照することができない。
b.例えば、タイルグループは、現在のタイルグループの前にシグナリングされる、SPSの前にシグナリングされたAPS(又はIRPS)を参照することができない。
c.例えば、タイルグループは、現在のタイルグループの前にシグナリングされる、PPSの前にシグナリングされたAPS(又はIRPS)を参照することができない。
d.例えば、タイルグループは、現在のタイルグループの前にシグナリングされる、アクセスユニットデリミタ(access unit delimiter,AUD)NALの前にシグナリングされたAPS(又はIRPS)を参照することができない。
e.例えば、タイルグループは、現在のタイルグループの前にシグナリングされる、エンド・オブ・ビットストリーム(end of bitstream,EoB)NALの前にシグナリングされたAPS(又はIRPS)を参照することができない。
f.例えば、タイルグループは、現在のタイルグループの前にシグナリングされる、エンド・オブ・シーケンス(end of sequence,EoS)NALの前にシグナリングされたAPS(又はIRPS)を参照することができない。
g.例えば、タイルグループは、現在のタイルグループの前にシグナリングされる、即時復号化リフレッシュ(instantaneous decoding refresh,IDR)NALの前にシグナリングされたAPS(又はIRPS)を参照することができない。
h.例えば、タイルグループは、現在のタイルグループの前にシグナリングされる、クリーンランダムアクセス(clean random access,CRA)NALの前にシグナリングされたAPS(又はIRPS)を参照することができない。
i.例えば、タイルグループは、現在のタイルグループの前にシグナリングされる、イントラランダムアクセスポイント(intra random access point,IRAP)の前にシグナリングされたAPS(又はIRPS)を参照することができない。
j.例えば、タイルグループは、現在のタイルグループの前にシグナリングされる、Iタイルグループ(又はピクチャ、又はスライス)の前にシグナリングされたAPS(又はIRPS)を参照することができない。
k.IDF-P1903237401H及びIDF-P1903234501Hで開示されている方法も、ILR情報がAPS又はIRPSで運ばれる場合に適用可能である。
35.コンフォーマンスビットストリームは、インループ再成形方法が1つのビデオデータユニット(例えば、シーケンスなど)について有効にされる場合に、デフォルトモデルなどのデフォルトのILRパラメータが定義されるべきであることを満足すべきである。
a.sps_lmcs_default_model_present_flagは、sps_lmcs_enabled_flagが1にセットされる場合に1にセットされるべきである。
b.デフォルトパラメータは、デフォルトモデル存在フラグ(例えば、sps_lmcs_default_model_present_flag)の代わりに、ILR有効化フラグの条件下でシグナリングされてもよい。
c.各タイルグループについて、デフォルトモデル利用フラグ(例えば、tile_group_lmcs_use_default_model_flag)は、SPSデフォルトモデル利用フラグを参照せずにシグナリングされてもよい。
d.コンフォーマンスビットストリームは、ILRの対応するAPSタイプにILR情報がなく、1つのビデオデータユニット(例えば、タイルグループ)がILR技術を使用するよう強いられる場合に、デフォルトモデルが利用されるべきであることを満足すべきである。
e.代替的に、コンフォーマンスビットストリームは、ILRの対応するAPSタイプにILR情報がなく、1つのビデオデータユニット(例えば、タイルグループ)がILR技術を使用するよう強いられる(例えば、tile_group_lmcs_enable_flagが1に等しい)場合に、デフォルトモデルを使用する指示は真であるべきであり、例えば、tile_group_lmcs_use_default_model_flagは1であるべきである。
f.デフォルトのILRパラメータ(例えば、デフォルトモデル)がビデオデータユニット(例えば、SPS)で送信されるべきであることが、制約される。
i.代替的に、更には、デフォルトのILRパラメータは、ILRの利用を示すSPSフラグが真である場合に送信されるべきである。
g.ビデオデータユニット(例えば、SPS)で送信される少なくとも1つのILR APSが存在することが、制約される。
i.一例で、少なくとも1つのILR APSは、デフォルトのILRパラメータ(例えば、デフォルトモデル)を含む。
36.デフォルトのILRパラメータは、1つのフラグによって示され得る。このフラグが、デフォルトのILRパラメータが利用されることを伝える場合に、ILRデータを更に送信する必要はない。
37.デフォルトのILRパラメータは、それがシグナリングされない場合に予め定義されてもよい。例えば、デフォルトのILRパラメータは、識別マッピングに対応してもよい。
38.時間レイヤ情報は、例えば、ILR APSで、ILRパラメータとともにシグナリングされてもよい。
a.一例で、時間レイヤインデックスがlmcs_data()でシグナリングされてもよい。
b.一例で、時間レイヤインデックス-1がlmcs_data()でシグナリングされてもよい。
c.代替的に、更には、1つのタイルグループ/タイルを符号化/復号化する場合に、より小さい又は等しい時間レイヤインデックスに関連付けられているILR APSを参照することは制限される。
d.代替的に、1つのタイルグループ/タイルを符号化/復号化する場合に、より小さい時間レイヤインデックスに関連付けられているILR APSを参照することは制限される。
e.代替的に、1つのタイルグループ/タイルを符号化/復号化する場合に、より大きい時間レイヤインデックスに関連付けられているILR APSを参照することは制限される。
f.代替的に、1つのタイルグループ/タイルを符号化/復号化する場合に、より大きい又は等しい時間レイヤインデックスに関連付けられているILR APSを参照することは制限される。
g.代替的に、1つのタイルグループ/タイルを符号化/復号化する場合に、等しい時間レイヤインデックスに関連付けられているILR APSを参照することは制限される。
h.一例で、上記の制限が適用されるかどうかは、デコーダへシグナリングされるか又はデコーダによって推測され得る1つの情報に依存してもよい。
39.時間レイヤ情報は、例えば、ALF APSで、ALF情報とともにシグナリングされてもよい。
a.一例で、時間レイヤインデックスがalf_data()でシグナリングされてもよい。
b.一例で、時間レイヤインデックス-1がalf_data()でシグナリングされてもよい。
c.代替的に、更には、1つのタイルグループ/タイル又は1つのタイルグループ/タイル内の1つのCTUを符号化/復号化する場合に、より小さい又は等しい時間レイヤインデックスに関連付けられているALF APSを参照することは制限される。
d.代替的に、1つのタイルグループ/タイルを符号化/復号化する場合に、より小さい時間レイヤインデックスに関連付けられているALF APSを参照することは制限される。
e.代替的に、1つのタイルグループ/タイルを符号化/復号化する場合に、より大きい時間レイヤインデックスに関連付けられているALF APSを参照することは制限される。
f.代替的に、1つのタイルグループ/タイルを符号化/復号化する場合に、より大きい又は等しい時間レイヤインデックスに関連付けられているALF APSを参照することは制限される。
g.代替的に、1つのタイルグループ/タイルを符号化/復号化する場合に、等しい時間レイヤインデックスに関連付けられているALF APSを参照することは制限される。
h.一例で、上記の制限が適用されるかどうかは、デコーダへシグナリングされるか又はデコーダによって推測され得る1つの情報に依存してもよい。
40.一例で、原サンプルと再成形されたサンプルとの間の再成形マッピングは、肯定的関係でなくもてよく、すなわち、1つの、より大きい値は、より小さい値にマッピングされることを許されない。
a.例えば、原サンプルと再成形サンプルとの間の再成形マッピングは、否定的関係であってもよく、2つの値の場合に、元の領域内のより大きい値は、再成形領域内のより小さい値にマッピングされ得る。
41.コンフォーマンスビットストリームにおいて、シンタックス要素aps_params_typeは、0及び1などの、いくつかの予め定義された値であることしか許されない。
a.他の例では、0及び7であることしか許されない。
42.一例で、デフォルトのILR情報は、ILRが適用される(例えば、sps_lmcs_enabled_flagが真である)場合にシグナリングされるべきである。
上記の例は、ビデオデコーダ又はビデオエンコーダで実装され得る、後述される方法、例えば、方法3100との関連で、組み込まれてもよい。
図31Aは、ビデオ処理のための方法の例のフローチャートを示す。方法3110は、動作3112で、1つ以上のビデオデータユニットを含むビデオと、そのビデオのビットストリーム表現との間の変換を実行することを含む。
いくつかの実施形態で、ビットストリーム表現は、コーディングモードが有効にされる1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードのデフォルトのパラメータを示すサイド情報の包含を指定するフォーマット規則に従い、サイド情報は、元の領域及び再成形された領域でのビデオブロックの表現及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づきビデオブロックを構成するためのパラメータを提供する。
他の実施形態では、ビットストリーム表現は、コーディングモードが有効にされる1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードのデフォルトのパラメータを示すサイド情報の包含を指定するフォーマット規則に従い、デフォルトのパラメータは、ビットストリーム表現において明示的にシグナリングされるパラメータがない場合にコーディングモードのために使用され、コーディングモードは、元の領域及び再成形された領域でのビデオブロックの表現及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づきビデオブロックを構成することを有する。
図31Bは、ビデオ処理のための方法の例のフローチャートを示す。方法3120は、動作3122で、1つ以上のビデオデータユニットを含むビデオと、そのビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードのデフォルトのコーディングモードについてのパラメータとを通知するシンタックス要素を含むビットストリーム表現を構成することを含む。方法3120は、動作3124で、構成することに基づいて、変換を実行することを更に含む。
図31Cは、ビデオ処理のための方法の例のフローチャートを示す。方法3130は、動作3132で、1つ以上のビデオデータユニットを含むビデオと、そのビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードについてのパラメータとを通知するシンタックス要素を含むビットストリーム表現をパースすることを含む。方法3130は、動作3134で、パースすることに基づいて、変換を実行することを更に含む。
いくつかの実施形態で、コーディングモードは、元の領域及び再成形された領域及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づきビデオブロックを構成することを有する。
他の実施形態では、コーディングモードは、適応ループフィルタ(ALF)係数を使用するフィルタリングプロセスに基づきビデオの現在のブロックを構成することを有する。
図31Dは、ビデオ処理のための方法の例のフローチャートを示す。方法3140は、動作3142で、ビデオの第1ビデオデータユニットとビデオのビットストリーム表現との間の変換を実行することを含む。
いくつかの実施形態で、コーディングモードが、第1ビデオデータユニットのビデオブロックに適用可能であり、コーディングモードは、コーディングモードに関連したサイド情報に基づいて、元の領域及び再成形された領域及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づきビデオブロックを構成することを有し、サイド情報は、時間レイヤインデックスに基づく規則に従って決定される。
他の実施形態では、コーディングモードが、第1ビデオデータユニットのビデオブロックに適用可能であり、コーディングモードは、コーディングモードに関連したサイド情報に基づいて、適応ループフィルタ(ALF)係数を使用するフィルタリングプロセスに基づきビデオの現在のブロックを構成することを有し、サイド情報は、時間レイヤインデックスに基づく規則に従って決定される。
[5.開示されている技術の実施例]
いくつかの実施形態において、tile_group_reshaper_enable_flagは、tile_group_reshaper_model_present_flagが有効にされる場合に条件付きで存在する。
Figure 2022525226000037
Figure 2022525226000038
JVET-N0805上の実施形態#2
Figure 2022525226000039
Figure 2022525226000040
Figure 2022525226000041
クロマスケーリングを伴ったルーママッピング(LMCS)のデータシンタックス
Figure 2022525226000042
図32は、ビデオ処理装置3200のブロック図である。装置3200は、本明細書で説明されている方法の1つ以上を実装するために使用されてよい。装置3200は、スマートフォン、タブレット、コンピュータ、インターネット・オブ・シングス(Internet of Things,IoT)受信器、などで具現されてよい。装置3200は、1つ以上のプロセッサ3202、1つ以上のメモリ3204、及びビデオ処理ハードウェア3206を含んでよい。プロセッサ3202は、本明細書で説明されている1つ以上の方法(方法3100を含むが、これらに限定されない)を実装するよう構成されてよい。メモリ(複数のメモリ)3204は、本明細書で説明されている方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用されてよい。ビデオ処理ハードウェア3206は、ハードウェア回路で、本明細書で説明されているいくつかの技術を実装するために使用されてよい。
いくつかの実施形態で、ビデオコーディング方法は、図32に関して説明されているハードウェアプラットフォームで実装される装置を用いて実装されてもよい。
図33は、本明細書で説明されている様々な技術が実装され得る、例となるビデオ処理システム3300を示すブロック図である。様々な実施は、システム3300のコンポーネントのいくつか又は全てを含んでよい。システム3300は、ビデオコンテンツを受け取る入力部3302を含んでよい。ビデオコンテンツは、生の又は圧縮されていないフォーマット、例えば、8又は10ビットマルチコンポーネントピクセル値で、受け取られてよく、あるいは、圧縮又は符号化されたフォーマットであってもよい。入力部3302は、ネットワーク・インターフェース、ペリフェラル・バス・インターフェース、又はストレージ・インターフェースに相当してよい。ネットワーク・インターフェースの例には、Ethernet(登録商標)、受動光学ネットワーク(Passive Optical Network,PON)、などのような優先インターフェース、及びWi-Fi又はセルラーインターフェースのような無線インターフェースがある。
システム3300は、本明細書で説明されている様々なコーディング又は符号化方法を実装し得るコーディングコンポーネント3304を含んでよい。コーディングコンポーネント3304は、ビデオのコーディングされた表現を生成するよう入力部3302からコーディングコンポーネント3304の出力部までのビデオの平均ビットレートを低減してよい。コーディング技術は、従って、時々、ビデオ圧縮又はビデオトランスコーディング技術と呼ばれる。コーディングコンポーネント3304の出力は、コンポーネント3306によって表されているように、記憶されるか、あるいは、通信接続を介して伝送されるかのどちらかであってよい。入力部3302で受け取られたビデオの記憶又は通信されたビットストリーム(又はコーディングされた)表現は、表示インターフェース3310へ送られるピクセル値又は表示可能なビデオを生成するためにコンポーネント3308によって使用されてよい。ビットストリーム表現から、ユーザが見ることができるビデオを生成するプロセスは、時々、ビデオ圧縮解除と呼ばれる。更に、特定のビデオ処理動作は「コーディング」動作又はツールと呼ばれるが、コーディングツール又は動作はエンコーダで使用され、コーディングの結果を判定させる対応する復号化ツール又は動作は、デコーダで実行されることになる。
ペリフェラル・バス・インターフェース又は表示インターフェースの例には、ユニバーサル・シリアル・バス(Universal Serial Bus,USB)又は高精細マルチメディアインターフェース(High Definition Multimedia Interface,HDMI(登録商標))などが含まれ得る。ストレージ・インターフェースの例には、SATA(Serial Advanced Technology Attachment)、PCI、IDEインターフェース、などがある。本明細書で説明されている技術は、携帯電話機、ラップトップ、スマートフォン、あるいは、デジタルデータ処理及び/又はビデオ表示を実行することが可能な他のデバイスのような様々な電子機器で具現されてよい。
いくつかの実施形態で、次の技術的解決法が実装されてもよい。
A1.ビデオ処理の方法であって、
1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換を実行するステップを含み、
前記ビットストリーム表現は、コーディングモードが有効にされる前記1つ以上のビデオデータユニットのビデオブロックに適用可能である前記コーディングモードのデフォルトのパラメータを示すサイド情報の包含を指定するフォーマット規則に従い、前記サイド情報は、元の領域及び再成形された領域での前記ビデオブロックの表現及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づき前記ビデオブロックを構成するためのパラメータを提供する、
方法。
A2.解決法A1に記載の方法であって、
前記ビットストリーム表現は、該ビットストリーム表現が、1にセットされているクロマ残差のルーマ依存スケーリングの指示(sps_lmcs_enabled_flag)を含む、との決定があるとき、1にセットされているデフォルトモデルの使用の指示(sps_lmcs_default_model_present_flag)を含む、
方法。
A3.解決法A1に記載の方法であって、
前記ビットストリーム表現における適応パラメータセット(APS)は、前記コーディングモードに関連したパラメータを除外し、前記コーディングモードは、前記デフォルトのパラメータを用いて前記ビデオブロックのデータに適用される、
方法。
A4.解決法A3に記載の方法であって、
前記1つ以上のビデオデータユニットは、タイルグループを有し、前記ビットストリーム表現は、1にセットされている前記タイルグループのためのデフォルトモデルの使用の指示(tile_group_lmcs_use_default_model_flag)を更に含む、
方法。
A5.解決法A1に記載の方法であって、
前記ビットストリーム表現は、前記デフォルトのパラメータを含むシーケンスパラメータセット(SPS)を更に含む、
方法。
A6.解決法A5に記載の方法であって、
前記ビットストリーム表現は、前記コーディングモードが有効にされることを示す前記SPS内のフラグを更に含む、
方法。
A7.解決法A1に記載の方法であって、
前記ビットストリーム表現は、前記コーディングモードのための少なくとも1つの適応パラメータセット(APS)を含むシーケンスパラメータセット(SPS)を更に含む、
方法。
A8.解決法A7に記載の方法であって、
前記少なくとも1つのAPSは、前記デフォルトのパラメータを有する、
方法。
A9.解決法A1に記載の方法であって、
前記コーディングモードのために前記デフォルトのパラメータを有効にすることの指示は、前記ビットストリーム表現で1つのフラグを用いてシグナリングされる、
方法。
A10.解決法A1に記載の方法であって、
前記ビットストリーム表現は、該ビットストリーム表現が前記クロマ残差の前記ルーマ依存スケーリングの指示(sps_lmcs_enabled_flag)を含むとの決定があるとき、前記デフォルトのパラメータを含む、
方法。
A11.ビデオコーディングの方法であって、
1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換を実行するステップを含み、
前記ビットストリーム表現は、コーディングモードが有効にされる前記1つ以上のビデオデータユニットのビデオブロックに適用可能である前記コーディングモードのデフォルトのパラメータを示すサイド情報の包含を指定するフォーマット規則に従い、前記デフォルトのパラメータは、前記ビットストリーム表現において明示的に通知されたパラメータがない場合に、前記コーディングモードのために使用され、前記コーディングモードは、元の領域及び再成形された領域での前記ビデオブロックの表現及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づき前記ビデオブロックを構成することを有する、
方法。
A12.解決法A11に記載の方法であって、
前記サイド情報は、前記デフォルトのパラメータのための予め定義された値へのインデックスを有する、
方法。
A13.解決法A12に記載の方法であって、
前記デフォルトのパラメータのための前記予め定義された値は、アイデンティティマッピング(identity mapping)に対応する、
方法。
A14.解決法A11に記載の方法であって、
前記サイド情報は、前記デフォルトのパラメータを含む、
方法。
A15.解決法A1乃至A14のうちいずれかに記載の方法であって、
前記コーディングモードは、インループ再成形(ILR)モードである、
方法。
A16.解決法A1乃至A15のうちいずれかに記載の方法であって、
前記変換は、前記ビットストリーム表現から前記1つ以上のビデオデータユニットのうちの少なくとも1つを生成する、
方法。
A17.解決法A1乃至A15のうちいずれかに記載の方法であって、
前記変換は、前記1つ以上のビデオデータユニットのうちの少なくとも1つから前記ビットストリーム表現を生成する、
方法。
A18.ビデオシステム内の装置であって、
プロセッサと、
命令を記憶している非一時的なメモリと
を有し、
前記命令は、前記プロセッサによって実行されると、該プロセッサに、解決法A1乃至A17のうちいずれか1つに記載の方法を実装させる、
装置。
A19.非一時的なコンピュータ可読媒体に記憶されているコンピュータプログラム製品であって、
解決法A1乃至A17のうちいずれか1つに記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
いくつかの実施形態で、次の技術的解決法が実装されてもよい。
B1.ビデオ処理の方法であって、
ビデオの第1ビデオデータユニットと前記ビデオのビットストリーム表現との間の変換を実行するステップを含み、
コーディングモードが、前記第1ビデオデータユニットのビデオブロックに適用可能であり、前記コーディングモードは、該コーディングモードに関連したサイド情報に基づいて、元の領域及び再成形された領域及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づき前記ビデオブロックを構成することを有し、前記サイド情報は、時間レイヤインデックスに基づく規則に従って決定される。
B2.解決法B1に記載の方法であって、
前記サイド情報は、前記ビデオの第2ビデオデータユニットのコーディングモードについてのサイド情報に基づき決定される、
方法。
B3.解決法B2に記載の方法であって、
前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックス以下である、
方法。
B4.解決法B2に記載の方法であって、
前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックスよりも小さい、
方法。
B5.解決法B2に記載の方法であって、
前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックスに等しい、
方法。
B6.解決法B2に記載の方法であって、
前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックスよりも大きい、
方法。
B7.解決法B1に記載の方法であって、
前記サイド情報は、前記コーディングモードについての1つ以上の適応パラメータセット(APS)に基づき決定される、
方法。
B8.解決法B7に記載の方法であって、
前記1つ以上のAPSは、閾値以下である前記時間レイヤインデックスと関連付けられる、
方法。
B9.解決法B7に記載の方法であって、
前記1つ以上のAPSは、閾値よりも大きい前記時間レイヤインデックスと関連付けられる、
方法。
B10.解決法B7に記載の方法であって、
前記1つ以上のAPSは、閾値以上である前記時間レイヤインデックスと関連付けられる、
方法。
B11.解決法B7に記載の方法であって、
前記1つ以上のAPSは、閾値に等しい前記時間レイヤインデックスと関連付けられる、
方法。
B12.解決法B8乃至B11のうちいずれかに記載の方法であって、
前記閾値は、前記第1ビデオデータユニットの時間レイヤインデックスである、
方法。
B13.ビデオ処理の方法であって、
1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、前記1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードについてのパラメータとを通知するシンタックス要素を含む前記ビットストリーム表現を構成するステップと、
前記構成するステップに基づき前記変換を実行するステップと
を含み、
前記コーディングモードは、元の領域及び再成形された領域及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づき前記ビデオブロックを構成することを有する、
方法。
B14.ビデオ処理の方法であって、
1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、前記1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードについてのパラメータとを通知するシンタックス要素を含む前記ビットストリーム表現をパースするステップと、
前記パースするステップに基づき前記変換を実行するステップと
を含み、
前記コーディングモードは、元の領域及び再成形された領域及び/又はクロマビデオブロックのクロマ残差のルーマ依存スケーリングに基づき前記ビデオブロックを構成することを有する、
方法。
B15.解決法B13又はB14に記載の方法であって、
前記時間レイヤ情報は、ルーマに依存した方式でスケーリングされている前記クロマ残差に関連したデータ(lmcs_data())で通知される時間レイヤインデックスに基づく通知された値を含む、
方法。
B16.解決法B15に記載の方法であって、
前記通知された値は、前記時間レイヤインデックスである、
方法。
B17.解決法B15に記載の方法であって、
前記通知された値は、前記時間レイヤインデックスから1を引いたものである、
方法。
B18.解決法B1又はB13又はB14に記載の方法であって、
前記変換を実行するステップは、前記ビットストリーム表現で通知される情報に更に基づく、
方法。
B19.解決法B1又はB13又はB14に記載の方法であって、
前記変換を実行するステップは、前記ビットストリーム表現で通知された情報から推測される情報に更に基づく、
方法。
B20.解決法B1乃至B19のうちいずれかに記載の方法であって、
前記コーディングモードは、クロマスケーリングを伴ったルーママッピング(LMCS)モードであり、前記APSは、LMCS APSである、
方法。
B21.解決法B1乃至B20のうちいずれかに記載の方法であって、
前記変換は、前記ビットストリーム表現から前記現在のブロックを生成する、
方法。
B22.解決法B1乃至B20のうちいずれかに記載の方法であって、
前記変換は、前記現在のブロックから前記ビットストリーム表現を生成する、
方法。
B23.ビデオシステム内の装置であって、
プロセッサと、
命令を記憶している非一時的なメモリと
を有し、
前記命令は、前記プロセッサによって実行されると、該プロセッサに、解決法B1乃至B22のうちいずれか1つに記載の方法を実装させる、
装置。
B24.非一時的なコンピュータ可読媒体に記憶されているコンピュータプログラム製品であって、
解決法B1乃至B22のうちいずれか1つに記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
いくつかの実施形態で、次の技術的解決法が実装されてもよい。
C1.ビデオ処理の方法であって、
ビデオの第1ビデオデータユニットと前記ビデオのビットストリーム表現との間の変換を実行するステップを含み、
コーディングモードが、前記第1ビデオデータユニットのビデオブロックに適用可能であり、前記コーディングモードは、該コーディングモードに関連したサイド情報に基づいて、適応ループフィルタ(ALF)係数を使用するフィルタリングプロセスに基づく前記ビデオの現在のブロックを構成することを有し、前記サイド情報は、時間レイヤインデックスに基づく規則に従って決定される、
方法。
C2.解決法C1に記載の方法であって、
前記サイド情報は、前記ビデオの第2ビデオデータユニットのコーディングモードについてのサイド情報に基づき決定される、
方法。
C3.解決法C2に記載の方法であって、
前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックス以下である、
方法。
C4.解決法C2に記載の方法であって、
前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックスよりも小さい、
方法。
C5.解決法C2に記載の方法であって、
前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックスに等しい、
方法。
C6.解決法C2に記載の方法であって、
前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックスよりも大きい、
方法。
C7.解決法C1に記載の方法であって、
前記サイド情報は、前記コーディングモードについての1つ以上の適応パラメータセット(APS)に基づき決定される、
方法。
C8.解決法C7に記載の方法であって、
前記1つ以上のAPSは、閾値以下である前記時間レイヤインデックスと関連付けられる、
方法。
C9.解決法C7に記載の方法であって、
前記1つ以上のAPSは、閾値よりも大きい前記時間レイヤインデックスと関連付けられる、
方法。
C10.解決法C7に記載の方法であって、
前記1つ以上のAPSは、閾値以上である前記時間レイヤインデックスと関連付けられる、
方法。
C11.解決法C7に記載の方法であって、
前記1つ以上のAPSは、閾値に等しい前記時間レイヤインデックスと関連付けられる、
方法。
C12.解決法C8乃至C11のうちいずれかに記載の方法であって、
前記閾値は、前記第1ビデオデータユニットの時間レイヤインデックスである、
方法。
C13.ビデオ処理の方法であって、
1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、前記1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードについてのパラメータとを通知するシンタックス要素を含む前記ビットストリーム表現を構成するステップと、
前記構成するステップに基づいて、前記変換を実行するステップと
を有し、
前記コーディングモードは、適応ループフィルタ(ALF)係数を使用するフィルタリングプロセスに基づき前記ビデオの現在のブロックを構成することを有する、
方法。
C14.ビデオ処理の方法であって、
1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、前記1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードについてのパラメータとを通知するシンタックス要素を含む前記ビットストリーム表現をパースするステップと、
前記パースするステップに基づいて、前記変換を実行するステップと
を有し、
前記コーディングモードは、適応ループフィルタ(ALF)係数を使用するフィルタリングプロセスに基づき前記ビデオの現在のブロックを構成することを有する、
方法。
C15.解決法C13又はC14に記載の方法であって
前記時間レイヤ情報は、前記コーディングモードに関連したデータ(alf_data())で通知される時間レイヤインデックスに基づく通知された値を含む、
方法。
C16.解決法C15に記載の方法であって、
前記通知された値は、前記時間レイヤインデックスである、
方法。
C17.解決法C15に記載の方法であって、
前記通知された値は、前記時間レイヤインデックスから1を引いたものである、
方法。
C18.解決法C1又はC13又はC14に記載の方法であって、
前記変換を実行するステップは、前記ビットストリーム表現で通知される情報に更に基づく、
方法。
C19.解決法C1又はC13又はC14に記載の方法であって、
前記変換を実行するステップは、前記ビットストリーム表現で通知された情報から推測される情報に更に基づく、
方法。
C20.解決法C1乃至C19のうちいずれかに記載の方法であって、
前記コーディングモードは、適応ループフィルタリング(ALF)モードであり、前記APSは、ALF APSである、
方法。
C21.解決法C1乃至C20のうちいずれかに記載の方法であって、
前記変換は、前記ビットストリーム表現から前記現在のブロックを生成する、
方法。
C22.解決法C1乃至C20のうちいずれかに記載の方法であって、
前記変換は、前記現在のブロックから前記ビットストリーム表現を生成する、
方法。
C23.ビデオシステム内の装置であって、
プロセッサと、
命令を記憶している非一時的なメモリと
を有し、
前記命令は、前記プロセッサによって実行されると、該プロセッサに、解決法C1乃至C22のうちいずれか1つに記載の方法を実装させる、
装置。
C24.非一時的なコンピュータ可読媒体に記憶されているコンピュータプログラム製品であって、
解決法C1乃至C22のうちいずれか1つに記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
開示されている技術のいくつかの実施形態は、ビデオ処理ツール又はモードを有効にするための判断又は決定を行うことを含む。例において、ビデオ処理ツール又はモードが有効にされる場合に、エンコーダは、ビデオのブロックの処理においてそのツール又はモードを使用又は実装することになるが、必ずしも、そのツール又はモードの利用に基づいて、結果として得られたビットストリームを変更しなくてもよい。すなわち、ビデオのブロックからビデオのビットストリーム表現への変換は、判断又は決定に基づいてビデオ処理ツール又はモードが有効にされる場合に、それを使用することになる。他の例では、ビデオ処理ツール又はモードが有効にされる場合に、デコーダは、ビットストリームがビデオ処理ツール又はモードに基づいて変更されていることを知った上で、ビットストリームを処理することになる。すなわち、ビデオのビットストリーム表現からビデオのブロックへの変換は、決定又は判断に基づいて有効にされたビデオ処理ツール又はモードを用いて実行されることになる。
開示されている技術のいくつかの実施形態は、ビデオ処理ツール又はモードを無効にするための判断又は決定を行うことを含む。例において、ビデオ処理ツール又はモードが無効にされる場合に、エンコーダは、ビデオのブロックからビデオのビットストリーム表現への変換においてツール又はモードを使用しない。他の例では、ビデオ処理ツール又はモードが無効にされる場合に、デコーダは、決定又は判断に基づいて無効にされたビデオ処理ツール又はモードを用いてビットストリームが変更されていないと知った上で、ビットストリームを処理することになる。
本明細書中、「ビデオ処理」という用語は、ビデオ符号化、ビデオ復号化、ビデオトランスコーディング、ビデオ圧縮、又はビデオ圧縮解除を指し得る。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から対応するビットストリーム表現への変換中に適用されてよく、あるいは、その逆も同様である。現在のビデオブロックのビットストリーム表現は、例えば、シンタックスによって定義されるように、ビットストリーム内の異なった場所に拡散しているか又は同一位置にあるビットに対応してよい。例えば、マクロブロックは、トランスコーディング及びコーディングされた誤差残差値に関して、ビットストリームにおけるヘッダ及び他のフィールド内のビットも用いて、符号化されてよい。更には、変換中に、デコーダは、上記の解決法で記載されているように、決定に基づいて、いくつかのフィールドが存在又は不存在であることを知った上で、ビットストリームをパースしてよい。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべきか否かを決定し、それに応じて、コーディングされた表現に対してシンタックスフィールドを含めるか又は取り除くことによって、コーディングされた表現(ビットストリーム表現)を生成してよい。
以上から、目下開示されている技術の具体的な実施形態は、説明のために本明細書で説明されているが、様々な変更が、本発明の範囲から逸脱せずに行われてよい、ことが認識される。従って、目下開示されている技術は、添付の特許請求の範囲による場合を除いて、限定されない。
本明細書で記載されている対象及び機能的動作の実施は、様々なシステムやデジタル電子回路で、又は本明細書で開示されている構造及びそれらの構造的同等物を含むコンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はそれらの1つ以上の組み合わせで実装可能である。本明細書で記載されている対象の実施は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために又はデータ処理装置の動作を制御するために有形かつ非一時的なコンピュータ可読媒体に符号化されているコンピュータプログラム命令の1つ以上のモジュール、として実装可能である。コンピュータ可読媒体は、機械により読み出し可能な記憶デバイス、機械により読み出し可能な記憶担体、メモリデバイス、機械により読み出し可能な伝搬信号をもたらす組成物、又はそれらの1つ以上の組み合わせであることができる。「データ処理ユニット」又は「データ処理装置」との用語は、例として、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理する全ての装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、問題となっているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ以上の組み合わせを構成するコード、を含むことができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる。)は、コンパイル済み又は解釈済みの言語を含む如何なる形式のプログラミング言語でも記述可能であり、それは、スタンドアロンプログラムとして又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとして、を含め、如何なる形式でもデプロイ可能である。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応しない。プログラムは、問題となっているプログラムに専用の単一のファイルで、又は複数の協調したファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの部分を保存するファイル)で、他のプログラム又はデータ(例えば、マークアップ言語文書で保存された1つ以上のスクリプト)を保持するファイルの部分において保存可能である。コンピュータプログラムは、1つのコンピュータで、あるいは、1つの場所に位置しているか、又は複数の場所にわたって分布しており、通信ネットワークによって相互接続されている複数のコンピュータで、実行されるようデプロイ可能である。
本明細書で記載されているプロセス及び論理フローは、入力データに作用して出力を生成することによって機能を実行するよう1つ以上のコンピュータプログラムを実行する1つ以上のプログラム可能なプロセッサによって実行可能である。プロセス及び論理フローはまた、専用のロジック回路、例えば、FPGA(Field Programmable Gate Array)又はASIC(Application-Specific Integrated Circuit)によっても実行可能であり、装置は、そのようなものとしても実装可能である。
コンピュータプログラムの実行に適したプロセッサは、例として、汎用のマイクロプロセッサ及び専用のマイクロプロセッサの両方、並びにあらゆる種類のデジタルコンピュータのいずれか1つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリー・メモリ若しくはランダム・アクセス・メモリ又はその両方から命令及びデータを受け取ることになる。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを保存する1つ以上のメモリデバイスと、である。一般に、コンピュータはまた、データを保存する1つ以上の大容量記憶デバイス、例えば、磁気、光学磁気ディスク、又は光ディスクを含むか、あるいは、そのような1つ以上の大容量記憶デバイスからのデータの受信若しくはそれへのデータの転送又はその両方のために動作可能に結合されることになる。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを保存するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、及びフラッシュメモリデバイスを含む全ての形式の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用のロジック回路によって強化されるか、あるいは、それに組み込まれ得る。
本明細書は、多数の詳細を含むが、それらは、あらゆる発明の又は請求される可能性があるものの範囲に対する限定としてではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態に関連して本明細書に記載されている特定の特徴は、単一の実施形態と組み合わせても実装可能である。逆に、単一の実施形態に関連して記載されている様々な特徴はまた、複数の実施形態で別々に、又は何らかの適切なサブコンビネーションで実装可能である。更に、特徴は、特定の組み合わせで動作するものとして上述され、そのようなものとして最初に請求されることさえあるが、請求されている組み合わせからの1つ以上の特徴は、いくつかの場合に、その組み合わせから削除可能であり、請求されている組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられてもよい。
同様に、動作は、特定の順序で図面において表されているが、これは、所望の結果を達成するために、そのような動作が、示されているその特定の順序で、又は順次的な順序で実行されること、あるいは、表されている全ての動作が実行されることを求めている、と理解されるべきではない。更に、本明細書に記載されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を求めている、と理解されるべきではない。
ほんのわずかの実施及び例が説明されており、他の実施、強化及び変形は、本明細書で記載及び例示されているものに基づいて行われ得る。
[関連出願への相互参照]
本願は、2019年3月23日付けで出願された国際特許出願第PCT/CN2019/079393号に対する優先権及びその利益を請して2020年3月23日付けで出願された国際特許出願第PCT/CN2020/080600号に基づく。上記の特許出願の全ては、それらの全文を参照により本願に援用される。

Claims (24)

  1. ビデオ処理の方法であって、
    ビデオの第1ビデオデータユニットと前記ビデオのビットストリーム表現との間の変換を実行するステップを有し、
    コーディングモードが、前記第1ビデオデータユニットのビデオブロックに適用可能であり、
    前記コーディングモードは、該コーディングモードに関連したサイド情報に基づいて、適応ループフィルタ(ALF)係数を使用するフィルタリングプロセスに基づき前記ビデオの現在のブロックを構成することを有し、
    前記サイド情報は、時間レイヤインデックスに基づく規則に従って決定される、
    方法。
  2. 前記サイド情報は、前記ビデオの第2ビデオデータユニットのコーディングモードについてのサイド情報に基づき決定される、
    請求項1に記載の方法。
  3. 前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックス以下である、
    請求項2に記載の方法。
  4. 前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックスよりも小さい、
    請求項2に記載の方法。
  5. 前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックスに等しい、
    請求項2に記載の方法。
  6. 前記第2ビデオデータユニットの時間レイヤインデックスは、前記第1ビデオデータユニットの時間レイヤインデックスよりも大きい、
    請求項2に記載の方法。
  7. 前記サイド情報は、前記コーディングモードについての1つ以上の適応パラメータセット(APS)に基づき決定される、
    請求項1に記載の方法。
  8. 前記1つ以上のAPSは、閾値以下である前記時間レイヤインデックスと関連付けられる、
    請求項7に記載の方法。
  9. 前記1つ以上のAPSは、閾値よりも大きい前記時間レイヤインデックスと関連付けられる、
    請求項7に記載の方法。
  10. 前記1つ以上のAPSは、閾値以上である前記時間レイヤインデックスと関連付けられる、
    請求項7に記載の方法。
  11. 前記1つ以上のAPSは、閾値に等しい前記時間レイヤインデックスと関連付けられる、
    請求項7に記載の方法。
  12. 前記閾値は、前記第1ビデオデータユニットの時間レイヤインデックスである、
    請求項8乃至11のうちいずれか一項に記載の方法。
  13. ビデオ処理の方法であって、
    1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、前記1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードについてのパラメータとを通知するシンタックス要素を含む前記ビットストリーム表現を構成するステップと、
    前記構成するステップに基づいて、前記変換を実行するステップと
    を有し、
    前記コーディングモードは、適応ループフィルタ(ALF)係数を使用するフィルタリングプロセスに基づき前記ビデオの現在のブロックを構成することを有する、
    方法。
  14. ビデオ処理の方法であって、
    1つ以上のビデオデータユニットを含むビデオと該ビデオのビットストリーム表現との間の変換のために、時間レイヤ情報と、前記1つ以上のビデオデータユニットのビデオブロックに適用可能であるコーディングモードについてのパラメータとを通知するシンタックス要素を含む前記ビットストリーム表現をパースするステップと、
    前記パースするステップに基づいて、前記変換を実行するステップと
    を有し、
    前記コーディングモードは、適応ループフィルタ(ALF)係数を使用するフィルタリングプロセスに基づき前記ビデオの現在のブロックを構成することを有する、
    方法。
  15. 前記時間レイヤ情報は、前記コーディングモードに関連したデータ(alf_data())で通知される時間レイヤインデックスに基づく通知された値を含む、
    請求項13又は14に記載の方法。
  16. 前記通知された値は、前記時間レイヤインデックスである、
    請求項15に記載の方法。
  17. 前記通知された値は、前記時間レイヤインデックスから1を引いたものである、
    請求項15に記載の方法。
  18. 前記変換を実行するステップは、前記ビットストリーム表現で通知される情報に更に基づく、
    請求項1又は13又は14に記載の方法。
  19. 前記変換を実行するステップは、前記ビットストリーム表現で通知された情報から推測される情報に更に基づく、
    請求項1又は13又は14に記載の方法。
  20. 前記コーディングモードは、適応ループフィルタリング(ALF)モードであり、前記APSは、ALF APSである、
    請求項1乃至19のうちいずれか一項に記載の方法。
  21. 前記変換は、前記ビットストリーム表現から前記現在のブロックを生成する、
    請求項1乃至20のうちいずれか一項に記載の方法。
  22. 前記変換は、前記現在のブロックから前記ビットストリーム表現を生成する、
    請求項1乃至20のうちいずれか一項に記載の方法。
  23. ビデオシステム内の装置であって、
    プロセッサと、
    命令を記憶している非一時的なメモリと
    を有し、
    前記命令は、前記プロセッサによって実行されると、該プロセッサに、請求項1乃至22のうちいずれか一項に記載の方法を実装させる、
    装置。
  24. 非一時的なコンピュータ可読媒体に記憶されているコンピュータプログラム製品であって、
    請求項1乃至22のうちいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
JP2021555615A 2019-03-23 2020-03-23 適応ループフィルタリングパラメータセットに対する制限 Active JP7417624B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024000129A JP2024038245A (ja) 2019-03-23 2024-01-04 適応ループフィルタリングパラメータセットに対する制限

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/079393 2019-03-23
CN2019079393 2019-03-23
PCT/CN2020/080600 WO2020192614A1 (en) 2019-03-23 2020-03-23 Restrictions on adaptive-loop filtering parameter sets

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024000129A Division JP2024038245A (ja) 2019-03-23 2024-01-04 適応ループフィルタリングパラメータセットに対する制限

Publications (2)

Publication Number Publication Date
JP2022525226A true JP2022525226A (ja) 2022-05-11
JP7417624B2 JP7417624B2 (ja) 2024-01-18

Family

ID=72610961

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021555615A Active JP7417624B2 (ja) 2019-03-23 2020-03-23 適応ループフィルタリングパラメータセットに対する制限
JP2024000129A Pending JP2024038245A (ja) 2019-03-23 2024-01-04 適応ループフィルタリングパラメータセットに対する制限

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024000129A Pending JP2024038245A (ja) 2019-03-23 2024-01-04 適応ループフィルタリングパラメータセットに対する制限

Country Status (6)

Country Link
US (2) US11375188B2 (ja)
EP (1) EP3925216A4 (ja)
JP (2) JP7417624B2 (ja)
KR (1) KR20210139272A (ja)
CN (3) CN113632462B (ja)
WO (3) WO2020192614A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020117013A1 (ko) * 2018-12-06 2020-06-11 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
KR20210118400A (ko) 2019-02-01 2021-09-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 루마 종속적 크로마 잔차 스케일링의 구성
CN117499644A (zh) 2019-03-14 2024-02-02 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
US11638019B2 (en) * 2020-07-29 2023-04-25 Alibaba Group Holding Limited Methods and systems for prediction from multiple cross-components
WO2023113224A1 (ko) * 2021-12-17 2023-06-22 현대자동차주식회사 매핑 기반 비디오 코딩에서 인루프 필터링

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022506623A (ja) * 2018-11-07 2022-01-17 華為技術有限公司 ビデオエンコーダ、ビデオデコーダ、及び対応する方法

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544284A (en) 1992-02-11 1996-08-06 Eastman Kodak Company Sequential product code quantization of digital color image
US20020145610A1 (en) 1999-07-16 2002-10-10 Steve Barilovits Video processing engine overlay filter scaler
US7412003B2 (en) 2003-09-17 2008-08-12 Texas Instruments Incorporated Transcoders and methods
CN101674149B (zh) * 2008-09-08 2012-11-14 中兴通讯股份有限公司 一种自适应编码调制方法
KR101841783B1 (ko) 2009-12-04 2018-03-23 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 인터 프레임을 위한 개선된 색차 변환을 위한 방법 및 장치
US9100661B2 (en) 2010-04-05 2015-08-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8630356B2 (en) * 2011-01-04 2014-01-14 The Chinese University Of Hong Kong High performance loop filters in video compression
DK2882190T3 (en) * 2011-04-21 2019-02-18 Hfi Innovation Inc Method and apparatus for improved ring-structured filtration
US9277228B2 (en) * 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
US9948938B2 (en) 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
US9083983B2 (en) 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
KR20130053645A (ko) * 2011-11-15 2013-05-24 한국전자통신연구원 적응적 루프 필터를 이용한 비디오 부호화/복호화 방법 및 장치
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
CN104205819B (zh) 2012-02-01 2017-06-30 诺基亚技术有限公司 用于视频编码的方法和装置
US9300984B1 (en) 2012-04-18 2016-03-29 Matrox Graphics Inc. Independent processing of data streams in codec
WO2014071439A1 (en) * 2012-11-08 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
KR102257542B1 (ko) * 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
US9491460B2 (en) 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
US10440365B2 (en) * 2013-06-28 2019-10-08 Velos Media, Llc Methods and devices for emulating low-fidelity coding in a high-fidelity coder
EP4366308A2 (en) * 2013-06-28 2024-05-08 Velos Media International Limited Methods and devices for emulating low-fidelity coding in a high-fidelity coder
US9762909B2 (en) * 2013-07-30 2017-09-12 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
EP3629582A1 (en) 2013-10-07 2020-04-01 Vid Scale, Inc. Combined scalability processing for multi-layer video coding
KR20160074642A (ko) * 2013-10-22 2016-06-28 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 디코딩 장치 및 이미지 디코딩 방법
US10397607B2 (en) 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
US10148895B2 (en) 2013-12-19 2018-12-04 Flir Systems Ab Generating a combined infrared/visible light image having an enhanced transition between different types of image information
TWI536811B (zh) 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
US9948933B2 (en) 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
PL3117617T3 (pl) 2014-03-14 2022-08-22 Vid Scale, Inc. Kodowanie palety przeznaczone do kodowania zawartości ekranu
RU2667034C2 (ru) * 2014-05-28 2018-09-13 Конинклейке Филипс Н.В. Способы и устройства для кодирования hdr-изображений и способы и устройства для использования таких кодированных изображений
US9948949B2 (en) 2014-06-20 2018-04-17 Qualcomm Incorporated Intra block copy block vector signaling for video coding
US9667829B2 (en) 2014-08-12 2017-05-30 Digimarc Corporation System and methods for encoding information for printed articles
GB2531005A (en) 2014-10-06 2016-04-13 Canon Kk Improved encoding process using a palette mode
WO2016057323A1 (en) 2014-10-06 2016-04-14 Huawei Technologies Co., Ltd. Improved palette mode in high efficiency video coding (hevc) screen content coding (scc)
CN104320671A (zh) 2014-11-13 2015-01-28 山东财经大学 一种基于h.264标准的在线视频转码方法
KR102150979B1 (ko) 2014-12-19 2020-09-03 에이치에프아이 이노베이션 인크. 비디오 및 이미지 코딩에서의 비-444 색채 포맷을 위한 팔레트 기반 예측의 방법
KR20170103924A (ko) 2015-01-14 2017-09-13 브이아이디 스케일, 인크. 비-4:4:4 화면 콘텐츠 영상의 팔레트 코딩
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
WO2016164235A1 (en) * 2015-04-06 2016-10-13 Dolby Laboratories Licensing Corporation In-loop block-based image reshaping in high dynamic range video coding
EP3298785A4 (en) 2015-06-03 2019-02-13 MediaTek Inc. METHOD AND APPARATUS FOR RESOURCE SHARING BETWEEN INTRA BLOCK COPY MODE AND INTER-PREDICTION MODE IN VIDEO CODING SYSTEMS
GB2539211A (en) 2015-06-08 2016-12-14 Canon Kk Enhanced coding and decoding using intra block copy mode
WO2017019818A1 (en) 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
US10652588B2 (en) 2015-09-21 2020-05-12 Vid Scale, Inc. Inverse reshaping for high dynamic range video coding
US20170105014A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents
KR20180058224A (ko) 2015-10-22 2018-05-31 엘지전자 주식회사 영상 코딩 시스템에서 모델링 기반 영상 디코딩 방법 및 장치
CN106937121B (zh) 2015-12-31 2021-12-10 中兴通讯股份有限公司 图像解码和编码方法、解码和编码装置、解码器及编码器
US20190045224A1 (en) * 2016-02-04 2019-02-07 Mediatek Inc. Method and apparatus of non-local adaptive in-loop filters in video coding
US11032550B2 (en) 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
WO2017165494A2 (en) 2016-03-23 2017-09-28 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
US10397586B2 (en) * 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
US20170310969A1 (en) 2016-04-20 2017-10-26 Mediatek Inc. Image encoding method and apparatus with color space transform performed upon predictor and associated image decoding method and apparatus
EP3244616A1 (en) 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
EP3459248A1 (en) 2016-05-19 2019-03-27 Dolby Laboratories Licensing Corporation Chroma reshaping for high dynamic range images
US10645403B2 (en) 2016-05-19 2020-05-05 Dolby Laboratories Licensing Corporation Chroma reshaping for high dynamic range images
WO2017206805A1 (en) 2016-05-28 2017-12-07 Mediatek Inc. Method and apparatus of palette mode coding for colour video data
CN113411576B (zh) * 2016-07-22 2024-01-12 夏普株式会社 使用自适应分量缩放对视频数据进行编码的系统和方法
WO2018044803A1 (en) * 2016-08-30 2018-03-08 Dolby Laboratories Licensing Corporation Real-time reshaping of single-layer backwards-compatible codec
EP3510772B1 (en) 2016-09-09 2020-12-09 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
US10652575B2 (en) 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
WO2018062921A1 (ko) 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 및 인트라 예측 방법 및 장치
WO2018117896A1 (en) 2016-12-23 2018-06-28 Huawei Technologies Co., Ltd Low complexity mixed domain collaborative in-loop filter for lossy video coding
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US11025903B2 (en) 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
US10694181B2 (en) 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
US10735761B2 (en) 2017-05-19 2020-08-04 Mediatek Inc Method and apparatus of video coding
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
EP4064701A1 (en) * 2017-06-29 2022-09-28 Dolby Laboratories Licensing Corporation Integrated image reshaping and video decoding
US10757442B2 (en) 2017-07-05 2020-08-25 Qualcomm Incorporated Partial reconstruction based template matching for motion vector derivation
CN107360433B (zh) 2017-07-20 2020-06-19 北京奇艺世纪科技有限公司 一种帧间预测编码方法和装置
WO2019082770A1 (en) 2017-10-24 2019-05-02 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR DETERMINING PREDICTIVE QUANTIFICATION PARAMETER VALUES
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
KR102625573B1 (ko) 2018-02-14 2024-01-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 레이트 왜곡 최적화를 이용한 비디오 코딩에서의 이미지 재성형
US10757428B2 (en) 2018-10-10 2020-08-25 Apple Inc. Luma and chroma reshaping of HDR video encoding
WO2020086421A1 (en) 2018-10-25 2020-04-30 Interdigital Vc Holdings, Inc. Video encoding and decoding using block-based in-loop reshaping
US11122264B2 (en) * 2018-12-06 2021-09-14 Qualcomm Incorporated Adaptive loop filter (ALF) coefficients in video coding
CN113273215A (zh) 2019-01-04 2021-08-17 交互数字Vc控股公司 逆映射简化
KR20210118400A (ko) 2019-02-01 2021-09-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 루마 종속적 크로마 잔차 스케일링의 구성
CN113475079A (zh) 2019-02-01 2021-10-01 北京字节跳动网络技术有限公司 环路整形和帧内块复制之间的相互作用
KR20210134375A (ko) 2019-03-04 2021-11-09 알리바바 그룹 홀딩 리미티드 비디오 콘텐츠를 처리하기 위한 방법 및 시스템
US10742972B1 (en) 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction
CN117499644A (zh) 2019-03-14 2024-02-02 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
US11388406B2 (en) 2019-05-20 2022-07-12 Dolby Laboratories Licensing Corporation Piece-wise-linear mapping for in-loop reshaping in image coding
US11509938B2 (en) 2019-11-05 2022-11-22 Hfi Innovation Inc. Method and apparatus of signaling subpicture information in video coding
US20210168406A1 (en) 2019-11-29 2021-06-03 Tencent America LLC Signaling of video coding tools supporting various chroma formats
US11303914B2 (en) 2020-01-08 2022-04-12 Tencent America LLC Method and apparatus for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022506623A (ja) * 2018-11-07 2022-01-17 華為技術有限公司 ビデオエンコーダ、ビデオデコーダ、及び対応する方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HENG, BRIAN ET AL.: "AHG17: Design for signallilng reshaper model", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENE, vol. JVET-N0805 (version 1), JPN6022050051, 21 March 2019 (2019-03-21), ISSN: 0004932564 *
LU, TAORAN ET AL.: "CE12: Mapping functions (test CE12-1 and CE12-2)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARR, vol. JVET-M0427 (version 3), JPN6022050054, 15 January 2019 (2019-01-15), ISSN: 0004932565 *
WANG, YE-KUI ET AL.: "AHG17: On header parameter set (HPS)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARR, vol. JVET-M0132 (version 2), JPN6022050056, 16 January 2019 (2019-01-16), ISSN: 0004932566 *
WANG, YE-KUI ET AL.: "AHG17: Signalling of reshaper parameters in APS", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENE, vol. JVET-N0117 (version 1), JPN6022050049, 12 March 2019 (2019-03-12), ISSN: 0004932563 *

Also Published As

Publication number Publication date
WO2020192614A1 (en) 2020-10-01
CN113632469B (zh) 2022-12-13
EP3925216A1 (en) 2021-12-22
JP2024038245A (ja) 2024-03-19
CN113632476A (zh) 2021-11-09
US20220279178A1 (en) 2022-09-01
JP7417624B2 (ja) 2024-01-18
CN113632462A (zh) 2021-11-09
EP3925216A4 (en) 2022-06-15
WO2020192612A1 (en) 2020-10-01
CN113632469A (zh) 2021-11-09
US11375188B2 (en) 2022-06-28
CN113632476B (zh) 2024-03-19
KR20210139272A (ko) 2021-11-22
WO2020192613A1 (en) 2020-10-01
CN113632462B (zh) 2023-08-22
US20220103815A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
AU2020213583B2 (en) Signaling of in-loop reshaping information using parameter sets
JP7199550B2 (ja) パラメータセットを使用したインループ再成形情報のシグナリング
JP7277599B2 (ja) 映像処理におけるモデルベース再整形に対する制約
CN113574889A (zh) 环路整形信息的信令和语法
JP7417624B2 (ja) 適応ループフィルタリングパラメータセットに対する制限
CN113366839A (zh) 视频编解码中的细化量化步骤
WO2020182219A1 (en) Signaling and syntax for in-loop reshaping information

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240105

R150 Certificate of patent or registration of utility model

Ref document number: 7417624

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150