JP2023156465A - ビデオコーディングの方法、ビデオコーディング装置、非一時的なコンピュータ可読記憶媒体、ビットストリームおよびビットストリーム内のコンピュータプログラム - Google Patents

ビデオコーディングの方法、ビデオコーディング装置、非一時的なコンピュータ可読記憶媒体、ビットストリームおよびビットストリーム内のコンピュータプログラム Download PDF

Info

Publication number
JP2023156465A
JP2023156465A JP2023133311A JP2023133311A JP2023156465A JP 2023156465 A JP2023156465 A JP 2023156465A JP 2023133311 A JP2023133311 A JP 2023133311A JP 2023133311 A JP2023133311 A JP 2023133311A JP 2023156465 A JP2023156465 A JP 2023156465A
Authority
JP
Japan
Prior art keywords
prediction
reference picture
intra
mode
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023133311A
Other languages
English (en)
Inventor
シュウ,シャオユウ
Xiaoyu Xiu
チェン,イーウェン
Yi-Wen Chen
ワン,シャンリン
Xianglin Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021540266A external-priority patent/JP7223858B2/ja
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of JP2023156465A publication Critical patent/JP2023156465A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】複合インターイントラ予測を改善するための方法およびシステムを提供する。
【解決手段】方法は、現在の予測ブロックに関連付けられる第1の参照画像と第2の参照画像とを取得することと、現在の予測ブロックから第1の参照画像内の参照ブロックへの第1の動きベクトルMV0に基づいて、第1の予測L0を生成することと、現在の予測ブロックから第2の参照画像内の参照ブロックへの第2の動きベクトルMV1に基づいて、第2の予測L1を生成することと、双方向オプティカルフロー(BDOF)操作が適用されるかどうかを特定することと、第1の予測L0および第2の予測L1と、第1の勾配値および第2の勾配値とに基づいて、現在の予測ブロックの二重予測を計算することと、を含む。
【選択図】図3

Description

本願は、2019年1月9日に出願された仮出願第62/790,421号に基づき優先
権を主張し、その全部の内容をここに援用する。
本願は、ビデオコーディングと圧縮に関するものである。より具体的には、本願は、ビ
デオコーディングのための複合インターとイントラ予測(CIIP)方法に関する方法お
よび装置に関するものである。
ビデオデータを圧縮するために、様々なビデオコーディング技術を使用することができ
る。ビデオコーディングは、1つまたは複数のビデオコーディング規格に従って実行され
る。たとえば、ビデオコーディング規格には、多用途ビデオコーディング(VVC)、共
同探査テストモデル(JEM)、高効率ビデオコーディング(H.265/HEVC)、高
度なビデオコーディング(H.264/AVC)、動画エキスパートグループ(MPEG)
コーディングなどが含まれる。ビデオコーディングは、一般に、ビデオ画像またはシーケ
ンスに存在する冗長性を利用する予測方法(例えば、インター予測、イントラ予測など)
を利用する。ビデオコーディング技術の重要な目標は、ビデオ品質の低下を回避または最
小限に抑えながら、ビデオデータを、より低いビットレートを使用する形式に圧縮するこ
とである。
本開示の例は、マージ関連モードの構文シグナリングの効率を改善するための方法を提
供する。
本開示の第2の態様によれば、現在の予測ブロックに関連付けられる参照画像リスト内
の参照画像を取得することと、現在の画像から第1の参照画像への第1の動きベクトルに
基づいて、インター予測を生成することと、前記現在の予測ブロックに関連付けられるイ
ントラ予測モードを取得することと、前記イントラ予測に基づいて、前記現在の予測ブロ
ックのイントラ予測を生成することと、前記インター予測と前記イントラ予測を平均する
ことにより、前記現在の予測ブロックの最終予測を生成することと、前記現在の予測ブロ
ックが、最も可能性の高いモード(MPM)ベースのイントラモード予測に対して、イン
ターモードまたはイントラモードのどちらとして扱われるかを特定することと、を妥協す
るビデオコーディングの方法。
本開示の第4の態様によれば、インストラクションを記憶する非一時的なコンピュータ
可読記憶媒体が提供される。1つまたは複数のプロセッサによって実行されると、現在の
予測ブロックに関連付けられる参照画像リスト内の参照画像を取得することと、現在の画
像から第1の参照画像への第1の動きベクトルに基づいて、インター予測を生成すること
と、前記現在の予測ブロックに関連付けられるイントラ予測モードを取得することと、前
記イントラ予測に基づいて、前記現在の予測ブロックのイントラ予測を生成することと、
前記インター予測と前記イントラ予測を平均することにより、前記現在の予測ブロックの
最終予測を生成することと、前記現在の予測ブロックが、最も可能性の高いモード(MP
M)ベースのイントラモード予測に対して、インターモードまたはイントラモードのどち
らとして扱われるかを特定することと、を含む動作を、コンピューティングデバイスに実
行させる。
前述の一般的な説明および以下の詳細な説明の両方は単なる例であり、本開示を限定す
るものではないことを理解されたい。
本明細書に組み込まれ、その一部を構成する添付の図面は、本開示と一致する例を示し
、説明とともに、本開示の原理を説明するのに役立つ。
本開示の一例による、エンコーダのブロック図である。 本開示の一例による、デコーダのブロック図である。 本開示の一例による、複合インターとイントラ予測(CIIP)を生成するための方法を示すフローチャートである。 本開示の一例による、CIIPを生成するための方法を示すフローチャートである。 本開示の一例による、マルチタイプツリー構造におけるブロックパーティションを示す図である。 本開示の一例による、マルチタイプツリー構造におけるブロックパーティションを示す図である。 本開示の一例による、マルチタイプツリー構造におけるブロックパーティションを示す図である。 本開示の一例による、マルチタイプツリー構造におけるブロックパーティションを示す図である。 本開示の一例による、マルチタイプツリー構造におけるブロックパーティションを示す図である。 本開示の一例による、複合インターとイントラ予測(CIIP)を示す図である。 本開示の一例による、複合インターとイントラ予測(CIIP)を示す図である。 本開示の一例による、複合インターとイントラ予測(CIIP)を示す図である。 本開示の一例による、MPM候補リスト生成プロセスのフローチャートである。 本開示の一例による、MPM候補リスト生成プロセスのフローチャートである。 本開示の一例による、VVCにおける既存のCIIPデザインのワークフローを示す図である。 本開示の一例による、BDOFを除去することによる提案されたCIIP方法のワークフローを示す図である。 本開示の一例による、POC距離に基づいて予測リストを選択する、単一予測ベースのCIIPのワークフローを示す図である。 本開示の一例による、MPM候補リスト生成のためにCIIPブロックを有効にするときの方法のフローチャートである。 本開示の一例による、MPM候補リスト生成のためにCIIPブロックを無効にするときの方法のフローチャートである。 本開示の一例による、ユーザインターフェースと結合されたコンピューティング環境を示す図である。
ここで、本開示の例を詳細に参照し、その例を添付の図面に示す。以下の説明は、別段
の記載がない限り、異なる図面における同じ番号が同じまたは類似の要素を表す添付の図
面を参照している。本開示の例の以下の説明に記載されている実施の形態は、本開示と一
致するすべての実施の形態を表すわけではない。その代わり、それらは、添付の特許請求
の範囲に記載されている本開示に関連する態様と一致する装置および方法の単なる例であ
る。
本開示で使用される用語は、特定の実施の形態を説明することのみを目的としており、
本開示を限定することを意図するものではない。本開示および添付の特許請求の範囲で使
用されるように、単数形「a」、「an」、および「the」は、文脈で明確に示されていない
限り、複数形も含むことを意図している。ここで使用される「および/または」という用
語は、関連するリストされたアイテムの1つまたは複数の任意またはすべての可能な組み
合わせを意味し、含むことを意図することも理解されたい。
ここで、「第1」、「第2」、「第3」などの用語を使用して様々な情報を説明するこ
とができるが、情報はこれらの用語によって限定されるべきではないことを理解されたい
。これらの用語は、あるカテゴリの情報を別のカテゴリと区別するためにのみ使用される
。例えば、本開示の範囲から逸脱することなく、第1の情報は、第2の情報と呼ばれるこ
とができ、同様に、第2の情報は、第1の情報と呼ばれることもできる。ここで使用され
る場合、「もし」という用語は、文脈に応じて、「ときに」または「に際して」または「
判断に応じて」を意味すると理解され得る。
HEVC規格の第1のバージョンは、2013年10月に完成し、これは、前世代のビ
デオコーディング規格H.264/MPEG AVCと比較して、約50%のビットレー
ト節約または同等の知覚品質を提供する。HEVC規格は、その前身よりも大幅なコーデ
ィングの改善を提供しているが、HEVCにコーディングツールを追加することで、優れ
たコーディング効率を達成できるという証拠がある。これに基づいて、VCEGとMPE
Gの両方が、将来のビデオコーディング標準化のための新しいコーディングテクノロジー
の調査作業を開始した。コーディング効率の大幅な向上を可能にする高度なテクノロジー
の重要な研究が開始されるために、2015年10月に、ITU-TVECGとISO/IE
C MPEGによって1つのJoint Video Exploration Team(JVET)が結成され
た。共同探査モデル(JEM)と呼ばれる1つの参照ソフトウェアは、HEVCテストモ
デル(HM)の上にいくつかの追加のコーディングツールを統合することにより、JVE
Tによって維持されていた。
2017年10月に、HEVCを超える機能を備えたビデオ圧縮に関する共同提案募集
(CfP)が、ITU-TおよびISO/IECによって発行された。2018年4月に、第
10回JVET会議で、23のCfP応答が受信され評価され、HEVCよりも約40%
の圧縮効率ゲインが実証された。このような評価結果に基づいて、JVETは、Versatil
e Video Coding(VVC)と呼ばれる新世代のビデオコーディング規格を開発するため
の新しいプロジェクトを立ち上げた。同じ月に、VVC規格の参照実装を実証するために
、VVCテストモデル(VTM)と呼ばれる1つの参照ソフトウェアコードベースが確立
された。
HEVCと同様に、VVCは、ブロックベースのハイブリッドビデオコーディングフレ
ームワーク上に構成されている。図1(以下に説明)は、一般的なブロックベースのハイ
ブリッドビデオ符号化システムのブロック図を与える。入力ビデオ信号は、ブロック(コ
ーディングユニット(CU)と呼ばれる。)ごとに処理される。VTM-1.0では、C
Uは最大128x128ピクセルにすることができる。ただし、クアッドツリーのみに基
づいてブロックを区分するHEVCとは異なり、VVCでは、クアッド/二元/ターナリー
ツリーに基づくさまざまなローカル特性に適応するために、1つのコーディングツリーユ
ニット(CTU)がCUに分割される。さらに、HEVCにおける複数のパーティション
ユニットタイプの概念が除去され、つまり、CUと予測ユニット(PU)と変換ユニット
(TU)の分離がVVCに存在しなくなり、その代わりに、各CUは常に、追加のパーテ
ィションなしで予測と変換の両方の基本単位として使用される。マルチタイプツリー構造
では、1つのCTUが最初にクアッドツリー構造によって区分される。次に、各クアッド
ツリーリーフノードが二元およびターナリツリー構造でさらに区分されることができる。
図図5A、図5B、図5C、図5D、図5D、図5E(以下で説明する。)に示すように
、それぞれ、四元パーティショニング、水平二元パーティショニング、垂直二元パーティ
ショニング、水平三元パーティショニング、および垂直三元パーティショニングの5つの
分割タイプがある。
図1(以下に説明)では、空間予測および/または時間予測を実行することができる。
空間予測(または「イントラ予測」)は、同一のビデオ画像/スライスにおけるすでにコ
ーディングされた隣接ブロックのサンプル(参照サンプルと呼ばれる。)からのピクセル
を使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間的
冗長性を低減する。時間予測(「インター予測」または「動き補償予測」とも呼ばれる。
)は、すでにコーディングされたビデオ画像からの再構成されたピクセルを使用して、現
在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間的冗長性を低減す
る。特定のCUについての時間予測信号は、通常、現在のCUとその時間参照との間の動
きの量と方向を示す1つまたは複数の動きベクトル(MV)によってシグナリングされる
。また、複数の参照画像がサポートされている場合には、1つの参照画像インデックスが
追加で送信される。これは、時間予測信号が参照画像ストアにおけるどの参照画像から来
るかを識別するために使用される。空間予測および/または時間予測の後、エンコーダに
おけるモード決定ブロックは、例えば、レート歪み最適化方法に基づいて、最適な予測モ
ードを選択する。次に、予測ブロックは、現在のビデオブロックから差し引かれ、予測残
差は、変換と量子化を使用して無相関化される。
量子化された残差係数は、逆量子化と逆変換されて、再構成された残差を形成し、次に
予測ブロックに追加されて、CUの再構成された信号を形成する。デブロッキングフィル
ター、サンプルアダプティブオフセット(SAO)、アダプティブインループフィルター
(ALF)などのさらなるインループフィルタリングは、参照画像ストアに配置され将来
のビデオブロックのコーディングに使用される前に、再構成されたCUに適用できる。出
力ビデオビットストリームを形成するために、コーディングモード(インターまたはイン
トラ)、予測モード情報、動き情報、および量子化された残差係数は、すべてエントロピ
ーコーディングユニットに送信され、さらに圧縮およびパックされてビットストリームを
形成する。
図2(以下に説明)は、ブロックベースのビデオデコーダの一般的なブロック図を示す
。ビデオビットストリームは、最初にエントロピーデコードユニットでエントロピーデコ
ードされる。コーディングモードおよび予測情報は、空間予測ユニット(イントラコーデ
ィングされている場合)または時間予測ユニット(インターコーディングされている場合
)のいずれかに送信されて、予測ブロックを形成する。残差変換係数は、逆量子化ユニッ
トと逆変換ユニットに送信されて、残差ブロックを再構成する。次に、予測ブロックと残
差ブロックは、一緒に加算される。再構成されたブロックは、参照画像ストアに格納され
る前に、インループフィルタリングをさらに通過することができる。次に、参照画像スト
アにおける再構成されたビデオは、ディスプレイデバイスを駆動するために送出され、将
来のビデオブロックを予測するためにも使用される。
図1は、典型的なエンコーダ100を示す。エンコーダ100は、ビデオ入力110、
動き補償112、動き推定114、イントラ/インターモード決定116、ブロック予測
器140、加算器128、変換130、量子化132、予測関連情報142、イントラ予
測118、画像バッファ120、逆量子化134、逆変換136、加算器126、メモリ
124、インループフィルタ122、エントロピーコーディング138、およびビットス
トリーム144を有する。
図2は、典型的なデコーダ200のブロック図を示す。デコーダ200は、ビットスト
リーム210、エントロピーデコード212、逆量子化214、逆変換216、加算器2
18、イントラ/インターモード選択220、イントラ予測222、メモリ230、イン
ループフィルタ228、動き補償224、画像バッファ226、予測関連情報234、お
よびビデオ出力232を有する。
図3は、本開示による、複合インターとイントラ予測(CIIP)を生成するための例
示的な方法300を示す。
ステップ310において、現在の予測ブロックに関連付けられる第1の参照画像と第2
の参照画像を取得する。ここで、第1の参照画像は表示順で現在の画像の前にあり、第2
の参照画像は表示順で現在の画像の後にある。
ステップ312において、現在の予測ブロックから第1の参照画像内の参照ブロックへ
の第1の動きベクトルMV0に基づいて、第1の予測L0を取得する。
ステップ314において、現在の予測ブロックから第2の参照画像内の参照ブロックへ
の第2の動きベクトルMV1に基づいて、第2の予測L1を取得する。
図4は、本開示による、CIIPを生成するための例示的な方法を示す。たとえば、当
該方法は、CIIPを生成するために、単一予測ベースのインター予測とMPMベースの
イントラ予測が含まれる。
ステップ410において、現在の予測ブロックに関連付けられる参照画像リストにおけ
る参照画像を取得する。
ステップ412において、現在の画像から第1の参照画像への第1の動きベクトルに基
づいて、インター予測を生成する。
ステップ414において、現在の予測ブロックに関連付けられるイントラ予測モードを
取得する。
ステップ416において、イントラ予測に基づいて、現在の予測ブロックのイントラ予
測を生成する。
ステップ418において、インター予測とイントラ予測を平均することにより、現在の
予測ブロックの最終予測を生成する。
ステップ420において、現在の予測ブロックが、最も可能性の高いモード(MPM)
ベースのイントラモード予測について、インターモードまたはイントラモードのどちらと
して扱われるかを特定する。
図5Aは、本開示の一例による、マルチタイプツリー構造におけるブロック四元パーテ
ィションを示す図を示す。
図5Bは、本開示の一例による、マルチタイプツリー構造におけるブロック垂直二元パ
ーティションを示す図を示す。
図5Cは、本開示の一例による、マルチタイプツリー構造におけるブロック水平二元パ
ーティションを示す図を示す。
図5Dは、本開示の一例による、マルチタイプツリー構造におけるブロック垂直三元パ
ーティションを示す図を示す。
図5Eは、本開示の一例による、マルチタイプツリー構造におけるブロック水平三元パ
ーティションを示す図を示す。
複合インターとイントラ予測
図1、図2に示されるように、インターとイントラ予測方法は、ハイブリッドビデオコ
ーディングスキームで使用される。ここで、各PUは、時間域または空間域のいずれかの
みで、相関性を利用するために、インター予測またはイントラ予測を選択することが許可
され、両方ではできない。ただし、従来の文献で指摘されているように、インター予測ブ
ロックとイントラ予測ブロックによって生成された残差信号は、互いに非常に異なる特性
を示す可能性がある。したがって、2種類の予測を効率的に組み合わせることができれば
、予測残差のエネルギーを削減してコーディング効率を向上させるために、もう1つの正
確な予測が期待できる。さらに、自然なビデオコンテンツでは、動くオブジェクトの動き
が複雑になる可能性がある。たとえば、古いコンテンツ(たとえば、以前にコーディング
された画像に含まれるオブジェクト)と新たな新しいコンテンツ(たとえば、以前にコー
ディングされた画像で除外されるオブジェクト)の両方を含む領域が存在する可能性があ
る。このようなシナリオでは、インター予測も、イントラ予測も、現在のブロックの1つ
の正確な予測を提供できない。
予測効率をさらに改善するために、VVC規格には、マージモードによってコーディン
グされた1つのCUのイントラ予測とインター予測を組み合わせる複合インターとイント
ラ予測(CIIP)が採用されている。具体的には、マージCUごとに、1つの追加フラ
グは、CIIPが現在のCUに対して有効になっているかどうかを示すために、シグナリ
ングされる。輝度コンポーネントに対して、CIIPは、平面モード、DCモード、水平
モード、垂直モードを含む頻繁に使用される4つのイントラモードをサポートする。彩度
コンポーネントに対して、DM(つまり、彩度は、輝度コンポーネントの同じイントラモ
ードを再利用する)は、追加のシグナリングなしで常に適用される。さらに、既存のCI
IPデザインでは、加重平均が適用され、1つのCIIP CUのインター予測サンプル
とイントラ予測サンプルが結合される。具体的には、平面モードまたはDCモードが選択
されている場合において、等しい重み(つまり、0.5)が適用される。それ以外の場合
(つまり、水平モードまたは垂直モードのいずれかが適用される。)、現在のCUは最初
に水平(水平モードの場合)または垂直(垂直モードの場合)に4つの同じサイズの領域
に分割される。
さらに、現在のVVC動作仕様では、1つのCIIP CUのイントラモードが、最も
可能性の高いモード(MPM)メカニズムを介して、その隣接するCIIP CUのイン
トラモードを予測するための予測子として使用されることができる。具体的には、各CI
IP CUについて、その隣接するブロックもCIIP CUである場合において、それ
らの隣接ブロックのイントラモードは、最初に、平面モード、DCモード、水平モード、
および垂直モード内の最も近いモードに丸められ、次に、現在のCUのMPM候補リスト
に追加される。ただし、各イントラCUのMPMリストを構成するときには、その隣接す
るブロックの1つは、CIIPモードでコーディングされていると、使用不可と見なされ
る。つまり、1つのCIIP CUのイントラモードは、その隣接するイントラCUのイ
ントラモードを予測することを許可されていない。図7Aと図7B(以下で説明する)は
、イントラCUとCIIP CUのMPMリスト生成プロセスを比較する。
ここで、shiftとooffsetは、それぞれ、15-BDと1≪(14-BD)+2・(1≪13
)に等しく、二重予測のL0とL1予測信号を組み合わせるために適用される右シフト値
とオフセット値である。
図6Aは、本開示の一例による、水平モードの複合インターとイントラ予測を示す図を
示す。
図6Bは、本開示の一例による、垂直モードの複合インターとイントラ予測を示す図を
示す。
図6Cは、本開示の一例による、平面モードとDCモードの複合インターとイントラ予
測を示す図を示す。
図7Aは、本開示の一例による、イントラCUSのMPM候補リスト生成プロセスのフ
ローチャートを示す。
図7Bは、本開示の一例による、CIIP CUのMPM候補リスト生成プロセスのフ
ローチャートを示す。
CIIPに対する改善
CIIPは、従来の動き補償予測の効率を高めることができるが、そのデザインをさら
に改善することができる。具体的には、VVCにおける既存のCIIPデザインにおける
以下の問題は、本開示で識別されている。
まず、「複合インターとイントラ予測」のセクションで説明したように、CIIPは、
インターとイントラ予測のサンプルを組み合わせるため、各CIIP CUは、その再構
成された隣接サンプルを使用して予測信号を生成する必要がある。これは、1つのCII
P CUのデコードが、その隣接ブロックの完全な再構成に依存していることを意味する
。このような相互依存性のため、実際のハードウェア実装では、CIIPは、隣接する再
構成されたサンプルがイントラ予測に利用できるようになる再構成段階で実行する必要が
ある。再構成段階でのCUのデコードは、順次に(つまり、1つずつ)実行しなければな
らないため、CIIPプロセスに含まれる計算演算(例えば、乗算、加算、ビットシフト
)の数は、リアルタイムデコードの十分なスループットを確保するために、高すぎるもの
とすることができない。
「双方向オプティカルフロー」のセクションで述べたように、BDOFは、前方および
後方の両方の時間方向からの2つの参照ブロックから、1つのインターコーディングされ
たCUが予測されるときに、予測品質が向上するように、有効にされる。図8(以下に説
明)に示すように、現在のVVCでは、BDOFも、CIIPモードのインター予測サン
プルを生成するために関与している。BDOFによるさらなる複雑性を考えると、このよ
うなデザインは、CIIPが有効にされる場合、ハードウェアコーデックのエンコード/
デコードスループットが大幅に低下する可能性がある。
次に、現在のCIIPデザインでは、1つのCIIP CUが、二重予測される1つの
マージ候補を参照する場合に、リストL0およびL1の両方の動き補償予測信号を生成す
る必要がある。1つまたは複数のMVが整数精度でない場合においては、部分的なサンプ
ル位置でサンプルを補間するために、追加の補間プロセスを呼び出しなければならない。
このようなプロセスは、計算上の複雑さを増すだけでなく、外部メモリからより多くの参
照サンプルにアクセスする必要がある場合、メモリ帯域幅も増やす。
それから、「複合インターとイントラ予測」のセクションで論じたように、現在のCI
IPデザインでは、CIIP CUのイントラモードとイントラCUのイントラモードは
、それらの隣接ブロックのMPMリストを構成するときに異なって扱われる。具体的には
、1つの現在のCUがCIIPモードでコーディングされている場合には、その隣接する
CIIP CUは、イントラと見なされ、つまり、隣接するCIIP CUのイントラモ
ードがMPM候補リストに追加されることができる。ただし、現在のCUがイントラモー
ドでコーディングされている場合には、その隣接するCIIP CUは、インターと見な
され、つまり、隣接するCIIP CUのイントラモードがMPM候補リストから除外さ
れている。このような統一されていないデザインは、VVC規格の最終バージョンに最適
でない可能性がある。
図8は、本開示の一例による、VVCにおける既存のCIIPデザインのワークフロー
を示す図を示す。
CIIPの単純化
本開示では、ハードウェアコーデック実装を容易にするために既存のCIIPデザイン
を単純化するための方法が提供される。一般に、本開示で提案される技術の主なアスペク
トは、以下のように要約される。
まず、CIIPコーディング/デコードスループットを改善するために、CIIPモー
ドでのインター予測サンプルの生成からBDOFを除外することが提案される。
次に、計算上の複雑さおよびメモリ帯域幅の消費を低減するためには、1つのCIIP
CUが二重予測される(すなわち、L0およびL1 MVの両方を有する)場合におい
ては、インター予測サンプルを生成するために、ブロックを二重予測から単一予測に変換
する方法が提案される。
それから、2つの方法は、隣接するブロックのMPM候補を形成するときに、イントラ
CUとCIIPのイントラモードを調和させるために提案される。
BDOFのないCIIP
「問題ステートメント」のセクションで指摘されているように、BDOFは、現在のC
Uが二重予測されるとき、CIIPモードについてのインター予測サンプルを生成するよ
うに、常に有効にされている。BDOFのさらなる複雑さのため、既存のCIIPデザイ
ンは、エンコード/デコードスループットが大幅に低下する可能性があり、特に、リアル
タイムデコードがVVCデコーダーに対して困難になる可能性がある。一方、CIIP
CUについては、その最終予測サンプルは、インター予測サンプルとイントラ予測サンプ
ルを平均することによって生成される。言い換えると、BDOFによる改良した予測サン
プルは、CIIP CUの予測信号として直接使用されない。したがって、従来の二重予
測CU(ここで、BDOFは、予測サンプルを生成するために直接に適用される)と比較
すると、BDOFから得られる対応する改善はCIIP CUでは効率が低くなる。した
がって、上記の事情に基づいて、CIIPモードのインター予測サンプルを生成するとき
にBDOFを無効にすることが提案される。図9(以下に説明)は、BDOFを除去した
後の提案されたCIIPプロセスの対応するワークフローを示す。
図9は、本開示の一例による、BDOFを除去することによる提案されたCIIP方法
のワークフローを示す図を示す。
単一予測に基づくCIIP
上記のように、1つのCIIP CUによって参照されるマージ候補が二重予測される
ときには、L0およびL1予測信号の両方を生成し、CU内のサンプルを予測する。メモ
リ帯域幅および補間の複雑さを低減するために、本開示の一実施形態では、(現在のCU
が二重予測されている場合でも)単一予測を使用して生成されたインター予測サンプルの
みを使用して、CIIPモードにおけるイントラ予測サンプルと結合することになる。具
体的には、現在のCIIP CUが単一予測の場合において、インター予測サンプルは、
イントラ予測サンプルと直接結合される。それ以外の場合(つまり、現在のCUが二重予
測される場合)には、CIIPによって使用されるインター予測サンプルは、1つの予測
リスト(L0またはL1)からの単一予測に基づいて生成される。予測リストを選択する
には、さまざまな方法が適用できる。第1の方法では、2つの参照画像によって予測され
る任意のCIIPブロックに対して、第1の予測(つまり、リストL0)を常に選択する
ことが提案されている。
第2の方法では、2つの参照画像によって予測される任意のCIIPブロックに対して
、第2の予測(すなわち、リストL1)を常に選択することが提案される。第3の方法で
は、1つの適応方法は、現在の画像からの画像順序カウント(POC)距離が小さい1つ
の参照画像に関連付けられた予測リストが選択される場合に、適用される。図10(以下
で説明)は、POC距離に基づいて予測リストを選択する、単一予測ベースのCIIPの
ワークフローを示す。
最後に、最後の方法では、現在のCUが単一予測されている場合にのみCIIPモード
を有効にすることが提案されている。さらに、オーバーヘッドを削減するために、CII
Pの有効化/無効化フラグのシグナリングは、現在のCIIP CUの予測方向に依存す
る。現在のCUが単一予測される場合においては、CIIPフラグがビットストリームで
シグナリングされ、CIIPが有効か無効かが示される。それ以外の場合(つまり、現在
のCUが二重に予測される場合)は、CIIPフラグのシグナリングはスキップされ、常
にfalseと推測され、つまり、CIIPは常に無効にされる。
図10は、本開示の一例による、POC距離に基づいて予測リストを選択する、単一予
測ベースのCIIPのワークフローを示す図を示す。
MPM候補リスト構成のためのイントラCUとCIIPのイントラモードの調和
上記のように、現在のCIIPデザインは、イントラCUとCIIP CUのイントラ
モードを使用してそれらの隣接ブロックのMPM候補リストを形成する方法に関して、統
一されていない。具体的には、イントラCUとCIIP CUのイントラモードの両方で
は、CIIPモードでコーディングされた隣接ブロックのイントラモードが予測できる。
ただし、イントラCUのイントラモードのみでは、イントラCUのイントラモードが予測
できる。もう1つの統一されたデザインを実現するために、2つの方法は、MPMリスト
構成のためのイントラCUとCIIPのイントラモードの使用法を調和させて、このセク
ションで提案される。
第1の方法では、CIIPモードをMPMリスト構成のためのインターモードとして扱
うことが提案されている。具体的には、1つのCIIP CUまたは1つのイントラCU
のいずれかのMPMリストを生成するときには、隣接ブロックがCIIPモードでコーデ
ィングされている場合、隣接ブロックのイントラモードは使用不可としてマークされる。
このような方法では、CIIPブロックのイントラモードを使用してMPMリストを構成
することができない。逆に、第2の方法では、CIIPモードをMPMリスト構成のため
のイントラモードとして扱うことが提案されている。具体的には、この方法では、CII
P CUのイントラモードでは、隣接するCIIPブロックとイントラブロックの両方の
イントラモードが予測できる。図11Aと図11B(以下に説明)は、上記の2つの方法
が適用される場合のMPM候補リスト生成プロセスを示す。
本開示の他の実施形態は、ここで開示される本開示の仕様および実施を考慮することか
ら当業者には明らかである。本願は、その一般原則に従い、当技術分野で知られているま
たは慣習的な慣行の範囲内にある本開示からの逸脱を含む、本開示の任意の変形、使用、
または適合をカバーすることを意図している。本開示の真の範囲および精神は以下の特許
請求の範囲によって示され、明細書および実施例は単なる例として見なされることが意図
されている。
本開示は、上記に記載され、添付の図面に示されている具体的な例に限定されず、その
範囲から逸脱することなく、様々な修正および変更を行うことができることを理解された
い。本開示の範囲は、添付の特許請求の範囲によってのみ制限されることが意図されてい
る。
図11Aは、本開示の一例による、MPM候補リスト生成のためにCIIPブロックを
有効にするときの方法のフローチャートを示す。
図11Bは、本開示の一例による、MPM候補リスト生成のためにCIIPブロックを
無効にするときの方法のフローチャートを示す。
図12は、ユーザインターフェース1260と結合されたコンピューティング環境12
10を示す。コンピューティング環境1210は、データ処理サーバーの一部であり得る
。コンピューティング環境1210は、プロセッサ1220と、メモリ1240と、I/
Oインターフェース1250とを含む。
プロセッサ1220は、通常、表示、データ取得、データ通信、および画像処理に関連
する操作など、コンピューティング環境1210の全体的な操作を制御する。プロセッサ
1220は、上記の方法のすべてまたはいくつかのステップを行うための命令を実行する
1つまたは複数のプロセッサを含み得る。さらに、プロセッサ1220は、プロセッサ1
220と他の構成要素との間の相互作用を容易にする1つまたは複数の回路を含み得る。
プロセッサは、中央処理ユニット(CPU)、マイクロプロセッサ、シングルチップマシ
ン、GPUなどであり得る。
メモリ1240は、コンピューティング環境1210の動作をサポートするための様々
なタイプのデータを格納するように構成される。そのようなデータの例は、コンピューテ
ィング環境1210で動作する任意のアプリケーションまたは方法に用いる命令、ビデオ
データ、画像データなどを含む。メモリ1240は、任意のタイプの揮発性または非揮発
性メモリデバイス、または、それらの組み合わせ、例えば、静的ランダムアクセスメモリ
(SRAM)、電気的に消去可能なプログラマブル読み取り専用メモリ(EEPROM)
、消去可能プログラマブル読み取り専用メモリ(EPROM)、プログラム可能な読み取
り専用メモリ(PROM)、読み取り専用メモリ(ROM)、磁気メモリ、フラッシュメ
モリ、磁気ディスクまたは光ディスクを使用して実現できる。
I/Oインターフェース1250は、プロセッサ1220と、キーボード、クリックホ
イール、ボタンなどの周辺インターフェースモジュールとの間のインターフェースを提供
する。ボタンには、ホームボタン、スキャン開始ボタン、およびスキャン停止ボタンが含
まれるが、これらに限定されていない。I/Oインターフェース1250は、エンコーダ
およびデコーダと結合することができる。
一実施形態では、上記した方法を実行するために、コンピューティング環境1210内
のプロセッサ1220によって実行可能である、メモリ1240に含まれるような複数の
プログラムを含む非一時的なコンピュータ可読記憶媒体も提供される。例えば、非一時的
なコンピュータ可読記憶媒体は、ROM、RAM、CD-ROM、磁気テープ、フロッピ
ーディスク、光学データ記憶装置などであり得る。
非一時的なコンピュータ可読記憶媒体は、1つまたは複数のプロセッサを有するコンピ
ューティングデバイスによって実行するための複数のプログラムをその中に格納しており
、複数のプログラムは、1つまたは複数のプロセッサによって実行されると、コンピュー
ティングデバイスが上記した動作予測するための方法を実行するものである。
一実施形態では、コンピューティング環境1210は、上述した方法を実行するために
、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DS
P)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PL
D)、フィールドプログラマブルゲートアレイ(FPGA)、グラフィカルプロセッシン
グユニット(GPU)、コントローラー、マイクロコントローラー、マイクロプロセッサ
ー、またはその他の電子コンポーネントにより実現できる。
本開示の態様によれば、ビデオビットストリームを取得することと、現在の画像から少なくとも1つの参照画像それぞれへの少なくとも1つの動きベクトルに基づいて、前記ビデオビットストリームから現在のコーディングブロックのインター予測を生成することと、イントラ予測モードに基づいて、前記ビデオビットストリームから前記現在のコーディングブロックのイントラ予測を生成することと、前記インター予測と前記イントラ予測を加重平均することにより、前記現在のコーディングブロックの最終予測を生成することと、隣接コーディングブロックの最も可能性の高いモード(MPM)リストを構成するときに、前記現在のコーディングブロックがインターモードとして扱われると特定し、前記現在のコーディングブロックの前記イントラモードを使用不可としてマークすることと、を含むビデオコーディングの方法であって、双方向オプティカルフロー(BDOF)動作は前記現在のコーディングブロックに対して無効にされる、ビデオコーディングの方法。

Claims (26)

  1. 前記BDOF動作が適用されないかどうかを特定することは、前記現在の予測ブロック
    の最終予測を生成するためにCIIPが適用されるという条件で前記BDOF動作が適用
    されないと特定することをさらに含む、請求項1に記載の方法。
  2. 前記BDOF動作が適用されると特定することは、前記現在の予測ブロックの最終予測
    を生成するためにCIIPが適用されないときに前記BDOF動作が適用されると特定す
    ることをさらに含む、請求項1に記載の方法。
  3. 前記現在のブロックの前記二重予測は、前記第1の予測L0と前記第2の予測L1とを
    平均することに基づいて計算される、請求項2に記載の方法。
  4. 現在の予測ブロックに関連付けられる参照画像リスト内の参照画像を取得することと、
    現在の画像から第1の参照画像への第1の動きベクトルに基づいて、インター予測を生成
    することと、
    前記現在の予測ブロックに関連付けられるイントラ予測モードを取得することと、
    前記イントラ予測に基づいて、前記現在の予測ブロックのイントラ予測を生成することと

    前記インター予測と前記イントラ予測を平均することにより、前記現在の予測ブロック
    の最終予測を生成することと、
    前記現在の予測ブロックが、最も可能性の高いモード(MPM)ベースのイントラモー
    ド予測に対して、インターモードまたはイントラモードのどちらとして扱われるかを特定
    することと、
    を妥協するビデオコーディングの方法。
  5. 前記現在の予測ブロックが前記参照画像リストL0内の1つの参照画像から予測される
    ときに、前記参照画像リストはL0である、請求項6に記載の方法。
  6. 前記現在の予測ブロックが前記参照画像リストL1内の1つの参照画像から予測される
    ときに、前記参照画像リストはL1である、請求項6に記載の方法。
  7. 前記現在の予測ブロックが、前記参照画像リストL0内の1つの第1の参照画像と前記
    参照画像リストL1内の1つの第2の参照画像から予測されるときに、前記参照画像リス
    トはL0である、請求項6に記載の方法。
  8. 前記現在の予測ブロックが、前記参照画像リストL0内の1つの第1の参照画像と前記
    参照画像リストL1内の1つの第2の参照画像から予測されるときに、前記参照画像リス
    トはL1である、請求項6に記載の方法。
  9. 前記参照画像リストは、前記現在の予測ブロックが、前記参照画像リストL0内の1つ
    の第1の参照画像と前記参照画像リストL1内の1つの第2の参照画像から予測されると
    きに、前記現在の画像までの画像順序カウント(POC)距離がより小さい1つの参照画
    像に関連付けられるものである、請求項6に記載の方法。
  10. 前記現在の予測ブロックは、インターモードとして扱われ、前記現在の予測ブロックの
    前記イントラ予測モードは、MPMベースのイントラモード予測に使用されない、請求項
    6に記載の方法。
  11. 前記現在の予測ブロックは、イントラモードとして扱われ、前記現在の予測ブロックの
    前記イントラ予測モードは、MPMベースのイントラモード予測に使用される、請求項6
    に記載の方法。
  12. 前記BDOF動作が適用されないかどうかを特定することは、前記現在の予測ブロック
    の最終予測を生成するために複合インターとイントラ予測(CIIP)が適用されるとい
    う条件で前記BDOF動作が適用されないと特定することをさらに含む、請求項14に記
    載の非一時的なコンピュータ可読記憶媒体。
  13. 前記BDOF動作が適用されると特定することは、前記現在の予測ブロックの最終予測
    を生成するためにCIIPが適用されないときに前記BDOF動作が適用されると特定す
    ることをさらに含む、請求項14に記載の非一時的なコンピュータ可読記憶媒体。
  14. 前記現在の予測ブロックの前記二重予測を計算することは、前記第1の予測L0と前記
    第2の予測L1とに基づいて計算される、請求項15に記載の非一時的なコンピュータ可
    読記憶媒体。
  15. 1つまたは複数のプロセッサを有するコンピューティングデバイスによって実行される
    複数のプログラムを格納する非一時的なコンピュータ可読記憶媒体であって、
    前記複数のプログラムは、前記1つまたは複数のプロセッサによって実行されると、
    現在の予測ブロックに関連付けられる参照画像リスト内の参照画像を取得することと、
    現在の画像から第1の参照画像への第1の動きベクトルに基づいて、インター予測を生
    成することと、
    前記現在の予測ブロックに関連付けられるイントラ予測モードを取得することと、
    前記イントラ予測に基づいて、前記現在の予測ブロックのイントラ予測を生成すること
    と、
    前記インター予測と前記イントラ予測を平均することにより、前記現在の予測ブロック
    の最終予測を生成することと、
    前記現在の予測ブロックが、最も可能性の高いモード(MPM)ベースのイントラモー
    ド予測に対して、インターモードまたはイントラモードのどちらとして扱われるかを特定
    することと、
    を含む動作を、前記コンピューティングデバイスに実行させる、非一時的なコンピュータ
    可読記憶媒体。
  16. 前記現在の予測ブロックが前記参照画像リストL0内の1つの参照画像から予測される
    ときに、前記参照画像リストはL0である、請求項19に記載の非一時的なコンピュータ
    可読記憶媒体。
  17. 前記現在の予測ブロックが前記参照画像リストL1内の1つの参照画像から予測される
    ときに、前記参照画像リストはL1である、請求項19に記載の非一時的なコンピュータ
    可読記憶媒体。
  18. 前記現在の予測ブロックが、前記参照画像リストL0内の1つの第1の参照画像と前記
    参照画像リストL1内の1つの第2の参照画像から予測されるときに、前記参照画像リス
    トはL0である、請求項19に記載の非一時的なコンピュータ可読記憶媒体。
  19. 前記現在の予測ブロックが、前記参照画像リストL0内の1つの第1の参照画像と前記
    参照画像リストL1内の1つの第2の参照画像から予測されるときに、前記参照画像リス
    トはL1である、請求項19に記載の非一時的なコンピュータ可読記憶媒体。
  20. 前記参照画像リストは、前記現在の予測ブロックが、前記参照画像リストL0内の1つ
    の第1の参照画像と前記参照画像リストL1内の1つの第2の参照画像から予測されると
    きに、前記現在の画像までの画像順序カウント(POC)距離がより小さい1つの参照画
    像に関連付けられるものである、請求項19に記載の非一時的なコンピュータ可読記憶媒
    体。
  21. 前記現在の予測ブロックは、インターモードとして扱われ、前記現在の予測ブロックの
    前記イントラ予測モードは、MPMベースのイントラモード予測に使用されない、請求項
    19に記載の非一時的なコンピュータ可読記憶媒体。
  22. 前記現在の予測ブロックは、イントラモードとして扱われ、前記現在の予測ブロックの
    前記イントラ予測モードは、MPMベースのイントラモード予測に使用される、請求項1
    9に記載の非一時的なコンピュータ可読記憶媒体。
JP2023133311A 2019-01-09 2023-08-18 ビデオコーディングの方法、ビデオコーディング装置、非一時的なコンピュータ可読記憶媒体、ビットストリームおよびビットストリーム内のコンピュータプログラム Pending JP2023156465A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962790421P 2019-01-09 2019-01-09
US62/790,421 2019-01-09
JP2021540266A JP7223858B2 (ja) 2019-01-09 2020-01-09 ビデオコーディングの方法、ビデオコーディングデバイス、コンピュータ可読記憶媒体およびコンピュータプログラム
JP2021127431A JP7303255B2 (ja) 2019-01-09 2021-08-03 ビデオコーディングの方法、ビデオコーディングデバイス、コンピュータ可読記憶媒体およびコンピュータプログラム
JP2022088741A JP2022119936A (ja) 2019-01-09 2022-05-31 複合インターとイントラ予測を改善するためのシステムおよび方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022088741A Division JP2022119936A (ja) 2019-01-09 2022-05-31 複合インターとイントラ予測を改善するためのシステムおよび方法

Publications (1)

Publication Number Publication Date
JP2023156465A true JP2023156465A (ja) 2023-10-24

Family

ID=78890655

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2021127431A Active JP7303255B2 (ja) 2019-01-09 2021-08-03 ビデオコーディングの方法、ビデオコーディングデバイス、コンピュータ可読記憶媒体およびコンピュータプログラム
JP2022088741A Pending JP2022119936A (ja) 2019-01-09 2022-05-31 複合インターとイントラ予測を改善するためのシステムおよび方法
JP2022109740A Pending JP2022172057A (ja) 2019-01-09 2022-07-07 複合インターとイントラ予測を改善するためのシステムおよび方法
JP2023133311A Pending JP2023156465A (ja) 2019-01-09 2023-08-18 ビデオコーディングの方法、ビデオコーディング装置、非一時的なコンピュータ可読記憶媒体、ビットストリームおよびビットストリーム内のコンピュータプログラム
JP2023138923A Pending JP2023162338A (ja) 2019-01-09 2023-08-29 ビデオコーディングの方法、ビデオコーディング装置、非一時的なコンピュータ可読記憶媒体、ビットストリーム、ビットストリーム内のコンピュータプログラム

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2021127431A Active JP7303255B2 (ja) 2019-01-09 2021-08-03 ビデオコーディングの方法、ビデオコーディングデバイス、コンピュータ可読記憶媒体およびコンピュータプログラム
JP2022088741A Pending JP2022119936A (ja) 2019-01-09 2022-05-31 複合インターとイントラ予測を改善するためのシステムおよび方法
JP2022109740A Pending JP2022172057A (ja) 2019-01-09 2022-07-07 複合インターとイントラ予測を改善するためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023138923A Pending JP2023162338A (ja) 2019-01-09 2023-08-29 ビデオコーディングの方法、ビデオコーディング装置、非一時的なコンピュータ可読記憶媒体、ビットストリーム、ビットストリーム内のコンピュータプログラム

Country Status (1)

Country Link
JP (5) JP7303255B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY164898A (en) * 2011-09-29 2018-01-30 Sharp Kk Image decoding device, image decoding method, and image encoding device
NZ777166A (en) * 2018-12-07 2022-11-25 Huawei Tech Co Ltd An encoder, a decoder and corresponding methods of boundary strength derivation of deblocking filter

Also Published As

Publication number Publication date
JP2022172057A (ja) 2022-11-15
JP2022119936A (ja) 2022-08-17
JP2021192510A (ja) 2021-12-16
JP7303255B2 (ja) 2023-07-04
JP2023162338A (ja) 2023-11-08

Similar Documents

Publication Publication Date Title
US11962770B2 (en) Methods and devices for intra sub-partition coding mode
US11381837B2 (en) System and method for improving combined inter and intra prediction
CN117041602B (zh) 用于对视频信号进行编码的方法、计算设备和存储介质
JP7313533B2 (ja) オプティカルフローによる予測洗練化における方法および装置
CN118646871A (zh) 用于视频编解码中的高级语法的方法和设备
EP3942824A1 (en) Methods and apparatuses for prediction refinement with optical flow
KR20220046707A (ko) 광 흐름에 의한 예측 개선, 양방향 광 흐름 및 디코더 측 움직임 벡터 개선을 위한 방법들 및 장치들
JP7303255B2 (ja) ビデオコーディングの方法、ビデオコーディングデバイス、コンピュータ可読記憶媒体およびコンピュータプログラム
CN116800962B (zh) 视频编解码方法、设备和非暂时性计算机可读存储介质
CN117221604A (zh) 用于视频编解码中的高级语法的方法和设备
KR102450491B1 (ko) 조합된 인터 및 인트라 예측을 위한 시스템 및 방법
WO2024016955A1 (en) Out-of-boundary check in video coding
WO2023177810A1 (en) Intra prediction for video coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241008