JP2022537746A - 映像符号化及び復号における動きベクトル予測 - Google Patents

映像符号化及び復号における動きベクトル予測 Download PDF

Info

Publication number
JP2022537746A
JP2022537746A JP2021575348A JP2021575348A JP2022537746A JP 2022537746 A JP2022537746 A JP 2022537746A JP 2021575348 A JP2021575348 A JP 2021575348A JP 2021575348 A JP2021575348 A JP 2021575348A JP 2022537746 A JP2022537746 A JP 2022537746A
Authority
JP
Japan
Prior art keywords
flag
encoding
decoding
merge
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021575348A
Other languages
English (en)
Other versions
JPWO2020260280A5 (ja
Inventor
ギャルピン,フランク
ルリアネック,ファブリス
ロバート,アントワーヌ
ポワリエ,タンギ
Original Assignee
インターデジタル ブイシー ホールディングス フランス,エスアーエス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ブイシー ホールディングス フランス,エスアーエス filed Critical インターデジタル ブイシー ホールディングス フランス,エスアーエス
Publication of JP2022537746A publication Critical patent/JP2022537746A/ja
Publication of JPWO2020260280A5 publication Critical patent/JPWO2020260280A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

映像コーデックは、ピクチャ情報並びに第1及び第2のフラグを符号化及び復号することを含んでもよく、ピクチャ情報の符号化又は復号は、第1のフラグ又は第2のフラグによって示されるコード化モードに基づき、第1のフラグは、サブブロックマージモードを示し、第2のフラグは、インターアフィン予測モードを示し、第1のフラグの符号化又は復号は、第1の確率モデルに基づいたCABACコード化を使用し、第2のフラグの符号化又は復号は、第2の確率モデルに基づいたCABACコード化を使用する。

Description

技術分野
本開示は、映像符号化及び復号に関する。
背景
高圧縮効率を実現するべく、画像及び映像のコード化体系は、通常、映像コンテンツ内の空間及び時間冗長性を活用するために予測及び変換を用いる。一般には、イントラ又はインターフレーム相関を利用するべく、イントラ又はインター予測が使用され、次に、予測誤差又は予測残差と呼ばれることが多い、原ピクチャブロックと予測されたピクチャブロックとの間の差が、変換され、量子化され、及びエントロピーコード化される。映像を復元するべく、予測、変換、量子化、及びエントロピーコード化に対応する逆プロセスにより、圧縮されたデータが復号される。以下に説明するように、圧縮又はコード化効率の向上及び複雑さの低下の一方又は両方を含む(ただし、これに限定されない)、映像符号化及び/又は復号システムの向上を提供することができる様々な変更形態及び実施形態が構想される。
概要
一般に、ある実施形態の一例は、コード化されたビットストリームに含まれる第1のフラグを復号することであって、第1のフラグが、第1の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、コード化されたビットストリームに含まれる第2のフラグを復号することであって、第2のフラグが、第2の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、第1のフラグ又は第2のフラグによって示されたコード化モードに基づいて、コード化されたビットストリームに含まれるピクチャ情報を復号することと、を含み、第1のフラグがサブブロックマージ予測モードを示し、及び第2のフラグがインターアフィン予測モードを示す、方法を含み得る。
一般に、ある実施形態の別の例は、ピクチャ情報の符号化に関連する第1の予測モードを示す第1のフラグの値を決定することと、ピクチャ情報の符号化に関連する第2の予測モードを示す第2のフラグの値を決定することと、符号化されたビットストリームを生成するために、ピクチャ情報の少なくとも一部、並びに第1及び第2のフラグを符号化することであって、第1のフラグが、サブブロックマージ予測モードを示し、及び第1の確率モデルに基づいたCABACコード化を使用してコード化され、第2のフラグが、インターアフィン予測モードを示し、及び第2の確率モデルに基づいたCABACコード化を使用してコード化される、符号化することと、を含む方法を含み得る。
一般に、ある実施形態の別の例は、コード化されたビットストリームに含まれる第1のフラグを復号することであって、第1のフラグが、第1の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、コード化されたビットストリームに含まれる第2のフラグを復号することであって、第2のフラグが、第2の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、第1のフラグ又は第2のフラグによって示されたコード化モードに基づいて、コード化されたビットストリームに含まれる符号化されたピクチャ情報を復号することと、を行うように構成された1つ又は複数のプロセッサを含み、第1のフラグがサブブロックマージ予測モードを示し、及び第2のフラグがインターアフィン予測モードを示す、装置を含み得る。
一般に、ある実施形態の別の例は、ピクチャ情報の符号化に関連する第1の予測モードを示す第1のフラグの値を決定することと、ピクチャ情報の符号化に関連する第2の予測モードを示す第2のフラグの値を決定することと、符号化されたビットストリームを生成するために、ピクチャ情報の少なくとも一部、並びに第1及び第2のフラグを符号化することであって、第1のフラグが、サブブロックマージ予測モードを示し、及び第1の確率モデルに基づいたCABACコード化を使用してコード化され、第2のフラグが、インターアフィン予測モードを示し、及び第2の確率モデルに基づいたCABACコード化を使用してコード化される、符号化することと、を行うように構成された1つ又は複数のプロセッサを含む装置を含み得る。
一般に、ある実施形態の別の例は、符号化されたピクチャ情報を含むようにフォーマットされたビットストリームであって、符号化されたピクチャ情報が、本開示に従った方法の実施形態の例の何れか1つ又は複数に基づいてピクチャ情報を処理することによって符号化されたものである、ビットストリームを含み得る。
一般に、実施形態の1つ又は複数の他の例は、本明細書に記載される方法又は装置に従って、映像データなどのピクチャ情報を符号化又は復号するための命令を保存したコンピュータ可読ストレージ媒体、例えば、不揮発性コンピュータ可読ストレージ媒体も提供し得る。1つ又は複数の実施形態は、本明細書に記載された方法又は装置に従って生成されたビットストリームを保存したコンピュータ可読ストレージ媒体も提供し得る。1つ又は複数の実施形態は、本明細書に記載された方法又は装置に従って生成されたビットストリームを送信又は受信するための方法及び装置も提供し得る。
圧縮効率の向上、及び/又はコード化効率の向上、及び/又は処理効率の向上、及び/又は複雑さの低下の1つ又は複数を含む(ただし、これらに限定されない)、映像符号化及び/又は復号システムに対する改善を提供することができる様々な変更形態及び実施形態が、以下に説明するように構想される。
上記は、本開示の幾つかの局面の基本的理解を提供するために、主題の簡単な概要を提示する。この概要は、主題の広範囲に及ぶ要約ではない。実施形態の主要/重要要素を識別すること、又は主題の範囲を詳細に説明することは意図されていない。その唯一の目的は、以下に提供する、より詳細な説明に対する前置きとして、簡単な形式で主題の幾つかの概念を提示することである。
図面の簡単な説明
本開示は、添付の図面と併せて以下の詳細な説明を考慮することによって、より深く理解することができる。
映像エンコーダのある実施形態の一例を示すブロック図を提供する。 映像デコーダのある実施形態の一例を示すブロック図を提供する。 コード化ツリーユニット(CTU)を含む本開示の局面を示す。 CTU及びコード化ユニット(CU)を含む本開示の局面を示す。 例えばVTM-5におけるインターモードの一例を示すフロー図を提供する。 例えばHEVCによるインター予測情報のシグナリングの一例を示すフロー図を提供する。 例えばHEVCにおけるマージモードで使用される空間及び時間動きベクトル予測子の位置の一例を示すブロック図を提供する(左:空間マージ候補、右:時間マージ候補)。 例えばHEVCにおけるマージ動きベクトル予測子候補のリストの構築の一例を示すフロー図を提供する。 例えばHEVCにおけるマージ動きベクトル予測子候補のリストの構築の別の例を示す別のフロー図を提供する。 例えばJEMにおける、CUに関するSbTMVP動き予測の一例を示す。 時間マージリストを使用したインターモードシグナリングの一例を示す。 動きベクトル予測子の場所の一例を示す(左:空間予測子、右:時間予測子)。 サブブロックベースの動きベクトル予測子候補のリストの構築のある実施形態の一例を示す。 時間マージリストを用いたインター復号プロセスのある実施形態の一例を示すフロー図を提供する。 本明細書に記載された様々な局面による装置又はシステムのある実施形態の一例を示すブロック図を提供する。 本明細書に記載される実施形態の例を示す。 本明細書に記載される実施形態の例を示す。
図面は、様々な局面及び実施形態の例を示すためのものであり、必ずしも唯一可能な構成ではないことを理解されたい。様々な図面全体を通して、同様の参照指示子は、同一又は類似の特徴を指す。
詳細な説明
これより図面を参照し、図1は、HEVCエンコーダなどの映像エンコーダ100の一例を示す。HEVCは、JCT-VC(Joint Collaborative Team on Video Coding)によって開発された圧縮規格である(例えば、「ITU-T H.265 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (10/2014), SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, Recommendation ITU-T H.265」を参照)。図1は、JVETが開発を進めているJEM(Joint Exploration Model)に基づいたエンコーダ、又はJEMを改良したエンコーダなどの、HEVC規格に対して改良が行われたエンコーダ、又はHEVCに類似した技術を用いたエンコーダも示し得る。
本出願では、「復元された(reconstructed)」及び「復号された(decoded)」という用語は、同義で使用されてもよく、「ピクセル」及び「サンプル」という用語は、同義で使用されてもよく、並びに「ピクチャ」及び「フレーム」という用語は、同義で使用されてもよい。
HEVC仕様は、「ブロック」と「ユニット」を区別し、「ブロック」は、サンプルアレイ内の特定のエリア(例えば、ルマ、Y)をアドレス指定し、「ユニット」は、ブロックと関連付けられた全ての符号化された色成分(Y、Cb、Cr、又はモノクロ)、シンタックス要素、及び予測データ(例えば、動きベクトル)の配列されたブロックを含む。
コード化のために、ピクチャは、設定可能なサイズを有する正方形状のコード化ツリーブロック(CTB)にパーティション化され、連続したコード化ツリーブロックのセットがスライスにグループ化される。コード化ツリーユニット(CTU)は、符号化された色成分のCTBを含む。CTBは、コード化ブロック(CB)にパーティション化される四分木の根であり、コード化ブロックは、1つ又は複数の予測ブロック(PB)にパーティション化されてもよく、変換ブロック(TB)にパーティション化される四分木の根を成す。コード化ブロック、予測ブロック、及び変換ブロックに対応して、コード化ユニット(CU)は、予測ユニット(PU)、及び木構造の変換ユニット(TU)のセットを含み、PUは、全色成分に関する予測情報を含み、並びにTUは、各色成分に関する残差コード化シンタックス構造を含む。ルマ成分のCB、PB、及びTBのサイズは、対応するCU、PU、及びTUに該当する。本出願では、「ブロック」という用語は、CTU、CU、PU、TU、CB、PB、及びTBの何れかを指すために使用される場合がある。さらに、「ブロック」は、H.264/AVC又は他の映像コード化規格において指定されるようなマクロブロック及びパーティションを指すため、並びに、より一般には、様々なサイズのデータのアレイを指すためにも使用される場合がある。
図1のエンコーダ100では、ピクチャは、下記のようなエンコーダ要素によって符号化される。符号化されるピクチャは、CUを単位として処理される。各CUは、イントラモード又はインターモードを使用して符号化される。あるCUがイントラモードで符号化される場合、それは、イントラ予測(160)を行う。インターモードでは、動き推定(175)及び動き補償(170)が行われる。エンコーダは、CUの符号化を行うために、イントラモード又はインターモードのどちらを使用するかを決定し(105)、予測モードフラグにより、イントラ/インター決定を示す。原画像ブロックから予測されたブロックを減算する(110)ことにより、予測残差が算出される。
次に、予測残差が、変換(125)及び量子化(130)される。ビットストリームを出力するために、量子化変換係数、並びに動きベクトル及び他のシンタックス要素がエントロピーコード化される(145)。エンコーダは、変換をスキップし、4×4TUベースで、非変換残差信号に対して量子化を直接的に適用することもできる。エンコーダは、変換及び量子化の両方をとびこすことも可能であり、すなわち、残差は、変換又は量子化プロセスを適用することなく、直接的にコード化される。直接的なPCMコード化では、予測が適用されず、コード化ユニットサンプルが直接的にビットストリームへとコード化される。
エンコーダは、さらなる予測のための基準を提供するために、符号化されたブロックを復号する。予測残差を復号するために、量子化変換係数が、逆量子化され(140)、及び逆変換される(150)。復号された予測残差及び予測されたブロックを組み合わせること(155)により、画像ブロックが復元される。例えば、符号化アーチファクトを低減するべくデブロッキング/SAO(Sample Adaptive Offset)フィルタ処理を行うために、ループ内フィルタ(165)が、復元されたピクチャに適用される。フィルタ処理された画像は、基準ピクチャバッファ(180)に保存される。
図2は、HEVCデコーダなどの映像デコーダ200の一例のブロック図を示す。例示的デコーダ200では、信号又はビットストリームが、下記のようなデコーダ要素によって復号される。映像デコーダ200は、一般に、図1に記載されるような符号化パスとは逆の復号パスを行い、これは、映像データの符号化の一部として映像復号を行う。図2は、JEMに基づいたデコーダ、又はJEMを改良したデコーダなどの、HEVC規格に対して改良が行われたデコーダ、又はHEVCに類似した技術を用いたデコーダも示し得る。
具体的には、デコーダの入力は、図1の映像エンコーダ100などの映像エンコーダによって生成され得る映像信号又はビットストリームを含む。信号又はビットストリームは、まず、変換係数、動きベクトル、及び他のコード化された情報を取得するために、エントロピー復号される(230)。予測残差を復号するために、変換係数が逆量子化され(240)、及び逆変換される(250)。復号された予測残差及び予測されたブロックを組み合わせることにより(255)、画像ブロックが復元される。予測されたブロックは、イントラ予測(260)又は動き補償予測(すなわち、インター予測)(275)から取得する(270)ことができる。動き補償のための動きベクトルを導出するために、AMVP(Advanced Motion Vector Prediction)及びマージモード技術が使用されてもよく、これは、基準ブロックのサブ整数サンプルの補間値を算出するために補間フィルタを使用してもよい。ループ内フィルタ(265)が復元された画像に適用される。フィルタ処理された画像は、基準ピクチャバッファ(280)に保存される。
HEVC映像圧縮規格では、映像の連続するピクチャ間に存在する冗長性を活用するために、動き補償時間予測が用いられる。そのために、動きベクトルが各予測ユニット(PU)に関連付けられる。各コード化ツリーユニット(CTU)は、圧縮領域においてコード化ツリー(CT)によって表される。これは、図3に示されるように、CTUの四分木分割であり、各葉は、コード化ユニット(CU)と呼ばれる。
次に、各CUは、幾つかのイントラ又はインター予測パラメータ(予測情報)を与えられる。そのために、それは、1つ又は複数の予測ユニット(PU)に空間的にパーティション化され、各PUには、ある予測情報が割り当てられる。イントラ又はインターコード化モードが、コード化ツリーユニットのコード化ユニット、予測ユニット、及び変換ユニットへの分割の一例を示す図4に示されるように、CUレベルで割り当てられる。
HEVCにおいて、厳密に1つの動きベクトルが各PUに割り当てられる。この動きベクトルは、考慮されるPUの動き補償時間予測に使用される。したがって、HEVCでは、予測されたブロック及びその基準ブロックをリンクさせる動きモデルは、平行移動を含む。
動きデータを符号化するために、HEVCでは、2つのモードが用いられる。これらは、それぞれAMVP(Adaptive Motion Vector Prediction)及びマージ(Merge)と呼ばれる。AMVPは、現PUを予測するために使用される1つ又は複数の基準ピクチャ、(2つの予測子のリストから得られた)動きベクトル予測子インデックス、及び動きベクトル差をシグナリングすることを含む。一般に、本明細書に記載される少なくとも1つの実施形態は、マージモードを含む。
マージモードは、動きデータ予測子のリストにおいて収集されたある動きデータのインデックスのシグナリング及び復号を行うことを含む。このリストは、5つの候補から成り、デコーダ側及びエンコーダ側で同じように構築される。したがって、マージモードは、マージリストから得られたある動き情報を導出することを目的とする。マージリストは、一般的に、現PUが処理されているときに復号状態で利用可能な、幾つかの空間及び時間周囲ブロックに関連する動き情報を含む。
JVET(Joint Video Exploration Team)グループによって開発されたJEM(Joint Exploration Model)において、デコーダ側で決定された関連のパラメータを有する幾つかのさらなる時間予測ツールには、時にATMVP(Alternative Temporal Motion Vector Prediction)とも呼ばれる、SbTMVP(Sub-block Temporal Motion Vector Prediction)が含まれる。SbTMVPの基本原理は、現ピクチャの基準ピクチャに含まれるある動き情報から、現CUのある動き情報を導出することである。そのために、まず、現CUの第1のマージ候補の動きベクトルとして、いわゆる時間ベクトルが取得される。関連の基準ピクチャインデックスを有するこの時間ベクトルは、考慮される基準ピクチャから動きベクトルを検索するために使用することができる。そのために、現CUがN×NのサブCUに分割され、考慮されるサブCUの中心位置から時間のによって示された動きデータが、サブCU MV SbTMVP予測子と見なされる。
SbTMVP動き予測モードは、古典的なマージリストにおける追加の候補として含まれ得る。別の手法は、SbTMVP動き予測モードをアフィンマージリストに挿入することであり、アフィンマージリストは、当初は、アフィン動き補償が現CUに使用される場合に、現CUのアフィン動きモデルを予測するためのマージ候補のセットの構築に専念するものであった。現CUに対するアフィン動き補償の使用は、CUレベルのいわゆるアフィンフラグによってシグナリングされる。SbTMVP動き予測子をアフィンマージリスト内に移すことは、他の手法、例えば、SbTMVP候補が古典的なマージ候補リストの一部である場合と比較して、圧縮効率の向上をもたらし得ると思われる。
図5は、例えばVTM-5におけるインターモードコード化の一例を示す:
-まず、CUが残差を含むかどうかを示すスキップフラグが復号される
-次に、通常マージの使用を示し、TMVP(temporal Motion Vector Predictor)候補を含む、regular#mergeフラグが復号される
-そうでなければ、マージ動きベクトル差(Merge Motion Vector Difference)モードの使用を示すmmvdフラグが復号される。このモードは、TMVP候補から構築された候補も含み得る
-MMDVでなければ、サブブロックフラグが復号される。サブブロック候補は、SbTMVP又はアフィン候補のどちらかになり得る。
-サブブロックでなければ、(スキップではなく)マージの場合、CIIPフラグ(Combined Intra-Inter Prediction)が復号される。このモードは、TMVP候補から構築された候補も含み得る。
-最後に、上記のモードのどれも選択されない場合は、三角形モードが推論される。このモードは、TMVP候補から構築された候補も含み得る。
AMVPモード(Advanced Motion Vector Prediction)では、ブロックは、平行移動又はアフィンのどちらかになり得る。AMVPにおけるアフィンフラグは、スキップ又はマージモードにおけるサブブロックフラグと同じCABACコンテキストを使用してコード化されることに留意されたい。
HEVC規格におけるマージモードは、選択された動き情報予測子候補から所定の予測ユニットのインター予測情報(以下では、動き情報とも呼ばれる)を導出することを含む。動き情報は、PUの全てのインター予測パラメータ、すなわち、
-単方向又は双方向時間予測タイプ
-各基準ピクチャリスト内の基準ピクチャインデックス
-1つ又は複数の動きベクトル
を含む。
HEVCにおけるインター予測情報のコード化及び復号は、インター予測情報のシグナリングを示す図6に要約される。図に示すように、マージモードによる動き情報のコード化/復号は、2つのモード:スキップモード及びマージモードで生じる。これら2つのモードでは、デコーダがPUの動き情報を検索できるようにするために、1つのフィールドがシグナリングされている:いわゆるマージインデックス。マージインデックスは、現PUの動き情報を導出するために、マージ動き情報予測子のリスト中のどの動きベクトル予測子が使用されるかを示す。以下では、動き情報予測子のリストは、マージリスト又はマージ候補リストと呼ばれる。また、候補動き情報予測子は、マージ候補と呼ばれる。
HEVCでは、マージ候補リストは、5つのマージ候補から系統的に作られる。マージリストは、以下のように、エンコーダ側及びデコーダ側の両方で構築される。図7は、マージモードで使用される空間及び時間動きベクトル予測子の位置を示す。空間マージ候補は、図7の左側に示される。時間マージ候補は、図7の右側に示される。図7に示すように、幾つかの潜在的候補を検索するために、最大5つの空間位置が考慮され得る。それらは、以下の順序:
1-左(A1)
2-上(B1)
3-右上(B0)
4-左下(A0)
5-左上(B2)
に従って訪問され、符号A0、A1、B0、B1、B2は、図7の左側に示される空間位置を示す。互いに異なる4つの空間候補が選択される。次に、位置Hに位置する時間動き情報を考慮することによって、時間予測子を示したTMVPが選択され、次に、「中心」が、利用不可能な考慮された基準ピクチャにおける位置Hの候補である。次に、選択された空間及び時間候補のセットが冗長候補を含まないことを確実にするために行われる最後の枝刈りプロセスを示す図8に示されるように、マージ動きベクトル予測子候補のリストが構築される。
次に、Bスライスの場合、マージリストが一杯でなければ、別のタイプの候補が、マージリストに送られる:いわゆる組み合わせ候補(combined candidate)。これは、リスト中に既に存在する1つの候補からの一方の基準ピクチャリスト(L0)に関連する動き情報から成る候補を生成することを含んでもよく、この動きは、マージリスト中に既に存在する別の候補からの他方の基準ピクチャリスト(L1)に関連する。マージリストがまだ一杯(5つの要素)でなければ、一杯になるまで、ゼロ動きベクトルがマージリストの最後に送られる。HEVCにおけるマージリスト構築の全体的なプロセスは、図9の図表に詳述される。
SbTMVP(sub-block temporal motion vector prediction)法(ATMVPとも呼ばれる)では、現CUに関する1つ又は幾つかの時間動きベクトル予測子が、現CUに関する1つ又は複数の基準ピクチャから検索される。まず、いわゆる時間動きベクトル及び関連の基準ピクチャインデックスが、現CUの通常のマージリスト候補における第1の候補と関連する動きデータとして取得される。次に、現CUがN×N(Nは、一般的に、4に等しい)のサブCUに分割される。これは、「エラー!参照元が見つかりません。」に示される。N×Nのサブブロックごとに、1つ又は複数の動きベクトル及び1つ又は複数の基準ピクチャインデックスが、時間MVに関連する基準ピクチャにおいて、時間動きベクトルの助けを借りて識別される。現サブCU位置から時間MVによって示される基準ピクチャにおけるN×Nのサブブロックが考慮される。その動きデータが、現サブCUのSbTMVP動きデータ予測と見なされる。次に、それは、適切な動きベクトルスケーリングによって、現サブCUの動きベクトル及び基準ピクチャインデックスに変換される。
一般に、ある実施形態の少なくとも1つの例の一局面は、コード化効率を向上させるやり方で、動きデータ予測子の様々なリストの数及び内容を整理することを含む。一般に、少なくとも1つの実施形態の別の局面は、例えば、所与のモードに関して構築するマージ候補の数を減少させることによって、デコーダ側の最悪ケースを改善するために複雑さを低下させることを含む。一般に、少なくとも1つの実施形態の別の局面は、サブブロックフラグコード化及びアフィンフラグコード化を混ぜないことにより、アフィンモードコード化をより一貫性のあるものにすることを含む。
ある実施形態の少なくとも1つの例は、1つ又は複数の時間予測子、例えば、SbTMVP、TMVP、TMVPに基づくMMVD、TMVPに基づくCIIP、TMVPに基づく三角形を含む時間マージリストを提供し、これらの候補は、従来のマージリストから除去され、それによって、デコーダにおける最悪ケースの複雑さが低下する。
ある実施形態の少なくとも1つの例は、時間マージリストに含まれない時間モードが、それぞれのリスト(例えば、MMVD、CIIP、三角形)に維持されることを含む。
ある実施形態の少なくとも1つの例は、各リストが時間予測子を持たない状態にするために、時間マージリストに含まれない時間モードが完全に除去されることを含む。
ある実施形態の少なくとも1つの例は、サブブロックからSbTMVPを抽出することと、マージ/スキップモード及びAMVPモード間でアフィンフラグのコード化を一貫性のあるものにすることを提供することとを含む。
ある実施形態の少なくとも1つの例は、サブブロック及びアフィンフラグコード化を分離することを含む。
図11は、(サブブロックとは対照的に)古典的なマージリスト構築の構築の一例を示す。ここで古典的とは、基準ピクチャリストごとに1つの動きベクトルが1つのCUに関連する、平行移動動き補償時間予測に使用されるマージリストを意味する。このプロセスは、
-空間候補A1、B1、B0 A0 B2の追加(これらの間で、ある枝刈りが行われる)(予測子の場所については図13を参照)
-時間候補(TMVP)(H又は中心)の追加
-第1の追加候補に関して多くともA1及びB1に対するある枝刈りが行われる、HMVP(History based Motion Vector Predictor)候補の追加
-少なくとも2つの候補がリスト中にある場合、ペアの(平均化)候補を生成すること、
-必要であれば、リストにヌル動きベクトルを詰め込むこと、
を含む。
サブブロックベースの動き予測子候補のリストの構築の一例をこれより提供する。アフィンマージリストは、サブブロックベースの動き補償時間予測を含む全てのマージMV予測子を集める。したがって、これは、上記のSbTMVPマージモード及びアフィンマージモードを含む。アフィンマージ候補は、現CUに関して4×4のブロックベースのアフィン動きフィールドが導出され、現CUの時間予測に使用されるマージ候補を表す。アフィン動き補償は、ここでは詳細に説明しない。ここで留意すべき1つの局面は、少なくともの1つの例では、SbTMVP候補がアフィンマージリストの先頭に配置される点である。
マージリストの他の例は、以下を含んでもよい:
-MMVDマージリストは、ビットストリームにおいてシグナリングされたある所与の動きベクトル差だけ変位された、最初の2つの古典的マージ候補から成る。したがって、このリストは、時間候補(変位されたTMVP候補)に基づく候補を含み得る。
-CIIPマージリストは、古典的なマージリストと同じである。したがって、このリストは、時間候補に基づく候補を含み得る。最後の予測子は、動きベースの予測子とイントラ予測の混合である。
-三角形マージリストは、古典的なマージリストの候補から生成された候補から成る。したがって、このリストは、時間候補に基づく候補を含み得る。
一般に、本明細書に記載するある実施形態の少なくとも1つの例の少なくとも1つの局面は、時間候補を含むマージリストを生成することを含む。
図14は、少なくとも以下を含む時間マージリストを復号するための修正プロセスのある実施形態の一例を示す:
-mmvdモードフラグ復号後に、mmvdフラグが偽の場合、時間モードフラグが復号される。
-時間モードが真の場合、古典的なマージ候補インデックスに類似して、時間候補インデックスが復号される
-そうでなければ、アフィンモードフラグが復号される。SbTMVP候補がリストから除去済みであるため、アフィンフラグがサブブロックモードフラグに取って代わることに留意されたい。この分割のおかげで、マージモード及びAMVPモードにおけるアフィンフラグコード化は、(サブブロックフラグがSbTMVP又はアフィンモードの両方を意味した手法とは対照的に)一貫性のあるやり方で同じCABACビン(bin)を使用する。
一般に、ある実施形態の少なくとも1つの例の少なくとも1つの局面は、時間マージリストの様々な配置を提供することを含み得る。例えば、時間マージリストは、
-第1のマージリストとして
-通常マージリストの後に
-アフィンマージリストの後に
-ciipマージリストの後に
-三角形マージリストの後に(この場合、三角形モードが偽であれば、時間モードは真であると演繹される)
挿入されることも可能である。
一般に、時間候補のリストは、最大数のマージ候補(一般的に2又は3)に到るまで、一定の順序で、(存在する場合)潜在的候補を追加することによって、マージリストが生成されるのと同じように生成することができる。使用すべき時間候補のリスト中の位置を示すインデックスが、その後、デコーダに送信される。時間候補のリストの一例は、
-SbTMVP候補
-TMVP候補
-時間CIIP候補
である。
変形形態は、以下の1つ又は複数を含んでもよい:
-さらなるシグナリングにより、MMVD及び三角形モードに関するTMVP候補もリストに追加されてもよい。そのために、さらなる情報(一般的に、mmvdフラグ及びmmvd変位)。
-MMVD及び/又は三角形及び/又はCIIPに関するTMVP候補が、それらの原リスト中に維持される。
-MMVD及び/又は三角形及び/又はCIIPに関するTMVP候補が、完全に除去され、それによって、他の全てのリストが時間候補を持たないようにする。任意に、この変形形態では、アフィンマージリストが時間動きベクトルを持たない状態にするために、復元されたアフィン候補は、時間動きベクトルを使用しない。
-純粋な時間復元アフィン候補も時間リストに追加される。
一般に、記載した実施形態の1つ又は複数は、以下を提供することができる:
-所与のマージリスト(通常、mmvd、時間、アフィン、ciip、又は三角形)が最悪ケースの複雑さの低下を有する(例えば、1つ又は複数のリストの1つ又は複数の長さが減少される)、デコーダプロセスの複雑さの低下。
-時間メモリバッファにアクセスする必要なしに、全ての空間候補が別のリスト中にあるため、リストの各候補を構築するために必要とされる帯域幅が縮小される。一般的に、時間リストを除く全てのリストにおいて、現ブロックの周囲の空間情報のみがキャッシュに入れられる必要がある。
本開示に添付される表1は、時間マージリストフラグのコード化に関するシンタックスのある実施形態の一例を提供する。表1に示される例は、MMVDフラグ後の時間マージリストフラグのコード化に関するシンタックスを提供することを含む。サブブロックシンタックスは、(灰色でシェーディングされた)AMVP導出において見られるように、アフィンシンタックスによって置き換えられることに留意されたい。
SbTMVP及びTMVPの時間マージリストのみの場合、変数MaxNumTemporalMergeCandは、両候補が利用可能な場合に、多くとも2に等しい。候補可用性は、前の通り導出され、
-SbTMVPのSPSレベルフラグが真であり、且つ現ブロックサイズが幅及び高さの両方に関して8以上である場合に、SbTMVPが利用可能である
-SPSレベルの時間フラグが真であり、且つ幅+高さが12を超える場合に、TMVPが利用可能である。
ある実施形態の少なくとも1つの例の別の局面は、アフィン及びサブブロックフラグコード化を含んでもよい。特定のシステムにおいて、(マージ/スキップモードにおける)merge#subblock#flag及び(AMVPにおける)inter#affine#flagのコード化は、同じCABACコード化を共有することを含み得る。本明細書に記載される少なくとも1つの実施形態などにおける別個の時間リストの場合(すなわち、SbTMVPは、もはやサブブロックリスト中にない)、CABACコード化がより一貫性のあるものになるように、merge#subblock#flagは、実際に、merge#affine#flagになる。別個の時間マージリストを使用しない別の変形形態は、2つの別個のCABACコード化(1つはmerge#subblock#flag用であり、1つは、inter#affine#flag用である)を使用することである。
一般に、ある実施形態の別の例が図16に示される。図16では、符号化されたピクチャ情報を含むビットストリームも、フラグなどの符号化された制御情報を含む。1610では、コード化されたビットストリームに含まれる第1のフラグが、第1の確率モデルに基づいたCABACコード化を使用して復号される。1620では、コード化されたビットストリームに含まれる第2のフラグが、第2の確率モデルに基づいたCABACコード化を使用して復号される。すなわち、第1及び第2のフラグを復号するために、2つの別個のCABACコード化が使用される。次に、1630において、ビットストリームに含まれる符号化されたピクチャ情報が、復号されたピクチャ情報を生成するために、第1のフラグ又は第2のフラグによって示されるコード化モードに基づいて復号される。例えば、第1のフラグは、サブブロックマージ予測モードなどのコード化モードを示してもよく、それに対応してもよく、又はそれに関連付けられてもよく、第2のフラグは、インターアフィン予測モードなどのコード化モードを示してもよく、それに対応してもよく、又はそれに関連付けられてもよい。
一般に、ある実施形態の別の例が図17に示される。図17では、1710において、第1のフラグの値が決定され、この第1のフラグは、入力に含まれるピクチャ情報の符号化に関連する第1の予測モードを示す。1720では、第2のフラグの値が決定され、この第2のフラグは、ピクチャ情報の符号化に関連する第2の予測モードを示す。1730では、符号化されたビットストリームを生成するために、ピクチャ情報の少なくとも一部、並びに第1及び第2のフラグが符号化され、第1のフラグは、例えば、サブブロックマージ予測モードを示し、及び第1の確率モデルに基づいたCABACコード化を使用してコード化され、第2のフラグは、例えば、インターアフィン予測モードを示し、及び第2の確率モデルに基づいたCABACコード化を使用してコード化される。すなわち、第1及び第2のフラグを符号化するために、2つの別個のCABACコード化が使用される。
本明細書は、実施形態、特徴、モデル、手法などの様々な例を記述する。多くのこのような例は、具体性を持って記述され、少なくとも個々の特性を示すために、限定的と思われ得る様式で記述されることが多い。しかしながら、これは、説明の明瞭さを目的としたものであり、その適用又は範囲を限定するものではない。実際に、本明細書に記載される実施形態、特徴などの様々な例は、実施形態のさらなる例を提供するために、様々な形で組み合わせられてもよく、及び入れ替えられてもよい。本開示に従った実施形態の例は、以下を含む(ただし、以下に限定されない)。
一般に、ある実施形態の一例は、コード化されたビットストリームに含まれる第1のフラグを復号することであって、第1のフラグが、第1の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、コード化されたビットストリームに含まれる第2のフラグを復号することであって、第2のフラグが、第2の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、第1のフラグ又は第2のフラグによって示されたコード化モードに基づいて、コード化されたビットストリームに含まれるピクチャ情報を復号することと、を含み、第1のフラグがサブブロックマージ予測モードを示し、及び第2のフラグがインターアフィン予測モードを示す、方法を含み得る。
一般に、ある実施形態の別の例は、ピクチャ情報の符号化に関連する第1の予測モードを示す第1のフラグの値を決定することと、ピクチャ情報の符号化に関連する第2の予測モードを示す第2のフラグの値を決定することと、符号化されたビットストリームを生成するために、ピクチャ情報の少なくとも一部、並びに第1及び第2のフラグを符号化することであって、第1のフラグが、サブブロックマージ予測モードを示し、及び第1の確率モデルに基づいたCABACコード化を使用してコード化され、第2のフラグが、インターアフィン予測モードを示し、及び第2の確率モデルに基づいたCABACコード化を使用してコード化される、符号化することと、を含む方法を含み得る。
一般に、ある実施形態の別の例は、コード化されたビットストリームに含まれる第1のフラグを復号することであって、第1のフラグが、第1の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、コード化されたビットストリームに含まれる第2のフラグを復号することであって、第2のフラグが、第2の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、第1のフラグ又は第2のフラグによって示されたコード化モードに基づいて、コード化されたビットストリームに含まれる符号化されたピクチャ情報を復号することと、を行うように構成された1つ又は複数のプロセッサを含み、第1のフラグがサブブロックマージ予測モードを示し、及び第2のフラグがインターアフィン予測モードを示す、装置を含み得る。
一般に、ある実施形態の別の例は、ピクチャ情報の符号化に関連する第1の予測モードを示す第1のフラグの値を決定することと、ピクチャ情報の符号化に関連する第2の予測モードを示す第2のフラグの値を決定することと、符号化されたビットストリームを生成するために、ピクチャ情報の少なくとも一部、並びに第1及び第2のフラグを符号化することであって、第1のフラグが、サブブロックマージ予測モードを示し、及び第1の確率モデルに基づいたCABACコード化を使用してコード化され、第2のフラグが、インターアフィン予測モードを示し、及び第2の確率モデルに基づいたCABACコード化を使用してコード化される、符号化することと、を行うように構成された1つ又は複数のプロセッサを含む装置を含み得る。
一般に、ある実施形態の別の例は、符号化されたピクチャ情報を含むようにフォーマットされたビットストリームであって、符号化されたピクチャ情報が、本開示に従った方法の実施形態の例の何れか1つ又は複数に基づいてピクチャ情報を処理することによって符号化されたものである、ビットストリームを含み得る。
一般に、実施形態の1つ又は複数の他の例は、本明細書に記載される方法又は装置に従って、映像データなどのピクチャ情報を符号化又は復号するための命令を保存したコンピュータ可読ストレージ媒体、例えば、不揮発性コンピュータ可読ストレージ媒体も提供し得る。
一般に、ある実施形態の少なくとも1つの例は、コンピュータによって実行されると、本明細書に記載された実施形態の1つ又は複数の例に従った方法をコンピュータに実施させる命令を含むコンピュータプログラムを含み得る。
一般に、ある実施形態の少なくとも1つの例は、実行可能プログラム命令を実行するコンピュータに本明細書に記載された実施形態の1つ又は複数の例に従った方法を行わせる上記命令を保存する非一時的コンピュータ可読媒体を含み得る。
一般に、ある実施形態の少なくとも1つの例は、本明細書に記載された実施形態の何れか1つ又は複数の例に従って生成されたデータを含む信号を含み得る。
一般に、ある実施形態の少なくとも1つの例は、シンタックス要素、及び本明細書に記載された実施形態の例の何れか1つ又は複数に従って生成された符号化された画像情報を含むようにフォーマットされたビットストリームを含み得る。
一般に、ある実施形態の少なくとも1つの例は、本明細書に記載された方法又は装置に従って生成されたビットストリームを保存したコンピュータ可読ストレージ媒体を含み得る。
一般に、ある実施形態の少なくとも1つの例は、本明細書に記載された方法又は装置に従って生成されたビットストリーム又は信号を送信又は受信することを含み得る。
一般に、ある実施形態の少なくとも1つの例は、本明細書に記載された実施形態の例の何れか1つ又は複数に従った装置と、(i)信号を受信するように構成されたアンテナであって、信号が画像情報を表すデータを含む、アンテナ、(ii)画像情報を表すデータを含む周波数帯に受信した信号を制限するように構成された帯域制限器、及び(iii)画像情報から画像を表示するように構成されたディスプレイの少なくとも1つとを含むデバイスを含み得る。
一般に、ある実施形態の少なくとも1つの例は、本明細書に記載されるようなデバイスであって、デバイスが、テレビ、テレビ信号受信機、セットトップボックス、ゲートウェイデバイス、モバイルデバイス、携帯電話、タブレット、又は他の電子デバイスの1つを含む、デバイスを含み得る。
一般に、ある実施形態の別の例は、ピクチャ情報の符号化に関連する第1の予測モードを示す第1のフラグの値を決定することと、ピクチャ情報の符号化に関連する第2の予測モードを示す第2のフラグの値を決定することと、符号化されたビットストリームを生成するために、ピクチャ情報の少なくとも一部、並びに第1及び第2のフラグを符号化することであって、第1のフラグが、サブブロックマージ予測モードを示し、及び第1の確率モデルに基づいたCABACコード化を使用してコード化され、第2のフラグが、インターアフィン予測モードを示し、及び第2の確率モデルに基づいたCABACコード化を使用してコード化される、符号化することと、を行うように構成された1つ又は複数のプロセッサを含む装置を含み得る。
一般に、本明細書に記載及び企図される実施形態の例は、多数の異なる形式で実装することができる。上記の図1及び図2、並びに下記の図15は、幾つかの実施形態を提供するが、他の実施形態が企図され、図1、図2、及び図15の説明は、実施態様の幅を限定しない。少なくとも1つの実施形態は、一般に、映像の符号化及び/又は復号に関係する例を提供し、少なくとも1つの他の実施形態は、一般に、生成又は符号化されたビットストリーム又は信号を送信することに関係する。これらの実施形態及び他の実施形態は、方法、装置、記載した方法の何れかに従って映像データの符号化又は復号を行う命令を保存したコンピュータ可読ストレージ媒体、及び/又は記載した方法の何れかに従って生成されたビットストリーム又は信号を保存したコンピュータ可読ストレージ媒体として実装されてもよい。
HDR(高ダイナミックレンジ)及びSDR(標準ダイナミックレンジ)という用語が本開示で使用される。これらの用語は、多くの場合、ダイナミックレンジの特定の値を当業者に伝える。しかしながら、HDRへの言及が「より高いダイナミックレンジ」を意味すると理解され、SDRへの言及が「より低いダイナミックレンジ」を意味すると理解されるさらなる実施形態も意図される。このようなさらなる実施形態は、「高ダイナミックレンジ」及び「標準ダイナミックレンジ」という用語に関連付けられ得ることが多いダイナミックレンジのどのような特定の値によっても制約を受けない。
様々な方法が本明細書に記載され、これらの方法のそれぞれは、記載した方法を実現するための1つ又は複数のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の正しい動作に必要でない限り、特定のステップ及び/又はアクションの順序及び/又は使用は、修正されてもよく、又は組み合わせられてもよい。
本明細書に記載される様々な方法及び他の局面を使用して、モジュール、例えば、図1に示されるエンコーダ100などの映像エンコーダのモジュール170及び/又は175などの動き推定モジュール及び/又は動き補償モジュール、及び/又は図2に示される映像デコーダ200の動き補償モジュール275を修正することができる。また、本局面は、VVC又はHEVCに限定されず、例えば、既存のもの、或いは今後開発されるものを問わず他の規格及び推奨、並びに任意のそのような規格及び推奨(VVC及びHEVCを含む)の拡張版に適用することができる。そうではない旨が示されていない限り、或いは技術的に排除されていない限り、本明細書に記載される局面は、個々に又は組み合わせで使用することができる。
例えば、本明細書では様々な数値が使用されている。特定の値は、例示目的のものであり、記載される局面は、これらの特定の値に限定されるものではない。
図15は、様々な局面及び実施形態が実装され得るシステムの一例のブロック図を示す。システム1000は、下記の様々なコンポーネントを含むデバイスとして具現化することが可能であり、本明細書に記載される局面の1つ又は複数を行うように構成される。このようなデバイスの例は、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオレコード化システム、接続された家電用品、及びサーバなどの様々な電子デバイスを含む(ただし、これらに限定されない)。システム1000の要素は、単独で又は組み合わせて、単一の集積回路、複数のIC、及び/又は別個のコンポーネントにおいて具現化することができる。例えば、少なくとも1つの実施形態では、システム1000の処理及びエンコーダ/デコーダ要素は、複数のIC及び/又は別個のコンポーネントにわたって分散される。様々な実施形態では、システム1000は、例えば、通信バスを介して、又は専用の入力及び/又は出力ポートを通して、他の類似のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態において、システム1000は、本明細書に記載される局面の1つ又は複数を実装するように構成される。
システム1000は、例えば、本明細書に記載される様々な局面を実装するためにその内部にロードされた命令を実行するように構成された少なくとも1つのプロセッサ1010を含む。プロセッサ1010は、埋め込み型のメモリ、入出力インタフェース、及び当該技術分野で公知の様々な他の回路網を含み得る。システム1000は、少なくとも1つのメモリ1020(例えば、揮発性メモリデバイス及び/又は不揮発性メモリデバイス)を含む。システム1000は、ストレージデバイス1040を含み、ストレージデバイス1040は、EEPROM、ROM、PROM、RAM、DRAM、SRAM、フラッシュ、磁気ディスクドライブ、及び/又は光ディスクドライブを含む(ただし、これらに限定されない)不揮発性メモリ及び/又は揮発性メモリを含み得る。ストレージデバイス1040は、非限定的な例として、内部ストレージデバイス、付加ストレージデバイス、及び/又はネットワークアクセス可能ストレージデバイスを含み得る。
システム1000は、例えば、符号化された映像又は復号された映像を提供するためにデータを処理するように構成されたエンコーダ/デコーダモジュール1030を含み、エンコーダ/デコーダモジュール1030は、独自のプロセッサ及びメモリを含み得る。エンコーダ/デコーダモジュール1030は、符号化及び/又は復号機能を行うためにデバイス内に含まれ得る1つ又は複数のモジュールを表す。公知のように、デバイスは、符号化モジュール及び復号モジュールの一方又は両方を含み得る。さらに、エンコーダ/デコーダモジュール1030は、システム1000の別個の要素として実装することも可能であり、又は当業者に公知のように、ハードウェア及びソフトウェアの組み合わせとしてプロセッサ1010内に組み込むことも可能である。
本明細書に記載される様々な局面を行うために、プロセッサ1010又はエンコーダ/デコーダ1030にロードされるプログラムコードは、ストレージデバイス1040内に保存することができ、後に、プロセッサ1010による実行のためにメモリ1020にロードすることができる。様々な実施形態によれば、プロセッサ1010、メモリ1020、ストレージデバイス1040、及びエンコーダ/デコーダモジュール1030の1つ又は複数は、本明細書に記載されるプロセスを行う間に、様々な項目の1つ又は複数を保存することができる。このような保存された項目は、入力映像、復号された映像又は復号された映像の部分、ビットストリーム又は信号、行列、変数、並びに方程式、公式、動作、及び動作論理の処理からの中間結果又は最終結果を含み得る(ただし、これらに限定されない)。
幾つかの実施形態において、プロセッサ1010及び/又はエンコーダ/デコーダモジュール1030の内部のメモリは、命令を保存するため、及び符号化又は復号中に必要とされる処理用のワーキングメモリを提供するために使用される。しかしながら、他の実施形態では、処理デバイス(例えば、処理デバイスは、プロセッサ1010又はエンコーダ/デコーダモジュール1030のどちらかでもよい)の外部のメモリが、これらの機能の1つ又は複数のために使用される。外部メモリは、例えば、ダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリなどのメモリ1020及び/又はストレージデバイス1040でもよい。幾つかの実施形態では、外部不揮発性フラッシュメモリは、テレビのオペレーティングシステムを保存するために使用される。少なくとも1つの実施形態では、RAMなどの高速外部ダイナミック揮発性メモリが、MPEG-2、HEVC、又はVVC(Versatile Video Coding)などの映像コード化及び復号動作のためのワーキングメモリとして使用される。
システム1000の要素に対する入力は、ブロック1130に示されるような様々な入力デバイスによって提供され得る。このような入力デバイスには、(i)例えば、放送機器によって無線で送信されたRF信号を受信するRF部分、(ii)複合入力端末、(iii)USB入力端末、及び/又は(iv)HDMI入力端末が含まれる(ただし、これらに限定されない)。
様々な実施形態では、ブロック1130の入力デバイスは、当該技術分野で公知の関連のそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択すること(信号を選択すること、又は信号をある周波数帯に帯域制限することとも呼ばれる)、(ii)選択された信号をダウンコンバートすること、(iii)(例えば)特定の実施形態においてチャネルと呼ばれ得る信号周波数帯域を選択するために、より狭い周波数帯に再び帯域制限すること、(iv)ダウンコンバートされた及び帯域制限された信号を復調すること、(v)誤り訂正を行うこと、並びに(vi)データパケットの所望のストリームを選択するために逆多重化することを行うための要素と関連付けることができる。様々な実施形態のRF部分は、これらの機能を行うための1つ又は複数の要素、例えば、周波数セレクタ、信号セレクタ、帯域制限器、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、及びデマルチプレクサを含む。RF部分は、例えば、受信した信号をより低い周波数(例えば、中間周波数若しくはベースバンドに近い周波数)に、又はベースバンドにダウンコンバートすることを含む、これらの機能の幾つかを行うチューナを含み得る。あるセットトップボックスの実施形態では、RF部分及びそれに関連する入力処理要素は、有線(例えば、ケーブル)媒体上で送信されたRF信号を受信し、フィルタリング、ダウンコンバート、及び所望の周波数帯域へと再度フィルタリングを行うことにより、周波数選択を行う。様々な実施形態は、上記の(及び他の)要素の順序を並べ変え、これらの要素の幾つかを除去し、及び/又は類似の機能若しくは異なる機能を行う他の要素を追加する。要素の追加は、例えば、増幅器及びアナログ-デジタル変換器の挿入などの、要素を既存の要素間に挿入することを含み得る。様々な実施形態において、RF部分は、アンテナを含む。
さらに、USB及び/又はHDMI端子は、USB及び/又はHDMI接続を介してシステム1000を他の電子デバイスに接続するためのそれぞれのインタフェースプロセッサを含み得る。例えば、別の入力処理IC内で、又はプロセッサ1010内で、例えばリード・ソロモン誤り訂正などの入力処理の様々な局面が実装され得ることが理解されるものとする。同様に、別々のインタフェースIC内で、又はプロセッサ1010内で、USB又はHDMIインタフェース処理の局面が実装され得る。復調され、誤り訂正され、及び逆多重化されたストリームは、例えば、出力デバイス上での提示のためにデータストリームを処理するべくメモリ及びストレージ要素と一緒に動作するプロセッサ1010及びエンコーダ/デコーダ1030を含む様々な処理要素に提供される。
システム1000の様々な要素は、統合ハウジング内に設けられてもよい。統合ハウジング内において、様々な要素は、相互接続されてもよく、例えば、I2Cバス、配線、及びプリント回路基板を含む、当該技術分野で公知の内部バスなどの適切な接続構成1140を使用して、それらの間でデータを送信することができる。
システム1000は、通信チャネル1060を介した他のデバイスとの通信を可能にする通信インタフェース1050を含む。通信インタフェース1050は、通信チャネル1060上でデータの送信及び受信を行うように構成されたトランシーバ(ただし、これに限定されない)を含み得る。通信インタフェース1050は、モデム又はネットワークカード(ただし、これに限定されない)を含んでもよく、通信チャネル1060は、例えば、有線及び/又は無線媒体内に実装されてもよい。
データは、様々な実施形態において、IEEE 802.11などのWi-Fiネットワークを使用して、システム1000にストリーミングされる。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適応した通信チャネル1060及び通信インタフェース1050上で受信される。これらの実施形態の通信チャネル1060は、一般的に、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするインターネットを含む外部ネットワークに対するアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態は、入力ブロック1130のHDMI接続上でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム1000に提供する。さらに他の実施形態は、入力ブロック1130のRF接続を使用して、ストリーミングされたデータをシステム1000に提供する。
システム1000は、ディスプレイ1100、スピーカ1110、及び他の周辺デバイス1120を含む様々な出力デバイスに出力信号を提供することができる。他の周辺デバイス1120は、実施形態の様々な例において、スタンドアロンDVR、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム1000の出力に基づいて機能を提供する他のデバイスの1つ又は複数を含む。様々な実施形態において、制御信号は、AV.Link、CEC、又はユーザ介入のある、若しくはユーザ介入のないデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム1000と、ディスプレイ1100、スピーカ1110、又は他の周辺デバイス1120との間で伝達される。出力デバイスは、それぞれのインタフェース1070、1080、及び1090を用いた専用の接続を介してシステム1000に通信可能に結合することができる。代替的に、出力デバイスは、通信インタフェース1050を介して通信チャネル1060を使用してシステム1000に接続されてもよい。ディスプレイ1100及びスピーカ1110は、例えば、テレビなどの電子デバイス内で、システム1000の他のコンポーネントと単一ユニットで統合されてもよい。様々な実施形態において、ディスプレイインタフェース1070は、例えば、タイミングコントローラ(T Con)チップなどのディスプレイドライバを含む。
ディスプレイ1100及びスピーカ1110は、代替的に、例えば入力1130のRF部分が別個のセットトップボックスの一部である場合には、他のコンポーネントの1つ又は複数とは分離していてもよい。ディスプレイ1100及びスピーカ1110が外部コンポーネントである様々な実施形態では、出力信号は、例えば、HDMIポート、USBポート、又はCOMP出力を含む専用の出力接続を介して提供され得る。
実施形態は、プロセッサ1010によって実装されたコンピュータソフトウェアにより、又はハードウェアにより、又はハードウェア及びソフトウェアの組み合わせにより実施されてもよい。非限定的な例として、実施形態は、1つ又は複数の集積回路によって実装されてもよい。メモリ1020は、技術的環境に適した任意のタイプのものでよく、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリなどの任意の適切なデータストレージ技術を使用して実装することができる。プロセッサ1010は、技術的環境に適した任意のタイプのものでよく、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサの1つ又は複数を包含し得る。
本開示全体を通して、様々な実施態様は、復号を含む。本出願で使用される「復号」は、例えば、表示に適した最終出力を生成するために、受信された符号化シーケンスに対して行われるプロセスの全て又は一部を包含し得る。様々な実施形態では、このようなプロセスは、例えば、エントロピー復号、逆量子化、逆変換、及び差動復号などのデコーダによって一般的に行われるプロセスの1つ又は複数を含む。様々な実施形態において、このようなプロセスは、追加的又は代替的に、例えば、重なりなしの(詰めあり)ピクチャからピクチャを抽出すること、使用すべきアップサンプルフィルタを決定し、次いでピクチャのアップサンプリングを行うこと、及び意図された配向に戻るようにピクチャを反転させることなどの、本出願に記載される様々な実施態様のデコーダによって行われるプロセスを含む。
さらなる例として、一実施形態において、「復号」は、エントロピー復号のみを指し、別の実施形態では、「復号」は、差動復号のみを指し、別の実施形態では、「復号」は、エントロピー復号及び差動復号の組み合わせを指す。「復号プロセス」という表現が、動作のサブセットを具体的に指すことを意図しているのか、或いは、より広い復号プロセスを一般的に指すことを意図しているのかは、具体的な記載の文脈に基づいて明らかとなり、当業者には、十分に理解されるものと考えられる。
また、様々な実施態様は、符号化を含む。「復号」に関する上記の説明と類似して、本出願で使用される「符号化」は、例えば、符号化されたビットストリーム又は信号を生成するために入力映像シーケンスに対して行われるプロセスの全て又は一部を包含し得る。様々な実施形態では、このようなプロセスは、例えば、パーティション化、差動符号化、変換、量子化、及びエントロピー符号化などのエンコーダによって一般的に行われるプロセスの1つ又は複数を含む。様々な実施形態において、このようなプロセスは、追加的又は代替的に、本出願に記載される様々な実施態様のエンコーダによって行われるプロセスを含む。
さらなる例として、一実施形態では、「符号化」は、エントロピー符号化のみを指し、別の実施形態では、「符号化」は、差動符号化のみを指し、別の実施形態では、「符号化」は、差動符号化及びエントロピー符号化の組み合わせを指す。「符号化プロセス」という表現が、具体的に動作のサブセットを指すことを意図しているのか、或いは、より広い符号化プロセスを一般的に指すことを意図しているのかは、具体的な記載の文脈に基づいて明らかとなり、当業者によって十分に理解されるものと考えられる。
本明細書において使用されるシンタックス要素は、記述的用語であることに留意されたい。そのため、それらは、他のシンタックス要素名の使用を妨げるものではない。
図がフロー図として提示されている場合、それは、対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されている場合、それは、対応する方法/プロセスのフロー図も提供することを理解されたい。
様々な実施形態は、レート歪最適化に言及する。具体的には、符号化プロセス中に、多くの場合、計算の複雑さの制約を所与として、レートと歪のバランス又はトレードオフが通常考慮される。レート歪最適化は、通常、レート歪関数を最小化するものとして公式化され、これは、レート及び歪の加重和である。レート歪最適化問題を解くための異なる手法が存在する。例えば、これらの手法は、コード化及び復号後の復元信号のコード化コスト及び関連の歪の完全な評価を伴う、全ての考慮されたモード又はコード化パラメータ値を含む全ての符号化選択肢の広範囲に及ぶテストに基づき得る。符号化の複雑さを減らすために、具体的には、復元されたものではなく、予測又は予測残差信号に基づく近似歪の計算を用いた、より高速な手法を使用することもできる。可能な符号化選択肢の幾つかにのみ近似歪を使用し、他の符号化選択肢に対しては完全な歪を使用することなどにより、これら2つの手法の混合を使用することもできる。他の手法は、可能な符号化選択肢のサブセットのみを評価する。より一般的には、多くの手法が、最適化を行うための様々な技術の何れかを利用するが、最適化は、必ずしも、コード化コスト及び関連の歪両方の完全な評価ではない。
本明細書に記載される実施態様及び局面は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。単一形態の実施態様の文脈においてのみ記載されている(例えば、方法としてのみ記載されている)場合であっても、記載された特徴の実施態様は、他の形態(例えば、装置又はプログラム)において実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装することができる。方法は、例えば、プロセッサ(これは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む処理デバイス一般を指す)において実装することができる。プロセッサは、例えば、コンピュータ、携帯電話、携帯/個人情報端末(「PDA」)、及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。
「一実施形態(one embodiment)」、又は「ある実施形態(an embodiment)」、又は「一実施態様(one implementation)」、又は「ある実施態様(an implementation)」、及びこれらの他のバリエーションに対する言及は、実施形態に関連して記載された、ある特定の特徴、構造、特性などが、少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な箇所に出現する「一実施形態において」、又は「ある実施形態において」、又は「一実施態様において」、又は「ある実施態様において」という表現、及びその他のバリエーションの出現は、必ずしも、全て同じ実施形態を指しているわけではない。
加えて、本明細書は、様々な情報を「取得すること」に言及する場合がある。情報を取得することは、例えば、情報を決定すること、情報を推定すること、情報を算出すること、情報を予測すること、又はメモリから情報を検索することの1つ又は複数を含み得る。
さらに、本明細書は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、(例えばメモリから)情報を検索すること、情報を保存すること、情報を移動させること、情報をコピーすること、情報を算出すること、情報を決定すること、情報を予測すること、又は情報を推定することの1つ又は複数を含み得る。
加えて、本明細書は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広い用語であることが意図されている。情報を受信することは、例えば、情報にアクセスすること、又は(例えばメモリから)情報を検索することの1つ又は複数を含み得る。さらに、「受信すること」は、一般的に、例えば、情報を保存すること、情報を処理すること、情報を送信すること、情報を移動させること、情報をコピーすること、情報を消去すること、情報を算出すること、情報を決定すること、情報を予測すること、又は情報を推定することなどの動作中に、何らかの形で含まれる。
例えば、「A/B」、「A及び/又はB」、並びに「A及びBの少なくとも1つ」のケースにおける「/」、「及び/又は」、並びに「~の少なくとも1つ」の何れかの使用は、一番目に列挙された選択肢(A)のみの選択、又は二番目に列挙された選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することを意図することが理解されるものとする。さらなる例として、「A、B、及び/又はC」、並びに「A、B、及びCの少なくとも1つ」のケースにおいて、このような言い回しは、一番目に列挙された選択肢(A)のみの選択、又は二番目に列挙された選択肢(B)のみの選択、又は三番目に列挙された選択肢(C)のみの選択、又は一番目及び二番目に列挙された選択肢(A及びB)のみの選択、又は一番目及び三番目に列挙された選択肢(A及びC)のみの選択、又は二番目及び三番目に列挙された選択肢(B及びC)のみの選択、又は3つの全ての選択肢(A及びB及びC)の選択を包含することが意図される。これは、当該技術分野及び関連分野における当業者には明らかなように、列挙と同数の項目について拡張することができる。
また、本明細書においては、「シグナリングする(signal)」という用語は、とりわけ、対応するデコーダに何かを示すことを指す。例えば、特定の実施形態では、エンコーダは、改良を目的として、複数のパラメータの特定の1つをシグナリングする。このように、ある実施形態においては、同じパラメータがエンコーダ側及びデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる(明示的シグナリング)。逆に、デコーダが、他のパラメータに加えて、既に上記特定のパラメータを有している場合には、単にデコーダが上記特定のパラメータを認識及び選択することを可能にするために、送信なしのシグナリング(暗示的シグナリング)を使用することができる。実際の関数の送信を回避することにより、ビットの節約が様々な実施形態において実現される。シグナリングは、様々なやり方で達成され得ることを理解されたい。例えば、1つ又は複数のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「シグナリングする(signal)」という用語の動詞形に関するが、「信号(signal)」という用語は、名詞としても本明細書において使用され得る。
当業者には明白であるように、実施態様は、例えば、保存又は送信され得る情報を搬送するためにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を行うための命令、又は記載した実施態様の1つによって生成されたデータを含み得る。例えば、信号は、記載した実施形態のビットストリーム又は信号を搬送するためにフォーマットされ得る。このような信号は、例えば、(例えば、スペクトルの無線周波数部分を使用する)電磁波として、又はベースバンド信号としてフォーマットされ得る。フォーマッティングは、例えば、データストリームを符号化すること、及び符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報でもよい。信号は、公知のように、様々な異なる有線又は無線リンク上で送信され得る。信号は、プロセッサ可読媒体に保存することができる。
様々な実施形態を説明した。実施形態は、様々な異なる請求項のカテゴリ及びタイプにわたり、単独で又は任意の組み合わせで、以下の特徴又はエンティティの何れかを含み得る。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、時間候補を含むマージリストに基づいて、少なくとも1つのマージモードを提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、コード化効率を向上させるやり方で、動きデータ予測子の様々なリストの数及び内容を整理することに基づいて、少なくとも1つのマージモードを提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、例えば、所与のモードに関して構築するマージ候補の数を減少させることによって、デコーダ側の最悪ケースを改善するために複雑さを低下させることに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、サブブロックフラグコード化及びアフィンフラグコード化を混ぜないことに基づいて、アフィンモードのコード化の一貫性が向上した、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、SbTMVP、又はTMVP、又はTMVPに基づくMMVD、又はTMVPに基づくCIIP、又はTMVPに基づく三角形の1つ又は複数を含む、1つ又は複数の時間予測子を含む時間マージリストであって、これらの候補が、従来のマージリストから除去され、それによって、デコーダにおける最悪ケースの複雑さが低下する、時間マージリストに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、時間マージリストに含まれず、それぞれのリスト(例えば、MMVD、CIIP、三角形)に維持される少なくとも1つの時間モードに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、時間マージリストに含まれず、各リストが時間予測子を持たない状態にするために、完全に除去される少なくとも1つの時間モードに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、サブブロックからSbTMVPを抽出することと、マージ/スキップモード及びAMVPモード間でアフィンフラグのコード化を一貫性のあるものにすることを提供することとに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、サブブロックコード化及びアフィンフラグコード化を分離することに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、
○mmvdモードフラグ復号後に、mmvdフラグが偽の場合、時間モードフラグが復号されることと、
○時間モードが真の場合、時間候補インデックスが復号されることと、
○時間モードが真でなければ、アフィンモードフラグが復号されることであって、マージリストから除去されたSbTMVP候補に基づいて、アフィンフラグがサブブロックモードフラグに取って代わり、マージモード及びAMVPモードにおけるアフィンフラグコード化が、一貫性のあるやり方で同じCABACビンを使用する、復号されることと、
を含む、時間マージリストを復号するための修正プロセスに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、時間マージリストの様々な配置を提供することであって、時間マージリストが、
○第1のマージリストとして、又は
○通常マージリストの後に、又は
○アフィンマージリストの後に、又は
○CIIPマージリストの後に、又は
○三角形マージリストの後に(この場合、三角形モードが偽であれば、時間モードは真であると演繹される)、
挿入されることも可能である、提供することに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、最大数のマージ候補に到るまで、一定の順序で潜在的候補を追加することによって生成された時間候補のリストであって、使用すべき時間候補のリスト中の位置を示すインデックスが、その後、デコーダに送信され、潜在的候補が、
○SbTMVP候補、又は
○TMVP候補、又は
○時間CIIP候補
の1つ又は複数を含む、時間候補のリストに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、
○MMVDに関するTMVP候補、若しくは三角形モード候補がマージリストに追加され得ることを示すシグナリング、又は
○MMVD及び/又は三角形及び/又はCIIPに関するTMVP候補が、それぞれの原リスト中に維持されること、又は
○MMVD及び/又は三角形及び/又はCIIPに関するTMVP候補が、完全に除去され、それによって、他の全てのリストが時間候補を持たないようにすること、又は
○MMVD及び/又は三角形及び/又はCIIPに関するTMVP候補が、完全に除去され、それによって、他の全てのリストが時間候補を持たないようにし、この場合、アフィンマージリストが時間動きベクトルを持たない状態にするために、復元されたアフィン候補が、時間動きベクトルを使用しないこと、又は
○純粋な時間復元アフィン候補が時間リストに追加されること、
の少なくとも1つを含み生成されたマージリストに基づいて、提供すること
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、デコーダプロセスの複雑さを低下させることであって、所与のマージリストが最悪ケースの複雑さの低下を有する、低下させることに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、デコーダプロセスの複雑さを低下させることであって、所与のマージリストが、1つ又は複数のマージリストの長さを減少させることを含む、最悪ケースの複雑さの低下を有する、低下させることに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、デコーダプロセスの複雑さを低下させることであって、所与のマージリストが、1つ又は複数のマージリストの長さを減少させることを含む、最悪ケースの複雑さの低下を有し、所与のマージリストが、通常、mmvd、時間、アフィン、ciip、又は三角形の少なくとも1つを含む、低下させることに基づいて、提供すること。
・映像を処理するためのエンコーダ及び/又はデコーダにおいて、マージリストの各候補を構築することに関連する帯域幅が縮小されることであって、全ての空間候補が別のリスト中にあり、時間メモリバッファにアクセスする必要がない、縮小されることに基づいて、提供すること。
・エンコーダが本明細書に記載されるマージ候補リストに基づいて少なくとも1つのマージモードを提供することを可能にするシンタックス要素をシグナリングに挿入すること。
・これらのシンタックス要素に基づいて、デコーダで適用するマージモードを選択すること。
・記載したシンタックス要素又はそれらのバリエーションの1つ又は複数を含むビットストリーム又は信号。
・デコーダが、エンコーダによって使用される様式に対応した様式でマージモードを提供することを可能にするシンタックス要素をシグナリングに挿入すること。
・記載したシンタックス要素又はそれらのバリエーションの1つ又は複数を含むビットストリーム又は信号を生成及び/又は送信及び/又は受信及び/又は復号すること。
・記載した実施形態の何れかに従って映像の符号化及び/又は復号を行い、並びに結果として生じた画像を(例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して)表示するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化された画像を含む信号を受信するために(例えばチューナを使用して)チャネルを調整し、並びに、記載した実施形態の何れかに従って映像の符号化及び/又は復号を行うTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・(例えば、アンテナを使用して)符号化された画像を含む信号を無線で受信し、並びに、記載した実施形態の何れかに従って映像の符号化及び/又は復号を行うTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・コンピュータによって実行されると、記載した実施形態の何れかに従って映像の符号化及び/又は復号を実施するプログラムコードを保存するコンピュータプログラム。
・実行可能プログラム命令を実行するコンピュータに、記載した実施形態の何れかに従って映像の符号化及び/又は復号を実施させる、上記命令を含む、非一時的コンピュータ可読媒体。
様々な他の一般化された実施形態及び特殊化された実施形態も、本開示全体を通してサポートされ、及び企図される。
Figure 2022537746000002

Claims (10)

  1. コード化されたビットストリームに含まれる第1のフラグを復号することであって、前記第1のフラグが、第1の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、
    前記コード化されたビットストリームに含まれる第2のフラグを復号することであって、前記第2のフラグが、第2の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、
    前記第1のフラグ又は前記第2のフラグによって示されたコード化モードに基づいて、前記コード化されたビットストリームに含まれる、符号化されたピクチャ情報を復号することと、
    を含み、
    前記第1のフラグが、サブブロックマージ予測モードを示し、及び
    前記第2のフラグが、インターアフィン予測モードを示す、
    方法。
  2. ピクチャ情報の符号化に関連する第1の予測モードを示す第1のフラグの値を決定することと、
    ピクチャ情報の符号化に関連する第2の予測モードを示す第2のフラグの値を決定することと、
    符号化されたビットストリームを生成するために、前記ピクチャ情報の少なくとも一部、並びに前記第1のフラグ及び前記第2のフラグを符号化することであって、前記第1のフラグが、サブブロックマージ予測モードを示し、及び第1の確率モデルに基づいたCABACコード化を使用してコード化され、前記第2のフラグが、インターアフィン予測モードを示し、及び第2の確率モデルに基づいたCABACコード化を使用してコード化される、符号化することと、
    を含む方法。
  3. コード化されたビットストリームに含まれる第1のフラグを復号することであって、前記第1のフラグが、第1の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、
    前記コード化されたビットストリームに含まれる第2のフラグを復号することであって、前記第2のフラグが、第2の確率モデルに基づいたCABACコード化を使用してコード化されたものである、復号することと、
    前記第1のフラグ又は前記第2のフラグによって示されたコード化モードに基づいて、前記コード化されたビットストリームに含まれる符号化されたピクチャ情報を復号することと、
    を行うように構成された1つ又は複数のプロセッサを含み、
    前記第1のフラグが、サブブロックマージ予測モードを示し、及び
    前記第2のフラグが、インターアフィン予測モードを示す、
    装置。
  4. ピクチャ情報の符号化に関連する第1の予測モードを示す第1のフラグの値を決定することと、
    ピクチャ情報の符号化に関連する第2の予測モードを示す第2のフラグの値を決定することと、
    符号化されたビットストリームを生成するために、前記ピクチャ情報の少なくとも一部、並びに前記第1のフラグ及び前記第2のフラグを符号化することであって、前記第1のフラグが、サブブロックマージ予測モードを示し、及び第1の確率モデルに基づいたCABACコード化を使用してコード化され、前記第2のフラグが、インターアフィン予測モードを示し、及び第2の確率モデルに基づいたCABACコード化を使用してコード化される、符号化することと、
    を行うように構成された1つ又は複数のプロセッサを含む、装置。
  5. コンピュータによって実行されると、請求項1又は2に記載の方法を前記コンピュータに実施させる命令を含む、コンピュータプログラム。
  6. 実行可能プログラム命令を実行するコンピュータに請求項1又は2に記載の方法を行わせる前記命令を保存した、非一時的コンピュータ可読媒体。
  7. 請求項2に記載の方法に従って生成されたデータを含む、信号。
  8. シンタックス要素、及び請求項2に記載の方法による符号化された画像情報を含むようにフォーマットされたビットストリーム。
  9. 請求項3又は4に記載の装置と、
    (i)信号を受信するように構成されたアンテナであって、前記信号が前記画像情報を表すデータを含む、アンテナ、(ii)前記画像情報を表す前記データを含む周波数帯に前記受信した信号を制限するように構成された帯域制限器、及び(iii)前記画像情報から画像を表示するように構成されたディスプレイの少なくとも1つと、
    を含むデバイス。
  10. 前記デバイスが、テレビ、テレビ信号受信機、セットトップボックス、ゲートウェイデバイス、モバイルデバイス、携帯電話、タブレット、又は他の電子デバイスの1つを含む、請求項10に記載のデバイス。
JP2021575348A 2019-06-25 2020-06-23 映像符号化及び復号における動きベクトル予測 Pending JP2022537746A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19305833 2019-06-25
EP19305833.6 2019-06-25
PCT/EP2020/067497 WO2020260280A1 (en) 2019-06-25 2020-06-23 Motion vector prediction in video encoding and decoding

Publications (2)

Publication Number Publication Date
JP2022537746A true JP2022537746A (ja) 2022-08-29
JPWO2020260280A5 JPWO2020260280A5 (ja) 2023-06-22

Family

ID=67437763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021575348A Pending JP2022537746A (ja) 2019-06-25 2020-06-23 映像符号化及び復号における動きベクトル予測

Country Status (7)

Country Link
US (1) US20230018401A1 (ja)
EP (1) EP3991417A1 (ja)
JP (1) JP2022537746A (ja)
KR (1) KR20220027173A (ja)
CN (1) CN114450951A (ja)
BR (1) BR112021026310A2 (ja)
WO (1) WO2020260280A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170186A (zh) * 2018-12-07 2021-07-23 夏普株式会社 运动图像解码装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140029670A1 (en) * 2012-07-27 2014-01-30 Motorola Mobility Llc Devices and methods for processing of partition mode in high efficiency video coding
US10129550B2 (en) * 2013-02-01 2018-11-13 Qualcomm Incorporated Inter-layer syntax prediction control
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
US10148977B2 (en) * 2015-06-16 2018-12-04 Futurewei Technologies, Inc. Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions
GB2577318B (en) * 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
EP3864850A1 (en) * 2018-10-10 2021-08-18 InterDigital VC Holdings, Inc. Affine mode signaling in video encoding and decoding
CN113170099B (zh) * 2018-11-29 2024-03-29 北京字节跳动网络技术有限公司 块内拷贝模式和帧间预测工具之间的交互
CN116506637A (zh) * 2019-03-08 2023-07-28 知识产权之桥一号有限责任公司 图像编码装置、图像编码方法以及图像解码装置、图像解码方法
KR102640262B1 (ko) * 2019-06-24 2024-02-23 엘지전자 주식회사 움직임 벡터 차분들을 이용한 영상 코딩 방법 및 장치

Also Published As

Publication number Publication date
WO2020260280A1 (en) 2020-12-30
US20230018401A1 (en) 2023-01-19
CN114450951A (zh) 2022-05-06
KR20220027173A (ko) 2022-03-07
BR112021026310A2 (pt) 2022-03-03
EP3991417A1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
JP7420807B2 (ja) マージリストにおける動きベクトル予測子候補の順序付け
US20210377553A1 (en) Virtual pipeline for video encoding and decoding
AU2023208181A1 (en) Generalized bi-prediction and weighted prediction
US20210400276A1 (en) Quantization for video encoding and decoding
JP2022504753A (ja) ビデオエンコーディングおよびデコーディングにおけるアフィンモードシグナリング
JP2022521893A (ja) ビデオの符号化および復号における動きベクトルの導出
WO2020132168A1 (en) Syntax for motion information signaling in video coding
CN112753222A (zh) 视频编码和解码中的运动矢量预测
US20230421788A1 (en) Parameter grouping among plural coding units forvideo encoding and decoding
US20220360813A1 (en) Motion vector processing for video encoding and decoding
WO2020185492A1 (en) Transform selection and signaling for video encoding or decoding
JP2022537746A (ja) 映像符号化及び復号における動きベクトル予測
EP3815373A1 (en) Virtual temporal affine candidates
US11843791B2 (en) Chroma processing for video encoding and decoding
JP2024513873A (ja) 切り替え可能な補間フィルタを用いる幾何学的分割
KR20220123643A (ko) 삼각형 병합 모드에서의 서브-블록 병합 후보들
CN112703733A (zh) 一统一列表中的平移和仿射候选
EP3874746A1 (en) Video encoding and decoding using multiple transform selection
JP7506063B2 (ja) ビデオ符号化および復号のための複数のコーディングユニットの中でグループ化するパラメータ
KR20230162801A (ko) 비디오 코딩을 위한 외부적으로 향상된 예측
JP2022541723A (ja) アフィン及びsbtmvp動きベクトル予測モードのためのhmvc
WO2020072397A1 (en) Block size based motion vector coding in affine mode

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230614

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20231110