JP2021526329A - 映像のコード化又は映像の復号のためのシンタックス要素 - Google Patents

映像のコード化又は映像の復号のためのシンタックス要素 Download PDF

Info

Publication number
JP2021526329A
JP2021526329A JP2020565973A JP2020565973A JP2021526329A JP 2021526329 A JP2021526329 A JP 2021526329A JP 2020565973 A JP2020565973 A JP 2020565973A JP 2020565973 A JP2020565973 A JP 2020565973A JP 2021526329 A JP2021526329 A JP 2021526329A
Authority
JP
Japan
Prior art keywords
parameters
block
represent
partitioning
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020565973A
Other languages
English (en)
Other versions
JPWO2019236335A5 (ja
Inventor
ルリアネック,ファブリス
ギャルピン,フランク
ポワリエ,タンギ
フランソワ,エドワール
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18305849.4A external-priority patent/EP3591969A1/en
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド, インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2021526329A publication Critical patent/JP2021526329A/ja
Publication of JPWO2019236335A5 publication Critical patent/JPWO2019236335A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

少なくとも1つの実施形態では、新しい符号化ツールの使用により、符号化効率の向上がもたらされる。ある実施形態例では、これらの符号化ツールの効率的なシグナリングは、復号段階に適切なツールが使用されるように、例えばエンコーダデバイスから受信機デバイス(例えば、デコーダ又はディスプレイ)へとコード化に利用される符号化ツールを表す情報を運ぶ。これらのツールは、新しいパーティショニングモード、新しいイントラ予測モード、サンプル適応オフセットに対する柔軟性の向上、及び双予測ブロックの新しい照明補償モードを含む。

Description

技術分野
本実施形態の少なくとも1つは、一般に、映像のコード化又は映像の復号のためのシンタックス要素に関する。
背景
高い圧縮効率を得るために、画像及び映像のコード体系は、通常、映像コンテンツにおける空間的及び時間的冗長性を活用するために予測及び変換を用いる。一般に、フレーム内相関又はフレーム間相関を利用するために、イントラ予測又はインター予測が使用され、次いで、オリジナルのブロックと、予測されたブロックとの差(予測誤差又は予測残差と呼ばれることが多い)が、変換され、量子化され、及びエントロピー符号化される。映像を復元するために、圧縮されたデータは、エントロピー符号化、量子化、変換、及び予測に対応する逆のプロセスによって復号される。
概要
少なくとも1つの実施形態の第1の態様によれば、映像信号が提示され、この映像信号は、映像符号化規格に従った情報を含むようにフォーマットされ、並びに映像コンテンツ及び高位シンタックス情報を有するビットストリームを含み、前記高位シンタックス情報は、パーティショニングのタイプを表すパラメータと、イントラ予測モードのタイプを表すパラメータと、サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、双予測ブロックの照明補償モードを表すパラメータと、の中から少なくとも1つのパラメータを含む。
少なくとも1つの実施形態の第2の態様によれば、ストレージ媒体が提示され、このストレージ媒体は、コード化された映像信号データを有し、映像信号は、映像符号化規格に従った情報を含むようにフォーマットされ、並びに映像コンテンツ及び高位シンタックス情報を有するビットストリームを含み、前記高位シンタックス情報は、パーティショニングのタイプを表すパラメータと、イントラ予測モードのタイプを表すパラメータと、サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、双予測ブロックの照明補償モードを表すパラメータと、の中から少なくとも少なくとも1つのパラメータを含む。
少なくとも1つの実施形態の第3の態様によれば、装置が提示され、この装置は、ピクチャ内の少なくとも1つのブロックのピクチャデータをコード化するための映像エンコーダであって、コード化することが、パーティショニングのタイプを表すパラメータと、イントラ予測モードのタイプを表すパラメータと、サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、双予測ブロックの照明補償モードを表すパラメータと、の中から少なくとも1つのパラメータを用いて行われ、パラメータが、コード化されたピクチャデータの高位シンタックス要素に挿入される、映像エンコーダを含む。
少なくとも1つの実施形態の第4の態様によれば、方法が提示され、この方法は、ピクチャ内の少なくとも1つのブロックのピクチャデータをコード化することであって、パーティショニングのタイプを表すパラメータと、イントラ予測モードのタイプを表すパラメータと、サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、双予測ブロックの照明補償モードを表すパラメータと、の中から少なくとも1つのパラメータを用いて行われるコード化することと、パラメータをコード化されたピクチャデータの高位シンタックス要素に挿入することと、を含む。
少なくとも1つの実施形態の第5の態様によれば、装置が提示され、この装置は、ピクチャ内の少なくとも1つのブロックのピクチャデータを復号するための映像デコーダであって、復号することが、パーティショニングのタイプを表すパラメータと、イントラ予測モードのタイプを表すパラメータと、サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、双予測ブロックの照明補償モードを表すパラメータと、の中から少なくとも1つのパラメータを用いて行われ、パラメータが、コード化されたピクチャデータの高位シンタックス要素から取得される、映像デコーダを含む。
少なくとも1つの実施形態の第6の態様によれば、方法が提示され、この方法は、コード化されたピクチャデータの高位シンタックス要素からパラメータを取得することと、ピクチャ内の少なくとも1つのブロックのピクチャデータを復号することであって、パーティショニングのタイプを表すパラメータと、イントラ予測モードのタイプを表すパラメータと、サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、双予測ブロックの照明補償モードを表すパラメータと、の中から少なくとも1つのパラメータを用いて行われる復号することと、を含む。
少なくとも1つの実施形態の第7の態様によれば、非一時的なコンピュータ可読媒体が提示され、この非一時的なコンピュータ可読媒体は、第3又は第4の態様によって生成されたデータコンテンツを含む。
少なくとも1つの実施形態の第7の態様によれば、プロセッサによって実行可能なプログラムコード命令を含むコンピュータプログラムが提示され、このコンピュータプログラムは、少なくとも第4又は第6の態様による方法のステップを実施する。
少なくとも1つの実施形態の第8の態様によれば、非一時的なコンピュータ可読媒体に保存され、及びプロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラムプロダクトが提示され、このコンピュータプログラムプロダクトは、少なくとも第4又は第6の態様による方法のステップを実施する。
図面の簡単な説明
図1は、高効率映像符号化(HEVC:High Efficiency Video Coding)エンコーダなどの映像エンコーダ100の一例を示す。 HEVCデコーダなどの映像デコーダ200の一例のブロック図を示す。 圧縮されたドメインにおける符号化ツリーユニット及び符号化ツリーの一例を示す。 符号化ユニット、予測ユニット、及び変換ユニットへのCTUの分割の一例を示す。 四分木+二分木(QTBT:Quad-Tree plus Binary-Tree)のCTU表現の一例を示す。 符号化ユニットパーティショニングの例示的拡張セットを示す。 2つの参照層を有するイントラ予測モードの一例を示す。 双方向照明補償の補償モードのある実施形態例を示す。 ある実施形態例によるbt-split-flagの解釈を示す。 様々な態様及び実施形態が実施されるシステムの一例のブロック図を示す。 新しいコード化ツールを用いた、ある実施形態によるコード化方法の一例のフローチャートを示す。 新しいコード化ツールを用いた、ある実施形態による復号方法の一部の一例のフローチャートを示す。
詳細な説明
少なくとも1つの実施形態では、下記の新しい符号化ツールの使用により、符号化効率の向上がもたらされる。ある実施形態例では、これらの符号化ツールの効率的なシグナリングは、復号段階に適切なツールが使用されるように、例えばエンコーダデバイスから受信機デバイス(例えば、デコーダ又はディスプレイ)へとコード化に利用される符号化ツールを表す情報を運ぶ。これらのツールは、新しいパーティショニングモード、新しいイントラ予測モード、サンプル適応オフセット(sample adaptive offset)に対する柔軟性の向上、及び双予測(bi-prediction)ブロックの新しい照明補償モードを含む。従って、複数の符号化ツールを寄せ集めた提案される新しいシンタックスは、より効率的な映像符号化を提供する。
図1は、高効率映像符号化(HEVC)エンコーダなどの映像エンコーダ100の一例を示す。図1は、HEVC規格に対して改善が成されたエンコーダ、又はJVET(Joint Video Exploration Team)が開発を進めているJEM(Joint Exploration Model)エンコーダなどのHEVCに類似した技術を用いたエンコーダも示し得る。
本出願では、「復元された」及び「復号された」という用語は、同義で使用される場合があり、「コード化された」又は「符号化された」という用語は、同義で使用される場合があり、並びに「画像」、「ピクチャ」、及び「フレーム」という用語は、同義で使用される場合がある。通常、但し、必須ではないが、「復元された」という用語は、エンコーダ側で使用され、「復号された」は、デコーダ側で使用される。
コード化される前に、映像シーケンスは、コード化前処理(101)を受け得る。これは、例えば、入力カラーピクチャにカラー変換を適用すること(例えば、RGB4:4:4からYCbCr4:2:0への変換)、又は(例えばカラー成分の1つのヒストグラム平坦化を用いて)圧縮に対してより高い復元力の信号分布を得るために入力ピクチャ成分の再マッピングを行うことによって行われる。メタデータは、前処理に関連付けられ、及びビットストリームに結合され得る。
HEVCでは、1つ又は複数のピクチャを有する映像シーケンスをコード化するために、ピクチャは、各スライスが1つ又は複数のスライスセグメントを含み得る1つ又は複数のスライスにパーティショニング(102)される。スライスセグメントは、符号化ユニット、予測ユニット、及び変換ユニットに編成される。HEVC仕様は、「ブロック」と「ユニット」とを区別し、「ブロック」は、サンプルアレイのある特定のエリアのアドレスを指定し(例えば、輝度、Y)、「ユニット」は、ブロックに関連付けられた全てのコード化されたカラー成分(Y、Cb、Cr、又はモノクロ)、シンタックス要素、及び予測データの配列ブロックを含む(例えば、動きベクトル)。
HEVCで符号化を行うために、ピクチャは、構成可能なサイズを有する正方形状の符号化ツリーブロック(CTB:coding tree block)にパーティショニングされ、連続する符号化ツリーブロックのセットが、スライスにグループ化される。符号化ツリーユニット(CTU:Coding Tree Unit)は、コード化されたカラー成分のCTBを含む。CTBは、符号化ブロック(CB:Coding Block)にパーティショニングする四分木の根であり、符号化ブロックは、1つ又は複数の予測ブロック(PB:Prediction Block)にパーティショニングされてもよく、変換ブロック(TB:Transform Block)にパーティショニングする四分木の根を形成する。符号化ブロック、予測ブロック、及び変換ブロックに対応して、符号化ユニット(CU:Coding Unit)は、予測ユニット(PU:Prediction Unit)及びツリー構造の変換ユニット(TU:Transform Unit)のセットを含み、PUは、全てのカラー成分の予測情報を含み、並びにTUは、カラー成分ごとの残差符号化シンタックス構造を含む。輝度成分のCB、PB、及びTBのサイズが、対応するCU、PU、及びTUに適用される。本出願では、「ブロック」という用語は、例えば、CTU、CU、PU、TU、CB、PB、及びTBの何れかを指すために使用され得る。加えて、「ブロック」は、H.264/AVCで指定されるようなマクロブロック及びパーティション、又は他の映像符号化規格を指すため、並びにより一般的に様々なサイズのデータのアレイを指すためにも使用され得る。
エンコーダ100の例では、ピクチャは、下記のようにエンコーダ要素によってコード化される。コード化されるピクチャは、CUのユニットで処理される。各CUは、イントラモード又はインターモードを用いてコード化される。CUがイントラモードでコード化される際に、それは、イントラ予測(160)を行う。インターモードでは、動き推定(175)及び動き補償(170)が行われる。エンコーダは、CUをコード化するためにイントラモード又はインターモードのどちらを使用するかを決定し(105)、予測モードフラグによってイントラ/インター決定を示す。予測残差は、オリジナルの画像ブロックから予測されたブロックを減算する(110)ことによって計算される。
イントラモードのCUは、同じスライス内の復元された隣接サンプルから予測される。DC予測モード、平面予測モード、及び33個の角度予測モードを含む、35個のイントラ予測モードのセットがHEVCにおいて利用可能である。イントラ予測参照は、現在のブロックに隣接する行及び列から復元される。参照は、以前に復元されたブロックから利用可能なサンプルを使用して、水平方向及び垂直方向のブロックサイズの2倍にわたり延在する。角度予測モードがイントラ予測に使用される場合、参照サンプルは、角度予測モードによって示される方向に沿ってコピーされ得る。
現在のブロックに対して適用可能な輝度イントラ予測モードは、2つの異なるオプションを使用して符号化され得る。適用可能なモードが3つの最確モード(MPM:most probable mode)の構築リストに含まれる場合、モードは、MPMリストのインデックスによってシグナリングされる。そうでなければ、モードは、モードインデックスの固定長二値化によってシグナリングされる。3つの最確モードは、上部隣接ブロック及び左隣接ブロックのイントラ予測モードから導出される。
インターCUの場合、対応する符号化ブロックは、1つ又は複数の予測ブロックにさらにパーティショニングされる。インター予測は、PBレベルで行われ、対応するPUは、インター予測がどのように行われるかに関する情報を含む。動き情報(例えば、動きベクトル及び参照ピクチャインデックス)は、2つの方法、つまり、「マージモード」及び「高度動きベクトル予測(AMVP:advanced motion vector prediction)」でシグナリングされ得る。
マージモードでは、映像エンコーダ又は映像デコーダは、既に符号化されたブロックに基づいて候補リストをアセンブルし、映像エンコーダは、候補リスト内の候補の1つに関するインデックスをシグナリングする。デコーダ側で、動きベクトル(MV:motion vector)及び参照ピクチャインデックスは、シグナリングされた候補に基づいて復元される。
AMVPでは、映像エンコーダ又は映像デコーダは、既に符号化されたブロックから決定された動きベクトルに基づいて候補リストをアセンブルする。次いで、映像エンコーダは、動きベクトル予測子(MVP:motion vector predictor)を識別するために候補リスト内のインデックスをシグナリングし、及び動きベクトル差(MVD:motion vector difference)をシグナリングする。デコーダ側では、動きベクトル(MV)は、MVP+MVDとして復元される。また、適用可能な参照ピクチャインデックスは、AMVPのPUシンタックスにおいて明示的に符号化される。
次いで、予測残差が変換(125)され、及び量子化(130)される(下記の彩度量子化パラメータを適用させるための少なくとも1つの実施形態を含む)。変換は、一般に、分離可能な変換に基づく。例えば、DCT変換は、まず水平方向に適用され、次いで垂直方向に適用される。JEMなどの最近のコーデックでは、両方向で使用される変換は、異なる場合があり(例えば、一方の方向でDCT、他方の方向でDST)、このことは、多種多様な2D変換をもたらすが、以前のコーデックでは、所与のブロックサイズの2D変換の多様性は、通常限られている。
量子化変換係数、並びに動きベクトル及び他のシンタックス要素がエントロピー符号化(145)されることにより、ビットストリームが出力される。エンコーダは、変換をスキップし、4×4TUベースで量子化を非変換残差信号に直接適用することもできる。エンコーダは、変換及び量子化の両方を回避することもできる(すなわち、残差は、変換プロセス又は量子化プロセスの適用なしに直接符号化される)。直接的なPCM符号化では予測は適用されず、符号化ユニットサンプルが直接ビットストリームに符号化される。
エンコーダは、コード化されたブロックを復号して、さらなる予測のための参照を提供する。量子化変換係数は、予測残差を復号するために逆量子化され(de-quantized)(140)、及び逆変換(150)される。復号された予測残差及び予測されたブロックを組み合わせる(155)ことにより、画像ブロックが復元される。例えば、非ブロック化/SAO(サンプル適応オフセット)フィルタリングを行うことによりコード化アーチファクトを減少させるために、インループフィルタ(165)が復元されたピクチャに適用される。フィルタリングされた画像は、参照ピクチャバッファ(180)に保存される。
図2は、HEVCデコーダなどの映像デコーダ200の一例のブロック図を示す。デコーダ200の例では、ビットストリームは、下記のようなデコーダ要素によって復号される。映像デコーダ200は、一般に、図1に記載されるようなコード化パスと逆の復号パスを行い、これは、映像データのコード化の一部として映像の復号を行う。図2は、HEVC規格に対して改善が成されたデコーダ、又はJEMデコーダなどのHEVCに類似した技術を用いたデコーダも示し得る。
具体的には、デコーダの入力は、映像エンコーダ100によって生成され得る映像ビットストリームを含む。ビットストリームは、まず、変換係数、動きベクトル、ピクチャパーティショニング情報、及び他の符号化情報を取得するためにエントロピー復号(230)される。ピクチャパーティショニング情報は、CTUのサイズ、並びにCTUがCUに、及び場合によっては適用できる場合にPUにスプリットされる様式を示す。従って、デコーダは、復号されたピクチャパーティショニング情報に従って、ピクチャをCTUに分割(235)し、各CTUをCUに分割する。変換係数は、予測残差を復号するために、逆量子化(240)され(下記の彩度量子化パラメータを適応させるための少なくとも1つの実施形態を含む)、及び逆変換(250)される。
復号された予測残差及び予測されたブロックを組み合わせる(255)ことにより、画像ブロックが復元される。予測されたブロックは、イントラ予測(260)又は動き補償予測(すなわち、インター予測)(275)から取得(270)され得る。上記の通り、AMVP技術及びマージモード技術を使用して、参照ブロックのサブ整数サンプルの補間値を計算するために補間フィルタを使用し得る、動き補償の動きベクトルを導出することができる。インループフィルタ(265)が、復元画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(280)に保存される。
復号されたピクチャは、復号後処理(285)、例えば、逆カラー変換(例えば、YCbCr4:2:0からRGB4:4:4への変換)、又はコード化前処理(101)で行われた再マッピングプロセスの逆を行う逆再マッピングをさらに受け得る。復号後処理は、コード化前処理で導出され、及びビットストリームでシグナリングされたメタデータを使用し得る。
図3は、圧縮されたドメインにおける符号化ツリーユニット及び符号化ツリーの一例を示す。HEVC映像圧縮規格では、ピクチャは、いわゆる符号化ツリーユニット(CTU)に分割され、そのサイズは、一般に、64×64、128×128、又は256×256ピクセルである。各CTUは、圧縮されたドメインの符号化ツリーによって表される。これは、CTUの四分木分割であり、各葉が符号化ユニット(CU)と呼ばれる。
図4は、符号化ユニット、予測ユニット、及び変換ユニットへのCTUの分割の一例を示す。各CUは、幾つかのイントラ予測パラメータ又はインター予測パラメータ予測情報)を与えられる。そのためには、それは、1つ又は複数の予測ユニット(PU)に空間的にパーティショニングされ、各PUがある予測情報を割り当てられる。イントラ符号化モード又はインター符号化モードがCUレベルで割り当てられる。
圧縮されたドメインにおける符号化ツリーユニット表現を含む新たに出現した映像圧縮ツールは、ピクチャデータをより柔軟なやり方で表すために提案される。この符号化ツリーのより柔軟な表現の利点は、それがHEVC規格のCU/PU/TU配置と比較して圧縮効率の向上を提供する点である。
図5は、四分木+二分木(QTBT)のCTU表現の一例を示す。四分木+二分木(QTBT)符号化ツールは、このような柔軟性の向上を提供する。QTBTは、符号化ユニットが四分木様式及び二分木様式の両方でスプリットされ得る符号化ツリーで構成される。符号化ユニットのスプリットは、最小RD(rate distortion)コストを有するCTUのQTBT表現を決定するRD最適化プロシージャにより、エンコーダ側で決定される。QTBT技術では、CUは、正方形状又は長方形状を有する。符号化ユニットのサイズは、常に2のべき乗であり、一般的に、4〜128に及ぶ。符号化ユニットのこの長方形状の多様性に加えて、このようなCTU表現は、HEVCと比較して、以下の異なる特性を有する。CTUのQTBT分解は、2段階から成る:まず、CTUが四分木様式でスプリットされ、次いで、各四分木の葉がさらに二分様式で分割され得る。これは、実線が四分木分解フェーズを表し、破線が四分木の葉に空間的に埋め込まれた二分分解を表す図の右側に示される。イントラスライスでは、輝度及び彩度ブロックパーティショニング構造が、分離され、独立して決定される。それ以上の予測ユニット又は変換ユニットへのCUパーティショニングが用いられない。つまり、各符号化ユニットは、系統的に、単一の予測ユニット(2N×2Nの予測ユニットパーティションタイプ)及び単一の変換ユニット(変換木への分割なし)から成る。
図6は、符号化ユニットパーティショニングの例示的拡張セットを示す。ある非対称二分及び木スプリットモード(ABT)では、非対称二分スプリットモードの1つ(例えば、HOR_UP(水平−上))によりスプリットされるサイズ(w,h)(幅及び高さ)を有する長方形符号化ユニットは、それぞれ長方形サイズ
Figure 2021526329
を有する2つのサブ符号化ユニットを生じさせる。加えて、CUのいわゆる三分木パーティショニングが使用されてもよく、図5に提供される可能なパーティションのセットをもたらす。三分木は、考慮された配向(例えば、水平スプリットモードのHOR_TRIPLE)で、親CUに対してサイズ(1/4、1/2、1/4)を有する3つのサブCUにCUをスプリットさせるものである。
上記の新しいトポロジーの1つ又は複数の実施形態を用いて、大幅な符号化効率の向上がもたらされる。
図7は、2つの参照層を有するイントラ予測モードの一例を示す。実際に、向上したシンタックスにおいて、新しいイントラ予測モードが考慮される。第1の新しいイントラ地獄モードは、マルチ参照イントラ予測(MRIP:multi-Reference Intra Prediction)と名付けられる。このツールは、ブロックのイントラ予測のために複数の参照層を使用することを容易にする。一般的には、イントラ予測のために2つの参照層が使用され、各参照層は、左参照アレイ及び上参照アレイから成る。各参照層は、参照サンプル置換によって構築され、次いで、プレフィルタリングされる。
各参照層を使用して、一般的にはHEVC又はJEMで行われるように、ブロックの予測が構築される。最終予測は、2つの参照層から行われた予測の加重平均として形成される。最も近い参照層からの予測には、最も遠い層からの予測よりも大きな重みが与えられる。一般的に使用される重みは、3及び1である。
予測プロセスの最後の部分では、モード依存プロセスを使用して、特定の予測モードの境界サンプルを平滑化するために、複数の参照層が使用され得る。
ある実施形態例では、映像圧縮ツールは、サンプル適応オフセット(SAO)の適応可能なブロックサイズも含む。このツールは、HEVCで指定されるループフィルタである。HEVCでは、SAOプロセスは、1つのブロックの復元されたサンプルを数個のクラスに分類し、幾つかのクラスに属するサンプルが、オフセットを用いて補正される。SAOパラメータは、ブロックごとにコード化され、又は左若しくは上に隣接するブロックからのみ引き継がれ得る。
SAOパレットモードを定義することによって、さらなる向上が提案される。SAOパレットは、ブロックごとに同じSAOパラメータを維持するが、ブロックは、これらのパラメータを全ての他のブロックから引き継ぎ得る。これは、1つのブロックに関する可能なSAOパラメータの範囲を広げることによって、より高い柔軟性をSAOにもたらす。SAOパレットは、異なる複数のSAOパラメータのセットから成る。ブロックごとに、どのSAOパラメータを使用するかを示すために、インデックスが符号化される。
図8は、双方向照明補償の補償モードのある実施形態例を示す。照明補償(IC:Illumination Compensation)は、空間的又は時間的局所照明変動を場合により考慮することによって、動き補償により取得されたブロック予測サンプル(SMC)を補正することを可能にする。
IC=a.SMC+b
双予測の場合、ICパラメータは、図8に描かれるような2つの参照CUサンプルのサンプルを使用して推定される。まず、ICパラメータ(a,b)が、2つの参照ブロック間で推定され、次に、参照ブロック及び現在のブロック間のICパラメータ(ai,bi)i=0,1が、以下のように導出される。
Figure 2021526329
CUサイズが幅又は高さにおいて8以下の場合、ICパラメータは、一方向プロセスを用いて推定される。CUサイズが8を超える場合、双方向プロセス又は一方向プロセスから導出されたICパラメータを使用するかの選択が、IC補償された参照ブロックの平均の差を最小限に抑えるICパラメータを選択することによって行われる。双方向オプティカルフロー(BIO)が、双方向照明補償ツールを用いて可能となる。
上記で導入した複数のツールは、映像エンコーダ100によって選択及び使用され、並びに、映像デコーダ200によって取得及び使用される必要がある。そのために、これらのツールの使用を表す情報が、映像エンコーダによって生成された符号化ビットストリームで運ばれ、及び高位シンタックス情報の形式で映像デコーダ200によって取得される。そのために、対応するシンタックスが定義され、以下に説明される。複数のツールを寄せ集めたこのシンタックスは、符号化効率の向上を可能にする。
このシンタックス構造は、基礎としてHEVCシンタックス構造を使用し、幾つかの追加のシンタックス要素を含む。以下の表において、イタリック体の太字のフォントでシグナリングされ、灰色で強調表示されたシンタックス要素は、ある実施形態例による追加のシンタックス要素に対応する。シンタックス要素は、同じ機能を扱いながら、シンタックス表に示される以外の他の形態又は名称を有し得ることに留意されたい。シンタックス要素は、異なる複数のレベルに存在し得る(例えば、幾つかのシンタックス要素は、シーケンスパラメータセット(SPS:sequence parameter set)内に配置されてもよく、幾つかのシンタックス要素は、ピクチャパラメータセット(PPS:picture parameter set)内に配置されてもよい)。
下記の表1は、シーケンスパラメータセット(SPS)を示し、少なくとも1つの実施形態例による、このパラメータセットに挿入された新しいシンタックス要素、より正確には、multi_type_tree_enabled_primary、log2_min_cu_size_minus2、log2_max_cu_size_minus4、log2_max_tu_size_minus2、sep_tree_mode_intra、multi_type_tree_enabled_secondary、sps_bdip_enabled_flag、sps_mrip_enabled_flag、use_erp_aqp_flag、use_high_perf_chroma_qp_table、abt_one_third_flag、sps_num_intra_mode_ratioを導入する。
Figure 2021526329
Figure 2021526329
Figure 2021526329
Figure 2021526329
新しいシンタックス要素は、以下のように定義される。
− use_high_perf_chroma_qp_table:このシンタックス要素は、スライスに関連付けられた彩度成分の復号に使用されるQPを、考慮されるスライスの彩度成分に関連付けられたベース彩度QPの関数として導出するために使用される彩度QP表を指定する。
− multi_type_tree_enabled_primary:このシンタックス要素は、符号化スライスで許容されるパーティショニングのタイプを示す。少なくとも1つの実施態様では、このシンタックス要素は、シーケンスレベルで(SPSで)シグナリングされ、従って、このSPSを使用している全ての符号化スライスに適用される。例えば、このシンタックス要素の第1の値は、四分木及び二分木(QTBT)パーティショニング(図5のNO-SPLIT、QT-SPLIT、HOR、及びVER)を許容し、第2の値は、QTBT+三分木(TT:triple-tree)パーティショニング(図5のNO-SPLIT、QT-SPLIT、HOR、VER、HOR_TRIPLE、及びVER_TRIPLE)を許容し、第3の値は、QTBT+非対称二分木(ABT)パーティショニング(図5のNO-SPLIT、QT-SPLIT、HOR、VER、HOR-UP、HOR_DOWN、VER_LEFT、及びVER_RIGHT)を許容し、第4の値は、QTBT+TT+ABTパーティショニング(図5の全てのスプリットケース)を許容する。
− sep_tree_mode_intra:このシンタックス要素は、輝度ブロック及び彩度ブロックに関して別個の符号化ツリーが使用されるかどうかを示す。sep_tree_mode_intraが1に等しければ、輝度ブロック及び彩度ブロックは、独立した符号化ツリーを使用し、従って、輝度ブロック及び彩度ブロックのパーティショニングは、独立している。少なくとも1つの実施態様では、このシンタックス要素は、シーケンスレベルで(SPSで)シグナリングされ、従って、このSPSを使用している全ての符号化スライスに適用される。
− multi_type_tree_enabled_secondary:このシンタックス要素は、パーティショニングのタイプが符号化スライスにおける彩度ブロックに許容されることを示す。このシンタックス要素が取り得る値は、一般的に、シンタックス要素multi_type_tree_enabled_primaryのものと同じである。少なくとも1つの実施態様では、このシンタックス要素は、シーケンスレベルで(SPSで)シグナリングされ、従って、このSPSを使用している全ての符号化スライスに適用される。
− sps_bdip_enabled_flag:このシンタックス要素は、考慮される符号化映像シーケンスに含まれる符号化スライスにおいて、JVET−J0022に記載される双方向イントラ予測が許容されることを示す。
− sps_mrip_enabled_flag:このシンタックス要素は、考慮される符号化映像ビットストリームに含まれるコードスライスの復号において、マルチ参照イントラ予測ツールが使用されることを示す。
− use_erp_aqp_flag:このシンタックス要素は、JVET−J0022に記載されるようなVR360のERPコンテンツの空間的適応量子化が符号化スライスにおいてアクティブにされるかどうかを示す。
− abt_one_third_flag:このシンタックス要素は、最初のCUの水平寸法又は垂直寸法の1/3及び2/3、又は2/3及び1/3である水平寸法又は垂直寸法をそれぞれ有する2つのパーティションへの非対称パーティショニングが、符号化スライスにおいてアクティブにされるかどうかを示す。
− sps_num_intra_mode_ratio:このシンタックス要素は、幅又は高さにおいて3の倍数に等しいブロックサイズに使用されるイントラ予測の数の導出方法を指定する。
加えて、以下の3つのシンタックス要素を使用して、符号化ユニット(CU)のサイズ及び変換ユニット(TU)のサイズが制御される。少なくとも1つの実施態様において、これらのシンタックス要素は、シーケンスレベルで(SPSで)シグナリングされ、従って、このSPSを使用している全ての符号化スライスに適用される。
− log2_min_cu_size_minus2は、最小CUサイズを指定する。
− log2_max_cu_size_minus4は、最大CUサイズを指定する。
− log2_max_tu_size_minus2は、最大TUサイズを指定する。
別の実施形態では、上記で導入された新しいシンタックス要素は、シーケンスパラメータセットではなく、ピクチャパラメータセット(PPS)において導入される。
下記の表2は、シーケンスパラメータセット(SPS)を示し、少なくとも1つの実施形態例による、このパラメータセットに挿入された新しいシンタックス要素、より正確には、以下を導入する:
− slice_sao_size_id:このシンタックス要素は、符号化スライスに関してSAOが適用されるブロックのサイズを指定する。
− slice_bidir_ic_enable_flag:符号化スライスに関して双方向照明補償がアクティブにされるかどうかを示す。
Figure 2021526329
Figure 2021526329
Figure 2021526329
Figure 2021526329
Figure 2021526329
下記の表3、4、5、6は、少なくとも1つの実施形態例による追加のパーティショニングモードをサポートするために改変された符号化ツリーシンタックスを示す。具体的には、非対称パーティショニングを可能にするシンタックスが、coding_binary_tree()で指定される。新しいシンタックス要素、より正確には以下が符号化ツリーシンタックスに挿入される。
− 非対称二分スプリットが現在のCUに関して許容されるかどうかを示すasymmetricSplitFlag、及び
− 非対称二分スプリットのタイプを示すasymmetric_type、水平スプリットが上若しくは下となること、又は垂直スプリットが左若しくは右となることを可能にするために、2つの値を取り得る
加えて、パラメータbtSplitModeが異なって解釈される。
Figure 2021526329
Figure 2021526329
Figure 2021526329
Figure 2021526329
Figure 2021526329
図9は、少なくとも1つの実施形態例によるbt-split-flagの解釈を示す。2つのシンタックス要素asymmetricSplitFlag及びasymmetric_typeを使用して、パラメータbtSplitModeの値が指定される。btSplitModeは、現在のCUに適用される二分スプリットモードを示す。btSplitModeは、先行技術とは異なって導出される。JEMでは、それは、HOR、VERの値を取り得る。向上したシンタックスにおいて、それは、図6に示すパーティショニングに対応するHOR_UP、HOR_DOWN、VER_LEFT、VER_RIGHTの値をさらに取り得る。
下記の表7、8、9、及び10は、符号化ユニットシンタックス要素を示し、及び双方向イントラ予測モードの新しいシンタックス要素を導入する。
Figure 2021526329
Figure 2021526329
Figure 2021526329
Figure 2021526329
Figure 2021526329
Figure 2021526329
本文書で述べるシンタックス要素の幾つかは、アレイとして定義される。例えば、btSplitFlagは、ピクチャ内の水平位置及び垂直位置によって、並びに符号化ブロック水平サイズ及び垂直サイズによってインデックスが付けられた次元4のアレイによって定義される表記を単純化するために、シンタックス要素の意味記述では、これらのインデックスは、維持されない(例えば、btSplitFlag[ x0 ][ y0 ][ cbSizeX ][ cbSizeY ]は、単にbtSplitFlagと示される)。
図10は、様々な態様及び実施形態が実施されるシステムの一例のブロック図を示す。システム1000は、下記の様々なコンポーネントを含むデバイスとして具現化することができ、本出願に記載する態様の1つ又は複数を行うように構成される。このようなデバイスの例には、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家電、エンコーダ、トランスコーダ、及びサーバなどの様々な電子デバイスが含まれるが、これらに限定されない。システム1000の要素は、単独で、又は組み合わせて、単一の集積回路、複数のIC、及び/又は個別コンポーネントで具現化され得る。例えば、少なくとも1つの実施形態では、システム1000の処理要素及びエンコーダ/デコーダ要素は、複数のIC及び/又は個別コンポーネントに分散される。様々な実施形態では、システム1000は、例えば、通信バスを介して、又は専用入力及び/又は出力ポートを経由して他の類似のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム1000は、本文書に記載する態様の1つ又は複数を実施するように構成される。
システム1000は、例えば、本文書に記載する様々な態様を実施するために内部にロードされた命令を実行するように構成された少なくとも1つのプロセッサ1010を含む。プロセッサ1010は、内蔵メモリ、入出力インタフェース、及び当該分野で公知の様々な他の回路網を含み得る。システム1000は、少なくとも1つのメモリ1020(例えば、揮発性メモリデバイス、及び/又は不揮発性メモリデバイス)を含む。システム1000は、EEPROM、ROM、PROM、RAM、DRAM、SRAM、フラッシュ、磁気ディスクドライブ、及び/又は光ディスクドライブを含む(但し、これらに限定されない)不揮発性メモリ及び/又は揮発性メモリを含み得るストレージデバイス1040を含む。ストレージデバイス1040は、非限定例として、内部ストレージデバイス、取り付けられたストレージデバイス、及び/又はネットワークアクセス可能ストレージデバイスを含み得る。
システム1000は、例えば、コード化された映像又は復号された映像を提供するためにデータを処理するように構成されたエンコーダ/デコーダモジュール1030を含み、並びにエンコーダ/デコーダモジュール1030は、独自のプロセッサ及びメモリを含み得る。エンコーダ/デコーダモジュール1030は、コード化機能及び/又は復号機能を行うためにデバイス内に含まれ得るモジュールを表す。知られているように、デバイスは、コード化モジュール及び復号モジュールの一方又は両方を含み得る。さらに、エンコーダ/デコーダモジュール1030は、システム1000の別個の要素として実施されてもよく、又は当業者に知られているようなハードウェア及びソフトウェアの組み合わせとしてプロセッサ1010内に組み込まれてもよい。
本文書に記載する様々な態様を行うためにプロセッサ1010又はエンコーダ/デコーダ1030にロードされるプログラムコードは、ストレージデバイス1040に保存され、後に、プロセッサ1010による実行のためにメモリ1020にロードされ得る。様々な実施形態によれば、プロセッサ1010、メモリ1020、ストレージデバイス1040、及びエンコーダ/デコーダモジュール1030の1つ又は複数は、本文書に記載するプロセスを行う間に、様々なアイテムの1つ又は複数を保存することができる。このような保存されるアイテムには、入力された映像、復号された映像、又は復号された映像の一部、ビットストリーム、行列、変数、並びに方程式、式、演算、及び演算論理の処理による中間結果又は最終結果が含まれ得るが、これらに限定されない。
幾つかの実施形態では、プロセッサ1010及び/又はエンコーダ/デコーダモジュール1030の内部のメモリを使用して、命令の保存、及びコード化又は復号中に必要とされる処理のための作業メモリの提供が行われる。しかし、他の実施形態では、処理デバイス(例えば、処理デバイスは、プロセッサ1010又はエンコーダ/デコーダモジュール1030でもよい)の外部のメモリが、これらの機能の1つ又は複数のために使用される。外部メモリは、メモリ1020及び/又はストレージデバイス1040(例えば、ダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリ)でもよい。幾つかの実施形態では、外部不揮発性フラッシュメモリを使用して、テレビのオペレーティングシステムが保存される。少なくとも1つの実施形態では、RAMなどの高速外部ダイナミック揮発性メモリが、MPEG-2、HEVC、又はVVC(Versatile Video Coding)などの映像符号化動作及び復号動作のための作業メモリとして使用される。
システム1000の要素への入力は、ブロック1130に示されるような様々な入力デバイスを用いて提供され得る。このような入力デバイスには、(i)例えば放送局によって無線で送信されるRF信号を受信するRF部分、(ii)複合入力端子、(iii)USB入力端子、及び/又は(iv)HDMI入力端子が含まれるが、これらに限定されない。
様々な実施形態では、ブロック1130の入力デバイスは、当該分野で公知の関連付けられたそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択すること(信号を選択すること、又は信号をある周波数帯に帯域制限することとも呼ばれる)、(ii)選択された信号をダウンコンバートすること、(iii)特定の実施形態においてチャネルと呼ばれ得る(例えば)信号周波数帯を選択するためにより狭い周波数帯に再度帯域制限すること、(iv)ダウンコンバートされ、及び帯域制限された信号を復調すること、(v)誤り訂正を行うこと、並びに(vi)データパケットの所望のストリームを選択するために逆多重化することを行うために必要な要素と関連付けられ得る。様々な実施形態のRF部分は、これらの機能を行うための1つ又は複数の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、及びデマルチプレクサを含む。RF部分は、例えば、受信した信号をより低い周波数(例えば、中間周波数、若しくはベースバンドに近い周波数)又はベースバンドにダウンコンバートすることを含む、これらの機能の幾つかを行うチューナを含み得る。1つのセットトップボックス実施形態では、RF部分及びそれに関連付けられた入力処理要素は、有線(例えばケーブル)媒体上で送信されたRF信号を受信し、並びに、フィルタリング、ダウンコンバート、及び所望の周波数帯への再度のフィルタリングによって周波数選択を行う。様々な実施形態は、上記の(及び他の)要素の順序を再配置し、これらの要素の幾つかを除去し、及び/又は類似の機能、若しくは異なる機能を行う他の要素を追加する。要素を追加することは、既存の要素の間に要素を挿入すること(例えば、増幅器及びアナログ−デジタル変換器を挿入することなど)を含み得る。様々な実施形態において、RF部分は、アンテナを含む。
さらに、USB及び/又はHDMI端子は、システム1000をUSB及び/又はHDMI接続により他の電子デバイスに接続するためのそれぞれのインタフェースプロセッサを含み得る。入力処理の様々な態様、例えばリードソロモン誤り訂正が、例えば、必要に応じて、別個の入力処理IC内で、又はプロセッサ1010内で実施され得ることが理解されるものとする。同様に、USB又はHDMIインタフェース処理の態様は、必要に応じて、別個のインタフェースIC内で、又はプロセッサ1010内で実施され得る。復調され、誤り訂正され、及び逆多重化されたストリームは、例えば、プロセッサ1010、並びに出力デバイス上に表示するために必要に応じてデータストリームを処理するためにメモリ及びストレージ要素と組み合わせて動作するエンコーダ/デコーダ1030を含む様々な処理要素に提供される。
システム1000の様々な要素が、統合ハウジング内に設けられ得る、統合ハウジング内では、様々な要素が、I2Cバス、配線、及びプリント基板を含む、適宜の接続構成(例えば、当該分野で公知の内部バス)を用いて、相互接続され、及びそれらの間でデータを送信し得る。
システム1000は、通信チャネル1060を介して他のデバイスとの通信を可能にする通信インタフェース1050を含む。通信インタフェース1050には、通信チャネル1060上でデータの送信及び受信を行うように構成された送受信機が含まれ得るが、これに限定されない。通信インタフェース1050には、モデム又はネットワークカードが含まれ得るが、これに限定されず、通信チャネル1060は、例えば、有線媒体及び/又は無線媒体内で実施され得る。
様々な実施形態において、データは、IEEE 802.11などのWi-Fiネットワークを用いて、システム1000にストリーミングされる。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適した通信チャネル1060及び通信インタフェース1050によって受信される。これらの実施形態の通信チャネル1060は、一般的に、ストリーミング利用及び他のオーバーザトップ通信を可能にするインターネットを含む外部のネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態は、入力ブロック1130のHDMI通信によりデータを送るセットトップボックスを用いて、システム1000にストリーミングされたデータを提供する。さらに他の実施形態は、入力ブロック1130のRF接続を用いてシステム1000にストリーミングされたデータを提供する。
システム1000は、ディスプレイ1100、スピーカ1110、及び他の周辺デバイス1120を含む様々な出力デバイスに出力信号を提供し得る。他の周辺デバイス1120には、実施形態の様々な例において、スタンドアロンDVR、ディスクプレイヤ、ステレオシステム、照明システム、及びシステム1000の出力に基づいて機能を提供する他のデバイスの1つ又は複数が含まれる。様々な実施形態において、制御信号は、AV.Link、CEC、又はユーザの介入がある、若しくはユーザの介入がないデバイス対デバイス制御を可能にする他の通信プロトコルなどのシグナリングを用いて、システム1000と、ディスプレイ1100、スピーカ1110、又は他の周辺デバイス1120との間で通信される。出力デバイスは、それぞれのインタフェース1070、1080、及び1090を経由した専用接続を介してシステム1000に通信可能に結合され得る。代替的に、出力デバイスは、通信インタフェース1050を介して、通信チャネル1060を用いてシステム1000に接続され得る。ディスプレイ1100及びスピーカ1110は、例えばテレビなどの電子デバイスにおけるシステム1000の他のコンポーネントと単一ユニットで統合されてもよい。様々な実施形態において、ディスプレイインタフェース1070には、例えば、タイミングコントローラ(T Con)チップなどのディスプレイドライバが含まれる。
ディスプレイ1100及びスピーカ1110は、代替的に、例えば入力1130のRF部分が別個のセットトップボックスの一部である場合に、他のコンポーネントの1つ又は複数から分離され得る。ディスプレイ1100及びスピーカ1110が外部コンポーネントである様々な実施形態において、出力信号は、例えば、HDMIポート、USBポート、又はCOMP出力を含む専用出力接続を介して提供され得る。本明細書に記載される実施態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号で実施され得る。実施態様の単一の形態の文脈でのみ述べられる(例えば、方法としてのみ述べられる)場合でも、述べられた特徴の実施態様は、他の形態(例えば、装置又はプログラム)で実施することもできる。装置は、例えば、適宜のハードウェア、ソフトウェア、及びファームウェアで実施され得る。方法は、例えば、処理デバイス全般(例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む)を指すプロセッサなどの装置で実施され得る。プロセッサは、例えば、コンピュータ、携帯電話、ポータブル/携帯情報端末(「PDA」)、及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。
図11は、新しいコード化ツールを用いた、ある実施形態によるコード化方法の一例のフローチャートを示す。このようなコード化方法は、図10に記載されるシステム1000によって行うことができ、より正確には、プロセッサ1010によって実施することができる。少なくとも1つの実施形態では、ステップ1190において、プロセッサ1010は、使用されるコード化ツールを選択する。選択は、異なる技術を使用して行われ得る。選択は、コード化プロセス及び復号プロセス中に使用されるツール(必要であれば、対応するパラメータも)を示すコード化構成パラメータ(一般的にはフラグ)を用いて、ユーザによって行われ得る。ある実施形態例では、選択は、ファイルに値の値を設定することにより行われ、フラグは、どのツールを使用するかを選択するためにフラグの値を解釈するコード化デバイスによって読み取られる。ある実施形態例では、選択は、エンコーダデバイスを操作するグラフィカルユーザインタフェースを用いてコード化構成パラメータを選択するユーザの手動動作によって行われる。この選択が行われると、コード化が、幾つかあるコード化ツールの中から選択されたツールを利用して、ステップ1193において行われ、ツールの選択が、高位シンタックス要素において(例えば、次のSPS、PPS、或いはスライスヘッダにおいて)シグナリングされる。
図12は、新しいコード化ツールを用いた、ある実施形態による復号方法の一部の一例のフローチャートを示す。このような復号方法は、図10に記載されるシステム1000によって行うことができ、より正確には、プロセッサ1010によって実施することができる。少なくとも1つの実施形態では、ステップ1200において、プロセッサ1010は、(例えば入力インタフェースで受信された、又は媒体サポートから読み取られた)信号にアクセスし、コード化デバイスで選択されたツールを決定するために高位シンタックス要素を抽出及び分析する。ステップ1210では、これらのツールを使用して、復号が行われ、例えばデバイスに提供され得る、又はデバイス上に表示され得る復号された画像が生成される。
「1つの実施形態」、又は「ある実施形態」、又は「1つの実施態様」、又は「ある実施態様」、及びこれらの他のバリエーションに対する言及は、その実施形態に関連して記載されたある特定の特徴、構造、特性などが、少なくとも1つの実施形態に含まれることを意味する。従って、本明細書を通して様々な箇所に出現する「1つの実施形態では」、又は「ある実施形態では」、又は「1つの実施態様では」、又は「ある実施態様では」というフレーズ、及びその他のバリエーションの出現は、必ずしも全て同じ実施形態を指すわけではない。
加えて、本出願又はその特許請求の範囲は、様々な情報を「決定すること」に言及することがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取り出すことの1つ又は複数を含み得る。
さらに、本出願又はその特許請求の範囲は、様々な情報に「アクセスすること」に言及することがある。情報にアクセスすることは、例えば、情報を受信すること、(例えばメモリから)情報を取り出すこと、情報を保存すること、情報を移動させること、情報をコピーすること、情報を計算すること、情報を予測すること、又は情報を推定することの1つ又は複数を含み得る。
さらに、本出願又はその特許請求の範囲は、様々な情報を「受信すること」に言及することがある。「アクセスすること」と同様に、受信することは、広義語であることが意図されたものである。情報を受信することは、例えば、情報にアクセスすること、又は(例えば、メモリ若しくは光媒体ストレージから)情報を取り出すことの1つ又は複数を含み得る。さらに「受信すること」は、一般的に、例えば、情報を保存すること、情報を処理すること、情報を送信すること、情報を移動させること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することなどの動作中に、何らかの形で伴われる。
例えば、「A/B」、「A及び/又はB」、並びに「A及びBの少なくとも1つ」の場合における、以下の「/」、「及び/又は」、並びに「〜の少なくとも1つ」の何れかの使用は、一番目に挙げられたオプション(A)のみの選択、又は二番目に挙げられたオプション(B)のみの選択、又は両方のオプション(A及びB)の選択を包含することが意図される。さらなる例として、「A、B、及び/又はC」、並びに「A、B、及びCの少なくとも1つ」の場合、このような言い回しは、一番目に挙げられたオプション(A)のみの選択、又は二番目に挙げられたオプション(B)のみの選択、又は三番目に挙げられたオプション(C)のみの選択、又は一番目及び二番目に挙げられたオプション(A及びB)のみの選択、又は一番目及び三番目に挙げられたオプション(A及びC)のみの選択、又は二番目及び三番目に挙げられたオプション(B及びC)のみの選択、又は3つの全オプション(A及びB及びC)の選択を包含することが意図される。これは、本分野及び関連の分野の当業者には容易に明らかとなるように、挙げられたアイテムの数だけ拡張することができる。
当業者には明白となるように、実施態様は、例えば保存又は送信され得る情報を運ぶようにフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を行うための命令、又は記載した実施態様の1つによって生成されたデータを含み得る。例えば、信号は、ある記載した実施形態のビットストリームを運ぶようにフォーマットされ得る。このような信号は、例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用して)、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームをコード化すること、及びコード化されたデータストリームで搬送波を変調することを含み得る。信号が運ぶ情報は、例えば、アナログ情報又はデジタル情報でもよい。信号は、知られているように、様々な異なる有線リンク又は無線リンクにより送信され得る。信号は、プロセッサ可読媒体に保存され得る。
少なくともある実施形態の第1、第2、第3、第4、第5、第6、第7、及び第8の態様の別形態では、パーティショニングのタイプを表すパラメータは、四分木及び二分木パーティショニングの第1の値、四分木及び二分木パーティショニング+三分木パーティショニングの第2の値、四分木及び二分木パーティショニング+非対称二分木パーティショニングの第3の値、並びに四分木及び二分木パーティショニング+三分木パーティショニング+非対称二分木パーティショニングの第4の値を含む。
少なくともある実施形態の第1、第2、第3、第4、第5、第6、第7、及び第8の態様の別形態では、パラメータは、符号化スライスに関してサンプル適応オフセットを適用するブロックのサイズをさらに含む。
少なくともある実施形態の第1、第2、第3、第4、第5、第6、第7、及び第8の態様の別形態では、イントラ予測モードのタイプは、イントラ双予測モード及びマルチ参照イントラ予測モードの少なくとも一方を含む

Claims (15)

  1. 映像符号化規格に従った情報を含むようにフォーマットされた映像信号であって、前記映像信号が、映像コンテンツ及び高位シンタックス情報を有するビットストリームを含み、前記高位シンタックス情報が、
    イントラ予測モードのタイプを表すパラメータと、
    パーティショニングのタイプを表すパラメータと、
    サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、
    双予測ブロックの照明補償モードを表すパラメータと、
    の中から少なくとも少なくとも1つのパラメータを含む、映像信号。
  2. パーティショニングのタイプを表す前記パラメータが、
    四分木及び二分木パーティショニングの第1の値と、
    四分木及び二分木パーティショニング+三分木パーティショニングの第2の値と、
    四分木及び二分木パーティショニング+非対称二分木パーティショニングの第3の値と、
    四分木及び二分木パーティショニング+三分木パーティショニング+非対称二分木パーティショニングの第4の値と、
    を含む、請求項1に記載の映像信号。
  3. 符号化スライスに関して前記サンプル適応オフセットを適用するブロックのサイズをさらに含む、請求項1又は2に記載の映像信号。
  4. イントラ予測モードの前記タイプが、イントラ双予測モード及びマルチ参照イントラ予測モードの少なくとも一方を含む、請求項1〜3の何れか一項に記載の映像信号。
  5. コード化された映像信号データを有するストレージ媒体であって、前記映像信号データが、コード化され、並びに映像コンテンツ及び高位シンタックス情報を有するビットストリームを含み、前記高位シンタックス情報が、
    イントラ予測モードのタイプを表すパラメータと、
    パーティショニングのタイプを表すパラメータと、
    サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、
    双予測ブロックの照明補償モードを表すパラメータと、
    の中から少なくとも1つのパラメータを含む、ストレージ媒体。
  6. ピクチャ内の少なくとも1つのブロックのピクチャデータをコード化するための映像エンコーダであって、前記コード化することが、
    イントラ予測モードのタイプを表すパラメータと、
    パーティショニングのタイプを表すパラメータと、
    サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、
    双予測ブロックの照明補償モードを表すパラメータと、
    の中から少なくとも1つのパラメータを用いて行われ、
    前記パラメータが、前記コード化されたピクチャデータの高位シンタックス要素に挿入される、映像エンコーダを含む、装置。
  7. ピクチャ内の少なくとも1つのブロックのピクチャデータをコード化することであって、
    イントラ予測モードのタイプを表すパラメータと、
    パーティショニングのタイプを表すパラメータと、
    サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、
    双予測ブロックの照明補償モードを表すパラメータと、
    の中から少なくとも1つのパラメータを用いて行われるコード化することと、
    前記パラメータを前記コード化されたピクチャデータの高位シンタックス要素に挿入することと、
    を含む、映像エンコーダにおける方法。
  8. ピクチャ内の少なくとも1つのブロックのピクチャデータを復号するための映像デコーダであって、前記復号することが、
    イントラ予測モードのタイプを表すパラメータと、
    パーティショニングのタイプを表すパラメータと、
    サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、
    双予測ブロックの照明補償モードを表すパラメータと、
    の中から少なくとも1つのパラメータを用いて行われ、
    前記パラメータが、コード化されたピクチャデータの高位シンタックス要素から取得される、映像デコーダを含む、装置。
  9. コード化されたピクチャデータの高位シンタックス要素からパラメータを取得することと、
    ピクチャ内の少なくとも1つのブロックのピクチャデータを復号することであって、
    イントラ予測モードのタイプを表すパラメータと、
    パーティショニングのタイプを表すパラメータと、
    サンプル適応オフセットループフィルタのブロックサイズ適応を表すパラメータと、
    双予測ブロックの照明補償モードを表すパラメータと、
    の中から少なくとも1つのパラメータを用いて行われる復号することと、
    を含む、映像デコーダにおける方法。
  10. パーティショニングのタイプを表す前記パラメータが、
    四分木及び二分木パーティショニング+三分木パーティショニングの第2の値と、
    四分木及び二分木パーティショニングの第1の値と、
    四分木及び二分木パーティショニング+非対称二分木パーティショニングの第3の値と、
    四分木及び二分木パーティショニング+三分木パーティショニング+非対称二分木パーティショニングの第4の値と、
    を含む、請求項9に記載の方法。
  11. 符号化スライスに関して前記サンプル適応オフセットを適用するブロックのサイズをさらに含む、請求項9又は10に記載の方法。
  12. イントラ予測モードの前記タイプが、イントラ双予測モード及びマルチ参照イントラ予測モードの少なくとも一方を含む、請求項9〜11の何れか一項に記載の方法。
  13. 請求項6〜12の何れか一項に記載の方法又は装置によって生成されたデータコンテンツを含む、非一時的なコンピュータ可読媒体。
  14. 請求項7又は9〜12の少なくとも1つに記載の方法の前記ステップを実施するためのプロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラム。
  15. 非一時的なコンピュータ可読媒体に保存され、及び請求項7又は9〜12の少なくとも1つに記載の方法の前記ステップを実施するためのプロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラムプロダクト。
JP2020565973A 2018-06-07 2019-05-28 映像のコード化又は映像の復号のためのシンタックス要素 Pending JP2021526329A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18305693 2018-06-07
EP18305693.6 2018-06-07
EP18305849.4A EP3591969A1 (en) 2018-07-02 2018-07-02 Syntax elements for video encoding or decoding
EP18305849.4 2018-07-02
PCT/US2019/034129 WO2019236335A1 (en) 2018-06-07 2019-05-28 Syntax elements for video encoding or decoding

Publications (2)

Publication Number Publication Date
JP2021526329A true JP2021526329A (ja) 2021-09-30
JPWO2019236335A5 JPWO2019236335A5 (ja) 2022-06-03

Family

ID=66827008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020565973A Pending JP2021526329A (ja) 2018-06-07 2019-05-28 映像のコード化又は映像の復号のためのシンタックス要素

Country Status (7)

Country Link
US (1) US11991394B2 (ja)
EP (1) EP3804309A1 (ja)
JP (1) JP2021526329A (ja)
KR (1) KR20210018270A (ja)
CN (1) CN112385212A (ja)
BR (1) BR112020024373A2 (ja)
WO (1) WO2019236335A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113366855A (zh) * 2019-02-03 2021-09-07 北京字节跳动网络技术有限公司 基于条件的非对称四叉树分割
EP4090028A4 (en) * 2020-01-07 2023-04-26 LG Electronics Inc. POINT CLOUD DATA TRANSMITTER APPARATUS, POINT CLOUD DATA TRANSMITTER METHOD, POINT CLOUD DATA RECEIVE APPARATUS AND POINT CLOUD DATA RECEIVE METHOD
US11432018B2 (en) * 2020-05-11 2022-08-30 Tencent America LLC Semi-decoupled partitioning for video coding
WO2023055151A1 (ko) * 2021-09-29 2023-04-06 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
AU2013200051B2 (en) * 2013-01-04 2016-02-11 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking video data
WO2014106692A1 (en) 2013-01-07 2014-07-10 Nokia Corporation Method and apparatus for video coding and decoding
KR102053289B1 (ko) 2013-05-27 2019-12-06 에스케이하이닉스 주식회사 반도체 장치
US20140376611A1 (en) 2013-06-21 2014-12-25 Qualcomm Incorporated Adaptive color transforms for video coding
US10070125B2 (en) * 2013-07-31 2018-09-04 Nokia Technologies Oy Method and apparatus for video coding and decoding
KR101851479B1 (ko) * 2014-01-03 2018-04-23 노키아 테크놀로지스 오와이 파라미터 세트 코딩
WO2016074147A1 (en) 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
US10958927B2 (en) * 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
TWI588834B (zh) 2016-02-23 2017-06-21 群聯電子股份有限公司 解碼方法、記憶體儲存裝置及記憶體控制電路單元
US10455228B2 (en) 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US10448056B2 (en) * 2016-07-15 2019-10-15 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
US10554974B2 (en) * 2017-01-13 2020-02-04 Mediatek Inc. Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags
US10779007B2 (en) * 2017-03-23 2020-09-15 Mediatek Inc. Transform coding of video data
AU2018311926B2 (en) * 2017-08-03 2022-08-18 FG Innovation Company Limited Systems and methods for partitioning video blocks in an inter prediction slice of video data
CN111602394B (zh) * 2018-01-18 2021-07-09 联发科技股份有限公司 视频编解码系统中的视频处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ADAM WIECKOWSKI ET AL., NEXTSOFTWARE: AN ALTERNATIVE IMPLEMENTATION THE JOINT EXPLORATION MODEL (JEM), JPN6023028284, 6 December 2017 (2017-12-06), ISSN: 0005101811 *

Also Published As

Publication number Publication date
CN112385212A (zh) 2021-02-19
KR20210018270A (ko) 2021-02-17
WO2019236335A1 (en) 2019-12-12
BR112020024373A2 (pt) 2021-03-02
US20220141493A1 (en) 2022-05-05
EP3804309A1 (en) 2021-04-14
US11991394B2 (en) 2024-05-21

Similar Documents

Publication Publication Date Title
JP2022532277A (ja) ピクチャの符号化及び復号のための方法及び装置
US20210377553A1 (en) Virtual pipeline for video encoding and decoding
JP2021526329A (ja) 映像のコード化又は映像の復号のためのシンタックス要素
CN113228650A (zh) 基于块的表面的视频编码或解码的量化
CN113196781A (zh) 管理编解码工具组合和限制
US20240089437A1 (en) Chroma quantization parameter adjustment in video encoding and decoding
KR20220061948A (ko) 코딩 트리 분할
WO2021058383A1 (en) Method and apparatus using homogeneous syntax with coding tools
JP2021525468A (ja) 部分的に共有されている輝度および彩度のコード化木を用いたビデオ符号化および復号化の方法および装置
WO2020226944A1 (en) Chroma processing for video encoding and decoding
JP2021528893A (ja) 可変重みを使用する複数参照イントラ予測
JP2021528004A (ja) ビデオの符号化及び復号における改良モード処理
JP7506063B2 (ja) ビデオ符号化および復号のための複数のコーディングユニットの中でグループ化するパラメータ
JP2022502981A (ja) 輝度および彩度に対して別々のコーディングツリーを使用する場合の彩度量子化パラメータを決定するための方法および装置
RU2802368C2 (ru) Синтаксические элементы для кодирования или декодирования видео
EP3591969A1 (en) Syntax elements for video encoding or decoding
KR20210074388A (ko) 코딩 유형 또는 코딩 트리 유형의 시그널링을 이용한 비디오 인코딩 및 디코딩을 위한 방법 및 장치
EP3591971A1 (en) Chroma quantization parameter adjustment in video encoding and decoding
EP3700201A1 (en) Separate coding trees for luma and chroma prediction
CN114073093A (zh) 三角形分割的合并索引的信令通知
CN117616750A (zh) 基于模板的帧内模式推导
CN114731430A (zh) 与多个变换选择、矩阵加权帧内预测或多参考线帧内预测结合的用于视频编码和解码的帧内子分区
WO2020068461A1 (en) Separate coding trees for luma and chroma prediction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240614