JP2021528893A - 可変重みを使用する複数参照イントラ予測 - Google Patents

可変重みを使用する複数参照イントラ予測 Download PDF

Info

Publication number
JP2021528893A
JP2021528893A JP2020567105A JP2020567105A JP2021528893A JP 2021528893 A JP2021528893 A JP 2021528893A JP 2020567105 A JP2020567105 A JP 2020567105A JP 2020567105 A JP2020567105 A JP 2020567105A JP 2021528893 A JP2021528893 A JP 2021528893A
Authority
JP
Japan
Prior art keywords
block
prediction
video
video data
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020567105A
Other languages
English (en)
Other versions
JPWO2020005573A5 (ja
Inventor
ラケイプ,ファビアン
ラス,ガガン
アーバン,ファブリス
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18306061.5A external-priority patent/EP3606069A1/en
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2021528893A publication Critical patent/JP2021528893A/ja
Publication of JPWO2020005573A5 publication Critical patent/JPWO2020005573A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

コード化または復号化のためにイントラ予測を実行する方法は、複数層の参照サンプルを使用する。層は、最終的な予測を形成するために、重み付けされた組み合わせなどの関数によって使用される参照配列に形成される。重みは可変であってよく、いくつかのいくつかの重みセットの中から選択される。予測は、ビデオデータのブロックをコード化または復号化する際に使用される。重みはいくつかのやり方で決定することができ、所与の予測モードでは、ターゲットブロック内のすべてのピクセルに同じ重みまたは異なる重みを使用することができる。重みが異なる場合、それらは参照配列からのターゲットピクセルの距離に依存し得る。どの重みセットが使用されるべきであるかを示すインデックスを送信することができる。
【選択図】図8

Description

本実施形態の少なくとも1つは、概して、ビデオコード化または復号化のための方法または装置に関し、より詳細には、ビデオエンコーダまたはビデオデコーダ用に、可変重みを用いる複数参照イントラ予測を使用するための方法または装置に関する。
高い圧縮効率を達成するために、画像およびビデオ符号化方式は、通常、動きベクトル予測を含む予測および変換を用いて、ビデオコンテンツの空間的および時間的冗長性を利用する。一般に、イントラ予測またはインター予測は、フレーム内またはフレーム間の相関を活用するために使用され、次いで、予測誤差または予測残差と呼ばれることが多い、元の画像と予測された画像との間の差は、変換され、量子化され、エントロピー符号化される。ビデオを再構築するために、圧縮データは、エントロピー符号化、量子化、変換、および予測に対応する逆プロセスによって復号化される。
先行技術の欠点および不利な点は、コード化および復号化におけるブロック形状適応型イントラ予測方向に向けられた、本明細書に説明される一般的な態様によって対処される。
第1の態様によれば、方法が提供される。方法は、ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成するステップであって、上記再構築されたサンプルは、ビデオデータの上記ブロックから1つ以上の位置であるピクセル位置に位置する、形成するステップと、複数の重みセットから選択された重みセットを、複数の参照配列のうちの1つ以上に適用することによって、ビデオデータのブロックのターゲットピクセルをそれぞれ予測するステップと、ビデオのブロックのターゲットピクセルの最終的なイントラ予測を、重み付けされた参照配列の1つ以上からそれぞれの予測の関数として計算するステップと、予測を使用してビデオのブロックをコード化するステップと、を含む。
別の態様によれば、第2の方法が提供される。方法は、ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成するステップであって、上記再構築されたサンプルは、ビデオデータのブロックから1つ以上の位置であるピクセル位置に位置する、形成するステップと、複数の重みセットから選択された重みセットを、複数の参照配列のうちの1つ以上に適用することによって、ビデオデータのブロックのターゲットピクセルをそれぞれ予測するステップと、ビデオのブロックのターゲットピクセルの最終的なイントラ予測を、重み付けされた参照配列の1つ以上からそれぞれの予測の関数として計算するステップと、予測を使用してビデオのブロックを復号化するステップと、を含む。
別の態様によれば、装置が提供される。装置は、プロセッサを含む。プロセッサは、前述の方法のいずれかを実行することにより、ビデオのブロックをコード化するか、またはビットストリームを復号化するように構成することができる。
少なくとも1つの実施形態の別の一般的な態様によれば、復号化実施形態のいずれかによる装置と、(i)信号を受信するように構成されたアンテナであって、信号は、ビデオブロックを含む、アンテナ、(ii)受信した信号を、ビデオブロックを含む周波数の帯域に制限するように構成された帯域制限器、または(iii)ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも1つと、を含む、デバイスが提供される。
少なくとも1つの実施形態の別の一般的な態様によれば、説明されたコード化実施形態または変形のいずれかに従って生成されたデータコンテンツを含む非一時的なコンピュータ可読媒体が提供される。
少なくとも1つの実施形態の別の一般的な態様によれば、説明されたコード化実施形態または変形のいずれかに従って生成されたビデオデータを含む信号が提供される。
少なくとも1つの実施形態の別の一般的な態様によれば、ビットストリームが、説明されたコード化実施形態または変形のいずれかに従って生成されたデータコンテンツを含むようにフォーマットされる。
少なくとも1つの実施形態の別の一般的な態様によれば、命令を含むコンピュータプログラム製品が提供され、命令は、プログラムがコンピュータによって実行されると、コンピュータに、説明された復号化実施形態または変形のいずれかを実施させる。
これらおよび他の態様、特徴、および一般的な態様の利点は、添付の図面に関連して読まれる例示的な実施形態の以下の詳細な説明から明らかになるであろう。
HEVCでのイントラ予測のための参照サンプルと、P(x,y)で示す座標におけるピクセル値を示す。 HEVCでのイントラ予測方向を示す。 マルチ参照イントラ予測の一例を示す。 2つの参照を用いるイントラ予測を示す。図4(a)は、ターゲットピクセルの2つの参照サンプル間にある第2の参照配列上の予測子を得るために、予測方向が拡張されていることを示す。図4(b)は、参照サンプル上に直接ある第2の予測子を示す。 標準の一般的なビデオ圧縮方式を示す。 標準の一般的なビデオ解凍方式を示す。 イントラ予測情報を復号化(解析)するための例示的なフロー図を示す。 イントラ予測情報をコード化するための例示的なフロー図を示す。 事前コード化処理および画像分割セクションを有するコード化方式を示す。 復号化後処理を有する復号化方式を示す。 説明された実施形態を実装することができる典型的なプロセッサ構成を示す。 可変重みを使用する複数参照イントラ予測を使用するコード化方法の一実施形態を示す。 可変重みを使用する複数参照イントラ予測を使用する別の復号化方法の一実施形態を示す。 可変重みを使用する複数参照イントラ予測を使用するコード化または復号化のための装置の一実施形態を示す。
本明細書に説明される一般的な態様は、画像およびビデオ圧縮の分野に関与し、空間予測に重点を置いている。従来のコーデックは、フレームを、重複しない大きな正方形のブロック、例えば、H.265/HEVCの符号化木単位(CTU)(高効率ビデオ符号化、ITU−T H.265 ITUの電気通信標準化部門、「Series H: Audiovisual and Multimedia Systems, Infrastructure of audiovisual services − Coding of moving video, High efficiency video coding」。2014年10月。)、またはVP9のスーパーブロック(「AV1 Bitstream & Decoding Process Specification」。The Alliance for Open Media)に分割する。これらは、以下では、CTUと呼ぶ。これらのブロックは、次に、再帰木に従って、より小さなブロック、すなわち、符号化単位(CU)に分割される。HEVCおよびAV1では、ブロックの最大サイズは64×64に設定されている。このサイズは、共同ビデオ専門家チーム(JVET)が研究中の次の標準H.266/VVC(バーサタイルビデオ符号化)で少なくとも128×128に増加する可能性がある。
これらのブロックをコード化するために、イントラ予測を使用して、以前に再構築された隣接サンプルを使用してブロックの推定バージョンを提供する。次に、ソースブロックと予測の差がコード化される。上記の従来のコーデックでは、現在のブロックの左および上にある単一ラインの参照サンプルが使用される。
最近の研究では、複数の参照ラインの使用が導入された。所与の予測方向に沿った複数のラインからのサンプルの重み付けされた組み合わせが計算され、現在のブロックに埋め込まれた。
本明細書に説明される態様では、この方法は、エンコーダが、考慮されるラインに適用される異なる重みセットを選択することができるように拡張される。選択されたセットは、次に、ブロックごとにデコーダに送信される。
説明される態様によって解決される1つの問題は、ブロックを、以前に再構築されたその近隣のブロックを使用してどのように効率的に予測するかである。
まず、最新の標準H.265/HEVCで実行されるイントラ予測について説明する。HEVCのイントラ予測プロセスは、3つのステップ、つまり、(1)参照サンプルの生成、(2)サンプル内予測、および(3)予測されたサンプルの後処理で構成される。図1に、参照サンプルの生成プロセスを示す。サイズN×Nの予測単位(PU)の場合、上にある2Nの復号化されたサンプルの行が、現在のPUの以前に再構築された上および右上のピクセルから形成される。同様に、左の2Nサンプルの列が、再構築された左および左下のピクセルから形成される。左上の位置にある隅のピクセルはまた、上の行の参照と左の列の参照とのギャップを埋めるために使用される。対応するCUが同じスライスにない、または現在のCUがフレーム境界にあるなどの理由で、上または左のサンプルの一部が利用できない場合、参照サンプル置換と呼ばれる方法が実行され、欠損サンプルは、時計回りの方向にある利用可能なサンプルからコピーされる。次に、現在のCUサイズと予測モードに応じて、参照サンプルは、指定されたフィルタを使用してフィルタ処理される。
次のステップ、つまり、サンプル内予測は、参照サンプルに基づいてターゲットCUのピクセルを予測することから構成される。前述のように、様々な種類のコンテンツを効率的に予測するために、HEVCは、様々な予測モードをサポートしている。平面予測モードおよびDC予測モードは、滑らかで徐々に変化する領域を予測するために使用されるが、角度予測モードは、異なる方向性構造をキャプチャするために使用される。HEVCは、2から34までのインデックスが付けられた33の方向性予測モードをサポートする。これらの予測モードは、図2に示すように、様々な予測方向に対応する。
マルチ参照イントラ予測とは、複数の行および列の参照ピクセルを使用したイントラ予測を指す(図3)。これは、任意ティア参照イントラ予測またはマルチラインイントラ予測とも呼ばれる。画像処理では、相関性が高いことから、1次予測モデルを使用するのが一般的である。イントラ予測で1つの行および列を参照として使用する理由は元々これに基づいており、また、他の復号化された行および列はターゲットブロックのピクセルから離れており、ターゲットブロックに関する追加情報をあまり追加しないという事実に基づいていた。これは、以前の標準で予測方向の数が少なく(例えば、≦7)、ブロックサイズも小さい(例えば、≦8)ときは問題はなかった。しかし、HEVCでは、予測単位のサイズが64×64に増加し、それに伴い、対応して角度予測方向の数が33に増加している。将来の標準について、最大129の角度予測モードの数で最大256×256のブロックサイズが研究されている。これを考慮すると、追加のメモリおよび複雑さによるコストと符号化利得との間のトレードオフが許容できるときには、参照に追加の行および列の復号化されたピクセルを使用することは理にかなっている。
ターゲットピクセルの予測サンプルが上の参照配列上の2つの参照サンプルの間にあるときの垂直角度予測モード(例えば、図4(a))について検討する。この場合、HEVCでは、前のセクションで述べたように、予測サンプルは線形補間される。予測サンプルは単なる推定値である。予測方向をもう1行だけ延長すると、ラインは、別の点で2番目の行と交差する。ピクセルの2番目の行は、最初の行よりわずかに遠いが、画像内のオブジェクト構造の方向性から、2番目の行の推定値は、最初の行よりも適切な推定値になる可能性がある。場合によっては、ちょうど復号化されたピクセルの場所で2番目の行と交差することさえ可能である(例えば、図4(b))。この考えに基づいて、複数の参照に基づいて、ターゲットブロックを予測することは理にかなっている。
異なる参照行/列のペアを参照する場合、「参照層」という用語を使用する。したがって、参照層1は、ターゲットブロックの隣の参照行および列(つまり、HEVCの通常の参照)を意味し、参照層2は、参照層1の隣の参照行および列を意味し、以下同様である。
予測を行うには、前のセクションで述べたように、参照層に対応する上および左の参照配列を形成する。これらは、参照配列1、参照配列2などと呼ばれる。参照配列n、n=1、2、…は、予測モードがそれぞれ垂直方向と水平方向のどちらに対応するかに応じて、上の参照配列または左の参照配列のいずれかを意味することができることに留意されたい。
以前の研究では、各層の参照サンプルは、HEVCまたはJEMの参照サンプル生成アルゴリズムに従う。次に、これらのサンプルを使用して参照配列が形成される。正の角度のモード(HEVCではモード2〜10および26〜34)では、n番目の参照配列は、単にn番目の参照層の上の参照サンプルである。
Figure 2021528893
次に、(x,y)におけるターゲットピクセルの予測は次のとおりに計算される。
Figure 2021528893
ここで、w1、w2、…、wNは、エンコーダおよびデコーダの両方に認識されている重みである。ここで、Nは、イントラ予測に使用される参照層の数を表す。実装の便宜のために、重みは次のように正規化される。
Figure 2021528893
Kはある正の整数。
この方法では、重みは、シーケンスのすべてのブロックに対して選択され、固定され、これは、本明細書に説明される態様によって対処される1つの問題である。
本明細書に説明される態様では、イントラ予測のために参照サンプルの異なるラインに適用される異なる重みセットの中から最適な構成をエンコーダに選択させることによって、以前の研究で提案されたマルチ参照イントラ予測方式が拡張される。次に、選択された重み、つまり、可能な選択肢のリスト内のそれらのインデックスが、ブロックごとにデコーダに送信される。
例として、短縮単項符号化を使用すると、3つの可能なセットの中から1つの選択肢を示すために2ビットを送信することが可能である。例示的な重みセット{{1,0}、{3,1}、{1,1}}がテストされる。3つの可能なセットのそれぞれについて、最初の数字は、参照サンプルの最も近いラインに適用される重みを表し、2番目の数字は、参照サンプルの2番目のラインに適用される重みに対応する。ただし、一般的な態様は、2つのラインの参照サンプルの使用に限定されない。
この例示的な構成は実装およびテストされており、表1に、JVETテストセットの各シーケンスの最初のフレーム上のイントラ構成でのJVETのテストモデルVTMと比較したビットレートの削減結果を示す。影響を受けたコーデックモジュールは、図9のイントラ予測ブロックステップ160または図10のステップ260である。
Figure 2021528893
本明細書に説明される態様は、エンコーダが、ブロックごとに異なる重みセットを使用して予測を最適化することが可能であるように、以前の研究を拡張する。以前の研究では、重みは固定されている。マルチ参照イントラ予測のアクティブ化は、送信されたフラグを使用して行われる。しかしながら、本明細書の態様では、各ブロックに適用される重みの選択に関連する情報を符号化する方法が異なるいくつかの変形について説明する。
図7では、重みの符号化がイントラモードに依存する、主要な実施形態の1つに対応する例が説明されている。複数のラインを使用することは、例えば、DCモードおよび平面モードのような他のモードよりも方向性イントラモードに有利である。その場合、第1のステップ710は、予測モードを復号化することからなる。モードをマルチ参照予測に適合させることができる場合(720)、重みセットのインデックスが復号化される(730)。それ以外の場合は、従来のイントラ予測が実行される。
同様のフローチャートが、必要な送信されたインデックスを符号化するプロセスについて説明し、これを図8に示す。重みセットは、任意の2進符号化で符号化することができる。
例として、短縮単項符号化を使用すると、3つの可能なセットの中から1つの選択肢を示すために2ビットを送信することが可能である。例示的な重みセット{{1,0}、{3,1}、{1,1}}がテストされ、輝度ブロックのみに適用されると、表1に示す結果が得られる。3つの可能なセットのそれぞれについて、最初の数字は、参照サンプルの最も近いラインに適用される重みを表し、2番目の数字は、参照サンプルの2番目のラインに適用される重みに対応する。ただし、説明される態様は、2つのラインの参照サンプルの使用に限定されない。最終的な重みは正規化され、つまり、それぞれ{1,4,2}で除算される。この例では、最初の重みのペアは、従来のイントラ予測に対応する。
エンコーダ側では、基本的な考え方は、すべての異なるセットを試し、最適な重み、つまり、従来のレート歪み最適化(RDO)を使用して最適なレート/歪み(RD)コストを提供する解決策を選択することである。これには、イントラモードごとに、予測の各バージョンを重みでコード化し、コストを比較する必要があり、この結果、エンコーダの実行時間が増加する。複雑さの観点からオーバーヘッドを削減するための様々な解決策について説明する。
まず、従来のエンコーダには通常、イントラ予測決定のための2つのパスが含まれている。第1の(高速)パスは、多数のイントラモード(HEVCでは33)の中から最適なモードのサブセットを、そのレート/歪み(RD)コストをブロックの完全なコード化を実行することなく推定することによって選択する。次に、選択したモードで完全なRD計算が実行され、最適なモードが選択される。
次に、第1のパスで重みの選択を実行し、第2のパスで処理されるペア{イントラモード,重みのインデックス}を保持することが可能である。これにより、利得の大部分を保持しながら、コード化の実行時間が短縮される。
高速パスでモードを選択し、選択されたイントラモードのみで最適な重みを評価する別の高速パスを追加することも可能である。ここでも、この推定は、ブロックの完全なコード化には依拠せず、残差のコストの推定に依拠する。
構文に関して、いくつかの実施形態を、以下に説明されるように検討することができる。
実施形態1
可変重みを用いるマルチ参照イントラ予測は、方向性イントラモードのみ、または方向性モードのセットに適用される。イントラ予測情報の復号化またはコード化は、それぞれ図7または図8に説明されるステップに従って実行される。
実施形態2
可変重みを用いるマルチ参照イントラ予測は、すべてのイントラモードに適用される。この場合、イントラモードを復号化する必要はなく、重みセットのインデックスがブロックごとに解析される。イントラ予測情報の復号化およびコード化は、それぞれ図7または図8で説明されるステップに従って実行される。
実施形態3
可変重みを用いるマルチ参照予測が輝度成分のみに適用される実施形態1または2。これにより、彩度成分のための追加ビットの符号化が削減される。彩度ブロックの予測プロセスは、単一ラインの参照サンプルを使用する従来の予測であるか、またはブロック全体で変化しない固定の重みセットを用いるマルチ参照サンプルのいずれかとすることができる。
実施形態4
彩度成分の予測が、輝度についてなされた選択に従う、実施形態1または2。これは、彩度ブロックの分割が輝度に従うか、または、例えば、彩度ブロックの中央もしくは左上のピクセルを使用して、輝度分割内のその位置を導出する、特定のマッピングが設定されていることを必要とする。
実施形態5
インデックスが単項短縮符号化を使用して符号化される、実施形態1または2。
上記の3つの重みセット{{1,0}、{3,1}、{1,1}}の例を使用すると:
第1のビンは、最初のセット{1,0}が選択されているかどうかを示す(値0)。
第1のビンが1に等しい場合、第2のビンが解析されて2番目のセット{3,1}(値0)または3番目の{1,1}(値1)が選択される。
実施形態6
複数参照イントラ予測が、大きいブロック、例えば、16サンプルといったサイズよりも大きい高さまたは幅を有するブロックに対してのみ実行される、実施形態1または2。
実施形態7
重みセット、参照ラインの数が、送信されたインデックスに加えて、予測方向、またはブロックサイズ/形状(正方形/長方形…)、成分IDに依存する、実施形態1または2。事前定義されたテーブル(予測方向とブロック形状によってインデックス付けされている)を使用して、インデックスを実際の重みセットに変換することができる。
実施形態8
重みセット、参照ラインの数が予測子の位置に依存する、実施形態1または3。この実施形態は、ピクセルごとに依存する重みを使用する。実施形態は、予測子が上のラインから来る場合はサブセット1を使用し、予測子が左の列から来る場合はサブセット2を使用することができる。
本文書では、ツール、特徴、実施形態、モデル、アプローチなどを含む多種多様な態様について説明する。これらの態様の多くは、特異的に説明されており、少なくとも個々の特性を示すために、限定的に聞こえ得るように説明されることが多い。しかしながら、これは説明を明確にするためのものであり、これらの態様の適用または範囲を限定するものではない。実際、様々な態様のすべてを組み合わせ、かつ交換し、さらなる態様を提供することができる。さらに、これらの態様は、以前の出願で説明された態様と組み合わせ、かつ交換することもできる。
本文書で説明および企図される態様は、多くの異なる形式で実装できる。以下の図9、図10、および図11は、いくつかの実施形態を提供するが、他の実施形態が企図されており、図9、図10、および図11の考察は、実装形態の幅を限定するものではない。これらの態様のうちの少なくとも1つは、概して、ビデオコード化および復号化に関し、少なくとも1つの他の態様は、概して、生成またはコード化されたビットストリームを送信することに関する。これらおよび他の態様は、方法、装置、説明された方法のいずれかに従ってビデオデータをコード化または復号化するための命令を記憶したコンピュータ可読記憶媒体、および/または説明された方法のいずれかに従って生成されるビットストリームを記憶したコンピュータ可読記憶媒体として実装できる。
本出願では、「再構築された」および「復号化された」という用語は互換的に使用され得、「ピクセル」および「サンプル」という用語は互換的に使用され得、「画像」、「ピクチャ」および「フレーム」という用語は互換的に使用され得る。必ずしもではないが、通常は、「再構築された」という用語は、エンコーダ側で使用され、一方で「復号化された」は、デコーダ側で使用される。
様々な方法が本明細書で説明されており、各方法は、説明された方法を達成するための1つ以上のステップまたは動作を含む。本方法の正しい運用のために特定のステップまたは動作の順序が必要でない限り、特定のステップおよび/または動作の順序および/または使用を、修正するかまたは組み合わせてもよい。
本文書に説明されている様々な方法および他の態様を使用して、図9および図10に示すように、モジュール、例えば、ビデオエンコーダ100およびデコーダ200のイントラ予測モジュール、エントロピー符号化モジュール、および/または復号化モジュール(160、360、145、330)を修正することができる。さらに、本態様はVVCまたはHEVCに限定されず、例えば、既存であるかまたは将来開発されるかどうかにかかわらず、他の標準および推奨事項、ならびにそのような標準および推奨事項(VVCおよびHEVCを含む)の拡張に適用することができる。特に明記されていない限り、または技術的に除外されていない限り、本文書で説明されている態様は、個別に、または組み合わせて使用できる。
本文書では、例えば、{{1,0},{3,1},{1,1}}といった、様々な数値を使用している。これらの特定の値は例示を目的とし、説明される態様はこれらの特定の値に限定されない。
図9は、エンコーダ100を示す。このエンコーダ100の変形が企図されるが、エンコーダ100は、すべての予想される変形を説明することなく、明確にするために以下に説明される。
コード化される前に、ビデオシーケンスは事前コード化処理(101)、例えば、入力色ピクチャに色変換(例えば、RGB 4:4:4からYCbCr 4:2:0への変換)を適用すること、または、(例えば、色成分の1つのヒストグラム等化を使用して)圧縮に対してより復元力のある信号分布を得るために、入力ピクチャ成分の再マッピングを実行することを経る場合がある。メタデータは事前処理に関連付けられ得、ビットストリームに添付され得る。
エンコーダ100において、ピクチャは、以下に説明するように、エンコーダの要素によってコード化される。コード化されるピクチャは、分割され(102)、例えば、CUの単位で処理される。各単位は、例えば、イントラモードまたはインターモードのいずれかを使用してコード化される。単位がイントラモードでコード化されるとき、イントラ予測を実行する(160)。インターモードにおいて、動き推定(175)および動き補償(170)が行われる。エンコーダは、イントラモードまたはインターモードのどちらをその単位のコード化に使用するかを判断し(105)、例えば、予測モードフラグによって、イントラ/インター判断を示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算すること(110)によって、計算される。
次いで、予測残差が変換され(125)、量子化される(130)。量子化された変換係数に加えて、動きベクトルおよび他の構文要素は、ビットストリームを出力するためにエントロピー符号化される(145)。エンコーダは、変換をスキップし、非変換残差信号に直接量子化を適用し得る。エンコーダは、変換および量子化の両方をバイパスすることもでき、すなわち、残差は、変換または量子化プロセスを適用せずに直接符号化される。
エンコーダは、コード化されたブロックを復号化して、さらに予測するための参照を提供する。量子化された変換係数は非量子化され(140)、逆変換され(150)、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて(155)、画像ブロックが再構築される。ループ内フィルタ(165)は、再構築されたピクチャに適用され、例えば、デブロッキング/SAO(サンプル適応オフセット)フィルタリングを行い、コード化アーティファクトを低減する。フィルタリングされた画像は、参照ピクチャバッファ(180)に記憶される。
図10は、ビデオデコーダ200のブロック図を示す。デコーダ200において、ビットストリームは、以下に説明するように、デコーダの要素によって復号化される。ビデオデコーダ200は、一般に、図9で説明したようなコード化パスの逆の復号化パスを実行する。エンコーダ100はまた、一般に、ビデオデータをコード化することの一部としてビデオ復号化を実行する。
特に、デコーダの入力は、ビデオエンコーダ100によって生成され得るビデオビットストリームを含む。まず、ビットストリームがエントロピー復号化され(230)、変換係数、動きベクトル、および他の符号化された情報を取得する。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがって、デコーダは、復号化されたピクチャ分割情報に従ってピクチャを分割することができる(235)。変換係数は非量子化され(240)、逆変換され(250)、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて(255)、画像ブロックが再構築される。予測されたブロックは、イントラ予測(260)または動き補償予測(すなわち、インター予測)(275)から取得され得る(270)。ループ内フィルタ(265)は、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(280)に記憶される。
復号化されたピクチャは、復号化後処理(285)、例えば、逆色変換(例えば、YCbCr 4:2:0からRGB 4:4:4への変換)または事前コード化処理(101)で行われる再マッピングプロセスの逆を実行する逆再マッピングをさらに経ることができる。復号化後処理では、事前コード化処理で導出され、ビットストリームで信号通知されるメタデータを使用することができる。
図11は、様々な態様および実施形態が実装されているシステムの一例のブロック図を示す。システム1000は、以下で説明される様々な構成要素を含むデバイスとして具現化することができ、本文書で説明される態様の1つ以上を実行するように構成される。このようなデバイスの例には、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ記録システム、コネクテッド家電、およびサーバなどの様々な電子デバイスが含まれるが、これらに限定されない。システム1000の要素は、単独でも組み合わせでも、1つの集積回路、複数のIC、および/または個別部品に具体化され得る。例えば、少なくとも1つの実施形態において、システム1000の処理およびエンコーダ/デコーダ要素は、複数のICおよび/または個別部品にわたって分散している。様々な実施形態において、システム1000は、例えば、通信バスを介して、または専用の入力および/または出力ポートを通して、他の同様のシステムに、または他の電子デバイスに通信可能に結合される。様々な実施形態において、システム1000は、本文書に説明される態様のうちの1つ以上を実装するように構成される。
システム1000は、例えば、本文書に説明される様々な態様を実装する際に、読み込まれた命令を実行するように構成された少なくとも1つのプロセッサ1010を含む。プロセッサ1010は、当技術分野で周知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム1000は、少なくとも1つのメモリ1020(例えば、揮発性メモリデバイス、および/または不揮発性メモリデバイス)を含む。システム1000は、ストレージデバイス1040を含み、これには、EEPROM、ROM、PROM、RAM、DRAM、SRAM、フラッシュ、磁気ディスクドライブ、および/または光ディスクドライブを含むがこれらに限定されない、不揮発性メモリおよび/または揮発性メモリが含まれ得る。ストレージデバイス1040は、非限定的な例として、内部ストレージデバイス、付属のストレージデバイス、および/またはネットワークアクセス可能なストレージデバイスを含み得る。
システム1000は、例えば、コード化されたビデオまたは復号化されたビデオを提供するためにデータを処理するように構成されたエンコーダ/デコーダモジュール1030を含み、エンコーダ/デコーダモジュール1030は、独自のプロセッサおよびメモリを含み得る。エンコーダ/デコーダモジュール1030は、コード化機能および/または復号化機能を実行するデバイスに含まれ得るモジュール(複数可)を表す。周知であるように、デバイスは、コード化モジュールおよび復号化モジュールの一方または両方を含み得る。さらに、エンコーダ/デコーダモジュール1030は、システム1000の別個の要素として実装されてもよく、または、当業者には周知であるように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ1010内に組み込まれてもよい。
本文書に説明される様々な態様を実行するようにプロセッサ1010またはエンコーダ/デコーダ1030に読み込まれるプログラムコードは、ストレージデバイス1040に格納され、続いて、プロセッサ1010による実行のためにメモリ1020に読み込まれ得る。様々な実施形態によれば、プロセッサ1010、メモリ1020、ストレージデバイス1040、およびエンコーダ/デコーダモジュール1030のうちの1つ以上は、本文書に説明されるプロセスの実行中、様々な項目のうちの1つ以上を格納することができる。このような格納される項目には、入力ビデオ、復号化されたビデオまたは復号化されたビデオの一部、ビットストリーム、行列、変数、ならびに方程式、式、演算、およびオペレーショナルロジックの処理からの中間結果または最終結果が含まれ得るが、これらに限定されない。
いくつかの実施形態において、プロセッサ1010および/またはエンコーダ/デコーダモジュール1030の内部のメモリを使用して、命令を格納し、コード化または復号化中に必要とされる処理のために、ワーキングメモリを提供する。しかしながら、他の実施形態において、処理デバイス(例えば、処理デバイスは、プロセッサ1010またはエンコーダ/デコーダモジュール1030のいずれかであり得る)の外部のメモリは、これらの機能のうちの1つ以上に使用される。外部メモリは、メモリ1020および/またはストレージデバイス1040、例えば、ダイナミック揮発性メモリおよび/または不揮発性フラッシュメモリであり得る。いくつかの実施形態において、テレビのオペレーティングシステムを格納するのに外部不揮発性フラッシュメモリが使用される。少なくとも1つの実施形態において、RAMなどの高速外部ダイナミック揮発性メモリが、MPEG−2、HEVC、またはVVC(バーサタイルビデオ符号化)など、ビデオ符号化および復号化作業に、ワーキングメモリとして使用される。
システム1000の要素への入力は、ブロック1130に示されるような様々な入力デバイスを通して提供され得る。このような入力デバイスには、(i)例えば、放送局によって無線通信で送信されたRF信号を受信するRF部、(ii)コンポジット入力端子、(iii)USB入力端子、および/または(iv)HDMI入力端子が含まれるが、これらに限定されない。
様々な実施形態において、ブロック1130の入力デバイスは、当技術分野で周知であるような関連するそれぞれの入力処理要素を有する。例えば、RF部は、(i)所望の周波数を選択し(信号を選択する、またはある周波数帯域に信号を帯域制限する、とも呼ばれる)、(ii)選択された信号をダウンコンバートし、(iii)(例えば)ある特定の実施形態ではチャネルと呼ばれ得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限し、(iv)ダウンコンバートされ、帯域制限された信号を復調し、(v)誤差補正を実行する、(vi)逆多重化して、所望のデータパケットストリームを選択するのに必要な要素に関連付けられ得る。様々な実施形態のRF部には、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤差補正器、およびデマルチプレクサを実行する1つ以上の要素が含まれる。RF部には、例えば、受信された信号をより低い周波数に(例えば、中間周波数またはベースバンド付近の周波数)、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実行するチューナが含まれ得る。1つのセットトップボックス実施形態において、RF部およびその関連付けられた入力処理要素は、有線(例えば、ケーブル)媒体経由で送信されたRF信号を受信し、フィルタ処理し、ダウンコンバートし、再びフィルタ処理して所望の周波数帯域にすることによって、周波数選択を実行する。様々な実施形態では、上記(および他の)要素の順番が並べ替えられ、これらの要素のうちのいくつかが取り除かれ、かつ/または同様もしくは異なる機能を実行する他の要素が加えられる。要素を加えることには、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ−デジタル変換器を挿入することが含まれ得る。様々な実施形態において、RF部には、アンテナが含まれる。
また、USBおよび/またはHDMI端子は、USBおよび/またはHDMI接続にわたる他の電子デバイスにシステム1000を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リード・ソロモン誤差補正が、例えば、必要に応じて、別個の入力処理IC内またはプロセッサ1010内に実装され得ることを理解されたい。同様に、USBまたはHDMIインターフェース処理の態様が、必要に応じて、別個のインターフェースIC内またはプロセッサ1010内に実装され得る。例えば、出力デバイス上で提示するために、必要に応じて、データストリームを処理するために、メモリとストレージ要素との組み合わせで動作する、例えば、プロセッサ1010、およびエンコーダ/デコーダ1030を含む、様々な処理要素に、復調され、誤差補正され、かつ逆多重化されたストリームが提供される。
システム1000の様々な要素は、一体型ハウジング内に提供され得、一体型ハウジング内では、様々な要素は、相互接続して、好適な接続配置1140、例えば、I2Cバス、配線、およびプリント回路基板を含む、当技術分野で周知であるような内部バスを使用して、それらの間でデータを送信することができる。
システム1000は、通信チャネル1060を介して他のデバイスとの通信を可能にする通信インターフェース1050を含む。通信インターフェース1050には、通信チャネル1060経由でデータを送受信するように構成されたトランシーバが含まれ得るが、これに限定されない。通信インターフェース1050には、モデムまたはネットワークカードが含まれ得るが、これらに限定されず、通信チャネル1060は、例えば、有線および/または無線媒体内に実装され得る。
様々な実施形態において、データは、IEEE802.11などの無線ネットワークを使用して、システム1000にストリーミングされる。これらの実施形態の無線信号は、例えば、Wi−Fi通信に適合された通信チャネル1060および通信インターフェース1050を介して受信される。これらの実施形態の通信チャネル1060は、通常、アクセスポイントまたはルータに接続され、アクセスポイントまたはルータは、アプリケーションをストリーミングすることおよび他の過度な通信を可能にするために、インターネットを含む外側ネットワークへのアクセスを提供する。他の実施形態は、入力ブロック1130のHDMI接続経由でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム1000に提供する。さらに他の実施形態は、入力ブロック1130のRF接続を使用して、ストリーミングされたデータをシステム1000に提供する。
システム1000は、ディスプレイ1100、スピーカ1110、および他の周辺デバイス1120を含む、様々な出力デバイスに出力信号を提供することができる。他の周辺デバイス1120には、様々な実施形態例において、スタンドアローンDVR、ディスクプレーヤ、ステレオシステム、照明システム、およびシステム1000の出力に基づき、機能を提供する他のデバイスのうちの1つ以上が含まれる。様々な実施形態において、システム1000と、ディスプレイ1100、スピーカ1110、または他の周辺デバイス1120との間で、AVリンク、CEC、またはユーザの介入の有無に関わらず、デバイス・ツー・デバイス制御を可能にする他の通信プロトコルなどの信号通知を使用して、制御信号が伝達される。出力デバイスは、それぞれのインターフェース1070、1080、および1090を通して専用接続を介してシステム1000に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース1050を介して、通信チャネル1060を使用してシステム1000に接続され得る。ディスプレイ1100およびスピーカ1110は、電子デバイス、例えば、テレビ内のシステム1000の他の構成要素と、単一のユニットにおいて統合され得る。様々な実施形態において、ディスプレイインターフェース1070には、ディスプレイドライバ、例えば、タイミングコントローラ(T Con)チップが含まれる。
代替的に、ディスプレイ1100およびスピーカ1110は、例えば、入力1130のRF部が別個のセットトップボックスの一部である場合、他の構成要素のうちの1つ以上とは別個であってもよい。ディスプレイ1100およびスピーカ1110が外部構成要素である様々な実施形態において、例えば、HDMIポート、USBポート、またはCOMP出力部を含む専用出力接続を介して出力信号が提供され得る。
実施形態は、プロセッサ1010によって実装されるコンピュータソフトウェアによって、またはハードウェアによって、またはハードウェアとソフトウェアの組み合わせによって、実施することができる。非限定的な例として、実施形態は、1つ以上の集積回路によって実装され得る。メモリ1020は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取り外し可能なメモリなどの任意の適切なデータストレージ技術を使用して実装され得る。プロセッサ1010は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの1つ以上を包含し得る。
様々な実装形態には復号化が含まれる。本出願で使用される「復号化」は、表示に適した最終出力を生成するために、例えば、受信したコード化されたシーケンスに対して実行されるプロセスのすべてまたは一部を包含し得る。様々な実施形態では、そのようなプロセスは、典型的にはデコーダによって実行されるプロセスのうちの1つ以上、例えば、エントロピー復号化、逆量子化、逆変換、および差動復号化を含む。様々な実施形態では、そのようなプロセスはまた、または代替的に、本出願で説明される様々な実装形態のデコーダによって実行されるプロセス、例えば、様々なイントラ予測参照配列に使用される重みのインデックスを抽出することを含む。
さらなる例として、一実施形態では、「復号化」は、エントロピー復号化のみを指し、別の実施形態では、「復号化」は、差動復号化のみを指し、別の実施形態では、「復号化」は、エントロピー復号化と差動復号化との組み合わせを指す。「復号化プロセス」という句が、具体的に動作のサブセットを指すことを意図するのか、または一般により広い復号化プロセスを指すことを意図するのかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。
様々な実装形態にはコード化が含まれる。「復号化」に関する上記の考察と同様に、本出願で使用される「コード化」は、コード化されたビットストリームを生成するために、例えば、入力されたビデオシーケンスに対して実行されるプロセスのすべてまたは一部を包含し得る。様々な実施形態では、そのようなプロセスは、典型的にはエンコーダによって実行されるプロセスのうちの1つ以上、例えば、分割、差分コード化、変換、量子化、およびエントロピーコード化を含む。様々な実施形態では、そのようなプロセスはまた、または代替的に、本出願で説明される様々な実装形態のエンコーダによって実行されるプロセス、例えば、イントラ予測参照配列の重み付けを含む。
さらなる例として、一実施形態では、「コード化」は、エントロピーコード化のみを指し、別の実施形態では、「コード化」は、差分コード化のみを指し、別の実施形態では、「コード化」は、差分コード化とエントロピーコード化との組み合わせを指す。「コード化プロセス」という句が、具体的に動作のサブセットを指すことを意図するのか、または一般により広いコード化プロセスを指すことを意図するのかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。
本明細書で使用されている構文要素は、説明的な用語であることに留意されたい。そのため、これらは、他の構文要素名の使用を排除するものではない。
図がフロー図として提示されるとき、それは対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されるとき、それは対応する方法/プロセスのフロー図も提供することを理解されたい。
様々な実施形態は、レート歪み計算またはレート歪み最適化を参照する。特に、コード化プロセス中、しばしば計算の複雑さの制約があるとすると、レートと歪みとのバランスまたはトレードオフが通常考慮される。レート歪み最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するものとして考案される。レート歪み最適化問題を解決するに、様々なアプローチがある。例えば、アプローチは、考慮されるすべてのモードまたは符号化パラメータ値を含み、符号化および復号化後の再構築された信号の符号化コストおよび関連する歪みの完全な評価が伴うすべてのコード化選択肢の広範なテストに基づき得る。特に、再構築された信号ではなく、予測または予測残差信号に基づく近似歪みの計算を伴う高速のアプローチを、コード化の複雑さを軽減するために使用することもできる。可能なコード化選択肢の一部にのみ近似歪みを使用し、他のコード化選択肢には完全歪みを使用するなどによって、これら2つのアプローチを組み合わせて使用することもできる。他のアプローチでは、可能なコード化選択肢のサブセットのみを評価する。より一般的には、多くのアプローチが最適化を実行するために様々な手法のいずれかを採用するが、最適化は必ずしも符号化コストと関連する歪みの両方の完全な評価ではない。
本明細書で説明された実装形態および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装され得る。単一の実装形態の文脈でのみ考察された(例えば、方法としてのみ考察された)としても、考察された特徴の実装形態はまた、他の形態(例えば、装置またはプログラム)で実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアに実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含む処理デバイス全般を指す、例えば、プロセッサに実装することができる。プロセッサは、通信デバイス、例えば、コンピュータ、携帯電話、ポータブル/パーソナルデジタルアシスタンス(「PDA」)、およびエンドユーザ間の情報の伝達を容易にする他のデバイスなども含む。
「一実施形態(one embodiment)」もしくは「実施形態(an embodiment)」または「一実装形態(one implementation)」もしくは「実装形態(an implementation)」、ならびにそれらの他の変形への言及は、実施形態に関連して説明された特定の特徴、構造、特性などが、少なくとも1つの実施形態に含まれることを意味する。したがって、本文書全体にわたって様々な箇所においてみられる、「一実施形態では」もしくは「実施形態では」または「一実装形態では」もしくは「実装形態では」という句、ならびに任意の他の変形の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。
さらに、本文書は、情報の様々な部分を「決定すること」に言及する場合がある。情報の決定には、例えば、情報の推定、情報の計算、情報の予測、またはメモリからの情報の検索のうちの1つ以上が含まれ得る。
さらに、本文書は、情報の様々な部分に「アクセスすること」に言及する場合がある。情報へのアクセスには、例えば、情報の受信、(例えば、メモリからの)情報の検索、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の決定、情報の予測、または情報の推定のうちの1つ以上が含まれ得る。
さらに、本文書は、情報の様々な部分を「受信すること」に言及する場合がある。受信は、「アクセスすること」と同様に、広義の用語であることが意図されている。情報の受信には、例えば、情報へのアクセス、または(例えば、メモリからの)情報の検索のうちの1つ以上が含まれ得る。さらに、「受信すること」は、典型的には、何らかの方法で、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、または情報の推定などの動作中に関与する。
例えば、「A/B」、「Aおよび/またはB」、ならびに「AおよびBのうちの少なくとも1つ」の場合、「/」、「および/または」、および「のうちの少なくとも1つ」のいずれかの使用は、最初に挙げた選択肢(A)のみの選択、または2番目に挙げた選択肢(B)のみの選択、または両方の選択肢(AおよびB)の選択を網羅することを意図していることを理解されたい。さらなる例として、「A、B、および/またはC」ならびに「A、BおよびCのうちの少なくとも1つ」の場合、このような言い回しは、最初に挙げた選択肢(A)のみの選択、または2番目に挙げた選択肢(B)のみの選択、または3番目に挙げた(C)のみの選択、または最初および2番目に挙げた選択肢(AおよびB)のみの選択、または最初および3番目に挙げた選択肢(AおよびC)のみの選択、または2番目および3番目に挙げた選択肢(BおよびC)のみの選択、または3つすべての選択肢(A、BおよびC)の選択、を網羅することを意図している。これは、当技術分野および関連技術分野の当業者には明らかであるように、挙げられる項目の数だけ拡張することができる。
また、本明細書で使用される場合、「信号で知らせる(」という単語は、とりわけ、対応するデコーダに何かを指示することを指す。例えば、特定の実施形態では、エンコーダは、イントラ予測参照配列に使用される複数の重みのうちの特定の1つを信号で知らせる。このように、一実施形態では、同じパラメータがエンコーダ側とデコーダ側との両方で使用される。したがって、例えば、エンコーダが特定のパラメータをデコーダに送信(明示的なシグナリング)し、これにより、デコーダは同じ特定のパラメータを使用することができる。逆に、デコーダがすでに特定のパラメータと他のパラメータを持っている場合は、送信を伴わないシグナリングを使用して(暗黙的なシグナリング)、単に、デコーダが特定のパラメータを認識して、選択することができるようにする。任意の実際の関数の送信を回避することにより、様々な実施形態においてビットの削減が実現される。シグナリングは、様々な方法で達成できることを理解されたい。例えば、1つ以上の構文要素、フラグなどは、様々な実施形態において、対応するデコーダに情報を信号で知らせるために使用される。上記は「信号」という単語の動詞形態に関するものであるが、「信号」という単語は本明細書では名詞として使用することもできる。
当業者には明らかであるように、実装形態は、例えば、記憶または送信され得る情報を搬送するようにフォーマットされる多種多様な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明される実装形態のうちの1つにより生成されたデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされてもよい。このような信号は、(例えば、スペクトルの無線周波数部分を使用して)例えば、電磁波として、またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームをコード化することと、搬送波をコード化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログまたはデジタル情報とすることができる。信号は、周知のように、種々の異なる有線または無線リンクを介して送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。
実施形態は、様々な異なる請求項のカテゴリおよびタイプにわたって、以下の特徴またはエンティティのうちの1つ以上を、単独でまたは組み合わせて含み得る。
・デコーダおよび/またはエンコーダに適用されるイントラ予測プロセスを修正すること。
・デコーダおよび/またはエンコーダにおけるいくつかの重み付けされたイントラ予測方法を可能にすること。
・デコーダがイントラ予測参照に適用される重みを識別できるようにする構文要素をシグナリングに挿入すること。
・これらの構文要素に基づいて、デコーダで適用する重みまたは重みセットを選択すること。
・デコーダで重み付けされたイントラ予測を適用すること。
・考察された実施形態のいずれかによるエンコーダで残基を適合させること。
・説明された構文要素またはその変形のうちの1つ以上を含むビットストリームまたは信号。
・デコーダが残差を、エンコーダで使用される残差に対応する方法で適合させることを可能にする構文要素をシグナリングに挿入すること。
・説明された構文要素、またはそれらの変形の1つ以上を含むビットストリームもしくは信号を作成および/または送信および/または受信および/または復号化すること。
・説明された実施形態のいずれかによるイントラ予測参照の重み付けを実行するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・説明された実施形態のいずれかによるイントラ予測参照の重み付けを実行し、結果として得られる画像を(例えば、モニタ、画面、または他のタイプのディスプレイを使用して)表示するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・コード化された画像を含む信号を受信するように(例えば、チューナを使用して)チャネルを選局し、説明された実施形態のいずれかによるイントラ予測参照の重み付けを実行するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・コード化された画像を含む信号を(例えば、アンテナを使用して)無線通信で受信し、説明された実施形態のいずれかによるイントラ予測参照の重み付けを実行するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
様々な他の一般化された、ならびに特定化された発明および請求項もまた、本開示全体を通してサポートおよび企図される。
図12に、本明細書で説明された一般的な態様を使用してビデオデータのブロックをコード化するための方法1200の一実施形態を示す。方法は、開始ブロック1201で始まり、制御は、機能ブロック1210に進み、ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成し、再構築されたサンプルは、ビデオデータの上記ブロックから1つ以上の位置であるピクセル位置に位置する。次に、制御は、ブロック1210からブロック1220に進み、複数の重みセットから選択された重みセットを複数の参照配列の1つ以上に適用することによって、ビデオデータのブロックのターゲットピクセルをそれぞれ予測する。制御は、ブロック1220からブロック1230に進み、ビデオのブロックのターゲットピクセルの最終的なイントラ予測を、重み付けされた参照配列の1つ以上からそれぞれの予測の関数として計算する。次に、制御は、ブロック1230からブロック1240に進み、予測を使用してビデオのブロックをコード化する。
図13に、本明細書で説明された一般的な態様を使用してビデオデータのブロックを復号化するための方法1300の一実施形態を示す。方法は、開始ブロック1301で始まり、制御は、機能ブロック1310に進み、ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成し、再構築されたサンプルは、ビデオデータの上記ブロックから1つ以上の位置であるピクセル位置に位置する。次に、制御は、ブロック1310からブロック1320に進み、複数の重みセットから選択された重みセットを複数の参照配列の1つ以上に適用することによって、ビデオデータのブロックのターゲットピクセルをそれぞれ予測する。制御は、ブロック1320からブロック1330に進み、ビデオのブロックのターゲットピクセルの最終的なイントラ予測を、重み付けされた参照配列の1つ以上からそれぞれの予測の関数として計算する。次に、制御は、ブロック1330からブロック1340に進み、予測を使用してビデオのブロックを復号化する。
図14は、ビデオデータのブロックをコード化または復号化するための装置1400の一実施形態を示す。装置は、プロセッサ1410を含み、少なくとも1つのポートを介してメモリ1420に相互接続することができる。プロセッサ1410およびメモリ1420の両方はまた、外部接続への1つ以上の追加の相互接続を持つことができる。
プロセッサ1410は、ビデオデータのブロックの再構築されたサンプルから複数の参照配列を形成し、複数の重みセットから選択された重みセットを、複数の参照配列の1つ以上に適用することによってビデオデータのブロックのターゲットピクセルをそれぞれ予測し、ビデオのブロックのターゲットピクセルの最終予測を、参照配列の1つ以上からそれぞれの予測の関数として計算し、最終予測を使用してビデオのブロックをコード化するかまたは復号化することによって、ビデオデータをコード化または復号化するように構成される。

Claims (15)

  1. ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成することであって、前記再構築されたサンプルは、前記ビデオデータのブロックから1つ以上の位置であるピクセル位置に位置する、形成することと、
    複数の重みセットから選択された重みセットを、前記複数の参照配列のうちの1つ以上に適用することによって、前記ビデオデータのブロックのターゲットピクセルをそれぞれ予測することと、
    前記ビデオのブロックの前記ターゲットピクセルの最終的なイントラ予測を、前記重み付けされた参照配列のうちの1つ以上からそれぞれの予測の関数として計算することと、
    前記予測を使用して、前記ビデオのブロックをコード化することと、を含む、方法。
  2. プロセッサを含み、前記プロセッサは、
    ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成することであって、前記再構築されたサンプルは、前記ビデオデータのブロックから1つ以上の位置であるピクセル位置に位置する、形成することと、
    複数の重みセットから選択された重みセットを、前記複数の参照配列のうちの1つ以上に適用することによって、前記ビデオデータのブロックのターゲットピクセルをそれぞれ予測することと、
    前記ビデオのブロックの前記ターゲットピクセルの最終的なイントラ予測を、前記重み付けされた参照配列のうちの1つ以上からそれぞれの予測の関数として計算することと、
    前記予測を使用して、前記ビデオのブロックをコード化することと、を実行するように構成されている、装置。
  3. ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成することであって、前記再構築されたサンプルは、前記ビデオデータのブロックから1つ以上の位置であるピクセル位置に位置する、形成することと、
    複数の重みセットから選択された重みセットを、前記複数の参照配列のうちの1つ以上に適用することによって、前記ビデオデータのブロックのターゲットピクセルをそれぞれ予測することと、
    前記ビデオのブロックの前記ターゲットピクセルの最終的なイントラ予測を、前記重み付けされた参照配列のうちの1つ以上からそれぞれの予測の関数として計算することと、
    前記予測を使用して、前記ビデオのブロックを復号化することと、を含む、方法。
  4. プロセッサを含む装置であって、前記プロセッサは、
    ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成することであって、前記再構築されたサンプルは、前記ビデオデータのブロックから1つ以上の位置であるピクセル位置に位置する、形成することと、
    複数の重みセットから選択された重みセットを、前記複数の参照配列のうちの1つ以上に適用することによって、前記ビデオデータのブロックのターゲットピクセルをそれぞれ予測することと、
    前記ビデオのブロックの前記ターゲットピクセルの最終的なイントラ予測を、前記重み付けされた参照配列のうちの1つ以上からそれぞれの予測の関数として計算することと、
    前記予測を使用して、前記ビデオのブロックを復号化することと、を実行するように構成されている、装置。
  5. 前記重みセットは、方向性イントラモードに適用される、請求項1もしくは3に記載の方法、または請求項2もしくは4に記載の装置。
  6. 前記重みセットは、すべてのイントラモードに適用される、請求項1もしくは3に記載の方法、または請求項2もしくは4に記載の装置。
  7. 前記重みセットは、輝度成分のみに適用される、請求項5または6に記載の方法または装置。
  8. 3つの重みセットが使用される、請求項1もしくは3に記載の方法、または請求項2もしくは4に記載の装置。
  9. 高さまたは幅がN個のサンプルより大きいブロックに対して複数参照イントラ予測が実行される、請求項5または6に記載の方法または装置。
  10. 重みセットおよび参照ラインの数が、予測方向、ブロックサイズまたは形状、および成分のうちの少なくとも1つに基づいている、請求項5または6に記載の方法または装置。
  11. 前記重みおよび参照ラインの数が、予測子の位置に基づいている、請求項5または7に記載の方法または装置。
  12. 請求項4〜11のいずれかに記載の装置と、
    (i)信号を受信するように構成されたアンテナであって、前記信号は、前記ビデオブロックを含む、アンテナ、(ii)前記受信した信号を、前記ビデオブロックを含む周波数の帯域に制限するように構成された帯域制限器、および(iii)前記ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも1つと、を含む、デバイス。
  13. プロセッサを使用した再生のための、請求項1および5〜11のいずれか一項に記載の方法に従って、または請求項2および5〜11のいずれか一項に記載の装置によって生成されたデータコンテンツを含む、非一時的コンピュータ可読媒体。
  14. プロセッサを使用した再生のための、請求項1および5〜11のいずれか一項に記載の方法に従って、または請求項2および5〜11のいずれか一項に記載の装置によって生成されたビデオデータを含む、信号。
  15. 命令を含む、コンピュータプログラム製品であって、前記命令は、前記プログラムがコンピュータによって実行されると、前記コンピュータに、請求項1、3および5〜11のいずれか一項に記載の方法を実施させる、コンピュータプログラム製品。
JP2020567105A 2018-06-26 2019-06-14 可変重みを使用する複数参照イントラ予測 Pending JP2021528893A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18305809 2018-06-26
EP18305809.8 2018-06-26
EP18306061.5 2018-08-03
EP18306061.5A EP3606069A1 (en) 2018-08-03 2018-08-03 Multiple reference intra prediction using variable weights
PCT/US2019/037151 WO2020005573A1 (en) 2018-06-26 2019-06-14 Multiple reference intra prediction using variable weights

Publications (2)

Publication Number Publication Date
JP2021528893A true JP2021528893A (ja) 2021-10-21
JPWO2020005573A5 JPWO2020005573A5 (ja) 2022-06-20

Family

ID=67060508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020567105A Pending JP2021528893A (ja) 2018-06-26 2019-06-14 可変重みを使用する複数参照イントラ予測

Country Status (6)

Country Link
US (1) US11956436B2 (ja)
EP (1) EP3815361A1 (ja)
JP (1) JP2021528893A (ja)
CN (1) CN112335240A (ja)
MX (1) MX2020013451A (ja)
WO (1) WO2020005573A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230107907A (ko) * 2018-06-29 2023-07-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 확장 기준 인트라 화면 예측
WO2024017179A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Method and apparatus of blending prediction using multiple reference lines in video coding system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141187A (ja) * 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
US20170272757A1 (en) * 2016-03-18 2017-09-21 Mediatek Inc. Method and apparatus of video coding
WO2017190288A1 (en) * 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
WO2019009540A1 (ko) * 2017-07-06 2019-01-10 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10142630B2 (en) 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
CN107113425A (zh) 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
CN115134591A (zh) * 2015-06-05 2022-09-30 杜比实验室特许公司 图像编解码方法、比特流存储方法
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
CA3025488A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction for intra coding
US10645395B2 (en) 2016-05-25 2020-05-05 Arris Enterprises Llc Weighted angular prediction coding for intra coding
US10484712B2 (en) * 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US20190200011A1 (en) 2016-09-08 2019-06-27 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus therefor
WO2018070790A1 (ko) 2016-10-14 2018-04-19 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
JP6847211B2 (ja) 2016-10-14 2021-03-24 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 距離重み付けされた双方向性イントラ予測
CN110063056B (zh) 2016-12-07 2023-09-12 株式会社Kt 用于处理视频信号的方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141187A (ja) * 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
US20170272757A1 (en) * 2016-03-18 2017-09-21 Mediatek Inc. Method and apparatus of video coding
WO2017190288A1 (en) * 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
WO2019009540A1 (ko) * 2017-07-06 2019-01-10 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP2020533822A (ja) * 2017-07-06 2020-11-19 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 画像復号方法、画像符号化方法、及び、記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
松尾 翔平、他: "重み関数を用いたHEVCイントラ予測改良に関する検討", FIT2013 第12回情報科学技術フォーラム 講演論文集 第3分冊 査読付き論文・一般論文 画像認, JPN6023029125, 20 August 2013 (2013-08-20), pages 7 - 10, ISSN: 0005107072 *

Also Published As

Publication number Publication date
CN112335240A (zh) 2021-02-05
MX2020013451A (es) 2021-02-26
US20210266558A1 (en) 2021-08-26
EP3815361A1 (en) 2021-05-05
WO2020005573A1 (en) 2020-01-02
US11956436B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
KR20210089747A (ko) 비디오 인코딩 및 디코딩을 위한 가상 파이프라인
JP2022525686A (ja) サブパーティションを有する広角度イントラ予測
US20240089437A1 (en) Chroma quantization parameter adjustment in video encoding and decoding
US20210400276A1 (en) Quantization for video encoding and decoding
EP4218240A1 (en) Template matching prediction for versatile video coding
JP2022502959A (ja) 広角イントラ予測のための方向
WO2019204083A1 (en) Quantization parameter prediction for video encoding and decoding
US11956436B2 (en) Multiple reference intra prediction using variable weights
US20220124337A1 (en) Harmonization of intra transform coding and wide angle intra prediction
EP3687172A1 (en) Multiple transforms selection signalling
JP2021531677A (ja) 広角イントラ予測と位置依存イントラ予測の組み合わせ
EP4078953A1 (en) Subblock merge candidates in triangle merge mode
EP3606069A1 (en) Multiple reference intra prediction using variable weights
US20220038704A1 (en) Method and apparatus for determining chroma quantization parameters when using separate coding trees for luma and chroma
JP7509773B2 (ja) 二重木を伴う現ピクチャ参照ブロックベクトル初期化
US20230143712A1 (en) Transform size interactions with coding tools
US20210344962A1 (en) Method and apparatus for video encoding and decoding with signaling of coding type or coding tree type
JP2024513657A (ja) ビデオエンコード及びデコードのためのテンプレートマッチング予測
EP3664450A1 (en) Method and device for picture encoding and decoding
EP3591971A1 (en) Chroma quantization parameter adjustment in video encoding and decoding
CN117616750A (zh) 基于模板的帧内模式推导
WO2023046518A1 (en) Extension of template based intra mode derivation (timd) with isp mode
WO2022028855A1 (en) Combining abt with vvc sub-block-based coding tools
JP2022537222A (ja) 局所照明補正フラグインヘリタンス
WO2020117628A1 (en) Method and device for picture encoding and decoding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230719

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240321