JP2022502905A - 双予測を使用するビデオエンコーディングおよびデコーディングのための方法および装置 - Google Patents

双予測を使用するビデオエンコーディングおよびデコーディングのための方法および装置 Download PDF

Info

Publication number
JP2022502905A
JP2022502905A JP2021516363A JP2021516363A JP2022502905A JP 2022502905 A JP2022502905 A JP 2022502905A JP 2021516363 A JP2021516363 A JP 2021516363A JP 2021516363 A JP2021516363 A JP 2021516363A JP 2022502905 A JP2022502905 A JP 2022502905A
Authority
JP
Japan
Prior art keywords
predictor
sample
block
weight
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021516363A
Other languages
English (en)
Other versions
JP7502278B2 (ja
Inventor
ルルアンネック ファブリス
ポワリエ タンギ
ボルデ フィリップ
Original Assignee
インターデイジタル ヴィーシー ホールディングス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデイジタル ヴィーシー ホールディングス インコーポレイテッド filed Critical インターデイジタル ヴィーシー ホールディングス インコーポレイテッド
Publication of JP2022502905A publication Critical patent/JP2022502905A/ja
Application granted granted Critical
Publication of JP7502278B2 publication Critical patent/JP7502278B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

異なる実施が説明され、特に、双予測を用いる動き補償を使用するビデオエンコーディングおよびデコーディングのための実施が提示される。エンコーディング方法は、ピクチャについて、第1の参照ピクチャを使用して、ピクチャのブロックのための第1のプレディクタを取得するステップと、第2の参照ピクチャを使用して、ピクチャのブロックのための第2のプレディクタを取得するステップと、双予測インター予測において、ブロックのための第3のプレディクタを形成するため、第1のプレディクタおよび第2のプレディクタを使用するステップであって、第3のプレディクタは、第1のプレディクタと第2のプレディクタの加重平均として取得される、ステップとを含み、重み付けされた予測において使用される重みは、ブロック内におけるサンプルの位置に依存する。デコーディング方法において、ブロック三角パーティション予測を実施するための、複数のパターンを使用するブロックパーティション予測を実施するための、および対応する動き補償のための、他の実施形態が、提示される。

Description

ビデオをビットストリームにエンコードするための方法および装置が、開示される。対応するデコーディング方法および装置が、さらに開示される。少なくともいくつかの実施形態は、さらに、ビデオ圧縮スキームにおける、インター符号化されたブロックについての双予測に関する。
1つまたは複数の実施の技術分野は、一般に、ビデオ圧縮に関する。高い圧縮効率を達成するために、画像およびビデオ符号化スキームは、通常、ビデオコンテンツ内における空間的および時間的冗長性を活用するために、予測および変換を利用する。一般に、イントラまたはインターフレーム相関を活用するために、イントラまたはインター予測が、使用され、その後、予測誤差または予測残差としばしば呼ばれる、元のブロックと予測されたブロックとの間の差が、変換され、量子化され、エントロピ符号化される。ビデオを再構築するために、圧縮されたデータは、エントロピ符号化、量子化、変換、および予測に対応する、逆プロセスによってデコードされる。勧告ITU−T H.265としても知られる、HEVCビデオ圧縮規格においては、インター予測において使用される双予測処理は、2つの一方向予測信号の平均化を含む。図1は、HEVCにおける双予測プロセスを例示している。2つの一方向予測の平均化は、図1に示されるように、入力ビット深度または内部ビット深度のどちらかよりも高い精度で、行われる。双予測の式が、式1に示されており、最終的なプレディクタを入力ビット深度に対して正規化するために、offsetおよびshiftが、使用される。
bidir=(PL0+PL1+offset)>>shift 式1
中間ステージにおいて、丸めが、存在しないので、HEVC補間フィルタは、ある実施最適化を可能にする。
ビデオ圧縮技術に対する最近の追加は、共同ビデオ調査チーム(JVET)グループによって開発された、共同調査モデル(JEM)、およびその後のVTM(多用途ビデオ符号化(VVC)テストモデル)など、様々な業界規格、参照ソフトウェアおよび/または文書のバージョンを含む。目的は、既存のHEVC(高効率ビデオ符号化)規格に対して、さらなる改善を行うことである。例えば、ビデオコーデックのより最近の手法においては、2つの一方向予測を平均化して双方向予測を取得するために、複数の重みが使用される。一般に、使用される重みは、{−1/4,5/4}、{3/8,5/8}、または{1/2,1/2}であり({1/2,1/2}がHEVCにおいて実施されるもの)、双予測の式は、式2におけるように変更される。ブロック全体に対して、ただ1つの重みが、使用される。
bidir=((1−w1)×PL0+w1×PL1+offset)>>shift 式2
ビデオコーデックの別の手法においては、マージモードにおいて、三角予測が、使用される。図2は、符号化ユニットCUの、2つの三角予測ユニットへの分割(splitting)を例示している。図2に示されるように、CUは、斜めエッジに沿って、斜めまたは逆斜め方向のどちらかに、2つの三角予測ユニットPU0およびPU1に分割される。CUにおける各三角予測ユニットは、マージ候補リストから導出される、独自の動きベクトルおよび参照フレームインデックスを使用して、インター予測される。この文脈においては、CU全体についての最終的な予測を導出するために、2つの三角予測ユニットの間の斜めまたは逆斜めエッジに、適応重み付けプロセスが、適用される。図3は、2つの三角予測ユニットの間の斜めエッジ上における、そのような重み付けプロセスを例示している。三角予測ユニットモードは、スキップモードまたはマージモードにおいてのみ、CUに適用される。三角予測ユニットモードが、CUに適用されるとき、CUを2つの三角予測ユニットに分割する方向を示すインデックス、および2つの三角予測ユニットの動きベクトルが、伝達される。両方の予測ユニットに対して、5つの一方向プレディクタからなる共通リストが、導出され、古典的なマージプロセスにおけるのと同じ空間的および時間的位置が、チェックされるが、一方向ベクトルだけが、使用される。冗長な動きベクトルは、リストに追加されず、十分な候補が、存在しない場合、ゼロ動きベクトルが、リストの末尾に追加される。与えられた予測ユニットに対して、動きベクトルプレディクタの数は、5つであり、各斜線に対して、20の組み合わせが、テストされる(5×4=20、両方のPUに対して、同じ動きベクトルプレディクタを使用することはできない)。インデックスは、0から39までの範囲であり、各PUについての分割方向および動きベクトルを、インデックスから導出するために、ルックアップテーブル、表2を参照、が、使用される。与えられた3つ組の第1の要素は、斜め方向を与え、第2および第3の要素は、それぞれ、PU0およびPU1のためのプレディクタインデックスをそれぞれ与える。インデックスシンタックスが、表1に示されている。
Figure 2022502905
Figure 2022502905
図4は、特定の圧縮スキームによる、三角パーティションのためのサブブロック動きベクトル記憶を例示している。実施においては、4×4サブブロックごとに、動きベクトルが、記憶される。CUに対して、三角パーティションが、使用されるとき、各パーティションに対して使用される動きベクトルは、どのサブブロックについても、同じ方法で記憶されるが、エッジ上のサブブロックについては、図4に示されるように、1つのPUからの動きベクトルだけが、記憶される。
三角パーティションと組み合わされた、インター符号化ブロックの双予測は、実施上の問題を引き起こす。したがって、あまり計算的でない双予測のための方法が望ましい。したがって、インター符号化ブロックの双予測を改善するための、いくつかの実施形態が、開示される。
本開示の態様によれば、ピクチャをエンコードするための方法が、開示される。そのような方法は、第1の参照ピクチャ(reference picture)を使用して、ピクチャのブロックのための第1のプレディクタを取得するステップと、第2の参照ピクチャを使用して、ピクチャのブロックのための第2のプレディクタを取得するステップと、双予測インター予測において、ピクチャのブロックのための第3のプレディクタを形成するために、第1のプレディクタおよび第2のプレディクタを使用するステップであって、第3のプレディクタは、第1のプレディクタと第2のプレディクタの加重平均として取得される、ステップとを含み、第3のプレディクタのサンプルは、第1の重みを第1のプレディクタのサンプルに適用することによって、また第2の重みを第2のプレディクタのサンプルに適用することによって、取得され、第3のプレディクタのサンプル、第1のプレディクタのサンプルおよび第2のプレディクタのサンプルは、ブロック内において同じ位置を共有し、第1の重みおよび第2の重みは、ブロック内におけるサンプルの位置に依存する。
本開示の別の態様によれば、ピクチャをエンコードするための装置が、開示される。そのような装置は、第1の参照ピクチャを使用して、ピクチャのブロックのための第1のプレディクタを取得するための手段と、第2の参照ピクチャを使用して、ピクチャのブロックのための第2のプレディクタを取得するための手段と、第1のプレディクタおよび第2のプレディクタを使用して、双予測インター予測において、ピクチャのブロックのための第3のプレディクタを形成するための手段であって、第3のプレディクタは、第1のプレディクタと第2のプレディクタの加重平均として取得される、手段とを備え、第3のプレディクタのサンプルは、第1の重みを第1のプレディクタのサンプルに適用することによって、また第2の重みを第2のプレディクタのサンプルに適用することによって、取得され、第3のプレディクタのサンプル、第1のプレディクタのサンプル、および第2のプレディクタのサンプルは、ブロック内において同じ位置を共有し、第1の重みおよび第2の重みは、ブロック内におけるサンプルの位置に依存する。
本開示の態様によれば、ピクチャをエンコードするための装置が、提供され、装置は、プロセッサと、プロセッサに結合された少なくとも1つのメモリとを含み、プロセッサは、エンコーディング方法のいずれかの変形を実施するように構成される。
本開示の別の態様によれば、ビデオをデコードするための方法が開示される。そのような方法は、符号化されたビデオデータをビットストリームで受信するステップを含み、また動き補償のために、第1の参照ピクチャを使用して、ピクチャのブロックのための第1のプレディクタを取得するステップと、第2の参照ピクチャを使用して、ピクチャのブロックのための第2のプレディクタを取得するステップと、双予測インター予測において、ピクチャのブロックのための第3のプレディクタを形成するために、第1のプレディクタおよび第2のプレディクタを使用するステップであって、第3のプレディクタは、第1のプレディクタと第2のプレディクタの加重平均として取得される、ステップとを含み、第3のプレディクタのサンプルは、第1の重みを第1のプレディクタのサンプルに適用することによって、また第2の重みを第2のプレディクタのサンプルに適用することによって、取得され、第3のプレディクタのサンプル、第1のプレディクタのサンプルおよび第2のプレディクタのサンプルは、ブロック内において同じ位置を共有し、第1の重みおよび第2の重みは、ブロック内におけるサンプルの位置に依存する。
本開示の別の態様によれば、ビデオをデコードするための装置が、開示される。そのような装置は、符号化されたビデオデータをビットストリームで受信するための手段と、動き補償を処理するための手段とを備え、動き補償を処理するための前記手段は、第1の参照ピクチャを使用して、ピクチャのブロックのための第1のプレディクタを取得するための手段と、第2の参照ピクチャを使用して、ピクチャのブロックのための第2のプレディクタを取得するための手段と、第1のプレディクタおよび第2のプレディクタを使用して、双予測インター予測において、ピクチャのブロックのための第3のプレディクタを形成するための手段であって、第3のプレディクタは、第1のプレディクタと第2のプレディクタの加重平均として取得される、手段とをさらに備え、第3のプレディクタのサンプルは、第1の重みを第1のプレディクタのサンプルに適用することによって、また第2の重みを第2のプレディクタのサンプルに適用することによって、取得され、第3のプレディクタのサンプル、第1のプレディクタのサンプルおよび第2のプレディクタのサンプルは、ブロック内において同じ位置を共有し、第1の重みおよび第2の重みは、ブロック内におけるサンプルの位置に依存する。
本開示の態様によれば、ビデオをデコードするための装置が、提供され、装置は、プロセッサと、プロセッサに結合された少なくとも1つのメモリとを含み、プロセッサは、符号化されたビデオデータをビットストリームで受信し、デコーディング方法のいずれかの変形を実施するように構成される。
本開示は、先行する説明のいずれかの方法または装置に従って生成されたビデオデータを含む、信号も提供する。本実施形態は、コンピュータによって実行されたとき、説明された方法をコンピュータに実行させる命令を含むコンピュータプログラム製品も提供する。
本開示は、上で説明された方法に従って生成されたビットストリームをその上に記憶した、コンピュータ可読記憶媒体も提供する。本開示は、上で説明された方法に従って生成されたビットストリームを送信するための、方法および装置も提供する。
上述したことは、本発明の実施形態のいくつかの態様の基本的な理解を提供するために、本発明の簡略化された要約を提示する。この要約は、本発明の広範な概要ではない。実施形態の主要/必須な要素を識別すること、または本発明の範囲の輪郭を描くことは、意図されていない。それの唯一の目的は、後で提示されるより詳細な説明の前置きとして、本発明のいくつかの概念を簡略化された形で提示することである。
本開示の追加の特徴および利点は、添付の図を参照して進行する、説明的な実施形態の以下の詳細な説明から明らかにされよう。
HEVC規格による、双予測プロセスを示す図である。 特定の圧縮スキームの、符号化ユニットCUの、2つの三角予測ユニットへの分割を示す図である。 特定の圧縮スキームの、2つの三角予測ユニットの間の斜めエッジ上における重み付けプロセスを示す図である。 特定の圧縮スキームの、三角パーティションのためのサブブロック動きベクトル記憶を示す図である。 特定の圧縮スキームの、双予測された三角パーティションのための動き補償プロセスを示す図である。 特定の圧縮スキームの、単予測された三角パーティションのための動き補償プロセスを示す図である。 本実施形態の、三角予測に適合された変更された動き補償プロセスを示す図である。 本開示の実施形態の、複数の斜めパターンの例を示す図である。 本開示の実施形態の、複数のパターンの他の例を示す図である。 本開示の実施形態の、複数のパターンの他の例を示す図である。 提案された動きベクトル記憶の実施形態を示す図である。 本開示の実施形態の、例示的なエンコーダを示す図である。 本開示の実施形態の、例示的なデコーダを示す図である。 様々な態様および実施形態が実施されるシステム例のブロック図である。 本開示の実施形態の、デコーディング方法またはエンコーディング方法のいずれかで実施される、重み付け双予測を示す図である。
図および説明は、本原理の明確な理解に関連する要素を例示する一方で、明瞭にするために、典型的なエンコーディングおよび/またはデコーディングデバイスに見出される他の多くの要素を排除するように、簡略化されていることを理解されたい。本明細書においては、様々な要素を説明するために、第1および第2という言葉が、使用されることがあるが、これらの要素は、これらの言葉によって限定されるべきではないことが理解されよう。これらの言葉は、1つの要素を別の要素から区別するためだけに使用される。
様々な実施形態は、ピクチャのエンコーディング/デコーディングに関して説明される。それらは、スライスもしくはタイルなど、ピクチャの一部、またはピクチャのシーケンス全体をエンコード/デコードするために、適用することができる。
様々な方法が、上で説明されたが、方法の各々は、説明された方法を達成するための1つまたは複数のステップまたはアクションを含む。方法の適切な動作のために、ステップまたはアクションの特定の順序が、必要とされない限り、特定のステップおよび/またはアクションの順序および/または使用は、変更することができ、または組み合わせることができる。
少なくともいくつかの実施形態は、重み付けされた双予測を含む、ビデオエンコーディングまたはビデオデコーディングのための方法に関し、重み付けされた双予測の重みは、エンコードまたはデコードされるビデオのピクチャのブロック内におけるサンプルの位置に依存する。
双予測された三角パーティションのための重み付けされた動き補償の第1の問題は、各PUが、双予測され、したがって、2つの予測の間のエッジ上において、重み付けプロセスを要することである。図5は、双予測された三角パーティションのための動き補償プロセスを例示している。図3において例示されるような、エッジ上のサンプルについては、図5に示されるように、4つの動き補償が、必要とされる。したがって、あまり計算的でない方法が、望ましい。
三角PUを単予測に制限して、メモリ帯域幅を減少させる、第一のソリューションが、提案された。図6は、単予測された三角パーティションのための動き補償プロセスを例示している。このケースにおいては、動き補償プロセスは、図6に示されるように、簡略化される。しかしながら、このソリューションは、プロセスの精度に関する改善から、まだ恩恵を受けることができる。少なくとも1つの実施形態は、インター符号化されたブロックの双予測プロセスの精度を向上させることに関する。
双予測された三角パーティションの強化においては、より多くのパターンを追加することによって、圧縮効率を向上させることが望ましい。その場合、双予測されたパーティションのための重み付けされた動き補償の第2の問題は、パーティションと動きベクトルの組み合わせのインデックスを符号化するのに大きいコストを有することなく、追加されたパターンを伝達することである。少なくとも1つの実施形態は、インター符号化されたブロックの双予測プロセスのシグナリングを改善することに関する。
第3の問題は、エッジ上のサブブロックにおける、各PUのために使用される動きベクトルの記憶である。エッジ上のサンプルについて、重み付けが、2つの予測の間で行われ、これは、このサンプルを予測するために、少なくとも2つの動きベクトルが、使用されることを意味するが、メモリには、現在のPUを予測するために使用される動きベクトルだけが、記憶され、これは、近隣ブロックとの準最適な動き伝播をもたらすことがある。少なくとも1つの実施形態は、インター符号化されたブロックの双予測プロセスのための動きベクトルの記憶を改善することに関する。
したがって、インター符号化されたブロックの双予測を改善するためのいくつかの実施形態が、開示される。
包括的な実施形態
重み付けされた双予測のための包括的な方法の少なくとも1つの実施形態1500が、図15に例示されている。そのような方法は、ビデオエンコーディングのための方法、またはビデオデコーディングのための方法の動き補償プロセスのいずれか1つにおいて、当業者によって、容易に実施され、入力情報の取得は、エンコーディング方法におけるRDOループにおいて決定され、またはデコーダにおいては、受信された信号からデコードされる。本原理によれば、重み付けされた双予測の重みは、エンコードまたはデコードされるビデオのピクチャのブロック内におけるサンプルの位置に依存する。したがって、三角パーティションの処理は、有利なことに、重み付けされた予測として実行され、後で説明されるように、インター符号化されたブロックの双予測プロセスの高められた精度をもたらす。
最初に、図15の1510において、エンコード/デコードされるピクチャのブロックのための、第1のプレディクタおよび第2のプレディクタが、取得される。ブロックのための第1のプレディクタは、リストL0に記憶された第1の参照ピクチャを使用し、ブロックのための第2のプレディクタは、リストL1に記憶された第2の参照ピクチャを使用する。それら2つの一方向プレディクタは、双方向インター予測によって、組み合わされて、第3のプレディクタを形成する。
本明細書において以下で説明される異なる実施形態によれば、1520において、位置依存重みの決定において使用される、少なくとも1つの情報が、取得される。このステップは、任意選択である。非限定的な実施形態によれば、第1の情報は、三角パーティションを用いた、ピクチャのブロックの分割を示し、第2の情報は、ブロックの三角パーティションのエッジの方向を示し、第3の情報は、三角パーティションのエッジの位置を示す。別の実施形態によれば、ブロックの分割は、三角パーティションに限定されず、エッジに沿った、ブロックの、2つのパーティションへのより一般的な分割が、図9に例示されている。その場合、位置依存重みの決定において使用される情報は、エッジパーティションを用いた、ピクチャのブロックの分割を示す情報である。非限定的な実施形態によれば、第4の情報は、いわゆる「三角パーティション」のエッジが、垂直または水平である(斜めではない)ことを示す。別の実施形態によれば、位置依存重みの決定において使用される情報は、色成分に関連する情報である。ブロック内のサンプルの数は、ブロックが、ルーマブロックであるか、それともクロマブロックであるかで、異なることがあり、したがって、重みも、色成分に従って、決定される。それに加えて、重みは、ブロックのサイズにも従って、決定される。別の実施形態によれば、双予測における位置依存重みは、三角またはエッジパーティションに限定されず、したがって、情報は、より一般的に、位置依存重みの決定において使用される、任意の情報である。
先に説明されたように、特定の実施形態においては、2つの一方向予測を平均化して、双方向予測を取得するために、複数の重みが使用される。非限定的な例によれば、使用される重みは、{−1/4,5/4}、{3/8,5/8}、または{1/2,1/2}であり、ブロック全体に対して、重みのただ1つのペアが、使用される。本原理は、有利なことに、重みのセットの中のブロックベースの重みの選択に適合し、サンプルの位置依存重みは、選択されたブロックベースの重みから導出される。言い換えると、サンプルの重みは、サンプルの位置、およびプレディクタの選択されたブロックベースの重みに従って決定される。したがって、1530において、重みのセットの中の選択されるブロックベースの重みが、任意選択で決定される。
1540において、ブロック内のサンプルの位置依存重みが、決定される。特定の実施形態によれば、ブロック内のサンプルの位置依存重みが、さらに、取得された情報、選択されたブロックベースの重み、ブロックの成分、ブロックのサイズのうちの少なくとも1つから導出される。第3のプレディクタのサンプルが、第1の重みを第1のプレディクタのサンプルに適用することによって、また第2の重みを第2のプレディクタのサンプルに適用することによって、取得される。したがって、第1および第2の重みは、ブロック内のサンプルの位置に応じて、決定される。第3のプレディクタのサンプル、第1のプレディクタのサンプル、および第2のプレディクタのサンプルは、ブロック内の同じ位置を共有し、サンプルは、ブロック内において併置される。
実施形態によれば、三角予測のために、位置依存重み双方向インター予測が、使用される。各三角予測ユニットは、単予測に制限されるので、三角予測は、双予測として実施され、第1の重みおよび第2の重みは、サンプル位置に依存する。三角パーティションのケースにおいては、第1の重みおよび第2の重みは、サンプルと、ブロックの三角パーティションのエッジとの間の距離に依存する。しかしながら、本原理は、三角パーティションに限定されず、水平/垂直エッジを含む、および複数のパターンを含む、ブロックの他のパーティションに、容易に拡張することができる。異なる変形および改良が、本明細書において以下で説明される。重みを計算するために使用される、ブロック内のエッジの位置は、ブロックの、2つのパーティションへの分割を示す、少なくとも1つの情報から取得される。加えて、変形においては、少なくとも1つの情報は、エンコーディング方法に対応するデコーディング方法が、双予測のために同じ情報を使用することを可能にするために、伝達される。例えば、エンコーディング方法においては、少なくとも1つの伝達される情報は、エントロピ符号化される。例えば、デコーディング方法においては、少なくとも1つの情報は、伝達された情報のエントロピデコーディングから、取得される。
しかしながら、双予測における位置依存重みは、三角またはエッジパーティションに限定されない。例えば、本原理は、組み合わされたインター−イントラ予測にも適合し、重みは、他のパーティションを用いず、サンプルロケーションに依存する。
サンプル依存重みが、ひとたび取得されると、1550において、双予測プロセスが、処理される。双方向プレディクタとも呼ばれる、第3のプレディクタは、第1のプレディクタと第2のプレディクタの加重平均として、取得される。有利なことに、加重平均は、プレディクタのビット深度と比較して、高められたビット深度において、処理される。その後、1560において、より大きいビット深度における加重平均は、第1および第2のプレディクタと同じビット深度において、第3のプレディクタを取得するために、シフトおよびクリップされる。
1570において、双予測は、終了し、画像の符号化またはデコードされたブロックのための第3のプレディクタが、出力される。
実施形態1
したがって、エンコーディングまたはデコーディング方法の少なくとも1つの実施形態は、高められた精度を用いた、三角パーティションのエッジ上のサンプルの重み付けに関する。図7は、実施形態による、三角予測のための変更された動き補償プロセスの例を例示している。各三角予測ユニットは、単予測に制限されるので、三角予測を取得するために、サンプル位置依存重み付け係数を用いる双予測が、処理される。2つの単予測P1およびP2を平均化するために使用される重みが、サンプルごとに異なることがある、この変更された動き補償プロセスは、図3および図4に例示された位置依存重みを用いて、実施される。重みは、現在のサンプルS0、S1、S2、またはS3と、2つの三角Pu P1とP2の間のエッジとの間の距離に依存する。例えば、パーティションのエッジ上のサンプルS0については、第1の重みW1は、4/8に等しく、第2の重みW2は、4/8に等しい。例えば、パーティションのエッジから距離があるサンプルS1については、第1の重みW1は、1/8に等しく、第2の重みW2は、7/8に等しい。反対に、パーティションのエッジから同じ距離があるサンプルS2については、第1の重みW1は、7/8に等しく、第2の重みW2は、1/8に等しい。また、サンプルS3とパーティションのエッジとの間の距離が、定義された値を上回るとき、第1の重みW1は、8/8に等しく、第2の重みW2は、0/8に等しい。図7に例示されるように、入力ビット深度へのシフト、およびクリッピングは、有利なことに、サンプルの重み付け後に、延期され、したがって、拡張された精度の恩恵を受ける。この実施形態においては、第1の情報は、例えば、図3に示されるような、左上から右下の方向に従った、三角パーティションを用いた、ピクチャのブロックの分割を示す。例えば、triangle_flagなどの専用シンタックスが、ブロックの三角パーティションを示すために、使用される。ルーマ成分のサイズN×N(例えば、図3におけるように、N=8)のブロックにおいては、ブロック内のロケーション(x,y)、xおよびyは[0,N−1]の範囲内、における重みW1は、例えば、
1=(Clip(0,8,(x−y)+4)、およびW2=8−W1
によって取得される。結果として得られる重みは、[0〜8]の範囲内にあり、したがって、加重和のために、高められた精度が、取得され、シフトおよびクリッピング操作が、それに続き、ビット深度を第3のプレディクタのビット深度に減少させる。図3に示されるように、ロケーション(x,y)における重みW1は、クロマ成分については異なる。
実施形態2
エンコーディングまたはデコーディング方法の少なくとも1つの実施形態は、さらに、複数のパーティションパターンに適合された、三角パーティションのエッジ上のサンプルの重み付けに関する。有利なことに、異なるパーティションパターンのブロックにおいて、エッジを決定するために、複数のパーティションパターンの配置を示す情報が、使用される。したがって、エッジに対するブロック内のサンプルの位置、例えば、距離が、決定される。図8は、実施形態による、複数の斜めパターンの例を例示している。2つ(TL2BR、もしくはTR2BL)、またはより多い(TL2BR_1_4、TL2BR_3_4、TR2BL_1_4、TR2BL_3_4)パターンが、定義される、そのような複数の斜めパターンは、符号化効率を向上させるのに望ましい。例えば、図8に示されるように、斜線は、(1/4または3/4だけ)シフトさせ、回転させることができる(左上から右下のTL2BRまたは右上から左下のTR2BL)。
少なくとも1つの実施形態は、三角パーティションなど、複数のパーティションを用いた、双予測に関する。異なる特徴によれば、複数のパターンの符号化と、動きベクトルプレディクタのためのインデックスは、分離される。実際、図8からの6つのパターンが、双予測された三角パーティションとして実施される場合、エンコーダにおいて、6×20=180通りの組み合わせが、テストされなければならない。様々なエンコーダ高速化実施が、実施形態5の変形において、以下で説明される。
したがって、シンタックス要素diagonal_dir[x0][y0]、diagonal_pos[x0][y0]を使用した、パターンのシグナリングを、動きベクトル候補リストにおける動きベクトルインデックスmost_probable_idxのシグナリングから分離した、専用シンタックスが、説明される。したがって、ブロックの三角パーティションのエッジの方向を示す第2の情報は、diagonal_dir[x0][y0]シンタックス要素であり、三角パーティションのエッジの位置を示す第3の情報は、diagonal_pos[x0][y0]シンタックス要素である。そのようなシンタックス要素は、エントロピ符号化され、それぞれデコードされ、2値化が、表4および表5において、提案されている。
Figure 2022502905
diagonal_dir[x0][y0]は、ブロックの2つの予測ユニットを分離する、斜線の方向を指定し、ここで、x0、y0は、ピクチャの左上ルーマサンプルに対する、考察される予測ブロックの左上ルーマサンプルのロケーション(x0、y0)を指定する。様々な斜め方向の例が、図2に、また図8においても、例示されている。
Figure 2022502905
diagonal_pos[x0][y0]は、ブロックの2つの予測ユニットを分離する、斜線の位置を指定し、x0、y0は、ピクチャの左上ルーマサンプルに対する、考察される予測ブロックの左上ルーマサンプルの位置(x0,y0)を指定する。様々な斜線位置の例が、図8において、例示されている。
Figure 2022502905
実施形態3
さらに別の変形においては、図9および図10に示されるように、他のエッジは、水平、垂直、またはブロックの隅から中央までのエッジとして、使用することができる。例えば、図9は、追加パターンを例示しており、エッジは、水平(HOR、HOR_1_4、HOR_3_4)、または垂直(VER、VER_1_4、VER_3_4)のどちらかであり、ブロックの中央(HOR、VER)に、または4分の1(HOR_1_4、HOR_3_4、VER_1_4、VER_3_4)に配置される。図10は、さらに追加のパターンを例示しており、エッジは、ブロックの隅で始まり、中央で終わる。もちろん、本原理に適合したエッジに沿ったパーティションは、説明されたパターンに限定されず、当業者は、位置依存重み付け係数を使用した、変更された動き補償プロセスを、他のパーティションパターンに容易に適用する。本実施形態によれば、表6に示されるように、新しいパターンを追加するために、シンタックスが、変更される。
Figure 2022502905
別の変形においては、エッジ上の平均化に適用する他の重みを示すシンタックス要素が、符号化される。
実施形態4
少なくとも1つの実施形態は、パーティションのエッジ上の動きベクトルの記憶にさらによく適合させられる。古典的なインターモードにおいては、双予測が、使用されるとき、2つの動きベクトル(各リストに1つ)が、4×4サブブロックに記憶される。三角モードマージにおいては、各PUが単予測に制限される変形において、図11に示されるような、エッジ上で使用される2つの動きベクトルが、有利なことに、それぞれの2つのリストに記憶される。したがって、方法は、余分なコストをかけずに、実施される。式2と組み合わせて、動きベクトルは、それぞれリスト0およびリスト1からの動きベクトルのための、与えられた重みw0およびw1とともに、記憶することができる。これは、動きベクトルのより良好な伝搬を、したがって、近隣ブロックについてのより良好な予測を可能にする。
実施形態5の変形
実施形態5は、動き補償のためのエンコーダ高速化に関する。エンコーダにおいては、与えられたパターンに対して、動きベクトルプレディクタの20通りの組み合わせが、使用されるので、より多くのパターンを使用するとき、テストされる組み合わせの最大数が、大きく増加する。どの組み合わせについても、候補を評価するために、平均化が、処理される。少なくとも1つの実施形態は、テストされる組み合わせの数を減少させることに関する。特徴によれば、SATD(変換された差分絶対値の和)を用いる高速推定を使用することによって、RDOQ(レート歪み最適化された量子化)プロセスは、最良のプレディクタに対してだけ、行われる。
第1の変形においては、リストの末尾に追加されたゼロ動きベクトルプレディクタを使用する組み合わせは、テストされない。例えば、リストのプレディクタ4および5が、追加されたゼロ動きベクトルである場合、20通りの代わりに、与えられたパターンについての3×2=6通りの組み合わせだけが、テストされる。6つのパターンのケースにおいては、6×20=240通りの代わりに、6×6=36通りの組み合わせが、テストされる。
第2の変形においては、古典的なマージにおいて選択された動きベクトルを使用する組み合わせが、テストされ、他の組み合わせは、テストされない。最初に、古典的なマージにとって最良のマージ候補が、決定される。その後、最良の候補が一方向か、それとも双方向かに応じて、1つまたは2つの動きベクトルが、回復される。これらの動きベクトルが、三角PUのための動きベクトルプレディクタのリストに存在する場合、可能な組み合わせのテストは、これらの動きベクトルプレディクタを含む組み合わせのテストに縮小される。
第3の変形においては、動きベクトルプレディクタは、SADまたはSATDを用いて、ランク付けされる。すべての組み合わせは、5つの動きベクトルプレディクタのうちの最大のものを使用して、行われるので、5つのすべての一方向動きベクトルプレディクタは、それらの尤度に従って、SADまたはSATDを使用して、ランク付けされる。N個(N<5)の最良の動きベクトルが、保持され、または閾値を上回るプレディクタは、削除される。したがって、可能な組み合わせの数は、減少させられる。
追加の実施形態および情報
本出願は、ツール、特徴、実施形態、モデル、手法などを含む、様々な態様について説明する。これらの態様の多くは、具体性をもって説明され、少なくとも個々の特性を示すために、限定的に思われることがある方法で、しばしば説明される。しかしながら、これは、説明における明瞭さのためであり、それらの態様の適用または範囲を限定しない。実際、異なる態様のすべては、さらなる態様を提供するために、組み合わせること、および交換することができる。さらに、態様は、同様に、先の出願において説明された態様と組み合わせること、および交換することができる。
本出願において説明および企図される態様は、多くの異なる形態で実施することができる。以下の図12、図13、および図14は、いくつかの実施形態を提供するが、他の実施形態が、企図され、図12、図13、および図14の説明は、実施の広さを限定しない。態様の少なくとも1つは、一般に、ビデオエンコーディングおよびデコーディングに関し、少なくとも1つの他の態様は、一般に、生成またはエンコードされたビットストリームを送信することに関する。これらおよび他の態様は、方法、装置、説明された方法のいずれかに従ってビデオデータをエンコードもしくはデコードするための命令をその上に記憶したコンピュータ可読記憶媒体、および/または説明される方法のいずれかに従って生成されたビットストリームをその上に記憶したコンピュータ可読記憶媒体として実施することができる。
本出願においては、「再構築された」および「デコードされた」という用語は、交換可能に使用することができ、「ピクセル」および「サンプル」という用語は、交換可能に使用することができ、「画像」、「ピクチャ」、および「フレーム」という用語は、交換可能に使用することができる。必ずではないが、通常、「再構築された」という用語は、エンコーダ側において使用され、一方、「デコードされた」は、デコーダ側において使用される。
本明細書においては、様々な方法が、説明され、方法の各々は、説明された方法を達成するための、1つまたは複数のステップまたはアクションを含む。ステップまたはアクションの特定の順序が、方法の適切な動作のために必要とされない限り、特定のステップおよび/またはアクションの順序および/または使用は、変更すること、または組み合わせることができる。
本出願において説明される様々な方法および他の態様を使用して、モジュール、例えば、図12に示されるようなビデオエンコーダ100のエントロピ符号化145、動き補償170、および動き推定175、ならびに図13に示されるようなビデオデコーダ200のエントロピデコーディングモジュール230、および動き補償モジュール275を変更することができる。さらに、本態様は、VVCまたはHEVCに限定されず、例えば、既存のものか、それとも将来開発されるものかに関わらず、他の規格および勧告に、ならびに(VVCおよびHEVCを含む)いずれかそのような規格および勧告の拡張に適用することができる。別段の指摘がない限り、または技術的に除外されない限り、本出願において説明される態様は、個別に、または組み合わせて使用することができる。
本出願においては、例えば、パーティションの数、または関係のある重みの値など、様々な数値が、使用される。特定の値は、例示を目的としたものであり、説明される態様は、これらの特定の値に限定されない。
図12は、エンコーダ100を例示している。このエンコーダ100の変形が、企図されるが、エンコーダ100は、明瞭にするために、すべての予想される変形を説明することなく、以下で説明される。
エンコードされる前に、ビデオシーケンスは、例えば、カラー変換(例えば、RGB 4:4:4からYCbCr 4:2:0への変換)を入力カラーピクチャに適用する、または(例えば、カラー成分の1つのヒストグラム均等化を使用して)圧縮に対してより回復力のある信号分布を取得するために、入力ピクチャ成分の再マッピングを実行する、プリエンコーディング処理(101)を通過することができる。メタデータは、前処理と関連付け、ビットストリームに添付することができる。
エンコーダ100において、ピクチャは、以下で説明されるように、エンコーダ要素によってエンコードされる。エンコードされるピクチャは、パーティショニングされ(102)、例えば、CUの単位で、処理される。各ユニットは、例えば、イントラモードまたはインターモードのどちらかを使用して、エンコードされる。ユニットが、イントラモードでエンコードされるとき、それは、イントラ予測(160)を実行する。インターモードにおいては、動き推定(175)および補償(170)が、実行される。エンコーダは、ユニットをエンコードするために使用する、イントラモードまたはインターモードのどちらか一方を決定し(105)、例えば、予測モードフラグによって、イントラ/インター決定を示す。予測残差が、例えば、予測されたブロックを元の画像ブロックから減算(110)することによって、計算される。
その後、予測残差は、変換(125)され、量子化(130)される。量子化された変換係数、ならびに動きベクトルおよび他のシンタックス要素が、エントロピ符号化(145)されて、ビットストリームが、出力される。エンコーダは、変換をスキップし、変換されていない残差信号に直接的に量子化を適用することができる。エンコーダは、変換および量子化の両方をバイパスすることができ、すなわち、残差は、変換または量子化プロセスの適用なしに、直接的に符号化される。
エンコーダは、エンコードされたブロックをデコードして、さらなる予測のための参照を提供する。量子化された変換係数は、予測残差をデコードするために、逆量子化(140)および逆変換(150)される。デコードされた予測残差と予測されたブロックとを組み合わせて(155)、画像ブロックが、再構築される。例えば、デブロッキング/SAO(サンプル適応オフセット)フィルタリングを実行して、エンコーディングアーチファクトを低減させるために、インループフィルタ(165)が、再構築されたピクチャに適用される。フィルタリングされた画像は、参照ピクチャバッファ(180)に記憶される。
図13は、ビデオデコーダ200のブロック図を例示している。デコーダ200において、ビットストリームは、以下で説明されるように、デコーダ要素によってデコードされる。ビデオデコーダ200は、一般に、図13に説明されるような、エンコーディングパスと相反的なデコーディングパスを実行する。エンコーダ100も、一般に、ビデオデータをエンコードする一環として、ビデオデコーディングを実行する。
特に、デコーダの入力は、ビデオエンコーダ100によって生成することができる、ビデオビットストリームを含む。ビットストリームは、最初に、エントロピデコード(230)されて、変換係数、動きベクトル、および他の符号化された情報が、取得される。ピクチャパーティション情報は、ピクチャがどのようにパーティショニングされているかを示す。したがって、デコーダは、デコードされたピクチャのパーティショニング情報に従って、ピクチャを分割する(235)ことができる。変換係数は、予測残差をデコードするために、逆量子化(240)および逆変換(250)される。デコードされた予測残差と予測されたブロックとを組み合わせて(255)、画像ブロックが、再構築される。予測されたブロックは、イントラ予測(260)または動き補償予測(すなわち、インター予測)(275)から、取得する(270)ことができる。インループフィルタ(265)が、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(280)に記憶される。
デコードされたピクチャは、さらに、ポストデコーディング処理(285)、例えば、逆カラー変換(例えば、YCbCr 4:2:0からRGB 4:4:4への変換)、またはプリエンコーディング処理(101)において実行された再マッピングプロセスの逆を実行する逆再マッピングを通過することができる。ポストデコーディング処理は、プリエンコーディング処理において導出され、ビットストリームで伝達された、メタデータを使用することができる。
図14は、様々な態様および実施形態がその中で実施される、システムの例のブロック図を例示している。システム1000は、以下で説明される様々な構成要素を含むデバイスとして具体化することができ、本文書において説明される態様のうちの1つまたは複数を実行するように構成される。そのようなデバイスの例は、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ録画システム、接続された家電製品、およびサーバなど、様々な電子デバイスを含むが、それらに限定されない。システム1000の要素は、単独で、または組み合わせて、単一の集積回路(IC)、複数のIC、および/または個別構成要素で具体化することができる。例えば、少なくとも1つの実施形態においては、システム1000の処理およびエンコーダ/デコーダ要素は、複数のICおよび/または個別構成要素にわたって分散される。様々な実施形態においては、システム1000は、例えば、通信バスを介して、または専用入力および/もしくは出力ポートを通して、1つまたは複数の他のシステムまたは他の電子デバイスに通信可能に結合される。様々な実施形態においては、システム1000は、本文書において説明される態様のうちの1つまたは複数を実施するように構成される。
システム1000は、例えば、本文書において説明される様々な態様を実施するために、そこにロードされた命令を実行するように構成された、少なくとも1つのプロセッサ1010を含む。プロセッサ1010は、組み込みメモリ、入出力インターフェース、および当技術分野において知られているような様々な他の回路を含むことができる。システム1000は、少なくとも1つのメモリ1020(例えば、揮発性メモリデバイス、および/または不揮発性メモリデバイス)を含む。システム1000は、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、リードオンリメモリ(ROM)、プログラマブルリードオンリメモリ(PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュ、磁気ディスクドライブ、および/または光ディスクドライブを含むが、それらに限定されない、不揮発性メモリおよび/または揮発性メモリを含むことができる、ストレージデバイス1040を含む。ストレージデバイス1040は、非限定的な例として、内蔵ストレージデバイス、(取り外し可能および取り外し不能なストレージデバイスを含む)取り付けられたストレージデバイス、ならびに/またはネットワークアクセス可能なストレージデバイスを含むことができる。
システム1000は、例えば、データを処理して、エンコードされたビデオまたはデコードされたビデオを提供するように構成された、エンコーダ/デコーダモジュール1030を含み、エンコーダ/デコーダモジュール1030は、それ自体のプロセッサおよびメモリを含むことができる。エンコーダ/デコーダモジュール1030は、エンコーディングおよび/またはデコーディング機能を実行するために、デバイス内に含めることができる、モジュールを表す。知られているように、デバイスは、エンコーディングモジュールおよびデコーディングモジュールの一方または両方を含むことができる。加えて、エンコーダ/デコーダモジュール1030は、システム1000の別々の要素として実施することができ、または当業者に知られているように、ハードウェアおよびソフトウェアの組み合わせとして、プロセッサ1010内に組み込むことができる。
本文書において説明される様々な態様を実行するために、プロセッサ1010またはエンコーダ/デコーダ1030上にロードされるプログラムコードは、ストレージデバイス1040内に記憶され、その後、プロセッサ1010による実行のために、メモリ1020上にロードすることができる。様々な実施形態によれば、プロセッサ1010、メモリ1020、ストレージデバイス1040、およびエンコーダ/デコーダモジュール1030のうちの1つまたは複数は、本文書において説明されるプロセスの実行中に、様々なアイテムのうちの1つまたは複数を記憶することができる。そのような記憶されたアイテムは、入力ビデオ、デコードされたビデオまたはデコードされたビデオの一部、ビットストリーム、行列、変数、ならびに方程式、公式、演算、および演算論理の処理からの中間または最終結果を含むことができるが、それらに限定されない。
いくつかの実施形態においては、プロセッサ1010および/またはエンコーダ/デコーダモジュール1030の内部のメモリは、命令を記憶するために、またエンコーディングまたはデコーディング中に必要とされる、処理のための作業メモリを提供するために使用される。しかしながら、他の実施形態においては、処理デバイス(例えば、処理デバイスは、プロセッサ1010またはエンコーダ/デコーダモジュール1030のどちらかであることができる)の外部のメモリが、これらの機能のうちの1つまたは複数のために使用される。外部メモリは、メモリ1020および/またはストレージデバイス1040、例えば、動的揮発性メモリおよび/または不揮発性フラッシュメモリであることができる。いくつかの実施形態においては、外部不揮発性フラッシュメモリは、例えば、テレビのオペレーティングシステムを記憶するために使用される。少なくとも1つの実施形態においては、RAMなどの高速な外部動的揮発性メモリが、MPEG−2(MPEGは、ムービングピクチャエキスパーツグループのことであり、MPEG−2は、ISO/IEC13818とも呼ばれ、13818−1は、H.222としても知られ、13818−2は、H.262としても知られる)、HEVC(HEVCは、高効率ビデオコーディングのことであり、H.265およびMPEG−Hパート2としても知られる)、またはVVC(多用途ビデオ符号化、JVET、すなわち、共同ビデオエキスパーツチームによって開発されている新しい規格)など、ビデオ符号化およびデコーディング動作のための作業メモリとして使用される。
システム1000の要素への入力は、ブロック1130に示されるような、様々な入力デバイスを通して、提供することができる。そのような入力デバイスは、(i)例えば、放送局によって無線で送信された、RF信号を受信する無線周波数(RF)部、(ii)コンポーネント(COMP)入力端子(もしくはCOMP入力端子のセット)、(iii)ユニバーサルシリアルバス(USB)入力端子、および/または(iv)高精細マルチメディアインターフェース(HDMI)入力端子を含むが、それらに限定されない。図10に示されていない他の例は、合成ビデオを含む。
様々な実施形態においては、ブロック1130の入力デバイスは、当技術分野において知られているような、関連付けられたそれぞれの入力処理要素を有する。例えば、RF部は、(i)所望の周波数を選択し(信号を選択する、または信号を周波数の帯域に帯域制限するとも言われる)、(ii)選択された信号をダウンコンバートし、(iii)ある実施形態においてはチャネルと呼ぶことができる(例えば)信号周波数帯域を選択するために、周波数のより狭い帯域に再び帯域制限し、(iv)ダウンコンバートおよび帯域制限された信号を復調し、(v)誤り訂正を実行し、および(vi)データパケットの所望のストリームを選択するために逆多重化するのに適した要素と関連付けることができる。様々な実施形態のRF部は、これらの機能を実行するための1つまたは複数の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサを含む。RF部は、例えば、受信された信号を、より低い周波数(例えば、中間周波数もしくは近ベースバンド周波数)に、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実行する、チューナを含むことができる。セットトップボックスの一実施形態においては、RF部およびそれの関連付けられた入力処理要素は、有線(例えば、ケーブル)媒体上において送信されたRF信号を受信し、所望の周波数帯域にフィルタリングし、ダウンコンバートし、および再びフィルタリングすることによって、周波数選択を実行する。様々な実施形態は、上で説明された(および他の)要素の順序を再配置し、これらの要素のいくつかを削除し、および/または類似もしくは異なる機能を実行する他の要素を追加する。要素を追加することは、既存の要素の間に要素を挿入すること、例えば、増幅器およびアナログ−デジタルコンバータを挿入することなどを含むことができる。様々な実施形態においては、RF部は、アンテナを含む。
加えて、USBおよび/またはHDMI端子は、USBおよび/またはHDMI接続を介して、システム1000を他の電子デバイスに接続するための、それぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リード−ソロモン誤り訂正は、必要に応じて、例えば、別個の入力処理IC内において、またはプロセッサ1010内において実施することができることを理解されたい。同様に、USBまたはHDMIインターフェース処理の態様は、必要に応じて、別個のインターフェースIC内において、またはプロセッサ1010内において実施することができる。復調され、誤り訂正され、逆多重化されたストリームは、出力デバイス上における提示用に必要に応じてデータストリームを処理するために、メモリおよびストレージ要素と組み合わされて動作する、例えば、プロセッサ1010、およびエンコーダ/デコーダ1030を含む、様々な処理要素に提供される。
システム1000の様々な要素は、統合ハウジング内において提供することができる。統合ハウジング内においては、様々な要素は、相互接続され、それらの間で、適切な接続構成、例えば、インターIC(I2C)バス、配線、およびプリント回路基板を含む、当技術分野において知られているような内部バスを使用して、データを送信することができる。
システム1000は、通信チャネル1060を介した他のデバイスとの通信を可能にする、通信インターフェース1050を含む。通信インターフェース1050は、通信チャネル1060上においてデータを送信および受信するように構成された、送受信機を含むことができるが、それに限定されない。通信インターフェース1050は、モデムまたはネットワークカードを含むことができるが、それらに限定されず、通信チャネル1060は、例えば、有線および/または無線媒体内において実施することができる。
様々な実施形態においては、データは、Wi−Fiネットワーク、例えば、IEEE802.11(IEEEは、電気電子技術者協会のことである)などの、無線ネットワークを使用して、システム1000にストリーミングされ、またはその他の方法で提供される。これらの実施形態のWi−Fi信号は、Wi−Fi通信のために適合された、通信チャネル1060および通信インターフェース1050上において受信される。これらの実施形態の通信チャネル1060は、典型的には、ストリーミングアプリケーションおよび他のオーバザトップ通信を可能にするための、インターネットを含む外部ネットワークへのアクセスを提供する、アクセスポイントまたはルータに接続される。他の実施形態は、入力ブロック1130のHDMI接続上においてデータを配信する、セットトップボックスを使用して、ストリーミングされたデータをシステム1000に提供する。さらに他の実施形態は、入力ブロック1130のRF接続を使用して、ストリーミングされたデータをシステム1000に提供する。上で示されたように、様々な実施形態は、非ストリーミング方法で、データを提供する。加えて、様々な実施形態は、Wi−Fi以外の無線ネットワーク、例えば、セルラネットワーク、またはBluetoothネットワークを使用する。
システム1000は、出力信号を、ディスプレイ1100、スピーカ1110、および他の周辺デバイス1120を含む、様々な出力デバイスに提供することができる。様々な実施形態のディスプレイ1100は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(OLED)ディスプレイ、曲面ディスプレイ、および/または折り畳み可能ディスプレイのうちの1つまたは複数を含む。ディスプレイ1100は、テレビ、タブレット、ラップトップ、セルフォン(モバイルフォン)、または他のデバイスのためのものであることができる。ディスプレイ1100は、(例えば、スマートフォンにおけるように)他の構成要素と統合することもでき、または別個であることができる(例えば、ラップトップのための外部モニタ)。実施形態の様々な例においては、他の周辺機器1120は、独立したデジタルビデオディスク(もしくはデジタル多用途ディスク)(両用語に対してDVD)、ディスクプレーヤ、ステレオシステム、および/または照明システムのうちの1つまたは複数を含む。様々な実施形態は、システム1000の出力に基づいて、機能を提供する、1つまたは複数の周辺デバイス1120を使用する。例えば、ディスクプレーヤは、システム1000の出力を再生する機能を実行する。
様々な実施形態においては、制御信号は、AV.Link、家電制御(CEC)、またはユーザ介入ありもしくはなしのデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム1000と、ディスプレイ1100、スピーカ1110、または他の周辺デバイス1120との間で伝達される。出力デバイスは、それぞれのインターフェース1070、1080、および1090を通した専用接続を介して、システム1000に通信可能に結合することができる。あるいは、出力デバイスは、通信インターフェース1050を介して、通信チャネル1060を使用して、システム1000に接続することができる。ディスプレイ1100およびスピーカ1110は、電子デバイス、例えば、テレビなどにおいて、システム1000の他の構成要素とともに、単一のユニット内に統合することができる。様々な実施形態においては、ディスプレイインターフェース1070は、ディスプレイドライバ、例えば、タイミングコントローラ(T Con)チップなどを含む。
あるいは、例えば、入力1130のRF部が、別個のセットトップボックスの一部である場合、ディスプレイ1100およびスピーカ1110は、他の構成要素のうちの1つまたは複数から分離していることができる。ディスプレイ1100およびスピーカ1110が外部構成要素である、様々な実施形態においては、出力信号は、例えば、HDMIポート、USBポート、またはCOMP出力を含む、専用出力接続を介して、提供することができる。
実施形態は、プロセッサ1010によって実施されるコンピュータソフトウェアによって、もしくはハードウェアによって、またはハードウェアおよびソフトウェアの組み合わせによって、実行することができる。非限定的な例として、実施形態は、1つまたは複数の集積回路によって実施することができる。メモリ1020は、技術環境に対して適切な任意のタイプであることができ、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、およびリムーバブルメモリなどの、任意の適切なデータストレージ技術を使用して、実施することができる。プロセッサ1010は、技術環境に対して適切な任意のタイプであることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づいたプロセッサのうちの1つまたは複数を包含することができる。
様々な実施は、デコーディングを含む。本出願において使用される場合、「デコーディング」は、表示に適した最終出力を生成するために、例えば、受信されたエンコードされたシーケンスに対して実行される、プロセスのすべてまたは一部を包含することができる。様々な実施形態においては、そのようなプロセスは、典型的にはデコーダによって実行されるプロセス、例えば、エントロピデコーディング、逆量子化、逆変換、および差分デコーディングのうちの1つまたは複数を含む。様々な実施形態においては、そのようなプロセスは、本出願において説明される様々な実施のデコーダによって実行されるプロセス、例えば、双予測フラグをデコードすること、双予測のためのパーティションおよび予測リスト内におけるインデックスをデコードすること、特に、PUのパーティションのエッジに沿った、ブロック内のピクセルの位置に従って、重みを決定すること、ならびに双予測および決定された重みを使用して、インターにおいて、動き補償を実行することも含み、または代替として、それらを含む。
さらなる例として、一実施形態においては、「デコーディング」とは、エントロピデコーディングだけのことであり、別の実施形態においては、「デコーディング」とは、差分デコーディングだけのことであり、別の実施形態においては、「デコーディング」とは、エントロピデコーディングおよび差分デコーディングの組み合わせのことである。「デコーディングプロセス」という語句が、特定的に動作のサブセットを指すことを意図しているか、それとも一般的により広いデコーディングプロセスを指すことを意図しているかは、具体的な説明の文脈に基づいて明らかであり、当業者によってよく理解されると信じられる。
様々な実施は、エンコーディングを含む。「デコーディング」についての上述の説明と同様に、本出願において使用される場合、「エンコーディング」は、エンコードされたビットストリームを生成するために、例えば、入力ビデオシーケンスに対して実行される、プロセスのすべてまたは一部を包含することができる。様々な実施形態においては、そのようなプロセスは、典型的にはエンコーダによって実行されるプロセス、例えば、パーティショニング、差分エンコーディング、変換、量子化、およびエントロピエンコーディングのうちの1つまたは複数を含む。様々な実施形態においては、そのようなプロセスは、本出願において説明される様々な実施のエンコーダによって実行されるプロセス、例えば、動き補償および動き予測を使用して、双予測スキームにおいて、プレディクタを決定することであって、双予測の重みは、特に、PUのパーティションのエッジに沿った、ブロック内のピクセルの位置に基づく、決定すること、双予測を使用して、インターにおいて、動き補償を実行すること、ならびに双予測フラグをエンコードすること、双予測のためのパーティションをエンコードすること、および予測リスト内におけるインデックスをエンコードすることも含み、または代替として、それらを含む。
さらなる例として、一実施形態においては、「エンコーディング」とは、エントロピエンコーディングだけのことであり、別の実施形態においては、「エンコーディング」とは、差分エンコーディングだけのことであり、別の実施形態においては、「エンコーディング」とは、差分エンコーディングおよびエントロピエンコーディングの組み合わせのことである。「エンコーディングプロセス」という語句が、特定的に動作のサブセットを指すことを意図しているか、それとも一般的により広いエンコーディングプロセスを指すことを意図しているかは、具体的な説明の文脈に基づいて明らかであり、当業者によってよく理解されると信じられる。
本明細書において使用される場合のシンタックス要素、例えば、diagonal_dir、diagonal_pos、diagonal_flag、partition_dir、partition_posは、記述用語であることに留意されたい。そのため、それらは、他のシンタックス要素名の使用を排除しない。
図が、フロー図として提示されるとき、それは、対応する装置のブロック図も提供することを理解されたい。同様に、図が、ブロック図として提示されるとき、それは、対応する方法/プロセスのフロー図も提供することを理解されたい。
様々な実施形態は、例えば、エンコーダにおいて、双予測された複数パーティションPUについての組み合わせをテストするときの、レート歪み最適化に言及する。特に、エンコーディングプロセス中、しばしば計算複雑さの制約を与えられて、レートと歪みとの間のバランスまたはトレードオフが、通常、検討される。レート歪み最適化は、通常、レートと歪みの加重和である、レート歪み関数を最小化することとして定式化される。レート歪み最適化問題を解決するための異なる手法が、存在する。例えば、手法は、符号化コストならびに符号化およびデコーディング後の再構築された信号の関連する歪みの完全な評価を伴う、すべての検討されるモードまたは符号化パラメータ値を含む、すべてのエンコーディング選択肢の広範なテストに基づくことができる。エンコーディング複雑さを省くために、特に、再構築されたものではなく、予測または予測残差信号に基づいた、近似された歪みの計算を用いる、より高速な手法を使用することもできる。可能なエンコーディング選択肢のいくつかだけに対しては、近似された歪みを使用し、他のエンコーディング選択肢に対しては、完全な歪みを使用することなどによって、これら2つの手法の混合を使用することもできる。他の手法は、可能なエンコーディング選択肢のサブセットだけを評価する。より一般的には、多くの手法は、様々な技法のいずれかを利用して、最適化を実行するが、最適化は、必ずしも、符号化コストおよび関連する歪みの両方の完全な評価ではない。
本明細書において説明される実施および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実施することができる。実施の単一の形態との関連においてのみ説明された(例えば、方法としてのみ説明された)場合であっても、説明された特徴の実施は、他の形態(例えば、装置またはプログラム)でも実施することができる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施することができる。方法は、例えば、一般に処理デバイスを指す、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含む、プロセッサで実施することができる。プロセッサは、例えば、コンピュータ、セルフォン、ポータブル/パーソナルデジタルアシスタント(「PDA」)、およびエンドユーザ間の情報の伝達を容易にする他のデバイスなどの、通信デバイスも含む。
「一実施形態」もしくは「実施形態」、または「一実施」もしくは「実施」、およびそれらの他の変形に対する言及は、実施形態との関連において説明される特定の特徴、構造、および特性などが、少なくとも1つの実施形態に含まれることを意味する。したがって、本出願全体の様々な場所に現れる、「一実施形態において」もしくは「実施形態において」、または「一実施において」もしくは「実施において」という語句、および他の任意の変形の出現は、すべてが、必ずしも同じ実施形態に言及しているとは限らない。
加えて、本出願は、様々な情報を「決定する」ことに言及することがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を取り出すことのうちの1つまたは複数を含むことができる。
さらに、本出願は、様々な情報に「アクセスする」ことに言及することがある。情報にアクセスすることは、例えば、情報を受信すること、(例えば、メモリから)情報を取り出すこと、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの1つまたは複数を含むことができる。
加えて、本出願は、様々な情報を「受信する」ことに言及することがある。受信することは、「アクセスする」ことと同様、広義の用語であることが意図されている。情報を受信することは、例えば、情報にアクセスすること、または(例えば、メモリから)情報を取り出すことのうちの1つまたは複数を含むことができる。さらに、「受信する」ことは、一般に、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することなどの操作中に、様々な方法で含まれる。
例えば、「A/B」、「Aおよび/またはB」、および「AおよびBの少なくとも一方」のケースにおける、以下の「/」、「および/または」、および「少なくとも一方」のいずれかの使用は、第1の列挙された選択肢(A)だけの選択、または第2の列挙された選択肢(B)だけの選択、または両方の選択肢(AおよびB)の選択を包含することが意図されていることを理解されたい。さらなる例として、「A、B、および/またはC」、および「A、B、およびCのうちの少なくとも1つ」のケースにおいては、そのような言い回しは、第1の列挙された選択肢(A)だけの選択、または第2の列挙された選択肢(B)だけの選択、または第3の列挙された選択肢(C)だけの選択、または第1および第2の列挙された選択肢(AおよびB)だけの選択、または第1および第3の列挙された選択肢(AおよびC)だけの選択、または第2および第3の列挙された選択肢(BおよびC)だけの選択、または3つの選択肢すべて(AおよびBおよびC)の選択を包含することが意図されている。これは、当業者および関連技術分野の技術者に明らかなように、列挙された数のアイテムだけ拡張することができる。
また、本明細書において使用される場合、「signal(伝達する)」という語は、とりわけ、対応するデコーダに何かを示すことを指す。例えば、ある実施形態においては、エンコーダは、例えば、ブロックのパーティションおよび関連付けられた重みを伝達するために、改善された双予測のための複数のパラメータのうちの特定の1つを伝達する。このように、実施形態においては、同じパラメータが、エンコーダ側およびデコーダ側の両方において使用される。したがって、例えば、エンコーダは、デコーダが、同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる(明示的なシグナリング)。逆に、デコーダが、特定のパラメータおよびその他をすでに有する場合、単にデコーダが特定のパラメータを知り、選択することを可能にするために、送信せずに、シグナリングを使用することができる(暗黙のシグナリング)。いずれかの実際の機能の送信を回避することによって、様々な実施形態において、ビット節約が、実現される。シグナリングは、様々な方法で達成することができることを理解されたい。例えば、様々な実施形態においては、情報を対応するデコーダに伝達するために、1つまたは複数のシンタックス要素、およびフラグなどが、使用される。上述のことは、「signal」という語の動詞形に関するが、「signal(信号)」という語は、本明細書において、名詞として使用することもできる。
当業者に明らかであるように、実施は、例えば、記憶または送信することができる情報を運ぶようにフォーマットされた、様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明された実施のうちの1つによって生成されたデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを運ぶようにフォーマットすることができる。そのような信号は、例えば、(例えば、スペクトルの無線周波数部分を使用する)電磁波として、またはベースバンド信号として、フォーマットすることができる。フォーマッティングは、例えば、データストリームをエンコードすること、およびエンコードされたデータストリームを用いてキャリアを変調することを含むことができる。信号が運ぶ情報は、例えば、アナログまたはデジタル情報であることができる。信号は、知られているように、様々な異なる有線または無線リンク上において送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。
本発明者らは、数々の実施形態について説明した。これらの実施形態の特徴は、単独で、または任意の組み合わせで提供することができる。さらに、実施形態は、様々な請求項カテゴリおよびタイプにわたる、以下の特徴、デバイス、または態様のうちの1つまたは複数を、単独または任意の組み合わせで含むことができる。
●デコーダおよび/またはエンコーダにおいて適用される双予測プロセスを変更すること。
●デコーダおよび/またはエンコーダにおいて、高められた精度を用いた双予測方法を適用すること。
●デコーダおよび/またはエンコーダにおいて、双予測方法のために、同じPU内において、いくつかの重みを可能にすること。
●デコーダおよび/またはエンコーダにおいて、PUのパーティションのエッジに対するピクセルの位置に従って、双予測方法のためのPU内における重みを決定すること。
●デコーダおよび/またはエンコーダにおいて、PUの複数のパーティションのエッジに対するピクセルの位置に従って、双予測方法のためのPU内における重みを決定すること。
●双予測方法が使用するPUパーティション、および任意選択で、各ピクセルについての重みを、デコーダが識別することを可能にするシンタックス要素を、シグナリングに挿入すること。
●これらのシンタックス要素に基づいて、デコーダにおいて、双予測方法が適用するパーティションおよび重みを選択すること。
●説明された実施形態のいずれかに従って、エンコーダおよび/またはデコーダにおいて、単予測動きモデルを使用して、それらを組み合わせて、重み付けされた双予測にすること。
●説明されたシンタックス要素のうちの1つもしくは複数、またはその変形を含む、ビットストリームまたは信号。
●デコーダが、エンコーダによって使用されるものに対応する方法で、動き補償を実行することを可能にするシンタックス要素を、シグナリングに挿入すること。
●説明されたシンタックス要素のうちの1つもしくは複数、またはその変形を含む、ビットストリームまたは信号を作成し、および/または送信し、および/または受信し、および/またはデコードすること。
●説明された実施形態のいずれかに従って、インターで双予測を実行する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。
●説明された実施形態のいずれかに従って、インターで双予測を実行し、結果として得られた画像を(例えば、モニタ、スクリーン、または他のタイプのディスプレイを使用して)表示する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。
●エンコードされた画像を含む信号を受信するように、チャネルを(例えば、チューナを使用して)調整し、説明された実施形態のいずれかに従って、インターで双予測を実行する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。
●エンコードされた画像を含む信号を(例えば、アンテナを使用して)無線で受信し、説明された実施形態のいずれかに従って、インターパラメータで双予測を実行する、テレビ、セットトップボックス、セルフォン、タブレット、または他の電子デバイス。

Claims (14)

  1. ビデオエンコーディングのための方法であって、
    第1の参照ピクチャを使用して、ピクチャのブロックのための第1のプレディクタを取得するステップ(1510)と、
    第2の参照ピクチャを使用して、前記ピクチャの前記ブロックのための第2のプレディクタを取得するステップ(1510)と、
    双予測インター予測において、前記ピクチャの前記ブロックのための第3のプレディクタを形成するために、前記第1のプレディクタおよび前記第2のプレディクタを使用するステップ(1540、1550)であって、前記第3のプレディクタは、前記第1のプレディクタと前記第2のプレディクタの加重平均として取得される、ステップと
    を備え、
    前記第3のプレディクタのサンプルは、第1の重みを前記第1のプレディクタのサンプルに適用することによって、および、第2の重みを前記第2のプレディクタのサンプルに適用することによって、取得され、前記第3のプレディクタの前記サンプル、前記第1のプレディクタの前記サンプルおよび前記第2のプレディクタの前記サンプルは、前記ブロック内において同じ位置を共有し、前記第1の重みおよび前記第2の重みは、前記ブロック内における前記サンプルの前記位置に依存する
    方法。
  2. ビデオデコーディングのための方法であって、
    第1の参照ピクチャを使用して、ピクチャのブロックのための第1のプレディクタを取得するステップ(1510)と、
    第2の参照ピクチャを使用して、前記ピクチャの前記ブロックのための第2のプレディクタを取得するステップ(1510)と、
    双予測インター予測において、前記ピクチャの前記ブロックのための第3のプレディクタを形成するために、前記第1のプレディクタおよび前記第2のプレディクタを使用するステップ(1540、1550)であって、前記第3のプレディクタは、前記第1のプレディクタと前記第2のプレディクタの加重平均として取得される、ステップと
    を備え、
    前記第3のプレディクタのサンプルは、第1の重みを前記第1のプレディクタのサンプルに適用することによって、および、第2の重みを前記第2のプレディクタのサンプルに適用することによって、取得され、前記第3のプレディクタの前記サンプル、前記第1のプレディクタの前記サンプルおよび前記第2のプレディクタの前記サンプルは、前記ブロック内において同じ位置を共有し、前記第1の重みおよび前記第2の重みは、前記ブロック内における前記サンプルの前記位置に依存する
    方法。
  3. ビデオエンコーディングのための装置であって、
    1つまたは複数のプロセッサであって、
    第1の参照ピクチャを使用して、ピクチャのブロックのための第1のプレディクタを取得し、
    第2の参照ピクチャを使用して、前記ピクチャの前記ブロックのための第2のプレディクタを取得し、
    双予測インター予測において、前記ピクチャのブロックのための第3のプレディクタを形成するために、前記第1のプレディクタおよび前記第2のプレディクタを使用し、前記第3のプレディクタは、前記第1のプレディクタと前記第2のプレディクタの加重平均として取得される
    ように構成された、1つまたは複数のプロセッサ
    を備え、
    前記第3のプレディクタのサンプルは、第1の重みを前記第1のプレディクタのサンプルに適用することによって、および、第2の重みを前記第2のプレディクタのサンプルに適用することによって、取得され、前記第3のプレディクタの前記サンプル、前記第1のプレディクタの前記サンプルおよび前記第2のプレディクタの前記サンプルは、前記ブロック内において同じ位置を共有し、前記第1の重みおよび前記第2の重みは、前記ブロック内における前記サンプルの前記位置に依存する
    装置。
  4. ビデオデコーディングのための装置であって、
    1つまたは複数のプロセッサであって、
    第1の参照ピクチャを使用して、ピクチャのブロックのための第1のプレディクタを取得し、
    第2の参照ピクチャを使用して、前記ピクチャの前記ブロックのための第2のプレディクタを取得し、
    双予測インター予測において、前記ピクチャのブロックのための第3のプレディクタを形成するために、前記第1のプレディクタおよび前記第2のプレディクタを使用し、前記第3のプレディクタは、前記第1のプレディクタと前記第2のプレディクタの加重平均として取得される
    ように構成された、1つまたは複数のプロセッサ
    を備え、
    前記第3のプレディクタのサンプルは、第1の重みを前記第1のプレディクタのサンプルに適用することによって、および、第2の重みを前記第2のプレディクタのサンプルに適用することによって、取得され、前記第3のプレディクタの前記サンプル、前記第1のプレディクタの前記サンプルおよび前記第2のプレディクタの前記サンプルは、前記ブロック内において同じ位置を共有し、前記第1の重みおよび前記第2の重みは、前記ブロック内における前記サンプルの前記位置に依存する
    装置。
  5. 前記第1のプレディクタと前記第2のプレディクタの前記加重平均は、前記第1のプレディクタ、前記第2のプレディクタおよび前記第3のプレディクタのビット深度以上のビット深度において処理される請求項1もしくは2に記載の方法、または請求項3もしくは4に記載の装置。
  6. 三角パーティションを用いた前記ピクチャの前記ブロックの分割を示している第1の情報が取得され、前記第1の重みおよび前記第2の重みは、前記サンプルと、前記ブロックの前記三角パーティションのエッジとの間の距離に依存する、請求項1、2および5のいずれか一項に記載の方法、または請求項3乃至5のいずれか一項に記載の装置。
  7. 前記ピクチャの前記ブロックの前記三角パーティションの前記エッジの方向を示している第2の情報が取得される、請求項6に記載の方法、または請求項6に記載の装置。
  8. 前記ブロック内における前記三角パーティションの前記エッジの位置を示している第3の情報が取得される、請求項6もしくは7に記載の方法、または請求項6もしくは7に記載の装置。
  9. 前記三角パーティションの前記エッジが、前記ブロック内において垂直または水平であることを示している第4の情報が取得される、請求項6、7、および8のいずれか一項に記載の方法、または請求項6、7、および8のいずれか一項に記載の装置。
  10. 前記第1の情報、前記第2の情報、前記第3の情報または前記第4の情報のうちの少なくとも1つが、エントロピ符号化またはエントロピデコードされる、請求項6乃至9のいずれか一項に記載の方法、または請求項6乃至9のいずれか一項に記載の装置。
  11. 前記ピクチャの前記ブロックは、ルーマ成分と、2つのクロマ成分とを含み、前記第1の重みおよび前記第2の重みは、前記ルーマ成分または前記クロマ成分にさらに依存する、請求項1、2、および5乃至10のいずれか一項に記載の方法、または請求項3乃至10のいずれか一項に記載の装置。
  12. プロセッサを使用する再生のために、請求項3乃至11のいずれか一項に記載の装置に従って、または請求項1、2、および4乃至11のいずれか一項に記載の方法によって生成された、データコンテンツを含む非一時的コンピュータ可読媒体。
  13. 1つまたは複数のプロセッサによって実行されたときに、請求項1、2、および5乃至11のいずれか一項に記載の方法を実行するための、コンピューティング命令を含むコンピュータプログラム製品。
  14. 第1の参照ピクチャを使用して、ピクチャのブロックのための第1のプレディクタを取得することと、
    第2の参照ピクチャを使用して、前記ピクチャの前記ブロックのための第2のプレディクタを取得することと、
    双予測インター予測において、前記ピクチャの前記ブロックのための第3のプレディクタを形成するために、前記第1のプレディクタおよび前記第2のプレディクタを使用することであって、前記第3のプレディクタは、前記第1のプレディクタと前記第2のプレディクタの加重平均として取得される、使用することと
    を実行することによって形成された、エンコードされたビデオを含む信号であって、
    前記第3のプレディクタのサンプルは、第1の重みを前記第1のプレディクタのサンプルに適用することによって、また第2の重みを前記第2のプレディクタのサンプルに適用することによって、取得され、前記第3のプレディクタの前記サンプル、前記第1のプレディクタの前記サンプルおよび前記第2のプレディクタの前記サンプルは、前記ブロック内において同じ位置を共有し、前記第1の重みおよび前記第2の重みは、前記ブロック内における前記サンプルの前記位置に依存する
    信号。
JP2021516363A 2018-09-21 2019-09-18 双予測を使用するビデオエンコーディングおよびデコーディングのための方法および装置 Active JP7502278B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18306231.4 2018-09-21
EP18306231 2018-09-21
PCT/US2019/051653 WO2020061147A1 (en) 2018-09-21 2019-09-18 Method and apparatus for video encoding and decoding using bi-prediction

Publications (2)

Publication Number Publication Date
JP2022502905A true JP2022502905A (ja) 2022-01-11
JP7502278B2 JP7502278B2 (ja) 2024-06-18

Family

ID=67436823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021516363A Active JP7502278B2 (ja) 2018-09-21 2019-09-18 双予測を使用するビデオエンコーディングおよびデコーディングのための方法および装置

Country Status (7)

Country Link
US (2) US11677976B2 (ja)
EP (1) EP3854079A1 (ja)
JP (1) JP7502278B2 (ja)
KR (1) KR20210062055A (ja)
CN (1) CN112740674A (ja)
IL (1) IL281533A (ja)
WO (1) WO2020061147A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020145642A (ja) * 2019-03-08 2020-09-10 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112840645B (zh) * 2018-10-10 2023-12-12 寰发股份有限公司 视频编码系统中组合多个预测子用于块预测的方法及装置
CN111434110B (zh) * 2018-11-06 2023-06-20 北京字节跳动网络技术有限公司 用于视频处理的方法、装置和存储介质
CN110312130B (zh) * 2019-06-25 2021-10-15 浙江大华技术股份有限公司 基于三角模式的帧间预测、视频编码方法及设备
EP4262202A1 (en) * 2022-04-13 2023-10-18 Panasonic Intellectual Property Corporation of America Encoder, decoder, encoding method, and decoding method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180278932A1 (en) * 2013-11-19 2018-09-27 Google Llc Method and apparatus for encoding a block using a partitioned block and weighted prediction values
WO2020050283A1 (en) * 2018-09-07 2020-03-12 Panasonic Intellectual Property Corporation Of America System and method for video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131557A (zh) * 2010-06-07 2016-11-16 数码士有限公司 解码高分辨率图像的方法和装置
EP2624568A4 (en) * 2010-10-01 2014-10-15 Samsung Electronics Co Ltd IMAGE INTRA-PREDICTION METHOD AND APPARATUS
MY165859A (en) * 2011-06-28 2018-05-18 Samsung Electronics Co Ltd Method and apparatus for image encoding and decoding using intra prediction
CN109257597B (zh) * 2011-11-11 2023-05-16 Ge视频压缩有限责任公司 解码器、编码器及解码视频的方法
US9497473B2 (en) * 2013-10-03 2016-11-15 Qualcomm Incorporated High precision explicit weighted prediction for video coding
JP2015192381A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 画像処理装置及び画像処理方法
CN106416256B (zh) * 2014-03-31 2019-08-23 三星电子株式会社 用于对深度图像进行编码或解码的方法和设备
WO2016138513A1 (en) * 2015-02-27 2016-09-01 Arris Enterprises, Inc. Modification of unification of intra block copy and inter signaling related syntax and semantics
EP3311572A4 (en) * 2015-06-19 2018-12-26 Nokia Technologies OY An apparatus, a method and a computer program for video coding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180278932A1 (en) * 2013-11-19 2018-09-27 Google Llc Method and apparatus for encoding a block using a partitioned block and weighted prediction values
WO2020050283A1 (en) * 2018-09-07 2020-03-12 Panasonic Intellectual Property Corporation Of America System and method for video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RU-LING LIAO, AND CHONG SOON LIM: "CE10: Triangular prediction unit mode (CE10.3.1 and CE10.3.2)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-K0144-v2, JPN6023041848, July 2018 (2018-07-01), pages 1 - 6, XP030199217, ISSN: 0005170191 *
YONGJO AHN, AND DONGGYU SIM: "CE10-related: Diagonal motion partitions on top of MTT block structure", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-K0270, JPN6023041849, July 2018 (2018-07-01), pages 1 - 9, ISSN: 0005170190 *
YONGJO AHN, HOCHAN RYU, AND DONGGYU SIM: "Diagonal motion partitions on top of QTBT block structure", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-H0087, JPN6023041847, October 2017 (2017-10-01), pages 1 - 6, ISSN: 0005170192 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020145642A (ja) * 2019-03-08 2020-09-10 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP7451873B2 (ja) 2019-03-08 2024-03-19 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム

Also Published As

Publication number Publication date
IL281533A (en) 2021-05-31
US20230362405A1 (en) 2023-11-09
US11677976B2 (en) 2023-06-13
WO2020061147A1 (en) 2020-03-26
US20210352320A1 (en) 2021-11-11
JP7502278B2 (ja) 2024-06-18
WO2020061147A8 (en) 2021-04-22
EP3854079A1 (en) 2021-07-28
KR20210062055A (ko) 2021-05-28
CN112740674A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
US11558611B2 (en) Method and apparatus for deblocking an image
EP3657794A1 (en) Method and device for picture encoding and decoding
AU2019354653B2 (en) Generalized bi-prediction and weighted prediction
US20220021869A1 (en) Method and device for picture encoding and decoding
JP7502278B2 (ja) 双予測を使用するビデオエンコーディングおよびデコーディングのための方法および装置
JP2022506628A (ja) 隣接サンプル依存パラメトリックモデルに基づいたコーディングモードの簡易化
US20230232037A1 (en) Unified process and syntax for generalized prediction in video coding/decoding
KR20230145097A (ko) 공간 국소 조명 보상
US20240171731A1 (en) Geometric partitions with switchable interpolation filter
US20230023837A1 (en) Subblock merge candidates in triangle merge mode
US20220264147A1 (en) Hmvc for affine and sbtmvp motion vector prediction modes
US20220295057A1 (en) Switchable interpolation filters
US20230336721A1 (en) Combining abt with vvc sub-block-based coding tools
WO2023194106A1 (en) Motion information parameters propagation based on intra prediction direction
WO2024033116A1 (en) Geometric partition mode boundary prediction
WO2024078896A1 (en) Template type selection for video coding and decoding
JP2022537222A (ja) 局所照明補正フラグインヘリタンス

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240606

R150 Certificate of patent or registration of utility model

Ref document number: 7502278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150