JP2021521692A - コード化/復号化におけるデータ依存関係 - Google Patents

コード化/復号化におけるデータ依存関係 Download PDF

Info

Publication number
JP2021521692A
JP2021521692A JP2020555401A JP2020555401A JP2021521692A JP 2021521692 A JP2021521692 A JP 2021521692A JP 2020555401 A JP2020555401 A JP 2020555401A JP 2020555401 A JP2020555401 A JP 2020555401A JP 2021521692 A JP2021521692 A JP 2021521692A
Authority
JP
Japan
Prior art keywords
motion vector
video block
information
current
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020555401A
Other languages
English (en)
Other versions
JPWO2019217095A5 (ja
JP7395497B2 (ja
Inventor
ロベール,アントワーヌ
ルリアネック,ファブリス
ギャルピン,フランク
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18305852.8A external-priority patent/EP3591974A1/en
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド, インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2021521692A publication Critical patent/JP2021521692A/ja
Publication of JPWO2019217095A5 publication Critical patent/JPWO2019217095A5/ja
Priority to JP2023202231A priority Critical patent/JP2024023456A/ja
Application granted granted Critical
Publication of JP7395497B2 publication Critical patent/JP7395497B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオエンコーダまたはデコーダは、そのプロセスが並列化されているとき、ビデオの一部をより少ない遅延を伴って処理し、前のプロセスの完了への依存によって引き起こされる遅延を回避する。一実施形態では、ビデオの隣接ブロックからの動きベクトル予測子は、その隣接ブロックとの使用のために精緻化されることが終了する前に、ビデオの後続ブロックにおいて使用される。別の実施形態では、隣接するブロックからの情報は、同じ符号化ツリー単位内のブロックを含むように限定される。別の実施形態では、動きベクトル予測子は、候補のリストに追加される前に、そのリストに既にあるかどうかを確認するためにチェックされて、プロセスを促進する。【選択図】図11

Description

本態様は、ビデオ圧縮、ならびにビデオコード化および復号化に関する。
HEVC(高効率ビデオ符号化、ISO/IEC23008−2、ITU−T H.265)ビデオ圧縮規格では、動き補償された時間予測を使用して、ビデオの連続するピクチャ間に存在する冗長性を利用する。
それを行うために、動きベクトルが各予測単位(PU)に関連付けられている。各CTUは、圧縮ドメインの符号化ツリーによって表現される。これは、図1に示すように、CTUの四分木分割であり、各葉は、符号化単位(CU)と呼ばれる。
次に、各CUには、イントラまたはインター予測パラメータ(予測情報)がいくつか与えられる。それを行うために、それは、1つ以上の予測単位(PU)に空間的に分割され、各PUには、いくつかの予測情報が割り当てられる。図2に示すように、イントラまたはインター符号化モードが、CUレベルで割り当てられる。
動きベクトルが、HEVCの各PUに割り当てられる。この動きベクトルは、考慮されるPUの動き補償された時間予測に使用される。したがって、HEVCでは、予測されたブロックとその参照ブロックとをリンクする動きモデルに平行移動が含まれる。
JVET(共同ビデオ探索チーム)グループによって開発された共同探索モデル(JEM)では、時間予測を向上させるためにいくつかの動きモデルがサポートされている。それを行うために、PUをサブPUに空間的に分割し、モデルを使用して、各サブPUに専用の動きベクトルを割り当てることができる。
JEMの他のバージョンでは、CUは、PUまたはTus(変換単位)に分割されなくなり、一部の動きデータは、各CUに直接割り当てられる。この新しいコーデック設計では、CUをサブCUに分割し、サブCUごとに動きベクトルを計算することができる。
フレーム間動き補償のために、例えば、FRUCマージ、FRUCバイラテラル、およびICを含む、デコーダ側のパラメータ推定を使用する一連の新しいツールがJEMで開発された。
先行技術の欠点および不利点は、コード化および復号化におけるデータ依存関係を低減するための実施形態を含む、本明細書に記載の1つ以上の実施形態によって対処され得る。
第1の態様によれば、方法が提供される。この方法は、隣接するビデオブロックから現在のビデオブロックに対する情報を、その情報がその隣接するビデオブロックとの使用のために精緻化される前に取得するステップと、現在のビデオブロックとの使用のために、その情報を精緻化するステップと、精緻化された情報を使用して、現在のビデオブロックをコード化するステップと、を含む。
別の態様によれば、第2の方法が提供される。この方法は、再構成された隣接するビデオブロックから現在のビデオブロックに対する情報を、その情報がその鱗屑するビデオブロックにおける使用のために精緻化される前に取得するステップと、現在のビデオブロックとの使用のために、その情報を精緻化するステップと、精緻化された情報を使用して、現在のビデオブロックを復号化するステップと、を含む。
別の態様によれば、装置が提供される。この装置は、メモリと、プロセッサと、を含む。プロセッサは、前述の方法のいずれかを実行することにより、ビデオのブロックをコード化するか、またはビットストリームを復号化するように構成することができる。
少なくとも1つの実施形態の別の一般的な態様によれば、復号化の実施形態のいずれかによる装置と、(i)無線で信号を受信するように構成されたアンテナであって、信号は、ビデオブロックを含む、アンテナ、(ii)受信した信号を、ビデオブロックを含む周波数の帯域に制限するように構成された帯域制限器、または(iii)出力を表示するように構成されたディスプレイ、のうちの少なくとも1つと、を含む、デバイスが提供される。
少なくとも1つの実施形態の別の一般的な態様によれば、説明されたコード化の実施形態または変形のいずれかに従って生成されたデータコンテンツを含む非一時的なコンピュータ可読媒体が提供される。
少なくとも1つの実施形態の別の一般的な態様によれば、説明されたコード化の実施形態または変形のいずれかに従って生成されたビデオデータを含む信号が提供される。
少なくとも1つの実施形態の別の一般的な態様によれば、ビットストリームは、説明されたコード化の実施形態または変形のいずれかに従って生成されたデータコンテンツを含むようにフォーマットされる。
少なくとも1つの実施形態の別の一般的な態様によれば、コンピュータによって実行されると、コンピュータに、説明された復号化の実施形態または変形のいずれかを実行させる命令を含むコンピュータプログラム製品が提供される。
これらおよび他の態様、特徴、および一般的な態様の利点は、添付の図面に関連して読まれる例示的な実施形態の以下の詳細な説明から明らかになるであろう。
圧縮されたHEVCピクチャを表現するための符号化ツリー単位および符号化ツリーの概念を示す。 符号化ツリー単位の符号化単位、予測単位、および変換単位への分割を示す。 バイラテラルマッチングコスト関数の一例を示す。 テンプレートマッチングコスト関数の一例を示す。 ICパラメータを導出するために、現在のブロックのL字型と比較される参照0または1内のL字型を示す。 データフロー依存関係を有する処理パイプラインの一例を示す。 動き補償モジュールで発生するデータ依存関係を有するパイプラインの一例を示す。 本実施形態を適用することができる一般的なコード化実施形態を示す。 本実施形態を適用することができる一般的な復号化実施形態を示す。 動きベクトル導出のデフォルトFRUCプロセスの概要を示す。 動きベクトル導出の修正FRUCプロセスの一実施形態の概要を示す。 FRUCテンプレートモードを使用するCUの一例である。 JEMにおけるマージ候補のための動きベクトル予測子導出の一例を示す。 左から右に、例示的な実施形態の下でのデフォルトチェック、代替チェック、簡易チェックの一例を示す。 様々な態様および例示的な実施形態が実装される例示的な通信チャネルのブロック図を示す。 一般的に説明された態様の下でコード化するための方法の一実施形態を示す。 一般的に説明された態様の下で復号化するための方法の一実施形態を示す。 一般的に説明された態様の下でコード化または復号化するための装置の一実施形態を示す。
記載された実施形態は、一般に、ビデオ圧縮の分野にある。1つ以上の実施形態は、既存のビデオ圧縮システムと比較して、圧縮効率を向上させることを目的としている。
HEVC(高効率ビデオ符号化、ISO/IEC23008−2、ITU−T H.265)ビデオ圧縮規格では、動き補償された時間予測を使用して、ビデオの連続するピクチャ間に存在する冗長性を利用する。
それを行うために、動きベクトルが各予測単位(PU)に関連付けられている。各CTUは、圧縮ドメインの符号化ツリーによって表現される。これは、図1に示すように、CTUの四分木分割であり、各葉は、符号化単位(CU)と呼ばれる。
次に、各CUには、イントラまたはインター予測パラメータ(予測情報)がいくつか与えられる。それを行うために、それは、1つ以上の予測単位(PU)に空間的に分割され、各PUには、いくつかの予測情報が割り当てられる。図2に示すように、イントラまたはインター符号化モードが、CUレベルで割り当てられる。
動きベクトルが、HEVCの各PUに割り当てられる。この動きベクトルは、考慮されるPUの動き補償された時間予測に使用される。したがって、HEVCでは、予測されたブロックとその参照ブロックとをリンクする動きモデルに平行移動が含まれる。
JVET(共同ビデオ探索チーム)グループによって開発された共同探索モデル(JEM)では、時間予測を向上させるためにいくつかの動きモデルがサポートされている。それを行うために、PUをサブPUに空間的に分割し、モデルを使用して、各サブPUに専用の動きベクトルを割り当てることができる。
JEMの他のバージョンでは、CUは、PUまたはTus(変換単位)に分割されなくなり、一部の動きデータは各CUに直接割り当てられる。この新しいコーデック設計では、CUをサブCUに分割し、サブCUごとに動きベクトルを計算することができる。
フレーム間動き補償のために、例えば、FRUCマージ、FRUCバイラテラル、およびICを含む、デコーダ側のパラメータ推定を使用する一連の新しいツールがJEMで開発された。
FRUC(フレームレートアップ変換)ツールの説明は次のとおりである。
FRUCは、信号通知なしでデコーダ側のCUの動き情報を導出することを可能にする。
このモードは、CUレベルでFRUCフラグおよび追加のFRUCモードフラグで信号通知され、CUの動き情報を導出するためにどのマッチングコスト関数(バイラテラルまたはテンプレート)を使用するかを示す。
エンコーダ側では、CUにFRUCマージモードを使用するかどうかの決定は、RD(速度ひずみ)コスト選択に基づいている。2つのマッチングモード(バイラテラルおよびテンプレート)の両方がCUのためにチェックされる。最小のRDコストにつながるものが、他の符号化モードとさらに比較される。FRUCモードがRDの意味で最も効率的である場合、FRUCフラグは、CUに対して真に設定され、関連するマッチングモードが使用される。
FRUCマージモードでの動き導出プロセスには、2つのステップがある。最初に、CUレベルの動き検索が実行され、次にサブCUレベルの動き精緻化が続く。CUレベルでは、初期動きベクトルが、バイラテラルまたはテンプレートマッチングに基づいて、CU全体のMV(動きベクトル)候補のリストから導出される。最小マッチングコストにつながる候補が、さらなるCUレベルの精緻化の開始点として選択される。次に、開始点周辺のバイラテラルまたはテンプレートマッチングに基づくローカル検索が実行され、最小マッチングコストをもたらすMVがCU全体のMVとして採用される。続いて、動き情報は、導出されたCU動きベクトルを開始点として、サブCUレベルでさらに精緻化される。
図3に示すように、バイラテラルマッチングコスト関数を使用して、2つの異なる参照ピクチャにおける現在のCUの動き軌跡に沿った2つのブロック間の最良の一致を見つけることにより、現在のCUの動き情報を導出する。連続的な動き軌跡の仮定の下で、2つの参照ブロックを指す動きベクトルMV0およびMV1は、現在のピクチャと2つの参照ピクチャとの間の時間距離(TD0およびTD1)に比例する。
図4に示すように、テンプレートマッチングコスト関数を使用して、現在のピクチャ内のテンプレート(現在のCUの上および/または左側の隣接ブロック)と参照ピクチャ内のブロック(テンプレートと同じサイズ)との間の最良の一致を見つけることにより、現在のCUの動き情報を導出する。
テンプレートマッチングコスト関数を使用するこのFRUCモードは、一実施形態では、AMVP(高度動きベクトル予測)モードにも適用できることに留意されたい。この場合、AMVPは2つの候補を有する。新しい候補は、テンプレートマッチングとともにFRUCツールを使用して導出される。このFRUC候補は、最初の既存のAMVP候補と異なる場合は、AMVP候補リストの最初に挿入され、次に、リストサイズが2に設定される(つまり、2番目の既存のAMVP候補が削除される)。AMVPモードに適用されるときは、CUレベルの検索のみが適用される。
輝度補償(IC)
インターモードでは、ICは、空間的または時間的な局所輝度の変動を考慮することにより、動き補償(MC)を介して得られたブロック予測サンプルの補正を可能にする。ICパラメータは、図5に示すように、再構築された隣接サンプル(L−shape−cur)のセットSを、参照−iブロック(i=0または1)の隣接サンプル(L−shape−ref−i)と比較することによって推定される。
ICパラメータは、L−shape−curのサンプルとICパラメータで補正されたL−shape−ref−iのサンプルとの差(最小二乗法)を最小限にする。通常、ICモデルは線形である。すなわち、IC(x)=a*x+b、ここで、xは、補償するサンプルの値である。
パラメータaおよびbは、エンコーダ(およびデコーダ)でL字型で最小二乗最小化を解決することによって導出される。
Figure 2021521692
最後に、aは、整数の重み(a)およびシフト(sh)に変換され、MCブロックは、ICによって補正される。
Pred=(a*x>>sh)+b(3)
記載の実施形態の少なくとも1つによって解決される1つの問題は、FRUCなどのツールによって生じるデータ依存関係をどのように緩和するかである。図6は、インターフレームを復号化するための処理パイプラインの一例を示す。
−最初に、ビットストリームが解析され、所与の単位のすべてのシンボルが復号化される(ここでは単位をCUとして設定する)
−次に、シンボルが処理されて、CUを再構築するために使用される値が計算される。このような値の例は、動きベクトル値、残差係数などである。
−値の準備ができると、処理が実行される。図6は、動き補償および残差再構築パイプラインの一例を示す。これらのモジュールは、並行して実行することができ、解析または復号化のような他のモジュールとは実行時間が大きく異なり、CUサイズに応じて時間が異なる可能性があることに留意されたい。
−特定のCUについてすべてのモジュールが実行されると、最終結果が計算される。ここで、一例として、最終的な再構築は、動き補償されたブロックおよび残差ブロックを加算することにある。
この種のパイプラインを検討するときに、FRUCなどのツールで発生する問題の1つは、CU0の最終的な動きベクトルが動き補償の結果に依存し、CU1が、パラメータの復号化を開始する前に、この値を待機する必要があるため、パラメータ復号モジュールと補償モジュールとの間に依存関係が生じることである。
別の問題は、隣接する各CUからのサンプルデータの可用性によっては、(例えば、FRUCモードまたはICパラメータ計算のための)動き補償の実行に使用される一部のデータが利用可能ではない場合があることである。
図7は、動き補償モジュールで発生するデータ依存関係を有するパイプラインの一例を示す。
ここで説明する実施形態の少なくとも1つは、この依存関係を回避するための方法を使用し、デコーダでの高度に並列なパイプラインを可能にする。
FRUCおよびICは、JEMの新しいモードであるため、パイプラインストールは比較的新しい問題である。
提案される実施形態のうちの少なくとも1つの基本的な考え方は、復号化と動き補償モジュールとの間の依存関係を打破することである。
提案される実施形態の少なくとも1つは、コーデックの規範的な修正を含む。つまり、コード化プロセスおよび復号プロセスは完全に対称的である。1つ以上の実施形態の影響を受けるコーデックモジュールは、図10の動き補償170および動き推定175、ならびに図11の動き推定275である。
非依存の動きベクトル予測子
デフォルトのFRUCテンプレートプロセスでは、特定のブロックの動きベクトルは、隣接するブロックの上と左側のテンプレートからのサンプルを使用して精緻化される。精緻化後、動きベクトルの最終値がわかり、フレーム内の後のブロックの動きベクトルを復号化するために使用することができる(図10を参照)。しかしながら、動き補償および精緻化には長い時間がかかる可能性がある(特に、他のブロックのデータの準備が整うのを待機する)ため、現在のパラメータの復号化は停止しているか、または動き補償パイプラインは最も遅いブロックの続行を待機している。
(FRUCプロセスが終了した後の)最終的な動きベクトルを隣接ブロックの予測子として使用する代わりに、隣接ブロックの予測子自体が現在のブロックの予測子として使用される(図11を参照)。この場合、前のブロックの動き補償プロセスが終了するのを待たずに、動き補償プロセスをすぐに開始することができる。
非依存の動き補償
動き補償プロセスには、依然として隣接するブロックの値と多少の依存関係がある(通常、上と左側のテンプレートで使用されるサンプルが動き精緻化プロセスを開始するために使用される)。この依存関係を打破するために、FRUCモードを、CTU内のCU(または、代替の実施形態では、所与のサイズの領域)に制約することができる。
図12に、そのような制限の一例を示す。例えば、CU0、CU1、およびCU3は、上および左側の両方のテンプレートを使用する場合、別のCTUからのサンプルを使用するため、FRUCモードを使用することができない。しかしながら、CU2は、データの依存関係がCTU内に限定されているため、FRUCテンプレートモードを使用することができる。JEMのFRUCでは、左側および上の隣接するテンプレートの可用性は個別にテストされ、少なくとも1つが使用可能な場合は、FRUCが実行される。この場合、CU0は不可能であるが、CU3は左側のテンプレートだけで可能であり、CU1は上のテンプレートだけで可能である。
別の実施形態では、制限は左側のCTUにのみ適用され、その場合、CU3はFRUCテンプレートモードを有することができる。
これにより、動き補償モジュールでのいくつかのCTUの並列化が可能になる。
この方法は、FRUCおよびIC計算の両方に適用されることに留意されたい。
別の実施形態では、上記の制限は、動きベクトル予測子の更新にのみ適用される。つまり、隣接するCUがCTUの外側の予測子を使用するときは、最終的な動きベクトル値ではなくて、この隣接するCUの動きベクトル予測子のみを使用することができる。しかし、CUがCTU内のCUからの動きベクトル予測子を使用するときは、最終的な動きベクトルが現在のCUの予測子として使用される。
これにより、復号化モジュールでのいくつかCTUの並列化が可能になり、さらなるモジュールでのより多くの並列化を可能にする。
1つ以上のフラグ、リストからの選択、例えば、FRUCまたはICの制限に関する他のインジケータなどの関連付けられた構文は、例えば、スライス、PPS(ピクチャパラメータセット)、またはSPS(シーケンスパラメータセット)レベルのうちの1つ以上において信号通知することができる。他の実施形態では、他のレベル、高レベルの構文、または別の方法が使用される。この信号通知に使用される関連付けられた構文には、例えば、1つ以上のフラグ、リストからの選択、他のインジケータが含まれる。
独立した動きベクトルの復号化
動きベクトルの復号化が、動き補償の最終結果に対して、停止しない、または待機しないようにするために、別の方法は、動きベクトルの導出プロセスを動きベクトル値自体から独立させることである。この場合、動きベクトルの導出は、修正されたプロセスを使用する。
図13は、動きベクトル予測子の導出の一例を示す。
デフォルトのプロセスでは、新しい候補ベクトルはそれぞれ、リストに追加される前に、リストに既にあるベクトルと比較される。ここでの比較は、動きベクトルの同等性、同等の参照ピクチャ、およびオプションでIC使用の同等性を参照することができる。
新しい方法は、モジュール「リストにあるかどうかチェック」におけるベクトル同等性チェックを、代替のチェック、つまり、(最終的な動きベクトル値ではなく)予測子のチェックに置換するか、チェックをバイパスすることを含む(図14を参照)。
様々な実施形態は、以下のうちの1つ以上を含む:
−隣接するCUの予測子として、最終的な動きベクトル値の代わりに動きベクトルの予測子を使用する。いくつかのそのような実施形態は、復号化と動き補償モジュールとの間のFRUCの依存関係の問題に対処する。
−FRUCおよびICに使用される再構築サンプルを領域内に制限する。
−パラメータの復号化を動きベクトルの最終値から独立させる。
図16は、エンコーダにおけるデータ依存関係を低減するための方法1600の一実施形態を示す。この方法は、開始ブロック1601から始まり、制御は、隣接するビデオブロックから現在のビデオブロックに対する情報を、その情報がその隣接するビデオブロックで使用するために精緻化される前に取得するブロック1610に進む。制御は、ブロック1610から、その情報を現在のビデオブロックで使用するために精緻化するためのブロック1620に進む。制御は、ブロック1620から、現在のビデオブロック精緻化された情報をコード化するためのブロック1630に進む。
図17は、デコーダにおけるデータ依存関係を低減するための方法1700の一実施形態を示す。この方法は、開始ブロック1701から始まり、制御は、再構築された隣接するビデオブロックから現在のビデオブロックに対する情報を、その情報がその隣接するビデオブロックで使用するために精緻化される前に取得するブロック1710に進む。制御は、ブロック1710から、その情報を現在のビデオブロックで使用するために精緻化するためのブロック1720に進む。制御は、ブロック1720から、現在のビデオブロック精緻化された情報を復号化するためのブロック1730に進む。
図18は、データ依存関係が低減されてビデオブロックをコード化または復号化するための装置1800の一実施形態を示す。この装置は、1つ以上の入力および出力ポートを有するプロセッサ2010を含み、1つ以上の通信ポートを介してメモリ2020に相互接続される。装置2000は、図16または図17の方法のいずれか、あるいは任意の変形を実行することができる。
本文書では、ツール、特徴、実施形態、モデル、アプローチなどを含む様々な態様について説明する。これらの態様の多くは、特異的に、また、少なくとも個々の特性を示すために説明されており、しばしば限定的に聞こえ得るような方法で説明される。しかしながら、これは説明を明確にするためのものであり、これらの態様の適用または範囲を限定するものではない。実際、様々な態様のすべてを組み合わせて交換し、さらなる態様を提供することができる。さらに、これらの態様は、以前の出願で説明された態様と組み合わせて交換することもできる。
本文書で説明および企図される態様は、多くの異なる形式で実装できる。以下の図8、9、および15はいくつかの実施形態を提供するが、他の実施形態が企図され、図8、9、および15の考察は実装の幅を制限しない。これらの態様のうちの少なくとも1つは、概して、ビデオコード化および復号化に関連し、少なくとも1つの他の態様は、概して、生成または符号化されたビットストリームを送信することに関連する。これらおよび他の態様は、方法、装置、説明された方法のいずれかに従ってビデオデータをコード化または復号化するための命令を記憶したコンピュータ可読記憶媒体、および/または説明された方法のいずれかに従って生成されるビットストリームを記憶したコンピュータ可読記憶媒体として実装できる。
本出願では、「再構築された」および「復号化された」という用語は互換的に使用され得、「ピクセル」および「サンプル」という用語は互換的に使用され得、「画像」、「ピクチャ」および「フレーム」という用語は互換的に使用され得る。必ずしもではないが、通常は、「再構築された」という用語は、エンコーダ側で使用され、一方で「復号化された」は、デコーダ側で使用される。
様々な方法が上で説明されており、各方法は、説明された方法を達成するための1つ以上のステップまたは動作を含む。本方法の正しい運用のために特定のステップまたは動作の順序が必要でない限り、特定のステップおよび/または動作の順序および/または使用を、修正するかまたは組み合わせてもよい。
この文書で説明されている様々な方法および他の態様を使用して、例えば、図8の動き補償170および動き推定175、ならびに図9の動き推定275などのモジュールを変更することができる。さらに、本態様はJVETまたはHEVCに限定されず、例えば、既存または将来開発されたものであるかどうかにかかわらず、他の標準および推奨事項、ならびにそのような標準および推奨事項(JVETおよびHEVCを含む)の拡張に適用できる。特に明記されていない限り、または技術的に除外されていない限り、本文書で説明されている態様は、個別に、または組み合わせて使用できる。
本文書では、様々な数値が示されている場合がある。特定の値は例示を目的とし、説明される態様はこれらの特定の値に限定されない。
図8は、例示的なエンコーダ100を示す。このエンコーダ100の変形が企図されるが、エンコーダ100は、すべての予想される変形を説明することなく、明確にするために以下に説明される。
コード化される前に、ビデオシーケンスは事前符号化処理(101)、例えば、入力色ピクチャに色変換(例えば、RGB 4:4:4からYCbCr 4:2:0への変換)を適用すること、または、(例えば、色成分の1つのヒストグラム等化を使用して)圧縮に対してより復元力のある信号分布を得るために、入力ピクチャ成分の再マッピングを実行することを経る場合がある。メタデータは事前処理に関連付けられ得、ビットストリームに添付され得る。
例示的なエンコーダ100において、ピクチャは、以下に説明するように、エンコーダ要素によってコード化される。コード化されるピクチャは、分割され(102)、例えば、CUの単位で処理される。各単位は、例えば、イントラモードまたはインターモードのいずれかを使用してコード化される。単位がイントラモードでコード化されるとき、イントラ予測を実行する(160)。インターモードにおいて、動き推定(175)および動き補償(170)が行われる。エンコーダは、イントラモードまたはインターモードのどちらをその単位のコード化に使用するかを判断し(105)、例えば、予測モードフラグによって、イントラ/インター判断を示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算すること(110)によって、計算される。
次いで、予測残差が変換され(125)、量子化される(130)。量子化された変換係数に加えて、動きベクトルおよび他の構文要素は、ビットストリームを出力するためにエントロピー符号化される(145)。エンコーダは、変換をスキップし、非変換残差信号に直接量子化を適用し得る。エンコーダは、変換および量子化の両方をバイパスすることもでき、すなわち、残差は、変換または量子化プロセスを適用せずに直接符号化される。
エンコーダは、コード化されたブロックを復号化して、さらに予測するための参照を提供する。量子化された変換係数は非量子化され(140)、逆変換され(150)、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて(155)、画像ブロックが再構築される。ループ内フィルタ(165)は、再構築されたピクチャに適用され、例えば、デブロッキング/SAO(サンプル適応オフセット)フィルタリングを行い、コード化アーティファクトを低減する。フィルタリングされた画像は、参照ピクチャバッファ(180)に記憶される。
図9は、例示的なビデオデコーダ200のブロック図を示す。例示的なデコーダ200において、ビットストリームは、以下に説明するように、デコーダ要素によって復号化される。ビデオデコーダ200は、一般に、図1で説明されたようなコード化パスの逆の復号化パスを行う。エンコーダ100はまた、一般に、ビデオデータをコード化することの一部としてビデオ復号化を実行する。
特に、デコーダの入力は、ビデオエンコーダ100によって生成され得るビデオビットストリームを含む。まず、ビットストリームがエントロピー復号化され(230)、変換係数、動きベクトル、および他の符号化された情報を取得する。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがって、デコーダは、復号化されたピクチャ分割情報に従ってピクチャを分割することができる(235)。変換係数は非量子化され(240)、逆変換され(250)、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて(255)、画像ブロックが再構築される。予測されたブロックは、イントラ予測(260)または動き補償予測(即ち、インター予測)(275)から取得され得る(270)。ループ内フィルタ(265)は、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(280)に記憶される。
復号化されたピクチャは、復号化後処理(285)、例えば、逆色変換(例えば、YCbCr 4:2:0からRGB 4:4:4への変換)または事前コード化処理(101)で行われる再マッピングプロセスの逆を実行する逆再マッピングをさらに経ることができる。復号化後処理では、事前コード化処理で導出され、ビットストリームで信号通知されるメタデータを使用することができる。
図15は、様々な態様および実施形態が実装されるシステムの一例のブロック図を示す。システム1000は、以下で説明される様々な構成要素を含むデバイスとして具現化することができ、本文書で説明される態様の1つ以上を実行するように構成される。このようなデバイスの例には、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ記録システム、コネクテッド家電、およびサーバなどの様々な電子デバイスが含まれるが、これらに限定されるわけではない。システム1000の要素は、単独でも組み合わせでも、1つの集積回路、複数のIC、および/またはディスクリート部品に具体化され得る。例えば、少なくとも1つの実施形態において、システム1000の処理およびエンコーダ/デコーダ要素は、複数のICおよび/またはディスクリート部品にわたって分散している。様々な実施形態において、システム1000は、他のシステムに、または他の電子デバイスに、例えば、通信バスを介して、または専用の入力および/または出力ポートを通して、通信可能に結合される。様々な実施形態において、システム1000は、本文書に記載の態様のうちの1つ以上を実装するように構成される。
システム1000は、例えば、本文書に記載の様々な態様を実装する際に、読み込まれた命令を実行するように構成された少なくとも1つのプロセッサ1010を含む。プロセッサ1010は、当技術分野で周知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム1000は、少なくとも1つのメモリ1020(例えば、揮発性メモリデバイス、および/または不揮発性メモリデバイス)を含む。システム1000は、ストレージデバイス1040を含み、これには、EEPROM、ROM、PROM、RAM、DRAM、SRAM、フラッシュ、磁気ディスクドライブ、および/または光ディスクドライブが含まれるがこれらに限定されるわけではない、不揮発性メモリおよび/または揮発性メモリが含まれ得る。ストレージデバイス1040は、非限定的な例として、内部ストレージデバイス、付属のストレージデバイス、および/またはネットワークアクセス可能なストレージデバイスを含み得る。
システム1000は、例えば、コード化されたビデオまたは復号化されたビデオを提供するようにデータを処理するように構成されたエンコーダ/デコーダモジュール1030を含み、エンコーダ/デコーダモジュール1030は、独自のプロセッサおよびメモリを含み得る。エンコーダ/デコーダモジュール1030は、コード化機能および/または復号化機能を実行するデバイスに含まれ得るモジュール(複数可)を表す。周知であるように、デバイスは、コード化および復号化モジュールの一方または両方を含み得る。さらに、エンコーダ/デコーダモジュール1030は、システム1000の別個の要素として実装されてもよく、または、当業者には周知であるように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ1010内に組み込まれてもよい。
本文書に記載の様々な態様を実行するようにプロセッサ1010またはエンコーダ/デコーダ1030に読み込まれるプログラムコードは、ストレージデバイス1040に格納され、続いて、プロセッサ1010による実行のためにメモリ1020に読み込まれ得る。様々な実施形態によれば、プロセッサ1010、メモリ1020、ストレージデバイス1040、およびエンコーダ/デコーダモジュール1030のうちの1つ以上は、本文書に記載のプロセスの実行中、様々な項目のうちの1つ以上を格納することができる。このような格納される項目には、入力ビデオ、復号化されたビデオまたは復号化されたビデオの一部、ビットストリーム、行列、変数、また方程式、式、演算、およびオペレーショナルロジックの処理からの中間結果または最終結果が含まれ得るが、これらに限定されるわけではない。
いくつかの実施形態において、プロセッサ1010および/またはエンコーダ/デコーダモジュール1030の内部のメモリを使用して、命令を格納し、またコード化または復号化中に必要とされる処理のために、ワーキングメモリを提供する。しかしながら、他の実施形態において、処理デバイス(例えば、処理デバイスは、プロセッサ1010またはエンコーダ/デコーダモジュール1030のいずれかであり得る)の外部のメモリは、これらの機能のうちの1つ以上のために使用される。外部メモリは、メモリ1020および/またはストレージデバイス1040であり得、例えば、ダイナミック揮発性メモリおよび/または不揮発性フラッシュメモリであり得る。いくつかの実施形態において、テレビのオペレーティングシステムを格納するのに外部不揮発性フラッシュメモリが使用される。少なくとも1つの実施形態において、RAMなどの高速外部ダイナミック揮発性メモリが、MPEG−2、HEVC、またはVVC(バーサタイルビデオコード化)など、ビデオコード化および復号化作業に、ワーキングメモリとして使用される。
システム1000の要素への入力は、ブロック1130に示されるような様々な入力デバイスを通して提供され得る。このような入力デバイスには、(i)例えばブロードキャスタによって無線通信経由で、送信されたRF信号を受信するRF部、(ii)コンポジット入力端子、(iii)USB入力端子、および/または(iv)HDMI(登録商標)入力端子が含まれるが、これらに限定されるわけではない。
様々な実施形態において、ブロック1130の入力デバイスは、当技術分野で周知であるような対応するそれぞれの入力処理要素を有する。例えば、RF部は、(i)所望の周波数を選択する(信号を選択する、またはある周波数帯域に信号を帯域制限する、とも称される)こと、(ii)選択された信号をダウンコンバートすること、(iii)(例えば)ある特定の実施形態ではチャネルと称される場合がある信号周波数帯域を選択するように、より狭い周波数帯域に再び帯域制限すること、(iv)ダウンコンバートされ、帯域制限された信号を復調すること、(v)誤り訂正を実行すること、および(vi)逆多重化して、所望のデータパケットストリームを選択することに対して好適な要素に関連付けられ得る。様々な実施形態のRF部には、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサの機能を実行する1つ以上の要素が含まれる。RF部には、例えば、受信された信号をより低い周波数に(例えば、中間周波数または近ベースバンド周波数)、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実行する波長調整器が含まれ得る。1つのセットトップボックス実施形態において、RF部およびその関連付けられた入力処理要素は、有線(例えば、ケーブル)媒体経由で送信されたRF信号を受信し、フィルタ処理し、ダウンコンバートし、また所望の周波数帯域に再びフィルタ処理することによって、周波数選択を実行する。様々な実施形態では、上記(および他の)要素の順番が並べ替えられ、これらの要素のうちのいくつかが取り除かれ、かつ/または同様または異なる機能を実行する他の要素が加えられる。要素を加えることには、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ−デジタル変換器を挿入することが含まれ得る。様々な実施形態において、RF部には、アンテナが含まれる。
また、USBおよび/またはHDMI(登録商標)端子は、USBおよび/またはHDMI(登録商標)接続にわたる他の電子デバイスにシステム1000を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リード・ソロモン誤り訂正が、例えば、別個の入力処理IC内またはプロセッサ1010内で実装され得ることを理解されたい。同様に、USBまたはHDMI(登録商標)インターフェース処理の態様が、必要に応じて、別個のインターフェースIC内またはプロセッサ1010内で実装され得る。例えば、出力デバイス上での表現のために、データストリームを処理するように、メモリおよび記憶要素と組んで動作するプロセッサ1010、およびエンコーダ/デコーダ1030を含む、様々な処理要素に、復調され、誤り訂正され、かつ逆多重化されたストリームが提供される。
システム1000の様々な要素は、一体型ハウジング内に提供され得、一体型ハウジング内では、様々な要素は、相互接続して、好適な接続配置1140、例えば、I2Cバス、配線、およびプリント回路基板を含む、当技術分野で周知であるような内部バスを使用して、それらの間でデータを送信することができる。
システム1000は、通信チャネル1060を介して他のデバイスとの通信を可能にする通信インターフェース1050を含む。通信インターフェース1050には、通信チャネル1060経由でデータを送受信するように構成されたトランシーバが含まれ得るが、これに限定されるわけではない。通信インターフェース1050には、モデムまたはネットワークカードが含まれ得るが、これらに限定されるわけではなく、通信チャネル1060は、例えば、有線および/または無線媒体内に実装され得る。
様々な実施形態において、データは、IEEE802.11などのワイヤレスネットワークを使用して、システム1000にストリーミングされる。これらの実施形態のワイヤレス信号は、Wi−Fi通信などのワイヤレス通信に適合された通信チャネル1060および通信インターフェース1050を介して受信される。これらの実施形態の通信チャネル1060は、通常、アクセスポイントまたはルータに接続され、アクセスポイントまたはルータは、アプリケーションをストリーミングすることおよび他のオーバー・ザ・トップ通信を可能にするために、インターネットを含む外側ネットワークへのアクセスを提供する。他の実施形態は、入力ブロック1130のHDMI(登録商標)接続経由でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム1000に提供する。さらに他の実施形態は、入力ブロック1130のRF接続を使用して、ストリーミングされたデータをシステム1000に提供する。
システム1000は、ディスプレイ1100、スピーカ1110、および他の周辺デバイス1120を含む、様々な出力デバイスに出力信号を提供することができる。他の周辺デバイス1120には、様々な実施形態例において、スタンドアローンDVR、ディスクプレーヤ、ステレオシステム、照明システム、またシステム1000の出力に基づき、機能を提供する他のデバイスのうちの1つ以上が含まれる。様々な実施形態において、システム1000と、ディスプレイ1100、スピーカ1110、または他の周辺デバイス1120との間で、AVリンク、CEC、またはユーザの介入の有無に関わらず、デバイス・ツー・デバイス制御を可能にする他の通信プロトコルなどの信号通知を使用して、制御信号が通信される。出力デバイスは、それぞれのインターフェース1070、1080、および1090を通して専用接続を介してシステム1000に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース1050を介して、通信チャネル1060を使用してシステム1000に接続され得る。ディスプレイ1100およびスピーカ1110は、例えば、テレビである電子デバイス内のシステム1000の他の構成要素と、単一のユニットにおいて統合され得る。様々な実施形態において、ディスプレイインターフェース1070には、例えば、タイミングコントローラ(T Con)チップであるディスプレイドライバが含まれる。
代替的に、ディスプレイ1100およびスピーカ1110は、例えば、入力1130のRF部が別個のセットトップボックスの一部である場合、他の構成要素のうちの1つ以上とは別個であってもよい。ディスプレイ1100およびスピーカ1110が外部構成要素である様々な実施形態において、例えば、HDMI(登録商標)ポート、USBポート、またはCOMP出力部を含む専用出力接続を介して出力信号が提供され得る。
例示的な実施形態は、プロセッサ1010によって実装されるコンピュータソフトウェアによって、またはハードウェアによって、またはハードウェアとソフトウェアとの組み合わせによって、実施されてもよい。非限定的な例として、例示的な実施形態は、1つ以上の集積回路によって実装され得る。メモリ1020は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取り外し可能なメモリ等の任意の適切なデータストレージ技術を使用して実装され得る。プロセッサ1010は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの1つ以上を包含し得る。
本明細書で説明された実装形態および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装され得る。単一形態の実装形態の文脈でのみ考察された(例えば、方法としてのみ考察された)としても、考察された特徴の実装形態はまた、他の形態(例えば、装置またはプログラム)で実装されてもよい。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含む処理デバイスを一般的に指す、例えば、プロセッサのような装置で実装することができる。プロセッサは、通信デバイス、例えば、コンピュータ、携帯電話、ポータブル/パーソナルデジタルアシスタンス(「PDA」)、およびエンドユーザ間の情報の伝達を容易にする他のデバイスなども含む。
「一実施形態(one embodiment)」もしくは「実施形態(an embodiment)」または「一実装形態(one implementation)」もしくは「実装形態(an implementation)」、ならびにそれらの他の変形への言及は、当該実施形態に関連して説明された特定の特徴、構造、特性等が、少なくとも1つの実施形態に含まれることを意味する。したがって、本文書の全体にわたって様々な箇所においてみられる、「一実施形態では」もしくは「実施形態では」または「一実装形態では」もしくは「実装形態では」という句、ならびに任意の他の変形の出現は、必ずしもすべてが同じ実施形態に言及しているわけではない。
さらに、本文書は、情報の様々な部分を「決定すること」に言及し得る。情報の決定には、例えば、情報の推定、情報の計算、情報の予測、またはメモリからの情報の取り出しのうちの1つ以上が挙げられ得る。
さらに、本文書は、情報の様々な部分に「アクセスすること」に言及する場合がある。情報へのアクセスには、例えば、情報の受信、(例えば、メモリからの)情報の取り出し、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、または情報の推定のうちの1つ以上が挙げられ得る。
さらに、本文書は、情報の様々な部分を「受信すること」に言及し得る。受信には、「アクセスすること」と同様に、広義の用語であることが意図されている。情報の受信には、例えば、情報へのアクセス、または(例えば、メモリからの)情報の取り出しのうちの1つ以上が挙げられ得る。さらに、「受信すること」は、典型的には、何らかの方法で、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、または情報の推定等の動作中に含まれる。
当業者には明らかであるように、実装形態は、例えば、記憶または送信され得る情報を搬送するようにフォーマットされる多種多様な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明される実装形態のうちの1つにより生成されたデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされてもよい。このような信号は、(例えば、スペクトルの無線周波数部分を使用して)例えば、電磁波として、またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームをコード化することと、キャリアをコード化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログまたはデジタル情報とすることができる。信号は、周知のように、種々の異なる有線または無線リンクを介して送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。
前述の説明は、いくつかの実施形態を説明した。これらの実施形態は、様々な異なるクレームカテゴリおよびタイプにわたって、以下のオプションの機能を単独でまたは任意の組み合わせで含む。
−符号化および/または復号化ツールによって生じたデータ依存関係を緩和、低減、または別の方法で変更する
−ツールにはFRUCが含まれる
−最終値ではなく予測子が使用される
−データ依存関係は、復号化されるブロックと隣接するブロックとの間の依存関係である
−ブロックの最終的な動きベクトル(または他の符号化/復号化パラメータ)値の代わりに、ブロックの動きベクトル(または例えば、量子化パラメータなどの他の符号化/復号化パラメータ)の予測子を、別のブロックの予測子として使用する。
−ブロックはCUである
−他のブロックは隣接するブロックである
−復号化と動き補償モジュールとの間のFRUCの依存関係の問題を緩和、低減、または別の方法で変更する。
−FRUCおよびICに使用される再構築サンプルを画像の領域内に制限する。
−領域はCTUの全部または一部である
−動きベクトルの復号化を動きベクトルの最終値から独立させる。
−復号化されるブロックと隣接するブロックとの間のデータ依存関係を緩和、低減、または別の方法で変更する
−FRUCモードは、CTU内のCUの使用に制限される
−FRUCモードは、データ依存関係をCTUまたは他のブロック内に限定するように制限される
−FRUCモードは、データ依存関係をCTUと1つの追加CTU内に限定するように制限される
−記載された構文要素またはその変形のうちの1つ以上を含むビットストリームまたは信号。
−デコーダが、エンコーダによって実行されるのとは逆の方法でビットストリームを処理することを可能にする信号通知構文要素に挿入する。
−記載された構文要素またはその変形のうちの1つ以上を含むビットストリームまたは信号を、作成および/または送信および/または受信および/または復号化する。
−記載された実施形態のいずれかを実行するテレビ、セットトップボックス、携帯電話機、タブレット、または他の電子デバイス。
−記載された実施形態のいずれかを実行し、結果の画像を(例えば、モニタ、スクリーン、もしくは他のタイプのディスプレイを使用して)表示するテレビ、セットトップボックス、携帯電話機、タブレット、または他の電子デバイス。
−コード化された画像を含む信号を受信するように(例えば、チューナを使用して)チャネルを調整し、記載された実施形態のいずれかを実行するテレビ、セットトップボックス、携帯電話機、タブレット、または他の電子デバイス。
−コード化された画像を含む信号を無線を介して(例えば、アンテナを使用して)受信し、記載された実施形態のいずれかを実行するテレビ、セットトップボックス、携帯電話機、タブレット、または他の電子デバイス。
他の様々な一般化され、ならびに特定化された特徴もまた、本開示全体を通してサポートおよび企図される。

Claims (15)

  1. 方法であって、
    隣接するビデオブロックから現在のビデオブロックに対する情報を、前記情報が前記隣接するビデオブロックにおける使用のために精緻化される前に、取得することと、
    前記現在のビデオブロックとの使用のために、前記情報を精緻化することと、
    隣接する符号化単位が現在の符号化ツリー単位の外側にあるときに、前記符号化単位からの動きベクトル予測子を使用し、符号化単位が現在の符号化ツリー単位内の符号化単位からの動きベクトル予測子を使用するときに、最終動きベクトルを使用することと、
    前記精緻化された情報を使用して、前記現在のビデオブロックをコード化することと、を含む、方法。
  2. ビデオブロックをコード化するための装置であって、
    メモリと、
    プロセッサと、を含み、前記プロセッサは、
    隣接するビデオブロックから現在のビデオブロックに対する情報を、前記情報が前記隣接するビデオブロックにおける使用のために精緻化される前に、取得することと、
    前記現在のビデオブロックとの使用のために、前記情報を精緻化することと、
    隣接する符号化単位が現在の符号化ツリー単位の外側にあるときに、前記符号化単位からの動きベクトル予測子を使用し、符号化単位が現在の符号化ツリー単位内の符号化単位からの動きベクトル予測子を使用するときに、最終動きベクトルを使用することと、
    前記精緻化された情報を使用して、前記現在のビデオブロックをコード化することと、を行うように構成されている、装置。
  3. 方法であって、
    再構築された隣接するビデオブロックから現在のビデオブロックに対する情報を、前記情報が前記隣接するビデオブロックにおける使用のために精緻化される前に、取得することと、
    前記現在のビデオブロックとの使用のために、前記情報を精緻化することと、
    隣接する符号化単位が現在の符号化ツリー単位の外側にあるときに、前記符号化単位からの動きベクトル予測子を使用し、符号化単位が現在の符号化ツリー単位内の符号化単位からの動きベクトル予測子を使用するときに、最終動きベクトルを使用することと、
    前記精緻化された情報を使用して、前記現在のビデオブロックを復号化することと、を含む、方法。
  4. ビデオブロックを復号化するための装置であって、
    メモリと、
    プロセッサと、を含み、前記プロセッサは、
    再構築された隣接するビデオブロックから現在のビデオブロックに対する情報を、前記情報が前記隣接するビデオブロックにおける使用のために精緻化される前に、取得することと、
    前記現在のビデオブロックとの使用のために、前記情報を精緻化することと、
    隣接する符号化単位が現在の符号化ツリー単位の外側にあるときに、前記符号化単位からの動きベクトル予測子を使用し、符号化単位が現在の符号化ツリー単位内の符号化単位からの動きベクトル予測子を使用するときに、最終動きベクトルを使用することと、
    前記精緻化された情報を使用して、前記現在のビデオブロックを復号化することと、を行うように構成されている、装置。
  5. 前記情報は、動きベクトル予測子を含み、
    前記現在のビデオブロックのための前記動きベクトル予測子の前記精緻化は、動きベクトルを生成するためのフレームレートアップ変換を含み、
    前記コード化は、前記現在のブロックに、前記動きベクトルを使用することを含む、請求項1もしくは3に記載の方法、または請求項2もしくは4に記載の装置。
  6. 前記動きベクトル予測子の前記精緻化は、テンプレートマッチングに基づいている、請求項5に記載の方法。
  7. 前記テンプレートマッチングは、前記現在のビデオブロックを含む符号化ツリー単位に限定される、請求項6に記載の方法。
  8. 隣接する符号化単位が現在の符号化ツリー単位の外側にあるときに、前記符号化単位からの動きベクトル予測子を使用し、符号化単位が現在の符号化ツリー単位内の符号化単位からの動きベクトル予測子を使用するときに、最終動きベクトルを使用する、請求項5に記載の方法。
  9. 動きベクトル予測子は、候補のリストに追加される前に、前記リストにあるかどうかを確認するためにチェックされる、請求項1もしくは3に記載の方法、または請求項2もしくは4に記載の装置。
  10. 前記精緻化を信号通知するために構文が使用される、請求項1もしくは3に記載の方法、または請求項2もしくは4に記載の装置。
  11. 前記精緻化は、輝度補償を含む、請求項1もしくは3に記載の方法、または請求項2もしくは4に記載の装置。
  12. デバイスであって、
    請求項4〜11のいずれかに記載の装置と、
    (i)無線で信号を受信するように構成されたアンテナであって、前記信号は、前記ビデオブロックを含む、アンテナ、(ii)前記受信した信号を、前記ビデオブロックを含む周波数の帯域に制限するように構成された帯域制限器、および(iii)出力を表示するように構成されたディスプレイ、のうちの少なくとも1つと、を含む、デバイス。
  13. プロセッサを使用する再生のために、請求項1および5〜12のいずれか一項に記載の方法に従って、または請求項2および5〜12のいずれか一項に記載の装置によって生成されたデータコンテンツを含む、非一時的なコンピュータ可読媒体。
  14. プロセッサを使用する再生のために、請求項1および5〜12のいずれか一項の方法に従って、または請求項2および5〜12のいずれか一項に記載の装置によって生成されたビデオデータを含む、信号。
  15. コンピュータによって実行されたときに、前記コンピュータに、請求項3および5〜12のいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム製品。
JP2020555401A 2018-05-07 2019-04-26 コード化/復号化におけるデータ依存関係 Active JP7395497B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023202231A JP2024023456A (ja) 2018-05-07 2023-11-29 コード化/復号化におけるデータ依存関係

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18305567.2 2018-05-07
EP18305567 2018-05-07
EP18305852.8A EP3591974A1 (en) 2018-07-02 2018-07-02 Data dependency in encoding/decoding
EP18305852.8 2018-07-02
PCT/US2019/029305 WO2019217095A1 (en) 2018-05-07 2019-04-26 Data dependency in encoding/decodiing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023202231A Division JP2024023456A (ja) 2018-05-07 2023-11-29 コード化/復号化におけるデータ依存関係

Publications (3)

Publication Number Publication Date
JP2021521692A true JP2021521692A (ja) 2021-08-26
JPWO2019217095A5 JPWO2019217095A5 (ja) 2022-04-26
JP7395497B2 JP7395497B2 (ja) 2023-12-11

Family

ID=66380215

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020555401A Active JP7395497B2 (ja) 2018-05-07 2019-04-26 コード化/復号化におけるデータ依存関係
JP2023202231A Pending JP2024023456A (ja) 2018-05-07 2023-11-29 コード化/復号化におけるデータ依存関係

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023202231A Pending JP2024023456A (ja) 2018-05-07 2023-11-29 コード化/復号化におけるデータ依存関係

Country Status (7)

Country Link
US (2) US20210076058A1 (ja)
EP (1) EP3791581A1 (ja)
JP (2) JP7395497B2 (ja)
KR (1) KR20210006355A (ja)
CN (1) CN112088532A (ja)
BR (1) BR112020022234A2 (ja)
WO (1) WO2019217095A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3804325A1 (en) * 2018-05-28 2021-04-14 InterDigital VC Holdings, Inc. Data dependency in coding/decoding
WO2023090613A1 (ko) * 2021-11-19 2023-05-25 현대자동차주식회사 템플릿 매칭 기반의 인트라 예측을 사용하는 비디오 코딩을 위한 방법 및 장치
CN115278260A (zh) * 2022-07-15 2022-11-01 重庆邮电大学 基于空时域特性的vvc快速cu划分方法及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180041769A1 (en) * 2016-08-08 2018-02-08 Mediatek Inc. Pattern-based motion vector derivation for video coding
US20200186827A1 (en) * 2017-09-26 2020-06-11 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US20200374513A1 (en) * 2018-03-30 2020-11-26 Vid Scale, Inc. Template-based inter prediction techniques based on encoding and decoding latency reduction

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
PL400344A1 (pl) * 2012-08-13 2014-02-17 Politechnika Poznanska Sposób wyznaczania predyktora wektora ruchu
KR20220131366A (ko) * 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
CN107113424B (zh) * 2014-11-18 2019-11-22 联发科技股份有限公司 以帧间预测模式编码的块的视频编码和解码方法
US9948930B2 (en) * 2016-05-17 2018-04-17 Arris Enterprises Llc Template matching for JVET intra prediction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180041769A1 (en) * 2016-08-08 2018-02-08 Mediatek Inc. Pattern-based motion vector derivation for video coding
US20200186827A1 (en) * 2017-09-26 2020-06-11 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
JP2021048619A (ja) * 2017-09-26 2021-03-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 符号化装置及び符号化方法
US20200374513A1 (en) * 2018-03-30 2020-11-26 Vid Scale, Inc. Template-based inter prediction techniques based on encoding and decoding latency reduction
JP2021518059A (ja) * 2018-03-30 2021-07-29 ヴィド スケール インコーポレイテッド エンコーディングおよびデコーディングのレイテンシ低減に基づく、テンプレートによるインター予測技術

Also Published As

Publication number Publication date
EP3791581A1 (en) 2021-03-17
KR20210006355A (ko) 2021-01-18
US20230097304A1 (en) 2023-03-30
CN112088532A (zh) 2020-12-15
JP7395497B2 (ja) 2023-12-11
JP2024023456A (ja) 2024-02-21
BR112020022234A2 (pt) 2021-02-02
US20210076058A1 (en) 2021-03-11
WO2019217095A8 (en) 2020-11-26
WO2019217095A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
US11490112B2 (en) Motion vector predictor candidates ordering in merge list
US20230097304A1 (en) Data dependency in encoding/decoding
US20230232037A1 (en) Unified process and syntax for generalized prediction in video coding/decoding
JP2022510120A (ja) コード化ツールの組み合わせおよび制限の管理
JP2022502905A (ja) 双予測を使用するビデオエンコーディングおよびデコーディングのための方法および装置
US20240187568A1 (en) Virtual temporal affine candidates
KR20210069715A (ko) 비디오 인코딩 및 디코딩의 아핀 모드 시그널링
KR20220123666A (ko) 가중-예측 파라미터들의 추정
WO2020263799A1 (en) High level syntax for controlling the transform design
JP2022529104A (ja) 境界平滑化された動き補償に基づくオプティカルフローによるビデオ符号化および復号化の方法および装置
EP4320862A1 (en) Geometric partitions with switchable interpolation filter
JP2021526325A (ja) 符号化/復号化におけるデータ依存関係
US20220264147A1 (en) Hmvc for affine and sbtmvp motion vector prediction modes
US20220368912A1 (en) Derivation of quantization matrices for joint cb-br coding
EP3591974A1 (en) Data dependency in encoding/decoding
US20230336721A1 (en) Combining abt with vvc sub-block-based coding tools
EP3606075A1 (en) Virtual temporal affine motion vector candidates
WO2023046518A1 (en) Extension of template based intra mode derivation (timd) with isp mode
KR20240056576A (ko) 템플릿 매칭에 기초한 비디오 인코딩 및 디코딩을 위한 크로마 예측
JP2024513657A (ja) ビデオエンコード及びデコードのためのテンプレートマッチング予測
KR20220052991A (ko) 스위칭가능한 보간 필터들
CN114073093A (zh) 三角形分割的合并索引的信令通知
CN118120228A (zh) 基于模板匹配的用于视频编码和解码的色度预测
KR20210074388A (ko) 코딩 유형 또는 코딩 트리 유형의 시그널링을 이용한 비디오 인코딩 및 디코딩을 위한 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231129

R150 Certificate of patent or registration of utility model

Ref document number: 7395497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150