JP2021513303A - ビデオ復号化のための方法、装置およびコンピュータプログラム - Google Patents

ビデオ復号化のための方法、装置およびコンピュータプログラム Download PDF

Info

Publication number
JP2021513303A
JP2021513303A JP2020563844A JP2020563844A JP2021513303A JP 2021513303 A JP2021513303 A JP 2021513303A JP 2020563844 A JP2020563844 A JP 2020563844A JP 2020563844 A JP2020563844 A JP 2020563844A JP 2021513303 A JP2021513303 A JP 2021513303A
Authority
JP
Japan
Prior art keywords
unit
chromaticity
luminance
coding
processing circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020563844A
Other languages
English (en)
Other versions
JP7208261B2 (ja
Inventor
シュ,シアオゾン
リ,シアン
リィウ,シャン
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2021513303A publication Critical patent/JP2021513303A/ja
Application granted granted Critical
Publication of JP7208261B2 publication Critical patent/JP7208261B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

本開示の態様は、ビデオ符号化のための方法および装置を提供する。いくつかの例では、装置は、ビデオ復号化のための処理回路を含む。この処理回路は、色度符号化ユニットの色度ユニットと同一の場所に配置された輝度符号化ユニットの輝度ユニットを位置決めし、次に、輝度ユニットでのフレーム内ブロックコピーモードの普遍性を決定する。さらに、この処理回路は、普遍性が要件を満たす場合、色度符号化ユニットの色度ユニットのブロックベクトルを決定し、ブロックベクトルに基づいて、色度ユニットの少なくとも1つのサンプルを再構築する。

Description

[関連出願への相互参照]
本開示は、2018年2月5日に提出された米国仮出願第62/626,571号「個別の符号化/復号化ツリーハンドリングによるフレーム内画像ブロック補償の方法」に対する優先権および2018年11月28日に提出された米国出願第16/203,224号「ビデオ符号化/復号化のための方法および装置」に対する優先権を主張し、それらの全体が参照により本明細書に組み込まれる。
[技術分野]
本開示は、概してビデオ符号化/復号化に関連する実施形態を説明する。
本明細書で提供される背景技術の説明は、本開示のコンテキストを全体的に示すことを目的とする。この背景技術部分及び本明細書の各態様において説明された、現在署名されている発明者の研究は、本開示の提出時に先行技術として示されていない可能性があり、また、明示的にも黙示的にも本開示の先行技術として認めていない。
ビデオ符号化と復号化は、動き補償を有するフレーム間画像予測を用いて実行されることができる。圧縮されていないデジタルビデオは、一連の画像を含むことができ、各画像が、例えば1920×1080の輝度サンプルおよび関連付けられた色度サンプルの空間的次元を有する。この一連の画像は、例えば1秒間に60枚の画像または60ヘルツ(Hz)の固定または可変の画像レート(非公式にはフレームレートとして知られている)を有することができる。圧縮されていないビデオには、非常に高いビットレート要件がある。例えば、サンプルあたり8ビットの1080p60 4:2:0のビデオ(60Hzのフレームレートでの1920x1080の輝度サンプル解像度)は、1.5Gbit/sの帯域幅に近い必要がある。このようなビデオは、一時間で600GB以上の記憶空間を必要とする。
ビデオ符号化および復号化の1つの目的は、入力ビデオ信号における冗長情報を圧縮により低減することである。圧縮は、上記の帯域幅または記憶空間に対する要件を低減することを助けることができ、いくつかの場合では、二桁以上程度を低減することができる。無損失性および損失性の圧縮、ならびに両方の組み合わせは、いずれも使用されることができる。無損失性の圧縮とは、元の信号の正確なコピーを圧縮された元の信号から再構築することができる、という技術を指す。損失性の圧縮が使用される場合、再構築された信号は、元の信号と同一ではない可能性があるが、元の信号と再構築された信号との間の歪みが十分に小さいので、再構築された信号が予想されるアプリケーションに利用されることができる。ビデオの場合、損失性の圧縮は広く使われている。許容される歪みの量は、アプリケーションに依存し、例えば、あるストリーミングアプリケーションを消費するユーザは、テレビ配信アプリケーションのユーザより、高い歪みを許容することができる。実現可能な圧縮比は、より高い許可/許容可能な歪みがより高い圧縮比を生成することができる、ということを反映している。
ビデオエンコーダおよびデコーダは、例えば動き補償、変換、量子化およびエントロピー符号化を含む、いくつかの広範なカテゴリからの技術を利用することができる。
ビデオ符号化/復号化技術は、フレーム内符号化として知られている技術を含むことができる。フレーム内符号化では、サンプル値は、以前に再構築された参照画像からのサンプルまたは他のデータを参照せずに表現される。いくつかのビデオコーデックでは、画像は空間的にサンプルブロックに細分される。すべてのサンプルブロックがフレーム内モードで符号化された場合、その画像はフレーム内画像とすることができる。独立したデコーダリフレッシュ画像などのようなフレーム内画像およびそれらの派生は、デコーダの状態をリセットするために使用されることができ、したがって、符号化されたビデオビットストリームおよびビデオセッション中の1番目の画像または静止画像として使用されることができる。フレーム内ブロックのサンプルは変換に用いられ、また、変換係数はエントロピー符号化の前に量子化されることができる。フレーム内予測は、プリ変換ドメインにおけるサンプル値を最小化する技術であることができる。いくつかの場合では、変換後のDC値が小さくなり、AC係数が小さくなるほど、エントロピー符号化後のブロックを表すために、与えられた量子化ステップサイズで必要なビットが少なくなる。
例えばMPEG―2符号化技術から知られているような従来のフレーム内符号化は、フレーム内予測を使用していない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、周囲のサンプルデータおよび/またはメタデータからデータブロックを取得しようとする技術を含み、周囲のサンプルデータおよび/またはメタデータは、空間的に隣接するブロックの符号化/復号化期間で、かつ、復号化順の前に得られたものである。このような技術は、以降「フレーム内予測」技術と呼ばれる。少なくともいくつかの場合では、フレーム内予測は、参照画像からの参照データを使用せずに、再構築中の現在画像からの参照データのみを使用する、ということに留意されたい。
多くの異なる形態のフレーム内予測が存在することができる。与えられたビデオ符号化技術では、このような技術のうちの2つ以上を使用することができる場合、使用中の技術は、フレーム内予測モードで符号化を行うことができる。いくつかの場合では、モードは、サブモードおよび/またはパラメータを有してもよいし、これらのモードが、単独で符号化されてもよく、またはモードコードワードに含まれてもよい。どのコードワードを与えられたモード/サブモード/パラメータの組み合わせに使用するかは、フレーム内予測によって符号化効率利得に影響を及ぼすので、コードワードをビットストリームに変換するために使用されるエントロピー符号化技術には、このような場合もある。
フレーム内予測の特定のモードは、H.264で導入され、H.265において改善され、また、共同探索モデル(JEM:joint exploration model)、汎用ビデオ符号化(VVC:versatile video coding)、ベンチマークセット(BMS:benchmark set)などの、更新しい符号化/復号化技術においてさらに改善される。予測ブロックは、既に利用可能なサンプルに属する、隣接するサンプル値を使用して形成されることができる。隣接するサンプルのサンプル値は、ある方向に従って予測ブロックにコピーされる。使用中の方向への参照は、ビットストリームに符号化されてもよく、または、その自身が予測されてもよい。
図1を参照して、右下には、H.265の35個の予測可能な方向から知られている9つの予測方向のサブセットが描かれている。矢印が収束する点(101)は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印(102)は、サンプル(101)が水平から45度の角度になる右上の1つ以上のサンプルから予測されることを示す。同様に、矢印(103)は、サンプル(101)が水平から22.5度の角度にあるサンプル(101)の左下の1つ以上のサンプルから予測されることを示す。
引き続き図1を参照すると、左上には4×4のサンプルの正方形ブロック(104)が描かれている(太い破線で示される)。正方形ブロック(104)は、16個のサンプルを含み、各サンプルが、「S」と、Y次元(例えば、行索引)での位置と、X次元(例えば、列索引)での位置とでラベル付けられている。例えば、サンプルS21は、Y次元での2番目のサンプル(上から)とX次元での1番目のサンプル(左から)である。同様に、サンプルS44は、Y次元およびX次元の両方でのブロック(104)の4番目のサンプルである。このブロックが4×4サイズのサンプルであるため、S44は右下にある。さらに、同様の番号付けスキームに従う参照サンプルも示されている。参照サンプルは、「R」と、ブロック(104)に対するY位置(例えば、行索引)およびX位置(例えば、列索引)とでラベル付けられている。H.264とH.265の両方では、予測サンプルは再構築中のブロックに隣接しているので、負の値を使用する必要はない。
フレーム内画像予測は、シグナルで通知された予測方向に応じて、隣接するサンプルから参照サンプル値をコピーすることによって機能することができる。例えば、符号化されたビデオビットストリームには、シグナリングが含まれていると仮定すると、このシグナリングは、このブロックに対して、矢印(102)と一致する予測方向を示し、すなわち、サンプルが水平と45度の角度になる右上の1つ以上の予測サンプルから予測される。この場合、サンプルS41、S32、S23、S14は、同じ参照サンプルR05から予測される。そして、サンプルS44は、参照サンプルR08から予測される。
いくつかの場合では、参照サンプルを計算するために、特に、方向が45度で均等に割り切れない場合、例えば、補間を通じて複数の参照サンプルの値を組み合わせることができる。
ビデオ符号化技術の発展につれて、可能な方向の数が既に増加された。H.264(2003年)では、9つの異なる方向を表すことができた。これは、H.265(2013年)で33個に増加し、JEM/VC/BMSは、開示時点で最多65個の方向をサポートすることができる。最も可能な方向を識別するための実験が行われ、そして、エントロピー符号化におけるいくつかの技術は、少数のビットでそれらの可能性がある方向を表すために使用され、可能性が低い方向に対して、いくつかの代償を受ける。さらに、方向の自体は、隣接する既に復号化されたブロックで使用される隣接する方向から予測されることができる場合がある。
図2は、時間の経過とともに増加する予測方向の数を説明するために、JEMによる65個のフレーム内予測方向を描く概略図(201)を示す。
フレーム内予測方向から符号化されたビデオビットストリームにおける方向を表すビットへのマッピングは、ビデオ符号化技術によって異なる可能性があり、また、例えば、予測方向への簡単な直接マッピングから、フレーム内予測モード、コードワード、最も可能性が高いモードを含む複雑な適応スキーム、および類似な技術まで、様々なものがある。しかしながら、すべての場合に、ビデオコンテンツにおいて、他の特定の方向よりも統計的に発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の削減であるため、それらの可能性が低い方向は、適切に機能するビデオ符号化技術では、可能性が高い方向よりも多くのビットで表される。
本開示の態様は、ビデオ符号化/復号化のための方法及び装置を提供する。いくつかの例では、装置はビデオ復号化のための処理回路を含む。処理回路は、色度符号化ユニットの色度ユニットと同一の場所に配置された(co−located)輝度符号化ユニットの輝度ユニットを位置決めし、次に、輝度ユニットでのフレーム内ブロックコピーモードの普遍性を決定する。さらに、処理回路は、普遍性が要件を満たす場合、色度符号化ユニットにおける色度ユニットのブロックベクトルを決定し、ブロックベクトルに基づいて、色度ユニットの少なくとも1つのサンプルを再構築する。
本開示の一態様によれば、処理回路は、すべての輝度ユニットがフレーム内ブロックコピーモードで符号化を行った場合、輝度ユニットに基づいて、色度符号化ユニットにおける色度ユニットのブロックベクトルを決定する。例えば、処理回路は、色度符号化ユニットにおける色度ユニットと同一の場所に配置された特定の輝度ユニットを位置決めし、色度ユニットの特定の輝度ユニットに関連付けられているブロックベクトルを決定する。
本開示の別の態様によれば、処理回路は、輝度ユニットでのフレーム内ブロックコピーモードの普遍性の割合が第1閾値より高い場合、同一の場所に配置された輝度ユニットに基づいて、色度符号化ユニットにおける色度ユニットのブロックベクトルを決定する。例えば、処理回路は、色度ユニットと同一の場所に配置された特定の輝度ユニットがフレーム内ブロック符号化モードで符号化を行った場合、特定の輝度ユニットのブロックベクトルを色度ユニットに関連付ける。処理回路は、色度ユニットと同一の場所に配置された特定の輝度ユニットがフレーム内ブロック符号化モード以外のモードで符号化を行った場合、隣接する色度ユニットに基づいて、前記色度ユニットのブロックベクトルを決定する。一実施形態では、処理回路は、シーケンスパラメータセット(SPS)、画像パラメータセット(PPS)およびスライスヘッダのうちの少なくとも1つから、第1閾値を復号化する。いくつかの実施形態では、処理回路は、輝度ユニットでのフレーム内ブロックコピーモードの普遍性の割合が第1閾値より低い第2閾値を下回っている場合、色度符号化ユニットに対して、フレーム内ブロックコピーモードを無効にする。一実施形態では、処理回路は、輝度符号化ユニットの少なくとも1つの輝度ユニットがフレーム内ブロックコピーモードで符号化されていない場合、色度符号化ユニットに対して、フレーム内ブロックコピーモードを無効にする。
本開示の別の態様によれば、処理回路は、非フレーム内ブロックコピーモードが輝度ユニットに存在する場合、色度符号化ユニットを色度符号化サブユニットに分割し、それぞれの色度符号化サブユニットがフレーム内ブロックコピーモードを使用して復号化できるかどうかを判定する。一実施形態では、処理回路は、色度符号化ユニットに関連付けられた分割フラグを検出し、分割フラグに応答して、色度符号化ユニットを色度符号化サブユニットに分割する。
本開示の態様はまた、命令が記憶されている不揮発性コンピュータ読み取り可能な記憶媒体を提供し、前記命令がコンピュータによって実行された場合、ビデオ復号化のために、コンピュータに前記ビデオ符号化のための方法を実行させる。
開示された主題の更なる特徴、性質、および様々な利点は、以下の詳細な説明および添付図面からより明らかになり、ここで、
フレーム内予測モードのサブセットの概略図である。 フレーム内予測方向の概略図である。 一実施形態による通信システム(300)の簡略化されたブロック図の概略図である。 一実施形態による通信システム(400)の簡略化されたブロック図の概略図である。 一実施形態によるデコーダの簡略化されたブロック図の概略図である。 一実施形態によるエンコーダの簡略化されたブロック図の概略図である。 別の実施形態によるエンコーダのブロック図を示す図である。 別の実施形態によるデコーダのブロック図を示す図である。 本開示の一実施形態によるフレーム内ブロックコピーの例を示す図である。 本発明の一実施形態による色度符号化ユニットと、同一の場所に配置された輝度ユニットの例を示す図である。 本開示の一実施形態による空間隣接ブロックから色度ブロックベクトルを導出する例を示す図である。 本開示の実施形態によるプロセスを概説するフローチャートを示す図である。 本実施形態によるコンピュータシステムの概略図である。
図3は、本開示の実施形態による通信システム(300)の簡略化されたブロック図である。通信システム(300)は、例えばネットワーク(350)を介して相互に通信することができる複数の端末デバイスを含む。例えば、通信システム(300)は、ネットワーク(350)を介して相互接続された第1ペアの端末デバイス(310)と(320)を含む。図3の例では、第1ペアの端末デバイス(310)と(320)は、データの単方向伝送を行う。例えば、端末デバイス(310)は、ネットワーク(350)を介して他の端末デバイス(320)に伝送するために、ビデオデータ(例えば、端末デバイス(310)によって捕捉されたビデオ画像ストリーム)を符号化することができる。符号化されたビデオデータは、1つ以上の符号化されたビデオビットストリームの形で伝送されることができる。端末デバイス(320)は、ネットワーク(350)から、符号化されたビデオデータを受信し、符号化されたビデオデータを復号化してビデオ画像を復元し、復元されたビデオデータに基づいてビデオ画像を表示することができる。単方向データ伝送は、メディアサービングアプリケーションなどでは一般的である。
別の例では、通信システム(300)は、例えばビデオ会議中に発生する可能性がある、符号化されたビデオデータの双方向伝送を実行する第2ペアの端末デバイス(330)と(340)を含む。データの双方向伝送の場合、一例では、端末デバイス(330)と(340)の各端末デバイスは、ネットワーク(350)を介して端末デバイス(330)と(340)のうちの他方の端末デバイスに送信するために、ビデオデータ(例えば、端末デバイスによって捕捉されたビデオ画像ストリーム)を符号化することができる。端末デバイス(330)と(340)の各端末デバイスは、端末デバイス(330)と(340)のうちの他方の端末デバイスによって送信された、符号化されたビデオデータを受信することもでき、また、符号化されたビデオデータを復号化してビデオ画像を復元し、復元されたビデオデータに基づいて、アクセス可能な表示デバイスにビデオ画像を表示することもできる。
図3の例では、端末デバイス(310)、(320)、(330)および(340)は、サーバ、パーソナルコンピュータおよびスマートフォンとして示されてもよいが、本開示の原理は、これに限定されていない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤーおよび/または専用のビデオ会議機器を有するアプリケーションを見つける。ネットワーク(350)は、端末デバイス(310)、(320)、(330)および(340)間で、符号化されたビデオデータを伝送する任意の数のネットワークを表し、有線(ワイヤード)および/または無線の通信ネットワークを含む。通信ネットワーク(350)は、回路交換および/またはパケット交換のチャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび/またはインターネットを含む。本開示の目的のために、ネットワーク(350)のアーキテクチャおよびトポロジは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではない場合がある。
図4は、開示された主題に対するアプリケーションの例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示された主題は、例えば、CD、DVD、メモリスティックなどを含むデジタルメディアへの圧縮されたビデオの記憶、ビデオ会議、デジタルTVなどを含む、他のビデオサポートアプリケーションにも同等に適用可能である。
ストリーミングシステムは、捕捉サブシステム(413)を含むことができ、この捕捉サブシステムが、例えばデジタルカメラなどのビデオソース(401)を含むことができ、例えば圧縮されていないビデオ画像ストリーム(402)を作成する。一例では、ビデオ画像ストリーム(402)は、デジタルカメラによって撮影されたサンプルを含む。符号化されたビデオデータ(404)(または符号化されたビデオビットストリーム)と比較する際に、高いデータボリュームを強調するために太い線で描かれたビデオ画像ストリーム(402)は、ビデオソース(401)に結合されたビデオエンコーダ(403)を含む電子デバイス(420)によって処理されることができる。ビデオエンコーダ(403)は、以下でより詳細に説明するように、開示された主題の様々な態様を可能にするかまたは実現するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオ画像ストリーム(402)と比較する際に、より低いデータボリュームを強調するために細い線で描かれた、符号化されたビデオデータ(404)(または符号化されたビデオビットストリーム(404))は、将来の使用のためにストリーミングサーバ(405)に記憶されることができる。図4のクライアントサブシステム(406)および(408)などのような1つ以上のストリーミングクライアントサブシステムは、符号化されたビデオデータ(404)のコピー(407)および(409)を検索するために、ストリーミングサーバー(405)にアクセスすることができる。クライアントサブシステム(406)は、例えば、電子デバイス(430)にビデオデコーダ(410)を含むことができる。ビデオデコーダ(410)は、伝入される、符号化されたビデオデータのコピー(407)を復号化して、伝出される、ビデオ画像ストリーム(411)を生成し、このビデオ画像ストリーム(411)が、ディスプレイ(412)(例えば、ディスプレイスクリーン)または他のレンダリングデバイス(図示せず)に表示されることができる。一部のストリーミングシステムでは、符号化されたビデオデータ(404)、(407)および(409)(例えば、ビデオビットストリーム)は、特定のビデオ符号化/圧縮規格に従って符号化されることができる。これらの規格の例は、ITU−T推薦H.265を含む。一例では、開発中のビデオ符号化規格は、非公式には次世代ビデオ符号化(VVC:Versatile Video Coding)と呼ばれる。開示された主題は、VVCのコンテキストで使用されることができる。
なお、電子デバイス(420)および(430)は、他のコンポーネント(図示せず)を含むことができる。例えば、電子デバイス(420)は、ビデオデコーダ(図示せず)を含むことができ、電子デバイス(430)は、同様にビデオエンコーダ(図示せず)を含むことができる。
図5は、本開示の実施形態によるビデオデコーダ(510)のブロック図を示す。ビデオデコーダ(510)は、電子デバイス(530)に含まれることができる。電子デバイス(530)は、受信機(531)(例えば、受信回路)を含むことができる。ビデオデコーダ(510)は、図4の例におけるビデオデコーダ(410)の代わりに使用することができる。
受信機(531)は、ビデオデコーダ(510)によって復号化される1つ以上の符号化されたビデオシーケンスを受信することができ、同じまたは別の実施形態では、一度に1つの符号化されたビデオシーケンスを受信することができ、ここで、各符号化されたビデオシーケンスの復号化が、他の符号化されたビデオシーケンスから独立されている。符号化されたビデオシーケンスは、チャネル(501)から受信されることができ、このチャネルが、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアのリンクであってもよい。受信機(531)は、それぞれの使用エンティティ(図示せず)に伝送されることができる、例えば符号化されたオーディオデータおよび/または補助データストリームなどのような他のデータとともに、符号化されたビデオデータを受信することができる。受信機(531)は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ(515)は、受信機(531)とエントロピーデコーダ/解析器(Parser)(520)(以降「解析器(520)」)との間に結合されることができる。いくつかのアプリケーションでは、バッファメモリ(515)は、ビデオデコーダ(510)の一部である。他の場合では、バッファメモリ(515)は、ビデオデコーダ(510)の外部に配置されてもよい(図示せず)。さらに他の場合では、例えばネットワークジッタを防止するために、ビデオデコーダ(510)の外部にバッファメモリ(図示せず)があり得て、さらに、例えば再生タイミングを処理するために、ビデオデコーダ(510)の内部に別のバッファメモリ(515)があり得る。受信機(531)が十分な帯域幅および制御可能性を有するストア/フォワードデバイスからまたは等時性同期ネットワーク(isosynchronous network)からデータを受信する場合、バッファメモリ(515)は、必要ではないかまたは小さくてもよい。インターネットなどのようなベストエフォートパケットネットワークで使用するために、バッファメモリ(515)は、必要になる場合があり、比較的大きくすることができ、有利には適応性のサイズにすることができ、オペレーティングシステムまたはビデオデコーダ(510)の外部の類似要素(図示せず)に少なくとも部分的に実装されることができる。
ビデオデコーダ(510)は、符号化されたビデオシーケンスからシンボル(521)を再構築するための解析器(520)を含むことができる。これらのシンボルのカテゴリには、ビデオデコーダ(510)の動作を管理するために使用される情報と、電子デバイス(530)の不可欠な部分ではないが、図5に示すように、電子デバイス(530)に結合されることができるレンダリングデバイス(512)(例えば、ディスプレイスクリーン)などのようなレンダリングデバイスを制御するための潜在的情報とが含まれる。レンダリングデバイスの制御情報は、補足強化情報(SEIメッセージ)またはビジュアルユーザビリティ情報(VUI)パラメータセットフラグメント(図示せず)の形であってもよい。解析器(520)は、受信された、符号化されたビデオシーケンスに対して解析/エントロピー復号化を行うことができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術または規格に従うことができ、可変長符号化、ハフマン符号化、コンテキスト感度を有するかまたは有しないかの算術符号化などを含む、様々な原理に従うことができる。解析器(520)は、グループに対応する少なくとも1つのパラメータに基づいて、符号化されたビデオシーケンスから、ビデオデコーダにおける画素のサブグループのうちの少なくとも1つのサブグループパラメータのセットを抽出することができる。サブグループは、画像のグループ(GOP:Group of Pictures)、画像、タイル、スライス、マクロブロック、符号化ユニット(CU:Coding Unit)、ブロック、変換ユニット(TU:Trans form Unit)、予測ユニット(PU:Prection Unit)などを含むことができる。解析器(520)は、変換係数、量子化器パラメータ値、動きベクトルなどのような情報を符号化されたビデオシーケンスから抽出することもできる。
解析器(520)は、シンボル(521)を作成するために、バッファメモリ(515)から受信されたビデオシーケンスに対してエントロピー復号化/解析動作を実行することができる。
シンボル(521)の再構築は、符号化されたビデオ画像またはその一部(例えば、フレーム間画像およびフレーム内画像、フレーム間ブロックおよびフレーム内ブロック)のタイプおよび他の要因に応じて、複数の異なるユニットに関連することができる。どのようなユニットに関連するか、およびどのように関連するかは、解析器(520)によって、符号化されたビデオシーケンスから解析されたサブグループ制御情報によって制御されることができる。解析器(520)と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明瞭にするために示されていない。
既に言及された機能ブロックに加えて、ビデオデコーダ(510)は、以下に説明するように、いくつかの機能ユニットに概念的に細分されることができる。商業的制約で動作する実際の実施形態では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的には互いに統合されることができる。しかしながら、開示された主題を説明する目的のために、以下の機能ユニットへの概念的な細分は適切である。
第1ユニットは、スケーラ/逆変換ユニット(551)である。スケーラ/逆変換ユニット(551)は、量子化された変換係数と、どのような変換を使用するかということ、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報とを、解析器(520)からシンボル(521)として受信する。スケーラ/逆変換ユニット(551)は、アグリゲータ(555)に入力できるサンプル値を含むブロックを出力することができる。
いくつかの場合では、スケーラ/逆変換ユニット(551)の出力サンプルは、フレーム内符号化ブロックに属することができ、即ち、以前に再構築された画像からの予測情報を使用していないが、現在画像の以前に再構築された部分からの予測情報を使用することができるブロックである。このような予測情報は、フレーム内画像予測ユニット(552)によって提供されてもよい。いくつかの場合では、フレーム内画像予測ユニット(552)は、現在画像バッファ(558)から抽出された、周囲の既に再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在画像バッファ(558)は、例えば、部分的に再構築された現在画像および/または完全に再構築された現在画像をバッファリングする。アグリゲータ(555)は、いくつかの場合では、サンプルごとに基づいて、フレーム内予測ユニット(552)によって生成された予測情報を、スケーラ/逆変換ユニット(551)によって提供される出力サンプル情報に追加する。
他の場合では、スケーラ/逆変換ユニット(551)の出力サンプルは、フレーム間符号化されたブロックおよび潜在的に動き補償されたブロックに属することができる。このような場合、動き補償予測ユニット(553)は、参照画像メモリ(557)にアクセスして、予測に用いられるサンプルを抽出することができる。抽出されたサンプルが、ブロックに関連するシンボル(521)に基づいて動き補償された後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ(555)によってスケーラ/逆変換ユニット(551)の出力(この場合、残差サンプルまたは残差信号と呼ばれる)に追加されることができる。動き補償予測ユニット(553)が予測サンプルを抽出するときの参照画像メモリ(557)内のアドレスは、例えば、X、Y、および参照画像成分を有することができるシンボル(521)の形で、動き補償予測ユニット(553)に利用可能な動きベクトルによって制御されることができる。動き補償は、サブサンプルの正確な動きベクトルが使用中であるときに、参照画像メモリ(557)から抽出されたサンプル値の補間、運動ベクトル予測メカニズムなどを含むこともできる。
アグリゲータ(555)の出力サンプルは、ループフィルタユニット(556)において様々なループフィルタリング技術によって採用されてもよい。ビデオ圧縮技術は、符号化されたビデオシーケンス(符号化されたビデオビットストリームとも呼ばれる)に含まれ、解析器(520)からのシンボル(521)としてループフィルタユニット(556)に利用可能になるパラメータによって制御されるループ内フィルタ技術を含むことができ、また、符号化された画像または符号化されたビデオシーケンスの前の部分(復号化順序で)を復号化する期間で得られたメタ情報に応答し、および、以前に再構築されてループフィルタリングされたサンプル値に応答することもできる。
ループフィルタユニット(556)の出力は、レンダリングデバイス(512)に出力することができ、および、将来のフレーム間画像予測で使用するために参照画像メモリ(557)に記憶することができるサンプルストリームとすることができる。
特定の符号化された画像は、完全に再構築されると、将来の予測のための参照画像として使用することができる。例えば、現在画像に対応する符号化された画像が完全に再構築され、符号化された画像が(例えば、解析器(520)によって)参照画像として識別されると、現在画像バッファ(558)は、参照画像メモリ(557)の一部になることができ、そして、後続の符号化された画像の再構築を開示する前に、新しい現在画像バッファを再割り当てることができる。
ビデオデコーダ(510)は、例えばITU−T Rec.H.265.などのような規格における所定のビデオ圧縮技術に従って復号化動作を実行することができる。符号化されたビデオシーケンスは、符号化されたビデオシーケンスがビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格の文書としてのプロファイルとの両方に従うという意味で、使用されているビデオ圧縮技術または規格によって指定された構文に従うことができる。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、そのプロファイルで使用できる唯一のツールとしていくつかのツールを選択することができる。符号化されたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格の階層によって定義された範囲内にあるということもコンプライアンスに必要である。いくつかの場合では、階層は、最大画像サイズ、最大フレームレート、(例えば、毎秒メガ(mega)個のサンプルを単位として測定された)最大再構築サンプルレート、最大参照画像サイズなどを制限する。階層によって設定された制限は、いくつかの場合では、仮想参照デコーダ(HRD:Hypthetical Reference Decoder)仕様と、符号化されたビデオシーケンスにおいてシグナルで通知されるHRDバッファ管理のメタデータとによって、さらに制限されることができる。
一実施形態では、受信機(531)は、符号化されたビデオとともに付加(冗長)的なデータを受信することができる。付加的なデータは、符号化されたビデオシーケンスの一部として含まれることができる。付加的なデータは、データを適切に復号化し、および/または元のビデオデータをより正確に再構築するために、ビデオデコーダ(510)によって使用されることができる。付加的なデータは、例えば、時間的、空間的、または信号雑音比(SNR:signal noise ratio)拡張層、冗長スライス、冗長画像、前方誤り訂正符号などのような形式にすることができる。
図6は、本開示の一実施形態によるビデオエンコーダ(603)のブロック図を示す。ビデオエンコーダ(603)は、電子デバイス(620)に含まれる。電子デバイス(620)は、送信機(640)(例えば、送信回路)を含む。ビデオエンコーダ(603)は、図4の例におけるビデオエンコーダ(403)の代わりに使用することができる。
ビデオエンコーダ(603)は、ビデオエンコーダ(603)によって符号化されるビデオ画像を捕捉するビデオソース(601)(図6の例における電子デバイス(620)の一部ではない)から、ビデオサンプルを受信することができる。別の例では、ビデオソース(601)は、電子デバイス(620)の一部である。
ビデオソース(601)は、ビデオエンコーダ(603)によって符号化されたソースビデオシーケンスをデジタルビデオサンプルストリームの形式で提供することができ、前記デジタルビデオサンプルストリームは、任意の適切なビット深度(例えば、8ビット、10ビット、12ビット…)、任意の色空間(例えば、BT.601 Y CrCB、RGB…)及び任意の適切なサンプリング構造(例えば、Y CrCb 4:2:0、Y CrCb 4:4:4)を有することができる。メディアサービスシステムでは、ビデオソース(601)は、以前に準備されたビデオを記憶する記憶デバイスであってもよい。ビデオ会議システムでは、ビデオソース(601)は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってもよい。ビデオデータは、順番に見られるときに動きを与える複数の個別の画像として提供されることができる。画像自体は、空間画素アレイとして構成されてもよく、ここで、各画素は、使用中のサンプリング構造、色空間などに応じて、1つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てる。
一実施形態によれば、ビデオエンコーダ(603)は、リアルタイムで、またはアプリケーションによって要求される任意の他の時間制約の下で、ソースビデオシーケンスの画像を、符号化されたビデオシーケンス(643)に符号化し圧縮することができる。適切な符号化速度を実施することは、コントローラ(650)の1つの機能である。いくつかの実施形態では、コントローラ(650)は、以下で説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。該結合は、明瞭にするために図示されていない。コントローラ(650)によって設定されたパラメータは、レート制御関連パラメータ(画像スキップ、量子化器、レート歪み最適化技術のλ(ラムダ)値…)、画像サイズ、画像のグループ(GOP:group of pictures)レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ(650)は、特定のシステム設計に対して最適化されたビデオエンコーダ(603)に関連する他の適切な機能を有するように構成されることができる。
いくつかの実施形態では、ビデオエンコーダ(603)は、符号化ループで動作するように構成される。過度に簡単化された説明として、一例では、符号化ループは、ソースコーダ(630)(例えば、符号化される入力画像と、参照画像とに基づいて、シンボルストリームなどのようなシンボルを作成することを担当する)と、ビデオエンコーダ(603)に埋め込まれた(ローカル)デコーダ(633)とを含むことができる。デコーダ(633)は、(リモート)デコーダがサンプルデータを作成すると同様の方法でシンボルを再構築してサンプルデータを作成する(開示された主題で考慮されているビデオ圧縮技術では、シンボルと符号化されたビデオビットストリームとの間の任意の圧縮が無損失であるからである)。再構築されたサンプルストリーム(サンプルデータ)は、参照画像メモリ(634)に入力される。シンボルストリームの復号化により、デコーダの位置(ローカルまたはリモート)に関係なくビット正確な結果が得られるため、参照画像メモリ(634)のコンテンツは、ローカルエンコーダとリモートエンコーダの間でもビットで正確に対応する。言い換えれば、エンコーダの予測部分が「見た」参照画像サンプルは、デコーダが復号化期間に予測を使用する際に「見た」サンプル値と全く同じである。この参照画像の同期性の基本原理(および、例えばチャネル誤差の原因で同期性が維持されない場合にはドリフトが生じる)は、いくつかの関連技術でも使用されている。
「ローカル」デコーダ(633)の動作は、既に図5に関連して以上で詳細に説明された、ビデオデコーダ(510)などのような「リモート」デコーダの動作と同じであってもよい。しかし、図5をさらに簡単に参照すると、シンボルが利用可能であり、かつ、エントロピーコーダ(645)および解析器(520)によって符号化されたビデオシーケンスへのシンボルの符号化/復号化が無損失であることができるため、バッファメモリ(515)と解析器(520)を含むビデオデコーダ(510)のエントロピーデコード部分は、ローカルデコーダ(633)で完全に実行できない可能性がある。
この時点で、デコーダに存在する解析/エントロピー復号化以外のいかなるデコーダ技術も、対応するエンコーダにおいて、実質的に同一の機能形式で必ず存在する必要がある、ということが分かる。このため、開示された主題は、デコーダ動作に焦点を合わせる。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略されることができる。特定の領域だけで、より詳細な説明が必要であり、以下で提供される。
動作中に、いくつかの実施形態では、ソースコーダ(630)は、動き補償予測符号化を実行することができ、動き補償予測符号化は、ビデオシーケンスから「参照画像」として指定された1つ以上の以前に符号化された画像を参照して、入力画像を予測的に符号化する。このようにして、符号化エンジン(632)は、入力画像の画素ブロックと、入力画像に対する予測参照として選択されることができる参照画像の画素ブロックとの間の差分を符号化する。
ローカルビデオデコーダ(633)は、ソースコーダ(630)によって生成されたシンボルに基づいて、参照画像として指定されることができる画像の符号化されたビデオデータを復号化することができる。符号化エンジン(632)の動作は、有利には損失性プロセスであってもよい。符号化されたビデオデータがビデオデコーダ(図6に示されない)で復号化された場合、再構築されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ(633)は、参照画像に対してビデオデコーダによって実行されることができる復号化プロセスをコピーして、再構築された参照画像を参照画像キャッシュ(634)に記憶することができる。このようにして、ビデオエンコーダ(603)は、遠端ビデオデコーダによって得られる(伝送誤差が存在しない)再構築された参照画像と共通のコンテンツを有する再構築された参照画像のコピーを、ローカルに記憶することができる。
予測器(635)は、符号化エンジン(632)に対して予測検索を実行することができる。すなわち、符号化される新しい画像について、予測器(635)は、新しい画像の適切な予測参照として機能するサンプルデータ(候補参照画素ブロックとして)または特定のメタデータ、例えば参照画像動きベクトル、ブロック形状などについて、参照画像メモリ(634)を検索することができる。予測器(635)は、適切な予測参照を見つけるために、サンプルブロックに基づいて、画素ブロックごとに動作することができる。いくつかの場合では、予測器(635)によって得られた検索結果によって決定されるように、入力画像は、参照画像メモリ(634)に記憶された複数の参照画像から引き出された予測参照を有することができる。
コントローラ(650)は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ(630)の符号化動作を管理することができる。
上述のすべての機能ユニットの出力は、エントロピーコーダ(645)でエントロピー符号化されることができる。エントロピーコーダ(645)は、例えばハフマン符号化、可変長符号化、算術符号化などのような技術に従って、シンボルを無損失で圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化されたビデオシーケンスに変換する。
送信機(640)は、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアリンクであることができる通信チャネル(660)を介した送信に備えるために、エントロピーコーダ(645)によって生成された、符号化されたビデオシーケンスをバッファリングすることができる。送信機(640)は、ビデオコーダ(603)からの符号化されたビデオデータを、送信される他のデータ、例えば、符号化されたオーディオデータおよび/または補助データストリーム(ソースは図示せず)とマージすることができる。
コントローラ(650)は、ビデオエンコーダ(603)の動作を管理することができる。符号化する期間、コントローラ(650)は、各符号化された画像に、特定の符号化された画像タイプを割り当てることができ、これは、それぞれの画像に適用できる符号化技術に影響を与える可能性がある。例えば、画像は、以下の画像タイプのいずれかとして割り当てられることが多いし、即ち、
フレーム内画像(I画像)は、シーケンス内の任意の他の画像を予測のソースとして使用せずに、符号化および復号化されることができるものであってもよい。いくつかのビデオコーデックは、独立したデコーダリフレッシュ(Independent Decoder Refresh、「IDR」)画像などの異なるタイプのフレーム内画像を許容する。当業者は、I画像の変種とそれらのアプリケーションおよび機能とを理解している。
予測画像(P画像)は、多くとも1つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するフレーム内予測またはフレーム間予測を使用して符号化および復号化され得るものであってもよい。
双方向予測画像(B画像)は、多くとも2つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するフレーム内予測またはフレーム間予測を使用して符号化および復号化され得るものであってもよい。同様に、複数の予測画像は、単一のブロックの再構築に、2つ以上の参照画像および関連付けられたメタデータを使用することができる。
ソース画像は、一般的に、複数のサンプルブロック(例えば、それぞれ4×4、8×8、4×8、または16×16個のサンプルのブロック)に空間的に細分され、ブロックごとに符号化されることができる。これらのブロックは、ブロックのそれぞれの画像に適用される符号化割り当てによって決定されるように、他の(既に符号化された)ブロックを参照して予測的に符号化されることができる。例えば、I画像のブロックは、非予測的に符号化されてもよく、またはそれらが同じ画像の既に符号化されたブロックを参照して予測的に符号化されてもよい(空間予測またはフレーム内予測)。P画像の画素ブロックは、1つ前に符号化された参照画像を参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化されてもよい。B画像のブロックは、1つまたは2つ前に符号化された参照画像を参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化されてもよい。
ビデオエンコーダ(603)は、例えばITU―T H.265などのような所定のビデオ符号化技術または規格に従って、符号化動作を実行することができる。その動作において、ビデオエンコーダ(603)は、入力ビデオシーケンスにおける時間的と空間的冗長性を利用する予測符号化動作を含む、様々な圧縮動作を実行することができる。したがって、符号化されたビデオデータは、使用されるビデオ符号化技術または規格によって指定された構文に従うことができる。
一実施形態では、送信機(640)は、符号化されたビデオとともに、付加的なデータを送信することができる。ソースコーダ(630)は、そのようなデータを、符号化されたビデオシーケンスの一部として含むことができる。付加的なデータは、時間的/空間的/SNR拡張層、冗長画像やスライスなどのような他の形式の冗長データ、SEIメッセージ、VUIパラメータセットフラグメントなどを含むことができる。
ビデオは、時系列で複数のソース画像(ビデオ画像)として捕捉されることができる。フレーム内画像予測(フレーム内予測と略称されることが多い)は、与えられた画像における空間的相関を利用し、フレーム間画像予測は、画像間の(時間的または他の)相関を利用する。一例では、現在画像と呼ばれる、符号化/復号化中の特定の画像がブロックに分割される。現在画像のブロックが、ビデオにおける以前に符号化され、まだバッファリングされている参照画像における参照ブロックに類似している場合、現在画像のブロックは、動きベクトルと呼ばれるベクトルによって符号化されることができる。動きベクトルは、参照画像における参照ブロックを指し、複数の参照画像が使用されている場合、参照画像を識別する3番目の次元を有することができる。
いくつかの実施形態では、双方向予測技術は、フレーム間画像予測に使用されることができる。双方向予測技術によれば、例えば、復号化の順で両方とも、ビデオにおける現在画像の前にある(ただし、表示の順でそれぞれ、過去と将来にあるかもしれない)第1参照画像および第2参照画像などのような2つの参照画像が使用される。現在画像におけるブロックは、第1参照画像における第1参照ブロックを指す第1動きベクトルと、第2参照画像における第2参照ブロックを指す第2動きベクトルによって符号化されることができる。ブロックは、第1参照ブロックおよび第2参照ブロックの組み合わせによって予測されることができる。
さらに、符号化効率を向上させるために、マージモード技術は、フレーム間画像予測で使用されることができる。
本開示のいくつかの実施形態によれば、フレーム間画像予測やフレーム内画像予測などのような予測は、ブロックの単位で実行される。例えば、HEVC規格に従って、ビデオ画像のシーケンスにおける画像は、圧縮のために符号化ツリーユニット(CTU:coding tree unit)に分割され、画像におけるCTUは同じサイズ、例えば64×64画素、32×32画素、または16×16画素を有する。一般的に、CTUは、1つの輝度CTBと2つの色度CTBである3つの符号化ツリーブロック(CTB)を含む。各CTUは、再帰的に四分木で1つ以上の符号化ユニット(CU)に分割されてもよい。例えば、64×64画素のCTUは、1つの64×64画素のCU、4つの32×32画素のCU、または16つの16×16画素のCUに分割されることができる。一例では、各CUは、フレーム間予測タイプまたはフレーム内予測タイプなどのようなCUに対する予測タイプを決定するために分析される。CUは、時間的および/または空間的予測可能性に応じて、1つ以上の予測ユニット(PU)に分割される。通常、各PUは、輝度予測ブロック(PB)と2つの色度PBを含む。一実施形態では、符号化(エンコーディング/デコーディング)における予測動作は、予測ブロックの単位で実行される。輝度予測ブロックを予測ブロックの例として使用すると、予測ブロックは、8×8画素、16×16画素、8×16画素、16×8画素などのような画素値(例えば、輝度値)の行列を含む。
図7は、本開示の別の実施形態によるビデオエンコーダ(703)の図を示す。ビデオエンコーダ(703)は、ビデオ画像シーケンスにおける現在ビデオ画像内のサンプル値の処理ブロック(例えば、予測ブロック)を受信し、処理ブロックを符号化されたビデオシーケンスの一部である符号化された画像に符号化するように構成される。一例では、ビデオエンコーダ(703)は、図4の例におけるビデオエンコーダ(403)の代わりに使用される。
HEVCの例では、ビデオエンコーダ(703)は、例えば8×8サンプルの予測ブロックなどのような処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ(703)は、例えばレート歪み最適化を使用して、フレーム内モード、フレーム間モード、または双方向予測モードを使用して処理ブロックを符号化するかどうかを決定する。処理ブロックがフレーム内モードで符号化される場合、ビデオエンコーダ(703)は、フレーム内予測技術を使用して、処理ブロックを符号化された画像に符号化することができ、また、処理ブロックがフレーム間モードまたは双方向予測モードで符号化される場合、ビデオエンコーダ(703)は、それぞれフレーム間予測または双方向予測技術を使用して、処理ブロックを符号化された画像に符号化することができる。特定のビデオ符号化技術では、マージモードは、予測値以外にある符号化された動きベクトル成分の利点を利用しない場合に、動きベクトルが1つ以上の動きベクトル予測値から導出されるフレーム間画像予測サブモードにすることができる。特定の他のビデオ符号化技術では、主題ブロックに適用可能な動きベクトル成分が存在する場合がある。一例では、ビデオエンコーダ(703)は、処理ブロックのモードを決定するためのモード決定モジュール(図示せず)などのような他のコンポーネントを含む。
図7の例では、ビデオエンコーダ(703)は、図7に示すように一緒に結合された、フレーム間エンコーダ(730)と、フレーム内エンコーダ(722)と、残差計算器(723)と、スイッチ(726)と、残差エンコーダ(724)と、汎用コントローラ(721)と、エントロピーエンコーダ(725)とを含む。
フレーム間エンコーダ(730)は、現在ブロック(例えば、処理ブロック)のサンプルを受信し、そのブロックを参照画像(例えば、前の画像と後の画像におけるブロック)内の1つ以上の参照ブロックと比較し、フレーム間予測情報(例えば、フレーム間符号化技術による冗長情報説明、動きベクトル、マージモード情報)を生成して、任意の適切な技術を使用して、フレーム間予測情報に基づいてフレーム間予測結果(例えば、予測されたブロック)を計算するように構成される。いくつかの例では、参照画像は、復号化された参照画像であり、それが符号化されたビデオ情報に基づいて復号化されたものである。
フレーム内エンコーダ(722)は、現在ブロック(例えば、処理ブロック)のサンプルを受信し、いくつかの場合では、そのブロックを同じ画像で既に符号化されたブロックと比較し、変換後に量子化された係数を生成して、いくつかの場合では、フレーム内予測情報(例えば、1つ以上のフレーム内符号化技術によるフレーム内予測方向情報)を生成するように構成される。一例では、フレーム内エンコーダ(722)は、フレーム内予測情報と、同じ画像における参照ブロックとに基づいて、フレーム内予測結果(例えば、予測されたブロック)も計算する。
汎用コントローラ(721)は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ(703)の他のコンポーネントを制御するように構成される。一例では、汎用コントローラ(721)は、ブロックのモードを決定し、そのモードに基づいて制御信号をスイッチ(726)に提供する。例えば、モードがフレーム内モードである場合、汎用コントローラ(721)は、残差計算器(723)によって使用されるフレーム内モード結果を選択するように、スイッチ(726)を制御し、フレーム内予測情報を選択して、そのフレーム内予測情報をコードストリームに含めるように、エントロピーエンコーダ(725)を制御する。また、モードがフレーム間モードである場合、汎用コントローラ(721)は、残差計算器(723)によって使用されるフレーム間予測結果を選択するように、スイッチ(726)を制御し、フレーム間予測情報を選択して、そのフレーム間予測情報をコードストリームに含めるように、エントロピーエンコーダ(725)を制御する。
残差計算器(723)は、受信されたブロックとフレーム内エンコーダ(722)またはフレーム間エンコーダ(730)から選択された予測結果との間の差(残差データ)を計算するように構成される。残差エンコーダ(724)は、残差データに基づいて動作して、残差データを符号化することで変換係数を生成するように構成される。一例では、残差エンコーダ(724)は、周波数領域で残差データを変換し、変換係数を生成するように構成される。次に、変換係数は量子化処理を受けて、量子化された変換係数が得られる。様々な実施形態では、ビデオエンコーダ(703)はまた、残差デコーダ(728)も含む。残差デコーダ(728)は、逆変換を実行し、復号化された残差データを生成するように構成される。復号化された残差データは、フレーム内エンコーダ(722)およびフレーム間エンコーダ(730)によって適切に使用されることができる。例えば、フレーム間エンコーダ(730)は、復号化された残差データおよびフレーム間予測情報に基づいて、復号化されたブロックを生成することができ、フレーム内エンコーダ(722)は、復号化された残差データおよびフレーム内予測情報に基づいて、復号化されたブロックを生成することができる。復号化されたブロックは、復号化された画像を生成するために適切に処理され、いくつかの例では、復号化された画像は、メモリ回路(図示せず)でバッファされ、参照画像として使用されることができる。
エントロピーエンコーダ(725)は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ(725)は、HEVC規格などのような適切な規格に従って様々な情報を含むように構成される。一例では、エントロピーエンコーダ(725)は、汎用制御データ、選択された予測情報(例えば、フレーム内予測情報またはフレーム間予測情報)、残差情報、およびビットストリーム内の他の適切な情報を含むように構成される。開示された主題によれば、フレーム間モードまたは双方向予測モードのマージサブモードでブロックを符号化する場合、残差情報はないということに留意されたい。
図8は、本開示の別の実施形態によるビデオデコーダ(810)の図を示す。ビデオデコーダ(810)は、符号化されたビデオシーケンスの一部である符号化された画像を受信し、符号化された画像を復号化して再構築された画像を生成するように構成される。一例では、ビデオデコーダ(810)は、図4の例におけるビデオデコーダ(410)の代わりに使用される。
図8の例では、ビデオデコーダ(810)は、図8に示されるように一緒に結合された、エントロピーデコーダ(871)と、フレーム間デコーダ(880)と、残差デコーダ(873)と、再構築モジュール(874)と、フレーム内デコーダ(872)とを含む。
エントロピーデコーダ(871)は、符号化された画像から、符号化された画像を構成する構文要素を表す特定のシンボルを再構築するように構成されることができる。このようなシンボルは、例えば、ブロックを符号化するためのモード(例えば、フレーム内モード、フレーム間モード、双方向予測モード、後者の2つのマージサブモードまたは別のサブモード)と、フレーム内デコーダ(872)またはフレーム間デコーダ(880)による予測に使用される特定のサンプルまたはメタデータをそれぞれ識別できる予測情報(例えば、フレーム内予測情報またはフレーム間予測情報など)と、例えば量子化された変換係数の形式の残差情報などとを含む。一例では、予測モードがフレーム間予測モードまたは双方向予測モードである場合、フレーム間予測情報は、フレーム間デコーダ(880)に提供される。そして、予測タイプがフレーム内予測タイプである場合、フレーム内予測情報は、フレーム内デコーダ(872)に提供される。残差情報は、逆量子化を受けて、残差デコーダ(873)に提供されることができる。
フレーム間デコーダ(880)は、フレーム間予測情報を受信し、フレーム間予測情報に基づいてフレーム間予測結果を生成するように構成される。
フレーム内デコーダ(872)は、フレーム内予測情報を受信し、フレーム内予測情報に基づいて予測結果を生成するように構成される。
残差デコーダ(873)は、逆量子化を実行して、逆量子化された変換係数を抽出し、その逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するように構成される。残差デコーダ(873)はまた、特定の制御情報(量子化器パラメータ(QP)を含むように)も必要とする場合があり、その情報は、エントロピーデコーダ(871)によって提供される場合がある(これが低ボリューム制御情報のみであるため、データ経路は図示されていない)。
再構築モジュール(874)は、空間領域において、残差デコーダ(873)による出力としての残差と、(場合によっては、フレーム間予測モジュールまたはフレーム内予測モジュールによる出力としての)予測結果とを組み合わせて、再構築されたブロックを形成するように構成され、再構築されたブロックは、再構築された画像の一部とすることができ、その後、再構築された画像は、再構築されたビデオの一部とすることができる。それは、視覚的品質を改善するために、デブロッキング動作などのような他の適切な動作を実行することができる、ということに留意されたい。
ビデオエンコーダ(403)、(603)および(703)と、ビデオデコーダ(410)、(510)および(810)とは、任意の適切な技術を使用して実現されることができる、ということに留意されたい。一実施形態では、ビデオエンコーダ(403)、(603)および(703)と、ビデオデコーダ(410)、(510)および(810)とは、1つ以上の集積回路を使用して実現されることができる。別の実施形態では、ビデオエンコーダ(403)、(603)および(703)と、ビデオデコーダ(410)、(510)および(810)とは、ソフトウェア命令を実行する1つ以上のプロセッサを使用して実装されることができる。
本開示の態様は、フレーム内画像ブロック補償のための技術を提供する。
異なる画像からのブロックベースの補償は、動き補償と呼ばれる。同様に、ブロック補償は、同じ画像内の以前に再構築された領域から実行されることもできる。同じ画像内の再構築された領域からのブロックベースの補償は、フレーム内画像ブロック補償またはフレーム内ブロックコピーと呼ばれる。現在ブロックと同じ画像内の参照ブロックとの間のオフセットを示すシフトベクトルは、ブロックベクトル(または略してBV)と呼ばれる。任意の値(正または負、xまたはy方向のいずれか)にすることができる、動き補償における動きベクトルとは異なり、ブロックベクトルは、いくつかの制約を有し、これにより、参照ブロックが利用可能であり、既に再構築されたことが保証される。また、いくつかの例では、並列処理を考慮して、タイル境界または波面ラダー形状境界であるいくつかの参照領域が除外されている。
ブロックベクトルの符号化は、明示的または暗黙的のいずれかであってもよい。明示的モードでは、ブロックベクトルとその予測器との間の差がシグナルで通知され、暗黙的モードでは、ブロックベクトルは、マージモードの動きベクトルと同様の方法で、予測器(ブロックベクトル予測器と呼ばれる)から復元される。いくつかの実現では、ブロックベクトルの解像度は、整数の位置に制限され、他のシステムでは、ブロックベクトルは、小数の位置を指すように許可される。
いくつかの例では、ブロックレベルでのフレーム内ブロックのコピーの使用は、参照インデックスアプローチを使用してシグナルで通知されることができる。復号化中の現在画像は、参照画像として扱われる。一例では、このような参照画像は、参照画像のリストの最後の位置に置かれる。この特別な参照画像はまた、復号化された画像のバッファ(DPB)などのようなバッファ内の他の時間参照画像と一緒に管理される。
フレーム内ブロックコピーにもいくつかの変化があり、例えば、反転されたフレーム内ブロックコピー(参照ブロックは、現在ブロックを予測するために使用される前に、水平または垂直方向に反転される)、またはラインベースのフレーム内ブロックコピー(M×N符号化ブロック内の各補償ユニットは、M×1または1×Nのラインである)である。
図9は、本開示の一実施形態によるフレーム内ブロックコピーの例を示す。現在画像(900)は復号化中である。現在画像(900)は、再構築された領域(910)(グレー領域)と復号化されるべき領域(920)(白い領域)を含む。現在ブロック(930)は、デコーダによって再構築中である。現在ブロック(930)は、再構築された領域(910)にある参照ブロック(940から再構築されることができる。参照ブロック(940)と現在ブロック(930)との間の位置オフセットは、ブロックベクトル(950)(またはBV(950))と呼ばれる。
一般に、符号化ユニットは、輝度成分及び色度成分の両方のサンプルを含む。色度成分のサンプルは、輝度成分のサンプルと比較して、独立したまたは別個の分割ツリー構造を有することができる。通常、このような個別の符号化ツリー構造は、CTUレベルから開始される。したがって、色度CU(2つの色度成分のみを含むCU)は、対応するサンプル位置でその輝度の対応部分よりも大きくなる可能性がある。
いくつかの実施形態では、ブロックのすべての色成分に対するブロックベースの動き補償は、同じ動きまたはブロックベクトルを共有する。個別の符号化ツリーが有効になっている場合、同じ位置での輝度―色度サンプルの対応関係は、常に関連付けられるとは限らない。輝度CU領域は、1つ以上の色度CUをカバーする場合がある。色度CU領域は、1つ以上の輝度CUをカバーする場合がある。
本開示のいくつかの態様は、輝度―色度個別符号化ツリーが使用される場合、フレーム内ブロックコピー技術を適切に適用する方法を提供する。具体的には、この方法は、輝度符号化ツリーが色度符号化ツリーの符号化の前に個別に符号化された場合、色度符号化ツリーにおける色度ブロックのBV導出を実行することができる。
本開示の一態様によれば、色度CUのプロパティは、対応する輝度CUのフレーム内ブロックコピー情報に基づいて導出される。各色度CUに対して、同一の場所に配置された輝度領域は、現在の色度CUをフレーム内ブロックコピーモードで符号化するべきかどうかを決定するために使用されることができる。
図10は、本開示の実施形態による4:2:0フォーマットの色度CU(1020)および同一の場所に配置された輝度領域(1010)の一例を示す。図10の例では、色度CU(1020)は、8×8(サンプル)の色度CU、および対応する輝度領域(1010)である。4:2:0フォーマットによると、対応する輝度領域(1010)は、16×16(サンプル)を含む。いくつかの実施形態では、符号化ユニットは、補償のために最小補償ユニットに分割される。例えば、4:2:0フォーマットでは、輝度の最小補償ユニットは、4×4(サンプル)のサイズを有し、輝度ユニットと呼ばれ、色度の最小補償ユニットは、2×2(サンプル)のサイズを有し、色度ユニットと呼ばれる。したがって、符号化ユニットが最小補償ユニットに分割された場合、各最小色度ユニットは、輝度・色度が同一の場所に配置されたときの位置に、その対応する最小輝度ユニットを有する。したがって、色度CUは、最小輝度ユニットのセットで形成される、同一の場所に配置された輝度領域を有する。
本開示の一態様によれば、色度CUは、同一の場所に配置された輝度領域でのフレーム内ブロックコピーモードの普遍性(popularity)に基づいて、フレーム内ブロックコピーモードで選択的に符号化されることができる。
第1ケースでは、フレーム内ブロックコピーモードは、同一の場所に配置された輝度領域で一般的(popular)である。一例では、すべての同一の場所に配置された最小輝度ユニットは、フレーム内ブロックコピーモードで符号化される。別の例では、フレーム内ブロックコピーモードでの最小輝度ユニットの数(またはサイズ)と、同一の場所に配置された領域での最小輝度ユニットの数(またはサイズ)との比率は、第1閾値よりも高い(またはそれ以上)である。第1閾値は、予め定義されてもよく、あるいは、例えばSPS、PPSまたはスライスヘッダなどのビットストリームでシグナルで通知されてもよい。
フレーム内ブロックコピーモードが一般的である場合、現在の色度CUのステータスは、対応する輝度ユニットにおける符号化モードに基づいて導出されることができる。一例では、現在の色度CUもフレーム内ブロックコピーモードで符号化され、その最小ユニット(例では2×2)のそれぞれのブロックベクトルは、対応する最小輝度ユニットから導出される。別の実施形態では、輝度ユニットに関連する色度ユニットがフレーム内ブロックコピーモードにない場合、色度ユニットのブロックベクトルは、空間的に隣接する色度ユニットから導出され、例えば、利用可能な隣接する色度BVの平均値、利用可能な隣接する色度BVの中間値、または、第1利用可能な隣接する色度BVと同じである。
第2ケースでは、フレーム内ブロックコピーモードは、同一の場所に配置された輝度領域では一般的ではない。一例では、同一の場所に配置された最小輝度ユニットは、いずれも、フレーム内ブロックコピーモードで符号化されない。別の例では、フレーム内ブロックコピーモードでの最小輝度ユニットの数(またはサイズ)と、同一の場所に配置された領域での最小輝度ユニットの数(またはサイズ)との比率は、第2閾値より低い(または以下)である。第2閾値は、予め定義されてもよく、あるいは、SPS、PPSまたはスライスヘッダなどのビットストリームでシグナルで通知されてもよい。
フレーム内ブロックコピーモードが同一の場所に配置された輝度領域では一般的ではない場合、一例では、現在の色度CUは、フレーム内ブロックコピーモードで符号化されない。そして、現在の色度CUは、他の利用可能な符号化モードに基づいてて符号化されてもよい。
第3ケースでは、最小輝度ユニットの一部(すべてではないが)は、フレーム内ブロックコピーモードで符号化される。例えば、フレーム内ブロックコピーモードでの最小輝度ユニットの数(またはサイズ)と、同一の場所に配置された領域での最小輝度ユニットの数(またはサイズ)との比率は、第1閾値と第2閾値の間にある。第3ケースでは、一実施形態では、現在の色度CUは、さらに分割すると推定され(最小色度CUに達しておらず、最大分割深さに達していないと仮定する)、このようにして、第1ケースまたは第2ケースで、分割からの各サブCUが評価されることができる。
第3ケースでは、別の実施形態では、現在の色度CUは、現在の色度CUをさらに分割すべきかどうかを示すフラグを有する(最小色度CUに達しておらず、最大分割深さに達していないと仮定される)。例えば、分割フラグが「yes(はい)」である場合、現在の色度CUはさらに分割され、分割からの各サブCUは、第1ケースまたは第2ケースで評価されることができる。分割フラグが「no(いいえ)」を示す場合(または最大分割深さに達している場合)、一例では、現在の色度CUは、それ以上分割されない。そして、現在の色度CUは、フレーム内ブロックコピーモードで符号化されない。しかしながら、現在の色度CUは、利用可能な符号化モードからの他の適切な符号化モードで符号化されることができる。
第3ケースでは、別の実施形態では、対応する輝度領域からの最初の符号化されたBVは、現在の色度CUのブロックベクトルとして使用される。別の実施形態では、対応する輝度領域からの最後の符号化されたBVは、現在の色度CUのブロックベクトルとして使用される。別の実施形態では、対応する輝度領域からのすべての符号化されたBVの関数(例えば、平均値)は、現在の色度CUのブロックベクトルとして使用される。
第3ケースでは、別の実施形態では、色度最小ユニットは、フレーム内ブロックコピーモードを使用して符号化された、対応する輝度ユニットを有する第1色度最小ユニットと、フレーム内ブロックコピーモードを使用せずに符号化された、対応する輝度ユニットを有する第2色度最小ユニットとに分類される。第1色度最小ユニットは、フレーム内ブロックコピーモードで符号化されてもよく、第1色度最小ユニットのBVが、対応する輝度ユニットから導出されてもよい。
第2色度最小ユニットは、様々な技術で符号化されることができる。一例では、第2色度最小ユニットは、他の利用可能なモード(例えばフレーム内モード)で符号化される。具体的には、第2色度最小ユニットがフレーム内モードで符号化を行った場合、すべての第2色度最小ユニットは、同じフレーム内モードを共有し、予測サンプルは、現在の色度最小ユニットの隣接する参照サンプルではなく、色度CUの隣接する参照サンプルから生成される。一例では、フレーム内モードは、CUレベルでシグナルで通知される。可能なモードのセットは、汎用色度フレーム内予測とは異なることができる。別の例では、フレーム内モードは、デフォルトで選択され、例えば、DCモードや平面モード、または推測できるモードなどである。
別の例では、第2色度最小ユニットは、フレーム内ブロックコピーモードで符号化される。第2色度最小ユニットのそれぞれについて、デフォルト(例えば、プリセット)BVが使用される。このようなデフォルト(プリセット)のBVの例は、
(−2×chroma_CU_width,0),
(−1×chroma_CU_width,0),
(−2×chroma_CU_width,−2×chroma_CU_height),
(−1×chroma_CU_width,−1×chroma_CU_height),
(0,−2×chroma_CU_height),
(0,−1×chroma_CU_height)などであり、
chroma_CU_widthは、現在の色度CUの幅を表し、throma_CU_heightは、現在の色度CUの高さを表す。デフォルトのBVは、例えば、SPS、PPSまたはスライスヘッダなどのようなビットストリームでシグナルで通知されてもよい。
別の例では、第2色度最小ユニットは、フレーム内ブロックコピーモードで符号化される。各第2色度最小ユニットについて、そのBVは、空間的に隣接する色度最小ユニットから導出されることができる(直接隣接ユニットまたはさらに離れた隣接ユニットが存在する場合は、フレーム内ブロックコピーモードで符号化する)。
図11は、本開示の一実施形態による空間隣接ユニットから色度BVを導出する例を示す。図11の例では、色度CU(1120)は、第2色度最小ユニット(SU)(1101)を含む。SU(1101)は、フレーム内ブロックコピーモードで符号化を行った直接隣接ユニット(1102)と、フレーム内ブロックコピーモードで符号化を行ったさらに離れた隣接ユニット(1103)および(1105)とを有する。SU(1101)は、フレーム内モードにある別の直接隣接ユニット(1104)を有する。一例では、SU(1101)は、直接隣接ユニット(1102)から導出されたBV1を使用して、フレーム内ブロックコピーモードで符号化される。別の例では、SU(1101)は、さらに離れた隣接ユニット(1105)から導出されたBV0を使用して、フレーム内ブロックコピーモードで符号化される。
別の実施形態では、第2色度最小ユニットは、フレーム内ブロックコピーモードを使用して符号化される。各第2色度最小ユニットのそれぞれについて、そのBVは、CTUで最後に使用された色度BVから導出されることができる。現在の色度最小ユニットがCTUにおける最初のユニットであり、かつ、その対応する輝度最小ユニットがフレーム内ブロックコピーモードを使用せずに符号化された場合、デフォルト/プリセットBVが使用される。このようなデフォルト(プリセット)BVの例は、
(−2×chroma_CU_width,0),
(−1×chroma_CU_width,0),
(−2×chroma_CU_width,−2×chroma_CU_height),
(−1×chroma_CU_width,−1×chroma_CU_height),
(0,−2×chroma_CU_height),
(0,−1×chroma_CU_height)などであり、デフォルトのBVは、例えば、SPS、PPSまたはスライスヘッダなどのようなビットストリームでシグナルで通知されてもよい。
本開示のいくつかの態様によれば、ブロックベクトルは、同じ画像内の再構築された領域を指す有効値を有するようにカットされることができる。各色度最小部については、フレーム内ブロックコピーモードを用いて符号化する場合、そのBVは同じ画像の再構築された領域を指す有効BVであるべきである。導出されたBVが現在の最小部に有効BVではない場合、カット後のBVが有効値を持つように、BVをカットする技術を使用することができる。
一実施形態では、参照ユニットを有効な参照領域に水平(左)または垂直(上)に移動させる。これはBVが有効になるまでBVのx成分またはy成分の値を減少させることによって達成できる。
別の実施形態では、BVは、デフォルト(プリセット)BVによって置き換えられる。このようなデフォルト(プリセット)BVの例は、
(−2×chroma_CU_width,0),
(−1×chroma_CU_width,0),
(−2×chroma_CU_width,−2×chroma_CU_height),
(−1×chroma_CU_width,−1×chroma_CU_height),
(0,−2×chroma_CU_height),
(0,−1×chroma_CU_height)などである。
また、いくつかの実施形態では、導出された色度成分のBVが整数位置にない場合には、色度BVを整数に丸めるために、クリッピング(または丸め)動作を実行することができる(xおよびy方向の両方で)。一実施形態では、色度BVは、最も近い整数に向かって丸められる。別の実施形態では、色度BVは、元の色度BVよりも大きい最小の整数に向かって丸められる。別の実施形態では、色度BVは、元の色度BVより小さい最大の整数に向かって丸められる。別の実施形態では、色度BVは、ゼロ値に向かって丸められる。
なお、上記の説明では、4:2:0の色フォーマットを使用している。4:2:0以外の異なる色フォーマットでは、同一の場所に配置された色度最小ユニットと、対応する輝度最小ユニットとの間のサイズ関係は、異なる場合がある。一般に、上記で開示されたすべての方法は、例えば4:4または4:2:2などの、色度成分を有する他の色フォーマットに拡張されることができる。
図12は、本開示の実施形態によるプロセス(1200)を概説するフローチャートを示す。プロセス(1200)は、フレーム内モードで符号化されたブロックの再構築に使用されることができ、再構築中のブロックの予測ブロックを生成することができる。様々な実施形態では、プロセス(1200)は、端末デバイス(310)、(320)、(330)および(340)における処理回路、ビデオエンコーダ(403)の機能を実行する処理回路、ビデオデコーダ(410)の機能を実行する処理回路、ビデオデコーダ(510)の機能を実行する処理回路、フレーム内予測モジュール(552)の機能を実行する処理回路、ビデオエンコーダ(603)の機能を実行する処理回路、予測器(635)の機能を実行する処理回路、フレーム内エンコーダ(722)の機能を実行する処理回路、フレーム内デコーダ(872)の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス(1200)は、ソフトウェア命令によって実現され、したがって、処理回路がソフトウェア命令を実行する場合、処理回路は、プロセス(1200)を実行する。このプロセスは(S1201)から始まり、(S1210)に進む。
(S1210)で、色度CUの色度最小ユニット(色度ユニットと呼ばれる)と同一の場所に配置された輝度最小ユニット(輝度ユニットと呼ばれる)を位置決めする。
(S1220)で、輝度最小ユニットでのフレーム内ブロックコピーモードの普遍性を決定する。
(S1230)で、普遍性が普遍性要件(例えば、第1閾値より大きい)を満たす場合、このプロセスは(S1240)に進み、そうではない場合、プロセスは(S1260)に進む。
(S1240)で、フレーム内ブロックコピーモードでの色度ユニットのブロックベクトルを決定する。
(S1250)で、ブロックベクトルに基づいて、色度ユニットのサンプルを再構築する。その後、このプロセスは(S1299)に進み、処理を終了する。
(S1260)で、フレーム内ブロックコピーモード以外の適切なモードに基づいて、色度ユニットのサンプルを再構築する。その後、このプロセスは(S1299)に進み、処理を終了する。
上記の技術は、コンピュータ読み取り可能な命令を使用するコンピュータソフトウェアとして実現され、また、物理的に1つ以上のコンピュータ読み取り可能な媒体に記憶されることができる。例えば、図13は、開示された主題の特定の実施形態を実現するのに適したコンピュータシステム(1300)を示す。
コンピュータソフトウェアは、任意の適切なマシンコードまたはコンピュータ言語を使用して符号化されることができ、アセンブリ、コンパイル、リンク、または同様のメカニズムを受けて命令を含むコードを作成することができ、命令は、1つ以上のコンピュータ中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)などによって、直接的に実行されてもよく、またはコード解釈、マイクロコード実行などによって実行されてもよい。
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、オブジェクトネットワークデバイス(internet of things devices)などを含む、様々なタイプのコンピュータまたはそのコンポーネントで実行されてもよい。
図13に示されるコンピュータシステム(1300)のコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実現するコンピュータソフトウェアの使用範囲または機能に関するいかなる制限も示唆することが意図されていない。コンポーネントの構成は、コンピュータシステム(1300)の例示的な実施形態に示されているコンポーネントのいずれかまたは組み合わせに関連する任意の依存性または要件を有すると解釈されるべきではない。
コンピュータシステム(1300)は、いくつかのヒューマンインターフェース入力デバイスを含むことができる。このようなヒューマンインターフェース入力デバイスは、触覚入力(例えば、キーストローク、スワイプ、データグローブの動きなど)、オーディオ入力(例えば、音声、拍手など)、視覚入力(例えば、ジェスチャーなど)、嗅覚入力(図示せず)によって、1人以上のユーザによる入力に応答することができる。ヒューマンインタフェースデバイスはまた、例えばオーディオ(例えば、音声、音楽、環境音など)、画像(例えば、スキャンされた画像、静止画像カメラから得られた写真画像など)、ビデオ(例えば、2次元ビデオ、立体映像を含む3次元ビデオなど)などの、人間による意識的な入力に必ずしも直接関連されているとは限らない、特定のメディアを捕捉するために使用されることもできる。
ヒューマンインタフェース入力デバイスは、キーボード(1301)、マウス(1302)、トラックパッド(1303)、タッチスクリーン(1310)、データグローブ(図示せず)、ジョイスティック(1305)、マイクロホン(1306)、スキャナ(1307)、カメラ(1308)(それぞれの1つだけが図示された)のうちの1つまたは複数を含むことができる。
コンピューターシステム(1300)はまた、いくつかのヒューマンインターフェース出力デバイスを含むことができる。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚/味覚によって、1人以上のユーザの感覚を刺激することができる。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス(例えば、タッチスクリーン(1310)、データグローブ(図示せず)またはジョイスティック(1305)による触覚フィードバックであるが、入力デバイスとして作用しない触覚フィードバックデバイスであってもよい)、オーディオ出力デバイス(例えば、スピーカ(1309)、ヘッドホン(図示せず))、視覚出力デバイス(例えば、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン(1310)であり、各々は、タッチスクリーン入力機能を備えてもよく、あるいは備えていなくてもよいし、各々は、触覚フィードバック機能を備えてもよく、あるいは備えていなくてもよいし、これらのいくつかは、例えば、ステレオグラフィック出力、仮想現実メガネ(図示せず)、ホログラフィックディスプレイとスモークタンク(図示せず)、およびプリンタ(図示せず)などによって、2次元の視覚出力または3次元以上の視覚出力を出力することができる。
コンピューターシステム(1300)は、CD/DVDを有するCD/DVD ROM/RW(1320)を含む光学媒体または類似の媒体(1321)、サムドライブ(1322)、リムーバブルハードドライブまたはソリッドステートドライブ(1323)、テープおよびフロッピーディスク(図示せず)などのようなレガシー磁気媒体、セキュリティドングル(図示せず)などのような特殊なROM/ASIC/PLDベースのデバイスなどのような、人間がアクセス可能な記憶デバイスおよびそれらに関連する媒体を含むことができる。
当業者はまた、ここで開示されている主題に関連して使用される「コンピュータ読み取り可能な媒体」という用語は、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解すべきである。
コンピューターシステム(1300)はまた、一つ以上の通信ネットワークへのインターフェースを含むことができる。ネットワークは、例えば、無線、有線、光学的であってもよい。ネットワークはさらに、ローカルネットワーク、広域ネットワーク、大都市圏ネットワーク、車両用ネットワークおよび産業用ネットワーク、リアルタイムネットワーク、遅延耐性ネットワークなどであってもよい。ネットワークの例は、イーサネット(登録商標)、無線LAN、セルラーネットワーク(GSM(登録商標)、3G、4G、5G、LTEなど)などのLAN、テレビケーブルまたは無線広域デジタルネットワーク(有線テレビ、衛星テレビ、地上放送テレビを含む)、車両用および産業用ネットワーク(CANBusを含む)などを含む。いくつかのネットワークは、一般に、いくつかの汎用データポートまたは周辺バス(1349)(例えば、コンピュータシステム(1300)のUSBポート)に接続された外部ネットワークインターフェースアダプタが必要であり、他のシステムは、通常、以下に説明するようにシステムバスに接続することによって、コンピュータシステムシステム(1300)のコアに統合される(例えば、PCコンピュータシステムへのイーサネットインターフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース)。これらのネットワークのいずれかを使用して、コンピュータシステム(1300)は、他のエンティティと通信することができる。このような通信は、単方向の受信のみ(例えば、放送TV)、単方向の送信のみ(例えば、Canbusから特定のCanbusデバイスへ)、あるいは、双方向の、例えばローカルまたは広域デジタルネットワークを使用して他のコンピュータシステムへの通信であってもよい。上述のように、特定のプロトコルおよびプロトコルスタックは、それらのネットワークおよびネットワークインターフェースのそれぞれで使用されることができる。
上記のヒューマンインターフェースデバイス、ヒューマンアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピューターシステム(1300)のコア(1340)に接続されることができる。
コア(1340)は、1つ以上の中央処理ユニット(CPU)(1341)、グラフィック処理ユニット(GPU)(1342)、フィールドプログラマブルゲートアレイ(FPGA)(1343)の形式の専用プログラマブル処理ユニット、特定のタスクのためのハードウェア加速器(1344)などを含むことができる。これらのデバイスは、リードオンリーメモリ(ROM)(1345)、ランダムアクセスメモリ(1346)、例えば内部の非ユーザアクセスハードディスクドライブ、SSDなどの内部大容量ストレージ(1347)などとともに、システムバス(1348)を介して接続されてもよい。いくつかのコンピュータシステムでは、付加的なCPU、GPUなどによって拡張を可能にするために、システムバス(1348)に1つ以上の物理的プラグの形でアクセスすることができる。周辺デバイスは、コアのシステムバス(1348)に直接的に接続されてもよく、または周辺バス(1349)を介して接続されてもよい。周辺バスのアーキテクチャは、外部コントローラインターフェース(PCI)、汎用シリアルバス(USB)などを含む。
CPU(1341)、GPU(1342)、FPGA(1343)、および加速器(1344)は、いくつかの命令を実行することができ、これらの命令を組み合わせて上述のコンピュータコードを構成することができる。そのコンピュータコードは、ROM(1345)またはRAM(1346)に記憶されることができる。また、一時的なデータは、RAM(1346)に記憶されることができる一方、永久的なデータは、例えば内部大容量ストレージ(1347)に記憶されることができる。1つ以上のCPU(1341)、GPU(1342)、大容量ストレージ(1347)、ROM(1345)、RAM(1346)などと密接に関連することができる、キャッシュメモリを使用することにより、任意のメモリデバイスに対する高速記憶および検索が可能になる。
コンピュータ読み取り可能な媒体は、様々なコンピュータ実行された動作を実行するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであってもよく、またはコンピュータソフトウェア分野の技術者によって知られ、利用可能な媒体およびコードであってもよい。
限定ではなく例として、アーキテクチャ(1300)、特にコア(1340)を有するコンピュータシステムは、1つ以上の有形な、コンピュータ読み取り可能な媒体に具体化されたソフトウェアを実行する、(CPU、GPU、FPGA、加速器などを含む)プロセッサとして機能を提供することができる。このようなコンピュータ読み取り可能な媒体は、上記のユーザがアクセス可能な大容量ストレージに関連する媒体であり、コア内部大容量ストレージ(1347)またはROM(1345)などの、不揮発性コア(1340)を有する特定のストレージであってもよい。本開示の様々な実施形態を実現するソフトウェアは、そのようなデバイスに記憶され、コア(1340)によって実行されてもよい。コンピュータ読み取り可能な媒体は、特定のニーズに応じて、1つ以上のメモリデバイスまたはチップを含むことができる。このソフトウェアは、コア(1340)、具体的にはその中のプロセッサ(CPU、GPU、FPGAなどを含む)に、RAM(1346)に記憶されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってこのようなデータ構造を変更することとを含む、本明細書に説明された特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えてまたは代替として、コンピュータシステムは、ロジックハードワイヤードされているか、または別の方法で回路(例えば、アクセラレータ(1344))に組み込まれているため、機能を提供することができ、この回路は、ソフトウェアの代わりに動作し、またはソフトウェアと一緒に動作して、本明細書に説明された特定のプロセスの特定のプロセスまたは特定の部分を実行することができる。適切な場合には、ソフトウェアへの参照はロジックを含むことができ、逆もまた然りである。適切な場合には、コンピュータ読み取り可能な媒体への参照は、実行されるソフトウェアを記憶する回路(集積回路(IC)など)を含み、実行されるロジックを具体化する回路、またはその両方を兼ね備えることができる。本開示は、ハードウェアおよびソフトウェアの任意の適切な組み合わせを包含する。
付録A:略語
JEM:joint exploration model、共同探索モデル
VVC:versatile video coding、汎用ビデオ符号化
BMS:benchmark set、ベンチマークセット
MV:Motion Vector、モーションベクトル
HEVC:High Efficiency Video Coding、高効率ビデオ符号化/復号化
SEI:Supplementary Enhancement Information、補足強化情報
VUI:Visual Usability Information、ビジュアルユーザビリティ情報
GOPs:Groups of Pictures、画像のグループ
TUs:Transform Units、変換ユニット
PUs:Prediction Units、予測ユニット
CTUs:Coding Tree Units、符号化ツリーユニット
CTBs:Coding Tree Blocks、符号化ツリーブロック
PBs:Prediction Blocks、予測ブロック
HRD:Hypothetical Reference Decoder、仮想参照デコーダ
SNR:Signal Noise Ratio、信号雑音比
CPUs:Central Processing Units、中央処理ユニット
GPUs:Graphics Processing Units、グラフィック処理ユニット
CRT:Cathode Ray Tube、陰極線管
LCD:Liquid−Crystal Display、液晶ディスプレイ
OLED:Organic Light−Emitting Diode、有機発光ダイオード
CD:Compact Disc、コンパクトディスク
DVD:Digital Video Disc、デジタルビデオディスク
ROM:Read−Only Memory、読み取り専用メモリ
RAM:Random Access Memory、ランダムアクセスメモリ
ASIC:Application−Specific Integrated Circuit、特定用途向け集積回路
PLD:Programmable Logic Device、プログラマブルロジックデバイス
LAN:Local Area Network、ローカルエリアネットワーク
GSM:Global System for Mobile communications、モバイル通信のグローバルシステム
LTE:Long−Term Evolution、ロングタームエボリューション
CANBus:Controller Area Network Bus、コントローラエリアネットワークバス
USB:Universal Serial Bus、汎用シリアルバス
PCI:Peripheral Component Interconnect、外部コントローラインターフェース
FPGA:Field Programmable Gate Arrays、フィールドプログラマブルゲートアレイ
SSD:solid−state drive、ソリッドステートドライブ
IC:Integrated Circuit、集積回路
CU:Coding Unit、符号化ユニット
本開示は、いくつかの例示的な実施形態について説明したが、本開示の範囲内にある変更、配置、および様々な均等置換が存在している。したがって、当業者は、本明細書では明確に示されていないかまたは説明されていないが、本開示の原則を具現しているので、本開示の精神および範囲内にある、様々なシステムおよび方法を設計することができる、ということを理解されたい。

Claims (20)

  1. 処理回路を備えるビデオ復号化装置によって実行されるビデオ復号化方法であって、
    前記処理回路は、
    色度符号化ユニットの色度ユニットと同一の場所に設置された輝度符号化ユニットの輝度ユニットを位置決めし、
    輝度ユニットでのフレーム内ブロックコピーモードの普遍性を決定し、
    前記普遍性が要件を満たす場合、前記色度符号化ユニットにおける色度ユニットのブロックベクトルを決定し、
    前記ブロックベクトルに基づいて、前記色度ユニットの少なくとも1つのサンプルを再構築すること、
    を含むことを特徴とする方法。
  2. 前記処理回路は、すべての前記輝度ユニットが前記フレーム内ブロックコピーモードで符号化を行った場合、前記輝度ユニットに基づいて、前記色度符号化ユニットにおける色度ユニットのブロックベクトルを決定すること、
    をさらに含むことを特徴とする請求項1に記載の方法。
  3. 前記処理回路は、
    前記色度符号化ユニットにおける色度ユニットと同一の場所に配置された特定の輝度ユニットを位置決めし、
    前記色度ユニットの特定の輝度ユニットに関連付けられているブロックベクトルを決定すること、
    をさらに含むことを特徴とする請求項2に記載の方法。
  4. 前記処理回路は、前記輝度ユニットでのフレーム内ブロックコピーモードの普遍性の割合が第1閾値より高い場合、同一の場所に配置された輝度ユニットに基づいて、前記色度符号化ユニットにおける色度ユニットのブロックベクトルを決定すること、
    をさらに含むことを特徴とする請求項1に記載の方法。
  5. 前記処理回路は、前記色度ユニットと同一の場所に配置された特定の輝度ユニットがフレーム内ブロック符号化モードで符号化を行った場合、
    前記特定の輝度ユニットのブロックベクトルを前記色度ユニットに関連付けること、
    をさらに含むことを特徴とする請求項4に記載の方法。
  6. 前記処理回路は、前記色度ユニットと同一の場所に配置された前記特定の輝度ユニットが前記フレーム内ブロック符号化モード以外のモードで符号化を行った場合、
    隣接する色度ユニットに基づいて、前記色度ユニットのブロックベクトルを決定すること、
    をさらに含むことを特徴とする請求項5に記載の方法。
  7. 前記処理回路は、シーケンスパラメータセット(SPS)、画像パラメータセット(PPS)およびスライスヘッダーのうちの少なくとも1つから、前記第1閾値を復号化すること、
    をさらに含むことを特徴とする請求項4に記載の方法。
  8. 前記処理回路は、前記輝度ユニットでのフレーム内ブロックコピーモードの普遍性の割合が前記第1閾値より低い第2閾値を下回っている場合、前記色度符号化ユニットに対して、前記フレーム内ブロックコピーモードを無効にすること、
    をさらに含むことを特徴とする請求項4に記載の方法。
  9. 前記処理回路は、前記輝度符号化ユニットの少なくとも1つの輝度ユニットが前記フレーム内ブロックコピーモードで符号化されていない場合、前記色度符号化ユニットに対して、前記フレーム内ブロックコピーモードを無効にすること、
    をさらに含むことを特徴とする請求項4に記載の方法。
  10. 前記処理回路は、
    非フレーム内ブロックコピーモードが前記輝度ユニットに存在する場合、前記色度符号化ユニットを色度符号化サブユニットに分割し、
    それぞれの色度符号化サブユニットが前記フレーム内ブロックコピーモードを使用して復号化できるかどうかを判定すること、
    をさらに含むことを特徴とする請求項1に記載の方法。
  11. 前記処理回路は、
    前記色度符号化ユニットに関連付けられた分割フラグを検出し、
    前記分割フラグに応答して、前記色度符号化ユニットを前記色度符号化サブユニットに分割すること、
    をさらに含むことを特徴とする請求項10に記載の方法。
  12. ビデオ復号化装置であって、
    処理回路を備え、前記処理回路は、
    色度符号化ユニットの色度ユニットと同一の場所に配置された輝度符号化ユニットの輝度ユニットを位置決めし、
    輝度ユニットでのフレーム内ブロックコピーモードの普遍性を決定し、
    前記普遍性が要件を満たす場合、色度符号化ユニットにおける色度ユニットのブロックベクトルを決定し、
    前記ブロックベクトルに基づいて、前記色度ユニットの少なくとも1つのサンプルを再構築するように構成される、
    ことを特徴とする装置。
  13. 前記処理回路は、
    すべての前記輝度ユニットが前記フレーム内ブロックコピーモードで符号化を行った場合、前記輝度ユニットに基づいて、前記色度符号化ユニットにおける色度ユニットのブロックベクトルを決定するように構成される、
    ことを特徴とする請求項12に記載の装置。
  14. 前記処理回路は、
    前記色度符号化ユニットにおける色度ユニットと同一の場所に配置された特定の輝度ユニットを位置決めし、
    前記色度ユニットの特定の輝度ユニットに関連付けられているブロックベクトルを決定するように構成される、
    ことを特徴とする請求項13に記載の装置。
  15. 前記処理回路は、
    前記輝度ユニットでのフレーム内ブロックコピーモードの普遍性の割合が第1閾値より高い場合、同一の場所に配置された輝度ユニットに基づいて、前記色度符号化ユニットにおける色度ユニットのブロックベクトルを決定するように構成される、
    ことを特徴とする請求項12に記載の装置。
  16. 前記処理回路は、
    前記色度ユニットと同一の場所に配置された特定の輝度ユニットがフレーム内ブロック符号化モードで符号化を行った場合、
    前記特定の輝度ユニットのブロックベクトルを前記色度ユニットに関連付け、
    前記色度ユニットと同一の場所に配置された前記特定の輝度ユニットが前記フレーム内ブロック符号化モード以外のモードで符号化を行った場合、
    隣接する色度ユニットに基づいて、前記色度ユニットのブロックベクトルを決定するように構成される、
    ことを特徴とする請求項15に記載の装置。
  17. 前記処理回路は、
    シーケンスパラメータセット(SPS)、画像パラメータセット(PPS)およびスライスヘッダーのうちの少なくとも1つから、前記第1閾値を復号化するように構成される、
    ことを特徴とする請求項15に記載の装置。
  18. 前記処理回路は、
    前記輝度ユニットでのフレーム内ブロックコピーモードの普遍性の割合が前記第1閾値より低い第2閾値を下回っている場合、前記色度符号化ユニットに対しては、前記フレーム内ブロックコピーモードを無効にし、または、
    前記輝度符号化ユニットの少なくとも1つの輝度ユニットが前記フレーム内ブロックコピーモードで符号化されていない場合、前記色度符号化ユニットに対して、前記フレーム内ブロックコピーモードを無効にするように構成される、
    ことを特徴とする請求項15に記載の装置。
  19. 前記処理回路は、
    非フレーム内ブロックコピーモードが前記輝度ユニットに存在する場合、前記色度符号化ユニットを色度符号化サブユニットに分割し、
    それぞれの色度符号化サブユニットが前記フレーム内ブロックコピーモードを使用して復号化できるかどうかを判定するように構成される、
    ことを特徴とする請求項12に記載の装置。
  20. ビデオ復号化装置のコンピュータに、
    色度符号化ユニットの色度ユニットと同一の場所に配置された輝度符号化ユニットの輝度ユニットを位置決めすることと、
    輝度ユニットでのフレーム内ブロックコピーモードの普遍性を決定することと、
    前記普遍性が要件を満たす場合、前記色度符号化ユニットにおける色度ユニットのブロックベクトルを決定することと、
    前記ブロックベクトルに基づいて、前記色度ユニットの少なくとも1つのサンプルを再構築することとを実行させる、
    ことを特徴とするコンピュータプログラム。
JP2020563844A 2018-02-05 2019-02-27 ビデオ復号化のための方法、装置およびコンピュータプログラム Active JP7208261B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862626571P 2018-02-05 2018-02-05
US62/626,571 2018-02-05
US16/203,224 US10687071B2 (en) 2018-02-05 2018-11-28 Method and apparatus for video coding
US16/203,224 2018-11-28
PCT/IB2019/051569 WO2019150351A1 (en) 2018-02-05 2019-02-27 Method and apparatus for video coding

Publications (2)

Publication Number Publication Date
JP2021513303A true JP2021513303A (ja) 2021-05-20
JP7208261B2 JP7208261B2 (ja) 2023-01-18

Family

ID=67477105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020563844A Active JP7208261B2 (ja) 2018-02-05 2019-02-27 ビデオ復号化のための方法、装置およびコンピュータプログラム

Country Status (6)

Country Link
US (3) US10687071B2 (ja)
EP (1) EP3750313A4 (ja)
JP (1) JP7208261B2 (ja)
KR (1) KR102442931B1 (ja)
CN (1) CN111492659B (ja)
WO (1) WO2019150351A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11012715B2 (en) * 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
GB2588003B (en) 2018-06-05 2023-04-19 Beijing Bytedance Network Tech Co Ltd Interaction between pairwise average merging candidates and IBC
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
WO2019244118A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
MX2021002396A (es) 2018-08-28 2021-05-12 Huawei Tech Co Ltd Metodo y aparato de particion de imagenes.
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
CN113196772A (zh) 2018-11-29 2021-07-30 北京字节跳动网络技术有限公司 块内拷贝模式和基于子块的运动矢量预测模式之间的交互
CN114173114B (zh) * 2019-01-08 2022-09-23 华为技术有限公司 图像预测方法、装置、设备、系统及存储介质
EP3941046A4 (en) * 2019-03-14 2022-12-21 LG Electronics Inc. IMAGE CODING/DECODING METHOD AND APPARATUS FOR PERFORMING INTRA PREDICTION, AND BITSTREAM TRANSMISSION METHOD
CN113812147B (zh) * 2019-03-14 2024-04-09 Sk电信有限公司 使用块内复制的图像编码和解码
WO2021030747A1 (en) * 2019-08-15 2021-02-18 Beijing Dajia Internet Information Technology Co., Ltd. Small chroma block size restriction in video coding
US11330266B2 (en) * 2020-05-18 2022-05-10 Tencent America LLC Signaling method for chroma intra prediction mode
US11595644B2 (en) * 2020-10-01 2023-02-28 Tencent America LLC Method and apparatus for offset in video filtering
WO2023200241A1 (ko) * 2022-04-12 2023-10-19 한국전자통신연구원 화면내 블록 복사를 이용한 비디오 부호화/복호화를 위한 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017508345A (ja) * 2014-01-09 2017-03-23 クゥアルコム・インコーポレイテッドQualcomm Incorporated 予測ブロックからのイントラ予測

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10104395B2 (en) * 2013-10-14 2018-10-16 Texas Instruments Incorporated Intra block copy (IntraBC) cost estimation
WO2015078304A1 (en) * 2013-11-27 2015-06-04 Mediatek Singapore Pte. Ltd. Method of video coding using prediction based on intra picture block copy
US10390034B2 (en) * 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) * 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
CN106416243B (zh) 2014-02-21 2019-05-03 联发科技(新加坡)私人有限公司 利用基于帧内图像区块复制预测的视频编码方法
US9860559B2 (en) * 2014-03-17 2018-01-02 Mediatek Singapore Pte. Ltd. Method of video coding using symmetric intra block copy
CN106464905B (zh) 2014-05-06 2019-06-07 寰发股份有限公司 用于块内复制模式编码的块向量预测方法
US20170195677A1 (en) 2014-05-22 2017-07-06 Mediatek Inc. Method of Intra Block Copy with Flipping for Image and Video Coding
CN111147846B (zh) 2014-07-07 2022-03-11 寰发股份有限公司 利用帧内区块复制模式编码的视频编码方法
US10027981B2 (en) 2014-09-01 2018-07-17 Hfi Innovation Inc. Method of intra picture block copy for screen content and video coding
WO2016050219A1 (en) 2014-09-30 2016-04-07 Mediatek Inc. Method of adaptive motion vetor resolution for video coding
WO2016078599A1 (en) 2014-11-20 2016-05-26 Mediatek Inc. Method of motion vector and block vector resolution control
US9591325B2 (en) * 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US10362331B2 (en) * 2015-03-02 2019-07-23 Hfi Innovation Inc. Method and apparatus for intraBC mode with fractional-pel block vector resolution in video coding
KR102206504B1 (ko) * 2015-04-29 2021-01-22 에이치에프아이 이노베이션 인크. 인트라 블록 복사 참조 리스트 구축을 위한 방법 및 장치
EP3298785A4 (en) * 2015-06-03 2019-02-13 MediaTek Inc. METHOD AND APPARATUS FOR RESOURCE SHARING BETWEEN INTRA BLOCK COPY MODE AND INTER-PREDICTION MODE IN VIDEO CODING SYSTEMS
EP3304907B1 (en) * 2015-06-08 2022-03-23 VID SCALE, Inc. Intra block copy mode for screen content coding
EP3456043A4 (en) * 2016-05-28 2019-11-27 MediaTek Inc. METHOD AND DEVICE FOR REFERENCING THE CURRENT IMAGE FOR VIDEO CODING USING AFFINER MOTION COMPENSATION
US11012715B2 (en) * 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
EP3941046A4 (en) * 2019-03-14 2022-12-21 LG Electronics Inc. IMAGE CODING/DECODING METHOD AND APPARATUS FOR PERFORMING INTRA PREDICTION, AND BITSTREAM TRANSMISSION METHOD

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017508345A (ja) * 2014-01-09 2017-03-23 クゥアルコム・インコーポレイテッドQualcomm Incorporated 予測ブロックからのイントラ予測

Also Published As

Publication number Publication date
US20220132154A1 (en) 2022-04-28
KR20200116502A (ko) 2020-10-12
US10687071B2 (en) 2020-06-16
US11252425B2 (en) 2022-02-15
KR102442931B1 (ko) 2022-09-13
CN111492659B (zh) 2023-08-08
EP3750313A1 (en) 2020-12-16
JP7208261B2 (ja) 2023-01-18
WO2019150351A1 (en) 2019-08-08
US11503320B2 (en) 2022-11-15
CN111492659A (zh) 2020-08-04
US20190246128A1 (en) 2019-08-08
EP3750313A4 (en) 2021-03-24
US20200267402A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
JP7013588B2 (ja) ビデオ復号方法、装置およびコンピュータプログラム
JP7062788B2 (ja) ビデオを復号する方法、装置およびコンピュータプログラム
JP7026249B2 (ja) 映像復号化のための方法、装置及びコンピュータ・プログラム
JP7057448B2 (ja) ビデオ圧縮における複数ラインのフレーム内予測のための方法および装置
KR102637562B1 (ko) 비디오 압축에서의 비-정사각형 블록들에 대한 인트라 예측을 위한 방법 및 장치
JP7208261B2 (ja) ビデオ復号化のための方法、装置およびコンピュータプログラム
JP7027617B2 (ja) ビデオエンコーディング及びデコーディングのための方法、装置、コンピュータプログラム、及び非一時的なコンピュータ可読媒体
JP2022515876A (ja) ビデオデコーディングのための方法、装置、媒体、およびプログラム
JP2021518088A (ja) 小ブロックの予測と変換のための方法、装置、及びプログラム
JP2021515454A (ja) ビデオ符号化/復号化の方法及び装置
CN112154661A (zh) 用于视频解码的方法和装置
EP3831072A1 (en) Constraints on coding unit partition
JP2022510326A (ja) ビデオ復号化のための方法、機器、非一時的なコンピュータ可読媒体、及びコンピュータプログラム
JP2022505996A (ja) 動画の符号化及び復号方法、装置、並びにコンピュータプログラム
JP2022521516A (ja) ビデオコーディングのための方法およびコンピュータプログラム
JP2022520408A (ja) ビデオ復号のための方法、装置、およびコンピュータプログラム
CN112753223B (zh) 用于视频解码的方法、装置和计算机可读介质
JP7457170B2 (ja) サブブロックに基づく時間的動きベクトル予測のための方法並びにその機器及びコンピュータプログラム
JP2021518091A (ja) ビデオ符号化のための方法並びにその装置及びコンピュータプログラム
JP2022515222A (ja) ビデオ符号化用の方法、装置およびプログラム
JP2022525467A (ja) ビデオ符号化又は復号化の方法、装置及びコンピュータプログラム
KR20210074399A (ko) 비디오 디코딩 방법 및 장치, 저장 매체
CN112235573B (zh) 视频编解码的方法、装置、电子设备、存储介质
JP2022516062A (ja) ビデオ復号のための方法、ビデオデコーダ、およびコンピュータプログラム、ならびにビデオ符号化のための方法
JP7048773B2 (ja) ビデオ符号化の方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230105

R150 Certificate of patent or registration of utility model

Ref document number: 7208261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150