JP2021521725A - マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法、装置、及びコンピュータプログラム - Google Patents

Abstract

ビデオシーケンスを復号化するための参照ラインインデックスに基づいてマルチラインイントラ予測のためのイントラ補間フィルタを選択する方法及び装置であって、符号化ユニットに関連付けられる参照ラインのセットを識別することと、前記参照ラインのセットにおける第１の参照ラインが第１の参照ラインインデックスに関連付けられていることに基づいて、第１タイプの補間フィルタを、符号化ユニットに隣接するものである第１の参照ラインに含まれる参照サンプルに適用して、第１セットの予測サンプルを生成することと、前記参照ラインのセットにおける第２の参照ラインが第２の参照ラインインデックスに関連付けられていることに基づいて、第２タイプの補間フィルタを、符号化ユニットに隣接しないものである第２の参照ラインに含まれる参照サンプルに適用して、第２セットの予測サンプルを生成することと、を含む。

Description

関連出願の相互参照

３５ Ｕ.Ｓ.Ｃ.１１９に従って、本出願は、２０１８年９月１０日に提出された米国仮出願第６２／７２９,３９５号及び２０１８年１１月２８日に米国特許商標局へ提出された米国特許出願第１６／２０２,９０２号に基づく優先権を主張し、これらの開示は、その全体が参照により本明細書に組み込まれる。

本開示は、１組の高度なビデオ符号化技術に関する。より具体的に、本開示は、マルチラインイントラ予測のための修正されたイントラ補間フィルタスキームを提供する。

ＩＴＵ-Ｔ ＶＣＥＧ（Ｑ６ ／ １６）及びＩＳＯ
／ ＩＥＣ ＭＰＥＧ（ＪＴＣ ｌ ／ ＳＣ ２９ ／ ＷＧ １１）は、２０１３年（バージョン１）にＨ.２６５ ／
ＨＥＶＣ（高効率ビデオ符号化）標準を公布し、２０１４年（バージョン２）、２０１５（バージョン３）、２０１６（バージョン４）で更新を提供した。それ以降、ＩＴＵは、ＨＥＶＣ標準（拡張を含む）を大幅に超える圧縮能力を備えた将来のビデオ符号化技術の標準化の潜在的な必要性を研究してきた。

２０１７年１０月、ＩＴＵは、ＨＥＶＣを超える能力を備えたビデオ圧縮に関する共同提案（ＣｆＰ）を発表した。２０１８年２月１５日までに、標準ダイナミックレンジ（ＳＤＲ）に関する合計２２個のＣｆＰ応答、ハイダイナミックレンジ（ＨＤＲ）に関する合計１２個のＣｆＰ応答、及び３６０ビデオカテゴリに関する１２個のＣｆＰ応答をそれぞれ提出した。

２０１８年４月、１２２ ＭＰＥＧ ／
１０^ｔｈ ＪＶＥＴ （共同ビデオ探査チーム−共同ビデオ専門家チーム）会議において、受信したすべてのＣｆＰ応答を評価した。ＪＶＥＴは、慎重な評価により、ＨＥＶＣ以外の次世代のビデオ符号化、いわゆる汎用ビデオ符号化（Ｖｅｒｓａｔｉｌｅ
Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）の標準化を正式に開始した。

ＨＥＶＣには、合計３５個のイントラ予測モードがあり、モード１０は水平モード、モード２６は垂直モード、モード２、１８、３４は対角モードである。イントラ予測モードは、３つの最確モード（ｍｏｓｔ
ｐｒｏｂａｂｌｅ ｍｏｄｅ、ＭＰＭ）と残りの３２個のモードによってシグナリングされる。

ＶＶＣの現在の開発では、合計８７個のイントラ予測モードがあり、モード１８は水平モード、モード５０は垂直モード、モード２、３４及び６６は対角モードである。
モード１から１０及びモード６７から７６は、広角イントラ予測（ＷＡＩＰ）モードに指定される。

イントラモードを符号化するために、隣接するブロックのイントラモードに基づいて、３つのモードの最確モード（ＭＰＭ）リストを生成する。
このＭＰＭリストは、ＭＰＭリスト又はプライマリＭＰＭリストと呼ばれる。ＭＰＭリストにイントラモードが含まれていない場合、イントラモードが選択したモードに属するかどうかを指示するように、フラグをシグナリングする。

ＶＶＣの開発では、プライマリＭＰＭリストとセカンダリＭＰＭリストの実現方法が提案されている。セカンダリＭＰＭリストにおけるモードは、プライマリＭＰＭリストに含まれない。
ＭＰＭリストにおけるモードの数は３、４、５、６、７、８などであってもよく、セカンダリＭＰＭリストにおけるモードの数は８、１６、３２などであってもよい。

ＶＶＣでは、輝度コンポーネントについて、生成プロセスの前に、イントラ予測サンプルの生成に使用される隣接するサンプルをフィルタリングする（即ち、イントラ平滑化処理）。フィルタリングは、所与されたイントラ予測モードと変換ブロックサイズによって制御される。
イントラ予測モードがＤＣの場合、又は変換ブロックサイズが４×４の場合、隣接するサンプルをフィルタリングしない。また、所与されたイントラ予測モードと垂直モード（又は水平モード）との間の距離が所定のしきい値よりも大きい場合、フィルタリング処理を開始する。隣接するサンプルのフィルタリングに、[１，２，１]フィルタと双線形フィルタを使用する。 例えば、ＶＶＣドラフト２の記事８．２．４．２．４及び表８−４は、ＶＶＣで提案されているイントラ平滑化処理を説明した。

マルチラインイントラ予測は、イントラ予測に追加参照ラインを使用するために提案された。符号器は、イントラ予測器を生成するために使用される参照ラインを決定してシグナリングすることができる。イントラ予測モードの前に、参照ラインインデックスを信号で示し、非ゼロの参照ラインインデックスをシグナリングする場合に、イントラ予測モードから平面モード／
ＤＣモードを除外する。

従来のイントラ予測モードでカバーされる予測方向の範囲を超える広角が提案され、広角イントラ予測モードと呼ばれる。これらの広角は、以下の非正方形ブロックにのみ適用される。ブロックの幅がブロックの高さよりも大きい場合、右上方向に４５度を超える角度（ＨＥＶＣのイントラ予測モード３４）にある。ブロックの高さがブロックの幅よりも大きい場合、左下方向に４５度を超える角度（ＨＥＶＣのイントラ予測モード２）にある。

元の方法を使用して、置き換えられたモードをシグナリングし、解析後に広角モードのインデックスに再マッピングする。イントラ予測モードの総数は変化せず、つまり、例えば、ＶＴＭ−１．０の場合は３５、ＢＭＳ−１．０の場合は６７であり、イントラモードの符号化は変化していない。

バイラテラルフィルタは、画像に使用される非線形、エッジ保存、ノイズ低減平滑化フィルタである。隣接するピクセルからの輝度値の加重平均を使用して各ピクセルの輝度を置き換える。この重みは、ガウス分布に基づくことができる。重みは、ピクセルのユークリッド距離に依存し、さらに、放射の違い（例えば、色の強度、奥行き距離などの範囲の違い）に依存する。バイラテラルフィルタは、シャープなエッジを保存するのに役立つ。イントラブロックの元の（フィルタリングされていない）参照サンプルＩ(ｘ)が所与されると、バイラテラルフィルタ関数は次のように定義される。

方向性イントラ予測に使用される予測サンプルを生成するために、４タップ及び６タップのイントラ補間フィルタが提案された。２種類の４タップ補間フィルタ、即ちキュービック補間フィルタとガウス補間フィルタを使用する。キュービックフィルタは画像のエッジを保存するのに適し、ガウス補間フィルタは画像のノイズを除去するのに適する。キュービック補間フィルタは、イントラ予測モードが対角モード（即ち、モード３４）以上で、且つブロックの幅が８以下の場合、及びイントラ予測モードが対角モード（即ち、モード３４）以下で、且つブロックの高さが８以下である場合に、実現される。

ガウスフィルタは、イントラ予測モードが対角モード（即ち、モード３４）以上で、且つ、ブロックの幅が８よりも大きい場合、及び、イントラ予測モードが対角モード（即ち、モード３４）以下で、且つブロックの高さが８よりも大きい場合に、実現される。

ビデオシーケンスを復号するための参照ラインインデックスに基づいて、マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法であって、符号化ユニットに関連付けられる参照ラインのセットを識別するステップと、前記参照ラインのセットにおける第１の参照ラインが第１の参照ラインインデックスに関連付けられていることに基づいて、第１タイプの補間フィルタを、前記符号化ユニットに隣接するものである前記第１の参照ラインに含まれる参照サンプルに適用して、第１セットの予測サンプルを生成するステップと、前記参照ラインのセットにおける第２の参照ラインが第２の参照ラインインデックスに関連付けられていることに基づいて、第２タイプの補間フィルタを、前記符号化ユニットに隣接しないものである前記第２の参照ラインに含まれる参照サンプルに適用して、第２セットの予測サンプルを生成するステップと、を含む。

ビデオシーケンスを復号するための参照ラインインデックスに基づいて、マルチラインイントラ予測のためのイントラ補間フィルタを選択する装置であって、プログラムコードを記憶するように構成されている少なくとも１つのメモリと、前記プログラムコードを読み取り、前記プログラムコードの指示に従って動作するように構成されている少なくとも１つのプロセッサと、を含み、前記プログラムコードは、前記少なくとも１つのプロセッサに、符号化ユニットに関連付けられる参照ラインのゼットを識別させるように構成されている認識コードと、前記少なくとも１つのプロセッサに、前記参照ラインのセットにおける第１の参照ラインが第１の参照ラインインデックスに関連付けられていることに基づいて、第１タイプの補間フィルタを、前記符号化ユニットに隣接するものである前記第１の参照ラインに含まれる参照サンプルに適用させて、第１セットの予測サンプルを生成させるように構成されている第１の適用コードと、前記少なくとも１つのプロセッサに、前記参照ラインのセットにおける第２の参照ラインが第２の参照ラインインデックスに関連付けられていることに基づいて、第２タイプの補間フィルタを、前記符号化ユニットに隣接しないものである前記第２の参照ラインに含まれる参照サンプルに適用させて、第２セットの予測サンプルを生成させるように構成されている第２の適用コードと、を含む。

命令を記憶する非一時的コンピュータ可読媒体であって、当該命令は１つ又は複数の命令を含み、前記１つ又は複数の命令は、ビデオシーケンスを復号化するための参照ラインインデックスに基づいて、マルチラインイントラ予測のためのイントラ補間フィルタを選択する装置の１つ又は複数のプロセッサによって実行されるときに、符号化ユニットに関連付けられる参照ラインのセットを識別し、前記参照ラインのセットにおける第１の参照ラインが第１の参照ラインインデックスに関連付けられていることに基づいて、第１タイプの補間フィルタを、前記符号化ユニットに隣接するものである前記第１の参照ラインに含まれる参照サンプルに適用して、第１セットの予測サンプルを生成し、前記参照ラインのセットにおける第２の参照ラインが第２の参照ラインインデックスに関連付けられていることに基づいて、第２タイプの補間フィルタを、前記符号化ユニットに隣接しないものである前記第２の参照ラインに含まれる参照サンプルに適用して、第２セットの予測サンプルを生成するというド動作を前記１つ又は複数のプロセッサに実行させる。

開示される主題の他の特徴、特性及び様々な利点は、以下の詳しい説明及び添付の図面からより明確になる。図面において、
ビデオシーケンスを復号するための参照ラインインデックスに基づいて、マルチラインイントラ予測のためのイントラ補間フィルタを選択するための例示的な処理のフローチャートである。 本開示の実施形態による通信システムの簡略化ブロック図である。 ストリーミング環境におけるビデオ符号化器及び復号器の配置の図である。 本開示の実施形態によるビデオ復号器の機能ブロック図である。 本開示の実施形態によるビデオ符号化器の機能ブロック図である。 実施形態によるコンピュータシステムの図である。

ガウシアンフィルタは滑らかな画像領域に適し、キュービックフィルタはエッジのある領域に適する。マルチラインイントラ予測で使用される追加参照ラインの追加は、エッジのある領域に役立つ。ただし、同じキュービックフィルタ及びガウスフィルタの両方をすべての参照ラインに適用することは望ましい設計ではない。

図１は、ビデオシーケンスを復号化するための参照ラインインデックスに基づいてマルチラインイントラ予測のためのイントラ補間フィルタを選択する例示的な処理１００のフローチャートである。いくつかの実現方式において、図１の１つ又は複数の処理ブロックは復号器によって実行されることができる。いくつかの実現形態において、図１の１つ又は複数の処理ブロックは、復号器とは別個の、又はそれを含む別のデバイス又はデバイスのグループ（例えば、符号器）によって実行されることができる。

図１に示すように、処理１００は、符号化ユニットに関連付けられる参照ラインのセットを識別することを含むことができる（ブロック１１０）。

いくつかの実現形態において、最も近い参照ラインのラインインデックスは０（ゼロ参照ライン）である。また、シグナリングされる最大参照ライン数はＮとして表される。以下、で説明するイントラ補間フィルタとは、参照サンプルの分数位置を指す予測値を生成するための補間フィルタである。

いくつかの実現形態において、イントラ補間フィルタの選択は、シグナリングされる参照ラインインデックスに依存する。イントラ補間フィルタのタイプは、エッジ保存フィルタ及びエッジ平滑化フィルタ及び／又は類似するフィルタを含む。エッジ平滑化フィルタは、正のフィルタ係数又はゼロのフィルタ係数を有する線形補間フィルタを含む。エッジ保存フィルタは、例えばバイラテラルフィルタなどの、少なくとも１つ又は２つの負のフィルタ係数を有する線形補間フィルタ又は非線形フィルタを含む。

図１にさらに示すように、処理１００は、前記参照ラインのセットにおける第１の参照ラインが第１の参照ラインインデックスに関連付けられていることに基づいて、第１タイプの補間フィルタを、符号化ユニットに隣接するものである第１の参照ラインに含まれる参照サンプルに適用して、第１セットの予測サンプルを生成すること（ブロック１２０）、及び、前記参照ラインのセットにおける第２の参照ラインが第２の参照ラインインデックスに関連付けられていることに基づいて、第２タイプの補間フィルタを、符号化ユニットに隣接しないものである第２の参照ラインに含まれる参照サンプルに適用して、第２セットの予測サンプルを生成すること（ブロック１３０）を含むことができる。

実施形態によれば、ゼロ参照ラインにはエッジ平滑化フィルタとエッジ保存フィルタとの両方が適用され、非ゼロ参照ラインにはエッジ保存フィルタのみが適用される。また、エッジ平滑化フィルタは双線形フィルタ又はガウスフィルタを含むことができる。

実施形態によれば、エッジ保存フィルタはキュービック補間フィルタ、ＤＣＴベースの補間フィルタ（ＤＣＴ-ＩＦ）、４／６タップの多項式ベースの補間フィルタ、バイラテラルフィルタ、エルミート補間フィルタ及び／又は類似するフィルタであってもよい。

実施形態によれば、異なるラインに使用されるエッジ保存フィルタは異なる。例えば、エッジ保存フィルタのタップは、ゼロ参照ライン及び非ゼロ参照ラインの場合で異なってもよい。さらに、又は代わりに、Ｍタップのエッジ保存フィルタをゼロ参照ラインに使用し、Ｎタップのエッジ保存フィルタを非ゼロ参照ラインに使用する（例えば、Ｍ及びＮは正の整数であり、且つＭはＮに等しくない）。さらに、又は代わりに、異なる参照ラインに使用されるエッジ保存フィルタのフィルタ係数は異なってもよい。

他の実施形態において、エッジ保存フィルタ及びエッジ平滑化フィルタの係数は固定されており、サンプル値に依存しない。

いくつかの実現形態において、イントラ補間フィルタの選択は、参照ラインインデックス及び他の符号化された情報、又は符号器及び復号器の両方で使用可能な任意の情報、例えばイントラ予測モード及びブロックサイズに依存する。

実施形態によれば、満たされる条件に基づいてエッジ保存フィルタを使用する。例えば、イントラ予測モードが対角線モード（即ち、モード３４）以上であり、且つブロックの幅がＳ以下である場合、条件が満たされ得る。さらに、又は代わりに、イントラ予測モードが対角線モード（即ち、モード３４）以下であり、且つブロックの高さがＳ以下である場合、条件が満たされ得る。例えば、Ｓは、ブロックの幅又はブロック高さの閾値を示し得る。異なるラインによって、Ｓは異なってもよい。例えば、実施形態によれば、ゼロ参照ラインの場合、Ｓは８であり、非ゼロ参照ラインの場合、Ｓは１６又は３２である。

実施形態によれば、エッジ平滑化フィルタは、ゼロ参照ラインにおける広角に使用され、エッジ保存フィルタは、非ゼロ参照ラインにおける広角に使用される。さらに、又は代わりに、エッジ保存フィルタは、ゼロ参照ラインにおける広角に使用され、エッジ平滑化フィルタは、非ゼロ参照ラインにおける広角に使用される。

実施形態によれば、エッジ保存フィルタとエッジ平滑化フィルタの両方がゼロ参照ラインに適用され、及び／又は少なくとも１つの参照ラインにエッジ保存フィルタ又はエッジ平滑化フィルタが適用される。この場合、２つのフィルタを適用しない可能性がある。実施形態によれば、３つの参照ラインが存在する場合に、ラインインデックスは｛０，１， ２｝又は｛０，１，３｝であってもよく、エッジ保存フィルタとエッジ平滑化フィルタの両方をライン０に適用し、エッジ保存フィルタ又はエッジ平滑化フィルタのみをライン１に適用し、そして、エッジ平滑化フィルタ又はエッジ保存フィルタのみをライン２又はライン３に適用する。

実施形態によれば、エッジ保存フィルタとエッジ平滑化フィルタは全ての参照ラインに適用されるが、イントラ補間フィルタのタップ数は、ラインごとに異なってもよい。例えば、実施形態において、ゼロ参照ラインに使用されるエッジ保存フィルタはＭタップであり、非ゼロ参照ラインに使用されるエッジ保存フィルタはＮタップであり（例えば、Ｍ及びＮは正の整数であり、且つＭはＮに等しくなく、例えばＭ＝６且つＮ＝４である）。さらに、又は代わりに、ゼロ参照ラインに使用されるエッジ平滑化フィルタはＭタップであり、非ゼロ参照ラインに使用されるエッジ平滑化フィルタはＮタップである（例えば、Ｍ及びＮは正の整数であり、且つＭはＮに等しくなく、例えばＭ＝６且つＮ＝４である）。

実施形態によれば、いくつかの参照ラインについて、広角は禁止されるか、又は異なって限定される。例えば、非ゼロ参照ラインの場合、広角は禁止される。さらに、又は代わりに、少なくとも１つの参照ラインは広角を使用しない。さらに、又は代わりに、異なる参照ラインに使用される広角は異なる。例えば、広角イントラ予測方向によって置き換えられる従来の角度イントラ予測方向の数は、参照ラインインデックスに依存する。

実施形態によれば、イントラ平滑化フィルタは、ラインごとに異なってもよい。例えば、バイラテラルフィルタは、非ゼロ参照ラインのイントラ平滑化に使用される。さらに、又は代わりに、参照ラインインデックスをシグナリングする場合に、非ゼロ参照ラインについてイントラ平滑化フィルタは禁止される。さらに、又は代わりに、少なくとも１つの参照ラインはバイラテラルフィルタを使用してイントラ平滑化を行う。

実施形態によれば、イントラ平滑化フィルタのフィルタタップ数は、ラインごとに異なる。例えば、ゼロ参照ラインに使用されるイントラ平滑化フィルタのフィルタタップ数はＭであり、非ゼロ参照ラインに使用されるイントラ平滑化フィルタのフィルタタップ数はＮである（例えば、Ｍ及びＮは正の整数であり、且つＭはＮに等しくなく、例えばＭ＝６且つＮ＝４である）。

実施形態によれば、イントラ平滑化を適用するイントラ予測モードは、ラインごとに異なる。例えば、閾値Ｔは、イントラ予測モードＭｏｄｅが以下の条件を満たす場合に、どのイントラ予測モードがイントラ平滑化を適用するかを定義し、
ｍｉｎ(ａｂｓ(Ｍｏｄｅ−Ｈｏｒ)，ａｂｓ(Ｍｏｄｅ−Ｖｅｒ)) ＜Ｔであり、
ここで、「Ｈｏｒ」が水平モードのイントラ予測モードインデックスを示し、「Ｖｅｒ」が垂直モードのイントラ予測モードインデックスを示す。Ｔの値は、参照ラインインデックス及び他の符号化された情報、又は符号器及び復号器の両方に既知の任意の情報に依存し、例として、ブロック領域サイズ、ブロック幅、ブロックの高さ、ブロックのアスペクト比などを含むが、これらに限定されない。

実施形態によれば、非ゼロ参照ラインの場合、プライマリＭＰＭリスト及びセカンダリＭＰＭリストを含む、ＭＰＭモードのみを許可する。一実施形態において、現在のブロックの参照ラインインデックスが０よりも大きい場合、現在のブロックのイントラ予測モードがプライマリＭＰＭリストとセカンダリＭＰＭリストのどちらに属するかを指示するために、１つのビンをシグナリングし、「ｐｒｉｍａｒｙ_ｍｐｍ_ｆｌａｇ」と呼んでいる。「ｐｒｉｍａｒｙ_ｍｐｍ_ｆｌａｇ」が「真」である場合、プライマリＭＰＭインデックスがシグナリングされる。それ以外の場合、セカンダリＭＰＭインデックスがシグナリングされる。非ＭＰＭモードは非ゼロ参照ラインに使用されず、セカンダリＭＰＭを使用するか非ＭＰＭを使用するかを示すためのフラグはシグナリングされない。

実施形態によれば、平面モード及びＤＣモードはプライマリＭＰＭリスト及びセカンダリＭＰＭリストから除外される。

実施形態によれば、いくつかの実現形態は、複数のコンテキストを使用して参照ラインインデックスの第１のビンを符号化する。例えば、コンテキストの選択は、隣接ブロックの参照ラインインデックスに依存する。特定の例として、左のブロックの参照ラインインデックスと上のブロックの参照ラインインデックスの両方が０に等しい場合、コンテキスト０を選択し、また、左のブロックの参照ラインインデックスと上のブロックの参照ラインインデックスの両方が０に等しくない場合、コンテキスト１を選択する。それ以外の場合、コンテキスト２を選択する。

実施形態によれば、コンテキストの選択は、隣接ブロックのＣＢＦ（符号化ブロックフラグ）に依存する。ＣＢＦは、現在のブロックが非ゼロ係数を含むかどうかのインジケーターである。ＣＢＦが０に等しい場合、現在のブロックに非ゼロ係数が存在しない。一例では、左のブロックのＣＢＦと上のブロックのＣＢＦの両方が０に等しい場合、コンテキスト０を選択する。また、左のブロックのＣＢＦと上のブロックのＣＢＦの両方が０に等しくない場合、コンテキスト１を選択する。それ以外の場合、コンテキスト２を選択する。

実施形態によれば、参照ラインインデックス値に応じて、変換選択情報を符号化するためのコンテキストは、ＭＴＳフラグ、ＭＴＳインデックス、ＮＳＳＴインデックスを含むが、これらに限定されない。

図１は処理１００の例示的なブロックを示したが、いくつかの実現形態において、図１に示されるこれらのブロックと比較して、処理１００は、他のブロック、より少ないブロック、異なるブロック又は異なって配置されるブロックを含むことができる。さらに、又は代わりに、処理１００の２つ以上のブロックは、並行して実行され得る。

図２は、本開示の実施形態による通信システム（２００）の概略的ブロック図を示す。通信システム（２００）は、ネットワーク（２５０）を介して相互接続された少なくとも２つの端末（２１０〜２２０）を含み得る。データの一方向伝送の場合、第１の端末（２１０）は、ローカル位置でビデオデータを符号化して、ネットワーク（２５０）を介して他の端末（２２０）に伝送することができる。第２の端末（２２０）は、ネットワーク（２５０）から、他の端末の符号化されたビデオデータを受信し、符号化されたデータを復号化し、復元されたビデオデータを表示することができる。データの一方向伝送は、メディアサービスアプリケーションなどでは一般的である。

図２は、例えば、ビデオ会議中に発生する可能性がある符号化されたビデオの双方向伝送をサポートするために提供される第２対の端末（２３０、２４０）を示す。データの双方向伝送の場合、各端末（２３０、２４０）は、ローカル位置でキャプチャされたビデオデータを符号化して、ネットワーク（２５０）を介して他方の端末に伝送することができる。各端末（２３０、２４０）は、また、他方の端末によって伝送された符号化されたビデオデータを受信し、符号化されたデータを復号化し、復元されたビデオデータをローカル表示デバイスに表示してもよい。

図２において、端末（２１０〜２４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして図示されるが、本開示の原理はこれに限定されていない。本開示の実施形態は、ラップトップコンピュータ、タブレット、メディアプレイヤー及び／又は専用のビデオ会議機器に適用される。ネットワーク（２５０）は、端末（２１０〜２４０）の間で符号化されたビデオデータを伝送する任意の数のネットワークを示し、例えば、有線及び／又は無線通信ネットワークを含む。通信ネットワーク（２５０）は、回線交換及び／又はパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットを含む。この議論の目的のために、ネットワーク（２５０）のアーキテクチャ及びトポロジーは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではないかもしれない。

開示された主題の適用例として、図３は、ストリーミング環境におけるビデオ符号器及び復号器の配置方式を示し、開示された主題は、例えば、ビデオ会議、デジタルＴＶ、圧縮ビデオのＣＤ、ＤＶＤ、メモリスティックなどのデジタル媒体への記憶などを含む、ビデオをサポートする他のアプリケーションに等価的に利用されることができる。

ストリーミングシステムは、キャプチャサブシステム（３１３）を含むことができ、当該キャプチャサブシステムは、例えば非圧縮のビデオサンプルストリーム（３０２）を作成するために、ビデオソース（３０１）（例えば、デジタル撮影装置）を含んでもよい。ビデオサンプルストリーム（３０２）は、符号化されたビデオビットストリームと比較して多いデータ量を強調するために太線として描かれる。当該サンプルストリーム（３０２）は、撮影装置（３０１）に結合された符号器（３０３）によって処理されることができる。符号器（３０３）は、以下でより詳細に説明する開示された主題の各態様を実現又は実施するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。符号化されたビデオビットストリーム（３０４）は、サンプルストリームと比較して少ないデータ量を強調するために細い線として描かれる。符号化されたビデオビットストリーム（３０４）は、将来の使用のために、ストリーミングサーバ（３０５）に記憶され得る。１つ以上のストリーミングクライアント（３０６、３０８）は、ストリーミングサーバ（３０５）にアクセスして、符号化されたビデオビットストリーム（３０４）のコピー（３０７、３０９）を検索することができる。クライアント（３０６）は、符号化されたビデオビットストリーム（３０７）の着信コピーを復号化し、ディスプレイ（３１２）又は他のレンダリングデバイス（図示せず）でレンダリングできる発信ビデオサンプルストリーム（３１１）を作成するビデオ復号器（３１０）を含むことができる。一部のストリーミングシステムでは、ビデオビットストリーム（３０４、３０７、３０９）を、特定のビデオ符号化／圧縮規格に従って符号化することができる。これらの規格の例は、ＩＴＵ−Ｔ Ｈ．２６５勧告書を含む。非公式的に多用途ビデオ符号化と呼ばれるビデオ符号化規格は開発中である。開示された主題は、ＶＶＣのコンテキストで使用することができる。

図４は、本開示の実施形態によるビデオ復号器（３１０）の機能ブロック図であり得る。

受信機（４１０）は、復号器（３１０）によって復号化される１つ以上のコーデックビデオシーケンスを受信することができる。同一又は別の実施形態では、一度に１つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号化は他の符号化されたビデオシーケンスから独立している。チャネル（４１２）から符号化されたビデオシーケンスを受信することができ、チャネル（４１２）は、当該符号化されたビデオデータを記憶するストレージデバイスへのハードウェア／ソフトウェアリンクであってもよい。受信機（４１０）は、符号化されたビデオデータ及び他のデータ、例えば、それぞれの使用エンティティ（図示せず）に転送され得る符号化されたオーディオデータ及び／又は補助データストリームを受信してもよい。受信機（４１０）は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（４１５）は、受信機（４１０）とエントロピー復号器／パーサ（４２０）（以降、「パーサ」と呼ばれる）との間に結合され得る。受信機（４１０）が十分な帯域幅と制御可能性を有する記憶／転送デバイス、又は等時性リアルタイムネットワークからデータを受信する場合に、バッファ（４１５）は必要とされないか、又は小さくなり得る。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファ（４１５）を必要とする場合があり、バッファ（４１５）は、比較的大きくすることができ、自己適応サイズを有利に有することができる。

ビデオ復号器（３１０）は、エントロピー符号化されたビデオシーケンスに基づきシンボル（４２１）を再構成するために、パーサ（４２０）を含み得る。これらのシンボルのカテゴリは、復号器（３１０）の動作を管理するための情報と、ディスプレイ（３１２）などの、復号器の構成部分ではないが復号器に結合され得るレンダリングデバイスを制御するための潜在情報とを含む。図４に示すように、１つ以上のレンダリングデバイスのための制御情報は、補助拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩメッセージ）又はビデオユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）パラメータセットフラグメント（図示せず）の形であってよい。パーサ（４２０）は、受信された符号化されたビデオシーケンスを解析／エントロピー復号化することができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術又は規格に準拠することができ、可変長符号化、ハフマン符号化（Ｈｕｆｆｍａｎ
ｃｏｄｉｎｇ）、文脈依存の有無にかかわらず算術符号化などを含む、当業者に周知の原理に従うことができる。パーサ（４２０）は、グループに対応する少なくとも１つのパラメーターに基づいて、符号化されたビデオシーケンスから、ビデオ復号器における画素のサブグループのうちの少なくとも１つのためのサブグループパラメータセットを抽出することができる。サブグループは、ピクチャのグループ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ、ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）、ブロック、変換ユニット（Ｔｒａｎｓｆｏｒｍ
Ｕｎｉｔ、ＴＵ）、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）などを含んでもよい。エントロピー復号器／パーサは、また、符号化されたビデオシーケンス情報から、例えば、変換係数、量子化器パラメーター（Ｑｕａｎｔｉｚｅｒ Ｐａｒａｍｅｔｅｒ、ＱＰ）値、動きベクトルなどを抽出してもよい。

パーサ（４２０）は、バッファ（４１５）から受信されたビデオシーケンスに対してエントロピー復号化／解析動作を実行することで、シンボル（４２１）を作成することができる。パーサ（４２０）は、符号化されたデータを受信し、特定のシンボル（４２１）を選択的に復号化してもよい。また、パーサ（４２０）は、特定のシンボル（４２１）が動き補償予測ユニット（４５３）、スケーラ／逆変換ユニット（４５１）、イントラ予測ユニット（４５２）又はループフィルタ（４５６）に提供されるかどうかを判定してもよい。

シンボル（４２１）の再構築は、符号化されたビデオピクチャ又は符号化されたビデオピクチャの一部のタイプ（例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック）及び他の要因によって、複数の異なるユニットに関与してもよい。関与するユニット、及び関与方式は、符号化されたビデオシーケンスからパーサ（４２０）によって解析されたサブグループ制御情報によって制御されてもよい。簡潔のために、パーサ（４２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは説明されない。

既に言及された機能ブロックに加えて、復号器（３１０）は概念的には、以下に説明する複数の機能ユニットに細分されることができる。商業的な制約の下で実行される実際の実現では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明するために、概念的には、以下の機能ユニットに細分されることは適切である。

第１のユニットはスケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、パーサ（４２０）から（１つ以上の）シンボル（４２１）としての量子化変換係数及び制御情報を受信し、使用する変換方法、ブロックサイズ、量子化係数、量子化スケーリングマトリックスなどが含まれる。スケーラ／逆変換ユニット（４５１）は、サンプル値を含むブロックを出力することができ、当該ブロックはアグリゲータ（４５５）に入力されることができる。

いくつかの場合に、スケーラ／逆変換ユニット（４５１）の出力サンプルは、イントラ符号化ブロック、即ち、以前に再構築されたピクチャからの予測情報を使用しないが、現在のピクチャの以前に再構築された部分からの予測情報を使用するブロックに属してもよい。そのような予測情報は、イントラピクチャ予測ユニット（４５２）によって提供することができる。いくつかの場合に、イントラピクチャ予測ユニット（４５２）は、現在の（部分的に再構成された）ピクチャ（４５６）から抽出された、周囲が既に再構築された情報を使用して、再構築中のブロックと同じサイズ及び形状のブロックを生成する。いくつかの場合に、アグリゲータ（４５５）は、各サンプルに基づいて、イントラ予測ユニット（４５２）によって生成される予測情報を、スケーラ／逆変換ユニット（４５１）によって提供される出力サンプル情報に追加する。

他の場合に、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インター符号化及び潜在的動き補償ブロックに属してもよい。このような場合に、動き補償予測ユニット（４５３）は、参照ピクチャメモリ（４５７）にアクセスして、予測のためのサンプルを抽出してもよい。当該ブロックに属するシンボル（４２１）に基づき、抽出されたサンプルに対して動き補償を行った後に、これらのサンプルは、アグリゲータ（４５５）によって、スケーラ／逆変換ユニットの出力（この場合に、残差サンプル又は残差信号と呼ばれる）に追加されることで、出力サンプル情報を生成することができる。動き補償ユニットが予測サンプルを抽出するための参照ピクチャメモリ内のアドレスは動きベクトルによって制御されてもよく、動きベクトルはシンボル（４２１）の形で動き補償ユニットによって使用されることができ、シンボル（４２１）は、例えば、Ｘ、Ｙ、及び参照ピクチャコンポーネントを有してもよい。動き補償は、サブサンプルの正確な動きベクトルが使用されている際に、参照ピクチャメモリから抽出されたサンプル値に対する補間、動きベクトル予測メカニズムなどを含んでもよい。

アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）において様々なループフィルタリング技術によって処理され得る。ビデオ圧縮技術は、インループフィルタ技術を含んでもよく、当該インループフィルタ技術は、符号化されたビデオビットストリームに含められてパーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に使用可能にされるパラメータによって制御され、しかし、ビデオ圧縮技術は、符号化されたピクチャ又は符号化されたビデオシーケンスの（復号化順序で）前の部分を復号化する期間に得られたメタ情報に応答してもよいし、以前に再構築されループフィルタ処理されたサンプル値に応答してもよい。

ループフィルタユニット（４５６）の出力はサンプルストリームであってもよく、当該サンプルストリームは、将来のピクチャ間予測で使用されるために、レンダリングデバイス（３１２）に出力され、参照ピクチャメモリ（４５６）に記憶されてもよい。

完全に再構成されると、一部の符号化されたピクチャは、将来の予測のために参照ピクチャとして使用されることができる。符号化されたピクチャが完全に再構成され、且つ符号化されたピクチャが（例えば、パーサ（４２０）によって）参照ピクチャとして識別されると、現在の参照ピクチャ（６５６）は参照ピクチャバッファ（４５７）の一部になることができ、そして、その後の符号化されたピクチャの再構築を開始する前に、新しい現在のピクチャメモリを再割り当てすることができる。

ビデオ復号器（３１０）は、例えば ＩＴＵ−Ｔ
Ｈ．２６５勧告書の規格に記録されている所定のビデオ圧縮技術に従って、復号化動作を実行してもよい。符号化されたビデオシーケンスが（ビデオ圧縮技術ドキュメント又は規格で指定され、特にその中の文書ファイルで指定されるような）ビデオ圧縮技術又は規格の構文に準拠する意味で、符号化されたビデオシーケンスは、使用されているビデオ圧縮技術又は規格によって指定される構文に準拠することができる。コンプライアンスについて、符号化されたビデオシーケンスの複雑さがビデオ圧縮技術又は規格のレベルで限定されている範囲内にあることも要求する。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えばメガサンプル毎秒を単位として測定する）、最大参照ピクチャサイズなどを制限する。いくつかの場合に、レベルによって設定される制限は、仮想参照復号器（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ、ＨＲＤ）の仕様及び符号化されたビデオシーケンスにおいてシグナリングされるＨＲＤバッファ管理用のメタデータによってさらに制限されてもよい。

実施形態において、受信機（４１０）は、符号化されたビデオとともに、追加の（冗長な）データを受信してもよい。追加のデータは（１つ以上の）符号化されたビデオシーケンスの一部として含まれてもよい。追加のデータは、データを正確に復号化する、及び／又は、元のビデオデータをより正確に再構築するためにビデオ復号器（３１０）によって使用されてもよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ｓｉｇｎａｌ ｎｏｉｓｅ ｒａｔｉｏ、ＳＮＲ）拡張層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形であってもよい。

図５は、本開示の実施形態によるビデオ符号器（３０３）の機能ブロック図であり得る。

符号器（３０３）は、（符号器の一部ではない）ビデオソース（３０１）からビデオサンプルを受信してもよく、当該ビデオソースは符号器（３０３）によって符号化される（１つ以上の）ビデオ画像をキャプチャしてもよい。

ビデオソース（３０１）は、符号器（３０３）によって符号化されするデジタルビデオサンプルストリームの形であるソースビデオシーケンスを提供してもよく、当該デジタルビデオサンプルストリームは、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット・・・）、任意の色空間（例えば、ＢＴ．６０１
Ｙ ＣｒＣｂ、ＲＧＢ・・・）及び任意の適切なサンプリング構成（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有してもよい。メディアサービスシステムでは、ビデオソース（３０１）は、以前に準備されたビデオを記憶するストレージデバイスであってもよい。ビデオ会議システムでは、ビデオソース（５０３）は、ローカルイメージ情報をビデオシーケンスとしてキャプチャする撮影装置であってもよい。ビデオデータは、順番に見る際に動きが与えられる複数の個別のピクチャとして提供されてもよい。これらのピクチャ自体は空間画素アレイとして編成されてもよく、なお、各画素は、使用されるサンプリング構成、色空間などによって、１つ以上のサンプルを含んでもよい。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルを中心に説明する。

実施形態によれば、符号器（３０３）は、リアルタイム、又はアプリケーションによって要求される他の任意の時間制約の下で、ソースビデオシーケンスのピクチャを符号化し、符号化されたビデオシーケンス（５４３）に圧縮してもよい。適切な符号化速度を実施することはコントローラ（５５０）の機能の１つである。コントローラは、以下に説明する他の機能ユニットを制御し、これらのユニットに機能的に結合される。簡潔のために、結合は描かれていない。コントローラによって設置されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値…）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲などを含んでもよい。当業者は、コントローラ（５５０）の他の機能を容易に認識することができ、これらの機能は特定のシステム設計に対して最適化されたビデオ符号器（３０３）に関する。

一部のビデオ符号器は、当業者が「符号化ループ」として容易に認識する方式で動作する。非常に簡略化した説明として、符号化ループは、符号器（５３０）（以降、「ソース符号器」と呼ばれる）（符号化される入力ピクチャ及び（１つ以上の）参照ピクチャに基づいてシンボルを作成することを担当する）の符号化部分、及び符号器（３０３）に埋め込まれる（ローカルの）復号器（５３３）を含んでもよく、当該復号器（５３３）はシンボルを再構築して（リモート）復号器によっても作成されるサンプルデータを作成する（シンボルと符号化されたビデオビットストリームとの間の圧縮は、開示された主題で検討されているビデオ圧縮技術では無損失であるため）。当該再構築されたサンプルストリームは、参照ピクチャメモリ（５３４）に入力される。シンボルストリームの復号化によって、復号器の位置（ローカル又はリモート）に関係がないビットが正確である結果が得られるため、参照ピクチャバッファのコンテンツもローカル符号器とリモート符号器との間でビットが正確である。つまり、符号器の予測部分が「見る」参照ピクチャサンプルは、復号器が復号化中に予測を使用する際に「見る」サンプル値と全く同じである。参照ピクチャの同期性という基本的な原理（及び、例えば、チャネル誤差のため、同期性を維持できない場合に生じるドリフト）は、当業者に周知のものである。

「ローカル」復号器（５３３）の動作は、以上で図４に基づいて詳細に説明された「リモート」復号器（３１０）の動作と同じであってもよい。しかしながら、また、図５を簡単に参照し、シンボルが利用可能であり、且つ、エントロピー符号器（５４５）及びパーサ（４２０）が無損失でシンボルを、符号化されたビデオシーケンスに符号化／復号化できる場合に、チャネル（４１２）、受信機（４１０）、バッファ（４１５）及びパーサ（４２０）を含む復号器（３１０）のエントロピー復号化部分はローカル復号器（５３３）で完全に実現されない場合がある。

この場合、復号器に存在する解析／エントロピー復号化に加えて、任意の復号器技術も、必然的に基本的に同じ機能形式で対応する符号器に存在することが分かる。符号器技術と完全に説明された復号器技術とは相互に逆であるため、符号器技術の説明を簡略化できる。より詳しい説明は、特定の領域のみで必要であり、以下で提供される。

ソース符号器（５３０）の動作の一部として、ソース符号器（５３０）は動き補償予測符号化を実行してもよく、動き補償予測符号化は、ビデオシーケンスからの「参照フレーム」として指定された１つ以上の以前に符号化されたフレームを参照することで入力フレームを予測的に符号化する。このようにして、符号化エンジン（５３２）は入力フレームの画素ブロックと、入力フレームの予測参照として選択され得る参照フレームの画素ブロックとの間の差異を符号化してもよい。

ローカルビデオ復号器（５３３）は、ソース符号器（５３０）によって作成されたシンボルに基づいて、参照フレームとして指定され得るフレームの符号化されたビデオデータを復号化してもよい。符号化エンジン（５３２）の動作は、有利には、非可逆処理であり得る。符号化されたビデオデータがビデオ復号器（図５に図示せず）で復号化され得る場合、再構築されたビデオシーケンスは、通常、多少の誤差を有するソースビデオシーケンスのコピーであり得る。ローカルビデオ復号器（５３３）は、参照フレームに対してビデオ復号器によって実行され得る復号化処理をコピーし、再構成された参照フレームを参照ピクチャバッファ（５３４）に記憶してもよい。このようにして、符号器（３０３）は、再構成された参照フレームのコピーをローカルに記憶することができ、当該コピーは、リモートビデオ復号器によって得られる再構成された参照フレームと共通のコンテンツを有する（伝送誤差がない）。

予測器（５３５）は、符号化エンジン（５３２）に対して予測検索を実行することができる。つまり、符号化される新しいフレームについて、予測器（５３５）は、参照ピクチャメモリ（５３４）において、（候補参照画素ブロックとしての）新しいピクチャの適切な予測参照として使用し得るサンプルデータ、又は例えば参照ピクチャの動きベクトル、ブロック形状などの特定のメタデータを検索してもよい。予測器（５３５）は、適切な予測参照を見つけるために、サンプルブロックに基づいて、画素ブロックごとに動作することができる。いくつかの場合に、例えば、予測器（５３５）によって得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（５３４）に記憶された複数の参照ピクチャから抽出された予測参照を有してもよい。

コントローラ（５５０）は、例えば、ビデオデータを符号化するためのパラメータとサブグループパラメータの設定を含む、ソース符号器（５３０）の符号化動作を管理することができる。

エントロピー符号器（５４５）において、以上で言及された全ての機能ユニットの出力に対してエントロピー符号化を行ってもよい。エントロピー符号器は、例えばハフマン符号化、可変長符号化、算術符号化などの当業者に周知の技術に従って、シンボルに対して無損失圧縮を行うことにより、各機能ユニットによって生成されたシンボルを、符号化されたビデオシーケンスに変換する。

送信機（５４０）は、エントロピー符号器（５４５）によって作成された、符号化されたビデオシーケンスをバッファリングすることで、通信チャネル（５６０）を介する伝送のために準備することができ、当該通信チャネル（５６０）は、符号化されたビデオデータを記憶するストレージデバイスへのハードウェア／ソフトウェアリンクであってもよい。送信機（５４０）は、ビデオ符号器（５３０）からの符号化されたビデオデータを、伝送しようとする他のデータ、例えば、符号化されたオーディオデータ及び／又は補助データストリーム（ソースは図示せず）とともにマージしてもよい。

コントローラ（５５０）は、符号器（３０３）の動作を管理することができる。コントローラ（５５０）は、符号化中に、各符号化されたピクチャに、特定の符号化されたピクチャタイプを割り当てることができ、これは、対応するピクチャに適用し得る符号化技術に影響を与える可能性がある。例えば、通常、ピクチャは、次のフレームタイプのいずれかとして割り当てられ得る。

イントラピクチャ（Ｉピクチャ）は、シーケンス内の任意の他のフレームを予測のソースとして使用せずに符号化及び復号化されるピクチャとし得る。一部のビデオコーデックは、例えば、独立復号器リフレッシュピクチャを含む異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのこれらの変形及び対応する用途と特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、多くとも１つの動きベクトル及び参照インデックスを使用して各ブロックのサンプル値を予測し得るイントラ予測又はインター予測を使用して、符号化及び復号化されるピクチャとし得る。

双方向予測ピクチャ（Ｂピクチャ）は、多くとも２つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測又はインター予測を使用して符号化及び復号化されるピクチャとし得る。同様に、マルチ予測ピクチャは、２つを超える参照画像及び関連メタデータを単一のブロックの再構成に使用できる。

ソースピクチャは一般的に、空間的に、複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８又は１６×１６サンプルのブロック）に細分され、ブロックごとに符号化されてもよい。これらのブロックは、ブロックの対応するピクチャに適用される符号化割り当てによって決定される他の（符号化された）ブロックを参照して予測的に符号化されてもよい。例えば、Ｉピクチャのブロックは非予測的に符号化されてもよいし、又は、同一のピクチャの符号化されたブロックを参照してこれらのＩピクチャのブロックが予測的に符号化されてもよい（空間的予測又はイントラ予測）。Ｐピクチャの画素ブロックは、１つの以前に符号化された参照ピクチャを参照して空間的予測又は時間的予測を介して予測的に符号化され得る。Ｂピクチャのブロックは、１つ又は２つの以前に符号化された参照ピクチャを参照して、空間的予測又は時間的予測を介して予測的に符号化され得る。

ビデオ符号器（３０３）は、例えばＩＴＵ−Ｔ
Ｈ．２６５勧告書などの所定のビデオ符号化技術又は規格に基づき、符号化動作を実行することができる。ビデオ符号器（３０３）は、その動作中に、入力ビデオシーケンスにおける時間的及び空間的冗長性による予測符号化動作を含む様々な圧縮動作を実行することができる。従って、符号化されたビデオデータは、使用されているビデオ符号化技術又は規格によって指定された構文に準拠し得る。

実施形態において、送信機（５４０）は、符号化されたビデオとともに、追加のデータを送信してもよい。ビデオ符号器（５３０）は、このようなデータを、符号化されたビデオシーケンスの一部として含めてもよい。追加のデータは、時間的／空間的／ＳＮＲ拡張層、例えば冗長なピクチャ、スライスのような他の形の冗長データ、補助拡張情報（ＳＥＩ）メッセージ、視覚的ユーザビリティ情報（ＶＵＩ）パラメータセットフラグメントなどを含んでもよい。

また、提案された方法は、処理回路（例えば、１つ又は複数のプロセッサ又は１つ又は複数の集積回路）によって実現することができる。一例では、１つ又は複数のプロセッサは、非一時的なコンピュータ可読媒体に記憶されているプログラムを実行することで、提案された方法の１つ又は複数を実行する。

上記の技術はコンピュータ可読命令によってコンピュータソフトウェアとして実現され、１つ又は複数のコンピュータ可読媒体に物理的に記憶されてもよい。例えば、図６は開示された主題のいくつかの実施形態を実現するのに適したコンピュータシステム６００を示す。

コンピュータソフトウェアは、任意の適切なマシンコード又はコンピュータ言語を使用してコーディングすることができ、任意の適切なマシンコード又はコンピュータ言語に対して、アセンブル、コンパイル、リンクなどのメカニズムを適用することで、コンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、又は解釈、マイクロコードなどによって実行される命令を含むコードを作成することができる。

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む、様々なタイプのコンピュータ又はそれらのコンポーネントで実行されることができる。

図６に示すコンピュータシステム６００に使用されるコンポーネントは本質的に例示であり、本開示の実施形態を実現するためのコンピュータソフトウェアの使用範囲又は機能に制限を加えることを意図するものではない。コンポーネントの配置も、コンピュータシステム６００の例示的な実施例で示したコンポーネントのいずれか、又はそれらの組み合わせに関する任意の依存性又は要求を有するように解釈されるべきではない。

コンピュータシステム６００はいくつかのヒューマンマシンインターフェイス入力機器を含んでもよい。このようなヒューマンマシンインターフェイス入力機器は例えば、触覚入力（例えば：キーストローク、スライド、データグローブ移動）、オーディオ入力（例えば：音声、拍手）、視覚入力（例えば：ジェスチャ）、嗅覚入力（図示せず）などの１つ又は複数の人間ユーザによる入力に応答することができる。ヒューマンマシンインタフェース装置はさらに、例えば、オーディオ（例えば、音声、音楽、環境音）、画像（例えば、スキャンした画像、静止画撮影装置から取得された写真画像）、ビデオ（例えば２次元ビデオ、ステレオビデオが含まれる３次元ビデオ）などの、人間の意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されることもできる。

入力マンマシンインタフェース機器は、キーボード６０１、マウス６０２、タッチパッド６０３、タッチパネル６１０、データグローブ、ジョイスティック６０５、マイク６０６、スキャナ６０７、撮影装置（カメラ）６０８のうちの１つ又は複数を有してもよい（それぞれが１つのみ図示される）。

コンピュータシステム６００はさらにマンマシンインタフェース出力機器を有してもよい。このようなマンマシンインタフェース出力機器は、例えば触覚出力、音、光及び匂い／味を介して１つ又は複数の人類ユーザの感覚を刺激することができる。このようなマンマシンインタフェース出力機器は、触覚出力機器（例えば、タッチパネル６１０、データグローブ又はジョイスティック６０５による触覚フィードバック、ただし、入力機器として用いられない触覚フィードバック機器も存在する）、オーディオ出力機器（例えば、スピーカー６０９、ヘッドフォン（図示せず））、視覚出力機器（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン６１０、バーチャルリアリティ眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）であり、なお、各スクリーンはタッチパネル入力能力、触覚フィードバック能力を有してもよく、有してなくてもよく、そのうちのいくつかは、立体画像出力のような手段で、２次元視覚出力又は３次元以上の出力を出力する）、及びプリンター（図示せず）を含む。

コンピュータシステム６００はさらに、人間がアクセスし得る記憶機器及びその関連する媒体を有してもよく、例えば、ＣＤ／ＤＶＤなどの媒体６２１を有するＣＤ／ＤＶＤ
ＲＯＭ／ＲＷ６２０などの光学媒体、サムドライブ６２２、取り外し可能なハードドライブ又はソリッドステートドライブ６２３、磁気テープとフロッピーディスク（図示せず）のような従来の磁気媒体、専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づく機器（例えばドングル（図示せず））などを含む。

当業者は、本出願で開示された主題に関連して使用される用語「コンピュータ可読媒体」には伝送媒体、搬送波又は他の瞬間信号が含まれないことを理解できる。

コンピュータシステム６００は、さらに１つ又は複数の通信ネットワークへの（１つ又は複数の）インタフェースを含んでもよい。ネットワークは、例えば無線ネットワーク、有線ネットワーク、光学ネットワークであってもよい。ネットワークはさらに、ローカルネットワーク、ワイドエリアネットワーク、メトロポリタンネットワーク、車載及び工業ネットワーク、リアルタイムネットワーク、遅延耐性ネットワークなどであってもよい。ネットワークの例は、ローカルエリアネットワーク（例えば、イーサネット、無線ＬＡＮ）、セルラーネットワーク（全球モバイル通信ネットワーク（ＧＳＭ）、第３世代（３Ｇ）、第４世代（４Ｇ）、第５世代（５Ｇ）、ロングタームエボリューション（ＬＴＥ）などを含む）、テレビ有線又は無線広域デジタルネットワーク（有線テレビ、衛星テレビ及び地上波テレビを含む）、車載及び工業ネットワーク（ＣＡＮバス（ＣＡＮＢｕｓ）を含む）などを含む。あるネットワークは一般的に、ある汎用データポート又は周辺バス６４９（例えば、コンピュータシステム６００のＵＳＢポート）の外部ネットワークインタフェースに接続されるアダプタを必要とし、他のネットワークは一般的に、以下で説明される例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、又はスマートフォンコンピュータシステムへのセルラーネットワークインタフェースによってシステムバスに接続されることで、コンピュータシステム６００のコアに集積される。コンピュータシステム６００はこれらのネットワークのいずれかを介して、他のエンティティと通信することができる。このような通信は、一方向受信のみ（例えば、放送テレビ）、一方向送信のみ（例えば、あるＣＡＮバス機器へのＣＡＮバス)、又は双方向（例えば、ローカルエリア又は広域デジタルネットワークを使用して他のコンピュータシステムに達する）であってもよい。上記のこれらのネットワーク及びネットワークインタフェースのそれぞれに、特定のプロトコル及びプロトコルスタックを利用することができる。

前記マンマシンインタフェース機器、人間がアクセスし得る記憶機器及びネットワークインタフェースは、コンピュータシステム６００のコア６４０に接続され得る。

コア６４０は１つ又は複数の中央処理ユニット（ＣＰＵ）６４１、グラフィック処理ユニット（ＧＰＵ）６４２、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）６４３という形式の専用のプログラム可能な処理ユニット、あるタスクのためのハードウェアアクセラレータ６４４などを含む。これらの機器は、読み取り専用メモリ（ＲＯＭ）６４５、ランダムアクセスメモリ６４６、内部大容量メモリ６４７（内部のユーザアクセスできないハードディスクドライブ、ソリッドステートドライブ（ＳＳＤ）など）とともに、システムバス６４８を介して接続される。あるコンピュータシステムにおいて、１つ又は複数の物理プラグという形式で、システムバス６４８にアクセスすることで、別のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周囲機器は、直接的又は周辺バス６４９を介してコアのシステムバス６４８に接続される。周辺バスのアーキテクチャは周辺コンポーネントの相互接続（ＰＣＩ）、ＵＳＢなどを含む。

ＣＰＵ６４１、ＧＰＵ６４２、ＦＰＧＡ６４３及びアクセラレータ６４４はいくつかの命令を実行することができ、これらの命令を組み合わせると、上記のコンピュータコードを構成することができる。当該コンピュータコードは、ＲＯＭ６４５又はＲＡＭ６４６に記憶される。一時的なデータはＲＡＭ６４６に記憶されてもよく、永久データは、例えば内部大容量メモリ６４７に記憶されてもよい。キャッシュメモリを使用することによってメモリ機器のいずれかへの快速記憶及び検索を実現することができ、当該キャッシュメモリは１つ又は複数のＣＰＵ６４１、ＧＰＵ６４２、大容量記憶メモリ６４７、ＲＯＭ６４５、ＲＡＭ６４６などに密接に関連することができる。

コンピュータ可読媒体は、コンピュータによって実現される様々な動作を実行するためのコンピュータコードを有することができる。媒体とコンピュータコードは、本開示の目的のために、特別に設計及び構築される媒体とコンピュータコードであってもよいし、又は、コンピュータソフトウェア分野の当業者に周知且つ使用可能なタイプのものであってもよい

限定ではなく例示として、アーキテクチャ６００を有するコンピュータシステム、特にコア６４０は、（１つ又は複数の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形コンピュータ可読媒体に具現化されるソフトウェアを実行することで、機能を提供することができる。このようなコンピュータ可読媒体は、以上に紹介された、ユーザがアクセスし得る大容量記憶機器に関する媒体、及び例えばコア内部大容量メモリ６４７又はＲＯＭ６４５のような、コア６４０の非一時的な性質を持つ記憶機器であってもよい。本開示の各実施形態を実現するためのソフトウェアはこのような機器は記憶され、コア６４０によって実行され得る。特定の需要に応じて、コンピュータ可読媒体には１つ又は複数の記憶機器又はチップが含まれてもよい。ソフトウェアは、コア６４０、特にそのうちのプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ６４６に記憶されるデータ構成を限定すること、及びソフトウェアによって限定されたプロセスに基づき、このようなデータ構成を修正することが含まれる、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。また或いは代わりとして、コンピュータシステムは、ロジックハードワイヤード又は他の形式で回路（例えば、アクセラレータ６４４）に実装されることによって、機能を提供することができ、当該回路は、ソフトウェアの代わりとして、又はソフトウェアとともに動作することで、本明細書で説明される特定のプロセス又は特定のプロセスの特定部分を実行することができる。適切な場合、言及されたソフトウェアにはロジックが含まれ、逆に、言及されたロジックにはソフトウェアが含まれてもよい。適切な場合、言及されたコンピュータ可読媒体には、実行されるソフトウェアが記憶される回路（例えば、集積回路（ＩＣ））、実行されるロジックを具現化する回路、或いはそれらの両方が含まれてもよい。本開示にはハードウェアとソフトウェアの任意の適切な組み合わせが含まれる。

本開示は、いくつかの例示的な実施例を既に説明したが、本開示の範囲内にある変更、置き換え及び様々な代替の均等物が存在する。従って、本明細書では明示的に示されていないか又は記載されていないが、当業者が、本開示の原理を具現化し従ってその精神及び範囲内にある多くのシステム及び方法を思い付くことができることは理解すべきである。

Claims (15)

1. ビデオシーケンスを復号するための参照ラインインデックスに基づいて、マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法であって、
   符号化ユニットに関連付けられる参照ラインセットを識別するステップと、
   前記参照ラインセットにおける第１の参照ラインが第１の参照ラインインデックスに関連付けられていることに基づき、第１セットの予測サンプルを生成する為に、エッジ保存フィルタ並びに正の又は０のフィルタ係数のみを有するエッジ平滑化フィルタを、前記第１の参照ラインに含まれる参照サンプルに適用するステップであって、前記第１の参照ラインが前記符号化ユニットに隣接する、ステップと、
   前記参照ラインセットにおける第２の参照ラインが第２の参照ラインインデックスに関連付けられていることに基づき、第２セットの予測サンプルを生成する為に、エッジ平滑化フィルタではなく、エッジ保存フィルタのみを、前記第２の参照ラインに含まれる参照サンプルに適用するステップであって、前記第２の参照ラインが前記符号化ユニットに隣接していない、ステップと、を含む方法。
2. 前記エッジ平滑化フィルタは、正の又はゼロのフィルタ係数のみを有する線形補間フィルタを含み、
   前記エッジ保存フィルタは、少なくとも１つ又は２つの負のフィルタ係数を有する線形補間フィルタ、非線形フィルタ又はバイラテラルフィルタのうちの少なくとも１つを含む、請求項１に記載の方法。
3. 前記第１の参照ラインが、０の値を持つ第１の参照ラインインデックスを有する、請求項１に記載の方法。
4. 前記エッジ保存フィルタは、キュービックフィルタ、離散コサイン変換(ＤＣＴ）ベースのフィルタ、多項式ベースの補間フィルタ、バイラテラルフィルタ、及びエルミート補間フィルタのうちの少なくとも１つを含む、請求項２に記載の方法。
5. 前記第２の参照ラインが、非０の値を持つ第２の参照ラインインデックスを有する、請求項１に記載の方法。
6. 前記エッジ平滑化フィルタの第１のタップ数は、前記エッジ保存フィルタの第２のタップ数とは異なる、請求項１に記載の方法。
7. イントラ予測モードの前に参照ラインインデックスをシグナリングするステップを更に含み、前記シグナリングされたイントラ予測モードが平面モードを除き、前記参照ラインインデックスがイントラ予測に使用される参照ラインを示す、請求項１に記載の方法。
8. ビデオシーケンスを復号するための参照ラインインデックスに基づいて、マルチラインイントラ予測のためのイントラ補間フィルタを選択する装置であって、
   プログラムコードを記憶するように構成された少なくとも１つのメモリと、
   前記プログラムコードを読み取り、前記プログラムコードの指示に従って動作するように構成された少なくとも１つのプロセッサと、を含み、
   前記プログラムコードは、前記少なくとも１つのプロセッサに、
   符号化ユニットに関連付けられる参照ラインセットを認識するステップと、
   前記参照ラインセットにおける第１の参照ラインが第１の参照ラインインデックスに関連付けられていることに基づき、第１セットの予測サンプルを生成する為に、エッジ保存フィルタ並びに正の又は０のフィルタ係数のみを有するエッジ平滑化フィルタを、前記第１の参照ラインに含まれる参照サンプルに適用するステップであり、前記第１の参照ラインが前記符号化ユニットに隣接する、ステップと、
   前記参照ラインセットにおける第２の参照ラインが第２の参照ラインインデックスに関連付けられていることに基づき、第２セットの予測サンプルを生成する為に、エッジ平滑化フィルタではなく、エッジ保存フィルタのみを、前記第２の参照ラインに含まれる参照サンプルに適用するステップであり、前記第２の参照ラインが前記符号化ユニットに隣接していない、ステップと、を実行させるように構成されている、
   装置。
9. 前記エッジ平滑化フィルタは、正の又はゼロのフィルタ係数のみを有する線形補間フィルタを含み、
   前記エッジ保存フィルタは、少なくとも１つ又は２つの負のフィルタ係数を有する線形補間フィルタ、非線形フィルタ又はバイラテラルフィルタのうちの少なくとも１つを含む、請求項８に記載の装置。
10. 前記第１の参照ラインが、０の値を持つ第１の参照ラインインデックスを有する、請求項８に記載の装置。
11. 前記エッジ保存フィルタは、キュービックフィルタ、離散コサイン変換(ＤＣＴ）ベースのフィルタ、多項式ベースの補間フィルタ、バイラテラルフィルタ、及びエルミート補間フィルタのうちの少なくとも１つを含む、請求項８に記載の装置。
12. 前記第２の参照ラインが、非０の値を持つ第２の参照ラインインデックスを有する、請求項８に記載の装置。
13. 前記エッジ平滑化フィルタの第１のタップ数は、前記エッジ保存フィルタの第２のタップ数とは異なる、請求項８に記載の装置。
14. 前記プログラムコードは、前記少なくとも１つのプロセッサに、さらに、イントラ予測モードの前に参照ラインインデックスをシグナリングするステップを実行させるように構成され、前記シグナリングされたイントラ予測モードが平面モードを除き、前記参照ラインインデックスがイントラ予測に使用される参照ラインを示す、請求項８に記載の装置。
15. 請求項１乃至７のいずれか一項に記載の方法をコンピュータに実行させる為のコンピュータプログラム。
    
    

Images