JP2022500895A

JP2022500895A - イントラ変換コード化及び広角イントラ予測の調和

Info

Publication number: JP2022500895A
Application number: JP2021509169A
Authority: JP
Inventors: ナセル，カラム; ラケイプ，ファビアン; ラス，ガガン
Original assignee: インターデジタルヴイシーホールディングス，インコーポレイテッド
Priority date: 2018-09-21
Filing date: 2019-09-19
Publication date: 2022-01-04
Also published as: MX2021003317A; WO2020061319A1; EP3854080A1; KR20210058846A; AU2019342129A1; US20220124337A1; CN112740676A

Abstract

位置依存イントラ予測コンビネーションと共に広角イントラ予測を使用するための方法及び機器。広角イントラ予測は従来の４５度よりも高いイントラ予測方向角度を使用可能にする。更に、位置依存イントラ予測コンビネーション（ＰＤＰＣ）は次世代のビデオコード化Ｈ．２６６／ＶＶＣのための仕様に採用され、ブロックの辺沿いのより多くの参照ピクセルを使用可能にする。一実施形態では、コード化又は復号されるビデオブロックが正方形ではない場合、ブロックの長辺方向において追加のイントラ予測方向が使用可能にされる。インデックスが予測方向を示すために使用され、ブロックの短辺沿いの相応に少ない予測方向を伴って長手方向の追加のイントラ予測に応じて適応され得る。このことはインデックス付けする必要がある予測モードの数を維持するが、予測モードの角度がブロックの形状に対応することを可能にする。

Description

技術分野
本明細書の実施形態の少なくとも１つは一般に、ビデオを符号化又は復号、圧縮又は解凍するための方法又は機器に関する。

背景
高い圧縮効率を実現するために、画像及びビデオのコード化方式は通常、動きベクトル予測を含む予測及び変換を使用してビデオコンテンツ内の空間的及び時間的な冗長性を活用する。概して、フレーム内の又はフレーム間の相関を利用するためにイントラ予測又はインタ予測が使用され、その後、予測誤差又は予測残差として示されることが多い原画像と予測画像との差が変換され、量子化され、エントロピーコード化される。ビデオを再構築するために、エントロピーコード化、量子化、変換、及び予測に対応する逆のプロセスによって圧縮データが復号される。

Versatile Video Coding（ＶＶＣ）規格の開発ではブロックの形状が矩形であり得る。矩形のブロックは広角イントラ予測モードをもたらす。

概要
本明細書の実施形態の少なくとも１つは一般にビデオを符号化し又は復号するための方法又は機器に関し、より具体的にはビデオ符号器又はビデオ復号器における最大変換サイズと変換コード化ツールとの間の相互作用のための方法又は機器に関する。

第１の態様によれば方法が提供される。この方法は、矩形ビデオブロックの上の行からのＮ個の参照サンプルの少なくとも１つ又は矩形ビデオブロックの左の列からのＭ個の参照サンプルの少なくとも１つを使用して矩形ビデオブロックのサンプルを予測するためのステップであって、矩形ブロックのアスペクト比に比例して広角の数が増加し、矩形ビデオブロックのための予測モードが最大予測角度を上回るように設定される場合、その最大予測角度に対応して予測モードが使用される、予測するためのステップと、イントラコード化モードにおいて前述の予測を使用して矩形ビデオブロックを符号化するためのステップとを含む。

第２の態様によれば方法が提供される。この方法は、矩形ビデオブロックの上の行からのＮ個の参照サンプルの少なくとも１つ又は矩形ビデオブロックの左の列からのＭ個の参照サンプルの少なくとも１つを使用して矩形ビデオブロックのサンプルを予測するためのステップであって、矩形ブロックのアスペクト比に比例して広角の数が増加し、矩形ビデオブロックのための予測モードが最大予測角度を上回るように設定される場合、その最大予測角度に対応して予測モードが使用される、予測するためのステップと、イントラコード化モードにおいて前述の予測を使用して矩形ビデオブロックを復号するためのステップとを含む。

別の態様によれば機器が提供される。この機器はプロセッサを含む。プロセッサは、上記の方法の何れかを実行することによってビデオのブロックを符号化するように又はビットストリームを復号するように構成され得る。

少なくとも１つの実施形態の別の全般的な側面によれば、復号の実施形態の何れかによる機器と、（ｉ）信号を受信するように構成されるアンテナであって、信号はビデオブロックを含む、アンテナ、（ｉｉ）ビデオブロックを含む周波数帯域に受信信号を制限するように構成される帯域制限器、又は（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されるディスプレイのうちの少なくとも１つとを含む装置が提供される。

少なくとも１つの実施形態の別の全般的な側面によれば、記載した符号化の実施形態又はその改変形態の何れかに従って生成されるデータコンテンツを含む非一時的コンピュータ可読媒体が提供される。

少なくとも１つの実施形態の別の全般的な側面によれば、記載した符号化の実施形態又はその改変形態の何れかに従って生成されるビデオデータを含む信号が提供される。

少なくとも１つの実施形態の別の全般的な側面によれば、記載した符号化の実施形態又はその改変形態の何れかに従って生成されるデータコンテンツを含むようにビットストリームがフォーマットされる。

少なくとも１つの実施形態の別の全般的な側面によれば、コンピュータによってプログラムが実行されるとき、記載した復号の実施形態又はその改変形態の何れかをコンピュータに実行させる命令を含むコンピュータプログラム製品が提供される。

添付図面に関連して読まれる例示的実施形態の以下の詳細な説明から全般的な態様のこれらの及び他の側面、特徴、及び利点が明らかになる。

図面の簡単な説明
幅が高さを上回る横長な矩形の場合のイントラ方向の置換の一例を示し、２つのモード（＃２及び＃３）が広角モード（３５及び３６）によって置換される。標準的な汎用ビデオ圧縮方式を示す。標準的な汎用ビデオ解凍方式を示す。記載する全般的な態様を実装するためのプロセッサベースのサブシステムの一例を示す。記載する態様に基づく方法の一実施形態を示す。記載する態様に基づく方法の別の実施形態を示す。記載する態様に基づく機器の一例を示す。

詳細な説明
本明細書の実施形態の少なくとも１つは一般に、ビデオを符号化又は復号及び圧縮するための方法又は機器に関し、より詳細には強化された複数の変換及び／又は二次変換が広角イントラ予測と組み合わせて使用されるイントラ予測残差の変換コード化に関係する部分に関する。

高い圧縮効率を実現するために、画像及びビデオのコード化方式は通常、動きベクトル予測を含む予測及び変換を使用してビデオコンテンツ内の空間的及び時間的な冗長性を活用する。概して、フレーム内の又はフレーム間の相関を利用するためにイントラ予測又はインタ予測が使用され、その後、予測誤差又は予測残差として示されることが多い原画像と予測画像との差が変換され、量子化され、エントロピーコード化される。ビデオを再構築するために、エントロピーコード化、量子化、変換、及び予測に対応する逆のプロセスによって圧縮データが復号される。

本明細書に記載する実施形態はビデオを圧縮する分野に含まれ、ビデオの圧縮並びにビデオの符号化及び復号に関する。

ＨＥＶＣ（High Efficiency Video Coding, ISO/IEC 23008-2, ITU-T H.265）のビデオ圧縮規格では、ビデオの連続ピクチャ間に存在する冗長性を活用するために動き補償時間予測が使用される。

そのために、各予測単位（ＰＵ）に動きベクトルが関連付けられる。各コード化ツリー単位（ＣＴＵ）は圧縮領域内のコード化ツリーによって表される。これはＣＴＵの４分木分割であり、それぞれの葉をコード化単位（ＣＵ）と呼ぶ。

次いで各ＣＵに何らかのイントラ予測パラメータ又はインタ予測パラメータ（予測情報）が与えられる。そのために、１つ又は複数の予測単位（ＰＵ）へとＣＵを空間的に分割し、各ＰＵには何らかの予測情報が指定される。イントラコード化モード又はインタコード化モードはＣＵレベルで指定される。

Joint Exploration Model（ＪＥＭ）として知られる新たなビデオ圧縮規格に関するＪＶＥＴ（Joint Video Exploration Team）の提案では、圧縮性能が高いことを理由に４分木２分木（ＱＴＢＴ）ブロック分割構造を受け入れることが提案されている。２分木（ＢＴ）におけるブロックは、そのブロックを中央で水平に又は垂直に分けることによって２つの等サイズのサブブロックに分割することができる。その結果、高さと幅が等しい正方形の形状をブロックが常に有するＱＴにおけるブロックと異なり、ＢＴのブロックは幅と高さが等しくない矩形形状を有し得る。ＨＥＶＣでは、angularイントラ予測の方向は４５度から−１３５度までの１８０度にわたって定められ、angularイントラ予測の方向は標的ブロックの形状とは独立に角度方向の定義を行ったＪＥＭでも保たれている。

これらのブロックを符号化するにはイントラ予測を使用し、過去に再構築した近傍サンプルを用いてブロックの推定版を提供する。次いでソースブロックと予測との差を符号化する。上記の古典的なコーデックでは、現在のブロックの左及び上の参照サンプルの単一のラインが使用される。

最近の研究では、従来の４５度よりも高いイントラ予測方向角度を使用可能にする広角イントラ予測が提案された。更に、次世代のビデオコード化Ｈ．２６６／ＶＶＣのための現在の仕様に位置依存イントラ予測コンビネーション（ＰＤＰＣ：position dependent intra prediction combination）が採用された。

Joint Exploration Model（ＪＥＭ）として知られる新たなビデオ圧縮規格に関するＪＶＥＴ（Joint Video Exploration Team）の提案では、圧縮性能が高いことを理由に４分木２分木（ＱＴＢＴ）ブロック分割構造を受け入れることが提案されている。２分木（ＢＴ）におけるブロックは、そのブロックを中央で水平に又は垂直に分けることによって２つの等サイズのサブブロックに分割することができる。その結果、高さと幅が等しい正方形の形状をブロックが常に有するＱＴにおけるブロックと異なり、ＢＴのブロックは幅と高さが等しくない矩形形状を有し得る。ＨＥＶＣでは、angularイントラ予測の方向は４５度から−１３５度までの１８０度にわたって定められ、angularイントラ予測の方向は標的ブロックの形状とは独立に角度方向の定義を行ったＪＥＭでも保たれている。しかし、コード化ツリー単位（ＣＴＵ）をＣＵへと分割する考えはオブジェクト又はオブジェクトの一部を捕捉することであり、ブロックの形状はオブジェクトの方向性に関連するので、より高い圧縮効率を得るには定義済みの予測方向をブロックの形状に従って適応させることが有意味である。この脈絡において、記載する全般的な態様は矩形の標的ブロックについてイントラ予測方向を再定義することを提案する。

ＨＥＶＣ（High Efficiency Video Coding, H.265）では、ビデオシーケンスのフレームの符号化が４分木（ＱＴ）ブロック分割構造に基づく。フレームが正方形のコード化ツリー単位（ＣＴＵ）へと分割され、それらのＣＴＵは全てレート−歪み（ＲＤ）基準に基づき複数のコード化単位（ＣＵ）への４分木ベースの分割にかけられる。各ＣＵはイントラ予測され、つまり因果的近傍ＣＵから空間的に予測され、又はインタ予測され、つまり既に復号された参照フレームから時間的に予測される。Ｉスライスでは全てのＣＵがイントラ予測されるのに対し、Ｐ及びＢスライスではＣＵをイントラ予測することもインタ予測することもできる。イントラ予測では、ＨＥＶＣは１つのplanarモード（モード０としてインデックス付けする）、１つのＤＣモード（モード１としてインデックス付けする）、及び３３個のangularモード（モード２〜３４としてインデックス付けする）を含む３５個の予測モードを定める。angularモードは時計方向に４５度から−１３５度に及ぶ予測方向に関連付けられる。ＨＥＶＣは４分木（ＱＴ）ブロック分割構造をサポートするので、全ての予測単位（ＰＵ）は正方形の形状を有する。従って４５度から−１３５度までの予測角度の定義はＰＵ（予測単位）の形状の観点から正当化される。Ｎ×Ｎピクセルのサイズの標的予測単位では、上の参照アレイ及び左の参照アレイのサイズはそれぞれ２Ｎ＋１サンプルであり、これは全ての標的ピクセルについて上記の角度範囲をカバーするのに必要なサイズである。ＰＵの高さ及び幅が等しい長さだと考えると、２つの参照アレイの長さの等しさも理にかなっている。

次のビデオコード化規格に関して、Joint Exploration Model（ＪＥＭ）としてのＪＶＥＴの試みは、planarモード及びＤＣモードに加えて６５個のangularイントラ予測モードの使用を提案する。しかし予測方向は同じ角度範囲、つまり時計方向に４５度から−１３５度の角度範囲にわたって定められている。ＷＸＨピクセルのサイズの標的ブロックでは、上の参照アレイ及び左の参照アレイのサイズはそれぞれ（Ｗ＋Ｈ＋１）ピクセルであり、これは全ての標的ピクセルについて上記の角度範囲をカバーするのに必要なサイズである。ＪＥＭにおける角度のこの定義は、他の任意の特殊な理由というよりかは単純さを得るために行われた。しかし、そのように定義することで幾らかの非効率が生じた。

図１は、３５個のイントラ方向性モードの場合に非正方形ブロックについてangularイントラモードがどのようにwide angularモードで置換されるのかの一例を示す。この例では、モード２及びモード３が広角モード３５及びモード３６で置換され、モード３５の方向はモード３の反対方向を指しており、モード３６の方向はモード４の反対方向を指している。

図１は、横長な矩形（with＞高さ）の場合にイントラ方向を置換することを示す。この例では２つのモード（＃２及び＃３）が広角モード（３５及び３６）によって置換される。

６５個のイントラ方向性モードでは、広角イントラ予測は１０モードまで移転することができる。ブロックの幅が高さよりも長い場合、本明細書に記載の全般的な実施形態に基づいて例えばモード＃２からモード＃１１までを除去し、モード＃６７から＃７６までを追加する。

将来の規格Ｈ．２６６／ＶＶＣのためのドラフトで現在採用されているＰＤＰＣは幾つかのイントラモード、つまりplanarモード、ＤＣモード、水平モード、垂直モード、対角線モード、及び所謂隣接対角線モード、即ち対角線に近い方向に適用される。図１の例では、対角線モードはモード２及びモード３４に対応する。対角線方向ごとに２つの隣接モードが追加される場合、隣接モードは例えばモード３、４、３２、３３を含み得る。採用されたＰＤＰＣの現在の設計では対角線ごとに８個のモード、即ち合計１６個の隣接対角線モードが検討されている。対角線モード及び隣接対角線モードに関するＰＤＰＣについては以下で詳述する。

Ｈ．２６５／ＨＥＶＣの後継であることが予期されているVersatile Video Coding VVC（H.266）向けの現在のテストモデルに広角イントラ予測（ＷＡＩＰ）が最近採用された。ＷＡＩＰは基本的に、矩形の標的ブロックの形状によりよくフィットするようにイントラ方向性モードの範囲を適応させる。例えばＷＡＩＰが横長ブロック、即ち幅が高さを上回るブロックに使用される場合、一部の水平モードが反対角（antidiagonal）モード＃３４（−１３５度）を超えて反対方向の追加の垂直モードによって置換される。同様に縦長ブロック、即ち高さが幅を上回るブロックでは、一部の垂直モードがモード＃２（４５度）を超えて反対方向の追加の水平モードによって置換される。図１はモード＃２及び＃３が＃３５及び＃３６によって置換される例示的事例を示し、この事例は古典的なイントラ予測では考慮されていない。追加の予測モードをサポートするために、ブロックの長辺上の参照アレイが辺の長さの２倍まで延長される。他方で短辺上の参照アレイは辺の長さの２倍に短縮され、その理由はその辺から生じる一部のモードが除去されるからである。

新たに導入されるモードを広角モードと呼ぶ。モード番号＃３４（−１３５度）を超えるモードは＃３５、＃３６等として順番に番号を付けられる。同様に、モード＃２（４５度）を超える新たに導入されるモードは＃１、＃２等として順番に番号を付けられる。モード＃０及び＃１は、ＨＥＶＣにあるPlanar及びＤＣにそれぞれ対応する。現在のＶＶＣではイントラ予測モードの数が６７個まで拡張されており、モード＃０及び＃１はPLANARモード及びＤＣモードに対応し、残りの６５個のモードは方向性モードに対応することに留意すべきである。ＷＡＩＰでは方向の数が８５個まで拡張されており、モード＃６６（−１３５度）及びモード＃２（４５度）を超えて１０個の更なる方向がそれぞれ追加されている。この場合、モード＃６６（−１３５度）を超えて追加されるモードは＃６７、＃６８．．．＃７６として順番に番号を付けられる。同様に、モード＃２（４５度）を超えて追加されるモードは＃−１、＃−２．．．＃−１０として順番に番号を付けられる。８５個の方向性モードのうち、任意の所与のブロックについて６５個のモードだけが検討される。標的ブロックが正方形である場合、方向性モードは不変のままである。つまりモードは＃２から＃６６に及ぶ。標的ブロックが横長であり、幅が高さの２倍に等しい場合、方向性モードは＃８から＃７２に及ぶ。他の全ての横長ブロック、つまり幅と高さの比が４以上のブロックでは方向性モードが＃１２から＃７６に及ぶ。同様に、標的ブロックが縦長であり、高さが幅の２倍に等しい場合、方向性モードは＃−６から＃６０に及ぶ。他の全ての縦長ブロック、つまり高さと幅の比が４以上のブロックでは方向性モードが＃−１０から＃５６に及ぶ。方向性モードの総数は依然として６５個なので、モードインデックスの符号化は不変のままである。つまり符号化のために、広角モードは除去される反対方向にある対応する元のモードと同じインデックスを用いてインデックス付けされる。換言すれば、広角モードは元のモードのインデックスにマップされる。所与の標的ブロックではこのマッピングが一対一であり、従って符号器及び復号器が従う符号化間の不一致はない。

ＷＡＩＰが使用される場合、実際の符号化イントラ予測方向が符号化イントラ予測モードのインデックスの逆に対応し、即ちコード化モードのインデックスは変更されず、ブロックの寸法を知りながら復号器が実際のモードを導出する。このことは予測モードに依存する他のコード化ツールに影響を与える。本明細書に記載の全般的な態様では、拡張多重変換（ＥＭＴ：enhanced multiple transforms）及び非分離可能２次変換（ＮＳＳＴ：non-separable secondary transforms）の両方のセットの選択及びインデックスのコード化に対する影響を検討する。

ＥＭＴ及びＮＳＳＴはどちらもイントラ予測モードに依拠する。例えばＥＭＴでは、イントラモードを適切な変換serにマップするテーブル索引が現在存在する。このテーブルはイントラモード数、即ち現在のＶＶＣでは６７のサイズを有する。ＥＭＴの各セットでは、４対の水平及び垂直変換が予め定められる。各予測モードに関して、ＮＳＳＴのセットは恒等変換（即ちＮＳＳＴが適用されない）に加えてオフライン学習された３つの変換を含む。ＷＡＩＰを検討した場合、実際の予測モードが元の最大予測モードインデックス（＃６６）を上回ることができ、負値を有することもできる。先に述べたように、現在の設計では８５個までのイントラ方向が検討されている。従って広角予測モードの場合、予測モードを変換セットに関係付けるマッピングテーブルをそのまま使用することはできない。本明細書に記載の全般的な態様はこの問題を解決するために以下の３つの方法を提案する：
１）定数値拡張。予測モードが最大値（＃６６）を超える場合は常に、変換セットに対応する最大値の予測モードの値（＃６６）を使用する。同様に、予測モードが負の場合はangular予測モードの最も低い値（＃２）の変換セットを使用する。
２）ミラー拡張：最大値を超える又は負である予測モードでは反対方向に対応する変換セットを使用し、水平及び垂直の対を交換する。
３）オフライン訓練値を用いた拡張：ＥＭＴと予測モードとの間の依存関係がオフラインデータによって学習される。ＷＡＩＰの使用による新たなモード用の最良のセットを学習するために同様の手続きをたどることができる。加えて、それらのモードについてＮＳＳＴ変換行列を学習し、既存のセットに追加することができる。

予測モードのインデックスを検討することにより、ＥＭＴインデックスのコード化を最適化できることが最近認められている。例えば各予測モードに、又は更には対角線モードを上回る及び下回るモードにも様々なＣＡＢＡＣコンテキストを使用することができる。加えて水平モード、垂直モード、及び対角線モードをコード化するために様々な方策を使用することができる。ＷＡＩＰが使用される場合、先の節にあるのと同じ問題が生じる。それは実際の予測モードが、符号化されるものと同じではないからである。

本明細書に記載の全般的な態様は、先の節にあるのと同様のやり方でこの問題を解決する。つまり以下の２つの解決策が存在する：
１）定数値拡張：予測モードが最大値（＃６６）を超える場合は常に、変換セットインデックスのコード化は最大値の予測モードの値（＃６６）を検討し、予測モードが負の場合は変換セットインデックスのコード化はangular予測モードの最も低い値（＃２）が使用されると見なす。
２）新たな値を用いた拡張：予測モードが最大値（＃６６）を超える又は負になる場合は常に、変換セットインデックスのコード化はＣＡＢＡＣコンテキストのためにこれらの新たな値を利用する。更に、水平モード、垂直モード、及び対角線モードを区別するためにこれらの新たな値を使用することができる。

ＪＥＭソフトウェアでは、イントラ予測モードと変換セットとの間のマッピングが以下のように記載される：

（０から６６までの）予測モードごとに、水平（g_aucTrSetHorz）及び垂直（g_aucTrSetVert）マッピングテーブルを以下のように定める：

このテーブルは３個のサブセットのアレイによって変換サブセットインデックスを提供し：
g_aiTrSubsetIntra[3][2] = { { DST7, DCT8 },{ DST7, DCT2 },{ DST7, DCT2 } };
例えば最初のモード（０）では、水平マッピングテーブル及び垂直マッピングテーブルの両方が２の値を有する（g_aucTrSetVert[0] = 2, g_aucTrSetVert[0] = 2）。つまり水平サブセット及び垂直サブセットがどちらも{DST7,DCT8}になる。

見て分かるように、これはイントラモードと変換選択との間の依存関係の一例である。ＷＡＩＰが使用される場合、以下の解決策（定数値拡張）を使用することができ：
IntraMode_WAIP = GetIntraModeWAIP(IntraMode, BlkWidth, BlkHeight)
IntraMode_WAIP = maximum(minimum(2, IntraMode_WAIP),66)
但しIntraModeは現在のイントラ予測モードである。IntraMode_WAIPはＷＡＩＰによる訂正済みのモードであり、ＷＡＩＰにより６６を超える値及びゼロ未満の値を含み得る。
この値はブロックの幅（BlkWidth）及び高さ（BlkHeight）を利用する関数GetIntraModeWAIPによって得られる。次いで、IntraMode_WAIPが２から６６の間でクリップされる。最近の寄稿は、対角線モードを超えるモードについて変換セットインデックスを異なるように符号化することを提案している。つまり下記の通りである：

ＷＡＩＰが適用される場合、対角線モードと比較するために実際の予測モードを得るのに必要な唯一の修正。

従って先の関数は：
intraModeLuma = GetIntraModeWAIP(intraModeLuma, BlkWidth, BlkHeight)
によってプロシード（proceed）されるべきである。

本明細書に記載の全般的な態様に基づく方法５００の一実施形態を図５に示す。この方法は開始ブロック５０１で始まり、矩形ビデオブロックの上の行からのＮ個の参照サンプルの少なくとも１つ又は矩形ビデオブロックの左の列からのＭ個の参照サンプルの少なくとも１つを使用して矩形ビデオブロックのサンプルを予測するためのブロック５１０に制御が移り、矩形ブロックのアスペクト比に比例して広角の数が増加し、矩形ビデオブロックのための予測モードが最大予測角度を上回るように設定される場合、その最大予測角度に対応して予測モードが使用される。制御はブロック５１０から、イントラコード化モードにおいて前述の予測を使用して矩形ビデオブロックを符号化するためのブロック５２０に移る。

本明細書に記載の全般的な態様に基づく方法６００の一実施形態を図６に示す。この方法は開始ブロック６０１で始まり、矩形ビデオブロックの上の行からのＮ個の参照サンプルの少なくとも１つ又は矩形ビデオブロックの左の列からのＭ個の参照サンプルの少なくとも１つを使用して矩形ビデオブロックのサンプルを予測するためのブロック６１０に制御が移り、矩形ブロックのアスペクト比に比例して広角の数が増加し、矩形ビデオブロックのための予測モードが最大予測角度を上回るように設定される場合、その最大予測角度に対応して予測モードが使用される。制御はブロック６１０から、イントラコード化モードにおいて前述の予測を使用して矩形ビデオブロックを復号するためのブロック６２０に移る。

図７は、改善された仮想の時間的アフィン候補を使用してビデオを圧縮し、符号化し、又は復号するための機器７００の一実施形態を示す。この機器はプロセッサ７１０を含み、少なくとも１つのポートを介してメモリ７２０に相互接続され得る。プロセッサ７１０及びメモリ７２０はどちらも外部接続への１つ又は複数の追加の相互接続を有することもできる。

プロセッサ７１０はビットストリーム内に情報を挿入し又はビットストリーム内の情報を受信するように、及び記載した態様の何れかを使用して圧縮し、符号化し、又は復号するようにも構成される。

本明細書は、ツール、特徴、実施形態、モデル、手法等を含む様々な態様を記載する。これらの態様の多くは特定的に記載されており、少なくとも個々の特性を示すために限定的であるように思われ得る方法でしばしば説明されている。しかしそれは説明を明瞭にすることを目的としており、それらの態様の応用又は範囲を限定するものではない。実際、様々な態様の全てを組み合わせ交換して更なる態様をもたらすことができる。更に態様は、先の出願に記載の態様と組み合わせ交換することもできる。

本明細書に記載し本明細書で予期する実施形態は多くの異なる形態で実装することができる。以下の図２、図３、及び図４は一部の実施形態を示すが、他の実施形態も予期され、図２、図３、及び図４の解説は実装形態の範囲を限定するものではない。態様の少なくとも１つは概してビデオを符号化し復号することに関し、少なくとも１つの他の態様は概して生成され又は符号化されたビットストリームを伝送することに関する。これらの及び他の態様は、方法、機器、記載する方法の何れかに従ってビデオデータを符号化し又は復号するための命令を記憶しているコンピュータ可読記憶媒体、及び／又は記載する方法の何れかに従って生成されるビットストリームを記憶しているコンピュータ可読記憶媒体として実装することができる。

本願では「再構築する」という用語と「復号する」という用語を区別なく使用する場合があり、「ピクセル」という用語と「サンプル」という用語を区別なく使用する場合があり、「画像」、「ピクチャ」、及び「フレーム」という用語を区別なく使用する場合がある。必ずではないが通常、「再構築する」という用語は符号器側で使用されるのに対し「復号する」は復号器側で使用される。

本明細書では様々な方法を記載し、方法のそれぞれは記載する方法を実現するための１つ又は複数のステップ又はアクションを含む。方法が適切に動作するのにステップ又はアクションの特定の順序が要求されない限り、特定のステップ及び／又はアクションの順序及び／又は使用は修正し又は組み合わせることができる。

本明細書に記載の様々な方法及び他の態様を使用してモジュール、例えば図２及び図３に示すビデオ符号器１００及び復号器２００のイントラ予測、エントロピーコード化、及び／又は復号モジュール（１６０、３６０、１４５、３３０）を修正することができる。更に、本明細書の態様はＶＶＣ又はＨＥＶＣに限定されず、例えば既存の又は将来開発される他の規格及び勧告、並びにそのような任意の規格及び勧告（ＶＶＣ及びＨＥＶＣを含む）の拡張に適用することができる。別段の定めがない限り、又は技術的に除外されない限り、本明細書に記載の態様は個別に又は組み合わせて使用することができる

本明細書では様々な数値、例えば｛｛１，０｝、｛３，１｝、｛１，１｝｝を使用する。具体的な値は例示目的であり、記載する態様はそれらの具体的な値に限定されない。

図２は符号器１００を示す。この符号器１００の改変形態が考えられるが、予期される全ての改変形態を記述することなしに明瞭にするために符号器１００を以下で説明する。

ビデオシーケンスは、符号化される前に、例えば入力カラーピクチャに色変換（例えばＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）を適用する、又は圧縮に対してより回復性がある信号分布を得るために入力ピクチャ成分の再マッピングを行う（例えば色成分の１つのヒストグラム平坦化を使用する）符号化前の処理（１０１）にかけることができる。メタデータが前処理に関連することができ、ビットストリームに付加され得る。

符号器１００内で、以下に記載の通り符号器の要素によってピクチャを符号化する。符号化しようとするピクチャを例えばＣＵの単位で分割し（１０２）処理する。各単位は、例えばイントラモード又はインタモードを使用して符号化される。単位をイントラモードで符号化する場合、イントラモードはイントラ予測（１６０）を行う。インタモードでは動き推定（１７５）及び動き補償（１７０）を行う。符号器は単位を符号化するためにイントラモード又はインタモードのどちらを使用するのかを決定し（１０５）、イントラ／インタの決定を例えば予測モードフラグによって示す。例えば元の画像ブロックから予測済みブロックを減算する（１１０）ことによって予測残差を計算する。

次いで予測残差を変換し（１２５）量子化する（１３０）。量子化した変換係数、並びに動きベクトル及び他の構文要素（syntax element）をエントロピーコード化して（１４５）ビットストリームを出力する。符号器は変換を飛ばし、変換されていない残差信号に量子化を直接適用することができる。符号器は変換及び量子化の両方をバイパスすることができ、即ち変換プロセス又は量子化プロセスを適用することなしに残差が直接コード化される。

符号器は符号化済みブロックを復号して更なる予測のための参照を提供する。予測残差を復号するために量子化済み変換係数を逆量子化し（１４０）逆変換する（１５０）。復号済み予測残差と予測済みブロックとを組み合わせることで（１５５）画像ブロックを再構築する。例えばデブロッキング／ＳＡＯ（サンプル適応オフセット）フィルタリングを実行して符号化のアーティファクトを減らすために、再構築済みピクチャにインループフィルタ（１６５）を適用する。フィルタ済み画像は参照ピクチャバッファ（１８０）内に記憶する。

図３は、ビデオ復号器２００のブロック図を示す。復号器２００では、以下で説明するようにビットストリームが復号器の要素によって復号される。ビデオ復号器２００は、図２に記載した符号化パスと逆の復号パスを概して実行する。符号器１００も、ビデオデータを符号化する一環としてビデオの復号を概して実行する。

具体的には、復号器の入力はビデオ符号器１００によって生成され得るビデオビットストリームを含む。変換係数、動きベクトル、及び他のコード化情報を得るためにビットストリームを最初にエントロピー復号する（２３０）。ピクチャがどのように分割されるのかをピクチャ分割情報が示す。従って復号器は、復号したピクチャ分割情報に従ってピクチャを分けることができる（２３５）。予測残差を復号するために変換係数を逆量子化し（２４０）逆変換する（２５０）。復号した予測残差と予測済みブロックとを結合して（２５５）画像ブロックを再構築する。予測済みブロックはイントラ予測（２６０）又は動き補償予測（即ちインタ予測）（２７５）から得ることができる（２７０）。再構築済み画像にインループフィルタ（２６５）を適用する。フィルタ済み画像を参照ピクチャバッファ（２８０）に記憶する。

復号済みピクチャは、復号後の処理（２８５）、例えば逆色変換（例えばＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）又は符号化前の処理（１０１）で行われた再マッピングプロセスの逆を行う逆再マッピングを更に経ることができる。復号後の処理は、符号化前の処理において導出され、ビットストリーム内でシグナリングされるメタデータを使用することができる。

図４は、様々な実施形態が実装されるシステムの一例のブロック図を示す。システム１０００は、以下に記載の様々なコンポーネントを含む装置として実装することができ、本明細書に記載の態様の１つ又は複数を実行するように構成される。かかる装置の例は、これだけに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家庭用電化製品、及びサーバ等の様々な電子装置を含む。システム１０００の要素は、単一の集積回路、複数のＩＣ、及び／又は個別コンポーネント内に単独で又は組み合わせて実装することができる。例えば少なくとも１つの実施形態では、システム１０００の処理及び符号器／復号器の要素が複数のＩＣ及び／又は個別コンポーネントにわたって分散される。様々な実施形態において、システム１０００は、例えば通信バスを介して又は専用の入力及び／又は出力ポートによって他の同様のシステムに又は他の電子装置に通信可能に結合される。様々な実施形態において、システム１０００は本明細書に記載の態様の１つ又は複数を実装するように構成される。

システム１０００は、例えば本明細書に記載の様々な態様を実装するために自らの中にロードされた命令を実行するように構成される少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、埋め込みメモリ、入出力インタフェース、及び当技術分野で知られている他の様々な回路を含み得る。システム１０００は、少なくとも１つのメモリ１０２０（例えは揮発性メモリ装置及び／又は不揮発性メモリ装置）を含む。システム１０００は、これだけに限定されないが、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブを含む不揮発性メモリ及び／又は揮発性メモリを含み得る記憶装置１０４０を含む。記憶装置１０４０は、非限定的な例として内蔵記憶装置、付加記憶装置、及び／又はネットワークアクセス可能記憶装置を含み得る。

システム１０００は、例えば符号化済みビデオ又は復号済みビデオを提供するためにデータを処理するように構成される符号器／復号器モジュール１０３０を含み、符号器／復号器モジュール１０３０は独自のプロセッサ及びメモリを含み得る。符号器／復号器モジュール１０３０は、符号化及び／又は復号機能を実行するために装置内に含まれ得るモジュールを表す。知られているように、装置は符号化モジュール及び復号モジュールの一方又は両方を含み得る。加えて、符号器／復号器モジュール１０３０はシステム１０００の別個の要素として実装することができ、又は当業者に知られているようにハードウェアとソフトウェアとの組み合わせとしてプロセッサ１０１０内に組み込まれ得る。

本明細書に記載の様々な実施形態を実行するためにプロセッサ１０１０又は符号器／復号器１０３０上にロードされるプログラムコードは記憶装置１０４０内に記憶され、その後プロセッサ１０１０によって実行するためにメモリ１０２０上にロードされ得る。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、記憶装置１０４０、及び符号器／復号器モジュール１０３０の１つ又は複数が、本明細書に記載のプロセスの実行中に様々なアイテムの１つ又は複数を記憶し得る。記憶されるかかるアイテムは、これだけに限定されないが入力ビデオ、復号済みビデオ又は復号済みビデオの一部、ビットストリーム、行列、変数、並びに等式、公式、演算、及び演算ロジックの処理の中間結果又は最終結果を含み得る。

幾つかの実施形態では、プロセッサ１０１０及び／又は符号器／復号器モジュール１０３０の内部のメモリを使用して命令を記憶し、符号化又は復号中に必要な処理用のワーキングメモリを提供する。しかし他の実施形態では、これらの機能の１つ又は複数のために処理装置（例えば処理装置はプロセッサ１０１０又は符号器／復号器モジュール１０３０であり得る）の外部のメモリが使用される。外部メモリはメモリ１０２０及び／又は記憶装置１０４０、例えばダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリとすることができる。幾つかの実施形態では、テレビのオペレーティングシステムを記憶するために外部の不揮発性フラッシュメモリが使用される。少なくとも１つの実施形態では、ＭＰＥＧ−２、ＨＥＶＣ、又はＶＶＣ（Versatile Video Coding）等のビデオのコード化及び復号操作用のワーキングメモリとしてＲＡＭ等の高速な外部のダイナミック揮発性メモリが使用される。

システム１０００の要素への入力は、ブロック１１３０内に示す様々な入力装置によって提供され得る。かかる入力装置は、これだけに限定されないが（ｉ）例えばブロードキャスタによって無線で伝送されるＲＦ信号を受信するＲＦ部分、（ｉｉ）複合入力端子、（ｉｉｉ）ＵＳＢ入力端子、及び／又は（ｉｖ）HDMI入力端子を含む。

様々な実施形態において、ブロック１１３０の入力装置は当技術分野で知られている関連する個々の入力処理要素を有する。例えばＲＦ部分は、（ｉ）所望の周波数を選択する（信号を選択する又は信号を或る周波数帯域に帯域制限するとも言う）、（ｉｉ）選択した信号をダウンコンバートする、（ｉｉｉ）（例えば）特定の実施形態においてチャネルと呼ばれ得る信号周波数帯域を選択するために、より狭い周波数帯域へと再び帯域制限する、（ｉｖ）ダウンコンバート及び帯域制限済みの信号を復調する、（ｖ）誤り訂正を行う、及び（ｖｉ）データパケットの所望のストリームを選択するために逆多重化するための要素に関連し得る。様々な実施形態のＲＦ部分はこれらの機能を実行するための１つ又は複数の要素、例えば周波数セレクタ、信号セレクタ、帯域制限器、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、及びデマルチプレクサを含む。ＲＦ部分は、例えば受信した信号をより低い周波数（例えば中間周波数又は基底帯域に近い周波数）又は基底帯域にダウンコンバートすることを含む、これらの機能の様々なものを行うチューナを含むことができる。或るセットトップボックスの実施形態では、ＲＦ部分及びその関連する入力処理要素が有線（例えばケーブル）媒体上で伝送されるＲＦ信号を受信し、所望の周波数帯域へとフィルタリングし、ダウンコンバートし、再びフィルタリングすることによって周波数の選択を行う。様々な実施形態は上記で説明した（及び他の）要素の順序を並べ替え、それらの要素の一部を除去し、及び／又は同様の若しくは異なる機能を実行する他の要素を追加する。要素を追加することは既存の要素の間に要素を挿入すること、例えば増幅器及びアナログ−デジタル変換器を挿入することを含み得る。様々な実施形態において、ＲＦ部分はアンテナを含む。

加えて、ＵＳＢ及び／又はHDMI端子は、ＵＳＢ及び／又はHDMI接続の両端間でシステム１０００を他の電子装置に接続するための個々のインタフェースプロセッサを含み得る。例えば別個の入力処理ＩＣ内で又はプロセッサ１０１０内で入力処理、例えばリードソロモン誤り訂正の様々な側面を実装できることを理解すべきである。同様に、ＵＳＢ又はHDMIインタフェース処理の側面を別個のインタフェースＩＣ内で又はプロセッサ１０１０内で実装することができる。出力装置上で提示するためにデータストリームを処理するために、変調済みの、誤り訂正済みの、及び逆多重化済みのストリームが、例えばメモリ及び記憶要素と組み合わせて動作するプロセッサ１０１０及び符号器／復号器１０３０を含む様々な処理要素に与えられる。

システム１０００の様々な要素を一体型ハウジング内に設けることができる。一体型ハウジングの中では様々な要素が相互接続され、適切な接続構成１１４０、例えばＩ２Ｃバス、配線、及びプリント回路基板を含む当技術分野で知られている内部バスを使用してそれらの間でデータを伝送し得る。

システム１０００は、通信チャネル１０６０を介して他の装置と通信することを可能にする通信インタフェース１０５０を含む。通信インタフェース１０５０は、これだけに限定されないが、通信チャネル１０６０上でデータを送受信するように構成されるトランシーバを含み得る。通信インタフェース１０５０は、これだけに限定されないがモデム又はネットワークカードを含むことができ、通信チャネル１０６０は例えば有線媒体及び／又は無線媒体内に実装することができる。

様々な実施形態において、IEEE 802.11等の無線ネットワークを使用してデータがシステム１０００にストリームされる。これらの実施形態の無線信号は、例えばWi-Fi通信に適合される通信チャネル１０６０及び通信インタフェース１０５０上で受信される。これらの実施形態の通信チャネル１０６０は、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに典型的には接続される。他の実施形態は、入力ブロック１１３０のHDMI接続上でデータを届けるセットトップボックスを使用してストリームデータをシステム１０００に与える。更に他の実施形態は、入力ブロック１１３０のＲＦ接続を使用してストリームデータをシステム１０００に与える。

システム１０００は、ディスプレイ１１００、スピーカ１１１０、及び他の周辺装置１１２０を含む様々な出力装置に出力信号を与えることができる。実施形態の様々な例において、他の周辺装置１１２０は、独立型ＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム１０００の出力に基づいて機能を提供する他の装置のうちの１つ又は複数を含む。様々な実施形態において、ＡＶ．Ｌｉｎｋ、ＣＥＣ、又はユーザの介入ありの若しくはなしの装置間制御を可能にする他の通信プロトコル等のシグナリングを使用し、システム１０００とディスプレイ１１００、スピーカ１１１０、又は他の周辺装置１１２０との間で制御信号が通信される。出力装置が、個々のインタフェース１０７０、１０８０、及び１０９０による専用接続を介してシステム１０００に通信可能に結合され得る。或いは出力装置は、通信インタフェース１０５０を介して通信チャネル１０６０を使用してシステム１０００に接続され得る。ディスプレイ１１００及びスピーカ１１１０は、電子装置、例えばテレビの中でシステム１０００の他のコンポーネントと共に単一のユニットに一体化することができる。様々な実施形態において、ディスプレイインタフェース１０７０はディスプレイドライバ、例えばタイミングコントローラ（T Con）チップを含む。

例えば入力１１３０のＲＦ部分が別個のセットトップボックスの一部である場合、ディスプレイ１１００及びスピーカ１１１０は他のコンポーネントの１つ又は複数から代わりに切り離すことができる。ディスプレイ１１００及びスピーカ１１１０が外部コンポーネントである様々な実施形態において、出力信号は例えばHDMIポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用出力接続によって与えることができる。

実施形態は、プロセッサ１０１０によって実装されるコンピュータソフトウェアによって、又はハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって実行することができる。非限定的な例として、実施形態は１つ又は複数の集積回路によって実装され得る。メモリ１０２０は技術的環境に適した任意の種類のものとすることができ、非限定的な例として光メモリ装置、磁気メモリ装置、半導体ベースのメモリ装置、固定メモリ、及び脱着可能メモリ等、任意の適切なデータ記憶技術を使用して実装することができる。プロセッサ１０１０は技術的環境に適した任意の種類のものとすることができ、非限定的な例としてマイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ又は複数を包含し得る。

様々な実装形態が復号することを含む。本願で使用するとき、「復号する」は、例えば表示に適した最終出力をもたらすために受信済みの符号化シーケンスに対して実行されるプロセスの全て又は一部を包含し得る。様々な実施形態において、かかるプロセスは復号器によって典型的に行われるプロセス、例えばエントロピー復号、逆量子化、逆変換、及び差分復号の１つ又は複数を含む。様々な実施形態において、かかるプロセスは本願に記載の様々な実装形態の復号器によって行われるプロセス、例えば様々なイントラ予測参照アレイに使用される重みのインデックスを抽出することを更に又は代わりに含む。

更なる例として、或る実施形態では「復号」がエントロピー復号だけを指し、別の実施形態では「復号」が差分復号だけを指し、別の実施形態では「復号」がエントロピー復号と差分復号との組み合わせを指す。「復号プロセス」という語句が操作のサブセットを具体的に指すことを意図するのか、又はより広範な復号プロセスを概して指すことを意図するのかは具体的な説明の脈絡に基づいて明らかになり、当業者によって十分理解されると考える。

様々な実装形態は符号化することを含む。「復号」に関する上記の解説と同様に、本願で使用するとき「符号化する」は、例えば符号化済みビットストリームをもたらすために入力ビデオシーケンスに対して実行されるプロセスの全て又は一部を包含し得る。様々な実施形態において、かかるプロセスは符号器によって典型的に行われるプロセス、例えば分割、差分符号化、変換、量子化、及びエントロピー符号化の１つ又は複数を含む。様々な実施形態において、かかるプロセスは本願に記載の様々な実装形態の符号器によって行われるプロセス、例えばイントラ予測参照アレイの重み付けを更に又は代わりに含む。

更なる例として、或る実施形態では「符号化」がエントロピー符号化だけを指し、別の実施形態では「符号化」が差分符号化だけを指し、別の実施形態では「符号化」が差分符号化とエントロピー符号化との組み合わせを指す。「符号化プロセス」という語句が操作のサブセットを具体的に指すことを意図するのか、又はより広範な符号化プロセスを概して指すことを意図するのかは具体的な説明の脈絡に基づいて明らかになり、当業者によって十分理解されると考える。

本明細書で使用する構文要素は記述用語であることに留意されたい。そのため、それらは他の構文要素名の使用を排除しない。

図面が流れ図として示されている場合、その図面は対応する機器のブロック図も提供することを理解すべきである。同様に図面がブロック図として示されている場合、その図面は対応する方法／プロセスの流れ図も提供することを理解すべきである。

様々な実施形態はレート歪み計算又はレート歪み最適化に言及する。具体的には符号化プロセスの間、多くの場合計算の複雑さの制約を所与としてレートと歪みとの間のバランス又はトレードオフが通常検討される。レート歪み最適化は通常、レート及び歪みの加重和であるレート歪み関数を最小化するものとして公式化される。レート歪み最適化問題を解く様々な手法がある。例えばそれらの手法は、コード化のコスト並びにコード化及び復号後の再構築済み信号の関係する歪みを完全に評価することを伴い、検討される全てのモード又はコード化パラメータ値を含む符号化の全ての選択肢を広く試験することに基づき得る。とりわけ再構築されるものではなく、予測又は予測残差信号に基づいておおよその歪みを計算することにより、より高速の手法を使用して符号化の複雑さを省くこともできる。符号化のあり得る選択肢の一部にだけおおよその歪みを使用し、符号化の他の選択肢には完全な歪みを使用すること等により、これらの２つの手法の混合を使用することもできる。他の手法は、符号化のあり得る選択肢のサブセットだけを評価する。より全般的に、多くの手法は最適化を行うための様々な技法の何れかを使用するが、最適化は必ずしもコード化のコスト及び関係する歪みの両方の完全な評価ではない。

本明細書に記載した実装形態及び態様は、例えば方法若しくはプロセス、機器、ソフトウェアプログラム、データストリーム、又は信号によって実装することができる。単一形式の実装形態の脈絡でしか論じられていなくても（例えば方法としてしか論じられていなくても）、論じられた特徴の実装形態は他の形（例えば機器又はプログラム）でも実装することができる。機器は例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は例えばプロセッサによって実装することができ、プロセッサは例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含む処理装置全般を指す。プロセッサは、例えばコンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、及びエンドユーザ間の情報の通信を助ける他の装置等の通信装置も含む。

「一実施形態」、又は「或る実施形態」、又は「一実装形態」、又は「或る実装形態」並びにそれらの他の異体に言及することは、実施形態に関連して記載される特定の特徴、構造、特性等が少なくとも１つの実施形態に含まれることを意味する。従って、本明細書の全体を通して様々な箇所に登場する「一実施形態では」、又は「或る実施形態では」、又は「一実装形態では」、又は「或る実装形態では」という語句並びに他の任意の異体の登場は必ずしも全て同じ実施形態を指すものではない。

加えて、本明細書は様々な情報片を「決定すること」に言及する場合がある。情報を決定することは、例えば情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことの１つ又は複数を含み得る。

更に本明細書は、様々な情報片に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば情報を受信すること、情報を（例えばメモリから）取り出すこと、情報を記憶すること、情報を移動すること、情報を複製すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することの１つ又は複数を含み得る。

加えて本明細書は、様々な情報片を「受信すること」に言及する場合がある。受信することは「アクセスすること」と同様に広義語であることを意図する。情報を受信することは、例えば情報にアクセスすること、又は情報を（例えばメモリから）取り出すことの１つ又は複数を含み得る。更に、「受信すること」は典型的には例えば情報を記憶する操作、情報を処理する操作、情報を伝送する操作、情報を移動する操作、情報を複製する操作、情報を消去する操作、情報を計算する操作、情報を決定する操作、情報を予測する操作、又は情報を推定する操作等の操作中に何らかの形で関与する。

例えば「Ａ／Ｂ」、「Ａ及び／又はＢ」、並びに「Ａ及びＢの少なくとも１つ」の場合に「／」、「及び／又は」、並びに「〜の少なくとも１つ」の何れかを使用することは、最初に挙げられる（Ａ）の選択肢だけを選択すること、又は２番目に挙げられる（Ｂ）の選択肢だけを選択すること、又は（Ａ及びＢ）の両方の選択肢を選択することを包含することを意図することを理解すべきである。更なる例として、「Ａ、Ｂ、及び／又はＣ」並びに「Ａ、Ｂ、及びＣの少なくとも１つ」の場合、かかる表現法は最初に挙げられる（Ａ）の選択肢だけを選択すること、又は２番目に挙げられる（Ｂ）の選択肢だけを選択すること、又は３番目に挙げられる（Ｃ）の選択肢だけを選択すること、又は最初に挙げられる選択肢及び２番目に挙げられる選択肢（Ａ及びＢ）だけを選択すること、又は最初に挙げられる選択肢及び３番目に挙げられる選択肢（Ａ及びＣ）だけを選択すること、又は２番目に挙げられる選択肢及び３番目に挙げられる選択肢（Ｂ及びＣ）だけを選択すること、又は３つ全ての選択肢（Ａ及びＢ及びＣ）を選択することを包含することを意図する。当業者に明らかであるように、この表現法は挙げられているアイテムの数だけ拡張することができる。

更に本明細書で使用するとき、「シグナリング」という単語は、とりわけ対応する復号器に何かを示すことを指す。例えば特定の実施形態では、イントラ予測参照アレイに使用される複数の重みのうちの特定のものを符号器がシグナリングする。このようにして、一実施形態では符号器側及び復号器側の両方において同じパラメータが使用される。従って、例えば符号器は特定のパラメータを復号器に伝送することができ（明確なシグナリング）、それにより復号器は同じ特定のパラメータを使用することができる。逆に、復号器が他のパラメータと共にその特定のパラメータを既に有する場合、単にその特定のパラメータを復号器が知り、選択できるようにするためにシグナリングを伝送なしに使用することができる（暗黙のシグナリング）。任意の実際の機能を伝送することを回避することにより、様々な実施形態においてビットの節約が実現される。シグナリングは様々なやり方で実現できることを理解すべきである。例えば様々な実施形態において対応する復号器に情報をシグナリングするために、１つ又は複数の構文要素、フラグ等が使用される。上記の内容は「signal」という単語の動詞の形態に関するが、「signal」という単語は本明細書では名詞としても使用することができる。

当業者に明白であるように、実装形態は、例えば記憶され又は伝送され得る情報を運ぶようにフォーマットされる様々な信号をもたらすことができる。情報は例えば方法を実行するための命令、又は記載した実装形態の１つによって作り出されるデータを含み得る。例えば信号は、記載した実施形態のビットストリームを運ぶようにフォーマットされ得る。かかる信号は、例えば電磁波として（例えばスペクトルの無線周波数部分を用いて）、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えばデータストリームを符号化し、符号化データストリームで搬送波を変調することを含み得る。信号が運ぶ情報は、例えばアナログ情報又はデジタル情報とすることができる。信号は、知られているように様々な異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。

上記の説明では幾つかの実施形態を記載してきた。これらの及び更なる実施形態は、様々な異なる特許請求の範囲のカテゴリ及び種類にわたり以下の任意選択的な特徴を単独で又は任意の組み合わせで含む：
−符号化及び復号する際のイントラ予測中に−１３５度及び４５度を超える予測方向を使用すること
−広角モードとＰＤＰＣとの間の相互作用を拡張すること
−同じ総方向数を維持するために反対方向にある一部の方向を除去しながら水平方向又は垂直方向に予測方向を拡張すること
−−１３５度を上回る方向の数及び４５度を上回る方向の数の両方を拡張すること
−ブロック内のサンプルに対してＰＤＰＣ及び広角イントラ予測を組み合わせること
−どの予測方向が使用されているのかを符号器から復号器にシグナリングすること
−予測方向のサブセットを使用すること
−ブロックは矩形形状を有するＣＵである
−他のブロックは近傍ブロックである
−記載した構文要素又はその改変形態の１つ又は複数を含むビットストリーム又は信号
−符号器が行ったのと逆のやり方で復号器がビットストリームを処理することを可能にする構文要素をシグナリング内に挿入すること
−記載した構文要素又はその改変形態の１つ又は複数を含むビットストリーム又は信号を作成し及び／又は伝送すること、及び／又は受信し及び／又は復号すること
−記載した実施形態の何れかを行うＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子装置
−記載した実施形態の何れかを行い、結果として生じる画像を（例えばモニタ、画面、又は他の種類のディスプレイを使用して）表示するＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子装置
−符号化済み画像を含む信号を受信するために（例えばチューナを使用して）チャネルをチューニングし、記載した実施形態の何れかを行うＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子装置
−符号化済み画像を含む信号を（例えばアンテナを使用して）受信し、記載した実施形態の何れかを行うＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子装置
−他の様々な汎用化された特徴並びに特化された特徴も本開示の全体を通して支持され予期される。

Claims

矩形ビデオブロックの上の行からのＮ個の参照サンプルの少なくとも１つ又は前記矩形ビデオブロックの左の列からのＭ個の参照サンプルの少なくとも１つを使用して前記矩形ビデオブロックのサンプルを予測することであって、前記矩形ブロックのアスペクト比に比例して広角の数が増加し、前記矩形ビデオブロックのための予測モードが最大予測角度を上回るように設定される場合、その最大予測角度に対応して予測モードが使用される、予測すること、及び
イントラコード化モードにおいて前記予測を使用して前記矩形ビデオブロックを符号化すること
を含む、方法。
矩形ビデオブロックの上の行からのＮ個の参照サンプルの少なくとも１つ又は前記矩形ビデオブロックの左の列からのＭ個の参照サンプルの少なくとも１つを使用して前記矩形ビデオブロックのサンプルを予測することであって、前記矩形ブロックのアスペクト比に比例して広角の数が増加し、前記矩形ビデオブロックのための予測モードが最大予測角度を上回るように設定される場合、その最大予測角度に対応して予測モードが使用される、予測すること、及び
イントラコード化モードにおいて前記予測を使用して前記矩形ビデオブロックを符号化すること
を行うように構成されたプロセッサ
を含む、機器。
矩形ビデオブロックの上の行からのＮ個の参照サンプルの少なくとも１つ又は前記矩形ビデオブロックの左の列からのＭ個の参照サンプルの少なくとも１つを使用して前記矩形ビデオブロックのサンプルを予測することであって、前記矩形ブロックのアスペクト比に比例して広角の数が増加し、前記矩形ビデオブロックのための予測モードが最大予測角度を上回るように設定される場合、その最大予測角度に対応して予測モードが使用される、予測すること、及び
イントラコード化モードにおいて前記予測を使用して前記矩形ビデオブロックを復号すること
を含む、方法。
矩形ビデオブロックの上の行からのＮ個の参照サンプルの少なくとも１つ又は前記矩形ビデオブロックの左の列からのＭ個の参照サンプルの少なくとも１つを使用して前記矩形ビデオブロックのサンプルを予測することであって、前記矩形ブロックのアスペクト比に比例して広角の数が増加し、前記矩形ビデオブロックのための予測モードが最大予測角度を上回るように設定される場合、その最大予測角度に対応して予測モードが使用される、予測すること、及び
イントラコード化モードにおいて前記予測を使用して前記矩形ビデオブロックを復号すること
を行うように構成されたプロセッサ
を含む、機器。
−１３５度及び４５度を超える広角が使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の機器。
位置依存イントラ予測コンビネーションが広角イントラ予測と共に使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の機器。
同じ総角度数を維持するために反対方向にある幾つかの対応する角度を除去しながら水平方向又は垂直方向に広角イントラ予測のための予測方向を拡張する、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の機器。
幾つかの予測角度が−１３５度を上回り又は４５度を上回る、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の機器。
位置依存イントラ予測コンビネーションを広角イントラ予測と組み合わせ、ブロック内のサンプルに適用する、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の機器。
前記ブロックが矩形形状を有するコード化単位である、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の機器。
使用されている参照サンプルが近傍ブロックからのものである、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の機器。
請求項４〜１１の何れか一項に記載の機器と、
（ｉ）信号を受信するように構成されたアンテナであって、前記信号はビデオブロックを含む、アンテナ、（ｉｉ）前記ビデオブロックを含む周波数帯域に前記受信信号を制限するように構成された帯域制限器、及び（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイのうちの少なくとも１つと
を含む装置。
プロセッサを使用して実行するための、請求項１及び５〜１１の何れか一項に記載の方法に従って、又は請求項２及び５〜１１の何れか一項に記載の機器によって生成されるデータコンテンツを含む、非一時的コンピュータ可読媒体。
プロセッサを使用して実行するための、請求項１及び５〜１１の何れか一項に記載の方法に従って、又は請求項２及び５〜１１の何れか一項に記載の機器によって生成されるビデオデータを含む、信号。
コンピュータによってプログラムが実行されるとき、請求項１、３、及び５〜１１の何れか一項に記載の方法を前記コンピュータに実行させる命令を含む、コンピュータプログラム製品。