JP2022546170A - 映像信号の行列加重イントラ予測 - Google Patents

Abstract

本開示は、単純化された行列加重イントラ予測を行うための方法を提供する。この方法は、標的ブロックの分類を決定することと、その分類に基づいて、行列加重イントラ予測（ＭＩＰ）信号を生成することとを含み得、標的ブロックの分類を決定することは、標的ブロックが４×４のサイズを有することに応じて、標的ブロックが第１のクラスに属すると決定すること、又は標的ブロックが８×８、４×Ｎ、若しくはＮ×４（ここで、Ｎは、８～６４の整数である）のサイズを有することに応じて、標的ブロックが第２のクラスに属すると決定することを含む。

Description

関連出願の相互参照
[001] 本開示は、参照によりその全体が本明細書に援用される、２０１９年８月３０日に出願された米国仮特許出願第６２／８９４，４８９号に対する優先権の利益を主張する。

技術分野
[002] 本開示は、概して、映像処理に関し、より詳細には、映像信号の単純化された行列加重イントラ予測を行うための方法及びシステムに関する。

背景
[003] 映像は、視覚情報を捕捉する静的ピクチャ（又は「フレーム」）の組である。記憶メモリ及び伝送帯域幅を減らすために、映像は、記憶又は伝送前に圧縮し、表示前に解凍することができる。圧縮プロセスは、通常、符号化と呼ばれ、解凍プロセスは、通常、復号と呼ばれる。最も一般的には、予測、変換、量子化、エントロピーコード化及びインループフィルタリングに基づく規格化された映像コード化技術を使用する様々な映像コード化形式がある。特定の映像コード化形式を指定するHigh Efficiency Video Coding（ＨＥＶＣ／Ｈ．２６５）規格、Versatile Video Coding（ＶＶＣ／Ｈ．２６６）規格、ＡＶＳ規格等の映像コード化規格が規格化組織によって策定されている。一層進化した映像コード化技術が映像規格に採用されるにつれて、新たな映像コード化規格のコード化効率が一層高くなる。

開示の概要
[004] 本開示の実施形態は、単純化された行列加重イントラ予測を行うための方法を提供する。この方法は、標的ブロックの分類を決定することと、その分類に基づいて、行列加重イントラ予測（ＭＩＰ）信号を生成することとを含み得、標的ブロックの分類を決定することは、標的ブロックが４×４のサイズを有することに応じて、標的ブロックが第１のクラスに属すると決定すること、又は標的ブロックが８×８、４×Ｎ、若しくはＮ×４（ここで、Ｎは、８～６４の整数である）のサイズを有することに応じて、標的ブロックが第２のクラスに属すると決定することを含む。

[005] 本開示の実施形態は、単純化された行列加重イントラ予測を行うためのシステムも提供する。このシステムは、１組の命令を記憶するためのメモリと、少なくとも１つのプロセッサとを含み得、少なくとも１つのプロセッサは、システムに、標的ブロックの分類を決定することと、その分類に基づいて、行列加重イントラ予測（ＭＩＰ）信号を生成することとを行わせるように、１組の命令を実行するように構成され、標的ブロックの分類を決定することは、標的ブロックが４×４のサイズを有することに応じて、標的ブロックが第１のクラスに属すると決定すること、又は標的ブロックが８×８、４×Ｎ、若しくはＮ×４（ここで、Ｎは、８～６４の整数である）のサイズを有することに応じて、標的ブロックが第２のクラスに属すると決定することを含む。

[006] 本開示の実施形態は、１組の命令を記憶する非一時的コンピュータ可読媒体を提供し、１組の命令は、映像コンテンツを処理するための方法をコンピュータシステムに行わせるために、コンピュータシステムの少なくとも１つのプロセッサによって実行可能である。その方法は、標的ブロックの分類を決定することと、その分類に基づいて、行列加重イントラ予測（ＭＩＰ）信号を生成することとを含み得、標的ブロックの分類を決定することは、標的ブロックが４×４のサイズを有することに応じて、標的ブロックが第１のクラスに属すると決定すること、又は標的ブロックが８×８、４×Ｎ、若しくはＮ×４（ここで、Ｎは、８～６４の整数である）のサイズを有することに応じて、標的ブロックが第２のクラスに属すると決定することを含む。

図面の簡単な説明
[007] 本開示の実施形態及び様々な態様を以下の詳細な説明及び添付図面に示す。図中に示す様々な特徴は、縮尺通りに描かれていない。

[008]本開示の実施形態と合致する、例示的な映像シーケンスの構造を示す。 [009]本開示の実施形態と合致する、ハイブリッド映像コード化システムによって行われる例示的な符号化プロセスの概略図を示す。 [010]本開示の実施形態と合致する、ハイブリッド映像コード化システムによって行われる別の例示的な符号化プロセスの概略図を示す。 [011]本開示の実施形態と合致する、ハイブリッド映像コード化システムによって行われる例示的な復号プロセスの概略図を示す。 [012]本開示の実施形態と合致する、ハイブリッド映像コード化システムによって行われる別の例示的な復号プロセスの概略図を示す。 [013]本開示の実施形態と合致する、映像を符号化又は復号するための例示的な機器のブロック図である。 [014]本開示の実施形態と合致する、行列加重イントラ予測の例示的な概略図を示す。 [015]本開示の実施形態と合致する、行列加重イントラ予測に使用される３つの例示的なクラスを含む表を示す。 [016]本開示の実施形態と合致する、オフセット「ｓＯ」を決定するための例示的な参照表を示す。 [017]本開示の実施形態と合致する、シフト「ｓＷ」を決定するための例示的な参照表を示す。 [018]本開示の実施形態と合致する、例示的な除外演算を示す例示的な行列を示す。 [019]本開示の実施形態と合致する、別の例示的な除外演算を示す別の例示的な行列を示す。 [020]本開示の実施形態と合致する、映像コンテンツを処理するための例示的方法のフローチャートである。

詳細な説明
[021] ここで、その例が添付図面に示される例示的実施形態を詳細に参照する。以下の説明は、添付図面を参照し、添付図面では、他に指示がない限り、異なる図中の同じ数字が同じ又は同様の要素を表す。例示的実施形態についての以下の説明に記載される実装形態は、本発明と合致する全ての実装形態を表すわけではない。むしろ、それらは、添付の特許請求の範囲で列挙する本発明に関係する態様と合致する機器及び方法の例に過ぎない。別段の定めがない限り、「又は」という語は、実行不可能な場合を除いて、あり得る全ての組み合わせを包含する。例えば、ある構成要素がＡ又はＢを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、その構成要素は、Ａ若しくはＢ又はＡ及びＢを含むことができる。第２の例として、ある構成要素がＡ、Ｂ又はＣを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、その構成要素は、Ａ、若しくはＢ、若しくはＣ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ、及びＢ、及びＣを含むことができる。

[022] 映像コード化システムは、デジタル映像信号を圧縮するために、例えば消費される記憶空間を減らすか、又はかかる信号に関連する伝送帯域幅の消費量を減らすために多くの場合に使用される。オンライン映像ストリーミング、テレビ会議、又は映像監視等の映像圧縮の様々な応用において、（例えば、１９２０×１０８０ピクセルの解像度を有する）高精細度（ＨＤ）映像の人気が高まるにつれて、映像データの圧縮効率を高めることができる映像コード化ツールを開発することが継続的に求められている。

[023] 例えば、映像監視の応用は、多くの応用シナリオ（例えば、セキュリティ、交通、環境のモニタリング等）において一層且つ広範に使用されており、監視装置の数及び解像度が急激に増加している。多くの映像監視の応用シナリオは、より多くの情報を捕捉するためにＨＤ映像をユーザに提供することを選択し、ＨＤ映像は、かかる情報を捕捉するために、１フレーム当たりでより多くのピクセルを有する。しかし、ＨＤ映像ビットストリームは、伝送のための高帯域幅及び記憶のための大きい空間を要求する高ビットレートを有し得る。例えば、平均的な１９２０×１０８０の解像度を有する監視映像ストリームは、リアルタイム伝送のために４Ｍｂｐｓもの帯域幅を必要とし得る。更に、映像監視は、一般に、常時監視を行い、それは、映像データを記憶する場合に記憶システムにとって大きい課題となり得る。従って、ＨＤ映像の高帯域幅及び大きい記憶域に対する需要は、映像監視におけるＨＤ映像の大規模な展開に対する主な制限になっている。

[024] 映像とは、視覚的情報を記憶するために時系列順に配置される静止ピクチャ（又は「フレーム」）の組である。それらのピクチャを時系列順に捕捉し、記憶するために、映像捕捉装置（例えば、カメラ）を使用することができ、かかるピクチャを時系列順に表示するために、映像再生装置（例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ又は表示機能を有する任意のエンドユーザ端末）を使用することができる。更に、一部の応用では、監視、会議、又は生放送等のために、映像捕捉装置が捕捉映像を映像再生装置（例えば、モニタを有するコンピュータ）にリアルタイムで伝送することができる。

[025] かかる応用が必要とする記憶空間及び伝送帯域幅を減らすために、映像を記憶及び伝送前に圧縮し、表示前に解凍することができる。この圧縮及び解凍は、プロセッサ（例えば、汎用コンピュータのプロセッサ）又は専用ハードウェアによって実行されるソフトウェアによって実装され得る。圧縮のためのモジュールを一般に「符号器」と呼び、解凍のためのモジュールを一般に「復号器」と呼ぶ。符号器及び復号器は、まとめて「コーデック」と呼ぶことができる。符号器及び復号器は、様々な適切なハードウェア、ソフトウェア、又はその組み合わせとして実装することができる。例えば、符号器及び復号器のハードウェア実装は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、書換可能ゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、又はその任意の組み合わせ等の回路を含み得る。符号器及び復号器のソフトウェア実装は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体内に固定される任意の適切なコンピュータによって実装されるアルゴリズム若しくはプロセスを含み得る。映像の圧縮及び解凍は、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６ｘシリーズ等の様々なアルゴリズム又は規格によって実装され得る。一部の応用では、コーデックが第１のコード化規格から映像を解凍し、第２のコード化規格を使用して、解凍された映像を再圧縮することができ、その場合、コーデックを「トランスコーダ」と呼ぶことができる。

[026] 映像符号化プロセスは、ピクチャを再構築するために使用可能な有用な情報を識別し、保つことができ、再構築に重要でない情報を無視することができる。無視された重要でない情報を完全に再構築できない場合、かかる符号化プロセスは、「非可逆」と呼ぶことができる。さもなければ、かかる符号化プロセスは、「可逆」と呼ぶことができる。殆どの符号化プロセスは、非可逆であり、これは、必要な記憶空間及び伝送帯域幅を減らすためのトレードオフである。

[027] 符号化されているピクチャ（「現ピクチャ」と呼ぶ）の有用な情報は、参照ピクチャ（例えば、過去に符号化され、再構築されたピクチャ）に対する変化を含む。かかる変化は、ピクセルの位置変化、光度変化、又は色変化を含むことができ、そのうちの位置変化が最も関係している。オブジェクトを表すピクセル群の位置変化は、参照ピクチャと現ピクチャとの間のオブジェクトの動きを反映し得る。

[028] 参照ピクチャが現ピクチャ自体であるか又は他のピクチャであるかに応じて、現ピクチャの符号化を「インター予測」及び「イントラ予測」として分類することができる。イントラ予測は、既にコード化されたピクセルから外挿によって予測値を計算することにより、空間的冗長性（例えば、１つのフレーム内のピクセル間の相関）を活用することができる。インター予測は、隣接フレーム（例えば、参照フレーム及び標的フレーム）間の時間差（例えば、動きベクトル）を活用し、標的フレームのコーデックを可能にし得る。本開示は、イントラ予測に使用される技法に関する。

[029] 本開示は、映像信号の単純化された行列加重イントラ予測を行うための方法、機器、及びシステムを提供する。ＭＩＰ予測プロセス内の行列の余分な除外演算を除去することにより、異なるサイズを有するブロックの予測プロセスを統一することができ、計算プロセスも単純化することができる。

[030] 図１は、本開示の実施形態に合致する、映像シーケンス１００の一例の構造を示す。映像シーケンス１００は、生中継映像、又は捕捉され、アーカイブされている映像であり得る。映像１００は、現実の映像、コンピュータによって生成される映像（例えば、コンピュータゲーム映像）、又はその組み合わせ（例えば、拡張現実効果を有する現実の映像）であり得る。映像シーケンス１００は、映像捕捉装置（例えば、カメラ）、過去に捕捉された映像を含む映像アーカイブ（例えば、記憶装置内に記憶される映像ファイル）、又は映像コンテンツプロバイダから映像を受信するための映像フィードインタフェース（例えば、映像ブロードキャストトランシーバ）から入力され得る。

[031] 図１に示すように、映像シーケンス１００は、ピクチャ１０２、１０４、１０６及び１０８を含む、タイムラインに沿って時間的に配置される一連のピクチャを含み得る。ピクチャ１０２～１０６は、連続的であり、ピクチャ１０６とピクチャ１０８との間に更に多くのピクチャがある。図１では、ピクチャ１０２は、Ｉピクチャであり、その参照ピクチャは、ピクチャ１０２自体である。ピクチャ１０４は、Ｐピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ１０２である。ピクチャ１０６は、Ｂピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ１０４及び１０８である。一部の実施形態では、ピクチャ（例えば、ピクチャ１０４）の参照ピクチャは、そのピクチャの直前又は直後になくてもよい。例えば、ピクチャ１０４の参照ピクチャは、ピクチャ１０２に先行するピクチャであり得る。ピクチャ１０２～１０６の参照ピクチャは、例に過ぎず、本開示は、参照ピクチャの実施形態を、図１に示す例として限定しないことに留意すべきである。

[032] 典型的には、映像コーデックは、全ピクチャを一度に符号化又は復号せず、それは、かかるタスクが計算的に複雑であるためである。むしろ、映像コーデックは、ピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号することができる。本開示では、そのような基本セグメントを基本処理単位（「ＢＰＵ」）と呼ぶ。例えば、図１の構造１１０は、映像シーケンス１００のピクチャ（例えば、ピクチャ１０２～１０８の何れか）の構造の一例を示す。構造１１０では、ピクチャが４×４の基本処理単位に分けられており、その境界が破線で示されている。一部の実施形態では、基本処理単位は、一部の映像コード化規格（例えば、ＭＰＥＧファミリ、Ｈ．２６１、Ｈ．２６３又はＨ．２６４／ＡＶＣ）内の「マクロブロック」と呼ぶことができ、他の一部の映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）内の「コード化ツリー単位」（「ＣＴＵ」）と呼ぶことができる。１２８×１２８、６４×６４、３２×３２、１６×１６、４×８、１６×３２又はピクセルのあらゆる任意の形状及びサイズ等、基本処理単位は、ピクチャ内で可変サイズを有することができる。基本処理単位のサイズ及び形状は、コード化の効率及び基本処理単位内で保とうとする詳細度のバランスに基づいてピクチャについて選択することができる。

[033] 基本処理単位は、コンピュータメモリ内（例えば、映像フレームバッファ内）に記憶される様々な種類の映像データ群を含み得る論理単位であり得る。例えば、カラーピクチャの基本処理単位は、無彩色の輝度情報を表すルマ成分（Ｙ）、色情報を表す１つ又は複数のクロマ成分（例えば、Ｃｂ及びＣｒ）、並びにルマ成分及びクロマ成分が同じサイズを有し得る基本処理単位の関連構文要素を含むことができる。一部の映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、ルマ成分及びクロマ成分が「コード化ツリーブロック」（「ＣＴＢ」）と呼ばれ得る。基本処理単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。

[034] 映像のコード化は、複数の操作段階を有し、その例を図２Ａ～図２Ｂ及び図３Ａ～図３Ｂで詳述する。それぞれの段階について、基本処理単位のサイズは、依然として処理するのに大き過ぎる場合があり、従って本開示で「基本処理副単位」と呼ぶセグメントに更に分けることができる。一部の実施形態では、基本処理副単位は、一部の映像コード化規格（例えば、ＭＰＥＧファミリ、Ｈ．２６１、Ｈ．２６３又はＨ．２６４／ＡＶＣ）内の「ブロック」と呼ぶことができるか、又は他の一部の映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）内の「コード化単位」（「ＣＵ」）と呼ぶことができる。基本処理副単位は、基本処理単位と同じ又はそれよりも小さいサイズを有し得る。基本処理単位と同様に、基本処理副単位もコンピュータメモリ内（例えば、映像フレームバッファ内）に記憶される様々な種類の映像データ群（例えば、Ｙ、Ｃｂ、Ｃｒ及び関連構文要素）を含み得る論理単位である。基本処理副単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。処理の必要性に応じて、かかる分割は、更なるレベルに対して行われ得ることに留意すべきである。様々な段階が様々な方式を使用して基本処理単位を分割できることにも留意すべきである。

[035] 例えば、（その一例を図２Ｂで詳述する）モード決定段階において、基本処理単位に対して何れの予測モード（例えば、イントラピクチャ予測又はインターピクチャ予測）を使用するかを符号器が決定することができ、基本処理単位は、かかる決定を下すには大き過ぎる場合がある。符号器は、基本処理単位を複数の基本処理副単位（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣにあるＣＵ）に分け、個々の基本処理副単位ごとに予測の種類を決定することができる。

[036] 別の例として、（その一例を図２Ａに詳述する）予測段階において、符号器は、基本処理副単位（例えば、ＣＵ）のレベルにおいて予測操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ内で「予測ブロック」又は「ＰＢ」と呼ばれる）に更に分けることができ、そのレベルにおいて予測操作を行うことができる。

[037] 別の例として、（その一例を図２Ａに詳述する）変換段階において、符号器は、残差基本処理副単位（例えば、ＣＵ）に対する変換操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ内で「変換ブロック」又は「ＴＢ」と呼ばれる）に更に分けることができ、そのレベルにおいて変換操作を行うことができる。同じ基本処理副単位の分割方式は、予測段階と変換段階とで異なり得ることに留意すべきである。例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは、同じＣＵの予測ブロック及び変換ブロックは、異なるサイズ及び数を有し得る。

[038] 図１の構造１１０では、基本処理単位１１２が３×３の基本処理副単位に更に分けられており、その境界が点線で示されている。同じピクチャの異なる基本処理単位を異なる方式で基本処理副単位に分けることができる。

[039] 一部の実装形態では、映像の符号化及び復号に並列処理及び誤り耐性の機能を与えるために、ピクチャを処理のための領域に分けることができ、それにより、ピクチャの領域について、符号化又は復号プロセスがピクチャの他の任意の領域の情報に依存しないようにすることができる。換言すれば、ピクチャの各領域を独立に処理することができる。そうすることで、コーデックは、ピクチャの異なる領域を並列に処理し、従ってコード化の効率を高めることができる。更に、領域のデータが処理内で破損するか又はネットワーク伝送内で失われる場合、コーデックは、破損するか又は失われたデータに依存することなく、同じピクチャの他の領域を正しく符号化又は復号することができ、従って誤り耐性の機能を提供する。一部の映像コード化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、Ｈ．２６５／ＨＥＶＣ及びＨ．２６６／ＶＶＣは、「スライス」及び「タイル」という２種類の領域を提供する。映像シーケンス１００の様々なピクチャは、ピクチャを領域に分けるための様々な分割方式を有し得ることにも留意すべきである。

[040] 例えば、図１では、構造１１０が３つの領域１１４、１１６及び１１８に分けられており、その境界が構造１１０内の実線として示されている。領域１１４は、４個の基本処理単位を含む。領域１１６及び１１８のそれぞれは、６個の基本処理単位を含む。図１の構造１１０の基本処理単位、基本処理副単位、及び領域は、例に過ぎず、本開示は、その実施形態を限定しないことに留意すべきである。

[041] 図２Ａは、本開示の実施形態と合致する、符号化プロセス２００Ａの一例の概略図を示す。符号器は、プロセス２００Ａに従って映像シーケンス２０２を映像ビットストリーム２２８に符号化することができる。図１の映像シーケンス１００と同様に、映像シーケンス２０２は、時系列順に配置されるピクチャ（「元のピクチャ」と呼ぶ）の組を含み得る。図１の構造１１０と同様に、映像シーケンス２０２のそれぞれの元のピクチャは、符号器によって基本処理単位、基本処理副単位、又は処理のための領域に分けられ得る。一部の実施形態では、符号器は、映像シーケンス２０２のそれぞれの元のピクチャに関する基本処理単位のレベルにおいてプロセス２００Ａを実行することができる。例えば、符号器は、プロセス２００Ａを反復的な方法で実行することができ、符号器は、プロセス２００Ａの１回の反復において基本処理単位を符号化することができる。一部の実施形態では、符号器は、映像シーケンス２０２のそれぞれの元のピクチャの領域（例えば、領域１１４～１１８）についてプロセス２００Ａを並列に実行することができる。

[042] 図２Ａでは、符号器は、映像シーケンス２０２の元のピクチャの基本処理単位（「元のＢＰＵ」と呼ぶ）を予測段階２０４にフィードして、予測データ２０６及び予測されたＢＰＵ２０８を生成することができる。符号器は、元のＢＰＵから、予測されたＢＰＵ２０８を減算して、残差ＢＰＵ２１０を生成することができる。符号器は、残差ＢＰＵ２１０を変換段階２１２及び量子化段階２１４にフィードして、量子化された変換係数２１６を生成することができる。符号器は、予測データ２０６及び量子化された変換係数２１６をバイナリコード化段階２２６にフィードして、映像ビットストリーム２２８を生成することができる。構成要素２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１６、２２６、及び２２８は、「順方向経路」と呼ぶことができる。プロセス２００Ａ中、符号器は、量子化段階２１４後、量子化された変換係数２１６を逆量子化段階２１８及び逆変換段階２２０にフィードして、再構築された残差ＢＰＵ２２２を生成することができる。符号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、プロセス２００Ａの次の反復の予測段階２０４に使用される予測基準２２４を生成することができる。プロセス２００Ａの構成要素２１８、２２０、２２２、及び２２４は、「再構築経路」と呼ぶことができる。再構築経路は、符号器及び復号器の両方が予測に同じ参照データを使用することを確実にするために使用され得る。

[043] 符号器は、プロセス２００Ａを反復的に実行して、（順方向経路内で）元のピクチャのそれぞれの元のＢＰＵを符号化し、（再構築経路内で）元のピクチャの次の元のＢＰＵを符号化するための予測された基準２２４を生成することができる。元のピクチャの全ての元のＢＰＵを符号化した後、符号器は、映像シーケンス２０２内の次のピクチャの符号化に進むことができる。

[044] プロセス２００Ａを参照すると、符号器は、映像捕捉装置（例えば、カメラ）によって生成される映像シーケンス２０２を受信することができる。本明細書で使用する「受信（する）」という用語は、データを入力するための、受信すること、入力すること、取得すること、取り出すこと、得ること、読み出すこと、アクセスすること、又は任意の方法の任意のアクションを指すことができる。

[045] 予測段階２０４では、現在の反復において、符号器が元のＢＰＵ及び予測基準２２４を受信し、予測操作を行って予測データ２０６及び予測されたＢＰＵ２０８を生成することができる。予測基準２２４は、プロセス２００Ａ前の反復の再構築経路から生成され得る。予測段階２０４の目的は、予測データ２０６及び予測基準２２４から予測されたＢＰＵ２０８として元のＢＰＵを再構築するために使用され得る予測データ２０６を抽出することにより、情報の冗長性を減らすことである。

[046] 理想的には、予測されたＢＰＵ２０８は、元のＢＰＵと同一であり得る。しかし、理想的でない予測及び再構築操作により、予測されたＢＰＵ２０８は、概して、元のＢＰＵと僅かに異なる。そのような差を記録するために、符号器は、予測されたＢＰＵ２０８を生成した後、それを元のＢＰＵから減算して残差ＢＰＵ２１０を生成することができる。例えば、符号器は、予測されたＢＰＵ２０８のピクセルの値（例えば、グレースケール値又はＲＧＢ値）を元のＢＰＵの対応するピクセルの値から減算することができる。元のＢＰＵの対応するピクセルと、予測されたＢＰＵ２０８との間のかかる減算の結果、残差ＢＰＵ２１０の各ピクセルは、残差値を有し得る。元のＢＰＵと比較して、予測データ２０６及び残差ＢＰＵ２１０は、より少ないビットを有し得るが、品質を著しく損なうことなく元のＢＰＵを再構築するためにそれらを使用することができる。

[047] 残差ＢＰＵ２１０を更に圧縮するために、変換段階２１２において、符号器は、残差ＢＰＵ２１０を２次元「基底パターン」の組に分解することにより、残差ＢＰＵ２１０の空間的冗長性を低減することができ、各基底パターンは、「変換係数」に関連する。基底パターンは、同じサイズ（例えば、残差ＢＰＵ２１０のサイズ）を有することができる。それぞれの基底パターンは、残差ＢＰＵ２１０の変動周波数（例えば、輝度変動周波数）成分を表すことができる。基底パターンの何れも、他の任意の基底パターンの任意の組み合わせ（例えば、線形結合）から再現することができない。換言すれば、分解は、残差ＢＰＵ２１０の変動を周波数領域内に分解することができる。かかる分解は、関数の離散フーリエ変換に類似し、基底パターンは、離散フーリエ変換の基底関数（例えば、三角関数）に類似し、変換係数は、基底関数に関連する係数に類似する。

[048] 様々な変換アルゴリズムが様々な基底パターンを使用することができる。例えば、離散コサイン変換、離散サイン変換等、変換段階２１２では、様々な変換アルゴリズムを使用することができる。変換段階２１２における変換は、可逆的である。即ち、符号器は、変換の逆操作（「逆変換」と呼ぶ）によって残差ＢＰＵ２１０を復元することができる。例えば、残差ＢＰＵ２１０のピクセルを復元するために、逆変換は、基底パターンの対応するピクセルの値を、関連するそれぞれの係数で乗算し、積を加算して加重和をもたらすことであり得る。映像コード化規格では、符号器及び復号器の両方が同じ変換アルゴリズム（従って同じ基底パターン）を使用することができる。従って、符号器は、変換係数のみを記録することができ、復号器は、符号器から基底パターンを受信することなく、変換係数から残差ＢＰＵ２１０を再構築することができる。残差ＢＰＵ２１０と比較して、変換係数の方が少ないビットを有し得るが、それらの変換係数は、品質を著しく損なうことなく残差ＢＰＵ２１０を再構築するために使用され得る。従って、残差ＢＰＵ２１０が更に圧縮される。

[049] 符号器は、量子化段階２１４において変換係数を更に圧縮することができる。変換プロセスでは、様々な基底パターンが様々な変動周波数（例えば、輝度変動周波数）を表すことができる。人間の目は、概して、低周波変動を認識することが得意であるため、符号器は、復号の際の著しい品質劣化を引き起こすことなく高周波変動の情報を無視することができる。例えば、量子化段階２１４において、符号器は、各変換係数を整数値（「量子化パラメータ」と呼ぶ）で除算し、商をその最近隣数に丸めることにより、量子化された変換係数２１６を生成することができる。かかる操作後、高周波基底パターンの一部の変換係数をゼロに変換することができ、低周波基底パターンの変換係数をより小さい整数に変換することができる。符号器は、ゼロ値の量子化された変換係数２１６を無視することができ、それにより変換係数が更に圧縮される。量子化プロセスも可逆的（invertible）であり、量子化された変換係数２１６は、量子化の逆操作（「逆量子化」と呼ぶ）内で変換係数に再構築することができる。

[050] 符号器は、丸め操作内でかかる除算の剰余を無視するため、量子化段階２１４は、非可逆であり得る。典型的には、量子化段階２１４は、プロセス２００Ａ内で最大の情報損失に寄与し得る。情報損失が大きいほど、量子化された変換係数２１６が必要とし得るビットが少なくなる。情報損失の様々なレベルを得るために、符号器は、量子化パラメータの様々な値又は量子化プロセスの他の任意のパラメータを使用することができる。

[051] バイナリコード化段階２２６において、符号器は、例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化、又は他の任意の可逆若しくは非可逆圧縮アルゴリズム等のバイナリコード化技法を使用し、予測データ２０６及び量子化された変換係数２１６を符号化することができる。一部の実施形態では、予測データ２０６及び量子化された変換係数２１６に加えて、符号器は、例えば、予測段階２０４で使用される予測モード、予測操作のパラメータ、変換段階２１２の変換の種類、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）等の他の情報をバイナリコード化段階２２６において符号化することができる。符号器は、バイナリコード化段階２２６の出力データを使用して映像ビットストリーム２２８を生成することができる。一部の実施形態では、映像ビットストリーム２２８をネットワーク伝送のために更にパケット化することができる。

[052] プロセス２００Ａの再構築経路を参照すると、逆量子化段階２１８では、符号器は、量子化された変換係数２１６に対して逆量子化を行って、再構築された変換係数を生成することができる。逆変換段階２２０では、符号器は、再構築された変換係数に基づいて、再構築された残差ＢＰＵ２２２を生成することができる。符号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、プロセス２００Ａの次の反復内で使用される予測基準２２４を生成することができる。

[053] 映像シーケンス２０２を符号化するためにプロセス２００Ａの他のバリエーションを使用できることに留意すべきである。一部の実施形態では、符号器がプロセス２００Ａの段階を異なる順序で実行することができる。一部の実施形態では、プロセス２００Ａの１つ又は複数の段階を単一の段階に組み合わせることができる。一部の実施形態では、プロセス２００Ａの単一の段階を複数の段階に分けることができる。例えば、変換段階２１２と量子化段階２１４とを単一の段階に組み合わせることができる。一部の実施形態では、プロセス２００Ａは、追加の段階を含み得る。一部の実施形態では、プロセス２００Ａは、図２Ａ内の１つ又は複数の段階を省くことができる。

[054] 図２Ｂは、本開示の実施形態に合致する、符号化プロセスの別の例２００Ｂの概略図を示す。プロセス２００Ｂは、プロセス２００Ａから修正され得る。例えば、プロセス２００Ｂは、ハイブリッド映像コード化規格（例えば、Ｈ．２６ｘシリーズ）に準拠する符号器によって使用され得る。プロセス２００Ａと比較して、プロセス２００Ｂの順方向経路は、モード決定段階２３０を更に含み、予測段階２０４を空間的予測段階２０４２及び時間的予測段階２０４４に分ける。プロセス２００Ｂの再構築経路は、ループフィルタ段階２３２及びバッファ２３４を追加で含む。

[055] 概して、予測技法は、空間的予測及び時間的予測の２つの種類に分類することができる。空間的予測（例えば、イントラピクチャ予測又は「イントラ予測」）は、現ＢＰＵを予測するために、同じピクチャ内の既にコード化された１つ又は複数の隣接ＢＰＵのピクセルを使用することができる。即ち、空間的予測における予測基準２２４は、隣接ＢＰＵを含み得る。空間的予測は、ピクチャの固有の空間的冗長性を減らすことができる。時間的予測（例えば、インターピクチャ予測又は「インター予測」）は、現ＢＰＵを予測するために、既にコード化された１つ又は複数のピクチャの領域を使用することができる。即ち、時間的予測における予測基準２２４は、コード化されたピクチャを含み得る。時間的予測は、ピクチャの固有の時間的冗長性を減らすことができる。

[056] プロセス２００Ｂを参照すると、順方向経路において、符号器は、空間的予測段階２０４２及び時間的予測段階２０４４で予測操作を行う。例えば、空間的予測段階２０４２では、符号器は、イントラ予測を行うことができる。符号化されているピクチャの元のＢＰＵに関して、予測基準２２４は、同じピクチャ内の（順方向経路内で）符号化され、（再構築経路内で）再構築されている１つ又は複数の隣接ＢＰＵを含み得る。符号器は、隣接ＢＰＵを外挿することにより、予測されたＢＰＵ２０８を生成することができる。外挿技法は、例えば、線形外挿又は線形補間、多項式外挿又は多項式補間等を含み得る。一部の実施形態では、予測されたＢＰＵ２０８のピクセルごとに対応するピクセルの値を外挿することによって等、符号器がピクセルレベルで外挿を行うことができる。外挿に使用される隣接ＢＰＵは、垂直方向（例えば、元のＢＰＵの上）、水平方向（例えば、元のＢＰＵの左）、対角線方向（例えば、元のＢＰＵの左下、右下、左上又は右上）、又は使用される映像コード化規格内で規定される任意の方向等、様々な方向から元のＢＰＵに対して位置し得る。イントラ予測では、予測データ２０６は、例えば、使用される隣接ＢＰＵの位置（例えば、座標）、使用される隣接ＢＰＵのサイズ、外挿のパラメータ、元のＢＰＵに対する使用される隣接ＢＰＵの方向等を含み得る。

[057] 別の例として、時間的予測段階２０４４では、符号器は、インター予測を行うことができる。現ピクチャの元のＢＰＵに関して、予測基準２２４は、（順方向経路内で）符号化され、（再構築経路内で）再構築されている１つ又は複数のピクチャ（「参照ピクチャ」と呼ぶ）を含み得る。一部の実施形態では、参照ピクチャがＢＰＵごとに符号化され再構築され得る。例えば、符号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、再構築されたＢＰＵを生成することができる。同じピクチャの全ての再構築されたＢＰＵが生成されると、符号器は、参照ピクチャとして再構築されたピクチャを生成することができる。符号器は、参照ピクチャの範囲（「探索窓」と呼ぶ）内の一致領域を探すために「動き推定」の操作を行うことができる。参照ピクチャ内の探索窓の位置は、現ピクチャ内の元のＢＰＵの位置に基づいて決定することができる。例えば、探索窓は、現ピクチャ内の元のＢＰＵと参照ピクチャ内で同じ座標を有する位置に中心を置くことができ、所定の距離にわたって広げることができる。符号器が探索窓内で元のＢＰＵと同様の領域を（例えば、pel再帰アルゴリズム、ブロックマッチングアルゴリズム等を使用することによって）識別すると、符号器は、その領域を一致領域として決定することができる。一致領域は、元のＢＰＵと異なる（例えば、それよりも小さい、等しい、大きい又は異なる形状の）寸法を有し得る。参照ピクチャ及び現ピクチャは、（例えば、図１に示すように）タイムライン内で時間的に隔てられているため、時間が経つにつれて一致領域が元のＢＰＵの位置に「移動する」と見なすことができる。符号器は、かかる動きの方向及び距離を「動きベクトル」として記録することができる。（例えば、図１のピクチャ１０６のような）複数の参照ピクチャが使用される場合、符号器は、参照ピクチャごとに一致領域を探し、その関連する動きベクトルを求めることができる。一部の実施形態では、符号器は、個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てることができる。

[058] 動き推定は、例えば、平行移動、回転、拡大縮小等の様々な種類の動きを識別するために使用することができる。インター予測では、予測データ２０６は、例えば、一致領域の位置（例えば、座標）、一致領域に関連する動きベクトル、参照ピクチャの数、参照ピクチャに関連する重み等を含み得る。

[059] 予測されたＢＰＵ２０８を生成するために、符号器は、「動き補償」の操作を行うことができる。動き補償は、予測データ２０６（例えば、動きベクトル）及び予測基準２２４に基づいて、予測されたＢＰＵ２０８を再構築するために使用することができる。例えば、符号器は、動きベクトルに従って参照ピクチャの一致領域を動かすことができ、その中では、符号器は、現ピクチャの元のＢＰＵを予測することができる。（例えば、図１のピクチャ１０６のような）複数の参照ピクチャが使用される場合、符号器は、個々の動きベクトルに従って参照ピクチャの一致領域を動かし、一致領域のピクセル値を平均することができる。一部の実施形態では、符号器が、個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てた場合、符号器は、動かした一致領域のピクセル値の加重和を加えることができる。

[060] 一部の実施形態では、インター予測は、単方向又は双方向であり得る。単方向のインター予測は、現ピクチャに対して同じ時間的方向にある１つ又は複数の参照ピクチャを使用することができる。例えば、図１のピクチャ１０４は、参照ピクチャ（即ちピクチャ１０２）がピクチャ１０４に先行する単方向のインター予測ピクチャである。双方向のインター予測は、現ピクチャに対して両方の時間的方向にある１つ又は複数の参照ピクチャを使用することができる。例えば、図１のピクチャ１０６は、参照ピクチャ（即ちピクチャ１０４及び１０８）がピクチャ１０４に対して両方の時間的方向にある双方向のインター予測ピクチャである。

[061] プロセス２００Ｂの順方向経路を引き続き参照すると、空間的予測段階２０４２及び時間的予測段階２０４４後、モード決定段階２３０において、符号器は、プロセス２００Ｂの現在の反復のための予測モード（例えば、イントラ予測又はインター予測の１つ）を選択することができる。例えば、符号器は、レート歪み最適化技法を実行することができ、かかる技法では、符号器は、候補予測モードのビットレート及び候補予測モード下の再構築された参照ピクチャの歪みに応じて、コスト関数の値を最小化するための予測モードを選択することができる。選択される予測モードに応じて、符号器は、対応する予測されたＢＰＵ２０８及び予測されたデータ２０６を生成することができる。

[062] プロセス２００Ｂの再構築経路において、順方向経路内でイントラ予測モードが選択されている場合、予測基準２２４（例えば、現ピクチャ内で符号化され再構築されている現ＢＰＵ）を生成した後、符号器は、後に使用するために（例えば、現ピクチャの次のＢＰＵを外挿するために）空間的予測段階２０４２に予測基準２２４を直接フィードすることができる。順方向経路内でインター予測モードが選択されている場合、予測基準２２４（例えば、全てのＢＰＵが符号化され再構築されている現ピクチャ）を生成した後、符号器は、ループフィルタ段階２３２に予測基準２２４をフィードすることができ、ループフィルタ段階２３２では、符号器は、予測基準２２４にループフィルタを適用して、インター予測によって引き起こされる歪み（例えば、ブロッキングアーティファクト）を減らすか又はなくすことができる。例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ等、符号器は、ループフィルタ段階２３２で様々なループフィルタ技法を適用することができる。ループフィルタされた参照ピクチャは、後に使用するために（例えば、映像シーケンス２０２の将来のピクチャのためのインター予測参照ピクチャとして使用するために）バッファ２３４（又は「復号されたピクチャバッファ」）内に記憶することができる。符号器は、時間的予測段階２０４４で使用するために１つ又は複数の参照ピクチャをバッファ２３４内に記憶することができる。一部の実施形態では、符号器は、量子化された変換係数２１６、予測データ２０６及び他の情報と共にループフィルタのパラメータ（例えば、ループフィルタの強度）をバイナリコード化段階２２６で符号化することができる。

[063] 図３Ａは、本開示の実施形態に合致する、復号プロセス３００Ａの一例の概略図を示す。プロセス３００Ａは、図２Ａの圧縮プロセス２００Ａに対応する解凍プロセスであり得る。一部の実施形態では、プロセス３００Ａは、プロセス２００Ａの再構築経路と同様であり得る。復号器は、プロセス３００Ａに従って映像ビットストリーム２２８を映像ストリーム３０４に復号することができる。映像ストリーム３０４は、映像シーケンス２０２と非常に類似し得る。しかし、圧縮及び解凍プロセス（例えば、図２Ａ～図２Ｂの量子化段階２１４）における情報損失により、概して、映像ストリーム３０４は、映像シーケンス２０２と同一ではない。図２Ａ～図２Ｂのプロセス２００Ａ及び２００Ｂと同様に、復号器は、映像ビットストリーム２２８内に符号化される各ピクチャについて、基本処理単位（ＢＰＵ）のレベルにおいてプロセス３００Ａを実行することができる。例えば、復号器は、プロセス３００Ａを反復的な方法で実行することができ、復号器は、プロセス３００Ａの１回の反復において基本処理単位を復号することができる。一部の実施形態では、復号器は、映像ビットストリーム２２８内に符号化される各ピクチャの領域（例えば、領域１１４～１１８）についてプロセス３００Ａを並列に実行することができる。

[064] 図３Ａでは、復号器は、符号化されたピクチャの基本処理単位（「符号化されたＢＰＵ」と呼ぶ）に関連する映像ビットストリーム２２８の一部をバイナリ復号段階３０２にフィードすることができる。バイナリ復号段階３０２では、復号器は、その一部を予測データ２０６及び量子化された変換係数２１６に復号することができる。復号器は、量子化された変換係数２１６を逆量子化段階２１８及び逆変換段階２２０にフィードして、再構築された残差ＢＰＵ２２２を生成することができる。復号器は、予測データ２０６を予測段階２０４にフィードして、予測されたＢＰＵ２０８を生成することができる。復号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、予測された基準２２４を生成することができる。一部の実施形態では、予測された基準２２４がバッファ（例えば、コンピュータメモリ内の復号されたピクチャバッファ）内に記憶され得る。復号器は、プロセス３００Ａの次の反復内で予測操作を行うための予測された基準２２４を予測段階２０４にフィードすることができる。

[065] 復号器は、プロセス３００Ａを反復的に実行して、符号化されたピクチャの各符号化されたＢＰＵを復号し、符号化されたピクチャの次の符号化されたＢＰＵを符号化するための予測された基準２２４を生成することができる。符号化されたピクチャの全ての符号化されたＢＰＵを復号した後、復号器は、表示するためにピクチャを映像ストリーム３０４に出力し、映像ビットストリーム２２８内の次の符号化されたピクチャの復号に進むことができる。

[066] バイナリ復号段階３０２では、復号器は、符号器が使用したバイナリコード化技法（例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化又は他の任意の可逆圧縮アルゴリズム）の逆操作を行うことができる。一部の実施形態では、予測データ２０６及び量子化された変換係数２１６に加えて、復号器は、例えば、予測モード、予測操作のパラメータ、変換の種類、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）等の他の情報をバイナリ復号段階３０２において復号することができる。一部の実施形態では、映像ビットストリーム２２８がネットワーク上においてパケット単位で伝送される場合、復号器は、映像ビットストリーム２２８をパケット化解除してからそれをバイナリ復号段階３０２にフィードすることができる。

[067] 図３Ｂは、本開示の実施形態に合致する、復号プロセスの別の例３００Ｂの概略図を示す。プロセス３００Ｂは、プロセス３００Ａから修正され得る。例えば、プロセス３００Ｂは、ハイブリッド映像コード化規格（例えば、Ｈ．２６ｘシリーズ）に準拠する復号器によって使用され得る。プロセス３００Ａと比較して、プロセス３００Ｂは、予測段階２０４を空間的予測段階２０４２及び時間的予測段階２０４４に更に分け、ループフィルタ段階２３２及びバッファ２３４を追加で含む。

[068] プロセス３００Ｂでは、復号されている符号化されたピクチャ（「現ピクチャ」と呼ぶ）の符号化された基本処理単位（「現ＢＰＵ」と呼ぶ）に関して、復号器によってバイナリ復号段階３０２から復号される予測データ２０６は、現ＢＰＵを符号化するために何れの予測モードが符号器によって使用されたかに応じて様々な種類のデータを含み得る。例えば、現ＢＰＵを符号化するためにイントラ予測が符号器によって使用された場合、予測データ２０６は、イントラ予測、イントラ予測操作のパラメータ等を示す予測モードインジケータ（例えば、フラグ値）を含み得る。イントラ予測操作のパラメータは、例えば、基準として使用される１つ又は複数の隣接ＢＰＵの位置（例えば、座標）、隣接ＢＰＵのサイズ、外挿のパラメータ、元のＢＰＵに対する隣接ＢＰＵの方向等を含み得る。別の例では、現ＢＰＵを符号化するためにインター予測が符号器によって使用された場合、予測データ２０６は、インター予測、インター予測操作のパラメータ等を示す予測モードインジケータ（例えば、フラグ値）を含み得る。インター予測操作のパラメータは、例えば、現ＢＰＵに関連する参照ピクチャの数、参照ピクチャにそれぞれ関連する重み、それぞれの参照ピクチャ内の１つ又は複数の一致領域の位置（例えば、座標）、一致領域にそれぞれ関連する１つ又は複数の動きベクトル等を含み得る。

[069] 予測モードインジケータに基づき、復号器は、空間的予測段階２０４２で空間的予測（例えば、イントラ予測）を行うか、又は時間的予測段階２０４４で時間的予測（例えば、インター予測）を行うかを決めることができる。かかる空間的予測又は時間的予測の実行の詳細は、図２Ｂに示されており、以下で繰り返さない。かかる空間的予測又は時間的予測を行った後、復号器は、予測されたＢＰＵ２０８を生成することができる。図３Ａに記載したように、復号器は、予測されたＢＰＵ２０８と、再構築された残差ＢＰＵ２２２とを加えて、予測基準２２４を生成することができる。

[070] プロセス３００Ｂでは、復号器は、プロセス３００Ｂの次の反復内で予測操作を行うための予測された基準２２４を空間的予測段階２０４２又は時間的予測段階２０４４にフィードすることができる。例えば、現ＢＰＵが空間的予測段階２０４２においてイントラ予測を使用して復号される場合、予測基準２２４（例えば、復号された現ＢＰＵ）を生成した後、復号器は、後に使用するために（例えば、現ピクチャの次のＢＰＵを外挿するために）空間的予測段階２０４２に予測基準２２４を直接フィードすることができる。現ＢＰＵが時間的予測段階２０４４においてインター予測を使用して復号される場合、予測基準２２４（例えば、全てのＢＰＵが復号されている参照ピクチャ）を生成した後、符号器は、ループフィルタ段階２３２に予測基準２２４をフィードして歪み（例えば、ブロッキングアーティファクト）を減らすか又はなくすことができる。復号器は、図２Ｂに記載した方法で予測基準２２４にループフィルタを適用することができる。ループフィルタされた参照ピクチャは、後に使用するために（例えば、映像ビットストリーム２２８の将来の符号化ピクチャのためのインター予測参照ピクチャとして使用するために）バッファ２３４（例えば、コンピュータメモリ内の復号されたピクチャバッファ）内に記憶することができる。復号器は、時間的予測段階２０４４で使用するために１つ又は複数の参照ピクチャをバッファ２３４内に記憶することができる。一部の実施形態では、現ＢＰＵを符号化するためにインター予測が使用されたことを予測データ２０６の予測モードインジケータが示す場合、予測データは、ループフィルタのパラメータ（例えば、ループフィルタの強度）を更に含むことができる。

[071] 図４は、本開示の実施形態に合致する、映像を符号化又は復号するための機器４００の一例のブロック図である。図４に示すように、機器４００は、プロセッサ４０２を含み得る。プロセッサ４０２が本明細書に記載の命令を実行するとき、機器４００は、映像を符号化又は復号するための専用マシンになり得る。プロセッサ４０２は、情報を操作又は処理することができる任意の種類の回路であり得る。例えば、プロセッサ４０２は、任意の数の中央処理装置（「ＣＰＵ」）、グラフィックス処理装置（「ＧＰＵ」）、ニューラル処理ユニット（「ＮＰＵ」）、マイクロコントローラユニット（「ＭＣＵ」）、光プロセッサ、プログラム可能論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産（ＩＰ）コア、プログラム可能論理アレイ（ＰＬＡ）、プログラム可能アレイ論理（ＰＡＬ）、汎用アレイ論理（ＧＡＬ）、複合プログラム可能論理装置（ＣＰＬＤ）、書換可能ゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、特定用途向け集積回路（ＡＳＩＣ）等の任意の組み合わせを含み得る。一部の実施形態では、プロセッサ４０２は、単一の論理構成要素としてグループ化されるプロセッサの組であり得る。例えば、図４に示すように、プロセッサ４０２は、プロセッサ４０２ａ、プロセッサ４０２ｂ及びプロセッサ４０２ｎを含む複数のプロセッサを含み得る。

[072] 機器４００は、データ（例えば、命令、コンピュータコード、中間データ等の組）を記憶するように構成されるメモリ４０４も含み得る。例えば、図４に示すように、記憶データは、プログラム命令（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂ内の段階を実装するためのプログラム命令）及び処理用データ（例えば、映像シーケンス２０２、映像ビットストリーム２２８又は映像ストリーム３０４）を含み得る。プロセッサ４０２は、プログラム命令及び処理用データに（例えば、バス４１０を介して）アクセスし、プログラム命令を実行して処理用データに対する操作又は処理を行うことができる。メモリ４０４は、高速ランダムアクセス記憶装置又は不揮発性記憶装置を含み得る。一部の実施形態では、メモリ４０４は、任意の数のランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル（ＳＤ）カード、メモリスティック、コンパクトフラッシュ（登録商標）（ＣＦ）カード等の任意の組み合わせを含み得る。メモリ４０４は、単一の論理構成要素としてグループ化される（図４には不図示の）メモリ群でもあり得る。

[073] 内蔵バス（例えば、ＣＰＵメモリバス）、外部バス（例えば、ユニバーサルシリアルバスポート、周辺機器コンポーネント相互接続エクスプレスポート）等のバス４１０は、機器４００内の構成要素間でデータを転送する通信装置であり得る。

[074] 曖昧さを招くことなく説明を簡単にするために、本開示では、プロセッサ４０２及び他のデータ処理回路をまとめて「データ処理回路」と呼ぶ。データ処理回路は、完全にハードウェアとして又はソフトウェア、ハードウェア若しくはファームウェアの組み合わせとして実装することができる。加えて、データ処理回路は、単一の独立したモジュールであり得るか、又は機器４００の他の任意の構成要素内に完全に若しくは部分的に組み合わされ得る。

[075] 機器４００は、ネットワーク（例えば、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク等）との有線通信又は無線通信を提供するためのネットワークインタフェース４０６を更に含み得る。一部の実施形態では、ネットワークインタフェース４０６は、任意の数のネットワークインタフェースコントローラ（ＮＩＣ）、無線周波数（ＲＦ）モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetoothアダプタ、赤外線アダプタ、近距離無線通信（「ＮＦＣ」）アダプタ、セルラネットワークチップ等の任意の組み合わせを含み得る。

[076] 一部の実施形態では、１つ又は複数の周辺装置への接続を提供するための周辺装置インタフェース４０８を任意選択的に機器４００が更に含み得る。図４に示すように、周辺装置は、これのみに限定されないが、カーソル制御装置（例えば、マウス、タッチパッド又はタッチスクリーン）、キーボード、ディスプレイ（例えば、ブラウン管ディスプレイ、液晶ディスプレイ又は発光ダイオードディスプレイ）、映像入力装置（例えば、映像アーカイブに結合されるカメラ又は入力インタフェース）等を含み得る。

[077] 映像コーデック（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂを実行するコーデック）は、機器４００内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装できることに留意すべきである。例えば、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂの一部の又は全ての段階は、メモリ４０４内にロード可能なプログラム命令等の機器４００の１つ又は複数のソフトウェアモジュールとして実装され得る。別の例では、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂの一部の又は全ての段階は、専用データ処理回路（例えば、ＦＰＧＡ、ＡＳＩＣ、ＮＰＵ等）等の機器４００の１つ又は複数のハードウェアモジュールとして実装され得る。

[078] 本開示は、行列加重イントラ予測（ＭＩＰ）を単純化するために符号器及び／又は復号器によって実行可能な方法を提供する。ＭＩＰ方法は、ＶＶＣにおいて新たに追加されたイントラ予測技法である。ＭＩＰモードは、そのアスペクト比max（幅，高さ）／min（幅，高さ）が４以下であるブロックに適用される。更に、ＭＩＰモードは、ルマ成分のみに適用される。イントラサブ分割モード、マルチ参照ラインイントラ予測モード又は最確モードと並行してＭＩＰフラグが信号化される。

[079] ブロックがＭＩＰモードを使用してコード化される場合、従来のイントラ予測モードと同様に、ブロックの左側にある再構築された隣接境界サンプルの１つのライン及びブロックの上部にある再構築された隣接境界サンプルの１つのラインは、ブロックを予測するための入力として使用される。再構築された隣接境界サンプルを利用できない場合、従来のイントラ予測と同様にそれらを生成することができる。ルマサンプルを予測するために、再構築された隣接境界サンプルをまず平均化して、低減境界ベクトルneighbor_redを生成し、neighbor_red[0]は、低減境界ベクトルの最初の要素を表す。次いで、行列ベクトル乗算プロセスのために、低減境界ベクトルneighbor_redを使用して入力ベクトルinput_redが生成され、低減予測信号pred_redを得ることができる。最後に、低減予測信号pred_redにバイリニア補間を適用して、ＭＩＰ予測信号の出力predを生成する。ＭＩＰ予測プロセスの説明図を図５に示す。

[080] ＭＩＰブロックは、ブロックの幅（Ｗ）及び高さ（Ｈ）に従って３つのクラスに分類される：
Class0：Ｗ＝Ｈ＝４（即ち４×４のブロック）の場合、
Class1：max{W,H}＝８（即ち４×８、８×４、８×８のブロック）の場合、及び
Class2：max{W,H}＞８の場合。

[081] 図６の表６に示すように、３つのクラスの違いは、モードの数、行列の数、行列のサイズ、入力ベクトルinput_red（行列ベクトル乗算プロセスの入力）のサイズ及び低減予測信号pred_red（行列ベクトル乗算プロセスの出力）のサイズである。

[082] 以下の説明では、Class0、Class1及びClass2をＳ_０、Ｓ_１及びＳ_２としてそれぞれ示す。Ｎ_ｉは、行列セットＳ_ｉ（i=0,1,2）内の行列の数を表す。ＭＩＰモードｋでは、行列乗算プロセス内で行列

が使用され、

は、行列セットＳ_ｉ内のｊ番目の行列を表し、ｊは、以下の式（１）を使用して導出される。

[083] ＭＩＰモードｋがＮ_ｉ以上である場合、低減境界ベクトルneighbor_red及び低減予測信号pred_redをそれぞれ生成するステップにおいて、スワップ演算及び転置演算が実行される。これらの２つの演算の詳細については、上記で説明されている。加えて、以下の式（２）及び（３）は、スワップ演算又は転置演算が必要であるかどうかを決定するために使用される。

[084] 先に述べたように、現ブロックの出力予測信号predの生成は、平均化、行列ベクトル乗算及び線形補間である以下の３つのステップに基づく。これらのステップの詳細を以下に記載する。

[085] 境界サンプルから、Class0の４つのサンプル並びにClass1及びClass2の８つのサンプルが平均化によって抽出される。例えば、低減境界ベクトルneighbor_redは、再構築された隣接境界サンプルを以下の規則に従って平均化することによって生成することができる。

[086] Class0：サンプルを２つおきに平均化する。低減境界ベクトルneighbor_redのサイズは、４×１である。

[087] Class1及びClass2：現ブロックの上にある再構築された隣接境界サンプルについて、サンプルをＷ／４おきに平均化する。現ブロックの左側にある再構築された隣接境界サンプルについて、サンプルをＨ／４おきに平均化する。低減境界ベクトルneighbor_redのサイズは、８×１である。

[088] 低減境界ベクトルneighbor_redは、現ブロックの上にある再構築された隣接境界サンプルを平均化することによって得られるベクトル

と、現ブロックの左側にある再構築された隣接境界サンプルを平均化することによって得られるベクトル

との連結である。上記で説明したように、Ｎ_ｉ以上のＭＩＰモードｋでは、スワップ演算が行われる。例えば、以下の式（４）に示すように、２つのベクトル

及び

を連結する順序をスワップすることができる。

[089] 次いで、行列ベクトル乗算のための入力ベクトルinput_redを下記の通り生成する。

[090] Class0及びClass1について、
input_red[0]=neighbor_red[0]-(1<<(bitDepth-1))
input_red[j]=neighbor_red[j]-neighbor_red[0], j=1,…,size(neighbor_red)-1 式（５）
である。

[091] Class2について、
input_red[j]=neighbor_red[j+1]-neighbor_red[0], j=0,…,size(neighbor_red)-2 式（６）
である。

[092] 上記の式（５）及び（６）では、neighbor_red[0]がベクトルneighbor_redの最初の要素を表す。式（５）及び（６）によれば、Class0、Class1及びClass2のinput_redのサイズinSizeは、それぞれ４、８及び７である。

[093] ベクトルinput_redを入力として行列ベクトル乗算を実行する。その結果は、現ブロック内のサブサンプリングされたサンプルの組に基づく低減予測信号pred_redである。例えば、低減入力ベクトルinput_redから、幅W_red及び高さH_redのダウンサンプリングされたブロックに基づく信号である低減予測信号pred_redを生成することができる。ここで、W_red及びH_redを以下の式（７）及び（８）として定める。

[094] 先に述べたように、変数「isTransposed」が１に等しい場合、低減予測信号pred_redを転置する。最終的な低減予測信号pred_redのサイズがW_red×H_redであると仮定して、転置されていない

のサイズW’_red×H’_redは、以下の式（９）及び（１０）として導出される。

[095] 以下の式（１１）に従って行列ベクトル積を計算することにより、低減予測信号pred’_redのベクトルが計算される。
pred’_red=M・input_red+neighbor_red[0] 式（１１）

[096] 次いで、ラスタ走査順序に従い、サイズ４×４、４×８、８×４及び８×８の行列pred_red内にベクトルpred’_redを配置する。サイズ４×４の行列pred_red内にサイズ１６×１のベクトルpred’_redを配置する一例を下記の通り示す。
pred’_red=[A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P]^T

[097] 換言すれば、x=0...W’_red-1及びy=0...H’_red-1である場合、行列pred_redは、式（１２）を使用して下記の通り計算することができる。

[098] 上記の式（１２）では、変数「inSize」は、上記で説明したように入力ベクトルinput_redのサイズであり、低減予測信号pred_redを生成するために使用される行列Ｍは、ブロックサイズ分類及びＭＩＰモードｋに従って３つの行列セットＳ_０、Ｓ_１、Ｓ_２の１つから得られる。

[099] 変数ｏＷ及びｓＷは、行列ベクトル乗算に何れの行列が使用されるかに応じた２つの既定値である。変数ｏＷは、行列内の各要素の精度を７ビットに制限するために使用され、全ての要素が０以上であるように使用される。例えば、因子ｏＷは、以下の式（１３）として定めることができる。

[100] 上記の式（１３）では、ｓＯがオフセットであり、参照表から導出される。例えば、図７の表７は、開示する一部の実施形態によるｓＯのための例示的な参照表を示す。

[101] 更に、変数「ｓＷ」が別の参照表を使用して導出される。図８の表８は、開示する一部の実施形態によるｓＷのための例示的な参照表を示す。

[102] 式では、４×１６及び１６×４のブロックに関して行列の行の半分を除外するために使用される２つの変数「inch」及び「incW」を以下の式（１４）及び（１５）として定める。

[103] 上記の式（１５）では、変数predCは、W’_red×H’_redの行列内に低減予測信号pred_redを配置するために使用され、以下の式（１６）として定められる。

[104] ７に等しいサイズinSizeを有する入力ベクトルinput_red並びに６４行及び７列の行列がClass2に属するブロックに使用され、６４要素ベクトルが生成される。しかし、以下の式により、４×１６及び１６×４のブロックについて、３２の要素のみが必要である。

これは、Class2の低減予測信号pred_redが、４×１６又は１６×４のブロックの短い側を上回る８×８内に配置され得るからである。従って、除外演算が行われる。

[105] 図９は、開示する一部の実施形態による例示的な除外演算を示す。図９に示すように、isTransposed=0である４×１６のブロック及びisTransposed=1である１６×４のブロックについて、２行おきに２番目の行が行列から除外されている。従って、低減予測信号pred_redは、３２の要素を含み、それらの要素が４×８のサイズ内に配置される。

[106] 図１０は、開示する一部の実施形態による例示的な除外演算を示す。図１０に示すように、isTransposed=0である１６×４のブロック及びisTransposed=1である４×１６のブロックについて、１６行おきに後半の８行が行列から除外されている。従って、低減予測信号pred_redは、３２の要素を含み、それらの要素が８×４のサイズ内に配置される。

[107] 残りの位置における出力予測信号は、サブサンプリングされた組に基づく低減予測信号pred_redから線形補間によって生成され、線形補間は、それぞれの方向における単一ステップ線形補間である。

[108] 上記で説明したように、隣接再構築されたサンプルの平均化、行列ベクトル乗算及びバイリニア補間を含む３つのステップを使用してＭＩＰモードの予測を生成する。ＭＩＰモードの予測プロセスは、従来のイントラ予測モードのプロセスと異なる。ＭＩＰモードは、コード化効率を改善するが、その設計は、以下の２つの側面において複雑であり得る。

[109] 第１の側面に関して、行列ベクトル乗算プロセスにおける４×１６及び１６×４のブロックのための除外演算は、以下の３つの理由から問題があり得る。第１に、除外演算は、余分な演算を追加するだけでなく、１６×４及び４×１６のブロックのみに適用されるため、予測プロセスを不均一にもする。第２に、１６×４及び４×１６のブロックについて、低減予測信号pred_redのサイズが転置の前後で異なり得る。従って、転置されていない低減予測信号のサイズ（例えば、W’_red及びH’_red）に関する更なる導出が必要である。第３に、以下の式（１７）に示すように、低減予測信号pred_redのサイズは、１６×４及び４×１６のブロックに関して異なり得る。

[110] 第２の側面に関して、行列内の各要素の精度を７ビットに制限し、全ての要素が非負であることを保証するために、行列乗算プロセス内でオフセットｓＯが低減予測信号に加えられる。しかし、これは、以下の３つの理由から不要であり、複雑である可能性がある。第１に、オフセットｓＯの表を記憶するのに余分なメモリが必要である。表は、そのそれぞれが７ビットである合計３４の要素を含む。従って、合計２３８ビットのメモリが必要である。第２に、クラスインデックス及び行列番号を使用してｓＯの値を決定するには、参照表の演算が必要である。第３に、低減予測信号pred_redを生成するには、追加の乗算演算及び加算演算が必要である。行列Ｍと入力ベクトルinput_redとの間の行列ベクトル乗算を計算することに加えて、ｓＯと入力ベクトルinput_redとの間の乗算が更に行われる。４×４のブロックについて、予測信号を生成するのに必要なサンプル当たりの乗算の総数は、５に増加する。

[111] 本開示は、ビットレートに影響を及ぼすことなく、これらの問題を解決する方法を提供する。一部の例示的な方法では、行列を記憶するために、７ビットではなく、８ビットを使用する。その後、式を以下の式（１８）として表し直すことができる。

[112] 上記の式（１８）では、行列内の全ての要素からオフセットｓＯが減算される。上述の行列ベクトル積の記憶及び計算の方法は、ビットアイデンティカルな結果をもたらすことができる。しかし、行列を記憶するためのビット数は、４８８２（即ち５１２０×１－３４×７）ビット増加し、乗算演算のためのビット幅は、８ビットに拡大する。

[113] 除外演算及びｓＯのための参照表を除去するための方法を以下に記載する。

[114] ＭＩＰ予測プロセス内の行列の余分な除外演算を除去するために、２つの方法を提供する。除外演算を除去するための第１の方法によれば、４×１６及び１６×４のブロックをClass2からClass1に移動することで、従来のＭＩＰ方法における不合理な分類方法を修正することができ、そのため、生成される低減予測信号pred_redは、短い側の制限を上回らない。

[115] 例示的実施形態では、ＭＩＰ分類の規則を下記の通り修正する。
Class0：４×４
Class1：４×Ｎ、８×８及びＮ×４、ここで、Ｎは、８～６４の整数である
Class2：その他。

[116] この修正により、８×８、４×８、４×１６、４×３２、４×６４、８×４、１６×４、３２×４又は６４×４のサイズを有するブロックをClass2からClass1に移動することができる。従って、８×８、４×８、４×１６、４×３２、４×６４、８×４、１６×４、３２×４又は６４×４のサイズを有するブロックは、そのそれぞれが１６行及び８列有する組Ｓ_１内の行列を行列乗算プロセス内で使用することができる。このようにして、４×４の低減予測信号pred_redを形成するために１６の要素のみが生成され、そのため、除外演算を除去することができる。この修正は、以下のように表すことができ、変更箇所を二重取消線又はイタリック体で強調表示してある：
cbWidth及びcbHeightの両方が４に等しい場合、MipSizeId[x][y]が０に等しく設定される。
さもなければ、cbWidth*cbHeightが６４以下である場合、MipSizeId[x][y]が１に等しく設定される。
さもなければ、MipSizeId[x][y]は、２に等しく設定される。

[117] この解決策には、少なくとも３つの利点がある。

[118] 第１に、行列乗算プロセスが単純化され、統一される。サイズ４×１６又は１６×４のブロックについて、除外演算が除去される。従って、除外演算を行うかどうかを確認すること並びに２つの変数「inch」及び「incW」を削除することができる。更に、全てのブロックは、行列ベクトル乗算プロセス中、行列に対する追加の演算を必要としない。従って、行列乗算プロセスが統一される。

[119] 第２に、行列乗算プロセス内の４×１６及び１６×４のブロックの乗算数及び加算数が低減される。一部の実施形態では、サイズ４×１６又は１６×４のブロックに関して、行列ベクトル乗算を行うために３２×７の行列が使用され得る一方、提供する実施形態では１６×８の行列が使用され得る。従って、４×１６又は１６×４のブロックの乗算数及び加算数を減らすことができる。

[120] 第３に、pred_redの導出が単純化され、統一される。全てのブロックに関して、低減予測信号pred_redのサイズが転置の前後で一貫する。そのため、W’_red及びH’_redに関する追加の導出が除去される。例えば、pred_redのサイズの導出を以下の式（１９）及び（２０）として単純化することができる。

[121] 低減予測信号pred_redのサイズは、以下の式（２１）によって統一される。

[122] 除外演算を除去するための第２に方法によれば、ＭＩＰ分類の規則が下記の通り修正される。
Class0：４×４
Class1：４×８、８×４、４×１６及び１６×４
Class2：その他。

[123] （上記の修正されたＭＩＰ分類ではイタリック体の）４×１６及び１６×４のブロックがClass1に移動され、８×８のブロックがClass2に移動される。この修正により、除外演算が除去され、ＭＩＰ分類の規則が更に単純化される。一部の実施形態では、この修正を以下のように表すことができ、変更箇所を二重取消線又はイタリック体で強調表示してある。
cbWidth及びcbHeightの両方が４に等しい場合、MipSizeId[x][y]が０に等しく設定される。
さもなければ、Min(cbWidth, cbHeight)が４に等しい場合、MipSizeId[x][y]が１に等しく設定される。
さもなければ、MipSizeId[x][y]は、２に等しく設定される。

[124] オフセットｓＯの表を除去するために、本開示の実施形態は、参照表なしに行列Ｍ及びオフセットｓＯの値を修正するための方法を提供する。

[125] 第１の例示的実施形態では、オフセットｓＯは、Class0について、行列

内の最初の要素と置換され、Class1について、行列

内の最初の要素と置換され、Class2について、行列

内の７番目の要素と置換される。行列内のｉ番目の要素は、ラスタ走査順序内の及び行列の左上角から開始してｉ番目の数のカウントを表す。これを行うことにより、図７の表７に示すクラスインデックス及び行列番号に依存するオフセットｓＯの参照表を除去することができる。従って、２３８ビットのメモリ空間を節約することができる。

[126] 第２の例示的実施形態では、全てのクラスについて、オフセットｓＯが各行列内の最初の要素と置換される。加えて、Class2に使用される行列

の最初の要素は、図７の表７内の対応するｓＯ_ｉと相対的に大きい差を有するため、x=0...6, y=0...63の場合、以下の式（２２）を使用して最初の要素以外の要素を修正する。

[127] 修正された行列が元の行列の代わりに記憶され、符号化及び復号プロセス中に更なる演算が追加されない。以下のように少なくとも２つの利点がある。第１に、クラスインデックス及び行列番号に依存するオフセットｓＯの表を除去することができ、それにより２３８ビットのメモリ空間を節約することができる。第２に、行列からオフセットを抽出するプロセスが全てのクラスについて統一される。

[128] 第３の例示的実施形態では、図７の表７に従って各行列の最初の要素が対応するオフセットｓＯと置換される。また、従って、ｓＯの表を除去することができる。行列ベクトル乗算を行うとき、オフセットが各行列の最初の要素から導出される。修正された行列が元の行列の代わりに記憶され、符号化及び復号プロセス中に更なる演算が追加されない。

[129] 第４の例示的実施形態では、オフセットｓＯを固定値と置換する。そのため、オフセットに関するいかなる導出プロセスもなしに参照表を除去することができる。一例では、固定値が６６であり、これは、全ての行列の中の最小値である。全ての行列が下記の通り修正される。
M’=M-sO+66 式（２３）

[130] 上記の式（２３）では、ｓＯが表７（図７）から導出される。その後、式（１２）の行列ベクトル乗算プロセスを下記の通り修正することができる。

[131] 修正された行列Ｍ’が元の行列の代わりに記憶され、符号化及び復号プロセス中に更なる演算が追加されない。

[132] 別の例として、固定値は、６４である。全ての行列が下記の通り修正される。
M’=M-sO+64 式（２５）

[133] 上記の式（２５）では、ｓＯが表７から導出される。その後、行列ベクトル乗算プロセスを下記の通り修正することができる。

[134] 加えて、修正された行列内の負数を０に修正する必要がある。本開示の実施形態を実装する場合、１つの値のみが－２から０に変更される。修正された行列Ｍ’が元の行列の代わりに記憶され、符号化及び復号プロセス中に更なる演算が追加されない。６４倍される演算は、シフト演算で置換することができる。従って、ｓＯと入力ベクトルinput_redとの間の乗算は、左シフト演算で置換することができる。４×４のブロックについて、予測信号を生成するのに必要なサンプル当たりの乗算の総数は、５から４に減少する。

[135] 第３の例では、固定値は、１２８である。全ての行列が下記の通り修正される。
M’=M-sO+128 式（２７）

[136] 上記の式（２７）では、ｓＯが表７から導出される。その後、行列ベクトル乗算プロセスを下記の通り修正することができる。

[137] 修正された行列Ｍ’が元の行列の代わりに記憶され、符号化及び復号プロセス中に更なる演算が追加されない。参照表は、除去され、オフセットと入力ベクトルとの間の乗算は、左シフト演算で置換される。４×４のブロックについて、予測信号を生成するのに必要なサンプル当たりの乗算の総数は、４に減少する。加えて、コード化の性能は、不変である。

[138] 図１１は、本開示の実施形態と合致する、映像コンテンツを処理するための例示的方法１１００のフローチャートである。方法１１００は、コーデック（例えば、図２Ａ～図２Ｂの符号化プロセス２００Ａ及び２００Ｂを使用する符号器又は図３Ａ～図３Ｂの復号プロセス３００Ａ及び３００Ｂを使用する復号器）によって実行され得る。例えば、コーデックは、映像シーケンスを符号化するか又は別のコードに変換するための機器（例えば、機器４００）の１つ又は複数のソフトウェア又はハードウェア構成要素として実装することができる。一部の実施形態では、映像シーケンスは、非圧縮映像シーケンス（例えば、映像シーケンス２０２）又は復号される圧縮映像シーケンス（例えば、映像ストリーム３０４）であり得る。一部の実施形態では、映像シーケンスは、機器のプロセッサ（例えば、プロセッサ４０２）に関連する監視装置（例えば、図４の映像入力装置）によって捕捉され得る監視映像シーケンスであり得る。映像シーケンスは、複数のピクチャを含み得る。機器は、ピクチャのレベルで方法１１００を実行することができる。例えば、機器は、方法１１００内でピクチャを１つずつ処理することができる。別の例では、機器は、方法１１００内で１度に複数のピクチャを処理することができる。方法１１００は、以下のステップを含み得る。

[139] ステップ１１０２では、標的ブロックの分類を決定することができる。一部の実施形態では、分類は、第１のクラス（例えば、Class0）、第２のクラス（例えば、Class1）及び第３のクラス（例えば、Class2）を含み得る。所与のブロックに関して、所与のブロックの分類は、所与のブロックのサイズに基づいて決定することができる。例えば、第１のクラスは、４×４のサイズのブロックに関連し得、第２のクラスは、８×８、４×Ｎ又はＮ×４のサイズのブロックに関連し得、Ｎは、８～６４の整数であり得る。例えば、Ｎは、８、１６、３２又は６４に等しい。即ち、第２のクラスは、８×８、４×８、４×１６、４×３２、４×６４、８×４、１６×４、３２×４又は６４×４のサイズのブロックを含むことができる。また、第３のクラスは、残りのブロックに関連し得る。

[140] 一部の実施形態では、標的ブロックが４×４、８×８、４×Ｎ又はＮ×４以外のサイズを有することに応じて、標的ブロックが第３のクラスに属すると決定することができる。

[141] ステップ１１０４では、分類に基づいて行列加重イントラ予測（ＭＩＰ）信号を生成することができる。一部の実施形態では、入力ベクトル、行列及び標的ブロックの分類に基づいて、標的ブロックのための第１のイントラ予測信号を生成することができ、第１のイントラ予測信号を使用して標的ブロックに対してバイリニア補間を行って、ＭＩＰ信号を生成することができる。

[142] 例えば、入力ベクトルを生成するために、標的ブロックの分類に従って標的ブロックの隣接する再構築されたサンプルを平均化することができる。上記で論じたように、第１のクラスのブロックについて、入力ベクトルとして低減境界ベクトルを生成するために、ブロックの隣接する再構築されたサンプルを２つおきに平均化することができる。例えば、入力ベクトルのサイズは、第１のクラスでは４×１、第２のクラスでは８×１及び第３のクラスでは７×１であり得る。また、第２のクラス又は第３のクラスの（例えば、Ｍ×Ｎのサイズを有する）ブロックについて、ブロックの上にあるＭ／４おきの隣接する再構築されたサンプル及びブロックの左側にあるＮ／４おきの隣接する再構築されたサンプルを平均化することができる。

[143] 入力ベクトルと異なり、行列は、標的ブロックの分類及びＭＩＰモードインデックスに従って行列の組（例えば、行列セットＳ_０、Ｓ_１又はＳ_２）から選択することができる。

[144] 次いで、行列及び入力ベクトルに対して行列ベクトル乗算を行うことにより、第１のイントラ予測信号を生成することができる。一部の実施形態では、第１のイントラ予測信号は、第１のオフセット及び第２のオフセットに更に関連する。例えば、式（１２）で論じたように、低減予測信号は、第１のオフセット（例えば、ｏＷ）及び第２のオフセット（例えば、ｏＳ）によって更にバイアスをかけることができる。一部の実施形態では、第１のオフセット及び第２のオフセットは、行列の組内の行列インデックスに基づいて決定され得る。例えば、第１のオフセット及び第２のオフセットは、表７及び表８を参照することによってそれぞれ決定することができる。

[145] 標的ブロックの分類は、第１のイントラ予測信号のサイズにも関係する。例えば、標的ブロックが第１のクラス又は第２のクラスに属することに応じて、第１のイントラ予測信号が４×４のサイズを有すると決定し、及び標的ブロックが第３のクラスに属することに応じて、第１のイントラ予測信号が８×８のサイズを有すると決定する。

[146] 一部の実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、上記の方法を実行するための装置（開示した符号器及び復号器等）によって実行され得る。一般的な非一時的媒体は、例えば、フロッピ（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ若しくは他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の任意の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ及びＥＰＲＯＭ、フラッシュＥＰＲＯＭ若しくは他の任意のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、他の任意のメモリチップ若しくはカートリッジ及びそれらのもののネットワーク化されたバージョンを含む。装置は、１つ又は複数のプロセッサ（ＣＰＵ）、入力／出力インタフェース、ネットワークインタフェース及び／又はメモリを含み得る。

[147] 実施形態は、以下の条項を使用して更に記載することができる。
１．映像コンテンツを処理するためのコンピュータ実施方法であって、
標的ブロックの分類を決定することと、
その分類に基づいて、行列加重イントラ予測（ＭＩＰ）信号を生成することと
を含み、標的ブロックの分類を決定することは、
標的ブロックが４×４のサイズを有することに応じて、標的ブロックが第１のクラスに属すると決定すること、又は
標的ブロックが８×８、４×Ｎ若しくはＮ×４（ここで、Ｎは、８～６４の整数である）のサイズを有することに応じて、標的ブロックが第２のクラスに属すると決定すること
を含む、コンピュータ実施方法。
２．ＭＩＰ信号を生成することは、
入力ベクトル、行列及び標的ブロックの分類に基づいて、標的ブロックのための第１のイントラ予測信号を生成することと、
ＭＩＰ信号を生成するために、第１のイントラ予測信号を使用して標的ブロックに対してバイリニア補間を行うことと
を含む、条項１に記載の方法。
３．入力ベクトルを生成するために、標的ブロックの分類に従って標的ブロックの隣接する再構築されたサンプルを平均化することを更に含む、条項１又は２に記載の方法。
４．入力ベクトルは、標的ブロックが第１のクラスに属する場合には４×１のサイズを有し、又は標的ブロックが第２のブロックに属する場合には８×１のサイズを有する、条項２又は３に記載の方法。
５．行列は、標的ブロックの分類及びＭＩＰモードインデックスに従って行列の組から選択される、条項２～４の何れか一項に記載の方法。
６．第１のイントラ予測信号は、行列及び入力ベクトルに対して行列ベクトル乗算を行うことによって生成される、条項５に記載の方法。
７．第１のイントラ予測信号は、行列に関連する１つ又は複数のオフセットに基づいて生成される、条項６に記載の方法。
８．１つ又は複数のオフセットは、参照表内の行列のインデックスに基づいて決定される、条項７に記載の方法。
９．標的ブロックの分類を決定することは、
標的ブロックが４×４、８×Ｎ、４×Ｎ及びＮ×４以外のサイズを有することに応じて、標的ブロックが第３のクラスに属すると決定すること
を更に含む、条項１～８の何れか一項に記載の方法。
１０．標的ブロックのための第１のイントラ予測信号を生成することは、
標的ブロックが第１のクラス又は第２のクラスに属することに応じて、第１のイントラ予測信号が４×４のサイズを有すると決定することと、
標的ブロックが第３のクラスに属することに応じて、第１のイントラ予測信号が８×８のサイズを有すると決定することと
を含む、条項９に記載の方法。
１１．Ｎは、８、１６、３２又は６４に等しい、条項１～１０の何れか一項に記載の方法。
１２．映像コンテンツを処理するためのシステムであって、
１組の命令を記憶するためのメモリと、
少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、システムに、
標的ブロックの分類を決定することと、
その分類に基づいて、行列加重イントラ予測（ＭＩＰ）信号を生成することと
を行わせるように、１組の命令を実行するように構成されており、
標的ブロックの分類を決定することにおいて、少なくとも１つのプロセッサは、システムに、
標的ブロックが４×４のサイズを有することに応じて、標的ブロックが第１のクラスに属すると決定すること、又は
標的ブロックが８×８、４×Ｎ若しくはＮ×４（ここで、Ｎは、４よりも大きい）のサイズを有することに応じて、標的ブロックが第２のクラスに属すると決定すること
を更に行わせるように、１組の命令を実行するように更に構成される、システム。
１３．ＭＩＰ信号を生成することにおいて、少なくとも１つのプロセッサは、システムに、
入力ベクトル、行列及び標的ブロックの分類に基づいて、標的ブロックのための第１のイントラ予測信号を生成することと、
ＭＩＰ信号を生成するために、第１のイントラ予測信号を使用して標的ブロックに対してバイリニア補間を行うことと
を更に行わせるように、１組の命令を実行するように更に構成される、条項１２に記載のシステム。
１４．少なくとも１つのプロセッサは、システムに、
入力ベクトルを生成するために、標的ブロックの分類に従って標的ブロックの隣接する再構築されたサンプルを平均化すること
を更に行わせるように、1組の命令を実行するように更に構成される、条項１２又は１３に記載のシステム。
１５．入力ベクトルは、標的ブロックが第１のクラスに属する場合には４×１のサイズを有し、又は標的ブロックが第２のブロックに属する場合には８×１のサイズを有する、条項１３又は１４に記載のシステム。
１６．行列は、標的ブロックの分類及びＭＩＰモードインデックスに従って行列の組から選択される、条項１３～１５の何れか一項に記載のシステム。
１７．第１のイントラ予測信号は、行列及び入力ベクトルに対して行列ベクトル乗算を行うことによって生成される、条項１６に記載のシステム。
１８．第１のイントラ予測信号は、行列に関連する１つ又は複数のオフセットに基づいて生成される、条項１７に記載のシステム。
１９．１つ又は複数のオフセットは、参照表内の行列のインデックスに基づいて決定される、条項１８に記載のシステム。
２０．映像コンテンツを処理するための方法をコンピュータシステムに行わせるために、コンピュータシステムの少なくとも１つのプロセッサによって実行可能な１組の命令を記憶する非一時的コンピュータ可読媒体であって、その方法は、
標的ブロックの分類を決定することと、
その分類に基づいて、行列加重イントラ予測（ＭＩＰ）信号を生成することと
を含み、標的ブロックの分類を決定することは、
標的ブロックが４×４のサイズを有することに応じて、標的ブロックが第１のクラスに属すると決定すること、又は
標的ブロックが８×８、４×Ｎ若しくはＮ×４（ここで、Ｎは、８～６４の整数である）のサイズを有することに応じて、標的ブロックが第２のクラスに属すると決定すること
を含む、非一時的コンピュータ可読媒体。

[148] 本明細書の「第１の」及び「第２の」等の関係語は、あるエンティティ又は操作を別のエンティティ又は操作と区別するために使用されるに過ぎず、それらのエンティティ又は操作間のいかなる実際の関係又は順序も必要としないか又は含意しないことに留意すべきである。更に、「含む」、「有する」、「含有する」及び「包含する」並びに他の同様の形式の用語は、意味の点で均等であることを意図し、これらの用語の何れか１つの後に続くアイテムがかかるアイテムの網羅的列挙であることを意図していないか、又は列挙するアイテムのみに限定されることを意図していない点で非限定的であることを意図する。

[149] 本明細書で使用するとき、別段の定めがない限り、「又は」という語は、実行不可能な場合を除いて、あり得る全ての組み合わせを包含する。例えば、あるデータベースがＡ又はＢを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、Ａ若しくはＢ又はＡ及びＢを含むことができる。第２の例として、あるデータベースがＡ、Ｂ又はＣを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、Ａ、若しくはＢ、若しくはＣ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ、及びＢ、及びＣを含むことができる。

[150] 上記で説明した実施形態は、ハードウェア若しくはソフトウェア（プログラムコード）又はハードウェアとソフトウェアとの組み合わせによって実装できることが理解されるであろう。ソフトウェアによって実装される場合、ソフトウェアは、上記のコンピュータ可読媒体に記憶することができる。ソフトウェアは、プロセッサによって実行されるとき、開示した方法を実行することができる。本開示で説明した計算ユニット及び他の機能ユニットは、ハードウェア若しくはソフトウェア又はハードウェアとソフトウェアとの組み合わせによって実装することができる。上記のモジュール／ユニットの複数を１つのモジュール／ユニットとして組み合わせることができ、上記のモジュール／ユニットのそれぞれを複数のサブモジュール／サブユニットに更に分割できることも当業者であれば理解するであろう。

[151] 上記の本明細書では、実装形態ごとに変わり得る多数の具体的な詳細に関して実施形態を説明してきた。記載した実施形態に対する一定の適応形態及び修正形態がなされ得る。本明細書を検討し、本明細書で開示した本発明を実践することで他の実施形態が当業者に明らかになり得る。本明細書及び例は、専ら例示として検討され、本開示の真の範囲及び趣旨は、添付の特許請求の範囲によって示されることを意図する。図中に示すステップの順序は、例示目的に過ぎず、特定のステップの順序に限定されることを意図しない。そのため、それらのステップは、同じ方法を実装しながら異なる順序で実行できることを当業者であれば理解することができる。

[152] 図面及び本明細書で例示的実施形態を開示してきた。しかし、それらの実施形態に対する多くの改変形態及び修正形態がなされ得る。従って、特定の用語を使用したが、それらの用語は、限定目的ではなく、全般的及び説明的な意味で使用されたものに過ぎない。

Claims (20)

1. 映像コンテンツを処理するためのコンピュータ実施方法であって、
   標的ブロックの分類を決定することと、
   前記分類に基づいて、行列加重イントラ予測（ＭＩＰ）信号を生成することと
   を含み、前記標的ブロックの前記分類を決定することは、
   前記標的ブロックが４×４のサイズを有することに応じて、前記標的ブロックが第１のクラスに属すると決定すること、又は
   前記標的ブロックが８×８、４×Ｎ、若しくはＮ×４（ここで、Ｎは、８～６４の整数である）のサイズを有することに応じて、前記標的ブロックが第２のクラスに属すると決定すること
   を含む、コンピュータ実施方法。
2. 前記ＭＩＰ信号を生成することは、
   入力ベクトル、行列、及び前記標的ブロックの前記分類に基づいて、前記標的ブロックのための第１のイントラ予測信号を生成することと、
   前記ＭＩＰ信号を生成するために、前記第１のイントラ予測信号を使用して前記標的ブロックに対してバイリニア補間を行うことと
   を含む、請求項１に記載の方法。
3. 入力ベクトルを生成するために、前記標的ブロックの前記分類に従って前記標的ブロックの隣接する再構築されたサンプルを平均化することを更に含む、請求項１に記載の方法。
4. 前記入力ベクトルは、前記標的ブロックが前記第１のクラスに属する場合には４×１のサイズを有し、又は前記標的ブロックが前記第２のブロックに属する場合には８×１のサイズを有する、請求項２に記載の方法。
5. 前記行列は、前記標的ブロックの前記分類及びＭＩＰモードインデックスに従って行列の組から選択される、請求項２に記載の方法。
6. 前記第１のイントラ予測信号は、前記行列及び前記入力ベクトルに対して行列ベクトル乗算を行うことによって生成される、請求項５に記載の方法。
7. 前記第１のイントラ予測信号は、前記行列に関連する１つ又は複数のオフセットに基づいて生成される、請求項６に記載の方法。
8. 前記１つ又は複数のオフセットは、参照表内の前記行列のインデックスに基づいて決定される、請求項７に記載の方法。
9. 前記標的ブロックの前記分類を決定することは、
   前記標的ブロックが４×４、８×８、４×Ｎ、及びＮ×４以外のサイズを有することに応じて、前記標的ブロックが第３のクラスに属すると決定すること
   を更に含む、請求項１に記載の方法。
10. 前記標的ブロックのための前記第１のイントラ予測信号を生成することは、
    前記標的ブロックが前記第１のクラス又は前記第２のクラスに属することに応じて、前記第１のイントラ予測信号が４×４のサイズを有すると決定することと、
    前記標的ブロックが前記第３のクラスに属することに応じて、前記第１のイントラ予測信号が８×８のサイズを有すると決定することと
    を含む、請求項９に記載の方法。
11. 前記Ｎは、８、１６、３２、又は６４に等しい、請求項１に記載の方法。
12. 映像コンテンツを処理するためのシステムであって、
    １組の命令を記憶するためのメモリと、
    少なくとも１つのプロセッサとを含み、前記少なくとも１つのプロセッサは、前記システムに、
    標的ブロックの分類を決定することと、
    前記分類に基づいて、行列加重イントラ予測（ＭＩＰ）信号を生成することと
    を行わせるように、前記１組の命令を実行するように構成されており、
    前記標的ブロックの前記分類を決定することにおいて、前記少なくとも１つのプロセッサは、前記システムに、
    前記標的ブロックが４×４のサイズを有することに応じて、前記標的ブロックが第１のクラスに属すると決定すること、又は
    前記標的ブロックが８×８、４×Ｎ、若しくはＮ×４（ここで、Ｎは、８～６４の整数である）のサイズを有することに応じて、前記標的ブロックが第２のクラスに属すると決定すること
    を更に行わせるように、前記１組の命令を実行するように更に構成される、システム。
13. 前記ＭＩＰ信号を生成することにおいて、前記少なくとも１つのプロセッサは、前記システムに、
    入力ベクトル、行列、及び前記標的ブロックの前記分類に基づいて、前記標的ブロックのための第１のイントラ予測信号を生成することと、
    前記ＭＩＰ信号を生成するために、前記第１のイントラ予測信号を使用して前記標的ブロックに対してバイリニア補間を行うことと
    を更に行わせるように、前記１組の命令を実行するように更に構成される、請求項１２に記載のシステム。
14. 前記少なくとも１つのプロセッサは、前記システムに、
    入力ベクトルを生成するために、前記標的ブロックの前記分類に従って前記標的ブロックの隣接する再構築されたサンプルを平均化すること
    を更に行わせるように、前記１組の命令を実行するように更に構成される、請求項１２に記載のシステム。
15. 前記入力ベクトルは、前記標的ブロックが前記第１のクラスに属する場合には４×１のサイズを有し、又は前記標的ブロックが前記第２のブロックに属する場合には８×１のサイズを有する、請求項１３に記載のシステム。
16. 前記行列は、前記標的ブロックの前記分類及びＭＩＰモードインデックスに従って行列の組から選択される、請求項１１に記載のシステム。
17. 前記第１のイントラ予測信号は、前記行列及び前記入力ベクトルに対して行列ベクトル乗算を行うことによって生成される、請求項１６に記載のシステム。
18. 前記第１のイントラ予測信号は、前記行列に関連する１つ又は複数のオフセットに基づいて生成される、請求項１７に記載のシステム。
19. 前記１つ又は複数のオフセットは、参照表内の前記行列のインデックスに基づいて決定される、請求項１８に記載のシステム。
20. １組の命令を記憶する非一時的コンピュータ可読媒体であって、前記１組の命令は、映像コンテンツを処理するための方法をコンピュータシステムに行わせるために、前記コンピュータシステムの少なくとも１つのプロセッサによって実行可能であり、前記方法は、
    標的ブロックの分類を決定することと、
    前記分類に基づいて、行列加重イントラ予測（ＭＩＰ）信号を生成することと
    を含み、前記標的ブロックの前記分類を決定することは、
    前記標的ブロックが４×４のサイズを有することに応じて、前記標的ブロックが第１のクラスに属すると決定すること、又は
    前記標的ブロックが８×８、４×Ｎ、若しくはＮ×４（ここで、Ｎは、４よりも大きい）のサイズを有することに応じて、前記標的ブロックが第２のクラスに属すると決定すること
    を含む、非一時的コンピュータ可読媒体。

Images