JP2021528877A

JP2021528877A - イントラ予測におけるｐｌａｎａｒモード及びｄｃモードの境界フィルタリング

Info

Publication number: JP2021528877A
Application number: JP2020554486A
Authority: JP
Inventors: ビハリラス，ガガン; ラセぺ，ファビエン; アーバン，ファブリス
Original assignee: インターデジタルヴイシーホールディングス，インコーポレイテッド
Priority date: 2018-06-18
Filing date: 2019-04-29
Publication date: 2021-10-21
Anticipated expiration: 2039-04-29
Also published as: MX2020013481A; WO2019245650A1; US11368677B2; CN112272950A; US20210195171A1; EP3808079A1; JP7473478B2

Abstract

ブロックがイントラ予測される時には、境界上で予測されたサンプルは、特定のモードに関する境界フィルタリングを受ける。勾配ベースのアプローチを使用してＤＣモード又はＰＬＡＮＡＲモードでのイントラ予測に関して境界フィルタリングを実行する様々な実施形態が提案されている。特定の参照サンプルに関する勾配は、特定の参照サンプルと、この特定の参照サンプルを予測する予測子と、の間の差に基づいて計算される。ＰＬＡＮＡＲモードに関しては、上側（左側）の参照サンプルと、これら上側（左側）の参照サンプルを使用した線形補間と、の間の差が勾配として使用され、そのうちの分数部分が、減衰関数を使用して初期予測サンプルに対して伝搬される。ＤＣモードに関しては、上側（左側）の参照サンプルと、参照サンプルの平均と、の差が勾配として使用される。平均は、上側の参照サンプル及び／又は左側の参照サンプルを使用して計算することができる。
【選択図】図６

Description

本実施形態は、一般に、映像の符号化又は復号の方法及び装置に関し、より詳細には、映像の符号化又は復号におけるイントラ予測の方法及び装置に関する。

高い圧縮効率を達成し得るよう、画像及び映像に対する符号化方式においては、通常、予測及び変換を使用することにより、映像コンテンツ内の空間的及び時間的な冗長性を利用している。一般に、イントラ予測又はインター予測を使用することで、フレーム内相関関係又はフレーム間相関関係が利用され、その後、オリジナルブロックと予測ブロックとの間の差であって多くの場合に予測エラー又は予測残差と称される差が、変換され、量子化され、そして、エントロピー符号化される。映像を再構成するに際しては、圧縮されたデータは、エントロピー符号化、量子化、変換、及び、予測、に対応した逆プロセスによって復号される。

一実施形態によれば、映像を復号する方法が提示され、この方法は、複数の隣接する参照サンプルを使用して、復号されるべきブロック内のサンプルに関する初期予測子を形成することであって、複数の隣接する参照サンプルを、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含むものとすることと、第１参照サンプルについて第１予測子を取得し、第２参照サンプルについて第２予測子を取得することと、サンプルに関する初期予測子を、（１）第１参照サンプルと第１予測子との間の第１差に基づいて、及び、（２）第２参照サンプルと第２予測子との間の第２差に基づいて、調整し、これにより、サンプルに関する予測子を形成することと、形成された予測子に応答して、サンプルを再構成することと、を含む。

他の実施形態によれば、映像を符号化する方法が提示され、この方法は、複数の隣接する参照サンプルを使用して、符号化されるべきブロック内のサンプルに関する初期予測子を形成することであって、複数の隣接する参照サンプルを、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含むものとすることと、第１参照サンプルについて第１予測子を取得し、第２参照サンプルについて第２予測子を取得することと、サンプルに関する初期予測子を、（１）第１参照サンプルと第１予測子との間の第１差に基づいて、及び、（２）第２参照サンプルと第２予測子との間の第２差に基づいて、調整し、これにより、サンプルに関する予測子を形成することと、形成された予測子に応答して、ブロックを符号化することと、を含む。

他の実施形態によれば、映像を復号する装置が提示され、この装置は、１つ又は複数のプロセッサを含み、この１つ又は複数のプロセッサは、複数の隣接する参照サンプルを使用して、復号されるべきブロック内のサンプルに関する初期予測子を形成することであって、複数の隣接する参照サンプルを、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含むものとすることと、第１参照サンプルについて第１予測子を取得し、第２参照サンプルについて第２予測子を取得することと、サンプルに関する初期予測子を、（１）第１参照サンプルと第１予測子との間の第１差に基づいて、及び、（２）第２参照サンプルと第２予測子との間の第２差に基づいて、調整し、これにより、サンプルに関する予測子を形成することと、形成された予測子に応答して、サンプルを再構成することと、を実行するように構成されている。装置は、１つ又は複数のメモリをさらに含むことができる。

他の実施形態によれば、映像を符号化する装置が提示され、この装置は、１つ又は複数のプロセッサを含み、この１つ又は複数のプロセッサは、複数の隣接する参照サンプルを使用して、符号化されるべきブロック内のサンプルに関する初期予測子を形成することであって、複数の隣接する参照サンプルを、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含むものとすることと、第１参照サンプルについて第１予測子を取得し、第２参照サンプルについて第２予測子を取得することと、サンプルに関する初期予測子を、（１）第１参照サンプルと第１予測子との間の第１差に基づいて、及び、（２）第２参照サンプルと第２予測子との間の第２差に基づいて、調整し、これにより、サンプルに関する予測子を形成することと、形成された予測子に応答して、ブロックを符号化することと、を実行するように構成されている。装置は、１つ又は複数のメモリをさらに含むことができる。

他の実施形態によれば、映像を復号する装置が提示され、この装置は、複数の隣接する参照サンプルを使用して、復号されるべきブロック内のサンプルに関する初期予測子を形成する手段であって、複数の隣接する参照サンプルを、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含むものとする手段と、第１参照サンプルについて第１予測子を取得し、第２参照サンプルについて第２予測子を取得する手段と、サンプルに関する初期予測子を、（１）第１参照サンプルと第１予測子との間の第１差に基づいて、及び、（２）第２参照サンプルと第２予測子との間の第２差に基づいて、調整し、これにより、サンプルに関する予測子を形成する手段と、形成された予測子に応答して、サンプルを再構成する手段と、を含む。

他の実施形態によれば、映像を符号化する装置が提示され、この装置は、複数の隣接する参照サンプルを使用して、符号化されるべきブロック内のサンプルに関する初期予測子を形成する手段であって、複数の隣接する参照サンプルを、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含むものとする手段と、第１参照サンプルについて第１予測子を取得し、第２参照サンプルについて第２予測子を取得する手段と、サンプルに関する初期予測子を、（１）第１参照サンプルと第１予測子との間の第１差に基づいて、及び、（２）第２参照サンプルと第２予測子との間の第２差に基づいて、調整し、これにより、サンプルに関する予測子を形成する手段と、形成された予測子に応答して、ブロックを符号化する手段と、を含む。

他の実施形態によれば、ビットストリームは、複数の隣接する参照サンプルを使用して、符号化されるべきブロック内のサンプルに関する初期予測子を形成することであって、複数の隣接する参照サンプルを、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含むものとすることと、第１参照サンプルについて第１予測子を取得し、第２参照サンプルについて第２予測子を取得することと、サンプルに関する初期予測子を、（１）第１参照サンプルと第１予測子との間の第１差に基づいて、及び、（２）第２参照サンプルと第２予測子との間の第２差に基づいて、調整し、これにより、サンプルに関する予測子を形成することと、形成された予測子に応答して、ブロックを符号化することと、を実行することによって、生成される。

図１は、映像エンコーダの一実施形態に関するブロック図を示す。図２は、映像デコーダの一実施形態に関するブロック図を示す。図３は、ＨＥＶＣにおける現在のブロックをイントラ予測する参照サンプルを描写した図示例である。図４は、ｐｌａｎａｒモードでのイントラ予測を描写した図示例である。図５は、一実施形態による、イントラ予測において境界フィルタリングを選択的に適用する方法を示す。図６は、一実施形態による、イントラ予測における境界フィルタリングを使用した映像符号化の方法を示す。図７は、一実施形態による、イントラ予測における境界フィルタリングを使用した映像復号の方法を示す。図８は、本実施形態の態様が内部に実装され得るシステムに関するブロック図を示す。

図１は、映像エンコーダ１００のブロック図を示している。図１は、高効率映像符号化（ＨＥＶＣ）エンコーダ、ＪＶＥＴ（ＪｏｉｎｔＶｉｄｅｏＥｘｐｌｏｒａｔｉｏｎＴｅａｍ）によって開発中のＪＥＭ（ＪｏｉｎｔＥｘｐｌｏｒａｔｉｏｎＭｏｄｅｌ）エンコーダ、あるいは、ＨＥＶＣ又はＪＥＭで使用されているものと同様の技術を使用したエンコーダ、を例示することができる。

本出願では、「再構成された」及び「復号された」という用語は、互換的に使用することができ、「符号化された」又は「コード化された」という用語は、互換的に使用することができ、「画素」又は「サンプル」という用語は、互換的に使用することができ、そして、「画像」、「ピクチャ」及び「フレーム」という用語は、互換的に使用することができる。必ずしもそうとは限らないけれども、通常は、「再構成された」という用語は、エンコーダ側で使用され、「復号された」という用語は、デコーダ側で使用される。

符号化される前に、映像シーケンスは、事前符号化処理（１０１）を受けることができる、例えば、入力カラーピクチャに対して色変換を適用すること（例えば、ＲＧＢ４：４：４から、ＹＣｂＣｒ４：２：０への、変換）、あるいは、圧縮に対してより回復力のある信号分布を得るために、入力ピクチャ成分のリマッピングを実行すること（例えば、１つのカラー成分に対してのヒストグラム均等化を使用して）を、受けることができる。メタデータは、事前処理に関連付けられ得るとともに、ビットストリームに添付することができる。

１つ又は複数のピクチャで映像シーケンスを符号化するために、ピクチャは、分割される（１０２）。本出願では、「ブロック」という用語は、例えば、ＨＥＶＣ又はＪＥＭにおいて使用された際の、ＣＴＵ（符号化ツリーユニット）、ＣＵ（符号化ユニット）、ＰＵ（予測ユニット）、ＴＵ（変換ユニット）、ＣＢ（符号化ブロック）、ＰＢ（予測ブロック）、及びＴＢ（変換ブロック）、のいずれかを参照するために使用することができる。加えて、「ブロック」は、また、Ｈ．２６４／ＡＶＣ又は他の映像符号化規格において規定されているようなマクロブロック及びパーティションを参照するために使用することもでき、より一般的には、様々なサイズのデータからなる配列を参照するために使用することができる。

エンコーダ１００では、後述するように、エンコーダ構成要素によってピクチャが符号化される。符号化されるべきピクチャは、例えばＣＵｓの単位で処理される。各符号化ユニットは、イントラモード又はインターモードのいずれかを使用して符号化される。符号化ユニットがイントラモードで符号化される場合には、イントラ予測を行う（１６０）。インターモードでは、動き推定（１７５）と動き補償（１７０）とを行う。エンコーダは、符号化ユニットを符号化するためにイントラモードとインターモードのどちらを使用するかを決定し（１０５）、予測モードフラグによって、イントラ／インターに関する決定を示す。予測残差は、オリジナル画像ブロックから、予測されたブロックを減算すること（１１０）により計算される。

その後、予測残差は、変換され（１２５）、量子化される（１３０）。量子化された変換係数と、動きベクトルと、他のシンタックス要素とは、例えば、コンテキストベースの適応型２値算術符号化（ＣＡＢＡＣ）を使用して、エントロピー符号化され（１４５）、ビットストリームが出力される。

エンコーダは、変換をスキップすることができ、例えば４×４ＴＵベースで、未変換の残差信号に対して直接的に量子化を適用することができる。エンコーダは、また、変換と量子化との双方をバイパスすることもできる、すなわち、残差は、変換プロセス又は量子化プロセスが適用されることなく、直接的に符号化される。直接的なＰＣＭ符号化では、予測は適用されず、符号化ユニットサンプルは、ビットストリームへと直接的に符号化される。

エンコーダは、さらなる予測の参照を提供するために、符号化されたブロックを復号する。量子化された変換係数は、逆量子化され（１４０）、逆変換され（１５０）、これにより、予測残差が復号される。復号された予測残差と、予測されたブロックと、を組み合わせることにより（１５５）、画像ブロックが再構成される。ループ内フィルタ（１６５）が、再構成された画像に対して適用され、これにより、例えば、符号化アーチファクトを低減するデブロッキング／ＳＡＯ（画素適応オフセット）フィルタリングが実行される。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に記憶される。

図２は、映像デコーダ２００のブロック図を示している。図２は、ＨＥＶＣデコーダ、ＪＥＭデコーダ、あるいは、ＨＥＶＣ又はＪＥＭと同様の技術を使用したデコーダ、を例示することができる。デコーダ２００において、ビットストリームは、以下に説明するようにして、デコーダ構成要素によって復号される。映像デコーダ２００は、一般に、図１で説明したような符号化経路でありかつ映像データの符号化の一部として映像復号を実行する符号化経路に対して逆向きとされた、復号経路を実行する。

特に、デコーダの入力は、映像エンコーダ１００によって生成され得る映像ビットストリームを含む。ビットストリームは、まず、エントロピー復号され（２３０）、これにより、変換係数、動きベクトル、ピクチャ分割情報、及び、他の符号化された情報、を得ることができる。

ピクチャ分割情報は、ピクチャがどのように分割されるかを示している。したがって、デコーダは、復号されたピクチャ分割情報に従ってピクチャを分割することができる（２３５）。変換係数を、逆量子化して（２４０）、逆変換することにより（２５０）、予測残差を復号する。

復号された予測残差と、予測されたブロックと、を組み合わせることにより（２５５）、画像ブロックが再構成される。予測されたブロックは、イントラ予測（２６０）から、あるいは、動き補償予測（すなわち、インター予測）（２７５）から、得ることができる（２７０）。ループ内フィルタ（２６５）が、再構成された画像に対して適用される。フィルタリングされた画像は、参照画像バッファ（２８０）に記憶される。

復号されたピクチャは、さらに、復号後の処理（２８５）を受けることができる、例えば、逆色変換（例えば、ＹＣｂＣｒ４：２：０から、ＲＧＢ４：４：４：４への、変換）を受けることができる、あるいは、事前符号化処理（１０１）で実行されたリマッピングプロセスとは逆の処理を実行する逆リマッピングを受けることができる。復号後の処理では、事前符号化処理で得られたメタデータを使用することができ、ビットストリーム内に信号送出することができる。

上述したように、ブロックは、イントラ予測されることができる。ＨＥＶＣ、Ｈ．２６４／ＡＶＣなどの映像符号化規格では、イントラ予測プロセスは、一般に、以下の３つのステップ、すなわち、（１）参照サンプルの生成、（２）イントラサンプルの予測、及び（３）予測サンプルの後処理、という３つのステップを含む。因果関係のある隣接ブロック（すなわち、既に符号化されたブロック、又は、既に復号されたブロック）からのサンプルは、参照サンプルとして使用される。図３は、ＨＥＶＣで使用される参照サンプルの例を示しており、ここでは、現在のブロックの左上コーナーに対しての、座標（ｘ，ｙ）における画素値が、Ｐ（ｘ，ｙ）によって示されている。Ｎ×ＮというサイズのＣＵについては、上側の２Ｎ個の参照サンプルからなる行が、復号されたＣＵｓから形成される。同様に、左側の２Ｎ個の参照サンプルからなる列は、復号されたＣＵｓから形成される。左上の復号されたＣＵからのコーナー画素は、参照サンプルからなる上側の行と左側の列との間のギャップを埋めるために使用される。参照サンプルのいくつかが利用可能でない場合には、例えば、対応するＣＵｓが同じスライス内にない時には、あるいは、現在のＣＵがフレーム境界にある時には、参照サンプルの置換が実行され、この場合、欠落したサンプルは、利用可能なサンプルから時計回りにコピーされる。その後、現在のＣＵのサイズと、予測モードと、に応じて、参照サンプルが、指定されたフィルタを使用してフィルタリングされる。

次なるステップ、すなわち、イントラサンプル予測は、参照サンプルに基づいてターゲットＣＵの画素を予測することからなる。異なる種類のコンテンツを効率的に予測し得るよう、ＨＥＶＣは、様々な予測モードを支持している。特に、ｐｌａｎａｒ予測モード及びＤＣ予測モードを使用することにより、滑らかで漸次的に変化する領域を予測することができ、他方、方向性予測モードを使用することにより、異なる方向性構造を捕捉することができる。ＨＥＶＣは、２から３４までのインデックスを有する３３個の方向性予測モードを支持している。これらの予測モードは、異なる予測方向性に対応するものであり、ここで、数字は、イントラ予測モードのインデックスを示している。

ＪＶＥＴのＪｏｉｎｔＥｘｐｌｏｒａｔｉｏｎＭｏｄｅｌ（ＪＥＭ）コードでは、「ＦｕｒｔｈｅｒＩｍｐｒｏｖｅｍｅｎｔｓｔｏＨＭＫＴＡ−１．０」、Ｊ．Ｃｈｅｎ、Ｗ．−Ｊ．Ｃｈｉｅｎ、Ｍ．Ｋａｒｃｚｅｗｉｃｚ、Ｘ．Ｌｉ、Ｈ．Ｌｉｕ、Ａ．Ｓａｉｄ、Ｌ．Ｚｈａｎｇ、Ｘ．Ｚｈａｏ、ＶＣＥＧ−ＡＺ０７、ワルシャワ、ポーランド、２０１５年６月に記載されているように、予測モードの数は、６７個へと増加しており、これは、１つのＰＬＡＮＡＲモードと、１つのＤＣモードと、６５個の角度モードと、を含む。より多くの予測モードが含まれていることから、ＪＥＭにおいてより大きなブロックサイズを有したこのような角度構造の可能性を利用することが提案されている。

ＤＣモード、直接的な水平方向モード、及び直接的な垂直方向モード、などのいくつかの予測モードは、予測サンプルのＣＵ境界のところに不連続性を引き起こす可能性がある。したがって、そのような予測モードに続いて、後処理又は境界フィルタリングステップが行われ、予測サンプルの境界は、ローパスフィルタを使用して円滑化される。ここで、直接的な水平方向モードとは、ターゲットブロックの左側の参照サンプルがイントラ予測のために右側へと水平方向に繰り返される場合の予測モードを参照する。同様に、直接的な垂直方向モードとは、ターゲットブロックの上側の参照サンプルがイントラ予測のために下側へと垂直方向に繰り返される場合の予測モードを参照する。

境界フィルタリングの目的は、隣接する参照サンプルに対しての不連続性を低減することであり、これにより、ブロック境界でのブロッキングアーチファクトが間接的に低減するとともに、符号化効率が向上する。ＨＥＶＣでは、ＤＣ予測モードに関し、予測ブロックの最初の列と最初の行とが、予測後にフィルタリングされる。ＪＥＭでは、ＤＣモードにおける境界フィルタリングに加えて、ＰＬＡＮＡＲ予測モードでも境界フィルタリングを行うことが提案されている。

本実施形態は、イントラ予測における境界フィルタリングに関する。特に、本出願人は、ＤＣ予測モード及びＰＬＡＮＡＲ予測モードにおいて勾配ベースの境界フィルタリングを適用することにより、複雑さの増大を低く抑えつつ、符号化性能の点で既存技術を改良することを提案する。

様々な実施形態では、本出願人は、ＰＬＡＮＡＲイントラ予測モード及びＤＣイントラ予測モードの新規な境界フィルタリング方法を提案する。本出願人は、参照サンプルにおける勾配又は残差を計算し、計算された値の小数部分を、減衰関数を使用しつつ、隣接する行及び列へと伝搬する。本出願人は、隣接する行及び列における参照サンプルと予測サンプル値との間にわたって、強度値の漸次的な変化を生成することを、目的としている。

上述したように、ＰＬＡＮＡＲ予測モード及びＤＣ予測モード（それぞれ、モード０及びモード１としてインデックス付けされる）は、フレーム内の滑らかにかつ漸次的に変化する領域を予測するために使用される。ＤＣモードでは、すべてのターゲット画素は、ターゲットブロックの上側及び左側の参照サンプルのＤＣ値によって予測され、これに対し、ＰＬＡＮＡＲモードでは、予測値は、上側の参照サンプルと左下の参照サンプルとを使用したもの（垂直補間）と、左側の参照サンプルと右上の参照サンプルとを使用した他のもの（水平補間）と、の２つの線形補間の平均である。前者の補間は、強度の漸次的な変化を垂直方向に沿ってモデル化することを目的としており、これに対し、後者の補間は、強度の漸次的な変化を水平方向に沿ってモデル化することを目的としている。

ＤＣモードとＰＬＡＮＡＲモードとのいずれにおいても、計算による予測値と隣接する参照サンプルの値との間の不一致のために、ターゲットブロックの境界で不連続性が発生し得る。この影響は、上側の参照サンプルと左側の参照サンプルとが大きな分散を有している場合には、ＤＣモードにおいて、より顕著になる。ＰＬＡＮＡＲモードでは、不連続性が、補間のうちの一方だけによって引き起こされることのために、この影響は、それほど顕著ではない。垂直補間は、左側の境界に沿って不連続性を引き起こし得るものであり、他方、水平補間は、上側の境界に沿って不連続性を引き起こし得るものである。ＨＥＶＣは、ＤＣモードの境界フィルタリングを含み、これに対し、ＪＥＭでは、境界フィルタリング方法が、追加的にＰＬＡＮＡＲモードに関して提案されている。様々な実施形態では、本出願人は、勾配ベースのアプローチを使用して、ＤＣモード及びＰＬＡＮＡＲモードの境界フィルタリングステップを改良することを目的としている。以下では、ＨＥＶＣ及びＪＥＭにおける、ＤＣモード及びＰＬＡＮＡＲモードについて、詳細に説明し、その後、境界フィルタリングに関する様々な実施形態を提供する。

ＨＥＶＣにおけるＤＣ予測
イントラ予測されるべき所与のターゲットブロックに対して、エンコーダ又はデコーダは、まず、図３に示すように、２つの参照配列（上側に１つ、及び、左側に１つ）を構築する。参照サンプルは、上側の、右上の、左側の、左下の、及び左上の、復号されたブロック内の復号されたサンプルから取られ、ブロックサイズ及び予測モードに応じてフィルタリングされることができる。図３の場合には、座標（ｘ，ｙ）における予測画素値は、Ｐ（ｘ，ｙ）で示され、参照画素値は、Ｒ（ｘ，ｙ）で示されている。双方の参照配列は、２Ｎ＋１個の参照サンプルを有している。

ＤＣ予測モードでは、すべてのターゲット画素は、次式のように計算された単一の値を使用して予測される。

式中、Ｒ（ｘ，−１）は、上側の参照配列上の（ｘ，−１）での参照サンプルを表し、Ｒ（−１，ｙ）は、左側の参照配列上の（−１，ｙ）での参照サンプルを表し、Ｎは、ターゲットブロックの幅又は高さ（ＨＥＶＣでは、すべてのブロックは、正方形形状を有している）を表す。その後、ターゲットブロックの上側境界と左側境界との双方は、フィルタリングされる。ターゲットブロックの座標（０，０）での予測サンプルは、３タップ平滑化フィルタ［１２１］／４を使用して、次のようにフィルタリングされる。
Ｐ’（０，０）＝（Ｒ（−１，０）＋２×ｄｃＶａｌ＋Ｒ（０，−１）＋２）＞＞２
式中、Ｐ’は、予測サンプルのフィルタリング値を表し、Ｒ（−１，０）は、座標（−１，０）での参照サンプルを表し、Ｒ（０，−１）は、座標（０，−１）での参照サンプルを表す。

上側境界と左側境界とにおける残りの予測サンプルは、２タップフィルタ［３，１］／４を使用して、次のようにフィルタリングされる。
Ｐ’（ｘ，０）＝（３×ｄｃＶａｌ＋Ｒ（ｘ，−１）＋２）＞＞２，１＜＝ｘ＜Ｎ（上側境界）
Ｐ’（０，ｙ）＝（３×ｄｃＶａｌ＋Ｒ（−１，ｙ）＋２）＞＞２，１＜＝ｙ＜Ｎ（左側境界）
複雑さを低く抑えるために、上記の境界フィルタリングは、サイズが１６×１６以下のルマブロックに対してのみ適用される。

ＨＥＶＣにおけるＰＬＡＮＡＲ予測
ＰＬＡＮＡＲモードでは、ターゲット画素での予測は、次のように２つの補間から得られる。
Ｐ（ｘ，ｙ）＝（Ｐ_ｖ（ｘ，ｙ）＋Ｐ_ｈ（ｘ，ｙ）＋Ｎ）＞＞（ｌｏｇ２（Ｎ）＋１），０＜＝ｘ，ｙ＜Ｎ（２）
式中、Ｐ_ｖ（ｘ，ｙ）及びＰ_ｈ（ｘ，ｙ）は、次のようにして得られる垂直補間及び水平補間である。
Ｐ_ｖ（ｘ，ｙ）＝（Ｎ−１−ｙ）×Ｒ（ｘ，−１）＋（１＋ｙ）×Ｒ（−１，Ｎ），０＜＝ｘ，ｙ＜Ｎ（３）
Ｐ_ｈ（ｘ，ｙ）＝（Ｎ−１−ｘ）×Ｒ（−１，ｙ）＋（１＋ｘ）×Ｒ（Ｎ，−１），０＜＝ｘ，ｙ＜Ｎ（４）

座標（ｘ，ｙ）におけるターゲット画素について、Ｒ（ｘ，−１）は、上側の参照サンプルであり、Ｒ（−１，ｙ）は、左側の参照サンプルであり、Ｒ（−１，Ｎ）は、左下の参照サンプルであり、Ｒ（Ｎ，−１）は、右上の参照サンプルである。これは、ＪＥＭの文脈において図４に示されている。したがって、垂直補間は、すぐ上の参照サンプルと左下の参照サンプルとの間の線形補間であり、水平補間は、すぐ左の参照サンプルと右上の参照サンプルとの間の線形補間である。本出願人は、補間に必要なスケーリングが、式（２）における補間の平均化と組み合わされていることを、理解している。

ＪＥＭにおけるＰＬＡＮＡＲ予測及びＤＣ予測
ＪＥＭでは、四本木二本木構造（ＱＴＢＴ）のために、参照配列のそれぞれは、（１＋Ｗ＋Ｈ）サンプルを有し、式中、Ｗ及びＨは、ターゲットブロックのそれぞれ幅及び高さを表す。ＪＥＭでは、ＤＣモード及びＰＬＡＮＡＲモードでの予測は、不均等な高さ及び幅を考慮するために上記の式内に必要とされる変更を除いては、基本的にＨＥＶＣと同じである。加えて、境界での不連続性を低減することを目的としたＤＣ予測及びＰＬＡＮＡＲ予測を改良するために、提案がなされている。

「ＵｎｅｑｕａｌｗｅｉｇｈｔｐｌａｎａｒｐｒｅｄｉｃｔｉｏｎａｎｄｃｏｎｓｔｒａｉｎｅｄＰＤＰＣ」と題するＫ．Ｐａｎｕｓｏｐｏｎｅ、Ｓ．Ｈｏｎｇ、Ｌ．ＷａｎｇによるＪＶＥＴ−Ｅ００６８、ジュネーブ、２０１７年１月における論文「（以下、「ＪＶＥＴ−Ｅ００６８」）は、不均等重みプレーナ（ＵＷＰ）予測と称されるＰＬＡＮＡＲ予測の変形例を提案している。垂直補間及び水平補間を形成するために、まず、（Ｗ，Ｈ）におけるターゲット画素の値Ｐ（Ｗ，Ｈ）が、左下及び右上の参照サンプルの重み付け合計として推定される。

その後、この推定値と、左下及び右上の参照サンプルと、の間を線形補間することにより、ターゲットブロックのすぐ下及びすぐ右の画素の予測値が推定される。

ここで、左側の参照サンプルと、すぐ右に関する推定サンプルと、の間において水平補間が行われる。同様に、上側の参照サンプルと、すぐ下の推定サンプルと、の間において垂直補間が行われる。
Ｐ_ｈ（ｘ，ｙ）＝（Ｗ−１−ｘ）×Ｒ（−１，ｙ）＋（ｘ＋１）×Ｐ_ｒ（Ｗ，ｙ）
Ｐ_ｖ（ｘ，ｙ）＝（Ｈ−１−ｙ）×Ｒ（ｘ，−１）＋（ｙ＋１）×Ｐ_ｂ（ｘ，Ｈ）

水平補間が、左側の参照により近い方がより正確な予測ができることから、また、垂直補間が、上側の参照により近い方がより正確な予測ができることから、最終的な予測を得るために、２つの補間の加重平均が取られる。

アルゴリズムの最初の部分は、垂直補間及び水平補間を改良することを目的とするものであり、最後の部分は、境界により近い方におけるより正確な補間に対してより大きな重みを与えることにより、境界の平滑化を担当する。計算には分割操作が含まれるので、近似的な予測値を得ることを目的として、シフト演算子及び集計値を使用した代替可能な計算が提供される。

「ＳｉｍｐｌｉｆｉｃａｔｉｏｎａｎｄｅｘｔｅｎｓｉｏｎｏｆＰＤＰＣ」と題するＸ．Ｚｈａｏ、Ｖ．Ｓｅｒｅｇｉｎ、Ａ．Ｓａｉｄ、Ｍ．ＫａｒｃｚｅｗｉｃｚによるＪＶＥＴ−Ｈ００５７、マカオ、２０１７年１０月における論文（以下、「ＪＶＥＴ−Ｈ００５７」）は、ＰＤＰＣの概念を使用した他の方法を提案している。１つの経路で予測を行うＪＶＥＴ−Ｅ００６８とは異なり、１経路目では通常の予測方法を使用して初期的イントラ予測値を取得し、２経路目ではターゲットブロックの、上側、左側、及び左上、の参照サンプルを使用して１経路目での予測値を更新する、という２経路方式が提案されている。
Ｐ’（ｘ，ｙ）＝（ｗＬ×Ｒ（−１，ｙ）＋ｗＴ×Ｒ（ｘ，−１）＋ｗＴＬ×Ｒ（−１，−１）＋（６４−ｗＬ−ｗＴ−ｗＴＬ）×Ｐ（ｘ，ｙ）＋３２）＞＞６
式中、ｗＬ、ｗＴ、及びｗＴＬは、左側、上側、及び左上の参照サンプルに対応する重みであり、次のように計算される。
ｗＴ＝３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ）
ｗＬ＝３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ）
ｗＴＬ＝−（（ｗＬ＞＞４）＋（ｗＴ＞＞４））
式中、ｓｈｉｆｔ＝（ｌｏｇ２（Ｗ）＋ｌｏｇ２（Ｈ）＋２）＞＞２である。ＰＬＡＮＡＲ予測モードとＤＣ予測モードとの双方が、この更新方法を使用している。本出願人が理解しているように、画素が参照配列から離れるにつれて重みが減少するので、この方法は、近くの参照サンプルに対して追加の重みを与えて境界を平滑化することを目的としている。

ＪＶＥＴ−Ｅ００６８及びＪＶＥＴ−Ｈ００５７の方法とは異なり、境界を平滑化する本出願人による方法は、勾配アプローチに基づくものである。本出願人は、参照サンプルと予測値との差を計算することにより、参照サンプルの位置での勾配を推定する。適切な減衰関数を使用して、本出願人は、ブロック境界におけるターゲット画素の予測値に対して、勾配の漸減部分を追加する。本出願人による方法も、また、通常の予測方法を使用して得られた１経路目からのオリジナル予測値を、勾配を使用して更新することのために、２経路方式である。

ＰＬＡＮＡＲモードに関する境界フィルタリング
一般化のために、ここでは、幅Ｗかつ高さＨの矩形ブロックを想定する。上述したように、ＰＬＡＮＡＲモード予測は、２つの中間構成要素を有している。すなわち、１つの水平補間と、１つの垂直補間と、を有している。これら２つの構成要素の平均が、最終的な予測値を生成する。

線形補間が、強度値の漸次的な変化を提供することのために、水平補間は、ターゲットブロックの左側境界での急激な変化を生成するものではなく、右上の参照サンプルＲ（Ｗ，−１）に依存して、上側の境界で不連続性を生成し得るものである。同様に、垂直補間は、ターゲットブロックの上側の境界での急激な変化を生成するものではなく、左下の参照サンプルＲ（−１，Ｈ）に依存して、左側の境界で不連続性を生成し得るものである。

式（４）における水平補間Ｐ_ｈ（ｘ，ｙ）について考察する。幅Ｗかつ高さＨの矩形ブロックの場合には、次のように書き換えることができる。
Ｐ_ｈ（ｘ，ｙ）＝（Ｗ−１−ｘ）×Ｒ（−１，ｙ）＋（１＋ｘ）×Ｒ（Ｗ，−１），０＜＝ｘ＜Ｗ；０＜＝ｙ＜Ｈ
上側の参照サンプルに対して同じ補間を適用すると、すなわち、左上の参照サンプルと右上の参照サンプルとの間を補間すると、本出願人は、水平補間においてＲ（ｘ，−１）を予測する予測子を得る。
Ｐ_ｈ（ｘ，−１）＝（Ｗ−１−ｘ）×Ｒ（−１，−１）＋（１＋ｘ）×Ｒ（Ｗ，−１），０＜＝ｘ＜Ｗ（Ｐ１）

よって、上側の参照サンプルでの勾配は、次のように推定することができる。
Δ_ｖ（ｘ）＝Ｒ（ｘ，−１）−（Ｐ_ｈ（ｘ，−１）＞＞ｌｏｇ２（Ｗ）），０＜＝ｘ＜Ｗ（Ｐ２）
そして、本出願人は、水平補間を次のように修正することができる。
Ｐ’_ｈ（ｘ，ｙ）＝Ｐ_ｈ（ｘ，ｙ）＋Ｗ×Δ_ｖ（ｘ）×Ｌ（ｙ），０＜＝ｘ＜Ｗ；０＜＝ｙ＜Ｈ
ここでＬ（ｙ）は、閉区間［０，１］内の値を有する減衰関数である。固定小数点の実装のために、本出願人は、次のような代替可能な定式化を使用することができる。
Ｐ’_ｈ（ｘ，ｙ）＝Ｐ_ｈ（ｘ，ｙ）＋（Ｗ×Δ_ｖ（ｘ）×Ｌ（ｙ）＋３２）＞＞６，０＜＝ｘ＜Ｗ；０＜＝ｙ＜Ｈ
式中、Ｌ（ｙ）は、［０，３２］の範囲内で正の整数値を有することができ、例えば、Ｌ（ｙ）＝（３２＞＞（（ｙ＜＜１）＞＞ｓｈｉｆｔ））であり、式中、ｓｈｉｆｔ＝（ｌｏｇ２（Ｗ）−１＋ｌｏｇ２（Ｈ）−１）＞＞２である。このシフトパラメータ値では、減衰関数は、この場合、ターゲットブロックのサイズによって変化することに注意されたい。

ここで、式（３）における垂直補間Ｐ_ｖ（ｘ，ｙ）について考察する。幅Ｗかつ高さＨの矩形ブロックの場合には、次のように書き換えることができる。
Ｐ_ｖ（ｘ，ｙ）＝（Ｈ−１−ｙ）×Ｒ（ｘ，−１）＋（１＋ｙ）×Ｒ（−１，Ｈ），０＜＝ｘ＜Ｗ；０＜＝ｙ＜Ｈ

同じ補間を左側の参照サンプルに対して適用すると、すなわち、左上の参照サンプルと左下の参照サンプルとの間を補間すると、本出願人は、垂直補間においてＲ（−１，ｙ）を予測する予測子を得る。
Ｐ_ｖ（−１，ｙ）＝（Ｈ−１−ｙ）×Ｒ（−１，−１）＋（１＋ｙ）×Ｒ（−１，Ｈ），０＜＝ｙ＜Ｈ（Ｐ３）
よって、左側の参照サンプルでの勾配は、次のように推定することができる。
Δ_ｈ（ｙ）＝Ｒ（−１，ｙ）−（Ｐ_ｖ（−１，ｙ）＞＞ｌｏｇ２（Ｈ）），０＜＝ｙ＜Ｈ（Ｐ４）

そして、本出願人は、垂直補間を次のように修正することができる。
Ｐ’_ｖ（ｘ，ｙ）＝Ｐ_ｖ（ｘ，ｙ）＋Ｈ×Δ_ｈ（ｙ）×Ｌ（ｘ），０＜＝ｘ＜Ｗ；０＜＝ｙ＜Ｈ
式中、Ｌ（ｘ）は、閉区間［０，１］内の値を有する減衰関数である。ｐｌａｎａｒ予測には方向性がないので、一般性を何ら失うことなく、本出願人は、Ｌ（ｙ）として同じ減衰関数を使用することができる。よって、本出願人は、次のような代替可能な定式化を使用することができる。
Ｐ’_ｖ（ｘ，ｙ）＝Ｐ_ｖ（ｘ，ｙ）＋（Ｈ×Δ_ｈ（ｙ）×Ｌ（ｘ）＋３２）＞＞６，０＜＝ｘ＜Ｗ；０＜＝ｙ＜Ｈ
式中、Ｌ（ｘ）＝（３２＞＞（（ｘ＜＜１）＞＞ｓｈｉｆｔ））であり、ｓｈｉｆｔ＝（ｌｏｇ２（Ｗ）−１＋ｌｏｇ２（Ｈ）−１）＞＞２である。

これで、最終的な予測は、式（２）のように求めることができる。
Ｐ’（ｘ，ｙ）＝（Ｗ×Ｐ’_ｖ（ｘ，ｙ）＋Ｈ×Ｐ’_ｈ（ｘ，ｙ）＋Ｗ×Ｈ）＞＞（１＋ｌｏｇ２（Ｗ）＋ｌｏｇ２（Ｈ））
＝Ｐ（ｘ，ｙ）＋（（Δ_ｖ（ｘ）×Ｌ（ｙ）＋Δ_ｈ（ｙ）×Ｌ（ｘ）＋６４）＞＞７）
更新は、ダイナミックレンジ外の値を取ることができるので、本出願人は、ダイナミックレンジにクリッピングして上の式を使用することができる。
Ｐ’（ｘ，ｙ）＝Ｃｌｉｐ（Ｐ（ｘ，ｙ）＋（（Δ_ｖ（ｘ）×Ｌ（ｙ）＋Δ_ｈ（ｙ）×Ｌ（ｘ）＋６４）＞＞７））（Ｐ５）

よって、アルゴリズムは、以下のようにまとめることができる。
（ｉ）既存のｐｌａｎａｒ法と同様に、Ｐ（ｘ，ｙ）を計算する。
（ｉｉ）式（Ｐ１）及び式（Ｐ２）のように、０＜＝ｘ＜Ｗに関して、Ｐ_ｈ（ｘ，−１）を計算し、その後、Δ_ｖ（ｘ）を計算する。
（ｉｉｉ）式（Ｐ３）及び式（Ｐ４）のように、０＜＝ｙ＜Ｈに関して、Ｐ_ｖ（−１，ｙ）を計算し、その後、Δ_ｈ（ｙ）を計算する。
（ｉｖ）式（Ｐ５）のようにＰ（ｘ，ｙ）を更新することにより、Ｐ’（ｘ，ｙ）を得る。

Ｐ_ｈ（ｘ，−１）及びＰ_ｖ（−１，ｙ）の計算が、複雑さの理由のために問題である場合には、本出願人が、水平補間におけるＲ（ｘ，−１）に関する予測子として、Ｐ_ｈ（ｘ，−１）に代えて、第１の予測行であるＰ_ｈ（ｘ，０）を単に使用し得るとともに、垂直補間におけるＲ（−１，ｙ）に関する予測子として、Ｐ_ｖ（−１，ｙ）に代えて、第１の予測列であるＰ_ｖ（０，ｙ）を使用し得ることに、注意されたい。あるいは、本出願人は、以下に示すように、１経路目の予測値Ｐ（ｘ，ｙ）の、第１の列及び第１の行を使用した境界フィルタリングに関して、代替可能な定式化を使用することもできる。

同様の境界フィルタリングを実行する代替可能な定式化は、１経路目の予測を直接的に使用することである。この場合、本出願人は、水平方向勾配及び垂直方向勾配を、次のように計算することとなる。
Δ_ｖ（ｘ）＝Ｒ（ｘ，−１）−Ｐ（ｘ，０），０＜＝ｘ＜Ｗ
Δ_ｈ（ｙ）＝Ｒ（−１，ｙ）−Ｐ（０，ｙ），０＜＝ｙ＜Ｈ
加えて、本出願人は、また、左上の画素での勾配を、次のように計算することとなる。
Δ_ｄ＝Ｒ（−１，−１）−Ｐ（０，０）

これらの値を使用して、１経路目の予測は、次のようにフィルタリングされることとなる。
Ｐ’（ｘ，ｙ）＝Ｃｌｉｐ（Ｐ（ｘ，ｙ）＋（（Δ_ｖ（ｘ）×Ｌ（ｙ）＋Δ_ｈ（ｙ）×Ｌ（ｘ）−Δ_ｄ×Ｌ＋３２）＞＞６））（Ｐ６）
式中、Ｌ＝ｍｉｎ（Ｌ（ｘ），Ｌ（ｙ））である。

上記では、本出願人は、イントラ予測において提案された境界フィルタリング方法を説明するために、ＪＥＭ６．０におけるＰＬＡＮＡＲモードを使用している。ＰＬＡＮＡＲモード予測が、垂直部分と水平部分とを使用して構成され、これら２つの部分が、それぞれの参照サンプルにおいて比較的滑らかなものである限り、本方法が、また、他の種類のＰＬＡＮＡＲモードに対しても適用可能であることに留意されるべきである。例えば、不均等重みプレーナ（ＵＷＰ）では、提案されたフィルタリングは、中間補間に対して適用することができる。ＰＬＡＮＡＲ予測が中間補間なしで直接的に構成される場合には、上述した代替可能な定式化を使用することができる。

ＤＣモードに関する境界フィルタリング
ＨＥＶＣ及びＪＥＭでは、ターゲットブロックの上側及び左側における参照サンプルを使用した１経路目の予測において、ＤＣ値が計算される。その後、２経路目において、上述したように、第１行目の予測値と第１列目の予測値とが、フィルタリングされる。

ここで、本出願人は、ＤＣ値の計算を２つのステップへと分けることを提案する。まず、本出願人は、すぐ左の参照サンプルのみを使用して、水平方向ＤＣを計算する。その後、本出願人は、すぐ上の参照サンプルのみを使用して、垂直方向ＤＣを計算する。計算の順序は、重要ではない。最終的なＤＣ値は、水平方向ＤＣ値と垂直方向ＤＣ値との平均を取って計算する。この計算方法は、ターゲットブロックの幅及び高さの合計が２のべき乗でない時には、ＪＥＭで必要とされる分割操作を回避するものではあるけれども、結果として得られる予測は、いくつかの場合には、オリジナルＤＣ値よりも精度が低くなる可能性がある。本出願人が、１経路目の予測の後に境界サンプルをフィルタリングすることにより、予測の不正確さを無視することができる。

本出願人は、水平方向ＤＣ及び垂直方向ＤＣを次のように計算する。

その後、ターゲットブロックは、初期的には、次のように予測される。

本出願人は、すぐ上の垂直方向勾配を、次のように計算する。
Δ_ｖ（ｘ）＝Ｒ（ｘ，−１）−ｄｃＶａｌ，０＜＝ｘ＜Ｗ（Ｄ２）
同様に、本出願人は、すぐ左の水平方向勾配を、次のように計算する。
Δ_ｈ（ｙ）＝Ｒ（−１，ｙ）−ｄｃＶａｌ，０＜＝ｙ＜Ｈ（Ｄ３）
本出願人は、左上コーナーの勾配を、次のように計算する。
Δ_ｄ＝（（Ｒ（−１，０）＋Ｒ（０，−１））＞＞１）−ｄｃＶａｌ（Ｄ４）

その後、予測された画素値は、次のようにフィルタリングされる。
Ｐ’（ｘ，ｙ）＝Ｃｌｉｐ（ｄｃＶａｌ＋（（Δ_ｖ（ｘ）×Ｌ（ｙ）＋Δ_ｈ（ｙ）×Ｌ（ｘ）−Δ_ｄ×Ｌ＋３２）＞＞６））（Ｄ５）
式中、Ｌ（ｘ）及びＬ（ｙ）は、ＰＬＡＮＡＲ境界フィルタリングに関して以前に与えられたものであり、Ｌ＝ｍｉｎ（Ｌ（ｘ），Ｌ（ｙ））である。

ＪＥＭで計算された際のオリジナルＤＣ値が、ＤＣ_ｈとＤＣ_ｖとの加重和として計算され得ることに注意されたい。ここで、重みは、高さＨ及び幅Ｗである。

したがって、ＨＥＶＣ及びＪＥＭで行われているように、フィルタリングが、ルマ成分のみに関する小さなブロックサイズのみに適用される場合には、本出願人は、残りのブロックに関するＤＣモードでの予測値として、ｄｃＶａｌ_ｏｒｉｇを使用することができる。

同様の境界フィルタリングを行う代替可能な定式化は、ＰＬＡＮＡＲ境界フィルタリングの場合と同様に導出することができる。水平方向ＤＣは、ＤＣ予測として使用される場合には、左側の参照サンプルに近い傾向が大きい（それらの分散が小さい場合）けれども、上側の境界で不連続性が生じる可能性がある。同様に、垂直方向ＤＣは、ＤＣ予測として使用された場合には、上側の参照サンプルに近い傾向が大きい（それらの分散が小さい場合）けれども、左側の境界で不連続性が生じる可能性がある。したがって、本出願人は、ＤＣ_ｈを予測として使用して上側境界フィルタリングを適用し得るとともに、ＤＣ_ｖを予測として使用して左側境界フィルタリングを適用することができ、その後、双方の平均を取ることができる。
Ｐ’_ｈ（ｘ，ｙ）＝ＤＣ_ｈ＋（Δ_ｖ（ｘ）×Ｌ（ｙ）＋３２）＜＜６，０＜＝ｘ＜Ｗ；０＜＝ｙ＜Ｈ
式中、Δ_ｖ（ｘ）＝Ｒ（ｘ，−１）−ＤＣ_ｈ，０＜＝ｘ＜Ｗ
Ｐ’_ｖ（ｘ，ｙ）＝ＤＣ_ｖ＋（Δ_ｈ（ｙ）×Ｌ（ｘ）＋３２）＞＞６，０＜＝ｘ＜Ｗ；０＜＝ｙ＜Ｈ
ここで、Δ_ｈ（ｙ）＝Ｒ（−１，ｙ）−ＤＣ_ｖ，０＜＝ｙ＜Ｈ

＝ｄｃＶａｌ＋（（Δ_ｖ（ｘ）×Ｌ（ｙ）＋Δ_ｈ（ｙ）×Ｌ（ｘ）＋６４）＞＞７）
ここで、ｄｃＶａｌは、式（Ｄ１）で与えられる。上記と同様に、本出願人は、フィルタリングされた値が、なおも有効なダイナミックレンジ内にあることを確認するために、クリッピングを使用することができる。
Ｐ’（ｘ，ｙ）＝Ｃｌｉｐ（ｄｃＶａｌ＋（（Δ_ｖ（ｘ）×Ｌ（ｙ）＋Δ_ｈ（ｙ）×Ｌ（ｘ）＋６４）＞＞７）），０＜＝ｘ＜Ｗ；０＜＝ｙ＜Ｈ

参照サンプルの分散が小さくない場合には、２つのＤＣ値は、反対側の境界で不連続性を生じる可能性があるけれども、それらが計算される境界でもいくらかの不連続性を生じる。したがって、この代替可能な定式化は、上記の定式化と比較して、効率が悪いと予想される。

図５は、一実施形態による、イントラ予測における境界フィルタリングの方法５００を示している。方法５００では、ＨＥＶＣコーデックに基づくＪＥＭコーデックが使用されるものと仮定する。ビットストリームがデコーダによって適切に復号されるためには、エンコーダ及びデコーダでのイントラ予測に関して、同じ境界フィルタリング方法が使用されるべきである。

この実施形態では、ＤＣモード又はＰＬＡＮＡＲモードのいずれかを使用してブロックがイントラ予測された後に、予測されたサンプルは、上述したようにして境界フィルタリングされる。これは、エンコーダ及びデコーダの双方で行われる。この実施形態の単純な変形例では、提案されたフィルタリングは、クロマブロックを除いて、ルマブロックのみに対して適用されることとなる。他の変形例では、小さなサイズのブロックのみを考慮することができる、例えば、図５に示すように、高さ及び幅が１６以下であるブロックのみを考慮することができる。

図５を参照すると、ステップ５１０において、イントラＤＣモード又はイントラＰＬＡＮＡＲモードに関して、エンコーダ又はデコーダは、ブロックがルマＣＵであるかどうかをチェックするとともに、ブロックの幅及び高さが１６を超えていないかどうかをチェックする。これらの条件が満たされた場合には、エンコーダ又はデコーダは、例えば上述した方法を使用して、左側の参照サンプルにおける垂直方向勾配と、上側の参照サンプルにおける水平方向勾配とを、計算する（５２０）。その後、初期予測（すなわち、１経路目）からの予測ブロックを、境界フィルタリングを使用して調整する（５３０）。その後、フィルタリングされた予測ブロックは、エンコーダ側において予測残差を得るために使用されてもよいし、デコーダ側においてブロックを再構成するために予測残差に対して加算されてもよい。

他の実施形態では、ブロックを、ＤＣモード又はＰＬＡＮＡＲモードにおいて初期的にイントラ予測した後に、勾配しきい値を使用して、境界フィルタリングを使用するかどうかの決定を行う。その後、勾配しきい値条件が満たされた場合には、ブロックは、境界フィルタリングを受けることとなる。式（Ｐ５）を見ると、Δ_ｖ（ｘ）及びΔ_ｈ（ｙ）の値がゼロであれば、どの減衰関数に対しても更新項がゼロであることがわかる。その結果、更新を行うことは無意味である。このことは、フィルタリングの決定を行う前に、勾配値に関して合理的なしきい値を適用することを、本出願人に対して動機付ける。勾配値が、ターゲットブロックの境界上において変化し得ることにより、本出願人は、次のように計算し得る平均絶対勾配を考慮することとなる。

｜Δ｜が、事前設定されたしきい値よりも大きい場合には、本出願人は、勾配フィルタリングを使用し、そうでない場合には、フィルタリングはスキップされる。しきい値は、ビット深度に基づいて、及び／又は、ブロックサイズに基づいて、決定することができる。上側の又は左側の復号されたブロックが利用可能でない場合には、本出願人は、左側のブロックが利用可能であるか又は上側のブロックが利用可能であるかに応じて、｜Δ｜_ｈ又は｜Δ｜_ｖのいずれかを使用することとなる。上側のブロックも左側のブロックも利用可能でない場合には、本出願人は、何らの境界フィルタリングも行わないこととなる。

他の実施形態では、本出願人は、複数の減衰関数を使用することができる。最良のＲＤ性能を与える減衰関数は、追加的なビットを使用して、デコーダに対して信号を送出する。例えば、本出願人が２つの減衰関数を使用する場合には、コンテキスト符号化された１つのビットを使用して、本出願人は、より良好な方を信号送出する。本出願人が３つの減衰関数を使用する場合には、最良の減衰関数を示すために、本出願人は、信号送出ビット組合せを、０、１０、及び１１として使用する。この信号送出は、ブロックレベルで、スライスレベルで、又はフレームレベルで、行うことができる。

他の実施形態では、本出願人は、スライス、フレーム、あるいは、映像シーケンスの任意のフレームにおいて、ＤＣ及びＰＬＡＮＡＲのイントラ予測における境界フィルタリングを使用するとともに、スライスヘッダ、ピクチャパラメータセット（ＰＰＳ）ヘッダ、又はシーケンスパラメータセット（ＳＰＳ）ヘッダ、における１ビットフラグを使用して、デコーダに対しての境界フィルタリングの適用を信号送出する。

本出願人は、ＪＶＥＴテストシーケンスから１フレームのみを取り出して、オールイントラ（ＡＩ）構成のＪＶＥＴＢＭＳ（ベンチマークセット）コードによって実験を行った。本出願人は、上記において与えられた二項減衰関数を使用した。ＤＣ予測モードでは、本出願人は、提案した境界フィルタリングを、幅及び高さが１６以下であるルマブロックのみに適用する。ＰＬＡＮＡＲ予測モードでは、本出願人は、提案した境界フィルタリングを、すべての有効なサイズのルマブロックとクロマブロックとの双方に対して適用する。表１及び表２は、ＪＶＥＴベンチマークコード（ＢＭＳ１．０）についてのＤＣモード及びＰＬＡＮＡＲモードにおける提案した境界フィルタリングに関するＢＤレート性能を示している。計算の複雑さをほとんど変化させることなく、ＢＤレートの低下が約０．１５％及び約０．５１％であることに、留意されたい。

イントラ予測において提案する境界フィルタリングは、ＤＣ予測モード及びＰＬＡＮＡＲ予測モードにおいてターゲットブロック境界での連続性を改良することを目的としている。提案する方法では、ＤＣモード又はＰＬＡＮＡＲモードでのイントラ予測が、水平補間／平均値及び垂直補間／平均値に由来することを、考慮する。まず、初期予測子が形成される。その後、上側の参照サンプルと水平補間／平均値との間の差を使用することにより、垂直方向に沿って初期予測子を調整するとともに、左側の参照サンプルと垂直補間／平均値との間の差を使用することにより、水平方向に沿って初期予測子を調整する。

フィルタリングプロセスは、境界参照サンプルで勾配を使用することのために、及び、ビットシフトによって実装し得る二項減衰関数を使用することのために、極めて単純である。したがって、追加的な複雑さの要件は、非常に小さい。これにより、本出願人は、ＤＣ予測モード及びＰＬＡＮＡＲ予測モードにおいてごくわずかに複雑さを増大させるのみで、より高いＢＤレート性能と、より良好な視覚的品質と、が得られるものと、予想している。

上述したような本実施形態による様々な方法を使用することにより、例えば、図１に示すようなＪＶＥＴ又はＨＥＶＣエンコーダ１００におけるイントラ予測モジュール（１６０）、及び、図２に示すようなＪＶＥＴ又はＨＥＶＣデコーダ２００におけるイントラ予測モジュール（２６０）、を修正することができる。その上、本実施形態は、ＪＶＥＴ又はＨＥＶＣに限定されるものではなく、他の規格、他の推奨、及び、その拡張に対して、適用することができる。

様々な方法について本明細書において説明しており、各方法は、説明した方法を達成する、１つ又は複数のステップ、あるいは、１つ又は複数のアクション、を含む。ステップ又はアクションの特定の順序が、方法の適切な動作のために必要とされない限り、特定のステップ及び／又は特定のアクションに関しての、順序及び／又は使用は、変更されてもよいし、また、組み合わされてもよい。別段の指示がない限り、あるいは、技術的に除外されない限り、本明細書において説明する様々な態様は、個々に使用することができる、あるいは、互いに組み合わせて使用することができる。本明細書では、様々な数値が使用されており、例えば、整数実装のためにビットシフトで使用されるパラメータ、フィルタリングパラメータ、及び、イントラ予測のために使用される参照サンプルの数、などが使用されている。特定の数値は、例示の目的のものであり、説明する態様は、これら特定の数値に限定されるものではない。

図６は、一実施形態による、映像データを復号する方法（６００）を示している。ステップ６１０において、複数の隣接する参照サンプルを使用して、復号されるべきブロック内のサンプルに関する初期予測子を形成し、複数の隣接する参照サンプルを、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含むものとする。ステップ６２０において、第１参照サンプルについて第１予測子を取得し、第２参照サンプルについて第２予測子を取得する。ステップ６３０において、サンプルに関する初期予測子を、（１）第１参照サンプルと第１予測子との間の第１差に基づいて、及び、（２）第２参照サンプルと第２予測子との間の第２差に基づいて、調整し、これにより、サンプルに関する予測子を形成する。その後、ステップ６４０において、形成された予測子に応答して、例えば予測ブロックに対して予測残差を加算することによって、サンプルを再構成する。

図７は、一実施形態による、映像データを符号化する方法（７００）を示している。ステップ７１０において、複数の隣接する参照サンプルを使用して、符号化されるべきブロック内のサンプルに関する初期予測子を形成し、複数の隣接する参照サンプルを、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含むものとする。ステップ７２０において、第１参照サンプルについて第１予測子を取得し、第２参照サンプルについて第２予測子を取得する。ステップ７３０において、サンプルに関する初期予測子を、（１）第１参照サンプルと第１予測子との間の第１差に基づいて、及び、（２）第２参照サンプルと第２予測子との間の第２差に基づいて、調整し、これにより、サンプルに関する予測子を形成する。その後、ステップ７４０において、形成された予測子に応答して、例えば、オリジナルブロックと予測子ブロックとに基づいて予測残差を形成することにより、その後、変換と量子化とエントロピー符号化とを行うことにより、ブロックを符号化する。

図８は、様々な態様及び様々な実施形態が実装されるシステムの一例に関するブロック図を示している。システム８００は、後述する様々な構成要素を含むデバイスとして具現し得るとともに、本出願で説明する１つ又は複数の態様を実行するように構成されている。このようなデバイスの例としては、限定するものではないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビジョン受信機、パーソナル映像録画システム、接続された家電製品、及びサーバ、などの様々な電子デバイスが挙げられる。システム８００の様々な構成要素は、単独で又は互いに組み合わせて、単一の集積回路内において、複数のＩＣｓ内において、及び／又は、個別の部品内において、具現することができる。例えば、少なくとも１つの実施形態では、システム８００の処理構成要素及びエンコーダ／デコーダ構成要素は、複数のＩＣｓにわたって、及び／又は、個別の部品にわたって、分散している。様々な実施形態では、システム８００は、例えば、通信バスを介してあるいは専用の入出力ポートを介して、他のシステムに対してあるいは他の電子デバイスに対して、通信可能に結合される。様々な実施形態では、システム８００は、本明細書において説明する様々な態様のうちの１つ又は複数を実装するように構成されている。

システム８００は、例えば本明細書において説明する様々な態様を実装するために、内部にロードされた命令を実行するように構成された少なくとも１つのプロセッサ８１０を含む。プロセッサ８１０は、当該技術分野において公知なように、組み込みメモリ、入出力インターフェース、及び、様々な他の回路、を含むことができる。システム８００は、少なくとも１つのメモリ８２０（例えば、揮発性メモリデバイス、及び／又は、不揮発性メモリデバイス）を含む。システム８００は、ストレージデバイス８４０を含み、このストレージデバイスは、限定するものではないが、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、及び／又は、光ディスクドライブを含めた、不揮発性メモリ及び／又は揮発性メモリを含むことができる。ストレージデバイス８４０は、非限定的な例として、内部ストレージデバイス、付属ストレージデバイス、及び／又は、ネットワークアクセス可能なストレージデバイス、を含むことができる。

システム８００は、例えば符号化された映像又は復号された映像を提供するようにデータを処理するように構成されたエンコーダ／デコーダモジュール８３０を含み、エンコーダ／デコーダモジュール８３０は、それ自身のプロセッサ及びそれ自身のメモリを含むことができる。エンコーダ／デコーダモジュール８３０は、符号化機能及び／又は復号機能を実行するためにデバイス内に含まれ得る１つ又は複数のモジュールを表す。公知なように、デバイスは、符号化モジュール及び復号モジュールのうちの、一方又は双方を含むことができる。これに加えて、エンコーダ／デコーダモジュール８３０は、システム８００の別個の構成要素として実装することができる、あるいは、当業者には公知なように、ハードウェア及びソフトウェアの組合せとしてプロセッサ８１０内に組み込むことができる。

本明細書において説明する様々な態様を実行するためにプロセッサ８１０又はエンコーダ／デコーダ８３０上にロードされるべきプログラムコードは、ストレージデバイス８４０内に記憶することができ、その後、プロセッサ８１０による実行のためにメモリ８２０上へとロードすることができる。様々な実施形態によれば、プロセッサ８１０、メモリ８２０、ストレージデバイス８４０、及び、エンコーダ／デコーダモジュール８３０、のうちの１つ又は複数は、本明細書において説明するプロセスの実行中に、様々な項目のうちの１つ又は複数を記憶することができる。そのような記憶される項目は、限定するものではないが、入力映像、復号された映像又は復号された映像の一部、ビットストリーム、行列、変数、及び、方程式や数式や演算や演算ロジックの処理に起因する中間結果又は最終結果、を含むことができる。

いくつかの実施形態では、プロセッサ８１０の内部のメモリ、及び／又は、エンコーダ／デコーダモジュール８３０の内部のメモリは、命令を記憶するために、また、符号化時に又は復号時に必要とされる処理のワーキングメモリを提供するために、使用される。しかしながら、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ８１０又はエンコーダ／デコーダモジュール８３０のうちの、いずれかとすることができる）の外部メモリが、これらの機能のうちの１つ又は複数のために使用される。外部メモリは、メモリ８２０及び／又はストレージデバイス８４０とすることができ、例えば、動的揮発性メモリ及び／又は不揮発性フラッシュメモリとすることができる。いくつかの実施形態では、外部不揮発性フラッシュメモリが、テレビジョンのオペレーティングシステムを記憶するために使用される。少なくとも１つの実施形態では、ＲＡＭなどの高速の外部動的揮発性メモリが、ＭＰＥＧ−２やＨＥＶＣやＶＶＣ（多用途映像符号化）などの映像符号化操作及び映像復号操作のワーキングメモリとして使用される。

システム８００の構成要素に対する入力は、ブロック８０５で示すような様々な入力デバイスを介して提供され得る。そのような入力デバイスは、限定するものではないが、（ｉ）例えば放送事業者によって空中を通して送信されたＲＦ信号を受信するＲＦ部分、（ｉｉ）複合入力端子、（ｉｉｉ）ＵＳＢ入力端子、及び／又は、（ｉｖ）ＨＤＭＩ(登録商標）入力端子、を含む。

様々な実施形態では、ブロック８０５の入力デバイスは、当該技術分野で公知なように、関連付けられたそれぞれの入力処理構成要素を有している。例えば、ＲＦ部分は、（ｉ）所望の周波数の選択（信号の選択とも称される、また、周波数帯域への信号の帯域制限とも称される）、（ｉｉ）選択された信号のダウンコンバート、（ｉｉｉ）特定の実施形態ではチャネルと称され得る信号周波数帯域を（例えば）選択する、より狭い周波数帯域への再度の帯域制限、（ｉｖ）ダウンコンバートされて帯域制限された信号の復調、（ｖ）エラー補正の実行、及び、（ｖｉ）データパケットの所望ストリームを選択する多重化解除、に適した構成要素と関連付けることができる。様々な実施形態のＲＦ部分は、これらの機能を実行する１つ又は複数の構成要素を含み、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー補正器、及び、デマルチプレクサ、を含む。ＲＦ部分は、例えば、受信信号をより低い周波数（例えば、中間周波数、又は、ベースバンド近傍の周波数）へとダウンコンバートすることあるいは受信信号をベースバンドへとダウンコンバートすることを含むこれらの様々な機能を実行するチューナを含むことができる。セットトップボックスの一実施形態では、ＲＦ部分及びその関連する入力処理構成要素は、有線（例えば、ケーブル）媒体を介して送信されたＲＦ信号を受信し、所望の周波数帯域へと、フィルタリングとダウンコンバートと再度のフィルタリングとを行うことによって、周波数選択を実行する。様々な実施形態では、上述した（及び他の）構成要素の順序を再配置したり、これらの構成要素の一部を省略したり、及び／又は、同様の機能又は異なる機能を実行する他の構成要素を追加したり、する。構成要素の追加は、既存の構成要素どうしの間に構成要素を挿入することを含むことができ、例えば、増幅器及びアナログ／デジタルコンバータを挿入することを含むことができる。様々な実施形態では、ＲＦ部分は、アンテナを含む。

これに加えて、ＵＳＢ端子及び／又はＨＤＭＩ（登録商標）端子は、ＵＳＢ接続及び／又はＨＤＭＩ（登録商標）接続を介してシステム８００を他の電子機器に対して接続するそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様が、例えばリード−ソロモンエラー補正が、必要に応じて、例えば、別個の入力処理ＩＣ内に又はプロセッサ８１０内に実装され得ることは、理解されよう。同様に、ＵＳＢインターフェース処理又はＨＤＭＩ（登録商標）インターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣｓ内で又はプロセッサ８１０内で実装することができる。復調され、エラー補正され、多重化解除されたストリームは、例えば、プロセッサ８１０に対して、ならびに、メモリ素子及びストレージ素子と組み合わせて動作するエンコーダ／デコーダ８３０、を含む様々な処理構成要素に対して提供され、これにより、出力デバイス上への提示のために、必要に応じて、データストリームが処理される。

システム８００の様々な構成要素は、一体化されたハウジング内に設けることができる。一体化されたハウジング内では、様々な構成要素を相互接続することができ、適切な接続構成８１５を使用して、例えば、Ｉ２Ｃバスや配線やプリント回路基板を含めた当該技術分野で公知の内部バスを使用して、それらの間でデータを送信することができる。

システム８００は、通信チャネル８９０を介して他のデバイスとの通信を可能にする通信インターフェース８５０を含む。通信インターフェース８５０は、限定するものではないが、通信チャネル８９０を介してデータを送受信するように構成されたトランシーバを含むことができる。通信インターフェース８５０は、限定するものではないが、モデム又はネットワークカードを含むことができ、通信チャネル８９０は、例えば、有線媒体及び／又は無線媒体内で実装することができる。

データは、様々な実施形態では、ＩＥＥＥ８０２．１１などのＷｉ−Ｆｉネットワークを使用して、システム８００に対してストリーミングされる。これらの実施形態のＷｉ−Ｆｉ信号は、Ｗｉ−Ｆｉ通信のために適合された通信チャネル８９０及び通信インターフェース８５０を介して、受信される。これらの実施形態の通信チャネル８９０は、典型的には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするために、インターネットを含む外部ネットワークに対してのアクセスを提供するアクセスポイント又はルータに対して接続される。他の実施形態では、入力ブロック８０５のＨＤＭＩ（登録商標）接続を介してデータを配信するセットトップボックスを使用して、システム８００に対して、ストリーミングデータを提供する。さらに他の実施形態では、入力ブロック８０５のＲＦ接続を使用して、システム８００に対して、ストリーミングデータを提供する。

システム８００は、ディスプレイ８６５、スピーカ８７５、及び、他の周辺機器８８５を含めた、様々な出力デバイスに対して出力信号を提供することができる。他の周辺機器８８５は、実施形態の様々な例では、スタンドアロンＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、及び、システム８００の出力に基づいて機能を提供する他のデバイス、のうちの１つ又は複数を含む。様々な実施形態では、制御信号は、ＡＶ．Ｌｉｎｋや、ＣＥＣや、ユーザの介入の有無にかかわらずデバイスどうしの間の制御を可能にする他の通信プロトコル、などの信号送出を使用して、システム８００と、ディスプレイ８６５又はスピーカ８７５又は他の周辺機器８８５と、の間にわたって通信される。出力デバイスは、それぞれのインターフェース８６０、８７０、及び８８０を介した専用の接続を介して、システム８００に通信可能に結合することができる。これに代えて、出力デバイスは、通信インターフェース８５０を介して、通信チャネル８９０を使用して、システム８００に対して接続することができる。ディスプレイ８６５及びスピーカ８７５は、例えばテレビジョンなどの電子デバイス内において、システム８００の他の構成要素と一緒に、単一ユニットとして一体化することができる。様々な実施形態では、ディスプレイインターフェース８６０は、ディスプレイドライバを含み、例えばタイミングコントローラ（Ｔコン）チップを含む。

ディスプレイ８６５及びスピーカ８７５は、これに代えて、例えば入力８０５のＲＦ部分が個別のセットトップボックスの一部である場合には、１つ又は複数の他の構成要素とは、個別のものとすることができる。ディスプレイ８６５及びスピーカ８７５が外部構成要素である様々な実施形態では、出力信号は、例えばＨＤＭＩ（登録商標）ポートやＵＳＢポートや複合出力を含む専用の出力接続を介して、提供することができる。

一実施形態によれば、第１参照サンプルは、復号されるべき又は符号化されるべきブロックに対して隣接しているとともに、サンプルと同じ水平方向位置にあり、第２参照サンプルは、復号されるべき又は符号化されるべきブロックに対して隣接しているとともに、サンプルと同じ垂直方向位置にある。

一実施形態によれば、第１差は、復号されるべき又は符号化されるべきブロック内のサンプルの垂直方向位置に依存する第１スケーリングファクタによってスケーリングされ、第２差は、復号されるべき又は符号化されるべきブロック内のサンプルの水平方向位置に依存する第２スケーリングファクタによってスケーリングされる。

一実施形態によれば、第１スケーリングファクタ及び第２スケーリングファクタは、ブロックの幅及び高さのうちの少なくとも１つに依存する。

一実施形態によれば、第１予測子は、ブロックの上側の参照サンプルを使用して取得され、第２予測子は、ブロックの左側の参照サンプルを使用して取得される。

一実施形態によれば、第１予測子は、左上の参照サンプルと右上の参照サンプルとの補間であり、第２予測子は、左上の参照サンプルと左下の参照サンプルとの補間である。

一実施形態によれば、ブロック内の第２サンプルを、第１参照サンプルに対して隣接するものとした時に、その第２サンプルに関する予測子が、第１予測子として使用され、ブロック内の第３サンプルを、第２参照サンプルに対して隣接するものとした時に、その第３サンプルに関する予測子が、第２予測子として使用される。

一実施形態によれば、サンプルに関する初期予測子を調整するかどうかは、第１差及び第２差に基づくものとされる。一例では、それぞれが参照サンプルに対応した複数の差が取得され、サンプルに関する初期予測値は、それら複数の差の平均に基づいて調整されるべきであることが決定される。

一実施形態によれば、サンプルに関する初期予測子を調整するかどうかは、さらに、ブロックのビット深度とブロックサイズとのうちの少なくとも１つに基づくものとされる。

一実施形態によれば、ブロックは、ＤＣイントラ予測モードで又はｐｌａｎａｒイントラ予測モードで、復号される又は符号化される。

一実施形態によれば、ブロックは、ＤＣモードで、復号され又は符号化され、第１予測子は、上側の参照サンプルの平均に対応し、第２予測子は、左側の参照サンプルの平均に対応している。

一実施形態は、命令を含むコンピュータプログラムを提供するものであり、その命令は、１つ又は複数のプロセッサによって実行された時には、１つ又は複数のプロセッサに、上述した任意の実施形態による符号化方法又は復号方法を実行させる。本実施形態の１つ又は複数は、また、上述した方法により映像データを符号化又は復号する命令を記憶したコンピュータ可読ストレージ媒体を提供する。１つ又は複数の実施形態は、また、上述した方法により生成されたビットストリームを記憶したコンピュータ可読ストレージ媒体を提供する。１つ又は複数の実施形態は、また、上述した方法により生成されたビットストリームを送信又は受信する、方法及び装置を提供する。

様々な実装は、復号を含む。本出願において使用された際には、「復号」は、表示に適した最終出力を生成するために、例えば受信した符号化済みシーケンスに対して実行されるプロセスのすべて又は一部を包含することができる。様々な実施形態では、そのようなプロセスは、例えば、エントロピー復号、逆量子化、逆変換、及び差分復号などの、デコーダによって典型的に実行されるプロセスのうちの１つ又は複数を含む。「復号プロセス」という表現が、操作の部分集合を具体的に参照することを意図しているか、あるいは、一般的により広義の復号プロセスを参照することを意図しているかは、特定の説明に関する文脈に基づいて明らかであり、当業者によって十分に理解されるものと考えられる。

様々な実施形態は、符号化を含む。「復号」に関する上記の説明と同様に、本出願において使用された際には、「符号化」は、符号化されたビットストリームを生成するために、例えば入力映像シーケンスに対して実行されるプロセスのすべて又は一部を包含することができる。

本明細書において説明する実装及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、あるいは、信号、で実装することができる。単一の実装形態の文脈においてのみ説明されている場合であっても（例えば、方法としてのみ説明されている）、説明された特徴点の実施形態は、また、他の形態（例えば、装置又はプログラム）においても実施することができる。装置は、例えば、適切なハードウェア、適切なソフトウェア、及び適切なファームウェアで、実装することができる。方法は、例えば、例えばプロセッサなどの装置で実装することができ、ここでの装置は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイス、を含む一般的な処理デバイスを参照する。プロセッサは、また、通信デバイスを含み、この通信デバイスは、例えば、コンピュータ、携帯電話、ポータブル／パーソナルのデジタルアシスタント（「ＰＤＡｓ」）、及び、エンドユーザどうしの間の情報通信を容易とする他のデバイス、を含む。

「１つの実施形態」又は「一実施形態」又は「１つの実装」又は「一実装」、及び、これらの他の変形、に対する参照は、その実施形態に関連して説明した特定の特徴点や構造や特性などが、少なくとも１つの実施形態の中に含まれていることを意味する。よって、本明細書中の様々な箇所に現れる「１つの実施形態では」又は「一実施形態では」又は「１つの実装では」又は「一実装では」という表現の出現、及び、任意の他の変形表現の出現は、必ずしもすべてが同じ実施形態を参照しているわけではない。

これに加えて、本明細書では、情報の様々な断片を「決定すること」を参照することができる。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、あるいは、メモリから情報を取り出すこと、のうちの１つ又は複数を含むことができる。

さらに、本明細書では、情報の様々な断片に対して「アクセスすること」を参照することができる。情報に対してアクセスすることは、例えば、情報を受信すること、情報を（例えば、メモリから）取り出すこと、情報を記憶すること、情報を移動させること、情報をコピーすること、情報を計算すること、情報を決定すること、情報を予測すること、あるいは、情報を推定すること、のうちの１つ又は複数を含むことができる。

これに加えて、本明細書では、情報の様々な断片を「受信すること」を参照することができる。「受信すること」は、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報に対してアクセスすること、あるいは、情報を（例えば、メモリから）取り出すこと、のうちの１つ又は複数を含むことができる。さらに、「受信すること」は、典型的には、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動させること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、あるいは、情報を推定すること、のうちの１つ又は複数の操作の最中に、ある方法で又は他の方法で、関与する。

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」、「Ａ及びＢのうちの少なくとも１つ」などの場合における、「／」、「及び／又は」、「のうちの少なくとも１つ」のいずれかの使用が、第１に記載された選択肢（Ａ）のみの選択、又は、第２に記載された選択肢（Ｂ）のみの選択、又は、双方の選択肢（Ａ及びＢ）の選択、を包含することが意図されていることは、理解されよう。さらなる例として、「Ａ、Ｂ、及び／又は、Ｃ」及び「Ａ、Ｂ、及びＣ、のうちの少なくとも１つ」の場合には、そのような表現は、第１に記載された選択肢（Ａ）のみの選択、又は、第２に記載された選択肢（Ｂ）のみの選択、又は、第３に記載された選択肢（Ｃ）のみの選択、又は、第１及び第２に記載された選択肢（Ａ及びＢ）のみの選択、又は、第１及び第３に記載された選択肢（Ａ及びＣ）のみの選択、又は、第２及び第３に記載された選択肢（Ｂ及びＣ）のみの選択、又は、すべての選択肢（Ａ及びＢ及びＣ）の選択、を包含することが意図されている。これは、本技術及び関連技術の当業者には自明なように、記載される項目の数だけ、拡張することができる。

当該技術分野の当業者には自明であるように、実装は、例えば記憶され得る又は送信され得る情報を搬送するためにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行する命令、あるいは、説明された実装のいずれかによって生成されたデータ、を含むことができる。例えば、信号は、説明した実施形態のビットストリームを搬送するようにフォーマットすることができる。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、あるいは、ベースバンド信号として、フォーマットすることができる。フォーマット化は、例えば、データストリームを符号化することと、符号化されたデータストリームによってキャリアを変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。信号は、公知のように、様々に異なる有線リンク又は無線リンクを介して、送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。

Claims

映像を復号する方法であって、
複数の隣接する参照サンプルを使用して、復号されるべきブロック内のサンプルに関する初期予測子を形成することであって、前記複数の隣接する参照サンプルが、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含む、形成することと、
前記第１参照サンプルに関する第１予測子を取得すること及び前記第２参照サンプルに関する第２予測子を取得することと、
前記サンプルに関する前記初期予測子を、（１）前記第１参照サンプルと前記第１予測子との間の第１差に基づいて、及び、（２）前記第２参照サンプルと前記第２予測子との間の第２差に基づいて調整し、前記サンプルに関する予測子を形成することと、
前記形成された予測子に応答して前記サンプルを再構築することと、を含む、方法。
映像を符号化する方法であって、
複数の隣接する参照サンプルを使用して、符号化されるべきブロック内のサンプルに関する初期予測子を形成することであって、前記複数の隣接する参照サンプルが、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含む、形成することと、
前記第１参照サンプルに関する第１予測子を取得すること及び前記第２参照サンプルに関する第２予測子を取得することと、
前記サンプルに関する前記初期予測子を、（１）前記第１参照サンプルと前記第１予測子との間の第１差に基づいて、及び、（２）前記第２参照サンプルと前記第２予測子との間の第２差に基づいて調整し、前記サンプルに関する予測子を形成することと、
前記形成された予測子に応答して前記ブロックを符号化することと、を含む、方法。
映像を復号する装置であって、
１つ又は複数のプロセッサであって、前記１つ又は複数のプロセッサが、
複数の隣接する参照サンプルを使用して、復号されるべきブロック内のサンプルに関する初期予測子を形成し、ここにおいて、前記複数の隣接する参照サンプルが、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含み、
前記第１参照サンプルに関する第１予測子を取得及び前記第２参照サンプルに関する第２予測子を取得し、
前記サンプルに関する前記初期予測子を、（１）前記第１参照サンプルと前記第１予測子との間の第１差に基づいて、及び、（２）前記第２参照サンプルと前記第２予測子との間の第２差に基づいて調整し、前記サンプルに関する予測子を形成し、
前記形成された予測子に応答して前記サンプルを再構築するように構成される、１つ又は複数のプロセッサを含む、装置。
映像を符号化する装置であって、
１つ又は複数のプロセッサであって、前記１つ又は複数のプロセッサが、
複数の隣接する参照サンプルを使用して、符号化されるべきブロック内のサンプルに関する初期予測子を形成し、ここにおいて、前記複数の隣接する参照サンプルが、隣接する上側のブロックからの第１参照サンプルと、隣接する左側のブロックからの第２参照サンプルと、を含み、
前記第１参照サンプルに関する第１予測子を取得及び前記第２参照サンプルに関する第２予測子を取得し、
前記サンプルに関する前記初期予測子を、（１）前記第１参照サンプルと前記第１予測子との間の第１差に基づいて、及び、（２）前記第２参照サンプルと前記第２予測子との間の第２差に基づいて調整し、前記サンプルに関する予測子を形成し、
前記形成された予測子に応答して前記ブロックを符号化するように構成される、１つ又は複数のプロセッサを含む、装置
前記第１参照サンプルが、復号又は符号化されるべき前記ブロックに隣接し、かつ前記サンプルと同じ水平方向位置にあり、前記第２参照サンプルが、復号又は符号化されるべき前記ブロックに隣接し、かつ前記サンプルと同じ垂直方向位置にある、請求項１もしくは２に記載の方法、又は請求項３もしくは４に記載の装置。
前記第１差が、復号又は符号化されるべき前記ブロック内の前記サンプルの垂直方向位置に依存する第１スケーリングファクタによってスケーリングされ、前記第２差が、復号又は符号化されるべき前記ブロック内の前記サンプルの水平方向位置に依存する第２スケーリングファクタによってスケーリングされる、請求項１、２、５のいずれかに記載の方法、又は請求項３〜５のいずれか１項に記載の装置。
前記第１スケーリングファクタ及び前記第２スケーリングファクタが、前記ブロックの幅及び高さのうちの少なくとも１つに依存する、請求項１、２、５、及び６のいずれか１項に記載の方法、又は請求項３〜６のいずれか１項に記載の装置。
前記第１予測子が、前記ブロックの上側の参照サンプルを使用して取得され、前記第２予測子が、前記ブロックの左側の参照サンプルを使用して取得される、請求項１、２及び５〜７のいずれか１項に記載の方法、又は請求項３〜７のいずれか１項に記載の装置。
前記第１予測子が、左上の参照サンプルと右上の参照サンプルとの補間であり、前記第２予測子が、左上の参照サンプルと左下の参照サンプルとの補間である、請求項８に記載の方法、又は請求項８に記載の装置。
前記ブロック内の第２サンプルに関する予測子が前記第１予測子として使用され、前記第２サンプルが前記第１参照サンプルに隣接し、前記ブロック内の第３サンプルに関する予測子が前記第２の予測子として使用され、前記第３サンプルが前記第２参照サンプルに隣接する、請求項１、２及び５〜９のいずれか１項に記載の方法、又は請求項３〜９のいずれか１項に記載の装置。
前記サンプルに関する前記初期予測子を調整するかどうかが、前記第１差及び前記第２差に基づく、請求項１、２及び３〜１０のいずれか１項に記載の方法、及び請求項３〜１０に記載の装置。
前記１つ又は複数のプロセッサが、
それぞれが参照サンプルに対応した複数の差を取得することと、
前記サンプルに関する前記初期予測値が前記複数の差の平均に基づいて調整されるべきであることを決定することと、を実行するようにさらに構成される、請求項１１に記載の方法、又は請求項１１に記載の装置。
前記サンプルに関する前記初期予測子を調整するかどうかが、前記ブロックのビット深度とブロックサイズとのうちの少なくとも１つにさらに基づく、請求項１１もしくは１２に記載の方法、又は請求項１１もしくは１２に記載の装置。
前記ブロックが、ＤＣ又はｐｌａｎａｒイントラ予測モードで復号又は符号化される、請求項１、２及び３〜１３のいずれか１項に記載の方法、又は請求項３〜１３のいずれか１項に記載の装置。
前記ブロックが、ＤＣモードで、復号又は符号化され、前記第１予測子が、上側の参照サンプルの平均に対応し、前記第２予測子が、左側の参照サンプルの平均に対応する、請求項１、２及び３〜１４のいずれか１項に記載の方法、又は請求項３〜１４のいずれか１項に記載の装置。