JP2017535150A - ビデオ符号化および復号におけるベクトル符号化のための方法および装置 - Google Patents

Abstract

本発明は、ビデオを符号化または復号するプロセスにおいて、画素のブロックを符号化または復号するための方法およびデバイスに関する。さらに具体的には、本発明は、ＨＥＶＣスクリーンコンテンツ拡張のＩＮＴＲＡブロックコピーモードを用いる際に並列化を取り扱う方法に関する。これは、ＩＮＴＲＡブロックコピーモードにおいて、予測子ブロックを設けるために利用可能な領域の制御に基づく。これにより、並列化処理を可能にするための実装が簡明化される。【選択図】図１０

Description

本発明は、ビデオを符号化または復号するプロセスにおいて、画素のブロックを符号化または復号するための方法およびデバイスに関する。さらに具体的には、本発明は、ＨＥＶＣスクリーンコンテンツ拡張のＩＮＴＲＡ（イントラ）ブロックコピーモードを用いる際に並列化を取り扱う方法に関する。これは、ＩＮＴＲＡブロックコピーモードにおいて予測子ブロックを設けるため利用可能な領域の制御に基づく。

さらに具体的には、本方法は、画素のブロックが、同一の画像に属する予測子ブロックに基づいて予測的に符号化される場合の符号化のモードに適用する。画素のブロックを符号化するこのモードは、一般にＩＮＴＲＡブロックコピーモードと言われる。これは、高効率ビデオ符号化（ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）：ＩＳＯ／ＩＥＣ２３００８−２ ＭＰＥＧ−Ｈ Ｐａｒｔ２／ＩＴＵ−Ｔ Ｈ．２６５）国際規格のスクリーンコンテンツ拡張のためのツールの候補として検討され、現在は同規格のスクリーンコンテンツ拡張に入っている。

ビデオシーケンス中の画像を符号化するとき、画像は、まず、符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）と言われる画素の等サイズのエンティティである符号化要素に分割される。符号化ツリーブロックのサイズは、通常、６４×６４画素である。次いで、各符号化ツリーブロックは、より小さなブロックの階層的に分解され、そのサイズは変得ることができ、符号化のための実際のブロックである。これらの符号化のためのより小さなブロックは符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）と言われる。

個別の符号化ユニットの符号化は、通常、予測的である。これは、最初に、予測子ブロックが決められることを意味する。次に、予測子ブロックと符号化ユニットとの間の差が計算される。この差は残差と呼ばれる。次いでこの残差が圧縮される。符号化ユニットの実際の符号化された情報は、予測子ブロックおよび圧縮残差を算定する仕方を示すためのいくつかの情報で構成されている。最良の予測子ブロックは、効率的に圧縮できそうな小さな残差を得るため、符号化ユニットにできるだけ類似したブロックである。

符号化はロスが多いことがある、すなわち符号化のプロセスで情報が失われる。画素の復号されたブロックは、当初の符号化ユニットと正確に同じではない。通常、情報の喪失は、エントロピー符号化の前に残差に適用される量子化に由来する。この量子化は、正確さの喪失の犠牲を払って、より高い圧縮比を可能にする。通常、高い周波数、すなわち高レベルの細部はブロック中から除去される。

符号化のロスをなくすことができる、すなわち残差が量子化されない。この種の符号化は、符号化ユニットの当初のサンプルの正確なコピーを回復することを可能にする。このロスのない符号化は、ロスの多い圧縮に比べて、はるかに小さな圧縮比を代価として払って得られる。

符号化モードは、符号化ユニットの予測的な符号化法のための予測子ブロックを決めるのに用いられる方法に基づいて定義される。

第一の符号化モードはＩＮＴＲＡモードと言われる。ＩＮＴＲＡモードによれば、予測子ブロックは、現画像（現在の画像）内の符号化ユニットを直接に取り囲む画素の値に基づいて構成される。予測子ブロックが、現画像のブロックでなく構成材であることに留意する。予測子ブロックを構築するため、境界のどの画素群を実際に使い、それらをどう使うのかを決めるために、或る方向が用いられる。ＩＮＴＲＡモードの背景にある考え方は、自然画像の一般的な一貫性に起因して、符号化ユニットを直接に取り囲む画素は現符号化ユニットの画素と類似している可能性が高い、ということである。したがって、これら周辺の画素に基づく予測子ブロックを用いて、符号化ユニットの画素の値の良好な予測を得ることが可能である。

第二の符号化モードは、ＩＮＴＥＲ（インター）モードと言われる。ＩＮＴＥＲモードによれば、予測子ブロックは、別の画像のブロックである。ＩＮＴＥＲモードの背景にある考え方は、シーケンスにおいて次に続く画像は一般に非常に近似している、ということである。主な差異は、通常、カメラの視野移動に起因する、またはシーン中の被写体の動きに起因するこれらの画像の間での動きに由来する。予測子ブロックは、ベクトルが、現画像内の符号化ユニットの位置に対し、参照画像におけるその位置を示すことによって決められる。このベクトルは動きベクトルと言われる。このモードによれば、本モードを用いるかかる符号化ユニットの符号化は、動きベクトルおよび圧縮残差を含む動き情報を含む。

本文書において本発明者らはＩＮＴＲＡブロックコピーモードと呼ばれる第三の符号化モードに焦点を当てる。このＩＮＴＲＡブロックコピーモードによれば、ブロック予測子は、現画像の実際のブロックである。予測子ブロックを探すためにブロックベクトルが用いられる。このブロックベクトルは、現画像中の符号化ユニットの場所に対する、同じ現画像中の予測子ブロックの場所を示す。これは、このブロックベクトルが、ＩＮＴＥＲモードの動きベクトルといくつかの類似性を共有していることになる。これは、ときとして、類推による動きベクトルと呼ばれる。厳密に言えば、１つの画像内で動きはないことになるので、簡明化のため、本文書では、動きベクトルは常にＩＮＴＥＲモードを指し、一方、ブロックベクトルは、ＩＮＴＲＡブロックコピーモードに対して用いられる。

因果原理は、特定の符号化ユニットを復号するための全ての情報は既に再構築された符号化ユニットの基づかなければならないと述べる原理である。符号化では全情報が利用可能であると見なすことができる。すなわち、所与の符号化ユニットを符号化するために、全現画像から、またはシーケンス中の全ての復号済みで利用可能な他の画像からの任意の情報を使用することが可能ということになろう。復号においては事情が異なる。現画像の復号は、通常、全ての符号化ユニットを逐次的に復号することによって行われる。この復号の順序は、通常、ラスタスキャン順に従う、すなわち、画像の上部左から開始され、左から右へ、最上部から底部へと進む。所与の符号化ユニットを復号するとき、該現符号化ユニットの上部または左に位置する現画像の部分だけが既に復号されていることになる。これだけが、現符号化ユニットの復号のために利用可能な情報である。符号化にあたってはこのことを考慮に入れなければならない。例えば、復号では、ＩＮＴＲＡブロックコピーモードにおける予測子ブロックは、利用可能となる画像の部分に属している必要がある。

復号では、ＩＮＴＲＡブロックコピーモードを用いて符号化されたブロックを復元するために、最初に、ブロックベクトルを使って予測子ブロックが決められる。次いで、残差が復号され、生の再構築ブロックを得るために、予測子に適用される。

完了画像が再構築されたならば、いくつかのポストフィルタリングが適用される。通常、ブロック符号化に起因する再構築画像中のいくつかのアーチファクトを除去するために、最初のフィルタが適用される。このフィルタはデブロッキングフィルタと呼ばれる。通常、必須ではないが、次いで最終画像を得るためにサンプル適応ループフィルタ（ＳＡＯ：ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）が適用される。

一部の復号アーキテクチャにおいて、処理をスピードアップするために、処理が並列化される。この状況では、例えば、特定の符号化ツリーブロックが再構築されている間に、その前のブロックがフィルタされる。すなわち、或る符号化ツリーブロックの再構築と他のブロックのフィルタリングとが並行して行われる。

ＨＥＶＣ規格は、フレームの並列処理およびインター並列処理のためのフレキシブル参照フレーム管理のために、ウェーブフロント、またはタイル、またはスライスとしていくつかの高レベルの並列処理を提供する。これらのツールは必須ではないが、それでも、デコーダは、それらの関連シンタクスをたとえそれらが必須でなくても復号する必要がある。

本文書において本発明者らは、ウェーブフロントの並列処理、およびそれをどのように、個別の符号化ユニットの符号化のＩＮＴＲＡブロックコピーモードに効率的に組み合わせるか、に焦点を当てる。

ウェーブフロント並列処理（ＷＰＰ）は、符号化ツリーブロックのラインの再構築の並列化に基づく。すなわち、いくつかの符号化ツリーブロックが並行して再構築される。符号化ツリーブロックの後続のラインの再構築には前のラインからのいくつかの情報が必要であるという事実に起因して、各ラインの処理の間に後れ時間が発生する。これは、並列化された相異なるラインの再構築は、各ラインの間での後れ時間を伴って進むことを意味する。

ウェーブフロント並列処理は、ＩＮＴＲＡブロックコピーモードによって符号化された個別の符号化ユニットを再構築するときに問題をもたらすことがある。実際上、ＩＮＴＲＡブロックコピーモードによって符号化された符号化ユニットに対するブロック予測子は、基因領域全体、すなわち前の符号化ツリーブロックラインおよび現ライン（現在のライン）中の前の符号化ツリーブロックのどこかに位置し得る。前のラインが検討中のラインと並行して再構築されているので、ＩＮＴＲＡブロックコピーモードによって符号化された符号化ユニットの再構築のために予測子ブロックが必要なときに、まだそれが再構築されていないことが起こり得る。しかして、ＩＮＴＲＡブロックコピーモードは、ウェーブフロント並列再構築と完全には両立しない。

本発明は、１つ以上の前述の懸案事項に対処するために考案された。

本発明の第一態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、本方法は、前記１つのモードに対し、探索領域を、現符号化ツリーブロック（現在の符号化ツリーブロック）および座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、として定めるステップを含み、該座標は、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナー（左上端）であり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロックの座標である。

或る実施形態において、この符号化は、ウェーブフロント並列処理を用いて行われる。

本発明の第二態様では、画像を復号する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて復号されるモードであり、本方法は、前記１つのモードに対し、前記予測子ブロックを得ることの可能な領域を、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、に限定するステップを含み、該座標は、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロックの座標である。

或る実施形態において、この復号は、ウェーブフロント並列処理を用いて行われる。

本発明の第三態様では、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、本デバイスは、前記１つのモードに対し、探索領域を、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、として定めるための手段を含み、該座標は、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロックの座標である。

本発明の第四態様では、画像を復号するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって復号され、１つのかかるモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて復号されるモードであり、本デバイスは、前記前記予測子ブロックを得ることの可能な領域を、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）の符号化ツリーブロックの再構築済みブロックによって構成される領域、に限定するための手段を含み、該座標は、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロックの座標である。例えば、この領域を限定するステップは、予測子ブロックを得る対象の領域が、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）の符号化ツリーブロックの再構築済みブロックによって構成される領域の外部にあることが判明した場合、復号プロセスを実施しない（例えば停止する）形をとることができ、該座標は、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロックの座標である。

本発明の第五態様では、画像を符号化および復号するためのシステムが提供され、本システムは、前述のエンコーダの態様による画像を符号化するためのデバイスと、前述のデコーダの態様による画像を復号するためのデバイスとを含む。

この符号化のためのデバイスおよび復号のためのデバイスは、ウェーブフロント並列処理を用いるように構成することができる。

該符号化のためのデバイスおよび復号のためのデバイスは、画像をそれぞれ符号化し、復号するための同じ数の同期化スレッドを用いるように構成することが可能である。

本発明の第六態様によれば、符号化画像を含むビットストリームが提供され、符号化画像は、前述の符号化態様に従って符号化されている。

本発明の第七態様によれば、画像の符号化シーケンスを含むビットストリームが提供され、これら画像はそれぞれ、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは、複数のモードの或るモードによって符号化されており、１つのモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、ビットストリームによって示される一切の予測子ブロックの位置は、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、に限定され、該座標は、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロックの座標である。

本発明の第八態様によれば、前述のビットストリームの態様によるビットストリームを格納しているマシン可読担体またはストレージ媒体が提供される。また、この担体は、前記ビットストリームが具現化されている信号とすることも可能である。

本発明の第九態様によれば、プログラム可能装置のためのコンピュータプログラム製品が提供され、本コンピュータプログラム製品は、該プログラム可能装置中にロードされ実行されると、前述の方法の態様のいずれかによる方法を実装するための命令のシーケンスを含む。

本発明の第十態様によれば、前述の方法の態様のいずれか１つによる方法を実装するためのコンピュータプログラムの命令を格納するコンピュータ可読ストレージ媒体が提供される。

本発明のさらなる態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ_０、且つＸ≦Ｘ_０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。

上記によれば、ウェーブフロント処理を可能にするための実装が簡単である。

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。

上記によれば、探索領域がより大きくなりこれはより良好な符号化をもたらす。

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−２×（Ｙ−Ｙ_０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。

上記によれば、探索領域がより大きくなりこれはより良好な符号化をもたらす。

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）＜−２×（Ｙ−Ｙ_０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。

上記によれば、実装はより簡単となる。

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｘ≦Ｘ_０、且つＹ＝Ｙ_０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、前の符号化ツリーブロックライン群および現符号化ツリーブロックラインの全てのスレッドによって再構築された全てのデータによって構成される領域として定めるステップを含む。

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の同期化された並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、（現符号化ツリーブロックを含む）全てのスレッドにより再構築された全てのデータによって構成される領域として定めるステップを含む。

或る実施形態において、符号化はウェーブフロント並列化モードによって行われる。

本発明の別の態様によれば、画像を復号する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって復号され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、復号は、復号の複数の並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの復号に専用であり、前記複数のスレッドは同期化される。

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ_０、且つＸ≦Ｘ_０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域、として定めるための手段を含み、前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、
ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域、として定めるための手段を含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−２×（Ｙ−Ｙ_０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるための手段を含み、前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の底部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−２×（Ｙ−Ｙ_０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるための手段を含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｘ≦Ｘ_０、且つＹ＝Ｙ_０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるための手段を含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、以前の符号化ツリーブロックライン群および現符号化ツリーブロックラインの全てのスレッドによって再構築された全てのデータによって構成される領域、として定めるための手段を含む。

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の同期化された並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、全てのスレッドによって再構築された全てのデータによって構成される領域、として定めるための手段を含む。

本発明の別の態様によれば、画像を復号するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって復号され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、複数の復号並列スレッドを処理するための手段を含み、各スレッドは、符号化ツリーブロックの１つのラインの復号に専用であり、同期化とは、前記複数のスレッドを同期化することを意味する。

本発明の別の態様によれば、画像を符号化および復号するためのシステムが提供され、本システムは、本発明によるエンコーダと、本発明によるデコーダとを含む。

或る実施形態において、該エンコーダおよびデコーダは、それぞれ画像を符号化し復号するために同じ数の同期化スレッドを用いている。

本発明の別の態様によれば、符号化画像を含むビットストリームが提供され、符号化画像は本発明によって符号化されている。

本発明の別の態様によれば、プログラム可能装置のためのコンピュータプログラム製品が提供され、本コンピュータプログラム製品は、該プログラム可能装置中にロードされ実行されたとき、本発明による方法を実装するための命令のシーケンスを含む。

本発明の別の態様によれば、本発明による方法を実装するためのコンピュータプログラムの命令を格納しているコンピュータ可読ストレージ媒体が提供される。

前述で挙げた本発明のいくつかの態様は、複数のモードのうちのＩｎｔｒａブロックコピーモードであるモードについて述べているが、但し当然のことながら、これはこのモードに対する単なる任意的なラベルであって、限定することは意図されていない。したがって、これらの態様は、それらの意図範囲内に、Ｉｎｔｒａブロックコピーモードと称されるか別途に称されるかにかかわらず、符号化（または復号）されている現画像の実際のブロックである予測子ブロックに基づいて、符号化（または復号）が行われる、任意のモードを有する。

本発明による方法は少なくとも部分的にコンピュータ実装が可能である。したがって、本発明は、全体がハードウェアの実施形態、全体がソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、あるいは、一般に本明細書では全て「回路」、「モジュール」、または「システム」といわれることもある、ソフトウェアおよびハードウェア態様を組み合わせた実施形態の形を取ることができる。さらに、本発明は、媒体に具体化されたコンピュータ可用プログラムコードを有する任意の有形の表現媒体中に具現化されたコンピュータプログラム製品の形を取ることもできる。

本発明はソフトウェア中に実装可能なので、本発明は、プログラム可能装置への供給のため、任意の適切な搬送媒体上のコンピュータ可読コードとして具現化することができる。有形の搬送媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス、または固体メモリデバイスなどのストレージ媒体を含み得る。一時的搬送媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または例えばマイクロ波もしくはＲＦ信号等の電磁気信号などの信号を含み得る。

以降に、単に例示のため、以下の図面を参照しながら本発明の諸実施形態を説明することとする。

ＨＥＶＣエンコーダのアーキテクチャを示す。 ＨＥＶＣデコーダのアーキテクチャを示す。 ビデオフレームのレベル分解を示す。 ウェーブフロント処理の原理を示す。 ウェーブフロントによる、コンテキスト変数の初期化のためのブロックの場所を示す。 基因領域の概念を示す。 ＩＮＴＲＡブロックコピー探索領域を示す。 本発明によって解決される問題を示す。 本発明の１つの実施形態を示す。 本発明の１つの実施形態を示す。 本発明の１つの実施形態を示す。 本発明の１つの実施形態を示す。 本発明の１つの実施形態を示す。 本発明の１つ以上の実施形態の実装のためのコンピューティングデバイスの概略ブロック図を示す。

図１は、ＨＥＶＣエンコーダのアーキテクチャを示す。このビデオエンコーダにおいて、当初のシーケンス１０１は、画素のブロック１０２に分割される。次いで各ブロックに符号化モードが反映される。ＨＥＶＣで通常使用される、符号化モードの２つのファミリがある。すなわち、空間的予測に基づくモードまたはＩＮＴＲＡモード１０３、ならびに動き推定１０４および動き補償１０５をベースにした時間的予測に基づくモードまたはＩＮＴＥＲモードである。ＩＮＴＲＡ符号化ユニットは、一般に、ＩＮＴＲＡ予測と呼ばれる処理によって、その因果境界にある符号化済み画素から予測される。

時間的予測は、最初に、動き推定ステップ１０４において、符号化ユニットに最も近く合致する、参照フレーム１１６の参照領域中と呼ばれる以前のまたは将来のフレームを見出すことにある。この参照領域は予測子ブロックを構成する。次に、この符号化ユニットが、予測子ブロックを用いて予測され、動き補償ステップ１０５で残差が計算される。

空間的および時間的予測の双方の場合において、当初の予測子ブロックから符号化ユニットを差し引くことによって残差が計算される。

ＩＮＴＲＡ予測では、予測方向が符号化される。時間的予測では、少なくとも１つの動きベクトルが符号化される。但し、動きベクトル符号化に関するビットレートのコストをさらに低減するために、動きベクトルは直接には符号化されない。実際上は、動きが一様であると仮定すれば、動きベクトルを、その動きベクトルとその周囲の動きベクトルとの間の差として符号化するのが特に有利である。例えば、Ｈ．２６４／ＡＶＣ符号化規格では、動きベクトルは、現ブロックの上側および左側に位置する３つのブロックの間で計算されたメディアンベクトルに対して符号化される。このメディアンベクトルと現ブロックの動きベクトルとの間で計算される残差動きベクトルとも呼ばれる差だけが、ビットストリーム中に符号化される。これは、モジュール「Ｍｖ予測および符号化」１１７において処理される。各符号化ベクトルの値は、動きベクトルフィールド１１８に格納される。予測に使われる隣接の動きベクトルは、動きベクトルフィールド１１８から抽出される。

次いで、モジュール１０６で、レート歪みパフォーマンスを最適にするモードが選択される。冗長部をさらに低減するために、モジュール１０７で、一般にはＤＣＴである変換が、残差ブロックに適用され、モジュール１０８で係数に量子化が適用される。係数の量子化ブロックは、次いでモジュール１０９でエントロピー符号化され、その結果がビットストリーム１１０に挿入される。

エンコーダは、次いでモジュール１１１〜１１６で、今後の動き推定のため、符号化されたフレームの復号を実施する。これらのステップは、エンコーダとデコーダとが同じ参照フレームを持つことを可能にする。符号化フレームを再構築するために、残差は、モジュール１１１で逆量子化され、画素ドメイン中に「再構築された」残差を供するために、モジュール１１２で逆変換される。符号化モード（ＩＮＴＥＲまたはＩＮＴＲＡ）の如何によって、この残差はＩＮＴＥＲ予測子１１４またはＩＮＴＲＡ予測子１１３に加えられる。

次いで、この初期の再構築は、モジュール１１５で、１つまたはいくつかの種類のポストフィルタリングによって、フィルタされる。これらのポストフィルタが、この符号化および復号ループに組み込まれている。このことは、エンコーダ側とデコーダ側とで同じ参照フレームを用いるために、これらフィルタリングが、エンコーダ側とデコーダ側とで、再構築フレームに適用される必要があることを意味する。このポストフィルタリングの目的は、圧縮のアーチファクトを除去することである。

図２には、デコーダの原理が表されている。最初にビデオストリーム２０１が、モジュール２０２でエントロピー復号される。次いで、画素値を得るために、残差データがモジュール２０３で逆量子化され、モジュール２０４で逆変換される。また、モードデータもエントロピー復号され、そのモードの機能で、ＩＮＴＲＡ型の復号またはＩＮＴＥＲ型の復号が行われる。ＩＮＴＲＡモードの場合、ビットストリーム２０５中に指定されたＩＮＴＲＡ予測モードの機能で、ＩＮＴＲＡ予測子が決められる。モードがＩＮＴＥＲの場合、ビットストリームから動き情報が抽出される２０２。これは、参照フレームインデックスおよび動きベクトル残差で構成される。動きベクトルを得るために、動きベクトル予測子が動きベクトル残差に加えられる２１０。次いで、参照フレーム中の参照領域を見付けるために動きベクトルが使用される２０６。なお、次の復号動きベクトルの予測に用いるために、復号動きベクトルを使って動きベクトルフィールドデータ２１１が更新される。復号フレームのこの最初の再構築は、次いで、エンコーダ側で使われたのと全く同じポストフィルタを使ってポストフィルタリングされる２０７。デコーダの出力は、圧縮解除されたビデオ２０９である。

このＩＮＴＲＡブロックコピー符号化モードは、極度に繰り返しの多いパターンに特によく適している。具体的には、従来式のＩＮＴＲＡ予測方法を使って符号化するのが非常に困難な、例えば、グリフ、文字のグラフィカル表現、または従来式ＧＵＩ要素などのグラフィカル要素の符号化の助力となることが知られている。

予測が、隣り合う符号化ユニットの間の一致性に基づいているのに注目すべきである。この一致性は、現フレーム内で検討するときは地理的であり、連続するフレーム群に亘って検討するときは時間的となり得よう。この種の一致性は自然な画像中で生じる。ＩＮＴＲＡブロックコピー符号化モードは、テキストまたは象徴画像に専用のモードとして見られるので、この種の画像に対して予測は無用と考えられる。例えば、相互に近い良好な予測子を有するテキストを表現する画像中の２つの連続する符号化ユニットを有する理由はない。第一符号化ユニットが文字「Ａ」の一部であるとすれば、良好な予測子ブロックは、したがって、テキスト中の別の「Ａ」から得られることになろう。また、次の符号化ユニットは、テキスト中の別の「Ｐ」からの予測子ブロックを有する「Ｐ」文字であろう。先験的に、同じ近隣中の２つの予測子ブロックを有する理由はない。これが、従来技術が、ＩＮＴＲＡブロックコピー符号化モードに予測を導入することを考えなかった理由である。

ＨＥＶＣでは、異なる種類の、ＳＥＩメッセージと呼ばれる特定のＮＡＬユニットを送信することが可能である。ＳＥＩメッセージは表示プロセスに関する情報を包含しており、したがって随意である。

図３は、ＨＥＶＣで用いられる符号化構造体を示す。ＨＥＶＣおよび以前のその先行版の１つによれば、当初のビデオシーケンス３０１は、デジタル画像「画像ｉ」の連続である。当業者には周知であるように、デジタル画像は、係数が画素で表される１つ以上のマトリックスで表現される。

画像３０２はスライス３０３に分割される。スライスは画像の一部または画像の全体である。ＨＥＶＣでは、これらのスライスは、一般にサイズ６４画素×６４画素のブロックである、オーバーラップのない符号化ツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）３０４に分割される。次いで各符号化ツリーブロックを、四分ツリー分解を用いて、より小さな可変サイズの符号化ユニット（ＣＵ）３０５に反復的に分割することができる。符号化ユニットは、基本的な符号化要素であり、最大のサイズが符号化ユニットのサイズに等しい２つのサブユニット、すなわち、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）および変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）で構成される。予測ユニットは、画素値の予測のための、符号化ユニットの区画に対応する。各符号化ユニットは、最大４つの正方形区画ユニットまたは２つの矩形区画ユニット３０６にさらに区分することが可能である。変換ユニットは、ＤＣＴによって空間的に変換される基本単位を表すために用いられる。符号化ユニットは、４分ツリー表現３０７に基づいてＴＵに区分することが可能である。

各スライスは、１つのＮＡＬユニット中に組み込まれる。さらに、ビデオシーケンスの符号化パラメータは、パラメータセットと呼ばれる専用のＮＡＬユニット中に格納される。ＨＥＶＣおよびＨ．２６４／ＡＶＣでは、２種類のパラメータセットＮＡＬユニットが用いられ、第一には、全ビデオシーケンスの間変更されない全てのパラメータを集めた、シーケンスパラメータセット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）のＮＡＬユニットがある。通常、該ユニットは、符号化プロフィール、ビデオフレームのサイズ、および他のパラメータを取り扱う。第二に、ピクチャパラメータセット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）は、フレームごとに変化し得る各種の値を符号化する。また、ＨＥＶＣは、ストリームの全体的構造を表すパラメータを包含するビデオパラメータセット（ＶＰＳ：Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）も含む。

リアルタイムでまたは高速での実装のためには、多くの場合、いくつかの符号化および復号プロセスを並列化することが必要となる。ＨＥＶＣ規格は、フレーム並列化のためにウェーブフロントまたはタイルまたはスライスとしていくつかの高レベルの並列化、およびインター並列化のためにフレキシブルな参照フレームマネジメントを提供する。これらのツールは必須ではないが、それでも、デコーダは、それらツールの関連シンタクスをたとえツールが必須でなくても復号する必要がある。

本発明は、ウェーブフロント処理が、ＨＥＶＣのスクリーンコンテンツ拡張のＩＮＴＲＡブロックコピーツールと組み合わされているときのウェーブフロント処理に焦点を絞っている。ウェーブフロント処理の原理が図４に提示されている。この原理は、符号化ツリーブロックのいくつかのラインの復号処理を並列化することである。並列化を提供するため一部の予測は回避するが、符号化効率にいくばくかのロスを発生させるタイルまたは従来式スライスとは違って、このウェーブフロントは、予測の大多数を保っている。ウェーブフロントは、並列化のための各ラインの間で後れ時間を発生させる。図４の例では、４つのスレッドが並列に実行されている。すなわち、４つの現符号化ツリーブロックが並列に復号されている。スレッドの間に後れ時間があり、例えば、第二ストリームは、第一スレッドによって復号された情報の一部を必要とする。したがって、復号は、エントロピー復号に対し１つ符号化ツリーブロックの後れを伴って実行される。同様に、スレッド３は、スレッド２…などからいくつかの復号された情報を必要とする。各符号化ツリーブロックの構文解析および再構築が全く同じと見なすとすれば、図４に表わされているように、デコーダでの後れは、２つ符号化ツリーブロックとなるはずである。実際の再構築では、現符号化ツリーブロックを復号するために、右上の符号化ツリーブロックの右上の符号化ユニットが必要となり得よう。したがって、スレッドがそれの前のスレッドを待つことを防止するためには、２つ符号化ツリーブロックの後れ時間を考慮する必要がある。

ＨＥＶＣ規格では、ウェーブフロント処理は明確には定義されていない。いくつかのＣＡＢＡＣ再設定だけが明示で記載されている。フラグｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇが有効化され、或る符号化ツリーブロックのラインの最初の符号化ツリーブロックの最初の画素が復号されるとき、ＣＡＢＡＣのコンテキスト変数は、図５に表されているように、空間的に隣接したブロックＴを使って初期化される。さらに正確には、このＣＡＢＡＣのコンテキスト変数は、ブロックＴの変数と同じ値を取る。このブロックは、右上の符号化ツリーブロックの最初のブロックである。このブロックＴが利用可能でない場合、コンテキスト変数は、フレームの最初の符号化ツリーブロックとして初期化される。

したがって、ＨＥＶＣウェーブフロントについては、各符号化ツリーブロックの最初のブロックに対するＣＡＢＡＣの依存関係だけが、従来式復号プロセスとは異なる。従来式復号プロセスに対しては、符号化ツリーブロックラインの最初の符号化ツリーブロックのコンテキスト変数の値は、前の符号化ツリーブロックラインの最新の符号化ツリーブロックの最新のブロックのコンテキスト変数の値に等しく設定される。ウェーブフロントが可能にされているとき、この変数コンテキストは、右上の符号化ツリーブロック（Ｔ）のコンテキストに初期化される。これが、ウェーブフロントをエンコーダおよびデコーダの両方で用いるため、デコーダ側で必要な唯一の変更である。

さらに、いくつかのエントリポイントシンタクス要素によって、コンテキスト変数ＣＡＢＡＣをフレームの最初の符号化ツリーブロックとして再設定することが可能である。だが、これらの特定のエントリポイントは、本ソリューションに対しては不必要である。

ＨＥＶＣの定義中のスクリーンコンテンツ符号化拡張は、スクリーン符号化シーケンスを効率的に符号化するための追加のツールを包含する。現在の追加されたツールは、Ｉｎｔｒａブロックコピーモード、パレットモード、および残差カラー変換である。本発明は、Ｉｎｔｒａブロックコピーモードだけに焦点を絞っており、したがって、以下ではこのモードだけについて説明する。

しかしながら、パレットモードおよびＩＮＴＲＡブロックコピーモードは新規のイントラモードであり、前述の理由によって、それぞれ図１および２の１０３および２０５に加えられることに留意されたい。

ＨＥＶＣのスクリーンコンテンツ符号化拡張に対する追加のモードとして、Ｉｎｔｒａブロックコピー（ＩＢＣ：Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）が加えられた。この予測方法は、極度に繰り返しの多いパターンに特によく適している。具体的には、従来式のイントラ予測方法を使って符号化するのが非常に困難な、例えば、グリフ（すなわち、文字のグラフィカル表現）、または従来式ＧＵＩ要素などのグラフィカル要素の符号化の助力となることが知られている。

図６は、このＩｎｔｒａブロックコピー予測モードがどのように機能するかを示す。

ハイレベルで、画像は符号化ユニットに分割されラスタスキャン順に符号化される。しかして、符号化ブロック６０１を符号化するとき、領域６０３の全てのブロックが既に符号化／復号されており、エンコーダ／デコーダに利用可能と見なすことができる。領域６０３は、符号化ユニット６０１の基因領域と呼ばれる。符号化ユニット６０１が符号化／復号されたならば、該ユニットは、次の符号化ユニットに対する基因領域に属することになる。この次の符号化ユニットならびに全ての次に来るユニットは、打点域として示された領域６０４に属し、現符号化ユニット６０１を符号化するために使用することはできない。基因領域が生の再構築済みのブロックによって構成されていることに注目すべきである。所与の符号化ユニットを符号化するために使われる情報は、当初のブロックの情報が復号において利用できないという理由で画像の当初のブロック群ではない。復号で利用可能な唯一の情報は、基因領域中の画素のブロックの再構築済みバージョン、すなわち、これらのブロックの復号済みバージョンである。この理由で、符号化において、基因領域の先に符号化されたブロックが、これらブロックのこの再構築済みバージョンを提供するために復号される。

ＩＮＴＲＡブロックコピーは、ブロック６０１の予測を生成するため使用する必要のある、基因領域中のブロック６０２をシグナリングすることによって機能する。例えば、ブロック６０２は、照合アルゴリズムを用いて見出すことができる。ＨＥＶＣスクリーンコンテンツ拡張では、このブロックは、ブロックベクトル６０５によって示され、予測子によるこのベクトルの残差がビットストリーム中で送信される。

ＩＮＴＲＡブロックコピー予測子は、現フレームの全ての再構築済みの基因領域から得られる。他のイントラモードについては、基因領域がループフィルタリングされることはない。

このブロックベクトルは、符号化ユニット６０１の特定のポイントと予測子ブロック６０２中の相応ポイントとの間の座標上の差である。ＩＮＴＥＲブロックに対しサブ画素の精度を用いることが可能であろうが、ここでの変位量は、通常、画素の整数単位であり、したがって、コストのかかるサブ画素の補間は必要としない。

現在のＩＮＴＲＡブロックコピー設計では、各ＩＮＴＲＡブロックコピー符号化ユニットは、図３に示されるように、１つまたは２つのＰＵに分割することができる。また、最小の符号化ユニットサイズ８×８に対して、符号化ユニットは、各々４×４画素の４つのＰＵに分割することも可能である。

インターモードに対して、Ｎ×Ｎの区分化は利用可能でない。これは、４×４のブロックサイズがインターモードのため使えないことを意味する。次のテーブルは、両方のモードに対するブロックサイズをまとめたものである。

Ｉｎｔｒａブロックコピー予測モードの現在の実装では、エンコーダ側での探索領域はブロックサイズによって決まる。これを以下のテーブルに表す。

現在のエンコーダの実装では、２Ｎ×ＮおよびＮ×２ＮのＰＵのサイズは、８×８の符号化ユニットに対してだけ検証されていることに留意されたい。これらのサイズはこのテーブルには示されていない。２つの型のイントラブロックコピーブロックベクトル推定がある。第一型は従来式ＩＮＴＲＡブロックコピー探索であり、これは、専用のブロック照合アルゴリズムに対応する。第二型はハッシュ探索アルゴリズムに基づいている。また、２つの探索範囲が定義される。

図７に示されるように、フレーム７０１に対し、２つの符号化ツリーブロックの探索範囲が、左側符号化ツリーブロック７０３と、現符号化ツリーブロック７０２の既に符号化／復号されたブロック群とに対応している。現符号化ツリーブロックの既に符号化されたブロック群が、図７中の打点領域中に示されている。全フレーム探索は、既に符号化／復号された全ての符号化ツリーブロック７０４に対応する。

イントラブロックコピーモードにおいて、「ブロック」ベクトルは、図６の符号化対象ブロック６０１中の特定のポイントと予測子ブロック６０２中の相応ポイントとの間の座標上の差である。ＩＮＴＥＲブロックについてはサブ画素の精度を用いることが可能であろうが、ここでの変位量は画素の整数単位であり、したがって、コストのかかるサブ画素の補間は必要としない。

このブロックベクトル（ＢＶ：ｂｌｏｃｋ ｖｅｃｔｏｒ）は、ＢＶの左側、上側、または現符号化ツリーブロックの直近に復号されたブロックベクトル、または直近に復号されたＢＶとすることが可能な予測子を用いて、それ自体が予測される。このベクトル予測子は、当然、復号済みイントラブロックコピーのブロックに由来する。これらの方法によって、予測子インデックスが送信される。

前述したように、ＩＮＴＲＡブロックコピーは、イントラモードであり、したがってその予測子は、いかなるループフィルタリングよりも前の、生の再構築済みデータに由来する。結果として、復号においてウェーブフロント処理を用いるデコーダの実装は減らすべきである。図８に示されるように実際は、ＩＮＴＲＡブロックコピーブロック予測子は、再構築がされていない符号化ツリーブロックから得ることも可能である。つまり、これは、デコーダがこのＩＮＴＲＡブロックコピー予測子の復号処理を十分に待つことが可能なことを意味する。したがって、各符号化ツリーブロックラインの各最初のブロックが、各々の前の符号化ツリーブロックラインの最後のブロックをポイントするという最悪の場合を考慮すると、ウェーブフロントを用いる復号処理が、従来式復号よりも有意に高速であることはできない。

本発明の第一実施形態において、現符号化ツリーブロックに対し、ＩＮＴＲＡブロックコピーの探索範囲は、全ての左側、左上、および上側の符号化ツリーブロック、および、当然ながら現符号化ツリーブロックの再構築済みブロックに限定される。ＩＮＴＲＡブロックコピーの探索範囲は、ＩＮＴＲＡブロックコピーモードによって所与の符号化ユニットの符号化するために、予測子ブロックが探索可能な画像中の領域である。これは、エンコーダ側で、右上の符号化ツリーブロックはＩＮＴＲＡブロックコピー予測のために利用できないと見なされ、結果として、デコーダ側で、現符号化ツリーブロックに対するＩＮＴＲＡブロックコピーブロック予測子がどの右上符号化ツリーブロックもポイントできない、ことを意味する。図９は、スレッド４の現符号化ツリーブロックに対するこの実施形態を示す。

すなわち、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ_０、且つＸ≦Ｘ_０
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定められ、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は現符号化ツリーブロックの座標である。当然ながら、この領域は、現符号化ツリーブロックに対して既に再構築されたブロックだけを包含する。

このソリューションは、実装に関しては非常に簡単で、ウェーブフロント処理を大幅に簡略化する。

他の諸実施形態において、符号化効率を向上すべく、さらに多くの再構築済みブロックが、ＩＮＴＲＡブロックコピー予測または現符号化ツリーブロックのため利用可能である。

１つの実施形態において、現符号化ツリーブロックの右上から始まり画像の上端で終わる、斜め方向ブロック群の左側に位置する全ての符号化ツリーブロック（ＣＴＢ）が、ＩＮＴＲＡブロックコピー予測のために利用可能である。前述の斜め方向ブロック群は、１つＣＴＢをｘ軸に沿って正方向に、次いで１つＣＴＢをｙ軸に沿って負方向に次々と進むラインを追って、段のある（すなわち階段状の）パスをラインが画像の上端に達するまでたどる。さらに、現ＣＴＢ行（スレッド）の任意の既に再構築済みのＣＴＢ、および現ＣＴＢの任意の再構築済みのブロックも、ＩＮＴＲＡブロックコピー予測のために利用可能である。図１０は、４番目のスレッドの現符号化ツリーブロックに対するこの実施形態を示す。デコーダ側では、現符号化ツリーブロックに対するＩＮＴＲＡブロックコピー予測子はこの領域だけに由来する。これは、スレッドの間の１つ符号化ツリーブロックの後れ時間を用いるエンコーダに対応する。

すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。

別の実施形態において、現符号化ブロックの再構築済みブロックに加え、斜め方向ブロック群の左側の全ての符号化ツリーブロックは、２つ符号化ブロック遅れでＩＮＴＲＡブロックコピー予測のために利用可能である。図１１は、４番目のスレッドの現符号化ツリーブロックに対するこの実施形態を示す。

すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−２（Ｙ−Ｙ_０）
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。

この実施形態は、最初のものに比べて符号化効率を増加させるが、図１１に示されているように、この探索範囲はスレッド間の後れ時間を増加させる可能性がある。

別の実施形態において、ＩＮＴＲＡブロックコピー予測のために、現符号化ブロックの再構築済みブロックに加え、前の符号化ツリーブロックラインについては１つ符号化ツリーブロックの後れ、全ての他の前の符号化ツリーブロックラインは２つ符号化ツリーブロックの後れで、斜め方向ブロック群の左側の全ての符号化ツリーブロックが利用可能である。図１２は、４番目のスレッドの現符号化ツリーブロックに対するこの実施形態を示す。これは、現符号化ツリーブロックの復号のため再構築済みの右上符号化ユニットを利用可能にするために、スレッドの間で２つ符号化ツリーブロックの遅れでフレームを復号するデコーダに対応する。この領域は、デコーダのウェーブフロント処理に対しより深く専用化される。

すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）＜−２（Ｙ−Ｙ_０）
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。

１つの実施形態において、一スレッドの各ＩＮＴＲＡブロックコピーのブロックは、この同じスレッドによって再構築されたブロックだけにアクセスが可能である。これは、エンコーダ側での、ＩＮＴＲＡブロックコピーのための符号化ツリーブロックラインの探索領域の使用に対応する。この実施形態は、ウェーブフロント処理に対するフレキシブルな復号を提供する。実際上、ＩＮＴＲＡブロックコピーを使わない実装に比べ、符号化ツリーブロックラインの間の追加的な依存性はないが、この実施形態は符号化効率を低下させる。

すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｘ≦Ｘ_０、且つＹ＝Ｙ_０
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。

或る特定の実施形態において、ウェーブフロントが可能にされているとき、エンコーダおよびデコーダの両方が、必要な数のスレッドを備えたウェーブフロント並列化を用いる。さらに、この実施形態に対してはこれらスレッドが同期化される。これは、各スレッドが、後続の符号化ツリーブロックの復号を開始する前に、他のスレッドの全ての符号化ツリーブロックの復号の終了を待つことを意味する。この場合、エンコーダおよびデコーダにおいて、全ブロックの再構築が符号化ツリーブロックレベルで同期化される。この実施形態では、或るスレッドのＩＮＴＲＡブロックコピーブロックは、全ての利用可能な再構築済み符号化ツリーブロックに、たとえ対象符号化ツリーブロックが下側の符号化ツリーブロックライン中に在ってもアクセスできる。例えば、図１２では、各復号済み符号化ツリーブロックの各ＩＮＴＲＡブロックコピーブロック（Ｘでマークされている）は、従来式実装中のスレッド４の全ての利用可能なデータにアクセスできる。さらに、或る符号化ツリーブロックの各ブロックは、それ自体の符号化ツリーブロックの全ての再構築済みブロックにアクセスすることが可能である。この実施形態の利点は、それが各符号化ツリーブロックに対するブロックの平均数を増加させ、可能な予測の不足に起因して、他の後続の符号化ツリーブロックラインに比べてビットレートが一般により高い１番目の符号化ツリーブロックラインに対する探索領域を増大させることである。この実施形態では、単一スレッドデコーダが複数スレッドデコーダと同じ復号結果を得られることに留意されたい。実際上、符号化ツリーブロックの同期化だけが必須である。

図１３は、２つＣＴＢ後れに対し、単一スレッドデコーダ実装が使われた場合のＣＴＢの復合順序を示す。考慮されている後れが１つＣＴＢの場合は別の順序が必要である。

図１４は、本発明の１つ以上の実施形態の実装のためのコンピューティングデバイス１４００の概略ブロック図である。コンピューティングデバイス１４００は、マイクロコンピュータ、ワークステーション、または軽量携帯デバイスなどのデバイスであってよい。コンピューティングデバイス１４００は、以下に接続された通信バスを含む：
− マイクロプロセッサなど、ＣＰＵとも呼ばれる中央処理ユニット１４０１；
− 本発明の実施形態の方法の実行コード、ならびに本発明の実施形態による、画像の少なくとも部分を符号化または復号する方法を実装するために必要な変数およびパラメータを記録するようになされたレジスタを格納するための、ＲＡＭとも呼ばれるランダムアクセスメモリ１４０２であって、そのメモリ容量は、例えば拡張ポートに接続された随意的ＲＡＭによって拡張可能な、該ランダムアクセスメモリ；
− 本発明の実施形態を実装するためのコンピュータプログラムを格納するための、ＲＯＭとも呼ばれる読み取り専用メモリ１４０３
− ネットワークインターフェース１４０４は、通常、通信ネットワークに接続され、それを介して処理対象のデジタルデータが送信または受信される。
ネットワークインターフェース１４０４は単一のネットワークインターフェースとすることも、各種のネットワークインターフェース（例えば、有線およびワイヤレスインターフェース、または各種の有線またはワイヤレスインターフェース群）のセットで構成することも可能である。ＣＰＵ１４０１中で実行されるソフトウェアアプリケーションの制御の下で、データパケットが、送信のためネットワークインターフェースに書き込まれ、あるいは受信のためネットワークインターフェースから読み取られる；
− ユーザインターフェース１４０５は、ユーザからの入力を受信するため、あるいはユーザに情報を表示するために使うことができる；
− ＨＤとも呼ばれるハードディスク１４０６は、大量ストレージデバイスとして設けることが可能である。
− Ｉ／Ｏモジュール１４０７は、映像源またはディスプレイなどの外部デバイスとの間でデータを受信／送信するために使うことができる。

実行可能コードは、読み取り専用メモリ１４０３中、ハードディスク１４０６上、または例えばディスクなどのリムーバブルデジタル媒体上のいずれかに格納することが可能である。別形によれば、プログラムの実行可能コードは、実行される前に、ハードディスク１４０６など通信デバイス１４００のストレージ手段の１つの中に格納するために、ネットワークインターフェース１４０４を介し通信ネットワークを用いて受信することができる。

中央処理ユニット１４０１は、本発明の実施形態によるプログラムまたはプログラム群の命令またはソフトウェアコードの部分、の実行を制御および命令するようになされており、これら命令は前述のストレージ手段の１つの中に格納される。電源が入った後、ＣＰＵ１４０１は、当該命令が、例えばプログラムＲＯＭ１４０３またはハードディスク（ＨＤ：ｈａｒｄ−ｄｉｓｃ）１４０６からロードされた後、主ＲＡＭメモリ１４０２からのソフトウェアアプリケーションに関する命令を実行することができる。かかるソフトウェアアプリケーションは、ＣＰＵ１４０１に実行されると、本明細書に記載のフローチャートのステップを遂行させる。

本明細書に記載のアルゴリズムのどのステップも、ＰＣ（「Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（パーソナルコンピュータ）」）、ＤＳＰ（「Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（デジタル信号プロセッサ）」）、またはマイクロコントローラなどのプログラム可能コンピューティングマシンによる、命令セットまたはプログラムの実行によってソフトウェアの中に実装すること、あるいは、ＦＰＧＡ（「Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（フィールドプログラマブルゲートアレイ）」）またはＡＳＩＣ（「Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途集積回路）」）などのマシンまたは専用部品によってハードウェアの中に別途に実装すること、が可能である。

特定の実施形態を参照しながら、本発明を上記で説明してきたが、本発明は、これら特定の実施形態に限定されるものでなく、当業者には諸修改が明白であろうがそれらの修改は本発明の範囲に含まれる。

当業者には、前述の例示的な実施形態を参照することにより、多くのさらなる修改および変形が浮かぶであろうが、これらの実施形態は、例としてだけ提示されており本発明の範囲を限定するものでなく、発明の範囲は添付の特許請求の範囲によってのみ定められる。具体的には、適切な場合、各種実施形態からの各種の特徴を置き換えることが可能である。

特許請求の範囲中の、用語「含む」は他の要素またはステップを排除するものではなく、不定冠詞「或る（ａまたはａｎ）」は複数を排除しない。相異なる従属請求項において述べられる相異なる特徴は、これらの特徴の組み合わせが有利に使用できないことを示すものではない。

Claims (16)

1. 画像を符号化する方法であって、前記画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、前記ブロックが、前記現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、前記方法は、
   前記１つのモードに対し、前記探索領域を、前記現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの、一切の再構築済みブロックによって構成される領域として定めるステップを含み、前記座標は、
   Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）であり、
   前式のＸは前記水平座標を表し、Ｙは前記垂直座標を表し、前記起点は前記画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は前記現符号化ツリーブロックの前記座標である、
   方法。
2. 符号化がウェーブフロント並列処理を用いて行われる、請求項１に記載の方法。
3. 画像を復号する方法であって、前記画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、前記ブロックが、前記現画像のブロックである予測子ブロックに基づいて復号されるモードであり、前記方法は、前記１つのモードに対し、前記予測子ブロックを得ることの可能な領域を、前記現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの、一切の再構築済みブロックによって構成される領域に限定するステップを含み、前記座標は、
   Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）であり、
   前式のＸは前記水平座標を表し、Ｙは前記垂直座標を表し、前記起点は前記画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は前記現符号化ツリーブロックの前記座標である、
   方法。
4. 復号がウェーブフロント並列処理を用いて行われる、請求項３に記載の方法。
5. 画像を符号化するためのデバイスであって、前記画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、前記ブロックが、前記現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、前記デバイスは、
   前記１つのモードに対し、前記探索領域を、前記現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの、一切の再構築済みブロックによって構成される領域として定めるための手段を含み、前記座標は、
   Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）であり、
   前式のＸは前記水平座標を表し、Ｙは前記垂直座標を表し、前記起点は前記画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は前記現符号化ツリーブロックの前記座標である、
   デバイス。
6. 画像を復号するためのデバイスであって、前記画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって復号され、１つのかかるモードは、前記ブロックが、前記現画像のブロックである予測子ブロックに基づいて復号されるモードであり、前記デバイスは、
   前記予測子ブロックを得ることの可能な領域を、前記現符号化ツリーブロックおよび座標（Ｘ，Ｙ）の前記符号化ツリーブロックの、前記再構築済みブロックによって構成される領域に限定するための手段を含み、前記座標は、
   Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）であり、
   前式のＸは前記水平座標を表し、Ｙは前記垂直座標を表し、前記起点は前記画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は前記現符号化ツリーブロックの前記座標である、
   デバイス。
7. 画像を符号化および復号するためのシステムであって、前記システムは、請求項５に記載の画像を符号化するためのエンコーダと、請求項６に記載の画像を復号するためのデバイスとを含む、システム。
8. 符号化のための前記デバイスおよび復号のための前記デバイスが、ウェーブフロント並列処理を用いるように構成される、請求項７に記載のシステム。
9. 符号化のためのデバイスおよび復号のための前記デバイスが、前記画像をそれぞれ符号化し、復号するための同じ数の同期化スレッドを用いるように構成される、請求項８に記載のシステム。
10. 符号化画像を含むビットストリームであって、符号化画像は、請求項１に記載の前記方法によって符号化されている、ビットストリーム。
11. 画像の符号化シーケンスを含むビットストリームであって、前記画像はそれぞれ、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは、複数のモードの或るモードによって符号化されており、１つのモードは、前記ブロックが、前記現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、前記ビットストリームによって示される一切の予測子ブロックの前記位置は、前記現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、に限定され、前記座標は、
    Ｙ≦Ｙ_０、且つ（Ｘ−Ｘ_０）≦−（Ｙ−Ｙ_０）であり、
    前式のＸは前記水平座標を表し、Ｙは前記垂直座標を表し、前記起点は画像の最上部左コーナーであり、（Ｘ_０，Ｙ_０）は前記現符号化ツリーブロックの前記座標である、
    ビットストリーム。
12. 請求項１１に記載のビットストリームを搬送する搬送媒体。
13. 前記搬送媒体が、前記ビットストリームを格納するストレージ媒体である、請求項１２に記載の搬送媒体。
14. 前記搬送媒体が、前記ビットストリームを具現化する信号である、請求項１２に記載の搬送媒体。
15. プログラム可能装置のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、前記プログラム可能装置中にロードされ実行されると、請求項１〜４のいずれか１項に記載の方法を実装するための命令のシーケンスを含む、コンピュータプログラム製品。
16. 請求項１〜４のいずれか１項に記載の方法を実装するためのコンピュータプログラムの命令を格納するコンピュータ可読ストレージ媒体。