JP2014239428A - デジタルビデオデータを符号化するための方法 - Google Patents

Abstract

【課題】デジタルビデオデータの符号化を高速化するために、参照キャッシュメモリを最適に使用する方法を提供する。
【解決手段】キャッシュメモリが、デジタルソース画像の画像幅より小さいキャッシュ幅を有する時、第１のフレームの画像幅がソース画像幅に対応するように、当該１つのソース画像の第１パートとスキップブロックのデータを含み、この第１パートが、キャッシュ幅よりも小さいかそれに等しい第３の画像幅を有する、フレーム３０を符号化するステップと、後続フレーム４０を、画像幅がソース画像幅に対応するように、ソース画像の第２パートとスキップブロックに対応するデータを含み、この第２パートが、キャッシュ幅より小さいかそれに等しい第４の画像幅を有する、符号化するステップとを含む。
【選択図】図１

Description

本発明は、デジタルソース画像のシーケンスに対応してデジタルビデオデータを符号化するための方法に関する。

参照キャッシュメモリは、デジタルソース画像のシーケンスに対応してデジタルビデオデータを符号化するときに符号化プロセスを高速化するために使用される。参照キャッシュメモリは、参照画像の少なくとも一部を含む。要求されたデータがキャッシュに含まれている場合（キャッシュヒットの場合）、この要求は、単にキャッシュを読み取ることによってサービスされ得、これは、比較的速く行われる。そうでない場合には（キャッシュミスの場合には）、データは、その元の記憶場所から再計算されるか、またはフェッチされなければならず、これには、比較的時間がかかる。したがって、キャッシュからサービスされ得る要求の数が多くなればなるほど、全体的なシステム性能はより高速になる。コスト効率を上げ、データを効率的に使用できるようにするためには、メモリサイズの点で、キャッシュメモリは比較的小さくなる。

参照キャッシュメモリを使用して、元の記憶場所と（キャッシュラインと呼ばれる）固定サイズのデータブロック中のキャッシュメモリとの間でデータを転送するとき、このデータは、通常、元の記憶場所（典型的な外部ＤＲＡＭメモリ）から読み取ることができる最小データ量である。画像を符号化するとき、データブロックは、マクロブロックとも呼ばれる複数のピクセルのブロックに対応する。したがって、参照キャッシュメモリに記憶されたデータは、構造化された順序で記憶され、データを構造化することにより、キャッシュメモリ中の画像データを簡単にフェッチすることができるようになる。

さらに、デジタルビデオデータの符号化専用に使用される参照キャッシュメモリのキャッシュ幅は、キャッシュメモリに記憶することが可能な最大ソース画像幅に対応する。

デジタルビデオデータを符号化するとき、参照キャッシュメモリは、予め選択された数の参照画像のブロックまたはマクロブロックラインを記憶するように構成される。この情報は、動き推定ユニットによって使用され、デジタルビデオデータの２つのフレームの間で動きが見つけられる。ブロックまたはマクロブロックラインの数は、たとえば、３つのブロック／マクロブロックラインから、その特定の適用例のために必要なブロック／マクロブロックライン数（一般的な値は、５または７）まで変動し得る。さらに、参照キャッシュメモリは、効率的に機能するために、ソース画像のブロック／マクロブロックのフルラインを記憶するのに十分な大きさでなければならない。動き探索を実行するためには、圧縮されるソース画像中の新しいブロック／マクロブロックラインごとに少なくとも１回、参照キャッシュメモリを読み取らなければならない。ソース画像のブロック／マクロブロックラインを終了すると、参照画像よりもさらに新しいブロック／マクロブロックラインについて、参照キャッシュメモリ中の最も古いブロック／マクロブロックラインを自由に使用することができる。

デジタルソース画像のシーケンスに対応するデジタルビデオデータを符号化するときに、参照キャッシュメモリを有するという利益を最適に使用するためには、データブロックの数で測定されるソース画像幅は、同じくデータブロックの数で測定されるキャッシュ幅よりも小さいか、あるいはそれと等しくなければならない。

したがって、比較的大きいソース画像幅、たとえば、４Ｋ ＵＨＤＴＶ（２１６０ｐ）（２４０×１３５マクロブロックに対応する３８４０×２１６０画素）、または８Ｋ ＵＨＤＴＶ（４３２０ｐ）（４８０×２７０マクロブロックに対応する７６８０×４３２０画素）を有するソース画像の符号化は、デジタルビデオデータの高速符号化に関してキャッシュメモリを最適に使用するために、比較的大きいキャッシュ幅を有するキャッシュメモリを必要とする。しかしながら、現在のビデオデバイスは、このサイズのキャッシュメモリを備えていない。

ビデオ符号化デバイスのキャッシュ幅は、典型的には、デジタルビデオデータの高速符号化を保証するために、ビデオ符号化デバイスが符号化しているビデオ画像のソース画像幅に従う。しかしながら、ソース画像をキャプチャする画像センサはより多くのセンサ画素を有するという事実と、ソース画像はいくつかの個別の画像センサによってキャプチャされた画像データで構成され得るという事実の両方に起因して、ソース画像の画素数がより大きくなる傾向がある。したがって、ビデオ符号化デバイスが大きいソース画像を符号化する際には、いくつかの理由により、つまり、大きいキャッシュメモリは、すべて使用できる場合には、比較的大きな電力を必要とし、複雑となり、したがって、製造コストが高くなるので、ソース画像のサイズと一致するキャッシュメモリを有することができないことがある。

したがって、比較的大きいサイズのデジタルビデオデータの符号化を高速化するために、既存の参照キャッシュメモリを最適に使用する必要がある。

上記に鑑み、本発明は、上述の問題に対する解決策を見つけることを目的とする。

具体的には、本発明の第１の態様によれば、キャッシュメモリを備えるデジタルビデオデータエンコーダを使用して、デジタルソース画像のシーケンスに対応するデジタルビデオデータを符号化するための方法が提供される。デジタルソース画像の各々は、第１のブロック数に対応する等しいソース画像幅を有し、キャッシュメモリは、第２のブロック数に対応するキャッシュ幅を有し、第２のブロック数は、第１のブロック数よりも小さい。したがって、キャッシュ幅は、ソース画像幅よりも小さい。本方法は、デジタルビデオデータの１つのフレームを符号化するステップであって、当該１つのフレームが、デジタルソース画像のシーケンスの１つのデジタルソース画像の第１のパートに対応するデータを含み、当該１つのデジタルソース画像の第１のパートが、当該１つのデジタルソース画像の第１のパートに関係するデータをキャッシュメモリに記憶することができるように、第２のブロック数よりも小さいかそれに等しい第３のブロック数に対応する画像幅を有し、当該１つのフレームは、当該１つのフレームの画像幅がソース画像幅に対応するようにスキップブロックでパディングされる、１つのフレームを符号化するステップと、デジタルビデオデータの後続フレームを符号化するステップであって、後続フレームが、１つのデジタルソース画像の第２のパートに対応するデータを含み、当該１つのデジタルソース画像の第２のパートが、当該１つのデジタルソース画像の第２のパートに関係するデータをキャッシュメモリに記憶することができるように、第２のブロック数よりも小さいかそれに等しい第４のブロック数に対応する画像幅を有し、後続フレームは、後続フレームの画像幅がソース画像幅に対応するようにスキップブロックでパディングされる、後続フレームを符号化するステップとを含む。

したがって、本発明によれば、ビデオデバイスが、キャッシュ幅が制限された参照キャッシュメモリを使用して比較的大きいビデオ画像を符号化できるようにする符号化方法が提供される。本発明による符号化方法は、デジタルソース画像を３つ以上のパートに分割することによって、ソース画像幅の少なくとも半分のサイズのキャッシュ幅を有するキャッシュメモリの使用を可能にし、さらにより小さいキャッシュメモリを使用することができる。これにより、キャッシュメモリを取り付けるチップ上のスペースをメモリサイズが小さくするという点で、キャッシュメモリをさらに比較的小さくすることができる。さらに、比較的小さいキャッシュメモリは、比較的大きいキャッシュメモリよりも安価に製造される。さらに、本発明による符号化方法は、たとえば、ＩＳＯ／ＭＰＥＧ規格またはＩＴＵ−Ｈ．２６Ｘ規格のいずれかにしたがって符号化することが可能な、既存の標準的なデジタルビデオデータエンコーダを使用して実施することができる。さらに、本発明による符号化方法を使用することによって、符号化されたデジタルビデオデータが生成され、符号化されたデジタルビデオデータの各フレームは、ソース画像幅の画像幅に対応する画像幅を有するが、フレームレートは、デジタルソース画像のシーケンスのフレームレートの倍数である。そのようなデジタルビデオデータは、標準的なデコーダおよびビデオデバイスを使用して、ビデオデバイスのフレームレートをデジタルソース画像のシーケンスの倍数のフレームレートに設定し、画像幅をソース画像幅に設定することによって復号し、再生することができる。これは、生成されたデジタルビデオストリームが既存の復号規格に完全に適合し、さらに、メモリサイズの点でキャッシュを比較的小さくすることができるようになるということを意味する。

デジタルビデオデータのフレームおよび後続フレームは、ＩＮＴＥＲフレームとして符号化することができる。

本方法は、デジタルビデオデータの先行フレームを符号化するステップであって、先行フレームが、デジタルソース画像のシーケンスの追加のデジタルソース画像に対応し、先行フレームが、ＩＮＴＲＡフレームとして符号化される、先行フレームを符号化するステップをさらに備えることができる。ＩＮＴＲＡフレームを符号化するとき、探索は必要なく、したがって、キャッシュは、使用されない。ＩＮＴＲＡフレームは、規格にしたがって符号化される。

本方法は、デジタルビデオデータの追加フレームを提供するステップであって、追加フレームが、スキップブロックのみを備えるＩＮＴＥＲフレームである、追加フレームを提供するステップをさらに含むことができる。一定のフレームレートを取得することができるように、デジタルビデオデータの追加フレームが導入される。したがって、ＩＮＴＲＡフレームの後、いくつかの完全に空白のフレーム（スキップのみ）があり、次いで、「実」ＩＮＴＥＲフレームの符号化を開始する。

追加フレームは、先行フレームの後にあり得る。

当該１つのフレームおよび後続フレームは、追加フレームの後にあり得る。

当該１つのデジタルソース画像の第１のパートと第２のパートとは、重複しないことがある。これは、デジタルソース画像に関係する同じデータのみが１回符号化されるので、最適である。

デジタルソース画像の第１のパートおよび第２のパートの画像幅は、等しくなり得る。

デジタルソース画像のシーケンスの当該１つのデジタルソース画像は、複数の画像センサによって獲得されたデータを含み、当該１つのデジタルソース画像の第１のパートは、第１の画像センサによって獲得された画像データに対応し、当該１つのデジタルソース画像の第２のパートは、別の画像センサによって獲得された画像データに対応する。異なるセンサからの画像データは、符号化の前に、任意の重複または物理的なセンサ配置の違い、光学効果などに起因する不完全性を、自動的に、あるいは、整合させ均一にするための較正によって、たとえば、クロップする、伸張する、縮小する、ワープさせる、処理することができる。

ソース画像は、複数のパートに分割することができ、各パートのブロック数は（水平方向に）参照キャッシュに当てはまるように小さい。したがって、ソース画像幅は、キャッシュ幅の倍数であり得る。

本方法は、符号化されたデジタルビデオデータを復号するように構成されたデコーダに、符号化されたデジタルビデオデータに関係する側面情報を送信するステップであって、側面情報が、符号化されたビデオデータのフレームレート、デジタルソース画像のシーケンスのフレームレート、キャッシュ幅、およびソース画像幅のうちの少なくとも１つを備える、側面情報を送信するステップをさらに含むことができる。この情報を使用して、符号化されたビデオデータを最適な方法で表示するようにデコーダを最適化することができる。デコーダへの側面情報の送信は、サイドチャネル上で、または、ビットストリーム中の特別なメッセージによって、あるいは、マニュアル構成もしくは事前構成によって行うことができる。上記にしたがって側面情報を送信することによって、符号化されたビデオデータのフレームレートとデジタルソース画像のシーケンスのフレームレートとの比を見つけることができる。デコーダにおいて、これらのフレームレートの比を使用して、表示されることになる復号されたビデオデータのフレームを設定することができる。たとえば、デジタルビデオシーケンスを符号化するために、デジタルソース画像のシーケンスのフレームレートの４倍が使用される場合、デコーダは、元のシーケンスのすべての４つの部分が復号されるまで、新しい情報を表示することを選択しないことがある。符号化されたビデオデータを復号して表示するこの代替的な方法を使用することによって、表示されたビデオデータのフレームレートは、デジタルソース画像のシーケンスのフレームレートと対応する。

本発明の第２の態様によれば、処理能力を有するデバイス上で実施されたときに、上記方法を実装するためのプログラムがその上に記録されたコンピュータ可読記録媒体が提供される。

本発明は、特許請求の範囲に記載するフィーチャのすべての考えられ得る組合せに関するということに留意されたい。

本発明のこれらの態様および他の態様について、本発明の実施形態を示す添付図面を参照して、以下にさらに詳細に記載する。これらの図面は、本発明を特定の実施形態に限定するものではなく、本発明の説明および理解のために使用される。

本発明による符号化されたデジタルビデオデータの４つのフレームのシーケンスの概略図である。 本発明によるデジタルビデオデータを符号化するための方法を示す概略的なフローチャートである。

以下の記載では、説明を目的として、本発明を完全に理解するために、特定の用語について規定する。ただし、本発明を実施するために、これらの具体的な詳細が必要ではないことは、当業者に明らかである。たとえば、本発明は、ＩＳＯ／ＭＰＥＧファミリーのビデオ符号化規格（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４）およびＩＴＵ−Ｈ．２６Ｘファミリーのビデオ推奨（Ｈ．２６１、Ｈ．２６３および拡張版、Ｈ．２６４およびＨＥＶＣ、次世代のｈ．２６５規格）を参照して記載してきた。しかしながら、同じ技法は、他のタイプのビデオ符号化規格に、たとえば、ＷＭＶファミリーに属するＭｉｃｒｏｓｏｆｔ（登録商標）コーデック、Ｏｎ２コーデック（たとえば、ＶＰ６、ＶＰ６−Ｅ、ＶＰ６−Ｓ、ＶＰ７またはＶＰ８）、あるいはＷｅｂＭに容易に適用することができる。

現在のデジタルビデオ符号化システムでは、ビデオフレームのビデオストリームのビデオフレームを圧縮するために、主要な２つのモード、すなわち、ＩＮＴＲＡモードおよびＩＮＴＥＲモードが使用される。ＩＮＴＲＡモードでは、予測、変換およびエントロピーコード化を介して単一のフレームの所定のチャネルにおける画素の空間的冗長性を活用することにより、輝度チャネルおよびクロミナンスチャネルが符号化される。離隔したフレームの間の時間的冗長性を活用するＩＮＴＥＲモードは、選択されたブロックについて１つのフレームから他のフレームまで画素の動きを符号化することによって、以前に復号された１つの（または複数の）フレームから、フレームの一部を予測する動き補償予測技法に依拠している。ＩＮＴＥＲモードでは、輝度チャネルおよびクロミナンスチャネルは、いかなる動き予測も有さない。

通常、符号化すべきフレームは、個々に圧縮され符号化されている最小コーディングユニット（ブロック、マクロブロックなど）に分割される。ＩＮＴＥＲモードでは、ブロックの各々に、１つまたは複数の動きベクトルが割り当てられる。フレームの予測は、動きベクトルのセットにしたがって、過去および／または将来の（１つまたは複数の）フレームから画素ブロックを変位させることによって構築される。最終的には、残差信号と呼ばれる、符号化すべきフレームの間の差を、ＩＮＴＲＡモードと同様に変換し、その動き補償予測とともにエントロピーコード化して、ビットストリームを形成する。

さらに、ＩＮＴＥＲモードでは、スキップブロックを使用することができる。スキップブロックは、残差誤差または動きベクトルを送信することなくコード化される。エンコーダは、それがスキップブロックであるということのみを記録する。デコーダは、すでに復号された他のブロックから、スキップブロックの動きベクトルを推測する。本発明によれば、スキップブロックの動きベクトルは、好ましくは、デジタルビデオデータの進行中のフレームのブロックから推測される。

ＩＮＴＲＡモードにしたがって符号化されたビデオフレームはＩフレームと呼ばれ、任意の過去または将来のフレームのいずれも参照しない。ＩＮＴＥＲモードにしたがって符号化されたビデオフレームは、それら自体がＩＮＴＲＡフレームまたはＩＮＴＥＲフレームである１つの過去または将来のフレームを参照して符号化される単方向予測フレーム（Ｐフレームと呼ばれる）か、あるいは、２つ以上の過去または将来の参照フレームを参照して符号化された双方向予測フレーム（Ｂフレームと呼ばれる）のいずれかである。ＰフレームとＢフレームは両方とも、以前のどのフレームでも見られず、通常は稀である新しいデータを符号化するＩブロックを含むことがある。

ＩＮＴＲＡフレームは、時間的冗長性を利用できない場合にフレームの新しいグループの始めに配置された、シーンチェンジに対応するシーンチェンジフレームか、あるいはいくらかの時間的冗長性を利用できる場合に他のロケーションに配置されたリフレッシュフレームのいずれかを備える。Ｉフレームは、通常、新しいストリームエンコーダについてのリフレッシュポイントを有するための規則的なまたは不規則な間隔で、あるいは伝送誤差についてのリカバリポイントとして挿入される。

本発明について、本発明の現時点における好ましい実施形態を図示する添付の図面を参照して、以下により詳しく記載する。ただし、本発明は、多くの異なる形態で実施することができ、また、本明細書に記載される実施形態に限定されるものとして解釈すべきではない。むしろ、これらの実施形態は、完結性および完全性のために提供され、本発明の範囲を当業者に十分に示唆するものである。

比較的大きいサイズのビデオ画像、たとえば、４Ｋビデオ画像または８Ｋビデオ画像を符号化するためには、典型的には、ビデオデバイスにおいて現在利用可能なキャッシュメモリよりも多くのキャッシュメモリが必要とされる。本発明は、この問題について、ビデオデバイスが、キャッシュ幅が制限されたキャッシュメモリを使用して比較的大きいビデオ画像を符号化できるようにする符号化方法を用いて対処する。

上述のように、本発明は、たとえば、４Ｋビデオ画像を符号化するために使用することができるが、もちろん、キャッシュメモリが処理することができる画像幅よりも（ピクセルまたはブロックの数が）大きい画像幅を有するソース画像に関する同様の問題を経験する他の適用例についても、この方法を使用することができる。その適用例の一例として、いくつかの画像センサを有するカメラが挙げられ、かかるカメラは、これらの画像センサからの画像を融合して複合画像を生成し、次いで、その複合画像を符号化する。

たとえば、４Ｋビデオ画像を符号化する場合、それは、２Ｋビデオのみを符号化することが可能なキャッシュメモリ（５０％の参照キャッシュサイズ）をもつデジタルビデオデータエンコーダを有するビデオデバイスを使用することが可能である。したがって、ソースビデオは３８４０×２１６０画素であり、この例では、キャッシュ幅は１９２０画素に制限される。

図１に、本発明による、デジタルソース画像のシーケンスに対応する符号化されたデジタルビデオデータの４つのフレームのシーケンスの一例を示す。符号化されたデジタルビデオデータのフレームは、複数のブロック２に分割される。図１に示された例では、符号化されたデジタルビデオデータの各フレームは、１６ブロックに分割される。ただし、各フレームを任意の数のブロックに分割することができる。デジタルビデオデータを符号化するために使用されるデジタルソース画像の各々は、第１のブロック数に対応する等しいソース画像幅を有する。図１のデジタルビデオデータを符号化するために使用されるソース画像は、４ブロックに対応する画像幅を有する。ただし、（１つのブロックの幅の場合を除いて）任意の数のブロックに対応する画像幅を有するソース画像を使用できることが分かる。デジタルビデオデータを符号化するために使用されるデジタルビデオデータエンコーダは、第２のブロック数に対応するキャッシュ幅をもつキャッシュメモリを有し、図１に示した例では、キャッシュ幅は、２つのブロックに対応する。第２のブロック数は、第１のブロック数よりも小さい。したがって、キャッシュ幅は、ソース画像幅よりも小さい。

デジタルビデオデータの第１のフレームであるＩＮＴＲＡフレーム１０は、ＩＮＴＲＡ符号化モードを使用して符号化される。ＩＮＴＲＡフレーム１０は、デジタルソース画像のシーケンスの第１のフレームに対応する。ＩＮＴＲＡフレームを符号化するためには、キャッシュメモリは使用されない。ＩＮＴＲＡフレーム１０は、ソース画像幅に対応する画像幅を有する。したがって、図１に示した例では、ＩＮＴＲＡフレーム１０の画像幅は、４ブロック幅である。

各ＩＮＴＲＡフレームについて、デジタルビデオデータの少なくとも１つの追加フレーム２０は、ＩＮＴＥＲ符号化モードを使用して符号化される。少なくとも１つの追加フレーム２０は、ソース画像幅に対応する画像幅を有する。デジタルビデオデータの追加フレーム２０は、複数のスキップブロックとして符号化される。デジタルビデオデータの追加フレーム２０は、デジタルソース画像のシーケンスのフレームのいずれにも対応しない。追加フレーム２０の量は、デジタルソース画像のシーケンスの後続フレームが分割されるパートの数に依存し、後続フレームを複数のパートに分割することについては、以下を参照されたい。追加フレーム２０の量は、（デジタルソース画像のシーケンスの後続フレームが分割されるパートの数）−１に等しい。たとえば、後続フレームが４つのパートに分割される場合、追加フレームの数は３である。図１に示した例では、デジタルソース画像のシーケンスの後続フレームは２つのパートに分割されるので、追加フレームの量は１である。一定のフレームレートが取得されるように、デジタルビデオデータの追加フレーム２０が導入される。

デジタルソース画像のシーケンスの第１のフレームの後にあるデジタルソース画像のシーケンスの後続フレームを符号化するためには、ＩＮＴＥＲ符号化モードが使用される。後続フレームは、複数のパートに分割され、図１では、２つのパートが使用されるが、それらのパートの数は、キャッシュ幅とデジタルソース画像の幅とに応じて変動し得ることが分かる。デジタルソース画像の後続フレームのパートは、デジタルソース画像のパートに関するデータをキャッシュメモリに記憶することができるように、キャッシュ幅よりも小さいかそれに等しい画像幅を有する。その後、図１のデジタルビデオデータの第３のフレームに対応するフレーム３０が、ＩＮＴＥＲ符号化モードを使用して符号化される。フレーム３０は、後続のデジタルソース画像の第１のパートに対応するデータを含む第１の領域と、スキップブロックでパディングされた領域とを含む。図１では、第１の領域のブロックにはＰと付し、スキップブロックでパディングされた領域のブロックにはＳと付している。その後、スキップブロックでパディングされる第１の領域（第１の領域のブロックは図１ではＳと付されている）と、後続のデジタルソース画像の第２のパートに対応するデータを含む別の領域（別の領域のブロックは図１ではＰと付されている）とを備える、図１のデジタルビデオデータの第４のフレームに対応する後続フレーム４０が、ＩＮＴＥＲ符号化モードを使用して符号化される。フレーム３０および後続フレーム４０の画像幅は、ソース画像幅に対応する。したがって、図１の例ではデジタルソース画像のシーケンスの後続フレームは、２つの別個のＩＮＴＥＲフレームを使用して符号化される。

この例に記載される画像パートのサイズは、デジタルビデオデータを符号化するために使用されるエンコーダおよびデジタルビデオデータを復号するために使用されるデコーダの特定の要件に適合するように変えることができる。たとえば、キャッシュ幅がソース画像幅の１／２よりも小さい場合、ソース画像は、ソース画像と同じ高さを有する４つのパートに分割することができ、画像幅は、ソース画像幅の１／４となる。

本発明による符号化方法は、ＩＳＯ／ＭＰＥＧ規格またはＩＴＵ−Ｈ．２６Ｘ規格のいずれかにしたがって符号化することができる既存の標準的なデジタルビデオデータエンコーダを使用して実施することができる。

本発明による符号化方法を使用することによって、符号化されたデジタルビデオデータが生成され、符号化されたデジタルビデオデータの各フレームは、ソース画像幅の画像幅に対応する画像幅を有するが、フレームレートは、デジタルソース画像のシーケンスのフレームレートの倍数となる。そのようなデジタルビデオデータは、標準的なデコーダおよびビデオデバイスを使用して、ビデオデバイスのフレームレートをデジタルソース画像のシーケンスの倍数のフレームレートに設定し、画像幅をソース画像幅に設定することによって復号し、再生することができる。

したがって、図１に示した例によれば、デジタルビデオデータエンコーダは、ビデオはフルサイズである（この場合、４ブロックの画像幅を有する）が、デジタルソース画像のシーケンスのフレームレートの２倍のフレームレートであるというメッセージを、デジタルビデオデータのレシーバに送信する。

代替的には、本発明の符号化方法を使用することによって、符号化されたデジタルビデオデータを復号するように構成されたデコーダに、デコーダが最適な方法で、符号化されたビデオデータを復号して表示することができるようにする符号化方法について、知らせることが可能である。たとえば、符号化されたビデオデータのフレームレートおよびデジタルソース画像のシーケンスのフレームレートに関する情報を、あるいはキャッシュ幅およびソース画像幅に関する情報を送信することによって、２つのフレームレートの比を見つけることができる。デコーダにおいて、これらのフレームレートの比を使用して、表示されることになる復号されたビデオデータのフレームを設定することができる。たとえば、デジタルビデオシーケンスを符号化するために、デジタルソース画像のシーケンスのフレームレートの４倍が使用される場合、デコーダは、元のシーケンスのすべての４つの部分が復号されるまで、新しい情報を表示することを選択しないことがある。符号化されたビデオデータを復号して表示するこの代替的な方法を使用することによって、表示されたビデオデータのフレームレートは、デジタルソース画像のシーケンスのフレームレートと対応する。

図１の例では、デコーダによって、デジタルソース画像のシーケンスのフレームレートの２倍を使用してデジタルビデオシーケンスを符号化する。したがって、符号化されたビデオデータを復号して１つおきのフレームのみを表示する必要がある。より正確には、図１の例では、スキップブロックとデジタルソース画像のシーケンスの後続フレームの最後のＩＮＴＥＲフレームである後続フレーム４０とのみを備える追加フレーム２０が表示されることになる。スキップブロックは、以前のフレームからの画像情報が表示されることを暗示する。

次に、図２を参照して、デジタルソース画像のシーケンスに対応するデジタルビデオデータを符号化するための、本発明による方法についてより詳細に論じる。デジタルソース画像の各々は、第１のブロック数に対応する等しいソース画像幅を有する。本方法は、第２のブロック数に対応するキャッシュ幅を有するキャッシュメモリを備えるデジタルビデオデータエンコーダを使用して実行され、第２のブロック数は、第１のブロック数よりも小さい。したがって、キャッシュ幅は、ソース画像幅よりも小さい。本方法は、以下のステップを含む。

ステップ２０１において、デジタルソース画像のシーケンスの第１の画像に対応するデータを含むＩＮＴＲＡフレーム１０を符号化する。

ステップ２０２において、スキップブロックのみを含むＩＮＴＥＲフレームである少なくとも１つの追加フレーム２０を提供する。

ステップ２０３において、デジタルソース画像のシーケンスの第１のソース画像の後にあるデジタルソース画像のシーケンスのデジタルソース画像を複数のパートに分割する。後続のデジタルソース画像の各パートは、デジタルソース画像の各パートに関係するデータをキャッシュメモリに記憶することができるように、キャッシュ幅よりも小さいかそれに等しい画像幅を有する。好ましくは、後続のソース画像のパートの画像幅は等しい。

ステップ２０４において、第１のフレームの画像幅がソース画像幅に対応するように、後続のデジタルソース画像の第１のパートとスキップブロックとに対応するデータを含む、デジタルビデオデータのフレーム３０を符号化する。デジタルビデオデータのフレーム３０は、ＩＮＴＥＲモードを使用して符号化される。

ステップ２０５において、第２のフレームの画像幅がソース画像幅に対応するように、後続のデジタルソース画像の別のパートとスキップブロックとに対応するデータを含む、デジタルビデオデータの後続フレーム４０を符号化する。デジタルビデオデータの後続フレーム４０は、ＩＮＴＥＲモードを使用して符号化される。

ステップ２０６において、符号化されたデジタルビデオデータを復号するように構成されたデコーダに、符号化されたビデオデータのフレームレート、デジタルソース画像のシーケンスのフレームレート、キャッシュ幅、およびソース画像幅のうちの少なくとも１つに関係する側面情報を送信する。デコーダへの側面情報の送信は、サイドチャネル上で、または、ビットストリーム中の特別なメッセージによって、あるいは、マニュアル構成もしくは事前構成によって行うことができる。

復号化は、側面情報をまったく使用せずに行うこともできる。したがって、デコーダは符号化されたデジタルビデオシーケンスを復号するときに、通常通り機能する。側面情報をまったく使用せずに復号化が行われる場合には、デコーダに側面情報を送信するステップ２０６を選択しなくてもよい。

代替的には、側面情報を使用して、復号されたデジタルビデオシーケンスのフレームの表示時間を調整することができる。そのような場合には、デジタルソース画像のシーケンスのフレームレートに一致させるために、側面情報を使用して、復号されたデジタルビデオシーケンスの表示時間を調整することができる。たとえば、デジタルソース画像のシーケンスのフレームレートの４倍を使用してデジタルビデオシーケンスを符号化した場合、デコーダは、元のシーケンスのすべての４つのパートが復号されるまで、新しい情報を表示することを選択しないことがある。

符号化されたビデオデータのフレームレートに関係するデジタルソース画像のシーケンス情報の１つのフレームを符号化するに関して、いくつのフレームが使用されるかをデコーダに知らせるために、デジタルソース画像のシーケンスのフレームレートまたはこれらのフレームレートの比を使用することができる。代替的には、キャッシュ幅およびソース画像幅、あるいはこれらの２つの幅の比を使用することができる。

当業者には、本発明は、上述の好適な実施形態に決して限定されるものではないことが分かる。そうではなく、添付の特許請求の範囲内で、多数の修正および変更が可能である。

たとえば、デジタルソース画像のシーケンスに対応するデジタルビデオデータの符号化は、ＩＳＯ／ＭＰＥＧファミリー（ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４）のビデオ符号化規格、ＩＴＵ−Ｈ．２６Ｘファミリー（Ｈ．２６１、Ｈ．２６３および拡張版、Ｈ．２６４およびＨＥＶＣ、次世代のｈ．２６５規格）のビデオ推奨にしたがって符号化するように構成された任意の標準デジタルビデオエンコーダによって実行することができることが分かる。しかしながら、同じ技法は、他のタイプのビデオ符号化規格に、たとえば、ＷＭＶファミリーに属するＭｉｃｒｏｓｏｆｔ（登録商標）コーデック、Ｏｎ２コーデック（たとえば、ＶＰ６、ＶＰ６−Ｅ、ＶＰ６−Ｓ、ＶＰ７またはＶＰ８）、あるいはＷｅｂＭに、容易に適用することができる。

エンコーダは、本発明によるデジタルビデオデータを符号化するための方法を実装するためのプログラムを実施するための処理能力を有するプロセッサを有することができる。

エンコーダは、本発明によるデジタルビデオデータを符号化するための方法のステップを実行するためのハードウェア構成要素を有することができる。

エンコーダは、本発明によるデジタルビデオデータを符号化するための方法のステップのうちのいくつかを実行するためのハードウェア構成要素と、本発明によるデジタルビデオデータを符号化するための方法のステップのうちのいくつを実装するためのプログラムを実施するための処理能力を有するプロセッサとの両方を有することができる。

デジタルビデオエンコーダは、デジタルソース画像のシーケンスをキャプチャするように構成されたデジタルビデオカメラの中に配置することができる。代替的には、デジタルビデオエンコーダは、外部ビデオキャプチャデバイスからのデジタルソース画像を符号化するように構成されるビデオ符号化デバイスの中に配置することができる。

さらに、図面、本開示および添付の特許請求の範囲を検討すると、特許請求された発明を実施する際に、当業者によって、開示された実施形態に対する変更が理解され、実効化される。また、図面および明細書では、本発明の好ましい実施形態および例について論じており、特定の用語を採用しているが、それらの用語は、単に一般的かつ記述的な意味であり、限定を目的として使用されるものではなく、本発明の範囲は、添付の特許請求の範囲において規定される。特許請求の範囲において、「ｃｏｍｐｒｉｓｉｎｇ（を備える／含む）」という単語は、他のエレメントまたはステップを除外するものではなく、不定冠詞「ａ（１つの）」または「ａｎ（１つの）」は複数を除外するものではない。

２ ・・・ブロック
１０ ・・・ＩＮＴＲＡフレーム
２０ ・・・追加フレーム
３０ ・・・フレーム
４０ ・・・後続フレーム

Claims (11)

1. キャッシュメモリを備えるデジタルビデオデータエンコーダを使用して、デジタルソース画像のシーケンスに対応するデジタルビデオデータを符号化するための方法であって、前記デジタルソース画像の各々が、第１のブロック数に対応する等しいソース画像幅を有し、前記キャッシュメモリが、第２のブロック数に対応するキャッシュ幅を有し、前記第２のブロック数が、前記第１のブロック数よりも小さい方法において、前記方法が、
   前記デジタルビデオデータの１つのフレーム（３０）を符号化するステップ（２０４）であって、前記１つのフレーム（３０）が、デジタルソース画像の前記シーケンスの１つのデジタルソース画像の第１のパートに対応するデータを含み、前記１つのデジタルソース画像の前記第１のパートが、前記１つのデジタルソース画像の前記第１のパートに関係するデータを前記キャッシュメモリに記憶することができるように、前記第２のブロック数よりも小さいかそれに等しい第３のブロック数に対応する画像幅を有し、前記１つのフレーム（３０）は、前記１つのフレーム（３０）の画像幅が前記ソース画像幅に対応するようにスキップブロックでパディングされる、１つのフレーム（３０）を符号化するステップ（２０４）と、
   前記デジタルビデオデータの後続フレーム（４０）を符号化するステップ（２０５）であって、前記後続フレーム（４０）が、前記１つのデジタルソース画像の第２のパートに対応するデータを含み、前記１つのデジタルソース画像の前記第２のパートが、前記１つのデジタルソース画像の前記第２のパートに関係するデータを前記キャッシュメモリに記憶することができるように、前記第２のブロック数よりも小さいかそれに等しい第４のブロック数に対応する画像幅を有し、前記後続フレーム（４０）は、前記後続フレーム（４０）の画像幅が前記ソース画像幅に対応するようにスキップブロックでパディングされる、後続フレーム（４０）を符号化するステップ（２０５）と
   を含み、
   前記１つのフレーム（３０）および前記後続フレーム（４０）が、ＩＮＴＥＲフレームとして符号化され、
   前記スキップブロックが、残差誤差または動きベクトルなしに記録されたブロックである、
   方法。
2. 前記デジタルビデオデータの先行フレーム（１０）を符号化するステップ（２０１）であって、前記先行フレーム（１０）が、デジタルソース画像の前記シーケンスの追加のデジタルソース画像に対応するデータを含み、前記先行フレーム（１０）が、ＩＮＴＲＡフレームとして符号化される、先行フレーム（１０）を符号化するステップ（２０１）をさらに含む、請求項１に記載の方法。
3. 前記デジタルビデオデータの追加フレーム（２０）を提供するステップ（２０２）であって、前記追加フレーム（２０）が、スキップブロックのみを備えるＩＮＴＥＲフレームである、フレーム（２０）を提供するステップ（２０２）をさらに含む、請求項２に記載の方法。
4. 前記追加フレーム（２０）が、前記先行フレーム（１０）の後にある、請求項３に記載の方法。
5. 前記１つのフレーム（３０）および前記後続フレーム（４０）が、前記追加フレーム（２０）の後にある、請求項３または４に記載の方法。
6. 前記１つのデジタルソース画像の前記第１のパートと前記第２のパートとが重複しない、請求項１〜５のいずれか一項に記載の方法。
7. 前記１つのデジタルソース画像の前記第１のパートの前記画像幅と前記第２のパートの前記画像幅とが等しい、請求項１〜６のいずれか一項に記載の方法。
8. デジタルソース画像の前記シーケンスの前記１つのデジタルソース画像が、複数の画像センサによって獲得されたデータを含み、前記１つのデジタルソース画像の前記第１のパートが、第１の画像センサによって獲得された画像データに対応し、前記１つのデジタルソース画像の前記第２のパートが、別の画像センサによって獲得された画像データに対応する、請求項１〜７のいずれか一項に記載の方法。
9. 前記ソース画像幅が、前記キャッシュ幅の倍数である、請求項１〜８のいずれか一項に記載の方法。
10. 前記符号化されたデジタルビデオデータを復号するように構成されたデコーダに、前記符号化されたデジタルビデオデータに関係する側面情報を送信するステップ（２０６）であって、前記側面情報が、前記符号化されたビデオデータのフレームレート、デジタルソース画像の前記シーケンスのフレームレート、前記キャッシュ幅、および前記ソース画像幅のうちの少なくとも１つを備える、側面情報を送信するステップ（２０６）をさらに含む、請求項１〜９のいずれか一項に記載の方法。
11. 処理能力を有するデバイス上で実行されたときに、請求項１〜１０のいずれか一項に記載した方法を実施するためのプログラムがその上に記録されたコンピュータ可読記録媒体。

Images