JP2005513927A - ビデオシーケンスの動き補償された時間補間のための方法および装置 - Google Patents

Abstract

デジタルビデオストリームを符号化する方法であって、ビデオシーケンスをフルフレームビデオシーケンスに符号化するステップと、時間的デシメイションにより前記フルフレームシーケンスから所定数のフレームを削除することによりデシメイトされたフレームシーケンスを形成するステップと、前記フルフレームシーケンスをローカルに復号するステップと、前記デシメイトされたフレームシーケンスをローカルに復号するステップと、インターポレータにより前記復号されたデシメイトされたフレームシーケンスを一時的に補間するステップと、前記フルフレームシーケンスの前記ローカルに復号さらたフレームを前記時間的補間をされたフレームシーケンスの対応するフレームと比較するステップと、少なくともフレームの前記比較に基づき前記フレームの残余情報を決定するステップと、前記デシメイトされたフレームシーケンスと前記決定された残余情報を含む出力ストリームを供給するステップとを含むことを特徴とする。

Description

発明の詳細な説明

本発明はビデオデータを符号化および復号化するための方法に関する。送信や記憶等のデジタル処理のためにビデオ信号を符号化するとき、利用可能なバンド幅と記憶容量の使用を最適化するために、ビデオデータを圧縮する。ロッシー符号化により圧縮率はよくなるが、原信号の情報は復号化の段階で完全には回復できなくなる。

ロッシー符号化により良い結果が得られるが、本発明の目的は、より良い圧縮結果が得られる符号化方法を提供することである。より良い性能とは、圧縮率とバンド幅が同等でより良い復号結果が得られること、またはより良い圧縮率または小さなバンド幅で同等の復号結果が得られることにある。この目的を達成するため、ビデオ信号を符号化する方法が請求項１により提供される。

符号化するビデオストリームから、ビデオストリームの多数のフレームを削除することにより、デシメイトされたフレームシーケンスを形成する。デシメイト（すなわちスキップ）されたフレームシーケンスのよい推定をするために、デシメイトされたフレームシーケンスを一時的に補間する。その結果、推定が適当でなく所定の基準を満たさないスキップされ推定されたフレームのエリアが検出される。エンコーダ内の利用可能なスキップされたフレームとスキップされ推定されたフレームとを比較することにより、これらのエリアを検出でき、残余情報を決定することができる。デシメイトされたフレームシーケンスと検出されたエリアの残余データだけが符号化され、符号化されたビットストリームに挿入される。好ましくは、デコーダでも利用可能なフレームに時間補間を実行するため、デシメイトされたフレームシーケンスのローカルに復号された符号化されたフレームに時間補間を施す。

符号化されたビットストリームは、メインビットストリームから残余データを抽出することにより、本発明により復号化される。その結果、メインビットストリームデータは、符号化に使用したように同様の補間プロセスを用いて補間される。残余データは、補間されたフレームシーケンスに加えられる。

本発明による符号化／復号システムを用いることにより、関係のある残余データのみが符号化信号に組み込まれるので、より良い質／バンド幅の配分が得られる。

本発明は、さらに復号方法、エンコーダ、デコーダ、オーディオビジュアル機器、データコンテナ機器、コンピュータプログラム、およびそのコンピュータプログラムが記録されたデータキャリア機器に関する。

本発明の特に有利な詳細は従属項に示されている。さらなる目的、詳細、修正、効果および発明の詳細は、図面を参照して以下の説明を読めば明らかとなる。

図１において、本発明による符号化方法の例のフロー図が示されている。ビデオシーケンスよりなるビデオ入力信号１０がビデオエンコーダに入力される。この例ではMPEGエンコーダ２０である。エンコーダ２０は、ビデオ信号を特定のデジタルフォーマットで符号化する。この例ではMPEGフォーマットである。符号化された信号は、MPEGのIPPシーケンスなどの一連のフレームよりなる。エンコーダ２０は、符号化中、時間的デシメイションを実行する。時間的デシメイションにより、所定数のフレームがスキップまたは破棄される。例として、入力ビデオ信号は50Hz信号、出力されるメインストリーム出力信号３０は12.5Hz信号である。デシメイティングファクターはそれゆえ４つに１つである。これは４フレームのシーケンスから１フレームが残ることを意味する。この符号化は標準的なMPEGの動作であることに注意すべきである。さらにまた、データストリームを必要なだけ縮小するために、デシメイティングファクターは調整可能である。エンコーダ２０は、時間的補間によりどのフレームも破棄することなく、フル符号化データストリームも符号化する。このデータストリームは、符号化されたデータストリームを復号するために好適なデコーダ３０に送られる。この例ではMPEGデコーダである。デコードされたデータストリーム３５は、50Hz信号であり、符号化プロセスでフレームはドロップされていない。データストリーム３５は、IPセレクタ４０に供給される。セレクタ４０は、オリジナルビデオ入力にエンコーダ２０が実行するのと同じ時間的削除を実行する。結果は12.5Hz信号である。この縮小された信号はモーションエスティメータ５０に入力される。モーションエスティメータ５０は、この例においてはナチュラルモーションエスティメータとして実施されている。エスティメータ５０は、追加フレームを推定することにより12.5Hzから50Hzにアップコンバージョンを実行する。エスティメータ５０は、符号化されたデータストリームを復号するとき、デコーダが実行するのと同じアップコンバージョンを実行する。本発明については、いかなる動き推定方法を使用してもよい。特に、例えばフレームレート変換方法で使用されているようなナチュラルまたはトゥルーモーションエスティメーションに基づき、動き推定でよい結果が得られる。コスト的に非常に効率のよい実施方法は、例えば、コンシューマアプリケーションに好適な3次元再帰アプローチ（3DRS）である。例えば、米国特許第5,072,293番、第5,148,269番、第5,212,548番を見よ。3DRSを用いて推定した動きベクトルは、トゥルーモーションと等しくなりがちであり、モーションベクトルフィールドは、高度な空間的および時間的整合性を抑制する。それゆえ、ベクトルの整合性は、頻繁にはスレッショルドされず、送信される残余データは非トゥルーモーション推定と比較して減少する。

アップコンバージョンされた信号５５は、評価部６０に送られる（マイナス符号で示した）。評価部にはフルデータストリーム３５も送られる（プラス符号で示した）。評価部６０は、モーションエスティメータ５０により決定されたように補間されたフレームを実際のフレームと比較する。比較により、推定されたフレームが実際のフレームからどこが違うかが決定される。それぞれのフレームの相違点が評価される。相違点が閾値を満たす場合、違いのデータが残余データとして選択される。例えば、閾値は違いに気づくかどうかに関係し、そのような閾値基準そのものは関連技術分野において知られている。この例では、残余データはメタブロックの形式で説明される。メタブロックの形式の残余データストリーム１２０は、MPEGエンコーダ７０に入れられる。残余データは、MPEG環境において設けられているプライベートデータチャンネルを用いて符号化することができる。

最後に、データと残余データストリームのメインストリームは、単一の出力データストリーム９０を形成するために、マルチプレクサ８０により結合される。出力ストリーム９０は、（例えば（ワイヤレス）データ送信コネクションを用いて）送信してもよいし、記憶してもよいし、さもなければ使用してもよい。

図２において、本発明によるデータストリーム９０を復号するための方法の例のフロー図が示されている。最初に、データストリーム９０はデマルチプレクサ１００でデマルチプレックスされ、メインデータストリーム３０と残余データストリーム１２０とに分かれる。こちら側では、デマルチプレクサは到来する信号に含まれている残余データストリームを認識するようにプログラムされている。プライベートデータチャンネルが使用される場合、デマルチプレクサは、使用されるプライベートデータチャンネルから残余データを抽出する。メインデータストリーム３０と残余データストリームの両方がMPEGデコーダにより復号される。それぞれステップ１３０と１４０に示されている。メインストリーム復号信号は、動き推定部に転送される。この例ではナチュラルモーションエスティメータ１５０として実施されている。関連技術分野において知られているモーションエスティメータ１５０は、前のステップで復号された12.5Hz信号から50Hz信号を作ることにより、供給されたデータを補間する。アップコンバージョンされた50Hz信号は、連続して結合部１６０に転送される。

デコーダ１４０からの復号された残余データは、アップコンバージョンされた信号とは別に結合部１６０に転送される。結合部１６０は、メインデータストリームの情報を残余データストリームと結合する。そのような動作は、それ自体関連技術分野において知られており、メインデータストリームのメタブロック等の情報を、メタブロック等のそれぞれの残余情報と置き換えることを含む。結合部１６０の出力信号は、50Hzフレームレートビデオデータストリームである。

データストリーム９０を受信するデコーダが残余データストリームを検出するように構成されていない場合、メインストリームだけが復号される。それゆえ、残余データ信号に完全には則っていないデコーダであっても、使用可能なビデオ信号だけが復号される。

本発明は、例えば、入力信号受信手段と符号化した信号を送信する送信手段を含み、この入力信号受信手段と送信手段に接続された本発明による画像符号化デバイスが設けられているであろう、ラジオ送信機やコンピュータネットワークルータ等のデータ送信デバイスなど様々なデバイスに適用できる。さらにまた、本発明によるデコーダは、例えばDVDレコーダやPVR(HDD)レコーダに実装することができる。本発明による符号化および復号システムは、例えば、インターネットビデオストリーミングサービスや、ホーム（ワイヤレス）ネットワークに実装することができる。

２つに１つの時間的デシメイションでよい結果を得ることができる。スキップされ推定されたフレームのエリアの５−１０％以下は、通常、残余情報を必要とする。４フレームにつき１つのデシメイションもよい結果となる。最高の画像品質を必要としないアプリケーションについては、本発明を用いてより多くのフレームをスキップすることができる。

本発明は、上に示した符号化および復号方法を実行するためのエンコーダおよびデコーダにも関する。図５において、本発明によるエンコーダの例が示されている。本エンコーダは、ビデオデータを受信する、エンコーダ３２０に接続された入力セクション３１０を含む。エンコーダは、マルチプレクサ３３０とローカルデコーダ３４０に接続されている。ローカルデコーダ３４０は、セレクタ３４０と評価部３６０に接続されている。セレクタ３５０はエスティメータ３７０を介してセレクタ３５０に接続されている。セレクタ３５０は、マルチプレクサにエンコーダ３８０を介して接続されている。マルチプレクサは出力セクション３９０を接続されている。

図６において、本発明によるデコーダの例が示されている。デコーダは、デマルチプレクサ４２０に接続されている入力セクション４１０を含む。デマルチプレクサ４２０は、デコーダ４４０と４３０に接続されている。両方のデコーダはコンバイナ４６０に接続され、デコーダ４３０は直接、デコーダ４４０はエスティメータ４５０を介して接続されている。エスティメータ４６０は出力セクション４７０と接続されている。

図３と４において、符号化／復号システムの第2の例が示されている。上に示した実施形態からの構成要素に対応する本発明の部分は、同じ参照数字で示され、それらの機能の説明は上記のとおりである。第2の実施形態は、第1の実施形態と、復号段階において追加のナチュラルモーションエスティメータが使用されている点で異なる。こちら側で、２つの異なるタイプのテンポラルインターポレータ、すなわち簡単なものと複雑なものが、エンコーダの符号化段階で使用されている。デコーダは、簡単な（比較的コストエフェクティブな）テンポラルインターポレータを使用しなければならない。複雑なテンポラルインターポレータは（比較的コストがかかる）エンコーダのみによって使用される。

ビデオストリームの符号化は、一般に、第1と第2の実施形態の両方と同様である。第2の実施形態（図３参照）において、セレクタ４０からの情報が、デシメイトされたフレームについて非常に正確な補間をするために、ナチュラルモーションタイプの複雑なテンポラルインターポレータでアップコンバージョンされる、付加的ステップ２００が入っている。この非常に正確なデータは、エバリュエータ２２０に送られる。

非常に正確な補間と並行して、データが最後のデコーダにより使用されるタイプの簡単なテンポラルインターポレータ２１０に供給される。簡単なテンポラルインターポレータ２１０は、上記のエバリュエータ２２０に供給される中程度に正確なデータストリームを生じる。エバリュエータ２２０は、正確性が高い補間と中くらいのものを比較し、マルチプレクサに修正したベクトルストリームを供給する。修正したベクトルストリームは、例えばプライベートデータチャンネルの残余情報に含まれる。ベクトルストリームは、ベクトルデータと簡単なテンポラルインターポレータ２１０の中程度に正確な補間の結果とを結合するコンバイナ２３０に供給される。結合された信号は、その情報を補間されたフレームを調整するために使用するナチュラルモーションエスティメータ５０´に供給される。その後の残余データ決定は、第1の実施形態と同様である。

結果として得られる符号化されたデータストリームは、メインストリームデータ、残余データ、修正ベクトル情報を含む。使用されるバンド幅は、第1の実施形態よりも少し広いが、しかしより良い品質結果が得られる。

復号において、図４に示したとおり、到来するデータはメインデータストリーム、残余ストリーム（第1の例と同様）、およびベクトルデータにデマルチプレックスされる。ビデオ出力の形成は、ナチュラルモーションエスティメーション１５０´が中品質エスティメータ２１０´からの、復号されたベクトルにより２３０´で修正される結果を含むということを加えれば、第1の実施形態と同様の仕方でなされる。付加的な中品質のエスティメーションを用いることにより、終了結果は非常に向上し、修正ベクトルが使用されればなお一層向上する。より良い品質を得るための追加的コストは比較的小さく、非常に簡単なモーションエスティメーションデバイスとバンド幅の若干の拡大だけである。さらにまた、付加的な高品質エスティメータが符号化ステップにおいて必要とされるが、これによるエンコーダコストの上昇はほとんどない。

上に説明したデバイスと方法の例において、残余データストリームは、メインデータストリームと同様に同じタイプの符号化方法または復号方法を用いて符号化または復号を行う。異なるタイプの符号化または復号方法を用いて残余データを符号化または復号することも同様に可能である。例えば、残余データストリームの符号化または復号は、残余データに特に適合しているかもしれない。その場合、メインデータストリームと残余データストリームの両方に同じ符号化または復号方法を用いるのと比較して、符号化がより効率的になる。例えば、一般に残余データストリームの連続するフレームの間の相関は、メインデータストリームの連続するフレームの間の相関よりも小さいので、残余データおよびメインデータ間の相関により符号化の効率が上昇することがある。残余データのエンコーダは、特殊なまたは独占的な符号化スキームであってもよく、残余データストリームのビジュアルコンテントの特徴を計算に入れてもよい。例えば、残余データ中の散らばった空でないブロックは、最初により大きなグループにまとめることができるであろう。

図７と８は、残余データとメインデータが符号化においてインターリーブされる、エンコーダとデコーダのそれぞれの例のブロック図である。

図７のエンコーダは、ビデオエンコーダ５２０、例えばMPEGエンコーダに接続された、ビデオデータを受信するための入力セクション５１０を含む。ビデオエンコーダ５２０は、マルチプレクサ５３０とローカルデコーダ５４０に接続されている。ローカルデコーダ５４０は、セレクタ５５０と評価部５６０に接続されている。セレクタ５５０は、エスティメータ５７０を介して評価部５６０に接続されている。マルチプレクサ５３０は、出力セクション５９０に接続されているかまたはそれを有している。

ビデオエンコーダ５２０は、ビデオ信号を特定のデジタルフォーマット、この例ではMPEGフォーマットで符号化する。エンコーダ５２０は、時間的補間によりフレームを捨てることのない、全符号化データストリームを供給する。このデータストリームは、符号化されたデータストリームを復号するのに好適なデコーダ５４０に送られる。この例において、デコーダ５４０はMPEGデコータである。符号化プロセスにおいてフレームがドロップされていないので、復号されたデータストリーム５３５は50Hz信号である。データストリーム５３５は、IPセレクタ５５０に供給される。セレクタ５４０は、オリジナルビデオ入力にエンコーダ５２０がしたのと同じ時間的補間を行う。その結果はまた12.5Hz信号である。この縮小された信号は、この例ではナチュラルモーションエスティメータとして実施されているモーションエスティメータ５７０に入れられる。

エスティメータ５７０は、付加的フレームを推定することにより、12.5Hzから50Hzにアップコンバージョンを行う。エスティメータ５７０は、符号化されたデータストリームを符号化するとき、デコーダが行うのと同じアップコンバージョンを行う。アップコンバージョン信号５５５は、評価部５６０（マイナス符号で示した）に送られる。全データストリーム５３５は評価部５６０に送られる（プラス符号で示した）。評価部５６０は、モーションエスティメータ５７０により判断されたように、補間されたフレームを実際のフレームと比較する。比較によって、推定されたフレームが実際のフレームとどこが違うかを判断する。例えば、比較する内容は、推定されたフレームと実際のフレームの間の違いを所定の基準に照らしてチェックすることを含んでもよい。

それぞれのフレームの違いが評価される。違いがある閾値を満たす場合、評価部５６０により、エンコーダがそれぞれのフレームをどのように再構成するかを示すリフォーマット符号がビデオエンコーダ５２０に送信される。推定されたフレームが実際のフレームに類似しているとき、評価部５６０はビデオエンコーダ５２０にスキップ符号を送信する。ビデオエンコーダ５２０は、符号化時に、評価部５６０からのデータをメインデータにインターリーブする。それにより、同じコンポーネント、例えばMPEG-2コーダとデコーダとが残余データとメインデータを両方とも符号化または復号するために用いられても、高い符号化効率を達成することが可能である。さらにまた、実際のフレームとスキップ符号は容易に検出することができる。

図９は、ビデオエンコーダ５２０の実装の例を示す図である。図９において、ビデオエンコーダはエンコーダデバイス５２４を含む。エンコーダデバイス５２４は、例えばTri-Media（登録商標）デバイス等のポストプロセッサデバイスに接続されている。ポストプロセッサデバイスは、リフォーマットデバイス５２３を介して接続されている可変長エンコーダ５２１、５２２を含む。リフォーマットデバイス５２３は、リフォーマット命令を受信するために評価部５６０に接続されている。エンコーダ５２４はビデオエンコーダ５２０の入力にも接続されている。エンコーダ５２４は、フレームを破棄することなく全符号化データストリームを符号化する。すなわち、第2のエンコーダは入力を時間的デシメイションなしに符号化する。このデータストリームは、全符号化データストリームを復号できるローカルデコーダ５４０に送信される。

図８において、本発明によるデコーダの例が示されている。デコーダは、ビデオデコーダ６３０に接続された入力セクション６１０を含む。ビデオデコーダ６３０は、セレクタ６４０の出力に接続されている。セレクタ６４０は、オーバーライタ６６０に直接接続されている。セレクタ６４０は、エスティメータ６５０にも接続されている。エスティメータ６５０は、オーバーライタ６６０に接続されている。オーバーライタ６６０はアウトプットセクション６７０に接続されている。

ビデオデコーダ６３０は、符号化されたデータストリームを復号してもよく、図７のエンコーダで符号化されたデータストリームを復号するのに特に適している。結果として得られる復号されたデータストリームは、ビデオデコーダ６３０によりセレクタ６４０に送信される。セレクタは、図７のエンコーダ中のセレクタ５５０によるダウンコンバージョンの時間的デシメイションに対応する時間的デシメイションを実行する。デシメイトされたデータは、セレクタ６４０によりエスティメータ５５０に送信される。オーバーライタデバイスは、デコーダ６３０からの情報に基づいて、エスティメータ６４０からのデータを使うかセレクタ６４０によりドロップされたデータを使うかを決定する。

図７−９のエンコーダおよび／またはデコーダがMPEGに準拠しているとき、スキップ符号はMPEG規格で提供されているようにスキップマクロブロック符号であってもよい。ほとんどのビデオ符号化規格はスキップ符号を提供しているので、そのようなスキップマクロブロック符号を他のタイプのエンコーダに使用することもできる。

さらにまた、Haskell et al., “Digital video; an introduction to MPEG-2”, Kluwer, 1997のセクション8.4.5から分かるように、符号化されたブロックパターン（cbp）符号を使用してもよい。CBPは、マクロブロック中のどのブロックが空であるか、すなわちMPEGにおいては、どのブロックが全てゼロの離散コサイン変換を有するかを表す。マクロブロックまたはフレームの一部だけが実際のフレームまたは（マクロ）ブロックで置き換えられるべきとき、他の部分はCBPで示してデータ量を削減してもよい。

発明がMPEGのコンテクストで使用されるとき、ベースフレーム（すなわち、デシメイトされたデータストリーム）の符号化のための効率的な選択は、IPPフレーム符号化である。スキップされたフレームについて、Bフレーム符号化は効果的な選択であるが、しかし、他の選択をしてもかまわない。

有利な実施形態において、24Hz等の比較的低いフレームレートのビデオシーケンスを時間的に補間することによって、デシメイトされたフレームシーケンスを補間するために使用するインターポレータよりも品質または精度が高いさらなるインターポレータにより、全フレームビデオシーケンスを得ることができる。このさらなるインターポレータは、例えば、上で説明した複雑なテンポラルインターポレータまたは複雑なナチュラルモーション、または精度がより高い２−３プルダウンアルゴリズムである。このさらなるインターポレータは、好ましくはリアルタイムではなく、オフラインのインターポレータである。上の実施形態において、比較的低いフレームレートのムービーシーケンスを補間するために品質がより高いさらなるインターポレータを用いることにより、モービーテンポラルエンハンスメントレイヤーが生成される。デコーダにおいて、ムービーテンポラルエンハンスメントレイヤーは、ムービージャダー(judder)が縮小された復号されたビデオを取得するために使用される。全フレームビデオシーケンスのデシメイションは、低フレームレートビデオシーケンスをデシメイトされたビデオシーケンスとして直接取ることにより、効率的に実行可能である。ビデオ品質を高めるため、バックワードコンパチブルビットストリームが空間的および時間的エンハンスメントレイヤーと共に生成されるように、ムービーテンポラルエンハンスメントレイヤーは、空間的エンハンスメントレイヤーと組み合わせることもできる。

本発明は、開示した物理的デバイスの例の実装に限定されるものではなく、同様に他のデバイスにも適用することが可能である。特に、本発明は物理的デバイスには限定されず、より抽象的な種類の論理デバイスやそのデバイスの機能を実行するソフトウェアに適用することも可能である。さらにまた、デバイスは、論理的には単一のデバイスとみなされても、多くの装置にわたって物理的に分散していてもよい。また、論理的には分離したデバイスが、単一の物理的デバイスに統合されていてもよい。

本発明は、コンピュータシステム上で実行されるとき、本発明による方法のステップを実行する符号部分を少なくとも含む、コンピュータシステム上で実行されるコンピュータプログラムに実装されてもよい。あるいは、汎用コンピュータシステムに本発明によるコンピュータシステムの機能を実行可能とするコンピュータプログラムに実装されてもよい。そのようなコンピュータプログラムは、CD-ROMやディスケット等のデータキャリア上に提供され、コンピュータシステムのメモリにロード可能な、コンピュータプログラムを表現しているデータとともに記憶されてもよい。データキャリアは、さらに本発明によるコンピュータプログラムを表す信号を送信している電話ケーブルまたはワイヤレスコネクション等のデータコネクションであってもよい。

本発明による符号化方法のフロー図である。 図１の方法と共に使用される本発明による復号方法のフロー図である。 本発明による他の符号化方法のフロー図である。 図３の方法と共に使用される本発明による復号方法のフロー図である。 本発明によるエンコーダの例を示す図である。 本発明によるデコーダの例を示す図である。 本発明による他のエンコーダの実施形態の例のブロック図である。 本発明による他のエンコーダの実施形態の例のブロック図である。 図７の本発明によるエンコーダの例で用いられるビデオエンコーダのブロック図である。

Claims (18)

1. デジタルビデオストリームを符号化する方法であって、
   フルフレームビデオシーケンスを供給するステップと、
   時間的デシメイションにより前記フルフレームシーケンスからフレームを削除することによりデシメイトされたフレームシーケンスを形成するステップと、
   インターポレータにより前記デシメイトされたフレームシーケンスを時間的補間をするステップと、
   前記フルフレームシーケンスのフレームを前記時間的補間をされたフレームシーケンスの対応するフレームと比較するステップと、
   少なくともフレームの前記比較に基づき前記フレームの残余情報を決定するステップと、
   前記デシメイトされたフレームシーケンスと前記決定された残余情報を含む出力ストリームを供給するステップと
   を含むことを特徴とする方法。
2. 請求項１記載の方法であって、前記デシメイトされたフレームシーケンスは圧縮符号化されることを特徴とする方法。
3. 請求項１記載の方法であって、前記残余情報はデータブロックの形式で符号化されていることを特徴とする方法。
4. 請求項１ないし３いずれか一項記載の方法であって、前記残余情報はプライベートデータチャンネルで符号化されることを特徴とする方法。
5. 請求項１ないし４いずれか一項記載の方法であって、前記時間的補間はナチュラルまたはトゥルーモーションにより実行されることを特徴とする方法。
6. 請求項１ないし５いずれか一項記載の方法であって、フレームの所定数は２つのうち１つであることを特徴とする方法。
7. 請求項１ないし５いずれか一項記載の方法であって、フレームの数は４つのうち１つであることを特徴とする方法。
8. 請求項１記載の方法であって、前記時間的補間は、動きベクトル等の、前記デシメイトされたフレームシーケンス以外のデータにより援助されることを特徴とする方法。
9. 請求項１記載の方法であって、前記フルフレームビデオシーケンスは、前記デシメイトされたフレームシーケンスを時間的補間するために用いたインターポレータよりもより高い質と精度のインターポレータにより比較的低いフレームレートのビデオシーケンスを時間的に補間することにより取得されることを特徴とする方法。
10. 請求項９記載の方法であって、前記デシメイトされたフレームシーケンスは、前記フルフレームシーケンスからフレームを削除するよりも直接的に、前記低フレームレートビデオシーケンスにより形成されることを特徴とする方法。
11. 請求項１ないし１０いずれか一項記載の方法により符号化されたデータストリームを復号する方法であって、
    符号化されたデータストリームから前記デシメイトされたフレームシーケンスと前記決定された残余情報を分離し、
    前記デシメイトされたフレームシーケンスを復号し、
    前記復号されたデシメイトされたフレームシーケンスを前記符号化に用いたのと同様の補間プロセスにより時間的補間し、
    前記残余情報を復号し、
    出力データストリームを形成するため前記残余情報と前記補間されたフレームシーケンスを結合する
    ことを特徴とする方法。
12. デジタルビデオデータを符号化するエンコーダであって、
    フルフレームビデオシーケンスを供給する入力セクションと、
    時間的デシメイションにより前記入力セクションから受信したフルフレームシーケンスからフレームを削除することによりデシメイトされたフレームシーケンスを形成する手段と、
    インターポレータにより前記デシメイトされたフレームシーケンスを時間的に補間するための補間手段と、
    前記フルフレームシーケンスの前記フレームを前記時間的補間されたフレームシーケンスの対応するフレームと比較し、少なくともフレームの比較に基づき前記フレームの残余情報を決定する比較手段と、
    前記デシメイトされたフレームシーケンスと前記決定された残余情報を含む出力ストリームを供給する出力セクションと
    が設けられたエンコーダ。
13. 入力セクションと出力セクションとともにデジタルビデオデータを復号する、請求項１１記載の復号を実行するように構成された復号セクションが設けられたデコーダ。
14. データ入力手段と、オーディオビジュアル出力手段と、請求項１３記載のデコーダが設けられたオーディオビジュアル機器。
15. 請求項１ないし１０いずれか一項記載の方法で取得された出力ストリームを表現するデータを含むデータ格納デバイス。
16. 請求項１ないし１１いずれか一項記載の方法のステップを実行する符合部分を含むコンピュータプログラム。
17. 請求項１６記載のコンピュータプログラムを表現するデータを含むデータ運搬デバイス。
18. デシメイトされたフレームシーケンスと前記デシメイトされたフレームシーケンスに関する残余情報を含むビデオデータストリームであって、
    前記残余情報は、前記デシメイトされたフレームシーケンスに基づきインターポレータにより一時的に補間されたフレームのそれぞれのフレームを、前記フルフレームシーケンスの対応するそれぞれのフレームとの比較に基づくことを特徴とするビデオデータストリーム。

Images