JP2008519481A - データ処理システム及び方法、プログラム要素並びにコンピュータ可読媒体 - Google Patents

Abstract

データ処理システムは、データが記録可能な記録フォーマットから部分的に処理された中間フォーマットに、データのリプレイ前に、前記部分的に処理された中間フォーマットによるデータが前記記録フォーマットによるデータと比較して追加的データを有するように、データを変換するよう構成される第１処理ユニットと、データリプレイ中に、前記中間フォーマットからデータがリプレイ可能な完全に処理されたリプレイフォーマットにデータを変換するよう構成される第２処理ユニットとを有する。

Description

本発明は、データ処理システムに関する。

本発明はさらに、データ処理方法に関する。

さらに、本発明は、プログラム要素に関する。

さらに、本発明は、コンピュータ可読媒体に関する。

ビデオは、動画像を表す電子信号を処理する技術である。ビデオ技術の主要な用途はテレビであるが、それはまた、エンジニアリング、科学、製造及びセキュリティの用途において広く使用されている。

パーソナル・ビデオ・レコーダ（ＰＶＲ）は、テレビ番組をデジタル形式によりハードディスクに記録する電子装置である。ＰＶＲは、“タイムシフト”機能をより便利にする。ここで、タイムシフトとは、ユーザの都合の良い時間に視聴するため、テレビ番組を記憶媒体に記録することである。デジタルＰＶＲは、記録がまだ完了していなくても、最初から記録した番組の視聴を開始することが可能であるため、タイムシフトについて新たな自由度をもたらす。ＰＶＲ技術はまた、ライブのテレビの一時停止、面白いシーンの瞬時のリプレイ、宣伝のスキップなどのトリックモードを可能にする。多くのＰＶＲレコーダは、アナログビデオ信号を符号化するためＭＰＥＧフォーマットを利用する。

他の将来的な技術は、パーソナルコンピュータ上でのテレビの視聴を可能にするＰＣ−ＴＶ技術である。

ＥＰ０７３５７４８Ａは、空間及び時間補間などの補間推定を利用して、インタレースビデオフレームシーケンスをインタレース解除する方法及び装置を開示する。補間が最小限のエラーにより実行されるように、インタレース解除されるフレームの欠落したピクセル値のより精度の低い推定を要求する補間が、欠落したピクセル値の推定が最小限のエラーにより取得されるように、補間を実行するため欠落したピクセル値のより精度の高い推定を要求する補間の前に実行される。補間推定は、各補間に係るエラーに従って、欠落したピクセル値の近似を計算するため合成的に加重される。

ＷＯ０１／１３６２５は、従来のビデオ・カセット・レコーダ（ＶＣＲ）と同様の方法によりユーザによる以降の再生のため、テレビ番組などのデジタルプログラミングサービスを受信及び格納するコンシューマセットトップ端末及び方法を開示する。インタフェースは、高中低など、符号変換されたデータに対する所望のクオリティレベルに基づき、端末のユーザが符号変換プロセスを制御することを可能にする。当該符号変換は、フルエンコーダの支出及び複雑さなく提供される。端末において符号変換を実行することによって、データのビットレートは、端末における経済的なストレージを可能にするよう十分低減することができる。さらに、ユーザは、異なる番組、同一番組の異なる部分又は異なるチャンネルについてクオリティレベルを異なるものに設定することができる。

ＵＳ５，２８７，４２０は、２つのステップによりデータを圧縮及び格納するパーソナルコンピュータアプリケーションのための画像圧縮方法を開示する。画像はリアルタイムにキャプチャされ、圧縮され、ハードディスクに格納される。以降のある時点において、データはさらに非リアルタイムに圧縮される。

しかしながら、ビデオ入力データが相対的にクオリティ不良である場合、十分なクオリティによるビデオデータのリプレイは不可能である。

本発明の課題は、記録されたデータが相対的にクオリティ不良であるときでさえ、十分なクオリティによりデータを再生することを可能にすることである。

上記課題を達成するため、独立クレームによるデータ処理システム及び方法、プログラム要素並びにコンピュータ可読媒体が提供される。

本発明によるデータ処理システムは、データが記録可能な記録フォーマットから部分的に処理された中間フォーマットに、データのリプレイ前に、前記部分的に処理された中間フォーマットによるデータが前記記録フォーマットによるデータと比較して追加的データを有するように、データを変換し、再生時に向上したクオリティによる再生を可能にするため、記録フォーマットによるデータと共に追加的データを格納するよう構成される第１処理ユニットを有する。さらに、データリプレイ中に、前記中間フォーマットからデータは、第２処理ユニットによってリプレイ可能な完全に処理されたリプレイフォーマットに変換される。さらに、判定ユニットは、データリプレイ時に、第２処理ユニットが中間フォーマットからリプレイフォーマットにデータを変換するよう制御されるように、中間フォーマットによるデータが第１処理ユニットによりすでに生成され、利用可能であるか、又は第１処理ユニットが記録フォーマットからリプレイフォーマットに直接的に記録されたデータを変換するよう制御されるように、中間フォーマットによるデータが利用可能でないか判断するよう構成される。

さらに、データが記録可能な記録フォーマットから部分的に処理された中間フォーマットに、データのリプレイ前に、前記部分的に処理された中間フォーマットによるデータが前記記録フォーマットによるデータと比較して追加的データを有するように、データを変換するステップと、再生時に向上したクオリティによる再生を可能にするため、前記記録フォーマットによるデータと共に前記追加的データを格納するステップと、データリプレイ時に、前記中間フォーマットによるデータがすでに生成されており、利用可能であるか判断するステップと、前記中間フォーマットが利用可能である場合、データリプレイ中に、前記中間フォーマットからデータがリプレイ可能な完全に処理されるリプレイフォーマットにデータを変換するステップと、又は前記中間フォーマットが利用可能でない場合、データリプレイ中に、前記記録フォーマットから直接的に前記リプレイフォーマットに記録されたデータを変換するステップとを有するデータ処理方法が提供される。“リプレイ可能”なデータとは、特に非処理（“ｄｕｍｂ”）デジタル又はアナログディスプレイ又は記録装置に送信される準備がされたデータを表す。

さらに、プロセッサによる実行時、上記データ処理方法によるステップを実行するよう構成されるプログラム要素が提供される。

さらに、プロセッサによる実行時、上記データ処理方法によるステップを実行するよう構成されるプログラム要素を格納したコンピュータ可読媒体が提供される。

本発明のデータ処理は、コンピュータプログラム、すなわち、ソフトウェアによって、又は１以上の特定の電子最適化回路を用いて、すなわちハードウェアによって、又はハイブリッド形式によって、すなわち、ソフトウェアコンポーネントとハードウェアコンポーネントを利用することによって実現可能である。

本発明による特徴は、特に記録されたビデオ（又はオーディオ）データが、再生前に記録フォーマットから中間フォーマットに変換されるよう部分的に処理されるという効果を有する。このため、システムのアイドル時間は、これらのデータの再生前にデータ処理をスタートするよう効率的に利用可能である。このような入力データの前処理又は部分的処理は、特に数値的に大きなアルゴリズムがデータ再生前に実行可能となるように実行されてもよく、このようなクオリティを向上させるアルゴリズムを実行するのに必要な時間は、多くのケースではリアルタイム処理再生スキームの枠組みにおいて、利用可能な最大処理時間を超えるため、リアルタイムに実行することはできない。その後、部分的に処理されたデータは、中間フォーマットにより格納されるようにしてもよい。このような中間フォーマットからスタートして、残りの処理部分のみが記録フォーマットによるデータを実現するため、リアルタイム再生中に完了される必要があり、これにより、リアルタイムに同時に向上したクオリティによるデータの再生が可能となる。

本発明によるデータの前処理は、記録されたデータに加えて、前処理から得られるデータが記録されたデータと比較して再生データのクオリティを向上させることを可能にするようさらに格納されるため、格納すべきデータ量を若干増大させる。例えば、この前処理は、記録されたデータと共に動きベクトルが動き補償された一時的アップ変換やインタレース解除などの高度な機能を実現することを可能にすることによって、向上したクオリティによる再生を可能にする動きベクトルの推定を含むかもしれない。動きベクトルは、データの記録とデータの再生との間に実行される相対的に計算量が大きく時間のかかるアルゴリズムによって計算される。結果として得られる動きベクトルは、追加的なメモリスペースのわずかな量しか必要としない一方、データ再生のクオリティを大きく向上させることを可能にする。

本発明の重要な特徴によると、中間ビデオ処理データの再生前の計算及び格納が、特にＰＣテレビ及びＰＶＲアプリケーションについて可能となる。

一特徴によると、本発明は、完全に処理されるビデオデータとしてではなく、最小限のデータとして中間結果を記録及び格納する間及びその後に、動きベクトル推定などのビデオ処理の一部を実行してビデオを記録することによって、ビデオ処理パワー不足を解消するよう記憶容量を利用することを教示する。その後、以降のビデオの再生中に、アルゴリズムの最終ステップが、好ましくはリアルタイムに完了されるようにしてもよい。これにより、好ましくは、処理アルゴリズムのより計算量の大きな部分、特にリアルタイムに実行できないすべてが、システムのアイドル時間中に実行され、これにより、システムリソースの大変効率的な利用が、部分的に処理された中間フォーマットデータを格納にするのに必要とされるわずから追加的メモリ量と組み合わされる。ビデオの再生中のアルゴリズムの最終ステップの完了は、以前に推定された動きベクトルデータに基づき適切なインタレース解除されたラインを計算し、又は時間アップ変換のため欠落したフレームを計算することを含むものであってもよい。

本発明は、パーソナルビデオレコーダ（ＰＶＲ）やハイブリッドＰＣ−ＴＶシステムなどの将来的なホームエンターテイメントテレビ録画及びテレビ視聴アプリケーション（特に、ビデオアプリケーション）が２つのファクタを組み合わせることが可能であるという認識に基づくものである。第１に、配信されるビデオの実際的に無限のフレームバッファストレージが、自動的な（すなわち、ユーザアクションを必要としない）ＭＰＥＧ−２符号化（又は他の何れかのビデオ圧縮方法）及びハードディスクへの格納を通じて可能とされる。他方、従来のテレビのビデオ処理装置は、典型的には、２又は３つ前のフレームへのアクセスしか可能でない。第２に、専用ハードウェアでなく、汎用プロセッサが、ピクセル毎に多数の処理を伴うビデオ処理アプリケーションについてはしばしば不適切である。しかしながら、多くのケースでは、専用のＩＣを開発及び製造するのでなく、既存のプロセッサを利用することがより経済的である。第１の特徴は、ビデオ処理の一部がリアルタイムでなくプログラムの記録中及び記録後に実行可能である場合、専用ハードウェアの欠落による不利益を克服することを可能にする（第２の特徴を参照されたい）。

利用可能な計算ハードウェア上でリアルタイムに実行不可能な高度なビデオ処理アルゴリズムを使用することは（例えば、ｍｏｔｉｏｎ ｊｕｄｄｅｒ削除として知られるインタレース解除又は時間アップ変換用など）、番組の記録と再生との間の中間的なビデオ処理結果を計算及び格納することによって可能となる。

本発明により解消される他の問題点は、新たなビデオ処理アルゴリズムのマーケティング及びテストを必要とする。本出願に記載されるようなオフラインソフトウェア形式により新たなアルゴリズムを最初に導入することによって、ハードウェアによるしばしば大きな計算量となるリアルタイム手段が実現される前に、アルゴリズムが市場にどのように受け付けられるかテストすることが可能になる。

さらに、ビデオ処理は基本的にソフトウェアにより実行可能であり、専用のハードウェア実現形態に制限されないため（例えば、リアルタイム要求がない場合、処理スピードの重要な閾値はない）、従来のテレビやＶＣＲと対照的に、装置のビデオ処理アルゴリズムをアップグレードすることが可能である。

番組録画中、本発明の好適な実施例によるビデオアプリケーションは、記録タスクに専用となる処理パワーなくても、高いクオリティの再生に必要な予備的なビデオ処理作業をスタートする。典型的には、ビデオ処理タスクは、プログラム終了時までには終了されない。２つのシナリオが可能である。

１．ユーザは番組録画中に視聴するか、又は当該処理は完了しない間に視聴する。この場合、システムは、リアルタイムに実行可能な“中程度”のクオリティの処理を利用する。この場合、前処理ステップを実行することが不可能であるか、又は適切でないか判定ユニットにより判断される。

２．ユーザは、処理が終了する前は番組の再生をリクエストしない。このシナリオでは、キャッシュされたデータを考慮して、再生は高いクオリティの処理を利用する。

ユーザは、“中程度”のクオリティのビデオ処理により即座に録画を視聴するか、又は必要なデータを計算する時間をシステムに与え、その後、高いクオリティのビデオ処理により録画を視聴するか、という理解することが容易な選択肢を有する。

好適な実施例では、動きベクトルの計算は、例えば、３ＤＲＳ（Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｒｅｃｕｒｓｉｖｅ Ｓｅａｒｃｈ）アルゴリズムを利用してアイドル時間中に実行される。

動きベクトルの実現に関する効果的なアプリケーションは、安価かつ効率的な方法によって（ライン二重化などを利用して）、又はより高度な動き補償により実行可能なインタレース解除（又は“プログレッシブスキャンフォーマット変換へのインタレース”）である。後者の選択肢は、より良好なクオリティをもたらすが、動きベクトルを必要とする。動きベクトルをオフラインに推定し、当該動きベクトルを用いてビデオ再生中にビデオをインタレース解除することが可能である。

“インタレース解除（ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ）”とは、ビデオのインタレース画像を非インタレース形式に変換する処理である。インタレースビデオは、実際のリフレッシュレートの２倍の印象を与えるため、画像がＣＲＲ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）に対してフェーディングするのに要する時間を利用し、フリッカを回避するのに利用し、各フレームについて画面上で１／２のラインしか描画しない（あるいは、各フレームについて、奇数及び偶数ラインを描画する）。インタレース解除の基本的方法は、偶数フレームと奇数フレームが１つの画像に合成され、その後に表示される“合成”と、各フレーム（１／２のみのラインによる）が画面全体に拡張される“拡張”とを含む。

動きベクトルを計算する枠組みの他のアプリケーションは、いわゆる、動きベクトル情報を必要とする“時間アップ変換”である。動きベクトルを再生中にすでに利用可能にすると、リアルタイム処理要求は大きく低減する。このため、ビデオ又はオーディオ再生装置は、標準品位信号からエンハンスされた又は高品位信号を出力するよう製造することができる。このような装置は、標準品位ビデオを高品位ビデオにアップ変換する一体化されたスケーラを有するかもしれない。このアップ変換プロセスは、標準品位ビデオの認知される画質を向上させるかもしれない。

本発明の好適なアプリケーションは、特にインタレース解除を要するプログレッシブ出力によるパーソナルビデオレコーダ（ＰＶＲ）である。まだハードウェアにより実現されていない新たに開発されたアルゴリズムが、本記載において概略されるように、オフラインシナリオにより以前にかつ安価に配置可能である（従って、市場においてテストされる）。本発明の他の好適なアプリケーションは、組み込みハードディスクを有するテレビ装置である。さらなるアプリケーションは、ＰＣ−ＴＶアプリケーションである。ＵＳ５，２８７，４２０は単にデータ圧縮を開示し、このため、圧縮された画像データがプライマリデータより少ないメモリしか使用しないことを開示しており、本発明は、初期的に記録されたものより多くのデータを格納するシステムを記載することによって、当該教示と異なるものである。本発明によると、初期的に記録されたデータと、オフラインに生成されたさらなるデータとが格納される。従って、本発明は、若干の格納スペースの増大により再生クオリティを向上させる。他方、ＵＳ５，２８７，４２０は、画質を犠牲にして圧縮レシオを向上させる。

特に、標準品位ビデオ信号（ＰＡＬに対する７２０×５７６ｉ＠５０Ｈｚ）から１２８０×１０２４ｐ＠６０ＨｚのＬＣＤパネルなどに表示するのに適したものに変換することは、本発明の枠組みの範囲内である。ある意味、記録された信号は、本発明がビデオ又はオーディオ処理技術を用いて高解像度信号を“解凍”する“圧縮”信号として扱われる。この“解凍”の一部を非リアルタイムにより実行することによって（すなわち、非再生中）、インタレース信号が要求する標準品位の当初の録画より大きなスペースが使用される。従って、本発明は、ビデオデータストリームを格納し、その後、より多くのデータを生成及び格納するシステムを提供する。

本発明は、中間的なビデオ処理データの予めの非リアルタイムの計算及び格納を導入する。重要な考え方は、高いクオリティの再生に必要とされるデータの一部が、再生時ではなく予め計算される（一時的に格納される）ということである。本発明は、圧縮特性でなく再生クオリティを向上させる。本発明は、システムアイドル時間中に、リアルタイムでなく実行される任意的なビデオ処理に関する。

すなわち、本発明は、録画中又は録画直後にビデオ処理の一部を実行し、ビデオ再生中に最終的な処理ステップを実行する。

従属クレームを参照するに、本発明のさらに好適な実施例が以下で説明される。

次に、データ処理システムの好適な実施例が説明される。これらの実施例はまた、データ処理方法、プログラム要素及びコンピュータ可読媒体について適用されてもよい。

本発明のシステムは、ビデオデータ又はオーディオデータを処理するのに適用可能である。一般に、本発明は、リプレイ前に処理可能であって、リプレイ前のそのような処理によってクオリティに関して向上させることが可能な任意のタイプのデータに適用可能である。例えば、ビデオデータは、動きベクトルを計算することによって処理されてもよい。例えば、オーディオデータは、人間の聞き手により認知されるようなオーディオリプレイの主観的クオリティを向上させるため、予備的なオーディオデータに追加されるべき残響を計算することによって処理されてもよい。

本発明のシステムは、記録フォーマットによりデータを記録し、記録されたデータを第１処理ユニットに提供するよう構成される記録ユニットを有するようにしてもよい。本システムはさらに、リプレイフォーマットによりデータをリプレイし、第２処理ユニットによりリプレイされるデータが提供されるよう構成されるリプレイユニットを有するようにしてもよい。このようなリプレイユニットは、パーソナルコンピュータ、ＬＣＤ、オーディオプレーヤーなどを有するものであってもよい。

さらに、記録フォーマットにより記録されたデータを格納し、部分的に処理された中間フォーマットにより部分的に処理された中間データを格納するよう構成されるストレージユニットが設けられてもよい。このようなストレージユニットは、例えば、ハードディスク、ＲＡＭメモリ、フラッシュメモリ又はＤＶＤなどの光記憶媒体であってもよい。

記録フォーマットによるデータは、第１クオリティレベルを有し、リプレイフォーマットによるデータは、第１クオリティレベルより高いクオリティを示す第２クオリティレベルを有するようにしてもよい。すなわち、中間フォーマットによるデータを計算することを介し、記録フォーマットからスタートするデータをリプレイフォーマットに処理することによって、リプレイデータのクオリティが向上するかもしれない。例えば、入力ビデオデータは、２４Ｈｚのリプレイレートを有するかもしれない。しかしながら、現在のＬＣＤパネルは、６０Ｈｚ又はさらに７５Ｈｚの周波数によりビジュアルデータをリプレイすることが可能である。このギャップを埋め、リプレイされるビデオのクオリティを向上させるため、動きベクトルが計算されてもよい。これらの動きベクトルに基づき、時間アップ変換が中間画像を生成するため実行されてもよい。あるいは、入力ビデオは６０Ｈｚの周波数を有し、インタレースされていてもよい。この場合、動きベクトル情報は、プログレッシブスキャンディスプレイ（ＬＣＤなど）上にビデオを表示するため、動き補償されたインタレース解除を実行するのに利用可能である。時間アップ変換及びインタレース解除は、追加的に又は代替的に実行されてもよい。

本発明のシステムは、データの記録とデータの再生との間のユーザにより規定される時間間隔に基づき、利用可能なシステムリソースに基づき、又は将来的に予想されるシステムリソースに基づき、第１処理ユニットが、リプレイフォーマットによりデータをリプレイする前に、記録フォーマットから中間フォーマットに記録されたデータを変換するよう制御されているか、又は第１処理ユニットが、記録フォーマットから直接的にリプレイフォーマットに記録されたデータを変換するよう制御されるか判断するよう構成される判定ユニットを有するようにしてもよい。本実施例によると、システムは、記録と再生との間の時間が本発明の前処理を実行するのに十分であるか否かのチェックからの結果に従ってフレキシブルに制御可能である。十分である場合、前処理が実行され、再生されるデータのクオリティは、記録されたデータと比較して向上するかもしれない。十分でない場合、アルゴリズムを終了するのに十分な時間がないため、データを前処理することによってクオリティを向上させることができない。このため、システムは、ビデオ信号クオリティの向上が可能であるかフレキシブルに決定する。中間データが生成されるべきか否かの判断は、現在十分なシステムリソース（ＣＰＵ能力、メモリスペースなど）が利用可能であるか、又は近い将来におそらく利用可能になることが予想されるか否かに基づきなされるかもしれない。

上述した実施例の代わりに、データリプレイ時に、第２処理ユニットが中間フォーマットからリプレイフォーマットにデータを変換するよう制御されるように、中間フォーマットによるデータが第１処理ユニットによってすでに生成され、利用可能であるか、又は第１処理ユニットが記録フォーマットから直接的にリプレイフォーマットに記録されたデータを変換するよう制御されるように、中間フォーマットからリプレイフォーマットに記録されたデータを変換するよう制御されるか判断するよう構成される判定ユニットが、実現されてもよい。すなわち、本実施例によると、第１処理ユニットは、記録中及び記録直後に何れのケースにおいても中間データを計算することをスタートする。しかしながら、再生をスタートするトリガーが発生すると（例えば、ユーザが、リプレイ装置の“プレイ”ボタンを押下するときなど）、判定ユニットは、第１処理ユニットが中間データの計算をすでに終了したか、すなわち、中間データ（動きベクトルなど）がすでに利用可能であるかチェックする。そうである場合、判定ユニットは、前に推定された中間データを考慮して、リプレイデータを生成するよう第２処理ユニットを制御する。そうでない場合、判定ユニットは、記録されたデータから直接リプレイデータを生成するよう第１処理ユニットを制御する。当該判定は、中間データが利用可能であるか否かの事実に基づく。

第１処理ユニットが記録フォーマットから直接的にリプレイフォーマットに記録されたデータを変換するよう制御される場合、リプレイフォーマットによるデータがリプレイされてもよく、記録フォーマットとリプレイフォーマットとフレームレートの間のミスマッチが、フレームの繰り返しを利用することによって解決される。例えば、２４Ｈｚ入力信号が６０Ｈｚ表示装置上で再生される場合、特定のフレームが単に複数回繰り返される。

あるいは、第１処理ユニットが記録フォーマットから直接的に（プログレッシブ（非インタレース））リプレイフォーマットに記録された（インタレース）データを変換するよう制御される場合、リプレイフォーマットによるデータは、ライン繰り返し方法を利用してリプレイされるかもしれない。インタレース記録フォーマットは、ライン二重化を利用してプログレッシブリプレイフォーマットに変換される。ライン繰り返し方法は、インタレースビデオをプログレッシブスキャンフォーマットに変換するため、単にラインを繰り返し表示する。

部分的に処理された中間フォーマットへのデータの変換は、動きベクトルデータを計算することを含むかもしれない。動きベクトルデータの計算は、多くの場合、計算量が大きく、実行するのにかなりの時間を必要とする。本発明のシステムは、アイドル時間、すなわち、システムのリソースがフリーとなる時間を利用して、動きベクトルデータを計算する。動きベクトルデータは、大変わずかなメモリスペースにより格納可能であるが、表示されるデータのクオリティを大きく向上させることを可能にする。動きベクトルデータが前に記録されている場合、記録されたデータと追加的に計算された動きベクトルデータに基づき、大量の追加的データを格納する必要なく、かなり向上した方法によりビデオデータをリプレイすることが可能である。

完全に処理されたリプレイフォーマットへのデータの変換は、時間アップ変換を含むかもしれない。このような時間アップ変換は、前に推定された動きベクトルデータを利用して、画質を向上させることを含む。

あるいは、又はさらに、完全に処理されたリプレイフォーマットへのデータの変換は、動き補償インタレース解除を含むかもしれない。再び、このようなインタレース解除は、前に実行された動きベクトル解析に基づくものであってもよく、ビデオデータのリアルタイムの再生をかなり向上したクオリティにより可能にするかもしれない。

さらに、部分的に処理された中間フォーマットへのデータの変換は、カラー解析、特にカラーヒストグラムの生成及び解析を含むかもしれない。

完全に処理されたリプレイフォーマットへのデータの変換は、前に生成及び解析されたカラーヒストグラム情報を利用して、カラーヒストグラムの変更を利用したエンハンスメントを含むかもしれない。

記録フォーマットによるデータは、圧縮データフォーマットによるデータであってもよい。好適な圧縮フォーマットは、オーディオ及びビデオデータを符号化するのに利用されるＭＰＥＧ−２フォーマットである。しかしながら、ＭＰＥＧ−２などの他の圧縮スキームもまた適用可能である。

本発明のシステムは、集積回路として、特に半導体集積回路として実現可能である。特に、システムは、シリコン技術により製造されるモノリシックＩＣとして実現可能である。

本発明のシステムは、パーソナル・ビデオ・レコーダ（ＰＶＲ）、パーソナル・コンピュータ・テレビジョン（ＰＣ−ＴＶ）システム、携帯オーディオプレーヤー、ＤＶＤプレーヤー又はＭＰ３プレーヤーとして実現されてもよい。

本発明のシステムでは、第１処理ユニットと第２処理ユニットとは、１つの共通の処理ユニットに組み合わせ可能である。すなわち、両方の処理ユニットが、１つのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの単一の共通の処理ユニットに合成又は統合されてもよい。

本発明の上記及びさらなる特徴は、以降に説明される実施例から明らかになり、当該実施例を参照して説明される。

図面の記載は概略的なものである。異なる図において、同様又は同一の要素には、同一の参照符号が設けられている。

以下において、図１を参照するに、本発明の好適な実施例によるビデオ処理システム１００が説明される。

ビデオ処理システム１００は、ビデオデータを記録する記録ユニット１０２を有する。記録ユニット１０２の出力は、ビデオデータの記録とビデオデータの再生との間の与えられた時間間隔が、データをリプレイする前にデータを前処理するのに十分であるか判断するための判定ユニット１０５の入力に接続される。より詳細には、判定ユニット１０５は、記録されたデータとリプレイされるデータとの間のユーザにより規定された時間間隔に基づき、第１処理ユニット１０１ａが、リプレイフォーマット（Ｃにより示される）によりデータをリプレイする前に、記録フォーマット（Ａにより示される）から中間フォーマット（Ｂにより示される）に記録されたデータを変換するよう制御されているか、又は第１処理ユニット１０１ａ（又は第２処理ユニット１０１ｂ）が記録フォーマットから直接的にリプレイフォーマットに記録されたデータを変換するよう制御されているか判断するよう構成される。このような前処理が可能でない場合、装置１００のユーザは記録後に記録されたデータプロンプトをリプレイすることを所望するため、判定ユニット１０５は、記録されたデータをリプレイ可能なデータに直接変換し、リプレイ可能なデータをリプレイユニット１０３に転送するよう第１処理ユニット１０１ａを制御する。前処理が可能である場合、装置１００のユーザは記録後に記録されたデータプロンプトをリプレイするよう装置１００を制御しないため、判定ユニット１０５は、前処理のため第１処理ユニット１０１ａに記録されたデータを提供する。第１処理ユニット１０１ａは、記録されたデータを前処理し、データを格納及びアクセするため記憶媒体１０４を利用するようにしてもよい。ユーザが以降においてデータをリプレイすることを所望すると、前処理されたデータは、リプレイのためリプレイユニット１０３に提供されるリプレイ可能データを生成するため、第２処理ユニット１０１ｂによりさらに処理される。

図１は、データを記録フォーマットから変換するよう構成される第１処理ユニット１０１ａを有するビデオ処理システム１００を示す。そこでは、データは、リプレイユニット１０３によるリプレイ前に、記録ユニット１０２により部分的に処理された中間フォーマットに記録される。部分的に処理された中間フォーマットによるデータが、記録されたデータと比較してさらなるデータを含むように、すなわち、オリジナルデータに再生クオリティを向上させるのに適したデータを加えて、上記データは第１処理ユニット１０１ａにより変換される。その後、第２処理ユニット１０１ｂは、中間フォーマットからデータがリプレイユニット１０３によりリプレイされる完全に処理されたリプレイフォーマットにデータを変換する。当該処理ステップは、データのリプレイ中に、すなわち、リアルタイムに実行される。ストレージユニット１０４は、記録されたデータを記録フォーマットにより格納し、部分的に処理された中間データを部分的に処理された中間フォーマットにより格納するよう構成される。

記録フォーマットにより記録ユニット１０２によって記録されたデータは、第１クオリティレベル（すなわち、２４Ｈｚのフレームレートによるデータ）を有し、リプレイユニット１０３によりリプレイされるリプレイフォーマットによるデータは、第１クオリティレベルより高いクオリティを示す第２クオリティレベル（すなわち、６０Ｈｚのフレームレートによるデータ）を有する。ビデオ処理システム１００のコンポーネントは、シリコン技術による集積回路として実現される。ビデオ処理システム１００は、パーソナルビデオレコーダである。

図１の実施例の代わりとして、判定ユニット１０５は、データのリプレイがリクエストされたときに、中間フォーマットによるデータ（すなわち、動きベクトル）が第１処理ユニット１０１ａによりすでに生成され、利用可能であるか判断するよう構成されてもよい。このような計算がデータがリプレイされる時点においてすでに終了している場合、第２処理ユニット１０１ｂは、データを中間フォーマットからリプレイフォーマットに変換するよう制御される。他方、このような計算がデータがリプレイされる時点においてまだ終了しておらず、このため中間フォーマットによるデータが利用可能でない場合、第１処理ユニット１０１ａは、記録フォーマットから直接的にリプレイフォーマットに記録されたデータを変換するよう制御される。すなわち、本実施例によると、第１処理ユニット１０１ａは、記録中及び記録直後の何れかのケースでも中間データの計算をスタートする。しかしながら、再生をスタートするトリガーイベントにより（例えば、ユーザがリプレイ装置１０３上の“再生”ボタンを押下すると）、判定ユニット１０５は、第１処理ユニット１０１が中間データの計算をすでに終了したか、すなわち、中間データ（動きベクトルなど）がすでに利用可能であるかチェックする。そうである場合、判定ユニット１０５は、前に推定された中間データを考慮して、リプレイデータを生成するよう第２処理ユニット１０１ｂを制御する。そうでない場合、判定ユニット１０５は、記録されたデータから直接的にリプレイデータを生成するよう第１処理ユニット１０１ａ（又は第２処理ユニット１０１ｂ）を制御する。この判定は、中間データが利用可能であるか否かの事実に基づく。

以下において、図２〜１２を参照して、本発明によるデータ処理方法の好適な実施例が説明される。処理ユニット１０１は、対応する方法ステップを実行するよう構成される。

以下において、図２〜４を参照するに、動き補償アップ変換に関する第１実施例が説明される。

図２は、データの受信及び格納を示すフローチャート２００を示す。図２からわかるように、テレビ信号が受信手段２０１によって受信され、ビデオデータに変換される。これらのビデオデータは、その後にデータストレージ手段２０３に格納される圧縮されたビデオデータを生成するため、圧縮手段に提供される。データストレージ手段２０３は、ハードディスク、ＲＡＭメモリ、フラッシュメモリ、又はＤＶＤなどの光記憶媒体であってもよい。図２は、テレビ信号を圧縮データ（通常は、ＭＰＥＧ−２又はＭＰＥＧ−４変形又はデジタルビデオＤＶなどの他のフォーマット）として受信及び格納することを示す。他の実施例は、この圧縮ステップをバイパスし、データストレージ手段２０３としてＤＶＤ又は他のデジタル搬送信号を直接利用する。

以下において、図３を参照して、フローチャート３００が説明される。

フローチャート３００は、オフライン処理スキーム、すなわち、第１処理ユニット１０１ａにより実行可能な動きベクトル生成方法を示す。図３に示されるように、解凍手段３０１に、データストレージ手段２０３に格納されている圧縮ビデオデータが提供される。解凍手段３０１は、ビデオデータを生成するため、圧縮ビデオデータを部分的に解凍する。解凍手段３０１は、例えば、完全にではなく部分的にデータを解凍するよう構成されてもよい。例えば、ビデオデータがＭＰＥＧフォーマットによるものである場合、解凍ユニット３０１は、カラーデータを考慮せず、解凍のためルミナンスデータのみを考慮するかもしれない。動きベクトル推定ユニット３０２は、ビデオデータから動きベクトルデータを推定する。圧縮手段３０３は、可逆圧縮アルゴリズムを用いて動きベクトルから圧縮動きベクトルデータを生成する。さらなるデータストレージ手段３０４に、圧縮動きベクトルデータは格納される。

図３は、オフライン処理ジョブの実施例を示す。動きベクトル推定は、数値的に大きな処理のプロセスとなる可能性がある。推定プロセスは、データストレージ手段２０３が（部分的に）充填され、システムが計算リソースを割り当てるとすぐに、スタートすることができる。結果として得られるデータは、典型的には、各ビデオフレームの各８×８のピクセルブロックについて１つの（ｖｘ，ｖｙ）データペアとなり、さらなるデータストレージ手段３０４に格納することができる。データサイズを低減するため、さらなる可逆圧縮ステップが可逆圧縮ユニット３０３において実行される。

以下において、図４を参照して、６０Ｈｚディスプレイ上へのフィルム題材の再生（２４Ｈｚのフレームレートにより与えられる）、すなわち、６０Ｈｚのフレームレートによるリプレイを示すフローチャート４００が説明される。

図４に示されるように、データストレージ手段２０３に格納されている圧縮ビデオデータは、ＭＰＥＧ−２デコーダであるかもしれない解凍手段４０１ａに提供される。解凍手段４０１ａは、圧縮ビデオデータから２４Ｈｚビデオデータを生成し、これらの２４Ｈｚビデオデータを判定手段４０２に提供する。判定手段４０２において、動きベクトルデータが利用可能であるか、すなわち、動きベクトル推定ユニット３０３において以前に計算されたか判断する。動きベクトルデータが利用可能でない場合、フレーム繰り返し手段４０３は、シンプルなフレームの繰り返しを利用して、２４Ｈｚビデオデータから６０Ｈｚビデオデータを生成する。すなわち、フレーム繰り返し手段４０３は、単に異なるフレームを複数回繰り返すことによって、２４Ｈｚの周波数を有するビデオデータから６０Ｈｚの周波数を有するビデオデータを生成する。６０Ｈｚの周波数を有するビデオデータは、６０Ｈｚのレートにより処理されたビデオデータを表示するため、液晶装置（ＬＣＤ）などの６０Ｈｚ表示装置４０５に提供される。

しかしながら、判定手段４０２が、動きベクトルデータが利用可能であると判断した場合、動きベクトル推定手段３０２により実行された動きベクトル推定の結果として、２４Ｈｚの周波数を有するビデオデータが、２４Ｈｚの周波数を有するビデオデータに関して向上したクオリティを有する６０Ｈｚの周波数によるビデオデータを生成するため、一時的アップ変換手段４０４に提供される。これらの前処理された６０Ｈｚの周波数を有するビデオデータは、表示のため表示装置４０５に提供される。

図４からさらにわかるように、解凍手段４０１ｂ（Ｈｕｆｆｍａｎ系の可逆圧縮に関するものであってもよい）に、さらなるデータストレージユニット３０４から提供される圧縮動きベクトルデータが提供される。これらの動きベクトルデータは、一時的アップ変換ユニット４０４に提供され、当該アップ変換ユニット４０４は、これらの動きベクトルデータを２４Ｈｚの周波数を有するビデオデータと比較して、向上したクオリティを有する６０Ｈｚの周波数によるビデオデータを提供する。

図４は、計算された動きベクトルがフィルムレートアップ変換によりどのように利用可能であるかの一例を示す。入力として、６０Ｈｚディスプレイ４０５上に表示される２４Ｈｚフィルムシーケンスが使用される。（これは、通常は“フィルム検出装置”によって、６０Ｈｚインタレーステレビ信号の解析から決定される。）予め計算された動きベクトルを利用して、ビデオが６０Ｈｚまでシンプルな方法によりアップ変換することが可能である。このような動きベクトルが利用可能でない場合（例えば、データの記録とデータのリプレイとの間の時間間隔が、動きベクトルを計算するには小さすぎるため）、フレーム繰り返しが実行される。

以下において、図２、３及び５を参照して、動き補償インタレース解除に関する本発明によるビデオデータ処理方法の第２実施例が説明される。

図２及び３を参照して上述されるような方法の各ステップはまた、第２実施例のケースにおいても実行される。第２実施例による動き補償を用いたインタレース解除のため、フローチャート５００に示されるように、“ａ”及び“ｂ”として示されるこれらの計算の結果が提供される。

以前に生成された圧縮ビデオデータは、ビデオデータ４８０ｉを生成するため、解凍手段４０１に提供される。（ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）テレビ信号と同様に−ＰＡＬ及びＨＤＴＶインタレースモードについて同様の例が存在する。）判定手段４０２は、動きベクトルデータが利用可能であるか、すなわち、動きベクトルが動きベクトル推定手段３０２により生成されたか判断する。利用可能でない場合、ライン繰り返し手段５０１がプログレッシブディスプレイ５０３上への表示のため、ビデオデータ４８０ｉをビデオデータ４８０ｐに変換することによって、シンプルなラインの繰り返しが実行される。動きベクトルデータが利用可能である場合、ビデオデータ４８０ｉは、以前に推定された動きベクトルデータを用いてビデオデータ４８０ｐを生成するため、動き補償インタレース解除手段５０３に提供される。これらのビデオデータ４８０ｐは、その後にプログレッシブ表示装置５０３上に表示される。

図５は、ビデオデータを表示するクオリティを向上させるため、予め計算された動きベクトルを用いた第２の例を示す。このケースでは、６０Ｈｚの４８０ｉ信号（ＮＴＳＣ）が、４８０ｐ（プログレッシブ）ディスプレイ５０３上への表示のため、インタレース解除される。このため、動き補償インタレース解除アルゴリズム（“多数決選択（ｍａｊｏｒｉｔｙ ｓｅｌｅｃｔ）”など）が利用される。動きベクトルが利用可能でない場合、システムは、すべてのラインを１回のみ繰り返すことによって、基本的なインタレース解除アルゴリズムに依存する。

以下において、図２及び図６〜８を参照して、動き適応的インタレース解除を導入する本発明の第３実施例によるビデオデータ処理方法が説明される。

図２に示されるような方法ステップは、第１実施例のケースと同様に第３実施例のケースにおいても実行される。

図６に示されるアルゴリズムは、図３に示されるアルゴリズムと同様のものであるが、動きベクトル推定手段３０２がインタレース解除解析手段６０１と置換されているという相違がある。インタレース解除解析手段６０１は、ビデオデータをインタレース解除データに変換し、インタレース解除データが、可逆圧縮ユニット３０３に提供される。図６は、インタレース解除パラメータ、すなわち、動き補償インタレース解除である動き適応的インタレース解除より低コストとなる他のインタレース解除方法を導入するオフライン処理の他の実施例を示す。

図７に示されるフローチャート７００は、インタレース解除解析手段６０１の機能の詳細を示す。画像ピクセルが、ある画像が（ローカルに）移動しているか判断するため、移動判定手段７０１に提供される。そうである場合、“ｕｓｅ＿ｐｒｅｖｉｏｕｓ”パラメータは設定手段７０２において“０”の値に設定され、判定手段７０３は、最適な補間方向を決定する。移動判定手段７０１が画像がローカルに移動していないと判断した場合、“ｕｓｅ＿ｐｒｅｖｉｏｕｓ”パラメータは、設定手段７０３により“１”の値に設定され、Ｌは“０”に設定される。ストレージ手段７０５は、ユニット７０３及び７０４の出力と接続され、“ｕｓｅ＿ｐｒｅｖｉｏｕｓ”及び“Ｌ”の値を格納する。

図７に示されるアルゴリズムによると、まず画像が（ローカルに）移動しているか判断される。そうでない場合、前のフィールドからのピクセルが挿入される。そうである場合、システムは、最善の補間方向を決定しようとする。動き検出及び補間方向の値が格納される。

図８は、図６に示される手順に属する再生図を示すフローチャート８００を示す。

解凍手段４０１ａには、データストレージ手段２０３に格納されているデータが提供される。これらのデータを解凍した後、生成されたビデオデータ４８０ｉが、インタレース解除パラメータ（図７に示される手順により識別されるような）が利用可能であるか判断するため、判定手段８０１に提供される。そうでない場合、ビデオデータ４８０ｉは、プログレッシブ表示装置５０３上に表示するため、ビデオデータ４８０ｐを生成するようライン繰り返し手段５０１に提供される。判定手段８０１が、インタレース解除パラメータが利用可能であると判断した場合、ビデオデータ４８０ｉは、動き適応的インタレース解除手段８０２により実行されるような動き適応的インタレース解除を利用して、ビデオデータ４８０ｐに変換される。動き適応的インタレース解除手段８０２には、“ｃ”を参照されたいが、さらなるデータストレージ手段３０４に格納されているデータを受信する解凍ユニット４０１ｂからのインタレース解除パラメータが供給される。

以下において、図２及び図９〜１２を参照して、ヒストグラム変更エンハンスメントを導入する本発明の第４実施例によるビデオデータ処理方法が説明される。

図９に示されるフローチャート９００は、図３に示されるフローチャート３００及び図６に示されるフローチャート６００と同様のものであり、データストレージ手段２０３（図２を参照せよ）に格納されている圧縮ビデオデータが、カラーヒストグラムデータを生成するためどのように処理されるか示す。このため、圧縮ビデオデータは、解凍ユニット３０１において部分的に解凍される。解凍されたデータは、ビデオデータとしてカラーヒストグラム生成解析手段９０１に提供される。カラーヒストグラム生成解析手段９０１は、対応するアルゴリズムを適用することによって、カラーヒストグラムデータを生成するよう構成される。この計算ステップの結果は、さらなるデータストレージ手段３０４に格納されている圧縮カラーヒストグラムデータを生成する可逆圧縮ユニット３０３にカラーヒストグラムデータとして提供される。

図９に示されるような方法ステップは、ヒストグラム変更を用いて画像エンハンスメントを実現する実施例を示す。必ずしも利用可能なすべてのカラーが同時に使用されない場合、カラー定数を増大させる周知の技術が実現される。この方法はまた、テレビシステムに使用されるが、アルゴリズムが“以降の検索（ｌｏｏｋ ｉｎｔｏ ｔｈｅ ｆｕｔｕｒｅ）”を必要とする事実がある。カラーの使用は、一時的な不整合を回避するため予め十分に知らされていなければならない。

以下において、シーン毎にカラー利用を判断及び格納する方法の詳細を示す図１０に示されるようなフローチャート１０００が、説明される。図１０によると、ヒストグラム解析が示される。まず、画像カラーピクセルが、カラーヒストグラムを測定する測定手段１００１に提供される。判定手段１００２において、シーン変更が存在したか検出される。そうである場合、格納手段１００３は、シーン境界としてフレームナンバーを格納し、新たなエンプティシーン平均ヒストグラムを割り当てる。格納手段１００３の結果は、ヒストグラムデータをシーン平均に加える加算手段１００４に提供される。さらに、シーン変更が判定手段１００２により検出されない場合、この検出の結果が加算手段１００４に提供される。

図１１は、異なるフレームリファレンスについて、対応するヒストグラムブロックを示すフローチャート１１００を示す。図１１において、メモリに格納された（未圧縮）ヒストグラムデータが示される。図１１は、カラーデータのストレージの概要を与える。シーン毎に、１つのヒストグラムが格納される。シーン間の境界を示すフレームナンバーがまた格納され、その全体が、フレームナンバーから平均ヒストグラムデータへのマッピングを提供する。

以下において、図１２を参照して、ヒストグラム変更を用いたカラー及び輝度エンハンスメントによる再生を示すフローチャート１２００が説明される。図３、４及び８に示されるものと同様に、図１２は、解凍ユニット４０１ａに図２に示されるデータストレージ手段２０３に格納されているデータが提供されることを示す。さらに、図９に示されるさらなるデータストレージ手段３０４に格納されているデータが、図１２に示されるように、解凍ユニット４０１ｂに提供される。

データストレージ手段２０３により提供されるデータは、解凍ユニット４０１ａにおいて解凍され、ヒストグラムデータが利用可能であるか（すなわち、履歴データが、カラーヒストグラム生成解析手段９０１により生成されているか）チェックする判定手段２０１に提供される。利用可能でない場合、ビデオデータが表示装置１２０２（液晶ディスプレイ（ＬＣＤ））上に表示される。そうである場合、ビデオデータは、現在シーンのヒストグラムを検索するルックアップ手段１２０３からの現在のシーンヒストグラムデータを供給されるヒストグラム変更手段１２０４を用いてエンハンスメントにより処理される。このルックアップ手段１２０３は、解凍ユニット４０１ｂにより提供されるカラーヒストグラムデータを有する。エンハンスメント手段１２０４は、提供されたビデオデータをエンハンスし、表示装置１２０２上にビデオデータを表示する。これにより、ヒストグラム変更を用いたカラー及び輝度エンハンスメントが実行される。

“有する”という用語は他の要素又はステップを排除するものでなく、“ある”という用語は複数を排除するものでないということに留意すべきである。また、各種実施例に関して説明された要素は、組み合わせ可能である。

請求項の参照符号は請求項の範囲を限定するものとして解釈されるべきでないということに留意すべきである。

図１は、本発明の好適な実施例によるデータ処理システムを示す。 図２は、本発明の好適な実施例によるデータ処理方法によるフローチャートを示す。 図３は、本発明の好適な実施例によるデータ処理方法によるフローチャートを示す。 図４は、本発明の好適な実施例によるデータ処理方法によるフローチャートを示す。 図５は、本発明の好適な実施例によるデータ処理方法によるフローチャートを示す。 図６は、本発明の好適な実施例によるデータ処理方法によるフローチャートを示す。 図７は、本発明の好適な実施例によるデータ処理方法によるフローチャートを示す。 図８は、本発明の好適な実施例によるデータ処理方法によるフローチャートを示す。 図９は、本発明の好適な実施例によるデータ処理方法によるフローチャートを示す。 図１０は、本発明の好適な実施例によるデータ処理方法によるフローチャートを示す。 図１１は、本発明の好適な実施例によるデータ処理方法によるフローチャートを示す。 図１２は、本発明の好適な実施例によるデータ処理方法によるフローチャートを示す。

Claims (22)

1. データが記録可能な記録フォーマットから部分的に処理された中間フォーマットに、データのリプレイ前に、前記部分的に処理された中間フォーマットによるデータが前記記録フォーマットによるデータと比較して追加的データを有するように、データを変換するよう構成される第１処理ユニットと、
   データリプレイ中に、前記中間フォーマットからデータがリプレイ可能な完全に処理されたリプレイフォーマットにデータを変換するよう構成される第２処理ユニットと、
   を有するデータ処理システム。
2. ビデオデータ又はオーディオデータを処理するよう構成される、請求項１記載のシステム。
3. 前記記録フォーマットによりデータを記録し、記録されたデータを前記第１処理ユニットに提供するよう構成される記録ユニットを有する、請求項１記載のシステム。
4. 前記リプレイフォーマットによるデータをリプレイし、前記第２処理ユニットによるリプレイされるデータが提供されるよう構成されるリプレイユニットを有する、請求項１記載のシステム。
5. 前記記録フォーマットにより記録されたデータを格納し、前記部分的に処理された中間フォーマットにより部分的に処理された中間データを格納するよう構成されるストレージユニットを有する、請求項１記載のシステム。
6. 前記記録フォーマットによるデータは、第１クオリティレベルに対応し、
   前記リプレイフォーマットによるデータは、前記第１クオリティレベルより高いクオリティを示す第２クオリティレベルに対応する、請求項１記載のシステム。
7. データの記録とデータのリプレイとの間のユーザにより規定される時間間隔に基づき、利用可能なシステムリソースに基づき、又は将来予想されるシステムリソースに基づき、前記第１処理ユニットは、前記リプレイフォーマットによるデータのリプレイ前に、前記記録フォーマットから前記中間フォーマットに記録されたデータを変換するよう制御されているか、又は前記第１処理ユニットは、前記記録フォーマットから前記リプレイフォーマットに直接的に記録されたデータを変換するよう制御されているか、判断するよう構成される判定ユニットを有する、請求項１記載のシステム。
8. データリプレイ時に、前記第２処理ユニットが前記中間フォーマットから前記リプレイフォーマットにデータを変換するよう制御されるように、前記中間フォーマットによるデータが前記第１処理ユニットによりすでに生成され、利用可能であるか、又は前記第１処理ユニットが前記記録フォーマットから前記リプレイフォーマットに直接的に記録されたデータを変換するよう制御されるように、前記中間フォーマットによるデータが利用可能でないか判断するよう構成される判定ユニットを有する、請求項１記載のシステム。
9. 前記データの部分的に処理された中間フォーマットへの変換は、動きベクトルデータを計算することを有する、請求項１記載のシステム。
10. 前記データの完全に処理されたリプレイフォーマットへの変換は、一時的アップ変換を有する、請求項９記載のシステム。
11. 前記データの完全に処理されたリプレイフォーマットへの変換は、動き補償インタレース解除を有する、請求項９記載のシステム。
12. 前記データの部分的に処理された中間フォーマットへの変換は、カラー解析を有する、請求項１記載のシステム。
13. 前記データの部分的に処理された中間フォーマットへの変換は、カラーヒストグラムを生成及び解析することを有する、請求項１記載のシステム。
14. 前記データの完全に処理されたリプレイフォーマットへの変換は、カラーヒストグラムの変更を利用したエンハンスメントを有する、請求項１３記載のシステム。
15. 前記記録フォーマットは、圧縮データフォーマットである、請求項１記載のシステム。
16. 前記データの部分的に処理された中間フォーマットへの変換は、少なくとも部分的にデータを解凍することを有する、請求項１記載のシステム。
17. 集積回路として実現される、請求項１記載のシステム。
18. パーソナルビデオレコーダ、パーソナルコンピュータテレビシステム、携帯オーディオプレーヤー、ＤＶＤプレーヤー又はＭＰ３プレーヤーとして実現される、請求項１記載のシステム。
19. 前記第１処理ユニットと前記第２処理ユニットとは、１つの共通の処理ユニットに合成される、請求項１記載のシステム。
20. データが記録可能な記録フォーマットから部分的に処理された中間フォーマットに、データのリプレイ前に、前記部分的に処理された中間フォーマットによるデータが前記記録フォーマットによるデータと比較して追加的データを有するように、データを変換するステップと、
    データリプレイ中に、前記中間フォーマットからデータがリプレイ可能な完全に処理されたリプレイフォーマットにデータを変換するステップと、
    を有するデータ処理方法。
21. プロセッサによる実行時、
    データが記録可能な記録フォーマットから部分的に処理された中間フォーマットに、データのリプレイ前に、前記部分的に処理された中間フォーマットによるデータが前記記録フォーマットによるデータと比較して追加的データを有するように、データを変換するステップと、
    データリプレイ中に、前記中間フォーマットからデータがリプレイ可能な完全に処理されたリプレイフォーマットにデータを変換するステップと、
    を有するデータ処理方法を実行するよう構成されるプログラム。
22. プロセッサによる実行時、
    データが記録可能な記録フォーマットから部分的に処理された中間フォーマットに、データのリプレイ前に、前記部分的に処理された中間フォーマットによるデータが前記記録フォーマットによるデータと比較して追加的データを有するように、データを変換するステップと、
    データリプレイ中に、前記中間フォーマットからデータがリプレイ可能な完全に処理されたリプレイフォーマットにデータを変換するステップと、
    を有するデータ処理方法を実行するよう構成されるプログラムを格納するコンピュータ可読媒体。

Images