JP2005524450A - ハンドヘルドデータ圧縮装置 - Google Patents

Abstract

ビデオディスプレイ（１２）、電気的オーディオトランスデューサ（１４）、中央処理ユニット、および関係する論理的並びにメモリー回路を備えたポータブルオーディオビジュアルプログラムプレイヤー（１０）。ポータブルオーディオビジュアルプレイヤー（１０）は、メモリーデバイス（１９）から予め記録されたプログラムを実行することができ、メモリーデバイス（１９）は圧縮されたデジタルビデオ／オーディオプログラム情報、並びにデコーダプログラムを有する。デジタル圧縮法は、デジタルデータ量を著しく減少させるための一連の圧縮法からなっている。データ圧縮法は動画およびそれに類するイメージからなるモーションビデオに対して特に適しているが、他のアプリケーションに対しても適している。

Description

本願は、２００２年５月２日付で出願された米国仮特許出願Ｎｏ．６０／３７７，３７２に基づく優先権主張を伴っており、この優先権主張の基礎となる出願の内容すべてをここに参考文献として組み入れる。

本発明は、一般に、玩具およびゲームに関し、とりわけ、そのような玩具を用いて予め記録されたオーディオビジュアル情報、およびゲームを表示することができるデバイス、並びに無線および有線の通信システムのためのデジタルオーディオビジュアル情報を圧縮するための方法に関するものである。

現在、ユーザーが予め記録されたテレビジョン、プログラム、ムービー、アニメーション、およびその他のコンテンツを見ることができるポータブルビデオプレイヤーが市場において入手できる。これらのデバイスは、一般に、大人向けに作られていて、その上にビデオ／オーディオ情報が記録されるデータ記録済みのビデオテープまたはＤＶＤのようなメモリーデバイスを使用する。これらの現在市場に出回っているデバイスは、一般に、子供向けに製造されたものではなく、相対的に高価である。本発明は、一つの実施例において、低コストで提供できるポータブルハンドヘルドおよび／またはウェアラブルオーディオビジュアルプログラムプレイヤーを提供する。本発明はまた、ゲームプレイヤーをオーディオビジュアルプログラムプレイヤーに結合し、オーディオビジュアルプログラムプレイヤー上においてインターラクティブなビデオゲームを行うことを含んでいる。

本発明によれば、子供およびその他のユーザーは、現在市場で入手可能な大人向けまたはプロ用の製品と比較して、非常に低コストで提供された小型のポータブルハンドヘルドウェアラブルオーディオビジュアルプログラムプレイヤー上において、予め記録されたテレビジョンプログラム、ムービー、アニメーション、およびその他のオーディオビジュアルコンテンツを見ることができる。

本発明はまた、任天堂ゲームボーイアドバンス（「ＧＢＡ」）、ゲームボーイカラー（「ＧＢＣ」）、ノキアＮ‐ゲージワイヤレステレフォン、およびカラー携帯電話、およびそれ以外の同様のデバイスのようなゲームシステム（「ＰＤＡ」）、および無線通信デバイスであって、ユーザーがビデオゲームプレイヤーのオーディオスピーカーを使用することによって、ビデオスクリーン上において予め記録されたオーディオビジュアルプログラムを見、そして、聞くことができるようなビデオゲームプレイヤーのためのプラグインデバイスを含んでいる。さらには、本発明によれば、予め記録されたオーディオビジュアルプログラムを見るためのビデオディスプレイスクリーンを備えた（「ＰＤＡ」）電子デジタルカメラ、およびそれに類するデバイスのようなポータブルコンピュータを使用することが可能となる。

本発明はまた、ビデオ再生のためにデジタルビデオ／オーディオ情報を圧縮し、そして、解凍するための独創的かつ新規な方法を有している。

上述議論から本発明の属する技術分野において使用される技術の重要な特徴は、有益な改良を施しやすいということにある。

デジタルデータの量を減少させるための種々の圧縮技術が現在知られている。ランレングスエンコーディング（「ＲＬＥ」）圧縮、適応的差分パルス符号変調（「ＡＤＰＣＭ」）圧縮、ＬＺＳＳ圧縮、カラー量子化およびベクトル量子化などのデジタル圧縮技術が現在知られており、使用されている。ＲＬＥにおいては、一つのファイル内に存在する一連の同一のデータ値がカウント数および単一の値によって置き換えられる。例えば、もし圧縮されるべきデータ列がＡＢＢＢＢであるなら、ＲＬＥを用いて圧縮されたファイルは、Ａ*５ｂのようになる。このような圧縮技術においては、繰り返されるデータ列は、（*のような）制御キャラクターと、それに続く、繰り返されるキャラクターの個数によって置き換えられる。制御キャラクターは固定されない。それは実行される度に異なり得る。ＲＬＥは実行するのは容易であるが、比較的高い処理能力を必要とする。ＲＬＥは大量の繰り返されるデータを含むようなファイルに対して適用するのが有効である。以下でより詳細に説明するように、ある形式のデータ（例えば、動画のある一定の形式）は、大量の繰り返されるデータを含んでいるので、ＲＬＥ圧縮の良好な対象となる。

適応的差分パルス符号変調「ＡＤＰＣＭ」は、オーディオデジタルデータ圧縮の分野における当業者に知られた音声圧縮法である。ＡＤＰＣＭ圧縮法は、隣り合うオーディオサンプルが互いに類似していることを前提にする。各サンプルをパルス符号変調（ＰＣＭ）において表現されたものとして独立に表現する代わりに、ＡＤＰＣＭは各オーディオサンプルとその予測値との間の差を計算して差分のＰＣＭ値を生成する。この予測が正確であれば、実際の音声サンプルと予測される音声サンプルとの間の差は、実際の音声サンプルにおけるものよりも変動が小さく、もとの音声サンプルを量子化するために必要とされるものより少ないビット数で正確に量子化される。デコーダにおいて、この量子化された差分シグナルは、予測シグナルに加えられて、再構築された音声シグナルを与える。

ＬＺＳＳ圧縮は、辞書に基づく圧縮スキームを使用する。ＬＺＳＳは辞書としてすでに見られるテキスト（またはシーケンス）を用い、入力されたテキスト中のフレーズを辞書内に向けられたポインターに置き換えることによって圧縮を達成する。ＬＺＳＳ圧縮は、非常に非対称的である。圧縮ルーチンは比較的複雑であり、比較的大量のワークを必要とする。しかしながら、解凍コードは極めて単純であり、比較的低レベルのデジタル処理能力を用いて迅速に達成され、ときどき、コンピュータにより実行される１秒当りの命令の数としてコンピュータエンジニアによって定量化される。「１秒当りの１０万個の命令」という用語は、ときどきこの明細書中ではＭＩＰＳと呼ばれる。

カラー量子化は、イメージ内のカラー情報が縮小されるべきときに用いられる。大抵の状況は、例えば、２４ビットのカラーを有するカラーイメージが８ビットカラーイメージのような、より低次元のカラー量を有するイメージに変換されるようなときに生じる。この技術は、生成されたイメージが圧縮される元のイメージデータより少ない色情報を有している場合に非可逆的である。色情報の損失は、一般に圧縮されたデータによって表現された色数が目に付くようになるレベルまでは、空間的な損失よりも見る者に対して認識されにくい。

ベクトル量子化（ＶＱ）は非可逆的なデータ圧縮法である。ＶＱは近似化素子である。このアイデアは、（丸め誤差の処理法）に類似している。例えば、一次元的な例は、ゼロを始点として、０〜１０インチまでの印を付された１インチ毎のセグメントから構成される１本の線とみなし得る。０から１０までの直線上に表示され得る無限個の数が存在する。データ圧縮技術としてＶＱを用いることによって、１インチ毎のセグメントは、それぞれその中間点（すなわち、０．５、１．５、２．５、・・・８．５、９．５）に減じられる。もし、ある数がセグメント２からセグメント３の間に存在するならば、その数は数字２．５によって置き換えられる。同様にして、もしある数がセグメント６とセグメント７の間に存在するなら、その数は数字６．５によって置き換えられる。すなわち、データの集合における０から１０の間にある数の無限個の変数のリストは、１０個の数、すなわち、０．５、１．５、２．５、・・・８．５、９．５によって近似される。上述の例は、一次元に対して与えられているけれど、同様の例がＮ次元に対しても与えられることが理解されるだろう。したがって、もとのデータの集合はＶＱ圧縮によって近似される。

本発明は、現存する従来技術を越える多くの改良改善を導入する。好ましい実施例において、本発明は、独立に用いられ得る幾つかの特徴を備えているが、それらを組み合わせることによってそれらの効果を最適化することも可能である。

第1の特徴を備えた好ましい実施例において、本発明は、メモリーデバイスからオーディオビジュアルプログラムを実行することができるポータブルオーディオビジュアルプログラムプレイヤーからなっている。好ましい実施例において、オーディオビジュアルプログラムプレイヤーは、ＬＣＤ、ＣＲＴまたはその他のビデオディスプレイデバイスのようなディスプレイスクリーンを備えている。本発明は、オーディオテープカセット、オーディオＣＤ、光学的メモリーディスク、半導体読取り専用メモリー、またはフラッシュメモリー、ホログラフィックメモリー、高密度で読取り専用メモリーを形成する有機分子を用いるナノテクノロジーメモリーデバイス、およびその他の高密度メモリーデバイス等の予め記録されたプログラムされたメモリーデバイスを用いることができる。本発明はまた、電池のようなＤＣ電源から作動させることができるが、現存する標準家庭用電源を用いて起動させることもできる。

別の好ましい実施例において、本発明は、ＧＢＡまたはそれに類似のデバイスのようなビデオゲームユニットと結合されるプラグインデバイスからなっている。プラグインデバイスは、上に揚げたようなメモリーデバイスを備えている。この実施例において、オーディオビジュアル表現は、ＧＢＡまたはそれに類するデバイスにおけるディスプレイスクリーンおよびオーディオスピーカーを用いて表示される。

本発明の好ましい実施例によれば、記憶メディア内の情報は、制御プログラム、オーディオデータおよびビデオデータを含んでいる。制御プログラムはプレイヤーの中央処理ユニットがビデオ／オーディオ情報を処理し、表示可能にするのに必要なプログラムを与える。

本発明の別の実施例によれば、マスタープレイヤーユニットは、デジタル処理およびディスプレイ機能を備え、メモリーデバイスからデータを受け取り、これと相互作用することができる。マスタープレイヤーユニットは、メモリーデバイスからデジタル情報を受け、そして、それをユーザのためにオーディオビジュアル表示する。

本発明の別の実施例によれば、圧縮技術が本発明によって使用されるメモリーデバイス内に記憶されたオーディオビジュアル情報を表示するデジタル情報のビット数を著しく減少させ、それによってコンテンツデータを保持するために用いられる。解凍技術が（非可逆的および／または可逆的ベースに基づいて）予め圧縮されたデジタル情報を検索するために用いられる。

本発明の好ましい実施例によれば、これらの圧縮および解凍技術は非対称的であり、元のデータの集合を圧縮するために必要とされる時間並びにコンピュータのデジタル処理能力は、圧縮されたデータの集合を解凍するために必要な時間並びにコンピュータのデジタル処理能力を越えている。容易にわかるように、予め記録されたプログラムの初期圧縮は一度だけなされ、高性能のデジタル処理デバイスを使用することによって達成され得る。圧縮されたデータの解凍は、低コストのより能力の低いデジタルユニットを用いて、迅速に達成されることによって、改良されたオーディオビジュアルプレイヤーが依然として比較的低コストで提供されなければならない。

本発明の別の独立な特徴は、ポータブルビデオ／オーディオプレイヤーのゲームにおける使用である。この特徴の好ましい実施例によれば、本発明は、ゲームあるいはそれ以外のエンターテイメントコンテンツを楽しむときに利用可能なインターラクティブビデオ／オーディオゲームからなっている。

本発明の別の実施例によれば、動画およびオーディオコンテンツがその一部をなすインターラクティブゲームと結合されてプレイされ得る。例えば、教育用ゲームはそのゲームプレイパターン内に埋め込まれた写真、フィルムおよびアニメーションビデオ、または俳優、動物およびその生活から切り取られた種々のシーンのオーディオビジュアルコンテンツの再生を提供することができる。

添付図面は、単に説明だけのものであって、本発明の構成に決定的な影響を及ぼすものではない。

本発明のより大きな適用可能性が、以下の詳細な説明から明らかとなる。しかしながら、以下の詳細な説明並びに特定の実施例は、本発明の好ましい実施態様を示すものであって、単に説明のための一例として与えられているにすぎない。なぜなら、本発明の構成の範囲内における種々の変更がこの詳細な説明に基づいて当業者に明らかとなるからである。

図１は、本発明の一実施例によるポータブルオーディオビジュアルプログラムプレイヤー１０を示している。オーディオビジュアルプログラムプレイヤー１０は、デジタルデータを処理してビデオ／オーディオ情報に変換することができる軽量なポータブル装置からなっている。デジタルデータは種々のメディアに記録され得る。例えば、デジタルデータは磁気テープまたは磁気ディスク、コンパクトディスク、ＤＶＤ、または半導体メモリー、ホログラフィックメモリー、またはフラッシュメモリーカードのようなその他の読み書き可能な揮発性メモリーに記録される。

好ましい実施例によれば、ディスプレイスクリーン１２は、白黒、すなわちモノクロームまたはカラーの表示が可能な小型液晶ディスプレイからなっている。加えて、ディスプレイスクリーンは、ＣＲＴ、またはアクティブまたはパッシブマトリックスＬＣＤディスプレイ、または有機発光ダイオード（「ＯＬＥＤ」）ディスプレイスクリーンのようなそれ以外の形式のスクリーンからなっている場合もある。イメージ生成デバイスはまた、アイマウントまたはアイプロジェクションスクリーンからなり得る。本発明の目的の一つは、低コストでオーディオビジュアルディスプレイを提供するとともに、低価格のディスプレイが一般に入手できるようにすることにある。

本発明の一実施例によれば、オーディオビジュアルディスプレイは、市場で現在入手可能なＧＢＡまたはそれ以外の類似のユニットなどのハンドヘルドゲームユニットの一部を構成する。このデバイスの構成は、以下に詳細に説明される。

オーディオビジュアルプレイヤーは、音声を生成するためにスピーカー１４を使用する。しかしながらまた、オーディオヘッドセットまたはイヤホン１６がオーディオビジュアルプレイヤーに作動可能に接続されることによって、音声がイヤホンにおいて生成されるような構成とすることもできる。このような実施例において、オーディオビジュアルプレイヤーの近くに位置する人間は、プログラミングの音によって妨げられることはない。ビデオ／オーディオプレイヤーは、ビデオ／オーディオプレイヤーの音量、輝度、コントラスト、スタート／ストップ、ポーズおよびそれ以外の機能を制御するためのコントローラ１８を有している。ビデオ／オーディオプレイヤーはまた、ビデオ／オーディオデジタルデータを含むプログラムメモリー１９からデータを受け取るためのポート１７を備えている。ビデオ／オーディオデジタルデータは、以下において詳細に説明される。プログラムメリ１９はまた、以下に説明されるような形式のものからなっている。

次に、図２には、ハンドヘルドビデオゲームユニット５０を使用する本発明の一実施例によるスキームが示されている。ビデオゲームユニット５０は、ディスプレイスクリーン５２およびコントローラ５４、５６を備えている。ビデオゲームユニット５０は、ゲームボーイアドバンスなどのようなビデオゲームユニットからなっている。ビデオディスプレイスクリーン５２はイメージを表示することができる。コントローラ５４、５６は、ビデオ表示および音量を調節するために用いられる。ビデオゲームユニットはまた、プラグインユニット６２を収容するための拡張ポート６０を備えている。本発明の好ましい実施例によれば、プラグインユニット６２は動画オーディオビジュアルプログラムを表現するためのデジタルデータを有するメモリーを備えたデバイスからなっている。

次に、図３Ａ、３Ｂ、３Ｃおよび３Ｄには、本発明の好ましい実施例のブロック図が示されている。

図３Ａは、標準的なゲームボーイアドバンス１０１に使用されるプラグインユニットのブロック図である。ＧＢＡ１０１は、プラグインユニット１００を収容するための拡張スロット１０４を備えている。プラグインユニット１００がＧＢＡと結合するとき、プラグインユニットは電気的接続子１０２を通じてＧＢＡから電力の供給を受ける。メモリー１０６は、読取専用メモリーまたはフラッシュメモリー集積回路（ＩＣ）デバイスからなっていて、すべての圧縮されたビデオ／オーディオデジタルデータプログラム１０８、並びにプログラム命令およびブレイヤー制御プログラム１１２に対するデータ１１０を有している。圧縮されたビデオ／オーディオデジタルデータプログラム１０８、プログラム、プログラム命令およびデータ１１０、並びにプレイヤー制御プログラム１１２は、メモリー１０６内の異なるアドレス空間を有していて、図３Ａに図示されるように、メモリー１０６内において独立したボックスとして表示されている。デジタルデータ１０８および１１０、並びにプレイヤー制御プログラム１１２は、それぞれ電気的接続子１１４、１１６および１１８によってＧＢＡ１０１に接続されている。電気的接続子１１４、１１６および１１８は、それぞれアドレスバス、マルチプレックスデータ、およびアドレスバスおよびコントロールバスからなっている。電気的接続子１１４、１１６および１１８は、多重化された独立な電気的接続子からなっており、図面中において1本のラインによって表示されたものは、これらの電気的接続子を単一の導体に限定するものと解釈してはならないことに留意されたい。この表記法は、通常１本のバス、データバス、またはコントロールラインバス等の類似したシグナルラインの集合体を表示するスキームにおいて用いられている。

次に、図３Ｂには、本発明の別の実施例が示されており、この実施例においてプラグインメモリー１３０は、非多重化ＲＯＭ ＩＣ１３６およびデータラッチ回路１３３を備えている。プラグインメモリー１３０が内部メモリー１３７およびＲＯＭ ＩＣデバイス１３４を備えた個人用携帯情報端末（ＰＤＡ）１３２またはポータブルゲームプレイユニットとともに使用される。ＲＯＭ ＩＣデバイス１３４は、ＰＤＡまたはポータブルゲームプレイユニットを作動させるための命令を有している。プラグインメモリーユニット１３０、個人用携帯情報端末１３２（またはポータブルゲームプレイユニット）、および上述のようなデバイスは、バス１３５によって電気的に接続されている。この実施例において、データラッチ回路１３３は、バス１３５を通過する拡張バスシグナルを逆多重化することによって非多重化ＲＯＭ ＩＣ１３６が直接使用され得るようにするため用いられる。別のＰＤＡがまた用いられ得ることに留意されたい。

ＰＤＡまたはＧＢＡのようなポータブルゲームプレイユニットに搭載されたＲＯＭ ＩＣデバイス１３４は、オーディオビジュアルプレイヤープログラムを作動させるためのデータおよび命令を含んでいることによってＲＯＭ１３６がビデオ／オーディオデータを記録することだけに必要とされる。あるいは、ＲＯＭ ＩＣデバイス１３４は、ビデオ、オーディオ、および制御プログラムデータのすべてまたは幾らかを記録することができる。

次に、図３Ｃは、本発明の別の実施例のブロック図を示したものであり、この実施例においてブースタカード１５０は、ゲームボーイカラー（ＧＢＣ）またはＧＢＡのようなパーソナルビデオゲームユニット１５２の拡張コートと相互接続され得る。ブースタカード１５０は、パーソナルビデオゲームユニットの処理能力を増大させる。好ましい実施例において、上述したようなメモリー１０６を備えたプラグインユニット１００が、ブースタカード１５２に接続される。

ブースタカード１５０は、パーソナルビデオゲームユニット１５２の電気的な部分と電気的に結合され得る電子サブシステムを備えている。パーソナルビデオゲームユニットの幾つかは、ビデオ／オーディオデータのデコードを行うための十分な処理能力を有していないが、カラービデオディスプレイスクリーン１５６、拡張コート１５８、制御スイッチ１６０および１６１、およびオーディオスピーカー１６２を有している。パーソナルビデオゲームユニット１５２のＣＰＵの処理能力は、プログラム命令を実行して圧縮されたビデオ／オーディオプログラムデータを解凍し、十分高速度で１〜５０フレーム／秒の種々のフレーム速度において、ビデオ／オーディオのフローを維持するために必要とされる。

読取専用メモリーＲＯＭに加えて、上で議論されたメモリーチップはまた、フラッシュメモリーのような追記型メモリー（ＷＯＲＭ）から構成され得る。メモリーデバイスはまた、工場での製造の間に一旦マスクをかけられた状態でプログラムされ、あるいはフラッシュメモリーまたは別の形式の不揮発性読取書込メモリーのような新たなデータを多数回にわたって電気的にサイド書き込み可能とされ得る。

オーディオＣＤプレイヤー、オーディオプレイヤー、電話回線、または種々の低速度のシグナル伝送ライン等の異なるメモリーメディアとインターフェースをとる、本発明の実施例を実現するための十分な処理能力をもたないパーソナルビデオゲームユニット１５２に対しては、ブースターカード１５０は、ビデオスクリーン上のプログラムの許容し得る再生を実現するのに十分な速度でオーディオビデオデータを圧縮するために必要とされる処理能力を提供する。

図３Ｃは、本発明の一実施例によるブースタカードのブロック図が示されている。ブースタカード１５０は、中央処理ユニット２００、ＲＡＭデータバッファ２１０、プログラムデータ記憶メモリー２２０、オペレーションプログラムデータ記憶デバイス２３０、制御論理式回路２４０、電源２５０、メモリーデバイスおよび制御論理回路２６０を備えている。バス２８０に作動可能に接続された選択的デュアルＡ／Ｄ（アナログ‐デジタル）コンバータ２７０は、ビデオデータがＦＭ、位相変調、ＰＣＭ、または他の変調方法などの種々の変調方法によってアナログシグナルにエンコードされるような状況に対して準備される。このことは、メモリーデバイスがＣＤプレイヤー、オーディオテープ、カセッテプレイヤー、電話回線等々からなっているような場合に生じ得る。

ＲＡＭデータバッファ２１０は、制御論理回路２６０、および記録されたプログラム２２０に作動可能に接続されている。オペレーションプログラムデータメモリー２３０は、プレイヤー制御プログラムに対するオペレーション命令およびプレイヤープログラムにデータを記録している。論理回路２４０は、ＣＰＵおよびメモリーユニットに作動可能に接続されている。

図３Ｄは、本発明の別の実施例によってブースタカード３００のブロック図である。先入先出（ＦＩＦＯ）メモリー３１０が、ブースタカード３００内に作動可能に接続されて、ビデオ／オーディオデータアウトプット、またはプラグインコンテンツメモリーデバイス３１２から受け取ったデータをバッファリングするようになっている。パーソナルビデオゲームユニットまたはオーディオヘッドホンなどのビデオ／オーディオプレイヤーユニットにおけるラウドスピーカーのためのオーディオシグナルを生成するためのパルス幅変調回路またはデジタル‐アナログコンバータ、および電力増幅器３１８などのオーディオアウトプット回路３１４が、モノラルまたはステレオオーディオフォーマットにおけるビデオ／オーディオプレイヤーに電気的に接続されている。オプション電源３２４が種々の回路に電力を供給するために使用される。（この実施例または別の実施例においては）、電源３２４は電池、または一般のＡＣ家庭用電圧をブースタカードの回路を作動するのに適切な電圧レベルまで変換することができるアダプタから構成され得る。あるいは、ブースタカードは拡張ポートおよび接続プラグを通じて、ＰＶＧから必要な電力を得ることができる。

日本国またはアメリカ合衆国において子供用のテレビショーとして一般に知られたアニメスタイルの動画および子供用のある種の子供向けの長編映画プログラムにおいては、異なるビジュアル形式のビデオ表現が存在し、それぞれスポーツイベント、西部劇または生の俳優によるパフォーマンス、およびそれに類するもの等の互いに異なる種類のビジュアルプログラムによって異なっている。このアニメスタイルには、一定の形式のビデオエンコーディングおよびデコーディング法を適用することが可能である。アニメスタイルは、他の種類の動画ビデオ／オーディオコンテンツと比べて、より高いデジタルデータ圧縮率を実現可能とする多くの属性を備えている。例えば、アニメーションの各フレーム毎にアセテートまたはマイラーシート上に色をつけるアニメセルアニメーションスタイルは、一般に限られた数の色だけを使用する。また、色は変化の少ない大きなイメージ領域を形成する傾向がある。さらには、イメージ中の背景は、しばしばアニメーションの多数のフレームに対して変化することはない。

アニメアニメーションレートは、普通、ＮＴＳＣビデオに対して使用される３０フレーム／秒のより、むしろ２４フレーム／秒のレートであり、それによって、低フレームレートによるさらなるデータ圧縮が可能となる。

付加的なデータ圧縮がまた、本発明のビュースクリーンが（例えば、好ましい実施例においては、２インチ×３インチであるように）、比較的小さなサイズであるという理由から実現可能である。ビュースクリーンが比較的小さなサイズを有しているから、かなり低い解像度でよく、よって、より小さいイメージデータの集合が要求される。さらには、使用される色数が制限されるという理由から、しばしば「インデックスカラー」と呼ばれるカラールックアップテーブルの使用によって、さらに縮小されたデータサイズが得られる。

例えば、カラースタイルアニメーションを分析する際に、２５６色の色よりも少ない色数が、一般にある与えられたフレーム中または一連のフレーム中に存在する。もし、スクリーンが２００ピクセル×１００ピクセル（すなわち、２０，０００ピクセル）の解像度を有し、かつ１６ビット／カラーピクセルのＲＧＢカラーモデル上でデータすると仮定すれば、カラーデータの１フレームを保持するために必要なメモリーは、４０，０００バイト（２０，０００ピクセル×１６ビット／ピクセル×１バイト／８ビット）である。「インデックスカラー」圧縮を用いることによって、２５６個のルックアップ値の一つがピクセル毎に記録され、２０，０００バイトのメモリーのみが１フレームのビデオを記録するために必要とされ、さらに、１６ビット／カラー（すなわち、５１２バイト）を記録する２５６個のエレメントカラールックアップテーブルが必要とされる。それに対応して、もし一つのカラーパレットテーブルが更新され、例えば、１５フレーム／秒の再生レートに対して各４フレームであれば、ビデオフレームを記録するのに必要なメモリーは、「インデックスカラー」圧縮を用いてダイレクトカラー法の場合と比較して、約５０％小さくて済む。

本発明はまた、心理視覚的および心理音響的な認識の主観的な特徴を用いる。もし、ビデオスクリーンのサイズが縮小されるなら、人間は再構築されたビデオまたはオーディオ表現において質が低下しまたは歪みが生じてもそれを許容する。なぜなら、質の低下や歪みは、スクリーンサイズが小さくなるつれてより感じられなくなるからである。

次に、モーションオーディオビジュアル（ＭＡＶ）ファイルのデジタルデータが、圧縮されて、そのファイルサイズを縮小するような方法およびプロセスについて説明する。本発明の一実施例による独創的で新規な特徴は、当業者によって理解されるだろう。本発明は、動画、アニメーション、およびその他のオーディオビジュアル中間変動コンテンツのデジタルデータ表現を、デジタルデータまたは（望まれる場合には）アナログメモリーの形態で非常にサイズが小さくコンパクトなメモリー内に圧縮するのに特に適している。

本発明は、ＭＰＥＧ−２、ＭＰＥＧ−４、モーションＪＰＥＧとしてよく知られた圧縮法またはその他の類似の技術、時間差オーディオビジュアルプログラムコンテンツを圧縮するためのその他の類似の方法を用いるものではない。これらは一般に、コンテンツインディペンデント圧縮法として知られている。これらの方法は、コンテンツの性質に無関係に動作する点において類似している。これらのコンテンツインディペンデント圧縮法は、モーションオーディオビジュアル（ＭＡＶ）コンテンツの完全なスペクトルとともに用いられなければならない。しかしながら、ここに説明する本発明の実施例は、部分的に特定のコンテンツに関係しており、このコンテンツ特定圧縮は、以下においてより詳細に説明するようなビジュアルエレメントの独特の特徴を備えた動画、および他のコンテンツ材料のような特定の形式のコンテンツに対して最適化される方法であるが、また、他の形式のＭＡＶコンテンツとともに用いられ得る。本発明は、現在知られ、使用されているコンテンツインディペンデント圧縮法と比較して、かなり高い圧縮率を達成するのに適したものである。これは、ときどきコンテンツディペンデント圧縮と呼ばれる。

本発明の一つの特徴によれば、アニメーション、映画、ビデオ、またはその他のＭＡＶプログラムコンテンツのストーリーを話して聞かせる際に、子供に認知され、かつ彼らを喜ばせるような十分に高いオーディオビジュアル品質を与える。

本発明は、子供の聴覚並びに視覚が、大人のこれらの感覚よりも繊細で優れている必要はないという事実を巧みに利用したものである。さらに、子供は大人よりも物理的に小さいという事実によって、子供は、大人が比較的大きなビデオディスプレイスクリーンを必要とするにに対し、小さな１〜２インチのビデオディスプレイスクリーンを認知することができる。

上で詳細に説明されたビデオプレイヤーは、相対的に小さいビデオスクリーンまたはイメージデバイスを用いているので、本発明は、子供の心理視覚的認知の特性を用いることにより、一定の認知の閾値以下のレベルの視覚的な詳細な内容を除外し、減少させている。さらに、大抵の場合において、動画のプログラムのストーリーラインおよび連続したスキームの大部分がプログラムの音響的部分、すなわち、音声、音楽、並びに効果音によって実行されるので、もし、音響的品質が、子供にとって、キャラクターが話す言葉、音楽および効果音を聞き分けるのに十分良好なものであれば、より低いビデオ品質であっても、プログラムを見る際に子供に受け入れられ得る。音響的エレメント、すなわち、キャラクターの音声、音楽、および効果音の時間的同期また視覚的な動画に対しても重要である。

次に、図４には、オーディオおよびモーションビジュアルコンテンツに対する極めて非対称的なエンコーディングプロセスおよびデコーディングプロセス（ＣＯＤＣ）の一般的なフローチャートを示したものである。エンコーディングは一度だけ実行されるので、エンコーディングプロセスにおいて、拡張データ処理および数学的テクニックを用いていることによって、デコーディングプロセスにおける時間並びにハードウエアの必要とされる条件を最小にすることが極めて有効である。エンコーディングは一度だけ実行され、デコーディングは何度も実行されるので、プロセスの非対称的な特性が受け入れられ得るだけでなく、望ましいものとなる。このプロセスによって、本発明によれば、再生デバイス内において比較的低性能の計算機、したがって、より低価格の計算装置を用いることが可能となる。

ビデオ／オーディオデータのエンコーディングに際し、大量の時間、計算能力およびプロセスが、ソース、モーション、およびビデオ／オーディオ（ＭＡＶ）情報を処理し、それを非常に小さなメモリーサイズに縮小するために適用される。それ故、圧縮されたビデオ／オーディオデータファイルをデコードし、再び使用可能なオーディオビジュアル再生に変換するのに必要とされる計算処理は、著しく縮小される。音響的エレメント、すなわち、キャラクターの音声、音楽および効果音の時間同期性は、ビジュアルモーションピクチャに対してもまた重要である。

図４のフローチャートは、エンコーディング法の基本的な全体的プロセスを示している。
当業者によって容易にわかるように、約２２分間の典型的なＮＴＳＣカラービデオプログラムは、デジタルデータに変換されたとき、プログラムを記録するために数十ギガバイトのメモリーを必要とする。プログラムのようなイメージの典型的な空間解像度は、６５０×４８０ピクセルである。その結果は、３０７，２００ピクセル／フレームとなる。３０フレーム／秒のディスプレイレートを仮定すると、非圧縮フォーマットにおけるこのようなデジタルデータの１秒間の量を記録するために必要なメモリーは、９．３６メガピクセルを記録するのに十分な容量を有していなければならない。赤色、緑色、および青色のピクセル毎に８ビットの（１バイト／カラー）の完全な色表現を仮定すると、デジタル情報の量は１秒当り２７メガバイトのデジタルデータを超える。

さらに、デジタルステレオオーディオは、一般に、４４ＫＨｚのカラーサンプルレートを有しており、１６ビット／サンプルを必要とし、デジタルオーディオは、１秒当り、８メガバイトのデジタルオーディオデータを越えるデータ量を必要とする。

本発明の一実施例によれば、デジタルデータは極めて高い圧縮率で圧縮され得る。上述したＧＢＡのようなビデオプレイヤーは、約２インチ×２インチのサイズのスクリーンを使用する。このスクリーンサイズは、２４０×１８０ピクセルカラーＬＣＤビデオディスプレイの解像度を有している。この例においては、８ビットＰＷＭステレオオーディオアウトプットシステムが備えられる。ＧＢＡに関する技術的な詳細および情報は、ｗｗｗ．ｇａｍｅｇｉｚｍｏ．ｃｏｍ／ａｆｔｅｒｂｕｒｎｅｒｋｉｔ．ｈｔｍｌを含むが、これに限定されないインターネット上の多数のウエブサイト上において見つけることができる。このようなＧＢＡに関する情報はまた、ＧＢＡの製造メーカーである株式会社任天堂から得ることができる。ＧＢＡに関する技術的な情報は、株式会社任天堂によって所有されており、その詳細な技術情報へのアクセスのためにはライセンスが必要である。以下に説明する圧縮プロセスは、ＧＢＡ並びにそれ以外のデバイス上において処理されるべきデータに適用し得る。

以下に説明されるプロセスは、特定の公知の圧縮法を用いる。しかしながら、本発明は、新たな圧縮法を導入するものであり、この圧縮法の各エレメントの適用に関する特定のプロセスの組み合わせまたは特定のプロセスのシーケンスがその組み合わせにおいて、またそれぞれ個別に独創的なものであって新規なものである。

まず最初、オーディエンコーディングプロセスにおいて、モーションオーディオビジュアルコンテンツ（ＭＡＶ）４００がデジタル化される（４０１）。デジタルソースコンテンツ４０１は、独立な圧縮プロセスを受けたデジタルオーディオデータ４０２、およびデジタルビデオデータ４０４からなっている。しかしながら、圧縮プロセスは、同時に実行され得ることが当業者によって理解されるだろう。デジタルソースオーディオデータ４０２はエンコードされ（４０３）、デジタルソースビデオデータ４０４もまた、エンコードされる（４０５）。エンコードされたデジタルオーディオデータ４０２は、圧縮されたオーディオデータファイル４０６にエンコードされ、エンコードされたデジタルビデオデータ４０４は、エンコーディングの後、圧縮されたビデオデータファイル４０８となる。これらの二つの圧縮されたデジタルデータファイル４０６、４０８は、その後、単一の大きな読取専用メモリーデータファイル４１０に変換される。

図５に示されるように、圧縮されたビデオ／オーディオファイル４０６、４０８は、プレイヤーデコーダプログラム４１４とともにメモリーメディア４１２内に記録される。ここに示される説明および添付図面において「圧縮された」および「コンパクトな」という用語が交換可能に使用されていることに留意されなければならない。

プレイヤーデコーダプログラム４１４は、部分的に、ターゲットビデオプレイヤー回路システムを作動させ、制御する。プレイヤーデコーダプログラム４１４は、ビデオプレイヤーシステムの中央処理ユニットに対する命令のオブジェクトコードからなっており、これによって、ビデオプレイヤーシステムは、圧縮されたデータファイルの入力を受け、それらをデコードした後、音やビデオディスプレイのようなアウトプット情報に変換することができる。プレイヤーデコーダプログラム４１４はまた、ビデオプレイヤーを作動させ、押しボタンスイッチ、プレイ／ポーズの実行、巻戻し、早送り、およびその他のユーザーコントロールなどの制御の状態を読み取るためのすべての制御並びにプログラミングを含んでいる。このプレイヤーデコーダプログラムはまた、スクリーン上における時間並びにタイトルの情報をそれ以外の関連するクラシカルユーザーインターフェース（ＧＵＩ）エレメントとともに提供される。このようなデバイスのプログラミングに対する分野の当業者は、このようなビデオプレイヤーに対するこのようなプレイヤーデコーダプログラムを容易に書くことができる。

ＧＢＡのようなビデオプレイヤーデバイスは、通常、ＭＡＶ再生デバイスとしては使用されないが、しかし、本発明の独創的なプロセスのために、限られた処理能力しか備えていないＧＢＡのようなデバイスでさえもＭＡＶを実行することが可能となる。当業者であれば容易にわかるように、本発明は、多くのこの種のデズイス上において実行される。

再び図５には、メモリーメディア４１２の構成が示されている。このメモリーメディア４１２によってコンパクトオーディオデータファイル４０６、コンパクトビデオデータファイル４０８、およびプレイヤーデコーダプログラム再生スプリクト４１４が記録される。当業者であれば容易にわかるように、メディアは、半導体メモリーデバイス、マスチックプログラムされた不揮発性読取り専用メモリー（ＲＯＭ）、またはフラッシュメモリーのような電気的なプログラム可能な不揮発性読き書きメモリー（「ＷＲＭ」）、またはその他の類似の不揮発性メモリー、回転ディスク、カード、テープのような光学的メモリーデバイス、またはテープ、回転ディスクまたはカードのような磁気メモリーデバイスから構成され得る。

次に、図６に示されるように、ソースオーディオデータ５００は、典型的にはＷＡＶフォーマットオーディオファイルにデジタル化される。典型的には、このデジタル化は、４４ＫＨｚサンプルレート、１６ビット／サンプルの特徴を有し、ステレオソースオーディオからなっている。（すなわち、左チャンネルおよび右チャンネルを有している）デジタルオーディオは、約１４０８メガビット／秒のデータを生じさせる。オーディオエンコーディングの目的は、ビデオプレイヤー上における最良の再生オーディオ品質を維持し、受け入れ可能なオーディオ品質をもたらすような可能な最低の効果的なデータビットレートを得ることにある。

オーディオエンコーディングプロセスは、オーディオデジタルデータファイルのサイズを１／２に縮小する選択的ステレオ／モノラル変換５０２を含んでいる。

次に、オーディオデータがバンドパスオーディオフィルタ５０４によってデジタル的に処理され、予め決定された周波数（ＦＬ）以下のすべてのオーディオ情報またはエネルギーをカットし、かつ予め決定された周波数（ＦＨ）以上のすべてのオーディオ情報またはエネルギーをカットする。このバンドパスフィルタリング５０４の目的は、オーディオデータをさらに縮小して、シャノンサンプリングに起因して後にパルス符号変調（ＰＣＭ）を用いることによるデータ圧縮のアンチエイリアリングを防止することにある。

オーディオデータのその他の種々の処理５０６が実行され、これらの処理にはオーディオにおける特定の周波数帯のプリイコライゼーション、最大および最小音量レベルのダイナミックレンジの圧縮、および種々の特定周波数におけるノッチフィルタリングを実行することによるビデオプレイヤーの最終オーディオアウトプット回路に対する補償を含んでいる。このステップ５０６は、ビデオプレイヤー上における全オーディオコードの逆変換に対する補償としての部分的に実行され、最良のオーディオサウンドを生成する。

本発明は、ノンリニアアウトプットシステム、クラスＡ、ＡＢまたはＢタイプの増幅器を備えたビデオプレイヤーによって使用される。本発明はむしろ、ＰＷＭ回路に基づくクラスＤ増幅器を用いることによって実行され得る。ＰＷＭ回路のサンプリング周波数は、注意深く選ばれ、オーディエンコーディングプロセスのプリイコライゼーションおよびノッチフィルタリングは、ヒス、ノイズおよび歪みを最小にするためのＰＷＭオーディオアウトプット周波数に一致するように選ばなければならない。

その後、オーディオデータは、ＡＤＰＣＭエンコーディング５０８によって処理されて、さらにデータ量を減少させる。すでに共有の技術となった公知のＰＣＭおよびＡＤＰＣＭアルゴリズムが多数存在することは、当業者によって明らかである。対応するデコーダプログラムが十分に高速で、かつビデオプレイヤーおよびデコーダの中央処理ユニットの処理時間が最小となるように実行され得るように、これらの選択は注意深くなされねばならない。その上にあるデータは、圧縮されたオーディオデータファイル５１０からなっており、これはその後、図５に示されるように、記録メディア４１２に変換される。

次に、ビデオエンコーディングプロセスが説明される。容易に理解されるように、フレーム一致およびサブフレームアセンブリエンコーディング（「ＳＦＡＥ」）などの幾つかの新規なビジュアルデータエンコーディングプロセスは、以下で説明されるように、特にプログラムのコンテンツディペンデントな特性に関連している。さらに、幾つかの別のエンコーディングプロセスが当業者によってよく知られているが、これらのプロセスが本発明中において実行され、かつ組み合わされる方法は独創的かつ新規なものである。

図７Ａおよび７Ｂを参照して、図７Ａおよび７Ｂに示されるポイントＡは、図面中の同一のポイントを表していることは理解されるだろう。インプットされるプログラムソースコンテンツビデオがデジタル化される（６００）。このソースコンテンツは任意の形式のフォーマットで生成され得る。しかしながら、一般に、この圧縮されていないソースビデオは６４０×４８０ピクセル、３２０×２４０ピクセル、またはそれ以外の他のサイズの空間解像度を有するようにデジタル化される。カラーは完全な２４ビットカラーとして表現され、すなわち、ピクセル毎に赤色、緑色、および青色の色値は、それぞれ１バイト（８ビット）からなっている。カラーはまた、ＹＵＶ（輝度、カラー差（２値））表現およびＨＳＶ（色相、彩度および値）表現において表示され得る。これらは当業者によく知られていて、ＲＧＢ値のリニアな代数変換からなっている。

デジタルビデオの一時的なサンプリングは、典型的には、３０フレーム／秒であり、あるいはよく知られているように、６０、５０、２５、２４フレーム／秒のような、他のフレームレートまたはそれ以外のレートが本発明において使用され得る。

好ましい実施例におけるエンコーディングプロセスは、１秒当りのフレームの個数を縮小または減少させるステップ６０２を含んでいる。本発明の好ましい一実施例によれば、１秒当りのフレームの個数は、６ＦＰＳまで減少せしめられる。

フレーム一致、フレームの繰り返し、およびフレームシーケンス分析およびマーキング、並びにメタタギングのステップが、その後実行される（６０４）。フレーム一致ステップは特に、同一のまたはほぼ同一のイメージフレームが多数存在するような動画とともに使用するのが有効である。これはコンテンツ特定圧縮プロセスの一部をなす。フレーム一致は、全イメージエリア内においては、ピクセルのすべてまたはごくほんのわずかな割合のみが時間変動の基準に基づいたとき、変換するような一連のアニメーションに関係している。各フレームはメタタグを伴うエンコーディングプロセス内においてマーキングされる。再生プレイヤービデオデコーダは、メタタグを使用することによってキヘフレームとして知られたソースフレームにポインターを復帰させる。すなわち、同一または実質上類似したフレームの再発生のためのデータは、コンパクトビデオデータファイル内に一度記録されるだけである。メタタグポインターは、ソースフレームデータアドレスを指し示す数字である。それに続く、実質上同一のフレームは大量のデジタルビデオデータからなっているので、それを一つのポインターによって置き換えることで、ビデオデータメモリーサイズを大きく減少させることができる。繰り返されたフレームは、すべてキーフレームに対するメタタグポインターを用いてマーキングされる。

さらに、連続するフレーム間の差の数値化が実行され、この差が予め決定されたレベルよりも低いとき、微小な領域または小さな色数において連続するフレーム中において異なるピクセルの個数は非常に小さい。一つのソースフレームが後に続く一つのフレームまたは複数のフレームを表示するために使用され、それによって、非常に大きなデータの節約が達成される。

連続するフレーム間の差の数値化がなされ、イメージの微小な部分だけが変化するような場合、このような変化は、小さなビデオディスプレイ上では、それを見る者に気づかれることがない。このような状況において、連続するフレーム間の差は、無視し得るものとみなされ、ソースフレームが繰り返される。

フレームおよびフレームの範囲は、オーサリングエンコーディングプロセス一致、分析およびメタタグプロセス内における一つのガイドとしてマニュアル的に識別され得る。

また、例えば、動画中においては、Ａ＋Ｂ、Ａ＋Ｂ＋Ｃ、およびＡ＋Ｂ＋Ｃ＋Ｄのような繰り返されるフレームのシーケンスが、多数回発生する。このような繰り返されたフレームは、背景のスクロールまたはパンに対して動くアニメーションキャラクター、アニメーションキャラクター上におけるマウスの動き、爆発、水の流れ、煙の広がり、またはそれ以外の多くのシーンのタイプから表現し得る。このような状況におけるフレーム一致のプロセスは、重要なビデオデータの縮小をもたらす。

次に、以下に説明されるように、サブフレームアパーチャエンコーディング６０４に対する言及がなされる。
サブフレームアパーチャエンコーディングは、ビデオデータの著しい縮小をもたらし、動画のようなある一定のコンテンツに対して非常に有効である。これらが多数のフレームのシーケンスからなっているような多くの例が存在するが、各フレーム内においては、すべてのピクセルの小さな部分のみが変化している。サブフレームアパーチャエンコーディングにおいてビデオデータが分析され、プロセスはフレーム毎にピクセルデータを比較すること、および／またはフレーム間における代表ピクセル値の引き算のような数学的な操作、差分、一次および二次微分およびピクセルの回数／フレーム、ピクセルのシーケンスの排他的ＯＲ論理操作およびその他のプロセスを含んでいる。

サブフレームアパーチャエンコーディングにおいては、連続するフレームが比較される。例えば、フレーム、Ｎ、Ｎ＋１およびＮ＋２が比較される。フレームＮはＮ＋１と比較される。これはいろいろなやり方で達成される。例えば、フレーム１におけるそれぞれのピクセルは、フレームN＋１のそれぞれのピクセルから引き算される。結果は、フレームＮからフレームN＋１までに変化しないピクセルはゼロ値を用いるということになる。しかしながら、変化を示す限られたエリアが存在する。例えば、変化する値をもつ微小な領域が存在する。この領域の境界が収束法によって計算される。この領域はサブフレームアパーチャ領域として知られている。このサブアパーチャ領域に対するデジタルデータだけがフレームＮから変化していない、フレームＮ＋１に対する他のビデオ情報として記録される必要がある。同様に、フレームＮ＋２がフレームＮと比較され、その結果が同様に使用される。

サブフレームアパーチャの位置およびそのサイズがビデオプレイヤースクリプト言語に対するメタタグ中にマーキングされ、記録される。
一例として、また、如何なる限定を加えるものもなく、もし、フレームＮ、Ｎ＋１およびＮ＋２のそれぞれがＱピクセルを伴った状態で存在し、フレームＮおよびＮ＋１の間、並びにフレームＮおよびＮ＋２の間に差が存在するなら、それぞれ全スクリーン領域の約５％が、１フレーム当り３個の完全なピクセルフレーム（３Ｑピクセル）を記録する代わりに、第１のフレームおよびフレームＮ＋１およびＮ＋２のサブフレームアパーチャ領域が記録されるだけでよい。これは記録されたデータの数字の１．１Ｑピクセルを生じさせ、もとのデータ量より著しく減じられたものとなる。

典型的なアニメーションにおいては、サブフレームアパーチャエンコーディングを用いることによって、ビデオデータのサイズは著しく縮小される。

フレーム一致並びにサブフレームアパーチャエンコーディングプロセスから得られたエンコードされたデータは、再生スクリプトおよびメタタグの形態を有している。これらはすべてイメージフレームデータファイルを参照する。これらはまた、最終段のビデオイメージデータコンパイラにおいて、コンパクトビデオデータファイルアウトプット内に記録された実際のデータを縮小するために使用される。

ビデオエンコーディングプロセスにおける別のステップは、ピクセル中の空間的なサイズを縮小することである（６０６）。例えば、空間的なサイズは、１６０×１２０ピクセルまたは８０×６０ピクセルのサイズから縮小される。空間的な拡大縮小は、例えば、アドビソフトウエア社から提供されるフォトショップおよびプレミアのような多数の商業ベースのソフトウエアイメージプログラムにおいてみられるようなイメージ処理アルゴリズムによって実行される。このプロセスは、データサイズをさらに（例えば）、４：１、８：１およびそれ以上の割合で縮小する。

空間的な拡大縮小は、ピクセルの総数を減少させるときのラインおよびピクセルの内挿６０８を含んでいる。それは、ソースインプットとしての完全な解像度において、かつ各ピクセル表現に対する完全なカラー情報を伴って良好に実行される。

エンコーディングプロセスは、時間シーケンスおよび空間の拡大縮小が逆転されることを可能とするようになっていることに留意されなければならない。すなわち、まず最初に、時間拡大縮小技術を実行した後、空間拡大縮小技術を実行し、その後、フレーム一致プロセスを実行することが可能である。その後、ラインおよびピクセル内挿６０８が拡大縮小されたビデオデータ上において実行されることによってイメージの品質が改善される。

カラースペース縮小６１０、円錐または円筒カラーベクトル縮小６１２、およびパレットの縮小６１４がまた達成される。容易にわかるように、ソースマテリアルは、２４ビットＲＧＢカラーが用いられる場合、１，６００万カラー表現を越える表現を含み得る。本発明は、最終的な再生イメージを再構築するのに必要とされるカラーの数を著しく減少させることができる。動画のようなコンテンツは、ごくわずかな色数しか使用しない。カラー領域は、アセテートセル状の顔料によって、またはコンピュータグラフィックスペイントプログラムを用いることによって、塗りつぶされる傾向がある。しかしながら、本発明によるカラー縮小法はまた、動画的でないビジュアルコンテンツに対しても適用可能であり、視覚的に許容可能な品質を提供することができる。

本発明の一実施例は、動画形式のビジュアルコンテンツに対して最適化されるが、本発明の構成は、このようなアプリケーション、すなわち、動画に必ずしも限定されるものではない。

写真形式のイメージ上におけるカラー縮小の視覚的な品質は、実際それが用いられる玩具およびゲープレイヤーシステムに対して十分高い品質となるようなかなり良好で人を引きつける結果をもたらす。例えば、カラービデオカメラ並びに小型のカラービデオスクリーンを備えた形態電話においては、家族、友人または恋人、あるいはペットの顔の小さな限られたカラーイメージでさえも、依然としてその視覚的なイメージは、低品質であるにもかかわらず、価値ある娯楽的な条件をもたらすことができる。

カラー量子化６１０が色数を縮小するために適用されることによって、ＲＧＢ、ＹＵＶ、またはＨＳＶカラースペース内におけるカラーが、少数の共通のカラーに縮小される。カラーベクトルは、カラーの特定の限定された組として規定される。カラー縮小は、カラーの特定の組の予め決定された距離の範囲内にある任意のカラーベクトルをとり、そして、それらを一つのベクトルまたはカラーに割り当てる。カラーはまた、特定の色調のシェードの個数が色相の縮小された組のみが、圧縮されたビデオデータ内において表示されるように縮小されるべく正規化される。

幾つかのフレーム中においてカラーは、特徴的なカラーよりむしろインデックスカラーによって表現される。これによって、インデックス値として知られる代表された数によって、インデックスを付されたカラーパレットの組を生じさせる。

その後、エンコーディングプロセス中において使用される（以下に説明する）ＬＺＳＳ可逆イメージデータ圧縮プログラムを使用するために各フレームは、通常独立なパレットを備えている。本発明の特徴の一つは、フレーム毎に独立なカラーパレットが必要とされることがないようにすること、あるいはほとんど使用される必要がないようにすることにある。多数のパレットが正規化されて共通のパレットのより小さな組に縮小され、実際のカラーに非常に一致したカラーの組が提供される。例えば、２５６個のパレットのうちの一つに対するトークンポインターは、５１２バイトのパレットデータを１バイトに置き換え、単一の５１３バイトのパレットの組を参照することができる。

カラーパレットのデータサイズを縮小すること（６１４）が可能である。例えば、８ビットのインデックスカラーを使用する圧縮されてない８０×６０ピクセルのイメージは、４，８００バイトのイメージデータメモリー＋５１２バイトのパレットデータ（２５６インデックス値×１６ビット／カラーインデックスエントリー）を必要とする。パレットデータは、イメージデータサイズの１０％以上のデータ量（４，８００＋１２＝５３１２）バイト）からなっている。圧縮されていないカラーデータの１０個のフレームは、５３，１２０バイトを必要とする。もし、フレームが一つの共通のパレットの使用によって縮小されるならば、５，１２０−５１２＝４，６８０バイトが節約され、あるいは、１０個のフレームのサイズのほぼ１０％が節約されることになる。実際、数十または数百のフレームの種々のフレームシーケンスグループに対する６４、３２、またはほぼ１６のカラーからなる縮小されたカラーパレットを用いることによって２：１、４：１、８：１、またはそれ以上のカラーデータの縮小が達成される。

カラーデータ縮小からのアウトプットは、カラーパレット、共通のパレットおよびカラーパレットメタタグ６２４を含んでいる。この情報は、最終段のビデオデータコンパイラ６３０に送られ、そして、デコーダおよび再生デバイスによって使用するためにコンパクトビデオデータアウトプットファイル６４２内に記録される。

ビデオ圧縮プロセスはまた、円錐または円筒カラーベクトル量子化６１２を使用する。
ＲＧＢ、ＹＵＶ、またはＨＳＶカラースペース中におけるカラー立方体において、かつエンコーディングのためのコンテンツディペンデントプロセスに対して、これらのカラーベクトル縮小は、極めて許容可能なイメージ品質を提供する。

円錐カラー縮小６１２においては、ラジアンおよびベクトル絶対値において測定された変化し得る角度差が自動的に、または任意によるオーサリングエンコーディング操作の半自動的手続を用いてシーン毎に設定され、カラーが依然として許容し得るイメージ品質を維持した状態で可能な限り最小の個数まで縮小される。

エンコヘドカラー縮小６１２によれば、カラースペース内の立方体における同様のプロセスが実行されるが、シーン間の差を表示する角度の代わりに半径方向の長さが使用される。

サブフレームアパーチャエンコーディングが、デジタルビデオエンコーディングプロセス中におけるこのステップにおいて、イメージデータファイルに対して適用される。縮小されたカラースペースを用いることによって、フレーム一致プロセスは、しばしば、さらなるデータの節約をもたらす。

プロセスをこのポイントに適用するシーケンスは、最大のデータ縮小を得ることに基づき、入れ替え可能であり、この場合にも、できるだけ良好なイメージ品質が維持される。許容し得るビデオ品質が維持される限り、種々のデータ縮小技術を再び実行することによってデータセットのサイズをさらに減ずることも可能である。

また、５ビット／カラーエレメントから４または３ビット／カラーエレメントへのカラー縮小を行うカラー量子化が単独で、または再ベクトル縮小との組み合わせにおいて使用される。

エンコーディングプロセスは、パーソナルコンピュータ上において実行され、各ステップが実行される間にデータのサイズを分析し、計算する。さらに、ＰＣビデオスクリーン上における小さなビデオウインドウ内における表示、エンコーディングイメージデータの再生、差のデータおよびビジュアル品質モニタリングのためのデコーダプロセスのシュミレーションがまた表示され得る。プロセス変数、差および許容し得るエラーファクタは、すべてオーサリングおよびエンコーディングオペレーターによって手動的に変化せしめられることによって、ビデオデータ縮小およびイメージ品質の最良の組み合わせが決定される。メタタグパラメータ、再生スクリプト、および他のすべてのパラメータのリスト並びに表示がまた、プロセスが実行される間にデータファイル内における検査、プリントアウトおよび記録のために利用され得る。

種々のエンコーディングステップのアウトプット１５は、イメージデータファイル再生スクリプトコーディング、フレーム一致、サブフレームアパーチャ、およびカラーパレットに対するメタタグを含んでいる。

エンコーディングプロセスにおける次のステップは、イメージデータのベクトル量子化６１６である。ベクトル量子化はよく知られた一般に使用可能な数学的なイメージデータ処理技術である。この技術においては、ピクセルの微小領域は、コードブックテーブルとしても知られたルックアップテーブルによって参照された１組の共通ピクセルパターンと比較される。サポートされるベクトルの個数に依存して、解像度中におけるイメージ品質の損失の程度、詳細、色の均一性、並びにその他の視覚的品質の低下が生じ得る。ベクトル３０から５１２までのサイズの範囲をとる。がしか、この範囲の外側にあるベクトルがまた使用される。ベクトル量子化のステップは、コンテンツディペンデントであり、あくまでも選択的に使用されるものである。

ベクトル量子化の変数レベルの使用は、動画イメージのような特定のコンテンツディペンデントがビデオデータの全体のビデオデータサイズを縮小する場合に極めて有効である。シーン、アニメーションのレベル、並びにそれに類するものの視覚的エレメントに依存して、幾つかのシーンはベクトル量子化を受け、さらに、許容可能なイメージ品質を表示させる。ベクトル量子化のアウトプットコードブックテーブル、およびコードパターン６１８、並びに縮小されたイメージデータの集合からなっている。

カラーイメージに対するＬＺＳＳデータ縮小技術６２２は、当業者によく知られている。それは、本発明の一実施例においても使用される。この技術は、ベクトル量子化プロセスの後、あるいは、ときどきベクトル量子化が使用されない場合には、上で説明した技術が実行された後のいずれかにおいてプロセス中の最終ステップとして適用される。

ＬＺＳＳは、可逆圧縮プロセスであって、好ましくは、非可逆的なベクトル量子化と比較される。ＬＺＳＳは、ＬＺＳＳに対するデコーダが高速計算プロセスからなっていて、比較的ＣＰＵの処理能力が低いビテオプレイヤーにおいても実行され得るという長所を有している。

カラー縮小の初期のプロセスは、ＬＺＳＳと連携して動作することによって、カラーパレット個数を減少させるので、カラー縮小段階からＬＺＳＳ段階へのデータのリンクが存在する。

さらなるデータの縮小が、ベクトル量子化プロセス６２０をもう一度繰り返すことによって、特定のタイプのコンテンツシーン上において達成される。このことは、ベクトル量子化されたイメージフレームバッファ中において再構築させた後、データの最終的なＬＺＳＳ圧縮に先立ってカラーを再び縮小することによってなされる。

圧縮されたイメージデータファイル６２６はその後、カラーパレット６２４、再生スクリプトメタタグ６２８、およびコードブックテーブル、並びにパターン６４０とともにコンパイルされる（６３０）。そして、それは正規化され、縮小され得る。コンパイルされたデータは、コンパクトビデオデータファイル６４２から構成される。コンパクトビデオデータファイルはさらに、上で説明したビデオ／オーディオプレイヤー、またはその他のディスプレイデバイス中において使用するために、上述のような形式のメモリー６４４内に記録される。

エンコードされたデータのデコーディングは、基本的にすでに開示されたプロセスを逆転させることからなっている。すなわち、エンコードされたデータをデコードするためにエンコーディングプロセスは、基本的に逆方向に実行される。当業者は、このデコーディングプロセスのための実際のコンピュータプログラム命令を書くことができる。再生のコンピータによるデコーディングプロセス中におけるコードブックルックアップテーブルの使用は、必要とされるサイズのＣＰＵ能力を用いることによって迅速に達成される。

ＡＤＰＣＭ圧縮されたオーディオデータのデコーディングは、中間バッファを用いる。この中間バッファ内において再構築されたＰＣＭサンプルが、オーディオアウトプットハードウエア回路によって再生のために記録される。ＧＢＡを用いる好ましい実施例においては、オーディオアウトプット回路は、ＰＷＭを用いることによってオーディオラウドスピーカーまたはオディオヘッドフォンを駆動される。ＰＷＭ回路のサンプルレートは、幾つかのレートのうちの一つに調節され、それによって、ＡＤＰＣＭデコーダは、一つまたは複数のＰＷＭレートに対して最適化される。

上で説明したオーディオシグナルデータの前処理は、オーディオアウトプットシステム特性の逆変換を最適化することによって、低いビットレートにおける最適のオーディオ品質を提供する。モノラルオーディオデータのみを用いる場合には、オーディオデータは、依然としてオーディオヘッドフォンのようなステレオオーディオアウトプットデバイスの左右のチャンネル内において使用される。左チャンネルおよび右チャンネルの間のミリ票のわずかな遅延が補償される。これは、わずかなエコーまたは反響や音の感覚を生じさせる。このことによって、心理音響的認知に起因して、オーディオサウンドはより「オープン」なものとなり、あるいは十分に品質の良いものとなる。

オーディオサウンドをビデオピクチャと同期させ続けることは、非常に重要なことであることがわかる。メタタグおよびキーフレームビデオ／オーディオマッチングに基づく制御された同期化がプラス／マイナス１０ミリ秒の範囲内の同期化を維持するために実行され得るる。

プレイヤーがポーズ／レジウムモードにあるとき、あるいは、チャプターシンクロナイゼーション特性が用いられるとき、あるいは、シングルステップフレームプラス／マイナスが用いられるときには、プレイヤーがレジウムされるとき、オーディオをこれらの点においてビデオと再同期化させることが必要である。メタタグは、ビデオ／オーディオおペレーションの際に使用される。再生スクリプト（ＰＢＳ）がフレーム一致の例、繰り返されるフレームおよびフレーム繰り返しシーケンス、並びにサブフレームデコーディングをデコンパイルするために使用される。ＰＢＳはまた、スクリーン毎にあるいはフレーム毎に種々のビデオデータデコーディングプロセスの適用を制御する。

例えば、変動レートエンコーディングが使用され、もし、ベクトル量子化が一つのシーン上において使用されるならば、ベクトル量子化のレベル、動画レベルのコードブックおよびルックアップテーブル、並びにカラーパレットは、すべてのＰＢＳによって解凍される。

コンパトビデオデータ上におけるＬＺＳＳ圧縮の逆プロセスが、プレイヤーデコーディングプロセスにおける最初のステップとなる。このデータは、一時的なメモリーバファ内に置かれる。そして、ベクトル量子化が使用されるシーンに対して、コードブックテーブルルックアップが実行される。カラーパレットデータは、シーン毎にカラールックアップテーブル中にロードされる。パレットの固定された組が使用され、それによって、パレットの組の収容ローディングが、まず最初、再生プロセス中において実行される。そして、ロードされるべきこれらのパレットだけが、カラービデオディスプレイハードウエアにロードされる必要がある一つのシーンまたはシーンの組に対して必要とされる。

サブフレームデコーディングがなされる場合、より容量の小さいメモリーバッファが、サブフレームアパーチャ領域が維持し、そして、ＰＢＳはサブフレームビデオデータイメージアウトプットビデオバッファ内に置く位置座標を含んでいる。

ビデオデータ量を減少させるための別の方法は、ソースピクセルをビデオディスプレイ中において多数回繰り返すことである。

例えば、本発明の一実施例によれば、現実のビデオディスプレイスクリーンは、２４０×１８０ピクセルの解像度を有している。スクリーンは１００ＤＰＩの空間解像度で動作する。再構築されたコアビデオイメージは、８０×６０ピクセルイメージフレームからなっている。もし、このサイズが直接表示されるならば、全ディスプレイの微小なエリアを満たすだけである（約０．８×０．６インチ）。しかし、イメージはシャープであり、クリアなものとなる。２×２インチで２倍となったピクセルの使用によって、表示されるイメージは１．６×１．２インチまで増大する。このイメージは、ディスプレイスクリーン上においてより拡大されたものとして現れる。増大したサイズにおいて、イメージは幾分シャープさを失うが、依然として受け入れられる品質を維持している。

次に、図８には、ピクセルの繰り返しの３つの例が説明されている。すなわち、２×２、３×３、および一般的な場合が説明される。これらの例においては、ソースイメーズデータ７００が８０×６０ピクセルからなる二次元のマトリックスからなっているということが選定されている。２×２の繰り返しに対して変換されたビデオは、１６０×１２０ピクセルのマトリックスを有する二次元ディスプレイ７０２からなっている。それぞれのソースピクセル７０１は、４つの同一のピクセル７０４として現れる。すなわち、水平位置において２倍に拡大され、垂直位置において２倍に拡大される。

３×３の繰り返しに対して変換されたビデオは、２４０×１８０ピクセルのマトリックスを有する二次元ディスプレイ７１０からなっている。各ソースピクセル７０１は、９つの同一のピクセル７１２として現れる。すなわち、ソースピクセル７０１の３×３倍の大きさとなる。

一般には、二次元Ｈ×Ｖマトリックス中のソースイメージデータは、各ソースピクセルを表示されたイメージ中においてその直角形の集合の各辺毎にN個のピクセルを有する。ピクセルの直角形の集合として繰り返すことによって、N倍まで拡大され得る。変換されたビデオディスプレイの次元は、ＮＨ×ＮＶとなる。

ピクセルの倍加を使用することによって、各ソースイメージピクセルは、実際、ビデオディスプレイ上において４倍に拡大されて表示される。３×３モードにおけるピクセルの繰り返しがまた可能であり、このモードでは、各ピクセルは９倍、すなわち３×３倍に拡大されて、表示される。そして、表示されたイメージのサイズは、２．４×１．８インチとなり、ビデオスクリーンの全体を満たす。再び、表示されたイメージは、シャープネスおよびクリアネスが減じされる。しかし、動画のようなコンテンツディペンデントなソースマテリアルの場合には、このサイズは許容し得るイメージ品質を提供する。

ある意味において、ピクセルの繰り返しは、幾分「ズーム的」特性に類似しているが、ズームされないイメージとズームされたイメージとの間のデジタルビデオ情報量は同じである。

イメージは動き、かつ変化するとともに、ストーリーのオーディオ部分は、明瞭に聞き取られるので、組み合わせされた心理視覚的認知および心理音響的認知は、依然としてその品質面で子供に受け入れられ得る。ピクセルの繰り返しを用いることによって、ビドオプレイヤーは、非常に小さなビデオデータイメージサイズの使用に基づく、より大きな物理的サイズで許容可能なイメージ品質をもたらし、そして、それは大量のビデオデータメモリーの節約を生じさせる。

本発明は、インターラクティブなオーディオビジュアルゲーム等を行う際に使用される。また、手と目の協調におけるスキルに関するゲーム、知識を教授し、テストすることに関するゲーム、並びに娯楽のためのゲームが、このオーディオビジュアルプレイヤーにおいて実行される。さらには、ビデオ／オーディオプレイヤー上のビデオ／オーディオ表現が、個人的ユーザーまたは複数のユーザーによってなされるゲームプレイに導入され、またはこれに組み込まれ得る。

本発明の一実施例によるポータブルオーディオビジュアルプログラムプレイヤーのブロック図である。 本発明の第２の実施例によるハンドヘルドヒデオゲームユニットのブロック図である。 本発明の一実施例によるプラグインユニットのブロック図である。 本発明の別の実施例によるプラグインユニットのブロック図である。 本発明の別の実施例によるブースタカードのブロック図である。 本発明の別の実施例によるブースタカードのブロック図である。 本発明の一実施例によるエンコード法のブロック図である。 本発明の一実施例による、圧縮されたオーディオファイル、圧縮されたビデオファイルおよびそれ以外のファイル／プログラムを含むメモリーの構成を示す図である。 本発明の一実施例によるオーディオエンコードプロセスのブロック図である。 本発明の一実施例によるビデオエンコードプロセスのブロック図である。 本発明の一実施例によるビデオエンコードプロセスのブロック図である。 本発明の一実施例によるピクセル再生を説明する図である。

Claims (22)

1. 複数のビデオフレームのデジタルビデオデータを圧縮するための方法であって、
   デジタルビデオデータの基準フレームのデジタルデータを記録するステップと、
   前記デジタルビデオデータの次のフレームを前記基準フレームのデジタルデータと比較するステップと、
   前記基準フレームを用いて、予め決定された非類同性レベルを越えるデジタルビデオデータの次のフレームのサブアパーチャエリアの境界を決定するステップと、
   前記予め決定された非類同性レベルを越える次のフレームの前記サブアパーチャの境界の範囲内において、デジタル情報のデジタルビデオデータを記録するステップとを有することを特徴とする方法。
2. 基準フレームメタタグポインターによって、前記基準フレームを識別するステップをさらに有していることを特徴とする請求項１に記載の方法。
3. 次のフレームメタタグポインターによって、前記次のフレームのサブアパーチャエリアの境界の範囲内におけるデジタル情報を識別するステップをさらに有していることを特徴とする請求項１に記載の方法。
4. 圧縮されるべきデジタルビデオデータが、ビデオデータのフレームの離散的なエリアを表示するピクセルの形態で記録されることを特徴とする請求項１に記載の方法。
5. 前記記録された基準フレームの離散的なエリアに対応するデジタルビデオデータを、デジタルビデオデータの次のフレームの対応する離散的なエリアのデジタルビデオデータと比較するステップをさらに有していることを特徴とする請求項１に記載の方法。
6. 予め記録されたオーディオビデオプログラムに対応する圧縮されたビデオ／オーディオデータファイルを処理するための装置であって、
   ビデオディスプレイスクリーンと、電気的なオーディオトランスデューサと、前記ビデオディスプレイスクリーンおよび前記電気的なオーディオトランスデューサに電気的に接続されて、前記ビデオ／オーディオプログラムを再生する中央処理ユニットとを備えたハンドヘルドビデオ処理装置と、
   前記ハンドヘルドビデオ処理装置の中央処理ユニットに接続され、前記デジタルビデオ／オーディオ情報を転送する、圧縮されたデジタルビデオ／オーディオ情報を含むプログラム記録メディアと、
   前記中央処理ユニットに接続されて、圧縮されたデジタルビデオ／オーディオ情報の再生を部分的に制御する、圧縮されたデジタルビデオ／オーディオ情報をデコーディングするためのデコーダプログラムを有する制御記録メディアとを備えていることを特徴とする装置。
7. 前記ハンドヘルドビデオ処理装置の中央処理ユニットに電気的に接続されて、それを支援することによって圧縮されたビデオ／オーディオデータのデコーディングを行いながら、前記中央処理ユニットを支援することができる補助処理ユニットをさらに有し、前記補助処理ユニットは前記ハンドヘルドビデオ処理装置に損傷を与えることなく、前記ハンドヘルドビデオ処理装置と相互作用し得ることによって、前記ハンドヘルドビデオ処理装置から独立したケーシング内に収容されていることを特徴とする請求項６に記載の装置。
8. 前記ハンドヘルドビデオ処理装置は電子ビデオゲームプレイヤーからなっていることを特徴とする請求項６に記載の装置。
9. 前記圧縮されたデジタルビデオ情報は、アニメビデオを表現する情報からなっていることを特徴とする請求項６に記載の装置。
10. 前記中央処理ユニットは、デコードされたデジタルビデオ／オーディオ情報を同期化するようになっていることを特徴とする請求項６に記載の装置。
11. 前記圧縮されたデジタルビデオ情報は、少なくとも部分的に、請求項１に記載の方法に従って圧縮されることを特徴とする請求項６に記載の装置。
12. データの複数のフレームから構成されたデジタルビデオ／オーディオ情報を圧縮するための方法であって、
    デジタルビデオ／オーディオ情報をデジタルオーディオ情報とデジタルビデオ情報に分離するステップと、
    予め決定された第１の周波数以上のオーディオデータの実質上すべてをフィルタによって除去し、かつ予め決定された第２の周波数以下のオーディオデータの実質上すべてをフィルタによって除去することにより、デジタルオーディオ情報の周波数範囲を縮小することによって、縮小された第１のオーディオデータセットを形成するステップと、
    前記縮小された第１のオーディオデータセットに対して、ＡＤＰＣＭエンコーディングプロセスを実行することによって縮小された第２のオーディオデータセットを形成するステップと、
    前記縮小された第２のオーディオデータセットを第１のメモリー内に記録するステップと、
    ビデオ情報のフレームの数を減少させるステップと、
    ビデオデータの第１の基準フレームをビデオデータの次の第１のフレームと比較するステップと、
    前記ビデオデータの第１の基準フレームおよび前記ビデオデータの次の第１のフレームとの差を数値化するステップと、
    第１のメタタグ識別子を前記ビデオデータの第１の基準フレームに適用するステップと、
    第２のメタタグ識別子をビデオデータの次の第１のフレームに適用するステップと、
    前記ビデオデータの第１の基準フレームおよび前記ビデオデータの次のフレームの間の数値化された差が予め決定された値を越えたとき、前記ビデオデータの次の第１のフレームを前記第１のメタタグ識別子に置き換えるステップと、
    ＬＺＳＳを用いてデジタルビデオ情報を圧縮することによって、ポストＬＺＳＳ圧縮ビデオデータファイルを形成するステップと、
    前記ポストＬＺＳＳ圧縮ビデオデータファイルを第２のメモリーに記憶するステップとを有していることを特徴とする方法。
13. 前記圧縮されたデジタルビデオ／オーディオ情報は、請求項１１に記載の少なくとも部分的に圧縮されたデジタルオーディオ情報からなっていることを特徴とする請求６に記載の装置。
14. 個人的にゲームをするための方法であって、
    請求項１に記載の装置において予め記録されたプログラムを実行するステップを有し、前記圧縮されたデジタルビデオ／オーディオ情報は少なくとも部分的に請求項１２に記載の圧縮されたデジタルオーディオビデオ情報を有していることを特徴とする方法。
15. 前記装置を使って個人的にゲームをしているときに、前記プログラムと相互作用するステップを有していることを特徴とする請求項１４に記載の方法。
16. デジタルビデオ情報を空間的に拡大縮小するステップを有していることを特徴とする請求項１２に記載の方法。
17. デジタルビデオ情報におけるカラー情報をカラー量子化するステップを有していることを特徴とする請求項１２に記載の方法。
18. デジタルビデオ情報をベクトル量子化するステップを有していることを特徴とする請求項１２に記載の方法。
19. 前記デジタルビデオ情報をベクトル量子化するステップは、少なくとも２回実行されることを特徴とする請求項１８に記載の方法。
20. 前記ＬＺＳＳプロセスを用いてデジタルビデオ情報を圧縮するステップは、前記デジタルビデオ情報をベクトル量子化するステップが実行された後に実行されることを特徴とする請求項１８に記載の方法。
21. アウトプットコードブック情報をベクトル量子化ステップの一部として生成するステップと、
    前記ポストＬＺＳＳ圧縮ビデオデータファイルを用いて、前記アウトプットコードブック情報をコンパイルするステップを有していることを特徴とする請求項１８に記載の方法。
22. 前記圧縮されたデジタルビデオ情報は、動画を表示するための情報からなっていることを特徴とする請求項６に記載の方法。