【発明の詳細な説明】
マルチメディアデータのプログレッシブ非同期伝送方法及びシステム
発明の技術分野
本発明はディジタルマルチメディアデータをネットワークを介して伝送するた
め、それらデータを符号化する方法及びシステムに関する。
発明の背景
以下は、米国特許の検索によって得た米国特許であって、これらは全体として
本発明の属する技術分野に関連すると思われる。
特許番号 許可年月 発明者
4,897,867 '90年1 月 Foster et al
5,119,188 '92年6 月 McCalley et al
5,122,873 '92年6 月 Golin
5,195,092 '93年3 月 Wilson et al
5,220,420 '93年6 月 Hoarty et al
5,236,199 '93年8 月 Thompson，Jr.
5,251,209 '93年10月 Jurkevich et al
5,265,248 '93年11月 Moulios et al
5,283,819 '94年1 月 Glick et al
5,325,423 '94年6 月 Lewis
5,351,276 '94年9 月 Doll，Jr．et al
5,363,482 '94年11月 Victor et al
5,420,572 '95年5 月 Dolin，Jr．et al
5,420,801 '95年5 月 Dockter et al
5,438,658 '95年8 月 Fitzpatrick et al
5,487,167 '96年1 月 Dinallo et al
5,495,576 '96年2 月 Ritchey
5,508,940 '96年4 月 Rossmere et al
5,519,435 '96年5 月 Anderson
5,553,221 '96年9 月 Reimer et al
5,553,222 '96年9 月 Milne et al
5,557,538 '96年9 月 Retter et al
5,561,791 '96年10月 Mendelson et al
5,564,001 '96年10月 Lewis
5,577,180 '96年11月 Reed
5,577,258 '96年11月 Cruz et al
5,581,783 '96年12月 Ohashi
一人のユーザが、ビデオ、オーディオ、テキスト、イメージ（画像）等、種々
のメディアを利用する際、一般的には、そのユーザーはネットワークを介して多
くのコンピュータ、即ち他の複数ユーザに接続される記憶装置、即ち「サーバ」
からのメディアを検索している。サーバはネットワークに対してメディアをダウ
ンロードし、それをユーザの求めに応じてユーザに伝送する。
このようなデータ検索に関しては、二つの基本的な制限がある。一つはユーザ
がデータを要求した時間と、サーバがそれをネットワークにダウンロードする時
間との間の遅れに関する制限であり、他の一つはデータスループット及びデータ
伝送レート（伝送速度）についての帯域幅に関する制限である。本発明は、この
第２の制限に関連する。
このようなシステムの一例としては、ＣＤＲＯＭドライブ及びパ
ーソナルコンピュータがあり、これらは同じ場所に位置していても良い。また、
他の例としては、インターネットサーバとユーザのパーソナルコンピュータを結
ぶネットワークがある。このようなネットワークは、ユーザ間のデータ伝送を都
合よく楽にすると共に、サーバからユーザコンピュータへのデータ分配を楽にす
るために設けられる。
ユーザが記憶装置、即ち典型的にはネットワークを介して接続されたサーバか
らメディアを検索する際、上記帯域幅に関する制限は、サーバからユーザに対し
てビデオフレームを伝送するのに要する時間量に影響を与える。そのため、ビデ
オフレームレートを制限することになる。更に、オブジェクトムービー（映画）
及びパノラマを処理する際には、伝送されるファイルは極めて大きくなり、その
ため帯域幅制限を克服することは、高帯域幅ネットワークにとってさえ、重要な
イネーブルファクタである。
現在、帯域幅制限を克服するのに、二つの方法が採られている。その一つは、
ビデオフレームシーケンスを圧縮する方法である。この方法によって、伝送時間
はスピードアップはするものの、表示前にフレームを解除するための処理を下流
側に追加しなければならない。第２の方法は、シーケンス全体を中間記憶装置、
例えばユーザによる高帯域幅アクセスが可能なユーザのハードディスクにコピー
する方法である。しかし、この方法ではビデオを見るのに、シーケンス全体の転
送が完了するまでの遅れが出る。
公知のネットワークアプリケーションは、サーバからクライアントコンピュー
タ（以下、単に「クライアント」とも言う）へのストリーミングデータを含んで
いる。ここで、「ストリーミング」とは、ビットパケットのシーケンスを伝送す
ることによって、二つのコンピュータ間でディジタルデータのシリアル又はパラ
レル伝送を行
うことを言う。例えば、インストレーションはこれを実行するクライアントコン
ピュータに対して、ネットワーク上でサーバストリームファイルを実行できる。
大きなメモリ容量を持つサーバは、要求に応じてビュー用クライアントコンピュ
ータに流されるディジタルムービーをアーカイブするのに使用される。ディジタ
ルビデオはストリーミングを用いて、ケーブルテレビ局から加入者に対して一斉
通信される。Netscape及びMicrosoft Explorer等のインターネットブラウザは、
ウエブ上でサーバからクライアントに対してデータを流すのに使用される。イン
ターネットウエブサイトは巨大なデータベースを含むことができる。例えば、全
米都市全ての電話帳、世界中の美術館及び博物館所蔵品の写真、膨大な巻数の百
科事典類、及び米国特許商標庁がこれまでに発行した全特許のコピーでさえもデ
ータベースとして含まれている。インターネットを利用するクライアントは、こ
れらのデータベースを検索し、特定の情報のダウンロードをサーバに要求するこ
とができる。この要求に基づいて、ストリーミングが開始される。
今日、複合クライアント／サーバシステムには多数の帯域幅の存在しているこ
と、またオーディオ、ビデオ、イメージ等の表示には大量データが必要であるこ
とを考えると、伝送レートがクライアント帯域幅に順応できるような形で、オン
ライン対話形再生のためのデータ転送を可能にするマルチメディアデータのスケ
ーラブルデータ表現が緊急に必要となる。インターネットは、そうした複合シス
テムの一例であって、そこでは帯域幅に関して多くの異なった制約を持つクライ
アントが、サーバ側に対してマルチメディアを要求する。帯域幅レートには種々
あって、例えば、電話回線を介したモデム伝送用の幾つかの低い帯域幅レート、
フレームリレーラインを介したより高い帯域幅レート、ＩＳＤＮラインを介した
更に高い帯域
幅レート、ＴＩラインを介した更に高い帯域幅レートさえある。
発明の概要
本発明は、少なくともその幾つかが帯域幅を制限している複数の伝送リンクを
介して、オリジナルを表すディジタルデータを伝送するための改良された方法及
びシステムの提供を目的としている。
本発明は、異なる帯域幅を有するラインによってサーバに接続された二以上の
クライアントが、ほぼストリーミング開始直後に、同時にマルチメディアデータ
をオンラインで演出（上演）開始できるようにすると共に、低い帯域幅のクライ
アントは、高い帯域幅のクライアントが最初に受信するメディアより低い品質の
メディアを受信するようにしたスケーラブル符号化に関する。メディアはフォア
グラウンドでリプレイされ、帯域幅は自由化されるから、より多くのデータはバ
ックグラウンドを介して流れ、メディア品質が向上される。
スケーラブル符号化が行われていない場合、インターネットアプリケーション
のクライアントは、そのネットワークラインがどの様な伝送レートであろうと、
要求したデータの到着まで待機しなければならない。例えば、１４．４Ｋｂｓモ
デムラインを持つクライアントは、２８．８Ｋｂｓモデムラインを持つクライア
ントよりも２倍も長く待機しなければならない。更に、データが２８．８Ｋｂｓ
オンライン再生用に符号化されている場合には、データストリームにつねに増加
する遅れがあるので、１４．４Ｋｂｓクライアントは、決して生の再生を行うこ
とはできない。逆に、データが１４．４Ｋｂｓでオンライン再生用に符号化され
ていれば、２８．８Ｋｂｓのクライアントは、不必要に悪い品質のメディアを受
信することになる。
本発明によるデータ表現のプログレッシブな性質のため、１４．４Ｋｂｓスト
リームで到着した追加のデータブロックは、それ以前に１４．４Ｋｂｓストリー
ムで到着しているデータブロックと結合して２８．８Ｋｂｓストリームバージョ
ンを作る。このようにして送られてくる全ては、グレードアップに必要な増分デ
ータとなる。このようにした符号化自体のプログレッシブ形式が、スケーラビリ
ティを達成する能力を与える。
従来の非スケーラブル符号化のもう一つの欠点は、ビデオシーケンスをプレビ
ューする能力に欠ける点である。クライアントは、一つのビデオクリップをダウ
ンロードするかどうかを決める前に、その一部を直ぐにプレビューしたいと思う
ことがしばしばある。本発明によるスケーラブル表現を用いれば、そのビデオの
第１のデータブロックをプレビューモードで転送するために使用することができ
る。クライアントがプレビューの後、そのビデオのダウンロードを続ける際には
、既に伝送された第１のデータブロックは、追加されるデータブロックとプログ
レッシブに統合されて、完全なビュービデオを形成する。
また、本発明は大きな静止画像を多重分解能で熟視するため、転送の質向上に
適用することができる。現状の技術では、かかる画像を大きなファイルとして伝
送し、分解能を下げてサブサンプリングし、熟視対象領域をズームインするのに
膨大な計算を行っている。この方法は大静止画像と対話するのに多大の時間を費
やすため、インターネットブラウジングによる高解像度画像の形成には、現状で
は実際的ではない。大きな画像を処理する際、製作者（プロデューサ）は、単に
画像をサブサンプリングしてコンピュータのモニタスクリーン内に合うようにし
、得られた低解像度の画像をウエブサーバに記憶する。本発明による技術によれ
ば、製作者は高解像度の画
像（イメージ）を高速対話形熟視用にインターネットを介して転送することがで
きる。
また、本発明は（ａ）データをプログレッシブに流すことが可能であり、（ｂ
）異なる帯域幅のクライアントに対するデータの非同期伝送が可能であって、（
ｃ）データの対話形オンライン再生が可能なマルチメディアデータのスケーラブ
ル表現を提供することを求めている。この表現は２次元的であって、その一つの
次元（ブロック番号）は品質のプログレッシブネスを特徴とし、第２の次元（フ
レーム番号）は対話性を特徴としている。
本発明による表現は、相互に統合されてメディアの連続的高帯域幅バージョン
を作るデータブロックと共に、符号化フレームを含むデータブロックをそなえて
いる。第１のデータブロックは、最低帯域幅に対応し、この帯域幅を有するクラ
イアントが、最低の品質でメディアをオンライン再生できるようにする。第２の
データブロックは、第１のブロックと統合されると、次の更に高い帯域幅に対応
し、この帯域幅を持つクライアントが、次に高い品質でメディアをオンライン再
生できるようにし、以下同様に、各連続的データブロックに関して動作する。
更に、低品質でメディアを演出し、そして帯域幅をフリーにした最低帯域幅の
クライアントは、バックグラウンドにおいて連続的データブロックを受信し、そ
れらを前に受信したデータブロックと統合することを継続することができるから
、リプレイ毎に連続的により高い品質のメディアを得ることになる。従って、こ
のモジュラー形のデータ表現は、異なる帯域幅への順応と、メディア品質のプロ
グレッシブな更新の両者を可能にする。製作ツールは、製作者によるモジュール
性と品質設定の制御を可能にする。
本発明によれば、オンラインで仮想現実ムービー（映画）を作成
する方法が提供される。この方法は、サイクリックムービーシーケンスをエンコ
ーダに入力する段階、このムービーの各フレームを分割する部分の数を決定して
、部分フレームを形成する段階、部分フレーム内における対話作用のためにホッ
トスポット及び独立オブジェクトを特定する段階、部分フレームを部分毎にユー
ザの非同期データベースに伝送する段階、及びユーザのインタフェースを介して
上記フレームを表示する段階を含んでいる。
また、本発明の好適な実施例によれば、仮想現実（ＶＲ）ムービーを作るシス
テムが提供される。このシステムは、ＶＲムービーを伝送可能に用意するエンコ
ーダ、及びＶＲムービー用リポジトリ（repository）、並びに要求に応じてムー
ビーを部分毎にユーザに伝送するトランシーバを含むサーバを含んでいる。
本発明の本質的特徴は、マルチメディアデータを表すのに２次元的対話形プロ
グレッシブデータベースを使用し、このデータベースを３つの異なる形、即ちス
トリーミング、処理、及び再生を目的として記憶する点にある。このデータベー
スは、選択した帯域幅の範囲でオンライン再生用のメディアを転送し、データブ
ロックを低帯域幅バージョンと統合することによって高帯域幅バージョンが構成
されるようにするため、ほぼ同じサイズのデータブロックにキャリブレイト（校
正）される。従って、低帯域幅データを廃棄するのではなく、むしろそれをセー
ブして、低帯域幅品質から高帯域幅品質にグレードアップするのに直接使用され
る。
データブロック自体は、ランダムにアクセスすることが可能なフレームを含ん
でいるから、第２次元要素（即ち、フレーム）をプログレッシブデータベースに
与える。従って、幾つかのフレームに関しては、より高い品質のバージョンを選
択的に構成し、他のフレームには構成しないで置くことが可能になる。各ブロッ
ク内にどのフ
レームを送るかを決定する機構は、ユーザによって対話形式で制御される。
本発明が達成する事項を最も良く評価するには、ストリーミング技術の広い背
景を考えるのが良い。流れてきたデータにアクセスするモードには二つのモード
が知られている。即ち、ランダムアクセスモード及び順次（シーケンシャル）ア
クセスモードの二つである。ランダムアクセスモードでは、クライアントはスト
リームの中の如何なる位置からでも、データの伝送をサーバに要求することがで
きる。一方、順次アクセスモードでは、サーバはシリアルなストリームしか送る
ことができない。
現在のインターネットのストリーミング技術では、ランダムアクセスは使用で
きない。むしろ、ストリームはパケットの形でシリアルに送られてくる。本発明
は、プログレッシブデータベースの三つのコピーを創ることによって動作する。
第１のコピーはサーバにシリアルに記憶される。サーバデータベースと鏡映（ミ
ラー）関係にある第２のコピーは、クライアント側でランダムアクセス可能に構
成される。これらの第１の二つのコピーは符号化された形を取っている。第２の
コピーからのデータブロック中のフレームは、デコードされて第３のコピーに記
憶される。この第３のコピーは、ダイナミックに更新され、生のビットマップ形
式か、又はユーザのコマンドに応じて、リアルタイムの対話形表示を維持するの
に十分な早さで解凍が可能な中間圧縮形式の何れかの形式で表示されるフレーム
を含んでいる。
本発明をビデオクリップに適用した場合の副産物は、第１のデータブロックを
用いたビデオのプレビューを転送する能力である。この能力によって、クライア
ントは殆ど伝送開始直後に、そのプレビューを演出することができ、次いでダウ
ンロード手続きを進めるか
どうか速やかに決定することができる。更に、クライアントがダウンロードを継
続すれば、既に伝送されている第１のデータブロックは、ダウンロードされてく
る追加のデータブロックと統合されて、ビデオの完全なビューバージョンが形成
される。それ故、プレビュ−用に伝送されたデータは、それを廃棄するのではな
く、むしろそれを保持して完全なビューフレームシーケンスを作るのに利用され
る。
また、本発明は大きい静止画像を対話形熟視のために多重解像度で効率良く転
送するのに適用することができる。プログレッシブデータベースの各ブロックは
、異なる解像度で種々の画像のタイルを記憶している。小さなタイルほど、高解
像度で記憶される。ホットスポットは、低解像度のタイルを、高解像度でそれら
の中に含まれている更に小さいタイルにリンクするのに使用される。ビューアが
熟視するためのホットスポットをクリックすると、表示装置は瞬間的ズームイン
効果を与えながら、ホットスポットによってリンクされたタイルを素早く表示す
る。多重解像度タイルの全体は、このアプリケーションにおける「フレーム」を
含み、これらのフレームがデータベースの対話形次元を形成する。
第１のタイルは全画像の最低解像度バージョンから成り、その中に符号化され
たホットスポットを有している。第１のタイルが転送され、デコードされると、
たとえ画像の品質が低い場合でも、ユーザは直ちに、より高い解像度のタイルの
熟視を開始することができる。ユーザがタイルを見ている間に、追加のデータブ
ロックは転送されバックグラウンドでデコードされて、時間が経つにつれて、タ
イルの品質はグレードアップされる。言い換えれば、画像のズームイン部分はス
トリーミングの開始のほぼ直後から表示され、熟視されるが、この段階では品質
はまだ低い。この品質は時間と共に改善
されて行く。
高解像度タイルは、画像内における階層的「対象領域」に対応する。この対象
領域としてのホットスポットによって、どの領域をマークするかの選択は、製作
者（プロデューサ）の掌中にある。このような本発明の利用方法は、全画像の中
にある対象領域の数が比較的少なく、比較的僅かなタイルが高解像度で符号化さ
れている場合に特に有効である。本発明によらなければ、たとえ対象領域が完全
画像のほんの僅かな部分であってさえも、クライアントは高解像度でそれをビュ
ーする前に、高解像度の完全画像を受信するまで待機しなければならない。更に
、各ズームイン及びズームアウト操作には、プロセッサ及びメモリを必要とする
。ビューアとの対話作用は苦々しいほど遅くなる。
従って、本発明の適正実施例においては、オリジナルを表示するディジタル・
デ−タを、複数の伝送リンクでそのうちの幾つかは限定された帯域幅を有する伝
送リンクを介して伝送するシステムが提供されており、このシステムは、
オリジナルを表示するディジタル・デ−タを格納するディジタル・デ−タ源と
、
前記オリジナルを表示するディジタル・デ−タを限定された帯域幅を有する前
記複数の伝送リンクの１つを介して受信するディジタル・データ受信器と、
前記オリジナルを表示するディジタル・デ−タを、限定された帯域幅を有する
一伝送リンクを介して複数のブロックで前記受信器へ伝送するディジタル・デ−
タ送信器とを備え、
前記ブロックは前記限定された帯域幅により決定される割合で順次伝送され、
各ブロックは複数のフレ−ムの一部をデ−タの含む不完全集積であり、各フレ−
ムは前記複数のブロックのすべてが受信
されない時でも前記受信器により選択可能な順序で見ることができ、前記受信器
の後続ブロックの受信がこの受信器により映されるディジタル・デ−タの品質を
累積的に改善するために使用されることを特徴とする。
更に本発明の好適な実施例においては、ディジタル・デ−タ送信器アクチュエ
−タが提供されており、このアクチュエ−タは、
作動されると、次の伝送のために複数ブロックとして形成されるオリジナルを
表示するディジタル・デ−タにアクセスし、各ブロックは複数のフレ−ムの一部
を含むデ−タの不完全集積とし、各フレ−ムは前記複数のブロックのすべてが受
信されない時でも前記受信器により選択可能な順序で見ることができるようにす
る形成器と、
該形成器を作動する受信器からの対話形入力に応答して所定のブロックと該所
定のブロック内の少なくとも１つの所定の部分フレ−ムを伝送のために選択する
受信器指令インタフェ−スと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、ディジタル・デ−タ受信器が提供され
ており、この受信器は、
オリジナルを表示するディジタル・デ−タを、各々が複数のフレ−ムの一部を
含むデ−タの不完全集積である複数の序列ブロックで受信するデ−タ受信インタ
フェ−スと、
複数のブロックを受信するとこれが受信者に見えるように組み合わせるブロッ
ク・アキュムレ−タと、 前記複数のブロックのすべてを受信しない時でも各フ
レ−ムが受信者により選択される順序で見えるようにし、前記ブロック・アキュ
ムレ−タにより組み合わされる複数のブロックが前記受信者により見られるディ
ジタル・デ−タの品質を累積的に改善するために使用されるようにする受信者イ
ンタフェ−スを含むビュ−アと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、オリジナルを表示するディジタル・デ
−タを、複数の伝送リンクでそのうちの幾つかは限定された帯域幅を有する伝送
リンクを介して伝送する方法が提供されており、この方法は、
オリジナルを表示するディジタル・デ−タを格納するステップと、
前記オリジナルを表示するディジタル・デ−タを限定された帯域幅を有する前
記複数の伝送リンクの１つを介して受信器で受信するステップと、
前記オリジナルを表示するディジタル・デ−タを、限定された帯域幅を有する
一伝送リンクを介して複数のブロックで前記受信器へ伝送するステップと、
を備え、
前記ブロックは前記限定された帯域幅により決定される割合で順次伝送され、
各ブロックは複数のフレ−ムの一部を含むデ−タの不完全集積であり、各フレ−
ムは前記複数のブロックのすべてが受信されない時でも前記受信器により選択可
能な順序で見ることができ、前記受信器の後続ブロックの受信がこの受信器によ
り映されるディジタル・デ−タの品質を累積的に改善するために使用されること
を特徴とする。
更に本発明の好適な実施例においては、デジタル・デ−タを送信する方法が提
供されており、この方法は、
オリジナルを表示するディジタル・デ−タを次に伝送するための複数のブロッ
クに形成して、各ブロックは複数のフレ−ムの一部を含むデ−タの不完全集積と
し、各フレ−ムは前記複数のブロックのすべてが受信されなくとも前記受信器に
より見ることができるもの
とし、
受信器からの対話形入力に応答して、形成器を作動して所定のブロックと該所
定のブロック内の少なくとも１つの部分フレ−ムを伝送のために選択し、
選択された所定のブロックと少なくとも１つの部分フレ−ムをユ−ザに伝送す
る、
ことを備えることを特徴とする。
更に本発明の好適な実施例においては、ブロック・アキュムレ−タは、それぞ
れの周波数帯域により相互に区別された複数のブロックを組み合わせる。
好適には、このディジタル・デ−タ受信器はフラクタル圧縮エンジンを含む。
本発明の好適な実施例においては、このデ−タ受信インタフェ−スは相対的に
低い周波数のデ−タを含む第１の複数のブロックを最初に受信し、次いで相対的
に高い周波数のデ−タを含む第２の複数のブロックを受信し、前記ブロック・ア
キュムレ−タは前記オリジナルを表示するディジタル・デ−タを前記相対的に高
い周波数のデ−タと相対的に低い周波数のデ−タを表示する前記ブロックから再
構成することを特徴とする。
好適には、このブロック・アキュムレ−タは相異なるサンプリングを有する複
数のブロックを組み合わせる。
本発明の好適な実施例においては、組み合わせられた複数のブロックのサンプ
リング速度は前記複数のブロックの個々のもののサンプリング速度の和に等しい
。
このデジタル・デ−タ受信器は波形デコ−ダを含む。
本発明の適正実施例においては、前記ブロック・アキュムレ−タは、各々が相
異なる等級の量子化されたデ−タを含むブロックを組
み合わせて複数ブロックの累積が単一ブロックのデ−タよりも高い精密度の組合
せデ−タを提供するようにする逆量子化器を含むことを特徴とする。
更に本発明の好適な実施例においては、ディジタル・デ−タ送信器アクチュエ
−タが提供されており、このアクチュエ−タは、
作動されると、次の伝送のために複数ブロックに形成される前記オリジナルを
表示するディジタル・デ−タにアクセスし、各ブロックは複数のフレ−ムの一部
を含むデ−タの不完全集積とし、各フレ−ムは前記複数のブロックのすべてが受
信されない時でも前記受信器により選択可能な順序で見ることができるようにす
る形成器と、
受信器からの対話形入力に応答して前記形成器を作動して所定のブロックと該
所定のブロック内の少なくとも１つの所定の部分フレ−ムを伝送のために選択す
る受信器指令インタフェ−スと、
を備えることを特徴とする。
本発明の好適な実施例においては、複数のブロックのうちの第１のものはオリ
ジナルに対して第１の近似値を表示するディジタル・デ−タを含む。
好適には、この複数のブロックのうちの付加したものが前記第１のものと組み
合わされるとオリジナルに対して付加的に正確な近似値を提供する。
本発明の好適な実施例においては、前記複数のフレ−ムの各々は個別に且つ対
話的に操作することができるデ−タ部分を含む。
このシステムはまた、オリジナルを表示するディジタル・デ−タを受信して複
数のブロックを提供するブロック発生器を含む。
本発明の好適な実施例においては、このブロック生成器は、
製作者インタフェ−スと、
該製作者インタフェ−スを介して受信する製作者制御パラメ−タ
に応答してオリジナルを表示するディジタル・デ−タを受信して、各々が複数の
フレ−ムの一部を含むデ−タの不完全集積である複数のブロックを提供するディ
ジタル・デ−タ圧縮器と、
を備えることを特徴とする。
本発明の好適な実施例においては、このブロック生成器は、それぞれの周波数
帯域により相互に区別された複数のブロックを提供する。
好適には、このブロック生成器はフラクタル圧縮エンジンを含む。
本発明の好適な実施例においては、このブロック生成器はオリジナルを表示す
るディジタル・デ−タを相対的に高い周波数のディジタル・デ−タ部分と相対的
に低い周波数のディジタル・デ−タ部分に分解し、前記相対的に低い周波数のデ
ィジタル・デ−タ部分を含む第１の複数のブロックは前記デ−タ送信器により前
記相対的に高い周波数のディジタル・デ−タ部分を含む第２の複数のブロックに
先んじて伝送されるようにすることを特徴とする。
好適には、このブロック生成器は受信したディジタル・デ−タをサンプリング
することで複数のブロックを提供する。
本発明の好適な実施例においては、複数のブロックのサンプリング速度は前記
複数のブロックの個々のもののサンプリング速度の和に等しい。
好適には、このブロック生成器は波形エンコ−ダを含む。
本発明の好適な実施例においては、このブロック生成器は、各々が相異なる等
級の量子化されたデ−タを含むブロックを発生して複数ブロックの累積が単一ブ
ロックに含まれるデ−タよりも高い精度の組合せデ−タを提供するようにする量
子化器を含むことを特徴とする。
また本発明の別の好適な実施例においては、オリジナル・ディジタル・ビデオ
・デ−タをサ−バ・コンピュ−タに格納すべく符号化してクライアント・コンピ
ュ−タへのオンライン転送するための方法が提供されており、この方法は、
ディジタル・ビデオを一連の符号化されたデ−タ・ブロックを備えるデ−タベ
−スに符号化して、各ブロックは一連の符号化されたフレ−ムを備えるものとし
て、連続するブロックが解読され統合されると前記ビデオをオンライン再生のた
めの連続的により高度の帯域幅バ−ジョンとする特性を持たせるステップと、
前記デ−タベ−スをサ−バ・コンピュ−タに格納するステップと、
前記ビデオのオンライン転送を求めるクライアント・コンピュ−タの要求を処
理してどのデ−タ・ブロックを伝送するかを決定してクライアント帯域幅に対応
するステップと、
必要なデ−タ・ブロックをクライアントに伝送するステップと、
そのデ−タ・ブロックをクライアント・コンピュ−タで解読するステップと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル・ディジタル・ビデオを適当なバ−ジョンに再構成するステップと、
再構成したビデオをクライアント・コンピュ−タで実行するステップと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記符号化のステップは製作者をして
前記デ−タベ−スに適した一連の帯域幅又は品質レベルを予め選択することがで
きるようにするビット−レ−ト制御装置を含むことを特徴とする。
更に本発明の好適な実施例においては、前記符号化のステップは前記デ−タベ
−スの最初のブロックが前記ビデオのプレビュ−に対応するように実行されるこ
とを特徴とする。
更に本発明の好適な実施例においては、前記伝送、解読、統合及び実行のステ
ップは付加したデ−タ・ブロックをクライアントに伝送するために何回も連続的
に反復動作してビデオの品質をこれがリプレイされている間に向上させることを
特徴とする。
また本発明の別の好適な実施例においては、オリジナル・ディジタル・オ−デ
ィオ・デ−タをサ−バ・コンピュ−タに格納すべく符号化してクライアント・コ
ンピュ−タへオンライン転送するための方法が提供されており、この方法は、
ディジタル・オ−ディオを一連の符号化されたデ−タ・ブロックから成るデ−
タベ−スに符号化して、各ブロックが一連の符号化されたフレ−ムを備えるもの
として、連続するブロックが解読され統合されると前記オ−ディオをオン−ライ
ン再生のための連続的により高度の帯域幅バ−ジョンとする特性を持たせるステ
ップと、
前記デ−タベ−スをサ−バ・コンピュ−タに格納するステップと、
前記オ−ディオのオンライン転送を求めるクライアント・コンピュ−タの要求
を処理してどのデ−タ・ブロックを伝送するかを決定してクライアント帯域幅に
対応するステップと、
必要なデ−タ・ブロックをクライアントに伝送するステップと、
そのデ−タ・ブロックをクライアント・コンピュ−タで解読するステップと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル・ディジタル・オ−ディオを適当なバ−ジョンに再構成するステップと、
再構成したオ−ディオをクライアント・コンピュ−タで実行するステップと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記符号化のステップは製作者をして
前記デ−タベ−スに適した一連の帯域幅又は品質レベルを予め選択することがで
きるようにするビット−レ−ト制御装置を含むことを特徴とする。
更に本発明の適正実施例においては、前記伝送、解読、統合及び実行のステッ
プは付加したデ−タ・ブロックをクライアントに伝送するために何回も連続的に
反復動作してオ−ディオの品質をこれがリプレイされている間に向上させること
を特徴とする。
また本発明の別の好適な実施例においては、オリジナル・ディジタル・オブジ
ェクト映画デ−タをサ−バ・コンピュ−タに格納すべく符号化してクライアント
・コンピュ−タへオンライン転送するための方法が提供されており、この方法は
、
ディジタル・オブジェクト映画を一連の符号化されたデ−タ・ブロックを備え
るデ−タベ−スに符号化して、各ブロックが一連の符号化されたフレ−ムを備え
るものとして、連続するブロックが解読され統合されると前記オブジェクト映画
をオン−ライン再生のための連続的により高度の帯域幅バ−ジョンとする特性を
持たせるステップと、
前記デ−タベ−スをサ−バ・コンピュ−タに格納するステップと、
前記オブジェクト映画のオンライン転送を求めるクライアント・コンピュ−タ
の要求を処理してどのデ−タ・ブロックを伝送するかを決定してクライアント・
帯域幅に対応するステップと、
必要なデ−タ・ブロックをクライアントに伝送するステップと、
そのデ−タ・ブロックをクライアント・コンピュ−タで解読するステップと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル・ディジタル・オブジェクト映画を適当なバ−ジョンに再構成するステッ
プと、
再構成したオブジェクト映画をクライアント・コンピュ−タで実行するステッ
プと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記符号化のステップは製作者をして
前記デ−タベ−スに適した一連の帯域幅又は品質レベルを予め選択することがで
きるようにするビット−レ−ト制御装置を含むことを特徴とする。
更に本発明の好適な実施例においては、前記伝送、解読、統合及び実行のステ
ップは付加したデ−タ・ブロックをクライアントに伝送するために何回も連続的
に反復動作してオブジェクト映画の品質をこれがリプレイされている間に向上さ
せることを特徴とする。
また本発明の別の好適な実施例においては、オリジナル・ディジタル・パノラ
マをサ−バ・コンピュ−タに格納すべく符号化してクライアント・コンピュ−タ
へオン−ライン送信するための方法が提供されており、この方法は、
ディジタル・パノラマを一連の符号化されたデ−タ・ブロックを備えるデ−タ
ベ−スに符号化して、各ブロックが一連の符号化されたフレ−ムから成るものと
して、連続するブロックが解読され統合されると前記パノラマをオンライン再生
のための連続的により高度の帯域幅バ−ジョンとする特性を持たせるステップと
、
前記デ−タベ−スをサ−バ・コンピュ−タに格納するステップと、
前記パノラマオのオンライン伝送を求めるクライアント・コンピュ−タの要求
を処理してどのデ−タ・ブロックを伝送するかを決定してクライアント・帯域幅
に対応するステップと、
必要なデ−タ・ブロックをクライアントに伝送するステップと、
そのデ−タ・ブロックをクライアント・コンピュ−タで解読するステップと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル・ディジタル・パノラマを適当なバ−ジョンに再構成するステップと、
再構成したパノラマをクライアント・コンピュ−タで実行するステップと、
から成ることを特徴とする。
更に本発明の好適な実施例においては、前記符号化のステップは製作者をして
前記デ−タベ−スに適した一連の帯域幅又は品質レベルを予め選択することがで
きるようにするビット−レ−ト制御装置を含むことを特徴とする。
更に本発明の好適な実施例においては、前記伝送、解読、統合及び実行のステ
ップは追加のデ−タ・ブロックをクライアントに伝送するために何回も連続的に
反復動作してパノラマの品質をこれがリプレイされている間に向上させることを
特徴とする。
また本発明の別の好適な実施例においては、オリジナル・ディジタル大形静止
イメ−ジをサ−バ・コンピュ−タに格納すべく符号化してクライアント・コンピ
ュ−タへオンライン転送するための方法に関し、
大形デジタル・イメ−ジを一連の符号化されたデ−タ・ブロックを備えるデ−
タベ−スに符号化して、各ブロックは符号化された複数解像度のイメ−ジ・タイ
ルのシ−ケンスを備えるものとして、連
続するブロックが解読され統合されると前記タイルを表示するための連続的によ
り高度の帯域幅バ−ジョンとする特性を持たせるステップと、
前記デ−タベ−スをサ−バ・コンピュ−タに格納するステップと、
前記イメ−ジのオンライン転送を求めるクライアント・コンピュ−タの要求を
処理してどのデ−タ・ブロックを伝送するかを決定してクライアント帯域幅に対
応するステップと、
必要なデ−タ・ブロックをクライアントに伝送するステップと、
そのデ−タ・ブロックをクライアント・コンピュ−タで解読するステップと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル複数解像度イメ−ジ・タイルを適当なバ−ジョンに再構成するステップと
、
前記再構成したタイルをクライアント・コンピュ−タで対話的に表示するステ
ップと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記符号化のステップは製作者をして
前記デ−タベ−スに適した一連の品質レベルを予め選択することができるように
する圧縮制御装置を含むことを特徴とする。
更に本発明の好適な実施例においては、前記符号化のステップはアニメ−ショ
ンを形成する複数のイメ−ジで動作し、各符号化されたデ−タ・ブロックは前記
複数のイメ−ジからの複数解像度タイルで構成されることを特徴とする。
また本発明の別の好適な実施例においては、ディジタル・ビデオ・デ−タで動
作してこのディジタル・ビデオを符号化し、これをサ
−バ・コンピュ−タに格納してクライアント・コンピュ−タへ要求に応じてオン
ラインで転送するためのビデオ処理システムが提供されており、このシステムは
、
ディジタル・ビデオを一連の符号化されたデ−タ・ブロックから成るデ−タベ
−スに圧縮して、各ブロックが一連の符号化されたフレ−ムから成るものとして
、連続するブロックが解読され統合されると前記ビデオをオンライン再生のため
の連続的により高度の帯域幅バ−ジョンとする特性を持たせるエンコ−ダと、
前記デ−タベ−スをサ−バ・コンピュ−タに記録するための格納装置と、
前記ビデオのオンライン転送を求めるクライアント・コンピュ−タの要求を受
けてどのデ−タ・ブロックを伝送するかを決定してクライアント・帯域幅に対応
する処理ユニットと、
必要なデ−タ・ブロックをクライアントに伝送する送信器と、
そのデ−タ・ブロックをクライアント・コンピュ−タでビデオに解凍するデコ
−ダと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル・ディジタル・ビデオを適当なバ−ジョンに再構成するアキュムレ−タと
、
再構成したディジタル・ビデオをクライアント・コンピュ−タで実行するため
のプレ−ヤと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記エンコ−ダはユ−ザをして前記デ
−タベ−スに適した一連の帯域幅又は品質レベルを予め選択することができるよ
うにするビット−レ−ト・コントロ−ラを含むことを特徴とする。
更に本発明の好適な実施例においては、前記エンコ−ダは前記デ
ィジタル・ビデオを、前記デ−タベ−スの最初のブロックが前記ビデオのプレビ
ュ−に対応するように圧縮することを特徴とする。
更に本発明の好適な実施例においては、前記送信器、デコ−ダ、アキュムレ−
タ及びプレ−ヤは追加のデ−タ・ブロックをクライアントに伝送するために何回
も連続的に反復動作して前記ビデオの品質をこれがリプレイされている間に向上
させることを特徴とする。
また本発明の別の好適な実施例においては、ディジタル・オ−ディオ・デ−タ
で動作してこれを符号化し、これをサ−バ・コンピュ−タに格納してクライアン
ト・コンピュ−タヘ要求に応じてオンラインで転送するためのオ−ディオ処理シ
ステムが提供されており、このシステムは、
前記デジタル・オ−ディオを一連の符号化されたデ−タ・ブロックを備えるデ
−タベ−スに圧縮して、各ブロックが一連の符号化されたフレ−ムを備えるもの
として、連続するブロックが解読され統合されると前記オ−ディオをオン−ライ
ン再生のための連続的により高度の帯域幅バ−ジョンとする特性を持たせるエン
コ−ダと、
前記デ−タベ−スをサ−バ・コンピュ−タにアーカイブするための格納装置と
、
前記オ−ディオのオンライン転送を求めるクライアント・コンピュ−タの要求
を受けてどのデ−タ・ブロックを伝送するかを決定してクライアント帯域幅に対
応する処理ユニットと、
必要なデ−タ・ブロックをクライアントに転送する送信器と、
そのデ−タ・ブロックをクライアント・コンピュ−タでオ−ディオに解凍する
デコ−ダと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル・ディジタル・オ−ディオを適当なバ−ジョンに再構成するアキュムレ−
タと、
再構成したディジタル・オ−ディオをクライアント・コンピュ−タで実行する
ためのプレ−ヤと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記エンコ−ダはユ−ザをして前記デ
−タベ−スに適した一連の帯域幅又は品質レベルを予め選択することができるよ
うにするビット−レ−ト・コントロ−ラを含むことを特徴とする。
更に本発明の好適な実施例においては、前記送信器、デコ−ダ、アキュムレ−
タ及びプレ−ヤは付加したデ−タ・ブロックをクライアントに伝送するために何
回も連続的に反復動作して前記オ−ディオの品質をこれがリプレイされている間
に向上させることを特徴とする。
また本発明の別の好適な実施例においては、ディジタル・オブジェクト映画デ
−タで動作してディジタル・オブジェクト映画を符号化し、これをサ−バ・コン
ピュ−タに格納してクライアント・コンピュ−タへ要求に応じてオンラインで転
送するためのオブジェクト映画処理システムが提供されており、このシステムは
、
前記ディジタル・オブジェクト映画を一連の符号化されたデ−タ・ブロックを
備えるデ−タベ−スに圧縮して、各ブロックが一連の符号化されたフレ−ムを備
えるものとして、連続するブロックが解読され統合されると前記オブジェクト映
画をオン−ライン再生のための連続的により高度の帯域幅バ−ジョンとする特性
を持たせるエンコ−ダと、
前記デ−タベ−スをサ−バ・コンピュ−タに記録するための格納装置と、
前記オブジェクト映画のオンライン転送を求めるクライアント・コンピュ−タ
の要求を受けてどのデ−タ・ブロックを伝送するかを
決定してクライアント帯域幅に対応する処理ユニットと、
必要なデ−タ・ブロックをクライアントに伝送する送信器と、
そのデ−タ・ブロックをクライアント・コンピュ−タでオブジェクト映画に解
凍するデコ−ダと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル・ディジタル・オブジェクト映画を適当なバ−ジョンに再構成するアキュ
ムレ−タと、
再構成したディジタル・オブジェクト映画をクライアント・コンピュ−タで実
行するためのプレ−ヤと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記エンコ−ダはユ−ザをして前記デ
−タベ−スに適した一連の帯域幅又は品質レベルを予め選択することができるよ
うにするビット−レ−ト・コントロ−ラを含むことを特徴とする。
更に本発明の好適な実施例においては、前記送信器、デコ−ダ、アキュムレ−
タ及びプレ−ヤは付加したデ−タ・ブロックをクライアントに伝送するために何
回も連続的に反復動作して前記オブジェクト映画の品質をこれがリプレイされて
いる間に向上させることを特徴とする。
また本発明の別の好適な実施例においては、デジタル・パノラマ・デ−タで動
作してデジタル・パノラマを符号化し、これをサ−バ・コンピュ−タに格納して
クライアント・コンピュ−タへ要求に応じてオンラインで転送するためにディジ
タル・パノラマ・デ−タで動作するパノラマ処理システムが提供されており、こ
のシステムは、
前記デジタル・パノラマを一連の符号化されたデ−タ・ブロックを備えるデ−
タベ−スに圧縮して、各ブロックが一連の符号化され
たフレ−ムを備えるものとして、連続するブロックが解読され統合されると前記
パノラマをオン−ライン・プレイバックのための連続的により高度の帯域幅バ−
ジョンとする特性を持たせるエンコ−ダと、
前記デ−タベ−スをサ−バ・コンピュ−タにアーカイブするための格納装置と
、
前記パノラマのオンライン転送を求めるクライアント・コンピュ−タの要求を
受けてどのデ−タ・ブロックを伝送するかを決定してクライアント帯域幅に対応
する処理ユニットと、
必要なデ−タ・ブロックをクライアントに転送する送信器と、
そのデ−タ・ブロックをクライアント・コンピュ−タでパノラマ・デ−タに解
凍するデコ−ダと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル・ディジタル・パノラマを適当なバ−ジョンに再構成するアキュムレ−タ
と、
再構成したディジタル・パノラマをクライアント・コンピュ−タで実行するた
めのプレ−ヤと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記エンコ−ダはユ−ザをして前記デ
−タベ−スに適した一連の帯域幅又は品質レベルを予め選択することができるよ
うにするビット−レ−ト・コントロ−ラを含むことを特徴とする。
更に本発明の好適な実施例においては、前記送信器、デコ−ダ、アキュムレ−
タ及びプレ−ヤは付加したデ−タ・ブロックをクライアントに伝送するために何
回も連続的に反復動作して前記パノラマの品質をこれがリプレイされている間に
向上させることを特徴とする。
また本発明の別の好適な実施例においては、大形ディジタル・イメ−ジ・デ−
タで動作してそのディジタル・イメ−ジを符号化し、これをサ−バ・コンピュ−
タに格納してクライアント・コンピュ−タへ要求に応じてオンラインで転送する
ためのイメ−ジ処理システムが提供されており、このシステムは、
前記大形ディジタル・イメ−ジを一連の符号化されたデ−タ・ブロックから成
るデ−タベ−スに圧縮して、各ブロックが一連の符号化されたフレ−ムから成る
ものとして、連続するブロックが解読され統合されると連続的により高品質のイ
メ−ジ・タイル・バ−ジョンを提供する特性を持たせるエンコ−ダと、
前記デ−タベ−スをサ−バ・コンピュ−タにアーカイブするための格納装置と
、
前記イメ−ジのオンライン転送を求めるクライアント・コンピュ−タの要求を
受けてどのデ−タ・ブロックを伝送するかを決定してクライアント帯域幅に対応
する処理ユニットと、
必要なデ−タ・ブロックをクライアントに転送する送信器と、
そのデ−タ・ブロックをクライアント・コンピュ−タでイメ−ジ・タイル・デ
−タに解凍するデコ−ダと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル複数解像度イメ−ジ・タイルを適当なバ−ジョンに再構成するアキュムレ
−タと、
再構成したイメ−ジ・タイルをクライアント・コンピュ−タで表示するための
対話形ビュ−アと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記エンコ−ダはユ−ザをして前記デ
−タベ−スに適した一連の帯域幅又は品質レベルを予め選択することができるよ
うにする圧縮コントロ−ラを含むことを
特徴とする。
更に本発明の適正実施例においては、前記エンコ−ダはアニメ−ションを形成
する複数のイメ−ジで動作し、各符号化されたデ−タ・ブロックは前記複数のイ
メ−ジからの複数解像度タイルで構成されることを特徴とする。
また本発明の別の好適な実施例においては、サ−バからクライアントへ伝送さ
れるデ−タをネットワ−ク内のセントラル・ハブでキャッシュする方法が提供さ
れており、この方法は、
ディジタル・マルチメディア・デ−タを一連の符号化されたデ−タ・ブロック
を備えるデ−タベ−スに符号化して、各ブロックが一連の符号化されたフレ−ム
から成るものとして、連続するブロックが解読され統合されると前記メディアを
オンライン再生のための連続的により高度の帯域幅バ−ジョンとする特性を持た
せるステップと、
前記デ−タベ−スを多数のサ−バ・コンピュ−タに格納するステップと、
サ−バ・コンピュ−タに格納されたメディアのオンライン転送を求めるクライ
アント・コンピュ−タの要求を前記ハブ内で管理してどのデ−タ・ブロックを伝
送するかを決定してクライアント帯域幅に対応するステップと、
必要なデ−タ・ブロックを前記サ−バ及び前記ハブからクライアントに伝送す
るステップと、
前記サ−バにより伝送されるデ−タ・ブロックを前記セントラル・ハブ内のキ
ャッシュに格納するステップと、
前記ハブが受信するデ−タ・ブロックを前記ハブ内で処理するステップと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで解読
するステップと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル・デジタル・メディアを適当なバ−ジョンに再構成するステップと、
再構成したメディアをクライアント・コンピュ−タで実行するステップと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記管理するステップは、現在どのデ
−タ・ブロックが前記ハブに格納されているかを示す目録フラグを設定すること
で実行されることを特徴とする。
更に本発明の好適な実施例においては、前記管理するステップは更に、
どのメディア・デ−タが陳腐化したかを監視するために前記サ−バと通信する
ステップと、
陳腐化したメディア・デ−タに対応するブロックをキャッシュから除去するス
テップと、
上記ブロックはもはや前記キャッシュには格納されていないことを示す目録フ
ラグを設定するステップと、
を含むことを特徴とする。
更に本発明の好適な実施例においては、前記処理するステップは、
受信したデ−タ・ブロックを解読するステップと、
前記デ−タ・ブロックを統合して前記オリジナル・ディジタル・メディアを適
当なバ−ジョンに再構成するステップと、
再構成したメディア・バ−ジョンを、クライアントへの将来の伝送のために中
間デ−タベ−スに符号化するステップと、
を備えることを特徴とする。
また本発明の別の好適な実施例においては、前サ−バ／クライアント・ネット
ワ−クで動作してサ−バからクライアントへ伝送されるデ−タをセントラル・ハ
ブでキャッシュするプロキシシステムが提供されており、このシステムは、
ディジタル・マルチメディア・デ−タを一連の符号化されたデ−タ・ブロック
を備えるデ−タベ−スに圧縮して、各ブロックが符号化されたフレ−ムのシ−ケ
ンスを備えるものとして、連続するブロックが解読され統合されると前記メディ
アをオン−ライン再生のための連続的により高度帯域幅バ−ジョンとする特性を
持たせるエンコ−ダと、
前記サ−バから前記ハブへディジタル・デ−タを送出するためのサ−バ通信ラ
インと、
前記ハブから前記クライアントへディジタル・デ−タを送出するためのクライ
アント通信ラインと、
前記デ−タベ−スを多数のサ−バ・コンピュ−タにアーカイブするための格納
装置と、
前記ハブ内にあって、サ−バ・コンピュ−タに格納されたメディアのオンライ
ン転送を求めるクライアント・コンピュ−タの要求処理してどのデ−タ・ブロッ
クを伝送するかを決定してクライアント帯域幅に対応する管理ユニットと、
必要なデ−タ・ブロックを前記サ−バ通信ラインで前記サ−バから前記ハブへ
転送し、前記クライアント通信ラインで前記ハブから前記サ−バへ転送する送信
器と、
前記サ−バ通信ラインで転送されるデ−タ・ブロックを前記セントラル・ハブ
内のキャッシュに蓄積する格納装置と、
前記ハブ内にあって、前記ハブが受信するデ−タ・ブロックを処理する処理ユ
ニットと、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで解凍するデコ−ダ
と、
前記デ−タ・ブロックを前記クライアント・コンピュ−タで統合して前記オリ
ジナル・ディジタル・メディアを適当なバ−ジョンに再構成するアキュムレ−タ
と、
再構成したメディアをクライアント・コンピュ−タで実行するためのプレ−ヤ
と、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記管理ユニットは、現在どのデ−タ
・ブロックが前記ハブに格納されているかを示す目録フラグを設定することによ
り動作することを特徴とする。
更に本発明の好適な実施例においては、前記管理ユニットはどのメディア・デ
−タが陳腐化したかを前記サ−バから監視し、陳腐化したメディア・デ−タに対
応するブロックを前記キャッシュから除去して上記ブロックはもはや前記キャッ
シュには格納されていないことを示す目録フラグを設定することを特徴とする。
更に本発明の好適な実施例においては、前記処理ユニットは、
受信したデ−タ・ブロックを解凍するデコ−ダと、
前記デ−タ・ブロックを統合して前記オリジナル・ディジタル・
メディアを適当なバ−ジョンに再構成するアキュムレ−タと、
再構成したメディア・バ−ジョンを、クライアントへの将来の伝送のために中
間デ−タベ−スに圧縮するエンコ−ダと、
を備えることを特徴とする。
また本発明の別の好適な実施例においては、放送ネットワ−クで動作してステ
−ションからビュ−アへ伝送されるデ−タをキャッチするマルチ−キャスティン
グ・ユニット（ＭＣＵ）システムが提供されており、このシステムは、
ディジタル・マルチメディア・デ−タを一連の符号化されたデ−タ・ブロック
を備えるデ−タベ−スに圧縮して、各ブロックが一連の符号化されたフレ−ムを
備えるものとして、連続するブロックが解読され統合されると前記メディアをオ
ン−ライン再生のための連続的により高度帯域幅バ−ジョンとする特性を持たせ
るエンコ−ダと、
前記ステ−ションから前記ＭＣＵへデ−タ・ブロックを送出するためのステ−
ション通信ラインと、
前記ＭＣＵサ−バから前記ビュ−アへハブへデ−タを送出するためのビュ−ワ
サ−バ通信ラインと、
前記ＭＣＵにより送信されるデ−タを受信するビュ−ア受信器ユニットと、
前記デ−タベ−スを多数のステ−ション・コンピュ−タにアーカイブするため
の格納装置と、
前記ＭＣＵ内にあって、ステ−ション・コンピュ−タに格納されたメディアの
オンライン転送を求めるビュ−ア・コンピュ−タの要求を処理してどのデ−タ・
ブロックを伝送するかを決定してビュ−ア帯域幅に対応する管理ユニットと、
必要なデ−タ・ブロックを前記ステ−ション通信ラインで前記ステ−ションか
ら前記ＭＣＵへ転送し、前記ビュ−ア通信ラインで前記ＭＣＵから前記ビュ−ワ
受信器ユニットヘ転送する送信器と、
前記ステ−ション通信ラインにより転送されるデ−タ・ブロックを前記ＭＣＵ
内のキャッシュに蓄積する格納装置と、
前記ＭＣＵ内にあって、前記ＭＣＵが受信するデ−タ・ブロックを処理する処
理ユニットと、
前記デ−タ・ブロックを前記ビュ−ア受信器で解凍するデコ−ダと、
前記デ−タ・ブロックを前記ビュ−ア受信器ユニットで統合して前記オリジナ
ル・ディジタル・メディアを適当なバ−ジョンに再構成するアキュムレ−タと、
再構成したメディアを前記ビュ−ア受信器ユニットから実行するためのプレ−
ヤと、
を備えることを特徴とする。
更に本発明の好適な実施例においては、前記管理ユニットは、現在どのデ−タ
・ブロックが前記ＭＣＵに格納されているかを示す目録フラグを設定することに
よって動作することを特徴とする。
更に本発明の好適な実施例においては、前記管理ユニットは、どのメディア・
デ−タが陳腐化したかを前記ステ−ションから監視し、陳腐化したメディア・デ
−タに対応するブロックを前記キャッシュから除去して上記ブロックはもはや前
記キャッシュには格納されていないことを示す目録フラグを設定することによっ
て動作することを特徴とする。
更に本発明の好適な実施例においては、前記ＭＣＵ内の前記処理ユニットは、
受信したデ−タ・ブロックを解凍するデコ−ダと、
前記デ−タ・ブロックを統合して前記オリジナル・ディジタル・
メディアを適当なバ−ジョンに再構成するアキュムレ−タと、
再構成したメディア・バ−ジョンを、前記ビュ−アへの将来の伝送のために中
間デ−タベ−スに圧縮するエンコ−ダと、
を備えることを特徴とする。
また本発明の別の好適な実施例においては、マルチメディア・デ−タをネット
ワ−クを介して流す方法が提供されており、この方法は、
前記メディアを、フレ−ム及びプログレッシブ・ブロック番号に
基いて索引されるプログレッシブ・デ−タベ−スに符号化するステップと、
前記符号化されたデ−タベ−スを序列化するステップと、
前記序列化されたデ−タベ−スをサ−バに格納するステップと、
前記序列化されたデ−タベ−スをクライアントに要求に応じて流すステップと
、
前記流れ込むデ−タから前記符号化されたデ−タベ−スのミラ−・コピ−をク
ライアント・コンピュ−タで作成するステップと、
前記符号化されたデ−タベ−スをクライアント・コンピュ−タで解読してリア
ル・タイム表示するステップと、
を備えることを特徴とする。
また本発明の別の好適な実施例においては、マルチメディア・ネットワ−クの
流れシステムが提供されており、このシステムは
前記メディアを、フレ−ム及びプログレッシブ・ブロック番号に基いて索引さ
れるプログレッシブ・デ−タベ−スに圧縮するエンコ−ダと、
前記符号化されたデ−タベ−スを序列化するシ−ケンサと、
前記序列化されたデ−タベ−スをサ−バにアーカイブする格納装置と、
前記序列化されたデ−タベ−スをクライアントに要求に応じて流す送信器と、
前記流れ込むデ−タから前記符号化されるデ−タベ−スのミラ−・コピ−をク
ライアント・コンピュ−タで作成するプロセッサと、
前記符号化されたデ−タベ−スをクライアント・コンピュ−タで解凍してリア
ル・タイム表示するデコ−ダと、
を備えることを特徴とする。
また本発明の別の好適な実施例においては、モデルに基く三次元
イメ−ジのデ−タ表現を限定された帯域幅を有する複数の伝送リンクを介して送
信するシステムが提供されており、このシステムは、
モデルに基く三次元イメ−ジのデ−タ表現を格納するディジタル・デ−タソ−
スと、
前記モデルに基くデ−タ表現の映像をラスタ・ビットマップ・フォ−マットに
するイメ−ジ・プロセッサと、
前記ラスタ・ビットマップ・フォ−マットのディジタル・デ−タを前記限定さ
れた帯域幅を有すの複数の伝送リンクの１つを介して受信するディジタル・デ−
タ受信器と、
前記ラスタ・ビットマップ・フォ−マットのデ−タを、限定された帯域幅を有
する一伝送リンクを介して複数のブロックで前記受信器へ伝送するディジタル・
デ−タ送信器と、
を備え、
前記ブロックは前記限定された帯域幅により決定される割合で順次伝送され、
各ブロックは複数のフレ−ムの一部を含むデ−タの不完全集積であり、各フレ−
ムは前記複数のブロックのすべてが受信されない時でも前記受信器により選択可
能な順序で見ることができ、前記受信器の後続ブロックの受信がこの受信器によ
り映されるディジタル・デ−タの品質を累積的に改善するために使用される、
ことを特徴とする。
更に本発明の好適な実施例においては、前記モデルに基くデ−タ表現はＶＲＭ
Ｌ表現を含むことを特徴とする。
更に本発明の好適な実施例においては、前記モデルに基くデ−タ表現はＣＡＤ
−ＣＡＭ表現を含むことを特徴とする。
更に本発明の好適な実施例においては、前記イメ−ジ・プロセッサはユ−ザが
選択する映像のみを提供するとを特徴とする。
また本発明の別の好適な実施例においては、モデルに基く三次元
イメ−ジのデ−タ表現を限定された帯域幅を有する複数の伝送リンクを介して伝
送する方法が提供されており、この方法は、
モデルに基く三次元イメ−ジのデ−タ表現を格納し、
前記モデルに基くデ−タ表現の映像をラスタ・ビットマップ・フォ−マットと
し、
前記ラスタ・ビットマップ・フォ−マットのディジタル・デ−タを前記限定さ
れた帯域幅を有すの複数の伝送リンクの１つを介して受信し、
前記ラスタ・ビットマップ・フォ−マットのディジタル・デ−タを、限定され
た帯域幅を有する一伝送リンクを介して複数のブロックで前記受信器へ送信する
、
ことを備え、
前記ブロックは前記限定された帯域幅により決定される割合で順次伝送され、
各ブロックは複数のフレ−ムの一部を含むデ−タの不完全集積であり、各フレ−
ムは前記複数のブロックのすべてが受信されない時でも前記受信器により選択可
能な順序で見ることができ、前記受信器の後続ブロックの受信がこの受信器によ
り映されるディジタル・デ−タの品質を累積的に改善するために使用されること
を特徴とする。
この明細書と請求の範囲を通じて、次の定義が使われている。
分解能(RESOLUTI0N)--オリジナルの単位当たりのディジタルサンプル数とそれ
の表現バージョン（rendered version）における単位当たりのディジタルサンプ
ル数との関係。特に、イメージを取り扱う場合には、分解能は、オリジナルのイ
メージ又は光景の単位面積当たりのピクセルの数と表示されたイメージの単位面
積当たりのピクセルの数との間の関係のことを言う。特に、オーディオを取り扱
う場合には、分解能は、オリジナルの音の単位時間当たりのサン
プル数と演奏された音の単位時間当たりのサンプル数との関係のことを言う。
品質(QUALITY)--オリジナルの表現バージョン（rendered version）のオリジ
ナルに対する忠実度。特に、イメージを取り扱う場合には、品質は、表示された
イメージの、オリジナルのイメージ又は光景に対する忠実度のことを言う。通常
、これは、表示されたイメージにおけるピクセル値の近似値が、オリジナルのイ
メージ又は光景における正しいピクセル値に近ずく程度で表される。特に、オー
ディオを取り扱う場合には、品質は、演奏された音のオリジナルの音に対する忠
実度のことを言う。
フレーム(FRAME)--独立に及び対話式に操作可能なオリジナルの一部分。特に
、イメージを取り扱う場合には、フレームは、独立に及び対話式に操作可能なイ
メージの一部分又はイメージの集まりの一部分のことを言う。特に、オーディオ
を取り扱う場合には、フレームは、限られた時間内の音の一部分であって、独立
に且つ対話式に操作可能なもののことを言う。
ブロック(BLOCK)--順次に伝送された部分的なデータの集まりであって、マル
チフレームを構築するのに使用されるもの。これらのフレームは、一つ以上の順
次に伝送されたブロックで構築され、その内容はアキュムレートされる。特に、
イメージを取り扱う場合には、このブロックはイメージデータを含んでいる。特
にオーディオを取り扱う場合には、このブロックはオーディオデータを含んでい
る。
部分フレーム(PARTIAL FRAME)--所定のブロックに含まれるフレームの一部分
。
タイル(TILE)--イメージの一部を形成する所定のサイズのウィンドウサイズの
ピクセルアレイ。例えば、各タイルは、一つのイメ
ージを各アレイが同じ数のピクセルを含む複数のアレイに仕切る。
図面の簡単な説明
本発明は、図面を参照して以下に述べる詳細な説明によって、更によく理解さ
れ且つ認識されるであろう。
図１と図２は、本発明の好適な実施例によって構成され、動作されるプログレ
ッシブ非同期伝送のためのマルチメディアデータのスケーラブル表示のためのシ
ステムを示す単純化されたブロック図である。
図３Ａは、本発明のクライアント−サーバシステムの中に具体化された三つの
データベースを含む本発明のデータベース構造の簡略化された模式図である。
図３Ｂは、図３Ａのクライアントデータベースに特に有用なデータベース構造
の簡略化された模式図であり、二次元的に示している。
図４は、本発明の好適な実施例の作用を説明する図である。
図５は、本発明の好適な実施例による、ディジタルのマルチメディアファイル
をサーバ側のコンピュータに記憶させるためにプログレッシブ・スケーラブル・
データベース表示に変換する製作ツールの簡略化された模式図である。
図６は、本発明の好適な実施例による、ランダムアクセス可能なフレームに区
切られたサーバ・データベース内のブロックの構成の簡略化された模式図である
。
図７は、本発明の好適な実施例による、スケーラブル・データベースからデー
タブロックを受け取って統合し、プレーバック用のディジタル・マルチメディア
オブジェクトのバージョンを形成するためのデコーダの簡略化された模式図であ
る。
図８は、本発明の好適な実施例による、ビデオをプレビューする
のに第１のデータブロックが使用されているビデオクリップのためのスケーラブ
ル・プログレッシブ・データベースの簡略化された模式図である。
図９と図１０は、本発明の好適な実施例による、スケーラブル・プログレッシ
ブ・データベースを巨視的及び微視的スケールの二つの時間スケールでインデッ
クスされた、時間に基づくフレームのビデオシーケンスに組み込むためのシステ
ムの簡略化された模式図である。
図１１は、本発明の好適な実施例による、サーバからクライアントに伝送され
たマルチメディアデータを中央ハブにキャッシュするのに使用される代理システ
ムの簡略化されたブロック図である。
図１２は、本発明の好適な実施例による、フィードバックループ内で圧縮器を
作動させて、ディジタルのメディアデータからスケーラブル・データベースを発
生させるためのシステムの簡略化されたブロック図である。
図１３は、本発明の好適な実施例による、図１２のシステムによって発生され
たデータベース用のデコーダの簡略化されたブロック図である。
図１４は、本発明の好適な実施例による、大きな静止イメージ用に有用なスケ
ーラブル・プログレッシブ・データベースを示す簡略化された図である。
図１５は、本発明の好適な実施例によって構成され、動作される仮想現実シス
テムを示す簡略化された図である。
図１６は、図１５のシステムの作用を示す簡略化されたフローチャートである
。
図１７は、図１５と１６に示された本発明の好適な実施例の作用を示す図であ
り、この図１７を復元することについてはTecnomatix
，Ltd.の許可を得ている。
好適な実施形態の詳細な説明
本発明の好適な実施形態は、以下の技術的及び理論的説明によってよりよく理
解される。
本発明はマルチメディアデータを表示する新しい方法を提供する。本発明はス
ケーラブルな表示を提供するので、データが異なった帯域幅の接続を有するクラ
イアントに非同期的に伝送され、ほぼ伝送開始の直後にオンラインで演出（上演
）され、対話形式で制御され、かつまたリプレイされる際にプログレッシブにア
ップグレードされる。
本発明は以下特に画像データを参照しつつ説明されるが、オーディオデータの
ような非画像データにも適用可能であることが認識されるだろう。
帯域幅の制限を指定する場合、データ転送率すなわち速度の観点から考えるこ
とが自然である。例えば、ビデオプレーヤは３０フレーム／秒（ｆｐｓ）といっ
た標準速度で演出を行い、表示する画像がこの速度で利用できることを要求する
。画像がすでにローカルハードディスクに記憶されている場合、必要なのはディ
スクのアクセスだけであるが、これは非常に高速である。他方、画像がサーバか
ら流れ込んでくる場合、ダウンロードが完全に終了する前にオンライン再生を可
能にするためには、伝送速度はフレームを３０ｆｐｓで供給するのに十分なだけ
高速でなければならない。これはネットワークリンクが毎秒３０の完全なフレー
ムに相当するデータを伝送しなければならないという意味ではない。圧縮を使え
ば、ネットワークは毎秒３０の圧縮されたフレームを伝送すれば十分である。
例えば、達成された圧縮が１０：１である場合、クライアントＣ
ＰＵが毎秒３０の圧縮フレームを完全なフレームに解凍できるとすれば、３ｆｐ
ｓの速度で伝送できれば十分である。実際には、圧縮はビデオプレーヤと帯域幅
の間の仲裁者である。帯域幅が低いときプレーヤが速度を落とすことはなく、む
しろ、圧縮率がより大きくならなければならない。障害が生じ、プレーヤが必要
とする時フレームが利用できない場合、プレーヤは単にそのフレームをスキップ
するが、引き続き３０ｆｐｓでの速度のフレームを予期している。ビデオを始め
に３０ｆｐｓより低い速度にプリセットすることはできるが、低速ビデオ再生は
フレーム間の連続性を損ない、動きの効果を失わせるため、あまり低くすること
はできない。
かくして、高度な圧縮が低い品質を意味することを理解すれば、高帯域幅接続
を有するユーザはオンライン再生用の高品質映像を受信でき、低帯域幅接続を有
するユーザは低品質映像を受信することが認識されるだろう。従って、非スケー
ラブル設定では、再生速度と帯域幅の各組み合わせのために異なった圧縮メディ
アファイルを準備する必要がある。例えば、（ａ）２４ｆｐｓ再生、１４．４Ｋ
ｂｓ帯域幅、（ｂ）２４ｆｐｓ再生、２８．８Ｋｂｓ帯域幅、（ｃ）３０ｆｐｓ
再生、１４．４Ｋｂｓ帯域幅、（ｄ）３０ｆｐｓ、２８．８Ｋｂｓ帯域幅に対し
て４つの異なったバージョンのメディアが存在しうる。以下説明するように、本
発明を使用すれば、単一のメディアファイルを使用して４つのこれらの組み合わ
せすべてに適応することができる。
本発明では、メディアデータはｍ個のフレームＦ1，Ｆ2，…，Ｆmからなる。
フレームは、例えば、映画シーケンスの個々のフレーム、パノラマ画面の一部分
、オーディオ信号の個別のセグメント、またさらには大きな静止画像のサブサン
プル化されたバージョンでありうる。それは、例えばＨ．２６３コーデックが使
用される場
合のビデオセグメント中のキーフレーム間の中間フレームのグループのようなフ
レームのグループであることもある。広い意味で、フレームは対話の単位である
。例えば、対話がフレームの進行を意味するオブジェクト映画では、フレームの
単位は個々の静止画像であるが、対話がズームイン及びズームアウトを意味する
熟視形アプリケーションではフレームの単位は多数の解像度のタイルである。
本表示はメディアデータを、好適にはほぼ等しいサイズのｎ個のデータブロッ
クＢ1，Ｂ2，…，Ｂnに符号化する。各符号化データブロックＢjはｍ個の圧縮フ
レーム単位Ｆj 1，Ｆj 2，…，Ｆj mを含む。すなわちデータベースがブロックとフ
レームに対応する２つの次元に配置されていることが認識される。ブロックに使
用される次元はプログレッシブネスを達成するためのものであり、フレームに使
用される次元は対話を達成するためのものである。フレームのデータは選択的な
順序で送信できるが、ブロックは累積的に構成されているので順に送信しなけれ
ばならない。これは本発明の本質的な特徴である。
データブロックＢ1はもっとも低い帯域幅、すなわちｆ1Ｋｂｓでメディアを転
送するために使用され、データブロックＢ1とＢ2は互いに統合されると、帯域幅
ｆ2＝２ｆ1Ｋｂｓでメディアを転送するために使用され、一般に１≦ｋ≦ｎの場
合、データブロックＢ1，Ｂ2，…，Ｂnは互いに統合されると、帯域幅ｆk＝ｋｆ1
Ｋｂｓでメディアを転送するために使用される。帯域幅が高い各バージョンほ
ど高い品質のメディアの演出を転送する。この方法で、本表示は異なった帯域幅
でネットワークに接続された多数のクライアントに適応できる。さらに、データ
ブロックＢ1をダウンロードしメディアを演出した、帯域幅ｆ1で接続するクライ
アントは、帯域幅が開放されたためバックグラウンドで継続してブロックＢ2を
ダウンロードでき、次回メディアをリプレイする時には帯域幅ｆ2と同じ品質を
達成できる。
各ブロック内でフレームはランダムにアクセスでき選択的に転送されるので、
ユーザはフレーム間の品質レベルを変化させることができる。例えば、フレーム
＃３を見たいビューアは、フレーム＃３を最初の１０ブロックからのデータを送
信し、他のフレームすべてについては１ブロックのデータだけを送信するようデ
ータベースに指示することができる。視認者の選択はメディアが演出される際に
キーボードの押圧やマウスのクリックを通じて対話的に実行される。ブロック全
体を順に送信することがもっとも自然なアプリケーションもあるが、他のフレー
ムの品質を低下させるという犠牲を払っても、まず特定のフレームのデータをで
きる限り多く転送することがより有効な他のアプリケーションもある。データベ
ースの２次元的性格は、その対話形アクセス可能性と共に、ユーザに伝送順序に
対する完全な制御を与える。
本発明の主題であるスケーラブル表示は、製作者（プロデューサ）による帯域
幅パラメータｆk、すなわちブロックＢ1，Ｂ2，…，Ｂkを統合することによって
得られるメディアバージョンの品質の制御を可能にする製作ツールにおいて表現
される。一般に、ブロックが等しいサイズである必要や、周波数ｆkがｋｆ1によ
って与えられる必要はないが、これは好適な実施形態である。本製作ツールはま
た、最高帯域幅バージョンの最終的品質、すなわち本表示におけるデータブロッ
クの合計数ｎの製作者による制御をも可能にする。
これと対照的に、メディアデータ表示がスケーラブルでなく、特定の帯域幅ｆ
について符号化されている場合、ダウンロード中にメディアをオンラインで演出
できるのはｆ以上の帯域幅を有するクラ
イアントだけである。ｆより低い帯域幅を有するクライアントは、再生を開始す
るために全データストリームをメモリにダウンロードしなければならないが、通
常マルチメディア製作で使用される大きなファイルサイズを考慮すると非常に多
くの時間がかかる。ｆより高い帯域幅の接続を有するクライアントもより高品質
のメディアを受信するためにそれを利用することはできない。さらに、高い帯域
幅の接続を有するクライアントにとっても、サーバ側から全く新しいデータスト
リームを送信し、以前にダウンロードしたデータを破棄する以外には、メディア
の品質をアップグレードする手段はない。
本発明のアプリケーションには、以下でより詳細に説明するように、とりわけ
、スケーラブルオーディオ及びビデオ送信、ビデオプレビュー、プログレッシブ
に表現される（rendered）オブジェクト映画とパノラマ、大きな静止画像、ウェ
ブや他のハブについての効率的プロキシまたはマルチキャスティングユニット（
ＭＣＵ）管理、及びＶＲＭＬ送信が含まれる。
スケーラブルオーディオ伝送：ディジタルオーディオデータは異なった帯域幅
での非同期伝送用スケーラブルデータベースにプログレッシブに符号化すること
ができる。低帯域幅回線に接続されたクライアントは低品質バージョンのオーデ
ィオを受信し、データが流れ込んでくるときに低帯域幅でオンライン再生するこ
とができる。オーディオの演出後、追加のデータブロックを継続して受信し前の
ブロックと統合することができるので、オーディオをより高い品質にアップグレ
ードしてリプレイすることができる。
スケーラブルビデオ伝送：オーディオ伝送に関する上記の説明と同様、ディジ
タルビデオデータも非同期転送とプログレッシブな品質のアップグレードのため
にスケーラブルデータベースに符号化す
ることができる。
ある時間基準ビデオシステムのために、単一の演出モードでプログレッシブネ
スと即時再生が達成されるようなスケーラブルデータベースを組み込む新しい方
法が開示される。すなわち、これはＡｐ
ような２つの時間スケールを有するビデオシステムに適用される。第１の時間の
スケール（以下「主スケール」と呼ぶ）は、時間の大きな単位に基づいて１つの
フレームから次のフレームに進むために使用される。第２の時間のスケール（以
下「副スケール」と呼ぶ）は主スケールをより小さな時間単位にさらに分割した
もの（sub-division）で、表示されたフレームに小さな変更または変動を組み込
むために使用される。例えば、主スケールは鳥が飛行する映画を通して進行させ
ることができ、副スケールはその鳥の翼の羽ばたきを加えることができる。こう
した２スケールプレーヤの利点は、集中的な処理を行ってフレームを供給するデ
コーダは、主スケールによって管理される、例えば３フレーム／秒（ｆｐｓ）と
いった遅い速度で動作すればよく、その一方であまり集中的な処理を行わないビ
ューアが、副スケールによって管理される例えば３０ｆｐｓといった速い速度で
演出するということである。
本発明は、副スケールを本来意図された方法と異なった方法で使用することに
よって、上記で説明したような２つの時間スケールを有するシステムに組み込ま
れうる。変動を導入するために使用される代わりに、それはフレームのプログレ
ッシブに表現されるバージョンを表示するために使用される。副時間単位の各々
で、プレーヤは主スケールによってインデックスされたフレームの利用可能な最
新バージョンを表示する。例えば、１つの主時間単位の中に１０の副時間単位が
あり、その間にフレーム＃４が表示されると仮定する
。最初の副時間単位では、プレーヤはまず、すでに処理された第１のデータブロ
ックから得られたフレーム＃４のバージョンを表示する。データの追加ブロック
が累積され、フレーム＃４のより高品質のバージョンが利用可能になると、プレ
ーヤは後続の副時間単位ではこれらのフレームを表示する。これが１０の副時間
単位の間次の主時間単位まで継続され、時間フレーム＃５が表示される。このサ
イクルが繰り返され、最初の副時間単位ではフレーム＃５のすでに利用可能なバ
ージョンがまず表示される。副時間スケールに、逐次ブロックを累積することに
よって得られたフレームのバージョンを挿入することによってプログレッシブネ
スが達成されることが見られる。
ユーザがファイル全体がダウンロードされるのを待たずにすぐにビデオを見ら
れるようにするために、製作ツールは符号化されたビデオを逐次ブロックの順序
で保存しなければならない。各部分フレームはそれが完全なフレームであるかの
ように処理されなければならない。すなわち、製作ツールは符号化された合計ｍ
・ｎ個の別個のフレームがあるかのように映画を処理しなければならない。他方
、各フレームは符号化のため一度だけコーデックに送信され、一連の符号化され
た部分フレームとして返送される。すなわち、符号化されたデータファイルを後
処理し、データ項目をフレームによる順序からブロックによる順序に再配置する
必要がある。この再配置処理は当業技術分野では「平滑化」と呼ばれる。
しかし、プレーヤ側は、ｍ・ｎ個のデータ項目に見えるものを受信していても
、実際には合計ｍ個のフレームしかないということを知らなければならない。プ
レーヤは、フレームを更新するため、ｍ個のデータ項目の各逐次シーケンスをデ
コードして、以前のものとともに累積しなければならない。制作側での平滑化と
クライアント
側でのプレーヤによる解釈の複合効果によって、非プログレッシブビデオインタ
フェース内のスケーラブルプログレッシブデータベースのシームレスな統合が可
能になる。すなわち、プログレッシブブロックの組み込みは、既存のインタフェ
ースの修正を一切必要としない。
ビデオプレビュー：ディジタルビデオデータをスケーラブルデータベースに符
号化する場合、第１のデータブロックを使用して、選択されたフレームに制限さ
れたビデオのプレビューを生成することができる。プレビューは、ほぼストリー
ム開始直後にクライアントによって再生することができる。さらに、受信される
追加のデータブロックがプレビューからのデータブロックと統合され、ビデオの
フルビューのバージョンを形成する。
オブジェクト映画：広告代理店はオブジェクト映画を使用して、インターネッ
ト上で商品の対話形３−Ｄ仮想現実表示を製作している。ユーザは３−Ｄオブジ
ェクトを回転させたりズームしたりして異なった視角からそれを検討することが
できる。本発明の方法論を使用すれば、オブジェクト映画はプログレッシブに符
号化できるので、ビューアをダウンロードしてほぼストリーミング開始直後にオ
ブジェクト映画の演出（上演）が開始できる。当初映画はユーザのネットワーク
接続の帯域幅に相応する品質に基準化されるが、データブロックが受信されユー
ザが映画と対話するにつれて、追加のデータブロックが転送され、以前のブロッ
クと統合される結果、次第に高い品質の映画が生じる。本発明の重要な特徴は、
転送された映画の最初のバージョンが固有の帯域幅に合わせて基準化されるため
、帯域幅に関わらず、ユーザがほぼ即時に再生と対話を開始でき、ダウンロード
の完了を待つ必要がないことである。再生が進むにつれて、追加のデータがバッ
クグラウンドで流れ込み、映画のバージ
ョンが次第に高い品質にアップグレードされる。
パノラマ：パノラマは、ユーザがその全体を見ることができず、制限されたビ
ューウインドウの中を見る非常に大きな画像である。様々な方向にパンしたりズ
ームイン・ズームアウトすることによって、ユーザはパノラマ全体を目を通す。
ビューウインドウの中の連続的な変化によって、画面内の動きの効果が与えられ
る。オブジェクト映画に関する上記の説明と同様、パノラマはプログレッシブに
符号化できるので、ビューアはパノラマをダウンロードし、ほぼストリーミング
の開始直後にパノラマ全体に目を通し始める。初めパノラマはクライアントの帯
域幅に合わせて基準化され、最初のデータブロックの受信後、パノラマが演出さ
れている間に追加のデータブロックが背景（バックグラウンド）内に流れ込み、
より高い画像品質を提供する。
大きな静止画像：高品質静止画像は一般的な意味でフレームから構成されるも
のではないが、大きなサイズの画像データファイルは本発明に対話形オンライン
ビューの有効な手段を与える。フレームは異なった解像度での全画像中の小さな
画像タイルであり、小さいタイルは大きいタイルより高い解像度を有する。タイ
ルの位置はホットスポットとして示される。ビューアが特定のタイル内のホット
スポットをクリックすると、データベースはより高い解像度でそのタイルを転送
し、ズームイン効果を与える。高い解像度のタイル内にはより多くのホットスポ
ットがあり、データベースを通じてズームを続けることができる。
簡単な例として、データブロック内の最初のフレームが例えば各寸法が４：１
の割合でサブサンプル化された全画像を含むものとする。データブロック内のフ
レームの次のセットは、各次元に２：１の割合でサブサンプル化された全画像の
４つの象限（のいくつかの
サブセット）を含む。データブロック内のフレームの次のセットは元の解像度で
の上記の４つの象限の中の１６の象限（のいくつかのサブセット）を含む。ビュ
ーアは４：１に縮小された原画像（第１のブロック）を見て、象限の１つをクリ
ックしてその２：１に縮小されたその象限（第２のセットからのフレーム）を見
ることができ、その象限の１つをさらにクリックしてそれ（第３のセットからの
フレーム）をフルスケールで見ることができる。
効率的プロキシ／ＭＣＵ管理：プロキシはネットワーク内のハブとして配置さ
れ、サーバからクライアントに転送されるデータの大規模キャッシュとして使用
される大規模記憶装置である。同様に、ＭＣＵは、放送局からケーブルＴＶのよ
うなビューアに転送されるデータに対するキャッシュとして使用される大規模記
憶装置である。データが要求に応じてサーバからクライアントへ、また放送局か
らビューアへ流れる際、プロキシまたはＭＣＵはデータを中央ハブに記憶するの
で、ハブに接続された何れかのクライアントによって再び要求される場合、デー
タを高い帯域幅で転送することができる。これはローカルコンピュータディスク
のページングファイルと同様の役割を演じるが、より大規模でより広範なクライ
アントの層を対象にする。
本発明のスケーラブル表示は、非同期環境で動作するプロキシとＭＣＵに特に
適している。サーバ／クライアント間の接続や一斉送信は多くの異なった帯域幅
のものとなることがあるので、プロキシまたはＭＣＵは異なった品質に対応する
同じマルチメディアデータの累積バージョンとなることがある。スケーラビリテ
ィがなければこれらのバージョンはすべて互いに独立しており、結合して元来プ
リセットされていたものとは異なる品質レベルを達成したり、結合してスペース
を節約することはできない。本発明のスケーラブル表
示を使用すれば、プロキシまたはＭＣＵは最適化され、様々なプログレッシブビ
ルディングブロックをキャッシュすることができる。これは異なった品質レベル
のバージョンを作成しうる大きな柔軟性を提供し、空間の必要性を低減する。
簡単な例として、サーバへの低帯域幅接続ｆ1を有する第１のユーザがマルチ
メディアファイルを要求してデータブロックＢ1をダウンロードするが、それは
プロキシのキャッシュにも保存され、ユーザはメディアの低品質バージョン（品
質レベル１）を受信する。サーバへの高帯域幅接続ｆ2を有する第２のユーザは
同じマルチメディアファイルを要求する場合、サーバからデータブロックＢ2及
びＢ3をダウンロードし、プロキシから直接ブロックＢ1にアクセスすることがで
きる。３つのデータブロックは統合され、第２のユーザはメディアの非常に高品
質なバージョン（品質レベル３）を受信する。データブロックＢ2及びＢ3はその
後プロキシにも保存される。帯域幅ｆ2のプロキシへの直接接続を有する第３の
ユーザは、同じマルチメディアファイルを要求する場合、ブロックＢ1及びＢ2か
らなる高品質バージョン（品質レベル２）をプロキシから直接受信することがで
きる。スケーラブル表示がなければ、帯域幅ｆ2の接続を有する第２のユーザが
より高い帯域幅ｆ3に対応する品質レベル３のバージョンを受信することも、プ
ロキシが、キャッシュで直接利用可能なものと異なった品質レベルのバージョン
を第３のユーザに転送することも不可能である。さらに、スケーラブル表示がな
ければ、ｆ1、ｆ2及びｆ3のバージョンをキャッシュするために必要なプロキシ
メモリは、３つではなく６つのデータブロックのサイズに等しくなる。すなわち
、プロキシまたはＭＣＵはサーバからスケーラビリティを継承しており、クライ
アントへのメディア転送において非スケーラブル環境で可能であるよりも非常に
大き
な柔軟性を提供していることが見られる。
ＶＲＭＬ伝送：仮想現実モデリング言語（ＶＲＭＬ）は３次元オブジェクトの
表示とレンダリングのための記述言語である。オブジェクトは多角形エレメント
の集合としてモデル化され、その記述がＶＲＭＬデータベースを形成する。ビュ
ーパラメータによって個々のエレメントが処理され、オブジェクトの望ましいビ
ューが表示用ラスタビットマップに表現される（rendered）。ＶＲＭＬ表示は十
分に豊富なので、オブジェクトのすべての可能なビューを収容できる。実際には
、ビューパラメータの可能なバリエーションは無限である。ユーザはマウスのク
リックやキーボードの操作を通じてビューパラメータを調節することによってＶ
ＲＭＬオブジェクトと対話する。ＶＲＭＬは最初Ｓｉｌｉｃｏｎ Ｇｒａｐｈｉ
ｃｓによって普及された。例えば同社の最上位機種Ｉｒｉｓワークステーション
は毎秒ほぼ１００万個の多角形エレメントを表現できる。ＶＲＭＬ画像はシャー
プなフォトリアリスティックな特性が特徴である。
本発明はオンライン対話用に、サーバ／クライアントネットワーク上でＶＲＭ
Ｌ画像を効率的に転送するために適用される。ＶＲＭＬ環境自体内において、オ
ンライン対話用にネットワーク上でＶＲＭＬデータベースを伝送する際２つの問
題が生じる。第１に、伝送速度を抑制する帯域幅の制限がある。第２に、多くの
多角形エレメントをビュー用ビットマップに表現するために必要なクライアント
側の集中的な処理がある。サーバ（通常より強力なコンピュータ）に表現(rende
ring)を行わせるのが好適であるが、その場合ビュー条件のすべての可能なセッ
トの表現されたビットマップを保存する必要があり、これは数テラバイトのオー
ダーのディスク空間を必要とする離れ業である。
本発明は、巨大なメモリを必要とせずにサーバコンピュータ上で
表現が行われるようにすることによってこの問題を緩和し、オンライン対話形設
定でクライアントがＶＲＭＬオブジェクトと自由に対話できるようにする。これ
はリアルタイム符号化を含む多くの例の１つである。本発明は、ユーザからビュ
ーパラメータを受信し、サーバ上の対応する画像をラスタビットマップ画像に表
現し、ビットマップをプログレッシブ部分フレームに符号化し、それらを２次元
サーバデータベースに挿入することによって動作する。サーバデータベース内の
符号化されたデータは絶えずサーバからクライアントに流れるので、最初の部分
フレームデータが到着すると同時にクライアントは低品質画像を見始められる。
ユーザがＶＲＭＬ全体に目を通す間に追加のビットマップが表現され符号化され
て、サーバデータベースに挿入される。ユーザがステップを再トレースする時は
いつでも、ビューパラメータは或る前の段階で選択されたものと常に同じになる
ので、サーバは再度同じビットマップを表現する必要はない。むしろストリーミ
ングは単にバックグラウンドで継続され、追加の部分フレームが統合されるにつ
れてクライアント側の画像品質が向上する。同様に、ユーザが単一のビューに注
目し続けている場合、表示されるビットマップは追加の部分フレームが流れ込む
につれて向上する。すべての部分フレームが一旦統合されると、画像はＶＲＭＬ
画像の特性と同じシャープなフォトリアリスティックな品質を有する。他方、ユ
ーザはオブジェクトと対話するためにすべてのデータが到着するのを待つ必要は
なく、クライアントコンピュータがＶＲＭＬデータベースをビットマップに表現
するために集中的な処理を行う必要もない。
ここで図１を参照すると、オンライン仮想現実（ＶＲ）映画を提供するシステ
ムのブロック図が示される。本システムには、以下説明するように、入力画像を
受信して処理する製作ワークステーショ
ン３が含まれる。この入力画像はワークステーションにスキャンされた写真によ
って構成されうる。生のＶＲ映画である製作ワークステーション３からの出力は
、伝送用に映画を準備するエンコーダ５に供給され、次いで映画を保存し、クラ
イアント、すなわち加入者またはユーザユニット９に伝送するために本質的に使
用されるサーバ７に適用される。
ここで図２を参照すると、図１のユーザユニット９がより詳細に示される。ト
ランシーバ３４、非同期メモリ／データベース３５、デコーダ３６及びユーザの
ワークステーション４０が見られる。
本発明の好適な実施形態の通常の動作がここで図１及び図２を参照して説明さ
れる。選択された画像が製作ワークステーション３に導入され、そこでＶＲ映画
があるスクリプトに従って製作される。ワークステーションでの製作者は、すべ
て２３として示されるキーボード、マウス、スピーカ及びＣＰＵといった映画を
製作する補助標準装置を使用して、部分フレームの数とサイズ（例えばバイト数
）を決定し、かつ２１のホットスポットとオブジェクトを規定することによって
様々な利用可能なフレーム間の対話をも規定する。得られた製品は生のＶＲ映画
であるが、これは伝送用にリフォーマットされていない完全なＶＲ映画である。
伝送するための映画の準備は、エンコーダ５で行われ、部分フレームが対話形プ
ロセスを通じて作成される。
部分フレームは、以下のようにコントローラ２５によって制御され、エンコー
ダ５によって作成される。ＶＲ映画シーケンスの各フレームの部分解像度フレー
ムまたは部分解像度スライスが作成される。こうした部分解像度フレームの１つ
の例は、サブサンプル化された走査線、例えば１５０のラインフレームの１０番
目毎のラインの除去、または部分解像度がぼやけた表示に帰結する圧縮符号化フ
レームである。その後部分解像度フレームが部分フレーム減算器２７によってオ
リジナルフレームから減算され、残差フレームまたは残余フレームを生じる。こ
の処理は残差フレームに対して繰り返され、第２の部分解像度フレームを生じる
。この手順は、（製作者によって決定された）数の部分解像度フレームが生成さ
れるまで何度も繰り返される。最終的な結果はオリジナルのフル解像度フレーム
に再結合可能な部分解像度フレームのセットである。
この処理がシーケンスの各フレームについて完了すると、部分解像度フレーム
が伝送される。伝送の順序は製作者によって与えられたスクリプトに従うが、一
般的には、各フレームの第１の部分解像度フレームが伝送され、続いて第２の部
分解像度フレームが伝送され、以下順に伝送される。この伝送シーケンスは、順
に見えるようになる部分解像度フォーマットで視認される全体のシーケンスを考
慮している。
部分解像度フレームは、おそらく様々なフレーム間の相似性を考慮して、必要
に応じて圧縮符号化される。これは圧縮器２９によって行われる。
符号化及び圧縮されたＶＲ映画部分はサーバ７に転送され、そこで映画部分は
データベース３１に保存され、トランシーバ３３によって一部分ずつユーザユニ
ット９に伝送される。
図２に見られるように、ユーザのトランシーバ３４は映画部分を受信し追加の
情報の要求を送信する。ユーザのデータベース３５は要求された画像によってプ
ログレッシブに更新されるか、またはサーバ７によってプログレッシブに更新さ
れうる。ユーザのデータベース３５は非同期的に機能し、データ伝送と無関係な
要求によってデコーダ３６を経由してユーザにフレームを供給する。フレームを
受信すると、デコーダは（圧縮が行われた場合）３７で示すように
フレームを先ず解凍した後、部分フレーム統合器３８によってそれらをデコード
し再結合する。この後部分フレームはユーザのデータベースに保存されるが、そ
こではフレームは、圧縮器３９によってもたらされる圧縮フォーマットで保存さ
れる。ユーザのワークステーション４０は、ユーザがＶＲ映画を見てそれと対話
できるようにする。ユーザはワークステーションを利用して画像の要求をデコー
ダに送信し、デコーダはユーザのデータベースから画像を検索し（かつ必要な場
合には解凍して）まだ送信されていない特定の画像の要求をサーバのデータベー
スに送信する。さらに、ユーザのワークステーションは製作ワークステーション
３で製作されたスクリプトがあればそれを起動する。一方ユーザのワークステー
ションにもワークステーション３に含まれ参符２３（図１）によって示される標
準装置が含まれる。
残りの図の説明の序言として、本発明の対象であるプログレッシブスケーラブ
ルデータベースがサーバ／クライアントシステム内の３つのデータベースに保存
されていることが好ましいことを理解することが重要である。
ここで図３Ａを参照すると、本発明の好適な実施形態による好適なデータベー
ス構造が示される。直列形式に配置され、各々が多数の部分フレームデータを含
む多数のデータブロックを含むサーバデータベース４１、概念的に図３Ｂで例示
される、２次元構造に配置されたクライアントデータベース４２及び、多数のフ
レームを含む単一のデータブロックを含み、クライアントデータベース４２から
ダイナミックに更新される対話形データベース４３という３つのデータベースが
利用されることが本発明の特徴である。クライアント側で非常に高い処理速度が
利用可能な本発明の代替実施形態では、クライアントデータベースは除去される
ことがある。
対話形データストリーミングが提供されることが本発明の特徴である。上記で
説明した３つのデータベースを使用することによって、効率的で費用効果的な方
法で対話形データストリーミングを達成することが可能になる。２次元構造を有
するデータベースの使用によってデータ処理は大きく単純化される。
サーバ上にアーカイブされる（archived）サーバデータベース４１はプログレ
ッシブスケーラブルデータベースの第１のデータベースを構成する。サーバデー
タベース４１には符号化形式の複数のデータベースブロックが含まれる。特に図
３Ｂに見られるように、プログレッシブスケーラブルデータベースはその性質上
２次元的である。それはブロック番号によってインデックスされるプログレッシ
ブ次元と、フレーム番号によってインデックスされるが、ストリーミングのため
に直列化され、順次的にしかアクセスできない対話形次元とを有している。サー
バデータベース４１は、インターネットブラウザの送信及びバッファプロトコル
によってサーバからクライアントに流される。
第２のデータベースであるクライアントデータベース４２は、情報が流れ込む
際にクライアント側に構築され、サーバデータベース４１を反映する。クライア
ントデータベース４２は全く２次元的であり、データベースブロック内のランダ
ムアクセス能力を有する。その中のデータブロックも符号化形式である。
第３のデータベースである対話形データベース４３は、クライアントデータベ
ース４２からのデータを復号化することによって作成される。この対話形データ
ベース４３は１次元で、１シーケンスのフレームだけを含むが、それはダイナミ
ックに更新される。追加のブロックデータが統合されると、これらのフレームは
更新され、前のバージョンは上書きされる。
フレームが更新されると、更新のために使用された符号化されたフレームはク
ライアントデータベース４２から削除される。すなわち対話形データベース４３
が作成され更新される一方で、クライアントデータベース４２は削除される。し
かし、フレームの更新は非同期的なので、クライアントデータベース４２は通常
、任意の時点に同時に多くの異なったブロックからのフレームを含んでいる。す
なわち、本質において、本データベースのプログレッシブ次元は、対話形データ
ベース４３における時間次元を通じて実現される。
対話形データベース４３はキーボードの操作やマウスのクリックを通じたユー
ザインタフェースによって制御される。クライアントデータベース４２からの対
話形データベース４３の作成と更新はバックグラウンドタイムスライスでなされ
るが、その間クライアントＣＰＵはアイドル状態である。中間圧縮がフレームを
リアルタイムで表示用に解凍できるようなものである限り、対話形データベース
４３は生のビットマップ形式または中間圧縮形式のどちらでもフレームを保存で
きる。中間圧縮を使用する利点は、対話形データベース４３を、アクセス時間の
遅いハードディスクメモリにスワップせずに、アクセス時間の早い内部ＲＡＭに
制限することである。スワッピング自体は処理速度の浪費である。
ユーザがあるフレームの表示を要求すると、対話形データベース４３は、それ
が利用可能ならば即座にそのフレームを表示する。フレームが利用可能でない場
合、対話形データベース４３はメッセージをクライアントデータベース４２に戻
し、そのフレームを要求する。クライアントデータベース４２はそのフレームが
利用可能ならばその最初に符号化されたデータブロックから要求された特定のフ
レームにアクセスし、それを解凍及び統合した後対話形データベース４３に組み
込むためにデコーダに送信する。一旦フレームが組み
込まれると、対話形データベース４３はそのフレームをすぐに表示する。クライ
アントデータベース４２がまだ要求されたフレームをサーバストリームから受信
していなかった場合、ストリーミングは逐次的なので、符号化されたそのフレー
ムが到着するまで待たなければならない。しかしストリーミングがランダムアク
セスである場合は、クライアントデータベース４２は必要とする特定のフレーム
をサーバデータベース４１から直接要求できる。
要約すると、サーバデータベースは２次元であるが、逐次ストリーミング用に
連続化されており、クライアントデータベースは２次元でブロック内のランダム
アクセスを有しており、対話形データベースは１次元だがダイナミックに更新さ
れる。対話形データベースでは、プログレッシブデータベース次元は実際に空間
でなく時間として表示される。（ｉ）２次元連続化、（ｉｉ）２次元、（ｉｉｉ
）１空間１時間次元、の３つの異なったデータベースを使用するこの「３データ
ベース戦略」は、本発明と以下に続く図面の詳細な議論の鍵である。
これら３つのデータベースの各々について、プログレッシブ次元は異なった方
法で発現する。サーバデータベース内においては、プログレッシブネスは品質を
意味する。エンコーダは所定のビットレートで最高品質を達成することに基づい
てデータベースのブロックを構築する。クライアントデータベース内において、
プログレッシブネスは累積的統合を意味する。クライアントデータベース内にお
けるプログレッシブネスは計算特性である。クライアントコンピュータ上のアキ
ュムレータは逐次的ブロックからのフレームを以前のブロックからのフレームと
統合する。最後に、対話形データベース内においては、プログレッシブネスは時
間を意味する。時間の進行につれて多くのブロックが累積されると、フレームは
ダイナミック
に更新される。サーバデータベースからクライアントデータベースへの送信は逐
次的に行われ、そこでプログレッシブ次元は効率的に「空間」から「時間」に効
果的に変換される。
プログレッシブネスはストリーミングの際帯域幅において発現する。クライア
ントデータベースから対話形データベースへの送信は非同期である。クライアン
トデータベースは対話形データベースが演出されている間にバックグラウンドで
作成され、前者は後者のバッファとして機能する。さらに、クライアントはスト
リーミング開始のほぼ直後にメディアと対話することができ、クライアントデー
タベースが完全に構成されるのを待つ必要はない。
データベースの対話形次元はユーザインタフェースにとって可能なすべての機
能に対応する。例えば、それはビデオとオブジェクト映画の場合フレームの進行
として、パノラマの場合パノラマ全体に目を通すこと（navigating）として、ま
た大きな静止画像の場合それを熟視すること（gazing）として発現する。
ここで図４を参照すると、上記の図３Ａ及び図３Ｂで説明された３つのデータ
ベース構造のアプリケーションの１つが例示される。説明を簡単にするために、
追加して図３Ｂを参照すると、図４の各画像は累積的に受信される連続的なデー
タブロック内の対応する部分フレームから構成される。すなわち、説明を簡単に
するためには、第１の水平行にある５つの画像がデータの第１ブロックにある５
つの対話的に視認できるフレームに対応し、各連続的フレームが通常画像化され
たモデルの連続的な位置を例示すると考えることができる。
図４の各逐次水平行を考察すると、画像の品質が上の行から下の行に逐次改善
されていることが見られる。これはデータの連続的なブロックがビューアに利用
可能な情報に組み込まれる際にビューア
が感知する品質の改善に対応する。
本発明の好適な実施形態によれば、帯域幅の制限されたユーザはまず第１行の
画像を受信し、即座にそれと対話することができる。時間の経過と共に、そのユ
ーザに利用可能な帯域幅に応じて、連続的なデータブロックが受信され、各々が
累積的に品質を向上させる。データの連続的なブロックの受信中にユーザが十分
に画像と対話できることは本発明の特徴である。
ここで図５を参照すると、ディジタルマルチメディアファイル７３に統合され
るオリジナルディジタルフレームユニット７２のシーケンスを入力として受け入
れる製作ツール７１が示される。製作ツール７１には、ディジタルマルチメディ
アファイル７３をデータブロック７６からなるスケーラブルプログレッシブデー
タベース７５に区分し圧縮することによって動作するエンコーダユニット７４が
含まれる。連続的ブロックは互いに結合してメディアのより高い帯域幅のバージ
ョンａ〜ｎを形成する。データベース７５がサーバ７７に保存される。製作ツー
ル７１は、製作者が制御パラメータ７８を通じて帯域幅または品質の細分性を制
御できるようにする。これらのパラメータはエンコーダユニット７４内における
データブロックのサイズと圧縮の設定を計算するために使用される。
ここで図６を参照すると、スケーラブルプログレッシブデータベース７５中の
データブロック７６の構造を示す。ランダムアクセスサーバが利用可能な場合、
ブロック７６からの選択的な符号化されたフレーム７２が、サーバ７７のデータ
ベース上でクライアントから出された対話形要求に基づいて７９でアクセスされ
る。符号化されたフレームはサーバ７７からクライアントコンピュータ８０に送
信され、クライアントデータベース８１内に統合されサーバデータベース７５を
反映する。ランダムアクセスサーバが好適であるが、
連続的及びランダムアクセスサーバの両方が本発明で有利に利用されうることが
認識される。
ここで図７を参照すると、クライアントコンピュータ８０のデコーダが示され
る。クライアントコンピュータ８０はサーバ７７（図５）からバッファ８２に、
スケーラブルデータベース７５からの一連のデータブロック７６を受信する。ブ
ロックが受信されるにつれて、サーバデータベースを反映するクライアントデー
タベースが構築される。デコーダユニット８３はブロックを解凍し、アキュムレ
ータユニット８４はそれらを統合してマルチメディアファイル７３（図５）の適
当な低品質バージョン８５を形成するが、これはバッファ８６に保存され、対話
形データベースを構築する。
デコーダ８３とアキュムレータ８４の動作はＣＰＵ８７によって管理される。
それらは、何れかの順序で動作する。すなわち、復号化が累積の前に実行される
か、または累積が復号化の前に実行されるかである。マルチメディアファイル７
３は対話形ユーザコマンドに応答してプレーヤユニット８８で演出される。ユー
ザが対話式に特定のフレームを演出するよう要求すると、バッファ８６はそれが
所持する最高品質バージョンを供給する。望ましいフレームが利用できない場合
、バッファ８６は要求をバッファ８２に返送し、そのフレームを複合化及び累積
する。そのフレームがバッファ８２でも利用できない場合、バッファ８２はフレ
ームを送信するよう要求をサーバデータベース７５に返送する。再生が続き帯域
幅に空きができるにつれて、追加のデータブロック７６が受信されて前に受信さ
れたブロックと統合され、マルチメディアファイルのより高品質なバージョン８
９が生じる。
図１〜図７の説明は、本発明によって提供されるシステムと方法全体に向けら
れていた。以下の説明は、主として上記で説明された
システムと方法の特定のアプリケーションに主に向けられる。
ここで図８を参照すると、ディジタルマルチメディアファイル７３（図５）に
対応するディジタルビデオファイル用プログレッシブデータベース７５が示され
る。プログレッシブデータベース７５はデータブロックを備えているが、そこで
はデータブロック７６の第１のブロックがビデオのプレビュー９０を作成するた
めに使用され、データブロック７６の第２のブロックが第１のブロックと共に累
積されてビデオのフルビュー９１を形成する。ビューは対話形データベースバッ
ファ８６に保存され、対話形ユーザコマンドに応答してプレーヤユニット８８で
演出される。
ここで図９を参照すると、本発明の好適な実施形態によって、Ａ
な、マクロとミクロ時間スケールを伴う時間基準ビデオフレームシーケンスにプ
ログレッシブスケーラブルデータベースを組み込むシステムが示される。個別フ
レーム７２は、図９の主軸のマーキング９２によって示されるマクロ時間スケー
ルに従って配置される。各フレームはマーキング９２によって示されるそれぞれ
のマクロ時間で表示される。
連続的フレーム７２の間に小さな変動を導入することができる。例えば、主時
間スケールが鳥の飛行を表示し、副時間スケールが鳥の翼の羽ばたきを追加する
ために使用される。変動は通常小さな部分の画像領域だけを含み、図９の副軸マ
ーキング９３に従って間断なく表示される。こうした時間基準シーケンスによっ
て、集中的処理を行ってフレーム７２を供給するデコーダが例えば３ｆｐｓとい
った低速度で動作できるようになる一方、あまり集中的でない処理を行うビュー
アは例えば３０ｆｐｓといった高速度で演出を行うことができる。しかし、変動
は十分にシンプルなので、３０ｆｐｓの
速度一杯で表現することができる。
本発明にはプログレッシブストリーミングを可能にするこうした２スケール時
間基準システムの新しい使用法が含まれる。こうした時間基準ビデオシーケンス
を見る際、本発明のプログレッシブデータベースを利用するために、副時間スケ
ール９３は、先行技術で元来考えられていたように変動を表示するのではなく、
フレームのプログレッシブバージョンを表示するために使用される。副軸マーキ
ングに対応する各時間に、プレーヤは利用可能なフレームの最新バージョンを表
示する。例えば、図９では、第１のブロック７６に対応するフレーム＃４の低品
質バージョン９４が３つの副軸マーキングの持続時間にわたって表示され、その
時間によって第２のブロック７６が累積されて中間品質バージョン９５が形成さ
れる。その後この中間品質バージョンが２つの副軸マークの持続時間にわたって
表示され、その時間によって第３のブロック７６が累積されてメディアの高品質
バージョン９６を形成する。その後この高品質バージョンがさらに３つの副軸マ
ークの持続時間にわたって表示され、その後フレームはフレーム＃５に進む。
その後このサイクルは繰り返されてフレーム＃５をプログレッシブに表示する
。追加のブロックが到着しフレーム＃４のために累積される場合、それらはビデ
オシーケンスがリプレイされる際に表示される。すなわち、データベースのプロ
グレッシブ次元が、フレームの進行用に使用される主時間スケールの中に位置す
る副時間スケールの使用を通じて対話形次元の中に組み込まれることが見られる
。主時間スケールは対話形軸であり、副時間スケールはプログレッシブ軸となる
。全体的な達成によって、メディアストリームが完全にダウンロードされる前に
ビデオを見ることが可能になる。まず低品質フレームが表示され、追加のブロッ
クがバックグラウンドでダ
ウンロードされ累積される間に、フレームの品質が着実に向上する。
本発明の好適な実施形態によれば、ユーザがファイル全体のダウンロードを待
たずにビデオを即時に見ることができるように、製作ツールは連続的ブロックの
順序で符号化されたビデオを保存しなければならない。一旦第１のブロックがダ
ウンロードされれば、ビデオはすでに見ることができる。従って、符号化された
データ項目の順序は次のようでなければならない。
フレーム１／ブロック１，フレーム２／ブロック１，…，フレームｍ／ブロック
１，…，
フレーム１／ブロックｎ，フレーム２／ブロックｎ，…，フレームｍ／ブロック
ｎ
この順序では、各行は１つのブロック全体を含む。このファイルフォーマット
を２スケール時間基準システムの中に統合するために、各部分フレームはそれが
フレーム全体であるかのように処理されなければならない。すなわち、製作ツー
ルは映画を、まるで符号化されたｍ・ｎ個の別個のフレームの合計であるかのよ
うに取り扱わなければならない。しかし、プレーヤの方は、ｍ・ｎ個の符号化さ
れたフレームに見えるものを受信していても、実際には合計ｍ個のフレームしか
ないということを知らなければならない。プレーヤはｍ個のデータ項目を連続的
シーケンス毎に（すなわち上記のシーケンスの各行を）復号化して、前のものと
共に累積し、フレームを更新しなければならない。
他方、製作ツールが符号化されたデータ項目を製作する自然の順序は次の通り
である。
フレーム１／ブロック１，フレーム１／ブロック２，…，フレーム１／ブロック
ｎ，…，
フレームｍ／ブロック１，フレームｍ／ブロック２，…，フレームｍ／ブロック
ｎ
これは各フレームが符号化のため一度だけコーデックに送信され、一連の符号
化された部分フレームとして返信されるためである。従って符号化されたデータ
ファイルを後処理し、データ項目をこの後者のフレームによる順序から前者のブ
ロックによる順序に再配置する必要がある。この再配置処理は当業技術分野では
「平滑化」と呼ばれ、図１０で例示される。
図１０で見られるように、フレーム７２は順に製作ツールに供給され、そこで
各フレームについて一連の部分ブロック７６が製作される。部分ブロックは、図
１０のマッピングが示すように、単一のファイルストリーム９７に並べ直される
。図示されるように、各フレームの第１の部分ブロックがファイル９７の最初の
ｍ個のデータユニットを形成し、各フレームの部分ブロックの第２のセットが次
のｍ個のデータユニットを形成する等である。
ここで図１１を参照すると、中央ハブ９９でサーバ７７からクライアント８０
に流れるマルチメディアデータをキャッシュするプロキシシステム９８が示され
る。サーバ７７は、サーバデータベース７５に上記で説明したプログレッシブス
ケーラブル表示でそれらのマルチメディアデータを保存するが、各メディアはデ
ータブロック７６ Ｂ1，Ｂ2，…，Ｂnに符号化される。多数のサーバ７７が、
中央ハブ９９を通じ、データ通信チャネルを経由してクライアント８０に接続さ
れる。これらのチャネルの帯域幅は様々である。クライアント８０が特定のサー
バからのデータの要求を出す時はいつでも、プロキシ計算ユニット１００はまず
サーバの帯域幅に基づいてどのデータブロックをクライアントに送信すべきかを
決定する。それらのデータブロックがまだハブでキャッシュされていない場合
には、プロキシ９８は必要なブロック７６をサーバから低帯域幅通信チャネル１
０１を通じて適当な帯域幅で検索し、それらを高帯域幅通信チャネル１０２を通
じてクライアント８０に転送する。ブロック７６もハブ９９にキャッシュされる
。
ハブにはどのデータブロックが利用可能かを記録する目録フラグデータベース
１０３が提供される。要求されたデータブロック７６のいくつかがすでにキャッ
シュされている場合、プロキシ計算ユニット１００は、帯域幅の制限内で可能な
メディアの最高品質バージョンをクライアントに送信するためにはどのデータブ
ロックがサーバ７７から転送されなければならないかを計算する。次にプロキシ
９８は低帯域幅通信チャネル１０１を通じてサーバ７７から必要なブロック７６
を検索し、それらをキャッシュに保存し、高帯域幅通信チャネル１０２を通じて
クライアント８０にそれらを供給する。クライアントコンピュータのデコーダユ
ニット８３は受信したデータブロックを復号化し、アキュムレータユニット８４
がそれらを統合する。プロキシ９８もそれ自身のデコーダユニット８３とアキュ
ムレータユニット８４を有することがあり、データをサーバデータベース７７の
元の圧縮形式からハブデータベース１０４の中間圧縮形式に変換するが、これは
クライアントデータベースのものより高速で解凍される。プロキシアキュムレー
タユニット８４は必要なデータブロック累積を行い、マルチメディアのすべての
可能なバージョンを中間圧縮形式でハブに保存することがあるが、この場合クラ
イアントアキュムレータ８４ユニットは不必要である。
更新通信回線１０５はサーバ７７をプロキシ９８にリンクしており、それを通
じてサーバ７７はプロキシ９８にマルチメディアファイルが更新された場合それ
を通知することができる。プロキシ９８がその通知を受信すると、プロキシはそ
れらの更新されたファイル
に関連するデータブロックがある場合そのキャッシュをクリヤし、その目録フラ
グ１０３をリセットするので、次にクライアントの要求があった場合、再びサー
バから更新されたファイルを検索しなければならないことがわかる。
（ｉ）１≦ｋ≦ｎの各々について、第１の連続圧縮データブロックＢ1，Ｂ2，
…，Ｂkは、互いに統合される時帯域幅ｆkに相応する品質レベルのメディアのバ
ージョンを生じる。
（ｉｉ）圧縮されたデータブロックのサイズは、第１の連続圧縮データブロッ
クＢ1，Ｂ2，…，Ｂkが帯域幅ｆkで送信される時メディアバージョンのオンライ
ン再生をするのに十分なものである。
というユーザが選択した制約を満足するように、プログレッシブスケーラブルデ
ータベースのデータブロックＢ1，Ｂ2，…，Ｂnを生成する多数の方法がある。
ここで図１２を参照すると、圧縮器をタンデムにカスケードすることによって
、ディジタルメディアデータからプログレッシブスケーラブルデータベースを生
成するシステムが示される。ユーザは符号化のビットレートと品質制御パラメー
タ１０６を選択する。オリジナルマルチメディアデータファイル７３がユーザに
よって選択された制御パラメータ１０６によって圧縮器１０７に入力され、ユー
ザによって選択された帯域幅に適用される圧縮データ１０８となる。圧縮データ
１０８は第１のデータブロック７６としてスケーラブルデータベース７５に送信
される。これは、クライアント側で生成する際にメディアを再構成する解凍器１
０９にも送信される。
再構成データ１１０はオリジナルデータ７３から減算され残差１１１に達する
。残差１１１はフィードバックループ１１２で圧縮器１０７にフィードバックさ
れ、圧縮器１０７によりビットレート制
御を伴って圧縮されるので、圧縮データ１０８は第１と第２のユーザによって選
択された帯域幅の差に適応される。圧縮データは第２のデータブロック７６とし
てプログレッシブスケーラブルデータベース７５に送信され、ループはユーザに
よって選択された最終品質が達成されるまで繰り返し継続される。
圧縮器１０７は動作の度に同じ圧縮方法を使用する必要はない。むしろ、圧縮
器は方法間を切り換えるパラメータとしてブロック識別子１１３を使用すること
ができる。例えば、ビデオエンコーダの場合、第１のブロックはＨ．２６３の低
品質バージョンを使用して符号化し、後続のブロックは空間ベクトル量子化及び
時間的ウェーブレットを使用して符号化することができる。
圧縮への可能なアプローチの１つが、本出願人の米国特許第５，４９７，４３
５号で開示され請求されるようなフラクタル技術（fractal technology）の利用
であるが、その開示は引用によって本明細書の記載に援用する。
スケーラブルデータベース生成への別のアプローチはプログレッシブＪＰＥＧ
の使用によるものである。プログレッシブＪＰＥＧ規格によって、エンコーダは
圧縮をスペクトル選択と逐次近似スキャンに区分することができる。スペクトル
選択では、ＤＣＴ係数がスペクトル帯にグループ化され、逐次近似ではそれらを
表示するために使用されるビットが低い精度と高い精度の情報に分割される。プ
ログレッシブＪＰＥＧはＰｅｎｎｅｂａｋｅｒ，Ｗ．Ｂ．及びＭｉｔｃｈｅｌｌ
，Ｊ．Ｌ．によって、「ＪＰＥＧ：静止画像データ圧縮」Ｖａｎ−Ｎｏｓｔｒａ
ｎｄ Ｒｅｉｎｈｏｌｄ、ニューヨーク、１９９３年の中で説明されているが、
その開示を引用によって本明細書の記述に援用する。
ここで図１３を参照すると、図１２のエンコーダに対応するクラ
イアント側のスケーラブルデータベース７５用デコーダが示される。ブロック７
６はサーバからクライアントに逐次送信され、デコーダ８３で解凍される。復号
化されたデータはアキュムレータ８４で統合され、そこでプレーヤ８８と互換性
のある形式に変換されて対話形バッファ８６に保存される。プレーヤがメディア
を表示している間、追加のブロック７６がバックグラウンドで受信され、復号化
され累積されるので、リプレイされる時メディアの品質はアップグレードされる
。プレーヤ８８はバッファ８６からフレームを要求し、それらが利用可能でない
場合、バッファ８６はフレームをデータベース７５から要求する。ブロック識別
子１１３は各ブロックが復号化される際にデコーダに入力を提供するので、デコ
ーダは、圧縮器１０７で行われた圧縮方法に対応する適当な解凍方法をそのデー
タブロックに適用することができる。
ここで図１４を参照すると、大きな静止画像用のプログレッシブデータベース
が示される。データブロックの第１の符号化されたフレームユニットは各寸法が
４：１にサブサンプリングされた全画像からなる。フレームの第２のセットは、
２：１にサブサンプリングされた全画像の各象限に対応する４つの符号化された
フレームユニットからなる。このフレームの第２のセットは第１のフレームのサ
イズの４倍に見えるが、デコーダは前に表示されたフレームからのデータも累積
できるので、わずか３倍のデータを使用するだけで保存できる。フレームの第３
のセットには各々が全画像の象限の象限に対応する元のスケールでの１６の符号
化されたフレームユニットが含まれる。やはり、このフレームの第３のセットは
第２のセットの３倍のデータを保存する。これらフレームの３つのセットが符号
化データブロック全体を構成するが、それらの合計は、もちろん元のスケールで
の全画像と同じ量のデータである（圧縮の効果はここ
では無視される）。フレームは符号化データブロック７６の中ですべて連続的に
配置される。多解像度画像タイルから連続的フレーム７２へのマッピングが図１
４に示される。
フレーム＃１がダウンロードされ、復号化されて表示される時、ビューアには
低解像度バージョンの全画像が見える。図１４の例では、ビューアは北西象限の
ホットスポットとリンク１１４をクリックし、フレームの第２のセットの北西フ
レームに移動するが、これは図１４のフレーム＃２に対応する。この新しいフレ
ームを表示することは、その象限にズームインしたように見える。次にビューア
は第２のセットから表示されるフレームの南東象限のホットスポットをクリック
し、リンク１１４はフレームの第３のセット中に示されたフレームに移動するが
、これは図１４のフレーム＃１１に対応し、さらにズームインした効果を与える
。
ビューアが第１のフレームを見ている間、フレームの第２のセットからのデー
タがバックグラウンドでダウンロードされている。一旦受信されると、このデー
タは復号化されてクライアントの対話形データベースに保存される。北西象限の
ホットスポットがクリックされると、クライアントＣＰＵはその対話形データベ
ースの中で望ましいフレーム＃２を探す。フレームがすでに存在する場合、それ
はビューアに転送されて即座に表示される。さもなければ対話形バッファはプロ
グレッシブデータベースに要求を返送する。プログレッシブデータベースは、す
べてのフレームを送信するのではなく、フレームの第２のセットから必要な特定
の符号化されたフレームにアクセスしてそれを送信することができる。最後に、
連続的ブロックが対話形データベースに統合されるにつれて、個々のフレームの
品質が向上し、タイルへのズームインが次第により良好となり、累積的に向上し
た品質を有する。
当業技術分野に熟練した者には、上記の議論がスプライト(sprites)のような
対象領域を含む大きな画像のアニメーション及びパノラマにも適用されることが
明らかである。データベースの対話形次元を含むフレームはアニメーションまた
はパノラマの各個別画像からの多解像度タイルに対応する。
図１５はサーバ／クライアントネットワーク上でＶＲＭＬ画像を伝送するシス
テムを例示する。ＶＲＭＬデータベース１２１はサーバに保存される。クライア
ント８０はマウス及びキーボード２３の使用を通じて対話的にＶＲＭＬビューパ
ラメータ１２２を制御する。ビューパラメータ１２２はＶＲＭＬデータベース１
２１と共に使用されサーバコンピュータ上のＶＲＭＬオブジェクトのラスタビッ
トマップ画像１２３を表現する。ビューパラメータに対応するビットマップ画像
がすでに以前に表現されている場合、クライアントデータベース４２中のビット
マップ用フレームデータが使用され、プレーヤ８８によって表示される。ラスタ
ビットマップがエンコーダ７４によって部分フレームに符号化され、部分フレー
ムがサーバの２次元データベース４１に挿入される。サーバデータベースは絶え
ずクライアントに流れ込み、クライアントデータベース４２を構築する。クライ
アントデータベース４２は表示用フレームを提供するために使用される。
図１６は図１５に示すＶＲＭＬアプリケーションの流れ図を示す。ステップ１
３１では、ユーザがマウスとキーボードによって対話し、クライアントコンピュ
ータがビューパラメータを更新する。ステップ１３２では、クライアントコンピ
ュータが、それらのビューパラメータがすでに処理されているかをチェックする
。ビューパラメータは絶えず変化しうるが、本発明の好適な実施形態はそれらを
例えば角度の場合１０゜の解像度といった有限数の設定点に分離す
る。このためユーザは前に使用した同じ設定点に移動して戻ることが可能になる
。
ビューパラメータが新しい場合、ステップ１３３で、それらはサーバコンピュ
ータに送られ、そこでＶＲＭＬデータベースは選択された特定のビューパラメー
タに対応するラスタビットマップに表現される。ステップ１３４では、ビットマ
ップが部分フレームに符号化され、サーバデータベースに組み込まれる。ステッ
プ１３５は引き続き動作して追加の符号化されたデータをサーバからクライアン
トに送信する。データがクライアント側に受信されるにつれて、ステップ１３６
でクライアントデータベースが構築される。ステップ１３７ではクライアントデ
ータベースが要求に応じてビットマップの最新バージョンを生成しそれを表示す
る。このステップは、ステップ１３２でビューパラメータがすでに処理済みであ
ることが確認された場合にはいつでも実行される。
当業技術分野に熟練した者には、上記の議論がＶＲＭＬモデルと同様に、３次
元オブジェクトのＣＡＤ／ＣＡＭモデルにも適用されることが明らかである。す
なわち、図１７は、垂直にプログレッシブ座標によってインデックスされ、水平
に対話形座標によってインデックスされたＣＡＤ／ＣＡＭ画像の通常の２次元ア
レイを例示する。所定の水平行の画像が対話的に見られうることが認識される。
画像の各連続的水平行は時間が経過するにつれて帯域幅の利用可能性によって決
定される速度で構築され、データブロックの数の増大に基づいてそれだけ品質が
向上する。
当業技術分野に熟練した者には、本発明は上記で特に示され説明されたものに
制限されるものではなく、上記の説明を読んだ者に自然に想起される実施形態と
、上記で説明された実施形態の組み合わせと副次的組み合わせにも拡張されるこ
とが認識されるだろう。
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｆ 15/415
(31)優先権主張番号 ０８／７８８，８３０
(32)優先日 平成９年１月６日(1997．1．6)
(33)優先権主張国 米国（ＵＳ）
(81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，
ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ
Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ
，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，
ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ
Ｚ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ
，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＴ，ＡＵ
，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，
ＣＮ，ＣＵ，ＣＺ，ＣＺ，ＤＥ，ＤＥ，ＤＫ，ＤＫ，Ｅ
Ｅ，ＥＥ，ＥＳ，ＦＩ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＬ
，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，
ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，Ｍ
Ｋ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ
，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＫ，ＴＪ，
ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，Ｙ
Ｕ