JP2002509662A - 静止画像を用いたビデオビュー装置 - Google Patents

Abstract

(57)【要約】 球形状の静止画像ファイル（６）から検索されたビューを順に並べるための方法及び装置によって、低いバンド幅の伝送でビデオの挙動の知覚が観察者に提供される。この方法には、デジタル伝送（９）とビューを再生する自動シーケンシング（７）が包含される。この装置は、低いバンド幅のデジタル伝送、または活気のない環境を撮った静止画像から得られる小さなデータファイルを介してビデオが動く速度の画像を提供する。得られた方法及び装置によれば、観察者が、ある環境（例えば不動産の位置、遊歩道、博物館、及びホテルなど）のビデオ表示を体験することが可能になり、また低いバンド幅伝送により局所の「ビデオ」ツアーを見ることが可能になる。

Description

【発明の詳細な説明】 静止画像を用いたビデオビュー装置 関連出願 本出願は、１９９１年３月１３日に提出された米国特許出願第07/699,366号（ 現在の米国特許第5,185,667号）の一部係属出願である、１９９４年１月３１日 に提出された米国特許出願第08/189,585号（現在の米国特許第5,384,588号）の 一部係属出願である、１９９４年１１月１１日に提出された米国特許出願第08/3 39,663号の一部係属出願である、１９９５年２月８日に提出された米国特許出願 第08/386,912号の一部係属出願である、１９９５年６月２３日に提出された「球 形画像の同時捕捉を行う方法及び装置（Method and Apparatus for Simultaneou s Capture of a Spherical Image）」と題されたDanny A．McCallおよびH．LeeM artinによる出願第08/494,599号の一部係属出願である、１９９５年８月１５日 に提出された「球形部分画像のインタラクティブ・ディスプレイの方法および装 置（Method and Apparatus for the Interactive Display of Any Portion of S pherical Image）」と題されたLaban Phelps Jackson，Alexis S．Pecoraro，Pe ter Hansen，Martin L．BauerおよびH．Lee Martinによる米国特許出願第08/516 ,629号の一部係属出願である。本出願はまた、１９９４年１月３１日に提出され た米国特許出願第08/189,585号（現在の米国特許第5,384,588号）の一部係属出 願である、１９９５年１月１７日に提出された米国特許出願第08/373,446号の一 部係属出願でもある。発明の背景 １．技術分野 本発明は、ビデオの提示を受けるユーザー側の知覚対象を作出する画像を通し てムービングツアーを提供するために、静止した球形画像または高解像度の平面 画像を利用するための装置と方法に関する。本発明は、再現できるような方法で 忠実に従うべき、複数の予め決められたパスが可能になる。本発明において、目 的とするところは、対象を操作することではなく、ユーザーに示されたビューを 制御することであり、そのデータは、ビューの角度であり、ハードウエアは、コ ンピュータのモニターである。本発明は、周辺または対象物のビデオを模倣する ために、球形または高解像度の平面画像上で、一連の動作コマンドを用いること によって、小さなバンド幅を連結させることにより連続した画像（すなわち、ビ デオ）を伝達することに関する主要な課題を解決する。さらに、本発明は、相互 作用的なテレビに新しい次元を与えて、ユーザーが、ビューを行う方向を、いつ でも制御することができ、いずれの所望の方向を見ること、すなわち、見る内容 を個人的に制御することを可能にする。 ２．関連技術 本開示と同じ指定代理人に指定されている米国特許第5,185,667号に記録され 特許が成立しているアフィン変換アルゴリズムによって、生のビデオ画像をパン したり、チルトしたり、回転させたり、ズームさせる方法が知られている。この 方法は、生のビデオ画像や静止写真画像を捕捉し、レンズ光学と関連する歪みを 取り除き、パン、チルト、回転、およびズームに関するオペレータの要求に基づ いて、関心のある画像の一部を再構築する。本特許によって開示されている、歪 みを除去する技術の応用の一つに、半球形画像の歪みの除去がある。半球形画像 の捕捉と歪みの除去が、特に、本明細書において参考文献として組み込まれる米 国特許第5,185,667号において、より詳細に開示されている。これらの画像を同 時に分配し、複数のユーザーが別個に、所望の方向へ画像をビューできることは 、本開示と同じ指定代理人に指定されており、本明細書において参考文献として 組み込まれる米国特許第5,384,588号に記録されており特許が成立している。 より詳細に後述する本発明の様々な部分の参照となりうる他の特許出願には、 以下のものが含まれる：１９９１年３月１３日に提出された米国特許出願第07/6 99,366号（現在の米国特許第5,185,667号）の一部係属出願である、１９９４年 １月３１日に提出された米国特許出願第08/189,585号（現在の米国特許第5,384, 588号）の一部係属出願である、１９９４年１１月１１日に提出された米国特許 出願第08/339,663号の一部係属出願である、１９９５年２月８日に提出された米 国特許出願第08/386,912号の一部係属出願である、１９９５年６月２３日に提出 された「球形画像の同時捕捉の方法および装置（Method and Apparatus for Sim ultaneous Capture of a Spherical Image）」と題されたDanny A．McCallおよ びH．Lee Martinによる出願第08/494,599号の一部係属出願である、１９９５年 ８月１ ５日に提出された「球形部分画像のインタラクティブ・ディスプレイの方法およ び装置（Nethod and Apparatus for the Interactive Display of Any Portion of Spherical Image）」と題されたLaban Phelps Jackson，Alexis S．Pecoraro ，Peter Hansen，Martin L．BauerおよびH．Lee Martinによる米国特許出願第08 /516,629号の一部係属出願である。本出願はまた、１９９４年１月３１日に提出 された米国特許出願第08/189,585号（現在の米国特許第5,384,588号）の一部係 属出願である、１９９５年１月１７日に提出された米国特許出願第08/373,446号 の一部係属出願でもある。 上記の各参照特許文献において説明されているビデオ画像は、リアルタイムの ビデオ画像として現すためには、1秒当たり約30個のフレームを必要とする。残 念ながら、リアルタイムのビデオ速度に関する問題は、メモリ量と、これらの画 像を表示するために必要な処理速度が大きいということにある。または、もし、 ユーザーが遠隔のソースから、モデム（例えば、掲示板システム、またはコンピ ュータのグローバルネットワーク）を通して、リアル−タイムビデオクリップを ダウンロードしたい場合、ユーザーは、これらの画像をダウンロードして、リア ルタイムで表示するための比較的高性能のコンピュータとともに、バンド幅の広 い高速モデム（例えば、最低128kpsのISDNライン、またはＴ１もしくはＴ３）を 持っていなければならない。ほとんどのユーザーは、言うまでもなく、高速モデ ムも比較的高性能のコンピュータも持っていないので、リアルタイムのビデオを 扱うことのできるバンド幅は、ほとんどのユーザーにとって不都合である。ビデ オデータを圧縮しても、良い結果を得ることはできない。 この他の画像伝送技術には、単一の静止画像を一つずつ伝送することが含まれ る。この方法では、バンド幅が少なくて済むが、誰か別の人がスライドプロジェ クターでスライドを提示するのを見るのと同じような面白さしかない。これは、 観察者に、退屈で静止した２次元画像として表示されるためである。 別の努力目標をもつ分野において、ロボット産業では既知の技術として、「指 示/再生」として知られる技術がある。「指示/再生」技術の「指示する」モード は、ユーザーに制御される装置の一連の動きを記録することに関連する。その後 、「再生」モードにおいて、記録された動きが、その後に続く目的のために再生 される。「指示/再生」技術の例は、自動車産業に見られ、ロボットを操作する 人が、ロボットシステムに、さまざまな操作を含む一連の仕事をどのように行う かを「指示」している。例えば、ロボットシステムは、自動車の車体のパネル部 分を自動車のフレームに、どのように溶接すべきかを指示することができる。再 生モードにおいて、ロボットシステムは、反復して、それが記憶したコマンドに 従い、その指示通りに車体パネルを溶接する。プログラムで操作するシステムの 「指示/再生」技術には欠点がある。例えば、「指示/再生」技術のもとで操作す るシステムには、本質的に、記録された指示のみを実行するという制約がある。 記録された一連の指示の再生における多様性は、聞き入れられない。制御装置の 操作を変更する唯一の方法は、その一連の指示を再プログラムすることであり、 ここでは、すなわち、システムを「再指示」することである。発明の目的 したがって本発明の目的は、ビデオのように見えるが、コマンドファイルとし てのシーケンシング命令を用いて球状の静止画像を利用した体験をユーザーに提 供することである。 本発明の別の目的は、マルチメディア体験を提示する他のファイルとひとまと めにすることのできるデジタルファイルを用いてこの画像体験を提供することで ある。 本発明のさらに他の目的は、現時点の画像を表示し、現時点の音声ファイルが 再生されている間、見られるべき次の画像（及び聞くべき音声ファイル）を圧縮 することによって連続的なビューイング経験を提供することである。 本発明のもう一つの目的は、ユーザーがある時間に「ビデオ」シーケンスに割 り込み、そしてビューイングの方向及び増幅度のコントロールを行うことを可能 にすることである。 本発明のさらに別の目的は、このビューイング経験において必要なデータが離 れた位置に存在することを可能にし、また、少なくともローカルエリアネットワ ーク、広域ネットワーク、グローバルエリアネットワーク、衛星ネットワーク、 及び、衛星ダウンロード法、モデムダウンロード法、同時通信ダウンロード法ま たは他の同等のダウンロード法の手段により他の関連するネットワークなどの電 話コミュニケーションネットワークを介して同時に（または、連続的にもしくは 要望に応じて）一人または多数のユーザーにダウンロードされることを可能にす ることである。 本発明のもう一つの目的は、簡単なユーザー・インターフェースによって画像 を増幅、パン、チルト、ズーム、及び回転を行う能力を提供することである。 本発明のさらに別の目的は、ジョイスティック、キーボード、マウス、タッチ パッド、または同等の手段などの標準的な入力手段を用いて、素人のユーザーに よって行われる簡単な入力で、パン、チルト、ズーム、及び回転を行う能力を提 供することである。 本発明の別の目的は、共通のダウンロードした情報または放映された情報によ り複数のユーザーへマルチメディアの経験を同時に表示することであり、それに よってすべてが同時にシーケンスされるのが可能になるとともに、無限の数の方 向のうち、ユーザーの選択したいずれかの異なる方向にユーザーがコントロール することが可能になる。 本発明のこれらの目的及び他の目的は、図面及び付随する説明の考察を行うこ とにより明らかになると思われる。発明の概要 本発明は、包囲しているビューイング環境において、所定の時間表示される見 る価値のある画像、及びその部分のみを構築することに関する。予め決められた セットの命令を実行することで、観察者には半球状／球状の画像からなるムービ ングツアーが与えられる。ある場合には、観察者が表示された画像のツアーをコ ントロールすることができ、観察者自身が画像を探索することができる。高解像 度の静止画像を用いることによって、リアルータイムのビデオ速度（１秒間に３ ０フレーム）における高品質のビデオ画像が表示できる。この結果は、圧縮され たビデオデータに匹敵する結果を得るのに必要とされるデータのフラクションだ けを用いることで得られる。ビデオシーケンスは１０秒間の操作では３００の独 立画像が必要であるが、本発明では、表示を行うために限られた数のシーケンシ ングコマンドを用いて一つの画像だけが必要とされる。 全方向性のビューイングシステムでは、球状のデジタル化写真もしくはデジタ ル画像のシーケンス（デジタルビデオ）内のパン、チルト、及びズームに等価な ものまたはそれらの一部分が生成され、ムービング部分はない。また本発明は、 高解像度画像のパン、チルト及び増幅部分であってもよく、それはユーザーが現 時点で関心のある画像の一部分を表しているにすぎない。 この形態の表示で必要とされるわずかなデータ容量は、静止画像を含む基本的 なデータ供給源から生じるものであって、プログラムの遂行中に自動的に翻訳処 理される簡単なASCIIテキストコマンドによる動作を行ってタイムシーケンスさ れる。好ましい態様において、ASCIIコマンドファイルは、表示された画像をオ ペレーターがビューイングして記録することによって形成される。別の態様では オペレーターが、後で静止画像のビューイングをコントロールするテキストファ イルに直接コマンドを入れる。 開示されたシステムには、二つの半球状の魚眼画像または一個の高解像度のデ ジタル化された画像を含むデジタルファイルを受信する手段、ビデオとして知覚 させるべく静止画像を動画にするのに用いられるビューイング方向のシーケンス からなる第２のコマンドファイルを受信するための手段、コマンドファイルの作 動またはユーザーの命令に基づいて前記画像の一部を変換するための手段、及び ビューイングのための適正な透視図に含まれる出力画像の連続的なシーケンスを 生成する手段が含まれる。最初に視界に入ったものをコントロールするために用 いられるコマンドは、収集され、コマンドシーケンシング データファイルに保 存される。ユーザーは、コマンドシーケンシング データファイルに保存された コマンドによる表示コントロールからエグジットしてもよく、そして終了したと ころでもう一度コマンドシーケンシング データファイルをコントロールしなお してもよい。 得られる表示は、供給源のデータがデジタル化された静止写真だけからなるも のであったとしても、ビデオ画像シーケンスとして知覚される。ある好ましい態 様において伝送される画像は、球状のデータセットを提供する二つの魚眼写真画 像を組み合わせることによって生成され、それによってシーケンスされた視野を 引き出すことができる。この画像データは、出力表示にビデオ画像の様相を呈す るような方式で、画像ファイルから表示されるべき画像のシーケンスを決定する コマンドファイルを用いて増大される。これらの入ってくるデータファイル、画 像及びコマンドは電気的なメモリバッファに捕捉され、そしてその画像ファイル は、コマンドファイルが割り込まれるならばコマンドファイルによってまたはユ ーザーによって指示された通り、ディスプレイへと変換される。画像変換は、多 くのパーソナルコンピュータシステムで共通のマイクロプロセッサによってコン ピュータ処理して行われる。さらに関連する計算装置としては、コプロセッサ、 専用コンピュータ、ＡＳＩＣ、及びそれらと同等のものなどの装置を用いること ができる。シーケンスされた画像の表示は、一般的なコンピュータモニター上の ウインドウで現される。さらに言えば、表示システムにはＬＣＤ、ＣＲＴ、オー バーヘッドプロジェクション装置、投影スクリーンディスプレイ、及びそれらと 同等の装置が含まれる。この方法及び装置によって提供される経験は、標準的な テレビと同じように「マルチ−メディア」パーソナルコンピュータに結果的に出 力できるように音声を包括させることで増大させることができる。 関心のある領域を含む捕捉された画像の一部分は、画像処理コンピュータ手段 によって透視的で適正な画像に変換され、コマンドファイルによってまたはユー ザーの直接介入によってシーケンスされる。画像処理コンピュータは、関心のあ る画像領域を、変換アルゴリズムの直交セットを用いて適正な画像に直接マッピ ングする。ビューイングの方向は、オペレーターを勤める人またはコンピュータ シーケンス入力のいずれかによって発生させたコマンド・シグナルによって指定 される。図面の簡単な説明 図１は、主要な構成要素を図示した本発明の概略ブロック図を示す。 図２は、ビューイング方向と増幅度をユーザーがコントロールする際のユーザ ー・インターフェースを示す。 図３は、簡単なシーケンスを行うためのコマンドファイルを示す。 図４は、図３に示したコマンドファイルからビューイングされうる象徴的なシ ーケンスを示す。 図５は、半球状の画像における図３及び図４のシーケンスを示す。 図６は、観察者の位置から投影した場合に三次元画像上に形成されるビュー方 形平面の投影を示す。詳細な説明 本発明の原理は、図１を参照することによって理解することができる。フィッ シェイ（Fisheye）の広角レンズ１は半球状の即ち広角画像を捕らえる。レンズ １は、捕捉した画像をカメラ２で焦点を合わせる。カメラ２は、本明細書に参照 として組み入れられる、「球形画像の同時捕捉を行う方法及び装置」と題された 、同時係属中の米国特許出願第08/494,599号においてより詳細に記載されている 。用いられるカメラのタイプは、装着したフィルム即ちデジタル画像キャプチャ ーを備える少なくとも静止したカメラ、装着した即ちデジタル画像キャプチャー を備える可動型画像カメラ、コダック（KODAK：登録商標）デジタル画像捕捉シ ステム、ビデオ、リニア走差型ＣＩＤ、ＣＣＤ、またはＣＭＯＳ ＡＰＳカメラ ・アレイ、及び他の同等の画像捕捉装置からなる群より選択される。二つの一般 的なタイプの入手可能なカメラが、カメラ２ａとカメラ２ｂで示されている。カ メラ２ａは、フィルムが装着されてから露光し、後で現像される化学的なカメラ である。カメラ２ｂは、上記で参照されている1995年6月23日に提出された米国 特許出願第08/494,599号により詳しく記載されているような、デジタル式の画像 捕捉カメラである。三脚４によりカメラ２が支持され、安定した画像捕捉位置が 提供される。二つのバック−ツウ−バック（Back-to-back）カメラ（上記で参照 されている米国特許出願第08/494,599号により詳細に開示されている）を用いる 場合、三脚４はこの二つのカメラをバック−ツウ−バックの相対位置で保持する 。一対のカメラは、二つの半球を調和させた画像として周囲を捕らえる。続いて 得られた露光フィルムが処理され、スキャナー５を介して周囲全体のデジタルデ ータファイル６へとデジタル化される。 好ましくは、画像ファイルの解像度は、少なくとも2000画素×2000画素である 。512×512の解像度は動作の遅いコンピューターおよび伝送媒体に対して開発さ れているが、大きなサイズの画像では好ましい。128kbの標準的な圧縮画像ファ イルは開放された2メガのメモリーへと開放することができる。しかしながら、 大きなサイズのファイルは、よりよい分解能と色彩深度を提供する際には好まし いが、大きなファイルを用いるとダウンロードしたり処理したりするのに長い時 間 がかかる。 コマンドシーケンシング データファイル７は、ユーザーのモニターに表示さ れるビューをコントロールするコマンドが保存されている。またコマンドシーケ ンシング データファイル７は、新しい画像ファイルを検索するコマンド、及び マルチメディア（例えば、ビデオクリップ）やサウンドファイルを操作するコマ ンドも貯蔵している。これらの３セットのコマンドを組み合せることによって完 全なマルチメディア経験が可能になる。コマンドシーケンス データファイルは 、コンピュータ装置のＲＡＭまたはＲＯＭ、ハードドライブ、テープ、ＣＤ−Ｒ ＯＭ、ＡＳＩＣにハードで接続されたもの、及び同等の手段に保存されたファイ ルであればよい。したがって画像データファイルは、コンピュータ装置のＲＡＭ またはＲＯＭ、ハードドライブ、テープ、ＣＤ−ＲＯＭ、ＡＳＩＣにハードで接 続されたもの、及び同等の手段に保存されたファイルであってもよい。 図１を参照すると、画像データファイル６とコマンドシーケンシング データ ファイル７は続いてユーザーのパーソナルコンピュータ１０に分配される。好ま しくは、コンピュータ１０は少なくともインテル486i/66であるか、または8メガ バイトのＲＡＭとマイクロソフト社のウインドウズ95を装填した同等の装置であ る。応答時間の改善はハードウエアをグレードアップすることで達成される。例 えばペンティアム（Pentium：登録商標）クラスのコンピュータを用いれば応答 時間を改善することができる。分配手段には、ＣＤ−ＲＯＭ８、またはコミュニ ケーションネットワーク９による分配手段が採用される。コミュニケーションネ ットワークには、少なくともローカルエリアネットワーク、広域ネットワーク、 より対線またはＩＳＤＮ線を用いたグローバルエリアネットワーク、及び衛星ネ ットワークが含まれる。画像データファイル６とコマンドシーケンシング デー タファイル７をダウンロードする別の方法としては、衛星ダウンロード法、モデ ムダウンロード法（電子掲示板及びインターネットからの方法が含まれる）、及 び同時通信ダウンロード法が挙げられる。 またこのファイルは、全ての処理をサーバー側で行い、クライアント側で結果 を表示する、クライアント／サーバーの協定により得られる。これに関していう ならば、ファイル６及び７はユーザーのコンピュータに直接ロードされる必要は ないが、中心となるサーバーにロードされる。この場合ユーザーのコンピュータ は、上述したコミュニケーションネットワークのいずれかを経てサーバーにアク セスすることができる。 画像データファイル６およびコマンドシーケンシング データファイル７の両 方がコンピュータ１０で利用すべく入手されると、コンピュータ１０は、コマン ドシーケンシング データファイル７で詳細化されたとおりにシーケンシング操 作を行って画像データファイル６に保存されているような画像にする。画像デー タファイルが半球状の画像（即ち、光学レンズによるひずみを含んだ画像）を含 んでいる場合、コンピュータ１０はひずみのある画像から光学的なひずみを除去 するために数学的変換を実行する。この数学的変換については、本明細書に特別 に参照として組み入れられる米国特許第5,185,667号に充分に記載されている。 この数学的変換を用いることでひずみとパースが、コマンドシーケンシング デ ータファイル７にふさわしいように修正される。得られた平面画像は、たとえそ のデータが静止した画像から得られるものであっても、モニター１１上に表示さ れビデオに匹敵するような体験が得られる。ユーザーが表示画像のコントロール を行う役目を引き受けることで、画像ファイル６をより充分に探索することがで きる。ユーザーは、マウス１２、キーボード１３、または他のコンピュータ入力 装置からなる種々のコマンド入力装置のうちの一つからコマンドを入力すること によって、コマンドシーケンシング データファイル７の実行に割り込む。ユー ザー自身で画像を見るためにそのユーザーの要求をコマンド指示する例には、マ ウスクリック、スペースバーの押し下げ、マウスまたはトラックボール、それら と同等のものの移動が挙げられる。ユーザーはこのとき、画像ファイル内をある 方向で見ることができ、対話式のビューイング体験が行える。またコンピュータ １０の出力はビデオテープ、ハードディスク、ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、 及びそれらと同等のものに、保存して後で見るために記録することができる。 図２は、ユーザー自身で画像を見たいという指示をした場合に、ユーザーによ って体験されるようなユーザー・インターフェース１５を示している。インター フェース１５は、半透明な形態でモニター１１のビューイングスクリーン全体に 表示することができる。またインターフェース１５は有意に小さく、そして透明 であっても不透明であってもよい。ウインドウ操作環境を用いる場合、インター フェース１５は標準的な移動法（画像の表示されたハンドルをつかんだり、キー ストロークの一連のマウスクリックを介したりする方法を含む）を用いた手段に よって外側に動かすことができる。 カーソル１４の位置は観察者がマウス１２（またはトラックボール、タッチパ ッド、もしくは他の位置決め装置、またはキーボード入力）を動かすことでコン トロールされる。カーソル１４がインターフェース１５を回って動くと、カーソ ル１４はインターフェース１５の中心に関連する位置によって決定されるように 形状を変化する。カーソル１４が８分した領域１５ａ−１５ｈのどれかの内側あ るいは外側に位置すると、そのカーソルはハンド１４で示されたようなハンドの 形状をとる。カーソルが周りを動く場合、ハンドアイコンの方向は変化して、８ 分した領域１５ａ−１５ｈのそれぞれのハンドで表示されるようにインターフェ ース１５の中心から離れた位置に常に位置する。同等の位置決めカーソルとして 用いられるものに、矢印、三角、バー、移動アイコン、及びそれらと同等のもの が含まれる。カーソルが、インターフェース１５の中心にある内側領域１６ａま たは１６ｂにあるとき、カーソルのアイコン表示は拡大グラス１７のアイコンに 変化する。 マウスのコントロールボタンを押すと、画像の方向がハンドによって示された 方向に、表示装置の中心からハンドの距離と関連する速度でシフトする。表示装 置の中心ではハンドアイコンは拡大グラス１７に変わり、ズームイン（カーソル がインターフェース１５の上側の中心領域１６ａに位置している場合）したり、 ズームアウト（カーソルがインターフェース１５の下側の中心領域１６ｂに位置 している場合）したりして、ユーザーが現在見ている特徴を拡大したり縮小した りしてコントロールすることを可能にする。同等のズーム用カーソルとして、矢 印、三角、バー、移動アイコン、及びそれらと同等のものを用いてもよい。ユー ザーがコントロールを行っている場合、このシステムは、所望の方向にある画像 データファイル６に保存された環境内に視覚的なビデオカメラを位置づける経験 を提供する。 図３は、一つのシーケンスに対するコマンドデータファイル７を示している。 実行コマンドの開始セットには、スタート、ムーブ、ズーム、ポーズ、ランチ、 及びエンドが含まれる。これらの簡単なコマンドを用いると、静止画像データセ ットを介する巡回を作り出すことができ、強制シーケンスが発生する。基本的な コマンド及びそれらの目的の簡単な説明は以下のとおりである。 スタート： 保存パン、チルト、及び増幅からシーケンスを開始せよ。 ムーブ： 指定した時間に新しい位置に画像を移動せよ。 ズーム： 指定した時間に新しいズームに画像を増幅せよ。 ポーズ： 続けるに先立ち特定の時間だけ待て。 ランチ： このシーケンスを続けるために、新しいファイル、音、新しい画像 または他のデータフォーム（テキストウインドウ、ビデオ、その他 ） のいずれかを始めよ。 エンド： コマンドシーケンシング データファイル７内のコマンドの実行を 終了せよ。 別の態様では、他のコマンドシーケンシング データファイルは他のコマンド シーケンシング ファイルの中から始められる。また、ある位置から別の位置に ジャンプするジャンプの特徴は、別のコマンドシーケンシングファイル内から開 始してもよい。これは編集環境で実行すればよい。 このコマンドファイルは、図２に関して上述したようなインターフェースと同 じであってもよいが追加の開発ツールを備えた開発ソフトウエアツールによって 作成される。これらの追加のツールには、記録機能の開始、記録機能の停止、記 録機能のレジューム、新しいファイルの開始、新しい画像ファイルの表示画像の 一部へのリンクが含まれる。コマンドシーケンス データファイル７を作成する ためには、開発者は記録機能を開始し、望ましい画像データファイル６を呼び出 し、画像データファイルを経て動かし、記録機能を一時停止またはストップさせ る。このシステムは、コマンドシーケンス データファイル７として開発者によ って入力されたコマンドを保存している。必要に応じてこのコマンドシーケンス データファイル７を簡単な編集ツールを用いて編集してもよい。コマンドファイ ルは、目的は同じであっても、本明細書に列挙したものとは名称が異なっている 一連のコマンドから開発することができる。 図３に示されたコマンドシーケンスは、開発者によって記録された、即ち入力 されたコマンドを示している。実行するとこれらのコマンドから、画面の視覚的 および音声的なツアーが生成される。この例では、ファイル．LOBBY．BUBはホテ ルのロビーの画像に関する。ファイルROOM．BUBは、ホテルのロビーを出る時点 の画像ファイルに関する。ファイルWELCOME．WAVは、LOBBY．BUBファイルに関連 した音声導入に関する。ここでWELCOME．WAVは、ホテルのロビーにユーザーを歓 迎する音声クリップに関連する。図３に列挙されたコマンドシーケンスを実行す ると、モニター１１は、ステップ３Ａで示されたように３秒間保持してホテルロ ビーの画像を表示する。次に「ウエルカム」と題された導入音声ファイルがステ ップ３Ｂによって示されているように開始される。開始点から右へのルームの２ 秒間のパンが、ステップ３Ｃに示されているように７０度で進行する。続いて画 像の大きさを２倍にするズーム、すなわちステップ３Ｄが４秒間で起こり、ステ ップ３Ｅに示されているように続いて発生するもう一つの画像の開始を伴う。RO OM．BUBファイルの後の特定化されたフィールドは、表示された方形が位置づけ られるべき新しい画像上の場所を示す。 それぞれのコマンドに付随するデータフィールドで特定して観察すると、フィ ールドPAN、TILT、ZOOM、及びTIMEは情報の表示または実行に関連する特定の範 囲を持っている。フィールドの組み合わせは、画像のどの部分が表示されている のかを示す。PANフィールドは、死点の左または右にどれほど離れているかに関 連し、表示すべき画像部分である。PANフィールドは、−180°から＋180°の程 度に置き換えて、０°直前で測定される。直後では観察者は、観察者の右に回っ て増加する正の程度で、−180°または＋180°と表示される。TILTは、表示が画 像の中心線から離れるアップとダウンの程度に関連している。TILTは−90°の真 下から＋90°の真上に広がっている。ZOOMは、得られた画像部分に対して望まし い増幅の程度に関連している。ここで、３Ａのズーム領域は1.1である。このこ とは、増幅の程度が増幅を行わない場合の1.1倍であることを意味している。最 後にTIMEフィールドは、前の表示から現時点の表示に移るためにどれほどの時間 がかかるかに関連している。例えばステップ３Ｃでは、表示された部分が、パン が右に70°、チルトが正で10°、ズームが2秒間で1.1であることを示している。 また表示に は、ラジアン（Radians）、グラジエント（Gradients）、及び同等のカウントシ ステムなどを用いることができる。 図４は、画像４０を横切って動く場合の表示方形４１を示している。画像４０ は、広角レンズによって捕捉された場合のゆがみをなくした半球状画像の視覚的 な表示である。図４のサークル４０を横切る方形４１の進行は、図３のコマンド ファイルから見つけられる可能性のある代表的な配列を示している。サークル４ ０は、画像のゆがみをなくした表示された部分を現在示している方形４１を用い て、ロビーの完全な球状画像データのセットを表示している。ステップ３Ｃ及び ３Ｄを実行する場合、表示された方形は、方形４１の画像平面の座標から方形４ ２の画像平面の座標へ、方形４３の画像平面の座標へと移動する。サークル４０ はコンピュータ１０のメモリーに形成された視覚的画像である。ナンバー３Ａか ら３Ｄは、コマンドファイルによって命令されたビューに関連する。 しかしながら図４に示されたような全体画像のゆがみをなくすことが観察者の システムの記憶装置に負担となる場合には、実際に見える部分のみ、ゆがみをな くすことが必要とされる。この方法は、米国特許第5,185,667号により詳細に開 示されている。図５は、ゆがみをなくす方法を適用していない、半球状の画像フ ァイル５０上の表示方形５１を示している。違いは、表示方形５１が球状画像に 含まれる球状の歪みのサインをそのまま示していることである。 図６は、ビューイング方形がコマンドシーケンス データファイル７または観 察者のコントロールの下で作動する場合の、ビューイング方形６１を見ているビ ューイング位置６２を取り囲む画像６０の球状描写を示している。 小さなバンド幅のコミュニケーションチャンネル（電話のモデム）を通じてビ デオ経験をさせるために、多くの圧縮法が開発されている。今日、利用できるこ れらの手法の最も良いものでさえ、画質が悪いこと、画像サイズが小さいこと、 及び供給源からユーザーへデータを連続的に流す必要があることという問題点が ある。本発明はこれらの問題点を、広いクラスのビデオシーケンスについて解決 するものであって、ここでは静止した環境（アウトドアのパノラマ、車の内装、 部屋の内装など）で一個の視点から異なる方向を見ることにより対処している。 これらの環境は、まるでカメラが同じ位置でビデオデータを撮ったかのように、 表示を制御する角度及び増幅度のコマンドの配列から得られるビデオ表示で見る ことができる。 得られた画像シーケンスは、高解像度の静止画像として開始するために質が高 い。この画像のサイズは、ディスプレイを構築するのに必要なデータの大きさに 影響することなく大きくても小さくてもよい。シーケンスが静止データファイル から形成され、そしてその期間はコマンドシーケンシングによって決定されて、 データストリームを持続するために役立つバンド幅や保存量によっては決定され ない場合、このデータはバッチの形態で分配することができる。バッチ内にファ イルが圧縮されたグループとしてマルチメディアファイルを伝送することについ ての一つの利点は、コンピュータ１０とコミュニケーションネットワークとの間 で連続的な接続を維持する必要がないことである。これに関して言うと、ファイ ルが連続的にダウンロードされる必要がない場合、システム供給源は少ししか用 いられない。好ましくは、観測者が画像を見ている間に、コンピュータ１０は圧 縮解除して、次の画像ファイルを表示するためにフォーマットを行う。 デジタル情報を分配するのに通常利用されるバンド幅は、対線システムによっ て現時点では約28.8kbに強制されており、それは光ファイバー、衛星伝送、ケー ブルモデムなど、及び関連する伝送システムを用いる将来的な方法により開発さ れると考えられる。本発明は、現時点で利用可能なネットワークを介するある応 用法で強要させているビデオ経験の分配をアドレスするための手段及び装置を提 供する。 前述した説明から、記述された作動方法及び装置によれば、ユーザーが全体の 埋もれている導かれた経験もしくは導かれない経験を得られること、また、開示 されたシステムにより目的とする要求が達成されることは容易に明らかである。 当然のことであるが、前述した説明は本発明の好ましい態様の説明であり、種々 の変更や修飾を添付した請求の範囲に定義された本発明の精神及び範囲を逸脱す ることなく行うことができる。本明細書で参照されている上記で引用した米国特 許及び特許出願の全ては、本発明の理解に必須であると考えられている対象に関 して参照として組み入れられると考えられるべきである。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ， ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，Ｇ Ｅ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ， ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，Ｐ Ｌ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者 グランハム エイチ．クライグ アメリカ合衆国 テネシー州 ジェファー ソン シティー イースト ブロードウェ イ 717

Claims (1)

1. 【特許請求の範囲】 １．以下の構成要素を含む、バッチデータファイルから得られるビデオの知覚を 提供する一つの静止画像データファイルからの連続画像装置： 光学画像を受けとり、その光学画像に対応する出力を生成するためのカメラ画 像捕捉システム、 半球状の光学画像を形成し、該カメラ画像システムに光学的伝送を行うための 該カメラ画像システムに装着されたレンズ、 ２つの半球体からなる１つのセットを作成しそれによって離れた環境の球状画 像を作るために両方の半球体を記録する位置決め装置、 該カメラ画像システムから該出力を受けとり、該カメラ画像システムからの該 出力シグナルをデジタル化する画像走差手段、 明確なビデオ経験を伝送するために該画像を順に並べるコマンドデータファイ ル手段、 パーソナルコンピュータのワールドワイドに該画像と該コマンドデータファイ ルとを送信するためのデータ送信手段、 該コマンドシーケンシングデータによって、または選択されたビューイング角 度と増幅度により動く入力画像を入力するユーザーによってコントロールされる シーケンスで該データを処理するため、及び順に並べられた出力画像を作成する ための画像変換処理を実行するパーソナルコンピュータ手段、 ユーザーが画像シーケンスをビューイングするための出力表示手段、 該ビューイングの角度及び増幅度を、画像を操作するためのハンドまたは画像 をズームするための拡大グラスをコントロールするマウス、キーボード、または 他の手段を用いて選択するための入力手段。 ２．画像の環境が、静止画像と同じバッチ操作でデジタルネットワークを介して 分配されるが、ビデオと同じ連続モードでビューイングすることができる、請求 項１記載の装置。 ３．ユーザーが画像をコントロールできるとともに、いずれかの方向へ視野の方 向をコントロールすることができる、請求項１記載の装置。 ４．音声、平面画像、テキスト、グラフィックス、ビデオクリップ及び他の球状 写真へのリンクが形成できる、請求項１記載の装置。 ５．静止画像に適用された技術が、分配を増加させるために利用できるバンド幅 としてビデオデータファイルに適用できる、請求項１記載の装置。 ６、動く方向はハンドが示す方向によってコントロールされ、速度は表示装置の 中心からの距離によってコントロールされるといった簡単な指示を行うユーザー ・インターフェースを経て、視野の選択された部分及び増幅度を、変換プロセッ サに入力するために、入力手段がさらに用いられる、請求項１記載の装置。 ７．変換が、入力データを連続的に更新することなくユーザーにビデオの知覚を 提供する、順に並べられた画像表示が形成される速度で、またはビデオの近似速 度で行われる、請求項１記載の装置。