JP2009181587A - ビデオシステム、及びビデオシステム用プログラム - Google Patents

ビデオシステム、及びビデオシステム用プログラム Download PDF

Info

Publication number
JP2009181587A
JP2009181587A JP2009078273A JP2009078273A JP2009181587A JP 2009181587 A JP2009181587 A JP 2009181587A JP 2009078273 A JP2009078273 A JP 2009078273A JP 2009078273 A JP2009078273 A JP 2009078273A JP 2009181587 A JP2009181587 A JP 2009181587A
Authority
JP
Japan
Prior art keywords
video
user
displayed
action
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009078273A
Other languages
English (en)
Other versions
JP4735733B2 (ja
Inventor
T Foote Jonathan
ティー． フート ジョナサン
Donald G Kimber
ジー． キンバー ドナルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2009181587A publication Critical patent/JP2009181587A/ja
Application granted granted Critical
Publication of JP4735733B2 publication Critical patent/JP4735733B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

【課題】パノラマであると共に空間的に索引付けされたビデオを作成するためのビデオシステムを生成するシステムを提供する。
【解決手段】本発明のビデオシステムは、空間データを有するデータベースと、画像ディスプレイ及びマップディスプレイを有し、ポジションアイコン及び注視方向インジケータが表示されるユーザインターフェースと、特定のアクションに応答してレンダリングされるビデオであって、データベースからリトリーブされる複数の画像を有し、各画像がパノラマであり、仮想環境での仮想経路に沿った所定のロケーションに従って空間的に索引付けされたビデオ生成して画像ディスプレイに表示するビデオ表示手段とを有する。
【選択図】図５

Description

本発明は、一般に、仮想現実（バーチャルリアリティ）アプリケーションのためのビデオを使用するシステム及びビデオシステム用プログラムに係り、より詳細には、仮想環境内の仮想経路に沿った仮想動作を実行するためにユーザによって要求されるアクションに応答して、パノラマ(ｐａｎｏｒａｍｉｃ)であると共に空間的に索引付けされる、ビデオを生成するシステム及びビデオシステム用プログラムに関する。
「特別な場所にいる」ことの体験を再生するために多くの試みが行われてきた。従来、これは美術及び記述的散文を通してのみ行われたものである。写真技術は、場所を描く際の容易さ及び精度の点で大いなる前進を遂げた。モーションピクチャ及びビデオは他の重要な改善点を提供した。これらの従来の媒体は、前もって撮影者によって選択された空間の視界（ビュー）をユーザに提供する。
理想的には、「特別な場所にいる」ことの体験を再構築することによって、ユーザは自由に動き回り、どこを見るべきかを選択することができる。従来の一つの方法は、空間のコンピュータモデルと、この空間を介してユーザが実際に航行（ナビゲート）するときのリアルタイムビューをレンダリングすることとが必要とされる。他の最近のアプローチは、４次元のドメインを介して、「ライトフィールド（ｌｉｇｈｔ ｆｉｅｌｄｓ）」又は「ルミグラフ（ｌｕｍｉｇｒａｐｈｓ）」を用いてストラクチャを表示することなどによって、空間内の任意方向及び任意地点を介して光の流れを近似するために十分な画像を記録することである。
特別な場所にいる感覚を提供する試みにおいて、二つの従来の画像ベースの方法が先立って開発されている。一つの方法は、パノラマ式の映像であり、これによって、ユーザは、固定された視点から見る方向を自由に選択することができる。パノラマは、ディジタル式で記録され、後処理中に高解像度でスキャンされるフィルムベースの画像を使用することもできる。パノラマ画像又はビデオは、ストリーミングシステムを用いてインターネットを介して分配されてもよい。他のアプローチは、ユーザがフォローできる経路とビデオとの関連付け、即ち画像とこれらの経路に沿った地点との関連付けである。
「特別な場所にいる」ことの体験を再生するための従来の方法の欠点を克服すべく本発明が提供された。例えば、静止画又は動画はいずれも記憶媒体の固有にインタラクティブな形態ではない。これらは、空間のいくつかのビューをユーザに提供するが、これらのビューは前もって撮影者によって選択されたものだけである。エンドユーザは、彼が見るものを殆ど或いは全くコントロールすることができない。ビデオが異なるビューを介してパンされる場合、又はいくつかの経路に沿ったモーションにおいて撮影される場合でさえも、ユーザの体験は、「乗り物には乗っている」が、「どこに行くか何を見るかを選択する」ものではない。
上述された従来の画像ベースの方法は、部分的にしか問題点に、取り組んでいない。これらのアプリケーションはいずれも空間的に索引付けされたパノラマビデオを使用しない。代わりに、従来の画像ベースのシステムはタイムベースのビデオである。従来の空間的に索引付けするシステムにおいて、連続様式で提供されるフルパノラマ画像を提供することができるものは知られていない。
すなわち、従来の技術では、上記記載されたような課題は解決されていない（例えば、非特許文献１〜１２）。
チェンら（Chen et al.）、「画像合成のためのビュー補間」（"View Interpolation for Image Synthesis"）、アップルコンピュータ(Apple Computer, Inc)、August 1993、pp.1-7 アリアガら（Aliaga et al.）、「プレノプチックステッチ：３Ｄインタラクティブウォークスルー再構成のスケーラブルな方法」（"Plenoptic Stitching: A Scalable Method for Reconstructing 3D Interactive Walkthroughs"）、ルーセントテクノロジーベル研究所(Lucent Technologies Bell Laboratories)、pp.443-450 キンバーら（Kimber et al.）、「飛ぶ：空間的にインデックスされたパノラマビデオ」（"FlyAbout: Spatially Indexed Panoramic Video"）、エフエックス パロ アルト ラボラトリー インコーポレイテッド、パロアルト、CA 94304(FX Palo Alto Laboratory, Inc., Palo Alto, CA94304） ゴートラーら（Gortler et al.）、「ルミグラフ」（"Lumigraph"）、マイクロソフトリサーチ(Microsoft Research)、1996 ニコレスクら（Necolescu et al.）、「エレクトロニックパン・チルト・ズーム：インテリジェントルームシステムソリューション」（"Electronic Pan-Tilt-Zoom: A Solution for Intelligent Room Systems"）、IEEE、August 2000 リップマン（Lippman）、「ムービーマップ：コンピュータグラフィックスへの光ビデオディスク適用」（"Movie-Maps: An Application of the Optical Videodisc to Computer Graphics"）、マサチューセッツ工科大学ケンブリッジ校アーキテクチャマシングループ(Architecture Machine Group, Massachusetts Institute of Technology, Cambridge, MA 02139)、July 1980、ACM ネーヤ（Nayar）、「カタディオプトリック全方向カメラ」（"Catadioptric Omnidirectional Camera"）、コロンビア大学、コンピュータサイエンスデパートメント(Department of Computer Science, Columbia University, New York, New York 10027)、June 1997 フートら（Foote et al.）、「飛ぶ：実用パノラマビデオおよび自動カメラコントロール」（"FlyCam: Practical Panoramic Video and Automatic Camera Control"）、エフエックス パロアルト ラボラトリー インコーポレイテッド、パロアルト、CA 94304(FX Palo Alto Laboratory, Inc., Palo Alto, CA 94304)、2000 ナイマーク（Naimark）、「カールスルヘのＶＢＫ−Ａムービーマップ（介在されるリアリティおよび場所の意識）」（"VBK-A Movie map of Karlsruhe (Mediated Reality and the Consciousness of Place)"）、明日のリアリティカタログ(From Tomorrow's Realities catalog)、Siggraph 1991 カワサキら（Kawasaki et al.）、「全方位カメラを用いた自動３Ｄ市街構築システム」（"Automatic 3D City Construction System Using Omni Camera"）、東京大学、工業科学研究所、(Institute of Industrial Science, University of Tokyo)、August 2000 レボイら（Levoy et al.）、「ライトフィールドレンダリング」（"Light Field Rendering"）、スタンフォード大学、コンピュータサイエンスデパートメント (Stanford University, Computer Science Department)、1996 ビューケミンら（Beauchemin et al.）、「オプティカルフローの計算」（"The Computation of Optical Flow"）、ウェスタンオンタリオ大学、コンピュータサイエンスデパートメント (University of Western Ontario, Computer Science Department)、ACM Computing Surveys、1995、Vol. 27、No. 3、ｐｐ．４３３〜４６７
本発明は、ユーザの現在位置を示すポジションアイコン及びユーザの現在の注視方向を示す注視方向インジケータを表示し、仮想環境内の仮想経路に沿ってユーザの現在位置及びユーザの現在の注視方向に応じたビデオを生成して表示することにより、仮想環境内の仮想経路に沿って移動する体験をユーザに提供するビデオシステム及びビデオシステム用プログラムを提供することを目的とする。
本発明は、パノラマであると共に空間的に索引付けされたビデオを作成するためのビデオシステムを生成するシステム及びビデオシステム用コンピュータプログラムを提供することによって、上述された長年の問題に取り組む。本発明のシステム及びビデオシステム用コンピュータプログラムの種々の実施の形態によれば、仮想環境内の仮想経路は現実の座標位置に基づく。
本発明のシステム及びビデオシステム用コンピュータプログラムの種々の実施の形態は、パノラマであると共に空間的に索引付けされたビデオを生成することによってユーザから要求されたアクションに応答し、これによって、ユーザは、選択された仮想経路に沿って移動しながら、仮想経路に沿って独立にナビゲートし、様々な方向に独立にパンし、及び／又は、特定のオブジェクト上に視界（ｇａｚｅ）を維持する。ビデオは、再生されると、仮想環境内の仮想経路に沿って移動する体験をユーザに提供することができる。ビデオを空間的に索引付けすることによって、ユーザインターフェースが提供されて、道路に沿って運転するなどの経路に沿ってユーザがナビゲートすることが可能となる。経路のジャンクションや交差点では、ユーザはフォローする仮想経路だけでなく、見る方向も選択することができ、これによって、従来のビデオでは不可能とされた対話（インタラクション）が可能とされる。空間索引をマップ及び／又はオブジェクトの空間データベースと結合することによって、ユーザは、特定のロケーションへナビゲートすることや特別なオブジェクトをインタラクティブに調べることができる。
本発明による種々の例示的な実施の形態において、仮想現実の為のビデオシステムが提供される。種々の実施の形態において、ビデオシステムは、空間データを有するデータベースと、画像ディスプレイを有するユーザインターフェースと、特定のアクションに応答してレンダリングされデータベースからリトリーブされる複数の画像を有し、各画像がパノラマであり、仮想環境での仮想経路に沿った所定のロケーションに従って空間的に索引付けされるビデオと、を有する。このような実施の形態において、ユーザインターフェースは、ビデオに関連付けられたマップディスプレイ、ビデオに関連付けられたテキストディスプレイ、及び／又はビデオに関連付けられたオーディオデータを伝達するオーディオ出力を更に有する。
本発明による種々の例示的な実施の形態において、ビデオシステムはスタンドアローンシステムとして実施される。或いは、ビデオシステムがサーバ上に配置されてもよいし、ユーザインターフェースは、例えば、ウェブブラウザなどの、クライアントディスプレイプログラムとして実施されてもよい。
本発明による種々の例示的な実施の形態において、空間データはパノラマ画像、マップ、テキスト、オーディオシステム、及びハイパーテキストリンクの少なくとも一つに対応する。空間データは空間索引付けに適切とされる公知のタイプのデータ、又は今後、開発されるデータであってもよい。
本発明による種々の例示的な実施の形態において、特定されたアクションが仮想動作に対する要求である。例えば、仮想動作は、走行方向、停止、速度規定、ビューするオブジェクトのスナップ、ポジションアイコンのドラッグ、走行開始、及びパンの少なくとも一つであってもよい。特定されたアクションは、本発明による空間索引付けに適切とされる公知のタイプのアクション、又は今後、開発されるアクションであってもよい。このような実施の形態において、特定されたアクションは、キーボードコマンド、マウス、ノブ、ジョイスティック、ヘッドトラッキングデバイス、フローティングアロー（ｆｌｏａｔｉｎｇ ａｒｒｏｗ）、フローティングテキスト（ｆｌｏａｔｉｎｇ ｔｅｘｔ）、ペダル、ハイパーテキストリンク、及びコントローラの少なくとも一つを含む選択デバイスによって選択される。特定されたアクションは、本発明による空間索引付けに適切とされる公知のタイプの選択デバイス又は今後、開発される選択デバイスであってもよい。
本発明による種々の例示的な実施の形態によれば、仮想現実のためのビデオを生成する方法が提供されている。実施の形態において、この方法は、アクションを特定するステップと、パノラマであると共に仮想経路の位置に沿って空間的に索引付けされたビデオを特定されたアクションに基づいて仮想環境内の仮想経路に沿って生成するステップと、ユーザインターフェースを提供するステップと、ユーザインターフェースを介してビデオをディスプレイするステップと、を有する。
本発明は、本発明の種々の方法を実行するために、バーチャルリアリティ（仮想現実）のためのビデオの提供に使用可能なコントロールプログラムを転送するため、トランスポートプロトコルの使用も更に考慮に入れている。
本発明の第１の態様は、空間データを有するデータベースと、画像ディスプレイを有するユーザインターフェースと、特定のアクションに応答してレンダリングされるビデオであって、データベースからリトリーブされる複数の画像を有し、各画像がパノラマであり、仮想環境での仮想経路に沿った所定のロケーションに従って空間的に索引付けされたビデオと、を有する、ビデオシステムである。
本発明の第２の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるマップディスプレイを更に有する、本発明の第１の態様に記載のビデオシステムである。
本発明の第３の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるテキストディスプレイを更に有する、本発明の第２の態様に記載のビデオシステムである。
本発明の第４の態様は、ユーザインターフェースが、所定のロケーションに関連付けられるオーディオデータを伝達するオーディオ出力を更に有する、本発明の第３の態様に記載のビデオシステムである。
本発明の第５の態様は、ビデオシステムは、スタンドアローンシステムである、本発明の第１の態様に記載のビデオシステムである。
本発明の第６の態様は、ビデオシステムは、サーバ上に配置され、ユーザインターフェースは、クライアントディスプレイプログラムとして実施される、本発明の第１の態様に記載のビデオシステムである。
本発明の第７の態様は、空間データがパノラマ画像、マップ、テキスト、オーディオシステム、及びハイパーテキストリンクの少なくとも一つである、本発明の第１の態様に記載のビデオシステムである。
本発明の第８の態様は、特定されたアクションが仮想動作に対する要求である、本発明の第１の態様に記載のビデオシステムである。
本発明の第９の態様は、仮想動作が、走行方向、停止、速度規定、ビューするオブジェクトのスナップ、ポジションアイコンのドラッグ、走行開始、及びパンの少なくとも一つである、本発明の第８の態様に記載のビデオシステムである。
本発明の第１０の態様は、特定のアクションが、キーボードコマンド、マウス、ノブ、ジョイスティック、ヘッドトラッキングデバイス、フローティングアロー、ペダル、ハイパーテキストリンク、及びコントローラの少なくとも一つを含む選択デバイスによって選択される、本発明の第８の態様に記載のビデオシステムである。
本発明の第１１の態様は、特定されたアクションがビデオを連続提示でレンダリングすることへの要求である、本発明の第１の態様に記載のビデオシステムである。
本発明の第１２の態様は、連続提示がガイドされた走行である、請求項１１に記載のビデオシステムである。
本発明の第１３の態様は、コントローラと、空間データとメタデータとを有するデータベースと、ユーザインターフェースと、特定のアクションに応答して生成されるユーザインターフェースにディスプレイされるビデオと、を有し、ユーザインターフェースが、データベースからリトリーブされる複数の画像を有するビデオをディスプレイする画像ディスプレイと、位置に関連付けられた空間データを図示するマップディスプレイと、位置に関連付けられた空間データを図示するテキストディスプレイと、位置に関連付けられたオーディオデータを運ぶオーディオ出力と、を含み、画像の各々が、パノラマであり、仮想環境内の仮想経路に沿った所定位置によって空間的に索引付けされている、ビデオシステムである。
本発明の第１４の態様は、アクションを特定するステップと、パノラマであると共に仮想経路の位置に沿って空間的に索引付けされたビデオを特定されたアクションに基づいて仮想環境内の仮想経路に沿って生成するステップと、ユーザインターフェースを提供するステップと、ユーザインターフェースを介してビデオをディスプレイするステップと、を有する、仮想現実のためのビデオを生成するプログラムである。
本発明の第１５の態様は、仮想経路に沿った位置に対応するマップをディスプレイするステップを更に有する、本発明の第１４の態様に記載のプログラムである。
本発明の第１６の態様は、仮想経路に沿った位置に対応する空間データを示すテキストをディスプレイするステップを更に有する、本発明の第１５の態様に記載のプログラムである。
本発明の第１７の態様は、仮想経路に沿った位置に関連付けられたオーディオデータを出力するステップを更に有する、本発明の第１６の態様に記載のプログラムである。
本発明の第１８の態様は、アクションを特定するステップが仮想動作を要求することを有する、本発明の第１４の態様に記載のプログラムである。
本発明の第１９の態様は、仮想環境内の仮想経路に沿ってアクションを特定するステップと、特定されたアクションに対応する要求を処理するステップと、ビデオを作成する、各々がパノラマであると共に仮想経路の位置に沿って空間的に索引付けされた複数の画像をリトリーブするステップと、ユーザインターフェースを提供するステップと、ビデオがディスプレイされる画像ディスプレイウィンドウと、ビデオに対応するマップがディスプレイされるマップディスプレイウィンドウと、を有するユーザインターフェースを提供するステップと、特定されたアクションに応答してユーザインターフェース上にビデオ及びマップをレンダリングするステップと、を有する、仮想現実のためのビデオを生成するプログラムである。
本発明の第２０の態様は、コントロールプログラムを実行するためのデバイスに仮想現実のためのビデオを提供するために使用可能なコントロールプログラムを伝送するために使用されるトランスポートプロトコルであって、コントロールプログラムが、アクションを特定するインストラクションと、パノラマであると共に仮想経路の位置に沿って空間的に索引付けされたビデオを特定されたアクションに基づいて仮想環境内の仮想経路に沿って生成するインストラクションと、ユーザインターフェースを提供するインストラクションと、ユーザインターフェースを介してビデオをディスプレイするインストラクションと、を有する、トランスポートプロトコルである。
本発明の第２１の態様は、コントロールプログラムが、画像ディスプレイを提供するインストラクションと、マップディスプレイを提供するインストラクションと、テキストディスプレイを提供するインストラクションと、オーディオ出力を提供するインストラクションと、を有する、本発明の第２０の態様に記載のトランスポートプロトコルである。
本発明の第２２の態様は、仮想現実にビデオを付与するシステムをプログラムするためのコンピュータをプログラムするために使用可能なコンピュータ読み取り可能プログラムコードを記憶したコンピュータ読み取り可能記憶媒体であって、コンピュータ読み取り可能プログラムコードが、アクションを特定するステップと、パノラマであると共に仮想経路の位置に沿って空間的に索引付けされたビデオを特定されたアクションに基づいて仮想環境内の仮想経路に沿って生成するステップと、ユーザインターフェースを提供するステップと、ユーザインターフェースを介してビデオをディスプレイするステップと、を有する、コンピュータ読み取り可能記憶媒体である。
本発明の種々の特徴及び利点が記述されているが、その内容は、本発明によるシステム及び方法の様々な例示的な実施の形態の以下の詳細な記述からより明確に理解されるであろう。
以下に詳細に説明された本発明のシステム及び方法の種々の例示的な実施の形態は添付図面によってより詳細に理解されるであろう。
以上説明したように本発明によれば、ユーザの現在位置を示すポジションアイコン及びユーザの現在の注視方向を示す注視方向インジケータを表示し、仮想環境内の仮想経路に沿ってユーザの現在位置及びユーザの現在の注視方向に応じたビデオを生成して表示することにより、仮想環境内の仮想経路に沿って移動する体験をユーザに提供することができる、という効果が得られる。
バーチャルリアリティ（仮想現実）のための空間的に索引付けされたパノラマビデオを使用するシステムについては、２００１年９月３０日のＡＣＭマルチメディアコンファレンスにおける、Ｄｏｎ Ｋｉｍｂｅｒらに与えられた“Ｆｌｙ
Ａｂｏｕｔ: Ｓｐａｔｉａｌｌｙ Ｉｎｄｅｘｅｄ ｐａｎｏｒａｍｉｃ Ｖｉｄｅｏ”に開示されている、この開示内容全体が本明細書中に参照することによって組み込まれている。このシステムによれば、カメラを連続する経路に沿って、３６０°移動することによってパノラマビデオがキャプチャされ、再生されることによって、これらの軌跡に沿って移動する体験、そして興味深いオブジェクト又は方向をインタラクティブにビューする能力がユーザに与えられる。
本発明の種々の実施の形態によれば、空間的に索引付けされたパノラマビデオシステムが、フォトリアリスティック空間又は仮想環境における仮想経路に沿ったインタラクティブナビゲーションのために提供される。仮想環境でのユーザによる仮想移動は、空間的に索引付けされたパノラマビデオシステムによって、ディスプレイのための空間的に索引付けされたパノラマビデオを生成させる。空間的に索引付けされたパノラマビデオシステムは、仮想現実のモデルを生成しレンダリングするための経費を掛けずに仮想環境のイマーシブ（ｉｍｍｅｒｓｉｖｅ）及びインタラクティブなナビゲーションを提供する。空間的に索引付けされたパノラマビデオは、（ユーザが任意の方向を見るのを可能とする）パノラマにも空間的にも索引付けされていることによってビデオ再生がユーザの仮想動作によってコントロールされる。
この空間的に索引付けされたパノラマビデオシステムは、任意に設計されたパノラマカメラ又は広角レンズカメラからキャプチャされた記録されたパノラマビデオに基づいている。現在のパノラマカメラの設計は、広角レンズ、ミラー又は複数のカメラに基づいた設計を含む。パノラマ画像はよく知られた多数の異なる種類のカメラによって記録することができるので、これらのカメラについての説明は以下省略する。
図１は、空間的に索引付けされたパノラマビデオシステム１０の第１の実施の形態を概略的に示した図である。空間的に索引付けされたパノラマビデオシステム１０は、モーションエンジン２１、ユーザインターフェース３０、空間データを記憶するデータベース４０、及び種々のタイプのメタデータを記憶するデータベース５０を有する。ユーザインターフェース３０は空間的に索引付けされたパノラマビデオ６５（図２）をビューすることができるディスプレイデバイス７２に画像ディスプレイ６０を有する。ユーザインターフェース３０にマップディスプレイ７０及びテキストディスプレイ８０を任意に設けてもよい。オーディオも、空間的に索引付けされたパノラマビデオシステム１０の一部として設けられてもよい。画像ディスプレイ６０、マップディスプレイ７０及びテキストディスプレイ８０は、空間データ又はメタデータをディスプレイするためのビューワ実行ソフトウェアプリケーションとして具体化され得る。
第１の実施の形態において、空間的に索引付けされたパノラマビデオシステム１０の基本構造は、単一アドレススペースにおける一つのプログラムとして実施される。例えば、空間的に索引付けされたパノラマビデオシステム１０のコンテンツは、例えば、空間的に索引付けされたパノラマビデオシステム１０のソフトウェアが記憶されるＤＶＤのようなローカルハードドライブに、記憶される。
図２は、本発明の第１の実施の形態によるユーザインターフェース３０を示す。ユーザインターフェース３０は、画像ディスプレイ６０、マップディスプレイ７０、テキストディスプレイ８０、及びオーディオインジケータ９０を有する。空間的に索引付けされたパノラマビデオシステム１０のコンテンツは、例えば、空間的に索引され得るビデオ、マップ、テキスト、オーディオ、及び他の任意のデータ、を含む統合マルチメディアフォームとして提供され得る。
画像ディスプレイ６０は、空間的に索引付けされたパノラマビデオ６５をディスプレイする。空間的に索引付けされたパノラマビデオ６５は、システム１０のユーザによって指定されるアクション又は仮想動作に応答して生成される。空間的に索引付けされたパノラマビデオ６５は空間的に索引付けされた複数の画像６７を有する。画像６７はデータベース４０に記憶される。画像６７は、仮想環境７６において仮想経路７５に沿った所定の場所（ロケーション）に従って、パノラマ及び空間的に索引付けされる。例えば、一つの方法は、図２に示されるように、ウィンドウを介して実行される。画像ディスプレイ６０は、ユーザが（画像内に）実際に存在した場合に見る画像６７を示す。
ユーザインターフェース３０は、画像ディスプレイ６０、例えば、仮想環境７６における連続した仮想経路７５の二次元即ちマップ状の表示に対応した空間データをディスプレイするマップディスプレイ７０も有する。マップディスプレイ７０は、ポジションアイコン７７に仮想環境７６の現在ビューの方向で注視方向インジケータ７８を提供することができる。例えば、図２では、マップディスプレイ７０は、エメラルド湾（Ｅｍｅｒａｌｄ Ｂａｙ）の道路地図を示し、仮想パス７５は、「ルート８９」に沿って示されている。ポジションアイコン７７の注視方向インジケータ７８は北西方向にある。注視方向は、画像ディスプレイ６０内でユーザがビューする現在画像６７と一致している。
さらに、ユーザインターフェース３０は、テキストディスプレイ８０を有する。テキストディスプレイ８０は、画像ディスプレイ６０にディスプレイされた現在画像６７に対応している。空間的に索引付けされたパノラマビデオシステム１０に応じて、種々のタイプのテキストが使用され得る。ディスプレイされるテキストは、例えば、見出し８５又はタイトルの形態におけるような短いものであってもよいし、現在画像６７についての記述のような長いものであってもよい。或いは、テキストは、選択すれば、他のウェブページからもっと多くの情報が得られるハイパーテキストリンク８７であってもよい。テキストディスプレイ８０は、このようなフォームのテキストに限定されず、例えば、サムネイル画像、図形、及びオーディオなどの現在画像６７に関した記述を提供する、あらゆるタイプの情報をディスプレイすることができる。
一つ以上のテキストディスプレイを設けて、ディスプレイのうちのいずれか一つからユーザへ情報を供給することができる。仮想環境７６において空間的に索引付けされたパノラマビデオ６５の視点が移動するにつれて、テキストディスプレイ８０は更新されて、ユーザがビューしているオブジェクトに対応する更なる、より関連性の高いテキストを提供する。一方、テキストディスプレイ８０におけるハイパーテキストリンク８７は、仮想環境７６においてロケーション又は注視方向を変えるために使用され得る。例えば、ホテルやレストランを示す選択可能なアイコンのリストがディスプレイされ、アイコンの一つをクリックすることによって、仮想経路７５上のユーザのロケーションを選択されたホテル又はレストラン近くの仮想経路７５上の他のロケーションへ変更することができる。種々のアイコンは、対象となるオブジェクトへ、或いはその周辺への仮想経路７５に沿う仮想ツアーを含む、多数のオブジェクトに対して設けられてもよい。
空間的に索引付けされたパノラマビデオシステム１０の特筆すべき利点は、空間的に索引付けされたパノラマビデオ６５にハイパーテキストリンク８７を容易に付け加えられることである。視点とロケーションとが一般的に知られているので、空間データベースにおけるあらゆるオブジェクトに対する視点の範囲及び角度が決定され、ハイパーテキストリンク８７は、空間的に索引付けされたパノラマビデオシステム１０を自動的に注釈するために使用され得る。例えば、ハイパーテキストリンク８７は仮想環境７６におけるユーザの空間的ロケーションが対象となる特定なオブジェクトの一定の範囲内にあるときにディスプレイされ得る。或いは又は更に、テキストオーバーレイが、空間的に索引付けされたパノラマビデオ６５の適当な角度で配置され得る。従って、建物や山等のオブジェクトを通過するときは、更なるビデオ解析や処理を行わずに、オブジェクトの名前がオブジェクトの上又はそれに隣接したオーバーレイとしてディスプレイされる。
オーディオ出力は、空間的に索引付けされたパノラマビデオシステム１０における現在画像６７及び／又はオブジェクトに対応するように提供される。例えば、図２において、画像ディスプレイ６０にディスプレイされた景色は空間的に索引付けされたパノラマビデオ６５の現在画像６７の空間的ロケーションに対応するオーディオ出力によって記述されてもよい。また、ユーザが、方向マッピングソフトウェアによって、あるロケーションから他へ方向をインタラクティブにマッピングすることを所望する場合は、「右折してください」、「左折してください」、「まっすぐ１マイル進んでください」などの可聴オーディオのインストラクションによってユーザを方向付けるようにオーディオが提供されてもよい。更に、空間的に索引付けされたパノラマビデオ６５では対象となる特定のオブジェクトが特定の空間的ロケーションに現れた場合、オブジェクトを可聴的に記述するオーディオ出力が提供されてもよい。オーディオ伝送の使用は多種多様な状況で実施され得て上述の例に限定されるものではない。
更に又は或いは、ユーザインターフェース３０は、オーディオインジケータ９０を有する。ユーザは、オーディオインジケータ９０を選択することによって、空間的に索引付けされたパノラマビデオ６５にディスプレイされた現在画像７６を理解するのに役立つあらゆるタイプのオーディオナレーションが提供され得る。オーディオインジケータ９０から転送されたオーディオデータは、オブジェクト、ナレーション、音楽、又は空間的に索引付けされたパノラマビデオ６５の指定されたロケーションによって出力されるあらゆるタイプのオーディオ表示の記述を有する。
本発明の種々の実施の形態によれば、オーディオ表示は様々な方法で実施され得る。例えば、「プレイワンス（一回再生）」型のナレーション、「ループされた」オーディオ表示として実施される。このような例には、特定のロケーションまたはそのロケーション範囲に関連付けられており、ユーザがそのロケーション又はその領域にいるときに連続的に再生する環境サウンド（例えば、交通、滝、鳥の鳴き声）が含まれる。ロケーションから離れて移動することによって、例えば、現実においてそうであるように、距離の２乗の逆数に比例して、関連するオーディオを比例して消えさせることができる。一つのサウンドのロケーションよりも近いロケーションにおいて、ユーザには、それぞれの距離の２乗の逆数に比例したロケーションサウンドの混合したものが聞こえる。更に、オーディオ空間化技術は、特殊なオーディオソースが特殊な方向から発するように見えさせるように使用されてもよい。更に、オーディオ空間化技術は特別なオーディオソースが特別な方向から発するように思わせるために使用され得る。そこで、ユーザがビューの本当らしさを高めるために回転すると、見掛けのオーディオソース方向が回転され得る。例えば、ユーザがそのビューを回転させると、滝は最初に左手に次に右手に現れ、これにより、この滝に関連するオーディオは左から右へ空間化され得る。
再び図１によれば、二つのタイプのデータベースが空間的に索引付けされたパノラマビデオシステム１０に提供されている。データベース４０は空間データを記憶し、メタデータデータベース５０はメタデータを記憶する。空間データは、パノラマ画像、ビデオ、テキスト、マップ、図形表示、及び空間的に索引付けされ得る他の任意のタイプのデータを含むことができるが、これらに限定されない。空間データは、従来と同様、時間によってではなくロケーションによって索引付けされる。ロケーションによって空間的に索引付けされる空間データのいくつかの例は、緯度、経度、及び高度、ｘ−ｙ−ｚの空間座標、倉庫の並び及びアイル、道路の住所表示、建物内の部屋番号、及びロケーションによって索引付けされることが可能な既知の又は、今後、開発されるデータによって定義付けられるグローバルポジショニングサテライト（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｉｎｇ Ｓａｔｅｌｌｉｔｅ（ＧＰＳ））を含むが、これらに限定されない。
空間データデータベース４０及びメタデータデータベース５０は、別個のエレメントとして示されているが、空間データデータベース４０内の空間データとメタデータデータベース５０内のメタデータを結合して単一データベースにすることも本発明によって考慮されている。
メタデータは、例えば、任意の所定の瞬間での仮想環境７６内のｘ、ｙ、ｚ座標システムにおいて、カメラの空間ロケーション又は画像ディスプレイ６０上に示される現在画像６７、を記述するために使用される。空間的に索引付けされたパノラマビデオシステム１０に関連する少なくとも二つのカテゴリのメタデータがある。一つのカテゴリは、例えば、図４に示されるように、キャプション６８に関する。ロダンの彫刻（Ｒｏｄｉｎ Ｓｃｕｌｐｔｕｒｅｓ）と題されたキャプション６８はメタデータである。キャプション６８は、ユーザが特別な興味を示すかもしれないオブジェクトに関連付けられている。キャプション６８は、ユーザインターフェース３０にキャプションをディスプレイすることによって仮想環境７６に関してユーザをナビゲートするのに役立つ。キャプション６８は、ユーザが興味を示すオブジェトに隣接しているかその上にディスプレイされた関連テキスト又はハイパーテキストを含む種々の形態を取ることができるが、これらに限定されない。
メタデータは、既存の地図、空中写真、空間データベース、又は建物の平面図などの他の使用可能な画像からリトリーブすることもできる。ＧＰＳデータ又は同様の正確な空間データを用いて、カメラ経路の単純なマップをデータから直接レンダリングすることもできる。本発明の種々の実施の形態によれば、空間ロケーションデータは、ＧＰＳ緯度／経度の対で記憶される。
メタデータデータベース５０内に記憶された第２のカテゴリのメタデータはデータチュプル（組）である。例えば、カメラの経路は、形式（ｘ、ｙ、ａ、ｔ）（ｘ及びｙはカメラのロケーション、ａはカメラの配向角度、ｔは時間）のデータチュプルとして従来は表示されている。データチュプルは、空間的に索引付けされたパノラマビデオ６５の全ての画像に対して付与される。しかしながら、カメラモーションが比較的滑らかであると仮定した場合、チュプルの数はずっと少なくて済み、中間点でのカメラの位置及び配向を予測するために線形補間を使用することができる。
グローバルポジショニングサテライト（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｉｎｇ Ｓａｔｅｌｌｉｔｅ（ＧＰＳ））ユニットなどの空間センサは空間メタデータを自動的に生成するために使用されてもよい。空間メタデータを決定する種々の他のソースは、車両速度及び進行方向又は加速による無線ビーコン又は推測航法を有するが、これらに限定されない。或いは、空間メタデータは、例えば、知られているポイントから三角測量を用いてカメラ位置を決定するなどして、パノラマ画像の画像処理によって生成されてもよい。また、本発明は、地図、知られている経路、及び空間的に索引付けされたパノラマビデオ６５内の目に見えるランドマークを用いて、空間データを手動で生成することも考慮に入れている。
空間的に索引付けされたパノラマビデオシステム１０は、時間ではなく、空間によって索引付けされたパノラマ画像を記憶する。従来、ビデオ画像は、時間によって序列付けされ、モーションは、時間の進行に対応していた。しかしながら、現在画像６７は、モーションエンジン２１の制御下で、仮想環境７６内の仮想経路７５に沿った仮想動作を要求するユーザによって指定されるモーションに応答して序列付けされる。
図３は、空間的に索引付けされたパノラマビデオシステム１０によるモーションエンジン２１を概略的に示す図である。モーションエンジン２１は、プログラミングされた汎用コンピュータを用いて実施される。プログラミングされた汎用コンピュータは、ユーザが仮想環境７６内の仮想経路７５に沿って移動するときにユーザによって指定されるモーションを処理するようにプログラミングされて空間的に索引付けされたパノラマビデオ６５を生成することもできる。
図３に示されるように、モーションエンジン２１は、共通バス３８０によって相互接続された、コントローラ２０、メモリ３２０、入力インターフェース３５０、少なくとも一つの入力デバイス２１０、ディスプレイインターフェース３７０、及びディスプレイデバイス７２を有する。モーションエンジン２１は、空間データ及びメタデータを受け取るためのデータベース４０及びメタデータデータベースユニット５０のそれぞれに接続されている。
メモリ３２０は、スタティックＲＡＭ、ダイナミックＲＡＭ、又はフラッシュメモリを含む可変ランダムアクセスメモリであってもよい。メモリ３２０は、コントローラ２０によって実行されるプログラムの一つ以上によって使用されるシステムの変数及びデータを記憶するために使用される。メモリ３２０は、例えば、インターネットなどの通信リンク３０５によってアクセス可能なサーバ上のフロッピィ（商標）ディスク及びディスクドライブ、書込み可能な光ディスク及びディスクドライブ、ハードドライブ、フラッシュメモリ、遠隔記憶メモリなどの任意の不揮発性のメモリであってもよい。メモリ３２０は、コントローラ２０によって実行されるプログラムのいずれかによって現在は未使用であるがやがては使用される空間データなどの任意のデータを記憶して、空間的に索引付けされたパノラマビデオシステム１０のソフトウェアアプリケーションを生成することもできる。
入力インターフェース３５０は、入力デバイス２１０をモーションエンジン２１と接続させる。ユーザは、入力デバイス２１０の少なくとも一つによってアクションを入力してもよい。一般に、入力デバイス２１０は、空間的に索引付けされたパノラマビデオシステム１０に選択を生じさせることが可能な任意のデバイス又はモードを有していてもよい。例えば、入力デバイス２１０は、カーソルをドラッグ及びクリックしてオブジェクトなどを選択するためのアイコン、マウス、トラックボール、タッチパッド、キーボード、及びペン型デバイスなどを有していてもよいが、これらに限定されない。入力デバイスはまた、ジョイスティック、ゲームコントローラ（例えば、ステアリングホイール、アクセル／ブレーキペダル）、及びゲーム及び／又は他のアプリケーションを駆動するために専用の他のコントローラを有していてもよい。入力インターフェース３５０は、これらの入力デバイスの二つ以上、例えば、マウス及びキーボードを、モーションエンジン２１と接続させるために使用されてもよい。従って、入力インターフェース３５０は、一つの物理的なデバイス又は二つ以上の別個のデバイスであってもよい。
ディスプレイインターフェース３７０は、ディスプレイデバイス７２をモーションエンジン２１のコントローラ２０と接続させる。ディスプレイインターフェース３７０は、ビデオカードなどの任意の知られているデバイスであってもよいし、ディスプレイデバイスからのデータをコントローラへ伝達することができる任意のこれから開発されるデバイスであってもよい。ディスプレイインターフェース３７０は、一般にそれ自体のメモリを有し、コントローラ２０によって生成されるディスプレイ信号から、ディスプレイ駆動信号を生成し、ディスプレイデバイス７２へ供給するために使用される。
モーションエンジン２１は、サーバプッシュ中、及び遠隔サーバへアクセスするために、搬送波が伝達されるようなアプリケーションのための通信リンク３０５を備えていてもよい。或いは、モーションエンジン２１の通信リンク３０５は、クライアント−プルシステムとして実施される空間的に索引付けされたパノラマビデオシステム１０に応答して搬送波が伝達されるようなところに用いられてもよい。
本発明の種々の実施の形態によれば、空間的に索引付けされたパノラマビデオ６５は、ユーザが要求する仮想動作から指定されたモーションに応答して生成される。さまざまなアクションがユーザによって指定され得る。図２を再び参照すると、アクションは、マウス、キーパッド、ボタン、ユーザインターフェース３０上のアイコン、テーブル、ドロップダウンテーブル、ノブなどの入力デバイス２１０、音声起動、又はアクションを特定するための任意の他の方法を用いた様々な方法、を使用することによって要求され得るが、これらに限定されない。
本実施の形態によれば、ユーザインターフェース３０は、仮想経路７５に沿った仮想環境７６において仮想動作を実行するためにモーションを生成するための入力デバイス２１０を備えている。種々の仮想動作要求は、停止（Ｓｔｏｐ）２２０、前方駆動（Ｆｏｒｗａｒｄ）２２５、後方駆動（Ｂａｃｋｗａｒｄ）２３０、早い運転（Ｆａｓｔｅｒ）２３５、ゆっくり運転（Ｓｌｏｗｅｒ）２４０、及び運転停止（Ｓｔｏｐ）２４５を有する入力デバイス２１０によって示されるように、空間的に索引付けされたパノラマビデオ６５上で実行され得るが、これらに限定されない。また、画像を水平及び垂直方向へパンするために、時計回りパン（ＣＷ）２５０、反時計回りパン（ＣＣＷ）２５５、及びパン停止２６０を有する更なる入力デバイス２１０が設けられてもよいが、これらに限定されない。更なるアクションには、例えば、速度設定、ビデオ位置設定、特定位置への移動、現在位置の確保、注視方向設定、視界設定、又は空間的に索引付けされたパノラマビデオシステム１０において仮想動作を指定するために適した任意の他のアクションが含まれていてもよい。
例えば、空間的に索引付けされたパノラマビデオシステム１０がビデオの速度又は位置を制御するために使用されるとき、速度１はビデオが正常な速度で再生されていることを示すことができる。他の速度は、巻き戻し、スローモーションからなるリアルタイムの倍数、又は選択可能な速度でのその逆（先送りや早回し）を提供するために使用され得る。ユーザインターフェース３０はズームの視界方向や角度における変化を許容することもできる。
例示的な実施の形態の作用において、モーションエンジン２１は、データベース４０に記憶されたパノラマ画像、マップ、テキスト、及びオーディオをメタデータデータベース５０に記憶されたメタデータと相互に関連付けることによって、画像ディスプレイ６０内の空間的に索引付けされたパノラマビデオ６５、マップディスプレイ７０内のマップ、テキストディスプレイ８０内のテキスト、空間的に索引付けされたパノラマビデオシステム１０のユーザによって選択されたアクションに基づいてユーザインターフェース３０へのオーディオ出力を、レンダリングする。特定されたアクションは、空間的に索引付けされたパノラマビデオシステム１０の仮想環境７６内の仮想経路７５に沿ってユーザが作成したいとする仮想動作を定義付ける。ユーザによって選択されたモーションに基づいて、データベース４０からの複数の画像とメタデータデータベース５０からの対応するメタデータとをリトリーブするように要求されることによって、空間的に索引付けされたパノラマビデオ６５が生成される。この要求が処理され、モーションエンジン２１内のコントローラ２０によって画像がリトリーブされ、処理された後、ユーザインターフェース３０上の画像ディスプレイ６０内に空間的に索引付けされたパノラマビデオ６５がレンダリングされる。
所与の速度で仮想経路７５に沿った入力デバイス２１０の少なくとも一つを選択することによって、例えば、「前方へ進む」ようにモーションが指定された場合、モーションエンジン２１は、仮想ナビゲーションをコントロールするためにパラメータを指定する。モーションエンジン２１によって他の様々な特徴もコントロールされ得る。例えば、モーションエンジン２１は、好ましい方向を示すと共に仮想環境７６において交差点に到達した時にどの方向へ走行すべきかを決定することができる。モーションエンジン２１は、「デフォルトルール」を課すことができ、即ち、好ましいとされる方向に最も近い方向に進行する。モーションエンジン２１は、好ましいとされる方向が仮想経路７５に沿った「前方」方向に合うように更新されるモード又は方向を指定してもよい。このモーションは、常に「できるだけまっすぐ」であり、交差点が近づいた時、選択される方向は、交差点に近づく前に走行した仮想経路７５の方向にできるだけ近い方向である。
図４は、同様の参照符号が図２の同様のエレメントに対応している他の例示的なユーザインターフェース３０を示す。ユーザインターフェース３０は、画像ディスプレイ６０及びマップディスプレイ７０を含む。画像ディスプレイ６０は、空間的に索引付けされたパノラマビデオ６５をディスプレイする。空間的に索引付けされたパノラマビデオ６５は、データベース４０からリトリーブされた複数の画像６７を有する。各画像６７は、仮想環境７６における仮想経路７５に沿った所定の位置に応じてパノラマ及び空間的に索引付けされている。
本発明の種々の例示的な実施の形態において、現在画像６７によって示されるように注視方向を指定するための注視方向インジケータ７８を有するポジションアイコン７７が提供される。図３及び図４において、ポジションアイコン７７はフローティングアローとして示されている。ポジションアイコン７７は、種々のモード、例えば、ノブ、マウスの水平モーション、左から右またその逆に、好ましいとされる方向へ変更するためにキーを押下すること、ポジションアイコン７７を回転することによって、例えば、ポジションアイコンをクリックして左から右へ回転させることによって注視方向を変更すること、又はモーションをコントロールする他の任意の方法によってコントロールされ得る。
仮想環境７６を介したナビゲーションは、仮想環境７６内の仮想経路７５に沿って交差点に出会った時に好ましいとされる方向としての注視方向に基づいて行われてもよい。他のナビゲーションモードは、モーションの現在方向を好ましいとされる方向として使用する。この場合、仮想環境７６内の仮想経路７５の交差点に至った時に、空間的に索引付けされたパノラマビデオシステム１０は「できるだけ真直ぐ」な方向に向かうように設計されてもよい。これは、空間的に索引付けされたパノラマビデオシステム１０が、モーションが連続的に仮想経路７５に沿って進む「ハンドオフ走行」として実行されるときに有用である。或いは、例えば、走行距離を短縮するため、又はユーザが仮想経路７５の特別なセグメントをビューするのを確実とするために、交差点の選択を空間的に索引付けされたパノラマビデオシステム１０内の全ての交差点で前もって記録しておくことができるし、また、任意の地点で好ましいとされる方向がセットされてもよい。
例えば、ポジショニングアイコン７７及び／又はボタン２５０、２２５、及び２６０を用いて注視方向をコントロールすることに加えて、ユーザは、他の入力デバイス２１０によってでもモーションをコントロールすることができる。仮想環境７６における任意の所与の仮想経路７５上で、ユーザは、二つの方向のいずれかに移動してもよいし、マウス、ジョイスティック、ボタン２２０，２３５，２４５又はペダルなどの少なくとも一つの入力デバイス２１０を用いて、モーションの速度をコントロールしてもよい。いくつかの仮想経路７５が結合する交差点に、仮想経路に沿ったモーションが、視点位置を移動してきた時、ユーザはそれらが取るいくつかの仮想経路７５のどれかを指し示すことができる。方向の選択があるときに起動される「左、右、真直ぐ」ボタンなどのモーションを選択するための多種多様な例示的なインターフェースが可能である。
ユーザは、例えば、ボタン２２５及び２３０を用いて、注視方向とは無関係にモーションの好ましいとされる方向をコントロールしてもよい。このようにして、空間的に索引付けされたパノラマビデオシステム１０によって、ユーザが、特定の方向というよりはむしろ、見るオブジェクト又はロケーションを指定することを可能とする。図４において、例えば、ユーザが見たいとする選択されたオブジェクトとして「ロダンの彫刻」６８を指定するために「ロダンの彫刻」６８へスナップすることができる。ユーザが仮想環境７６内の仮想経路７５周辺を移動する時、ユーザの視点は、選択されたオブジェクトに固定されたままである。これによって任意の位置からオブジェクトをビューすることが簡単になる。複数の方向から単一のオブジェクトのビューを提供する従来の「オブジェクトムービー」は、空間的に索引付けされたパノラマビデオシステム１０のように、人がオブジェクト以外の方向で見ることを可能としない。更に、一つより多くのオブジェクトの周辺をナビゲートするためのディスプレイ画像にディスプレイされ得る経路セグメント７３を提供することが望ましい。これは、例えば、ｅ−コマースのような自動車販売区域において特に有用である。車がグリッド（格子）状に並べられている場合、全てのグリッドの境界線に沿って空間的に索引付けされたパノラマビデオ６５をキャプチャすることによって、空間的に索引付けされたパノラマビデオシステム１０に任意の車のビューを任意の角度から自動的に生成させることができる。
本発明の種々の実施の形態によれば、ユーザは、仮想環境７６内の仮想経路７５に沿って使用可能なナビゲートできる選択又はモードをユーザに認識させる可視キューを与えられる。
有用な機能は、注視する特定の方向及び走行する特定の方向をユーザが要求するのを可能とすることである。多くの場合、視点から明白となり得る。例えば、コンテンツが仮想道路又は明確な仮想経路７５に沿って集められた場合、ユーザにとって他の仮想経路７５上のどこで曲がればよいのか、又はユーザが単一の仮想経路７５に制限されるべきなのかをユーザにはっきり示さなければならない。しかしながら、可視キューのないところでは、どの仮想経路７５が使用可能なのかが明らかではない。また、仮想環境７６内の道路又はドライブウェイに沿って集められた空間的に索引付けされたパノラマビデオのフィート数によっては、いくつかのわき道やドライブウェイにアクセスできないこともある。これらの状況においては、図４に示されるように、例えば、マップディスプレイ７０を調べることによってユーザは彼の選択範囲を広げることができる。しかしながら、マップを調べることは負担になるし、没頭して注意が散漫になる。この状況では、フローティングアロー６９などの可視キューが航行可能な選択によってユーザに注意を促すことができる。或いは、マップディスプレイ７０の小さな経路セグメント７３は、ユーザの現在の注視方向に対して方向付けられ、おそらく、ユーザの視界をシミュレートするための注視方向インジケータ７８によって、画像ディスプレイ６０内に示される。図４は、画像ディスプレイ６０の右下のコーナーにこの特徴を示している。
ユーザインターフェース３０を強調するために着色してもよい。例えば、仮想環境７６内の仮想経路７５は、仮想環境７６から仮想経路７５を識別するために着色されてもよい。また、ユーザインターフェース３０内の任意のオブジェクトが、空間的に索引付けされたパノラマビデオシステム１０の仮想環境７６を理解するときのユーザを援助するために着色されてもよい。
“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ ｔｏｕｒ（私をそこへ連れてって走行）”は空間的に索引付けされたパノラマビデオシステム１０におけるナビケーションのための他の例示的な使用法である。“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ ｔｏｕｒ”において、システム１０は、ユーザのアクションによって指定された目的地への走行を自動的に生成する。例えば、ユーザは最初と最後の目的地を入力してもよい。“ｔａｋｅ−ｍｅ−ｔｈｅｒｅ ｔｏｕｒ”が、仮想環境７６内の仮想経路７５に沿って最初の目的地から最後の目的地までユーザをナビゲートする。或いは、ユーザは最後の目的地のみを入力してもよい。要求された時点でディスプレイされた現在視点から最後の目的地まで進行することができる。
仮想環境７６内の仮想経路７５上のロケーションから移動するための他の例示的なモードは、例えば、図２に示されるように、サーチボックス６３によるモードである。特別なサーチクエリー（Ｓｅａｒｃｈ ｑｕｅｒｙ）をサーチボックス（Ｓｅａｒｃｈ ｂｏｘ）６３内へ入力することによって一つのロケーションから他のロケーションまで移動させて、最終目的地をリトリーブすることができる。
本発明によって使用される他のナビゲーションモードは、自動生成される仮想案内走行である。例えば、ウェブ−ベースのマップサービスは、所与のルート又は仮想経路７５に沿って運転することがどのような感じなのかを示す空間的に索引付けされたパノラマビデオシステム１０の形態でのマップ又はテキストによる運転命令に代わるものを提供することができる。
図５及び図６は、空間的に索引付けされたパノラマビデオシステム１０のための例示的な方法を示す。
示されているように、コントロールルーチンはステップ６００から開始される。コントロールルーチンはステップ６１０まで進む。
ステップ６１０において、コントロールルーチンは、空間的に索引付けされたパノラマビデオを生成すべきアクションが要求されたか又はユーザによって指定されたかを判断する。空間的に索引付けされたパノラマビデオシステムのアクションは、仮想環境内の仮想経路上でのユーザの空間ロケーション又は位置に基づく。アクションが要求された場合、コントロールルーチンは、ステップ６２０へ進む。アクションは、ボタン、ユーザインターフェース上のアイコン、ハイパーリンクなどによって、カーソルを移動して、ユーザインターフェースの部分を選択し、サーチクエリーを入力し、上述の入力デバイスのいずれか一つを用いてユーザインターフェースの種々の部分上にオーバーレイされたテキストを選択し、及び他の任意の知られている、又は今後、開発される選択を提供する方法などの多種多様な方法で要求され得るが、これに限定されない。ステップ６１０で、アクションが要求されなかった場合、コントロールルーチンは、ステップ６１０を繰り返す。
ステップ６２０において、要求がモーションエンジン内のコントローラへ送られる。
ステップ６３０において、要求が処理され、空間的に索引付けされたパノラマビデオを生成するためのこの要求に対応する空間データがデータベース及びメタデータデータベースのそれぞれからリトリーブされる。図６は、後述するように、この要求を処理する局面を非常に詳細に示している。コントロールルーチンは続いてステップ６４０へ進む。
ステップ６４０において、コントローラによって空間的に索引付けされたパノラマビデオを生成するための要求に対応する空間データが編集され、ユーザインターフェース上にレンダリングされる。コントロールルーチンは次にステップ６１０に戻り、他のアクションがユーザによって生成されたかを判断する。
図６は、空間的に索引付けされたパノラマビデオを生成するための要求に対応するデータベースから空間データを要求するプロセスを示す。示されているように、ステップ６２０ではじまり、コントロールルーチンはステップ６２１へ続く。
ステップ６２１において、コントロールルーチンは、データベースから画像をリトリーブし、アクションの空間ロケーションに対応するメタデータデータベースからメタデータをリトリーブし、空間データをユーザインターフェース３０へ送る。画像はパノラマであり、空間的に索引付けされたパノラマビデオ内の空間ロケーション又は位置に対応するように空間的に索引付けされる。リトリーブされる画像は、「停止」運転リクエストが要求された場合にはほとんど一つに限られる。或いは、加速された速度で「前方へ進め」運転リクエストが要求された場合は、多数の画像がコントローラによって要求されると捉えられ、空間的に索引付けされたパノラマビデオ内で高速で走行することの効果を発揮するように編集される。更に、図４に示されるように、現在画像は、フローティングアローやキャプションなどの可視キューの形態でメタデータを含むこともでき、ユーザに、使用可能なナビゲーション選択に対する注意を促す。即ち、ユーザに詳細を報知するために、オーバーレイされたテキスト、又は，ユーザがテキストを選択した場合は、ユーザが取り得る更なるアクションに対する注意を促す。コントロールルーチンは引き続きステップ６２３へ進む。
ステップ６２３において、コントロールルーチンはアクションの空間ロケーションに対応するデータベースからマップをリトリーブし、このマップを空間データとしてユーザインターフェース３０へ送る。図２及び図４に示されるように、マップディスプレイも、フローティングアローなどの可視キューの形態で空間データを含むこともでき、ユーザに対して、ユーザによって要求されたナビゲーション選択に対する注意を促す。コントロールルーチンは引き続きステップ６２５へ進む。
ステップ６２５において、コントロールルーチンは、アクションの空間ロケーションに対応するデータベースからテキストをリトリーブし、このテキストを空間データとしてユーザインターフェース３０へ送る。再度、図２を参照すると、テキストは、画像ディスプレイ、又はマップディスプレイへオーバーレイされたテキスト、若しくは、画像ディスプレイ内の空間的に索引付けされたパノラマビデオの現在画像をユーザが理解するのを可能にするときに役立つ任意の他のタイプのテキストとしてのヘッディング、記述、ハイパーテキストリンクとして図示されてもよい。コントロールルーチンは引き続きステップ６２７へ進む。
ステップ６２７において、コントロールルーチンは、アクションの空間ロケーションに対応するデータベースからオーディオをリトリーブし、このオーディオを空間的にタグ付けされたオーディオデータとしてユーザインターフェース３０へ送る。オーディオは、画像ディスプレイ内に示される画像についてのナレーション、歌、又は、ユーザが空間的に索引付けされたパノラマビデオシステムを方向ディスプレイソフトウェアと組み合わせて使用する場合などに所望されるロケーションへの方向のセットを含むが、これに限定されない任意数のオーディオセグメントを提供する。コントロールルーチンは引き続きステップ６２８へ進む。
ステップ６２８において、コントロールルーチンは、アクションの空間ロケーションに対応するメタデータデータベースからメタデータをリトリーブし、このデータをユーザインターフェース３０へ送る。コントロールルーチンは引き続きステップ６２９へ進み、そこでステップ６４０へ戻る。
図７は、ネットワークシステムとして実施される空間的に索引付けされたパノラマビデオシステム５１０の第２の実施の形態を示す。この空間的に索引付けされたパノラマビデオシステムは、機能的には、第１の実施の形態における空間的に索引付けされたパノラマビデオシステム１０と同様に動作する。しかしながら、この第２の実施の形態においては、空間的に索引付けされたパノラマビデオシステム５１０は、ブラウザ５０３として実施され、サーバプッシュ、或いは、例えば、ストリーミングメディアプレーヤーによって更新される画像からなる。
図７は、空間的に索引付けされたパノラマビデオシステム５１０を例示的に表示したものである。空間的に索引付けされたパノラマビデオシステム５１０は、クライアントコンピュータ５０４上に位置指定され、例えば、インターネットを介して転送する通信リンク３０５を介してサーバ５０１及びＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ５０１に接続されたクライアントディスプレイプログラム５０３を有する。クライアントディスプレイプログラム５０３内には、画像ディスプレイ５６０、マップディスプレイ５７０、テキストディスプレイ５８０、及びオーディオ出力５９０が設けられている。入力インターフェース５３０は複数の入力デバイス２１０からアクションを受け取り、空間的に索引付けされたパノラマビデオ６５を生成する。サーバ５０１は、モーションエンジン５２０、空間データを記憶するデータベース５４０、及びメタデータを記憶するメタデータデータベース５５０を有する。
この例示的な実施の形態において、画像ディスプレイ５６０は、搬送波を介してサーバプッシュによって更新され得る、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）画像である。これに代わって、ストリーミング・ビデオフォーマットが使用されてもよい。しかしながら、待ち時間がディスプレイインターフェース５３０内のインタラクティビティの意義を損なわないようにバッファリングは十分に小さく保たなければならない。マップディスプレイ５７０はインタラクティブであり、例えば、Ｊａｖａ（登録商標）ａｐｐｌｅｔとして実施され得る。シンプルＨＴＴＰベースのコントロールプロトコルは、モーションエンジン５２０をコントロールするために使用され得る。モーションエンジン５２０は、特別なコントロールＵＲＬ(Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ ｌｏｃａｔｉｏｎ) を用いてＨＴＴＰ ＧＥＴ要求をサーバ５０１、５０２へ送ることによってコントロールされ、これにより、ＨＴＭＬページのリンクからのＪａｖａ（登録商標）ａｐｐｌｅｔによるコントロール、又は、ＨＴＴＰ要求を生成することができる任意の他のデバイス又はシステムによるコントロールが可能となる。
図８は、空間的に索引付けされたパノラマビデオシステム５１０の第２の実施の形態による他の例として示されたユーザインターフェース７３０を示す。
種々の他の実施の形態が本発明の範囲を逸脱するものではない。例えば、空間的に索引付けされたパノラマビデオ６５は、テレビジョン又は投影ディスプレイ上で提供されてもよい。空間的に索引付けされたパノラマビデオ６５のフィート数は、通り又は道路に沿って測られるので、図２及び図８に示されるメタファーのように車内にいるというメタファーが使用されてもよい。或いは、車の異なるウィンドウから人（ユーザ）が期待するビューを提示するために複数の物理的なディスプレイが使用されてもよい。
ヘッド・マウント・ディスプレイも、より深い体験のために使用されてもよい。このような実施の形態において、ヘッドトラッキングは注視方向を決定するために検知されてもよく、これによって、空間的に索引付けされたパノラマビデオ６５はユーザの頭部位置に応じて変更される。
本発明による空間的に索引付けされたパノラマビデオシステムは、例えば、不動産業などにおいては多数の利用可能な使用法がある。固定位置のパノラマビューは従来家や地所をウェブ上で示すために使用されるが、本発明による空間的に索引付けされたパノラマビデオシステムは、可能性のある買い手が多数の固定位置から家を見るだけでなく、バーチャルに家の中を歩くことも可能とする。また、本発明による空間的に索引付けされたパノラマビデオシステムは町や近所をナビゲートするために使用され、ユーザは、家の中を歩いたり外を歩き回る前に家までのドライブをバーチャルに体験する。
本発明による空間的に索引付けされたパノラマビデオシステムのほかの利用法は旅行業界で見られる。ユーザは、ハワイ、ワイキキなどのリゾート地域をバーチャルに運転することができ、どのホテルが最も望ましい位置や眺望を有するかを決定することができる。これによって、ユーザは、特別なロケーションにいることが実際どういう感じなのかということのより良い感覚をユーザに付与することができる。
更に、本発明による空間的に索引付けされたパノラマビデオシステムは、例えば、高級車のショールームにような商品のバーチャルなショールームをユーザが見て回ることを可能とするｅ−コマースのために使用され得る。空間的に索引付けされたパノラマビデオシステムを車などのオブジェクトに対して方向付けることによって、オブジェクトのレイアウトやナビゲーションを気にせずに特別なオブジェクトをクリックすることができる。
異なるレベルの詳細が本発明による空間的に索引付けされたパノラマビデオシステムのコンテンツに対して統合されている。例えば、ラスベガスストリップの空間的に索引付けされたパノラマビデオが通りや側道に沿った仮想経路によって生成することができる。これは、特定のリゾートに対する詳細なコンテンツがなくてもユーザにとって有用である。なぜならば、ユーザはあちこち動き回ることができ、施設を外側から見ることができるためである。この空間的に索引付けされたパノラマビデオシステムは、施設をクリックすることによってウェブページや他のデータを呼び出す方法で、ホテルの予約システム又は他の付加価値のあるサービスにリンクされてもよい。更なる素材によってユーザは特別な施設の中又はそれらの構内付近を歩くことが可能となる。
本発明の空間的に索引付けされたパノラマビデオシステムの用途は、多数あり、娯楽、教育、グランドキャニオン、アルプス、又はタージマハールのような名所旧跡などを含むことができるが、これらに限定されない。
本発明による空間的に索引付けされたパノラマビデオシステムのためのシステム及び方法は、プログラムされた汎用コンピュータ上で実施され得る。しかしながら、本発明による空間的に索引付けされたパノラマビデオシステムのためのシステム及び方法は、専用コンピュータ、プログラムされたマイクロプロセッサ又はマイクロ・コントローラ、及び周辺集積回路エレメント、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）又は他の集積回路、ディジタル信号プロセッサ、ディスクリートエレメント回路などのハードワイヤード電子又はロジック回路、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＬＡ（ｐｒｏｇｒａｍｍｅｄ ｌｏｇｉｃ ａｒｒａｙ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、又はＰＡＬ（ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ ｌｏｇｉｃ）などのプログラム可能ロジックデバイス等で実施されてもよい。一般に、図５及び図６に示されたフローチャートを実施することを可能とする有限状態マシンを実施することが可能な任意のデバイスが、本発明のシステム及び方法を実施するために使用され得る。
図１、図３及び図７に示された種々のブロックが適切にプログラミングされた汎用コンピュータの部分として実施され得る。或いは、図１、図３及び図７に示された種々のブロックは、ＡＳＩＣ内の物理的に別個のハードウェア回路として又はＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬを用いて、又はディスクリートロジックエレメント又はディスクリート回路エレメントを用いて実施され得る。図１、図３及び図７に示されたブロックの各々が取る特別な形態は設計上の選択であり、当業者にとって明白であり予測可能なものである。
図３に示されているように、メモリ３２０は、可変、揮発性又は不揮発性のメモリ、又は変更不能若しくは固定されたメモリを任意に適当に組み合わせたものを用いて実施され得る。可変メモリは、揮発性又は不揮発性のいずれでもよく、スタティック又はダイナミックＲＡＭ、フロッピィ（商標）ディスク及びディスクドライブ、書込み可能又は書換え可能な光ディスク及びディクスドライブ、ハードドライブ、フラッシュメモリなどの任意の一つ以上を用いることによって実施され得る。同様に、変更不可能又は固定メモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭディスクなどの光ＲＯＭディスク、及びディスクドライブなどの任意の一つ以上を用いて実施されていもよい。
図３及び図７に示されるように、リンク３０５は、空間的に索引付けされたパノラマビデオシステム１０の構成要素を接続するための任意の知られている又は今後、開発されるデバイスであってもよい。空間的に索引付けされたパノラマビデオシステム１０は、直接ケーブル接続、ワイドエリアネットワーク又はローカルエリアネットワークを介した接続、イントラネットを介した接続、インターネットを介した接続、又は任意の他の分散処理ネットワーク又はシステムを介した接続の一つ以上を含んでいてもよい。概して、通信リンク３０５は、任意の知られている、又は今後、開発される接続システムであってもよい。
また、通信リンク３０５は、ネットワークにワイヤード又はワイヤレスでリンクされ得ることを理解されたい。ネットワークは、ローカルエリアネットワーク、ワイドエリアネットワーク、イントラネット、インターネット、又は任意の他の分散処理及び記憶ネットワークであってもよい。
本発明は、概略的に上述された例示的な実施の形態に関して説明されてきたが、当業者にとって多数の変形、改良及び変更が明白であることが明らかである。従って、本発明の例示的な実施の形態は、説明のみを目的としており、これらに限定されるものではない。本発明の精神及び範囲を逸脱することなく種々の変更が行われてもよい。
本発明による空間的に索引付けされたパノラマビデオシステムの第１の実施の形態を示す略図である。 本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムのユーザインターフェースを示す図である。 本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムのモーションエンジンを示す略図である。 本発明の第１の実施の形態による空間的に索引付けされたパノラマビデオシステムの他のユーザインターフェースを示す略図である。 本発明による空間的に索引付けされたパノラマビデオシステムのための例示的なプロセスを示すフローチャートである。 本発明による空間的に索引付けされたパノラマビデオシステムのための例示的なプロセスを示すフローチャートである。 本発明による空間的に索引付けされたパノラマビデオシステムの第２の実施の形態を示す略図である。 本発明の第２の実施の形態による空間的に索引付けされたパノラマビデオシステムのユーザインターフェースを示す略図である。
１０：パノラマビデオシステム
２１：モーションエンジン
３０：ユーザインターフェース
４０：データベース
５０：データベース
６０：画像ディスプレイ
６５：空間的に索引付けされたパノラマビデオ
７０：マップディスプレイ
７２：ディスプレイデバイス
８０：テキストディスプレイ

Claims (6)

  1. 地図で表された仮想環境内での仮想経路に沿ったロケーションによって空間的に索引付けされた複数のパノラマ画像、及び前記仮想環境を表示するためのマップの各データを含む空間データを保持するデータベースと、
    ビデオが表示される画像ディスプレイウインドウ、前記マップのデータに基づいた前記仮想環境が表示されるマップディスプレイウインドウ、及びユーザからの前記マップディスプレイウインドウに表示された前記仮想環境内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じて連続してレンダリングするアクションを示す指示を受け付けるための指示手段を有すると共に、前記画像ディスプレイウインドウまたは前記マップディスプレイウインドウに、ユーザの現在位置を示すポジションアイコン及びユーザの現在の注視方向を示す注視方向インジケータが表示されるユーザインターフェースと、
    前記指示手段に受け付けられた指示に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段であって、前記アクションに応じて前記データベースからリトリーブされ、前記アクションに応じて序列付けされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて前記画像ディスプレイに連続提示でレンダリングして表示すると共に、前記ポジションアイコン及び前記注視方向インジケータに対応して表示するためのビデオを生成するビデオ表示手段と、
    を含むビデオシステム。
  2. 前記アクションが、前記ユーザの現在位置を指示するアクション及びユーザの現在の注視方向を指示するアクションを含む請求項１記載のビデオシステム。
  3. 地図で表された仮想環境内での仮想経路に沿ったロケーションによって空間的に索引付けされた複数のパノラマ画像、及び前記仮想環境を表示するためのマップの各データを含む空間データを保持するデータベースと、
    ビデオが表示される画像ディスプレイウインドウ、前記マップのデータに基づいた前記仮想環境が表示されるマップディスプレイウインドウ、及びユーザからの前記マップディスプレイウインドウに表示された前記仮想環境内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じて連続してレンダリングするアクションを示す指示を受け付けるための指示手段を有すると共に、前記画像ディスプレイウインドウまたは前記マップディスプレイウインドウに、ユーザの現在位置を示すポジションアイコン及びユーザの現在の注視方向を示す注視方向インジケータが表示されるユーザインターフェースと、
    前記指示手段に受け付けられた指示に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段と、
    を含むビデオシステムの前記ビデオを生成するビデオシステム用プログラムであって、
    前記アクションに応じて前記データベースからリトリーブされ、前記アクションに応じて序列付けされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて前記画像ディスプレイに連続提示でレンダリングして表示すると共に、前記ポジションアイコン及び前記注視方向インジケータに対応して表示するためのビデオを生成するビデオ表示手段として機能させるためのビデオシステム用プログラム。
  4. 前記アクションが、前記ユーザの現在位置を指示するアクション及びユーザの現在の注視方向を指示するアクションを含む請求項３記載のビデオシステム用プログラム。
  5. 地図で表された仮想環境内での仮想経路に沿ったロケーションによって空間的に索引付けされた複数のパノラマ画像、及び前記仮想環境を表示するためのマップの各データを含む空間データを保持するデータベースと、
    ビデオが表示される画像ディスプレイウインドウ、前記マップのデータに基づいた前記仮想環境が表示されるマップディスプレイウインドウ、及びユーザからの前記画像ディスプレイウインドウに表示された前記パノラマ画像内での連続的な仮想経路に沿った移動を伴い、かつビデオを前記移動に応じてレンダリングするアクションを示す指示を受け付けるための指示手段を有すると共に、前記画像ディスプレイウインドウまたは前記マップディスプレイウインドウに、ユーザの現在位置を示すポジションアイコン及びユーザの現在の注視方向を示す注視方向インジケータが表示されるユーザインターフェースと、
    前記指示手段に受け付けられた指示に応答してレンダリングされる前記ビデオを表示するためのビデオ表示手段であって、前記アクションに応じて前記データベースからリトリーブされ、かつ前記連続的な仮想経路に沿った移動における移動地点に対応して前記索引付けされた複数の画像を用いて前記画像ディスプレイにレンダリングして表示すると共に、前記ポジションアイコン及び前記注視方向インジケータに対応して表示するためのビデオを生成するビデオ表示手段と、
    を含むビデオシステム。
  6. 前記アクションが、前記ユーザの現在位置を指示するアクション及びユーザの現在の注視方向を指示するアクションを含む請求項５記載のビデオシステム。
JP2009078273A 2001-09-28 2009-03-27 ビデオシステム、及びビデオシステム用プログラム Expired - Lifetime JP4735733B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US32517201P 2001-09-28 2001-09-28
US60/325172 2001-09-28
US10/115959 2002-04-05
US10/115,959 US7096428B2 (en) 2001-09-28 2002-04-05 Systems and methods for providing a spatially indexed panoramic video

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002270253A Division JP4321028B2 (ja) 2001-09-28 2002-09-17 ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム

Publications (2)

Publication Number Publication Date
JP2009181587A true JP2009181587A (ja) 2009-08-13
JP4735733B2 JP4735733B2 (ja) 2011-07-27

Family

ID=26813760

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002270253A Expired - Lifetime JP4321028B2 (ja) 2001-09-28 2002-09-17 ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム
JP2009078273A Expired - Lifetime JP4735733B2 (ja) 2001-09-28 2009-03-27 ビデオシステム、及びビデオシステム用プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2002270253A Expired - Lifetime JP4321028B2 (ja) 2001-09-28 2002-09-17 ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム

Country Status (2)

Country Link
US (1) US7096428B2 (ja)
JP (2) JP4321028B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101620807B1 (ko) 2009-08-18 2016-05-23 팔로 알토 리서치 센터 인코포레이티드 이동 시간의 도로 곡률 효과 및 루트 플래닝에 대한 평안함을 평가하기 위한 모델 기반 방법
JP2020520190A (ja) * 2017-05-09 2020-07-02 ヨウク インフォメーション テクノロジー （ベイジン） カンパニー リミテッド 仮想場面に関連付けられた映像再生およびデータの提供

Families Citing this family (168)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811237B2 (en) 1999-04-06 2017-11-07 Iii Holdings 2, Llc Visual navigation of virtual environments through logical processes
JP5037765B2 (ja) * 2001-09-07 2012-10-03 株式会社トプコン オペレータ誘導システム
US7411594B2 (en) * 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
WO2003093954A2 (en) * 2002-05-03 2003-11-13 Pixearth, Corporation A system to navigate within images spatially referenced to a computed space
US7289138B2 (en) * 2002-07-02 2007-10-30 Fuji Xerox Co., Ltd. Intersection detection in panoramic video
EP1391226B1 (en) * 2002-08-12 2007-10-10 Alcatel Lucent Method and devices for implementing highly interactive entertainment services using interactive media-streaming technology, enabling remote provisioning of virtual reality services
US7239311B2 (en) * 2002-09-26 2007-07-03 The United States Government As Represented By The Secretary Of The Navy Global visualization process (GVP) and system for implementing a GVP
US7564455B2 (en) * 2002-09-26 2009-07-21 The United States Of America As Represented By The Secretary Of The Navy Global visualization process for personal computer platforms (GVP+)
US7082572B2 (en) * 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
US7911497B2 (en) * 2003-04-25 2011-03-22 Lockheed Martin Corporation Method and apparatus for video on demand
JP4168837B2 (ja) * 2003-06-03 2008-10-22 ソニー株式会社 情報生成装置、記録装置、再生装置、記録再生システムおよびその方法ならびにプログラム
CN1816792A (zh) * 2003-07-02 2006-08-09 新世代株式会社 信息处理装置、信息处理系统、操作物、信息处理方法、信息处理程序以及游戏系统
US6975089B2 (en) * 2003-07-28 2005-12-13 Cablecam International Inc. System and method for facilitating fluid three-dimensional movement of an object via directional force
US7299417B1 (en) * 2003-07-30 2007-11-20 Barris Joel M System or method for interacting with a representation of physical space
US7646401B2 (en) * 2004-01-30 2010-01-12 ObjectVideo, Inc Video-based passback event detection
US20060114251A1 (en) * 2004-02-11 2006-06-01 Miller Jacob J Methods for simulating movement of a computer user through a remote environment
US20080129818A1 (en) * 2004-02-11 2008-06-05 Jacob James Miller Methods for practically simulatnig compact 3d environments for display in a web browser
CA2559726C (en) * 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
US7813589B2 (en) * 2004-04-01 2010-10-12 Hewlett-Packard Development Company, L.P. System and method for blending images into a single image
US20050275602A1 (en) * 2004-06-15 2005-12-15 New Way Home Inc. Presentation system and associated method
US8751156B2 (en) 2004-06-30 2014-06-10 HERE North America LLC Method of operating a navigation system using images
US8207964B1 (en) * 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
US7430473B2 (en) * 2004-10-01 2008-09-30 Bose Corporation Vehicle navigation display
KR20070086037A (ko) 2004-11-12 2007-08-27 목3, 인크. 장면 간 전환 방법
US20060119598A1 (en) * 2004-12-08 2006-06-08 Evil Twin Studios, Inc. System and method for communicating travel progress within a virtual environment
US20060123351A1 (en) * 2004-12-08 2006-06-08 Evil Twin Studios, Inc. System and method for communicating objects status within a virtual environment using translucency
US20060123127A1 (en) * 2004-12-08 2006-06-08 Evil Twin Studios, Inc. System and method for organizing online communities and virtual dwellings within a virtual environment
US7506264B2 (en) * 2005-04-28 2009-03-17 International Business Machines Corporation Method and apparatus for presenting navigable data center information in virtual reality using leading edge rendering engines
FI117576B (fi) * 2005-04-29 2006-11-30 Tracker Oy Menetelmä paikannettavien kohteiden esittämiseksi paikannuslaitteen näytöllä, paikannuslaite ja sovellus
US7933929B1 (en) 2005-06-27 2011-04-26 Google Inc. Network link for providing dynamic data layer in a geographic information system
KR100620125B1 (ko) * 2005-07-18 2006-09-06 인하대학교 산학협력단 공간 데이터 웨어하우스에서 부분 색인 전송을 이용한 색인재구성 시스템 및 방법
WO2007013432A1 (ja) 2005-07-26 2007-02-01 Matsushita Electric Industrial Co., Ltd. 画像データ管理装置および画像データ管理方法
NO323509B1 (no) * 2005-08-10 2007-05-29 Telenor Asa Metode for a lage en animasjon av en serie stillbilder
US20070038945A1 (en) * 2005-08-10 2007-02-15 Miller Jacob J System and method allowing one computer system user to guide another computer system user through a remote environment
US20070070090A1 (en) * 2005-09-23 2007-03-29 Lisa Debettencourt Vehicle navigation system
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
JP2007093661A (ja) * 2005-09-27 2007-04-12 Alpine Electronics Inc ナビゲーション装置及び地図表示装置
TW200806027A (en) 2005-11-11 2008-01-16 Sony Corp Imaging/reproducing device
US20070150840A1 (en) * 2005-12-22 2007-06-28 Andrew Olcott Browsing stored information
JP2007213385A (ja) * 2006-02-10 2007-08-23 Sony Corp 情報処理装置、情報処理方法、プログラム
US7823068B2 (en) * 2006-02-28 2010-10-26 Mark Anthony Ogle Cowtan Internet-based, dual-paned virtual tour presentation system with orientational capabilities and versatile tabbed menu-driven area for multi-media content delivery
US9070402B2 (en) * 2006-03-13 2015-06-30 Autodesk, Inc. 3D model presentation system with motion and transitions at each camera view point of interest (POI) with imageless jumps to each POI
WO2007124664A1 (fr) * 2006-04-29 2007-11-08 Shanghai Jietu Software Co., Ltd. Appareil et procédé permettant d'obtenir une représentation panoramique contenant des informations de position et procédé de création, d'annotation et d'affichage d'un service de cartographie électrique panoramique
JP2007306353A (ja) * 2006-05-12 2007-11-22 Opt Kk 動画の表示方法、動画表示システムおよび広角動画撮像装置
JP4360381B2 (ja) * 2006-06-05 2009-11-11 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8085990B2 (en) * 2006-07-28 2011-12-27 Microsoft Corporation Hybrid maps with embedded street-side images
US20080043020A1 (en) * 2006-08-18 2008-02-21 Microsoft Corporation User interface for viewing street side imagery
US9319741B2 (en) 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
US8607281B2 (en) * 2006-09-07 2013-12-10 Porto Vinci Ltd. Limited Liability Company Control of data presentation in multiple zones using a wireless home entertainment hub
US9369679B2 (en) * 2006-11-07 2016-06-14 The Board Of Trustees Of The Leland Stanford Junior University System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model
US9361943B2 (en) * 2006-11-07 2016-06-07 The Board Of Trustees Of The Leland Stanford Jr. University System and method for tagging objects in a panoramic video and associating functions and indexing panoramic images with same
US9196072B2 (en) * 2006-11-13 2015-11-24 Everyscape, Inc. Method for scripting inter-scene transitions
US20080143709A1 (en) * 2006-12-14 2008-06-19 Earthmine, Inc. System and method for accessing three dimensional information from a panoramic image
JP4870546B2 (ja) * 2006-12-27 2012-02-08 株式会社岩根研究所 レイヤー生成・選択機能を備えたｃｖタグ映像表示装置
GB0700163D0 (en) * 2007-01-05 2007-02-14 Kord Ali A Display Booth
US8074241B2 (en) * 2007-03-30 2011-12-06 The Board Of Trustees Of The Leland Stanford Jr. University Process for displaying and navigating panoramic video, and method and user interface for streaming panoramic video and images between a server and browser-based client application
US8855856B2 (en) * 2007-05-08 2014-10-07 GM Global Technology Operations LLC Vehicle roll control method using controllable friction force of MR dampers
US7843451B2 (en) * 2007-05-25 2010-11-30 Google Inc. Efficient rendering of panoramic images, and applications thereof
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
US8515207B2 (en) * 2007-05-25 2013-08-20 Google Inc. Annotations in panoramic images, and applications thereof
US20100122208A1 (en) * 2007-08-07 2010-05-13 Adam Herr Panoramic Mapping Display
US8601392B2 (en) * 2007-08-22 2013-12-03 9224-5489 Quebec Inc. Timeline for presenting information
EP2528346B1 (en) 2007-09-25 2016-08-03 Nds Limited Video enabled multidirectional movement through content
US10025454B2 (en) * 2007-09-26 2018-07-17 Autodesk, Inc. Navigation system for a 3D virtual scene
KR102341800B1 (ko) * 2007-09-26 2021-12-21 에이큐 미디어 인크 오디오-비주얼 내비게이션 및 통신
US20090132967A1 (en) * 2007-11-16 2009-05-21 Microsoft Corporation Linked-media narrative learning system
US8081186B2 (en) * 2007-11-16 2011-12-20 Microsoft Corporation Spatial exploration field of view preview mechanism
US8584044B2 (en) 2007-11-16 2013-11-12 Microsoft Corporation Localized thumbnail preview of related content during spatial browsing
US8072448B2 (en) * 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
US8972177B2 (en) * 2008-02-26 2015-03-03 Microsoft Technology Licensing, Llc System for logging life experiences using geographic cues
US8015144B2 (en) 2008-02-26 2011-09-06 Microsoft Corporation Learning transportation modes from raw GPS data
US8525825B2 (en) * 2008-02-27 2013-09-03 Google Inc. Using image content to facilitate navigation in panoramic image data
US8966121B2 (en) 2008-03-03 2015-02-24 Microsoft Corporation Client-side management of domain name information
KR20090123227A (ko) * 2008-05-27 2009-12-02 삼성전자주식회사 검색 서비스 제공장치, 방법 및 프로그램
DK2324460T3 (da) 2008-08-12 2013-09-30 Google Inc Rundtur i et geografisk informationssystem
US20100082662A1 (en) * 2008-09-25 2010-04-01 Microsoft Corporation Information Retrieval System User Interface
JP5083150B2 (ja) * 2008-09-30 2012-11-28 カシオ計算機株式会社 画像処理装置、及びその処理順設定方法、処理順設定プログラム
US8259178B2 (en) 2008-12-23 2012-09-04 At&T Intellectual Property I, L.P. System and method for creating and manipulating synthetic environments
US9063226B2 (en) * 2009-01-14 2015-06-23 Microsoft Technology Licensing, Llc Detecting spatial outliers in a location entity dataset
TWI416928B (zh) * 2009-01-21 2013-11-21 Htc Corp 管理與顯示行動裝置影像及關聯地理位置資料的方法、系統及裝置
US8311556B2 (en) * 2009-01-22 2012-11-13 Htc Corporation Method and system for managing images and geographic location data in a mobile device
US20100228418A1 (en) * 2009-03-04 2010-09-09 Honeywell International Inc. System and methods for displaying video with improved spatial awareness
US9477368B1 (en) 2009-03-31 2016-10-25 Google Inc. System and method of indicating the distance or the surface of an image of a geographical object
JP2011009846A (ja) 2009-06-23 2011-01-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8275649B2 (en) * 2009-09-18 2012-09-25 Microsoft Corporation Mining life pattern based on location history
IL201129A (en) * 2009-09-23 2014-02-27 Verint Systems Ltd A system and method for automatically switching cameras according to location measurements
US9009177B2 (en) 2009-09-25 2015-04-14 Microsoft Corporation Recommending points of interests in a region
CN104284233B (zh) * 2009-10-19 2018-03-20 鹰图公司 视频和遥测数据的数据搜索、解析和同步
US8934008B2 (en) 2009-12-07 2015-01-13 Cognitech, Inc. System and method for determining geo-location(s) in images
US8612134B2 (en) 2010-02-23 2013-12-17 Microsoft Corporation Mining correlation between locations using location history
US9261376B2 (en) * 2010-02-24 2016-02-16 Microsoft Technology Licensing, Llc Route computation based on route-oriented vehicle trajectories
US10288433B2 (en) * 2010-02-25 2019-05-14 Microsoft Technology Licensing, Llc Map-matching for low-sampling-rate GPS trajectories
US8896671B2 (en) 2010-04-09 2014-11-25 3D-4U, Inc. Apparatus and method for capturing images
US8719198B2 (en) 2010-05-04 2014-05-06 Microsoft Corporation Collaborative location and activity recommendations
US9635251B2 (en) 2010-05-21 2017-04-25 Qualcomm Incorporated Visual tracking using panoramas on mobile devices
US8933986B2 (en) 2010-05-28 2015-01-13 Qualcomm Incorporated North centered orientation tracking in uninformed environments
US9593957B2 (en) 2010-06-04 2017-03-14 Microsoft Technology Licensing, Llc Searching similar trajectories by locations
CN105812771B (zh) * 2010-06-27 2017-12-08 Lg电子株式会社 数字接收器以及在数字接收器中处理字幕数据的方法
US20120042282A1 (en) * 2010-08-12 2012-02-16 Microsoft Corporation Presenting Suggested Items for Use in Navigating within a Virtual Space
JP5764982B2 (ja) 2011-03-08 2015-08-19 ソニー株式会社 再生処理装置、撮像装置、再生処理方法、及びプログラム
WO2012145317A1 (en) * 2011-04-18 2012-10-26 Eyesee360, Inc. Apparatus and method for panoramic video imaging with mobile computing devices
RU2621644C2 (ru) * 2011-05-06 2017-06-06 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
JP5591281B2 (ja) * 2011-06-03 2014-09-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および動画再生制御方法
JP5918618B2 (ja) 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US9754226B2 (en) 2011-12-13 2017-09-05 Microsoft Technology Licensing, Llc Urban computing of route-oriented vehicles
US20130166188A1 (en) 2011-12-21 2013-06-27 Microsoft Corporation Determine Spatiotemporal Causal Interactions In Data
US9339691B2 (en) 2012-01-05 2016-05-17 Icon Health & Fitness, Inc. System and method for controlling an exercise device
US9691241B1 (en) * 2012-03-14 2017-06-27 Google Inc. Orientation of video based on the orientation of a display
WO2013158034A1 (en) * 2012-04-20 2013-10-24 Skydoor Pte Ltd A method for making a content sensitive video
TWI599988B (zh) * 2012-04-23 2017-09-21 天門有限公司 製作內容細膩的視訊之方法及其相關之電腦程式與電腦可讀取媒體
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
US9767598B2 (en) 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9488489B2 (en) 2012-09-28 2016-11-08 Google Inc. Personalized mapping with photo tours
US8976224B2 (en) 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
US9171527B2 (en) * 2012-11-20 2015-10-27 Google Inc. System and method for displaying geographic imagery
KR101984915B1 (ko) * 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
US20140181630A1 (en) * 2012-12-21 2014-06-26 Vidinoti Sa Method and apparatus for adding annotations to an image
US9892743B2 (en) * 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US20140210748A1 (en) * 2013-01-30 2014-07-31 Panasonic Corporation Information processing apparatus, system and method
US9892761B2 (en) 2013-02-22 2018-02-13 Fuji Xerox Co., Ltd. Systems and methods for creating and using navigable spatial overviews for video
US10482777B2 (en) 2013-02-22 2019-11-19 Fuji Xerox Co., Ltd. Systems and methods for content analysis to support navigation and annotation in expository videos
KR101277523B1 (ko) * 2013-03-08 2013-06-21 (주) 에이노드 사운드 신호 기반의 로컬 인터랙티브 플랫폼 시스템, 이를 이용한 로컬 인터랙티브 서비스 제공 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
EP2969058B1 (en) 2013-03-14 2020-05-13 Icon Health & Fitness, Inc. Strength training apparatus with flywheel and related methods
US9310987B2 (en) * 2013-08-19 2016-04-12 Google Inc. Projections to fix pose of panoramic photos
US9244940B1 (en) 2013-09-27 2016-01-26 Google Inc. Navigation paths for panorama
WO2015100429A1 (en) 2013-12-26 2015-07-02 Icon Health & Fitness, Inc. Magnetic resistance mechanism in a cable machine
US9473745B2 (en) * 2014-01-30 2016-10-18 Google Inc. System and method for providing live imagery associated with map locations
US20150221341A1 (en) * 2014-01-31 2015-08-06 Audi Ag System and method for enhanced time-lapse video generation using panoramic imagery
US9523582B2 (en) * 2014-02-07 2016-12-20 Crown Equipment Corporation Systems, methods, and mobile client devices for supervising industrial vehicles
US10433612B2 (en) 2014-03-10 2019-10-08 Icon Health & Fitness, Inc. Pressure sensor to quantify work
US9189839B1 (en) 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
US10426989B2 (en) 2014-06-09 2019-10-01 Icon Health & Fitness, Inc. Cable system incorporated into a treadmill
WO2015195965A1 (en) 2014-06-20 2015-12-23 Icon Health & Fitness, Inc. Post workout massage device
US9002647B1 (en) 2014-06-27 2015-04-07 Google Inc. Generating turn-by-turn direction previews
US9418472B2 (en) 2014-07-17 2016-08-16 Google Inc. Blending between street view and earth view
US9471695B1 (en) * 2014-12-02 2016-10-18 Google Inc. Semantic image navigation experiences
US9740282B1 (en) * 2015-01-05 2017-08-22 Amazon Technologies, Inc. Gaze direction tracking
US10391361B2 (en) 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
US9754413B1 (en) 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
US20160292966A1 (en) * 2015-03-31 2016-10-06 Gary Denham System and method of providing a virtual shopping experience
US10061492B2 (en) * 2015-06-04 2018-08-28 Microsoft Technology Licensing, Llc Path-linked viewpoints from point of interest
EP3335418A1 (en) 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
GB2561946B (en) * 2015-08-17 2021-11-17 C360 Tech Inc Generating objects in real time panoramic video
US10217283B2 (en) 2015-12-17 2019-02-26 Google Llc Navigation through multidimensional images spaces
EP3206082A1 (en) * 2016-02-12 2017-08-16 Vroxtechnology B.V. System, method and computer program for recording a non-virtual environment for obtaining a virtual representation
US10625137B2 (en) 2016-03-18 2020-04-21 Icon Health & Fitness, Inc. Coordinated displays in an exercise device
US10272317B2 (en) 2016-03-18 2019-04-30 Icon Health & Fitness, Inc. Lighted pace feature in a treadmill
US10493349B2 (en) 2016-03-18 2019-12-03 Icon Health & Fitness, Inc. Display on exercise device
WO2017172528A1 (en) 2016-04-01 2017-10-05 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
US9762851B1 (en) * 2016-05-31 2017-09-12 Microsoft Technology Licensing, Llc Shared experience with contextual augmentation
US9992429B2 (en) 2016-05-31 2018-06-05 Microsoft Technology Licensing, Llc Video pinning
WO2018033154A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 手势控制方法、装置和电子设备
CN107340852A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 手势控制方法、装置和终端设备
US10671705B2 (en) 2016-09-28 2020-06-02 Icon Health & Fitness, Inc. Customizing recipe recommendations
US10958890B2 (en) * 2017-03-31 2021-03-23 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
US10841537B2 (en) 2017-06-09 2020-11-17 Pcms Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
US11087527B2 (en) * 2017-12-01 2021-08-10 Koninklijke Kpn N.V. Selecting an omnidirectional image for display
CN111684795B (zh) * 2017-12-15 2022-08-12 Pcms控股公司 用于在360°视频导航中使用查看路径的方法
US11538128B2 (en) 2018-05-14 2022-12-27 Verint Americas Inc. User interface for fraud alert management
US10887452B2 (en) 2018-10-25 2021-01-05 Verint Americas Inc. System architecture for fraud detection
EP3987743A1 (en) 2019-06-20 2022-04-27 Verint Americas Inc. Systems and methods for authentication and fraud detection
US11868453B2 (en) 2019-11-07 2024-01-09 Verint Americas Inc. Systems and methods for customer authentication based on audio-of-interest
US11871184B2 (en) * 2020-01-07 2024-01-09 Ramtrip Ventures, Llc Hearing improvement system
CN114089890A (zh) * 2021-09-18 2022-02-25 北京城市网邻信息技术有限公司 车辆模拟驾驶方法、设备、存储介质及程序产品
CN113824746B (zh) * 2021-11-25 2022-02-18 山东信息职业技术学院 一种虚拟现实信息传输方法及虚拟现实系统
CN114697317A (zh) * 2022-05-11 2022-07-01 上海七牛信息技术有限公司 一种文件访问方法和系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091814A (ja) * 1996-08-05 1998-04-10 Internatl Business Mach Corp <Ibm> パノラマ３次元シーンにホットリンクを生成および表示する方法および装置
JPH10208074A (ja) * 1997-01-22 1998-08-07 Hitachi Ltd 画像生成方法
JPH11168754A (ja) * 1997-12-03 1999-06-22 Mr System Kenkyusho:Kk 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体
JPH11168756A (ja) * 1997-12-03 1999-06-22 Mr System Kenkyusho:Kk 画像記録装置、画像データベース装置、画像記録方法及びコンピュータプログラムの記憶媒体
JPH11238143A (ja) * 1998-02-19 1999-08-31 Mr System Kenkyusho:Kk 画像処理方法、仮想現実感の提示方法およびそのプログラムの記憶媒体
JPH11259673A (ja) * 1998-01-08 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体
JPH11259672A (ja) * 1998-03-13 1999-09-24 Mitsubishi Electric Corp ３次元仮想空間表示装置
JP2000090232A (ja) * 1998-09-08 2000-03-31 Olympus Optical Co Ltd パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
JP2000101999A (ja) * 1998-09-24 2000-04-07 Hitachi Information Systems Ltd インタラクティブ・ビデオシステムおよびビデオ再生方法、ならびにそのプログラムを記録した記録媒体
JP2000307949A (ja) * 1999-02-19 2000-11-02 Mr System Kenkyusho:Kk 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体
JP2001167119A (ja) * 1999-12-10 2001-06-22 Mitsubishi Electric Corp 図書情報検索空間構築・検索装置および図書情報検索空間構築・検索プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001215941A (ja) * 2000-01-31 2001-08-10 D Link Corp 画像表示方法及び装置
JP2001229397A (ja) * 2000-02-17 2001-08-24 Ricoh Co Ltd ３次元仮想空間構築方法及びシステム並びに記憶媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6121966A (en) * 1992-11-02 2000-09-19 Apple Computer, Inc. Navigable viewing system
US5737533A (en) * 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
US6563529B1 (en) * 1999-10-08 2003-05-13 Jerry Jongerius Interactive system for displaying detailed view and direction in panoramic images
US6839880B1 (en) * 1999-10-21 2005-01-04 Home Debut, Inc. Electronic property viewing system for providing virtual tours via a public communications network, and a method of exchanging the same
US20020075295A1 (en) * 2000-02-07 2002-06-20 Stentz Anthony Joseph Telepresence using panoramic imaging and directional sound
US20020103722A1 (en) * 2001-02-01 2002-08-01 Brown Darrel O. Electronic recruiting station

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091814A (ja) * 1996-08-05 1998-04-10 Internatl Business Mach Corp <Ibm> パノラマ３次元シーンにホットリンクを生成および表示する方法および装置
JPH10208074A (ja) * 1997-01-22 1998-08-07 Hitachi Ltd 画像生成方法
JPH11168754A (ja) * 1997-12-03 1999-06-22 Mr System Kenkyusho:Kk 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体
JPH11168756A (ja) * 1997-12-03 1999-06-22 Mr System Kenkyusho:Kk 画像記録装置、画像データベース装置、画像記録方法及びコンピュータプログラムの記憶媒体
JPH11259673A (ja) * 1998-01-08 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体
JPH11238143A (ja) * 1998-02-19 1999-08-31 Mr System Kenkyusho:Kk 画像処理方法、仮想現実感の提示方法およびそのプログラムの記憶媒体
JPH11259672A (ja) * 1998-03-13 1999-09-24 Mitsubishi Electric Corp ３次元仮想空間表示装置
JP2000090232A (ja) * 1998-09-08 2000-03-31 Olympus Optical Co Ltd パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
JP2000101999A (ja) * 1998-09-24 2000-04-07 Hitachi Information Systems Ltd インタラクティブ・ビデオシステムおよびビデオ再生方法、ならびにそのプログラムを記録した記録媒体
JP2000307949A (ja) * 1999-02-19 2000-11-02 Mr System Kenkyusho:Kk 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体
JP2001167119A (ja) * 1999-12-10 2001-06-22 Mitsubishi Electric Corp 図書情報検索空間構築・検索装置および図書情報検索空間構築・検索プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001215941A (ja) * 2000-01-31 2001-08-10 D Link Corp 画像表示方法及び装置
JP2001229397A (ja) * 2000-02-17 2001-08-24 Ricoh Co Ltd ３次元仮想空間構築方法及びシステム並びに記憶媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101620807B1 (ko) 2009-08-18 2016-05-23 팔로 알토 리서치 센터 인코포레이티드 이동 시간의 도로 곡률 효과 및 루트 플래닝에 대한 평안함을 평가하기 위한 모델 기반 방법
JP2020520190A (ja) * 2017-05-09 2020-07-02 ヨウク インフォメーション テクノロジー （ベイジン） カンパニー リミテッド 仮想場面に関連付けられた映像再生およびデータの提供
JP6992956B2 (ja) 2017-05-09 2022-01-13 ヨウク インフォメーション テクノロジー （ベイジン） カンパニー リミテッド 仮想場面に関連付けられた映像再生およびデータの提供

Also Published As

Publication number Publication date
JP4321028B2 (ja) 2009-08-26
US20030063133A1 (en) 2003-04-03
JP2003203251A (ja) 2003-07-18
JP4735733B2 (ja) 2011-07-27
US7096428B2 (en) 2006-08-22

Similar Documents

Publication Publication Date Title
JP4735733B2 (ja) ビデオシステム、及びビデオシステム用プログラム
JP6092865B2 (ja) マップ特徴の顕著さをベースとした生成およびレンダリング
US8893026B2 (en) System and method for creating and broadcasting interactive panoramic walk-through applications
Kimber et al. Flyabout: spatially indexed panoramic video
JP3982273B2 (ja) ナビゲーション装置
US8831380B2 (en) Viewing media in the context of street-level images
EP2324460B1 (en) Touring in a geographic information system
EP2572264B1 (en) Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US20100122208A1 (en) Panoramic Mapping Display
US20120162253A1 (en) Systems and methods of integrating virtual flyovers and virtual tours
US20020154174A1 (en) Method and system for providing a service in a photorealistic, 3-D environment
JP2006526152A (ja) パス・エンハンスド・マルチメディアの表示、修正、及びそれとの対話を行うシステム及び方法
JP2011515717A (ja) 運転指図内のパノラマ画像
JP2004507724A (ja) 目標情報を表示させるための方法、地図画面内でナビゲーションを行う方法、コンピュータプログラム製品及びナビゲーション装置
Ramalho et al. Windy sight surfers: sensing and awareness of 360 immersive videos on the move
JP3950085B2 (ja) 地図誘導全方位映像システム
EP2022010A1 (en) Virtual display method and apparatus
US8346470B2 (en) Providing access to a collection of content items
JP3809901B2 (ja) 地図誘導映像システム
JP5865708B2 (ja) 施設、自然、歴史、ルートに関する画像及び音声の再生及びデータの制作方法
JP4220793B2 (ja) 構内案内装置、プログラムおよび構内案内方法
Neng et al. Get Around 360º Hypervideo Its Design and Evaluation
WO2000020987A2 (en) Systems and methods for displaying three dimensional representations and an associated separate web window
Aizawa Movie Map for Virtual Exploration in a City
Guven Authoring and presenting situated media in augmented and virtual reality

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110411

R150 Certificate of patent or registration of utility model

Ref document number: 4735733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term