JP2005339375A - 追体験空間生成装置 - Google Patents
追体験空間生成装置 Download PDFInfo
- Publication number
- JP2005339375A JP2005339375A JP2004159812A JP2004159812A JP2005339375A JP 2005339375 A JP2005339375 A JP 2005339375A JP 2004159812 A JP2004159812 A JP 2004159812A JP 2004159812 A JP2004159812 A JP 2004159812A JP 2005339375 A JP2005339375 A JP 2005339375A
- Authority
- JP
- Japan
- Prior art keywords
- observer
- space
- user
- image
- observers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【解決手段】 追体験空間生成システム1000では、天井のIRタグ群40と観測者2,4の頭頂部の赤外センサ12により、空間内での観測者の位置および観測者の姿勢を時間と関連付けて検出する。観測者2、4は、映像カメラ142により、観察者の行動にしたがってIRタグ10.1〜10.n,20.1〜20.mの付された対象物を含む画像を順次撮影し、記録データサーバ400は、この撮影された画像を時間軸上の順序情報と関連付けて取得し、記録する。ウォークスルー処理にあたっては、ユーザからの指示した視点からユーザの指定する時刻において、検出された観測者の位置および姿勢とに応じて、ユーザの視点から見た場合の仮想画像を、複数の観測者からの視点の画像を時空間的に整合させて、対象物または観測者に対応する透視映像が生成される。
【選択図】 図1
Description
Nakanishi, H., Yoshida, C., Nishimura, T. and Ishida, T.: FreeWalk: Suppoting Casual Meetings in a Network, Proc,CSCW’96, pp. 308.314 (1996). 田中浩也, 有川正俊, 柴崎亮介: 写真画像群の重なりを用いた広域的な擬似3次元空間, インタラクティブシステムとソフトウェアIX (WISS 2001) (暦元純一(編)), 日本ソフトウェア科学会, 近代科学社, pp. 75.84 (2001).
以下では、本発明の1つの例として、展示会などのイベントなどの参加者間での知識共有を取り上げて説明する。ただし、本発明は、他の応用分野として、有形無形の文化財のアーカイブ化、教育支援などに適用することも可能である。
図3は、追体験空間生成システム1000の構成をブロック図形式で示す図である。
位置検出システム部で必要となるのは図1の赤外線センサ12によって2次元画像として得られた天井の赤外線IRタグ40の位置である。IRタグ40の世界座標の位置は予め人の手によって実測している。データベース404には各センサ12ごとにタグ情報が書き込まれている。
ウォークスルー部では、位置検出システム部で計算された位置姿勢情報を元に、それとは別に映像撮影用カメラで撮影された映像を基にして仮想空間を構築する。特に限定されないが、入力としてゲーム機のコントローラを使用し、この仮想空間は時空間コラージュの手法によって作られている。映像のリソースとして撮影されたビデオデータをそのまま用いることによって撮影者の興味が反映されることになる。
図5は、体験キャプチャシステム22の構成をブロック図形式で示す図である。
図6は、ウォークスルー部を構成するコンピュータ300の一例を示す概念図である。
(ウォークスルー部の動作)
図8は、コンピュータ300が、データベース402、404にアクセスすることにより獲得できるデータの一例を示す図である。
3次元仮想空間を構築する方法として従来とられていた手法は、物体の3次元形状を手入力もしくはモーションキャプチャなどのデバイスを用いて取得し、それに撮影した画像データなどを貼り付けてテクスチャとしたり、光源の設定、シェーディング、などいわゆるCG(Computer Graphics)のテクニックを駆使して現実に近づけることをその主題としてきている。
図10は、このような時空間コラージュの一例であり、複数視点の画像から立体的な映像を作ったものである。
ウォークスルーユーザは単に移動や回転をするだけではなく、追体験空間の再現している時刻を変えることが出来る。これはビデオで言うならば早送りや巻き戻しに相当するものである。仮想空間構築に使用しているデータのうち時間にかかわるのは位置姿勢情報を格納したファイルとタグ情報を格納したファイル、コラージュに使用されるフレーム画像の3つである。フレーム画像はウォークスルー空間を構築する前処理としてビデオデータから各フレームを切り出してそれぞれのファイル名に時刻を記すことによって参照を容易にした。
図13は、4人の観測者2,4,6,8のインタラクションを撮影しその結果をウォークスルー空間で表示させた場合の例を示す図である。
Claims (4)
- 所定の空間内で観測者が体験した視覚情報を仮想的な追体験空間として再構成して提示するための追体験空間生成装置であって、
前記空間内での前記観測者の位置および前記観測者の姿勢を時間と関連付けて検出するための位置検出手段と、
前記観測者の装着する撮像手段と、
前記空間内の対象物および前記観測者にそれぞれ付され、光学的に前記対象物および前記観測者を識別可能な識別標識と、
前記観測者の装着した前記撮像手段により、前記観察者の行動にしたがって順次撮影される前記対象物を含む画像を時間軸上の順序情報と関連付けて取得し、記録するための記録手段と、
ユーザからの指示した視点からユーザの指定する時刻において、前記空間内で前記撮像手段が取得した画像情報を前記追体験空間として構成して提示するための仮想空間構成手段とを備え、
前記仮想空間構成手段は、前記位置検出手段により検出された前記観測者の前記位置および前記姿勢とに応じて、前記ユーザの視点から見た場合の仮想画像を、少なくとも1人の観測者からの視点の前記画像を時空間的に整合させて、前記対象物または前記観測者に対応する透視映像を生成する時空間コラージュ生成手段を含む、追体験空間生成装置。 - 前記時空間コラージュ生成手段は、前記観測者のうちの少なくとも1人が前記ユーザの指定した時刻において前記対象物または前記観測者を撮影していることに応じて、前記透視映像を生成する、請求項1記載の追体験空間生成装置。
- 前記時空間コラージュ生成手段は、前記観測者の撮影した前記画像の法線ベクトルと前記ユーザの視点から前記対象物または前記観測者に向かう視線ベクトルとに基づいて、前記画像を撮影した方向と前記視線ベクトルの方向とが、所定の値以下であることに応じて、前記透視映像を生成する、請求項1記載の追体験空間生成装置。
- 前記時空間コラージュ生成手段は、前記観測者の撮影した前記画像の法線ベクトルと前記ユーザの視点から前記対象物または前記観測者に向かう視線ベクトルとに基づいて、前記画像が前記視線ベクトルの方向に正対していくほど不透明度を高めるように時空間的に整合させて、前記透視映像を生成する、請求項1記載の追体験空間生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004159812A JP4379594B2 (ja) | 2004-05-28 | 2004-05-28 | 追体験空間生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004159812A JP4379594B2 (ja) | 2004-05-28 | 2004-05-28 | 追体験空間生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005339375A true JP2005339375A (ja) | 2005-12-08 |
JP4379594B2 JP4379594B2 (ja) | 2009-12-09 |
Family
ID=35492850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004159812A Expired - Lifetime JP4379594B2 (ja) | 2004-05-28 | 2004-05-28 | 追体験空間生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4379594B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013078037A (ja) * | 2011-09-30 | 2013-04-25 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
CN106373195A (zh) * | 2016-08-25 | 2017-02-01 | 北京国承万通信息科技有限公司 | 虚拟现实场景呈现方法和系统 |
JP6393387B1 (ja) * | 2017-10-17 | 2018-09-19 | 株式会社コロプラ | 仮想体験を提供するためのプログラム、コンピュータ、および方法 |
-
2004
- 2004-05-28 JP JP2004159812A patent/JP4379594B2/ja not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013078037A (ja) * | 2011-09-30 | 2013-04-25 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
CN106373195A (zh) * | 2016-08-25 | 2017-02-01 | 北京国承万通信息科技有限公司 | 虚拟现实场景呈现方法和系统 |
CN106373195B (zh) * | 2016-08-25 | 2019-06-25 | 北京国承万通信息科技有限公司 | 虚拟现实场景呈现方法和系统 |
JP6393387B1 (ja) * | 2017-10-17 | 2018-09-19 | 株式会社コロプラ | 仮想体験を提供するためのプログラム、コンピュータ、および方法 |
JP2019074962A (ja) * | 2017-10-17 | 2019-05-16 | 株式会社コロプラ | 仮想体験を提供するためのプログラム、コンピュータ、および方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4379594B2 (ja) | 2009-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7187446B2 (ja) | 拡張された仮想現実 | |
CN109891365B (zh) | 虚拟现实和跨设备体验 | |
US10055888B2 (en) | Producing and consuming metadata within multi-dimensional data | |
CN105050670B (zh) | 混合现实体验共享 | |
US9201243B2 (en) | Executable virtual objects associated with real objects | |
JP6340017B2 (ja) | 被写体と3次元仮想空間をリアルタイムに合成する撮影システム | |
EP2887322B1 (en) | Mixed reality holographic object development | |
US20140181630A1 (en) | Method and apparatus for adding annotations to an image | |
WO2014150430A1 (en) | Presenting object models in augmented reality images | |
JP6495538B2 (ja) | イメージコンテンツ検索 | |
JP2016511850A (ja) | プレノプティックライトフィールドに対しアノテーションを付加するための方法および装置 | |
US20230073750A1 (en) | Augmented reality (ar) imprinting methods and systems | |
US20190155465A1 (en) | Augmented media | |
JP2019509540A (ja) | マルチメディア情報を処理する方法及び装置 | |
CN109863746B (zh) | 用于数据探索的沉浸式环境系统和视频投影模块 | |
CN114119843A (zh) | 构建增强现实图像 | |
JP4379594B2 (ja) | 追体験空間生成装置 | |
CN112189183A (zh) | 用于呈现音频和合成现实体验的方法和设备 | |
CN111652986B (zh) | 舞台效果呈现方法、装置、电子设备及存储介质 | |
KR20180071492A (ko) | 키넥트 센서를 이용한 실감형 콘텐츠 서비스 시스템 | |
Farrugia et al. | Augmented reality | |
JP2020005150A (ja) | 録画再生装置及びプログラム | |
US20240073402A1 (en) | Multi-perspective augmented reality experience | |
Hamadouche | Augmented reality X-ray vision on optical see-through head mounted displays | |
Quinn | Making the Absent Object Present: Towards a holographic museum of modern art (hMoMA) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090908 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |