JP2004038470A - 複合現実感装置および情報処理方法 - Google Patents
複合現実感装置および情報処理方法 Download PDFInfo
- Publication number
- JP2004038470A JP2004038470A JP2002193564A JP2002193564A JP2004038470A JP 2004038470 A JP2004038470 A JP 2004038470A JP 2002193564 A JP2002193564 A JP 2002193564A JP 2002193564 A JP2002193564 A JP 2002193564A JP 2004038470 A JP2004038470 A JP 2004038470A
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- mixed reality
- observer
- space
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】複合現実空間への没入感を阻害せず観察者の簡単な動作で仮想物体を操作可能な複合現実空間とのインターフェースを提供
【解決手段】現実空間における任意座標、任意方向の現実空間映像を撮影する現実空間映像撮影手段と前記任意座標を視点位置、前記任意方向を視線方向とする仮想空間映像を生成する仮想空間映像生成手段と前記視点位置、前記視線方向を検出する位置方向検出手段と前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成手段と前記複合現実空間映像を表示する複合現実空間映像表示手段と仮想空間に存在する仮想空間物体および仮想空間の時間を予め定められている手順に従って管理、更新する仮想空間管理手段とを有する複合現実感装置であって複合現実空間映像の観察者の視線と仮想空間物体の位置との関係を求める計算手段と前記計算手段の結果に応じて仮想空間物体を選択する選択手段とを有する
【選択図】 図９
【解決手段】現実空間における任意座標、任意方向の現実空間映像を撮影する現実空間映像撮影手段と前記任意座標を視点位置、前記任意方向を視線方向とする仮想空間映像を生成する仮想空間映像生成手段と前記視点位置、前記視線方向を検出する位置方向検出手段と前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成手段と前記複合現実空間映像を表示する複合現実空間映像表示手段と仮想空間に存在する仮想空間物体および仮想空間の時間を予め定められている手順に従って管理、更新する仮想空間管理手段とを有する複合現実感装置であって複合現実空間映像の観察者の視線と仮想空間物体の位置との関係を求める計算手段と前記計算手段の結果に応じて仮想空間物体を選択する選択手段とを有する
【選択図】 図９
Description
【０００１】
【発明の属する技術分野】
本発明は、現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成するものに関する。
【０００２】
【従来の技術】
複合現実感装置とは、現実空間映像と、ユーザの視点位置、視線方向に応じて生成される仮想空間映像とを合成することにより得られる複合現実空間映像をユーザに提供するものである。複合現実感装置は、現実空間中に仮想物体が実在しているかのように観察者に提示することが可能であり、テーマパーク、アミューズメント施設、各種展示会、博覧会、博物館、水族館、植物園、動物園等への利用が期待されている。
【０００３】
テレビゲームやバーチャルリアリティ装置などの仮想空間映像装置において観察者が仮想空間とのインターフェースとして、従来ジョイスティックなどの専用コントローラーやマウス、キーボードなどが用いられてきた。複合現実感装置においてもこれらのデバイスを利用することはもちろん可能である。しかし日頃テレビゲームなどで利用しているインターフェースを利用することで、複合現実空間の観察者にテレビゲームへの類似性を感じさせる危惧がある。観察者がこの類似性を感じることで、現実空間と仮想空間が融合した状態への没入感を大きく損ねてしまう。
【０００４】
また、頭部装着型表示装置を頭に装着することが前提となる複合現実感装置において、観察者にこれ以上のデバイスの装着または保持を要求することは、観察者の複合現実空間における自由度を阻害するだけでなく不快感を増大させてしまう。
【０００５】
特開２０００−３５３２４８では観察者の腕に装着した位置方向センサによって腕の位置方向を検出しその変化をインターフェース手段としている。腕に装着する位置方向センサはジョイスティックなどに比べ小型軽量であり、身体を使った直感的なインターフェースは没入感を深める好例と考えられる。
【０００６】
【発明が解決しようとする課題】
以上説明したように、観察者が可能な限り装着物を身体につけること無く、自由に動作することが可能で、複合現実空間への没入感を阻害しないような複合現実空間とのインターフェースが必要とされている。
【０００７】
本発明は上述の課題に鑑みてなされたものであり、複合現実空間への没入感を阻害せず、観察者の簡単な動作で仮想物体を操作可能な複合現実空間とのインターフェースを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有することを特徴とする。
【０００９】
請求項１記載の複合現実感装置は、現実空間における任意座標、任意方向の現実空間映像を撮影する現実空間映像撮影手段と、前記任意座標を視点位置、前記任意方向を視線方向とする仮想空間映像を生成する仮想空間映像生成手段と、前記視点位置および、または前記視線方向を検出する位置方向検出手段と、前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成手段と、前記複合現実空間映像を表示する複合現実空間映像表示手段と、仮想空間に存在する仮想空間物体および仮想空間の時間を、予め定められている手順に従って管理、更新する仮想空間管理手段とを有する複合現実感装置であって、複合現実空間映像の観察者の視線と、仮想空間物体の位置との関係を求める計算手段と、前記計算手段の結果に応じて仮想空間物体を選択する選択手段とを有することを特徴とする。
【００１０】
本願請求項９に記載の情報処理方法は、現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成する情報処理方法であって、観察者の視点位置、視線方向を入力し、前記観察者の視点位置、前記視線方向および各仮想空間物体の動作モードに応じて、仮想空間映像を生成し、前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する情報処理方法であり、前記観察者の視線方向と前記仮想空間物体との位置の関係から前記仮想空間内の複数の仮想空間物体から任意の仮想空間物体を選択し、該選択された仮想空間物体の動作モードを変更することを特徴とする。
【００１１】
【発明の実施の形態】
（実施形態１）
本実施形態は水族館における海底散歩の疑似体験を行なうことのできる展示装置としての応用例を説明するものである。
【００１２】
図１は本発明における展示装置の構成図である。
【００１３】
各観察者１００は疑似体験を行なうために、複合現実空間映像を表示するＨＭＤ１１０（ヘッドマウンテッドディスプレイ）を頭部に装着して舞台装置内に立っている。なお、本装置では同時に体験可能な観察者を４人に制限しているが、これに限定されるものではない。
【００１４】
ＨＭＤ１１０は図２（ａ）（ｂ）の外観図に示されるように、左右両眼用の２つのビデオカメラ１１１、２つの小型表示装置１１２、位置姿勢センサ受信機１１３で構成されている。小型表示装置１１２は液晶ディスプレイと光学プリズムによって構成されている。ビデオカメラ１１１は観察者の視点位置および視線方向の現実空間映像を撮影する。位置姿勢センサ受信機１１３は後述する位置姿勢センサ発信機と本体との組み合わせで観察者の視点位置および視線方向を計測する。小型表示装置１１２にはビデオカメラ１１１によって取得された現実空間映像と、位置姿勢計測値から観察することのできる仮想空間映像とを合成した複合現実空間映像が表示される。なお、複合現実空間映像は観察者が高い品質の疑似体験を行なうことができるようにするため立体映像として提供されるのが望ましい。
【００１５】
再び図１の説明に戻る。１３０は位置姿勢センサ発信機、１３１は位置姿勢センサ本体である。位置姿勢センサ受信機１１３、位置姿勢センサ発信機１３０は位置姿勢センサ本体１３１に接続されている。位置姿勢センサ発信機１３０からは磁気が発信されており、位置姿勢センサ受信機１１３がこの磁気を受信する。位置姿勢センサ本体１３１は位置姿勢センサ受信機１１３の磁気受信強度から各位置センサの位置および方向を算出する。本実施形態では米国Ｐｏｌｈｅｍｕｓ社製ＦＡＳＴＲＡＫや米国Ａｓｃｅｎｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ社製Ｆｌｏｃｋ ｏｆ Ｂｉｒｄｓなどを利用することが可能であるが、これに限定されるものではなく他の市販されている超音波式、光学式位置姿勢センサも利用可能である。さらに観察者の観察位置を固定して運用すれば姿勢センサ（ジャイロ）も利用可能である。図１に向かって２台あるうちの左側は左側２人の観察者の視点位置および視線方向を、右側は右側の２人のそれらを計測している。もし配線上問題が生じなければ１セットで構成してもよい。
【００１６】
図５は映像装置１４０の構成図である。１４０は観察者の複合現実空間映像を生成し観察者に表示する映像装置で、観察者ごとに１組必要となる。観察者数を増やす場合、観察者数に応じてこの構成を展示装置に追加してゆけばよい。
【００１７】
１４０は観察者の装着しているＨＭＤ１１０とコンピュータ１４１で構成される。
【００１８】
コンピュータ１４１にはビデオキャプチャボード１４２、ＣＧ描画支援機能を有するグラフィックボード１４４、ネットワークインターフェース１４９が搭載されている。なおビデオキャプチャボード１４２、グラフィックボード１４４は立体視映像を提供するために右目用と左目用の２つずつが搭載されている。
【００１９】
各装置はコンピュータ１４１内部において、ＣＰＵ１４５、ＨＤＤ（ハードディスク）１４６およびメモリ１４７と接続されている。
【００２０】
コンピュータ１４１外部においては、ビデオキャプチャボード１４２にはＨＭＤ１１０のビデオカメラ１１１が、グラフィックボード１１２にはＨＭＤ１１０の表示装置１１２が、ネットワークインターフェース１４９には、イーサネット（Ｒ）などで構成されるネットワーク１６０が接続されている。
【００２１】
映像装置１４０はネットワーク１６０を介して他の映像装置と通信可能な状態になっている。
【００２２】
コンピュータ１４１では上述した構成によって観察者の複合現実空間映像を生成し提供するために、複合現実映像生成プログラムが動作している。複合現実映像生成プログラムは、後述する映像装置１５０が送信する複合現実空間情報に基づいて各観察者の視点での仮想空間映像を生成し、ビデオカメラ１１１からの現実空間映像をビデオキャプチャボード１４２によって取得し、これら両者を合成し複合現実映像を生成して、グラフィックボード１１２を経由してＨＭＤ１１０の小型表示装置１１２に表示する。この処理の結果、観察者には現実物体である海底を模した舞台装置内に、仮想物体である水生生物があたかも現実物体として舞台装置内を浮遊しているように見えるようになる。
【００２３】
図６は映像装置１５０の構成図である。映像装置１５０は観察者の視点位置視線方向取得、複合現実空間管理、複合現実空間情報の通知、固定された視点における複合現実空間映像の生成、環境音楽再生、効果音再生を行なう映像装置であり、複合現実感装置に１つ設置される。
【００２４】
映像装置１５０は観察者の視点位置視線方向計測を行なう位置方位センサ本体１３１、ビデオカメラ１８４、ディスプレイ１８０、スピーカー１８２とコンピュータ１５１で構成される。
【００２５】
コンピュータ１５１はコンピュータ１４１と同様に、ビデオキャプチャボード１４２、ＣＧ描画支援機能を有するグラフィックボード１４４、ネットワークインターフェース１４９が搭載される。さらにこれらに加えてシリアルインターフェース１５４とサウンドボード１５５が搭載される。
【００２６】
各装置はコンピュータ１４１内部において、ＣＰＵ１４５、ＨＤＤ（ハードディスク）１４６およびメモリ１４７と接続されている。
【００２７】
コンピュータ１５１外部においては、コンピュータ１４１同様の接続に加え、シリアルインターフェース１５４が位置方向センサ本体１３１と、サウンドボード１５５がスピーカー１８２に接続されている。
【００２８】
映像装置１５０がネットワーク１６０を介して他の映像装置と通信可能な状態になっていることも同様である。
【００２９】
コンピュータ１５１では上述した構成によって、固定された視点における複合現実空間映像の生成のために複合現実映像生成プログラムが、観察者の視点位置視線方向取得、複合現実空間管理、複合現実空間情報の通知を行なうための複合現実空間管理プログラムが、環境音楽再生、効果音再生のためのサウンドプログラムが並行動作している。
【００３０】
複合現実映像生成プログラムは、後述する映像装置１５０が送信する複合現実空間情報に基づいて、ビデオカメラ１８４の視点位置視線方向の仮想空間映像を生成し、ビデオカメラ１８４からの現実空間映像をビデオキャプチャボード１４２によって取得し、これら両者を合成し複合現実映像を生成して、グラフィックボード１１２を経由してディスプレイ１８０に表示する。
【００３１】
この処理の結果、ディスプレイにはビデオカメラ１８４の視点位置視線方向から見た舞台装置内に、仮想物体である水生生物があたかも現実物体として舞台装置内を浮遊しているように見えるようになる。ディスプレイ１８０は観察者以外の来客者に複合現実空間映像を見てもらうために展示装置正面に設置される。またビデオカメラ１８４は舞台装置全体を俯瞰撮影するよう固定設置されており、一風変わった視点位置からの複合現実映像を来客者は楽しむことができる。
【００３２】
複合現実空間管理プログラムは、（１）予め設定されたシナリオに沿って仮想空間時間を進め仮想空間物体の位置姿勢および状態を更新し、（２）位置方位センサ本体１３１と通信し、位置方位センサ受信機１１３の位置方向を取得して、観察者の視点位置視線方向（現実空間物体の位置姿勢）を取得し、（３）それらの関係から観察者の視線関係の処理と新しい複合現実空間状態の計算を実行する。（４）そして、上記処理によって得られた情報−複合現実空間情報−を、ネットワーク１６０を介して各映像装置で動作している複合現実映像生成プログラムやサウンドプログラムに送信することを繰り返す。
【００３３】
サウンドプログラムは複合現実空間管理プログラムから送信されてくる複合現実空間情報に基づいてコンピュータ１５１に予め保持されている所定の音楽データを再生する。再生された音楽や効果音は舞台装置内の観察者全員が認識できる適当な大きさスピーカー１８２より出力される。
【００３４】
出力される環境音楽は、観察者が複合現実空間映像による疑似体験をより没入感を感じさせるための補助要素として利用されるものであり、相応しいものを予め用意しておく必要がある。効果音は複合現実空間中でのイベント（例えば仮想物体同士、あるいは現実物体と仮想物体の衝突）において没入感を高めるため、そして後述する視線によるユーザーインターフェースのために複合現実空間状態変化を観察者に知らせるために用いられる。
【００３５】
以上説明してきた構成要素は舞台上の大道具とディスプレイ１８０を除いて、複合現実空間映像の観察者や展示装置付近に居る施設の来客者からは見えない位置、例えば舞台装置の裏などに設置されて、没入感を軽減させ疑似体験の低質化を避けるように設計されるほうが望ましい。
【００３６】
以上展示装置の構成および簡単な動作について説明した。
【００３７】
図３、図４は展示施設の舞台装置外観図で、施設への来客が実際に目にすることのできる状態を表している。図３は観察者の居ない状態、図４は観察者が疑似体験を行っている状態の展示装置である。
【００３８】
舞台装置では大道具と照明、床によって海底の状況が表現されている。大道具１０２、１０３は岩礁を模した造形物である。大道具１０４は海底に沈んだ遺跡を想像させる石柱の造形物である。大道具１０６は海底における遠景を描いた壁もしくは衝立状の大道具で、舞台装置の大きさを超えて海底がどこまでも続いているかのごとく感じさせるために海中の環境色で塗装されている。大道具１０８は海底を模した床である。１０１は観察者がＨＭＤ１１０を着脱するときに立つ観察者初期位置、１０５は観察者初期方向を示す矢印である。図３では説明のため図示してあるが、実際の舞台装置にはこの領域を示す線や色分けがあるわけではない。
【００３９】
観察者は疑似体験を行なうとき、まず舞台装置内に進入し、観察者初期位置１０１に立ちＨＭＤ１１０を頭部に装着する。ここでＨＭＤ１１０はそれぞれの観察者初期位置１０１の側にある大道具１０３の上部の窪みに置かれている。大道具１０３はＨＭＤ置き台を兼用した造型物となっている。ＨＭＤ置き台１０３からＨＭＤ１１０を取り出し装着完了後、観察者は観察者初期位置１０１の近傍を含む領域内を動き回り、任意の方向を向いたり任意の姿勢をとったりすることが可能である。この領域の範囲はＨＭＤ１１０の配線の長さと位置姿勢センサ１３１の測定可能範囲に依存する。疑似体験を終了したくなったら観察者は観察者初期位置１０１に戻り、ＨＭＤ１１０を外してＨＭＤ置き台１０３の上部において舞台装置から退出する。舞台装置からの入退出は図３の手前側から行なう。手前側は本展示装置の設置場所に依存するが、大抵の場合は通路もしくはある程度人の溜まることの可能な空間とつながっている。後者の場合は疑似体験の順番待ちをする列を作ったり、ディスプレイ１８０で表示されるビデオカメラ１８４の視点での複合現実映像を楽しむ人のとどまる場所を作ったりすることが可能である。これは多くの来客に展示施設を楽しんでもらう観点から望ましい形態である。
【００４０】
観察者初期位置１０１は観察者１００がＨＭＤ１１０を着脱する領域であり、観察者初期方向１０５は観察者１００が疑似体験開始の推奨視線方向である。舞台装置内には様々な造型物が設置されているため、馴染みの無いＨＭＤという有線装置を付けて、大胆に動き回る人は少ない。従って大抵は疑似体験中に観察者初期位置１０１で観察者初期方向１０５を向いて複合現実映像を観察することが最も頻度が高くなると期待できる。従って、この位置および方向において生成される複合現実映像の質が高くなるように配慮して舞台装置を組むようにしている。例えば、現実空間映像には待ち行列や展示施設を傍観している来客者が見えないように観察者初期位置１０１、背景用壁１０６の位置を調整したり、複数の岩礁１０３が観察者１００から異なる距離をもって視界に入るようにして奥行きや立体感を強く感じるようにしたり、他の観察者１１０が視界に入るようにして、自分の疑似体験を他者と共有していることを意識させたり、他の観察者と自分との間を広く空間を作ってその空間に仮想空間物体である水生生物を表示させることで奥行きを感じさせたり、背景用壁はＨＭＤ１１０で表示されたときに空間が広がっているかのように感じさせる色を選択したり、などである。
【００４１】
観察者は以上説明してきた舞台装置内で複合現実映像を鑑賞することで質の高い疑似体験を行なうことができる。
【００４２】
なお本実施形態の舞台装置の構成では場合によっては背景用壁が視界に入らないため没入感を軽減させる時がある。これは、舞台装置が観察者以外から目に付くようにすることによる集客効果を狙ったのと、できるだけ多くの人に体験してもらうために舞台装置への出入りを容易にしたためである。こういった利点と引き換えに好みに応じて全周囲を壁で囲うようにして没入感を高めるようにしてもよい。
【００４３】
以上展示装置の舞台装置について構成、運用の概要、疑似体験への効果について説明した。
【００４４】
次に本発明の目的である複合現実空間への没入感を阻害しないような視線による複合現実空間とのインターフェースインターフェースについて、映像装置１４０，１５０で動作するプログラムの処理とともに詳細に説明する。
【００４５】
図７は各観察者用の複合現実映像の生成を行なう複合現実映像生成プログラムのフローチャートである。このプログラムは映像装置１４０，１５０で実行される。プログラムは並列プログラミングで一般的なスレッド技術を用いて作成されており、メインプログラムと並行して複合現実空間状態受信スレッド（Ｓ７１０）と映像キャプチャスレッド（Ｓ７２０）が動作している。複合現実空間状態受信スレッドは後述する複合現実空間管理プログラムからネットワークを介して送信される複合現実空間状態（観察者視点位置視線方向、仮想空間物体位置方向および状態）を受信してメインプログラムに通知する。映像キャプチャスレッドはビデオキャプチャボード１４２でキャプチャされた現実空間映像をデジタル化してメインプログラムに通知する。メインプログラムは複合現実空間状態受信スレッドが受信した複合現実空間情報によって仮想空間状態を更新し（Ｓ７０１）、これに基づいて仮想空間物体である水生生物や、状態表示のためのアイコンなどの仮想空間映像を生成する（Ｓ７０２）。
【００４６】
このとき複合現実空間情報の内容をすべて描画に利用せず、当該観察者に必要な情報のみを描画に利用する。例えば仮想空間物体が選択状態であることを示すアイコン２１０については他の観察者の分は表示すると難解になるため、本実施形態では自分のアイコン２２０以外は描画しない。
【００４７】
続いて映像キャプチャスレッドから得られた現実空間映像と仮想空間映像を合成し出力する（Ｓ７０４）。以上の処理を繰り返し行なう（Ｓ７０５）。なお水生生物やアイコンのＣＧモデルは予め映像装置１４０に記憶されている。
【００４８】
図８は複合現実空間管理プログラムのフローチャートである。このプログラムは映像装置１５０で実行される。複合現実映像生成プログラム同様スレッド技術を用いて作成されており、メインプログラムと並行して位置方向取得スレッド（Ｓ８４０）が動作している。位置方向取得スレッドは位置姿勢センサ本体１３１と通信して観察者の視点位置姿勢を常時取得している。
【００４９】
メインプログラムは位置方向取得スレッドから観察者の視点位置姿勢を受信する（Ｓ８００）。そして、仮想空間内の時間を単位時間だけ進め（Ｓ８０２）、仮想空間中のイベントの有無を判定し対応する処理行なうと同時に仮想空間物体である水生生物やアイコンの位置姿勢を再計算し仮想空間状態を更新する（Ｓ８０３）。続いて位置方向取得スレッドから得られた観察者の視線方向と仮想空間物体の位置との関係を計算し、関係履歴に応じて処理する一連の視線関係処理を行なう（Ｓ８０４）。これについては後述する。最後に前の視線関連処理による状況変化を反映するために新たな状況において再度仮想空間状態を更新し（Ｓ８０６）、仮想空間状態と観察者の視点位置姿勢を動作しているすべての複合現実映像生成プログラムおよびサウンドプログラムに送信する（Ｓ８０８）。以上の処理を繰り返し行なう（Ｓ８１０）。
【００５０】
図９はＳ８０４の視線関係処理の内容を詳しく示したフローチャートである。フローチャートのスタートはＳ８０３に、エンドはＳ８０６に接続されている。視線関係処理は観察者と仮想空間物体間の視線によるインターフェースに関する処理を司っている。
【００５１】
本プログラムではすべての観察者（視線）はモードを有している。モードには「一覧モード」と「注目モード」の二種類が存在する。
【００５２】
一覧モードとは観察者が複合現実空間中に存在するすべての仮想空間物体を眺めている状態で、観察者が任意の仮想空間物体を選択可能な状態でもある。本プログラムでは初期値に設定される。一覧モード時の表示装置１１２に表示される片目分の画面を図１０に示す。２００は水生生物をあらわす仮想空間物体である。
【００５３】
注目モードとは一覧モード時に視線によって選択された仮想空間物体が観察者の目前まで移動し停止している状態で、選択された仮想空間物体を間近で良く観察することが可能な状態である。注目モード時の表示装置１１２の画面を図１２に示す。２０２は一覧モードで選択され観察者の目前で停止している仮想空間物体である。
【００５４】
それでは観察者が一覧モードにおいて視線によって仮想空間物体を選択し、注目モードに移行して目前で観察するまでの手順について図９を使って説明する。
【００５５】
前提としてすべての仮想空間物体は観察者（視線）の数だけ“カウンタ”と“ステータス”を有しているものとする。“ステータス”は通常状態、選択状態、注目状態があり、初期値は通常状態である。
【００５６】
本プログラムは、まずすべての視線から１つを選び出し、モードを判定する（Ｓ９０２）。
モードが一覧モードであった場合、すべての仮想空間物体と視点位置とを結ぶ線分と、視線との成す角度を計算し（Ｓ９０４）、その中から角度が最小かつ他の観察者の視線によって選択状態になっていない仮想空間物体を特定する。もし該当する仮想物体が複数存在する場合はランダムに選んでも良いし、観察者の視点位置からの距離が近いものを選んでも良い（Ｓ９０６）。次に特定された仮想空間物体の当該視線に対応する“カウンタ”を１増やし、それ以外の仮想空間物体の当該視線に対応する“カウンタ”を０にする（Ｓ９０８）。続いて特定された仮想空間物体の当該視線に対応する“カウンタ”を、予め本プログラムに初期値として設定されている回数に達しているか調べ（Ｓ９１０）、もし達していなければこの視線についての処理を終了する。もし達していれば、特定された仮想空間物体が既に当該視線によって選択状態にされているかどうかを仮想空間物体の“ステータス”によって調べる（Ｓ９１２）。もし“ステータス”が選択状態であれば注目状態に更新して（Ｓ９１４）当該視線のモードを注目モードに変更して処理を終了する（Ｓ９１６）。“ステータス”が通常状態であれば選択状態に更新して処理を終了する。いずれの場合も特定された仮想空間物体の当該視線に対応するカウンタを０に戻す（Ｓ９１９）。
【００５７】
これに続くＳ８０６では、“ステータス”が選択状態である仮想空間物体の有無が判別される。もし選択状態である仮想空間物体が存在した場合は、図１１のように選択状態である仮想空間物体２０２の近傍に選択状態であることを示すアイコン２１０が表示されるように複合現実空間状態が変更される。ここでアイコン２１０は仮想空間物体である。アイコン２１０はもし存在自体が没入感を妨げるようなものであれば使わない、すなわち表示されるように複合現実空間状態を変更しなくてももちろん構わない。
【００５８】
またＳ８０６ではすべての仮想空間物体の“ステータス”が調べられ、選択状態であったものが注目状態に遷移した場合、当該仮想空間物体について図１１の状態からアイコン２１０が消去されるように複合現実空間状態が変更される。さらに当該仮想空間物体を観察者の目前に移動するように複合現実空間状態が変更される。具体的には先のＳ８０３で“ステータス”が注目状態にある仮想空間物体については位置方向を更新せず、Ｓ８０６で一定時間内に観察者の位置観察者の目前で静止するような別処理によって位置方向の更新を行なうようにする。つまり注目状態にある仮想空間物体はＳ８００〜Ｓ８１０の一連の処理を繰り返し行なう間に観察者の目前に位置を移動させ静止するよう処理される。
【００５９】
以上観察者が一覧モードにおいて視線によって仮想空間物体を選択し、注目モードに移行して目前で観察するまでの手順について説明した。
【００６０】
なお実際には、Ｓ９００〜Ｓ９０１の処理は処理装置１５０で計測されるすべての視線について行なわれ、ある視線についてはＳ９０２で上記の処理手順が行なわれない可能性があることは言うまでも無い。
【００６１】
次に、注目モードにおいて観察者が仮想空間物体を間近で観察している状態から一覧モードに戻す手順について説明する。
【００６２】
当該視線のモードが注目モードになった場合（Ｓ９０２）、“ステータス”が注目状態となった仮想空間物体と当該視線との成す角度を計算し（Ｓ９２０）、角度が一定値以上となった場合、注目状態となった仮想空間物体の当該視線に対応する“カウンタ”を１増やし、（Ｓ９２４）そうでなければ“カウンタ”を０にする。（Ｓ９３２）もし“カウンタ”が予め設定されている規定回数に達すれば、当該仮想空間物体の“ステータス”を通常状態に戻し、（Ｓ９２８）当該視線の視線モードを一覧モードに変更し、（Ｓ９３０）“カウンタ”を０に戻し処理を終了する。（Ｓ９３１）
これに続くＳ８０６では、またＳ８０６ではすべての仮想空間物体の“ステータス”が調べられ、注目状態であったものが通常状態に遷移した場合、当該仮想空間物体を観察者の目前から移動するように仮想空間状態が変更される。具体的には通常状態に戻ったことによりＳ８０３によって、他の仮想空間物体と同様に処理されるようにしている。これにより当該仮想空間物体をＳ８００〜Ｓ８１０の一連の処理を繰り返し行なううちに観察者の目前に静止している状態から抜けることができる。
【００６３】
以上観察者が注目モードにおいて仮想空間物体を間近で観察している状態から一覧モードに戻す手順について説明した。
【００６４】
なお実際には、Ｓ９００〜Ｓ９０１の処理は処理装置１５０で計測されるすべての視線について行なわれ、ある視線についてはＳ９０２で上記の処理手順が行なわれない可能性があることは言うまでも無い。
【００６５】
図１６はサウンドプログラムのフローチャートである。このプログラムは映像装置１５０で実行される。複合現実映像生成プログラム同様スレッド技術を用いて作成されており、メインプログラムと並行して複合現実空間状態受信取得スレッド（Ｓ１６１０）が動作している。複合現実空間状態受信取得スレッドで受信される複合現実空間情報に応じて音楽の演奏を行なう。（Ｓ１６０１）本実施形態では環境音楽の演奏や、ある仮想空間物体の“ステータス”が変化した場合、例えば選択状態になった場合などに所定の効果音を発生する。効果音は好みの物を選択可能であり、もちろん使わなくても構わない。
【００６６】
以上複合現実空間への没入感を阻害しないような視線による複合現実空間とのインターフェースインターフェースについて説明した。これによれば観察者の視線方向を利用した仮想空間物体の「選択」、選択された仮想空間物体に対し処理を適用する「確定」の二段階の処理によって、観察者は興味ある仮想物体を興味の赴くままに見続ける、つまり無意識のうちに視線を向けることによって、自然に目前まで引き寄せ良く観察することが可能となる。また興味がなくなった場合や別の仮想物体に興味を持った場合は、視線方向を目前の仮想物体から逸らすことで自然に仮想物体を目前に停止している状態から開放することが可能である。これは興味があるものは見続け、興味の無いものは見ないという人間の行動にとって極めて自然なユーザーインターフェースと言える。
【００６７】
さらには、観察者はＨＭＤ以外の特定のデバイスを手の保持したり身につけたり操作したりする必要なく、複合現実感への没入感を損ねることが無い。
【００６８】
（実施形態２）
実施形態２は実施形態１の変形例であり、構成等は実施形態１と同様である。実施形態１が複合現実空間管理プログラムにおける選択および確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と、視線との角度を利用していたのを仮想空間物体の位置と視線との距離を利用するようにした例である。図１３に視線関係処理のフローチャートを示す。選択および確定判定のためのパラメータが角度から距離に変更になった以外変更点は無いので詳しい説明は省略する。
【００６９】
（実施形態３）
実施形態３は実施形態１、２の変形例であり、構成等は実施形態１と同様である。実施形態１が複合現実空間管理プログラムにおける選択および確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と視線との角度を、実施形態２が仮想空間物体の位置と観察者の視線との距離を、それぞれパラメータとして利用して、それぞれ最小値となった回数が予め定められた規定回数を超えた場合を判定基準にしていたが、本実施形態では所定時間連続してそれぞれ最小値のなった場合を判定基準とした例である。図１４に角度について適応した視線関係処理のフローチャートを、図１５に距離について適応した視線関係処理のフローチャートをそれぞれ示す。タイマーによって規定時間が経過したかどうかを調べる以外、変更点は無いので詳しい説明は省略する。
【００７０】
（実施形態４）
実施形態４は実施形態１に準ずる例であり、構成等は実施形態１と同様である。実施形態１が複合現実空間管理プログラムにおける確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と、視線との角度を利用していたのを、予め設定されている初手時間が経過したことを契機にして確定を行なうようにした例である。図１７に視線関係処理のフローチャートを示す。タイマーによって規定時間が経過したかどうかを調べる以外、変更点は無いので詳しい説明は省略する。
【００７１】
上記各実施形態によれば、観察者の視線方向を利用した仮想空間物体の「選択」、選択された仮想空間物体に対し処理を適用する「確定」の二段階の処理によって、観察者は興味ある仮想物体を興味の赴くままに見続けることができる。無意識のうちに視線を向けることによって、自然に目前まで引き寄せ良く観察することが可能となる。また興味がなくなった場合や別の仮想物体に興味を持った場合は、視線方向を目前の仮想物体から逸らすことで自然に仮想物体を目前に停止している状態から開放することが可能である。これは興味があるものは見続け、興味の無いものは見ないという人間の行動にとって極めて自然なユーザーインターフェースと言える。
【００７２】
さらに“カウンタ”の規定回数を変更することで「選択」される仮想物体が頻繁に変更されることを防止すること、選択した仮想物体を目前まで引き寄せるのかどうかを考える猶予を与えるといった実際に試して見なければどの程度が使いやすいか判明しない部分について微調整を行なうことが可能となる。
【００７３】
そして仮想空間物体の“ステータス”変化に伴ってカーソルを表示したり、効果音を鳴らすようにしたことで、より状態の変化がわかりやすいユーザーインターフェースを提供することができる。
【００７４】
さらには、観察者はＨＭＤ以外の特定のデバイスを手の保持したり身につけたり操作したりする必要なく、複合現実感への没入感を損ねることを防ぐことができる。
【００７５】
さらには、観察者が複数であっても同じ複合現実空間を共有することができ、また個々の観察者が独立して任意の仮想物体を選択して、間近で観察することが可能であるため、一層没入感を高めることができる。
【００７６】
また、実施形態４によれば、一定時間内に観察者に選択と確定を要求するようなシナリオに従った複合現実空間管理を行なう際に、それを自然に行なわせることが可能となる。これはテーマパークや展示会などにおいて複合現実感装置を運用する場合に要求される「一定時間あたりの体験者数を向上させつつ、体験者にシナリオを十分楽しんでもらう。」ということを実現するために効果的である。
【００７７】
【発明の効果】
本発明によれば、複合現実空間への没入感を阻害せず、観察者の簡単な動作で仮想物体を操作可能な複合現実空間とのインターフェースを提供することができる。
【図面の簡単な説明】
【図１】舞台装置外観図
【図２】ＨＭＤ外観図
【図３】観察者がいる状態の舞台装置外観図
【図４】展示装置構成図
【図５】処理装置１４０構成図
【図６】処理装置１５０構成図
【図７】複合現実映像生成プログラムのフローチャート
【図８】仮想空間管理プログラムのフローチャート
【図９】視線関係処理サブプログラムのフローチャート
【図１０】一覧モード時の画面例
【図１１】選択モード時の画面例
【図１２】注目モード時の画面例
【図１３】実施形態２における視線関係処理サブプログラムのフローチャート
【図１４】実施形態３における視線関係処理サブプログラムのフローチャート１
【図１５】実施形態３における視線関係処理サブプログラムのフローチャート２
【図１６】サウンドプログラムのフローチャート
【図１７】実施形態４における視線関係処理サブプログラムのフローチャート
【発明の属する技術分野】
本発明は、現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成するものに関する。
【０００２】
【従来の技術】
複合現実感装置とは、現実空間映像と、ユーザの視点位置、視線方向に応じて生成される仮想空間映像とを合成することにより得られる複合現実空間映像をユーザに提供するものである。複合現実感装置は、現実空間中に仮想物体が実在しているかのように観察者に提示することが可能であり、テーマパーク、アミューズメント施設、各種展示会、博覧会、博物館、水族館、植物園、動物園等への利用が期待されている。
【０００３】
テレビゲームやバーチャルリアリティ装置などの仮想空間映像装置において観察者が仮想空間とのインターフェースとして、従来ジョイスティックなどの専用コントローラーやマウス、キーボードなどが用いられてきた。複合現実感装置においてもこれらのデバイスを利用することはもちろん可能である。しかし日頃テレビゲームなどで利用しているインターフェースを利用することで、複合現実空間の観察者にテレビゲームへの類似性を感じさせる危惧がある。観察者がこの類似性を感じることで、現実空間と仮想空間が融合した状態への没入感を大きく損ねてしまう。
【０００４】
また、頭部装着型表示装置を頭に装着することが前提となる複合現実感装置において、観察者にこれ以上のデバイスの装着または保持を要求することは、観察者の複合現実空間における自由度を阻害するだけでなく不快感を増大させてしまう。
【０００５】
特開２０００−３５３２４８では観察者の腕に装着した位置方向センサによって腕の位置方向を検出しその変化をインターフェース手段としている。腕に装着する位置方向センサはジョイスティックなどに比べ小型軽量であり、身体を使った直感的なインターフェースは没入感を深める好例と考えられる。
【０００６】
【発明が解決しようとする課題】
以上説明したように、観察者が可能な限り装着物を身体につけること無く、自由に動作することが可能で、複合現実空間への没入感を阻害しないような複合現実空間とのインターフェースが必要とされている。
【０００７】
本発明は上述の課題に鑑みてなされたものであり、複合現実空間への没入感を阻害せず、観察者の簡単な動作で仮想物体を操作可能な複合現実空間とのインターフェースを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有することを特徴とする。
【０００９】
請求項１記載の複合現実感装置は、現実空間における任意座標、任意方向の現実空間映像を撮影する現実空間映像撮影手段と、前記任意座標を視点位置、前記任意方向を視線方向とする仮想空間映像を生成する仮想空間映像生成手段と、前記視点位置および、または前記視線方向を検出する位置方向検出手段と、前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成手段と、前記複合現実空間映像を表示する複合現実空間映像表示手段と、仮想空間に存在する仮想空間物体および仮想空間の時間を、予め定められている手順に従って管理、更新する仮想空間管理手段とを有する複合現実感装置であって、複合現実空間映像の観察者の視線と、仮想空間物体の位置との関係を求める計算手段と、前記計算手段の結果に応じて仮想空間物体を選択する選択手段とを有することを特徴とする。
【００１０】
本願請求項９に記載の情報処理方法は、現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成する情報処理方法であって、観察者の視点位置、視線方向を入力し、前記観察者の視点位置、前記視線方向および各仮想空間物体の動作モードに応じて、仮想空間映像を生成し、前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する情報処理方法であり、前記観察者の視線方向と前記仮想空間物体との位置の関係から前記仮想空間内の複数の仮想空間物体から任意の仮想空間物体を選択し、該選択された仮想空間物体の動作モードを変更することを特徴とする。
【００１１】
【発明の実施の形態】
（実施形態１）
本実施形態は水族館における海底散歩の疑似体験を行なうことのできる展示装置としての応用例を説明するものである。
【００１２】
図１は本発明における展示装置の構成図である。
【００１３】
各観察者１００は疑似体験を行なうために、複合現実空間映像を表示するＨＭＤ１１０（ヘッドマウンテッドディスプレイ）を頭部に装着して舞台装置内に立っている。なお、本装置では同時に体験可能な観察者を４人に制限しているが、これに限定されるものではない。
【００１４】
ＨＭＤ１１０は図２（ａ）（ｂ）の外観図に示されるように、左右両眼用の２つのビデオカメラ１１１、２つの小型表示装置１１２、位置姿勢センサ受信機１１３で構成されている。小型表示装置１１２は液晶ディスプレイと光学プリズムによって構成されている。ビデオカメラ１１１は観察者の視点位置および視線方向の現実空間映像を撮影する。位置姿勢センサ受信機１１３は後述する位置姿勢センサ発信機と本体との組み合わせで観察者の視点位置および視線方向を計測する。小型表示装置１１２にはビデオカメラ１１１によって取得された現実空間映像と、位置姿勢計測値から観察することのできる仮想空間映像とを合成した複合現実空間映像が表示される。なお、複合現実空間映像は観察者が高い品質の疑似体験を行なうことができるようにするため立体映像として提供されるのが望ましい。
【００１５】
再び図１の説明に戻る。１３０は位置姿勢センサ発信機、１３１は位置姿勢センサ本体である。位置姿勢センサ受信機１１３、位置姿勢センサ発信機１３０は位置姿勢センサ本体１３１に接続されている。位置姿勢センサ発信機１３０からは磁気が発信されており、位置姿勢センサ受信機１１３がこの磁気を受信する。位置姿勢センサ本体１３１は位置姿勢センサ受信機１１３の磁気受信強度から各位置センサの位置および方向を算出する。本実施形態では米国Ｐｏｌｈｅｍｕｓ社製ＦＡＳＴＲＡＫや米国Ａｓｃｅｎｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ社製Ｆｌｏｃｋ ｏｆ Ｂｉｒｄｓなどを利用することが可能であるが、これに限定されるものではなく他の市販されている超音波式、光学式位置姿勢センサも利用可能である。さらに観察者の観察位置を固定して運用すれば姿勢センサ（ジャイロ）も利用可能である。図１に向かって２台あるうちの左側は左側２人の観察者の視点位置および視線方向を、右側は右側の２人のそれらを計測している。もし配線上問題が生じなければ１セットで構成してもよい。
【００１６】
図５は映像装置１４０の構成図である。１４０は観察者の複合現実空間映像を生成し観察者に表示する映像装置で、観察者ごとに１組必要となる。観察者数を増やす場合、観察者数に応じてこの構成を展示装置に追加してゆけばよい。
【００１７】
１４０は観察者の装着しているＨＭＤ１１０とコンピュータ１４１で構成される。
【００１８】
コンピュータ１４１にはビデオキャプチャボード１４２、ＣＧ描画支援機能を有するグラフィックボード１４４、ネットワークインターフェース１４９が搭載されている。なおビデオキャプチャボード１４２、グラフィックボード１４４は立体視映像を提供するために右目用と左目用の２つずつが搭載されている。
【００１９】
各装置はコンピュータ１４１内部において、ＣＰＵ１４５、ＨＤＤ（ハードディスク）１４６およびメモリ１４７と接続されている。
【００２０】
コンピュータ１４１外部においては、ビデオキャプチャボード１４２にはＨＭＤ１１０のビデオカメラ１１１が、グラフィックボード１１２にはＨＭＤ１１０の表示装置１１２が、ネットワークインターフェース１４９には、イーサネット（Ｒ）などで構成されるネットワーク１６０が接続されている。
【００２１】
映像装置１４０はネットワーク１６０を介して他の映像装置と通信可能な状態になっている。
【００２２】
コンピュータ１４１では上述した構成によって観察者の複合現実空間映像を生成し提供するために、複合現実映像生成プログラムが動作している。複合現実映像生成プログラムは、後述する映像装置１５０が送信する複合現実空間情報に基づいて各観察者の視点での仮想空間映像を生成し、ビデオカメラ１１１からの現実空間映像をビデオキャプチャボード１４２によって取得し、これら両者を合成し複合現実映像を生成して、グラフィックボード１１２を経由してＨＭＤ１１０の小型表示装置１１２に表示する。この処理の結果、観察者には現実物体である海底を模した舞台装置内に、仮想物体である水生生物があたかも現実物体として舞台装置内を浮遊しているように見えるようになる。
【００２３】
図６は映像装置１５０の構成図である。映像装置１５０は観察者の視点位置視線方向取得、複合現実空間管理、複合現実空間情報の通知、固定された視点における複合現実空間映像の生成、環境音楽再生、効果音再生を行なう映像装置であり、複合現実感装置に１つ設置される。
【００２４】
映像装置１５０は観察者の視点位置視線方向計測を行なう位置方位センサ本体１３１、ビデオカメラ１８４、ディスプレイ１８０、スピーカー１８２とコンピュータ１５１で構成される。
【００２５】
コンピュータ１５１はコンピュータ１４１と同様に、ビデオキャプチャボード１４２、ＣＧ描画支援機能を有するグラフィックボード１４４、ネットワークインターフェース１４９が搭載される。さらにこれらに加えてシリアルインターフェース１５４とサウンドボード１５５が搭載される。
【００２６】
各装置はコンピュータ１４１内部において、ＣＰＵ１４５、ＨＤＤ（ハードディスク）１４６およびメモリ１４７と接続されている。
【００２７】
コンピュータ１５１外部においては、コンピュータ１４１同様の接続に加え、シリアルインターフェース１５４が位置方向センサ本体１３１と、サウンドボード１５５がスピーカー１８２に接続されている。
【００２８】
映像装置１５０がネットワーク１６０を介して他の映像装置と通信可能な状態になっていることも同様である。
【００２９】
コンピュータ１５１では上述した構成によって、固定された視点における複合現実空間映像の生成のために複合現実映像生成プログラムが、観察者の視点位置視線方向取得、複合現実空間管理、複合現実空間情報の通知を行なうための複合現実空間管理プログラムが、環境音楽再生、効果音再生のためのサウンドプログラムが並行動作している。
【００３０】
複合現実映像生成プログラムは、後述する映像装置１５０が送信する複合現実空間情報に基づいて、ビデオカメラ１８４の視点位置視線方向の仮想空間映像を生成し、ビデオカメラ１８４からの現実空間映像をビデオキャプチャボード１４２によって取得し、これら両者を合成し複合現実映像を生成して、グラフィックボード１１２を経由してディスプレイ１８０に表示する。
【００３１】
この処理の結果、ディスプレイにはビデオカメラ１８４の視点位置視線方向から見た舞台装置内に、仮想物体である水生生物があたかも現実物体として舞台装置内を浮遊しているように見えるようになる。ディスプレイ１８０は観察者以外の来客者に複合現実空間映像を見てもらうために展示装置正面に設置される。またビデオカメラ１８４は舞台装置全体を俯瞰撮影するよう固定設置されており、一風変わった視点位置からの複合現実映像を来客者は楽しむことができる。
【００３２】
複合現実空間管理プログラムは、（１）予め設定されたシナリオに沿って仮想空間時間を進め仮想空間物体の位置姿勢および状態を更新し、（２）位置方位センサ本体１３１と通信し、位置方位センサ受信機１１３の位置方向を取得して、観察者の視点位置視線方向（現実空間物体の位置姿勢）を取得し、（３）それらの関係から観察者の視線関係の処理と新しい複合現実空間状態の計算を実行する。（４）そして、上記処理によって得られた情報−複合現実空間情報−を、ネットワーク１６０を介して各映像装置で動作している複合現実映像生成プログラムやサウンドプログラムに送信することを繰り返す。
【００３３】
サウンドプログラムは複合現実空間管理プログラムから送信されてくる複合現実空間情報に基づいてコンピュータ１５１に予め保持されている所定の音楽データを再生する。再生された音楽や効果音は舞台装置内の観察者全員が認識できる適当な大きさスピーカー１８２より出力される。
【００３４】
出力される環境音楽は、観察者が複合現実空間映像による疑似体験をより没入感を感じさせるための補助要素として利用されるものであり、相応しいものを予め用意しておく必要がある。効果音は複合現実空間中でのイベント（例えば仮想物体同士、あるいは現実物体と仮想物体の衝突）において没入感を高めるため、そして後述する視線によるユーザーインターフェースのために複合現実空間状態変化を観察者に知らせるために用いられる。
【００３５】
以上説明してきた構成要素は舞台上の大道具とディスプレイ１８０を除いて、複合現実空間映像の観察者や展示装置付近に居る施設の来客者からは見えない位置、例えば舞台装置の裏などに設置されて、没入感を軽減させ疑似体験の低質化を避けるように設計されるほうが望ましい。
【００３６】
以上展示装置の構成および簡単な動作について説明した。
【００３７】
図３、図４は展示施設の舞台装置外観図で、施設への来客が実際に目にすることのできる状態を表している。図３は観察者の居ない状態、図４は観察者が疑似体験を行っている状態の展示装置である。
【００３８】
舞台装置では大道具と照明、床によって海底の状況が表現されている。大道具１０２、１０３は岩礁を模した造形物である。大道具１０４は海底に沈んだ遺跡を想像させる石柱の造形物である。大道具１０６は海底における遠景を描いた壁もしくは衝立状の大道具で、舞台装置の大きさを超えて海底がどこまでも続いているかのごとく感じさせるために海中の環境色で塗装されている。大道具１０８は海底を模した床である。１０１は観察者がＨＭＤ１１０を着脱するときに立つ観察者初期位置、１０５は観察者初期方向を示す矢印である。図３では説明のため図示してあるが、実際の舞台装置にはこの領域を示す線や色分けがあるわけではない。
【００３９】
観察者は疑似体験を行なうとき、まず舞台装置内に進入し、観察者初期位置１０１に立ちＨＭＤ１１０を頭部に装着する。ここでＨＭＤ１１０はそれぞれの観察者初期位置１０１の側にある大道具１０３の上部の窪みに置かれている。大道具１０３はＨＭＤ置き台を兼用した造型物となっている。ＨＭＤ置き台１０３からＨＭＤ１１０を取り出し装着完了後、観察者は観察者初期位置１０１の近傍を含む領域内を動き回り、任意の方向を向いたり任意の姿勢をとったりすることが可能である。この領域の範囲はＨＭＤ１１０の配線の長さと位置姿勢センサ１３１の測定可能範囲に依存する。疑似体験を終了したくなったら観察者は観察者初期位置１０１に戻り、ＨＭＤ１１０を外してＨＭＤ置き台１０３の上部において舞台装置から退出する。舞台装置からの入退出は図３の手前側から行なう。手前側は本展示装置の設置場所に依存するが、大抵の場合は通路もしくはある程度人の溜まることの可能な空間とつながっている。後者の場合は疑似体験の順番待ちをする列を作ったり、ディスプレイ１８０で表示されるビデオカメラ１８４の視点での複合現実映像を楽しむ人のとどまる場所を作ったりすることが可能である。これは多くの来客に展示施設を楽しんでもらう観点から望ましい形態である。
【００４０】
観察者初期位置１０１は観察者１００がＨＭＤ１１０を着脱する領域であり、観察者初期方向１０５は観察者１００が疑似体験開始の推奨視線方向である。舞台装置内には様々な造型物が設置されているため、馴染みの無いＨＭＤという有線装置を付けて、大胆に動き回る人は少ない。従って大抵は疑似体験中に観察者初期位置１０１で観察者初期方向１０５を向いて複合現実映像を観察することが最も頻度が高くなると期待できる。従って、この位置および方向において生成される複合現実映像の質が高くなるように配慮して舞台装置を組むようにしている。例えば、現実空間映像には待ち行列や展示施設を傍観している来客者が見えないように観察者初期位置１０１、背景用壁１０６の位置を調整したり、複数の岩礁１０３が観察者１００から異なる距離をもって視界に入るようにして奥行きや立体感を強く感じるようにしたり、他の観察者１１０が視界に入るようにして、自分の疑似体験を他者と共有していることを意識させたり、他の観察者と自分との間を広く空間を作ってその空間に仮想空間物体である水生生物を表示させることで奥行きを感じさせたり、背景用壁はＨＭＤ１１０で表示されたときに空間が広がっているかのように感じさせる色を選択したり、などである。
【００４１】
観察者は以上説明してきた舞台装置内で複合現実映像を鑑賞することで質の高い疑似体験を行なうことができる。
【００４２】
なお本実施形態の舞台装置の構成では場合によっては背景用壁が視界に入らないため没入感を軽減させる時がある。これは、舞台装置が観察者以外から目に付くようにすることによる集客効果を狙ったのと、できるだけ多くの人に体験してもらうために舞台装置への出入りを容易にしたためである。こういった利点と引き換えに好みに応じて全周囲を壁で囲うようにして没入感を高めるようにしてもよい。
【００４３】
以上展示装置の舞台装置について構成、運用の概要、疑似体験への効果について説明した。
【００４４】
次に本発明の目的である複合現実空間への没入感を阻害しないような視線による複合現実空間とのインターフェースインターフェースについて、映像装置１４０，１５０で動作するプログラムの処理とともに詳細に説明する。
【００４５】
図７は各観察者用の複合現実映像の生成を行なう複合現実映像生成プログラムのフローチャートである。このプログラムは映像装置１４０，１５０で実行される。プログラムは並列プログラミングで一般的なスレッド技術を用いて作成されており、メインプログラムと並行して複合現実空間状態受信スレッド（Ｓ７１０）と映像キャプチャスレッド（Ｓ７２０）が動作している。複合現実空間状態受信スレッドは後述する複合現実空間管理プログラムからネットワークを介して送信される複合現実空間状態（観察者視点位置視線方向、仮想空間物体位置方向および状態）を受信してメインプログラムに通知する。映像キャプチャスレッドはビデオキャプチャボード１４２でキャプチャされた現実空間映像をデジタル化してメインプログラムに通知する。メインプログラムは複合現実空間状態受信スレッドが受信した複合現実空間情報によって仮想空間状態を更新し（Ｓ７０１）、これに基づいて仮想空間物体である水生生物や、状態表示のためのアイコンなどの仮想空間映像を生成する（Ｓ７０２）。
【００４６】
このとき複合現実空間情報の内容をすべて描画に利用せず、当該観察者に必要な情報のみを描画に利用する。例えば仮想空間物体が選択状態であることを示すアイコン２１０については他の観察者の分は表示すると難解になるため、本実施形態では自分のアイコン２２０以外は描画しない。
【００４７】
続いて映像キャプチャスレッドから得られた現実空間映像と仮想空間映像を合成し出力する（Ｓ７０４）。以上の処理を繰り返し行なう（Ｓ７０５）。なお水生生物やアイコンのＣＧモデルは予め映像装置１４０に記憶されている。
【００４８】
図８は複合現実空間管理プログラムのフローチャートである。このプログラムは映像装置１５０で実行される。複合現実映像生成プログラム同様スレッド技術を用いて作成されており、メインプログラムと並行して位置方向取得スレッド（Ｓ８４０）が動作している。位置方向取得スレッドは位置姿勢センサ本体１３１と通信して観察者の視点位置姿勢を常時取得している。
【００４９】
メインプログラムは位置方向取得スレッドから観察者の視点位置姿勢を受信する（Ｓ８００）。そして、仮想空間内の時間を単位時間だけ進め（Ｓ８０２）、仮想空間中のイベントの有無を判定し対応する処理行なうと同時に仮想空間物体である水生生物やアイコンの位置姿勢を再計算し仮想空間状態を更新する（Ｓ８０３）。続いて位置方向取得スレッドから得られた観察者の視線方向と仮想空間物体の位置との関係を計算し、関係履歴に応じて処理する一連の視線関係処理を行なう（Ｓ８０４）。これについては後述する。最後に前の視線関連処理による状況変化を反映するために新たな状況において再度仮想空間状態を更新し（Ｓ８０６）、仮想空間状態と観察者の視点位置姿勢を動作しているすべての複合現実映像生成プログラムおよびサウンドプログラムに送信する（Ｓ８０８）。以上の処理を繰り返し行なう（Ｓ８１０）。
【００５０】
図９はＳ８０４の視線関係処理の内容を詳しく示したフローチャートである。フローチャートのスタートはＳ８０３に、エンドはＳ８０６に接続されている。視線関係処理は観察者と仮想空間物体間の視線によるインターフェースに関する処理を司っている。
【００５１】
本プログラムではすべての観察者（視線）はモードを有している。モードには「一覧モード」と「注目モード」の二種類が存在する。
【００５２】
一覧モードとは観察者が複合現実空間中に存在するすべての仮想空間物体を眺めている状態で、観察者が任意の仮想空間物体を選択可能な状態でもある。本プログラムでは初期値に設定される。一覧モード時の表示装置１１２に表示される片目分の画面を図１０に示す。２００は水生生物をあらわす仮想空間物体である。
【００５３】
注目モードとは一覧モード時に視線によって選択された仮想空間物体が観察者の目前まで移動し停止している状態で、選択された仮想空間物体を間近で良く観察することが可能な状態である。注目モード時の表示装置１１２の画面を図１２に示す。２０２は一覧モードで選択され観察者の目前で停止している仮想空間物体である。
【００５４】
それでは観察者が一覧モードにおいて視線によって仮想空間物体を選択し、注目モードに移行して目前で観察するまでの手順について図９を使って説明する。
【００５５】
前提としてすべての仮想空間物体は観察者（視線）の数だけ“カウンタ”と“ステータス”を有しているものとする。“ステータス”は通常状態、選択状態、注目状態があり、初期値は通常状態である。
【００５６】
本プログラムは、まずすべての視線から１つを選び出し、モードを判定する（Ｓ９０２）。
モードが一覧モードであった場合、すべての仮想空間物体と視点位置とを結ぶ線分と、視線との成す角度を計算し（Ｓ９０４）、その中から角度が最小かつ他の観察者の視線によって選択状態になっていない仮想空間物体を特定する。もし該当する仮想物体が複数存在する場合はランダムに選んでも良いし、観察者の視点位置からの距離が近いものを選んでも良い（Ｓ９０６）。次に特定された仮想空間物体の当該視線に対応する“カウンタ”を１増やし、それ以外の仮想空間物体の当該視線に対応する“カウンタ”を０にする（Ｓ９０８）。続いて特定された仮想空間物体の当該視線に対応する“カウンタ”を、予め本プログラムに初期値として設定されている回数に達しているか調べ（Ｓ９１０）、もし達していなければこの視線についての処理を終了する。もし達していれば、特定された仮想空間物体が既に当該視線によって選択状態にされているかどうかを仮想空間物体の“ステータス”によって調べる（Ｓ９１２）。もし“ステータス”が選択状態であれば注目状態に更新して（Ｓ９１４）当該視線のモードを注目モードに変更して処理を終了する（Ｓ９１６）。“ステータス”が通常状態であれば選択状態に更新して処理を終了する。いずれの場合も特定された仮想空間物体の当該視線に対応するカウンタを０に戻す（Ｓ９１９）。
【００５７】
これに続くＳ８０６では、“ステータス”が選択状態である仮想空間物体の有無が判別される。もし選択状態である仮想空間物体が存在した場合は、図１１のように選択状態である仮想空間物体２０２の近傍に選択状態であることを示すアイコン２１０が表示されるように複合現実空間状態が変更される。ここでアイコン２１０は仮想空間物体である。アイコン２１０はもし存在自体が没入感を妨げるようなものであれば使わない、すなわち表示されるように複合現実空間状態を変更しなくてももちろん構わない。
【００５８】
またＳ８０６ではすべての仮想空間物体の“ステータス”が調べられ、選択状態であったものが注目状態に遷移した場合、当該仮想空間物体について図１１の状態からアイコン２１０が消去されるように複合現実空間状態が変更される。さらに当該仮想空間物体を観察者の目前に移動するように複合現実空間状態が変更される。具体的には先のＳ８０３で“ステータス”が注目状態にある仮想空間物体については位置方向を更新せず、Ｓ８０６で一定時間内に観察者の位置観察者の目前で静止するような別処理によって位置方向の更新を行なうようにする。つまり注目状態にある仮想空間物体はＳ８００〜Ｓ８１０の一連の処理を繰り返し行なう間に観察者の目前に位置を移動させ静止するよう処理される。
【００５９】
以上観察者が一覧モードにおいて視線によって仮想空間物体を選択し、注目モードに移行して目前で観察するまでの手順について説明した。
【００６０】
なお実際には、Ｓ９００〜Ｓ９０１の処理は処理装置１５０で計測されるすべての視線について行なわれ、ある視線についてはＳ９０２で上記の処理手順が行なわれない可能性があることは言うまでも無い。
【００６１】
次に、注目モードにおいて観察者が仮想空間物体を間近で観察している状態から一覧モードに戻す手順について説明する。
【００６２】
当該視線のモードが注目モードになった場合（Ｓ９０２）、“ステータス”が注目状態となった仮想空間物体と当該視線との成す角度を計算し（Ｓ９２０）、角度が一定値以上となった場合、注目状態となった仮想空間物体の当該視線に対応する“カウンタ”を１増やし、（Ｓ９２４）そうでなければ“カウンタ”を０にする。（Ｓ９３２）もし“カウンタ”が予め設定されている規定回数に達すれば、当該仮想空間物体の“ステータス”を通常状態に戻し、（Ｓ９２８）当該視線の視線モードを一覧モードに変更し、（Ｓ９３０）“カウンタ”を０に戻し処理を終了する。（Ｓ９３１）
これに続くＳ８０６では、またＳ８０６ではすべての仮想空間物体の“ステータス”が調べられ、注目状態であったものが通常状態に遷移した場合、当該仮想空間物体を観察者の目前から移動するように仮想空間状態が変更される。具体的には通常状態に戻ったことによりＳ８０３によって、他の仮想空間物体と同様に処理されるようにしている。これにより当該仮想空間物体をＳ８００〜Ｓ８１０の一連の処理を繰り返し行なううちに観察者の目前に静止している状態から抜けることができる。
【００６３】
以上観察者が注目モードにおいて仮想空間物体を間近で観察している状態から一覧モードに戻す手順について説明した。
【００６４】
なお実際には、Ｓ９００〜Ｓ９０１の処理は処理装置１５０で計測されるすべての視線について行なわれ、ある視線についてはＳ９０２で上記の処理手順が行なわれない可能性があることは言うまでも無い。
【００６５】
図１６はサウンドプログラムのフローチャートである。このプログラムは映像装置１５０で実行される。複合現実映像生成プログラム同様スレッド技術を用いて作成されており、メインプログラムと並行して複合現実空間状態受信取得スレッド（Ｓ１６１０）が動作している。複合現実空間状態受信取得スレッドで受信される複合現実空間情報に応じて音楽の演奏を行なう。（Ｓ１６０１）本実施形態では環境音楽の演奏や、ある仮想空間物体の“ステータス”が変化した場合、例えば選択状態になった場合などに所定の効果音を発生する。効果音は好みの物を選択可能であり、もちろん使わなくても構わない。
【００６６】
以上複合現実空間への没入感を阻害しないような視線による複合現実空間とのインターフェースインターフェースについて説明した。これによれば観察者の視線方向を利用した仮想空間物体の「選択」、選択された仮想空間物体に対し処理を適用する「確定」の二段階の処理によって、観察者は興味ある仮想物体を興味の赴くままに見続ける、つまり無意識のうちに視線を向けることによって、自然に目前まで引き寄せ良く観察することが可能となる。また興味がなくなった場合や別の仮想物体に興味を持った場合は、視線方向を目前の仮想物体から逸らすことで自然に仮想物体を目前に停止している状態から開放することが可能である。これは興味があるものは見続け、興味の無いものは見ないという人間の行動にとって極めて自然なユーザーインターフェースと言える。
【００６７】
さらには、観察者はＨＭＤ以外の特定のデバイスを手の保持したり身につけたり操作したりする必要なく、複合現実感への没入感を損ねることが無い。
【００６８】
（実施形態２）
実施形態２は実施形態１の変形例であり、構成等は実施形態１と同様である。実施形態１が複合現実空間管理プログラムにおける選択および確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と、視線との角度を利用していたのを仮想空間物体の位置と視線との距離を利用するようにした例である。図１３に視線関係処理のフローチャートを示す。選択および確定判定のためのパラメータが角度から距離に変更になった以外変更点は無いので詳しい説明は省略する。
【００６９】
（実施形態３）
実施形態３は実施形態１、２の変形例であり、構成等は実施形態１と同様である。実施形態１が複合現実空間管理プログラムにおける選択および確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と視線との角度を、実施形態２が仮想空間物体の位置と観察者の視線との距離を、それぞれパラメータとして利用して、それぞれ最小値となった回数が予め定められた規定回数を超えた場合を判定基準にしていたが、本実施形態では所定時間連続してそれぞれ最小値のなった場合を判定基準とした例である。図１４に角度について適応した視線関係処理のフローチャートを、図１５に距離について適応した視線関係処理のフローチャートをそれぞれ示す。タイマーによって規定時間が経過したかどうかを調べる以外、変更点は無いので詳しい説明は省略する。
【００７０】
（実施形態４）
実施形態４は実施形態１に準ずる例であり、構成等は実施形態１と同様である。実施形態１が複合現実空間管理プログラムにおける確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と、視線との角度を利用していたのを、予め設定されている初手時間が経過したことを契機にして確定を行なうようにした例である。図１７に視線関係処理のフローチャートを示す。タイマーによって規定時間が経過したかどうかを調べる以外、変更点は無いので詳しい説明は省略する。
【００７１】
上記各実施形態によれば、観察者の視線方向を利用した仮想空間物体の「選択」、選択された仮想空間物体に対し処理を適用する「確定」の二段階の処理によって、観察者は興味ある仮想物体を興味の赴くままに見続けることができる。無意識のうちに視線を向けることによって、自然に目前まで引き寄せ良く観察することが可能となる。また興味がなくなった場合や別の仮想物体に興味を持った場合は、視線方向を目前の仮想物体から逸らすことで自然に仮想物体を目前に停止している状態から開放することが可能である。これは興味があるものは見続け、興味の無いものは見ないという人間の行動にとって極めて自然なユーザーインターフェースと言える。
【００７２】
さらに“カウンタ”の規定回数を変更することで「選択」される仮想物体が頻繁に変更されることを防止すること、選択した仮想物体を目前まで引き寄せるのかどうかを考える猶予を与えるといった実際に試して見なければどの程度が使いやすいか判明しない部分について微調整を行なうことが可能となる。
【００７３】
そして仮想空間物体の“ステータス”変化に伴ってカーソルを表示したり、効果音を鳴らすようにしたことで、より状態の変化がわかりやすいユーザーインターフェースを提供することができる。
【００７４】
さらには、観察者はＨＭＤ以外の特定のデバイスを手の保持したり身につけたり操作したりする必要なく、複合現実感への没入感を損ねることを防ぐことができる。
【００７５】
さらには、観察者が複数であっても同じ複合現実空間を共有することができ、また個々の観察者が独立して任意の仮想物体を選択して、間近で観察することが可能であるため、一層没入感を高めることができる。
【００７６】
また、実施形態４によれば、一定時間内に観察者に選択と確定を要求するようなシナリオに従った複合現実空間管理を行なう際に、それを自然に行なわせることが可能となる。これはテーマパークや展示会などにおいて複合現実感装置を運用する場合に要求される「一定時間あたりの体験者数を向上させつつ、体験者にシナリオを十分楽しんでもらう。」ということを実現するために効果的である。
【００７７】
【発明の効果】
本発明によれば、複合現実空間への没入感を阻害せず、観察者の簡単な動作で仮想物体を操作可能な複合現実空間とのインターフェースを提供することができる。
【図面の簡単な説明】
【図１】舞台装置外観図
【図２】ＨＭＤ外観図
【図３】観察者がいる状態の舞台装置外観図
【図４】展示装置構成図
【図５】処理装置１４０構成図
【図６】処理装置１５０構成図
【図７】複合現実映像生成プログラムのフローチャート
【図８】仮想空間管理プログラムのフローチャート
【図９】視線関係処理サブプログラムのフローチャート
【図１０】一覧モード時の画面例
【図１１】選択モード時の画面例
【図１２】注目モード時の画面例
【図１３】実施形態２における視線関係処理サブプログラムのフローチャート
【図１４】実施形態３における視線関係処理サブプログラムのフローチャート１
【図１５】実施形態３における視線関係処理サブプログラムのフローチャート２
【図１６】サウンドプログラムのフローチャート
【図１７】実施形態４における視線関係処理サブプログラムのフローチャート
Claims (11)
- 現実空間における任意座標、任意方向の現実空間映像を撮影する現実空間映像撮影手段と、
前記任意座標を視点位置、前記任意方向を視線方向とする仮想空間映像を生成する仮想空間映像生成手段と、
前記視点位置および、または前記視線方向を検出する位置方向検出手段と、
前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成手段と、
前記複合現実空間映像を表示する複合現実空間映像表示手段と、
仮想空間に存在する仮想空間物体および仮想空間の時間を、予め定められている手順に従って管理、更新する仮想空間管理手段とを有する複合現実感装置であって、
複合現実空間映像の観察者の視線と、仮想空間物体の位置との関係を求める計算手段と、
前記計算手段の結果に応じて仮想空間物体を選択する選択手段とを有することを特徴とする複合現実感装置。 - 前記計算手段は、複合現実空間映像の観察者の視線と、視点位置と仮想空間物体の位置を結ぶ線分との成す角度を算出することを特徴とする請求項１記載の複合現実感装置。
- 前記選択手段は、前記計算手段によって算出された角度が、一定時間連続で所定値以下となった仮想空間物体を選択することを特徴とする請求項２記載の複合現実感装置。
- 前記選択手段は、一定回数、前記計算手段によって算出された角度が最小となった仮想空間物体を選択することを特徴とする請求項２記載の複合現実感装置。
- 前記計算手段は、複合現実空間映像の観察者の視線と、仮想空間物体の位置との距離を算出する計算手段であることを特徴とする請求項１記載の複合現実感装置。
- 前記選択手段によって選択された仮想空間物体を観察者に通知する通知手段を有することを特徴とする請求項１〜４のいずれかに記載の複合現実感装置。
- 前記通知手段は選択された前記仮想空間物体の近傍に記号を表示する請求項６の複合現実感装置。
- 前記通知手段は効果音である請求項６記載の複合現実感装置。
- 現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成する情報処理方法であって、
観察者の視点位置、視線方向を入力し、
前記観察者の視点位置、前記視線方向および各仮想空間物体の動作モードに応じて、仮想空間映像を生成し、
前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する情報処理方法であり、
前記観察者の視線方向と前記仮想空間物体との位置の関係から前記仮想空間内の複数の仮想空間物体から任意の仮想空間物体を選択し、該選択された仮想空間物体の動作モードを変更することを特徴とする情報処理方法。 - 前記選択された任意の仮想空間物体を前記観察者に報知することを特徴とする請求項９記載の情報処理方法。
- 請求項９記載の情報処理方法を実現するためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002193564A JP2004038470A (ja) | 2002-07-02 | 2002-07-02 | 複合現実感装置および情報処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002193564A JP2004038470A (ja) | 2002-07-02 | 2002-07-02 | 複合現実感装置および情報処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004038470A true JP2004038470A (ja) | 2004-02-05 |
Family
ID=31702498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002193564A Pending JP2004038470A (ja) | 2002-07-02 | 2002-07-02 | 複合現実感装置および情報処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004038470A (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006107437A (ja) * | 2004-09-07 | 2006-04-20 | Canon Inc | 情報処理方法及び装置 |
| JP2006277367A (ja) * | 2005-03-29 | 2006-10-12 | Mazda Motor Corp | 車両企画支援システム |
| JP2006277368A (ja) * | 2005-03-29 | 2006-10-12 | Mazda Motor Corp | 車両企画支援システム |
| WO2009102138A3 (ko) * | 2008-02-12 | 2009-11-12 | 광주과학기술원 | 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법 |
| KR100945555B1 (ko) | 2007-03-20 | 2010-03-08 | 인천대학교 산학협력단 | 증강현실 공간을 제공하는 장치 및 방법 |
| KR100953931B1 (ko) | 2008-05-09 | 2010-04-22 | 고려대학교 산학협력단 | 혼합현실 구현 시스템 및 그 방법 |
| US7817104B2 (en) | 2006-01-18 | 2010-10-19 | Samsung Electronics Co., Ltd. | Augmented reality apparatus and method |
| JP2011186536A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理法方法およびプログラム |
| KR101082487B1 (ko) | 2010-01-29 | 2011-11-11 | 키위플 주식회사 | 객체 인식시스템 및 이를 이용하는 객체 인식 방법 |
| JPWO2012124250A1 (ja) * | 2011-03-15 | 2014-07-17 | パナソニック株式会社 | オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路 |
| JP2017027206A (ja) * | 2015-07-17 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体 |
| JP2017126302A (ja) * | 2016-01-15 | 2017-07-20 | 株式会社ｍｅｌｅａｐ | 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ |
| WO2017191703A1 (ja) * | 2016-05-02 | 2017-11-09 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
| JP2018195319A (ja) * | 2015-09-30 | 2018-12-06 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0749744A (ja) * | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | 頭部搭載型表示入力装置 |
| JP2000353248A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実感装置及び複合現実感提示方法 |
| JP2002042172A (ja) * | 2000-07-25 | 2002-02-08 | Matsushita Electric Works Ltd | 仮想物体の選択方法、この方法が適用される記録媒体およびサービス |
-
2002
- 2002-07-02 JP JP2002193564A patent/JP2004038470A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0749744A (ja) * | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | 頭部搭載型表示入力装置 |
| JP2000353248A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実感装置及び複合現実感提示方法 |
| JP2002042172A (ja) * | 2000-07-25 | 2002-02-08 | Matsushita Electric Works Ltd | 仮想物体の選択方法、この方法が適用される記録媒体およびサービス |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006107437A (ja) * | 2004-09-07 | 2006-04-20 | Canon Inc | 情報処理方法及び装置 |
| JP4724476B2 (ja) * | 2004-09-07 | 2011-07-13 | キヤノン株式会社 | 情報処理方法及び装置 |
| JP2006277367A (ja) * | 2005-03-29 | 2006-10-12 | Mazda Motor Corp | 車両企画支援システム |
| JP2006277368A (ja) * | 2005-03-29 | 2006-10-12 | Mazda Motor Corp | 車両企画支援システム |
| JP4636318B2 (ja) * | 2005-03-29 | 2011-02-23 | マツダ株式会社 | 車両企画支援システム |
| JP4687957B2 (ja) * | 2005-03-29 | 2011-05-25 | マツダ株式会社 | 車両企画支援システム |
| US7817104B2 (en) | 2006-01-18 | 2010-10-19 | Samsung Electronics Co., Ltd. | Augmented reality apparatus and method |
| KR100945555B1 (ko) | 2007-03-20 | 2010-03-08 | 인천대학교 산학협력단 | 증강현실 공간을 제공하는 장치 및 방법 |
| WO2009102138A3 (ko) * | 2008-02-12 | 2009-11-12 | 광주과학기술원 | 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법 |
| KR100963238B1 (ko) | 2008-02-12 | 2010-06-10 | 광주과학기술원 | 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법 |
| US8823697B2 (en) | 2008-02-12 | 2014-09-02 | Gwangju Institute Of Science And Technology | Tabletop, mobile augmented reality system for personalization and cooperation, and interaction method using augmented reality |
| KR100953931B1 (ko) | 2008-05-09 | 2010-04-22 | 고려대학교 산학협력단 | 혼합현실 구현 시스템 및 그 방법 |
| KR101082487B1 (ko) | 2010-01-29 | 2011-11-11 | 키위플 주식회사 | 객체 인식시스템 및 이를 이용하는 객체 인식 방법 |
| JP2011186536A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理法方法およびプログラム |
| JPWO2012124250A1 (ja) * | 2011-03-15 | 2014-07-17 | パナソニック株式会社 | オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路 |
| JP2017027206A (ja) * | 2015-07-17 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体 |
| JP2018195319A (ja) * | 2015-09-30 | 2018-12-06 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
| JP2017126302A (ja) * | 2016-01-15 | 2017-07-20 | 株式会社ｍｅｌｅａｐ | 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ |
| WO2017122367A1 (ja) * | 2016-01-15 | 2017-07-20 | 株式会社ｍｅｌｅａｐ | 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ |
| CN107209959A (zh) * | 2016-01-15 | 2017-09-26 | 株式会社ｍｅｌｅａｐ | 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器 |
| RU2693684C1 (ru) * | 2016-01-15 | 2019-07-03 | Мелип Инк. | Система отображения изображения, способ управления системой отображения изображения, система трансляции изображения и закрепляемое на голове устройство отображения |
| KR102060453B1 (ko) | 2016-01-15 | 2019-12-30 | 가부시키가이샤 메리프 | 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이 |
| US10558048B2 (en) | 2016-01-15 | 2020-02-11 | Meleap Inc. | Image display system, method for controlling image display system, image distribution system and head-mounted display |
| WO2017191703A1 (ja) * | 2016-05-02 | 2017-11-09 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
| JPWO2017191703A1 (ja) * | 2016-05-02 | 2018-10-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11120596B2 (en) | Systems and methods for utilizing a living entity as a marker for augmented reality content | |
| CN110382066B (zh) | 混合现实观察器系统和方法 | |
| JP6316387B2 (ja) | 広範囲同時遠隔ディジタル提示世界 | |
| Suma et al. | Leveraging change blindness for redirection in virtual environments | |
| WO2018043135A1 (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
| JP2005165776A (ja) | 画像処理方法、画像処理装置 | |
| US20180321798A1 (en) | Information processing apparatus and operation reception method | |
| CN109643161A (zh) | 动态进入和离开由不同hmd用户浏览的虚拟现实环境 | |
| JP2004038470A (ja) | 複合現実感装置および情報処理方法 | |
| KR20230048554A (ko) | 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 | |
| JP2005038008A (ja) | 画像処理方法、画像処理装置 | |
| JP2006079174A (ja) | 仮想現実感提示装置および情報処理方法 | |
| KR20180059765A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
| JP6830829B2 (ja) | プログラム、表示装置、表示方法、放送システム及び放送方法 | |
| JP2023027126A (ja) | データ処理プログラム、データ処理方法、および、データ処理装置 | |
| JP2014217566A (ja) | 宝探しゲーム配信システム | |
| WO2020218131A1 (ja) | 画像生成装置および情報提示方法 | |
| JP6661756B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| JP2003303356A (ja) | 展示装置 | |
| JP2018007180A (ja) | 映像表示装置、映像表示方法及び映像表示プログラム | |
| JP2001129245A (ja) | ゲーム装置 | |
| JP2009008821A (ja) | 画像表示装置 | |
| US12026806B2 (en) | Systems and methods for utilizing a living entity as a marker for augmented reality content | |
| JP2024033849A (ja) | 情報処理装置および情報処理方法 | |
| US20200302761A1 (en) | Indicator modes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061019 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061219 |