JP2000207575A

JP2000207575A - 空間融合装置及びこれを適用した応用装置

Info

Publication number: JP2000207575A
Application number: JP306099A
Authority: JP
Inventors: Takeo Miyazawa; 丈夫宮沢; Akiko Watanabe; 朗子渡邊; Stein Gideon; スタインギデオン
Original assignee: NADEISU KK
Current assignee: NADEISU KK
Priority date: 1999-01-08
Filing date: 1999-01-08
Publication date: 2000-07-28

Abstract

(57)【要約】【課題】改良された、現実空間と仮想空間を統合する
空間融合装置を提供することを目的とする。また、この
装置を利用した各種応用装置を提供することを目的とす
る。【解決手段】この発明は、ＣＧ画像を現実のＨＭＤの
視野に存在する光景と合成することができる空間融合装
置に関する。この装置は、ユーザーが見た現実のビュー
とＣＧ画像とを自然に融合することができ、今後さまざ
まな分野での利用が期待されている。融合のためには、
ユーザーが現在どこにいて、どの方向を向いているかを
正確に検出する必要がある。この発明は、二つ以上の二
次元カメラ画像から幾何学的計算方法によって三次元座
標位置を求める手法を用いて検出している。現実のビュ
ーと位置あわせされたＣＧ画像は、ＨＭＤ内において表
示装置に表示され、この表示装置上の画像は現実のＨＭ
Ｄの視野に存在する光景と光学的に合成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、現実空間と仮想
空間を統合する技術に関し、特に、二つ以上の二次元カ
メラ画像から幾何学的計算方法によって三次元座標位置
を求める手法を利用した空間融合装置、及び、これを利
用した各種応用装置に関する。

【０００２】

【従来の技術】人間の視覚で認識する現実空間とコンピ
ュータなどの外部装置によって人工的に生成された画像
データを１つのHMD(Head Mount Display)を介して統合
する技術の開発が、主に研究室レベルで行われている。
これを空間融合装置と名づける。この空間融合装置は、
現実に見える世界とコンピュータ等のデジタルデータに
より生成された仮想世界とを融合した空間体験をユーザ
ーに提供する。それらは、Argumented RealityやMixed
Realityとも呼ばれ、従来のバーチャルリアリティーがC
G(Computer Graphics)のみの仮想世界を構築し、ユーザ
ーに提供していたのに比較して、現実世界の拡張として
の情報環境を構築し、提供することができる。

【０００３】

【発明が解決しようとする課題】この発明は、改良され
た、現実空間と仮想空間を統合する技術を提供すること
を目的とする。また、この技術を利用した各種応用装置
を提供することを目的とする。

【０００４】

【課題を解決するための手段】この発明は、建築・教育
・医療・エンターテインメント及び電子商取引などの幅
広い分野において利用されると期待される。

【０００５】この目的のために、本発明は、ヘッドマウ
ントディスプレイ（ＨＭＤ）であって、カメラと、前記
カメラからの画像データを二つ以上の二次元カメラ画像
から幾何学的計算方法によって三次元座標位置を求める
手法により位置及び方向を検出する三次元位置検出部
と、前記位置及び方向に基づきＣＧ画像を生成する画像
生成部と、前記画像生成部の出力を受けてＣＧ画像を生
成する表示部と、前記画像生成部で生成された画像を現
実のビューと合成する合成部とを備える。

【０００６】本発明は、携帯用のナビゲーション装置で
あって、ユーザーの現在位置を検出する位置検出部と、
現在位置に応じたナビゲーション情報を受信する受信部
と、ナビゲーションのための画像を生成する画像生成部
と、前記画像生成部で生成された画像を現実のビューと
合成する空間融合部とを備える空間融合装置を適用した
応用装置である。

【０００７】本発明は、見通し外の画像融合装置であっ
て、ユーザーの視野の方向を検出する方向検出部と、ユ
ーザーの視野外の画像を入手するためのカメラと、前記
カメラの出力に基づき画像を生成する画像生成部と、前
記画像生成部で生成された画像を現実のビューと合成す
る空間融合部と、を備える空間融合装置を適用した応用
装置である。

【０００８】本発明は、家具の配置などのシミュレーシ
ョンを行うための装置であって、予め複数の家具の形状
・模様・色彩・寸法に関するデータを格納する家具デー
タベースと、ユーザーの位置及び視野の方向を検出する
方向検出部と、前記複数の家具のいずれかを選択すると
ともに、その配置を指定するポインティングデバイスま
たは指をポインティングデバイスとして機能させるソフ
トウェアと、前記選択された家具を指定に従い仮想空間
に配置するとともに、前記方向検出部の出力に基づきユ
ーザーの視点からみた家具の画像を生成する画像生成部
と、前記画像生成部で生成された画像を現実のビューと
合成する空間融合部と、を備える空間融合装置を適用し
た応用装置である。

【０００９】本発明は、リアルなゲームを提供するため
の装置であって、ゲームシナリオに従いゲームを進行さ
せるとともに、ゲーム画像を発生するゲーム処理装置
と、ユーザーの位置及び視野の方向を検出する方向検出
部と、ゲームに関する操作を行うためのポインティング
デバイスまたは指をポインティングデバイスとして機能
させるソフトウェアと、前記方向検出部の出力に基づき
ユーザーの視点からみたゲーム画像を生成する画像生成
部と、前記画像生成部で生成された画像を現実のビュー
と合成する空間融合部と、を備える空間融合装置を適用
した応用装置である。

【００１０】

【発明の実施の形態】実施の形態１．以下に、この発明
の好適な実施の形態について説明する。

【００１１】図１は、現実空間と仮想空間とを融合する
ために用いられる装置の一例を示す。ヘッドマウントデ
ィスプレイ（HMD)１は、仮想空間に係る画像を発生する
ための表示部としての液晶表示装置（LCD)１１Ｌ，１１
Ｒと、ＨＭＤ１の現実空間内における三次元位置を求め
るためのカメラ１２Ｌ，１２Ｒとを備える。三次元位置
抽出処理部３は、カメラ１２Ｌ，１２Ｒの出力に基づき
ＨＭＤ１の三次元位置を求める。画像生成装置４Ｌ，４
Ｒは、求められた三次元位置に基づき所定の処理を行
う。例えば、求められた三次元位置及びその向きに基づ
き視点を定め、この視点から見た仮想空間の画像を生成
する。なお、仮想空間に関する情報は図示しない装置か
ら供給される。あるいは、画像生成装置４が仮想空間に
関する情報を記憶あるいは生成する。

【００１２】ＨＭＤ１の三次元位置を簡易に求める最適
な方法として、ＨＭＤに小型のカメラを装着し、そのカ
メラから連続的に送られてくる二次元情報から三次元情
報を再構築し、そこから逆にHMDの三次元位置情報を算
出する方法が知られている。この「カメラ情報のみから
の三次元情報の再構築」を実現するために特に優れた方
法として、射影幾何学不偏分散量を用いた方法、三項線
形テンソル量を用いた方法、三項テンソルの応用として
のダイレクト・エスティメーション法等がある。これら
の方法は、カメラの内部パラメータによるキャリブレー
ション情報を必要とせず、与えられた二次元画像データ
のみからの三次元情報の復元を可能にしている。

【００１３】図２（ａ）は、ＨＭＤ１の概略外観図であ
る。バンド２は、ＨＭＤ１をユーザーの頭部にしっかり
と締め付けるためのものである。図２（ｂ）はＨＭＤ１
の使用状態を示す図である。

【００１４】図３（ａ）は、ＨＭＤ１の概略断面図であ
る。ＬＣＤ１１の画像は、ＨＭＤ１のガラス等の透明部
材の内部を通って、透明部材の内側表面に投射される
（Ｌ２）。同時に、現実空間の映像（Ｌ１）も透明部材
の内部を通って内側表面に到達する。ユーザーは、現実
空間の映像（Ｌ１）と仮想空間の映像（Ｌ２）とが合成
された映像を見ることができる。

【００１５】図３（ｂ）は、図３（ａ）とは異なるＨＭ
Ｄ１の概略断面図である。ハーフミラー・プリズムなど
の合成手段１４により、現実空間の映像（Ｌ１）と仮想
空間の映像（Ｌ２）とが合成される。ユーザーはこの合
成された映像を見ることができる。

【００１６】ところで、画像生成装置４は、仮想空間に
おいて三次元的な処理を行う。三次元的な処理は、二次
元的な処理に比べて多くの演算量を必要とするので、高
性能のハードウエアを使用しなければならない。一方、
人間の視覚特性から見ると、近い場所において三次元的
な処理の必要性は高いが、比較的遠い場所において三次
元的な処理の必要性はさほど高くない。そこで、近い場
所について三次元的な処理を行い、遠い場所について二
次元的な処理を行うことにより、処理の質を落とすこと
なくハードウエアの要求性能を引き下げることが可能で
ある。これにより装置の小型化及びコストダウンが可能
になる。

【００１７】図４はこの処理のフローチャートを示し、
図５は処理の説明図を示す。図４によれば、物体までの
距離（ｄ）を判定し（Ｓ１）、距離（ｄ）を予め設定さ
れたしきい値（Ｄ）と比較し（Ｓ２）、Ｄ≧ｄの場合に
は三次元処理を行い（Ｓ３）、Ｄ＜ｄの場合には二次元
処理を行う（Ｓ４）。しきい値（Ｄ）は、人間の視覚特
性及びハードウエアの処理能力から定められる。

【００１８】ところで、ＨＭＤ１を表示装置として用い
るだけでなく、インタラクティブな装置として用いるこ
とが考えられる。この場合において、何らかの操作を実
現するためのポインティングデバイスが必要となる。Ｈ
ＭＤ１の２つのカメラ１２を用いて、ユーザーの手の位
置を二つ以上の二次元カメラ画像から幾何学的計算方法
によって三次元座標位置を求める手法により求めること
ができる。また指先の位置の検出精度を上げるために、
特定色にキャップ状の構造物を指先に装着することも可
能である。そこで、ユーザーの手及び／又は指そのもの
をポインティングデバイスとして使用し、手及び／又は
指の動きによりさまざまな操作を行うことが考えられ
る。例えば、指で現実の物体あるいは仮想空間中の物体
を指で示すことにより特定の物体を指定し、物体を指で
つまむことにより選択し、選択された物体を指でつまん
だまま動かすことにより場所を移動する。手と指の操作
により、いわゆるコンピュータマウスのクリック、ドラ
ッグ、ドロップに相当する処理が可能である。

【００１９】実施の形態２．次に、実施の形態１の装置
を適用した装置について説明する。

【００２０】図６乃至図８は、三次元パーソナルナビゲ
ーション装置の概要を示す。これは、現実の都市内を歩
き回るときに所望の情報を随時得るための装置である。
GPS(Global Positioning System)又は／および無線通信
手段を使用し受信装置と複数の基地局との無線信号到達
距離の差から発信者の絶対位置を求める類似の装置から
得た情報に基づき、ユーザーは所望の場所に向けて移動
することができる。あるいは、ユーザーは、都市に重畳
される3次元情報を見ることができる。この装置は、カ
ーナビゲーションに代わるものである。

【００２１】図６に示されるように、この装置は、LCD
１１及びカメラ１２を備えるヘット゛マウントテ゛ィスフ゜レイ（HMD)１
と、カメラ１２からの画像に基づき認識処理を行う3次
元認識装置２４と、データベースコントロールを行う制
御部２３と、CGを発生するCG発生装置２５と、ＧＰＳ又
は／および無線通信手段を使用し受信装置と複数の基地
局との無線信号到達距離の差から発信者の絶対位置を求
める装置２１と、モバイルモデム２２とを備える。

【００２２】この装置の処理の概略を図７に示す。

【００２３】ＧＰＳおよび無線通信手段を使用して受信
装置と複数の基地局との無線信号到達距離の差から発信
者の絶対位置を求める装置により装置のおよその位置を
検出する（Ｓ１０）。検出された位置にしたがって、モ
バイルモデム２２が3次元位置情報を含むデータを受信
する（Ｓ１１）。この情報は3次元認識のための配列情
報を含む。CCDユニットからの画像に基づき三次元認識
装置２４が都市の構造を検出する（Ｓ１２）。ＣＧ発生
装置２５は、ＧＰＳ又は／および無線通信手段を使用し
受信装置と複数基地局との無線信号到達距離の差から発
信者の絶対位置を求める装置２１からの位置情報、モバ
イルモデム２２からのデータ及び三次元認識装置２４か
らの検出情報に基づきＨＭＤ１上にオーバーラップされ
るCG情報を発生する（Ｓ１３）。予めユーザーが目的地
を設定しておけば、HMDは道に大きな矢印をしめすこと
により、ユーザーにその方向又は位置を指し示す（図
８）。ユーザーがある種のカテゴリ（例えば、書店、レ
ストラン、警察など）の位置を知りたいのなら、HMDは
その位置を示したり、そこを指し示す。候補が複数ある
ときは、それらすべてについて方向を示したり、あるい
は最適な候補について方向を示す。また、受信した三次
元都市情報に基づき、視野内の建物に重ねて、その建物
の情報、例えば、建物の名前、店舗の種類、提供される
商品やサービスの情報を表示することができる（図
８）。

【００２４】位置検出装置としてＧＰＳ又は／および無
線通信手段を使用し受信装置と複数基地局との無線信号
到達距離の差から発信者の絶対位置を求める装置が適当
である。この装置のための位置検出装置は、小さくかつ
軽くなければならない。モバイル通信の速度は、現在は
非常に遅い（９．６ｋ−３２ｋｂｐｓ）が、次世代（20
00年から世界中でサービスが開始される予定）のCDMA
は、より早い通信速度（５１２ｋ−１Mbps)を実現す
る。このような状況において、CD-ROMを持ち運ぶ必要は
なくなる。また、次の世代のモバイルフォンはＧＰＳ機
能または／及び無線通信手段を使用して受信装置と複数
基地局との間の無線信号到達距離の差から発信者の絶対
位置を求める機能を標準でもつと予想される。装置が１
００MバイトのRAMを備えるならば、現在の位置で必要な
情報をダウンロードすれば十分である。

【００２５】ダウンロードされた情報は、都市情報ばか
りでなく、3次元認識及び配列情報を含んでいる。HMD１
のCCDユニット１２は、都市の3次元構造を再構成すると
ともに、ダウンロードされた情報でそれを配列し、両方
の情報を効果的に配列する（図８）。

【００２６】なお、モバイルモデム２２で受信する三次
元都市情報の費用は、店舗及びレストランに請求され、
ユーザーには請求されない。三次元都市情報は一種の広
告であり、集客能力があるから、費用は提供者側に負担
させるべきである。

【００２７】実施の形態３．図９は、ユーザが車両等の
内部にいるときに、カメラの画像と直接目視できる視野
内の像とを、空間融合装置を適用して組み合わせること
により、車両中から外の世界を見た透視図を提供するた
めの装置を示す。このシステムに衛星や航空機に搭載さ
れたイメージを結び付けるならば、前面の丘／山等の障
害物の後ろ側のイメージを合成したものを提供すること
ができる。

【００２８】図９において、ユーザーの回りに配置され
たカメラ３１Ａないし３１Ｄの出力はカメラ切り換え機
３３に入力され、これらのうちの一部あるいは全部が選
択されて出力される。障害物の向こう側のカメラ３２の
出力は、カメラ切り換え機３３の出力とともに合成部３
４に入力される。合成部３４は、三次元認識装置２４の
出力に基づき最適な画像の合成を行う。この出力に基づ
き、ＣＧ発生装置２５はＣＧ画像を生成し、ＬＣＤ１１
に供給する。

【００２９】図１０（ａ）はカメラの配置を示す平面図
である。図１０（ｂ）は同じく側面図である。ユーザー
は車両３５の窓Ｗを通して外部を見ることができる。カ
メラ３１Ａないし３１ｄは、車両３５の回りに、死角を
なくすように配置される。図１０（ａ）において、ユー
ザーは窓Ｗから障害物３６の方向を見ている。このと
き、カメラ３１Ａと３１Ｄの画像を合成すれば、ユーザ
ーは広い範囲についての画像を得ることができて、死角
が解消する。さらに、障害物３６の向こう側に配置され
たカメラ３２の画像をも合成すれば、視野内にない範囲
についても視認できる。カメラ３２は地上に設置される
ばかりでなく、人工衛星や航空機に搭載されることも可
能である。カメラ３２が上空にあるときは、カメラ３２
の画像に対して所定の変換を行うことにより、カメラ３
２が地上にある場合と同様の画像を提供できる。

【００３０】このシステムによれば、ユーザーの直接の
視野が狭い場合でも、ユーザーは広い範囲を監視するこ
とができて死角を解消できる。さらに、障害物の向こう
側を見通しすることもできる。このシステムは、車両の
ドライバーの死角をなくすための装置や、山、丘あるい
は建物の向こう側を見通すための装置として利用可能で
ある。

【００３１】実施の形態４．図１１は、バーチャルイン
テリアデザインやバーチャル家具店を実現するための装
置を示す。従来の家具店は広いスペースを備え、多数の
家具を展示していた。図１１の装置は、家具の展示を不
要にする。図１１の装置は、お客の部屋でシミュレーシ
ョンを行うことにより、お客に家具／インテリアを販売
することができる。この装置はより実際的な家具及びそ
の配置の評価を可能とする。

【００３２】ユーザーあるいはセールスマンがポインテ
ィングデバイス４１または指先をポインティングデバイ
スとして機能させるソフトウェアを操作して、家具等を
設置する場所を指定する。設置場所が決まると、家具デ
ータベース４２から所定の家具データを呼び出し、ＣＧ
を発生し、現実の画像と合成する。この装置によれば、
空き部屋に所望の家具を仮想的に配置することができる
ので、所望の家具を部屋に実際に置いたらどうなるかに
ついて、よりリアルなシミュレーションが可能になる。
図１２のようにドアＤの前にフロアマット４４を置いて
そのデザインがマッチするかどうか判断したり、ドアＤ
の横に植物を置いてその配置が適当かどうか、例えばド
アの開閉に邪魔になるかどうか、を判断することができ
る。図１３（ａ）は、ユーザーが見る画像の例である。
コンピュータにより合成された画像は４４、４５及び矢
印Ｐであり、他はＨＭＤ１を通して見る実際の像であ
る。矢印Ｐはポインティングデバイス４１または指先を
ポインティングデバイスとして機能させるソフトウェア
により示される。ユーザーは矢印Ｐを任意の位置に移動
することにより、家具等の設置位置を指定できる。図１
３（ｂ）は他の画像の例である。これは比較的大きな家
具４６を矢印ＰでドラッグすることによりドアＤを通し
ている状態を示す。ＣＧにより家具４６とドアＤの干渉
を表示できるから、所望の家具がドアを通るかどうかを
容易に知ることができる。

【００３３】実施の形態５．図１４は、空間融合装置を
用いたゲーム装置を示す。この技術を用いたゲーム装置
の市場は大きいと考えられる。ゲームを進行させるゲー
ムコンピュータ５１からデータを受けて、ゲーム画像発
生装置５２は所定のゲーム画面、例えば、チェスゲーム
においてチェスボードと駒、及びそれらを操作する相手
プレーヤー等の画像を含む画面を発生する。発生された
画面は、前述の方法に従って現実のビューと合成され
る。

【００３４】具体的なゲームの例として次のようなもの
が考えられる。

【００３５】(1)プレーヤーはボード上にリアルな障害
物５３、５４（例えば、ブロック、山／川モデル）を置
き、3次元的に移動するキャラクタＣの動きを制御す
る。あるいは、複数のプレーヤー同士で対戦し、人間が
コンピュータにより表現されたバーチャルオブジェクト
５３，５４の間を歩きまわる。

【００３６】(2)コンピュータ相手のチェス／チェッカ
ーゲームであって、コンピュータにより合成された対戦
相手Ｃがチェスボード５６上の駒５５を自在に動かす。
従来の平面的なチェスゲームよりも、立体表現により実
感的であるとともに、相手が3次元的に表現されるので
従来になかった面白さが得られる。

【００３７】実施の形態６．図６、９、１１及び１４の
装置により、下記の情報やサービスを提供できる。

【００３８】１．廃虚／歴史的建物の再構築遺跡を見学する際に、ＨＭＤによりその遺跡の復元した
状態を見せることができる。見学者は遺跡を歩き回りな
がら好きな角度から復元された仮想的な建物を見学する
ことができる。単なるＣＧの復元画像はよく知られてい
るが、これは単なる映画であり、インタラクティブ性に
欠ける。この実施の形態は、インタラクティブ性に優
れ、臨場感あふれる体験を提供できる。具体的には、次
のように処理する。遺跡として建物の土台が残っている
とき、その上の柱や屋根、室内の装飾の部分にコンピュ
ータによる合成画像を組み合わせる。なお、演算量を抑
えつつリアリティーを高めるために、遠方の建物、山な
どの画像は2次元イメージで実現し、近景の部分は3次元
イメージで実現することが考えられる。

【００３９】また、必要に応じて二次元および三次元位
置情報と対応づけられた文章、音声、静止画、動画、Ｃ
Ｇまたはそれらの組み合わせによる付加的な説明を自動
的またはある条件に応じてまたはユーザーとのインタラ
クションの中で提示することができる。

【００４０】２．恐竜／考古学的なものの再構成博物館にある恐竜の骨格標本に、ＣＧによる皮膚を貼り
付ける。恐竜の骨格標本がある部屋にユーザーが入る
と、画像発生装置が皮膚の配列及び表示のためのCADデ
ータをダウンロードする。合成部が、発生された画像を
ユーザーの視点からのCG画像に変換し、ＨＭＤに送る。
ユーザーはＨＭＤを通してよりリアルな恐竜の標本を見
ることができる。

【００４１】また、必要に応じて再構成されたＣＧデー
タの三次元位置情報と対応づけられた文章、音声、静止
画、動画、ＣＧまたはそれらの組み合わせによる付加的
な説明を自動的またはある条件に応じてまたはユーザー
とのインタラクションの中で提示することができる。

【００４２】３．デジタル博物館 (1)バーチャルイメージの展示物を、回転させたり、上
下逆さにしたり、投げ上げたり、する。

【００４３】(2)バーチャル絵画及び彫刻を、オリシ゛ナルな
表示（天井や壁上に）として展示する。

【００４４】（３）必要に応じて展示物、絵画、彫刻等
の二次元および三次元位置情報と対応づけられた文章、
音声、静止画、動画、ＣＧまたはそれらの組み合わせに
よる付加的な説明を自動的またはある条件に応じてまた
はユーザーとのインタラクションの中で提示することが
できる。

【００４５】４．機械・工場修理ガイダンス本技術を用いて、機械の特定部位や工場の特定個所の三
次元位置とそれに必要とされる情報を重ねて表示する。
それにより、修理・メンテナンスが正確に短時間で可能
になる。

【００４６】５．広告屋外、屋外に三次元の模型、二次元の写真等に基づく広
告媒体を表示し、それに今回の空間融合装置を組み合わ
せることで、より集客力のある広告表現が可能になる。

【００４７】６．写真・地図・模型等に基づく教材三次元の模型、二次元の写真等に基づく学習教材を表現
し、それに今回の空間融合装置を組み合わせることで、
より学習効果の高い教材が実現する。

【００４８】以上の説明において用いられる手段とは必
ずしも物理的手段を意味するものではなく、各手段の機
能が、ソフトウェアによって実現される場合も包含す
る。さらに、一つの手段の機能が、二つ以上の物理的手
段により実現されても、若しくは、二つ以上の手段の機
能が、一つの物理的手段により実現されてもよい。

【００４９】なお、以上の説明において「画像」という
単語を用いたが、これはいわゆる可視画像のほかに、不
可視画像も含む。例えば、レーダー、超音波スキャナ、
ＣＴ画像、ＭＲＩ画像、魚群探知機の画像等も含まれ
る。

【００５０】

【発明の効果】以上のように、この発明によれば、改良
された、現実空間と仮想空間を統合する空間融合装置を
提供することを目的とする。また、この装置を利用した
各種応用装置を提供することを目的とする。

【図面の簡単な説明】

【図１】図１は、この発明の実施の形態に係る空間融合
装置の概略機能ブロック図である。

【図２】図２（ａ）及び（ｂ）は、この発明の実施の形
態に係る空間融合装置の外観図である。

【図３】図３（ａ）は、この発明の実施の形態に係る空
間融合装置の融合の説明図である。図３（ｂ）は、この
発明の実施の形態に係る空間融合装置の融合の他の説明
図である。

【図４】図４は、この発明の実施の形態に係る空間融合
装置の動作フローチャートである。

【図５】図５は、この発明の実施の形態に係る空間融合
装置の動作の説明図である。

【図６】図６は、この発明の実施の形態２に係る、空間
融合装置の応用装置の機能ブロック図である。

【図７】図７は、この発明の実施の形態２に係る、空間
融合装置の応用装置の動作フローチャートである。

【図８】図８は、この発明の実施の形態２に係る、空間
融合装置の応用装置の動作例である。

【図９】図９は、この発明の実施の形態３に係る、空間
融合装置の応用装置の機能ブロック図である。

【図１０】図１０（ａ）は、この発明の実施の形態３に
係る、空間融合装置の応用装置の動作説明図である。図
１０（ｂ）は、この発明の実施の形態３に係る、空間融
合装置の応用装置の動作説明図である。

【図１１】図１１は、この発明の実施の形態４に係る、
空間融合装置の応用装置の機能ブロック図である。

【図１２】図１２は、この発明の実施の形態４に係る、
空間融合装置の応用装置の動作説明図である。

【図１３】図１３（ａ）は、この発明の実施の形態４に
係る、空間融合装置の応用装置の動作説明図である。図
１３（ｂ）は、この発明の実施の形態４に係る、空間融
合装置の応用装置の動作説明図である。

【図１４】図１４は、この発明の実施の形態５に係る、
空間融合装置の応用装置の動作説明図である。

【図１５】図１５は、この発明の実施の形態５に係る、
空間融合装置の応用装置の動作説明図である。

【図１６】図１６は、この発明の実施の形態５に係る、
空間融合装置の応用装置の動作説明図である。

【符号の説明】

１ヘッドマウントディスプレイ（HMD) １１液晶表示装置（LCD) １２カメラ３三次元位置抽出処理部４画像生成装置２１発信者の絶対位置を求める装置２２モバイルモデム２３データベースコントロールを行う制御部２４ 3次元認識装置２５ CG発生装置３１カメラ３３カメラ切り換え機３４合成部３５車両３６障害物４１ポインティングデバイス４２家具データベース５１ゲームコンピュータ５２ゲーム画像発生装置５３，５４障害物５５駒５６チェスボード

Claims

【特許請求の範囲】

【請求項１】ヘッドマウントディスプレイ（ＨＭＤ）
であって、カメラと、前記カメラの出力を二つ以上の二次元カメラ画像から幾
何学的計算方法によって三次元座標位置を求める手法に
より評価することにより位置及び方向を検出する三次元
位置検出部と、前記位置及び方向に基づきＣＧ画像を生成する画像生成
部と、前記画像生成部の出力を受けてＣＧ画像を生成する表示
部と、前記画像生成部で生成された画像を現実のＨＭＤの視野
に存在する光景と合成する合成部とを備える空間融合装
置。
【請求項２】請求項１記載の空間融合装置において、
前記画像生成部は、予め設定された距離よりも近い部分
について三次元ＣＧ画像を生成し、前記距離よりも遠い
部分について二次元ＣＧ画像を生成する。
【請求項３】携帯用のナビゲーション装置であって、ユーザーの現在位置を検出する位置検出部と、現在位置に応じたナビゲーション情報を受信する受信部
と、ナビゲーションのための画像を生成する画像生成部と、前記画像生成部で生成された画像を現実のビューと合成
する空間融合部と、を備える空間融合装置を適用した応
用装置。
【請求項４】請求項３記載の空間融合装置を適用した
応用装置において、前記空間融合部は、カメラを備えた
ヘッドマウントディスプレイ（ＨＭＤ）であり、前記位置検出部は、前記カメラの出力を二つ以上の二次
元カメラ画像から幾何学的計算方法によって三次元座標
位置を求める手法により評価することにより位置及び方
向を求め、前記画像生成部は、前記位置及び方向に基づき選択され
たナビゲーション情報の画像を生成する。
【請求項５】請求項３記載の空間融合装置を適用した
応用装置において、さらに、グローバル・ポジショニン
グ・システム（ＧＰＳ）又は／および無線通信手段を使
用し受信装置と複数の基地局との無線信号到達距離の差
から発信者の絶対位置を求める装置を備え、前記受信部
は前記装置の出力に応じてナビゲーション情報を受信す
る。
【請求項６】画像融合装置であって、ユーザーの視野の方向を検出する方向検出部と、ユーザーの視野外の画像を入手するためのカメラと、前記カメラの出力に基づき画像を生成する画像生成部
と、前記画像生成部で生成された画像を現実のＨＭＤの視野
に存在する光景と合成する空間融合部と、を備える空間
融合装置を適用した応用装置。
【請求項７】請求項６記載の空間融合装置を適用した
応用装置において、ユーザーが箱の内部にいて窓から外
部を見るときに、前記カメラは前記窓の視野外の部分を
カバーするように、前記箱の周囲に配置される。
【請求項８】請求項６記載の空間融合装置を適用した
応用装置において、ユーザーが壁、丘、山等の障害物の
前にいるときに、前記カメラはユーザーから見て前記障
害物の向こう側の部分をカバーするように配置される。
【請求項９】請求項８記載の空間融合装置を適用した
応用装置において、前記カメラは航空機、人工衛星等の
プラットフォームに搭載される。
【請求項１０】家具の配置などのシミュレーションを
行うための装置であって、予め複数の家具の形状・模様・色彩・寸法に関するデー
タを格納する家具データベースと、ユーザーの位置及び視野の方向を検出する方向検出部
と、前記複数の家具のいずれかを選択するとともに、その配
置を指定するポインティングデバイスまたは前述の指を
ポインティングデバイスとして機能させるソフトウエア
と、前記選択された家具を指定に従い仮想空間に配置すると
ともに、前記方向検出部の出力に基づきユーザーの視点
からみた家具の画像を生成する画像生成部と、前記画像生成部で生成された画像を現実のＨＭＤの視野
に存在する光景と合成する空間融合部と、を備える空間
融合装置を適用した応用装置。
【請求項１１】リアルなゲームを提供するための装置
であって、ゲームシナリオに従いゲームを進行させると
ともに、ゲーム画像を発生するゲーム処理装置と、ユーザーの位置及び視野の方向を検出する方向検出部
と、ゲームに関する操作を行うためのポインティングデバイ
スまたは前述の指をポインティングデバイスとして機能
させるソフトウエアと、前記方向検出部の出力に基づきユーザーの視点からみた
ゲーム画像を生成する画像生成部と、前記画像生成部で生成された画像を現実のＨＭＤの視野
に存在する光景と合成する空間融合部と、を備える空間
融合装置を適用した応用装置。