JP2008198196A - 情報提示装置 - Google Patents

Abstract

【課題】実物体と仮想物体との間に正しい遮蔽関係を保つことにより、現実感の高い仮想空間を提示する。
【解決手段】画像を投影するために、観察者ＢＳの眼の位置に対して光学的に共役な位置に、プロジェクタ１４Ｂを配置する。撮影手段１２により、背景物体１１Ｂの画像を取得する。撮影手段１２により取得された画像を、実物体ＪＴが隠すべき部分に投影するように、処理装置１３Ｂがプロジェクタ１４Ｂに出力する。撮影手段１２は、観察者ＢＳの視点と同じ位置、又は、観察者ＢＳの視点と光学的に共役な位置から、背景物体１１Ｂの画像を取得する。
【選択図】図７

Description

本発明は、バーチャルリアリティ（Virtual Reality : ＶＲ) 又はコンピュータビジュアライゼーション（Computer Visualization) の分野において用いられる情報提示方法及び装置に関し、特に、仮想物体を、実物体との遮蔽関係に齟齬を起こすことなく対話的に提示するために用いられる方法及び装置に関する。

近年の人工現実感の分野において、複合現実感に関する研究をはじめとして、物理空間と情報空間とを積極的に融合させることによりその工学的な応用をはかろうとする研究が活発化している。しかし、それらの研究の多くは、視覚提示装置として頭部搭載型ディスプレイ（ＨＭＤ：Head Mounted Display）又は通常のプロジェクタを用いているため、実物体と仮想物体との遮蔽関係に齟齬が生じ、現実感を著しく損なう場合がある。

さらに、視覚提示のみならず、例えば特願平６−１０２１８７号に示されるように、仮想物体とのインタラクションを含めた触覚提示をも同時に行おうとした場合には、触覚提示装置が視覚提示装置と視覚的及び物理的に干渉してしまう。これは視触覚を同時に提示するシステムを構築する際の大きな問題点である。
〔現実感融合〕人間が存在し生活している物理空間と、コンピュータ及び通信ネットワークによって構成される情報空間とがシームレスに融合されることより、社会が今後一層高度に情報化されてゆくと考えられる。その実現に向けて、"wearable-computing""ubiquitous-computing"といった概念が提唱されている。

ここで、シームレスに「融合」する意義を改めて検討する。心理学などの分野においては、両眼融合をはじめとし、複数の情報との間で相互に密な関係を持ち、何らかの現象や対象に対して単独では生まれ得ない新たな知覚表象を与えるような処理を「融合（fusion）」と呼称している。

工学分野においても、複数のセンサから得られる情報を統一的に処理することによって、単一のセンサからは得られない新たなセンシング機能を得る、センサフュージョンという研究が行われている。

同様に、人間が存在している物理空間とコンピュータによる情報空間、又は視空間と触空間とを単純に混合するだけでなく、シームレスに融合することにより、それぞれ単独では生まれ得ない効果を得ることが期待できる。
〔物理空間と情報空間の融合〕情報通信インフラが整備されるにしたがって、従来のブロードキャスト型の情報配信ではなく、オン・デマンド型又は双方向型の通信も主流になると考えられる。そしてインタラクティブ性の高い用途になればなるほど、情報のパーソナライズが進み、パーソナルな情報のためのパーソナルな現実感融合が必須課題となると考えられる。

よって、パーソナルなインタフェースである以上、現実感融合を低コストでコンパクトに実現する必要がある。

しかし、従来のディスプレイでは、デバイス自身が大きな重量と容積を占めてしまい、パーソナルな用途には不向きである。

一方、近年の人工現実感の分野で用いられているＨＭＤは、パーソナルな情報空間を生成することには適しているが、物理空間がディスプレイ自身によって遮蔽されてしまい、物理空間での作業が極めて困難である。当然、自分の身体映像を視認するのはＣＧ（Computer Graphics)によるメタファーとして以外は不可能であり、現実感の重要なファクターとされる自己投射性が低い。

ハーフミラー又は頭部搭載カメラを用い、物理空間の映像に情報空間の映像を重畳提示することを試みたシースルー型のＨＭＤも提案されている。これによると、映像（画像）の合成を観察者の目の近傍やコンピュータ内で行っているため、ワークスペース部分において、提示物体同士の遮蔽関係や焦点位置の不一致など、作業に著しく不利となる問題が原理的に起きてしまう。遮蔽関係の不一致に関する問題点は、近年多用されているＣＡＶＥ（下記非特許文献１)、又はＣＡＢｌＮ(下記非特許文献２)など、没入型の投影式ディスプレイにおいても全く同様である。
〔視触覚融合提示〕情報空間の物体を、視覚情報のみならず触覚情報をも含めて提示することにより、臨場感や作業性が向上することが報告されている。

しかし、触覚情報と視覚情報とを同時に提示しようとした場合に、視覚提示装置と触覚提示装置とが、光学的及び幾何的に干渉してしまう。これは、物理空間と情報空間の融合の部分と全く同様の問題であり、インタフェースの提示部分が物理空間に存在するからに他ならない。この間題に関して、現在までにＷＹＳＩＷＹＦディスプレ（下記非特許文献３)、ＰＤＤＭ(下記非特許文献４)、及びハプティックスクリーン（下記非特許文献５) などの研究が行われているが、多くの場合には、遮蔽関係の問題は無視したままの実装か、又はハーフミラーによる光学的な重畳による実装となってしまっている。
Carolina Cruz-Neira et al. "Surround-Screen Projection-Based Virtual Reality: The Design and Inplementation of the CAVE" COMPUTER GRAPHICS Proceedings, Annual Conference Series, pp. 135-142, 1993 広瀬通孝 他 "没入型多面ディスプレイ( ＣＡＢｌＮ) の開発" 日本バーチャルリアリティ学会第２回大会論文集，pp,46-53, 1996 Y. Yokokohji et al. "What You canSee is What You canFeel -Development of a virtual/Haptic Interface to Virtual Environment"In Proc.,VRAIS '96, pp. 46-53, 1996 野間春生他 "小型ディスプレイを用いたオブジェクト操作のための力覚インタフェース" 第１１回ヒューマン・インタフェース・シンポジウム論文集，pp. 491-496, 1995 岩田洋夫 他 "ハプティックスクリーン" 日本バーチャルリアリティ学会第１回大会論文集，pp. 7-10, 1996

〔現実感融合構成論〕ここで、従来のシステムの問題点の多くが、物理空間及び情報空間の両物体をインタラクションさせたいポイント以外で、物理空間と情報空間との合成を行っていることに起因していると推定する。つまり、一つのディスプレイで近距離から遠距離までの現実感融合をすべてカバーすることは現状の技術では極めて困難であり、用途により様々な距離、様々な大きさのデバイスを使い分けるのが当面の問題解決策ではないかと考える。

本願の発明者は、この問題意識に立って、手元で仮想物体を観察し操作することに適したディスプレイとして、オブジェクト指向型ディスプレイに関する提案を先に行った（特願平１０−１７２７２２号）。本願では、さらにその考えを拡張し、「近くの物体は近くのディスプレイ、遠くの物体（景色）は遠くのディスプレイ」であたかも舞台における書き割りのように提示することによって、より広い範囲でシームレスな現実感融合を図ろうとするものである。

この手法は、イメージ・ベースト・レンダリング（Image Based Rendering ）の分野での書き割り法による３次元仮想空間生成手法（尾崎信之 他 "仮想視点によるテレイグジスタンス( 第三報）−景色平面を用いた仮想空間の構成の方法"第３５回計測自動制御学会学術講演会予稿集，pp. 209-210, 1996 、広瀬通孝他"二次元実写画像を用いた三次元仮想空間の生成" 計測自動制御学会 HumanInterface N & R, Vol 11, No. 2,pp.209-214, 1997)の現実世界における実装と考えることもできる。

しかし、広い範囲で適切に現実感融合を行うためには、提示範囲に応じて広範囲な空間にディスプレイを遍在させる、いわば同時遍在ディスプレイ（ubiquitous display）を構成する必要がある。しかし、従来のディスプレイでは、空間的、金銭的コストが多大なものとなってしまい実用的ではない。

従来のディスプレイは、多数の観察者を想定した空間に対して一方的で無指向性の情報を提示し続けるブロードキャスト型の情報提示には有効である。しかし、インタラクティブな用途におけるパーソナルな情報提示装置として利用しようとした場合、つまり特定の観察者に観察されるという目的に利用しようとした場合に、従来のディスプレイは無指向性であるがために、観察者のいない方向にも情報が放出され、それが無駄なものとなってしまう。また、対象外の人の目にも情報が入ることとなり、個人情報のプライバシーを守りにくいという問題点もある。

つまり、インタラクティブな映像情報提示装置としては、人に映像を見せる"ディスプレイ（display ）"というより、人から観察されるもの、いわば"オブザービ（observee）"と呼ぶべきデバイスが必要なのである。

"オブザービ"としては、観察者の視認可能な範囲にのみ映像を提示するシステムを構築すればよく、例えば物体により遮蔽されている部分や、背面など視野に入らない部分では映像を提示する必要がない。

この、観られる情報提示デバイス"オブザービ"の機能を実現するためには、人間の視認範囲であるビューイング・ボリューム（viewing volume）と一致するようにプロジェクション・ボリューム（projectionvolume ）を形成させることが可能な映像提示システム（装置）が有力であると考えられる。

以上の機能を果たすシステムとしては、観察者の位置を測定し、観察者に追従するようにレンズなどの光学系を用いて提示映像を観察者にのみ提示するシステム、及び、光を入射した方向にそのまま反射する性質を持った再帰性反射スクリーンに対して観察者と共役な視点から映像を投影するシステムを挙げることができる。

しかし、前者の観察者追従型のシステムは、提示装置にコストがかかり、同時遍在的な用途への利用は困難である。これに対して、後者の投影型の映像提示システムは、映像提示のための空間的、金銭的コストをプロジェクタ側に集約させることにより、極めて容易に軽量の提示面を大量に生成することが可能という特長を持つ。また、観察者にとって真に必要な情報を必要なだけ提示することにより、限られた通信インフラの帯域の有効利用にもつながるという特長もある。さらに、観察者以外は映像を見ることができないため、観察者のプライバシーを守ることが可能である。

また、一人に対して１つ以上のディスプレイが必要な状況においては、空間側ではなく人間側に情報生成機能を付加した方がコストパフォーマンスの良いシステム構成ともいえる。

また、前者の観察者追従型のシステムは、スクリーン位置の変化による焦点深度の問題、及び光量の問題などが発生してしまう。通常、人に映像を見せる"ディスプレイ"は、より広い範囲に情報を提示することを目的としているため、広視野化が研究のポイントの一つとなっている。

従来のスクリーンもその例外ではなく、ガラスビーズなどを用いて入射した光を拡散させることが目的のデバイスであると換言できる。つまり、映画館に代表される"ディスプレイ"のために用いるスクリーンは、距離が離れれば離れるほど光量が２乗に反比例して減少するという性質を本質的に持っているわけである。

よって、"オブザービ"を実現するためのスクリーンとして必要な機能は、入射した光を拡散させることではなく、観察者の方向に再帰的に反射することであると考えられる。

また、"オブザービ"は、各々の人に対して、全く独自の映像情報を提示することが可能となるため、物理的には１つのデバイスであっても、それを観察する各人にそれぞれ全く独立の情報を提示することも可能となり、空間をさらに有効に利用することができる。

さて、"オブザービ"を実現するための画像表示方法に関して、本発明者は特願平１０−１７２７２２号として先に提案したのであるが、さらに、次のような問題がある。

すなわち、仮想空間において、視覚情報以外の感覚情報、特に触覚情報を観察者に提示する場合に、触覚提示装置を観察者の前方などに設置する必要がある。また、３次元位置センサのような人体状態計測センサが観察者の目と提示される映像との間に存在することもある。

もし、仮想空間において本来は見えないはずのこれらの物体が観察者から見えてしまった場合には、仮想環境の現実感を損なってしまうことになる。特に、提示された映像の手前に見えないはずの物体が見えた場合には、その物体によって視覚上の遮蔽が発生し、提示された映像に死角ができて著しく現実感を損なってしまう。

この問題の致命的な例が、仮想物体と実物体の奥行き関係が映像上逆転してしまった場合であり、その場合には物体が透けて見える透明視解釈が発生し、現実感を著しく損なってしまう。

例えば、図５（Ａ）に示すように、本来は仮想のボールＢＬ１が実世界の人間の手ＨＤの手前に見えるはずであるのに、図５（Ｂ）に示すように、ボールＢＬ１と手ＨＤの前後関係が逆転した場合には、遮蔽関係に矛盾が生じ、極めて不自然な見え方となる。

したがって、観察者と提示される映像との間に存在する実物体のうち、本来は見えないものは見えないよう、また見えるべきものは見えるようにし、実物体と仮想物体との遮蔽関係に齟齬が生じないようにする必要がある。

本発明は、上述の問題に鑑みてなされたもので、実物体と仮想物体との間に正しい遮蔽関係を保つことができ、現実感の高い仮想空間を提示することのできる情報提示方法及び装置を提供することを目的とする。

請求項１の発明に係る装置では、背景物体１１Ｂと観察者ＢＳとの間に置かれた実物体ＪＴの全部又は一部を光学的に隠すことによって仮想空間の情報を提示する装置であって、画像を投影するために観察者ＢＳの眼の位置に対して光学的に共役な位置に配置されたプロジェクタ１４Ｂと、前記背景物体１１Ｂの画像を取得するための撮影手段１２と、前記撮影手段１２により取得された画像の位置及び大きさを、前記観察者から見たときの前記背景物体の像と一致するように調整し、かつ、このように調整された画像を、前記実物体ＪＴの隠すべき部分に投影するように、前記プロジェクタ１４Ｂに出力する処理装置１３Ｂとを有してなる。

請求項２の発明に係る装置では、背景物体と観察者との間に置かれた実物体の全部又は一部を光学的に隠すことによって仮想空間の情報を提示する装置であって、画像を投影するために観察者の眼の位置に対して光学的に共役な位置に配置されたプロジェクタと、前記背景物体の画像を取得するための撮影手段と、前記撮影手段により取得された画像を前記実物体の隠すべき部分に投影するように前記プロジェクタに出力する処理装置と、を有している。この装置における前記撮影手段は、前記観察者の視点と同じ位置、又は、前記観察者の視点と光学的に共役な位置から、前記背景物体の画像を取得する構成となっている。

本発明によると、実物体と仮想物体との間に正しい遮蔽関係を保つことができ、現実感の高い仮想空間を提示することができる。

また、請求項１及び２の発明によると、背景が実物体である場合においても物体の透明化を実現することができる。

図２は本発明に係る情報提示装置１Ａの構成を配置的に示す図、図３は情報提示装置１Ａの構成を機能的に示す図、図４はスクリーン１１Ａに用いられる再帰性反射材ＲＵによる再帰性反射機能を説明するための図である。

図２及び図３において、情報提示装置１Ａは、スクリーン１１Ａ、処理装置１３Ａ、プロジェクタ１４Ｌ，１４Ｒ、ハーフミラー１５Ａ、触覚提示装置１６、頭部位置計測装置１７Ａ、及び背景スクリーン１９を備える。プロジェクタ１４Ｌ，１４Ｒは、それぞれ左眼用、右眼用であり、小開口径の単眼のものであって、互いに同一の構造である。したがって、プロジェクタ１４Ｌ，１４Ｒのいずれか又は両方を指して「プロジェクタ１４Ａ」と記載することがある。

スクリーン１１Ａは、プロジェクタ１４Ａによって投影される画像（映像）ＨＧを映し出し、そこに画像ＨＧの内容である対象物（仮想物体）を観察者ＢＳに対して視覚的に提示するためのものである。スクリーン１１Ａの形状は、任意の形状とすることが可能であるが、画像ＨＧによって提示される対象物と同じ形状又はそれに近似した形状とすることが好ましい。しかし、個々の対象物の形状に合わせたスクリーン１１Ａを製作することは非効率的であるので、それにこだわることなく、例えば平面、曲面、閉曲面など、対象物に対応した任意の形状とすることができる。閉曲面として、例えば、球状、卵形状、多面体、又はドーナツ型などとすることができる。

スクリーン１１Ａの本体に用いる材料として、例えば発抱スチロールのように、軽量で任意の形状に容易に加工できる材料が好ましい。スクリーン１１Ａの表面には、ガラスビーズなどを用いた再帰性反射材が塗布され、再帰性反射機能を有したスクリーン（再帰性反射スクリーン）となっている。

図４（Ｂ）に示すように、通常の材料ＭＵの表面では、反射光ＬＲは、入射光ＬＣの入射角度に余り依存することなくあらゆる方向に射出する。しかし、再帰性反射材ＲＵを用いて再帰性反射スクリーンとした場合には、図４（Ａ）に示すように、反射光ＬＲは、そのほとんどが入射光ＬＣの入射した方向に射出する。したがって、スクリーン１１Ａの表面に投影された映像は、観察者ＢＳの視線方向に高い輝度を有する。つまり、観察者ＢＳは、スクリーン１１Ａ上に投影された映像を、極めて高い輝度で観察することができる。

このように、再帰性反射材ＲＵは、光源の方向に強い指向性を持って反射する材料であり、コーナーキューブアレイ又はガラスビーズなどを用いて実現される。

処理装置１３Ａは、仮想環境映像生成部１３ａにおいて、左右のプロジェクタ１４Ｌ，１４Ｒに対して画像情報ＤＬ，ＤＲを生成して送出する。例えばバレーボール大の卵形状のスクリーン１１Ａに対しては、全体として卵形状を呈した対象物の画像が生成される。例えば、猫、兎、リスなどの小動物の画像である。生成される画像は、三次元情報を持った三次元画像である。したがって、任意の視点からの二次元画像である画像情報ＤＬ，ＤＲをそれぞれ出力することができる。

つまり、処理装置１３Ａは、スクリーン１１Ａに対する観察者ＢＳの視点に応じて、スクリーン１１Ａに適切な画像が表示されるように、修正した画像情報ＤＬ，ＤＲを生成する。つまり、スクリーン１１Ａ及び観察者ＢＳの位置の変化に追従して、プロジェクタ１４Ｌ，１４Ｒから投影される画像の内容、形状、及び位置などを変化させる。例えば、スクリーン１１Ａに、ある対象物を正面から見た画像が映っている場合に、観察者ＢＳがスクリーン１１Ａを鉛直線を軸としてその場で９０度回転させたとすると、スクリーン１１Ａにはその対象物を側面から見た画像が映るように、画像の内容を変化させる。

なお、スクリーン１１Ａに投影された画像を観察者ＢＳが左右の眼で立体視できるよう、各プロジェクタ１４Ｌ，１４Ｒに出力される画像情報ＤＬ，ＤＲは互いに視差を有している。

処理装置１３Ａは、反力演算部１３ｂにおいて、触覚提示装置１６の操作部１６１に与える反力を演算して制御装置１６０に指令を与える。

処理装置１３Ａとして、マイクロコンピュータ、パーソナルコンピュータ、又はワークステーションなどが用いられる。処理装置１３Ａにおいては、上述の画像情報ＤＬ，ＤＲを生成するために、コンピュータグラフィックスのためのデータ及びプログラム、レンダリングソフトウエア、その他の制御プログラムなどが搭載されている。また、物体の形状モデルなどのデータベースを格納した仮想空間情報記憶装置ＤＢ１を参照する。仮想環境映像生成部１３ａ及び反力演算部１３ｂは、それぞれ、それらのプログラムの実行に基づく機能の１つとして実現される。

プロジェクタ１４Ａは、焦点深度の深い画像を投影するために、開口径ができるだけ小さくなるように絞れること、例えば絞りの直径が５ｃｍ以下、又は２ｃｍ以下、さらには１ｍｍ以下であることが好ましい。開口径を絞り込むことによってピンホール光学系が形成され、焦点深度が深くなる。

プロジェクタ１４Ａは、観察者ＢＳの左右の眼の位置に対して光学的に共役な位置に設けられる。その場合に、ハーフミラー１５Ａとともに観察者ＢＳの頭部に一体的に装着することの可能な頭部搭載型とすることが好ましい。

なお、プロジェクタ１４Ａを頭部搭載型とするためには、例えば、観察者ＢＳが頭部に被ることの可能なキャップ又はヘルメットに、プロジェクタ１４Ａ、ハーフミラー１５Ａ、及び頭部位置計測装置１７Ａを取り付けておけばよい。又は、ヘッドマウンテッドディスプレイのように、バンドなどによって頭部又は顔面に装着するように構成してもよい。

ハーフミラー１５Ａは、プロジェクタ１４Ａから投射される光を反射するが、スクリーン１１Ａに表示された映像の光を透過する。プロジェクタ１４Ａは、ハーフミラー１５Ａによって、観察者ＢＳの左右の眼の位置に対して光学的に共役な位置に設けられる。これによって、観察者ＢＳによるスクリーン１１Ａ上に提示される物体の観察が可能である。

触覚提示装置１６は、観察者ＢＳの指ＢＳＦに対して触覚を提示するための装置である。つまり、触覚提示装置１６には、指ＢＳＦを挿入して操作を行う操作部１６１が設けられ、アーム１６２〜１６４及びアクチュエータ１６５，１６６によって可動に支持されている。操作部１６１には、スクリーン１１Ａが取り付けられており、スクリーン１１Ａは操作部１６１とともに移動する。つまり、スクリーン１１Ａの位置及び姿勢は、操作部１６１の位置及び姿勢によって決まる。

アクチュエータ１６５，１６６は、操作部１６１を移動駆動し又は操作部１６１に反力を発生させるためのものである。各アクチュエータ１６５，１６６の位置に、アーム１６２〜１６４の角度を検知する角度センサＳＥ１，ＳＥ２が設けられている。角度センサＳＥ１，ＳＥ２の出力信号に基づいて、３次元空間においてスクリーン１１Ａの配置されている位置及び姿勢がリアルタイムで計測される。なお、本明細書においては、位置及び姿勢の両方を合わせて「位置」と記載することがある。制御部１６０は、角度センサＳＥ１，ＳＥ２の出力信号及び処理装置１３Ａからの指令に基づいて、操作部１６１の全体を制御する。

触覚提示装置１６の操作部１６１は、通常、スクリーン１１Ａの前方にあり、したがって観察者ＢＳから見えるのであるが、仮想空間の提示の際には本来は見えてはならない物体である。そのため、操作部１６１をプロジェクタ１４Ａによる投影から光学的に隠すために、操作部１６１に再帰性反射材１８Ａが塗布されている。また、触覚提示装置１６の他の部分についても、観察者ＢＳから見える可能性のある部分には、再帰性反射材１８Ａが塗布されている。

なお、観察者ＢＳに与える触覚として、例えば重量感覚を提示するには、対象物の仮想的な重量に相当する力でスクリーン１１Ａを下方向に引っ張ればよい。重量感覚以外の触覚の例として、何かを発射したときの反動の感覚、水その他の液体中のように粘性の高い媒体中で対象物を動かしたかのような粘性感覚、風により対象物が揺らがされる感覚、又は、仮想ボールを仮想の壁に投げつけたときに跳ね返ってくる力などがある。触覚提示装置１６によって、観察者ＢＳは、スクリーン１１Ａに投影された画像中の対象物の力覚を体感することが可能である。

頭部位置計測装置１７Ａは、観察者ＢＳの頭部に取り付けられ、頭部の位置つまり眼の位置及び視線の方向を計測する。頭部位置計測装置１７Ａによる計測信号は処理装置１３Ａにフィードバックされる。処理装置１３Ａにおいて、スクリーン１１Ａの位置と観察者の位置とから、これらの相対位置を演算し、対象物に対する観察者ＢＳの視点を求める。

背景スクリーン１９は、再帰性反射スクリーンであり、スクリーン１１Ａの背後に設けられる。背景スクリーン１９には、スクリーン１１Ａに投影する対象物についての背景を投影する。背景スクリーン１９は、再帰性反射材が塗布された壁面又は床面それ自体であってもよく、又は再帰性反射機能を有するシートであってもよい。

次に、情報提示装置１Ａの動作について説明する。なお、ここでは、触覚提示装置１６及び観察者ＢＳの初期位置は、仮想空間との位置合わせが済んでいるものとする。

頭部位置計測装置１７Ａによって得られた視点位置及び視点情報と、仮想空間の情報とに基づいて、処理装置１３Ａによって観察者ＢＳの視点及び視線での仮想空間の映像が生成される。生成された映像は、プロジェクタ１４Ｌ，１４Ｒによってスクリーン１１Ａに投影される。スクリーン１１Ａに投影された映像は、観察者ＢＳによって観察される。観察者ＢＳは、各プロジェクタ１４Ｌ，１４Ｒによって投影された映像を、それぞれ左右の眼で分離して観察することができる。観察者ＢＳは、肉眼で、投影による仮想物体とそこに存在する実物体とを同時に見ることができる。このようにして、仮想空間が実空間とともに観察者ＢＳに提示される。

一方、触覚提示装置１６の操作部１６１に接している指ＢＳＦの先端部の位置が、角度センサＳＥ１，ＳＥ２からの出力信号に基づいて演算される。観察者ＢＳの指ＢＳＦが仮想物体（映像）の内部に入らないよう、各アクチュエータ１６５，１６６を駆動制御して反力を発生させる。これによって、観察者ＢＳには、あたかもそこに実物体があるかのような触感が提示される。

そして、触覚提示装置１６にも再帰性反射材１８Ａが塗布されているため、プロジェクタ１４Ａから投影される映像は触覚提示装置１６でも反射し、観察者ＢＳの眼に入る。触覚提示装置１６により反射した映像は、スクリーン１１Ａにより反射した映像と同じように観察者ＢＳの眼に映るので、プロジェクタ１４Ａから投影される映像のみが観察者ＢＳに提示される。再帰性反射材１８Ａの性質によって、観察者ＢＳの視線方向の光線以外は眼に戻ってこないため、観察者ＢＳから触覚提示装置１６は見えない。すなわち、触覚提示装置１６は、観察者ＢＳに対しては視覚的に透明である。

もし、仮に、触覚提示装置１６が観察者ＢＳから見えた場合には、触覚提示装置１６によって視覚上の遮蔽が発生し、プロジェクタ１４Ａによって提示された映像に死角ができて著しく現実感を損なってしまう。

例えば、図６（Ａ）に示すように、触覚提示装置１６Ｚの表面には再帰性反射材１８Ｚが塗布されているので、触覚提示装置１６Ｚは視覚的に透明化され、観察者ＢＳからは見えない。仮想物体ＶＴ１は、手ＨＤのみによって遮蔽される。もし、仮に、再帰性反射材が塗布されていない触覚提示装置１６Ｘを用いた場合には、図６（Ｂ）に示すように、仮想物体ＶＴ１は、触覚提示装置１６Ｘによって遮蔽されてしまい、現実感が著しく損なわれる。

特に、本実施形態のように、仮想空間において視覚以外の感覚として触覚を提示する場合では、触覚提示装置のようなデバイスをユーザの前面に設置する必要がある。従来のＣＡＶＥ及びＣＡＢＩＮなどのように、背面投影型のスクリーンを使った裸眼の又はステレオ視用のゴーグルを用いた仮想空間提示方法では、仮想環境の内部にデバイスが見え、仮想環境の現実感を著しく損なう。また、ＨＭＤなどを使用した仮想空間提示方法では、デバイスは見えないが、自分自身の手はＨＭＤにＣＧとして描かれる場合が多く、これも現実感に欠ける。

本実施形態のように、触覚提示装置１６に再帰性反射材１８Ａを塗布し、観察者ＢＳの眼の位置と共役な位置から映像を投影することによって、触覚提示装置１６もスクリーンの一部として機能し、視覚的にはあたかも仮想空間から触覚提示装置１６を消去したかのように見ることができる。しかも、触覚提示装置１６による影の部分は観察者ＢＳの視野の上でも死角となるので、影が生じない。

そして、観察者ＢＳの手などは、再帰性反射機能を有さないので、スクリーン１１Ａに投影された映像と比較して輝度が著しく低い。したがって、自分の手などに映り込みが生じることがなく、手は手として見ることができる。

このように、実物体に対して選択的に再帰性反射材を使い分けることにより、不必要な実物体をカモフラージュして視覚的に「透明」な存在にすることができる。つまり、「光学迷彩（optical camouflage) 」が実現される。これによって、視覚と触覚との融合が図られ、実物体と仮想物体との間に正しい遮蔽関係が保たれ、現実感の高い仮想空間を提示することができる。

このように、本実施形態の情報提示装置１Ａは、観られる情報提示デバイス"オブザービ"に必要とされる「見える物だけ見せる」という条件を満足している。

なお、上にも述べたように、再帰性反射材は、触覚提示装置１６などの実物体に直接に塗布してもよいし、又は紙や布などに塗布して再帰性反射機能を有した遮蔽スクリーンを製作し、これで隠したい実物体を覆ってもよい。また、触覚提示装置１６だけでなく、その他の感覚提示装置、その他のデバイス、配線、又は家具など、あらゆる実物体を仮想空間から隠すことができる。

本実施形態の情報提示装置１Ａによる他の利点は次のとおりである。
（１）スクリーン１１Ａを再帰性反射スクリーンとしたことにより、屋内光の下で充分に観察可能な程度の高い輝度が得られる。また、再帰性反射材の塗布が可能な全ての物体をスクリーンとして利用できるので、非常に軽量で且つ自由な形状のディスプレイを実現することができる。
（２）観察者ＢＳの眼と光学的に共役な位置から映像を投影するので、スクリーン１１Ａの形状に起困する像の歪みが生じない。
（３）プロジェクタ１４Ａの画像投影部の開口径を光量の許す限り絞り込むことにより、焦点深度が大きくなり、任意形状及び任意位置のスクリーン１１Ａに対し、広い範囲でピントずれを起こすことなく結像させることが可能である。
（４）スクリーン輝度の距離依存性が低減する。
（５）観察者ＢＳにより観察される両眼像が空間的に分離されるので、裸眼立体視が可能となる。立体視を行うことにより、スクリーン１１Ａ、背景スクリーン１９、及び触覚提示装置１６の表面の汚れ、又はスクリーン間の継ぎ目などが目立たなくなる。
（６）プロジェクタ１４Ａをハーフミラー１５Ａなどの光学部材とともに一体化し、観察者ＢＳの頭部に搭載可能なように構成することにより、観察者ＢＳは、頭部を動かすことによる見回し動作、又は部屋内の自由な移動などが可能となる。
（７）構成が比較的単純であるので、低コストで実現可能である。

上述の実施形態の情報提示装置１Ａにおいては、スクリーン１１Ａを配置した例について説明したが、このスクリーン１１Ａを省略してもよい。その場合に、背景スクリーン１９に左眼用及び右眼用の視差のある映像を投影し、投影された左右の映像によって仮想物体の表面がスクリーン１１Ａの位置（距離）にあるように表示する。そして、その仮想物体の表面形状に合わせて、触覚提示装置１６により反力を提示するように構成する。触覚提示装置１６が背景スクリーン１９の手前に配置されているが、スクリーン１１Ａがない場合でも、触覚提示装置１６に再帰性反射材を塗布しておくことによって、観察者ＢＳから触覚提示装置１６が見えることはない。また、スクリーン１１Ａを省略するのではなく、背景スクリーン１９を省略することも可能である。

ところで、上に述べた実施形態においては、透明化を実現する物体の背景は、投影された画像である。

つまり、図１に示す情報提示装置１において、実物体ＪＴの背景は、プロジェクタ１４からスクリーン１１に投影された画像である。スクリーン１１に投影された画像と矛盾しない画像又は一致する画像を実物体ＪＴにも投影することによって、スクリーン１１に投影された画像の中に実物体ＪＴが埋没して透明化されている。

図２に示す情報提示装置１Ａにおいても、実物体である触覚提示装置１６の操作部１６１の背景は、スクリーン１１Ａに投影された画像である。また、触覚提示装置１６のアーム１６２〜１６４及び制御部１６０などの一部分について見れば、その背景は、背景スクリーン１９に投影された画像である。したがって、スクリーン１１Ａに投影された画像と一致する画像を操作部１６１にも投影し、また背景スクリーン１９に投影された画像と一致する画像をアーム１６２〜１６４及び制御部１６０などの一部分にも投影することによって、それらが背景の画像の中に埋没して透明化されている。

しかし、次に説明する実施形態において、背景は、投影された画像ではなく、実物体である。つまり、背景が実物体である場合においても、次の実施形態のように構成することによって、物体の透明化を実現することができる。

図７は本発明に係る他の実施形態の情報提示装置１Ｂの構成を示す図、図８は情報提示装置１Ｂにおける処理又は動作の流れを示すフローチャートである。

図７において、背景物体１１Ｂは、実物体ＪＴの背景として配置されている。背景物体１１Ｂは、この実施形態においては煉瓦で造られた壁であるが、煉瓦以外の壁、窓、部屋、家屋、ビルディング、庭園、他の建築物、書籍、本棚、絵画、創作物、人物、動物、又は風景など、現実に存在する種々の物体を用いることができる。

それらの物体を背景物体１１Ｂとして用いる際に、カメラ１２を用いて背景物体１１Ｂを撮影し、背景物体１１Ｂの画像を予め取得しておく。又は、仮想空間の提示と同時に背景物体１１Ｂを撮影する。

撮影によって得られた背景物体１１Ｂの映像は、実物体ＪＴを遮蔽するための再帰性反射材１８Ｂに投影される。再帰性反射材１８Ｂに投影される画像は、観察者ＢＳから見て、そこに見えるはずの背景物体１１Ｂの像と一致するように、処理装置１３Ｂによって位置及び大きさの調整がなされる。したがって、観察者ＢＳは、実物体ＪＴに代えて、再帰性反射材１８Ｂに投影された背景物体１１Ｂの画像を見ることとなる。これによって実物体ＪＴが透明化される。

カメラ１２による背景物体１１Ｂの撮影に当たっては、観察者ＢＳの視点と同じ位置、又は観察者ＢＳの視点と光学的に共役な位置から撮影を行う。そうすることによって、撮影により得られる画像に何らの前処理を施すことなく、実物の背景物体１１Ｂとその映像とが一致するように重畳させることが可能である。

しかし、そのような位置からの撮影が困難か又は不可能な場合がある。また、観察者ＢＳが移動してその視点が動く場合がある。そのような場合には、撮影によって得られた画像に対し、公知のイメージ・ベースト・レンダリング的な手法を用いて修正又は変形を加える。例えば、背景物体１１Ｂの３次元計測を行っておき、観察者ＢＳの視点との相対位置関係に応じて画像を修正し又は変形する。イメージ・ベースト・レンダリングについては、上に述べた他、"二次元実写画像を用いた三次元仮想空間生成"（廣瀬，宮田，谷川著、信学技報，ＭＶＥ９６−１８（1996））に記載された手法などが参照できる。

図８のフローチャートにおいて、背景物体を撮影することによって背景画像を取り込む（＃１１）。カメラ１２の撮影位置と観察者ＢＳの視点とが光学的に共役である場合には（＃１２でイエス）、必要に応じて画像の拡大又は並進処理などを行い（＃１３）、処理された画像をプロジェクタ１４Ｂから投影する（＃１４）。

カメラ１２の撮影位置と観察者ＢＳの視点とが光学的に共役でない場合には（＃１２でノー）、カメラ１２の撮影位置、観察者ＢＳの視点位置、背景物体１１Ｂの位置、及び背景物体１１Ｂの形状のそれぞれのデータを取得する（＃１５）。それらのデータに基づいて、撮影した画像に対し、アフィン（affine) 変換などのイメージ・ベースト・レンダリング処理を行い、観察者ＢＳの視点からの画像（背景映像）に変換し（＃１６）、変換した画像をプロジェクタ１４Ｂから投影する（＃１４）。

図９は情報提示装置１Ｂを用いて情報提示を行った例を示す図である。

図９において、背景物体として本棚１１Ｂａが用いられている。本棚１１Ｂａには、通常の用い方にしたがって多数の書籍が収納されており、その前方に、２冊の書籍ＢＫ１，ＢＫ２が正面を向いて置かれている。観察者ＢＳは、本棚１１Ｂａの正面の手前（図９の紙面に垂直方向の手前側）におり、手ＨＤには大きなルーペ風の物体ＪＴａを持っている。

物体ＪＴａは、その全体が不透明であり、物体ＪＴａによって２冊の書籍ＢＫ１，ＢＫ２のそれぞれの一部分が隠れている。物体ＪＴａには、そのレンズに対応する円形の部分に再帰性反射材１８Ｂａが塗布されている。本棚１１Ｂａは、カメラ１２を用いてその画像が撮影されており、位置合わせなどの処理が行われた画像ＶＦ１が、物体ＪＴａの再帰性反射材１８Ｂａに投影されている。投影された画像ＶＦ１は、再帰性反射材１８Ｂａの部分が透明であれば見えるはずであった書籍ＢＫ１，ＢＫ２を映し出している。

すなわち、図９において、実物体ＪＴａの外側に見える部分は本棚１１Ｂａそれ自体であり、実物体ＪＴａの内側の再帰性反射材１８Ｂａ上に見える部分はプロジェクタ１４Ｂによって投影された画像ＶＦ１である。観察者ＢＳが、その視点、又は手ＨＤや実物体ＪＴａの位置を変えると、それに応じた画像ＶＦ１が再帰性反射材１８Ｂａに投影される。

図９においては、再帰性反射材１８Ｂａに投影された画像ＶＦ１は、背景である本棚１１Ｂａの書籍ＢＫ１，ＢＫ２の像に対して等倍であるが、画像の拡大処理などを行うことにより、画像ＶＦ１を実物体ＪＴａの像よりも拡大することができる。また、その拡大率を、書籍ＢＫ１，ＢＫ２と実物体ＪＴａとの距離などに応じて変化させることができる。これによって、実物体ＪＴａがあたかも本物のルーペであるかのように感じられる。

すなわち、本棚１１Ｂａという実物体を背景として、実物体ＪＴａのレンズ対応部分（再帰性反射材１８Ｂａ）の透明化が実現されているのである。

なお、図２に示す情報提示装置１Ａにおいて、背景スクリーン１９の代わりに背景物体１１Ｂを用い、その画像を撮影してアーム１６２〜１６４及び制御部１６０などの部分に投影し、これによってアーム１６２〜１６４などを透明化することができる。

上に述べた実施形態において、処理装置１３，１３Ａ，１３Ｂ、プロジェクタ１４，１４Ｌ，１４Ｒ，１４Ｂ、触覚提示装置１６，１６Ｚ、及び情報提示装置１，１Ａ，１Ｂの全体又は各部の構成、形状、寸法、材質、処理の内容などは、本発明の趣旨に沿って適宜変更することができる。

本発明の原理を説明するための図である。 本発明に係る情報提示装置の構成を配置的に示す図である。 情報提示装置の構成を機能的に示す図である。 スクリーンに用いられる再帰性反射材による再帰性反射機能を説明するための図である。 遮蔽関係の正誤の表れ方の例を示す図である。 遮蔽関係の正誤の表れ方の例を示す図である。 本発明に係る他の実施形態の情報提示装置の構成を示す図である。 図７に示す情報提示装置における動作の流れを示すフローチャートである。 図７に示す情報提示装置を用いて情報提示を行った例を示す図である。

符号の説明

１，１Ａ，１Ｂ 情報提示装置
１１，１１Ａ スクリーン
１１Ｂ，１１Ｂａ 背景物体
１３ 画像生成装置
１３Ａ，１３Ｂ 処理装置（画像生成装置）
１３ａ 仮想環境映像生成部（画像生成装置）
１４，１４Ａ，１４Ｂ プロジェクタ
１５，１５Ａ，１５Ｂ ハーフミラー（光学部材）
１６，１６Ｚ 触覚提示装置（実物体）
１８ 遮蔽スクリーン（遮蔽材）
ＲＵ，１８Ａ，１８Ｂ，１８Ｂａ，１８Ｚ 再帰性反射材（遮蔽材）
ＢＳ 観察者
ＪＴ，ＪＴａ 実物体

Claims (2)

1. 背景物体と観察者との間に置かれた実物体の全部又は一部を光学的に隠すことによって仮想空間の情報を提示する装置であって、
   画像を投影するために観察者の眼の位置に対して光学的に共役な位置に配置されたプロジェクタと、
   前記背景物体の画像を取得するための撮影手段と、
   前記撮影手段により取得された画像の位置及び／又は大きさを、前記観察者から見たときの前記背景物体の像と一致するように調整し、かつ、このように調整された画像を、前記実物体の隠すべき部分に投影するように、前記プロジェクタに出力する処理装置と、
   を有してなることを特徴とする情報提示装置。
2. 背景物体と観察者との間に置かれた実物体の全部又は一部を光学的に隠すことによって仮想空間の情報を提示する装置であって、
   画像を投影するために観察者の眼の位置に対して光学的に共役な位置に配置されたプロジェクタと、
   前記背景物体の画像を取得するための撮影手段と、
   前記撮影手段により取得された画像を前記実物体の隠すべき部分に投影するように前記プロジェクタに出力する処理装置と、
   を有しており、
   前記撮影手段は、前記観察者の視点と同じ位置、又は、前記観察者の視点と光学的に共役な位置から、前記背景物体の画像を取得する構成となっている
   ことを特徴とする情報提示装置。

Images