JP2000250688A - 実感可能な仮想空間システム - Google Patents

Abstract

(57)【要約】 【課題】 この発明は、ユーザの動作例えば空気の流れ
による画面の変化と、変化に対応する芳香の発生又は変
化を画面に自動的に変化を与えると共に、ユーザの身辺
に同一状況を発現して没頭感を促進させることを目的と
したものである。 【解決手段】 臨場感付与装置と、人の動きを仮想世界
に取り込む装置と、該取り込みに対応して仮想世界をを
操ることのできる装置とよりなることを特徴とした実感
可能な仮想空間システム。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、キーボード及び
マウス操作に限定されることなく、仮想空間にバーチャ
ルリアリティ（ＶＲという）を付与することを目的とし
た実感可能な仮想空間システムに関する。

【０００２】

【従来の技術】従来の仮想空間に臨場感を醸成する方法
及びシステムについては、本発明者等が幾多の提案を行
って、臨場感の一層の向上を図って来た。

【０００３】例えば静止画像の仮想空間に客観条件と、
主観条件から指定し得る立体的音響のマルチ音データベ
ースがセットされ、ユーザの指示（入力）に基づき画像
上を移動するアイコンの位置に対応して、前記指定され
た音声が自動的に取出されることを特徴とした静止画像
の仮想空間に臨場感を醸成する為の音声補完方法があ
り、画像インターフェース部と音検索部及び音風景構築
部により構成したことを特徴とする静止画像の仮想空間
に臨場感を醸成する為の音声補完システムがある（特開
平８−３０５８２９号）。

【０００４】

【発明により解決しようとする課題】従来デスクトップ
タイプのコンピュータを利用して仮想空間を実装する場
合、仮想空間とのインターフェースは、キーボード及び
マウスに限定されるため、仮想空間内での操作は、マウ
スボタンのクリックやメニューからの選択など、現実世
界での動作や操作とはかけ離れる場合がほとんどであ
る。例えば、オブジェクトを移動するという動作にして
も、現実空間では直接手でつかみ、その存在を確認して
持ち上げ、移動するという動作を行うのに対し、仮想空
間内では、マウスなどを利用してオブジェクトを選択し
移動させるという間接的な操作になる。また、現実世界
でロウソクが燃えている場合、息を吹きかけて、ロウソ
クの炎を消すことができる。しかし、仮想空間内にロウ
ソクが存在している場合は、その画面に表示されている
ロウソクに向かって息を吹きかけても当然何の変化も起
こらず、その操作はマウスクリックなど、間接的な動作
によって行わざるを得ないことになる。このような仮想
空間のオブジェクトの操作が間接的であることが仮想空
間を実感するうえで妨げを生じさせると思われる。

【０００５】不特定多数のユーザが存在する都市や街な
どの大きなこコミュニティの場合、それほど親密なコミ
ュニケーションをとることはない。しかし、オフィスや
学校などのように現実世界と強い結び付きがある比較的
小さなコミュニティの場合などにおいては状況は全く異
なってくる。このような場合、「仮想空間が存在し、そ
の空間を仲間と共有している」という実感をユーザに与
えることが重要となってくる。またユーザはアバタの向
こうに真の相手の姿を見ながらコミュニケーションをと
るため、より親密なコミュニケーションを求めると思わ
れる。

【０００６】コミュニケーションは、意見や情報を交換
するプロセスであり、交換される情報には文字で表現で
きるバーバル情報と、表情、ジェスチャなどのノンバー
バル情報がある。バーバル情報の占める割合は全情報の
３０％以下であると報告されており、質の高いコミュニ
ケーションを実現するためにはノンバーバル情報の伝達
が必要不可欠である。しかし、現在の仮想空間において
は、ユーザ分身であるアバタはメンバがどこを向いてい
るかを示す役割、メンバを識別する役割しか果たしてお
らず、コミュニケーションにおいて重要な意味をもつノ
ンバーバル情報が欠如している。また現実世界では当た
り前のように行っており、人間のコミュニケーションに
とって重要な意味をもつ接触行動も不可能である。この
ように仮想空間は、対面環境と比較して大きく異なるた
め、親密なコミュニケーションがとりにくく、仮想空間
上のメンバを実感しにくいという問題点が生じていた。

【０００７】また現実世界でオブジェクトを操作する場
合と仮想空間上でオブジェクトを操作する場合の動作
は、ほとんどの場合異なっているため、仮想空間上のオ
ブジェクト、さらには仮想空間自体を実感しにくいとい
う問題点があった。

【０００８】次に人間の動きを仮想世界に取り込む要素
については、現状の仮想空間と人間のインターフェース
がマウス、キーボードのみであるためほとんど支援され
ていない。データグローブなどの使用によってユーザの
動きを取り入れる方法も考えられるが、このような特殊
なデバイスを身につけてしまうと、過度にそのデバイス
を意識してしまうことがあり、没頭感の妨げとなってし
まう。しかし、マウス、及びキーボードのみでの人間の
動きの検出はほとんど不可能であるため、例えば、カメ
ラやマイクといった、通常のコンピュータに付属してい
る機器をコンピュータへの入力装置に利用したり、ユー
ザがその存在を意識することなく、ユーザの動きを測定
する専用のセンサが必要であると考えられる。

【０００９】更に仮想世界を操る機能については、これ
までえはユーザのマウス、キーボード操作に応じて仮想
空間をリアルタイム生成することによって実現されてき
た。しかしこのことは、仮想空間への直接的な操作が行
えないことを意味し、ユーザに没頭感を与える妨げとな
っている。

【００１０】このように、よりユーザに実感可能な仮想
空間を提供するためには、ユーザに没頭感を与えること
は重要なことになり、それを実現するためには、デバイ
スの存在を意識することなく、仮想空間を直接操作する
ことのできるシステムが必要となる。

【００１１】また現実空間で人間は、実際に物を見る、
あるいは触るといった行動により、五感を利用して情報
を獲得し、その物体の存在や状態を認識している。しか
し仮想空間における五感に関する情報の伝達は、従来、
視覚、及び聴覚に関する情報の伝達が主流であり、また
コンピュータの高性能化やデバイスの開発に伴い、近年
触覚情報の伝達に関する研究がなされている程度で、現
実世界で得られるすべての情報が伝達されているわけで
はない。また、特に嗅覚情報の伝達に関しては、嗅覚の
仕組みがいまだ明確に解明されていない現状もあり、支
援されていないシステムがほとんどである。このように
現実世界に比べ、仮想空間で得られる五感に関する情報
量が少いという事実が、仮想空間の実感性を損なうこと
につながっていると考えられる。

【００１２】たしかに、人間は見る（視覚）、及び聞く
（聴覚）ということによって、外界の情報のほとんどを
得ることができる。しかし、例えば、温度や材質といっ
た情報は触れることによってしか得ることができない
し、また、物の香りやその場所特有の香りなどは、嗅覚
を利用してのみえられる情報である。また、嗅覚情報を
獲得することにより、空間の大きさや広がり、または変
化を感じとり、その場所にいるという実感を感じとるこ
とが出来ると考えられる。

【００１３】また、嗅覚情報から獲得する実感は、他の
感覚では代用できない実感といえる。例えば、木が生い
茂っている森林を考えると、その美しい緑を見、木のざ
わめきや小鳥のさえずりを聞き、樹木に触ることといっ
た動作に加え、森林の空気を吸い込んだり、木々や草花
の香りをかぐことによって、森林全体を実感していると
いえる。このように人間の感覚から得られる情報が多け
れば多いほど、その事柄をより実感することが可能であ
るとおもわれる。

【００１４】そのため、仮想空間及び、仮想空間内のオ
ブジェクトに対する実感を高めるためには、現実世界と
同じ動作で直接仮想空間上のオブジェクトの操作を可能
にするような自然な形でのインタラクションが必要であ
ると考えられる。

【００１５】近来ＶＲの技術の進歩により、ヘッドマウ
ントディスプレイや立体視ディスプレイなどの視覚情報
を伝達するインターフェースや、データグローブやファ
ントム（ＰＨＡＮＴｏＭ）などの触覚情報を伝達するイ
ンターフェースの開発が進められ、実用化されている。
これらのデバイスは、立体視やフォースフィードバック
の技術を利用し、ユーザに直接、視覚及び触覚的な情報
の伝達を行っている。このため、ユーザはリアルな仮想
空間を体験することができて、アトラクションや手術の
シミュレーションなどに応用されている。

【００１６】しかし、このようなインターフェースはリ
アルな仮想空間の表現が可能である反面、ユーザが特殊
なデバイスを装着しなければならないため、ユーザへの
負荷が高まるので、今後仮想空間を利用したシステムが
普及していくためには、より実感可能であり、かつ、ユ
ーザにとって負荷の少ないシステムの構築が必要とな
る。

【００１７】

【課題を解決するための手段】前記仮想空間を利用して
いるユーザに対し、恰も現実世界を与えられているとい
う実感を得る為には、仮想空間への「没頭感」を提供す
ることが重要な要素である。

【００１８】この「没頭感」を与える為には、臨場感を
与える機能と、人間の動き（操作や行動）を仮想世界に
取り込む機能及び仮想世界を操る（人間の操作や行動に
応じて仮想環境の変化を計算する機能というＶＲの要素
の実現が必要であるから、上記に付苦心研究の結果、こ
の発明を完成したのである。

【００１９】即ちこの発明は臨場感付与装置と、人の動
きを仮想世界に取り込む装置と、該取り込みに対応して
仮想世界をを操ることのできる装置とよりなることを特
徴とした実感可能な仮想空間システムである。また前記
臨場感付与装置は、リアルな仮想空間の高速表示装置
と、３次元の立体音響装置と、環境補填装置とよりなる
ことを特徴としたものであり、人の動きを仮想世界に取
り込む装置は、カメラ、マイク及びセンサーなど存在感
捕捉装置の出力を、コンピュータの入力に接続すること
を特徴としたものである。次に仮想世界を操ることので
きる装置はカメラによる映像、マイクによる音響その他
センサーなどの出力を入力とする装置により、分析、計
算してマウス又はキーボードの制御系に指令することを
特徴としたものであり、環境補填装置は、風力発生装置
及び芳香発生装置とこれに対応するセンサーとを備えた
ものである。

【００２０】次に他の環境補填装置は、画面上の人物の
表情、口調又はジェスチャなどのノンバーバル情報を付
与することであり、ジェスチャは、各種ポーズ又は握手
としたことである。

【００２１】前記発明において仮想空間における臨場感
については、近年のコンピュータのグラフィック表示能
力の向上により、一般家庭にあるコンピュータにおいて
もリアルな仮想空間の高速な表示は可能になってきてい
る。しかし、デスクトップ上での仮想空間の実装では、
視覚的な臨場感の表現に限界があり、やはり大画面を用
いた大型システムの利用が高い臨場感を出すためには有
効である。また、３次元の音の広がりを持った立体音響
を用いることによっても支援できる。音響についてもパ
ソコン用の高性能なサウンドカードが低価格で販売され
ているため、比較的簡単に実現が可能である。

【００２２】次に人間の動きを仮想世界に取り込む要素
については、現状の仮想空間と人間のインターフェース
がマウス、キーボードのみであるためほとんど支援され
ていない。データグローブなどの使用によってユーザの
動きを取り入れる方法も考えられるが、このような特殊
なデバイスを身につけてしまうと、過度にそのデバイス
を意識してしまうことがあり、没頭感の妨げとなってし
まう。しかし、マウス、及びキーボードのみでの人間の
動きの検出はほとんど不可能であるため、例えば、カメ
ラやマイクといった、通常のコンピュータに付属してい
る機器をコンピュータへの入力装置に利用したり、ユー
ザがその存在を意識することなく、ユーザの動きを測定
する専用のセンサが必要であると考えられる。

【００２３】更に仮想世界を操る機能については、これ
まではユーザのマウス、キーボード操作に応じて仮想空
間をリアルタイム生成することによって実現されてき
た。しかしこのことは、仮想空間への直接的な操作が行
えないことを意味し、ユーザに没頭感を与える妨げとな
っている。

【００２４】このように、よりユーザに実感可能な仮想
空間を提供するためには、ユーザに没頭感を与えること
は重要なことになり、それを実現するためには、デバイ
スの存在を意識することなく、仮想空間を直接操作する
ことのできるシステムが必要となる。

【００２５】また現実空間で人間は、実際に物を見る、
あるいは触るといった行動により、五感を利用して情報
を獲得し、その物体の存在や状態を認識している。しか
し仮想空間における五感に関する情報の伝達は、従来、
視覚、及び聴覚に関する情報の伝達が主流であり、また
コンピュータの高性能化やデバイスの開発に伴い、近年
触覚情報の伝達に関する研究がなされている程度で、現
実世界で得られるすべての情報が伝達されているわけで
はない。また、特に嗅覚情報の伝達に関しては、嗅覚の
仕組みがいまだ明確に解明されていない現状もあり、支
援されていないシステムがほとんどである。このように
現実世界に比べ、仮想空間で得られる五感に関する情報
量が少いという事実が、仮想空間の実感性を損なうこと
につながっていると考えられる。

【００２６】たしかに、人間は見る（視覚）、及び聞く
（聴覚）ということによって、外界の情報のほとんどを
得ることができる。しかし、例えば、温度や材質といっ
た情報は触れることによってしか得ることができない
し、また、物の香りやその場所特有の香りなどは、嗅覚
を利用してのみえられる情報である。また、嗅覚情報を
獲得することにより、空間の大きさや広がり、または変
化を感じとり、その場所にいるという実感を感じとるこ
とが出来ると考えられる。

【００２７】また、嗅覚情報から獲得する実感は、他の
感覚では代用できない実感といえる。例えば、木が生い
茂っている森林を考えると、その美しい緑を見、木のざ
わめきや小鳥のさえずりを聞き、樹木に触ることといっ
た動作に加え、森林の空気を吸い込んだり、木々や草花
の香りをかぐことによって、森林全体を実感していると
いえる。このように人間の感覚から得られる情報が多け
れば多いほど、その事柄をより実感することが可能であ
るとおもわれる。

【００２８】前記の発明において仮想空間への自然なイ
ンタラクションを行うために、この発明では、人間の
「息を吹きかける」という動作に注目をした。これまで
行われてきた仮想空間へのインタラクションの研究で
は、主に手の使用がほとんどであり、このことから、マ
ウスのような装置を使用しての間接的なインタラクショ
ンになったり、また、その手の動きを測定するデータグ
ローブのような特殊な装置を身につけるということにつ
ながっていた。しかし、「息を吹きかける」という動作
は、手を使わず、かつ他のオブジェクトに影響を与える
ことのできる動作であるといえる。つまり、仮想空間内
のオブジェクトに対して「息を吹きかける」とういう動
作をシステム側が自動的に測定することができれば、自
然な形での仮想空間へのインタラクションのひとつとな
る。

【００２９】吹きかけた息を測定する方法としては、風
力測定器の利用が考えられる。このとき、ユーザが口に
なにか特殊な装置を身につけ、その息を測定する方法で
は、当然ユーザへの負荷が増大してしまう。また、身に
つけないまでも、特殊装置の方に向かって、息をふきか
けてしまっても、デバイスを過度に意識することとな
り、自然な形でのインタラクションとはいえない。

【００３０】このような理由から、この発明では、専用
に作成した風力測定装置をディスプレイの下部に設置す
ることにより、ユーザは、デバイスを意識することな
く、かつディスプレイに吹きかけた息の反射を測定し、
自然な形での仮想空間へのインターフェースの実装を行
なうこととした。

【００３１】前記発明におけるジェスチャ中の握手は、
対人表現手段の中で最初に表われ、最後まで使い続ける
ことのできる接触である。従って画面上で握手したり、
触覚として握手感を得ることが重要となる。前記握手
は、敵意を捨て、今後憎しみでなく愛し合いたいとか、
信頼感を伝える気持の表現である。

【００３２】然し乍ら仮想空間における握手を実感する
ことはできないので、握る力を反映させて手を握る握手
デバイスを用いて、遠隔地におけるユーザ間の親密なコ
ミュニケーションを図ったのである。

【００３３】またその他のポーズについては、作業風景
中から、比較的多いポーズとして、ノーマル、考え込
む、眠そう、腕組み、伸び及び肘をつくなどを選定し、
これを表現できるようにしたものである。

【００３４】また仮想空間での五感に関する情報の伝達
を考えてみると、視覚、及び聴覚に関する情報の伝達
は、これまで多くの研究がされ、今ではディスプレイの
大型化や、ＨＭＤなどのデバイス、音響効果など質の高
い情報の伝達が可能となってきている。また、近年で
は、フォースフィードバックの技術を利用して、触覚情
報の伝達を行う研究も多くされている。

【００３５】たしかに、人間は見ることや聞くことによ
って、外界の情報のほとんどを得ることができ、また、
触覚情報の獲得により、オブジェクトの存在を認識する
ことが可能になってきている。しかし、すべての情報が
伝達されているかと言えばそうではなく、この発明では
その中でも特に、嗅覚情報に注目をし、芳香発生装置を
利用した仮想空間内の嗅覚情報の伝達について提案す
る。

【００３６】

【発明の実施の形態】この発明は適宜の画面を用いたシ
ステムに、３次元の広がりを持った立体音響を用いるこ
とによる臨場感を与える機能を持った装置と、カメラや
マイクのような人間の動きを仮想世界に取り込む機能を
持った装置と、仮想空間を直接操る機能をもった装置
と、風の流れを感知する機能及び嗅覚情報の伝達機能を
有する環境補填装置よりなる実感可能な仮想空間システ
ムである。

【００３７】この発明における環境補填装置は、空気の
流動を測定するセンサー又は、芳香センサーの出力によ
り、予め設定した空気の流れを起し、又は芳香を放出し
て没頭感を醸成する。更に触覚情報を付与して、現実世
界の動作を仮想空間へ反映させる手段を講じ没頭感を促
進させる。

【００３８】

【実施例１】この発明の空気の流動による画面内の変化
についての実施例を、図１、２について説明する。図１
において、風力測定器１は、箱型の器体２内に、回転軸
３が横架され、回転軸３の一側に円形のグラデーション
板４が固定され、他側に風受板５が小角度（例えば１５
度）を保って吊下されている。前記グラデーション板４
には、弧状窓６が穿設され、弧状窓６に偏光板７、７
ａ、７ｂが張ってあって１０度毎に変化して組合わせる
ことによりグラデーションがかかるようにしてある。

【００３９】前記において、ユーザがディスプレイ１０
の画面１１に向って息を吹きかけると（矢示１２）、そ
の風は、矢示１３のように跳ね返って、前記風力測定器
１内へ流入し、風受板５に当り（５ａのように動く）、
風の強さに応じてグラデーション板４を回転する。そこ
で投光器８からレザー光が矢示１４のように放射され、
偏光板７、７ａ、７ｂの何れかを透過したレザー光を光
センサー９が受ける。光センサー９は、レザー光の強さ
に対応して出力し、その出力量に応じた風力を生成す
る。前記風力測定器１にカバーをつけ、外界と遮断して
おけば、外界からの影響を受けるおそれはない。

【００４０】例えば、前記装置を誕生日パーティーの様
子の図２に適用すれば、画面１１に吹き掛けられた風が
弱い時にはロウソク２５の焔２５ａがゆれ、吹き掛けら
れた風が強い時には、ロウソク２５の焔２５ａが吹き消
される。このようにロウソク２５の焔２５ａが消えると
同時に、ロウの香を発散させると（実施例２の装置によ
る）没頭感が最高になる。図中２４はマウス、２６はキ
ーボードである。

【００４１】

【実施例２】この発明における環境補填装置の１つとし
て芳香発生の実施例を図３、４、５について説明する。

【００４２】芳香発生装置１５の入力はコンピュータの
パラレルポート１６につなぎ、コンピュータにより５つ
のスイッチのＯＮ／ＯＦＦを制御する。香りを発生させ
る仕組みは、図３に示すように、エアーポンプ１７から
噴出された空気を、フローライトビーズ１８と呼ばれる
直径７〜８ｍｍのけい酸カルシウムの粒に香料をしみこ
ませたもの（香り玉）が入った容器１９を矢示２０のよ
うに通過させることにより、噴出口２３からでる空気に
香りを付加する。使用しているエアーポンプ１７は１つ
であり、５種の香り玉が入った容器のうち、必要とされ
る香り玉の容器１９、１９ａ、１９ｂ、１９ｃ、１９ｄ
に空気を送る。そして香りの付加された空気はチューブ
２１を通って、モニター２２の横の噴出口２３から出力
される。またこの芳香発生装置１５はパラレルポート１
６からの配線と、芳香発生装置１５と香りの噴出口２３
の距離を十分にとれば、どこに設置することも可能であ
る。システムの外観を図４に示す。

【００４３】前記実施例は、仮想空間における嗅覚情報
の伝達として、以下の５つの香りの伝達を行なった。

【００４４】（１） 屋外の香り 森林の香り（パイン
ニードル） （２） 屋内の香り バー（酒場）イメージしたワイン
の香り（ワイン４８０５） （３） 動くオブジェクトの香り 女性アバタの香水の
香り（Aquaviva） （４） 変化するオブジェクトの香り１ ロウソクが消
えた後のロウソクの融けた香り（ロウの香り） （５） 変化するオブジェクトの香り２ 線香に火をつ
けた時の線香の香り（サンダル３６３３）

【００４５】前記森林の香り（屋外の香り）及びバーの
香り（屋内の香り）は、その場面に移動することによっ
て嗅覚情報を得ることができる。女性アバタ２７（動く
オブジェクトの香り）は、そのオブジェクトに近付くこ
とによって香りの伝達を行なう。また、変化するオブジ
ェクト（ロウソクが消える、線香に火がつく）は、変化
が起こった後に香りが発生する。

【００４６】またこれらの嗅覚情報が伝達されると仮想
空間として、以下の４つの空間を構築した。

【００４７】森林：森林の香りがする空間。森林に行っ
たような実感を与える。

【００４８】バー：バー２８に入ると、ワインの甘い香
りがする。また、女性アバタ２７に近付くと女性の香水
の香りがする。

【００４９】リビングルーム（ロウソクの部屋）：ロウ
ソクを吹き消した後に、ロウソクの融けた香りがする。

【００５０】和室（線香の部屋）：線香に火をつけると
線香の燃える香りがする。

【００５１】次に４つの仮想空間の内、例として屋内の
香りと、女性アバタ２７により移動するオブジェクトの
香りを表現した、バー２８の実装画面を図５に示す。

【００５２】バー２８には、カウンタ２９、チェア３
０、テーブル３１、ソファ３２、ピアノ３３のオブジェ
クトが配置してある。オブジェクト、及び部屋の壁とは
衝突検知を行なっており、それ以外の部屋内はユーザは
自由に動き回ることができる。天井にはプロペラオブジ
ェクト３４が取り付けてあり、公知のアニメーション技
術を利用して回転している。また、バー２８には女性ア
バタ２７が配置してある。女性アバタ２７はバー２８の
内部を歩いていて、足音がするようになっている。

【００５３】聴覚的にバー２８の雰囲気を出すために、
バー２８にユーザが入るとジャズミュージックが流れる
ようになっている。

【００５４】前記バー２８の香りは、ユーザがバー２８
に入った時に発生する仕組みになっている。発生時間は
１０秒に設定してある。

【００５５】女性アバタ２７には、香りオーラが設定し
てあり、ユーザがそのオーラ内に進入することで香りが
発生する。逆にユーザがそのオーラからでると、香りは
ストップする。

【００５６】次に森林の香りは、ユーザが遊歩道をウォ
ークスルーして香り発生エリアに進入すると発生する仕
組みになっている。芳香発生エリアは、遊歩道の上に４
ヶ所用意してあり、ユーザがそのエリアに入ると香りが
発生する。芳香発生エリア内にユーザが立ち止まった時
に香りが発生し続けることを避けるために、香りは５秒
で止まるようになっている。

【００５７】またユーザがリビングルーム内の椅子に近
付くと、自動操作によって着席する。着席後はキーボー
ド操作やマウスクリックによってロウソクを消すことが
できる。ロウソクの溶けた香りは、ロウソクを消した時
に発生する。発生時間は１０秒に設定してある。

【００５８】更にユーザが和室内に存在する仏壇オブジ
ェクトに十分に近付くと、ユーザの移動は自動操作にな
り着座する。着座と同時にユーザの手を表現したハンド
オブジェクトが移動し、線香を掴み、線香に火をつける
アニメーションが始まる。アニメーションが終了して線
香に火がつくと線香の香りが発生する。

【００５９】

【実施例３】この発明の他の実施例を図６、７、８、９
に基づいて説明する。

【００６０】一般にコミュニケーションは、意見や、情
報を交換するプロセスであり、交換される情報には、文
字で表現できるバーバル情報と、表情、ジェスチャなど
で表現されるノンバーバル情報がある。バーバル情報の
占める割合は、全情報の３０％以下といわれており、質
の高いコミュニケーションを実現する為にはノンバーバ
ル情報の伝達が不可欠であるとされている。従来の仮想
空間においては、ユーザの分身であるアバタはメンバが
どこを向いているかを示す役割、メンバを識別する役割
しか果しておらず、コミュニケーションにおいて重要な
意味をもつノンバーバル情報が欠如している。そこでノ
ンバーバル情報の一例について説明する。

【００６１】ノンバーバル情報の多くはユーザがほとん
ど意識することなくこれらの行動を行う。従って、ユー
ザがこれらの情報を手動入力するのは不自然である。ま
た、仕事をする必要があるため、特別なセンサ等を装着
することもふさわしくない。そこでカメラからの映像を
画像処理する方法を用いた。この画像処理部分のアルゴ
リズムとしては従来知られているスポッティング認識手
法を用いた。この手法の特徴は次の通りである。

【００６２】（１） 画像処理時の背景や被験者の衣服
の変化に強い （２） リアルタイムにジェスチャ認識が可能である （３） あらかじめ登録しておいたジェスチャとのマッ
チングによる認識を行う （４） ジェスチャの教示が可能である

【００６３】作業風景などのビデオ撮影、アンケートな
どにより、“暇そうである"（ｃ）、“伸び"（ｅ）、
“考え込む"（ｂ）、“腕組み"（ｄ）、“呼びかけ"
（ｇ）、“お辞儀"（ｈ）、“うなずき"（ｉ）を認識対
象のジェスチャとした。

【００６４】また上記のジェスチャ、及び“肘をつ
く"、“のけぞる"というジェスチャは手動入力でも行え
るようにした。この仮想空間の実装画面、及びアバタの
ポーズの例をそれぞれ図６、７に示す。

【００６５】あらゆる表現手段の中で最初に現れ最後ま
で使い続けるのが接触(touch)である。これは個人のレ
ベルでも人類全体としても最も広く見られ、最も身近な
信号体系である。この中心的な存在は握手であり、これ
は最重要かつ最も典型的な接触行動である。握手は敵意
を捨て、今後の努力で憎しみではなく愛し合いたい方向
へ向かいたい気持ちを表現している。握手はまた、開い
た手の平をお互いに合わせて触れ合うことで、相手に自
己を開いていることを積極的に伝えるものだとも言われ
ている。

【００６６】しかし現在の仮想空間においては、現実世
界において当たり前のように行っている握手を行うこと
は不可能である。そこで、握手をする相手の握る力を反
映させて手を握る握手デバイスを用いて遠隔地にいる他
者との仮想握手を実現した。これによりユーザは遠隔地
にいるメンバとのより親密なコミュニケーション、また
そのメンバをより実感することが可能となる。

【００６７】仮想の握手を行うために、握る力を入力す
る「マネキンハンド」、ユーザの手を握手装置の２台の
デバイスを作成した（図８）。

【００６８】マネキンハンド３６は手の型どりを行い、
シリコンで復元することにより作成している。また専用
の塗料によって着色を行っているため、非常に精巧にで
きており、外観、色、柔らかさなど本物の手と比べても
遜色はない。このマネキンハンド３６には、圧力センサ
３５が取り付けてあり、ユーザがどのくらいの力で握っ
たかを検知することが可能となっている。ここで読みと
った値がにぎ郎君３７に送信され、にぎ郎君の握る力に
反映される。

【００６９】握手で手を握られる場合、手と垂直な方向
に力が加わる。この力をにぎ郎君においても再現するた
めに、スライド式の金具を利用し、可変部分に指先の第
２関節より先の部分、固定部分にそれ以外の手の部分を
発砲スチロールにより作成した。これにより第２関節よ
り先の部分がスライドし、スムーズに手を握ることが可
能となっている。このハンド部をコンピュータから制御
可能なロボットである手動具に装着することにより、ユ
ーザの手を握り返す握手が可能になる。にぎ郎君は光セ
ンサによってユーザがにぎ郎君を握っているかどうかを
判定し、マネキンハンド３６で計測された握力をもとに
強い、弱いという２種類の力でユーザの手を握るように
なっている。

【００７０】この握手の様子は仮想空間にいる第３者か
らも仮想空間の画面を通して見ることが可能である。図
９に第３者から見た画面の様子を示す。

【００７１】

【発明の効果】この発明によれば、ディスプレイについ
て、従来と同様にマウス又はキーボードにより動かすこ
とができると共に、空気の流動による画面の変化と、画
面の状況に応じて芳香を発生し、没頭感を増大し、実態
に合せることができる効果がある。

【００７２】また画面動作の全部又は一部を音声或いは
動作で行うこともできる。

【図面の簡単な説明】

【図１】（ａ） この発明の空気の流れに関する実施例
の斜視図。 （ｂ） 同じく風力測定装置の斜視図。

【図２】同じく仮想誕生日パーティーの説明図。

【図３】同じく芳香発生装置の説明図。

【図４】同じくシステムの外観図。

【図５】同じくバーの実装説明図。

【図６】同じくアバタのポーズの実装図。

【図７】同じくジェスチャの例で （ａ） ノーマル図。 （ｂ） 考え込む図。 （ｃ） 暇そうな図。 （ｄ） 腕組みの図。 （ｅ） 伸びの図。 （ｆ） 肘をついた図。

【図８】同じく握手デバイスにおけるハンド部の説明
図。

【図９】同じく第３者からみた画面の図。

【符号の説明】

１ 風力測定器 ２ 器体 ３ 回転軸 ４ グラデーション板 ５、５ａ 風受板 ６ 弧状窓 ７、７ａ、７ｂ 偏光板 ８ 投光器 ９ 光センサー １０ ディスプレイ １１ 画面 １５ 芳香発生装置 １６ パラレルポート １７ エアーポンプ １８ フローライトビーズ １９ 容器 ２１ チューブ ２２ モニター ２３ 噴出口 ２４ マウス ２５ ロウソク ２６ キーボード ２７ 女性アバタ ２８ バー ２９ カウンタ ３０ チェア ３１ テーブル ３２ ソファ ３３ ピアノ ３４ プロペラオブジェクト ３５ 圧力センサー ３６ マネキンハンド ３７ にぎ郎君

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松下 温 東京都新宿区喜久井町36 (72)発明者 岡田 謙一 東京都文京区本郷４−25−12 (72)発明者 重野 寛 横浜市港北区日吉３−14−１ 慶應義塾大 学理工学部情報工学科内 Ｆターム(参考） 5B050 BA09 BA12 CA07 EA24 EA28 FA02 FA08 FA10 5E501 AB13 AC16 CB14 CB15 CC11 FA27 FA32 FA36

Claims (7)

【特許請求の範囲】
1. 【請求項１】 臨場感付与装置と、人の動きを仮想世界
   に取り込む装置と、該取り込みに対応して仮想世界をを
   操ることのできる装置とよりなることを特徴とした実感
   可能な仮想空間システム。
2. 【請求項２】 臨場感付与装置は、リアルな仮想空間の
   高速表示装置と、３次元の立体音響装置と、環境補填装
   置とよりなることを特徴とした請求項１記載の実感可能
   な仮想空間システム。
3. 【請求項３】 人の動きを仮想世界に取り込む装置は、
   カメラ、マイク及びセンサーなど存在感捕捉装置の出力
   を、コンピュータの入力に接続することを特徴とした請
   求項１記載の実感可能な仮想空間システム。
4. 【請求項４】 仮想世界を操ることのできる装置は、カ
   メラによる映像、マイクによる音響その他センサーなど
   の出力を入力とする装置により分析、計算してマウス又
   はキーボードの制御系に指令することを特徴とした請求
   項１記載の実感可能な仮想空間システム。
5. 【請求項５】 環境補填装置は、風力感知装置及び芳香
   発生装置とこれに対応するセンサーとを備えたことを特
   徴とする請求項２記載の実感可能な仮想空間システム。
6. 【請求項６】 環境補填装置は、画面上の人物の表情、
   口調又はジェスチャなどのノンバーバル情報を付与する
   ことを特徴とした請求項２記載の実感可能な仮想空間シ
   ステム。
7. 【請求項７】 ジェスチャは、各種ポーズ又は握手とし
   たことを特徴とする請求項６記載の実感可能な仮想空間
   システム。