JP2001134362A - 人形型インタフェース仮想空間ウォークスルーシステム - Google Patents

Abstract

(57)【要約】 【課題】 より直感的に仮想空間を歩き回ることが可能
なであり、かつ、自然で容易な操作性を有するインタフ
ェースを提供する。 【解決手段】 ユーザ５は、人形型センサ装置１の手
足、頭等を動かして、人間が直感的に認識しやすいジェ
スチャをさせる。人形ジェスチャ認識回路２は、この人
形型センサ１の各部の動きや加速度等をセンサからの出
力として受け取り、そのジェスチャの認識結果をグラフ
ィックス生成システム３に与える。グラフィック生成シ
ステム３は、人形型センサ装置１からの入力に応じて、
仮想３次元情報を表示スクリーン４に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータグラ
フィックスで作られた仮想空間を有するコンピュータグ
ラフィックシステムやバーチャルリアリティシステムに
おいて、その仮想空間内を移動したり、仮想空間内の情
報を選択する際の人間に、操作しやすいヒューマンイン
タフェースを提供するための技術に関する。

【０００２】

【従来の技術】従来は、コンピュータグラフィックスで
作られた仮想空間を有するシステムにおいて、ユーザ
が、その仮想空間を動き回ったり、仮想空間内の情報を
選択する場合には、コンピュータに接続された各種の入
力装置、すなわちキーボード、マウス、ジョイスティッ
ク、トラックボールなどが用いられている。

【０００３】また、臨場感のあるシステムとするため、
アーケードゲームに見られるように自転車のペダルやハ
ンドルにセンサを取付けたり、車のアクセルやハンドル
に相当する入力装置を作り、仮想空間を動き回るための
情報入力デバイスとして用いられることも行なわれてい
る。

【０００４】以上のような従来の技術の中には、フィッ
トネス用の走行マシンをインタフェースとするシステム
や、足に振動を感知するセンサを取付けたインタフェー
ス等も存在する。

【０００５】さらに、人間のジェスチャーを画像処理に
より認識し、その出力をマウスやキーボードのように用
いて、仮想空間を歩き回るというシステムも存在する。

【０００６】

【発明が解決しようとする課題】これらの仮想空間シス
テムにおいて、前者の走行マシン等を用いたインタフェ
ース装置では、車や飛行機の運転や操縦の類推としてイ
ンタフェースを設計したり、無理やりコンピュータのマ
ウスなどＧＵＩ（Graphical User Interface）と結び付
けるものであり、ユーザの操作にあたり直感性に欠けて
いるという問題点がある。

【０００７】一方、後者のような人間のジェスチャーを
画像処理により認識するインタフェースは、人間動作に
直結するため臨場感を得ることができるが、特殊で大が
かりな装置を用意しなければならないという問題点があ
った。

【０００８】特に、後者のシステムでは自分の体を動か
すことによりインタフェースを図るため、他のデスクト
ップでの作業、たとえば、文書作成などとの連続性に欠
けるという問題点があった。

【０００９】さらに、以上のような仮想空間システムに
おいて、人間とのインタフェースを図るシステムとて、
人形に角度センサや振動センサを組込み、その出力を分
析して、仮想空間内のオブジェクトとを相互させるとい
うシステムが、文献１："Sympathetic Interfaces : Us
ing a Plush Toy to Direct Synthetic Characters."M.
P. Johnsonほか、Human Factors in Computing System
s, CHI 99 Conference Proceedings に開示されてい
る。

【００１０】しかしながら、この文献１に開示されてい
るような従来のインタフェースシステムは、仮想空間シ
ステムが或るシナリオで動いていて、人形に装着された
センサからの出力が、何らかの処理の開始や分岐等のき
っかけを仮想空間システムに与えるためにしか用いられ
ていないため、ユーザの直接操作感が薄いという問題が
ある。

【００１１】また、等身大の人形を使って仮想空間をナ
ビゲーションする芸術作品等がインターネット上で発表
されている（「ＣＡＶＥの共同[形]成」アグネス・ヘゲ
ドゥシュ、ジェフリー・ショー、ベルント・リンターマ
ン、レスリー・スタック：ｈｔｔｐ：／／ｗｗｗ．ｎｔ
ｔｉｃｃ．ｏｒ．ｊｐ／ｐｅｒｍａｎｅｎｔ／ｃａｖｅ
／ｃａｖｅ ｊ．ｈｔｍｌ）が、人形の特定の芸術的ポ
ーズがコマンドになっており、直感性に欠けたり、動き
のあるジェスチャーが認識できないという問題がある。

【００１２】本発明は、上記のような問題点を解決する
ためになされたものであって、その目的は、仮想空間内
を歩き回るときに、そのインタフェースとして人形型の
装置を用いることにより、その人形の動作を介して、よ
り直感的に仮想空間を歩き回ることが可能であり、か
つ、自然で容易な操作性を有するインタフェースを提供
することである。

【００１３】また、この発明の他の目的は、アプリケー
ションとして、通常の仮想３次元空間のみならず、情報
仮想空間、音楽仮想空間の移動により、情報検索や音楽
演奏を可能とするものである。

【００１４】

【課題を解決するための手段】請求項１記載の人形型イ
ンタフェース仮想空間ウォークスルーシステムは、３次
元仮想空間を可視化生成するコンピュータグラフィック
システムによる３次元仮想空間ウォークスルーシステム
であって、ユーザからの指示を、ユーザが所定のジェス
チャをとらせることにより入力させることが可能な人形
型センサと、人形型センサの各部の動作による出力に基
づいて仮想空間移動パラメータを計算し、３次元仮想空
間内の移動を制御する仮想空間制御手段と、仮想空間制
御手段の出力に応じて、可視化された３次元仮想空間情
報を出力する表示手段とを備える。

【００１５】請求項２記載の人形型インタフェース仮想
空間ウォークスルーシステムは、請求項１記載の記載の
人形型インタフェース仮想空間ウォークスルーシステム
の構成に加えて、仮想空間制御手段は、人形型センサの
各部の動作による出力に基づいて、ユーザの仮想空間移
動パラメータによりユーザの３次元仮想空間内の位置を
特定し、かつ、人形型センサの所定の動作により人形型
センサの視線方向を特定する手段と、特定されたユーザ
位置および視線方向とにより、３次元仮想空間内のオブ
ジェクトがユーザにより選択されたことを検知する手段
と、ユーザに選択されたオブジェクトに関連する情報を
提供するための手段とを含む。

【００１６】請求項３記載の人形型インタフェース仮想
空間ウォークスルーシステムは、請求項１記載の記載の
人形型インタフェース仮想空間ウォークスルーシステム
の構成に加えて、仮想空間制御手段は、人形型センサの
各部の動作による出力に基づいて、ユーザの仮想空間移
動パラメータによりユーザの３次元仮想空間内の位置を
特定し、かつ、人形型センサの所定の動作により人形型
センサの視線方向を特定する手段と、特定されたユーザ
位置および視線方向とにより、３次元仮想空間内のオブ
ジェクトがユーザにより選択されたことを検知する手段
と、ユーザに選択されたオブジェクトに関連する音楽情
報を提供するための手段とを含み、ユーザが、３次元仮
想空間を移動するに従って、当該移動の仕方に応じた音
楽を演奏する。

【００１７】請求項４記載の人形型インタフェース仮想
空間ウォークスルーシステムは、請求項１〜３いずれか
１項に記載の記載の人形型インタフェース仮想空間ウォ
ークスルーシステムの構成に加えて、人形型センサは、
人形型センサの関節角を検出するための角度センサと、
外部からの音情報を検出するための音センサと、映像情
報を検出するための撮像手段と、外部からの圧力を検知
するための圧力センサと、外部温度を検知するための温
度センサとのうちの少なくとも１つを含み、仮想空間制
御手段は、人形型センサからのセンサ出力を信号処理
し、利用者の複合行動パターンと人形型センサに加えら
れる動作との関連を学習認識するためのの認識学習処理
部を含み、当該認識学習処理の結果に応じて、ユーザか
ら人形型センサに与えられる情報を解析する。

【００１８】請求項５記載の人形型インタフェース仮想
空間ウォークスルーシステムは、請求項１〜４記載の記
載の人形型インタフェース仮想空間ウォークスルーシス
テムの構成に加えて、表示手段は、仮想的空間情報と実
物の空間情報とを重畳してユーザに提供する手段を含
み、ユーザの行動履歴に基づいて、情報データベースを
構造化する情報構造化手段をさらに備える。

【００１９】

【発明の実施の形態】［実施の形態１］図１は、本発明
の仮想空間システム１００の基本構成を説明するための
概念図である。

【００２０】人形型センサ装置１は、人形ジェスチャー
認識回路２を介して、グラフィックス生成システム３と
を結合しており、表示スクリーン４により仮想空間が表
示される。

【００２１】仮想空間システム１００の構成としては、
ユーザ５が、１台のコンピュータ中に設けられた人形ジ
ェスチャー認識回路およびグラフィックス生成システム
により、このような仮想空間システム１００とのインタ
フェースを図る構成としてもよいし、図１に示すよう
に、人形ジェスチャー認識回路２およびグラフィックス
生成システム３は、複数のコンピュータの統合システム
であってもよい。

【００２２】人形型センサ装置１と人形ジェスチャー認
識回路２を結ぶ通信路、および人形ジェスチャー認識回
路２とグラフィックス生成システム３を結ぶ通信路は、
適当な通信システムにより結合され、それぞれ有線でも
無線でもかまわない。

【００２３】さらに、ユーザ５が、グラフィックス生成
システム３に対する補助入力手段としてマウス６を用い
る構成とすることも可能である。

【００２４】図２は、人形型センサ装置１の構成を示す
概略ブロック図である。人形型センサ装置１は、特に限
定されないが、図２のような骨格型構成であり、各関節
に設けられたセンサ１０により関節角が実時間で測定可
能であって、コンピュータ可読な形式でこの各関節角が
出力されるものである。

【００２５】さらに、たとえば、人形型センサ装置１に
縫いぐるみ状の外皮を被せることも可能である。

【００２６】また、後に説明するように、人形型センサ
装置１には、関節角センサ１０のほかにも種々の物理量
を計測可能なセンサ（図２には図示せず）が装着されて
いる。

【００２７】再び、図１を参照して、人形ジェスチャー
認識回路２は、人形型センサ装置１から、各関節角のデ
ータを受取り、その変化によりセンサの姿勢と、ジェス
チャーを認識する人形ジェスチャー認識プログラムが動
作しているコンピュータシステムであって、その認識結
果をグラフィックス生成システム３に送るように動作す
る。

【００２８】具体的には、ユーザ５が、人形型センサ装
置１の頭部を上下左右にゆっくり動かすと、人形ジェス
チャー認識回路２は、視線の変化として取扱い、視線向
きベクトル値として出力する。

【００２９】また、ユーザ５が、人形型センサ装置１の
頭部を上下または左右に激しく振ると、人形ジェスチャ
ー認識回路２は、たとえば、「はい」または「いいえ」
というジェスチャーとして認識し、それに対応する値を
グラフィックス生成システム３に送る。

【００３０】他に、たとえば人形型センサ装置１が指差
しの動作を行なうと、人形ジェスチャー認識回路２は、
関節角から指先の３次元位置と、頭部の３次元位置を計
算し、２点を仮想的に結ぶ直線が仮想指示線として計算
され、そのベクトル値がグラフィックス生成システム３
に出力される。

【００３１】そのベクトル値は、例えば、グラフィック
ス生成システム３において、マウスのポインタ値として
利用し、オブジェクトの選択が可能である。

【００３２】さらに、人形ジェスチャー認識回路２は、
人形型センサ装置１の足の振りを、歩行のための移動量
として計算し出力する。これら計算には、振りの振幅、
周波数などが用いられる。

【００３３】また、右足と左足の間における振りの振
幅、周波数などの数値のアンバランスは左右への回転前
進の割合を計算するために用いられる。

【００３４】人形型センサ装置１の体の向きの変化は、
人形型センサ装置１の上体のひねり回転角に合せてその
変分が演算され、人形ジェスチャー認識回路２から出力
される。

【００３５】図３は、グラフィックス生成システム３の
構成を示す概略ブロック図である。図３を参照して、グ
ラフィックス生成システム３は、人形ジェスチャー認識
回路２からの出力を受けてその意味する内容を抽出する
ジェスチャー解釈部３０２と、マウス６からの情報を解
析するためのマウスイベント制御部３０４と、仮想３次
元空間を生成するための３次元空間データを格納する３
次元空間データベース３０６と、ジェスチャー解釈部３
０２およびマウスイベント制御部３０４からの出力に応
じて、３次元空間データベース３０６中のデータに基づ
いて、表示スクリーン４に表示すべき仮想３次元空間デ
ータを生成する３次元空間生成部３０８と、３次元空間
内に配置された物体に対する情報、たとえば、当該物体
についての属性の情報や、あるいは当該物体に対応して
予め定められた音楽情報などを格納するためのオブジェ
クト情報データベース３１０と、３次元空間生成部３０
８からの出力に応じて、３次元空間内に配置された物体
に対応して予め定められた音楽情報または人形が出力す
るべき情報に相当する音声を再生しスピーカ３１４から
出力するための音楽音声再生部３１２と、３次元空間生
成部３０６からのユーザ５の仮想空間内での位置データ
やジェスチャー解釈部３０２からの人形型センサ装置１
のジェスチャに対応する意味データとを受けて、ユーザ
５の行動履歴等の文脈データを生成して３次元空間生成
部３０６に与える文脈計算部３１６と、ジェスチャー解
釈部３０２の出力および文脈計算部３１６からの出力と
に応じて、ユーザ５が仮想空間内の特定の物体に対して
人形センサ装置１を介して与えたコメントなどの文字メ
ッセージを解釈してオブジェクト情報データベース３１
０に格納する形状文字入力部３１８とを備える。

【００３６】つまり、グラフィックス生成システム３
は、３次元空間を表現するためのデータを内部の（ある
いは外部記憶中の）３次元空間データベース３０６中に
有しており、それらに基づいて、３次元空間をコンピュ
ータグラフィックスで生成し、表示スクリーン４に映像
を表示する。

【００３７】このような３次元仮想空間を表示するため
グラフィックスシステム自体は周知であるものの、本発
明のグラフィックス生成システム３は、人形型センサ装
置１やマウス６などの入力手段を使って仮想空間中を行
き来することができるようなシステムである。

【００３８】ここで、マウスイベント制御部３０４は、
本システムを実現するための一例であり、同等の機能を
ジェスチャー解釈部３０２が出す信号だけに特化した人
形ジェスチャー認識回路２を構成してマウスイベント制
御部３０４の代わりに使用することも可能である。

【００３９】このような構成とすることで、グラフィッ
クス生成システム３の入力部にジェスチャー認識回路２
を有することにより、人形型センサ装置１とグラフィッ
クス生成システム３とが統合される。

【００４０】さらに、グラフィックス生成システム３
は、人形型センサ装置１の視線の方向がユーザ５により
制御され特定のオブジェクトを選択することを示す入力
が行なわれたときに、それに対応する処理、たとえば、
当該オブジェクト（仮想空間内の物体など）の情報を人
形型センサ装置１から音声として出力するという処理
を、グラフィックス生成システム３中の音楽音声再生部
３１２で行なう構成としている。

【００４１】また、さらに、グラフィックス生成システ
ム３は、ユーザ５が、ウォークスルーしている３次元仮
想空間での現時点での位置と３次元仮想空間内の各種オ
ブジェクト（位置データ、情報データ、メディアデー
タ、エージェントデータなどを有する）との文脈、すな
わち、仮想的なユーザ自己自身（エージジェント）と仮
想空間との時空間的および意味的状況関係を計算する。
グラフィックス生成システム３は、それに対応して、仮
想自己（エージジェント）の動作にフィードバックをか
け、たとえば、ぶつかりそうになっていたら、跳ね返る
とか等の動作を行なわせる。または、仮想自己（エージ
ジェント）の動作がオブジェクトに作用し、たとえば、
仮想自己（エージジェント）がオブジェクトに近づいた
ら、オブジェクトの情報データを開示するなどの処理を
可能とする。

【００４２】さらに、同様にして、人形型センサ装置１
をユーザ５が動かすことで、人形型センサ装置１の指先
の指示動作に応じて文字形状の入力を可能とするモード
を用意することで、ユーザ５が３次元仮想空間中に文字
や形状のメッセージを記入することが可能となる。つま
り、ユーザ５は３次元仮想空間中のオブジェクトに対し
て、いわば「落書き」を残していくことが可能となる。

【００４３】これによって、ユーザ５は人形型センサを
通して、３次元仮想空間中に、時空間的ならびに意味的
に関連のある感想や意見などをメッセージとして残すこ
とができ、たとえば仮想展示システムのような応用分野
では、他所との情報共有できる環境を実現することが可
能となる。

【００４４】さらに、グラフィックス生成システム３
は、３次元仮想空間内のオブジェクトが、音楽を演奏な
らびに再生できる要素を有している構成とすることも可
能である。この場合は、ウォークスルーをする際に、３
次元仮想空間中に配置されたオブジェクトに対応して予
め埋込まれている音楽要素を順次再生することが可能と
なる。たとえば、音楽要素としては、所定の音程、音色
を有する音素でも良いし、簡単な旋律の音楽情報でもよ
い。

【００４５】このような構成とすることで、人形型セン
サ装置１をたとえば踊らせるように操作して、仮想空間
内を移動させることにより、音楽を演奏するシステムを
構成することができる。

【００４６】また、音楽の代わりに音声の再生を行なう
ことも可能である。これはたとえば、仮想空間中のオブ
ジェクトとして仮想エージェントのようなものがあると
き、かかる仮想エージェントに近づくことで、その仮想
エージェントが保有する情報を音声で得ることが可能と
なるものである。

【００４７】さらに、人形型センサ装置１は、多種多様
なセンサを備え、これらの検知結果をシステムとして利
用する構成とすることも可能である。

【００４８】図４は、このような人形型センサ装置１の
機能構成を示す概略ブロック図である。

【００４９】なお、図４においては、人形型センサ装置
１の構成のうち、図２に示したような骨格構造および関
節角センサ１０については図示省略している。

【００５０】図４を参照して、人形型センサ装置１は、
マイクロホン１０２、可視光ビデオカメラ１０４、赤外
ビデオカメラ１０６、加速度センサ１０８、温度センサ
１１０、圧力センサ１１２、（空気）流量センサ１１
４、ＧＰＳ（Global Positioning System）等の位置セ
ンサ１１６を組合せたセンサ群を備え、その出力信号が
信号処理部１２０と、インタフェース部１３０とを介し
て、人形ジェスチャー認識回路２中のパターン学習部２
０２に送られる構成とすることができる。

【００５１】パターン学習部２０２においては、人形に
作用される動作と人形の環境および状況を認識学習す
る。

【００５２】また、人形型センサ装置１は、センサだけ
でなく、ユーザ５に対して情報を出力するためにＬＥＤ
表示装置１２２や、ラウドスピーカ３１４など音楽、音
響発生装置も装備する。これらＬＥＤ表示装置１２２
や、ラウドスピーカ３１４は、グラフィックス生成シス
テム３からあたられた情報に基づいて、人形ジェスチャ
ー認識回路２中の出力制御部２０８により制御される。

【００５３】図４に示したような各種センサ出力に基づ
いて、人形ジェスチャー認識回路２中のパターン学習部
２０２は、各センサからの出力を統合して、人形の環境
および状況を認識することが可能である。このパターン
学習部２０２の学習結果は、学習データデータベース２
０６に蓄積される。

【００５４】たとえば、人形を持っているのが持ち主で
ある子供か、親か、あるいは別の人かは、人形に話しか
ける声のピッチ（周波数帯域）を調べることでパターン
認識部２０４が識別する。

【００５５】また、ある状況では、人形を使って「は
い」または「いいえ」のような意思表示を、その持ち主
が表現することができる。そのとき、人形に組込まれた
加速度センサ１０８は、前後左右の動きをとらえるの
で、その信号処理により、動きの変化を、他の動作、人
形をあやしたり抱いて移動する動作などと識別すること
ができる。

【００５６】温度センサ１１０や圧力センサ１１２は、
外気温や体温ならびに人形型センサ装置１を抱く力の大
きさを測定することを可能とするし、可視光ビデオカメ
ラ１０４や赤外ビデオカメラ１０６は人形型センサ装置
１が、戸外にいるか家の中にいるか、あるいは変化の激
しいところにいるかというような認識をするための信号
を供給する。

【００５７】これらの信号処理により、パターン識別部
２０４およびパターン学習部２０２のパターン識別およ
び学習は、音声認識で多用される隠れマルコフモデル
（ＨＭＭ）などを用い、複合パターンにより学習し、モ
デルとなるマルコフ仮定を生成し、新規の入力パターン
に対し、最も尤度の高いモデルに付けたラベルを識別結
果として出力することで達成することができる。

【００５８】このように、人形型センサ装置１がおかれ
た状況が自動的に学習識別できるようになると、それを
持つ利用者の状況を、間接的に、ウォークスルーシステ
ム１００が認識することが可能となる。

【００５９】そして、利用者の状況を使って、状況に合
せた情報提示やサービス提供をすることが可能になる。

【００６０】たとえば、音声対話システムは、数多く開
発されているが、自然なやり取りにはまだほど遠い状況
である。

【００６１】本システムのインタフェースを用いれば、
３次元仮想空間のウォークスルーにおいてコンピュータ
と音声対話をする際に、人形が状況に合せた問いかけを
することで、その人形に答えるように自然な対話を導く
ことが可能になる。

【００６２】また、人形に向かって答えるときの、その
他の計測可能な情報を利用することもできる。たとえ
ば、人形に語りかけるときは、顔が自分に向き、人形に
物を見せるときにはそちらを向かせることとする。人形
が日常的によく観察している顔がカメラに映っていれ
ば、その認識能力は高まるから、それを認識した場合
は、人形は１対１の親密な対話を導くことができ、そう
でない場合は、形式的な対話を導くように構成すること
もできる。

【００６３】人形に対して要求をするときには、必ず強
く握っているということが学習されていれば、強く握ら
れることにより、今の対話内容は要求であると推論させ
るようにシステムを働かせることも可能である。

【００６４】また、利用者が屋内外のいずれにいるかと
か、利用者は子供かどうかということで、対話内容を異
なるように設定することができれば、きめ細かい自然な
対話環境を作ることが可能となる。

【００６５】［実施の形態２］実施の形態１は、ユーザ
５が、３次元仮想空間をウォークスルーするものであっ
た。しかしながら、３次元仮想空間ウォークスルーは、
コンピュータの世界だけに限ったことではない。

【００６６】実世界と同じ世界をコンピュータ内に構成
しておき、実世界におけるユーザの位置を識別できる位
置センサを人形内に組込み、その情報を利用すること
で、３次元仮想空間と実空間を仮想的に重畳することが
できる。

【００６７】このような技術は、拡張現実感あるいはオ
ーグメンティッド・リアリティ（Augmented Reality）
と呼ばれ、ゴーグル状で透過型のディスプレイをかける
ことで、実世界に仮想世界のデータを重畳表示すること
が可能となる。

【００６８】実施の形態２では、人形型センサ装置１を
介して、位置も含めてユーザの状況を自然な形態で常時
獲得するインタフェースを提供することができるという
特徴を有する。人形型センサ装置１に埋込まれた小型デ
ィスプレイなどを用いて、人間に対して情報提供するこ
とも考えられる。しかしながら、それ以外の構成とし
て、実空間に偏在して設置されたディスプレイに近づく
と、必要な情報がユーザに個人化して提供できるという
構成も可能である。

【００６９】また、情報提供を行なうことが仮想空間お
よび実空間の主題とは限らない。いろいろな実世界での
イベントが、本発明のインタフェースを介して起動され
る構成としてもよい。たとえば、人形を持った子供が遊
園地における撮影に適した場所にきた場合に、その子供
に対し、撮影を促すというような構成も考えられる。

【００７０】図５は、このようなユーザ５が遊園地内を
仮想空間ウォークスルーする場合の構成を示す概念図で
ある。

【００７１】一方、図６は、図５のような場合における
システム１００の動作を説明するためのフローチャート
である。

【００７２】図５を参照して、ユーザ５が保持する人形
型センサ装置１、ユーザ５がかけているゴーグル状で透
過型のディスプレイ７および遊園地内に設置されたカメ
ラ３００とは、無線により仮想空間システム１００と接
続されている。

【００７３】なお、ここで透過型のディスプレイ７は、
後に説明するように、ユーザ５がかけることで仮想空間
内のたとえば、いわゆる「落書き」等を見たり書いたり
するために用いられる。したがって、ユーザ５は、遊園
地内をウォークスルーする期間、常時、この透過型のデ
ィスプレイ７を書けている必要は、必ずしもない。

【００７４】以下、図５および図６を参照して、処理が
開始された後、人形型センサ装置１内の位置センサ１１
６が、遊園地内の所定の場所へユーザ５が来たことを検
知すると（ステップＳ１０２）、人形の位置関係から背
景物体の検索が行なわれる（ステップＳ１０４）。

【００７５】つづいて、人形型センサ装置１が、スピー
カ３１４からの音声により、背景をバックに写真をとる
ことをユーザ５に勧める（ステップＳ１０６）。

【００７６】ユーザ５が同意すると、システム１００
は、遊園地に設置された撮影用カメラを起動し、カメラ
位置の計算によりカメラ３００をユーザ５に向ける（ス
テップＳ１０８）。

【００７７】さらに、準備が出来たところでユーザ５が
人形型センサ装置１の手をあげる（ステップＳ１１
０）。システム１００の側では、人形型センサ装置１０
０の手があがったことをジェスチャ解釈部３０２が検出
し（ステップＳ１１２）、システム１００は、人形型セ
ンサ装置１のスピーカ３１４を介して、子供のユーザ５
に対して「はいポーズ」などとしゃべらせることで、撮
影のタイミングを図ることができる。その際、人形型セ
ンサ装置１の赤外カメラ１０６等がカメラに取付けられ
たマーカーを識別することで、その方向を検知できるか
ら、子供が向く方向を指示することも可能である。

【００７８】さらに、グラフィックス生成部３は、実カ
メラ３００と仮想カメラ（図示せず）のシャッタを押さ
せる（ステップＳ１１４）。ここで、仮想カメラは、実
空間と重畳させて生成された仮想空間内での情景を格納
する機能を有する。

【００７９】実カメラ３００の映像を遊園地の出口でユ
ーザ５に渡すとともに、仮想カメラの映像は、データベ
ース３１０に格納され（ステップＳ１１６）、処理が終
了する（ステップＳ１１８）。

【００８０】さらに、仮想空間システム１００の機能と
しては、以下のような動作も考えられる。

【００８１】すなわち、仮想空間システム１００内の文
脈計算部３１６および形状文字入力部３１８では、人形
型センサ装置１の出力をパターン認識部２０４を介して
得られた、たとえば、利用者の位置、興味の状況を表す
データをベクトル情報として表現して生成し、それと情
報データベース３１０中の各項目のプロファイルベクト
ルの内積をとり、その値の大きい順にユーザに情報を提
供する構成とすることもできる。このような構成とする
ことで、ユーザの状況に合せた情報提示が可能となる。

【００８２】一方、ユーザの状況を表現したベクトル
は、ユーザの移動とともに変化しながら、情報をデータ
ベース３１０に付加することが可能である。このベクト
ルデータの付加は、各項目のプロファイル間の意味的関
係を生成する。

【００８３】たとえば、ユーザが人形型センサ装置１を
持ち歩いて各所で落書きのようなメモを残すとする。こ
の場合、次に来たユーザは、ゴーグル状で透過型のディ
スプレイ７を用いて、そのメモを見てさらに自分のメモ
の落書きを行なったりする可能性がある。したがって、
ユーザごとにメモをする場所は異なるものの、どこか共
通の場所があれば、それを契機にコードがつながり、結
果的に、各所の情報に新しい関係を付加することにな
る。このようなメモを書く行為が、上記のベクトルの要
素として用いられる。ここで、落書きをみるのは、必ず
しもディスプレイ７である必要はなく、各オブジェクト
に対応して偏在するディスプレイを介して読書きできる
構成とすることもできる。

【００８４】以上のような動作により、仮想空間内をウ
ォークスルーするユーザ間で情報の共有化を図る契機が
与えられる。しかも、各ユーザの見学履歴等のデータに
相互に関連性があることをデータベースに情報として加
えることができるため、これら各ユーザに対応したデー
タの検索が容易になる。

【００８５】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【００８６】

【発明の効果】以上説明したように、本発明の人形型イ
ンタフェース仮想空間ウォークスルーシステムによれ
ば、仮想空間の移動やオブジェクトの選択による情報検
索は、人形型センサを介して、自然なインタフェースで
構成することができる。これにより、人にやさしいイン
タフェースを持った仮想空間システム、実空間案内シス
テムを作ることが可能となる。

【図面の簡単な説明】

【図１】 本発明の仮想空間システム１００の基本構成
を説明するための概念図である。

【図２】 人形型センサ装置１の構成を示す概略ブロッ
ク図である。

【図３】 グラフィックス生成システム３の構成を示す
概略ブロック図である。

【図４】 人形型センサ装置１の機能構成を示す概略ブ
ロック図である。

【図５】 ユーザ５が遊園地内を仮想空間ウォークスル
ーする場合の構成を示す概念図である。

【図６】 システム１００の動作を説明するためのフロ
ーチャートである。

【符号の説明】

１ 人形型センサ装置、２ 人形ジェスチャ認識回路、
３ グラフィックス生成部、４ 表示スクリーン、５
ユーザ、６ マウス、１０ 関節角度部、１０２ マイ
クロホン、１０４ 可視光ビデオカメラ、１０６ 赤外
ビデオカメラ、１０８ 加速度センサ、１１０ 温度セ
ンサ、１１２ 圧力センサ、１１４ 流量センサ、１１
６ 位置センサ、１２２ ＬＥＤ表示部、２０２ パタ
ーン学習部、２０４ パターン認識部、２０６ 学習デ
ータデータベース、２０８ 出力制御部、３０２ ジェ
スチャ解釈部、３０４ マウスイベント制御部、３０６
３次元空間データベース、３０８ ３次元空間生成部、
３１０ オブジェクト情報データベース、３１２ 音楽
音声再生部、３１４ スピーカ、３１６ 文脈計算部、
３１８ 形状文字入力部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 角 康之 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 Ｆターム(参考） 5B050 BA07 BA09 EA07 EA19 FA10 GA06

Claims (5)

【特許請求の範囲】
1. 【請求項１】 ３次元仮想空間を可視化生成するコンピ
   ュータグラフィックシステムによる３次元仮想空間ウォ
   ークスルーシステムであって、 ユーザからの指示を、ユーザが所定のジェスチャをとら
   せることにより入力させることが可能な人形型センサ
   と、 前記人形型センサの各部の動作による出力に基づいて仮
   想空間移動パラメータを計算し、３次元仮想空間内の移
   動を制御する仮想空間制御手段と、 前記仮想空間制御手段の出力に応じて、可視化された３
   次元仮想空間情報を出力する表示手段とを備える、人形
   型インタフェース仮想空間ウォークスルーシステム。
2. 【請求項２】 前記仮想空間制御手段は、 前記人形型センサの各部の動作による出力に基づいて、
   ユーザの仮想空間移動パラメータによりユーザの前記３
   次元仮想空間内の位置を特定し、かつ、前記人形型セン
   サの所定の動作により前記人形型センサの視線方向を特
   定する手段と、前記特定されたユーザ位置および前記視
   線方向とにより、前記３次元仮想空間内のオブジェクト
   がユーザにより選択されたことを検知する手段と、 前記ユーザに選択されたオブジェクトに関連する情報を
   提供するための手段とを含む、請求項１記載の人形型イ
   ンタフェース仮想空間ウォークスルーシステム。
3. 【請求項３】 前記仮想空間制御手段は、 前記人形型センサの各部の動作による出力に基づいて、
   ユーザの仮想空間移動パラメータによりユーザの前記３
   次元仮想空間内の位置を特定し、かつ、前記人形型セン
   サの所定の動作により前記人形型センサの視線方向を特
   定する手段と、 前記特定されたユーザ位置および前記視線方向とによ
   り、前記３次元仮想空間内のオブジェクトがユーザによ
   り選択されたことを検知する手段と、 前記ユーザに選択されたオブジェクトに関連する音楽情
   報を提供するための手段とを含み、 前記ユーザが、３次元仮想空間を移動するに従って、当
   該移動の仕方に応じた音楽を演奏する、請求項１記載の
   人形型インタフェース仮想空間ウォークスルーシステ
   ム。
4. 【請求項４】 前記人形型センサは、 前記人形型センサの関節角を検出するための角度センサ
   と、外部からの音情報を検出するための音センサと、映
   像情報を検出するための撮像手段と、外部からの圧力を
   検知するための圧力センサと、外部温度を検知するため
   の温度センサとのうちの少なくとも１つを含み、 前記仮想空間制御手段は、 前記人形型センサからのセンサ出力を信号処理し、利用
   者の複合行動パターンと前記人形型センサに加えられる
   動作との関連を学習認識するためのの認識学習処理部を
   含み、当該認識学習処理の結果に応じて、前記ユーザか
   ら前記人形型センサに与えられる情報を解析する、請求
   項１〜３いずれか１項に記載の人形型インタフェース仮
   想空間ウォークスルーシステム。
5. 【請求項５】 前記表示手段は、 仮想的空間情報と実物の空間情報とを重畳して前記ユー
   ザに提供する手段を含み、 前記ユーザの行動履歴に基づいて、情報データベースを
   構造化する情報構造化手段をさらに備える、請求項１〜
   ４いずれか１項に記載の人形型インタフェース仮想空間
   ウォークスルーシステム。