JP2003337962A - 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 仮想空間において、仮想のＰＣ画面上のアイ
コンを直接指で掴んで移動することにより、所望のアプ
リケーションソフトウェアを起動して、それを三次元で
立体的に表示できる画像処理装置、画像処理方法、画像
処理プログラム、その記録媒体を提供する。 【解決手段】 指と仮想のＰＣ画面あるいはＰＣ画面上
に表示されるアイコンとが衝突したと衝突判定部８２で
判定されると、画像生成部８３は、制御部８４の指示に
より、そのアイコンに関連付けられるアプリケーション
ソフトウェアを起動して、ＰＣ画面よりも手前にそれが
表示されるように、仮想空間画像を更新して生成する。
制御部８４は、衝突判定結果および生成された仮想空間
画像データなどを記憶部８５の所定の格納領域に保存す
るとともに、信号処理部８６および信号送受信部８７を
介して、仮想空間表示装置にその画像データを送信す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法に関し、より詳細には、仮想空間画像内
のパーソナルコンピュータのアプリケーションソフトウ
ェアを表示画面より前に表示する画像処理装置および画
像処理方法、ならびに、画像処理プログラムおよびその
記録媒体に関する。

【０００２】

【従来の技術】特開平６−２８２３７１号には、本等の
仮想空間画像が表示され、ユーザ（使用者）が、表示さ
れた仮想の本のページをめくる動作をすると、その動作
に応じて、前記本のページがめくれるように構成された
仮想空間デスクトップ装置が開示されている。

【０００３】しかしながら、前記従来の装置では、ユー
ザは、手や指で、本の用紙の質感や、用紙の例えばエッ
ジに接触したときの感触などを感じることができず、ま
た、手や指で本を握ったときの反力などを感じることが
できないため、違和感を覚える。

【０００４】また、本のページめくりの際は、指の感触
により本の用紙のエッジを認識し、その用紙（ページ）
を指で挟んで持ち上げるようにしてページをめくるのが
自然の動作であるが、前記従来の装置では本に対して手
や指による感触が得られないので、本のページをめくる
動作の度に、本の用紙のエッジに注目して、そのエッジ
に指を移動させる動作などが必要となり、前記本のペー
ジめくりに手間と時間がかかる。

【０００５】ところで、仮想空間内で仮想のパーソナル
コンピュータ（以下、「ＰＣ」という）を使用する場
合、仮想空間という利点を生かして、ＰＣ画面上に表示
されているアイコンを指でタッチし、あるいはつまみ出
すことによってそのアイコンが関連付けられているアプ
リケーションソフトウェアを起動し、そのアプリケーシ
ョンをＰＣ画面よりも前に三次元で表示したいという要
望も考えられる。特に、三次元のＣＡＤ（computer-aid
ed design）によって立体的な設計などをした場合に、
それが三次元空間でどのように見えるか確認したいとい
う要望がある。

【０００６】

【発明が解決しようとする課題】本発明は、仮想空間に
おいて、仮想のＰＣ画面上のアイコンを直接指で触れ、
あるいは掴むことによって、所望のアプリケーションソ
フトウェアを起動し、それを三次元で立体的に表示する
ことができる画像処理装置および画像処理方法、ならび
に、画像処理プログラムおよびその記録媒体を提供する
ことを目的とする。

【０００７】

【課題を解決するための手段】このような目的は、下記
（１）〜（３８）の本発明により達成される。

【０００８】（１） 仮想空間画像を生成する画像生成
手段と、前記画像生成手段によって生成された仮想空間
画像を表示する表示手段と、指の位置を検出する指位置
検出手段と、前記指位置検出手段によって検出された指
が仮想の表示物に衝突したか否かを判定する判定手段
と、前記判定手段によって前記指と前記表示物が衝突し
たと判定される場合には、前記仮想空間内に該表示物に
関連付けられている機能を発現させる機能発現手段と、
を備えることを特徴とする画像処理装置。

【０００９】（２） 仮想空間画像を生成する画像生成
手段と、前記画像生成手段によって生成された仮想空間
画像を表示する表示手段と、指の位置を検出する指位置
検出手段と、前記指位置検出手段によって検出された指
が移動したとき、その移動にともなって仮想の表示物が
移動したか否かを判定する判定手段と、前記判定手段に
よって前記指と前記表示物が同時に移動したと判定され
る場合には、前記仮想空間内に該表示物に関連付けられ
ている機能を発現させる機能発現手段と、を備えること
を特徴とする画像処理装置。

【００１０】（３） 前記画像生成手段によって生成さ
れた画像データおよび前記判定手段によって判定された
判定結果を記憶する記憶手段をさらに備えることを特徴
とする上記（１）または（２）に記載の画像処理装置。

【００１１】（４） 前記画像生成手段は、前記指位置
検出手段により検出された前記指の位置に基づいて、所
定の時間間隔で仮想の指画像を含む仮想空間画像を更新
して生成する上記（１）ないし（３）のいずれかに記載
の画像処理装置。

【００１２】（５） 前記指位置検出手段は、それらの
中心軸が互いに略直交する、第１のコイル、第２のコイ
ルおよび第３のコイルを有する直交コイル式の位置検出
手段であることを特徴とする上記（１）ないし（４）の
いずれかに記載の画像処理装置。

【００１３】（６） 前記指位置検出手段は、互いに略
直交するＸ軸、Ｙ軸およびＺ軸の回りの角速度をそれぞ
れ検出するジャイロセンサを有する上記（１）ないし
（５）のいずれかに記載の画像処理装置。

【００１４】（７） 前記表示手段は、顔面に装着して
使用するものである上記（１）ないし（６）のいずれか
に記載の画像処理装置。

【００１５】（８） 前記表示手段は、前記画像生成手
段により生成された仮想空間画像データを受信する通信
手段を含むことを特徴とする上記（１）ないし（７）の
いずれかに記載の画像処理装置。

【００１６】（９） 前記発現された機能は、仮想空間
における映像および／または音の出力であり、該機能が
映像の場合において、前記判定手段により前記指が機能
を発現されている映像の所定の位置に衝突し、あるいは
該位置とともに移動したと判定されるときには、前記機
能を終了させる機能終了手段をさらに備える上記（１）
ないし（８）のいずれかに記載の画像処理装置。

【００１７】（１０） 前記機能終了手段により機能を
終了させられた前記表示物を初めの状態に戻して前記仮
想空間中に表示する表示物表示手段をさらに備える上記
（９）に記載の画像処理装置。

【００１８】（１１） 前記仮想の表示物は、仮想空間
中に形成される平面上に二次元的に配置される上記
（１）ないし（１０）のいずれかに記載の画像処理装
置。

【００１９】（１２） 前記平面は、仮想のパーソナル
コンピュータの表示画面であり、前記表示物は、この表
示画面に表示されているアイコンである上記（１１）に
記載の画像処理装置。

【００２０】（１３） 前記機能発現手段は、所望のア
プリケーションソフトウェアを起動してこのアプリケー
ションに関する各種処理を実行できるようにし、前記表
示手段は、仮想空間において前記パーソナルコンピュー
タの表示画面の手前に該アプリケーションのウィンドウ
画面を表示する上記（１２）に記載の画像処理装置。

【００２１】（１４） 指に与える触覚および力覚を発
生して提示する触覚・力覚提示手段と、前記判定手段に
より前記指が前記仮想の表示物に衝突しあるいは該表示
物とともに移動したと判定される場合には、その接触に
相当する感覚が指腹に得られるように前記触覚・力覚発
生手段の駆動を制御する制御手段と、をさらに備える上
記（１）ないし（１３）のいずれかに記載の画像処理装
置。

【００２２】（１５） 前記制御手段は、前記指位置検
出手段によって検出された指の位置と前記表示物の位置
とがずれたとき、前記接触に相当する感覚が指腹に得ら
れないように前記触覚・力覚発生手段の駆動を制御する
上記（１４）に記載の画像処理装置。

【００２３】（１６） 指に与える触覚および力覚を発
生して提示する触覚・力覚提示手段と、前記判定手段に
より前記指が前記仮想の表示物に衝突しあるいは該表示
物とともに移動したと判定される場合には、その接触に
相当する感覚が指腹に得られるように前記触覚・力覚発
生手段の駆動を制御する制御手段とをさらに備え、前記
制御手段は、前記判定手段によって前記指と前記パーソ
ナルコンピュータの表示画面が衝突し、あるいはそれと
ともに移動したと判定される場合にも、その接触に相当
する感覚が指腹に得られるように前記触覚・力覚発生手
段の駆動を制御する上記（１３）に記載の画像処理装
置。

【００２４】（１７） 仮想空間画像を生成するステッ
プと、前記生成された仮想空間画像を表示するステップ
と、指の位置を検出するステップと、前記検出された指
が仮想の表示物に衝突したか否かを判定するステップ
と、前記指と前記表示物が衝突したと判定される場合に
は、前記仮想空間内に該表示物に関連付けられている機
能を発現させるステップと、を有することを特徴とする
画像処理方法。

【００２５】（１８） 仮想空間画像を生成するステッ
プと、前記生成された仮想空間画像を表示するステップ
と、指の位置を検出するステップと、前記検出された指
が移動したとき、その移動にともなって仮想の表示物が
移動したか否かを判定するステップと、前記指と前記表
示物が同時に移動したと判定される場合には、前記仮想
空間内に該表示物に関連付けられている機能を発現させ
るステップと、を有することを特徴とする画像処理方
法。

【００２６】（１９） 前記生成された画像データおよ
び前記判定された判定結果を記憶するステップをさらに
有することを特徴とする上記（１７）または（１８）に
記載の画像処理方法。

【００２７】（２０） 前記画像生成ステップは、前記
指位置検出ステップで検出された前記指の位置に基づい
て、所定の時間間隔で仮想の指画像を含む仮想空間画像
を更新して生成する上記（１７）ないし（１９）のいず
れかに記載の画像処理方法。

【００２８】（２１） 前記発現された機能は、仮想空
間における映像および／または音の出力であり、該機能
が映像の場合において、前記指が機能を発現されている
映像の所定の位置に衝突し、あるいは該位置とともに移
動したと判定されるときには、前記機能を終了させるス
テップをさらに有する上記（１７）ないし（２０）のい
ずれかに記載の画像処理方法。

【００２９】（２２） 前記機能終了ステップにおいて
機能を終了させられた前記表示物を初めの状態に戻して
前記仮想空間中に表示するステップをさらに有する上記
（２１）に記載の画像処理方法。

【００３０】（２３） 前記仮想の表示物は、仮想空間
中に形成される平面上に二次元的に配置される上記（１
７）ないし（２２）のいずれかに記載の画像処理方法。

【００３１】（２４） 前記平面は、仮想のパーソナル
コンピュータの表示画面であり、前記表示物は、この表
示画面に表示されているアイコンである上記（２３）に
記載の画像処理方法。

【００３２】（２５） 前記機能発現ステップでは、所
望のアプリケーションソフトウェアを起動してこのアプ
リケーションに関する各種処理を実行できるようにさ
れ、前記表示ステップは、仮想空間において前記パーソ
ナルコンピュータの表示画面の手前に該アプリケーショ
ンのウィンドウ画面を表示する上記（２４）に記載の画
像処理方法。

【００３３】（２６） 指に与える触覚および力覚を発
生して提示するステップと、前記指が前記仮想の表示物
に衝突しあるいは該表示物とともに移動したと判定され
る場合には、その接触に相当する感覚が指腹に得られる
ように触覚および力覚の発生を制御するステップと、を
さらに有する上記（１７）ないし（２５）のいずれかに
記載の画像処理方法。

【００３４】（２７） 指に与える触覚および力覚を発
生して提示するステップと、前記指が前記仮想の表示物
に衝突しあるいは該表示物とともに移動したと判定され
る場合には、その接触に相当する感覚が指腹に得られる
ように触覚および力覚の発生を制御するステップとをさ
らに有し、前記指と前記パーソナルコンピュータの表示
画面が衝突し、あるいはそれとともに移動したと判定さ
れる場合にも、その接触に相当する感覚が指腹に得られ
るように触覚および力覚を与える上記（２５）に記載の
画像処理方法。

【００３５】（２８） 仮想空間画像を生成してユーザ
に視認できるように表示させるための情報処理装置のコ
ンピュータを、仮想空間画像を生成する画像生成手段、
前記画像生成手段によって生成された仮想空間画像を表
示する表示手段、指の位置を検出する指位置検出手段、
前記指位置検出手段によって検出された指が仮想の表示
物に衝突したか否かを判定する判定手段、前記判定手段
によって前記指と前記表示物が衝突したと判定される場
合には、前記仮想空間内に該表示物に関連付けられてい
る機能を発現させる機能発現手段、として機能させるた
めの情報処理装置の画像処理プログラム。

【００３６】（２９） 仮想空間画像を生成してユーザ
に視認できるように表示させるための情報処理装置のコ
ンピュータを、仮想空間画像を生成する画像生成手段、
前記画像生成手段によって生成された仮想空間画像を表
示する表示手段、指の位置を検出する指位置検出手段、
前記指位置検出手段によって検出された指が移動したと
き、その移動にともなって、仮想の表示物が移動したか
否かを判定する判定手段、前記判定手段によって前記指
と前記表示物が同時に移動したと判定される場合には、
前記仮想空間内に該表示物に関連付けられている機能を
発現させる機能発現手段、として機能させるための情報
処理装置の画像処理プログラム。

【００３７】（３０） 情報処理装置のコンピュータ
を、前記画像生成手段によって生成された画像データお
よび前記判定手段によって判定された判定結果を記憶す
る記憶手段として機能させるためのプログラムコードを
さらに有する上記（２８）または（２９）に記載の画像
処理プログラム。

【００３８】（３１） 前記画像生成手段を、前記指位
置検出手段により検出された前記指の位置に基づいて、
所定の時間間隔で仮想の指画像を含む仮想空間画像を更
新して生成させるように機能させるための上記（２８）
ないし（３０）のいずれかに記載の画像処理プログラ
ム。

【００３９】（３２） 情報処理装置のコンピュータ
を、前記発現される機能が映像の場合において、前記判
定手段により前記指が機能を発現されている映像の所定
の位置に衝突し、あるいは該位置とともに移動したと判
定されるときには、前記機能を終了させる機能終了手段
として機能させるためのプログラムコードをさらに有す
る上記（２８）ないし（３１）のいずれかに記載の情報
処理装置の画像処理プログラム。

【００４０】（３３） 情報処理装置のコンピュータ
を、前記機能終了手段により機能を終了させられた前記
表示物を初めの状態に戻して前記仮想空間中に表示する
表示物表示手段として機能させるためのプログラムコー
ドをさらに有する上記（３２）に記載の情報処理装置の
画像処理プログラム。

【００４１】（３４） 前記機能発現手段を、仮想のパ
ーソナルコンピュータの表示画面に表示されているアイ
コンである前記表示物と前記指との衝突あるいは移動に
基づいて、所望のアプリケーションソフトウェアを起動
してこのアプリケーションに関する各種処理を実行でき
るように機能させ、前記表示手段を、仮想空間において
前記パーソナルコンピュータの表示画面の手前に前記ア
プリケーションのウィンドウ画面を表示するように機能
させるためのプログラムコードをさらに有する上記（２
８）ないし（３３）のいずれかに記載の画像処理プログ
ラム。

【００４２】（３５） 情報処理装置のコンピュータ
を、指に与える触覚および力覚を発生して提示する触覚
・力覚提示手段、前記判定手段により前記指が前記仮想
の表示物に衝突しあるいは該表示物とともに移動したと
判定される場合には、その接触に相当する感覚が指腹に
得られるように前記触覚・力覚発生手段の駆動を制御す
る制御手段、として機能させるためのプログラムコード
をさらに有する上記（２８）ないし（３４）のいずれか
に記載の画像処理プログラム。

【００４３】（３６） 前記制御手段を、前記指位置検
出手段によって検出された指の位置と前記表示物の位置
とがずれたとき、前記接触に相当する感覚が指腹に得ら
れないように触覚および力覚の発生を制御するように機
能させるためのプログラムコードを有する上記（３４）
に記載の画像処理プログラム。

【００４４】（３７） 情報処理装置のコンピュータ
を、指に与える触覚および力覚を発生して提示する触覚
・力覚提示手段、前記判定手段により前記指が前記仮想
の表示物に衝突しあるいは該表示物とともに移動したと
判定される場合には、その接触に相当する感覚が指腹に
得られるように前記触覚・力覚発生手段の駆動を制御す
る制御手段として機能させるためのプログラムコードを
さらに有し、前記制御手段を、前記判定手段によって前
記指と前記パーソナルコンピュータの表示画面が衝突
し、あるいはそれとともに移動したと判定される場合に
も、その接触に相当する感覚が指腹に得られるように触
覚および力覚の発生を制御するように機能させるための
プログラムコードを有する上記（３４）に記載の画像処
理プログラム。

【００４５】（３８） コンピュータに実行させるため
の上記（２８）ないし（３７）のいずれかの画像処理プ
ログラムを記録した、コンピュータに読み取り可能な記
録媒体。

【００４６】

【発明の実施の形態】以下、図１〜図２３を参照して本
発明の画像処理装置および画像処理方法の好適実施形態
を詳細に説明する。なお、この実施の形態は例示として
挙げるものであり、これにより本発明を限定的に解釈す
べきではない。

【００４７】図１は、本発明の触覚・力覚提示装置を含
む画像処理装置の第１実施形態の構成例を示す概念図で
あり、図２は、図１に示すリアルグローブ２０の回路構
成例を示すブロック図である。また、図３は、図１に示
すリアルグローブ２０の外観構成例を示す外観図（一部
図示を省略）である。

【００４８】図１に示すように、画像処理装置１は、ユ
ーザ（使用者）の手（指）に装着され、装着された手や
各指に対して触覚（触った感覚、例えば、質感、形状、
強さ等の接触強度の分布）や力覚（触ったときに加わる
力の感覚）を与える一対のリアルグローブ（データグロ
ーブ）２０、２０と、仮想空間画像（仮想空間映像）を
表示する仮想空間表示装置（表示手段）５と、各リアル
グローブ２０および仮想空間表示装置５の駆動制御等の
種々の処理（本発明においては、後述する図１９および
図２０のアプリケーション起動処理や図２１のアプリケ
ーション終了処理など）を行う情報処理装置８と、仮想
空間画像を作成し、仮想空間画像を用いた各種のサービ
スを提供する基地局９とを備えている。

【００４９】各リアルグローブ２０、仮想空間表示装置
５、情報処理装置８および基地局９は、それぞれ、無線
（例えば、無線ＬＡＮ（Local Area Network）、赤外線
（ＩＲ）データ通信（ＩｒＤＡ：Infrared Data Associ
ation）、Bluetoothなど）で信号の送信および受信（無
線通信）を行うことができる無線通信機能（無線通信手
段）を有しており、情報処理装置８と、各リアルグロー
ブ２０、仮想空間表示装置５および基地局９との間で、
それぞれ、通信を行うことができるようになっている。

【００５０】この画像処理装置１は、基地局９、仮想空
間表示装置５および各リアルグローブ２０から供給され
た情報に基づいて情報処理装置８によって作成（生成）
された仮想空間画像を仮想空間表示装置５に表示し、リ
アルグローブ２０を装着した手や指を動作させることに
よってその手や指が仮想空間に表示された物体に仮想的
に接触した場合等に、その様子を仮想空間表示装置５に
表示するとともに、接触したときの触覚や力覚をリアル
グローブ２０を装着した手や各指に与えるための各処理
を行う。

【００５１】情報処理装置８は、例えば、携帯電話端
末、無線通信機能を有するパーソナルコンピュータ、Ｐ
ＤＡ（Personal Digital Assistants）と呼ばれる携帯
型情報機器などの、無線通信機能（通信手段）および制
御機能（制御手段）を備えた各種の装置により構成され
る。

【００５２】また、基地局９は、例えば、インターネッ
トに接続されている各種サーバコンピュータ、携帯電話
端末と無線通信を行う携帯電話基地局などの、仮想空間
画像に関する情報を提供する各種の装置により構成され
る。

【００５３】なお、本実施形態では、各リアルグローブ
２０、仮想空間表示装置５、情報処理装置８および基地
局９が無線通信機能を有する構成としているが、例え
ば、その一部またはすべてが有線通信を行う構成とされ
ていてもよい。

【００５４】また、情報処理装置８が、基地局９の機能
の一部またはすべてを有していてもよい。後述するアプ
リケーション起動処理およびアプリケーション終了処理
では、便宜的に情報処理装置８に基地局９のすべての機
能が含まれるものとして説明される。

【００５５】また、リアルグローブ２０が、仮想空間表
示装置５、情報処理装置８および基地局９の機能の一部
またはすべてを有していてもよい。

【００５６】ここで、触覚・力覚提示装置２は、本実施
形態では、一対のリアルグローブ２０、２０、すなわ
ち、ユーザの左手に装着される左手用のリアルグローブ
２０と、ユーザの右手に装着される右手用のリアルグロ
ーブ２０とで構成されている。以下の説明では、代表的
に一方のリアルグローブ２０を説明する。

【００５７】なお、本発明において、触覚・力覚提示装
置２は、一方のリアルグローブ２０のみで構成されてい
てもよい。

【００５８】また、本発明では、触覚・力覚提示装置２
は、リアルグローブ２０の他に、仮想空間表示装置５、
情報処理装置８および基地局９のうちの、いずれか１
つ、または、２つ、または、すべてを有していてもよ
い。この場合、触覚・力覚提示装置２は、それらの有す
る機能の一部を有していてもよく、また、すべてを有し
ていてもよい。

【００５９】図２に示すように、リアルグローブ２０
は、仮想空間に現れている（仮想空間画像上の）物体
（対象物）に接触した指の感覚（例えば、質感、形状、
強さ等の接触強度の分布）を発生させるための触覚発生
部（触覚発生手段）２１と、仮想空間に現れている物体
に接触したときに手や指にかかる力の強さの感覚を発生
させるための力覚発生部（力覚発生手段）２２と、リア
ルグローブ２０の各部の位置（リアルグローブ２０を装
着した手、手首、腕、指等の各部の位置）を検出する位
置姿勢検出部２３と、リアルグローブ２０の各部を制御
する制御部２４と、情報処理装置８に送信する検出デー
タ信号の増幅等の信号処理を行う信号処理部２５と、情
報処理装置８との間で無線通信を行うための信号送受信
部（通信手段）２６とを有している。

【００６０】また、図３に示すように、リアルグローブ
２０の全体形状は、略長手袋状（手袋状）をなしてい
る。すなわち、リアルグローブ２０は、その装着者（ユ
ーザ）の指から腕の肘近傍まで（指から腕にかけて）装
着する手袋状の装着手段として、腕を覆う筒状部２０ａ
を備えた比較的長い手袋２ａを有している。

【００６１】ユーザは、この手袋２ａにより、リアルグ
ローブ２０の装着および取り外しを容易かつ確実に行う
ことができる。

【００６２】また、手袋２ａはユーザの手から腕にかけ
て装着されるので、仮想空間における動作（操作）を容
易かつ確実に行うことができる。

【００６３】この手袋２ａには、指先に対応する部分の
遊びを抑制または防止する遊び吸収部２７と、リアルグ
ローブ２０を手首に固定する手首固定部２８と、該リア
ルグローブ２０を腕に固定する腕固定部２ｄと、腕に対
応する部分のねじれを吸収するねじれ吸収部２９とが、
それぞれ設けられている。

【００６４】遊び吸収部２７は、手袋２ａの手首付近に
対応する部分に設けられている。この遊び吸収部２７
は、例えば、各種ゴム等の弾性体で形成される。

【００６５】ユーザがリアルグローブ２０を装着する
と、遊び吸収部２７の復元力（弾性力）により、手袋２
ａは、肘方向（基端側）に引っ張られ、その状態で保持
される。これにより、指先に遊びができてしまうのを防
止または抑制することができる。

【００６６】また、指の長さ等の手の寸法の異なる複数
のユーザが使用する場合においても、遊び吸収部２７に
より、それぞれ各ユーザにおいて、指先に遊びができて
しまうのを防止または抑制することができる。

【００６７】手首固定部２８は、手袋２ａの前記遊び吸
収部２７の肘側（基端側）に、遊び吸収部２７に連続し
て設けられている。この手首固定部２８は、例えば、各
種ゴム等の弾性体で形成される。

【００６８】ユーザがリアルグローブ２０を装着する
と、手首固定部２８の復元力（弾性力）により、手袋２
ａは、手首に固定される。これにより、使用中にリアル
グローブ２０がずれてしまうのを防止することができ
る。

【００６９】また、この手首固定部２８や前記遊び吸収
部２７により、後述する触覚発生部２１のアクチュエー
タワイヤ２１２の束２１２ａは、各アクチュエータワイ
ヤ２１２がそれぞれその長手方向に移動し得るように所
定の位置に保持される。

【００７０】腕固定部２ｄは、手袋２ａの筒状部２０ａ
の肘側（基端側）の端部に設けられている。この腕固定
部２ｄは、例えば、各種ゴム等の弾性体で形成される。

【００７１】ユーザがリアルグローブ２０を装着する
と、腕固定部２ｄの復元力（弾性力）により、手袋２ａ
は、腕に固定される。これにより、使用中にリアルグロ
ーブ２０がずれてしまうのを防止することができる。

【００７２】ねじれ吸収部２９は、手袋２ａの筒状部２
０ａの途中、すなわち、前記手首固定部２８と腕固定部
２ｄとの間に設けられている。

【００７３】このねじれ吸収部２９は、筒状部２０ａの
一部に３つの開口２９２を形成して得られる３本の帯状
部２９１で構成されている。各帯状部２９１は、それぞ
れ、例えば、伸縮性のある材料で構成された布等の伸縮
性のある部材で形成される。

【００７４】ユーザがリアルグローブ２０を装着し、例
えば、手首をねじる動作をすると、各帯状部２９１が伸
縮、変形し、これにより、筒状部２０ａのねじれが吸収
される。

【００７５】このように、ねじれ吸収部２９により、リ
アルグローブ２０のねじれを防止することができ、この
ため、ユーザは、手や腕を容易かつ円滑に動かすことが
できる。

【００７６】なお、ねじれ吸収部２９の帯状部２９１の
数は、２本以下でもよく、また、４本以上でもよい。

【００７７】また、手袋２ａの各指の背側の各関節に対
応する部分には、それぞれ、開口２１ａが形成されてい
る。

【００７８】これらの開口２１ａにより、ユーザは、各
指の各関節をそれぞれ容易かつ円滑に動かすことができ
る。

【００７９】また、このリアルグローブ２０には、手袋
２ａの腕に対応する部分であって、前記ねじれ吸収部２
９よりも肘方向に位置する部分、すなわち、手袋２ａの
筒状部２０ａの肘側（基端側）の端部に、制御部２４、
電力供給部３０、動力発生部２１１などが設けられてい
る。

【００８０】これら制御部２４、電力供給部３０および
動力発生部２１１の配置を前記のようにすることによ
り、リアルグローブ２０の指先側（先端側）の重量を軽
く（慣性を小さく）することができ、これにより、ユー
ザは、動作（操作）を容易に行うことができる。

【００８１】触覚発生部２１の主要部は、ユーザがリア
ルグローブ２０を装着したときに、ユーザの各指の第１
関節（末節骨と中節骨との間の関節）から先の指先部分
を覆う位置にそれぞれ設けられている。なお、各触覚発
生部２１の構成および作用は、ほぼ同様であるので、以
下、代表的に、そのうちの１つについて説明する。

【００８２】図４は、触覚発生部２１の構成例を示す縦
断面図である。なお、図が煩雑になるのを避けるため、
図中、一部、部材の厚みを省略して図示する。

【００８３】触覚発生部２１は、図４（Ａ）に示すよう
に、モータ（駆動源）２１１ａを備える動力発生部（移
動手段）２１１と、長手方向に移動可能に設置されたア
クチュエータワイヤ（可撓性を有する線状体）２１２
と、アクチュエータワイヤ２１２の一端を保持するワイ
ヤ保持部（付勢手段）２１３と、触覚を発生させるため
に指腹を押圧する触覚提示ピン（押圧部）２１４と、触
覚提示ピン２１４を支持するとともに触覚提示ピン２１
４の移動方向を規制する触覚提示ピン支持部（移動方向
規制手段）２１５とで構成される複数の単位触覚発生部
（アクチュエータ）２１０を有している。各単位触覚発
生部２１０は、互いに独立している。

【００８４】なお、前記動力発生部２１１と、アクチュ
エータワイヤ２１２と、触覚提示ピン支持部２１５と
で、触覚提示ピン２１４を駆動する駆動機構が構成され
る。

【００８５】動力発生部２１１は、例えば、制御部２４
からの制御信号に応じて内部に備えるモータ２１１ａを
回転駆動し、そのモータ２１１ａの回転駆動によってア
クチュエータワイヤ２１２を巻き取る処理（アクチュエ
ータワイヤ２１２をアクチュエータワイヤ２１２の長手
方向に移動させる処理）を行う。制御部２４は、情報処
理装置８からの指示に従って、モータ２１１ａの回転駆
動が所定のトルクで所定時間なされるように動力発生部
２１１を制御する。動力発生部２１１は、情報処理装置
８からの指示に従ってモータ２１１ａに回転動力を与え
ることで、アクチュエータワイヤ２１２を所定の長さ巻
き取る処理を行う。

【００８６】ワイヤ保持部２１３は、図４（Ａ）に示す
ように、この実施形態では指の第１間接の近傍でアクチ
ュエータワイヤ２１２の一端（終端）を保持する。この
ワイヤ保持部２１３は、例えばゴムやバネなどの弾性を
有する部材（弾性体）により構成される。

【００８７】従って、動力発生部２１１のモータ２１１
ａの駆動によりアクチュエータワイヤ２１２が巻き取ら
れ、そのアクチュエータワイヤ２１２が図４（Ａ）中の
時計回りに移動すると、それに伴ってワイヤ保持部２１
３が伸張し、アクチュエータワイヤ２１２は、ワイヤ保
持部２１３の復元力（弾性力）により、図４（Ａ）中の
反時計回りの方向（触覚提示ピン２１４を突出させると
きのアクチュエータワイヤ２１２の移動方向と逆方向）
に付勢される。そして、動力発生部２１１のモータ２１
１ａの駆動が停止し、アクチュエータワイヤ２１２の巻
き取り状態が解除されると、ワイヤ保持部２１３が復元
力（弾性力）によって収縮し、これにより、巻き取られ
ていたアクチュエータワイヤ２１２が引き出され、図４
（Ａ）中の反時計回りに移動する。

【００８８】なお、動力発生部２１１は、アクチュエー
タワイヤ２１２の他端（始端）側に位置している。

【００８９】触覚提示ピン２１４は、ユーザの指腹に接
触感覚（接触の有無や強さ等）を与えるために用いら
れ、指腹に接触する部分である微小な接触板（接触部）
２１４ａと、接触板２１４ａを支持する支持部２１４ｂ
とで構成される。支持部２１４ｂは、その一端がアクチ
ュエータワイヤ２１２の途中に固定され、その他端に接
触板２１４ａが設けられている。

【００９０】この実施形態では、図４（Ａ）に示すよう
に、リアルグローブ２０の手袋２ａは、指先を装着する
（覆う）装着部が２重構造（例えば布などの部材を２枚
重ね合わせて、重ね合わせた２枚の部材の間に何らかの
部材が収納し得るような構造）になっており、指先を覆
っている部分の内部（２重構造の内部）に、前記アクチ
ュエータワイヤ２１２の一部、ワイヤ保持部２１３およ
び支持部２１４ｂと、触覚提示ピン２１４のアクチュエ
ータワイヤ２１２の移動方向への移動を規制する触覚提
示ピン支持部２１５とが設けられている。そして、指が
収納される手袋２ａ内に、支持部２１４ｂの一端側が突
出し、接触板２１４ａが位置している。

【００９１】この実施形態では、その接触板２１４ａ
は、リアルグローブ２０を装着した手の指先に常に接触
した状態となっている。なお、これに限らず、接触板２
１４ａが指先から離間した状態（接触板２１４ａと指先
とが非接触の状態）をとり得るように構成されていても
よい。

【００９２】図４（Ａ）では、説明を簡単にするため、
１つの単位触覚発生部２１０（１つの触覚提示ピン２１
４）が代表して示されているが、前述したように、実際
には、触覚発生部２１は、複数の単位触覚発生部２１０
を有しており、その複数の触覚提示ピン２１４は、ユー
ザがリアルグローブ２０を装着したときのユーザの指先
の指腹に対応する位置に、例えば、指腹に沿って、かつ
指腹に対し行列状（マトリックス状）に配置されてい
る。

【００９３】各触覚提示ピン２１４の前後には、それぞ
れ、その触覚提示ピン２１４の支持部２１４ｂのアクチ
ュエータワイヤ２１２の移動方向への移動を制限する触
覚提示ピン支持部２１５が設けられている。

【００９４】なお、前記各触覚提示ピン２１４は、規則
的に配置されていてもよく、また、不規則に配置されて
いてもよい。

【００９５】次に、触覚発生部２１による触覚発生動作
について説明する。ユーザがリアルグローブ２０を装着
し、手や指を動かすことによって仮想空間に現れている
物体（仮想物体）、すなわち対象物に、その指先（指
腹）が仮想的に接触すると、情報処理装置８は、実際に
接触があったとした場合の押圧力を計算し、その計算結
果に基づいて動力発生部２１１のＰＷＭデータ（例え
ば、モータ２１１ａを回転させるための励磁パターンを
示すデータ）に変換する。

【００９６】この場合、前記仮想空間（３次元空間）に
おいて、予め、互いに直交するＸ軸、Ｙ軸およびＺ軸、
すなわちＸ−Ｙ−Ｚ座標（３次元座標）が想定されてお
り、前記物体の座標と、前記ユーザの指先の座標との一
致を検出し、その一致が検出されると、物体の前記座標
に相当する部位とユーザの指先の前記座標に相当する部
位とが接触したと判別する。ユーザの指先の座標は、後
述する位置姿勢検出部２３から信号送受信部２６を介し
て情報処理装置８に送信される信号（情報）に基づいて
導出される。

【００９７】次いで、情報処理装置８は、導出したＰＷ
Ｍデータと、実際に接触があったとした場合の接触位置
に押圧力を与える接触板２１４ａを動作させる動力発生
部２１１を特定（指定）するためのデータとを、リアル
グローブ２０に送信する。リアルグローブ２０は、受信
したＰＷＭデータに応じて、指定された動力発生部２１
１を駆動し、アクチュエータワイヤ２１２を巻き取る。

【００９８】アクチュエータワイヤ２１２が巻き取られ
ると、指腹に配されているアクチュエータワイヤ２１２
が指腹に沿って指の先端方向に向けて移動し、図４
（Ｂ）に示すように、アクチュエータワイヤ２１２に取
付固定されている触覚提示ピン２１４も、指腹に沿って
指の先端方向に向けて移動する。

【００９９】この際、図４（Ｃ）に示すように、触覚提
示ピン２１４は、触覚提示ピン支持部２１５によって指
の先端方向への移動が制限されるとともに、触覚提示ピ
ン支持部２１５にガイドされて、図４（Ｃ）中上側へ移
動する（指腹に向って突出する）。すなわち、触覚提示
ピン２１４の接触板２１４ａが指腹の表面に対しほぼ垂
直上方に移動する。触覚提示ピン２１４の支持部２１４
ｂは、待機時には（初期状態では）、図４（Ｂ）に示す
ように、垂直方向から指の先端方向に傾斜しており、前
記接触板２１４ａがほぼ垂直上方に移動しようとする力
が働くことで、その接触板２１４ａが指腹をほぼ垂直方
向へ押圧し、これにより、ユーザの手の指腹に押圧力を
与える。

【０１００】この動作が、複数の単位触覚発生部２１０
のうちの指定された単位触覚発生部２１０でなされ、こ
れにより、ユーザの手の指腹に触覚が提示される（与え
られる）。よって、ユーザは、仮想空間画像における指
腹の物体（対象物）への接触に相当する感覚を、指腹に
得ることができる。

【０１０１】前記指定された単位触覚発生部２１０にお
いて、動力発生部２１１のモータ２１１ａの駆動が停止
し、アクチュエータワイヤ２１２の巻き取り状態が解除
されると、ワイヤ保持部２１３が復元力（弾性力）によ
って収縮し、これにより、巻き取られていたアクチュエ
ータワイヤ２１２が引き出される。

【０１０２】アクチュエータワイヤ２１２が引き出され
ると、指腹に配されているアクチュエータワイヤ２１２
が指腹に沿って指の基端方向（図４（Ｃ）中右側）に向
けて移動し、アクチュエータワイヤ２１２に取付固定さ
れている触覚提示ピン２１４も、指腹に沿って指の基端
方向に向けて移動し、触覚提示ピン２１４は、図４
（Ｂ）に示す初期状態に戻る。これにより、触覚提示ピ
ン２１４からユーザの手の指腹に与えられていた押圧力
が実質的に消滅する。

【０１０３】このような触覚発生部２１によれば、指腹
に対してほぼ平行に（指腹に沿って）アクチュエータワ
イヤ２１２を配置し、そのアクチュエータワイヤ２１２
を巻き取ることによって指腹に対してほぼ垂直な力を与
えるようになっているので、触覚を与えるための機構を
薄くすることができ、これにより、リアルグローブ２０
の指腹側の厚みを極力抑えることができる。

【０１０４】また、アクチュエータワイヤ２１２の弛み
を防止することができ、触覚提示ピン２１４からユーザ
の指腹に、より正確かつ確実に目標の大ききの押圧力を
与えることができる。

【０１０５】図５および図６は、それぞれ、力覚発生部
２２の構成例を示す外観図である。なお、図５は、フレ
ームカバーが取り外された状態を示す。

【０１０６】図５に示すように、力覚発生部２２は、リ
アルグローブ２０を装着したときのユーザの各指の背側
に設けられている。なお、力覚発生部２２の構成および
作用は、ほぼ同様であるので、以下、代表的に、そのう
ちの１つについて説明する。

【０１０７】力覚発生部２２は、回動可能に連結された
複数（本実施形態では６つ）のフレーム２２１を備えた
リンク機構と、各フレーム２２１を回動させる複数（本
実施形態では７つ）のリンクモータ（駆動源）２２２
と、手袋２ａに設けられた複数（本実施形態では４つ）
のフレームホルダ２ｂとを有している。

【０１０８】前記フレームホルダ２ｂは、ユーザがリア
ルグローブ２０を装着したとき、ユーザの指の第１関節
より先端側に位置する装着部と、第１関節と第２関節
（中節骨と基節骨との間の関節）との間に位置する装着
部と、第２関節と第３関節との間に位置する装着部と、
第３関節（基節骨と中手骨との間の関節）より基端側に
位置する装着部とに、それぞれ、設けられている。

【０１０９】リンク機構は、前記フレームホルダ２ｂに
よって、手袋２ａの、リアルグローブ２０を装着したと
きのユーザの指の背側に取り付けられている。

【０１１０】すなわち、リンク機構の先端側（図５中右
側）の端部のフレーム２２１は、ユーザがリアルグロー
ブ２０を装着したときに、ユーザの指の第１関節より先
端側の部位にその端部が位置するように配置され、この
フレーム２２１の先端部は、フレームホルダ２ｂに対
し、回動可能に設置されている。

【０１１１】また、リンク機構の基端側（図５中左側）
の端部のフレーム２２１は、ユーザがリアルグローブ２
０を装着したときに、ユーザの指の第３関節より基端側
の部位にその端部が位置するように配置され、このフレ
ーム２２１の基端部は、フレームホルダ２ｂに対し、回
動可能に設置されている。

【０１１２】また、リンク機構の残りの各フレーム２２
１は、ユーザがリアルグローブ２０を装着したときに、
ユーザの指の第１関節と第２関節との間の部位と、第２
関節と第３関節との間の部位とに、フレーム連結部が１
つおきに位置するように配置され、この１つおきのフレ
ーム連結部において、フレームホルダ２ｂに対し、回動
可能に設置されている。

【０１１３】各リンクモータ２２２の駆動力（回転力）
は、それぞれ、図示しない動力伝達部を介して、対応す
るフレーム２２１に伝達される。すなわち、リンクモー
タ２２２が所定方向に回転駆動すると、対応するフレー
ム２２１は、所定方向に回動し、これにより、フレーム
２２１の角度が変更（調整）される。

【０１１４】なお、図５には、前述したアクチュエータ
ワイヤ２１２の束２１２ａが示されている。

【０１１５】力覚発生部２２の各フレーム２２１や各リ
ンクモータ２２２は、それぞれ、図６に示すように、例
えば布製のフレームカバー２ｃの中に収納されている。

【０１１６】また、図６に示すように、フレームカバー
２ｃの内側には、手や指の所定の部位の位置および姿勢
を検出する複数（本実施形態では４つ）の位置姿勢検出
部（位置検出手段）２３が設置されている。各位置姿勢
検出部２３は、それぞれ、位置および姿勢を検出する部
位（検出位置）に対して一定の位置関係を保持し得るよ
うに設けられている。

【０１１７】すなわち、各位置姿勢検出部２３は、それ
ぞれ、この実施形態では、フレームホルダ２ｂが設けら
れている位置に固定されている各リンクモータ２２２に
取付固定されている。従って、各位置姿勢検出部２３が
設けられている部位と、ユーザの手のひら側の所定の部
位との位置関係は、一定に保たれる。よって、位置姿勢
検出部２３が自己の位置や姿勢を検出することによっ
て、ユーザの手の平側の所定の部位の位置や姿勢を容易
かつ正確に導出することができる。

【０１１８】また、各位置姿勢検出部２３は、それぞ
れ、手の甲側に配置されているので、リアルグローブ２
０の指腹側の厚みを極力抑えることができる。

【０１１９】また、図３に示すように、位置姿勢検出部
２３は、ユーザがリアルグローブ２０を装着したとき、
リアルグローブ２０の腕の基端側の部位に相当する位置
にも設置されている。

【０１２０】これら位置姿勢検出部２３により、リアル
グローブ２０を装着した各指、手、手首、腕などの各部
の位置および姿勢を確実に把握することができる。

【０１２１】次に、力覚発生部２２による力覚発生動作
について説明する。ユーザがリアルグローブ２０を装着
し、手や指を動かすことによって仮想空間に現されてい
る物体（仮想物体）、すなわち対象物に、その手や指が
仮想的に接触すると、情報処理装置８は、後述する演算
処理部８１によって、実際に接触があった場合の前記物
体から指（指の各関節）への反力を計算し、その計算結
果に基づいて各リンクモータ２２２のＰＷＭデータ（例
えば、リンクモータ２２２を回転させるための励磁パタ
ーンを示すデータ）に変換する。

【０１２２】前記物体とユーザの手や指との接触の判別
は、前記触覚発生部２１の場合と同様である。

【０１２３】情報処理装置８は、導出した各ＰＷＭデー
タと、駆動させる各リンクモータ２２２を示すデータと
をリアルグローブ２０に送信する。リアルグローブ２０
は、受信したデータに応じて、指定された各リンクモー
タ２２２を所定方向に回転駆動し、対応する各フレーム
２２１を所定方向に回動させ、各フレーム２２１の角度
を調整、すなわち、リンク機構の両端部のフレーム２２
１の角度および各フレーム連結部の角度をそれぞれ調整
する。

【０１２４】このフレーム２２１の角度調整により、所
定のフレームホルダ２ｂにそれぞれ所定の大きさの力が
加わり、これにより、前記仮想空間に現されている物体
からの反力に対応する力がユーザの指の各関節に与えら
れる。すなわち、指の各関節に対して力覚が提示される
（与えられる）。

【０１２５】ここで、この力覚発生部２２は、指の複数
の部位に装着する複数の装着部間の間隔を調節する機能
を有している（調節手段を兼ねている）。

【０１２６】例えば、図５に示すように、所定のフレー
ム２２１を回動させ、フレーム２２１の角度を調整する
ことにより、各フレームホルダ２ｂ間の間隔を長くした
り、または、短くしたりすることができる。

【０１２７】図７は、リアルグローブ２０の位置姿勢検
出部２３の構成例を示すブロック図である。位置姿勢検
出部２３には、本実施形態では、直交コイル式（直交コ
イル型）の位置センサが用いられる。すなわち、位置姿
勢検出部２３は、図７に示すように、Ｘ方向検出コイル
２３１と、Ｙ方向検出コイル２３２と、Ｚ方向検出コイ
ル２３３とで構成される。なお、Ｘ方向と、Ｙ方向と、
Ｚ方向とは、互いに直交している。

【０１２８】一方、情報処理装置８には、磁界を発生す
る後述する磁界発生部８８が設けられている。この磁界
発生部８８には、例えば、前記位置姿勢検出部２３とほ
ぼ同じ構成のもの、すなわち、直交コイル式（直交コイ
ル型）の磁界発生器（Ｘ方向コイル、Ｙ方向コイル、Ｚ
方向コイル）が用いられる。

【０１２９】この磁界発生部で発生した磁界は、位置姿
勢検出部２３で検出される。この場合、磁界発生部のＸ
方向コイル、Ｙ方向コイル、Ｚ方向コイルの順に時分割
で磁界を発生し、それぞれコイルから発生された磁界
を、位置姿勢検出部２３のＸ方向検出コイル２３１、Ｙ
方向検出コイル２３２およびＺ方向検出コイル２３３の
３つのコイルで検出する。

【０１３０】位置姿勢検出部２３によってＸＹＺ各方向
について検出された各信号（検出データ）は、それぞ
れ、信号処理部２５の増幅部２５１にて増幅され、Ａ／
Ｄ変換部２５２にてデジタル信号に変換された後、図２
に示す信号送受信部２６に出力され、この信号送受信部
２６により情報処理装置８に送信される。

【０１３１】情報処理装置８では、前記信号を受信し、
その信号（情報）に基づいて、リアルグローブ２０を装
着した各指、手、手首、腕などの各部の位置および姿勢
を導出し、その情報を所定の各処理において利用する。

【０１３２】仮想空間表示装置５には、この実施形態で
は、顔面に装着して使用する形態のもの、すなわち、Ｈ
ＭＤ（ヘッドマウントディスプレイ）と呼ばれる眼鏡状
の装置が用いられる。

【０１３３】図８は、仮想空間表示装置５の外観構成例
を示す斜視図であり、図９は、仮想空間表示装置５の回
路構成例を示すブロック図である。

【０１３４】仮想空間表示装置５は、装着者（ユーザ）
に対して仮想空間画像を表示する画像表示部５１ａ、５
１ｂと、装着者の視線を検出する視線検出部５２ａ、５
２ｂと、周囲の画像（映像）を取り込む凹凸入力部５３
ａ、５３ｂと、装置全体の制御を行う制御部５４と、情
報処理装置８と信号を送受信する信号送受信部５５と、
ユーザの視点を検出する位置姿勢検出部（位置検出手
段）５６と、耳に引っかけて保持する装着部５７と、各
種信号を処理する信号処理部５８と、三次元加速度セン
サ５９とを備えている。

【０１３５】図１０は、仮想空間表示装置５の凹凸入力
部５３ａの構成例を示す図（ブロック図、模式図）であ
る。この図１０において、凹凸入力部５３ａは、レンズ
５３１と、ＣＣＤ（撮像素子）５３２と、ＣＣＤ制御部
５３３と、ＣＣＤ出力増幅部５３４とを有している。

【０１３６】レンズ５３１に入射した光（光束）は、そ
のレンズ５３１により、ＣＣＤ５３２の受光面（撮像
面）上に導かれて結像し、その被写体像（周囲の像）
は、ＣＣＤ５３２により撮像される。このＣＣＤ５３２
の駆動は、ＣＣＤ制御部５３３により制御される。

【０１３７】ＣＣＤ５３２から出力された信号は、ＣＣ
Ｄ出力増幅部５３４で増幅され、その後、凹凸入力部５
３ａから出力され、図９に示す信号処理部５８に入力さ
れる。そして、信号処理部５８において所定の信号処理
がなされ、信号送受信部５５により情報処理装置８に送
信される。

【０１３８】なお、凹凸入力部５３ｂの構成および作用
は、前記凹凸入力部５３ａと同様であるので、その説明
は、省略する。

【０１３９】図１１は、仮想空間表示装置５の画像表示
部５１ａの構成例を示す図（ブロック図、模式図）であ
る。この図１１において、画像表示部５１ａは、レンズ
５１１と、レンズ５１１を移動させるレンズ移動機構５
１２と、ステッピングモータ５１３と、モータ制御部５
１４と、図示しないカラーフィルタを備えた液晶表示パ
ネル５１５と、液晶駆動部５１６と、バックライト５１
７と、バックライト制御部５１８と、トランジスタ５１
９とを有している。

【０１４０】画像表示部５１ａにおいて仮想空間画像を
表示する際は、バックライト制御部５１８の制御によ
り、トランジスタ５１９がオンし、バックライト５１７
が駆動し、バックライト５１７から液晶表示パネル５１
５へ光が照射される。

【０１４１】そして、液晶駆動部５１６は、制御部５４
から入力される表示信号（画像データ）に基づいて、液
晶表示パネル５１５の駆動を制御し、これにより、液晶
表示パネル５１５に仮想空間画像が表示される。

【０１４２】装着者（ユーザ）は、レンズ５１１および
後述する視線検出部５２ａのハーフミラー５２１を介
し、この液晶表示パネル５１５に表示された仮想空間画
像を視認することができる。

【０１４３】ステッピングモータ５１３の駆動は、モー
タ制御部５１４により制御され、そのステッピングモー
タ５１３が所定方向に回転すると、レンズ移動機構５１
２により、レンズ５１１は、液晶表示パネル５１５に接
近する方向、すなわち、装着者の目から離間する方向へ
移動する。

【０１４４】また、ステッピングモータ５１３が前記と
逆方向に回転すると、レンズ移動機構５１２により、レ
ンズ５１１は、液晶表示パネル５１５から離間する方
向、すなわち、装着者の目に接近する方向へ移動する。

【０１４５】このレンズ５１１の位置の変更により、前
記仮想空間画像の遠近を変更することができる。

【０１４６】このレンズ５１１の位置の調整、すなわ
ち、前記仮想空間画像の遠近の調整は、後述する視線検
出部５２ａ、５２ｂで検出される装着者の視線の情報に
基づいてなされる。

【０１４７】なお、画像表示部５１ｂの構成および作用
は、前記画像表示部５１ａと同様であるので、その説明
は、省略する。

【０１４８】視線検出部５２ａ、５２ｂは、装着者の視
線がどの方向にあるか（仮想空間画像のどこに焦点を合
わせようとしているか）を検出する機能と、セキュリテ
ィ情報として利用するための装着者の眼の虹彩パターン
を読み取る機能とを有している。

【０１４９】図１２は、仮想空間表示装置５の視線検出
部５２ａの構成例を示す図（ブロック図、模式図）であ
る。この図１２において、視線検出部５２ａは、ハーフ
ミラー５２１と、可視光を除去し、赤外光を透過させる
フィルタ５２２と、レンズ５２３と、ＣＣＤ（撮像素
子）５２４と、ＣＣＤ制御部５２５と、ＣＣＤ出力増幅
部５２６と、赤外光を発するＬＥＤ（発光ダイオード）
５２７と、ＬＥＤ制御部５２８と、トランジスタ５２９
とを有している。

【０１５０】ＬＥＤ５２７の駆動は、ＬＥＤ制御部５２
８により制御され、そのＬＥＤ制御部５２８の制御によ
りトランジスタ５２９がオンすると、ＬＥＤ５２７が駆
動し、ＬＥＤ５２７から赤外光が発せられる。

【０１５１】ＬＥＤ５２７から発せられた赤外光は、フ
ィルタ５２２を透過し、ハーフミラー５２１でその一部
が反射して、装着者の目に照射される。

【０１５２】そして、装着者の目からの反射光（光束）
は、ハーフミラー５２１でその一部が反射して、フィル
タ５２２を透過し、レンズ５２３により、ＣＣＤ５２４
の受光面（撮像面）上に導かれて結像し、その被写体像
（装着者の目の像）は、ＣＣＤ５２４により撮像され
る。このＣＣＤ５２４の駆動は、ＣＣＤ制御部５２５に
より制御される。

【０１５３】ＣＣＤ５２４から出力された信号は、ＣＣ
Ｄ出力増幅部５２６で増幅され、その後、視線検出部５
２ａから出力され、図９に示す信号処理部５８に入力さ
れ、所定の信号処理がなされ、信号送受信部５５により
情報処理装置８に送信される。

【０１５４】情報処理装置８では、仮想空間表示装置５
からの信号を受信し、その信号（情報）に基づいて、装
着者の視線がどの方向にあるか（仮想空間画像のどこに
焦点を合わせようとしているか）を検出するとともに、
装着者の眼の虹彩パターンを読み取り、解析し、セキュ
リティ情報として利用する。

【０１５５】一方、レンズ５２３側からフィルタ５２２
へ入射する可視光は、フィルタ５２２で除去され、その
可視光が装着者の目に照射されてしまうのを阻止するこ
とができる。これにより、液晶表示パネル５１５に表示
された仮想空間画像の視認性の低下を防止することがで
きる。

【０１５６】なお、視線検出部５２ｂの構成および作用
は、前記視線検出部５２ａと同様であるので、その説明
は、省略する。

【０１５７】この仮想空間表示装置５は、２台の画像取
込装置（撮像手段）、すなわち、前記凹凸入力部５３
ａ、５３ｂによって周囲の画像を撮像して取り込み、情
報処理装置８に対して撮像した画像データ（映像デー
タ）を送信する。

【０１５８】情報処理装置８は、凹凸入力部５３ａ、５
３ｂにて撮像された画像、すなわち撮像された画像デー
タから視角差を導出し、その視角差等から得られる周囲
の凹凸に基づいて、仮想空間画像、すなわち仮想空間の
画像データを作成する。そして、情報処理装置８は、作
成した仮想空間の画像（映像）と、例えば、仮想壁紙や
仮想パーソナルコンピュータや仮想本などの所定の仮想
物体を周囲の凹凸に合わせて仮想空間に配置するための
画像とを合成した合成画像（合成映像）を示す画像デー
タ（映像データ）を仮想空間表示装置５に送信する。

【０１５９】仮想空間表示装置５は、情報処理装置８か
らの画像データに基づいて、その画像を画像表示部５１
ａ、５１ｂを用いて表示する。

【０１６０】また、仮想空間表示装置５は、装着されて
いるリアルグローブ２０、すなわち、ユーザの手や腕が
画像表示部５１ａ、５１ｂにより表示されている画像の
領域内に入っている場合には、その手や腕に対応する画
像も、画像表示部５１ａ、５１ｂに表示する。

【０１６１】この場合、前述したように、リアルグロー
ブ２０に設けられている複数の位置姿勢検出部２３の検
出データが情報処理装置８に送信されることで、リアル
グローブ２０の位置および姿勢、すなわち、ユーザの各
指、手、手首、腕等は情報処理装置８にて認識される。
すなわち、情報処理装置８は、逐一、リアルグローブ２
０からの前記検出データに基づいて、ユーザの各指、
手、手首、腕等の位置および姿勢を特定し、それらが画
像表示部５１ａ、５１ｂにより表示されている画像の領
域内に入っている場合には、それらを示す仮想空間画像
を作成し、その画像を基礎の画像に合成して、合成画像
（合成画像の画像データ）を得、その画像データを仮想
空間表示装置５に送信する。

【０１６２】従って、ユーザの手や腕が画像表示部５１
ａ、５１ｂにより表示されている画像の領域内に入って
いる場合には、その手や腕に対応する画像が、画像表示
部５１ａ、５１ｂに表示される。

【０１６３】そして、リアルグローブ２０を装着した手
や指の実際の動作に連動し、画像表示部５１ａ、５１ｂ
に表示されている仮想空間画像においてその手や指が動
く。

【０１６４】位置姿勢検出部５６は、仮想空間表示装置
５の位置および姿勢、すなわち、装着者の顔面（頭部）
の位置および姿勢を検出するためのセンサである。この
位置姿勢検出部５６には、本実施形態では、直交コイル
式の位置センサ、すなわち、前記位置姿勢検出部２３と
同様のものが用いられる。

【０１６５】位置姿勢検出部５６からの信号（検出デー
タ）は、信号処理部５８に入力され、所定の信号処理が
なされ、信号送受信部５５により逐一情報処理装置８に
送信される。情報処理装置８は、この検出データに基づ
いて、所定の時間間隔で逐一仮想空間画像を更新する。

【０１６６】従って、例えば仮想空間表示装置５を装着
したユーザが首を動かした場合には、画像表示部５１
ａ、５１ｂに表示される仮想空間画像は、ユーザが向い
ている方向に合致した画像となるように変化する。

【０１６７】三次元加速度センサ５９は、仮想空間表示
装置５の略直交する三方向への加速度を検出するもので
あり、ＨＭＤに内蔵可能なものであって、ある程度の精
度を有するものであれば、圧電型でも、サーボ型でも、
ひずみゲージ型などのいずれでもよい。しかしながら、
本発明では、ＣＭＯＳを用いた半導体加速度センサのよ
うに、より高精度な加速度センサが適する。

【０１６８】この三次元加速度センサ５９で検出された
信号（加速度データ）は、信号処理部５８に出力され、
増幅などの所定の信号処理がなされた後、信号送受信部
５５を介して情報処理装置８に送信される。なお、この
加速度データは、ＨＭＤ５の移動速度を演算する際に用
いられるが、本発明では必須の構成ではないので、その
説明を省略する。

【０１６９】図１３は、図１に示す情報処理装置８の回
路構成例を示すブロック図である。この図１３におい
て、情報処理装置８は、演算処理部（演算手段）８１
と、衝突判定部（衝突判定手段）８２と、画像生成部
（画像生成手段）８３と、制御部（制御手段）８４と、
記憶部（記憶手段）８５と、信号処理部８６と、信号送
受信部（通信手段）８７と、磁界発生部８８とを備えて
いる。

【０１７０】演算処理部８１は、上述のリアルグローブ
２０の指や手が仮想空間内の対象物に接触した場合に
は、その対象物がどのようなものであるかを判断して、
それから指（指の各関節）への反力を演算し、その演算
結果からリアルグローブ２０の各リンクモータ２２２の
ＰＷＭデータに変換し、その変換データを信号処理部８
６および信号送受信部８７を介してリアルグローブ２０
に送信する。

【０１７１】衝突判定部８２は、リアルグローブ２０の
各指が仮想空間内の仮想の対象物と衝突したか否かを判
定するものである。衝突判定部８２によって判定された
判定結果は、制御部８４に出力される。

【０１７２】本発明では、衝突判定部８２は、指と仮想
のＰＣ画面との衝突の他、指とＰＣ画面上に表示される
アイコンの衝突も判定する（指位置判定手段）。この判
定結果も同様に制御部８４に出力される。

【０１７３】画像生成部８３は、制御部８４の指示によ
り、予め基地局９から受信した仮想空間画像、あるいは
仮想空間表示装置５の凹凸入力部５３ａ、５３ｂによっ
て撮像され、その撮像画像から変換された仮想空間画像
に、ユーザの腕や指などの映像を重ね合わせて、合成さ
れた仮想空間画像を生成し、それを信号処理部８６に出
力する。また、画像生成部８３は、仮想空間中に表示さ
れるリアルグローブ２０または仮想空間表示装置５の移
動にともない、所定の時間間隔で仮想空間画像を更新し
て生成し、それを信号処理部８６に出力する。

【０１７４】制御部８４は、衝突判定部８２の判定結果
に基づいて、演算処理部８１に上述の反力を演算させ
る。また、制御部８４は、上述の演算処理部８１、衝突
判定部８２、および画像生成部８３の動作を制御し、そ
の演算結果、衝突判定結果、および生成画像データなど
を記憶部８５の所定の格納領域に保存するとともに、信
号処理部８６および信号送受信部８７を介して、対応す
る装置にそれらを送信する。

【０１７５】また、制御部８４は、本発明では、衝突判
定部８２によって指と上記アイコンとが一致した（すな
わち、指がアイコンにタッチした、あるいは、指でアイ
コンを掴んだ）と判定される場合には、そのアイコンに
関連付けられるアプリケーションソフトウェアを起動し
（アプリケーション起動手段）、仮想空間表示装置５を
してＰＣ画面よりも手前にそれを表示させる。

【０１７６】記憶部８５は、プログラムやデータ等が予
め記憶されている、図示しないコンピュータに読み取り
可能な記憶媒体（記録媒体ともいう。特許請求の範囲に
おいては記録媒体とする）を有しており、この記憶媒体
は、例えば、ＲＡＭ（RandomAccess Memory：揮発性、
不揮発性のいずれをも含む）、ＦＤ（Floppy Disk（Flo
ppyは登録商標））、ＨＤ（Hard Disk）、ＣＤ−ＲＯＭ
（Compact Disc Read-Only Memory）等のような、磁気
的、光学的記録媒体、もしくは半導体メモリで構成され
ている。この記憶媒体は、記憶部８５に固定的に設けた
もの、もしくは着脱自在に装着するものであり、この記
憶媒体には、上記仮想空間表示装置５、情報処理装置
８、および触覚・力覚提示装置２に対応する各種アプリ
ケーションプログラム、アプリケーション起動処理プロ
グラム、アプリケーション終了処理プログラム、および
各処理プログラムで処理されたデータ、文書データ等が
記憶される。

【０１７７】また、この記憶媒体に記憶するプログラ
ム、データ等は、その一部もしくは全部をサーバやクラ
イアント（本実施の形態では、基地局９など）等の他の
機器からネットワーク回線（例えば、インターネット、
電話回線など）等の伝送媒体を介して信号送受信部８７
から受信して記憶する構成にしてもよく、さらに、記憶
媒体はネットワーク上に構築された基地局９のサーバの
記憶媒体であってもよい。さらに、前記プログラムをネ
ットワーク回線等の伝送媒体を介してサーバやクライア
ントから伝送して情報処理装置８にインストールするよ
うに構成してもよい。また、上記プログラムは、前述し
た機能の一部を実現するためのものであって良く、さら
に前述した機能をコンピュータシステムにすでに記録さ
れているプログラムとの組み合わせで実現できるもので
あってもよい。

【０１７８】信号処理部８６は、仮想空間表示装置５や
触覚・力覚提示装置２に送信する画像データや制御信号
などの増幅等の信号処理を行う。信号送受信部８７は、
信号処理部８６において処理された各種信号やデータを
仮想空間表示装置５や触覚・力覚提示装置２などの外部
機器との通信を行うための制御を行う。

【０１７９】磁界発生部８８は、詳細は図示されていな
いが、例えば、図７の位置姿勢検出部２３に対応する直
交コイル式（直交コイル型）の磁界発生器（Ｘ方向コイ
ル、Ｙ方向コイル、Ｚ方向コイル）である。この磁界発
生部８８は、制御部８４からの指示により、Ｘ、Ｙ、Ｚ
方向コイルの順で磁界を発生し、リアルグローブ２０の
位置姿勢検出部２３の各方向の検出コイル２３１、２３
２および２３３に発生した磁界を検出させるとともに、
仮想空間表示装置５の位置姿勢検出部５６にも磁界を検
出させる。

【０１８０】なお、この磁界発生部８８は、図示のよう
に情報処理装置８に格納されてもよいが、磁界発生装置
として情報処理装置８とは別構成としてもよい。特に、
情報処理装置８として携帯電話機やＰＤＡを用いるとき
は、その内部に磁界発生部を後から設けることができな
いので、別構成とすることが有用である。このように別
に磁界発生装置（又は磁界発生部）を設けたとしても、
その制御は、情報処理装置８からの制御信号によってな
される。

【０１８１】次に、第１の実施の形態の画像処理装置１
の動作（作用）について説明する。ここでは、ユーザ
が、画像処理装置１を利用して、仮想空間に現れている
仮想パーソナルコンピュータの操作を行う場合を例に説
明する。

【０１８２】ユーザは、各部の電源を入れ、リアルグロ
ーブ２０を両手にそれぞれ装着し、眼鏡状の仮想空間表
示装置５をかける（顔面に装着する）。すると、仮想空
間表示装置５の画像表示部５１ａ、５１ｂに、仮想パー
ソナルコンピュータを含む仮想空間画像が表示される。

【０１８３】また、ユーザの腕が画像表示部５１ａ、５
１ｂで表示されている仮想空間画像内に入るようにすれ
ば、情報処理装置８の画像生成部８３にて作成されたそ
の手や腕の画像が仮想空間画像に仮想物体として表示さ
れる。そして、ユーザが手や指を動かした場合には、そ
の実際の手や指の動きに連動して、仮想空間画像におい
て、表示されている手や指が動く。

【０１８４】情報処理装置８は、衝突判定部８２によっ
て、仮想空間画像における対象物、すなわち本実施形態
では、例えば、仮想パーソナルコンピュータの一部（例
えばキーボード）と、ユーザの指の一部が同一座標とな
ったことを検出すると、演算処理部８１の演算結果に基
づいて、リアルグローブ２０に対して、触覚および力覚
を発生させるための指示を行う。具体的には、情報処理
装置８は、リアルグローブ２０に対して、演算処理部８
１が演算した反力の演算結果から得た、駆動させる動力
発生部２１１およびその駆動に用いるＰＷＭデータや、
駆動させるリンクモータ２２２およびその駆動に用いる
ＰＷＭデータなどを、信号送受信部８７を介して送信す
る。

【０１８５】リアルグローブ２０は、情報処理装置８か
らの指示に従って、指定された各動作発生部２１１を、
それぞれ、指定されたトルクで指定された時間だけＰＷ
Ｍ制御により駆動する。これにより、仮想パーソナルコ
ンピュータの一部と同一座標となった部分に配置されて
いる各触覚提示ピン２１４の接触板２１４ａが突出し、
仮想パーソナルコンピュータの一部と同一座標となった
ユーザの各指先に対して触覚が与えられる。すなわち、
各指先に、接触感覚、質感、形状、強さ等の感覚が与え
られる。

【０１８６】同時に、リアルグローブ２０は、情報処理
装置８からの指示に従って、指定された各リンクモータ
２２２を、それぞれ、指定されたトルクで指定された時
間だけＰＷＭ制御により駆動する。これにより、実在す
るパーソナルコンピュータの例えばキーボードに触れて
いるときに各指の各関節に与えられる力覚、すなわち、
前記各指の各関節に与えられる押圧力（反力）に相当す
る力がユーザの各指の各関節に対して与えられる。

【０１８７】また、ユーザが、さらに仮想パーソナルコ
ンピュータのキーを押し込む方向に指を動かすと、指の
座標変化に合わせて、画像表示部５１ａ、５１ｂに、キ
ーを押し込む様子を示す仮想空間画像が表示される。

【０１８８】この場合、情報処理装置８は、押下された
キーに基づく表示状態の変化を仮想空間画像で再現する
ための仮想空間画像の画像データを画像生成部８３にお
いて生成し、それを仮想空間表示装置５に送信する処理
を行い、仮想空間表示装置５は、前記情報処理装置８か
ら受信した仮想空間画像の画像データに基づいて、仮想
パーソナルコンピュータのディスプレイにキーの押下が
反映された表示がなされる画像を表示する。

【０１８９】以上説明したように、この触覚・力覚提示
装置２および画像処理装置１によれば、リアルグローブ
２０の装着および取り外しを容易かつ確実に行うことが
でき、また、仮想空間における動作（操作）を容易かつ
確実に行うことができる。

【０１９０】また、仮想空間画像に応じて、各指に対し
て触覚および力覚をそれぞれ正確かつ確実に提示するこ
とができる。

【０１９１】これにより、ユーザは、仮想空間における
動作（操作）を、快適に、容易かつ確実に、行うことが
できる。

【０１９２】特に、触覚発生部２１において、アクチュ
エータワイヤ２１２の弛みを防止することができ、各触
覚提示ピン２１４からそれぞれユーザの各指腹に、より
正確かつ確実に目標の大ききの押圧力を与えることがで
きる。

【０１９３】これにより、ユーザは、仮想空間画像にお
ける各指腹の物体（対象物）への接触に相当する感覚
を、より正確かつ確実に各指腹で感じることができる。

【０１９４】また、触覚発生部２１では、各指腹に対し
てほぼ平行に（指腹に沿って）アクチュエータワイヤ２
１２が配置され、そのアクチュエータワイヤ２１２を巻
き取ることによって各指腹に対してほぼ垂直な力を与え
るようになっているので、触覚を与えるための機構を薄
くすることができ、これにより、リアルグローブ２０の
指腹側の厚みを極力抑えることができる。

【０１９５】また、力覚発生部２２はリンク機構を有し
ているので、指を伸ばしている状態、指を曲げている状
態のいずれにおいても対応することができ、これによ
り、より確実に、各指に対して力覚を与えることができ
る。

【０１９６】本発明の画像処理装置および画像処理方法
によれば、読み終えた仮想の本が仮想の壁あるいは本棚
に、ユーザに背表紙を向けるように正対して表示される
ので、ユーザは、ＨＭＤでその仮想の本が見やすく、次
に読む際に視覚的に検索しやすいとともに、その本のあ
る位置がユーザにとって直感的で、記憶にとどめやすい
という効果を有する。

【０１９７】なお、上述した実施形態では、使用例とし
て仮想空間画像にて表示されているパーソナルコンピュ
ータを仮想的に操作する場合について説明したが、本発
明では、これに限らず、例えば、仮想本などの他の物品
を取扱うために使用することもできる。仮想本を取扱う
場合には、例えば、仮想本の縁をさわったりページをめ
くったりするときに、実際の本の縁をさわったりページ
をめくったりするときに指に加わる触感や力感を感じる
ことができる。

【０１９８】また、本発明では、仮想空間画像が表示さ
れなくてもよい。すなわち、仮想空間画像に対応した所
定のデータがあり、そのデータに基づいて、指に対して
触覚や力覚を提示するよう構成されていてもよい。

【０１９９】次に、本発明の触覚・力覚提示装置および
画像処理装置の第２実施形態について説明する。図１４
は、第２実施形態の触覚・力覚提示装置の触覚発生部の
構成例を示す縦断面図である。

【０２００】以下、第２実施形態の触覚・力覚提示装置
２および画像処理装置１について、前述した第１実施形
態との相違点を中心に説明し、同様の事項については、
その説明を省略する。

【０２０１】図１４（Ａ）に示すように、第２実施形態
の触覚・力覚提示装置２では、その触覚発生部２１の各
単位触覚発生部（アクチュエータ）２１０は、それぞ
れ、モータ（駆動源）２１１ａを備える動力発生部（移
動手段）２１１と、長手方向に移動可能に設置されたア
クチュエータワイヤ（可撓性を有する線状体）２１２
と、触覚を発生させるために指腹を押圧する触覚提示部
２１６とを有している。

【０２０２】触覚提示部２１６は、ユーザの指腹に接触
感覚（接触の有無や強さ等）を与えるために用いられ、
例えば、板バネのような弾性を有する部材（弾性体）で
形成される。この場合、触覚提示部２１６は、適度な剛
性を有するのが好ましく、例えば、各種金属で構成され
た弾性体で形成することができる。

【０２０３】この触覚提示部２１６は、第１の板片（押
圧部）２１６ａと、第２の板片（スライド部）２１６ｂ
とで構成されている。第１の板片２１６ａと第２の板片
２１６ｂとは、一端側において接合されており、第１の
板片２１６ａの他端側には、指腹に接触する部分である
微小な接触部２１６ｃが設けられている。この接触部２
１６ｃは、例えば、第１の板片２１６ａの端部を第２の
板片２１６ｂ側に向けて屈曲させることによって形成す
ることができる。

【０２０４】また、触覚提示部２１６の前記一端側、す
なわち、図１４（Ａ）中左側の端部は、図１４（Ａ）中
下側に凸となるように湾曲している。

【０２０５】第１の板片２１６ａと、第２の板片２１６
ｂとの間には、第１の板片２１６ａの移動方向を規制す
る円柱状のガイド部（移動方向規制手段）２１７が設置
されている。

【０２０６】また、触覚提示部２１６の図１４（Ａ）中
下側には、押え板２１８が設置されており、触覚提示部
２１６は、この押え板２１８に沿って移動（スライド）
し得るようになっている。この場合、触覚提示部２１６
は、その図１４（Ａ）中左側の端部が湾曲しているの
で、円滑かつ確実に移動することができる。

【０２０７】前記ガイド部２１７は、押え板２１８に固
定され、押え板２１８は、手袋２ａに固定されている。
すなわち、ガイド部２１７および押え板２１８は、共
に、手袋２ａに対して固定的に設置されている。

【０２０８】また、触覚提示部２１６の第２の板片２１
６ｂの図１４（Ａ）中右側の端部には、アクチュエータ
ワイヤ２１２の一端が固定されている。

【０２０９】動力発生部２１１のモータ２１１ａの駆動
によりアクチュエータワイヤ２１２が巻き取られると、
そのアクチュエータワイヤ２１２は、指腹に沿って図１
４（Ａ）中右側（指の基端方向）に移動し、これととも
にアクチュエータワイヤ２１２に取付固定されている触
覚提示部２１６も指腹に沿って図１４（Ａ）中右側に移
動する。

【０２１０】この際、図１４（Ｂ）に示すように、触覚
提示部２１６の第１の板片２１６ａは、ガイド部２１７
によって図１４（Ｂ）中右側への移動が制限されるとと
もに、ガイド部２１７にガイドされて、図１４（Ｂ）中
上側へ移動する（指腹に向って突出する）。すなわち、
触覚提示部２１６が弾性変形し、その第１の板片２１６
ａの姿勢が図１４（Ｂ）に示す姿勢に変更されること
で、接触部２１６ｃは、指腹の表面に対しほぼ垂直上方
に移動する（押し上げられる）。

【０２１１】一方、アクチュエータワイヤ２１２は、触
覚提示部２１６の復元力（弾性力）により、図１４
（Ｂ）中左側（第１の板片２１６ａを突出させるときの
アクチュエータワイヤ２１２の移動方向と逆方向）に付
勢される。すなわち、この触覚提示部２１６（第１の板
片２１６ａ）は、付勢手段を兼ねる。

【０２１２】前記接触部２１６ｃがほぼ垂直上方に移動
しようとする力が働くことで、その接触部２１６ｃが指
腹をほぼ垂直方向へ押圧し、これにより、ユーザの手の
指腹に押圧力を与える。

【０２１３】この動作が、複数の単位触覚発生部２１０
のうちの指定された単位触覚発生部２１０でなされ、こ
れにより、ユーザの手の指腹に触覚が提示される（与え
られる）。よって、ユーザは、仮想空間画像における指
腹の物体（対象物）への接触に相当する感覚を、指腹に
得ることができる。

【０２１４】前記指定された単位触覚発生部２１０にお
いて、動力発生部２１１のモータ２１１ａの駆動が停止
し、アクチュエータワイヤ２１２の巻き取り状態が解除
されると、触覚提示部２１６の復元力（弾性力）と、ユ
ーザの指からの圧力によって、触覚提示部２１６は、図
１４（Ａ）に示す初期状態に戻る。これにより、触覚提
示部２１６からユーザの手の指腹に与えられていた押圧
力が実質的に消滅する。

【０２１５】この触覚・力覚提示装置２および画像処理
装置１によれば、前述した第１実施形態と同様の効果が
得られる。

【０２１６】次に、本発明の触覚・力覚提示装置および
画像処理装置の第３実施形態について説明する。

【０２１７】図１５は、第３実施形態の触覚・力覚提示
装置のリアルグローブの外観構成例を示す外観図（一部
図示を省略）である。なお、図１５中では、図３に示す
触覚発生部２１、動力発生部２１１、力覚発生部２２、
位置姿勢検出部２３、制御部２４および電力供給部３０
等は、図示されていない。

【０２１８】以下、第３実施形態の触覚・力覚提示装置
２および画像処理装置１について、前述した第１実施形
態との相違点を中心に説明し、同様の事項については、
その説明を省略する。

【０２１９】図１５に示すように、第３実施形態の触覚
・力覚提示装置２では、リアルグローブ２０の手袋２ａ
の筒状部２０ａの肘側（基端側）の端部に、空気（エア
ー）の注入による空気圧（圧力）により腕に固定する形
態（エアー注入方式）の腕固定部２ｄが設けられてい
る。

【０２２０】この腕固定部２ｄは、空気が注入される袋
状の腕固定部本体２１ｄと、その腕固定部本体２１ｄに
設けられたエアー注入部２２ｄとで構成されている。腕
固定部本体２１ｄの外観形状は、筒状をなしている。

【０２２１】エアー注入部２２ｄの中空部は、腕固定部
本体２１ｄの内部に連通しており、エアー注入部２２ｄ
の先端部には、蓋体２３ｄが設けられている。

【０２２２】蓋体２３ｄをエアー注入部２２ｄの先端部
に装着すると、腕固定部本体２１ｄ内の気密性が保持さ
れ、蓋体２３ｄを取り外すと、腕固定部本体２１ｄに対
し、エアー注入部２２ｄを介して、空気の注入および排
出を行うことができる。

【０２２３】このような腕固定部２ｄは、各ユーザに応
じて、例えば、ゴム型等の型を用いて、ユーザの腕の形
状に合うように成形される。

【０２２４】ユーザは、リアルグローブ２０を装着する
際は、まず、その手袋２ａを装着し、次に、腕固定部２
ｄの腕固定部本体２１ｄ内に、空気を注入する。

【０２２５】この空気注入では、例えば、エアー注入部
２２ｄの先端部から蓋体２３ｄを取り外し、そのエアー
注入部２２ｄから腕固定部本体２１ｄ内に空気を吹き込
む。そして、所定量の空気を注入し終えると、エアー注
入部２２ｄの先端部に蓋体２３ｄを装着する。

【０２２６】このようにして、リアルグローブ２０は、
腕固定部２ｄの空気圧によりユーザの腕に固定されると
ともに、手首固定部２８の復元力（弾性力）によりユー
ザの手首に固定される。

【０２２７】また、ユーザは、リアルグローブ２０を取
り外す際は、まず、腕固定部２ｄの腕固定部本体２１ｄ
内から空気を排出し、次に、リアルグローブ２０を手か
ら取り外す。

【０２２８】この触覚・力覚提示装置２および画像処理
装置１によれば、前述した第１実施形態と同様の効果が
得られる。

【０２２９】そして、この触覚・力覚提示装置２では、
腕固定部２ｄがエアー注入方式のものであるので、リア
ルグローブ２０の装着および取り外しを容易かつ迅速に
行うことができる。

【０２３０】なお、本発明では、触覚発生部２１の単位
触覚発生部２１０を、前述した第２実施形態のように構
成してもよい。

【０２３１】次に、本発明の触覚・力覚提示装置および
画像処理装置の第４実施形態について説明する。

【０２３２】図１６は、第４実施形態の触覚・力覚提示
装置の位置姿勢検出部の構成例を示すブロック図、図１
７は、第４実施形態の触覚・力覚提示装置の位置姿勢検
出部の構成例を示す外観図（一部図示を省略）、図１８
は、図１７に示す位置姿勢検出部のＺ方向検出センサの
構成例を示す外観図である。なお、図１７および図１８
中において、それぞれ、互いに直交するＸ軸、Ｙ軸およ
びＺ軸を想定する。

【０２３３】以下、第４実施形態の触覚・力覚提示装置
２および画像処理装置１について、前述した第１実施形
態との相違点を中心に説明し、同様の事項については、
その説明を省略する。

【０２３４】第４実施形態の触覚・力覚提示装置２で
は、位置姿勢検出部（位置検出手段）２３として、例え
ば、コリオリ力を利用して互いに直交するＸ軸、Ｙ軸お
よびＺ軸の回りの角速度をそれぞれ検出するジャイロセ
ンサ（ジャイロスコープ）を用いる。

【０２３５】そして、この触覚・力覚提示装置２では、
凹凸入力部（撮像手段）５３ａ、５３ｂにより周囲を撮
像し、その撮像された周囲の画像に指に対応する部分が
含まれている場合には、凹凸入力部５３ａ、５３ｂから
の画像データ（映像データ）に基づいて指の位置を求
め、前記撮像された周囲の画像に指に対応する部分が含
まれていない場合には、前記各位置姿勢検出部２３によ
り指の位置を検出し、各位置姿勢検出部２３からの情報
に基づいて指の位置を求める。

【０２３６】図１７に示すように、位置姿勢検出部２３
は、ケーシング６０と、ケーシング６０内に設けられ、
Ｘ軸の回りの角速度を検出するＸ方向検出センサ（第１
の検出センサ）６１、Ｙ軸の回りの角速度を検出するＹ
方向検出センサ（第２の検出センサ）６２およびＺ軸の
回りの角速度を検出するＺ方向検出センサ（第３の検出
センサ）６３とを有している。

【０２３７】図１８に示すように、Ｚ方向検出センサ６
３は、エリンバー（基台）６４と、エリンバー６４に設
置された振動用の圧電素子（振動用圧電素子）６５およ
び検出用の圧電素子（検出用圧電素子）６６とで構成さ
れている。このＺ方向検出センサ６３は、２本のワイヤ
６７、６８により支持されている。

【０２３８】エリンバー６４の形状は、Ｚ軸方向に長い
略直方体をなしており、その略直交する２つの面の一方
に前記振動用圧電素子６５が設置され、他方に検出用圧
電素子６６が設置されている。この場合、Ｙ軸に対して
垂直な面に、振動用圧電素子６５が配置され、Ｘ軸に対
して垂直な面に、検出用圧電素子６６が配置されている
が、その配置を逆にしてもよい。

【０２３９】このＺ方向検出センサ６３の振動用圧電素
子６５に図１６に示す交流電源６９から交流電圧が印加
されると、その振動用圧電素子６５は、Ｘ軸方向に振動
（屈曲振動）し、これによりエリンバー６４もＸ軸方向
に振動する。このとき、Ｚ軸の回りに回転（角速度）が
生じると、その角速度に対応したレベルの電圧（信号）
が検出用圧電素子６６から検出される。

【０２４０】なお、Ｘ方向検出センサ６１およびＹ方向
検出センサ６２の構成は、前記Ｚ方向検出センサ６３と
同様であるので、その説明は省略する。それらの作用
は、Ｘ軸の回りに回転（角速度）が生じると、その角速
度に対応したレベルの電圧（信号）がＸ方向検出センサ
６１の検出用圧電素子６６から検出され、Ｙ軸の回りに
回転（角速度）が生じると、その角速度に対応したレベ
ルの電圧（信号）がＹ方向検出センサ６２の検出用圧電
素子６６から検出される。

【０２４１】図１６に示すように、位置姿勢検出部２３
のＸ方向検出センサ６１によって検出されたＸ軸の回り
の角速度に対応した信号（検出データ）と、Ｙ方向検出
センサ６２によって検出されたＹ軸の回りの角速度に対
応した信号（検出データ）と、Ｚ方向検出センサ６３に
よって検出されたＺ軸の回りの角速度に対応した信号
（検出データ）とは、それぞれ、信号処理部２５の増幅
部２５１にて増幅され、Ａ／Ｄ変換部２５２にてデジタ
ル信号に変換された後、図２に示す信号送受信部２６に
出力され、この信号送受信部２６により情報処理装置８
に送信される。

【０２４２】情報処理装置８では、前記信号を受信し、
その信号（情報）に基づいて、リアルグローブ２０を装
着した各指、手、手首、腕などの各部の位置および姿
勢、すなわち、前記各部の座標を導出し、その情報を所
定の各処理において利用するために記憶部８５の所定の
格納領域に保存する。

【０２４３】次に、第４の実施の形態における画像処理
装置１の動作（作用）について説明する。ここで、リア
ルグローブ２０を装着した各指、手、手首、腕などの各
部の位置および姿勢を求める方法以外は、前述した第１
実施形態と同様であるので、その説明は、省略する。

【０２４４】使用に先立って、ユーザは、まず、凹凸入
力部５３ａ、５３ｂにより撮像される周囲の画像にリア
ルグローブ２０の指等の検出する部位に対応する部分が
含まれるようにする。これにより、画像処理装置１にお
いて初期設定がなされる。

【０２４５】この初期設定では、仮想空間表示装置５
は、２台の画像取込装置（撮像手段）、すなわち、凹凸
入力部（撮像手段）５３ａ、５３ｂによって周囲の画像
を撮像して取り込み、情報処理装置８に対して撮像した
画像データ（映像データ）を送信する。

【０２４６】この場合、凹凸入力部５３ａ、５３ｂにて
撮像された画像にはリアルグローブ２０の指等の検出す
る部位に対応する部分が含まれているので、情報処理装
置８は、凹凸入力部５３ａ、５３ｂにて撮像された画
像、すなわち撮像された画像データに基づいて前記指等
の位置および姿勢（座標）を求める。この求められた位
置および姿勢は、それぞれ、基準位置および基準姿勢、
すなわち基準状態とされ、その基準位置および基準姿勢
の情報は、情報処理装置８の記憶部８５の所定の領域に
保存される。

【０２４７】前記初期設定が終了すると、使用可能状態
となり、仮想空間表示装置５は、凹凸入力部（撮像手
段）５３ａ、５３ｂによって周囲の画像を撮像して取り
込み、情報処理装置８に対して撮像した画像データを送
信する。

【０２４８】情報処理装置８の制御部８４（判別手段）
は、凹凸入力部５３ａ、５３ｂにて撮像された画像、す
なわち撮像された画像データに基づいて、凹凸入力部５
３ａ、５３ｂにて撮像された画像にリアルグローブ２０
の指等の検出する部位に対応する部分が含まれているか
否かを判別する。

【０２４９】そして、前記撮像された画像に前記指等の
検出する部位に対応する部分が含まれている場合には、
情報処理装置８は、前記撮像された画像データに基づい
て前記指等の位置および姿勢（座標）を求める。この求
められた位置および姿勢は、それぞれ、基準位置および
基準姿勢とされる。すなわち、記憶部８５に記憶されて
いる基準位置および基準姿勢の情報は、前記新たな基準
位置および基準姿勢の情報に書き換えられる。

【０２５０】逆に、前記撮像された画像に前記指等の検
出する部位に対応する部分が含まれていない場合には、
情報処理装置８は、前記各位置姿勢検出部２３からの信
号（情報）に基づいて、前記指等の位置および姿勢（座
標）を求める。この場合、各位置姿勢検出部２３からの
情報からは、前記基準位置および基準姿勢に対する相対
的な位置および姿勢が求まり、その相対的な位置および
姿勢の情報と、前記基準位置および基準姿勢の情報とに
基づいて、前記指等の位置および姿勢が求められる。

【０２５１】この触覚・力覚提示装置２および画像処理
装置１によれば、前述した第１実施形態と同様の効果が
得られる。

【０２５２】そして、この触覚・力覚提示装置２では、
手および各指の所定の部位の位置および姿勢を正確かつ
確実に求めることができるとともに、位置姿勢検出部２
３としてジャイロセンサを用いることにより、コストを
低減することができる。

【０２５３】なお、本実施形態では、位置姿勢検出部
（位置検出手段）２３は、ジャイロセンサで構成されて
いるが、本発明では、これに限定されない。

【０２５４】また、本発明では、触覚発生部２１の単位
触覚発生部２１０を、前述した第２実施形態のように構
成してもよい。

【０２５５】また、本発明では、腕固定部２ｄを、前述
した第３実施形態のように、空気（エアー）の注入によ
る空気圧（圧力）により腕に固定する形態（エアー注入
方式）のものにしてもよい。

【０２５６】なお、詳細には説明しないが、上述の構成
を仮想空間表示装置５の位置姿勢検出部５６に適用する
こともできる。この場合にも、前述した第１実施形態と
同様の効果が得られる。

【０２５７】次に、図１９〜図２１のフローチャートを
参照して、上記実施の形態の各構成、とりわけ第１の実
施の形態の構成に基づいて、本発明の画像処理装置の動
作を説明する。ここで、これらのフローチャートに記述
されている各機能を実現するためのプログラムは、コン
ピュータに読み取り可能なプログラムコードの形態で記
憶部８５の記録媒体に格納されており、制御部８４はこ
のプログラムコードにしたがった動作を逐次実行する。
また、制御部８４は、上述のように、伝送媒体を介して
伝送されてきた上述のプログラムコードにしたがった動
作を逐次実行することもできる。すなわち、記録媒体の
他、伝送媒体を介して外部供給されたプログラム／デー
タを利用してこの実施の形態に特有の動作を実行するこ
ともできる。

【０２５８】図１９および図２０は、本発明の画像処理
装置におけるアプリケーション起動処理を示すフローチ
ャートであり、図２１は、本発明の画像処理装置におけ
るアプリケーション終了処理を示すフローチャートであ
る。なお、これらのフローチャートは、第１の実施形態
における各構成要素に基づいて説明される。

【０２５９】まず、図１９および図２０を用いてアプリ
ケーション起動処理を説明する。本発明の画像処理装置
１は、電源が投入されて、仮想空間中に仮想のＰＣを表
示し、ユーザがこのＰＣを使用しているとき、このアプ
リケーション起動処理を実行している。なお、実際の画
像処理装置１では、キーボードの操作などをする処理も
同時に実行されているが、説明の明確さのために、ＰＣ
画面（液晶画面でもＣＲＴ（Cathode-Ray Tube）でもよ
い）上に表示されているアイコン（特許請求の範囲で
は、仮想の表示物）からアプリケーションを起動するこ
と（機能発現手段に対応する）に特化したフローチャー
トを用いて説明する。

【０２６０】リアルグローブ２０は、位置姿勢検出部
（指位置検出手段）２３によってユーザの指（および
手）の位置を検出し（ステップＳ１０１）、信号処理部
２５で所定の信号処理を行った後、信号送受信部（通信
手段）２６を介して検出された位置信号を情報処理装置
８に送信する（ステップＳ１０２）。

【０２６１】情報処理装置８が信号送受信部（通信手
段）８７を介してこの検出信号を受信すると、制御部８
４は、検出された指の位置が、画像生成部（画像生成手
段）８３において生成され、仮想空間表示装置（表示手
段）５に既に送信した現在の仮想空間画像における指の
位置（ここでは、記憶部８５に保存されている）から移
動しているか否かを判断する（ステップＳ１０３）。指
の移動を検知しない場合には、制御部８４は何らの指示
も出すことなく、画像処理装置１は、ステップＳ１０１
に戻り、同様の処理を繰り返す。

【０２６２】ステップＳ１０３において、指の移動を検
知した場合には、制御部８４は、画像生成部８３にその
指の位置データに基づいて仮想空間画像を更新して生成
させ（ステップＳ１０４）、移動した指の位置データと
更新された仮想空間画像とを記憶部（記憶手段）８５の
所定の格納領域に保存するとともに、信号処理部８６お
よび信号送受信部８７を介して更新された画像データを
仮想空間表示装置（ＨＭＤ）５に送信する。この画像デ
ータを受信したＨＭＤ５は、制御部５４の指示により、
その画像データを画像表示部５１ａおよび５１ｂに表示
する（ステップＳ１０５）。ここまでの一連の処理は、
本発明の画像処理装置１の電源が投入されている間、常
時行われている。

【０２６３】それと同時に、情報処理装置８では、衝突
判定部（判定手段）８２は、制御部８４の指示により、
仮想のＰＣ画面（特許請求の範囲では、仮想空間中に形
成される平面）とユーザの指の座標が一致したか否か、
すなわち、仮想のＰＣ画面とユーザの指が衝突したか否
かを判断する（ステップＳ１０６）。そして、座標が一
致していない場合には、画像処理装置１は、ステップＳ
１０１に戻り、同様の処理を繰り返す。

【０２６４】逆に両者の座標が一致した場合には、演算
処理部８１は、対象物（ここでは、ＰＣ画面）に基づい
て、ＰＣ画面から指への反力を演算し、信号処理部８６
および信号送受信部８７を介してこの演算データをリア
ルグローブ２０に送信する。ここで、演算された反力デ
ータは、制御部８４の指示により、記憶部８５の所定の
格納領域に保存される。反力の演算データを受信したリ
アルグローブ２０では、制御部（制御手段）２４は、そ
の演算データに基づいて、触覚発生部２１および力覚発
生部２２（触覚・力覚提示手段）を駆動して触覚および
力覚を発生させる（ステップＳ１０７）。

【０２６５】ステップＳ１０８において、仮想のＰＣ画
面と指の座標が一致し、ユーザの指が触覚および力覚を
感じている状態において、衝突判定部８２は、ＰＣ画面
上に表示されているアイコンと指の座標が一致したか否
かを判断する。なお、フローチャートでは示されない
が、指の位置は常に検出され、指が移動した場合には、
画像生成部８３は、仮想空間画像を更新して生成してい
る。ここで、「アイコンと指の座標が一致」とは、親指
を含む複数本の指で所定のアイコンを掴んでいる状態を
いう。

【０２６６】アイコンと指の座標が一致していないと判
断された場合には、衝突判定部８２は、今度は、ＰＣ画
面と指との座標がずれたか否かを判断する（ステップＳ
１０９）。実際には、仮想のＰＣ画面は平面であるの
で、指の座標がＰＣ画面の平面座標よりも手前にずれた
か、すなわち、指がＰＣ画面と衝突しなくなったか否か
を判断する。そして、制御部８４は、ＰＣ画面と指の座
標がずれたときは、リアルグローブ２０に対して、指に
発生させていた触覚および力覚を解除するための制御信
号を信号送受信部８７に送信させ、リアルグローブ２０
の制御部２４は、その制御信号に基づいて、触覚発生部
２１および力覚発生部２２から発生している触覚・力覚
を解除させ（ステップＳ１１０）、一旦このアプリケー
ション起動処理を終了する。逆に、ＰＣ画面と指の座標
がずれていないときは、ステップＳ１０８に移行して同
様の判断をする。

【０２６７】アイコンと指が一致したと判断された場合
には、演算処理部８１は、アイコンから指への反力を演
算し、信号処理部８６および信号送受信部８７を介して
この演算データをリアルグローブ２０に送信する。ここ
で、演算された反力データは、制御部８４の指示によ
り、記憶部８５の所定の格納領域に保存される。反力の
演算データを受信したリアルグローブ２０では、制御部
２４は、その演算データに基づいて、触覚発生部２１お
よび力覚発生部２２を駆動して触覚および力覚を発生さ
せる（ステップＳ１１１）。

【０２６８】ステップＳ１１２において、制御部８４
は、アイコンを掴んだまま、指がＰＣ画面から手前に移
動されたか否かを判断する（特許請求の範囲では、同時
に移動した場合を判定する判定手段に対応する）。すな
わち、指がＰＣ画面の平面座標からずれてＰＣ画面の外
側の手前に移動したか否かが判断される。指がＰＣ画面
から手前に移動していない場合には、まだＰＣ画面に指
が衝突している状態であるが、制御部８４は、アイコン
と指の座標がずれたか否かを判断し（ステップＳ１１
３）、ずれていない場合には、ステップＳ１１２に戻
り、同様の判断を繰り返す。逆に指とアイコンの座標が
ずれた場合には、今まで掴んでいたアイコンが離された
ことを意味するが、未だに指はＰＣ画面に衝突している
ので、ステップＳ１０８に移行して、再度別のあるいは
同じアイコンと指との座標が一致するか否かが判断され
る。

【０２６９】ステップＳ１１２において指が手前に移動
した場合には、制御部８４は、続けてアイコンと指の座
標がずれたか否かを判断する（ステップＳ１１４）。ず
れていないときは、ＰＣ画面内にそのアイコンを戻す場
合も考えられるために、ＰＣ画面と指の座標が再度一致
したか否かが判断され（ステップＳ１１５）、座標が一
致しない場合には、ステップＳ１１４に移行して同様の
判断が繰り返される。逆にＰＣ画面と指の座標が一致し
たときは、ステップＳ１１１に移行して再度触覚および
力覚が発生される。ここで、アイコンと指の座標がずれ
ていないときの一連の動作では、ユーザの指にアイコン
が掴まれた状態であり、そのときにＰＣ画面と指の座標
が一致すると、そのＰＣ画面上に、ユーザの指に掴まれ
たままでアイコンが表示される。

【０２７０】ステップＳ１１４においてアイコンと指の
座標がずれた場合には、衝突判定部８２は、アイコンと
指が衝突していないと判定し、リアルグローブ２０の制
御部２４は、その判定結果に基づいて、触覚発生部２１
および力覚発生部２２に触覚および力覚を解除させる
（ステップＳ１１６）。そして、制御部８４は、ＰＣ画
面から取り出されたアイコンに関連付けられている所望
のアプリケーションソフトウェアを起動して（ステップ
Ｓ１１７）、そのアプリケーションの操作画面をＰＣ画
面の手前に表示させるように、画像生成部８３に指示す
る。生成された画像データは、信号処理部８６および信
号送受信部８７を介して、ＨＭＤ５に送信される。ＨＭ
Ｄ５では、画像表示部５１がその画像データに基づい
て、アプリケーションの操作画面をＰＣ画面の手前に表
示し（ステップＳ１１８）、このアプリケーション起動
処理を終了する。このようにアプリケーションが起動
し、実行可能な状態にすることを、特許請求の範囲で
は、「機能発現手段」と称する。

【０２７１】ここで、このアプリケーション起動処理で
は、仮想のＰＣ画面よりも手前に起動したアプリケーシ
ョンソフトウェアの操作画面を表示する構成を示した
が、起動したアプリケーションはＰＣ画面内に表示さ
れ、その一部、例えば、電子メールソフトの添付ファイ
ルをＰＣ画面から手前に取り出して、その関連するアプ
リケーションを起動するとともにそれを手前に表示する
ような構成とすることもできる。その一例として、仮想
空間中のＰＣ画面中の電子メールに添付された三次元Ｃ
ＡＤファイルを掴む場合の概念図を図２２に示す。この
添付ファイルは、例えば、ＣＡＤを用いて立体的に作成
された体温計であり、図２２に示すように添付ファイル
のアイコンを掴んで、手前に引っぱり出すと、三次元Ｃ
ＡＤソフトウェアが起動して、図２３（Ａ）に示される
ように、仮想空間上では、ＰＣ画面の手前に表示された
三次元の体温計を掴むことができる。この意味におい
て、本発明における「アイコン」とは、デスクトップ上
に表示される場合にはアプリケーションソフトウェアの
アイコンを意味するが、それに限られず、電子メールに
おける添付ファイルや、各種ボタン（それにより仮想空
間内で何らかの機能が発現するような）なども含まれ
る。

【０２７２】なお、現実空間では、図２３（Ｂ）に示さ
れるように、ユーザの顔面にはＨＭＤ５が装着されると
ともに、ユーザの手および指にはリアルグローブ２０が
装着されている。

【０２７３】また、フローチャートでは示されないが、
上述のアプリケーション起動処理において所望のアプリ
ケーションソフトウェアが起動されると、ＰＣ画面の手
前に表示されたまま、そのアプリケーションを実行（使
用）することができる。例えば、起動されたアプリケー
ションがワードプロセッサソフトウェア（以下、「ワー
プロ」という）であり、その画面表示方法として印刷プ
レビューが設定されると、仮想空間では、ちょうどＰＣ
画面の手前にワープロデータが印刷（プリントアウト）
されたように表示される。このとき、本発明の画像処理
装置１では、リアルグローブ２０を用いて、印刷された
ように表示された用紙を掴み、それをめくることなども
できるので、ワープロデータを印刷することなく、誤字
・脱字など誤植の文章チェックをすることができる。そ
れにより、紙資源を使わなくても済むという特有の効果
を奏する。

【０２７４】なお、このアプリケーション起動処理で
は、指でアイコンを掴み出すことにより、所望のアプリ
ケーションが起動することとしたが、指をポインタに見
立てて仮想のＰＣ画面上のアイコンにタッチすることに
より、そのアプリケーションが起動することとしてもよ
い。

【０２７５】また、上記アプリケーション起動処理によ
り起動されたアプリケーションソフトウェアがＰＣ画面
よりも手前に三次元表示されている場合に、そのアプリ
ケーション画面（ウィンドウ）上に指で触れることによ
り、あるいはその画面上に仮想のペンなどにより文字を
書いたり線を引いたりすることにより、直接アプリケー
ションが動作するように、構成されてもよい。

【０２７６】さらに、仮想空間中で起動されるアプリケ
ーションソフトウェアは、画像のみで構成されるものだ
けでなく、例えば、映像と音声を組み合わせて動作し、
あるいは、音声のみを動作するようなものでもよい。

【０２７７】次に、図２１を用いてアプリケーション終
了処理について説明する。指の移動を検知し、それにと
もなって仮想空間画像を更新して作成し、その画像をＨ
ＭＤ５に表示するまでのフローは、上述のアプリケーシ
ョン起動処理の場合と同様である（ステップＳ２０１〜
Ｓ２０５）。

【０２７８】ステップＳ２０６において、制御部８４
は、上記アプリケーション起動処理において仮想のＰＣ
画面の手前に表示されているアプリケーション画面の所
定の位置と指の座標が一致したか否かを判断する。

【０２７９】「所定の位置」としては、例えば、アプリ
ケーション画面の右上に表示される終了ボタンの位置や
左上に表示されるファイルメニューの位置が想定される
が、これに限られず、ユーザの利便性を考慮して適当な
位置とすればよい。上記具体例で示した体温計など手で
掴める大きさのものであればそのまま掴んでも問題ない
が、そうでない場合には、上記のように予め所定の位置
を決めておくか、仮想空間画像を表示するアプリケーシ
ョンにおいて所定の表示がなされている。もちろん、ア
プリケーション画面を掴もうとすると、その画面表示が
小さくなるように構成されてもよい。

【０２８０】両者の座標が一致しない場合には、ステッ
プＳ２０１に移行して、同様の処理を繰り返す。両者の
座標が一致した場合には、情報処理装置８の演算処理部
８１は、アプリケーション画面から指への反力を演算し
（あるいは、予め設定または演算されている演算結果を
記憶部８５から読み出し）、信号処理部８６および信号
送受信部８７を介してこの演算データをリアルグローブ
２０に送信する。ここで、演算された反力データは、制
御部８４の指示により、記憶部８５の所定の格納領域に
保存される。反力の演算データを受信したリアルグロー
ブ２０では、制御部２４は、その演算データに基づい
て、触覚発生部２１および力覚発生部２２を駆動して触
覚および力覚を発生する（ステップＳ２０７）。

【０２８１】それと同時に、制御部８４は、対応するア
プリケーションを終了し（ステップＳ２０８）、そのア
プリケーションをアイコン化して指に掴まれた状態で表
示する（ステップＳ２０９）。このとき、文書などのフ
ァイルを保存などする処理は、各アプリケーションソフ
トウェアの各種プログラムに基づいてなされる。

【０２８２】その後、確認のために、制御部８４は、ア
イコンと指の座標がずれたか否かを判断する（ステップ
Ｓ２１０）。ずれた場合には、そのアイコンに関連付け
られているアプリケーションを再起動し（Ｓ２１１）、
ステップＳ２０６に移行して、同様の処理を繰り返す。
もちろん、ユーザは、そのままそのアプリケーションを
使用することも可能である。

【０２８３】アイコンと指の座標がずれていない場合、
衝突判定部８２は、続いてＰＣ画面と指の座標が一致し
たか否かを判断する（ステップＳ２１２）。座標が一致
しない場合、ステップＳ２１０に移行して、同様の処理
を繰り返す。

【０２８４】アイコンと指の座標がずれずにＰＣ画面と
指の座標が一致した場合には、情報処理装置８の演算処
理部８１は、ＰＣ画面から指への反力を演算し（あるい
は、演算結果を記憶部８５から読み出し）、信号処理部
８６および信号送受信部８７を介してこの演算データを
リアルグローブ２０に送信する。ここで、演算された反
力データは、制御部８４の指示により、記憶部８５の所
定の格納領域に保存される。反力の演算データを受信し
たリアルグローブ２０では、制御部２４は、その演算デ
ータに基づいて、触覚発生部２１および力覚発生部２２
を駆動して触覚および力覚を発生する（ステップＳ２１
３）。それと同時に、対応するアプリケーションのアイ
コンがＰＣ画面上に表示されるように、画像生成部８３
は更新して仮想空間画像を生成し、この画像データをＨ
ＭＤ５に送信する。ＨＭＤ５の画像表示部５１は、受信
した画像データに基づいて、仮想空間画像の仮想のＰＣ
画面上にアイコンを表示し（ステップＳ２１４）、この
アプリケーション終了処理を終える。

【０２８５】以上のように、本発明の画像処理装置１
は、アプリケーション起動処理において、仮想のＰＣ画
面上に表示されているアイコンをタッチあるいは掴み出
すことにより、対応するアプリケーションソフトウェア
を起動し、ＰＣ画面よりも手前にそのアイコンに関連付
けられているアプリケーションソフトウェアのウィンド
ウを表示し、その後のアプリケーションの処理をＰＣ画
面よりも手前に三次元表示したままでできるように構成
した。また、アプリケーション終了処理において、ＰＣ
画面手前に表示されているアプリケーションウィンドウ
を直接掴んで、あるいは所定の位置をタッチしあるいは
掴んでアイコン化し、そのアイコンをＰＣ画面に押し込
むことにより、そのアプリケーションソフトウェアを終
了するように構成した。

【０２８６】したがって、本発明の画像処理装置および
画像処理方法によって、仮想空間において、ユーザによ
って、直感的で使いやすい（利用しやすい）操作性を提
供することができる。

【０２８７】以上、本発明の画像処理装置の構成を、図
示の実施形態に基づいて説明したが、本発明はこれに限
定されるものではなく、各部の構成は、同様の機能を有
する任意の構成のものに置換することができる。

【０２８８】また、本発明では、前記各実施形態の任意
の２以上の構成（特徴）を適宜組み合わせてもよい。

【０２８９】

【発明の効果】以上説明したように、本発明によれば、
仮想空間において、ユーザにとって、直感的で使いやす
い（利用しやすい）操作性を有する画像処理装置および
画像処理方法を提供することができるという特有の効果
を奏する。

【図面の簡単な説明】

【図１】 本発明の触覚・力覚提示装置の第１実施形態
およびその触覚・力覚提示装置を有する画像処理装置の
構成例を示す概念図である。

【図２】 図１に示すリアルグローブの回路構成例を示
すブロック図である。

【図３】 図１に示すリアルグローブの外観構成例を示
す外観図（一部図示を省略）である。

【図４】 図１に示すリアルグローブの触覚発生部の構
成例を示す縦断面図である。

【図５】 図１に示すリアルグローブの力覚発生部の構
成例を示す外観図である。

【図６】 図１に示すリアルグローブの力覚発生部の構
成例を示す外観図である。

【図７】 図１に示すリアルグローブの位置姿勢検出部
の構成例を示すブロック図である。

【図８】 図１に示す仮想空間表示装置の外観構成例を
示す斜視図である。

【図９】 図１に示す仮想空間表示装置の回路構成例を
示すブロック図である。

【図１０】 図１に示す仮想空間表示装置の凹凸入力部
の構成例を示す図（ブロック図、模式図）である。

【図１１】 図１に示す仮想空間表示装置の画像表示部
の構成例を示す図（ブロック図、模式図）である。

【図１２】 図１に示す仮想空間表示装置の視線検出部
の構成例を示す図（ブロック図、模式図）である。

【図１３】 図１に示す情報処理装置の回路構成例を示
すブロック図である。

【図１４】 第２実施形態の触覚・力覚提示装置の触覚
発生部の構成例を示す縦断面図である。

【図１５】 第３実施形態の触覚・力覚提示装置のリア
ルグローブの外観構成例を示す外観図（一部図示を省
略）である。

【図１６】 第４実施形態の触覚・力覚提示装置の位置
姿勢検出部の構成例を示すブロック図である。

【図１７】 第４実施形態の触覚・力覚提示装置の位置
姿勢検出部の構成例を示す外観図（一部図示を省略）で
ある。

【図１８】 図１７に示す位置姿勢検出部のＺ方向検出
センサの構成例を示す外観図である。

【図１９】 本発明の画像処理装置におけるアプリケー
ション起動処理の一部を示すフローチャートである。

【図２０】 本発明の画像処理装置におけるアプリケー
ション起動処理の一部を示すフローチャートである。

【図２１】 本発明の画像処理装置におけるアプリケー
ション終了処理を示すフローチャートである。

【図２２】 本発明の画像処理装置における仮想空間中
のＰＣ画面中の電子メールに添付された三次元ＣＡＤフ
ァイルを掴む場合の概念図の一例である。

【図２３】 本発明の画像処理装置における仮想空間中
の体温計を掴んでいる状態と、現実空間における状態の
概念図の一例である。

【符号の説明】

１……画像処理装置 ２……触覚・力覚提示装置 ２ａ
……手袋 ２ｂ……フレームホルダ ２ｃ……フレーム
カバー ２ｄ……腕固定部 ２０……リアルグローブ
２０ａ……筒状部 ２１……触覚発生部 ２１ａ……開
口 ２１ｄ……腕固定部本体 ２１０……単位触覚発生
部 ２１１……動力発生部 ２１１ａ……モータ ２１
２……アクチュエータワイヤ ２１２ａ……束 ２１３
……ワイヤ保持部 ２１４……触覚提示ピン ２１４ａ
……接触板 ２１４ｂ……支持部 ２１５……触覚提示ピン支持部 ２１６……触覚提示部
２１６ａ……第１の板片 ２１６ｂ……第２の板片
２１６ｃ……接触部 ２１７……ガイド部 ２１８……
押え板 ２２……力覚発生部 ２２ｄ……エアー注入部
２２１……フレーム ２２２……リンクモータ ２３
……位置姿勢検出部 ２３ｄ……蓋体 ２３１……Ｘ方向検出コイル ２３２……Ｙ方向検出コ
イル ２３３……Ｚ方向検出コイル ２４……制御部
２５……信号処理部 ２５１……増幅部 ２５２……Ａ
／Ｄ変換部 ２６……信号送受信部 ２７……遊び吸収
部 ２８……手首固定部 ２９……ねじれ吸収部 ２９
１……帯状部 ２９２……開口 ３０……電力供給部
５……仮想空間表示装置 ５１ａ、５１ｂ……画像表示
部 ５１１……レンズ ５１２……レンズ移動機構 ５
１３……ステッピングモータ ５１４……モータ制御部
５１５……液晶表示パネル ５１６……液晶駆動部
５１７……バックライト ５１８……バックライト制御
部 ５１９……トランジスタ ５２ａ、５２ｂ……視線検出部 ５２１……ハーフミラ
ー ５２２……フィルタ ５２３……レンズ ５２４…
…ＣＣＤ ５２５……ＣＣＤ制御部 ５２６……ＣＣＤ
出力増幅部 ５２７……ＬＥＤ ５２８……ＬＥＤ制御
部 ５２９……トランジスタ ５３ａ、５３ｂ……凹凸
入力部 ５３１……レンズ ５３２……ＣＣＤ ５３３
……ＣＣＤ制御部 ５３４……ＣＣＤ出力増幅部 ５４
……制御部 ５５……信号送受信部 ５６……位置姿勢
検出部 ５７……装着部 ５８……信号処理部 ５９…
…三次元加速度センサ ６０……ケーシング ６１……
Ｘ方向検出センサ ６２……Ｙ方向検出センサ ６３…
…Ｚ方向検出センサ ６４……エリンバー ６５……振
動用圧電素子 ６６……検出用圧電素子 ６７、６８…
…ワイヤ ６９……交流電源 ８……情報処理装置 ８
１……演算処理部 ８２……衝突判定部 ８３……画像生成部 ８４……制
御部 ８５……記憶部 ８６……信号処理部 ８７……信号送受信部 ８８……
磁界発生部 ９……基地局

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA08 BA08 BA09 CA06 CA07 EA24 FA01 FA05 FA08 FA10 5B087 AA09 BC05 BC06

Claims (38)

【特許請求の範囲】
1. 【請求項１】 仮想空間画像を生成する画像生成手段
   と、 前記画像生成手段によって生成された仮想空間画像を表
   示する表示手段と、 指の位置を検出する指位置検出手段と、 前記指位置検出手段によって検出された指が仮想の表示
   物に衝突したか否かを判定する判定手段と、 前記判定手段によって前記指と前記表示物が衝突したと
   判定される場合には、前記仮想空間内に該表示物に関連
   付けられている機能を発現させる機能発現手段と、 を備えることを特徴とする画像処理装置。
2. 【請求項２】 仮想空間画像を生成する画像生成手段
   と、 前記画像生成手段によって生成された仮想空間画像を表
   示する表示手段と、 指の位置を検出する指位置検出手段と、 前記指位置検出手段によって検出された指が移動したと
   き、その移動にともなって仮想の表示物が移動したか否
   かを判定する判定手段と、 前記判定手段によって前記指と前記表示物が同時に移動
   したと判定される場合には、前記仮想空間内に該表示物
   に関連付けられている機能を発現させる機能発現手段
   と、 を備えることを特徴とする画像処理装置。
3. 【請求項３】 前記画像生成手段によって生成された画
   像データおよび前記判定手段によって判定された判定結
   果を記憶する記憶手段をさらに備えることを特徴とする
   請求項１または２に記載の画像処理装置。
4. 【請求項４】 前記画像生成手段は、前記指位置検出手
   段により検出された前記指の位置に基づいて、所定の時
   間間隔で仮想の指画像を含む仮想空間画像を更新して生
   成する請求項１ないし３のいずれかに記載の画像処理装
   置。
5. 【請求項５】 前記指位置検出手段は、それらの中心軸
   が互いに略直交する、第１のコイル、第２のコイルおよ
   び第３のコイルを有する直交コイル式の位置検出手段で
   あることを特徴とする請求項１ないし４のいずれかに記
   載の画像処理装置。
6. 【請求項６】 前記指位置検出手段は、互いに略直交す
   るＸ軸、Ｙ軸およびＺ軸の回りの角速度をそれぞれ検出
   するジャイロセンサを有する請求項１ないし５のいずれ
   かに記載の画像処理装置。
7. 【請求項７】 前記表示手段は、顔面に装着して使用す
   るものである請求項１ないし６のいずれかに記載の画像
   処理装置。
8. 【請求項８】 前記表示手段は、前記画像生成手段によ
   り生成された仮想空間画像データを受信する通信手段を
   含むことを特徴とする請求項１ないし７のいずれかに記
   載の画像処理装置。
9. 【請求項９】 前記発現された機能は、仮想空間におけ
   る映像および／または音の出力であり、 該機能が映像の場合において、前記判定手段により前記
   指が機能を発現されている映像の所定の位置に衝突し、
   あるいは該位置とともに移動したと判定されるときに
   は、前記機能を終了させる機能終了手段をさらに備える
   請求項１ないし８のいずれかに記載の画像処理装置。
10. 【請求項１０】 前記機能終了手段により機能を終了さ
    せられた前記表示物を初めの状態に戻して前記仮想空間
    中に表示する表示物表示手段をさらに備える請求項９に
    記載の画像処理装置。
11. 【請求項１１】 前記仮想の表示物は、仮想空間中に形
    成される平面上に二次元的に配置される請求項１ないし
    １０のいずれかに記載の画像処理装置。
12. 【請求項１２】 前記平面は、仮想のパーソナルコンピ
    ュータの表示画面であり、前記表示物は、この表示画面
    に表示されているアイコンである請求項１１に記載の画
    像処理装置。
13. 【請求項１３】 前記機能発現手段は、所望のアプリケ
    ーションソフトウェアを起動してこのアプリケーション
    に関する各種処理を実行できるようにし、前記表示手段
    は、仮想空間において前記パーソナルコンピュータの表
    示画面の手前に該アプリケーションのウィンドウ画面を
    表示する請求項１２に記載の画像処理装置。
14. 【請求項１４】 指に与える触覚および力覚を発生して
    提示する触覚・力覚提示手段と、 前記判定手段により前記指が前記仮想の表示物に衝突し
    あるいは該表示物とともに移動したと判定される場合に
    は、その接触に相当する感覚が指腹に得られるように前
    記触覚・力覚発生手段の駆動を制御する制御手段と、 をさらに備える請求項１ないし１３のいずれかに記載の
    画像処理装置。
15. 【請求項１５】 前記制御手段は、前記指位置検出手段
    によって検出された指の位置と前記表示物の位置とがず
    れたとき、前記接触に相当する感覚が指腹に得られない
    ように前記触覚・力覚発生手段の駆動を制御する請求項
    １４に記載の画像処理装置。
16. 【請求項１６】 指に与える触覚および力覚を発生して
    提示する触覚・力覚提示手段と、 前記判定手段により前記指が前記仮想の表示物に衝突し
    あるいは該表示物とともに移動したと判定される場合に
    は、その接触に相当する感覚が指腹に得られるように前
    記触覚・力覚発生手段の駆動を制御する制御手段とをさ
    らに備え、 前記制御手段は、前記判定手段によって前記指と前記パ
    ーソナルコンピュータの表示画面が衝突し、あるいはそ
    れとともに移動したと判定される場合にも、その接触に
    相当する感覚が指腹に得られるように前記触覚・力覚発
    生手段の駆動を制御する請求項１３に記載の画像処理装
    置。
17. 【請求項１７】 仮想空間画像を生成するステップと、 前記生成された仮想空間画像を表示するステップと、 指の位置を検出するステップと、 前記検出された指が仮想の表示物に衝突したか否かを判
    定するステップと、 前記指と前記表示物が衝突したと判定される場合には、
    前記仮想空間内に該表示物に関連付けられている機能を
    発現させるステップと、 を有することを特徴とする画像処理方法。
18. 【請求項１８】 仮想空間画像を生成するステップと、 前記生成された仮想空間画像を表示するステップと、 指の位置を検出するステップと、 前記検出された指が移動したとき、その移動にともなっ
    て仮想の表示物が移動したか否かを判定するステップ
    と、 前記指と前記表示物が同時に移動したと判定される場合
    には、前記仮想空間内に該表示物に関連付けられている
    機能を発現させるステップと、 を有することを特徴とする画像処理方法。
19. 【請求項１９】 前記生成された画像データおよび前記
    判定された判定結果を記憶するステップをさらに有する
    ことを特徴とする請求項１７または１８に記載の画像処
    理方法。
20. 【請求項２０】 前記画像生成ステップは、前記指位置
    検出ステップで検出された前記指の位置に基づいて、所
    定の時間間隔で仮想の指画像を含む仮想空間画像を更新
    して生成する請求項１７ないし１９のいずれかに記載の
    画像処理方法。
21. 【請求項２１】 前記発現された機能は、仮想空間にお
    ける映像および／または音の出力であり、 該機能が映像の場合において、前記指が機能を発現され
    ている映像の所定の位置に衝突し、あるいは該位置とと
    もに移動したと判定されるときには、前記機能を終了さ
    せるステップをさらに有する請求項１７ないし２０のい
    ずれかに記載の画像処理方法。
22. 【請求項２２】 前記機能終了ステップにおいて機能を
    終了させられた前記表示物を初めの状態に戻して前記仮
    想空間中に表示するステップをさらに有する請求項２１
    に記載の画像処理方法。
23. 【請求項２３】 前記仮想の表示物は、仮想空間中に形
    成される平面上に二次元的に配置される請求項１７ない
    し２２のいずれかに記載の画像処理方法。
24. 【請求項２４】 前記平面は、仮想のパーソナルコンピ
    ュータの表示画面であり、前記表示物は、この表示画面
    に表示されているアイコンである請求項２３に記載の画
    像処理方法。
25. 【請求項２５】 前記機能発現ステップでは、所望のア
    プリケーションソフトウェアを起動してこのアプリケー
    ションに関する各種処理を実行できるようにされ、前記
    表示ステップは、仮想空間において前記パーソナルコン
    ピュータの表示画面の手前に該アプリケーションのウィ
    ンドウ画面を表示する請求項２４に記載の画像処理方
    法。
26. 【請求項２６】 指に与える触覚および力覚を発生して
    提示するステップと、 前記指が前記仮想の表示物に衝突しあるいは該表示物と
    ともに移動したと判定される場合には、その接触に相当
    する感覚が指腹に得られるように触覚および力覚の発生
    を制御するステップと、 をさらに有する請求項１７ないし２５のいずれかに記載
    の画像処理方法。
27. 【請求項２７】 指に与える触覚および力覚を発生して
    提示するステップと、 前記指が前記仮想の表示物に衝突しあるいは該表示物と
    ともに移動したと判定される場合には、その接触に相当
    する感覚が指腹に得られるように触覚および力覚の発生
    を制御するステップとをさらに有し、 前記指と前記パーソナルコンピュータの表示画面が衝突
    し、あるいはそれとともに移動したと判定される場合に
    も、その接触に相当する感覚が指腹に得られるように触
    覚および力覚を与える請求項２５に記載の画像処理方
    法。
28. 【請求項２８】 仮想空間画像を生成してユーザに視認
    できるように表示させるための情報処理装置のコンピュ
    ータを、 仮想空間画像を生成する画像生成手段、 前記画像生成手段によって生成された仮想空間画像を表
    示する表示手段、 指の位置を検出する指位置検出手段、 前記指位置検出手段によって検出された指が仮想の表示
    物に衝突したか否かを判定する判定手段、 前記判定手段によって前記指と前記表示物が衝突したと
    判定される場合には、前記仮想空間内に該表示物に関連
    付けられている機能を発現させる機能発現手段、 として機能させるための情報処理装置の画像処理プログ
    ラム。
29. 【請求項２９】 仮想空間画像を生成してユーザに視認
    できるように表示させるための情報処理装置のコンピュ
    ータを、 仮想空間画像を生成する画像生成手段、 前記画像生成手段によって生成された仮想空間画像を表
    示する表示手段、 指の位置を検出する指位置検出手段、 前記指位置検出手段によって検出された指が移動したと
    き、その移動にともなって、仮想の表示物が移動したか
    否かを判定する判定手段、 前記判定手段によって前記指と前記表示物が同時に移動
    したと判定される場合には、前記仮想空間内に該表示物
    に関連付けられている機能を発現させる機能発現手段、 として機能させるための情報処理装置の画像処理プログ
    ラム。
30. 【請求項３０】 情報処理装置のコンピュータを、前記
    画像生成手段によって生成された画像データおよび前記
    判定手段によって判定された判定結果を記憶する記憶手
    段として機能させるためのプログラムコードをさらに有
    する請求項２８または２９に記載の画像処理プログラ
    ム。
31. 【請求項３１】 前記画像生成手段を、前記指位置検出
    手段により検出された前記指の位置に基づいて、所定の
    時間間隔で仮想の指画像を含む仮想空間画像を更新して
    生成させるように機能させるための請求項２８ないし３
    ０のいずれかに記載の画像処理プログラム。
32. 【請求項３２】 情報処理装置のコンピュータを、前記
    発現される機能が映像の場合において、前記判定手段に
    より前記指が機能を発現されている映像の所定の位置に
    衝突し、あるいは該位置とともに移動したと判定される
    ときには、前記機能を終了させる機能終了手段として機
    能させるためのプログラムコードをさらに有する請求項
    ２８ないし３１のいずれかに記載の情報処理装置の画像
    処理プログラム。
33. 【請求項３３】 情報処理装置のコンピュータを、前記
    機能終了手段により機能を終了させられた前記表示物を
    初めの状態に戻して前記仮想空間中に表示する表示物表
    示手段として機能させるためのプログラムコードをさら
    に有する請求項３２に記載の情報処理装置の画像処理プ
    ログラム。
34. 【請求項３４】 前記機能発現手段を、仮想のパーソナ
    ルコンピュータの表示画面に表示されているアイコンで
    ある前記表示物と前記指との衝突あるいは移動に基づい
    て、所望のアプリケーションソフトウェアを起動してこ
    のアプリケーションに関する各種処理を実行できるよう
    に機能させ、前記表示手段を、仮想空間において前記パ
    ーソナルコンピュータの表示画面の手前に前記アプリケ
    ーションのウィンドウ画面を表示するように機能させる
    ためのプログラムコードをさらに有する請求項２８ない
    し３３のいずれかに記載の画像処理プログラム。
35. 【請求項３５】 情報処理装置のコンピュータを、 指に与える触覚および力覚を発生して提示する触覚・力
    覚提示手段、 前記判定手段により前記指が前記仮想の表示物に衝突し
    あるいは該表示物とともに移動したと判定される場合に
    は、その接触に相当する感覚が指腹に得られるように前
    記触覚・力覚発生手段の駆動を制御する制御手段、 として機能させるためのプログラムコードをさらに有す
    る請求項２８ないし３４のいずれかに記載の画像処理プ
    ログラム。
36. 【請求項３６】 前記制御手段を、前記指位置検出手段
    によって検出された指の位置と前記表示物の位置とがず
    れたとき、前記接触に相当する感覚が指腹に得られない
    ように触覚および力覚の発生を制御するように機能させ
    るためのプログラムコードを有する請求項３４に記載の
    画像処理プログラム。
37. 【請求項３７】 情報処理装置のコンピュータを、 指に与える触覚および力覚を発生して提示する触覚・力
    覚提示手段、 前記判定手段により前記指が前記仮想の表示物に衝突し
    あるいは該表示物とともに移動したと判定される場合に
    は、その接触に相当する感覚が指腹に得られるように前
    記触覚・力覚発生手段の駆動を制御する制御手段として
    機能させるためのプログラムコードをさらに有し、 前記制御手段を、前記判定手段によって前記指と前記パ
    ーソナルコンピュータの表示画面が衝突し、あるいはそ
    れとともに移動したと判定される場合にも、その接触に
    相当する感覚が指腹に得られるように触覚および力覚の
    発生を制御するように機能させるためのプログラムコー
    ドを有する請求項３４に記載の画像処理プログラム。
38. 【請求項３８】 コンピュータに実行させるための請求
    項２８ないし３７のいずれかの画像処理プログラムを記
    録した、コンピュータに読み取り可能な記録媒体。