JP4023214B2 - Tactile / force sense presentation device and tactile / force sense presentation system - Google Patents
Tactile / force sense presentation device and tactile / force sense presentation system Download PDFInfo
- Publication number
- JP4023214B2 JP4023214B2 JP2002145158A JP2002145158A JP4023214B2 JP 4023214 B2 JP4023214 B2 JP 4023214B2 JP 2002145158 A JP2002145158 A JP 2002145158A JP 2002145158 A JP2002145158 A JP 2002145158A JP 4023214 B2 JP4023214 B2 JP 4023214B2
- Authority
- JP
- Japan
- Prior art keywords
- finger
- tactile
- force
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、触覚・力覚提示装置および触覚・力覚提示システムに関するものである。
【0002】
【従来の技術】
特開平6−282371号には、本等の仮想空間画像が表示され、ユーザ(使用者)が、表示された仮想の本のページをめくる動作をすると、その動作に応じて、前記本のページがめくれるように構成された仮想空間デスクトップ装置が開示されている。
【0003】
この仮想空間デスクトップ装置では、指の位置の検出に光ファイバが用いられており、その光ファイバの光量から、指の関節の曲がり具合を検出し、その曲がり具合から間接的に指の位置を検出するようになっている。
【0004】
しかしながら、前記従来の装置では、光ファイバにより検出された指の関節の曲がり具合から間接的に指の位置を求めるので、検出された指の位置の精度が低いという欠点がある。
【0005】
また、前記従来の装置では、ユーザは、手や指で、本の用紙の質感や、用紙の例えばエッジに接触したときの感触などを感じることができず、また、手や指で本を握ったときの反力などを感じることができないため、違和感を感じる。
【0006】
また、本のページめくりの際は、指の感触により本の用紙のエッジを認識し、その用紙(ページ)を指で挟んで持ち上げるようにしてページをめくるのが自然の動作であるが、前記従来の装置では本に対して手や指による感触が得られないので、本のページをめくる動作の度に、本の用紙のエッジに注目して、そのエッジに指を移動させる動作などが必要となり、前記本のページめくりに手間と時間がかかる。
【0007】
【発明が解決しようとする課題】
本発明の目的は、指の位置を精度良くかつ確実に求めることができ、仮想空間画像に応じて、指に対して触覚や力覚を提示することができる触覚・力覚提示装置および触覚・力覚提示システムを提供することにある。
【0008】
【課題を解決するための手段】
このような目的は、下記(1)〜(12)の本発明により達成される。
【0009】
(1) 少なくとも指に装着する装着手段と、
中心軸が互いに直交する第1のコイル、第2のコイルおよび第3のコイルを備え、指の位置を検出する位置検出手段と、
指に与える力覚を発生する力覚発生手段と、
前記力覚発生手段の駆動を制御する制御手段とを有し、
前記力覚発生手段は、指の長手方向に沿って回動可能に連結された複数のフレームを備えたリンク機構と、前記複数のフレームの各連結部に設けられ、前記各フレームを回動させる複数のリンクモータとを備え、
前記位置検出手段により指の位置を検出し、前記位置検出手段からの情報に基づいて指の位置を求め、前記制御手段は、前記求めた指の位置情報と、仮想空間画像の対象物の位置情報とに基づいて、前記各リンクモータの駆動を制御し、指に対して力覚を提示するよう構成されていることを特徴とする触覚・力覚提示装置。
【0010】
(2) 少なくとも指に装着する装着手段と、
互いに略直交するX軸、Y軸およびZ軸の周りの角速度をそれぞれ検知するジャイロセンサを備え、指の位置を検出する位置検出手段と、
指に与える力覚を発生する力覚発生手段と、
前記力覚発生手段の駆動を制御する制御手段と、
周囲を撮像する複数の撮像手段と、
前記撮像手段によって撮像された画像に指に対応する部分が含まれているか否かを判別する判別手段とを有し、
前記力覚発生手段は、指の長手方向に沿って回動可能に連結された複数のフレームを備えたリンク機構と、前記複数のフレームの各連結部に設けられ、前記各フレームを回動させる複数のリンクモータとを備え、
前記複数の撮像手段により周囲の略同じ領域を撮像し、前記撮像手段によって撮像された画像に指に対応する部分が含まれている場合には、前記撮像手段からの画像データに基づいて指の位置を求め、前記撮像手段によって撮像された画像に指に対応する部分が含まれていない場合には、前記位置検出手段により指の位置を検出し、前記位置検出手段からの情報に基づいて指の位置を求め、前記制御手段は、前記求めた指の位置情報と、仮想空間画像の対象物の位置情報とに基づいて、前記各リンクモータの駆動を制御し、指に対して力覚を提示するように構成されていることを特徴とする触覚・力覚提示装置。
【0011】
(3) 指の第1関節よりも先端側に位置する第1装着部、前記第1関節と第2関節との間に位置する第2装着部、前記第2関節と第3関節との間に位置する第3装着部および前記第3関節よりも基端側に位置する第4装着部とを備え、
前記複数のフレームのうちの最も指の先端側に位置する先端側フレームの先端部は、前記第1装着部に回動可能に設置され、最も指の基端側に位置する基端側フレームの基端部は、前記第4装着部に回動可能に設置され、
前記先端側フレームと前記基端側フレームとの間に位置するフレームは、前記第1関節と前記第2関節との間の部位と、前記第2関節と前記第3関節との間の部位とに、前記フレームの連結部が1つおきに位置するように配置され、当該1つおきの連結部のうちの前記第1関節と前記第2関節との間の部位に位置する連結部は、前記第2装着部に回動可能に配置され、前記第2関節と前記第3関節との間の部位に位置する連結部は、前記第3装着部に回動可能に配置されている上記(1)または(2)に記載の触覚・力覚提示装置。
【0012】
(4) 信号の送信または受信を行う通信手段を有し、
前記通信手段から送信される信号に基づいて、前記リンクモータが駆動するよう構成されている上記(1)ないし(3)のいずれかに記載の触覚・力覚提示装置。
【0013】
(5) 前記位置検出手段は、該位置検出手段により検出する部位の近傍に設けられている上記(1)ないし(4)のいずれかに記載の触覚・力覚提示装置。
【0014】
(6) 前記位置検出手段は、指の関節の近傍に対応する部分に設けられている上記(1)ないし(5)のいずれかに記載の触覚・力覚提示装置。
【0015】
(7) 前記位置検出手段は、該位置検出手段により検出する部位に対して一定の位置関係を保持し得るように設けられている上記(1)ないし(6)のいずれかに記載の触覚・力覚提示装置。
【0016】
(8) 前記装着手段は、指から腕にかけて装着する手袋状のものである上記(1)ないし(7)のいずれかに記載の触覚・力覚提示装置。
【0017】
(9) 上記(1)ないし(8)のいずれかに記載の触覚・力覚提示装置と、
顔面に装着して使用し、仮想空間画像を表示する表示手段とを有することを特徴とする触覚・力覚提示装置。
【0018】
(10) 上記(2)に記載の触覚・力覚提示装置と、
顔面に装着して使用し、仮想空間画像を表示する表示手段とを有しており、
前記撮像手段は、前記表示手段に設けられていることを特徴とする触覚・力覚提示装置。
【0019】
(11) 前記表示手段に対して信号の送信または受信を行う通信手段と、
仮想空間画像を作成する画像作成手段と、
前記画像作成手段に対して信号の送信または受信を行う通信手段とを有し、
前記画像作成手段は、指の動きに応じて仮想空間画像を更新するよう構成されている上記(9)または(10)に記載の触覚・力覚提示装置。
【0020】
(12) 前記触覚・力覚提示装置、前記画像作成手段および前記表示手段の駆動を制御する制御手段を有する上記(11)に記載の触覚・力覚提示装置。
【0052】
【発明の実施の形態】
以下、本発明の触覚・力覚提示装置および触覚・力覚提示システムを添付図面に示す好適実施形態に基づいて詳細に説明する。
【0053】
図1は、本発明の触覚・力覚提示装置の第1実施形態およびその触覚・力覚提示装置を有する触覚・力覚提示システムの構成例を示す概念図、図2は、図1に示すリアルグローブの回路構成例を示すブロック図である。図3は、図1に示すリアルグローブの外観構成例を示す外観図(一部図示を省略)である。
【0054】
図1に示すように、触覚・力覚提示システム1は、ユーザ(使用者)の手(指)に装着され、装着された手や各指に対して触覚(触った感覚、例えば、質感、形状、強さ等の接触強度の分布)や力覚(触ったときに加わる力の感覚)を与える一対のリアルグローブ(データグローブ)20、20と、仮想空間画像(仮想空間映像)を表示する仮想空間表示装置(表示手段)5と、各リアルグローブ20および仮想空間表示装置5の駆動制御等の種々の処理を行う情報処理装置8と、仮想空間画像を作成し、仮想空間画像を用いた各種のサービスを提供する基地局9とを備えている。
【0055】
各リアルグローブ20、仮想空間表示装置5、情報処理装置8および基地局9は、それぞれ、無線で信号の送信および受信(無線通信)を行うことができる無線通信機能(無線通信手段)を有しており、情報処理装置8と、各リアルグローブ20、仮想空間表示装置5および基地局9との間で、それぞれ、通信を行うことができるようになっている。
【0056】
この触覚・力覚提示システム1は、基地局9、仮想空間表示装置5および各リアルグローブ20から供給された情報にもとづいて情報処理装置8によって作成(生成)された仮想空間画像を仮想空間表示装置5に表示し、リアルグローブ20を装着した手や指を動作させることによってその手や指が仮想空間に表示された物体に仮想的に接触した場合等に、その様子を仮想空間表示装置5に表示するとともに、接触したときの触覚や力覚をリアルグローブ20を装着した手や各指に与えるための各処理を行う。
【0057】
情報処理装置8は、例えば、携帯電話端末、無線通信機能を有するパーソナルコンピュータ、PDA(Personal Digital Assistants)と呼ばれる携帯型情報機器などの、無線通信機能(通信手段)および制御機能(制御手段)を備えた各種の装置により構成される。
【0058】
また、基地局9は、例えば、インターネット上に設けられているインターネットサーバなどの、仮想空間画像に関する情報を提供する各種の装置により構成される。
【0059】
なお、本実施形態では、各リアルグローブ20、仮想空間表示装置5、情報処理装置8および基地局9が無線通信機能を有する構成としているが、例えば、その一部またはすべてが有線通信を行う構成とされていてもよい。
【0060】
また、情報処理装置8が、基地局9の機能の一部またはすべてを有していてもよい。
【0061】
また、リアルグローブ20が、仮想空間表示装置5、情報処理装置8および基地局9の機能の一部またはすべてを有していてもよい。
【0062】
ここで、触覚・力覚提示装置2は、本実施形態では、一対のリアルグローブ20、20、すなわち、ユーザの左手に装着される左手用のリアルグローブ20と、ユーザの右手に装着される右手用のリアルグローブ20とで構成されている。以下の説明では、代表的に一方のリアルグローブ20を説明する。
【0063】
なお、本発明では、触覚・力覚提示装置2は、一方のリアルグローブ20で構成されていてもよい。
【0064】
また、本発明では、触覚・力覚提示装置2は、リアルグローブ20の他に、仮想空間表示装置5、情報処理装置8および基地局9のうちの、いずれか1つ、または、2つ、または、すべてを有していてもよい。この場合、触覚・力覚提示装置2は、それらの有する機能の一部を有していてもよく、また、すべてを有していてもよい。
【0065】
図2に示すように、リアルグローブ20は、仮想空間に現れている(仮想空間画像上の)物体(対象物)に接触した指の感覚(例えば、質感、形状、強さ等の接触強度の分布)を発生させるための触覚発生部(触覚発生手段)21と、仮想空間に現れている物体に接触したときに手や指にかかる力の強さの感覚を発生させるための力覚発生部(力覚発生手段)22と、リアルグローブ20の各部の位置(リアルグローブ20を装着した手、手首、腕、指等の各部の位置)を検出する位置姿勢検出部23と、リアルグローブ20の各部を制御する制御部24と、情報処理装置8に送信するための信号の増幅等の信号処理を行う信号処理部25と、情報処理装置8との間で無線通信を行うための信号送受信部26とを有している。
【0066】
また、図3に示すように、リアルグローブ20の全体形状は、略長手袋状(手袋状)をなしている。すなわち、リアルグローブ20は、その装着者(ユーザ)の指から腕の肘近傍まで(指から腕にかけて)装着する手袋状の装着手段として、腕を覆う筒状部20aを備えた比較的長い手袋2aを有している。
【0067】
ユーザは、この手袋2aにより、リアルグローブ20の装着および取り外しを容易かつ確実に行うことができる。
【0068】
また、手袋2aは手から腕にかけて装着されるので、仮想空間における動作(操作)を容易かつ確実に行うことができる。
【0069】
この手袋2aには、指先に対応する部分の遊びを抑制または防止する遊び吸収部27と、手首に固定する手首固定部28と、腕に固定する腕固定部2dと、腕に対応する部分のねじれを吸収するねじれ吸収部29とが、それぞれ設けられている。
【0070】
遊び吸収部27は、手袋2aの手首付近に対応する部分に設けられている。この遊び吸収部27は、例えば、各種ゴム等の弾性体で形成される。
【0071】
ユーザがリアルグローブ20を装着すると、遊び吸収部27の復元力(弾性力)により、手袋2aは、肘方向(基端側)に引っ張られ、その状態で保持される。これにより、指先に遊びができてしまうのを防止または抑制することができる。
【0072】
また、指の長さ等の手の寸法の異なる複数のユーザが使用する場合においても、遊び吸収部27により、それぞれ、指先に遊びができてしまうのを防止または抑制することができる。
【0073】
手首固定部28は、手袋2aの前記遊び吸収部27の肘側(基端側)に、遊び吸収部27に連続して設けられている。この手首固定部28は、例えば、各種ゴム等の弾性体で形成される。
【0074】
ユーザがリアルグローブ20を装着すると、手首固定部28の復元力(弾性力)により、手袋2aは、手首に固定される。これにより、使用中にリアルグローブ20がずれてしまうのを防止することができる。
【0075】
また、この手首固定部28や前記遊び吸収部27により、後述する触覚発生部21のアクチュエータワイヤ212の束212aは、各アクチュエータワイヤ212がそれぞれその長手方向に移動し得るように所定の位置に保持される。
【0076】
腕固定部2dは、手袋2aの筒状部20aの肘側(基端側)の端部に設けられている。この腕固定部2dは、例えば、各種ゴム等の弾性体で形成される。
【0077】
ユーザがリアルグローブ20を装着すると、腕固定部2dの復元力(弾性力)により、手袋2aは、腕に固定される。これにより、使用中にリアルグローブ20がずれてしまうのを防止することができる。
【0078】
ねじれ吸収部29は、手袋2aの筒状部20aの途中、すなわち、前記手首固定部28と腕固定部2dとの間に設けられている。
【0079】
このねじれ吸収部29は、筒状部20aの一部に3つの開口292を形成して得られる3本の帯状部291で構成されている。各帯状部291は、それぞれ、例えば、伸縮性のある材料で構成された布等の伸縮性のある部材で形成される。
【0080】
ユーザがリアルグローブ20を装着し、例えば、手首をねじる動作をすると、各帯状部291が伸縮、変形し、これにより、筒状部20aのねじれが吸収される。
【0081】
このように、ねじれ吸収部29により、リアルグローブ20のねじれを防止することができ、このため、ユーザは、手や腕を容易かつ円滑に動かすことができる。
【0082】
なお、ねじれ吸収部29の帯状部291の数は、2本以下でもよく、また、4本以上でもよい。
【0083】
また、手袋2aの各指の背側の各関節に対応する部分には、それぞれ、開口21aが形成されている。
【0084】
これらの開口21aにより、ユーザは、各指の各関節をそれぞれ容易かつ円滑に動かすことができる。
【0085】
また、このリアルグローブ20には、手袋2aの腕に対応する部分であって、前記ねじれ吸収部29よりも肘方向に位置する部分、すなわち、手袋2aの筒状部20aの肘側(基端側)の端部に、制御部24、電力供給部30、動力発生部211などが設けられている。
【0086】
これら制御部24、電力供給部30および動力発生部211の配置を前記のようにすることにより、リアルグローブ20の指先側(先端側)の重量を軽く(慣性を小さく)することができ、これにより、ユーザは、動作(操作)を容易に行うことができる。
【0087】
触覚発生部21の主要部は、ユーザがリアルグローブ20を装着したときに、ユーザの各指の第1関節(末節骨と中節骨との間の関節)から先の指先部分を覆う位置にそれぞれ設けられている。なお、各触覚発生部21の構成および作用は、ほぼ同様であるので、以下、代表的に、そのうちの1つについて説明する。
【0088】
図4は、触覚発生部21の構成例を示す縦断面図である。なお、図が煩雑になるのを避けるため、図中、一部、部材の厚みを省略して図示する。
【0089】
触覚発生部21は、図4(A)に示すように、モータ(駆動源)211aを備える動力発生部(移動手段)211と、長手方向に移動可能に設置されたアクチュエータワイヤ(可撓性を有する線状体)212と、アクチュエータワイヤ212の一端を保持するワイヤ保持部(付勢手段)213と、触覚を発生させるために指腹を押圧する触覚提示ピン(押圧部)214と、触覚提示ピン214を支持するとともに触覚提示ピン214の移動方向を規制する触覚提示ピン支持部(移動方向規制手段)215とで構成される複数の単位触覚発生部(アクチュエータ)210を有している。各単位触覚発生部210は、互いに独立している。
【0090】
なお、前記動力発生部211と、アクチュエータワイヤ212と、触覚提示ピン支持部215とで、触覚提示ピン214を駆動する駆動機構が構成される。
【0091】
動力発生部211は、例えば、制御部24からの制御信号に応じて内部に備えるモータ211aを回転駆動し、そのモータ211aの回転駆動によってアクチュエータワイヤ212を巻き取る処理(アクチュエータワイヤ212をアクチュエータワイヤ212の長手方向に移動させる処理)を行う。制御部24は、情報処理装置8からの指示に従って、モータ211aの回転駆動が所定のトルクで所定時間なされるように動力発生部211を制御する。動力発生部211は、情報処理装置8からの指示に従ってモータ211aに回転動力を与えることで、アクチュエータワイヤ212を所定の長さ巻き取る処理を行う。
【0092】
ワイヤ保持部213は、図4(A)に示すように、この実施形態では指の第1間接の近傍でアクチュエータワイヤ212の一端(終端)を保持する。このワイヤ保持部213は、例えばゴムやバネなどの弾性を有する部材(弾性体)により構成される。
【0093】
従って、動力発生部211のモータ211aの駆動によりアクチュエータワイヤ212が巻き取られ、そのアクチュエータワイヤ212が図4(A)中の時計回りに移動すると、それに伴ってワイヤ保持部213が伸張し、アクチュエータワイヤ212は、ワイヤ保持部213の復元力(弾性力)により、図4(A)中の反時計回りの方向(触覚提示ピン214を突出させるときのアクチュエータワイヤ212の移動方向と逆方向)に付勢される。そして、動力発生部211のモータ211aの駆動が停止し、アクチュエータワイヤ212の巻き取り状態が解除されると、ワイヤ保持部213が復元力(弾性力)によって収縮し、これにより、巻き取られていたアクチュエータワイヤ212が引き出され、図4(A)中の反時計回りに移動する。
【0094】
なお、動力発生部211は、アクチュエータワイヤ212の他端(始端)側に位置している。
【0095】
触覚提示ピン214は、ユーザの指腹に接触感覚(接触の有無や強さ等)を与えるために用いられ、指腹に接触する部分である微小な接触板(接触部)214aと、接触板214aを支持する支持部214bとで構成される。支持部214bは、その一端がアクチュエータワイヤ212の途中に固定され、その他端に接触板214aが設けられている。
【0096】
この実施形態では、図4(A)に示すように、リアルグローブ20の手袋2aは、指先を装着する(覆う)装着部が2重構造(例えば布などの部材を2枚重ね合わせて、重ね合わせた2枚の部材の間に何らかの部材が収納し得るような構造)になっており、指先を覆っている部分の内部(2重構造の内部)に、前記アクチュエータワイヤ212の一部、ワイヤ保持部213および支持部214bと、触覚提示ピン214のアクチュエータワイヤ212の移動方向への移動を規制する触覚提示ピン支持部215とが設けられている。そして、指が収納される手袋2a内に、支持部214bの一端側が突出し、接触板214aが位置している。
【0097】
この実施形態では、その接触板214aは、リアルグローブ20を装着した手の指先に常に接触した状態となっている。なお、これに限らず、接触板214aが指先から離間した状態(接触板214aと指先とが非接触の状態)をとり得るように構成されていてもよい。
【0098】
図4(A)では、説明を簡単にするため、1つの単位触覚発生部210(1つの触覚提示ピン214)が代表して示されているが、前述したように、実際には、触覚発生部21は、複数の単位触覚発生部210を有しており、その複数の触覚提示ピン214は、ユーザがリアルグローブ20を装着したときのユーザの指先の指腹に対応する位置に、例えば、指腹に沿って、かつ指腹に対し行列状(マトリックス状)に配置されている。
【0099】
各触覚提示ピン214の前後には、それぞれ、その触覚提示ピン214の支持部214bのアクチュエータワイヤ212の移動方向への移動を制限する触覚提示ピン支持部215が設けられている。
【0100】
なお、前記各触覚提示ピン214は、規則的に配置されていてもよく、また、不規則に配置されていてもよい。
【0101】
次に、触覚発生部21による触覚発生動作について説明する。
ユーザがリアルグローブ20を装着し、手や指を動かすことによって仮想空間に現れている物体(仮想物体)、すなわち対象物に、その指先(指腹)が仮想的に接触すると、情報処理装置8は、実際に接触があったとした場合の押圧力を計算し、その計算結果にもとづいて動力発生部211のPWMデータ(例えば、モータ211aを回転させるための励磁パターンを示すデータ)に変換する。
【0102】
この場合、前記仮想空間(3次元空間)において、予め、互いに直交するX軸、Y軸およびZ軸、すなわちX−Y−Z座標(3次元座標)が想定されており、前記物体の座標(位置情報)と、前記ユーザの指先の座標(位置情報)との一致を検出し、その一致が検出されると、物体の前記座標に相当する部位とユーザの指先の前記座標に相当する部位とが接触したと判別する。ユーザの指先の座標は、後述する位置姿勢検出部23から信号送受信部26を介して情報処理装置8に送信される信号(情報)に基づいて導出される。
【0103】
次いで、情報処理装置8は、導出したPWMデータと、実際に接触があったとした場合の接触位置に押圧力を与える接触板214aを動作させる動力発生部211を特定(指定)するためのデータとを、リアルグローブ20に送信する。リアルグローブ20は、受信したPWMデータに応じて、指定された動力発生部211を駆動し、アクチュエータワイヤ212を巻き取る。
【0104】
アクチュエータワイヤ212が巻き取られると、指腹に配されているアクチュエータワイヤ212が指腹に沿って指の先端方向に向けて移動し、図4(B)に示すように、アクチュエータワイヤ212に取付固定されている触覚提示ピン214も、指腹に沿って指の先端方向に向けて移動する。
【0105】
この際、図4(C)に示すように、触覚提示ピン214は、触覚提示ピン支持部215によって指の先端方向への移動が制限されるとともに、触覚提示ピン支持部215にガイドされて、図4(C)中上側へ移動する(指腹に向って突出する)。すなわち、触覚提示ピン214の接触板214aが指腹の表面に対しほぼ垂直上方に移動する。触覚提示ピン214の支持部214bは、待機時には(初期状態では)、図4(B)に示すように、垂直方向から指の先端方向に傾斜しており、前記接触板214aがほぼ垂直上方に移動しようとする力が働くことで、その接触板214aが指腹をほぼ垂直方向へ押圧し、これにより、ユーザの手の指腹に押圧力を与える。
【0106】
この動作が、複数の単位触覚発生部210のうちの指定された単位触覚発生部210でなされ、これにより、ユーザの手の指腹に触覚が提示される(与えられる)。よって、ユーザは、仮想空間画像における指腹の物体(対象物)への接触に相当する感覚を、指腹に得ることができる。
【0107】
前記指定された単位触覚発生部210において、動力発生部211のモータ211aの駆動が停止し、アクチュエータワイヤ212の巻き取り状態が解除されると、ワイヤ保持部213が復元力(弾性力)によって収縮し、これにより、巻き取られていたアクチュエータワイヤ212が引き出される。
【0108】
アクチュエータワイヤ212が引き出されると、指腹に配されているアクチュエータワイヤ212が指腹に沿って指の基端方向(図4(C)中右側)に向けて移動し、アクチュエータワイヤ212に取付固定されている触覚提示ピン214も、指腹に沿って指の基端方向に向けて移動し、触覚提示ピン214は、図4(B)に示す初期状態に戻る。これにより、触覚提示ピン214からユーザの手の指腹に与えられていた押圧力が実質的に消滅する。
【0109】
このような触覚発生部21によれば、指腹に対してほぼ平行に(指腹に沿って)アクチュエータワイヤ212を配置し、そのアクチュエータワイヤ212を巻き取ることによって指腹に対してほぼ垂直な力を与えるようになっているので、触覚を与えるための機構を薄くすることができ、これにより、リアルグローブ20の指腹側の厚みを極力抑えることができる。
【0110】
また、アクチュエータワイヤ212の弛みを防止することができ、触覚提示ピン214からユーザの指腹に、より正確かつ確実に目標の大ききの押圧力を与えることができる。
【0111】
図5および図6は、それぞれ、力覚発生部22の構成例を示す外観図である。なお、図5は、フレームカバーが取り外された状態を示す。
【0112】
図5に示すように、力覚発生部22は、リアルグローブ20を装着したときのユーザの各指の背側に設けられている。なお、力覚発生部22の構成および作用は、ほぼ同様であるので、以下、代表的に、そのうちの1つについて説明する。
【0113】
力覚発生部22は、回動可能に連結された複数(本実施形態では6つ)のフレーム221を備えたリンク機構と、各フレーム221を回動させる複数(本実施形態では7つ)のリンクモータ(駆動源)222と、手袋2aに設けられた複数(本実施形態では4つ)のフレームホルダ2bとを有している。
【0114】
前記フレームホルダ2bは、ユーザがリアルグローブ20を装着したとき、ユーザの指の第1関節より先端側に位置する装着部(第1装着部)と、第1関節と第2関節(中節骨と基節骨との間の関節)との間に位置する装着部(第2装着部)と、第2関節と第3関節との間に位置する装着部(第3装着部)と、第3関節(基節骨と中手骨との間の関節)より基端側に位置する装着部(第4装着部)とに、それぞれ、設けられている。
【0115】
リンク機構は、前記フレームホルダ2bによって、手袋2aの、リアルグローブ20を装着したときのユーザの指の背側に取り付けられている。
【0116】
すなわち、リンク機構の先端側(図5中右側)の端部のフレーム221は、ユーザがリアルグローブ20を装着したときに、ユーザの指の第1関節より先端側の部位にその端部が位置するように配置され、このフレーム221の先端部は、フレームホルダ2bに対し、回動可能に設置されている。
【0117】
また、リンク機構の基端側(図5中左側)の端部のフレーム221は、ユーザがリアルグローブ20を装着したときに、ユーザの指の第3関節より基端側の部位にその端部が位置するように配置され、このフレーム221の基端部は、フレームホルダ2bに対し、回動可能に設置されている。
【0118】
また、リンク機構の残りの各フレーム221は、ユーザがリアルグローブ20を装着したときに、ユーザの指の第1関節と第2関節との間の部位と、第2関節と第3関節との間の部位とに、フレーム連結部が1つおきに位置するように配置され、この1つおきのフレーム連結部において、フレームホルダ2bに対し、回動可能に設置されている。
【0119】
各リンクモータ222の駆動力(回転力)は、それぞれ、図示しない動力伝達部を介して、対応するフレーム221に伝達される。すなわち、リンクモータ222が所定方向に回転駆動すると、対応するフレーム221は、所定方向に回動し、これにより、フレーム221の角度が変更(調整)される。
【0120】
なお、図5には、前述したアクチュエータワイヤ212の束212aが示されている。
【0121】
力覚発生部22の各フレーム221や各リンクモータ222は、それぞれ、図6に示すように、例えば布製のフレームカバー2cの中に収納されている。
【0122】
また、図6に示すように、フレームカバー2cの内側には、手や指の所定の部位の位置および姿勢を検出する複数(本実施形態では4つ)の位置姿勢検出部(位置検出手段)23が設置されている。各位置姿勢検出部23は、それぞれ、位置および姿勢を検出する部位(検出位置)の近傍、すなわち、指の関節の近傍に対応する部位に、前記検出位置に対して一定の位置関係を保持し得るように設けられている。
【0123】
すなわち、各位置姿勢検出部23は、それぞれ、この実施形態では、フレームホルダ2bが設けられている位置に固定されている各リンクモータ222に取付固定されている。従って、各位置姿勢検出部23が設けられている部位と、ユーザの手のひら側の所定の部位(検出位置)との位置関係は、一定に保たれる。よって、位置姿勢検出部23が自己の位置や姿勢を検出することによって、ユーザの手の平側の所定の部位の位置や姿勢を容易かつ正確に導出することができる。
【0124】
また、各位置姿勢検出部23は、それぞれ、手の甲側に配置されているので、リアルグローブ20の指腹側の厚みを極力抑えることができる。
【0125】
また、図3に示すように、位置姿勢検出部23は、ユーザがリアルグローブ20を装着したとき、リアルグローブ20の腕の基端側の部位に相当する位置にも設置されている。
【0126】
これら位置姿勢検出部23により、リアルグローブ20を装着した各指、手、手首、腕などの各部の位置および姿勢を確実に把握することができる。
【0127】
次に、力覚発生部22による力覚発生動作について説明する。
ユーザがリアルグローブ20を装着し、手や指を動かすことによって仮想空間に現されている物体(仮想物体)、すなわち対象物に、その手や指が仮想的に接触すると、情報処理装置8は、実際に接触があった場合の前記物体から指(指の各関節)への反力を計算し、その計算結果にもとづいて各リンクモータ222のPWMデータ(例えば、リンクモータ222を回転させるための励磁パターンを示すデータ)に変換する。
【0128】
前記物体とユーザの手や指との接触の判別は、前記触覚発生部21の場合と同様である。
【0129】
情報処理装置8は、導出した各PWMデータと、駆動させる各リンクモータ222を示すデータとをリアルグローブ20に送信する。リアルグローブ20は、受信したデータに応じて、指定された各リンクモータ222を所定方向に回転駆動し、対応する各フレーム221を所定方向に回動させ、各フレーム221の角度を調整、すなわち、リンク機構の両端部のフレーム221の角度および各フレーム連結部の角度をそれぞれ調整する。
【0130】
このフレーム221の角度調整により、所定のフレームホルダ2bにそれぞれ所定の大きさの力が加わり、これにより、前記仮想空間に現されている物体からの反力に対応する力がユーザの指の各関節に与えられる。すなわち、指の各関節に対して力覚が提示される(与えられる)。
【0131】
ここで、この力覚発生部22は、指の複数の部位に装着する複数の装着部間の間隔を調節する機能を有している(調節手段を兼ねている)。
【0132】
例えば、図5に示すように、所定のフレーム221を回動させ、フレーム221の角度を調整することにより、各フレームホルダ2b間の間隔を長くしたり、または、短くしたりすることができる。
【0133】
図7は、位置姿勢検出部23の構成例を示すブロック図である。
位置姿勢検出部23には、本実施形態では、直交コイル式(直交コイル型)の位置センサ(位置検出手段)が用いられる。すなわち、位置姿勢検出部23は、図7に示すように、中心軸が互いに直交するX方向検出コイル(第1のコイル)231と、Y方向検出コイル(第2のコイル)232と、Z方向検出コイル(第3のコイル)233とで構成される。なお、X方向(X軸方向)と、Y方向(Y軸方向)と、Z方向(Z軸方向)とは、互いに直交している。
【0134】
一方、情報処理装置8には、磁界を発生する図示しない磁界発生部が設けられている。この磁界発生部には、例えば、前記位置姿勢検出部23とほぼ同じ構成のもの、すなわち、直交コイル式(直交コイル型)の磁界発生器(X方向コイル、Y方向コイル、Z方向コイル)が用いられる。
【0135】
磁界発生部で発生した磁界は、位置姿勢検出部23で検出される。この場合、磁界発生部のX方向コイル、Y方向コイルおよびZ方向コイルから、順次、磁界を発生し、それぞれを、位置姿勢検出部23のX方向検出コイル231、Y方向検出コイル232およびZ方向検出コイル233の3つのコイルで検出する。
【0136】
位置姿勢検出部23によってXYZ各方向について検出された各信号(検出データ)は、それぞれ、信号処理部25の増幅部251にて増幅され、A/D変換部252にてデジタル信号に変換された後、図2に示す信号送受信部26に出力され、この信号送受信部26により情報処理装置8に送信される。
【0137】
情報処理装置8では、前記信号を受信し、その信号(情報)に基づいて、リアルグローブ20を装着した各指、手、手首、腕などの各部の位置および姿勢、すなわち、前記各部の座標を導出し、その情報を所定の各処理において利用する。
【0138】
このように前記位置姿勢検出部23を設けることにより、アルグローブ20を装着した各指、手、手首、腕などの各部の位置および姿勢を正確かつ確実に求めることができる。
【0139】
仮想空間表示装置5には、この実施形態では、顔面に装着して使用する形態のもの、すなわち、HMD(ヘッドマウントディスプレイ)と呼ばれる眼鏡状の装置が用いられる。
【0140】
図8は、仮想空間表示装置5の外観構成例を示す斜視図、図9は、仮想空間表示装置5の回路構成例を示すブロック図である。
【0141】
仮想空間表示装置5は、装着者(ユーザ)に対して仮想空間画像を表示する画像表示部51a、51bと、装着者の視線を検出する視線検出部52a、52bと、周囲を撮像し、その周囲の画像(映像)を取り込む凹凸入力部(撮像手段)53a、53bと、装置全体の制御を行う制御部54と、信号送受信部55と、位置姿勢検出部(位置検出手段)56と、装着部57と、信号処理部58とを備えている。
【0142】
図10は、仮想空間表示装置5の凹凸入力部53aの構成例を示す図(ブロック図、模式図)である。
【0143】
凹凸入力部53aは、レンズ531と、CCD(撮像素子)532と、CCD制御部533と、CCD出力増幅部534とを有している。
【0144】
レンズ531に入射した光(光束)は、そのレンズ531により、CCD532の受光面(撮像面)上に導かれて結像し、その被写体像(周囲の像)は、CCD532により撮像される。このCCD532の駆動は、CCD制御部533により制御される。
【0145】
CCD532から出力された信号は、CCD出力増幅部534で増幅され、その後、凹凸入力部53aから出力され、図9に示す信号処理部58に入力され、所定の信号処理がなされ、信号送受信部55により情報処理装置8に送信される。
【0146】
なお、凹凸入力部53bの構成および作用は、前記凹凸入力部53aと同様であるので、その説明は、省略するが、この凹凸入力部53bと、前記凹凸入力部53aとでは、略同じ領域が撮像される。
【0147】
図11は、仮想空間表示装置5の画像表示部51aの構成例を示す図(ブロック図、模式図)である。
【0148】
画像表示部51aは、レンズ511と、レンズ511を移動させるレンズ移動機構512と、ステッピングモータ513と、モータ制御部514と、図示しないカラーフィルタを備えた液晶表示パネル515と、液晶駆動部516と、バックライト517と、バックライト制御部518と、トランジスタ519とを有している。
【0149】
画像表示部51aにおいて仮想空間画像を表示する際は、バックライト制御部518の制御により、トランジスタ519がオンし、バックライト517が駆動し、バックライト517から液晶表示パネル515へ光が照射される。
【0150】
そして、液晶駆動部516は、表示信号(画像データ)に基づいて、液晶表示パネル515の駆動を制御し、これにより、液晶表示パネル515に仮想空間画像が表示される。
【0151】
装着者は、レンズ511および後述する視線検出部52aのハーフミラー521を介し、この液晶表示パネル515に表示された仮想空間画像を視認することができる。
【0152】
ステッピングモータ513の駆動は、モータ制御部514により制御され、そのステッピングモータ513が所定方向に回転すると、レンズ移動機構512により、レンズ511は、液晶表示パネル515に接近する方向、すなわち、装着者の目から離間する方向へ移動する。
【0153】
また、ステッピングモータ513が前記と逆方向に回転すると、レンズ移動機構512により、レンズ511は、液晶表示パネル515から離間する方向、すなわち、装着者の目に接近する方向へ移動する。
【0154】
このレンズ511の位置の変更により、前記仮想空間画像の遠近を変更することができる。
【0155】
このレンズ511の位置の調整、すなわち、前記仮想空間画像の遠近の調整は、後述する視線検出部52a、52bで検出される装着者の視線の情報に基づいてなされる。
【0156】
なお、画像表示部51bの構成および作用は、前記画像表示部51aと同様であるので、その説明は、省略する。
【0157】
視線検出部52a、52bは、装着者の視線がどの方向にあるか(仮想空間画像のどこに焦点を合せようとしているか)を検出する機能と、セキュリティ情報として利用するための装着者の眼の虹彩パターンを読み取る機能とを有している。
【0158】
図12は、仮想空間表示装置5の視線検出部52aの構成例を示す図(ブロック図、模式図)である。
【0159】
視線検出部52aは、ハーフミラー521と、可視光を除去し、赤外光を透過させるフィルタ522と、レンズ523と、CCD(撮像素子)524と、CCD制御部525と、CCD出力増幅部526と、赤外光を発するLED(発光ダイオード)527と、LED制御部528と、トランジスタ529とを有している。
【0160】
LED527の駆動は、LED制御部528により制御され、そのLED制御部528の制御によりトランジスタ529がオンすると、LED527が駆動し、LED527から赤外光が発せられる。
【0161】
LED527から発せられた赤外光は、フィルタ522を透過し、ハーフミラー521でその一部が反射して、装着者の目に照射される。
【0162】
そして、装着者の目からの反射光(光束)は、ハーフミラー521でその一部が反射して、フィルタ522を透過し、レンズ523により、CCD524の受光面(撮像面)上に導かれて結像し、その被写体像(装着者の目の像)は、CCD524により撮像される。このCCD524の駆動は、CCD制御部525により制御される。
【0163】
CCD524から出力された信号は、CCD出力増幅部526で増幅され、その後、視線検出部52aから出力され、図9に示す信号処理部58に入力され、所定の信号処理がなされ、信号送受信部55により情報処理装置8に送信される。
【0164】
情報処理装置8では、前記信号を受信し、その信号(情報)に基づいて、装着者の視線がどの方向にあるか(仮想空間画像のどこに焦点を合せようとしているか)を検出するとともに、装着者の眼の虹彩パターンを読み取り、解析し、セキュリティ情報として利用する。
【0165】
一方、レンズ523側からフィルタ522へ入射する可視光は、フィルタ522で除去され、その可視光が装着者の目に照射されてしまうのを阻止することができる。これにより、液晶表示パネル515に表示された仮想空間画像の視認性の低下を防止することができる。
【0166】
なお、視線検出部52bの構成および作用は、前記視線検出部52aと同様であるので、その説明は、省略する。
【0167】
この仮想空間表示装置5は、2台の画像取込装置(撮像手段)、すなわち、前記凹凸入力部(撮像手段)53a、53bによって周囲の画像を撮像して取り込み、情報処理装置8に対して撮像した画像データ(映像データ)を送信する。
【0168】
情報処理装置8は、凹凸入力部53a、53bにて撮像された画像、すなわち撮像された画像データから視角差を導出し、その視角差等から得られる周囲の凹凸にもとづいて、仮想空間画像、すなわち仮想空間の画像データを作成する。そして、情報処理装置8は、作成した仮想空間の画像(映像)と、例えば、仮想壁紙や仮想パーソナルコンピュータや仮想本などの所定の仮想物体を周囲の凹凸に合わせて仮想空間に配置するための画像とを合成した合成画像(合成映像)を示す画像データ(映像データ)を仮想空間表示装置5に送信する。
【0169】
仮想空間表示装置5は、情報処理装置8からの画像データにもとづいて、その画像を画像表示部51a、51bを用いて表示する。
【0170】
また、仮想空間表示装置5は、装着されているリアルグローブ20、すなわち、ユーザの手や腕が画像表示部51a、51bにより表示されている画像の領域内に入っている場合には、その手や腕に対応する画像も、画像表示部51a、51bに表示する。
【0171】
この場合、前述したように、リアルグローブ20に設けられている複数の位置姿勢検出部23の検出データが情報処理装置8に送信されることで、リアルグローブ20の位置および姿勢、すなわち、ユーザの各指、手、手首、腕等は情報処理装置8にて認識される。すなわち、情報処理装置8は、逐一、リアルグローブ20からの前記検出データにもとづいて、ユーザの各指、手、手首、腕等の位置および姿勢を特定し、それらが画像表示部51a、51bにより表示されている画像の領域内に入っている場合には、それらを示す仮想空間画像を作成し、その画像を基礎の画像に合成して、合成画像(合成画像の画像データ)を得、その画像データを仮想空間表示装置5に送信する。
【0172】
従って、ユーザの手や腕が画像表示部51a、51bにより表示されている画像の領域内に入っている場合には、その手や腕に対応する画像が、画像表示部51a、51bに表示される。
【0173】
そして、リアルグローブ20を装着した手や指の実際の動作に連動し、画像表示部51a、51bに表示されている仮想空間画像においてその手や指が動く。
【0174】
位置姿勢検出部56は、仮想空間表示装置5の位置および姿勢、すなわち、装着者の顔面(頭部)の位置および姿勢を検出するためのセンサである。この位置姿勢検出部56には、本実施形態では、直交コイル式の位置センサ、すなわち、前記位置姿勢検出部23と同様のものが用いられる。
【0175】
位置姿勢検出部56からの信号(検出データ)は、信号処理部58に入力され、所定の信号処理がなされ、信号送受信部55により逐一情報処理装置8に送信される。情報処理装置8は、この検出データに基づいて、逐一仮想空間画像を更新する。
【0176】
従って、例えば仮想空間表示装置5を装着したユーザが首を動かした場合には、画像表示部51a、51bに表示される仮想空間画像は、ユーザが向いている方向に合致した画像となるように変化する。
【0177】
次に、触覚・力覚提示システム1の動作(作用)について説明する。
ここでは、ユーザが、触覚・力覚提示システム1を利用して、仮想空間に現れている仮想パーソナルコンピュータの操作を行う場合を例に説明する。
【0178】
ユーザは、各部の電源を入れ、リアルグローブ20を両手にそれぞれ装着し、眼鏡状の仮想空間表示装置5をかける(顔面に装着する)。すると、仮想空間表示装置5の画像表示部51a、51bに、仮想パーソナルコンピュータを含む仮想空間画像が表示される。
【0179】
また、ユーザの腕が画像表示部51a、51bで表示されている仮想空間画像内に入るようにすれば、情報処理装置8にて作成されたその手や腕の画像が仮想空間画像に仮想物体として表示される。そして、ユーザが手や指を動かした場合には、その実際の手や指の動きに連動して、仮想空間画像において、表示されている手や指が動く。
【0180】
情報処理装置8は、仮想空間画像における対象物、すなわち本実施形態では、例えば、仮想パーソナルコンピュータの一部(例えばキーボード)と、ユーザの指の一部が同一座標となったことを検出すると、リアルグローブ20に対して、触覚および力覚を発生させるための指示を行う。具体的には、リアルグローブ20に対して、駆動させる動力発生部211およびその駆動に用いるPWMデータや、駆動させるリンクモータ222およびその駆動に用いるPWMデータなどを送信する。
【0181】
リアルグローブ20は、情報処理装置8からの指示に従って、指定された各動作発生部211を、それぞれ、指定されたトルクで指定された時間だけPWM制御により駆動する。これにより、仮想パーソナルコンピュータの一部と同一座標となった部分に配置されている各触覚提示ピン214の接触板214aが突出し、仮想パーソナルコンピュータの一部と同一座標となったユーザの各指先に対して触覚が与えられる。すなわち、各指先に、接触感覚、質感、形状、強さ等の感覚が与えられる。
【0182】
同時に、リアルグローブ20は、情報処理装置8からの指示に従って、指定された各リンクモータ222を、それぞれ、指定されたトルクで指定された時間だけPWM制御により駆動する。これにより、実在するパーソナルコンピュータの例えばキーボードに触れているときに各指の各関節に与えられる力覚、すなわち、前記各指の各関節に与えられる押圧力(反力)に相当する力がユーザの各指の各関節に対して与えられる。
【0183】
また、ユーザが、さらに仮想パーソナルコンピュータのキーを押し込む方向に指を動かすと、指の座標変化に合わせて、画像表示部51a、51bに、キーを押し込む様子を示す仮想空間画像が表示される。
【0184】
この場合、情報処理装置8は、押下されたキーにもとづく表示状態の変化を仮想空間画像で再現するための仮想空間画像の画像データを生成して仮想空間表示装置5に送信する処理を行い、仮想空間表示装置5は、前記情報処理装置8からの仮想空間画像の画像データにもとづいて、仮想パーソナルコンピュータのディスプレイにキーの押下が反映された表示がなされる画像を表示する。
【0185】
以上説明したように、この触覚・力覚提示装置2および触覚・力覚提示システム1によれば、手および各指の所定の部位の位置および姿勢を正確かつ確実に求めることができる。
【0186】
また、仮想空間画像に応じて、各指に対して力覚および触覚をそれぞれ正確かつ確実に提示することができる。
【0187】
これにより、ユーザは、仮想空間における動作(操作)を、快適に、容易かつ確実に、行うことができる。
【0188】
また、触覚発生部21において、アクチュエータワイヤ212の弛みを防止することができ、各触覚提示ピン214からそれぞれユーザの各指腹に、より正確かつ確実に目標の大ききの押圧力を与えることができる。
【0189】
これにより、ユーザは、仮想空間画像における各指腹の物体(対象物)への接触に相当する感覚を、より正確かつ確実に各指腹で感じることができる。
【0190】
また、触覚発生部21では、各指腹に対してほぼ平行に(指腹に沿って)アクチュエータワイヤ212が配置され、そのアクチュエータワイヤ212を巻き取ることによって各指腹に対してほぼ垂直な力を与えるようになっているので、触覚を与えるための機構を薄くすることができ、これにより、リアルグローブ20の指腹側の厚みを極力抑えることができる。
【0191】
また、力覚発生部22はリンク機構を有しているので、指を伸ばしている状態、指を曲げている状態のいずれにおいても対応することができ、これにより、より確実に、各指に対して力覚を与えることができる。
【0192】
また、リアルグローブ20は、手袋2aを有しているので、そのリアルグローブ20の装着および取り外しを容易かつ確実に行うことができ、また、仮想空間における動作(操作)を容易かつ確実に行うことができる。
【0193】
なお、上述した実施形態では、使用例として仮想空間画像にて表示されているパーソナルコンピュータを仮想的に操作する場合について説明したが、本発明では、これに限らず、例えば、仮想本などの他の物品を取扱うために使用することもできる。仮想本を取扱う場合には、例えば、仮想本の縁をさわったりページをめくったりするときに、実際の本の縁をさわったりページをめくったりするときに指に加わる触感や力感を感じることができる。
【0194】
また、本発明では、仮想空間画像が表示されなくてもよい。すなわち、仮想空間画像に対応した所定のデータがあり、そのデータに基づいて、指に対して触覚や力覚を提示するよう構成されていてもよい。
【0195】
次に、本発明の触覚・力覚提示装置および触覚・力覚提示システムの第2実施形態について説明する。
【0196】
図13は、第2実施形態の触覚・力覚提示装置の触覚発生部の構成例を示す縦断面図である。
【0197】
以下、第2実施形態の触覚・力覚提示装置2および触覚・力覚提示システム1について、前述した第1実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
【0198】
図13(A)に示すように、第2実施形態の触覚・力覚提示装置2では、その触覚発生部21の各単位触覚発生部(アクチュエータ)210は、それぞれ、モータ(駆動源)211aを備える動力発生部(移動手段)211と、長手方向に移動可能に設置されたアクチュエータワイヤ(可撓性を有する線状体)212と、触覚を発生させるために指腹を押圧する触覚提示部216とを有している。
【0199】
触覚提示部216は、ユーザの指腹に接触感覚(接触の有無や強さ等)を与えるために用いられ、例えば、板バネのような弾性を有する部材(弾性体)で形成される。この場合、触覚提示部216は、適度な剛性を有するのが好ましく、例えば、各種金属で構成された弾性体で形成することができる。
【0200】
この触覚提示部216は、第1の板片(押圧部)216aと、第2の板片(スライド部)216bとで構成されている。第1の板片216aと第2の板片216bとは、一端側において接合されており、第1の板片216aの他端側には、指腹に接触する部分である微小な接触部216cが設けられている。この接触部216cは、例えば、第1の板片216aの端部を第2の板片216b側に向けて屈曲させることによって形成することができる。
【0201】
また、触覚提示部216の前記一端側、すなわち、図13(A)中左側の端部は、図13(A)中下側に凸となるように湾曲している。
【0202】
第1の板片216aと、第2の板片216bとの間には、第1の板片216aの移動方向を規制する円柱状のガイド部(移動方向規制手段)217が設置されている。
【0203】
また、触覚提示部216の図13(A)中下側には、押え板218が設置されており、触覚提示部216は、この押え板218に沿って移動(スライド)し得るようになっている。この場合、触覚提示部216は、その図13(A)中左側の端部が湾曲しているので、円滑かつ確実に移動することができる。
【0204】
前記ガイド部217は、押え板218に固定され、押え板218は、手袋2aに固定されている。すなわち、ガイド部217および押え板218は、共に、手袋2aに対して固定的に設置されている。
【0205】
また、触覚提示部216の第2の板片216bの図13(A)中右側の端部には、アクチュエータワイヤ212の一端が固定されている。
【0206】
動力発生部211のモータ211aの駆動によりアクチュエータワイヤ212が巻き取られると、そのアクチュエータワイヤ212は、指腹に沿って図13(A)中右側(指の基端方向)に移動し、これとともにアクチュエータワイヤ212に取付固定されている触覚提示部216も指腹に沿って図13(A)中右側に移動する。
【0207】
この際、図13(B)に示すように、触覚提示部216の第1の板片216aは、ガイド部217によって図13(B)中右側への移動が制限されるとともに、ガイド部217にガイドされて、図13(B)中上側へ移動する(指腹に向って突出する)。すなわち、触覚提示部216が弾性変形し、その第1の板片216aの姿勢が図13(B)に示す姿勢に変更されることで、接触部216cは、指腹の表面に対しほぼ垂直上方に移動する(押し上げられる)。
【0208】
一方、アクチュエータワイヤ212は、触覚提示部216の復元力(弾性力)により、図13(B)中左側(第1の板片216aを突出させるときのアクチュエータワイヤ212の移動方向と逆方向)に付勢される。すなわち、この触覚提示部216(第1の板片216a)は、付勢手段を兼ねる。
【0209】
前記接触部216cがほぼ垂直上方に移動しようとする力が働くことで、その接触部216cが指腹をほぼ垂直方向へ押圧し、これにより、ユーザの手の指腹に押圧力を与える。
【0210】
この動作が、複数の単位触覚発生部210のうちの指定された単位触覚発生部210でなされ、これにより、ユーザの手の指腹に触覚が提示される(与えられる)。よって、ユーザは、仮想空間画像における指腹の物体(対象物)への接触に相当する感覚を、指腹に得ることができる。
【0211】
前記指定された単位触覚発生部210において、動力発生部211のモータ211aの駆動が停止し、アクチュエータワイヤ212の巻き取り状態が解除されると、触覚提示部216の復元力(弾性力)と、ユーザの指からの圧力によって、触覚提示部216は、図13(A)に示す初期状態に戻る。これにより、触覚提示部216からユーザの手の指腹に与えられていた押圧力が実質的に消滅する。
【0212】
この触覚・力覚提示装置2および触覚・力覚提示システム1によれば、前述した第1実施形態と同様の効果が得られる。
【0213】
次に、本発明の触覚・力覚提示装置および触覚・力覚提示システムの第3実施形態について説明する。
【0214】
図14は、第3実施形態の触覚・力覚提示装置のリアルグローブの外観構成例を示す外観図(一部図示を省略)である。なお、図14中では、図3に示す触覚発生部21、動力発生部211、力覚発生部22、位置姿勢検出部23、制御部24および電力供給部30等は、図示されていない。
【0215】
以下、第3実施形態の触覚・力覚提示装置2および触覚・力覚提示システム1について、前述した第1実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
【0216】
図14に示すように、第3実施形態の触覚・力覚提示装置2では、リアルグローブ20の手袋2aの筒状部20aの肘側(基端側)の端部に、空気(エアー)の注入による空気圧(圧力)により腕に固定する形態(エアー注入方式)の腕固定部2dが設けられている。
【0217】
この腕固定部2dは、空気が注入される袋状の腕固定部本体21dと、その腕固定部本体21dに設けられたエアー注入部22dとで構成されている。腕固定部本体21dの外観形状は、筒状をなしている。
【0218】
エアー注入部22dの中空部は、腕固定部本体21dの内部に連通しており、エアー注入部22dの先端部には、蓋体23dが設けられている。
【0219】
蓋体23dをエアー注入部22dの先端部に装着すると、腕固定部本体21d内の気密性が保持され、蓋体23dを取り外すと、腕固定部本体21dに対し、エアー注入部22dを介して、空気の注入および排出を行うことができる。
【0220】
このような腕固定部2dは、各ユーザに応じて、例えば、ゴム型等の型を用いて、ユーザの腕の形状に合うように成形される。
【0221】
ユーザは、リアルグローブ20を装着する際は、まず、その手袋2aを装着し、次に、腕固定部2dの腕固定部本体21d内に、空気を注入する。
【0222】
この空気注入では、例えば、エアー注入部22dの先端部から蓋体23dを取り外し、そのエアー注入部22dから腕固定部本体21d内に空気を吹き込む。そして、所定量の空気を注入し終えると、エアー注入部22dの先端部に蓋体23dを装着する。
【0223】
このようにして、リアルグローブ20は、腕固定部2dの空気圧によりユーザの腕に固定されるとともに、手首固定部28の復元力(弾性力)によりユーザの手首に固定される。
【0224】
また、ユーザは、リアルグローブ20を取り外す際は、まず、腕固定部2dの腕固定部本体21d内から空気を排出し、次に、リアルグローブ20を手から取り外す。
【0225】
この触覚・力覚提示装置2および触覚・力覚提示システム1によれば、前述した第1実施形態と同様の効果が得られる。
【0226】
そして、この触覚・力覚提示装置2では、腕固定部2dがエアー注入方式のものであるので、リアルグローブ20の装着および取り外しを容易かつ迅速に行うことができる。
【0227】
なお、本発明では、触覚発生部21の単位触覚発生部210を、前述した第2実施形態のように構成してもよい。
【0228】
次に、本発明の触覚・力覚提示装置および触覚・力覚提示システムの第4実施形態について説明する。
【0229】
図15は、第4実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示すブロック図、図16は、第4実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示す外観図(一部図示を省略)、図17は、図16に示す位置姿勢検出部のZ方向検出センサの構成例を示す外観図である。なお、図16および図17中において、それぞれ、互いに直交するX軸、Y軸およびZ軸を想定する。
【0230】
以下、第4実施形態の触覚・力覚提示装置2および触覚・力覚提示システム1について、前述した第1実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
【0231】
第4実施形態の触覚・力覚提示装置2では、位置姿勢検出部(位置検出手段)23として、例えば、コリオリ力を利用して互いに直交するX軸、Y軸およびZ軸の回りの角速度をそれぞれ検出するジャイロセンサ(ジャイロスコープ)を用いる。
【0232】
そして、この触覚・力覚提示装置2では、凹凸入力部(撮像手段)53a、53bにより周囲を撮像し、その撮像された周囲の画像に指に対応する部分が含まれている場合には、凹凸入力部53a、53bからの画像データ(映像データ)に基づいて指の位置を求め、前記撮像された周囲の画像に指に対応する部分が含まれていない場合には、前記各位置姿勢検出部23により指の位置を検出し、各位置検出手段23からの情報に基づいて指の位置を求める。
【0233】
図16に示すように、位置姿勢検出部23は、ケーシング60と、ケーシング60内に設けられ、X軸の回りの角速度を検出するX方向検出センサ(第1の検出センサ)61、Y軸の回りの角速度を検出するY方向検出センサ(第2の検出センサ)62およびZ軸の回りの角速度を検出するZ方向検出センサ(第3の検出センサ)63とを有している。
【0234】
図17に示すように、Z方向検出センサ63は、エリンバー(基台)64と、エリンバー64に設置された振動用の圧電素子(振動用圧電素子)65および検出用の圧電素子(検出用圧電素子)66とで構成されている。このZ方向検出センサ63は、2本のワイヤ67、68により支持されている。
【0235】
エリンバー64の形状は、Z軸方向に長い略直方体をなしており、その略直交する2つの面の一方に前記振動用圧電素子65が設置され、他方に検出用圧電素子66が設置されている。この場合、Y軸に対して垂直な面に、振動用圧電素子65が配置され、X軸に対して垂直な面に、検出用圧電素子66が配置されているが、その配置を逆にしてもよい。
【0236】
このZ方向検出センサ63の振動用圧電素子65に図15に示す交流電源69から交流電圧が印加されると、その振動用圧電素子65は、X軸方向に振動(屈曲振動)し、これによりエリンバー64もX軸方向に振動する。このとき、Z軸の回りに回転(角速度)が生じると、その角速度に対応したレベルの電圧(信号)が検出用圧電素子66から検出される。
【0237】
なお、X方向検出センサ61およびY方向検出センサ62の構成および作用は、それぞれ、前記Z方向検出センサ63と同様であるので、その説明は、省略するが、X軸の回りに回転(角速度)が生じると、その角速度に対応したレベルの電圧(信号)がX方向検出センサ61の検出用圧電素子66から検出され、Y軸の回りに回転(角速度)が生じると、その角速度に対応したレベルの電圧(信号)がY方向検出センサ62の検出用圧電素子66から検出される。
【0238】
図15に示すように、位置姿勢検出部23のX方向検出センサ61によって検出されたX軸の回りの角速度に対応した信号(検出データ)と、Y方向検出センサ62によって検出されたY軸の回りの角速度に対応した信号(検出データ)と、Z方向検出センサ63によって検出されたZ軸の回りの角速度に対応した信号(検出データ)とは、それぞれ、信号処理部25の増幅部251にて増幅され、A/D変換部252にてデジタル信号に変換された後、図2に示す信号送受信部26に出力され、この信号送受信部26により情報処理装置8に送信される。
【0239】
情報処理装置8では、前記信号を受信し、その信号(情報)に基づいて、リアルグローブ20を装着した各指、手、手首、腕などの各部の位置および姿勢、すなわち、前記各部の座標を導出し、その情報を所定の各処理において利用する。
【0240】
次に、触覚・力覚提示システム1の動作(作用)について説明する。
この場合、リアルグローブ20を装着した各指、手、手首、腕などの各部の位置および姿勢を求める方法以外は、前述した第1実施形態と同様であるので、その説明は、省略する。
【0241】
使用に先立って、ユーザは、まず、凹凸入力部53a、53bにより撮像される周囲の画像にリアルグローブ20の指等の検出する部位に対応する部分が含まれるようにする。これにより、触覚・力覚提示システム1において初期設定がなされる。
【0242】
この初期設定では、仮想空間表示装置5は、2台の画像取込装置(撮像手段)、すなわち、凹凸入力部(撮像手段)53a、53bによって周囲の画像を撮像して取り込み、情報処理装置8に対して撮像した画像データ(映像データ)を送信する。
【0243】
この場合、凹凸入力部53a、53bにて撮像された画像にはリアルグローブ20の指等の検出する部位に対応する部分が含まれているので、情報処理装置8は、凹凸入力部53a、53bにて撮像された画像、すなわち撮像された画像データに基づいて前記指等の位置および姿勢(座標)を求める。この求められた位置および姿勢は、それぞれ、基準位置および基準姿勢、すなわち基準状態とされ、その基準位置および基準姿勢の情報は、情報処理装置8の図示しないメモリーに記憶される。
【0244】
前記初期設定が終了すると、使用可能状態となり、仮想空間表示装置5は、凹凸入力部(撮像手段)53a、53bによって周囲の画像を撮像して取り込み、情報処理装置8に対して撮像した画像データを送信する。
【0245】
情報処理装置8の図示しない判別手段は、凹凸入力部53a、53bにて撮像された画像、すなわち撮像された画像データに基づいて、凹凸入力部53a、53bにて撮像された画像にリアルグローブ20の指等の検出する部位に対応する部分が含まれているか否かを判別する。
【0246】
そして、前記撮像された画像に前記指等の検出する部位に対応する部分が含まれている場合には、情報処理装置8は、前記撮像された画像データに基づいて前記指等の位置および姿勢(座標)を求める。この求められた位置および姿勢は、それぞれ、基準位置および基準姿勢とされる。すなわち、前記メモリーに記憶されている基準位置および基準姿勢の情報は、前記新たな基準位置および基準姿勢の情報に書き換えられる。
【0247】
逆に、前記撮像された画像に前記指等の検出する部位に対応する部分が含まれていない場合には、情報処理装置8は、前記各位置姿勢検出部23からの信号(情報)に基づいて、前記指等の位置および姿勢(座標)を求める。この場合、各位置姿勢検出部23からの情報からは、前記基準位置および基準姿勢に対する相対的な位置および姿勢が求まり、その相対的な位置および姿勢の情報と、前記基準位置および基準姿勢の情報とに基づいて、前記指等の位置および姿勢が求められる。
【0248】
この触覚・力覚提示装置2および触覚・力覚提示システム1によれば、前述した第1実施形態と同様の効果が得られる。
【0249】
そして、この触覚・力覚提示装置2では、手および各指の所定の部位の位置および姿勢を正確かつ確実に求めることができるとともに、位置姿勢検出部23としてジャイロセンサを用いることにより、コストを低減することができる。
【0250】
なお、本実施形態では、位置姿勢検出部(位置検出手段)23は、ジャイロセンサで構成されているが、本発明では、これに限定されない。
【0251】
また、本発明では、触覚発生部21の単位触覚発生部210を、前述した第2実施形態のように構成してもよい。
【0252】
また、本発明では、腕固定部2dを、前述した第3実施形態のように、空気(エアー)の注入による空気圧(圧力)により腕に固定する形態(エアー注入方式)のものにしてもよい。
【0253】
以上、本発明の触覚・力覚提示装置および触覚・力覚提示システムを、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。
【0254】
また、本発明では、前記各実施形態の任意の2以上の構成(特徴)を適宜組み合わせてもよい。
【0255】
【発明の効果】
以上説明したように、本発明によれば、指の位置を正確かつ確実に求めることができ、仮想空間画像(仮想空間映像)に応じて、指に対して触覚や力覚を正確かつ確実に提示することができる。
【0256】
これにより、ユーザ(使用者)は、仮想空間における動作(操作)を、快適に、容易かつ確実に、行うことができる。
【図面の簡単な説明】
【図1】 本発明の触覚・力覚提示装置の第1実施形態およびその触覚・力覚提示装置を有する触覚・力覚提示システムの構成例を示す概念図である。
【図2】 図1に示すリアルグローブの回路構成例を示すブロック図である。
【図3】 図1に示すリアルグローブの外観構成例を示す外観図(一部図示を省略)である。
【図4】 図1に示すリアルグローブの触覚発生部の構成例を示す縦断面図である。
【図5】 図1に示すリアルグローブの力覚発生部の構成例を示す外観図である。
【図6】 図1に示すリアルグローブの力覚発生部の構成例を示す外観図である。
【図7】 図1に示すリアルグローブの位置姿勢検出部の構成例を示すブロック図である。
【図8】 図1に示す仮想空間表示装置の外観構成例を示す斜視図である。
【図9】 図1に示す仮想空間表示装置の回路構成例を示すブロック図である。
【図10】 図1に示す仮想空間表示装置の凹凸入力部の構成例を示す図(ブロック図、模式図)である。
【図11】 図1に示す仮想空間表示装置の画像表示部の構成例を示す図(ブロック図、模式図)である。
【図12】 図1に示す仮想空間表示装置の視線検出部の構成例を示す図(ブロック図、模式図)である。
【図13】 第2実施形態の触覚・力覚提示装置の触覚発生部の構成例を示す縦断面図である。
【図14】 第3実施形態の触覚・力覚提示装置のリアルグローブの外観構成例を示す外観図(一部図示を省略)である。
【図15】 第4実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示すブロック図である。
【図16】 第4実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示す外観図(一部図示を省略)である。
【図17】 図16に示す位置姿勢検出部のZ方向検出センサの構成例を示す外観図である。
【符号の説明】
1・・・触覚・力覚提示システム、2・・・触覚・力覚提示装置、20・・・リアルグローブ、2a・・・手袋、20a・・・筒状部、21a・・・開口、2b・・・フレームホルダ、2c・・・フレームカバー、2d・・・腕固定部、21d・・・腕固定部本体、22d・・・エアー注入部、23d・・・蓋体、21・・・触覚発生部、210・・・単位触覚発生部、211・・・動力発生部、211a・・・モータ、212・・・アクチュエータワイヤ、212a・・・束、213・・・ワイヤ保持部、214・・・触覚提示ピン、214a・・・接触板、214b・・・支持部、215・・・触覚提示ピン支持部、216・・・触覚提示部、216a・・・第1の板片、216b・・・第2の板片、216c・・・接触部、217・・・ガイド部、218・・・押え板、22・・・力覚発生部、221・・・フレーム、222・・・リンクモータ、23・・・位置姿勢検出部、231・・・X方向検出コイル、232・・・Y方向検出コイル、233・・・Z方向検出コイル、24・・・制御部、25・・・信号処理部、251・・・増幅部、252・・・A/D変換部、26・・・信号送受信部、27・・・遊び吸収部、28・・・手首固定部、29・・・ねじれ吸収部、291・・・帯状部、292・・・開口、30・・・電力供給部、5・・・仮想空間表示装置、51a、51b・・・画像表示部、511・・・レンズ、512・・・レンズ移動機構、513・・・ステッピングモータ、514・・・モータ制御部、515・・・液晶表示パネル、516・・・液晶駆動部、517・・・バックライト、518・・・バックライト制御部、519・・・トランジスタ、52a、52b・・・視線検出部、521・・・ハーフミラー、522・・・フィルタ、523・・・レンズ、524・・・CCD、525・・・CCD制御部、526・・・CCD出力増幅部、527・・・LED、528・・・LED制御部、529・・・トランジスタ、53a、53b・・・凹凸入力部、531・・・レンズ、532・・・CCD、533・・・CCD制御部、534・・・CCD出力増幅部、54・・・制御部、55・・・信号送受信部、56・・・位置姿勢検出部、57・・・装着部、58・・・信号処理部、60・・・ケーシング、61・・・X方向検出センサ、62・・・Y方向検出センサ、63・・・Z方向検出センサ、64・・・エリンバー、65・・・振動用圧電素子、66・・・検出用圧電素子、67、68・・・ワイヤ、69・・・交流電源、8・・・情報処理装置、9・・・基地局[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a tactile / force sense presentation device and a tactile / force sense presentation system.
[0002]
[Prior art]
In JP-A-6-282371, a virtual space image such as a book is displayed, and when a user (user) turns the displayed virtual book page, the page of the book is changed according to the operation. A virtual space desktop device configured to turn over is disclosed.
[0003]
In this virtual space desktop device, an optical fiber is used to detect the finger position, and the bending state of the finger joint is detected from the light amount of the optical fiber, and the finger position is detected indirectly from the bending state. It is supposed to be.
[0004]
However, the conventional apparatus has a drawback in that the accuracy of the detected finger position is low because the finger position is indirectly obtained from the bending state of the finger joint detected by the optical fiber.
[0005]
Further, in the above-described conventional apparatus, the user cannot feel the texture of the book paper with a hand or finger or the touch when touching the edge of the paper, for example, and the user holds the book with the hand or finger. I can't feel the reaction force when I hit, so I feel uncomfortable.
[0006]
When turning a page of a book, it is a natural action to turn the page by recognizing the edge of the book paper by the touch of a finger and lifting the paper (page) with a finger. With conventional devices, you can't get a feel for a book with your hand or fingers, so every time you turn a page of a book, you need to pay attention to the edge of the book's paper and move your finger to that edge. Therefore, it takes time and effort to turn the pages of the book.
[0007]
[Problems to be solved by the invention]
An object of the present invention is to provide a tactile sensation / force sensation presentation apparatus and a tactile sensation / force sensation presentation apparatus that can accurately and reliably determine a finger position and can present a tactile sensation or a haptic sensation to a finger according to a virtual space image. It is to provide a haptic presentation system.
[0008]
[Means for Solving the Problems]
Such purposes are as follows (1) to (12This is achieved by the present invention.
[0009]
(1) At least wearing means for wearing on a finger;
A position detecting means comprising a first coil, a second coil and a third coil whose central axes are orthogonal to each other, and detecting the position of the finger;
Force generation means for generating a force applied to the finger;
Control means for controlling the driving of the force sense generating means,
The force sensation generating means is provided in a link mechanism having a plurality of frames that are rotatably connected along a longitudinal direction of a finger, and is provided in each connecting portion of the plurality of frames, and rotates each frame. With multiple link motors,
The position detecting means detects the position of the finger, obtains the position of the finger based on the information from the position detecting means, and the control means obtains the obtained finger position information and the position of the object in the virtual space image. Based on information andEach link motorThe tactile / force sense presentation device is configured to control the driving of the finger and present a force sense to the finger.
[0010]
(2) At least wearing means for wearing on a finger;
A position detection means for detecting the position of the finger, comprising gyro sensors for detecting angular velocities around the X axis, the Y axis, and the Z axis substantially orthogonal to each other;
Force generation means for generating a force applied to the finger;
Control means for controlling driving of the force sense generating means;
A plurality of imaging means for imaging the surroundings;
Determining means for determining whether or not a portion corresponding to a finger is included in the image imaged by the imaging means;
The force sensation generating means is provided in a link mechanism having a plurality of frames that are rotatably connected along a longitudinal direction of a finger, and is provided in each connecting portion of the plurality of frames, and rotates each frame. With multiple link motors,
When a plurality of image pickup means pick up images of substantially the same area around the image and the image picked up by the image pickup means includes a part corresponding to the finger, the finger is based on the image data from the image pickup means. When a position corresponding to a finger is not included in the image captured by the imaging unit, the position of the finger is detected by the position detection unit, and the finger is detected based on information from the position detection unit. The control means, based on the obtained finger position information and the position information of the object of the virtual space image,Each link motorThe tactile / force-sensing device is configured to control the driving of the finger and present a force sense to the finger.
[0011]
(3) A first mounting portion positioned on the distal side of the first joint of the finger, a second mounting portion positioned between the first joint and the second joint, and between the second joint and the third joint. A third mounting portion located on the base end side and a fourth mounting portion located on the proximal side with respect to the third joint,
Of the plurality of frames, a distal end portion of the distal end side frame located closest to the distal end side of the finger is rotatably installed on the first mounting portion, and a proximal end side frame located closest to the proximal end side of the finger is arranged. The proximal end portion is rotatably installed on the fourth mounting portion.
The frame located between the distal end side frame and the proximal end side frame includes a portion between the first joint and the second joint, and a portion between the second joint and the third joint. In addition, the connecting portions of the frame are arranged so that every other connecting portion is located, and the connecting portions located in the portion between the first joint and the second joint of the every other connecting portion are: The connecting portion that is rotatably disposed on the second mounting portion and is located at a portion between the second joint and the third joint is rotatably disposed on the third mounting portion. The tactile / force sense presentation device according to 1) or (2).
[0012]
(4) having communication means for transmitting or receiving signals;
Based on the signal transmitted from the communication means,Link motorThe haptic / force-sensing presentation device according to any one of (1) to (3), wherein the haptic / force-sensing presentation device is configured to be driven.
[0013]
(5) The tactile / force sense presentation device according to any one of (1) to (4), wherein the position detection unit is provided in the vicinity of a portion detected by the position detection unit.
[0014]
(6) The tactile / force sense presentation device according to any one of (1) to (5), wherein the position detection unit is provided in a portion corresponding to a vicinity of a finger joint.
[0015]
(7) The tactile sensation according to any one of (1) to (6), wherein the position detection unit is provided so as to be able to maintain a certain positional relationship with respect to a portion detected by the position detection unit. Force display device.
[0016]
(8) The tactile / force-sensing presentation apparatus according to any one of (1) to (7), wherein the wearing unit is a glove-like piece worn from a finger to an arm.
[0017]
(9) The tactile / force sense presentation device according to any one of (1) to (8) above,
A tactile sensation / force sense presentation device characterized by comprising display means for displaying a virtual space image while worn on a face.
[0018]
(10) The tactile / force sense presentation device according to (2),
A display means for displaying the virtual space image attached to the face and used,
The tactile / force-sensing presentation apparatus, wherein the imaging unit is provided in the display unit.
[0019]
(11) communication means for transmitting or receiving signals to the display means;
Image creation means for creating a virtual space image;
Communication means for transmitting or receiving a signal to the image creating means,
The tactile / force sense presentation device according to (9) or (10), wherein the image creating unit is configured to update a virtual space image according to a finger movement.
[0020]
(12) The tactile / force sense presentation device according to (11), further including a control unit that controls driving of the tactile / force sense presentation device, the image creation unit, and the display unit.
[0052]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a tactile / force sense presentation device and a tactile / force sense presentation system according to the present invention will be described in detail based on preferred embodiments shown in the accompanying drawings.
[0053]
FIG. 1 is a conceptual diagram showing a configuration example of a first embodiment of a tactile / force sense presentation device according to the present invention and a tactile / force sense presentation system having the tactile sense / force sense presentation device, and FIG. It is a block diagram which shows the circuit structural example of a real glove. FIG. 3 is an external view (partially omitted) showing an external configuration example of the real glove shown in FIG.
[0054]
As shown in FIG. 1, a tactile / force sense presentation system 1 is attached to a user's (user) 's hand (finger) and touches the attached hand or each finger (feeling touched, for example, texture, A pair of real globes (data globes) 20 and 20 that give a sense of force (a sense of force applied when touched) and a virtual space image (virtual space image) are displayed. A virtual space display device (display means) 5, an information processing device 8 that performs various processes such as drive control of each
[0055]
Each
[0056]
The tactile / force sense presentation system 1 displays a virtual space image created (generated) by the information processing device 8 based on information supplied from the
[0057]
The information processing apparatus 8 has a wireless communication function (communication means) and a control function (control means) such as a mobile phone terminal, a personal computer having a wireless communication function, and a portable information device called PDA (Personal Digital Assistants). It is composed of various devices equipped.
[0058]
Moreover, the
[0059]
In the present embodiment, each
[0060]
Further, the information processing apparatus 8 may have some or all of the functions of the
[0061]
The
[0062]
Here, in this embodiment, the tactile / force sense presentation device 2 includes a pair of
[0063]
In the present invention, the tactile / force sense presentation device 2 may be configured by one
[0064]
In addition, in the present invention, the tactile / force sense presentation device 2 includes, in addition to the
[0065]
As shown in FIG. 2, the
[0066]
In addition, as shown in FIG. 3, the entire shape of the
[0067]
The user can easily and reliably attach and remove the
[0068]
Moreover, since the
[0069]
The
[0070]
The
[0071]
When the user wears the
[0072]
Further, even when a plurality of users having different hand dimensions such as finger lengths are used, the
[0073]
The
[0074]
When the user wears the
[0075]
Further, by the
[0076]
The
[0077]
When the user wears the
[0078]
The
[0079]
The
[0080]
When the user wears the
[0081]
As described above, the
[0082]
In addition, the number of the strip | belt-shaped
[0083]
Moreover, the
[0084]
With these
[0085]
Further, the
[0086]
By arranging the
[0087]
When the user wears the
[0088]
FIG. 4 is a longitudinal sectional view showing a configuration example of the tactile
[0089]
As shown in FIG. 4A, the tactile
[0090]
The
[0091]
For example, the
[0092]
As shown in FIG. 4A, the
[0093]
Therefore, when the
[0094]
The
[0095]
The tactile
[0096]
In this embodiment, as shown in FIG. 4 (A), the
[0097]
In this embodiment, the
[0098]
In FIG. 4A, for simplicity of explanation, one unit tactile sensation generating unit 210 (one tactile sense presenting pin 214) is shown as a representative. The
[0099]
Before and after each tactile
[0100]
The tactile sense presentation pins 214 may be regularly arranged or irregularly arranged.
[0101]
Next, a tactile sensation generating operation by the tactile
When the user wears the
[0102]
In this case, in the virtual space (three-dimensional space), the X axis, the Y axis, and the Z axis that are orthogonal to each other, that is, XYZ coordinates (three-dimensional coordinates) are assumed in advance, and the coordinates of the object ( Position information) and coordinates of the user's fingertip (position information) are detected, and when the match is detected, a portion corresponding to the coordinates of the object and a portion corresponding to the coordinates of the user's fingertip Is determined to have touched. The coordinates of the user's fingertip are derived based on a signal (information) transmitted from the position /
[0103]
Next, the information processing device 8 specifies the derived PWM data and data for specifying (specifying) the
[0104]
When the
[0105]
At this time, as shown in FIG. 4C, the tactile
[0106]
This operation is performed by a designated unit tactile
[0107]
In the designated unit tactile
[0108]
When the
[0109]
According to such a tactile
[0110]
In addition, it is possible to prevent the
[0111]
FIG. 5 and FIG. 6 are external views showing examples of the configuration of the
[0112]
As shown in FIG. 5, the
[0113]
The force
[0114]
When the user wears the
[0115]
The link mechanism is attached to the back side of the finger of the user when wearing the
[0116]
That is, when the user wears the
[0117]
Further, the
[0118]
In addition, each of the remaining
[0119]
The driving force (rotational force) of each
[0120]
FIG. 5 shows the
[0121]
As shown in FIG. 6, each
[0122]
Further, as shown in FIG. 6, a plurality (four in this embodiment) of position / posture detection units (position detection means) for detecting the position and posture of a predetermined part of the hand or finger inside the frame cover 2c. 23 is installed. Each position and
[0123]
That is, in this embodiment, each position and
[0124]
Moreover, since each position and
[0125]
As shown in FIG. 3, the position /
[0126]
The position and
[0127]
Next, the force sense generating operation by the force
When the user wears the
[0128]
The determination of the contact between the object and the user's hand or finger is the same as in the case of the tactile
[0129]
The information processing device 8 transmits the derived PWM data and data indicating each
[0130]
By adjusting the angle of the
[0131]
Here, the
[0132]
For example, as shown in FIG. 5, the interval between the
[0133]
FIG. 7 is a block diagram illustrating a configuration example of the position /
In this embodiment, the position /
[0134]
On the other hand, the information processing apparatus 8 is provided with a magnetic field generator (not shown) that generates a magnetic field. The magnetic field generator has, for example, a configuration substantially the same as that of the position and
[0135]
The magnetic field generated by the magnetic field generator is detected by the position /
[0136]
Each signal (detection data) detected in each of the XYZ directions by the position /
[0137]
The information processing apparatus 8 receives the signal and, based on the signal (information), determines the position and posture of each part such as a finger, hand, wrist, and arm wearing the
[0138]
By providing the position /
[0139]
In this embodiment, the virtual
[0140]
FIG. 8 is a perspective view illustrating an external configuration example of the virtual
[0141]
The virtual
[0142]
FIG. 10 is a diagram (block diagram, schematic diagram) illustrating a configuration example of the
[0143]
The
[0144]
The light (light beam) incident on the
[0145]
The signal output from the
[0146]
The configuration and operation of the concave /
[0147]
FIG. 11 is a diagram (block diagram, schematic diagram) illustrating a configuration example of the
[0148]
The
[0149]
When the virtual space image is displayed on the
[0150]
Then, the liquid
[0151]
The wearer can visually recognize the virtual space image displayed on the liquid
[0152]
The driving of the stepping
[0153]
Further, when the stepping
[0154]
By changing the position of the
[0155]
The adjustment of the position of the
[0156]
Since the configuration and operation of the
[0157]
The line-of-
[0158]
FIG. 12 is a diagram (block diagram, schematic diagram) illustrating a configuration example of the line-of-
[0159]
The line-of-
[0160]
The driving of the
[0161]
Infrared light emitted from the
[0162]
Then, a part of the reflected light (light beam) from the wearer's eyes is reflected by the
[0163]
The signal output from the
[0164]
The information processing apparatus 8 receives the signal, detects the direction of the wearer's line of sight (where in the virtual space image is focused) based on the signal (information), and wears it The iris pattern of the person's eyes is read, analyzed, and used as security information.
[0165]
On the other hand, visible light incident on the
[0166]
Since the configuration and operation of the line-of-
[0167]
The virtual
[0168]
The information processing device 8 derives a viewing angle difference from the images captured by the
[0169]
The virtual
[0170]
In addition, the virtual
[0171]
In this case, as described above, the detection data of the plurality of position /
[0172]
Accordingly, when the user's hand or arm is within the area of the image displayed by the
[0173]
Then, in conjunction with the actual movement of the hand or finger wearing the
[0174]
The position /
[0175]
A signal (detection data) from the position /
[0176]
Therefore, for example, when the user wearing the virtual
[0177]
Next, the operation (action) of the tactile / force sense presentation system 1 will be described.
Here, a case where the user operates the virtual personal computer appearing in the virtual space using the tactile / force sense presentation system 1 will be described as an example.
[0178]
The user turns on the power of each part, wears the
[0179]
Further, if the user's arm is included in the virtual space image displayed on the
[0180]
When the information processing apparatus 8 detects that the object in the virtual space image, that is, in this embodiment, for example, a part of the virtual personal computer (for example, a keyboard) and a part of the user's finger have the same coordinates, The
[0181]
In accordance with an instruction from the information processing device 8, the
[0182]
At the same time, the
[0183]
Further, when the user further moves his / her finger in the direction of pressing the key of the virtual personal computer, a virtual space image showing a state in which the key is pressed is displayed on the
[0184]
In this case, the information processing device 8 performs a process of generating image data of a virtual space image for reproducing a change in the display state based on the pressed key in the virtual space image and transmitting the image data to the virtual
[0185]
As described above, according to the haptic / force-sensing presentation device 2 and the haptic / force-sensing presentation system 1, the position and posture of a predetermined part of the hand and each finger can be obtained accurately and reliably.
[0186]
Further, according to the virtual space image, it is possible to accurately and reliably present a force sense and a tactile sense to each finger.
[0187]
Thereby, the user can perform the operation (operation) in the virtual space comfortably, easily and reliably.
[0188]
In addition, the tactile
[0189]
Thereby, the user can feel the sensation corresponding to the contact with the object (target object) of each finger pad in the virtual space image more accurately and reliably with each finger pad.
[0190]
In the tactile
[0191]
Further, since the force
[0192]
Moreover, since the
[0193]
In the above-described embodiment, the case where the personal computer displayed in the virtual space image is virtually operated as an example of use has been described. However, the present invention is not limited to this, and other examples such as a virtual book are used. It can also be used to handle other items. When dealing with virtual books, for example, when touching the edges of a virtual book or turning a page, when touching the edges of an actual book or turning a page, feel the tactile sensation and power applied to the finger. Can do.
[0194]
In the present invention, the virtual space image may not be displayed. That is, there is predetermined data corresponding to the virtual space image, and a tactile sensation or a force sensation may be presented to the finger based on the data.
[0195]
Next, a second embodiment of the tactile / force sense presentation device and the tactile / force sense presentation system of the present invention will be described.
[0196]
FIG. 13 is a longitudinal sectional view illustrating a configuration example of a tactile sensation generating unit of the tactile / force sense presentation device according to the second embodiment.
[0197]
Hereinafter, the haptic / force-sensitive presentation device 2 and the haptic / force-sensitive presentation system 1 according to the second embodiment will be described focusing on the differences from the first embodiment described above, and descriptions of similar matters will be omitted. To do.
[0198]
As shown in FIG. 13A, in the haptic / force-sensing presentation device 2 of the second embodiment, each unit haptic generator (actuator) 210 of the
[0199]
The tactile
[0200]
The tactile
[0201]
Further, the one end side of the tactile
[0202]
Between the
[0203]
In addition, a
[0204]
The
[0205]
In addition, one end of the
[0206]
When the
[0207]
At this time, as shown in FIG. 13B, the movement of the
[0208]
On the other hand, the
[0209]
The
[0210]
This operation is performed by a designated unit tactile
[0211]
In the designated unit tactile
[0212]
According to the tactile / force sense presentation device 2 and the tactile / force sense presentation system 1, the same effects as those of the first embodiment described above can be obtained.
[0213]
Next, a third embodiment of the tactile / force sense presentation device and the tactile / force sense presentation system of the present invention will be described.
[0214]
FIG. 14 is an external view (partially omitted) illustrating an external configuration example of a real glove of the tactile / force sense presentation device according to the third embodiment. In FIG. 14, the tactile
[0215]
Hereinafter, the haptic / force-sensitive presentation device 2 and the haptic / force-sensitive presentation system 1 of the third embodiment will be described with a focus on differences from the first embodiment described above, and descriptions of similar matters will be omitted. To do.
[0216]
As shown in FIG. 14, in the tactile / force sense presentation device 2 of the third embodiment, air (air) is placed on the elbow side (base end side) end of the
[0217]
The
[0218]
The hollow portion of the
[0219]
When the
[0220]
Such an
[0221]
When wearing the
[0222]
In this air injection, for example, the
[0223]
In this way, the
[0224]
Further, when removing the
[0225]
According to the tactile / force sense presentation device 2 and the tactile / force sense presentation system 1, the same effects as those of the first embodiment described above can be obtained.
[0226]
In the tactile / force sense presentation device 2, since the
[0227]
In the present invention, the unit tactile
[0228]
Next, a fourth embodiment of the tactile / force sense presentation device and the tactile / force sense presentation system of the present invention will be described.
[0229]
FIG. 15 is a block diagram illustrating a configuration example of the position / orientation detection unit of the tactile / force sense presentation device according to the fourth embodiment. FIG. 16 illustrates a configuration of the position / orientation detection unit of the tactile / force sense presentation device according to the fourth embodiment. FIG. 17 is an external view showing an example of the configuration of the Z-direction detection sensor of the position / orientation detection unit shown in FIG. 16. In FIGS. 16 and 17, an X axis, a Y axis, and a Z axis that are orthogonal to each other are assumed.
[0230]
Hereinafter, the haptic / force-sensitive presentation device 2 and the haptic / force-sensitive presentation system 1 of the fourth embodiment will be described focusing on differences from the first embodiment described above, and descriptions of similar matters will be omitted. To do.
[0231]
In the tactile / force sense presentation device 2 of the fourth embodiment, as the position / orientation detection unit (position detection means) 23, for example, the angular velocities around the X, Y, and Z axes orthogonal to each other using Coriolis force are obtained. A gyro sensor (gyroscope) to detect each is used.
[0232]
In the tactile / force sense presentation device 2, when the surroundings are imaged by the unevenness input units (imaging means) 53 a and 53 b and a portion corresponding to the finger is included in the captured surrounding image, The position of the finger is obtained based on the image data (video data) from the concave /
[0233]
As shown in FIG. 16, the position /
[0234]
As shown in FIG. 17, the Z-
[0235]
The shape of the
[0236]
When an AC voltage is applied from the
[0237]
The configuration and operation of the
[0238]
As shown in FIG. 15, the signal (detection data) corresponding to the angular velocity around the X axis detected by the X
[0239]
The information processing apparatus 8 receives the signal and, based on the signal (information), determines the position and posture of each part such as a finger, hand, wrist, and arm wearing the
[0240]
Next, the operation (action) of the tactile / force sense presentation system 1 will be described.
In this case, since the method is the same as that of the first embodiment described above except for the method for obtaining the position and posture of each part such as each finger, hand, wrist, and arm wearing the
[0241]
Prior to use, the user first causes the surrounding image captured by the concave /
[0242]
In this initial setting, the virtual
[0243]
In this case, since the image picked up by the
[0244]
When the initial setting is completed, the virtual
[0245]
The determination unit (not shown) of the information processing apparatus 8 applies the
[0246]
When the captured image includes a portion corresponding to a part to be detected such as the finger, the information processing device 8 determines the position and posture of the finger based on the captured image data. Find the coordinates. The obtained position and orientation are set as a reference position and a reference orientation, respectively. That is, the reference position and reference posture information stored in the memory is rewritten with the new reference position and reference posture information.
[0247]
On the other hand, when the captured image does not include a portion corresponding to a part to be detected such as the finger, the information processing apparatus 8 is based on a signal (information) from each position and
[0248]
According to the tactile / force sense presentation device 2 and the tactile / force sense presentation system 1, the same effects as those of the first embodiment described above can be obtained.
[0249]
The tactile / force sense presentation device 2 can accurately and surely determine the position and posture of a predetermined part of the hand and each finger, and the cost can be reduced by using a gyro sensor as the position and
[0250]
In the present embodiment, the position / orientation detection unit (position detection means) 23 is constituted by a gyro sensor. However, the present invention is not limited to this.
[0251]
In the present invention, the unit tactile
[0252]
In the present invention, the
[0253]
The tactile / force sense presentation device and the tactile / force sense presentation system according to the present invention have been described based on the illustrated embodiment. However, the present invention is not limited to this, and the configuration of each part is the same. Any structure having a function can be substituted.
[0254]
In the present invention, any two or more configurations (features) of the respective embodiments may be appropriately combined.
[0255]
【The invention's effect】
As described above, according to the present invention, the position of the finger can be obtained accurately and reliably, and a tactile sensation or force sense can be accurately and reliably applied to the finger according to the virtual space image (virtual space image). Can be presented.
[0256]
Thereby, the user (user) can perform the operation (operation) in the virtual space comfortably, easily and reliably.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram illustrating a configuration example of a tactile / force sense presentation system according to a first embodiment of a tactile / force sense presentation apparatus of the present invention and the tactile / force sense presentation apparatus.
FIG. 2 is a block diagram illustrating an example of a circuit configuration of a real glove illustrated in FIG.
3 is an external view (partially omitted) showing an external configuration example of the real glove shown in FIG. 1. FIG.
4 is a longitudinal sectional view showing a configuration example of a real glove tactile sensation generating unit shown in FIG.
FIG. 5 is an external view showing a configuration example of a real glove force generation unit shown in FIG. 1;
6 is an external view showing a configuration example of a real glove force generation unit shown in FIG. 1; FIG.
7 is a block diagram illustrating a configuration example of a real glove position and orientation detection unit illustrated in FIG. 1; FIG.
8 is a perspective view showing an example of an external configuration of the virtual space display device shown in FIG. 1. FIG.
9 is a block diagram illustrating a circuit configuration example of the virtual space display device illustrated in FIG. 1;
10 is a diagram (block diagram, schematic diagram) illustrating a configuration example of an unevenness input unit of the virtual space display device illustrated in FIG. 1;
11 is a diagram (block diagram, schematic diagram) illustrating a configuration example of an image display unit of the virtual space display device illustrated in FIG. 1;
12 is a diagram (block diagram, schematic diagram) illustrating a configuration example of a line-of-sight detection unit of the virtual space display device illustrated in FIG. 1;
FIG. 13 is a longitudinal sectional view showing a configuration example of a tactile sensation generating unit of the tactile / force sense presentation device according to the second embodiment.
FIG. 14 is an external view (partially omitted) illustrating an external configuration example of a real glove of the tactile / force sense presentation device according to the third embodiment.
FIG. 15 is a block diagram illustrating a configuration example of a position / orientation detection unit of the tactile / force sense presentation device according to the fourth embodiment;
FIG. 16 is an external view (partially omitted) illustrating a configuration example of a position / orientation detection unit of the tactile / force sense presentation device according to the fourth embodiment;
17 is an external view illustrating a configuration example of a Z direction detection sensor of the position and orientation detection unit illustrated in FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Tactile sense / force sense presentation system, 2 ... Tactile sense / force sense presentation device, 20 ... Real glove, 2a ... Gloves, 20a ... Cylindrical part, 21a ... Opening, 2b ... Frame holder, 2c ... Frame cover, 2d ... Arm fixing part, 21d ... Arm fixing part body, 22d ... Air injection part, 23d ... Lid, 21 ... Tactile
Claims (12)
中心軸が互いに直交する第1のコイル、第2のコイルおよび第3のコイルを備え、指の位置を検出する位置検出手段と、
指に与える力覚を発生する力覚発生手段と、
前記力覚発生手段の駆動を制御する制御手段とを有し、
前記力覚発生手段は、指の長手方向に沿って回動可能に連結された複数のフレームを備えたリンク機構と、前記複数のフレームの各連結部に設けられ、前記各フレームを回動させる複数のリンクモータとを備え、
前記位置検出手段により指の位置を検出し、前記位置検出手段からの情報に基づいて指の位置を求め、前記制御手段は、前記求めた指の位置情報と、仮想空間画像の対象物の位置情報とに基づいて、前記各リンクモータの駆動を制御し、指に対して力覚を提示するよう構成されていることを特徴とする触覚・力覚提示装置。A wearing means to be worn at least on the finger;
A position detecting means comprising a first coil, a second coil and a third coil whose central axes are orthogonal to each other, and detecting the position of the finger;
Force generation means for generating a force applied to the finger;
Control means for controlling the driving of the force sense generating means,
The force sensation generating means is provided in a link mechanism having a plurality of frames that are rotatably connected along a longitudinal direction of a finger, and is provided in each connecting portion of the plurality of frames, and rotates each frame. With multiple link motors,
The position detecting means detects the position of the finger, obtains the position of the finger based on the information from the position detecting means, and the control means obtains the obtained finger position information and the position of the object in the virtual space image. A tactile / force sense presentation device configured to control driving of each link motor based on the information and present a force sense to a finger.
互いに略直交するX軸、Y軸およびZ軸の周りの角速度をそれぞれ検知するジャイロセンサを備え、指の位置を検出する位置検出手段と、
指に与える力覚を発生する力覚発生手段と、
前記力覚発生手段の駆動を制御する制御手段と、
周囲を撮像する複数の撮像手段と、
前記撮像手段によって撮像された画像に指に対応する部分が含まれているか否かを判別する判別手段とを有し、
前記力覚発生手段は、指の長手方向に沿って回動可能に連結された複数のフレームを備えたリンク機構と、前記複数のフレームの各連結部に設けられ、前記各フレームを回動させる複数のリンクモータとを備え、
前記複数の撮像手段により周囲の略同じ領域を撮像し、前記撮像手段によって撮像された画像に指に対応する部分が含まれている場合には、前記撮像手段からの画像データに基づいて指の位置を求め、前記撮像手段によって撮像された画像に指に対応する部分が含まれていない場合には、前記位置検出手段により指の位置を検出し、前記位置検出手段からの情報に基づいて指の位置を求め、前記制御手段は、前記求めた指の位置情報と、仮想空間画像の対象物の位置情報とに基づいて、前記各リンクモータの駆動を制御し、指に対して力覚を提示するように構成されていることを特徴とする触覚・力覚提示装置。A wearing means to be worn at least on the finger;
A position detection means for detecting the position of the finger, comprising gyro sensors for detecting angular velocities around the X axis, the Y axis, and the Z axis substantially orthogonal to each other;
Force generation means for generating a force applied to the finger;
Control means for controlling driving of the force sense generating means;
A plurality of imaging means for imaging the surroundings;
Determining means for determining whether or not a portion corresponding to a finger is included in the image imaged by the imaging means;
The force sensation generating means is provided in a link mechanism having a plurality of frames that are rotatably connected along a longitudinal direction of a finger, and is provided in each connecting portion of the plurality of frames, and rotates each frame. With multiple link motors,
When a plurality of image pickup means pick up images of substantially the same area around the image and the image picked up by the image pickup means includes a part corresponding to the finger, the finger is based on the image data from the image pickup means. When a position corresponding to a finger is not included in the image captured by the imaging unit, the position of the finger is detected by the position detection unit, and the finger is detected based on information from the position detection unit. The control means controls the drive of each link motor based on the obtained finger position information and the position information of the object in the virtual space image, and gives a force sense to the finger. A tactile / force-sensing presentation device configured to present.
前記複数のフレームのうちの最も指の先端側に位置する先端側フレームの先端部は、前記第1装着部に回動可能に設置され、最も指の基端側に位置する基端側フレームの基端部は、前記第4装着部に回動可能に設置され、 Of the plurality of frames, a distal end portion of the distal end side frame located closest to the distal end side of the finger is rotatably installed on the first mounting portion, and a proximal end side frame located closest to the proximal end side of the finger is arranged. The proximal end portion is rotatably installed on the fourth mounting portion.
前記先端側フレームと前記基端側フレームとの間に位置するフレームは、前記第1関節と前記第2関節との間の部位と、前記第2関節と前記第3関節との間の部位とに、前記フレームの連結部が1つおきに位置するように配置され、当該1つおきの連結部のうちの前記第1関節と前記第2関節との間の部位に位置する連結部は、前記第2装着部に回動可能に配置され、前記第2関節と前記第3関節との間の部位に位置する連結部は、前記第3装着部に回動可能に配置されている請求項1または2に記載の触覚・力覚提示装置。 The frame located between the distal end side frame and the proximal end side frame includes a portion between the first joint and the second joint, and a portion between the second joint and the third joint. In addition, the connecting portions of the frame are arranged so that every other connecting portion is located, and the connecting portions located in the portion between the first joint and the second joint of the every other connecting portion are: The connecting portion that is rotatably disposed on the second mounting portion and is located at a portion between the second joint and the third joint is rotatably disposed on the third mounting portion. The tactile / force sense presentation device according to 1 or 2.
前記通信手段から送信される信号に基づいて、前記リンクモータが駆動するよう構成されている請求項1ないし3のいずれかに記載の触覚・力覚提示装置。Having communication means for transmitting or receiving signals;
4. The tactile / force sense presentation device according to claim 1, wherein the link motor is driven based on a signal transmitted from the communication unit.
顔面に装着して使用し、仮想空間画像を表示する表示手段とを有することを特徴とする触覚・力覚提示装置。A tactile / force-sensing presentation device according to any one of claims 1 to 8,
A tactile sensation / force sense presentation device characterized by comprising display means for displaying a virtual space image while worn on a face.
顔面に装着して使用し、仮想空間画像を表示する表示手段とを有しており、
前記撮像手段は、前記表示手段に設けられていることを特徴とする触覚・力覚提示装置。A tactile / force-sensing presentation device according to claim 2,
A display means for displaying the virtual space image attached to the face and used,
The tactile / force-sensing presentation apparatus, wherein the imaging unit is provided in the display unit.
仮想空間画像を作成する画像作成手段と、
前記画像作成手段に対して信号の送信または受信を行う通信手段とを有し、
前記画像作成手段は、指の動きに応じて仮想空間画像を更新するよう構成されている請求項9または10に記載の触覚・力覚提示装置。Communication means for transmitting or receiving signals to the display means;
Image creation means for creating a virtual space image;
Communication means for transmitting or receiving a signal to the image creating means,
The tactile / force sense presentation device according to claim 9, wherein the image creating unit is configured to update a virtual space image according to a finger movement.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002145158A JP4023214B2 (en) | 2002-05-20 | 2002-05-20 | Tactile / force sense presentation device and tactile / force sense presentation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002145158A JP4023214B2 (en) | 2002-05-20 | 2002-05-20 | Tactile / force sense presentation device and tactile / force sense presentation system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003337653A JP2003337653A (en) | 2003-11-28 |
JP2003337653A5 JP2003337653A5 (en) | 2005-09-29 |
JP4023214B2 true JP4023214B2 (en) | 2007-12-19 |
Family
ID=29704595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002145158A Expired - Fee Related JP4023214B2 (en) | 2002-05-20 | 2002-05-20 | Tactile / force sense presentation device and tactile / force sense presentation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4023214B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190048608A (en) * | 2017-10-31 | 2019-05-09 | 숭실대학교산학협력단 | Apparatus and method for signal processing in sonar system, recording medium for performing the method |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005117768A1 (en) * | 2004-06-04 | 2005-12-15 | Isabelle Prenat | Remote tactile sensory perception system |
JP4665811B2 (en) * | 2006-03-27 | 2011-04-06 | ヤマハ株式会社 | Performance equipment |
KR101960842B1 (en) | 2012-04-04 | 2019-07-15 | 삼성전자주식회사 | Contact type tactile feedback apparatus and method of operating contact type tactile feedback apparatus |
KR101521560B1 (en) * | 2013-09-03 | 2015-05-29 | 강순걸 | Interface devices for hand haptic |
KR101548156B1 (en) * | 2014-02-04 | 2015-08-31 | 한국기술교육대학교 산학협력단 | A wireless exoskeleton haptic interface device for simultaneously delivering tactile and joint resistance and the method for comprising the same |
KR101578345B1 (en) | 2014-09-03 | 2015-12-17 | 재단법인 실감교류인체감응솔루션연구단 | Apparatus for generating force feedback |
KR101525226B1 (en) * | 2014-12-12 | 2015-06-04 | 영풍전자(주) | Motion recognizing glove for augmented reality |
KR101643576B1 (en) * | 2015-02-12 | 2016-07-29 | 한국과학기술연구원 | A thimble type force feedback device |
KR101764328B1 (en) | 2016-06-09 | 2017-08-02 | 울산과학기술원 | Force reflecting system |
JP6922908B2 (en) * | 2016-07-07 | 2021-08-18 | ソニーグループ株式会社 | Information processing equipment, information processing methods, and programs |
CN106227346B (en) * | 2016-07-25 | 2022-10-21 | 南京航空航天大学 | Force sense and touch sense fusion reproduction device and method based on electromagnetic field control |
JP2019067166A (en) * | 2017-10-02 | 2019-04-25 | 富士ゼロックス株式会社 | Electronic apparatus |
KR102377162B1 (en) | 2020-01-03 | 2022-03-22 | 동의대학교 산학협력단 | Wearable keyboard |
CN116439666B (en) * | 2023-04-11 | 2024-01-09 | 国家体育总局体育科学研究所 | System for quantitatively researching influence of ice and snow sport gloves on touch force sense of wearer |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5184319A (en) * | 1990-02-02 | 1993-02-02 | Kramer James F | Force feedback and textures simulating interface device |
JP3127059B2 (en) * | 1993-02-03 | 2001-01-22 | シャープ株式会社 | Coordinate input device |
JP3027905B2 (en) * | 1994-04-06 | 2000-04-04 | 松下電器産業株式会社 | Operability evaluation device |
JPH075978A (en) * | 1993-06-18 | 1995-01-10 | Sony Corp | Input device |
JPH07244558A (en) * | 1994-03-07 | 1995-09-19 | Sharp Corp | Touch sense presenting device |
JP2000148381A (en) * | 1998-11-05 | 2000-05-26 | Telecommunication Advancement Organization Of Japan | Input image processing method, input image processor and recording medium on which input image processing program has been recorded |
JP4332254B2 (en) * | 1999-04-28 | 2009-09-16 | 株式会社アミテック | Intelligent glove-type hand input device |
JP4109806B2 (en) * | 1999-08-31 | 2008-07-02 | 株式会社東芝 | Direction presenting apparatus and method using tactile sense |
JP2002007030A (en) * | 2000-06-16 | 2002-01-11 | Olympus Optical Co Ltd | Movement detecting device and operation input device |
-
2002
- 2002-05-20 JP JP2002145158A patent/JP4023214B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190048608A (en) * | 2017-10-31 | 2019-05-09 | 숭실대학교산학협력단 | Apparatus and method for signal processing in sonar system, recording medium for performing the method |
KR102020989B1 (en) * | 2017-10-31 | 2019-09-11 | 숭실대학교산학협력단 | Apparatus and method for signal processing in sonar system, recording medium for performing the method |
Also Published As
Publication number | Publication date |
---|---|
JP2003337653A (en) | 2003-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6862006B2 (en) | Image processing apparatus and image processing method, and image processing program and recording medium of the same | |
US7250935B2 (en) | Force-feedback supply apparatus and image correcting method | |
JP4023214B2 (en) | Tactile / force sense presentation device and tactile / force sense presentation system | |
JP4085691B2 (en) | Image processing device | |
US11481031B1 (en) | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users | |
JP4048999B2 (en) | Image processing apparatus and image processing method | |
US10845895B1 (en) | Handheld controllers for artificial reality and related methods | |
JP2003316493A (en) | Tactile sense presentation device | |
US11132058B1 (en) | Spatially offset haptic feedback | |
JP4039111B2 (en) | Tactile / force sense presentation device and tactile / force sense presentation system | |
JP2003308141A (en) | Inner force sense presenting device | |
KR102162922B1 (en) | Virtual reality-based hand rehabilitation system with haptic feedback | |
JP2003337653A5 (en) | ||
JP4063131B2 (en) | Image processing apparatus and tactile / force-sensing method | |
JPH07281818A (en) | Three-dimensional virtual instruction input system | |
JPH04210390A (en) | Remote operation system for robot hand | |
JP2004213349A (en) | Inner force sense presentation device and system | |
JP2003337961A (en) | Device and method for image processing, image processing program, and recording medium therefor | |
JP6964302B2 (en) | Animation production method | |
JP2004213351A (en) | Inner force sense presentation device and system | |
WO2021059367A1 (en) | Animation production system | |
JPH06259002A (en) | Virtual reality system | |
WO2021059368A1 (en) | Animation production system | |
US11709554B1 (en) | Finger devices with adjustable housing structures | |
WO2023286316A1 (en) | Input device, system, and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050511 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050511 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050511 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070924 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131012 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |