JP2004318400A

JP2004318400A - Image processing device and image processing method

Info

Publication number: JP2004318400A
Application number: JP2003110367A
Authority: JP
Inventors: Shigemi Sato; 茂美佐藤; Akira Kubota; 晃窪田; Masashi Fukuda; 昌史福田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-04-15
Filing date: 2003-04-15
Publication date: 2004-11-11
Anticipated expiration: 2023-04-15
Also published as: JP4048999B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing device and an image processing method capable of three-dimensionally displaying an object of a flat image drawn on a virtual book when the virtual book is opened to a predetermined extent in a virtual space. <P>SOLUTION: This image processing device 1 comprises an image generation part 83 generating a virtual space image, a display means displaying the virtual space image, a finger position detection means detecting the finger position, a collision determination part 82 determining whether the finger touches the object or not, an opening/closing determination means determining whether the virtual book is opened to the predetermined extent or not when the finger touches the object (the virtual book), a display switch means (a control part 84) switching display of the object drawn on the virtual book from the flat image to the three-dimensional one when the virtual book is opened to the predetermined extent, and a touch feeling indication means generating a touch feeling to be given to the finger and providing it when the finger touches the virtual object. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
本等の仮想空間画像が表示され、ユーザ（使用者）が、表示された仮想の本のページをめくる動作をすると、その動作に応じて、前記本のページがめくれるように構成された仮想空間デスクトップ装置が開示されている（例えば、特許文献１など参照）。
しかしながら、前記従来の装置では、ユーザは、手や指で、本の用紙の質感や、用紙の例えばエッジに接触したときの感触などを感じることができず、また、手や指で本を握ったときの反力などを感じることができないため、違和感を覚える。
【０００３】
また、本のページめくりの際は、指の感触により本の用紙のエッジを認識し、その用紙（ページ）を指で挟んで持ち上げるようにしてページをめくるのが自然の動作であるが、前記従来の装置では本に対して手や指による感触が得られないので、本のページをめくる動作の度に、本の用紙のエッジに注目して、そのエッジに指を移動させる動作などが必要となり、前記本のページめくりに手間と時間がかかる。
【０００４】
ところで、仮想空間内で仮想の本（例えば、絵本や図鑑など）を見る場合、仮想空間という利点を生かして、その仮想の本に描かれている動物や昆虫などの平面画像（仮想の本に描かれた二次元画像）を、実物大で感触（触覚）を伴った立体映像（三次元画像）として表示することによって、現実のものとして体験し、理解したいという要望も考えられる。
【０００５】
【特許文献１】
特開平６−２８２３７１号公報
【０００６】
【発明が解決しようとする課題】
本発明の目的は、仮想空間において、仮想の本を読んでいるとき、その仮想の本が所定の程度開かれた際に、そこに描かれている平面画像の表示物を立体的に表示することができる画像処理装置及び画像処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明の一態様において、本発明の画像処理装置は、
仮想空間画像を生成する画像生成手段と、
前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
仮想空間中における指の位置を検出する指位置検出手段と、
前記指位置検出手段によって検出された指が仮想空間内の対象物に触れているか否かを判定する接触判定手段と、
前記接触判定手段によって前記指が前記対象物に触れていると判定された場合において、前記対象物が仮想の本であるとき、該仮想の本が所定の程度開いているか否かを判定する開閉判定手段と、
前記開閉判定手段によって前記仮想の本が所定の程度開いていると判定された場合には、前記表示手段に表示されている前記仮想の本に描かれている表示物を前記仮想の本上における平面画像の表示から前記仮想空間画像に表示される三次元画像の表示に切り替える表示切替手段と、
を備えることを特徴とする。
【０００８】
本発明の画像処理装置によれば、画像生成手段によって生成された仮想空間画像において、ユーザが仮想空間内の対象物である仮想の本を見る際に、開閉判定手段によってユーザがその仮想の本を所定の程度開いたと判定されると、その本に平面的に描かれている表示物（二次元画像）を仮想空間中に立体的に（立体画像（三次元画像）として）表示する。
【０００９】
したがって、本発明の画像処理装置によって、ユーザは簡単にその表示物の立体画像を体験することができる。例えば、その本が子供向けの動物図鑑や昆虫図鑑などであり、その中に載っている（表示されている）動物などを調べている際には、その調べている動物などを立体画像として表示することができるので、一度の操作（動作）でその動物などを立体画像として体験することができる。
【００１０】
ここで、好ましくは、本発明の画像処理装置は、前記指に与える触覚を発生して提示する触覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように前記触覚提示手段の駆動を制御する制御手段と、
を更に備えてもよい。
【００１１】
これにより、上述のように表示物を立体画像として体験するだけでなく、その表示物の感触（触覚）も体験することができる。例えば、上述のように、仮想の本が子供向けの動物図鑑などであり、その中に載っている（表示されている）動物などを調べている際には、一度の操作でその動物などの感触（触覚）を体験することができる。
【００１２】
この場合、好ましくは、前記制御手段は、前記接触判定手段によって前記指が前記表示切替手段により三次元画像の表示に切り替えられた前記表示物に触れていると判定された場合、前記表示物に対応する触覚を発生して前記指に提示するよう前記触覚提示手段の駆動を制御するよう構成されてもよい。
また、好ましくは、前記開閉判定手段は、前記仮想の本が開いている角度が所定の角度以上であるか否かに基づいて、前記仮想の本が所定の程度開いているか否かを判定してもよく、あるいは、前記仮想の本に描かれている前記表示物が前記表示手段によって前記仮想空間画像中で所定の割合以上表示されているか否かに基づいて、前記仮想の本が所定の程度開いているか否かを判定してもよい。
【００１３】
そして、好ましくは、本発明の画像処理装置は、前記画像生成手段によって生成された画像データ、並びに、前記接触判定手段及び前記開閉判定手段によって判定された判定結果を記憶する記憶手段を更に備えている。
また、好ましくは、前記画像生成手段は、前記指位置検出手段により検出された前記指の位置に基づいて、所定の時間間隔で仮想の指画像を含む仮想空間画像を更新して生成するよう構成される。この場合において、好ましくは、前記表示手段は、前記指の移動にともなって更新された前記仮想空間画像を連続的に表示するよう構成されてもよい。
【００１４】
ここで、好ましくは、前記表示手段は、顔面に装着して使用するものである。また、好ましくは、前記表示手段は、前記画像生成手段により生成された仮想空間画像データを受信する通信手段を含むよう構成されてもよい。さらに、好ましくは、前記画像生成手段、前記接触判定手段、前記開閉判定手段及び前記表示切替手段、並びに／又は前記制御手段が１つのユニットとして構成され、該１つのユニットは、前記表示手段及び／又は前記触覚提示手段と相互にデータを送受信する通信手段を備えてもよい。
【００１５】
また、本発明の別の態様において、本発明の画像処理方法は、
仮想空間画像を生成するステップと、
前記画像生成手段によって生成された仮想空間画像を表示するステップと、
仮想空間中における指の位置を検出するステップと、
前記検出された指が仮想空間内の対象物に触れているか否かを判定するステップと、
前記指が前記対象物に触れていると判定された場合において、前記対象物が仮想の本であるとき、該仮想の本が所定の程度開いているか否かを判定するステップと、
前記仮想の本が所定の程度開いていると判定された場合には、前記表示されている前記仮想の本に描かれている表示物を前記仮想の本上における平面画像の表示から前記仮想空間画像に表示される三次元画像の表示に切り替えるステップと、
を有することを特徴とする。
ここで、好ましくは、本発明の画像処理方法は、前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように、前記指に与える触覚を発生して提示するステップを更に有する。
【００１６】
また、好ましくは、前記触覚提示ステップでは、前記指が前記三次元画像の表示に切り替えられた前記表示物に触れていると判定された場合、前記表示物に対応する触覚を発生して前記指に提示するように構成されてもよい。
さらに、好ましくは、本発明の画像処理方法は、前記画像生成ステップにおいて生成された画像データ及び前記判定ステップにおいて判定された判定結果を記憶するステップを更に有してもよい。
【００１７】
【発明の実施の形態】
以下、図１〜図２２を参照して本発明の画像処理装置及び画像処理方法の好適実施形態を詳細に説明する。なお、この実施の形態は例示として挙げるものであり、これにより本発明を限定的に解釈すべきではない。
図１は、本発明の触覚・力覚提示装置（触覚提示手段）を含む画像処理装置の第１実施形態の構成例を示す概念図であり、図２は、図１に示すリアルグローブ２０の回路構成例を示すブロック図である。また、図３は、図１に示すリアルグローブ２０の外観構成例を示す外観図（一部図示を省略）である。
【００１８】
図１に示すように、画像処理装置１は、ユーザ（使用者）の手（指）に装着され、装着された手や各指に対して触覚（触った感覚、例えば、質感、形状、強さ等の接触強度の分布）や力覚（触ったときに加わる力の感覚）を与える一対のリアルグローブ（データグローブ）２０、２０と、仮想空間画像（仮想空間映像）を表示する仮想空間表示装置（表示手段）５と、各リアルグローブ２０及び仮想空間表示装置５の駆動制御等の種々の処理（本発明においては、後述する図１９の触覚・力覚発生処理や図２０及び図２１の表示切替処理など）を行う情報処理装置８と、仮想空間画像を作成し、仮想空間画像を用いた各種のサービスを提供する基地局９とを備えている。
【００１９】
各リアルグローブ２０、仮想空間表示装置５、情報処理装置８及び基地局９は、それぞれ、無線（例えば、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、赤外線（ＩＲ）データ通信（ＩｒＤＡ：ＩｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈなど）で信号の送信及び受信（無線通信）を行うことができる無線通信機能（通信手段）を有しており、情報処理装置８と、各リアルグローブ２０、仮想空間表示装置５及び基地局９との間で、それぞれ相互に通信を行うことができるようになっている。
【００２０】
この画像処理装置１は、基地局９、仮想空間表示装置５及び各リアルグローブ２０から供給された情報に基づいて情報処理装置８によって作成（生成）された仮想空間画像を仮想空間表示装置５に表示し、リアルグローブ２０を装着した手や指を動作させることによってその手や指が仮想空間に表示された物体に仮想的に接触した場合等に、その様子を仮想空間表示装置５に表示するとともに、リアルグローブ２０を装着したユーザの手や各指に接触したときの触覚や力覚を与えるための各処理を行う。
【００２１】
情報処理装置（図１では、携帯電話端末として示す）８は、例えば、携帯電話端末、無線通信機能を有するパーソナルコンピュータ、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）と呼ばれる携帯型情報機器などの、無線通信機能（通信手段）及び制御機能（制御手段）を備えた各種の装置により構成される。
また、基地局９は、例えば、インターネットに接続されている各種サーバコンピュータ、携帯電話端末と無線通信を行う携帯電話基地局などの、仮想空間画像に関する情報を提供する各種の装置により構成される。
【００２２】
なお、本実施形態では、各リアルグローブ２０、仮想空間表示装置５、情報処理装置８及び基地局９が無線通信機能を有する構成としているが、例えば、その一部又はすべてが有線通信を行う構成とされていてもよい。
また、情報処理装置８が、基地局９の機能の一部又はすべてを有していてもよい。後述する図１９の触覚・力覚発生処理や図２０及び図２１の表示切替処理では、便宜的に情報処理装置８に基地局９のすべての機能が含まれるものとして説明している。
【００２３】
さらに、リアルグローブ２０が、仮想空間表示装置５、情報処理装置８及び基地局９の機能の一部又はすべてを有していてもよい。
ここで、触覚・力覚提示装置（本発明では、特に、触覚提示手段として機能する）２は、本実施形態では、一対のリアルグローブ２０、２０、すなわち、ユーザの左手に装着される左手用のリアルグローブ２０と、ユーザの右手に装着される右手用のリアルグローブ２０とで構成されている。以下の説明では、代表的に一方のリアルグローブ２０を説明する。
【００２４】
なお、本発明において、触覚・力覚提示装置２は、一方のリアルグローブ２０のみで構成されていてもよい。
また、本発明では、触覚・力覚提示装置２は、リアルグローブ２０の他に、仮想空間表示装置５、情報処理装置８及び基地局９のうちの、いずれか１つ、又は、２つ、又は、すべてを有していてもよい。この場合、触覚・力覚提示装置２は、それらの有する機能の一部を有していてもよく、また、すべてを有していてもよい。
【００２５】
図２に示すように、リアルグローブ２０は、仮想空間に現れている（仮想空間画像上の）物体（対象物、対象物に表示されているものは表示物）に接触した指の感覚（例えば、質感、形状、強さ等の接触強度の分布）を発生させるための触覚発生部（触覚提示手段）２１と、仮想空間に現れている物体に接触したときに手や指にかかる力の強さの感覚を発生させるための力覚発生部（力覚提示手段）２２と、リアルグローブ２０の各部の位置（リアルグローブ２０を装着した手、手首、腕、指等の各部の位置）を検出する位置姿勢検出部２３と、リアルグローブ２０の各部を制御する制御部２４と、情報処理装置８に送信する検出データ信号の増幅等の信号処理を行う信号処理部２５と、情報処理装置８との間で無線通信を行うための信号送受信部（通信手段）２６とを有している。
【００２６】
また、図３に示すように、リアルグローブ２０の全体形状は、略長手袋状（手袋状）をなしている。すなわち、リアルグローブ２０は、その装着者（ユーザ）の指から腕の肘近傍まで（指から腕にかけて）装着する手袋状の装着手段として、腕を覆う筒状部２０ａを備えた比較的長い手袋２ａを有している。
したがって、ユーザは、この手袋２ａにより、リアルグローブ２０の装着及び取り外しを容易かつ確実に行うことができる。
【００２７】
また、手袋２ａはユーザの手から腕にかけて装着されるので、仮想空間における動作（操作）を容易かつ確実に行うことができる。
この手袋２ａには、指先に対応する部分の遊びを抑制又は防止する遊び吸収部２７と、リアルグローブ２０を手首に固定する手首固定部２８と、該リアルグローブ２０を腕に固定する腕固定部２ｄと、腕に対応する部分のねじれを吸収するねじれ吸収部２９とが、それぞれ設けられている。
【００２８】
遊び吸収部２７は、手袋２ａの手首付近に対応する部分に設けられている。この遊び吸収部２７は、例えば、各種ゴム等の弾性体で形成される。
ユーザがリアルグローブ２０を装着すると、遊び吸収部２７の復元力（弾性力）により、手袋２ａは、肘方向（基端側）に引っ張られ、その状態で保持される。これにより、指先に遊びができてしまうのを防止又は抑制することができる。また、指の長さ等の手の寸法の異なる複数のユーザが使用する場合においても、遊び吸収部２７により、それぞれ各ユーザにおいて、指先に遊びができてしまうのを防止又は抑制することができる。
【００２９】
手首固定部２８は、手袋２ａの遊び吸収部２７の肘側（基端側）に、遊び吸収部２７に連続して設けられている。この手首固定部２８は、例えば、各種ゴム等の弾性体で形成される。
ユーザがリアルグローブ２０を装着すると、手首固定部２８の復元力（弾性力）により、手袋２ａは、手首に固定される。これにより、使用中にリアルグローブ２０がずれてしまうのを防止することができる。
また、この手首固定部２８や遊び吸収部２７により、後述する触覚発生部２１のアクチュエータワイヤ２１２の束２１２ａは、各アクチュエータワイヤ２１２がそれぞれその長手方向に移動し得るように所定の位置に保持される。
【００３０】
腕固定部２ｄは、手袋２ａの筒状部２０ａの肘側（基端側）の端部に設けられている。この腕固定部２ｄは、例えば、各種ゴム等の弾性体で形成される。
ユーザがリアルグローブ２０を装着すると、腕固定部２ｄの復元力（弾性力）により、手袋２ａは、腕に固定される。これにより、使用中にリアルグローブ２０がずれてしまうのを防止することができる。
【００３１】
ねじれ吸収部２９は、手袋２ａの筒状部２０ａの途中、すなわち、手首固定部２８と腕固定部２ｄとの間に設けられている。
このねじれ吸収部２９は、筒状部２０ａの一部に３つの開口２９２を形成して得られる３本の帯状部２９１で構成されている。各帯状部２９１は、それぞれ、例えば、伸縮性のある材料で構成された布等の伸縮性のある部材で形成される。
【００３２】
ユーザがリアルグローブ２０を装着し、例えば、手首をねじる動作をすると、各帯状部２９１が伸縮、変形し、これにより、筒状部２０ａのねじれが吸収される。このように、ねじれ吸収部２９により、リアルグローブ２０のねじれを防止することができ、このため、ユーザは、手や腕を容易かつ円滑に動かすことができる。
【００３３】
なお、ねじれ吸収部２９の帯状部２９１の数は、２本以下でもよく、また、４本以上でもよい。
また、手袋２ａの各指の背側の各関節に対応する部分には、それぞれ、開口２１ａが形成されている。これらの開口２１ａにより、ユーザは、各指の各関節をそれぞれ容易かつ円滑に動かすことができる。
また、このリアルグローブ２０には、手袋２ａの腕に対応する部分であって、ねじれ吸収部２９よりも肘方向に位置する部分、すなわち、手袋２ａの筒状部２０ａの肘側（基端側）の端部に、制御部２４、電力供給部３０、動力発生部２１１などが設けられている。
【００３４】
これら制御部２４、電力供給部３０及び動力発生部２１１の配置を上述のようにすることにより、リアルグローブ２０の指先側（先端側）の重量を軽く（慣性を小さく）することができ、これにより、ユーザは、動作（操作）を容易に行うことができる。
触覚発生部２１の主要部は、ユーザがリアルグローブ２０を装着したときに、ユーザの各指の第１関節（末節骨と中節骨との間の関節）から先の指先部分を覆う位置にそれぞれ設けられている。なお、各触覚発生部２１の構成及び作用は、ほぼ同様であるので、以下、代表的に、そのうちの１つについて説明する。
【００３５】
図４は、触覚発生部２１の構成例を示す縦断面図である。なお、図が煩雑になるのを避けるため、図中、一部、部材の厚みを省略して図示する。
触覚発生部２１は、図４（Ａ）に示すように、モータ（駆動源）２１１ａを備える動力発生部（移動手段）２１１と、長手方向に移動可能に設置されたアクチュエータワイヤ（可撓性を有する線状体）２１２と、アクチュエータワイヤ２１２の一端を保持するワイヤ保持部（付勢手段）２１３と、触覚を発生させるために指腹を押圧する触覚提示ピン（押圧部）２１４と、触覚提示ピン２１４を支持するとともに触覚提示ピン２１４の移動方向を規制する触覚提示ピン支持部（移動方向規制手段）２１５とで構成される複数の単位触覚発生部（アクチュエータ）２１０を有している。各単位触覚発生部２１０は、互いに独立している。
【００３６】
なお、動力発生部２１１と、アクチュエータワイヤ２１２と、触覚提示ピン支持部２１５とで、触覚提示ピン２１４を駆動する駆動機構が構成され、これらが触覚発生部２１の触覚提示手段に対応する。
動力発生部２１１は、例えば、制御部２４からの制御信号に応じて内部に備えるモータ２１１ａを回転駆動し、そのモータ２１１ａの回転駆動によってアクチュエータワイヤ２１２を巻き取る処理（アクチュエータワイヤ２１２をアクチュエータワイヤ２１２の長手方向に移動させる処理）を行う。制御部２４は、情報処理装置８からの指示に従って、モータ２１１ａの回転駆動が所定のトルクで所定時間なされるように動力発生部２１１を制御する。動力発生部２１１は、情報処理装置８からの指示に従ってモータ２１１ａに回転動力を与えることで、アクチュエータワイヤ２１２を所定の長さ巻き取る処理を行う。
【００３７】
ワイヤ保持部２１３は、図４（Ａ）に示すように、この第１実施形態では指の第１間接の近傍でアクチュエータワイヤ２１２の一端（終端）を保持する。このワイヤ保持部２１３は、例えばゴムやバネなどの弾性を有する部材（弾性体）により構成される。
したがって、動力発生部２１１のモータ２１１ａの駆動によりアクチュエータワイヤ２１２が巻き取られ、そのアクチュエータワイヤ２１２が図４（Ａ）中の時計回りに移動すると、それに伴ってワイヤ保持部２１３が伸張し、アクチュエータワイヤ２１２は、ワイヤ保持部２１３の復元力（弾性力）により、図４（Ａ）中の反時計回りの方向（触覚提示ピン２１４を突出させるときのアクチュエータワイヤ２１２の移動方向と逆方向）に付勢される。そして、動力発生部２１１のモータ２１１ａの駆動が停止し、アクチュエータワイヤ２１２の巻き取り状態が解除されると、ワイヤ保持部２１３が復元力（弾性力）によって収縮し、これにより、巻き取られていたアクチュエータワイヤ２１２が引き出され、図４（Ａ）中の反時計回りに移動する。
なお、動力発生部２１１は、アクチュエータワイヤ２１２の他端（始端）側に位置している。
【００３８】
触覚提示ピン２１４は、ユーザの指腹に接触感覚（接触の有無や強さ等）を与えるために用いられ、指腹に接触する部分である微小な接触板（接触部）２１４ａと、接触板２１４ａを支持する支持部２１４ｂとで構成される。支持部２１４ｂは、その一端がアクチュエータワイヤ２１２の途中に固定され、その他端に接触板２１４ａが設けられている。
【００３９】
この第１実施形態では、図４（Ａ）に示すように、リアルグローブ２０の手袋２ａは、指先を装着する（覆う）装着部が２重構造（例えば布などの部材を２枚重ね合わせて、重ね合わせた２枚の部材の間に何らかの部材が収納し得るような構造）になっており、指先を覆っている部分の内部（２重構造の内部）に、アクチュエータワイヤ２１２の一部、ワイヤ保持部２１３及び支持部２１４ｂと、触覚提示ピン２１４のアクチュエータワイヤ２１２の移動方向への移動を規制する触覚提示ピン支持部２１５とが設けられている。そして、指が収納される手袋２ａ内に、支持部２１４ｂの一端側が突出し、接触板２１４ａが位置している。
この第１実施形態では、その接触板２１４ａは、リアルグローブ２０を装着した手の指先に常に接触した状態となっている。なお、これに限らず、接触板２１４ａが指先から離間した状態（接触板２１４ａと指先とが非接触の状態）をとり得るように構成されていてもよい。
【００４０】
図４（Ａ）では、説明を簡単にするため、１つの単位触覚発生部２１０（１つの触覚提示ピン２１４）が代表して示されているが、前述したように、実際には、触覚発生部２１は、複数の単位触覚発生部２１０を有しており、その複数の触覚提示ピン２１４は、ユーザがリアルグローブ２０を装着したときのユーザの指先の指腹に対応する位置に、例えば、指腹に沿って、かつ指腹に対し行列状（マトリックス状）に配置されている。
【００４１】
各触覚提示ピン２１４の前後には、それぞれ、その触覚提示ピン２１４の支持部２１４ｂのアクチュエータワイヤ２１２の移動方向への移動を制限する触覚提示ピン支持部２１５が設けられている。
なお、各触覚提示ピン２１４は、規則的に配置されていてもよく、また、不規則に配置されていてもよい。
【００４２】
次に、触覚発生部２１による触覚発生動作について説明する。
ユーザがリアルグローブ２０を装着し、手や指を動かすことによって仮想空間に現れている物体（仮想物体）、すなわち対象物（表示物）に、その指先（指腹）が仮想的に接触すると、情報処理装置８は、実際に接触があったとした場合の押圧力を計算し、その計算結果に基づいて動力発生部２１１のＰＷＭデータ（例えば、モータ２１１ａを回転させるための励磁パターンを示すデータ）に変換する。
【００４３】
この場合、仮想空間（３次元空間）において、予め、互いに直交するＸ軸、Ｙ軸及びＺ軸、すなわちＸ−Ｙ−Ｚ座標（３次元座標）が想定されており、この物体の座標と、ユーザの指先の座標との一致を検出し、その一致が検出されると、物体の座標に相当する部位とユーザの指先の座標に相当する部位とが接触したと判別する。ユーザの指先の座標は、後述する位置姿勢検出部２３から信号送受信部２６を介して情報処理装置８に送信される信号（情報）に基づいて導出される。
【００４４】
次いで、情報処理装置８は、導出したＰＷＭデータと、実際に接触があったとした場合の接触位置に押圧力を与える接触板２１４ａを動作させる動力発生部２１１を特定（指定）するためのデータとを、リアルグローブ２０に送信する。リアルグローブ２０は、受信したＰＷＭデータに応じて、指定された動力発生部２１１を駆動し、アクチュエータワイヤ２１２を巻き取る。
【００４５】
アクチュエータワイヤ２１２が巻き取られると、指腹に配されているアクチュエータワイヤ２１２が指腹に沿って指の先端方向に向けて移動し、図４（Ｂ）に示すように、アクチュエータワイヤ２１２に取付固定されている触覚提示ピン２１４も、指腹に沿って指の先端方向に向けて移動する。
この際、図４（Ｃ）に示すように、触覚提示ピン２１４は、触覚提示ピン支持部２１５によって指の先端方向への移動が制限されるとともに、触覚提示ピン支持部２１５にガイドされて、図４（Ｃ）中上側へ移動する（指腹に向って突出する）。すなわち、触覚提示ピン２１４の接触板２１４ａが指腹の表面に対しほぼ垂直上方に移動する。触覚提示ピン２１４の支持部２１４ｂは、待機時には（初期状態では）、図４（Ｂ）に示すように、垂直方向から指の先端方向に傾斜しており、接触板２１４ａがほぼ垂直上方に移動しようとする力が働くことで、その接触板２１４ａが指腹をほぼ垂直方向へ押圧し、これにより、ユーザの手の指腹に押圧力を与える。
【００４６】
この動作が、複数の単位触覚発生部２１０のうちの指定された単位触覚発生部２１０でなされ、これにより、ユーザの手の指腹に触覚が提示される（与えられる）。よって、ユーザは、仮想空間画像における指腹の物体（対象物）への接触に相当する感覚を、指腹に得ることができる。
このように指定された単位触覚発生部２１０において、動力発生部２１１のモータ２１１ａの駆動が停止し、アクチュエータワイヤ２１２の巻き取り状態が解除されると、ワイヤ保持部２１３が復元力（弾性力）によって収縮し、これにより、巻き取られていたアクチュエータワイヤ２１２が引き出される。
【００４７】
アクチュエータワイヤ２１２が引き出されると、指腹に配されているアクチュエータワイヤ２１２が指腹に沿って指の基端方向（図４（Ｃ）中右側）に向けて移動し、アクチュエータワイヤ２１２に取付固定されている触覚提示ピン２１４も、指腹に沿って指の基端方向に向けて移動し、触覚提示ピン２１４は、図４（Ｂ）に示す初期状態に戻る。これにより、触覚提示ピン２１４からユーザの手の指腹に与えられていた押圧力が実質的に消滅する。
【００４８】
このような触覚発生部２１によれば、指腹に対してほぼ平行に（指腹に沿って）アクチュエータワイヤ２１２を配置し、そのアクチュエータワイヤ２１２を巻き取ることによって指腹に対してほぼ垂直な力を与えるようになっているので、触覚を与えるための機構を薄くすることができ、これにより、リアルグローブ２０の指腹側の厚みを極力抑えることができる。
また、アクチュエータワイヤ２１２の弛みを防止することができ、触覚提示ピン２１４からユーザの指腹に、より正確かつ確実に目標の大ききの押圧力を与えることができる。
【００４９】
図５及び図６は、それぞれ、力覚発生部２２の構成例を示す外観図である。なお、図５は、フレームカバーが取り外された状態を示す。
図５に示すように、力覚発生部２２は、リアルグローブ２０を装着したときのユーザの各指の背側に設けられている。なお、力覚発生部２２の構成及び作用は、ほぼ同様であるので、以下、代表的に、そのうちの１つについて説明する。
【００５０】
力覚発生部２２は、回動可能に連結された複数（本実施形態では６つ）のフレーム２２１を備えたリンク機構と、各フレーム２２１を回動させる複数（本実施形態では７つ）のリンクモータ（駆動源）２２２と、手袋２ａに設けられた複数（本実施形態では４つ）のフレームホルダ２ｂとを有している。
フレームホルダ２ｂは、ユーザがリアルグローブ２０を装着したとき、ユーザの指の第１関節より先端側に位置する装着部と、第１関節と第２関節（中節骨と基節骨との間の関節）との間に位置する装着部と、第２関節と第３関節との間に位置する装着部と、第３関節（基節骨と中手骨との間の関節）より基端側に位置する装着部とに、それぞれ、設けられている。
【００５１】
リンク機構は、フレームホルダ２ｂによって、手袋２ａの、リアルグローブ２０を装着したときのユーザの指の背側に取り付けられている。
すなわち、リンク機構の先端側（図５中右側）の端部のフレーム２２１は、ユーザがリアルグローブ２０を装着したときに、ユーザの指の第１関節より先端側の部位にその端部が位置するように配置され、このフレーム２２１の先端部は、フレームホルダ２ｂに対し、回動可能に設置されている。
【００５２】
また、リンク機構の基端側（図５中左側）の端部のフレーム２２１は、ユーザがリアルグローブ２０を装着したときに、ユーザの指の第３関節より基端側の部位にその端部が位置するように配置され、このフレーム２２１の基端部は、フレームホルダ２ｂに対し、回動可能に設置されている。
また、リンク機構の残りの各フレーム２２１は、ユーザがリアルグローブ２０を装着したときに、ユーザの指の第１関節と第２関節との間の部位と、第２関節と第３関節との間の部位とに、フレーム連結部が１つおきに位置するように配置され、この１つおきのフレーム連結部において、フレームホルダ２ｂに対し、回動可能に設置されている。
【００５３】
各リンクモータ２２２の駆動力（回転力）は、それぞれ、図示しない動力伝達部を介して、対応するフレーム２２１に伝達される。すなわち、リンクモータ２２２が所定方向に回転駆動すると、対応するフレーム２２１は、所定方向に回動し、これにより、フレーム２２１の角度が変更（調整）される。
【００５４】
なお、図５には、前述したアクチュエータワイヤ２１２の束２１２ａが示されている。
また、力覚発生部２２の各フレーム２２１や各リンクモータ２２２は、それぞれ、図６に示すように、例えば布製のフレームカバー２ｃの中に収納されている。
【００５５】
また、図６に示すように、フレームカバー２ｃの内側には、手や指の所定の部位の位置及び姿勢を検出する複数（本実施形態では４つ）の位置姿勢検出部（指位置検出手段）２３が設置されている。各位置姿勢検出部２３は、それぞれ、位置及び姿勢を検出する部位（検出位置）に対して一定の位置関係を保持し得るように設けられている。
【００５６】
すなわち、各位置姿勢検出部２３は、それぞれ、この実施形態では、フレームホルダ２ｂが設けられている位置に固定されている各リンクモータ２２２に取付固定されている。したがって、各位置姿勢検出部２３が設けられている部位と、ユーザの手のひら側の所定の部位との位置関係は、一定に保たれる。したがって、位置姿勢検出部２３が自己の位置や姿勢を検出することによって、ユーザの手の平側の所定の部位の位置や姿勢を容易かつ正確に導出することができる。
【００５７】
また、各位置姿勢検出部２３は、それぞれ、手の甲側に配置されているので、リアルグローブ２０の指腹側の厚みを極力抑えることができる。
また、図３に示すように、位置姿勢検出部２３は、ユーザがリアルグローブ２０を装着したとき、リアルグローブ２０の腕の基端側の部位に相当する位置にも設置されている。これら位置姿勢検出部２３により、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢を確実に把握することができる。
【００５８】
次に、力覚発生部２２による力覚発生動作について説明する。
ユーザがリアルグローブ２０を装着し、手や指を動かすことによって仮想空間に現されている物体（仮想物体）、すなわち対象物に、その手や指が仮想的に接触すると、情報処理装置８は、後述する演算処理部８１によって、実際に接触があった場合の物体から指（指の各関節）への反力を計算し、その計算結果に基づいて各リンクモータ２２２のＰＷＭデータ（例えば、リンクモータ２２２を回転させるための励磁パターンを示すデータ）に変換する。
【００５９】
物体とユーザの手や指との接触の判別は、触覚発生部２１の場合と同様であるので、ここではその節名を省略する。
情報処理装置８は、導出した各ＰＷＭデータと、駆動させる各リンクモータ２２２を示すデータとをリアルグローブ２０に送信する。リアルグローブ２０は、受信したデータに応じて、指定された各リンクモータ２２２を所定方向に回転駆動し、対応する各フレーム２２１を所定方向に回動させ、各フレーム２２１の角度を調整、すなわち、リンク機構の両端部のフレーム２２１の角度及び各フレーム連結部の角度をそれぞれ調整する。
【００６０】
このフレーム２２１の角度調整により、所定のフレームホルダ２ｂにそれぞれ所定の大きさの力が加わり、これにより、仮想空間に現されている物体からの反力に対応する力がユーザの指の各関節に与えられる。すなわち、指の各関節に対して力覚が提示される（与えられる）。
ここで、この力覚発生部２２は、指の複数の部位に装着する複数の装着部間の間隔を調節する機能を有している（調節手段を兼ねている）。
例えば、図５に示すように、所定のフレーム２２１を回動させ、フレーム２２１の角度を調整することにより、各フレームホルダ２ｂ間の間隔を長くしたり、又は、短くしたりすることができる。
【００６１】
図７は、リアルグローブ２０の位置姿勢検出部２３の構成例を示すブロック図である。位置姿勢検出部２３には、本実施形態では、直交コイル式（直交コイル型）の位置センサが用いられる。すなわち、位置姿勢検出部２３は、図７に示すように、Ｘ方向検出コイル２３１と、Ｙ方向検出コイル２３２と、Ｚ方向検出コイル２３３とで構成される。なお、Ｘ方向と、Ｙ方向と、Ｚ方向とは、互いに直交している。
【００６２】
一方、情報処理装置８には、磁界を発生する後述する磁界発生部８８が設けられている。この磁界発生部８８には、例えば、位置姿勢検出部２３とほぼ同じ構成のもの、すなわち、直交コイル式（直交コイル型）の磁界発生器（Ｘ方向コイル、Ｙ方向コイル、Ｚ方向コイル）が用いられる。
この磁界発生部８８で発生した磁界は、位置姿勢検出部２３で検出される。この場合、磁界発生部のＸ方向コイル、Ｙ方向コイル、Ｚ方向コイルの順に時分割で磁界を発生し、それぞれコイルから発生された磁界を、位置姿勢検出部２３のＸ方向検出コイル２３１、Ｙ方向検出コイル２３２及びＺ方向検出コイル２３３の３つのコイルで検出する。
【００６３】
位置姿勢検出部２３によってＸＹＺ各方向について検出された各信号（検出データ）は、それぞれ、信号処理部２５の増幅部２５１にて増幅され、Ａ／Ｄ変換部２５２にてデジタル信号に変換された後、図２に示す信号送受信部２６に出力され、この信号送受信部２６により情報処理装置８に送信される。
情報処理装置８では、上記の信号を受信し、その信号（情報）に基づいて、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢を導出し、その情報を所定の各処理において利用する。
【００６４】
次に、本発明の表示手段である仮想空間表示装置５について説明する。
仮想空間表示装置（表示手段）５には、この実施形態では、顔面に装着して使用する形態のもの、すなわち、ＨＭＤ（ヘッドマウントディスプレイ）と呼ばれる眼鏡状の装置が用いられる。
図８は、仮想空間表示装置５の外観構成例を示す斜視図であり、図９は、仮想空間表示装置５の回路構成例を示すブロック図である。
【００６５】
仮想空間表示装置５は、装着者（ユーザ）に対して仮想空間画像を表示する画像表示部５１ａ、５１ｂと、装着者の視線を検出する視線検出部５２ａ、５２ｂと、周囲の画像（映像）を取り込む凹凸入力部５３ａ、５３ｂと、装置全体の制御を行う制御部５４と、情報処理装置８と信号を送受信する信号送受信部５５と、ユーザの視点を検出する位置姿勢検出部（位置検出手段）５６と、耳に引っかけて保持する装着部５７と、各種信号を処理する信号処理部５８と、三次元加速度センサ５９とを備えている。
【００６６】
図１０は、仮想空間表示装置５の凹凸入力部５３ａの構成例を示す図（ブロック図、模式図）である。この図１０において、凹凸入力部５３ａは、レンズ５３１と、ＣＣＤ（撮像素子）５３２と、ＣＣＤ制御部５３３と、ＣＣＤ出力増幅部５３４とを有している。
レンズ５３１に入射した光（光束）は、そのレンズ５３１により、ＣＣＤ５３２の受光面（撮像面）上に導かれて結像し、その被写体像（周囲の像）は、ＣＣＤ５３２により撮像される。このＣＣＤ５３２の駆動は、ＣＣＤ制御部５３３により制御される。
【００６７】
ＣＣＤ５３２から出力された信号は、ＣＣＤ出力増幅部５３４で増幅され、その後、凹凸入力部５３ａから出力され、図９に示す信号処理部５８に入力される。そして、信号処理部５８において所定の信号処理がなされ、信号送受信部５５により情報処理装置８に送信される。
なお、凹凸入力部５３ｂの構成及び作用は、凹凸入力部５３ａと同様であるので、その説明は、省略する。
【００６８】
図１１は、仮想空間表示装置５の画像表示部５１ａの構成例を示す図（ブロック図、模式図）である。この図１１において、画像表示部５１ａは、レンズ５１１と、レンズ５１１を移動させるレンズ移動機構５１２と、ステッピングモータ５１３と、モータ制御部５１４と、図示しないカラーフィルタを備えた液晶表示パネル５１５と、液晶駆動部５１６と、バックライト５１７と、バックライト制御部５１８と、トランジスタ５１９とを有している。
【００６９】
画像表示部５１ａにおいて仮想空間画像を表示する際は、バックライト制御部５１８の制御により、トランジスタ５１９がオンし、バックライト５１７が駆動し、バックライト５１７から液晶表示パネル５１５へ光が照射される。
そして、液晶駆動部５１６は、制御部５４から入力される表示信号（画像データ）に基づいて、液晶表示パネル５１５の駆動を制御し、これにより、液晶表示パネル５１５に仮想空間画像が表示される。
装着者（ユーザ）は、レンズ５１１及び後述する視線検出部５２ａのハーフミラー５２１を介し、この液晶表示パネル５１５に表示された仮想空間画像を視認することができる。
【００７０】
ステッピングモータ５１３の駆動は、モータ制御部５１４により制御され、そのステッピングモータ５１３が所定方向に回転すると、レンズ移動機構５１２により、レンズ５１１は、液晶表示パネル５１５に接近する方向、すなわち、装着者の目から離間する方向へ移動する。
また、ステッピングモータ５１３が上記方向と逆方向に回転すると、レンズ移動機構５１２により、レンズ５１１は、液晶表示パネル５１５から離間する方向、すなわち、装着者の目に接近する方向へ移動する。
【００７１】
このレンズ５１１の位置の変更により、仮想空間画像の遠近を変更することができる。
このレンズ５１１の位置の調整、すなわち、仮想空間画像の遠近の調整は、後述する視線検出部５２ａ、５２ｂで検出される装着者の視線の情報に基づいてなされる。
【００７２】
なお、画像表示部５１ｂの構成及び作用は、画像表示部５１ａと同様であるので、その説明は、省略する。
視線検出部５２ａ、５２ｂは、装着者の視線がどの方向にあるか（仮想空間画像のどこに焦点を合わせようとしているか）を検出する機能と、セキュリティ情報として利用するための装着者の眼の虹彩パターンを読み取る機能とを有している。
【００７３】
図１２は、仮想空間表示装置５の視線検出部５２ａの構成例を示す図（ブロック図、模式図）である。この図１２において、視線検出部５２ａは、ハーフミラー５２１と、可視光を除去し、赤外光を透過させるフィルタ５２２と、レンズ５２３と、ＣＣＤ（撮像素子）５２４と、ＣＣＤ制御部５２５と、ＣＣＤ出力増幅部５２６と、赤外光を発するＬＥＤ（発光ダイオード）５２７と、ＬＥＤ制御部５２８と、トランジスタ５２９とを有している。
【００７４】
ＬＥＤ５２７の駆動は、ＬＥＤ制御部５２８により制御され、そのＬＥＤ制御部５２８の制御によりトランジスタ５２９がオンすると、ＬＥＤ５２７が駆動し、ＬＥＤ５２７から赤外光が発せられる。
ＬＥＤ５２７から発せられた赤外光は、フィルタ５２２を透過し、ハーフミラー５２１でその一部が反射して、装着者の目に照射される。
【００７５】
そして、装着者の目からの反射光（光束）は、ハーフミラー５２１でその一部が反射して、フィルタ５２２を透過し、レンズ５２３により、ＣＣＤ５２４の受光面（撮像面）上に導かれて結像し、その被写体像（装着者の目の像）は、ＣＣＤ５２４により撮像される。このＣＣＤ５２４の駆動は、ＣＣＤ制御部５２５により制御される。
【００７６】
ＣＣＤ５２４から出力された信号は、ＣＣＤ出力増幅部５２６で増幅され、その後、視線検出部５２ａから出力され、図９に示す信号処理部５８に入力され、所定の信号処理がなされ、信号送受信部５５により情報処理装置８に送信される。
情報処理装置８では、仮想空間表示装置５からの信号を受信し、その信号（情報）に基づいて、装着者の視線がどの方向にあるか（仮想空間画像のどこに焦点を合わせようとしているか）を検出するとともに、装着者の眼の虹彩パターンを読み取り、解析し、セキュリティ情報として利用する。
【００７７】
一方、レンズ５２３側からフィルタ５２２へ入射する可視光は、フィルタ５２２で除去され、その可視光が装着者の目に照射されてしまうのを阻止することができる。これにより、液晶表示パネル５１５に表示された仮想空間画像の視認性の低下を防止することができる。
なお、視線検出部５２ｂの構成及び作用は、視線検出部５２ａと同様であるので、その説明は、省略する。
【００７８】
この仮想空間表示装置５は、２台の画像取込装置（撮像手段）、すなわち、凹凸入力部５３ａ、５３ｂによって周囲の画像を撮像して取り込み、情報処理装置８に対して撮像した画像データ（映像データ）を送信する。
情報処理装置８は、凹凸入力部５３ａ、５３ｂにて撮像された画像、すなわち撮像された画像データから視角差を導出し、その視角差等から得られる周囲の凹凸に基づいて、仮想空間画像、すなわち仮想空間の画像データを作成する。そして、情報処理装置８は、作成した仮想空間の画像（映像）と、例えば、仮想壁紙や仮想パーソナルコンピュータや仮想本などの所定の仮想物体を周囲の凹凸に合わせて仮想空間に配置するための画像とを合成した合成画像（合成映像）を示す画像データ（映像データ）を仮想空間表示装置５に送信する。
【００７９】
仮想空間表示装置５は、情報処理装置８からの画像データに基づいて、その画像を画像表示部５１ａ、５１ｂを用いて表示する。
また、仮想空間表示装置５は、装着されているリアルグローブ２０、すなわち、ユーザの手や腕が画像表示部５１ａ、５１ｂにより表示されている画像の領域内に入っている場合には、その手や腕に対応する画像も、画像表示部５１ａ、５１ｂに表示する。
【００８０】
この場合、前述したように、リアルグローブ２０に設けられている複数の位置姿勢検出部２３の検出データが情報処理装置８に送信されることで、リアルグローブ２０の位置及び姿勢、すなわち、ユーザの各指、手、手首、腕等は情報処理装置８にて認識される。すなわち、情報処理装置８は、逐一、リアルグローブ２０からの検出データに基づいて、ユーザの各指、手、手首、腕等の位置及び姿勢を特定し、それらが画像表示部５１ａ、５１ｂにより表示されている画像の領域内に入っている場合には、それらを示す仮想空間画像を作成し、その画像を基礎の画像に合成して、合成画像（合成画像の画像データ）を得、その画像データを仮想空間表示装置５に送信する。
【００８１】
したがって、ユーザの手や腕が画像表示部５１ａ、５１ｂにより表示されている画像の領域内に入っている場合には、その手や腕に対応する画像が、画像表示部５１ａ、５１ｂに表示される。
そして、リアルグローブ２０を装着した手や指の実際の動作に連動し、画像表示部５１ａ、５１ｂに表示されている仮想空間画像においてその手や指が動く。
【００８２】
位置姿勢検出部５６は、仮想空間表示装置５の位置及び姿勢、すなわち、装着者の顔面（頭部）の位置及び姿勢を検出するためのセンサである。この位置姿勢検出部５６には、本実施形態では、直交コイル式の位置センサ、すなわち、位置姿勢検出部２３と同様のものが用いられる。
位置姿勢検出部５６からの信号（検出データ）は、信号処理部５８に入力され、所定の信号処理がなされ、信号送受信部５５により逐一情報処理装置８に送信される。情報処理装置８は、この検出データに基づいて、所定の時間間隔で逐一仮想空間画像を更新する。
したがって、例えば仮想空間表示装置５を装着したユーザが首を動かした場合には、画像表示部５１ａ、５１ｂに表示される仮想空間画像は、ユーザが向いている方向に合致した画像となるように変化する。
【００８３】
三次元加速度センサ５９は、仮想空間表示装置５の略直交する三方向への加速度を検出するものであり、ＨＭＤに内蔵可能なものであって、ある程度の精度を有するものであれば、圧電型でも、サーボ型でも、ひずみゲージ型などのいずれでもよい。しかしながら、本発明では、ＣＭＯＳを用いた半導体加速度センサのように、より高精度な加速度センサが適する。
【００８４】
この三次元加速度センサ５９で検出された信号（加速度データ）は、信号処理部５８に出力され、増幅などの所定の信号処理がなされた後、信号送受信部５５を介して情報処理装置８に送信される。なお、この加速度データは、ＨＭＤ５の移動速度を演算する際に用いられるが、本発明では必須の構成ではないので、その説明を省略する。
【００８５】
次に、本発明の画像処理装置の一部である情報処理装置８について説明する。図１３は、図１に示す情報処理装置８の回路構成例を示すブロック図である。この図１３において、情報処理装置８は、演算処理部（演算手段）８１と、衝突判定部（衝突判定手段、接触判定手段も兼ねる）８２と、画像生成部（画像生成手段）８３と、制御部（制御手段、開閉判定手段も兼ねる）８４と、記憶部（記憶手段）８５と、信号処理部８６と、信号送受信部（通信手段）８７と、磁界発生部８８とを備えている。
【００８６】
演算処理部８１は、上述のリアルグローブ２０の指や手が仮想空間内の対象物（表示物を含む）に接触した場合には、その対象物がどのようなものであるかを判断して、それから指（指の各関節）への反力（触覚及び／又は力覚）を演算し、その演算結果からリアルグローブ２０の各リンクモータ２２２のＰＷＭデータに変換し、その変換データを信号処理部８６及び信号送受信部８７を介してリアルグローブ２０に送信する。
【００８７】
衝突判定部８２は、リアルグローブ２０の各指が仮想空間内の仮想の対象物（表示物）と衝突したか否か（接触したか否か）を判定するものである。衝突判定部８２によって判定された判定結果は、制御部８４に出力される。本発明では、衝突判定部８２は、指と仮想の本との衝突又は接触のみならず、表示切り替え処理によって三次元表示された表示物との接触についても判定する。この判定結果も同様に制御部８４に出力される。
【００８８】
画像生成部８３は、制御部８４の指示により、予め基地局９から受信した仮想空間画像、あるいは仮想空間表示装置５の凹凸入力部５３ａ、５３ｂによって撮像され、その撮像画像から変換された仮想空間画像に、ユーザの腕や指などの映像を重ね合わせて、合成された仮想空間画像を生成し、それを信号処理部８６に出力する。また、画像生成部８３は、仮想空間中に表示されるリアルグローブ２０又は仮想空間表示装置５の移動にともない、所定の時間間隔で仮想空間画像を更新して生成し、それを信号処理部８６に出力する。
【００８９】
制御部８４は、衝突判定部８２の判定結果に基づいて、演算処理部８１に上述の反力を演算させる。また、制御部８４は、上述の演算処理部８１、衝突判定部８２、及び画像生成部８３の動作を制御し、その演算結果、衝突判定結果（接触判定結果）、及び生成画像データなどを記憶部８５の所定の格納領域に保存するとともに、信号処理部８６及び信号送受信部８７を介して、対応する装置にそれらを送信する。
【００９０】
また、制御部８４は、本発明では、衝突判定部８２によって指と上記仮想の本とが一致した（すなわち、指が仮想の本にタッチした、あるいは、指で仮想の本を掴んだ）と判定される場合には、その仮想の本が所定の程度開いているか否かを判定し（開閉判定手段）、その判定結果に基づいて、画像生成部８３に二次元画像又は三次元画像を生成させ、その画像データを信号処理部８６及び信号送受信部８７を介して仮想空間表示装置５に送信させる。なお、仮想空間表示装置５は、この判定結果に基づいて、二次元表示から三次元表示に、あるいは三次元表示から二次元表示に切り替えて（表示切替手段）、表示物（ここでは、本に描かれているもの）を表示する。
【００９１】
記憶部８５は、プログラムやデータ等が予め記憶されている、図示しないコンピュータに読み取り可能な記憶媒体（記録媒体ともいう。特許請求の範囲においては記録媒体とする）を有しており、この記憶媒体は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ：揮発性、不揮発性のいずれをも含む）、ＦＤ（ＦｌｏｐｐｙＤｉｓｋ（Ｆｌｏｐｐｙは登録商標））、ＨＤ（ＨａｒｄＤｉｓｋ）、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）等のような、磁気的、光学的記録媒体、もしくは半導体メモリで構成されている。この記憶媒体は、記憶部８５に固定的に設けたもの、もしくは着脱自在に装着するものであり、この記憶媒体には、上記仮想空間表示装置５、情報処理装置８、及び触覚・力覚提示装置２に対応する各種アプリケーションプログラム、触覚・力覚提示処理プログラム、表示切替処理プログラム、及び各処理プログラムで処理されたデータ、文書データ等が記憶される。
【００９２】
また、この記憶媒体に記憶するプログラム、データ等は、その一部もしくは全部をサーバやクライアント（本実施形態では、基地局９など）等の他の機器からネットワーク回線（例えば、インターネット、電話回線など）等の伝送媒体を介して信号送受信部８７から受信して記憶する構成にしてもよく、さらに、記憶媒体はネットワーク上に構築された基地局９のサーバの記憶媒体であってもよい。さらに、このようなプログラムをネットワーク回線等の伝送媒体を介してサーバやクライアントから伝送して情報処理装置８にインストールするように構成してもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであって良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００９３】
信号処理部８６は、仮想空間表示装置５や触覚・力覚提示装置２に送信する画像データや制御信号などの増幅等の信号処理を行う。信号送受信部８７は、信号処理部８６において処理された各種信号やデータを仮想空間表示装置５や触覚・力覚提示装置２などの外部機器との通信を行うための制御を行う。
磁界発生部８８は、詳細は図示されていないが、例えば、図７の位置姿勢検出部２３に対応する直交コイル式（直交コイル型）の磁界発生器（Ｘ方向コイル、Ｙ方向コイル、Ｚ方向コイル）である。この磁界発生部８８は、制御部８４からの指示により、Ｘ、Ｙ、Ｚ方向コイルの順で磁界を発生し、リアルグローブ２０の位置姿勢検出部２３の各方向の検出コイル２３１、２３２及び２３３に発生した磁界を検出させるとともに、仮想空間表示装置５の位置姿勢検出部５６にも磁界を検出させる。
【００９４】
なお、この磁界発生部８８は、図示のように情報処理装置８に格納されてもよいが、磁界発生装置として情報処理装置８とは別構成としてもよい。特に、情報処理装置８として携帯電話機やＰＤＡを用いるときは、その内部に磁界発生部を後から設けることができないので、別構成とすることが有用である。このように別に磁界発生装置（又は磁界発生部）を設けたとしても、その制御は、情報処理装置８からの制御信号によってなされる。
【００９５】
次に、第１実施形態の画像処理装置１の動作（作用）について説明する。ここでは、ユーザが、画像処理装置１を利用して、仮想空間に現れている仮想パーソナルコンピュータの操作を行う場合を例に説明する。
ユーザは、各部の電源を入れ、リアルグローブ２０を両手にそれぞれ装着し、眼鏡状の仮想空間表示装置５をかける（顔面に装着する）。すると、仮想空間表示装置５の画像表示部５１ａ、５１ｂに、仮想パーソナルコンピュータを含む仮想空間画像が表示される。
【００９６】
また、ユーザの腕が画像表示部５１ａ、５１ｂで表示されている仮想空間画像内に入るようにすれば、情報処理装置８の画像生成部８３にて作成されたその手や腕の画像が仮想空間画像に仮想物体として表示される。そして、ユーザが手や指を動かした場合には、その実際の手や指の動きに連動して、仮想空間画像において、表示されている手や指が動く。
【００９７】
情報処理装置８は、衝突判定部８２によって、仮想空間画像における対象物、すなわち本実施形態では、例えば、仮想パーソナルコンピュータの一部（例えばキーボード）と、ユーザの指の一部が同一座標となったことを検出すると、演算処理部８１の演算結果に基づいて、リアルグローブ２０に対して、触覚及び力覚を発生させるための指示を行う。具体的には、情報処理装置８は、リアルグローブ２０に対して、演算処理部８１が演算した反力の演算結果から得た、駆動させる動力発生部２１１及びその駆動に用いるＰＷＭデータや、駆動させるリンクモータ２２２及びその駆動に用いるＰＷＭデータなどを、信号送受信部８７を介して送信する。
【００９８】
リアルグローブ２０は、情報処理装置８からの指示に従って、指定された各動作発生部２１１を、それぞれ、指定されたトルクで指定された時間だけＰＷＭ制御により駆動する。これにより、仮想パーソナルコンピュータの一部と同一座標となった部分に配置されている各触覚提示ピン２１４の接触板２１４ａが突出し、仮想パーソナルコンピュータの一部と同一座標となったユーザの各指先に対して触覚が与えられる。すなわち、各指先に、接触感覚、質感、形状、強さ等の感覚が与えられる。
【００９９】
同時に、リアルグローブ２０は、情報処理装置８からの指示に従って、指定された各リンクモータ２２２を、それぞれ、指定されたトルクで指定された時間だけＰＷＭ制御により駆動する。これにより、実在するパーソナルコンピュータの例えばキーボードに触れているときに各指の各関節に与えられる力覚、すなわち、各指の各関節に与えられる押圧力（反力）に相当する力がユーザの各指の各関節に対して与えられる。
【０１００】
また、ユーザが、さらに仮想パーソナルコンピュータのキーを押し込む方向に指を動かすと、指の座標変化に合わせて、画像表示部５１ａ、５１ｂに、キーを押し込む様子を示す仮想空間画像が表示される。
この場合、情報処理装置８は、押下されたキーに基づく表示状態の変化を仮想空間画像で再現するための仮想空間画像の画像データを画像生成部８３において生成し、それを仮想空間表示装置５に送信する処理を行い、仮想空間表示装置５は、情報処理装置８から受信した仮想空間画像の画像データに基づいて、仮想パーソナルコンピュータのディスプレイにキーの押下が反映された表示がなされる画像を表示する。
【０１０１】
以上説明したように、この触覚・力覚提示装置２及び画像処理装置１によれば、リアルグローブ２０の装着及び取り外しを容易かつ確実に行うことができ、また、仮想空間における動作（操作）を容易かつ確実に行うことができる。
また、仮想空間画像に応じて、各指に対して触覚及び力覚をそれぞれ正確かつ確実に提示することができる。
【０１０２】
これにより、ユーザは、仮想空間における動作（操作）を、快適に、容易かつ確実に、行うことができる。
特に、触覚発生部２１において、アクチュエータワイヤ２１２の弛みを防止することができ、各触覚提示ピン２１４からそれぞれユーザの各指腹に、より正確かつ確実に目標の大ききの押圧力を与えることができる。
【０１０３】
これにより、ユーザは、仮想空間画像における各指腹の物体（対象物）への接触に相当する感覚を、より正確かつ確実に各指腹で感じることができる。
また、触覚発生部２１では、各指腹に対してほぼ平行に（指腹に沿って）アクチュエータワイヤ２１２が配置され、そのアクチュエータワイヤ２１２を巻き取ることによって各指腹に対してほぼ垂直な力を与えるようになっているので、触覚を与えるための機構を薄くすることができ、これにより、リアルグローブ２０の指腹側の厚みを極力抑えることができる。
【０１０４】
また、力覚発生部２２はリンク機構を有しているので、指を伸ばしている状態、指を曲げている状態のいずれにおいても対応することができ、これにより、より確実に、各指に対して力覚を与えることができる。
なお、上述した実施形態では、使用例として仮想空間画像にて表示されているパーソナルコンピュータを仮想的に操作する場合について説明したが、本発明では、これに限らず、例えば、仮想本などの他の物品を取扱うために使用することもできる。仮想本を取扱う場合には、例えば、仮想本の縁をさわったりページをめくったりするときに、実際の本の縁をさわったりページをめくったりするときに指に加わる触感や力感を感じることができる。
【０１０５】
次に、本発明の画像処理装置の第２実施形態について説明する。図１４は、本発明の第２実施形態における触覚・力覚提示装置の触覚発生部の構成例を示す縦断面図である。
以下、第２実施形態の触覚・力覚提示装置２及び画像処理装置１について、前述した第１実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
【０１０６】
図１４（Ａ）に示すように、第２実施形態の触覚・力覚提示装置２では、その触覚発生部２１の各単位触覚発生部（アクチュエータ）２１０は、それぞれ、モータ（駆動源）２１１ａを備える動力発生部（移動手段）２１１と、長手方向に移動可能に設置されたアクチュエータワイヤ（可撓性を有する線状体）２１２と、触覚を発生させるために指腹を押圧する触覚提示部２１６とを有している。なお、第２実施形態では、触覚提示部２１６が触覚提示手段の主要部を構成する。
【０１０７】
触覚提示部２１６は、ユーザの指腹に接触感覚（接触の有無や強さ等）を与えるために用いられ、例えば、板バネのような弾性を有する部材（弾性体）で形成される。この場合、触覚提示部２１６は、適度な剛性を有するのが好ましく、例えば、各種金属で構成された弾性体で形成することができる。
この触覚提示部２１６は、第１の板片（押圧部）２１６ａと、第２の板片（スライド部）２１６ｂとで構成されている。第１の板片２１６ａと第２の板片２１６ｂとは、一端側において接合されており、第１の板片２１６ａの他端側には、指腹に接触する部分である微小な接触部２１６ｃが設けられている。この接触部２１６ｃは、例えば、第１の板片２１６ａの端部を第２の板片２１６ｂ側に向けて屈曲させることによって形成することができる。
また、触覚提示部２１６の一端側、すなわち、図１４（Ａ）中左側の端部は、図１４（Ａ）中下側に凸となるように湾曲している。
【０１０８】
第１の板片２１６ａと、第２の板片２１６ｂとの間には、第１の板片２１６ａの移動方向を規制する円柱状のガイド部（移動方向規制手段）２１７が設置されている。
また、触覚提示部２１６の図１４（Ａ）中下側には、押え板２１８が設置されており、触覚提示部２１６は、この押え板２１８に沿って移動（スライド）し得るようになっている。この場合、触覚提示部２１６は、その図１４（Ａ）中左側の端部が湾曲しているので、円滑かつ確実に移動することができる。
【０１０９】
ガイド部２１７は、押え板２１８に固定され、押え板２１８は、手袋２ａに固定されている。すなわち、ガイド部２１７及び押え板２１８は、共に、手袋２ａに対して固定的に設置されている。
また、触覚提示部２１６の第２の板片２１６ｂの図１４（Ａ）中右側の端部には、アクチュエータワイヤ２１２の一端が固定されている。
【０１１０】
動力発生部２１１のモータ２１１ａの駆動によりアクチュエータワイヤ２１２が巻き取られると、そのアクチュエータワイヤ２１２は、指腹に沿って図１４（Ａ）中右側（指の基端方向）に移動し、これとともにアクチュエータワイヤ２１２に取付固定されている触覚提示部２１６も指腹に沿って図１４（Ａ）中右側に移動する。
【０１１１】
この際、図１４（Ｂ）に示すように、触覚提示部２１６の第１の板片２１６ａは、ガイド部２１７によって図１４（Ｂ）中右側への移動が制限されるとともに、ガイド部２１７にガイドされて、図１４（Ｂ）中上側へ移動する（指腹に向って突出する）。すなわち、触覚提示部２１６が弾性変形し、その第１の板片２１６ａの姿勢が図１４（Ｂ）に示す姿勢に変更されることで、接触部２１６ｃは、指腹の表面に対しほぼ垂直上方に移動する（押し上げられる）。
【０１１２】
一方、アクチュエータワイヤ２１２は、触覚提示部２１６の復元力（弾性力）により、図１４（Ｂ）中左側（第１の板片２１６ａを突出させるときのアクチュエータワイヤ２１２の移動方向と逆方向）に付勢される。すなわち、この触覚提示部２１６（第１の板片２１６ａ）は、付勢手段を兼ねる。
接触部２１６ｃがほぼ垂直上方に移動しようとする力が働くことで、その接触部２１６ｃが指腹をほぼ垂直方向へ押圧し、これにより、ユーザの手の指腹に押圧力を与える。
【０１１３】
この動作が、複数の単位触覚発生部２１０のうちの指定された単位触覚発生部２１０でなされ、これにより、ユーザの手の指腹に触覚が提示される（与えられる）。よって、ユーザは、仮想空間画像における指腹の物体（対象物）への接触に相当する感覚を、指腹に得ることができる。
このように指定された単位触覚発生部２１０において、動力発生部２１１のモータ２１１ａの駆動が停止し、アクチュエータワイヤ２１２の巻き取り状態が解除されると、触覚提示部２１６の復元力（弾性力）と、ユーザの指からの圧力によって、触覚提示部２１６は、図１４（Ａ）に示す初期状態に戻る。これにより、触覚提示部２１６からユーザの手の指腹に与えられていた押圧力が実質的に消滅する。
この触覚・力覚提示装置２及び画像処理装置１によれば、前述した第１実施形態と同様の効果が得られる。
【０１１４】
次に、本発明の画像処理装置の第３実施形態について説明する。図１５は、第３実施形態の触覚・力覚提示装置のリアルグローブの外観構成例を示す外観図（一部図示を省略）である。なお、図１５中では、図３に示す触覚発生部２１、動力発生部２１１、力覚発生部２２、位置姿勢検出部２３、制御部２４及び電力供給部３０等は、図示されていない。
【０１１５】
以下、第３実施形態の触覚・力覚提示装置２及び画像処理装置１について、前述した第１実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
図１５に示すように、第３実施形態の触覚・力覚提示装置２では、リアルグローブ２０の手袋２ａの筒状部２０ａの肘側（基端側）の端部に、空気（エアー）の注入による空気圧（圧力）により腕に固定する形態（エアー注入方式）の腕固定部２ｄが設けられている。
【０１１６】
この腕固定部２ｄは、空気が注入される袋状の腕固定部本体２１ｄと、その腕固定部本体２１ｄに設けられたエアー注入部２２ｄとで構成されている。腕固定部本体２１ｄの外観形状は、筒状をなしている。
エアー注入部２２ｄの中空部は、腕固定部本体２１ｄの内部に連通しており、エアー注入部２２ｄの先端部には、蓋体２３ｄが設けられている。
【０１１７】
蓋体２３ｄをエアー注入部２２ｄの先端部に装着すると、腕固定部本体２１ｄ内の気密性が保持され、蓋体２３ｄを取り外すと、腕固定部本体２１ｄに対し、エアー注入部２２ｄを介して、空気の注入及び排出を行うことができる。
このような腕固定部２ｄは、各ユーザに応じて、例えば、ゴム型等の型を用いて、ユーザの腕の形状に合うように成形される。
【０１１８】
ユーザは、リアルグローブ２０を装着する際は、まず、その手袋２ａを装着し、次に、腕固定部２ｄの腕固定部本体２１ｄ内に、空気を注入する。
この空気注入では、例えば、エアー注入部２２ｄの先端部から蓋体２３ｄを取り外し、そのエアー注入部２２ｄから腕固定部本体２１ｄ内に空気を吹き込む。そして、所定量の空気を注入し終えると、エアー注入部２２ｄの先端部に蓋体２３ｄを装着する。
【０１１９】
このようにして、リアルグローブ２０は、腕固定部２ｄの空気圧によりユーザの腕に固定されるとともに、手首固定部２８の復元力（弾性力）によりユーザの手首に固定される。
また、ユーザは、リアルグローブ２０を取り外す際は、まず、腕固定部２ｄの腕固定部本体２１ｄ内から空気を排出し、次に、リアルグローブ２０を手から取り外す。
このように、本発明の第３実施形態の画像処理装置１によれば、前述した第１実施形態と同様の効果が得られる。
【０１２０】
そして、この触覚・力覚提示装置２では、腕固定部２ｄがエアー注入方式のものであるので、リアルグローブ２０の装着及び取り外しを容易かつ迅速に行うことができる。
なお、本発明では、触覚発生部２１の単位触覚発生部２１０を、前述した第２実施形態のように構成してもよい。
【０１２１】
次に、本発明画像処理装置の第４実施形態について説明する。図１６は、第４実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示すブロック図、図１７は、第４実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示す外観図（一部図示を省略）、図１８は、図１７に示す位置姿勢検出部のＺ方向検出センサの構成例を示す外観図である。なお、図１７及び図１８中において、それぞれ、互いに直交するＸ軸、Ｙ軸及びＺ軸を想定する。
【０１２２】
以下、第４実施形態の触覚・力覚提示装置２及び画像処理装置１について、前述した第１実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
第４実施形態の触覚・力覚提示装置２では、位置姿勢検出部（指位置検出手段）２３として、例えば、コリオリ力を利用して互いに直交するＸ軸、Ｙ軸及びＺ軸の回りの角速度をそれぞれ検出するジャイロセンサ（ジャイロスコープ）を用いる。
【０１２３】
そして、この触覚・力覚提示装置２では、凹凸入力部（撮像手段）５３ａ、５３ｂにより周囲を撮像し、その撮像された周囲の画像に指に対応する部分が含まれている場合には、凹凸入力部５３ａ、５３ｂからの画像データ（映像データ）に基づいて指の位置を求め、このように撮像された周囲の画像に指に対応する部分が含まれていない場合には、各位置姿勢検出部２３により指の位置を検出し、各位置姿勢検出部２３からの情報に基づいて指の位置を求める。
【０１２４】
図１７に示すように、位置姿勢検出部２３は、ケーシング６０と、ケーシング６０内に設けられ、Ｘ軸の回りの角速度を検出するＸ方向検出センサ（第１の検出センサ）６１、Ｙ軸の回りの角速度を検出するＹ方向検出センサ（第２の検出センサ）６２及びＺ軸の回りの角速度を検出するＺ方向検出センサ（第３の検出センサ）６３とを有している。
【０１２５】
図１８に示すように、Ｚ方向検出センサ６３は、エリンバー（基台）６４と、エリンバー６４に設置された振動用の圧電素子（振動用圧電素子）６５及び検出用の圧電素子（検出用圧電素子）６６とで構成されている。このＺ方向検出センサ６３は、２本のワイヤ６７、６８により支持されている。
エリンバー６４の形状は、Ｚ軸方向に長い略直方体をなしており、その略直交する２つの面の一方に振動用圧電素子６５が設置され、他方に検出用圧電素子６６が設置されている。この場合、Ｙ軸に対して垂直な面に、振動用圧電素子６５が配置され、Ｘ軸に対して垂直な面に、検出用圧電素子６６が配置されているが、その配置を逆にしてもよい。
【０１２６】
このＺ方向検出センサ６３の振動用圧電素子６５に図１６に示す交流電源６９から交流電圧が印加されると、その振動用圧電素子６５は、Ｘ軸方向に振動（屈曲振動）し、これによりエリンバー６４もＸ軸方向に振動する。このとき、Ｚ軸の回りに回転（角速度）が生じると、その角速度に対応したレベルの電圧（信号）が検出用圧電素子６６から検出される。
【０１２７】
なお、Ｘ方向検出センサ６１及びＹ方向検出センサ６２の構成は、Ｚ方向検出センサ６３と同様であるので、その説明は省略する。それらの作用は、Ｘ軸の回りに回転（角速度）が生じると、その角速度に対応したレベルの電圧（信号）がＸ方向検出センサ６１の検出用圧電素子６６から検出され、Ｙ軸の回りに回転（角速度）が生じると、その角速度に対応したレベルの電圧（信号）がＹ方向検出センサ６２の検出用圧電素子６６から検出される。
【０１２８】
図１６に示すように、位置姿勢検出部２３のＸ方向検出センサ６１によって検出されたＸ軸の回りの角速度に対応した信号（検出データ）と、Ｙ方向検出センサ６２によって検出されたＹ軸の回りの角速度に対応した信号（検出データ）と、Ｚ方向検出センサ６３によって検出されたＺ軸の回りの角速度に対応した信号（検出データ）とは、それぞれ、信号処理部２５の増幅部２５１にて増幅され、Ａ／Ｄ変換部２５２にてデジタル信号に変換された後、図２に示す信号送受信部２６に出力され、この信号送受信部２６により情報処理装置８に送信される。
情報処理装置８では、リアルグローブ２０から送信された信号を受信し、その信号（情報）に基づいて、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢、すなわち、各部の座標を導出し、その情報を所定の各処理において利用するために記憶部８５の所定の格納領域に保存する。
【０１２９】
次に、第４実施形態における画像処理装置１の動作（作用）について説明する。ここで、リアルグローブ２０を装着した各指、手、手首、腕などの各部の位置及び姿勢を求める方法以外は、前述した第１実施形態と同様であるので、その説明は、省略する。
使用に先立って、ユーザは、まず、凹凸入力部５３ａ、５３ｂにより撮像される周囲の画像にリアルグローブ２０の指等の検出する部位に対応する部分が含まれるようにする。これにより、画像処理装置１において初期設定がなされる。
【０１３０】
この初期設定では、仮想空間表示装置５は、２台の画像取込装置（撮像手段）、すなわち、凹凸入力部（撮像手段）５３ａ、５３ｂによって周囲の画像を撮像して取り込み、情報処理装置８に対して撮像した画像データ（映像データ）を送信する。
この場合、凹凸入力部５３ａ、５３ｂにて撮像された画像にはリアルグローブ２０の指等の検出する部位に対応する部分が含まれているので、情報処理装置８は、凹凸入力部５３ａ、５３ｂにて撮像された画像、すなわち撮像された画像データに基づいて指等の位置及び姿勢（座標）を求める。この求められた位置及び姿勢は、それぞれ、基準位置及び基準姿勢、すなわち基準状態とされ、その基準位置及び基準姿勢の情報は、情報処理装置８の記憶部８５の所定の領域に保存される。
【０１３１】
初期設定が終了すると、使用可能状態となり、仮想空間表示装置５は、凹凸入力部（撮像手段）５３ａ、５３ｂによって周囲の画像を撮像して取り込み、情報処理装置８に対して撮像した画像データを送信する。
情報処理装置８の制御部８４（判別手段）は、凹凸入力部５３ａ、５３ｂにて撮像された画像、すなわち撮像された画像データに基づいて、凹凸入力部５３ａ、５３ｂにて撮像された画像にリアルグローブ２０の指等の検出する部位に対応する部分が含まれているか否かを判別する。
【０１３２】
そして、撮像された画像に指等の検出する部位に対応する部分が含まれている場合には、情報処理装置８は、撮像された画像データに基づいて指等の位置及び姿勢（座標）を求める。この求められた位置及び姿勢は、それぞれ、基準位置及び基準姿勢とされる。すなわち、記憶部８５に記憶されている基準位置及び基準姿勢の情報は、新たな基準位置及び基準姿勢の情報に書き換えられる。
【０１３３】
逆に、撮像された画像に指等の検出する部位に対応する部分が含まれていない場合には、情報処理装置８は、各位置姿勢検出部２３からの信号（情報）に基づいて、指等の位置及び姿勢（座標）を求める。この場合、各位置姿勢検出部２３からの情報からは、基準位置及び基準姿勢に対する相対的な位置及び姿勢が求まり、その相対的な位置及び姿勢の情報と、基準位置及び基準姿勢の情報とに基づいて、指等の位置及び姿勢が求められる。
【０１３４】
この触覚・力覚提示装置２及び画像処理装置１によれば、前述した第１実施形態と同様の効果が得られる。
そして、この触覚・力覚提示装置２では、手及び各指の所定の部位の位置及び姿勢を正確かつ確実に求めることができるとともに、位置姿勢検出部２３としてジャイロセンサを用いることにより、コストを低減することができる。
なお、本実施形態では、位置姿勢検出部（指位置検出手段）２３は、ジャイロセンサで構成されているが、本発明では、これに限定されない。
【０１３５】
また、本発明では、触覚発生部２１の単位触覚発生部２１０を、前述した第２実施形態のように構成してもよい。
また、本発明では、腕固定部２ｄを、前述した第３実施形態のように、空気（エアー）の注入による空気圧（圧力）により腕に固定する形態（エアー注入方式）のものにしてもよい。
なお、詳細には説明しないが、上述の構成を仮想空間表示装置５の位置姿勢検出部５６に適用することもできる。この場合にも、前述した第１実施形態と同様の効果が得られる。
【０１３６】
次に、図１９〜図２１のフローチャートを参照して、上記実施形態の各構成、とりわけ第１実施形態の構成に基づいて、本発明の画像処理装置の動作を説明する。ここで、これらのフローチャートに記述されている各機能を実現するためのプログラムは、コンピュータに読み取り可能なプログラムコードの形態で記憶部８５の記録媒体に格納されており、制御部８４はこのプログラムコードに従った動作を逐次実行する。また、制御部８４は、上述のように、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態に特有の動作を実行することもできる。
【０１３７】
図１９は、本発明の画像処理装置における触覚・力覚発生処理を示すフローチャートであり、図２０は、本発明の画像処理装置における表示切替処理の他の例を示すフローチャートであり、図２１は、本発明の画像処理装置における表示切替処理の他の例を示すフローチャートである。なお、これらのフローチャートは、第１実施形態における各構成要素に基づいて説明される。
【０１３８】
まず、触覚・力覚発生処理について説明する。本発明の画像処理装置１は、仮想空間画像の更新や触覚及び力覚の発生のために、電源が投入されている間、この触覚・力覚発生処理を実行している。すなわち、リアルグローブ２０の位置姿勢検出部２３によって、ユーザの指（及び手）の位置を検出し（ステップＳ１０１）、信号処理部２５で所定の信号処理を行った後、信号送受信部２６を介して検出された位置信号を情報処理装置８に送信する（ステップＳ１０２）。
【０１３９】
情報処理装置８は、信号送受信部８７を介してこの検出信号を受信する。そして、情報処理装置８の制御部８４は、検出された指（及び手）の位置が、画像生成部８３において生成され、仮想空間表示装置５に既に送信した現在の仮想空間画像における指の位置（記憶部８５に保存されている）から移動しているか否かを判断する（ステップＳ１０３）。指の移動を検知しない場合には、制御部８４は何らの指示も出すことなく、画像処理装置１は、ステップＳ１０１に戻り、同様の処理を繰り返す。
【０１４０】
ステップＳ１０３において、指の移動を検知したと判断された場合には、制御部８４は、画像生成部８３にその指の位置データに基づいて仮想空間画像を更新して生成させ（ステップＳ１０４）、移動した指の位置データと更新された仮想空間画像とを記憶部８５の所定の格納領域に保存するとともに、信号処理部８６及び信号送受信部８７を介して更新された画像データ（仮想空間画像データ）を仮想空間表示装置（ＨＭＤ）５に送信させる。この画像データを受信したＨＭＤ５は、制御部５４の指示により、その画像データを画像表示部５１ａ及び５１ｂに表示する（ステップＳ１０５）。
【０１４１】
それと同時に、情報処理装置８では、制御部８４は、リアルグローブ２０の位置姿勢検出部２３からの指の位置データに基づいて、演算処理部８１をして、仮想空間に表示されている仮想の本の座標と、その移動した指、例えば、人差し指と親指が重なり合った座標が一致したか否かを判断させる（ステップＳ１０６）。ここで、「指と仮想の本との座標が一致」とは、親指を含む複数本の指で仮想の本を掴んでいる状態や、１又は複数本の指が仮想の本に触れている状態などをいう。
【０１４２】
そして、両者の座標が一致していないと判断された場合には、再びステップＳ１０１に戻り、画像処理装置１は同様の処理（位置検出処理など）を繰り返す。両者の座標が一致していると判断された場合には、演算処理部８１は、対象物（ここでは、本）に基づいて、本から指への反力を演算し、信号処理部８６及び信号送受信部８７を介してこの演算データをリアルグローブ２０に送信する（ステップＳ１０７）。なお、このステップにおいて演算された反力データは、制御部８４の指示により、記憶部８５の所定の格納領域に保存される。
【０１４３】
反力の演算データを受信したリアルグローブ２０では、制御部２４は、その演算データに基づいて、触覚発生部２１及び力覚発生部２２を駆動して触覚及び力覚を発生させ（ステップＳ１０８）、ユーザの指に触覚及び力覚を提示して、この触覚・力覚発生処理を終了する。なお、本発明の画像処理装置１は、このステップＳ１０８の処理（タスク）を終了後、ステップＳ１０１に移行して、同様の処理を繰り返すよう構成されてもよい。また、触覚及び力覚を発生し、ユーザの指などにその触覚・力覚を提示している状態においても、指の位置を検出し、本と指の座標が一致しない状態になったときに、発生していた触覚及び力覚の発生を停止させてもよい。
【０１４４】
なお、触覚及び力覚の一方のみを発生し、それをユーザの指などに提示してもよい。しかしながら、後述する表示切替処理において、三次元画像に表示が切り替えられた表示物（後述の例では、動物図鑑に表示されたライオン）がある場合については、ユーザの指にその表示物（ライオン）の触覚が提示されるのが好ましい。
【０１４５】
次に、本発明の表示切替処理について説明する。上述の触覚・力覚発生処理のステップＳ１０８においてユーザの指に触覚及び力覚が発生している状態で、この表示切替処理が実行され得るが、本発明では、特に、ユーザが仮想空間中において本を開く（読む）ときに実行される。なお、その他適用可能であれば、いずれの場合に表示切替処理が実行されてもよい。
【０１４６】
まず、図２０に示す表示切替処理の一例から説明する。仮想空間中において、ユーザの指及び手が仮想の本を読むことができるような状態で、仮想空間でユーザが仮想の本を持って（掴んで）いる際に、この表示切替処理が実行される。なお、この表示切替処理では、開閉判定手段は、ユーザが持っている（掴んでいる）本のページの開き角度に基づいて、その仮想の本が開かれているか否かを判定し、表示切替手段は、その判定結果に基づいて、二次元表示と三次元表示とを切り替えている。
【０１４７】
情報処理装置８の演算処理部８１は、仮想空間画像に表示されている仮想の本の開き角度を演算する（ステップＳ２０１）。この場合、例えば、仮想空間中に表示されている仮想の本の表紙の１点と背表紙の１点を結んだ線と、裏表紙の１点と背表紙の１点を結んだ線とが作る角度（仮想の本の中を読むことができる側の角度）を演算することにより、この仮想の本の開き角度が演算される。なお、これら２本の線は、本が横書きの場合における行に平行な線であり、２本の線が通る背表紙の１点は、同一の点であることが好ましい。
【０１４８】
ステップＳ２０２において、制御部８４は、この開き角度が所定の角度以上であるか否かを判断する。所定の角度以上であると判断された場合には、開閉判定手段は、この本が開いていると判定する（ステップＳ２０３）。そして、現在、その表示物が仮想空間中に二次元表示、すなわち、その本に表示されている場合には、その仮想の本の対応するページに描かれている表示物（例えば、動物図鑑のライオン）を仮想空間表示装置５において三次元で表示させるために、制御部８４は、画像生成部８３に仮想空間画像を生成させ、あるいは、記憶部８５に記憶されているその表示物の三次元画像を読み出して、信号処理部８６及び信号送受信部８７を介してその画像データを仮想空間表示装置５に送信する。そして、この画像データを受信した仮想空間表示装置５は、表示を切り替えて、その表示物を三次元表示する（ステップＳ２０４）。これとは逆に、この表示物が既に三次元で表示されている場合には、そのままその表示状態を継続する。
【０１４９】
一方、所定の角度以上ではないと判断された場合には、開閉判定手段は、その仮想の本が閉じていると判定する（ステップＳ２０５）。そして、現在、その表示物が仮想空間中に三次元表示、すなわち、立体的に表示されている場合には、その仮想空間中に三次元表示されている表示物（例えば、動物図鑑から飛び出してきたライオン）を仮想空間表示装置５において二次元で表示させるために（すなわち、元の本のページに描かれているように表示させるために）、制御部８４は、画像生成部８３に仮想空間画像を更新して生成させ、信号処理部８６及び信号送受信部８７を介してその画像データを仮想空間表示装置５に送信する。そして、この画像データを受信した仮想空間表示装置５は、表示を切り替えて、その表示物を二次元表示する（ステップＳ２０６）。これとは逆に、この表示物が既に二次元で表示されている場合には、そのままその表示状態を継続する。
【０１５０】
なお、仮想の本に描かれていた表示物を三次元で表示しているとき、その表示物は、等身大（実際の大きさ）で表示されるのが好ましい。また、上述のように、そのように表示物が三次元表示されている場合には、接触判定手段は、ユーザの指が表示物と接触しているか否かを判定し、接触している場合には、触覚提示手段は、ユーザの指に対して、表示物に対応する触覚（例えば、肌触り、感触など）を提示するように構成されてもよい。
【０１５１】
また、ステップＳ２０２において開き角度と比較される所定の角度（所定の角度閾値）としては、例えば、９０°や１２０°など、仮想の本が開いていると考えられる角度が好ましく、例えば、完全に開いたと考えられる１８０°でもよい。また、この所定の角度は、記憶部（記憶手段）８５に予め記憶されており、開閉判定手段（本実施形態では、制御部８４）によって判定される際に読み出すように構成されてもよく、あるいは、所定のタイミング（例えば、表示切替処理を実行する前）においてユーザによって設定され得るように構成されてもよい。
【０１５２】
次に、図２１に示す表示切替処理の別の例について説明する。上述の図２０のフローチャートの場合と同様に、仮想空間中において、ユーザの指及び手が仮想の本を読むことができるような状態で、仮想空間でユーザが仮想の本を持って（掴んで）いる際に、この表示切替処理が実行される。なお、この表示切替処理では、開閉判定手段は、ユーザが持っている（掴んでいる）本のページに描かれている表示物が仮想空間画像において表示されている割合に基づいて、その仮想の本が開かれているか否かを判定し、表示切替手段は、その判定結果に基づいて、二次元表示と三次元表示とを切り替えている。
【０１５３】
情報処理装置８の演算処理部８１は、仮想空間中に表示されている仮想の本（例えば、動物図鑑など）の開かれようとしているページに描かれている表示物（例えば、ライオンなど）の仮想空間画像における面積を演算する（ステップＳ３０１）。なお、本実施形態において、仮想の本に描かれているすべての表示物（表示対象）の面積が、記憶部（記憶手段）８５に予め記憶されていてもよい。この場合、このステップでは、対象となる表示物の面積（「Ａ」とする）を記憶部８５から読み出すことになる。
【０１５４】
次いで、演算処理部８１は、ユーザの指や仮想の本の状態に応じて画像生成部８３によって更新して生成されている仮想空間画像において、現在仮想空間表示装置５に表示されている、上記対象となる表示物の面積（「Ｂ」とする）を演算する（ステップＳ３０２）。そして、演算処理部８１は、この対象となる表示物全体の面積に対する現在表示されている面積の割合（表示割合）、すなわち、Ｂ／Ａを演算する（ステップＳ３０３）。
【０１５５】
ステップＳ３０４において、制御部８４は、このように演算された表示割合が所定の割合以上であるか否かを判断する。表示割合が所定の割合以上であると判断された場合には、開閉判定手段は、この本が開いていると判定する（ステップＳ３０５）。そして、現在、その表示物が仮想空間中に二次元表示、すなわち、その本に表示されている場合には、その仮想の本の対応するページに描かれている表示物（例えば、動物図鑑のライオン）を仮想空間表示装置５において三次元で表示させるために、制御部８４は、画像生成部８３に仮想空間画像を生成させ、あるいは、記憶部８５に記憶されているその表示物の三次元画像を読み出して、信号処理部８６及び信号送受信部８７を介してその画像データを仮想空間表示装置５に送信する。そして、この画像データを受信した仮想空間表示装置５は、表示を切り替えて、その表示物を三次元表示する（ステップＳ３０６）。これとは逆に、この表示物が既に三次元で表示されている場合には、そのままその表示状態を継続する。
【０１５６】
一方、表示割合が所定の割合以上ではないと判断された場合には、開閉判定手段は、その仮想の本が閉じていると判定する（ステップＳ３０７）。そして、現在、その表示物が仮想空間中に三次元表示、すなわち、立体的に表示されている場合には、その仮想空間中に三次元表示されている表示物（例えば、動物図鑑から飛び出してきたライオン）を仮想空間表示装置５において二次元で表示させるために（すなわち、元の本のページに描かれているように表示させるために）、制御部８４は、画像生成部８３に仮想空間画像を更新して生成させ、信号処理部８６及び信号送受信部８７を介してその画像データを仮想空間表示装置５に送信する。そして、この画像データを受信した仮想空間表示装置５は、表示を切り替えて、その表示物を二次元表示する（ステップＳ３０８）。これとは逆に、この表示物が既に二次元で表示されている場合には、そのままその表示状態を継続する。
【０１５７】
なお、仮想の本に描かれていた表示物を三次元で表示しているとき、その表示物は、等身大（実際の大きさ）で表示されるのが好ましい。また、上述のように、そのように表示物が三次元表示されている場合には、接触判定手段は、ユーザの指が表示物と接触しているか否かを判定し、接触している場合には、触覚提示手段は、ユーザの指に対して、表示物に対応する触覚（例えば、肌触り、感触など）を提示するように構成されてもよい。
また、上記所定の割合（表示割合）は、例えば、５０％や７０％などどのような値でもよいが、ユーザが仮想空間においてその仮想の本で表示物を確認できる程度の割合（仮想空間中において目視などによる確認ができる程度の割合）であるのが好ましい。
【０１５８】
以上説明したように、本発明の画像処理装置１は、位置姿勢検出部（指位置検出手段）２３により指の位置及び移動を検知（検出）し、仮想空間画像中に表示される仮想の本と指との座標が一致した（仮想の本と指が接触した）場合、触覚・力覚提示装置２により触覚・力覚を発生させ、その状態において、本が開かれたときには、演算処理部８１により開かれた本の開き角度あるいはそのページに表示されている表示物の表示割合を演算して、開閉判定手段によって所定の角度又は範囲以上であるか否かを判定し、所定の角度又は範囲以上である場合には、表示手段及び表示切替手段によりその表示物を仮想空間中に三次元表示することとした。
【０１５９】
また、上記表示物が表示手段によって三次元表示されているときには、衝突判定部８２によりその表示物と指（手）が接触しているか否かを判定し、接触していると判定される場合には、触覚・力覚提示装置２の触覚発生部２１あるいは触覚提示部２１６（触覚提示手段）によってその表示物に対応する触覚を指に提示することとした。
【０１６０】
したがって、本発明の画像処理装置及び画像処理方法によって、ユーザは簡単にその表示物の立体映像（三次元画像）を体験することができるのみならず、その表示物の感触（触覚）も体験することができる。例えば、その仮想の本が子供向けの動物図鑑や昆虫図鑑などであり、その中に載っている（表示されている）動物などを調べている際には、その調べている動物などを立体画像として表示するとともに、その触覚も提示されるので、一度の操作（動作）でその動物などを立体画像として体験することができ、その動物などを触った際の感触などを体験することができる。
【０１６１】
以上、本発明の画像処理装置の構成を、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明の画像処理装置は、上述の各実施形態の任意の２以上の構成（特徴）を適宜組み合わせて構成されてもよい。
【図面の簡単な説明】
【図１】本発明の触覚・力覚提示装置の第１実施形態及びその触覚・力覚提示装置を有する画像処理装置の構成例を示す概念図である。
【図２】図１に示すリアルグローブの回路構成例を示すブロック図である。
【図３】図１に示すリアルグローブの外観構成例を示す外観図（一部図示を省略）である。
【図４】図１に示すリアルグローブの触覚発生部の構成例を示す縦断面図である。
【図５】図１に示すリアルグローブの力覚発生部の構成例を示す外観図である。
【図６】図１に示すリアルグローブの力覚発生部の構成例を示す外観図である。
【図７】図１に示すリアルグローブの位置姿勢検出部の構成例を示すブロック図である。
【図８】図１に示す仮想空間表示装置の外観構成例を示す斜視図である。
【図９】図１に示す仮想空間表示装置の回路構成例を示すブロック図である。
【図１０】図１に示す仮想空間表示装置の凹凸入力部の構成例を示す図（ブロック図、模式図）である。
【図１１】図１に示す仮想空間表示装置の画像表示部の構成例を示す図（ブロック図、模式図）である。
【図１２】図１に示す仮想空間表示装置の視線検出部の構成例を示す図（ブロック図、模式図）である。
【図１３】図１に示す情報処理装置の回路構成例を示すブロック図である。
【図１４】第２実施形態の触覚・力覚提示装置の触覚発生部の構成例を示す縦断面図である。
【図１５】第３実施形態の触覚・力覚提示装置のリアルグローブの外観構成例を示す外観図（一部図示を省略）である。
【図１６】第４実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示すブロック図である。
【図１７】第４実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示す外観図（一部図示を省略）である。
【図１８】図１７に示す位置姿勢検出部のＺ方向検出センサの構成例を示す外観図である。
【図１９】本発明の画像処理装置における触覚・力覚発生処理を示すフローチャートである。
【図２０】本発明の画像処理装置における表示切替処理の一例を示すフローチャートである。
【図２１】本発明の画像処理装置における表示切替処理の他の例を示すフローチャートである。
【図２２】本発明の画像処理装置における表示切替処理の各ステップに対応する概念図の一例である。
【符号の説明】
１……画像処理装置２……触覚・力覚提示装置２ａ……手袋２ｂ……フレームホルダ２ｃ……フレームカバー２ｄ……腕固定部２０……リアルグローブ２０ａ……筒状部２１……触覚発生部２１ａ……開口２１ｄ……腕固定部本体２１０……単位触覚発生部２１１……動力発生部２１１ａ……モータ２１２……アクチュエータワイヤ２１２ａ……束２１３……ワイヤ保持部２１４……触覚提示ピン２１４ａ……接触板２１４ｂ……支持部
２１５……触覚提示ピン支持部２１６……触覚提示部２１６ａ……第１の板片２１６ｂ……第２の板片２１６ｃ……接触部２１７……ガイド部２１８……押え板２２……力覚発生部２２ｄ……エアー注入部２２１……フレーム２２２……リンクモータ２３……位置姿勢検出部２３ｄ……蓋体
２３１……Ｘ方向検出コイル２３２……Ｙ方向検出コイル２３３……Ｚ方向検出コイル２４……制御部２５……信号処理部２５１……増幅部２５２……Ａ／Ｄ変換部２６……信号送受信部２７……遊び吸収部２８……手首固定部２９……ねじれ吸収部２９１……帯状部２９２……開口３０……電力供給部５……仮想空間表示装置５１ａ、５１ｂ……画像表示部５１１……レンズ５１２……レンズ移動機構５１３……ステッピングモータ５１４……モータ制御部５１５……液晶表示パネル５１６……液晶駆動部５１７……バックライト５１８……バックライト制御部５１９……トランジスタ
５２ａ、５２ｂ……視線検出部５２１……ハーフミラー５２２……フィルタ５２３……レンズ５２４……ＣＣＤ５２５……ＣＣＤ制御部５２６……ＣＣＤ出力増幅部５２７……ＬＥＤ５２８……ＬＥＤ制御部５２９……トランジスタ５３ａ、５３ｂ……凹凸入力部５３１……レンズ５３２……ＣＣＤ５３３……ＣＣＤ制御部５３４……ＣＣＤ出力増幅部５４……制御部５５……信号送受信部５６……位置姿勢検出部５７……装着部５８……信号処理部５９……三次元加速度センサ６０……ケーシング６１……Ｘ方向検出センサ６２……Ｙ方向検出センサ６３……Ｚ方向検出センサ６４……エリンバー６５……振動用圧電素子６６……検出用圧電素子６７、６８……ワイヤ６９……交流電源８……情報処理装置８１……演算処理部
８２……衝突判定部８３……画像生成部８４……制御部８５……記憶部
８６……信号処理部８７……信号送受信部８８……磁界発生部９……基地局[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device and an image processing method.
[0002]
[Prior art]
A virtual space image such as a book is displayed, and when a user (user) performs an operation of turning a page of the displayed virtual book, the virtual space configured to turn the page of the book according to the operation. A desktop device is disclosed (for example, see Patent Document 1).
However, in the above-described conventional apparatus, the user cannot feel the texture of the paper of the book with the hand or finger, or the feel of touching the edge of the paper, for example, with the hand, and grasp the book with the hand or finger. I feel uncomfortable because I can't feel the reaction force when I came.
[0003]
Also, when turning over the pages of a book, it is a natural operation to recognize the edge of the paper of the book by the touch of the finger and turn the page by sandwiching the paper (page) with a finger and lifting the page. With conventional devices, the hand or finger cannot feel the book, so every time you turn the pages of the book, you need to pay attention to the edge of the book paper and move your finger to that edge It takes time and effort to turn the pages of the book.
[0004]
By the way, when viewing a virtual book (for example, a picture book or picture book) in the virtual space, taking advantage of the virtual space, a planar image (such as an animal or an insect) drawn in the virtual book (such as a virtual book) By displaying the drawn two-dimensional image) as a three-dimensional image (three-dimensional image) with a real size and a sense of touch (tactile sensation), there may be a demand to experience and understand it as a real thing.
[0005]
[Patent Document 1]
JP-A-6-282371
[0006]
[Problems to be solved by the invention]
An object of the present invention is to read a virtual book in a virtual space and, when the virtual book is opened to a predetermined extent, display a three-dimensional display object of a planar image drawn there. It is an object of the present invention to provide an image processing apparatus and an image processing method that can perform the above processing.
[0007]
[Means for Solving the Problems]
In order to solve the above problems, in one embodiment of the present invention, an image processing apparatus according to the present invention includes:
Image generation means for generating a virtual space image;
Display means for displaying the virtual space image generated by the image generation means,
Finger position detection means for detecting the position of the finger in the virtual space;
Contact determination means for determining whether or not the finger detected by the finger position detection means is touching an object in the virtual space;
In the case where the contact determination means determines that the finger is touching the object, when the object is a virtual book, opening and closing for determining whether the virtual book is opened to a predetermined extent Determining means;
When it is determined that the virtual book is opened to a predetermined extent by the opening / closing determination unit, a display object drawn on the virtual book displayed on the display unit is displayed on the virtual book. Display switching means for switching from displaying a planar image to displaying a three-dimensional image displayed in the virtual space image,
It is characterized by having.
[0008]
According to the image processing apparatus of the present invention, when the user views a virtual book which is an object in the virtual space in the virtual space image generated by the image generating means, the user determines whether the virtual book is opened or closed by the open / close determining means. Is determined to be opened to a predetermined extent, a display object (two-dimensional image) drawn two-dimensionally in the book is displayed three-dimensionally (as a three-dimensional image (three-dimensional image)) in the virtual space.
[0009]
Therefore, with the image processing device of the present invention, the user can easily experience a stereoscopic image of the display object. For example, if the book is an animal picture book or insect picture book for children, and you are examining the animals that are listed (displayed), the animals you are examining are displayed as stereoscopic images. The user can experience the animal or the like as a stereoscopic image with a single operation (operation).
[0010]
Here, preferably, the image processing device of the present invention, a tactile presentation means for generating and presenting a tactile sense given to the finger,
If it is determined by the contact determination means that the finger has contacted or moved with the object, the drive of the tactile sensation providing means is performed so that a sensation corresponding to the contact is obtained at the finger pad. Control means for controlling;
May be further provided.
[0011]
As a result, not only can the user experience the displayed object as a stereoscopic image as described above, but also can experience the feeling (tactile sensation) of the displayed object. For example, as described above, when a virtual book is an animal picture book or the like for a child, and when examining an animal or the like that is listed (displayed) therein, the operation of the animal or the like can be performed by one operation. You can experience touch (tactile sensation).
[0012]
In this case, preferably, when it is determined by the contact determination unit that the finger is touching the display object switched to the display of the three-dimensional image by the display switching unit, preferably, It may be configured to control the drive of the tactile sensation providing means to generate and present a corresponding tactile sensation to the finger.
Preferably, the open / close determination unit determines whether the virtual book is opened to a predetermined degree based on whether an angle at which the virtual book is open is equal to or greater than a predetermined angle. Alternatively, based on whether or not the display object drawn on the virtual book is displayed in the virtual space image by a predetermined ratio or more in the virtual space image, the virtual book is displayed in a predetermined manner. It may be determined whether or not it is about open.
[0013]
Preferably, the image processing apparatus of the present invention further includes a storage unit that stores the image data generated by the image generation unit, and a determination result determined by the contact determination unit and the open / close determination unit. I have.
Also, preferably, the image generation means updates and generates a virtual space image including a virtual finger image at predetermined time intervals based on the position of the finger detected by the finger position detection means. Is done. In this case, preferably, the display means may be configured to continuously display the virtual space image updated as the finger moves.
[0014]
Here, preferably, the display means is used by being worn on a face. Preferably, the display means may include communication means for receiving the virtual space image data generated by the image generation means. More preferably, the image generation unit, the contact determination unit, the open / close determination unit, the display switching unit, and / or the control unit are configured as one unit, and the one unit includes the display unit and / or Alternatively, a communication unit for transmitting and receiving data to and from the tactile presentation unit may be provided.
[0015]
In another aspect of the present invention, the image processing method of the present invention comprises:
Generating a virtual space image;
Displaying a virtual space image generated by the image generating means;
Detecting the position of the finger in the virtual space;
Determining whether the detected finger is touching an object in the virtual space,
In the case where it is determined that the finger is touching the object, when the object is a virtual book, a step of determining whether the virtual book is opened to a predetermined extent,
When it is determined that the virtual book is opened to a predetermined extent, the display object drawn on the displayed virtual book is displayed in the virtual space from the display of the planar image on the virtual book. Switching to the display of a three-dimensional image displayed on the image;
It is characterized by having.
Here, preferably, in the image processing method of the present invention, when it is determined that the finger touches the target object or moves with the target object, a sensation corresponding to the touch is obtained in the finger pad. The method further includes the step of generating and presenting a tactile sensation given to the finger.
[0016]
Also preferably, in the tactile presentation step, when it is determined that the finger touches the display object switched to the display of the three-dimensional image, a tactile sense corresponding to the display object is generated to generate the finger. May be configured to be presented.
More preferably, the image processing method of the present invention may further include a step of storing the image data generated in the image generation step and a determination result determined in the determination step.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a preferred embodiment of an image processing apparatus and an image processing method according to the present invention will be described in detail with reference to FIGS. This embodiment is given as an example, and the present invention should not be construed as being limited thereto.
FIG. 1 is a conceptual diagram showing a configuration example of a first embodiment of an image processing device including a tactile / force sense presentation device (tactile presentation means) of the present invention, and FIG. 2 is a schematic diagram of a real glove 20 shown in FIG. FIG. 3 is a block diagram illustrating a circuit configuration example. FIG. 3 is an external view (partially omitted) showing an external configuration example of the real glove 20 shown in FIG.
[0018]
As shown in FIG. 1, the image processing apparatus 1 is mounted on a hand (finger) of a user (user), and a tactile sensation (feeling of touch, for example, texture, shape, and strength) is applied to the mounted hand and each finger. A pair of real gloves (data gloves) 20 and 20 for giving a sense of force (a sense of force applied when touched) and a virtual space display for displaying a virtual space image (virtual space image). The device (display means) 5 and various processes such as drive control of each real globe 20 and the virtual space display device 5 (in the present invention, a tactile / force sense generating process in FIG. 19 described later and FIGS. 20 and 21) An information processing device 8 that performs display switching processing) and a base station 9 that creates a virtual space image and provides various services using the virtual space image.
[0019]
The real globe 20, the virtual space display device 5, the information processing device 8, and the base station 9 are respectively wireless (for example, wireless LAN (Local Area Network), infrared (IR) data communication (IrDA: Infrared Data Association), and Bluetooth. And the like, and a wireless communication function (communication means) capable of performing signal transmission and reception (wireless communication) with the information processing device 8, each real globe 20, the virtual space display device 5, and the base station 9 And can communicate with each other.
[0020]
The image processing device 1 transmits a virtual space image created (generated) by the information processing device 8 based on information supplied from the base station 9, the virtual space display device 5 and each real globe 20 to the virtual space display device 5. For example, when the hand or the finger wearing the real glove 20 moves and the hand or the finger virtually touches the object displayed in the virtual space, the state is displayed on the virtual space display device 5. At the same time, it performs various processes for giving a tactile sensation or a force sensation when the user touches the hand or each finger of the user wearing the real glove 20.
[0021]
The information processing device (shown as a mobile phone terminal in FIG. 1) 8 includes a wireless communication function (for example, a mobile phone terminal, a personal computer having a wireless communication function, and a portable information device called a PDA (Personal Digital Assistants)). It is composed of various devices having a communication means) and a control function (control means).
The base station 9 includes various devices that provide information on a virtual space image, such as various server computers connected to the Internet and a mobile phone base station that performs wireless communication with a mobile phone terminal.
[0022]
In the present embodiment, each real globe 20, the virtual space display device 5, the information processing device 8, and the base station 9 are configured to have a wireless communication function. For example, a configuration in which some or all of them perform wired communication It may be.
Further, the information processing device 8 may have some or all of the functions of the base station 9. In the tactile / force sense generating process in FIG. 19 and the display switching process in FIGS. 20 and 21 described below, the information processing device 8 is described as including all the functions of the base station 9 for convenience.
[0023]
Further, the real globe 20 may have some or all of the functions of the virtual space display device 5, the information processing device 8, and the base station 9.
Here, in the present embodiment, the tactile / force sense presentation device (in particular, functioning as tactile presentation means) 2 is a pair of real gloves 20, 20, that is, for a left hand worn on the left hand of the user. And a real glove 20 for the right hand worn on the right hand of the user. In the following description, one real glove 20 will be described as a representative.
[0024]
In the present invention, the tactile / force sense presentation device 2 may be configured with only one real glove 20.
In addition, in the present invention, the tactile / force sense presentation device 2 includes, in addition to the real globe 20, any one or two of the virtual space display device 5, the information processing device 8, and the base station 9, Or you may have all. In this case, the tactile / force sense presentation device 2 may have some or all of the functions thereof.
[0025]
As shown in FIG. 2, the real glove 20 senses a finger (for example, a target object, and a displayed object on the target object) that has appeared in a virtual space (on a virtual space image). Haptic generator (tactile sensation presenting means) 21 for generating an object, a texture, a shape, a strength, etc.), and the strength of a force applied to a hand or finger when it comes into contact with an object appearing in a virtual space. A haptic force generating unit (force sensation presenting means) 22 for generating a sense of sensation and the position of each part of the real glove 20 (the position of each part such as a hand, a wrist, an arm, and a finger wearing the real glove 20) are detected. And a control unit 24 that controls each unit of the real globe 20, a signal processing unit 25 that performs signal processing such as amplification of a detection data signal to be transmitted to the information processing device 8, and an information processing device 8. Signal for wireless communication between Shin portion and a (communication means) 26.
[0026]
Further, as shown in FIG. 3, the entire shape of the real glove 20 has a substantially long glove shape (glove shape). In other words, the real glove 20 is a relatively long glove having a tubular portion 20a that covers the arm as a glove-like wearing means to be worn from the finger of the wearer (user) to the vicinity of the elbow of the arm (from the finger to the arm). 2a.
Therefore, the user can easily and reliably attach and detach the real glove 20 with the glove 2a.
[0027]
Further, since the glove 2a is worn from the hand to the arm of the user, the operation (operation) in the virtual space can be easily and reliably performed.
The glove 2a has a play absorbing portion 27 for suppressing or preventing play of a portion corresponding to a fingertip, a wrist fixing portion 28 for fixing the real glove 20 to a wrist, and an arm fixing portion for fixing the real glove 20 to an arm. 2d and a torsion absorbing portion 29 for absorbing the torsion of the portion corresponding to the arm are provided respectively.
[0028]
The play absorbing portion 27 is provided at a portion corresponding to the vicinity of the wrist of the glove 2a. The play absorbing portion 27 is formed of an elastic body such as various rubbers, for example.
When the user wears the real glove 20, the glove 2a is pulled in the elbow direction (base end side) by the restoring force (elastic force) of the play absorbing portion 27, and is held in that state. Thereby, it is possible to prevent or suppress the play at the fingertip. Further, even in the case where a plurality of users having different hand dimensions such as finger lengths and the like are used, the play absorbing unit 27 can prevent or suppress each user from playing at their fingertips. .
[0029]
The wrist fixing portion 28 is provided on the elbow side (the base end side) of the play absorbing portion 27 of the glove 2a and is continuous with the play absorbing portion 27. The wrist fixing part 28 is formed of an elastic body such as various rubbers, for example.
When the user wears the real glove 20, the glove 2a is fixed to the wrist by the restoring force (elastic force) of the wrist fixing portion 28. Accordingly, it is possible to prevent the real glove 20 from shifting during use.
In addition, the bundle 212a of the actuator wires 212 of the tactile sensation generating portion 21 described later is held at a predetermined position by the wrist fixing portion 28 and the play absorbing portion 27 so that each actuator wire 212 can move in its longitudinal direction. You.
[0030]
The arm fixing portion 2d is provided at an end on the elbow side (base end side) of the tubular portion 20a of the glove 2a. The arm fixing portion 2d is formed of an elastic body such as various rubbers, for example.
When the user wears the real glove 20, the glove 2a is fixed to the arm by the restoring force (elastic force) of the arm fixing portion 2d. Accordingly, it is possible to prevent the real glove 20 from shifting during use.
[0031]
The torsion absorbing portion 29 is provided in the middle of the tubular portion 20a of the glove 2a, that is, between the wrist fixing portion 28 and the arm fixing portion 2d.
The torsion absorbing portion 29 is composed of three band portions 291 obtained by forming three openings 292 in a part of the cylindrical portion 20a. Each of the belt-shaped portions 291 is formed of, for example, an elastic member such as a cloth made of an elastic material.
[0032]
When the user wears the real glove 20 and performs, for example, an operation of twisting the wrist, each belt-shaped portion 291 expands and contracts, thereby absorbing the twist of the cylindrical portion 20a. As described above, the torsion of the real glove 20 can be prevented by the torsion absorbing portion 29, and therefore, the user can easily and smoothly move his / her hand or arm.
[0033]
In addition, the number of the band-shaped portions 291 of the torsion absorbing portion 29 may be two or less, or may be four or more.
Further, openings 21a are formed in portions of the glove 2a corresponding to the respective joints on the back side of the respective fingers. These openings 21a allow the user to easily and smoothly move each joint of each finger.
The real glove 20 has a portion corresponding to the arm of the glove 2a, which is located in the elbow direction with respect to the torsion absorbing portion 29, that is, the elbow side (the base end side) of the tubular portion 20a of the glove 2a. The control unit 24, the power supply unit 30, the power generation unit 211, and the like are provided at the end of ().
[0034]
By arranging the control unit 24, the power supply unit 30, and the power generation unit 211 as described above, the weight of the fingertip side (tip side) of the real glove 20 can be reduced (the inertia can be reduced). Thereby, the user can easily perform the operation (operation).
When the user wears the real glove 20, the main part of the tactile sensation unit 21 is located at a position covering the fingertip portion of the user's finger from the first joint (joint between the distal phalanx and the middle phalanx). Each is provided. Since the configuration and operation of each tactile sensation unit 21 are almost the same, only one of them will be described below representatively.
[0035]
FIG. 4 is a vertical cross-sectional view illustrating a configuration example of the tactile sense generating section 21. In addition, in order to avoid complicating the drawing, some of the members are omitted from the drawing.
As shown in FIG. 4A, the tactile sensation unit 21 includes a power generation unit (moving unit) 211 having a motor (drive source) 211a and an actuator wire (flexibility) that is movably installed in the longitudinal direction. , A wire holding portion (biasing means) 213 that holds one end of the actuator wire 212, a tactile presentation pin (pressing portion) 214 that presses a finger pad to generate a tactile sense, and a tactile presentation. It has a plurality of unit tactile sensation generating units (actuators) 210 each of which includes a tactile presentation pin supporting unit (moving direction regulating means) 215 that supports the pin 214 and regulates the moving direction of the tactile presentation pin 214. Each unit tactile generator 210 is independent of each other.
[0036]
The power generation unit 211, the actuator wire 212, and the tactile presentation pin support unit 215 constitute a drive mechanism that drives the tactile presentation pin 214, and these correspond to tactile presentation means of the tactile generation unit 21.
The power generation unit 211, for example, rotationally drives a motor 211a provided therein in response to a control signal from the control unit 24, and winds up the actuator wire 212 by rotating the motor 211a (the actuator wire 212 is replaced with the actuator wire 212). (The process of moving in the longitudinal direction). The control unit 24 controls the power generation unit 211 so that the rotation of the motor 211a is performed with a predetermined torque for a predetermined time according to an instruction from the information processing device 8. The power generation unit 211 performs a process of winding the actuator wire 212 by a predetermined length by applying rotational power to the motor 211a in accordance with an instruction from the information processing device 8.
[0037]
As shown in FIG. 4A, the wire holding unit 213 holds one end (end) of the actuator wire 212 near the first joint of the finger in the first embodiment. The wire holding portion 213 is made of an elastic member (elastic body) such as rubber or a spring.
Accordingly, the actuator wire 212 is wound by driving the motor 211a of the power generation unit 211, and when the actuator wire 212 moves clockwise in FIG. 4A, the wire holding unit 213 is expanded accordingly, and the actuator wire 212 is extended. Due to the restoring force (elastic force) of the wire holding portion 213, the wire 212 moves in the counterclockwise direction in FIG. 4A (the direction opposite to the moving direction of the actuator wire 212 when the tactile sense pin 214 is projected). Be energized. Then, when the driving of the motor 211a of the power generation unit 211 is stopped and the winding state of the actuator wire 212 is released, the wire holding unit 213 contracts due to a restoring force (elastic force), thereby being wound. The actuator wire 212 pulled out is moved counterclockwise in FIG. 4A.
The power generation unit 211 is located on the other end (start end) side of the actuator wire 212.
[0038]
The tactile sense pin 214 is used to give a touch sensation (presence or absence of contact, strength, and the like) to the user's finger pad, and includes a minute contact plate (contact portion) 214a that is a part that contacts the finger pad and a contact plate. And a supporting portion 214b for supporting the supporting portion 214a. One end of the support portion 214b is fixed in the middle of the actuator wire 212, and a contact plate 214a is provided at the other end.
[0039]
In the first embodiment, as shown in FIG. 4A, the glove 2a of the real glove 20 has a double mounting structure for mounting (covering) a fingertip (for example, two members such as cloths are overlapped). , A structure in which any member can be stored between the two superposed members), and a portion of the actuator wire 212 inside the portion covering the fingertip (inside of the double structure), A wire holding unit 213 and a support unit 214b, and a tactile presentation pin support unit 215 that regulates movement of the tactile presentation pin 214 in the movement direction of the actuator wire 212 are provided. One end of the support portion 214b protrudes into the glove 2a in which the finger is stored, and the contact plate 214a is located.
In the first embodiment, the contact plate 214a is always in contact with the fingertip of the hand wearing the real glove 20. The present invention is not limited to this, and the contact plate 214a may be configured to be separated from the fingertip (a state in which the contact plate 214a is not in contact with the fingertip).
[0040]
In FIG. 4A, for simplicity of explanation, one unit tactile sense generating section 210 (one tactile sense presentation pin 214) is shown as a representative, but as described above, actually, tactile sense generating section 210 is actually provided. The unit 21 has a plurality of unit tactile sense generation units 210, and the plurality of tactile sense presentation pins 214 are located at positions corresponding to the finger pad of the fingertip of the user when the user wears the real glove 20, for example, They are arranged along the finger pad and in a matrix (matrix) with respect to the finger pad.
[0041]
Before and after each tactile presentation pin 214, there is provided a tactile presentation pin support portion 215 for restricting movement of the support portion 214b of the tactile presentation pin 214 in the moving direction of the actuator wire 212.
Note that the tactile sense pins 214 may be arranged regularly or irregularly.
[0042]
Next, a tactile sense generating operation by the tactile sense generating section 21 will be described.
When the user wears the real glove 20 and moves his / her hand or finger, the fingertip (finger pad) virtually touches an object (virtual object) appearing in the virtual space, that is, an object (display object). The information processing device 8 calculates the pressing force in the case where the contact is actually made, and based on the calculation result, the PWM data of the power generation unit 211 (for example, data indicating an excitation pattern for rotating the motor 211a) Convert to
[0043]
In this case, in a virtual space (three-dimensional space), an X axis, a Y axis, and a Z axis orthogonal to each other, that is, XYZ coordinates (three-dimensional coordinates) are assumed in advance. A match with the coordinates of the user's fingertip is detected, and when the match is detected, it is determined that a portion corresponding to the coordinates of the object and a portion corresponding to the coordinates of the fingertip of the user have contacted. The coordinates of the user's fingertip are derived based on a signal (information) transmitted from the position and orientation detection unit 23 described later to the information processing device 8 via the signal transmission / reception unit 26.
[0044]
Next, the information processing apparatus 8 determines the derived PWM data and data for specifying (designating) the power generation unit 211 that operates the contact plate 214a that applies a pressing force to the contact position in the case where the contact is actually made. Is transmitted to the real glove 20. The real glove 20 drives the designated power generation unit 211 according to the received PWM data, and winds up the actuator wire 212.
[0045]
When the actuator wire 212 is wound, the actuator wire 212 arranged on the finger pad moves toward the tip of the finger along the finger pad, and is attached to the actuator wire 212 as shown in FIG. The fixed tactile sense presentation pin 214 also moves along the finger pad toward the tip of the finger.
At this time, as shown in FIG. 4C, the tactile presentation pin 214 restricts the movement of the finger in the tip direction by the tactile presentation pin support 215, and is guided by the tactile presentation pin support 215. 4C moves upward in the middle (projects toward the finger pad). That is, the contact plate 214a of the tactile sense pin 214 moves substantially vertically upward with respect to the surface of the finger pad. In the standby state (in the initial state), the support portion 214b of the tactile presentation pin 214 is inclined from the vertical direction toward the tip of the finger as shown in FIG. 4B, and the contact plate 214a moves almost vertically upward. When a force to be applied acts, the contact plate 214a presses the finger pad in a substantially vertical direction, thereby applying a pressing force to the finger pad of the user's hand.
[0046]
This operation is performed by the designated unit tactile generator 210 among the plurality of unit tactile generators 210, whereby the tactile sensation is presented (given) to the finger pad of the user's hand. Therefore, the user can obtain a feeling corresponding to the contact of the finger pad with the object (object) in the virtual space image at the finger pad.
In the unit tactile sensation generating unit 210 specified in this way, when the driving of the motor 211a of the power generating unit 211 is stopped and the winding state of the actuator wire 212 is released, the wire holding unit 213 causes the restoring force (elastic force). , Whereby the wound actuator wire 212 is pulled out.
[0047]
When the actuator wire 212 is pulled out, the actuator wire 212 disposed on the finger pad moves along the finger pad toward the base end of the finger (to the right in FIG. 4C), and is fixed to the actuator wire 212. The tactile presentation pin 214 also moves toward the base end of the finger along the finger pad, and the tactile presentation pin 214 returns to the initial state shown in FIG. As a result, the pressing force applied to the finger pad of the user from the tactile sense presentation pin 214 substantially disappears.
[0048]
According to such a tactile sensation generating unit 21, the actuator wire 212 is arranged substantially parallel to (along the finger pad), and the actuator wire 212 is wound up to thereby be substantially perpendicular to the finger pad. Since the force is applied, the mechanism for giving the tactile sensation can be made thinner, whereby the thickness of the real glove 20 on the finger pad side can be suppressed as much as possible.
Further, the slack of the actuator wire 212 can be prevented, and a target large pressing force can be more accurately and reliably applied from the tactile sense presentation pin 214 to the user's finger pad.
[0049]
FIGS. 5 and 6 are external views each showing a configuration example of the force sensation generating unit 22. FIG. 5 shows a state in which the frame cover has been removed.
As shown in FIG. 5, the force sense generator 22 is provided on the back side of each finger of the user when the real glove 20 is worn. The configuration and operation of the force sensation generating section 22 are almost the same, and one of them will be described below as a representative.
[0050]
The force sensation generating unit 22 includes a link mechanism including a plurality of (six in the present embodiment) frames 221 that are rotatably connected, and a plurality (seven in the present embodiment) of rotating each frame 221. It has a link motor (drive source) 222 and a plurality (four in the present embodiment) of frame holders 2b provided on the glove 2a.
When the user wears the real glove 20, the frame holder 2b includes a mounting portion located on the distal end side of the first joint of the user's finger, the first joint and the second joint (between the middle phalanx and the base phalanx). , A mounting portion positioned between the second joint and the third joint, and a proximal end of the third joint (joint between the proximal phalanx and the metacarpal) And the mounting portion located on the side.
[0051]
The link mechanism is attached to the back of the user's finger when the real glove 20 is worn on the glove 2a by the frame holder 2b.
That is, when the user wears the real glove 20, the frame 221 at the distal end (right side in FIG. 5) of the link mechanism is positioned at a position distal to the first joint of the user's finger. The tip of the frame 221 is rotatably mounted with respect to the frame holder 2b.
[0052]
The frame 221 at the proximal end (the left side in FIG. 5) of the link mechanism has an end portion at a position proximal to the third joint of the user's finger when the user wears the real glove 20. Is located so that the base end of the frame 221 is rotatably mounted with respect to the frame holder 2b.
Further, when the user wears the real glove 20, the remaining frames 221 of the link mechanism are connected to a portion between the first joint and the second joint of the user's finger and the second joint and the third joint. The frame connecting portions are disposed so as to be located at every other position between the portions, and the alternate frame connecting portions are rotatably installed with respect to the frame holder 2b.
[0053]
The driving force (rotational force) of each link motor 222 is transmitted to the corresponding frame 221 via a power transmission unit (not shown). That is, when the link motor 222 is rotationally driven in a predetermined direction, the corresponding frame 221 is rotated in a predetermined direction, whereby the angle of the frame 221 is changed (adjusted).
[0054]
FIG. 5 shows the bundle 212a of the actuator wires 212 described above.
As shown in FIG. 6, each frame 221 and each link motor 222 of the force sensation generating section 22 are housed in a frame cover 2c made of, for example, cloth.
[0055]
As shown in FIG. 6, inside the frame cover 2c, a plurality of (four in the present embodiment) position / posture detecting units (finger position detecting means) for detecting the positions and postures of predetermined parts of hands and fingers are provided. ) 23 are installed. Each position / posture detection unit 23 is provided so as to be able to hold a fixed positional relationship with respect to a part (detection position) for detecting a position and a posture.
[0056]
That is, in this embodiment, each position / posture detecting unit 23 is attached and fixed to each link motor 222 fixed to the position where the frame holder 2b is provided. Therefore, the positional relationship between the part where each position and orientation detection unit 23 is provided and the predetermined part on the palm side of the user is kept constant. Therefore, the position and orientation detection unit 23 detects the position and orientation of the user, whereby the position and orientation of a predetermined part on the palm side of the user can be easily and accurately derived.
[0057]
Further, since each position and orientation detection unit 23 is disposed on the back of the hand, the thickness of the real glove 20 on the finger pad side can be minimized.
As shown in FIG. 3, the position / posture detection unit 23 is also installed at a position corresponding to the base end portion of the arm of the real glove 20 when the user wears the real glove 20. The position and orientation detection unit 23 can reliably grasp the position and orientation of each unit such as a finger, a hand, a wrist, an arm, etc., wearing the real glove 20.
[0058]
Next, a force generation operation performed by the force generation unit 22 will be described.
When the user wears the real glove 20 and moves his / her finger or finger, the hand or finger virtually touches an object (virtual object) appearing in the virtual space, that is, an object, the information processing device 8 The calculation processing unit 81 described later calculates the reaction force from the object to the finger (each finger joint) when there is actually contact, and based on the calculation result, the PWM data of each link motor 222 (for example, (Data indicating an excitation pattern for rotating the link motor 222).
[0059]
The discrimination of the contact between the object and the user's hand or finger is the same as in the case of the tactile sensation generating unit 21, and the section name is omitted here.
The information processing device 8 transmits the derived PWM data and the data indicating the link motors 222 to be driven to the real globe 20. The real globe 20 drives each of the designated link motors 222 in a predetermined direction in accordance with the received data, rotates each of the corresponding frames 221 in a predetermined direction, and adjusts the angle of each of the frames 221. The angles of the frames 221 at both ends of the link mechanism and the angles of the respective frame connecting portions are adjusted.
[0060]
Due to the angle adjustment of the frame 221, a predetermined magnitude of force is applied to the predetermined frame holder 2b, whereby a force corresponding to a reaction force from an object appearing in the virtual space is applied to each joint of the user's finger. Given to. That is, a force sense is presented (given) to each joint of the finger.
Here, the force sensation generating section 22 has a function of adjusting an interval between a plurality of mounting sections to be mounted on a plurality of parts of a finger (also serving as an adjusting unit).
For example, as shown in FIG. 5, by rotating a predetermined frame 221 and adjusting the angle of the frame 221, the interval between the frame holders 2b can be lengthened or shortened.
[0061]
FIG. 7 is a block diagram illustrating a configuration example of the position and orientation detection unit 23 of the real glove 20. In the present embodiment, an orthogonal coil type (orthogonal coil type) position sensor is used for the position and orientation detection unit 23. That is, as shown in FIG. 7, the position and orientation detection unit 23 includes an X direction detection coil 231, a Y direction detection coil 232, and a Z direction detection coil 233. Note that the X direction, the Y direction, and the Z direction are orthogonal to each other.
[0062]
On the other hand, the information processing device 8 is provided with a magnetic field generation unit 88 described below that generates a magnetic field. The magnetic field generator 88 includes, for example, a magnetic field generator (X-direction coil, Y-direction coil, Z-direction coil) having substantially the same configuration as the position and orientation detector 23, that is, a quadrature coil type (quadrature coil type). Used.
The magnetic field generated by the magnetic field generator 88 is detected by the position and orientation detector 23. In this case, a magnetic field is generated in a time-division manner in the order of the X-direction coil, the Y-direction coil, and the Z-direction coil of the magnetic field generation unit, and the magnetic field generated from each coil is transmitted to the X-direction detection coils 231 Detection is performed by three coils, the direction detection coil 232 and the Z direction detection coil 233.
[0063]
Each signal (detection data) detected in each of the X, Y, and Z directions by the position and orientation detection unit 23 is amplified by the amplification unit 251 of the signal processing unit 25 and converted to a digital signal by the A / D conversion unit 252. Thereafter, the signal is transmitted to the signal transmission / reception unit 26 shown in FIG. 2 and transmitted to the information processing device 8 by the signal transmission / reception unit 26.
The information processing device 8 receives the above signal, derives the position and orientation of each part such as a finger, a hand, a wrist, and an arm wearing the real glove 20 based on the signal (information), and derives the information. It is used in each predetermined process.
[0064]
Next, the virtual space display device 5 which is the display means of the present invention will be described.
As the virtual space display device (display means) 5, in this embodiment, a device mounted on the face and used, that is, a spectacle-shaped device called an HMD (head-mounted display) is used.
FIG. 8 is a perspective view showing an example of an external configuration of the virtual space display device 5, and FIG. 9 is a block diagram showing an example of a circuit configuration of the virtual space display device 5.
[0065]
The virtual space display device 5 includes image display units 51a and 51b that display a virtual space image to a wearer (user), gaze detection units 52a and 52b that detect the gaze of the wearer, and surrounding images (video). Input / output units 53a and 53b for capturing the data, a control unit 54 for controlling the entire apparatus, a signal transmitting / receiving unit 55 for transmitting / receiving signals to / from the information processing apparatus 8, a position / posture detecting unit (position detecting unit) for detecting a user's viewpoint ) 56, a mounting portion 57 to be hooked and held on the ear, a signal processing portion 58 for processing various signals, and a three-dimensional acceleration sensor 59.
[0066]
FIG. 10 is a diagram (block diagram, schematic diagram) illustrating a configuration example of the unevenness input unit 53a of the virtual space display device 5. In FIG. 10, the unevenness input unit 53a includes a lens 531, a CCD (image pickup device) 532, a CCD control unit 533, and a CCD output amplification unit 534.
The light (light flux) incident on the lens 531 is guided by the lens 531 onto the light receiving surface (imaging surface) of the CCD 532 to form an image. The subject image (surrounding image) is captured by the CCD 532. The driving of the CCD 532 is controlled by the CCD control unit 533.
[0067]
The signal output from the CCD 532 is amplified by the CCD output amplifying unit 534, and then output from the concave / convex input unit 53a and input to the signal processing unit 58 shown in FIG. Then, predetermined signal processing is performed in the signal processing unit 58, and the signal is transmitted to the information processing device 8 by the signal transmitting / receiving unit 55.
Note that the configuration and operation of the unevenness input unit 53b are the same as those of the unevenness input unit 53a, and a description thereof will be omitted.
[0068]
FIG. 11 is a diagram (block diagram, schematic diagram) illustrating a configuration example of the image display unit 51 a of the virtual space display device 5. 11, an image display unit 51a includes a lens 511, a lens moving mechanism 512 that moves the lens 511, a stepping motor 513, a motor control unit 514, and a liquid crystal display panel 515 including a color filter (not shown). The liquid crystal display includes a liquid crystal driver 516, a backlight 517, a backlight controller 518, and a transistor 519.
[0069]
When a virtual space image is displayed on the image display unit 51a, the transistor 519 is turned on, the backlight 517 is driven by the control of the backlight control unit 518, and light is emitted from the backlight 517 to the liquid crystal display panel 515. .
Then, the liquid crystal driving unit 516 controls the driving of the liquid crystal display panel 515 based on the display signal (image data) input from the control unit 54, whereby a virtual space image is displayed on the liquid crystal display panel 515. .
The wearer (user) can visually recognize the virtual space image displayed on the liquid crystal display panel 515 via the lens 511 and the half mirror 521 of the visual line detection unit 52a described later.
[0070]
The driving of the stepping motor 513 is controlled by a motor control unit 514. When the stepping motor 513 rotates in a predetermined direction, the lens moving mechanism 512 causes the lens 511 to approach the liquid crystal display panel 515, that is, the direction of the wearer. Move away from your eyes.
When the stepping motor 513 rotates in a direction opposite to the above direction, the lens 511 is moved by the lens moving mechanism 512 in a direction away from the liquid crystal display panel 515, that is, in a direction closer to the eyes of the wearer.
[0071]
By changing the position of the lens 511, the perspective of the virtual space image can be changed.
The adjustment of the position of the lens 511, that is, the adjustment of the perspective of the virtual space image is performed based on the information of the line of sight of the wearer detected by the line-of-sight detection units 52a and 52b described later.
[0072]
Note that the configuration and operation of the image display unit 51b are the same as those of the image display unit 51a, and a description thereof will be omitted.
The line-of-sight detection units 52a and 52b detect the direction of the line of sight of the wearer (where the virtual space image is to be focused) and the iris of the eye of the wearer for use as security information. And a function of reading a pattern.
[0073]
FIG. 12 is a diagram (block diagram, schematic diagram) illustrating a configuration example of the visual line detection unit 52a of the virtual space display device 5. In FIG. 12, the line-of-sight detection unit 52a includes a half mirror 521, a filter 522 for removing visible light and transmitting infrared light, a lens 523, a CCD (imaging device) 524, a CCD control unit 525, It has a CCD output amplifier 526, an LED (light emitting diode) 527 that emits infrared light, an LED controller 528, and a transistor 529.
[0074]
The driving of the LED 527 is controlled by the LED control unit 528. When the transistor 529 is turned on under the control of the LED control unit 528, the LED 527 is driven and the LED 527 emits infrared light.
The infrared light emitted from the LED 527 is transmitted through the filter 522, partially reflected by the half mirror 521, and irradiated to the wearer's eyes.
[0075]
Then, part of the reflected light (light flux) from the eyes of the wearer is reflected by the half mirror 521, passes through the filter 522, and is guided by the lens 523 onto the light receiving surface (imaging surface) of the CCD 524. An image of the subject is formed, and the subject image (the image of the eye of the wearer) is captured by the CCD 524. The driving of the CCD 524 is controlled by the CCD control unit 525.
[0076]
The signal output from the CCD 524 is amplified by the CCD output amplifying unit 526, then output from the visual line detection unit 52a, input to the signal processing unit 58 shown in FIG. Is transmitted to the information processing device 8.
The information processing device 8 receives a signal from the virtual space display device 5 and, based on the signal (information), determines the direction of the line of sight of the wearer (where the virtual space image is to be focused). Is detected, and the iris pattern of the wearer's eye is read, analyzed, and used as security information.
[0077]
On the other hand, visible light incident on the filter 522 from the lens 523 side is removed by the filter 522, and the visible light can be prevented from being irradiated to the eyes of the wearer. This can prevent the visibility of the virtual space image displayed on the liquid crystal display panel 515 from being reduced.
The configuration and operation of the line-of-sight detection unit 52b are the same as those of the line-of-sight detection unit 52a, and a description thereof will be omitted.
[0078]
The virtual space display device 5 captures and captures a surrounding image by two image capturing devices (imaging means), that is, the unevenness input units 53a and 53b, and captures image data ( Video data).
The information processing device 8 derives a visual angle difference from images captured by the concave / convex input units 53a and 53b, that is, captured image data, and generates a virtual space image based on surrounding irregularities obtained from the visual angle difference and the like. That is, image data of the virtual space is created. Then, the information processing device 8 arranges the created image (video) of the virtual space and a predetermined virtual object such as a virtual wallpaper, a virtual personal computer, and a virtual book in the virtual space according to the unevenness of the surroundings. Image data (video data) indicating a composite image (composite video) obtained by combining the image and the image is transmitted to the virtual space display device 5.
[0079]
The virtual space display device 5 displays the image based on the image data from the information processing device 8 using the image display units 51a and 51b.
In addition, when the virtual glove display device 5 is mounted on the real glove 20, that is, the user's hand or arm is within the area of the image displayed by the image display units 51a and 51b, Images corresponding to the arms and arms are also displayed on the image display units 51a and 51b.
[0080]
In this case, as described above, the detection data of the plurality of position / posture detection units 23 provided on the real glove 20 are transmitted to the information processing device 8, so that the position and posture of the real glove 20, that is, the user's Each finger, hand, wrist, arm, and the like are recognized by the information processing device 8. That is, the information processing device 8 specifies the position and orientation of each user's finger, hand, wrist, arm, etc., based on the detection data from the real glove 20, and displays them on the image display units 51a, 51b. If they fall within the area of the image being rendered, a virtual space image showing them is created, the image is combined with the base image, and a combined image (image data of the combined image) is obtained. The data is transmitted to the virtual space display device 5.
[0081]
Therefore, when the user's hand or arm is within the area of the image displayed by the image display units 51a and 51b, the image corresponding to the hand or arm is displayed on the image display units 51a and 51b. You.
Then, in conjunction with the actual movement of the hand or finger wearing the real glove 20, the hand or finger moves in the virtual space image displayed on the image display units 51a and 51b.
[0082]
The position and orientation detection unit 56 is a sensor for detecting the position and orientation of the virtual space display device 5, that is, the position and orientation of the face (head) of the wearer. In the present embodiment, a position sensor of a quadrature coil type, that is, the same as the position / posture detection unit 23 is used as the position / posture detection unit 56.
The signal (detection data) from the position and orientation detection unit 56 is input to the signal processing unit 58, subjected to predetermined signal processing, and transmitted to the information processing device 8 by the signal transmission and reception unit 55 one by one. The information processing device 8 updates the virtual space image one by one at predetermined time intervals based on the detected data.
Therefore, for example, when the user wearing the virtual space display device 5 moves his / her neck, the virtual space images displayed on the image display units 51a and 51b are images that match the direction in which the user is facing. Change.
[0083]
The three-dimensional acceleration sensor 59 detects accelerations in three directions substantially perpendicular to the virtual space display device 5. If the three-dimensional acceleration sensor 59 can be built in the HMD and has a certain degree of accuracy, a piezoelectric type However, any of a servo type and a strain gauge type may be used. However, in the present invention, a more accurate acceleration sensor such as a semiconductor acceleration sensor using CMOS is suitable.
[0084]
The signal (acceleration data) detected by the three-dimensional acceleration sensor 59 is output to the signal processing unit 58, subjected to predetermined signal processing such as amplification, and transmitted to the information processing device 8 via the signal transmitting / receiving unit 55. Is done. Note that this acceleration data is used when calculating the moving speed of the HMD 5, but is not an essential component in the present invention, and therefore the description thereof is omitted.
[0085]
Next, the information processing device 8 which is a part of the image processing device of the present invention will be described. FIG. 13 is a block diagram illustrating a circuit configuration example of the information processing device 8 illustrated in FIG. 13, an information processing device 8 includes an arithmetic processing unit (arithmetic unit) 81, a collision determination unit (also serving as a collision determination unit and a contact determination unit) 82, an image generation unit (image generation unit) 83, and a control unit. A storage unit (storage unit) 85, a signal processing unit 86, a signal transmission / reception unit (communication unit) 87, and a magnetic field generation unit 88.
[0086]
When the finger or hand of the real glove 20 contacts an object (including a display object) in the virtual space, the arithmetic processing unit 81 determines what the object is. Then, a reaction force (tactile and / or force sense) to the finger (each finger joint) is calculated, and the calculation result is converted into PWM data of each link motor 222 of the real globe 20, and the converted data is subjected to signal processing. The signal is transmitted to the real globe 20 via the unit 86 and the signal transmitting / receiving unit 87.
[0087]
The collision determination unit 82 determines whether each finger of the real glove 20 has collided with (touched) a virtual target (displayed object) in the virtual space. The determination result determined by the collision determination unit 82 is output to the control unit 84. In the present invention, the collision determination unit 82 determines not only the collision or contact between the finger and the virtual book but also the contact with the display object three-dimensionally displayed by the display switching process. This determination result is similarly output to the control unit 84.
[0088]
The image generating unit 83 captures a virtual space image previously received from the base station 9 or a virtual space converted from the captured image by the unevenness input units 53a and 53b of the virtual space display device 5 in accordance with an instruction from the control unit 84. A video such as a user's arm or finger is superimposed on the image to generate a synthesized virtual space image, which is output to the signal processing unit 86. In addition, the image generation unit 83 updates and generates a virtual space image at predetermined time intervals in accordance with the movement of the real globe 20 or the virtual space display device 5 displayed in the virtual space, and generates it by the signal processing unit 86. Output to
[0089]
The control unit 84 causes the arithmetic processing unit 81 to calculate the above-described reaction force based on the determination result of the collision determination unit 82. The control unit 84 controls the operations of the above-described arithmetic processing unit 81, the collision determination unit 82, and the image generation unit 83, and stores the calculation result, the collision determination result (contact determination result), the generated image data, and the like. The information is stored in a predetermined storage area of the unit 85 and transmitted to a corresponding device via the signal processing unit 86 and the signal transmitting / receiving unit 87.
[0090]
Further, in the present invention, the control unit 84 determines that the collision determination unit 82 matches the finger with the virtual book (that is, the finger touches the virtual book or grasps the virtual book with the finger). If it is determined, it is determined whether the virtual book is opened to a predetermined extent (open / close determination means), and a two-dimensional image or a three-dimensional image is generated by the image generation unit 83 based on the determination result. Then, the image data is transmitted to the virtual space display device 5 via the signal processing unit 86 and the signal transmitting / receiving unit 87. The virtual space display device 5 switches from two-dimensional display to three-dimensional display or three-dimensional display to two-dimensional display based on the determination result (display switching means), and displays the display object (here, book). Display).
[0091]
The storage unit 85 has a computer-readable storage medium (also referred to as a recording medium; a recording medium in the claims) in which programs, data, and the like are stored in advance. The medium is, for example, RAM (Random Access Memory: including both volatile and nonvolatile), FD (Floppy Disk (Floppy is a registered trademark)), HD (Hard Disk), CD-ROM (Compact Disc Read-Only). Memory), a magnetic or optical recording medium, or a semiconductor memory. The storage medium is fixedly provided in the storage unit 85 or is detachably mounted. The storage medium includes the virtual space display device 5, the information processing device 8, and tactile / force sense presentation. Various application programs corresponding to the device 2, a haptic / force sense presentation processing program, a display switching processing program, data processed by each processing program, document data, and the like are stored.
[0092]
In addition, some or all of the programs, data, and the like stored in the storage medium are transmitted from other devices such as a server or a client (the base station 9 in the present embodiment) to a network line (for example, the Internet, a telephone line, ) May be received from the signal transmission / reception unit 87 via a transmission medium such as) and stored. The storage medium may be a storage medium of a server of the base station 9 built on a network. Furthermore, such a program may be transmitted from a server or a client via a transmission medium such as a network line and installed in the information processing device 8. Further, the above-mentioned program may be for realizing a part of the above-described functions, and may be for realizing the above-mentioned functions in combination with a program already recorded in a computer system.
[0093]
The signal processing unit 86 performs signal processing such as amplification of image data and control signals transmitted to the virtual space display device 5 and the tactile / force sense presentation device 2. The signal transmission / reception unit 87 performs control for communicating various signals and data processed by the signal processing unit 86 with external devices such as the virtual space display device 5 and the tactile / force sense presentation device 2.
Although not shown in detail, the magnetic field generation unit 88 is, for example, a quadrature coil type (quadrature coil type) magnetic field generator (X-direction coil, Y-direction coil, Z-direction) corresponding to the position and orientation detection unit 23 in FIG. Coil). The magnetic field generation unit 88 generates a magnetic field in the order of the X, Y, and Z direction coils in accordance with an instruction from the control unit 84, and detects the detection coils 231, 232, and 233 in each direction of the position and orientation detection unit 23 of the real glove 20. At the same time, and the position and orientation detection unit 56 of the virtual space display device 5 also detects the magnetic field.
[0094]
The magnetic field generating unit 88 may be stored in the information processing device 8 as illustrated, but may be configured separately from the information processing device 8 as a magnetic field generating device. In particular, when a mobile phone or a PDA is used as the information processing device 8, since a magnetic field generating unit cannot be provided inside the mobile phone or the PDA, it is useful to use another configuration. Even if a separate magnetic field generator (or magnetic field generator) is provided, the control is performed by a control signal from the information processing device 8.
[0095]
Next, an operation (action) of the image processing apparatus 1 according to the first embodiment will be described. Here, a case will be described as an example where the user operates the virtual personal computer appearing in the virtual space using the image processing apparatus 1.
The user turns on the power of each part, wears the real glove 20 on both hands, and wears the glasses-like virtual space display device 5 (wears on the face). Then, a virtual space image including the virtual personal computer is displayed on the image display units 51a and 51b of the virtual space display device 5.
[0096]
Further, if the user's arm is placed in the virtual space image displayed on the image display units 51a and 51b, the image of the hand or arm created by the image generation unit 83 of the information processing device 8 is virtual. It is displayed as a virtual object on the space image. Then, when the user moves the hand or finger, the displayed hand or finger moves in the virtual space image in conjunction with the actual movement of the hand or finger.
[0097]
In the information processing device 8, the collision determination unit 82 determines that the object in the virtual space image, that is, in this embodiment, for example, a part of a virtual personal computer (for example, a keyboard) and a part of a user's finger have the same coordinates. When it is detected that the tactile sensation and the force sensation are generated, the real glove 20 is instructed based on the calculation result of the calculation processing unit 81. Specifically, the information processing device 8 drives the power generation unit 211 to be driven and the PWM data used for driving the real globe 20 based on the calculation result of the reaction force calculated by the calculation processing unit 81. The link motor 222 to be driven and PWM data used for driving the link motor 222 are transmitted via the signal transmission / reception unit 87.
[0098]
The real globe 20 drives each of the specified operation generating units 211 by PWM control according to an instruction from the information processing device 8 for a specified time with a specified torque. As a result, the contact plate 214a of each tactile presentation pin 214 disposed at the portion having the same coordinates as a part of the virtual personal computer projects, and the fingertip of the user having the same coordinates as the part of the virtual personal computer is protruded. Tactile sensation is given. That is, a touch sensation, texture, shape, strength, and the like are given to each fingertip.
[0099]
At the same time, the real globe 20 drives each of the specified link motors 222 by PWM control according to an instruction from the information processing device 8 for a specified time with a specified torque. Accordingly, when a user touches, for example, a keyboard of a real personal computer, a force sense applied to each joint of each finger, that is, a force corresponding to a pressing force (reaction force) applied to each joint of each finger is applied to the user. Provided for each joint of each finger.
[0100]
When the user further moves the finger in the direction in which the key of the virtual personal computer is pressed, a virtual space image showing how the key is pressed is displayed on the image display units 51a and 51b in accordance with the change in the coordinates of the finger.
In this case, the information processing device 8 generates the image data of the virtual space image for reproducing the change of the display state based on the pressed key in the virtual space image in the image generation unit 83, and outputs it to the virtual space display device 5. The virtual space display device 5 performs a process of transmitting the image to the display of the virtual personal computer based on the image data of the virtual space image received from the information processing device 8. indicate.
[0101]
As described above, according to the tactile / force sense presentation device 2 and the image processing device 1, the mounting and dismounting of the real glove 20 can be performed easily and reliably, and the operation (operation) in the virtual space can be performed. It can be done easily and reliably.
Further, according to the virtual space image, the tactile sense and the force sense can be accurately and reliably presented to each finger.
[0102]
Thus, the user can comfortably, easily, and reliably perform an operation (operation) in the virtual space.
In particular, in the tactile sense generating section 21, the slack of the actuator wire 212 can be prevented, and the target large pressing force can be more accurately and reliably applied to each finger pad of the user from each tactile sense pin 214. it can.
[0103]
This allows the user to more accurately and reliably sense the sensation corresponding to the contact of each finger pad with the object (object) in the virtual space image.
In the tactile sensation generating section 21, an actuator wire 212 is arranged substantially parallel to (along the finger pad) with respect to each finger pad, and by winding up the actuator wire 212, a force substantially perpendicular to each finger pad is applied. Therefore, the mechanism for giving the tactile sensation can be made thinner, whereby the thickness of the real glove 20 on the finger pad side can be suppressed as much as possible.
[0104]
In addition, since the force sensation generating unit 22 has a link mechanism, it can cope with both a state in which the finger is extended and a state in which the finger is bent. A sense of force can be given to it.
In the above-described embodiment, a case has been described in which a personal computer displayed as a virtual space image is virtually operated as an example of use. However, the present invention is not limited to this. It can also be used to handle other goods. When dealing with a virtual book, for example, when touching the edge of a virtual book or turning a page, feel the tactile sensation or power applied to a finger when touching the edge of an actual book or turning a page Can be.
[0105]
Next, a second embodiment of the image processing apparatus of the present invention will be described. FIG. 14 is a longitudinal sectional view illustrating a configuration example of a tactile sensation unit of the tactile / force sense presentation device according to the second embodiment of the present invention.
Hereinafter, the tactile / force sense presentation device 2 and the image processing device 1 of the second embodiment will be described focusing on the differences from the first embodiment described above, and the description of the same items will be omitted.
[0106]
As shown in FIG. 14A, in the tactile / force sense presentation device 2 of the second embodiment, each unit tactile generator (actuator) 210 of the tactile generator 21 includes a motor (drive source) 211a. A power generation unit (moving means) 211 provided, an actuator wire (flexible linear body) 212 movably installed in a longitudinal direction, and a tactile presentation unit 216 for pressing a finger pad to generate a tactile sensation And In the second embodiment, the tactile presentation unit 216 forms a main part of the tactile presentation unit.
[0107]
The tactile presentation unit 216 is used to give a touch sensation (the presence or absence of contact, strength, and the like) to the user's finger pad, and is formed of, for example, an elastic member (elastic body) such as a leaf spring. In this case, the tactile presentation section 216 preferably has an appropriate rigidity, and can be formed of, for example, an elastic body made of various metals.
The tactile sense presentation section 216 is composed of a first plate piece (pressing section) 216a and a second plate piece (slide section) 216b. The first plate piece 216a and the second plate piece 216b are joined at one end, and the other end of the first plate piece 216a has a minute contact portion 216c that is a part that contacts the finger pad. Is provided. The contact portion 216c can be formed, for example, by bending the end of the first plate 216a toward the second plate 216b.
Further, one end of the tactile sense presentation unit 216, that is, the left end in FIG. 14A is curved so as to be convex downward in FIG. 14A.
[0108]
Between the first plate piece 216a and the second plate piece 216b, there is provided a cylindrical guide portion (moving direction regulating means) 217 for regulating the moving direction of the first plate piece 216a.
Further, a holding plate 218 is provided below the tactile presentation unit 216 in FIG. 14A, and the tactile presentation unit 216 can move (slide) along the holding plate 218. I have. In this case, the tactile sense presentation section 216 can move smoothly and reliably because its left end in FIG. 14A is curved.
[0109]
The guide portion 217 is fixed to the holding plate 218, and the holding plate 218 is fixed to the glove 2a. That is, the guide portion 217 and the holding plate 218 are both fixedly installed on the glove 2a.
Further, one end of an actuator wire 212 is fixed to the right end in FIG. 14A of the second plate piece 216b of the tactile sense presentation section 216.
[0110]
When the actuator wire 212 is wound by the driving of the motor 211a of the power generation unit 211, the actuator wire 212 moves rightward in FIG. 14A (toward the base end of the finger) along the finger pad, The tactile presentation section 216 attached and fixed to the actuator wire 212 also moves to the right in FIG. 14A along the finger pad.
[0111]
At this time, as shown in FIG. 14B, the movement of the first plate piece 216 a of the tactile sense presentation section 216 to the right side in FIG. It is guided and moves upward in FIG. 14B (projects toward the finger pad). That is, the tactile presentation section 216 is elastically deformed, and the posture of the first plate piece 216a is changed to the posture shown in FIG. 14B, so that the contact portion 216c is almost vertically upward with respect to the surface of the finger pad. Move to (push up).
[0112]
On the other hand, the restoring force (elastic force) of the tactile sense presentation unit 216 causes the actuator wire 212 to move leftward in FIG. 14B (in the direction opposite to the direction in which the actuator wire 212 moves when the first plate 216a is projected). Be energized. That is, the tactile sense presentation section 216 (first plate piece 216a) also functions as an urging unit.
When a force is exerted on the contact portion 216c to move substantially vertically upward, the contact portion 216c presses the finger pad in a substantially vertical direction, thereby applying a pressing force to the finger pad of the user's hand.
[0113]
This operation is performed by the designated unit tactile generator 210 among the plurality of unit tactile generators 210, whereby the tactile sensation is presented (given) to the finger pad of the user's hand. Therefore, the user can obtain a feeling corresponding to the contact of the finger pad with the object (object) in the virtual space image at the finger pad.
In the unit tactile sensation generating unit 210 specified in this way, when the driving of the motor 211a of the power generating unit 211 stops and the winding state of the actuator wire 212 is released, the restoring force (elastic force) of the haptic presentation unit 216 Then, the tactile sense presentation unit 216 returns to the initial state shown in FIG. As a result, the pressing force applied to the finger pad of the user's hand from the tactile sense presentation unit 216 substantially disappears.
According to the tactile / force sense presentation device 2 and the image processing device 1, the same effects as in the first embodiment can be obtained.
[0114]
Next, a third embodiment of the image processing apparatus of the present invention will be described. FIG. 15 is an external view (partially omitted) illustrating an external configuration example of a real glove of the tactile / force sense presentation device of the third embodiment. Note that FIG. 15 does not show the tactile sensation generating unit 21, the power generating unit 211, the haptic generating unit 22, the position and orientation detecting unit 23, the control unit 24, the power supply unit 30, and the like shown in FIG.
[0115]
Hereinafter, the tactile / force sense presentation device 2 and the image processing device 1 of the third embodiment will be described focusing on the differences from the first embodiment described above, and the description of the same items will be omitted.
As shown in FIG. 15, in the tactile / force sense presentation device 2 of the third embodiment, air (air) is provided at the end of the tubular part 20 a of the glove 2 a of the real glove 20 on the elbow side (base end side). An arm fixing portion 2d is provided which is fixed to the arm by air pressure (pressure) by injection (air injection method).
[0116]
The arm fixing part 2d is composed of a bag-shaped arm fixing part main body 21d into which air is injected, and an air injection part 22d provided on the arm fixing part main body 21d. The outer shape of the arm fixing portion main body 21d is cylindrical.
The hollow part of the air injection part 22d communicates with the inside of the arm fixing part main body 21d, and a lid 23d is provided at the tip of the air injection part 22d.
[0117]
When the lid 23d is attached to the tip of the air injection part 22d, the airtightness in the arm fixing part main body 21d is maintained, and when the lid 23d is removed, the arm fixing part main body 21d is connected to the arm fixing part main body 21d via the air injection part 22d. , Can inject and exhaust air.
Such an arm fixing portion 2d is formed according to each user, for example, using a mold such as a rubber mold so as to conform to the shape of the arm of the user.
[0118]
When wearing the real glove 20, the user first wears the glove 2a, and then injects air into the arm fixing portion main body 21d of the arm fixing portion 2d.
In this air injection, for example, the lid 23d is removed from the tip of the air injection part 22d, and air is blown into the arm fixing part main body 21d from the air injection part 22d. When the predetermined amount of air has been injected, the lid 23d is attached to the tip of the air injection section 22d.
[0119]
In this way, the real glove 20 is fixed to the user's arm by the air pressure of the arm fixing part 2d, and is fixed to the user's wrist by the restoring force (elastic force) of the wrist fixing part 28.
When removing the real glove 20, the user first discharges air from the inside of the arm fixing portion main body 21d of the arm fixing portion 2d, and then removes the real glove 20 from the hand.
Thus, according to the image processing apparatus 1 of the third embodiment of the present invention, the same effects as those of the above-described first embodiment can be obtained.
[0120]
In the tactile / force sense presentation device 2, since the arm fixing portion 2 d is of an air injection type, the real glove 20 can be easily and quickly attached and detached.
In the present invention, the unit tactile sensation generating section 210 of the tactile sensation generating section 21 may be configured as in the above-described second embodiment.
[0121]
Next, a fourth embodiment of the image processing apparatus of the present invention will be described. FIG. 16 is a block diagram illustrating a configuration example of a position / posture detection unit of the tactile / force sense presentation device of the fourth embodiment. FIG. 17 is a configuration of a position / posture detection unit of the tactile / force sense presentation device of the fourth embodiment. FIG. 18 is an external view showing an example of a configuration (partially omitted) of the Z-direction detection sensor of the position and orientation detection unit shown in FIG. 17 and 18, an X axis, a Y axis, and a Z axis that are orthogonal to each other are assumed.
[0122]
Hereinafter, the tactile / force sense presentation device 2 and the image processing device 1 of the fourth embodiment will be described focusing on the differences from the first embodiment described above, and the description of the same items will be omitted.
In the tactile / force sense presentation device 2 of the fourth embodiment, as the position / posture detection unit (finger position detection means) 23, for example, angular velocities around the X axis, the Y axis, and the Z axis orthogonal to each other using Coriolis force Are used.
[0123]
In the tactile / force sense presentation device 2, the surroundings are imaged by the concave / convex input units (imaging means) 53a and 53b, and when the image of the surroundings includes a portion corresponding to the finger, The position of the finger is obtained based on the image data (video data) from the unevenness input units 53a and 53b. If the surrounding image captured in this manner does not include a portion corresponding to the finger, each position and orientation is determined. The position of the finger is detected by the detection unit 23, and the position of the finger is obtained based on information from each position and orientation detection unit 23.
[0124]
As shown in FIG. 17, the position and orientation detection unit 23 includes a casing 60, an X-direction detection sensor (first detection sensor) 61 provided in the casing 60, and detecting an angular velocity around the X-axis, and a Y-axis detection sensor. It has a Y-direction detection sensor (second detection sensor) 62 for detecting the angular velocity around and a Z-direction detection sensor (third detection sensor) 63 for detecting the angular velocity around the Z-axis.
[0125]
As shown in FIG. 18, the Z-direction detection sensor 63 includes an elinvar (base) 64, a vibration piezoelectric element (vibration piezoelectric element) 65 mounted on the elinvar 64, and a detection piezoelectric element (detection piezoelectric element). (Element) 66. The Z-direction detection sensor 63 is supported by two wires 67 and 68.
The shape of the elinvar 64 is a substantially rectangular parallelepiped that is long in the Z-axis direction, and the piezoelectric element for vibration 65 is provided on one of two substantially orthogonal surfaces thereof, and the piezoelectric element for detection 66 is provided on the other. In this case, the vibration piezoelectric element 65 is arranged on a plane perpendicular to the Y axis, and the detection piezoelectric element 66 is arranged on a plane perpendicular to the X axis. Is also good.
[0126]
When an AC voltage is applied from an AC power supply 69 shown in FIG. 16 to the vibration piezoelectric element 65 of the Z-direction detection sensor 63, the vibration piezoelectric element 65 vibrates in the X-axis direction (bending vibration). The elin bar 64 also vibrates in the X-axis direction. At this time, when rotation (angular velocity) occurs around the Z axis, a voltage (signal) having a level corresponding to the angular velocity is detected from the detecting piezoelectric element 66.
[0127]
Note that the configuration of the X-direction detection sensor 61 and the Y-direction detection sensor 62 is the same as that of the Z-direction detection sensor 63, and a description thereof will be omitted. When the rotation (angular velocity) occurs around the X-axis, a voltage (signal) having a level corresponding to the angular velocity is detected from the detecting piezoelectric element 66 of the X-direction detection sensor 61, and the action thereof occurs around the Y-axis. When the rotation (angular velocity) occurs, a voltage (signal) having a level corresponding to the angular velocity is detected from the detecting piezoelectric element 66 of the Y-direction detecting sensor 62.
[0128]
As shown in FIG. 16, a signal (detection data) corresponding to the angular velocity around the X-axis detected by the X-direction detection sensor 61 of the position and orientation detection unit 23 and the signal of the Y-axis detected by the Y-direction detection sensor 62 The signal (detection data) corresponding to the angular velocity around and the signal (detection data) corresponding to the angular velocity around the Z-axis detected by the Z-direction detection sensor 63 are respectively transmitted to the amplification unit 251 of the signal processing unit 25. After being amplified by the A / D converter 252 and converted into a digital signal by the A / D converter 252, the signal is output to the signal transmitter / receiver 26 shown in FIG.
The information processing device 8 receives the signal transmitted from the real glove 20, and based on the signal (information), the position and posture of each part such as a finger, a hand, a wrist, an arm or the like wearing the real glove 20, that is, , And derives the coordinates of each section, and saves the information in a predetermined storage area of the storage section 85 for use in predetermined processing.
[0129]
Next, an operation (operation) of the image processing apparatus 1 according to the fourth embodiment will be described. Here, the method is the same as that of the first embodiment described above except for the method of obtaining the position and posture of each part such as a finger, a hand, a wrist, and an arm wearing the real glove 20, and a description thereof will be omitted.
Prior to use, the user first causes the surrounding image captured by the unevenness input units 53a and 53b to include a portion corresponding to a part of the real glove 20, such as a finger, to be detected. Thereby, the initial setting is performed in the image processing apparatus 1.
[0130]
In this initial setting, the virtual space display device 5 captures and captures surrounding images by using two image capturing devices (imaging units), that is, unevenness input units (imaging units) 53a and 53b. The image data (video data) captured is transmitted to.
In this case, since the images captured by the concavo-convex input units 53a and 53b include a part corresponding to a part of the real glove 20 that detects a finger or the like, the information processing device 8 performs the concavo-convex input units 53a and 53b. The position and posture (coordinates) of a finger or the like are obtained based on the image captured in, that is, the captured image data. The obtained position and orientation are set as a reference position and a reference orientation, that is, a reference state, and information on the reference position and the reference orientation is stored in a predetermined area of the storage unit 85 of the information processing device 8.
[0131]
When the initialization is completed, the virtual space display device 5 is enabled, and the virtual space display device 5 captures and captures a surrounding image by using the unevenness input units (imaging means) 53a and 53b, and transfers the captured image data to the information processing device 8. Send.
The control unit 84 (determination unit) of the information processing device 8 converts the image captured by the concave / convex input units 53a and 53b, that is, the image captured by the concave / convex input units 53a and 53b based on the captured image data. It is determined whether or not a part corresponding to a part of the real glove 20, such as a finger, to be detected is included.
[0132]
If the captured image includes a portion corresponding to a part to be detected by a finger or the like, the information processing device 8 determines the position and orientation (coordinates) of the finger or the like based on the captured image data. Ask. The obtained position and posture are used as a reference position and a reference posture, respectively. That is, the information on the reference position and the reference attitude stored in the storage unit 85 is rewritten with new information on the reference position and the reference attitude.
[0133]
On the other hand, when the captured image does not include a portion corresponding to a part to be detected by a finger or the like, the information processing device 8 determines the finger (information) from each position / posture detection unit 23 based on the signal (information). The position and posture (coordinates) of such as are obtained. In this case, the relative position and orientation with respect to the reference position and reference orientation are obtained from the information from each position and orientation detection unit 23, and the relative position and orientation information and the reference position and reference orientation information are obtained. Based on this, the position and orientation of the finger or the like are determined.
[0134]
According to the tactile / force sense presentation device 2 and the image processing device 1, the same effects as in the first embodiment can be obtained.
In the tactile / force sense presentation device 2, the position and orientation of a predetermined part of the hand and each finger can be accurately and reliably obtained, and the cost can be reduced by using a gyro sensor as the position and orientation detection unit 23. Can be reduced.
In the present embodiment, the position and orientation detection unit (finger position detection unit) 23 is configured by a gyro sensor, but the present invention is not limited to this.
[0135]
Further, in the present invention, the unit tactile sense generator 210 of the tactile sense generator 21 may be configured as in the above-described second embodiment.
Further, in the present invention, as in the third embodiment described above, the arm fixing portion 2d may be configured to be fixed to the arm by air pressure (pressure) by injecting air (air) (air injection method). .
Although not described in detail, the above-described configuration can be applied to the position and orientation detection unit 56 of the virtual space display device 5. In this case, the same effect as in the first embodiment can be obtained.
[0136]
Next, the operation of the image processing apparatus according to the present invention will be described with reference to the flowcharts of FIGS. 19 to 21 based on each configuration of the above embodiment, particularly the configuration of the first embodiment. Here, a program for realizing each function described in these flowcharts is stored in a recording medium of the storage unit 85 in the form of a computer-readable program code. Are sequentially executed. Further, as described above, the control unit 84 can also sequentially execute the operation according to the above-described program code transmitted via the transmission medium. That is, an operation specific to this embodiment can be executed using a program / data externally supplied via a transmission medium in addition to a recording medium.
[0137]
FIG. 19 is a flowchart showing a tactile / force sense generating process in the image processing device of the present invention. FIG. 20 is a flowchart showing another example of the display switching process in the image processing device of the present invention. 14 is a flowchart illustrating another example of the display switching process in the image processing apparatus of the present invention. Note that these flowcharts are described based on each component in the first embodiment.
[0138]
First, the tactile / force sense generation processing will be described. The image processing apparatus 1 of the present invention executes the tactile / force sense generation process while the power is on, for updating the virtual space image and generating the tactile and force senses. That is, the position of the user's finger (and hand) is detected by the position / posture detection unit 23 of the real glove 20 (step S101), and the signal processing unit 25 performs predetermined signal processing. The detected position signal is transmitted to the information processing device 8 (step S102).
[0139]
The information processing device 8 receives the detection signal via the signal transmitting / receiving unit 87. Then, the control unit 84 of the information processing device 8 calculates the position of the detected finger (and hand) in the current virtual space image generated by the image generation unit 83 and transmitted to the virtual space display device 5. It is determined whether or not it has moved from (stored in the storage unit 85) (step S103). If the movement of the finger is not detected, the control unit 84 returns to step S101 without issuing any instruction, and repeats the same processing.
[0140]
If it is determined in step S103 that the movement of the finger has been detected, the control unit 84 causes the image generation unit 83 to update and generate a virtual space image based on the position data of the finger (step S104). The position data of the moved finger and the updated virtual space image are stored in a predetermined storage area of the storage unit 85, and the image data (virtual space image data) updated via the signal processing unit 86 and the signal transmitting / receiving unit 87 are stored. ) Is transmitted to the virtual space display device (HMD) 5. The HMD 5 that has received the image data displays the image data on the image display units 51a and 51b according to an instruction from the control unit 54 (Step S105).
[0141]
At the same time, in the information processing device 8, the control unit 84 performs an arithmetic processing unit 81 based on the finger position data from the position and orientation detection unit 23 of the real glove 20 to execute the virtual processing displayed in the virtual space. It is determined whether the coordinates of the book and the coordinates of the finger that has moved, for example, the index finger and the thumb overlap, match (step S106). Here, “the coordinates of the finger and the virtual book match” refers to a state in which the virtual book is grasped by a plurality of fingers including the thumb, or one or more fingers are touching the virtual book. State, etc.
[0142]
If it is determined that the coordinates do not match, the process returns to step S101, and the image processing apparatus 1 repeats the same processing (such as the position detection processing). When it is determined that the coordinates of the two coincide with each other, the arithmetic processing unit 81 calculates a reaction force from the book to the finger based on the object (here, the book), and outputs the signal processing unit 86 and The calculation data is transmitted to the real glove 20 via the signal transmission / reception unit 87 (step S107). The reaction force data calculated in this step is stored in a predetermined storage area of the storage unit 85 according to an instruction from the control unit 84.
[0143]
In the real glove 20, which has received the reaction force calculation data, the control unit 24 drives the tactile sensation generating unit 21 and the haptic generation unit 22 based on the calculation data to generate a tactile sensation and a haptic sensation (Step S108). Then, the tactile / force sense is presented to the user's finger, and the tactile / force sense generation process ends. It should be noted that the image processing apparatus 1 of the present invention may be configured so that, after completing the processing (task) in step S108, the process proceeds to step S101 and the same processing is repeated. Further, even in a state in which a tactile sense and a force sense are generated and the tactile sense and the force sense are presented to a user's finger or the like, the position of the finger is detected, and when the coordinates of the book and the finger do not match each other, Alternatively, the generation of the tactile and force sensations that have occurred may be stopped.
[0144]
Note that only one of the tactile sensation and the force sensation may be generated and presented on the user's finger or the like. However, when there is a display object (a lion displayed in an animal picture book in the example described later) whose display has been switched to a three-dimensional image in the display switching process described later, the display object (lion) is displayed on the user's finger. Is preferably presented.
[0145]
Next, the display switching processing of the present invention will be described. This display switching process may be executed in a state where the user's finger is generating a tactile sense and a force sense in step S108 of the above-described tactile / force sense generating process. Executed when opening (reading) a book. Note that the display switching process may be executed in any other applicable case.
[0146]
First, an example of the display switching process illustrated in FIG. 20 will be described. This display switching process is executed when the user holds (grabs) the virtual book in the virtual space in a state where the user's finger and hand can read the virtual book in the virtual space. You. In the display switching process, the open / close determination unit determines whether or not the virtual book is open based on the opening angle of the page of the book held (grabbed) by the user, and performs the display switching. The means switches between two-dimensional display and three-dimensional display based on the determination result.
[0147]
The arithmetic processing unit 81 of the information processing device 8 calculates the opening angle of the virtual book displayed in the virtual space image (step S201). In this case, for example, a line connecting one point on the cover of the virtual book and one point on the spine, and a line connecting one point on the back cover and one point on the spine are displayed in the virtual space. By calculating the angle to be made (the angle on the side that can read inside the virtual book), the opening angle of this virtual book is calculated. Note that these two lines are parallel to the line when the book is written horizontally, and it is preferable that one point on the spine through which the two lines pass is the same point.
[0148]
In step S202, the control unit 84 determines whether the opening angle is equal to or larger than a predetermined angle. If it is determined that the angle is equal to or greater than the predetermined angle, the open / close determination unit determines that the book is open (step S203). Then, when the display object is currently displayed two-dimensionally in the virtual space, that is, when the display object is displayed in the book, the display object drawn on the corresponding page of the virtual book (for example, an animal pictorial book) The control unit 84 causes the image generation unit 83 to generate a virtual space image or causes the display object stored in the storage unit 85 to display a three-dimensional image of the lion) on the virtual space display device 5. The image is read, and the image data is transmitted to the virtual space display device 5 via the signal processing unit 86 and the signal transmitting / receiving unit 87. Then, the virtual space display device 5 that has received the image data switches the display and three-dimensionally displays the display object (step S204). Conversely, if the display object is already displayed in three dimensions, the display state is continued.
[0149]
On the other hand, if it is determined that the angle is not equal to or larger than the predetermined angle, the open / close determination unit determines that the virtual book is closed (step S205). If the display object is currently displayed three-dimensionally in the virtual space, that is, if the display object is displayed three-dimensionally, the display object is displayed three-dimensionally in the virtual space (for example, a display object that jumps out of an animal picture book). The control unit 84 causes the image generation unit 83 to display the virtual space in the virtual space display device 5 in a two-dimensional manner (that is, as displayed on the page of the original book). The image is updated and generated, and the image data is transmitted to the virtual space display device 5 via the signal processing unit 86 and the signal transmitting / receiving unit 87. Then, the virtual space display device 5 that has received the image data switches the display and displays the display object two-dimensionally (step S206). Conversely, if the display object is already displayed in two dimensions, the display state is continued.
[0150]
When a display object drawn in a virtual book is displayed in three dimensions, it is preferable that the display object be displayed in a life-size (actual size). Further, as described above, when the display object is three-dimensionally displayed as described above, the contact determination unit determines whether or not the user's finger is in contact with the display object, and Alternatively, the tactile sensation presentation means may be configured to present a tactile sensation (for example, a touch or a touch) corresponding to the display object to the user's finger.
[0151]
Further, as the predetermined angle (predetermined angle threshold) to be compared with the opening angle in step S202, an angle at which the virtual book is considered to be open, such as 90 ° or 120 °, is preferable. It may be 180 ° which is considered to be open. The predetermined angle is stored in the storage unit (storage unit) 85 in advance, and may be configured to be read out when the open / close determination unit (the control unit 84 in the present embodiment) determines. Alternatively, it may be configured such that it can be set by the user at a predetermined timing (for example, before executing the display switching process).
[0152]
Next, another example of the display switching process shown in FIG. 21 will be described. As in the case of the flowchart of FIG. 20 described above, in a state where the user's finger and hand can read the virtual book in the virtual space, the user holds the virtual book (holds it) in the virtual space. ), The display switching process is executed. In the display switching process, the open / close determination unit determines the virtual object based on the ratio of the display object drawn on the page of the book held (gripped) by the user in the virtual space image. It is determined whether or not the book is open, and the display switching means switches between two-dimensional display and three-dimensional display based on the determination result.
[0153]
The arithmetic processing unit 81 of the information processing device 8 is configured to display a display object (for example, a lion or the like) drawn on a page to be opened of a virtual book (for example, an animal picture book) displayed in the virtual space. The area in the virtual space image is calculated (step S301). In the present embodiment, the areas of all the display objects (display objects) drawn in the virtual book may be stored in the storage unit (storage unit) 85 in advance. In this case, in this step, the area of the target display object (referred to as “A”) is read from the storage unit 85.
[0154]
Next, the arithmetic processing unit 81 updates the virtual space image generated and updated by the image generation unit 83 according to the state of the user's finger or the virtual book, and displays the virtual space image currently displayed on the virtual space display device 5. The area of the target display object (referred to as "B") is calculated (step S302). Then, the arithmetic processing unit 81 calculates the ratio of the currently displayed area to the entire area of the target display object (display ratio), that is, B / A (step S303).
[0155]
In step S304, the control unit 84 determines whether the calculated display ratio is equal to or higher than a predetermined ratio. If it is determined that the display ratio is equal to or higher than the predetermined ratio, the open / close determination unit determines that the book is open (step S305). Then, when the display object is currently displayed two-dimensionally in the virtual space, that is, when the display object is displayed in the book, the display object drawn on the corresponding page of the virtual book (for example, an animal pictorial book) The control unit 84 causes the image generation unit 83 to generate a virtual space image or causes the display object stored in the storage unit 85 to display a three-dimensional image of the lion) on the virtual space display device 5. The image is read, and the image data is transmitted to the virtual space display device 5 via the signal processing unit 86 and the signal transmitting / receiving unit 87. Then, the virtual space display device 5 that has received the image data switches the display and three-dimensionally displays the display object (step S306). Conversely, if the display object is already displayed in three dimensions, the display state is continued.
[0156]
On the other hand, when it is determined that the display ratio is not equal to or higher than the predetermined ratio, the open / close determination unit determines that the virtual book is closed (step S307). If the display object is currently displayed three-dimensionally in the virtual space, that is, if the display object is displayed three-dimensionally, the display object is displayed three-dimensionally in the virtual space (for example, a display object that jumps out of an animal picture book). The control unit 84 causes the image generation unit 83 to display the virtual space in the virtual space display device 5 in a two-dimensional manner (that is, as displayed on the page of the original book). The image is updated and generated, and the image data is transmitted to the virtual space display device 5 via the signal processing unit 86 and the signal transmitting / receiving unit 87. Then, the virtual space display device 5 that has received the image data switches the display and displays the display object two-dimensionally (step S308). Conversely, if the display object is already displayed in two dimensions, the display state is continued.
[0157]
When a display object drawn in a virtual book is displayed in three dimensions, it is preferable that the display object be displayed in a life-size (actual size). Further, as described above, when the display object is three-dimensionally displayed as described above, the contact determination unit determines whether or not the user's finger is in contact with the display object, and Alternatively, the tactile sensation presentation means may be configured to present a tactile sensation (for example, a touch or a touch) corresponding to the display object to the user's finger.
Further, the predetermined ratio (display ratio) may be any value such as 50% or 70%, for example, but is a ratio that allows the user to confirm a display object in the virtual book in the virtual space (in the virtual space). (A ratio that allows confirmation by visual observation or the like).
[0158]
As described above, the image processing apparatus 1 of the present invention detects (detects) the position and movement of the finger by the position / posture detection unit (finger position detection unit) 23, and displays the virtual book displayed in the virtual space image. When the coordinates of the finger and the finger match (the virtual book and the finger touch), the tactile / force sense presentation device 2 generates a tactile / force sense, and in this state, when the book is opened, the arithmetic processing unit The open angle of the book opened by 81 or the display ratio of the display object displayed on the page is calculated, and the open / close determination means determines whether or not the angle is equal to or more than a predetermined angle or range. When the distance is equal to or larger than the range, the display object and the display switching means display the display object three-dimensionally in the virtual space.
[0159]
When the display object is three-dimensionally displayed by the display means, the collision determination unit 82 determines whether or not the display object and the finger (hand) are in contact with each other. , The tactile sensation corresponding to the display object is presented to the finger by the tactile sensation generation unit 21 or the tactile presentation unit 216 (tactile presentation unit) of the tactile / force sense presentation device 2.
[0160]
Therefore, according to the image processing apparatus and the image processing method of the present invention, the user can not only easily experience a stereoscopic image (three-dimensional image) of the display object, but also experience the touch (tactile sensation) of the display object. be able to. For example, if the virtual book is an animal pictorial book or insect pictorial book for children, and you are examining the animals that are listed (displayed) in them, you can use a 3D image And the tactile sensation is also presented, so that the user can experience the animal or the like as a three-dimensional image with a single operation (operation), and can experience the feeling of touching the animal or the like.
[0161]
As described above, the configuration of the image processing apparatus of the present invention has been described based on the illustrated embodiment. However, the present invention is not limited to this, and the configuration of each unit is an arbitrary configuration having the same function. Can be replaced by Further, the image processing apparatus of the present invention may be configured by appropriately combining any two or more configurations (features) of the above embodiments.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing a configuration example of a first embodiment of a tactile / force sense presentation device of the present invention and an image processing device having the tactile / force sense presentation device.
FIG. 2 is a block diagram illustrating a circuit configuration example of the real globe illustrated in FIG. 1;
FIG. 3 is an external view (partially omitted) showing an external configuration example of the real glove shown in FIG. 1;
FIG. 4 is a longitudinal sectional view showing a configuration example of a tactile sense generating section of the real glove shown in FIG.
FIG. 5 is an external view showing a configuration example of a force sense generating unit of the real glove shown in FIG. 1;
FIG. 6 is an external view showing a configuration example of a force sense generating unit of the real glove shown in FIG. 1;
FIG. 7 is a block diagram illustrating a configuration example of a real glove position / posture detection unit illustrated in FIG. 1;
8 is a perspective view showing an example of an external configuration of the virtual space display device shown in FIG.
FIG. 9 is a block diagram illustrating a circuit configuration example of the virtual space display device illustrated in FIG. 1;
10 is a diagram (block diagram, schematic diagram) illustrating a configuration example of a concave / convex input unit of the virtual space display device illustrated in FIG.
11 is a diagram (block diagram, schematic diagram) showing a configuration example of an image display unit of the virtual space display device shown in FIG.
12 is a diagram (block diagram, schematic diagram) illustrating a configuration example of a line-of-sight detection unit of the virtual space display device illustrated in FIG.
13 is a block diagram illustrating a circuit configuration example of the information processing apparatus illustrated in FIG.
FIG. 14 is a longitudinal sectional view illustrating a configuration example of a tactile sensation generating unit of the tactile / force sensation providing device according to the second embodiment.
FIG. 15 is an external view (partially omitted) illustrating an external configuration example of a real glove of the tactile / force sense presentation device of the third embodiment.
FIG. 16 is a block diagram illustrating a configuration example of a position and orientation detection unit of a tactile / force sense presentation device according to a fourth embodiment.
FIG. 17 is an external view (partially omitted) illustrating a configuration example of a position and orientation detection unit of the tactile / force sense presentation device of the fourth embodiment.
18 is an external view showing a configuration example of a Z-direction detection sensor of the position and orientation detection unit shown in FIG.
FIG. 19 is a flowchart showing a tactile / force sense generating process in the image processing apparatus of the present invention.
FIG. 20 is a flowchart illustrating an example of a display switching process in the image processing apparatus according to the present invention.
FIG. 21 is a flowchart illustrating another example of the display switching process in the image processing apparatus according to the present invention.
FIG. 22 is an example of a conceptual diagram corresponding to each step of a display switching process in the image processing apparatus of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus 2 ... Tactile / force sense presentation apparatus 2a ... Gloves 2b ... Frame holder 2c ... Frame cover 2d ... Arm fixing part 20 ... Real glove 20a ... Cylindrical part 21 ... Tactile sense Generating unit 21a Opening 21d Arm fixing unit main body 210 Unit tactile generating unit 211 Power generating unit 211a Motor 212 Actuator wires 212a Bundle 213 Wire holding unit 214 Tactile presentation Pin 214a Contact plate 214b Support
215 tactile presentation pin support 216 tactile presentation part 216a first plate piece 216b second plate piece 216c contact part 217 guide part 218 holding plate 22 force sense Generation unit 22d Air injection unit 221 Frame 222 Link motor 23 Position / posture detection unit 23d Lid
231, X direction detection coil 232, Y direction detection coil 233, Z direction detection coil 24, control unit 25, signal processing unit 251, amplifying unit 252, A / D conversion unit 26, signal transmission and reception Part 27 Play absorbing part 28 Wrist fixing part 29 Torsion absorbing part 291 Band part 292 Opening 30 Power supply part 5 Virtual space display device 51a, 51b Image display part 511 ... Lens 512 ... Lens moving mechanism 513 ... Stepping motor 514 ... Motor control unit 515 ... Liquid crystal display panel 516 ... Liquid crystal drive unit 517 ... Backlight 518 ... Backlight control unit 519 ... Transistor
52a, 52b ... line-of-sight detection unit 521 ... half mirror 522 ... filter 523 ... lens 524 ... CCD 525 ... CCD control unit 526 ... CCD output amplification unit 527 ... LED 528 ... LED control unit 529 ... Transistors 53a, 53b... Unevenness input unit 531... Lens 532... CCD 533... CCD control unit 534. ... Mounting part 58... Signal processing part 59... Three-dimensional acceleration sensor 60... Casing 61... X direction detection sensor 62... Y direction detection sensor 63... Z direction detection sensor 64. Piezoelectric element 66 for detection Piezoelectric elements for detection 67, 68 Wire 69 AC power supply 8 Information processing device 81 Performance Arithmetic processing section
82: collision determination unit 83: image generation unit 84: control unit 85: storage unit
86 ... signal processing unit 87 ... signal transmission and reception unit 88 ... magnetic field generation unit 9 ... base station

Claims

Image generation means for generating a virtual space image;
Display means for displaying the virtual space image generated by the image generation means,
Finger position detection means for detecting the position of the finger in the virtual space;
Contact determination means for determining whether or not the finger detected by the finger position detection means is touching an object in the virtual space;
In the case where the contact determination means determines that the finger is touching the object, when the object is a virtual book, opening and closing for determining whether the virtual book is opened to a predetermined extent Determining means;
When it is determined that the virtual book is opened to a predetermined extent by the opening / closing determination unit, a display object drawn on the virtual book displayed on the display unit is displayed on the virtual book. Display switching means for switching from displaying a planar image to displaying a three-dimensional image displayed in the virtual space image,
An image processing apparatus comprising:

Tactile presentation means for generating and presenting a tactile sense given to the finger,
If it is determined by the contact determination means that the finger has contacted or moved with the object, the drive of the tactile sensation providing means is performed so that a sensation corresponding to the contact is obtained at the finger pad. Control means for controlling;
The image processing apparatus according to claim 1, further comprising:

The control unit generates a tactile sensation corresponding to the display object when the contact determination unit determines that the finger is touching the display object switched to the display of the three-dimensional image by the display switching unit. The image processing apparatus according to claim 2, wherein driving of the tactile sensation providing unit is controlled so as to present the haptic presentation unit to the finger.

4. The open / close determining unit determines whether the virtual book is opened to a predetermined extent based on whether an angle at which the virtual book is open is equal to or greater than a predetermined angle. 5. The image processing device according to any one of the above.

The opening / closing determination unit determines whether the virtual book is a predetermined one based on whether or not the display object drawn on the virtual book is displayed by the display unit at a predetermined ratio or more in the virtual space image. The image processing apparatus according to claim 1, wherein it is determined whether the image processing apparatus is opened to a degree.

The storage device according to claim 1, further comprising a storage unit configured to store image data generated by the image generation unit and a determination result determined by the contact determination unit and the open / close determination unit. The image processing apparatus according to claim 1.

7. The method according to claim 1, wherein the image generation unit updates and generates a virtual space image including a virtual finger image at predetermined time intervals based on the position of the finger detected by the finger position detection unit. An image processing device according to any one of the above.

The image processing apparatus according to claim 7, wherein the display unit continuously displays the virtual space image updated as the finger moves.

The image processing apparatus according to claim 1, wherein the display unit is used by being worn on a face.

The image processing apparatus according to claim 1, wherein the display unit includes a communication unit that receives the virtual space image data generated by the image generation unit.

The image generation unit, the contact determination unit, the open / close determination unit, the display switching unit, and / or the control unit are configured as one unit, and the one unit includes the display unit and / or the tactile presentation unit. The image processing apparatus according to claim 1, further comprising a communication unit that transmits and receives data to and from the image processing apparatus.

Generating a virtual space image;
Displaying a virtual space image generated by the image generating means;
Detecting the position of the finger in the virtual space;
Determining whether the detected finger is touching an object in the virtual space,
In the case where it is determined that the finger is touching the object, when the object is a virtual book, a step of determining whether the virtual book is opened to a predetermined extent,
When it is determined that the virtual book is opened to a predetermined extent, the display object drawn on the displayed virtual book is displayed in the virtual space from the display of the planar image on the virtual book. Switching to the display of a three-dimensional image displayed on the image;
An image processing method comprising:

If it is determined that the finger has contacted or moved with the object, a tactile sensation given to the finger is generated and presented so that a sensation corresponding to the contact is obtained at the finger pad. The image processing method according to claim 12, further comprising a step.

In the tactile presentation step, when it is determined that the finger touches the display object switched to the display of the three-dimensional image, a tactile sensation corresponding to the display object is generated and presented to the finger. 14. The image processing method according to 13.

The image processing method according to claim 12, further comprising a step of storing the image data generated in the image generation step and a determination result determined in the determination step.