JP2000259074A

JP2000259074A - 道具媒介型の力覚呈示システム

Info

Publication number: JP2000259074A
Application number: JP6444599A
Authority: JP
Inventors: Hideki Osada; 英喜長田; Kazuhiko Ishimaru; 和彦石丸; Kosei Kobayashi; 孝生小林
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 1999-03-11
Filing date: 1999-03-11
Publication date: 2000-09-22

Abstract

(57)【要約】【課題】道具を媒体とした仮想物体の力覚を、高い自
由度で操作性良くフィードバックすることが可能な力覚
呈示システムを提供する。【解決手段】メス７はヘッド部７ａとハンドル部７ｂ
から成り、ヘッド部７ａは永久磁石を内蔵している。セ
ンサーユニット９ａ内の電磁石で、仮想物体Ｖ１とヘッ
ド部７ａとの位置関係に応じた磁場を発生させてヘッド
部７ａに反力を与え、メス７を介して仮想物体Ｖ１の力
覚を呈示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は力覚呈示システムに
関するものであり、例えば、仮想現実空間における仮想
物体の力覚を、道具体を介して呈示する道具媒介型の力
覚呈示システムに関するものである。

【０００２】

【従来の技術】バーチャルリアリティの技術によって作
り出される仮想現実空間においては、ＣＧ(computer gr
aphics)映像や遠隔操作されるカメラからの映像が、Ｈ
ＭＤ(head mounted display)等の表示装置によってオペ
レータに示される。それとともに、仮想現実空間内での
オペレータの手や道具等も、データグローブ等の入力装
置により得られたデータに基づくＣＧ映像として示され
る。しかし、現実の手に仮想物体の存在を力感覚(力覚)
としてフィードバックすること(いわゆるフォースフィ
ードバック)ができないため、仮想物体からの反力は得
られない。したがって、映像を通してしか仮想物体を認
識することができず、高度な現実感を得ることは困難で
ある。これを解決するために、フォースフィードバック
を可能にする道具媒介型の力覚呈示装置が、特開平７−
１４６７５１号公報，特開平１０−９１３２７号公報，
特開平１０−１７１５４２号公報等で提案されている。

【０００３】

【発明が解決しようとする課題】しかし、従来より提案
されている道具媒介型の力覚呈示装置では、道具が複雑
な機械構成によって拘束されているため、呈示する仮想
物体に制約があるとともに操作性に劣るといった問題が
ある。

【０００４】本発明はこのような状況に鑑みてなされた
ものであって、道具を媒体とした仮想物体の力覚を、高
い自由度で操作性良くフィードバックすることが可能な
力覚呈示システムを提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、第１の発明の力覚呈示システムは、空間的に仮想的
な３次元物体を生成する仮想物体生成装置と、少なくと
も一部が磁性体で構成されているヘッド部とハンドル部
から成る道具体と、この道具体の位置を検出する位置検
出装置と、前記３次元物体と前記道具体との空間的な関
係に応じて磁場を発生させる磁場発生装置と、を有する
ことを特徴とする。

【０００６】第２の発明の力覚呈示システムは、上記第
１の発明の構成において、前記道具体が、共通に使用さ
れるヘッド部と、そのヘッド部に対して交換可能に構成
されたハンドル部と、から成ることを特徴とする。

【０００７】第３の発明の力覚呈示システムは、上記第
１又は第２の発明の構成において、前記ヘッド部又はハ
ンドル部に重りを有することを特徴とする。

【０００８】第４の発明の力覚呈示システムは、上記第
３の発明の構成において、前記重りの位置が可変である
ことを特徴とする。

【０００９】

【発明の実施の形態】以下、本発明を実施した道具媒介
型の力覚呈示システムを、図面を参照しつつ説明する。
なお、実施の形態相互で同一の部分や相当する部分には
同一の符号を付して重複説明を適宜省略する。

【００１０】《システムの概略構成(図１)》図１に、本
発明に係る力覚呈示システムの概略構成を示す。この力
覚呈示システムは、道具体６を介して仮想物体(３次元
物体)の力覚を呈示する道具媒介型のフォースフィード
バックシステムであって、ＣＰＵ(central processing
unit)１，視点検出装置２，映像表示装置３，マーカー
追跡装置４，磁場発生装置５及び道具体６で構成されて
いる。そして、ＣＧによって構成される仮想現実空間に
限らず、映像表示装置３を通して実際の物体を遠隔操作
するシステム、例えば、顕微鏡に設置して用いるマイク
ロマニピュレータ，遠隔操作される医療用・工業用ロボ
ットのマニピュレータ等のシステムにも適用されうるも
のである。

【００１１】視点検出装置２は、仮想現実空間において
オペレータが見ている位置を検出する装置である。視点
検出装置２としては、例えば、オペレータの頭部の位置
と傾き角度を検出するヘッドトラッキングシステム(Ｈ
ＭＤに内蔵)が挙げられる。映像表示装置３は、ＣＰＵ
１からのデータに基づいて仮想現実空間を視覚情報とし
てオペレータに呈示する表示装置(例えばＨＭＤ)であ
る。その表示映像はＣＧ映像，遠隔操作されるカメラか
らの映像等であり、仮想現実空間においてオペレータが
見ている仮想物体を中心とした映像が、視点検出装置２
からのデータに基づいて表示される。またこのとき、仮
想現実空間内での道具体６やオペレータの身体(例え
ば、指，手，腕等)も、マーカー追跡装置４により得ら
れたデータに基づくＣＧ映像として示される。したがっ
て、現実の道具体６で仮想物体を切るという動作をすれ
ば、映像中の仮想の道具体６が現実の道具体６の動きに
合わせて仮想物体を切ることになる。また、シースルー
構造での仮想空間呈示も可能である。この場合は、現実
の道具体６とオペレータに対して、ＨＭＤから仮想の映
像と、力覚呈示システムによる仮想の形状と、が呈示さ
れることになる。

【００１２】道具体６は、ヘッド部６ａとハンドル部６
ｂから成っている。ヘッド部６ａの少なくとも一部は、
磁場内において引力，斥力のうちの少なくとも一方を磁
力として受ける磁性体で構成されている。磁性体として
は、例えば、鉄，ニッケル，コバルト等の金属材料やそ
の合金，酸化鉄，金属酸化物(フェライト)等の磁性材
料；そのような磁性材料から成る永久磁石等が挙げられ
る。ハンドル部６ｂは、少なくとも手で持つことができ
るように構成されており、道具体６によっては指で操作
することができるように構成されていてもよい。道具体
６としては、例えば、手術用のメス等の医療器具；ペン
等の筆記用具；野球用バット，テニス用ラケット等のス
ポーツ用具等が挙げられる。また、道具体６にはマーカ
ーが設けられており、マーカー追跡装置４によって道具
体６の位置を検出することができるようになっている。
なお、マーカー追跡装置４として、一般的なモーション
キャプチャーシステムを用いてもよい。

【００１３】ＣＰＵ１は、マーカー追跡装置４により検
出された道具体６の位置から、仮想現実空間における仮
想物体とヘッド部６ａとの位置関係を算出し、その位置
関係に基づいてヘッド部６ａに与える反力を算出する演
算装置である。磁場発生装置５は、磁場を発生させるこ
とによって、ＣＰＵ１の算出結果に応じた反力をヘッド
部６ａに与える装置であり、例えばコイルから成る電磁
石等により構成されている。上記のように仮想物体生成
装置として機能するＣＰＵ１が、空間的に仮想的な３次
元物体を生成し、その３次元物体と道具体６との空間的
な関係に応じて、磁場発生装置５が磁場を発生させる。
すると、仮想物体とヘッド部６ａとの位置関係に応じた
磁場の発生によりヘッド部６ａに反力が与えられ、その
結果、道具体６を介して現実の手に仮想物体の存在が力
覚としてフィードバックされることになる。

【００１４】《第１の実施の形態(図２〜図６)》図２
に、第１の実施の形態の使用状態を示す。第１の実施の
形態は、仮想物体Ｖ１に対応したフォースフィードバッ
クを、道具体６に相当するメス７を介して行う、外科手
術(シミュレーション手術，遠隔操作手術等)用の力覚呈
示システムであり、メス７，ＨＭＤ８，仮想物体呈示装
置９及び制御ユニット１０等で構成されている。このシ
ステムを使用する際には、オペレータＰは頭部にＨＭＤ
８を装着し、手に持ったメス７を仮想物体呈示装置９上
に位置させる。ＨＭＤ８内には前述の視点検出装置２が
内蔵されており、また、制御ユニット１０内には前述の
ＣＰＵ１が内蔵されている。

【００１５】オペレータＰによって把持されるメス７の
構造を、図３〜図５に示す。図３はメス７の上面図、図
４はメス７の下面図、図５はメス７の縦断面図(すなわ
ち図３におけるＡ−Ａ線断面図)である。メス７はヘッ
ド部７ａとハンドル部７ｂから成っており、ヘッド部７
ａとハンドル部７ｂとはプラスチックで一体成型されて
いる。ヘッド部７ａには、永久磁石７ｃが内蔵されてい
る。この永久磁石７ｃは、下面側にＮ極部αが位置し、
上面側にＳ極部βが位置するように配置されている。ま
たヘッド部７ａの下面には、メス７の位置を検出するた
めの指標となる２つのマーカー７Ｍが設けられている。

【００１６】ハンドル部７ｂには、図５に示すように重
り７ｆが内蔵されている。この重り７ｆによってメス７
の重量やバランスが呈示されるため、メス７のリアルな
保持感覚を得ることができる。スライド部７ｄ(図３)を
溝７ｅに沿って移動させると、ハンドル部７ｂ内の重り
７ｆ(図５)がスライド部７ｄと共に移動する。このよう
に重り７ｆの位置が可変に構成されているため、メス７
の重心位置を変化させることにより、単一のメス７で様
々な種類のメス７の使用感を呈示することができる。な
お、各部７ａ，７ｂの長さや永久磁石７ｃの重さ等との
関係で良好なバランスをとるために、ヘッド部７ａに重
り７ｆを設けてもよい。

【００１７】図２に示す仮想物体呈示装置９は、多関節
駆動機構９ｂと、その先端に設けられたセンサーユニッ
ト９ａと、で構成されており、図６はその外観を示して
いる。センサーユニット９ａは、マーカー追跡装置４を
構成するＣＣＤ(Charge Coupled Device)カメラ１１
と、磁場発生装置５を構成する２つの電磁石１２と、を
備えている。ＣＣＤカメラ１１によってメス７を中心と
した空間内の映像データが取り込まれ、マーカー７Ｍの
位置からメス７の位置を検出するために用いられる。な
お、メス７の傾きは、ＣＣＤカメラ１１から各マーカー
７Ｍまでの距離差から検出される。

【００１８】手に持ったメス７を仮想物体呈示装置９上
に持っていくと、ＣＣＤカメラ１１がメス７のマーカー
７Ｍを検出し、その検出結果に基づいて、メス７とセン
サーユニット９ａとの間隔が一定に保たれるように、多
関節駆動機構９ｂがトラッキングを行う。そして、仮想
現実空間内でのメス７が仮想物体Ｖ１との接触位置に到
達すると、電磁石１２はメス７側がＮ極となるように励
磁される。永久磁石７ｃのＮ極部αはヘッド部７ａの下
面側(すなわち電磁石１２側)を向いているので(図５参
照。)、永久磁石７ｃと電磁石１２との間の斥力によっ
てメス７が反力を受けることになる。メス７が受けた反
力は、オペレータＰの手に伝えられる。例えば、図２に
示すようにメス７を仮想物体Ｖ１内に進入させると、仮
想物体Ｖ１が切れたときの感触が反力として得られる。
このようにして仮想物体Ｖ１の力覚がメス７を介して手
にフィードバックされるが、メス７は複雑な機械構成で
拘束されていないため、高い自由度で操作性良くフォー
スフィードバックが達成される。

【００１９】上記のようにしてメス７に与えられる反力
は、制御ユニット１０内のＣＰＵ１が、ＣＣＤカメラ１
１により検出されたメス７の位置から、仮想現実空間内
における仮想物体Ｖ１とメス７との位置関係を算出し、
その位置関係に基づいて算出される。例えば、メス７に
与えられる反力の大きさは、励磁電流値の制御や時分割
による間欠的駆動制御等によって調整可能である。そし
て、電磁石１２が磁場を発生させることによって、ＣＰ
Ｕ１の算出結果に応じた反力をメス７に与えるのであ
る。さらに、仮想物体Ｖ１の特性(例えば、硬さ，軟ら
かさ，弾性，脆性等)に関するデータを用いれば、メス
７に与える反力に仮想物体Ｖ１の特性を反映することも
可能である。また、仮想物体Ｖ１との接触状態でメス７
が移動したときには、磁場の反転を繰り返すことによっ
てメス７に振動を与え、それによって触感(滑らかさ，
ざらつき等)をも呈示することが可能である。例えば、
仮想物体Ｖ１をメス７で切る動作を行ったときに、仮想
物体Ｖ１が切れたときの感触を触感として与えることが
できる。

【００２０】上述したシステム構成では、仮想物体呈示
装置９によってメス７の下方からマーカー追跡及び磁場
発生が行われるが、メス７の上方からマーカー追跡及び
磁場発生を行うように構成してもよい。その場合、メス
７の上面にマーカー７Ｍを設ければよく、Ｓ極部βと電
磁石１２(メス７側をＮ極にする。)との間の引力によっ
てメス７に反力を与えることができる。また、ヘッド部
７ａに永久磁石７ｃを内蔵する代わりに、磁気を帯びて
いない鉄等の金属材料等でヘッド部７ａの少なくとも一
部を構成すれば、電磁石１２の磁極方向に関係なく、ヘ
ッド部７ａと電磁石１２との間の引力によってメス７に
反力を与えることが可能である。

【００２１】《第２の実施の形態(図７，図８)》図７に
第２の実施の形態を構成する操作ユニット１５を示し、
図８に第２の実施の形態の使用状態を示す。第２の実施
の形態は、仮想物体Ｖ２(図８)に対応したフォースフィ
ードバックを、道具体６に相当する操作ユニット１５を
介して行う、汎用の力覚呈示システムである。そして図
８に示すように、仮想物体呈示装置９を４台用いるとと
もに、前述したメス７の代わりに操作ユニット１５を用
いるほかは、第１の実施の形態と同様に構成されてい
る。

【００２２】図７に示すように操作ユニット１５は、共
通に使用されるヘッド部１６と、そのヘッド部１６に対
して交換可能に構成されたハンドル部１７，１８と、か
ら成っている。各ハンドル部１７，１８には、ヘッド部
１６の穴１６ａと嵌合可能な凸部１７ａ，１８ａが設け
られている。そして、用途等に応じたハンドル部１７，
１８がヘッド部１６に取り付けられた状態で使用され
る。なお、穴１６ａと嵌合可能な凸部を有するハンドル
部であれば、図７に示すハンドル部１７，１８に限らず
使用可能である。例えば、重さの異なる重りを内蔵した
複数のハンドル部，重心位置の異なる(つまり重り位置
が異なる)複数のハンドル部，形状の異なる複数のハン
ドル部等を用意しておけば、様々な用途に対応すること
ができる。そして、用途に応じた様々な種類の道具の使
用感を得ることができる。

【００２３】ヘッド部１６の各端部には、操作ユニット
１５の位置を検出するための指標となるマーカー１６Ｍ
が４つずつ(計８つ)設けられている。各端部に設けられ
ている４つのマーカー１６Ｍの色は互いに異なってお
り、各ＣＣＤカメラ１１で取り込まれた映像中のマーカ
ー１６Ｍの色とその配置によって、操作ユニット１５の
向きが検出される。またヘッド部１６には、永久磁石１
９が内蔵されている。この永久磁石１９は、下面側にＮ
極部αが位置し、上面側にＳ極部βが位置するように配
置されているが、各マーカー１６Ｍと磁極との位置関係
が適正に設定されていれば、磁極の向きはこれに限らな
い。

【００２４】このシステムを使用する際には、オペレー
タＰは頭部にＨＭＤ８を装着し、図８に示すように上下
左右に配置された４台の仮想物体呈示装置９の間に、手
Ｐ１に持った操作ユニット１５を位置させる。すると、
各センサーユニット９ａのＣＣＤカメラ１１がマーカー
１６Ｍを検出し、その検出結果に基づいて、操作ユニッ
ト１５とセンサーユニット９ａとの間隔が一定に保たれ
るように、各多関節駆動機構９ｂがトラッキングを行
う。そして、仮想現実空間内での操作ユニット１５が仮
想物体Ｖ２との接触位置に到達すると、対応する電磁石
１２が励磁される。各センサーユニット９ａの電磁石１
２と永久磁石１９との間の斥力によって操作ユニット１
５が反力を受けて、その反力が手Ｐ１に伝えられる。こ
のようにして仮想物体Ｖ２の力覚が操作ユニット１５を
介して手Ｐ１にフィードバックされるが、操作ユニット
１５は複雑な機械構成で拘束されていないので、高い自
由度で操作性良くフォースフィードバックが達成され
る。

【００２５】上記のようにして操作ユニット１５に与え
られる反力は、制御ユニット１０内のＣＰＵ１が、ＣＣ
Ｄカメラ１１により検出された操作ユニット１５の位置
から、仮想現実空間内における仮想物体Ｖ２と操作ユニ
ット１５との位置関係を算出し、その位置関係に基づい
て算出される。例えば、操作ユニット１５に与えられる
反力の大きさは、励磁電流値の制御や時分割による間欠
的駆動制御等によって調整可能である。そして、電磁石
１２が磁場を発生させることによって、ＣＰＵ１の算出
結果に応じた反力を操作ユニット１５に与えるのであ
る。さらに、仮想物体Ｖ２の特性(例えば、硬さ，軟ら
かさ，弾性，脆性等)に関するデータを用いれば、操作
ユニット１５に与える反力に仮想物体Ｖ２の特性を反映
することも可能である。また、仮想物体Ｖ２との接触状
態で操作ユニット１５が移動したときには、磁場の反転
を繰り返すことによって操作ユニット１５に振動を与
え、それによって触感(滑らかさ，ざらつき等)をも呈示
することが可能である。

【００２６】本実施の形態のように、複数の仮想物体呈
示装置９によって操作ユニット１５の四方からマーカー
追跡及び磁場発生を行う構成では、電磁石１２と永久磁
石１９との間の斥力のみによって操作ユニット１５に反
力を与えるだけでなく、電磁石１２と永久磁石１９との
間の引力，斥力を適宜選択して、様々なバリエーション
の反力を操作ユニット１５に与えることが可能である。
また、ヘッド部１６に永久磁石１９を内蔵する代わり
に、磁気を帯びていない鉄等の金属材料等でヘッド部１
６の少なくとも一部を構成すれば、電磁石１２の磁極方
向に関係なく、ヘッド部１６と電磁石１２との間の引力
によって操作ユニット１５に反力を与えることが可能で
ある。

【００２７】

【発明の効果】以上説明したように第１〜第４の発明に
係る力覚呈示システムよれば、複雑な機械構成で拘束さ
れていない道具体を介して磁場内でフォースフィードバ
ックが行われるため、高い自由度で操作性良く仮想物体
の力覚が呈示される。したがって、より高度な現実感を
簡単な構成で達成することが可能である。また第２の発
明によれば、ハンドル部の交換により単一のヘッド部で
様々な道具の使用感を呈示することができる。第３の発
明によれば、重りによって道具体の重量やバランスが呈
示されるため、リアルな保持感覚を実現することができ
る。第４の発明によれば、道具体の重心位置を変化させ
ることにより、単一の道具体で様々な道具の使用感を呈
示することができる。

【図面の簡単な説明】

【図１】本発明に係る力覚呈示システムの概略構成を示
すブロック図。

【図２】第１の実施の形態の使用状態を示す図。

【図３】第１の実施の形態を構成するメスの上面図。

【図４】図３に示すメスの下面図。

【図５】図３に示すメスのＡ−Ａ線断面図。

【図６】第１，第２の実施の形態を構成する仮想物体呈
示装置の外観を示す斜視図。

【図７】第２の実施の形態を構成する操作ユニットの分
解斜視図。

【図８】第２の実施の形態の使用状態を示す斜視図。

【符号の説明】

１ …ＣＰＵ(仮想物体生成装置) ２ …視点検出装置３ …映像表示装置４ …マーカー追跡装置(位置検出装置) ５ …磁場発生装置６ …道具体６ａ…ヘッド部６ｂ…ハンドル部７ …メス(道具体) ７ａ…ヘッド部７ｂ…ハンドル部７ｃ…永久磁石(磁性体) ７ｄ…スライド部７ｅ…溝７ｆ…重り７Ｍ…マーカー８ …ＨＭＤ９ …仮想物体呈示装置９ａ…センサーユニット９ｂ…多関節駆動機構１０ …制御ユニット１１ …ＣＣＤカメラ(位置検出装置) １２ …電磁石(磁場発生装置) １５ …操作ユニット１６ …ヘッド部１６Ｍ…マーカー１７ …ハンドル部１８ …ハンドル部１９ …永久磁石(磁性体) Ｖ１ …仮想物体(３次元物体) Ｖ２ …仮想物体(３次元物体）

フロントページの続き (72)発明者小林孝生大阪市中央区安土町二丁目３番13号大阪国際ビルミノルタ株式会社内Ｆターム(参考） 2F076 BD17 BE05 BE12 3F059 DA07 EA07 5B087 AA07 AB12 CC01 CC26 CC33 DD03 DE07

Claims

【特許請求の範囲】

【請求項１】空間的に仮想的な３次元物体を生成する
仮想物体生成装置と、少なくとも一部が磁性体で構成されているヘッド部とハ
ンドル部から成る道具体と、この道具体の位置を検出する位置検出装置と、前記３次元物体と前記道具体との空間的な関係に応じて
磁場を発生させる磁場発生装置と、を有することを特徴とする力覚呈示システム。
【請求項２】前記道具体が、共通に使用されるヘッド
部と、そのヘッド部に対して交換可能に構成されたハン
ドル部と、から成ることを特徴とする請求項１記載の力
覚呈示システム。
【請求項３】前記ヘッド部又はハンドル部に重りを有
することを特徴とする請求項１又は請求項２記載の力覚
呈示システム。
【請求項４】前記重りの位置が可変であることを特徴
とする請求項３記載の力覚呈示システム。