JP2001356861A - 触覚呈示装置および触覚呈示方法 - Google Patents
触覚呈示装置および触覚呈示方法Info
- Publication number
- JP2001356861A JP2001356861A JP2000177314A JP2000177314A JP2001356861A JP 2001356861 A JP2001356861 A JP 2001356861A JP 2000177314 A JP2000177314 A JP 2000177314A JP 2000177314 A JP2000177314 A JP 2000177314A JP 2001356861 A JP2001356861 A JP 2001356861A
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- data
- dimensional
- tactile sense
- voxel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
呈示装置を用いた「なぞり」操作や「ずらし」操作の際
の触覚表現をも可能にする触覚データ生成装置を用いた
触覚呈示装置および触覚呈示方法を提供する。 【解決手段】本発明の一態様によると、ボクセル値によ
り構成された3次元ボリュームデータを記憶する記憶装
置と、上記記憶装置に記憶された上記ボクセル値に基づ
き触覚データを発生する触覚圧覚デー夕生成装置と、上
記触覚データ生成装置に接続され、入力された上記触覚
データを、触覚呈示駆動信号に変換する駆動回路と、上
記駆動回路に接続され、上記触覚呈示駆動信号に基づい
て触覚を呈示する上記触覚呈示手段とを有する触覚呈示
装置が提供される。
Description
び触覚呈示方法に係り、特に、CTもしくはMRIなど
の2次元画像データから3次元再構成されて生成した、
ボリュームで成る3次元オブジェクトデータから触覚の
データを生成する触覚呈示装置および触覚呈示方法に関
する。
格・高機能パーソナルコンピュータの普及によって多種
類の情報がネットワークを介して提供されるようになっ
てきている。
れていた今までの情報の提供方法だけでなく、閲覧者側
から提供者に対しての新たな情報の提供や閲覧者の要求
を反映して、提供する情報を選別することで、より高密
度で利用価値の高い情報を伝達できる双方向の情報提供
方式が実時間で行われている。
えば、書面によるもの)に比較して遥かに効率が良く、
的確な情報提供が可能である。
ケーション手段は通常、コンピュータに接続されたキー
ボードとマウスの操作により行われ、情報の出力はコン
ピュータに接続されたモニタに出力されて、その画像情
報を閲覧者が見ることのみで情報の伝達が行われる。
キーボードやマウスによって行われ、その結果に対応し
て情報提供者からは画像情報(及び音声)が出力される
のみである。
ディアと呼ばれている情報のうち、文字・写真・音声と
いった、人間の感覚で言えば視覚・聴覚の感覚器官から
の情報取得に関して非常に有効である。
な役割を有する「触覚」に関しては、なんらの情報伝達
もできない。
な物性の認識を可能にする重要な感覚である。
(触覚・圧覚)はそのものの表面及び内部構造までも判
断できる非常に有効な感覚である。
特定や症状の進行の度合いを判断することが非常に有効
な手段として診療の場面で使われていることは言うまで
も無い。
できないため、経験によって、その「感覚」を記憶する
ことが唯一の習得方法である。
覚・圧覚)を覚え込む必要があり、多くの時問と経験が
必要である。
は、抽象的な表現としての文字情報あるいは音声情報と
しての伝達手段しかなく、感覚そのものの伝達は不可能
であった。
より視覚(画像情報)あるいは、聴覚(音声)との関連
により受け手への情報伝達力が飛躍的に向上する。
ダルなコミュニケーションをコンピュータ上で実現する
ことは、明確に有効でありながら、的確に実現されてい
ないのが現状である。
した仮想空問と触覚あるいは力覚呈示を目的に触・圧覚
呈示装置を利用して、上記の問題点を解決する試みがな
され始めてきている。
開平11−155881号公報」に示すような、パラレ
ルリンクを有する触・圧覚呈示装置を提案し、この触・
圧覚呈示装置を用いることで、操作者に「触覚」を伝達
して、より密度の高い情報取得を実現できる環境を提案
している。
ら、触覚を生成する際に技術的に重要な事柄は、「仮想
物体との接触をどのようにして判断するか」ということ
と「データをどのように生成するか」という2点に言及
される。
は、ほとんどの場合が触覚データを作成する元のデータ
が画像データという種類のものであるという点におい
て、現実の触覚情報と画像情報という、異なる次元のデ
ータであるがための違和感が生じる。
くはMRの出力データは、2値化された画像のスライス
データである。
て3次元構造体を再構成する手法がとられるわけである
が、これは単に画像としての視覚的な情報であり、組織
の硬さや柔らかさといった機械的な情報が得られるわけ
では無い。
提示方法は、仮想物体と接触した点の法線方向の力のべ
クトルを算出し、触・圧覚呈示装置のアクチュエータに
この値を送信することで表現されることが一般的であ
る。
メッシュで分割した際の接点同士をバネとダンパによっ
て数学的に接続したモデルを作成してバネの縮み量から
力学的エネルギーを算出して、この値をもとにしてアク
チュエータ駆動するという手法がとられるのが一般的で
ある。
面からの抗力という形でしか表現できない。
なぞりや、仮想物体の内部の属性の違いによる異方性を
表現することは不可能であった。
らは「Simulator forvirtual s
urgery using deformable o
rgan models and force fee
dback system,Proc.of Medi
cine Meets Virtual Realit
y ’98(1998),pp227−233」で紹介
されるような、組織内に球を詰めこみ、この球の総合的
な変形によって組織の変形と球全体の位置変化に伴う力
の均衡を計算して発生力とする方法を提案している。
の状態を表している訳では無く、実際に存在しないモデ
ルを当てはめている方法に変りは無い。
ので、従来まで不可能であった、触・圧覚呈示装置を用
いた「なぞり」操作や「ずらし」操作の際の触覚表現を
も可能にする触覚データ生成装置を用いた触覚呈示装置
および触覚呈示方法を提供することを目的とする。
題を解決するために、(1) ボクセル値により構成さ
れた3次元ボリュームデータを記憶する記憶装置と、上
記記憶装置に記憶された上記ボクセル値に基づき触覚デ
ータを発生する触覚圧覚デー夕生成装置と、上記触覚デ
ータ生成装置に接続され、入力された上記触覚データ
を、触覚呈示駆動信号に変換する駆動回路と、上記駆動
回路に接続され、上記触覚呈示駆動信号に基づいて触覚
を呈示する上記触覚呈示手段とを有することを特徴とす
る触覚呈示装置が提供される。
るために、(2) ボクセル値により構成された3次元
ボリュームデータから画面上に3次元再構成体を表示す
る表示装置と、上記触覚呈示手段の位置を検出し、上記
3次元再構成体との相対位置を検出する位置検出機構と
を更に有し、上記触覚データ生成装置は、上記3次元再
構成体の表面上に対応する上記触覚呈示手段の位置によ
り決定される操作開始点と上記3次元再構成体内部の操
作終了点までを検出し、この操作終了点を頂点とし予め
設定された頂角の円錐内部の3次元ボリュームデータを
構成するすべてのボクセル値の画素値の大きさを力の大
きさとし、上記3次元再構成体の表面からボクセル値の
中心を結ぶ方向をベクトルの方向としてそれぞれのボク
セルデータについて力ベクトルを計算し、すべての力ベ
クトルの合力を求め、この合力にさらに上記触覚呈示手
段に固有な変数と上記3次元再構成体に固有の変数を乗
算することによって力ベクトルを算出し、触覚データを
発生することを特徴とする(1)に記載の触覚呈示装置
が提供される。
るために、(3) 3次元ボリュームデータを構成する
ボクセル値から触覚データを生成する工程と、上記触覚
データを触覚呈示手段を駆動する駆動信号に変換する工
程と、この駆動信号に基づき触覚呈示手段に触覚を呈示
する工程とを有することを特徴とする触覚呈示方法が提
供される。
の形態について説明する。
触覚呈示方法の一実施の形態が適用されるシステム構成
を示している。
(a)に示すように、コンピュータ1.aと、このコン
ピュータ1.aに接続される触・圧覚呈示装置を駆動す
るためのアンプ1.bと、このアンプ1.bに接続され
た触・圧覚呈示装置1.cとを有して構成されている。
1.dはコンピュータ1.aの出力情報を呈示するモニ
タである。
MRIからのデータ入手を、本発明の代表的事例として
紹介する。
MRIにて測定された患者の3次元ボリュームデータが
蓄積されている。
状の配列を成すボクセルで記述され、ており、各ボクセ
ルはそれぞれの画素値を有している。
想空間内に、このボリュームデータの最外周部分のデー
タをもとに生成された3次元構造物体を描画することが
できる。
と称される。
作に同期して動作する図1の(b)に示すようなモニタ
1.d上の仮想のツール1.fを用いて、上記の仮想空
間内に描画された3次元構造物の操作を行うことができ
るようになっている。
(b)に示すようなモニタ1.d上の仮想空間内に描画
された仮想構造物に接触させると、その接触に応じて触
・圧覚呈示装置への触・圧覚データが出力され、触・圧
覚呈示装置のアンプ1.bで処理されたデータにもとづ
き、触・圧覚呈示装置1.cのアクチュエータが駆動さ
れ、操作している人間に触・圧覚が呈示される。
呈示装置1.cを操作した場合の力データの生成につい
て、図2を用いて詳細に説明する。
の一部を2次元的に表現したものである。
次元仮想物体に接触させると接触点の位置データ2.a
が保存される。
内部にツールが入り込むことになるが、この内部の操作
終了点2.bの位置データも保存される。
空間的な軌跡2.cが演算され、操作終了点を頂点と
し、この軌跡を中心軸とする円錐2.dが計算される。
らかじめ与えられた変数によって調節される。
の性質を考慮して任意に設定することができるようにな
っている。
時の変形を考慮して最適値を適宜設定する。
2.hを抽出する。
について、円錐の内部に存在するもののみが抽出され
る。
づいて力ベクトル2.fが計算される。
素値に、利用する触・圧覚呈示装置1.cに対応する固
有な変数、および臓器・部位による固有な変数をもとに
設定される係数を乗算したのものを力ベクトルの大きさ
とし、各ボクセルの中心座標と、ツールの接触点を結ぶ
方向が力ベクトルの方向になる。
を持つ。
の輝度の変化そのものを硬さの分布の変化として扱うこ
とにより、例えば、最も白い部分から最も黒い部分ま
で、画像と同じ諧調の硬さ情報の分布を入手することが
可能になるわけである。
り予め設定した係数と階調の最大値の乗算の値を最大値
とした、例えば、ボリュームデータの階調が256階調
ならば256分の1ずつ変化する、硬さ情報の変化にも
対応するデータを作成することが可能となる。
ボクセルに関する上記力ベクトルの合計2.gを算出
し、このべクトルの大きさを、操作に伴い発生する力の
大きさ、同時に力ベクトルの方向を発生する力の方向と
して、触・圧覚呈示装置1.c用の駆動アンプ1.bに
それらの情報を出力して触・圧覚デバイスを駆動し、操
作者に操作対象の触・圧覚情報を伝達する。
た本明細書には、特許請求の範囲に示した請求項1乃至
3以外にも、以下に付記1乃至付記3として示すような
発明が含まれている。
れた3次元ボリュームデータから画面上に3次元再構成
体を表示する工程と、上記触覚呈示手段の位置を検出し
上記3次元再構成体との相対位置を検出する工程とをさ
らに有し、上記3次元ボリユームデータを構成するボク
セル値から触覚データを生成する工程は、上記3次元再
構成体の表面上に対応する上記触覚呈示手段の位置によ
り決定される操作開始点と上記3次元再構成体内部の操
作終了点までを検出する工程と、上記操作終了点を頂点
とし予め設定された頂角の円錐内部の上記3次元ボリュ
ームデータを構成するすべてのボクセル値の画素値の大
きさを力の大きさとし、上記3次元再構成体の表面から
ボクセル値の中心を結ぶ方向をベクトルの方向としてそ
れぞれのボクセルデータについて力ベクトルを計算する
工程と、すべてのボクセルについて力ベクトルの合力を
求める工程と、この合力にさらに上記触覚呈示手段に固
有な変数と上記3次元再構成体に固有の変数を乗算する
ことによって力ベクトルを算出し、触覚データを発生す
る工程とからなることを特徴とする請求項3に記載の触
覚呈示方法。
ュータに接続された触・圧覚呈示装置を駆動するための
駆動アンプと、この駆動アンプに接続された触・圧覚呈
示装置とから構成される触・圧覚呈示システムにおい
て、その触・圧覚呈示装置を駆動するための触・圧覚デ
ータを、3次元ボリュームデータを構成するボクセル値
から生成する触覚データ生成装置を有することを特徴と
する触・圧覚呈示システム。
セルの集合データとして表現される。
タ内に構成した3次元仮想空間内にとり込み、3次元仮
想物体としてコンピュータの画像情報として表示する。
より、操作範囲内の空間的な位置座標を検出することが
可能に設計されており、そのデータは駆動アンプを介し
てコンピュータに位置制御信号として入力される。
触・圧覚データが出力され、触・圧覚呈示装置に配置さ
れたアクチュエータを駆動することにより、操作抵抗
(つまり触・圧覚)を生成することが可能に設計されて
いる。
ータを生成する。
元ボリュームデータを構成する、ボクセル値を利用す
る。
部構造はボクセル値として記述されている。
値(画素値)をもっており、このボクセル値を力の大き
さと読替え、力のデータとして変換することで、濃さの
違いを硬さの違いとして表現することが可能である。
組織の違いは領域を表す画素の濃さの違いに相当し、こ
の濃さの違いを医師は判断して、組織や部位の違いを判
断する。
の、3次元ボリュームデータは言わば設計図であり、ボ
クセルはその内部構造を微細な単位の領域に細分化した
ものであり、ボクセル値は、それぞれの領域の特徴を表
現する。
用すると、それぞれのボクセル領域の特徴の差異をその
まま利用することが可能になる。
工・呈示することが可能となる。
とに3次元再構成物体をコンピュータ画面上に描画し、
この3次元再構成物体と触・圧覚呈示装置と同期してコ
ンピュータ画面内を移動する仮想のツールとの接触を判
定する接触判定機能を有し、該3次元再構成物体の表面
上の接触が判定された操作開始点から仮想物体内部の操
作終了点までの軌跡を追跡し、その操作終了点を頂点と
する、ある設定された頂角によって記述される円錐内に
存在する全てのボクセルに関して、画素値を力の大きさ
とし、更に、仮想物体の表面上の操作開始点とボクセル
の中心を結ぶ方向をべクトルの方向として、力ベクトル
を構成し、上記の円錐範囲内に存在する全てのボクセル
に対してこの力ベクトルの合力を計算し、この合力と、
利用する触・圧覚呈示装置に対応する固有な変数、およ
び臓器・部位による固有な変数を乗算した上で、最終的
に呈示する力ベクトルを算出し、触・圧覚呈示装置を駆
動する駆動データとする触覚データ生成装置。
構成物体と触・圧覚呈示装置と同期して動作する仮想ツ
ールとの間の動的な関係を導く。
変形という動作も含まれ、3次元仮想物体への操作の度
合に応じた変形という動的な変更を表現することも可能
になる。
体固有のボクセルデータから生成される。
してのみ行われ、且つ実空間での粘性物体への操作同様
に押しこみ、および横方向へのなぞり動作から受ける力
情報も算出する。
3次元再構成物体と触・圧覚呈示装置の相互関係を導く
ことができ、仮想空問内での3次元再構成物体への操作
および、操作に伴う触覚を再現することが可能である。
定されることは無く、種々変更することが可能である。
元再構成物体を構成するための元データ入手装置として
はCTもしくはMRI等の医療用診断装置から取得され
るデータが一般的であるが、その他流体や気体を表現す
るボリュームデータを利用してのデータ生成も同様の構
成で可能であるなど、一般的にボリュームデータを生成
して評価を行う全てのシステムのデータを利用すること
が可能である。
および2記載の本発明によれば、従来まで不可能であっ
た、触・圧覚呈示装置を用いた「なぞり」操作や「ずら
し」操作の際の触覚表現をも可能にする触覚データ生成
装置を用いた触覚呈示装置を提供することができる。
の本発明によれば、従来まで不可能であった、触・圧覚
呈示装置を用いた「なぞり」操作や「ずらし」操作の際
の触覚表現をも可能にする触覚データ生成装置を用いた
触覚呈示方法を提供することができる。
の一実施の形態が適用されるシステム構成を示す図であ
る。
部を2次元的に表現して示した図である。
Claims (3)
- 【請求項1】 ボクセル値により構成された3次元ボリ
ュームデータを記憶する記憶装置と、 上記記憶装置に記憶された上記ボクセル値に基づき触覚
データを発生する触覚圧覚デー夕生成装置と、 上記触覚データ生成装置に接続され、入力された上記触
覚データを、触覚呈示駆動信号に変換する駆動回路と、 上記駆動回路に接続され、上記触覚呈示駆動信号に基づ
いて触覚を呈示する上記触覚呈示手段とを有することを
特徴とする触覚呈示装置。 - 【請求項2】 ボクセル値により構成された3次元ボリ
ュームデータから画面上に3次元再構成体を表示する表
示装置と、 上記触覚呈示手段の位置を検出し、上記3次元再構成体
との相対位置を検出する位置検出機構とを更に有し、 上記触覚データ生成装置は、上記3次元再構成体の表面
上に対応する上記触覚呈示手段の位置により決定される
操作開始点と上記3次元再構成体内部の操作終了点まで
を検出し、この操作終了点を頂点とし予め設定された頂
角の円錐内部の3次元ボリュームデータを構成するすべ
てのボクセル値の画素値の大きさを力の大きさとし、上
記3次元再構成体の表面からボクセル値の中心を結ぶ方
向をベクトルの方向としてそれぞれのボクセルデータに
ついて力ベクトルを計算し、すべての力ベクトルの合力
を求め、この合力にさらに上記触覚呈示手段に固有な変
数と上記3次元再構成体に固有の変数を乗算することに
よって力ベクトルを算出し、触覚データを発生すること
を特徴とする請求項1に記載の触覚呈示装置。 - 【請求項3】 3次元ボリュームデータを構成するボク
セル値から触覚データを生成する工程と、 上記触覚データを触覚呈示手段を駆動する駆動信号に変
換する工程と、 この駆動信号に基づき触覚呈示手段に触覚を呈示する工
程とを有することを特徴とする触覚呈示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000177314A JP2001356861A (ja) | 2000-06-13 | 2000-06-13 | 触覚呈示装置および触覚呈示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000177314A JP2001356861A (ja) | 2000-06-13 | 2000-06-13 | 触覚呈示装置および触覚呈示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001356861A true JP2001356861A (ja) | 2001-12-26 |
Family
ID=18678929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000177314A Pending JP2001356861A (ja) | 2000-06-13 | 2000-06-13 | 触覚呈示装置および触覚呈示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001356861A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013206023A (ja) * | 2012-03-28 | 2013-10-07 | Kddi Corp | 触覚対象画像の奥行き・高低に応じた触覚振動を付与可能なユーザインタフェース装置、触覚振動付与方法及びプログラム |
JP5496337B2 (ja) * | 2011-02-04 | 2014-05-21 | パナソニック株式会社 | 電子機器 |
JP2015219371A (ja) * | 2014-05-16 | 2015-12-07 | 株式会社東芝 | 処理装置、血管模型、画像処理方法、プログラム、および、造形装置に関する。 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05123327A (ja) * | 1991-11-07 | 1993-05-21 | Toshiba Corp | 手術シミユレーシヨンシステム |
-
2000
- 2000-06-13 JP JP2000177314A patent/JP2001356861A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05123327A (ja) * | 1991-11-07 | 1993-05-21 | Toshiba Corp | 手術シミユレーシヨンシステム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5496337B2 (ja) * | 2011-02-04 | 2014-05-21 | パナソニック株式会社 | 電子機器 |
JPWO2012105158A1 (ja) * | 2011-02-04 | 2014-07-03 | パナソニック株式会社 | 電子機器 |
JP2013206023A (ja) * | 2012-03-28 | 2013-10-07 | Kddi Corp | 触覚対象画像の奥行き・高低に応じた触覚振動を付与可能なユーザインタフェース装置、触覚振動付与方法及びプログラム |
JP2015219371A (ja) * | 2014-05-16 | 2015-12-07 | 株式会社東芝 | 処理装置、血管模型、画像処理方法、プログラム、および、造形装置に関する。 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Basdogan et al. | VR-based simulators for training in minimally invasive surgery | |
Ullrich et al. | Haptic palpation for medical simulation in virtual environments | |
CN104685551B (zh) | 混合现实仿真方法和系统 | |
Konukseven et al. | Development of a visio‐haptic integrated dental training simulation system | |
Fortmeier et al. | A virtual reality system for PTCD simulation using direct visuo-haptic rendering of partially segmented image data | |
Srinivasan | What is haptics | |
Pan et al. | Virtual reality training and assessment in laparoscopic rectum surgery | |
CN105303605A (zh) | 一种基于力反馈的骨外科手术仿真系统 | |
Lim et al. | Real time simulation of nonlinear tissue response in virtual surgery using the point collocation-based method of finite spheres | |
KR101816172B1 (ko) | 의료 훈련 시뮬레이션 시스템 및 방법 | |
KR101021595B1 (ko) | 햅틱 인터페이스를 이용한 임플랜트 시뮬레이션 시스템 | |
Burdea et al. | Virtual reality training for the diagnosis of prostate cancer | |
Kuroda et al. | Interaction model between elastic objects for haptic feedback considering collisions of soft tissue | |
Li et al. | Design and evaluation of personalized percutaneous coronary intervention surgery simulation system | |
Amini et al. | Augmented reality mastectomy surgical planning prototype using the HoloLens template for healthcare technology letters | |
Ribeiro et al. | Techniques and devices used in palpation simulation with haptic feedback | |
KR100551201B1 (ko) | 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료훈련 및 평가 시스템 | |
Nakao et al. | Evaluation and User Study of Haptic Simulator for Learning Palpation in Cardiovascular Surgery. | |
CN101901565B (zh) | 支持力触觉反馈的虚拟柔性体变形手术仿真系统 | |
Tai et al. | Tissue and force modelling on multi-layered needle puncture for percutaneous surgery training | |
JP2001356861A (ja) | 触覚呈示装置および触覚呈示方法 | |
Chen et al. | Dynamic touch‐enabled virtual palpation | |
US20020005864A1 (en) | Haptic virtual environments | |
Iwata et al. | Array force display for hardness distribution | |
Souza et al. | Development of a vr simulator for medical training using free tools: A case study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090625 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100803 |