JP2000047565A - 物体の接触感シミュレーション装置 - Google Patents

物体の接触感シミュレーション装置

Info

Publication number
JP2000047565A
JP2000047565A JP22545898A JP22545898A JP2000047565A JP 2000047565 A JP2000047565 A JP 2000047565A JP 22545898 A JP22545898 A JP 22545898A JP 22545898 A JP22545898 A JP 22545898A JP 2000047565 A JP2000047565 A JP 2000047565A
Authority
JP
Japan
Prior art keywords
virtual object
force
action point
reaction force
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP22545898A
Other languages
English (en)
Other versions
JP3722992B2 (ja
Inventor
Moritaka Arai
盛孝 荒井
Teruaki Iinuma
輝明 飯沼
Masayuki Shimada
政行 島田
Yasuo Kubota
靖夫 久保田
Hideki Murota
秀樹 室田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP22545898A priority Critical patent/JP3722992B2/ja
Publication of JP2000047565A publication Critical patent/JP2000047565A/ja
Application granted granted Critical
Publication of JP3722992B2 publication Critical patent/JP3722992B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 物体表面に対する接触感を疑似的に体験させ
る。 【解決手段】 物体情報設定手段10内に、所定の仮想
物体を定義するための形状データ,質感データ,光源デ
ータ,時間tの関数f(t),硬さKを設定する。オペ
レータの指に固定され任意方向に移動可能な作用部51
と、この作用部51の三次元座標系上での位置を検出す
る位置検出部52と、演算制御手段40の指示に基いて
作用部51に反力を加える力発生部53と、を有する力
トランスデューサ50を用意する。ディスプレイ20に
は、仮想物体Bと、作用部の位置Pが表示される。演算
制御手段40は、作用部51が仮想物体Bの内部に侵入
した場合、侵入してからの時間tを関数f(t)に代入
して得られる関数値に硬さKを乗じた大きさの反力を求
め、作用部51にこの反力を作用させる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は物体の接触感シミュ
レーション装置に関し、特に、物体表面に触れる際の硬
軟感を疑似的に体験させることのできるシミュレーショ
ン装置に関する。
【0002】
【従来の技術】コンピュータを利用したシミュレーショ
ンは、種々の分野で採り入れられており、特に近年で
は、コンピュータの画像処理機能の向上により、いわゆ
るバーチャル・リアリティーと呼ばれている仮想現実の
世界をディスプレイ画面上に表示するシミュレーション
装置が普及してきている。この種のシミュレーション装
置では、通常、オペレータは仮想の空間内を自由に移動
することができ、オペレータの移動に伴ってディスプレ
イの表示画面がリアルタイムで描き換えられてゆく。
【0003】
【発明が解決しようとする課題】しかしながら、従来の
シミュレーション装置は、ディスプレイ上の映像などを
利用して、オペレータの視覚を通じて仮想の世界を提示
することに主眼が置かれており、オペレータの触覚を通
じて仮想の世界を提示する機能に乏しい。ところが、今
後は、物体表面に触れた際の硬さあるいは軟らかさとい
った感触を疑似的に提供することができるシミュレーシ
ョン装置の需要が見込まれており、特に、市販のパソコ
ン程度の処理機能をもったコンピュータを利用した安価
なシミュレーション装置が望まれている。
【0004】そこで本発明は、物体表面に対する接触感
を疑似的に体験させることができるシミュレーション装
置を提供することを目的とする。
【0005】
【課題を解決するための手段】(1) 本発明の第1の態
様は、所定の仮想物体を定義し、この仮想物体に対する
接触感を疑似的に体験させるためのシミュレーションを
行う物体の接触感シミュレーション装置において、仮想
物体を定義するための情報を設定する物体情報設定手段
と、オペレータから加えられた力に基いて三次元の任意
方向に移動可能な作用点を有する作用部と、作用点の三
次元座標系上での位置を検出する位置検出部と、与えら
れた力制御ベクトルに基いて作用点に加える力を発生さ
せる力発生部と、を有する力トランスデューサと、位置
検出部が検出した作用点の位置と物体情報設定手段内の
情報により定義された仮想物体の位置とに基いて、作用
点と仮想物体との相互位置関係を認識し、作用点が仮想
物体の内部にあると判断された場合には、作用点が仮想
物体の表面位置に到達した時点から現時点に至るまでの
内部滞在時間に基づいて作用点に生じるべき反力を演算
により求め、この反力に基いて作用点に加えるべき制御
力を示す力制御ベクトルを求め、求めた力制御ベクトル
を力トランスデューサへ与える制御を行う演算制御手段
と、を設けるようにしたものである。
【0006】(2) 本発明の第2の態様は、上述の第1
の態様に係る物体の接触感シミュレーション装置におい
て、演算制御手段が、作用点の内部滞在時間が長くなれ
ばなるほど大きな反力が得られるような演算を行うよう
にしたものである。
【0007】(3) 本発明の第3の態様は、上述の第1
または第2の態様に係る物体の接触感シミュレーション
装置において、時間tを変数とする所定の関数f(t)
を仮想物体の表面状態を定義するための情報として物体
情報設定手段内に設定できるようにし、演算制御手段
が、関数f(t)に内部滞在時間tを代入して得られる
関数値に基づいて反力の大きさを決定するようにしたも
のである。
【0008】(4) 本発明の第4の態様は、上述の第3
の態様に係る物体の接触感シミュレーション装置におい
て、仮想物体を定義するための情報として、仮想物体の
硬さを示すパラメータKを物体情報設定手段内に設定で
きるようにし、反力の大きさを、関数値f(t)とパラ
メータKとの積K・f(t)に基いて決定するようにし
たものである。
【0009】(5) 本発明の第5の態様は、上述の第4
の態様に係る物体の接触感シミュレーション装置におい
て、仮想物体を定義するための情報として、仮想物体の
表面を二次元多角形の集合体として表現する形状データ
を設定し、作用点Pが仮想物体の内部に位置する場合
に、この作用点Pに最も近い二次元多角形αに垂直な法
線ベクトルNを求め、この法線ベクトルNを単位ベクト
ルとして大きさK・f(t)のベクトルを力制御ベクト
ルCとするようにしたものである。
【0010】(6) 本発明の第6の態様は、上述の第1
〜第5の態様に係る物体の接触感シミュレーション装置
において、演算制御手段が、作用点の内部滞在時間に基
づいて定まる第1の反力と、仮想物体の表面と作用点と
の距離に基づいて定まる第2の反力と、を演算する機能
を有し、第1の反力と第2の反力との合成力に基いて作
用点に加えるべき制御力を示す力制御ベクトルを求める
ようにしたものである。
【0011】(7) 本発明の第7の態様は、上述の第6
の態様に係る物体の接触感シミュレーション装置におい
て、仮想物体の表面と作用点との距離dが大きくなれば
なるほど大きな反力が得られるような演算を行うように
したものである。
【0012】(8) 本発明の第8の態様は、上述の第7
の態様に係る物体の接触感シミュレーション装置におい
て、仮想物体を定義するための情報として、仮想物体の
硬さを示すパラメータkを設定できるようにし、第2の
反力の大きさを、パラメータkと距離dとの積(k・
d)に基いて決定するようにしたものである。
【0013】(9) 本発明の第9の態様は、上述の第1
〜第8の態様に係る物体の接触感シミュレーション装置
において、仮想物体を表示するためのディスプレイと、
物体情報設定手段内に設定された情報および位置検出部
が検出した作用点の位置の情報に基いて、ディスプレイ
の画面上の所定の表示位置に仮想物体の形状および作用
点を描画する物体形状描画手段と、を更に設け、オペレ
ータに仮想物体の形状および位置ならびに作用点の位置
を提示できるようにしたものである。
【0014】(10) 本発明の第10の態様は、上述の第
9の態様に係る物体の接触感シミュレーション装置にお
いて、仮想物体を定義するための情報として、更に、仮
想物体の表面の質感を示す質感データおよび仮想物体を
照明するための光源の性質を示す光源データを設定でき
るようにし、物体形状描画手段が、質感データおよび光
源データを考慮して仮想物体の形状を描画するようにし
たものである。
【0015】(11) 本発明の第11の態様は、コンピュ
ータを、上述の第1〜第10の態様に係る物体の接触感
シミュレーション装置として動作させるためのプログラ
ムを、コンピュータ読み取り可能な記録媒体に記録する
ようにしたものである。
【0016】(12) 本発明の第12の態様は、上述の第
1〜第10の態様に係る物体の接触感シミュレーション
装置において、力トランスデューサの作用部を、オペレ
ータの指先に嵌めて固定できる指サックにより構成し、
オペレータの指の動きに基いて作用点が移動できるよう
にするとともに、力制御ベクトルに基く制御力が指サッ
クを介してオペレータの指に伝達されるように構成した
ものである。
【0017】
【発明の実施の形態】§1. 装置の基本構成 以下、本発明を図示する実施形態に基いて説明する。図
1は本発明の一実施形態に係る物体の接触感シミュレー
ション装置の基本構成を示すブロック図である。この装
置では、所定の仮想物体を定義し、この仮想物体に対す
る接触感を疑似的に体験させるためのシミュレーション
を行うことができる。この装置の構成要素は、図示のと
おり、物体情報設定手段10と、ディスプレイ20と、
物体形状描画手段30と、演算制御手段40と、力トラ
ンスデューサ50とである。
【0018】物体情報設定手段10は、仮想物体を定義
するための情報を設定する機能を有する。オペレータ
が、この物体情報設定手段10に対してデータやパラメ
ータなどの情報を入力すると、入力された情報は、この
物体情報設定手段10内に格納され保持される。オペレ
ータは、物体情報設定手段10に対して設定したデータ
やパラメータを変更することにより、シミュレーション
の条件設定を適宜変えることができる。この実施形態で
は、仮想物体を定義するための情報として、図示のよう
に、形状データ,質感データ,光源データなる3種類の
データと、時間tを変数とする所定の関数f(t)と、
仮想物体の硬さを示すパラメータKとを設定できるよう
にしている。
【0019】ディスプレイ20は、仮想物体を表示する
ための手段であり、図1では立方体形状の仮想物体Bが
所定位置に表示されている状態が示されている。物体形
状描画手段30は、物体情報設定手段10内に設定され
た情報(形状データ,質感データ,光源データ)に基い
て、ディスプレイ20の画面上の所定位置に仮想物体B
の形状を描画する機能を有する。なお、物体形状描画手
段30は、仮想物体Bだけでなく、後述する作用点Pの
位置を、ディスプレイ20の画面上に描画する機能を有
しており、図示のとおり、ディスプレイ20の画面上に
は、仮想物体Bとともに、作用点Pの位置が表示され
る。
【0020】力トランスデューサ50は、作用部51、
位置検出部52、力発生部53を有しており、演算制御
手段40に接続されている。力トランスデューサ50
は、オペレータに対するマン・マシン・インターフェイ
スとして機能し、オペレータから与えられる操作量を入
力するとともに、オペレータに対して力を返す働きをす
る。この実施形態では、力トランスデューサ50は、1
本の指としての機能を果たすことになり、仮想物体に対
する接触感は、この指を介して体験することになる。
【0021】作用部51上には、作用点Pが定義されて
おり、この作用点Pはオペレータから加えられた力に基
いて三次元の任意方向に移動可能となっている。図1の
ディスプレイ20上に表示されている作用点Pは、この
作用部51上の作用点の位置である。位置検出部52
は、作用部51上の作用点Pの三次元座標系上での位置
を検出する機能を有する。具体的には、作用点Pの位置
は、x座標,y座標,z座標の3つの座標値として検出
されることになる。ここでは、この3つの座標値によっ
て示された作用点Pの位置をP(x,y,z)なるデー
タで表わすことにする。
【0022】この作用点の位置を示すデータP(x,
y,z)は、演算制御手段40に与えられ、更に、物体
形状描画手段30へと与えられる。物体形状描画手段3
0は、前述したように、この位置を示すデータに基い
て、ディスプレイ20の画面上に作用点Pの位置を描画
することになる。一方、演算制御手段40は、位置検出
部52が検出した作用点Pの位置と物体情報設定手段1
0内の情報により定義された仮想物体の位置とに基い
て、作用点Pと仮想物体Bとの相互位置関係を認識し、
その認識結果に応じて作用点Pに生じるべき反力(仮想
物体側からオペレータ側へと返される力)を求める演算
を行う。ここで行われる具体的な演算内容については後
に詳述する。こうして、作用点Pに生じるべき反力が得
られたら、この反力に基いて作用点Pに加えるべき制御
力を示す力制御ベクトルCが求められ、この力制御ベク
トルCを示すデータは、力トランスデューサ50へ与え
られる。力トランスデューサ50内の力発生部53は、
演算制御手段40から与えられた力制御ベクトルCに基
いて作用点Pに加える力を発生させる機能を有する。
【0023】§2. 物体情報設定手段に設定される情
続いて、図1に示すシミュレーション装置において、物
体情報設定手段10内に設定される具体的な情報につい
て説明する。前述したように、この実施形態では、形状
データ,質感データ,光源データ,時間tの関数f
(t),硬度を示すパラメータKが設定される。
【0024】形状データは、仮想物体の三次元形状を特
定するためのデータである。ここでは、仮想物体の表面
を二次元多角形の集合体として表現するようにしてお
り、二次元多角形の頂点座標を示す頂点テーブルと、各
二次元多角形を構成する頂点の連結関係を示す面テーブ
ルと、によって形状データを構成するようにしている。
たとえば、図2(a) に示すような立方体からなる仮想物
体を定義する場合を考える。この立方体は、6つの正方
形の集合体として表現することができ、図に1〜8の番
号を付した合計8個の頂点によって構成される。このよ
うな立方体についての形状データは、図2(b) に示す頂
点テーブルと図2(c) に示す面テーブルによって構成で
きる。図2(a) に示す頂点テーブルは、8個の頂点のそ
れぞれについて、XYZ三次元座標系における位置座標
を示している。図示の例では、図2(a) に示す立方体
は、頂点1が座標系の原点に位置し、頂点1−2に沿っ
た辺がX軸上、頂点1−4に沿った辺がY軸上、頂点1
−5に沿った辺がZ軸上に位置しており、一辺の長さが
1となる立方体である。図2(b) の頂点テーブルは、単
に8個の頂点の位置座標を示すものであり、仮想物体の
形状は、実際には、図2(c) の面テーブルによって定義
されることになる。この面テーブルは、この立方体を構
成する6個の面〜の頂点構成を示しており、たとえ
ば、面は、頂点1−2−6−5を連結することにより
形成される面になる。
【0025】このように、頂点テーブルと面テーブルと
を用いれば、任意形状の仮想物体の表面を定義すること
ができる。図2の例では、仮想物体の表面を四角形の集
合体として定義したが、三角形や六角形など、用いる多
角形はどのようなものでもかまわない。また、本発明を
実施する上では、仮想物体の形状定義は必ずしも二次元
多角形を用いる必要はない。たとえば、球や円錐などで
あれば、方程式を用いて定義することも可能であり、物
体情報設定手段10に設定される形状データは、数値、
式を問わず、形状を定義することができる情報であれば
どのようなものでもかまわない。なお、ここに示す実施
形態では、形状データは座標を示す情報(図2の例で
は、頂点テーブル内の各座標値)を含んでいるため、形
状とともに位置を定義する情報として機能する。もちろ
ん、形状データとは別個に位置を示すための位置データ
を設定するようにしてもよい。
【0026】物体情報設定手段10に設定される質感デ
ータは、形状データによって定義された仮想物体の表面
の質感を示すためのデータである。具体的には、仮想物
体を構成する各面(図2の例では、面〜)について
の環境色,拡散色,鏡面色,鏡面係数などの値が質感デ
ータとして設定される。また、光源データは、この仮想
物体を照明するための光源の性質を示すデータであり、
光源の形状(点,線,面),光源の位置,光源色などを
示すデータが光源データとして設定される。この質感デ
ータおよび光源データは、ディスプレイ20の画面上
に、定義した仮想物体を表示するために利用されるデー
タである。物体形状描画手段30は、この質感データお
よび光源データを考慮して、仮想物体Bの形状を描画す
ることになる。
【0027】一方、時間tの関数f(t)および硬度を
示すパラメータKは、仮想物体の表面状態を定義する情
報である。関数f(t)もパラメータKも、いずれも物
体表面の硬さあるいは柔らかさを左右する要素である
が、パラメータKが作用点Pに作用する反力の大きさを
決定する係数として機能するのに対し、関数f(t)は
反力の大きさの時間変化を決定する機能を果たす。これ
らの機能については後述する。関数f(t)もパラメー
タKも、仮想物体の個々の表面ごとにそれぞれ異なる関
数あるいはパラメータ値を設定することも可能である
が、本実施形態では、1つの仮想物体に対しては1つの
関数f(t)のみ、1つのパラメータKのみを設定する
ようにしている。したがって、1つの仮想物体について
は、どの面についての接触感も同じであるが、異なる仮
想物体については、それぞれ異なる関数f(t)および
パラメータKを設定しているので、物体ごとに接触感の
相違を体験することができる。もちろん、1つの仮想物
体の面ごとに、これらの設定を変えれば、同一の仮想物
体であっても、面ごとに異なる接触感を体験することが
できるようになる。
【0028】§3. 具体的な装置構成 図1に示すブロック図は、説明の便宜上、本発明に係る
装置を機能要素の集合としてとらえ、個々の機能要素を
ブロックで示したものであり、実際には、このシミュレ
ーション装置はコンピュータを利用して構築される。す
なわち、図1に示す装置における物体情報設定手段1
0、物体形状描画手段30、演算制御手段40は、汎用
のコンピュータに、上述した各処理を実行するためのプ
ログラムを組み込むことにより構成することができる。
たとえば、物体情報設定手段10に対するデータやパラ
メータの設定は、キーボードやマウスなどのコンピュー
タ用入力機器を用いて行うことができ、設定されたデー
タやパラメータはメモリや種々の記憶装置に格納される
ことになる。また、物体形状描画手段30による描画機
能や、演算制御手段40による演算処理機能は、コンピ
ュータに組み込まれたプログラムによって実現されるこ
とになり、このプログラムは、コンピュータ読み取り可
能な記録媒体に記録して配布することが可能である。な
お、ディスプレイ20は、コンピュータ用の一般的なデ
ィスプレイ装置によって構成できる。
【0029】一方、力トランスデューサ50は、オペレ
ータの物理的操作をデジタルデータ(作用点の位置を示
すデータ)に変換する第1の機能と、演算制御手段40
から与えられるデジタルデータ(力制御ベクトルCを示
すデータ)を物理的な力に変換してオペレータに与える
第2の機能とを実行する物理的な構成要素である。一般
的な物体に対する接触動作には、通常、指が用いられ
る。そこで、この実施形態では、上記機能が効果的に実
行されるように、力トランスデューサ50の作用部51
を、オペレータの指先に嵌めて固定できる指サックによ
り構成し、オペレータの指の動きに基いて作用点Pを移
動できるようにするとともに、力制御ベクトルCに基く
制御力がこの指サックを介してオペレータの指に伝達さ
れるように構成した。
【0030】図3は、この指サックの形態をした作用部
51を用いて構成される力トランスデューサ50の機能
を示すブロック図である。作用部51は、ゴムなどの弾
力性をもった材料で構成されており、オペレータは、こ
の作用部51を指の先端に装着して固定することができ
る。図示の例では、この作用部51の先端部分に作用点
Pが定義されている(もちろん、作用点Pは作用部51
のいずれの部分に定義してもかまわないが、操作性を向
上する上では、指先位置に定義するのが好ましい)。本
発明では、このような力トランスデューサを少なくとも
1組用意する必要がある。
【0031】この力トランスデューサ50において、作
用部51は三次元の自由度をもって移動可能な状態に支
持されている必要がある。すなわち、作用点Pは、オペ
レータから加えられた力に基いて三次元の任意方向に移
動可能な状態になっている必要がある(もちろん、作用
点Pの移動可能空間は、所定の範囲内に制限されていて
かまわない)。したがって、オペレータは、作用部51
を指先に装着した状態で、指先を三次元空間内の任意の
方向に移動させることができる。位置検出部52は、前
述したように、作用点Pの三次元空間内の位置を、P
(x,y,z)なる3つの座標値からなるデータとして
リアルタイムで逐次検出する機能を有している。一方、
力発生部53は、演算制御手段40からリアルタイムで
逐次与えられる力制御ベクトルCに基いて、力Fを発生
させ、これを作用点Pに逐次加える機能を果たす。ここ
で、作用点Pに加えられる力Fは、力制御ベクトルCの
向きおよび大きさをもった力である。
【0032】結局、オペレータは、作用部51を装着し
た指を任意の方向に動かすことが可能ではあるが、逆
に、作用点Pに加わる力Fを常に指先に受け、物体から
の反力を感じることになる(もちろん、F=0の場合
は、何ら反力は感じない)。
【0033】図4は、このような力トランスデューサ5
0の具体的構成例を示す斜視図である。図では、力トラ
ンスデューサ50の作用部51(指サック)を右手の人
差し指に装着した状態が示されている。この指の先端部
分に作用点Pが定義されており、オペレータは、作用部
51を任意の方向に移動させながら、仮想物体に対する
接触感を体感することができる。図示の力トランスデュ
ーサ50では、複数のリンク機構を用いて、上述した2
つの機能を実現している。すなわち、作用部51は、複
数の自在アームによって支持されているため、ある程度
の範囲の空間内では、三次元の任意の方向に自由に移動
させることが可能である。しかも、各自在アームの回転
位置を検出する機構が備わっており、作用点Pの三次元
座標値P(x,y,z)を検出することができる。更
に、各自在アームに力を加えるためのモータが用意され
ており、これらのモータを駆動することにより、作用点
Pに任意の方向、任意の大きさの力を作用させることが
できる。
【0034】このような複数のリンク機構を用いた力ト
ランスデューサは、既に公知の装置であるため、その構
造や機構についての詳細な説明は省略する。市販の製品
としては、たとえば、米国のセンサブル・デバイス社
(SensAble Device Inc.)が「PHANToM」なる商
品名で販売している装置を利用することができる。結
局、本発明に係る液体の接触感シミュレーション装置
は、図4に示すような力トランスデューサを、汎用コン
ピュータに接続し、所定のプログラムをこのコンピュー
タに組み込むことにより実現することが可能になる。
【0035】§4. 演算制御手段の動作 続いて、上述した実施形態に係るシミュレーション装置
の具体的な動作、特に、演算制御手段40において行わ
れる反力の演算処理動作について詳述する。いま、三次
元座標系上の図5に示すような位置に、仮想物体B(α
およびβは、この仮想物体Bの表面を示す)が存在する
ものとする。もちろん、この仮想物体は、実在の物体で
はないので、たとえば、図4に示すような力トランスデ
ューサ50を用いた場合、この力トランスデューサ50
が設置されている三次元空間内のいずれかの位置に、仮
想物体の存在が定義されているに過ぎない。ここで、オ
ペレータが図4のような指サック状の作用部51を人差
し指に装着し、この作用部51の先端に定義された作用
点Pを、図5の矢印Mで示されている方向に動かしたと
しよう。すなわち、作用点Pは、図示の点P1→P2→
P3→P4→P5→P6なる軌跡に沿って移動すること
になる。仮想物体Bは、実在の物体ではないので、も
し、力トランスデューサ50に対して何ら力制御ベクト
ルが与えられていなければ、オペレータは、図5に示す
ように作用点を自由に移動させることができる。
【0036】このような作用点Pの動きは、仮想物体B
が実在の物体であった場合には矛盾する。すなわち、図
示の点P1→P2→P3までの移動は、仮想物体Bが実
在の物体であった場合でも可能であるが、点P3→P4
→P5→P6なる移動は、指先が物体の内部に侵入して
いることになり、物体が変形をしない限り、そのような
作用点の移動は現実的には不可能である。もちろん、物
体が弾性変形や塑性変形を生じるものとして、作用点が
物体の内部に侵入した場合には、それに応じて物体の形
状をリアルタイムで補正するという手法を採れば、図5
に示すような作用点の移動に、現実的な矛盾は生じな
い。しかしながら、物体形状をリアルタイムで補正する
には、膨大な演算処理が必要になり、特に、ディスプレ
イ20上にリアルタイムで物体を描画する場合、かなり
高機能なコンピュータが要求されることになる。そこ
で、本実施形態では、仮想物体Bは剛体から構成されて
おり、形状は一切変化しないものとして取り扱ってい
る。
【0037】このように、仮想物体Bを剛体として取り
扱うと、図5における点P3→P4→P5→P6なる移
動は、指先が剛体中にめり込んでいる状態に相当するた
め、現実の物理現象を忠実にシミュレートするという意
味では、矛盾した移動になる。しかしながら、本発明の
主眼は、オペレータに物体に対する接触感を体験させる
ことにあるので、必ずしも現実の物理現象を忠実にシミ
ュレートする必要はない。したがって、本発明では、図
5に示すように、作用点Pが仮想物体Bの内部に侵入す
るような事象も認めることにする。ただし、オペレータ
に接触感を感じさせるためには、作用点Pが仮想物体B
の内部に侵入した際に、何らかの反力を作用点Pに戻し
てやる必要がある。本願発明者は、この反力の大きさ
を、作用点の内部滞在時間に基いて決定するようにすれ
ば、仮想物体Bの表面における硬さあるいは柔らかさを
オペレータに効果的に伝達させることができることを発
見した。
【0038】たとえば、図5において、作用点Pが点P
1の位置あるいは点P2の位置にある場合、オペレータ
の指先はまだ仮想物体Bに触れていないので、何ら反力
を戻す必要はない。ところが、作用点Pが点P3の位置
(仮想物体Bの表面α上の位置)に到達した後、点P4
→P5→P6へと移動してゆく間は、物体に接触したこ
とを知らしめるために、何らかの反力を戻す必要があ
る。そこで、作用点Pと仮想物体Bとの相互位置関係を
認識し、作用点Pが仮想物体Bの内部にあると判断され
た場合には、作用点Pが仮想物体Bの表面位置に到達し
た時点から現時点に至るまでの内部滞在時間tに基づい
て、作用点Pに生じるべき反力を演算により求め、この
反力に基いて作用点Pに加えるべき制御力を示す力制御
ベクトルCを求め、求めた力制御ベクトルCを力トラン
スデューサ50へ与える制御を行うようにしたのであ
る。
【0039】図5の例では、作用点が点P3の位置に到
達した時点が基準時刻0となり、点P4に到達した時点
では内部滞在時間t=t1となり、点P5に到達した時
点では内部滞在時間t=t2となり、点P6に到達した
時点では内部滞在時間t=t3となる。この実施形態で
は、作用点の内部滞在時間が長くなればなるほど大きな
反力が得られるようにしているため、反力の大きさは時
間の経過とともに大きくなる。反力の大きさを定義する
ためには、時間tを変数とする所定の関数f(t)を用
いるようにすればよい。既に述べたように、この関数f
(t)は、物体情報設定手段10内に設定しておくこと
ができる。いわば、関数f(t)は、仮想物体Bの表面
状態を定義するための情報ということになる。
【0040】図6に、関数f(t)の具体例をいくつか
示しておく。いずれも、時間tの増加とともに関数値f
(t)も増加している。図6(a) は、線形関数を用いた
例を示しており、この場合、所定の係数Aを用いて、f
(t)=A・tなる簡単な式で表現される。図6(b)
は、時間tが小さいうちは急激な増加を示すが、徐々に
増加率が低下するような関数を用いた例であり、比較的
硬い接触感を与えることが可能である。これに対し、図
6(c) は、時間tの増加とともに関数値は緩慢な増加を
示し、最後は関数値が飽和してしまうような関数を用い
た例であり、比較的柔らかい接触感を与えることが可能
である。
【0041】なお、本実施形態では、物体情報設定手段
10内に、関数f(t)とともに硬さを示すパラメータ
Kを設定しており、反力の大きさを、関数値f(t)と
パラメータKとの積K・f(t)に基いて決定するよう
にしている。たとえば、図5に示す例では、作用点Pが
点P4の位置に到達した時点では、内部滞在時間t=t
1であるから、関数f(t)に内部滞在時間t1を代入
して得られる関数値f(t1)に、パラメータKを乗じ
ることにより得られる値K・f(t1)に基づいて反力
の大きさが決定されることになる。同様に、作用点Pが
点P5の位置に到達した時点では、値K・f(t2)に
基いて反力の大きさが決定され、作用点Pが点P6の位
置に到達した時点では、値K・f(t3)に基いて反力
の大きさが決定される。関数f(t)が時間変化を示す
ファクターであるのに対し、パラメータKは絶対値とし
て乗じられるファクターであり、これら両ファクターを
併用することにより、バリエーション豊かな表面状態を
設定することが可能になる。
【0042】以上、反力の大きさを求める方法について
述べたが、実際の反力は力制御ベクトルCとして、力発
生部53によって作用点Pに対して与えられることにな
る。そこで、本実施形態では、物体情報設定手段10内
の仮想物体Bを定義するための情報として、仮想物体の
表面を二次元多角形の集合体として表現する形状データ
を設定しておくようにし、作用点Pが仮想物体Bの内部
に位置する場合に、この作用点Pに最も近い二次元多角
形に垂直な法線ベクトルNを求め、この法線ベクトルN
を単位ベクトルとして大きさK・f(t)のベクトルを
力制御ベクトルCとするようにしている。
【0043】たとえば、図7に示す例の場合、仮想物体
Bの内部に作用点Pが位置している。ここで、仮想物体
Bの表面は多数の二次元多角形α,β,…によって定義
されているが、作用点Pに最も近い二次元多角形αに立
てた法線を向いた単位ベクトルを法線ベクトルNとし、
この法線ベクトルNと同じ向きを向いており、大きさが
K・f(t)のベクトルを力制御ベクトルCとすること
になる。別言すれば、力制御ベクトルCは、法線ベクト
ルN(単位ベクトル)を用いて、C=K・f(t)・N
で与えられることになる。演算制御手段は、このような
力制御ベクトルCを演算により求め、力トランスデュー
サ50内の力発生部53に与える処理を行う。力発生部
53は、作用部51の作用点Pに対して、この力制御ベ
クトルCの方向に、この力制御ベクトルCの大きさに応
じた力を作用させることになる。
【0044】結局、オペレータの指先が仮想物体の表面
位置を通過して内部に侵入すると、その時間経過(内部
滞在時間)に応じて定まる大きさをもった反力が、仮想
物体の表面に対して垂直な方向に制御力として加わるこ
とになる。オペレータは、この制御力を物体側からの抵
抗力として感じることになり、物体表面の接触感を認識
することになる。したがって、図5に示す例の場合、オ
ペレータは、指先が点P3の位置に到達した時点から、
矢印Mとは逆方向に押し戻される反力(正確には、表面
αから垂直に押し戻される反力)を感じ始め、指先が点
P4→P5→P6と移動するにしたがって、反力の大き
さが徐々に大きくなるのを感じることができる(関数f
(t)として、tとともに増加する関数を用いた場
合)。
【0045】このように、作用点が仮想物体の表面位置
に到達した時点から現時点に至るまでの内部滞在時間に
基いて反力の大きさを求める手法を採ると、演算制御手
段40の演算負担を極めて少なくできるというメリット
が得られる。すなわち、演算制御手段40は、作用点が
仮想物体の外部にある場合は、反力に関する演算は一切
行う必要がなく、作用点が仮想物体の内部にある場合
は、作用点の内部滞在時間tを計測し、C=K・f
(t)・Nなる単純な演算を行うだけでよい。
【0046】§5. 作用点の深さも考慮して反力を求
める手法 ところで、上述した§4の手法で反力を求めた場合、厳
密には、現実の接触感とは矛盾する現象も起こり得る。
たとえば、図5において、矢印Mに沿って点P1〜点P
6へと作用点を移動させた後、今度は作用点を矢印Mと
は逆方向に点P6〜点P1へと移動させたとしよう。こ
の場合、作用点が物体表面の浅い位置へ向かっているに
もかかわらず、内部滞在時間tは常に大きくなるため、
反力は徐々に大きくなり続ける(あるいは、最大値に飽
和した状態になる)。もちろん、作用点が点P3の位置
まで到達すれば、以後は反力は全く作用しなくなるが、
実際の作用点の位置にかかわらず、内部滞在時間tのみ
で反力の大きさを決定してしまうと、現実の接触感と比
べて違和感が生じる可能性がある。また、図5におい
て、同じ矢印Mに沿って指先を動かした場合でも、指先
の移動速度によって、異なる接触感が得られることにな
る。もちろん、現実の世界においても、ゆっくりと触れ
た場合と、急いで触れた場合とでは、実際の接触感も異
なるであろうから、指先の移動速度によって異なる接触
感が得られること事態は、必ずしも現実と矛盾するもの
ではない。ただ、より現実的な接触感を体験させる上で
は、以下に述べるように、作用点の深さをも考慮して反
力を求めるようにするのが好ましい。
【0047】たとえば、図8に示す例の場合、作用点P
の深さd(仮想物体Bの表面αとの距離)を求め、これ
に硬さを示すパラメータk(ここでは、前述したパラメ
ータKと区別するために、小文字のkを用いている。)
を乗じることにより、k・dなる大きさの反力を想定す
る。そして、力制御ベクトルCとして、C=(K・f
(t)+k・d)・Nなる式で表されるベクトルを用い
るのである。ここで、右辺第1項のK・f(t)は、§
4で述べたとおり、作用点Pの内部滞在時間tに基づい
て定まる第1の反力の大きさを示しており、右辺第2項
のk・dは、上述したとおり、仮想物体Bの表面αと作
用点Pとの距離dに基づいて定まる第2の反力の大きさ
を示している。また、右辺の法線ベクトルNは、前述し
たように、作用点Pに最も近い二次元多角形αに垂直な
単位ベクトルである。結局、第1の反力と第2の反力と
の合成力に基いて作用点Pに加えるべき制御力を示す力
制御ベクトルCが求められている。なお、合成力を求め
る際に、第1の反力と第2の反力との大きさの積をとる
ようにし、C=(K・f(t)×k・d)・Nなる式で
力制御ベクトルCを求めてもかまわない。
【0048】ここで併用した第2の反力は、仮想物体の
表面と作用点との距離dが大きくなればなるほど大きな
値を採ることになるので、指先を仮想物体の表面から内
部に深く入れれば入れるほど、第2の反力は大きくなる
ことになる。また、仮想物体の硬さを示すパラメータk
と距離dとの積(k・d)に基いて第2の反力の大きさ
を決定するようにしているので、物体の硬さの設定情報
を反映させることができる。
【0049】以上、本発明を図示する実施形態に基いて
説明したが、本発明はこれらの実施形態に限定されるも
のではなく、この他にも種々の態様で実施可能である。
【0050】たとえば、上述の例では、1組の力トラン
スデューサ50のみを用いているが、複数組の力トラン
スデューサ50を用意すれば、仮想物体に対する把持動
作を体験させることも可能である。図9には、2組の力
トランスデューサ50を用い、両作用部51(指サッ
ク)をそれぞれ親指と人差し指とに装着した状態が示さ
れている。いずれも指の先端部分に作用点Pが定義され
ており、オペレータは、両作用部51を任意の方向に移
動させながら、仮想物体Bを把持する動作を体感するこ
とができる。
【0051】また、上述の実施形態では、関数f(t)
は時間tの増加とともに関数値が増加するタイプの関数
を用いているが、特殊な接触感(たとえば、現実には存
在しないような不思議な材質の物体に対する接触感)を
与える上では、時間tの増加とともに関数値が減少する
ようなタイプの関数を用いることも可能である。
【0052】
【発明の効果】以上のとおり本発明に係る物体の接触感
シミュレーション装置によれば、作用点の内部滞在時間
に基いて反力の大きさを決定するようにしたため、物体
表面に対する接触感を疑似的に体験させることができる
シミュレーション装置を提供することが可能になる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る物体の接触感シミュ
レーション装置の基本構成を示すブロック図である。
【図2】図1に示すシミュレーション装置において定義
された仮想物体およびその形状データの一例を示す図で
ある。
【図3】図1に示すシミュレーション装置における力ト
ランスデューサの機能を示すブロック図である。
【図4】図3に示す力トランスデューサの具体的な構成
例を示す斜視図である。
【図5】本発明における反力の求め方の基本概念を説明
するための物体の側断面図である。
【図6】本発明において反力を求める際に用いられる時
間tの関数f(t)の具体例を示すグラフである。
【図7】本発明における反力の方向の基本概念を説明す
るための物体の側断面図である。
【図8】本発明において2種類の反力を用いる基本概念
を説明するための物体の側断面図である。
【図9】2組の力トランスデューサを用いた本発明の具
体的な構成例を示す斜視図である。
【符号の説明】
1〜8…頂点 10…物体情報設定手段 20…ディスプレイ 30…物体形状描画手段 40…演算制御手段 50…力トランスデューサ 51…作用部 52…位置検出部 53…力発生部 B…仮想物体 C…力制御ベクトル d…作用点と仮想物体の表面との距離 f(t)…時間tの関数 F…作用点に加わる力 K,k…硬さを示すパラメータ M…作用点の移動方向 N…法線ベクトル P…作用点 P1〜P6…作用点Pの位置 P(x,y,z)…作用点Pの位置 α,β…仮想物体の表面を構成する多角形
───────────────────────────────────────────────────── フロントページの続き (72)発明者 島田 政行 東京都新宿区市谷加賀町一丁目1番1号 大日本印刷株式会社内 (72)発明者 久保田 靖夫 東京都新宿区市谷加賀町一丁目1番1号 大日本印刷株式会社内 (72)発明者 室田 秀樹 東京都新宿区市谷加賀町一丁目1番1号 大日本印刷株式会社内 Fターム(参考) 5B046 DA02 GA10 JA04 JA07 5B050 BA08 CA07 FA06 GA02

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 所定の仮想物体を定義し、この仮想物体
    に対する接触感を疑似的に体験させるためのシミュレー
    ションを行う装置であって、 仮想物体を定義するための情報を設定する物体情報設定
    手段と、 オペレータから加えられた力に基いて三次元の任意方向
    に移動可能な作用点を有する作用部と、前記作用点の三
    次元座標系上での位置を検出する位置検出部と、与えら
    れた力制御ベクトルに基いて前記作用点に加える力を発
    生させる力発生部と、を有する力トランスデューサと、 前記位置検出部が検出した作用点の位置と前記物体情報
    設定手段内の情報により定義された仮想物体の位置とに
    基いて、作用点と仮想物体との相互位置関係を認識し、
    作用点が仮想物体の内部にあると判断された場合には、
    作用点が仮想物体の表面位置に到達した時点から現時点
    に至るまでの内部滞在時間に基づいて前記作用点に生じ
    るべき反力を演算により求め、この反力に基いて作用点
    に加えるべき制御力を示す力制御ベクトルを求め、求め
    た力制御ベクトルを前記力トランスデューサへ与える制
    御を行う演算制御手段と、 を備えることを特徴とする物体の接触感シミュレーショ
    ン装置。
  2. 【請求項2】 請求項1に記載のシミュレーション装置
    において、 演算制御手段が、作用点の内部滞在時間が長くなればな
    るほど大きな反力が得られるような演算を行うことを特
    徴とする物体の接触感シミュレーション装置。
  3. 【請求項3】 請求項1または2に記載のシミュレーシ
    ョン装置において、 時間tを変数とする所定の関数f(t)を仮想物体の表
    面状態を定義するための情報として物体情報設定手段内
    に設定できるようにし、 演算制御手段が、前記関数f(t)に内部滞在時間tを
    代入して得られる関数値に基づいて反力の大きさを決定
    することを特徴とする物体の接触感シミュレーション装
    置。
  4. 【請求項4】 請求項3に記載のシミュレーション装置
    において、 仮想物体を定義するための情報として、仮想物体の硬さ
    を示すパラメータKを物体情報設定手段内に設定できる
    ようにし、反力の大きさを、関数値f(t)とパラメー
    タKとの積K・f(t)に基いて決定するようにしたこ
    とを特徴とする物体の接触感シミュレーション装置。
  5. 【請求項5】 請求項4に記載のシミュレーション装置
    において、 仮想物体を定義するための情報として、仮想物体の表面
    を二次元多角形の集合体として表現する形状データを設
    定し、 作用点Pが仮想物体の内部に位置する場合に、この作用
    点Pに最も近い二次元多角形αに垂直な法線ベクトルN
    を求め、この法線ベクトルNを単位ベクトルとして大き
    さK・f(t)のベクトルを力制御ベクトルCとするこ
    とを特徴とする物体の接触感シミュレーション装置。
  6. 【請求項6】 請求項1〜5のいずれかに記載のシミュ
    レーション装置において、 演算制御手段が、作用点の内部滞在時間に基づいて定ま
    る第1の反力と、仮想物体の表面と作用点との距離に基
    づいて定まる第2の反力と、を演算する機能を有し、前
    記第1の反力と前記第2の反力との合成力に基いて作用
    点に加えるべき制御力を示す力制御ベクトルを求めるこ
    とを特徴とする物体の接触感シミュレーション装置。
  7. 【請求項7】 請求項6に記載のシミュレーション装置
    において、 仮想物体の表面と作用点との距離dが大きくなればなる
    ほど大きな反力が得られるような演算を行うことを特徴
    とする物体の接触感シミュレーション装置。
  8. 【請求項8】 請求項7に記載のシミュレーション装置
    において、 仮想物体を定義するための情報として、仮想物体の硬さ
    を示すパラメータkを設定できるようにし、第2の反力
    の大きさを、パラメータkと距離dとの積(k・d)に
    基いて決定するようにしたことを特徴とする物体の接触
    感シミュレーション装置。
  9. 【請求項9】 請求項1〜8のいずれかに記載のシミュ
    レーション装置において、 仮想物体を表示するためのディスプレイと、 物体情報設定手段内に設定された情報および位置検出部
    が検出した作用点の位置の情報に基いて、前記ディスプ
    レイの画面上の所定の表示位置に仮想物体の形状および
    作用点を描画する物体形状描画手段と、 を更に設け、オペレータに仮想物体の形状および位置な
    らびに作用点の位置を提示できるようにしたことを特徴
    とする物体の接触感シミュレーション装置。
  10. 【請求項10】 請求項9に記載のシミュレーション装
    置において、 仮想物体を定義するための情報として、更に、仮想物体
    の表面の質感を示す質感データおよび仮想物体を照明す
    るための光源の性質を示す光源データを設定できるよう
    にし、物体形状描画手段が、前記質感データおよび前記
    光源データを考慮して仮想物体の形状を描画することを
    特徴とする物体の接触感シミュレーション装置。
  11. 【請求項11】 コンピュータを、請求項1〜10のい
    ずれかに記載のシミュレーション装置における演算制御
    手段として機能させるためのプログラムを記録したコン
    ピュータ読み取り可能な記録媒体。
  12. 【請求項12】 請求項1〜10のいずれかに記載のシ
    ミュレーション装置において、 力トランスデューサの作用部を、オペレータの指先に嵌
    めて固定できる指サックにより構成し、オペレータの指
    の動きに基いて作用点が移動できるようにするととも
    に、力制御ベクトルに基く制御力が前記指サックを介し
    てオペレータの指に伝達されるように構成したことを特
    徴とする物体の接触感シミュレーション装置。
JP22545898A 1998-07-24 1998-07-24 物体の接触感シミュレーション装置 Expired - Lifetime JP3722992B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22545898A JP3722992B2 (ja) 1998-07-24 1998-07-24 物体の接触感シミュレーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22545898A JP3722992B2 (ja) 1998-07-24 1998-07-24 物体の接触感シミュレーション装置

Publications (2)

Publication Number Publication Date
JP2000047565A true JP2000047565A (ja) 2000-02-18
JP3722992B2 JP3722992B2 (ja) 2005-11-30

Family

ID=16829664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22545898A Expired - Lifetime JP3722992B2 (ja) 1998-07-24 1998-07-24 物体の接触感シミュレーション装置

Country Status (1)

Country Link
JP (1) JP3722992B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020073890A (ko) * 2001-03-16 2002-09-28 한국전자통신연구원 손의 주물거림을 이용한 3 차원 모델링 시스템 및 그 방법
JP2006277367A (ja) * 2005-03-29 2006-10-12 Mazda Motor Corp 車両企画支援システム
JP2008134990A (ja) * 2006-10-23 2008-06-12 Canon Inc 情報処理装置、情報処理方法
JP2016197376A (ja) * 2015-04-06 2016-11-24 日本放送協会 力覚制御装置及び力覚提示装置
JP2017182495A (ja) * 2016-03-30 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN110047343A (zh) * 2019-03-27 2019-07-23 北京市理化分析测试中心 一种vr模拟显微硬度计操作的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020073890A (ko) * 2001-03-16 2002-09-28 한국전자통신연구원 손의 주물거림을 이용한 3 차원 모델링 시스템 및 그 방법
JP2006277367A (ja) * 2005-03-29 2006-10-12 Mazda Motor Corp 車両企画支援システム
JP4687957B2 (ja) * 2005-03-29 2011-05-25 マツダ株式会社 車両企画支援システム
JP2008134990A (ja) * 2006-10-23 2008-06-12 Canon Inc 情報処理装置、情報処理方法
JP2016197376A (ja) * 2015-04-06 2016-11-24 日本放送協会 力覚制御装置及び力覚提示装置
JP2017182495A (ja) * 2016-03-30 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN110047343A (zh) * 2019-03-27 2019-07-23 北京市理化分析测试中心 一种vr模拟显微硬度计操作的方法

Also Published As

Publication number Publication date
JP3722992B2 (ja) 2005-11-30

Similar Documents

Publication Publication Date Title
Salisbury et al. Haptic rendering: introductory concepts
Massie Initial haptic explorations with the phantom: Virtual touch through point interaction
US7084884B1 (en) Graphical object interactions
Basdogan et al. Haptic rendering in virtual environments
Paneels et al. Review of designs for haptic data visualization
Burdea Haptics issues in virtual environments
US20060119578A1 (en) System for interfacing between an operator and a virtual object for computer aided design applications
US20070268248A1 (en) Method and apparatus for determining forces to be applied to a user through a haptic interface
KR100906576B1 (ko) 핸드 햅틱 인터페이스 장치 및 방법
Magnenat-Thalmann et al. From Physics-based Simulation to the Touching of Textiles: The HAPTEX Project.
Salisbury Jr Making graphics physically tangible
CN111665933A (zh) 虚拟或者增强现实中的对象操作方法及装置
Yeh et al. On the effects of haptic display in brush and ink simulation for chinese painting and calligraphy
Otaduy et al. Representations and algorithms for force-feedback display
JP2019519856A (ja) マルチモーダルハプティック効果
JP3722994B2 (ja) 物体の接触感シミュレーション装置
JP3722992B2 (ja) 物体の接触感シミュレーション装置
Falcao et al. Applications of haptic devices & virtual reality in consumer products usability evaluation
Akahane et al. Two-handed multi-finger string-based haptic interface SPIDAR-8
Kamuro et al. 3D Haptic modeling system using ungrounded pen-shaped kinesthetic display
JP3722993B2 (ja) 物体の毛並接触感シミュレーション装置
Coe et al. Generating localized haptic feedback over a spherical surface
JP3713381B2 (ja) 物体の把持動作シミュレーション装置
Pihuit et al. Hands on virtual clay
JP2000047563A (ja) 物体の把持動作シミュレーション装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050914

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 7