JP2005114715A - 光学式触覚センサを用いた力ベクトル再構成法 - Google Patents

光学式触覚センサを用いた力ベクトル再構成法 Download PDF

Info

Publication number
JP2005114715A
JP2005114715A JP2004177794A JP2004177794A JP2005114715A JP 2005114715 A JP2005114715 A JP 2005114715A JP 2004177794 A JP2004177794 A JP 2004177794A JP 2004177794 A JP2004177794 A JP 2004177794A JP 2005114715 A JP2005114715 A JP 2005114715A
Authority
JP
Japan
Prior art keywords
marker
force vector
force
sampling points
elastic body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004177794A
Other languages
English (en)
Other versions
JP4206057B2 (ja
Inventor
Koichi Mizota
晃一 溝田
Kazuto Kamiyama
和人 神山
Hiroyuki Kajimoto
裕之 梶本
Naoki Kawakami
直樹 川上
Susumu Tate
▲すすむ▼ 舘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Todai TLO Ltd
Original Assignee
Todai TLO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004177794A priority Critical patent/JP4206057B2/ja
Application filed by Todai TLO Ltd filed Critical Todai TLO Ltd
Priority to EP04787844A priority patent/EP1666861A4/en
Priority to CA002538007A priority patent/CA2538007A1/en
Priority to PCT/JP2004/013203 priority patent/WO2005029027A1/ja
Priority to US10/571,371 priority patent/US7460964B2/en
Priority to CN2004800267746A priority patent/CN1853094B/zh
Priority to RU2006108383/28A priority patent/RU2354943C2/ru
Priority to KR1020067005119A priority patent/KR20060076292A/ko
Publication of JP2005114715A publication Critical patent/JP2005114715A/ja
Priority to HK06112979.4A priority patent/HK1092522A1/xx
Application granted granted Critical
Publication of JP4206057B2 publication Critical patent/JP4206057B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G01L1/241—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet by photoelastic stress analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G01L1/247—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet using distributed sensing elements, e.g. microcapsules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G01L5/226—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G01L5/226—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
    • G01L5/228—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping using tactile array force sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Image Analysis (AREA)

Abstract

【課題】
力ベクトル算出のための計算時間を短縮する。
【解決手段】
光学式触覚センサを用いた力ベクトル再構成法である。該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得するステップと、取得したマーカーの振る舞いに関する情報を伝達関数に入力することで、力ベクトルを出力として得るステップとを有し、力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報のみを用いて力ベクトルを算出する。
【選択図】
図７

Description

本発明は、光学式触覚センサに係り、詳しくは、光学式触覚センサを用いた力ベクトル再構成法に関するものである。
触覚センサによって接触面の接触状態を知ることを考える時、接触面の各点にかかる力は大きさと方向を持った３成分のベクトルである。これを図１の座標系でf(x,y)と表すことにする。ただしfはベクトルであるため、実際には各点においてx,y,z３成分を持つ。それぞれの成分を明示的に示す場合にはf(x,y)=[fx(x,y),fy(x,y),fz(x,y)]と表す。力分布が各接触点において３成分を持つことから、触覚センサによって接触面の力分布を再構成するためには少なくとも接触面の各点に対して３自由度以上の情報を得なければならない。
本出願の発明者等は、３次元ベクトル分布の計測が可能な光学式触覚センサを開発した。光学式触覚センサの原理について、図２に基づいて説明する。光学式触覚センサは、透明弾性体とＣＣＤカメラを用いて構成されている。透明弾性体内部に配置された球状マーカーをＣＣＤカメラで撮影することで、表面に力が加わった時の弾性体内部の変形情報を計測し、力分布を再構築する。
弾性体表面をｘｙ平面、垂直方向をｚ軸にとりＣＣＤカメラを用いてｚ方向から球状マーカーを撮影することにより、力が加わった際の測定点の移動をｘｙ平面方向の移動ベクトルとして計測する。しかしながら、このままでは情報量が少なく変形情報から力ベクトル分布を再構築することが困難であるため、弾性体内部の異なった深さに赤色球状マーカー、青色球状マーカーを測定点としてそれぞれN×N個配設することで深さの異なった２次元移動ベクトルを２つ求め、それぞれ異なった情報として扱うことで、情報量を増やして力ベクトル分布を求め易くした。
しかしながら、力ベクトルを求めるのに要する計算時間は、センサ面を構成する触覚面の大きさ（マーカーの振る舞いに関する情報量）の４乗に比例して大きくなり、触覚面が大きいとその分だけ計算時間が長くなってリアルタイムのセンシングができなくなる恐れがある。また、センサ面が比較的小面積であっても、計測密度が高い場合には、マーカーの振る舞いに関する情報量が多くなり、力ベクトル分布を計算するのに要する時間が長くなってしまいリアルタイムのセンシングができなくなる。したがって、光学式触覚センサの実用化や応用を考えた時に、力ベクトル分布を求めるための計算時間をいかに短縮するかが重要な課題となる。
国際公開公報ＷＯ02/18893 A1
本発明の目的は、センサの触覚面が大面積である、あるいは、触覚面における計測密度が高い場合であっても、力ベクトル算出のための計算時間を短縮することができる手法を提供することにある。
かかる目的を解決するために本発明が採用した技術手段は、光学式触覚センサを用いた力ベクトル再構成法であって、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報（例えば、マーカーの移動情報の一つである移動ベクトル）を取得するステップと、取得したマーカーの振る舞いに関する情報を伝達関数に入力することで、力ベクトルを出力として得るステップとを有し、力ベクトルを得るステップは、力ベクトルの算出に寄与度の低いマーカーの振る舞いに関する情報を省いて力ベクトルを算出することを特徴とするものである。例えば力の加わる点とマーカーとの距離が充分離れていれば、力ベクトル算出において、力の加わる点から離隔したマーカーの影響は少ないと考えられ、離隔したマーカーは力ベクトルの算出に寄与度が低いと考えられる。
一つの好ましい態様では、力ベクトルを得るステップは、力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報のみを用いて力ベクトルを算出するものである。所望の位置の近傍のマーカー情報のみを用いることで、伝達関数である行列をコンパクトにすることができる。行列において、所望のマーカーからある程度以上離れた位置のマーカー情報を反映させる行列の要素を０とすることで、行列の計算を軽くすることができる。他の好ましい態様では、力ベクトルを得るステップは、該行列の要素の中で０に近い要素を省いて力ベクトルを算出することを特徴とするものである。こうすることで同様に、行列の計算を軽くすることができる。
他の好ましい態様では、該力ベクトルを求めたい位置は、一つあるいは複数のサンプリング点から構成されており、さらに、該力ベクトルを求めたい位置を構成するサンプリング点の周囲に複数の力のサンプリング点を配置し、力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報を用いて該力ベクトルを求めたい位置及び該位置の周囲の複数の力のサンプリング点に作用した力ベクトルをそれぞれ算出し、算出された力ベクトルにおいて、該力ベクトルを求めたい位置に作用した力ベクトルのみを採用するようにしたことを特徴とする。さらに好ましくは、該サンプリング点は、該力ベクトルを求めたい位置から離隔するに従って疎に配置するものである。
さらに、他の好ましい態様では、力ベクトル再構成法は、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得するステップと、取得したマーカーの振る舞いに関する情報と伝達関数とから、該触覚面に作用した力ベクトルを得るステップとを有し、力ベクトルを得るステップは、該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置するステップと、該小領域内のマーカー情報と伝達関数とから該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出するステップと、該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用するステップとを有するものである。さらに好ましくは、サンプリング点は該小領域内で密に配置し、該小領域から離隔するに従って疎に配置する。
本発明は、また、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得する手段と、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得する手段と、該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置する手段と、該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出する手段と、該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用する手段とを有する力ベクトル再構築装置として提供される。
本発明は、さらに、力ベクトル再構成装置を構成するコンピュータを、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得する手段、該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得する手段、該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置する手段、該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出する手段、該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用する手段として機能させるためのプログラムとして提供される。
光学式触覚センサは、透明弾性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マーカー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有している。該有色マーカーの振る舞いを撮影することで、該弾性体に物体が接触した際における該有色マーカーの変位、ひずみ、傾きの少なくとも一つ以上を観測する。接触対象がセンサに接触した時の有色マーカーの情報から、透明弾性体内部のひずみ情報、さらにそこから計算された接触対象の形状や接触界面（弾性体の面、接触対象の面の双方を含む）に働く力の情報を検出するものである。本発明によれば、複数種類の情報を「色分け」というシンプルな方法によって個別に採集でき、光学式で複数種類の触覚情報を同時に得ることができる。そして、本発明によれば、「色分け」によって未知数の数以上の独立の観測値（マーカーの振る舞いに関する情報）を集め、逆問題を安定に解くことによって、力ベクトルを推定して再構築することができる。
有色マーカーは撮像手段、一つの好ましい例ではＣＣＤカメラ、によって撮影され、画像処理される。例えば、物体接触時とそれ以前の状態（透明弾性体に外力が作用していない状態）の画像を比較し、マーカーの移動情報（例えば、移動ベクトル）を検出する。あるいは、常時（透明弾性体に外力が作用していない状態）では、マーカーが認識できないような配設態様でマーカーを透明弾性体に埋設しておき、透明弾性体に物体が接触した時に各マーカー存在位置周辺におけるひずみにより生じるマーカーの変位、変形、傾きに応じてマーカーが認識されるように構成し、有色マーカーの見え方等から情報を検出する。あるいは、他の好ましい態様では、マーカー（例えば、階段状の帯状マーカーの場合）の振る舞いは、マーカーの輝度の変化として取得される。
光学式触覚センサには、該撮像手段で取得されたマーカーの振る舞いに関する情報（例えば、触覚面に物体が接触した時の各マーカーの移動情報である移動ベクトル）から触覚面に加えられた力ベクトルないし力ベクトル分布を再構成するための伝達関数が格納されている。伝達関数は、触覚面に加えられた力情報とマーカーの振る舞いに関する情報（例えば、移動ベクトル）とを関連付ける関数である。弾性体の触覚面に物体が接触した際の該有色マーカーを撮影してマーカー画像を取得し、該マーカー画像から、マーカーの振る舞いに関する情報を取得し、取得した情報を伝達関数に入力することで、力ベクトルを出力として求める。伝達関数に入力されるマーカーの振る舞いに関する情報の数は、求めたい力ベクトルの数よりも多い。
該伝達関数を構成する行列の作成法としては、弾性体理論から導かれる式に基づいて算出されるもの、実測によって算出されるもの、シミュレーションによって算出されるものがある。
該撮影手段は、望ましい態様では、該透明弾性体の物体が接触する側とは反対側に位置して配設される。また、互いに異なる色を有する複数の有色マーカーがある場合に、ある有色マーカーのみを選択して個別に捉えることで撮影後の処理の便宜を図ることが望ましい。有色マーカーの選択は、例えば、カラーフィルタを用いることで行う。また、マーカーの画像を安定化させるためには、該触覚面に遮光層を設けることが望ましい。
マーカーの配設構成について説明する。透明弾性体には、複数のマーカー群が埋設されており、各マーカー群はそれぞれ多数のマーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、さらに、該マーカー群は互いに異なる空間的配列を有している。この異なる空間的配列の例としては、該弾性体の肉厚内で積層状に配設された複数のマーカー群が挙げられる。積層状のマーカー群の具体例では、該マーカー群を構成するマーカーは球状の微細小片であり、各層のマーカー群を構成する球状マーカーは互いに異なる色を有する。他の空間的配列の例では、互いに交差するように配設された複数のマーカー群が挙げられる。さらに他の空間的配列としては、各マーカー群は同じ方向に延出する複数の面の群から構成されており、該面の延出方向および色は、各マーカー群毎で互いに異なるものが挙げられる。有色マーカーの形状は特には限定されないが、好適な例を挙げると球状、円筒状、円柱状、帯片状、平面状の形状が考えられる。これらのマーカーの詳細については、国際公開公報ＷＯ02/18893 A1の記載を参照することができる。また、マーカーの形状や配設態様は、図示のものあるいは前記国際公開公報に記載されたものに限定されるものではない。
本発明によれば、力ベクトルを算出するための伝達関数である行列のサイズを小さくすることができ、それによって、力ベクトルを算出する計算時間を短縮することができる。したがって、大面積の触覚面を備えたセンサであっても、リアルタイムでセンシングを行うことが可能となる。
［Ａ］光学式触覚センサの構成
図３は本発明に係る光学式触覚センサ装置の原理図であり、センサ装置は、透光性弾性部材からなる透明弾性体１を備えており、透明弾性体１は曲面状の触覚面（センサ面）２を有している。透明弾性体１には、触覚面２に近接して、触覚面２の曲面に沿うようにして多数の有色マーカー３，４が埋設されており、透明弾性体１と有色マーカーとで触覚部を構成している。透明弾性体１は好ましくはシリコンゴムから形成されるが、他のゴム類やエラストマー等の他の弾性部材から形成されてもよい。
有色マーカーは、２つの有色マーカー群から構成されており、２つのマーカー群は触覚面２から異なる深さに夫々埋設されている。一方のマーカー群を構成する有色マーカー３と、他方のマーカー群を構成する有色マーカー４とは互いに異なる色（例えば、一方が赤で、他方が青）を有している。
透明弾性体１の触覚面２に物体５が接触すると、透明弾性体１の内部に設けられた有色マーカー３，４が変位あるいは歪みを起こすように構成されている。センサ装置はさらに、撮像手段としてのカメラ６及び光源７を備えている。光学式カメラ６は、透明弾性体１を挟むようにして、物体５が接触する側とは反対側（触覚面２から離隔した側）に位置させて配設されており、マーカー３，４の変位、歪みをカメラ６で撮影するようになっている。光源７は、導波管（光ファイバ）を用いて導くものであってもよい。撮像手段によって取得されたマーカー３，４の画像がコンピュータ８に送信されてマーカー画像がコンピュータ８の表示部に表示され、マーカー画像からマーカーの振る舞い（変位、歪、傾き）に関するマーカー情報（例えば、移動情報の一つである移動ベクトル）がコンピュータ８の演算部によって計測される。コンピュータ８の記憶部には前述の伝達関数が格納されており、演算部によって、該伝達関数及び該マーカー情報（例えば、移動情報）を用いて、物体５から触覚面２に作用した力分布を再構築する。
撮影手段としてのカメラは、ディジタル式カメラ、すなわち画像データを電気信号として出力するカメラであり、一つの好ましい例では、ＣＣＤカメラである。本発明に係る撮像手段はＣＣＤカメラに限定されるものではなく、例えばC-MOS式イメージセンサを用いたディジタルカメラでもよい。マーカーとしてRed， Green， Blueの３種類用意したとき、これらを個別に捉えるためには、(1)撮像素子のカラーフィルタで分ける（この場合カメラのRGB出力を見ればそのまま各マーカーを個別に撮影したことになる）という方法と、(2)撮像素子は光の強度のみ捉え、光源としてRed，Green，
Blueを用意する（Redを光らせたときにはRedのマーカーからのみ反射光が有り、他の二種類のマーカーは光を吸収するため，結果的にカメラはRedのマーカーのみ捉える。これを時分割でGreen，Blueに対しても行えば(1)と等価な情報が得られる。）という方法の二つが有る。
［Ｂ］触覚面に加えられた力ベクトル分布の再構成法
光学式触覚センサによって得られたマーカーの振る舞いに関する情報（例えば、マーカーの移動情報の一つである移動ベクトル）から触覚面に加えられた力ベクトル分布を求めるには、マーカーの振る舞いに関する情報（例えば、移動情報）Ｍから力情報Ｆへの変換が必要となる。マーカー情報Ｍから力情報Ｆへの変換は、式Ｆ＝ＨＭによって行なわれる。以下に、マーカー情報から力ベクトル分布を再構成する手法について、図４，５を参照しながら、マーカーの移動ベクトルから力ベクトル分布を求める手法に基づいて説明する。図４と図５とは、図４が平面状の触覚面、図５が自由曲面状の触覚面を示している点を除き、実質的に同じ内容である。ここでは簡単のため二次元断面（図のy軸方向は考えない）について考えるが、一般的な三次元の場合でもアルゴリズムは同一である。
fは接触表面にかかる力ベクトル、m,nはそれぞれBlue, Redの色付けをしたマーカーのCCD素子上での移動ベクトルを表す。適当な離散化によって有限な点数（図４，図５では４点）について考える。前述のように力ベクトルはそれぞれ３成分(x,y,z成分)をもつが、ここでは２成分(x,z成分)を考える。また一般にカメラによる撮影は、三次元物体を画素面の二次元平面上に射影すると言うことであるから、その平面状でのマーカーの移動は水平方向(x,y成分)のみが射影されて観測されるが、ここでは図のようにx方向成分のみ観測されたとする。
すなわち、f=[fx(1),fx(2),fx(3),fx(4),fz(1),fz(2),fz(3),fz(4)]の８成分が求めたい力分布であり、
m=[m(1),m(2),m(3),m(4)], n=[n(1),n(2),n(3),n(4)]が観測される移動ベクトルである。このm,nをまとめてxと書くことにする。
すなわち、x=[m(1),m(2),m(3),m(4),n(1),n(2),n(3),n(4)]となる。
ここで、点1においてx方向単位力（大きさ１の力）が加えられたときに観察される各マーカーの移動ベクトルm,nをまとめてMx(1)と書く。
すなわち、
Mx(1)=[m(1),m(2),m(3),m(4),n(1),n(2),n(3),n(4)]
when
f=[1,0,0,0,0,0,0,0]
同様に、点1においてz向単位力が加えられたときに観察される各マーカーの移動ベクトルをMz(1)、点２おいてx方向単位力が加えられたときに観察される各マーカーの移動ベクトルをMx(2)等、以下同様に定める。線形弾性体（加えられた力分布と変位の間に線形加算関係が成り立つ弾性体。多くの弾性体はこの性質を満たす）の場合、一般的な力f=[fx(1),fx(2),fx(3),fx(4),fz(1),fz(2),fz(3),fz(4)]が与えられたときに生じる移動ベクトルxは次のように書かれる。
X=Mx(1)*fx(1) + Mz(1)*fz(1) + Mx(2)*fx(2)+…+Mz(4)*fz(4)
（逆にこのように表せるということが、力の「重ね合わせ」が成り立つ、すなわち線形弾性体であることの条件である。）
これを行列形式で書くと、X=H*fとなる。ただしH=[Mx(1);Mx(2);…;Mz(4)]。このHを、力fから変位xに伝達させるための写像と言う意味で伝達関数と呼ぶ。
要素ごとに書くと次のようになる。
Figure 2005114715
 ただしHmx(x1,x2)は，座標x=x2の表面に加わったx方向単位力による座標x=x1における、mマーカーがある深さでのx方向変位量を表す。同様に、Hnz(x1,x2)は座標x=x2の表面に加わったz方向単位力による座標x=x1における，nマーカーがある深さでのx方向変位量を表す。
これは単純な行列の掛け算であり、xは1*8、Hは8x8の正方行列、fは1*8の成分を持つ。このため、観測されたxからfを求めるにはHの逆行列をかけてやればよい。すなわち
f=inv(H)*x（式１）。ただしinvは逆行列（一般には一般化逆行列）を表す。
要素ごとに書くと数２のようになる。
Figure 2005114715
 ただしImx(1,1)等はinv(H)の各要素であるが，結局のところfx(1)を計算するためのm(1)の寄与を表す。
ここで重要なことは、このように、伝達関数によって定まった行列の逆行列を使うことで未知数を定める場合、未知数の個数を観測されたデータの個数が上回っているか同数である必要があると言うことである。もしこれが満たされない場合、逆行列を求めることが出来ず、すなわち求めたい未知数に冗長性が生じ、一意には求まらなくなる。この例の場合、もしもマーカーが１層しかなければ、求めたい力ベクトル成分8つに対して移動ベクトル成分が4つしかなく、力ベクトル成分が一意に定まらない（従来の面分布型触覚センサはこの状況にある）。この問題を解決するために色分けした２層のマーカー群を用意し、２層のマーカー群の各マーカーの移動を取ることによって独立な観測データ数を８つまで増やしている。
一般的な三次元の場合(この図ではy軸が追加された場合)、一点における力ベクトルは3自由度、マーカーの水平移動ベクトルは２自由度である。もしサンプリング点が同様に４点であったとすると、未知数はf=[fx(1),fy(1),fz(1),fx(2),fy(2),fz(2),fx(3),fy(3),fz(3),fx(4),fy(4),fz(4)]の１２個存在するのに対して、観測される値は移動ベクトルm=[mx(1),my(1),mx(2),my(2),mx(3),my(3),mx(4),my(4)]の８個であり、やはり足りない。これを２層に分けて観測することにより16個の観測データを得ることが出来、これにより12個の未知数を同定することになる。情報としては冗長であるため、よりノイズに対して頑強な推定を行うことができると考えられる。以上のようなアルゴリズムを用いて、CCD画像から力ベクトルを推定する。他のマーカーを用いた他の測定方式でも、観測されるデータが異なるだけで、色分けという工夫によって未知数の数より多い独立な観測値（マーカーの振る舞いに関する情報）を集め、逆問題を安定に解くことによって力ベクトルを推定すると言う骨子に変わりは無い。
［Ｃ］力ベクトル分布の再構成に用いる伝達関数
上記の説明から、本光学式触覚センサにとって表面応力と内部変位の関係を示す伝達関数（行列H）を得ることが本質的に重要であることがわかる。これは、従来提案されてきたマトリクス状触覚センサの多くとは異なる点である。従来のマトリクス状触覚センサはマトリクス状に配置された各センサエレメントが、自身に加わる力を計測するだけである。
次に、伝達関数を求めるための手法を説明する。弾性体理論が基本的に示すのは、弾性体内部の微小領域（例えば微小立方体ΔxΔyΔz）の表面(x=0,Δx，y=0,Δy，z=0,Δz)に加わる力とその微小領域のひずみ(dΔx/dx,dΔy/dx,dΔz/dx,dΔx/dy,dΔy/dy,dΔz/dy,dΔx/dz,dΔy/dz,dΔy/dz)の間で満たすべき関係式である。弾性体全体はこの微小領域が無数に集まって（空間的に積分されて）構成されるものである。
ある特徴的な形の弾性体（例えば半無限弾性体）においては、表面に加わる力と内部変位の関数として、前述の微小領域で満たすべき関係式を弾性体内部のあらゆる場所で満たすことに出来る関数が数式の形で発見されている。このような形の場合には、この関数にメッシュ状に区切った弾性体表面（触覚面）の座標と内部マーカーの座標を代入すれば行列Hが求まる。
ここで数式の形で発見されているとは、表面応力をf(x1)、内部変位をm(x2,y2)とした場合に、m(x2,y2) = G(f(x1),x2,y2)という形で内部変位を表面応力から求める関数Gが発見されているということである。このとき例えば図４、図５で点1に力が加わったときのマーカー2における変位はm(2,y2)
= G(f(1), 2,y2)によってもとまる。ただしy2はマーカーの深さ（既知）である。
しかしこのような特徴的な形は極めて稀であり、一例を挙げれば応用上重要と思われる球形状に関してすら表面応力と内部変位の関数は発見されていない。従来本光学式触覚センサでは弾性体形状を半無限大弾性体と仮定することによって上述のような数式を用いてH行列を取得していた。しかし例えば半球のような自由曲面に対して同様に半無限大弾性体の式を当てはめて取得したH行列を用いると、表面応力が正しく得られないことが分かった。何らかの別手段で表面応力と内部変位を関連付ける必要がある。
そのために提案する第一の手法は、数値シミュレーションによって表面応力と内部変位を関連付ける手法である。現在既に市販されている弾性体シミュレーションソフトウエアは弾性体をメッシュ状に区切り、各メッシュ（前述の微小領域）が満たすべき表面応力とひずみの関係、隣り合ったメッシュ同士が満たすべき関係（隣り合ったメッシュの境界面では同じ大きさの力が働く等）を満たす弾性体変形を数値計算によって求めることが出来る。よって提案するセンサで適用するに際しては、まず表面をメッシュに区切り、各メッシュに単位応力（ｘ方向、ｙ方向、ｚ方向）が加わった際のマーカーの移動量をシミュレーションで計算する。
第二の手法は実際に力を加えることである。自由曲面を有する弾性体の触覚面に、既知の力F1,F2,F3,F4…Fnを加える。加えられたそれぞれの力に対するマーカーの移動ベクトルM1,M2,M3,M4,..Mnを計測し、これを保存する。F1は、F1ｘ、F１ｙ、F1ｚの３つのベクトルであり、これらの力を加えたときに夫々対応するマーカーの移動ベクトルはM1x,M1y,M1zとなる。既知の力と得られた情報（移動ベクトル）を用いて行列Hを作成する。以下具体的に説明する。
弾性体表面（触覚面）上に多数のサンプル点を離散的に配置する。好ましくは、サンプル点は触覚面の全域をカバーするように配置される。一つの態様では、触覚面上の離散的な多数のサンプル点の配設は、極座標を用いて配設される（平面視同心状に配設される）。他の態様では、サンプル点は平面視格子状に配設される。
各サンプル点において、ｘ方向、ｙ方向、ｚ方向にそれぞれ作用する既知の大きさの力と、かかる力が作用したそれぞれの場合のマーカーの移動ベクトルとを関連付ける情報を取得する。一つの好ましい方法では、各サンプル点にｘ方向、ｙ方向、ｚ方向の所定の力をそれぞれ加え、その時のマーカーの移動ベクトルをそれぞれ計測して、保存する。サンプル点に加える力ベクトルのｘ方向、ｙ方向、ｚ方向の取り方は、力ベクトルを用いて、触覚面に加えられる任意の力を表示できるものであれば、その方向は限定されない。
一つの態様では、サンプル点を通って触覚面に接する接面を取り、該接面内で互いに直交する方向をｘ方向、ｙ方向とし、該接面に対して鉛直方向にｚ方向を取る。あるいは、触覚面の形状と無関係に、ｘｙ平面を設定し、該ｘｙ平面に鉛直状にｚ方向を取っても良い。
各サンプル点に加える力は既知の力であり、一つの好ましい態様では、一定の大きさの力、例えば100[gf]をそれぞれｘ方向、ｙ方向、ｚ方向からサンプル点に加えて、それぞれの場合のマーカーの移動ベクトルを計測する。また、各サンプル点に加える力は既知の力であれば、必ずしも同じ大きさの力でなくてもよく、異なる既知の力に基づいてマーカーの移動ベクトルを計測した場合には、後で、マーカーの移動ベクトルの大きさを正規化すればよい。
また、結果的にｘ方向、ｙ方向、ｚ方向の力とマーカーの移動ベクトルとを関連付ける情報が取得できれば、各サンプル点に加える力は、ｘ方向、ｙ方向、ｚ方向の力には限定されない。弾性体は線形であると考えることで、次のような方法も考えられる。まず一点に対してｚ方向に加えた時のマーカー移動量を保存し、次にｘｚ方向に力を加え、
力のｚ方向成分に対する移動情報を差し引くことでｘ方向成分とする。ｙ方向も同様である。
このようにして、弾性体理論に基づく数式、シミュレーションあるいは実測によって、力情報Fとマーカーの振る舞いに関する情報（例えば、移動情報）Mとを結び付ける伝達関数である行列Ｈを作成する。光学式触覚センサは記憶手段、演算処理手段を有しており、予め作成された行列Hは記憶手段に格納されている。透明弾性体の触覚面に物体が当接して、触覚面に任意の力が作用した場合に、撮像手段によってマーカー画像を取得する。取得したマーカー画像から演算処理手段によって、マーカー移動ベクトルを計測する。計測されたマーカー移動ベクトルを行列Ｈに入力して演算処理手段で計算することで、弾性体の触覚面に作用した力ベクトル分布が出力される。
［D］計算時間短縮法
ここで、行列Ｈの要素数が大きくなると移動情報から力分布を計算する時間が長くなってしまう。これはある点に加えられた力を求める際に、全てのマーカーの移動情報を用いることに起因する。実際に前述のアルゴリズムを適用する場合、H行列が巨大になり、（式１）の行列演算に時間がかかる。一例を挙げればメッシュが100x100であった場合、観測点が10,000点あるためにH行列は10,000 x 10,000という巨大な行列となる。一般にセンサ面をNxNに区切った場合、観測点がNの２乗個あるためにH行列のサイズはNの二乗×Nの二乗となる。すると（式１）の行列演算にはNの４乗の時間がかかることになる。したがって、計算時間を短縮するための手法が必要となる。
提案する手法はH行列の一部を切り出して用いるというものである。上述のように、H行列には全ての格子点に加わる力と全てのマーカーの移動との対応関係が記述されている。しかし現実問題として、例えば力の加わる点とマーカーとの距離が充分離れていれば影響を無視することが出来る。すると例えば図４，図５では、f(1)を計算するには1〜２番目のマーカーのみ、f(2)を計算するには1〜3番目のマーカーのみの移動量を使えばよいと仮定することによって行列のサイズを小さくすることが出来る。この例における新しい行列は以次のようになる。
元の（式１）ｆ=inv(H)*xは数３のとおりであった。
Figure 2005114715
この式が、距離の離れたところの寄与を無視することにより数４のようになる。
Figure 2005114715
 0と置いたところが無視すべき距離の離れた点である。この部分は計算する必要が無いため、より高速に計算することが出来る。この高速化は前述のように格子サイズNが大きくなるほど加速度的に効果が現れる。
これは、力ベクトルを求めたい場所を含むある面積を切り出して使うのと等価である（図７）。図のものでは、触覚面全体の２次元画像において、力ベクトル分布を求めたい場所の近傍領域を設定している。ここで、力ベクトルを求めたい場所の近傍領域を設定する場合に、必ずしも、近傍領域は２次元画像における距離のみに基づいて判断されるものではない。すなわち、力の加わる点とマーカーとの距離は空間距離であって、マーカー群が弾性体内に積層されているような場合には、マーカーが設けられた深さを考慮した方が望ましい場合もある。具体的には、平面状の触覚面を有するセンサにおいて、触覚面をｘｙ平面とすると、力ベクトルを求めたい場所の近傍領域は、必ずしも、ｘｙ平面上の距離のみによって判断されるのではなく、ｚ方向を含めた３次元距離で判断してもよい。ｚ方向の距離が無視できるような場合であれば、ｘｙ平面上の２次元距離に基づいて近傍領域を設定してもよい。
触覚面が自由曲面の場合、一概に距離の離れた場所の寄与が小さいとも言い切れない。そこで、計算時間を短縮する他の方法を提案する。まず、実測あるいはシミュレーションによって伝達関数（逆行列）を求める。このような伝達関数の作成法は、既に述べた。例えば、実測に基づく伝達関数の行列の要素を見た時に、行列のある要素が０に近ければ、かかる要素と積算されるマーカーは、ある力ベクトルを求めるのに無視してもよいマーカーであると考えられる。伝達関数で行列のある要素が0に近い部分を自動的に計算から省いて、力ベクトルを計算することができる。例えば、力ベクトルの再構成において無視できる程度の指標を示す閾値を行列要素に対して設定し、該閾値よりも小さい値を有する行列要素の値を０とする。
さらに、計算短縮化方法の改良について説明する。発明者等がさらに鋭意研究を重ねたところ、上述の計算短縮化方法を用いる場合に、力ベクトルの計測の精度が落ちる場合があることがわかった。上述の計算短縮化方法は、求めたい力の点から離れているマーカーの動きの影響はほとんどないと考え、図８における右上角部の方形状の切り出した領域内のマーカー情報のみを用い、切り出した領域以外の部分のマーカーの動きに関する情報を使用しないというものであった。
しかしながら、実際には切り出した領域外からの力によっても領域内のマーカーは移動をおこすことになる。この切り出した領域外からの力によるマーカーの移動も領域内で発生している力として計算しようとしてしまうため、精度が落ちてしまう問題が発生したと考えられる。このような不具合を解決するために、次のような手法を改良した。
画像のある領域を切り出すという点に関しては、前述の計算時間短縮法と同じである。前述の方法では切り出し領域がありその内部の情報についてのみ扱っていたのに対して、改良手法は切り出し領域外にも計算する力のサンプリング点を用意する。マーカーの移動に関してはあくまで切り出し領域内の情報のみを扱う。これは前述の領域外からの力の影響を考慮してやるためのサンプリング点となる。すなわち、切り出し領域内におけるマーカーの移動は、切り出し領域外に加わる力の影響をある程度受けていると考えられるため、切り出し領域内におけるマーカーの移動情報に基づく力ベクトルの再構成時において、切り出し領域内に作用したであろう力のみならず、切り出し領域外に作用したであろう力をも算出することで、切り出し領域外に作用した力を考慮しつつ、切り出し領域内に作用した力を再構築するものである。
さらに、領域外の力のサンプリング点は切り出し領域から離れるに従い、まばらになっていくように設定する。これは領域から離れれば離れるほど影響は軽微になるため少数のサンプリング点で代表させてもよいと考えたためである。図１０に基づいて説明すると、５×５点のサンプリング点に対応する小領域を触覚部の画像において設定する。小領域内にサンプリング点を密に配設する。小領域外にも力のサンプリング点を配置する。小領域外の力のサンプリング点は、小領域から離隔するに従って疎に配置される。図示のものでは、小領域に隣接する部位においては、小領域内と同じ密度でサンプリング点を密に配置し、該小領域から離れるに従い、サンプリング点を疎に配置するようになっている。
そして、小領域内におけるマーカーの移動情報を用いて、小領域内外に配置したサンプリング点における力ベクトルを計算する。計算された力ベクトルのうち、小領域内にある力ベクトルの少なくとも一部の結果のみを最終的な計算結果として採用し、保存する。図１０のものでは、５×５の小領域における３×３の力のサンプリング点における力ベクトルを最終的な計算結果として保存する。小領域外におけるサンプリング点及び小領域内における採用されなかったサンプリング点の力ベクトルは捨てる。そして、切り出した小領域を順次ずらして、力ベクトルを取得することで、センサの計測領域全体における力ベクトル分布を取得する。
図１０では、小領域の一部のサンプリング点における力ベクトルを採用しているが、小領域内の全てのサンプリング点における力ベクトルを採用してもよい。また、図１０では、小領域の一部の複数のサンプリング点における力ベクトルを採用しているが、小領域内の一つのサンプリング点における力ベクトルのみを採用してもよい。図１０では、５×５点の小領域を示したが、切り出す小領域の大きさは限定されない。この改良手法によると、前述の計算時間短縮法に比べて、計算量は増加してしまう結果になるが、高速化手法適用前に比べると十分な計算時間短縮がある。
改良された手法について、図１１乃至図１４に基づいて説明する。図１１では、改良手法の説明の便宜上、図４、図５に示すものに比べてマーカー点数を増やしてある。マーカー点数を増やしたことにより、対応する数式中の要素数が増加してしまうため、図１２において、ある一点の力に対するマーカーｎのｘ、ｚ方向移動についてのみ表記する。数式3における行列inv(H)の要素Imx(1,1), Imx(2,1), Imx(3,1), Imx(4,1),
Imz(1,2), Imz(2,2), Imz(3,2), Imz(4,2)に対応する部分のみを取り出し、マーカー点数を増加させることと等価である。これを数式表示すると以下のようになる。左辺Fが力、右辺mが移動ベクトルを表し、右辺左項がinv(H)からある一点の力F、マーカーmに対応した要素を取り出したものとなる。
Figure 2005114715
改良前の高速化手法は求めようとしている力の加わっている点の近傍に存在するマーカーの移動情報のみを用いることであり、図１３に示すように、ｍ１０〜ｍ１４のマーカーの移動情報のみを用いるものである。これを、数式で表現すると以下のようになる。
Figure 2005114715
 上記数式中のm1からm9、ｍ15からm23のマーカー移動情報は求めようとしている力Fへの寄与が無いこととなり、次のように要素数を減らすことが可能となる。
Figure 2005114715
これに対し、改良後の高速化手法を図で表現すると、図１４のようになる。すなわち、力のサンプリング点として、Ｆ８のみならず、Ｆ２，Ｆ５，Ｆ９，Ｆ１１，Ｆ１４を配置する。さらに数式表現すると、力Fに関する要素が増加し、以下のように表現可能である。
Figure 2005114715
 そして、計算された力ベクトルにおいて、Ｆｘ８、Ｆｚ８における力ベクトルのみを採用する。
本発明は触覚センサに広く適用することができ、特に、リアルタイムのセンシングが必要とされるセンサに好適に利用され得る。
触覚センサと接触対象の間に生じる力ベクトル分布を示す図である。 光学式触覚センサの原理図である。 本発明に係る光学式触覚センサの模式図である。 接触表面（平面）にかかる力ベクトルとマーカーの移動を説明する図である。 接触表面（自由曲面）にかかる力ベクトルとマーカーの移動を説明する図である。 力ベクトル分布の再構成に用いる伝達関数の作成法の説明図である。 力ベクトル再構築の計算時間の短縮法の説明図である。 行列計算の短縮を説明する図であり、実質的に図７に示すものと同じである。 切り出し領域外からの力の影響を示す図であり、上図はマーかが埋設された透明弾性体の側面図、下図は同平面図である。ここで、切り出し領域に対して力のサンプリング点の間隔は小さいため、隣り合った力のサンプリング点に対するそれぞれの切り出し領域はオーバーラップする（メッシュ１，２，３参照）。 計算短縮法における改良手法の概念図である。 マーカー点数を増加させたものを示す図である。 マーカー点数を増加させたものを示す図であり、ある一点の力に対するマーカーの移動に注目した図である。 図１２に基づいて、図７に示す高速化手法を説明する図である。 図１２に基づいて、改良手法を説明する図である。
符号の説明
１ 透明弾性体
２ 触覚面
３ マーカー
４ マーカー
５ 物体
６ 撮像手段
７ 光源
８ コンピュータ

Claims (14)

  1. 光学式触覚センサを用いた力ベクトル再構成法であって、該センサは、透明弾性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マーカー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、
    力ベクトル再構成法は、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、
    該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得するステップと、
    取得したマーカーの振る舞いに関する情報を伝達関数に入力することで、力ベクトルを出力として得るステップとを有し、
    力ベクトルを得るステップは、力ベクトルの算出に寄与度の低いマーカーの振る舞いに関する情報を省いて力ベクトルを算出することを特徴とする力ベクトル再構成法。
  2. 請求項１において、力ベクトルを得るステップは、力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報のみを用いて力ベクトルを算出するものであることを特徴とする力ベクトル再構成法。
  3. 請求項２において、該力ベクトルを求めたい位置は、一つあるいは複数のサンプリング点から構成されていることを特徴とする力ベクトル再構築法。
  4. 請求請３において、
    該力ベクトルを求めたい位置の周囲に複数の力のサンプリング点を配置するステップと、
    力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報を用いて該力ベクトルを求めたい位置及び該力ベクトルを求めたい位置の周囲の複数の力のサンプリング点に作用した力ベクトルをそれぞれ算出するステップと、
    算出された力ベクトルにおいて、該力ベクトルを求めたい位置に作用した力ベクトルのみを採用するステップと、
    を有することを特徴とする力ベクトル再構成法。
  5. 請求項４において、該力ベクトルを求めたい位置の周囲のサンプリング点は、該力ベクトルを求めたい位置にあるサンプリング点から離隔するに従って疎に配置することを特徴とする力ベクトル再構成法。
  6. 請求項１において、力ベクトルを得るステップは、該伝達関数を構成する行列の要素の中で０に近い要素を省いて力ベクトルを算出するものであることを特徴とする力ベクトル再構成法。
  7. 請求項１乃至６いずれかにおいて、該伝達関数は実測に基づいて作成されたものであることを特徴とする力ベクトル再構成法。
  8. 光学式触覚センサを用いた力ベクトル再構成法であって、該センサは、透明弾性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マーカー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、
    力ベクトル再構成法は、
    該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、
    該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得するステップと、
    該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置するステップと、
    該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出するステップと、
    該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用するステップと、
    を有することを特徴とする力ベクトル再構築法。
  9. 請求項８において、サンプリング点は該小領域内で密に配置し、該小領域から離隔するに従って疎に配置したことを特徴とする力ベクトル再構築法。
  10. 光学式触覚センサを用いた力ベクトル再構成装置であって、該センサは、透明弾性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マーカー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、
    力ベクトル再構成装置は、
    該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得する手段と、
    該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得する手段と、
    該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置する手段と、
    該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出する手段と、
    該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用する手段と、
    を有することを特徴とする力ベクトル再構築装置。
  11. 請求項１０において、サンプリング点は該小領域内で密に配置し、該小領域から離隔するに従って疎に配置したことを特徴とする力ベクトル再構築装置。
  12. 請求項１０，１１いずれかにおいて、該装置は、該伝達関数を格納する記憶手段を有することを特徴とする力ベクトル再構築装置。
  13. 光学式触覚センサを用いた力ベクトル再構成装置において、該センサは、透明弾性体と該弾性体内に設けた複数のマーカー群とから構成された触覚部を有し、各マーカー群はそれぞれ複数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、
    力ベクトル再構成装置を構成するコンピュータを、
    該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得する手段、
    該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得する手段、
    該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置する手段、
    該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出する手段、
    該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用する手段、
    として機能させるためのプログラム。
  14. 請求項１３において、サンプリング点を、該小領域内で密に配置し、該小領域から離隔するに従って疎に配置するようにコンピュータを機能させるためのプログラム。
JP2004177794A 2003-09-16 2004-06-16 光学式触覚センサを用いた力ベクトル再構成法 Expired - Fee Related JP4206057B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2004177794A JP4206057B2 (ja) 2003-09-16 2004-06-16 光学式触覚センサを用いた力ベクトル再構成法
CA002538007A CA2538007A1 (en) 2003-09-16 2004-09-10 Force vector reconstruction method using optical tactile sensor
PCT/JP2004/013203 WO2005029027A1 (ja) 2003-09-16 2004-09-10 光学式触覚センサを用いた力ベクトル再構成法
US10/571,371 US7460964B2 (en) 2003-09-16 2004-09-10 Force vector reconstruction method using optical tactile sensor
EP04787844A EP1666861A4 (en) 2003-09-16 2004-09-10 FORCE VECTOR RECONSTRUCTION METHOD USING AN OPTICAL TOUCH SENSOR
CN2004800267746A CN1853094B (zh) 2003-09-16 2004-09-10 使用光学式触觉传感器的力矢量重构法
RU2006108383/28A RU2354943C2 (ru) 2003-09-16 2004-09-10 Способ восстановления вектора силы с использованием оптического тактильного датчика
KR1020067005119A KR20060076292A (ko) 2003-09-16 2004-09-10 광학식 촉각센서를 이용한 힘벡터 재구성 방법
HK06112979.4A HK1092522A1 (en) 2003-09-16 2006-11-27 Force vector reconstruction method using optical tactile sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003322627 2003-09-16
JP2004177794A JP4206057B2 (ja) 2003-09-16 2004-06-16 光学式触覚センサを用いた力ベクトル再構成法

Publications (2)

Publication Number Publication Date
JP2005114715A true JP2005114715A (ja) 2005-04-28
JP4206057B2 JP4206057B2 (ja) 2009-01-07

Family

ID=34380299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004177794A Expired - Fee Related JP4206057B2 (ja) 2003-09-16 2004-06-16 光学式触覚センサを用いた力ベクトル再構成法

Country Status (9)

Country Link
US (1) US7460964B2 (ja)
EP (1) EP1666861A4 (ja)
JP (1) JP4206057B2 (ja)
KR (1) KR20060076292A (ja)
CN (1) CN1853094B (ja)
CA (1) CA2538007A1 (ja)
HK (1) HK1092522A1 (ja)
RU (1) RU2354943C2 (ja)
WO (1) WO2005029027A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005085785A1 (ja) * 2004-03-09 2005-09-15 Nagoya Industrial Science Research Institute 光学式触覚センサ、センシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置、ロボットハンド
WO2006137345A1 (ja) * 2005-06-21 2006-12-28 Aisin Seiki Kabushiki Kaisha 荷重検出装置及び荷重検出方法
JP2007240267A (ja) * 2006-03-07 2007-09-20 Minebea Co Ltd 外力検出装置
US8175821B2 (en) 2006-09-12 2012-05-08 The University Of Tokyo Method for measuring physical quantity distribution and measurement system using sensor for physical quantity distribution
JP2013512436A (ja) * 2009-12-03 2013-04-11 ザ プロクター アンド ギャンブル カンパニー 繊維先端により生じる力特性を評価するための方法
JP2018088254A (ja) * 2016-03-29 2018-06-07 株式会社齋藤創造研究所 入力装置および画像表示システム
WO2018235214A1 (ja) * 2017-06-21 2018-12-27 株式会社齋藤創造研究所 マニピュレーターおよびロボット
JP2020127653A (ja) * 2019-02-09 2020-08-27 株式会社齋藤創造研究所 センサー

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7060932B2 (en) 2003-03-18 2006-06-13 Loma Linda University Medical Center Method and apparatus for material processing
US8182433B2 (en) * 2005-03-04 2012-05-22 Endosense Sa Medical apparatus system having optical fiber load sensing capability
US8075498B2 (en) 2005-03-04 2011-12-13 Endosense Sa Medical apparatus system having optical fiber load sensing capability
EP2363073B1 (en) * 2005-08-01 2015-10-07 St. Jude Medical Luxembourg Holding S.à.r.l. Medical apparatus system having optical fiber load sensing capability
JP4708979B2 (ja) * 2005-11-28 2011-06-22 ニッタ株式会社 光学式触覚センサ
US8048063B2 (en) 2006-06-09 2011-11-01 Endosense Sa Catheter having tri-axial force sensor
US8567265B2 (en) 2006-06-09 2013-10-29 Endosense, SA Triaxial fiber optic force sensing catheter
US8157789B2 (en) 2007-05-24 2012-04-17 Endosense Sa Touch sensing catheter
US8622935B1 (en) 2007-05-25 2014-01-07 Endosense Sa Elongated surgical manipulator with body position and distal force sensing
KR100950234B1 (ko) * 2007-07-06 2010-03-29 한국표준과학연구원 압력 센서를 이용한 마우스 알고리즘 구현 방법
EP2034287A1 (en) * 2007-09-10 2009-03-11 Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO Optical sensor for measuring a force distribution
US8298227B2 (en) 2008-05-14 2012-10-30 Endosense Sa Temperature compensated strain sensing catheter
JP5813651B2 (ja) * 2009-11-26 2015-11-17 ベルス・メステヒニーク・ゲーエムベーハー 測定オブジェクトの形状を触覚光学式に決定するための方法および装置
JP5549203B2 (ja) * 2009-12-01 2014-07-16 セイコーエプソン株式会社 光学式位置検出装置、ハンド装置およびタッチパネル
JP5549204B2 (ja) * 2009-12-01 2014-07-16 セイコーエプソン株式会社 光学式位置検出装置、ハンド装置およびタッチパネル
CN103607961B (zh) 2011-04-14 2016-12-14 圣犹达医疗用品卢森堡控股有限公司 用于导管的紧凑型力传感器
US8823639B2 (en) * 2011-05-27 2014-09-02 Disney Enterprises, Inc. Elastomeric input device
KR101371736B1 (ko) * 2012-08-22 2014-03-07 현대자동차(주) 터치스크린의 터치 인식방법
KR102203516B1 (ko) 2013-03-12 2021-01-18 스트리커 코포레이션 힘 및 토크를 측정하기 위한 센서 조립체 및 방법
CN105987781B (zh) * 2015-02-10 2021-01-05 北京纳米能源与系统研究所 动态应力传感器、制备方法及动态应力测量系统
CN108430368B (zh) 2016-01-07 2022-05-31 圣犹达医疗用品国际控股有限公司 用于光学感测的具有多芯光纤的医疗设备
CN105865664A (zh) * 2016-06-02 2016-08-17 江西洪都航空工业集团有限责任公司 一种非接触式装配应力检测系统及使用方法
CN106052914A (zh) * 2016-07-21 2016-10-26 清华大学 一种基于视觉的触觉测量传感器
EP3693139A1 (en) 2019-02-11 2020-08-12 Université d'Aix-Marseille Optical tactile sensor
CN112097675A (zh) 2019-06-17 2020-12-18 香港科技大学 触觉传感器
CN110682294A (zh) * 2019-10-28 2020-01-14 陈彦水 一种触觉感知方法及装置
TWI767264B (zh) * 2020-06-24 2022-06-11 財團法人工業技術研究院 受壓狀態量測方法及受壓狀態量測系統
US20230251149A1 (en) * 2022-02-04 2023-08-10 Massachusetts Institute Of Technology Flexible optical tactile sensor

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5033102A (en) * 1988-01-29 1991-07-16 Minolta Camera Kabushiki Kaisha Image reading apparatus capable of reading desired image areas
US5058190A (en) * 1990-09-14 1991-10-15 The United States Of America As Represented By The Secretary Of The Navy Selective readout of a detector array
JPH11108630A (ja) * 1997-09-30 1999-04-23 Shiseido Co Ltd 三次元形状測定方法及びそれを用いた皮膚表面の歪と応力の解析方法
JPH11118625A (ja) * 1997-10-13 1999-04-30 Toyota Central Res & Dev Lab Inc 荷重測定装置
CN1264003C (zh) 2000-08-31 2006-07-12 株式会社东京大学Tlo 光学式触觉传感器

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005257343A (ja) * 2004-03-09 2005-09-22 Nagoya Industrial Science Research Inst 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
WO2005085785A1 (ja) * 2004-03-09 2005-09-15 Nagoya Industrial Science Research Institute 光学式触覚センサ、センシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置、ロボットハンド
US7707001B2 (en) 2004-03-09 2010-04-27 Nagoya Industrial Science Research Institute Control of object operating force, object gripping force and robot hands
JP4621827B2 (ja) * 2004-03-09 2011-01-26 財団法人名古屋産業科学研究所 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
US7900523B2 (en) 2005-06-21 2011-03-08 Aisin Seiki Kabushiki Kaisha Load detecting apparatus and load detecting method
WO2006137345A1 (ja) * 2005-06-21 2006-12-28 Aisin Seiki Kabushiki Kaisha 荷重検出装置及び荷重検出方法
JP2007003227A (ja) * 2005-06-21 2007-01-11 Aisin Seiki Co Ltd 荷重検出装置及び荷重検出方法
JP4632086B2 (ja) * 2005-06-21 2011-02-16 アイシン精機株式会社 荷重検出装置及び荷重検出方法
JP2007240267A (ja) * 2006-03-07 2007-09-20 Minebea Co Ltd 外力検出装置
US8175821B2 (en) 2006-09-12 2012-05-08 The University Of Tokyo Method for measuring physical quantity distribution and measurement system using sensor for physical quantity distribution
JP2013512436A (ja) * 2009-12-03 2013-04-11 ザ プロクター アンド ギャンブル カンパニー 繊維先端により生じる力特性を評価するための方法
JP2018088254A (ja) * 2016-03-29 2018-06-07 株式会社齋藤創造研究所 入力装置および画像表示システム
WO2018235214A1 (ja) * 2017-06-21 2018-12-27 株式会社齋藤創造研究所 マニピュレーターおよびロボット
JPWO2018235214A1 (ja) * 2017-06-21 2019-07-04 株式会社齋藤創造研究所 マニピュレーターおよびロボット
CN110799313A (zh) * 2017-06-21 2020-02-14 斋藤创造研究所株式会社 机械手和机器人
JP2020127653A (ja) * 2019-02-09 2020-08-27 株式会社齋藤創造研究所 センサー
JP7284947B2 (ja) 2019-02-09 2023-06-01 株式会社齋藤創造研究所 センサー

Also Published As

Publication number Publication date
CN1853094B (zh) 2010-05-05
HK1092522A1 (en) 2007-02-09
CA2538007A1 (en) 2005-03-31
RU2006108383A (ru) 2007-09-27
EP1666861A4 (en) 2007-09-19
EP1666861A1 (en) 2006-06-07
RU2354943C2 (ru) 2009-05-10
CN1853094A (zh) 2006-10-25
US7460964B2 (en) 2008-12-02
KR20060076292A (ko) 2006-07-04
JP4206057B2 (ja) 2009-01-07
US20070043508A1 (en) 2007-02-22
WO2005029027A1 (ja) 2005-03-31

Similar Documents

Publication Publication Date Title
JP4206057B2 (ja) 光学式触覚センサを用いた力ベクトル再構成法
JP2006003137A (ja) 光学式触覚センサ及び該センサにおける情報取得方法
RU2358247C2 (ru) Оптический тактильный датчик и способ восстановления распределения вектора силы с использованием указанного датчика
EP2741071B1 (en) Multiple-scale digital image correlation pattern and measurement
JP4708979B2 (ja) 光学式触覚センサ
WO2019108861A1 (en) Elastomeric lightguide coupling for continuous position localization in 1,2, and 3d
Du et al. High-resolution 3-dimensional contact deformation tracking for fingervision sensor with dense random color pattern
Pezzementi et al. Characterization and simulation of tactile sensors
Du et al. 3d contact point cloud reconstruction from vision-based tactile flow
Kamiyama et al. A vision-based tactile sensor
Flores De Jesus et al. Resolution enhancement method used for force sensing resistor array
JP2010190770A (ja) 複合型光学式触覚センサ
Shao et al. Crosstalk‐Free, Stretching‐Insensitive Sensor Based on Arch‐Bridge Architecture for Tactile Mapping with Parallel Addressing Strategy toward Million‐Scale‐Pixels Processing
KR20140132725A (ko) 광학 컴포넌트의 기하 구조 측정 방법 및 장치
Zhang et al. GelStereo 2.0: An Improved GelStereo Sensor With Multimedium Refractive Stereo Calibration
JP7176900B2 (ja) 変形撮影装置、変形撮影支援装置および変形撮影方法
CN113177340A (zh) 基于立体视觉的三向接触应力表征方法及装置
Liu et al. Flexible tactile sensing array for robust object recognition
Ziolkowski Remote sensing in laboratory diagnostics of reinforced concrete elements—current development and vision for the future
Iliopoulos et al. On the feasibility of crack propagation tracking and full field strain imaging via a strain compatibility functional and the Direct Strain Imaging method
Xue et al. Acquisition and Prediction of High-Density Tactile Field Data for Rigid and Flexible Objects
Kumar et al. Flexible membrane tactile sensor for contact traction distribution measurement on a microscale
Hua 3D Lensless Imaging: Theory, Hardware, and Algorithms
CN118114524A (zh) 基于逆有限元分析的视触觉传感器三维接触力场测量方法
Hassan Photogrammetric method of distant reconstruction of displacement fields in deformable solids

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080610

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080709

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081017

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111024

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees