JP2022550234A - 触覚センサ及び触覚センサの動作方法 - Google Patents

触覚センサ及び触覚センサの動作方法 Download PDF

Info

Publication number
JP2022550234A
JP2022550234A JP2021576860A JP2021576860A JP2022550234A JP 2022550234 A JP2022550234 A JP 2022550234A JP 2021576860 A JP2021576860 A JP 2021576860A JP 2021576860 A JP2021576860 A JP 2021576860A JP 2022550234 A JP2022550234 A JP 2022550234A
Authority
JP
Japan
Prior art keywords
sensor
stress
tactile sensor
load
chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021576860A
Other languages
English (en)
Inventor
コルミッツ ヤン
クール マティアス
マノリ イアノス
Original Assignee
アルベルト-ルドビクス-ウニベルジテート フライブルク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルベルト-ルドビクス-ウニベルジテート フライブルク filed Critical アルベルト-ルドビクス-ウニベルジテート フライブルク
Publication of JP2022550234A publication Critical patent/JP2022550234A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/20Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/18Measuring force or stress, in general using properties of piezo-resistive materials, i.e. materials of which the ohmic resistance varies according to changes in magnitude or direction of force applied to the material
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036Measuring load distribution, e.g. podologic studies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/20Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress
    • G01L1/205Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress using distributed sensing elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0061Force sensors associated with industrial machines or actuators
    • G01L5/0076Force sensors associated with manufacturing machines
    • G01L5/008Force sensors integrated in an article or a dummy workpiece
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0061Force sensors associated with industrial machines or actuators
    • G01L5/0076Force sensors associated with manufacturing machines
    • G01L5/009Force sensors associated with material gripping devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/16Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force
    • G01L5/161Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force using variations in ohmic resistance
    • G01L5/162Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force using variations in ohmic resistance of piezoresistors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0261Strain gauges

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)

Abstract

複数の応力センサ(100)と少なくとも1つの接触体(200)とを備え、応力センサ(100)は、接触体の検出面(200a)に加わる負荷パターンを検出するように設定される、触覚センサ(1)。【選択図】図9

Description

触覚センサが知られている。更に、触覚センサを操作する方法が知られている。
解決すべき課題の一つは、特に、速度及び汎用性が改善された触覚センサを規定することである。解決すべき更なる課題は、特に、速度及び汎用性が改善された触覚センサの動作方法を規定することである。
触覚センサは変換器であり、触覚センサの検出面上の負荷パターンを検出可能である。負荷パターンは、物体が検出面に沿って滑る、物体が検出面に静的に押しつけられたり物体が検出面で跳ね返ったりする、あるいは、これらの過程が混在することで発生する場合がある。
触覚センサは、複数の応力センサから構成される。複数の応力センサは、共通の基板上に配置されてもよい。特に、複数の応力センサは、一般的な製造方法、特にC-MOSプロセスで製造されてもよい。特に、複数の応力センサは一般的なチップに集積される。例えば、複数の応力センサは、一般的な製造プロセスで製造されてもよい。複数の応力センサは、それぞれp-MOSトランジスタ及び/又はn-MOSトランジスタにより構成されてもよい。例えば、各応力センサは、ホイートストンブリッジとして接続される4つのトランジスタで構成される。
触覚センサは、少なくとも1つの接触体からなる。接触体は、複数の応力センサが埋め込まれたフルボディであってもよい。特に、機械的ストレスに敏感な複数の応力センサの表面は、接触体によって完全に覆われる。例えば接触体は、複数の応力センサと、負荷パターンを生じさせる物体との間に機械的な接続を提供する。
複数の応力センサは、接触体の検出面に加わる静的触覚力と動的触覚力を検出するように設定されている。特に、接触体は、その検出面から複数の応力センサに機械的応力を伝達する。複数の応力センサは、共通の接触体に機械的に接続されていてもよい。特に、接触体の検出面は、接触体のすべての応力センサと機械的に接続される。動的触覚力と静的触覚力の両方が、検出面に対して垂直又は斜めに作用することがある。
静的触覚力とは、検出面に作用する一定の力のことである。この文脈において、一定の力は、第1期間で大きさ又は方向が変化しない。第1期間は、触覚センサの最大サンプリングレートよりも少なくとも100倍、好ましくは少なくとも1000倍大きい。例えば、第1期間は少なくとも0.5秒である
動的触覚力とは、検出面に作用する力であって変化する力である。この文脈において、変化する力は、第2期間で大きさ及び/又は方向が変化する。第2期間は、触覚センサのサンプリングレートの少なくとも2倍の大きさである。例えば、第2期間は最大で5秒、好ましくは最大で0.5秒である。
例えば、動的触覚力は、1Hzから1000Hzの間の周波数で変化する。1Hzから1000Hzの間の周波数で触覚力を検出することで、検出面に沿って滑る物体の表面特性を検出できるという利点がある。
特に、動的触覚力は、40Hzから400Hzの周波数で変化する。40Hzから400Hzの間の周波数で動的触覚力を検出することで、検出面に沿って滑る物体を検出することができるという利点がある。
チップは、分類スキームを有するメモリを備える。分類スキームは、複数の応力センサの出力値のセットを、予め定義された負荷パターンに割り当てる。
分類スキームは、機械学習アルゴリズムによって生成される。機械学習アルゴリズムの出力は分類スキームであり、決定木アンサンブルアルゴリズムであってもよい。特に、分類スキームは、ランダムフォレストアルゴリズムである。
更に、分類スキームの生成方法が規定される。本方法では、特に、ここで論じられている触覚センサの分類スキームを作成できる。従って、触覚センサのために開示されたすべての特徴は、方法のためにも開示され、その逆もまた同様である。
例えば、決定木アンサンブルの学習とも呼ばれる以下のa)~c)のステップを実行することで、分類スキームを得ることができる。
a)負荷パターンのクラスを予め定義する。負荷パターンのクラスを予め定義することで、どのような負荷パターンを触覚センサにより検出できるかを予め定義できる。負荷パターンの異なるクラスは、検出面に沿って滑るもの、検出面で跳ね返るもの、検出面に押し付けられるものとして区別され得る。更に、負荷パターンの異なるクラスは、物体の材質、物体の表面特性、検出面に沿って滑る物体の速度、検出面に対する物体の圧力のパラメータによって区別され得る。
b)基準となる触覚センサを用いて、負荷パターンの予め定義されたクラス毎に、代表的な測定を複数回行う。例えば、負荷パターンの予め定義された各クラスを、少なくとも100回、好ましくは少なくとも300回測定する。この測定では、各応力センサは、負荷パターンが印加される負荷パターンに応じて出力値を提供する。応力センサの出力値は、電圧値又は電流値であってよく、電圧又は電流は、各センサがそれぞれ感知した応力の量に依存する。
c)負荷パターンの予め定義された各クラスに出力値のセットをそれぞれ割り当てることにより、決定木アンサンブルを定義する。この文脈において、出力値のセットとは、負荷パターンに応じた複数の応力センサの全ての出力値全体である。代表的な測定を複数回行った後、負荷パターンのクラス毎に出力値の複数のセットを割り当てる。
触覚センサによる複数回の代表的な測定によって得られた分類スキームは、触覚センサのメモリにロードされる。この分類スキームにより、ある負荷パターンに起因する出力値のセットを、負荷パターンの予め定義されたクラスの何れかに割り当てることができる。その結果、負荷パターンの予め定義されたクラスが、触覚センサによって検出される。
特に、静的触覚力と動的触覚力から生じる負荷パターンの種別の分類スキームは、同じ方法と同じ設定によって生成される。
更に、触覚センサの動作方法について規定される。この方法では、特に、ここで説明した触覚センサを製造することができる。従って、触覚センサについて開示されているすべての特徴は、方法についても開示されており、その逆もまた同様である。
検出面を有する接触体、複数の応力センサ、及びチップを含む触覚センサの動作方法は、以下の方法ステップを含む。
-接触体の検出面に負荷パターンを印加する。
-複数の応力センサにより、負荷パターンを出力値のセットに変換する。
-チップと分類スキームによって、負荷パターンの予め定義されたクラスに出力値を割り当てる。
例えば、検出面は、接触体の1つ又は複数の面である。特に、検出面は自由にアクセス可能である。従って、物体は接触体に直接接触することができる。
負荷パターンは、検出面に直接接触する物体によって生じてもよい。負荷パターンは、動的触覚力であってもよいし、静的触覚力であってもよく、接触体を介して複数の応力センサに伝達される。複数の応力センサは、それぞれ負荷パターンに応じて出力値を返す。
負荷パターンに応じて返される出力値全体が、出力値のセットとなる。出力値のセットは、決定木アンサンブルによって、予め定義された負荷パターンのクラスのうちの1つに割り当てられてもよい。触覚センサは、出力値が割り当てられた予め定義された負荷パターンのクラスを、検出されたものとして返してもよい。
負荷パターンは、静的触覚力及び/又は動的触覚力によって検出面上に生じる。検出面上の静的触覚力と動的触覚力は、同じ分類スキームによって分類される。特に、負荷パターンは、動的及び静的触覚力の混合から構成される。動的及び静的触覚力の両方が、同じ複数の応力センサと同じ分類スキームにより分類される。特に、負荷パターンは、出力値のスペクトル分析を行うことなく、検出され分類される。
触覚センサ及び触覚センサの動作方法の更なる利点及び有利な実施形態及び更なる開発は、図と共に例示される以下の例示的な実施形態から明らかになる。
触覚センサとチップの例示的な実施形態を示す。 触覚センサの製造方法の例示的な実施形態を示す。 触覚センサに使用されるチップの例示的な実施形態及び概略的な実施形態を示す。 触覚センサに使用されるチップの例示的な実施形態及び概略的な実施形態を示す。 触覚センサに使用される応力センサの例示的な実施形態である。 触覚センサに使用される応力センサの例示的な実施形態である。 負荷パターンが印加された触覚センサの例示的な実施形態である。 負荷パターンが印加された触覚センサの例示的な実施形態である。 応力センサの出力値の散布図である。 応力センサの出力値の散布図である。 負荷パターンが印加された触覚センサの例示的な実施形態である。 静的触覚力と動的触覚力による負荷パターンに対応した例示的な応力センサの出力値の散布図である。 応力センサの出力値と、その出力値から得られる分類を示す。 チップ表面に関する例示的な出力値のセットの3D-プロット図である。 チップ表面に関する例示的な出力値のセットの3D-プロット図である。 分類スキームを生成するための例示的な測定装置を示す。 異なる負荷パターンに対する単一の応力センサの例示的な出力値である。 触覚センサに利用される決定木アンサンブルの例示的な実装スキームである。 触覚センサに利用される決定木アンサンブルの例示的な実装スキームである。 触覚センサに利用される決定木アンサンブルの例示的な実装スキームである。
図中、同一、類似又は同等の要素には同一の参照符号が付される。図及び図に示された要素の比率は、単位が明示されている場合を除き、縮尺を考慮する必要はない。一方、個々の要素の大きさが誇張して表現されることで、より良い表現及び/又は分かりやすさが実現される。
図1は、触覚センサ1及び触覚センサ1に利用されるチップ10の例示的な実施形態を示す。触覚センサ1は、チップ10が埋め込まれた接触体200により構成される。マウント201は、フレックスケーブルによってチップ10との電気的な接続を可能とする。本例示的な実施形態では、マウント201は接触体200に埋め込まれている。
チップ10は、複数の応力センサ100.1、100.2、100.3、100.4から構成される。チップ10は、32個の応力センサと、必要な読み出し回路から構成されている。チップは、電源供給とシリアル通信のために、フレキシブルフラットケーブルに接着されている。チップはコンパクトで扱いやすい。
触覚センサ1を形成するために、チップ10はシリコーン(PDMS)製の接触体200に埋め込まれる。接触体200は、指先の形状をしている。チップには追加の電子部品や配線が必要ないという利点がある。
接触体200、特に検出面200aにかかる負荷パターンが接触体を変形させ、チップ10に応力プロファイルを誘発させる。32個の応力センサ100は、チップ領域上に分布しており、チップ内の応力分布を測定することが可能である。応力プロファイルは、負荷パターンの方向及び強さに固有である。
負荷パターンは、物体300が検出面200aに沿って滑ることによって生じる動的触覚力である可能性がある。触覚センサ1は、最大400Hzの振動を測定することが可能であり、このような負荷パターンを検出するために極めて重要である。従って、触覚センサ1は、十分な帯域幅を保証するために、少なくとも960Hzのサンプルレートを有する。チップ全体の応力分布を測定するため、32個の応力センサをすべて読み取ることになり、サンプルレートは30Hzに低下する。応力センサはシリアルに読み取られるため、振動はやはり960Hzでサンプリングされる。従って、応力センサ100毎のサンプルレートは、触覚センサ1毎のサンプルレートをチップ10毎の応力センサ100の数で割ったものに相当する。
振動は、チップ10の面上の複数箇所で記録される。測定される振動の波長がチップ10上の応力センサ100の距離よりはるかに大きい限り、チップ10上の応力センサ100の空間分布は、測定に無視できる程の影響しか及ぼさない。例えば、チップ10上の応力センサ100の最大距離は、測定する振動の波長よりも少なくとも100倍、好ましくは少なくとも1000倍、非常に好ましくは少なくとも100000倍小さい。
図2は、触覚センサ1の例示的な製造方法を示す。第1の方法ステップにおいて、金型203に第1シリコーン層が充填される。金型203に面するシリコーン層の底面が、触覚センサ1の検出面200aとなる。
第2のステップでは、チップ10を第1シリコーン層の上、つまり金型203から離れる方向に面する側に平らに置く。シリコーンは、チップを固定するのに十分な粘性を有する。
第3の方法ステップでは、マウント201が金型203に固定される。
第4の方法ステップでは、金型にシリコーン材料を充填し、接触体200を完成させる。この方法ステップでは、チップ10は、接触体200に完全に埋め込まれる。マウント201は、接触体200に部分的に埋め込まれる。
第5の方法ステップでは、接触体200を2barの圧力と60℃で硬化させる。接触体200は、PDMS(Dowsil 3140)で作られる。PDMS材料は、複数の応力センサ100と接触体200との間の緊密な機械的結合を好適に提供する。
第6の方法ステップにおいて、金型203は接触体200から取り外される。金型203の除去後、検出面200aは自由にアクセス可能である。
図3A及び3Bは、触覚センサ1に利用される例示的なチップ10の上面図及び概略図である。このチップは、0.35μmプロセスで製造される。チップ10は、面内せん断応力と、面内法線応力の差とを測定するための24個のトランジスタ式応力センサ100が、チップ領域に戦略的に配置されることで構成されている。応力センサの信号は、利得可変差動増幅器で処理され、10ビットSAR ADCでデジタル化される。チップ10は、最大利得で11kPaまでの分解能を持つ。
24個の応力センサ100は、5ビットのマルチプレクサ(MUX)により、読み出しユニットに連続的に接続されている。処理された応力センサ100は、追加のマルチプレクサによって4方向にバイアスをかけることができ、応力センサのホイートストンブリッジアーキテクチャによるオフセット補償動作が可能になる。利得可変差動増幅器(DDA)と10ビット逐次比較型(SAR)アナログ/デジタルコンバータ(ADC)により、応力センサの読み出しが行われる。
図3Aに示すように、チップ10は、面積が2×2.5mmの領域を有する。
図3Bに示す応力センサ100の読み出しは、可変利得差動増幅器(DDA)に続き、SAR ADCとゲインコントローラ(GC)で構成される。ゲインコントローラは、応力センサのデジタル化された出力値に基づき、線形DDA出力範囲に対する最大の理想ゲイン値を二分探索木により決定する。
DDAのアーキテクチャは、応力センサ用に1つの差動入力ペアを提供し、フィードバック用に別のペアを提供する。従って、応力センサ接続用の高オーミックインターフェースが提供され、ゲイン変動中のフィードバックパスのインピーダンス変動が、読み出し中の応力センサの負荷インピーダンスに影響を与えることはない。
図4A及び4Bは、応力センサ100の上面図である。応力センサの各々は、四角い能動素子を形成し、ホイートストンブリッジ配置の4つのトランジスタによって表される。方向は、チップ10の端部に平行な座標系(x,y)で示される。ドーピング極性は、MOS反転層のピエゾ抵抗係数に強い影響を与える。例えば、Π44は、n型シリコンよりもp型シリコンで10倍高くなり、Π12は、p型シリコンよりもn型シリコンで50倍近く高くなる。そこで、面内せん断応力は、(x,y)に対して45°回転させたNMOS型応力センサ100で測定する。PMOS型応力センサは、座標系に平行に配置する。このように、PMOS型応力センサは、面内法線応力の違いに敏感である。各応力センサ内の4つのトランジスタは、いずれもW/L比が5μm/10μmである。これらの寸法は、4つの主要なセンサ特性の間の良好な妥協点を表す。
各NMOS応力センサは、そのトランジスタの共通のゲートをドレイン電圧に接続することで活性化する。各PMOS応力センサは、そのトランジスタの共通のゲートをソース電圧に接続することで活性化する。このように、処理されたセンサのみが一時的に活性化されるため、システム全体の消費電力を低減できる。
図5及び6は、例示的な実施形態による触覚センサ1の概略的な側面図及び上面図である。触覚センサ1は検出面200aから構成され、検出面200aは物体300に直接接触する。物体300と触覚センサ1との間の垂直方向の静的触覚力FS0、前方向の静的触覚力FS1、後方向の静的触覚力FS2、横方向の静的触覚力FS4、FS3は、検出可能な負荷パターンである。
図7、8は、4つの応力センサの異なる方向の静的触覚力による負荷パターンを散布図として測定した結果を示す。この測定では、測定された出力値のセットを負荷パターンの予め定義されたクラスに割り当てるために、クラスデータが利用される。散布図の各点は散布サンプルを表し、割り当てられた負荷クラスによって色分けされている。
「no contact」と表示された参照データは、物体300と接触体200とが機械的に接触していない状態で収集されたものである。純粋な垂直の静的触覚力のデータはFS0と表される。垂直な静的触覚力に加えて、触覚センサ1の下で物体300を徐々に移動させることにより、接線方向の静的な力が加えられる。データには、図5、6で示される方向に従い、FS1、FS2、FS3、FS4が付されている。
分類スキーム、特に決定木アンサンブルは、接触を検出し、異なる方向のせん断力によって生じる負荷パターンを分類するために学習される。
応力センサによっては、負荷パターンのいくつかのクラスで応力センサの出力値が同じになる場合がある。しかし、出力値全体、つまり出力値のセットは、異なる負荷パターンとして区別可能である。この分類スキームでは、出力値のセット全体を考慮することによって、印加された負荷パターンを負荷パターンの予め定義されたクラスに確実に割り当てることができる。学習されたランダムフォレストアルゴリズムは、99.8%の精度で負荷パターンを正しいクラスに割り当てることができる。
更に、図9に示すように、触覚センサ1がその検出面200aを物体300に沿って滑らせたときの負荷パターンのクラスが定義されてもよい。検出面200aは、複数の平行な稜線を有する表面構造を有していてもよい。この稜線は、物体300が検出面200aに沿って滑る場合に、接触体200の振動を生じさせる。この振動を検出することで、静的触覚力と動的触覚力を区別できる。
チップ10の単一の応力センサによって960Hzのサンプルレートで振動を測定することにより、振動全体が接触体によって減衰することを排除できる。図15は、3つの状態A、B、Cでのセンサ出力を示している。状態Aでは、触覚センサ1は物体300に対して相対的に移動しない。しかし、状態Aでは、検出面に対して垂直な静的触覚力のみ存在する。状態Bでは、物体300が検出面200aに沿って滑るまで接線方向の力が増加される。状態Cでは、物体300が検出面200aに沿って10mm/sで滑り、応力センサ100の出力値を振動させる。そのため、1つのセンサの出力値をスペクトル解析することで、動的触覚力を簡単に検出できる。
複数の応力センサ100、特に32個すべての応力センサの出力を解析することで、スペクトル解析を行わずに、静的触覚力と動的触覚力の両方の負荷パターンを検出してもよい。図10は、最も重要な2つの応力センサ100の散布図として、完全な分類スキームを示したものである。散布図の各ポイントは、1つのセンサのサンプルを表し、それぞれの出力値に割り当てられた予め定義された負荷クラスによって色分けされている。ランダムフォレスト分類アルゴリズムは、少なくとも50本の木と無制約の木の成長により学習される。5分割交差検証の結果、合計99.6%の精度を達成した。各クラスの負荷パターンの真陽性率は98%以上である。
静的触覚力と動的触覚力に対する出力値のセットが重ならないようなセンサの次元は存在しない。このように、1つ又は2つの応力センサによって負荷パターンを確実に分類することは、容易ではない。動的触覚力は、複数の応力センサの出力値の関係によってのみ分類されてもよい。
図12は、静的触覚力時のチップ10表面上の応力センサ100の出力値を負荷パターンとして可視化した3次元プロットである。図13は、動的触覚力時のチップ10表面上の応力センサ100の出力値を負荷パターンとして可視化した3次元プロットである。この可視化では、データにハイパスフィルターをかけ、方向性のある静的な力によるオフセットパターンを抑制している。静的プロットにおける平面からのずれは、センサノイズによるものである。したがって、静的触覚力は良好に定義された応力パターンを導き、滑りサンプルの歪んだパターンと区別できる。学習により、分類アルゴリズムは、これらのパターンを2つの異なるクラスの負荷パターンとして区別することを学習してもよく、これにより、動的触覚力と静的触覚力は、同じアルゴリズムによって検出できるようになる。
図11は、分類を視覚的に検証するために、複数の応力センサ100による時間領域の計測を示したものである。純粋な垂直方向の静的触覚力FS0、接線方向の静的触覚力FS1又はFS2、前方向の動的触覚力FD1の負荷パターンにおける4つの応力センサの出力値が示されている。測定における順序は、測定開始時の2.5秒間において純粋な垂直方向の力、測定の4.7秒まで静的な前方向の力が増加され、6.8秒まで検出面200aに沿って物体が滑り、9.5秒までで滑り動作が停止され、再び検出面200aに沿った物体の滑り動作が開始されている。又、このプロットは、各センササンプルに対する分類結果を示している。
滑り動作をする時、必ず接触体200に振動が発生する。その振動により、応力センサの信号が振動する。分類スキームは、滑り動作の負荷パターンをほぼ正しく検出して正しく分類でき、滑り動作に対して非常に高速に反応する。
図14は、分類スキームを生成するための装置である。この装置は、触覚センサ1が取り付けられる分類マウント202からなる。分類マウント202によって、触覚センサは、定義可能な垂直方向の触覚力FS0で物体300に押しつけられる。対象物300は、異なる表面パターンを有する3Dプリンティングされた板である。表面の模様は、滑らかなもの、隆起したもの、円形、三角形等にできる。表面パターンにより、表面から分類スキームを一般化できる。そうでなければ、分類アルゴリズムは、特定の1つの表面構造のみを持つ物体の負荷パターンを分類することに限定されてしまう。対象物300は、X-Yクロステーブルに搭載される。物体300は、ステッピングモータによって検出面200aに対して平行に移動させることができる。段差は、触覚センサを対象物の上で滑らせることなく、接線方向の力を徐々に増加させることができる程度の細かさである。ステッピングモータは、最大10mm/sでテーブルを加速・移動させ、滑りを発生させることができる。検出面に加わる接線方向の力は、検証センサ5により記録される。
分類スキームを生成する際には、予め定義された負荷パターンを触覚センサ1に印加し、対応する出力値を負荷パターンの予め定義されたクラスに割り当てる。このような測定を複数回繰り返すことで、信頼性の高い決定木アンサンブルを生成する。
図16Aは、学習後の単一の決定木の例である。この文脈において、学習とは、予め定義された負荷パターンを測定し、対応する出力値を負荷パターンのクラスに割り当てることである。ノードの特徴量fと閾値t、葉のクラスラベルC、木構造全体は学習中に変化する。触覚センサ1のこの文脈において、応力センサ100.1、100.2、100.3、100.4は、特徴量f、f、f、fに、閾値tは応力センサ100の出力値に、クラスCは負荷パターンの予め定義されたクラスに対応する。
図16Bは、並列アーキテクチャの一部で静的な実装を行ったものである。決定木を継続的に学習させるためには、木構造は再構成可能なままでなければならない。
図16Cに示すように、ツリー構造は、FPGAで一般的に使用される再構成可能なカウンタ部品によって実装されてもよい。ノードへの特徴量の割り当ては、特徴量の入力を適切なノードコンパレータに配線するスイッチングネットワーク及び相互接続ネットワークによって実現される。木構造を符号化し、葉の出力を計算するブール関数は、FPGAの論理ブロックで使用されているルックアップテーブル(LUT)に置き換えられている。コンパレータだけは固定で、その閾値はレジスタに格納される必要がある。これにより、決定木の更新をサポートするアーキテクチャが実現される。
決定木アンサンブルの完全な実装は、スイッチングブロックと相互接続ブロックからなり、アンサンブルにまたがり、木々の間でコンパレータを共有することができる。特に、決定木アンサンブルの木は、異なるサイズを持っていてもよい。
本発明は、これらの実施形態に基づく記載によって限定されるものではない。むしろ、本発明は、任意の新規な特徴だけでなく、特徴の任意の組み合わせを包含し、特に、この特徴又は組み合わせ自体が特許請求の範囲又は例示的な実施形態に明示されていなくても、請求項に記載の特徴の任意の組み合わせを包含する。
1:触覚センサ
10:チップ
100:応力センサ
100.1:第1応力センサ
100.2:第2応力センサ
100.3:第3応力センサ
100.4:第4応力センサ
111:分類スキーム
101:出力値のセット
110:メモリ
200:接触体
201:マウント
202:分類マウント
203:モールド
200a:検出面
300:対象物
5:検証用センサ
FS:静的触覚力
FS0:上方向の静的触覚力
FS1:前方向の静的触覚力
FS2:後方向の静的触覚力
FS3:右方向の静的触覚力
FS4:左方向の静的触覚力
FD:動的触覚力
FD1:前方向の動的触覚力
FD2:後方向の動的触覚力

Claims (10)

  1. 複数の応力センサ(100)と、
    少なくとも1つの接触体(200)と、を備え、
    前記応力センサ(100)は、前記接触体の検出面(200a)に印加された負荷パターンを検出するように設定されたことを特徴とする触覚センサ。
  2. 前記負荷パターンは、静的触覚力(FS)及び/又は動的触覚力(FD)からなり、
    前記動的触覚力(FD)は、1Hz以上1000Hz以下の周波数で変化することを特徴とする請求項1に記載の触覚センサ(1)。
  3. 前記応力センサ(100)がチップ(10)に統合されていることを特徴とする請求項1又は2に記載の触覚センサ(1)。
  4. 前記チップ(10)は、分類スキーム(111)を含むメモリ(110)を備え、
    前記分類スキーム(111)は、前記複数の応力センサ(100)の出力値(101)のセットを、予め定義された負荷パターンに割り当てることを特徴とする請求項3に記載の触覚センサ(1)。
  5. 前記分類スキーム(111)が、機械学習アルゴリズムによって生成されることを特徴とする請求項4に記載の触覚センサ(1)。
  6. 検出面(200a)を有する接触体(200)と、複数の応力センサ(100)と、チップ(10)とを備える触覚センサ(1)の動作方法であって、
    -前記接触体(200)の前記検出面(200a)に負荷パターンが印加され、
    -前記応力センサ(100)は、前記応力センサによって、前記負荷パターンを出力値(101)のセットに変換し、
    -チップ(10)は、チップ(10)と分類スキーム(111)とにより、出力値(101)を前記負荷パターンの予め定義されたクラスに割り当てる
    ことを特徴とする、触覚センサの動作方法。
  7. 前記検出面上の静的触覚力及び動的触覚力から生じる負荷パターンが、同じ前記分類スキームによって分類されることを特徴とする請求項6に記載の方法。
  8. 前記動的触覚力は、出力値(101)のスペクトル分析なしで分類されることを特徴とする請求項7に記載の方法。
  9. a)負荷パターンのクラスを予め定義し、
    b)基準となる触覚センサを用いて、負荷パターンの予め定義された各クラスの代表的な測定を複数回行い、
    c)出力値のセットを、負荷パターンの予め定義された各クラスにそれぞれ割り当てることによって、決定木アンサンブルを定義する
    ことを特徴とする、分類スキームを生成する方法。
  10. 静的触覚力及び動的触覚力から生じる負荷パターンを分類するための分類スキームが生成されることを特徴とする請求項9に記載の方法。


JP2021576860A 2019-06-24 2020-06-22 触覚センサ及び触覚センサの動作方法 Pending JP2022550234A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019116923.2 2019-06-24
DE102019116923 2019-06-24
PCT/EP2020/067362 WO2020260205A1 (en) 2019-06-24 2020-06-22 Tactile sensor and method for operating a tactile sensor

Publications (1)

Publication Number Publication Date
JP2022550234A true JP2022550234A (ja) 2022-12-01

Family

ID=71130974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021576860A Pending JP2022550234A (ja) 2019-06-24 2020-06-22 触覚センサ及び触覚センサの動作方法

Country Status (5)

Country Link
US (1) US20220236120A1 (ja)
EP (1) EP3987264A1 (ja)
JP (1) JP2022550234A (ja)
CN (1) CN113994181A (ja)
WO (1) WO2020260205A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021206134A1 (de) * 2021-06-16 2022-12-22 Robert Bosch Gesellschaft mit beschränkter Haftung Stress- und/oder Dehnungsmesszelle für ein Stress- und/oder Dehnungsmesssystem
CN114816063A (zh) * 2022-02-16 2022-07-29 北京脉之语科技有限公司 触觉反馈装置及其使用的数据格式

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5995420A (ja) * 1982-11-24 1984-06-01 Hitachi Ltd Mos型センサ
JPS6276785A (ja) * 1985-09-30 1987-04-08 Toyota Central Res & Dev Lab Inc 圧力分布検出装置
US5760530A (en) * 1992-12-22 1998-06-02 The United States Of America As Represented By The Secretary Of The Air Force Piezoelectric tactile sensor
JPH10178182A (ja) * 1996-12-19 1998-06-30 Sony Corp 半導体圧力感知装置とその製造方法
JP3053102U (ja) * 1998-04-10 1998-10-23 アイコーエンジニアリング株式会社 グラフィック式携帯型測定装置
JP2005161450A (ja) * 2003-12-02 2005-06-23 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2006167814A (ja) * 2004-12-13 2006-06-29 Seiko Epson Corp Mems素子、mems素子の製造方法
US20120240691A1 (en) * 2011-03-23 2012-09-27 University Of Southern California Elastomeric optical tactile sensor
JP2013522588A (ja) * 2010-03-12 2013-06-13 エンハンスド サーフェイス ダイナミクス,インコーポレイテッド 圧力感知システム内の圧力センサからデータを高速収集するシステム及び方法
JP2015022745A (ja) * 2013-07-17 2015-02-02 グーグル インコーポレイテッド 触覚入力デバイスを介して受けた入力の決定
JP2017096782A (ja) * 2015-11-25 2017-06-01 地方独立行政法人京都市産業技術研究所 触感検知システム及び触感検知体
JP2018116054A (ja) * 2017-01-19 2018-07-26 国立大学法人 香川大学 触覚センサ、触覚測定装置、学習済みモデル、および識別装置
JP2018532436A (ja) * 2015-06-25 2018-11-08 アナリティクス フォー ライフ インコーポレイテッド 数学的分析および機械学習を使用して病気を診断する方法およびシステム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735630B1 (en) * 1999-10-06 2004-05-11 Sensoria Corporation Method for collecting data using compact internetworked wireless integrated network sensors (WINS)
AU2001245936A1 (en) * 2000-03-23 2001-10-03 Cross Match Technologies, Inc. Piezoelectric identification device and applications thereof
EP1437584A1 (de) * 2003-01-07 2004-07-14 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Drucksensor mit elastischer Sensorschicht, deren Oberfläche mikrostrukturiert ist
EP1475274B1 (en) * 2003-05-06 2011-08-31 Mitsubishi Electric Information Technology Centre Europe B.V. Seat occupant monitoring system and method
US8127623B2 (en) * 2005-05-18 2012-03-06 Pressure Profile Systems Inc. Capacitive tactile tile sensor
US7331245B2 (en) * 2005-11-22 2008-02-19 Avago Technologies Ecbu Ip Pte Ltd Pressure distribution sensor and sensing method
KR100772875B1 (ko) * 2006-05-22 2007-11-02 삼성전자주식회사 사용자 선호도에 따른 사용자 인터페이스를 설정하는 장치및 그 방법
US8272278B2 (en) * 2007-03-28 2012-09-25 University Of Southern California Enhancements to improve the function of a biomimetic tactile sensor
US8327721B2 (en) * 2009-10-26 2012-12-11 Hewlett-Packard Development Company, L.P. Sensor fabric for shape perception
US20110241908A1 (en) * 2010-04-02 2011-10-06 Samsung Electronics Co., Ltd. System and method for processing sensory effect
KR101746453B1 (ko) * 2010-04-12 2017-06-13 삼성전자주식회사 실감 효과 처리 시스템 및 방법
US8707796B2 (en) * 2010-08-04 2014-04-29 Terrisa Duenas Semiconductor strain gauge array
US11026600B2 (en) * 2012-01-09 2021-06-08 Invensense, Inc. Activity classification in a multi-axis activity monitor device
CN102589759B (zh) * 2012-02-20 2013-10-23 浙江大学 基于压阻式和电容式组合的仿生柔性触觉传感阵列
DE102012107838A1 (de) * 2012-08-24 2014-02-27 Albert-Ludwigs-Universität Freiburg Sensoreinrichtung zur Detektion bioelektrischer Signale
US20140362999A1 (en) * 2013-06-06 2014-12-11 Robert Scheper Sound detection and visual alert system for a workspace
WO2015048583A1 (en) * 2013-09-27 2015-04-02 Sensel, Inc. Touch sensor detector systems and method
EP3172526A1 (en) * 2014-07-22 2017-05-31 SynTouch, LLC Method and applications for measurement of object tactile properties based on how they likely feel to humans
CN105758563A (zh) * 2015-04-03 2016-07-13 中国医学科学院生物医学工程研究所 一种基于电阻抗分布测量的单面电极柔性触觉传感器阵列
CN106802200B (zh) * 2017-02-23 2019-04-12 北京航空航天大学 一种柔性矢量触滑觉复合传感器
WO2019023309A1 (en) * 2017-07-25 2019-01-31 Nextinput, Inc. FORCE SENSOR AND INTEGRATED FINGERPRINTS
CN108680287B (zh) * 2018-03-19 2020-06-26 北京航空航天大学 一种高灵敏五自由度阵列式触觉传感器
US20210293643A1 (en) * 2018-07-05 2021-09-23 The Regents Of The University Of Colorado, A Body Corporate Multi-Modal Fingertip Sensor With Proximity, Contact, And Force Localization Capabilities
GB201817495D0 (en) * 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US20200301510A1 (en) * 2019-03-19 2020-09-24 Nvidia Corporation Force estimation using deep learning
US11300397B2 (en) * 2019-03-20 2022-04-12 Massachusetts Institute Of Technology Compliant force sensing system
US20210056391A1 (en) * 2019-08-20 2021-02-25 Mind Machine Learning, Inc. Systems and Methods for Simulating Sense Data and Creating Perceptions
US20220198227A1 (en) * 2020-12-21 2022-06-23 Cirrus Logic International Semiconductor Ltd. Force sensor sample classification
US11733112B2 (en) * 2021-03-31 2023-08-22 Cirrus Logic Inc. Characterization of force-sensor equipped devices

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5995420A (ja) * 1982-11-24 1984-06-01 Hitachi Ltd Mos型センサ
JPS6276785A (ja) * 1985-09-30 1987-04-08 Toyota Central Res & Dev Lab Inc 圧力分布検出装置
US5760530A (en) * 1992-12-22 1998-06-02 The United States Of America As Represented By The Secretary Of The Air Force Piezoelectric tactile sensor
JPH10178182A (ja) * 1996-12-19 1998-06-30 Sony Corp 半導体圧力感知装置とその製造方法
JP3053102U (ja) * 1998-04-10 1998-10-23 アイコーエンジニアリング株式会社 グラフィック式携帯型測定装置
JP2005161450A (ja) * 2003-12-02 2005-06-23 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2006167814A (ja) * 2004-12-13 2006-06-29 Seiko Epson Corp Mems素子、mems素子の製造方法
JP2013522588A (ja) * 2010-03-12 2013-06-13 エンハンスド サーフェイス ダイナミクス,インコーポレイテッド 圧力感知システム内の圧力センサからデータを高速収集するシステム及び方法
US20120240691A1 (en) * 2011-03-23 2012-09-27 University Of Southern California Elastomeric optical tactile sensor
JP2015022745A (ja) * 2013-07-17 2015-02-02 グーグル インコーポレイテッド 触覚入力デバイスを介して受けた入力の決定
JP2018532436A (ja) * 2015-06-25 2018-11-08 アナリティクス フォー ライフ インコーポレイテッド 数学的分析および機械学習を使用して病気を診断する方法およびシステム
JP2017096782A (ja) * 2015-11-25 2017-06-01 地方独立行政法人京都市産業技術研究所 触感検知システム及び触感検知体
JP2018116054A (ja) * 2017-01-19 2018-07-26 国立大学法人 香川大学 触覚センサ、触覚測定装置、学習済みモデル、および識別装置

Also Published As

Publication number Publication date
CN113994181A (zh) 2022-01-28
KR20220024831A (ko) 2022-03-03
EP3987264A1 (en) 2022-04-27
WO2020260205A1 (en) 2020-12-30
US20220236120A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
JP2022550234A (ja) 触覚センサ及び触覚センサの動作方法
US7865038B2 (en) Resolution and sensitivity balance metric
Zhang et al. Development of a flexible 3-D tactile sensor system for anthropomorphic artificial hand
JP6449198B2 (ja) 化学的検出デバイス
Georgakopoulou et al. A capacitive-to-digital converter with automatic range adaptation for readout instrumentation
JP2019039835A (ja) 複合センサ
US10107612B2 (en) Systems and methods for contact localization through spatially overlapping signals
Watatani et al. A MEMS tactile sensor with fingerprint-like array of contactors for high resolution visualization of surface distribution of tactile information
KR102682582B1 (ko) 촉각 센서 및 촉각 센서를 작동하는 방법
Petković et al. Electrical properties estimation of conductive silicone rubber for tactile sensing structure
JP2017198472A (ja) Memsセンサ
JP6160917B2 (ja) Memsセンサ
JPWO2007083546A1 (ja) 触覚センサ装置
Koder et al. Plantograf V18–New construction and properties
Maldonado-López et al. Early slip detection with a tactile sensor based on retina
Weerasinghe et al. Development and characterization of a soft tactile sensor array used for parallel grippers
Nakamoto et al. Food texture classification using magnetic sensor and principal component analysis
Kusumi et al. Development of Magnetic Food Texture Sensor with Spring and Sliding Mechanism
CN1904583A (zh) 基于互关联放大器的扫描隧道显微镜的隧道电流测量装置
Weichart et al. Towards artificial robotic skin: Highly sensitive flexible tactile sensing arrays with 3D sensing capabilities
JP6079436B2 (ja) 半導体装置
Maldonado-López et al. Integrated circuitry to detect slippage inspired by human skin and artificial retinas
RU149131U1 (ru) Преобразователь перемещений
Takao et al. Two-dimensional silicon smart tactile image-sensor with single sensing diaphragm actuated by vibrating pressure for simultaneous detection of force and object hardness distributions
Olga et al. Capacitive C and RC Sensorial Test Systems in LabVIEW Graphic Programming Environment with NI USB-6210 Acquisition Board

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240124

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240214

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240308