JP2022546884A - 触覚センサ、それを用いた触覚刺激検知方法、ロボット皮膚、及びそれを含むロボット - Google Patents
触覚センサ、それを用いた触覚刺激検知方法、ロボット皮膚、及びそれを含むロボット Download PDFInfo
- Publication number
- JP2022546884A JP2022546884A JP2021523396A JP2021523396A JP2022546884A JP 2022546884 A JP2022546884 A JP 2022546884A JP 2021523396 A JP2021523396 A JP 2021523396A JP 2021523396 A JP2021523396 A JP 2021523396A JP 2022546884 A JP2022546884 A JP 2022546884A
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- stimulus
- microphone
- tactile sensor
- tactile stimulus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005857 detection of stimulus Effects 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims description 66
- 239000000758 substrate Substances 0.000 claims description 17
- 238000010408 sweeping Methods 0.000 claims description 15
- 238000010079 rubber tapping Methods 0.000 claims description 14
- 238000006748 scratching Methods 0.000 claims description 12
- 230000002393 scratching effect Effects 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 3
- 239000007789 gas Substances 0.000 description 36
- 238000010586 diagram Methods 0.000 description 31
- 230000000638 stimulation Effects 0.000 description 14
- 230000035807 sensation Effects 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 8
- 241000282412 Homo Species 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 239000004205 dimethyl polysiloxane Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 239000004744 fabric Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 4
- 239000006260 foam Substances 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 229920001084 poly(chloroprene) Polymers 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000002861 polymer material Substances 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000015541 sensory perception of touch Effects 0.000 description 3
- 102000008482 12E7 Antigen Human genes 0.000 description 2
- 108010020567 12E7 Antigen Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000412 mechanoreceptor Anatomy 0.000 description 2
- 108091008704 mechanoreceptors Proteins 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- -1 polydimethylsiloxane Polymers 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101150034825 DODA gene Proteins 0.000 description 1
- 229920002595 Dielectric elastomer Polymers 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000005583 doda Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 229920005570 flexible polymer Polymers 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- HKUFIYBZNQSHQS-UHFFFAOYSA-N n-octadecyloctadecan-1-amine Chemical compound CCCCCCCCCCCCCCCCCCNCCCCCCCCCCCCCCCCCC HKUFIYBZNQSHQS-UHFFFAOYSA-N 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007779 soft material Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000004834 spray adhesive Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
- B25J13/084—Tactile sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/026—Acoustical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0009—Constructional details, e.g. manipulator supports, bases
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L1/00—Measuring force or stress, in general
- G01L1/005—Measuring force or stress, in general by electrical means and not provided for in G01L1/06 - G01L1/22
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
- G01L5/16—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force
- G01L5/171—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force using fluid means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
- G01L5/16—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force
- G01L5/173—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force using acoustic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
- G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
- G01L5/226—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
- G01L5/228—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping using tactile array force sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Analytical Chemistry (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Manipulator (AREA)
- Force Measurement Appropriate To Specific Purposes (AREA)
Abstract
本発明は、触覚センサ、これを用いた触覚刺激検知方法、ロボット皮膚及びこれを含むロボットに関する。特に、本発明は、外部触覚刺激を受信するための入力層と、マイクロホン部材と、入力層とマイクロホン部材との間に配置され、刺激による振動を伝達するための気体を内部に含む媒体層とを備える触覚センサ、これを用いた触覚刺激検知方法、ロボット皮膚及びこれを備えるロボットに関する。【選択図】図１
Description
特許法第３０条第２項適用申請有り １．公開日：２０２０年２月２８日 刊行物名：ＫＡＩＳＴ（Ｋｏｒｅａ Ａｄｖａｎｃｅｄ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ）修士論文／物理的な人間型ロボットの相互作用のための受動的位置特定を行う、大規模で柔軟な動的触覚センサ
本発明は、触覚センサ、これを用いた触覚刺激検知方法、ロボット皮膚、及びこれを含むロボットに関する。
ロボット技術の発展に伴い、ロボットの使用は、独立した空間で単純な繰り返し作業を行う産業用ロボットに限らず、人間と同じ空間において人間と積極的に相互作用するロボットが増加している。ロボットが触覚に基づいて人間と物理的に相互作用するためには、ロボットの全身の触覚情報を測定でき、衝突の危険性を低減できる柔らかい触覚センサが必要である。
柔らかい材料で作られた触覚センサは、多くの学術分野で既に公表されている。関連する先行技術として、特許文献１は、ロボット応用のための皮膚センサ、及びその検知方法、特にロボット応用のための皮膚センサを開示しており、この皮膚センサは、柔軟な特性を有するポリマー材料で作られ、第１の電極、誘電性エラストマーで作られたフィルム、及び第２の電極がロボットの表面に順次積み重ねられたセンサユニットを備えるロボット皮膚を取り付けることによって作られ、外部荷重がロボット皮膚に接触したときに生じるセンサユニットの物理的特性の変化を使用することによって、外部荷重のサイズ及び接触部位を検出する。しかしながら、可撓性物質で作られたこのような触覚センサは、人間と積極的に相互作用するために、ロボットの全身に伸ばす際に限られた欠点を有する。
さらに、上記の欠点を克服するために、非特許文献１は、小面積の多数のセンサモジュールを接続することによって、センサをロボット本体全体に拡張する方法を開示している。このようなモジュラー方式は、精度が高いという利点があるが、製造難易度の増加、価格の上昇、データ量の増加、大量の計算能力の要求、センサ数の増加に伴うエネルギ消費量の増加などの欠点が多い。しかしながら、ロボットが全身の人間と相互作用する場合、高い精度は要求されない。人と人との間の物理的相互作用の場合のように、誰かが背中を叩くと、背中の叩く位置又は強さは正確には分からないが、これは励ましの感覚として解釈される。この相互作用のために小面積の触覚センサを多数拡張して大面積にする技術は効率的ではない。
これとは逆の技術として、ロボット皮膚の広い領域に少数のセンシングノードを分散させて触覚を測定する方法がある。この方法は、少数のセンシングノードによって測定されたデータを使用して触覚情報を逆推定するので、精度は比較的低い。しかし、このシステムは、製造困難性が低く、低コストで、計算量が少ないため、ロボット皮膚のための触覚センサとして効率的な機構と考えられている。
人間の皮膚上の触覚を検出することができる機械的受容器があり、各機械的受容器は、異なる種類の触覚を検出する。同様に、測定できる触覚の周波数帯は、触覚センサを作製するために用いられるセンシング法によって異なる。ピエゾ抵抗方法や容量方法は周波数帯域が低いため、静電タッチに対応した押付けタッチの検出に使用される。一方、圧電方式や音響によるセンシング方式は、周波数帯域が高いため、ストローク感など、振動に基づく動的な触覚の検出に使用される。
分散センシングノードを用いた触覚センサでは、測定できる触覚はセンシングノードのセンシング法に従って決定される。対応する触覚がロボット皮膚上の任意の位置で与えられるとき、触覚による刺激は、正確な触覚センサになるために、分散された検知ノードに十分に伝達されなければならない。したがって、触覚刺激を伝達する媒体の物理的特性、境界条件、及び寸法は、センサの性能に影響を及ぼす。媒体を介してセンシングノードに伝送された情報に基づいて、触覚の位置及び種類を追跡する方法が研究されている。しかし、これをロボットの皮膚に適用するためには、より多くの研究が必要である。
Di Feng et al、Sensors 2018、18(2) 、634 (2018.02.21)
本発明の目的は、触覚センサを提供することである。本発明の他の目的は、前記触覚センサを用いた触覚刺激検知方法を提供することにある。
上記目的を達成するために、本発明は、外部触覚刺激を受信するための入力層と、マイクロホン部材と、入力層とマイクロホン部材との間に配置され、刺激による振動を伝達するための気体を内部に含む媒体層とを備える触覚センサを提供する。
触覚センサは、媒体層の体積を維持するように配置された支持部材をさらに含むことができる。支持部材は、多孔質構造を有するメッシュ構造体とすることができる。入力層は、外部刺激が印加される一方の表面に形成された突起を有することができる。触覚センサは、基板をさらに含むことができ、マイクロホン部材は、基板上に配置することができる。マイクロホン部材は、離間して配置された少なくとも２つのマイクロホンを含むことができる。
触覚センサは、マイクロホン部材に電気的に接続され、触覚刺激が印加される位置及び触覚刺激の種類のうちの少なくとも１つを決定するための制御部をさらに含むことができる。制御部は、マイクロホン部材が受け取る振動の強度及び到達時間のうちの少なくとも１つを分析することによって、触覚刺激の位置を決定することができ、マイクロホン部材が受け取る振動の波形を分析して、触覚刺激の種類を決定することができる。触覚センサは、制御部によって決定された触覚刺激の位置及び触覚刺激の種類のうちの少なくとも１つを出力する出力ユニットをさらに含むことができる。媒体層内の気体は空気であってもよい。
触覚刺激は、タッピング（tapping、軽く叩く）、ラビング（rubbing、擦る）、スイーピング（sweepin、掃く）、スクラッチング（scratching、引っ掻く）、及びティックリング（tickling、くすぐる）、スラッピング（slapping、叩く）からなる群から選択される少なくとも１つであり得る。より好ましくは、タッピング、ラビング、スイーピング、スクラッチング、及びティックリングからなる群から選択される少なくとも１つであり得る。
本発明の別の態様では、本発明は、外部から印加される触覚刺激の受信すること、受信した触覚刺激から気体の振動を発生させること、及びマイクロホン部材によって気体の振動を受信することを含む触覚刺激検知方法を提供する。触覚刺激検知方法は、マイクロホン部材による気体の振動を受信するステップの後に、マイクロホン部材によって受信された振動の強度及び到着時間のうちの少なくとも１つを分析することによって、触覚刺激の位置を決定するステップをさらに含むことができる。
触覚刺激検知方法は、前記マイクロホン部材によって前記気体の振動を受信するステップの後に、前記マイクロホン部材によって受信された振動の波形を分析することによって、前記触覚刺激の種類を決定するステップをさらに含むことができる。
本発明の別の態様では、本発明は、触覚センサを備えるロボット皮膚を提供する。このとき、触覚センサのマイクロホン部材をロボット皮膚上に配置することができる。本発明の別の態様では、本発明は、ロボット皮膚を含むロボットを提供する。
本発明に係る触覚センサは、マイクロホン部材を用いて気体振動の形態で触覚刺激を受信することができ、マイクロホン部材が受信した気体の振動を分析することにより、触覚の位置及び種類の少なくとも一方を判定することができる。特に、触覚センサは、タッピング、ラビング、スイーピング、スクラッチング、及びティックリング、スラッピングなどの振動に基づく動的触覚の検出においてより効果的である。
また、本発明に係る触覚センサは、離隔されたマイクロホンを用いて広い面積の触覚を検出することができる。従って、センサを広い面積にわたって配置しなければならないモジュール式触覚センサと比較して、本発明の触覚センサは、製造困難性が低く、低価格で製造することができるという利点を有する。
また、本発明の触覚センサは、ロボットの皮膚に適用することができる。特に、触覚センサは、タッピング、ラビング、スイーピング、スクラッチング、及びティックリング、スラッピングのような動的触覚検知を分類するのにより効果的である。このため、ペットロボットや看護ロボットなど、非言語通信を必要とする様々なロボットに触覚センサを適用することができる。この触覚センサは、独立した空間で繰り返し作業を行う商業用ロボットを中心に、現代のロボットが人間と同じ空間で協調・コミュニケーションを行うロボットへと発展するのに役立つ。
さらに、触覚センサは、切断された下肢を有する障害者の皮膚表面上の生物学的信号を測定したり、動作の意図を識別したりなど、センサを身体に取り付けることによって、生物学的信号を測定するために使用することもできる。
以下、本発明の好ましい実施の形態について、図面を用いて説明する。しかしながら、本発明の実施形態は、様々な方法で修正及び変更することができ、本発明は、以下の例示に限定されるものではない。この分野に関する平均的な知識を有する当業者には、本発明の実施形態が本発明をより正確に説明するために与えられることがよく理解される。従って、図面における要素の形状及び大きさは、図示の明瞭さのため誇張することができ、また、図面において同じマークで示されている要素は、同じ要素である。また、全ての図面において、同様の機能又は活性を示す要因については、同一の符号を付してある。さらに、本明細書全体にわたる要素の「包含」は、他の要素を排除するものではなく、特に断らない限り、他の要素を含んでもよい。
本発明の一態様では、本発明は、外部触覚刺激を受け取るための入力層と、マイクロホン部材と、入力層とマイクロホン部材との間に配置され、刺激による振動を伝達するためにその中に気体を含む媒体層とを備える触覚センサを提供する。
以下、図面を参照して、本発明に係る触覚センサについて詳細に説明する。
図１～図４は、本発明の一態様による触覚センサ（１００）の様々な実施形態を概略的に示す図である。図１は、実施例１に係る触覚センサ（１００）を示す模式図である。
図１～図４は、本発明の一態様による触覚センサ（１００）の様々な実施形態を概略的に示す図である。図１は、実施例１に係る触覚センサ（１００）を示す模式図である。
図１に示すように、触覚センサ（１００）は、外部から加えられる触覚刺激を受け取るための入力層（１０）を含む。入力層（１０）は、外部から印加される触覚刺激を受ける層であり、触覚刺激が生成される触覚点を含むことができる。
触覚刺激は、様々な形態で生成することができ、例えば、タッピング、ラビング、スイーピング、ティックリング、ストローキングからなる群から選択される１つ以上、及び、より好ましくはタッピング、ラビング、スイーピング、ティックリングからなる群から選択される１つ以上である。しかし、触覚刺激はこれに限定されるものではなく、振動を伴う様々な他の種類の触覚刺激であってもよい。入力層（１０）は、外部から印加される触覚刺激によって振動され、入力層（１０）の振動を媒体層（３０）に伝達することができる。
入力層（１０）は、触覚センサ（１００）が様々な形状を有する表面上に形成され得るように、好ましくは可撓性を有することができ、より好ましくは、触覚刺激が入力層によって吸収されることなく媒体層（３０）に伝達されるように、可撓性を有することができるが、低い動的弾性率を有することができる。従って、入力層（１０）は、可撓性を有するポリマー材料から作ることができ、好ましくは、低い動的弾性率を有するポリマー材料から作ることができる。例えば、入力層（１０）は、ポリジメチルシロキサン（ＰＤＭＳ）、ネオプレン発泡体、エアメッシュ及び発泡布からなる群から選択される少なくとも１つのポリマー材料から作ることができる。
外部触覚刺激が印加される入力層（１０）の一方の表面は、図１に示すように平坦な形状を有することができ、好ましくは、図２に示すように一方の表面に突起（１１）を形成することができる。例えば、入力層（１０）は、ポリジメチルシロキサン（ＰＤＭＳ）、ネオプレンフォーム、エアメッシュ及び発砲布からなる群から選択される１つ以上のポリマー材料からなるループ布が片側に配置され、突起（１１）がその片側に形成される形態で形成され得る。
図２に示すように、入力層（１０）の片側に複数の突起部（１１）を形成することができ、突起部（１１）間に隙間（ギャップ）を形成することができる。入力層（１０）では、触覚刺激のうちのラビング等の触覚が発生すると、突起間の隙間に微小な振動を付加的に発生させることができるので、触覚刺激を媒体層（３０）により効果的に伝達することができる。
本発明の一態様による触覚センサ（１００）は、入力層（１０）とマイクロホン部材（２０）との間に配置され、触覚刺激による振動を伝達するための気体を内部に含む媒体層（３０）を含む。媒体層（３０）は、入力層（１０）で生成された触覚刺激をマイクロホン部材（２０）に伝達する層とすることができる。すなわち、入力層（１０）に外部触覚刺激が印加されると、その刺激は媒体層（３０）に伝達され、媒体層（３０）に含まれる気体によって振動の形で伝達されることができる。
媒体層（３０）は、入力層（１０）とマイクロホン部材（２０）とを物理的に分離することができ、入力層（１０）に印加された触覚刺激を気体振動の形態でマイクロホン部材（２０）に伝達することができる。したがって、本発明による触覚センサ（１００）は、広い面積を有する入力層（１０）の任意の点（接触点）で生成された触覚刺激を、媒体層（３０）を介して、離隔された少なくとも２つのマイクロホンの各々に伝達することができる。したがって、本発明の触覚センサは、領域の触覚を検知するための触覚センサとしてより有効である。
もし触覚センサ（１００）が媒体層（３０）を含まなければ、入力層（１０）及びマイクロホン部材（２０）は、互いに接触する。このため、入力層とマイクロホン部材（２０）とが接触していない領域では、触覚刺激を検出することが困難である。すなわち、マイクロホン部材（２０）が分散的に配設されている場合には、マイクロホン部材（２０）が配設されていない位置で発生する触覚刺激を検知することが困難となる。入力層（１０）全体に亘って生成される触覚刺激を検出するために、多数のマイクロホン（２０）を連続的に接続しなければならない。一方、本発明に係る触覚センサ（１００）は、多数のセンサモジュールを連続的に接続することにより、又は媒体層（３０）を含まない場合に触覚刺激を検出するモジュール式触覚センサと比較して、製造上の困難さ、価格、データ量、計算要求能力、及びエネルギ消費が少ないという利点を有する。
本発明の一態様による触覚センサ（１００）は、図３に示すように、媒体層（３０）の体積を維持するように配置された支持部材（５０）をさらに含むことができる。支持部材（５０）は、媒体層（３０）の体積を維持するための部材であり、媒体層（３０）内に気体を収容できる空間を形成することができ、入力層（１０）がマイクロホン部材（２０）に接触することを防止することができる。
支持部材（５０）は、媒体層（３０）内に気体を収容することができる空間を形成することができる様々な形態で形成することができる。支持部材（５０）は、マイクロホン部材（２０）と接する媒体層（３０）の内側に配置されていないことが好ましく、振動、すなわち音波を、媒体層（３０）に含まれる気体によってマイクロホン部材（２０）に伝達しやすくするためである。
また、支持部材（５０）は、可撓性及び弾性を有することができる。好ましくは、支持部材は、入力層（１０）の触覚刺激によって媒体層（３０）に発生する振動が吸収されず、気体に伝達されるように、可撓性を有するが、動的弾性率が低い材料で作ることができる。例えば、支持部材（５０）は、ＰＶＣ材料で作ることができる。
図５は、本発明の一実施形態における支持部材（５０）を示す平面図である。図５に示すように、支持部材（５０）は、多孔質メッシュ構造とすることができる。より好ましくは、支持部材は、マイクロホン部材（２０）が配置される位置にメッシュが配置されないように孔が形成された構造とすることができる。媒体層（３０）は、振動を伝達する気体として種々の気体を含むことができるが、好ましくは空気を含むことができる。
媒体層（３０）は、入力層（１０）及びマイクロホン（２０）と接触する表面、すなわち上下表面以外に、開放側面を有することができる。空気を含む気体は、媒体層（３０）の開放側面から導入することができる。
本発明の触覚センサ（１００）は、マイクロホン部材（２０）を含む。触覚センサ（１００）の入力層（１０）は、外部から印加された触覚刺激を受信することができ、入力層（１０）によって受信された触覚刺激は、媒体層（３０）を介して気体振動の形態でマイクロホン部材（２０）に送信することができる。マイクロホン部材（２０）は、少なくとも２つのマイクロホンを含むことができる。例えば、本発明の一態様による触覚センサ（１００）は、図４に示すように、離間した２つのマイクロホン（２１、２２）を含むことができる。
触覚センサ（１００）に含まれるマイクロホンの数は、触覚刺激を検知するための場所の面積に応じて変わり得る。さらに、少なくとも２つのマイクロホンを互いに５０ｍｍから１５０ｍｍ離して配置することができ、隣接するマイクロホン間の間隔が同じになるように配置することができる。また、少なくとも２つのマイクロホンを互いに電気的に接続することができる。
少なくとも２つのマイクロホンの各々は、５０Ｈｚ～１６ｋＨｚの範囲の周波数帯域、好ましくは５０Ｈｚ～５００Ｈｚの範囲の周波数帯域の振動を受信することができる。
マイクロホンは、上記の周波数帯を受信することができるので、タップ、ラビング、スイープ、スクラッチ、ティックリング、スラッピングなどの振動に基づいて、より効果的に触覚刺激を検出することができる。
マイクロホンは、上記の周波数帯を受信することができるので、タップ、ラビング、スイープ、スクラッチ、ティックリング、スラッピングなどの振動に基づいて、より効果的に触覚刺激を検出することができる。
マイクロホン部材（２０）は、基板（４０）上に配置することができる。例えば、マイクロホン部材（２０）は、基板の表面に固定されてもよいし、基板に挿入又は埋め込まれてもよい。
本発明の一態様による触覚センサ（１００）は、様々なシステム、デバイス、又はロボットの本体上に配置することによって使用することができる。このとき、マイクロホン部材（２０）は、システム、装置、又はロボットの本体に配置されることができ、又はマイクロホン部材（２０）は、基板（４０）に配置され、基板（４０）は、システム、装置、又はロボットの本体に配置されることができる。
一方、本発明による触覚センサ１００は、マイクロホン部材２０に電気的に連結され、触覚刺激が印加される位置及び触覚刺激の種類のうち少なくとも一つを決定する制御部をさらに含むことができる。制御部は、触覚刺激が印加される位置及び触覚刺激の種類のうちのいずれか１つを決定することができ、又は触覚刺激が印加される位置及び触覚刺激の種類の両方を決定することができる。
図７は、本発明の一実施形態に係るマイクロホン部材（２０）の断面を模式的に示す図である。図７に示すように、マイクロホン部材（２０）は、気体の受けた振動又は音波を電気信号に変換することができる変換器であり、制御部は、マイクロホン部材（２０）により変換された電気信号を受け取り、これを解析することにより、触覚刺激を決定することができる。
制御部は、マイクロホン部材（２０）によって受信された振動の強度、及び到着時間のうちの少なくとも１つを分析することによって、触覚刺激の位置を決定することができる。より詳細には、少なくとも２つのマイクロホンの各々によって受信される振動の強度及び振動の到達時間のうちの少なくとも１つを比較及び分析することによって、触覚刺激が印加される位置、すなわち触覚点を出力することができる。
図６は、入力層（１０）の触覚刺激によって媒体層（３０）に発生した振動を、２つのマイクロホン（２１、２２）に伝達する方法を示す概略図である。図６に示すように、接触点（Ａ）と一方のマイクロホン（２１）との間の距離（ｄ１）と、接触点（Ａ）と他方のマイクロホン（２２）との間の距離（ｄ２）とは異なり得る。そして、マイクロホン（２１、２２）の各々によって受信される振動の強さ及び到達時刻は、距離ｄ１とｄ２との間の差に従って変化し得る。
図８は、本発明の態様による、触覚センサにおけるマイクロホンと接触点との間の距離に応じた受信振動の強度及び到達時間を示す図及びグラフのセットである。図８に示すように、入力層（１０）に触覚刺激（タッチ）が印加されると、触覚刺激から異なる距離に位置するマイクロホン（Ａ１、Ａ２、Ａ３）が受ける振動の強さは、触覚刺激から離れたマイクロホンよりも、触覚刺激に近いマイクロホンの方が強くなる。また、触覚刺激に近いマイクロホンの方が、触覚刺激から離れたマイクロホンよりも振動の到達時刻が早くなる。
制御部は、離間された少なくとも２つのマイクロホンのそれぞれが受け取る振動の強度を用いて、エネルギベースの位置決め方法によって接触点（Ａ）の位置を決定することができる。すなわち、離間している少なくとも２つのマイクロホンのそれぞれが受け取る振動は、同じ触覚刺激から伝搬したので、それらは同じ信号源（Ａ’）を共有する。したがって、離間して配置された少なくとも２つのマイクロホンのそれぞれから受ける振動の強さの比に応じて、各マイクロホンから接触点（Ａ）への距離の比を算出することができ、この比を満たす接触点（Ａ）の位置を逆推定することができる。
図９は、本発明の一態様による触覚センサの制御部によるエネルギベースの接触点逆推定方法によって決定される触覚検知の位置分布の例示的な相対確率を示すグラフである。図９に示すように、制御部は、以下の［数１］に基づく「エネルギ減衰モデル」を使用して、接触点の位置を逆推定することができる。逆推定された接触点に基づいて、触覚センサの任意の位置における接触点の位置を、以下の［数２］のガウス分布を用いて相対確率グラフとして表すことができる。すなわち、「エネルギ減衰モデル」によれば、振動の強さ（Ｉｉ）がマイクロホン位置（Ｘｉ）と音源（Ｘ）との間隔に反比例するので、接触点（Ａ）は、次式［数１］を用いて逆推定することができる。［数１］に基づく「エネルギ減衰モデル」は、振動が平面内の全方向に損失なく均等に伝搬するという理想的な仮定の下で成立するのに対して、実際には振動が空間内を伝搬するにつれて入力層と支持部材に吸収され、測定信号にはノイズが含まれる。したがって、［数１］によって逆に推定される接触点の位置は、実際の接触点の位置と大きく異なる場合がある。
したがって、制御部は、［数１］に基づいて「エネルギ減衰モデル」を用いて接触点の位置を逆推定し、逆推定された接触点に基づいて、［数２］のガウス分布を用いて、図９に示すように触覚センサの任意の位置における接触点の位置を相対確率として表す。そうすることにより、実際の接触点の位置に対する測定接触点の位置の誤差を大幅に低減することができる。
ただし、
Ｉｉは、ｉ番目のマイクロホンが受信する前記振動信号の理論強度であり、
Ｉｏは、信号源から発生する振動の強さであり、
ｇｉは、ｉ番目のマイクロホンのゲインファクターであり、
ｘは、信号源の位置であり、
ｘｉは、ｉ番目のマイクロホンの位置であり、
＾ｉｏｉは、ｉ番目のマイクロホンで測定した振動信号の強度から計算した、信号源の振動信号の強度であり、
＾ｉｏｊは、ｊ番目のマイクロホンで測定した振動信号の強度から計算した、信号源での振動信号の強度であり、
＾ｉｉは、ｉ番目のマイクロホンで測定した振動信号の強度であり、
εｉｊ（ｘ）は、： ｉ番目及びｊ番目のマイクロホンでそれぞれ算出された信号源強度の差分（誤差）であり、
ｘＥは、「エネルギ減衰モデル」を用いて推定した接触点の位置である。
Ｉｉは、ｉ番目のマイクロホンが受信する前記振動信号の理論強度であり、
Ｉｏは、信号源から発生する振動の強さであり、
ｇｉは、ｉ番目のマイクロホンのゲインファクターであり、
ｘは、信号源の位置であり、
ｘｉは、ｉ番目のマイクロホンの位置であり、
＾ｉｏｉは、ｉ番目のマイクロホンで測定した振動信号の強度から計算した、信号源の振動信号の強度であり、
＾ｉｏｊは、ｊ番目のマイクロホンで測定した振動信号の強度から計算した、信号源での振動信号の強度であり、
＾ｉｉは、ｉ番目のマイクロホンで測定した振動信号の強度であり、
εｉｊ（ｘ）は、： ｉ番目及びｊ番目のマイクロホンでそれぞれ算出された信号源強度の差分（誤差）であり、
ｘＥは、「エネルギ減衰モデル」を用いて推定した接触点の位置である。
このとき、信号源（Ａ’）は、触覚刺激によって媒体層に振動が発生する地点を意味し、接触点（Ａ）に対応する媒体層上の位置を意味することができる。
ここで、
ＦＥ（ｘ）は、 ガウス分布に従ったセンサ位置による接触点の相対的存在確率、
σＥは、「エネルギ減衰モデル」の誤差を補正するためのガウス分布の標準偏差である。
ＦＥ（ｘ）は、 ガウス分布に従ったセンサ位置による接触点の相対的存在確率、
σＥは、「エネルギ減衰モデル」の誤差を補正するためのガウス分布の標準偏差である。
さらに、制御部は、少なくとも２つのマイクロホンのそれぞれが受け取る振動の到着時間の差、すなわち時間差を用いて、ＴＤＯＡ（到着時間差）位置特定によって接触点の位置を決定することができる
図１０は、本発明の態様による、触覚センサの制御部によって実行されるＴＤＯＡ（到達時間差）位置特定を示す例示的な図である。図１０に示すように、マイクロホンと信号源との距離差（ｄｉｊ）は、マイクロホンの設定サンプリング周波数、気体を通過する伝搬速度、及びマイクロホンの位置情報を用いたＴＤＯＡ（到来時間差）位置特定によって計算することができる。これは、以下の［数３］で表すことができる。
ここで、xoは音源の位置、：xiはｉ番目のマイクロホンの位置、ｖは音響波の伝送速度（一定値）、ｄｉｊはｉ番目のマイクロホンとｊ番目のマイクロホンの間隔、τｉｊは、ｉ番目のマイクロホンとｊ番目のマイクロホンの間のＤＯＤＡである。
一般化された相互相関位相変換（ＧＣＣ‐ＰＨＡＴ）に基づくＴＤＯＡ（到来時間差）方法は、マイクロホンと信号源間の距離差（ｄｉｊ）に従った一般化されたＧＣＣ‐ＰＨＡＴを示し、次に、ＧＣＣ‐ＰＨＡＴの中での最大値（ピーク）を決定し、この最大値（ピーク）から、任意のマイクロホン対（すなわち、２つのマイクロホン）の時間遅延を計算する。しかし、この方法は、境界条件に起因して音の反射や雑音に弱いため、間違った時間差を導出し得るという欠点がある。
図１１Ａ～図１１Ｃは、ＧＣＣ－ＰＨＡＴを使用する従来のＴＤＯＡ方法の欠点を示す例示的な図である。図１１Ａに示すように、信号源から２つのマイクロホンに直線（実線で示す）で移動することで、信号は図１１Ｂに示すように現れるが、点線で示すように、環境によっては、１つのエコーを受けた後にマイクロホンに到達することがある。この場合、図１１Ｃに示すように、ＧＣＣ－ＰＨＡＴの最大値（ピーク）が、直線距離だけ時間差（Ｌ１）以外の場所（Ｌ２）で発生することがあり、誤った時間差を導出するという問題が生じる。
そこで、制御部は、ＧＣＣ－ＰＨＡＴの最大値（ピーク）が誤った値から導出されることを防止し、正確な時間差を求めるために、ＧＣＣ－ＰＨＡＴに基づくＴＤＯＡ法により、ＧＣＣ－ＰＨＡＴの最大値（ピーク）を求める。そして、以下の方法を用いて時間差の最大値と最小値を算出し、ＧＣＣ－ＰＨＡＴの最大値（ピーク）の位置（Ｘ軸値）が範囲内（時間差の最大値と最小値の間）にあるとき、その時間差を真の値とみなす。このようにして、より正確な時間差を導出することができる。
図１２は、本発明の一態様に係る触覚センサの制御部によって行われるＴＤＯＡ（到達時間差）位置特定方法において使用される時間差範囲を算出する処理を示す例示的な図である。図１３は、この方法に基づいて決定される触覚位置の例示的な相対確率を示すグラフである。
例えば、図１２に示すように、マイクロホン５（ＭＩＣ５）で測定される振動信号の強度が最も強い場合、接触点が存在し得る領域（斜線部）が限定され、その領域内のマイクロホン２、７（ＭＩＣ２、ＭＩＣ７）に振動信号が到達する時間差は、接触点がｐ１、ｐ２で示される位置にある場合、それぞれ最大値、最小値を有することができる。制御部は、図１２に示すマイクロホン２とマイクロホン７との間の時間差（ＭＩＣ２、ＭＩＣ７）の最大値（τ２７Ｍ）及び最小値（τ２７ｍ）を、以下の［数４］のように算出することができる。上記と同様に、どのマイクロホンでも信号強度が最大の場合に、２１対の時間差値の範囲を計算することができる。そして、ＧＣＣ－ＰＨＡＴの最大値（ピーク）の位置（Ｘ軸値）が範囲内（時間差の最大値と最小値の間）にあるとき、その時間差が真の値であると考えられる。このようにして、時間差を導出することができる。
制御部は、図１４に示すように、振動の強さを利用して接触点の逆推定を行う方法と、振動の時間差を利用して接触点の逆推定を行う方法とを統合して接触点を逆推定することで、接触点の位置に関する誤差を大幅に小さくすることができる。一方、振動の波形は、触覚刺激の種類に応じて変化してもよく、制御部は、マイクロホン部材（２０）が受ける振動の波形を解析することによって、触覚刺激の種類を決定することができる。
振動の波形は、触覚刺激の種類に応じて変化させることができる。例えば、軽くタップすると短い振動信号が測定されるが、ストロークすると比較的長い音波信号が測定される。制御部は、機械学習を用いて様々な触覚刺激から受信された異なる振動信号を分析することによって、触覚刺激の種類をより正確に分類することができる。
本発明の一態様で提供される触覚センサ（１００）は、制御部によって決定される触覚刺激の位置及び触覚刺激の種類のうちの少なくとも１つを出力する出力部をさらに含むことができる。出力部は、触覚刺激の位置及び種類のいずれかを出力することができ、又は、触覚刺激の位置及び種類の触覚刺激を同時に出力することができる。
本発明の別の態様では、本発明は、以下のステップを含む触覚刺激ｋお方法を提供する。
・外部から印加される触覚刺激の受信すること
・受信した触覚刺激から気体の振動を発生させ、マイクロホン部材によって気体の振動を受信すること
・外部から印加される触覚刺激の受信すること
・受信した触覚刺激から気体の振動を発生させ、マイクロホン部材によって気体の振動を受信すること
以下、本発明の他の側面による触覚刺激検知方法を段階的に詳細に説明する。
まず、外部から印加される触覚刺激を受けるステップを行うことができる。このステップは、触覚センサの入力層によって行うことができる。このとき、触覚刺激は、振動に基づく触覚刺激であり、タッピング、ラビング、スイーピング、スクラッチング、ティックリング、スラッピング、ストローキング、及びパッティングからなる群から選択することができる。
まず、外部から印加される触覚刺激を受けるステップを行うことができる。このステップは、触覚センサの入力層によって行うことができる。このとき、触覚刺激は、振動に基づく触覚刺激であり、タッピング、ラビング、スイーピング、スクラッチング、ティックリング、スラッピング、ストローキング、及びパッティングからなる群から選択することができる。
次に、受信した触覚刺激から気体の振動を発生させるステップを実行することができる。
このステップは、触覚センサの中間層によって実行することができる。触覚刺激検知方法は、触覚センサの媒体層に含まれる気体が振動により触覚刺激を伝達することにより特徴付けられる。このとき、気体は、振動を伝えることができる様々な種類の気体であり得、好ましくは空気とすることができる。
このステップは、触覚センサの中間層によって実行することができる。触覚刺激検知方法は、触覚センサの媒体層に含まれる気体が振動により触覚刺激を伝達することにより特徴付けられる。このとき、気体は、振動を伝えることができる様々な種類の気体であり得、好ましくは空気とすることができる。
次に、マイクロホン部材による気体の振動を受信する工程を行うことができる。触覚刺激検知方法は、触覚刺激を気体の振動、すなわち音波に変換し、それを受信するようにマイクロホン部材を構成することによって、触覚刺激を検出する方法とすることができる。触覚刺激検知方法は、気体の振動によって触覚刺激を検出するので、マイクロホンが連続的に配置されておらず、触覚刺激を検出するために区域内に離間又は分散されていても、区域全体の触覚刺激を検出することができるという利点を有する。
触覚刺激検知方法は、マイクロホン部材による気体の振動を受信するステップの後に、マイクロホン部材によって受信された振動の強度及び到着時間のうちの少なくとも１つを分析することによって、触覚刺激の位置を決定するステップをさらに含むことができる。ステップは、触覚刺激の位置を決定するステップであり、触覚刺激の位置は、マイクロホン部材、より具体的には、少なくとも２つのマイクロホンのそれぞれによって受け取られる気体振動の強度及び到着時間のうちの少なくとも１つを比較及び分析することによって、好ましくは、気体振動の強度及び到着時間の両方を比較及び分析することによって決定することができる。
触覚刺激検知方法は、マイクロホン部材によって受信された振動の波形を分析することによって、触覚刺激の種類を決定するステップをさらに含むことができる。このステップは、機械学習によって実行することができ、タッピング、ラビング、スイーピング、スクラッチング、ティックリング、及びスラッピングからなる群から選択される触覚刺激を識別することができる。
さらに、触覚刺激検知方法は、決定された位置及び触覚刺激の種類のうちの少なくとも１つを出力するステップをさらに含むことができる。
触覚センサのセンシング方法は、気体の振動を通して触覚刺激をセンシングする方法であり、触覚センサ内に変換器であるマイクロホンを分散配置できる。したがって、本発明の触覚センサは、多数のセンサモジュールを連続的に接続することによって触覚刺激を検出するモジュール式触覚センサと比較して、製造困難性、価格、データ量、計算要求能力、及びエネルギ消費が低いという利点を有する。
本発明の別の態様では、本発明は、触覚センサを備えるロボット皮膚を提供する。ロボット皮膚は触覚センサを備えるので、外部から印加される触覚刺激の位置及び触覚刺激の種類を効果的に検出することができる。
触覚センサは、外部触覚刺激を受け取るための入力層と、マイクロホン部材と、入力層とマイクロホン部材との間に配置され、刺激によって振動を伝達するためにその中に気体を含む媒体層とを含み、上述の触覚センサの全ての特徴を含むことができる。
このとき、触覚センサのマイクロホン部材は、ロボット本体の表面に配置することも、ロボット本体に挿入することも、埋め込むこともできる。加えて、触覚センサのマイクロホン部材は、基板の表面に配置することができ、又は基板に挿入又は埋め込むことができる。基板は、ロボット本体上に配置することができる。
ロボット皮膚は、外部から印加された触覚刺激を、媒体層を通る気体振動の形態でロボット皮膚内で離間した少なくとも２つのマイクロホンに伝達する触覚センサを含むことができる。
この場合、触覚センサに含まれるマイクロホンの数は、触覚センサが配置される領域によって異なる場合があり、マイクロホンは、隣接するマイクロホンまでの距離が５０ｍｍ～１５０ｍｍとなるように配置されることが好ましい。
本発明の別の態様では、本発明は、ロボット皮膚を含むロボットを提供する。ロボットはロボット皮膚を含むので、ロボット皮膚の表面全体に発生する触覚刺激を検知することができる。ロボットは、非言語通信を必要とするペットロボット又は看護ロボットなどのロボットであってもよいが、必ずしもこれに限定されない。
以下、本発明を実施例及び実験例により詳細に説明する。ただし、以下の実施例及び実験例は、本発明を説明するためのものであり、本発明の内容はこれに限定されるものではない。
＜実施例１＞
触覚センサは、図１５に示すように、アクリル基板に７個のマイクロホンを挿入し、多孔質メッシュと、基板上の一面に複数の突起が形成されたＰＤＭＳとを順次配置して形成した（図１５参照）。このとき、７本のマイクロホンの各々を制御部に接続し、制御部により決定された接触点の位置をディスプレイ上に出力するように設定した。図１４に示すように、制御部は、図９に示すような振動強度を用いた接触点逆推定法と、図１３に示すような時間差を用いた接触点逆推定法とを統合して、接触点を逆推定した。
触覚センサは、図１５に示すように、アクリル基板に７個のマイクロホンを挿入し、多孔質メッシュと、基板上の一面に複数の突起が形成されたＰＤＭＳとを順次配置して形成した（図１５参照）。このとき、７本のマイクロホンの各々を制御部に接続し、制御部により決定された接触点の位置をディスプレイ上に出力するように設定した。図１４に示すように、制御部は、図９に示すような振動強度を用いた接触点逆推定法と、図１３に示すような時間差を用いた接触点逆推定法とを統合して、接触点を逆推定した。
＜実施例２＞
触覚センサは実施例１と同様の形態で形成したが、図９に示すような振動強度を用いた接触点逆推定法を用いて、接触点の位置を逆推定するよう制御部を変更した。
触覚センサは実施例１と同様の形態で形成したが、図９に示すような振動強度を用いた接触点逆推定法を用いて、接触点の位置を逆推定するよう制御部を変更した。
＜実施例３＞
触覚センサは、実施例１と同様の形態で形成したが、図１３に示すような時間差を用いた接触点逆推定法を用いて、接触点の位置を逆推定するよう制御部を変更した。
触覚センサは、実施例１と同様の形態で形成したが、図１３に示すような時間差を用いた接触点逆推定法を用いて、接触点の位置を逆推定するよう制御部を変更した。
＜実施例４＞
触覚センサは、図１６に示すように、曲率及び弾性を有する人間の背中の模型の上に７つのマイクロホンを固定し、多孔質メッシュと、一面に複数の突起が形成されたＰＤＭＳとを順次配置して形成した。このとき、７個のマイクロホンの各々は、「エネルギ減衰モデル」と「ＴＤＯＡ」方法を統合して、接触点の位置と種類を決定する制御部に接続され、制御部によって決定された接触点の位置がディスプレイ上に出力されるように設定された。
触覚センサは、図１６に示すように、曲率及び弾性を有する人間の背中の模型の上に７つのマイクロホンを固定し、多孔質メッシュと、一面に複数の突起が形成されたＰＤＭＳとを順次配置して形成した。このとき、７個のマイクロホンの各々は、「エネルギ減衰モデル」と「ＴＤＯＡ」方法を統合して、接触点の位置と種類を決定する制御部に接続され、制御部によって決定された接触点の位置がディスプレイ上に出力されるように設定された。
＜実施例５＞
（触覚センサの構造）
図１８Ａに示すように、７つのマイクロホンをアクリル基板に挿入した。具体的には、辺の長さが１２ｃｍの立方体の頂点に６つのマイクロホンを配置し、立方体の中心に１つのマイクロホンを配置した。このとき、マイクとしては、直径４．６ｍｍ、高さ２．２ｍｍのＣＭＥＪ－４６２２－２５－Ｌ０８２（ＣＵＩ Ｄｅｖｉｃｅｓ、ＵＳＡ）を用いた。
（触覚センサの構造）
図１８Ａに示すように、７つのマイクロホンをアクリル基板に挿入した。具体的には、辺の長さが１２ｃｍの立方体の頂点に６つのマイクロホンを配置し、立方体の中心に１つのマイクロホンを配置した。このとき、マイクとしては、直径４．６ｍｍ、高さ２．２ｍｍのＣＭＥＪ－４６２２－２５－Ｌ０８２（ＣＵＩ Ｄｅｖｉｃｅｓ、ＵＳＡ）を用いた。
その後、マイクロホンが配置された図１８Ａのアクリル基材に、スプレー接着剤を用いて多孔質メッシュを接着し、片面にループ布が形成されたネオプレンを接着した（図１８Ｂ及び図１８Ｃ参照）。このとき、メッシュ、ループ布、ネオプレンは、一辺の長さが２６５ｍｍの正方形に形成した。接着されたループ布－ネオプレン－多孔質メッシュは、全体の厚さが６ｍｍで、全体の重さが０．１ｇ／ｃｍ２であった。
（データ処理）
７本のマイクロホンをそれぞれコントロールユニットに接続し、コントロールユニットで決定した接触点の位置をディスプレイに出力するように設定した。このとき、制御部は、触覚情報を、図１９に示すように、次のように処理した。図１９において、Ｘｉはｉ番目のマイクロホンの周波数信号を表し、ＸＭは最大値を示すマイクロホンの生信号を表している。
７本のマイクロホンをそれぞれコントロールユニットに接続し、コントロールユニットで決定した接触点の位置をディスプレイに出力するように設定した。このとき、制御部は、触覚情報を、図１９に示すように、次のように処理した。図１９において、Ｘｉはｉ番目のマイクロホンの周波数信号を表し、ＸＭは最大値を示すマイクロホンの生信号を表している。
７つのマイクロホンの各々は、ＦＰＧＡチップとプロセッサチップを備えた単一のＤＡＱ （ｍｙＲＩＯ－１９００、米国ナショナルインスツルメンツ社）に接続され、それによって、各マイクロホンは、５０ｋＨｚのサンプリングレートでサンプリングされ、１２８のサンプルが収集されるまでサンプリングデータをバッファに保存した。
高速計算のために、ＦＰＧＡチップ上で長さが１２８のハニング窓の高速フーリエ変換（ＦＦＴ）を行った。触覚刺激によって引き起こされた音波の時間情報及び周波数情報は、ｍｙＲＩＯプロセッサによってさらに処理された。
＜実施例６＞
触覚センサは、実施例５のアクリル基板の代わりに、曲率及び弾性を有する人間の背中の模型上に形成したこと以外は、実施例５と同様にして形成した。
触覚センサは、実施例５のアクリル基板の代わりに、曲率及び弾性を有する人間の背中の模型上に形成したこと以外は、実施例５と同様にして形成した。
＜実験例１＞
実施例１及び４で調製した触覚センサの入力層上の任意の位置に触覚刺激を印加した後、ディスプレイから出力される結果を図１５及び図１６に示す。図１５及び図１６に示すように、本発明の触覚センサは、分布マイクロホンを用いて触覚刺激を効果的に検出することができた。
実施例１及び４で調製した触覚センサの入力層上の任意の位置に触覚刺激を印加した後、ディスプレイから出力される結果を図１５及び図１６に示す。図１５及び図１６に示すように、本発明の触覚センサは、分布マイクロホンを用いて触覚刺激を効果的に検出することができた。
＜実験例２＞
本発明の触覚センサの触覚刺激検知性能を確認するために、実施例１～３で作製した触覚センサについて、以下の実験を行った。
まず、実施例１～３の触覚センサについて、図１７（Ａ）に示す２４点の各々についてタッピングを５０回行った。
検出誤差及び標準偏差は、触覚刺激によって生成された１２００データを２４点の実際の位置値（真値）と比較することによって計算され、その結果は、以下の表１に示される。
本発明の触覚センサの触覚刺激検知性能を確認するために、実施例１～３で作製した触覚センサについて、以下の実験を行った。
まず、実施例１～３の触覚センサについて、図１７（Ａ）に示す２４点の各々についてタッピングを５０回行った。
検出誤差及び標準偏差は、触覚刺激によって生成された１２００データを２４点の実際の位置値（真値）と比較することによって計算され、その結果は、以下の表１に示される。
表１に示すように、タッピングの場合、実施例２の触覚センサは、触覚刺激の検出誤差が最小であった。
また、実施例１～３の触覚センサについては、図１７（Ｂ）に示す２４点のそれぞれについて、５０回ラビングを行った。検出誤差及び標準偏差は、触覚刺激によって生成された１２００データを２４点の実際の位置値（真値）と比較することによって計算され、その結果は、以下の表２に示される。
表２に示すように、ラビングの場合、実施例１の触覚センサは、触覚刺激の検出誤差が最小であった。
また、実施例１～３の触覚センサについては、図１７（Ｃ）に示す１２経路の各々で５０回のスイーピングを行った。検出誤差及び標準偏差は、触覚刺激によって生成された６００個のデータを、１２個の経路の実際の経路（真値）と比較することによって計算され、その結果は、以下の表３に示される。
表３に示すように、スイーピングの場合、実施例３の触覚センサは、触覚刺激の検出誤差が最小であった。
また、表１～３で用いた全てのデータ（３０００）について、検出誤差及び標準偏差を算出し、その結果を下記表４に示す。
表４に示すように、タッピング、ラビング、スイープの触覚検知全体については、実施例１の触覚センサが最も検出誤差が少なかった。以上の結果から、触覚センサは、タップ、ラビング、スイープの触覚刺激を検出できることが確認された。
また、上記いずれかの方法を用いて接触点の位置を逆推定する方法と比較して、振動強度を用いて接触点を逆推定する方法と、時間差を用いて接触点を逆推定する方法を統合して、接触点の位置を逆推定する場合には、接触点の位置をより誤差の少ない場所で導出できることを確認した。
［実験例３］
（１）スペクトログラムを用いた触覚刺激の分類
本発明の触覚センサの触覚刺激分類性能を確認するために、実施例５で作製した触覚センサに、表５及び図２０に示す５つの触覚刺激を印加し、スペクトログラムを計算することにより、触覚刺激の種類に応じて異なるパターンを有する信号の時間情報を可視化した。その結果を図２１に示す。このとき、ハニング窓を長さ方向に１２８のステップでスライドさせることで、約３２８ミリ秒に相当する２１４個の全てのサンプルにおいてスペクトログラムを計算した。同一サイズの高速フーリエ変換（ＦＦＴ）を各窓で行い、デシベルスケールで表した。得られたスペクトログラムのサイズは６４×１２９×１であり、これはグレースケール矩形画像と同じであった。
（１）スペクトログラムを用いた触覚刺激の分類
本発明の触覚センサの触覚刺激分類性能を確認するために、実施例５で作製した触覚センサに、表５及び図２０に示す５つの触覚刺激を印加し、スペクトログラムを計算することにより、触覚刺激の種類に応じて異なるパターンを有する信号の時間情報を可視化した。その結果を図２１に示す。このとき、ハニング窓を長さ方向に１２８のステップでスライドさせることで、約３２８ミリ秒に相当する２１４個の全てのサンプルにおいてスペクトログラムを計算した。同一サイズの高速フーリエ変換（ＦＦＴ）を各窓で行い、デシベルスケールで表した。得られたスペクトログラムのサイズは６４×１２９×１であり、これはグレースケール矩形画像と同じであった。
図２１に示すように、５つの触覚刺激は、時間情報の差のために異なるスペクトログラムとして現れた。例えば、スペクトログラムでは、タッピングは短い信号によって示されたが、スクラッチングとスイーピングの接線方向の動きは長い信号によって示された。また、スペクトログラムでは、振動信号によりラビングとティックリングの繰り返し運動が示されたが、ティックリングは、指の独立した運動により、より不規則に現れた。以上の結果から、触覚刺激をスペクトログラムやグレースケール画像に分類して表示できることが確認された。
（２）ニューラルネットワークを用いた触覚刺激の分類
スペクトログラムを通してパッティングとスクラッチングとを容易に区別することができるが、スクラッチングとストローキングとを区別することは困難である。そこで、触覚刺激をより正確に分類するために、畳み込みニューラルネットワークを用いて、実施例５、６の各触覚センサで受信した触覚刺激を用いて、以下の方法を処理した。人工ニューラルネットワークによって分類された触覚刺激の分類精度を計算し、その結果を図２３及び２４に示した。
スペクトログラムを通してパッティングとスクラッチングとを容易に区別することができるが、スクラッチングとストローキングとを区別することは困難である。そこで、触覚刺激をより正確に分類するために、畳み込みニューラルネットワークを用いて、実施例５、６の各触覚センサで受信した触覚刺激を用いて、以下の方法を処理した。人工ニューラルネットワークによって分類された触覚刺激の分類精度を計算し、その結果を図２３及び２４に示した。
図２２は、人工ニューラルネットワークを用いて触覚刺激の種類を分類するためのアルゴリズムを概略的に示す図である。図２２に示すように、入力値としてグレースケール画像を有する２つの畳み込み層を有する人工ニューラルネットワークを使用した。２つの畳み込み層は、５のカーネルサイズ及びパディングなしの１のストライドを有していた。各層中のカーネルの数は３２及び１６であり、次いで、両方の層についてバッチ正規化（Batch Normalization）及びＲｅＬＵ（Rectified Linear Unit）活性化を行った。サイズを縮小するために、サイズとストライドが２の最大プーリング層を第２の畳み込み層の前に配置した。オーバーフィッティングを減少させるために、０．５のドロップアウト速度を有するドロップアウト層を畳み込み層の端部に加えた。
次に、スペクトログラムが分類される分類の数である６（５つの刺激、及び触覚刺激なし）を有する全結合層（Fully-Connected Layer）を加えた。全結合層の結果にソフトマックス関数を適用することにより、各分類におけるスペクトログラムの確率を計算した。
ネットワークの訓練と評価のためのデータセットは、以下の方法で収集した。１２人の個人が、表５の触覚刺激をセンサに印加することを許可され、各触覚刺激について１００スペクトログラムを各個人から収集し、６０００データを生成した。非接触のベースラインノイズの１２００スペクトログラムがデータセットに追加された。ベースラインスペクトログラムをさらに処理して、各周波数成分のノイズに対する平均と標準偏差を計算した。ベースラインノイズに関するこの情報は、ランダムノイズスペクトログラムを生成するために使用された。合計７２０００のデータセットを３つのサブセットに分割した。１０名の参加者のデータからトレーニングセットを構成し、他の２つのデータセットを検証セット及び試験セットとして使用した。データセットを、特定の個体に対するオーバーフィッティングを最小限にするように分割した。ネットワークは、５世代毎に０．５倍減少する０．０００１の初期学習速度を有するＡＤＡＭ（適応モーメント推定）オプティマイザを使用したトレーニングセットで訓練された。ミニバッチサイズは２５６に設定された。妥当性検査損失は、オーバーフィッティングを防止するために５０回の反復ごとに計算され、訓練は、妥当性検査損失が以前の最小損失よりも大きい１５に達したときに停止された。妥当性検査ロスにより停止しない限り、訓練は５０番目の生成まで継続された。訓練は、単一のＧｅＦｏｒｃｅ ＧＴＸ １０６０ ３ＧＢ ＧＰＵ （ＮＶＩＤＩＡ、ＵＳＡ）を用いてＭＡＴＬＡＢ（登録商標）（Ｍａｓｓ Ｗｏｒｋｓ、ＵＳＡ）で行われた。
図２３に実施例５の触覚センサを用いて処理した結果を、図２４に実施例６の触覚センサを用いて処理した結果を示す。図２３及び２４に示すように、実施例５及び６の触覚センサは、それぞれ８６．１％及び８９．８％の優れた触覚種類分類精度を有していた。また、最も精度の低い触覚はスイーピングであり、スクラッチングと誤って分類され、２つの触覚刺激は、非常に類似した時空間特性を有し、したがって、分類はより困難であり得る。しかし、人工ニューラルネットワークをより深く構成することで、より精度の向上が期待できる。
Claims (19)
- 外部の触覚刺激を受け取るための入力層と、
マイクロホン部材と、
前記入力層と前記マイクロホン部材との間に配置され、かつ前記触覚刺激による振動を伝達するために内部に気体を含む媒体層と
を備える触覚センサ。 - 前記媒体層の体積を維持するために配置された支持部材をさらに含む、請求項１に記載の触覚センサ。
- 前記支持部材は、多孔質構造を有するメッシュ構造体であることを特徴とする請求項１に記載の触覚センサ。
- 前記入力層は、前記外部の触覚刺激が印加される一方の面に形成された突起を有することを特徴とする請求項１に記載の触覚センサ。
- 前記触覚センサは、基板を更に含み、前記マイクロホン部材は、前記基板上に配置されることを特徴とする請求項１に記載の触覚センサ。
- 前記マイクロホン部材は、離間された少なくとも２つのマイクロホンを含む、請求項１に記載の触覚センサ。
- 前記マイクロホン部材に電気的に接続されると共に、
さらに、前記触覚刺激が印加される位置及び前記触覚刺激の種類のうちの少なくとも１つを決定するための制御部を含む、請求項１に記載の触覚センサ。 - 前記制御部は、前記マイクロホン部材により受信された前記振動の強度及び到達時間のうちの少なくとも１つを解析することにより、前記触覚刺激の位置を決定する
ことを特徴とする請求項７に記載の触覚センサ。 - 前記制御部は、前記マイクロホン部材が機械学習を用いて受け取った前記音波の波形を解析することにより、前記触覚刺激の種類を判定することを特徴とする、請求項７に記載の触覚センサ。
- 前記制御部によって決定された前記触覚刺激の位置及び前記触覚刺激の種類のうちの少なくとも１つを出力する出力ユニットをさらに含む、請求項１に記載の触覚センサ。
- 前記媒体層内の気体は空気であることを特徴とする請求項１に記載の触覚センサ。
- 前記触覚刺激は、タッピング、ラビング、スイーピング、スクラッチング、及びティックリングからなる群から選択される少なくとも１つである、請求項１に記載の触覚センサ。
- 外部から印加される触覚刺激を受信することと、
受信した前記触覚刺激から気体の振動を発生させ、
前記マイクロホン部材によって前記気体の振動を受信すること
戸を含む、請求項１に記載の触覚センサを使用する触覚刺激検知方法。 - 前記マイクロホン部材は、間隔を置いて配置された少なくとも２つのマイクロホンを含む、請求項１３に記載の触覚刺激検知方法。
- 前記マイクロホン部材によって前記気体の振動を受信するステップの後に、前記マイクロホン部材によって受信された前記振動の強度及び到着時間のうちの少なくとも１つを分析することによって、前記触覚刺激の位置を決定するステップをさらに含む、請求項１３に記載の触覚刺激検知方法。
- 前記マイクロホン部材によって前記気体の振動を受信するステップの後に、前記マイクロホン部材によって受信された振動の波形を分析することによって、前記触覚刺激の種類を決定するステップをさらに含む、請求項１３に記載の触覚刺激検知方法。
- 請求項１に記載の触覚センサを備えるロボット皮膚。
- 前記触覚センサの前記マイクロホン部材は、前記ロボットの皮膚上に配置される、請求項１７に記載の触覚刺激検知方法。
- 請求項１７に記載のロボットの皮膚を含むロボット。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20200097497 | 2020-08-04 | ||
| KR10-2020-0097497 | 2020-08-04 | ||
| KR10-2021-0025439 | 2021-02-25 | ||
| KR1020210025439A KR102443421B1 (ko) | 2020-08-04 | 2021-02-25 | 촉각센서, 이를 이용한 촉각 자극 감지방법, 이를 포함하는 로봇 피부 및 로봇 |
| PCT/KR2021/002483 WO2022030715A1 (ko) | 2020-08-04 | 2021-02-26 | 촉각센서, 이를 이용한 촉각 자극 감지방법, 이를 포함하는 로봇 피부 및 로봇 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022546884A true JP2022546884A (ja) | 2022-11-10 |
| JP7374188B2 JP7374188B2 (ja) | 2023-11-06 |
Family
ID=80118258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021523396A Active JP7374188B2 (ja) | 2020-08-04 | 2021-02-26 | 触覚センサ、それを用いた触覚刺激検知方法、ロボット皮膚、及びそれを含むロボット |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220297309A1 (ja) |
| JP (1) | JP7374188B2 (ja) |
| WO (1) | WO2022030715A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117621145A (zh) * | 2023-12-01 | 2024-03-01 | 安徽大学 | 一种基于fpga的水果成熟度检测柔性机械臂系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012141255A (ja) * | 2011-01-06 | 2012-07-26 | Seiko Epson Corp | 超音波センサー、触覚センサー、および把持装置 |
| JP2014509028A (ja) * | 2011-03-21 | 2014-04-10 | アップル インコーポレイテッド | フレキシブルディスプレイを伴う電子装置 |
| KR20160117714A (ko) * | 2015-03-30 | 2016-10-11 | 한양대학교 산학협력단 | 서로 다른 주기를 갖는 탄성체 패턴 그룹들을 구비하는 촉각 센서 |
| JP2019002905A (ja) * | 2017-06-09 | 2019-01-10 | パナソニックＩｐマネジメント株式会社 | 触力覚センサ、触力覚センサの製造方法および触力覚センサを用いた検知方法 |
| US20200064952A1 (en) * | 2018-08-27 | 2020-02-27 | Apple Inc. | Force or Touch Sensing on a Mobile Device Using Capacitive or Pressure Sensing |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8033189B2 (en) * | 2005-12-28 | 2011-10-11 | Honda Motor Co., Ltd. | Robot skin |
| US8816977B2 (en) * | 2011-03-21 | 2014-08-26 | Apple Inc. | Electronic devices with flexible displays |
| KR101980224B1 (ko) * | 2017-03-09 | 2019-05-21 | 한국기계연구원 | 공압 기반 촉각센서 |
| KR102165883B1 (ko) * | 2018-08-17 | 2020-10-14 | 재단법인대구경북과학기술원 | 촉각 감지 장치, 촉각 감지 방법 및 촉각 학습 방법 |
| WO2021010241A1 (ja) * | 2019-07-18 | 2021-01-21 | ソニー株式会社 | 形状可変装置、形状制御方法、及び触覚提示装置 |
-
2021
- 2021-02-26 JP JP2021523396A patent/JP7374188B2/ja active Active
- 2021-02-26 US US17/284,203 patent/US20220297309A1/en active Pending
- 2021-02-26 WO PCT/KR2021/002483 patent/WO2022030715A1/ko active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012141255A (ja) * | 2011-01-06 | 2012-07-26 | Seiko Epson Corp | 超音波センサー、触覚センサー、および把持装置 |
| JP2014509028A (ja) * | 2011-03-21 | 2014-04-10 | アップル インコーポレイテッド | フレキシブルディスプレイを伴う電子装置 |
| KR20160117714A (ko) * | 2015-03-30 | 2016-10-11 | 한양대학교 산학협력단 | 서로 다른 주기를 갖는 탄성체 패턴 그룹들을 구비하는 촉각 센서 |
| JP2019002905A (ja) * | 2017-06-09 | 2019-01-10 | パナソニックＩｐマネジメント株式会社 | 触力覚センサ、触力覚センサの製造方法および触力覚センサを用いた検知方法 |
| US20200064952A1 (en) * | 2018-08-27 | 2020-02-27 | Apple Inc. | Force or Touch Sensing on a Mobile Device Using Capacitive or Pressure Sensing |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022030715A1 (ko) | 2022-02-10 |
| US20220297309A1 (en) | 2022-09-22 |
| JP7374188B2 (ja) | 2023-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Naeini et al. | A novel dynamic-vision-based approach for tactile sensing applications | |
| CN110383284B (zh) | 基于超声波的手势识别 | |
| US10108268B2 (en) | Touch sensitive device | |
| JP6030184B2 (ja) | 持続波超音波信号を使用したタッチレス感知およびジェスチャー認識 | |
| Heyneman et al. | Slip classification for dynamic tactile array sensors | |
| Tanaka et al. | Wearable skin vibration sensor using a PVDF film | |
| Hughes et al. | Texture recognition and localization in amorphous robotic skin | |
| CN109477721A (zh) | 利用触觉换能器设备的回声定位 | |
| Zöller et al. | Active acoustic contact sensing for soft pneumatic actuators | |
| Shao | Compression of dynamic tactile information in the human hand | |
| EP2494426A2 (en) | Touch sensitive device employing bending wave vibration sensors that detect a touch location and provide haptic feedback | |
| Chathuranga et al. | Investigation of a biomimetic fingertip's ability to discriminate fabrics based on surface textures | |
| JP7374188B2 (ja) | 触覚センサ、それを用いた触覚刺激検知方法、ロボット皮膚、及びそれを含むロボット | |
| Hughes et al. | A soft, amorphous skin that can sense and localize textures | |
| KR102443421B1 (ko) | 촉각센서, 이를 이용한 촉각 자극 감지방법, 이를 포함하는 로봇 피부 및 로봇 | |
| Massalim et al. | Robust detection of absence of slip in robot hands and feet | |
| Ai et al. | DuG: Dual speaker-based acoustic gesture recognition for humanoid robot control | |
| CN106598234A (zh) | 基于惯性传感的手势识别方法 | |
| Randika et al. | Estimating the shape of soft pneumatic actuators using active vibroacoustic sensing | |
| Saggio et al. | A novel actuating–sensing bone conduction-based system for active hand pose sensing and material densities evaluation through hand touch | |
| Lim et al. | Can a computer tell differences between vibrations?: Physiology-based computational model for perceptual dissimilarity prediction | |
| Jafari et al. | An embedded FPGA accelerator for a stand-alone dual-mode assistive device | |
| Boztas | Sound source localization for auditory perception of a humanoid robot using deep neural networks | |
| Bucurica et al. | A low complexity method based on reaction-diffusion transform for ultrasound echo-based shape object classification | |
| Charniya et al. | Intelligent sensor system for discrimination of material type using neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210428 |
|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210428 Free format text: JAPANESE INTERMEDIATE CODE: A801 Effective date: 20210428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231024 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7374188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |