JP2019522302A - マシンラーニングを利用したセンシング方法とセンシングシステム - Google Patents

マシンラーニングを利用したセンシング方法とセンシングシステム Download PDF

Info

Publication number
JP2019522302A
JP2019522302A JP2019518359A JP2019518359A JP2019522302A JP 2019522302 A JP2019522302 A JP 2019522302A JP 2019518359 A JP2019518359 A JP 2019518359A JP 2019518359 A JP2019518359 A JP 2019518359A JP 2019522302 A JP2019522302 A JP 2019522302A
Authority
JP
Japan
Prior art keywords
stimulus
sector
pressure
machine learning
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019518359A
Other languages
English (en)
Inventor
ソン，キ−ソン
キム，ジ−シク
ソン，キ−ミン
Original Assignee
インダストリー−アカデミア コーオペレーション グループ オブ セジョン ユニバーシティー
インダストリー−アカデミア コーオペレーション グループ オブ セジョン ユニバーシティー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インダストリー−アカデミア コーオペレーション グループ オブ セジョン ユニバーシティー, インダストリー−アカデミア コーオペレーション グループ オブ セジョン ユニバーシティー filed Critical インダストリー−アカデミア コーオペレーション グループ オブ セジョン ユニバーシティー
Priority claimed from PCT/KR2018/000383 external-priority patent/WO2018128513A1/ko
Publication of JP2019522302A publication Critical patent/JP2019522302A/ja
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/372—Arrangements in connection with the implantation of stimulators
    • A61N1/37211—Means for communicating with stimulators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L27/00—Materials for grafts or prostheses or for coating grafts or prostheses
    • A61L27/50—Materials characterised by their function or physical properties, e.g. injectable or lubricating compositions, shape-memory materials, surface modified materials
    • A61L27/60—Materials for use in artificial skin
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36007—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of urogenital or gastrointestinal organs, e.g. for incontinence control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/18—Measuring force or stress, in general using properties of piezo-resistive materials, i.e. materials of which the ohmic resistance varies according to changes in magnitude or direction of force applied to the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/20—Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress
    • G01L1/205—Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress using distributed sensing elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/743—Keyboards
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Cardiology (AREA)
  • Chemical & Material Sciences (AREA)
  • Dermatology (AREA)
  • Medicinal Chemistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transplantation (AREA)
  • Epidemiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本発明は、マシンラーニングを利用したセンシング方法に関する。本発明によるセンシング方法は、外部刺激に対して検出可能な信号を生成する材料の任意の位置に刺激を複数回加える段階と、前記刺激を通じて生成された信号を使用してマシンラーニングを行う段階と、マシンラーニングを通じて導き出した関数を利用して前記材料に加えられる刺激の位置または程度を予測する段階とを含む。

Description

本発明は、マシンラーニングを利用したセンシング方法とセンシングシステムに関する。
電子皮膚と呼ばれる人工皮膚を製造するための絶え間ない努力が進められてきており、機能的な性能の側面では、実際ヒトの皮膚に近接した水準になった。
そして、電子皮膚の性能を左右する主要素は、接触位置および当該位置の変形（または圧力）を認識することを具備した触覚感知である。
このような電子皮膚用として多数の変形（ｓｔｒａｉｎ）センサーが開発されている。既存の電子皮膚においていかなる変形センサータイプを考慮しても、すべての電子皮膚に備えられる共通の構成は、いわゆる特定領域に対するパターンと呼ばれる装置要素の規則的な配列である。
このようなパターン、すなわち単層または多層に対する多重モード配列は、信頼性のある電子皮膚を具現するのに必須であり、これなしには、システム的に皮膚の特定領域に対する圧力分布を検出できる方法がない。
これと関連して、抵抗型、静電容量型、誘導型、圧電抵抗型、光学型、磁性型、バイナリ型、圧電電気型、または油圧型センサー装置のように多様な形態の触覚または位置センサーが開発されている。
ところが、このようなすべてのセンサーは、検出された信号を処理するための論理回路設計を具備した多層基板上に装置要素の特定のパターンを具備する。例えば、抵抗タッチパネル用に開発された層間に配置されたきわめて単純なスペーサーパターンから、複雑なワイヤー配列を具備した変形ゲージセンサー用パターンとＴＦＴ配列パターンのようにきわめて複雑なパターンに至る多様な形態がある。
また、パターンの製造方法も、単純なプリント法から複雑な半導体工程を使用するものまで非常に広い間隙がある。ところが、信頼性の高い電子皮膚を低コストで製造するに際して、パターン形成工程は、主要な障壁の一つになっている。
また、従来の電子皮膚に関するセンシング装置では、負荷の位置認識は可能であったが、負荷の圧力程度は認識しにくいという問題点もある。
本発明の一つの目的は、マシンラーニング技法を使用して、電子皮膚をはじめとして多様な装置に使用されて、負荷の位置認識だけでなく、負荷の程度を正確に測定できるセンシング方法と、このセンシング方法を適用したセンシングシステムを提供することにある。
本発明の他の目的は、マシンラーニング技法を使用して、パターンが形成されていない材料を使用しても、負荷の位置認識と負荷の程度を測定できるセンシング方法とセンシングシステムを提供することにある。
前記目的を達成するための本発明によるセンシング方法は、外部刺激に対して検出可能な信号を生成する材料の任意の位置に刺激を複数回加える段階と、前記刺激を通じて生成された信号を使用してマシンラーニングを行う段階と、マシンラーニングを通じて導き出した関数を利用して前記材料に加えられる刺激の位置または程度を予測する段階とを含む。
また、前記センシング方法において、前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行うことができる。
また、前記センシング方法において、前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行うことができる。
また、前記センシング方法において、前記材料は、単純化の側面で規則的なパターンが形成されていない物質が最も好ましいが、一定のパターンが形成されているものも、センシングをする機能の側面では制限事項にならない。
また、前記センシング方法は、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサーに使用することができる。
また、前記センシング方法において、複数個の仮想セクターに区分して刺激を加える場合、単一のセクター別に垂直荷重を加えたり、多重荷重を２個以上のセクターに加えることができる。
また、前記センシング方法において、仮想セクターに区分することなく、任意の位置に刺激を加えるときにも、単一の垂直荷重を加えたり、様々な位置に垂直荷重を同時に加えることができる。
前記他の目的を達成するための本発明によるセンシングシステムは、外部刺激に対して検出可能な信号を発生する材料と、前記材料に刺激を複数回加え、生成された信号を使用してマシンラーニングを行って、導き出された関数を記憶する記憶手段と、前記関数を利用して前記材料に加えられる刺激の位置または程度を演算する演算手段とを含む。
また、前記センシングシステムにおいて、前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行うことができる。
また、前記センシングシステムにおいて、前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行うことができる。
また、前記センシングシステムにおいて、前記材料は、単純化の側面で規則的なパターンが形成されていない物質が最も好ましいが、一定のパターンが形成されているものも、センシングをする機能の側面では制限事項にならない。
また、前記センシングシステムは、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用であってもよい。
本発明によるセンシング方法とセンシングシステムによれば、マシンラーニングを通じて、センシングシステムに加えられる負荷の位置と程度を正確に測定することができる。
また、本発明の一実施例によれば、規則的なパターンがないとしても、センシングシステムに加えられる負荷の位置と程度を正確に予測することができるため、人工皮膚のような領域の製造コストを顕著に節減することができる。
また、本発明の一実施例によれば、材料の標準化がある程度行われる場合、特定材料の学習結果を同種の他の材料にも適用することができることとなり、学習ｔ時間および費用を大きく節減することができる。
また、本発明の一実施例によれば、例えばＰＤＭＳ基材に均質に分布したＣＮＴを具備した圧電抵抗複合フィルムのような単純なシートまたはフィルムを使用して、大面積でも具現され得ると共に、信頼性の高い変形（および位置）感知が可能であり、同時に規則的なパターンや多層構造を必要としない。
また、本発明の一実施例によれば、ＰＤＭＳ基材の硬化剤分率、ＣＮＴ添加比率、シートの厚さ等を制御すると、弱い触感水準から苦痛を感じる水準まで広範囲な圧力感知が可能である。
また、本発明の一実施例によれば、単純な単一のセクター別の垂直荷重以外に複雑な多重荷重が２個以上のセクターに作用する場合も、ＤＮＮの学習でセンシング可能である。
また、本発明によるセンシング方法およびセンシングシステムは、電子皮膚はもちろん、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用にも適用することができる。
例えば、検出可能な信号を生成する非常に薄いフレキシブル材料（例えば、プラスチックフィルム）からなる材料の表面にキーボードを印刷して本発明による学習過程を経る場合、フレキシブルキーボードとして使用することができ、このキーボードは、容易に携帯可能であり、既存の携帯用キーボードに比べて改善された便宜性を提供することができる。
図１は、本発明の実施例において電子皮膚に使用したＣＮＴ／ＰＤＭＳ複合フィルムの概略図である。 図２は、本発明の実施例による電子皮膚のマシンラーニングのためのＣＮＴ／ＰＤＭＳ複合フィルムに負荷を加えるための装置（木の棒およびおもちゃの指）と電気的信号を検出するための端子（中間の図面）の配置を示す図である。 図３は、本発明の実施例による電子皮膚の学習およびテスト用システムの構成図である。 図４ａは、図面の右側に示す一軸引張試験片に対して１Ｈｚの周波数を有する周期的荷重に対する時間の関数として荷重（変位または圧力）および電気抵抗を示すプロットを示す図である。 図４ｂは、１、３および６Ｈｚの周波数で一軸引張試験片に対する電気抵抗対変位のプロットを示す図である。 図４ｃは、８個のプローブ端子電極信号ｖｓ．６×６セクター位置での変位（圧力）および０〜１．２ＭＰａの圧力範囲での圧力対変位曲線（右下側）を示す図である。 図５は、本発明の実施例で適用したディープラーニングのための階層図である。 図６は、本発明の実施例で使用したデータセット構造を示す図である。 図７ａは、本発明の実施例で使用した４、８および１６フィーチャー（ｆｅａｔｕｒｅ）を有する位置認識用ＤＮＮアーキテクチャーを示す図である。 図７ｂは、本発明の実施例で使った８および１６フィーチャーを有する圧力認識用ＤＮＮアーキテクチャーを示す図である。 図８は、仮想のセクター区分なしに実際座標を得るための回帰型ＤＮＮアーキテクチャーを示す図である。 図９は、本発明の実施例で行った３６（６×６）個の仮想セクターのそれぞれに対して予測されたものに対する測定された変位（圧力）のプロットを示す図である。 図１０は、本発明の実施例で行った３６個のセクターのそれぞれに対する予測圧力対実験圧力のプロットを示す図である。 図１１は、特定のセクター位置（６×６セクターマトリックスの４番目の行と３番目の列）で圧力関数としての８個の電気抵抗曲線で、高い圧力測定のための厚くてかつ丈夫なシート（図１１（ａ））のものと、低い圧力検出のための薄くてかつやわらかいフィルム（図１１（ｂ））のものを示す図である。
以下、本発明の好ましい実施例について説明するが、本発明が下記好ましい実施例に限定されて解釈されてはならず、本発明の概念の範囲内で多様な形態の変形が可能になり得るものと解釈すべきである。
〔ＣＮＴ／ＰＤＭＳ圧電抵抗複合フィルムの製造〕
商用のＭＷＣＮＴ（マルチウォールカーボンナノチューブ、以下、「ＣＮＴ」という、ナノマテリアルテクノロジー社）とＰＤＭＳ（Ｓｙｌｇａｒｄ（登録商標）１８４ Ｓｉｌｉｃｏｎｅ Ｅｌａｓｔｏｍｅｒ）を使用して、図１に概略的に示されたように、ＣＮＴが無作為に分布した均質な複合材を合成した。
ＣＮＴは、長さ５μｍ、直径２０ｎｍのマルチウォールを有するものを使用し、プラスチックシリンダー容器に液状のＰＤＭＳを入れ、１重量％のＣＮＴを混合し、撹拌した後、ＰＤＭＳを硬化させることによって、圧電抵抗パッチを製造した。
具体的に、ＰＤＭＳ内でＣＮＴの凝集がない均質な分散のために、１０ｍｍの直径を有する若干のアルミナボールを投入し、プラナタリーせん断ミキサーを使用して２時間の間４００ｒｐｍの速度で撹拌した。以後、ＰＤＭＳ硬化剤をＰＤＭＳ重量の１０％になるように添加した後、２０分間プラナタリーせん断混合器に維持した。最後に、複合材内に気泡がトラップされないように２０分間真空状態で脱ガス処理を行った。ガラス板上に、モールドを準備し、ドクターブレード法を使用して、圧電抵抗ＣＮＴ／ＰＤＭＳ複合材を鋳造した。そして、ガラス基板を６０℃で３０分間加熱して、ＣＮＴ／ＰＤＭＳ複合材が横×縦×厚さ寸法が４０ｍｍ×４０ｍｍ×５ｍｍになるように固化させた。
また、薄いフィルムを形成するために、０．１ｍｍ、１ｍｍ、および２ｍｍの深さを有する他のモールドも使用し、ＰＤＭＳ硬化剤の調節を通じてシートの弾性特性を多様にした。
このような過程を通じて、図２の中間の写真から確認されるように、表面にいかなるパターン構造も形成されていないＣＮＴ−ＰＤＭＳ複合シートを製造した。
本発明の実施例では、ＣＮＴ−ＰＤＭＳ複合シートを使用したが、刺激に対して信号を発生し得るものであれば、例えばＩＴＯ基板、導電性物質が特定のパターンを成さないように含まれたゴム板等のように多様な形態の物質からなるシートを使用することができる。
〔学習およびテストデータの収集〕
図２の中間の写真から分かるように、数本の銅線をＣＮＴ−ＰＤＭＳパッチの側面に２０ｍｍの間隔で配置されたＣＮＴ−ＰＤＭＳ端子に連結した。また、ＣＮＴ−ＰＤＭＳパッチの中央には、グラウンドを配置し、直流５Ｖバイアスを加えた。
様々な抵抗測定プローブ端子は、パターンがないセンサーパッチで重要な役割をするので、各側面に１個から４個のプローブを多様に使用した。図２は、本発明の実施例において各側面に２個のプローブを連結したパッチ（中央）の実際の写真である。
また、試験段階の構成図を図３に示した。図３に示したように、本発明の実施例による電子皮膚用学習およびテストは、負荷を加える装置（Ｉｎｓｔｒｏｎ ３０００）と、該装置に装着された試験片と、該試験片から電気的信号を検出するプローブと、前記装置から受けた荷重および変位データとプローブから回路を経て受けた電気信号データをデジタルに変換するＤＡＱと、変換したデータを演算し、前記装置に信号を伝達するコンピュータとを含んでなる。
パッチ学習は、インストロンＥ３０００を使用した。全体圧電抵抗パッチ領域は、仮想的にｍ×ｍセクター（ｍ＝４、６および１０）に分割された。このような仮想セクターの分割により指接触面積に相当する程度の単一のセクター面積（すなわち空間解像度）が付与される。
インストロンＥ３０００には、図２の右側に示されたように、丸い先端を有するシリンダー型バーを装着して、システム的に圧電抵抗パッチの選択されたセクター領域を加圧するようにした。
また、加圧地点を変更するために、稼動ｘ−ｙステージ上に圧電抵抗パッチを配置した。
それぞれのセクターに反復的な加圧を通じて、パッチの側面に配置された４個、８個および１６個のプローブから、図４（ｃ）に示したように、電気的な抵抗データを収集した。このような過程を通じた学習データセットを収集と並行して、学習データ用のスティックに比べて軟質であり、ヒトの指にさらに近い人工的なプラスチック材の指を使用してテストデータセットを別個に収集した。
〔ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）構成〕
基本的に、本実施例のＤＮＮ構成は、図５に示したように、二つのチャネルで構成される。一つは、位置認識用であり、他の一つは、変形（圧力）認識用である。
これらの二つのチャネルは、実際の感知状況では、同時に作動する。入力データは、ｎ−次元（１×ｎ）ベクターでベクター化し、ベクターの要素は、ｎ端子電極（ｎ＝４、８、および１６）のそれぞれから測定された実際の抵抗値の個数を意味する。入力ベクター要素の個数（ｎ）、すなわち入力ベクターの次元は、入力フィーチャーの数で表現することができる。
圧力（０ＭＰａ〜１．２ＭＰａ）の特定レベルが関連セクターに加えられ、加圧中にデータが収集される。その結果、本実施例では、各セクター当たり１５００個のｎ−次元入力ベクターを収集し、１０回の独立的な測定が各セクターで行われたのであり、これにより、全体的な学習データセットは、６×６セクターに対して５４０，０００（１，５００×３６×１０）個のｎ−次元入力ベクターを構成した。
本実施例の学習データセット構造およびテストデータセット構造を図６（ａ）および６（ｂ）に概略的に示した。位置認識用レーベル（出力）データは、６×６マトリックスの行と列を指示するセクター座標であり、変形（圧力）用レーベルデータは、実際数値である。テストデータセットは、類似したデータ構造を有するが、２回の独立的な測定のみが各セクターで行われた。何よりも注目すべき点は、テストデータセットは、各セクター学習データセットに使用された木材バーと異なるおもちゃ指により独立して用意したものである。
ＣＮＴ−ＰＤＭＳ材の圧電抵抗が変形速度に影響を受けないという点が立証されている。これは、圧電抵抗が単に絶縁体であるＰＤＭＳ基材で伝導体であるＣＮＴ分布の瞬間的な状態にのみ影響を受け、変形速度には影響を受けないことを意味する。
圧電抵抗は、図４（ａ）および４（ｂ）に示されたように、負荷周波数に関係なく、変形（変位または圧力）に完ぺきに線形的な関連性を示すものと立証された。
本発明において、「圧力」という表現は、「変形」および「変位」と共に使用することができる。「圧力」、「変位」および「変形」という用語は、実際的な観点で出力信号として同等に扱われなければならない。なぜなら、これらのすべては、非弾性挙動や焼成挙動がなく、静的および動的条件で完ぺきに線形的な関係であるためである。結果的に、ここで使用された用語にいかなる差異もない。
本発明の実施例において、ＤＮＮアーキテクチャーは、中間（隠匿）層の数、各層のノード数（ニューロン）、活性化関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）の細部内容、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）、ドロップアウト（ｄｒｏｐｏｕｔ）、バッチサイズ（ｂａｔｃｈ ｓｉｚｅ）、エポック制御（ｅｐｏｃｈ ｃｏｎｔｒｏｌ）、および有効性検査セット設定等によって分類される。
入力層のノード数は、フィーチャー数、入力ベクター次元およびプローブ端子電極数と同一である。
最終アーキテクチャー、すなわち中間（隠匿）層の数とＲｅＬＵの採択で媒介変数化したＤＮＮアーキテクチャーと各層のノード数は、多くの試みを通じて決定された。
本発明の実施例では、入力層に８個のノードがあり、出力層に３６（６×６）ノードがあるＤＮＮアーキテクチャーのみに対して具体的に学習およびテスト結果を導き出す過程を提示し、入力層に１６個のノードと４個のノードがある他のＤＮＮアーキテクチャーと学習およびテスト結果は、表１に要約して提示する。
学習およびテスト結果と共にＤＮＮアーキテクチャーバージョンが下記の表１に要約されており、４個、８個および１６個のノードがあるＤＮＮアーキテクチャーの概略図を図７ａ（位置認識用）と図７ｂ（圧力認識用）に示した。
このうち、１６個のノードの場合、学習およびテストに対して若干さらに高い正確度を得ることができる。しかしながら、単純化のためには、さらに少ないフィーチャー（本発明の実施例では、さらに少ない数のプローブ端子電極）が有利になり得るので、８−プローブ端子電極を含む装置が、１６個の電極を有するものよりさらに好ましいことがある。他方で、４個のノードを有する場合、学習およびテストの正確度が非常に低下するため、位置認識を正確に予測するのに困難がありえる。
これにより、本発明の実施例では、電極数と正確度の間の最適化のために、１６ｃｍ２領域に対するパターンのない電子皮膚用に８個のノードを使用した。
また、４フィーチャー、８フィーチャーおよび１６フィーチャーおよび１６レーベル（すなわち４×４セクター区分事例）を有するＤＮＮに対しても、データセットを生成したが、当然に学習およびテストの正確性が４×４セクターに比べてずっと良いので、その結果を省略した。
その理由は、セクター分割を微細にすることが、より精巧なセンサーを具現するのに好ましいからであり、６×６セクターに区分して得たデータは、電子皮膚を実際に皮膚に近くより写実的にシミュレーションすることができるようにする。
〔位置認識用ＤＮＮ〕
以上のような理由で、本発明の実施例では、８個のフィーチャーと３６個のレーベルのＤＮＮに焦点を合わせ、８個のプローブ端子で収集された電気抵抗信号を位置認識用ＤＮＮで８次元入力ベクターとして使用した。
位置認識用ＤＮＮアーキテクチャーは、図５に示されたように、入力層と出力層を含めて合計４個の連結された層で構成される。
入力層から出力層に各層に属する８−５７６０−１１５２−１４４−３６個のノードがある。単純な線形活性化関数が入力層から３番目の層まで適用されたが、最後に連結された層の活性化関数は、ｓｏｆｔｍａｘ関数を適用した。３個の隠匿層に対してｍａｘ（０，ｘ）臨界値を有するように活性化関数を適用するＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）が３個の隠匿層に採択され、３０％のドロップアウトを導入した。０．２５の確認比率で、確認は、毎１００世代ごとに施行された。
学習正確度は、個別学習データを基準として９８．９７％であり、特定のセクターに対するグループ（レーベルが同じ１，５００個の入力ベクターで構成されたデータセットをグループと見なした）ですべてのデータを共にまとめたとき、１００％正確度に到達した。１００％正確度は、特定のセクター（ラベル）を示す１，５００個の入力ベクターで構成されるデータセットと最も頻繁にマッチングされるラベルが実際その特定ラベルである確率をいう。
すなわち、本発明の実施例によるＤＮＮモデルは、一つの失敗もなく、３６０個の学習データセットグループのラベルを正確に予測することができ、３６０個の学習データセットグループが３６０回の独立的なタッチを示すので、すべてのタッチがＤＮＮにより成功裏に認識された。
従来のＤＮＮセットアップでは、一般的には、学習データを分離してテストに使用することが通常的である。しかしながら、本実施例では、この基準に従わず、その代わりに、ＤＮＮの剛健性を確保するために完全に異なる器具（おもちゃの指）を使用してテストデータセットを別に準備した。
テストデータセットは、圧力下でセクターを指定する当該ラベルと共に８次元ベクターであった。テストデータセットのサイズは、学習データセットのサイズより小さく、ラベルがある１０８，０００（１５００×３６×２）入力ベクトルを含む。このテストも、また、個別データ基盤とグループデータ基盤で実行された。
また、本実施例では、テスト用学習データセットの２０％を別に設定して典型的な学習およびテストを行ったのであり、この典型的なテスト結果は、個別データ基盤であるとき、９９．７８％であり、グループデータ基盤であるとき、１００％であった。これは、瞬間的に感知された８個の電気抵抗値から、〜１０−４秒の時間分解能で瞬間毎ごとに９９．７８％の正確度で正確なタッチ地点を捜し出すことを意味する。また、典型的なケースのグループデータ基盤テスト正確度は、１００％に達した。
おもちゃの指を使用した個別データ基盤テスト正確度は、９６．１９％であり、おもちゃの指を使用したグループデータ基盤テスト正確度は、９７．２２％に達した。
グループデータ基盤テスト正確度は、７２回の任意のタッチテストから始まったのであり、これは、圧力を受けている当該セクターを指定するデータセットを生成した。このためには、データセットで１，５００個の入力ベクトルをテストしなければならず、最も頻繁に一致するラベルがグループデータが示す正しいセクターと見なされた。位置認識に対するグループデータ基盤テスト正確度は、９７．２２％であるが、これは、７２個のデータセットのうち２個のデータセットのみをのがしたものであり、７２個のタッチのうちＤＮＮが２個のタッチだけが誤って表示したことを意味する。
ところが、誤って認識された２個も、正確な位置に隣接したものであり、本実施例で提案した皮膚の空間解像度が指先の接触領域より非常に小さい約６．６ｍｍであったため発生したものであり、このような種類のエラーは、実際に皮膚でも発生し得るものである。
下記の表１に示されたように、１６個のプローブ端子電極に対するテストでは、１００％の正確度を得るので、前述した実施例（８個のプローブ端子電極の使用）でタッチ位置認識の小さい誤差は、感知端子数に起因したものであるため、大きい意味はないといえる。１６個のプローブ端子電極を使用した場合に、個別データ基盤テスト正確度は、９９．２８％であり、グループデータ基準のテスト正確度は、１００％に達した。すなわち、すべてのタッチが１６フィーチャーＤＮＮモデルで正しく認識された。
一方、前述した８フィーチャーＤＮＮモデルも、正確に作動すると共に、その結果も十分に受け入れることができる水準であるので、システムの単純化の観点では、８フィーチャーＤＮＮモデルがさらに適合すると言える。
また、本発明者らは、前述したように、事前設定されたマトリックスでセクター番号を通じて位置を識別するモデルと共に、正確なタッチポイントを実際の位置と予測する回帰型（ｒｅｇｒｅｓｓｉｏｎ−ｔｙｐｅ）ＤＮＮモデルも開発した。
図８は、この回帰型ＤＮＮモデルのアーキテクチャーを示す図である。
回帰型ＤＮＮモデルを使用する場合、電子皮膚シート領域の実際座標（ｘおよびｙ）を指定する二つの値を得ることができる。回帰型ＤＮＮモデルを使用して非常に高い空間解像度が得られたのであり、下記の表２のように、回帰型ＤＮＮによって０．７８±０．４４ｍｍの解像度でモデリングが可能であった。
〔変形（圧力）評価用ＤＮＮ〕
変形（圧力）評価のためのさらに他のＤＮＮは、図５に示されたように、各層に属する８−２０４８−２５６−１ノードで構成されるアーキテクチャーで別に構成された。圧力を受けている特定のセクターに属するデータセットのみを圧力評価用ＤＮＮの学習およびテストに使用した。圧力を受けている正確なセクター位置は、位置認識ＤＮＮで荷重初期に特定されたためである。
したがって、図５に示されたように、当該圧力値に関連した１５，０００個の入力ベクトルをラベルとして使用して学習およびテストを完了した。隠匿層に対する活性化関数は、単純な線形関数であり、位置認識ＤＮＮの場合と同様に、ＲｅＬＵが適用された。しかしながら、圧力評価ＤＮＮの最後層の活性化関数は、ｓｏｆｔｍａｘでない単純な線形関数であるので、最終出力値は、変位を示す実際の数字であり、これは、線形的な関係に起因した変形または圧力と見なすことができる。
テストは、また、おもちゃの指のデータを使用して具現され、これは、各セクター当たり１，５００個であり、全体的に５４，０００個の入力ベクトルに該当する。
本実施例では、１，５００個のテスト用入力ベクトルを初期テストデータセットとして１０００個、確証テストデータセットとして５００個に無作為に分けた。
１，０００個の初期テスト入力ベクトルと当該圧力値がＤＮＮテストに使用されるとき、テスト正確度は、受け入れることができない程度であり、予測値と実験値の間には、不一致が現れた。３６個のセクターのそれぞれに対して予測されたことに対する測定された変位（圧力）のプロットを図７に示した。予測された圧力は、実験データから顕著に外れたのであり、図９に示されたように、対角線から外れた非線形曲線が形成された。このような離脱は、散った類型でなく、単に偏向した（変形された）特徴である。
これは、単純なデータ変換により補正が可能であることを意味する。これと関連して、本実施例では、２次多項式関数を回帰モデル（ｌｎ（ｙ）＝β０＋β１ｘ＋β２ｘ２）で導入して回帰分析を行い、回帰分析結果は、図９の赤色線で表示した。
その後、５００個の入力ベクトルと出力圧力値で構成された確証テストデータセットを使用してＤＮＮをテストし、回帰分析のデータ変換を統合した。最終的に、本実施例では、ＤＮＮと非線形回帰に基づく信頼できる圧力認識用予測モデルを得た。
図１０は、３６個のセクターそれぞれに対する予測圧力対実験圧力のプロットを示す確証テストデータセットを示す。ＤＮＮモデリングと後続回帰分析は、実験的に測定された圧力と予測された圧力の間の完全な線形関係を達成するために確証的なテストデータセット変換を作った。このような計算過程を通じて、圧力下の特定セクター位置で高い正確度で圧力水準を即刻に予測することができた。３６個のセクターに対する平均ＲＭＳＥは、３．１２％と推定され、これは、ＤＮＮが実際人工皮膚に適用される時に完ぺきに受け入れられ得る水準である。
〔空間解像度および圧力感知度〕
本発明の実施例に提案された電子皮膚の圧力感知のための空間分解能は、センサーの機能を向上させるが、本発明の電子皮膚は、追加として装置の構造を物理的に変更する努力をしなくても、非常に容易に空間解像度を調節できるものである。
本発明の実施例による電子皮膚の場合、学習条件の変更、例えばフィーチャーの数（プローブ端子の数）、仮想面積分割方式およびデータの量を変化させることによって、空間分解能の調節が可能である。
本発明の実施例において６×６分割電子皮膚に対して６．６ｍｍの空間解像度を得た。このような空間解像度は、より微細な仮想細分化を採択し、プローブ端子の数を増加させることによって、さらに低減することができ、このために電子皮膚の構造自体を変更する必要がない。
例えば、４０×４０ｍｍサイズの電子皮膚シートを１０×１０仮想セクターと１６個のプローブ端子を使用して学習させる場合、空間解像度を約４ｍｍに低減することができるが、最先端触覚センサーの空間解像度が約２．５ｍｍである点を考慮する時、非常に優れた結果と言える。
本発明において仮想細分化設計の自由度は、基本的に無限であるので、どんな解像度でも達成することができるが、本発明の実施例のピック−ブロックタイプ（ｐｉｃｋ−ｂｌｏｃｋ ｔｙｐｅ）テストは、時間と費用の問題によって、前述したように制限された解像度で試験された。
このような点を考慮して、前述した表２の結果のように、回帰型ＤＮＮを導入したモデリングでは、実際空間座標（ｘおよびｙ）を０．７８±０．４４ｍｍの解像度を具現することができ、この結果は、従来のパターンを基盤とするセンシング装置が追いつくことができない追いつく高い水準の空間解像度である。
また、本発明の実施例によるＤＮＮモデルは、８個の電気抵抗信号から単一の圧力値を予測するので、従来の圧力感知システムより短い時間フレーム（＜１０−４秒）で高い圧力感知度を確保するに非常に有利である。これに対し、従来のパターン化したセンサーマトリックスで構成される電子皮膚の場合、特定の位置で圧力感知を担当する単一センサーが作動して、当該位置の圧力値を感知する。
従来のパターン化したセンサーマトリックスで構成される電子皮膚の場合、特定の位置での圧力値は、一対一の関係に基づく単一圧力対抵抗曲線から予測される。
これに対し、本発明の実施例によるＤＮＮ駆動電子皮膚の場合、圧力感知のために少なくとも８個の抵抗値から１個の圧力値を予測するいわゆる８対１誘導（ｄｅｒｉｖａｔｉｏｎ）をするので、従来の１対１誘導に比べて非常に敏感な圧力予測値を提供することができる。特に、小さい勾配のノイズが多いデータを使用する場合に有利になり得る。
一例として、図１１は、特定のセクター位置（６×６セクターマトリックスの４番目の行と３番目の列）で圧力関数としての８個の電気抵抗曲線で、高い圧力測定のための厚くてかつ丈夫なシート（図１１（ａ））のものと、低い圧力検出のための薄くてかつやわらかいフィルム（図１１（ｂ））のものを示す図である。
図１１のすべての圧力対抵抗曲線は、信頼性の高い圧力感知が可能な水準の低いノイズを有する勾配を示しているが、ノイズがずっと多い他の場合にも感知が可能である。これは、本発明によるＤＮＮ駆動電子皮膚（センサー）の場合には、多数の（例えば８個または１６個）圧力対抵抗曲線を使用するためである。
本発明は、マシンラーニングを利用したセンシング方法とセンシングシステムに関する。
電子皮膚と呼ばれる人工皮膚を製造するための絶え間ない努力が進められてきており、機能的な性能の側面では、実際ヒトの皮膚に近接した水準になった。
そして、電子皮膚の性能を左右する主要素は、接触位置および当該位置の変形（または圧力）を認識することを具備した触覚感知である。
このような電子皮膚用として多数の変形（ｓｔｒａｉｎ）センサーが開発されている。既存の電子皮膚においていかなる変形センサータイプを考慮しても、すべての電子皮膚に備えられる共通の構成は、いわゆる特定領域に対するパターンと呼ばれる装置要素の規則的な配列である。
このようなパターン、すなわち単層または多層に対する多重モード配列は、信頼性のある電子皮膚を具現するのに必須であり、これなしには、システム的に皮膚の特定領域に対する圧力分布を検出できる方法がない。
これと関連して、抵抗型、静電容量型、誘導型、圧電抵抗型、光学型、磁性型、バイナリ型、圧電電気型、または油圧型センサー装置のように多様な形態の触覚または位置センサーが開発されている。
ところが、このようなすべてのセンサーは、検出された信号を処理するための論理回路設計を具備した多層基板上に装置要素の特定のパターンを具備する。例えば、抵抗タッチパネル用に開発された層間に配置されたきわめて単純なスペーサーパターンから、複雑なワイヤー配列を具備した変形ゲージセンサー用パターンとＴＦＴ配列パターンのようにきわめて複雑なパターンに至る多様な形態がある。
また、パターンの製造方法も、単純なプリント法から複雑な半導体工程を使用するものまで非常に広い間隙がある。ところが、信頼性の高い電子皮膚を低コストで製造するに際して、パターン形成工程は、主要な障壁の一つになっている。
また、従来の電子皮膚に関するセンシング装置では、負荷の位置認識は可能であったが、負荷の圧力程度は認識しにくいという問題点もある。
本発明の一つの目的は、マシンラーニング技法を使用して、電子皮膚をはじめとして多様な装置に使用されて、負荷の位置認識だけでなく、負荷の程度を正確に測定できるセンシング方法と、このセンシング方法を適用したセンシングシステムを提供することにある。
本発明の他の目的は、マシンラーニング技法を使用して、パターンが形成されていない材料を使用しても、負荷の位置認識と負荷の程度を測定できるセンシング方法とセンシングシステムを提供することにある。
前記目的を達成するための本発明によるセンシング方法は、外部刺激に対して検出可能な信号を生成する材料の任意の位置に刺激を複数回加える段階と、前記刺激を通じて生成された信号を使用してマシンラーニングを行う段階と、マシンラーニングを通じて導き出した関数を利用して前記材料に加えられる刺激の位置または程度を予測する段階とを含む。
また、前記センシング方法において、前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行うことができる。
また、前記センシング方法において、前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行うことができる。
また、前記センシング方法において、前記材料は、単純化の側面で規則的なパターンが形成されていない物質が最も好ましいが、一定のパターンが形成されているものも、センシングをする機能の側面では制限事項にならない。
また、前記センシング方法は、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサーに使用することができる。
また、前記センシング方法において、複数個の仮想セクターに区分して刺激を加える場合、単一のセクター別に垂直荷重を加えたり、多重荷重を２個以上のセクターに加えることができる。
また、前記センシング方法において、仮想セクターに区分することなく、任意の位置に刺激を加えるときにも、単一の垂直荷重を加えたり、様々な位置に垂直荷重を同時に加えることができる。
前記他の目的を達成するための本発明によるセンシングシステムは、外部刺激に対して検出可能な信号を発生する材料と、前記材料に刺激を複数回加え、生成された信号を使用してマシンラーニングを行って、導き出された関数を記憶する記憶手段と、前記関数を利用して前記材料に加えられる刺激の位置または程度を演算する演算手段とを含む。
また、前記センシングシステムにおいて、前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行うことができる。
また、前記センシングシステムにおいて、前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行うことができる。
また、前記センシングシステムにおいて、前記材料は、単純化の側面で規則的なパターンが形成されていない物質が最も好ましいが、一定のパターンが形成されているものも、センシングをする機能の側面では制限事項にならない。
また、前記センシングシステムは、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用であってもよい。
本発明によるセンシング方法とセンシングシステムによれば、マシンラーニングを通じて、センシングシステムに加えられる負荷の位置と程度を正確に測定することができる。
また、本発明の一実施例によれば、規則的なパターンがないとしても、センシングシステムに加えられる負荷の位置と程度を正確に予測することができるため、人工皮膚のような領域の製造コストを顕著に節減することができる。
また、本発明の一実施例によれば、材料の標準化がある程度行われる場合、特定材料の学習結果を同種の他の材料にも適用することができることとなり、学習ｔ時間および費用を大きく節減することができる。
また、本発明の一実施例によれば、例えばＰＤＭＳ基材に均質に分布したＣＮＴを具備した圧電抵抗複合フィルムのような単純なシートまたはフィルムを使用して、大面積でも具現され得ると共に、信頼性の高い変形（および位置）感知が可能であり、同時に規則的なパターンや多層構造を必要としない。
また、本発明の一実施例によれば、ＰＤＭＳ基材の硬化剤分率、ＣＮＴ添加比率、シートの厚さ等を制御すると、弱い触感水準から苦痛を感じる水準まで広範囲な圧力感知が可能である。
また、本発明の一実施例によれば、単純な単一のセクター別の垂直荷重以外に複雑な多重荷重が２個以上のセクターに作用する場合も、ＤＮＮの学習でセンシング可能である。
また、本発明によるセンシング方法およびセンシングシステムは、電子皮膚はもちろん、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用にも適用することができる。
例えば、検出可能な信号を生成する非常に薄いフレキシブル材料（例えば、プラスチックフィルム）からなる材料の表面にキーボードを印刷して本発明による学習過程を経る場合、フレキシブルキーボードとして使用することができ、このキーボードは、容易に携帯可能であり、既存の携帯用キーボードに比べて改善された便宜性を提供することができる。
図１は、本発明の実施例において電子皮膚に使用したＣＮＴ／ＰＤＭＳ複合フィルムの概略図である。 図２は、本発明の実施例による電子皮膚のマシンラーニングのためのＣＮＴ／ＰＤＭＳ複合フィルムに負荷を加えるための装置（木の棒およびおもちゃの指）と電気的信号を検出するための端子（中間の図面）の配置を示す図である。 図３は、本発明の実施例による電子皮膚の学習およびテスト用システムの構成図である。 図４ａは、図面の右側に示す一軸引張試験片に対して１Ｈｚの周波数を有する周期的荷重に対する時間の関数として荷重（変位または圧力）および電気抵抗を示すプロットを示す図である。 図４ｂは、１、３および６Ｈｚの周波数で一軸引張試験片に対する電気抵抗対変位のプロットを示す図である。 図４ｃは、８個のプローブ端子電極信号ｖｓ．６×６セクター位置での変位（圧力）および０〜１．２ＭＰａの圧力範囲での圧力対変位曲線（右下側）を示す図である。 図５は、本発明の実施例で適用したディープラーニングのための階層図である。 図６は、本発明の実施例で使用したデータセット構造を示す図である。 図７ａは、本発明の実施例で使用した４、８および１６フィーチャー（ｆｅａｔｕｒｅ）を有する位置認識用ＤＮＮアーキテクチャーを示す図である。 図７ｂは、本発明の実施例で使った８および１６フィーチャーを有する圧力認識用ＤＮＮアーキテクチャーを示す図である。 図８は、仮想のセクター区分なしに実際座標を得るための回帰型ＤＮＮアーキテクチャーを示す図である。 図９は、本発明の実施例で行った３６（６×６）個の仮想セクターのそれぞれに対して予測されたものに対する測定された変位（圧力）のプロットを示す図である。 図１０は、本発明の実施例で行った３６個のセクターのそれぞれに対する予測圧力対実験圧力のプロットを示す図である。 図１１は、特定のセクター位置（６×６セクターマトリックスの４番目の行と３番目の列）で圧力関数としての８個の電気抵抗曲線で、高い圧力測定のための厚くてかつ丈夫なシート（図１１（ａ））のものと、低い圧力検出のための薄くてかつやわらかいフィルム（図１１（ｂ））のものを示す図である。
以下、本発明の好ましい実施例について説明するが、本発明が下記好ましい実施例に限定されて解釈されてはならず、本発明の概念の範囲内で多様な形態の変形が可能になり得るものと解釈すべきである。
〔ＣＮＴ／ＰＤＭＳ圧電抵抗複合フィルムの製造〕
商用のＭＷＣＮＴ（マルチウォールカーボンナノチューブ、以下、「ＣＮＴ」という、ナノマテリアルテクノロジー社）とＰＤＭＳ（Ｓｙｌｇａｒｄ（登録商標）１８４ Ｓｉｌｉｃｏｎｅ Ｅｌａｓｔｏｍｅｒ）を使用して、図１に概略的に示されたように、ＣＮＴが無作為に分布した均質な複合材を合成した。
ＣＮＴは、長さ５μｍ、直径２０ｎｍのマルチウォールを有するものを使用し、プラスチックシリンダー容器に液状のＰＤＭＳを入れ、１重量％のＣＮＴを混合し、撹拌した後、ＰＤＭＳを硬化させることによって、圧電抵抗パッチを製造した。
具体的に、ＰＤＭＳ内でＣＮＴの凝集がない均質な分散のために、１０ｍｍの直径を有する若干のアルミナボールを投入し、プラナタリーせん断ミキサーを使用して２時間の間４００ｒｐｍの速度で撹拌した。以後、ＰＤＭＳ硬化剤をＰＤＭＳ重量の１０％になるように添加した後、２０分間プラナタリーせん断混合器に維持した。最後に、複合材内に気泡がトラップされないように２０分間真空状態で脱ガス処理を行った。ガラス板上に、モールドを準備し、ドクターブレード法を使用して、圧電抵抗ＣＮＴ／ＰＤＭＳ複合材を鋳造した。そして、ガラス基板を６０℃で３０分間加熱して、ＣＮＴ／ＰＤＭＳ複合材が横×縦×厚さ寸法が４０ｍｍ×４０ｍｍ×５ｍｍになるように固化させた。
また、薄いフィルムを形成するために、０．１ｍｍ、１ｍｍ、および２ｍｍの深さを有する他のモールドも使用し、ＰＤＭＳ硬化剤の調節を通じてシートの弾性特性を多様にした。
このような過程を通じて、図２の中間の写真から確認されるように、表面にいかなるパターン構造も形成されていないＣＮＴ−ＰＤＭＳ複合シートを製造した。
本発明の実施例では、ＣＮＴ−ＰＤＭＳ複合シートを使用したが、刺激に対して信号を発生し得るものであれば、例えばＩＴＯ基板、導電性物質が特定のパターンを成さないように含まれたゴム板等のように多様な形態の物質からなるシートを使用することができる。
〔学習およびテストデータの収集〕
図２の中間の写真から分かるように、数本の銅線をＣＮＴ−ＰＤＭＳパッチの側面に２０ｍｍの間隔で配置されたＣＮＴ−ＰＤＭＳ端子に連結した。また、ＣＮＴ−ＰＤＭＳパッチの中央には、グラウンドを配置し、直流５Ｖバイアスを加えた。
様々な抵抗測定プローブ端子は、パターンがないセンサーパッチで重要な役割をするので、各側面に１個から４個のプローブを多様に使用した。図２は、本発明の実施例において各側面に２個のプローブを連結したパッチ（中央）の実際の写真である。
また、試験段階の構成図を図３に示した。図３に示したように、本発明の実施例による電子皮膚用学習およびテストは、負荷を加える装置（Ｉｎｓｔｒｏｎ ３０００）と、該装置に装着された試験片と、該試験片から電気的信号を検出するプローブと、前記装置から受けた荷重および変位データとプローブから回路を経て受けた電気信号データをデジタルに変換するＤＡＱと、変換したデータを演算し、前記装置に信号を伝達するコンピュータとを含んでなる。
パッチ学習は、インストロンＥ３０００を使用した。全体圧電抵抗パッチ領域は、仮想的にｍ×ｍセクター（ｍ＝４、６および１０）に分割された。このような仮想セクターの分割により指接触面積に相当する程度の単一のセクター面積（すなわち空間解像度）が付与される。
インストロンＥ３０００には、図２の右側に示されたように、丸い先端を有するシリンダー型バーを装着して、システム的に圧電抵抗パッチの選択されたセクター領域を加圧するようにした。
また、加圧地点を変更するために、稼動ｘ−ｙステージ上に圧電抵抗パッチを配置した。
それぞれのセクターに反復的な加圧を通じて、パッチの側面に配置された４個、８個および１６個のプローブから、図４（ｃ）に示したように、電気的な抵抗データを収集した。このような過程を通じた学習データセットを収集と並行して、学習データ用のスティックに比べて軟質であり、ヒトの指にさらに近い人工的なプラスチック材の指を使用してテストデータセットを別個に収集した。
〔ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）構成〕
基本的に、本実施例のＤＮＮ構成は、図５に示したように、二つのチャネルで構成される。一つは、位置認識用であり、他の一つは、変形（圧力）認識用である。
これらの二つのチャネルは、実際の感知状況では、同時に作動する。入力データは、ｎ−次元（１×ｎ）ベクターでベクター化し、ベクターの要素は、ｎ端子電極（ｎ＝４、８、および１６）のそれぞれから測定された実際の抵抗値の個数を意味する。入力ベクター要素の個数（ｎ）、すなわち入力ベクターの次元は、入力フィーチャーの数で表現することができる。
圧力（０ＭＰａ〜１．２ＭＰａ）の特定レベルが関連セクターに加えられ、加圧中にデータが収集される。その結果、本実施例では、各セクター当たり１５００個のｎ−次元入力ベクターを収集し、１０回の独立的な測定が各セクターで行われたのであり、これにより、全体的な学習データセットは、６×６セクターに対して５４０，０００（１，５００×３６×１０）個のｎ−次元入力ベクターを構成した。
本実施例の学習データセット構造およびテストデータセット構造を図６（ａ）および６（ｂ）に概略的に示した。位置認識用レーベル（出力）データは、６×６マトリックスの行と列を指示するセクター座標であり、変形（圧力）用レーベルデータは、実際数値である。テストデータセットは、類似したデータ構造を有するが、２回の独立的な測定のみが各セクターで行われた。何よりも注目すべき点は、テストデータセットは、各セクター学習データセットに使用された木材バーと異なるおもちゃ指により独立して用意したものである。
ＣＮＴ−ＰＤＭＳ材の圧電抵抗が変形速度に影響を受けないという点が立証されている。これは、圧電抵抗が単に絶縁体であるＰＤＭＳ基材で伝導体であるＣＮＴ分布の瞬間的な状態にのみ影響を受け、変形速度には影響を受けないことを意味する。
圧電抵抗は、図４（ａ）および４（ｂ）に示されたように、負荷周波数に関係なく、変形（変位または圧力）に完ぺきに線形的な関連性を示すものと立証された。
本発明において、「圧力」という表現は、「変形」および「変位」と共に使用することができる。「圧力」、「変位」および「変形」という用語は、実際的な観点で出力信号として同等に扱われなければならない。なぜなら、これらのすべては、非弾性挙動や焼成挙動がなく、静的および動的条件で完ぺきに線形的な関係であるためである。結果的に、ここで使用された用語にいかなる差異もない。
本発明の実施例において、ＤＮＮアーキテクチャーは、中間（隠匿）層の数、各層のノード数（ニューロン）、活性化関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）の細部内容、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）、ドロップアウト（ｄｒｏｐｏｕｔ）、バッチサイズ（ｂａｔｃｈ ｓｉｚｅ）、エポック制御（ｅｐｏｃｈ ｃｏｎｔｒｏｌ）、および有効性検査セット設定等によって分類される。
入力層のノード数は、フィーチャー数、入力ベクター次元およびプローブ端子電極数と同一である。
最終アーキテクチャー、すなわち中間（隠匿）層の数とＲｅＬＵの採択で媒介変数化したＤＮＮアーキテクチャーと各層のノード数は、多くの試みを通じて決定された。
本発明の実施例では、入力層に８個のノードがあり、出力層に３６（６×６）ノードがあるＤＮＮアーキテクチャーのみに対して具体的に学習およびテスト結果を導き出す過程を提示し、入力層に１６個のノードと４個のノードがある他のＤＮＮアーキテクチャーと学習およびテスト結果は、表１に要約して提示する。
学習およびテスト結果と共にＤＮＮアーキテクチャーバージョンが下記の表１に要約されており、４個、８個および１６個のノードがあるＤＮＮアーキテクチャーの概略図を図７ａ（位置認識用）と図７ｂ（圧力認識用）に示した。
このうち、１６個のノードの場合、学習およびテストに対して若干さらに高い正確度を得ることができる。しかしながら、単純化のためには、さらに少ないフィーチャー（本発明の実施例では、さらに少ない数のプローブ端子電極）が有利になり得るので、８−プローブ端子電極を含む装置が、１６個の電極を有するものよりさらに好ましいことがある。他方で、４個のノードを有する場合、学習およびテストの正確度が非常に低下するため、位置認識を正確に予測するのに困難がありえる。
これにより、本発明の実施例では、電極数と正確度の間の最適化のために、１６ｃｍ２領域に対するパターンのない電子皮膚用に８個のノードを使用した。
また、４フィーチャー、８フィーチャーおよび１６フィーチャーおよび１６レーベル（すなわち４×４セクター区分事例）を有するＤＮＮに対しても、データセットを生成したが、当然に学習およびテストの正確性が４×４セクターに比べてずっと良いので、その結果を省略した。
その理由は、セクター分割を微細にすることが、より精巧なセンサーを具現するのに好ましいからであり、６×６セクターに区分して得たデータは、電子皮膚を実際に皮膚に近くより写実的にシミュレーションすることができるようにする。
〔位置認識用ＤＮＮ〕
以上のような理由で、本発明の実施例では、８個のフィーチャーと３６個のレーベルのＤＮＮに焦点を合わせ、８個のプローブ端子で収集された電気抵抗信号を位置認識用ＤＮＮで８次元入力ベクターとして使用した。
位置認識用ＤＮＮアーキテクチャーは、図５に示されたように、入力層と出力層を含めて合計４個の連結された層で構成される。
入力層から出力層に各層に属する８−５７６０−１１５２−１４４−３６個のノードがある。単純な線形活性化関数が入力層から３番目の層まで適用されたが、最後に連結された層の活性化関数は、ｓｏｆｔｍａｘ関数を適用した。３個の隠匿層に対してｍａｘ（０，ｘ）臨界値を有するように活性化関数を適用するＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）が３個の隠匿層に採択され、３０％のドロップアウトを導入した。０．２５の確認比率で、確認は、毎１００世代ごとに施行された。
学習正確度は、個別学習データを基準として９８．９７％であり、特定のセクターに対するグループ（レーベルが同じ１，５００個の入力ベクターで構成されたデータセットをグループと見なした）ですべてのデータを共にまとめたとき、１００％正確度に到達した。１００％正確度は、特定のセクター（ラベル）を示す１，５００個の入力ベクターで構成されるデータセットと最も頻繁にマッチングされるラベルが実際その特定ラベルである確率をいう。
すなわち、本発明の実施例によるＤＮＮモデルは、一つの失敗もなく、３６０個の学習データセットグループのラベルを正確に予測することができ、３６０個の学習データセットグループが３６０回の独立的なタッチを示すので、すべてのタッチがＤＮＮにより成功裏に認識された。
従来のＤＮＮセットアップでは、一般的には、学習データを分離してテストに使用することが通常的である。しかしながら、本実施例では、この基準に従わず、その代わりに、ＤＮＮの剛健性を確保するために完全に異なる器具（おもちゃの指）を使用してテストデータセットを別に準備した。
テストデータセットは、圧力下でセクターを指定する当該ラベルと共に８次元ベクターであった。テストデータセットのサイズは、学習データセットのサイズより小さく、ラベルがある１０８，０００（１５００×３６×２）入力ベクトルを含む。このテストも、また、個別データ基盤とグループデータ基盤で実行された。
また、本実施例では、テスト用学習データセットの２０％を別に設定して典型的な学習およびテストを行ったのであり、この典型的なテスト結果は、個別データ基盤であるとき、９９．７８％であり、グループデータ基盤であるとき、１００％であった。これは、瞬間的に感知された８個の電気抵抗値から、〜１０−４秒の時間分解能で瞬間毎ごとに９９．７８％の正確度で正確なタッチ地点を捜し出すことを意味する。また、典型的なケースのグループデータ基盤テスト正確度は、１００％に達した。
おもちゃの指を使用した個別データ基盤テスト正確度は、９６．１９％であり、おもちゃの指を使用したグループデータ基盤テスト正確度は、９７．２２％に達した。
グループデータ基盤テスト正確度は、７２回の任意のタッチテストから始まったのであり、これは、圧力を受けている当該セクターを指定するデータセットを生成した。このためには、データセットで１，５００個の入力ベクトルをテストしなければならず、最も頻繁に一致するラベルがグループデータが示す正しいセクターと見なされた。位置認識に対するグループデータ基盤テスト正確度は、９７．２２％であるが、これは、７２個のデータセットのうち２個のデータセットのみをのがしたものであり、７２個のタッチのうちＤＮＮが２個のタッチだけが誤って表示したことを意味する。
ところが、誤って認識された２個も、正確な位置に隣接したものであり、本実施例で提案した皮膚の空間解像度が指先の接触領域より非常に小さい約６．６ｍｍであったため発生したものであり、このような種類のエラーは、実際に皮膚でも発生し得るものである。
下記の表１に示されたように、１６個のプローブ端子電極に対するテストでは、１００％の正確度を得るので、前述した実施例（８個のプローブ端子電極の使用）でタッチ位置認識の小さい誤差は、感知端子数に起因したものであるため、大きい意味はないといえる。１６個のプローブ端子電極を使用した場合に、個別データ基盤テスト正確度は、９９．２８％であり、グループデータ基準のテスト正確度は、１００％に達した。すなわち、すべてのタッチが１６フィーチャーＤＮＮモデルで正しく認識された。
一方、前述した８フィーチャーＤＮＮモデルも、正確に作動すると共に、その結果も十分に受け入れることができる水準であるので、システムの単純化の観点では、８フィーチャーＤＮＮモデルがさらに適合すると言える。
また、本発明者らは、前述したように、事前設定されたマトリックスでセクター番号を通じて位置を識別するモデルと共に、正確なタッチポイントを実際の位置と予測する回帰型（ｒｅｇｒｅｓｓｉｏｎ−ｔｙｐｅ）ＤＮＮモデルも開発した。
図８は、この回帰型ＤＮＮモデルのアーキテクチャーを示す図である。
回帰型ＤＮＮモデルを使用する場合、電子皮膚シート領域の実際座標（ｘおよびｙ）を指定する二つの値を得ることができる。回帰型ＤＮＮモデルを使用して非常に高い空間解像度が得られたのであり、下記の表２のように、回帰型ＤＮＮによって０．７８±０．４４ｍｍの解像度でモデリングが可能であった。
〔変形（圧力）評価用ＤＮＮ〕
変形（圧力）評価のためのさらに他のＤＮＮは、図５に示されたように、各層に属する８−２０４８−２５６−１ノードで構成されるアーキテクチャーで別に構成された。圧力を受けている特定のセクターに属するデータセットのみを圧力評価用ＤＮＮの学習およびテストに使用した。圧力を受けている正確なセクター位置は、位置認識ＤＮＮで荷重初期に特定されたためである。
したがって、図５に示されたように、当該圧力値に関連した１５，０００個の入力ベクトルをラベルとして使用して学習およびテストを完了した。隠匿層に対する活性化関数は、単純な線形関数であり、位置認識ＤＮＮの場合と同様に、ＲｅＬＵが適用された。しかしながら、圧力評価ＤＮＮの最後層の活性化関数は、ｓｏｆｔｍａｘでない単純な線形関数であるので、最終出力値は、変位を示す実際の数字であり、これは、線形的な関係に起因した変形または圧力と見なすことができる。
テストは、また、おもちゃの指のデータを使用して具現され、これは、各セクター当たり１，５００個であり、全体的に５４，０００個の入力ベクトルに該当する。
本実施例では、１，５００個のテスト用入力ベクトルを初期テストデータセットとして１０００個、確証テストデータセットとして５００個に無作為に分けた。
１，０００個の初期テスト入力ベクトルと当該圧力値がＤＮＮテストに使用されるとき、テスト正確度は、受け入れることができない程度であり、予測値と実験値の間には、不一致が現れた。３６個のセクターのそれぞれに対して予測されたことに対する測定された変位（圧力）のプロットを図７に示した。予測された圧力は、実験データから顕著に外れたのであり、図９に示されたように、対角線から外れた非線形曲線が形成された。このような離脱は、散った類型でなく、単に偏向した（変形された）特徴である。
これは、単純なデータ変換により補正が可能であることを意味する。これと関連して、本実施例では、２次多項式関数を回帰モデル（ｌｎ（ｙ）＝β０＋β１ｘ＋β２ｘ２）で導入して回帰分析を行い、回帰分析結果は、図９の赤色線で表示した。
その後、５００個の入力ベクトルと出力圧力値で構成された確証テストデータセットを使用してＤＮＮをテストし、回帰分析のデータ変換を統合した。最終的に、本実施例では、ＤＮＮと非線形回帰に基づく信頼できる圧力認識用予測モデルを得た。
図１０は、３６個のセクターそれぞれに対する予測圧力対実験圧力のプロットを示す確証テストデータセットを示す。ＤＮＮモデリングと後続回帰分析は、実験的に測定された圧力と予測された圧力の間の完全な線形関係を達成するために確証的なテストデータセット変換を作った。このような計算過程を通じて、圧力下の特定セクター位置で高い正確度で圧力水準を即刻に予測することができた。３６個のセクターに対する平均ＲＭＳＥは、３．１２％と推定され、これは、ＤＮＮが実際人工皮膚に適用される時に完ぺきに受け入れられ得る水準である。
〔空間解像度および圧力感知度〕
本発明の実施例に提案された電子皮膚の圧力感知のための空間分解能は、センサーの機能を向上させるが、本発明の電子皮膚は、追加として装置の構造を物理的に変更する努力をしなくても、非常に容易に空間解像度を調節できるものである。
本発明の実施例による電子皮膚の場合、学習条件の変更、例えばフィーチャーの数（プローブ端子の数）、仮想面積分割方式およびデータの量を変化させることによって、空間分解能の調節が可能である。
本発明の実施例において６×６分割電子皮膚に対して６．６ｍｍの空間解像度を得た。このような空間解像度は、より微細な仮想細分化を採択し、プローブ端子の数を増加させることによって、さらに低減することができ、このために電子皮膚の構造自体を変更する必要がない。
例えば、４０×４０ｍｍサイズの電子皮膚シートを１０×１０仮想セクターと１６個のプローブ端子を使用して学習させる場合、空間解像度を約４ｍｍに低減することができるが、最先端触覚センサーの空間解像度が約２．５ｍｍである点を考慮する時、非常に優れた結果と言える。
本発明において仮想細分化設計の自由度は、基本的に無限であるので、どんな解像度でも達成することができるが、本発明の実施例のピック−ブロックタイプ（ｐｉｃｋ−ｂｌｏｃｋ ｔｙｐｅ）テストは、時間と費用の問題によって、前述したように制限された解像度で試験された。
このような点を考慮して、前述した表２の結果のように、回帰型ＤＮＮを導入したモデリングでは、実際空間座標（ｘおよびｙ）を０．７８±０．４４ｍｍの解像度を具現することができ、この結果は、従来のパターンを基盤とするセンシング装置が追いつくことができない追いつく高い水準の空間解像度である。
また、本発明の実施例によるＤＮＮモデルは、８個の電気抵抗信号から単一の圧力値を予測するので、従来の圧力感知システムより短い時間フレーム（＜１０−４秒）で高い圧力感知度を確保するに非常に有利である。これに対し、従来のパターン化したセンサーマトリックスで構成される電子皮膚の場合、特定の位置で圧力感知を担当する単一センサーが作動して、当該位置の圧力値を感知する。
従来のパターン化したセンサーマトリックスで構成される電子皮膚の場合、特定の位置での圧力値は、一対一の関係に基づく単一圧力対抵抗曲線から予測される。
これに対し、本発明の実施例によるＤＮＮ駆動電子皮膚の場合、圧力感知のために少なくとも８個の抵抗値から１個の圧力値を予測するいわゆる８対１誘導（ｄｅｒｉｖａｔｉｏｎ）をするので、従来の１対１誘導に比べて非常に敏感な圧力予測値を提供することができる。特に、小さい勾配のノイズが多いデータを使用する場合に有利になり得る。
一例として、図１１は、特定のセクター位置（６×６セクターマトリックスの４番目の行と３番目の列）で圧力関数としての８個の電気抵抗曲線で、高い圧力測定のための厚くてかつ丈夫なシート（図１１（ａ））のものと、低い圧力検出のための薄くてかつやわらかいフィルム（図１１（ｂ））のものを示す図である。
図１１のすべての圧力対抵抗曲線は、信頼性の高い圧力感知が可能な水準の低いノイズを有する勾配を示しているが、ノイズがずっと多い他の場合にも感知が可能である。これは、本発明によるＤＮＮ駆動電子皮膚（センサー）の場合には、多数の（例えば８個または１６個）圧力対抵抗曲線を使用するためである。
本発明は未来創造科学部が支援し財団法人韓国研究財団が主管した未来素材ディスカバリー事業（課題番号：２０１５M３D１A１０６９７０５、課題名：ヒューリスティックス電算ベース無機素材創製研究）から支援を受けて行われた研究結果である。

Claims (11)

  1. 外部刺激に対して検出可能な信号を生成する材料の任意の位置に刺激を複数回加える段階と、
    前記刺激を通じて生成された信号を使用してマシンラーニングを行う段階と、
    マシンラーニングを通じて導き出した関数を利用して前記材料に加えられる刺激の位置または程度を予測する段階とを含むセンシング方法。
  2. 前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行う、請求項１に記載のセンシング方法。
  3. 前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行う、請求項１に記載のセンシング方法。
  4. 前記材料は、規則的なパターンが形成されていない物質である、請求項１〜３のいずれかに記載のセンシング方法。
  5. 前記センシング方法は、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用である、請求項１〜３のいずれかに記載のセンシング方法。
  6. 前記刺激を加えることは、単一のセクター別に垂直荷重を加えたり、多重荷重を２個以上のセクターに加えることである、請求項２に記載のセンシング方法。
  7. 外部刺激に対して検出可能な信号を発生する材料と、
    前記材料に刺激を複数回加え、生成された信号を使用してマシンラーニングを行って、導き出された関数を記憶する記憶手段と、
    前記関数を利用して前記材料に加えられる刺激の位置または程度を演算する演算手段とを含むセンシングシステム。
  8. 前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行う、請求項７に記載のセンシングシステム。
  9. 前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行う、請求項７に記載のセンシングシステム。
  10. 前記材料は、規則的なパターンが形成されていない物質である、請求項７〜９のいずれかに記載のセンシングシステム。
  11. 前記センシングシステムは、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用である、請求項７〜９のいずれかに記載のセンシングシステム。
JP2019518359A 2017-01-09 2018-01-09 マシンラーニングを利用したセンシング方法とセンシングシステム Pending JP2019522302A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2017-0002695 2017-01-09
KR20170002695 2017-01-09
KR10-2017-0041405 2017-03-31
KR1020170041405A KR102016208B1 (ko) 2017-01-09 2017-03-31 규칙적인 패턴이 형성되어 있지 않는 재료를 센서로 활용하는 방법과 센싱 시스템
PCT/KR2018/000383 WO2018128513A1 (ko) 2017-01-09 2018-01-09 머신러닝을 이용한 센싱 방법과 센싱 시스템

Publications (1)

Publication Number Publication Date
JP2019522302A true JP2019522302A (ja) 2019-08-08

Family

ID=63049136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518359A Pending JP2019522302A (ja) 2017-01-09 2018-01-09 マシンラーニングを利用したセンシング方法とセンシングシステム

Country Status (4)

Country Link
US (1) US20190321643A1 (ja)
EP (1) EP3567529A4 (ja)
JP (1) JP2019522302A (ja)
KR (1) KR102016208B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023161341A (ja) * 2022-04-25 2023-11-07 国立大学法人九州工業大学 力学量センサ及びそれを有するロボット並びに力学量のセンシング方法及び力学量センサの製造方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113994181B (zh) 2019-06-24 2024-11-08 阿尔伯特-路德维希-弗莱堡大学 触觉传感器和操作触觉传感器的方法
KR20190104101A (ko) * 2019-08-19 2019-09-06 엘지전자 주식회사 전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법, 장치 및 시스템
CN111964821A (zh) * 2020-08-05 2020-11-20 清华大学深圳国际研究生院 一种电子皮肤的压触预测方法及压触预测模型
KR102740318B1 (ko) * 2020-10-08 2024-12-09 서울대학교산학협력단 고감도 피부형 센서 및 이를 이용한 인체동작 추적방법
CN112710415A (zh) * 2020-12-01 2021-04-27 南京理工大学 一种高精度平面压阻传感器系统及其使用方法
CN113008418A (zh) * 2021-02-26 2021-06-22 福州大学 一种压阻型柔性触觉传感器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957682A (zh) * 2010-09-16 2011-01-26 南京航空航天大学 载荷识别交互式电子白板及实现方法
JP2011253517A (ja) * 2010-05-06 2011-12-15 Murata Mfg Co Ltd タッチパネル、ならびにタッチ式入力装置およびその制御方法
WO2013069447A1 (ja) * 2011-11-08 2013-05-16 ソニー株式会社 センサ装置、解析装置および記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569655B2 (en) 2012-04-25 2017-02-14 Jack Harper Digital voting logic for manufacturable finger asperity wafer-scale solid state palm print scan devices
KR101707002B1 (ko) * 2015-03-04 2017-02-15 숭실대학교산학협력단 복합 감지형 센서 및 제조방법
US10107612B2 (en) * 2016-03-31 2018-10-23 The Trustees Of Columbia University In The City Of New York Systems and methods for contact localization through spatially overlapping signals

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011253517A (ja) * 2010-05-06 2011-12-15 Murata Mfg Co Ltd タッチパネル、ならびにタッチ式入力装置およびその制御方法
CN101957682A (zh) * 2010-09-16 2011-01-26 南京航空航天大学 载荷识别交互式电子白板及实现方法
WO2013069447A1 (ja) * 2011-11-08 2013-05-16 ソニー株式会社 センサ装置、解析装置および記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IBRAHIM,ALI ET AL.: "Embedded Electronic System Based on Dedecated Hardware DSPs for Electronic Skin Implementation", PROCEDIA TECHNOLOGY, vol. 26, JPN6020004516, 1 October 2016 (2016-10-01), pages 43 - 50, XP055558908, ISSN: 0004208890, DOI: 10.1016/j.protcy.2016.08.007 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023161341A (ja) * 2022-04-25 2023-11-07 国立大学法人九州工業大学 力学量センサ及びそれを有するロボット並びに力学量のセンシング方法及び力学量センサの製造方法

Also Published As

Publication number Publication date
KR20180082285A (ko) 2018-07-18
EP3567529A1 (en) 2019-11-13
US20190321643A1 (en) 2019-10-24
EP3567529A4 (en) 2020-09-02
KR102016208B1 (ko) 2019-08-29

Similar Documents

Publication Publication Date Title
JP2019522302A (ja) マシンラーニングを利用したセンシング方法とセンシングシステム
Lee et al. 3D-printing-assisted flexible pressure sensor with a concentric circle pattern and high sensitivity for health monitoring
Xu et al. Flexible pressure sensor using carbon nanotube-wrapped polydimethylsiloxane microspheres for tactile sensing
Cao et al. Fingerprint‐inspired flexible tactile sensor for accurately discerning surface texture
Roh et al. A solution‐processable, omnidirectionally stretchable, and high‐pressure‐sensitive piezoresistive device
US11617558B2 (en) Multimodal strain sensor and method
Oh et al. Remote tactile sensing system integrated with magnetic synapse
Zhang et al. Bioinspired tactile sensation based on synergistic microcrack-bristle structure design toward high mechanical sensitivity and direction-resolving capability
Lu et al. Laser-microengineered flexible electrodes with enhanced sensitivity for wearable pressure sensors
JP2017537316A (ja) 高分解能圧力検知
Lee et al. Deep-learning technique to convert a crude piezoresistive carbon nanotube-ecoflex composite sheet into a smart, portable, disposable, and extremely flexible keypad
Karmakar et al. Origami-inspired conductive paper-based folded pressure sensor with interconnection scaling at the crease for novel wearable applications
Chang et al. A study on the mechanism and performance of capacitive flexible pressure sensors based on the coupling of MWCNTs and dielectric structures
Yang et al. A flexible touching sensor with the variation of electrical impedance distribution
Tian et al. Development of flexible tactile sensing arrays for hardness recognition
Huang et al. A preparation method for microstructure of flexible pressure sensors based on origami craft
Lu et al. Design of biomimetic human-skin-like tactile flexible sensor
Tian et al. Flexible Self‐Powered Keypad with Low Crosstalk for Neuropsychological Assessment and Intelligent Systems
Mahmoud et al. Optimizing fragmentation of metallic film for cracked-based strain sensor
Zhang et al. A highly stable and sensitive sensor with linear response enabled by embedded droplet printing and bio-inspired design
Su et al. Tunable flexible pressure sensor based on bioinspired capillary-driven method
Lee et al. A tactile sensor for recognition of softness using interlocking structure of carbon nanoparticle-polydimethylsiloxane composite
Xu et al. A novel hairy-skin-inspired tactile sensor for multimodal sensing application and handwriting input
Choi et al. Crack-inducing strain sensor array using inkjet-printed silver thin film for underplate and off-centered force sensing applications
Zhou et al. Affordable high-sensitivity flexible strain sensor integrated with machine learning for tracking in-air handwriting and leg motion

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200710

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201110