JP2015518990A - 時間反転触覚刺激インターフェース - Google Patents

時間反転触覚刺激インターフェース Download PDF

Info

Publication number
JP2015518990A
JP2015518990A JP2015515513A JP2015515513A JP2015518990A JP 2015518990 A JP2015518990 A JP 2015518990A JP 2015515513 A JP2015515513 A JP 2015515513A JP 2015515513 A JP2015515513 A JP 2015515513A JP 2015518990 A JP2015518990 A JP 2015518990A
Authority
JP
Japan
Prior art keywords
actuator
stimulation interface
interface according
tactile
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015515513A
Other languages
English (en)
Other versions
JP6126214B2 (ja
Inventor
ユドン,シャルル
エヴァール,ヴァンサン
ロザダ,ジョゼ
ヴィルトルヴスキ,ミカエル
Original Assignee
コミッサリア ア レネルジー アトミーク エ オ ゼネルジ ザルタナテイヴ
コミッサリア ア レネルジー アトミーク エ オ ゼネルジ ザルタナテイヴ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コミッサリア ア レネルジー アトミーク エ オ ゼネルジ ザルタナテイヴ, コミッサリア ア レネルジー アトミーク エ オ ゼネルジ ザルタナテイヴ filed Critical コミッサリア ア レネルジー アトミーク エ オ ゼネルジ ザルタナテイヴ
Publication of JP2015518990A publication Critical patent/JP2015518990A/ja
Application granted granted Critical
Publication of JP6126214B2 publication Critical patent/JP6126214B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

触覚刺激インターフェースは、支持体(2)と、操作者によって触覚的に探査されるものであって支持体(2)上に懸架された可撓面と、可撓面(4)に力を加えることを目的としたアクチュエータ(6)と、アクチュエータ(6)を制御する手段とを備えている。アクチュエータは可撓面の輪郭上に配置されている。制御手段は、可撓面(4)に生成される触覚刺激に従って、可撓面(4)に加えるべき力に対応する信号をアクチュエータ(6)に送信することを目的としており、その力は時間反転法によって決定される。面(4)は、例えばマイラー(登録商標)製である少なくとも1つの十分に可撓性がある領域を備えている。このため、生成された波の伝播速度が、低周波数において十分に短波長に達する程度にまで遅くなる。これにより、触覚刺激に適合する分解度での集束が大幅に改善される。

Description

本発明は、可変な形状とサイズの触覚刺激を提示可能にする時間反転触覚刺激インターフェースに関する。
触覚刺激インターフェースは、時間および/または空間にわたって可変である質感、レリーフまたは粗さの等の触覚情報を提供することを目的とする。
このようなインターフェースは、例えばヒューマン・マシン・インターフェースの分野で使用される。それらは、光学系、音響系、化学、および自動化された製造の分野でも使用されうる。
触覚パターンの提示を可能にするような触覚インターフェースを製造するために、アクチュエータのマトリックスが使用され、各アクチュエータは、皮膚の表面に対して垂直方向または接線方向に静的または動的な変位を直接加える。そのようなインターフェースの分解能は、アクチュエータのサイズによる制約を受ける。さらに、これらのインターフェースは嵩高く、探査対象の接触面に比例して、それぞれが触覚画素に対応する多数のアクチュエータを必要とする。最後に、探査対象面の下のこれらのアクチュエータの存在によってインターフェースが不透明となり、インターフェースの画面への重畳を可能にしない。そのようなインターフェースは例えば非特許文献1に記載されている。
他のインターフェースにおいて、探査対象面は、パターンに対する接触の位置に応じて接線方向に振動する。すると、表面上の指の位置に従ってせん断力を調整することにより、境界と質感の錯覚を与えることが可能である。プレート全体が同じ変位を持つため、複数の指を違う態様で刺激することは可能でなく、面を探査している2本の指は同じ刺激を受け取ることになる。
非特許文献2は、時間反転方法を用いることでガラス板に音響波を伝播させることで触覚刺激インターフェースを生成するインターフェースについて記載している。
時間反転方法は、所与の場所に音響エネルギーを集約させることからなる。この方法は例えば、腫瘍の破壊、または地雷等の爆発装置の破壊のために使用される。
例えば厚さが1mmを超える厚肉ガラス板において音響波を伝搬する触感刺激インターフェースは、いくつかの欠点を持つ。ガラスにおける波の速度は高く、約1500m/sである。したがって、集束点をcmの程度で得るためには、約150kHzの周波数が必要である。知覚されるために十分な変位を得るためには、非常に高い動力が必要である。最後に、2mmのガラス板の曲げ剛性は、触覚的使用向けに十分である変位を得ることを可能にするためには高すぎる。例えば、この文献は幅3cmの集束点のために2μmの変位を記載している。
特許文献1は、圧電アクチュエータを備えたフレーム上に伸びたエラストマー膜を備え、エラストマー膜に定常波を生成する触覚インターフェースについて記載している。このインターフェースは、時間と空間において局所化された刺激を生成することができない。
米国特許出願公開第2010/0225596号明細書
ベナリ=コージャ他著、「触覚インターフェース:最先端調査」、ロボット工学国際シンポジウム予稿集 2004年(Benali-Khoudja, M. Hafez, J.M. Alexandre, and A. Kheddar, 2004. Tactile Interface: a state of the art survey. Proc.International Symposium on Robotics.) M.R.ベイ、Y.K.ツァイ著、「時間反転手法に基づくタッチパネルアプリケーションのための触覚フィードバックと組み合わせた衝撃局所化」米国音響協会誌、129(3)P1297−1305、2011年("Impact localization combined with haptic feedback for touch panel applications based on the time-reversal approach", M.R. Bai and Y.K. Tsai, 2011 - The Journal of the Acoustical Society of America, 129(3), 1297-1305)
したがって、本発明の目的は、優れた空間分解能と優れた時間分解能を持ち、触覚検出可能な大規模の変位を提供する、触覚刺激インターフェースを提供することである。
本発明の付加的な目的は、画像輪郭などの複雑な形状のパターンの生成を可能にする触覚インターフェースを提供することである。
前述の目的は、時間反転法を実施する触覚刺激インターフェースによって達成され、前記インターフェースは、少なくとも1つの面において触覚刺激を提供することを目的とした1つの素子と、そのインターフェース素子に音響波を伝播するための信号を発することが可能なアクチュエータとを備え、前記素子は可撓面によって形成され、面に印加される信号は時間反転法によって決定される。
音響波が伝播される素子が可撓性であるため、音響波は素子を通って、低周波で十分に短い波長を達成するために十分な程度に緩慢に伝播し、触覚刺激に適合する分解度での集束を向上させる。可撓面は低い曲率半径の達成を可能にし、したがって、短波長での大規模の変位を可能にする。
アクチュエータは、触知面を支持するフレーム上にあって隔離されていてよい。音響波によって生じる刺激は指の位置とは無関係であり、複数の指での面の探査を可能にしている。刺激は、例えば約100Hzの周波数で、経時的に振幅変調方式で繰り返されうる。これらの刺激は面上に、単一の点に集束するように、または一つの形状の輪郭を記述するように配置されうる。
アクチュエータはインターフェース素子の縁に配置されうるため、素子を透明にして画面に設けてもよい。
触知面は例えば、高分子材料製のフィルム、複合材料、約100μmの厚さの薄肉ガラス板、または可撓画面によって形成される。
言い換えると、本発明は、触覚的に感知され経時変化可能なレリーフまたは局所化された振動を表示するために、面に変更可能な変形を形成しうる刺激装置に関する。刺激装置は、1つ以上のアクチュエータによって活性化される面を持つ。これらのアクチュエータは、時間反転法に従って計算された力を前記面上に及ぼす。本方法は、音響波が面上の1つ以上の点または線に集束されることを可能にし、時間と空間において局所化された認知可能な振幅ピークをもたらす。この動的な触覚刺激装置は、面が、複数の指や、掌などの手の部分によって探査されることを可能にする。
本発明主題の触覚刺激インターフェースは、操作者によって触覚的に探査されるものであって、少なくとも1つの面によって形成された素子と、前記面に力を加えるように構成された少なくとも1つのアクチュエータと、前記少なくとも1つのアクチュエータを制御する手段と、を備えている。前記制御手段は、前記面に生成される触覚刺激に従って、前記面に加えられるべき力に対応する信号を前記アクチュエータに送信するように構成されており、前記力は時間反転法によって決定され、前記面は、以下式を満足する少なくとも1つの領域を有している。
Figure 2015518990
λは前記領域を伝播する屈曲波の波長であり、cは前記屈曲波の速度であり、ρは前記領域の単位面積当たりの質量であって、前記少なくとも1つのアクチュエータは、前記面に特有の多数のモードを励起するために1Hzから20kHzにわたる帯域幅を有している。
有利な1つの例において、触覚刺激インターフェースは、前記面を保持するフレームを形成する少なくとも1つの支持体をさらに備えており、前記アクチュエータは、前記フレーム付近に配置されている。
1つの例において、前記アクチュエータは、前記面に対して垂直な方向において前記面に力を直接加える。
1つの実施形態例において、触覚刺激インターフェースは、前記面が懸架されるフレーム形状の支持体と、少なくとも1つの第1のアクチュエータと、少なくとも1つの第2のアクチュエータと、をさらに備える。前記第1のアクチュエータは、前記面に力を直接加え、前記第2のアクチュエータは、前記支持体に力を直接加える。
別の実施形態例において、前記面は、与圧流体が充填された密封容積を規定し、前記面は、前記与圧流体によって延伸する。前記触覚刺激インターフェースは、前記密封容積用の支持体と、前記支持体に搭載された少なくとも1つのアクチュエータと、をさらに備えている。
有利な実施形態において、前記触覚刺激インターフェースは、前記面への力の効果に影響を与えることが可能なパラメータの少なくとも1つのセンサをさらに備えている
前記触覚刺激インターフェースは、前記インターフェースに接触する操作者の存在を検出する少なくとも1つのセンサをさらに備えている。
前記アクチュエータは、例えば電磁アクチュエータである。前記アクチュエータは、コイルと、柔鉄心と、磁石とを備え、前記磁石は前記面に固定され、前記コイルは前記支持体に固定されている。
変形形態では、アクチュエータは圧電材料から作られる。その場合アクチュエータはビームを備えてよく、そのビームの一端は支持体に組み込まれ、ビームの他端は、面に力を加えることを目的としている。
別の特徴によれば、前記面は、操作者との接触を目的としたピンを備えていてもよい。
もう1つの特徴によれば、前記面は、少なくとも2つの異なる材料および/または2つの異なる位相から構成されうる。
1つの有利な実施形態において、前記面は透明である。
例えば、前記面は高分子材料または複合材料製の少なくとも1つのフィルムである。その場合このフィルムは支持体上に延伸されうる。
別の例では、前記面は約100μm厚さの少なくとも1つのガラス板から構成される。
制御手段はモードベースまたはインパルス応答ベースから構成されうる。インパルス応答ベースは、アクチュエータに送信される信号を含むことができ、前記信号は時間反転法によって決定される。
モードべースは、アクチュエータに送信する信号を時間反転法によって決定する装置から構成されうる。
制御手段は、前記信号を前記アクチュエータに送信するアクチュエータコントローラから構成されうる。
好ましくは、屈曲波の速度は約50m/sのオーダである。
本発明は、以下の説明と図面を参照するとよりよく理解される。
触覚刺激装置の1つの実施形態例の平面図である。 図1Aの平面A−Aでの断面図である。 図1Bの、アクチュエータの高さでの詳細図である。 触知面がピンを有している触覚刺激インターフェースの別の実施形態例の断面図である。 組み込まれたビームの方式のアクチュエータを実装した触覚刺激インターフェースの別例である。 本発明による触覚インターフェースの別の例を表す模式図である。 本発明による触覚インターフェースの別の例を表す模式図である。 本発明による触覚インターフェースの別の例を表す模式図であり、面は与圧ガスで充填された容積を画定している。 本発明による触覚インターフェースの別の例を表す模式図であり、面は与圧ガスで充填された容積を画定している。 5A〜5Lは、面上での点に集束するための異なる動作状態にある触覚インターフェースの平面図である。 6A〜6Lは、面上での三角形に集束するための異なる動作状態にある触覚インターフェースの平面図である。 本発明によるインターフェースで実装されうる面の別例の断面図である。 本発明によるインターフェースで実装されうる面の別例の断面図である。 本発明によるインターフェースで実装されうる面の別例の断面図である。 本発明による触覚インターフェースの別の実施形態例の平面図である。 本発明による触覚インターフェースの別の実施形態例の長手方向断面図である。 本発明による触覚刺激インターフェースの制御の一例の模式図である。 インターフェースの一例の平面図であり、インターフェースの別々の点での、一秒間の変位の図である。
図1Aから図1Cは、本発明による触覚インターフェースの1つの実施形態の第1の実施形態例を示す。
触覚インターフェース11は、 フレーム2と、フレーム2上に支持された可撓面4を装備した素子と、フレームに固定され、面4に機械的応力を印加できるアクチュエータ6とを備え、応力は面に対して横方向のものである。面4の懸架された部分は、触覚的に探査されることを目的とした面を形成する。
アクチュエータ6は、面4の輪郭に作用するために、フレームの内縁に取り付けられている。示されている例では、アクチュエータは下方フレーム2.2上に固定されたタブに取り付けられている。
フレーム2は、面を支持する上方フレーム2.1と、その上にアクチュエータが搭載される下方フレーム2.2を備えている。面4は下方フレーム2.2と上方フレーム2.1の間に保持される。
面4は、アクチュエータによって印加される応力によって生成する屈曲波または横波の在り場所となることを目的としている。本発明によれば、屈曲波は、集束点において触覚刺激を生成するために集束される。
面4は以下式の条件(I)となるように1つ以上の材料で形成されている。
Figure 2015518990
λは前記領域で伝播された波の波長である。例えば、概ね指と面の接触部のサイズでの分解度を得るためには、2cm以上の波長が使用される。
cは屈曲波の速度であり、任意選択的にλに依存する。
一例として、等質かつ等方性の材料に関して、屈曲波cの伝播速度は以下式である。
Figure 2015518990
Tは面に印加される張力であり、Eは材料の弾性係数であり、hはその厚さであり、ρは単位面積当たりの質量であり、vは材料のポアソン比であり、λは波長である。
20kHz未満の周波数で2cmの波長を得るためには、最大伝播速度は以下式からなる。

c=λ・f=0.02×20000=400m/s
延伸マイラー(Mylar(登録商標))膜の例では、約50m/sの伝播速度が得られる。
ρは刺激領域の単位面積当たりの質量である。均質で単一材料の面に関しては、それは材料の密度ρとその厚さhによって決まる。すなわち、ρ=ρ*hである。厚さ125μmのマイラー膜の場合、ρ=0.175kg/mである。
触知面は、例えば高分子材料フィルム、例えばマイラー、複合材料フィルム、例えば約100μmの厚さの薄肉ガラス板、または直接的に可撓画面によって形成される。
面は、それぞれが異なる面の単位面積当たり質量を持つ異なる複数の領域から形成されていてもよいが、各領域は条件(I)を満たすものとする。
集束点のサイズは関係式I=λmin/2によって最小集束波長λminに付随するため、I=1cmのサイズの集束点を構築するためには、λmin=2cm以上の波長が生成される。
周波数は関係式fmax=c/λminによって波長に付随するため、面を励起するために選択されたアクチュエータは、数ヘルツからfmaxまでの帯域幅を持つこととなる。したがってこれらのアクチュエータは、特定のモードを励起するためには選択されず、その周波数が帯域幅〔1Hz;fmax〕、すなわち、〔1Hz;c/λmin〕=〔1Hz;2c/I〕内に含まれる全てのモードを励起するために選択される。ここで、cは関係式(I)を検証する波の伝播速度である。こうして約〔1Hz;20kHz〕の帯域幅が得られる。このように、この帯域幅は数百までの特定のモードを含みうる。
実際に、これは数百のモードを網羅する。したがってアクチュエータ(複数のアクチュエータ)は、これらのモードの全ての周波数を網羅する帯域幅を有するように選択される。好ましくは、アクチュエータ(複数のアクチュエータ)は、[1Hz〜20kHz]の間の周波数で面を励起できるように選択される。
図1Bおよび図1Cでは、触覚インターフェースに実装されうるアクチュエータ、すなわち、多数の特定モードの面を動かすために十分広い帯域幅を提供するアクチュエータの一例をより詳細に見ることができる。
図示例では、これは銅製コイル6.1と、軟鉄心および磁石6.2とを有する電磁アクチュエータであり、軟鉄心および磁石6.2は面4の下面に固定されている。コイル6.1の電源は、磁石に作用する軟鉄心を介して磁場を生成する。面の平面に対して垂直な力がこうして生成される。
別法として、アクチュエータは圧電系であってもよい。この場合、張力印加によって変形したアクチュエータは、面に対して垂直な力を印加する。
図示例では、インターフェースは5個のアクチュエータを備えている。しかし、この個数は限定されない。例えば、1個か10個、または数ダース、例えば40ダースのアクチュエータを支持体2に分配して備えることも可能である。
アクチュエータ6によって面4に印加される力は時間反転法によって計算され、それは、アクチュエータに、面上の1つ以上の所与の点において所望の時点で強め合う進行波を生成させる。ユーザは、進行波の通過を感知するのではなく、強め合う干渉によりその点における所望の時点において達する振幅を感知する。アクチュエータの利得は、他所の振幅が触覚感度閾値より下となるように調節される。触覚感度閾値が最小感知可能振動振幅を決める。それは接触状態と周波数によって決まるが、10μm前後である。したがって、集束点に達した振幅のみがこの閾値よりも大きく、故に感知可能となるように、面の変位を増幅または減衰できる。こうして面は、集束点を除いて不動の様相となる。
有利には、インターフェースは1つ以上のセンサから構成されうる。センサは例えば、インターフェースが配置された環境の温度センサであってもよい。実際、温度は面内の波の伝播の速度を変更してもよい。このように、この温度情報は、伝播速度におけるこの修正を見込むアクチュエータに送信される信号を補正するために使用されうる。
面上の操作者の指の存在を検出するセンサも実装されてもよい。これにより、指による探査中の領域のみに触覚刺激を生成できるようになる。このように、インターフェースの電力消費を低減でき、携帯機器に適用される触覚刺激インターフェースの場合に特に有利である。これらは例えば光学センサを包含できる。
時間反転法の原理について簡単に説明する。
時間反転波の原理は、時間反転波伝搬方程式の不変性に基づいている。
点Iにおいて衝撃力を及ぼすアクチュエータを想定する。面の点Aに配置されたセンサを想定し、この点の、平面を外れる変位を経時的に記録する。0<t<TとしてhAnI(t)を考慮し、衝撃力が時点ta=0において点Iに及ぼされたときの、期間Tにわたる点Anにおける変位を記録する。その場合、相反原理は、hIAn(t)=hAnI(t) あることを示す。したがって、送信側と受信側は、記録される信号を修正せずに交換されうる。
点Anにおいて、センサを、力F(t)=hAnI(T−t)を及ぼすアクチュエータで置換すると、すなわち、衝撃応答がその終端で開始することにより再送信されると、点Jにおいて以下式による信号が記録される。
Figure 2015518990
uは、計算で使用されるが、物理的な意味を持たない積分変数である。
Jとtが定義されていない場合、hanI(T−t)とhJAn(t)は非相関化され、それらは強め合わないように干渉して、ゼロ平均のバックグラウンドノイズを生む。
一方、J=Iかつt=Tであれば、相反原理により以下式となる。
Figure 2015518990
すると干渉は強め合い、他の点におけるよりもずっと高い振幅を生む。
するとこのコントラストは、時間Tにおける集束点での変位と、任意の点におけるこの変位の標準偏差との間の割合として定義される。
N個のアクチュエータが使用された場合、それらの貢献を加算して以下式を得る。
Figure 2015518990
コントラストは、時間反転窓の時間Tと、アクチュエータの個数Nのルートに比例する。
Figure 2015518990
実際に、時間Tは振動減衰により制限されることがあり、その場合は所望のコントラストを達成するために複数のアクチュエータが使用される。
信号の最大周波数が、以下の関係式によって達成されうる最大の分解度を定義する。
Figure 2015518990
集束点の最小幅は約λ/2のオーダである。
AnI(t)のインパルス応答は、インパルス応答を実際に記録することにより実験的に得られても、形状寸法が単純である場合は刺激により、または分析的に得られてもよい。
すると、Iにおける1つのアクチュエータと複数のセンサとで同じ実験を繰り返すことが可能となる。次にセンサとアクチュエータを反転させることにより、所望の時点の点Iにおいて強め合う音響波を生成することが可能となる。
本発明によれば、音響波伝播用支持体として、上記に規定した十分に可撓性のある面を実装することにより、音響波は面を通して十分に緩慢に、約50m/sの速度で伝播し、例えば10kHz未満の低周波で十分に短い波長に達し、触覚刺激に適応する分解度での集束を改良することを可能にする。可撓面は、曲率半径を得ることをも可能なので、短波長での大きな変位を得ることを可能にする。本発明により、時間反転触覚刺激インターフェースは優れた空間分解能と優れた時間分解能を持つ。
アクチュエータに送られた信号は、時間反転法に従って計算され、実験的測定または刺激のいずれかから導出される。面に印加される力の持続時間は、集束対象のパターンと所望のコントラストに従って可変であって、例えば約10ミリ秒であり、力は所望の周波数と振幅で繰り返されてよい。集束点で得られるコントラストと振幅は、インターフェースのサイズ、振動減衰とアクチュエータの個数によって決まる。アクチュエータの個数はインターフェースに応じて選択されうる。
図10は、支持体2上に保持された面4とアクチュエータ6を備えたインターフェースの平面図を示し、1秒間にわたる面上の6つの点A’、B’、C’、D’、E’、F’の変位の図である。
点E’とF’のみが集束されており、集束は2つの異なる周波数(E’では2Hz、F’では5Hz)で繰り返される。唯一のバックグラウンドノイズは、点A’、B’、C’、D’のレベルで出現する。破線は触覚感知閾値を示している。この閾値未満の振幅を持つ変位は触覚感知されない。したがって、点E’、F’のみが触覚刺激を受け、面上での点A’、B’、C’、D’における変位は触覚感知されない。そのため、集束点に達した振幅のみが感知可能となるように、面上の変位を増幅または減衰することが可能である。
図2は、操作者が接触する面から突出しているピン104’を備えた面104を、インターフェース素子が備えているインターフェースの別例を示す。図示例では、アクチュエータ106は圧電アクチュエータである。
図3は、「ベンダー」タイプの圧電アクチュエータ206を備えたインターフェース13の別の実施形態例を示している。圧電アクチュエータ206は、支持体202の長手方向端部によって埋設された粉体によって形成され、変形するときは屈曲して変形する結果、面に接触して面204に力を加える。
図4Aおよび4Bは、本発明による触覚インターフェース13、14の別の例示的実施形態を示す。
図4Aにおいて、支持体302はオジーブ形状であり、アクチュエータ306はフレーム付近に配置されている。
図4Bにおいて、インターフェース14は回転対称円筒体形状をしており、面404は環形状の2つのフレーム402の間に延伸している。アクチュエータ406は、図3に示されるように「ベンダー」タイプである。
図4Cおよび4Dは、本発明の別の実施形態例による触覚インターフェース15、16を示す。これらのインターフェース15、16は、面504、604がフレームの上に延伸しているのではなく、与圧流体によって延伸しているという点において上記に説明したインターフェースと異なっている。図4Cにおいて、面504は与圧流体で充填された球体形状の密封容積を画定し、図4Dにおいて、面604は、与圧流体で充填された環形状の密封容積を画定している。アクチュエータ506、606は容積の外側に分配されており、面504、604に対して垂直な力を及ぼすことができる。アクチュエータ506、606の配置は、例示のために示しているに過ぎない。
例えば、密封容積は、アクチュエータも配置されている支持体上に取り付けられてよく、アクチュエータは面に力を印加して、面上の異なる点において触覚刺激を生成する。
図7Aから7Cは、面704、804、904の幾つかの実施形態例を示しており、触覚刺激に適合する十分な分解度での集約点を得るために十分に遅い面内音響波伝播速度を持たせるために、音響波の進行を遅らせている。示されている例において、面は複数の材料および/または複数の位相から形成されている。複数の材料および/または複数の位相を関連させることで、以下式を得ることができる。
Figure 2015518990
図7Aにおいて、面704は2つの板710に封入された液体708を含み、液体708は面に剛性を増加させずに重くすることを可能にするので、横波の伝播速度の減衰を可能にする。これらのシートは高分子材料、薄肉ガラス等から製造されてよく、液体は例えば、水、油またはゲルであってよい。
図7Bにおいて、面804は、埋設型の、または、弾性材料814内にはない、剛性ピン812を有する。例えば剛性が異なる2つのエラストマーが使用されうる。
図7Cにおいて、面904は、第1の材料916で製造された構造と、第2の材料920を充填した構造内の空隙918を備えている。したがって、密度を変更するために、例えば充填高分子を使用できる。
図8Aおよび8Bは、インターフェース17の別の実施形態例を示し、ここでアクチュエータ1006は面に直接力を印加し、アクチュエータ1006’はそれらの力を面にではなく支持体1002に直接印加する。
図示例において、支持体1002と面1004は一体に形成され、支持体1002は面よりも厚く、そのため、一定の剛性を提供しているが、全く限定的なものではない。
この実施形態例でわかるように、アクチュエータ1006’は面に対して平行な力を印加する。
アクチュエータによって支持体に印加された力は、面に平行である必然性はなく、面に対して垂直であってもよい。すなわち、面に対して0度から90度の間の角度をなす方向であってもよい。
ここで、本発明による触覚インターフェースのアクチュエータの2つの制御系について説明する。
図9は、制御系の模式図を示す。
制御系は、アクチュエータに送信されるべき駆動信号を決定する装置Aと、モードベースまたはインパルス応答ベースBと、実装されうるセンサDへの接続部Cと、インターフェース上に表示されるべき画像、すなわち、面上に生成される触覚刺激、を提供するモジュールFへの接続部Eと、決定装置Aによって計算された信号をアクチュエータにアドレスし、アクチュエータへの送信前に信号のパワー増幅を実行するアクチュエータコントローラGとを備えている。
インパルス応答ベースBは、時間反転法によって計算された、面に印加されるべき力を含むデータベースである。
モードベースは、直接駆動されたときに、可撓面の特定モードの与えられた個数Nの空間的プロファイルΦn(x,y)のデータベースを形成する。するとフレーム上での励起の場合、可撓面およびフレームアセンブリの各モード、ならびにその周波数ωnを包含する。アクチュエータ(複数のアクチュエータ)に送信されるべき信号はインターフェースの動作中に時間反転法によって計算される。
モジュールFは、時間t0における、所与の振幅での1つ以上の点または輪郭の表示を制御する。I(x,y,t)は、座標点(x,y)で時間tにおいて望まれる振幅を指定する。例えば、携帯電話やデジタルタブレット画面のインターフェースの場合、モジュールは、画面上の表示の制御子にリンクされうる。
前述のように、インターフェースには検出用の温度センサDも装備されてよく、センサDはアクチュエータに送信される制御信号を変更することが可能な情報を提供する。
アクチュエータ制御信号の計算は、表示されるべき画像に基づいて、モードべースまたはインパルス応答ベースで、また、センサによって送信された信号に基づいて実行される。例えば、(x,y)に位置するアクチュエータqに関して、時間tにおいて望まれる画像I(x,y)に対して計算された信号s(t)は、それぞれモードベースφ、ωから働きかけているか、またはインパルス応答ベースhから働きかけているかに応じて以下となる。
モードべースからの場合は以下式となる。
Figure 2015518990
インパルス応答べースからの場合は以下式となる。
Figure 2015518990
Figure 2015518990
はモードベースφ、ωによって決まるとともに、センサによって提供される量によって決まる。Tは定数か、または計算装置の入力パラメータの関数として計算される。h(x,y)はアクチュエータqと、面上の(x,y)に位置する点との間のインパルス応答である。しかしこの計算は別方式でも実行されうる。こうして計算された信号は次に、増幅、フィルタリングまたは反復タイプ等の複数の変換を受ける。
本発明と面の選択により、cmの程度のサイズの集束点を形成することが可能となる。
有利には、時間反転法は、アクチュエータを面の端にシフトすることを可能にする。したがって、透明な材料でできた面を使用することにより、触覚インターフェースが有利に画面に重畳されることができ、刺激の制御は画面上の表示に付随する。
本発明により、アクチュエータを省電力にできる。実際、全アクチュエータが1つの点に集束することによってこの点に刺激を起すことに貢献してもよい。逆に、先行技術のアクチュエータマトリクスを持つ種の触覚インターフェースにおいて、各アクチュエータは1つの点に触覚刺激を生成することを補助し、他のアクチュエータはこの刺激の生成に貢献できない。この省電力は、サイズを縮小したアクチュエータの使用を可能にする。
さらに、本発明により、各点ごとに対応する信号を加えることによって面上の異なる点で同時に触覚刺激を生成することが可能である。点aとbに集束するためにアクチュエータによって送信された信号sa(t)とs(t)を想定すると、アクチュエータは信号s(t)=sa(t)+s(t)を送信するように命令される。こうして、本発明のインターフェース上に複数の指を置く操作者は、各指に異なる刺激を感じうる。
同時に複数の集束点の作成が可能なので、画像の輪郭などの複雑なレリーフを生成できる。局所的に生成されたインパルスは所望の周波数で繰り返されて振幅変調され、結果として、送信される触覚情報が豊富になる。
図5Aから図5Lは、面上の一点で触覚刺激を生成中において、面による異なる状態における本発明に係る触覚インターフェースの面を示している。ここで、アクチュエータによって生成される音響波がこの一点に集束している。図5Kにおいて触覚インターフェースは、1つの点において触覚刺激を生成する状態にある。
図6Aから6Lは、 三角形の形状に触覚刺激を生成中において、面による異なる状態における本発明に係る触覚インターフェースの面を示している。図6Kにおいて、触覚インターフェースは三角形の形で触覚刺激を生成する状態にある。
前述のように、単一のアクチュエータは複数の点または線に集束しうるが、線は、点の合計に細分化することによって構築されうる。各アクチュエータはこの点の組の生成に寄与するので可撓面のパターンを生成できる。
同一点を集中する複数のアクチュエータの実施形態では、得られるコントラストの改善が可能となる。
アクチュエータはフレームに配置されうるものであり、面の輪郭に作用するが、面のより中央寄りの領域にも作用しうる。
本発明は、以下のようなヒューマン・マシン触覚インターフェースに実装されうる。
家庭用電化製品、携帯電話、読み取り機、タッチパッド等のタッチ画面、
データマイニング、シミュレータ等用の大規模タッチ画面、
自動車、航空機、海洋クルー用コンパートメント、
手術デバイス、プローブ、ロボットシステム、
感覚障害および運動障害を持つ個人用の情報アクセス手段。
本発明は、例えば画像プロジェクタ等のビームスキャニングシステム、および適応光学分野等の光学分野で実装可能である。
本発明は、例えば音響レンズなどの音響分野で実装可能である。

Claims (23)

  1. 操作者によって触覚的に探査されるものであって、少なくとも1つの面によって形成された素子と、
    前記面に力を加えるように構成された少なくとも1つのアクチュエータ(6、1006、1006’)と、
    前記少なくとも1つのアクチュエータを制御する手段と、
    を備えた触覚刺激インターフェースであって、
    前記制御手段は、前記面に生成される触覚刺激に従って、前記面(4、1004)に加えるべき力に対応する信号を前記アクチュエータ(6、1006、1006’)に送信するように構成されており、
    前記力は時間反転法によって決定され、
    前記面(4、1004)は、以下式を満足する少なくとも1つの領域を有しており、
    Figure 2015518990
    ここで、λは前記領域を伝播する屈曲波の波長であり、cは前記屈曲波の速度であり、ρは前記領域の単位面積当たりの質量であり、
    前記少なくとも1つのアクチュエータ(6、1006、1006’)は、前記面(4、1004)に特有の多数のモードを励起するために1Hzから20kHzにわたる帯域幅を有している、触覚刺激インターフェース。
  2. 触覚刺激インターフェースは、前記面を保持するフレームを形成する少なくとも1つの支持体(2、1002)をさらに備えており、
    前記アクチュエータ(6、1006、1006’)は、前記フレーム付近に配置されている、請求項1に記載の触覚刺激インターフェース。
  3. 前記アクチュエータ(6)は、前記面に対して垂直な方向において前記面に力を直接加える、請求項2に記載の触覚刺激インターフェース。
  4. 前記アクチュエータ(1006’)は、前記支持体(1002)に力を直接加える、請求項2に記載の触覚刺激インターフェース。
  5. 触覚刺激インターフェースは、
    前記面(1004)が懸架されるフレーム形状の支持体(1002)と、
    少なくとも1つの第1のアクチュエータと、
    少なくとも1つの第2のアクチュエータと、
    をさらに備え、
    前記第1のアクチュエータ(1006)は、前記面(1004)に力を直接加え、
    前記第2のアクチュエータ(1006’)は、前記支持体(1002)に力を直接加える、請求項1に記載の触覚刺激インターフェース。
  6. 前記面は、与圧流体が充填された密封容積を規定し、
    前記面は、前記与圧流体によって延伸し、
    前記触覚刺激インターフェースは、
    前記密封容積用の支持体と、
    前記支持体に搭載された少なくとも1つのアクチュエータと、をさらに備えている、請求項1に記載の触覚刺激インターフェース。
  7. 前記触覚刺激インターフェースは、前記面への力の効果に影響を与えることが可能なパラメータの少なくとも1つのセンサをさらに備えている、請求項1から6のいずれか一項に記載の触覚刺激インターフェース。
  8. 前記触覚刺激インターフェースは、前記インターフェースに接触する操作者の存在を検出する少なくとも1つのセンサをさらに備えている、請求項7記載の触覚刺激インターフェース。
  9. 前記アクチュエータ(6)は、電磁アクチュエータである、請求項1から8のいずれか一項に記載の触覚刺激インターフェース。
  10. 前記アクチュエータ(6)は、コイル(6.1)と、柔鉄心と、磁石とを備え、
    前記磁石(6.2)は前記面に固定され、前記コイル(6.1)は前記支持体に固定されている、請求項2から6のいずれか一項と組み合わせた請求項9に記載の触覚刺激インターフェース。
  11. 前記アクチュエータは、圧電材料によって作られている、請求項1から8のいずれか一項に記載の触覚刺激インターフェース。
  12. 前記アクチュエータはビームを備え、
    前記ビームの一端は前記支持体に組み込まれ、前記ビームの他端は前記面に力を加えることを目的としている、請求項2から6のいずれか一項と組み合わせた請求項11に記載の触覚刺激インターフェース。
  13. 前記面は、前記操作者との接触を目的としたピンを備えている、請求項1から12のいずれか一項に記載の触覚刺激インターフェース。
  14. 前記面は、少なくとも2つの異なる材料および/または2つの異なる位相から構成されている、請求項1から13のいずれか一項に記載の触覚刺激インターフェース。
  15. 前記面は透明である、請求項1から14のいずれか一項に記載の触覚刺激インターフェース。
  16. 前記面は、高分子材料または複合材料製の少なくとも1つのフィルムからなる、請求項1から15のいずれか一項に記載の触覚刺激インターフェース。
  17. 触覚刺激インターフェースは、前記面が延伸する支持体をさらに備えている、請求項16に記載の触覚刺激インターフェース。
  18. 前記面は、約100μmの厚さの少なくとも1つのガラス板から構成される、請求項1から15のいずれか一項に記載の触覚刺激インターフェース。
  19. 前記制御手段はモードベースまたはインパルス応答ベースからなるものである、請求項1から18のいずれか一項に記載の触覚刺激インターフェース。
  20. 前記インパルス応答ベースは、前記アクチュエータ(6、1006、1006’)に送信される信号を含んでおり、前記信号は時間反転法によって決定される、請求項19記載の触覚刺激インターフェース。
  21. 前記モードべースは、時間反転法によって、前記アクチュエータ(6、1006、1006’)に送信される信号を決定する装置(A)からなる、請求項19に記載の触覚刺激インターフェース。
  22. 前記制御手段は、前記信号を前記アクチュエータ(6、1006、1006’)に送信するアクチュエータコントローラからなる、請求項1から21のいずれか一項に記載の触覚刺激インターフェース。
  23. 前記屈曲波の速度は約50m/sのオーダである、請求項1から22のいずれか一項に記載の触覚刺激インターフェース。
JP2015515513A 2012-06-06 2013-06-05 時間反転触覚刺激インターフェース Active JP6126214B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1255286A FR2991791B1 (fr) 2012-06-06 2012-06-06 Interface de stimulation tactile par retournement temporel
FR1255286 2012-06-06
PCT/EP2013/061616 WO2013182611A1 (fr) 2012-06-06 2013-06-05 Interface de stimulation tactile par retournement temporel

Publications (2)

Publication Number Publication Date
JP2015518990A true JP2015518990A (ja) 2015-07-06
JP6126214B2 JP6126214B2 (ja) 2017-05-10

Family

ID=46963831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015515513A Active JP6126214B2 (ja) 2012-06-06 2013-06-05 時間反転触覚刺激インターフェース

Country Status (6)

Country Link
US (1) US9436284B2 (ja)
EP (1) EP2859428B1 (ja)
JP (1) JP6126214B2 (ja)
CN (1) CN104428733B (ja)
FR (1) FR2991791B1 (ja)
WO (1) WO2013182611A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020509482A (ja) * 2017-02-16 2020-03-26 ベーア−ヘラー サーモコントロール ゲーエムベーハー 車載機器用操作ユニット、特に車両用ヒューマンマシンインターフェース

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2992120B1 (fr) 2012-06-15 2014-07-18 Commissariat Energie Atomique Actionneur pour moteur ultrasonique et moteur ultrasonique comportant au moins un tel actionneur
DE102015008184B4 (de) * 2015-06-25 2021-02-25 Audi Ag Kraftfahrzeugbedienvorrichtung mit blindbedienbarem Touchscreen und Verfahren zum Betreiben einer Bedienvorrichtung
FR3043201B1 (fr) 2015-11-04 2017-12-15 Commissariat Energie Atomique Systeme et procede de detection d'une application de pression en surface d'un objet par mesure de force
FR3064504B1 (fr) * 2017-03-31 2022-02-04 Commissariat Energie Atomique Interface offrant une modulation de friction localisee par lubrification acoustique
FR3065548B1 (fr) * 2017-04-24 2022-02-04 Commissariat Energie Atomique Interface de stimulation tactile par retournement temporel offrant des sensations enrichies
FR3065547B1 (fr) * 2017-04-24 2019-07-12 Commissariat A L'energie Atomique Et Aux Energies Alternatives Interface a retournement temporel generant une lubrification acoustique
FR3076017B1 (fr) * 2017-12-21 2020-10-30 Commissariat Energie Atomique Dispositif surfacique offrant une deformation localisee amelioree
US10572017B2 (en) 2018-04-20 2020-02-25 Immersion Corporation Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
US10504342B1 (en) 2018-06-12 2019-12-10 Immersion Corporation Devices and methods for providing localized haptic effects to a display screen
CN109062408B (zh) * 2018-07-27 2020-11-24 北京航空航天大学 一种柔性物体表面触觉反馈装置
FR3091938B1 (fr) 2019-01-22 2023-01-20 Actronika Procédé de génération de sensations tactiles et interface haptique mettant en œuvre ce procédé
JP6760414B2 (ja) * 2019-01-30 2020-09-23 株式会社村田製作所 アクチュエータおよび触覚提示装置
FR3097476B1 (fr) * 2019-06-24 2024-05-24 Novares France Boîtier d’actionnement pour fournir un retour haptique dans un véhicule
FR3104762B1 (fr) 2019-12-12 2022-09-16 Actronika Procédé de génération de sensations tactiles localisées sur une surface et interface haptique mettant en œuvre ce procédé
FR3105491B1 (fr) 2019-12-23 2023-04-21 Commissariat Energie Atomique Dispositif d’interaction haptique ou acoustique à surface vibrante, procédé et programme d’ordinateur correspondants
TWI816144B (zh) * 2021-06-22 2023-09-21 友達光電股份有限公司 顯示裝置
FR3127066B1 (fr) * 2021-09-13 2023-09-08 Commissariat Energie Atomique Dispositif a surface reconfigurable, notamment afficheur pour afficher des caracteres braille

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005276089A (ja) * 2004-03-26 2005-10-06 Seiko Epson Corp 入力装置、画像表示装置及びプロジェクタ
WO2010105001A1 (en) * 2009-03-12 2010-09-16 Immersion Corporation Systems and methods for providing features in a friction display
JP2010532043A (ja) * 2007-06-26 2010-09-30 イマージョン コーポレーション マルチタッチの触知タッチパネルアクチュエータ機構のための方法および装置
JP2011527791A (ja) * 2008-10-03 2011-11-04 日本写真印刷株式会社 タッチ検知デバイス
US20120113020A1 (en) * 2010-11-09 2012-05-10 National Chiao Tung University Time-reversal-based impact-localization and haptic-feedback method for touch panels

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69638347D1 (de) 1995-07-13 2011-05-12 Applic Du Retournement Temporel Soc Pour Verfahren und Anordnung zur Fokussierung akustischer Welle
WO1999040504A1 (en) * 1998-02-03 1999-08-12 Invibro Ltd. System and method for vibro generations
US9857872B2 (en) 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
US8378979B2 (en) * 2009-01-27 2013-02-19 Amazon Technologies, Inc. Electronic device with haptic feedback
US8077021B2 (en) 2009-03-03 2011-12-13 Empire Technology Development Llc Dynamic tactile interface
US8253703B2 (en) 2009-03-03 2012-08-28 Empire Technology Development Llc Elastomeric wave tactile interface
CN102844726A (zh) 2010-02-26 2012-12-26 惠普发展公司,有限责任合伙企业 用于提供触摸反馈的触觉显示器
FR2958424B1 (fr) 2010-04-02 2015-05-15 Thales Sa Dispositif d'interaction haptique.
EP2381338B1 (en) * 2010-04-23 2012-12-12 Research In Motion Limited Portable electronic device including tactile touch-sensitive input device
US20110267294A1 (en) * 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
KR101161962B1 (ko) * 2010-06-14 2012-07-04 삼성전기주식회사 햅틱 피드백 디바이스 및 이의 제어방법
FR2962566B1 (fr) 2010-07-06 2013-05-17 Commissariat Energie Atomique Systeme de simulation d'un contact avec une surface par stimulation tactile
US10007341B2 (en) * 2011-06-21 2018-06-26 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
GB2495486A (en) * 2011-10-07 2013-04-17 Hiwave Technologies Uk Ltd Contextual haptic feedback in response to touch input
FR2992120B1 (fr) 2012-06-15 2014-07-18 Commissariat Energie Atomique Actionneur pour moteur ultrasonique et moteur ultrasonique comportant au moins un tel actionneur

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005276089A (ja) * 2004-03-26 2005-10-06 Seiko Epson Corp 入力装置、画像表示装置及びプロジェクタ
JP2010532043A (ja) * 2007-06-26 2010-09-30 イマージョン コーポレーション マルチタッチの触知タッチパネルアクチュエータ機構のための方法および装置
JP2011527791A (ja) * 2008-10-03 2011-11-04 日本写真印刷株式会社 タッチ検知デバイス
WO2010105001A1 (en) * 2009-03-12 2010-09-16 Immersion Corporation Systems and methods for providing features in a friction display
US20120113020A1 (en) * 2010-11-09 2012-05-10 National Chiao Tung University Time-reversal-based impact-localization and haptic-feedback method for touch panels

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020509482A (ja) * 2017-02-16 2020-03-26 ベーア−ヘラー サーモコントロール ゲーエムベーハー 車載機器用操作ユニット、特に車両用ヒューマンマシンインターフェース
JP7032414B2 (ja) 2017-02-16 2022-03-08 ベーア-ヘラー サーモコントロール ゲーエムベーハー 車載機器用操作ユニット、特に車両用ヒューマンマシンインターフェース

Also Published As

Publication number Publication date
US20150169060A1 (en) 2015-06-18
JP6126214B2 (ja) 2017-05-10
EP2859428A1 (fr) 2015-04-15
FR2991791B1 (fr) 2014-08-08
CN104428733A (zh) 2015-03-18
FR2991791A1 (fr) 2013-12-13
EP2859428B1 (fr) 2016-05-04
US9436284B2 (en) 2016-09-06
WO2013182611A1 (fr) 2013-12-12
CN104428733B (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
JP6126214B2 (ja) 時間反転触覚刺激インターフェース
JP6037252B2 (ja) 電子機器
US9785239B2 (en) Display device and electronic apparatus
US8780053B2 (en) Vibrating substrate for haptic interface
CN107533408B (zh) 电子设备
JP5421500B2 (ja) 電子機器
KR101383012B1 (ko) 스퀴즈막 효과를 이용한 촉감 디스플레이를 구비한 전자 장치
CN110546594B (zh) 产生声学润滑的时间反转接口
CN111512273B (zh) 提供改善的局部变形的平面设备
KR101156621B1 (ko) 촉감 패턴 디스플레이 장치 및 디스플레이 상에서의 촉감 패턴 생성 방법
Hudin Local friction modulation using non-radiating ultrasonic vibrations
KR101278293B1 (ko) 복수의 액추에이터를 가상 물체의 속도에 따라 주파수를 변화시키며 순차 구동하되 감지되는 진동 자극의 위치가 연속적으로 변하는 영역을 생성하며 이동 진동파를 구현하는 이동 진동파 생성 방법
KR20210018703A (ko) 표시 장치
US11003250B2 (en) Electronic device
US11934580B2 (en) Touch interface offering improved localised vibrotactile feedback
KR101398496B1 (ko) 진동촉감 차이 임계값을 이용하여 효율적으로 퍼널링 효과를 발생시킬 수 있는 이동 진동파 생성 방법
CN116097197A (zh) 用于生成位于表面上的触觉感觉的方法和实现该方法的触觉界面
WO2009117125A1 (en) Vibrating substrate for haptic interface
Takasaki et al. Pen tablet type surface acoustic wave tactile display integrated with visual information
Takasaki et al. Application of surface acoustic wave tactile display for pen tablet interface with visual information
KR102631306B1 (ko) 국소 진동장 형성 장치 및 방법과, 가진기 배치 방법
US20200379563A1 (en) Tactile stimulation interface using time reversal and providing enhanced sensations
Takasaki et al. Pen tablet type surface acoustic wave tactile display combined with Phantom
Takasaki et al. Pen type surface acoustic wave tactile display with movable tablet

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170406

R150 Certificate of patent or registration of utility model

Ref document number: 6126214

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150