JP2012533810A - 対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する方法および装置 - Google Patents

対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する方法および装置 Download PDF

Info

Publication number
JP2012533810A
JP2012533810A JP2012521075A JP2012521075A JP2012533810A JP 2012533810 A JP2012533810 A JP 2012533810A JP 2012521075 A JP2012521075 A JP 2012521075A JP 2012521075 A JP2012521075 A JP 2012521075A JP 2012533810 A JP2012533810 A JP 2012533810A
Authority
JP
Japan
Prior art keywords
touch
touch surface
specifying
touch contact
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012521075A
Other languages
English (en)
Other versions
JP5768814B2 (ja
JP2012533810A5 (ja
Inventor
ニコロフスキ,ジャン−ピエール
リウ,ユアン
ハフェス,ムスタファ
メフバル,ナツィー
ヴェルゲ,ミシェル
Original Assignee
コミサリアト ア レネルジー アトミクー エ オ エネルジーズ アルタナティヴズ
センター ナショナル デ ラ レチェルシェ サイエンティフィクー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コミサリアト ア レネルジー アトミクー エ オ エネルジーズ アルタナティヴズ, センター ナショナル デ ラ レチェルシェ サイエンティフィクー filed Critical コミサリアト ア レネルジー アトミクー エ オ エネルジーズ アルタナティヴズ
Publication of JP2012533810A publication Critical patent/JP2012533810A/ja
Publication of JP2012533810A5 publication Critical patent/JP2012533810A5/ja
Application granted granted Critical
Publication of JP5768814B2 publication Critical patent/JP5768814B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices Characterised By Use Of Acoustic Means (AREA)

Abstract

対象物(10;30)のタッチ面(24)上の少なくとも1つのタッチ接触位置を特定する本位置特定方法は、対象物の少なくとも1つの発信点(E1、E2)から発信される機械的弾性波を対象物のタッチ面に伝搬し(102)、対象物の少なくとも1つの受信点(R1、R2)で前記機械的弾性波を検出することによって少なくとも1つのタッチ接触を監視し、少なくとも1つの捕捉信号を得るステップ(100)と、捕捉信号の特性を基準特性の集合と比較することによって、対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定するステップ(200)を有する。監視ステップ(100)では、発信波の伝搬の過渡位相で始まる(t)時間間隔の間に捕捉した信号の測定し(104、106)、前記少なくとも1つのタッチ接触よって乱れた放射情報を前記少なくとも1つの受信点(R1、R2)に供給する。
【選択図】図6

Description

本発明は、対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する方法に関する。本発明はまた、この方法を実施するための装置にも係る。
タッチ面を備える多くの対象物のなかでも特に、携帯電話またはその他の携帯情報端末装置が知られている。これらの対象物のタッチインターフェースは一般に、平面かつ長方形のパネルであり、ユーザはスタイラスまたは1本以上の指を用いてこのパネルと相互作用することができる。しかし、本発明はより一般に、平面や外周が必ずしも長方形でなくてもよいタッチ面を備えるあらゆるタイプの対象物に適用されることがわかるであろう。
これらの対象物それぞれに、1つまたは複数の検出技術を用いて少なくとも1つのタッチ接触位置を特定する方法を実施する。
国際特許出願公報第2006/133018号には、複数の別々の技術を用いてタッチ面上のタッチ接触位置を特定する方法が開示されており、これらの技術では、それぞれ位置特定を推定し、さまざまな技術に従って得られた推定結果を突き合わせるステップを含んで精度が向上した最終結果を得る。検討した技術のうち、ある技術では、タッチ面に例えば表面音波などの機械的弾性波を繰り返し発信してこの機械的弾性波を検出し、検出した波に対するこのタッチ接触の乱れを解析することによってタッチ接触位置を特定する技術が使用されている。この文献で検討されているこの技術を使用してもそれほど正確な推定結果は出ないため、他の技術を組み合わせて推定の精度を上げることが有利である。しかし、位置特定技術を多数用いると、捕捉した信号の処理が重くなってしまう。
検出した信号を検出し、解析する技術を1つのみ使用する位置特定方法が好ましい。とりわけ本発明は、さらに正確には、タッチ面に起きる機械的弾性波の伝搬に対する単一または複数のタッチ接触の乱れを解析することによって位置特定する技術を1つのみ使用し、この技術のみで正確な推定結果を供給することができる方法に関する。
したがって本発明は、対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定方法であって、
− 対象物の少なくとも1つの発信点から発信される機械的弾性波を対象物のタッチ面に伝搬し、対象物の少なくとも1つの受信点で前記機械的弾性波を検出することによって少なくとも1つのタッチ接触を監視し、少なくとも1つの捕捉信号を得るステップと、
− 捕捉信号の特性を基準特性の集合と比較することによって、対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定するステップ
を有する位置特定方法に適用される。
このような方法が、国際特許出願公報第2008/142345号に記載されている。この方法は、対象物の固有振動周波数と一致する周波数成分が複数ある波を伝搬させることによって正確な位置特定を達成している。この波をタッチ面に一定時間伝搬させることにより、さまざまな波長を持つ振動パターンを作成することができ、とりわけ湾曲モードの共振図を作成することができる。この共振図は、対象物のタッチ面の平面での振動モードの共振図よりも強く乱れているという特徴があるため、表面と接触した指によって生じる減衰は、この表面が厚い場合であっても、固有モードから他のモードへ、接触位置から他の位置へ、測定できる程度でさまざまに変化する。したがって、対象物の表面に対して十分な数の共振図を作成すれば、学習方法によりタッチ接触の位置特定が可能になる。
しかし、この方法ではいくつかの問題、とりわけ複数のタッチ接触の共振、位置特定および解釈が解決されていない。実際、文献WO2008/142345には、減衰は(共振モードの空間で選定する場合を除いて)必ずしも湾曲面の線形関数にはならないと教示されており、湾曲面の線形関数になる場合にタッチ接触位置の特定が常に可能であるかどうかは記載されていない。その上、減衰が接触面の線形関数となるには、対象物の表面にエネルギーが均質に分散される必要がある。しかしこの場合はもはや共振はなく、よって振動の節も腹もない。そのため、タッチ接触位置を判別できるものはなにもない。
複数のタッチ接触を認識かつ/または解釈するための他の方法が知られている。
国際特許出願公報第2005/114369号には、例えば透明のタッチ画面が記載されており、この画面上で容量性技術の原則に従って複数のタッチ接触が検出される。しかしながらこの技術には欠点があり、透明な電子層および容量性センサのノード行列を必要とする。
国際特許出願公報第2008/085785号には、取得したタッチイメージを分割し、所定の型を用いて離散化パターンを識別することによる解析で、複数の接触(親指、手のひら)の性質を識別、判別することができる方法の別の例が記載されている。この方法には、とりわけ離散化したタッチインターフェースを必要とする欠点がある。
国際特許出願公報第2008/085759号には、インターフェースのデータを複数のタッチ接触と融合させることができる方法の別の例が記載されている。しかし、この方法では少なくとも1つの二次的装置および複数の装置のデータの同期が必要である。
最後に、国際特許出願公報第2008/085784号には、複数のタッチ接触を関数と結びつける身振りの辞書を使用するタッチ画面を有する装置が記載されている。しかし、この方法を使用すると、動きを認識するのに所定の素子すべてを比較しなければならず、複数のタッチ接触の簡潔なパラメータしか計算に入らない。
文献WO2008/142345に記載されている方法のもう一つの問題は、共振図の選択性が強いことと、共振ピークの振幅を測定したり、接触のある、またはない共振ピークの値を補外するために少なくとも補間処理を実行できるようにしたりするのに、周波数解像度が良好である必要があることである。ところが、この方法は、共振図がないと正確に動作しない。対象物の固有振動周波数以外で作業すると、タッチ面で伝搬の定常状態が得られるが、得られた図はそれほど判別できるものではない。
この方法のさらにもう一つの問題は、共振図を得るのに必要な、タッチ面における伝搬の定常状態の確率時間にある。この時間により、タッチ接触位置を特定する処理時間が長引く。
国際特許出願公報第2006/133018号 国際特許出願公報第2008/142345号 国際特許出願公報第2005/114369号 国際特許出願公報第2008/085785号 国際特許出願公報第2008/085759号 国際特許出願公報第2008/085784号
したがって、対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定方法を提供し、前述の問題および制約の少なくとも一部を緩和することができるようにすることが望まれる。
よって本発明は、対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定方法であって、
− 対象物の少なくとも1つの発信点から発信される機械的弾性波を対象物のタッチ面に伝搬し、対象物の少なくとも1つの受信点で前記機械的弾性波を検出することによって少なくとも1つのタッチ接触を監視し、少なくとも1つの捕捉信号を得るステップと、
− 捕捉信号のいくつかのスペクトル特性を基準特性の集合と比較することによって、対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定するステップ
を有する位置特定方法において、
監視ステップで、
発信波の伝搬の過渡位相で始まる時間間隔の間に捕捉した信号を測定し、前記少なくとも1つのタッチ接触によって乱れた放射情報を前記少なくとも1つの受信点に供給する位置特定方法を目的とする。
この過渡位相は、機械的弾性波の発信開始の目印となる加振の瞬間から始まり、対象物のタッチ面の縁に最初に反射する瞬間まで続くこともあることがわかるであろう。
本発明では、機械的弾性波の伝搬を利用する従来の試行とは異なる試行を実施する。実際、驚くべきことに、定常の共振図を確立することだけでなく、伝搬の過渡位相の前の段階でタッチ面に機械的弾性波を伝搬することも考慮に入れ、特にパルス状態での回折現象を考慮すると、単一または複数のタッチ接触の位置特定に応じて判別可能な信号も捕捉されることが明らかになる。さらに、このように対象物の固有周波数に依存せずに実施すると、共振ピークの選択性の問題および安定性の問題を緩和することができることがわかった。これにより一層幅広い周波数の決定も可能になる。
定常図、特に共振図を得て観察する代わりに、通常「回折のパルス図」と呼ばれ、単一または複数のタッチ接触によって乱れた伝搬が特徴である放射の過渡図を得る。このほか、この過渡図は定常図よりも迅速に得られるため、単一または複数のタッチ接触の位置特定結果を得るのに捕捉したデータの処理は加速することになる。この過渡図は、対象物の固有周波数であってもなくても加振周波数にも左右される。
このほか、測定したものは、必ずしもタッチ面上にタッチ接触が起こることによる振動の減衰ではなく、単一または複数のタッチ接触の存在が受信器のある領域に対して曝露される度合いが大きいか小さいかによって増加したり減衰したりする信号であることもわかる。
選択的に、捕捉信号の測定は、少なくとも1つの受信点の照明情報を供給するために、発信波の伝搬の定常位相を確立したあとまで継続する。
同じく選択的に、前記基準特性は、タッチ面の所定の領域での単一タッチ接触および複数のタッチ接触にそれぞれ一致する。
同じく選択的に、発信波は、対象物の固有振動周波数とはまったく異なる所定の周波数成分を複数有する。
同じく選択的に、発信波の各周波数成分は、対象物の任意の固有振動周波数と一致する共振のエネルギーピークの幅の10倍以上の周波数距離に位置するように決定する。
同じく選択的に、基準特性と比較した捕捉信号の特性は、いわゆる「測定した」ベクトルを形成する前記所定の周波数成分を持つ捕捉信号のスペクトルの振幅であり、基準特性の集合は、それぞれが単一または複数のタッチ接触と関連する基準ベクトル集合を有し、この基準集合は監視ステップとほぼ同じである事前学習ステップで作成し、このステップで基準となる単一および複数のタッチ接触を測定する。
同じく選択的に、基準ベクトルはノルムの値に応じて基準集合で順序付けし、位置特定ステップは以下のサブステップ:
− 測定したベクトルのノルムを計算するステップ
− 測定したベクトルのノルムの所定の近似値内のノルム幅を表す部分集合を基準集合から選択するステップ
− 所定の距離に応じて測定したベクトルに最も近い基準ベクトルをこの部分集合から検索するステップ
を含む。
本発明は、対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定装置であって、対象物のタッチ面に伝播する機械的弾性波を発信し、捕捉するように設計した少なくとも1つのトランスデューサと、前記少なくとも1つのトランスデューサに接続する中央電子装置であって、
− 対象物のタッチ面に前記少なくとも1つのトランスデューサから機械的弾性波を伝搬させ、前記少なくとも1つのトランスデューサによって前記機械的弾性波を検出させて少なくとも1つの捕捉信号を得て、
− 捕捉信号のスペクトルのいくつかの特性を基準特性の集合と比較することによって、対象物のタッチ面上に起きた少なくとも1つのタッチ接触位置を特定する
ようにプログラムする中央電子装置とを有する位置特定装置において、
中央電子装置をさらに、発信波の伝搬の過渡位相で始まる時間間隔の間に捕捉信号を測定し、前記少なくとも1つのタッチ接触によって乱れた放射情報を前記少なくとも1つの受信点に供給するようにプログラムする位置特定装置を目的とする。
選択的に、本発明によるタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定装置はさらに、対象物と、そのタッチ面と、このタッチ面を対象物に保持し、タッチ面の周縁の連続性が途絶える凸状領域の辺りに配置する手段とを有する。
同じく選択的に、中央電子装置をさらに、
− タッチ面上で順次位置特定した複数のタッチ接触から単一または複数の軌跡を少なくとも1つ明らかにし、
− この軌跡のいくつかの特性を基準特性の集合と比較することによって、実行する所定の関数として単一または複数のこの軌跡を解釈する
ように設計する。
本発明は、添付の図を参照しながら例のみを目的として挙げた以下の説明文を読めばよりよく理解できるであろう。
本発明の第1の実施形態による、対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定装置の概略的斜視図である。 本発明の第2の実施形態による、対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定装置の概略的斜視図である。 図1または図2に示す装置の動作構造の概略図である。 図1または図2に示す装置の第1の変形例によるタッチ画面の正面図である。 図1または図2に示す装置の第2の変形例によるタッチ画面の正面図である。 本発明の一実施形態による、対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定方法の連続ステップを示す図である。 本発明のもう一つの局面による、対象物のタッチ面上の少なくとも1つのタッチ接触を解釈する方法の連続ステップを示す図である。 さまざまな単一のタッチ接触を順次さまざまに位置特定するさまざまな解釈を記号で表示した概略図である。 複数のタッチ接触の順次さまざまに位置特定するさまざまな解釈を記号で表示した概略図である。
図1に示した対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定装置10は、
− とりわけ画面14およびキーボード16を備えるマイクロコンピュータ12と、
− 有線または無線の連結20によってマイクロコンピュータ12に接続する相互作用型タブレット型対象物18と
を有する。
相互作用型タブレット18は、フレーム22およびこのフレームの周縁の少なくとも一部で支持するタッチ面24を有する。タッチ面24は、例えば金属、ガラスまたはプラスチック製のボード形状であり、機械的弾性波がこのボードの厚み内に伝搬すると振動する。このタブレットは長方形で、とりわけ4:3の比率にすることができる。具体的には、長さ100mm、幅75mm、厚みは長さと幅に対して比較的薄く、とりわけ100μm〜4mmの間で例えば450μmにすることができる。この厚みは、触れられる可能性があるタッチ面24の1領域の特徴的寸法と比べてきわめて薄く、ユーザの指1本では一般に直径が1センチメートル前後のタッチ接触となる。
図1に示した例では、3つの圧電トランスデューサE、R1およびR2は、タッチボード24の内面すなわちタッチ接触できないフレーム22の内側を向いている面に固定している。これらの圧電トランスデューサは特に、導電性エポキシ接着剤またはシアノアクリレート系接着剤を用いてボード24に接着させることができる。
これらの圧電トランスデューサは、例えばPZT系強誘電体セラミック製のトランスデューサである。これらの圧電トランスデューサは、
− 例えば非対称のラム波のような機械的弾性波(すなわち、広意義での音波)を湾曲モードで発信し、タッチボード24に伝搬させることができる発信トランスデューサEと、
− タッチボード24を湾曲モードで伝搬する機械的弾性波を捕捉することができる2つの受信トランスデューサR1およびR2とを有する。
この3つのトランスデューサは、タッチボード24の対称軸をすべて除外して配置することが好ましい。その上、小型で何らかの立体形状にすることができる。特に、前述の寸法(75mm×100mm×0.45mm)のタッチボード24の場合、トランスデューサの面積は数平方ミリメートルから1平方センチメートルとすることができる。発信トランスデューサEを10Vの信号で加振すると、受信トランスデューサR1およびR2が供給する受信信号は、増幅せずに0.2Vに達することができる。
トランスデューサE、R1およびR2は制御用の中央電子装置に接続し、この装置を例えばマイクロコンピュータ12に搭載し、
− 圧電トランスデューサEからの機械的弾性波をタッチボード24に伝搬させ、圧電トランスデューサR1およびR2によってこの機械的弾性波を検出させて2つの捕捉信号を得て、
− 捕捉信号のいくつかの特性を基準特性の集合と比較することによってタッチボード24上の少なくとも1つのタッチ接触位置を特定する
ようにプログラムする。
本発明の第1の局面によれば、マイクロコンピュータ12の中央電子装置は、さらに正確には、圧電トランスデューサEから発信された波が伝搬する過渡位相で始まる時間間隔の間に捕捉信号を測定し、圧電トランスデューサR1およびR2が作成する受信点に放射情報を供給するようにプログラムする。これはのちに図6を参照して詳述する方法に従って行う。
圧電トランスデューサEからタッチボード24に発信される機械的弾性波は、実際には、少なくとも1本の指またはスタイラスがボードと接触すると、局地的に吸収されたり、阻止されたり、部分的に反射したりする。これによって、伝搬の過渡位相の状態で受信点R1およびR2に供給される放射情報に乱れが生じる。例えばこの乱れた放射情報、いわゆる「乱れた回折のインパルス応答」のいくつかの振幅パラメータおよび所定の周波数を持つ位相のパラメータを引き出すことで、これらのパラメータを、所定のタッチ接触と関連するパラメータライブラリから引き出した基準パラメータ、または(例えばパルス状態でキルヒホッフ−ゾンマーフェルトタイプの式を用いて)単一または複数のタッチ接触によって乱れた回折のインパルス応答をモデル化する関数から引き出した基準パラメータと比較することができるとともに、そこから単一または複数のタッチ接触の可能性のある位置を推測することができる。
タッチボード24上の単一または複数のタッチ接触が、それぞれ1本または複数本の指またはスタイラスを用いて行われた場合、この単一または複数のタッチ接触位置を特定し、それを例えばマイクロコンピュータ12の画面上に表示することができる。広義には、タッチボード24上で検出した単一または複数のタッチ接触が継続して単一または複数の軌跡26を形成した場合、この軌跡26の位置特定を、検出した単数または複数の軌跡26を補間処理することによって得られる運動曲線28の形でマイクロコンピュータの画面12上に表示することができる。
図2に示した本発明のもう一つの実施形態によれば、タッチボード24は透明で、携帯電話またはその他の携帯情報端末装置などの携帯型電子装置30に搭載することができる。この場合、タッチボードは、検出した軌跡26を補間処理することによって得られる運動曲線28を表示する画面の機能を果たすこともできる。
図3に示したように、装置10または30は、算術ユニットまたは論理ユニットを与えられたマイクロコントローラ32を有することができ、装置10の場合はマイクロコンピュータ12がこのユニットを操作する。このマイクロコントローラ32は、DA変換器34に接続する出力を有し、この出力は、必要に応じてアンプ36を介して発信トランスデューサEに接続する。
このほか、2つの受信トランスデューサR1およびR2は、2つのAD変換器38および40に接続することができ、この変換器自体は、マイクロコントローラ32に接続するか、マイクロコントローラの構成部品に接続することができる。AD変換器38、40およびマイクロコントローラ32は、捕捉信号を少なくとも8ビット、好ましくは10ビット、さらには12ビット以上で、少なくとも200kHzのレートでサンプリングすることができる。
一実施変形例によれば、または特に実験台の場合では、AD変換器およびDA変換器をデータ収集ボードおよび任意関数発生器に代替することができる。
トランスデューサE、R1およびR2への接続は、とりわけオーディオタイプの同軸ケーブルまたはこれ以外のあらゆるシールド接続で構成することができる。
図4は、第1の実施変形例による、図1または図2の装置のタッチボード24の正面図である。長方形のボード24を、長方形の4つの角に位置するほぼ点状の4つの領域Pでフレーム22に固定する。これらの領域は、ボードに機械的外力がかかる唯一の領域である。したがってこれらの領域は、機械的弾性波の伝搬による接触が最も少ないボード24の箇所、とりわけボードの周縁の角領域にあることが好ましい。
図5に示した第2の実施変形例によれば、ボード24は、長方形よりも複雑な形状である。この形状の第1の利点は、伝搬の過渡位相にある放射情報、または縁への最初の反射を計算に入れたパルス状態の回折情報が、さらに複雑である可能性があるため、単一または複数のタッチ接触が取り得るさまざまな位置特定に応じてさらに判別しやすくなることである。実際一般に、固体対象物で特に伝搬を誘導した場合、振動エネルギーは長手方向と横断方向の成分を含み、両者の比率は周波数によって変化する。ところが、固体対象物の境界への反射条件および音響モードの変換条件は、振動の性質に依存するため、過渡状態にある固体対象物の音響証明条件、および対象物のいくつかの領域で起こる連続的反射の最中の振動エネルギーの蓄積条件は、加振周波数に依存し、この依存は、対象物の輪郭および切り口(とりわけ側面の仕上がり)が複雑になるほどさらに顕著になる。さらに、より複雑なこの形状には、より多くの角領域Pがあり、この領域では機械的弾性波の放射がより小さく、単一または複数のタッチ接触の位置特定能力が乱れるリスクなしにボード24をフレーム22に固定することができる。
したがって、本発明によれば、対象物のタッチ面を、変化の多い輪、または例えばのこぎり歯、好ましくはボード用の凸状多角形などの複雑な形状に沿って、あるいはさまざまな振動幅または3次元に振動するように切ったり成形したりすることが有利になる。
また、本発明の範囲内で、圧電発信トランスデューサおよび/または受信トランスデューサを多少なりとも備えることができ、検討できる最低限のものは、発信と受信を順次行う単一のトランスデューサである。図5に非限定的に示した例では、2つの発信トランスデューサE1、E2および2つの受信トランスデューサR1、R2を備えるようにした。
トランスデューサの数およびその動作モードの選定は、検討する適用によって異なるが、とりわけ、
− 発信波の複雑性が増し、発信トランスデューサおよび/または受信トランスデューサの数がとりわけトランスデューサを正反対の領域に分布している場合に増加し、
− 複数のトランスデューサが同一周波数を交互に発信する際に、さまざまな放射を記録することができる
ことがみられることを判断材料とする。
次に、前述の装置10または30の動作を、図6を参照して詳述する。
例えば1秒あたり数十回、とりわけ1秒あたり50〜100回の測定率などの規則的な間隔で、マイクロコンピュータ12またはマイクロコントローラ32は、タッチボード24の外面を監視するステップ100を開始したのち、単一または複数のタッチ接触位置を特定するステップ200に移る。
各監視ステップ100では、tの時点で、機械的弾性波をボード24に発信する(102)。この機械的弾性波は、2つの異なる伝搬段階に従って伝搬する。過渡的に伝搬する第1の段階は、tの時点からtの時点までであり、この段階では発信波の先頭は、1回または複数回反射した後に直接または間接的に受信器に到達するが、この時点では受信波が合流した波はまだ安定していない。静的に伝搬する第2の段階は、tの時点から監視が終了するtまでであり、この段階では、新たな受信波が加わることによって構造本来の減衰と相殺されるため、その時のピークからピークまでの信号の振幅は安定する。このように過渡位相では、「流れ」の概念により、回折のインパルス応答について説明したり、図式的に受信点で受信した放射情報について説明したりすることができる。一方定常位相では、この流れの安定した結果の概念によって、受信点での照明情報について説明する。
ボード24に機械的弾性波を発信102したあと、監視ステップ100では、ボード24の少なくとも1つの受信点でこれらの機械的弾性波を検出して104少なくとも1つの捕捉信号を得る。この検出104は、tの時点で開始され、この時間間隔の間に捕捉した信号を測定して検出が終了する106tの時点まで続く。本発明によれば、この測定は、発信波の伝搬の過渡位相の間に始まり、受信点で放射情報を供給することがわかる。換言すると、測定を開始する時点tは、時点tからtの間である。測定が終了する時点tも同じく時点tからtの間であるため、測定は総合的に過渡位相で実施する。しかし、変形例では、捕捉信号の測定は、発信波の伝搬の定常位相を確認したあとまで延長し、前述の放射情報に加えて受信点の照明情報を供給することができる。換言すると、測定が終了する時点tは、tからtの間にすることができる。
監視ステップ100の後は、単一または複数のタッチ接触位置を特定するステップ200であり、このステップでは、起こり得るタッチ接触またはタッチボード24に同時に起こる複数のタッチ接触を識別し、位置特定する。
次に、この監視ステップ100と位置特定ステップ200の2つを説明する。
監視ステップ100
各監視ステップ100では、マイクロコンピュータ12またはマイクロコントローラ32は、発信トランスデューサEまたは(さまざまな放射図となるように)対象物上の対極の位置に配置する発信トランスデューサE1、E2から機械的弾性波、とりわけラム波、さらに詳細には非対称のラム波を発信させる。発信トランスデューサE、または発信トランスデューサE1、E2は、放射図および照明図を対照させるように同時ではなく交互に発信する(同時発信すると放射および照明が均質になり、空間的に判別しやすい特性が消失する作用が起きる)。等方性のボードに起こるラム波のほか、トランスデューサE、またはトランスデューサE1、E2は、平らまたは湾曲した均質または不均質の外殻に湾曲モードで波を発信することができる。
このステップでも同じく、複数の発信器を有する本発明の一実施形態では、これらの発信器はすべて同時に少なくとも1回発信し、タッチボード24を全体にわたって画一的に照明して測定することができ、この測定のノルムは、単一または複数のタッチ接触および湾曲面を示すものである。
発信波は、所定のQ個の周波数で構成される。この発信波は、1回または複数回反射したあと、伝播の過渡位相になると作動する受信トランスデューサR1、R2によって直接または間接的に捕捉される。前述したように、タッチボード24の縁に複数回反射したのち、同じく受信トランスデューサR1、R2によって捕捉することができる照明図と関連する定常波が生じる。
この所定の周波数の数Qは一般に10よりも多く、好ましくは100よりも多く、さらには200〜500である。この所定の周波数は、対象物の共振ピーク付近のものではない。この周波数は、むしろ共振ピークの中間の高さ(エネルギー)の幅の2倍以上あり、対象とする対象物に搭載されているタッチボード24の任意の固有周波数に共振ピークがあることがわかる。この周波数は、受信トランスデューサR1、R2が捕捉する信号スペクトルをもとに決定することができる。また、この周波数が生み出す放射情報および/または照明図の複雑性に応じても決定される。例えば、生じた放射図および/または照明図が複雑であり対称性が低いほど、対応する周波数の利益は多い。
所定の周波数は、とりわけ1〜100kHzの空間周波数の観点から広いスペクトルをカバーする周波数範囲にあるQ個の周波数の分布をもとに決定することもできる。例えば周波数範囲が20kHz〜80kHzにわたる場合、割り当てられたQ個の周波数Fiは、次式によってあらかじめ決定することができる。
(単位:kHz、1≦i≦Q)
Q個の所定の周波数で監視ステップ100を実行する場合、マイクロコンピュータ12またはマイクロコントローラ32は、トランスデューサEまたはトランスデューサE1、E2によってQ個の所定の周波数に重なったQ個の波形を有するフレームを発信させることができる。この発信は、定常波がボード24で構成されるように、十分な時間の発信時間枠の間に実行することができる。この時間は、例えば2〜25ms、とりわけおよそ5msにすることができる。この発信は、5msの時間枠に対してQ個の周波数を重ねて生じる任意の信号を発生させることによって、連続的または反復的に絶え間なく実行することができる。
監視ステップでは、機械的波は、発信時間枠のあとに始まる受信時間枠の間に受信トランスデューサR1およびR2によって捕捉して定常波を確認できるようにするか、あるいは発信時間枠の始めに捕捉し、直接の信号を受信してすぐと、ボード24の縁に対して最初の反射が連続的に起こる間とに現れる対象物の音響放射の過程を把握できるようにする。このように、例えば5あるいは2msなど数ミリ秒で測定した信号を得ることを考案することができる。比較してみると、文献WO2008/142345に開示されている先行技術によれば、このような取得枠では、迅速なフーリエ変換によって500Hzでしか周波数解像できない。このような解像度では、共振ピークの幅は200〜300Hz付近であることを考えるとかなり不十分である。
発信が断続的な場合の変形例では、受信時間枠を最初の発信フレームのあとに始めることができる。さらに、受信時間枠のあとは、発信時間枠を重複することなく続けることができる。この場合、場合によっては発信と受信の役割を同時に果たす圧電トランスデューサ1つのみを使用してもよい。同じくこの場合、受信トランスデューサは、過渡位相に加えて定常位相に関わることはなく、対象物の音響が消滅する段階を含む純粋なパルスの位相のみを検出する。
受信トランスデューサR1、R2が捕捉し、時間T=t−t=NTe(式中Nは取得点の数、Teはサンプリング周期)の取得時間枠でサンプリングした信号をもとに、以下の離散フーリエ変換で計算することによって例えば周波数ベクトルを引き出すことができる。
=(A1,A2,...Ai,...AN
式中mは、使用するM個の受信トランスデューサから1つの受信トランスデューサを識別する指数を指す。
Nは2000未満であり、取得周波数は400kHzを上回ることが好ましい。
ベクトルPは、Fe/Nと周波数幅1/Tで受信するサンプリング周波数Feとの間の周波数で受信した信号スペクトルの振幅すべてを含む。Aiは、周波数Fiの信号の振幅であり、
Fi=iFe/N (1≦i≦N)
の関係を確認する。
最後に、受信トランスデューサR1、R2が捕捉し、サンプリングした信号をもとに、M個のベクトルPを融合して生じる拡張ベクトルPe={Pi,...,P}を構成することができる。
変形例では、得られたベクトルまたは拡張ベクトルは、周波数が20kHz〜80kHzの信号スペクトルの振幅のみを有する。
同じく変形例では、得られたベクトルまたは拡張ベクトルは、Q個の所定の周波数の振幅のみを含むこともできる。
同じく変形例では、引き出した特性は、フーリエ変換によって得られた信号の位相を有することができる。
位置特定ステップ200
各位置特定ステップ200では、測定したベクトル、例えばベクトルPの少なくとも1つを、デカルト座標(u,v,w)でタッチボード24の表面にサンプリングした基準位置の集合{(x,y,z)}に全単射的に関連している基準ベクトル集合{Pref(x,y,z)}の基準ベクトルと比較する。このようにして、監視ステップ100で測定したベクトルに(所定の距離に応じて)最も近い基準ベクトルを選択し、タッチ接触の座標を供給する。
前述の概念は、単一のタッチ接触の検出に関するものだが、この概念は複数のタッチ接触の位置特定、つまり同時に起こるk個のタッチ接触(k>1)の位置特定まで容易に拡大することができる。さらに正確には、デカルト座標(u,v,w)でタッチボード24の表面にサンプリングした基準位置の集合{(xu1,yv1,zw1,...,xui,yvi,zwi,...,xuk,yvk,zwk)}に全単射的に関連している基準ベクトル集合{Pref(xu1,yv1,zw1,...,xui,yvi,zwi,...,xuk,yvk,zwk)}のなかからこの測定したベクトルに(所定の距離に応じて)最も近い基準ベクトルを検索し、測定したベクトルPに関連する複数のk個のタッチ接触のk個の位置(x1,y1,z1,...,xi,yi,zi,...,xk,yk,zk)を推測する。
この位置特定ステップ200で使用した距離関数には、周知のさまざまな式を取ることができる。
したがってこの関数を、マンハッタン距離:
またはユークリッド距離:
またはミンコフスキー距離:
(式中pは任意の整数)
またはチェビシェフ距離:
と定義することができる。
この関数は、上記以外のあらゆる種類の定義でもよい。特に、測定したベクトルを作成するのにQ個の所定の周波数で受信した信号スペクトルの振幅を決定する場合、およびこの振幅を中心に据えて標準化する場合、測定したベクトルと基準ベクトルとの間の距離の計算は、前述の文献WO2008/142345に記載されている相互相関関数の計算とほぼ同じになる。
本発明の一実施形態では、決定する距離は、位置特定の認識を誤る率が最も低くなる距離とすることができ、この率は、タッチ面に与えたランダムなタッチ接触の証拠となる集合に対してさまざまな距離をテストする事前のテストステップで推定する。
本発明の一実施形態では、単一または複数のタッチ接触の認識を確認するため、最短距離を検索することによって位置を特定するステップで、M個の受信器すべてがタッチ接触の単一または複数の同じ位置を識別するようにする必要がある。M個の受信器に対して同時認識がなければ、その位置は却下すればよい。M個のセンサが実行する測定をこのように融合することは簡単なことであり、複雑な処理も特別な同期も必要ない。
変形例では、M個の受信器をさまざまに異なる優先度にすることができる。そのため、1つの主要受信点と複数の二次的受信点を持つことができる。二次的受信点によって主要受信点の測定要素が豊富になり、測定した複数のベクトルを単一の拡張ベクトルに融合することができる。
本発明の一実施形態では、タッチ接触を基準ベクトル集合から検出し、検索するが、以下の2つの規準:
− 測定したベクトルのノルムは、タッチ接触がないときの周知の安定性の範囲外であること、
− 測定したベクトルのノルムは、基準ベクトル集合のノルムが取り得る変動範囲内であること、
を同時に確認した場合に限る。
安定性の範囲は、タッチ接触がないときの変動を、所定の連続測定数を通して確認することによって決定する。例えば、安定性の範囲外となることを考えるには、測定したノルムは、100回連続で測定して確認したノルムの平均値の絶対値で2%以上の差がある必要がある。
本発明の一実施形態では、単一または複数のタッチ接触に対して識別した位置の確実性を、2回または3回連続測定してテストする。連続測定して単一または複数のタッチ接触の位置が同じになれば、この識別は有効である。変形例では、位置特定ステップ200の反応度を上げるため、このテストをより寛容にし、4回または5回の連続測定全体のうち2回または3回の測定だけで同じ位置になれば許容、つまり単一または複数のタッチ接触の位置特定を有効とするには十分とする。
本発明の一実施形態では、複数のさまざまな発信点から機械的弾性波を伝搬させることができる。その結果、基準集合には統合した平均ノルムがあるか、ベクトルPref(x,y,z)のノルムの幅にはばらつきがあり、(x,y,z)にはそれほど依存しない。
最後に、本発明の一実施形態では、残響率が比較的低く、とりわけ1kHzあたり10ms未満、かつ70kHzあたり1msであるタッチボード24を選定し、これによって測定率を上昇させることができる。この残響率は、周期の最初に、ボードに起こるインパルスのあとに残留する信号が初期の信号の36%未満となる、つまり1/exp(1)に相当する減衰が起こる率と定義する。
上で説明したように、位置特定ステップでは、少なくとも1つの測定したベクトルを基準ベクトル集合と比較する。この基準ベクトル集合は、次に詳述する事前学習ステップで作成することができる。
この事前学習ステップは、それぞれのタッチボードに個別に実施するか、サイズが同じで同じトランスデューサを有し、このトランスデューサを同一方法で同じ位置に接着させた一連のタッチボードの代表である標準タッチボードに実施することができ、このボード自体は基台を形成するフレームに同じ方法で搭載する。ボードが同じように見えることがある場合でも、例えば気泡があったり接着材の厚みに幅があったりしてわずかな変化がみられることがあり、同じとみなした一連のボードに対して共振周波数のばらつきが起こる原因となることがあるため、共振周波数以外の周波数を持つ波を加振することが有利である。
事前学習ステップは、前述した監視ステップ100と同じように実施するが、単一または複数のタッチ接触によって前述の基準ベクトルが得られ、タッチ面を有する装置の正常な使用状態でこの基準ベクトルを次の位置特定ステップで使用するという所定の条件をつける。
この事前学習ステップでは、単一のタッチ接触の基準ベクトル{Pref(x,y,z)}または複数のタッチ接触の基準ベクトル{Pref(xu1,yv1,zw1,...,xui,yvi,zwi,...,xuk,yvk,zwk)}を監視ステップ100でベクトルPを決定するのと同じ方法で決定することができる。この値{Pref(x,y,z)}または{Pref(xu1,yv1,zw1,...,xui,yvi,zwi,...,xuk,yvk,zwk)}は、タッチボード24上で1つまたは複数(k個)のタッチ接触があるときの捕捉信号のスペクトルの周波数の振幅に相当し、タッチボードに対してサンプリングした座標{(x,y,z)}(単一の場所)または{(xu1,yv1,zw1,...,xui,yvi,zwi,...,xuk,yvk,zwk)}(複数の場所)の所定の場所で、(u,v,w)は、タッチボード24上のタッチ接触の可能な位置に関わる指数を3次元座標で表現したものである。
基準となる単一または複数のタッチ接触は、1本以上の人工指、スタイラスあるいは使用者の指によるものとすることができる。
離散化した位置特定結果を9x9の格子状に分割したタッチ面の場合、単一のタッチ接触の位置特定には81個の基準ベクトルが必要になる。2つのタッチ接触の位置特定には、C 81=3240個の基準ベクトルが必要になる。より一般的には、U×Vの離散化した位置特定のサンプリングを行う格子上で同時に起きたk個のタッチ接触(先験的にこのタッチ接触は同じであり置換可能とする)を位置特定する場合、必要な基準ベクトル数は、U×V個の素子の集合のうちk個の素子を組み合わせた数、すなわちC UxVである。
本発明の一実施形態によれば、より確実な最終の位置特定結果を得るため、単一または複数の所定位置に対して単一または複数のタッチ接触の事前学習ステップを何回か繰り返し、平均値のみを採用することができる。とりわけ、例えば同じ学習10回に対する平均値のみを採用することができる。よって基準ベクトル集合は、何らかの標準偏差を用いて、各基準位置に対して連続的に取得したS個(例えばS=10)の平均で作成する。したがって、各基準ベクトルは、係数それぞれに対して、対象とする周波数を持つ平均的減衰を示す現実部分と、以下の標準偏差を示す推測部分とを有する複合ベクトルの形を取ることができる。
ref=((A1,σ1),...(Ai,σi),...(AN,σN))
本発明の一実施形態によれば、それぞれの基準ベクトルがタッチ接触の数kに相当する複数の基準ベクトル集合を使用することができる。とりわけ、同時に起きた解釈可能なタッチ接触の数がk個に達する場合、k個の基準ベクトル集合にはそれぞれC UxV個の基準ベクトルがあるようにすることができる。
したがって、これらの集合を1つのみの基準集合に統合することもでき、この集合では基準ベクトルをノルムの大きいベクトル順に並べる。このように基準集合内で基準ベクトルを並べると、基準集合内で可能なノルムを、例えば測定したベクトルのノルムの事前に定めた近似値内に限定した範囲を事前に選択することで、測定したベクトルに最も近い基準ベクトルを検索するステップを加速させることが可能になる。このようにして、基準部分集合の検索をなしにする。さらに、測定したベクトルのノルムにより、タッチ面の切断状態とその環境が明らかになる。特に、タッチ面上の1つまたは同時に起こる複数のタッチ接触によって、測定したベクトルのノルムに変化が生じ、その結果この変化は同時に起こるタッチ接触の数kと強い相関関係を持つ。
本発明の第2の局面によれば、前述した装置の中央電子装置はさらに、
− タッチ面上で順次位置特定した複数のタッチ接触から単一または複数の軌跡を少なくとも1つ明らかにし、
− この軌跡のいくつかの特性を、単一または複数の基準軌跡を識別する特性の集合と比較することによって、単一または複数のこの軌跡を解釈する
ように設計する。
さらに正確には、図1を参照して指摘したように、タッチボード24上で検出した単一または複数のタッチ接触が継続して単一または複数の軌跡26を形成する場合、この軌跡26の位置特定結果を、検出した軌跡26を補間処理することによって得られる運動曲線28の形でマイクロコンピュータの画面12に表示することができる。単一または複数のタッチ接触の位置特定は実際に、合計時間が10ms、さらには5ms未満であるステップ全体を含み、継続的に循環する過程となり、その結果、測定率は上昇し、単一または複数の軌跡は容易に得ることができる。
運動曲線28はさらに、複数のセグメントで構成することができ、セグメントの最後の点、それに続くセグメントの最初の点は、例えば50ms〜150msの事前に定めた最短時間の間にタッチボード24との接触が途切れたことの特徴を表している。
連続する単一または複数のタッチ接触を解釈することにより、例えばタッチ面を有する対象物が、
− 動きのあるタッチ接触(すなわち軌跡)をサンプリングし、
− 動きのあるタッチ接触の速度および加速度を計算し、
− タッチ接触のノルムを測定してこのノルムとタッチ接触力との対応関係を確立し、
− タッチ接触の始めとタッチ接触の終わりを識別し、
− 軌跡の補間処理によって運動曲線を描き、
− 撫でるような接触、「1回」たたくような接触、「2回」たたくような接触に関する相互作用など、単一または複数のタッチ接触となるタッチ面との動的な相互作用のサインを作成し、
− コンピュータのオペレーティングシステムのグラフィックス対象物(例えばコンピュータ支援設計、写真、文書など)をコンピュータワークスペース(例えば画面14または24)内で描き、動かし、
− タッチ接触の移動方向に沿って仮想空間内で対象物を描き、動かし、向きを設定し、
− 単一または複数の軌跡、速度、加速度に応じてタッチ接触を解釈し、所定の身振り言葉に沿った機能(迅速な前進、迅速な後退、選択、拡大表示、縮小表示、回転、k個の変形点からの自由な変形など)を実現する
ように設計することができる。
図7は、本発明の第2の局面による、対象物のタッチ面上の少なくとも1つのタッチ接触を解釈する論理的方法を示した一例の連続ステップを示す。
この方法ではまず、複数の一連の位置特定ステップ200を実行し、中央電子装置によって単一または複数の軌跡を決定する。
次に、テストステップ300では、解釈する軌跡が単一か複数かを判断する。それが単一の軌跡であれば、その軌跡の状況および特徴に応じてステップ302、304または306のいずれかに移る。
ステップ302では、仮想空間および/または作業空間で対象物を表示する状況で、とりわけ軌跡の最初のタッチ接触が問題の対象物の方を指している場合、図8で符号50を付した軌跡のような単一の軌跡を、この対象物の移動命令と解釈する。図8に示した軌跡は、右、左、上または下への移動の(単純な例として挙げた)軌跡であり、白い点は出発位置(軌跡の始まり)を指し、グレーの点は到着点(軌跡の終わり)を指す。
ステップ304では、仮想空間および/または作業空間で対象物を表示する状況、または任意の対象物のリストを走査する状況では、図8で符号52を付した軌跡のような単一の軌跡を、表示する対象物の移動の加速命令または提示されているリスト内の迅速な前進または後退命令と解釈する。この状況では、軌跡の方向だけでなく、軌跡の速度および/または加速度も計算に入れる。したがって、右向きに加速する軌跡を迅速な後退と解釈し、左向きに加速する軌跡を迅速な前進と解釈する。
ステップ306では、複数頁ある文書を読むという状況で、図8で符号54を付した軌跡のような単一の軌跡を、前頁に戻ったり次頁に進んだりする命令と解釈する。この状況でも同じく、軌跡の方向だけでなく、軌跡の速度および/または加速度も計算に入れる。したがって、4分の1回転したあとに軌跡の終わりで加速する軌跡を、軌跡の向きに応じて次頁または前頁への改頁と解釈する。
ステップ300で解釈する軌跡が複数あると判断した場合、別のテストステップ400へ移ってこの軌跡が2つあるのか、同時に起きたタッチ接触が3つ以上あるのかを判断する。軌跡が2つの場合、状況および軌跡の特徴に応じてステップ402または404のいずれかに移る。
ステップ402では、仮想空間および/または作業空間で対象物を表示する状況で、とりわけ軌跡の最初の2つのタッチ接触が問題の対象物の方を指している場合、図9で符号56を付した軌跡のような2つの軌跡を、この対象物の拡大表示または縮小表示命令と解釈する。ズームの幅は、軌跡の行程で同時に起きた2つのタッチ接触間の距離の変化に応じて決定する。従来の方法では、このズーム機能を可視化した対象物のスケーリング変形命令と解釈して表示する。
ステップ404では、仮想空間および/または作業空間で対象物を表示する状況で、とりわけ軌跡の最初の2つのタッチ接触が問題の対象物の方を指している場合、図9で符号58を付した軌跡のような2つの半円形の2つの軌跡を、この対象物の回転命令と解釈する。
ステップ400で解釈する軌跡に同時に起きたタッチ接触が3つ以上あると判断した場合、同時に起きたタッチ接触が少なくとも3つある軌跡を解釈するステップ500に移る。本発明の一実施形態では、対象物が自由変形するステップ502に移る。
このステップ502では、仮想空間および/または作業空間で対象物を表示する状況で、図9で符号60を付した軌跡のような少なくとも3つの軌跡を、対象物を自由に変形させる命令と解釈する。特に軌跡60は3つである。この軌跡は例えば最初に対象物の3つの点を指し、この3つの点それぞれの3つの軌跡に沿った移動が、対象物に適用するのに適したベクトルの変形を決定する。
ステップ302、304、306、402、404および502に続いて、前述のように解釈した機能を実行し、その結果を例えば画面14(図1の場合)または24(図2の場合)に表示するステップ600に移る。
最終的には、検出した単一または複数のタッチ接触の解釈に関して図7、8、9を参照して説明した本発明の第2の局面は、図1〜図6を参照して説明した第1の局面と組み合わせることが有利だが、タッチ接触または(一連のタッチ接触としての)軌跡を位置特定する、これ以外のあらゆる単一または複数の方法を使用してタッチ接触の解釈を実施することができるという意味から、第1の局面とは別のものであることがわかるであろう。
前述したようなタッチ面上の少なくとも1つのタッチ接触位置を特定する方法により、タッチ面の放射および/または照明に対するこれらのタッチ接触の作用を解析することにより、タッチ面における機械的弾性波の伝搬の過渡位相から単一または複数のタッチ接触の可能性を解析する従来の方法よりも確実に短い処理時間を達成することが可能になることは明らかである。さらに正確には、従来の方法では50msに及ぶほどの取得時間がかかっていたところ、この時間を10前後の因数で割った時間になる。すると、1秒当たりに多数の測定を処理することができ、「ドラッグアンドドロップ」(英語の「drag and drop」)を実行する従来の機能に匹敵する軌跡を判断することができる。
その上この処理は簡単なため、市販のマイクロコントローラに実装できる。
さらに、本方法は、タッチ面を有する対象物の固有振動数に依存しないため、実験した周波数で選択性が高い必要も安定している必要もない。とりわけ対象物の厚みが発信波の波長および指の特徴的寸法に対してきわめて弱い場合に、対象物の共振周波数を作動させる必要がない。よって、液晶画面またはプラスチックの外殻のボード上面(ユーザ側の面)の場合のように、厚みが薄く(1ミリメートル未満)大幅に減衰したタッチボードにも実施できる。このほか、放射および/または照明の図を解析するのに使用できる周波数に対して選定の幅が広まる。
もう一つの利点は、納得のいく結果が得られることであり、例えば限定数の発信器および捕捉器をもとに、ミリメートル単位の正確な位置特定ができる。とりわけ、発信と受信を順次行うトランスデューサが最低1つあれば十分である。2つの発信器と2つの受信器をタッチ面の周縁に非対称に配置すると、きわめて良好な推定ができる。さらに、この発信器および受信器は小型であってもよく、とりわけわずか数平方ミリメートルであってもよい。
前述したように、単一のタッチ接触と複数のタッチ接触とを判別することも可能である。
もう一つの利点も、判別しやすい放射および/または照明の図の作成に(妨害せずに)加担する(とりわけ接着による)固定点を介してフレームにタッチボードを搭載することができる点である。
また、本発明はガラス製の平面に限定されるものではなく、湾曲面およびプラスチック製または金属製の外殻にも適用されるため、可能な適用例が多数あることも説明した。前述したような方法より、輪郭が複雑かつ不規則なタッチ面から利益を引き出し、タッチ接触に応じた判別しやすい放射および照明が構成されることがより明らかになる。
最後に、本発明の第2の局面によれば、前述の方法により、キーボードショートカットと同じようだがより直観的にコンピュータの機能コマンドで解釈できるタッチ操作可能な言語や身振りを作り出すことができる。
前述の装置および方法の利用が可能ないくつかの産業上の適用例は、とりわけ、
− 単一または複数のタッチ接触を動的に解釈するマンマシンインターフェースがある状況でのゲームコンソール、携帯電話、携帯情報端末および液晶画面に用いる、複数のタッチ接触に対してタッチ操作可能なタッチパネル、
− 平坦または湾曲したタッチキーボード、複雑な形の対象物に設けるタッチコマンドボタン、
− 撫でる、たたくなどのさまざまな種類のタッチ接触を感知することができるロボットに対するタッチ操作可能な外殻
があるが、これらに限定されるものではない。
このほか、本発明は、前述の実施形態に限定されるものではないことがわかるであろう。ここに開示した教示に照らし合わせて、上に記載した実施形態にさまざまな修正を加えてもよいことは当業者には明らかであろう。以下の請求項では、使用した用語が請求項を本明細書で明らかにした実施形態に限定するものと解釈してはならず、本文の記載およびそこから予見される内容は、ここに開示した教示の実装に一般知識を応用することによって当業者が到達しうる範囲内であることから、請求項が範囲に含めると想定するあらゆる同等のものも含まれると解釈すべきである。

Claims (10)

  1. 対象物(10;30)のタッチ面(24)上の少なくとも1つのタッチ接触位置を特定する位置特定方法であって、
    − 対象物の少なくとも1つの発信点(E1、E2)から発信される機械的弾性波を前記対象物の前記タッチ面に伝搬し(102)、前記対象物の少なくとも1つの受信点(R1、R2)で前記機械的弾性波を検出することによって少なくとも1つのタッチ接触を監視し、少なくとも1つの捕捉信号を得るステップ(100)と、
    − 捕捉信号の特性を基準特性の集合と比較することによって、前記対象物の前記タッチ面上の少なくとも1つのタッチ接触位置を特定するステップ(200)
    とを有する位置特定方法において、
    前記前記監視ステップ(100)で、発信波の伝搬の過渡位相で始まる(t)時間間隔の間に捕捉した信号の測定し(104、106)、前記少なくとも1つのタッチ接触よって乱れた放射情報を前記少なくとも1つの受信点(R1、R2)に供給する位置特定方法。
  2. 前記捕捉信号の前記測定(104、106)は、少なくとも1つの受信点(R1、R2)の照明情報を供給するために、前記発信波の伝搬の定常位相を確立した(t)あとまで継続する(t)、請求項1に記載のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定方法。
  3. 前記基準特性は、前記タッチ面の所定の領域での単一タッチ接触および複数のタッチ接触にそれぞれ一致する、請求項1または2に記載のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定方法。
  4. 前記発信波は、前記対象物の固有振動周波数とはまったく異なる所定の周波数成分を複数有する、請求項1から3のいずれか一項に記載のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定方法。
  5. 前記発信波の各周波数成分は、前記対象物の任意の固有振動周波数と一致する共振のエネルギーピークの幅の10倍以上の周波数距離に位置するように決定する、請求項4に記載のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定方法。
  6. 基準特性と比較した捕捉信号の特性は、いわゆる「測定した」ベクトルを形成する前記所定の周波数成分を持つ捕捉信号のスペクトルの振幅であり、基準特性の集合は、それぞれが単一または複数のタッチ接触と関連する基準ベクトル集合を有し、前記基準集合は監視ステップとほぼ同じである事前学習ステップで作成し、前記ステップで基準となる単一および複数のタッチ接触を測定する、請求項4または5に記載のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定方法。
  7. 前記基準ベクトルはノルムの値に応じて基準集合で順序付けし、前記位置特定ステップ(200)は以下のサブステップ:
    − 測定したベクトルのノルムを計算する
    − 測定したベクトルのノルムの所定の近似値内のノルム幅を表す部分集合を基準集合から選択する
    − 所定の距離に応じて測定したベクトルに最も近い基準ベクトルをこの部分集合から検索する
    を含む、請求項6に記載のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定方法。
  8. 対象物(18;30)のタッチ面(24)上の少なくとも1つのタッチ接触位置を特定する位置特定装置(10;30)であって、対象物のタッチ面に伝播する機械的弾性波を発信し、捕捉するように設計した少なくとも1つのトランスデューサ(E1、E2、R1、R2)と、前記少なくとも1つのトランスデューサに接続する中央電子装置(12、32)であって、
    − 前記対象物の前記タッチ面に前記少なくとも1つのトランスデューサから機械的弾性波を伝搬させ、前記少なくとも1つのトランスデューサによって前記機械的弾性波を検出させて少なくとも1つの捕捉信号を得て、
    − 前記捕捉信号のスペクトルのいくつかの特性を基準特性の集合と比較することによって、前記対象物の前記タッチ面上に起きた少なくとも1つのタッチ接触位置を特定する
    ようにプログラムする中央電子装置(12、32)とを有する位置特定装置において、
    前記中央電子装置(12、32)をさらに、発信波の伝搬の過渡位相で始まる時間間隔の間に前記捕捉信号を測定し、前記少なくとも1つのタッチ接触によって乱れた放射情報を前記少なくとも1つの受信点に供給するようにプログラムする位置特定装置(10;30)。
  9. 前記位置特定装置はさらに、対象物(30)と、そのタッチ面(24)と、このタッチ面を対象物に保持し、タッチ面の周縁が途切れる凸状領域の辺りに配置する手段(P)とを有する、請求項8に記載のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定装置。
  10. 前記中央電子装置(12、32)をさらに、
    − タッチ面(24)上で順次位置特定した複数のタッチ接触から単一または複数の軌跡(26;50、52、54、56、58、60)を少なくとも1つ明らかにし、
    − 前記軌跡のいくつかの特性を基準特性の集合と比較することによって、実行する所定の関数として単一または複数の前記軌跡(26;50、52、54、56、58、60)を解釈する
    ように設計する、請求項8または9に記載のタッチ面上の少なくとも1つのタッチ接触位置を特定する位置特定装置。
JP2012521075A 2009-07-21 2010-06-30 対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する方法および装置 Expired - Fee Related JP5768814B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0955065A FR2948471B1 (fr) 2009-07-21 2009-07-21 Procede et dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet
FR0955065 2009-07-21
PCT/FR2010/051369 WO2011010037A1 (fr) 2009-07-21 2010-06-30 Procede et dispositif de localisation d'au moins un toucher sur une surface tactile d'un objet

Publications (3)

Publication Number Publication Date
JP2012533810A true JP2012533810A (ja) 2012-12-27
JP2012533810A5 JP2012533810A5 (ja) 2015-01-22
JP5768814B2 JP5768814B2 (ja) 2015-08-26

Family

ID=41600797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012521075A Expired - Fee Related JP5768814B2 (ja) 2009-07-21 2010-06-30 対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する方法および装置

Country Status (5)

Country Link
US (1) US8913039B2 (ja)
EP (1) EP2457146A1 (ja)
JP (1) JP5768814B2 (ja)
FR (1) FR2948471B1 (ja)
WO (1) WO2011010037A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8692785B2 (en) * 2010-09-29 2014-04-08 Byd Company Limited Method and system for detecting one or more objects
CN102736770B (zh) * 2011-03-31 2016-03-09 比亚迪股份有限公司 多点手势识别方法及多点平移手势的识别装置
CN102736771B (zh) * 2011-03-31 2016-06-22 比亚迪股份有限公司 多点旋转运动的识别方法及装置
CN102736769B (zh) * 2011-03-31 2017-04-05 比亚迪股份有限公司 多点缩放动作的识别方法和装置
US9189109B2 (en) 2012-07-18 2015-11-17 Sentons Inc. Detection of type of object used to provide a touch contact input
US9639213B2 (en) 2011-04-26 2017-05-02 Sentons Inc. Using multiple signals to detect touch input
US11327599B2 (en) 2011-04-26 2022-05-10 Sentons Inc. Identifying a contact type
US9477350B2 (en) 2011-04-26 2016-10-25 Sentons Inc. Method and apparatus for active ultrasonic touch devices
US10198097B2 (en) 2011-04-26 2019-02-05 Sentons Inc. Detecting touch input force
FR2978570B1 (fr) 2011-07-28 2013-08-16 Commissariat Energie Atomique Systeme et procede de detection et de localisation d'une perturbation d'un milieu
CN102289320B (zh) * 2011-08-08 2013-09-11 刘源 可自定义显示界面范围的多点触控展示方法
TW201316240A (zh) * 2011-10-06 2013-04-16 Rich Ip Technology Inc 利用圖形用戶介面影像之觸碰處理方法及系統
CN104169848B (zh) * 2011-11-18 2017-10-20 森顿斯公司 检测触摸输入力
US10235004B1 (en) 2011-11-18 2019-03-19 Sentons Inc. Touch input detector with an integrated antenna
US9449476B2 (en) 2011-11-18 2016-09-20 Sentons Inc. Localized haptic feedback
US9348468B2 (en) 2013-06-07 2016-05-24 Sentons Inc. Detecting multi-touch inputs
FR2995702B1 (fr) 2012-09-14 2014-10-03 Commissariat Energie Atomique Systeme et procede de detection et de localisation d'au moins un toucher sur une surface tactile d'un objet.
FR2995703B1 (fr) * 2012-09-14 2015-12-25 Commissariat Energie Atomique Systeme et procede de detection de l’actionnement d’une fonction materialisee par un trajet predetermine sur une surface tactile d’un objet
WO2014081721A1 (en) * 2012-11-21 2014-05-30 The Board Of Trustees Of The Leland Stanford Junior University A multi-touch ultrasonic touch screen
US10497747B2 (en) 2012-11-28 2019-12-03 Invensense, Inc. Integrated piezoelectric microelectromechanical ultrasound transducer (PMUT) on integrated circuit (IC) for fingerprint sensing
US9618405B2 (en) * 2014-08-06 2017-04-11 Invensense, Inc. Piezoelectric acoustic resonator based sensor
US9511994B2 (en) 2012-11-28 2016-12-06 Invensense, Inc. Aluminum nitride (AlN) devices with infrared absorption structural layer
US9114977B2 (en) 2012-11-28 2015-08-25 Invensense, Inc. MEMS device and process for RF and low resistance applications
US10726231B2 (en) 2012-11-28 2020-07-28 Invensense, Inc. Integrated piezoelectric microelectromechanical ultrasound transducer (PMUT) on integrated circuit (IC) for fingerprint sensing
US9430098B2 (en) * 2012-12-17 2016-08-30 Apple Inc. Frequency sensing and magnification of portable device output
US9459715B1 (en) 2013-09-20 2016-10-04 Sentons Inc. Using spectral control in detecting touch input
WO2016036427A1 (en) * 2014-09-02 2016-03-10 Apple Inc. Electronic device with rotatable input mechanism
DE202015006141U1 (de) * 2014-09-02 2015-12-14 Apple Inc. Elektronische Touch-Kommunikation
FR3035736B1 (fr) 2015-04-29 2019-08-23 Commissariat A L'energie Atomique Et Aux Energies Alternatives Systeme electronique combinable a un instrument de musique a vent pour produire des sons electroniques et instrument comprenant un tel systeme
US10048811B2 (en) 2015-09-18 2018-08-14 Sentons Inc. Detecting touch input provided by signal transmitting stylus
US10139961B2 (en) 2016-08-18 2018-11-27 Microsoft Technology Licensing, Llc Touch detection using feature-vector dictionary
EP3285148A1 (fr) 2016-08-19 2018-02-21 Bigben Interactive SA Procede de contrôle d'un element d'affichage par une console de jeux
US10908741B2 (en) 2016-11-10 2021-02-02 Sentons Inc. Touch input detection along device sidewall
US10296144B2 (en) 2016-12-12 2019-05-21 Sentons Inc. Touch input detection with shared receivers
US10126877B1 (en) 2017-02-01 2018-11-13 Sentons Inc. Update of reference data for touch input detection
US10585522B2 (en) 2017-02-27 2020-03-10 Sentons Inc. Detection of non-touch inputs using a signature
US11580829B2 (en) 2017-08-14 2023-02-14 Sentons Inc. Dynamic feedback for haptics
US11009411B2 (en) 2017-08-14 2021-05-18 Sentons Inc. Increasing sensitivity of a sensor using an encoded signal
EP3444016A1 (fr) * 2017-08-17 2019-02-20 Bigben Interactive SA Procede de contrôle d'un element d'affichage par une console de jeux

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006227712A (ja) * 2005-02-15 2006-08-31 Nec Infrontia Corp 電子機器
JP2007524970A (ja) * 2003-12-31 2007-08-30 スリーエム イノベイティブ プロパティズ カンパニー タッチダウンおよびリフトオフ感度を備えたタッチ検知
WO2008142345A2 (fr) * 2007-05-23 2008-11-27 Institut Pour Le Developpement De La Science, L'education Et La Technologie - I.D.S.E.T. Procede pour localiser un toucher sur une surface et dispositif pour la mise en oeuvre de ce procede.

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5162618A (en) * 1990-11-16 1992-11-10 Exzec, Inc. Acoustic touch position sensor with first order lamb wave reflective arrays
KR940001227A (ko) * 1992-06-15 1994-01-11 에프. 제이. 스미트 터치 스크린 디바이스
JPH07306746A (ja) * 1994-03-15 1995-11-21 Fujitsu Ltd 超音波座標入力装置
US5591945A (en) * 1995-04-19 1997-01-07 Elo Touchsystems, Inc. Acoustic touch position sensor using higher order horizontally polarized shear wave propagation
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7840912B2 (en) 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US6396484B1 (en) * 1999-09-29 2002-05-28 Elo Touchsystems, Inc. Adaptive frequency touchscreen controller using intermediate-frequency signal processing
FR2811107B1 (fr) * 2000-06-29 2002-10-18 Jean Pierre Nikolovski Plaque acoustique interactive de precision
GB0116310D0 (en) * 2001-07-04 2001-08-29 New Transducers Ltd Contact sensitive device
US6741237B1 (en) * 2001-08-23 2004-05-25 Rockwell Automation Technologies, Inc. Touch screen
US7411584B2 (en) * 2003-12-31 2008-08-12 3M Innovative Properties Company Touch sensitive device employing bending wave vibration sensing and excitation transducers
US20060097996A1 (en) * 2004-11-10 2006-05-11 Alps Electric Co., Ltd. Input device
US20060139339A1 (en) * 2004-12-29 2006-06-29 Pechman Robert J Touch location determination using vibration wave packet dispersion
US7499039B2 (en) * 2005-01-10 2009-03-03 3M Innovative Properties Company Iterative method for determining touch location
US9019209B2 (en) 2005-06-08 2015-04-28 3M Innovative Properties Company Touch location determination involving multiple touch location processes
US20070109280A1 (en) * 2005-11-15 2007-05-17 Tyco Electronics Raychem Gmbh Apparatus and method for reporting tie events in a system that responds to multiple touches
US8130203B2 (en) 2007-01-03 2012-03-06 Apple Inc. Multi-touch input discrimination
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
US20080198145A1 (en) * 2007-02-20 2008-08-21 Knowles Terrence J Acoustic wave touch actuated system
GB0810179D0 (en) * 2008-06-04 2008-07-09 Elliptic Laboratories As Object location
FR2948787B1 (fr) * 2009-07-29 2011-09-09 Commissariat Energie Atomique Dispositif et procede de localisation d'un contact localement deformant sur une surface tactile deformable d'un objet
US8519982B2 (en) * 2010-06-21 2013-08-27 Sony Corporation Active acoustic touch location for electronic devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007524970A (ja) * 2003-12-31 2007-08-30 スリーエム イノベイティブ プロパティズ カンパニー タッチダウンおよびリフトオフ感度を備えたタッチ検知
JP2006227712A (ja) * 2005-02-15 2006-08-31 Nec Infrontia Corp 電子機器
WO2008142345A2 (fr) * 2007-05-23 2008-11-27 Institut Pour Le Developpement De La Science, L'education Et La Technologie - I.D.S.E.T. Procede pour localiser un toucher sur une surface et dispositif pour la mise en oeuvre de ce procede.

Also Published As

Publication number Publication date
JP5768814B2 (ja) 2015-08-26
US20120120014A1 (en) 2012-05-17
EP2457146A1 (fr) 2012-05-30
US8913039B2 (en) 2014-12-16
WO2011010037A1 (fr) 2011-01-27
FR2948471B1 (fr) 2016-02-26
FR2948471A1 (fr) 2011-01-28

Similar Documents

Publication Publication Date Title
JP5768814B2 (ja) 対象物のタッチ面上の少なくとも1つのタッチ接触位置を特定する方法および装置
EP3028125B1 (en) Capture of vibro-acoustic data used to determine touch types
Ono et al. Touch & activate: adding interactivity to existing objects using active acoustic sensing
TWI482070B (zh) 偵測一持續接觸的方法及對應裝置
JP5095811B2 (ja) 移動通信装置及び該移動通信装置のための入力装置
KR101850680B1 (ko) 터치 입력 힘 검출
US9811212B2 (en) Ultrasound sensing of proximity and touch
EP3201743B1 (en) Method and apparatus for addressing touch discontinuities
JP5658261B2 (ja) 屈曲波方式タッチスクリーンの同時タッチ検出方法および装置
KR101678549B1 (ko) 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스
US20030132950A1 (en) Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
CN107077242A (zh) 通过使用时空触摸图案来提高触摸屏事件分析的准确性的方法
KR20150103278A (ko) 다수의 지각 감지 입력의 상호작용
US9760215B2 (en) Method for detecting a touch-and-hold touch event and corresponding device
JP2011522271A (ja) 物体の位置決定
JP2013531305A (ja) タッチイベントの判定方法およびタッチ感応装置
US11907464B2 (en) Identifying a contact type
CN105373327B (zh) 一种信息处理方法和电子设备
TR201905862A2 (tr) Bir dokunma tespit usulü.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140513

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140723

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140813

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140912

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141008

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141010

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141020

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20141110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150608

R150 Certificate of patent or registration of utility model

Ref document number: 5768814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees