JP2018530024A - 超音波タッチセンサベースの仮想ボタン - Google Patents

超音波タッチセンサベースの仮想ボタン Download PDF

Info

Publication number
JP2018530024A
JP2018530024A JP2017565708A JP2017565708A JP2018530024A JP 2018530024 A JP2018530024 A JP 2018530024A JP 2017565708 A JP2017565708 A JP 2017565708A JP 2017565708 A JP2017565708 A JP 2017565708A JP 2018530024 A JP2018530024 A JP 2018530024A
Authority
JP
Japan
Prior art keywords
electronic device
processor
ultrasonic sensor
determination
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017565708A
Other languages
English (en)
Inventor
サウラヴ・クマール・ボンドパッダエ
エリザ・インジ・ドゥ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2018530024A publication Critical patent/JP2018530024A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0433—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Push-Button Switches (AREA)
  • Power Sources (AREA)

Abstract

電子デバイスを含む装置は、超音波タッチセンサベースの仮想ボタンとともに構成される。超音波センサは、電子デバイスの外面の第1の部分の裏に配置される。電子デバイスおよび超音波センサの一方または両方に関連付けられたプロセッサは、(i)外面の第1の部分に接触した面または物質の画像データを取得するために、超音波センサから受信した信号を処理し、(ii)画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うように構成される。

Description

関連出願の相互参照
本開示は、2015年6月29日に出願された"ULTRASONIC FINGERPRINT SENSOR-BASED HOME BUTTON DESIGN"という名称の米国仮特許出願第62/186,238号、および2016年6月27日に出願された"ULTRASONIC TOUCH SENSOR-BASED VIRTUAL BUTTON"という名称の米国特許出願第15/194,377号の優先権を主張し、これらの開示の全体が参照により本明細書に組み込まれる。
本開示は、超音波センサに関し、より詳細には、モバイルデバイスのユーザインターフェース面の裏に配置された超音波センサを使用した低レイテンシタッチ認識のための技法に関する。
スマートフォンおよびタブレットなどの現代のモバイルデバイスは、任意の数の仮想ボタンを提示するように構成することができるタッチスクリーンを含むユーザインターフェース、すなわち、視認可能なアイコンとして表示される「ソフト」キーまたはボタン、ユーザがアプリケーションを起動し、電話をかけ、メッセージをタイピングすることを可能にするボタンまたはキーなどを組み込む。加えて、そのようなデバイスは、一般に限られた数の物理的な感圧性の機械的に作動されるボタンを含む。
本教示がない場合、仮想ボタンおよび物理的ボタンは、ユーザによって意図的に開始される指またはスタイラスのタッチ/プレスと、モバイルデバイスがたとえばユーザのポケット、財布、またはバックパック内にある際に生じる場合がある偶発的なタッチおよび圧力とをデバイスが区別することを可能にする限られた機能しか有しないか、またはその機能を有しない。その結果、そのようなデバイスのよく知られている問題は、そのような無作為のタッチおよび圧力が第三者の偶発的なダイヤリングを引き起こす、いわゆる「ポケットダイヤリング」の発生である。同様に、そのような無作為のタッチおよび圧力は、モバイルデバイスの意図しない起動を引き起こし、不要な電力消費をもたらす場合がある。
上述の問題は、タッチスクリーン(「カバーガラス」)面積を最大化し、機械的に作動されるボタンへの依存を低減することを望む結果、悪化する場合がある。
米国特許第7,739,912号 米国特許第9,041,690号 米国特許公開第2015-0253931号 米国特許公開番号第2016/007098号
本開示のシステム、方法、およびデバイスは各々、いくつかの発明的態様を有し、それらの態様はいずれも、本明細書で開示する望ましい属性を単独で担うものではない。
本開示で説明する主題の1つの発明的態様は、第1の外面を含む電子デバイスと、第1の外面の第1の部分の裏に配置された超音波センサと、電子デバイスおよび超音波センサの一方または両方に関連付けられるプロセッサとに関する。本プロセッサは、第1の外面の第1の部分に接触した物体または物質の画像データを取得するために、超音波センサから受信した信号を処理し、画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うように構成される。
いくつかの例では、超音波センサは、電子デバイスが低電力モードであるかどうかにかかわらず、プロセッサに信号を出力する場合がある。いくつかの例では、第1の判定が、超音波センサから受信した信号が第1の部分への意図的な制御タッチに関連付けられることである場合、電子デバイスが低電力モードであるとき、プロセッサは、電子デバイスを低電力モードから通常電力モードに切り替えるように構成される場合がある。
いくつかの例では、電子デバイスは、超音波センサおよびプロセッサの一方または両方に結合される、周囲光センサ、圧力センサ、周囲温度センサ、および動き検出器のうちの1つまたは複数を含む場合がある。超音波センサは、(i)周囲光センサが周囲光レベルの変化を登録すること、(ii)圧力センサが圧力の変化を登録すること、(iii)周囲温度センサが周囲温度の変化を登録すること、および(iv)動き検出器が電子デバイスの動きを登録することのうちの1つまたは複数の後にのみ、電子デバイスが低電力モードであるかどうかにかかわらず、プロセッサに信号を送信する場合がある。
いくつかの例では、第1の外面は、カバーガラスを有するインタラクティブディスプレイを含む場合があり、少なくとも1つの面の第1の部分は、仮想ボタンの位置に対応する。いくつかの例では、仮想ボタンはカバーガラス上に配置される場合がある。いくつかの例では、仮想ボタンはホームボタンである場合がある。
いくつかの例では、第1の外面は、カバーガラスを有するインタラクティブディスプレイを含む第2の外面と反対にある場合があり、第1の外面の第1の部分は、仮想ボタンの位置に対応する。
いくつかの例では、意図的な制御タッチは、第1の外面の第1の部分へのユーザの指またはスタイラスの意図的なタッチである場合がある。
いくつかの例では、プロセッサは、30msec未満のレイテンシ期間内に第1の判定を行う場合がある。
いくつかの例では、プロセッサは、第1の外面の第1の部分への、意図的な制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するように構成される場合がある。
いくつかの例では、プロセッサは、少なくとも-40C〜40Cの周囲温度の範囲にわたって、第1の外面の第1の部分への、意図的な制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するように構成される場合がある。
いくつかの例では、プロセッサは、少なくとも0μm〜600μmの距離の範囲にわたって第1の外面と超音波センサとを適応的に区別するように構成される場合がある。
いくつかの例では、プロセッサは、サポートベクターマシン回帰、現代のニューラルネットワークアルゴリズム、およびディープラーニング技法のうちの1つまたは複数を実行することによって第1の判定を行うように構成される場合がある。
いくつかの例では、プロセッサは、トレーニングされた回帰決定ツリーラーニングプロセスを含むアルゴリズムをプロセッサによって実行することを含む適応型指検出プロセスを実行することによって第1の判定を行うように構成される場合がある。いくつかの例では、決定ツリーラーニングプロセスは、稜線特徴点抽出プロセス、配向精緻化プロセス、配向ヒストグラム分析プロセス、配向相関/変更/分析プロセス(orientation correlation and change and analysis process)、入力の構造的類似性の分析プロセス、および局所的バイナリパターン分析プロセスのうちの1つまたは複数の出力に作用する場合がある。
いくつかの実装形態によれば、本方法は、第1の外面を含む電子デバイスのプロセッサにおいて、第1の外面の第1の部分の裏に配置された超音波センサからの信号を受信するステップと、プロセッサによって、第1の外面の第1の部分と接触した面または物質の画像データを取得するために、超音波センサから受信した信号を処理するステップと、画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うステップとを含む。
いくつかの例では、第1の外面の第1の部分は、仮想ボタンの位置に対応する場合があり、本方法は、第1の判定に基づいて仮想ボタンの機能を実行または実行を控えるステップをさらに含む場合がある。
いくつかの実装形態によれば、非一時的コンピュータ可読媒体は、その上にソフトウェアを記憶するが、そのソフトウェアは、第1の外面の第1の部分と接触した面または物質の画像データを取得するために、電子デバイスの第1の外面の第1の部分の裏に配置された超音波センサから受信した信号を処理することと、画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うこととを電子デバイスのプロセッサに行わせるための命令を含む。
いくつかの実装形態によれば、本装置は、第1の外面を含む電子デバイスと、第1の外面の第1の部分の裏に配置された超音波センサと、第1の外面の第1の部分と接触した面または物質の画像データを取得するために、超音波センサから受信した信号を処理することと、画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うこととを行うための手段と含む。
本明細書で説明する主題の1つまたは複数の実装形態の細部が、本開示および添付の図面で述べられる。他の特徴、態様、および利点は、本開示を検討することにより明らかになるであろう。本開示の図面および他の図の相対的な寸法は、一定の縮尺で描かれていない可能性のあることに留意されたい。本開示に図示され、記載されたサイズ、厚さ、配置、材料などは、単なる例としてなされ、限定するものとして解釈されるべきではない。様々な図面における同様の参照番号および指定は、同様の要素を示す。
いくつかの実装形態による電子デバイスの一例を示す図である。 いくつかの実装形態による電子デバイスの一例を示す図である。 いくつかの実装形態による電子デバイスの一例を示す図である。 一実装形態による、ホームボタンにより指タッチと他の相互作用とを区別するための流れ図の一例を示す図である。 一実装形態による、指(スタイラス)検出プロセスのためのプロセスフローの一例を示す図である。 一実装形態による、稜線特徴点抽出プロセスの一例を示す図である。 一実装形態による、配向精緻化プロセスの一例を示す図である。 一実装形態による、配向ヒストグラムプロセスの一例を示す図である。 一実装形態による、配向相関/符号変化分析プロセスの一例を示す図である。 一実装形態による、構造的類似性判定プロセスの一例を示す図である。 一実装形態による、局所的バイナリパターン分析プロセスの一例を示す図である。 一実装形態による、取得された画像データが意図的な制御タッチに関連するかどうかを判定するための方法の一例を示す図である。 さらなる実装形態による、インタラクティブディスプレイを有する電子デバイスのブロック図の一例を示す図である。 さらなる実装形態による、インタラクティブディスプレイを有する電子デバイスの一例を示す図である。 仮想ボタンのさらなる例示的な実装形態を含む図である。 仮想ボタンのさらなる例示的な実装形態を含む図である。 仮想ボタンのさらなる例示的な実装形態を含む図である。 仮想ボタンのさらなる例示的な実装形態を含む図である。
本明細書で説明する主題の1つまたは複数の実装形態の詳細が、本明細書における説明および特許請求の範囲と添付の図面とを含む、本開示に記載される。他の特徴、態様、および利点が、本開示を検討することにより明らかになるであろう。本開示の図面および他の図の相対的な寸法が、一定の縮尺で描かれていない場合があることに留意されたい。本開示に示され、記載されたサイズ、厚さ、配置、材料などは、単なる例としてなされ、限定するものとして解釈されるべきではない。
本開示のシステム、方法、およびデバイスは各々、いくつかの発明的態様を有し、それらの態様はいずれも、本明細書で開示する望ましい属性を単独で担うものではない。本開示で説明する主題の1つの発明的態様は、電子デバイスの外面の裏に配置された超音波センサを有する電子デバイス内に実装することができる。電子デバイスは、指またはスタイラスからの意図的なタッチと、指またはスタイラス以外の物体または面からの、不注意または無作為の圧力とを区別するために、超音波センサから信号を受け取り、それを分析するように構成されるプロセッサを含んでもよい。いくつかの実装形態では、このプロセッサは、電子デバイスが電源を入れられる(「アウェイク」モードもしくは「通常電力モード」である)かどうか、または低電力(「スリープ」)モードであるかどうかにかかわらず、上述のように機能する。いくつかの実装形態では、超音波センサは、「ホームボタン」位置に対応する外面の一部に近接していてもよい。その結果、重要なホームボタン機能は、電子デバイスがスリープモードであるときでも、意図的なユーザタッチによって、知覚できないレイテンシで開始される場合があり、ポケットダイヤリングエラーが、少なくとも大部分は除去される場合がある。
図1A〜図1Cは、いくつかの実装形態による電子デバイスの一例を示す。図1Aは、一実装形態による、インタラクティブディスプレイを有する電子デバイスのブロック図の一例を示す。電子デバイス100(たとえば、スマートフォンまたは他のパーソナル電子デバイスであってもよい)は、プロセッサ104を含み、インタラクティブディスプレイ102を含む前部外面101を有する。インタラクティブディスプレイ102は、電子デバイス100の前面101のかなりの部分を占有するように構成されるタッチスクリーンディスプレイであってもよい。いくつかの実装形態では、インタラクティブディスプレイ102は、前面101の領域と実質的に同一の広がりをもつ領域を有してもよい。インタラクティブディスプレイ102は、IMODディスプレイ、あるいは、プラズマ、エレクトロルミネッセント(EL)、有機発光ダイオード(OLED)、超ねじれネマティック(STN)もしくは薄膜トランジスタ(TFT)液晶ディスプレイ(LCD)、またはCRTもしくは他のチューブデバイスなどの非フラットパネルディスプレイなどの他のタイプのディスプレイとして構成されてもよい。プロセッサ104は、指、手、またはハンドヘルドオブジェクト(たとえば、スタイラス)などのユーザの付属器によるタッチまたはジェスチャーを含む場合がある、ユーザ入力に少なくとも部分的に応答して、インタラクティブディスプレイ102の出力を制御するように構成されてもよい。
図示した実装形態では、プロセッサ104は、超音波センサ106と通信可能に結合される。適切な超音波センサの一例は、本発明の譲受人に譲渡された"Ultrasonic Fingerprint Scanning Utilizing a Plane Wave"という名称の米国特許第7,739,912号に記載されている。超音波センサ106は、電子デバイス100の前面101の裏に、電子デバイス100の前面101の外周内に配置された位置110(本明細書では「ボタン位置」と呼ぶ)に近接して配置されてもよい。図示した実装形態では、ボタン位置110は、インタラクティブディスプレイ102の外周内に配置される。インタラクティブディスプレイ102は、ボタン位置110においてまたはボタン位置110内に「ソフト」ボタンまたは仮想ボタンを含む様々な位置に、任意の数のタッチ対応アイコンおよび/または閲覧可能な画像コンテンツを表示するように構成されてもよい。他の実装形態では、ボタン位置110は、インタラクティブディスプレイ102の外周の外側(すなわち、「オフガラス」)にあってもよい。そのような実装形態では、位置110に近接した電子デバイス100の前面は、透過的でない場合がある。位置110に近接している、電子デバイス100の前面材料はたとえば、ガラス、プラスチック、またはアルミニウムであってもよい。超音波センサ106は、前面101上にまたは前面101に近接して、位置110の近くに配置された表面または物体の画像特性を取得するように構成されてもよい。上述のように、超音波センサは、前面101の裏に配置される場合があり、前面が、たとえばガラスであってもアルミニウムであっても、約600μmまでの前面の厚さを通して画像特性を取得するように構成される場合がある。面の厚さのそのような範囲は、プラスチック、カバーガラス、アルミニウム、もしくは他の金属から作ることができる様々な厚さのプラテンの配置、または製造プロセス中の凹部の存在または不存在による、および/もしくはデバイス使用中の追加の層、たとえばスクリーンプロテクタの後の配置による厚さの変化から生じる場合がある。
ボタン位置110がインタラクティブディスプレイ102の外周の内側にあるか、または外側にあるかにかかわらず、ボタン位置110は、電子デバイス100のユーザにタッチインターフェース機能を提供するように構成されてもよい。いくつかの実装形態では、ボタン位置110は、電子デバイス110のホームボタン輪郭を形成する場合がある。本開示の技法による電子デバイス100はたとえば、ボタン位置110へのユーザの指またはスタイラスの意図的なタッチと、ユーザの指またはスタイラス以外の物体または面による無作為または不注意の圧力とを適応的に区別するように構成されてもよい。
図1Bでは、電子デバイス100は、ディスプレイが照明され複数の仮想ボタン120のうちのいずれかが視認可能でタッチ作動可能である場合がある、動作モード(「通常電力」モードまたは「アウェイク」モード)であるものとして示される。仮想ボタン120のうちの1つまたは複数は、追加の超音波センサ(図示せず)によりタッチ作動可能となってもよい。代替的にまたは追加として、仮想ボタン120のうちの一部または全部は、抵抗性、容量性、および投影容量性タッチ(PCT:projected capacitive touch)スクリーンなどの他の技法により、タッチ作動可能となる場合がある。いくつかの実装形態では、仮想ボタン120の一部または全部は、各々が本発明の譲受人に譲渡され全体が本開示に組み込まれている、米国特許第9,041,690号および米国特許公開第2015-0253931号などに開示された光学的技法を使用してタッチ作動可能となる場合がある。
図1Cでは、電子デバイス100は、ディスプレイが照明されず仮想ボタンが視認可能でない、低電力モード(たとえば、スリープモードまたは同様の電力節約モード)であるものとして示される。しかしながら、いくつかの実施形態では、たとえばボタン位置110に位置する仮想ボタンの機能は、電子デバイス100が低電力モードであるときも、提供される場合がある。たとえば、10〜100マイクロアンペア程度の電流引き込みを有する場合がある、超音波センサ106は、ボタン位置110に関連付けられた画像データを収集し、電子デバイス100が低電力モードであるかどうかにかかわらず、対応する信号をプロセッサに出力するように構成されてもよい。その結果、プロセッサ104は、ボタン位置110に近接したユーザの指またはスタイラスが接触すると直ちに、電子デバイスを「起動する」ように構成されてもよい。本開示の技法によれば、「起動」プロセスは、ボタン位置110においてユーザによってタッチされると、電子デバイス100が使用のためにほぼ直ちに利用可能になるように、ほとんど知覚できないレイテンシ(25〜50msec)で起こる。
いくつかの実装形態では、プロセッサ104は、ボタン位置110と接触した面または物質の画像データを取得するために超音波センサ106から出力された信号を処理するように構成される。プロセッサ104は、取得された画像データがボタン位置110上で意図的な制御タッチに関連するかどうかを判定するように構成されてもよい。たとえば、プロセッサ104は、画像データがたとえば、空気、織物、革、または無作為の物体とは対照的に、指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定してもよい。この判定に基づいて、プロセッサ104は、画像データが意図的な制御タッチを示すものと判定されるとき、電子デバイス100を「起動」してもよい。
図2は、一実装形態による、ホームボタンにより指タッチと他の相互作用とを区別するための流れ図の一例を示す。図示した方法200によれば、ブロック210において、超音波センサからの入力信号を受信してもよい。たとえば、プロセッサ104は、超音波センサ106から出力された信号を受信してもよい。入力信号は、ボタン位置110に近接したカバーガラスによって指、スタイラス、または他の物体の物理的接触または「タッチ」から生じる場合がある。いくつかの実装形態では、プロセッサ104は、電子デバイス100の汎用プロセッサであるか、もしくはそれを含む場合があり、または超音波センサ106に関連付けられたおよび/もしくはそれとコロケートされた専用プロセッサである場合がある。ブロック220では、入力信号は、ホームボタンと接触した面の画像を取得するために処理を経る場合がある。
ブロック230では、意図的な制御タッチの適応型検出のためのプロセスが、以下でより詳細に説明するように実行される場合がある。適応型検出プロセスは、プロセッサ104によって実行されるアルゴリズムであってもよい。このアルゴリズムは、ボタン位置110と接触した面の取得された画像に基づいて動作してもよい。取得された画像は、画像データの1つまたは複数のフレームを含んでもよい。
ブロック240では、取得された画像が意図的な制御タッチに関連付けられるかどうかに関して、判定が行われてもよい。いくつかの実装形態では、以下で詳細に説明するように、この判定は、取得された画像が指紋の特徴を示す特徴点を含むかどうかに基づいている場合がある。代替的にまたは追加として、いくつかの実装形態では、取得された画像は、スタイラスの既知の面特性と比較されてもよい。そのような実装形態では、この比較は、取得された画像がスタイラスの特徴を示すものとして認識されるかどうかに関する決定をもたらす場合がある。
ブロック240における判定が、取得された画像が意図的な制御タッチの特徴を示す特徴点を含むことである場合、本方法は、ブロック250に進み、ボタン位置110に関連付けられた仮想ボタンの機能を実行する場合がある。いくつかの実装形態では、仮想ボタンは電子デバイス100のホームボタンである場合があり、ブロック250は、電子デバイスをスリープモードから、電子デバイス100のホームスクリーンが表示されるアウェイクモードに切り替えることを含む場合がある。代替的にまたは追加として、仮想ボタンは、電子デバイス100の他の機能に関係する場合があり、ブロック250は、これらの他の機能(たとえば、電話をかける、ウェブブラウザを開く、カレンダーまたはTo Do リストを表示するなど)のうちの1つまたは複数を起動することを含む場合がある。他方では、ブロック240における判定が、取得された画像が指紋またはスタイラスの特徴を示さないという判定である場合、本方法は、仮想ボタンの任意の機能を実行しない判定を有するブロック260に進む場合がある。
図3は、一実装形態による、指(スタイラス)検出プロセスのためのプロセスフローの一例を示す。図2のブロック230に含まれる場合がある方法300は、各々が後続の図面により詳細に示される処理ステップのトップレベルシーケンスを示す。超音波画像(図2のブロック220の出力である場合がある)は、ブロック310において、図4に示す稜線特徴点抽出プロセスを処理することを経る場合がある。並列に、超音波画像は、図8に示す入力の構造的類似性(ブロック350)を判定し、図9に示す局所的バイナリパターン(ブロック360)を判定する処理を経る場合もある。稜線特徴点抽出プロセス310からの出力は、図5に示す配向精緻化プロセスブロック320を経る場合がある。配向精緻化プロセス320からの出力は、図6に示す配向ヒストグラムプロセスブロック330による、および、図7に示す配向相関/符号変化プロセス(ブロック340)による並列の処理を経る場合がある。プロセスブロック330、340、350、および360の出力は、以下でより詳細に説明する、特徴点分類プロセス(ブロック370)を経る場合がある。
図4は、一実装形態による、稜線特徴点抽出プロセスの一例を示す。図示した稜線特徴点抽出プロセスは、たとえば図3のブロック310に含まれる場合がある。いくつかの実装形態によれば、勾配ベクトル(Gij)は、取得された超音波画像内の各ピクセルにおいて偏導関数をとることによって計算される場合がある。取得された超音波画像が指紋(または既知の面特性を有するスタイラス)である場合、勾配ベクトルは、指紋稜線配向と相関する場合があるグレー強度の最高の空間変化率を特定する。図4に示すように、取得された超音波画像が、空気、または指紋様の稜線によっては特徴づけられない面である場合、勾配ベクトルは、指紋に特有の勾配ベクトルの配向パターンとは区別できる配向パターン(「配向マップ」)を有する。用語が本明細書で使用される「コヒーレンス」は、局所的配向の分布における平均勾配の強度を計算する配向の推定の信頼度に関する。用語が本明細書で使用される「配向(Orientation)」(θ)は、図4に記載の勾配ベクトルGxx、Gyy、およびGxyに関して定義される(方程式Eq(1))。最小ピクセル強度Iminおよび最大ピクセル強度Imaxは、図4に示すように、勾配ベクトルおよびθに関して計算される場合がある(方程式Eq(2)およびEq(3))。コヒーレンス(Coherence)および信頼度(Reliablity)は、図4に示すように、IminおよびImaxに関して計算される場合がある(方程式Eq(4)およびEq(5))。
図5は、一実装形態による、配向精緻化プロセスの一例を示す。図示した配向精緻化プロセスは、たとえば図3のブロック320に含まれる場合がある。いくつかの実装形態では、図4に示すプロセスによって生成された配向マップ(詳細A)は、配向特徴点である支配的な配向方向を選択することによってさらに精緻化される場合がある。たとえば、支配的な配向は、図示するように、ヒストグラムデータ(詳細B)の評価に基づいて、かつ精緻化された配向マップ(詳細C)を生成するためにヒストグラムのピークを使用して選択される場合がある。図示の例では、配向精緻化プロセスが空間領域において実行されているが、配向精緻化プロセスは、周波数領域において実行される。
図6は、一実装形態による、配向ヒストグラムプロセスの一例を示す。図示した配向ヒストグラムプロセスは、たとえば図3のブロック330に含まれる場合がある。図5に示すように支配的な配向方向を選択したが、この配向はヒストグラム(詳細D)のビンに割り振られる場合がある。取得された超音波画像が空気、または指紋様の稜線によっては特徴づけられない面である場合、対応するヒストグラム(詳細E)は、詳細Dのヒストグラムと比較してノイズが多い。
図7は、一実装形態による、配向相関/符号変化分析プロセスの一例を示す。図示した配向相関/符号変化分析プロセスは、たとえば図3のブロック340に含まれる場合がある。図示の例では、指紋配向マップ701は、ベクトルのアレイとして構成されるが、このアレイは7行および17列を有する。行1、3、5、および7に関して図示するように、各行の隣接するベクトルの配向の相対的相関の分析が実行される場合がある。指紋配向マップ701に関する隣接するベクトルの配向が強い相関を有する(大部分のベクトルが隣接するベクトルと同様の勾配を有する)ことが観測される場合がある。各行において約16番目または17番目の列で、勾配符号の単一の変化が起こることも観測される場合がある。はっきりした対比において、空気画像702の配向マップは、同じ分析を受けるとき、隣接するベクトル間のはるかに小さい相関と、勾配符号のはるかに頻度が高い変化とを示す。
再び図3を参照すると、配向ヒストグラムプロセス330および配向相関符号変化分析プロセス340は、配向精緻化プロセス320の出力において並列に実行されてもよいことが観測される場合がある。さらに、図示した実装形態におけるこれらのプロセスは、超音波画像(すなわち、その一部)の1つまたは複数の局所的特徴点において実行される。
図8は、一実装形態による、構造的類似性判定プロセスの一例を示す。図示した構造的類似性判定プロセスは、たとえば図3のブロック350に含まれる場合がある。図示の例では、ブロック810において、入力された超音波画像に関して、ヒストグラムが計算され、ブロック820において、ブロック830によって出力されたヒストグラムと比較される。ブロック830によって出力されたヒストグラムは、アップサンプリングおよびダウンサンプリングの後、入力画像に基づいて計算されるが、アップサンプリングおよびダウンサンプリングは画像詳細を低減する。ブロック820において実行される比較が、ブロック810によって計算されたヒストグラムとブロック830によって計算されたヒストグラムとの間で比較的高い類似性を示すとき、入力画像は比較的小さい構造的相関を有することが推論される場合がある。たとえば、その画像は、空気であるか、またはより無作為の表面テクスチャを有する面である可能性が高い。他方では、ブロック820において実行される比較が、ブロック810によって計算されたヒストグラムとブロック830によって計算されたヒストグラムとの間で比較的小さい類似性を示すとき、入力画像は比較的大きい構造的相関を有することが推論される場合がある。たとえば、その画像は、指紋であるか、または十分に構造化された性状を有する他の面である可能性が高い。
図9は、局所的バイナリパターン分析プロセスの一例を示す。図示した局所的バイナリパターン分析プロセスは、たとえば図3のブロック360に含まれる場合がある。図示した実装形態では、入力された超音波画像は、関連の局所的バイナリパターン(LBP:local binary pattern)画像を形成するために処理される場合がある。より具体的には、指紋画像901がLBP画像903を形成するように処理される。同様に、空気画像902がLBP画像904を形成するように処理される。LBP画像903および904は、それぞれ指紋画像および空気画像に関連付けられるものとして、元の画像901および902よりもはっきりと区別できる場合がある。
再び図3を参照すると、構造的類似性判定プロセス350および局所的バイナリパターン分析プロセス360は、超音波画像において並列に実行されてもよいことが観測される場合がある。さらに、図示した実装形態におけるこれらのプロセスは、超音波画像(すなわち、その実質的にすべて)の大域的特徴点において実行される。
さらに図3を参照すると、ブロック330、340、350、および360の出力は、ブロック370における決定ツリー学習プロセスを受ける場合がある。いくつかの実装形態ではたとえば、これらの出力の回帰ツリー分析が実行される場合がある。回帰ツリー分析ブロック370の出力は、空気または無作為のテクスチャ表面とは対照的に、指紋または他の構造的なテクスチャ表面の画像を受信する確率を示す数値的スコアである場合がある。たとえば、数値的スコアは、0と1との間の数である場合があるが、1は画像が指紋または他の構造的なテクスチャ表面であるという高信頼度の特定を示し、0は画像が空気または無作為のテクスチャ表面であるという高信頼度を示す。そのような回帰ツリーは、入力された品質スコアまたは入力物体の出現確率基準を生成することが可能である。
いくつかの実装形態では、図3に示すプロセスフローは、「トレーニング」手順の一部として多数のサンプルに関して実行される場合があるが、アルゴリズムが様々な環境構成およびハードウェア構成のもとでトレーニングされる。超音波画像の品質およびフレームごとの変化が、超音波センサのハードウェア特性、温度の変化、湿度、ノイズ、センサレンジゲート遅延、および周波数設定、ならびにカバーガラス特性によって影響を受ける場合があることが了解されよう。一度または周期的に実行される場合があるトレーニング手順は、ちり、泥、および湿度の様々な量の存在、ならびに少なくとも-40℃〜40℃を含む範囲の極端な温度にもかかわらず、取得された画像が指紋またはスタイラスの特徴を示すかどうかのアルゴリズムの判定の精度を改善する場合がある。トレーニングの結果はたとえば、ハッシュテーブルまたは回帰ツリーとして記憶されてもよい。
本発明者は、本開示に従って構成される意図的な制御タッチアルゴリズムの適応型検出が、取得された画像が極めて低いレイテンシ(いくつかの実装形態では、約10〜15msec)で指紋またはスタイラスの特徴を示すかどうかの極めて正確な判定(たとえば、約95〜98%の精度)を行う場合があることを見出した。その結果、仮想ボタンの機能は、ユーザの指またはパターンスタイラスのタッチがあると、低レイテンシで作動され、たとえば革、布、または空気などの他の物体または材料のタッチによっては作動されない場合がある。
いくつかの実装形態では、本開示の技法は、本発明の譲受人に譲渡され全体が本開示に組み込まれている、米国特許公開番号第2016/007098号などに開示された指紋認証技法および/または生体検出技法と組み合わせられてもよい。
図10は、一実装形態による、取得された画像データが意図的な制御タッチに関連するかどうかを判定するための方法の一例を示す。上記で説明したように、電子デバイスの前面の第1の部分の裏に配置された超音波センサによって出力された信号からの画像データが、プロセッサによって取得される場合がある。図示した実装形態では、方法1000は、超音波変換器からの信号をプロセッサによって受信するためのブロック1010を含む。
本方法は、プロセッサ1020において、前面の第1の部分と接触した面または物質の画像データを取得するために、超音波センサから受信した信号を処理することに進む。
本方法は、ブロック1030において、画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうか判定どうかの判定を行うことによって終了する。
図11は、さらなる実装形態による、インタラクティブディスプレイを有する電子デバイスのブロック図の一例を示す。電子デバイス1100(たとえば、スマートフォンまたは他のパーソナル電子デバイスであってもよい)は、プロセッサ1104を含み、インタラクティブディスプレイ1102を含む前面1101を有する。プロセッサ104は、指、手、またはハンドヘルドオブジェクト(たとえば、スタイラス)などのユーザの付属器によるタッチまたはジェスチャーを含む場合がある、ユーザ入力に少なくとも部分的に応答して、インタラクティブディスプレイ1102の出力を制御するように構成されてもよい。
図示した実装形態では、プロセッサ1104は、超音波センサ1106および環境センサ1108と通信可能に結合される。環境センサ1108はたとえば、圧力の変化、周囲光もしくは温度の変化を検知するか、または電子デバイス1100の動きを検知するように構成される低電力デバイスであってもよい。そのような実装形態では、超音波センサは、環境センサ1108が圧力、周囲光、または温度の変化を登録するか、または電子デバイスの動きを検出した後にのみ、電子デバイスが低電力モードであるかどうかにかかわらず、プロセッサに信号を送信するように構成される場合がある。
図12は、さらなる実装形態による、インタラクティブディスプレイを有する電子デバイスの一例を示す。電子デバイス1200(たとえば、スマートフォンまたは他のパーソナル電子デバイスであってもよい)は、インタラクティブディスプレイ1202を含む前面1201を有する。インタラクティブディスプレイ1102の出力は、指、手、またはハンドヘルドオブジェクト(たとえば、スタイラス)などのユーザの付属器によるタッチまたはジェスチャーを含む場合がある、ユーザ入力に少なくとも部分的に応答する場合がある。
上記で説明したように、超音波センサは、電子デバイス1200の前面1201の裏に、電子デバイス100の前面1201の外周内に配置された位置1210に近接して配置されてもよい。代替的にまたは追加として、超音波センサが、電子デバイス1200の背面1231の裏に、位置1230に近接して配置される場合がある。いくつかの実装形態では、背面1231は、不透過性のガラス、プラスチック、または金属表面であってもよい。位置1230に位置する仮想ボタンの機能は、電子デバイス1200が低電力モードであるときも、提供される場合がある。たとえば、超音波センサは、ボタン位置1230に関連付けられた画像データを収集し、電子デバイス1200が低電力モードであるかどうかにかかわらず、対応する信号をプロセッサに出力するように構成されてもよい。その結果、プロセッサは、ボタン位置1230に近接したユーザの指またはスタイラスが最初に接触すると直ちに、電子デバイスを「起動する」ように構成されてもよい。いくつかの実装形態では、プロセッサは、ボタン位置1230に近接したユーザの指またはスタイラスが2番目に接触すると、カメラ1240を作動させるように構成されてもよい。
かなり様々な外面の厚さおよび材料のための、本開示の技法によって企図される超音波センサが、外面が透過的であるかどうかにかかわらず、画像データを収集するように動作可能であるため、上記で開示したタイプの仮想ボタンの機能が、デバイスがカバーガラスを含むかどうかにかかわらず、様々なデバイスに提供される場合がある。図13A〜図13Cは、仮想ボタンのさらなる例示的な実装形態を含む。図示した実装形態の各々において、1つまたは複数の仮想ボタン1310が、電子デバイス上に配置される。各仮想ボタンが、仮想ボタンに近接して配置されたそれぞれの超音波センサ(図示せず)に関連付けられる。図13Aに示す例示的な実装形態では、仮想ボタン1310は、スマートウォッチのカバーガラス上に配置されるように示される。代替的にまたは追加として、仮想ボタン1310は、図13Bに示すように、たとえば不透明なリストバンドに近接してカバーガラスの外部に配置される場合がある。仮想ボタンの機能は、他のウェアラブルデバイス上に提供される場合もあり、たとえば仮想ボタン1310は、たとえば図13Cに示すように、スマートグラス上に配置される場合がある。さらに、開示された技法は、図13Dに示すように、たとえばスマート吸入器を含む他のデバイスに仮想ボタンの機能を提供するように構成される場合がある。
またさらなる実装形態では、上記で開示した仮想ボタンは、モノのインターネット(IOT)デバイス、たとえばコンピュータマウス(それが動作していないとき、低電力モードにすることによって電力を節約する)、フィットネスバンド、キオスクおよび/またはサーモスタット、TVまたは他のエンターテインメント電子機器などのホーム機器上に配置されてもよい。一実装形態では、1つまたは複数の仮想ボタンは、ハンドルまたは車両内の1つまたは複数の他の面上に配置される場合があり、それによりユーザが仮想ボタンにタッチした場合、仮想ボタンからの入力がプロセッサに車の自律モードまたは半自律モードよりもマニュアルドライビングを選択させるか、またはその逆の場合がある。
したがって、極めて低いレイテンシで、モバイルデバイスのカバーガラスへの指またはスタイラスのタッチと、指またはスタイラス以外の物体または面のカバーガラス上の不注意による圧力とを区別するための改善された技法が提供される。いくつかの代替の構成および製造技法が企図されてもよいことが了解されよう。
本明細書で使用する場合、項目のリストのうちの「少なくとも1つ」を指す句は、単一のメンバーを含むこれらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-cを包含することを意図する。
本明細書で開示する実装形態に関連して説明する様々な例示的な論理、論理ブロック、モジュール、回路、およびアルゴリズムプロセスは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装されてもよい。ハードウェアとソフトウェアの互換性について、概して機能に関して説明し、上記で説明した様々な例示的な構成要素、ブロック、モジュール、回路、およびプロセスにおいて例示した。そのような機能がハードウェアに実装されるか、ソフトウェアに実装されるかは、特定の適用例および全体的なシステムに課された設計制約によって決まる。
本明細書で開示する態様に関連して説明する様々な例示的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアおよびデータ処理装置は、汎用シングルチッププロセッサもしくは汎用マルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別のゲートもしくはトランジスタ論理、個別のハードウェア構成要素、または、本明細書で説明する機能を実行するように設計されたそれらの任意の組合せとともに実装または実行されてもよい。汎用プロセッサは、マイクロプロセッサもしくは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサはまた、コンピューティングデバイスの組合せ、たとえばDSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装されてもよい。いくつかの実装形態では、特定のプロセスおよび方法は、所与の機能に特有の回路によって実行されてもよい。
1つまたは複数の態様では、説明する機能は、本明細書で開示する構造およびそれらの構造的等価物を含む、ハードウェア、デジタル電子回路、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装されてもよい。本明細書で説明した主題の実装形態は、データ処理装置の動作によって実行するために、またはデータ処理装置の動作を制御するためにコンピュータ記憶媒体上に符号化された、1つまたは複数のコンピュータプログラムとして、すなわち、コンピュータプログラム命令の1つまたは複数のモジュールとして実装することもできる。
それらの機能は、ソフトウェアにおいて実装される場合、1つまたは複数の命令またはコードとして、非一時的媒体などのコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信される場合がある。本明細書で開示した方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に存在する場合があるプロセッサ実行可能ソフトウェアモジュールにおいて実装されてもよい。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送することが可能になる可能性がある任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされる場合がある任意の利用可能な媒体であってもよい。限定ではなく例として、そのような非一時的媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形式で所望のプログラムコードを記憶するために使用される場合があるとともに、コンピュータによってアクセスされる場合がある任意の他の媒体を含んでもよい。また、任意の接続はコンピュータ可読媒体と適切に呼ぶことができる。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含むが、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せはまた、コンピュータ可読媒体の範囲内に含まれるものとする。さらに、方法またはアルゴリズムの動作は、コードおよび命令のうちの1つまたは任意の組合せまたはセットとして、コンピュータプログラム製品に組み込まれる場合がある機械可読媒体およびコンピュータ可読媒体上に存在してもよい。
本開示で説明する実装形態に対する様々な変更形態が、当業者には容易に明らかになる場合があり、本明細書で規定された一般原理は、本開示の趣旨または範囲から逸脱することなく、他の実装形態に適用される場合がある。したがって、特許請求の範囲は、本明細書で示されている実装形態に限定されることを意図するものではなく、本開示、本明細書で開示する原理および新規の特徴と一致する最も広い範囲を与えられるべきである。加えて、当業者が容易に理解するように、「より上」および「より下」、「上部」および「底部」、「前」および「後」、ならびに、「わたって」、「上」、「下方」、および「下にある」という用語は、時には図面の説明を容易にするために使用され、適切に向けられたページ上の図面の向きに対応する相対的な位置を示し、実装されたデバイスの適切な向きを反映しない場合がある。
別個の実装形態の文脈において本明細書で説明する特定の特徴は、単一の実装形態において組み合わせて実装されることも可能である。逆に、単一の実装形態に関連して説明した様々な特徴もまた、複数の実装形態に別々に実装することができ、あるいは任意の好適な部分組合せに実装することができる。その上、特徴は、上記ではいくつかの組合せとして作用するものとして記載され、場合によっては最初からそのようなものとして特許請求される場合があるが、特許請求される組合せにおける1つまたは複数の特徴は、場合によっては、その組合せから削除することができ、特許請求される組合せは、部分組合せまたは部分組合せの変形形態を対象とする場合がある。
同様に、動作は、特定の順序で図面に示されているが、これは、そのような動作が、示された特定の順序で、もしくは順番に実行されること、またはすべての図示の動作が望ましい結果を達成するために実行されることを必要とするものとして理解されるべきではない。さらに、図面は、フロー図の形態で1つまたは複数の例示的なプロセスを概略的に示す場合がある。しかしながら、概略的に示されている例示的なプロセスには、図示されていない他の動作を組み込むことができる。たとえば、図示した動作のうちの任意の動作の前、後、任意の動作と同時に、またはこれらの動作の間に、1つまたは複数の追加の動作を実行することができる。特定の状況では、マルチタスキングおよび並列処理が有利である場合がある。その上、上記で説明した実装形態における様々なシステム構成要素の分離は、すべての実装形態においてそのような分離を必要とするものとして理解されるべきではなく、説明したプログラム構成要素およびシステムは、一般に単一のソフトウェア製品内に一体化することができ、あるいは複数のソフトウェア製品としてパッケージ化することができることを理解されたい。さらに、他の実装形態も以下の特許請求の範囲内にある。場合によっては、特許請求の範囲に記載されているアクションは、異なる順序において実行することができるが、その場合でも望ましい結果を達成することができる。
100 電子デバイス
101 前部外面、前面
102 インタラクティブディスプレイ
104 プロセッサ
106 超音波センサ
110 ボタン位置
120 仮想ボタン
701 指紋配向マップ
702 空気画像
901 指紋画像
902 空気画像
903 LBP画像
904 LBP画像
1100 電子デバイス
1101 前面
1102 インタラクティブディスプレイ
1104 プロセッサ
1106 超音波センサ
1108 環境センサ
1200 電子デバイス
1201 前面
1202 インタラクティブディスプレイ
1210 位置
1230 位置、ボタン位置
1231 背面
1240 カメラ
1310 仮想ボタン

Claims (30)

  1. 第1の外面を含む電子デバイスと、
    前記第1の外面の第1の部分の裏に配置された超音波センサと、
    前記電子デバイスおよび前記超音波センサの一方または両方に関連付けられたプロセッサであって、
    前記第1の外面の前記第1の部分と接触した物体または物質の画像データを取得するために、前記超音波センサから受信した信号を処理することと、
    前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、前記取得された画像データが前記第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うことと
    を行うように構成されるプロセッサと
    を備える、装置。
  2. 前記超音波センサが、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を出力する、
    請求項1に記載の装置。
  3. 前記第1の判定が、前記超音波センサから受信した前記信号が前記第1の部分への意図的な制御タッチに関連するとの判定である場合、前記電子デバイスが前記低電力モードであるとき、前記プロセッサは、前記電子デバイスを前記低電力モードから通常電力モードに切り替えるように構成される、
    請求項2に記載の装置。
  4. 前記電子デバイスが、前記超音波センサおよび前記プロセッサの一方または両方に結合される、周囲光センサ、圧力センサ、周囲温度センサ、および動き検出器のうちの1つまたは複数を含み、
    前記超音波センサは、(i)前記周囲光センサが周囲光レベルの変化を登録すること、(ii)前記圧力センサが圧力の変化を登録すること、(iii)前記周囲温度センサが周囲温度の変化を登録すること、および(iv)前記動き検出器が前記電子デバイスの動きを登録することのうちの1つまたは複数の後にのみ、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を送信する、
    請求項1に記載の装置。
  5. 前記第1の外面がカバーガラスを有するインタラクティブディスプレイを含み、前記少なくとも1つの面の前記第1の部分が仮想ボタンの位置に対応する、請求項1に記載の装置。
  6. 前記仮想ボタンが前記カバーガラス上に配置される、請求項5に記載の装置。
  7. 前記仮想ボタンがホームボタンである、請求項5に記載の装置。
  8. 前記第1の外面がカバーガラスを有するインタラクティブディスプレイを含む第2の外面と反対にあり、前記第1の外面の前記第1の部分が仮想ボタンの位置に対応する、請求項1に記載の装置。
  9. 前記意図的な制御タッチが、前記第1の外面の前記第1の部分へのユーザの指またはスタイラスの意図的なタッチである、請求項1に記載の装置。
  10. 前記プロセッサが、30msec未満のレイテンシ期間内に前記第1の判定を行う、請求項1に記載の装置。
  11. 前記プロセッサが、前記第1の外面の前記第1の部分への、意図的な制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するように構成される、請求項1に記載の装置。
  12. 前記プロセッサが、少なくとも-40C〜40Cの周囲温度の範囲にわたって、前記第1の外面の前記第1の部分への、意図的な制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するように構成される、請求項1に記載の装置。
  13. 前記プロセッサが、少なくとも0μm〜600μmの距離の範囲にわたって前記第1の外面と前記超音波センサとを適応的に区別するように構成される、請求項1に記載の装置。
  14. 前記プロセッサが、サポートベクターマシン回帰、現代のニューラルネットワークアルゴリズム、およびディープラーニング技法のうちの1つまたは複数を実行することによって前記第1の判定を行うように構成される、請求項1に記載の装置。
  15. 前記プロセッサが、トレーニングされた回帰決定ツリーラーニングプロセスを含むアルゴリズムを前記プロセッサによって実行することを含む適応型指検出プロセスを実行することによって前記第1の判定を行うように構成される、請求項1に記載の装置。
  16. 前記決定ツリーラーニングプロセスが、
    稜線特徴点抽出プロセス、
    配向精緻化プロセス、
    配向ヒストグラム分析プロセス、
    配向相関/変更/分析プロセス、
    入力の構造的類似性の分析プロセス、および
    局所的バイナリパターン分析プロセス
    のうちの1つまたは複数の出力に作用する、請求項15に記載の装置。
  17. 第1の外面を含む電子デバイスのプロセッサにおいて、前記第1の外面の第1の部分の裏に配置された超音波センサからの信号を受信するステップと、
    前記プロセッサによって、
    前記第1の外面の前記第1の部分と接触した面または物質の画像データを取得するために、前記超音波センサから受信した前記信号を処理するステップと、
    前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、前記取得された画像データが前記第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うステップと
    を備える、方法。
  18. 前記超音波センサが、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を出力する、
    請求項17に記載の方法。
  19. 前記第1の判定が、前記超音波センサから受信した前記信号が前記第1の部分への意図的な制御タッチに関連するとの判定である場合、前記電子デバイスが前記低電力モードであるとき、前記電子デバイスを前記低電力モードから通常電力モードに切り替えるステップ
    をさらに備える、請求項18に記載の方法。
  20. 前記第1の外面の前記第1の部分が仮想ボタンの位置に対応し、前記方法が、前記第1の判定に基づいて前記仮想ボタンの機能を実行または実行を控えるステップをさらに備える、請求項17に記載の方法。
  21. 前記第1の判定を行うステップが、前記第1の外面の前記第1の部分への、意図的な制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するステップを含む、請求項17に記載の方法。
  22. 前記第1の判定を行うステップが、サポートベクターマシン回帰、現代のニューラルネットワークアルゴリズム、およびディープラーニング技法のうちの1つまたは複数を実行するステップを含む、請求項17に記載の方法。
  23. 前記第1の判定を行うステップが、トレーニングされた回帰決定ツリーラーニングプロセスを含むアルゴリズムを実行することを含む適応型指検出プロセスを実行するステップを含む、請求項17に記載の方法。
  24. 前記決定ツリーラーニングプロセスが、
    稜線特徴点抽出プロセス、
    配向精緻化プロセス、
    配向ヒストグラム分析プロセス、
    配向相関/変更/分析プロセス、
    入力の構造的類似性の分析プロセス、および
    局所的バイナリパターン分析プロセス
    のうちの1つまたは複数の出力に作用する、請求項23に記載の方法。
  25. ソフトウェアを記憶する非一時的コンピュータ可読記録媒体であって、前記ソフトウェアが、
    電子デバイスの第1の外面の第1の部分と接触した面または物質の画像データを取得するために、前記第1の外面の前記第1の部分の裏に配置された超音波センサから受信した信号を処理することと、
    前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、前記取得された画像データが前記第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うことと
    を前記電子デバイスのプロセッサに行わせるための命令を含む、非一時的コンピュータ可読記録媒体。
  26. 前記超音波センサが、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を出力する、
    請求項25に記載のコンピュータ可読記録媒体。
  27. ソフトウェアが、
    前記第1の判定が、前記超音波センサから受信した前記信号が前記第1の部分への意図的な制御タッチに関連するとの判定である場合、電子デバイスが前記低電力モードであるとき、前記電子デバイスを前記低電力モードから通常電力モードに切り替えること
    を前記電子デバイスのプロセッサに行わせるための命令をさらに含む、請求項26に記載のコンピュータ可読記録媒体。
  28. 第1の外面を含む電子デバイスと、
    前記第1の外面の第1の部分の裏に配置された超音波センサと、
    前記第1の外面の前記第1の部分と接触した面または物質の画像データを取得するために、前記超音波センサから受信した信号を処理することと、
    前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、前記取得された画像データが前記第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うことと
    を行うための手段と
    を備える、装置。
  29. 前記第1の外面がカバーガラスを有するインタラクティブディスプレイを含み、前記第1の外面の前記第1の部分が仮想ボタンの位置に対応する、請求項28に記載の装置。
  30. 前記意図的な制御タッチが、前記第1の外面の前記第1の部分へのユーザの指またはスタイラスの意図的なタッチである、請求項28に記載の装置。
JP2017565708A 2015-06-29 2016-06-28 超音波タッチセンサベースの仮想ボタン Pending JP2018530024A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562186238P 2015-06-29 2015-06-29
US62/186,238 2015-06-29
US15/194,377 US10254881B2 (en) 2015-06-29 2016-06-27 Ultrasonic touch sensor-based virtual button
US15/194,377 2016-06-27
PCT/US2016/039882 WO2017004076A1 (en) 2015-06-29 2016-06-28 Ultrasonic touch sensor-based virtual button

Publications (1)

Publication Number Publication Date
JP2018530024A true JP2018530024A (ja) 2018-10-11

Family

ID=57602261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017565708A Pending JP2018530024A (ja) 2015-06-29 2016-06-28 超音波タッチセンサベースの仮想ボタン

Country Status (9)

Country Link
US (1) US10254881B2 (ja)
EP (1) EP3314494B1 (ja)
JP (1) JP2018530024A (ja)
KR (1) KR102044088B1 (ja)
CN (1) CN107743606B (ja)
BR (1) BR112017028228A2 (ja)
ES (1) ES2729245T3 (ja)
HU (1) HUE043621T2 (ja)
WO (1) WO2017004076A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020087043A (ja) * 2018-11-27 2020-06-04 株式会社リコー ディスプレイ装置および制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387704B2 (en) * 2015-06-29 2019-08-20 Qualcomm Incorporated Method and apparatus for enabling the touchscreen display of a mobile device
US10037033B2 (en) * 2016-06-15 2018-07-31 Ford Global Technologies, Llc Vehicle exterior surface object detection
US10262187B1 (en) * 2016-11-10 2019-04-16 Synaptics Incorporated Systems and methods for spoof detection based on local binary patterns
WO2019226680A1 (en) * 2018-05-21 2019-11-28 UltraSense Systems, Inc. Ultrasonic touch and force input detection
DE102018213949A1 (de) * 2018-08-17 2020-02-20 Volkswagen Aktiengesellschaft Verfahren zur Bedienung eines Gerätes, Vorrichtung zur Durchführung des Verfahrens, Fahrzeugtür sowie Computerprogramm
KR102668223B1 (ko) * 2018-09-04 2024-05-23 삼성전자주식회사 초음파 방식 인 디스플레이 지문 센서를 포함하는 전자 장치 및 그의 동작 방법
US10524461B1 (en) * 2018-09-25 2020-01-07 Jace W. Files Pest detector to identify a type of pest using machine learning
CN112445270B (zh) * 2019-08-16 2023-03-31 华为技术有限公司 终端的按键结构和终端

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7834855B2 (en) * 2004-08-25 2010-11-16 Apple Inc. Wide touchpad on a portable computer
US7739912B2 (en) 2004-10-07 2010-06-22 Ultra-Scan Corporation Ultrasonic fingerprint scanning utilizing a plane wave
JP2009048335A (ja) * 2007-08-16 2009-03-05 Lg Display Co Ltd 液晶表示装置
US8432169B2 (en) 2007-09-20 2013-04-30 Panasonic Corporation Proximity sensor
GB2469397B (en) 2007-10-23 2012-04-25 Leonid Minutin Passive pointing/touching interface method
US8385885B2 (en) * 2008-10-17 2013-02-26 Sony Ericsson Mobile Communications Ab Method of unlocking a mobile electronic device
US8605960B2 (en) * 2009-03-02 2013-12-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Fingerprint sensing device
CN101794197B (zh) * 2010-04-06 2012-11-07 华为终端有限公司 触摸屏触发方法、触摸装置及手持设备
US8311514B2 (en) 2010-09-16 2012-11-13 Microsoft Corporation Prevention of accidental device activation
US8982045B2 (en) * 2010-12-17 2015-03-17 Microsoft Corporation Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US9448651B2 (en) * 2012-01-09 2016-09-20 Google Inc. Intelligent touchscreen keyboard with finger differentiation
WO2013116835A1 (en) * 2012-02-02 2013-08-08 Ultra-Scan Corporation Ultrasonic touch sensor with a display monitor
CN103376932B (zh) * 2012-04-26 2017-08-18 富泰华工业（深圳）有限公司 防误操作系统及方法
WO2014018115A1 (en) 2012-07-26 2014-01-30 Changello Enterprise Llc Ultrasound-based force sensing of inputs
US9007308B2 (en) * 2012-08-03 2015-04-14 Google Inc. Adaptive keyboard lighting
US9041690B2 (en) 2012-08-06 2015-05-26 Qualcomm Mems Technologies, Inc. Channel waveguide system for sensing touch and/or gesture
US9063564B2 (en) * 2012-10-30 2015-06-23 Google Technology Holdings LLC Method and apparatus for action indication selection
KR102022288B1 (ko) * 2012-11-26 2019-11-04 삼성전자 주식회사 터치 입력 방법 및 휴대 단말
US9544666B2 (en) 2013-02-11 2017-01-10 Zefr, Inc. Automated pre and post roll production
US20140359757A1 (en) * 2013-06-03 2014-12-04 Qualcomm Incorporated User authentication biometrics in mobile devices
US9678591B2 (en) * 2013-06-10 2017-06-13 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for sensing touch
US9727770B2 (en) 2013-07-22 2017-08-08 Apple Inc. Controllable signal processing in a biometric device
US9984270B2 (en) 2013-08-05 2018-05-29 Apple Inc. Fingerprint sensor in an electronic device
KR101542961B1 (ko) 2013-09-13 2015-08-07 현대자동차 주식회사 사용자 단말의 터치 검출 방법 및 시스템
US9921688B2 (en) 2014-03-04 2018-03-20 Qualcomm Incorporated Large area interactive display screen
US9633269B2 (en) 2014-09-05 2017-04-25 Qualcomm Incorporated Image-based liveness detection for ultrasonic fingerprints

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020087043A (ja) * 2018-11-27 2020-06-04 株式会社リコー ディスプレイ装置および制御方法
JP7183733B2 (ja) 2018-11-27 2022-12-06 株式会社リコー ディスプレイ装置および制御方法

Also Published As

Publication number Publication date
EP3314494A1 (en) 2018-05-02
ES2729245T3 (es) 2019-10-31
EP3314494B1 (en) 2019-04-03
KR20180022692A (ko) 2018-03-06
US10254881B2 (en) 2019-04-09
HUE043621T2 (hu) 2019-08-28
BR112017028228A2 (pt) 2018-08-28
CN107743606A (zh) 2018-02-27
WO2017004076A1 (en) 2017-01-05
US20160378244A1 (en) 2016-12-29
KR102044088B1 (ko) 2019-11-12
CN107743606B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN107743606B (zh) 基于超声触摸传感器的虚拟按钮
US11237660B2 (en) Electronic device response to force-sensitive interface
US10139898B2 (en) Distracted browsing modes
EP3140713B1 (en) Hand-worn device for surface gesture input
US9207852B1 (en) Input mechanisms for electronic devices
US8508347B2 (en) Apparatus and method for proximity based input
US10514797B2 (en) Force-sensitive user input interface for an electronic device
US20150036884A1 (en) Recognizing gestures captured by video
US20130088434A1 (en) Accessory to improve user experience with an electronic display
US11003328B2 (en) Touch input method through edge screen, and electronic device
US20130050133A1 (en) Method and apparatus for precluding operations associated with accidental touch inputs
WO2013124529A1 (en) Apparatus and method for determining the position of a user input
US9639167B2 (en) Control method of electronic apparatus having non-contact gesture sensitive region
US20130002577A1 (en) Adaptive user interface
US9223415B1 (en) Managing resource usage for task performance
US20130342705A1 (en) Background model update method for image process
US20140118276A1 (en) Touch system adapted to touch control and hover control, and operating method thereof
US20170147861A1 (en) Display apparatus and display method
US10528371B2 (en) Method and device for providing help guide
US20180284941A1 (en) Information processing apparatus, information processing method, and program
US9626742B2 (en) Apparatus and method for providing transitions between screens
US20190244376A1 (en) Method and device for acquiring depth information of object, and recording medium
US20160098092A1 (en) Display apparatus and method for controlling the same
KR20210116838A (ko) 제스처에 기초하여, 음성 입력을 처리하는 전자 장치 및 그 동작 방법
KR20160096434A (ko) 키패드의 감도를 조절하는 전자 장치 및 방법

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180105