CN107743606B - 基于超声触摸传感器的虚拟按钮 - Google Patents

基于超声触摸传感器的虚拟按钮 Download PDF

Info

Publication number
CN107743606B
CN107743606B CN201680032980.0A CN201680032980A CN107743606B CN 107743606 B CN107743606 B CN 107743606B CN 201680032980 A CN201680032980 A CN 201680032980A CN 107743606 B CN107743606 B CN 107743606B
Authority
CN
China
Prior art keywords
electronic device
processor
image data
ultrasonic sensor
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680032980.0A
Other languages
English (en)
Other versions
CN107743606A (zh
Inventor
绍拉夫·库马尔·班迪奥帕迪亚雅
伊丽莎·樱子·杜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107743606A publication Critical patent/CN107743606A/zh
Application granted granted Critical
Publication of CN107743606B publication Critical patent/CN107743606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0433—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Power Sources (AREA)
  • Push-Button Switches (AREA)

Abstract

一种包含电子装置的设备配置有基于超声触摸传感器的虚拟按钮。超声传感器安置在所述电子装置的外表面的第一部分后面。与所述电子装置和所述超声传感器中的一者或两者相关联的处理器经配置以：(i)处理从所述超声传感器接收到的信号，以便获取与所述外表面的所述第一部分接触的表面或物质的图像数据；以及(ii)通过确定所述图像数据是否为指纹或图案化触笔特有的，做出所述所获取的图像数据是否与所述第一部分上的有意控制触摸有关的第一确定。

Description

基于超声触摸传感器的虚拟按钮
相关申请交叉参考
本发明主张2015年6月29日申请的标题为“基于超声指纹传感器的首页按钮设计(ULTRASONIC FINGERPRINT SENSOR-BASED HOME BUTTON DESIGN)”的第62/186,238号美国临时专利申请案，以及2016年6月27日申请的标题为“基于超声触摸传感器的虚拟按钮(ULTRASONIC TOUCH SENSOR-BASED VIRTUAL BUTTON)”的第15/194,377号美国专利申请案的优先权，其揭示内容由此以全文引用的方式并入到本申请案中。
技术领域
本发明涉及超声传感器，且更确切地说，涉及用于使用安置在移动装置的用户接口表面后面的超声传感器来进行低等待时间触摸辨识的技术。
背景技术
现代移动装置(例如智能电话和平板计算机)并入有用户接口，其包含可经配置以呈现任何数目的虚拟按钮的触摸屏，即显示为使用户能够启动应用程序、打电话、键入消息等的可见图标、按钮或按键的“软”按键或按钮。另外，此类装置通常包含有限数目的物理、压敏、机械致动按钮。
无不存在本发明教示的情况下，虚拟按钮和物理按钮具有有限的能力或不具有能力来使装置区分由用户故意起始的手指或触笔的触摸/按压与当移动装置例如在用户的口袋、钱包或背包中时可能发生的偶然触摸和压力。因此，此类装置众所周知的问题是发生所谓的“口袋拨号”，其中此类随机触摸和压力导致第三方的偶然拨号。类似地，此类随机触摸和压力可导致移动装置的无意激活，且导致不必要的电力消耗。
由于需要最大化触摸屏(“玻璃盖片”)区域且减少对机械致动按钮的依赖，上述问题可能加剧。
发明内容
本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。
本发明中所描述的标的物的一个创新方面涉及一种电子装置，其包含：第一外表面，超声传感器安置在所述第一外表面的第一部分后面；以及处理器，所述处理器与所述电子装置和所述超声传感器中的一者或两者相关联。所述处理器经配置以处理从超声传感器接收到的信号，以便获取与第一外表面的第一部分接触的物体或物质的图像数据，且通过确定图像数据是否为指纹或经图案化的触笔的特性，做出所获取的图像数据是否与第一部分上的有意控制触摸有关的第一确定。
在一些实例中，超声传感器可将电子装置是否处于低功率模式的信号输出到处理器。在一些实例中，当电子装置处于低功率模式时，在第一确定是从超声传感器接收到的信号与第一部分上的有意控制触摸有关时，处理器可经配置以将电子装置从低功率模式切换到正常功率模式。
在一些实例中，所述电子装置可包含与超声传感器和处理器中的一者或两者耦合的环境光传感器、压力传感器、环境温度传感器和运动检测器中的一或多者。超声传感器可仅在以下各项中的一或多者之后，将所述电子装置是否处于低功率模式的信号发射到处理器：(i)环境光传感器记录环境光等级的改变；(ii)压力传感器记录压力的改变；(iii)环境温度传感器记录环境温度的改变；以及(iv)运动检测器记录所述电子装置的运动。
在一些实例中，第一外表面可包含交互式显示器，其具有玻璃盖片，且所述至少一个表面的第一部分对应于虚拟按钮的位置。在一些实例中，所述虚拟按钮可位于玻璃盖片上。在一些实例中，所述虚拟按钮可为首页按钮。
在一些实例中，第一外表面可与包含交互式显示器的第二外表面相对，所述交互式显示器具有玻璃盖片，且所述第一外表面第一部分对应于虚拟按钮的位置。
在一些实例中，有意控制触摸可为用户的手指或触笔在第一外表面的第一部分上的故意触摸。
在一些实例中，处理器可在小于30毫秒的等待时间周期内做出第一确定。
在一些实例中，处理器可经配置以自适应性地区分第一外表面的第一部分上的有意控制触摸与无意和随机接触中的一者或两者。
在一些实例中，所述处理器可经配置以在至少-40C到40C的环境温度范围内，自适应性地区分第一外表面的第一部分上的有意控制触摸与无意和随机接触中的一者或两者。
在一些实例中，所述处理器可经配置以在第一外表面与超声传感器之间至少0um到600um的距离范围内自适应性地区分。
在一些实例中，处理器可经配置以通过执行支持向量机回归、当代神经网络算法和深学习技术中的一或多者，做出第一确定。
在一些实例中，处理器可经配置以通过执行自适应手指检测过程来做出第一确定，所述过程包含使用处理器执行包含经训练的回归决策树学习过程的算法。在一些实例中，所述决策树学习过程可对以下各项中的一或多者的输出进行操作：脊特征提取过程；定向细化过程；定向直方图分析过程；定向相关和改变和分析过程；输入分析过程的结构相似性；以及局部二进制模式分析过程
根据一些实施方案，一种方法包含：在包含第一外表面的电子装置的处理器处，从安置在第一外表面的第一部分后面的超声传感器接收信号，且使用所述处理器：处理从超声传感器接收到的信号，以便获取与第一外表面的第一部分接触的表面或物质的图像数据；以及通过确定图像数据是否为指纹或经图案化触笔的特性，做出所获取的图像数据与第一部分上的有意控制触摸有关的第一确定。
在一些实例中，第一外表面的第一部分可对应于虚拟按钮的位置，且所述方法可进一步包含基于所述第一确定，执行或制止执行虚拟按钮的功能。
根据一些实施方案，一种非暂时性计算机可读媒体上面存储有软件，所述软件包含用于致使电子装置的处理器进行以下操作的指令：处理从安置在电子装置的第一外表面的第一部分后面的超声传感器接收到的信号，以便获取与第一外表面的第一部分接触的表面或物质的图像数据；以及通过确定图像数据是否为指纹或经图案化的触笔的特性，做出所获取的图像数据是否与第一部分上的有意控制触摸有关的第一确定。
根据一些实施方案，一种设备包含电子装置，其包含安置在第一外表面的第一部分后面的超声传感器的第一外表面，以及用于进行以下操作的装置：处理从超声传感器接收到的信号，以便获取与第一外表面的第一部分接触的表面或物质的图像数据；以及通过确定图像数据是否为指纹或经图案化的触笔的特性，做出所获取的图像数据是否与第一部分上的有意控制触摸有关的第一确定。
附图说明
在本发明和附图中阐述本说明书中所描述的标的物的一或多个实施方案的细节。通过审核本发明，其它特征、方面和优点将变得显而易见。注意，本发明的图和其它图示的相对尺寸可不按比例绘制。在本发明中所示出和描述的尺寸、厚度、布置、材料等仅作为实例作出并且不应理解为限制。各个图式中的相同参考标号和名称指示相同元件。
图1A到1C说明根据一些实施方案的电子装置的实例。
图2说明根据一实施方案的用于将手指触摸和与首页按钮的其它交互区分开的流程图的实例。
图3说明根据一实施方案的用于手指(触笔)检测过程的过程流的实例。
图4说明根据一实施方案的脊特征提取过程的实例。
图5说明根据一实施方案的定向细化过程的实例。
图6说明根据一实施方案的定向直方图过程的实例。
图7说明根据一实施方案的定向相关和符号改变分析过程的实例。
图8说明根据一实施方案的结构相似性确定过程的实例。
图9说明根据一实施方案的局部二进制模式分析过程的实例。
图10说明根据一实施方案的用于确定所获取的图像数据是否与有意控制触摸有关的方法的实例。
图11示出根据进一步实施方案的具有交互式显示器的电子装置的框图的实例。
图12示出根据进一步实施方案的具有交互式显示器的电子装置的实例。
图13A到13C包含虚拟按钮的进一步实例实施方案。图13D示出智能吸入器。
具体实施方式
本发明中陈述本说明书中所描述的标的物的一或多个实施方案的细节，其包含本文献中的描述和权利要求书，以及附图。通过审核本发明，其它特征、方面和优点将变得显而易见。注意，本发明的图和其它图示的相对尺寸可不按比例绘制。在本发明中所示出和描述的尺寸、厚度、布置、材料等仅作为实例作出并且不应理解为限制。
本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。本发明中所描述的标的物的一个创新方面可在具有安置在电子装置的外表面后面的超声传感器的所述电子装置中实施。所述电子装置可包含处理器，其经配置以接收和分析来自超声传感器的信号，以便将来自手指或触笔的有意触摸与除手指或触笔之外的物体或表面的无意或随机压力区分开。在一些实施方案中，处理器以上述方式起作用，与电子装置是上电(“唤醒”或处于“正常功率模式”)还是处于低功率(“休眠”)模式无关。在一些实施方案中，超声传感器可接近于外表面的对应于“首页按钮”位置的部分。因此，即使在电子装置处于休眠模式时，也可通过故意用户触摸而以不可感知的等待时间起始重要的首页按钮功能，且可至少大部分地消除口袋拨号错误。
图1A到1C说明根据一些实施方案的电子装置的实例。图1A示出根据一个实施方案的具有交互式显示器的电子装置的框图的实例。电子装置100(其可为例如智能电话或其它个人电子装置)包含处理器104，且具有包含交互式显示器102的前部外表面101。交互式显示器102可为触摸屏显示器，其经配置以占用电子装置100的前表面101的相当大部分。在一些实施方案中，交互式显示器102可具有与前表面101的区域大体上共同延伸的区域。交互式显示器102可配置为IMOD显示器或其它类型的显示器，例如等离子体、电致发光(EL)、有机发光二极管(OLED)、超扭曲向列(STN)或薄膜晶体管(TFT)液晶显示器(LCD)，或非平板显示器，例如CRT或其它显像管装置。处理器104可经配置以至少部分地响应于用户输入而控制交互式显示器102的输出，所述用户输入可包含用户的附属物(例如手指、手或手持式物体(例如，触笔)或类似物)的触摸或示意动作。
在所说明的实施方案中，处理器104与超声传感器106通信地耦合。转让给本发明的受让方的标题为“利用平面波的超声指纹扫描(Ultrasonic Fingerprint ScanningUtilizing a Plane Wave)”的第7,739,912号美国专利中描述合适的超声传感器的实例。超声传感器106可安置在电子装置100的前表面101后面，且接近于安置于电子装置100的前表面101的周长内位置110(在本文中被称作“按钮位置”)。在所说明的实施方案中，按钮位置110安置于交互式显示器102的周长内。交互式显示器102可经配置以在各种位置显示任何数目的触摸启用的图标和/或可检视图像内容，包含按钮位置110处或内的“软”或虚拟按钮。在其它实施方案中，按钮位置110可在交互式显示器102的周长外部(即，“玻璃外”)。在此类实施方案中，电子装置100的接近于位置110的前表面可为不透明的。举例来说，接近于位置110，电子装置100的前表面材料可为玻璃、塑料或铝。超声传感器106可经配置以获得安置在前表面101上或接近于所述前表面，在位置110附近的表面或对象的图像特性。如上所述，举例来说，超声传感器可安置在前表面101后面，且可经配置以获得至多约600μm的前表面厚度上的图像特性，不管前表面是玻璃还是铝。此范围的表面厚度可起因于可由塑料、玻璃盖片、铝或其它金属制成的各种厚度的压板，或归因于制造工艺期间凹进部分的存在或不存在的可变厚度，和/或归因于装置使用期间之后的额外层(例如，屏幕保护器)的放置。
无关于按钮位置110在交互式显示器102的周长内部还是外部，按钮位置110可经配置以为电子装置100的用户提供触摸接口功能性。在一些实施方案中，按钮位置110可划定电子装置110的首页按钮。根据本发明所揭示的技术，电子装置100可经配置以自适应性地区分(例如)用户的手指或触笔在按钮位置110上的故意触摸与除用户的手指或触笔之外的对象或表面的随机或无意压力。
在图1B中，将电子装置100说明为处于操作模式(“正常电力”或“唤醒”模式)，其中显示器被照明，且多个虚拟按钮120中的任一者可为可见且触摸可致动的。虚拟按钮120中的一或多者可为借助于额外超声传感器(未示出)触摸可致动的。替代地或另外，虚拟按钮120中的一些或全部可为可借助于其它技术触摸致动的，例如电阻性、电容性和投射电容式触摸(PCT)屏幕。在一些实施方案中，虚拟按钮120中的一些或全部可为使用光学技术触摸可致动的，所述光学技术例如在第9,041,690号美国专利以及第2015-0253931号美国专利公开案中所揭示，其各自转让给本发明的受让人，且借此全文并入本发明中。
在图1C中，将电子装置100说明为处于低功率模式(例如休眠模式，或类似的功率节省模式)，其中显示器不被照明，且虚拟按钮不可见。在一些实施例中，然而，即使在电子装置100处于低功率模式时，也可提供例如位于按钮位置110处的虚拟按钮的功能性。举例来说，可具有约10到100毫安的电流汲取的超声传感器106可经配置以收集与按钮位置110相关联的图像数据，且将对应信号输出到处理器，不管电子装置100是否处于低功率模式。因此，处理器104可经配置以在用户的手指或触笔接近于按钮位置110的接触后即刻“唤醒”所述电子装置。根据本发明所揭示的技术，“唤醒”过程以几乎不可感知的等待时间(25到50毫秒)发生，使得在用户在按钮位置110处触摸后，电子装置100几乎即刻可供使用。
在一些实施方案中，处理器104经配置以处理从超声传感器106输出的信号，以便获取与按钮位置110接触的表面或物质的图像数据。处理器104可经配置以做出所获取的图像数据是否与按钮位置110上的有意控制触摸有关的确定。举例来说，处理器104可确定所述图像数据是否为指纹或经图案化的触笔的特性，例如与空气、织品、皮革或随机物体相对。当确定所述图像数据指示有意控制触摸时，基于所述确定，处理器104可“唤醒”电子装置100。
图2说明根据一实施方案的用于区分手指触摸和与首页按钮的其它交互的流程图的实例。根据所说明的方法200，在框210处，可接收来自超声传感器的输入信号。举例来说，处理器104可接收从超声传感器106输出的信号。所述输入信号可起因于手指、触笔或其它对象与接近于按钮位置110的玻璃盖片的物理接触或“触摸”。在一些实施方案中，处理器104可为或包含电子装置100的通用处理器，或可为与超声传感器106相关联和/或与超声传感器处于相同位置的专用处理器。在框220处，输入信号可经历处理，以便获取与首页按钮接触的表面的图像。
在框230处，可执行用于自适应检测有意控制触摸的过程，如下文更详细描述。所述自适应检测过程可为由处理器104执行的算法。所述算法可基于所获取的与按钮位置110接触的表面的图像来操作。所获取的图像可包含图像数据的一或多个帧。
在框240处，做出关于所获取的图像与有意控制触摸相关联的确定。在一些实施方案中，如下文中详细描述，所述确定可基于所获取的图像是否包含指纹的特有特征。替代地或另外，在一些实施方案中，可将所获取的图像与触笔的已知表面特性进行比较。在此类实施方案中，所述比较可导致关于是否将所获取的图像辨识为触笔特有的决策。
如果在框240处的确定是所获取的图像包含有意控制触摸的特有特征，那么所述方法可继续进行到框250，且执行与按钮位置110相关联的虚拟按钮的功能。在一些实施方案中，所述虚拟按钮可为电子装置100的首页按钮，且框250可包含将所述电子装置从休眠模式切换到唤醒模式，其中显示电子装置100的主屏幕。替代地或另外，所述虚拟按钮可与电子装置100的其它功能有关，且框250可包含激活那些其它功能中的一或多者(例如打电话呼叫、打开网络浏览器、显示日历或制作列表等)。另一方面，如果框240处的确定是所获取的图像不是指纹或触笔特有的，那么方法可继续进行到框260，其中确定不执行虚拟按钮的任何功能。
图3说明根据一实施方案的用于手指(触笔)检测过程的过程流的实例。可包含于图2的框230中的方法300说明最高级序列的处理步骤，其中的每一者在后续图中更详细地说明。超声图像(其可为图2的框220的输出)可经历框310处的处理，图4中说明的脊特征提取过程。并行地，超声图像也可经历处理来确定输入的结构相似性(框350，在图8中说明)，且确定本地二进制模式(框360，在图9中说明)。来自脊特征提取过程310的输出可经历定向细化过程框320，在图5中说明。来自定向细化过程320的输出可经历图6中说明的定向直方图过程框330和图7中说明的定向相关和符号改变过程(框340)的并行处理。过程框330、340、350和360的输出可经历特征分类过程(框370)，下文中更详细地描述。
图4说明根据一实施方案的脊特征提取过程的实例。举例来说，所说明的脊特征提取过程可包含于图3的框310中。根据一些实施方案，可通过在所获取的超声图像中的每一像素处获取偏导数，来计算梯度向量(Gij)。如果所获取的超声图像是指纹(或具有已知表面特性的触笔)，那么梯度向量将识别可与指纹脊线定向相关的灰度强度的变化的最高空间速率。如图4中所说明，如果所获取的超声图像是空气或不表征为指纹类脊的表面的，那么梯度向量将具有可与指纹的典型梯度向量的定向图案区分开的定向图案(“定向图”)。在本文使用所述术语时，“相干”指代计算本地定向分布中的平均梯度的强度的定向的估计的可靠性。在本文使用所述术语时，根据图4，方程式Eq(1)，依据梯度向量Gxx、Gyy和Gxy来定义“定向”(θ)。可依据梯度向量和θ来计算最小像素强度Imin和最大像素强度Imax如图4、方程式Eq(2)和Eq(3)中示出。如图4、方程式Eq(4)和Eq(5)中示出，可依据Imin和Imax计算相干和可靠性。
图5说明根据一实施方案的定向细化过程的实例。举例来说，所说明的定向细化过程可包含于图3的框320中。在一些实施方案中，可通过选择主要定向方向定向特征，可进一步细化图4中说明的过程所产生的定向图(细节A)。举例来说，如所说明，可基于直方图数据(细节B)的评估，且使用直方图的峰值产生经细化的定向图(细节C)，来选择主要定向。在所说明的实例中，尽管在空间域中执行定向细化过程，但可在频域中执行定向细化过程。
图6说明根据一实施方案的定向直方图过程的实例。举例来说，所说明的定向直方图过程可包含于图3的框330中。通过已选定主要定向方向，如图5中所说明，可将定向分配给直方图的二进制数(细节D)。如果所获取的超声图像是空气或不表征为指纹类脊的表面的，那么对应直方图(细节E)将相对于细节D的直方图有噪声。
图7说明根据一实施方案的定向相关和符号改变分析过程的实例。举例来说，所说明的定向相关和符号改变分析过程可包含于图3的框340中。在所说明的实例中，指纹定向图701被配置成向量阵列，所述阵列具有七个行和17个列。可执行每一行中的邻近向量的定向的相对相关的分析，如针对行1、3、5和7所说明。可观察到，指纹定向图701的邻近向量的定向具有强相关(大多数向量与相邻向量具有类似斜率)。还可观察到，斜率符号中的单个改变在约第16或第17列处的每一行中出现。在不同对比度下，当经受相同分析时，空气图像702的定向图示出邻近向量之间少得多的相关，以及斜率符号中多得多的频繁改变。
再次参看图3，可观察到，可对定向细化过程320的输出并行地执行定向直方图过程330和定向相关符号改变分析过程340。此外，在所说明的实施方案中，对超声图像(即，一部分)的一或多个局部特征执行这些过程。
图8说明根据一实施方案的结构相似性确定过程的实例。举例来说，所说明的结构相似性确定过程可包含于图3的框350中。在所说明实例中，在框810处，计算输入超声图像的直方图，且在框820处，将其与框830所输出的直方图进行比较。在上取样和下取样之后，基于输入图像计算框830所输出的直方图，所述上取样和下取样减少图像细节。当框820处执行的比较示出框810所计算的直方图与框830所计算的直方图之间的相对较高相似性时，可推断输入图像具有相对较少的结构相关。举例来说，所述图像较可能为空气或具有较多随机表面纹理的表面的。另一方面，当在框820处执行的比较示出框810所计算的直方图与框830所计算的直方图之间的相对较小相似性时，那么可推断输入图像具有相对较多的结构相关。举例来说，所述图像较可能为指纹或具有良好结构纹理的其它表面的。
图9说明局部二进制模式分析过程的实例。举例来说，所说明的局部二进制模式分析过程可包含于图3的框360中。在所说明的实施方案中，可处理输入的超声图像，以便形成相关联的局部二进制模式(LBP)图像。更明确地说，处理指纹图像901，以便形成LBP图像903。类似地，处理空气图像902，以便形成LBP图像904。与原始图像901和902相比，LBP图像903和904可更明显地辨别为分别与指纹图像和空气图像相关联。
再次参看图3，可观察到，可对超声图像并行地执行结构相似性确定过程350和局部二进制模式分析过程360。此外，在所说明的实施方案中，对超声图像的全局特征(即，大体上全部)执行这些过程。
仍参考图3，框330、340、350和360的输出可经受框370处的决策树学习过程。在一些实施方案中，举例来说，可对这些输出执行回归树分析。回归树分析框370的输出可为指示接收到的指纹或其它结构上纹理化的表面的图像相对于空气或随机纹理化的表面的概率的数值得分。举例来说，所述数值得分可为介于零与一之间的数字，其中一指示图像是指纹或其它结构上纹理化的表面的的高置信度识别，且零指示所述图像是空气或随机纹理化的表面的的高置信度。此类回归树能够产生输入质量得分或输入对象的出现率的概率量度。
在一些实施方案中，图3中所说明的过程流可针对大量样本执行，作为“训练”程序的一部分，其中在各种环境和硬件配置下训练算法。将了解，超声图像的质量以及帧到帧变化可受超声传感器的硬件特性、温度变化、湿度、噪声、传感器范围门延迟和频率设定，以及玻璃盖片特性影响。可执行一次或周期性地执行的训练程序可改进算法关于是否获取指纹或触笔的图像特性的确定的准确性，尽管存在各种量的灰尘、污物和湿气，以及在至少-40℃到40℃(包括端值)的范围内的温度极值。举例来说，训练的结果可作为哈希表或回归树存储。
本发明人已发现，根据本发明配置的有意控制触摸算法的自适应检测可在非常低的等待时间(在一些实施方案中，大约10到15毫秒)内做出是否获取指纹或触笔的图像特性的高度准确(例如大约95到98％准确性)的确定。因此，虚拟按钮的功能可在用户的手指或图案触笔的触摸后较短的等待时间内致动，且不由其它物体或材料(例如皮革、布或空气)的触摸致动。
在一些实施方案中，本发明所揭示的技术可与例如转让给本发明的受让方且特此全文并入到本发明中的第2016/007098号美国专利公开案中所揭示的指纹验证技术和/或活跃度检测技术组合。
图10说明根据一实施方案的用于确定所获取的图像数据是否与有意控制触摸有关的方法的实例。如上文所描述，处理器可从安置在电子装置的前表面的第一部分后面的超声传感器所输出的信号获取图像数据。在所说明的实施方案中，方法1000包含用于用处理器来接收来自超声变换器的信号的框1010。
所述方法在框1020处继续处理从超声传感器接收到的信号，以便获取与前表面的第一部分接触的表面或物质的图像数据。
所述方法在框1030处，通过借助于确定所述图像数据是否为指纹或经图案化的触笔的特性做出所获取的图像数据是否与第一部分上的有意控制触摸有关的确定来结束。
图11示出根据进一步实施方案的具有交互式显示器的电子装置的框图的实例。电子装置1100(其可为例如智能电话或其它个人电子装置)包含处理器1104，且具有包含交互式显示器1102的前表面1101。处理器104可经配置以至少部分地响应于用户输入而控制交互式显示器1102的输出，所述用户输入可包含用户的附属物(例如手指、手或手持式物体(例如，触笔)或类似物)的触摸或示意动作。
在所说明的实施方案中，处理器1104与超声传感器1106通信地耦合，且通信地耦合到环境传感器1108。环境传感器1108可为低功率装置，其经配置以感测例如压力的改变、环境光或温度的改变，感测电子装置1100的运动。在此实施方案中，超声传感器可经配置以仅在环境传感器1108记录压力、环境光或温度的改变或检测到所述电子装置的运动之后，将信号发射到处理器，不管电子装置是否处于低功率模式。
图12示出根据进一步实施方案的具有交互式显示器的电子装置的实例。电子装置1200(其可为(例如)智能电话或其它个人电子装置)具有包含交互式显示器1202的前表面1201。交互式显示器1102的输出可至少部分地响应于用户输入，其可包含用户的附属物(例如手指、手或手持式物体(例如触笔)等)的触摸或示意动作。
如上文所描述，超声传感器可安置在电子装置1200的前表面1201后面，且接近于安置在电子装置100的前表面1201的周长内的位置1210。或者或另外，超声传感器可安置在电子装置1200的后表面1231后面，且接近于位置1230。在一些实施方案中，后表面1231可为不透明玻璃、塑料或金属表面。即使在电子装置1200处于低功率模式时，也可提供位于位置1230处的虚拟按钮的功能性。举例来说，超声传感器可经配置以收集与按钮位置1230相关联的图像数据，且将电子装置1200是否处于低功率模式的对应信号输出到处理器。因此，处理器可经配置以在用户的手指或触笔接近于按钮位置1230的初始接触后立刻“唤醒”所述电子装置。在一些实施方案中，处理器可经配置以在用户的手指或触笔接近于按钮位置1230的第二接触后即刻致动相机1240。
因为本发明所揭示的技术所预期的超声传感器可操作以收集外表面是否为透明的以及相当多种类的外表面厚度和材料的图像数据，可为多种裝置提供上文所揭示的类型的虚拟按钮功能性，不管装置是否包含玻璃盖片。图13A到13C包含虚拟按钮的进一步实例实施方案。在所说明的实施方案中的每一者中，一或多个虚拟按钮1310安置于电子装置上。每一虚拟按钮与安置成接近于虚拟按钮的相应超声传感器(未示出)相关联。在图13A中说明的实例实施方案中，虚拟按钮1310示出为安置于智能表的玻璃盖片上。或者或另外，虚拟按钮1310可安置在玻璃盖片之外，例如接近于不透明腕带，如图13B中所说明。还可在其它可穿戴裝置上提供虚拟按钮功能性，例如虚拟按钮1310可安置于智能眼镜上，例如图13C中所说明。此外，所揭示的技术可适于为其它装置提供虚拟按钮功能性，包含(例如)智能吸入器，如图13D中所说明。
在又一实施方案中，如上文所揭示的虚拟按钮可位于物联网(IOT)装置上，所述装置例如为计算机鼠标(通过当一者不操作时，转到低功率模式来节约电力)、健身带、查询一体机和/或恒温器、家用设备，例如TV或其它娱乐电子器件。在一个实施方案中，一或多个虚拟按钮可安置于交通工具内部的方向盘或一或多个其它表面上，借此如果用户触摸虚拟按钮，那么来自虚拟按钮的输入可致使处理器获得经由汽车的自发或半自发模式手动驱动的偏好或反之亦然。
因此，用于在极低的等待时间内区分手指或触笔在移动装置的玻璃盖片上的触摸与除手指或触笔之外的物体或表面在玻璃盖片上的无意压力的改进的技术。应了解，可涵盖若干替代配置和制造技术。
如本文所使用，提到一列项目“中的至少一者”的短语是指那些项目的任何组合，包含单个成员。作为实例，“a、b或c中的至少一者”意在涵盖：a、b、c、a-b、a-c、b-c和a-b-c。
结合本文中揭示的实施方案所描述的各种说明性逻辑、逻辑块、模块、电路和算法过程可实施为电子硬体、计算机软件或两者的组合。硬件与软件的互换性已大体在功能性方面加以描述，且在上文所描述的各种说明性组件、块、模块、电路和过程中加以说明。将此功能性实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。
结合本文中所揭示的方面描述的用以实现各种说明性逻辑、逻辑块、模块和电路的硬件和数据处理设备可通过以下各项来实现或执行：通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、分立门或晶体管逻辑、分立硬件组件，或经设计以执行本文中所描述的功能的任何组合。通用处理器可为微处理器或任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心，或任何其它此类配置。在一些实施方案中，特定过程和方法可由特定针对给定功能的电路执行。
在一或多个方面中，可以硬件、数字电子电路、计算机软件、固件(包含本说明书中所揭示的结构及其结构等效物)或以其任何组合来实施所描述功能。本说明书中描述的标的物的实施方案还可实施为一或多个计算机程序，即计算机程序指令的一或多个模块，其编码在计算机存储媒体上，以由数据处理设备执行或控制数据处理设备的操作。
如果实施于软体中，那么所述功能可作为一或多个指令或代码存储在计算机可读媒体(例如，非暂时性媒体)上或经由所述计算机可读媒体(例如，非暂时性媒体)传输。本文中所揭示的方法或算法的过程可在可驻留于计算机可读媒体上的处理器可执行软件模块中实现。计算机可读媒体包含计算机存储媒体和通信媒体两者，通信媒体包含可经启用以将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可通过计算机存取的任何可用媒体。作为实例而非限制，非暂时性媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它媒体。而且，可将任何连接适当地称为计算机可读媒体。如本文所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。另外，方法或算法的操作可作为代码和指令中的任一者或任何组合或集合驻留于可并入到计算机程序产品中的机器可读媒体和计算机可读媒体上。
对于所属领域的技术人员来说，本发明中所描述的实施方案的各种修改可为显而易见的，并且在不脱离本发明的精神或范围的情况下，本文中所定义的一般原理可适用于其它实施方案。因此，所附权力要求书无意限于本文中所示的实施方案，而是应被赋予与本发明、本文中所揭示的原理和新颖特征相一致的最宽范围。另外，如所属领域的技术人员将容易理解，术语“上部”和“下部”、“顶部”和“底部”、“前部”和“后部”、以及“上方”、“上”、“下方”和“下面的”有时用于方便描述图和指示对应于恰当定向的页上的图的定向的相对位置，且可能并不反映所实施的装置的恰当定向。
在本说明书中，在单独实施方案的上下文中描述的某些特征也可在单个实施方案中组合地实施。相反地，在单个实施方案的情况下描述的各种特征还可分别在多个实施方案中实施或以任何合适的子组合来实施。此外，尽管上文可将特征描述为以某些组合起作用或甚至最初如此主张，但在一些情况下，可将来自所主张的组合的一个或多个特征从组合中删除，并且所主张的组合可针对子组合或子组合的变化。
类似地，虽然在图式中按特定次序描绘操作，但此情形不应被理解为要求按所示的特定次序或按顺序次序执行此类操作，或执行所有所说明的操作，以实现所要结果。另外，图式可以流程图形式示意性地描绘一个以上实例过程。然而，可将未描绘的其它操作并入于示意性说明的实例过程中。举例来说，可在所说明的操作中的任一者之前、之后、同时地或之间执行一或多个额外操作。在某些情况下，多任务处理和并行处理可为有利的。此外，上文所描述的实施方案中的各种系统组件的分开不应被理解为在所有实施方案中要求此分开，且应理解，所描述的程序组件和系统一般可一起整合在单个软件产品中或包装到多个软件产品中。另外，其它实施方案在所附权利要求书的范围内。在一些情况下，权利要求书中所叙述的动作可以不同次序来执行，且仍实现合乎需要的结果。

Claims (30)

1.一种用于电子装置的设备，其包括：
所述电子装置，其包含第一外表面；
超声传感器，其安置在所述第一外表面的第一部分后面，其中所述第一外表面的所述第一部分对应于虚拟按钮的位置；以及
处理器，所述处理器与所述电子装置和所述超声传感器中的一者或两者相关联，其中所述处理器经配置以：
处理从所述超声传感器接收到的信号，以便获取与所述第一外表面的所述第一部分接触的物体或物质的表面的图像数据，并确定所获取的所述表面的所述图像数据是否为结构上纹理化的表面所特有的；以及
仅当确定所获取的所述表面的所述图像数据为结构上纹理化的表面所特有时，做出所述图像数据起因于所述表面与所述第一外表面的所述第一部分的故意接触的第一确定。
2.根据权利要求1所述的设备，其中：
所述超声传感器将所述电子装置是否处于低功率模式的信号输出到所述处理器。
3.根据权利要求2所述的设备，其中：
当所述电子装置处于所述低功率模式时，所述处理器经配置以在所述第一确定是所述图像数据起因于所述故意接触时，使所述电子装置从所述低功率模式切换到正常功率模式。
4.根据权利要求1所述的设备，其中：
所述电子装置包含与所述超声传感器和所述处理器中的一者或两者耦合的环境光传感器、压力传感器、环境温度传感器和运动检测器中的一者或多者；
所述超声传感器仅在以下各项中的一者或多者之后，将所述电子装置是否处于低功率模式的所述信号发射到所述处理器：(i)所述环境光传感器记录环境光等级的改变；(ii)所述压力传感器记录压力的改变；(iii)所述环境温度传感器记录环境温度的改变；以及(iv)所述运动检测器记录所述电子装置的运动。
5.根据权利要求1所述的设备，其中所述第一外表面包含交互式显示器，其具有玻璃盖片。
6.根据权利要求5所述的设备，其中所述虚拟按钮位于所述玻璃盖片上。
7.根据权利要求5所述的设备，其中所述虚拟按钮是首页按钮。
8.根据权利要求1所述的设备，其中所述第一外表面与包含交互式显示器的第二外表面相对，所述交互式显示器具有玻璃盖片，且所述第二外表面的所述第一部分对应于虚拟按钮的位置。
9.根据权利要求1所述的设备，其中所述表面的所述故意接触来自于所述第一外表面的所述第一部分上的用户的手指或触笔。
10.根据权利要求1所述的设备，其中所述处理器在小于30毫秒的等待时间周期内做出所述第一确定。
11.根据权利要求1所述的设备，其中所述处理器经配置以自适应性地区分所述第一外表面的所述第一部分上的无意和随机接触中的一者或两者与所述故意接触。
12.根据权利要求1所述的设备，其中所述处理器经配置以在至少-40℃到40℃的环境温度范围内，自适应性地区分所述第一外表面的所述第一部分上的无意和随机接触中的一者或两者与所述故意接触。
13.根据权利要求1所述的设备，其中所述处理器经配置以在所述第一外表面与所述超声传感器之间至少0um到600um的距离范围内自适应性地区分。
14.根据权利要求1所述的设备，其中所述处理器经配置以通过执行支持向量机回归、当代神经网络算法和深度学习技术中的一者或多者来做出所述第一确定。
15.根据权利要求1所述的设备，其中所述处理器经配置以通过执行自适应手指检测过程来做出所述第一确定，所述自适应手指检测过程包含使用所述处理器来执行包含经训练的回归决策树学习过程的算法。
16.根据权利要求15所述的设备，其中所述决策树学习过程对以下各项中的一者或多者的输出进行操作：
脊特征提取过程；
定向细化过程；
定向直方图分析过程；
定向相关和改变和分析过程；
输入的结构相似性分析过程；以及
局部二进制模式分析过程。
17.一种用于电子装置的方法，其包括：
在包含第一外表面的所述电子装置的处理器处，从安置在所述第一外表面的第一部分后面的超声传感器接收信号，且使用所述处理器：
处理从所述超声传感器接收到的所述信号，以便获取与所述第一外表面的所述第一部分接触的物体或物质的表面的图像数据并确定所获取的所述表面的所述图像数据是否为结构上纹理化的表面所特有的；以及
仅当确定所获取的所述表面的所述图像数据为结构上纹理化的表面所特有时，做出所述图像数据起因于所述表面与所述第一外表面的所述第一部分的故意接触的第一确定，
其中所述第一外表面的所述第一部分对应于虚拟按钮的位置。
18.根据权利要求17所述的方法，其中：
所述超声传感器将所述电子装置是否处于低功率模式的信号输出到所述处理器。
19.根据权利要求18所述的方法，其进一步包括：
当所述电子装置处于所述低功率模式时，在所述第一确定是所述图像数据起因于所述故意接触时，将所述电子装置从所述低功率模式切换到正常功率模式。
20.根据权利要求17所述的方法，其进一步包括基于所述第一确定来执行或制止执行所述虚拟按钮的功能。
21.根据权利要求17所述的方法，其中做出所述第一确定包含自适应性地区分所述第一外表面的所述第一部分上的无意和随机接触中的一者或两者与有意控制触摸。
22.根据权利要求17所述的方法，其中做出所述第一确定包含执行支持向量机回归、当代神经网络算法和深度学习技术中的一者或多者。
23.根据权利要求17所述的方法，其中做出所述第一确定包含执行自适应手指检测过程，其包含执行包含经训练回归决策树学习过程的算法。
24.根据权利要求23所述的方法，其中所述决策树学习过程对以下各项中的一者或多者的输出进行操作：
脊特征提取过程；
定向细化过程；
定向直方图分析过程；
定向相关和改变和分析过程；
输入的结构相似性分析过程；以及
局部二进制模式分析过程。
25.一种上面存储有软件的非暂时性计算机可读媒体，所述软件包含用于致使电子装置的处理器进行以下操作的指令：
处理从安置在电子装置的第一外表面的第一部分后面的超声传感器接收到的信号，以便获取与所述第一外表面的所述第一部分接触的物体或物质的表面的图像数据，并确定所获取的所述表面的所述图像数据是否为结构上纹理化的表面所特有的，其中所述第一外表面的所述第一部分对应于虚拟按钮的位置；以及
仅当确定所获取的所述表面的所述图像数据为结构上纹理化的表面所特有时，做出所述图像数据起因于所述表面与所述第一外表面的所述第一部分的故意接触的第一确定。
26.根据权利要求25所述的计算机可读媒体，其中：
所述超声传感器将所述电子装置是否处于低功率模式的信号输出到所述处理器。
27.根据权利要求26所述的计算机可读媒体，软件进一步包括用于致使电子装置的处理器进行以下操作的指令：
当所述电子装置处于所述低功率模式时，在所述第一确定是所述图像数据起因于所述故意接触时，将所述电子装置从所述低功率模式切换到正常功率模式。
28.一种用于电子装置的设备，其包括：
所述电子装置，其包含第一外表面；
超声传感器，其安置在所述第一外表面的第一部分后面，其中所述第一外表面的所述第一部分对应于虚拟按钮的位置；以及
用于以下操作的装置：
处理从所述超声传感器接收到的信号，以便获取与所述第一外表面的所述第一部分接触的物体或物质的表面的图像数据，并确定所获取的所述表面的所述图像数据是否为结构上纹理化的表面所特有的；以及
仅当确定所获取的所述表面的所述图像数据为结构上纹理化的表面所特有时，做出所述图像数据起因于所述表面与所述第一外表面的所述第一部分的故意接触的第一确定。
29.根据权利要求28所述的设备，其中所述第一外表面包含交互式显示器，其具有玻璃盖片。
30.根据权利要求28所述的设备，其中所述表面的所述故意接触来自于所述第一外表面的所述第一部分上的用户的手指或触笔。
CN201680032980.0A 2015-06-29 2016-06-28 基于超声触摸传感器的虚拟按钮 Active CN107743606B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562186238P 2015-06-29 2015-06-29
US62/186,238 2015-06-29
US15/194,377 2016-06-27
US15/194,377 US10254881B2 (en) 2015-06-29 2016-06-27 Ultrasonic touch sensor-based virtual button
PCT/US2016/039882 WO2017004076A1 (en) 2015-06-29 2016-06-28 Ultrasonic touch sensor-based virtual button

Publications (2)

Publication Number Publication Date
CN107743606A CN107743606A (zh) 2018-02-27
CN107743606B true CN107743606B (zh) 2021-05-25

Family

ID=57602261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680032980.0A Active CN107743606B (zh) 2015-06-29 2016-06-28 基于超声触摸传感器的虚拟按钮

Country Status (9)

Country Link
US (1) US10254881B2 (zh)
EP (1) EP3314494B1 (zh)
JP (1) JP2018530024A (zh)
KR (1) KR102044088B1 (zh)
CN (1) CN107743606B (zh)
BR (1) BR112017028228A2 (zh)
ES (1) ES2729245T3 (zh)
HU (1) HUE043621T2 (zh)
WO (1) WO2017004076A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387704B2 (en) * 2015-06-29 2019-08-20 Qualcomm Incorporated Method and apparatus for enabling the touchscreen display of a mobile device
US10037033B2 (en) * 2016-06-15 2018-07-31 Ford Global Technologies, Llc Vehicle exterior surface object detection
US10262187B1 (en) * 2016-11-10 2019-04-16 Synaptics Incorporated Systems and methods for spoof detection based on local binary patterns
WO2019226680A1 (en) * 2018-05-21 2019-11-28 UltraSense Systems, Inc. Ultrasonic touch and force input detection
DE102018213949A1 (de) * 2018-08-17 2020-02-20 Volkswagen Aktiengesellschaft Verfahren zur Bedienung eines Gerätes, Vorrichtung zur Durchführung des Verfahrens, Fahrzeugtür sowie Computerprogramm
CN112639805A (zh) 2018-09-04 2021-04-09 三星电子株式会社 包括超声波显示器内指纹传感器的电子设备及其操作方法
US10524461B1 (en) * 2018-09-25 2020-01-07 Jace W. Files Pest detector to identify a type of pest using machine learning
JP7183733B2 (ja) * 2018-11-27 2022-12-06 株式会社リコー ディスプレイ装置および制御方法
CN112445270B (zh) * 2019-08-16 2023-03-31 华为技术有限公司 终端的按键结构和终端

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834855B2 (en) * 2004-08-25 2010-11-16 Apple Inc. Wide touchpad on a portable computer
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7739912B2 (en) 2004-10-07 2010-06-22 Ultra-Scan Corporation Ultrasonic fingerprint scanning utilizing a plane wave
JP2009048335A (ja) * 2007-08-16 2009-03-05 Lg Display Co Ltd 液晶表示装置
US8432169B2 (en) 2007-09-20 2013-04-30 Panasonic Corporation Proximity sensor
GB2469397B (en) 2007-10-23 2012-04-25 Leonid Minutin Passive pointing/touching interface method
US8385885B2 (en) * 2008-10-17 2013-02-26 Sony Ericsson Mobile Communications Ab Method of unlocking a mobile electronic device
US8605960B2 (en) * 2009-03-02 2013-12-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Fingerprint sensing device
CN101794197B (zh) * 2010-04-06 2012-11-07 华为终端有限公司 触摸屏触发方法、触摸装置及手持设备
US8311514B2 (en) 2010-09-16 2012-11-13 Microsoft Corporation Prevention of accidental device activation
US8982045B2 (en) * 2010-12-17 2015-03-17 Microsoft Corporation Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
CN107391014B (zh) * 2012-01-09 2020-10-27 谷歌有限责任公司 具有手指鉴别的智能触摸屏键盘
BR112014019107B1 (pt) * 2012-02-02 2021-05-04 Qualcomm Incorporated Monitor com tela sensível ao toque e método para coletar informação sobre um objeto que está em contato com um monitor com tela sensível ao toque
CN103376932B (zh) * 2012-04-26 2017-08-18 富泰华工业（深圳）有限公司 防误操作系统及方法
WO2014018115A1 (en) 2012-07-26 2014-01-30 Changello Enterprise Llc Ultrasound-based force sensing of inputs
US9007308B2 (en) * 2012-08-03 2015-04-14 Google Inc. Adaptive keyboard lighting
US9041690B2 (en) 2012-08-06 2015-05-26 Qualcomm Mems Technologies, Inc. Channel waveguide system for sensing touch and/or gesture
US9063564B2 (en) * 2012-10-30 2015-06-23 Google Technology Holdings LLC Method and apparatus for action indication selection
KR102022288B1 (ko) * 2012-11-26 2019-11-04 삼성전자 주식회사 터치 입력 방법 및 휴대 단말
JP2016513399A (ja) 2013-02-11 2016-05-12 ゼファー、インク． 自動プレおよびポストロールプロダクション
US20140359757A1 (en) * 2013-06-03 2014-12-04 Qualcomm Incorporated User authentication biometrics in mobile devices
US9678591B2 (en) * 2013-06-10 2017-06-13 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for sensing touch
US9727770B2 (en) 2013-07-22 2017-08-08 Apple Inc. Controllable signal processing in a biometric device
US9984270B2 (en) 2013-08-05 2018-05-29 Apple Inc. Fingerprint sensor in an electronic device
KR101542961B1 (ko) 2013-09-13 2015-08-07 현대자동차 주식회사 사용자 단말의 터치 검출 방법 및 시스템
US9921688B2 (en) 2014-03-04 2018-03-20 Qualcomm Incorporated Large area interactive display screen
US9633269B2 (en) 2014-09-05 2017-04-25 Qualcomm Incorporated Image-based liveness detection for ultrasonic fingerprints

Also Published As

Publication number Publication date
CN107743606A (zh) 2018-02-27
US20160378244A1 (en) 2016-12-29
JP2018530024A (ja) 2018-10-11
HUE043621T2 (hu) 2019-08-28
KR102044088B1 (ko) 2019-11-12
BR112017028228A2 (pt) 2018-08-28
EP3314494B1 (en) 2019-04-03
WO2017004076A1 (en) 2017-01-05
US10254881B2 (en) 2019-04-09
ES2729245T3 (es) 2019-10-31
KR20180022692A (ko) 2018-03-06
EP3314494A1 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
CN107743606B (zh) 基于超声触摸传感器的虚拟按钮
JP7084307B2 (ja) タッチスクリーンでの指紋キャプチャの開始
US10592717B2 (en) Biometric imaging with hover detection
US20200257391A1 (en) Electronic Device Response to Force-Sensitive Interface
EP2817704B1 (en) Apparatus and method for determining the position of a user input
JP6161078B2 (ja) 表示領域エッジでのユーザ入力の検知
US10514797B2 (en) Force-sensitive user input interface for an electronic device
CN106415437B (zh) 用于光学对象运动检测的成像布置
US20130050133A1 (en) Method and apparatus for precluding operations associated with accidental touch inputs
US20140237401A1 (en) Interpretation of a gesture on a touch sensing device
JP2017504853A (ja) モバイルデバイスにおけるユーザ認証バイオメトリクス
US9582127B2 (en) Large feature biometrics using capacitive touchscreens
US10521052B2 (en) 3D interactive system
US10248270B2 (en) Inflection based bending signal abstraction from a mixed signal
US9946917B2 (en) Efficient determination of biometric attribute for fast rejection of enrolled templates and other applications
KR20230149300A (ko) 랜덤화된 다중-지문 인증
WO2022226438A1 (en) User interfaces for single-handed mobile device control
US20230401886A1 (en) Touch sensing in non-capacitive touch modes
US20160098092A1 (en) Display apparatus and method for controlling the same
KR101931280B1 (ko) 터치방식 휴대용 단말기 및 그 구동 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant