CN113939789A - 使用触敏表面感测和超声感测来检测对象接近度 - Google Patents

使用触敏表面感测和超声感测来检测对象接近度 Download PDF

Info

Publication number
CN113939789A
CN113939789A CN202080042044.4A CN202080042044A CN113939789A CN 113939789 A CN113939789 A CN 113939789A CN 202080042044 A CN202080042044 A CN 202080042044A CN 113939789 A CN113939789 A CN 113939789A
Authority
CN
China
Prior art keywords
touch
audio signal
interaction
sensitive screen
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080042044.4A
Other languages
English (en)
Inventor
宗本太平
威廉·艾萨克·莱文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qeexo Co
Original Assignee
Qeexo Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qeexo Co filed Critical Qeexo Co
Publication of CN113939789A publication Critical patent/CN113939789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S15/523—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/586—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/53—Means for transforming coordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Abstract

提出了能够改进对象与设备的触敏表面的触摸或悬停交互的分类的技术。设备的扬声器可以发射包括第一频率分布的超声音频信号。设备的麦克风可以检测包括第二频率分布的反射音频信号。音频信号可以被表面附近的对象反射，以产生反射音频信号。分类组件可以基于对信号的分析来确定对象相对于表面的移动状态，或者对相对于表面的触摸或悬停交互进行分类。分类组件还可以基于这些超声数据和/或触摸表面数据或其他传感器数据来对触摸或悬停交互进行分类。可以使用机器学习来训练分类组件，以执行对对象与表面的触摸或悬停交互的分类。

Description

使用触敏表面感测和超声感测来检测对象接近度
相关申请
本主题专利申请要求Munemoto等人于2019年6月28日提交的题为“DETECTINGOBJECT PROXIMITY USING TOUCH SENSITIVE SURFACE SENSING AND ULTRASONICSENSING”的未决美国申请第16/457,293号的优先权。出于所有目的，该申请通过整体引用的方式结合至本文中。
版权声明
本专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对专利文件或专利公开内容中的任何一个的复制，如其在专利与商标局专利文档或记录中出现的，但是除此之外无论如何保留所有的版权权利。
技术领域
本公开一般涉及触敏表面技术，例如，使用触敏表面感测和超声感测来检测对象接近度。
背景
当今的各种电子设备通常可以由与触摸屏或其他类型的触敏表面交互的用户来操作。这一特征尤其是新一代智能手机的一个特性。通常，触摸显示屏可以响应于手指接触来激活触摸显示屏以进行进一步的处理。还可以使用诸如触控笔的工具、用户手的其他部位(诸如手掌和手指的各个部位)或用户的耳朵或面部，来与触摸显示屏进行接触。
上述描述的描述内容仅旨在提供与触敏设备相关的上下文概述，并不旨在穷举。
概述
以下给出了说明书的简要概述，以便提供对说明书的一些方面的基本理解。该概述并不是说明书的广泛综述。它既不旨在标识说明书的关键或重要元素，也不描绘说明书的特定实施方式的任何范围或权利要求的任何范围。其唯一的目的是以简化的形式给出说明书的一些概念，作为后面给出的更详细的描述的序言。
触摸显示屏可以响应于用户的手指接触来激活显示器，以使得能够访问电子设备的应用、功能或特征和/或使得能够执行进一步的处理。还可以使用诸如触控笔的工具、或身体的其他部位(诸如用户的耳朵、面部、手掌和/或手指的各个部位)与触摸显示屏进行接触。触摸显示屏可以感测与接触和/或接近触摸显示屏表面的用户相关联的用户输入，诸如(一根或更多根)手指或触控笔。触摸显示屏可以将用户相对于触摸显示屏的预期动作封装为触摸事件，并且可以将这些触摸事件传送给系统以适当地(例如，相应地)响应触摸事件(例如，使得能够访问电子设备的应用、功能或特征并结合电子设备的应用、功能或特征执行操作，和/或使得能够执行与电子设备相关联的进一步处理)。然而，可能存在无意触摸或悬停交互被报告给系统的情况。
根据非限制性的示例实施方式，一种方法可以包括由包括处理器的系统从电子设备发射包括至少第一频率的音频信号，其中该电子设备包括触敏屏幕。该方法还可以包括由系统检测包括至少第二频率的反射音频信号，其中音频信号被触敏屏幕附近的对象反射以产生反射音频信号。该方法还可以包括由系统至少部分地基于音频信号的第一频率和反射音频信号的第二频率之间的频率偏移来确定对象相对于触敏屏幕的移动状态，以便于对对象与触敏屏幕的交互进行分类。
根据另一个非限制性示例实施方式，系统可以包括至少一个扬声器，该至少一个扬声器被配置为从电子设备发射包括至少第一频率的超声音频信号，其中该电子设备包括触敏屏幕。系统还可以包括至少一个音频传感器，该至少一个音频传感器被配置为感测包括至少第二频率的反射超声音频信号，其中超声音频信号被触敏屏幕附近的对象反射，以产生反射超声音频信号。系统还可以包括存储可执行组件的存储器，以及可操作地耦合到存储器的处理器，该处理器执行可执行组件。可执行组件可以包括分类组件，该分类组件被配置为至少部分地基于超声音频信号的第一频率和反射超声音频信号的第二频率之间的频率偏移来确定对象相对于触敏屏幕的移动状态，以便于对对象与触敏屏幕的交互进行分类。
根据又一非限制性示例实施方式，机器可读介质可以包括可执行指令，该可执行指令在由处理器执行时便于操作的执行。操作可以包括从电子设备发送包括第一频率的超声音频信号，其中该电子设备包括触敏表面。操作还可以包括感测包括第二频率的反射超声音频信号，其中超声音频信号被触敏表面附近的对象反射，以产生反射超声音频信号。这些操作还可以包括至少部分地基于超声音频信号的第一频率和反射超声音频信号的第二频率之间的频率偏移来确定对象相对于触敏表面的移动活动，以便于对对象与触敏表面的交互进行分类。
以下描述和附图阐述了说明书的某些说明性方面。然而，这些方面仅指示了可以采用本说明书的原理的各种方式中的一些。当结合附图考虑时，本说明书的其他优势和增强的特征将从以下说明书的详细描述中变得明显。
附图简述
在考虑以下结合附图的进行的详细描述之后，所公开主题的许多方面、实施方式、目的和优点将是明显的，其中相同的参考字符在全文中可以指代相同的部件，并且在附图中：
图1示出了根据本公开主题的各个方面和实施例的示例触敏设备的前视图(或俯视图)的框图，该示例触敏设备可以利用超声音频信号来确定对象与触敏设备的触敏表面的触摸或悬停交互的分类；
图2示出了根据本公开主题的各个方面和实施例的示例触敏设备的侧视图的框图，该示例触敏设备可以利用超声音频信号来确定对象与触敏设备的触敏表面的触摸或悬停交互的分类；
图3描绘了根据本公开主题的各个方面和实施例的，包括触敏表面的示例触敏设备的俯视图和网格形式的表面相关传感器的说明性视图的图示；
图4呈现了根据本公开主题的各个方面和实施例的，作为示例触敏设备的俯视图的视觉表示的一部分的示例帧图像的图示，该示例帧图像包括或表示与触敏表面相关联的帧数据；
图5示出了根据本公开主题的各个方面和实施例的，作为触敏设备的俯视图的视觉表示的一部分的示例帧图像的图示，其中该示例帧图像可以包括或表示帧数据，该帧数据可以在用于帧的传感器数据由触摸感测组件和相关联的传感器组件结合在用户耳朵附近具有该设备的用户进行采集的时间段期间被确定；
图6示出了根据本公开主题的各个方面和实施例的示例帧图像的图示，该示例帧图像可以在传感器阵列的特定表面相关传感器检测到用户手指与触敏表面的特定部分(例如，中心部分)的接触(例如，相对接触强度)时，至少部分地基于传感器数据生成；
图7描绘了根据本公开主题的各个方面和实施例的示例系统的框图，该示例系统可以训练分类组件(例如，分类组件的一个或更多个分类引擎)来对对象与触敏设备的触敏表面的触摸或悬停交互进行分类；
图8示出了根据本公开主题的各个方面和实施例的示例方法的流程图，该示例方法可以确定对象相对于触敏设备的触敏表面的移动状态和/或对对象与触敏表面的悬停或触摸交互进行分类；
图9描绘了根据本公开主题的各个方面和实施例的示例方法的流程图，该示例方法可以确定对象相对于触敏设备的触敏表面的移动状态和/或对对象与触敏表面的悬停或触摸交互进行分类；以及
图10示出了根据本公开主题的各个方面和实施例的示例方法的流程图，该示例方法可以对对象与触敏设备的触敏表面的悬停或触摸交互进行分类；以及
图11描绘了根据本公开主题的各个方面和实施例的示例方法的流程图，该示例方法可以训练分类组件，以便于确定对象相对于触敏设备的触敏表面的移动状态和/或对对象与触敏表面的悬停或触摸交互进行分类。
详细描述
现在参考附图描述本公开的各个方面，其中相同的附图标记在全文中用于指代相同的元件。在以下的描述中，出于解释的目的，阐述了许多具体细节，以便提供对一个或更多个方面的彻底理解。然而，应当理解，本公开的某些方面可以在没有这些具体细节的情况下实施，或者利用其他方法、组件、材料等来实施。在其他情况下，公知的结构和设备以框图形式示出，以便于描述一个或更多个方面。
在下面的详细描述中，参考了附图，这些附图形成了描述的一部分，并且其中通过图示的方式示出了具体实施例。尽管足够详细地描述了这些实施例，以使本领域技术人员能够实施本公开，但是应当理解，这些示例不是限制性的，从而可以使用其他实施例，并且可以在不脱离本公开的精神和范围的情况下进行改变。
一个或更多个实施例可以以多种方式实现，包括作为过程、装置、系统、设备、方法、计算机可读介质(诸如包含计算机可读指令或计算机程序代码的计算机可读存储介质)，或者作为包括具有体现在其中的计算机可读程序代码的计算机可用介质的计算机程序产品。
在以下描述中的附图仅通过说明的方式涉及优选的实施例。这些附图不一定是按比例的。应当注意，从下面的讨论中，本文公开的结构和方法的替代实施例将容易被认为是在不脱离所要求保护的原理的情况下可以采用的可行替代方案。
当今的各种电子设备通常可以由与触摸显示屏交互的用户来操作。这一特征特别是最近一代智能手机、电子平板电脑和某些计算机的一个特性。触摸显示屏通常可以包括触敏表面，该触敏表面可以响应于手指接触来激活和/或利用触摸显示屏以进行进一步的处理。还可以使用诸如触控笔的工具、用户手的其他部位(诸如手掌和/或手指的各个部位)、或者身体的其他部位(诸如用户的耳朵或面部)，来与触摸显示屏进行接触。
可能存在这样的情况，其中电子设备的用户可能无意地和不期望地触摸到触摸显示屏，从而激活触摸显示屏和/或基于对触摸显示屏的无意和不期望的触摸导致电子设备执行无意和不期望的操作。例如，用户可以使用电子设备(例如，智能或移动电话)来打电话，并且可能将触摸显示屏贴靠或靠近用户的耳朵或面部放置，因为该设备可以包括可能被放置在触摸显示屏附近的扬声器。当用户正在打电话时，用户的耳朵或面部可能会不期望地与触摸显示屏交互，其中，例如，用户的耳朵或脸颊可能正在触摸或按压触摸显示屏上的按钮或控件，这可能导致设备执行不期望的操作。作为另一个示例，用户可能将设备握在用户的手中，并且用户的一根或更多根手指可能环绕在设备周围，使得一根或更多根手指可能无意地接触或足够接近触摸显示屏，或者用户的手掌或其他身体部位可能无意地接触或足够接近触摸显示屏，从而响应于一根或更多根手指、手掌或其他身体部位与触摸显示屏的无意触摸或悬停交互，无意地激活触摸显示屏和/或导致设备执行无意的(一个或更多个)操作。
另一个问题是，当与触摸显示屏存在不期望的接触或其他不期望的交互(例如，悬停交互)时，触摸显示屏和设备的其他组件可能处于开启状态，并且不期望地和不必要地利用资源，包括消耗来自设备电池的电量，这可能会转移可用于设备其他操作的资源和/或短期来看可能会降低可用电池电量，并且长期来看可能缩短电池的电池寿命。例如，当用户正在使用设备(例如，移动电话)进行电话呼叫并且将电话贴靠在用户的耳朵上或靠近用户的耳朵时，用户的耳朵和/或面部可能正在触碰触摸显示屏或悬停在触摸显示屏附近并与触摸显示屏交互，这可能导致触摸显示屏和设备的其他组件处于开启状态和/或执行操作，尽管当设备在电话呼叫期间被握持贴靠在用户耳朵上或在用户耳朵附近时，用户并不希望使用触摸显示屏或与触摸显示屏交互。
本公开的主题可以克服与触摸显示屏或其他触摸板相关联的这些和其他问题或缺陷。为此，提出了本公开的主题，本公开的主题可以采用能够改进对象与设备(例如，触敏设备)的触敏表面(例如，触摸显示屏)的触摸或悬停交互的分类的技术。该设备的(一个或更多个)扬声器可以发射包括第一频率分布的音频信号(例如，超声音频信号)。该设备的(一个或更多个)麦克风可以检测包括第二频率分布的反射音频信号，其中该音频信号可以被触敏表面附近的对象反射，以产生反射音频信号。
本公开的主题可以包括分类组件，该分类组件可以分析超声数据，该超声数据包括包含第二频率分布的反射音频信号、包含第一频率分布的音频信号和/或音频信号的第一频率分布和反射音频信号的第二频率分布之间的频率偏移分布。至少部分地基于对超声数据的分析结果，分类组件可以确定对象相对于触敏表面的移动状态，和/或可以对对象与触敏表面的触摸或悬停交互进行分类。
在一些实施例中，分类组件可以至少部分地基于超声数据和/或其他传感器数据来执行对象与触敏表面的触摸或悬停交互的分类。例如，触敏设备可以包括可以与触敏表面相关联的表面相关传感器(例如，触摸传感器)、加速度计、陀螺仪、惯性测量单元(IMU)和/或另一种类型的传感器。表面相关传感器可以检测对象与触敏表面的触摸交互是否已经发生，和/或加速度计、陀螺仪和/或IMU可以检测触摸或悬停交互是否已经发生和/或检测对象或设备的运动和/或定向。分类组件可以从那些其他传感器接收其他传感器数据(例如，触摸表面数据、加速度计数据、陀螺仪数据和/或IMU数据)。分类组件可以分析超声数据和/或其他传感器数据。至少部分地基于超声数据和/或其他传感器数据的分析结果，分类组件可以根据定义的分类标准对对象与触敏表面的触摸或悬停交互进行分类。例如，分类组件可以将对象与触敏表面的触摸或悬停交互分类为有意触摸交互或无意触摸或悬停交互，和/或可以进一步对特定类型的触摸或悬停交互进行分类(例如，有意手指触摸交互、有意触控笔触摸交互、无意手指触摸或悬停交互、无意耳朵或面部触摸或悬停交互、无意触控笔触摸或悬停交互、或者无意手掌触摸或悬停交互、……)。
在某些实施例中，可以使用机器学习来训练分类组件(例如，分类组件的分类引擎)，以期望地执行对象与触敏表面的触摸或悬停交互的分类。例如，分类组件可以包括机器学习组件，该机器学习组件可以被训练(例如，通过训练组件训练)以区分和识别与触敏表面的不同类型的触摸或悬停交互，包括区分和识别有意触摸交互和无意触摸或悬停交互，以及区分和识别特定类型的触摸或悬停交互。
本公开的主题还可以包括操作管理组件，该操作管理组件可以控制与触敏设备相关联的操作，包括与触敏表面相关联的操作。例如，响应于分类组件检测到无意触摸或悬停交互，操作管理组件可以拒绝无意触摸或悬停交互，禁用触敏表面的功能，将触敏表面置于(例如，切换到或保持为)锁定状态，将设备的触敏表面(例如，触摸显示屏)置于(例如，切换到或保持为)关闭状态，和/或以其他方式防止由于无意触摸或悬停交互而在设备上执行操作。响应于分类组件检测到与触敏表面的有意触摸交互，操作管理组件可以将触敏表面置于(例如，切换到或保持为)开启状态，将触敏表面置于(例如，切换到或保持为)解锁状态，和/或启用(例如，允许)触摸显示屏的触敏表面的触敏功能和/或使得与有意触摸交互相关联的(一个或更多个)操作能够由设备(例如，由触摸显示屏、与设备相关联的应用、……)执行。
参考附图描述了本公开主题的这些和其他方面和实施例。
图1和图2分别示出了根据本公开主题的各个方面和实施例的示例触敏设备100的正视图和侧视图的框图，该示例触敏设备100可以利用超声音频信号来确定对象与触敏设备的触敏表面的触摸或悬停交互的分类。触敏设备100可以是或可以包括：例如移动电话(例如，蜂窝电话和/或智能电话)、计算机、显示桌、个人数字助理(PDA)、电子平板电脑或笔记本电脑(例如，触敏图形平板电脑或笔记本电脑)、上网平板、电子可穿戴设备(例如，包括触敏表面的智能手表或其他电子可穿戴设备)、电子游戏设备、电子工作站、电视、互联网协议(IP)电视、机顶盒，交通工具中的或与交通工具集成的设备(例如，触敏设备)、触摸板、轨迹板或其他类型的设备。
触敏设备100可以包括触摸感测组件102(触摸感测组件(touch sensing comp.)102)，该触摸感测组件102可以包括触敏表面104或与触敏表面104相关联，该触敏表面104可以感测(一个或更多个)对象106(例如，用户的(一根或更多根)手指、用户的手掌、用户的耳朵或面部、用户的其他身体部位或触控笔)何时已经与触敏表面104接触或接近(例如，悬停在触敏表面104上方和/或接近)触敏表面104。触敏表面104可以与显示组件108(显示组件(display comp.)108)相关联(例如，覆盖在显示组件108上)，显示组件108可以包括能够向用户呈现视觉和/或文本内容的显示屏。触敏表面104可以具有能够与显示组件108的显示屏的呈现区域的尺寸和形状共同延伸或相对应的尺寸和形状，或者至少能够与显示组件108的显示屏的呈现区域的尺寸和形状基本上共同延伸或基本上相对应的尺寸和形状。
触敏设备100还可以包括传感器组件110(传感器组件(sensor comp.)110)，该传感器组件110可以包括传感器的集合，其中传感器的集合中的各种传感器可以感测触敏设备100的各种状况或与触敏设备100相关联的各种状况(例如，接触或悬停状况、压力状况和/或与设备100相关联的运动状况、……)。传感器组件110的传感器集合可以包括表面相关传感器112(例如，触摸传感器)，该表面相关传感器112可以是触摸感测组件102和触敏表面104的一部分或者与触摸感测组件102和触敏表面104相关联。表面相关传感器112可被配置为感测(一个或更多个)对象106何时与触敏表面104接触，并生成与(一个或更多个)对象106与触敏表面104的接触相关的传感器数据(诸如触摸表面数据(例如，触摸表面或触摸屏数据))，如本文中更全面描述的。在一些实施例中，表面相关传感器112可以感测(一个或更多个)对象106何时接近(例如，悬停在触敏表面104上方和/或接近)触敏表面104。传感器数据可用于帮助确定与(一个或更多个)对象106与触敏表面104的接触或关联(例如，悬停)相关的分类，如本文中更全面描述的。
传感器组件110的传感器集合还可以包括能够被配置为感测设备100的各种状况或与设备100相关联的各种状况的其他传感器。根据各种实施例，传感器组件110可以包括：包括超声传感器的超声组件114(超声组件(ultrasound comp.)114)、包括一个或更多个加速度计的加速度计组件116(加速度计组件(acc.comp.)116)、包括一个或更多个陀螺仪的陀螺仪组件118(陀螺仪组件(gyro.comp.)118)、IMU120和/或其他传感器。这些其他传感器(例如，超声组件114、加速度计组件116、陀螺仪组件118、IMU 120、……)可以感测或检测对象106相对于设备100的运动(例如，移动)、设备100或对象106的定向、对象106距设备100的距离(例如，对象106距触敏表面104的距离)、和/或设备100的其他状况或与设备100相关联的其他状况或对象106的其他状况或与对象106相关联的其他状况，如本文中更全面描述的。其他传感器数据可用于帮助确定与(一个或更多个)对象106相对于触敏表面104的接触(例如，触摸)或关联(例如，悬停)相关的分类，如本文中更全面描述的。
在一些实施例中，触敏设备100可以包括分类组件122(分类组件(class.Comp.)122)，该分类组件122可以根据定义的分类标准，至少部分地基于分析从传感器组件110接收的传感器数据的结果，来分类或确定对象106与触敏表面104的触摸或悬停交互。分类组件122可以监控和接收传感器数据(例如，来自传感器组件110的各种传感器的数据流)，诸如从表面相关传感器112获得的与触敏表面104相关联的触摸表面数据、从其他传感器获得的其他传感器数据(例如，超声数据、加速度计数据、陀螺仪数据和/或IMU数据、……)和/或与设备100相关联的元数据。分类组件122可以监控传感器数据和其他传感器数据，以便于检测对象106与设备100的触敏表面104的触摸或悬停交互或触摸交互。分类组件122可以分析触摸表面数据、其他传感器数据和/或元数据，并且可以至少部分地基于对这些数据的分析来生成分析结果。
在一些实施例中，作为对触摸表面数据(例如，触摸屏数据)、其他传感器数据(例如，超声数据、加速度计数据、陀螺仪数据和/或IMU数据、……)和/或元数据的分析的一部分，分类组件122可以从触摸表面数据、其他传感器数据和/或元数据中提取特性信息(例如，关于或指示与触摸或悬停交互相关的特性、特征和/或结构的信息)。例如，分类组件122可以利用期望的算法(例如，与识别关于对象106相对于触敏表面104和相关联的触摸显示屏的触摸或悬停交互的特性或特征相关的机器学习算法)来帮助从触摸表面数据、其他传感器数据和/或元数据中识别和提取特性信息。分类组件122可以利用特性信息来区别或区分对象106(例如，用户的(一根或更多根)手指、用户的耳朵或面部、用户的手掌、用户的另一身体部位、触控笔或另一种类型的对象)与触敏表面104的不同类型的触摸或悬停交互(例如，无意触摸或悬停交互、或有意触摸交互)。
在某些实施例中，作为对传感器数据的分析的一部分，分类组件122可以根据定义的分类标准，利用包括图案识别分析、技术、工具和算法的图案分析，来识别或确定(一个或更多个)对象106与触敏表面104的与触摸或悬停交互相关的图案(例如，与触摸或悬停交互相关的接触或关联(例如，悬停)的图案)，如本文中更全面描述的。例如，作为图案分析的一部分，分类组件122可以将与对象106与触敏表面104的触摸或悬停交互相关的(一个或更多个)图案与用于该触摸或悬停交互的已知图案(诸如用于各种类型的有意触摸交互的已知图案和用于各种类型的无意触摸或悬停交互的已知图案)进行比较，以便于至少部分地基于这种图案分析(例如，图案的比较)的结果，来确定触摸或悬停交互是有意触摸交互还是无意触摸或悬停交互和/或特定类型的触摸或悬停交互(例如，有意的手指触摸、无意的手指触摸、无意的耳朵(或面部)触摸、或无意的手掌触摸、……)。
在对象106与触敏表面104接触之前，或者即使对象106最终没有与触敏表面104接触，检测和/或分类对象106与触敏表面104的交互(诸如悬停交互)、和/或这些交互的其他特性可能是被期望的。这些交互的检测和分类可以使设备100(例如，操作管理组件124(操作管理组件(op.mgmt.comp.)124))能够做出期望的决定并采取与设备100的操作相关的期望动作，设备100包括触敏表面104和显示组件108的显示屏，如本文中更全面描述的。根据各种实施例，设备100可以利用超声组件114来生成超声音频信号，并接收已被触敏表面104附近的对象106反射的反射超声音频信号，以便于检测对象106在触敏表面104附近，确定对象106是否正朝向触敏表面104移动，确定对象106是否正在远离触敏表面104移动，确定对象106是否没有相对于触敏表面104移动，确定对象106与触敏表面104的悬停交互(或即将发生的触摸交互)的分类，和/或与对象106与触敏表面104的悬停交互相关联的其他特性。
例如，超声组件114可以生成音频信号，该音频信号可以包括至少第一频率(例如，第一超声频率)。例如，音频信号可以是超声音频信号。设备100可以包括一个或更多个扬声器，诸如扬声器(spkr)126、128和/或130，扬声器126、128和/或130可以用于从设备100发射音频信号202。扬声器126可以在触敏表面104所在的设备100侧面(例如，正面)上位于触敏表面104的顶部附近。扬声器128和130可以位于设备100的底侧或位于底侧附近。在一些实施例中，超声组件114可以经由一个扬声器(例如，设备100正面上的扬声器126)发射音频信号202。在其他实施例中，超声组件114可以经由多个扬声器(例如，扬声器126、128和/或130)发射音频信号202。
当对象106位于触敏表面104附近和/或相对于触敏表面104移动时，音频信号202可以击中对象106的表面，并且可以产生反射音频信号204，该反射音频信号204可以从对象106的表面反射回设备100。如果对象106相对于触敏表面104移动，则由于多普勒效应导致的频率偏移(例如，多普勒频移)，反射音频信号204可以具有与设备100发射的音频信号202的频率(例如，第一频率)或频率分布不同的频率(例如，较高或较低的频率)或者不同的频率分布。
设备100还可以包括一个或更多个麦克风，诸如麦克风(mic)132、134和/或136，麦克风132、134和/或136可以感测或检测反射音频信号204，其中反射音频信号可以具有至少第二频率。反射音频信号204可以是反射的超声音频信号。通常，如果对象106正朝向或远离触敏表面104移动，反射音频信号204的第二频率可以分别高于或低于音频信号202的第一频率，并且如果对象106没有相对于触敏表面104移动，则第二频率可以与第一频率相同。超声组件114可以经由一个或更多个麦克风(例如，(一个或更多个)麦克风132、134和/或136)接收检测到的反射音频信号204。
应当理解和明白，虽然音频信号202被描述为从扬声器126发射，但是替代地或附加地，音频信号202可以从扬声器128和/或扬声器130发射。还应当理解和明白，虽然反射音频信号204被描述为由麦克风136感测、检测和/或接收，但是替代地或附加地，反射音频信号204(或从对象106反射的另一种反射音频信号)可以由麦克风132和/或麦克风134感测、检测和/或接收。
分类组件122可以从超声组件114接收关于音频信号202和/或反射音频信号204的信息(例如，传感器数据)。分类组件122可以分析音频信号202和/或反射音频信号204，以便于确定对象106相对于触敏表面104的移动状态。例如，分类组件122可以至少部分地基于音频信号202的第一频率和反射音频信号204的第二频率之间的频率偏移，来确定对象106相对于触敏表面104的移动状态。分类组件122可以利用经由分析音频信号202和/或反射音频信号204获得的分析结果(该分析结果包括所确定的对象106相对于触敏表面104的移动状态)，来对对象106与触敏表面104的交互进行分类或帮助对对象106与触敏表面104的交互进行分类。例如，至少部分地基于经由分析音频信号202和/或反射音频信号204获得的分析结果(该分析结果包括所确定的对象106相对于触敏表面104的移动状态)和/或从其他传感器数据(例如，触摸表面数据、加速度计数据、陀螺仪数据或IMU数据)确定的其他分析结果，分类组件122可以对对象106与触敏表面104的交互(例如，悬停交互、即将发生的触摸交互或触摸交互)进行分类。
为了便于增强对象106相对于触敏表面104的移动的检测以及对对象106与触敏表面104的交互(例如，悬停或触摸交互)的分类，超声组件114可以生成包括频率(例如，超声频率)的分布(例如，第一分布)的音频信号202。使用具有多个频率的音频信号可以使分类组件122能够更好地判断对象106相对于触敏表面104的移动或交互，和/或区分对象106相对于触敏表面104的不同类型的移动或不同类型的交互。
例如，超声组件114可以生成包括第一频率分布(例如，第一统计频率分布)的音频信号202。超声组件114可以经由设备100的一个或更多个扬声器(例如，(一个或更多个)扬声器126、128和/或130)发射音频信号202(例如，朝向对象106发射)。如果对象106在触敏表面104附近(例如，在距触敏表面104的限定距离内)，则音频信号202可以从对象106反弹(bounce)或反射，其中反射音频信号204可以包括第二频率分布。通常，关于发射的音频信号202的特定频率(例如，发射的音频信号202的第一频率分布的特定频率)，如果对象106正在朝向或远离触敏表面104移动，反射音频信号204的相应频率(例如，反射音频信号204的第二频率分布的相应频率)可以分别高于或低于音频信号202的特定频率；并且如果对象106没有相对于触敏表面104移动，则相应频率可以与特定频率相同。反射音频信号204的相应频率可以是这样的频率，其对应于音频信号202的具有特定频率的部分从对象106的反射，并且可以是由该反射产生的频率。一个或更多个麦克风(例如，(一个或更多个)麦克风132、134和/或136)可以接收、感测和/或检测包括第二频率分布的反射音频信号204。超声组件114可以经由一个或更多个麦克风(例如，(一个或更多个)麦克风132、134和/或136)接收反射音频信号204。
分类组件122可以分析音频信号202和反射音频信号204，以便于确定对象106相对于触敏表面104的移动状态、和/或对对象106与触敏表面104的交互进行分类。在一些实施例中，分类组件122可以至少部分地基于音频信号202的第一频率分布和反射音频信号204的第二频率分布之间的频率偏移分布，来确定对象106相对于触敏表面104的移动状态。在其他实施例中，分类组件122可以至少部分地基于对音频信号202和/或反射音频信号204的分析结果，来确定对象106与触敏表面104的交互(例如，悬停交互或(即将发生的)触摸交互)的分类。在又一其他实施例中，分类组件122可以至少部分地基于对音频信号202和/或反射音频信号204的分析结果和/或从对其他传感器数据(例如，触摸表面数据、加速度计数据、陀螺仪数据和/或IMU数据)的分析确定的其他分析结果，来确定对象106与触敏表面104的交互(例如，悬停交互或(即将发生的)触摸交互)的分类，该其他传感器数据由分类组件112从传感器组件110的其他传感器接收。
例如，如果音频信号202的第一频率分布和反射音频信号204的第二频率分布之间的频率偏移分布包括较低的频率偏移子集(例如，集中(concentration))(例如，反射音频信号的频率的集中被偏移为低于音频信号的相应频率)，这可以指示对象106正在远离触敏表面104移动，和/或可以指示对象106正在远离触敏表面104的特定位置(例如，远离触敏表面104的顶部、中心部分、底部或触敏表面104上的特定按钮或控件或与触敏表面104相关联的特定按钮或控件)移动，和/或可以指示对象106的类型(例如，用户的(一根或更多根)手指、用户的耳朵和/或面部、用户的手掌或触控笔、……)。
相反，如果音频信号202的第一频率分布和反射音频信号204的第二频率分布之间的频率偏移分布包括较高的频率偏移子集(例如，集中)(例如，反射音频信号204的频率的集中被偏移为高于音频信号202的相应频率)，这可以指示对象106正在移动接近触敏表面104，和/或可以指示对象106正在朝向触敏表面104上的特定位置(例如，触敏表面104的顶部、中心部分、底部、或触敏表面104上的特定按钮或控件或与触敏表面104相关联的特定按钮或控件)移动，和/或可以指示对象106的类型(例如，用户的(一根或更多根)手指、用户的耳朵和/或面部、用户的手掌或触控笔、……)。
例如，音频信号202的频率分布和(例如，从对象106反射的)反射音频信号204的另一频率分布之间的频率偏移的各种(例如，不同)分布可以指示触敏表面上的各个位置(例如，触敏表面104的顶部、中心部分、底部、左侧和/或右侧；和/或触敏表面104上的特定按钮或控件或与触敏表面104相关联的特定按钮或控件)和/或可以指示各种类型的对象(例如，用户的(一根或更多根)手指、用户的耳朵和/或面部、用户的手掌或触控笔、……)，该指示至少部分地基于各种频率偏移分布中的频率偏移的各种类型(例如，频率偏移为更高、频率偏移为更低或其组合)和/或各个集中各自所在位置(例如，频率位置)、和/或各种频率偏移量。例如，音频信号202的频率分布和(例如，从对象106反射的)反射音频信号204的另一频率分布之间的频率偏移的第一分布可以指示用户的手指正在向触敏表面104的中间偏右部分(例如，中间偏右部分中的按钮或控件)移动。分类组件122可以分析超声数据(例如，频率偏移的第一分布、音频信号202的频率分布和/或反射音频信号204的其他频率分布)。至少部分地基于超声数据的这种分析的结果(以及分类组件122的训练)，分类组件122可以将与触敏表面104的交互(例如，悬停(或即将发生的触摸)交互)分类为用户手指与触敏表面104的中间偏右部分(例如，中间偏右部分中的按钮或控件)的悬停(或即将发生的触摸)交互，和/或这些交互是有意的，或者至少可以确定超声数据指示用户的手指与触敏表面104的中间偏右部分的悬停(或即将发生的触摸)交互和/或这些交互是有意的。
作为另一个示例，音频信号202的频率分布和(例如，从对象106反射的)反射音频信号204的另一个频率分布之间的频率偏移的第二分布可以指示用户的耳朵正在朝向触敏表面104的中央顶部(例如，靠近位于中央顶部的通孔中的扬声器126)移动。分类组件122可以分析超声数据(例如，频率偏移的第二分布、音频信号的频率分布和/或反射音频信号的另一频率分布)。至少部分地基于该超声数据的这种分析结果(以及分类组件122的训练)，分类组件122可以将与触敏表面104的交互(例如，悬停(或即将发生的触摸)交互)分类为用户耳朵与触敏表面104的中间偏右部分(例如，靠近位于中央顶部的通孔中的扬声器126)的悬停(或即将发生的触摸)交互，和/或这些交互是无意的(例如，无意的，因为用户不打算按压或操纵与触敏表面104相关联的按钮或控件)，或者至少可以确定超声数据指示用户的耳朵与触敏表面104的中间偏右部分的悬停(或即将发生的触摸)交互和/或这些交互是无意的。
作为又一示例，音频信号202的频率分布和(例如，从对象106反射的)反射音频信号204的另一个频率分布之间的频率偏移的第三分布可以指示用户的两根手指正朝向触敏表面104的中间偏左部分移动(例如，当用户拿起并握住用户手中的设备100时)。分类组件122可以分析超声数据(例如，频率偏移的第三分布、音频信号的频率分布和/或反射音频信号的另一频率分布)。至少部分地基于该超声数据的这种分析结果(以及分类组件122的训练)，分类组件122可以将与触敏表面104的交互(例如，悬停(或即将发生的触摸)交互)分类为用户的两根手指与触敏表面104的中间偏左部分的悬停(或即将发生的触摸)交互，和/或这些交互是无意的，或者至少可以确定超声数据指示用户的两根手指与触敏表面104的中间偏左部分的悬停(或即将发生的触摸)交互和/或这些交互是无意的。
作为再一示例，音频信号202的频率分布和(例如，从对象106反射的)反射音频信号204的另一频率分布之间的频率偏移的第四分布可以指示用户的两根手指正朝向触敏表面104的中心部分移动(例如，当用户打算使用多点触摸手势来执行操作时)。分类组件122可以分析超声数据(例如，频率偏移的第四分布、音频信号202的频率分布和/或反射音频信号204的另一频率分布)。至少部分地基于这些超声数据的这种分析结果(以及分类组件122的训练)，分类组件122可以将与触敏表面104的交互(例如，悬停(或即将发生的触摸)交互)分类为用户的两根手指与触敏表面104的中心部分的悬停(或即将发生的触摸)交互，和/或这些交互是有意的，或者至少可以确定超声数据指示用户的两根手指与触敏表面104的中心部分的悬停(或即将发生的触摸)交互和/或这些交互是有意的。
在一些实施例中，根据定义的分类标准，分类组件122可以至少部分地基于对反射音频信号204的频率分布进行分析的结果，在不必明确地分析发射音频信号202的频率分布和/或发射音频信号202和反射音频信号204之间的频率偏移分布的情况下，确定对象106相对于触敏表面104的移动状态和/或确定对象106与触敏表面104的交互(例如，悬停交互或(即将发生的)触摸交互)的分类。例如，分类组件122可以知道(例如，明确地隐含地知道)发射音频信号202(例如，包括特定频率分布的音频信号)的特性(例如，频率分布、强度水平和/或发射位置、……)，而不必分析发射音频信号202。例如，由设备100发射的音频信号202可以是分类组件122可知的相同或恒定的音频信号，或者分类组件122可以知道或被告知设备100何时发射不同的音频信号(例如，具有不同频率分布的不同音频信号)。分类组件122可以分析反射音频信号204，并且知道(例如，隐含地或明确地知道)音频信号202的频率分布(和/或音频信号202的其他特性)和/或知道(例如，隐含地或明确地知道)发射音频信号202和反射音频信号204之间的频率偏移分布(例如，根据对反射音频信号204的频率分布进行分析的结果)，分类组件122可以至少部分地基于反射音频信号204的分析结果，确定对象106相对于触敏表面104的移动状态和/或确定对象106与触敏表面104的悬停或触摸交互的分类。
附加地或替代地，分类组件122可以被训练为，如本文中更全面描述的，能够至少部分地基于对反射音频信号204的频率分布进行分析的结果，确定发射音频信号202的频率分布和反射音频信号204的频率分布之间的频率偏移分布。也就是说，分类组件122的训练可以使分类组件122能够至少部分地基于分类组件122对反射音频信号204的频率分布进行分析的结果，明确地或隐含地知道或确定发射音频信号202的频率分布和反射音频信号204的频率分布之间的频率偏移分布，和/或对象106相对于触敏表面104的移动状态，和/或对象106与触敏表面104的交互的分类(例如，悬停交互或(即将发生的)触摸交互)。
如所公开的，设备100可以包括一个或更多个麦克风，诸如(一个或更多个)麦克风132、134和/或136，麦克风132、134和/或136可以接收、感测和/或检测已从对象106反射的反射音频信号。在某些实施例中，超声组件114可以经由扬声器(例如，扬声器126)发射音频信号202，并且响应于音频信号202与对象106的交互(例如，反射)来产生反射音频信号，各个麦克风(诸如麦克风132、麦克风134和/或麦克风136)可以感测和/或接收各个反射音频信号。例如，麦克风136可以感测和/或接收包括第一特性的反射音频信号204，并且麦克风132可以接收包括第二特性的另一反射音频信号206。反射音频信号204和206的特性可以涉及例如由麦克风接收的反射音频信号的强度水平、反射音频信号到达麦克风的时间、音频信号202的发射和反射音频信号到达麦克风的时间之间的时间量、和/或反射音频信号的频率或频率分布。超声组件114和/或分类组件122可以分别从麦克风136和132接收与包括第一特性的反射音频信号204和包括第二特性的另一反射音频信号206相关的传感器数据。
分类组件122可以分析与包括第一特性的反射音频信号204和包括第二特性的另一反射音频信号206相关的传感器数据。至少部分地基于对这些传感器数据进行分析的结果，分类组件122可以确定反射音频信号204的第一特性和另一反射音频信号206的第二特性，并且可以确定反射音频信号204和另一反射音频信号206之间的强度水平差异、反射音频信号204和另一反射音频信号206之间的到达时间差异、音频信号202的发射与反射音频信号204的到达时间和另一个反射音频信号206的到达时间之间的时间量的差异、反射音频信号204和另一个反射音频信号206的频率分布的频率差异、和/或第一特性和第二特性的其他特性之间的其他差异。作为分析的一部分，分类组件122还可以知道或确定(例如，通过分析音频信号202知道或确定)音频信号202的特性(例如，音频信号202的强度水平、音频信号202的发射时间和/或音频信号202的频率或频率分布、……)。
至少部分地基于分析结果，分类组件122可以确定对象106相对于触敏表面104的移动状态，对对象106与触敏表面104的悬停或触摸(或即将发生的触摸)交互进行分类，包括确定或分类对象106是什么类型的对象，确定对象106与触敏表面104之间的距离(例如，接近度)，和/或确定对象106在触敏表面104上悬停的位置或对象106被预期将在触敏表面104上进行触摸的位置(和/或与触敏表面104和显示屏相关联的按钮或控件，该显示屏与触敏表面104相关联)。例如，如果反射音频信号204的第一强度水平比另一反射音频信号206的第二强度水平更强或更高，这可以指示对象106距离麦克风136的位置比距离麦克风132的位置更近，并且分类组件122可以确定或推断对象106距离麦克风136的位置比距离麦克风132的位置更近，且因此，对象106可能距离触敏表面104的靠近麦克风136的部分比触敏表面104的靠近麦克风132的另一部分更近。相反，如果反射音频信号204的第二强度水平比另一个反射音频信号206的第二强度水平更弱或更低，这可以指示对象106距离麦克风132的位置比距离麦克风136的位置更近，并且分类组件122可以确定或推断对象106距离麦克风132的位置比距离麦克风136的位置更近，且因此，对象106可能距离触敏表面104的靠近麦克风132的另一部分比触敏表面104的靠近麦克风136的部分更近。
作为另一个示例，至少部分地基于发射音频信号202与反射音频信号204以及另一个反射音频信号206之间的强度水平的差异，分类组件122可以确定、推断或估计对象106与触敏表面104之间的距离。例如，如果反射音频信号204和另一个反射音频信号206各自的强度水平与发射音频信号202的强度水平相比相对较低，这可以指示对象106位于离触敏表面104相对较远的位置，并且分类组件122可以确定或推断对象106位于离触敏表面104相对较远的位置，并且可以至少部分地基于发射音频信号202与反射音频信号204以及另一个反射音频信号206之间的强度水平的差异来确定或估计对象106与触敏表面104之间的距离。此外，如果与发射音频信号202的强度水平相比，反射音频信号204和/或另一个反射音频信号206各自的强度水平相对较高(例如，与发射音频信号202的强度水平相对接近一样强或一样高)，这可以指示对象106位于相对靠近触敏表面104的位置，并且分类组件122可以确定或推断对象106位于相对靠近触敏表面104的位置，并且可以至少部分地基于发射音频信号202与反射音频信号204以及另一个反射音频信号206之间的强度水平的差异来确定或估计对象106与触敏表面104之间的距离。
注意，虽然反射音频信号206的强度水平可以指示对象106相对于触敏表面104的位置，并且指示对象106离触摸显示屏104的距离，但是一个或更多个其他因素可以影响强度水平，并且分类组件122可以在分析反射音频信号204、另一个反射音频信号206和/或发射音频信号202期间考虑这些因素。例如，通常关于反射音频信号的强度水平，随着对象和传感器(例如，麦克风)(以及相关联的触敏表面)之间的距离减小，反射音频信号的强度可能增加，相反，随着对象和传感器(以及相关联的触敏表面)之间的距离增加，反射音频信号的强度可能减小。然而，由于其他因素，诸如，例如干扰或可能影响反射音频信号(包括其强度水平)的其他效应，可能存在强度水平相对于对象距触敏表面的距离的变化可能不均匀的情况和/或当对象更靠近触敏表面时反射音频信号的强度水平可能较低而当对象更远离触敏表面时反射音频信号的强度水平可能较高的情况。在确定对象106相对于触敏表面104的位置以及确定对象106离触摸显示屏104的距离时，分类组件122可以考虑这些其他因素。例如，分类组件122可以对其他传感器数据(例如，加速度计数据、陀螺仪数据、IMU数据和/或振声数据(vibro-acoustic data)、……)执行分析，以便于确定对象106相对于触敏表面104的位置，确定对象106距触敏表面104的距离，和/或验证超声数据(例如，(一个或更多个)反射音频信号和/或发射音频信号)的关于对象106相对于触敏表面104的位置和/或距离的分析结果是否如所期望的准确无误。作为另一个示例，分类组件122可以被训练(例如，使用机器学习技术和算法训练)，以在至少部分地基于反射音频信号204、另一个反射音频信号206和/或发射音频信号202来确定对象106相对于触敏表面104的位置和/或确定对象106距触敏表面104的距离时，考虑这些其他因素(例如，干扰或其他效应)。
作为又一示例，至少部分地基于反射音频信号204到达麦克风136的第一时间和另一个反射音频信号206到达麦克风132的第二时间的差异，分类组件122可以对对象106与触敏表面104的悬停或触摸(或即将发生的触摸)交互进行分类，包括确定或分类对象106是什么类型的对象，确定对象106与触敏表面104之间的距离(例如，接近度)，和/或确定对象106在触敏表面104上悬停的位置或对象106被预期将在触敏表面104上进行触摸的位置(和/或与触敏表面104和显示屏相关联的按钮或控件，该显示屏与触敏表面104相关联)。
例如，如果反射音频信号204到达麦克风136的第一时间早于另一个反射音频信号206到达麦克风132的第二时间，这可能指示对象106距离麦克风136的位置比距离麦克风132的位置更近，并且分类组件122可以确定或推断对象106距离麦克风136的位置比距离麦克风132的位置更近，且因此，对象106可能距离触敏表面104的靠近麦克风136的部分比触敏表面104的靠近麦克风132的另一部分更近。相反，如果反射音频信号204到达麦克风136的第一时间晚于另一个反射音频信号206到达麦克风132的第二时间，这可能指示对象106距离麦克风132的位置比距离麦克风136的位置更近，并且分类组件122可以确定或推断对象106距离麦克风132的位置比距离麦克风136的位置更近，且因此，对象106可能距离触敏表面104的靠近麦克风132的另一部分比触敏表面104的靠近麦克风136的部分更近。
在一些实施例中，采用分类组件122的设备100可以融合多种(例如，两种或更多种)对象感测技术(例如，超声技术、触摸传感器技术、加速度计技术、陀螺仪技术和/或IMU技术)的使用，以增强对象106的检测、对象106的识别以及对对象106与触敏表面104的触摸或悬停交互的分类。例如，分类组件122可以从超声组件114接收超声数据，从表面相关传感器112接收触摸表面数据，从加速度计组件116接收加速度计数据，从陀螺仪组件118接收陀螺仪数据，和/或从IMU120接收IMU数据。采用一个或更多个分类引擎的分类组件122可以分析超声数据、触摸表面数据、加速度计数据、陀螺仪数据和/或IMU数据。至少部分地基于这些分析，分类组件122可以从各种类型的传感器数据(例如，超声数据、触摸表面数据、加速度计数据、陀螺仪数据和/或IMU数据)中提取与触摸或悬停交互相关的各种特性信息(例如，关于或指示特性、特征和/或结构的信息)。例如，分类组件122可以分析每种类型的传感器数据，并且对于每种类型的传感器数据，可以从该特定的传感器数据中提取与触摸或悬停交互相关的特性信息。在其他实施例中，至少部分地基于该分析，分类组件122可以从传感器数据中将与触摸或悬停交互相关的特性信息作为整体来提取(例如，将经组合的传感器数据分析和从传感器数据中提取的特性信息作为整体)。特性信息可以包括，例如，分别关于时域或频域的特征、形状、尺寸、谱质心、谱密度、球谐函数、总平均谱能量、对数谱带比和/或与对象106与触敏表面104的接触或悬停相关的其他特征。
分类组件122可以利用(例如，分析)特性信息来区别或区分对象106(例如，用户的(一根或更多根)手指、耳朵或面部、手掌或其他身体部位；触控笔；或另一种类型的对象)与触敏表面104的不同类型的触摸或悬停交互(例如，无意触摸或悬停交互或有意触摸交互)。在某些实施例中，分类组件122可以至少部分地基于(例如，根据)从超声数据、触摸表面数据和/或其他传感器数据中提取的各种特性信息，生成同对象106与触敏表面104的触摸或悬停交互相关的各种特性信息的(例如，对应于各种特性信息的)表示性图像(例如，帧图像)。表示性图像可以是或包括关于(例如，表示或对应于)对象106与触敏表面104的触摸或悬停交互的图案。
分类组件122可以分析表示性图像，以便根据定义的分类标准对对象106与触敏表面104的触摸或悬停交互进行分类。在一些实施例中，分类组件122可以评估表示性图像的特性(例如，特征)或将该表示性图像的特性与各种已知特性进行比较，这些已知特性可以分别指示触摸或悬停交互是有意的还是无意的和/或对象106是用户的(一根或更多根)手指、用户的耳朵、用户的面部、用户的手掌、触控笔还是其他对象，和/或可以提供便于对触摸或悬停交互进行分类的一个或更多个其他指示。例如，作为分析的一部分，采用一个或更多个分类引擎(例如，一个或更多个经训练的分类引擎)的分类组件122可以执行图案分析，以将同对象106与触敏表面104的触摸或悬停交互相关的表示性图像的(一个或更多个)图案与用于触摸或悬停交互的已知图案进行比较，该已知图案诸如是，例如，用于各种类型的有意触摸交互的已知图案和用于各种类型的无意触摸或悬停交互的已知图案。至少部分地基于这些图案分析的结果，分类组件122可以确定触摸或悬停交互是有意触摸交互还是无意触摸或悬停交互和/或特定类型的触摸或悬停交互(例如，有意手指触摸、无意手指触摸、无意耳朵触摸或无意手掌触摸、……)。
根据各种实施例，如本文中所述，分类组件122可以包括一个或更多个分类引擎，该分类引擎可以分析传感器数据并确定触摸或悬停交互的分类。例如，分类组件122可以包括：第一分类引擎，该第一分类引擎可以分析与触摸或悬停交互(或另一种触摸或悬停交互)相关的一种或更多种类型的传感器数据(例如，触摸表面数据、超声数据、加速度计数据和/或其他传感器数据)，并且至少部分地基于对这些传感器数据进行分析的结果来确定触摸或悬停交互的第一分类；第二分类引擎，该第二分类引擎可以分析与触摸或悬停交互相关的一种或更多种其他类型的传感器数据(例如，陀螺仪数据和/或其他传感器数据)，并且至少部分地基于对这些其他类型的传感器数据进行分析的结果来确定触摸或悬停交互的第二分类(或者触摸或悬停交互的另一种分类)；和/或第三分类引擎，该第三分类引擎可以分析与触摸或悬停交互(或另一种触摸或悬停交互)相关的一种或更多种其他类型的传感器数据(例如，振声数据和/或其他传感器数据)，并且至少部分地基于对这些其他传感器数据进行分析的结果来确定触摸或悬停交互的第三分类(或触摸或悬停交互的另一种分类)。分类组件122的分类引擎之一可以从各个分类引擎接收触摸或悬停交互的各种分类，可以分析各种分类，并且可以根据定义的分类标准至少部分地基于对各种分类进行分析的结果来确定触摸或悬停交互的分类。使用多个分类引擎来对触摸或悬停交互进行分类可以增强(例如，提高)对与触敏表面104接触或关联(例如，悬停)的对象106的触摸或悬停交互进行分类的准确性。在某些实施例中，各个分类引擎可以并行(例如，同时)操作来处理(例如，分析)各种类型的传感器数据，以确定触摸或悬停交互的各种分类。
应当理解和明白，根据各种实施例，本公开的主题可以根据需要部署分类引擎，以有助于提高关于对象106相对于触敏表面104的触摸或悬停交互的分类的准确性，和/或有助于提高执行关于对象106相对于触敏表面104的触摸或悬停交互的分类的速度。在一些实施例中，可以利用一个以上的分类引擎来分析来自同一传感器(例如，超声组件114的超声传感器)的相同类型的数据(例如，超声数据)。在其他实施例中，来自第一数量的传感器的第一数量(例如，五种)类型的传感器数据可以由第二数量的(例如，三个)分类引擎来处理，以便于对与对象106相对于触敏表面104相关的触摸或悬停交互进行分类，其中来自各个传感器的各种传感器数据可以根据需要分发到各个分类引擎中进行处理。
进一步关于设备100的操作管理组件124，操作管理组件124可以与分类组件122、触摸感测组件102、传感器组件110、显示组件108的显示屏和/或设备100的其他组件相关联(例如，通信连接到这些组件)。如本文中更全面描述的，操作管理组件124可以至少部分地基于(例如，响应于)(一个或更多个)对象106与设备100的(一个或更多个)触摸或悬停交互的(一个或更多个)分类来控制与触敏表面104、显示屏、处理器(例如，应用处理器)和/或设备100的其他组件相关联的功能，其中这些功能可以包括：例如，启用触敏表面104和相关联的显示屏的触敏功能和/或设备100的另一功能，禁用触敏表面104和相关联的显示屏的触敏功能和/或设备100的另一功能，将触敏表面104切换(例如，转换)到解锁状态(或者将触敏表面104保持在解锁状态)，将触敏表面104切换到锁定状态(或者将触敏表面104保持在锁定状态)，将设备100的显示屏(例如，触摸显示屏)切换到开启状态(或者将显示屏保持在开启状态)，和/或将显示屏切换到关闭状态(或者将显示屏保持在关闭状态)，处理和/或允许有意的触摸交互，使与有意触摸交互相关联的(一个或更多个)操作能够由设备100(例如，由与设备100相关联的触摸显示屏、控件、按钮和/或应用、……)执行，拒绝无意触摸或悬停交互，和/或防止与无意触摸或悬停交互相关联的不希望的(一个或更多个)操作由设备100(例如，由触摸显示屏、控件、按钮和/或应用、……)执行。
例如，响应于确定与触敏表面104相关联的触摸交互是无意触摸交互，操作管理组件124可以禁用触敏表面104的触敏功能，以便于拒绝无意触摸或悬停交互，以使得触敏表面104的无意触摸不能引发或选择触敏表面104的触敏功能(例如，防止选择如在显示屏上呈现的与触敏表面104相关联的按钮或控件)和/或可以控制显示屏(例如，触摸显示屏)的操作，以使显示屏转换到或保持在关闭状态(例如，暗的显示屏)。作为另一示例，响应于确定与触敏表面104相关联的触摸交互是有意触摸交互(例如，有意触摸事件)，操作管理组件124可以启用触敏表面104的(一个或更多个)触敏功能以允许用户的(一根或更多根)手指引发或选择触敏表面104的(一个或更多个)触敏功能(例如，使得能够选择如在显示屏上呈现的与触敏表面104相关联的按钮或控件)和/或可以控制显示屏的操作以使显示屏转换到或保持在开启状态(例如，点亮的显示屏)。
作为又一示例，如本文所述，响应于确定与触敏表面104相关联的第一触摸或悬停交互是无意触摸或悬停交互并且与触敏表面104相关联的第二触摸交互是有意触摸交互(例如，对于同时或基本上同时的触摸或悬停交互)，操作管理组件124可以通过分别控制触敏表面104、显示屏和/或设备100其他组件的操作来将第一触摸或悬停交互作为无意触摸或悬停交互来拒绝，并且将第二触摸交互作为有意触摸交互来允许和处理。例如，操作管理组件124可以控制触敏设备100的操作，以防止设备100执行与无意触摸或悬停交互相关联的某些操作，并允许和促进设备100执行与有意触摸交互相关联的其他操作。
设备100通过采用分类组件122和超声组件114，和/或通过融合多种(例如，两种或更多种)对象感测技术(例如，超声技术、触摸传感器技术、加速度计技术、陀螺仪技术和/或IMU技术)的使用，可以增强对象106的检测、对象106的识别以及对象106与触敏表面104的触摸或悬停交互的分类。此外，通过采用分类组件122和超声组件114，和/或通过融合多种(例如，两种或更多种)对象感测技术的使用，设备100可以替代用于感测触敏表面附近的对象的红外接近传感器的功能。也就是说，设备100可以提供与检测触敏表面104附近的对象106以及对象106与触敏表面104的触摸或悬停交互的分类相关的增强功能，而不必具有或使用红外接近传感器。结果，设备100上原本会被红外接近传感器占据的空间(例如，在设备100的正面或显示屏上的空间或与设备100的正面或显示屏相关联的空间)可以用于其他期望的目的，诸如，例如，增加设备100的显示屏的屏幕尺寸(例如，增加或增大显示屏的屏幕尺寸相对于触敏设备100的尺寸的比例)。此外，设备100的原本用于红外接近传感器的资源可以被用于其他期望的目的。
本公开的主题除了拒绝不期望的(例如，无意的)触摸或悬停交互、防止设备100响应于不期望的触摸或悬停交互而执行不期望的操作以及避免必须使用红外接近传感器之外，设备100通过采用分类组件122、超声组件114、操作管理组件124和设备100的其他组件，可以减少或最小化设备100资源的不期望使用，包括设备100的电池(未示出)的不期望的电量消耗以及设备100的处理和其他操作执行资源的不期望的使用。结果，从短期来看，与传统设备(例如，具有触摸显示屏或触摸板的传统设备)相比，本公开的主题可以节省电池电量并提高(例如，增加或保持)设备100上的可用电池电量并可以使得设备100的处理资源和其他资源可用于其他期望的用途，因为资源没有被不期望地转移以响应于不期望的触摸或悬停交互来执行不期望的操作。从长远来看，与传统设备相比，本公开的主题可以提高或延长设备100电池的电池寿命。
进一步关于触敏表面104，参考图3(与图1和图2一起)，图3描绘了根据本公开主题的各个方面和实施例的，包括触敏表面104的示例触敏设备100的俯视图以及网格形式的表面相关传感器112的说明性视图的图示。触敏表面104可以包括表面相关传感器112或与表面相关传感器112相关联。在一些实施例中，表面相关传感器112可以分布在与触敏表面104相关联的各个位置处，以形成传感器阵列302，其中各个表面相关传感器112可以与触敏表面104的各个部分相关联。例如，表面相关传感器112可以分布在与触敏表面104相关联的各个位置处，以形成网格(例如，x，y网格)。应当理解和明白，这种网格结构仅仅是一种示例结构，该结构可以用于将传感器阵列302的表面相关传感器112分布在与触敏表面104相关联的各个位置处，并且根据本公开主题的其他实施例，表面相关传感器112可以相对于触敏表面104分布在其他结构(例如，均匀或非均匀结构)中。
在一些实施例中，当(一个或更多个)对象106与触敏表面104上的(一个或更多个)位置接触或足够接近时，传感器阵列302的与触敏表面104上的该位置相关联的一个或更多个表面相关传感器112可以感测(一个或更多个)对象106与触敏表面104上的该(一个或更多个)位置的这种接触或感测(一个或更多个)对象106与触敏表面104上的该(一个或更多个)位置的这种接近。在其他实施例中，传感器阵列302的表面相关传感器112可以被配置为感测(一个或更多个)对象106与触敏表面104的接触，而其他传感器被用来感测(一个或更多个)对象106在触敏表面104附近的悬停。响应于一个或更多个表面相关传感器112感测或检测到(一个或更多个)对象106与触敏表面104上的该(一个或更多个)位置接触或接近，一个或更多个表面相关传感器112可以生成信号(例如，传感器数据)并且可以将信号传送到分类组件122用于分析和评估(例如，以便于确定哪个表面相关传感器112与(一个或更多个)对象106接触或接近(一个或更多个)对象106)。
在一些实施方式中，触摸感测组件102或分类组件122可以扫描传感器阵列302的表面相关传感器112，或者可以以其他方式轮询传感器阵列302的表面相关传感器112，以便于从传感器阵列302的各个表面相关传感器112获得各种传感器数据(例如，各种触摸表面数据)，以便于使分类组件122能够确定触敏表面104的哪个(或哪些)部分在给定的时间(例如，给定的时刻或一段时间)接触或接近(一个或更多个)对象106。例如，触摸感测组件102或分类组件122可以扫描传感器阵列302的表面相关传感器112，或者可以每1/15秒、1/30秒、每1/60秒、每1/100秒或以另一期望的速率或周期轮询传感器阵列302的表面相关传感器112。分类组件122(或触摸感测组件102)可以处理和/或组织(例如，排列)从传感器阵列302的表面相关传感器112获得的传感器数据，以生成x、y维数据形式的帧数据，该帧数据可以表示(例如，对应于)(一个或更多个)对象106在给定时间与各个表面相关传感器112的各种触摸(或悬停)交互，其中与各个表面相关传感器112相关联的各种帧数据可以是或者可以包括各个表面相关传感器112的各种传感器数据，或者可以至少部分地基于各种传感器数据来确定的各种帧数据。
进一步关于传感器组件110的其他传感器(例如，超声组件114、加速度计组件116、陀螺仪组件118和/或IMU 120)，在一些实施例中，传感器组件110的其他传感器可以包括一个或更多个运动相关传感器，该运动相关传感器可以用于检测对象106相对于触敏表面104的移动、设备100围绕或沿着一个或更多个轴(例如，x轴、y轴和/或z轴)的运动、和/或对象106或设备100的其他运动相关特性以及设备100的定向，并且可以生成传感器数据(例如，超声数据、加速度计数据或其他运动相关传感器数据)，该传感器数据可以对应于由一个或更多个运动相关传感器检测到的对象106的移动、设备100的运动、对象106或设备100的其他运动相关特性和/或设备100的定向。例如，多轴(例如，两轴或三轴)运动相关传感器可以生成与触敏设备沿着第一轴(例如，x轴)的运动相关的第一运动数据、与触敏设备沿着第二轴(例如，y轴)的运动相关的第二运动数据、和/或与触敏设备沿着第三轴(例如，z轴)的运动相关的第三运动数据。
运动相关传感器，诸如加速度计、陀螺仪、IMU和/或其他类型的运动相关传感器，可以是单轴运动相关传感器或多轴(例如，两轴或三轴)运动相关传感器。一个或更多个运动相关传感器可以以期望的感测速率(例如，秒或亚秒速率)监控和感测设备100的运动。例如，运动相关传感器可以每1/15秒、1/30秒、每1/60秒、每1/100秒或以另一期望的感测速率来监控和感测对象106的移动、设备100沿着一个或更多个轴的运动、对象106或设备100的其他运动相关特性和/或设备100的定向。在某些实施例中，运动相关传感器可以包括一个或更多个振声传感器，该振声传感器可以检测和/或测量设备100的移动或振动。一个或更多个振声传感器可以至少部分地基于设备100被检测或测量到的移动或振动来生成包括振声数据的运动数据，并且可以将这些运动数据提供给分类组件122用于分析。
在一些实施例中，当运动相关传感器生成运动数据时，该运动数据可以在期望的时间量内存储在缓存组件138(缓存组件(buffer comp.)138)(例如，缓冲存储器)中。例如，缓存组件138可以存储能够覆盖定义时间段(例如，最后一秒、最后两秒、最后三秒或另一期望时间段)的运动数据(和/或触摸表面数据)。作为示例，响应于确定设备100处于调用状态或活动状态(例如，触敏表面104处于活动状态)，分类组件122(或设备100的另一组件，诸如处理器)可以使缓存组件138存储运动数据、触摸表面数据(例如，从表面相关传感器112获得的)或其他期望的数据(例如，定向数据)，以便于分类组件122对这些数据的分析。
如本文所述，在一些实施例中，作为对触摸表面数据、超声数据或其他传感器数据的分析的一部分，分类组件122可以从触摸表面数据、超声数据或其他传感器数据中识别和提取同(一个或更多个)对象106与触敏表面104的接触或关联(例如，悬停)相关的特性信息(例如，特征、形状、尺寸、谱质心和/或谱密度、……)。分类组件122可以利用特性信息(例如，提取的特征)来生成(一个或更多个)对象106与触敏表面104的接触或关联的包括帧数据的帧图像。在其他实施例中，分类组件122可以分析触摸表面数据，而无需从触摸表面数据、超声数据或其他传感器数据中提取同(一个或更多个)对象106与触敏表面104的接触或关联(例如，悬停)相关的特性信息。
帧数据可以在概念上理解为提供图像或帧图像，该图像或帧图像可以具有表示触敏表面104的与(一个或更多个)对象106接触(或接近)的区域的较高密度部分和表示触敏表面104的不与(一个或更多个)对象接触(或接近)的区域的其他较低密度部分。简要地转向图4(与图1、图2和图3一起)，图4呈现了根据本公开主题的各个方面和实施例的，作为示例触敏设备100的俯视图的视觉表示450的一部分的示例帧图像400的图示，该帧图像400包括或表示与触敏表面104相关联的帧数据。关于示例帧图像400，传感器阵列302的表面相关传感器112没有检测到与表面相关传感器112接触或接近的对象106，并且相应地生成了指示没有对象被检测到与表面相关传感器112接触或接近的信号(例如，传感器数据)。在该示例帧图像400中，由于没有对象被检测到与触敏表面104接触或接近，帧图像400可以具有图4所示的外观，其中在帧图像400中没有显示较高密度的部分(例如，没有较暗颜色的区域)。
然而，当对象(例如，对象106)与触敏表面104接触或接近时，传感器阵列302中位于触敏表面104的与对象接触或接近的(一个或更多个)部分中的一部分表面相关传感器112可以检测到这些对象，并且可以作为响应生成表示这种检测的传感器数据。这部分表面相关传感器112可以传送传感器数据，以报告对象接触或接近与这部分表面相关传感器112相关联的(一个或更多个)触敏表面104部分，并且在表示这种接触状态的帧图像中可以出现对比图案。
关于图5和图6，分类组件122可以从某些表面相关传感器112接收传感器数据(例如，触摸表面数据)。触敏表面104可以包括传感器阵列302或者与传感器阵列302相关联，传感器阵列302可以包括表面相关传感器112，表面相关传感器112可以包括特定表面相关传感器112，诸如，例如可以感测与触敏表面104相关联的电容水平的电容传感器。在其他实施例中，表面相关传感器112可以包括光学或电阻传感器，光学或电阻传感器可以感测光学水平或电阻水平。特定表面相关传感器112和/或其他传感器(例如，超声组件114的传感器)可以感测无接触、与触敏表面104接触的相对强度状态和/或在不触摸触敏表面的情况下对象106(例如，用户的(一根或更多根)手指、耳朵或面部)与触敏表面104的相对接近度。例如，在一些实施方式中，表面相关传感器112的传感器阵列302能够检测或确定对象106与触敏表面104的接触强度水平，其中接触强度水平可以涉及例如对象106在触敏表面104上施加的压力量、在对象与触敏表面104的接触点处经历的电阻强度、在对象106与触敏表面104的接触点处经历的电容强度、和/或与对象106与传感器阵列302的一个或更多个表面相关传感器112的接触相关的另一种(或多种)类型的强度。作为感测的结果，特定表面相关传感器112(和/或其他传感器)可以生成传感器数据，诸如电容数据(例如，互电容数据)，电容数据可以对应于与触敏表面104的各个部分相关联的各种电容量，并且可以指示对象106(例如，用户的(一根或更多根)手指、耳朵或面部)与触敏表面104的各种接触水平(例如，无接触或各种接触强度状态)或者对象106或其部分相对于触敏表面104的各种接近度。
在一些实施例中，触敏设备100还可以包括传感器组件110的其他传感器，其中其他传感器可以包括例如超声组件114、加速度计组件116、陀螺仪组件118、IMU120和/或另一种类型的传感器。分类组件122可以接收其他传感器数据，诸如，例如来自超声组件114的超声数据、来自加速度计组件116的加速度计数据、来自陀螺仪组件118的陀螺仪数据、来自IMU120的IMU数据、和/或来自一个或更多个其他类型传感器的其他类型的传感器数据。
至少部分地基于对来自特定表面相关传感器112的各个表面相关传感器的各种传感器数据(例如，互电容数据)和/或其他传感器数据进行分析的结果，分类组件122可以生成包括一个或更多个灰度着色区域的帧图像，该灰度着色区域可以呈现灰度信息(例如，对应于帧图像的各个较高密度部分)，该灰度信息示出用户的(一个或更多个)对象106或与用户相关联的(一个或更多个)对象106(例如，(一根或更多根)手指、面部、耳朵、手掌或触控笔、……)与触敏表面104的各个部分的各种接触强度和/或(一个或更多个)对象106的各个部分与触敏表面104的各种接近度。
分类组件122可以至少部分地基于对传感器数据和/或其他传感器数据(例如，原始传感器数据和/或其他原始传感器数据)进行分析和/或对由传感器数据和/或其他传感器数据生成的帧图像进行分析的结果，确定或识别(一个或更多个)对象106与触敏表面104的(一个或更多个)触摸或悬停交互的类型，并且可以进一步确定该(一个或更多个)触摸或悬停交互是有意触摸交互还是无意触摸或悬停交互。至少部分地基于(一个或更多个)触摸交互的分类是有意触摸交互或者(一个或更多个)交互的分类是无意触摸或悬停交互，和/或触敏表面104上的(一个或更多个)触摸或悬停交互的类型，相应地，操作管理组件124响应于确定触摸交互是有意触摸交互，可以控制触敏设备100的操作来执行可以对应于触敏表面104上的触摸的操作(例如，选择按钮、控件或应用、……)，或者响应于确定特定触摸或悬停交互是无意触摸或悬停交互，拒绝(一个或更多个)触摸或悬停交互并且不执行特定操作和/或禁用触敏表面104和/或关闭触敏表面104或设备100的相关联的显示屏。
进一步参考图5(与图1、图2和图3一起)，图5示出了根据本公开主题的各个方面和实施例的，作为触敏设备100的俯视图的视觉表示550的一部分的示例帧图像500的图示，其中示例帧图像500可以包括或表示帧数据，该帧数据可以在一个时间段内被确定，在该时间段内，用于帧的传感器数据由触摸感测组件102和相关联的传感器组件110结合在用户的耳朵附近具有设备100的用户来采集。在该时间段期间，表面相关传感器112可以分别感测没有对象接触、对象与触敏表面104的接触强度的相对状态(例如，用户的(一根或更多根)手指、耳朵、面部或手掌相对于触敏表面104悬停)、和/或对象在不接触触敏表面的情况下与触敏表面104的相对接近度，并且因此，可以至少部分地基于各个表面相关传感器112各自的感测来生成传感器数据(例如，电容数据)。传感器数据(例如，电容数据)可以对应于与触敏表面104的各个部分相关联的各种触摸相关水平(例如，各种电容量)，并且可以指示(一个或更多个)对象与触敏表面104的各种接触水平(例如，无接触或各种接触强度状态)或者对象或其部分与触敏表面104的各种接近度。
分类组件122(例如，(一个或更多个)分类引擎)可以从表面相关传感器112接收传感器数据。在一些实施例中并且在特定情况下(如本文中更全面描述的)，分类引擎还可以从传感器组件110的其他传感器(例如，超声组件114、加速度计组件116、陀螺仪组件118、IMU 120和/或另一种类型的传感器)接收其他传感器数据(例如，超声数据、加速度计数据、陀螺仪数据和/或IMU数据)。至少部分地基于对来自表面相关传感器112的各个表面相关传感器的各自的传感器数据和/或来自其他传感器的其他传感器数据的结果，分类组件122可以生成帧图像500，该帧图像500可以包括交互图案502(例如，特定灰度着色区域)、交互图案504和交互图案506。关于图5的帧图像500，用户的耳朵与触敏表面104的耳朵交互可以产生交互图案502，用户的脸颊与触敏表面104的脸颊交互可以提供相对均匀的交互图案504，该交互图案504可以具有卵形形状并且可以对应于该脸颊交互，并且用户的头发或头部的头发或头部交互可以产生交互图案506，交互图案506可以具有一定的均匀性，但是由于用户的头发与触敏表面104的接触，交互图案506可能会被细长条纹508的存在影响。
分类组件122可以根据定义的分类标准，至少部分地基于对传感器数据(例如，触摸表面数据)和/或其他传感器数据(例如，超声数据、加速度计数据、陀螺仪数据和/或IMU数据)进行分析，和/或对从传感器数据和/或其他传感器数据生成的帧图像500进行分析的结果，以及分类组件122(例如，分类组件122的分类引擎)的训练，确定或识别触摸或悬停交互包括用户与触敏表面104的各个区域的耳朵交互、脸颊交互以及头发或头部交互，并且可以进一步确定(例如，分类)这些触摸或悬停交互是无意的触摸或悬停交互。应当理解，交互图案502、504和506中的每一个都可以提供统一或单独查看的签名，该签名能够被分类(例如，通过分类组件122分类)或者能够被使用(例如，由分类组件122使用)来证实与触敏表面104的(一个或更多个)悬停或触摸交互的分类。
还应该理解和明白，这可以有许多不同的变化。例如，用户可以佩戴环绕耳朵后部的眼镜，并且因此眼镜可以以这样的方式被耳朵支撑，即当触敏设备100(例如，电话)被握持贴靠在用户的耳朵上时，可能可以调整由触敏表面104的传感器(例如，表面相关传感器112和/或超声组件114、……)或者与触敏表面104相关联的传感器感测的接触图案。类似地，用户可以佩戴至少潜在地可以(例如，通过表面相关传感器112和/或超声组件114、……)被感测到的头饰、或者可以(例如，通过表面相关传感器112和/或超声组件114、……)被感测到的穿刺饰品(piercings)和/或珠宝，并且可以创建与触敏表面104的特定触摸(例如，接触)或悬停的图案，其中，这些触摸或悬停交互可以、或者至少有可能、特别有助于(例如，通过分类组件122)确定用户的头部何时抵靠在触敏设备100的触敏表面104上。
响应于(一个或更多个)触摸或悬停交互被分类组件122分类为无意的，操作管理组件124可以从分类组件122接收关于(一个或更多个)无意触摸或悬停交互的消息，并且可以采取适当的动作。例如，操作管理组件124可以拒绝无意触摸或悬停交互，防止设备100响应于无意触摸或悬停交互而执行操作，禁用与触敏表面104和显示组件108的相关显示屏相关联的触摸相关功能，将显示屏从开启状态转换到(或保持在)关闭状态，将触敏表面104从解锁状态转换到(或保持在)锁定状态，和/或将设备100的组件(例如，处理器，诸如应用处理器)从活动状态转换到(或保持在)非活动状态(例如，睡眠模式)。
简要参考图6(与图1、图2和图3一起)，图6示出了根据本公开主题的各个方面和实施例的示例帧图像600的图示，示例帧图像600可以在传感器阵列302的特定表面相关传感器112检测到用户手指与触敏表面104的特定部分(例如，中心部分)的接触(例如，相对接触强度)时，至少部分地基于传感器数据来生成。帧图像600可以表示在用户的手指与触敏表面104的特定部分(例如，中心部分)相接触期间的某个时间处，与触敏表面104相关联的帧。传感器组件110的各个特定表面相关传感器112和/或其他传感器(例如，超声组件114、加速度计组件116、陀螺仪组件118、IMU 120和/或另一种类型的传感器)可以分别感测没有对象与触敏表面104接触、对象(例如，用户的(一根或更多根)手指)与触敏表面104的接触强度的相对状态和/或对象在未触摸到触敏表面104的情况下与触敏表面104的相对接近度，并且因此可以至少部分地基于传感器组件110的各个表面相关传感器112和/或其它传感器各自的感测来生成传感器数据(例如，诸如电容数据、超声数据、加速度计数据、陀螺仪数据和/或IMU数据的触摸表面数据)。
分类组件122可以接收来自特定表面相关传感器112的传感器数据和/或来自传感器组件110的其他传感器的其他传感器数据。至少部分地基于对来自特定表面相关传感器112中各个表面相关传感器各自的传感器数据和/或来自其它传感器的其它传感器数据进行分析的结果，分类组件122可以生成包括灰度着色区域602的帧图像600，该灰度着色区域602可以呈现灰度信息(例如，对应于帧图像600的各个较高密度部分)，该灰度信息描绘了用户手指的各个部分与触敏表面104各个部分的各自的接触强度和/或用户手指的各个部分与触敏表面104的各自的接近度。例如，灰度着色区域602可以指示与手指(例如，指尖、指节或手指的其他部分)相对应(例如，形状为手指)的对象与触敏表面104的可能对应于帧图像600中描绘的灰度着色区域602的位置的部分(例如，中心或近似中心部分)接触。分类组件122可以至少部分地基于对传感器数据和/或其他传感器数据(例如，原始传感器数据和/或其他原始传感器数据)进行分析和/或对从传感器数据和/或其他传感器数据生成的帧图像600进行分析的结果，确定或识别触摸事件是用户在触敏表面104的该部分(例如，中心部分)上的手指触摸，并且可以进一步确定该手指触摸是有意触摸交互(例如，有意的触摸事件)。
至少部分地基于触摸交互的分类是有意触摸交互并且是对触敏表面104的可能对应于灰度着色区域602的位置的部分(例如，中心或近似中心部分)的手指触摸，操作管理组件124可以控制触敏设备100的操作以执行可以对应于触敏表面104的这种触摸的操作(例如，选择按钮、控件或应用、……)。
进一步关于图1和对象106与触敏表面104的触摸或悬停交互的分类，根据各种实施例，分类组件122可以根据定义的分类标准，至少部分地基于一种或更多种类型的传感器数据(例如，超声数据和/或触摸表面数据)的分析结果，执行对对象106与触敏表面104的触摸或悬停交互的初始分类。根据需要(例如，当根据所定义的分类标准时)，分类组件122还可以执行对其他传感器数据(例如，超声数据、加速度计数据、陀螺仪数据、IMU数据和/或其他类型的传感器数据)的附加分析，以便于验证或确认触摸或悬停交互的初始分类(例如，对触摸或悬停交互进行最终或更新的分类)。
例如，如果至少部分地基于触摸表面数据，对象106与触敏表面104的触摸或悬停交互的初始分类是用户对触敏表面104的有意手指触摸，并且如果对其他传感器数据的分析指示存在用户对触敏表面104的有意手指触摸，分类组件122可以确定对其他传感器数据的分析确认了触摸交互的初始分类，并且可以确定(例如，做出最终确定)与对象106与触敏表面104的触摸交互相关联的分类是对触敏表面104的有意手指触摸。然而，如果至少部分地基于触摸表面数据的触摸或悬停交互的初始分类是存在与触敏表面104的接触，并且这种接触是用户的手掌和手指与触敏表面104的无意触摸，并且如果对其他传感器数据的分析指示用户的手指与触敏表面104接触，并且这种接触是用户的手指对触敏表面104的有意触摸，则分类组件122可以确定其他传感器数据分析没有确认使用触摸表面数据确定的初始分类，并且可以确定基于这样的传感器数据不能确定触摸或悬停交互的分类，和/或可以确定要分析其他类型的传感器数据，和/或可以确定要收集和分析附加的触摸表面数据和/或其他传感器数据，以便于确定对象106与触敏表面104的触摸或悬停交互的分类。
在其他实施方式中，如果至少部分地基于触摸表面数据的对象106与触敏表面104的触摸或悬停交互的初始分类尝试是不确定的或不明确的，则分类组件122对其他传感器数据(例如，超声数据、加速度计数据、陀螺仪数据、IMU数据，和/或其他类型的传感器数据)的分析可以由分类组件122使用，以便于根据定义的分类标准来确定对象106与触敏表面104的触摸或悬停交互的分类。在其他实施方式中，分类组件122可以根据定义的分类标准，至少部分地基于对一种或更多种类型的传感器数据(例如，超声数据和/或加速度计数据、……)进行分析的结果，来确定对象106与触敏表面104的触摸或悬停交互的分类，而不必分析触摸表面数据或特定其他类型的传感器数据。
根据各种实施例，设备100还可以包括处理器组件140(处理器组件(process.Comp.)140)和数据储存器142，数据储存器142可以与设备100的其他组件(例如，触摸感测组件102、触敏表面104、显示组件108、传感器组件110、分类组件122、扬声器126、128和/或130、麦克风132、134和/或136、缓存组件138、……)相关联(例如，通信连接到其他组件)。处理器组件140可以结合设备100的其他组件进行操作，以便于执行设备100的各种功能。如本文中更全面公开的，处理器组件140可以采用一个或更多个处理器、微处理器或控制器，这些处理器、微处理器或控制器可以处理数据，诸如与超声数据、触摸表面数据、加速度计数据、陀螺仪数据、IMU数据、冲击或力数据、振声数据、定向数据和/或其他传感器数据、触摸或悬停交互的分类、事件或响应动作(例如，响应于触摸或悬停交互)、训练信息、机器学习信息、资源、用户数据、应用、算法(例如，(一个或更多个)分类算法、(一个或更多个)机器学习和/或训练算法、……)、定义的分类标准和/或其他信息相关的信息，以便于设备100的操作，并且控制设备100与设备100的其他组件或设备或与设备100相关联的其他组件或设备之间的数据流。
数据储存器142可以存储数据结构(例如，用户数据、元数据)、(一个或更多个)代码结构(例如，模块、对象、散列、类、过程)或指令、与超声数据、触摸表面数据、加速度计数据、陀螺仪数据、IMU数据、冲击或力数据、振声数据、定向数据、和/或其他传感器数据、触摸或悬停交互的分类、事件或响应动作(例如，响应于触摸或悬停交互)、训练信息、机器学习信息、资源、用户数据、应用、算法(例如：(一个或更多个)分类算法、(一个或更多个)机器学习和/或训练算法、……)、定义的分类标准和/或其他信息相关的信息，以便于控制与设备100相关联的操作。在一些实施方式中，处理器组件140可以功能性地耦合(例如，通过存储器总线耦合)到数据储存器142，以便存储和检索操作和/或至少部分地赋予功能到触摸感测组件102、触敏表面104、显示组件108、传感器组件110、分类组件122、扬声器126、128和/或130、麦克风132、134和/或136、缓存组件138等所需的信息和/或设备100的基本上任何其他操作方面所需的信息。
转向图7，图7描绘了根据本公开主题的各个方面和实施例的示例系统700的框图，该示例系统700可以训练分类组件(例如，分类组件的一个或更多个分类引擎)来对对象与触敏设备的触敏表面的触摸或悬停交互进行分类。系统700可以包括分类组件702，分类组件702可以包括一个或更多个分类引擎，诸如分类引擎704。使用(一个或更多个)分类引擎704的分类组件702可以至少部分地基于分类组件702对从触敏设备的传感器组件的一个或更多个传感器接收的传感器数据进行分析的结果，对对象与触敏设备的触敏表面的触摸或悬停交互进行分类，如本文中更全面描述的。
根据各种实施例，为了便于确定对象与触敏表面的触摸或悬停交互的分类，分类组件702(例如，分类组件702的(一个或更多个)分类引擎704)可以使用任何数量的方法，包括但不限于：基本启发法、决策树、支持向量机、随机森林、朴素贝叶斯、弹性匹配、动态时间规整、模板匹配、K-均值聚类、K-最近邻算法、神经网络、多层感知器、逻辑回归(例如，多项式逻辑回归)、高斯混合模型和/或AdaBoost。
系统700还可以包括训练器组件706，训练器组件706可以与分类组件702相关联(例如，通信连接到分类组件702)，以训练包括(一个或更多个)分类引擎704的分类组件702，从而至少部分地基于对触摸表面数据、超声数据和/或其他传感器数据(例如，加速度计数据、陀螺仪数据、IMU数据和/或其他类型的传感器数据)进行分析的结果，识别、确定和/或区分对象与触敏设备的触敏表面的不同类型的触摸或悬停交互。在一些实施例中，分类组件702可以包括可以与(一个或更多个)分类引擎704相关联的机器学习组件708，其中机器学习组件708可以用于帮助训练包括(一个或更多个)分类引擎704的分类组件702，以识别、确定和/或区分对象与设备的触敏表面的不同类型的触摸或悬停交互。
训练器组件706和机器学习组件708可以使用期望的机器学习技术和算法来帮助训练分类组件702和相关联的(一个或更多个)分类引擎704。在一些实施例中，采用期望的机器学习技术和算法的训练器组件706可以将同对象与触敏表面的触摸和悬停交互相关的训练信息应用于机器学习组件708，其中包括(一个或更多个)分类引擎704的分类组件702可以被训练以至少部分基于训练信息来识别、确定和/或区分对象与触敏表面的不同类型的触摸或悬停交互。
例如，训练器组件706可以将与对触敏设备的触敏表面的有意(一根或更多根)手指触摸交互(例如，单点手指接触、多点手指接触)或(一根或更多根)手指悬停交互(例如，与即将发生的有意触摸交互相关联的悬停的(一根或更多根)手指)相关的传感器数据(例如，触摸表面数据、超声数据、加速度计数据、陀螺仪数据和/或IMU数据、……)的肯定示例和与对象与触敏表面的无意触摸或悬停交互(例如，无意的(一根或更多根)手指触摸或悬停交互、无意耳朵或面部触摸或悬停交互、无意手掌触摸或悬停交互、……)相关的传感器数据的肯定示例应用于机器学习组件708，以训练(一个或更多个)分类引擎704识别和区分对象与触敏表面的各种不同类型的触摸或悬停交互。
与触摸和悬停交互相关的传感器数据的肯定示例可以包括：例如，与对触敏表面的有意(一根或更多根)手指触摸交互或悬停交互(与有意的即将发生(一根或更多根)手指触摸交互相关联)相关的触摸或悬停交互的图案的肯定示例，以及与对触敏表面的无意触摸或悬停交互(例如，无意手指触摸或悬停交互、无意耳朵或面部触摸或悬停交互、或无意手掌触摸或悬停交互)相关的触摸或悬停交互的图案的肯定示例。
作为通过训练器组件706训练(一个或更多个)分类引擎704、以及通过训练器组件706和机器学习组件708利用机器学习技术和算法的结果，使用(一个或更多个)分类引擎704的分类组件702可以根据所定义的分类标准，至少部分地基于对从触敏设备的传感器组件中的一个或更多个传感器接收的一种或更多种类型的传感器数据进行分析的结果，期望地(例如，准确地、适当地或优选地)对对象与触敏表面的触摸或悬停交互进行分类。
在某些实施例中，(一个或更多个)分类引擎704可以随时间更新和细化(例如，自动或动态更新和细化)，以增强对对象与触敏表面的触摸或悬停交互的分类。例如，机器学习组件708可以从训练器组件706接收与触摸或悬停交互的分类相关的更新(例如，训练信息的更新)，以将更新应用于(一个或更多个)分类引擎704，从而细化和增强(一个或更多个)分类引擎704对对象与触敏表面的触摸或悬停交互的分类。在一些实施例中，在触敏设备的操作期间，机器学习组件708可以训练、更新、细化和/或增强(例如，自动或动态地训练、更新、细化和/或增强)(一个或更多个)分类引擎704，以细化和进一步改进(一个或更多个)分类引擎704对对象与触敏表面的触摸或悬停交互的分类。
从本公开的主题可以理解和明白，使用本文描述的技术，触敏设备可以被提供增强的能力用以解释对象相对于触敏表面的接触或关联(例如，悬停)的图案。还应当理解和明白，在本公开主题的精神和范围内，可以改变方法动作或操作的顺序和数量。
图8示出了根据本公开主题的各个方面和实施例的示例方法800的流程图，该示例方法800可以确定对象相对于触敏设备的触敏表面的移动状态和/或对对象与触敏表面的悬停或触摸交互进行分类。方法800可以例如由包括分类组件、超声组件、(一个或更多个)扬声器、(一个或更多个)麦克风和/或处理器的系统或设备(例如，触敏设备)来执行。
在附图标记802处，可以从设备发射包括至少第一频率的音频信号，其中该设备可以包括触敏表面(例如，触敏显示屏)。超声组件可以生成音频信号，该音频信号可以包括至少第一频率。例如，音频信号可以是超声音频信号。该设备的一个或更多个扬声器可以用于从该设备(例如，从该设备的(一个或更多个)扬声器)发射音频信号。
在附图标记804处，可以检测包括至少第二频率的反射音频信号，其中音频信号可以被对象反射以产生反射音频信号，该对象可以或可能在触敏表面附近。该设备可以包括能够感测或检测反射音频信号的一个或更多个麦克风，其中反射音频信号可以具有至少第二频率。反射音频信号可以是反射的超声音频信号。通常，如果对象朝向或远离触敏表面移动，则反射音频信号的第二频率可以分别高于或低于音频信号的第一频率，且如果对象相对于触敏表面不移动，则第二频率可以与第一频率相同。超声组件可以经由一个或更多个麦克风接收检测到的反射音频信号。
在附图标记806处，可以至少部分地基于音频信号的第一频率和反射音频信号的第二频率之间的频率偏移来确定对象相对于触敏表面的移动状态，以便于对对象与触敏表面的交互进行分类。分类组件可以至少部分地基于音频信号的第一频率和反射音频信号的第二频率之间的频率偏移来确定对象相对于触敏表面的移动状态。分类组件可以利用所确定的对象相对于触敏表面的移动状态来帮助对对象与触敏表面的交互进行分类。例如，至少部分地基于所确定的对象相对于触敏表面的移动状态，和/或由分类组件根据超声数据确定的其他分析结果，和/或其他传感器数据(例如，触摸表面数据、加速度计数据、陀螺仪数据或IMU数据)以及通过分析这些其他传感器数据获得的分析结果，分类组件可以对对象与触敏表面的交互进行分类，如本文中更全面描述的。
在一些实施例中，此时，方法800可以前进到参考点A，其中，关于方法1000，方法1000可以从参考点A前进，以利用(例如，分析)其他传感器数据(例如，触摸表面数据、加速度计数据、陀螺仪数据或IMU数据)以及超声数据来确定对象与触敏表面的交互的分类。
图9描绘了根据本公开主题的各个方面和实施例的另一示例方法900的流程图，该方法可以确定对象相对于触敏设备的触敏表面的移动状态和/或对对象与触敏表面的悬停或触摸交互进行分类。方法900可以例如由包括分类组件、超声组件、(一个或更多个)扬声器、(一个或更多个)麦克风和/或处理器的系统或设备(例如，触敏设备)来执行。
在附图标记902处，可以从设备发射包括第一频率分布的音频信号，其中该设备可以包括触敏表面(例如，触敏显示屏)。超声组件可以生成音频信号，该音频信号可以包括第一频率分布(例如，频率的第一统计分布)。音频信号可以是例如超声音频信号。该设备可以包括可以用来发射音频信号的一个或更多个扬声器。
在附图标记904处，可以检测包括第二频率分布的反射音频信号，其中音频信号可以被对象反射以产生反射音频信号，该对象可以或可能在触敏表面附近。设备可以包括能够检测反射音频信号的一个或更多个麦克风，其中反射音频信号可以具有第二频率分布。反射音频信号可以是例如反射的超声音频信号。通常，关于发射音频信号的特定频率(例如，发射音频信号的第一频率分布中的特定频率)，如果对象朝向或远离触敏表面移动，反射音频信号的相应频率(例如，反射音频信号的第二频率分布中的相应频率)可以分别高于或低于音频信号的特定频率，并且如果对象没有相对于触敏表面移动，则相应频率可以与特定频率相同。反射音频信号的相应频率可以是可以对应于具有特定频率的音频信号部分从对象的反射的频率，并且可以是由该反射产生的频率。超声组件可以经由一个或更多个麦克风接收检测到的反射音频信号。
在附图标记906处，可以至少部分地基于音频信号的第一频率分布和反射音频信号的第二频率分布之间的频率偏移分布，来确定对象相对于触敏表面的移动状态，以便于对对象与触敏表面的交互进行分类。分类组件可以分析反射音频信号的第二频率分布、音频信号的第一频率分布和/或音频信号的第一频率分布和反射音频信号的第二频率分布之间的频率偏移分布。分类组件可以至少部分地基于分析结果来确定对象相对于触敏表面的移动状态，该分析结果包括关于音频信号的第一频率分布和反射音频信号的第二频率分布之间的频率偏移分布的确定。分类组件可以利用所确定的对象相对于触敏表面的移动状态来促进对对象与触敏表面的交互进行分类。例如，至少部分地基于所确定的对象相对于触敏表面的移动状态、和/或由分类组件根据超声数据确定的其他分析结果、和/或其他传感器数据(例如，触摸表面数据、加速度计数据、陀螺仪数据或IMU数据)以及通过分析这些其他传感器数据获得的分析结果，分类组件可以对对象与触敏表面的交互进行分类，如本文中更全面描述的。
在一些实施例中，此时，方法900可以前进到参考点A，其中，关于方法1000，方法1000可以从参考点A前进，以利用(例如，分析)其他传感器数据(例如，触摸表面数据、加速度计数据、陀螺仪数据或IMU数据)以及超声数据来确定对象与触敏表面的交互的分类。
在其他实施例中，附加地或替代地，方法900可以前进到附图标记908，其中，在附图标记908处，可以对对象和触敏表面之间的交互进行分类，包括至少部分地基于对超声数据进行分析的结果来确定对象的类型，该超声数据包括包含第二频率分布的反射音频信号和/或包含第一频率分布的音频信号。分类组件可以至少部分地基于对包括反射音频信号、音频信号和/或音频信号的第一频率分布和反射音频信号的第二频率分布之间的频率偏移分布的超声数据进行分析的结果，对对象和触敏表面之间的交互进行分类，包括确定对象的类型(例如，用户的手指、或用户的耳朵(和/或面部)、或触控笔、……)。
图10示出了根据本公开主题的各个方面和实施例的示例方法1000的流程图，该示例方法1000可以对对象与触敏设备的触敏表面的悬停或触摸交互进行分类。方法1000可以例如由包括分类组件、传感器组件、(一个或更多个)扬声器、(一个或更多个)麦克风和/或处理器的系统或设备(例如，触敏设备)来执行。传感器组件可以包括例如超声组件、表面相关传感器(例如，与触敏表面相关联的触摸传感器，诸如触摸显示屏)、加速度计组件、陀螺仪组件、IMU和/或另一种期望类型的传感器。
根据各种实施例，方法1000可以从图8中描绘的方法800或图9中描绘的方法900的参考点A开始，其中可以至少部分地基于与从设备发射的音频信号相关的从对象反射的反射音频信号来确定对象相对于设备的触敏表面的移动状态和/或其他特性。例如，在此时，分类组件可能已经至少部分地基于对超声数据(例如，反射音频信号和/或发射音频信号)进行分析的结果确定了对象相对于触敏表面的移动状态。
在附图标记1002处，可以从一个或更多个其他传感器接收触摸表面数据和/或其他传感器数据。分类组件可以从传感器组件的一种或更多种其他类型的传感器(例如，表面相关传感器、加速度计、陀螺仪或IMU、……)接收一种或更多种其他类型的传感器数据，包括触摸表面数据。一种或更多种其他类型的传感器数据可以包括触摸表面数据、加速度计数据、陀螺仪数据、IMU数据、其他运动数据、冲击或力数据、振声数据、定向数据和/或其他(一种或更多种)类型的传感器数据，如本文更全面描述的。
在一些实施例中，分类组件可以响应于(例如，异步地响应于)在触敏表面上或附近正在发生和/或被检测到的触摸或悬停交互(例如，由超声组件或分类组件检测到的悬停交互；由表面相关传感器检测到的触摸交互)和/或其他传感器对触摸或悬停交互的发生和/或检测的指示，而从其他传感器接收其他传感器数据。在其他实施例中，传感器组件可以扫描其他传感器，以测量或检测与其他传感器相关联的状况的变化，该变化是由于例如(一个或更多个)对象触摸触敏表面而导致的，其中其他传感器数据可以至少部分地基于测量或检测到的状况变化来生成，并且可以由分类组件接收。
在附图标记1004处，可以分析超声数据、触摸表面数据和/或其他传感器数据。分类组件可以分析超声数据、触摸表面数据和/或其他传感器数据，以便于确定关于对象(例如，一个或更多个对象项)的触摸或悬停交互的分类，该对象可以与触敏设备的触敏表面接触或相关联(例如，悬停在触敏设备的触敏表面附近)，并且可以至少部分地基于这样的数据分析来生成分析结果。
在附图标记1006处，可以至少部分地基于对超声数据、触摸表面数据和/或其他传感器数据进行分析的结果来对对象与触敏表面的触摸或悬停交互进行分类。分类组件可以至少部分基于对超声数据、触摸表面数据和/或其他传感器数据进行分析的结果来分类或确定对象与触敏表面的触摸或悬停交互。例如，分类组件可以分类或确定触摸或悬停交互是有意触摸交互还是无意触摸或悬停交互，并且可以分类或确定对象的类型(例如，(一根或更多根)手指、耳朵和/或面部(例如，脸颊)、手掌或触控笔、……)。
在一些实施例中，为了便于对对象与触敏表面的触摸或悬停交互进行分类，分类组件可以至少部分基于分析结果从超声数据、触摸表面数据和/或其他传感器数据中提取特征。这些特征可以包括，例如，分别关于时域或频域的特性、形状、尺寸、谱质心、谱密度、球谐函数、总平均谱能量、对数谱带比和/或与对象与触敏表面的接触或悬停相关的其他特征。
在某些实施例中，分类组件可以至少部分地基于(例如，根据)从超声数据、触摸表面数据和/或其他传感器数据提取的各个特征来生成各个特征的(例如，对应于各个特征的)表示性图像(例如，帧图像)。表示性图像可以是或者可以包括与对象与触敏表面的触摸或悬停交互相关(例如，表示或对应于触摸或悬停交互)的图案。
分类组件可以分析表示性图像，以便于根据定义的分类标准对对象与触敏表面的触摸或悬停交互进行分类。在一些实施例中，分类组件可以评估表示性图像的特性(例如，特征)或将表示性图像的特性(例如，特征)与各种已知特性进行比较，这些已知特性可以分别指示触摸或悬停交互是有意的还是无意的，和/或触摸事件是(一根或更多根)手指、耳朵、面部、手掌、触控笔还是其他对象，和/或可以提供有助于对触摸或悬停交互进行分类的一个或更多个其他指示。在某些实施例中，如本文中更全面描述的，分类组件(例如，分类组件的分类引擎)可以被训练成对对象与触敏表面的触摸或悬停交互进行分类，包括被训练成识别和标识以及区分表示性图像的不同特性。
至少部分基于对表示性图像进行分析的结果，分类组件可以根据定义的分类标准来确定对象与触敏表面的触摸或悬停交互的分类。触摸或悬停交互可以被分类为，例如，有意触摸交互(例如，有意手指触摸或有意触控笔触摸)或无意触摸或悬停交互(例如，无意手指触摸或悬停交互、无意耳朵或面部触摸或悬停交互、无意手掌触摸或悬停交互、和/或对象的其他无意触摸或悬停交互)。
在附图标记1008处，至少部分地基于触摸或悬停交互的分类，可以控制触敏设备的操作(例如，以处理与有意触摸交互相关的操作，或者拒绝无意触摸或悬停交互)。操作管理组件可以至少部分基于触摸或悬停交互的分类来控制触敏设备的操作。例如，响应于分类是有意触摸交互，操作管理组件可以控制触敏设备的操作来处理触摸交互，包括处理与对触敏表面的触摸(例如，有意的手指或对象触摸)相关的操作。例如，与处理触摸交互相结合，操作管理组件可以启用触敏表面的(一个或更多个)触摸功能，将显示屏(例如，触摸显示屏)调到开启状态(如果其处于关闭状态)，和/或解锁(如果是锁定的)触敏表面。
响应于分类被确定是无意触摸或悬停交互，操作管理组件可以控制触敏设备的操作以拒绝无意触摸或悬停交互，包括防止与对象对触敏表面的触摸(例如，无意的手指、手掌或对象触摸)(如果存在触摸)相关的操作。例如，与拒绝触摸或悬停交互相结合，操作管理组件还可以禁用触敏表面的(一个或更多个)触摸功能，将显示屏调到关闭状态，和/或锁定触敏表面。
图11描绘了根据本公开主题的各个方面和实施例的示例方法1100的流程图，该示例方法1100可以训练分类组件(例如，分类组件的(一个或更多个)分类引擎)以便于确定对象相对于触敏设备的触敏表面的移动状态和/或对对象与触敏表面的悬停或触摸交互进行分类。方法1100可以由例如包括分类组件(其可以包括一个或更多个分类引擎)、机器学习组件、训练器组件、传感器组件、(一个或更多个)扬声器、(一个或更多个)麦克风和/或处理器的系统或设备(例如，触敏设备)来执行。使用机器学习组件的分类组件可以被训练以便于对对象与触敏设备的触敏表面的交互进行期望(例如，准确、增强或优选)的分类。在一些实施例中，系统可以使用训练器组件来训练分类组件(例如，使用机器学习组件来训练一个或更多个分类引擎)，以便于对对象与触敏表面的交互进行期望的分类。
在附图标记1102处，可以生成包括训练信息项(例如，示例训练信息项)的集合的训练数据，以便于训练分类组件，从而促进对对象与触敏设备的触敏表面的交互进行期望的分类。训练器组件可以确定并生成训练信息项的集合，该集合可以用于促进分类组件的这种训练(例如，分类组件的一个或更多个分类引擎的训练)。在一些实施例中，训练信息项的集合可以包括各种训练信息项，这些训练信息项可以与对象与触敏表面的各种类型的触摸或悬停交互相对应。
例如，训练信息项的集合可以包括与对触敏表面的有意(一根或更多根)手指触摸交互(例如，单点手指接触、多点手指接触)或(一根或更多根)手指悬停交互(例如，与即将发生的有意触摸交互相关联的悬停的(一根或更多根)手指)相关的传感器数据(例如，触摸表面数据、超声数据、加速度计数据、陀螺仪数据和/或IMU数据、……)的肯定示例，以及与对象与触敏表面的无意触摸或悬停交互(例如，无意的(一根或更多根)手指触摸或悬停交互、无意的耳朵或面部触摸或悬停交互、无意的手掌触摸或悬停交互、……)相关的传感器数据的肯定示例，该集合用于机器学习组件，以训练分类组件的(一个或更多个)分类引擎来识别和区分对象与触敏表面的各种不同类型的触摸或悬停交互。在一些实施例中，与触摸和悬停交互相关的传感器数据的肯定示例可以包括：例如，与对触敏表面的有意(一根或更多根)手指触摸交互或悬停交互(与有意即将发生的(一根或更多根)手指触摸交互相关联)相关的触摸或悬停交互图案的肯定示例，以及与对触敏表面的无意触摸或悬停交互(例如，无意手指触摸或悬停交互、无意耳朵或面部触摸或悬停交互、或无意手掌触摸或悬停交互)相关的触摸或悬停交互图案的肯定示例。
作为另一个示例，关于超声数据，训练信息项的集合可以包括关于相应第一频率分布的相应音频信号的训练信息项的第一子集，关于相应第二频率分布的相应反射音频信号的训练信息项的第二子集，和/或关于频率偏移的相应分布的训练信息项的第三子集，频率偏移的相应分布涉及和/或可以从相应音频信号和相应反射音频信号之间的相应差异导出或获得。训练器组件可以将第一子集的各项、第二子集的各项和/或第三子集的各项彼此映射，并且可以利用这种映射来促进分类组件的训练和/或可以向分类组件(例如，向分类组件的机器学习组件或与分类组件相关联的机器学习组件)提供这种映射。例如，训练器组件可以将训练音频信号(例如，可以是从设备发射的音频信号)的第一频率分布映射到训练反射音频信号的第二频率分布，该训练反射音频信号可以在训练音频信号从相对于触敏表面具有特定移动状态(例如，朝向触敏表面移动，或者远离触敏表面移动，或者相对于触敏表面不移动)的特定对象(例如，手指或耳朵)反射时被获得，以及映射到训练频率偏移分布，该训练频率偏移分布可以至少部分地基于训练音频信号和训练反射音频信号(例如，训练音频信号的第一频率分布和训练反射音频信号的第二频率分布之间的差)来确定、导出或获得。
在附图标记1104处，包括训练信息项的集合的训练数据可以被应用于分类组件，以便于分类组件关于对对象与触敏表面的触摸或悬停交互的分类进行训练。在附图标记1106处，可以至少部分地基于将训练数据应用于分类组件来训练分类组件。训练器组件可以将包括训练信息项的集合的训练数据应用于分类组件(例如，使用机器学习组件应用于一个或更多个分类引擎)，并且可以至少部分地基于将训练数据应用于分类组件以及使用机器学习技术和算法来训练分类组件(例如，一个或更多个分类引擎)，如本文所述。使用机器学习组件(以及机器学习技术和算法，诸如本文所公开的)的分类组件(例如，使用方法1100训练的)可以期望地(例如，适当地、可接受地、准确地或优选地)确定对象与触敏设备的触敏表面的触摸或悬停交互的分类。
在一些实施例中，根据方法1100，可以通过将更新的和/或附加的训练数据应用于分类组件来更新和细化分类组件的训练，以便于增强或细化分类组件的训练，从而期望地提高分类组件期望地确定对象与触敏表面的触摸或悬停交互的分类的能力。
前述系统和/或设备已经参考一些组件之间的交互进行了描述。应当理解，这些系统和组件可以包括其中指定的那些组件或子组件、某些指定的组件或子组件和/或附加组件。子组件也可以被实现为通信耦合到其他组件(而不是包括在父组件中)的组件。此外，一个或更多个组件和/或子组件可以被组合成提供集合功能的单个组件。这些组件还可以与一个或更多个其他组件交互，为了简洁起见，本文中没有具体描述这些其他组件，但是这些其他组件是本领域技术人员已知的。
关于本文中描述的方法和/或流程图，为了解释简单，这些方法已经被描绘和描述为一系列动作。应当理解和意识到，本公开的主题不限于所示出的动作和/或动作的顺序，例如动作可以以各种顺序和/或同时发生，并且可以与本文中没有呈现和描述的其他动作一起发生。此外，可能不需要所有示出的动作来实现根据公开的主题的方法。另外，本领域中的技术人员将理解和认识到，该方法可以替代地通过状态图或事件表示为一系列相互关联的状态。附加地，应该进一步理解，本文和整个说明书中公开的方法能够存储在制品上，以便于将这些方法传输和转移到计算机。如本文中所使用的术语制品旨在涵盖可从任何计算机可读设备或存储介质访问的计算机程序。
虽然以上已经在运行在计算机和/或多个计算机上的计算机程序中的计算机可执行指令的一般上下文中描述了主题，但是本领域技术人员将认识到，本公开也可以或可能结合其他程序模块来实现。通常，程序模块包括例程、程序、组件、数据结构等，其执行特定任务和/或实现特定的抽象数据类型。此外，本领域技术人员将理解，本公开的方法可以用其他计算机系统配置来实施，包括单处理器或多处理器计算机系统、微型计算设备、大型计算机以及个人计算机、手持计算设备(例如，PDA、电话)、基于微处理器的或可编程的消费电子或工业电子，等等。所示方面也可以在分布式计算环境中实施，其中任务由通过通信网络链接的远程处理设备执行。然而，本公开的一些方面(如果不是全部方面的话)可以在独立计算机上实施。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备(remote memory storage devices)中。
如在本申请中所使用的，术语“组件”、“系统”、“平台”、“接口”、“单元”等可以指和/或可以包括计算机相关实体或与具有一个或更多个特定功能的操作机器相关的实体。本文中公开的实体可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。举例来说，运行在服务器上的应用和服务器都可以是组件。一个或更多个组件可以驻留在进程和/或执行线程中，并且组件可以位于一台计算机上和/或分布在两台或更多台计算机上。
在另一示例中，各个组件可以从其上存储有各种数据结构的各种计算机可读介质执行。这些组件可以经由本地和/或远程进程(诸如根据具有一个或更多个数据分组的信号(例如，来自一个组件的数据与本地系统、分布式系统中的另一个组件进行交互，和/或跨诸如互联网的网络经由该信号与其他系统进行交互))进行通信。作为另一个示例，组件可以是具有由电气或电子电路操作的机械部件提供的特定功能的装置，其通过由处理器执行的软件或固件应用进行操作。在这种情况下，处理器可以在装置的内部或外部，并且可以执行软件或固件应用的至少一部分。作为又一个示例，组件可以是没有机械部件的通过电子组件提供特定功能的装置，其中电子组件可以包括处理器或其他装置来执行软件或固件，该软件或固件至少部分地赋予电子组件功能。在一个方面，组件可以例如在云计算系统内经由虚拟机来模拟电子组件。
此外，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有说明或从上下文中清楚明白，“X采用A或B”旨在表示任何自然包容性的排列。也就是说，如果X采用A；X采用B；或X采用A和B二者，则在任何前述情况下满足“X采用A或B”。此外，如在本主题说明书和附图中使用的冠词“一(a)”和“一(an)”通常应该被解释为意指“一个或更多个”，除非另有说明或从上下文中清楚地指向单数形式。
如本文中所使用的，术语“示例”和/或“示例性的”用于表示用作示例、实例或说明。为了避免疑问，本文中所公开的主题不受这些示例的限制。另外，本文中被描述为“示例”和/或“示例性”的任何方面或设计不一定被解释为比其他方面或设计优选或有利，也不一定意味着排除本领域中的技术人员已知的等效的示例性结构和技术。
本文中描述的各个方面或特征可以使用标准编程或工程技术实现为方法、装置、系统或制品。另外，本公开中公开的各个方面或特征可以通过实现本文中公开的至少一个或更多个方法的程序模块来实现，程序模块存储在存储器中并由至少一个处理器执行。硬件和软件或硬件和固件的其他组合可以支持或实现本文中描述的方面，包括公开的(一个或更多个)方法。如本文中所使用的术语“制品”可以涵盖可从任何计算机可读设备、载体或存储介质访问的计算机程序。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条……)、光盘(optical disc)(例如，光盘(compact disc，CD)、数字多功能盘(DVD)、蓝光光盘(BD)……)、智能卡和闪存设备(例如，卡、棒、密钥驱动器……)等。
如在本主题说明书中所采用的，术语“处理器”基本上可以指任何计算处理单元或设备，包括但不限于：单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布式共享存储器的并行平台。附加地，处理器可指集成电路、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑控制器(PLC)、复杂可编程逻辑器件(CPLD)、离散门或晶体管逻辑、离散硬件组件或其被设计用于执行本文中所描述的功能的任何组合。此外，处理器可以利用纳米级架构，诸如但不限于基于分子和量子点的晶体管、开关和门，以便优化空间使用或增强用户设备的性能。处理器也可以被实现为计算处理单元的组合。
在本公开中，诸如“储存器(store)”、“存储装置(storage)”、“数据储存器”、“数据存储装置”、“数据库”以及与组件的操作和功能相关的基本上任何其他信息存储组件的术语被用来指代“存储器组件”、包含在“存储器”中的实体或包括存储器的组件。应当理解，本文中描述的存储器和/或存储器组件可以是易失性存储器或非易失性存储器，或者可以包括易失性和非易失性存储器两者。
作为说明而非限制，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除ROM(EEPROM)、闪存或非易失性随机存取存储器(RAM)(例如，铁电RAM(FeRAM))。易失性存储器可以包括RAM，例如，其可以充当外部缓冲存储器。作为说明而非限制，RAM有多种形式可用，诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)、直接Rambus RAM(DRRAM)、直接Rambus动态RAM(DRDRAM)和Rambus动态RAM(RDRAM)。附加地，本文中公开的系统或方法的存储器组件旨在包括但不限于包括这些和任何其他合适类型的存储器。
应当理解和明白，如针对特定系统或方法所描述的组件可以包括与如针对本文公开的其他系统或方法所描述的各个组件(例如，分别命名的组件或相似命名的组件)相同或相似的功能。
上面已经描述的内容包括提供本公开的优点的系统和方法的示例。当然，为了描述本公开的目的，不可能描述组件或方法的每个可想到的组合，但是本领域的普通技术人员可以认识到本公开的许多另外的组合和排列是可能的。此外，就在详细描述、权利要求、附录和附图中使用的术语“包含(includes)”、“具有(has)”、“拥有(possesses)”等而言，这些术语旨在以类似于术语“包括(comprising)”的方式表示包括，如同当“包括”在权利要求中被用作过渡词时被解释的那样。

Claims (22)

1.一种方法，包括：
由包括处理器的系统从电子设备发射包括至少第一频率的音频信号，其中所述电子设备包括触敏屏幕；
由所述系统检测包括至少第二频率的反射音频信号，其中所述音频信号被所述触敏屏幕附近的对象反射，以产生所述反射音频信号；以及
由所述系统至少部分地基于所述音频信号的第一频率和所述反射音频信号的第二频率之间的频率偏移来确定所述对象相对于所述触敏屏幕的移动状态，以便于对所述对象与所述触敏屏幕的交互进行分类。
2.根据权利要求1所述的方法，其中所述音频信号是超声音频信号，并且其中所述频率偏移是多普勒频移。
3.根据权利要求1所述的方法，其中确定所述对象相对于所述触敏屏幕的移动状态包括：
至少部分地基于所述频率偏移被确定为指示所述反射音频信号的第二频率高于所述音频信号的第一频率，确定所述移动状态是所述对象正在朝向所述触敏屏幕移动；
至少部分地基于所述频率偏移被确定为指示所述反射音频信号的第二频率低于所述音频信号的第一频率，确定所述移动状态是所述对象正在远离所述触敏屏幕移动；或者
至少部分地基于确定在所述音频信号的第一频率和所述反射音频信号的第二频率之间没有频率偏移，确定所述移动状态是所述对象没有相对于所述触敏屏幕移动。
4.根据权利要求1-3中任一项所述的方法，还包括：
由所述系统从与所述触敏屏幕相关联的触摸传感器、超声传感器、音频传感器、加速度计、陀螺仪或惯性测量单元中的至少一个接收传感器数据，其中所述传感器数据包括从所述超声传感器接收的所述音频信号、从所述音频传感器或所述超声传感器接收的所述反射音频信号、从所述触摸传感器接收的触摸表面数据、从所述加速度计接收的加速度计数据、从所述陀螺仪接收的陀螺仪数据或从所述惯性测量单元接收的惯性测量数据中的至少一种；
由所述系统分析所述传感器数据；以及
由所述系统至少部分地基于对所述传感器数据进行分析的结果来对所述对象与所述触敏屏幕的交互进行分类，其中所述结果包括与所述音频信号的第一频率和所述反射音频信号的第二频率之间的频率偏移相关的信息，所述信息指示所述对象相对于所述触敏屏幕的移动状态。
5.根据权利要求1-3中任一项所述的方法，还包括：
由所述系统确定响应于所述对象与所述触敏屏幕的交互将由所述电子设备执行的响应动作；以及
由所述系统执行所述响应动作。
6.根据权利要求5所述的方法，其中确定所述响应动作包括：
响应于确定所述对象与所述触敏屏幕的交互是有意触摸交互，来确定所述响应动作，所述响应动作包括以下中的至少一个：处理所述对象与所述触敏屏幕的交互、将所述触敏屏幕转换到或将所述触敏屏幕保持在开启状态、将所述触敏屏幕转换到或将所述触敏屏幕保持在解锁状态、或者由所述电子设备至少部分地基于所述对象与所述触敏屏幕的交互来执行操作；或者
响应于确定所述对象与所述触敏屏幕的交互是无意触摸交互或无意悬停交互，来确定所述响应动作，所述响应动作包括以下中的至少一个：拒绝所述对象与所述触敏屏幕的交互、将所述触敏屏幕转换到或将所述触敏屏幕保持在关闭状态、将所述触敏屏幕转换到或将所述触敏屏幕保持在锁定状态、或者防止响应于所述对象与所述触敏屏幕的交互而执行所述操作。
7.根据权利要求1-3或6中任一项所述的方法，其中所述交互是以下之一：用户耳朵与所述触敏屏幕接触的耳朵触摸交互、用户耳朵在所述触敏屏幕附近的耳朵悬停交互、用户手指与所述触敏屏幕接触的手指触摸交互、用户手指在所述触敏屏幕附近的手指悬停交互、用户手指与所述触敏屏幕接触的手指触摸交互、触控笔与所述触敏屏幕接触的触控笔触摸交互、触控笔在所述触敏屏幕附近的触控笔悬停交互、或者所述对象与所述触敏屏幕没有交互。
8.根据权利要求1-3或6中任一项所述的方法，其中发射所述音频信号包括发射包括第一频率分布的所述音频信号，其中所述第一频率分布包括所述第一频率，
其中检测所述反射音频信号包括检测包括第二频率分布的所述反射音频信号，其中所述第二频率分布包括所述第二频率，并且
其中确定所述对象相对于所述触敏屏幕的移动状态包括至少部分地基于所述音频信号的第一频率分布和所述反射音频信号的第二频率分布之间的频率偏移的第三分布来确定所述对象相对于所述触敏屏幕的移动状态。
9.根据权利要求1-3或6中任一项所述的方法，还包括：
由所述系统至少部分地基于与多个对象与所述触敏屏幕的触摸交互和悬停交互相关的训练数据训练所述电子设备的机器学习组件，以确定所述多个对象与所述触敏屏幕的触摸交互和悬停交互，其中所述多个对象包括所述对象，
其中对所述对象相对于所述触敏屏幕的交互状态进行分类包括至少部分地基于对所述机器学习组件的训练和与所述对象与所述触敏屏幕的交互相关的传感器数据来对所述对象相对于所述触敏屏幕的交互状态进行分类，以及
其中所述传感器数据包括所述反射音频信号或所述音频信号中的至少一个。
10.根据权利要求9所述的方法，其中所述训练数据包括训练信息的示例项集合，并且其中所述方法还包括：
由所述系统将所述训练信息的示例项集合应用于所述机器学习组件，以便于所述机器学习组件的训练，其中所述训练信息的示例项集合指示相应触摸或悬停交互与以下至少一项的相应关系：超声传感器的相应超声传感器数据、触摸传感器的相应触摸传感器数据、加速度计的相应加速度计数据、陀螺仪的相应陀螺仪数据或惯性测量单元的相应惯性测量单元数据。
11.一种系统，包括：
至少一个扬声器，其被配置为从电子设备发射包括至少第一频率的超声音频信号，其中所述电子设备包括触敏屏幕；
至少一个音频传感器，其被配置为感测包括至少第二频率的反射超声音频信号，其中所述超声音频信号被所述触敏屏幕附近的对象反射，以产生所述反射超声音频信号；
存储器，其存储可执行组件；以及
处理器，其可操作地耦合到所述存储器，所述处理器执行所述可执行组件，所述可执行组件包括：
分类组件，所述分类组件被配置为至少部分地基于所述超声音频信号的第一频率和所述反射超声音频信号的第二频率之间的频率偏移来确定所述对象相对于所述触敏屏幕的移动状态，以便于对所述对象与所述触敏屏幕的交互进行分类。
12.根据权利要求11所述的系统，其中所述分类组件被配置为进行以下至少一项：
响应于确定所述频率偏移指示所述反射超声音频信号的第二频率高于所述超声音频信号的第一频率，确定所述移动状态是所述对象正朝向所述触敏屏幕移动；
响应于确定所述频率偏移指示所述反射超声音频信号的第二频率低于所述超声音频信号的第一频率，确定所述移动状态是所述对象正在远离所述触敏屏幕移动；或者
至少部分地基于确定在所述超声音频信号的第一频率和所述反射超声音频信号的第二频率之间没有频率偏移，确定所述移动状态是所述对象没有相对于所述触敏屏幕移动。
13.根据权利要求11所述的系统，其中所述分类组件被配置为从传感器组件的集合接收传感器信息，分析所述传感器信息，并且至少部分地基于对所述传感器信息进行分析的结果，对所述对象与所述触敏屏幕的交互进行分类，
其中所述传感器组件的集合包括以下中的至少一个：与所述触敏屏幕相关联的触摸传感器组件、所述电子设备的超声传感器组件、包括所述至少一个音频传感器的音频传感器组件、所述电子设备的加速度计组件、所述电子设备的陀螺仪组件或所述电子设备的惯性测量单元，
其中所述传感器信息包括以下中的至少一种：从所述超声传感器组件接收的所述超声音频信号、从所述音频传感器组件或所述超声传感器组件接收的所述反射超声音频信号、从所述触摸传感器组件接收的触摸表面信息、从所述加速度计组件接收的加速度计信息、从所述陀螺仪组件接收的陀螺仪信息或从所述惯性测量单元接收的惯性测量信息，并且
其中所述结果包括与所述超声音频信号的第一频率和所述反射超声音频信号的第二频率之间的频率偏移相关的信息，所述信息指示所述对象相对于所述触敏屏幕的移动状态。
14.根据权利要求11-13中任一项所述的系统，其中所述至少一个音频传感器包括所述电子设备的第一音频传感器和第二音频传感器，其中所述第一音频传感器被配置为感测所述反射超声音频信号的第一版本，所述第一版本包括与所述第一音频传感器和所述对象相关的第一特性集合，其中所述第二音频传感器被配置为感测所述反射超声音频信号的第二版本，所述第二版本包括与所述第二音频传感器和所述对象相关的第二特性集合，
其中所述分类组件还被配置为至少部分地基于所述第一特性集合和所述第二特性集合来确定所述对象相对于所述触敏屏幕的移动状态，以便于对所述对象与所述触敏屏幕的交互进行分类，
其中所述第一特性集合包括以下中的至少一个：所述超声音频信号的发射与所述反射超声音频信号的第一版本的感测之间的第一时间量、所述反射超声音频信号的第一版本的第一强度水平或与所述反射超声音频信号的第一版本相关联的第一频率偏移，并且
其中所述第二特性集合包括以下中的至少一个：所述超声音频信号的发射与所述反射超声音频信号的第二版本的感测之间的第二时间量、所述反射超声音频信号的第二版本的第二强度水平或与所述反射超声音频信号的第二版本相关联的第二频率偏移。
15.根据权利要求11-13中任一项所述的系统，其中所述分类组件被配置为确定响应于所述对象与所述触敏屏幕的交互要执行的响应动作，并且其中所述可执行组件还包括被配置为执行所述响应动作的响应组件。
16.根据权利要求15所述的系统，其中所述分类组件被配置为：
响应于确定所述对象与所述触敏屏幕的交互是有意触摸交互，来确定所述响应动作，所述响应动作包括以下中的至少一个：处理所述对象与所述触敏屏幕的交互、将所述触敏屏幕切换到或将所述触敏屏幕保持在开启状态、将所述触敏屏幕切换到或将所述触敏屏幕保持在解锁状态、或者至少部分地基于所述对象与所述触敏屏幕的交互来执行操作；或者
响应于确定所述对象与所述触敏屏幕的交互是无意触摸交互或无意悬停交互，来确定所述响应动作，所述响应动作包括以下中的至少一个：拒绝所述对象与所述触敏屏幕的交互、将所述触敏屏幕切换到或将所述触敏屏幕保持在关闭状态、将所述触敏屏幕切换到或将所述触敏屏幕保持在锁定状态、或防止响应于所述对象与所述触敏屏幕的交互而执行所述操作。
17.根据权利要求11-13或16中任一项所述的系统，其中所述分类组件被配置为将所述交互分类为以下之一：用户耳朵与所述触敏屏幕接触的耳朵触摸交互、用户耳朵在所述触敏屏幕附近的耳朵悬停交互、用户手指与所述触敏屏幕接触的手指触摸交互、用户手指在所述触敏屏幕附近的手指悬停交互、用户手指与所述触敏屏幕接触的手指触摸交互、触控笔与所述触敏屏幕接触的触控笔触摸交互、触控笔在所述触敏屏幕附近的触控笔悬停交互、或者所述对象与所述触敏屏幕没有交互。
18.根据权利要求11-13或16中任一项所述的系统，其中所述至少一个扬声器被配置为发射包括第一频率分布的所述超声音频信号，所述第一频率分布包括所述第一频率，
其中所述至少一个音频传感器被配置为感测包括第二频率分布的所述反射超声音频信号，所述第二频率分布包括所述第二频率，并且
其中所述分类组件还被配置为至少部分地基于所述超声音频信号的第一频率分布和所述反射超声音频信号的第二频率分布之间的频率偏移的第三分布来确定所述对象相对于所述触敏屏幕的移动状态。
19.根据权利要求11-13或16中任一项所述的系统，其中所述可执行组件还包括训练组件，所述训练组件被配置为至少部分地基于与多个对象与所述触敏屏幕的触摸交互和悬停交互相关的训练数据来训练所述电子设备的机器学习组件，以确定所述多个对象与所述触敏屏幕的触摸交互和悬停交互，其中所述多个对象包括所述对象，
其中对所述对象相对于所述触敏屏幕的交互状态进行分类包括至少部分地基于对所述机器学习组件的训练和与所述对象与所述触敏屏幕的交互相关的传感器数据来对所述对象相对于所述触敏屏幕的交互状态进行分类，并且
其中所述传感器信息包括所述音频信号和所述反射音频信号。
20.根据权利要求19所述的系统，其中所述训练数据包括训练信息的示例项集合，并且其中所述训练组件还被配置为将所述训练信息的示例项集合应用于所述机器学习组件，以便于所述机器学习组件的训练，其中所述训练信息的示例项集合指示相应触摸或悬停交互与以下至少一项的相应关系：超声传感器的相应超声传感器信息，触摸传感器的相应触摸传感器信息、加速度计的相应加速度计信息、陀螺仪的相应陀螺仪信息或惯性测量单元的相应惯性测量单元信息。
21.一种包括可执行指令的机器可读介质，所述可执行指令在被处理器执行时促进操作的执行，所述操作包括：
从电子设备发送包括第一频率的超声音频信号，其中所述电子设备包括触敏表面；
感测包括第二频率的反射超声音频信号，其中所述超声音频信号被所述触敏表面附近的对象反射，以产生所述反射超声音频信号；以及
至少部分地基于所述超声音频信号的第一频率和所述反射超声音频信号的第二频率之间的频率偏移，确定所述对象相对于所述触敏表面的移动活动，以便于对所述对象与所述触敏表面的交互进行分类。
22.根据权利要求21所述的机器可读介质，其中确定所述对象相对于所述触敏表面的移动活动包括：
至少部分地基于所述频率偏移被确定为指示所述反射超声音频信号的第二频率高于所述超声音频信号的第一频率，确定所述移动活动是所述对象正朝向所述触敏表面移动；
至少部分地基于所述频率偏移被确定为指示所述反射超声音频信号的第二频率低于所述超声音频信号的第一频率，确定所述移动活动是所述对象正在远离所述触敏表面移动；或者
至少部分地基于确定在所述超声音频信号的第一频率和所述反射超声音频信号的第二频率之间没有频率偏移，确定所述移动活动是所述对象没有相对于所述触敏表面移动。
CN202080042044.4A 2019-06-28 2020-06-26 使用触敏表面感测和超声感测来检测对象接近度 Pending CN113939789A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/457,293 US11231815B2 (en) 2019-06-28 2019-06-28 Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US16/457,293 2019-06-28
PCT/US2020/039922 WO2020264371A1 (en) 2019-06-28 2020-06-26 Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing

Publications (1)

Publication Number Publication Date
CN113939789A true CN113939789A (zh) 2022-01-14

Family

ID=74043305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080042044.4A Pending CN113939789A (zh) 2019-06-28 2020-06-26 使用触敏表面感测和超声感测来检测对象接近度

Country Status (4)

Country Link
US (2) US11231815B2 (zh)
EP (1) EP3991016A4 (zh)
CN (1) CN113939789A (zh)
WO (1) WO2020264371A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11231815B2 (en) * 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) * 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
WO2021195984A1 (zh) * 2020-03-31 2021-10-07 京东方科技集团股份有限公司 触控装置、触控系统及其控制方法
US11630556B2 (en) * 2020-09-16 2023-04-18 Kyndryl, Inc. Finger control of wearable devices
WO2023044156A1 (en) * 2021-09-20 2023-03-23 Qorvo Us, Inc. System and method for discerning human input on a sensing device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049090A (zh) * 2011-12-20 2013-04-17 微软公司 用户控制姿势检测
CN103210366A (zh) * 2010-09-22 2013-07-17 诺基亚公司 用于基于邻近的输入的装置和方法
US20140071069A1 (en) * 2011-03-29 2014-03-13 Glen J. Anderson Techniques for touch and non-touch user interaction input
US20140181710A1 (en) * 2012-12-26 2014-06-26 Harman International Industries, Incorporated Proximity location system
CN105487725A (zh) * 2014-09-25 2016-04-13 联想(北京)有限公司 电子设备及其控制方法
CN106662938A (zh) * 2014-03-17 2017-05-10 触觉实验室股份有限公司 正交信令触摸用户、手和物体辨别系统和方法
US20180157371A1 (en) * 2014-09-25 2018-06-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
CN108603931A (zh) * 2016-02-09 2018-09-28 椭圆实验室股份有限公司 接近度检测
CN109870697A (zh) * 2018-12-27 2019-06-11 东莞理工学院 一种基于超声波声学的物体检测和分类方法

Family Cites Families (315)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2008028A (en) 1932-06-06 1935-07-16 Chrysler Corp Method of forming hard rubber coatings
US2430005A (en) 1942-06-01 1947-11-04 Ohio Crankshaft Co Differential heat treating
US3354531A (en) 1963-11-13 1967-11-28 Olin Mathieson Process for making hollow articles by differential heat treatment
US4686332A (en) 1986-06-26 1987-08-11 International Business Machines Corporation Combined finger touch and stylus detection system for use on the viewing surface of a visual display device
US4561105A (en) 1983-01-19 1985-12-24 Communication Intelligence Corporation Complex pattern recognition method and system
JPS606497A (ja) 1983-06-27 1985-01-14 オーベクス株式会社 合成樹脂製ペン体の製造方法
JP2827612B2 (ja) 1991-10-07 1998-11-25 富士通株式会社 タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5544265A (en) 1992-05-27 1996-08-06 Apple Computer, Inc. Shape recognizer for graphical computer systems
US5903668A (en) 1992-05-27 1999-05-11 Apple Computer, Inc. Method and apparatus for recognizing handwritten words
WO1994004992A1 (en) 1992-08-20 1994-03-03 Communication Intelligence Corporation A method for dynamic reconstruction of handwritten data
US5596656B1 (en) 1993-10-06 2000-04-25 Xerox Corp Unistrokes for computerized interpretation of handwriting
US6366697B1 (en) 1993-10-06 2002-04-02 Xerox Corporation Rotationally desensitized unistroke handwriting recognition
US20020126161A1 (en) 1994-07-05 2002-09-12 Hitachi, Ltd. Information processing system
US5666438A (en) 1994-07-29 1997-09-09 Apple Computer, Inc. Method and apparatus for recognizing handwriting of different users of a pen-based computer system
US5625818A (en) 1994-09-30 1997-04-29 Apple Computer, Inc. System for managing local database updates published to different online information services in different formats from a central platform
JPH0969137A (ja) 1995-08-31 1997-03-11 Toshiba Corp 部首抽出方法、部首単位文字認識方法及びその装置
US5867163A (en) 1995-12-01 1999-02-02 Silicon Graphics, Inc. Graphical user interface for defining and invoking user-customized tool shelf execution sequence
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US6707451B1 (en) 1996-09-11 2004-03-16 Pilot Precision Kabushiki Kaisha Input pen
JP3624070B2 (ja) 1997-03-07 2005-02-23 キヤノン株式会社 座標入力装置及びその制御方法
US6118435A (en) 1997-04-10 2000-09-12 Idec Izumi Corporation Display unit with touch panel
JP3304290B2 (ja) 1997-06-26 2002-07-22 シャープ株式会社 ペン入力装置及びペン入力方法及びペン入力制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US20070177804A1 (en) 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
KR100595917B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7084884B1 (en) 1998-11-03 2006-08-01 Immersion Corporation Graphical object interactions
US6337698B1 (en) 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US6222465B1 (en) 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US6246395B1 (en) 1998-12-17 2001-06-12 Hewlett-Packard Company Palm pressure rejection method and apparatus for touchscreens
US6313825B1 (en) 1998-12-28 2001-11-06 Gateway, Inc. Virtual input device
US7212197B1 (en) 1999-02-01 2007-05-01 California Institute Of Technology Three dimensional surface drawing controlled by hand motion
AU5062000A (en) 1999-06-11 2001-03-13 Cci Europe A/S A content management computer system for managing publishing content objects
US6492979B1 (en) 1999-09-07 2002-12-10 Elo Touchsystems, Inc. Dual sensor touchscreen utilizing projective-capacitive and force touch sensors
US6504530B1 (en) 1999-09-07 2003-01-07 Elo Touchsystems, Inc. Touch confirming touchscreen utilizing plural touch sensors
US7050955B1 (en) 1999-10-01 2006-05-23 Immersion Corporation System, method and data structure for simulated interaction with graphical objects
US6772396B1 (en) 1999-10-07 2004-08-03 Microsoft Corporation Content distribution system for network environments
US6643663B1 (en) 1999-10-08 2003-11-04 The Belo Company Method and system for operating a content management system
US20060031746A1 (en) 1999-11-11 2006-02-09 Toepfer John R Publishing architecture system and method
US6748425B1 (en) 2000-01-04 2004-06-08 International Business Machines Corporation System and method for browser creation and maintenance of forms
US6671757B1 (en) 2000-01-26 2003-12-30 Fusionone, Inc. Data transfer and synchronization system
US6943665B2 (en) 2000-03-21 2005-09-13 T. Eric Chornenky Human machine interface
FR2811107B1 (fr) 2000-06-29 2002-10-18 Jean Pierre Nikolovski Plaque acoustique interactive de precision
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
WO2002008948A2 (en) 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US7870107B2 (en) 2000-08-04 2011-01-11 Agile Software Corporation Data management system and method for propagating product manufacturing information to disparate information systems
US20020057837A1 (en) 2000-08-14 2002-05-16 Tim Wilkinson Portable operating environment for information devices
WO2002017115A2 (en) 2000-08-21 2002-02-28 Thoughtslinger Corporation Simultaneous multi-user document editing system
US7443396B2 (en) 2000-11-29 2008-10-28 National Instruments Corporation Instrument having a virtual magnifying glass for displaying magnified portions of a signal waveform
US6801192B2 (en) 2000-12-13 2004-10-05 Wacom Company Ltd. Pen-shaped coordinate pointing device
JP3988476B2 (ja) 2001-03-23 2007-10-10 セイコーエプソン株式会社 座標入力装置及び表示装置
US7519546B2 (en) 2001-04-30 2009-04-14 General Electric Company Maintaining synchronization of information published to multiple subscribers
GB0116310D0 (en) 2001-07-04 2001-08-29 New Transducers Ltd Contact sensitive device
US20030048260A1 (en) 2001-08-17 2003-03-13 Alec Matusis System and method for selecting actions based on the identification of user's fingers
US20030132922A1 (en) 2002-01-17 2003-07-17 Harald Philipp Touch screen detection apparatus
AU2003244407A1 (en) 2002-02-06 2003-09-02 Soundtouch Limited Touch pad
US7643015B2 (en) 2002-05-24 2010-01-05 Massachusetts Institute Of Technology Systems and methods for tracking impacts
US8082241B1 (en) 2002-06-10 2011-12-20 Thomson Reuters (Scientific) Inc. System and method for citation processing, presentation and transport
US20060184617A1 (en) 2005-02-11 2006-08-17 Nicholas Frank C Method and system for the creating, managing, and delivery of feed formatted content
US7058902B2 (en) 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
US20040021681A1 (en) 2002-07-30 2004-02-05 Liao Chin-Hua Arthur Dual-touch-screen mobile computer
US7242387B2 (en) 2002-10-18 2007-07-10 Autodesk, Inc. Pen-mouse system
JP4071620B2 (ja) 2002-12-27 2008-04-02 株式会社日立製作所 情報処理装置
US7098896B2 (en) 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
US20040225730A1 (en) 2003-01-17 2004-11-11 Brown Albert C. Content manager integration
US7024548B1 (en) 2003-03-10 2006-04-04 Cisco Technology, Inc. Methods and apparatus for auditing and tracking changes to an existing configuration of a computerized device
US20050289461A1 (en) 2003-05-23 2005-12-29 Manoel Amado System and method for digital content processing and distribution
JP2005018611A (ja) 2003-06-27 2005-01-20 Yamatake Corp コマンド入力装置及びコマンド入力方法
US8200775B2 (en) 2005-02-01 2012-06-12 Newsilike Media Group, Inc Enhanced syndication
US8952895B2 (en) 2011-06-03 2015-02-10 Apple Inc. Motion-based device operations
US20050131778A1 (en) 2003-12-11 2005-06-16 International Business Machines Corporation Customized subscription builder
US8271200B2 (en) 2003-12-31 2012-09-18 Sieracki Jeffrey M System and method for acoustic signature extraction, detection, discrimination, and localization
US7277087B2 (en) 2003-12-31 2007-10-02 3M Innovative Properties Company Touch sensing with touch down and lift off sensitivity
EP1792259A4 (en) 2004-03-15 2009-02-11 Yahoo Inc INTEGRATING CUSTOM PORTALS BY WEB CONTENT SYNDICATION
US7982724B2 (en) 2004-05-20 2011-07-19 3M Innovative Properties Company Multiple region vibration-sensing touch sensor
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7847789B2 (en) 2004-11-23 2010-12-07 Microsoft Corporation Reducing accidental touch-sensitive device activation
WO2006070044A1 (en) 2004-12-29 2006-07-06 Nokia Corporation A method and a device for localizing a sound source and performing a related action
US7499039B2 (en) 2005-01-10 2009-03-03 3M Innovative Properties Company Iterative method for determining touch location
KR101205023B1 (ko) 2005-01-30 2012-11-26 스위프트포인트 리미티드 컴퓨터 마우스 주변 장치
US8620988B2 (en) 2005-03-23 2013-12-31 Research In Motion Limited System and method for processing syndication information for a mobile device
US8661459B2 (en) 2005-06-21 2014-02-25 Microsoft Corporation Content syndication platform
KR100677613B1 (ko) 2005-09-09 2007-02-02 삼성전자주식회사 멀티미디어 기기의 동작을 제어하는 방법 및 그 장치
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7728316B2 (en) 2005-09-30 2010-06-01 Apple Inc. Integrated proximity sensor and light sensor
ATE524784T1 (de) 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US20070100959A1 (en) 2005-10-28 2007-05-03 Yahoo! Inc. Customizing RSS content for use over a network
US20070109279A1 (en) 2005-11-15 2007-05-17 Tyco Electronics Raychem Gmbh Method and apparatus for identifying locations of ambiguous multiple touch events
US20070126716A1 (en) 2005-11-17 2007-06-07 Jonathan Haverly Digital pen
US8725683B2 (en) 2006-01-13 2014-05-13 Microsoft Corporation RSS feed generation using objects
US20070192674A1 (en) 2006-02-13 2007-08-16 Bodin William K Publishing content through RSS feeds
US20070245020A1 (en) 2006-04-18 2007-10-18 Yahoo! Inc. Publishing scheduler for online content feeds
US7966263B2 (en) 2006-05-04 2011-06-21 First Data Corporation Wireless phone RF presentation instrument with sensor control
US7917848B2 (en) 2006-06-14 2011-03-29 Family Learn LLC Online publishing tools
US20100214267A1 (en) 2006-06-15 2010-08-26 Nokia Corporation Mobile device with virtual keypad
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US20080005666A1 (en) 2006-06-29 2008-01-03 Making Everlasting Memories, Llc System and method for publishing information and content
US9069417B2 (en) 2006-07-12 2015-06-30 N-Trig Ltd. Hover and touch detection for digitizer
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US7813774B2 (en) 2006-08-18 2010-10-12 Microsoft Corporation Contact, motion and position sensing circuitry providing data entry associated with keypad and touchpad
US8230361B2 (en) 2006-09-28 2012-07-24 Google Inc. Content feed user interface
EP1909162A1 (en) 2006-10-02 2008-04-09 Koninklijke Philips Electronics N.V. System for virtually drawing on a physical surface
US20080103906A1 (en) 2006-10-26 2008-05-01 Gurvinder Singh Online publishing of multimedia content
US8015189B2 (en) 2006-11-08 2011-09-06 Yahoo! Inc. Customizable connections between media and meta-data via feeds
KR100790896B1 (ko) 2006-11-17 2008-01-03 삼성전자주식회사 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치
US9417758B2 (en) 2006-11-21 2016-08-16 Daniel E. Tsai AD-HOC web content player
US20080155118A1 (en) 2006-12-21 2008-06-26 International Business Machines Corporation Really simple syndication (rss) feed customization
US7876310B2 (en) 2007-01-03 2011-01-25 Apple Inc. Far-field input identification
US8130203B2 (en) 2007-01-03 2012-03-06 Apple Inc. Multi-touch input discrimination
US8054296B2 (en) 2007-01-03 2011-11-08 Apple Inc. Storing baseline information in EEPROM
US7643010B2 (en) 2007-01-03 2010-01-05 Apple Inc. Peripheral pixel noise reduction
US7877707B2 (en) 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
WO2008095137A2 (en) 2007-01-31 2008-08-07 Perceptive Pixel, Inc. Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques
WO2008126347A1 (ja) 2007-03-16 2008-10-23 Panasonic Corporation 音声分析装置、音声分析方法、音声分析プログラム、及びシステム集積回路
US8130202B2 (en) 2007-05-01 2012-03-06 International Business Machines Corporation Infrared touch screen gated by touch force
US8144126B2 (en) 2007-05-07 2012-03-27 Cypress Semiconductor Corporation Reducing sleep current in a capacitance sensing system
US20080288347A1 (en) 2007-05-18 2008-11-20 Technorati, Inc. Advertising keyword selection based on real-time data
US7916126B2 (en) 2007-06-13 2011-03-29 Apple Inc. Bottom-up watershed dataflow method and region-specific segmentation based on historic data to identify patches on a touch sensor panel
US7693806B2 (en) 2007-06-21 2010-04-06 Microsoft Corporation Classification using a cascade approach
US7911453B2 (en) 2007-06-29 2011-03-22 Microsoft Corporation Creating virtual replicas of physical objects
US9041659B2 (en) 2007-07-26 2015-05-26 N-Trig Ltd. System and method for diagnostics of a grid based digitizer
US8564574B2 (en) 2007-09-18 2013-10-22 Acer Incorporated Input apparatus with multi-mode switching function
US8600816B2 (en) 2007-09-19 2013-12-03 T1visions, Inc. Multimedia, multiuser system and associated methods
WO2009047759A2 (en) 2007-10-11 2009-04-16 N-Trig Ltd. Method for palm touch identification in multi-touch digitizing systems
EP2060967B1 (en) 2007-11-02 2009-07-08 Research In Motion Limited Electronic device and tactile touch screen
US8069142B2 (en) 2007-12-06 2011-11-29 Yahoo! Inc. System and method for synchronizing data on a network
GB0724005D0 (en) 2007-12-07 2008-01-16 Univ Glasgow Controller
GB0724149D0 (en) 2007-12-11 2008-01-23 New Transducers Ltd Touch-sensitive device
US8175728B2 (en) 2007-12-13 2012-05-08 Georgia Tech Research Corporation Detecting user gestures with a personal mobile communication device
US20090174679A1 (en) 2008-01-04 2009-07-09 Wayne Carl Westerman Selective Rejection of Touch Contacts in an Edge Region of a Touch Surface
US8413075B2 (en) 2008-01-04 2013-04-02 Apple Inc. Gesture movies
US20090232355A1 (en) 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
US9019237B2 (en) 2008-04-06 2015-04-28 Lester F. Ludwig Multitouch parameter and gesture user interface employing an LED-array tactile sensor that can also operate as a display
US8326796B2 (en) 2008-04-15 2012-12-04 International Business Machines Corporation Data retrieval and data feed generation from data sources
US8125469B2 (en) 2008-04-18 2012-02-28 Synaptics, Inc. Passive stylus for capacitive sensors
CN101339477B (zh) 2008-05-07 2012-04-18 骆航 一种声波接触板系统及其多次扫描的控制方法
EP2289261A4 (en) 2008-06-18 2013-10-02 Blackberry Ltd METHOD AND SYSTEM FOR REPEATING MOBILE CONTENT
US8487884B2 (en) 2008-06-24 2013-07-16 Freescale Semiconductor, Inc. Touch screen detection and diagnostics
US8154524B2 (en) 2008-06-24 2012-04-10 Microsoft Corporation Physics simulation-based interaction for surface computing
US8169414B2 (en) 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US8345014B2 (en) 2008-07-12 2013-01-01 Lester F. Ludwig Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface
US8743091B2 (en) 2008-07-31 2014-06-03 Apple Inc. Acoustic multi-touch sensor panel
US8909810B2 (en) 2008-08-05 2014-12-09 Isabella Products, Inc. Systems and methods for multimedia content sharing
JP5338815B2 (ja) 2008-08-29 2013-11-13 日本電気株式会社 情報入力装置，情報入力方法及び情報入力用プログラム
WO2010024029A1 (ja) 2008-08-29 2010-03-04 日本電気株式会社 コマンド入力装置および携帯用情報機器とコマンド入力方法
US8269744B2 (en) 2008-09-05 2012-09-18 Mitsubishi Electric Corporation Touch screen, touch panel and display device
US20110173235A1 (en) 2008-09-15 2011-07-14 Aman James A Session automated recording together with rules based indexing, analysis and expression of content
US8477463B2 (en) 2008-10-02 2013-07-02 Lsi Corporation Vibration based user input for mobile devices
US20100123666A1 (en) 2008-11-19 2010-05-20 Sony Ericsson Mobile Communications Ab User-modifiable casing for portable communication devices
US9552154B2 (en) 2008-11-25 2017-01-24 Samsung Electronics Co., Ltd. Device and method for providing a user interface
US9477396B2 (en) 2008-11-25 2016-10-25 Samsung Electronics Co., Ltd. Device and method for providing a user interface
DE112009002612B4 (de) 2008-12-04 2015-07-23 Mitsubishi Electric Corporation Anzeige-Eingabevorrichtung, Navigationssystem mit einer Anzeige-Eingabevorrichtung sowie Fahrzeuginformationssystem mit einer Anzeige-Eingabevorrichtung
EP2202619A1 (en) 2008-12-23 2010-06-30 Research In Motion Limited Portable electronic device including tactile touch-sensitive input device and method of controlling same
JP4697558B2 (ja) 2009-03-09 2011-06-08 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US8170346B2 (en) 2009-03-14 2012-05-01 Ludwig Lester F High-performance closed-form single-scan calculation of oblong-shape rotation angles from binary images of arbitrary size using running sums
JP4734435B2 (ja) 2009-03-23 2011-07-27 株式会社スクウェア・エニックス タッチパネル式ディスプレイを持った携帯型ゲーム装置
US20100251112A1 (en) 2009-03-24 2010-09-30 Microsoft Corporation Bimodal touch sensitive digital notebook
US9245033B2 (en) 2009-04-02 2016-01-26 Graham Holdings Company Channel sharing
US20100265185A1 (en) 2009-04-17 2010-10-21 Nokia Corporation Method and Apparatus for Performing Operations Based on Touch Inputs
JP5554517B2 (ja) 2009-04-22 2014-07-23 富士通コンポーネント株式会社 タッチパネルの位置検出方法及びタッチパネル装置
US20100274622A1 (en) 2009-04-28 2010-10-28 Kennedy Meghan J System and Method for Publishing collaboration
US8224392B2 (en) 2009-04-29 2012-07-17 Lg Electronics Inc. Mobile terminal capable of recognizing fingernail touch and method of controlling the operation thereof
US8154529B2 (en) 2009-05-14 2012-04-10 Atmel Corporation Two-dimensional touch sensors
US8386963B2 (en) 2009-05-28 2013-02-26 Microsoft Corporation Virtual inking using gesture recognition
US8345707B2 (en) 2009-06-03 2013-01-01 Voxer Ip Llc Method for synchronizing data maintained at a plurality of nodes
JP5158023B2 (ja) 2009-06-09 2013-03-06 富士通株式会社 入力装置、入力方法及びコンピュータプログラム
FR2946660B1 (fr) 2009-06-10 2011-07-22 Inst Francais Du Petrole Procede de reformage pregeneratif des essences comportant le recyclage d'au moins une partie de l'effluent de la phase de reduction du catalyseur.
US20110003550A1 (en) 2009-07-03 2011-01-06 Sony Ericsson Mobile Communications Ab Tactile input for accessories
US8941625B2 (en) 2009-07-07 2015-01-27 Elliptic Laboratories As Control using movements
JP2011028555A (ja) 2009-07-27 2011-02-10 Sony Corp 情報処理装置および情報処理方法
US8723827B2 (en) 2009-07-28 2014-05-13 Cypress Semiconductor Corporation Predictive touch surface scanning
FR2948787B1 (fr) 2009-07-29 2011-09-09 Commissariat Energie Atomique Dispositif et procede de localisation d'un contact localement deformant sur une surface tactile deformable d'un objet
US8275590B2 (en) 2009-08-12 2012-09-25 Zugara, Inc. Providing a simulation of wearing items such as garments and/or accessories
US8441790B2 (en) 2009-08-17 2013-05-14 Apple Inc. Electronic device housing as acoustic input device
US20110057885A1 (en) 2009-09-08 2011-03-10 Nokia Corporation Method and apparatus for selecting a menu item
US8269511B2 (en) 2009-09-08 2012-09-18 Synaptics Incorporated Sensing and defining an input object
GB0916707D0 (en) 2009-09-23 2009-11-04 Elliptic Laboratories As Acoustic motion determination
US9696856B2 (en) 2009-09-29 2017-07-04 Elo Touch Solutions, Inc. Method and apparatus for detecting simultaneous touch events on a bending-wave touchscreen
US8514187B2 (en) 2009-09-30 2013-08-20 Motorola Mobility Llc Methods and apparatus for distinguishing between touch system manipulators
US8970507B2 (en) 2009-10-02 2015-03-03 Blackberry Limited Method of waking up and a portable electronic device configured to perform the same
KR20110061227A (ko) 2009-12-01 2011-06-09 삼성전기주식회사 햅틱디바이스
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
GB2468742B (en) 2009-12-22 2011-01-12 Celona Technologies Ltd Error prevention for data replication
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US8432368B2 (en) 2010-01-06 2013-04-30 Qualcomm Incorporated User interface methods and systems for providing force-sensitive input
US8842096B2 (en) 2010-01-08 2014-09-23 Crayola Llc Interactive projection system
US8487889B2 (en) 2010-01-15 2013-07-16 Apple Inc. Virtual drafting tools
US8875038B2 (en) 2010-01-19 2014-10-28 Collarity, Inc. Anchoring for content synchronization
US8624878B2 (en) 2010-01-20 2014-01-07 Apple Inc. Piezo-based acoustic and capacitive detection
KR101678549B1 (ko) 2010-02-02 2016-11-23 삼성전자주식회사 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스
US8531414B2 (en) 2010-02-03 2013-09-10 Bump Technologies, Inc. Bump suppression
US20120056846A1 (en) 2010-03-01 2012-03-08 Lester F. Ludwig Touch-based user interfaces employing artificial neural networks for hdtp parameter and symbol derivation
US10146427B2 (en) 2010-03-01 2018-12-04 Nri R&D Patent Licensing, Llc Curve-fitting approach to high definition touch pad (HDTP) parameter extraction
US9003334B2 (en) 2010-03-05 2015-04-07 Adobe Systems Incorporated Editing content using multiple touch inputs
US8327029B1 (en) 2010-03-12 2012-12-04 The Mathworks, Inc. Unified software construct representing multiple synchronized hardware systems
US20110231290A1 (en) 2010-03-17 2011-09-22 Ebyline, Inc. Online marketplace portal for content publishers and content creators
US8738563B2 (en) 2010-03-28 2014-05-27 International Business Machines Corporation Comparing data series associated with two systems to identify hidden similarities between them
US8326880B2 (en) 2010-04-05 2012-12-04 Microsoft Corporation Summarizing streams of information
US8996563B2 (en) 2010-04-06 2015-03-31 Tokutek, Inc. High-performance streaming dictionary
US9092125B2 (en) 2010-04-08 2015-07-28 Avaya Inc. Multi-mode touchscreen user interface for a multi-state touchscreen device
US20110248948A1 (en) 2010-04-08 2011-10-13 Research In Motion Limited Touch-sensitive device and method of control
US8576253B2 (en) 2010-04-27 2013-11-05 Microsoft Corporation Grasp simulation of a virtual object
US8595234B2 (en) 2010-05-17 2013-11-26 Wal-Mart Stores, Inc. Processing data feeds
US8913018B2 (en) 2010-06-21 2014-12-16 N-Trig Ltd. System and method for finger resolution in touch screens
US8907929B2 (en) 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
US8412689B2 (en) 2010-07-07 2013-04-02 Microsoft Corporation Shared log-structured multi-version transactional datastore with metadata to enable melding trees
CN102314295A (zh) 2010-07-08 2012-01-11 富泰华工业（深圳）有限公司 屏幕解锁装置及方法
US8754862B2 (en) 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
FR2962844B1 (fr) 2010-07-16 2013-08-30 Commissariat Energie Atomique Dispositif d'aimant supraconducteur compact
US9459733B2 (en) 2010-08-27 2016-10-04 Inputdynamics Limited Signal processing systems
WO2012030958A1 (en) 2010-08-31 2012-03-08 Activate Systems, Inc. Methods and apparatus for improved motion capture
US8495085B2 (en) 2010-09-27 2013-07-23 International Business Machines Corporation Supporting efficient partial update of hierarchically structured documents based on record storage
US9122341B2 (en) 2010-11-08 2015-09-01 Microsoft Technology Licensing, Llc Resolving merged touch contacts
KR101314262B1 (ko) 2010-11-11 2013-10-14 (주) 에스엔아이솔라 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법
US20120120000A1 (en) 2010-11-12 2012-05-17 Research In Motion Limited Method of interacting with a portable electronic device
US8884916B2 (en) 2010-12-09 2014-11-11 Synaptics Incorporated System and method for determining user input using polygons
US8655889B2 (en) 2010-12-10 2014-02-18 Microsoft Corporation Autonomous mobile blogging
US8660978B2 (en) 2010-12-17 2014-02-25 Microsoft Corporation Detecting and responding to unintentional contact with a computing device
US8988398B2 (en) 2011-02-11 2015-03-24 Microsoft Corporation Multi-touch input device with orientation sensing
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
CN102153776B (zh) 2011-01-04 2013-04-03 沈勇 采用高分子量聚烯烃制备多孔薄膜的方法及其产品和应用
CA2826390A1 (en) 2011-02-08 2012-08-16 Haworth, Inc. Multimodal touchscreen interaction apparatuses, methods and systems
KR101220633B1 (ko) 2011-03-04 2013-01-10 한국과학기술원 소리를 이용한 터치세기 검출방법, 이를 위한 입력장치 및 사용자 단말
CA2802746C (en) 2011-03-04 2014-08-19 Scribble Technologies Inc. System and methods for facilitating the synchronization of data
US9182882B2 (en) 2011-04-12 2015-11-10 Autodesk, Inc. Dynamic creation and modeling of solid models
US20120280927A1 (en) 2011-05-04 2012-11-08 Ludwig Lester F Simple touch interface and hdtp grammars for rapid operation of physical computer aided design (cad) systems
JP5803249B2 (ja) 2011-05-06 2015-11-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9898122B2 (en) 2011-05-12 2018-02-20 Google Technology Holdings LLC Touch-screen device and method for detecting and ignoring false touch inputs near an edge of the touch-screen device
US8773374B2 (en) 2011-05-13 2014-07-08 Blackberry Limited Identification of touch point on touch screen device
TWI478041B (zh) 2011-05-17 2015-03-21 Elan Microelectronics Corp 於觸控面板上識別手掌區域方法及其更新方法
US8896555B2 (en) 2011-05-20 2014-11-25 Robert H Duffield Touch alphabet and communication system
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8890823B2 (en) 2012-01-09 2014-11-18 Motorola Mobility Llc System and method for reducing occurrences of unintended operations in an electronic device
US8776213B2 (en) 2011-07-07 2014-07-08 Bottomline Technologies (De), Inc. Mobile application security system and method
US20130009896A1 (en) 2011-07-09 2013-01-10 Lester F. Ludwig 3d finger posture detection and gesture recognition on touch surfaces
US8199126B1 (en) 2011-07-18 2012-06-12 Google Inc. Use of potential-touch detection to improve responsiveness of devices
US9075561B2 (en) 2011-07-29 2015-07-07 Apple Inc. Systems, methods, and computer-readable media for managing collaboration on a virtual work of art
US9052772B2 (en) 2011-08-10 2015-06-09 Lester F. Ludwig Heuristics for 3D and 6D touch gesture touch parameter calculations for high-dimensional touch parameter (HDTP) user interfaces
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
WO2013048461A1 (en) 2011-09-30 2013-04-04 Intel Corporation Mobile device rejection of unintentional touch sensor contact
US9361342B2 (en) 2011-10-10 2016-06-07 Hewlett Packard Enterprise Development Lp Query to streaming data
KR102027601B1 (ko) 2011-10-18 2019-10-01 카네기 멜론 유니버시티 터치 감지 표면 상의 터치 이벤트를 분류하는 방법 및 장치
JP5565399B2 (ja) 2011-10-24 2014-08-06 ヤマハ株式会社 電子音響信号発生装置およびその制御方法を実現するためのプログラム
US8769524B2 (en) 2011-12-09 2014-07-01 Disney Enterprises, Inc. HTML directed adaptive features for mobile applications
US20130179773A1 (en) 2011-12-12 2013-07-11 Yu-Tai Lee Method for online editing and publishing and device thereof
US9684379B2 (en) 2011-12-23 2017-06-20 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US20130176270A1 (en) 2012-01-09 2013-07-11 Broadcom Corporation Object classification for touch panels
KR20130102298A (ko) 2012-03-07 2013-09-17 주식회사 팬택 휴대용 단말기 및 휴대용 단말기의 디스플레이 제어 방법
US9046958B2 (en) 2012-03-15 2015-06-02 Nokia Technologies Oy Method, apparatus and computer program product for user input interpretation and input error mitigation
AU2013239179B2 (en) 2012-03-26 2015-08-20 Apple Inc. Enhanced virtual touchpad and touchscreen
US9430107B2 (en) 2012-03-30 2016-08-30 Microchip Technology Incorporated Determining touch locations and forces thereto on a touch and force sensing surface
KR101871714B1 (ko) 2012-04-02 2018-06-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8814674B2 (en) 2012-05-24 2014-08-26 Supercell Oy Graphical user interface for a gaming system
US20130285942A1 (en) 2012-04-26 2013-10-31 Acer Incorporated Touch detection method and touch control device using the same
CN103376932B (zh) 2012-04-26 2017-08-18 富泰华工业（深圳）有限公司 防误操作系统及方法
TWI493417B (zh) 2012-05-18 2015-07-21 Egalax Empia Technology Inc 偵測電容式觸摸屏的偵測裝置與方法
US8902183B2 (en) 2012-05-21 2014-12-02 International Business Machines Corporation Display devices and methods for detecting user-intended touch input
US20130328813A1 (en) 2012-06-11 2013-12-12 Inputek Co., Ltd. Unlocking Mechanism for a Touch Screen Device
CN102789362A (zh) 2012-06-29 2012-11-21 鸿富锦精密工业（深圳）有限公司 电子设备及其智能计算控制方法
US10437392B2 (en) 2012-07-05 2019-10-08 Samsung Electronics Co., Ltd. Apparatus and method for detecting hard and soft touch by using acoustic sensors
US9078066B2 (en) 2012-07-18 2015-07-07 Sentons Inc. Touch input surface speaker
WO2014017777A1 (en) 2012-07-26 2014-01-30 Lg Electronics Inc. Mobile terminal and control method thereof
JP2014043548A (ja) 2012-07-31 2014-03-13 Nitto Denko Corp 粘着剤組成物、粘着剤層、粘着シート及び光学フィルム
IL221862A (en) 2012-09-10 2015-03-31 Elbit Systems Ltd Attacking a physical touch event on optical touch screens
WO2014047161A2 (en) 2012-09-18 2014-03-27 Google Inc. Posture-adaptive selection
US9164658B2 (en) 2012-10-12 2015-10-20 Cellco Partnership Flexible selection tool for mobile devices
US9632605B2 (en) 2012-10-17 2017-04-25 Perceptive Pixel, Inc. Input classification for multi-touch systems
US20140104191A1 (en) 2012-10-17 2014-04-17 Perceptive Pixel, Inc. Input Classification for Multi-Touch Systems
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US20140168141A1 (en) 2012-12-18 2014-06-19 Logitech Europe S.A. Method and system for discriminating stylus and touch interactions
US9019244B2 (en) 2013-02-28 2015-04-28 Qeexo, Co. Input tools having viobro-acoustically distinct regions and computing device for use with the same
KR102118381B1 (ko) 2013-03-06 2020-06-04 엘지전자 주식회사 이동 단말기
CN103150019B (zh) 2013-03-12 2016-12-28 深圳市国华识别科技开发有限公司 一种手写输入系统及方法
US9436282B2 (en) 2013-03-14 2016-09-06 Immersion Corporation Contactor-based haptic feedback generation
US9122332B2 (en) 2013-03-15 2015-09-01 Cellco Partnership Automatic detection for touch through glove
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
JP5983503B2 (ja) 2013-04-03 2016-08-31 カシオ計算機株式会社 情報処理装置及びプログラム
US10082935B2 (en) 2013-04-15 2018-09-25 Carnegie Mellon University Virtual tools for use with touch-sensitive surfaces
US20140331313A1 (en) 2013-05-03 2014-11-06 Vialab, Inc. Authentication of signature using acoustic wave analysis
CA2947936C (en) 2013-05-04 2023-02-21 Christopher Decharms Mobile security technology
US10599250B2 (en) 2013-05-06 2020-03-24 Qeexo, Co. Using finger touch types to interact with electronic devices
US9405379B2 (en) 2013-06-13 2016-08-02 Microsoft Technology Licensing, Llc Classification of user input
US9411445B2 (en) 2013-06-27 2016-08-09 Synaptics Incorporated Input object classification
US20150035759A1 (en) 2013-08-02 2015-02-05 Qeexo, Co. Capture of Vibro-Acoustic Data Used to Determine Touch Types
TWI514229B (zh) 2013-11-22 2015-12-21 Elan Microelectronics Corp 圖形編輯方法以及電子裝置
CN104735340A (zh) 2013-12-24 2015-06-24 索尼公司 备用的相机功能控制
CN105247461B (zh) 2014-02-12 2019-05-31 齐科斯欧公司 为触摸屏交互确定俯仰和偏航
US20150242009A1 (en) 2014-02-26 2015-08-27 Qeexo, Co. Using Capacitive Images for Touch Type Classification
US9652044B2 (en) 2014-03-04 2017-05-16 Microsoft Technology Licensing, Llc Proximity sensor-based interactions
KR20150118813A (ko) 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
CN104020878A (zh) 2014-05-22 2014-09-03 小米科技有限责任公司 触摸输入控制方法及装置
US9696859B1 (en) 2014-06-17 2017-07-04 Amazon Technologies, Inc. Detecting tap-based user input on a mobile device based on motion sensor data
US9558455B2 (en) 2014-07-11 2017-01-31 Microsoft Technology Licensing, Llc Touch classification
KR20160071264A (ko) 2014-12-11 2016-06-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9785344B2 (en) 2014-08-28 2017-10-10 Winbond Electronics Corp. Portable electronic apparatus and touch detecting method thereof
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US9430085B2 (en) 2014-09-12 2016-08-30 Microsoft Technology Licensing, Llc Classification of touch input as being unintended or intended
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US9864453B2 (en) 2014-09-22 2018-01-09 Qeexo, Co. Method and apparatus for improving accuracy of touch screen event analysis by use of edge classification
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10712858B2 (en) 2014-09-25 2020-07-14 Qeexo, Co. Method and apparatus for classifying contacts with a touch sensitive device
US10095402B2 (en) 2014-10-01 2018-10-09 Qeexo, Co. Method and apparatus for addressing touch discontinuities
US20160117015A1 (en) 2014-10-28 2016-04-28 Stmicroelectronics S.R.L. Microelectromechanical vibration sensor
GB201421427D0 (en) * 2014-12-02 2015-01-14 Elliptic Laboratories As Ultrasonic proximity and movement detection
US9817956B2 (en) 2014-12-12 2017-11-14 Excalibur Ip, Llc User authentication and data encryption
WO2017004262A1 (en) 2015-07-01 2017-01-05 Qeexo, Co. Determining pitch for proximity sensitive interactions
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
KR102489876B1 (ko) 2015-11-26 2023-01-18 삼성전자주식회사 알림을 제공하기 위한 방법 및 그 전자 장치
US11334196B2 (en) 2017-05-24 2022-05-17 Apple Inc. System and method for acoustic touch and force sensing
US11231815B2 (en) * 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210366A (zh) * 2010-09-22 2013-07-17 诺基亚公司 用于基于邻近的输入的装置和方法
US20140071069A1 (en) * 2011-03-29 2014-03-13 Glen J. Anderson Techniques for touch and non-touch user interaction input
CN103049090A (zh) * 2011-12-20 2013-04-17 微软公司 用户控制姿势检测
US20140181710A1 (en) * 2012-12-26 2014-06-26 Harman International Industries, Incorporated Proximity location system
CN106662938A (zh) * 2014-03-17 2017-05-10 触觉实验室股份有限公司 正交信令触摸用户、手和物体辨别系统和方法
CN105487725A (zh) * 2014-09-25 2016-04-13 联想(北京)有限公司 电子设备及其控制方法
US20180157371A1 (en) * 2014-09-25 2018-06-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
CN108603931A (zh) * 2016-02-09 2018-09-28 椭圆实验室股份有限公司 接近度检测
CN109870697A (zh) * 2018-12-27 2019-06-11 东莞理工学院 一种基于超声波声学的物体检测和分类方法

Also Published As

Publication number Publication date
US11543922B2 (en) 2023-01-03
US11231815B2 (en) 2022-01-25
EP3991016A1 (en) 2022-05-04
EP3991016A4 (en) 2023-07-19
US20200409489A1 (en) 2020-12-31
WO2020264371A1 (en) 2020-12-30
US20220100298A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
US11009989B2 (en) Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US11543922B2 (en) Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US10282024B2 (en) Classifying contacts or associations with a touch sensitive device
CN106687967B (zh) 用于对与触敏设备的接触进行分类的方法和装置
EP3191922B1 (en) Classification of touch input as being unintended or intended
US9244545B2 (en) Touch and stylus discrimination and rejection for contact sensitive computing devices
KR20190054100A (ko) 터치 센서 상의 입력을 검출하고 특징화하기 위한 시스템
US11592423B2 (en) Adaptive ultrasonic sensing techniques and systems to mitigate interference
EP3215981B1 (en) Nonparametric model for detection of spatially diverse temporal patterns
WO2020247965A1 (en) Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
CN116507995A (zh) 带有虚拟轨迹板的触摸屏显示器
KR20210095282A (ko) 사용자 인증 방법 및 이 방법을 실행하는 디바이스
EP3521983A1 (en) Classifying contacts or associations with a touch sensitive device
US20160357301A1 (en) Method and system for performing an action based on number of hover events
NL2031789B1 (en) Aggregated likelihood of unintentional touch input
CN117157611A (zh) 触摸屏和轨迹板触摸检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40060231

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination