CN102741919B - 用于使用声学信号提供用户接口的方法和设备、包括用户接口的装置 - Google Patents

用于使用声学信号提供用户接口的方法和设备、包括用户接口的装置 Download PDF

Info

Publication number
CN102741919B
CN102741919B CN201180008099.4A CN201180008099A CN102741919B CN 102741919 B CN102741919 B CN 102741919B CN 201180008099 A CN201180008099 A CN 201180008099A CN 102741919 B CN102741919 B CN 102741919B
Authority
CN
China
Prior art keywords
acoustic signal
surperficial
signal
user
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180008099.4A
Other languages
English (en)
Other versions
CN102741919A (zh
Inventor
蔡承澈
李善栽
张庆娥
李昊燮
崔贤真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102741919A publication Critical patent/CN102741919A/zh
Application granted granted Critical
Publication of CN102741919B publication Critical patent/CN102741919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Health & Medical Sciences (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供了使用声学信号的用户接口。具有所述用户接口的装置包括用于获取在所述装置的外部产生的表面声学信号的传感器以及至少一个处理器。所述处理器通过分析表面声学信号的特征来对表面声学信号的模式进行分类以及基于表面声学信号的模式识别与表面声学信号对应的用户的输入信号。

Description

用于使用声学信号提供用户接口的方法和设备、包括用户接口的装置
技术领域
以下描述涉及使用声学信号(acoustic signal)(例如，表面声学信号)提供用户接口。
背景技术
主要以操作键、按钮、鼠标或触摸屏的形式开发了用于提供用户接口以操作电子装置来执行功能的设备。由于传统用户接口提供设备代表性地包括采用诸如按钮和屏幕的装置的电子电路，因此存在有限的用户可输入命令的区域。换言之，存在没有安装这种电子电路的输入装置的区域无法用作接口(即，无法用作输入范围)的限制。此外，当将接口设备装入弯曲区域(而不是平坦平面)以及一般对象(诸如一件家具或墙壁)时，用户接口需要面对冲击和污染物是耐用的。但是，难以实现这样的质量。
传统用户接口提供设备在固定到电子装置的预定区域的状态下操作。为此，如果电子装置的接口(即，输入范围)被布置在用户难以达到的位置(诸如衣服内或包内)，则接口变得不便于操作。具体地讲，当电子装置具有有限量的空间(例如，在移动装置中)时，难以确保充足的输入空间。
因此，存在对于能够克服接口的输入空间的限制并且比传统的接口装置减少成本的接口技术的需求。
发明内容
技术问题
在一个总体方面，提供了一种用于提供装置的用户接口的设备，包括：表面声学信号获取单元，获取从布置于所述装置的外部的介质产生的表面声学信号；模式识别单元，通过分析表面声学信号的特征来识别表面声学信号的模式；用户输入识别单元，基于表面声学信号的模式识别用户的输入信号。
所述介质可通过接触所述装置的对象提供给用户。
表面声学信号获取单元可包括：接触接触器，通过接触所述对象来接收表面声学信号；声学传感器，将表面声学信号转换为数字信号。
所述介质可通过所述装置的外部壳体而提供给用户。
模式识别单元可包括：特征提取器，提取时域特征和/或频域特征；模式分析器，基于时域特征和/或频域特征分析表面声学信号的模式。
时域特征可包括：表面声学信号的幅度、过零的分布、能量的量、表面声学信号的长度或表面声学信号的形状。
模式识别单元可使用测试信号确定所述介质的类型，并且可基于所述介质的类型识别表面声学信号的模式。
模式识别单元可基于表面声学信号的频域特征来估计产生表面声学信号的工具，并且可基于工具确定表面声学信号的模式。
用户输入识别单元可对与表面声学信号的模式匹配的最小有意义单元进行分类，并基于最小有意义单元识别用户的输入信号。
用户输入识别单元可通过从模式识别单元顺序接收多个模式并且组合与所述多个模式对应的最小有意义单元，来识别用户的输入信号。
模式可包括与表面声学信号的方向对应的信息，用户输入识别单元可基于与表面声学信号的方向对应的信息，识别用户的输入信号。
所述设备还可包括：模式模型存储单元，存储根据介质和/或输入工具的类型分类的表面声学信号的模式模型。
用户的输入信号可包括通过所述介质输入的字符、图形、拖动、触摸事件或字符、图形、拖动、触摸事件的任意组合。
在另一总体方面，一种提供装置的用户接口的方法包括以下步骤：获取表面声学信号；提取表面声学信号的时域特征和/或频域特征；基于所述时域特征和/或频域特征分析表面声学信号的模式；以及，基于表面声学信号的模式，识别用户的输入信号。
分析表面声学信号的模式的步骤可包括：通过使用测试信号，来确定介质的类型；基于表面声学信号的频域特征，来估计产生表面声学信号的工具的类型；基于所述介质和/或产生表面声学信号的工具的类型，识别表面声学信号的模式。
识别的步骤可包括：顺序接收多个模式；通过组合与模式对应的最小有意义单元，来识别用户的输入信号。
在另一总体方面，一种提供装置的用户接口的方法包括以下步骤：执行从布置于所述装置的外部的介质接收用户的输入信号的外部输入模式；响应于从所述介质接收到表面声学信号，通过分析表面声学信号的特征来识别与所述介质对应的表面声学信号的模式；以及，基于表面声学信号的模式，识别用户的输入信号。
在另一总体方面，一种提供装置的用户接口的方法包括如下步骤：执行从布置于所述装置的外部的介质接收用户的输入信号的外部输入模式；响应于从所述介质接收到表面声学信号，确定表面声学信号的方向；以及，执行装置的与表面声学信号的方向对应的功能。
可通过表面声学信号的波形的形状、第一声学传感器接收的第一表面声学信号与第二声学传感器接收的第二声学表面信号之间的时间差、第一表面声学信号和第二表面声学信号的大小的变化，或者通过表面声学信号的波形的形状、第一声学传感器接收的第一表面声学信号与第二声学传感器接收的第二声学表面信号之间的时间差、第一表面声学信号和第二表面声学信号的大小的变化的任意组合，来确定表面声学信号的方向。
在另一总体方面，一种设置有用户接口的装置，包括：传感器，获取在所述装置的外部产生的表面声学信号；至少一个处理器，被配置为通过分析表面声学信号的特征来对表面声学信号的模式进行分类以及基于表面声学信号的模式识别与表面声学信号对应的用户的输入信号。
在另一总体方面，一种提供装置的用户接口的方法包括如下步骤：从所述装置的外部接收用户产生的声学信号；分析获取的声学信号；以及，基于分析的声学信号分析用户的输入信号。
可通过介质与用户的手之间的接触，而产生声学信号。
可通过介质与用户使用的工具之间的接触，而产生声学信号。
可在所述装置与用户接触的介质接触的情况下，获取声学信号。
所述声学信号可以是表面声学信号。
在另一总体方面，提供了一种设置有用户接口的装置，包括：传感器，感测表面声学信号；识别单元，识别与所述表面声学信号对应的用户输入。
所述表面声学信号可从围绕所述装置的壳体发生。
所述表面声学信号可从远离所述装置的点发生。
识别单元可根据位置模板匹配方案和/或到达的时间差方案识别用户输入。
在另一总体方面，一种提供装置的用户接口的方法的步骤包括：感测表面声学信号；以及，识别与所述表面声学信号对应的用户输入。
识别用户输入的步骤可包括：分析所述表面声学信号，以确定用于产生所述表面声学信号的工具。
识别用户输入的步骤可包括：确定在所属装置外部的介质的类型，并根据介质的类型分析表面声学信号。
至少两个传感器可被用于感测表面声学信号，可根据所述至少两个传感器之间的空间差执行识别用户输入。
其它特征和方面将从以下详细的描述、附图和权利要求变得清楚。
附图说明
图1是示出使用表面声学信号(surface acoustic signal)的扩展的接口的示例的示图。
图2是示出用户接口提供设备的示例的示图。
图3是示出在图1和图2中示出的表面声学信号获取单元的示例结构的示图。
图4是示出示例用户接口提供设备的结构的示图。
图5和图6是示出从图4的滤波器和简化器输出的信号的示例的示图。
图7是示出最小有意义单元的示例。
图8至图11是示出根据输入工具的表面声学信号的频率特征的示图。
图12是在用户的输入信号为字符的情况下识别用户的输入信号的示例的示图。
图13和图14中的每一个是示出与直线对应的示例波形的示图。
图15是在至少两个声学传感器设置在用户接口提供设备的情况下获得的表面声学信号的示例的示图。
图16是示出装置的示例壳体的示图。
图17是示出提供装置的用户接口的方法的示例的流程图。
图18是示出图17的分析表面声学信号的模式(pattern)的操作的示例的流程图。
图19是示出提供装置的用户接口的方法的另一示例的流程图。
图20是示出提供装置的用户接口的方法的另一示例的流程图。
贯穿附图和详细描述，除非另有描述，相同附图标号将被理解为指示相同元件、特征和结构。为了清楚、示出和便利，可夸大这些元件的相对大小和示出。
具体实施方式
提供以下详细描述，以帮助读者获得在此描述的方法、设备和/或系统的全面理解。因此，在此描述的系统、设备和/或方法的各种改变、修改和等效物将被建议给本领域的普通技术人员。描述的操作的处理是示例，但是，操作的顺序不限于在此阐述的顺序，并且除必需以特定顺序发生的操作之外，可以以本领域所知的方式改变操作的顺序。此外，为了更加清楚和简明，可省略公知功能和结构的描述。
在以下描述中，“装置”可包括便携式装置、电子装置等。用户接口提供设备可以是装置的部件。即，用户接口提供设备可提供装置的用户接口。术语“装置”可包括用户可操作的所有装置，例如，移动终端、平板PC、便携式媒体播放器、家电等。
图1是示出使用表面声学信号(surface acoustic signal)的接口的示例的示图。
参照图1，装置120可被布置在包括特定介质的对象110之上。对象110可以是，例如，桌子、书桌等。通过例如用户的手势导致的表面声学信号可从对象110的表面产生。用户的手势可包括各种触摸事件，诸如，拖动、用于字符输入的轻敲等。表面声学信号可不考虑介质的形状而通过所有类型的介质(诸如，空气、玻璃、金属、木材等)传播。
在参照图1描述的示例中，通过用户的手势产生的表面声学信号可对应于用于操作装置120的“用户输入信号”。装置120可执行与用户的输入信号对应的功能。为了执行与用户的输入信号对应的功能，所述装置可配备有用于通过扩展的接口获取用户的输入信号的功能以及用于识别用户的输入信号的功能。换言之，可离开所述装置自身的物理边界扩展可用的接口。装置120可通过识别用户的输入信号来精确地知道用户的意图。
在图1的示例中，装置120可包括：传感器，用于获取表面声学信号；至少一个处理器，被配置为识别用户的输入信号。因此，装置120还可包括显示器，用于指示用户的输入信号或显示与所述输入信号对应的操作和/或功能。在该示例中，所述至少一个处理器可被配置为通过分析表面声学信号的特征来分类表面声学信号的模式，且可基于表面声学信号的模式识别用户的输入信号。换言之，通过用户的手势产生的表面声学信号可被用作用于执行操作装置120的命令、字符输入和/或其它各种功能的输入信号。
装置120从独立于装置120的介质获取用户产生的声学信号，分析获取的声学信号，并基于分析的声学信号识别用户的输入信号。可通过介质与用户的手之间的接触而产生声学信号。此外，可通过介质与用户使用的工具之间的接触而产生声学信号。用户使用的工具可以是例如触控笔或用于模仿书写、绘画等的其他这样的物体。声学信号可以是从介质的表面产生的表面声学信号。
图2是示出用户接口提供设备的示例的示图。
图2中示出的用户接口提供设备可被设置在图1的装置120中。
参照图2，用户接口提供设备200可包括表面声学信号获取单元210、模式识别单元220和用户输入识别单元230。用户接口提供设备200还可包括模式模型存储单元240。
表面声学信号获取单元210可获取从布置在所述装置的外部的介质产生的表面声学信号。所述介质可对应于通过接触装置的对象提供给用户的扩展的接口。可选择地，或与这样的扩展的接口结合，所述介质可通过装置的外部壳体被提供给用户。表面声学信号获取单元210可包括至少一个声学传感器。在这种情况下，可响应于装置120与介质接触而容易获取表面声学信号，并且即使所述装置120与所述介质物理地分离时所述表面声学信号也可以是可获取的。例如，即使在由于所述装置120被用户持握而与介质物理地分离的情况下，也可以获取表面声学信号。
模式识别单元220可分析表面声学信号的特征，从而模式识别单元220可识别与介质对应的表面声学信号的模式。模式识别单元220可包括：特征提取器221，用于提取表面声学信号的时域特征和/或频域特征；模式分析器223，用于基于表面声学信号的时域特征和/或频域特征分析表面声学信号的模式。模式识别单元220还可包括用于执行与噪声去除、信号放大、信号简化(simplification)等相关的操作的表面声学信号处理器(未示出)。时域特征可包括表面声学信号的幅度、过零的分布、能量的量、表面声学信号的长度、表面声学信号的形状等。
模式识别单元220可执行“表面声学信号的特征的提取”、“产生表面声学信号的工具的类型的估计”、“传播表面声学信号的介质的类型的估计”。因此，尽管输入工具或介质变化，模式识别单元220可精确识别表面声学信号的模式。
用户输入识别单元230可基于表面声学信号识别用户的输入信号。用户输入识别单元230可对与表面声学信号的模式匹配的“最小有意义单元”分类，并基于“最小有意义单元”识别用户的输入信号。另外，用户输入识别单元230可通过从模式识别单元230顺序地接收多个模式并组合与所述多个模式分别对应的“最小有意义单元”，来识别用户的输入信号。识别的用户输入信号可被发送到安装到所述装置的显示器和控制器。如果用户的输入信号是字符，则由用户输入的字符可被显示。如果用户的输入信号是用于执行特定功能的命令，则控制单元可执行所述功能。
模式模型存储单元240可存储通过介质和输入工具的类型分类的表面声学信号的模式模型。换言之，模式模型存储单元240可存储通过各种介质和各种输入工具产生的每一个表面声学信号的模式模型。例如，对于与木质桌面和塑料触控笔对应的各种字母和/或数字的模式模型可被存储在模式模型存储单元240中。
下面，将进一步描述用户接口提供设备200所执行的“表面声学信号的特征的提取”、“产生表面声学信号的工具的类型的估计”和“传播表面声学信号的介质的类型的估计”。然后，将进一步描述用户接口提供设备200所执行的“用户的输入信号的识别”。
<1.表面声学信号的特征的提取>
在表面声学信号的特征的提取的处理中，可从表面声学信号提取对于表面声学信号的特征的分析有益的特征。根据示例，可通过硬件装置(诸如数字信号处理器(DSP))、软件装置、对于硬件装置编程的单元等执行所述提取。为了方便描述，在此假设特征提取器221执行表面声学信号的特征的提取。
表面声学信号的特征可被分类为具有特定含义的“最小有意义单元”。“最小有意义单元”被定义为对于用户的输入信号的识别有益的最基本形式。如将在本说明书中稍后更加详细讨论的图6所示，“最小有意义单元”可包括表面声学信号的单元，其中，每一个单元具有最小含义，诸如，点、圆、直线、字母等。
当用户使用对象(诸如，手和/或笔)在介质的表面上人为地产生声音时，可获取表面声学信号。为了表面声学信号的特征的提取，所述信号可被分析且可被划分为最小有意义单元。各种最小有意义单元中的每一个可具有唯一模式。因此，特征提取器221可以能够从表面声学信号提取特征并使用提取的特征对最小有意义单元分类。
根据示例，最小有意义单元可通过以下描述的5个处理被提取。
1.可从获取的表面声学信号分离最小有意义单元的信号S。
2.最小有意义单元的信号S可被划分为N个帧。
3.N个帧中的每一个帧的特征值CN可被提取和存储。
4.所有获取的表面声学信号的特征值CT可被提取和存储。
5.响应于最小有意义单元的模式模型被存储在数据库(DB)中，可使用值CN和CT产生机器学习模型M且可将所述机器学习模型M存储在DB中。
上述5个处理可被用于将最小有意义单元的模式模型存储在DB中。换言之，不同介质和输入工具的每一个模式模型可被存储在DB中。当前正被输入的表面声学信号的模式可通过比较从当前正被输入的表面声学信号提取的特征与存储在DB中的“最小有意义单元的模式模型”被识别。
在上述5个处理中，术语“特征值”可以是对应信号的时域特征的时间归一化值。此外，“特征值”可以是对应信号的频域特征。可通过适当组合时域特征和频域特征并使用各种机器学习技术，来产生“最小有意义单元的模式模型”。时域特征可包括幅度之间的标准偏差和波斜率(wave slope)、幅度的动态范围、幅度的分布、过零的分布和变化、能量之和及能量的变化、信号长度等。
例如，声学信号具有可用作特征值的强度等级。离散信号值(幅度)的数量可从声学信号获得，并且信号值之间的改变可被测量。信号的幅度的变化可被用于识别输入到介质上的直线、曲线、折线等。
特征提取器221可使用对应信号的幅度分布来分类相似信号。例如，与圆对应的信号的幅度的分布可具有一致分布。
过零的分布表示信号的符号(sign)进行改变的点的数量。换言之，过零表示在一个帧中信号程度达到零的点。过零的分布示出信号的高频与低频的比率。例如，假设“N”表示时间的长度，则可通过下面的等式1来定义过零的分布。
[等式1]
ZCR = 1 2 ( N - 1 ) &Sigma; m = 1 N | sign [ x ( m + 1 ) ] - sign [ x ( m ) ] |
特征提取器221可使用过零分布、过零分布的变化等，来提取对应信号的特定特征。
特征提取器221可将信号的能量的总和用作信号的特征。当“N”表示时间的长度时，可通过以下的等式2来计算在时间N期间的离散信号X(i)的能量的总和。
[等式2]
v [ n ] = 1 N &Sigma; i = 0 N - 1 x n 2 ( i )
另外，特征提取器221可将每一个帧中的能量的量用作信号的特征。
特征提取器221可通过信号的长度，来区分信号。时间可以是信号长度的单位。例如，点和圆明显具有相互不同的信号长度。因此，特征提取器221可将从开始获取表面声学信号的时间点至完成获取表面声学信号的时间点的时间段，确定为表面声学信号的长度。
可以以参考时间单位归一化信号的时域特征，且归一化值可被存储在DB中。在这种情况下，可减小存储的数据的大小。例如，在存在长直线和短直线的情况下，可首先识别直线的特征，然后可使用长度信息测量相对长度。
可通过傅里叶变换、谱分析等，来识别信号的频域特征。
<2.传播表面声学信号的介质的类型的估计>
可通过比较从表面声学信号提取的特征与模式模型，来执行介质类型的估计。用于产生表面声学信号的输入介质可包括单一介质(诸如玻璃)、混合介质(诸如桌子)等。介质的表面的形状可改变表面声学信号。可通过硬件装置(诸如DSP)、软件装置、对于硬件装置编程的单元中的任意一个执行介质类型的估计。但是，为了便于描述，在此假设通过模式识别单元220执行介质类型的估计。
模式识别单元220可使用测试信号来确定介质类型并基于介质类型识别表面声学信号的模式。例如，可通过下面描述的3个处理来估计介质类型。
1.可产生测试信号。
2.可获取通过与所述装置接触的介质传播的表面声学信号。
3.可从在处理2获取的表面声学信号获取特征，并且可在DB中搜索匹配介质。
可通过设置在所述装置中或设置于所述装置的扬声器或振动产生器产生测试信号。测试信号可以是具有短周期的预定义的信号的声学信号、振动和/或等。可由设置在所述装置中或设置于所述装置的麦克风和压电传感器获取与测试信号对应的表面声学信号。
模式识别单元220可通过计算在处理2中获取的表面声学信号的幅度、传播速度、频率的分布范围并比较所述数据与存储在DB中的模型，来估计接触所述装置的介质的类型。在不存在与在处理2中获取的表面声学信号的特征匹配的模型的情况下，模式识别单元220可将最相似的模型确定为接触所述装置的介质。可通过比较获取的幅度、传播速度、频率的分布范围与存储在DB中的各种模型的属性来做出所述确定。
如果周期性地执行介质类型的估计，则可几乎实时估计介质的变化。
<3.产生表面声学信号的工具的类型的估计>
可通过估计用户的输入信号来执行产生表面声学信号的工具的类型的估计。输入工具可以是手指、笔、触控笔或其它各种工具。即，用户能够通过各种输入工具(诸如他或她的手指和触控笔)操作所述装置。可通过硬件装置(诸如，DSP)、软件装置、对于硬件装置编程的单元等执行工具的类型的估计。但是，为了便于描述，在此假设通过模式识别单元220执行工具的类型的估计。
模式识别单元220可基于表面声学信号的频域特征执行产生表面声学信号的工具的类型的估计，并且可考虑产生表面声学信号的工具来识别表面声学信号的模式。
可通过各种方法提取信号的频率特征。例如，可通过对对应信号进行离散傅里叶变换(DFT)来提取频率特征。此外，可使用总功率谱、子带功率、中心频率、带宽、谱通量(spectrum flux)等提取频率特征。输入工具的频率特征可通过机器学习模型存储在DB中。
将参照图7进一步描述输入工具的频域特征的各种示例。
<4.用户的输入信号的识别>
用户的输入信号的识别确定用户的意图或手势。用户的输入信号可包括简单拖动、字符输入、轻敲、特定触摸事件等。所述装置能够通过识别用户的输入信号来执行各种功能。
例如，当用户执行在接触所述装置的表面上的从左向右的拖动时，所述装置可被设置为执行预定功能。可通过估计表面声学信号的方向来识别拖动方向。可通过单个声学信号或通过多个表面声学信号，来识别表面声学信号的方向。即，表面声学信号的模式可包括关于表面声学信号的方向的信息。用户输入识别单元230可基于关于表面声学信号的方向的信息，识别用户的输入信号。
例如，在用户在接触所述装置的介质的表面上输入字符的情况下，可使用“最小有意义单元”识别所述字符。
图3示出在图1和图2中示出的表面声学信号获取单元210的结构的示例。
参照图3，表面声学信号获取单元210可包括介质接触器311和声学传感器313。
介质接触器311可通过接触对象110来接收表面声学信号。可通过能够保持紧密接触对象110的各种材料来制作介质接触器311。
声学传感器313可将表面声学信号转换为数字信号。电容器型麦克风、电子麦克风、压电传感器、超声传感器等可被用作声学传感器313。电容器型麦克风和电子麦克风是可将通过介质(诸如，空气)传播的声音的压力程度转换为电信号的噪声传感器。压电传感器是可将从人或对象产生的振动获得的压力转换为电信号的振动传感器。超声传感器可通过感测人类听不见的超声波来确定声学信号的距离或位置。
图4示出示例用户接口提供设备的结构。
如图4所示，用户接口提供设备400可包括表面声学信号获取单元410、声学信号处理单元420、特征提取单元430、DB 440、模式确定单元450、时间信号计算单元460和用户输入识别单元470。
表面声学信号获取单元410可执行与图2的表面声学信号获取单元210相同或相似的功能。
声学信号处理单元420从表面声学信号滤除噪声，并对噪声滤除的表面声学信号的波形进行简化(simplify)。为了滤除噪声并简化波形，声学信号处理单元420可包括放大器421、滤波器423和简化器425。放大器421可放大获取的表面声学信号。滤波器423可根据特定频率范围选择性地对放大的表面声学信号进行滤波，从而去除添加到放大的表面声学信号的噪声。例如，滤波器423可将具有比表面声学信号的最大频率(即，3KHz)大的频率的信号考虑为噪声，并因此可以去除噪声。简化器425可简化噪声滤除的表面声学信号，以实时处理更多噪声滤除的表面声学信号。图5中示出的信号为从滤波器423输出的表面声学信号，图6中示出的信号为简化的表面声学信号。图5和图6的“幅度”表示信号的强度或高度，“t”表示时间。简化器435可确定信号的高度，从而简化信号。
声学信号处理单元420可将简化的表面声学信号输出到特征提取单元430，且可将通过声学信号获取单元410的每一个传感器获取的表面声学信号输出到时间信号计算单元460。
特征提取单元430可执行先前称作“1.表面声学信号的特征的提取”的操作。即，特征提取单元430可执行与图2的特征提取器221相同或相似的功能。
DB 440可存储对于识别表面声学信号的模式和识别用户的输入信号有益的模式模型。例如，在“1.表面声学信号的特征的提取”中描述的“最小有意义单元的模式模型”和“机器学习模型M”可被存储在DB 440中。可根据输入工具存储模式模型。此外，可根据介质类型存储模式模型。因此，特征提取单元430可以例如以输入工具估计-输入介质估计-特征提取的顺序操作，或者，作为另一示例，特征提取单元430可以以输入介质估计-输入工具估计-特征提取的顺序操作。
在表1中示出了DB 440中存储的模式模型的示例查询表。
[表1]
表2中示出与用户的输入信号对应的装置的功能的示例查询表。
[表2]
模式确定单元450可以以与图2的模式分析器223相似的方式运行。另外，模式确定单元450可执行先前称作“2.传播表面声学信号的介质的类型的估计”和“3.产生表面声学信号的工具的估计”的操作。
在表面声学信号获取单元410包括至少两个传感器的示例中，时间信号计算单元460可计算表面声学信号到达各个传感器的时间差。通过时间信号计算单元460计算的时间差可被用于找到表面声学信号的方向。
用户输入识别单元470可执行与图2的用户输入识别单元230相同或相似的功能。
图5至图6示出从图4的滤波器423和简化器425输出的信号的示例。
图5示出的信号是从滤波器423输出的表面声学信号，图6示出的信号是简化的表面声学信号。图5至图6的“幅度”表示信号的强度或高度，“t”表示时间。简化器425可确定信号的高度，因此简化信号。
图7是示出最小有意义单元的示例的示图。
图7示出的最小有意义单元可被用于识别表面声学信号的模式以及用于识别用户的输入信号。例如，图2的模式识别单元220可区分最小有意义单元和表面声学信号，而用户输入识别单元230可通过组合最小有意义单元来识别用户的输入信号。在用户在介质的表面上顺序输入和的示例中，用户输入识别单元230可将用户的输入信号识别为“M”。
图8至图11示出根据输入工具的表面声学信号的频率特征。
信号波形幅度、能量、频率分布等可根据输入工具的特性而变化。
图8示出用户使用笔在介质的表面上画圆的情况下的频率特征。图9示出用户使用手指在介质的表面上画圆的情况下的频率特征。图10示出用户使用手指画直线的情况下的频率特征。图11示出用户使用笔画直线的情况下的频率特征。在参照图8至图11描述的示例中，假设介质被固定。
图12是在用户的输入信号为字符的情况下识别用户的输入信号的示例的示图。
参照图12，可通过输入两个长直线801和803，然后输入一个相对短的直线805，来表示字符“A”。可通过按顺序输入长直线807、短直线809、长直线811，来表示字符“H”。表示输入这些最小有意义单元(直线)的顺序的模式可被用于字符的识别。响应于用户输入字符“F”，用户输入识别单元230和470可通过组合直线813、815和817的长度和顺序，来识别用户的输入信号。
图13和图14中的每一个是示出与直线对应的示例波形的示图。
图13示出直线从接近声学传感器开始并远离声学传感器结束的情况。即，图13的表面声学传感器沿远离声学传感器的方向前进。在所述描述中，“表面声学信号的方向”用作与直线的前进方向相同的含义。
图14示出直线从远离声学传感器开始并接近声学传感器结束的情况。即，图14的表面声学信号沿朝着声学传感器的方向前进。
参照图13和图14，表面声学信号的波形可针对直线的前进方向具有对称形状。因此，在用户接口提供设备设置有单个声学传感器的情况下，可通过波形的相对形状识别表面声学信号的方向。在用户接口提供设备设置有至少两个声学传感器的情况下，可更加精确地估计表面声学信号的方向，而不依赖通过单个声学传感器的波形的相对形状。
图15是在至少两个声学传感器设置于用户接口提供设备的情况下获取的表面声学信号的示例的示图。在示出的实际示例中，已设置了四个声学传感器，但是所讨论的特征不限于所述数量。此外，虽然图15示出用户在位于在多个传感器限制的区域内的位置“a”处产生声音，但是这种配置指在于简化描述。应该理解，相同或相似原理应用到声音发生位置位于设置有所述传感器的装置的外部的示例。
参照图15，在用户使用手指在位置“a”处产生声音的情况下，表面声学信号被各个传感器1110、1120、1130和1140接收的时间点不同。在该示例中，传感器1110至1140可以是设置于表面声学信号获取单元410的麦克风。时间信号计算单元460可使用多个传感器1110至1140估计表面声学信号的位置。时间信号计算单元460可通过计算传感器1110至1140之间的延迟时间来确定表面声学信号的临时位置部分，并且可搜索仅在临时位置部分内的位置。所述临时位置部分可以是表面声学信号被产生的位置。
可选择地，为了最小化计算处理，时间信号计算单元460可通知用户输入信号识别单元470：右下侧传感器1120首先感测到了表面声学信号。在图15中，由于右下侧传感器1120检测的表面声学信号的峰值首先被检测到，所以时间信号计算单元460可确定右下侧传感器1120首先获取了表面声学信号。凭借右下侧传感器1120首先检测到表面声学信号，可以确定右下侧传感器1120最接近于表面声学信号被产生的位置。
用户输入识别单元470可通过组合顺序识别的模式或最小有意义单元来识别用户的输入信号。另外，用户输入信号识别单元470可使用通过时间信号计算单元460计算的时间差值确定表面声学信号的方向。
在两个传感器被设置从而形成两个通道的情况下，用户输入信号识别单元470可确定表面声学信号产生在右侧还是左侧。例如，当传感器布置在右侧和左侧时，在通过右侧传感器获取的表面声学信号的幅度(声音的幅度)逐渐减小，而通过左侧传感器获取的表面声学信号的幅度逐渐增加的情况下，用户输入信号识别单元470可确定用户执行的从右向左的拖动。
在四个传感器被设置从而形成四个通道的情况下，用户输入信号识别单元470可使用通过时间信号计算单元460计算的时间信号，来确定模式的方向或最小有意义单元。用户输入信号识别单元470可使用从时间信号计算单元460输入的时间差值，来确定表面声学信号的方向和表面声学信号的2D坐标。例如，用户输入信号识别单元470可将图15的传感器1110的位置确定为参考坐标(0，0)并区分表面声学信号的方向，并且可确定表面声学信号产生位置的2D坐标。
可选择地，在具有四个通道的情况下，用户输入信号识别单元470可使用首先感测到表面声学信号的传感器的位置，来确定表面声学信号的方向。例如，用户输入信号识别单元470可通过指示图15的传感器1120的北、南、东和西位置，来确定表面声学信号的方向。
图16是示出设置有表面声学信号获取单元和用户接口提供设备的装置的示例壳体的示图。在该示例中，传感器设置于外部壳体，且字符输入在外部壳体的表面上。可由塑料、金属、纸等构成壳体。传感器S和用户接口提供设备100和200可被附着到壳体的内侧。用户可通过在壳体的表面上的触摸事件，产生表面声学信号。
虽然图16示出用户在位于装置自身的实际壳体上的位置x，y处产生声音，但是这种配置仅仅指在于描述的方便以及呈现示例。应该理解，相同或相似原理应用于声音发生位置位于设置有这种传感器的装置的外部(即，先前描述的扩展的接口)的示例。
图17是示出提供装置的用户接口的方法的示例的流程图，图18是示出图17的分析表面声学信号的模式的操作的示例的流程图。
参照图17，在操作1310，用户接口提供设备可获取表面声学信号。
在操作1320，用户接口提供设备可提取表面声学信号的时域特征和/或频域特征。即，用户接口提供设备可执行先前描述的“1.表面声学信号的特征的提取”。时域特征可包括表面声学信号的幅度、过零的分布、能量的量、表面声学信号的长度、表面声学信号的形状，或包括表面声学信号的幅度、过零的分布、能量的量、表面声学信号的长度、表面声学信号的任意组合。
在操作1330，用户接口提供设备可基于时域特征和/或频域特征分析表面声学信号的模式。操作1300可包括图18示出的特定处理。即，在操作1431，用户接口提供设备可使用测试信号来确定介质的类型；在操作1433，用户接口提供设备可基于表面声学信号的频域特征估计产生表面声学信号的工具的类型；在操作1435，用户接口提供设备可考虑介质类型和产生表面声学信号的工具来识别表面声学信号的模式。
在操作1340，用户接口提供设备可基于表面声学信号的模式识别用户的输入信号。换言之，用户接口提供设备可执行先前描述的“4.用户的输入信号的识别”。根据示例，操作1340可包括以下处理：区分与表面声学信号匹配的最小有意义单元，基于所述最小有意义单元识别用户的输入信号。根据另一示例，操作1340可包括以下处理：顺序地接收多个模式并组合与各个模式对应的最小有意义单元，从而识别用户的输入信号。
图19是示出提供用户接口的方法的另一示例的流程图。
参照图19，在操作1510，用户接口提供设备可被设置为外部输入模式，以通过布置于所述装置的外部的介质接收用户的输入信号。“外部输入模式”指的是装置120通过例如图1的外部介质110可操作的模式。在外部输入模式被执行的示例中，所述装置可激活一个或多个声学传感器，其中，所述一个或多个传感器可先前处于失活状态。外部输入模式可通过所述装置与外部介质之间的接触、通过用于模式转换的控制信号等而被触发。
在操作1520，用户接口提供设备可确定是否从所述装置的外部介质接收到表面声学信号。
在从外部介质接收到表面声学信号的情况下，用户接口提供设备可分析表面声学信号的特征，从而在操作1530，识别表面声学信号的模式。
在操作1540，用户接口提供设备可基于表面声学信号的模式识别用户的输入信号。
图20是示出提供用户接口的方法的另一示例的流程图。
参照图20，在操作1610，用户接口提供设备可被设置为外部输入模式，以从布置于所述装置的外部的介质接收用户的输入信号。用户接口提供设备还可通过产生测试信号、分析在外部介质之上的测试信号的特征并比较测试信号的特征与预先存储的模式模型，来确定介质的类型。
在操作1620，用户接口提供设备可确定是否从所述装置的外部介质接收到表面声学信号。
当从外部介质接收到表面声学信号时，在操作1630，用户接口提供设备可确定表面声学信号的方向。例如，用户接口提供设备可确定用户的手势(诸如，书写、绘画等)的拖动方向。可通过“表面声学信号的波形的形状”、“第一声学传感器接收的第一表面声学信号与第二声学传感器接收的第二声学表面信号之间的时间差”和“第一表面声学信号和第二表面声学信号的大小的变化”或它们的任意组合，来确定表面声学信号的方向。
在操作1640，用户接口提供设备可执行所述装置的与表面声学信号的方向对应的功能。例如，根据所述装置的设置，在用于播放音乐或运动图片的应用程序被运行之后，沿预定方向的拖动被输入的情况下，音乐或运动图片可被播放。
仅作为非穷举性示例，在此描述的终端或终端装置可以指移动装置(诸如，蜂窝电话、个人数字助理(PDA)、数码相机、便携式游戏机、MP3播放器、便携式/个人多媒体播放器(PMP)、手持式电子书、便携式膝上型PC、全球定位系统(GPS)导航)、诸如桌上型PC、高清电视(HDTV)、光盘播放器、机顶盒等与在此所公开的一致的能够无线通信或网络通信的装置。所述装置、终端或终端装置还可被提供为任意数量的家电(诸如，冰箱、炉灶、洗衣机、电视机等)上的附加或集成部件。
上述实施例可被记录、存储或固定到一个或多个包括程序指令的非瞬时计算机可读介质，其中，所述程序指令被计算机执行以使处理器运行或执行程序指令。所述介质还可包括单独的或与程序指令结合的数据文件、数据结构等。记录在介质上的程序指令可以是专门设计和构造的，或者所述程序指令可对于计算机软件领域的技术人员是公知和可用的类型。
上面已描述了多个实施例。然而，应该理解可进行各种修改。例如，如果以不同的顺序执行在此描述的技术和/或如果描述的系统、架构、装置或电路中的部件以不同的方式组合和/或被其它部件或其等效物替换或补充，则可以获得合适地结果。因此，其它实施方式在所附权利要求的范围内。

Claims (24)

1.一种用于提供装置的用户接口的设备，包括：
表面声学信号获取单元，获取从布置于所述装置的外部的介质产生的表面声学信号；
模式识别单元，通过表面声学信号的特征的分析和所述介质的类型的估计，来识别表面声学信号的模式；
用户输入识别单元，基于表面声学信号的模式识别用户的输入信号。
2.如权利要求1所述的设备，其中，所述介质通过接触所述装置的对象提供给用户。
3.如权利要求2所述的设备，其中，表面声学信号获取单元包括：
介质接触器，通过接触所述对象来接收表面声学信号；
声学传感器，将表面声学信号转换为数字信号。
4.如权利要求1所述的设备，其中，所述介质通过所述装置的外部壳体而提供给用户。
5.如权利要求1所述的设备，其中，模式识别单元包括：
特征提取器，提取表面声学信号的时域特征和/或频域特征；
模式分析器，基于时域特征和/或频域特征分析表面声学信号的模式。
6.如权利要求5所述的设备，其中，时域特征包括：表面声学信号的幅度、过零的分布、能量的量、表面声学信号的长度或表面声学信号的形状。
7.如权利要求1所述的设备，其中，模式识别单元使用测试信号估计所述介质的类型，并基于所述介质的类型识别表面声学信号的模式。
8.如权利要求1所述的设备，其中，模式识别单元基于表面声学信号的频域特征来估计产生表面声学信号的工具，并基于工具识别表面声学信号的模式。
9.如权利要求1所述的设备，其中，用户输入识别单元对与表面声学信号的模式匹配的最小有意义单元进行分类，并基于最小有意义单元识别用户的输入信号。
10.如权利要求1所述的设备，其中，用户输入识别单元通过从模式识别单元顺序接收多个模式并且组合与所述多个模式对应的最小有意义单元，来识别用户的输入信号。
11.如权利要求1所述的设备，其中，模式包括与表面声学信号的方向对应的信息，
用户输入识别单元基于与表面声学信号的方向对应的信息，识别用户的输入信号。
12.如权利要求1所述的设备，还包括：模式模型存储单元，存储根据介质和/或输入工具的类型分类的表面声学信号的模式模型。
13.如权利要求1所述的设备，其中，用户的输入信号包括通过所述介质输入的字符、图形、拖动、触摸事件或包括通过所述介质输入的字符、图形、拖动、触摸事件的任意组合。
14.一种提供装置的用户接口的方法，所述方法包括以下步骤：
获取表面声学信号；
提取表面声学信号的时域特征和/或频域特征；
基于所述时域特征和/或频域特征分析表面声学信号的模式；以及
基于表面声学信号的模式，识别用户的输入信号，
其中，分析表面声学信号的模式的步骤包括：
通过使用测试信号，来确定介质的类型；
基于表面声学信号的频域特征，来估计产生表面声学信号的工具的类型；
基于所述介质和/或产生表面声学信号的工具的类型，识别表面声学信号的模式。
15.如权利要求14所述的方法，其中，识别的步骤包括：
顺序接收多个模式；
通过组合与模式对应的最小有意义单元，来识别用户的输入信号。
16.一种提供装置的用户接口的方法，所述方法包括以下步骤：
执行从布置于所述装置的外部的介质接收用户的输入信号的外部输入模式；
响应于从所述介质接收到表面声学信号，通过表面声学信号的特征的分析和所述介质的类型的估计，来识别与所述介质对应的表面声学信号的模式；以及
基于表面声学信号的模式，识别用户的输入信号。
17.一种提供装置的用户接口的方法，所述方法包括如下步骤：
执行从布置于所述装置的外部的介质接收用户的输入信号的外部输入模式；
响应于从所述介质接收到表面声学信号，通过表面声学信号的特征的分析和所述介质的类型的估计，来确定表面声学信号的方向；以及
执行装置的与表面声学信号的方向对应的功能。
18.如权利要求17所述的方法，其中，通过表面声学信号的波形的形状、第一声学传感器接收的第一表面声学信号与第二声学传感器接收的第二声学表面信号之间的时间差、第一表面声学信号和第二表面声学信号的大小的变化，或者通过表面声学信号的波形的形状、第一声学传感器接收的第一表面声学信号与第二声学传感器接收的第二声学表面信号之间的时间差、第一表面声学信号和第二表面声学信号的大小的变化的任意组合，来确定表面声学信号的方向。
19.一种设置有用户接口的装置，包括：
传感器，获取在所述装置的外部产生的表面声学信号；
至少一个处理器，被配置为通过表面声学信号的特征的分析和传播所述表面声学信号的介质的类型的估计来对表面声学信号的模式进行分类以及基于表面声学信号的模式识别与表面声学信号对应的用户的输入信号。
20.一种提供装置的用户接口的方法，所述方法包括如下步骤：
从所述装置的外部接收用户产生的声学信号；
分析获取的声学信号；以及
基于分析的声学信号分析用户的输入信号，
其中，分析获取的声学信号的步骤包括：声学信号的特征的分析、传播声学信号的介质的类型的估计。
21.如权利要求20所述的方法，其中，通过介质与用户的手之间的接触，而产生声学信号。
22.如权利要求20所述的方法，其中，通过介质与用户使用的工具之间的接触，而产生声学信号。
23.如权利要求20所述的方法，其中，在所述装置与用户接触的介质接触的情况下，获取声学信号。
24.如权利要求20所述的方法，其中，所述声学信号是表面声学信号。
CN201180008099.4A 2010-02-02 2011-02-01 用于使用声学信号提供用户接口的方法和设备、包括用户接口的装置 Active CN102741919B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20100009545 2010-02-02
KR10-2010-0009545 2010-02-02
KR10-2010-0083609 2010-08-27
KR1020100083609A KR101678549B1 (ko) 2010-02-02 2010-08-27 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스
PCT/KR2011/000680 WO2011096694A2 (en) 2010-02-02 2011-02-01 Method and apparatus for providing user interface using acoustic signal, and device including user interface

Publications (2)

Publication Number Publication Date
CN102741919A CN102741919A (zh) 2012-10-17
CN102741919B true CN102741919B (zh) 2014-12-10

Family

ID=44342706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180008099.4A Active CN102741919B (zh) 2010-02-02 2011-02-01 用于使用声学信号提供用户接口的方法和设备、包括用户接口的装置

Country Status (6)

Country Link
US (1) US9857920B2 (zh)
EP (2) EP2532000B1 (zh)
JP (1) JP5789270B2 (zh)
KR (1) KR101678549B1 (zh)
CN (1) CN102741919B (zh)
WO (1) WO2011096694A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11589687B2 (en) 2016-01-05 2023-02-28 Lg Electronics Inc. Refrigerator having panel assembly covering opening of outer plate of door

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11327599B2 (en) 2011-04-26 2022-05-10 Sentons Inc. Identifying a contact type
US9189109B2 (en) 2012-07-18 2015-11-17 Sentons Inc. Detection of type of object used to provide a touch contact input
US10198097B2 (en) 2011-04-26 2019-02-05 Sentons Inc. Detecting touch input force
US9639213B2 (en) 2011-04-26 2017-05-02 Sentons Inc. Using multiple signals to detect touch input
US9477350B2 (en) 2011-04-26 2016-10-25 Sentons Inc. Method and apparatus for active ultrasonic touch devices
KR102027601B1 (ko) 2011-10-18 2019-10-01 카네기 멜론 유니버시티 터치 감지 표면 상의 터치 이벤트를 분류하는 방법 및 장치
US10235004B1 (en) 2011-11-18 2019-03-19 Sentons Inc. Touch input detector with an integrated antenna
US11262253B2 (en) 2017-08-14 2022-03-01 Sentons Inc. Touch input detection using a piezoresistive sensor
KR101850680B1 (ko) 2011-11-18 2018-04-20 센톤스 아이엔씨. 터치 입력 힘 검출
KR101652744B1 (ko) 2011-11-18 2016-09-09 센톤스 아이엔씨. 국소형 햅틱 피드백
WO2013136133A1 (en) 2012-03-15 2013-09-19 Nokia Corporation A tactile apparatus link
US9078066B2 (en) 2012-07-18 2015-07-07 Sentons Inc. Touch input surface speaker
US9348468B2 (en) 2013-06-07 2016-05-24 Sentons Inc. Detecting multi-touch inputs
US9281727B1 (en) * 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
KR102011495B1 (ko) * 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
KR101371749B1 (ko) 2012-11-09 2014-03-07 현대자동차(주) 차량 제어 장치
US9430098B2 (en) * 2012-12-17 2016-08-30 Apple Inc. Frequency sensing and magnification of portable device output
US9134856B2 (en) * 2013-01-08 2015-09-15 Sony Corporation Apparatus and method for controlling a user interface of a device based on vibratory signals
KR20140113119A (ko) * 2013-03-15 2014-09-24 엘지전자 주식회사 전자 기기 및 그 제어방법
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
KR101500130B1 (ko) * 2013-09-02 2015-03-06 현대자동차주식회사 스티어링 휠에 설치된 차량용 제어장치
US10114486B2 (en) * 2013-09-19 2018-10-30 Change Healthcare Holdings, Llc Method and apparatus for providing touch input via a touch sensitive surface utilizing a support object
US9459715B1 (en) 2013-09-20 2016-10-04 Sentons Inc. Using spectral control in detecting touch input
KR101509947B1 (ko) * 2013-10-23 2015-04-07 현대자동차주식회사 리어 램프 점검 장치, 방법 및 시스템
US20150242036A1 (en) * 2014-02-21 2015-08-27 Amin Heidari System and method for detecting taps on a surface or on a device
JP6281745B2 (ja) * 2014-03-06 2018-02-21 カシオ計算機株式会社 摺動操作検出装置、電子機器及びプログラム
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US9864453B2 (en) * 2014-09-22 2018-01-09 Qeexo, Co. Method and apparatus for improving accuracy of touch screen event analysis by use of edge classification
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
KR20160045545A (ko) * 2014-10-17 2016-04-27 엘지전자 주식회사 냉장고
KR102306537B1 (ko) * 2014-12-04 2021-09-29 삼성전자주식회사 소리 신호를 처리하는 방법 및 디바이스.
CN105828265A (zh) * 2015-01-10 2016-08-03 深圳富泰宏精密工业有限公司 配件侦测系统及方法
WO2016148120A1 (ja) * 2015-03-17 2016-09-22 株式会社メガチップス 情報受付システム、記録媒体および情報入力方法
JP6543054B2 (ja) * 2015-03-17 2019-07-10 株式会社メガチップス 情報受付装置、プログラムおよび情報入力方法
JP6543055B2 (ja) * 2015-03-17 2019-07-10 株式会社メガチップス 情報受付システム、プログラムおよび情報入力方法
US10592817B2 (en) * 2015-07-13 2020-03-17 International Business Machines Corporation Parameter-dependent model-blending with multi-expert based machine learning and proxy sites
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
KR101892794B1 (ko) 2015-08-25 2018-08-28 엘지전자 주식회사 냉장고
US10048811B2 (en) 2015-09-18 2018-08-14 Sentons Inc. Detecting touch input provided by signal transmitting stylus
CN109416607A (zh) * 2016-04-27 2019-03-01 莫吉斯有限公司 用于识别手势的方法及相应设备
US10908741B2 (en) 2016-11-10 2021-02-02 Sentons Inc. Touch input detection along device sidewall
US10296144B2 (en) 2016-12-12 2019-05-21 Sentons Inc. Touch input detection with shared receivers
US10126877B1 (en) 2017-02-01 2018-11-13 Sentons Inc. Update of reference data for touch input detection
US20180239435A1 (en) * 2017-02-22 2018-08-23 International Business Machines Corporation Smart devices having recognition features
US10585522B2 (en) 2017-02-27 2020-03-10 Sentons Inc. Detection of non-touch inputs using a signature
FR3066841B1 (fr) 2017-05-29 2020-07-10 Hap2U Procede de commande d'un dispositif nomade
US11580829B2 (en) 2017-08-14 2023-02-14 Sentons Inc. Dynamic feedback for haptics
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
CN113220167B (zh) * 2021-05-19 2024-03-12 京东方科技集团股份有限公司 显示模组及超声波触控检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409839A (zh) * 1999-12-08 2003-04-09 艾利森电话股份有限公司 便携式通信设备和方法
JP2005529350A (ja) * 2002-06-12 2005-09-29 サントル・ナショナル・ドゥ・ラ・レシェルシュ・サイエンティフィーク−セ・エン・エール・エス− 表面での衝撃の位置を突き止める方法およびその装置
CN101308434A (zh) * 2007-05-15 2008-11-19 宏达国际电子股份有限公司 电子装置与其软件的使用者界面导览方法
CN101529363A (zh) * 2006-10-18 2009-09-09 皇家飞利浦电子股份有限公司 利用表面交互的电子系统控制

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4718102A (en) * 1983-01-19 1988-01-05 Communication Intelligence Corporation Process and apparatus involving pattern recognition
US4772764A (en) * 1983-12-01 1988-09-20 Xecutek Corporation Soundwave position digitizer
US4654648A (en) * 1984-12-17 1987-03-31 Herrington Richard A Wireless cursor control system
EP0421025B1 (en) * 1989-10-02 1999-05-06 Koninklijke Philips Electronics N.V. Data processing system with a touch screen and a digitizing tablet, both integrated in an input device
JP2535626B2 (ja) * 1989-10-27 1996-09-18 キヤノン株式会社 座標入力装置
JP2592972B2 (ja) * 1989-12-25 1997-03-19 キヤノン株式会社 座標入力装置
US6366697B1 (en) * 1993-10-06 2002-04-02 Xerox Corporation Rotationally desensitized unistroke handwriting recognition
JP3230552B2 (ja) * 1993-12-03 2001-11-19 キヤノン株式会社 圧電センサ及びそれを使用した座標入力装置
JP3385094B2 (ja) 1994-05-23 2003-03-10 松下電器産業株式会社 携帯型情報端末
JP3007933B2 (ja) * 1994-12-15 2000-02-14 富士通株式会社 超音波座標入力装置
US5591945A (en) * 1995-04-19 1997-01-07 Elo Touchsystems, Inc. Acoustic touch position sensor using higher order horizontally polarized shear wave propagation
EP0827105A3 (de) * 1996-08-29 2000-10-25 Siemens Aktiengesellschaft Mit akustischen Oberflächenwellen arbeitende Identifizierungs- oder Sensoranordnung - OFW-Anordnung
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6313825B1 (en) * 1998-12-28 2001-11-06 Gateway, Inc. Virtual input device
US20030132921A1 (en) * 1999-11-04 2003-07-17 Torunoglu Ilhami Hasan Portable sensory input device
US7050177B2 (en) * 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7157649B2 (en) * 1999-12-23 2007-01-02 New Transducers Limited Contact sensitive device
CA2400900C (en) * 2000-01-12 2008-11-18 Xtera Communications, Inc. Raman amplifier with bi-directional pumping
US6703570B1 (en) * 2000-05-10 2004-03-09 International Business Machines Corporation Digital pen using ultrasonic tracking
JP2003535405A (ja) * 2000-05-29 2003-11-25 ブイケービー インコーポレイティド 文字・数字及び他のデータを入力する仮想データ入力装置及び方法
FR2811107B1 (fr) * 2000-06-29 2002-10-18 Jean Pierre Nikolovski Plaque acoustique interactive de precision
US20040047505A1 (en) * 2001-12-26 2004-03-11 Firooz Ghassabian Stylus computer
ATE373262T1 (de) * 2002-02-06 2007-09-15 Soundtouch Ltd Berührungs-pad
US7643015B2 (en) * 2002-05-24 2010-01-05 Massachusetts Institute Of Technology Systems and methods for tracking impacts
US7256773B2 (en) * 2003-06-09 2007-08-14 Microsoft Corporation Detection of a dwell gesture by examining parameters associated with pen motion
JP2005018611A (ja) * 2003-06-27 2005-01-20 Yamatake Corp コマンド入力装置及びコマンド入力方法
US7176902B2 (en) * 2003-10-10 2007-02-13 3M Innovative Properties Company Wake-on-touch for vibration sensing touch input devices
AU2005243022B2 (en) * 2004-05-17 2009-06-11 Qualcomm Incorporated Acoustic robust synchronization signaling for acoustic positioning system
US20060192763A1 (en) * 2005-02-25 2006-08-31 Ziemkowski Theodore B Sound-based virtual keyboard, device and method
US7551779B2 (en) * 2005-03-17 2009-06-23 Microsoft Corporation Word or character boundary-based scratch-out gesture recognition
WO2006131022A1 (en) * 2005-06-07 2006-12-14 Intel Corporation Ultrasonic tracking
US7353709B2 (en) * 2005-07-06 2008-04-08 National Research Council Of Canada Method and system for determining material properties using ultrasonic attenuation
US7961903B2 (en) * 2006-01-25 2011-06-14 Microsoft Corporation Handwriting style data input via keys
JP2007336513A (ja) 2006-05-15 2007-12-27 Seiko Epson Corp 叩きコマンド処理システム、及び、携帯機器の操作システム、並びに、携帯機器
JP4680129B2 (ja) 2006-05-22 2011-05-11 富士通株式会社 携帯端末装置及びその操作方法
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8077163B2 (en) 2006-08-24 2011-12-13 Qualcomm Incorporated Mobile device with acoustically-driven text input and method thereof
WO2008157445A1 (en) * 2007-06-15 2008-12-24 Luidia Inc. Interactivity in a large flat panel display
ATE545083T1 (de) * 2007-12-21 2012-02-15 Tyco Electronics Services Gmbh Verfahren zur bestimmung der positionen mindestens zweier einschläge
JP5628144B2 (ja) * 2008-03-18 2014-11-19 エリプティック・ラボラトリーズ・アクシェルスカブＥｌｌｉｐｔｉｃ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｓ 目的物及び動作検出
US8619055B2 (en) * 2008-04-14 2013-12-31 Microsoft Corporation Active matrix touch sensing
TWI374391B (en) * 2008-05-27 2012-10-11 Ind Tech Res Inst Method for recognizing writing motion and trajectory and apparatus for writing and recognizing system
US8441790B2 (en) * 2009-08-17 2013-05-14 Apple Inc. Electronic device housing as acoustic input device
KR101654008B1 (ko) * 2009-10-09 2016-09-09 삼성전자주식회사 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법
TWI464634B (zh) * 2009-10-09 2014-12-11 Egalax Empia Technology Inc 雙差動感測的方法與裝置
US8624878B2 (en) * 2010-01-20 2014-01-07 Apple Inc. Piezo-based acoustic and capacitive detection
US8749531B2 (en) * 2010-03-31 2014-06-10 Blackberry Limited Method for receiving input on an electronic device and outputting characters based on sound stroke patterns
US9465985B2 (en) * 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409839A (zh) * 1999-12-08 2003-04-09 艾利森电话股份有限公司 便携式通信设备和方法
JP2005529350A (ja) * 2002-06-12 2005-09-29 サントル・ナショナル・ドゥ・ラ・レシェルシュ・サイエンティフィーク−セ・エン・エール・エス− 表面での衝撃の位置を突き止める方法およびその装置
CN101529363A (zh) * 2006-10-18 2009-09-09 皇家飞利浦电子股份有限公司 利用表面交互的电子系统控制
CN101308434A (zh) * 2007-05-15 2008-11-19 宏达国际电子股份有限公司 电子装置与其软件的使用者界面导览方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11589687B2 (en) 2016-01-05 2023-02-28 Lg Electronics Inc. Refrigerator having panel assembly covering opening of outer plate of door

Also Published As

Publication number Publication date
US20110191680A1 (en) 2011-08-04
WO2011096694A2 (en) 2011-08-11
JP2013519132A (ja) 2013-05-23
WO2011096694A3 (en) 2011-11-10
KR20110090739A (ko) 2011-08-10
EP2532000A2 (en) 2012-12-12
EP2532000B1 (en) 2017-04-26
EP2532000A4 (en) 2013-10-16
JP5789270B2 (ja) 2015-10-07
US9857920B2 (en) 2018-01-02
EP2544077B1 (en) 2018-05-16
CN102741919A (zh) 2012-10-17
KR101678549B1 (ko) 2016-11-23
EP2544077A1 (en) 2013-01-09

Similar Documents

Publication Publication Date Title
CN102741919B (zh) 用于使用声学信号提供用户接口的方法和设备、包括用户接口的装置
US10860132B2 (en) Identifying a contact type
CN105426713B (zh) 用于基于触摸事件分析来区分触摸屏使用者的方法和装置
US9524063B2 (en) Detection of a number of touch contacts of a multi-touch input
US11175698B2 (en) Methods and systems for processing touch inputs based on touch type and touch intensity
CN104008031B (zh) 测试电容式触摸屏响应时间的方法和装置
CN103038725A (zh) 使用连续波超声信号的无触摸感测和手势辨识
CN106201240A (zh) 用于通过使用边缘分类来提高触摸屏事件分析的准确度的方法和装置
CN102890557A (zh) 用于响应于麦克风输出的触摸手势检测的方法和系统
CN108182418B (zh) 一种基于多维声波特征的键击识别方法
CN108073310A (zh) 沿设备侧壁的触摸输入检测
US11907464B2 (en) Identifying a contact type
CN110162193A (zh) 一种触碰定位装置及方法
Hwang et al. PseudoButton: Enabling pressure-sensitive interaction by repurposing microphone on mobile device
Pätzold et al. Audio-based roughness sensing and tactile feedback for haptic perception in telepresence
CN110321020A (zh) 一种压电传感器信号噪声去除方法及装置
Deowan et al. A warning and detection system for elephant intrusions utilizing signal processing and iot
CN105302886A (zh) 实体对象的处理方法及装置
WO2013009264A1 (en) A method of estimating time difference of arrival
CN112130710B (zh) 一种基于电容触摸屏的人机交互系统和交互方法
Chowdhury et al. Extended touch user interfaces
CN112130709A (zh) 一种基于电容按键的人机交互方法和交互系统
Binh Gestures recognition from sound waves
TR201905862A2 (tr) Bir dokunma tespit usulü.
Ghaziasgar et al. A surface acoustic wave touchscreen-type device using two transducers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant