CN106662898B - 模式身体触摸超声感测方法和装置以及非暂时性存储介质 - Google Patents

模式身体触摸超声感测方法和装置以及非暂时性存储介质 Download PDF

Info

Publication number
CN106662898B
CN106662898B CN201580044160.9A CN201580044160A CN106662898B CN 106662898 B CN106662898 B CN 106662898B CN 201580044160 A CN201580044160 A CN 201580044160A CN 106662898 B CN106662898 B CN 106662898B
Authority
CN
China
Prior art keywords
ultrasound
input
user
touch
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580044160.9A
Other languages
English (en)
Other versions
CN106662898A (zh
Inventor
安德里亚·克里斯藤森
A·亨特
O·索恩
M·林德奎斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106662898A publication Critical patent/CN106662898A/zh
Application granted granted Critical
Publication of CN106662898B publication Critical patent/CN106662898B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/08—Touch switches specially adapted for time-pieces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)

Abstract

模式身体触摸超声感测方法和装置以及非暂时性存储介质。一种具有指令的方法、装置，以及非暂时性存储介质，该指令用于经由超声换能器来检测一超声事件，所述超声事件包括超声信号，所述超声信号在用户的身体上经皮肤传播并且在所述超声信号已经传播的区域中由身体上触摸来生成；检测穿戴所述装置的用户的肢体的状态，其中，所述状态是收缩状态或放松状态；并且基于接收的所述超声信号和所述肢体的状态来选择输入。可以使用加速度计来检测肌肉震颤，并且确定所述肢体的状态。

Description

模式身体触摸超声感测方法和装置以及非暂时性存储介质
技术领域
本发明涉及模式(modal)身体触摸超声感测方法和装置以及非暂时性存储介质。
背景技术
诸如智能电话的移动装置向其用户提供各种服务。用户可以经由触摸面板和/或非触摸面板与移动装置的显示器交互。虽然触摸和非触摸输入技术允许用户在操作移动装置时具有很大的灵活性，但设计者和制造商正不断努力来改进移动装置与用户的互操作性。
发明内容
根据一个方面，一种模式身体触摸超声感测方法，该方法可以包括：通过能够由用户穿戴的装置在超声信号已经传播的区域中来检测超声事件，所述超声事件包括接收在所述用户的身体上经皮肤传播并且被身体上触摸影响的所述超声信号；通过所述装置检测所述用户的穿戴所述装置的肢体的状态，其中，所述状态是收缩状态或放松状态；以及通过所述装置基于接收到所述超声信号和所述肢体的所述状态来选择输入。
另外，该方法可以包括：将所述输入发送至另一装置；以及通过所述另一装置执行所述输入。
另外，该方法可以包括：检测所述用户的所述肢体的移动；并且基于对所述肢体的所述移动的所述检测，来确定所述肢体的所述状态是否处于所述收缩状态。
另外，该输入可以是可以经由鼠标、键盘或触摸显示器做出的输入中的一种。
另外，该方法可以包括：分析接收到的超声信号的特性，其中，所述特性包括频率、振幅或传播速度中的至少一个；以及基于所述分析来识别身体上触摸的类型。
另外，所述输入可以是应用专用的。
另外，所述身体上触摸可以是轻敲或滑动手势。
根据另一方面，一种模式身体触摸超声感测装置，该装置可以包括：超声换能器；加速度计；存储器，其中，所述存储器存储软件；以及处理器，其中，所述处理器执行所述软件。所述装置可以被设置成，经由所述超声换能器在超声信号已经传播的区域中来检测超声事件，所述超声事件包括在用户的身体上经皮肤传播并且被身体上的触摸影响的所述超声信号；检测所述用户的穿戴所述装置的肢体的状态，其中，所述状态是收缩状态或放松状态；以及基于接收到所述超声信号和所述肢体的状态来选择输入。
另外，该装置可以包括通信接口。所述装置可以被设置成经由所述通信接口将所述输入发送至另一装置。
另外，所述加速度计可以检测所述肢体的移动，并且所述装置可以被设置成，基于从所述加速度计接收到的数据，确定在所述身体上触摸的时间期间所述肢体的所述状态是处于所述收缩状态还是所述放松状态。
另外，所述输入可以是可以经由鼠标、键盘或触摸显示器做出的输入中的一种。
另外，该装置可以被设置成：分析接收到的超声信号的特性，其中，所述特性包括频率、振幅或传播速度中的至少一个；以及基于对所述特性的分析来识别身体上触摸的类型。
另外，所述装置可以被设置成：存储数据库，所述数据库映射超声信号轮廓、所述肢体的状态和输入；以及使用所述数据库来选择所述输入。
另外，该装置可以被设置成：识别指示启用超声感测的身体上接触。
另外，该装置可以包括机器学习模块，该机器学习模块允许用户训练所述装置以识别由所述用户执行的特定身体上触摸事件，并选择与所述身体上触摸事件相对应的输入。
根据又一方面，一种非暂时性存储介质，该非暂时性存储介质可以存储能够由计算装置的处理器执行的指令，所述指令在被执行时使得所述计算装置：经由所述计算装置的超声换能器在超声信号已经传播的区域中来检测超声事件，所述超声事件包括所述超声信号，所述超声信号在用户的身体上经皮肤传播并且被身体上的触摸影响；检测所述用户的穿戴所述计算装置的肢体的状态，其中，所述状态是收缩状态或放松状态；以及基于接收到的所述超声信号和所述肢体的状态来选择输入。
另外，所述指令可以包括以下指令：分析接收到的超声信号的特性，其中，所述特性包括频率、振幅或传播速度中的至少一个；以及基于对所述特性的分析来识别身体上触摸的类型。
另外，所述指令可以包括以下指令：存储数据库，所述数据库映射超声信号轮廓、所述肢体的状态以及输入；以及使用所述数据库来选择所述输入。
另外，所述指令可以包括以下指令：识别身体上的触摸，所述身体上的触摸指示启用超声感测。
另外，所述指令可以包括以下指令：基于从加速度计接收到的数据，确定在所述身体上触摸的时间期间所述肢体的所述状态是处于所述收缩状态还是所述放松状态。
附图说明
图1A是例示可以实现模式身体触摸超声感测的示例性实施方式的示例性环境的图；
图1B是例示可以实现模式身体触摸超声感测的示例性实实施方式的另一示例性环境的图；
图2A是例示主装置的示例性组件的图；
图2B是例示超声装置的示例性组件的图；
图2C是例示示例性数据库的图；
图3是例示与模式身体触摸超声感测的示例性实施方式有关的示例性场景的图；并且
图4是例示用于提供模式身体触摸超声感测服务的示例性处理的流程图。
具体实施方式
下面的详细描述参照附图。不同图中的相同标号可以标识相同或相似部件。
通过用户身体的超声传输和感测已经成为最近的研究领域。例如，用户可以穿戴腕带、臂带或其它类型的可穿戴装置(例如，头饰等)，其中，经由用户的皮肤传输和传播超声信号(例如，经皮肤的超声传播)。可穿戴装置包括发送超声信号的发送器以及接收超声信号的接收器。根据示例性使用情况，当可穿戴装置是腕带时，用户可以用他或她的手指触摸他或她的手臂上的皮肤、抓握手臂、或者在手臂上执行滑动移动。可以经由接收器在一个或多个频率和/或振幅测量超声信号。基于接收到的值和存储的信号轮廓，可以确定用户所执行的输入的类型。例如，用户可以在特定位置轻敲他或她的前臂，并且该信息(即，轻敲和位置)可以被确定。该信息可以被用作对可穿戴装置之外的其它装置的输入。
遗憾的是，超声身体上触摸感测技术受限于接近感测装置的触摸点的数量。另外，这种形式的输入方法易于被意外激活，除非用户在进入“超声感测模式”之前必须与移动装置或可穿戴装置交互。
通过肌肉组织的超声传播根据人的肌肉如何绷紧以不同速度行进。例如，当由于肌肉的血液含量而导致肌肉收缩时，超声传播的速度可以增加(例如，高达3米/秒)。
根据示例性实施方式，提供了基于超声感测的模式接口。根据示例性实施方式，可穿戴装置基于用户的肌肉是否收缩来检测不同模式的接口。例如，根据示例性实施方式，一种操作模式是当用户的肌肉处于放松状态时，而另一种操作模式是当用户的肌肉处于收缩或绷紧状态时。根据又一实施方式，一种操作模式是当用户在一定时间段内从放松状态转变成收缩状态时，反之亦然。例如，当用户在一秒钟内收缩他或她的拳头并接着松开时，用户的动作(例如，沿着他或她的手臂滑动他或她的手指)被解释为特定输入。根据又一实施方式，基于用户肌肉的多个收缩程度或水平来提供多种操作模式。考虑到不同的操作模式，可以将不同的输入映射至各个模式，并且更具体地，由用户执行的各种类型的动作(例如，轻敲、抓住肢体、滑动手势等)以及其它因素(例如，位置、压力、时间(例如，动作的开始和位移))。
根据示例性实施方式，检测用户的肌肉是否收缩或收缩的程度包括使用来自加速度计的数据。根据示例性实施方式，可穿戴装置包括加速度计。根据示例性实施方式，加速度计检测肌肉震颤，肌肉震颤通常在用户弯曲或收缩他或她的肌肉时发生。虽然在某种程度上即使当用户的肌肉处于放松状态时也可能发生肌肉震颤，但加速度计可以提供数据来确定与弯曲和/或其它肌肉收缩程度相关的肌肉震颤的程度。按这种方式，除了或代替用户的肌肉处于收缩状态相比于处于放松状态时的超声传播差异，肌肉震颤信息还被用于确定用户的肌肉是否收缩。另外，肌肉震颤信息可用于确定收缩程度(例如，完全绷紧、部分绷紧等)。
根据示例性实施方式，可穿戴装置构成主装置。例如，可穿戴装置可以包括显示器并且具有各种能力，诸如电话、web访问、媒体播放器和/或具有不同功能或服务的另一类型的装置。根据另一实施方式，主装置经由可穿戴装置接收输入。例如，主装置可以采取移动装置的形式。当基于超声技术和用户动作来解释输入时，这些输入由可穿戴装置发送到主装置。主装置根据接收到的输入进行操作。
根据示例性实施方式，可穿戴装置或主装置允许用户手动锁定在特定模式中。例如，可穿戴装置或主装置可以提供允许用户转换成特定感测模式中并在该特定感测模式中操作的用户接口或某种其它类型的输入机制(例如，按钮、语音命令等)。根据另一示例性实施方式，可穿戴装置允许用户通过执行特定动作来锁定在一模式中。例如，当用户的手臂处于放松状态时，这种状态表示“锁定”或“静止”状态，因为只有当用户的拳头被握紧或执行其它有意动作时，才会检测到触摸事件。按这种方式，可以容易地由用户启用和停用可穿戴装置的感测特征，用户不必手动启用和停用可穿戴装置。
图1A是可以实现模式身体触摸超声感测的示例性实施方式的示例性环境100的图。如图所示，环境100包括主装置105、超声装置110以及用户115。图1B是可以实现模式身体触摸超声感测的示例性实施方式的另一示例性环境120的图。如图所示，环境120包括用户115和超声主装置125。根据该实施方式，如前所述，可穿戴装置可以包括超声感测和主装置能力。
尽管图1A和图1B各自示出了腕带类型的超声装置，但根据其它实施方式，可以实现其它形式的超声装置，诸如臂带、头部装置、颈部装置、踝部装置等。另外，超声装置可以包括多个装置。例如，一个装置可以发送超声，并且另一个装置可以接收超声。根据这种配置，用户可以在用户身体的一个位置穿戴一个装置，并且在用户身体的另一位置穿戴另一个装置。
参照图1A，主装置105包括用户装置。例如，主装置105可以采取移动装置的形式，诸如智能电话、个人数字助理(PDA)、平板装置、掌上电脑装置、上网本、音乐播放装置、web装置或其它计算装置。另选的是，主装置105可以采取非移动装置的形式，诸如智能电视机或其它合适装置。主装置105接收来自超声装置110的输入信号，并根据输入信号进行操作。下面进一步描述主装置105。
超声装置110包括发送和接收超声信号的装置。例如，超声装置110包括超声换能器。超声换能器包括充当超声的发送器的换能器和用作超声的接收器的另一换能器。基于用户的身体上的交互，超声装置110基于经由超声接收器接收到的信号的值来识别模式和动作。根据示例性实施方式，超声装置110包括加速度计。超声装置110使用来自加速度计的数据来确定身体上触摸感测的模式。超声装置110使模式和用户动作(例如，轻敲、滑动手势等)与特定输入相关。超声装置110生成输入信号并将其发送至主装置105。然后，主装置105接收该输入并根据该输入进行操作。下面进一步描述超声装置110。
参照图1B所示，超声主装置125包括超声装置110。另外，超声主装置125包括响应于用户的身体上交互的一个或多个终端用户应用和/或服务。
图2A是例示主装置105的示例性组件的图。如图所示，根据示例性实施方式，主装置105包括处理器205、存储器/存储部210、软件215、通信接口220、输入225以及输出230。根据其它实施方式，与图2A所示和本文中描述的组件相比，主装置105可以包括较少的组件、附加组件、不同的组件和/或不同的组件构成。
处理器205包括解释和/或执行指令和/或数据的一个或多个处理器、微处理器、数据处理器、协处理器和/或一些其它类型的组件。处理器205可以被实现为硬件(例如，微处理器等)或硬件与软件的组合(例如，SoC、ASIC等)。处理器205基于操作系统和/或各种应用或程序(例如，软件215)执行一个或多个操作。
存储器/存储部210包括一个或多个存储器，和/或一个或多个其它类型的存储介质。例如，存储器/存储部210可以包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、高速缓存、只读存储器(ROM)、可编程只读存储器(PROM)和/或某个其它类型的存储器。存储器/存储部210可以包括硬盘(例如，磁盘、光盘、磁光盘、固态盘等)。
软件215包括提供功能和/或处理的应用或程序。软件215可以包括固件。作为示例，软件215可以包括电话应用、多媒体应用、电子邮件应用、联系人应用、日历应用、即时消息应用、web浏览应用、基于位置的应用(例如，基于全球定位系统(GPS)的应用等)、摄像机应用等。软件215包括操作系统(OS)。例如，根据主装置105的实现，该操作系统可以对应于iOS、Android、Windows Phone或另一类型的操作系统(例如，专有的、黑莓OS等)。
通信接口220准许主装置105与其它装置、网络、系统等通信。通信接口220可以包括一个或多个无线接口和/或有线接口。通信接口220可以包括一个或多个发送器、接收器和/或收发器。通信接口220根据一个或多个协议、通信标准等进行操作。通信接口220准许与超声装置110通信。
输入225准许到主装置105中的输入。例如，输入225可以包括键盘、鼠标、显示器、触摸屏、非触摸屏、按钮、开关、输入端口、语音识别逻辑和/或某个其它类型的视觉、听觉、触觉等的输入组件。输出230准许来自主装置105的输出。例如，输出230可以包括扬声器、显示器、触摸屏、非触摸屏、灯、输出端口和/或一些其它类型的视觉、听觉、触觉等的输出组件。
主装置105可以响应于处理器205执行由存储器/存储部210存储的软件215来执行处理和/或功能。作为示例，指令可以从另一个存储器/存储部210读入到存储器/存储部210中，或者经由通信接口220从另一个装置读入到存储器/存储部210中。由存储器/存储部210存储的指令使处理器205执行处理或功能。另选地，主装置105可以基于硬件(处理器205等)的操作来执行处理或功能。如前所述，根据示例性实施方式，主装置105基于从超声装置110接收到的输入来操作。
图2B是示出超声装置110的示例性组件的图。如图所示，根据示例性实施方式，超声装置110包括超声发送器235、超声接收器240、加速度计245、输入解释器250以及通信接口255。根据其它实施方式，与图2B所示和在本文中描述的组件相比，超声装置110可以包括较少的组件、附加组件、不同的组件和/或不同的组件构成。例如，超声装置110可以包括主装置105的组件，诸如处理器205、存储器/存储部210、软件215、输入225和/或输出230。另外，根据其它实施方式，超声装置110可以包括其中一个可穿戴件包括超声发送器235而另一个可穿戴件包括超声接收器240的配置。组件之间的连接是示例性的。
超声发送器235发送超声信号。例如，超声发送器235发送在20kHz至100kHz之间的超声信号。超声发送器235可以被配置为以特定的中心频率进行发送。超声发送器235可以利用超声换能器、超声传感器或音频信号生成器来实现。例如，可以使用低成本的压电超声换能器。
超声接收器240接收超声信号。超声接收器240测量超声信号的特性，诸如频率和/或振幅。超声接收器240还可以测量相位。超声接收器240可以利用超声换能器、超声传感器或其它音频编解码器芯片来实现。
加速度计245包括检测移动的逻辑。加速度计245可以采用微机电系统(MEMS)传感器的形式。如前所述，加速度计245可以被用于基于对源自肌肉震颤的移动的检测来检测用户的肌肉是否收缩或收缩程度。
输入解释器250包括用于确定由超声接收器240接收到的超声信号的特性的逻辑。例如，如上所述，所述特性可以是超声信号的频率、超声信号的振幅、超声信号的传播(例如，速度)和/或超声信号的相位。超声信号特性可以保持静态或随时间变化。输入解释器250可以将由超声接收器240接收到的超声信号特性与发送的超声信号进行比较，以识别它们之间的差异并确定传播速度。基于所确定的超声特性，输入解释器250可以生成超声信号轮廓或超声信号签名。超声信号轮廓与特定用户动作(例如，用户在用户手臂上的姿势等)相关。
输入解释器250使用超声信号轮廓作为基础来选择要发送至主装置105的特定输入。如下面进一步描述的，根据示例性实现，输入解释器250将超声信号轮廓与存储超声信号轮廓的数据库进行比较。另外，输入解释器250从加速度计245接收数据。输入解释器250使用该数据作为基础来确定身体触摸用户动作的模式(例如，用户的肢体处于放松状态、收缩状态等)。输入解释器250使用该模式作为基础来选择特定输入，如下面进一步描述的。
根据示例性实施方式，输入解释器250包括预训练机器学习算法。例如，预训练机器学习算法可以基于各种用户的样本空间，其可以具有不同的肌肉质量、身体质量指数(BMI)、年龄、身高和/或其他身体特征。预训练机器学习算法基于接收到的超声信号轮廓来确定特定输入。根据另一示例性实施方式，输入解释器250包括机器学习算法，该机器学习算法可以以每个用户为基础进行训练，以校准、识别并且将接收到的超声信号映射至特定输入。如前所述，输入解释器250可以存储和使用数据库来将接收到的超声信号和加速度计值映射至输入。下面描述示例性数据库。
图2C是例示示例性数据库260的图。如图所示，数据库260包括信号值字段261、加速度计字段263、模式字段265、输入字段267以及应用字段269。根据超声装置110的用户是否经历训练过程(相比于超声装置110被预先训练)，存储在数据库260中的数据可以对应于通过使用超声装置110获得的实际值和用户执行的动作，而不是从其他用户获得的数据等。当然，可以执行这些方法的组合，其中，超声装置110使用预训练值，但也允许当前用户经历训练过程(例如，补充或微调性能)。
信号值字段261存储指示经由超声接收器240接收到的超声信号的特性的数据。例如，信号值字段261存储指示超声信号的签名或轮廓的数据。所述签名或轮廓可以指示超声信号的频率、振幅、相位、持续时间和/或传播特性。信号值字段261还可以指示用户动作数据。例如，用户动作数据指示由用户执行的动作的特性，诸如动作的类型(例如，轻敲、手势等)、动作的位置、动作的压力、动作的开始、动作的位移等。
加速度计字段263存储从加速度计245接收到的数据。例如，加速度计字段263存储指示由肌肉收缩引起的模式的签名或轮廓的数据。作为另一示例，当用户收缩他或她的肌肉时发生肌肉震颤。肌肉震颤的特征可以由加速度计字段263中的数据指示。如前所述，除了放松状态之外，还可以存在用户肌肉的多个程度或水平的收缩，这又可以允许多种操作模式。此外，因为肌肉震颤比超声处于低得多的频带(例如，大约1-20Hz)，所以可以例如利用低通滤波器容易地滤除干扰。
模式字段265存储指示操作模式的数据。例如，模式可以指示放松状态或收缩状态。另选地，模式可以指示放松状态或多个收缩状态中的一个。更进一步地，模式可以指示在特定时段内(例如，在小于一秒钟内，在一秒钟内或多秒钟内)从放松状态到收缩状态的转变，反之亦然。
输入字段267存储指示输入的数据。所述输入可以被用于控制主装置105的操作。也就是说，输入可以对应于可以以其它方式由用户在主装置105上执行的任何输入。鉴于可用的大量不同的输入，输入可以对应于鼠标输入(例如，单击、双击、左键点击、右键点击等)、键盘输入(例如，回车、删除、退出等)、触摸显示器上的手势(例如，轻敲、拖动等)等。输入可以是应用专用的或全局的。例如，应用专用输入可以是改变媒体播放器的音量的输入。根据另一示例，全局输入可以是可应用于主装置105的各种应用的鼠标点击或输入命令。
应用字段269存储指示输入所属于的应用的数据。例如，输入可以用于控制电话应用的铃声的音量或媒体播放器应用的音量。
返回参照图2B，通信接口255准许超声装置110与其它装置、网络、系统等通信。例如，通信接口255准许与主装置105的通信。通信接口255可以包括一个或多个无线接口和有线接口。通信接口220可以包括一个或多个发送器、接收器和/或收发器。通信接口220根据一个或多个协议、通信标准等进行操作。
根据其它实施方式，超声装置110包括比图2B中所描述的组件少的组件。例如，主装置105可以存储数据库260，和/或基于从超声装置110发送至主装置105的数据(例如，超声数据、加速度计数据)来确定输入。超声主装置125可以包括如关于图2A和图2B所述的组件的组合。
图3是例示利用超声装置110的示例性情况的图。根据所描述的情况，假设用户115在盒子305中承载主装置105。然而，根据其它情况，用户115可以将主装置105放在手中(例如，如图1A所示)。另选地，用户115可不携带主装置105，而只是靠近主装置105。例如，主装置105可以对应于智能电视机或其它类型的用户装置。
根据示例性用例，假设用户115正在慢跑并经由耳机收听主装置105上的音乐。在慢跑期间，用户115希望调节正在主装置105上播放音乐的媒体播放器的音量。根据这种情形，用户115决定紧握他或她的左拳并执行滑动手势。输入解释器250从超声接收器240和加速度计245获得值，并使用数据库260来确定要发送到主装置105的输入。在这种情况下，所述输入将降低媒体播放器的音量。超声装置110经由通信接口255通过蓝牙或其它合适的短距或近场通信链路向主装置105发送输入信号。主装置105经由通信接口220接收输入信号。主装置105的媒体播放器基于从超声装置110接收到输入信号来降低音量。
根据另一示例性用例，假设用户115将要进入会议并且希望电话振铃器静音。根据这种情形，在用户的左臂处于放松状态的同时，用户115在他或她的左手上双击。以类似于先前描述的方式，超声装置110解释用户的动作和模式。作为响应，超声装置110确定适当的输入。超声装置110生成输入信号并且经由通信接口255将输入信号发送至主装置105。主装置105接收输入信号，该输入信号使得主装置105将电话振铃器静音。
如前所述，相对于常规的单模式的身体触摸感测，模式身体触摸感测允许用户增加可用输入的数量。例如，放松模式、收缩模式(或收缩程度)以及从一种模式到另一模式的转变向用户提供与用户可在每一模式中执行的可用动作联接的各种交互模式。另外，如前所述，收缩模式或收缩程度可以基于超声信号的传播特性和/或加速度计245来确定。
另外，用户可以跳过使用超声装置110的麻烦的“启用”阶段，在该阶段中，用户必须手动启用和停用主装置105和/或超声装置110上的超声感测。相反，用户可以执行有意的动作以使身体触摸感测起作用。例如，用户可以使他或她的手臂处于放松状态，这对应于“锁定”或“静止”身体感测状态。用户可以通过握紧他或她的拳头或其它动作来启用身体感测，使得可以解释用户的动作。另选地，如图3的情况所述，身体感测可以总是处于“开启”状态。
返回参照图1B，如前所述，超声主装置125包括超声装置110。另外，超声主装置125包括响应于用户的身体上交互的一个或多个终端用户应用或服务。例如，主装置125可以包括电话应用、web浏览器和/或可在主装置105上操作的其它应用或服务。超声主装置125解释超声信号、确定模式等并确定输入的过程可以与之前关于超声装置110描述的相同。但是在这种情况下，不需要经由通信接口255向主装置105发送输入，如先前针对超声装置110所描述的。
图4是例示用于提供模式身体触摸感测的示例性处理400的流程图。处理400中描述的步骤或动作可以由超声装置110的一个或多个组件执行。例如，处理器205可以执行软件215以执行所描述的步骤。根据处理400，假设超声装置110已被训练并且能够基于接收超声事件和加速度计数据来选择输入。另外，根据处理400，假设超声装置110是腕带装置。
参照图4，在框405中，检测到超声事件。例如，超声接收器240接收到超声信号。
在框410中，检测到模式。例如，加速度计245检测到移动。来自加速度计245的移动数据可以指示特定模式，诸如用户肢体的放松状态、用户肢体的收缩状态、收缩程度或从一个状态到另一个状态的转变。
在框415中，基于超声事件和模式来选择输入。例如，输入解释器250使用超声信号特性和来自加速度计245的移动数据来选择适当的输入。例如，输入解释器250基于接收到的数据使用数据库260来选择输入。
在框420中，将输入发送到主装置。例如，输入解释器250生成输入信号。输入解释器250经由通信接口255将输入信号发送至主装置105。
在框425中，主装置接收到输入。例如，主装置105经由通信接口220接收到输入信号。
在框430中，主装置响应该输入。例如，主装置105响应该输入。例如，主装置105执行该输入，这使得主装置105执行一些动作。
尽管图4例示了用于提供模式身体触摸感测的示例性处理400，但与图4所示和所描述的的那些相比，处理400可以包括附加的操作、较少的操作和/或不同的操作。例如，超声主装置125可以执行处理400，除了输入信号可以不需要被发送等以外。
实施方式的前述描述提供了例示，但是并不旨在穷举或将实施方式限制成所公开的精确形式。因此，对在此所述的实施方式的修改是可能的。例如，超声装置110和/或超声主装置125可以包括陀螺仪。陀螺仪可以提供取向数据。按这种方式，除了多个模式以外，取向还可以向可用输入添加另一个维度。例如，与放松并且向外延伸相比，超声装置110可以检测到用户的手臂放松并且悬在他或她的侧面。基于这些差异，可以映射不同类型的输入。
不定冠词(“a”、“an”)和定冠词(“the”)旨在被解释为包括一个或多个项目。而且，除非另有明确说明，短语“基于”旨在解释为“至少部分地基于”。术语“和/或”旨在被解释为包括一个或更多个相关联项目的任何和所有组合。
另外，虽然已经关于图4中所示的处理描述了一系列框，但可以根据其它实施方式修改框的顺序。此外，可以并行执行非相关框。另外，本描述中所述的其它处理可以被修改和/或非相关操作可以并行执行。
在此描述的实施方式可以以许多不同形式的软件、固件和/或硬件来实现。例如，处理或功能可以被实现为“逻辑”或作为“组件”。该逻辑或该组件可以包括硬件(例如，处理器205、专用处理器(未示出)等)，或硬件和软件的组合(例如，软件215)。这些实施方式已经参照特定软件代码进行了描述，因为软件可以被设计成基于在此的描述和附图来实现这些实施方式。
另外，在此描述的实施方式可以被实现为存储诸如指令、程序代码、数据结构、程序模块、应用等的数据和/或信息的非暂时性存储介质。例如，非暂时性存储介质包括关于存储器/存储部210描述的存储介质中的一个或更多个。
当在本说明书中使用时，词语“包括(comprise)”、“包括(comprises)”或“包括(comprising)”以及其同义词(例如，包括(include)等)意在指定存在规定特征、要件、步骤或组件，而非排除存在或添加一个或更多个其它特征、要件、步骤、组件，或其组合。换句话说，这些术语将被解释为包括但不限于。
在前面的说明书中，已经参照附图描述了各种实施方式。然而，在不脱离如下面权利要求书中阐述的本发明的更宽泛范围的情况下，可以对本发明进行各种修改和改变，并且可以实现附加实施方式。因此，本说明书和附图被视为是例示性的而非限制性的。
在说明书中和由附图例示的，引用了“示例性实施方式”，“实施方式”，“多个实施方式”等，其可以包括与一个或多个实施方式相关的特定特征、结构或特性。然而，在本说明书中各个地方使用短语或术语“实施方式”，“多个实施方式”等不一定指所描述的所有实施方式，也不一定指同一实施方式，也不是必然与其它实施方式相互排斥的单独或另选实施方式。这同样适用于术语“实现”，“多个实现”等。
在本申请中描述的部件、动作或指令不应被解释为对在此描述的实施方式是关键或必要的，除非像这样加以明确描述。

Claims (13)

1.一种模式身体触摸超声感测方法，该模式身体触摸超声感测方法包括：
利用来自传感器的数据来识别穿戴着装置的用户的肢体的状态，其中，所述肢体的状态包括指示不启用超声感测的松弛状态和指示启用超声感测的收缩状态；
如果由所述传感器识别的所述肢体的状态是所述收缩状态，则启用超声感测；
通过所述用户穿戴的所述装置在超声信号已传播的区域中检测超声事件，所述超声事件包括接收在所述用户的身体上经皮肤传播并且被身体上触摸影响的所述超声信号；以及
由所述装置基于接收到的所述超声信号来选择输入。
2.根据权利要求1所述的模式身体触摸超声感测方法，该模式身体触摸超声感测方法还包括：
将所述输入发送至第二装置；以及
经由所述第二装置执行所述输入指定的动作。
3.根据权利要求1所述的模式身体触摸超声感测方法，其中，所述输入是能够经由鼠标、键盘或触摸显示器做出的输入中的一种。
4.根据权利要求1所述的模式身体触摸超声感测方法，该模式身体触摸超声感测方法还包括：
分析接收到的所述超声信号的特性，其中，所述特性包括频率、振幅或传播速度中的至少一个；以及
基于所述分析来识别身体上触摸的类型。
5.根据权利要求1所述的模式身体触摸超声感测方法，其中，所述输入是应用专用的。
6.根据权利要求1所述的模式身体触摸超声感测方法，其中，所述身体上触摸是轻敲或滑动手势。
7.一种模式身体触摸超声感测装置，该模式身体触摸超声感测装置包括：
超声换能器；
加速度计；
存储器，其中，所述存储器存储软件；以及
处理器，其中，所述处理器执行所述软件以：
在身体上触摸的时间期间，利用来自所述加速度计的数据来识别用户的穿戴了所述模式身体触摸超声感测装置的肢体的状态和肢体的收缩程度，其中，所述肢体的状态是收缩状态或放松状态；
如果所识别的所述肢体的状态是所述收缩状态，则启用超声感测；
经由所述超声换能器在超声信号已传播的区域中检测超声事件，所述超声事件包括在所述用户的身体上经皮肤传播并且被身体上触摸影响的所述超声信号；以及
基于接收到的所述超声信号来选择输入。
8.根据权利要求7所述的模式身体触摸超声感测装置，该模式身体触摸超声感测装置还包括：
通信接口，其中，所述处理器还执行所述软件以：
经由所述通信接口将所述输入发送至第二装置。
9.根据权利要求7所述的模式身体触摸超声感测装置，其中，所述输入是能够经由鼠标、键盘或触摸显示器做出的输入中的一种。
10.根据权利要求7所述的模式身体触摸超声感测装置，其中，所述处理器还执行所述软件以：
分析接收到的所述超声信号的特性，其中，所述特性包括频率、振幅或传播速度中的至少一个；以及
基于对所述特性的分析来识别身体上触摸的类型。
11.根据权利要求7所述的模式身体触摸超声感测装置，其中，所述处理器还执行所述软件以：
存储包括超声信号轮廓、所述肢体的状态以及输入的数据库；以及
使用所述数据库来选择所述输入。
12.根据权利要求7所述的模式身体触摸超声感测装置，该模式身体触摸超声感测装置还包括：
机器学习模块，该机器学习模块允许用户训练所述模式身体触摸超声感测装置以识别由所述用户执行的特定身体上触摸事件，并选择与所述身体上触摸事件相对应的输入。
13.一种非暂时性存储介质，该非暂时性存储介质存储能够由用户所穿戴的计算装置的处理器执行的指令，所述指令在被执行时使得所述计算装置：
利用来自传感器的数据来识别所述用户的穿戴所述计算装置的肢体的状态，其中，所述肢体的状态包括指示不启用超声感测的松弛状态和指示启用超声感测的收缩状态；
如果由所述传感器识别的所述肢体的状态是所述收缩状态，则启用超声感测；
经由所述计算装置的超声换能器在超声信号已传播的区域中检测超声事件，所述超声事件包括在所述用户的身体上经皮肤传播并且通过身体上触摸生成的所述超声信号；以及
基于接收到的所述超声信号来选择输入。
CN201580044160.9A 2014-08-18 2015-06-24 模式身体触摸超声感测方法和装置以及非暂时性存储介质 Expired - Fee Related CN106662898B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/461,621 2014-08-18
US14/461,621 US9389733B2 (en) 2014-08-18 2014-08-18 Modal body touch using ultrasound
PCT/US2015/037332 WO2016028385A1 (en) 2014-08-18 2015-06-24 Modal body touch using ultrasound

Publications (2)

Publication Number Publication Date
CN106662898A CN106662898A (zh) 2017-05-10
CN106662898B true CN106662898B (zh) 2020-09-11

Family

ID=53541932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580044160.9A Expired - Fee Related CN106662898B (zh) 2014-08-18 2015-06-24 模式身体触摸超声感测方法和装置以及非暂时性存储介质

Country Status (6)

Country Link
US (1) US9389733B2 (zh)
EP (1) EP3183625B1 (zh)
JP (1) JP6353160B2 (zh)
KR (1) KR20170042693A (zh)
CN (1) CN106662898B (zh)
WO (1) WO2016028385A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL265734B (en) * 2016-10-05 2022-09-01 Magic Leap Inc Multi-eye test for mixed reality calibration
EP3533161B1 (en) * 2016-10-25 2020-07-29 Telefonaktiebolaget LM Ericsson (PUBL) User-worn device and touch-device for ultrasonic data transmission
US10481699B2 (en) 2017-07-27 2019-11-19 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
US11048334B2 (en) * 2017-12-22 2021-06-29 Butterfly Network, Inc. Methods and apparatuses for identifying gestures based on ultrasound data
CN111868666A (zh) * 2018-03-23 2020-10-30 脸谱科技有限责任公司 用于确定虚拟现实和/或增强现实设备的用户的接触的方法、设备和系统
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示系统和方法
WO2023048753A1 (en) * 2021-09-27 2023-03-30 Google Llc Touch control of wearable devices
JPWO2022249253A1 (zh) * 2021-05-24 2022-12-01

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745719A (en) * 1995-01-19 1998-04-28 Falcon; Fernando D. Commands functions invoked from movement of a control input device
EP1394665A1 (en) * 2001-06-01 2004-03-03 Sony Corporation User input apparatus
CN103026360A (zh) * 2010-07-20 2013-04-03 三星电子株式会社 用于通过采用生物计量信息操作虚拟世界的设备和方法
EP2650756A2 (en) * 2012-04-09 2013-10-16 Sony Mobile Communications AB Skin input via tactile tags
CN103648374A (zh) * 2011-02-17 2014-03-19 森思公司 用于确定哺乳动物心血管分量的方法和系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
JP3587034B2 (ja) * 1997-10-21 2004-11-10 オムロン株式会社 電子機器及び電子遊戯機器
US7148879B2 (en) * 2000-07-06 2006-12-12 At&T Corp. Bioacoustic control system, method and apparatus
US6984208B2 (en) * 2002-08-01 2006-01-10 The Hong Kong Polytechnic University Method and apparatus for sensing body gesture, posture and movement
KR100785764B1 (ko) * 2005-05-11 2007-12-18 한국전자통신연구원 인체 안테나를 이용한 지상파 ｄｍｂ 수신 장치 및 그 방법
JP4039530B1 (ja) * 2006-11-30 2008-01-30 学校法人立教学院 視覚触知覚相互作用体感装置
KR100793079B1 (ko) * 2006-12-08 2008-01-10 한국전자통신연구원 손목착용형 사용자 명령 입력 장치 및 그 방법
EP2203865A2 (en) * 2007-09-24 2010-07-07 Apple Inc. Embedded authentication systems in an electronic device
EP2280646A1 (en) * 2008-05-26 2011-02-09 Koninklijke Philips Electronics N.V. Location indicating device
US9037530B2 (en) * 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US20100056873A1 (en) * 2008-08-27 2010-03-04 Allen Paul G Health-related signaling via wearable items
TW201015099A (en) * 2008-09-10 2010-04-16 Koninkl Philips Electronics Nv System, device and method for emergency presence detection
US8866760B2 (en) * 2008-12-05 2014-10-21 Koninklijke Philips N.V. User identification based on body-coupled communication
US8271079B2 (en) * 2009-03-24 2012-09-18 Biospace Co., Ltd. Method of analyzing body composition with measurement of voltage signals at multiple positions of body
JP4988016B2 (ja) 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
US9383867B2 (en) * 2009-11-09 2016-07-05 Rohm Co., Ltd. Touch display having proximity sensor electrode pair with each electrode formed on the top face of the display panel so as to overlap the display region
EP2498869B1 (en) * 2009-11-11 2020-05-13 Sage Products, LLC Synergistic muscle activation device
US8421634B2 (en) * 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
US8665210B2 (en) * 2010-12-22 2014-03-04 Microsoft Corporation Sensing user input using the body as an antenna
US8908894B2 (en) * 2011-12-01 2014-12-09 At&T Intellectual Property I, L.P. Devices and methods for transferring data through a human body
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
JP2016502175A (ja) * 2012-10-22 2016-01-21 ヴィド スケール インコーポレイテッド モバイルデバイスにおけるユーザプレゼンスの検出
WO2014064506A2 (en) 2012-10-22 2014-05-01 Sony Corporation User interface with location mapping
US9226094B2 (en) * 2013-07-25 2015-12-29 Elwha Llc Systems and methods for receiving gesture indicative data at a limb wearable computing device
US9594433B2 (en) * 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745719A (en) * 1995-01-19 1998-04-28 Falcon; Fernando D. Commands functions invoked from movement of a control input device
EP1394665A1 (en) * 2001-06-01 2004-03-03 Sony Corporation User input apparatus
CN103026360A (zh) * 2010-07-20 2013-04-03 三星电子株式会社 用于通过采用生物计量信息操作虚拟世界的设备和方法
CN103648374A (zh) * 2011-02-17 2014-03-19 森思公司 用于确定哺乳动物心血管分量的方法和系统
EP2650756A2 (en) * 2012-04-09 2013-10-16 Sony Mobile Communications AB Skin input via tactile tags

Also Published As

Publication number Publication date
JP6353160B2 (ja) 2018-07-04
KR20170042693A (ko) 2017-04-19
CN106662898A (zh) 2017-05-10
JP2017530443A (ja) 2017-10-12
EP3183625A1 (en) 2017-06-28
US9389733B2 (en) 2016-07-12
WO2016028385A1 (en) 2016-02-25
EP3183625B1 (en) 2021-10-27
US20160048231A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
CN106662898B (zh) 模式身体触摸超声感测方法和装置以及非暂时性存储介质
US11009951B2 (en) Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
CN106716440B (zh) 基于超声波的面部和模式触摸感测的方法、装置和介质
Zhao et al. Towards low-cost sign language gesture recognition leveraging wearables
US9772684B2 (en) Electronic system with wearable interface mechanism and method of operation thereof
CN102640086B (zh) 感测机械能以使得身体适用于进行数据输入
EP3171248A1 (en) Gesture recognition method, apparatus and wearable device
US20180348853A1 (en) Method and apparatus using frictional sound
US9857879B2 (en) Finger gesture sensing device
US11347320B1 (en) Gesture calibration for devices
WO2018131251A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10013069B2 (en) Methods and apparatus to detect vibration inducing hand gestures
JP5794526B2 (ja) インタフェースシステム
US20160202788A1 (en) Multi-on-body action detection based on ultrasound
US11262850B2 (en) No-handed smartwatch interaction techniques
US10698477B2 (en) Employing headset motion data to determine audio selection preferences
US20170090590A1 (en) Determining Digit Movement from Frequency Data
US20180267618A1 (en) Method for gesture based human-machine interaction, portable electronic device and gesture based human-machine interface system
JP6188151B2 (ja) 身体を伝播する信号の位相差に基づいて入力情報を決定可能な入力システム及び入力方法
CN104932695A (zh) 信息输入装置及信息输入方法
JP6208044B2 (ja) 身体を伝播する信号の電力に基づいて入力情報を決定可能な入力システム及び入力方法
JP2023135632A (ja) 手のマルチモーダル生体測定装置からのユーザ入力の検出
CN115047993A (zh) 一种触摸行为识别方法、装置以及设备
KR20150096075A (ko) 센서를 이용한 디바이스 인식방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200911