CN106716440A - 利用头戴式装置进行的基于超声波的面部和模式触摸感测 - Google Patents

利用头戴式装置进行的基于超声波的面部和模式触摸感测 Download PDF

Info

Publication number
CN106716440A
CN106716440A CN201580050183.0A CN201580050183A CN106716440A CN 106716440 A CN106716440 A CN 106716440A CN 201580050183 A CN201580050183 A CN 201580050183A CN 106716440 A CN106716440 A CN 106716440A
Authority
CN
China
Prior art keywords
input
ultrasonic signal
user
characteristic
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580050183.0A
Other languages
English (en)
Other versions
CN106716440B (zh
Inventor
安德里亚·克里斯藤森
A·亨特
O·索恩
M·林德奎斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106716440A publication Critical patent/CN106716440A/zh
Application granted granted Critical
Publication of CN106716440B publication Critical patent/CN106716440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种方法、装置和非暂时性存储介质，所述非暂时性存储介质具有用于分析超声波信号的特性的指令，所述超声波信号在计算装置的用户的面部上传播并且受用户在所述超声波信号已经传播的区域中的体上触摸影响，其中，所述特性包括面部表情或面部肌肉的收缩状态中的至少一个；基于对超声波事件的分析来选择输入；以及执行由所述输入指定的动作。

Description

利用头戴式装置进行的基于超声波的面部和模式触摸感测
技术领域
本发明涉及基于超声波的面部和模式触摸感测的方法、装置以及非暂时性存储介质。
相关申请的交叉引用
对于2014年9月19日提交的美国专利申请14/491,084进行引用，该申请的全部公开通过引用并入本文中。
背景技术
移动装置(诸如智能电话)向其用户提供各种服务。用户可以经由触摸板和/或非接触板与移动装置的显示器进行交互。虽然触摸输入技术和非触摸输入技术允许用户在操作移动装置时具有大量的灵活性，但是设计者和制造商不断地努力改进移动装置与用户的互操作性。
发明内容
根据一个方面，一种方法可以包括通过用户佩戴的装置发送超声波信号，其中，超声波信号在用户的面部上传播；由所述装置接收超声波事件，所述超声波事件包括接收超声波信号，所述超声波信号在所述用户的面部上传播并且受用户在所述超声波信号已经传播的区域中的体上触摸(on-body touch)影响；由所述装置分析所接收到的超声波信号的特性，其中，所述特性包括面部表情或面部肌肉的收缩状态中的至少一个；以及由所述装置基于对所述超声波事件的分析来选择输入。
另外，该方法可以包括由装置执行由输入指定的动作。
另外，所述方法可以包括存储将超声波事件数据映射到指示输入的数据的数据库，其中，所述超声波事件数据包括面部表情数据和肌肉状态数据；以及将所接收到的超声波信号的特性与存储在所述数据库中的数据进行比较；并且其中，所述选择可以包括基于所述比较来选择所述输入。
另外，所述输入可以是可以经由鼠标、键盘或触摸显示器进行的输入中的一种。
另外，所述分析可以包括分析所接收到的超声波信号的特性，其中，所述特性包括频率、振幅或传播速度中的至少一个；以及基于所述分析来识别体上触摸的类型。
另外，所述输入可以是针对应用特定的。
另外，所述体上触摸可以是轻敲或滑动手势。
根据另一方面，一种装置可以包括：超声波换能器，其中，所述超声波换能器发送超声波信号，其中，所述超声波信号在佩戴所述装置的用户的面部上传播，并且其中，所述超声波换能器接收超声波事件，所述超声波事件包括接收超声波信号，该超声波信号在用户的面部上传播并且受用户在所述超声波信号已经传播的区域中的体上触摸的影响；存储器，其中，所述存储器存储软件；以及处理器，其中，所述处理器执行所述软件并且可以分析所接收到的超声波信号的特性，其中，所述特性包括面部表情或面部肌肉的收缩状态中的至少一个；并且可以基于对所述超声波事件的分析来选择输入。
另外，所述装置还可以包括通信接口，并且其中，处理器还可以执行软件以经由通信接口将输入发送到另一装置。
另外，处理器还可以执行软件以存储将超声波信号特性数据映射到指示输入的数据的数据库，其中，超声波信号特性数据包括面部表情数据和肌肉状态数据；以及将所接收到的超声波信号的特性与存储在所述数据库中的数据进行比较；并且其中，当进行选择时，所述处理器还可以执行所述软件以基于比较来选择输入。
另外，所述肌肉状态数据可以包括指示放松肌肉状态、收缩肌肉状态以及在指定时间段内从一种肌肉状态到不同肌肉状态的转变的数据。
另外，当进行分析时，处理器可以进一步执行软件以分析所接收到的超声波信号的特性，其中，所述特性包括频率、振幅或传播速度中的至少一个；以及基于特性的分析来识别体上触摸的类型。
另外，所述输入可以是可以经由鼠标、键盘或触摸显示器进行的输入中的一种。
另外，处理器还可以执行软件以识别指示激活超声波感测的体上触摸。
另外，所述装置还可以包括机器学习模块，所述机器学习模块允许用户训练装置以识别由用户执行的特定体上触摸事件并且选择与该体上触摸事件相对应的输入。
根据又一方面，一种存储可由计算装置的处理器执行的指令的非暂时性存储介质，所述指令在被执行时可以使计算装置分析超声波信号的特性，所述超声波信号在计算装置的用户的面部上传播并且受用户在所述超声波信号已经传播的区域中的体上触摸影响，其中，所述特性包括面部表情或面部肌肉的收缩状态中的至少一个；基于对所述超声波信号的分析来选择输入；以及执行由输入指定的动作。
另外，指令可以包括用于分析超声波信号的特性的指令，其中，所述特性包括频率、振幅或传播速度中的至少一个；以及基于对所述特性的分析来识别体上触摸的类型。
另外，指令可以包括用于存储将超声波信号轮廓(profile)映射到输入的数据库的指令；以及使用所述数据库选择输入的指令。
另外，指令可以包括用于识别指示计算装置将激活超声波感测的体上触摸的指令。
另外，指令可以包括用于允许用户训练装置以识别由用户执行的特定体上触摸事件并且选择与该体上触摸事件相对应的输入的指令。
附图说明
[图1]图1是示出可以实现基于超声波的面部和模式触摸感测的示例性实施方式的示例性环境的图；
[图2A]图2A是示出头戴式装置的示例性组件的图；
[图2B]图2B是示出头戴式装置的示例性组件的图；
[图2C]图2C是示出示例性数据库的图；
[图2D]图2D是示出包括超声波换能器的示例性头戴式装置的顶视图的图；
[图3A]图3A是示出与基于超声波的面部和模式触摸感测的示例性实施方式有关的示例性场景的图；
[图3B]图3B是示出与基于超声波的面部和模式触摸感测的示例性实施方式有关的示例性场景的图；
[图3C]图3C是示出与基于超声波的面部和模式触摸感测的示例性实施方式有关的示例性场景的图；
[图3D]图3D是示出与基于超声波的面部和模式触摸感测的示例性实施方式有关的示例性场景的图；
[图3E]图3E是示出与基于超声波的面部和模式触摸感测的示例性实施方式有关的示例性场景的图；
[图3F]图3F是示出与基于超声波的面部和模式触摸感测的示例性实施方式有关的示例性场景的图；以及
[图4]图4是示出提供基于超声波的面部和模式触摸感测服务的示例性过程的流程图。
具体实施方式
以下详细描述参照所述附图。不同附图中的相同附图标记可以标识相同或者类似要素。
穿过用户身体的超声波发送和感测已经成为最近的研究领域。例如，用户可以佩戴腕带或臂带，其中，超声波信号经由用户的皮肤被发送和传播(例如，经皮超声波传播)。可穿戴装置包括发送超声波信号的发送器和接收超声波信号的接收器。根据示例性使用情况，用户可以用他或她的手指触摸他或她的前臂、抓握前臂、或者在前臂上执行滑动运动。经由接收器在一个或多个频率和/或振幅处测量超声波信号。基于所接收到的值和所存储的信号轮廓，可以确定由用户执行的输入的类型。例如，用户可以在特定位置轻敲他或她的前臂，并且可以确定该信息(即，轻敲和位置)。该信息可以用作对可穿戴装置或另一装置的输入。
超声波根据肌肉组织的张紧度以不同的速度穿过肌肉组织。例如，当肌肉由于肌肉的血液含量而收缩时，超声波传播的速度可以增加(例如，高达3m/s)。
头戴式显示器(HWD)装置(简称为“头戴式装置”)具有非常有限的用户交互能力。例如，头戴式装置可以包括几个按钮和小的触摸输入区域(例如，位于头戴式装置的太阳穴部分上的电容式触摸板)。头戴式装置还可以经由用户的语音命令接收输入。然而，语音输入在特定环境(例如，嘈杂环境、用户不想说话的安静环境等)中不能很好地工作。因此，在一些情况下，用户限于几个按钮和小触摸板来执行几个触摸输入。
根据示例性实施方式，头戴式装置包括超声波换能器。超声波换能器包括用作超声波的发送器的换能器和用作超声波的接收器的另一换能器。在超声波换能器发送和接收超声波的时间期间，用户执行体上动作(例如，在用户的面部上)。用户的动作可以涉及用户的单手或双手。头戴式装置基于经由超声波接收器接收到的信号的值识别动作。头戴式装置将所识别到的动作映射到输入，并且反过来执行所述输入。
根据示例性实施方式，头戴式装置提供基于超声波感测的模式接口(modalinterface)。头戴式装置基于用户的面部肌肉是否收缩来检测接口的不同模式。例如，根据示例性实施方式，一种操作模式是当用户的面部肌肉处于放松状态时，另一种操作模式是当用户的面部肌肉处于收缩或绷紧状态时。根据又一实施方式，一种操作模式是当用户在一定时间段内从放松状态转变到收缩状态或反之亦然。例如，当用户收缩他或她的面部中的肌肉，并且然后在一秒内放松那些肌肉时，用户的动作(例如，沿着他或她的手臂滑动他或她的手指)被解释为特定输入。根据另一个实施方式，基于用户的面部肌肉的多个收缩程度或水平提供多种操作模式。根据示例性实施方式，头戴式装置在用户的肌肉处于特定状态(例如，收缩状态、放松状态等)或其转变时检测超声波的传播速度的差异。
根据示例性实施方式，头戴式装置检测与用户的面部表情(例如，微笑、悲伤、严肃、正常等)相对应的接口的不同模式。例如，当用户展现某种表情或者进行从一个表情到另一个表情(例如，正常到微笑等)的转变时，用户可以执行体上手势。根据示例性实施方式，当使用头戴式装置时，用户可以使用身体的其它区域(诸如颈部区域)来执行体上动作。
考虑到不同的操作模式，可以将不同的输入映射到每个模式和(更具体地)由用户执行的每种类型的动作(例如，轻敲、手掌按摩用户的面部、滑动手势等)以及其它因素(例如，位置、压力、时间(例如，动作的开始和结束))。
根据示例性实施方式，头戴式装置构成主装置。根据另一实施方式，主装置经由头戴式装置接收输入。例如，主装置可以采取移动装置、电视或任何其它端用户装置的形式。当基于超声波技术和用户动作来解释输入时，这些输入由头戴式装置发送到主装置。主装置根据所接收到的输入进行操作。
根据示例性实施方式，头戴式装置允许用户手动锁定在特定模式。例如，头戴式装置可以提供允许用户转变到特定感测模式并以特定感测模式操作的用户接口或某种其它类型的输入机制(例如，按钮、声音命令等)。根据另一示例性实施方式，头戴式装置允许用户通过执行特定动作来锁定模式。例如，当用户的面部处于放松状态或用户具有正常表情时，这样的状态表示“锁定”或“休眠”状态，并且如果用户使他或她的面部肌肉弯曲或执行一些其它故意动作(例如，特定面部表情)，则所述其它动作将被检测为触摸事件。以这种方式，头戴式装置的感测特征可以容易地被用户激活和停用，而用户不必手动激活和停用可佩戴装置。
图1是其中可以实现基于超声波的面部和模式触摸感测的示例性实施方式的示例性环境100的图。如图所示，环境100包括头戴式装置105和用户115。根据该实施方式，如前所述，头戴式装置105包括超声波感测和用户装置能力。
尽管图1示出了作为护目镜类型的超声波装置的头戴式装置105，但是根据其它实施方式，可以实现其它形式的超声波装置，诸如头盔型、眼镜型等。参照图1，头戴式装置105包括发送和接收超声波信号的装置。例如，头戴式装置105包括超声波换能器。超声波换能器包括用作超声波的发送器的换能器和用作超声波的接收器的另一换能器。基于用户的体上动作，头戴式装置105基于经由超声波接收器接收到的信号的值识别模式和动作。头戴式装置105将模式和用户动作(例如，轻敲、滑动手势等)映射到特定输入。反过来，头戴式装置105响应于所述输入而进行操作。头戴式装置105包括显示器。例如，显示器可以向用户呈现各种媒体(例如，电影、图片等)、用于操作或控制头戴式装置105的用户接口或与各种应用(例如，网页浏览、媒体播放器、游戏等)相关联的用户接口。
根据示例性使用情况，用户115可以使用他或她的手来执行各种动作(例如，轻敲、滑动手势、手掌按摩等)，这又被解释为经由超声波接收器的输入。用户可以同时或连续地使用一只手或两只手。另外，如前所述，用户115可以结合由用户的手执行的动作来控制他或她的面部肌肉的状态和/或使用各种面部表情来调用特定输入。
图2A是示出头戴式装置105的示例性组件的图。如图所示，根据示例性实施方式，头戴式装置105包括处理器205、存储器/存储装置210、软件215、通信接口220、输入端225和输出端230。根据其它实施方式，头戴式装置105可以包括与图2A所示和本文描述的那些组件相比更少的组件、附加的组件、不同的组件和/或组件的不同布置。
处理器205包括解释和/或执行指令和/或数据的一个或多个处理器、微处理器、数据处理器、协同处理器和/或一些其它类型的组件。处理器205可以被实现为硬件(例如，微处理器等)或硬件和软件的组合(例如，SoC、ASIC等)。处理器205基于操作系统和/或各种应用或程序(例如，软件215)执行一个或多个操作。
存储器/存储装置210包括一个或多个存储器和/或一个或多个其它类型的存储介质。例如，存储器/存储装置210可以包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、高速缓存、只读存储器(ROM)、可编程只读存储器(PROM)和/或一些其它类型的存储器。存储器/存储装置210可以包括硬盘(例如，磁盘、光盘、磁光盘、固态盘等)。
软件215包括提供功能和/或过程的应用或程序。软件215可以包括固件。举例来说，软件215可以包括电话应用、多媒体应用、电子邮件应用、联系人应用、日历应用、即时消息应用、web浏览应用、基于位置的应用(例如，基于全球定位系统(GPS)的应用等)、相机应用等。软件215包括操作系统(OS)。例如，根据头戴式装置105的实现，操作系统可以对应于iOS、Android、Windows Phone或另一类型的操作系统(例如，专有的、黑莓OS等)。根据示例性实施方式，如本文所描述的，软件215包括解释超声波信号特性并选择输入的应用。
通信接口220允许头戴式装置105与其它装置、网络、系统等进行通信。通信接口220可以包括一个或多个无线接口和/或有线接口。通信接口220可以包括一个或多个发送器、接收器和/或收发器。通信接口220根据一个或多个协议、通信标准等进行操作。通信接口220允许与头戴式装置105的通信。
输入端225允许到头戴式装置105的输入。例如，输入端225可以包括按钮、开关、触摸板、输入端口、语音识别逻辑和/或一些其它类型的输入组件。输出端230允许来自头戴式装置105的输出。例如，输出端230可以包括扬声器、显示器、灯、输出端口和/或一些其它类型的输出组件。
头戴式装置105可以响应于处理器205执行由存储器/存储装置210存储的软件215来执行处理和/或功能。举例来说，指令可以从一个存储器/存储装置210被读取到另一存储器/存储装置210中或者经由通信接口220从另一个装置读取到存储器/存储装置210中。由存储器/存储装置210存储的指令使处理器205执行处理或功能。另选地，头戴式装置105可以基于硬件(处理器205等)的操作来执行处理或功能。
图2B是示出头戴式装置105的示例性组件的图。如图所示，根据示例性实施方式，头戴式装置105包括超声波发送器235、超声波接收器240和输入解释器245。根据其它实施方式，头戴式装置105可以包括与图2B所示和本文描述的那些组件相比附加的组件、不同的组件和/或组件的不同布置。组件之间的连接是示例性的。
超声波发送器235发送超声波信号。例如，超声波发送器235发送在20kHz与100kHz之间的超声波信号。超声波发送器235可以被配置为以特定中心频率进行发送。超声波发送器235可以使用超声波换能器、超声波传感器或音频信号发生器来实现。例如，可以使用低成本的压电超声波换能器。
超声波接收器240接收超声波信号。超声波接收器240测量超声波信号的特性，诸如频率和/或振幅。超声波接收器240还可以测量超声波信号的相位。超声波接收器240可以使用超声波换能器、超声波传感器或其它音频编解码器芯片来实现。
参照图2D，根据示例性实施方式，多个超声波发送器235和多个超声波接收器240可以整体地包括并定位在头戴式装置105中。例如，头戴式装置105可以包括超声波发送器235-1至235-3以及超声波接收器240-1至240-3。根据其它实施方式，头戴式装置105可以包括附加的或较少的超声波发送器235和/或超声波接收器。附加地或另选地，这些组件可以位于与所示的位置不同的位置。附加地或另选地，超声波发送器235和超声波接收器240可以被实现为单个组件(例如，超声波收发器)。根据这些组件的数量和位置，用户可以对他或她的面部的各个部分(诸如脸颊区域、下巴区域、鼻子区域、眼睛区域、前额区域等)执行动作。
参照回图2B，输入解释器245包括用于确定由超声波接收器240接收到的超声波信号的特性的逻辑。例如，如前所述，所述特性可以是超声波信号的频率、超声波信号的振幅、超声波信号的传播(例如，速度)和/或超声波信号的相位。超声波信号特性可以保持静态或随时间改变。输入解释器245可以将由超声波接收器240接收到的超声波信号特性与所发送的超声波信号进行比较，以识别它们之间的差异并且确定超声波信号的传播速度。基于所确定的超声波特性，输入解释器245可以生成超声波信号轮廓或超声波信号签名。超声波信号轮廓与特定用户动作(例如，用户手臂上的用户手势等)相关。
输入解释器245使用超声波信号轮廓作为基础来选择特定输入。如下面进一步描述的，根据示例性实施方式，输入解释器245将超声波信号轮廓与存储超声波信号轮廓的数据库进行比较。如下面进一步描述的，输入解释器245使用模式(例如，面部肌肉状态或面部表情)作为选择特定输入的基础。
根据示例性实施方式，输入解释器245包括预先存在的样本值的训练集合。例如，样本值可以基于各种用户的样本空间，所述各种用户可以具有不同的肌肉质量、身体质量指数(BMI)、年龄、身高和/或其它身体特征。算法基于所接收到的超声波信号轮廓和样本值来确定特定输入。根据另一示例性实施方式，输入解释器245包括机器学习算法，该机器学习算法可以在每个用户的基础上被训练以校准、识别所接收到的超声波信号，以及将所接收到的超声波信号映射到特定输入。
如前所述，输入解释器245可以存储和使用数据库来将所接收到的超声波信号值映射到输入。数据库可以存储将超声波信号值映射到输入的预先训练和/或用户训练的数据。下面描述示例性数据库。
图2C是示出示例性数据库260的图。如图所示，数据库260包括信号值字段261、肌肉状态字段263、面部表情字段265、输入字段267和应用字段269。根据头戴式装置105的用户是否经历训练过程(相对于已经预先训练的头戴式装置105)，存储在数据库260中的数据可以与通过使用头戴使装置105获得的实际值和由用户执行的动作相对应，而不是从其它用户获得的数据等。在一些实施方式或配置中，头戴式装置105可以使用预先训练的值，并且允许用户训练头戴式装置105(例如，添加模式或现有模式的调整性能)。
信号值字段261存储指示经由超声波接收器240接收到的超声波信号的特性的数据。例如，信号值字段261存储指示超声波信号的签名或轮廓的数据。所述签名或轮廓可以指示超声波信号的频率、振幅、相位、持续时间和/或传播特性。信号值字段261还可以指示用户动作数据。例如，用户动作数据指示由用户执行的动作的特性，诸如动作的类型(例如，轻敲、手势等)、动作的位置、与动作相关联的压力、动作的开始、动作的结束等。
如图2C中进一步所示，肌肉状态字段263和面部表情字段265存储指示操作模式的数据。虽然在用户的肌肉状态(例如，放松、绷紧等)和用户的面部表情之间的数据中可能存在交叠，但是也可能存在差异。例如，用户可以呈现具有特定肌肉收缩状态的面部表情，但是然后用户还可以在保持面部表情的同时改变肌肉的收缩状态。
肌肉状态字段263存储指示操作模式的数据。例如，模式可以指示放松状态或收缩状态。另选地，模式可以指示放松状态或多个收缩状态中的一个。此外，模式可以指示在特定时间段内(例如，在小于1秒内、在1秒内或多秒内)从放松状态到收缩状态的转变，反之亦然。
面部表情字段265存储指示操作模式的数据。例如，模式可以指示面部表情，诸如微笑、皱眉、正常表情等。此外，模式可以指示在特定时间段内(例如，在小于1秒内，在1秒内或多秒内)从一个面部表情到另一个面部表情的转变，或反之亦然。
输入字段267存储指示输入的数据。输入可以用于控制头戴式装置105的操作。给定可用的各种各样的输入，所述输入可以对应于鼠标输入(例如，单击、双击、左按钮点击、右按钮点击等)、键盘输入(例如，输入、删除、退出等)、触摸显示器上的手势(例如，轻敲、拖动等)等。输入可以是针对应用特定的或全局的。例如，专用输入可以是改变媒体播放器的音量的输入。根据另一示例，全局输入可以是可以应用于头戴式装置105的各种应用的鼠标点击或输入命令。
应用字段269存储指示输入所属的应用的数据。例如，输入可以是用于控制电话应用的铃声的音量或媒体播放器应用的音量。
图3A至图3F是示出由用户115执行的示例性面部触摸动作的图。如图所示，用户115可以在佩戴头戴式装置105时在他或她的脸上执行各种触摸动作。为了简单起见，在用户115的面部的侧面(例如，面颊区域)执行示例性面部触摸动作。然而，如前所述，可以使用用户115的面部的其它区域。另外，为了简单起见，用户115利用一只手并且使用他或她的食指执行触摸动作。然而，根据其它示例，用户115可以使用双手、具有多个手指的单只手、手的手掌等。另外，关于图3A至图3F描述的被映射到示例性面部动作的输入也是示例性的。
参照图3A，用户115使用他或她的手指沿向前的线305滑动。作为响应，头戴式装置105在菜单系统的上下文中执行前进或下一动作。参照图3B，用户115使用他或她的手指沿向后的线310滑动。作为响应，头戴式装置105在菜单系统的上下文中执行后退或前一动作。参照图3C，用户115使用他或她的手指沿向上的线315滑动。作为响应，头戴式装置105在菜单系统的上下文中执行向上或前一动作。参照图3D，用户115使用他或她的手指沿向下的线320滑动。作为响应，头戴式装置105在菜单系统的上下文中执行向下或下一动作。参照图3E，用户115使用他或她的手指沿向后的圆形线325滑动。作为响应，头戴式装置105增大媒体播放器的音量。参照图3F，用户115使用他或她的手指沿向前的圆形线330滑动。作为响应，头戴式装置105减小媒体播放器的音量。
如前所述，基于超声波的面部和模式触摸感测允许用户相对于常规的头戴式装置增加数量的可用输入。例如，放松模式、收缩模式(或其程度)、面部表情、从一个模式到另一个模式的转变等向用户提供与用户可在每个模式中执行的可用动作耦合的各种交互模式。另外，如前所述，收缩模式或其程度可以基于超声波信号的传播特性来确定。另外，用户可以执行使得面部触摸感测起作用的故意动作。例如，头戴式装置105可以在用户的面部交互被解释为输入之前处于“锁定”或“休眠”面部感测状态。例如，当头戴式装置105处于锁定状态时，用户可以抓挠他的脸而不会引起输入。另选地，头戴式装置105的面部感测能力可以始终处于“开启”状态。
图4是示出提供基于超声波的面部和模式触摸感测的示例性过程400的流程图。过程400中描述的步骤或动作可以由头戴式装置105的一个或多个组件来执行。例如，处理器205可以执行软件215以执行所描述的步骤。根据过程400，假设头戴式装置105已经被训练并且能够基于接收超声波事件来选择输入。
参照图4，在框405中，发送超声波信号。例如，超声波发送器235发送超声波信号。超声波信号沿着用户的面部的一个或多个部分传播。假设用户在超声波信号通过其传播的用户面部的一部分上执行一些动作。
在框410中，接收超声波信号。例如，头戴式装置105的超声波接收器240接收超声波信号。超声波接收器240将表示所接收到的超声波信号的值传递到输入解释器245。
在框415中，对超声波信号进行评估。例如，输入解释器245对值进行评估以选择特定输入。例如，输入解释器245使用数据库260来将与超声波信号相关联的超声波信号特性与存储在数据库260中的数据进行比较。如前所述，数据库260包括指示特定模式的数据。当用户执行动作时，特定模式可以基于用户的面部表情和/或肌肉状态(例如，放松、收缩、收缩程度或从一个状态到另一个状态的转变)。
在框420中，基于对值的评估来选择输入。例如，输入解释器245使用超声波信号特性来选择适当的输入。例如，输入解释器245使用数据库260来选择映射到存储在数据库260中的值的输入，所述值匹配或最佳匹配与所接收到的超声波信号相关联的值。
在框425中，头戴式装置对输入做出响应。例如，头戴式装置105执行与输入相关联的处理。
尽管图4示出了用于提供基于超声波的面部和模式触摸感测的示例性过程400，但是过程400可以包括与图4所示的并且如所描述的那些操作相比附加的操作、更少的操作和/或不同的操作。
前述实施方式的描述提供了说明，但并不旨在穷举或者将实施方式限制为所公开的精确形式。因此，对本文描述的实施方式的修改是可能的。例如，头戴式装置105可以包括陀螺仪。陀螺仪可以提供方向数据。以这种方式，除了多个模式之外，方向可以向可用输入添加另一个维度。例如，头戴式装置105可以检测到用户的头部朝向左或右。基于这些差异，可以映射不同类型的输入。
术语“一个”和“该”旨在被解释为包括一个或多个项目。此外，除非另有明确说明，否则短语“基于”旨在被解释为“至少部分地基于”。术语“和/或”旨在被解释为包括相关联的项目的一个或更多个的任意和所有组合。
此外，虽然已经关于图4中所示的过程描述了一系列框，但是可以根据其它实施方式修改框的顺序。此外，可以并行执行非依赖性框。另外，可以修改本说明书中描述的其它过程和/或可以并行执行非依赖性操作。
本文描述的实施方式可以以许多不同形式的软件、固件和/或硬件来实现。例如，过程或功能可以被实现为“逻辑”或实现为“组件”。该逻辑或该组件可以包括硬件(例如，处理器205、专用处理器(未示出)等)或硬件和软件(例如，软件215)的组合。已经参照特定软件代码描述了实施方式，因为软件可以被设计为基于本文的描述和附图来实现实施方式。
另外，本文描述的实施方式可以被实现为非暂时性存储介质，所述非暂时性存储介质存储诸如指令、程序代码、数据结构、程序模块、应用等的数据和/或信息。例如，非暂时性存储介质包括关于存储器/存储装置210描述的存储介质中的一个或更多个。
当在说明书中使用时，术语“包括”及其同义词意味着指定所述特征、整体、步骤或组件的存在，但并不排除一个或更多个其它特征、整体、步骤、组件或它们的组合的存在或附加。换句话说，这些术语被解释为包括但不限于。
在前面的说明书中，已经参照附图描述了各种实施方式。然而，在不脱离如在所附权利要求中阐述的本发明的较宽范围的情况下，可以对其进行各种修改和改变，并且可以实现附加的实施方式。说明书和附图因此被认为是说明性的而不是限制性的。
在说明书中和由附图所示出的，对可以包括与一个或多个实施方式相关的特定特征、结构或特性的“示例性实施方式”、“一个实施方式”、“多个实施方式”等进行参照。然而，在说明书中各个地方使用的短语或术语“一个实施方式”、“多个实施方式”等不一定是指所描述的所有实施方式，也不一定是指相同的实施方式，也不一定是必然与其它实施方式相互排斥的单独的或另选的实施方式。这同样适用于术语“一个实现方式”、“多个实现方式”等。
本申请中描述的元素、动作或者指令不应被解释为对本文描述的实施方式是关健的或者必要的，除非明确地如此描述。

Claims (20)

1.一种方法，所述方法包括以下步骤：
通过用户佩戴的装置发送超声波信号，其中，所述超声波信号在所述用户的面部上传播；
由所述装置接收超声波事件，所述超声波事件包括接收所述超声波信号，所述超声波信号在所述用户的面部上传播并且受所述用户在所述超声波信号已经传播的区域中的体上触摸影响；
由所述装置分析所接收到的超声波信号的特性，其中，所述特性包括面部表情或面部肌肉的收缩状态中的至少一个；以及
由所述装置基于对所述超声波事件的分析来选择输入。
2.根据权利要求1所述的方法，所述方法还包括：
由所述装置执行由所述输入指定的动作。
3.根据权利要求1所述的方法，所述方法还包括：
存储将超声波事件数据映射到指示输入的数据的数据库，其中，所述超声波事件数据包括面部表情数据和肌肉状态数据；以及
将所接收到的超声波信号的所述特性与存储在所述数据库中的数据进行比较；并且其中，所述选择包括：
基于所述比较来选择所述输入。
4.根据权利要求1所述的方法，其中，所述输入是能够经由鼠标、键盘或触摸显示器进行的输入中的一种。
5.根据权利要求1所述的方法，其中，所述分析包括：
分析所接收到的超声波信号的所述特性，其中，所述特性包括频率、振幅或传播速度中的至少一个；以及
基于所述分析来识别体上触摸的类型。
6.根据权利要求1所述的方法，其中，所述输入是针对应用特定的。
7.根据权利要求1所述的方法，其中，所述体上触摸是轻敲或滑动手势。
8.一种装置，所述装置包括：
超声波换能器，其中，所述超声波换能器发送超声波信号，其中，所述超声波信号在佩戴所述装置的用户的面部上传播，并且其中，所述超声波换能器接收超声波事件，所述超声波事件包括接收所述超声波信号，所述超声波信号在所述用户的面部上传播并且受所述用户在所述超声波信号已经传播的区域中的体上触摸的影响；
存储器，其中，所述存储器存储软件；以及
处理器，其中，所述处理器执行所述软件以：
分析所接收到的超声波信号的特性，其中，所述特性包括面部表情或面部肌肉的收缩状态中的至少一个；以及
基于对所述超声波事件的分析来选择输入。
9.根据权利要求8所述的装置，所述装置还包括：
通信接口，其中，所述处理器还执行所述软件以：
经由所述通信接口将所述输入发送到另一装置。
10.根据权利要求8所述的装置，其中，所述处理器还执行所述软件以：
存储将超声波信号特性数据映射到指示输入的数据的数据库，其中，所述超声波信号特性数据包括面部表情数据和肌肉状态数据；以及
将所接收到的超声波信号的所述特性与存储在所述数据库中的数据进行比较；并且其中，当进行选择时，所述处理器还执行所述软件以：
基于比较来选择所述输入。
11.根据权利要求10所述的装置，其中，所述肌肉状态数据包括指示放松肌肉状态、收缩肌肉状态以及在指定时间段内从一种肌肉状态到不同的肌肉状态的转变的数据。
12.根据权利要求8所述的装置，其中，当进行分析时，所述处理器还执行所述软件以：
分析所接收到的超声波信号的所述特性，其中，所述特性包括频率、振幅或传播速度中的至少一个；以及
基于对所述特性的分析来识别体上触摸的类型。
13.根据权利要求8所述的装置，其中，所述输入是能够经由鼠标、键盘或触摸显示器进行的输入中的一种。
14.根据权利要求8所述的装置，其中，所述处理器还执行所述软件以：
识别指示激活超声波感测的体上触摸。
15.根据权利要求8所述的装置，所述装置还包括：
机器学习模块，所述机器学习模块允许所述用户训练所述装置以识别由所述用户执行的特定体上触摸事件并且选择与所述体上触摸事件相对应的输入。
16.一种非暂时性存储介质，所述非暂时性存储介质存储能够由计算装置的处理器执行的指令，所述指令在被执行时使得所述计算装置：
分析超声波信号的特性，所述超声波信号在所述计算装置的用户的面部上传播并且受所述用户在所述超声波信号已经传播的区域中的体上触摸影响，其中，所述特性包括面部表情或面部肌肉的收缩状态中的至少一个；
基于对所述超声波信号的分析来选择输入；以及
执行由所述输入指定的动作。
17.根据权利要求16所述的非暂时性存储介质，其中，所述指令包括用于以下的指令：
分析超声波信号的特性，其中，所述特性包括频率、振幅或传播速度中的至少一个；以及
基于对所述特性的分析来识别体上触摸的类型。
18.根据权利要求16所述的非暂时性存储介质，其中，所述指令包括用于以下的指令：
存储将超声波信号轮廓映射到输入的数据库；以及
使用所述数据库选择所述输入。
19.根据权利要求16所述的非暂时性存储介质，其中，所述指令包括用于以下的指令：
识别指示所述计算装置将激活超声波感测的体上触摸。
20.根据权利要求16所述的非暂时性存储介质，其中，所述指令包括用于以下的指令：
允许所述用户训练所述计算装置以识别由所述用户执行的特定体上触摸事件并且选择与所述体上触摸事件相对应的输入。
CN201580050183.0A 2014-09-19 2015-03-04 基于超声波的面部和模式触摸感测的方法、装置和介质 Active CN106716440B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/491,084 2014-09-19
US14/491,084 US9727133B2 (en) 2014-09-19 2014-09-19 Ultrasound-based facial and modal touch sensing with head worn device
PCT/IB2015/051571 WO2016042420A1 (en) 2014-09-19 2015-03-04 Ultrasound-based facial and modal touch sensing with head worn device

Publications (2)

Publication Number Publication Date
CN106716440A true CN106716440A (zh) 2017-05-24
CN106716440B CN106716440B (zh) 2020-12-11

Family

ID=52745902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580050183.0A Active CN106716440B (zh) 2014-09-19 2015-03-04 基于超声波的面部和模式触摸感测的方法、装置和介质

Country Status (4)

Country Link
US (1) US9727133B2 (zh)
EP (1) EP3195185A1 (zh)
CN (1) CN106716440B (zh)
WO (1) WO2016042420A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115857706A (zh) * 2023-03-03 2023-03-28 浙江强脑科技有限公司 基于面部肌肉状态的文字输入方法、装置及终端设备
CN116069168A (zh) * 2023-03-06 2023-05-05 浙江强脑科技有限公司 一种基于面部肌肉运动的输入方法及相关装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10908279B2 (en) * 2016-03-11 2021-02-02 Facebook Technologies, Llc Ultrasound/radar for eye tracking
WO2017184274A1 (en) * 2016-04-18 2017-10-26 Alpha Computing, Inc. System and method for determining and modeling user expression within a head mounted display
BR112019004847A2 (pt) * 2016-10-25 2019-06-04 Ericsson Telefon Ab L M dispositivo usado no corpo do usuário, dispositivo sensível ao toque, métodos realizados por um dispositivo usado em corpo de usuário e por um dispositivo sensível ao toque, programa de computador, e, produto de programa de computador
US11392250B1 (en) 2020-12-31 2022-07-19 Apple Inc. Ultrasonic touch sensing parasitic wave rejection
US20230144825A1 (en) * 2021-11-05 2023-05-11 Google Llc Detecting input gestures using onboard microphones
US20230283706A1 (en) * 2022-03-01 2023-09-07 Google Llc Device Communications Using a Human Transmission Channel

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040024312A1 (en) * 2002-08-01 2004-02-05 The Hong Kong Polytechnic University Method and apparatus for sensing body gesture, posture and movement
US20110054360A1 (en) * 2009-08-27 2011-03-03 Electronics And Telecommunications Research Institute Finger motion detecting apparatus and method
US20130135223A1 (en) * 2009-12-13 2013-05-30 Ringbow Ltd. Finger-worn input devices and methods of use
CN103793060A (zh) * 2014-02-14 2014-05-14 杨智 一种用户交互系统和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9848849B2 (en) * 2008-08-21 2017-12-26 General Electric Company System and method for touch screen control of an ultrasound system
US8147410B2 (en) * 2009-03-23 2012-04-03 The Hong Kong Polytechnic University Method and apparatus for ultrasound imaging and elasticity measurement
EP2256592A1 (en) * 2009-05-18 2010-12-01 Lg Electronics Inc. Touchless control of an electronic device
US9013264B2 (en) * 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US10061387B2 (en) * 2011-03-31 2018-08-28 Nokia Technologies Oy Method and apparatus for providing user interfaces
EP2698686B1 (en) 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040024312A1 (en) * 2002-08-01 2004-02-05 The Hong Kong Polytechnic University Method and apparatus for sensing body gesture, posture and movement
US20110054360A1 (en) * 2009-08-27 2011-03-03 Electronics And Telecommunications Research Institute Finger motion detecting apparatus and method
US20130135223A1 (en) * 2009-12-13 2013-05-30 Ringbow Ltd. Finger-worn input devices and methods of use
CN103793060A (zh) * 2014-02-14 2014-05-14 杨智 一种用户交互系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ADIYAN MUJIBIYA 等: "The Sound of Touch: On-body Touch and Gesture Sensing Based on Transdermal Ultrasound Propagation", 《HTTP://CAOXIANG.NET/PAPERS/ITS2013_SOUNDOFTOUCH.PDF》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115857706A (zh) * 2023-03-03 2023-03-28 浙江强脑科技有限公司 基于面部肌肉状态的文字输入方法、装置及终端设备
CN116069168A (zh) * 2023-03-06 2023-05-05 浙江强脑科技有限公司 一种基于面部肌肉运动的输入方法及相关装置
CN116069168B (zh) * 2023-03-06 2023-08-29 浙江强脑科技有限公司 一种基于面部肌肉运动的输入方法及相关装置

Also Published As

Publication number Publication date
EP3195185A1 (en) 2017-07-26
CN106716440B (zh) 2020-12-11
WO2016042420A1 (en) 2016-03-24
US20160085298A1 (en) 2016-03-24
US9727133B2 (en) 2017-08-08

Similar Documents

Publication Publication Date Title
CN106716440A (zh) 利用头戴式装置进行的基于超声波的面部和模式触摸感测
US11493993B2 (en) Systems, methods, and interfaces for performing inputs based on neuromuscular control
US20230072423A1 (en) Wearable electronic devices and extended reality systems including neuromuscular sensors
US10842407B2 (en) Camera-guided interpretation of neuromuscular signals
US20220269346A1 (en) Methods and apparatuses for low latency body state prediction based on neuromuscular data
US11567573B2 (en) Neuromuscular text entry, writing and drawing in augmented reality systems
US20200097081A1 (en) Neuromuscular control of an augmented reality system
Meier et al. TapID: Rapid touch interaction in virtual reality using wearable sensing
Prakash et al. EarSense: earphones as a teeth activity sensor
Zhao et al. Towards low-cost sign language gesture recognition leveraging wearables
CN104615239B (zh) 基于可穿戴设备的交互方法及交互装置、可穿戴设备
CN104484047B (zh) 基于可穿戴设备的交互方法及交互装置、可穿戴设备
CN106662898B (zh) 模式身体触摸超声感测方法和装置以及非暂时性存储介质
KR20180088390A (ko) 인체 부착 제스처 인터페이스 및 프로젝션 디스플레이를 위한 시스템 및 방법
CN104023802B (zh) 使用神经分析的电子装置的控制
Reyes et al. Whoosh: non-voice acoustics for low-cost, hands-free, and rapid input on smartwatches
US10860104B2 (en) Augmented reality controllers and related methods
CN104503582B (zh) 基于可穿戴设备的交互方法及交互装置、可穿戴设备
CN104699239B (zh) 基于可穿戴设备的交互方法及交互装置、可穿戴设备
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
CN115509344A (zh) 具有添加用户定制手势的框架的基于机器学习的手势识别
Chen et al. A low latency on-body typing system through single vibration sensor
Lee et al. Echowrist: Continuous hand pose tracking and hand-object interaction recognition using low-power active acoustic sensing on a wristband
KR102323576B1 (ko) IoT 기반의 공용 무선 의료장치를 이용한 치매 판단 시스템
CN107111282A (zh) 基于超声的多身体上动作检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant