CN106708254B - 检测器 - Google Patents

检测器 Download PDF

Info

Publication number
CN106708254B
CN106708254B CN201610675089.0A CN201610675089A CN106708254B CN 106708254 B CN106708254 B CN 106708254B CN 201610675089 A CN201610675089 A CN 201610675089A CN 106708254 B CN106708254 B CN 106708254B
Authority
CN
China
Prior art keywords
gesture
ultrasonic
signal
detector
ultrasonic signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610675089.0A
Other languages
English (en)
Other versions
CN106708254A (zh
Inventor
李敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NXP BV
Original Assignee
NXP BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NXP BV filed Critical NXP BV
Publication of CN106708254A publication Critical patent/CN106708254A/zh
Application granted granted Critical
Publication of CN106708254B publication Critical patent/CN106708254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G01S7/5273—Extracting wanted echo signals using digital techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Telephone Function (AREA)

Abstract

本发明描述了用于移动装置的用户输入检测器，包括超声波解调器，具有用于接收从用户反射的超声波信号的输入端和用于输出解调后超声波信号的输出端；手势处理器，包括时间频率处理模块，该时间频率处理模块被配置成从该解调后超声波信号生成时变超声波图像频谱；图像特征提取模块，被配置成从该时变超声波图像频谱提取微多普勒特征；特征选择模块，被配置成选择并压缩该所提取的微多普勒特征；以及手势检测模块，被配置成将该所选择的微多普勒特征与已知特征集比较并且基于该比较输出所检测到的手势。

Description

检测器
技术领域
本发明涉及用于至移动装置的用户输入的检测器。
背景技术
例如移动电话的智能移动装置具有用于控制该装置的各种用户输入方法，具体来说，点击屏幕或按钮或语音识别。由于空中手势的独特直观性、丰富性和便利性，因此空中手势长期以来被认为是非常有吸引力的替代方案。然而，除了图像传感器通常不是低功率组件的事实之外，例如基于摄像头识别复杂手势的空中手势识别技术还需要处理连续的视频帧。基于摄像头的解决方案可能需要良好的照明来正常工作并且可能对光干扰敏感。
此外，例如光学传感器、近场传感器和电容性传感器的其它系统可能无法识别复杂手势，无论是预先确定的还是自定义的。
发明内容
在所附权利要求书中定义各个方面。在第一方面中，定义了用于至移动装置的用户输入的检测器，该检测器包括：超声波解调器，该超声波解调器具有用于接收从用户反射的超声波信号的输入端和用于输出解调后超声波信号的输出端；手势处理器，该手势处理器包括：时间频率处理模块，该时间频率处理模块被配置成从该解调后超声波信号生成时变超声波图像频谱；图像特征提取模块，该图像特征提取模块被配置成从该时变超声波图像频谱提取微多普勒特征；特征选择模块，该特征选择模块被配置成选择并压缩所提取的微多普勒特征；以及手势检测模块，该手势检测模块被配置成将所选择的微多普勒特征和已知的特征集比较并基于该比较输出所检测到的手势。
该检测器允许使用超声波来识别复杂的空中手势并用于控制例如移动电话或智能电话的移动装置。输入信号的解调允许提取几千赫兹的窄带信号中包含或携载的手势信息，而无需在模拟域与数字域之间转换该信号时采样该信号的全部带宽。通过解调该信号，可降低手势检测的功耗，并在例如智能电话的智能装置中包括手势检测时使空中手势作为“始终开启”特征。
提取微多普勒特征可允许用超声波检测复合运动，胜过仅仅检测例如手运动的方向和速度。由于人手/臂的子部分在做出复杂的手势时具有不同的运动特性，因此不同组件可用于生成用户特定的特征标志并识别更复杂的手势。
来自反射信号的大量图像特征可被提取用于另外处理。因此，可获得与手势相关联的多得多的信息，包含但不限于：手运动的排序；有序的手运动的计时；运动的最大速度和相对速度；手运动的加速度；手运动的持续时间；以及手运动的重复模式。
在检测器的实施例中，超声波解调器可包括被布置在超声波信号输入端与解调后超声波信号输出端之间的开关，并且其中该超声波解调器可操作以将超声波信号可切换地耦合至该解调后超声波信号输出端。
该开关可在与所发射的超声波信号类似或相同的频率下操作。
在检测器的实施例中，超声波解调器可包括被布置在开关与解调后超声波信号输出端之间的低通滤波器。
在实施例中，检测器可包括耦合至解调后超声波信号输出端的下采样器。
在实施例中，检测器可包括被布置在超声波解调器的输出端与手势处理器之间的循环缓冲器。
在实施例中，根据在前的任一项权利要求所述的检测器可包括被布置在下采样器与手势处理器之间的快速傅里叶变换(fast fourier transform，FFT)模块。FFT模块可在低位宽电路系统，例如在4至8位之间的低位宽电路系统中实施，该低位宽电路系统产生具有更低功耗的更简单模块。
在实施例中，检测器可另外包括被布置在超声波解调器与手势检测模块之间的激活控制器，其中该激活控制器可操作以通过比较解调后超声波信号和预定阈值来确定候选手势，并响应于正被检测的候选手势启用手势处理器。
通过在已检测到可能的候选手势时只激活手势处理器，激活控制器可降低检测器的功耗。这可允许手势检测器以“始终开启”模式操作。
检测器的实施例可包括在移动装置中并且另外被配置成响应于所检测到的手势执行用户命令。例子用户命令可包含但不限于静音和/或取消静音、锁定和/或解锁该移动装置或改变音频回放的音量的命令。包括检测器的移动电话可能够对距该移动电话高达1米或更长距离的用户手势作出响应。包括检测器的移动电话可在例如该移动电话在该电话的用户口袋中时可控。
在实施例中，移动装置可包括耦合至超声波信号发生器的扬声器和耦合至检测器的麦克风，其中该移动装置被配置成发射超声波信号并且检测反射超声波信号。
在并入到移动装置中时，现有扬声器和麦克风可与检测器组合使用以实施用于手势检测的系统，该系统可用于控制该移动装置。在智能电话的其它用户输入装置或用户界面，例如触摸屏被禁用时，该系统可在待用操作模式中和在“始终开启”模式中操作。在实施例中，扬声器或其它声换能器可用于发射超声波信号和检测任何反射响应这两者。所发射的超声波信号可为连续单频音调或其间具有静默间隔的单频脉冲。实施例可用单个扬声器-麦克风对来检测复杂的空中手势。
移动装置的实施例可包括移动电话或智能电话、平板计算机、PDA、便携式音频播放器和可穿戴装置。
在第二方面中，描述了控制移动装置的方法，该方法包括：发射超声波信号；解调来自用户的反射超声波信号；从解调后超声波信号生成时变超声波图像频谱；从该时变超声波图像频谱提取微多普勒特征；选择并压缩所提取的微多普勒特征；比较所选择的微多普勒特征和已知特征集；并且基于该比较输出所检测到的手势。
在实施例中，解调反射超声波信号包括切换该反射超声波信号。
在实施例中，解调反射超声波信号另外包括低通滤波该反射超声波信号。
在实施例中，生成时变超声波图像频谱的步骤只在已检测到候选手势时发生。
在实施例中，反射超声波信号可被下采样。
附图说明
在附图和描述中，相似的附图标号指代相似的特征。现仅借助于通过附图示出的例子来详细地描述本发明的实施例，在附图中：
图1示出了根据实施例的(a)发射器和用于从用户接收反射超声波信号的接收器的图示，以及(b)用于用户输入的手势检测器。
图2示出了根据实施例的用于用户输入的检测器。
图3示出了根据实施例的用于用户输入的检测器。
图4示出了对不同用户输入的例子检测器响应。
图5示出了根据实施例的移动装置。
图6示出了根据实施例的操作移动装置的方法。
具体实施方式
图1A示出了由于将来自第一换能器112的所发射信号反射回到具有第二换能器114的接收器的目标100而产生的多普勒频移。对于分开的换能器，多普勒方程式为
Figure BDA0001080184700000041
其中c为音速，fd为多普勒频移，fs为所发射的超声波频率的频率，v为该目标的速度，cos θt为所发射的信号相对于该目标的角度的余弦，cos θr为接收到的信号相对于该目标的角度的余弦，如图1B中所示。对于并置换能器，所发射的入射角和所反射的入射角大致相等，即，θτ＝θρ＝θ，并且上面的方程式1可被简化为：
Figure BDA0001080184700000051
在并置换能器并且大致零角度入射的情况下，手势的最大多普勒速度通常可为3m/s，以及在室温下的音速通常为345m/s。多普勒频率与所发射的频率相比的比率(fd/fs)通常应处于-0.5％＜fd/fs＜0.5％的范围内。在此情况下，在所发射的音调周围的所关注的带宽可为极小，通常小于1KHz。由用户手势所引起的多普勒频移频率可在更低频率下处理，由此降低功耗。
图1B示出了手势检测器1000。超声波信号可由相同位置的超声波发射器(未示出)发射。反射超声波信号可由解调器110接收。解调器110的输出端可连接至时间频率处理器102。时间频率处理器102的输出端可连接至图像特征提取器104。图像特征提取器104的输出端可连接至特征选择器106。特征选择器106的输出端可连接至手势检测模块108。时间频率处理器102、图像特征提取器104、特征选择器106和手势检测模块108可为手势处理器120。
在操作中，解调器110可解调超声波信号。该解调后信号可包含例如低于1kHz的低频信息，该低频信息可由于用户手势而产生并且拒绝更高频率的信号。通过解调信号，处理的其余部分可在低得多的频率下执行，这可降低功耗。解调后超声波信号可由时间频率处理器102处理，该时间频率处理器102使用FFT或其它相关算法生成频谱。通过生成时变信号频谱并比较该时变信号频谱，相比基于在特定时间点的信号频谱的比较可鉴别更复杂的手势。
微多普勒特征提取模块104可从该时变信号频谱生成大量的特征集。这些特征可包括例如峰值位置、峰值振幅和多普勒引入的频率漏泄的形状。多普勒漏泄的形状可以指例如该信号频谱的三维形状，其具有时间x轴、频率y轴和振幅z轴。通过微多普勒特征提取器104生成的特征可通过单一值和主分量分析以及分片来选择并压缩。技术人员也应理解，可使用其它图像特征选择和压缩技术。所选择并压缩的微多普勒特征集可降低后续手势检测步骤的复杂性同时仍然允许检测复杂的手势。典型的复杂手势可包含但不限于：以各种模式翻转手、以各种模式挥手和以各种模式移动手指。简单手势可为向上或向下运动。手势检测模块108可使用例如机器学习模型来确定手势，该机器学习模型例如支持向量机(support vector machine，SVM)、最接近相邻模型或决策树。技术人员应理解，可使用其它机器学习模型。手势检测模块108的输出可为用于移动装置的用户命令。
手势检测器1000可以相对低的平均功耗检测复杂的用户输入手势，该相对低的平均功耗可例如小于1毫瓦。峰值功耗可小于5毫瓦。在并入到例如智能电话或可穿戴装置的移动装置中时，手势检测器1000可被并入到用户界面中，该用户界面检测来自移动装置的用户的手势并取决于所检测到的手势引发用户命令。
手势检测器1000的组件可在硬件、软件或硬件与软件的组合中实施。例如，解调器110可被实施为在所发射音调的频率下操作的硬件或软件开关，该所发射音调的频率可为例如大于20KHz的频率。通常可使用24KHz、32KHz或40KHz的频率。手势检测处理器120可被实施为逻辑硬件或在数字信号处理器上运行的软件。
图2示出了手势检测器2000。可包含手势信息的超声波信号输入可由解调器200接收。解调器200可具有可消耗几微瓦的功率的低功率无源开关202。取决于所发射的音调，低功率无源开关202可在大于20KHz，通常为24KHz、32KHz或40KHz的频率下切换。低功率无源开关202的输出端可连接至低通滤波器204。低通滤波器200可为低阶滤波器，例如一阶或二阶滤波器。解调器200的输出的带宽可处于2KHz至8KHz的范围内。解调器200的输出端可连接至模/数转换器206。模/数转换器206可以大于4kHz的采样频率采样该解调器的输出。该模/数转换器的数字输出端可连接至另外的低通滤波器208，该低通滤波器208可为级联的积分梳状(cascaded integrator-comb，CIC)滤波器。另外的低通滤波器208的输出端可连接至下采样器210。下采样器210可下采样该信号并将带宽从例如8KHz降低至低于1KHz的频率。下采样器210的输出端可连接至激活模块212。激活模块212可由快速傅里叶变换(fastFourier transform，FFT)模块214构成，该快速傅里叶变换(fast Fourier transform，FFT)模块214可为例如以低于0.1KHz的频率操作的8点快速傅里叶变换。可替换的是，该快速傅里叶变换模块可实施16点或32点FFT。激活模块212可由连接至快速傅里叶变换模块214的输出端的激活控制模块216构成。下采样器210的输出端可连接至循环缓冲器218。循环缓冲器218的输出端可连接至手势处理器120。
在操作中，手势检测器2000可处于第一操作模式中，手势处理器120由此被禁用。超声波信号可由解调器200接收并由无源开关202和低通滤波器204解调和滤波。该解调信号可由模/数转换器206数字化且随后另外由另外的低通滤波器208低通滤波。接着，该数字化信号由下采样器210下采样。该下采样信号由FFT 214转换到频域。接着如果检测到候选手势，则激活控制模块216可确定输入信号是否包含手势信息并激活或启用手势处理器120。如果所接收到的输入信号的边带具有强能量水平，则候选手势可存在于该信号中。术语“强能量水平”可被认为指代大于所发射的音调的能量或振幅的10％的信号能量或振幅。所接收到的输入信号的边带可对应于解调后信号。循环缓冲器218可临时存储下采样数据同时激活模块212确定是否已检测到候选手势。如果未检测到候选手势，则在该缓冲器中的数据应被覆写并且不作另外处理。如果已检测到候选手势，则在缓冲器中的数据可由手势处理器120处理。通过在已检测到候选手势时仅激活手势处理器120，可降低手势检测器2000的功耗。
图3示出了手势检测器3000。可包含手势信息的数字化超声波信号输入可由解调器300接收。解调器300可具有相对低功率开关302，该相对低功率开关302可为消耗小于1毫瓦的软件开关。取决于原先发射的超声波音调频率，低功率开关302可在大于20KHz，例如24KHz、32KHz或40KHz的频率下切换。低功率开关302的输出端可连接至低通滤波器304。低通滤波器304可为低阶滤波器，例如一阶或二阶滤波器。解调器300的输出的带宽可处于2KHz至8KHz的范围内。解调器300的输出端可连接至下采样器306。
下采样器306可下采样该信号并且将带宽从例如8KHz降低至低于1KHz的频率。下采样器306的输出端可连接至激活模块312。激活模块312可由快速傅里叶变换模块310构成，该快速傅里叶变换模块310可为以低于0.1KHz的频率操作的8点快速傅里叶变换。可替换的是，该快速傅里叶变换模块可实施16点或32点FFT。激活模块312可由连接至快速傅里叶变换模块310的输出端的激活控制模块314构成。下采样器306的输出端可连接至循环缓冲器308。循环缓冲器308的输出端可连接至手势处理器120。手势检测器3000可被实施为可在数字信号处理器上执行的软件模块。
在操作中，手势检测器3000可处于第一操作模式中，手势处理器120由此被禁用。数字化超声波信号可由解调器200接收并且由无源开关302和低通滤波器304解调和滤波。该解调后信号可由下采样器306下采样。该下采样信号可由FFT310转换到频域。接着激活控制模块314可确定输入信号是否包含候选手势信息。例如，通过将与数字化超声波信号的边带对应的解调后信号的能量水平或振幅和所发射的音调的能量水平或振幅进行比较，可确定候选手势信息。
如果解调后信号的振幅大于预定阈值，则可鉴别候选手势。预定阈值可为例如大于所发射的超声波音调的振幅或能量的10％的值。如果检测到候选手势，则手势处理器120可被激活或启用。循环缓冲器308可临时存储下采样数据同时激活模块312确定是否已检测到候选手势。如果未检测到候选手势，则在该缓冲器中的数据应被覆写并且不作另外处理。如果已检测到候选手势，则在该缓冲器中的数据可由手势处理器120处理。
图4示出了用于可由手势检测器1000、2000或3000检测到的不同手势4000的时变频谱的例子。在这些附图中，x轴表示时间以及y轴表示频率。在特定座标(x，y)下的图像强度可表示在时间x处的频率y的能量水平。时变频谱4000可被认为是三维多普勒漏泄形状的二维表示。在虚参考线402上方的多普勒频率可指示在正方向上的频移，该频移可为在朝着手势检测器2000的方向上的偏移。在虚参考线402下方的多普勒频率可指示在负方向上的频移，该频移对应于离开手势检测器2000的偏移。
图4A示出了由手首先接近手势检测器2000，随后离开手势检测器2000所引起的例子响应400。在手或目标向手势检测器2000移动时，频谱响应形状400主要由带有正频率峰值404的正多普勒频率构成。在手或目标远离手势检测器2000移动时，该响应主要由带有负峰值频率406的负多普勒频率构成。
图4B示出了对用户执行滑移手势的随时间推移的响应410。起初，响应形状410主要由带有峰值412的正多普勒频率构成，接着主要由带有负峰值414的负偏移频率构成。随后，响应形状410主要由带有另外峰值416的另外一组正多普勒频率构成，接着主要由带有另外负峰值418的另外一组负多普勒频率构成。
图4C示出了由用户执行手翻转手势产生的响应形状420。该响应示出了带有正峰值422和负峰值424的在相同时间点处的正和负多普勒频率的类似量。
图4D示出了由用户的手首先离开手势检测器2000且随后接近手势检测器2000的用户手势所产生的响应430。
在手或目标远离手势检测器2000移动时，频谱响应形状430主要由带有负频率峰值434的负多普勒频率构成，随后在手或目标向手势检测器2000移动时，频谱响应形状430主要由带有正峰值频率432的正多普勒频率构成。
技术人员应理解，其它手势可具有带有特性形状特征的不同频谱，该不同频谱可被存储并与接收到的超声波信号的频谱进行比较以确定用户手势的类型。
图5示出了包括手势检测器2000的移动电话5000。麦克风500可连接至手势检测器2000。手势检测器2000的输出端可连接至控制器502。麦克风500可直接连接至控制器502。控制器502的输出端可连接至超声波发射器504。音频处理器506的输出端可连接至混频器508。
控制器的输出端可连接至音频处理器506。超声波发生器504的输出端可连接至混频器508。混频器508的输出端可连接至扬声器510。在操作中，超声波发生器504可生成可由扬声器510经由混频器508发射的超声波信号。该超声波信号可为连续音调或可为脉冲。该超声波信号的频率可为20KHz或更高。
反射超声波信号可由麦克风500检测并且该麦克风对该反射信号的响应可由手势检测器2000接收。手势检测器2000可处理所接收到的超声波信号以确定是否已检测到用户输入手势。如果手势检测器2000已检测到用户手势，则该手势检测器2000可向控制器502输出指示已检测到哪个手势的数据。所检测到的手势数据可由控制器502处理以触发用户命令。
控制器502可处理所检测到的用户输入命令，并且处理所检测到的用户输入命令以引发移动装置的各种行为。例子命令可为解锁/锁定该装置、增大或减小音量、使用移动电话5000的摄像头特征(未示出)拍摄照片。
麦克风500也可检测语音或其它音频输入并且将那些语音或其它音频输入直接路由至控制器502。扬声器510也可从控制器502输出语音或其它音频内容，该语音或其它音频内容可由音频处理器506处理并且与由超声波发生器504生成的任何超声波信号混合。扬声器510和麦克风500可用于手势检测，并且在正常操作中(例如)用于打电话或接电话或用于播放音乐。手势检测可与移动电话5000的其它操作模式并行操作。
图6示出了操作移动装置6000的方法。在步骤600中，超声波信号可从该移动装置发射。所发射的超声波信号可从目标反射，该目标可为例如该移动装置的用户的手。在步骤602中，反射超声波信号可进行解调。在步骤604中，解调器信号可被处理以生成时变超声波图像频谱。在步骤606中，可从该时变超声波图像频谱提取微多普勒特征。
也可选择该微多普勒特征，并且这些特征可被压缩。该特征可(例如)通过单一值和主分量分析以及分片来选择并压缩。在步骤608中，可被压缩的选择性微多普勒特征可与来自已知特征集的特征进行比较。
所选择的图像特征可对应于从多个预定手势(例如拍手、手移向移动装置或离开该移动装置移动、滑移运动、挥手运动)或一些其它预定类型的手势提取的特征。根据与已知特征集的比较，可确定用户手势，并且在步骤610中，响应于步骤608中的比较，该移动装置可执行用户命令。
方法6000可通过分析用户手势启用移动装置的控制而无需触摸该移动装置。方法6000可允许通过以下步骤控制例如移动电话的移动装置：在步骤600中，使用移动装置的组件(例如扬声器)来发射超声波信号，以及在步骤602中，使用麦克风来接收反射超声波信号。这些组件可与该移动装置的其它功能共享。
本文描述了用于移动装置的用户输入检测器，该用户输入检测器具有超声波解调器，该超声波解调器带有用于接收从用户反射的超声波信号的输入端和用于输出解调后超声波信号的输出端；手势处理器，包括：时间频率处理模块，该时间频率处理模块被配置成从解调后超声波信号生成时变超声波图像频谱；图像特征提取模块，该图像特征提取模块被配置成从该时变超声波图像频谱提取微多普勒特征；特征选择模块，该特征选择模块被配置成选择并压缩所提取的微多普勒特征；以及手势检测模块，该手势检测模块被配置成将所选择的微多普勒特征与已知特征集比较并且基于该比较输出所检测到的手势。该用户输入检测器可被并入到移动电话中，例如以通过识别用户手势并且响应于那些用户手势执行控制命令来提供用于移动电话的始终开启的低功率控制机制。
尽管所附权利要求书是针对特定特征组合，但应理解，本发明的公开内容的范围还包含本文中明确地或隐含地公开的任何新颖特征或任何新颖特征组合或其任何一般化形式，而不管其是否涉及与当前在任何权利要求中要求的本发明相同的发明或其是否缓解与本发明所缓解的任一或全部技术问题相同的技术问题。
在独立实施例的上下文中描述的特征也可在单个实施例中组合提供。相反，为了简洁起见，在单个实施例的上下文中描述的各种特征也可以分开提供或以任何合适的子组合形式提供。
申请人特此提醒，在审查本专利申请或由此衍生的任何另外的专利申请期间，可根据此类特征和/或此类特征的组合而制订新的权利要求。
为完整性起见，还规定术语“包括”不排除其它元件或步骤，术语“一”不排除复数个，单一处理器或其它单元可满足在权利要求中叙述的若干构件的功能，且权利要求中的附图标记不应解释为限制权利要求的范围。

Claims (13)

1.一种用于至移动装置的用户输入的检测器，其特征在于，所述检测器包括：
超声波解调器，所述超声波解调器具有用于接收从用户反射的超声波信号的输入端和用于输出解调后超声波信号的输出端；
手势处理器，包括：
时间频率处理模块，所述时间频率处理模块被配置成从所述解调后超声波信号生成时变超声波图像频谱；
图像特征提取模块，所述图像特征提取模块被配置成从所述时变超声波图像频谱提取微多普勒特征；
特征选择模块，所述特征选择模块被配置成选择并压缩所述所提取的微多普勒特征；
手势检测模块，所述手势检测模块被配置成将所述所选择的微多普勒特征与已知特征集比较并基于所述比较输出所检测到的手势；以及
被布置在所述超声波解调器与所述手势检测模块之间的激活控制器，其中所述激活控制器可操作以通过将与数字化超声波信号的边带对应的解调后信号的能量水平或振幅和预定阈值进行比较来确定候选手势，并响应于检测到候选手势启用所述手势处理器。
2.根据权利要求1所述的检测器，其特征在于，所述超声波解调器包括被布置在所述超声波信号输入端和所述解调后超声波信号输出端之间的开关，并且其中所述超声波解调器可操作以将所述超声波信号可切换地耦合至所述解调后超声波信号输出端。
3.根据权利要求2所述的检测器，其特征在于，所述超声波解调器另外包括被布置在所述开关与所述解调后超声波信号输出端之间的低通滤波器。
4.根据权利要求3所述的检测器，其特征在于，另外包括耦合至所述解调后超声波信号输出端的下采样器。
5.根据在前的任一项权利要求所述的检测器，其特征在于，另外包括被布置在所述超声波解调器的所述输出端与所述手势处理器之间的循环缓冲器。
6.根据权利要求4所述的检测器，其特征在于，另外包括被布置在所述下采样器与所述手势处理器之间的FFT模块。
7.一种移动装置，其特征在于，包括根据在前的任一项权利要求所述的检测器并另外被配置成响应于所述所检测到的手势来执行用户命令。
8.根据权利要求7所述的移动装置，其特征在于，另外包括耦合至超声波信号发生器的扬声器和耦合至所述检测器的麦克风，其中所述移动装置被配置成发射超声波信号并检测反射超声波信号。
9.根据权利要求7所述的移动装置，其特征在于，包括移动电话、平板计算机和可穿戴装置中的一个装置。
10.一种控制移动装置的方法，其特征在于，所述方法包括：
发射超声波信号；
解调来自用户的反射超声波信号；
通过将与数字化超声波信号的边带对应的解调后信号的能量水平或振幅和预定阈值进行比较来确定候选手势；
响应于检测到候选手势：
从所述解调后超声波信号生成时变超声波图像频谱；
从所述时变超声波图像频谱提取微多普勒特征；
选择并压缩所述所提取的微多普勒特征；
将所述所选择的微多普勒特征与已知特征集比较；并且
基于所述比较输出所检测到的手势。
11.根据权利要求10所述的方法，其特征在于，解调所述反射超声波信号包括切换所述反射超声波信号。
12.根据权利要求11所述的方法，其特征在于，解调所述反射超声波信号另外包括低通滤波所述反射超声波信号。
13.根据权利要求10至12中任一项权利要求所述的方法，其特征在于，包括下采样所述反射超声波信号。
CN201610675089.0A 2015-08-19 2016-08-16 检测器 Active CN106708254B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15181574.3A EP3133474B1 (en) 2015-08-19 2015-08-19 Gesture detector using ultrasound
EP15181574.3 2015-08-19

Publications (2)

Publication Number Publication Date
CN106708254A CN106708254A (zh) 2017-05-24
CN106708254B true CN106708254B (zh) 2021-06-29

Family

ID=54010875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610675089.0A Active CN106708254B (zh) 2015-08-19 2016-08-16 检测器

Country Status (3)

Country Link
US (1) US9958950B2 (zh)
EP (1) EP3133474B1 (zh)
CN (1) CN106708254B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10488937B2 (en) * 2015-08-27 2019-11-26 Verily Life Sciences, LLC Doppler ultrasound probe for noninvasive tracking of tendon motion
CN105938399B (zh) * 2015-12-04 2019-04-12 深圳大学 基于声学的智能设备的文本输入识别方法
WO2019006473A1 (en) * 2017-06-30 2019-01-03 The Johns Hopkins University ACTION RECOGNITION SYSTEMS AND METHOD USING MICRO-DOPPLER SIGNATURES AND RECURRING NEURAL NETWORKS
CN107479771B (zh) * 2017-07-21 2020-10-23 浙江天益塑业有限公司 一种控制方法、终端及存储介质
NO347923B1 (en) * 2017-09-15 2024-05-13 Elliptic Laboratories Asa User Authentication Control
WO2019126625A1 (en) * 2017-12-22 2019-06-27 Butterfly Network, Inc. Methods and apparatuses for identifying gestures based on ultrasound data
CN108196257A (zh) * 2018-03-13 2018-06-22 深圳市枫芒科技有限公司 超声波式物体检测装置及检测方法
US11630518B2 (en) 2018-03-19 2023-04-18 King Abdullah University Of Science And Technology Ultrasound based air-writing system and method
CN108696271B (zh) * 2018-05-28 2022-02-25 珠海慧联科技有限公司 一种基于电容触摸按键的滑动手势识别方法及系统
DE102018124385B4 (de) * 2018-10-02 2023-02-16 Infineon Technologies Ag Anzeigensteuervorrichtungen und -verfahren
CN109597312B (zh) * 2018-11-26 2022-03-01 北京小米移动软件有限公司 音箱控制方法及装置
CN110045819B (zh) * 2019-03-01 2021-07-09 华为技术有限公司 一种手势处理方法及设备
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
CN110474694A (zh) * 2019-07-17 2019-11-19 西北工业大学 一种水声唤醒电路
CN110389325B (zh) * 2019-07-17 2022-11-04 中北大学 一种旋翼无人机的雷达微多普勒信号提取方法
CN110796767A (zh) * 2019-10-31 2020-02-14 的卢技术有限公司 一种基于手势识别实现无按键汽车钥匙控制方法和系统
WO2021130738A1 (en) * 2019-12-23 2021-07-01 Sonicedge Ltd Sound generation device and applications
CN113050788A (zh) * 2019-12-26 2021-06-29 华为技术有限公司 一种声音播放的控制方法及装置
US11804077B2 (en) * 2021-04-01 2023-10-31 KaiKuTek Inc. Generic gesture detecting method and generic gesture detecting device
CN113655881A (zh) * 2021-08-16 2021-11-16 苏州触达信息技术有限公司 基于声波控制的快捷激活系统及方法
CN114236492B (zh) * 2022-02-23 2022-06-07 南京一淳科技有限公司 一种毫米波雷达微动手势识别方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100202656A1 (en) 2009-02-09 2010-08-12 Bhiksha Raj Ramakrishnan Ultrasonic Doppler System and Method for Gesture Recognition
US8907929B2 (en) * 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
GB201013117D0 (en) * 2010-08-04 2010-09-22 Elliptic Laboratories As Control of electronic devices
US8749485B2 (en) 2011-12-20 2014-06-10 Microsoft Corporation User control gesture detection
US9389690B2 (en) * 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US9785217B2 (en) * 2012-09-28 2017-10-10 Synaptics Incorporated System and method for low power input object detection and interaction
DE102012022321A1 (de) 2012-11-15 2014-05-15 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
WO2014142468A1 (en) * 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Method of providing copy image and ultrasound apparatus therefor
WO2015006694A1 (en) * 2013-07-12 2015-01-15 University Of Iowa Research Foundation Augmentative and alternative communication
EP2852057B1 (en) * 2013-09-20 2018-05-16 Nxp B.V. An audio and ultrasound signal processing circuit and an ultrasound signal processing circuit, and associated methods
US20160259421A1 (en) * 2013-10-08 2016-09-08 University Of Washington Through Its Center For Commercialization Devices, systems, and methods for controlling devices using gestures
CN103793059A (zh) * 2014-02-14 2014-05-14 浙江大学 一种基于时域多普勒手势恢复识别方法
US9354709B1 (en) * 2014-06-17 2016-05-31 Amazon Technologies, Inc. Tilt gesture detection
CN104463119B (zh) * 2014-12-05 2017-10-31 苏州触达信息技术有限公司 基于超声与视觉的复合式手势识别设备及其控制方法

Also Published As

Publication number Publication date
EP3133474B1 (en) 2019-03-27
EP3133474A1 (en) 2017-02-22
US9958950B2 (en) 2018-05-01
CN106708254A (zh) 2017-05-24
US20170052596A1 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
CN106708254B (zh) 检测器
EP2911149B1 (en) Determination of an operational directive based at least in part on a spatial audio property
US11023755B2 (en) Detection of liveness
US20210027791A1 (en) Detection of liveness
CN108603931B (zh) 接近度检测
EP2820536B1 (en) Gesture detection based on information from multiple types of sensors
JP5789270B2 (ja) 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス
US10353495B2 (en) Personalized operation of a mobile device using sensor signatures
CN110780741B (zh) 模型训练方法、应用运行方法、装置、介质及电子设备
US20160247520A1 (en) Electronic apparatus, method, and program
US10551973B2 (en) Method of controlling a mobile device
CN110519450B (zh) 超声波处理方法、装置、电子设备及计算机可读介质
CN108766457A (zh) 音频信号处理方法、装置、电子设备及存储介质
CN106095203B (zh) 感测触摸声音作为用户手势输入的计算设备及方法
US9772815B1 (en) Personalized operation of a mobile device using acoustic and non-acoustic information
CN109032345A (zh) 设备控制方法、装置、设备、服务端和存储介质
JP2018528537A (ja) ダブルナックルタッチスクリーン制御のためのシステムおよび方法
CN113744736B (zh) 命令词识别方法、装置、电子设备及存储介质
GB2516075A (en) Sensor input recognition
CN114943242A (zh) 事件检测方法及装置、电子设备、存储介质
Cao et al. IPand: accurate gesture input with ambient acoustic sensing on hand
JP2014099073A (ja) 電子機器、その制御方法及びプログラム
GB2553040A (en) Sensor input recognition
Gong Enhancing touch interactions with passive finger acoustics
JP2004046391A (ja) 筆記具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant