CN111796792A - 一种手势动作判断方法、装置、电子设备和存储介质 - Google Patents
一种手势动作判断方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111796792A CN111796792A CN202010537961.1A CN202010537961A CN111796792A CN 111796792 A CN111796792 A CN 111796792A CN 202010537961 A CN202010537961 A CN 202010537961A CN 111796792 A CN111796792 A CN 111796792A
- Authority
- CN
- China
- Prior art keywords
- signal
- loudspeaker
- gesture
- original
- gesture action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000001228 spectrum Methods 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000005236 sound signal Effects 0.000 claims abstract description 42
- 238000009826 distribution Methods 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 13
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明提供了一种手势动作判断方法、装置、电子设备和存储介质，其中方法包括：获取原始音频信号，所述原始音频信号包括原始超声信号和原始语音信号；获取扬声器的非线性参数；根据所述扬声器的非线性参数对所述原始音频信号进行预失真处理，获得预失真信号；所述预失真信号传输至所述扬声器，所述扬声器播放产生目标输出信号；所述目标输出信号经由空间媒介传播后被麦克风采集；获取所述麦克风采集的采集信号；根据所述原始超声信号和所述采集信号的频谱特征，确定是否存在手势动作。本发明的手势动作判断方法可以降低利用超声信号进行手势判断处理中的互调失真问题，显著提升装置中利用扬声器进行超声测距及相关应用的判断精度。
Description
【技术领域】
本发明涉及扬声器技术领域，尤其涉及一种手势动作判断方法、装置、电子设备和存储介质。
【背景技术】
随着终端设备行业的不断发展以及全面屏的应用，终端设备设计了测距功能如红外测距方式，以及进一步的手势识别功能，提高交互体验。
但红外传感器存在很多局限性，例如在黑暗环境中应用困难。因此越来越多的终端设备改为使用终端设备的扬声器(如手机受话器)发射超声测距，但由于终端设备的扬声器(比如手机的受话器)系统的非线性，发射的超声信号会与语音信号发生互调失真，影响超声测距及相关应用的判断精度。
【发明内容】
基于此，有必要针对上述问题，提供一种手势动作判断方法、装置、电子设备和存储介质，用于解决上述超声信号与语音信号发生互调失真，影响超声测距及相关应用的判断精度问题。
本发明的技术方案如下：
一方面，提供了一种手势动作判断方法，包括：
获取原始音频信号，所述原始音频信号包括原始超声信号和原始语音信号；
获取扬声器的非线性参数；
根据所述扬声器的非线性参数对所述原始音频信号进行预失真处理，获得预失真信号；
所述预失真信号传输至所述扬声器，所述扬声器播放产生目标输出信号；
所述目标输出信号经由空间媒介传播后被麦克风采集；
获取所述麦克风采集的采集信号；
根据所述原始超声信号和所述采集信号的频谱特征，确定是否存在手势动作。
可选的，所述根据所述原始超声信号和所述采集信号的频谱特征，确定是否存在手势动作，包括：
对所述原始超声信号和所述采集信号进行频域处理，获得所述原始超声信号和所述采集信号的能量谱信息；
判断所述采集信号的所述能量谱信息中的能量分布与所述原始超声信号的所述能量谱信息中的能量分布是否存在差异，若存在，确定存在所述手势动作；若不存在，确定不存在所述手势动作。
可选的，在所述确定存在所述手势动作的情况下，所述方法还包括：
对所述能量谱信息进行二值化和边缘检测处理，提取所述手势动作的能量谱特征；
根据预设能量谱特征与预设手势动作类型的映射关系，确定所述能量谱特征对应的所述手势动作的类型。
可选的，所述确定所述能量谱特征对应的所述手势动作的类型之后，所述方法还包括：
根据预设手势动作的类型与目标控制指令的对应关系，确定所述手势动作的类型所对应的目标控制指令；
触发所述目标控制指令对应的操作。
可选的，所述扬声器的非线性参数包括：
离线测试获得的所述扬声器的非线性参数，或者在线更新的所述扬声器的非线性参数。
可选的，所述扬声器的非线性参数为在线更新的情况下，所述方法还包括：
获取所述扬声器的条件参数；
依据预设的扬声器条件参数与非线性参数的映射关系和所述获取的扬声器的条件参数，更新所述扬声器的非线性参数，所述扬声器的条件参数包括环境温度、工作时间、输入信号功率动态范围中的一种或几种。
另一方面，提供了一种手势动作判断装置，包括：
第一获取模块，用于获取原始音频信号，所述原始音频信号包括原始超声信号和原始语音信号；
非线性参数模块，用于获取扬声器的非线性参数；
非线性补偿模块，用于根据所述扬声器的非线性参数对所述原始音频信号进行预失真处理，获得非线性补偿信号；
扬声器模块，在所述非线性补偿信号的激励下输出目标输出信号；
麦克风模块，采集所述目标输出信号经由空间传播后的信号；
第二获取模块，获取麦克风采集的采集信号；
处理模块，用于根据所述原始超声信号和所述采集信号的频谱特征，确定是否存在手势动作。
另一方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面及其任一种可能的实现方式的步骤。
另一方面，提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如上述第一方面及其任一种可能的实现方式的步骤。
本发明的有益效果在于：通过识别扬声器系统的非线性参数，对信号预失真处理，即将非线性系统导致的失真在输入端预先补偿掉，可以降低超声信号和语音信号互调失真，显著提升装置中利用扬声器进行超声测距及相关应用的判断精度。
【附图说明】
图1为本发明提供的一种手势动作判断方法的流程示意图；
图2为本发明提供的另一种手势动作判断方法的流程示意图；
图3为本发明提供的一种采集信号的频谱能量分布示意图；
图4为本发明提供的一种包含非线性补偿模块的系统流程示意图；
图5为本发明提供的一种手势动作判断方法中互调失真的示意图；
图6为本发明提供的一种手势动作判断装置的结构示意图；
图7为本发明提供的一种电子设备的结构示意图。
【具体实施方式】
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面结合本发明实施例中的附图对本发明实施例进行描述。
请参阅图1，图1是本发明实施例提供的一种手势动作判断方法的流程示意图。该方法可包括：
101、获取原始音频信号，上述原始音频信号包括原始超声信号和原始语音信号。
本发明实施例的执行主体可以为一种手势动作判断装置，该手势动作判断装置包括扬声器，可以利用超声信号进行测距、手势识别。在一种实施方式中，上述手势动作判断装置可以为电子设备，上述电子设备可以为终端设备，包括但不限于移动终端、耳机、音频播放设备，以及诸如膝上型计算机、平板计算机之类的其它便携式设备或者台式计算机。
上述原始音频信号可以为需要最终由扬声器进行输出的音频信号。对于不同的电子设备，可以通过不同的操作形式选择播放音乐，获取对应的音频信号进行输出，此处不做限制。上述超声信号也可以由上述扬声器输出，比如手机的受话器/扬声器发射超声，用于测距以及更进一步的手势识别。
但一般由于扬声器系统的非线性失真，比如，小体积的扬声器，在驱动电压较大的情况下，会产生很大的非线性失真(THD)，并且低频信号和高频信号还会产生互调失真(IMD)，导致实际播放的信号，在THD和IMD的作用下产生畸变，与希望得到的输出信号有偏差。尤其是终端设备扬声器/受话器系统的非线性，20kHz的超声发射信号会与语音信号(300-1.5kHz)调制出18kHz-22kHz的信号，产生了互调失真，从而影响整体算法的判断精度。
互调失真是指两种或多种不同频率的信号通过放大器或扬声器后产生新的频率分量，这种失真通常都是由电路中的有源器件(如晶体管、电子管)产生的。失真的大小与输出功率有关，由于新产生的这些频率分量与原信号没有相似性，因此较少的互调失真也很容易被人耳觉察到。
102、获取扬声器的非线性参数。
在较大振幅情况下，扬声器都或多或少地会表现出非线性特性，并会有在输入信号中并不存在的信号分量产生。在扬声器的线性失真中，失真对象是输出信号的幅度和/或相位，而非线性失真则暗示输出信号包含输入信号中不存在的频率组成，为了解决非线性失真带来的问题，可以先确定扬声器的非线性参数，再进行针对性的补偿。
具体的，一般可以利用间接测试法来分析扬声器振动的非线性问题，即通过事先建一个第一扬声器的电路模型，再利用扬声器分析仪测试并经过自适应拟合运算的方法来得到相关的第一扬声器的非线性参数。
可选的，上述扬声器的非线性参数包括：离线测试获得的上述扬声器的非线性参数，或者在线更新的上述扬声器的非线性参数。
可选的，离线测试可以包括通过扬声器测试系统和测距仪等设备对第一扬声器进行直接测试，来分析第一扬声器振动的非线性问题，以直接获取第一扬声器的非线性参数，预置在装置中在使用时提供。具体的，可以给第一扬声器(可以是相同的另一个扬声器或者模拟扬声器)施加直流偏置电压信号使该第一扬声器的音圈在磁间隙中发生偏置，再通过测距仪如激光测距仪，测量在该直流偏置电压信号下第一扬声器的音圈的偏置位移，保持第一扬声器两端的直流偏置电压信号值不变的条件下，通过扬声器测试系统向第一扬声器输出交流分析信号，获取该第一扬声器的音圈在偏置位置下的阻抗曲线以及位移-电压传递函数曲线，再根据这些曲线计算该第一扬声器在音圈发生偏置状态下的各个非线性参数的数值。
则可以多次改变直流偏置电压信号的大小，重复上述步骤，测量出在对应的直流偏置电压信号下该第一扬声器的音圈在磁间隙中的偏置位移以及计算得出在相对应的音圈偏置位移下该第一扬声器的非线性参数的数值。
在一种可选的实施方式中，上述扬声器的非线性参数为在线更新的情况下，上述方法还包括：
获取上述扬声器的条件参数；
依据预设的扬声器条件参数与非线性参数的映射关系和上述获取的扬声器的条件参数，更新上述扬声器的非线性参数，上述扬声器的条件参数包括环境温度、工作时间、输入信号功率动态范围中的一种或几种。
还可以通过模拟或者测量，获得扬声器的非线性特征曲线，可以包括上述预设的扬声器条件参数与非线性参数的映射关系，上述扬声器的条件参数都是影响扬声器非线性失真的因素，可包括环境温度、工作时间、输入信号功率动态范围中的一种或几种，比如，扬声器所处的环境温度与非线性参数的映射关系。进而，可以周期性地进行扬声器的非线性参数更新，具体的方法是，获取当前扬声器的条件参数，依据上述预设的扬声器条件参数与非线性参数的映射关系，确定当前扬声器的非线性参数，实现实时的扬声器非线性参数获取。
综上，可以用不同的方式，获得扬声器离线测试的非线性参数，或者，通过获得的非线性特征曲线，确定扬声器在工作状态在线更新的非线性参数，本发明实施例对此不作限制。
103、根据上述扬声器的非线性参数对上述原始音频信号进行预失真处理，获得预失真信号，上述预失真信号传输至上述扬声器，上述扬声器播放产生目标输出信号，上述目标输出信号经由空间媒介传播后被麦克风采集。
本申请实施例在原始音频信号传输到扬声器之前可以进行预失真处理，获得上述预失真信号，再将该预失真信号传输至上述扬声器进行播放，产生上述目标输出信号。本申请实施例中设置了麦克风用于采集空间内的音频信号，则上述目标输出信号可以经由空间媒介传播后被该麦克风采集。对于麦克风采集信号的相关处理可以见后续步骤104和步骤105。
具体的，可以通过一个非线性滤波器实现补偿处理，该非线性滤波器为一个非线性补偿器，可与在不改变扬声器结构的条件下，通过控制激励信号消除扬声器的非线性行为。理想状态下，该非线性滤波器可与实际第一扬声器构成全通滤波器。
104、获取上述麦克风采集的采集信号。
本发明实施例中，由于原始音频信号中加入了超声信号，手势识别利用超声波的多普勒效应，即当存在手势动作使目标输出信号发生反射时，采集信号频率发生变化，当移动物体靠近声源时频率上升，当移动物体远离声源时频率下降。
一般可使用终端设备的扬声器作为发射设备，发射超声信号，麦克风作为接收设备，采集上述采集信号，在发生反射时可以接收反射的超声波，人手或人头/人脸作为声波反射介质。
105、根据上述原始超声信号和上述采集信号的频谱特征，确定是否存在手势动作。
在获取到上述采集信号之后，可以利用超声波的多普勒效应进行频谱分析。涉及到的具体公式包括：
其中fr为接收到的反射频率，fe为发射频率，vi为声波在空气中的传播速度，v0为物体相对于设备的运动速度。
比如，手机可以发射18-22kHz的超声波信号，麦克风可作为接收设备，接收反射的超声波，人手或人头作为声波反射介质。
在一种实施方式中，上述步骤105具体包括：
对上述原始超声信号和上述采集信号进行频域处理，获得上述原始超声信号和上述采集信号的能量谱信息；
判断上述采集信号的上述能量谱信息中的能量分布与上述原始超声信号的上述能量谱信息中的能量分布是否存在差异，若存在，确定存在上述手势动作；若不存在，确定不存在上述手势动作。
当物体靠近/远离终端设备时，麦克风采回的采集信号的频谱能量分布相比原始超声信号的频谱能量分布会发生变化，通过比较发射频率和采集频率的能量分布，可以判断是否存在手势动作。
其中，对于确定存在手势动作的情况，可以触发相应的指令，执行对应的操作，比如可以应用于用户通过手势控制终端设备，实现各种功能。上述存在手势动作，可以是从无手势到出现手势的情况，也可以是从一种手势变化为另一种手势的情况，包括手势的位置移动、具体手势的手势改变等；在一种实施方式中，也包括确定其他肢体动作的变化，不限于手势，本发明对以上方面不做限制。
本发明通过获取原始音频信号，上述原始音频信号包括原始超声信号和原始语音信号，获取扬声器的非线性参数，再根据上述扬声器的非线性参数对上述原始音频信号进行预失真处理，获得预失真信号，上述预失真信号传输至上述扬声器，上述扬声器播放产生目标输出信号，上述目标输出信号经由空间媒介传播后被麦克风采集，获取上述麦克风采集的采集信号，根据上述原始超声信号和上述采集信号的频谱特征，确定是否存在手势动作。本发明的手势动作判断方法，通过在扬声器前对信号预失真处理，可以降低利用超声信号进行手势判断处理中的互调失真问题，显著提升装置中利用扬声器进行超声测距及相关应用的判断精度。
请参阅图2，图2是本发明实施例提供的另一种手势动作判断方法的流程示意图。如图2所示，该方法可包括：
201、获取原始音频信号，上述原始音频信号包括原始超声信号和原始语音信号。
202、根据扬声器的非线性参数对上述原始音频信号进行预失真处理，获得预失真信号，上述预失真信号传输至上述扬声器，上述扬声器播放产生目标输出信号，上述目标输出信号经由空间媒介传播后被麦克风采集。
203、获取上述麦克风采集的采集信号。
其中，上述步骤201-步骤203可以参考图1所示实施例的步骤101-步骤103中的具体描述，此处不再赘述。
204、对上述原始超声信号和上述采集信号进行频域处理，获得上述原始超声信号和上述采集信号的能量谱信息。
具体的，可以进行频域处理，可以包括对数字化采集得到的信号加窗后，对其进行快速傅里叶变换(FFT)，得到采回声压的能量谱。由于主要利用频谱的幅值特性，在计算过程中可以舍弃相位信息，减少数据处理量。
205、判断上述采集信号的上述能量谱信息中的能量分布与上述原始超声信号的上述能量谱信息中的能量分布是否存在差异，若存在，确定存在上述手势动作；若不存在，确定不存在上述手势动作。
通过判断能量谱的能量分布是否变化，可以判断是否存在手势动作。
上述能量分布是否存在差异是指是否达到手势动作引起的预设变化差异，对于一般的信号干扰可以忽略。具体的，可以判断上述采集信号的能量谱信息中的能量分布与原始超声信号的上述能量谱信息中的能量分布是否存在差异，主要可以利用频谱的幅值特性，根据前述多普勒效应计算公式得到最大频移量，判断是否达到预设频移阈值，若达到，两者能量分布存在差异，确定存在上述手势动作，执行步骤206；反之不存在，可以不执行后续步骤，继续周期性的检测。
举例来讲，可以参考如图3所示的一种采集信号的频谱能量分布示意图。原始超声信号的频率为20KHz，当手靠近/远离装置时，麦克风采回的采集信号的频谱能量会不仅仅分布于20KHz，如图3中左边框所示的有运动的频谱效果，而一般没有手势动作的情况下，采集信号的频谱能量几乎集中分布于20KHz，如图3中右边框所示的无运动的频谱效果。通过比较发射频率(原始超声信号的频率)和采集频率(采集信号的频率)的能量分布，可以判断是否有手势动作发生。
206、在确定存在上述手势动作的情况下，对上述能量谱信息进行二值化和边缘检测处理，提取上述手势动作的能量谱特征。
具体的，初步检测到存在手势变化的情况下，可以进一步对手势动作分类。
图像二值化(Image Binarization)就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。在数字图像处理中，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓，即能量谱分布变化趋势。
边缘检测是图像处理和计算机视觉中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化。这些包括深度上的不连续、表面方向不连续、物质属性变化和场景照明变化。边缘检测是图像处理和计算机视觉中，尤其是特征提取中的一个研究领域。通过图像边缘检测大幅度地减少了能量谱中需分析的数据量，并且剔除了可以认为不相关的信息，保留了其中重要的结构属性，使能够更准确地关注变化区域。
对于可视化的能量谱信息，可以进行二值化和边缘检测处理，提取上述手势动作的能量谱特征。通过上述处理，可以提取上述能量谱频移区间的幅值向量。频移区间的幅值向量能反应手势实施过程的能量分布特征。
207、根据预设能量谱特征与预设手势动作类型的映射关系，确定上述能量谱特征对应的上述手势动作的类型。
不同的手势动作其对应产生的能量变化是不同的，通过能量谱特征可以分析手势动作的类型。在一种实施方式中，可以预设能量谱特征与手势动作的映射关系，比如预先登入手势动作模板，包括采集并存储该预设手势动作所对应的模板特征向量。通过提取的频移区间的幅值向量与上述预设手势动作的模板特征向量进行比对，当相似度高于预设相似度阈值的情况下，确定存在手势动作并且能够确定为何种手势动作类型。
可选的，在上述步骤207之后，该方法还包括：
根据预设手势动作的类型与目标控制指令的对应关系，确定上述手势动作的类型所对应的目标控制指令；
触发上述目标控制指令对应的操作。
具体的，还可以预设手势动作的类型与目标控制指令的对应关系，当通过频谱分析确定手势动作的类型之后，可以进一步确定该手势动作的类型所对应的目标控制指令，进而触发该目标控制指令以执行对应的操作，实现通过手势动作控制终端设备的操作功能，操作方便，提高交互体验。
请参见图4的一种包含非线性补偿模块的系统流程示意图。可以以手机中的受话器/扬声器进行手势判断为例，如图4所示，其中1为超声信号，一般为20KHz左右；2为语音信号，或音乐信号的中低频部分(300Hz-500Hz左右)；3为原始音频信号，即超声信号和语音信号的叠加；
4为非线性补偿模块，用于将信号进行预失真处理；
5为离线或在线更新的扬声器非线性参数测试系统；6为扬声器非线性参数；7为经过非线性补偿处理的预失真信号；
8为预失真信号经过扬声器播放后的声信号(目标输出信号)，此信号为原始音频信号的线性响应，不会产生严重的互调失真和谐波失真；而在无预失真处理的原始信号经过扬声器播放后的信号中包含大量的互调失真，会严重影响14中的判断准确程度；
9为手势动作；10为经过手势动作9反射后的声信号；11为麦克风采回的声压信号(采集信号)；
12为频域处理，可使用FFT等方式得到采回声压的能量谱；13为处理后的声压能量谱信息；14为判断操作，通过是否出现频率偏移判断声压能量谱的能量分布是否变化，从而判断是否有手势变化；
若是(Y)，执行15手势分类，判断手势动作的具体类型；若不是(N)，继续对下一时刻的采集信号进行频域处理。
本发明主要通过检测频谱上能量集中频率的变化，来判断是否出现手势变化。该方法需要采集信号和发射信号保持较好的线性关系。对于终端设备如手机来说，由于手机扬声器/受话器系统的非线性，发射信号会与语音信号产生互调失真，从而影响整体算法的判断精度。
可以参见图5的一种手势动作判断方法中互调失真的示意图，如图5中所示，直观清晰地展示了一般方法中的原始互调失真和本发明中的手势动作判断方法改进后的互调失真，其中对于相同的原始音频信号处理，在添加了非线性补偿模块后，超声信号和语音信号的互调失真下降了30dB左右。可见本发明实施例中的方法可以降低互调失真，配合准确的特征判断方式，可以显著的提升手势判断的精准度。
而本发明实施例通过获取原始音频信号，上述原始音频信号包括原始超声信号和原始语音信号，根据扬声器的非线性参数对上述原始音频信号进行预失真处理，获得预失真信号，上述预失真信号传输至上述扬声器，上述扬声器播放产生目标输出信号，所述目标输出信号经由空间媒介传播后被麦克风采集，获取上述麦克风采集的采集信号后，对上述原始超声信号和上述采集信号进行频域处理，获得上述原始超声信号和上述采集信号的能量谱信息，判断上述采集信号的上述能量谱信息中的能量分布与上述原始超声信号的上述能量谱信息中的能量分布是否存在差异，若存在，确定存在上述手势动作，可以对上述能量谱信息进行二值化和边缘检测处理，提取上述手势动作的能量谱特征，再根据预设能量谱特征与预设手势动作类型的映射关系，确定上述能量谱特征对应的上述手势动作的类型；若不存在，确定不存在上述手势动作，可以继续对下一时刻的采集信号进行频域处理。本发明通过识别扬声器系统的线性和非线性参数，通过将信号预失真处理，将系统由于非线性导致的失真在输入端预先补偿掉。这样通过扬声器系统之后采回的采集信号为发射信号(原始超声信号)的线性响应，可以将互调失真引起的系统误判明显降低，进而，经过非线性补偿实现线性化的系统，配合准确的特征判断方式，可以显著的提升手势动作判断的精准度。
基于上述手势动作判断方法实施例的描述，本发明实施例还公开了一种手势动作判断装置。请参见图6，手势动作判断装置600包括：
第一获取模块610，用于获取原始音频信号，上述原始音频信号包括原始超声信号和原始语音信号；
非线性参数模块620，用于获取扬声器的非线性参数；
非线性补偿模块630，用于根据上述扬声器的非线性参数对上述原始音频信号进行预失真处理，获得非线性补偿信号；
扬声器模块640，在上述非线性补偿信号的激励下输出目标输出信号；
麦克风模块650，采集上述目标输出信号经由空间传播后的信号；
第二获取模块660，获取麦克风采集的采集信号；
处理模块670，用于根据上述原始超声信号和上述采集信号的频谱特征，确定是否存在手势动作。
可选的，上述处理模块670具体用于：
对上述原始超声信号和上述采集信号进行频域处理，获得上述原始超声信号和上述采集信号的能量谱信息；
判断上述采集信号的上述能量谱信息中的能量分布与上述原始超声信号的上述能量谱信息中的能量分布是否存在差异，若存在，确定存在上述手势动作；若不存在，确定不存在上述手势动作。
可选的，上述处理模块670还用于：在上述确定存在上述手势动作的情况下，对上述能量谱信息进行二值化和边缘检测处理，提取上述手势动作的能量谱特征；
根据预设能量谱特征与预设手势动作类型的映射关系，确定上述能量谱特征对应的上述手势动作的类型。
可选的，上述处理模块670还用于：
在上述确定上述能量谱特征对应的上述手势动作的类型之后，根据预设手势动作的类型与目标控制指令的对应关系，确定上述手势动作的类型所对应的目标控制指令；
触发上述目标控制指令对应的操作。
可选的，上述扬声器的非线性参数包括：
离线测试获得的上述扬声器的非线性参数，或者在线更新的上述扬声器的非线性参数。
可选的，上述非线性参数模块620具体用于：
上述扬声器的非线性参数为在线更新的情况下，获取上述扬声器的条件参数；
依据预设的扬声器条件参数与非线性参数的映射关系和上述获取的扬声器的条件参数，更新上述扬声器的非线性参数，上述扬声器的条件参数包括环境温度、工作时间、输入信号功率动态范围中的一种或几种。
根据本发明的一个实施例，图1和图2所示的方法所涉及的各个步骤均可以是由图6所示的手势动作判断装置600中的各个模块执行的，此处不再赘述。
举例来讲，上述图4中所示的非线性补偿模块4，可对应于上述非线性补偿模块630。
本发明实施例中的手势动作判断装置600，手势动作判断装置600可以获取原始音频信号，上述原始音频信号包括原始超声信号和原始语音信号，获取扬声器的非线性参数，再根据上述扬声器的非线性参数对上述原始音频信号进行预失真处理，获得预失真信号，上述预失真信号传输至上述扬声器，上述扬声器播放产生目标输出信号，上述目标输出信号经由空间媒介传播后被麦克风采集，获取上述麦克风采集的采集信号，根据上述原始超声信号和上述采集信号的频谱特征，确定是否存在手势动作，可以通过在扬声器前对信号预失真处理，可以降低利用超声信号进行手势判断处理中的互调失真问题，显著提升装置中利用扬声器进行超声测距及相关应用的判断精度。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种电子设备。请参见图7，该电子设备至少包括处理器710、非易失性存储介质720、内存储器730和网络接口740，其中，处理器710、非易失性存储介质720、内存储器730和网络接口740可通过系统总线750或其他方式连接，通过网络接口740可以与其他设备进行通信。
非易失性存储介质720即计算机存储介质可以存储在存储器中，上述计算机存储介质用于存储计算机程序和操作系统，内存储器730也存储有计算机程序，上述计算机程序包括程序指令，上述处理器710可用于执行上述程序指令。处理器(或称CPU(CentralProcessing Unit，中央处理器))是终端的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本发明实施例上述的处理器710可以用于进行一系列的处理，包括如图1和图2所示实施例中方法等等。
本发明实施例还提供了一种计算机存储介质(Memory)，上述计算机存储介质是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，可由处理器加载并执行计算机存储介质中存放的一条或多条指令，以实现上述实施例中的相应步骤；具体实现中，计算机存储介质中的一条或多条指令可以由处理器加载并执行图1和/或图2中方法的任意步骤，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
Claims (9)
1.一种手势动作判断方法，其特征在于，包括：
获取原始音频信号，所述原始音频信号包括原始超声信号和原始语音信号；
获取扬声器的非线性参数；
根据所述扬声器的非线性参数对所述原始音频信号进行预失真处理，获得预失真信号；
所述预失真信号传输至所述扬声器，所述扬声器播放产生目标输出信号；
所述目标输出信号经由空间媒介传播后被麦克风采集；
获取所述麦克风采集的采集信号；
根据所述原始超声信号和所述采集信号的频谱特征，确定是否存在手势动作。
2.根据权利要求1所述的手势动作判断方法，其特征在于，所述根据所述原始超声信号和所述采集信号的频谱特征，确定是否存在手势动作，包括：
对所述原始超声信号和所述采集信号进行频域处理，获得所述原始超声信号和所述采集信号的能量谱信息；
判断所述采集信号的所述能量谱信息中的能量分布与所述原始超声信号的所述能量谱信息中的能量分布是否存在差异，若存在，确定存在所述手势动作；若不存在，确定不存在所述手势动作。
3.根据权利要求2所述的手势动作判断方法，其特征在于，在所述确定存在所述手势动作的情况下，所述方法还包括：
对所述能量谱信息进行二值化和边缘检测处理，提取所述手势动作的能量谱特征；
根据预设能量谱特征与预设手势动作类型的映射关系，确定所述能量谱特征对应的所述手势动作的类型。
4.根据权利要求3所述的手势动作判断方法，其特征在于，所述确定所述能量谱特征对应的所述手势动作的类型之后，所述方法还包括：
根据预设手势动作的类型与目标控制指令的对应关系，确定所述手势动作的类型所对应的目标控制指令；
触发所述目标控制指令对应的操作。
5.根据权利要求1-4任一项所述的手势动作判断方法，其特征在于，所述扬声器的非线性参数包括：
离线测试获得的所述扬声器的非线性参数，或者在线更新的所述扬声器的非线性参数。
6.根据权利要求5所述的手势动作判断方法，其特征在于，所述扬声器的非线性参数为在线更新的情况下，所述方法还包括：
获取所述扬声器的条件参数；
依据预设的扬声器条件参数与非线性参数的映射关系和所述获取的扬声器的条件参数，更新所述扬声器的非线性参数，所述扬声器的条件参数包括环境温度、工作时间、输入信号功率动态范围中的一种或几种。
7.一种手势动作判断装置，其特征在于，包括：
第一获取模块，用于获取原始音频信号，所述原始音频信号包括原始超声信号和原始语音信号；
非线性参数模块，用于获取扬声器的非线性参数；
非线性补偿模块，用于根据所述扬声器的非线性参数对所述原始音频信号进行预失真处理，获得非线性补偿信号；
扬声器模块，在所述非线性补偿信号的激励下输出目标输出信号；
麦克风模块，采集所述目标输出信号经由空间传播后的信号；
第二获取模块，获取麦克风采集的采集信号；
处理模块，用于根据所述原始超声信号和所述采集信号的频谱特征，确定是否存在手势动作。
8.一种存储介质，存储有计算机指令程序，其特征在于，所述计算机指令程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
9.一种计算机设备，其特征在于，包括至少一个存储器、至少一个处理器，所述存储器存储有计算机指令程序，所述计算机指令程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010537961.1A CN111796792B (zh) | 2020-06-12 | 2020-06-12 | 一种手势动作判断方法、装置、电子设备和存储介质 |
| PCT/CN2020/096743 WO2021248535A1 (zh) | 2020-06-12 | 2020-06-18 | 一种手势动作判断方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010537961.1A CN111796792B (zh) | 2020-06-12 | 2020-06-12 | 一种手势动作判断方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111796792A true CN111796792A (zh) | 2020-10-20 |
| CN111796792B CN111796792B (zh) | 2024-04-02 |
Family
ID=72804403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010537961.1A Active CN111796792B (zh) | 2020-06-12 | 2020-06-12 | 一种手势动作判断方法、装置、电子设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111796792B (zh) |
| WO (1) | WO2021248535A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112530420A (zh) * | 2020-10-30 | 2021-03-19 | 联想(北京)有限公司 | 一种控制方法、电子设备及存储介质 |
| CN112860070A (zh) * | 2021-03-03 | 2021-05-28 | 北京小米移动软件有限公司 | 设备交互方法、设备交互装置、存储介质及终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130259238A1 (en) * | 2012-04-02 | 2013-10-03 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field |
| CN105718064A (zh) * | 2016-01-22 | 2016-06-29 | 南京大学 | 基于超声波的手势识别系统与方法 |
| CN105916079A (zh) * | 2016-06-07 | 2016-08-31 | 瑞声科技(新加坡)有限公司 | 一种扬声器非线性补偿方法及装置 |
| CN106560722A (zh) * | 2015-10-02 | 2017-04-12 | 奥音科技（北京）有限公司 | 基于超声噪声的声纳 |
-
2020
- 2020-06-12 CN CN202010537961.1A patent/CN111796792B/zh active Active
- 2020-06-18 WO PCT/CN2020/096743 patent/WO2021248535A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130259238A1 (en) * | 2012-04-02 | 2013-10-03 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field |
| CN106560722A (zh) * | 2015-10-02 | 2017-04-12 | 奥音科技（北京）有限公司 | 基于超声噪声的声纳 |
| CN105718064A (zh) * | 2016-01-22 | 2016-06-29 | 南京大学 | 基于超声波的手势识别系统与方法 |
| CN105916079A (zh) * | 2016-06-07 | 2016-08-31 | 瑞声科技(新加坡)有限公司 | 一种扬声器非线性补偿方法及装置 |
| US20170353795A1 (en) * | 2016-06-07 | 2017-12-07 | AAC Technologies Pte. Ltd. | Loudspeaker nonlinear compensation method and apparatus |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112530420A (zh) * | 2020-10-30 | 2021-03-19 | 联想(北京)有限公司 | 一种控制方法、电子设备及存储介质 |
| CN112860070A (zh) * | 2021-03-03 | 2021-05-28 | 北京小米移动软件有限公司 | 设备交互方法、设备交互装置、存储介质及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111796792B (zh) | 2024-04-02 |
| WO2021248535A1 (zh) | 2021-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101411213A (zh) | 音频系统中的校准方法和装置 | |
| CN101600144B (zh) | 采用连续对数扫频信号获得电声产品多个参数的方法及系统 | |
| CN111796792B (zh) | 一种手势动作判断方法、装置、电子设备和存储介质 | |
| WO2020037555A1 (zh) | 评估麦克风阵列一致性的方法、设备、装置和系统 | |
| CN111048061B (zh) | 回声消除滤波器的步长获取方法、装置及设备 | |
| US8913752B2 (en) | Audio signal measurement method for speaker and electronic apparatus having the speaker | |
| CN113475097B (zh) | 作为声音发射器的显示器的反馈控制 | |
| US20140341386A1 (en) | Noise reduction | |
| CN111343540B (zh) | 一种钢琴音频的处理方法及电子设备 | |
| CN108430024A (zh) | 一种降噪耳机的测量方法 | |
| US20170025111A1 (en) | System of modeling characteristics of a musical instrument | |
| JP2017090888A (ja) | 楽器の特性をモデル化する方法 | |
| CN105764008A (zh) | 一种调试扩声系统传输频率特性的方法及装置 | |
| CN104168532A (zh) | 扬声器异音检测方法及装置 | |
| CN109769175B (zh) | 一种音频处理方法和电子设备 | |
| CN205336536U (zh) | 一种短波电台扬声器的测量装置 | |
| WO2019185015A1 (zh) | 一种压电传感器信号噪声去除方法 | |
| Yeh et al. | Nonlinear modeling of a guitar loudspeaker cabinet | |
| WO2022178157A1 (en) | System and method for data augmentation and speech processing in dynamic acoustic environments | |
| CN114678038A (zh) | 音频噪声检测方法、计算机设备和计算机程序产品 | |
| EP4147459A1 (en) | System and method for data augmentation for multi-microphone signal processing | |
| TWI500024B (zh) | Sound wave identification system and its method | |
| CN113611276B (zh) | 声反馈抑制方法、装置及存储介质 | |
| CN113423052B (zh) | 一种音频检测的方法及终端 | |
| US20220155137A1 (en) | Acoustic noise detection method and system using vibration sensor to detect acoustic noise |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |