CN113411139B - 一种控制方法、装置及可读存储介质 - Google Patents

一种控制方法、装置及可读存储介质 Download PDF

Info

Publication number
CN113411139B
CN113411139B CN202110837458.2A CN202110837458A CN113411139B CN 113411139 B CN113411139 B CN 113411139B CN 202110837458 A CN202110837458 A CN 202110837458A CN 113411139 B CN113411139 B CN 113411139B
Authority
CN
China
Prior art keywords
impulse response
channel impulse
response vector
signal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110837458.2A
Other languages
English (en)
Other versions
CN113411139A (zh
Inventor
周岭松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd, Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202110837458.2A priority Critical patent/CN113411139B/zh
Publication of CN113411139A publication Critical patent/CN113411139A/zh
Application granted granted Critical
Publication of CN113411139B publication Critical patent/CN113411139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B11/00—Transmission systems employing sonic, ultrasonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种控制方法、装置及可读存储介质，应用于电子信号处理技术领域，此方法包括：接收超声波反射信号；从所述超声波反射信号中提取出所述第一频段内的子带信号；根据所述基带信号和所述子带信号确定信道冲激响应矢量；确定所述信道冲激响应矢量对应于设定肢体动作时，确定所述信道冲激响应矢量的强度变化表征信息；将所述信道冲激响应矢量的强度变化表征信息发送至网络设备，从所述网络设备接收控制信息。本公开中，可以有效区分用户做出的同一肢体动作控制操作对不同设备的不同影响程度，从而确定出用户真正想通过肢体动作控制的唯一的智能设备，防止多个智能设备同时响应的混乱情况，提高智能设备的控制准确性，提高用户使用体验。

Description

一种控制方法、装置及可读存储介质
技术领域
本公开涉及电子信息处理技术领域，尤其涉及一种控制方法、装置及可读存储介质。
背景技术
随着语音识别技术的发展，用户可以在很多场景下通过语音对设备进行相应的控制，从而达到解放双手的效果。然而在一些场景中通过语音控制的流程略显繁杂，例如：在一智能设备正在播放歌曲时，用户希望此智能设备停止播放歌曲，需要先用设定语音内容唤醒智能设备，再用语音指令指示智能设备停止播放。因此，需要引入更为便捷的方式来实现设备的无接触式控制。
相关技术中，可以通过智能设备输出超声波导频声音信号并且由用户做出手势来进行设备交互控制。然而，相关技术中的手势识别方案通常适用于空间内只存在一个设备的情景，当空间内存在两个或两个以上的设备时，由于各个设备发射的超声波会相互干扰，会导致空间内各个设备无法正常识别手势。
发明内容
有鉴于此，本公开提供了一种控制方法、装置及可读存储介质。
根据本公开实施例的第一方面，提供了一种控制方法，包括：
接收超声波反射信号；其中，所述超声波反射信号包括对应于第一信号的反射信号和对应于至少一第二信号的反射信号，所述第一信号是所述第一设备发送的将基带信号调制到第一频段的超声波信号，每个所述第二信号是相应的第二设备发送的将所述基带信号调制到相应第二频段的超声波信号；
从所述超声波反射信号中提取出所述第一频段内的子带信号；
根据所述基带信号和所述子带信号确定信道冲激响应矢量，其中，所述信道冲激响应矢量用于表示从所述基带信号变换至所述子带信号的变换方式；
如果所述信道冲激响应矢量对应于设定肢体动作，确定所述信道冲激响应矢量的强度变化表征信息；
将所述信道冲激响应矢量的强度变化表征信息发送至网络设备，从所述网络设备接收控制信息；其中，所述控制信息是允许执行所述设定肢体动作对应的控制指令的第一指示信息，或者，是禁止执行所述设定肢体动作对应的控制指令的第二指示信息。
在一实施方式中，所述控制信息是所述第一指示信息时，所述信道冲激响应矢量的强度变化表征信息的值是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值；
所述控制信息是所述第二指示信息时，所述信道冲激响应矢量的强度变化表征信息的值不是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值。
在一实施方式中，所述方法还包括：
将所述信道冲激响应矢量输入预训练的分类模型，在所述分类模型的输出数据与一设定肢体动作的目标特征的差距值小于第一设定值时，确定所述信道冲激响应矢量对应于设定肢体动作。
在一实施方式中，所述方法包括：
使用样本集合训练所述分类模型；
所述样本集合包括不同应用场景对应的多个样本组，每个样本组对应一种设定肢体动作，每个样本组包括多个样本对，每个样本对包括相应应用场景下的信道冲激响应矢量的信号矢量，以及相应的设定肢体动作的目标特征。
在一实施方式中，所述方法还包括：
计算所述信道冲激响应矢量的频域信息；
计算所述信道冲激响应矢量的频域信息与各设定肢体动作对应的目标频域信息的差距值；
所述差距值中存在一差距值小于第二设定值时，确定所述信道冲激响应矢量对应于设定肢体动作；
其中，所述频域信息包括频移信息和/或相位变化信息。
在一实施方式中，所述信道冲激响应矢量的强度变化表征信息为所述信道冲激响应矢量的强度方差表征信息；
其中，所述强度为幅值或者能量。
在一实施方式中，所述确定所述信道冲激响应矢量的强度变化表征信息，包括：
计算所述信道冲激响应矢量对应的噪声矢量；
确定所述信道冲激响应矢量与所述噪声矢量的差为信号矢量；
将所述信号矢量的强度方差值作为所述信道冲激响应矢量的强度变化表征信息。
根据本公开实施例的第二方面，提供了一种控制装置，应用于第一设备，包括：
第一接收模块，用于接收超声波反射信号；其中，所述超声波反射信号包括对应于第一信号的反射信号和对应于至少一第二信号的反射信号，所述第一信号是所述第一设备发送的将基带信号调制到第一频段的超声波信号，每个所述第二信号是相应的第二设备发送的将所述基带信号调制到相应第二频段的超声波信号；
提取模块，用于从所述超声波反射信号中提取出所述第一频段内的子带信号；
第一确定模块，用于根据所述基带信号和所述子带信号确定信道冲激响应矢量，其中，所述信道冲激响应矢量用于表示从所述基带信号变换至所述子带信号的变换方式；
第二确定模块，用于在所述信道冲激响应矢量对应于设定肢体动作时，确定所述信道冲激响应矢量的强度变化表征信息；
发送模块，用于将所述信道冲激响应矢量的强度变化表征信息发送至网络设备；
第二接收模块，用于从所述网络设备接收控制信息；其中，所述控制信息是允许执行所述设定肢体动作对应的控制指令的第一指示信息，或者，是禁止执行所述设定肢体动作对应的控制指令的第二指示信息。
在一实施方式中，所述控制信息是所述第一指示信息时，所述信道冲激响应矢量的强度变化表征信息的值是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值；
所述控制信息是所述第二指示信息时，所述信道冲激响应矢量的强度变化表征信息的值不是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值。
在一实施方式中，所述装置还包括：
第三确定模块，用于将所述信道冲激响应矢量输入预训练的分类模型，在所述分类模型的输出数据与一设定肢体动作的目标特征的差距值小于第一设定值时，确定所述信道冲激响应矢量对应于设定肢体动作。
在一实施方式中，所述装置包括：
训练模块，用于使用样本集合训练所述分类模型；
所述样本集合包括不同应用场景对应的多个样本组，每个样本组对应一种设定肢体动作，每个样本组包括多个样本对，每个样本对包括相应应用场景下的信道冲激响应矢量的信号矢量，以及相应的设定肢体动作的目标特征。
在一实施方式中，所述装置还包括：
第一计算模块，用于计算所述信道冲激响应矢量的频域信息；
第二计算模块，用于计算所述信道冲激响应矢量的频域信息与各设定肢体动作对应的目标频域信息的差距值；
第四确定模块，用于在所述差距值中存在一差距值小于第二设定值时，确定所述信道冲激响应矢量对应于设定肢体动作；
其中，所述频域信息包括频移信息和/或相位变化信息。
在一实施方式中，所述信道冲激响应矢量的强度变化表征信息为所述信道冲激响应矢量的强度方差表征信息；
其中，所述强度为幅值或者能量。
在一实施方式中，所述第二确定模块，还用于使用以下方法确定所述信道冲激响应矢量的强度变化表征信息：
计算所述信道冲激响应矢量对应的噪声矢量；
确定所述信道冲激响应矢量与所述噪声矢量的差为信号矢量；
将所述信号矢量的强度方差值作为所述信道冲激响应矢量的强度变化表征信息。
根据本公开实施例的第三方面，提供了一种控制装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述存储器中的可执行指令以实现所述控制方法的步骤。
根据本公开实施例的第四方面，提供了一种非临时性计算机可读存储介质，其上存储有可执行指令，该可执行指令被处理器执行时实现所述控制方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：设置信道冲激响应矢量的强度变化表征信息用于表示处于同一空间内的不同设备检测到的超声波反射信号的特征，以及设置网络设备用于从各智能设备接收所述强度变化表征信息并进行综合判断，从而有效区分用户做出的同一肢体动作控制操作对不同设备的不同影响程度，从而确定出用户真正想通过肢体动作控制的唯一的智能设备，防止多个智能设备同时响应的混乱情况，提高智能设备的控制准确性，提高用户使用体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种控制方法的示意图；
图2是根据一示例性实施例示出的一种控制方法的流程图；
图3是根据一示例性实施例示出的一种基带信号的信号图；
图4是根据一示例性实施例示出的一种信道冲激响应矢量和信号矢量的信号图；
图5是根据一示例性实施例示出的一种信号矢量和相应幅值方差的信号图；
图6是根据一示例性实施例示出的一种控制装置的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开中实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开中实施例的一些方面相一致的装置和方法的例子。
在同一声场空间内没有手势运动时，声场是稳定的，不会出现声场波动；在同一声场空间内有手势运动时，声场会出现波动。因此，根据预设手势反射回的反射信号能够反映声场中是否有手势运动以及手势运动特点，进而以实现手势的识别。
本公开实施例中适用的场景为同一空间内设置有多个智能设备的场景，每个智能设备均可以通过扬声器发射超声波信号，并且通过麦克风接收所述超声波信号的反射信号。从而用户可以使用肢体动作对任何一个智能设备进行控制。其中肢体动作为手势、头部动作、身体动作等。
举例说明，例如图1所示，在同一房间内有4个智能设备，包括第一设备、第二设备1、第二设备2和第二设备3。每个智能设备对应于自己的一个频段，每个智能设备将同一基带数据调制到自己的相应的频段上，获得相应的超声波信号。每个智能设备循环通过扬声器播放相应的超声波信号，并通过麦克风接收反射回的超声波信号，利用带通滤波器解析出相应的频带上的子带信号。
用户想通过手势控制第二设备2，用户在房间的中间位置面对第二设备2做出手势后，每个智能设备都会通过麦克风接收到超声波反射信号，并且都可能根据接收到的超声波反射信号识别到此手势后，执行与此手势对应的响应操作，这种所有设备均进行对同一个手势进行响应的情况不能满足用户的实际控制需求，为用户带来控制的不便。
手势识别方法可适用于同一声场空间内具有多个设备的场景。同一声场空间可以理解为两个设备有直达的声学路径，当两个设备有强的物理阻隔，则认为不在一个空间内。比如客厅是一个声场空间，而卧室是另一个声场空间。示例性地，多个设备是否在同一声场空间可以通过以下方式判断：通过一个设备发出声波，如果另外一个设备可以检测到较强信号，则在同一空间；如果只能检测到微弱信号，则不在同一空间，因为声音的穿透性很弱，物理阻隔会大幅衰减声音。
本公开实施例提供了一种控制方法，应用于第一设备。第一设备可以包括：智能电视、智能音箱、智能空调、智能冰箱等。
参考图2，图2是根据一示例性实施例示出的一种控制方法的流程图。如图2所示，此方法包括：
步骤S11,接收超声波反射信号。其中，所述超声波反射信号包括对应于第一信号的反射信号和对应于至少一第二信号的反射信号，所述第一信号是所述第一设备发送的将基带信号调制到第一频段的超声波信号，每个所述第二信号是相应的第二设备发送的将所述基带信号调制到相应第二频段的超声波信号；
步骤S12,从所述超声波反射信号中提取出所述第一频段内的子带信号；
步骤S13,根据所述基带信号和所述子带信号确定信道冲激响应矢量，其中，所述信道冲激响应矢量用于表示从所述基带信号变换至所述子带信号的变换方式；
步骤S14,如果所述信道冲激响应矢量对应于设定肢体动作，确定所述信道冲激响应矢量的强度变化表征信息；
步骤S15,将所述信道冲激响应矢量的强度变化表征信息发送至网络设备，从所述网络设备接收控制信息；其中，所述控制信息是允许执行所述设定肢体动作对应的控制指令的第一指示信息，或者，是禁止执行所述设定肢体动作对应的控制指令的第二指示信息。
在一实施方式中，信道响应(Channel Response)对应于将一输入信号变化为一输出信号的变换方式。在时域上的信道响应称为信道时域响应或者信道冲激响应(ChannelImpulse Response,CIR)。
例如：在R(n)＝S(t)*h(n)中，S(n)是基带上的发送信号，R(n)是基带上的接收信号，h(n)为信道冲激响应矢量，*为卷积。h(n)可以称为从S(n)变换至R(n)的信道冲激响应矢量。
再例如：将基带信号表示为矩阵s，将子带信息表示为矩阵r，三者相应的关系为sh＝r。h为多行单列的矩阵时，h可以称为从基带信号变换至子带信号的信道冲激响应矢量。
如图3所示，在一个实施例中，基带信号包括480个离散数据点，其中包括：320个非零值数据点和160个零值数据点。
sh＝r对应于以下算式(1)：
Figure BDA0003177735410000081
其中，矩阵s中包括基带信号中的320个非零值，其中，s1表示第1个非零值，s2表示第二个非零值,sL表示第L个非零值，sP表示第P个非零值。
L与识别距离lenth相关，lenth＝340*L/48000，其中，340是声速，48000是声音采样率。
P＝320-L，当L＝160，P＝320-160＝160。可以是L的值大于160同时P的值小于160。也可认是L的值小于160同时P的值大于160。
L的值越大同时P的越小时，可以提高对于耗时较长的手势的准确率。
L的值越小同时P的越大时，可以提高对于耗时较短的手势的准确率。
在一实施方式中，信道冲激响应矢量的强度变化表征信息用于表示信道冲激响应矢量的强度变化情况。例如：信道冲激响应矢量的强度变化表征信息为信道冲激响应矢量的强度方差信息。其中强度为幅值或者能量。
例如：信道冲激响应矢量的强度变化表征信息为信道冲激响应矢量的幅值方差表征信息。
例如：信道冲激响应矢量的强度变化表征信息为信道冲激响应矢量的能量方差表征信息。
在一实施方式中，步骤S14中确定信道冲激响应矢量的强度变化表征信息，包括：
步骤S14-1，计算所述信道冲激响应矢量对应的噪声矢量。
其中，
Figure BDA0003177735410000091
可以反应当前环境的声学特性，当没有手势运动时，可以认为
Figure BDA0003177735410000092
是稳定不变的，当有手势运动时，
Figure BDA0003177735410000093
会产生相应的变化。
在一实施方式中，算式(2)是常用于在语音增加领域进行噪声估计的算式，通过算式(2)使用递归跟踪算法计算信道冲激响应矢量h对应的噪声矢量n。如算式(2)所示：
Figure BDA0003177735410000094
步骤S14-2，确定所述信道冲激响应矢量与所述噪声矢量的差为信号矢量d；
例如：如算式(3)所示：
Figure BDA0003177735410000095
在没有手势运动时，
Figure BDA0003177735410000096
一般趋近于0，在有手势运动时，
Figure BDA0003177735410000097
一般会出现较大值。
如图4所示，图4中第一个图是多个帧的信道冲激响应矢量h的信号示意图，第二图是信号矢量d的信号示意图，如图4可知，信号矢量d是从信道冲激响应矢量h中去除了噪声信号后的信号。
步骤S14-3，计算信号矢量的强度方差值，将信号矢量的强度方差值作为信道冲激响应矢量的变化表征信息。
其中，计算信号矢量d的强度方差值，包括：计算每一帧的信号矢量d的方差，计算设定帧数的信号矢量d的方差的和或者加权和为强度方差值，将所述强度方差值作为所述信道冲激响应矢量的强度变化表征信息。
如图5所示，图5中第一个图是信号矢量d的信号示意图，第二个图是信号矢量d的幅值方差的示意图。
在一实施方式中，步骤S11中接收超声波反射信号为接收N帧的超声波反射信号。步骤S12中从每帧的超声波反射信号中提取出第一频段内的子带信号。步骤S13中，每帧的基带信号和子带信号确定信道冲激响应矢量，从而共确定出N个信道冲激响应矢量。其中，所述信道冲激响应矢量用于表示从所述基带信号变换至所述子带信号的变换方式。步骤S14中N个信道冲激响应矢量对应于设定肢体动作时，确定N个信道冲激响应矢量对应的强度变化表征信息。步骤S15将所述N个信道冲激响应矢量对应的强度变化表征信息发送至网络设备。
在一实施方式中，第一设备和至少一第二设备存在于同一空间，第一设备和每个第二设备均通过局域网互相连接。
本公开实施例中，设置信道冲激响应矢量的强度变化表征信息用于表示处于同一空间内的不同设备检测到的超声波反射信号的特征，以及设置网络设备用于从各智能设备接收所述强度变化表征信息并进行综合判断，从而有效区分用户做出的同一肢体动作控制操作对不同设备的不同影响程度，从而确定出用户真正想通过肢体动作控制的唯一的智能设备，防止多个智能设备同时响应的混乱情况，提高智能设备的控制准确性，提高用户使用体验。
本公开实施例提供了一种手势识别方法，应用于电子设备。此方法包括图1所示的方法，并且：
步骤S15中，所述控制信息是所述第一指示信息时，所述信道冲激响应矢量的强度变化表征信息的值是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值；第一设备是用户的控制对像。
所述控制信息是所述第二指示信息时，所述信道冲激响应矢量的强度变化表征信息的值不是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值；第一设备不是用户的控制对像。
本公开实施例提供了一种手势识别方法，应用于电子设备。此方法包括图1所示的方法，并且：
步骤S13和步骤S14之间还包括：
步骤S13’，判断所述信道冲激响应矢量是否对应于设定肢体动作。
其中，确定所述信道冲激响应矢量对应于设定肢体动作，包括：将所述信道冲激响应矢量输入预训练的分类模型，在所述分类模型的输出数据与一设定肢体动作的目标特征的差距值小于第一设定值时，确定所述信道冲激响应矢量对应于设定肢体动作。
确定所述信道冲激响应矢量未对应于设定肢体动作，包括：将所述信道冲激响应矢量输入预训练的分类模型，确定所述分类模型的输出数据与任一设定肢体动作的目标特征的差距值均大于或等于第一设定值时，确定所述信道冲激响应矢量未对应于设定肢体动作。
在一实施方式中，分类模型是神经网络。此神经网络是卷积神经网络、循环神经网络、对称连接网络等。
在一实施方式中，将所述信道冲激响应矢量输入预训练的分类模型，包括：将连续的多帧(例如200帧)的信道冲激响应矢量输入预训练的分类模型，每帧对应于一个信道冲激响应矢量。
在一实施方式中，此方法还包括训练分类模型的步骤。其中，训练分类模型的步骤包括：使用样本集合训练所述分类模型；所述样本集合包括不同应用场景对应的多个样本组，每个样本组对应一种设定肢体动作，每个样本组包括多个样本对，每个样本对包括相应应用场景下的信道冲激响应矢量的信号矢量，以及相应的设定肢体动作的目标特征。
其中，应用场景包括以下中的至少一种：卧室、客厅、办公室、会议室、展厅、服务台等。
设定肢体动作可以是局限于某一部位的动作。
例如：设定肢体动作包括以下中的至少一种：单手左右挥手、单手上下挥手、双手开合挥手、拍一下、拍两下等。
例如：设定肢体动作包括以下中的至少一种：点头、摇头。
例如：设定肢体动作包括以下中的至少一种：左右摇晃身体、蹲下站起等。
其中，采集一应用场景下的对应于一设定肢体动作的一样本对的过程包括：确定此设定肢体动作的目标特征。使用样本智能设备的扬声器发射将基带信号调制到设定频段的超声波信号，用户面对样本智能设备做出一设定肢体动作时，使用样本智能设备的麦克风接收超声波反射信号，从所述超声波反射信号中提取出所述设定频段内的子带信号，根据所述基带信号和所述子带信号确定信道冲激响应矢量。将此信道冲激响应矢量和所述设定肢体动作的目标特征构成一个样本对。
本公开实施例提供了一种手势识别方法，应用于电子设备。此方法包括图1所示的方法，并且：
步骤S13和步骤S14之间还包括：
步骤S13’，判断所述信道冲激响应矢量是否对应于设定肢体动作。
判断所述信道冲激响应矢量是否对应于设定肢体动作，包括：
计算所述信道冲激响应矢量的频域信息；
计算所述信道冲激响应矢量的频域信息与各设定肢体动作对应的目标频域信息的差距值；
所述差距值中存在一差距值小于第二设定值时，确定所述信道冲激响应矢量对应于设定肢体动作；所述差距值中任一差距值均大于或等于第二设定值时，确定所述信道冲激响应矢量未对应于设定肢体动作。
所述频域信息包括频移信息和/或相位变化信息。
在一实施方式中，此方法还包括：确定各设定肢体动作对应的目标频域信息。其中，确定一设定肢体动作对应的目标频域信息，包括：
使用样本智能设备的扬声器发射将基带信号调制到设定频段的超声波信号，用户面对样本智能设备做出一设定肢体动作时，使用样本智能设备的麦克风接收超声波反射信号，从所述超声波反射信号中提取出所述设定频段内的子带信号，根据所述基带信号和所述子带信号确定信道冲激响应矢量，,计算所述信道冲激响应矢量的频域信息,频域信息包括频移信息和/或相位变化信息,将此频域信息作为设定肢体动作对应的目标频域信息。
其中，应用场景包括以下中的至少一种：卧室、客厅、办公室、会议室、展厅、服务台等。
本公开实施例提供了一种控制装置，应用于第一设备。第一设备可以包括：智能电视、智能音箱、智能空调、智能冰箱等。
参考图6，图6是根据一示例性实施例示出的一种控制装置的结构图。如图6所示，此装置包括：
第一接收模块61，用于接收超声波反射信号；其中，所述超声波反射信号包括对应于第一信号的反射信号和对应于至少一第二信号的反射信号，所述第一信号是所述第一设备发送的将基带信号调制到第一频段的超声波信号，每个所述第二信号是相应的第二设备发送的将所述基带信号调制到相应第二频段的超声波信号；
提取模块，用于从所述超声波反射信号中提取出所述第一频段内的子带信号；
第一确定模块62，用于根据所述基带信号和所述子带信号确定信道冲激响应矢量，其中，所述信道冲激响应矢量用于表示从所述基带信号变换至所述子带信号的变换方式；
第二确定模块63，用于在所述信道冲激响应矢量对应于设定肢体动作时，确定所述信道冲激响应矢量的强度变化表征信息；
发送模块64，用于将所述信道冲激响应矢量的强度变化表征信息发送至网络设备；
第二接收模块65，用于从所述网络设备接收控制信息；其中，所述控制信息是允许执行所述设定肢体动作对应的控制指令的第一指示信息，或者，是禁止执行所述设定肢体动作对应的控制指令的第二指示信息。
本公开实施例提供了一种控制装置，此控制装置包括图6所示的装置，并且：
所述控制信息是所述第一指示信息时，所述信道冲激响应矢量的强度变化表征信息的值是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值；
所述控制信息是所述第二指示信息时，所述信道冲激响应矢量的强度变化表征信息的值不是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值。
本公开实施例提供了一种控制装置，此控制装置包括图6所示的装置，并且：
所述装置还包括：
第三确定模块，用于将所述信道冲激响应矢量输入预训练的分类模型，在所述分类模型的输出数据与一设定肢体动作的目标特征的差距值小于第一设定值时，确定所述信道冲激响应矢量对应于设定肢体动作。
在一实施方式中，所述装置还包括：
训练模块，用于使用样本集合训练所述分类模型；
所述样本集合包括不同应用场景对应的多个样本组，每个样本组对应一种设定肢体动作，每个样本组包括多个样本对，每个样本对包括相应应用场景下的信道冲激响应矢量的信号矢量，以及相应的设定肢体动作的目标特征。
本公开实施例提供了一种控制装置，此控制装置包括图6所示的装置，并且：
所述装置还包括：
第一计算模块，用于计算所述信道冲激响应矢量的频域信息；
第二计算模块，用于计算所述信道冲激响应矢量的频域信息与各设定肢体动作对应的目标频域信息的差距值；
第四确定模块，用于在所述差距值中存在一差距值小于第二设定值时，确定所述信道冲激响应矢量对应于设定肢体动作；
其中，所述频域信息包括频移信息和/或相位变化信息。
本公开实施例提供了一种控制装置，此控制装置包括图6所示的装置，并且：
所述信道冲激响应矢量的强度变化表征信息为所述信道冲激响应矢量的强度方差表征信息；
其中，所述强度为幅值或者能量。
在一实施方式中，所述第二确定模块63，还用于使用以下方法确定所述信道冲激响应矢量的强度变化表征信息：
计算所述信道冲激响应矢量对应的噪声矢量；
确定所述信道冲激响应矢量与所述噪声矢量的差为信号矢量；
将所述信号矢量的强度方差值作为所述信道冲激响应矢量的强度变化表征信息。
本公开实施例提供了一种控制装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述存储器中的可执行指令以实现所述控制方法的步骤。
本公开实施例提供了一种非临时性计算机可读存储介质，其上存储有可执行指令，该可执行指令被处理器执行时实现所述控制方法的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开中实施例的其它实施方案。本申请旨在涵盖本公开中实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开中实施例的一般性原理并包括实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开实施例的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开中实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围对本申请中所公开的方法步骤或设备组件进行各种组合、替换、修改和改变，这些组合、替换、修改和改变均被视为被包括在本公开所记载的范围内。本公开所要求保护的范围由所附的权利要求来限制。
需要说明的是，在本公开中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

Claims (14)

1.一种控制方法，应用于第一设备，其特征在于，包括：
接收超声波反射信号；其中，所述超声波反射信号包括对应于第一信号的反射信号和对应于至少一第二信号的反射信号，所述第一信号是所述第一设备发送的将基带信号调制到第一频段的超声波信号，每个所述第二信号是相应的第二设备发送的将所述基带信号调制到相应第二频段的超声波信号；
从所述超声波反射信号中提取出所述第一频段内的子带信号；
根据所述基带信号和所述子带信号确定信道冲激响应矢量，其中，所述信道冲激响应矢量用于表示从所述基带信号变换至所述子带信号的变换方式；
如果所述信道冲激响应矢量对应于设定肢体动作，确定所述信道冲激响应矢量的强度变化表征信息；
将所述信道冲激响应矢量的强度变化表征信息发送至网络设备，从所述网络设备接收控制信息；其中，所述控制信息是允许执行所述设定肢体动作对应的控制指令的第一指示信息，或者，是禁止执行所述设定肢体动作对应的控制指令的第二指示信息；
其中，所述控制信息是所述第一指示信息时，所述信道冲激响应矢量的强度变化表征信息的值是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值；
所述控制信息是所述第二指示信息时，所述信道冲激响应矢量的强度变化表征信息的值不是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值。
2.如权利要求1所述的控制方法，其特征在于，
所述方法还包括：
将所述信道冲激响应矢量输入预训练的分类模型，在所述分类模型的输出数据与一设定肢体动作的目标特征的差距值小于第一设定值时，确定所述信道冲激响应矢量对应于设定肢体动作。
3.如权利要求2所述的控制方法，其特征在于，
所述方法包括：
使用样本集合训练所述分类模型；
所述样本集合包括不同应用场景对应的多个样本组，每个样本组对应一种设定肢体动作，每个样本组包括多个样本对，每个样本对包括相应应用场景下的信道冲激响应矢量的信号矢量，以及相应的设定肢体动作的目标特征。
4.如权利要求1所述的控制方法，其特征在于，
所述方法还包括：
计算所述信道冲激响应矢量的频域信息；
计算所述信道冲激响应矢量的频域信息与各设定肢体动作对应的目标频域信息的差距值；
所述差距值中存在一差距值小于第二设定值时，确定所述信道冲激响应矢量对应于设定肢体动作；
其中，所述频域信息包括频移信息和/或相位变化信息。
5.如权利要求1所述的控制方法，其特征在于，
所述信道冲激响应矢量的强度变化表征信息为所述信道冲激响应矢量的强度方差表征信息；
其中，所述强度为幅值或者能量。
6.如权利要求5所述的控制方法，其特征在于，
所述确定所述信道冲激响应矢量的强度变化表征信息，包括：
计算所述信道冲激响应矢量对应的噪声矢量；
确定所述信道冲激响应矢量与所述噪声矢量的差为信号矢量；
将所述信号矢量的强度方差值作为所述信道冲激响应矢量的强度变化表征信息。
7.一种控制装置，应用于第一设备，其特征在于，包括：
第一接收模块，用于接收超声波反射信号；其中，所述超声波反射信号包括对应于第一信号的反射信号和对应于至少一第二信号的反射信号，所述第一信号是所述第一设备发送的将基带信号调制到第一频段的超声波信号，每个所述第二信号是相应的第二设备发送的将所述基带信号调制到相应第二频段的超声波信号；
提取模块，用于从所述超声波反射信号中提取出所述第一频段内的子带信号；
第一确定模块，用于根据所述基带信号和所述子带信号确定信道冲激响应矢量，其中，所述信道冲激响应矢量用于表示从所述基带信号变换至所述子带信号的变换方式；
第二确定模块，用于在所述信道冲激响应矢量对应于设定肢体动作时，确定所述信道冲激响应矢量的强度变化表征信息；
发送模块，用于将所述信道冲激响应矢量的强度变化表征信息发送至网络设备；
第二接收模块，用于从所述网络设备接收控制信息；其中，所述控制信息是允许执行所述设定肢体动作对应的控制指令的第一指示信息，或者，是禁止执行所述设定肢体动作对应的控制指令的第二指示信息；
其中，所述控制信息是所述第一指示信息时，所述信道冲激响应矢量的强度变化表征信息的值是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值；
所述控制信息是所述第二指示信息时，所述信道冲激响应矢量的强度变化表征信息的值不是所述第一设备和所述至少一第二设备向所述网络设备发送的所有强度变化表征信息中的最大值。
8.如权利要求7所述的控制装置，其特征在于，
所述装置还包括：
第三确定模块，用于将所述信道冲激响应矢量输入预训练的分类模型，在所述分类模型的输出数据与一设定肢体动作的目标特征的差距值小于第一设定值时，确定所述信道冲激响应矢量对应于设定肢体动作。
9.如权利要求8所述的控制装置，其特征在于，
所述装置包括：
训练模块，用于使用样本集合训练所述分类模型；
所述样本集合包括不同应用场景对应的多个样本组，每个样本组对应一种设定肢体动作，每个样本组包括多个样本对，每个样本对包括相应应用场景下的信道冲激响应矢量的信号矢量，以及相应的设定肢体动作的目标特征。
10.如权利要求7所述的控制装置，其特征在于，
所述装置还包括：
第一计算模块，用于计算所述信道冲激响应矢量的频域信息；
第二计算模块，用于计算所述信道冲激响应矢量的频域信息与各设定肢体动作对应的目标频域信息的差距值；
第四确定模块，用于在所述差距值中存在一差距值小于第二设定值时，确定所述信道冲激响应矢量对应于设定肢体动作；
其中，所述频域信息包括频移信息和/或相位变化信息。
11.如权利要求7所述的控制装置，其特征在于，
所述信道冲激响应矢量的强度变化表征信息为所述信道冲激响应矢量的强度方差表征信息；
其中，所述强度为幅值或者能量。
12.如权利要求11所述的控制装置，其特征在于，
所述第二确定模块，还用于使用以下方法确定所述信道冲激响应矢量的强度变化表征信息：
计算所述信道冲激响应矢量对应的噪声矢量；
确定所述信道冲激响应矢量与所述噪声矢量的差为信号矢量；
将所述信号矢量的强度方差值作为所述信道冲激响应矢量的强度变化表征信息。
13.一种控制装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述存储器中的可执行指令以实现权利要求1至6中任一项所述控制方法的步骤。
14.一种非临时性计算机可读存储介质，其上存储有可执行指令，其特征在于，该可执行指令被处理器执行时实现权利要求1至6中任一项所述控制方法的步骤。
CN202110837458.2A 2021-07-23 2021-07-23 一种控制方法、装置及可读存储介质 Active CN113411139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110837458.2A CN113411139B (zh) 2021-07-23 2021-07-23 一种控制方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110837458.2A CN113411139B (zh) 2021-07-23 2021-07-23 一种控制方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN113411139A CN113411139A (zh) 2021-09-17
CN113411139B true CN113411139B (zh) 2022-11-22

Family

ID=77687518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110837458.2A Active CN113411139B (zh) 2021-07-23 2021-07-23 一种控制方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN113411139B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866083A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 手势识别方法、装置和系统
CN110519449A (zh) * 2019-07-31 2019-11-29 Oppo广东移动通信有限公司 电子设备控制方法、装置、电子设备及存储介质
CN110780741A (zh) * 2019-10-28 2020-02-11 Oppo广东移动通信有限公司 模型训练方法、应用运行方法、装置、介质及电子设备
CN112287717A (zh) * 2019-07-12 2021-01-29 上海三思电子工程有限公司 智能系统、手势控制方法、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8907929B2 (en) * 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
CN104898844B (zh) * 2015-01-23 2019-07-09 瑞声光电科技(常州)有限公司 基于超声波定位的手势识别与控制装置及识别与控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866083A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 手势识别方法、装置和系统
CN112287717A (zh) * 2019-07-12 2021-01-29 上海三思电子工程有限公司 智能系统、手势控制方法、电子设备及存储介质
CN110519449A (zh) * 2019-07-31 2019-11-29 Oppo广东移动通信有限公司 电子设备控制方法、装置、电子设备及存储介质
CN110780741A (zh) * 2019-10-28 2020-02-11 Oppo广东移动通信有限公司 模型训练方法、应用运行方法、装置、介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
使用超声波的智能手机手势识别;徐曾春 等;《计算机工程与应用》;20170210;全文 *

Also Published As

Publication number Publication date
CN113411139A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
US10373609B2 (en) Voice recognition method and apparatus
CN107454508B (zh) 麦克风阵列的电视机及电视系统
US9583102B2 (en) Method of controlling interactive system, method of controlling server, server, and interactive device
CN112185406A (zh) 声音处理方法、装置、电子设备和可读存储介质
US20190208317A1 (en) Direction of arrival estimation for multiple audio content streams
US9595997B1 (en) Adaption-based reduction of echo and noise
JP6450139B2 (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
CN105427860B (zh) 远场语音识别方法和装置
CN109920419B (zh) 语音控制方法和装置、电子设备及计算机可读介质
US12003673B2 (en) Acoustic echo cancellation control for distributed audio devices
JP2016524724A (ja) 家庭環境内で音声コマンドに関連付けられた位置を特定して家庭用電気機器を制御する方法およびシステム
EP3484183A1 (en) Location classification for intelligent personal assistant
WO2022256577A1 (en) A method of speech enhancement and a mobile computing device implementing the method
CN110262278B (zh) 智能家电设备的控制方法及装置、智能电器设备
CN113314121B (zh) 无声语音识别方法、装置、介质、耳机及电子设备
CN113299306B (zh) 回声消除方法、装置、电子设备及计算机可读存储介质
CN113411139B (zh) 一种控制方法、装置及可读存储介质
CN116868265A (zh) 用于动态声学环境中的数据增强和语音处理的系统和方法
CN114586095A (zh) 实时语音检测
CN107197403A (zh) 一种终端音频参数管理方法、装置及系统
CN115410593A (zh) 音频信道的选择方法、装置、设备及存储介质
CN109716432B (zh) 增益处理方法及其装置、电子设备、信号采集方法及其系统
CN116453537B (zh) 一种提高音频信息传输效果方法及系统
EP4362502A1 (en) Controlling local rendering of remote environmental audio
US11792570B1 (en) Parallel noise suppression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant