CN116930978A - 识别障碍物动作的方法、装置及存储介质 - Google Patents
识别障碍物动作的方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116930978A CN116930978A CN202210346567.9A CN202210346567A CN116930978A CN 116930978 A CN116930978 A CN 116930978A CN 202210346567 A CN202210346567 A CN 202210346567A CN 116930978 A CN116930978 A CN 116930978A
- Authority
- CN
- China
- Prior art keywords
- preset
- volume
- condition
- information
- ultrasonic echo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000013459 approach Methods 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 46
- 238000001228 spectrum Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本公开涉及一种识别障碍物动作的方法、装置及存储介质,针对接收到的每帧超声回波信号,对该帧超声回波信号进行特征提取得到特征信息,所述特征信息包括相位信息;所述超声回波信号为发射的超声波信号的反射信号;根据所述相位信息确定是否发生目标动作事件,所述目标动作事件包括障碍物靠近终端的第一事件或者所述障碍物远离所述终端的第二事件;在确定发生所述目标动作事件的情况下,执行预设操作,不同的目标动作事件对应不同的预设操作。
Description
技术领域
本公开涉及障碍物识别领域,尤其涉及一种识别障碍物动作的方法、装置及存储介质。
背景技术
相关技术中,多是通过红外线距离传感器实现终端的防误触功能,红外线距离传感器通过发射红外信号并检测返回到传感器的反射红外信号的变化,计算终端至障碍物的距离,以此来判断终端是否靠近障碍物,进而根据判断结果实现终端的防误触功能;在另一种方案中,从超声波发射器发射超声波正弦波信号,超声波接收器通过空气接收超声波正弦波信号,然后检测发送的超声波正弦波信号的频率和接收到的超声波正弦波信号的频率何时满足预定差标准,继而确定是否禁用终端上的触摸或非触摸输入,或者确定是否启用终端上的触摸或非触摸输入。
发明内容
为克服相关技术中存在的问题,本公开提供一种识别障碍物动作的方法、装置及存储介质。
根据本公开实施例的第一方面,提供一种识别障碍物动作的方法,包括针对接收到的每帧超声回波信号,对该帧超声回波信号进行特征提取得到特征信息,所述特征信息包括相位信息;所述超声回波信号为发射的超声波信号的反射信号;根据所述相位信息确定是否发生目标动作事件,所述目标动作事件包括障碍物靠近终端的第一事件或者所述障碍物远离所述终端的第二事件;在确定发生所述目标动作事件的情况下,执行预设操作,不同的目标动作事件对应不同的预设操作;
可选地,所述对该帧超声回波信号进行特征提取得到特征信息包括:对该帧超声回波信号进行频域变换,得到频域信号;根据所述频域信号的实部和虚部提取该帧超声回波信号对应的所述相位信息。
可选地,所述根据所述相位信息确定是否发生目标动作事件包括:获取第一预设时间段内接收到的多帧超声回波信号分别对应的所述相位信息;计算第一相位与第二相位的相位之差,所述第一相位包括所述第一预设时间段内的最后一帧超声回波信号对应的所述相位信息,所述第二相位包括所述第一预设时间段内的第一帧超声回波信号对应的所述相位信息;在所述相位之差大于或者等于第一预设阈值的情况下,确定发生所述第一事件;在所述相位之差小于或者等于第二预设阈值的情况下,确定发生所述第二事件。
可选地,所述根据所述相位信息确定是否发生目标动作事件包括:将预设帧数的所述超声回波信号分别对应的所述相位信息输入预先训练得到的神经网络模型,得到模型输出;根据所述模型输出确定是否发生所述目标动作事件。
可选地,所述特征信息还包括音量信息、频移信息中的至少一种,所述频移信息包括第一频移参数和第二频移参数,所述对该帧超声回波信号进行特征提取得到特征信息包括:根据该帧超声回波信号的频谱获取发射波最高频率对应的第一发射波能量以及第一其它信号的第一能量,所述第一其它信号包括频率高于所述发射波最高频率的预设数量的信号;根据所述第一发射波能量和所述第一能量计算得到所述第一频移参数;根据该帧超声回波信号的频谱获取发射波最低频率对应的第二发射波能量以及第二其它信号的第二能量,所述第二其它信号包括频率低于所述发射波最低频率的预设数量的信号;根据所述第二发射波能量和所述第二能量计算得到所述第二频移参数。
可选地,所述根据所述相位信息确定是否发生目标动作事件包括:根据所述相位信息和预设信息确定是发生所述目标动作事件,所述预设信息包括所述音量信息、所述频移信息中的至少一种。
可选地,所述根据所述相位信息和预设信息确定是发生所述目标动作事件包括:在确定所述相位信息满足第一预设条件,并且所述预设信息满足第二预设条件的情况下,确定发生所述第一事件;在确定所述相位信息满足第三预设条件,并且所述预设信息满足第四预设条件的情况下,确定发生所述第二事件。
可选地,所述方法包括:获取第一预设时间段内接收到的多帧超声回波信号分别对应的所述相位信息;计算第一相位与第二相位的相位之差,所述第一相位包括所述第一预设时间段内的最后一帧超声回波信号对应的所述相位信息,所述第二相位包括所述第一预设时间段内的第一帧超声回波信号对应的所述相位信息;在所述相位之差大于或者等于第一预设阈值的情况下,确定所述相位信息满足所述第一预设条件,在所述相位之差小于或者等于第二预设阈值的情况下,确定所述相位信息满足所述第三预设条件。
可选地,所述第二预设条件包括第一音量条件和/或第一频移条件;所述第四预设条件包括第二音量条件和/或第二频移条件;所述方法包括:在所述音量信息满足所述第一音量条件,和/或所述频移信息满足所述第一频移条件的情况下,确定所述预设信息满足所述第二预设条件;在所述音量信息满足所述第二音量条件,和/或所述频移信息满足所述第二频移条件的情况下,确定所述预设信息满足所述第四预设条件;
其中,确定所述音量信息是否满足所述第一音量条件或者所述第二音量条件包括:
在所述音量信息满足预设音量子条件的情况下,根据所述音量信息计算第二预设时间段内所述超声回波信号的音量变化斜率,在所述音量变化斜率为正的情况下,确定所述音量信息满足所述第一音量条件,在所述音量变化斜率为负的情况下,确定所述音量信息满足所述第二音量条件;
或者,
在所述音量信息满足预设音量子条件的情况下,确定所述第二预设时间段内音量曲线上的音量峰值的变化趋势,在所述变化趋势是变大的情况下,确定所述音量信息满足所述第一音量条件,在所述变化趋势是变小的情况下,确定所述音量信息满足所述第二音量条件;
或者,
在所述音量信息满足预设音量子条件的情况下,对所述音量峰值进行一次函数拟合得到拟合函数;在所述拟合函数的斜率为正的情况下,确定所述音量信息满足所述第一音量条件,在所述拟合函数的斜率为负的情况下,确定所述音量信息满足所述第二音量条件;
其中,所述预设音量子条件包括:
音量方差大于或者等于第三预设阈值,所述音量方差为在第二预设时间段内接收的所述超声回波信号的音量信息对应的方差;或者,波峰波谷差之和大于或者等于第四预设阈值,所述波峰波谷差之和为在所述第二预设时间段内接收的所述超声回波信号的音量曲线的波峰波谷差之和;或者,最大音量与最小音量之差大于或者等于第五预设阈值,所述最大音量与最小音量之差为在所述第二预设时间段内接收的所述超声回波信号的最大音量与最小音量之差;
其中,确定所述频移信息是否满足所述第一频移条件或者所述第二频移条件包括:
在所述第一频移参数大于或者等于第六预设阈值,并且所述第一频移参数大于或者等于K倍的所述第二频移参数的情况下,确定所述频移信息满足所述第一频移条件,所述K为预设数量;
在所述第二频移参数大于或者等于第七预设阈值,并且所述第二频移参数大于或者等于所述K倍的所述第一频移参数的情况下,确定所述频移信息满足所述第二频移条件。
可选地,所述根据所述相位信息和预设信息确定是发生所述目标动作事件包括:将预设帧数的所述超声回波信号对应的所述相位信息、所述预设信息输入预先训练得到的神经网络模型,得到模型输出;根据所述模型输出确定是否发生所述目标动作事件。
可选地,所述在确定发生所述目标动作事件的情况下,执行预设操作包括:在确定发生所述第一事件的情况下,控制所述终端禁用触摸操作;在确定发生所述第二事件的情况下,控制所述终端开启触摸操作。
可选地,所述在确定发生所述目标动作事件的情况下,执行预设操作包括:在确定发生所述第一事件的情况下,控制所述终端开启预设功能;在确定发生所述第二事件的情况下,控制所述终端关闭所述预设功能。
根据本公开实施例的第二方面,提供一种识别障碍物动作的装置,包括:
特征提取模块,被配置为针对接收到的每帧超声回波信号,对该帧超声回波信号进行特征提取得到特征信息,所述特征信息包括相位信息;所述超声回波信号为发射的超声波信号的反射信号;
第一确定模块,被配置为根据所述相位信息确定是否发生目标动作事件,所述目标动作事件包括障碍物靠近终端的第一事件或者所述障碍物远离所述终端的第二事件;
动作执行模块,被配置为在确定发生所述目标动作事件的情况下,执行预设操作,不同的目标动作事件对应不同的预设操作。
可选地,所述特征提取模块,被配置为对该帧超声回波信号进行频域变换,得到频域信号;根据所述频域信号的实部和虚部提取该帧超声回波信号对应的所述相位信息。
可选地,所述第一确定模块,被配置为获取第一预设时间段内接收到的多帧超声回波信号分别对应的所述相位信息;计算第一相位与第二相位的相位之差,所述第一相位包括所述第一预设时间段内的最后一帧超声回波信号对应的所述相位信息,所述第二相位包括所述第一预设时间段内的第一帧超声回波信号对应的所述相位信息;在所述相位之差大于或者等于第一预设阈值的情况下,确定发生所述第一事件;在所述相位之差小于或者等于第二预设阈值的情况下,确定发生所述第二事件。
可选地,所述第一确定模块,被配置为将预设帧数的所述超声回波信号分别对应的所述相位信息输入预先训练得到的神经网络模型,得到模型输出;根据所述模型输出确定是否发生所述目标动作事件。
可选地,所述特征信息还包括音量信息、频移信息中的至少一种,所述频移信息包括第一频移参数和第二频移参数,所述特征提取模块,被配置为根据该帧超声回波信号的频谱获取发射波最高频率对应的第一发射波能量以及第一其它信号的第一能量,所述第一其它信号包括频率高于所述发射波最高频率的预设数量的信号;根据所述第一发射波能量和所述第一能量计算得到所述第一频移参数;根据该帧超声回波信号的频谱获取发射波最低频率对应的第二发射波能量以及第二其它信号的第二能量,所述第二其它信号包括频率低于所述发射波最低频率的预设数量的信号;根据所述第二发射波能量和所述第二能量计算得到所述第二频移参数。
可选地,所述第一确定模块,被配置为根据所述相位信息和预设信息确定是发生所述目标动作事件,所述预设信息包括所述音量信息、所述频移信息中的至少一种。
可选地,所述第一确定模块,被配置为在确定所述相位信息满足第一预设条件,并且所述预设信息满足第二预设条件的情况下,确定发生所述第一事件;在确定所述相位信息满足第三预设条件,并且所述预设信息满足第四预设条件的情况下,确定发生所述第二事件。
可选地,所述第一确定模块,被配置为获取第一预设时间段内接收到的多帧超声回波信号分别对应的所述相位信息;计算第一相位与第二相位的相位之差,所述第一相位包括所述第一预设时间段内的最后一帧超声回波信号对应的所述相位信息,所述第二相位包括所述第一预设时间段内的第一帧超声回波信号对应的所述相位信息;在所述相位之差大于或者等于第一预设阈值的情况下,确定所述相位信息满足所述第一预设条件,在所述相位之差小于或者等于第二预设阈值的情况下,确定所述相位信息满足所述第三预设条件。
可选地,所述第二预设条件包括第一音量条件和/或第一频移条件;所述第四预设条件包括第二音量条件和/或第二频移条件;所述第一确定模块,被配置为在所述音量信息满足所述第一音量条件,和/或所述频移信息满足所述第一频移条件的情况下,确定所述预设信息满足所述第二预设条件;在所述音量信息满足所述第二音量条件,和/或所述频移信息满足所述第二频移条件的情况下,确定所述预设信息满足所述第四预设条件;
其中,在所述音量信息满足预设音量子条件的情况下,根据所述音量信息计算第二预设时间段内所述超声回波信号的音量变化斜率,在所述音量变化斜率为正的情况下,确定所述音量信息满足所述第一音量条件,在所述音量变化斜率为负的情况下,确定所述音量信息满足所述第二音量条件;
或者,
在所述音量信息满足预设音量子条件的情况下,确定所述第二预设时间段内音量曲线上的音量峰值的变化趋势,在所述变化趋势是变大的情况下,确定所述音量信息满足所述第一音量条件,在所述变化趋势是变小的情况下,确定所述音量信息满足所述第二音量条件;
或者,
在所述音量信息满足预设音量子条件的情况下,对所述音量峰值进行一次函数拟合得到拟合函数;在所述拟合函数的斜率为正的情况下,确定所述音量信息满足所述第一音量条件,在所述拟合函数的斜率为负的情况下,确定所述音量信息满足所述第二音量条件;
所述预设音量子条件包括:
音量方差大于或者等于第三预设阈值,所述音量方差为在第二预设时间段内接收的所述超声回波信号的音量信息对应的方差;或者,波峰波谷差之和大于或者等于第四预设阈值,所述波峰波谷差之和为在所述第二预设时间段内接收的所述超声回波信号的音量曲线的波峰波谷差之和;或者,最大音量与最小音量之差大于或者等于第五预设阈值,所述最大音量与最小音量之差为在所述第二预设时间段内接收的所述超声回波信号的最大音量与最小音量之差;
在所述第一频移参数大于或者等于第六预设阈值,并且所述第一频移参数大于或者等于K倍的所述第二频移参数的情况下,确定所述频移信息满足所述第一频移条件,所述K为预设数量;
在所述第二频移参数大于或者等于第七预设阈值,并且所述第二频移参数大于或者等于所述K倍的所述第一频移参数的情况下,确定所述频移信息满足所述第二频移条件。
可选地,所述第一确定模块,被配置为:将预设帧数的所述超声回波信号对应的所述相位信息、所述预设信息输入预先训练得到的神经网络模型,得到模型输出;根据所述模型输出确定是否发生所述目标动作事件。
可选地,所述动作执行模块,被配置为:在确定发生所述第一事件的情况下,控制所述终端禁用触摸操作;在确定发生所述第二事件的情况下,控制所述终端开启触摸操作。
可选地,所述动作执行模块,被配置为:在确定发生所述第一事件的情况下,控制所述终端开启预设功能;在确定发生所述第二事件的情况下,控制所述终端关闭所述预设功能。
根据本公开实施例的第三方面,提供一种识别障碍物动作的装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:针对接收到的每帧超声回波信号,对该帧超声回波信号进行特征提取得到特征信息,所述特征信息包括相位信息;所述超声回波信号为发射的超声波信号的反射信号;
根据所述相位信息确定是否发生目标动作事件,所述目标动作事件包括障碍物靠近终端的第一事件或者所述障碍物远离所述终端的第二事件;
在确定发生所述目标动作事件的情况下,执行预设操作,不同的目标动作事件对应不同的预设操作。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的识别障碍物动作的方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:针对接收到的每帧超声回波信号分别进行特征提取得到相位信息,从而可以根据该相位信息确定是否发生障碍物靠近终端的第一事件或者障碍物远离终端的第二事件,相位信息描述超声回波信号的相位变化,而相位变化仅与距离变化有关,与速度大小以及终端自身的频响无关,并且相位特征敏感性较强,即微小的距离变化即可对应较大的相位特征的变化,因此,基于超声回波信号的相位信息可以更准确地识别障碍物靠近/远离终端的动作,并且识别动作的稳健性更好,进而可以更准确、更稳定地根据识别结果控制终端执行相应的动作,实现终端的防误触功能。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种识别障碍物动作的方法的流程图;
图2是根据一示例性实施例示出的一种识别障碍物动作的架构示意图;
图3是根据一示例性实施例示出的一次终端与障碍物靠近远离过程的相位变化曲线;
图4是根据一示例性实施例示出的一种识别障碍物动作的方法的流程图;
图5是根据一示例性实施例示出的一种超声回波信号的频谱图;
图6是根据一示例性实施例示出的一种识别障碍物动作的方法的流程图;
图7是根据一示例性实施例示出的一种超声回波信号的音量特征曲线;
图8是根据一示例性实施例示出的一种识别障碍物动作的装置的框图;
图9是根据一示例性实施例示出的一种识别障碍物动作的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
本公开可对障碍物靠近/远离终端进行动作识别,以便根据识别结果实现终端的防误触功能,例如,在确定用户头部靠近手机时,可以控制手机在通话期间停用触摸屏显示器的触摸输入;或者根据识别结果控制终端实现预设功能(如开启或者关闭等)。
相关技术中,多是通过红外线距离传感器实现终端的防误触功能,红外线距离传感器通过发射红外信号并检测返回到传感器的反射红外信号的变化,计算终端(如手机、ipad等)至障碍物的距离,以此来判断终端是否靠近障碍物,但是使用红外线距离传感器有一定的硬件成本,并占用终端表面上的较大空间,随着全面屏手机的发展,手机屏占比越来越高,手机顶部难以留出足够的空间放置红外线距离传感器,导致距离传感功能无法使用传统方式完成。
在另一种相关方案中,可以通过配置有超声发射器、超声接收器和处理系统的终端实现终端的防误触功能,通过超声波发射器发射超声波正弦波信号,超声波接收器通过空气接收超声波正弦波信号,然后检测发送的超声波正弦波信号的频率和接收到的超声波正弦波信号的频率何时满足预定差标准,继而确定是否禁用终端上的触摸或非触摸输入,或者确定是否启用终端上的触摸或非触摸输入,但是该方案中超声波发射器发射的通常是单一频率的超声波信号,抗干扰能力较弱,并且频率信号的变化与障碍物的移动速度有关,当终端远离/靠近障碍物的速度较慢时,无法准确的基于频移信号识别障碍物的动作,因此,通过检测发送的超声波正弦波信号的频率和接收的超声波正弦波信号的频率何时满足预定差标准,不仅抗干扰性较差,识别准确率较低,难以满足终端的应用需求。
为解决上述存在的问题,本公开提供一种识别障碍物动作的方法、装置和存储介质,可以根据接收到的超声回波信号的相位信息确定是否发生障碍物靠近终端的第一事件或者障碍物远离终端的第二事件,相位信息描述超声回波信号的相位变化,而相位变化仅与距离变化有关,与速度大小以及终端自身的频响无关,并且相位特征敏感性较强,即微小的距离变化即可对应较大的相位特征的变化,因此,基于超声回波信号的相位信息可以更准确地识别障碍物靠近/远离终端的动作,并且识别动作的稳健性更好,进而可以更准确、更稳定地根据识别结果控制终端执行相应的动作,实现终端的防误触功能。
另外,考虑到通过超声回波信号的特征信息识别靠近/远离动作的发生的过程中,仅需通过终端固有的发声装置(如喇叭、话筒等)、录音装置(如麦克风)进行信号的发射与接收,超声波发生器、特征提取以及动作识别均是通过软件算法实现,不额外占用设备空间,因此可以节省硬件成本。
下面结合附图对本公开的具体实施方式进行详细说明。
图1是根据一示例性实施例示出的一种识别障碍物动作的方法的流程图,该方法可以应用终端(如手机、ipad等),如图1所示,该方法包括以下步骤:
在步骤S101中,针对接收到的每帧超声回波信号,对该帧超声回波信号进行特征提取得到特征信息,该特征信息包括相位信息。
其中,该超声回波信号为发射的超声波信号的反射信号。
示例地,图2是根据一示例性实施例示出的一种识别障碍物动作的架构示意图,如图2所示,该架构包括发射端和接收端,发射端通过超声波生成器发出任意周期的超声波信号,然后通过终端上的声波发射器(如喇叭、听筒等)向外发出该超声波信号,由声波接收器(如麦克风)接收从空气传播而来的超声回波信号,然后可以由分析器对接收到的每帧超声回波信号进行分析并提取相应的特征信息(如相位信息),之后可以由识别器根据分析器提取出的特征信息进行终端靠近/远离障碍物动作的识别。
其中,超声波生成器可以为超声信号激励器,超声信号激励器由激励器和滤波器两部分组成,可以由超声信号激励器产生多个不同频率的超声波信号,经过DAC数模转换器转为模拟信号后由声波发射器向外界发射。
在本步骤中,可以针对接收到的每帧超声回波信号,对该帧超声回波信号进行频域变换,得到频域信号;根据该频域信号的实部和虚部提取该帧超声回波信号对应的该相位信息。
一种可能的实现方式中,可以利用超声回波信号的频域信号的实部和虚部求反正切得到该相位信息,公式如下:
phase=atan2(imag(F(w)),real(F(w)))
其中,phase为超声回波信号相位,atan2为反正切函数,F(w)为超声回波信号的傅里叶变换,imag()表示取虚部,real()表示取实部。
在步骤S102中,根据该相位信息确定是否发生目标动作事件,该目标动作事件包括障碍物靠近终端的第一事件或者该障碍物远离该终端的第二事件。
考虑到实际的应用场景中,当终端与障碍物之间的距离发生改变,即有相对运动时,超声波接收器接收到的超声回波信号的相位会发生改变,当超声回波信号的相位在一段时间内持续增加时说明这段时间内有靠近动作发生,当超声回波信号的相位在一段时间内持续减小时说明这段时间内有远离动作发生,如图3所示,为根据一示例性实施例示出的一次终端与障碍物靠近远离过程的相位变化曲线,并且相位特征敏感性较强,即微小的距离变化即可对应较大的相位特征的变化,举例来说,对于一个频率20k的超声波信号,0.85cm的距离变化可以造成πrad(半个周期)的相位变化,公式如下:
Δφ=0.85cm/(1/20000Hz*34000cm/s)*2π=π
因此,基于超声回波信号的相位信息可以更准确地识别障碍物靠近/远离终端的动作,并且识别动作的稳健性更好,因此,在本步骤一种可能的实现方式中,可以通过计算相位累积变化量来对靠近/远离动作进行判断,例如,可以获取第一预设时间段内接收到的多帧超声回波信号分别对应的该相位信息;计算第一相位与第二相位的相位之差,该第一相位包括该第一预设时间段内的最后一帧超声回波信号对应的该相位信息,该第二相位包括该第一预设时间段内的第一帧超声回波信号对应的该相位信息;在该相位之差大于或者等于第一预设阈值的情况下,说明超声回波信号的相位在该第一预设时间段内持续增加,如图3所示,说明这段时间内有靠近动作发生,即确定发生该第一事件;在确定该相位之差小于或者等于第二预设阈值的情况下,说明超声回波信号的相位在该第一预设时间段内持续减小,如图3所示,说明这段时间内有远离动作发生,即确定发生该第二事件。
其中,该第一预设阈值和该第二预设阈值可以为任意经验值或者根据实际需求任意设置,本公开对此不作限定,该第一预设时间段可以为接收到预设帧数(如10帧、20帧等)超声回波信号的时间段,还需说明的是,在针对下一时间段获取到的超声回波信号的相位信息进行动作识别时,可以与上一时间段在时间上部分重叠,从而可以保证动作识别的连续性较好,例如,假设第一预设时间段为接收到10帧超声回波信号的时间段,不同时间段的时间重叠为2帧信号的接收时间,那么第一次动作识别可以基于接收到的第1帧→第10帧的超声回波信号的相位信息,第二次动作识别可以基于接收到的第3帧→第12帧的超声回波信号的相位信息,以此类推,可以对靠近/远离动作进行连续识别,此处仅是举例说明,本公开对此不作限定。
在本步骤另一种可能的实现方式中,还可以将预设帧数的该超声回波信号分别对应的该相位信息输入预先训练得到的神经网络模型,得到模型输出;然后根据该模型输出确定是否发生该目标动作事件。
其中,该模型输出可以包括表征发生不同事件的预设标识,例如,若模型输出为1,确定发生障碍物靠近终端的第一事件,若模型输出为-1,确定发生障碍物远离终端的第二事件,若模型输出为0,确定第一事件和第二事件均未发生,即终端与障碍物的相对位置未发生改变。
另外,在对该神经网络模型的进行预先训练时,可以将超声回拨信号的特征信息(包括相位信息、音量信息、频移信息等)作为训练样本进行模型训练,具体的模型训练过程可以参考相关文献中的描述,在此不作限定。
在步骤S103中,在确定发生该目标动作事件的情况下,执行预设操作,不同的目标动作事件对应不同的预设操作。
若根据该动作识别结果实现终端的防误触功能,本步骤可以在确定发生该第一事件的情况下,控制该终端禁用触摸操作;在确定发生该第二事件的情况下,控制该终端开启触摸操作,在确定即未发生该第一事件,也未发生该第二事件的情况下,可以控制终端保持上一时刻的状态。
示例地,终端开机时触摸操作的默认初始状态为开启(如亮屏),未识别到动作事件的发生,保持上一时刻触摸操作默认的开启状态,当识别到发生障碍物靠近终端的第一事件后,控制终端将触摸操作的状态调整为禁用,以实现防误触功能,当识别到发生障碍物远离终端的第二事件后,控制终端将触摸操作的状态调整为开启,当未识别到动作事件的发生,可以控制终端保持上一时刻触摸操作的开启状态,以此类推,从而可以根据动作识别结果控制终端执行预设操作,此处仅是举例说明,本公开对此不作限定。
在又一应用场景中,还可以根据该动作识别结果控制终端执行预设功能,例如,以智能音箱为例,若识别到有人靠近音箱,可以控制该智能音箱开启,若识别到有人远离音箱可以控制该智能音箱关闭,因此,本步骤可以在确定发生该第一事件的情况下,控制该终端开启预设功能;在确定发生该第二事件的情况下,控制该终端关闭该预设功能,该预设功能可以根据实际需求任意设置,例如播放/关闭预设音频、控制终端开机/关机等,本公开对此不作限定。
采用上述方法,针对接收到的每帧超声回波信号分别进行特征提取得到相位信息,从而可以根据该相位信息确定是否发生障碍物靠近终端的第一事件或者障碍物远离终端的第二事件,相位信息描述超声回波信号的相位变化,而相位变化仅与距离变化有关,与速度大小以及终端自身的频响无关,并且相位特征敏感性较强,即微小的距离变化即可对应较大的相位特征的变化,因此,基于超声回波信号的相位信息可以更准确地识别障碍物靠近/远离终端的动作,并且识别动作的稳健性更好,进而可以更准确、更稳定地根据识别结果控制终端执行相应的动作,实现终端的防误触功能。
在本公开另一种可能的实现方式中,为了进一步提高靠近/远离动作识别的准确率,还可以在相位信息的基础上结合超声回波信号的音量信息和/或频移信息进行动作的识别。
因此,该特征信息还可以包括音量信息、频移信息中的至少一种,该频移信息包括第一频移参数和第二频移参数,其中,该第一频移参数为从超声波的频谱中提取的表征频谱向高频方向移动的参数,该第二频移参数为从超声波的频谱中提取的表征频谱向低频方向移动的参数,并且该第一频移参数可以用于描述障碍物靠近终端的事件,该第二频移参数可以用于描述障碍物远离终端的事件。
图4是根据一示例性实施例示出的一种识别障碍物动作的方法的流程图,如图4所示,可以通过以下步骤对该帧超声回波信号进行特征提取得到特征信息中的频移信息:
在步骤S1011中,根据该帧超声回波信号的频谱获取发射波最高频率对应的第一发射波能量以及第一其它信号的第一能量,该第一其它信号包括频率高于该发射波最高频率的预设数量的信号。
上述已经提及,本公开可以通过超声波生成器产生多个不同频率的超声波信号,经过DAC数模转换器转为模拟信号后由声波发射器向外发射,假设声波发射器向外发射的超声波信号的频率范围为50K→200K,预设数量为3,该发射波最高频率即为200K的超声回波信号对应的频率,该第一其它信号可以包括频谱图上频率为205K、220K、235K的其它信号(如噪声),该第一发射波能量和该第一能量均可从如图5所示的频谱图中直接读取得到。
在步骤S1012中,根据该第一发射波能量和该第一能量计算得到该第一频移参数。
在一种可能的实现方式中,可以将该第一发射波能量和该第一能量进行加权融合后,得到该第一频移参数。
在步骤S1013中,根据该帧超声回波信号的频谱获取发射波最低频率对应的第二发射波能量以及第二其它信号的第二能量,该第二其它信号包括频率低于该发射波最低频率的预设数量的信号。
假设声波发射器向外发射的超声波信号的频率范围为50K→200K,预设数量为3,该发射波最低频率即为50K的超声回波信号对应的频率,该第二其它信号可以包括频谱图上频率为45K、30K、15K的其它信号(如噪声),该第二发射波能量和该第二能量均可从如图5所示的频谱图中直接读取得到。
在步骤S1014中,根据该第二发射波能量和该第二能量计算得到该第二频移参数。
一种可能的实现方式中,可以将该第二发射波能量和该第二能量进行加权融合后,得到该第二频移参数。
在本公开另一种方式中,还可以通过以下方式根据该超声回波信号的频谱提取该频移信息:
可以从频谱中选取发射信号频率(如50K→200K)上下各n个频率成分构成频移谱图,并将该频移谱图作为提取到的频移信息用于后续的障碍物动作的识别。
一种方式中可以不包含发射信号频率,只取其上下各n个频率成分构成频移谱图;另一种方式中可以包含发射信号频率,取连续的2n+1个频率成分构成频移谱图,其中,n可以是1,2,3,…。
下面介绍对每帧超声回波信号的音量信息进行提取的具体实现方式:
在一种可能的实现方式中,可以通过以下方式提取该帧超声回波信号的音量信息:
首先将该帧超声回波信号的时域信号转换为频域信号,然后根据该频域信号计算得到各频率分量的能量,公式如下:
Fp(i)=abs(F(i)),i=1,2,3,...,n
其中,F(i)表示第i个频率分量的频域信号,Fp(i)表示第i个频率分量的能量。
之后可以根据帕塞瓦尔定理计算当前时刻接收到的超声回波信号的音量Fpow:
Fpow=RMS(F(1…n))
此处仅是举例说明,本公开还可以通过其它相关文献中记载的提取超声波信号的音量特征的方式进行音量特征的提取,本公开对此不作限定。
这样,针对接收到的每帧超声回波信号,均可以提取到该帧超声回波信号的相位信息、音量信息和频移信息,这样可以在相位信息的基础上,结合其它两类特征信息中的至少一种进行障碍物动作的识别。
因此,在本公开中,可以根据该相位信息和预设信息确定是否发生该目标动作事件,该预设信息包括该音量信息、该频移信息中的至少一种。
图6是根据一示例性实施例示出的一种识别障碍物动作的方法的流程图,如图6所示,可以基于以下步骤根据该相位信息和预设信息确定是发生该目标动作事件:
在步骤S601中,在确定该相位信息满足第一预设条件,并且该预设信息满足第二预设条件的情况下,确定发生该第一事件。
在步骤S602中,在确定该相位信息满足第三预设条件,并且该预设信息满足第四预设条件的情况下,确定发生该第二事件。
其中,可以通过以下方式确定该相位信息是否满足第一预设条件或者第三预设条件:
获取第一预设时间段内接收到的多帧超声回波信号分别对应的该相位信息;计算第一相位与第二相位的相位之差,该第一相位包括该第一预设时间段内的最后一帧超声回波信号对应的该相位信息,该第二相位包括该第一预设时间段内的第一帧超声回波信号对应的该相位信息;在该相位之差大于或者等于第一预设阈值的情况下,确定该相位信息满足该第一预设条件,在该相位之差小于或者等于第二预设阈值的情况下,确定该相位信息满足该第三预设条件。
确定该相位信息是否满足第一预设条件或者第三预设条件的具体实施例可以参考图1所示的基于相位信息识别是否发生该目标动作事件的具体实施方式,在此不再赘述。
另外,该第二预设条件包括第一音量条件和/或第一频移条件;该第四预设条件包括第二音量条件和/或第二频移条件;可以通过以下方式确定该预设信息是否满足该第二预设条件或者该第四预设条件:
在该音量信息满足该第一音量条件,和/或该频移信息满足该第一频移条件的情况下,确定该预设信息满足该第二预设条件;在该音量信息满足该第二音量条件,和/或该频移信息满足该第二频移条件的情况下,确定该预设信息满足该第四预设条件。
下面分别对要满足的音量条件和频移条件进行分析:
图7是根据一示例性实施例示出的一种超声回波信号的音量特征曲线,从图7所示的障碍物一次靠近远离终端过程的音量特征曲线图中可以看出,当障碍物靠近终端的动作发生时,音量特征是呈振荡上升趋势,当障碍物远离终端的动作发生时,音量特征是呈振荡下降趋势,因此,本公开可以通过以下三种方式中的任一方式确定该音量信息是否满足该第一音量条件或者该第二音量条件:
方式一、在该音量信息满足预设音量子条件的情况下,根据该音量信息计算第二预设时间段内该超声回波信号的音量变化斜率,在该音量变化斜率为正的情况下,确定该音量信息满足该第一音量条件,在该音量变化斜率为负的情况下,确定该音量信息满足该第二音量条件。
其中,该第一音量条件为对应发生第一事件的音量条件,该第二音量条件为对应发生第二事件的音量条件,该预设音量子条件包括:
音量方差大于或者等于第三预设阈值,该音量方差为在第二预设时间段内接收的该超声回波信号的音量信息对应的方差;或者,波峰波谷差之和大于或者等于第四预设阈值,该波峰波谷差之和为在该第二预设时间段内接收的该超声回波信号的音量曲线的波峰波谷差之和;或者,最大音量与最小音量之差大于或者等于第五预设阈值,该最大音量与最小音量之差为在该第二预设时间段内接收的该超声回波信号的最大音量与最小音量之差。
可以理解的是,在确定该音量信息满足上述预设音量子条件的情况下,可以确定可能发生该目标动作事件,但还无法确定该目标动作事件为该第一事件还是第二事件,因此,可以进一步根据第二预设时间段内该超声回波信号的音量变化斜率的正负确定该音量信息满足该第一音量条件或者该第二音量条件,如图7所示,在该音量变化斜率为正的情况下,说明超声回波信号的音量以一定的斜率增加,此时确定该音量信息满足该第一音量条件,在该音量变化斜率为负的情况下,说明超声回波信号的音量以一定的斜率下降,此时确定该音量信息满足该第二音量条件。
方式二、在该音量信息满足预设音量子条件的情况下,确定该第二预设时间段内音量曲线上的音量峰值的变化趋势,在该变化趋势是变大的情况下,确定该音量信息满足该第一音量条件,在该变化趋势是变小的情况下,确定该音量信息满足该第二音量条件。
方式三、在该音量信息满足预设音量子条件的情况下,对该音量峰值进行一次函数拟合得到拟合函数;在该拟合函数的斜率为正的情况下,确定该音量信息满足该第一音量条件,在该拟合函数的斜率为负的情况下,确定该音量信息满足该第二音量条件。
方式二中基于第二预设时间段内音量曲线上音量峰值的变化趋势判断音量信息是否满足预设音量条件,以及方式三中对所述音量峰值进行一次函数拟合得到拟合函数,基于拟合函数的斜率的正负判断音量信息是否满足预设音量条件,其实质均是判断该第二预设时间段内音量的变化是增大还是减小,从而可以判断出音量信息是否满足所述第一音量条件或者所述第二音量条件。
本公开可以通过以下方式确定频移信息是否满足所述第一频移条件或者所述第二频移条件:
上述已经提及,该第一频移参数用于表征频谱向高频方向移动的参数,该第二频移参数用于表征频谱向低频方向移动的参数,根据多普勒效应的原理可以知道,当终端靠近障碍物时,终端接收到的超声回波信号的频率会变高,当终端远离障碍物时,终端接收到的超声回波信号的频率会变低,因此,在所述第一频移参数大于或者等于第六预设阈值,并且所述第一频移参数大于或者等于K倍的所述第二频移参数的情况下,确定所述频移信息满足所述第一频移条件,所述K为预设数量;在所述第二频移参数大于或者等于第七预设阈值,并且所述第二频移参数大于或者等于所述K倍的所述第一频移参数的情况下,确定所述频移信息满足所述第二频移条件。
基于上述的阈值判定方式,针对接收到的一段时间内的超声回波信号,均可以根据提取到的相位信息、音量信息和频移信息进行障碍物动作的识别,提高识别的准确率,另外,本公开还可以仅根据超声回波信号的音量信息和频移信息中的一种进行动作识别。
示例地,一种方式中,在确定该音量信息满足第一音量条件的情况下,确定发生该第一事件,在确定该音量信息满足第二音量条件的情况下,确定发生该第二事件;另一种方式中,在确定该频移信息满足第一频移条件的情况下,确定发生该第一事件,在确定该频移信息满足第二频移条件的情况下,确定发生该第二事件。
除了阈值判定方式以外,本公开还可以将预设帧数的所述超声回波信号对应的所述相位信息、所述预设信息输入预先训练得到的神经网络模型,得到模型输出;根据所述模型输出确定是否发生所述目标动作事件。
此处的具体实现方式与基于相位信息通过神经网络模型进行动作的识别过程类似,在此不再赘述。
需要说明的是,上面所述的特征信息可以为一次特征,基于一次特征做的二次运算处理(如求方差、差分等)或者其它形式的变形均属于本公开中用于识别障碍物靠近/远离终端动作的特征信息。
采用上述方法,可以根据接收到的超声回波信号的相位信息确定是否发生障碍物靠近终端的第一事件或者障碍物远离终端的第二事件,相位信息描述超声回波信号的相位变化,而相位变化仅与距离变化有关,与速度大小以及终端自身的频响无关,并且相位特征敏感性较强,即微小的距离变化即可对应较大的相位特征的变化,因此,基于超声回波信号的相位信息可以更准确地识别障碍物靠近/远离终端的动作,并且识别动作的稳健性更好,进而可以更准确、更稳定地根据识别结果控制终端执行相应的动作,实现终端的防误触功能,与此同时,本公开中通过声波发射器向外发射多个频率的超声波信号,相比较于相关技术中发射单一频率的超声波信号进行障碍物动作的识别来说,抗干扰性更强。
另外,考虑到通过超声回波信号的特征信息识别靠近/远离动作的发生的过程中,仅需通过终端固有的发声装置(如喇叭、话筒等)、录音装置(如麦克风)进行信号的发射与接收,超声波发生器、特征提取以及动作识别均是通过软件算法实现,不额外占用设备空间,因此可以节省硬件成本。
图8是根据一示例性实施例示出的一种识别障碍物动作的装置的框图,如图8所示,该装置包括:
特征提取模块801,被配置为针对接收到的每帧超声回波信号,对该帧超声回波信号进行特征提取得到特征信息,所述特征信息包括相位信息;所述超声回波信号为发射的超声波信号的反射信号;
第一确定模块802,被配置为根据所述相位信息确定是否发生目标动作事件,所述目标动作事件包括障碍物靠近终端的第一事件或者所述障碍物远离所述终端的第二事件;
动作执行模块803,被配置为在确定发生所述目标动作事件的情况下,执行预设操作,不同的目标动作事件对应不同的预设操作。
可选地,所述特征提取模块801,被配置为对该帧超声回波信号进行频域变换,得到频域信号;根据所述频域信号的实部和虚部提取该帧超声回波信号对应的所述相位信息。
可选地,所述第一确定模块802,被配置为获取第一预设时间段内接收到的多帧超声回波信号分别对应的所述相位信息;计算第一相位与第二相位的相位之差,所述第一相位包括所述第一预设时间段内的最后一帧超声回波信号对应的所述相位信息,所述第二相位包括所述第一预设时间段内的第一帧超声回波信号对应的所述相位信息;在所述相位之差大于或者等于第一预设阈值的情况下,确定发生所述第一事件;在所述相位之差小于或者等于第二预设阈值的情况下,确定发生所述第二事件。
可选地,所述第一确定模块802,被配置为将预设帧数的所述超声回波信号分别对应的所述相位信息输入预先训练得到的神经网络模型,得到模型输出;根据所述模型输出确定是否发生所述目标动作事件。
可选地,所述特征信息还包括音量信息、频移信息中的至少一种,所述频移信息包括第一频移参数和第二频移参数,所述特征提取模块801,被配置为根据该帧超声回波信号的频谱获取发射波最高频率对应的第一发射波能量以及第一其它信号的第一能量,所述第一其它信号包括频率高于所述发射波最高频率的预设数量的信号;根据所述第一发射波能量和所述第一能量计算得到所述第一频移参数;根据该帧超声回波信号的频谱获取发射波最低频率对应的第二发射波能量以及第二其它信号的第二能量,所述第二其它信号包括频率低于所述发射波最低频率的预设数量的信号;根据所述第二发射波能量和所述第二能量计算得到所述第二频移参数。
可选地,所述第一确定模块802,被配置为根据所述相位信息和预设信息确定是发生所述目标动作事件,所述预设信息包括所述音量信息、所述频移信息中的至少一种。
可选地,所述第一确定模块802,被配置为在确定所述相位信息满足第一预设条件,并且所述预设信息满足第二预设条件的情况下,确定发生所述第一事件;在确定所述相位信息满足第三预设条件,并且所述预设信息满足第四预设条件的情况下,确定发生所述第二事件。
可选地,所述第一确定模块802,被配置为获取第一预设时间段内接收到的多帧超声回波信号分别对应的所述相位信息;计算第一相位与第二相位的相位之差,所述第一相位包括所述第一预设时间段内的最后一帧超声回波信号对应的所述相位信息,所述第二相位包括所述第一预设时间段内的第一帧超声回波信号对应的所述相位信息;在所述相位之差大于或者等于第一预设阈值的情况下,确定所述相位信息满足所述第一预设条件,在所述相位之差小于或者等于第二预设阈值的情况下,确定所述相位信息满足所述第三预设条件。
可选地,所述第二预设条件包括第一音量条件和/或第一频移条件;所述第四预设条件包括第二音量条件和/或第二频移条件;所述第一确定模块802,被配置为在所述音量信息满足所述第一音量条件,和/或所述频移信息满足所述第一频移条件的情况下,确定所述预设信息满足所述第二预设条件;在所述音量信息满足所述第二音量条件,和/或所述频移信息满足所述第二频移条件的情况下,确定所述预设信息满足所述第四预设条件;
其中,在所述音量信息满足预设音量子条件的情况下,根据所述音量信息计算第二预设时间段内所述超声回波信号的音量变化斜率,在所述音量变化斜率为正的情况下,确定所述音量信息满足所述第一音量条件,在所述音量变化斜率为负的情况下,确定所述音量信息满足所述第二音量条件;
或者,
在所述音量信息满足预设音量子条件的情况下,确定所述第二预设时间段内音量曲线上的音量峰值的变化趋势,在所述变化趋势是变大的情况下,确定所述音量信息满足所述第一音量条件,在所述变化趋势是变小的情况下,确定所述音量信息满足所述第二音量条件;
或者,
在所述音量信息满足预设音量子条件的情况下,对所述音量峰值进行一次函数拟合得到拟合函数;在所述拟合函数的斜率为正的情况下,确定所述音量信息满足所述第一音量条件,在所述拟合函数的斜率为负的情况下,确定所述音量信息满足所述第二音量条件;
所述预设音量子条件包括:
音量方差大于或者等于第三预设阈值,所述音量方差为在第二预设时间段内接收的所述超声回波信号的音量信息对应的方差;或者,波峰波谷差之和大于或者等于第四预设阈值,所述波峰波谷差之和为在所述第二预设时间段内接收的所述超声回波信号的音量曲线的波峰波谷差之和;或者,最大音量与最小音量之差大于或者等于第五预设阈值,所述最大音量与最小音量之差为在所述第二预设时间段内接收的所述超声回波信号的最大音量与最小音量之差;
在所述第一频移参数大于或者等于第六预设阈值,并且所述第一频移参数大于或者等于K倍的所述第二频移参数的情况下,确定所述频移信息满足所述第一频移条件,所述K为预设数量;
在所述第二频移参数大于或者等于第七预设阈值,并且所述第二频移参数大于或者等于所述K倍的所述第一频移参数的情况下,确定所述频移信息满足所述第二频移条件。
可选地,所述第一确定模块802,被配置为:将预设帧数的所述超声回波信号对应的所述相位信息、所述预设信息输入预先训练得到的神经网络模型,得到模型输出;根据所述模型输出确定是否发生所述目标动作事件。
可选地,所述动作执行模块803,被配置为:在确定发生所述第一事件的情况下,控制所述终端禁用触摸操作;在确定发生所述第二事件的情况下,控制所述终端开启触摸操作。
可选地,所述动作执行模块803,被配置为:在确定发生所述第一事件的情况下,控制所述终端开启预设功能;在确定发生所述第二事件的情况下,控制所述终端关闭所述预设功能。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
采用上述装置,针对接收到的每帧超声回波信号分别进行特征提取得到相位信息,从而可以根据该相位信息确定是否发生障碍物靠近终端的第一事件或者障碍物远离终端的第二事件,相位信息描述超声回波信号的相位变化,而相位变化仅与距离变化有关,与速度大小以及终端自身的频响无关,并且相位特征敏感性较强,即微小的距离变化即可对应较大的相位特征的变化,因此,基于超声回波信号的相位信息可以更准确地识别障碍物靠近/远离终端的动作,并且识别动作的稳健性更好,进而可以更准确、更稳定地根据识别结果控制终端执行相应的动作,实现终端的防误触功能。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的识别障碍物动作的方法的步骤。
图9是根据一示例性实施例示出的一种用于识别障碍物动作的的装置900的框图,该装置900可以为电子设备,例如,装置900可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图9,装置900可以包括以下一个或多个组件:处理组件902,存储器904,电力组件906,多媒体组件908,音频组件910,输入/输出(I/O)的接口912,传感器组件914,以及通信组件916。
处理组件902通常控制装置900的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令,以完成上述的识别障碍物动作的方法的全部或部分步骤。此外,处理组件902可以包括一个或多个模块,便于处理组件902和其他组件之间的交互。例如,处理组件902可以包括多媒体模块,以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在装置900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件906为装置900的各种组件提供电力。电力组件906可以包括电源管理系统,一个或多个电源,及其他与为装置900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件908包括一个前置摄像头和/或后置摄像头。当装置900处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如,音频组件910包括一个麦克风(MIC),当装置900处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中,音频组件910还包括一个扬声器,用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器,用于为装置900提供各个方面的状态评估。例如,传感器组件914可以检测到装置900的打开/关闭状态,组件的相对定位,例如所述组件为装置900的显示器和小键盘,传感器组件914还可以检测装置900或装置900一个组件的位置改变,用户与装置900接触的存在或不存在,装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件914还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件916还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述识别障碍物动作的方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器904,上述指令可由装置900的处理器920执行以完成上述识别障碍物动作的方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的识别障碍物动作的方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (15)
1.一种识别障碍物动作的方法,其特征在于,包括:
针对接收到的每帧超声回波信号,对该帧超声回波信号进行特征提取得到特征信息,所述特征信息包括相位信息;所述超声回波信号为发射的超声波信号的反射信号;
根据所述相位信息确定是否发生目标动作事件,所述目标动作事件包括障碍物靠近终端的第一事件或者所述障碍物远离所述终端的第二事件;
在确定发生所述目标动作事件的情况下,执行预设操作,不同的目标动作事件对应不同的预设操作。
2.根据权利要求1所述的方法,其特征在于,所述对该帧超声回波信号进行特征提取得到特征信息包括:
对该帧超声回波信号进行频域变换,得到频域信号;
根据所述频域信号的实部和虚部提取该帧超声回波信号对应的所述相位信息。
3.根据权利要求1所述的方法,其特征在于,所述根据所述相位信息确定是否发生目标动作事件包括:
获取第一预设时间段内接收到的多帧超声回波信号分别对应的所述相位信息;
计算第一相位与第二相位的相位之差,所述第一相位包括所述第一预设时间段内的最后一帧超声回波信号对应的所述相位信息,所述第二相位包括所述第一预设时间段内的第一帧超声回波信号对应的所述相位信息;
在所述相位之差大于或者等于第一预设阈值的情况下,确定发生所述第一事件;
在所述相位之差小于或者等于第二预设阈值的情况下,确定发生所述第二事件。
4.根据权利要求1所述的方法,其特征在于,所述根据所述相位信息确定是否发生目标动作事件包括:
将预设帧数的所述超声回波信号分别对应的所述相位信息输入预先训练得到的神经网络模型,得到模型输出;
根据所述模型输出确定是否发生所述目标动作事件。
5.根据权利要求1所述的方法,其特征在于,所述特征信息还包括音量信息、频移信息中的至少一种,所述频移信息包括第一频移参数和第二频移参数,所述对该帧超声回波信号进行特征提取得到特征信息包括:
根据该帧超声回波信号的频谱获取发射波最高频率对应的第一发射波能量以及第一其它信号的第一能量,所述第一其它信号包括频率高于所述发射波最高频率的预设数量的信号;根据所述第一发射波能量和所述第一能量计算得到所述第一频移参数;
根据该帧超声回波信号的频谱获取发射波最低频率对应的第二发射波能量以及第二其它信号的第二能量,所述第二其它信号包括频率低于所述发射波最低频率的预设数量的信号;根据所述第二发射波能量和所述第二能量计算得到所述第二频移参数。
6.根据权利要求5所述的方法,其特征在于,所述根据所述相位信息确定是否发生目标动作事件包括:
根据所述相位信息和预设信息确定是发生所述目标动作事件,所述预设信息包括所述音量信息、所述频移信息中的至少一种。
7.根据权利要求6所述的方法,其特征在于,所述根据所述相位信息和预设信息确定是发生所述目标动作事件包括:
在确定所述相位信息满足第一预设条件,并且所述预设信息满足第二预设条件的情况下,确定发生所述第一事件;
在确定所述相位信息满足第三预设条件,并且所述预设信息满足第四预设条件的情况下,确定发生所述第二事件。
8.根据权利要求7所述的方法,其特征在于,所述方法包括:
获取第一预设时间段内接收到的多帧超声回波信号分别对应的所述相位信息;
计算第一相位与第二相位的相位之差,所述第一相位包括所述第一预设时间段内的最后一帧超声回波信号对应的所述相位信息,所述第二相位包括所述第一预设时间段内的第一帧超声回波信号对应的所述相位信息;
在所述相位之差大于或者等于第一预设阈值的情况下,确定所述相位信息满足所述第一预设条件,在所述相位之差小于或者等于第二预设阈值的情况下,确定所述相位信息满足所述第三预设条件。
9.根据权利要求7所述的方法,其特征在于,所述第二预设条件包括第一音量条件和/或第一频移条件;所述第四预设条件包括第二音量条件和/或第二频移条件;所述方法包括:
在所述音量信息满足所述第一音量条件,和/或所述频移信息满足所述第一频移条件的情况下,确定所述预设信息满足所述第二预设条件;
在所述音量信息满足所述第二音量条件,和/或所述频移信息满足所述第二频移条件的情况下,确定所述预设信息满足所述第四预设条件;
其中,确定所述音量信息是否满足所述第一音量条件或者所述第二音量条件包括:
在所述音量信息满足预设音量子条件的情况下,根据所述音量信息计算第二预设时间段内所述超声回波信号的音量变化斜率,在所述音量变化斜率为正的情况下,确定所述音量信息满足所述第一音量条件,在所述音量变化斜率为负的情况下,确定所述音量信息满足所述第二音量条件;
或者,
在所述音量信息满足预设音量子条件的情况下,确定所述第二预设时间段内音量曲线上的音量峰值的变化趋势,在所述变化趋势是变大的情况下,确定所述音量信息满足所述第一音量条件,在所述变化趋势是变小的情况下,确定所述音量信息满足所述第二音量条件;
或者,
在所述音量信息满足预设音量子条件的情况下,对所述音量峰值进行一次函数拟合得到拟合函数;在所述拟合函数的斜率为正的情况下,确定所述音量信息满足所述第一音量条件,在所述拟合函数的斜率为负的情况下,确定所述音量信息满足所述第二音量条件;
其中,所述预设音量子条件包括:
音量方差大于或者等于第三预设阈值,所述音量方差为在第二预设时间段内接收的所述超声回波信号的音量信息对应的方差;或者,波峰波谷差之和大于或者等于第四预设阈值,所述波峰波谷差之和为在所述第二预设时间段内接收的所述超声回波信号的音量曲线的波峰波谷差之和;或者,最大音量与最小音量之差大于或者等于第五预设阈值,所述最大音量与最小音量之差为在所述第二预设时间段内接收的所述超声回波信号的最大音量与最小音量之差;
其中,确定所述频移信息是否满足所述第一频移条件或者所述第二频移条件包括:
在所述第一频移参数大于或者等于第六预设阈值,并且所述第一频移参数大于或者等于K倍的所述第二频移参数的情况下,确定所述频移信息满足所述第一频移条件,所述K为预设数量;
在所述第二频移参数大于或者等于第七预设阈值,并且所述第二频移参数大于或者等于所述K倍的所述第一频移参数的情况下,确定所述频移信息满足所述第二频移条件。
10.根据权利要求6所述的方法,其特征在于,所述根据所述相位信息和预设信息确定是发生所述目标动作事件包括:
将预设帧数的所述超声回波信号对应的所述相位信息、所述预设信息输入预先训练得到的神经网络模型,得到模型输出;
根据所述模型输出确定是否发生所述目标动作事件。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述在确定发生所述目标动作事件的情况下,执行预设操作包括:
在确定发生所述第一事件的情况下,控制所述终端禁用触摸操作;
在确定发生所述第二事件的情况下,控制所述终端开启触摸操作。
12.根据权利要求1-10任一项所述的方法,其特征在于,所述在确定发生所述目标动作事件的情况下,执行预设操作包括:
在确定发生所述第一事件的情况下,控制所述终端开启预设功能;
在确定发生所述第二事件的情况下,控制所述终端关闭所述预设功能。
13.一种识别障碍物动作的装置,其特征在于,包括:
特征提取模块,被配置为针对接收到的每帧超声回波信号,对该帧超声回波信号进行特征提取得到特征信息,所述特征信息包括相位信息;所述超声回波信号为发射的超声波信号的反射信号;
第一确定模块,被配置为根据所述相位信息确定是否发生目标动作事件,所述目标动作事件包括障碍物靠近终端的第一事件或者所述障碍物远离所述终端的第二事件;
动作执行模块,被配置为在确定发生所述目标动作事件的情况下,执行预设操作,不同的目标动作事件对应不同的预设操作。
14.一种识别障碍物动作的装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:针对接收到的每帧超声回波信号,对该帧超声回波信号进行特征提取得到特征信息,所述特征信息包括相位信息;所述超声回波信号为发射的超声波信号的反射信号;
根据所述相位信息确定是否发生目标动作事件,所述目标动作事件包括障碍物靠近终端的第一事件或者所述障碍物远离所述终端的第二事件;
在确定发生所述目标动作事件的情况下,执行预设操作,不同的目标动作事件对应不同的预设操作。
15.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1~12中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210346567.9A CN116930978A (zh) | 2022-03-31 | 2022-03-31 | 识别障碍物动作的方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210346567.9A CN116930978A (zh) | 2022-03-31 | 2022-03-31 | 识别障碍物动作的方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116930978A true CN116930978A (zh) | 2023-10-24 |
Family
ID=88376076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210346567.9A Pending CN116930978A (zh) | 2022-03-31 | 2022-03-31 | 识别障碍物动作的方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116930978A (zh) |
-
2022
- 2022-03-31 CN CN202210346567.9A patent/CN116930978A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10205817B2 (en) | Method, device and storage medium for controlling screen state | |
RU2669530C2 (ru) | Способ и устройство для запуска исполнения инструкции работы | |
JP6964666B2 (ja) | マルチビーム選定方法及び装置 | |
CN108845324B (zh) | 障碍物识别方法、装置、设备及存储介质 | |
EP3779968A1 (en) | Audio processing | |
CN109031315B (zh) | 距离测量方法、装置、设备及存储介质 | |
CN111009239A (zh) | 回声消除方法、回声消除装置及电子设备 | |
CN112489653B (zh) | 语音识别的方法、装置及存储介质 | |
US11828843B2 (en) | Method and apparatus for event detection, electronic device, and storage medium | |
CN116930978A (zh) | 识别障碍物动作的方法、装置及存储介质 | |
CN111629104B (zh) | 距离判断方法、距离判断装置及计算机存储介质 | |
CN112532789B (zh) | 铃音处理方法及装置、终端、存储介质 | |
CN112965639A (zh) | 手势识别方法及装置、电子设备、存储介质 | |
CN113395389B (zh) | 一种防止屏幕误触的方法、装置及存储介质 | |
CN111353427A (zh) | 一种指纹解锁信号处理方法、装置及介质 | |
CN110632600B (zh) | 环境识别方法和装置 | |
CN113225431A (zh) | 显示屏的控制方法、装置及存储介质 | |
CN112752191A (zh) | 音频采集方法、装置及存储介质 | |
CN113450537B (zh) | 跌倒检测方法、装置、电子设备和存储介质 | |
CN110047494B (zh) | 设备响应方法、设备及存储介质 | |
CN113450521B (zh) | 入侵者的监测方法、装置、电子设备和存储介质 | |
CN112860070A (zh) | 设备交互方法、设备交互装置、存储介质及终端 | |
CN116543793A (zh) | 啸叫语音信号的检测方法、装置、电子设备和存储介质 | |
CN118259362A (zh) | 人体检测方法、装置、电子设备及存储介质 | |
CN112883849A (zh) | 识别手势的方法、装置、存储介质及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |