CN118277773A - 手势识别方法、装置、存储介质及电子设备 - Google Patents
手势识别方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN118277773A CN118277773A CN202410679704.XA CN202410679704A CN118277773A CN 118277773 A CN118277773 A CN 118277773A CN 202410679704 A CN202410679704 A CN 202410679704A CN 118277773 A CN118277773 A CN 118277773A
- Authority
- CN
- China
- Prior art keywords
- radar
- gesture
- target
- speed
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000009471 action Effects 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims description 41
- 230000035772 mutation Effects 0.000 claims description 39
- 230000001133 acceleration Effects 0.000 claims description 26
- 230000003068 static effect Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000013517 stratification Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请公开了一种手势识别方法、装置、存储介质及电子设备,其中,该手势识别方法包括当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号;根据雷达的类型对回波信号进行分层处理;基于分层处理结果进行特征提取,得到目标的速度特征;根据速度特征对目标的存在进行非稳定性检测;当检测结果符合预设条件时,确定存在手势挥动动作。本方案可以提高识别手势挥动动作的准确性。
Description
技术领域
本申请涉及信息技术领域,具体涉及一种手势识别方法、装置、存储介质及电子设备。
背景技术
近年来,随着智能家居和可穿戴设备的迅速发展,有必要提供一种非接触式、自然且使用户尽可能减少对输入设备的依赖的交互方式,如隔空手势。隔空手势通过用户自然的利用手指、手腕等表达其交互意图,具有广阔的交互空间、更高的灵活性及更好的交互体验等优点,在人机交互领域得到了越来越广泛的应用。其中,基于雷达传感器的非接触式手势识别由于具有低功耗、无光照依赖和低隐私泄露风险等优势,在智能家居等领域具有广阔的应用前景。
然而,在实际应用时,利用雷达传感器进行手势识别时,仍面临误触发等鲁棒性问题,如人体靠近雷达快速经过或跑过等,易被识别为手势挥动,恶化应用体验。
发明内容
本申请实施例提供了一种手势识别方法、装置、存储介质及电子设备,可以提高识别手势挥动动作的准确性。
第一方面,本申请实施例提供了一种手势识别方法,包括:
当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号;
根据所述雷达的类型对所述回波信号进行分层处理;
基于分层处理结果进行特征提取,得到所述目标的速度特征;
根据所述速度特征对所述目标的存在进行非稳定性检测;
当检测结果符合预设条件时,确定存在手势挥动动作。
在本申请实施例提供的手势识别方法中,所述根据所述雷达的类型对所述回波信号进行分层处理,包括:
当所述雷达为多普勒雷达时,对所述回波信号进行静态分量过滤后执行STFT处理;
当所述雷达为FMCW雷达或步进频率雷达时,对所述回波信号进行静态分量过滤后执行距离维离散傅里叶变换,再对位于预设距离范围内的所有距离仓分别进行STFT处理。
在本申请实施例提供的手势识别方法中,所述基于分层处理结果进行特征提取,得到所述目标的速度特征,包括:
获取每个STFT分段窗口下所有STFT输出结果的能量峰值;
将能量峰值所对应的速度按照STFT分段窗口的先后顺序组成速度数据流;
对所述速度数据流进行一维中值滤波后执行斜率滤波,得到加速度值数据流。
在本申请实施例提供的手势识别方法中,所述根据所述速度特征对所述目标的存在进行非稳定性检测,包括:
统计所述加速度值数据流中的加速度值在当前时间窗口内超过预设加速度门限的第一累积次数;
当所述第一累积次数大于或等于第一预设次数时,确定在所述当前时间窗口内检测到非稳定存在的动作目标;
当所述第一累积次数小于所述第一预设次数时,确定在所述当前时间窗口内未检测到非稳定存在的动作目标。
在本申请实施例提供的手势识别方法中,所述根据所述雷达的类型对所述回波信号进行分层处理,包括:
当所述雷达为多普勒雷达时,对所述回波信号进行静态分量过滤后分别执行高通滤波和低通滤波,生成一个高速数据流和一个低速数据流;
当雷达为FMCW雷达或步进频率雷达时,对所述回波信号进行静态分量过滤后执行距离维离散傅里叶变换,再对位于预设距离范围内的所有距离仓分别进行高通滤波和低通滤波,生成附加距离信息的若干高速数据流和若干低速数据流。
在本申请实施例提供的手势识别方法中,所述基于分层处理结果进行特征提取,得到所述目标的速度特征,包括:
分别对所述高速数据流和所述低速数据流进行能量突变系数计算,得到第一能量突变系数数据流和第二能量突变系数数据流。
在本申请实施例提供的手势识别方法中,所述根据所述速度特征对所述目标的存在进行非稳定性检测,包括:
统计所述第一能量突变系数数据流或所述第二能量突变系数数据流中的能量突变系数在当前时间窗口内超过预设突变门限的第二累积次数;
当所述第二累积次数大于或等于第二预设次数时,确定在所述当前时间窗口内检测到非稳定存在的动作目标;
当所述第二累积次数小于所述第二预设次数时,确定在所述当前时间窗口内未检测到非稳定存在的动作目标。
第二方面,本申请实施例提供了一种手势识别装置,包括:
发射单元,用于当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号;
分层单元,用于根据所述雷达的类型对所述回波信号进行分层处理;
提取单元,用于基于分层处理结果进行特征提取,得到所述目标的速度特征;
检测单元,用于根据所述速度特征对所述目标的存在进行非稳定性检测;
识别单元,用于当检测结果符合预设条件时,确定存在手势挥动动作。
第三方面,本申请提供了一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行上述任一项所述的手势识别方法。
第四方面,本申请提供了一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现上述任一项所述的手势识别方法。
综上所述,本申请实施例提供的手势识别方法采用当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号;根据所述雷达的类型对所述回波信号进行分层处理;基于分层处理结果进行特征提取,得到所述目标的速度特征;根据所述速度特征对所述目标的存在进行非稳定性检测;当检测结果符合预设条件时,确定存在手势挥动动作。本方案可以通过对目标的存在进行非稳定性检测,剔除人体走动和跑动等干扰动作,有效识别手势挥动动作,从而提高识别手势挥动动作的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的手势识别方法的应用场景图。
图2是本申请实施例提供的手势识别方法的流程示意图。
图3是本申请实施例提供的手势识别装置的结构示意图。
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以混合地使用。
在本申请的描述中,需要说明的是,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,“第一”、“第二”等术语仅用于描述目的,而不能理解为指示或暗示相对重要性。
基于雷达传感器的非接触式手势识别由于具有低功耗、无光照依赖和低隐私泄露风险等优势,在智能家居等领域具有广阔的应用前景。
然而,在实际应用时,利用雷达传感器进行手势识别时,仍面临误触发等鲁棒性问题,如人体靠近雷达快速经过或跑过等,易被识别为手势挥动,恶化应用体验。
基于此,本申请实施例提供了一种手势识别方法、装置、存储介质及电子设备,具体的,该手势识别装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备;其中,该终端可以包括手机、穿戴式智能设备、平板电脑、笔记本电脑、以及个人计算机(Personal Computer,PC)等;该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
比如,请参阅图1,图1是本申请实施例提供的手势识别方法的应用场景图。在该应用场景中,可以包括电子设备1000和目标2000。需要说明的是,雷达可以集成在该电子设备1000中。
在具体实施过程中,电子设备1000可以通过雷达对手势监测范围进行监测,当手势监测范围内存在目标2000时,可以控制雷达以第一预设帧率发射信号,并接收回波信号;再由电子设备1000根据雷达的类型对回波信号进行分层处理;然后,电子设备1000可以基于分层处理结果进行特征提取,得到目标2000的速度特征;之后,由电子设备1000根据速度特征对目标2000的存在进行非稳定性检测;最后,当电子设备1000确定检测结果符合预设条件时,可以确定存在手势挥动动作。
以下将通过具体实施例分别对本申请所示的技术方案进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
请参阅图2,图2是本申请实施例提供的手势识别方法的流程示意图。该手势识别方法的具体流程可以如下:
101、当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号。
具体的,可以通过雷达以第二预设帧率发射信号,然后接收回波信号,从而根据该回波信号确定手势监测范围内是否存在目标。
在具体实施过程中,手势监测范围可以根据实际情况进行设定,本申请实施例不对其进行限定。需要说明的是,雷达的类型不同,根据该回波信号确定手势监测范围内是否存在目标的具体实施方式也不同。
比如,若雷达为多普勒雷达,则可以通过雷达对回波信号的采样数据在慢时间维度进行静态分量过滤,然后再对静态分量过滤后的信号在慢时间维度执行N点快速傅里叶变换 (Fast Fourier Transform,FFT)得到速度谱,以在速度谱中执行目标检测。若在速度谱中的预设速度范围内检测到超过预设能量阈值的目标,则判断手势监测的距离范围内存在目标。反之,则判断手势监测的距离范围内不存在目标。
再比如,若雷达为调频连续波(Frequency Modulated Continuous Wave,FMCW)雷达或步进频率雷达,则通过雷达对接收到的回波信号进行接收采样后,得到M个不同频点的回波信号。然后,对M个不同频点的回波信号分别在慢时间维度进行静态分量过滤后,执行距离维FFT,得到距离谱,以在距离谱中执行目标检测。若在距离谱中的预设距离范围内检测到目标,则判断手势监测的距离范围内存在目标。反之,则判断手势监测的距离范围内不存在目标。
在具体实施过程中,预设速度范围和预设距离范围可以根据实际情况进行设定,本申请实施例不对其进行限定。
在一些实施例中,当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号。当手势监测范围内不存在目标时,则控制雷达以第二预设帧率发射信号,以对该手势监测范围是否存在目标进行实时监测。
需要说明的是,雷达以第一预设帧率发射的信号为高帧率周期性发射信号,雷达以第二预设帧率发射的信号为低帧率周期性发射信号。可以理解的是,第二预设帧率用于对该手势监测范围是否存在目标进行实时监测,因此第二预设帧率只需要可以达到监测的目的即可,无需过高,以便节省功耗。而第一预设帧率用于在检测到目标后对可能出现的手势动作进行识别,因此需要更高的帧率以获取更精确的数据。
在一些实施例中,第二预设帧率可以设置为1~20Hz。而第一预设帧率可以结合雷达的工作频段和支持的手势挥动最大速度进行设计,比如,若支持的手势挥动最大速度选择为2m/s,则在60GHz频段,第一预设帧率可以设定为大于1600Hz。
102、根据雷达的类型对回波信号进行分层处理。
其中,分层处理指的是速度分层。在具体实施过程中,为了提取目标的速度特征并降低非手势挥动动作产生的干扰,需要对回波信号进行速度分层。速度分层是指将回波信号按照不同的速度变化进行划分,以便更好地识别手势挥动动作。
在一实施例中,可以基于雷达的类型通过短时离散傅里叶变换(Short-TimeFourier Transform,STFT)在慢时间维度对回波信号进行分层。
比如,当雷达为多普勒雷达时,对回波信号进行静态分量过滤后执行STFT处理。
具体的,可以对回波信号的采样数据在慢时间维度进行高通滤波,以滤除静态分量信号。然后,在滤波后的数据流上执行时间分段操作,即每隔个数据,划分一个包含连续Q个数据的分段窗口,其中取值为1、、、或,为四舍五入运算。之后,再对每个分段窗口内的数据执行点离散傅里叶变换,其中不小于。也可以先在慢时间维度对回波信号的采样数据进行类似上述方案的时间窗口分段操作,每个分段窗口内的数据减去其算术平均值后,再执行点离散傅里叶变换。
再比如,当雷达为雷达为FMCW雷达或步进频率雷达时,可以对回波信号进行静态分量过滤后执行距离维离散傅里叶变换,再对位于预设距离范围内的所有距离仓分别进行STFT处理。
具体的,可以对接收到的回波信号进行接收采样后,得到M个不同频点的回波采样信号,然后在慢时间维度上分别对M个不同频点的回波采样信号进行静态分量过滤后再执行距离维离散傅里叶变换,再对位于预设距离范围内的所有距离仓分别进行STFT处理。比如,设位于预设距离范围内共有K个距离仓(又称为距离门或距离bin),此时对每个位于预设距离范围内的距离仓分别进行STFT处理具体可以为:在慢时间维度对第k个距离仓执行类似上述时间分段操作,之后,再对每个分段窗口内的数据执行点离散傅里叶变换,其中不小于。需要说明的是,所有距离仓的分段窗口在时间上是对齐的,其中,k = 1,2,3,...,K。
其中,STFT通过对回波信号进行时间-频率分析,能够将回波信号分解成不同频率的成分,并展示这些成分随时间的变化趋势。具体而言,STFT通过在回波信号上应用一个滑动窗口,计算每个窗口内信号的傅里叶变换,从而得到一系列频率-时间矩阵。这些矩阵可以反映回波信号在不同时间点的频率分布。利用STFT进行速度分层,可以精确地提取出手势挥动动作产生的速度特征,并减少非手势挥动动作产生的干扰。这样,在手势识别过程中,能够更加专注于识别手势动作本身,提高手势挥动动作识别的准确性和鲁棒性。
在另一实施例中,可以基于雷达的类型通过滤波的方式在慢时间维度分为2个较为粗糙的速度分层,从而降低运算复杂度。
比如,当雷达为多普勒雷达时,对回波信号进行静态分量过滤后分别执行高通滤波和的低通滤波,生成一个高速数据流和一个低速数据流。
再比如,当雷达为FMCW雷达或步进频率雷达时,对回波信号进行静态分量过滤后执行距离维离散傅里叶变换,再对位于预设距离范围内的所有距离仓分别进行高通滤波和低通滤波,生成附加距离信息的若干高速数据流和若干低速数据流。可以理解的是,高速数据流和低速数据流的数量相同,均为预设距离范围内的距离仓的个数。比如,高速数据流和低速数据流的数量可以为K,K为大于2的整数。
其中,高通滤波器的截止频率需要结合雷达工作频段和支持的手势挥动动作的最小速度进行设计,如在60GHz频段截止频率的典型值应大于400Hz,滤波器阶数为2阶或4阶IIR高通滤波器,低通滤波器截止频率需要结合雷达工作频段和支持的人体微动和慢动最大速度进行设计,如在60GHz频段截止频率典型值可以设置为小于400Hz,滤波器阶数为2阶或4阶IIR高通滤波器。需要说明的是,本申请实施例不对滤波器的具体截止频率做限制。
103、基于分层处理结果进行特征提取,得到目标的速度特征。
在一实施例中,在采用STFT在慢时间维度对回波信号进行速度分层时,可以通过计算加速度值来表征速度特征。具体的,可以获取每个STFT分段窗口下所有STFT输出结果的能量峰值;将能量峰值所对应的速度按照STFT分段窗口的先后顺序组成速度数据流;对速度数据流进行一维中值滤波后执行斜率滤波(slope filtering),得到加速度值数据流。
其中,执行斜率滤波的斜率滤波器的传递函数可以为或,、、和为常数,。当在给定N值时,采用上述的斜率滤波器,具有最优的线性回归拟合特性,尤其适用于从受噪声扰动下的速度值中提取斜率(加速度值),N值可以选择为3、4、5、6、7, 常数和是量纲转换常数,中值滤波可以将突变的速度异常值剔除,降低各种干扰和噪声的影响。
在另一实施例中,在采用滤波的方式在慢时间维度对回波信号进行速度分层时,可以采用能量突变系数来表征速度特征。可以理解的是,当近距离目标快速移动时,回波信号的能量具有明显的剧烈波动特征,尤其是从近距离雷达视场角(Field Of View,FOV)范围外快速进入FOV范围内时,因此可以利用能量突变现象来表征速度特征。也即,可以通过计算能量突变系数来表征速度特征。具体的,可以分别对高速数据流和低速数据流进行能量突变系数计算,得到第一能量突变系数数据流和第二能量突变系数数据流。比如,当雷达为多普勒雷达时,进行能量突变系数计算后,共得到一个第一能量突变系数数据流和一个第二能量突变系数数据流。再比如,当雷达为FMCW雷达或步进频率雷达时,进行能量突变系数计算后,得到K个第一能量突变系数数据流和K个第二能量突变系数数据流。
能量突变系数指一个数据流的能量与前一时刻的能量的比值,反映能量变化快慢,间接反映手势挥动速度,为了降低噪声和干扰的影响,计算能量突变系数时需要进行必要的滤波平滑操作。
在一些实施例中,可以计算数据流(高速数据流或低速数据流)中每个元素的能量,并对能量值进行低通滤波降噪,计算低通滤波输出结果的对数,并对得到的对数值进行斜率滤波,从而得到第一能量突变系数数据流或第二能量突变系数数据流。其中,低通滤波器的传递函数可以为,斜率滤波器的传递函数可以为或,、、、、和为常数,。
104、根据速度特征对目标的存在进行非稳定性检测。
在雷达近距离处的手势挥动动作,其径向加速度值与手势挥动动作的速度的平方成正比,与到雷达的距离成反比,最高可以达到数倍的重力加速度值,这是在日常生活中距离雷达较远位置处,人体难以做出的动作特征,手势挥动动作是一种具有高加速特性的非稳定存在的动作,
具体的,当采用加速度值表征速度特征时,可以统计加速度值数据流中的加速度值在当前时间窗口内超过预设加速度门限的第一累积次数;当第一累积次数大于或等于第一预设次数时,确定在当前时间窗口内检测到非稳定存在的动作目标;当第一累积次数小于第一预设次数时,确定在当前时间窗口内未检测到非稳定存在的动作目标。
利用加速度值来识别手势挥动,尤其是近距离的手势挥动,比直接用速度值来识别手势挥动在抗误触方面更具有优势:同样的目标挥动速度,在距离雷达较远时产生的径向加速度值低于在距离雷达较近时产生的径向加速度值,潜在地进行了一次距离过滤,排除了离雷达较远位置处的各种误触发动作,如人体走动、跑动等。尤其对于无直接距离解析能力的多普勒雷达,具有改善手势识别能力排除误触的显著效果。
在雷达近距离处的手势挥动动作,其回波信号的能量具有明显的剧烈波动特征,尤其是从近距离的雷达FOV范围外快速进入FOV范围内时,因此可以利用能量突变现象来检测手势挥动。
具体的,可以统计第一能量突变系数数据流或第二能量突变系数数据流中的能量突变系数在当前时间窗口内超过预设突变门限的第二累积次数;当第二累积次数大于或等于第二预设次数时,确定在当前时间窗口内检测到非稳定存在的动作目标;当第二累积次数小于第二预设次数时,确定在当前时间窗口内未检测到非稳定存在的动作目标。
需要说明的是,非稳定存在的动作目标即为潜在的手势挥动动作。
105、当检测结果符合预设条件时,确定存在手势挥动动作。
从雷达近距离处快速经过或跑过的人体目标,在加速度值表征的速度特征或能量突变系数表征的速度特征方面,与手势挥动动作具有高度的相似性,为了进一步提升抗误触检测能力,排除从雷达近距离处快速经过或跑过的人体目标,需要在一段连续的时间间隔中检测手势挥动动作。检测结果是否符合预设条件具体可以如下:
比如,可以设时间窗口T0、T1和T2组成连续的时间间隔T,分别在T0、T1和T2对目标的存在进行非稳定性检测。若在T0和T2中检测到不存在非稳定存在的动作目标,且在T1内检测到非稳定存在的动作目标,则判断在T中检测到一次手势挥动。其中,T2的起始时间不早于T1,T1的起始时间不早于T0,T0的结束时间不晚于T1的结束时间,T1的结束时间不晚于T2。T0、T1和T2的值的设定可以根据实际部署的雷达的手势挥动动作检测范围、雷达帧率及雷达的FOV特性预先设定好,本申请实施例不对其进行限定。
在一些实施例中,当雷达为普勒雷达时,可以在时间窗口T0和T2中,选择由低速数据流得出的第二能量突变数据流对目标的存在进行非稳定性判断,在时间窗口T1选择加速度数据流或由高速数据流得出的第一能量突变数据流对目标的存在进行非稳定性判断,若在时间窗口T0和T2中不存在非稳定存在的动作目标,且在时间窗口T1内检测到非稳定存在的动作目标,则判断在T中检测到一次手势挥动动作。
在另一实施例中,当雷达为FMCW雷达或步进频率雷达时,可以在时间窗口T0和T2中选择所有的由低速数据流得出的第二能量突变数据流对目标的存在进行非稳定性判断,在时间窗口T1选择加速度数据流或由高速数据流得出的第一能量突变数据流对目标的存在进行非稳定性判断。若在时间窗口T0和T2中所有参与检测的第二能量突变数据流中都不存在非稳定存在的动作目标,且在时间窗口T1内检测到非稳定存在的动作目标,则判断在T中检测到一次手势挥动动作。
此外,当雷达为FMCW雷达或步进频率雷达时,还可以附加距离筛选条件进行基于利用K个高速数据流生成的K个第一能量突变系数数据流和K个低速数据流生成的K个第二能量突变系数数据流进行手势挥动动作联合判断,进一步提升检测手势挥动动作的准确性。
具体的,可以设在时间窗口T0和T2中参与检测的第二能量突变数据流是距离仓编号为x的低速数据流生成的,在时间窗口T1参与检测的第一能量突变数据流是距离仓编号为y的高速数据流生成的,且x>y。其中,满足以上距离远近组合关系的能量突变数据流组合共有G组,每个能量突变数据流组合均按照上述手势挥动动作的检测策略对目标的存在进行非稳定性判断。若在同一个连续的时间间隔T内,在超过Cb种能量突变数据流组合中发现手势挥动动作,则判定为检测到手势挥动。其中,Cb与雷达的距离分辨率、预设的手势响应距离有关,通常可以设定Cb的值大于3。
综上所述,本申请实施例提供的手势识别方法采用当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号;根据雷达的类型对回波信号进行分层处理;基于分层处理结果进行特征提取,得到目标的速度特征;根据速度特征对目标的存在进行非稳定性检测;当检测结果符合预设条件时,确定存在手势挥动动作。本方案可以通过对目标的存在进行非稳定性检测,剔除人体走动和跑动等干扰动作,有效识别手势挥动动作,从而提高识别手势挥动动作的准确性。并且,本方案不依赖模型训练数据集和复杂的机器学习推理运算,适于轻量化部署应用。
为便于更好的实施本申请实施例提供的手势识别方法,本申请实施例还提供了一种手势识别装置。其中名词的含义与上述手势识别方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图3,图3是本申请实施例提供的手势识别装置的结构示意图。该手势识别装置可以包括发射单元201、分层单元202、提取单元203、检测单元204和识别单元205。其中,
发射单元201,用于当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号;
分层单元202,用于根据雷达的类型对回波信号进行分层处理;
提取单元203,用于基于分层处理结果进行特征提取,得到目标的速度特征;
检测单元204,用于根据速度特征对目标的存在进行非稳定性检测;
识别单元205,用于当检测结果符合预设条件时,确定存在手势挥动动作。
以上各个单元的具体实施方式可参见上述的手势识别方法的实施例,在此不再一一赘述。
综上,本申请实施例提供的手势识别装置可以采用当手势监测范围内存在目标时,通过发射单元201控制雷达以第一预设帧率发射信号,并接收回波信号;由分层单元202根据雷达的类型对回波信号进行分层处理;由提取单元203基于分层处理结果进行特征提取,得到目标的速度特征;由检测单元204根据速度特征对目标的存在进行非稳定性检测;当检测结果符合预设条件时,由识别单元205确定存在手势挥动动作。本方案可以通过对目标的存在进行非稳定性检测,剔除人体走动和跑动等干扰动作,有效识别手势挥动动作,从而提高识别手势挥动动作的准确性。并且,本方案不依赖模型训练数据集和复杂的机器学习推理运算,适于轻量化部署应用。
本申请实施例还提供一种电子设备,其中可以集成有本申请实施例的手势识别装置,如图4所示,其示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括射频(Radio Frequency,RF)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(Wireless Fidelity,WiFi)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路601可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器608处理;另外,将涉及上行的数据发送给基站。通常,RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(Subscriber Identity Module,SIM)卡、收发信机、耦合器、低噪声放大器(LowNoise Amplifier,LNA)、双工器等。此外,RF电路601还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobile communication,GSM)、通用分组无线服务(General PacketRadio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器602可用于存储软件程序以及模块,处理器608通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及信息处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元603可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器608,并能接收处理器608发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元603还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板,可选的,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器608以确定触摸事件的类型,随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图4中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
电子设备还可包括至少一种传感器605,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在电子设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等; 至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路606、扬声器,传声器可提供用户与电子设备之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路606接收后转换为音频数据,再将音频数据输出处理器608处理后,经RF电路601以发送给比如另一电子设备,或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔,以提供外设耳机与电子设备的通信。
WiFi属于短距离无线传输技术,电子设备通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图4,示出了WiFi模块607,但是可以理解的是,其并不属于电子设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是电子设备的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行电子设备的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器608可包括一个或多个处理核心;优选的,处理器608可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器608中。
电子设备还包括给各个部件供电的电源609(比如电池),优选的,电源可以通过电源管理系统与处理器608逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备中的处理器608会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器608来运行存储在存储器602中的应用程序,从而实现各种功能,比如:
当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号;
根据雷达的类型对回波信号进行分层处理;
基于分层处理结果进行特征提取,得到目标的速度特征;
根据速度特征对目标的存在进行非稳定性检测;
当检测结果符合预设条件时,确定存在手势挥动动作。
综上所述,本申请实施例提供的电子设备可以采用当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号;根据雷达的类型对回波信号进行分层处理;基于分层处理结果进行特征提取,得到目标的速度特征;根据速度特征对目标的存在进行非稳定性检测;当检测结果符合预设条件时,确定存在手势挥动动作。本方案可以提高识别手势挥动动作的准确性。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对手势识别方法的详细描述,此处不再赘述。
需要说明的是,对本申请实施例中的手势识别方法而言,本领域技术人员可以理解实现本申请实施例中的手势识别方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如手势识别方法的实施例的流程。
对本申请实施例的手势识别装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,还可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种手势识别方法中的步骤。其中,该存储介质可以为磁碟、光盘、只读存储器(Read Only MeMory,ROM)、随机存取记忆体(RandomAccess Memory,RAM)等。
以上分别对本申请所提供的手势识别方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种手势识别方法,其特征在于,包括:
当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号;
根据所述雷达的类型对所述回波信号进行分层处理;
基于分层处理结果进行特征提取,得到所述目标的速度特征;
根据所述速度特征对所述目标的存在进行非稳定性检测;
当检测结果符合预设条件时,确定存在手势挥动动作。
2.如权利要求1所述的手势识别方法,其特征在于,所述根据所述雷达的类型对所述回波信号进行分层处理,包括:
当所述雷达为多普勒雷达时,对所述回波信号进行静态分量过滤后执行STFT处理;
当所述雷达为FMCW雷达或步进频率雷达时,对所述回波信号进行静态分量过滤后执行距离维离散傅里叶变换,再对位于预设距离范围内的所有距离仓分别进行STFT处理。
3.如权利要求2所述的手势识别方法,其特征在于,所述基于分层处理结果进行特征提取,得到所述目标的速度特征,包括:
获取每个STFT分段窗口下所有STFT输出结果的能量峰值;
将能量峰值所对应的速度按照STFT分段窗口的先后顺序组成速度数据流;
对所述速度数据流进行一维中值滤波后执行斜率滤波,得到加速度值数据流。
4.如权利要求3所述的手势识别方法,其特征在于,所述根据所述速度特征对所述目标的存在进行非稳定性检测,包括:
统计所述加速度值数据流中的加速度值在当前时间窗口内超过预设加速度门限的第一累积次数;
当所述第一累积次数大于或等于第一预设次数时,确定在所述当前时间窗口内检测到非稳定存在的动作目标;
当所述第一累积次数小于所述第一预设次数时,确定在所述当前时间窗口内未检测到非稳定存在的动作目标。
5.如权利要求1所述的手势识别方法,其特征在于,所述根据所述雷达的类型对所述回波信号进行分层处理,包括:
当所述雷达为多普勒雷达时,对所述回波信号进行静态分量过滤后分别执行高通滤波和低通滤波,生成一个高速数据流和一个低速数据流;
当所述雷达为FMCW雷达或步进频率雷达时,对所述回波信号进行静态分量过滤后执行距离维离散傅里叶变换,再对位于预设距离范围内的所有距离仓分别进行高通滤波和低通滤波,生成附加距离信息的若干高速数据流和若干低速数据流。
6.如权利要求5所述的手势识别方法,其特征在于,所述基于分层处理结果进行特征提取,得到所述目标的速度特征,包括:
分别对所述高速数据流和所述低速数据流进行能量突变系数计算,得到第一能量突变系数数据流和第二能量突变系数数据流。
7.如权利要求6所述的手势识别方法,其特征在于,所述根据所述速度特征对所述目标的存在进行非稳定性检测,包括:
统计所述第一能量突变系数数据流或所述第二能量突变系数数据流中的能量突变系数在当前时间窗口内超过预设突变门限的第二累积次数;
当所述第二累积次数大于或等于第二预设次数时,确定在所述当前时间窗口内检测到非稳定存在的动作目标;
当所述第二累积次数小于所述第二预设次数时,确定在所述当前时间窗口内未检测到非稳定存在的动作目标。
8.一种手势识别装置,其特征在于,包括:
发射单元,用于当手势监测范围内存在目标时,控制雷达以第一预设帧率发射信号,并接收回波信号;
分层单元,用于根据所述雷达的类型对所述回波信号进行分层处理;
提取单元,用于基于分层处理结果进行特征提取,得到所述目标的速度特征;
检测单元,用于根据所述速度特征对所述目标的存在进行非稳定性检测;
识别单元,用于当检测结果符合预设条件时,确定存在手势挥动动作。
9.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1-7任一项所述的手势识别方法。
10.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的手势识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410679704.XA CN118277773A (zh) | 2024-05-29 | 2024-05-29 | 手势识别方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410679704.XA CN118277773A (zh) | 2024-05-29 | 2024-05-29 | 手势识别方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118277773A true CN118277773A (zh) | 2024-07-02 |
Family
ID=91637189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410679704.XA Pending CN118277773A (zh) | 2024-05-29 | 2024-05-29 | 手势识别方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118277773A (zh) |
-
2024
- 2024-05-29 CN CN202410679704.XA patent/CN118277773A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109583271B (zh) | 一种对车道线进行拟合的方法、装置及终端 | |
CN107390923B (zh) | 一种屏幕防误触方法、装置、存储介质和终端 | |
CN107784298B (zh) | 一种识别方法及装置 | |
CN107066090B (zh) | 一种控制指纹识别模组的方法及移动终端 | |
CN113050863A (zh) | 页面切换方法、装置、存储介质及电子设备 | |
CN111638522B (zh) | 接近检测方法及电子设备 | |
CN115985323B (zh) | 语音唤醒方法、装置、电子设备及可读存储介质 | |
CN110277097B (zh) | 数据处理方法及相关设备 | |
CN116307394A (zh) | 产品用户体验评分方法、装置、介质及设备 | |
CN111370026A (zh) | 设备状态检测方法及电子设备 | |
CN110764650A (zh) | 按键触发检测方法和电子设备 | |
CN118277773A (zh) | 手势识别方法、装置、存储介质及电子设备 | |
CN113593602B (zh) | 一种音频处理方法、装置、电子设备和存储介质 | |
CN106547400B (zh) | 上报信息的方法、装置及终端 | |
CN109976610B (zh) | 一种应用程序标识的归类方法及终端设备 | |
CN111027406B (zh) | 图片识别方法、装置、存储介质及电子设备 | |
CN116933149A (zh) | 一种对象意图预测方法、装置、电子设备和存储介质 | |
CN110764668A (zh) | 评论信息获取方法及电子设备 | |
CN117012202B (zh) | 语音通道识别方法、装置、存储介质及电子设备 | |
CN114140864B (zh) | 轨迹跟踪方法、装置、存储介质及电子设备 | |
CN110243731B (zh) | 抑菌圈直径动态测量方法、测量装置及可读存储介质 | |
CN111405649B (zh) | 一种信息传输方法、装置及移动终端 | |
CN109495417B (zh) | 载波信号处理方法、装置及存储介质 | |
CN110738258B (zh) | 图像分类方法、装置及终端设备 | |
CN116030821A (zh) | 音频处理方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |