CN113963441A - 一种基于跨域增强的毫米波雷达手势识别方法及系统 - Google Patents
一种基于跨域增强的毫米波雷达手势识别方法及系统 Download PDFInfo
- Publication number
- CN113963441A CN113963441A CN202111239624.5A CN202111239624A CN113963441A CN 113963441 A CN113963441 A CN 113963441A CN 202111239624 A CN202111239624 A CN 202111239624A CN 113963441 A CN113963441 A CN 113963441A
- Authority
- CN
- China
- Prior art keywords
- gesture
- dynamic distance
- angle
- doppler
- distance angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000010586 diagram Methods 0.000 claims abstract description 40
- 238000003062 neural network model Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 230000006403 short-term memory Effects 0.000 claims description 6
- 230000007787 long-term memory Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于跨域增强的毫米波雷达手势识别方法，包括：获取目标人体的毫米波雷达手势信号；对毫米波雷达手势信号进行处理，获得动态距离角度图；利用数据增强模型，对动态距离角度图进行处理，获得第一动态距离角度图，其中，第一动态距离角度图包括多个帧矩阵；利用手势分割模型处理第一动态距离角度图，获得第二动态距离角度图，其中第二动态距离角度图表示连续的DRAI帧序列；利用手势识别神经网络模型处理第二动态距离角度图，获得手势识别结果，其中，手势识别神经网络模型包括帧模型和序列模型。本发明同时还公开了一种基于跨域增强的毫米波雷达手势识别系统以及电子设备。
Description
技术领域
本发明属于信号处理领域，具体涉及一种基于跨域增强的毫米波雷达手势识别方法、系统及电子设备。
背景技术
传统的手势识别主要分为两种：基于可穿戴设备的手势识别和基于计算机视觉的手势识别。前者借助用户穿戴的传感器提取运动特征数据实现手势分类，但可穿戴设备价格昂贵，使用不便，因此难以推广。后者利用RGB相机或RGB-D相机采集手势图像或视频，再使用图像处理算法进行识别。但其主要缺点为识别准确率十分依赖光线条件，而且部署摄像头可能会侵犯用户隐私，从而限制了其应用场景。
基于毫米波雷达的手势识别算法可以基于神经网络模型，且取得了一定的进展。然而现有算法仍主要存在两方面问题：(1)算法的鲁棒性依赖于大规模的训练数据，然而收集数据通常是一项费时费力的工作；(2)在某个域(例如特定的用户、环境或位置)下训练完成的模型，迁移至另外一个新的域后，算法的准确率会大大降低。这是因为不同用户以及同一用户在不同环境，或不同位置执行手势时，都将对雷达信号的传播造成不同的影响，导致对于同种手势提取的运动特征存在差异。因此，在迁移至新的域后模型往往需要重新训练。
综上，研究如何在真实训练数据有限的情况下，分析雷达手势数据的特性，设计数据增强方案，以克服不同域之间数据特征的不一致性问题，对于提升基于毫米波雷达的手势识别算法在不同域之间的泛化能力具有重要意义。
发明内容
有鉴于此，本发明的主要目的是提供一种基于跨域增强的毫米波雷达手势识别方法、系统及电子设备，以期至少部分地解决上述提及的技术问题中的至少之一。
根据本发明第一方面，提供了一种基于跨域增强的毫米波雷达手势识别方法，包括：
获取目标人体的毫米波雷达手势信号；
对毫米波雷达手势信号进行处理，获得动态距离角度图；
利用数据增强模型，对动态距离角度图进行处理，获得第一动态距离角度图，其中，第一动态距离角度图包括多个帧矩阵；
利用手势分割模型处理第一动态距离角度图，获得第二动态距离角度图，其中第二动态距离角度图表示连续的DRAI帧序列；
利用手势识别神经网络模型处理第二动态距离角度图，获得手势识别结果，其中，手势识别神经网络模型包括帧模型和序列模型。
根据本发明的实施例，对毫米波雷达手势信号进行处理，获得动态距离角度图包括：
利用混频器将毫米波雷达手势信号转换为中频信号，其中，中频信号包括目标人体手势的距离信息、速度信息和角度信息；
通过二维快速傅里叶变换将中频信号从时域转换为频域，获得距离多普勒图，其中，距离多普勒图包括距离维度和多普勒维度，距离维度表示目标人体手势的距离信息，多普勒维度表示目标人体手势的速度信息；
将通过毫米波雷达的多个接收天线接收到的多个距离多普勒图拼接成三维矩阵，其中第三维度表示天线维度；
沿天线维度进行快速傅里叶变换，获得距离-多普勒-角度三维矩阵，其中，角度维度表示目标人体手势的角度信息；
将距离-多普勒-角度三维矩阵沿多普勒维度累加并进行噪音消除，获得二维的动态距离角度图。
根据本发明的实施例，上述将距离-多普勒-角度三维矩阵沿多普勒维度累加并进行噪音消除包括：
对多个距离-多普勒-角度三维矩阵求平均，获得平均距离多普勒矩阵；
将距离-多普勒-角度三维矩阵中多普勒频率低于第一预设阈值的值置为0；
将平均距离多普勒矩阵沿距离维度累加，得到多普勒单元的信号强度并设置第二预设阈值；
将距离-多普勒-角度矩阵沿多普勒维度累加，将高于第二预设阈值的多普勒单元进行计算，获得噪音消除的距离-多普勒-角度矩阵。
根据本发明的实施例，上述距离信息由式(1)表示：
其中f表示中频信号的频率，c表示光速，S表示毫米波雷达发射的线性调频信号的斜率；
上述速度信息由式(2)表示：
其中，λ表示信号波长，Δφ表示两个线性调频信号的相位差，T表示两个线性调频信号的时间间隔；
上述角度信息由式(3)表示：
其中，l表示毫米波雷达两个接收天线之间的距离。
根据本发明的实施例，上述利用数据增强模型，对动态距离角度图进行处理，获得第一动态距离角度图包括：
对动态距离角度图进行平移变换，获得不同位置的第一动态距离角度序列；
利用插帧方法和下采样方法，对第一动态距离角度序列进行处理，获得不同速度的第二动态距离角度序列；
根据对称性，对第二动态距离角度序列进行取逆操作，获得与第二动态距离角度序列对称的第三动态距离角度序列，其中第二动态距离角度序列和第三动态距离角度序列构成第一动态距离角度图。
根据本发明的实施例，上述利用手势分割模型处理第一动态距离角度图，获得第二动态距离角度图包括：
获取帧矩阵的最大幅值所在位置；
排除最大幅值所在位置预设范围内的值，计算帧矩阵剩余值的平均值；
获取平均值与最大幅值的比值；
根据比值，获得手势开始的时间和手势结束的时间；
根据手势开始的时间和手势结束的时间，获得第二动态距离角度图。
根据本发明的实施例，上述利用手势识别神经网络模型处理第二动态距离角度图，获得手势识别结果包括：
利用帧模型处理第二动态距离角度图，获得手势特征向量，其中，帧模型包括卷积层、批归一化层和全连接层；
利用序列模型处理手势特征向量，获得手势识别结果，其中，序列模型包括长短期记忆单元和全连接层。
根据本发明的实施例，上述利用帧模型处理第二动态距离角度图，获得手势特征向量包括：
利用卷积层提取第二动态距离角度图的空间特征，获取手势特征图；
通过批归一化层加快手势识别神经网络模型处理速度；
利用全连接层将手势特征图映射为手势特征向量；
其中，利用序列模型处理手势特征向量，获得手势识别结果包括：
利用长短期记忆单元提取手势特征向量的时序特征；
利用全连接层和逻辑回归函数对时序特征进行判别，获得手势识别结果。
根据本发明的第二方面，提供了一种基于跨域增强的毫米波雷达手势识别系统，包括：
信号获取模块，用于获取目标人体的毫米波雷达手势信号；
信号处理模块，用于对毫米波雷达手势信号进行处理，获得动态距离角度图；
数据增强模块，用于利用数据增强模型，对动态距离角度图进行处理，获得第一动态距离角度图，其中，第一动态距离角度图包括多个帧矩阵；
手势分割模块，用于利用手势分割模型处理第一动态距离角度图，获得第二动态距离角度图，其中第二动态距离角度图表示连续的DRAI帧序列；
手势识别模块，用于利用手势识别神经网络模型处理第二动态距离角度图，获得手势识别结果，其中，手势识别神经网络模型包括帧模型和序列模型。
根据本发明的第三方面，提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述方法。
本发明提供的基于跨域增强的毫米波雷达手势识别方法，能够在真实训练数据有限的情况下，分析雷达手势数据的特性，通过设计数据增强方案，克服了不同域之间数据特征的不一致性问题，对于提升基于毫米波雷达的手势识别算法在不同域之间的泛化能力具有重要意义。本发明提供的基于跨域增强的毫米波雷达手势识别系统，通过利用毫米波雷达获取目标人体的手势信息，利用构建的手势识别神经网络对上述手势信息进行处理，极大地提高了手势识别的准确性，同时上述系统具备良好的泛化能力，提高了上述系统的应用范围。
附图说明
图1示意性示出了根据本发明实施例的基于跨域增强的毫米波雷达手势识别方法的流程图；
图2示意性示出了根据本发明实施例的获得动态距离角度图的流程图；
图3示意性示出了根据本发明实施例的将距离-多普勒-角度三维矩阵进行噪音消除的流程图；
图4是根据本发明实施例的不同位置做手势推时的DRAI序列图；
图5是示意性示出了线性调频信号(chirp信号)的频率与时间的关系图；
图6示意性示出了根据本发明实施例的中频信号产生的过程图；
图7示意性示出了根据本发明实施例的雷达帧图；
图8示意性示出了根据本发明实施例的雷达角度估计图；
图9是根据本发明实施例的手势分割示意图；
图10是根据本发明实施例的手势识别神经网络模型结构图；
图11是根据本发明实施例的基于跨域增强的毫米波雷达手势识别系统结构示意图；
图12是根据本发明实施例的新用户测试的混淆矩阵示意图；
图13示意性示出了根据本公开实施例的适于实现基于跨域增强的毫米波雷达手势识别方法的电子设备的方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
手势是人类传达信息的途径之一，不同的手势具有不同的含义。而手势识别可通过肢体动作完成对智能设备的控制，在人机交互领域具备广泛的应用场景，如通过手势远程控制家用电器实现智能家居，或者驾驶员通过手势控制车内各种设备实现智能驾驶等。因此手势识别技术对于实现人类日常生活的智能化、便利化、安全化具有重要意义。
近年来，无线感知技术的快速发展使其成为了一个活跃的研究领域。人体在射频信号覆盖范围内的运动会影响信号的传播特征，而无线感知旨在利用各种形式的无线信号(雷达，WiFi，超声波等)对人类活动进行检测与识别。基于射频信号的手势识别具有保护用户隐私，信号有一定穿透性，不受光线条件影响等优势，弥补了上述传统方法的缺陷。其中毫米波雷达信号除具备以上优点外，还具有能耗低，波长短，集成度高以及带宽大等突出特点，对手势运动特征的检测精度较高，能较好地集成到嵌入式设备上。因此基于毫米波雷达的手势识别技术具有重要的研究意义，以及广泛且实用的应用场景。
图1示意性示出了根据本发明实施例的基于跨域增强的毫米波雷达手势识别方法的流程图；如图1所示，包括操作S110～操作S150。
在操作S110，获取目标人体的毫米波雷达手势信号；
在操作S120，对毫米波雷达手势信号进行处理，获得动态距离角度图；
在操作S130，利用数据增强模型，对动态距离角度图进行处理，获得第一动态距离角度图，其中，第一动态距离角度图包括多个帧矩阵；
通过数据增强模型，第一动态距离角度图经过数据增强后包含了不同域的手势特征的DRAI帧序列。
在操作S140，利用手势分割模型处理第一动态距离角度图，获得第二动态距离角度图，其中第二动态距离角度图表示连续的DRAI帧序列；
通过上述手势分割模型，第二动态距离角度图经过手势分割后包含了手势的开始至结束部分的DRAI帧序列。
在操作S150，利用手势识别神经网络模型处理第二动态距离角度图，获得手势识别结果，其中，手势识别神经网络模型包括帧模型和序列模型。
通过本发明提供的上述方法，利用毫米波雷达对目标人体的手势进行探测，获取毫米波雷达手势信息；通过构建的手势识别神经网络模型处理上述手势信息，可以有效地提升手势识别的效率和准确性。
图2示意性示出了根据本发明实施例的获得动态距离角度图的流程图；如图2所示，对毫米波雷达手势信号进行处理，获得动态距离角度图包括操作S210～操作S250。
在操作S210，利用混频器将毫米波雷达手势信号转换为中频信号，其中，中频信号包括目标人体手势的距离信息、速度信息和角度信息；
在操作S220，通过二维快速傅里叶变换将中频信号从时域转换为频域，获得距离多普勒图，其中，距离多普勒图包括距离维度和多普勒维度，距离维度表示目标人体手势的距离信息，多普勒维度表示目标人体手势的速度信息；
在操作S230，将通过毫米波雷达的多个接收天线接收到的多个距离多普勒图拼接成三维矩阵，其中第三维度表示天线维度；
在操作S240，沿天线维度进行快速傅里叶变换，获得距离-多普勒-角度三维矩阵，其中，角度维度表示目标人体手势的角度信息；
在操作S250，将距离-多普勒-角度三维矩阵沿多普勒维度累加并进行噪音消除，获得二维的动态距离角度图。
通过本发明提供的上述方法，通过傅里叶变换依次提取出执行手势时的距离，速度和角度信息，再进行噪声消除以去除环境中静态物体反射信号以及多径效应等干扰，保留动态的手势特征，最终得到动态距离角度图(Dynamic Range Angle Image，DRAI)以表示手势的执行过程。
图3示意性示出了根据本发明实施例的将距离-多普勒-角度三维矩阵沿多普勒维度累加并进行噪音消除的流程图；如图3所示，包括操作S310～操作S340。
在操作S310，对多个距离-多普勒-角度三维矩阵求平均，获得平均距离多普勒矩阵；
在操作S320，将距离-多普勒-角度三维矩阵中多普勒频率低于第一预设阈值的值置为0；
在操作S330，将平均距离多普勒矩阵沿距离维度累加，得到多普勒单元的信号强度并设置第二预设阈值；
在操作S340，将距离-多普勒-角度矩阵沿多普勒维度累加，将高于第二预设阈值的多普勒单元进行计算，获得噪音消除的距离-多普勒-角度矩阵。
原始雷达信号在依次经过距离FFT，多普勒FFT和角度FFT之后可得到一个距离-多普勒-角度矩阵，但由于原始信号中包含了环境中静态物体的回波信号以及多径效应等干扰，因此需要进行噪声消除以抑制干扰。具体做法为首先将多普勒频率低于某个阈值的置为0以消除静态信息，之后，将平均距离多普勒矩阵沿距离维度累加得到每个多普勒单元的信号强度并设置一个阈值，最终，将距离-多普勒-角度矩阵沿多普勒维度累加，并且只有信号强度高于该阈值的多普勒单元才会被计算，最终结果为去除了静态杂波和多径效应的动态距离-角度矩阵，称之为(Dynamic Range Angle Image,DRAI)。
图4是根据本发明实施例的不同位置做手势推时的DRAI序列图。
下面结合图4对上述DRAI序列噪音消除过程作进一步的说明。如图4(a)所示手势推的未进行噪声消除时距离角度图连续5帧的序列，图4(b)为相同条件下进行噪声消除后的动态距离角度图连续5帧的序列。距离角度图的纵轴代表距离，横轴代表角度，高亮区域代表检测到的运动中的手部位置。观察得到当执行手势推时，高亮区域在垂直方向发生偏移。并且在执行噪声消除后图中的手势运动特征也更加明显。
根据本发明的实施例，上述距离信息由式(1)表示：
其中f表示中频信号的频率，c表示光速，S表示毫米波雷达发射的线性调频信号的斜率；
上述速度信息由式(2)表示：
其中，λ表示信号波长，Δφ表示两个线性调频信号的相位差，T表示两个线性调频信号的时间间隔；
上述角度信息由式(3)表示：
其中，l表示毫米波雷达两个接收天线之间的距离。
图5是示意性示出了线性调频信号(chirp信号)的频率与时间的关系图。
图6示意性示出了根据本发明实施例的中频信号产生的过程图。
图7示意性示出了根据本发明实施例的雷达帧图。
图8示意性示出了根据本发明实施例的雷达角度估计图。
下面结合图5～图8对本发明实施例的上述毫米波雷达手势信号处理过程作进一步的说明。
调频连续波(Frequency Modulated Continuous Wave，FMCW)是一种特殊的毫米波技术。FMCW雷达连续发射频率随时间线性变化的脉冲信号，称为线性调频脉冲信号或chirp信号。如图5所示展示了频率随时间线性增加的chirp信号，其初始频率为77GHz，chirp信号持续时间T为50μs。设S为chirp信号的斜率，则chirp信号的带宽B可由式(4)表示：B＝ST(4)。
假设人体执行手势时与雷达的距离为d，c为光速，则雷达与人体手掌之间的往返传播时延τ由式(5)表示：
FMCW雷达系统可将发射信号与目标反射的回波信号输入混频器进行混频，产生中频信号。图6展示了中频信号的获取流程，中频信号的频率为雷达的发射信号与接收到来自目标的反射信号之间的频率差，而该频率差是由雷达与目标间信号往返传播时延τ，因此，中频信号的频率f可由式(6)表示：
当FMCW雷达检测到位于不同距离的多个物体时，不同的物体会反射不同的回波信号，进一步被混频器转换为中频信号的多个频率分量，每个频率分量都为常量，且其大小与目标和雷达间的距离相关。当中频信号包含多个频率分量时，需要使用快速傅里叶变换(Fast Fourier Transform，FFT)将信号从时域变换至频域，进而分离出不同的频率分量。经过FFT后，不同的频率分量将在幅度谱上显示出不同的峰，表示检测到了不同目标的距离，此操作称为距离FFT。
为了测量目标的速度，FMCW雷达需要连续发射两个间隔为T的chirp信号。这两个chirp信号在接收端的相位差
与速度相关，如式(7)所示：
当需要测量多个相同距离目标的速度时，雷达需要连续发射N个chirp，这N个连续的chirp称为一帧，如图7所示。首先使用距离FFT处理接收的N个chirp集合，能够得到N个频谱，其中每个频谱具有相同的峰值，但峰值的相位均有所不同。之后对该处理结果再执行一次FFT，称为多普勒FFT，以分辨不同的相位，进而获得多个目标的速度信息。
到达角(Angle of Arrival,AoA)指目标相对于雷达的水平方位角。如图8所示，FMCW雷达通过至少两根接收天线进行AoA的测量。角度测量的基本原理为：目标微小的距离变化会引起FFT后波峰的相位发生变化。其中相位变化
可由式(8)表示：
其中，Δd为相邻接收天线与目标间距离差；通过式(9)可以计算出相邻天线之间的距离Δd和到达角θ之间的关系：Δd＝lsin(θ)(9)。
通过到达角θ和相位变化
就可以推导出如式(3)所示的角度信息，通过对多个接收天线多普勒FFT的结果再次执行FFT可得到角度信息，称为角度FFT。
根据本发明的实施例，上述利用数据增强模型，对动态距离角度图进行处理，获得第一动态距离角度图包括：
对动态距离角度图进行平移变换，获得不同位置的第一动态距离角度序列；
利用插帧方法和下采样方法，对第一动态距离角度序列进行处理，获得不同速度的第二动态距离角度序列；
根据对称性，对第二动态距离角度序列进行取逆操作，获得与第二动态距离角度序列对称的第三动态距离角度序列，其中第二动态距离角度序列和第三动态距离角度序列构成第一动态距离角度图。
深度学习模型的训练需要大量数据，否则模型会过拟合。因此，本发明通过分析雷达数据表示形式的特点，观察不同场景下手势数据的变化规律，归纳可能影响手势识别准确率的因素，有针对性地进行数据扩充，以提高模型在不同域间的迁移泛化能力。
数据扩充分别从空间维度，时间维度以及手势运动轨迹间的关系三个方面进行，分别对应着目标执行手势时位置，速度和轨迹的变化。
当目标人体在不同位置执行手势时，会导致得到的DRAI发生空间维度的变化。由于DRAI的横轴表示角度，纵轴表示距离，因此当人体位置产生变化时，DRAI中检测到的手势位置也会发生偏移。如图4(b)和图4(c)所示为同一个人在相对于雷达60cm和80cm处执行手势推时的DRAI，从图中观察到DRAI中手势位置(即回波信号能量较为集中的区域)产生了垂直方向上的偏移。如上图4(c)和图4(d)所示为同一个人在相对于雷达0度和30度处执行手势时的DRAI，类似地，可以从图中观察到DRAI中手势位置产生了水平方向上的偏移。因此，本发明通过分别对同一个手势样本的DRAI帧序列进行相同的水平或垂直方向的平移变换，进而生成在不同位置处执行手势时的DRAI序列。
当目标人体的手以不同速度执行同一种手势时会使得产生的DRAI序列发生时序上的变化，即DRAI序列长度的变化。对于同一个手势样本，当执行手势速度较快时，其DRAI序列较短，而当执行手势速度较慢时，其DRAI序列会更长。因此，通过改变DRAI帧序列长度，可以生成目标以不同速度执行手势时的数据样本。具体而言，可通过下采样来缩短DRAI帧序列长度，使用插帧增加DRAI帧序列长度。本发明使用了帧混合的插帧技术，即将前一帧与后一帧进行相加并取平均，帧混合方法简单有效，运行速度快，且可以使得插帧后的帧序列较为平滑。
不同的手势拥有其独特的运动轨迹，通过观察发现，不同的手势运动轨迹相互之间具备一定联系。具体而言，首先，对称的手势其运动轨迹也是对称的。例如推和拉，向左划和向右划，顺时针旋转和逆时针旋转。因此可以将对称手势间的DRAI序列相互取其逆序列，来生成对应的另一种手势数据。一般而言，由于对称手势间运动轨迹相似，因此模型对于对称手势的特征学习和分类会更加困难。而通过将同一个手势样本，分别以正序和逆序输入至网络，并标注不同的输出标签，可以使得模型更好地学习到时序特征，提升模型在对称手势上的识别准确率。
根据本发明的实施例，上述利用手势分割模型处理第一动态距离角度图，获得第二动态距离角度图包括：
获取帧矩阵的最大幅值所在位置；
排除最大幅值所在位置预设范围内的值，计算帧矩阵剩余值的平均值；
获取平均值与最大幅值的比值；
根据比值，获得手势开始的时间和手势结束的时间；
根据手势开始的时间和手势结束的时间，获得第二动态距离角度图。
图9是根据本发明实施例的手势分割示意图，下面结合图9对上述手势分割模型获取第二动态距离角度图作进一步的说明。
如图9所示，为实现实时的手势识别，需要对连续的雷达手势信号进行分割，检测出手势的开始和结束。本发明提出一种基于DRAI幅值的检测方法，可以有效且快速的进行手势分割。具体而言，首先找到每帧DRAI中幅值最大的位置，然后计算除该位置周围6行以外数据的平均值，并将该最大值与该平均值之比作为检测的标准，通过实验设置阈值，当首次超过该阈值时认为手势开始，而后低于该阈值时认为手势结束。
根据本发明的实施例，上述利用手势识别神经网络模型处理第二动态距离角度图，获得手势识别结果包括：
利用帧模型处理第二动态距离角度图，获得手势特征向量，其中，帧模型包括卷积层、批归一化层和全连接层；
利用序列模型处理手势特征向量，获得手势识别结果，其中，序列模型包括长短期记忆单元和全连接层。
根据本发明的实施例，上述利用帧模型处理第二动态距离角度图，获得手势特征向量包括：
利用卷积层提取第二动态距离角度图的空间特征，获取手势特征图；
通过批归一化层加快手势识别神经网络模型处理速度；
利用全连接层将手势特征图映射为手势特征向量；
其中，利用序列模型处理手势特征向量，获得手势识别结果包括：
利用长短期记忆单元提取手势特征向量的时序特征；
利用全连接层和逻辑回归函数对时序特征进行判别，获得手势识别结果。
图10是根据本发明实施例的手势识别神经网络模型结构图，下面结合图10对手势识别神经网络模型获取手势识别结果作进一步详细说明。
经过预处理之后的雷达手势样本最终可表示为连续的DRAI帧序列，因此可将雷达手势识别转化为视频分类问题。这意味着手势的运动特征不仅包含在某时刻的手势静态位置信息，还包含在某连续时间段内手势位置的动态变化信息。因此，想要准确地进行手势识别，需要有效地进行空间特征和时序特征的提取。
本发明提出的手势识别神经网络模型如图10所示，经过预处理后的DRAI序列输入该端到端的神经网络模型进行训练和学习。该手势识别神经网络模型由帧模型和序列模型组成，可进行端到端的联合训练。其中帧模型用于进行表征学习，提取单帧DRAI中手势位置信息，序列模型用于进行动态建模，从连续的多帧DRAI中学习动态信息。
具体而言，帧模型由卷积层，批归一化层，和全连接层组成。卷积层用于提取每一帧DRAI中的空间特征，产生手势特征图。在卷积层后添加了批归一化层用于调整训练数据分布，加快模型训练速度。全连接层将卷积层输出的特征图映射为特征向量，该特征向量即代表该帧DRAI的特征信息。
连续的DRAI帧序列经过帧模型后被转化为多个特征向量，将特征向量按时间顺序输入由长短期记忆单元(Long Short-Term Memory,LSTM)构成的序列模型中进行时序特征的提取，根据连续的DRAI特征向量对手势样本的动态变化进行建模。取LSTM在最后一时刻的隐状态，经过全连接层和Softmax函数映射为手势概率分布。
图11是根据本发明实施例的基于跨域增强的毫米波雷达手势识别系统1100，包括信号获取模块1110、信号处理模块1120、数据增强模块1130、手势分割模块1140以及手势识别模块1150。
信号获取模块1110，用于获取目标人体的毫米波雷达手势信号；
信号处理模块1120，用于对毫米波雷达手势信号进行处理，获得动态距离角度图；
数据增强模块1130，用于利用数据增强模型，对动态距离角度图进行处理，获得第一动态距离角度图，其中，第一动态距离角度图包括多个帧矩阵；
手势分割模块1140，用于利用手势分割模型处理第一动态距离角度图，获得第二动态距离角度图，其中第二动态距离角度图表示连续的DRAI帧序列；
手势识别模块1150，用于利用手势识别神经网络模型处理第二动态距离角度图，获得手势识别结果，其中，手势识别神经网络模型包括帧模型和序列模型。
图12是根据本发明实施例的新用户测试的混淆矩阵示意图。
下面结合图12对上述系统的有效性作进一步的说明。验证本发明在不同域之间的泛化能力以及数据增强的有效性，本发明收集了来自25名不同志愿者，6个不同房间，5个不同位置，7种不同的手势(推，拉，左划，右划，顺时针旋转，逆时针旋转，以及其他非手势干扰动作)，共计24050个样本。实验采用77GHz毫米波雷达，带宽为3.19GHz,距离分辨率为0.047m，速度分辨率0.039m/s，角度分辨率为15度。用户执行手势时距离雷达60cm至100cm处，角度为-30度至30度。将数据集分别按用户，房间与位置划分，测试算法在不同场景下的识别准确率，结果如下，本发明在新环境，新用户和新位置的识别准确率分别达到了95.54％，97.48％和98.93％，其中测试结果如表1所示：
表1 测试结果
图13示意性示出了根据本公开实施例的适于实现基于跨域增强的毫米波雷达手势识别方法的电子设备的方框图。
如图13所示，根据本公开实施例的电子设备1300包括处理器1301，其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。处理器1301例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器1301还可以包括用于缓存用途的板载存储器。处理器1301可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1303中，存储有电子设备1300操作所需的各种程序和数据。处理器1301、ROM 1302以及RAM 1303通过总线1304彼此相连。处理器1301通过执行ROM 1302和/或RAM1303中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1302和RAM 1303以外的一个或多个存储器中。处理器1301也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备1300还可以包括输入/输出(I/O)接口1305，输入/输出(I/O)接口1305也连接至总线1304。电子设备1300还可以包括连接至I/O接口1305的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分13013。通信部分13013经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入存储部分1308。
以上的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于跨域增强的毫米波雷达手势识别方法，包括：
获取目标人体的毫米波雷达手势信号；
对所述毫米波雷达手势信号进行处理，获得动态距离角度图；
利用数据增强模型，对所述动态距离角度图进行处理，获得第一动态距离角度图，其中，所述第一动态距离角度图包括多个帧矩阵；
利用手势分割模型处理所述第一动态距离角度图，获得第二动态距离角度图，其中所述第二动态距离角度图表示连续的DRAI帧序列；
利用手势识别神经网络模型处理所述第二动态距离角度图，获得手势识别结果，其中，所述手势识别神经网络模型包括帧模型和序列模型。
2.根据权利要求1所述的方法，其中，所述对所述毫米波雷达手势信号进行处理，获得动态距离角度图包括：
利用混频器将所述毫米波雷达手势信号转换为中频信号，其中，所述中频信号包括所述目标人体手势的距离信息、速度信息和角度信息；
通过二维快速傅里叶变换将所述中频信号从时域转换为频域，获得距离多普勒图，其中，距离多普勒图包括距离维度和多普勒维度，所述距离维度表示所述目标人体手势的距离信息，所述多普勒维度表示所述目标人体手势的速度信息；
将通过所述毫米波雷达的多个接收天线接收到的多个所述距离多普勒图拼接成三维矩阵，其中第三维度表示天线维度；
沿所述天线维度进行快速傅里叶变换，获得距离-多普勒-角度三维矩阵，其中，所述角度维度表示所述目标人体手势的角度信息；
将所述距离-多普勒-角度三维矩阵沿所述多普勒维度累加并进行噪音消除，获得二维的所述动态距离角度图。
3.根据权利要求2所述的方法，其中，所述将所述距离-多普勒-角度三维矩阵沿所述多普勒维度累加并进行噪音消除包括：
对多个所述距离-多普勒-角度三维矩阵求平均，获得平均距离多普勒矩阵；
将所述距离-多普勒-角度三维矩阵中多普勒频率低于第一预设阈值的值置为0；
将所述平均距离多普勒矩阵沿所述距离维度累加，得到多普勒单元的信号强度并设置第二预设阈值；
将所述距离-多普勒-角度矩阵沿多普勒维度累加，将高于第二预设阈值的所述多普勒单元进行计算，获得噪音消除的距离-多普勒-角度矩阵。
4.根据权利要求2所述的方法，其中，所述距离信息由式(1)表示：
其中f表示所述中频信号的频率，c表示光速，S表示所述毫米波雷达发射的线性调频信号的斜率；
所述速度信息由式(2)表示：
其中，λ表示信号波长，Δφ表示两个线性调频信号的相位差，T表示两个线性调频信号的时间间隔；
所述角度信息由式(3)表示：
其中，l表示所述毫米波雷达两个接收天线之间的距离。
5.根据权利要求1所述的方法，其中，所述利用数据增强模型，对所述动态距离角度图进行处理，获得第一动态距离角度图包括：
对所述动态距离角度图进行平移变换，获得不同位置的第一动态距离角度序列；
利用插帧方法和下采样方法，对所述第一动态距离角度序列进行处理，获得不同速度的第二动态距离角度序列；
根据对称性，对所述第二动态距离角度序列进行取逆操作，获得与所述第二动态距离角度序列对称的第三动态距离角度序列，其中所述第二动态距离角度序列和第三动态距离角度序列构成所述第一动态距离角度图。
6.根据权利要求1所述的方法，其中，所述利用手势分割模型处理所述第一动态距离角度图，获得第二动态距离角度图包括：
获取所述帧矩阵的最大幅值所在位置；
排除所述最大幅值所在位置预设范围内的值，计算所述帧矩阵剩余值的平均值；
获取所述平均值与所述最大幅值的比值；
根据所述比值，获得所述手势开始的时间和所述手势结束的时间；
根据所述手势开始的时间和所述手势结束的时间，获得所述第二动态距离角度图。
7.根据权利要求1所述的方法，其中，所述利用手势识别神经网络模型处理所述第二动态距离角度图，获得手势识别结果包括：
利用所述帧模型处理所述第二动态距离角度图，获得手势特征向量，其中，所述帧模型包括卷积层、批归一化层和全连接层；
利用所述序列模型处理所述手势特征向量，获得所述手势识别结果，其中，所述序列模型包括长短期记忆单元和全连接层。
8.根据权利要求7所述的方法，其中，所述利用所述帧模型处理所述第二动态距离角度图，获得手势特征向量包括：
利用所述卷积层提取所述第二动态距离角度图的空间特征，获取手势特征图；
通过批归一化层加快所述手势识别神经网络模型处理速度；
利用所述全连接层将所述手势特征图映射为手势特征向量；
其中，利用所述序列模型处理所述手势特征向量，获得所述手势识别结果包括：
利用所述长短期记忆单元提取所述手势特征向量的时序特征；
利用所述全连接层和逻辑回归函数对所述时序特征进行判别，获得手势识别结果。
9.一种基于跨域增强的毫米波雷达手势识别系统，包括：
信号获取模块，用于获取目标人体的毫米波雷达手势信号；
信号处理模块，用于对所述毫米波雷达手势信号进行处理，获得动态距离角度图；
数据增强模块，用于利用数据增强模型，对所述动态距离角度图进行处理，获得第一动态距离角度图，其中，所述第一动态距离角度图包括多个帧矩阵；
手势分割模块，用于利用手势分割模型处理所述第一动态距离角度图，获得第二动态距离角度图，其中所述第二动态距离角度图表示连续的DRAI帧序列；
手势识别模块，用于利用手势识别神经网络模型处理所述第二动态距离角度图，获得手势识别结果，其中，所述手势识别神经网络模型包括帧模型和序列模型。
10.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111239624.5A CN113963441B (zh) | 2021-10-25 | 2021-10-25 | 一种基于跨域增强的毫米波雷达手势识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111239624.5A CN113963441B (zh) | 2021-10-25 | 2021-10-25 | 一种基于跨域增强的毫米波雷达手势识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113963441A true CN113963441A (zh) | 2022-01-21 |
| CN113963441B CN113963441B (zh) | 2024-04-02 |
Family
ID=79466791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111239624.5A Active CN113963441B (zh) | 2021-10-25 | 2021-10-25 | 一种基于跨域增强的毫米波雷达手势识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113963441B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387626A (zh) * | 2022-03-23 | 2022-04-22 | 合肥的卢深视科技有限公司 | 一种手势分类方法、装置、电子设备及存储介质 |
| CN114563784A (zh) * | 2022-04-27 | 2022-05-31 | 武汉理工大学 | 一种基于双毫米波雷达的船载环境入侵检测方法及系统 |
| CN114636999A (zh) * | 2022-03-02 | 2022-06-17 | 中山大学 | 基于毫米波雷达实现人体姿态估计的多谱图融合方法及装置 |
| CN115856881A (zh) * | 2023-01-12 | 2023-03-28 | 南京邮电大学 | 一种基于动态轻量级网络的毫米波雷达行为感知方法 |
| CN116824629A (zh) * | 2023-06-02 | 2023-09-29 | 大连理工大学 | 基于毫米波雷达的高鲁棒手势识别方法 |
| US12026319B2 (en) | 2022-04-13 | 2024-07-02 | Samsung Electronics Co., Ltd. | Dynamic gesture recognition using mmWave radar |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111027458A (zh) * | 2019-08-28 | 2020-04-17 | 深圳大学 | 基于雷达三维轨迹特征的手势识别方法、装置及存储介质 |
| CN111813222A (zh) * | 2020-07-09 | 2020-10-23 | 电子科技大学 | 一种基于太赫兹雷达的精细动态手势识别方法 |
| CN112034446A (zh) * | 2020-08-27 | 2020-12-04 | 南京邮电大学 | 一种基于毫米波雷达的手势识别系统 |
| WO2020258106A1 (zh) * | 2019-06-26 | 2020-12-30 | Oppo广东移动通信有限公司 | 手势识别的方法和设备、定位追踪的方法和设备 |
| CN113408328A (zh) * | 2020-03-16 | 2021-09-17 | 哈尔滨工业大学（威海） | 基于毫米波雷达的手势分割与识别算法 |
| US20210318427A1 (en) * | 2020-04-09 | 2021-10-14 | Zhejiang University | Method for recognizing identity and gesture based on radar signals |
-
2021
- 2021-10-25 CN CN202111239624.5A patent/CN113963441B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020258106A1 (zh) * | 2019-06-26 | 2020-12-30 | Oppo广东移动通信有限公司 | 手势识别的方法和设备、定位追踪的方法和设备 |
| CN111027458A (zh) * | 2019-08-28 | 2020-04-17 | 深圳大学 | 基于雷达三维轨迹特征的手势识别方法、装置及存储介质 |
| CN113408328A (zh) * | 2020-03-16 | 2021-09-17 | 哈尔滨工业大学（威海） | 基于毫米波雷达的手势分割与识别算法 |
| US20210318427A1 (en) * | 2020-04-09 | 2021-10-14 | Zhejiang University | Method for recognizing identity and gesture based on radar signals |
| CN111813222A (zh) * | 2020-07-09 | 2020-10-23 | 电子科技大学 | 一种基于太赫兹雷达的精细动态手势识别方法 |
| CN112034446A (zh) * | 2020-08-27 | 2020-12-04 | 南京邮电大学 | 一种基于毫米波雷达的手势识别系统 |
Non-Patent Citations (2)
| Title |
|---|
| 夏朝阳;周成龙;介钧誉;周涛;汪相锋;徐丰;: "基于多通道调频连续波毫米波雷达的微动手势识别", 电子与信息学报, no. 01 * |
| 杨艳;高玉英;: "智能网联产业链分析:毫米波雷达成关键部件", 汽车与配件, no. 06 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114636999A (zh) * | 2022-03-02 | 2022-06-17 | 中山大学 | 基于毫米波雷达实现人体姿态估计的多谱图融合方法及装置 |
| CN114387626A (zh) * | 2022-03-23 | 2022-04-22 | 合肥的卢深视科技有限公司 | 一种手势分类方法、装置、电子设备及存储介质 |
| CN114387626B (zh) * | 2022-03-23 | 2022-08-26 | 合肥的卢深视科技有限公司 | 一种手势分类方法、装置、电子设备及存储介质 |
| US12026319B2 (en) | 2022-04-13 | 2024-07-02 | Samsung Electronics Co., Ltd. | Dynamic gesture recognition using mmWave radar |
| CN114563784A (zh) * | 2022-04-27 | 2022-05-31 | 武汉理工大学 | 一种基于双毫米波雷达的船载环境入侵检测方法及系统 |
| CN114563784B (zh) * | 2022-04-27 | 2022-08-09 | 武汉理工大学 | 一种基于双毫米波雷达的船载环境入侵检测方法及系统 |
| CN115856881A (zh) * | 2023-01-12 | 2023-03-28 | 南京邮电大学 | 一种基于动态轻量级网络的毫米波雷达行为感知方法 |
| CN115856881B (zh) * | 2023-01-12 | 2023-05-12 | 南京邮电大学 | 一种基于动态轻量级网络的毫米波雷达行为感知方法 |
| CN116824629A (zh) * | 2023-06-02 | 2023-09-29 | 大连理工大学 | 基于毫米波雷达的高鲁棒手势识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113963441B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113963441B (zh) | 一种基于跨域增强的毫米波雷达手势识别方法及系统 | |
| Li et al. | Towards domain-independent and real-time gesture recognition using mmwave signal | |
| CN104076355B (zh) | 基于动态规划的强杂波环境中弱小目标检测前跟踪方法 | |
| WO2021134449A1 (zh) | 一种强杂波下fmcw阵列雷达运动多目标弱信号检测方法、装置、计算机设备及存储介质 | |
| CN113837131B (zh) | 一种基于fmcw毫米波雷达的多尺度特征融合手势识别方法 | |
| Zhao et al. | Cubelearn: End-to-end learning for human motion recognition from raw mmwave radar signals | |
| Xia et al. | Time-space dimension reduction of millimeter-wave radar point-clouds for smart-home hand-gesture recognition | |
| Wu et al. | Dynamic hand gesture recognition using FMCW radar sensor for driving assistance | |
| CN112612365B (zh) | 手势识别方法、装置、电子设备和存储介质 | |
| CN113064483A (zh) | 一种手势识别方法以及相关装置 | |
| CN114972416A (zh) | 使用神经网络的基于雷达的对象跟踪 | |
| Li et al. | Hand gesture recognition using ir-uwb radar with shufflenet v2 | |
| Kong et al. | Gesture recognition system based on ultrasonic FMCW and ConvLSTM model | |
| CN112485783A (zh) | 目标探测方法、装置、计算机设备和存储介质 | |
| Li et al. | Di-gesture: Domain-independent and real-time gesture recognition with millimeter-wave signals | |
| Zhang et al. | Marine target detection for PPI images based on YOLO-SWFormer | |
| CN111382702A (zh) | 手势识别方法、装置、移动终端和存储介质 | |
| CN111693990B (zh) | 一种基于24GHz雷达的简易手势识别方法 | |
| CN113687340B (zh) | 一种基于毫米波雷达的远距离运动目标检测方法 | |
| CN110361723A (zh) | 多普勒雷达运动目标的时频特征提取方法 | |
| Chmurski et al. | Novel Radar-based Gesture Recognition System using Optimized CNN-LSTM Deep Neural Network for Low-power Microcomputer Platform. | |
| CN113093174B (zh) | 基于phd滤波雷达起伏微弱多目标的检测前跟踪方法 | |
| Li et al. | Dynamic gesture recognition method based on millimeter-wave radar | |
| Zheng et al. | Hand gesture recognition based-on three-branch CNN with fine-tuning using MIMO radar | |
| Arsalan et al. | Contactless Low Power Air-Writing Based on FMCW Radar Networks Using Spiking Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |