CN112415510A - 双站雷达手势识别方法、装置、系统和存储介质 - Google Patents

双站雷达手势识别方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN112415510A
CN112415510A CN202011224492.4A CN202011224492A CN112415510A CN 112415510 A CN112415510 A CN 112415510A CN 202011224492 A CN202011224492 A CN 202011224492A CN 112415510 A CN112415510 A CN 112415510A
Authority
CN
China
Prior art keywords
radar
gesture
echo signals
station
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011224492.4A
Other languages
English (en)
Other versions
CN112415510B (zh
Inventor
阳召成
庄伦涛
周建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011224492.4A priority Critical patent/CN112415510B/zh
Publication of CN112415510A publication Critical patent/CN112415510A/zh
Application granted granted Critical
Publication of CN112415510B publication Critical patent/CN112415510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种双站雷达手势识别方法、装置、系统和存储介质，一种双站雷达手势识别方法，包括：使用双站雷达向待检测区域发送双站雷达信号，并接收待检测区域返回的两个雷达回波信号，双站雷达包括两个雷达，两个雷达的覆盖重合区域为待检测区域；对两个雷达回波信号进行信号预处理，得到两个雷达回波信号的特征数据；对两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列；基于LSTM网络对二维手势轨迹序列进行手势识别，得到手势识别结果。本发明实施例公开的双站雷达手势识别方法、装置、系统和存储介质，提供了一种低复杂度、可靠的手势检测方案。

Description

双站雷达手势识别方法、装置、系统和存储介质
技术领域
本发明实施例信号处理技术，尤其涉及一种双站雷达手势识别方法、装置、系统和存储介质。
背景技术
伴随信息技术的高速发展，各类智能设备已经逐渐走入现代生活之中，人与机器的交互已经成为生活之中重要的部分。人机交互方式应用较多是通过一些接触式输入设备与计算机进行信息交流，如鼠标、键盘、触摸屏等，这类人机交互方式比较机械化。
而人体姿势、面部表情、语音交互和手势识别等智能而又有效的新型人机交互方式的出现，摆脱了接触式输入设备的束缚，使人与机器之间的交互方式变得更加智能、方便。由于手势是人类日常生活中交流的重要环节，简单直接而又蕴含丰富的含义，将手势识别应用于人机交互中，可极大的增强用户的体验，拥有很广泛的应用与前景。
手势识别技术中可以分为三类，分别是基于惯性传感器的手势识别、基于视觉的手势识别和基于雷达等无线射频传感器的手势识别。由于基于雷达等无线射频传感器的手势识别无需与用户接触，且不会受到光线干扰，具有一定的穿透力，是目前手势识别的研究重点。
但基于雷达的手势识别方法，在采集到雷达信号后，需要利用深度卷积神经网络进行识别，所需模型庞大，运算时间较长，且对计算能力有较高的要求，限制了手势识别技术的应用。
发明内容
本发明提供一种双站雷达手势识别方法、装置、系统和存储介质，提供了一种低复杂度、可靠的手势检测方案。
第一方面，本发明实施例提供一种双站雷达手势识别方法，包括：
使用双站雷达向待检测区域发送双站雷达信号，并接收待检测区域返回的两个雷达回波信号，双站雷达包括两个雷达，两个雷达的覆盖重合区域为待检测区域；
对两个雷达回波信号进行信号预处理，得到两个雷达回波信号的特征数据；
对两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列；
基于LSTM网络对二维手势轨迹序列进行手势识别，得到手势识别结果。
在第一方面一种可能的实现方式中，对两个雷达回波信号进行信号预处理，得到两个雷达回波信号的特征数据，包括：
对两个雷达回波信号分别进行数字混频处理，得到两个雷达回波信号的基带信号，
去除两个基带信号中的背景杂波；
对去除背景杂波后的两个基带信号进行杂波抑制，得到两个雷达回波信号的特征数据。
在第一方面一种可能的实现方式中，对去除背景杂波后的两个基带信号进行杂波抑制，得到两个雷达回波信号的特征数据，包括：
使用公式Bd(m,n)＝α·Bd(m,n-1)+(1-α)Yd(m,n)分别对去除背景杂波后的两个基带信号进行杂波估计与更新，其中，α为可调参数，Bd(m,n)为更新后的杂波估计，Yd(m,n)为去除背景杂波后的基带信号；
使用公式Fd(m,n)＝Yd(m,n)-Bd(m,n)分别对去除背景杂波后的两个基带信号进行杂波抑制，其中，Fd(m,n)为雷达回波信号的特征数据。
在第一方面一种可能的实现方式中，对两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列，包括：
对两个雷达回波信号的特征数据进行手势目标检测与截取，得到两个原始手势目标位置矩阵；
对两个原始手势目标位置矩阵进行手势目标质心位置估计，得到两个手势目标质心位置序列；
使用自适应阶数的多项式拟合方法对两个手势目标质心位置序列进行拟合处理；
对拟合处理后的两个手势目标质心位置序列进行平面坐标合成，生成二维手势轨迹序列。
在第一方面一种可能的实现方式中，对两个原始手势目标位置矩阵进行手势目标质心位置估计，得到两个手势目标质心位置序列，包括：
对于每个原始手势目标位置矩阵，使用公式
Figure BDA0002763197910000031
进行手势目标质心位置估计，得到手势目标质心位置，其中，R为质心的位置，n为目标占据距离单元的个数，Ri和Vi分别为第i个真实目标位置的距离和幅度值。
在第一方面一种可能的实现方式中，对拟合处理后的两个手势目标质心位置序列进行平面坐标合成，生成二维手势轨迹序列，包括：
以两个雷达中的第一雷达作为为坐标原点，两个雷达的连线为x轴，y轴垂直于地平面，由如下公式得到目标手势点位置的二维坐标(x,y)；
Figure BDA0002763197910000041
其中d1和d2分别为两个雷达位置到目标质心位置的距离，AB为两个雷达的距离，θ为第一雷达与目标质心位置的夹角。
在第一方面一种可能的实现方式中，LSTM网络为非定长输入网络。
第二方面，本发明实施例提供一种双站雷达手势识别装置，包括：
雷达信号检测模块，用于使用双站雷达向待检测区域发送双站雷达信号，并接收待检测区域返回的两个雷达回波信号，双站雷达包括两个雷达，两个雷达的覆盖重合区域为待检测区域；
雷达信号处理模块，用于对两个雷达回波信号进行信号预处理，得到两个雷达回波信号的特征数据；
手势轨迹生成模块，用于对两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列；
手势识别模块，用于基于LSTM网络对二维手势轨迹序列进行手势识别，得到手势识别结果。
第三方面，本发明实施例提供一种双站雷达手势识别系统，包括：双站雷达和手势识别装置；
双站雷达包括两个雷达，双站雷达用于向待检测区域发送双站雷达信号，两个雷达的覆盖重合区域为待检测区域；
手势识别装置，包括：
雷达信号检测模块，用于接收待检测区域返回的两个雷达回波信号；
雷达信号处理模块，用于对两个雷达回波信号进行信号预处理，得到两个雷达回波信号的特征数据；
手势轨迹生成模块，用于对两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列；
手势识别模块，用于基于LSTM网络对二维手势轨迹序列进行手势识别，得到手势识别结果。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一种实现方式的双站雷达手势识别方法。
本发明实施例提供的双站雷达手势识别方法、装置、系统和存储介质，使用双站雷达向待检测区域发送双站雷达信号，并接收待检测区域返回的两个雷达回波信号，然后对两个雷达回波信号进行信号预处理，得到两个雷达回波信号的特征数据；对两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列，最后基于LSTM网络对二维手势轨迹序列进行手势识别，得到手势识别结果，由于采用了双站雷达，提高了手势信息的维度，从而提高了手势识别的准确度，且采用了LSTM网络进行手势识别，减少了手势识别的计算量，提供了一种低复杂度、可靠的手势检测方案。
附图说明
图1为本发明实施例提供的双站雷达手势识别方法的流程图；
图2为本发明实施例提供的双站雷达的覆盖示意图；
图3为本发明实施例提供的双站雷达手势识别方法的信号预处理流程图；
图4为本发明实施例提供的双站雷达检测方法进行目标检测和截取后的目标位置图；
图5为本发明实施例提供的双站雷达检测方法得到的手势目标质心位置图；
图6为本申请使用的自适应阶数多项式拟合算法流程图；
图7为雷达平面坐标系示意图；
图8中示出了9种不同的手势轨迹；
图9为手势轨迹特征提取的整体流程示意图；
图10为本发明实施例采用的LSTM网络的结构示意图；
图11A和图11B为本申请实施例提供的双站雷达手势识别网络模型训练过程的变化曲线；
图12为本发明实施例提供的双站雷达手势识别装置的结构示意图；
图13为本发明实施例提供的双站雷达手势识别系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
目前，手势识别的方法主要分为以下三类：
1)基于惯性传感器的识别方式，通过由多个传感器组成的微机电系统感知手姿态变化并采集数据，但需固定在肢体上，影响了用户在使用手势进行交互时的自然性与舒适性。
2)基于视觉的手势识别方式，能够识别的手势种类多且识别准确率高，但视觉设备视距有限、视线容易受到阻挡、容易受光线强度影响，且存在侵犯隐私等问题。
3)基于雷达等无线射频传感器的手势识别方法，雷达传感器具有不受光照、灰尘等外部环境影响、无需接触、具有天然的隐私保护功能的特点，可以解决由于光线不佳而导致手势识别精度低下的问题，可保护用户隐私，并且雷达波具有一定的穿透能力，可探测感知一定的遮蔽物后的空间。
然而，目前基于雷达的手势识别方法，大多是利用单站雷达和深度卷积神经网络来获取手势信息和进行分类识别：单站雷达提取单一的径向距离和径向多普勒的手势特征信息，手势信息维度不足，手势识别能力受到一定限制；而通过建立时距图、时频图等图像和利用深度卷积神经网络进行识别，存在模型庞大、运算时间长的问题，且对计算能力有比较高的要求。
图1为本发明实施例提供的双站雷达手势识别方法的流程图，如图1所示，本实施例提供的双站雷达手势识别方法包括：
步骤S101，使用双站雷达向待检测区域发送双站雷达信号，并接收待检测区域返回的两个雷达回波信号，双站雷达包括两个雷达，两个雷达的覆盖重合区域为待检测区域。
本实施例提供的双站雷达手势识别方法，用于对人体手势进行识别。首先，有基于雷达的手势识别具有抗干扰能力强的优点，因此本实施例提供的手势识别方法基于雷达对手势进行识别。但传统的单站单发单收雷达手势信息维度不足，因此在本实施例中采用双站雷达进行手势识别。双站雷达由两个雷达组成，两个雷达能够从不同角度发射并接收反射的信号，从而提高手势识别的精度。
首先使用双站雷达向待检测区域发送双站雷达信号，待检测区域为双站雷达的两个雷达的覆盖重合区域，待检测区域为手势可能出现的区域。使用双站雷达向待检测区域发送双站雷达信号，即双站雷达的两个雷达分别向待检测区域发送雷达信号，然后分别接收待检测区域返回的两个雷达回波信号。
图2为本发明实施例提供的双站雷达的覆盖示意图，如图2所示，雷达21和雷达22为双站雷达的两个雷达，雷达21的覆盖区域为区域23，雷达22的覆盖区域为区域24。雷达21和雷达22的覆盖重合区域为区域25，区域25即为对手势进行检测的待检测区域。区域23和区域24的范围根据雷达21和雷达22的工作性能确定，区域25的大小也根据雷达21和雷达22的相对位置关系确定。
步骤S102，对两个雷达回波信号进行信号预处理，得到两个雷达回波信号的特征数据。
雷达信号是持续发送的，因此也可以持续接收到雷达回波信号，在获取到雷达回波信号后，由于雷达回波信号包括了待检测区域中所有目标的回波信号，除了做出手势的手掌的回波信号外，还包括许多静态杂波信号，因此需要对雷达回波信号进行处理，排除掉其他杂波信号的干扰，并从雷达回波信号中提取出所需的目标特征数据。因此在得到双站雷达返回的雷达回波信号后，需要对两个雷达回波信号进行信号预处理得到两个雷达回波信号的特征数据。
具体地，对每个雷达回波信号进行信号预处理，得到雷达回波信号的特征数据，包括数字混频、背景杂波去除和自适应杂波抑制三个步骤，其中：
1、对两个雷达回波信号分别进行数字混频处理，得到两个雷达回波信号的基带信号。具体地，将射频雷达回波信号通过混频调制，将雷达回波信号中的载频信号去掉，转换为复数基带信号。
2、去除两个基带信号中的背景杂波，由于雷达回波信号中包含静止物体杂波、雷达发射机泄露信号和噪声，且在时间维度上是相对稳定的，都可以认作为一段时间内稳定的随机信号，所以通过采集一段没有目标的背景信号做均值减除可以有效的抑制这类背景杂波信号。
3、对去除背景杂波后的两个基带信号进行杂波抑制，得到两个雷达回波信号的特征数据。经过背景杂波去除后，雷达回波信号里还存在与手势动作无关且相对静止不动的躯干所造成的杂波，去除杂波的常用方法有：自适应迭代均值方法、均值滤波方法、中值滤波方法等，在本实施例中以自适应迭代均值方法为例来说明杂波抑制过程。
自适应杂波抑制主要包含两步，第一步为杂波的估计与更新，使用公式Bd(m,n)＝α·Bd(m,n-1)+(1-α)Yd(m,n)分别对去除背景杂波后的两个基带信号进行杂波估计与更新，其中，α为可调参数，Bd(m,n)为更新后的杂波估计，Yd(m,n)为去除背景杂波后的基带信号。
第二步为去除杂波均值，使用公式Fd(m,n)＝Yd(m,n)-Bd(m,n)分别对去除背景杂波后的两个基带信号进行杂波抑制，其中，Fd(m,n)为雷达回波信号的特征数据。去除杂波后的雷达回波信号以时距特征矩阵表示。
图3为本发明实施例提供的双站雷达手势识别方法的信号预处理流程图，如图3所示，在输入两个雷达回波信号后，依次通过数字混频、背景杂波去除和自适应杂波抑制，最终得到时距特征矩阵，即为雷达回波信号的特征数据。
步骤S103，对两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列。
从雷达回波信号中提取出特征数据后，即得到了手势目标的相关特征，将连续的雷达回波信号中的手势目标组合在一起，即可得到手势轨迹序列。且本实施例采用双站雷达进行手势检测，需要将两个处理后的雷达回波信号的特征数据合成为一个手势目标轨迹。在本实施例中，生成的手势序列为二维手势轨迹序列，提取的二维手势轨迹特征，具有很高的可分性，且特征数据量小。
在本发明实施例中，采用多项式拟合的方式进行手势轨迹的提取，包括如下四个步骤：
1、对两个雷达回波信号的特征数据进行手势目标检测与截取，得到两个原始手势目标位置矩阵。将经过预处理后的时间距离特征矩阵，经过目标检测后，截取有目标部分的数据，得到原始目标位置矩阵。
具体地，目标检测与截取可以采用如下方法：将经过预处理后的时间距离特征矩阵，通过单元平均恒虚警(Cell Averaging-Constant False Alarm Rate,CA-CFAR)检测器(其它检测器，如单元平均选小恒虚警、排序式恒虚警和单元平均选大恒虚警也可以)进行目标检测，确定手势的存在与否，经过目标检测后，得到手势原始目标位置，将两个雷达同时有目标的时间段截取下来，得到两个雷达分别的原始目标位置图。图4为本发明实施例提供的双站雷达检测方法进行目标检测和截取后的目标位置图。
2、对两个原始手势目标位置矩阵进行手势目标质心位置估计，得到两个手势目标质心位置序列，即找到手掌的质心，用质心位置表示手掌位置。
具体地，手掌在雷达回波中占据多个距离单元，每个距离单元可被简单化认为手掌的某散射点。需用一个距离单元来代替多个目标单元，以此来表示手势的唯一距离位置估计值，这里用质心作为手势目标的距离估计值，质心求取公式如下：
Figure BDA0002763197910000111
其中，R为质心的位置，n为目标占据距离单元的个数，Ri和Vi分别为第i个真实目标位置的距离和幅度值。两个雷达的原始目标位置图通过最大幅值连通域的筛选和质心位置的求取，得到手势目标质心位置图，图5为本发明实施例提供的双站雷达检测方法得到的手势目标质心位置图。
3、使用自适应阶数的多项式拟合方法对两个手势目标质心位置序列进行拟合处理，这样可以使得质心位置序列平滑且补齐缺失值。
本申请采用了多项式拟合来模拟手势运动位置的连续变化，达到平滑、补缺的效果。对于不同种类的手势数据，所需的拟合多项式次数不能完全相同，而应在保证拟合误差在一定拟合指标范围内，尽可能地使拟合阶数为低次，这样就降低产生高次振荡的可能性，且达到平滑拟合的效果。
图6为本申请使用的自适应阶数多项式拟合算法流程图，如图6所示，以均方差(Mean Squared Error，MSE)作为拟合评价指标，将拟合多项式阶数的初始值m置为1，最大上限为6，当大于MSE均方差阈值时，将多项式阶数m调大，继续尝试做多项式拟合；在未达到最大上限的前提下，若满足MSE均方差阈值，则确定拟合阶数，得到多项式的系数，再得到拟合后的预测值Y。
4、对拟合处理后的两个手势目标质心位置序列进行平面坐标合成，利用两个雷达的平面几何关系，生成二维手势轨迹序列。
具体地，将得到的两个雷达拟合后的手势位置拟合值之后，转换成二维平面坐标。因此，以两个雷达中的第一雷达71作为为坐标原点，第一雷达71和第二雷达72的连线为x轴，y轴垂直于地平面，建立如图7所示坐标系，图7为雷达平面坐标系示意图。根据三角形的几何关系，由如下公式可以得到目标手势点位置的二维坐标(x,y)，图8为合成后得到的手势轨迹示意图，图8中示出了9种不同的手势轨迹。
Figure BDA0002763197910000121
其中d1和d2分别为两个雷达位置到目标质心位置的距离，AB为两个雷达的距离，θ为第一雷达与目标质心位置的夹角。
图9为手势轨迹特征提取的整体流程示意图。
步骤S104，基于LSTM网络对二维手势轨迹序列进行手势识别，得到手势识别结果。
在得到二维手势轨迹序列后，需要通过分类的方法进行手势识别，得到手势识别结果。本申请采用基于长短期记忆(Long Short-Term Memory，LSTM)的双站雷达手势识别网络。以对图9所示的9种手势进行识别为例，网络包含五层，图10为本发明实施例采用的LSTM网络的结构示意图。
本申请实施例所提供的LSTM网络可以为非定长、且二维特征序列输入的LSTM网络，该网络属于轻量级网络模型，该网络模型复杂度低且性能好，在未训练人手势识别性能上也表现良好。适合移植到内存小、计算能力稍弱的小型嵌入式移动设备上，并提高了对未训练人的手势识别准确率。
首先将提取的二维手势轨迹特征序列进行补零对齐后，输入到网络输入层中；其次经过覆盖层，跳过时间步为0的时间步；接着LSTM层对输入的轨迹坐标X和Y的二维轨迹时序特征数据进行特征提取；然后经过Dropout层，防止训练过拟合；最后连接一个9输出的softmax层作为输出层实现手势的识别。
本申请实施例提供的双站雷达手势识别方法，弥补了基于可穿戴设备、视觉技术的手势识别技术的如下缺陷：可穿戴设备需要用户长期佩戴，容易降低用户体验；而视觉传感器的性能容易受到光照和其他环境条件影响，且容易暴露用户隐私。
下面以具体实施例对本申请实施例提供的双站雷达手势识别方法进行进一步说明，将本实施例中的整个双站雷达手势轨迹序列数据集随机打乱，并按8:2的比例分为训练集和测试集，所有样本个数为2475个,因此训练集的数量为1980，测试集的数量为495，经过200次的迭代训练，训练过程的损失值和准确率的变化曲线如图11B和图11B所示，图11A和图11B为本申请实施例提供的双站雷达手势识别网络模型训练过程的变化曲线，其中图11A为损失值曲线，图11B为准确率曲线。
可以从图11A和图11B所示变化曲线看出，随着迭代次数的不断增加，训练集和测试集的准确率不断同步上升，损失值同步减少，且经过30左右的轮次就达到比较高的准确率，说明提取的轨迹特征具有较强的可区分性。训练中保留准确率最高的模型，测试集最高准确率达到98％。最终得到模型分类的混淆矩阵如表1：
表1中，列为预测类别，行为真实类别。从测试集准确率和混淆矩阵可以看出，此模型对提取的手势轨迹特征分类识别效果比较好，只有极少个手势数据识别错误。
表1混淆矩阵
Figure BDA0002763197910000141
对于本申请采用的LSTM网络复杂度：网络复杂度指标主要有网络参数权重ω的数量、网络深度以及利用深度学习框架保存的网络模型大小，其中，网络参数权重值：主要考虑的是卷积模块、LSTM模块、神经元中需要迭代保存的权重ω数量，数值为68233；网络深度：默认平行网络为同一层，此网络中输入层、覆盖层和dropout层不计入网络深度中，因此网络深度为2；网络模型大小是利用深度学习框架保存下来的网络模型数据所占用的空间，数值为824KB。
对于未训练人手势识别性能：数据由5个人组成，将其中的四个人的数据作为训练集，剩下一人的数据作为测试，总共分为5组实验，每组实验分别进行5次独立的网络训练，训练后将测试集准确率取平均，得到平均识别准确率。本方法提出的基于轨迹特征提取和LSTM的双站雷达手势识别方法在未训练人手势识别准确率上达到92.0％，识别效果较好，泛化能力有所提高。
综上，本发明实施例提供的双站雷达手势识别方法拥有良好的性能。在识别准确率上，最高准确率达到98％，而网络模型大小只有824KB，网络复杂度低，因此本发明所提出的双站雷达手势识别方法更加适合移植到内存小、计算能力稍弱的小型嵌入式移动设备上，并且在未训练人手势识别性能上表现良好。
本实施例提供的双站雷达手势识别方法，使用双站雷达向待检测区域发送双站雷达信号，并接收待检测区域返回的两个雷达回波信号，然后对两个雷达回波信号进行信号预处理，得到两个雷达回波信号的特征数据；对两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列，最后基于LSTM网络对二维手势轨迹序列进行手势识别，得到手势识别结果，由于采用了双站雷达，提高了手势信息的维度，从而提高了手势识别的准确度，且采用了LSTM网络进行手势识别，减少了手势识别的计算量，提供了一种低复杂度、可靠的手势检测方案。
图12为本发明实施例提供的双站雷达手势识别装置的结构示意图，如图12所示，本实施例提供的双站雷达手势识别装置包括：
雷达信号检测模块121，用于使用双站雷达向待检测区域发送双站雷达信号，并接收待检测区域返回的两个雷达回波信号，双站雷达包括两个雷达，两个雷达的覆盖重合区域为待检测区域。
雷达信号处理模块122，用于对两个雷达回波信号进行信号预处理，得到两个雷达回波信号的特征数据。
手势轨迹生成模块123，用于对两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列。
手势识别模块124，用于基于LSTM网络对二维手势轨迹序列进行手势识别，得到手势识别结果。
本实施例提供的双站雷达手势识别装置用于实现图1所示双站雷达手势识别方法的技术方案，其实现原理和技术效果类似，此处不再赘述。
图13为本发明实施例提供的双站雷达手势识别系统的结构示意图，如图13所示，本实施例提供的双站雷达手势识别系统包括：
双站雷达131和手势识别装置132，双站雷达131包括第一雷达133和第二雷达134，双站雷达131用于向待检测区域发送双站雷达信号，第一雷达133和第二雷达134的覆盖重合区域为待检测区域。手势识别装置132的结构如图12所示。
本发明还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种双站雷达手势识别方法，该方法包括：
使用双站雷达向待检测区域发送双站雷达信号，并接收待检测区域返回的两个雷达回波信号，双站雷达包括两个雷达，两个雷达的覆盖重合区域为待检测区域；对两个雷达回波信号进行信号预处理，得到两个雷达回波信号的特征数据；对两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列；基于LSTM网络对二维手势轨迹序列进行手势识别，得到手势识别结果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种双站雷达手势识别方法，其特征在于，包括：
使用双站雷达向待检测区域发送双站雷达信号，并接收所述待检测区域返回的两个雷达回波信号，所述双站雷达包括两个雷达，所述两个雷达的覆盖重合区域为所述待检测区域；
对所述两个雷达回波信号进行信号预处理，得到所述两个雷达回波信号的特征数据；
对所述两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列；
基于长短期记忆LSTM网络对所述二维手势轨迹序列进行手势识别，得到手势识别结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述两个雷达回波信号进行信号预处理，得到所述两个雷达回波信号的特征数据，包括：
对所述两个雷达回波信号分别进行数字混频处理，得到所述两个雷达回波信号的基带信号，
去除两个基带信号中的背景杂波；
对去除背景杂波后的两个基带信号进行杂波抑制，得到所述两个雷达回波信号的特征数据。
3.根据权利要求2所述的方法，其特征在于，所述对去除背景杂波后的两个基带信号进行杂波抑制，得到所述两个雷达回波信号的特征数据，包括：
使用公式Bd(m,n)＝α·Bd(m,n-1)+(1-α)Yd(m,n)分别对去除背景杂波后的两个基带信号进行杂波估计与更新，其中，α为可调参数，Bd(m,n)为更新后的杂波估计，Yd(m,n)为去除背景杂波后的基带信号；
使用公式Fd(m,n)＝Yd(m,n)-Bd(m,n)分别对去除背景杂波后的两个基带信号进行杂波抑制，其中，Fd(m,n)为雷达回波信号的特征数据。
4.根据权利要求1～3任一项所述的方法，其特征在于，所述对所述两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列，包括：
对所述两个雷达回波信号的特征数据进行手势目标检测与截取，得到两个原始手势目标位置矩阵；
对所述两个原始手势目标位置矩阵进行手势目标质心位置估计，得到两个手势目标质心位置序列；
使用自适应阶数的多项式拟合方法对所述两个手势目标质心位置序列进行拟合处理；
对拟合处理后的两个手势目标质心位置序列进行平面坐标合成，生成二维手势轨迹序列。
5.根据权利要求4所述的方法，其特征在于，所述对所述两个原始手势目标位置矩阵进行手势目标质心位置估计，得到两个手势目标质心位置序列，包括：
对于每个原始手势目标位置矩阵，使用公式
Figure FDA0002763197900000021
进行手势目标质心位置估计，得到手势目标质心位置，其中，R为质心的位置，n为目标占据距离单元的个数，Ri和Vi分别为第i个真实目标位置的距离和幅度值。
6.根据权利要求4所述的方法，其特征在于，所述对拟合处理后的两个手势目标质心位置序列进行平面坐标合成，生成二维手势轨迹序列，包括：
以两个雷达中的第一雷达作为为坐标原点，两个雷达的连线为x轴，y轴垂直于地平面，由如下公式得到目标手势点位置的二维坐标(x,y)；
Figure FDA0002763197900000031
其中d1和d2分别为两个雷达位置到所述目标质心位置的距离，AB为两个雷达的距离，θ为第一雷达与所述目标质心位置的夹角。
7.根据权利要求1～3任一项所述的方法，其特征在于，所述LSTM网络为非定长输入网络。
8.一种双站雷达手势识别装置，其特征在于，包括：
雷达信号检测模块，用于使用双站雷达向待检测区域发送双站雷达信号，并接收所述待检测区域返回的两个雷达回波信号，所述双站雷达包括两个雷达，所述两个雷达的覆盖重合区域为所述待检测区域；
雷达信号处理模块，用于对所述两个雷达回波信号进行信号预处理，得到所述两个雷达回波信号的特征数据；
手势轨迹生成模块，用于对所述两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列；
手势识别模块，用于基于长短期记忆LSTM网络对所述二维手势轨迹序列进行手势识别，得到手势识别结果。
9.一种双站雷达手势识别系统，其特征在于，包括：双站雷达和手势识别装置；
所述双站雷达包括两个雷达，所述双站雷达用于向待检测区域发送双站雷达信号，所述两个雷达的覆盖重合区域为所述待检测区域；
所述手势识别装置，包括：
雷达信号检测模块，用于接收所述待检测区域返回的两个雷达回波信号；
雷达信号处理模块，用于对所述两个雷达回波信号进行信号预处理，得到所述两个雷达回波信号的特征数据；
手势轨迹生成模块，用于对所述两个雷达回波信号的特征数据进行手势目标检测及合成，生成二维手势轨迹序列；
手势识别模块，用于基于长短期记忆LSTM网络对所述二维手势轨迹序列进行手势识别，得到手势识别结果。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～8中任一所述的双站雷达手势识别方法。
CN202011224492.4A 2020-11-05 2020-11-05 双站雷达手势识别方法、装置、系统和存储介质 Active CN112415510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011224492.4A CN112415510B (zh) 2020-11-05 2020-11-05 双站雷达手势识别方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011224492.4A CN112415510B (zh) 2020-11-05 2020-11-05 双站雷达手势识别方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN112415510A true CN112415510A (zh) 2021-02-26
CN112415510B CN112415510B (zh) 2023-08-04

Family

ID=74828287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011224492.4A Active CN112415510B (zh) 2020-11-05 2020-11-05 双站雷达手势识别方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN112415510B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361450A (zh) * 2021-06-24 2021-09-07 上海鼎算智能科技有限公司 基于rfid的活动序列识别方法、系统、介质及终端
CN113406610A (zh) * 2021-06-16 2021-09-17 深圳大学 一种目标检测方法、装置、设备和存储介质
CN114895363A (zh) * 2022-05-07 2022-08-12 上海恒岳智能交通科技有限公司 一种路基两侧视觉成像监测入侵物态势识别方法
CN116482680A (zh) * 2023-06-19 2023-07-25 精华隆智慧感知科技（深圳）股份有限公司 一种身体干扰识别方法、装置、系统和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060220951A1 (en) * 2005-04-04 2006-10-05 Raytheon Company System and method for coherently combining a plurality of radars
CN107024685A (zh) * 2017-04-10 2017-08-08 北京航空航天大学 一种基于距离‑速度特征的手势识别方法
CN110309689A (zh) * 2018-03-27 2019-10-08 南京理工大学 基于超宽带雷达的Gabor域手势识别检测方法
CN110647803A (zh) * 2019-08-09 2020-01-03 深圳大学 一种手势识别方法、系统以及存储介质
CN111027458A (zh) * 2019-08-28 2020-04-17 深圳大学 基于雷达三维轨迹特征的手势识别方法、装置及存储介质
CN111382702A (zh) * 2020-03-09 2020-07-07 深圳大学 手势识别方法、装置、移动终端和存储介质
CN111399642A (zh) * 2020-03-09 2020-07-10 深圳大学 手势的识别方法、装置、移动终端和存储介质
CN111476058A (zh) * 2019-01-23 2020-07-31 北京邮电大学 一种基于毫米波雷达的手势识别方法
CN111638488A (zh) * 2020-04-10 2020-09-08 西安电子科技大学 一种基于lstm 网络的雷达干扰信号识别方法
CN111650582A (zh) * 2020-07-27 2020-09-11 四川长虹电器股份有限公司 一种基于mimo毫米波雷达的手势识别方法
CN111813224A (zh) * 2020-07-09 2020-10-23 电子科技大学 一种基于超高分辨率雷达精细手势库的建立与识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060220951A1 (en) * 2005-04-04 2006-10-05 Raytheon Company System and method for coherently combining a plurality of radars
CN107024685A (zh) * 2017-04-10 2017-08-08 北京航空航天大学 一种基于距离‑速度特征的手势识别方法
CN110309689A (zh) * 2018-03-27 2019-10-08 南京理工大学 基于超宽带雷达的Gabor域手势识别检测方法
CN111476058A (zh) * 2019-01-23 2020-07-31 北京邮电大学 一种基于毫米波雷达的手势识别方法
CN110647803A (zh) * 2019-08-09 2020-01-03 深圳大学 一种手势识别方法、系统以及存储介质
CN111027458A (zh) * 2019-08-28 2020-04-17 深圳大学 基于雷达三维轨迹特征的手势识别方法、装置及存储介质
CN111382702A (zh) * 2020-03-09 2020-07-07 深圳大学 手势识别方法、装置、移动终端和存储介质
CN111399642A (zh) * 2020-03-09 2020-07-10 深圳大学 手势的识别方法、装置、移动终端和存储介质
CN111638488A (zh) * 2020-04-10 2020-09-08 西安电子科技大学 一种基于lstm 网络的雷达干扰信号识别方法
CN111813224A (zh) * 2020-07-09 2020-10-23 电子科技大学 一种基于超高分辨率雷达精细手势库的建立与识别方法
CN111650582A (zh) * 2020-07-27 2020-09-11 四川长虹电器股份有限公司 一种基于mimo毫米波雷达的手势识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406610A (zh) * 2021-06-16 2021-09-17 深圳大学 一种目标检测方法、装置、设备和存储介质
CN113406610B (zh) * 2021-06-16 2023-06-23 深圳大学 一种目标检测方法、装置、设备和存储介质
CN113361450A (zh) * 2021-06-24 2021-09-07 上海鼎算智能科技有限公司 基于rfid的活动序列识别方法、系统、介质及终端
CN114895363A (zh) * 2022-05-07 2022-08-12 上海恒岳智能交通科技有限公司 一种路基两侧视觉成像监测入侵物态势识别方法
CN116482680A (zh) * 2023-06-19 2023-07-25 精华隆智慧感知科技（深圳）股份有限公司 一种身体干扰识别方法、装置、系统和存储介质
CN116482680B (zh) * 2023-06-19 2023-08-25 精华隆智慧感知科技（深圳）股份有限公司 一种身体干扰识别方法、装置、系统和存储介质

Also Published As

Publication number Publication date
CN112415510B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN112415510B (zh) 双站雷达手势识别方法、装置、系统和存储介质
CN111399642B (zh) 手势的识别方法、装置、移动终端和存储介质
CN110456320B (zh) 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN110113116B (zh) 基于wifi信道信息的人体行为识别方法
CN104766099B (zh) 基于图像的分布式光纤周界振动信号处理与识别方法
CN103105924B (zh) 人机交互方法和装置
CN107390867B (zh) 一种基于安卓手表的人机交互系统
CN111505632A (zh) 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
CN113609976A (zh) 一种基于WiFi设备的方向敏感多手势识别系统及方法
CN112782664A (zh) 一种基于毫米波雷达的卫生间跌倒检测方法
CN109805936B (zh) 基于地面振动信号的人体摔倒检测系统
Hu et al. An infrared target intrusion detection method based on feature fusion and enhancement
CN104680554A (zh) 基于surf的压缩跟踪方法和系统
CN106611158A (zh) 人体3d特征信息的获取方法及设备
Qiao et al. Human activity classification based on micro-Doppler signatures separation
Ma et al. Dynamic gesture contour feature extraction method using residual network transfer learning
CN114397963B (zh) 一种手势识别方法、装置、电子设备及存储介质
Zhu et al. Wi-ATCN: Attentional temporal convolutional network for human action prediction using WiFi channel state information
CN111597869A (zh) 一种基于分组残差联合空间学习的人体活动识别方法
Elshenaway et al. On-air hand-drawn doodles for IoT devices authentication during COVID-19
CN112380903B (zh) 一种基于WiFi-CSI信号增强的人体活动识别方法
Zhao et al. Wear-free gesture recognition based on residual features of RFID signals
CN115048951A (zh) 一种基于毫米波雷达的手势识别方法、装置及终端设备
CN110309689B (zh) 基于超宽带雷达的Gabor域手势识别检测方法
CN116250832A (zh) 一种基于目标跟随毫米波雷达的跌倒检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant