CN110765974B - 基于毫米波雷达和卷积神经网络的微动手势识别方法 - Google Patents

基于毫米波雷达和卷积神经网络的微动手势识别方法 Download PDF

Info

Publication number
CN110765974B
CN110765974B CN201911054117.7A CN201911054117A CN110765974B CN 110765974 B CN110765974 B CN 110765974B CN 201911054117 A CN201911054117 A CN 201911054117A CN 110765974 B CN110765974 B CN 110765974B
Authority
CN
China
Prior art keywords
gesture
frequency modulation
adc
neural network
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911054117.7A
Other languages
English (en)
Other versions
CN110765974A (zh
Inventor
夏朝阳
周成龙
介钧誉
汪相锋
周涛
徐丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201911054117.7A priority Critical patent/CN110765974B/zh
Publication of CN110765974A publication Critical patent/CN110765974A/zh
Application granted granted Critical
Publication of CN110765974B publication Critical patent/CN110765974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明属于人机交互技术领域，具体为基于毫米波雷达和卷积神经网络的微动手势识别方法。本发明的主要步骤包括：根据应用场景设计雷达参数和微动手势；利用毫米波雷达周期性地发射具有确定雷达参数的线性调频信号同时接收人体手部反射的回波信号，与发射信号进行差频后进行ADC采样得到数字中频信号；对数字中频信号进行处理，计算微动手势的特征参数；选取某一特征，建立多种手势的数据集；针对毫米波雷达特征图像设计卷积神经网络，输入手势数据集训练得到分类模型；调用分类模型实现多种手势的分类识别。本发明实用性强，可用于智能家居、隔空输入、手语翻译、机械控制、VR、AR等领域，应用前景广阔。

Description

基于毫米波雷达和卷积神经网络的微动手势识别方法
发明领域
本发明属于人机交互技术领域，具体涉及一种基于毫米波雷达和卷积神经网络的微动手势识别方法。
背景技术
随着物联网和智能化设备的快速发展，人机交互的方式在不断变革，从早期的按键方式发展到现在的触屏方式、语音交互方式和非接触式动作交互方式。手势识别作为非接触式人机交互方式的一种，在智能家居、隔空输入、手语翻译、机械控制、VR、AR等领域均具有非常重要的应用价值。然而，现有的手势识别方法存在一些主要问题：基于可见光、红外等图像信息的手势识别方法功耗高、计算开销大、提取特征的效率低、图像处理模型能力有限、易受光照和遮挡等因素影响，且有泄露隐私的风险；基于超声波的手势识别方法波束角小、分辨率低、易受干涉和背景环境影响、信号处理难度大、计算成本高、产品规格差异大；基于Wi-Fi和雷达的手势识别方法分辨率低、信息量少。现有的手势识别方法基本不具备识别运动幅度在几厘米以内的微动手势的能力。
毫米波的传播速度快、波长短、分辨率高，具有穿透一定厚度的非金属遮挡物的能力，光照、烟雾、雨雪和温度变化对其基本没有影响，多通道毫米波雷达同时具有测距、测速和测角的能力，能够获得三维的目标信息，且无需获取图像和音频信息，不存在隐私泄露的问题。
基于大数据和人工神经网络的深度学习方法在自然语言处理、计算机视觉、图像与视频处理等诸多领域均已取得了巨大成功。深度学习与传统模式识别方法的最大不同在于它是从大数据中自动学习特征，而非通过手工设计特征，因而更具效率，表达能力更强。
发明内容
本发明的目的在于提供一种准确率高、鲁棒性和实时性好的基于毫米波雷达和卷积神经网络的微动手势识别方法。
本发明提出的基于毫米波雷达和卷积神经网络的微动手势识别方法，具体步骤为：
(1)根据应用场景设计雷达参数和微动手势；
(2)利用毫米波雷达发射具有确定雷达参数的线性调频信号，同时接收人体手部反射的回波信号，与发射信号进行差频后进行ADC采样，得到数字中频信号；
(3)对数字中频信号进行处理，计算微动手势的特征参数；
(4)选取某一特征，建立多种手势的数据集；
(5)针对毫米波雷达特征图像设计卷积神经网络，输入手势数据集训练卷积神经网络，得到分类模型；
(6)调用分类模型实现多种手势的分类识别。
本发明中，所述的雷达参数包括发射天线数NTx(NTx≥1)、接收天线数NRx(NRx≥1)、调频起始频率f1、调频斜率Ks、调频周期Tc、每帧调频周期数Nc、帧周期Tf、ADC采样周期Tadc、ADC采样率Fs等，这些参数可根据应用场景的最大测量距离dmax、最大测量速度vmax、距离分辨率dres与速度分辨率vres、帧率frate等作为指标来确定，公式为：
Figure BDA0002256086250000021
Figure BDA0002256086250000022
Figure BDA0002256086250000023
Figure BDA0002256086250000024
Figure BDA0002256086250000025
其中c为光速，λ为调频中心频率对应波长，B为调频带宽，B由调频斜率Ks和ADC采样周期Tadc确定：
B＝Ks×Tadc                                                 (6)
λ由调频起始频率f1和调频带宽B确定：
Figure BDA0002256086250000026
帧周期Tf需要满足：
Tf≥Nc×Tc                                                  (8)
若采用时分复用(TDM)的多发多收(MIMO)方式，帧周期Tf需要满足：
Tf≥NTx×Nc×Tc                                             (9)。
本发明中，所述的微动手势，其运动特征表现为手部整体基本不动或存在不明显的运动，主要为一根或几根手指发生运动。
本发明中，所述的获取人体手部反射的雷达回波对应的中频信号过程是：利用某一频段(例如60GHz或77GHz)的毫米波雷达经NTx个发射天线发射周期性的线性调频信号，调频起始频率为f1，调频斜率为Ks，调频周期为Tc，调频带宽为B，每帧调频周期数为Nc，帧周期为Tf，经NRx个接收天线接收人体手部反射回来的NTx×NRx个通道的回波信号，分别与发射信号进行差频后，进行ADC采样，得到NTx×NRx个通道的数字中频信号数据，ADC采样周期为Tadc、ADC采样率为Fs。
本发明中，所述的对数字中频信号进行处理，计算微动手势的特征参数，包含以下几个子步骤：
a.根据设置的雷达参数，将每一通道的数字中频信号数据分为多个帧周期，每个帧周期包含Nc个调频周期的中频采样信号，每个调频周期包含Nadc个复数采样点，Nadc由ADC采样周期Tadc和ADC采样率Fs共同确定：
Nadc＝Fs×Tadc                                             (10)；
b.对任一通道、任一帧周期内的每个调频周期数据做快速傅里叶变换(FFT)，得到不同调频周期的一维距离像；
c.根据应用场景确定的感兴趣距离范围对一维距离像进行距离像滤波，即截取感兴趣距离范围内的Na_ROI个距离点，从而过滤感兴趣距离范围外的背景噪声；
d.根据感兴趣距离范围内存在运动手部和存在静止手部两种情况对应的距离多普勒振幅差异，设定振幅阈值Q1，阈值应略大于存在静止手部时距离多普勒振幅的最大值，当感兴趣距离范围内一维距离像中的最大振幅大于阈值Q1时，判定存在有效目标，根据最大振幅的位置可确定目标距离，否则判定不存在有效目标；目标距离对应的各通道振幅、相位和通道间相位差随调频周期Tc的变化均可作为微动手势的特征；
e.对任一通道、任一帧周期内的Nc个调频周期的每一距离点(感兴趣距离范围内)对应的复振幅数据做FFT，得到每一距离对应的速度或多普勒频移分布，进而根据应用场景选取感兴趣速度范围的Nc_ROI个速度点，得到尺寸为Na_ROI×Nc_ROI的二维距离多普勒分布，对所有通道的距离多普勒分布进行非相干叠加平均，从而得到感兴趣区域(ROI)内多通道平均的二维距离多普勒分布，作为手势的距离多普勒谱参数；
f.对通道平均的二维距离多普勒分布进行单元平均恒虚警检测(CA-CFAR)，得到单个目标点，作为估计手势的关键点，根据目标点位置可以得到目标距离和目标速度，其中目标距离对应的多普勒分布作为手势的多普勒谱参数；目标速度对应的距离分布作为手势的距离谱参数；
g.目标点位置对应Ntx×Nrx个通道的复振幅数据，根据Ntx个发射天线和Nrx个接收天线的位置计算Ntx×Nrx个通道的等效相位中心位置，若水平或垂直方向存在大于一个的等效相位中心，可以利用两个等效相位中心对应的两个通道数据之间的相位差来估计目标相对于雷达天线阵列平面的方位角或仰角，其中，相位差
Figure BDA0002256086250000031
与到达角θ和两个通道的等效相位中心之间距离Δd的关系是：
Figure BDA0002256086250000041
从而可求得方位角或仰角为：
Figure BDA0002256086250000042
本发明中，所述的选取某一特征，建立多种手势的数据集过程是：通过设置长度为Nf帧的固定滑动帧窗，距离多普勒谱、距离、速度、距离谱、多普勒谱、方位角和仰角等参数在滑动帧窗内的变化作为最终的手势特征，通过检测手势的开始与结束帧，在滑动帧窗内捕捉完整的手势并保存手势特征，针对任一手势特征，每一微动手势重复多次，保存多组手势特征数据，从而建立Nclass类手势的特征数据集，用于后续手势分类模型的训练。
本发明中，所述的针对毫米波雷达特征图像设计卷积神经网络，输入手势数据集训练得到分类模型过程是：根据雷达特征图像的尺寸、单个颜色通道、特征区域分布等特点，搭建的轻量化卷积神经网络，将任一特征的手势数据集输入设计的卷积神经网络中进行参数调优，得到最佳的训练过程和结果，在最优参数下，训练得到分类模型并保存。
本发明中，所述针对毫米波雷达特征图像设计卷积神经网络，该卷积神经网络结构为：有3个卷积层，每一卷积层后分别连接1个RELU激活函数层、1个批标准化层和1个池化层；3个卷积层后接2个全连接层，第1个全连接层连接1个dropout层，第2个全连接层连接第4个RELU激活函数层；最后是softmax层，用于输出分类结果和相似度分布数组。
本发明所设计的卷积神经网络训练得到的分类模型大小仅为几百KB、分类耗时在常见配置计算机上仅为几毫秒，对十几种手势的平均离线分类准确度可达到99％以上，可移植到任何具有一定数字信号处理能力的设备上。
本发明中，所述的调用分类模型实现多种手势的分类识别过程是：在完成手部雷达回波的数据处理，得到固定长度滑动帧窗内的手势特征后，调用训练好的分类模型，得到该动作特征与训练集中各类手势特征的相似度，若与某类手势特征的相似度大于设定的相似度阈值Q2，判定为该类手势，否则判定为无效动作，相似度阈值可通过调用分类模型对全部数据集进行测试后确定。
本发明中，所采用数字中频信号处理和调用分类模型进行手势识别的装置为计算机、平板电脑、智能手机、智能手表、智能家电等任何具有一定数字信号处理能力的设备。
本发明中，可用于微动手势分类识别的参数特征包括距离多普勒谱、距离、速度、距离谱、多普勒谱、方位角、仰角等。
本发明实用性强，能够实现大视场角范围内的三维实时手势识别，可识别运动幅度仅有几毫米到几厘米的微动手势，准确率高、鲁棒性和实时性好，可集成到计算机、平板电脑、智能手机、智能手表、智能家电等任何具有一定数字信号处理能力的设备，可应用于智能家居、隔空输入、手语翻译、机械控制、VR、AR等领域，应用前景广阔。
附图说明
图1是本发明的实施过程流程图。
图2是本发明的实施例采用的发射天线和接收天线排布方式及对应的MIMO天线阵列等效原理示意图。
图3是本发明的实施例定义的七种微动手势示意图。其中，(a)食指双击，(b)食指顺时针旋转，(c)食指逆时针旋转，(d)食指拇指分开，(e)食指拇指并拢，(f)拇指在食指上前搓动，(g)拇指在食指上后搓动。
图4是本发明的实施例定义的七种微动手势对应的距离多普勒帧窗拼接特征图。其中，(a)食指双击，(b)食指顺时针旋转，(c)食指逆时针旋转，(d)食指拇指分开，(e)食指拇指并拢(f)拇指在食指上前搓动，(g)拇指在食指上后搓动。
图5是本发明的实施例对七种微动手势的分类混淆矩阵。
图6是本发明的实施例设计的人工神经网络结构图。
图7是本发明的算法流程图。
具体实施方式
下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
结合图1说明本发明的具体实施过程如下：
(1)根据应用场景设计雷达参数和微动手势；
(2)利用毫米波雷达发射具有确定雷达参数的线性调频信号同时接收人体手部反射的回波信号，与发射信号进行差频后进行ADC采样得到数字中频信号；
(3)对数字中频信号进行处理，计算微动手势的特征参数；
(4)保存固定长度帧窗内的距离多普勒特征，建立多种手势的数据集；
(5)将手势数据集输入神经网络训练得到手势分类模型；
(6)调用手势分类模型实现多种手势的识别；
(7)根据识别到的手势类别进行设备的对应功能控制。
该实施例中毫米波雷达的发射和接收天线阵列构成的等效天线阵列如图2所示，该天线阵列包含2个发射天线和4个接收天线，水平方向具有最多三个虚拟通道(TX1-RX2，TX1-RX3，TX1-RX4或TX2-RX2，TX2-RX3，TX2-RX4)，垂直方向具有最多四个虚拟通道(TX1-RX1，TX2-RX1，TX1-RX2，TX2-RX2)，其中TX1和TX2对应发射天线，RX1，RX2，RX3和RX4对应接收天线。
该实施例中设置的应用场景的最大测量距离dmax为1.2m，最大测量速度vmax为5m/s，雷达参数包括发射天线数NTx为2、接收天线数NRx为4、调频起始频率f1为77GHz、调频斜率Ks为124.92MHz/us、调频周期Tc为189.76us、每帧调频周期数Nc为128、每个调频周期采样数Nadc为32、帧周期Tf为48.6ms、ADC采样周期Tadc为32us、ADC采样率Fs为1MHz，调频带宽B为3.9976GHz、载波波长λ为3.8mm，由此确定的距离分辨率dres为3.75cm，速度分辨率vres为3.91cm/s，帧率为20.6。
该实施例定义的微动手势如图3所示，包括食指双击、食指顺时针旋转、食指逆时针旋转、食指拇指分开、食指拇指并拢、拇指在食指上前搓动和拇指在食指上后搓动等7种小幅度动作手势，对应的控制功能为：确认、音量加、音量减、放大、缩小、亮度加和亮度减。
该实施例中微动手势特征提取过程中设置的判定是否存在运动手势的振幅阈值Q1为-75dB。
该实施例中利用毫米波雷达得到的7种微动手势的固定长度帧窗内距离多普勒特征如图4所示，每种动作获得200张特征图片。
该实施例设计的神经网络结构如图6所示，包含3个卷积层，每一卷积层后分别连接1个RELU激活函数层、1个批标准化层和1个池化层，后接2个全连接层，第1个全连接层连接1个dropout层，第2个全连接层连接第4个RELU激活函数层，最后是softmax层输出分类结果和相似度分布数组，将7类手势、每类200张特征图片构成的手势数据集输入设计的神经网络中，训练测试比为8:2，进行参数调优得到最佳的训练过程和分类准确率，在最优参数下，训练得到分类模型并保存。
该实施例对7种小幅度动作手势的平均分类准确率如图5所示，平均分类准确率高达99.3％，验证了本发明提出的基于毫米波雷达和卷积神经网络的微动手势识别方法的有效性。

Claims (8)

1.一种基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在于，具体步骤如下：
(1)根据应用场景设计雷达参数和微动手势；
(2)利用毫米波雷达发射具有确定雷达参数的线性调频信号同时接收人体手部反射的回波信号，与发射信号进行差频后进行ADC采样得到数字中频信号；
(3)对数字中频信号进行处理，计算微动手势的特征参数；
(4)选取某一特征，建立多种手势的数据集；
(5)针对毫米波雷达特征图像设计卷积神经网络，输入手势数据集训练该卷积神经网络得到分类模型；
(6)调用分类模型实现多种手势的分类识别；
步骤(1)中所述的雷达参数包括发射天线数NTx、接收天线数NRx、调频起始频率f1、调频斜率Ks、调频周期Tc、每帧调频周期数Nc、帧周期Tf、ADC采样周期Tadc、ADC采样率Fs，这些参数根据应用场景的最大测量距离dmax、最大测量速度vmax、距离分辨率dres与速度分辨率vres、帧率frate作为指标来确定，公式为：
其中，c为光速，λ为调频中心频率对应波长，B为调频带宽，B由调频斜率Ks和ADC采样周期Tadc共同确定：
B＝Ks×Tadc                                                 (6)
λ由调频起始频率f1和调频带宽B确定：
帧周期Tf需要满足：
Tf≥Nc×Tc                                                  (8)
对于采用时分复用(TDM)的多发多收(MIMO)方式，帧周期Tf满足：
Tf≥NTx×Nc×Tc                                             (9)
所述的微动手势，其运动特征表现为手部整体基本不动或存在不明显的运动，为一根或几根手指发生运动。
2.根据权利要求1所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在于，步骤(2)中所述的利用毫米波雷达发射信号同时接收人体手部反射的回波信号，与发射信号进行差频后进行ADC采样，得到数字中频信号的流程是：利用某一频段的毫米波雷达经NTx个发射天线发射周期性的线性调频信号，调频起始频率为f1，调频斜率为Ks，调频周期为Tc，调频带宽为B，每帧调频周期数为Nc，帧周期为Tf，经NRx个接收天线接收人体手部反射回来的NTx×NRx个通道的回波信号，分别与发射信号进行差频后，进行ADC采样，得到NTx×NRx个通道的数字中频信号数据，ADC采样周期为Tadc、ADC采样率为Fs。
3.根据权利要求1或2所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在于，步骤(3)中所述的对数字中频信号进行处理，计算微动手势的特征参数过程，包含以下几个子步骤：
a.根据设置的雷达参数，将每一通道的数字中频信号数据分为多个帧周期，每个帧周期包含Nc个调频周期的中频采样信号，每个调频周期包含Nadc个复数采样点，Nadc由ADC采样周期Tadc和ADC采样率Fs共同确定：
Nadc＝Fs×Tadc                                               (10)
b.对任一通道、任一帧周期内的每个调频周期数据做快速傅里叶变换FFT，得到不同调频周期的一维距离像；
c.根据应用场景确定的感兴趣距离范围对一维距离像进行距离像滤波，即截取感兴趣距离范围内的Na_ROI个距离点，从而过滤感兴趣距离范围外的背景噪声；
d.根据感兴趣距离范围内存在运动手部和存在静止手部两种情况对应的距离多普勒振幅差异，设定振幅阈值Q1，阈值略大于存在静止手部时距离多普勒振幅的最大值，当感兴趣距离范围内一维距离像中的最大振幅大于阈值Q1时，判定存在有效目标，根据最大振幅的位置可确定目标距离，否则判定不存在有效目标；目标距离对应的各通道振幅、相位和通道间相位差随调频周期Tc的变化均可作为微动手势的特征；
e.对任一通道、任一帧周期内的Nc个调频周期的感兴趣距离范围内的每一距离点，其对应的复振幅数据做FFT，得到每一距离对应的速度或多普勒频移分布，进而根据应用场景选取感兴趣速度范围的Nc_ROI个速度点，得到尺寸为Na_ROI×Nc_ROI的二维距离多普勒分布，对所有通道的距离多普勒分布进行非相干叠加平均，得到感兴趣区域内多通道平均的二维距离多普勒分布，作为手势的距离多普勒谱参数；
f.对通道平均的二维距离多普勒分布进行单元平均恒虚警检测CA-CFAR，得到单个目标点，作为估计手势的关键点，根据目标点位置得到目标距离和目标速度，其中目标距离对应的多普勒分布作为手势的多普勒谱参数；目标速度对应的距离分布作为手势的距离谱参数；
g.目标点位置对应Ntx×Nrx个通道的复振幅数据，根据Ntx个发射天线和Nrx个接收天线的位置计算Ntx×Nrx个通道的等效相位中心位置，若水平或垂直方向存在大于一个的等效相位中心，则利用两个等效相位中心对应的两个通道数据之间的相位差来估计目标相对于雷达天线阵列平面的方位角或仰角，其中相位差与到达角θ和两个通道的等效相位中心之间距离Δd的关系是：
从而可求得方位角或仰角为：
4.根据权利要求3所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在于，步骤(4)中所述的选取某一特征，建立多种手势的数据集，是通过设置长度为Nf帧的固定滑动帧窗，距离多普勒谱、距离、速度、距离谱、多普勒谱、方位角和仰角参数在滑动帧窗内的变化作为最终的手势特征，通过检测手势的开始与结束帧，在滑动帧窗内捕捉完整的手势并保存手势特征，针对任一手势特征，每一微动手势重复多次，保存多组手势特征数据，从而建立Nclass类手势的特征数据集，用于后续手势分类模型的训练。
5.根据权利要求4所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在于，步骤(5)中所述的针对毫米波雷达特征图像设计卷积神经网络，输入手势数据集训练得到分类模型，是根据雷达特征图像的尺寸、单个颜色通道、特征区域分布特点，搭建轻量化的卷积神经网络，将任一特征的手势数据集输入设计的卷积神经网络中，进行参数调优，得到最佳的训练过程和结果，在最优参数下，训练得到分类模型并保存。
6.根据权利要求5所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在于，步骤(5)中设计的卷积神经网络结构为：有3个卷积层，每一卷积层后分别连接1个RELU激活函数层、1个批标准化层和1个池化层；3个卷积层后接2个全连接层，第1个全连接层连接1个dropout层，第2个全连接层连接第4个RELU激活函数层；最后是softmax层，用于输出分类结果和相似度分布数组。
7.根据权利要求6所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在于，步骤(6)中所述的调用分类模型实现多种手势的分类识别，是在完成手部雷达回波的数据处理，得到固定长度滑动帧窗内的手势特征后，调用训练好的分类模型，得到该动作特征与训练集中各类手势特征的相似度，若与某类手势特征的相似度大于设定的相似度阈值Q2，判定为该类手势，否则判定为无效动作，相似度阈值可通过调用分类模型对全部数据集进行测试后确定。
8.根据权利要求3或7所述的基于毫米波雷达和卷积神经网络的微动手势识别方法，其特征在于，所采用数字中频信号处理和调用分类模型进行手势识别的装置为计算机、平板电脑、智能手机、智能手表、智能家电。
CN201911054117.7A 2019-10-31 2019-10-31 基于毫米波雷达和卷积神经网络的微动手势识别方法 Active CN110765974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911054117.7A CN110765974B (zh) 2019-10-31 2019-10-31 基于毫米波雷达和卷积神经网络的微动手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911054117.7A CN110765974B (zh) 2019-10-31 2019-10-31 基于毫米波雷达和卷积神经网络的微动手势识别方法

Publications (2)

Publication Number Publication Date
CN110765974A CN110765974A (zh) 2020-02-07
CN110765974B true CN110765974B (zh) 2023-05-02

Family

ID=69335732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911054117.7A Active CN110765974B (zh) 2019-10-31 2019-10-31 基于毫米波雷达和卷积神经网络的微动手势识别方法

Country Status (1)

Country Link
CN (1) CN110765974B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382702B (zh) * 2020-03-09 2024-01-02 深圳大学 手势识别方法、装置、移动终端和存储介质
JP2021152727A (ja) * 2020-03-24 2021-09-30 ブラザー工業株式会社 プログラムおよび電子デバイス
CN113495267B (zh) 2020-04-07 2024-06-21 北京小米移动软件有限公司 雷达天线阵列、移动终端、手势识别方法及装置
WO2021068470A1 (zh) 2020-04-09 2021-04-15 浙江大学 一种基于雷达信号的身份及手势识别方法
CN111738060A (zh) * 2020-05-07 2020-10-02 复旦大学 基于毫米波雷达的人体步态识别系统
CN111612753B (zh) * 2020-05-15 2021-08-06 北京百度网讯科技有限公司 三维物体检测方法、装置、电子设备和可读存储介质
CN111856422A (zh) * 2020-07-03 2020-10-30 西安电子科技大学 基于宽带多通道毫米波雷达的唇语识别方法
CN111813224B (zh) * 2020-07-09 2022-03-25 电子科技大学 一种基于超高分辨率雷达精细手势库的建立与识别方法
CN111857354A (zh) * 2020-08-04 2020-10-30 RealMe重庆移动通信有限公司 解锁方法、装置、电子设备以及存储介质
CN112130133A (zh) * 2020-08-26 2020-12-25 南京熊猫电子制造有限公司 一种基于毫米波雷达的人机交互方法
CN112034446A (zh) * 2020-08-27 2020-12-04 南京邮电大学 一种基于毫米波雷达的手势识别系统
CN112069483A (zh) * 2020-09-14 2020-12-11 中国科学技术大学 一种智能可穿戴设备的用户识别认证方法
CN112254802B (zh) * 2020-10-13 2022-05-17 中国人民解放军国防科技大学 基于毫米波雷达相位测距的语音重构方法
CN112435495A (zh) * 2020-11-23 2021-03-02 北京千乘科技有限公司 基于毫米波雷达发射强度自动化测试系统
CN112198966B (zh) * 2020-12-08 2021-03-16 中南大学 基于fmcw雷达系统的笔画识别方法以及系统
CN114661142A (zh) * 2020-12-22 2022-06-24 华为技术有限公司 一种手势识别方法以及装置
CN112612365B (zh) * 2020-12-25 2023-02-17 深圳大学 手势识别方法、装置、电子设备和存储介质
CN112799509B (zh) * 2021-01-25 2024-06-07 深圳大学 一种基于声波感知的手势输入方法和系统
CN114005246B (zh) * 2021-01-29 2024-01-30 江苏中科西北星信息科技有限公司 一种基于调频连续波毫米波雷达的老人跌倒检测方法及装置
CN113031777A (zh) * 2021-03-26 2021-06-25 深圳市华杰智通科技有限公司 基于手势识别的密码输入控制装置
CN113031778A (zh) * 2021-03-26 2021-06-25 深圳市华杰智通科技有限公司 基于手势识别的人机界面控制装置
US11804077B2 (en) * 2021-04-01 2023-10-31 KaiKuTek Inc. Generic gesture detecting method and generic gesture detecting device
CN113267773B (zh) * 2021-04-14 2023-02-21 北京航空航天大学 一种基于毫米波雷达的室内人员准确检测和精确定位方法
CN113762130B (zh) * 2021-09-01 2024-02-13 东南大学 一种毫米波雷达手势检测识别方法
CN114280565A (zh) * 2021-11-12 2022-04-05 苏州豪米波技术有限公司 一种基于毫米波雷达的手势识别方法
CN115643485B (zh) * 2021-11-25 2023-10-24 荣耀终端有限公司 拍摄的方法和电子设备
CN114511873B (zh) * 2021-12-16 2024-04-23 清华大学 基于毫米波雷达成像的静态手势识别方法及装置
CN114841291B (zh) * 2022-07-01 2022-09-30 山东大学 一种基于毫米波的非接触物质检测方法
CN115856881B (zh) * 2023-01-12 2023-05-12 南京邮电大学 一种基于动态轻量级网络的毫米波雷达行为感知方法
CN117519474B (zh) * 2023-11-06 2024-05-14 中国人民解放军陆军工程大学 一种考虑运动先验的雷达手势特征获取方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262653A (zh) * 2018-03-12 2019-09-20 东南大学 一种基于卷积神经网络的毫米波传感器手势识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11204647B2 (en) * 2017-09-19 2021-12-21 Texas Instruments Incorporated System and method for radar gesture recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262653A (zh) * 2018-03-12 2019-09-20 东南大学 一种基于卷积神经网络的毫米波传感器手势识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王俊 ; 郑彤 ; 雷鹏 ; 张原 ; 樵明朗.基于卷积神经网络的手势动作雷达识别方法.北京航空航天大学学报.2018,(第006期),全文. *

Also Published As

Publication number Publication date
CN110765974A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110765974B (zh) 基于毫米波雷达和卷积神经网络的微动手势识别方法
US11061115B2 (en) Method for gesture recognition, terminal, and storage medium
Yang et al. MU-ID: Multi-user identification through gaits using millimeter wave radios
US11204647B2 (en) System and method for radar gesture recognition
Li et al. Towards domain-independent and real-time gesture recognition using mmwave signal
Khalaf et al. Survey On Recognition Hand Gesture By Using Data Mining Algorithms
Yang et al. Hand gesture recognition based on trajectories features and computation-efficient reused LSTM network
CN110687816A (zh) 基于毫米波雷达的智能家居控制系统和方法
CN111476058A (zh) 一种基于毫米波雷达的手势识别方法
Wang et al. Symbiotic sensing and communications towards 6G: Vision, applications, and technology trends
CN114661142A (zh) 一种手势识别方法以及装置
CN114814775A (zh) 基于ResNet网络的雷达跌倒检测方法及设备
CN113064483A (zh) 一种手势识别方法以及相关装置
Gan et al. Gesture recognition system using 24 GHz FMCW radar sensor realized on real-time edge computing platform
CN115792897A (zh) 一种基于fmcw雷达的低复杂度多手势识别方法及系统
Liu et al. A robust hand gesture sensing and recognition based on dual-flow fusion with FMCW radar
CN114708663A (zh) 一种基于少样本学习的毫米波雷达感知手势识别方法
CN115951320A (zh) 使用一个或多个时间序列的基于雷达的运动分类
CN116125458A (zh) 一种基于毫米波雷达的人员定位方法
Qian et al. Parallel LSTM-CNN network with radar multispectrogram for human activity recognition
Liu et al. A multimodal dynamic hand gesture recognition based on radar–vision fusion
Jin et al. Interference-robust millimeter-wave radar-based dynamic hand gesture recognition using 2D CNN-transformer networks
Qu et al. Dynamic hand gesture classification based on multichannel radar using multistream fusion 1-D convolutional neural network
Ninos et al. Multi-user macro gesture recognition using mmwave technology
Waqar et al. Direction-independent human activity recognition using a distributed MIMO radar system and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant