CN112764002B - 一种基于可变形卷积的fmcw雷达手势识别方法 - Google Patents

一种基于可变形卷积的fmcw雷达手势识别方法 Download PDF

Info

Publication number
CN112764002B
CN112764002B CN202110015494.0A CN202110015494A CN112764002B CN 112764002 B CN112764002 B CN 112764002B CN 202110015494 A CN202110015494 A CN 202110015494A CN 112764002 B CN112764002 B CN 112764002B
Authority
CN
China
Prior art keywords
convolution
gesture
deformable
fmcw radar
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110015494.0A
Other languages
English (en)
Other versions
CN112764002A (zh
Inventor
王裕沛
董锡超
赵泽玮
曾涛
隋仪
王圣元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Original Assignee
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Chongqing Innovation Center of Beijing University of Technology filed Critical Beijing Institute of Technology BIT
Priority to CN202110015494.0A priority Critical patent/CN112764002B/zh
Publication of CN112764002A publication Critical patent/CN112764002A/zh
Application granted granted Critical
Publication of CN112764002B publication Critical patent/CN112764002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供一种基于可变形卷积的FMCW雷达手势识别方法，通过利用FMCW雷达采集待测手势数据；对待测手势数据进行2D‑FFT处理，得到距离‑多普勒RD图；对距离‑多普勒RD图进行空间维FFT处理，获取角度估计；将距离‑多普勒RD图中的幅值用角度估计替代，生成距离‑速度‑角度信息的RDA图；将RDA图作为输入，利用改进的C3D网络模型，输出得到待测手势的类型；其中，改进的C3D网络模型基于标定的手势类型的雷达数据进行训练得到，其至少一个卷积层包括一路标准卷积结构和一路是可变形卷积残差结构。本方案首先基于雷达数据处理生成RDA)，简洁高效融合手势多维时空特征；同时采用时空可变形卷积，增强了建模能力，改善了手势识别网络的性能。

Description

一种基于可变形卷积的FMCW雷达手势识别方法
技术领域
本发明涉及通信技术领域，尤其涉及一种基于可变形卷积的FMCW雷达手势识别方法。
背景技术
手势识别技术在人机交互领域具有重要的应用价值，可用于智能家居、智能驾驶等多种应用场景。目前，基于雷达的智能化手势识别方法，首先采用信号处理技术提取手势的距离、多普勒和角度等物理信息，然后将这些信息输入卷积神经网络，进一步提取特征、融合特征，最终实现多种手势的识别。
现有的基于雷达的智能化手势识别方法，采用的信号处理技术通常独立地提取手势距离、多普勒、角度信息，尤其是在进行角度估计时，常采用计算复杂度高、运算量大的MUSIC算法。虽然MUSIC算法是一种高分辨DOA估计算法，但区分大幅度运动的手势往往不需要很高的角度分辨率。之后使用多个并行的处理架构分别进行信息提取，再进行特征级融合或决策级融合。上述方法未充分挖掘手势距离、多普勒、角度信息间的关联特征，在手势类间差异性大、类内差异性小、需要多用户进行手势操作等复杂场景下，表达手势特征的能力不足，影响最终的手势识别准确率；雷达采集的手势数据，存在手势运动带来尺度变换、比例变换和旋转变换等几何形变特征。传统卷积神经网络通常采用标准卷积操作，但标准卷积的采样点位置固定，针对几何形变的建模能力不强；另外，传统卷积神经网络通常采用堆叠标准卷积模块或者扩大单次卷积操作的卷积核大小的方式来扩大感受野，但同时会带来大量的参数冗余。
发明内容
本发明提供的一种基于可变形卷积的FMCW雷达手势识别方法，主要解决的技术问题是：标准卷积采样位置固定，建模能力弱，影响模型识别性。
为解决上述技术问题，本发明提供一种基于可变形卷积的FMCW雷达手势识别方法，包括：
利用FMCW雷达采集待测手势数据；
对所述待测手势数据进行2D-FFT处理，得到距离-多普勒RD图；
对所述距离-多普勒RD图进行空间维FFT处理，获取角度估计；
将所述距离-多普勒RD图中的幅值用所述角度估计替代，生成距离-速度-角度信息的RDA图；
将所述RDA图作为输入，利用改进的C3D网络模型，输出得到待测手势的类型；其中，所述改进的C3D网络模型基于标定的手势类型的雷达数据进行训练得到，其至少一个卷积层包括一路标准卷积结构和一路是可变形卷积残差结构。
可选的，在所述对所述待测手势数据进行2D-FFT处理之前，还包括：对所述待测手势数据进行相邻帧对消和时域补零；所述相邻帧对消指的是用后一帧的雷达信号Xk+1减去前一帧的雷达信号Xk，得到帧差信号X’k。
可选的，在所述将所述距离-多普勒RD图中的幅值用所述角度估计替代之前，还包括：选取手势活动区域，对所述RD图作固定门限检测，将信号强度值大于门限阈值的分辨单元保留，将小于所述门限阈值的分辨单元的信号强度值设为0。
可选的，所述门限阈值设置为0.4。
可选的，所述改进的C3D网络模型改进方法包括：
将标准C3D网络的某一卷积层conv4-1划分为两条支路，第一条支路仍保持为标准卷积与下一卷积层conv4-2连接,第二条支路为残差结构的可变形卷积；
对两条支路各自输出的特征图X1、X2在通道维进行拼接，之后经过一个卷积核大小为1x1x1的卷积层conv4-3，调整输出通道数与下一卷积层conv5-1输入通道数一致。
可选的，所述改进的C3D网络模型改进方法还包括：
将所述卷积层conv5-1划分为两条支路，第一条支路仍保持为标准卷积与下一卷积层conv5-2连接,第二条支路为残差结构的可变形卷积；
对两条支路各自输出的特征图X3、X4在通道维进行拼接，之后经过一个卷积核大小为1x1x1的卷积层conv5-3,调整输出通道数与下面的池化层输入通道数一致。
可选的，所述标准卷积结构为：
Figure BDA0002886628650000031
其中p0表示输出特征图上任意位置，pn表示采样区域中的第n个采样点，w(pn)表示pn的权重；
可变形卷积残差结构为：
Figure BDA0002886628650000032
所述Δpn表示pn的偏移量，由卷积核大小为3x3x3的卷积层学习得到。
可选的，所述手势类型包括：左划、右划、左右划、推右、推拉、前推、后移、右左划、推左、拉推。
本发明的有益效果是：
根据本发明提供的一种基于可变形卷积的FMCW雷达手势识别方法，通过利用FMCW雷达采集待测手势数据；对待测手势数据进行2D-FFT处理，得到距离-多普勒RD图；对距离-多普勒RD图进行空间维FFT处理，获取角度估计；将距离-多普勒RD图中的幅值用角度估计替代，生成距离-速度-角度信息的RDA图；将RDA图作为输入，利用改进的C3D网络模型，输出得到待测手势的类型；其中，改进的C3D网络模型基于标定的手势类型的雷达数据进行训练得到，其至少一个卷积层包括一路标准卷积结构和一路是可变形卷积残差结构。本方案首先将雷达数据经信号处理流程处理成联合编码手势距离、速度、角度信息的距离-速度-角度图(RDA图)，简洁高效融合手势多维时空特征；同时设计手势识别网络，采用时空可变形卷积代替标准3D卷积操作，增强了模型对于手势雷达数据中时空形变的建模能力，改善了手势识别网络的性能。
附图说明
图1为本发明的基于可变形卷积的FMCW雷达手势识别方法示意图；
图2为本发明的信号处理流程示意图；
图3为本发明的手势图；
图4为本发明的可变形卷积原理示意图；
图5为本发明的C3D网络结构示意图；
图6为本发明的一种改进结果处理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一：
本实施例提供一种基于可变形卷积的FMCW雷达手势识别方法，请参见图1-2，主要包括如下步骤：
S101、利用FMCW雷达采集待测手势数据；
S102、对待测手势数据进行2D-FFT处理，得到距离-多普勒RD图；
S103、对距离-多普勒RD图进行空间维FFT处理，获取角度估计；
S104、将距离-多普勒RD图中的幅值用角度估计替代，生成距离-速度-角度信息的RDA图；
S105、将RDA图作为输入，利用改进的C3D网络模型，输出得到待测手势的类型；其中，改进的C3D网络模型基于标定的手势类型的雷达数据进行训练得到，其至少一个卷积层包括一路标准卷积结构和一路是可变形卷积残差结构。
利用2发4收(Multiple-Input-Multiple-Output，多输入多输出)体制的AWR1642雷达采集十种常见手势，参见图3所示，在MIMO体制下，M发N收的天线阵列可以等效为1发MxN收的虚拟接收天线阵列，因此可以将2发4收的天线阵列等效为1发8收的天线阵列。将8个虚拟接收天线的雷达差拍基带信号先经过相邻帧对消和补零操作，相邻帧对消操作是指相邻的两帧雷达信号中，用后一帧的雷达信号Xk+1减去前一帧的雷达信号Xk，得到帧差信号X’k,可表示为：
Figure BDA0002886628650000051
其中，m、n分别表示一帧雷达信号横轴和纵轴的像素点数，补零操作则是将雷达信号在时域进行补零，使得频谱谱线更加密集，有利于手势目标的检测；再进行2D-FFT，得到距离-多普勒RD图；对RD图的每一个分辨单元进行空间维FFT获取手势角度估计；之后，选取感兴趣范围(即手势活动的范围)，对RD图做固定门限检测，本实施例中设置门限阈值为0.4，固定门限检测将信号强度值大于0.4的分辨单元保留下来，而将强度小的分辨单元强度值设为0，将检测出的分辨单元幅值替换为估计的角度信息，得到编码手势距离、速度、角度信息的RDA图。每做一次手势，经雷达信号处理后，处理得到多帧RDA图，多帧连续的RDA图联合编码了手势运动的时空特征。
针对多帧RDA图可在时空域联合对手势动作编码的特点，选取以3D卷积为基础的C3D网络为主干网络，并通过引入时空可变形卷积对C3D网络进行改进。请参见如下表1所示：
表1
Figure BDA0002886628650000052
Figure BDA0002886628650000061
原始C3D网络包括5个卷积池化层，2个全连接层，在第一和第二个卷积池化层中，对输入进行了一次卷积和一次池化，在后三个卷积池化层中，进行两次卷积和一次池化，全连接层连接最后一个池化。因此，网络包含了8次标准卷积(conv1,conv2,conv3-1,conv3-2,conv4-1,conv4-2,conv5-1,conv5-2)，5次池化(pool1,pool2,pool3,pool4,pool5)。标准3D卷积的特征提取过程分为规则化采样和采样点处加权求和两步，以3x3x3标准卷积核为例，标准3D卷积操作可由下面的公式描述：
Figure BDA0002886628650000062
其中p0表示输出特征图上任意位置，pn表示3x3x3采样区域G(G＝{(-1,-1,-1),(-1,-1,0),…,(1,1,0),(1,1,1)})中的第n个采样点，w(pn)表示pn的权重。而本方案利用3D时空可变形卷积，通过引入偏移量{Δpn|n＝1,2,...,N}(其中N为卷积核采样点个数)，将式(2)的标准3D卷积改进可变形卷积为：
Figure BDA0002886628650000063
Δpn表示pn的偏移量。偏移量的计算也是通过卷积操作得到的，随着训练过程，偏移量会不断学习不断迭代。比如采样点pn处偏移量Δpn可表示为
Figure BDA0002886628650000064
wq(qm)表示采样点qm的权重。
3D时空可变形卷积的采样是在不规则的区域上进行的，偏移量通常情况下为分数。因此，公式(3)可通过插值算法(如三线性插值)来实现。
请参见图4，3D时空可变形卷积示意图，输入特征图维度CxTxHxW，规则的立方体代表标准3x3x3卷积的采样点，而规则立方体周围与虚线相连接的发散小立方体代表3D时空可变形卷积的采样点。偏移量由一个由卷积核大小为3x3x3的卷积层学习得到，其维度为3NxTxHxW(N＝27)。
请参见图5，具体地，本实施例引入3D时空可变形卷积，对原始C3D网络改进方法如下(对其中一层卷积层进行改进)：
(1)将标准C3D网络的某一卷积层conv4-1划分为两条支路，第一条支路仍保持为conv4-2，第二条支路为残差结构的可变形卷积(res_deformable_conv4-2)；
(2)对两条支路各自输出的特征图X1，X2在通道维进行拼接，之后经过一个卷积核大小为1x1x1的普通卷积层(conv4-3，输入通道数1024，输出通道数512)，调整输出通道数，连接到下一层卷积层(Conv5-1)。
本实施例中，在10种手势、由86名实验人员采集的61215组数据上进行实验，随机选取60％做训练集，20％做验证集，其余为测试集。原始的C3D网络，在测试集上准确率为90.9％，引入3D时空可变形卷积改进一层卷积层的C3D网络，在测试集上准确率为92.2％。
可选的，在本发明的其他实施例中，对原始C3D网络改进方法包括(对两层卷积层进行改进)：
(1)将标准C3D网络的某一卷积层conv4-1划分为两条支路，第一条支路仍保持为conv4-2，第二条支路为残差结构的可变形卷积(res_deformable_conv4-2)；
(2)对两条支路各自输出的特征图X1，X2在通道维进行拼接，之后经过一个卷积核大小为1x1x1的普通卷积层(conv4-3，输入通道数1024，输出通道数512)，调整输出通道数，连接到下一层卷积层(Conv5-1)；
(3)类似地，在conv5-1之后分两条支路，第一条支路仍保持为conv5-2,第二条支路为残差结构的可变形卷积网络(res_deformable_conv5-2)；
(4)对两条支路各自输出的特征图X3，X4在通道维进行拼接，之后经过一个卷积核大小为1x1x1的普通卷积层(conv5-3，输入通道数1024，输出通道数512)，调整输出通道数，连接到下面的池化层pool5。
请参见图6，某后移手势中的4帧数据，圆圈出的是感兴趣的目标，框圈出的是身体等杂波。
本实施例中，在10种手势、由86名实验人员采集的61215组数据上进行实验，随机选取60％做训练集，20％做验证集，其余为测试集。原始的C3D网络，在测试集上准确率为90.9％，引入3D时空可变形卷积改进两层卷积层的C3D网络，在测试集上准确率为92.5％。
可见本发明设计了一种信号处理简单有效、识别准确率高的基于可变形卷积的雷达手势识别方法，通过引入3D时空可变形卷积，增强了手势识别网络对于几何形变的建模能力。实验结果表明，该手势识别方法的识别准确率得到了提升。
本发明相较于之前的方法，本方法采用一种简单、高效的信号处理算法，联合编码手势距离、速度、角度信息；并且，与其他利用标准卷积的方法不同，本方法在网络结构中，通过添加可变形卷积模块来扩大感受野，提高模型对于时空形变的表达能力。
显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于可变形卷积的FMCW雷达手势识别方法，其特征在于，包括：
利用FMCW雷达采集待测手势数据；
对所述待测手势数据进行2D-FFT处理，得到距离-多普勒RD图；
对所述距离-多普勒RD图进行空间维FFT处理，获取角度估计；
将所述距离-多普勒RD图中的幅值用所述角度估计替代，生成距离-速度-角度信息的RDA图；
将所述RDA图作为输入，利用改进的C3D网络模型，输出得到待测手势的类型；其中，所述改进的C3D网络模型基于标定的手势类型的雷达数据进行训练得到，其至少一个卷积层包括一路标准卷积结构和一路可变形卷积残差结构；对两路支路各自输出的特征图在通道维进行拼接，之后经过一个卷积核大小为1x1x1的卷积层，调整输出通道与下一卷积层/池化层输入通道数一致。
2.如权利要求1所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，在所述对所述待测手势数据进行2D-FFT处理之前，还包括：对所述待测手势数据进行相邻帧对消和时域补零；所述相邻帧对消指的是用后一帧的雷达信号Xk+1减去前一帧的雷达信号Xk，得到帧差信号X’k。
3.如权利要求1所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，在所述将所述距离-多普勒RD图中的幅值用所述角度估计替代之前，还包括：选取手势活动区域，对所述RD图作固定门限检测，将信号强度值大于门限阈值的分辨单元保留，将小于所述门限阈值的分辨单元的信号强度值设为0。
4.如权利要求3所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，所述门限阈值设置为0.4。
5.如权利要求1所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，所述改进的C3D网络模型改进方法包括：
将标准C3D网络的某一卷积层conv4-1划分为两条支路，第一条支路仍保持为标准卷积与下一卷积层conv4-2连接,第二条支路为残差结构的可变形卷积；
对两条支路各自输出的特征图X1、X2在通道维进行拼接，之后经过一个卷积核大小为1x1x1的卷积层conv4-3，调整输出通道数与下一卷积层conv5-1输入通道数一致。
6.如权利要求5所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，所述改进的C3D网络模型改进方法还包括：
将所述卷积层conv5-1划分为两条支路，第一条支路仍保持为标准卷积与下一卷积层conv5-2连接,第二条支路为残差结构的可变形卷积；
对两条支路各自输出的特征图X3、X4在通道维进行拼接，之后经过一个卷积核大小为1x1x1的卷积层conv5-3,调整输出通道数与下面的池化层输入通道数一致。
7.如权利要求1-6任一项所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，所述标准卷积结构为：
Figure FDA0003733572720000021
其中p0表示输出特征图上任意位置，pn表示采样区域中的第n个采样点，w(pn)表示pn的权重；
可变形卷积残差结构为：
Figure FDA0003733572720000022
所述Δpn表示pn的偏移量，由卷积核大小为3x3x3的卷积层学习得到。
8.如权利要求7所述的基于可变形卷积的FMCW雷达手势识别方法，其特征在于，所述手势类型包括：左划、右划、左右划、推右、推拉、前推、后移、右左划、推左、拉推。
CN202110015494.0A 2021-01-07 2021-01-07 一种基于可变形卷积的fmcw雷达手势识别方法 Active CN112764002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110015494.0A CN112764002B (zh) 2021-01-07 2021-01-07 一种基于可变形卷积的fmcw雷达手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110015494.0A CN112764002B (zh) 2021-01-07 2021-01-07 一种基于可变形卷积的fmcw雷达手势识别方法

Publications (2)

Publication Number Publication Date
CN112764002A CN112764002A (zh) 2021-05-07
CN112764002B true CN112764002B (zh) 2022-09-30

Family

ID=75700348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110015494.0A Active CN112764002B (zh) 2021-01-07 2021-01-07 一种基于可变形卷积的fmcw雷达手势识别方法

Country Status (1)

Country Link
CN (1) CN112764002B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406610B (zh) * 2021-06-16 2023-06-23 深圳大学 一种目标检测方法、装置、设备和存储介质
TWI804072B (zh) * 2021-11-26 2023-06-01 國立陽明交通大學 使用毫米波雷達的即時物件運動狀態辨識方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271838A (zh) * 2018-07-19 2019-01-25 重庆邮电大学 一种基于fmcw雷达的三参数特征融合手势识别方法
CN109829509A (zh) * 2019-02-26 2019-05-31 重庆邮电大学 基于融合神经网络的雷达手势识别方法
CN110705501A (zh) * 2019-10-14 2020-01-17 重庆邮电大学 一种提升fmcw雷达手势识别精度的干扰抑制算法
CN111027458A (zh) * 2019-08-28 2020-04-17 深圳大学 基于雷达三维轨迹特征的手势识别方法、装置及存储介质
CN111475030A (zh) * 2020-05-25 2020-07-31 北京理工大学 一种利用近红外传感器的微手势识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9817109B2 (en) * 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
CN110110682B (zh) * 2019-05-14 2023-04-18 西安电子科技大学 遥感图像的语义立体重构方法
KR20200144862A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 레이더의 해상도 향상 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271838A (zh) * 2018-07-19 2019-01-25 重庆邮电大学 一种基于fmcw雷达的三参数特征融合手势识别方法
CN109829509A (zh) * 2019-02-26 2019-05-31 重庆邮电大学 基于融合神经网络的雷达手势识别方法
CN111027458A (zh) * 2019-08-28 2020-04-17 深圳大学 基于雷达三维轨迹特征的手势识别方法、装置及存储介质
CN110705501A (zh) * 2019-10-14 2020-01-17 重庆邮电大学 一种提升fmcw雷达手势识别精度的干扰抑制算法
CN111475030A (zh) * 2020-05-25 2020-07-31 北京理工大学 一种利用近红外传感器的微手势识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hazra, S.等."Radar gesture recognition system in presence of interference using self-attention neural network".《2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA)》.2020, *
夏朝阳等."基于多通道调频连续波毫米波雷达的微动手势识别".《电子与信息学报》.2020,第42卷(第1期), *
阮宏洋等."C-3D可变形卷积神经网络模型的肺结节检测".《激光与光电子学进展》.2020,第57卷(第4期), *

Also Published As

Publication number Publication date
CN112764002A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
Li et al. Deep learning for remote sensing image classification: A survey
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
Li et al. Mimicking very efficient network for object detection
Chen et al. Local patch network with global attention for infrared small target detection
CN112764002B (zh) 一种基于可变形卷积的fmcw雷达手势识别方法
CN108520203B (zh) 基于融合自适应多外围框与十字池化特征的多目标特征提取方法
CN111523546A (zh) 图像语义分割方法、系统及计算机存储介质
CN109902601B (zh) 一种结合卷积网络和递归网络的视频目标检测方法
CN111523447B (zh) 车辆跟踪方法、装置、电子设备及存储介质
CN111860398A (zh) 遥感图像目标检测方法、系统及终端设备
CN113743269B (zh) 一种轻量化识别视频人体姿态的方法
Wang et al. MCF3D: Multi-stage complementary fusion for multi-sensor 3D object detection
Yang et al. Learning relation by graph neural network for SAR image few-shot learning
Wang et al. Multi‐scale pedestrian detection based on self‐attention and adaptively spatial feature fusion
Nayan et al. Real time detection of small objects
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
Lin et al. Semantic segmentation network with multi-path structure, attention reweighting and multi-scale encoding
CN108496174B (zh) 用于面部识别的方法和系统
CN114663798A (zh) 一种基于强化学习的单步视频内容识别方法
CN116953702A (zh) 基于演绎范式的旋转目标检测方法及装置
CN111461267B (zh) 一种基于rfid技术的手势识别方法
CN116894207A (zh) 一种基于Swin Transformer和迁移学习的智能辐射源识别方法
Wang et al. Multi‐level feature fusion network for crowd counting
CN110689053A (zh) 样本数据的处理方法和计算机存储介质
CN114519384B (zh) 一种基于稀疏sar幅度-相位图像数据集的目标分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant