CN115063884B - 基于多域融合深度学习的毫米波雷达头部动作识别方法 - Google Patents

Abstract

本发明公开了一种基于多域融合深度学习的毫米波雷达头部动作识别方法，包括以下步骤：步骤1、采集人的头部动作数据；步骤2、预处理，得到时间‑距离图、时间‑多普勒图；步骤3、对时间‑距离图进行特征提取；步骤4、对多通道时间‑多普勒图进行特征提取；步骤5、将提取到的距离特征和时频特征混合后，进行二维卷积；步骤6、采用空间注意力机制和通道注意力机制进行权重分配；步骤7、在全连接层中间加入dropout层。本发明利用卷积神经网络，结合多域和多种时频图对毫米波雷达采集的头部动作数据进行分类，同时采用通道注意力机制和空间注意力机制模块，增强了对易混淆动作的识别效果，提升了头部动作识别的准确率。

Description

基于多域融合深度学习的毫米波雷达头部动作识别方法

技术领域

本发明属于毫米波雷达人体行为识别领域，特别涉及一种基于多域融合深度学习的毫米波雷达头部动作识别方法。

背景技术

卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，仿造生物的视知觉(visual perception)机制构建，可以进行监督学习和非监督学习。利用卷积神经网络对人体行为或者手势进行识别已经展开了广泛的研究。传统的人体行为识别或手势识别是采用光学传感器捕捉动作信息，将捕捉到的画面送入卷积神经网络进行动作识别。而基于雷达的人体行为识别或手势识别是通过对雷达回波信号进行处理，得到距离、角度和多普勒等信息，将这些信息输入卷积神经网络中进行分类。相比于光学传感器，雷达具有不受光照影响的优点。然而雷达捕捉的信息并没有光学传感器丰富直接，因此对于一些相似动作或者幅度较小的微动，区分较为困难。

文献“Inattentive Driving Behavior Detection Based on Portable FMCWRadar”中公开了一种基于便携式FMCW雷达的驾驶员无意驾驶行为的检测，针对七种导致注意力降低的典型驾驶行为进行了识别分类，这七种行为也主要集中在头部动作。通过对不同行为的时间多普勒频谱图以及距离多普勒轨迹提取特征，提取的特征包括：时间多普勒图的包络、频率极值、有效面积的功率密度以及距离多普勒图的轨迹、动态多普勒频率等。之后采用机器学习的方式对特征进行识别，对比了四种不同的机器学习方法，分别是“决策树、支持向量机、KNN、集成学习(袋装树、增强树、子空间KNN)。并且研究了基于时频图的分类、基于距离多普勒轨迹的分类以及时频图和距离多普勒轨迹在分类中的融合特征。但是只对头部动作进行粗略的区分点头还是摇头，机器学习手动提取特征的过程也较为麻烦，时间成本耗费较多。

文献“3D Head Motion Detection Using Millimeter-Wave Doppler Radar”公开了一种利用毫米波多普勒雷达进行三维头部跟踪的技术。在这项技术中，为了识别天线的双基地和单基地几何结构以检测旋转和平移运动，他们提出了双散射角。通过数据简化和联合时频分析，标记运动边界，以创建简化、不相关和高度可分离的特征集。分类方法用的机器学习中的SVM，最终总体准确率在88％以上。该文献对头部运动进行了较为细致的划分，但是最终准确率还是不高且双基地雷达较为占空间。

发明内容

本发明的目的在于克服现有技术的不足，提供一种利用卷积神经网络，结合多域和多种时频图对毫米波雷达采集的头部动作数据进行分类，同时采用通道注意力机制和空间注意力机制模块，有效地提升了头部动作识别的准确率的基于多域融合深度学习的毫米波雷达头部动作识别方法。

本发明的目的是通过以下技术方案来实现的：基于多域融合深度学习的毫米波雷达头部动作识别方法，包括以下步骤：

步骤1、数据集建立：采用三发四收面阵天线的毫米波雷达采集人的头部动作数据，一共七个基本动作，分别是点头、低头、仰头、右转、左转、右偏、左偏；

步骤2、对雷达回波数据进行预处理：在快时间维度上对数据进行一维快速傅里叶变换得到时间-距离图；然后取目标所在的距离单元，进行时频分析得到时间-多普勒图；

步骤3、将时间-距离图和时间-多普勒图的图像大小统一调整为224×224×3的张量，然后对时间-距离图进行特征提取；

步骤4、将时间-多普勒图按堆叠成一个立方体，采用卷积核大小为3×3×3的三维卷积对多通道时间-多普勒图进行特征提取；

步骤5、将提取到的距离特征和时频特征混合后，再次进行二维卷积，得到多域特征；

步骤6、对步骤5得到的多域特征采用空间注意力机制和通道注意力机制进行权重分配；

步骤7、将多域特征、空间注意力权重和通道注意力权重输入全连接层，得到动作识别结果。

进一步地，步骤1中，将雷达放置在人的头部右侧，头部在雷达30°方位角以内，雷达与头部距离在0.5米-1米之间。

进一步地，所述步骤2具体实现方法为：根据时间-距离图计算雷达测距：

其中，c表示电磁波的传播速度，f₀是发射信号与回波信号的频率之差，T为信号周期，B为信号带宽；距离R最大的位置即为目标位置；

时频分析采用小波变换、短时傅里叶变换和伪平滑魏格纳-维利分布。

进一步地，所述步骤3中，采用VGG16的前六层结构，并加载VGG16的预训练权重，进行特征提取；二维卷积的公式如下所示：

其中x_i,j表示图像第i行第j列的像素；对卷积核的每个权重进行编号，用w_m,n表示第m行第n列的权重，w_b是卷积核的偏置项；f表示激活函数，选择ReLu激活函数，函数如下所示：

ReLU(x)＝max(0,x)

通过VGG16的第六层结构输出时间-距离图特征。

进一步地，所述步骤4中，将小波变换、短时傅里叶变换、伪平滑魏格纳-维利分布得到的三种时间-多普勒图按顺序堆叠成一个立方体，采取卷积核大小为3×3×3的三维卷积层、BN层以及ReLu激活函数提取多通道时间-多普勒图的特征，三维卷积的计算公式为：

其中D是深度，F是卷积核的高度或者宽度，w_d,m,n表示卷积核的权重，x_d,i+m,j+n表示图像的像素；f表示激活函数，选择ReLu激活函数；

采用BN层使每一层神经网络的输入保持相同分布，BN层采取下列式子进行计算：

其中x_i是样本，m是样本数，μ_B为样本均值，为样本方差，/>为归一化结果，y_i和BN_γ,β(x_i)BN层的处理结果；ε为接近零的常数，防止分母为0；γ和β是两个可学习重构参数。

所述步骤6中，通道注意力模块的具体计算为：

其中，F是输入的特征图，σ是sigmoid激活函数，W₀和W₁是一个两层神经网络MLP的权重；AvgPool(F)为全局平均池化层，MaxPool(F)为全局最大池化层，MLP()是一个共享的全连接层，就是将输入的特征图F基于全局平均池化层得到一个1*1*C的特征图，/>是将输入的特征图F基于全局最大池化层得到一个1*1*C的特征图，W₀()、W₁()表示经过一个权值为W₀、W₁的全连接层；

空间注意力模块的具体计算为：

其中F是通道注意力模块输出的特征图，f^7×7是指一个7×7的卷积。

本发明的有益效果是：本发明利用卷积神经网络，结合多域和多种时频图对毫米波雷达采集的头部动作数据进行分类，同时采用通道注意力机制和空间注意力机制模块，提升了单域情况下识别的准确率，增强了对易混淆动作的识别效果，有效地提升了头部动作识别的准确率。

附图说明

图1是本发明所述的方法流程图；

图2是本发明所述的三发四收面阵毫米波雷达天线；

图3是本发明所述的二维卷积；

图4是本发明所述的三维卷积；

图5是本发明所述的通道注意力机制；

图6是本发明所述的空间注意力机制；

图7是本发明所述方法与单域的效果对比图。

具体实施方式

本发明所述方法分成两个部分：第一部分是通过对毫米波雷达回波数据的处理，得到距离域和时频域这两个域的特征；第二部分搭建深度学习网络，融合时间-距离图与时频图并且联合多通道数据对七种头部动作进行分类。在实施过程中，首先对时间-距离图采取二维卷积层进行特征提取，再将三种时频图(小波变换、短时傅里叶变换、平滑伪魏格纳-维利分布)堆叠成一个立方体,采用三维卷积进行特征提取，将特征进行融合之后再通过注意力机制对不同特征分配不同权重，最终通过全连接层对动作进行分类。下面结合附图进一步说明本发明的技术方案。

如图1所示，本发明的一种基于多域融合深度学习的毫米波雷达头部动作识别方法，包括以下步骤：

步骤1、数据集建立：采用三发四收面阵天线的毫米波雷达采集人的头部动作数据，一共七个基本动作，分别是点头、低头、仰头、右转、左转、右偏、左偏；为了更好的区分左转和右转这两种头部微动，将雷达放置在人的头部右侧，头部在雷达30°方位角以内，雷达与头部距离在0.5米-1米之间，雷达阵列排布如图2所示，TX1、TX2、TX3为发射雷达，相邻雷达之间的距离为一个波长λ；RX1、RX2、RX3、RX4为接收雷达，相邻雷达之间的距离为半波长本实施例采集十个人的头部动作数据，每个动作每人采集40次。

步骤2、对雷达回波数据进行预处理，在快时间维度上对数据进行一维快速傅里叶变换得到时间-距离图；然后取目标所在的距离单元，进行时频分析得到时间-多普勒图；

根据时间-距离图计算雷达测距：

其中，c表示电磁波的传播速度，f₀是发射信号与回波信号的频率之差，T为信号周期，B为信号带宽；距离R最大的位置即为目标位置；

时频分析采用小波变换、短时傅里叶变换和伪平滑魏格纳-维利分布；

其中，小波变换的公式如下所示：

其中a为尺度(scale)，τ为平移量(translation)，f(t)为待进行小波变换的信号；ψ(t)为小波基函数，采用morlet小波基函数，公式如下所示：

ω₀表示中心频率，t为时间；

短时傅里叶变换的公式如下所示：

其中h(τ-t)为分析窗函数，STFT(t,f)为短时傅里叶变换的结果，x(τ)为短时傅里叶变换前的信号；

平滑伪魏格纳-维利分布(SPWVD)的公式如下所示：

其中SPWVD(t,f)为SPWVD的结果；t'、υ是积分变量是积分变量；h(t)是时域减少交叉项的窗口，是h(υ)翻转再取共轭，仍为窗函数；s(t)是频域减少交叉项的窗口；同理。

步骤2中，得到雷达每个通道的数据的时间-距离图之后，先做两脉冲对消，即相邻帧的相应脉冲信号相减，削弱身体反射的信号，增强头部动作反射的信号，然后再进行时频分析处理。

步骤3、将时间-距离图和时间-多普勒图的图像大小统一调整为224×224×3的张量，然后对时间-距离图进行特征提取；采用卷积核大小为3×3的二维卷积层、ReLu激活层以及最大池化层对时间-距离图进行特征提取；采用VGG16的前六层结构，并加载VGG16的预训练权重，进行特征提取；二维卷积的计算方式如图3所示，二维卷积的公式如下所示：

其中x_i,j表示图像第i行第j列的像素；对卷积核的每个权重进行编号，用w_m,n表示第m行第n列的权重，w_b是卷积核的偏置项；f表示激活函数，选择ReLu激活函数，函数如下所示：

ReLU(x)＝max(0,x) (7)

通过VGG16的第六层结构(最大池化层)输出时间-距离图特征。

步骤4、将时间-多普勒图按堆叠成一个立方体，采用卷积核大小为3×3×3的三维卷积对多通道时间-多普勒图进行特征提取；将小波变换、短时傅里叶变换、伪平滑魏格纳-维利分布得到的三种时间-多普勒图按顺序堆叠成一个立方体，采取卷积核大小为3×3×3的三维卷积层、BN(BatchNorm)层以及ReLu激活函数提取多通道时间-多普勒图的特征，步长为2，三维卷积如图4所示；三维卷积的计算公式为：

其中D是深度，F是卷积核的高度或者宽度，w_d,m,n表示卷积核的权重，x_d,i+m,j+n表示图像的像素；f表示激活函数，选择ReLu激活函数；

采用BN层使每一层神经网络的输入保持相同分布，BN层采取下列式子进行计算：

其中x_i是样本，m是样本数，μ_B为样本均值，为样本方差，/>为归一化结果，y_i和BN_γ,β(x_i)BN层的处理结果；ε为接近零的常数，防止分母为0；γ和是两个可学习重构参数。

步骤5、将提取到的距离特征和时频特征混合后，再次进行二维卷积，进一步提取特征；

步骤6、对步骤5得到的多域特征采用空间注意力机制和通道注意力机制进行权重分配，通道注意力机制如图5所示，依次包括并列的全局最大池化层和全局平均池化层，两个池化层的输出输入一个两层神经网络，然后将神经网络得到的特征图相加后得到通道注意力权重；空间注意力机制如图6所示，依次包括全局最大池化层、全局平均池化层、二维卷积层和激活函数。分配有限的信息处理资源给重要的部分；采用轻量注意力模块CBAM作为网络的通道特征和空间特征的权重计算模块；通道注意力模块(CAM)的具体计算为：

其中，F是输入的特征图，σ是sigmoid激活函数，W₀和W₁是一个两层神经网络MLP的权重；AvgPool(F)为全局平均池化层，MaxPool(F)为全局最大池化层，MLP()是一个共享的全连接层，就是将输入的特征图F基于全局平均池化层得到一个1*1*C的特征图，/>是将输入的特征图F基于全局最大池化层得到一个1*1*C的特征图，W₀()、W₁()表示经过一个权值为W₀、W₁的全连接层；

空间注意力模块的具体计算为：

其中F是通道注意力模块输出的特征图，f^7×7是指一个7×7的卷积。

步骤7、将多域特征、空间注意力权重和通道注意力权重输入全连接层，得到动作识别结果。在全连接层中间加入dropout层，按70％的概率随机拿掉一些神经元，防止过拟合。本实施例中，全连接层隐藏节点数为4096，输出节点数为7。

利用步骤1采集到的数据集，按照步骤2～7的方法训练50次后得到分类模型，然后用训练好的模型对未知数据进行分类，输入时间-距离图和时间-多普勒图，输出动作类别。将多域与单域结果进行对比，如图7所示。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.基于多域融合深度学习的毫米波雷达头部动作识别方法，其特征在于，包括以下步骤：

步骤1、数据集建立：采用三发四收面阵天线的毫米波雷达采集人的头部动作数据，一共七个基本动作，分别是点头、低头、仰头、右转、左转、右偏、左偏；

步骤2、对雷达回波数据进行预处理：在快时间维度上对数据进行一维快速傅里叶变换得到时间-距离图；然后取目标所在的距离单元，进行时频分析得到时间-多普勒图；

步骤3、将时间-距离图和时间-多普勒图的图像大小统一调整为224×224×3的张量，然后对时间-距离图进行特征提取；

步骤4、将时间-多普勒图按堆叠成一个立方体，采用卷积核大小为3×3×3的三维卷积对多通道时间-多普勒图进行特征提取；具体方法为：将小波变换、短时傅里叶变换、伪平滑魏格纳-维利分布得到的三种时间-多普勒图按顺序堆叠成一个立方体，采取卷积核大小为3×3×3的三维卷积层、BN层以及ReLu激活函数提取多通道时间-多普勒图的特征，三维卷积的计算公式为：

其中D是深度，F是卷积核的高度或者宽度，w_d,m,n表示卷积核的权重，x_d,im,jn表示图像的像素；f表示激活函数，选择ReLu激活函数；

采用BN层使每一层神经网络的输入保持相同分布，BN层采取下列式子进行计算：

其中x_i是样本，m是样本数，μ_B为样本均值，为样本方差，/>为归一化结果，y_i和BN层的处理结果；ε为接近零的常数，防止分母为0；γ和β是两个可学习重构参数；

步骤5、将提取到的距离特征和时频特征混合后，再次进行二维卷积，得到多域特征；

步骤6、对步骤5得到的多域特征采用空间注意力机制和通道注意力机制进行权重分配；

步骤7、将多域特征、空间注意力权重和通道注意力权重输入全连接层，得到动作识别结果。

2.根据权利要求书1所述的基于多域融合深度学习的毫米波雷达头部动作识别方法，其特征在于，步骤1中，将雷达放置在人的头部右侧，头部在雷达30°方位角以内，雷达与头部距离在0.5米-1米之间。

3.根据权利要求书1所述的基于多域融合深度学习的毫米波雷达头部动作识别方法，其特征在于，所述步骤2具体实现方法为：根据时间-距离图计算雷达测距：

其中，c表示电磁波的传播速度，f₀是发射信号与回波信号的频率之差，T为信号周期，B为信号带宽；距离R最大的位置即为目标位置；

时频分析采用小波变换、短时傅里叶变换和伪平滑魏格纳-维利分布。

4.根据权利要求书1所述的基于多域融合深度学习的毫米波雷达头部动作识别方法，其特征在于，所述步骤3中，采用VGG16的前六层结构，并加载VGG16的预训练权重，进行特征提取；二维卷积的公式如下所示：

其中x_i,j表示图像第i行第j列的像素；对卷积核的每个权重进行编号，用w_m,n表示第m行第n列的权重，w_b是卷积核的偏置项；f表示激活函数，选择ReLu激活函数，函数如下所示：

ReLU(x)max(0,x)

通过VGG16的第六层结构输出时间-距离图特征。

5.根据权利要求书1所述的基于多域融合深度学习的毫米波雷达头部动作识别方法，其特征在于，所述步骤6中，通道注意力模块的具体计算为：

其中，F是输入的特征图，是sigmoid激活函数，W₀和W₁是一个两层神经网络MLP的权重；AvgPool(F)为全局平均池化层，MaxPool(F)为全局最大池化层，MLP()是一个共享的全连接层，就是将输入的特征图F基于全局平均池化层得到一个1*1*C的特征图，/>是将输入的特征图F基于全局最大池化层得到一个1*1*C的特征图，W₀()、W₁()表示经过一个权值为W₀、W₁的全连接层；

空间注意力模块的具体计算为：

其中F是通道注意力模块输出的特征图，f^7×7是指一个7×7的卷积。