CN112861813A - 基于复值卷积神经网络的墙后人体行为识别方法 - Google Patents

Abstract

本发明公开了一种基于复值卷积神经网络的墙后人体行为识别方法，通过预处理收集的雷达原始距离像得到用作训练集和测试集的距离像，构建复值卷积神经网络，利用训练集训练网络，将测试集输入训练好的复值卷积神经网络，得到墙后人体行为的识别结果，实现墙后人体行为识别。该方法可充分学习不同行为间距离像数据的差异，能够有效识别墙后的人体行为。相比于其它墙后人体行为识别方法，本发明构建的复值卷积神经网络可联合利用雷达数据的幅度信息和相位信息，高效提取距离像数据中人体行为的多元运动特征，从而提升墙后人体行为的识别性能，在墙后人体行为识别领域具有重要的价值。

Description

基于复值卷积神经网络的墙后人体行为识别方法

技术领域

本发明属于雷达自动目标识别技术领域，具体涉及墙后人体行为识别方法。

背景技术

墙后人体行为识别技术主要是利用穿墙雷达发射电磁波穿透墙体等遮蔽障碍物，对墙 后的人体目标实施的行为进行识别，在室内监控、灾难救援等领域有着广泛的应用前景， 近年来，国内外许多机构利用穿墙雷达开展了墙后人体行为识别的研究。

文献：Yang X,Chen P,Wang M,et al.Human Motion SerializationRecognition With Through-the-Wall Radar[J].IEEE Access,2020，从处理距离像序列的角度，探讨了超宽带穿 墙雷达的人体运动识别问题，具体采用三层密集的自编码网络(AEN)对每个距离像进行降 维和特征提取，然后采用双隐层的门控回归单元(GRU)网络处理每个时间段片的特征，并输 出每个时间段片的人体行为识别结果。

文献：Kl A,Babaolu S,Babalk A,et al.Through-Wall Radar Classificationof Human Posture Using Convolutional Neural Networks[J].International Journalof Antennas and Propagation,2019，提出了一种基于卷积神经网络(CNN)的墙后人体姿势分类方法，具体 使用超宽带步进频连续波雷达收集从墙后的人体目标反射的雷达信号。这些信号通过CNN 对人的存在和人的姿势进行分类。

上述方法仅利用雷达数据的幅度信息来识别人体运动，而相位信息包含了丰富的运动 特征(如：时序特征和速度特征)，这些方法没有考虑雷达数据中的相位信息，限制了识别 的性能。

发明内容

针对现有技术存在的上述问题，本发明提出一种基于复值神经网络的墙后人体行为识 别方法。

本发明的具体技术方案为：一种基于复值卷积神经网络的墙后人体行为识别方法，包 括以下步骤：

步骤1：雷达原始距离像预处理

考虑一个穿墙雷达发射K个脉冲探测一个墙后人体行为，则这K个脉冲的回波构成的 雷达原始距离像为：

其中，rk(m)，k＝0,1,…,K 是第k个脉冲的回波信号，M是回波信号长度，在雷达快时 间维度(按行)进行快速傅里叶逆变换(IFFT)，并将快速傅里叶逆变换后的距离像通过动 目标指示(MTI)滤波器，得到背景杂波被抑制的距离像P”(m)，P”(m)的维度大小为K×M；

步骤2：训练集和测试集构造

利用收集到的所有距离像P'(m)样本按构造第一训练集和第二测试集。

步骤3：构造复值卷积神经网络

复值卷积层、复值批归一化层、复值池化层、复值全连接层、softmax输出层、和复值 线性整流函数

等模块使得构建的复值卷积神经网络可同时利用距离像的幅度和相 位信息进行多元运动特征提取，实现墙后人体行为识别。

复值卷积层具体计算公式为：

W*H＝(A*X-B*Y)+i(A*Y+B*X)

其中，W＝Α+iB是复值卷积核，A是实部卷积核，B是虚部卷积核，H＝X+iY是 复值特征图，X是实部特征图，Y是虚部特征图。

复值批归一化层具体计算公式为：

其中，x是复值向量，γ和β分别是可学习的尺度参数和平移参数，E(·)是均值运算， V是x的协方差矩阵，具体计算公式为：

其中，

和

分别是x的实部和虚部，Cov(·,·)是协方差运算；

复值最大池化层(ComxP)具体计算公式为：

ComxP(H)＝MaxP(X)+iMaxP(Y)

其中，MaxP是最大池化运算，

激活函数的具体计算公式为：

其中，ReLU是线性整流函数。

复值全连接层具体计算公式为：

L·s＝(C·x-D·y)+i(C·y+D·x)

其中，L＝C+iD为复值全连接层权重，C是实部全连接层权重，D是虚部全连接层权重，s＝x+iy是复值向量。

基于上述模块，构造由1个输入层，5个复值卷积层，5个复值批归一化层，3个复值最大池化层，3个复值全连接层和1个softmax输出层组成的复值卷积神经网络，网络的激活函数选择复值线性整流函数

且复值卷积层联合利用距离像的幅值和相位信息提 取墙后人体行为的多元特征，softmax输出层用来得到样本的识别结果。

步骤4：训练复值卷积神经网络

利用带行为类别标签的第一训练集对复值卷积神经网络进行E(E≥1000)轮有监督 训练，直到模型收敛，得到训练好的复值卷积神经网络模型。

步骤5：利用训练好的网络对测试样本进行识别

将第二测试集输入训练好的复值卷积神经网络模型，对第二测试集中每个样本距离像 的行为进行识别，得到墙后人体行为识别结果。

本发明的有益效果：本发明的墙后人体行为识别方法，通过预处理收集的雷达原始距 离像得到用作训练集和测试集的距离像，构建复值卷积神经网络，利用训练集训练网络， 将测试集输入训练好的复值卷积神经网络，得到墙后人体行为的识别结果，实现墙后人体 行为识别。该方法可充分学习同行为间距离像数据的差异，能够有效识别墙后的人体行为。 相比于其它墙后人体行为识别方法，本发明构建的复值卷积神经可联合利用雷达数据的幅 度信息和相位信息，高效提取距离像数据中人体行为的多元运动特征，从而提升墙后人体 行为的识别性能，在墙后人体行为识别领域具有重要的价值。

附图说明

图1为墙后人体行为方法处理流程图。

图2为具体实施方式中实验场景图。

图3为具体实施方式中原始距离像幅度图像。

图4为具体实施方式中快速逆变换后距离像幅度图像。

图5为具体实施方式中动目标指示滤波后距离像幅度图像。

图6具体实施方式中复值卷积神经网络架构图。

具体实施方式

下面结合附图给出本发明的具体实施方式。

本发明提供一种适用于穿墙雷达的基于复值卷积神经网络的墙后人体行为识别方法。 该方法的流程如图1所示，具体为：首先对雷达收集的墙后人体行为原始距离像进行预处 理；然后将预处理后的距离像分成训练集和测试集两部分；接着构建基于复值卷积神经网 络的墙后人体行为识别网络；然后将预处理后的距离像作为训练集输入到构建好的墙后人 体行为识别网络进行训练，得到训练好的网络；最后，将测试集输入到训练好的墙后人体 行为识别网络中，得到最终的墙后人体动作识别结果。具体实施方式如下：

穿墙雷达采集墙后人体行为原始距离像数据的实验场景如图2所示，雷达为带宽为 600MHz的超宽带步进频连续波雷达，被放置在距地0.90m高的位置，墙厚0.30m，人体和墙的直线距离为2.50m。一共收集10个受试者执行的11种墙后人体行为，11种行为分别 为：拳击、跌倒、喝水、抬腿、踢腿、捡拾、跑步、坐下、站起、走路、挥手。处理步骤 具体如下：

步骤1：雷达原始距离像预处理

以一次拳击行为为例说明雷达原始距离像预处理过程，雷达采集的单次拳击行为原始距 离像P(m)幅度图如图3所示。

按行(快时间维度)对原始距离像P(m)进行快速逆傅里叶变换，快速傅里叶逆变换点数为 4096。快速逆傅里叶变换后得到的距离像P'(m)幅度图如图4所示。将距离像P'(m)通过MTI 滤波器，得到最终使用的距离像P”(m)幅度图如图5所示。

步骤2：训练集和测试集构造

将收集的所有行为的距离像P(m)样本进行划分，60％的样本被划分为训练集T₁，40％ 的样本被划分为测试集T₂，且T₁和中T₂每个类别行为的样本数保持均衡。

步骤3：构造复值卷积神经网络

构造复值卷积神经网络A，A包含一个输入层，5个复值卷积层，5个复值批归一化层， 3个复值最大池化层，3个复值全连接层和1个softmax输出层，其网络结构图如图6所示。

在距离像P(m)送入输入层前，为适应网络输入层大小，其大小被裁剪/补零扩充为227×227，每层的具体参数如下：

第1层为输入层，其大小等于输入距离像大小，即227×227×1。

第2层为第一个复值卷积层，卷积核大小为11×11×1，卷积核个数为96，步长为4，卷积运算的输入特征图填充为0，卷积输出特征图通道数为96；

第3层是第一个复值最大池化层，池化核大小为3×3×96，池化步长为2。

第4层为第二个复值卷积层，卷积核大小为5×5×96，卷积核个数为256，步长为1，卷积运算的输入特征图填充为2，卷积输出特征图通道数为256；

第5层是第二个复值最大池化层，池化核大小为3×3×256，池化步长为2。、

第6层为第三个复值卷积层，卷积核大小为3×3×256，卷积核个数为384，步长为1， 卷积运算的输入特征图填充为1，卷积输出特征图通道数为384；

第7层为第四个复值卷积层，卷积核大小为3×3×384，卷积核个数为384，步长为1， 卷积运算的输入特征图填充为1，卷积输出特征图通道数为384；

第8层为第五个复值卷积层，卷积核大小为3×3×384，卷积核个数为256，步长为1， 卷积运算的输入特征图填充为1，卷积输出特征图通道数为256；

第9层是第三个复值最大池化层，池化核大小为3×3×256，池化步长为2。

第10层、第11层和第12层为复值全连接层，其节点数个数依次为4096,256和C，其中C是要识别行为总类别数，在本实施中为C＝11。

第13层是softmax输出层，其节点为C，在本实施中为C＝11。

复值批归一化层在每一个复值卷积层后应用，其通道数与其前面紧接的卷积层输出特 征图通道数保持一致。

激活函数应用于每一个复值批归一化层和第10层、第11层全连接层后。

步骤4：训练复值卷积神经网络

以交叉熵函数作为复值卷积神经网络的目标函数，利用带动量的梯度下降法最小化目 标函数，学习率α和动量momentum分别设置为0.001和0.9，迭代次数E＝1000，批处理大 小batch_size设置为64。

经过E轮迭代后，得到训练好的网络。

步骤5：利用训练好的复值卷积神经网络对测试样本进行识别

将测试样本送入训练好的复值卷积神经网络，得到复值卷积神经网络对每个测试样本 的识别结果。相同实验参数下，复值卷积神经网络对测试样本中每类行为识别准确率与卷 积神经网络和K近邻分类器对测试样本中每类行为识别准确率对比如下表1所示。

表1

由识别结果可知，本发明提供的适用于穿墙雷达的一种基于复值神经网络的墙后人体行 为识别方法可联合利用距离像的幅度和相位信息，在单个类别行为识别率和平均识别率上， 都要优于只利用距离像幅度信息进行识别的方法，其中平均识别率相比其它方法提高9.55％， 验证了本发明的正确性和有效性。

Claims (2)

1.一种基于复值卷积神经网络的墙后人体行为识别方法，包括以下步骤：

步骤1：雷达原始距离像预处理

考虑一个穿墙雷达发射K个脉冲探测一个墙后人体行为，则这K个脉冲的回波构成的雷达原始距离像为：

其中，r_k(m)，k＝0,1,…,K是第k个脉冲的回波信号，M是回波信号长度，在雷达快时间维度进行快速傅里叶逆变换，并将快速傅里叶逆变换后的距离像通过动目标指示滤波器，得到背景杂波被抑制的距离像P”(m)，P”(m)的维度大小为K×M；

步骤2：训练集和测试集构造

利用收集到的所有距离像P'(m)样本按构造第一训练集和第二测试集；

步骤3：构造复值卷积神经网络

构造由1个输入层，5个复值卷积层，5个复值批归一化层，3个复值最大池化层，3个复值全连接层和1个softmax输出层组成的复值卷积神经网络，网络的激活函数选择复值线性整流函数

且复值卷积层联合利用距离像的幅值和相位信息提取墙后人体行为的多元特征，softmax输出层用来得到样本的识别结果；

复值卷积层具体计算公式为：

W*H＝(A*X-B*Y)+i(A*Y+B*X)

其中，W＝Α+iB是复值卷积核，A是实部卷积核，B是虚部卷积核，H＝X+iY是复值特征图，X是实部特征图，Y是虚部特征图。

复值批归一化层具体计算公式为：

其中，x是复值向量，γ和β分别是可学习的尺度参数和平移参数，E(·)是均值运算，V是x的协方差矩阵，具体计算公式为：

其中，

和

分别是x的实部和虚部，Cov(·,·)是协方差运算；

复值最大池化层(ComxP)具体计算公式为：

ComxP(H)＝MaxP(X)+iMaxP(Y)

其中，MaxP是最大池化运算，

激活函数的具体计算公式为：

其中，ReLU是线性整流函数；

复值全连接层具体计算公式为：

L·s＝(C·x-D·y)+i(C·y+D·x)

其中，L＝C+iD为复值全连接层权重，C是实部全连接层权重，D是虚部全连接层权重，s＝x+iy是复值向量；

步骤4：训练复值卷积神经网络

利用带行为类别标签的第一训练集对复值卷积神经网络进行E轮有监督训练，直到模型收敛，得到训练好的复值卷积神经网络模型；

步骤5：利用训练好的网络对测试样本进行识别

将第二测试集输入训练好的复值卷积神经网络模型，对第二测试集中每个样本距离像的行为进行识别，得到墙后人体行为识别结果。

2.根据权利要求1所述的一种基于复值卷积神经网络的墙后人体行为识别方法，其特征在于，步骤4所述的E≥1000。

Images