CN110275147B - 基于迁移深度神经网络的人体行为微多普勒的分类识别方法 - Google Patents

Abstract

本发明公开了一种基于深度迁移网络的人体行为微多普勒识别方法，利用ImageNet等大型开源自然图像数据库，对深度神经网络进行预训练，优化深度网络的网络权值，然后对不同行为的微多普勒谱进行监督学习，学习过程中冻结卷积网络的网络权值，仅对深度网络的全连接层进行训练，训练的代价函数为Softmax函数与自然图像和微多普勒频谱图的熵差之和，训练后的神经网络可用于对不同行为的微多普勒时频谱进行有效区分，从而实现人体行为的分类识别。本发明采用迁移学习对深度卷积网络的网络权值进行优化，可以有效降低深层神经网络对于训练数据集的要求，提高分类识别的性能。

Description

基于迁移深度神经网络的人体行为微多普勒的分类识别方法

技术领域

本发明涉及雷达目标微多普勒效应分析领域，特别是一种基于迁移深度神经网络的人体行为微多普勒的分类识别方法。

背景技术

雷达通过发射和接收电磁波可以对目标进行定位和识别。对于运动目标，发射和接收的回波频率会随目标的运动速度而发生变化，这种现象即为多普勒效应。由于人体的运动属于非刚体运动，身体各部位在运动过程中存在各自的规律性运动，这种附加在人体上的各肢体频率调制，称作微多普勒效应。微多普勒效应对距离、光线条件和背景复杂性并不敏感，可提取分析不同行为所对应的微多普勒特征用于分析和估计人体运动特性。

微多普勒频移是一种时变频移，对包含微多普勒信号的雷达回波可通过时频变换方法得到目标回波的时变频谱图，在频域和时域对微多普勒效应进行分析。不同的人体行为会产生具有差异性的时频谱，通过对时频谱进行特征提取和分析，可以基于微多普勒谱对人体行为进行识别和分类。由于人体目标构成的特殊性，雷达回波中人体整体(躯干与头部)的瞬时特征强度远大于四肢的瞬时特征强度，因此在雷达回波中直接提取四肢的瞬时特征往往比较困难。通过使用深层的卷积神经网络对人体微多普勒时频谱进行监督学习，可以对各类行为的微多普勒时频谱进行有效区分。而采用迁移学习对深度卷积网络的网络权值进行优化，可以有效降低深层神经网络对于训练数据集的要求，提高分类识别的性能。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于迁移深度神经网络的人体行为微多普勒的分类识别方法，有效降低深层神经网络对于训练数据集的要求，提高分类识别的性能。

为解决上述技术问题，本发明所采用的技术方案是：一种基于迁移深度神经网络的人体行为微多普勒的分类识别方法，其特征在于，包括以下步骤：

1)对雷达回波进行杂波抑制，得到杂波抑制后的雷达回波；

2)对杂波抑制后的雷达回波进行联合时频分析，得到目标回波的时频谱；

3)确定深度神经网络的网络结构；

4)利用自然图像数据库进行深度神经网络参数的迁移训练；

5)利用训练后的深度神经网络，结合目标回波的时频谱进行监督学习，监督学习得到的最终网络即为适用于人体行为识别的分类器。

杂波抑制后的雷达回波z(m,n)的表达式如下：

z(m,n)＝d(m,n)-b(m,n)＝d(m,n)-w^T(m)D(m,n)；

其中，b(m,n)＝w^T(m)D(m,n)为自适应相消处理过程中的背景信号，通过对输入数据矢量进行加权得到。

D(m,n)＝[d(m,n),d(m-1,n),…,d(m-L,b)]^T，为输入数据矢量。n表示“快时间”(即距离分辨单元的序列)，m表示“慢时间”(即脉冲序列)。

w(m)＝[w₀(m),w₁(m),…,w_L(m)]^T，为权系数矢量，L为加权处理时的脉冲序列宽度。[w₀(m),w₁(m),…,w_L(m)]^T是对消器对输入数据进行加权的权值，根据实际对消器的类型进行确定。d(m,n)表示雷达回波的第m个脉冲在第n个距离单元上的数值。对于两脉冲对消器，脉冲宽度L取2，

w(m)＝[0 1]^T

对于三脉冲对消器，脉冲宽度L取3，

w(m)＝[0 2 -1]^T

对于本发明中的背景相消器，脉冲宽度L可以自适应调节，对应下式中1的个数，

所述深度神经网络的网络层数设定为18层。

步骤5)中，适用于人体行为识别的分类器的代价函数C的表达式为：

其中，i为雷达回波图像类别，β为i类雷达回波图像对应的标记值(例如将人体行为分成六类，则每一类雷达回波图像的β分别对应0，1，2，3，4，5)，α为分类器的预测值，λ为权重系数(通常λ取值为不大于100的正数)，H(i)为图像熵；

(x，y)表示图像中像素点的坐标，I(x,y,i)为第i类图像在(x，y)坐标处的像素值。

本发明中的雷达回波图像是指雷达回波通过短时傅里叶变化得到的时频谱图，该谱图是时间和多普勒频率的二维图，与传统光学图像的物理意义不同。由于光学图像的数据量庞大，而雷达谱图的数据量相对有限，所以需要神经网络在光学图像的数据库中进行预训练，然后结合两类图像的区别，将预训练后的神经网络迁移到雷达谱图中进行应用。

与现有技术相比，本发明所具有的有益效果为：本发明采用迁移学习对深度卷积网络的网络权值进行优化，可以有效降低深层神经网络对于训练数据集的要求，提高分类识别的性能。

附图说明

图1为本发明处理流程示意图；

图2(a)为自适应背景相消原理图，图2(b)为自适应背景相消流程图；

图3(a)、图3(b)，图3(c)、图3(d)为人体四种行为(行走，跑步，挥拳，跳跃)的微多普勒时频谱；

图4为深度神经网络的结构图；

图5(a)和图5(b)分别为深度网络随迭代次数变化的训练误差曲线和分类准确性曲线；

图6为不同分类行为的分类准确度；

图7为迁移深度神经网络的输出层特征的低维表示。

具体实施方式

下面对本发明做进一步解释。

第一步，对雷达回波进行杂波抑制

采用基于自适应最小均方(Least Mean Square，LMS)算法的背景相消方法进行滤波器的设计，利用运动目标和背景杂波在多普勒频率的区别，将零频附近的杂波进行抑制。

自适应背景相消法的基本思想是根据当前回波数据实时调整加权系数，从而获取背景的最新估计。图2(a)给出了自适应背景相消原理图，图2(b)为自适应背景相消算法的计算流程图。由图可知，自适应背景相消处理过程中的当前背景是输入序列的加权和，即

b(m,n)＝w^T(m)D(m,n) (1)

式中：

D(m,n)＝[d(m,n),d(m-1,n),…,d(m-L,n)]^T (2)

w(m)＝[w₀(m),w₁(m),…,w_L(m)]^T (3)

分别为输入信号矢量和权系数矢量。

其中，权系数矢量的求解过程如下式所示：

w_k(m+1)＝w_k(m)+2μe(m，n)d(m-k，n)，k＝0，1，…，L (4)

式中：μ为自适应增益常数，其取值范围为0<μ<[(L+1)P_in]^-1，P_in＝E[x²(n)]为雷达回波的功率，E为数学期望运算，e(m,n)为误差信号。

由于实际应用环境中，误差信号e(m,n)通常不是先验已知的，此处采用当前时刻与前一时刻的背景信号之差对误差信号进行估计，误差信号的估计值计算式如下：

综合式(1)—式(5)即可得到当前环境中的背景信号，输入信号与背景信号相减即可完成对环境杂波的自适应相消。背景相消的表达式如下：

z(m,n)＝d(m,n)-b(m,n)＝d(m,n)-w^T(m)d(m,n)＝h^T(m)d(m,n) (6)

其中：

h(m)＝[1-w₀(m),-w₁(m),…,-w_L(m)]^T (7)

通过调节自适应增益常数μ和脉冲序列宽度L，自适应背景相消法可获得优于常规脉冲对消法和背景相消法的性能，为人体微动信息的获取提供良好基础。

第二步，杂波抑制后的雷达回波进行联合时频分析

采用短时傅里叶变换对杂波抑制后的回波数据进行时频分析，得到目标回波的时变频谱图。通过在联合时频域对微多普勒特征进行表示，获得一定量的人体微多普勒特征数据库，用于后续的人体运动行为的分类和识别。

需要指出的是，实际使用中只能获得雷达回波的离散采样序列，需要对雷达回波的采样值进行数字信号处理等操作。以行走的人体目标雷达散射回波为例，令右手臂散射点H的离散回波序列为

s_H(n)＝ρexp{jΦ_H(nΔt)}，t₀≤nΔt≤t_s (8)

式中：n＝n₀,n₀+1,n₀+2,···,N，n₀＝[t₀/Δt]，N＝[t_s/Δt]，[·]为取整运算，Δt＝1/f_s为雷达回波的采样间隔，f_s为雷达系统的采样频率。对式(8)进行时频变换，得到如下表达式：

TF(n,m)＝TFT{s_H(n)} (9)

其中，TFT{·}表示时频变换运算，TF(n,m)为时频变换结果，n＝n₀,n₀+1,···,N，m＝0,1,···,M-1，M是频域采样点数。常用于处理运动人体目标雷达回波的时频分析工具主要有短时傅里叶变换，维格纳－维尔分布(Wigner-Ville Distribution，WVD)等。短时傅里叶变换的物理概念清晰、算法实现高效，因此采用该方法分析人体目标雷达回波的时频分布。

雷达的散射回波包含人体的手臂、躯干、腿部等各散射点的后向散射能量，通过短时傅里叶变换得到人体回波的时频谱。图3(a)、图3(b)、图3(c)、图3(d)所示为四种不同行为的微多普勒时频谱，观察可知，不同行为的时频谱图具有差异性，为人体行为的分类识别提供了依据。

第三步，确定深度神经网络的网络结构

选取深度残差网络ResNet作为深度神经网络的网络结构，网络层数设定为18层，网络各层的参数进行随机初始化。

深度残差网络是深度神经网络的一种，主要包括卷积层和池化层，通过多层结构的相互堆叠深度网络可以实现更为复杂的数据运算，从而可以对不同输入数据基于分类识别。图4所示为深度神经网络的结构图，其中Conv表示卷积层，Pool为池化层，FC为全连接层，Softmax为分类函数。深度神经网络共包括18个卷积层，卷积层之间的连接方式既包括串联，也包括相隔卷积之间的旁路连接，通过两种连接方式可以使得深度网络更加易于参数的优化。具体的网络设计参见文献[He K,et al.Deep residual learning for imagerecognition[C],Computer Vision and Pattern Recognition,2016,pp.770-778.]。本发明主要基于对该网络的各参数进行高效优化，使得该网络能够迁移应用于人体行为的微多普勒识别分类。

第四步，自然图像数据库进行网络参数的迁移训练

将确定的深度神经网络首先在ImageNet自然图像数据库进行各类图像的分类识别，借助ImageNet丰富的训练样本使得深层网络得以充分训练，网络的各个参数获得优化。

由于深度卷积网络的结构层数复杂，包含大量对其中的大量权值系数进行赋值操作，而雷达回波的数据量十分有限，直接基于雷达数据进行神经网络的训练通常无法对该深层网络中各参数赋予合理的权值。为此首先将深度网络在ImageNet自然图像数据库中进行预训练。ImageNet数据库包含百万量级的各类别图像，为深度网络的权值设定提供了充足的训练样本。

第五步，训练后的网络结合目标回波的时频谱进行监督学习

将经过ImageNet数据库迁移训练的网络基于人体微多普勒特征数据库进行进一步的监督学习。根据自然图像和雷达回波时频谱的图像差异，综合确定监督训练过程中的代价函数，此处引入的代价函数附加项为图像熵。

图像熵是一种特征的统计形式，它反映了图像中平均信息的多少，可定量描述图像灰度分布的空间特征。由于人体微多普勒的时频谱与ImageNet的自然图像数据库的图像类型存在较为明显的差异，因此需要在监督学习的过程中，对分类器的代价函数进行修正。具体的修改方式为在原有代价函数中引入加权的图像熵之差。计算表达式为：

C为分类器的代价函数，i为图像类别，β为i类图像的实际值，α为分类器的预测值，λ为权重系数，H(i)为图像熵。

图像熵的计算公式为：

其中，(x，y)表示图像中像素点的坐标，i为图像类别，I(x,y,i)为第i类图像在(x，y)坐标处的图像值。

监督训练得到的最终网络即为适用于人体行为识别的分类器。

图5(a)、图5(b)、图6所示为深度神经网络的训练误差/测试准确率曲线和对走路(W)、站立(S)、爬行(C)、挥拳(B)、跳跃(J)、跑步(R)六种行为的识别结果。其中，ResNet-a对应的监督学习过程，只对全连接层(FC-6层)的参数进行调整，ResNet-b对应的学习过程，对整个网络的系数均进行调整。两种监督学习过程得到的网络结构均可得到95％以上的识别准确率，学习收敛过程均优于常规的卷积神经网络，实际中，可根据需要具体的监督学习形式。图7为将深度神经网络的全连接层(FC-6层)的输出降维到二维平面的特征显示图。由图像可知，通过深度网路的处理，六种图像的特征均有较好的分离性，即实现了对各类微多普勒时频谱的有效分离。

Claims (6)

1.一种基于迁移深度神经网络的人体行为微多普勒的分类识别方法，其特征在于，包括以下步骤：

1)对雷达回波进行杂波抑制，得到杂波抑制后的雷达回波；

2)对杂波抑制后的雷达回波进行联合时频分析，得到目标回波的时频谱；

3)确定深度神经网络的网络结构；

4)利用自然图像数据库进行深度神经网络参数的迁移训练；

5)利用训练后的深度神经网络，结合目标回波的时频谱进行监督学习，监督学习得到的最终网络即为适用于人体行为识别的分类器；适用于人体行为识别的分类器的代价函数C的表达式为：

C＝-1n∑_i[βlnα+(1-β)ln(1-α)]+λH(i)；

其中，n表示“快时间”，即距离分辨单元的序列，i为雷达回波图像类别，β为i类雷达回波图像对应的标记值；α为分类器的预测值，λ为权重系数，H(i)为雷达回波图像熵；

(x，y)表示雷达回波图像中像素点的坐标，I(x,y,i)为第i类雷达回波图像在(x，y)坐标处的像素值；所述雷达回波图像是指雷达回波通过短时傅里叶变化得到的时频谱图。

2.根据权利要求1所述的基于迁移深度神经网络的人体行为微多普勒的分类识别方法，其特征在于，杂波抑制后的雷达回波z(m,n)的表达式如下：

z(m,n)＝d(m,n)-b(m,n)＝d(m,n)-w^T(m)D(m,n)；

其中，b(m,n)＝w^T(m)D(m,n)为自适应相消处理过程中的背景信号，通过对输入数据矢量进行加权得到；

D(m,n)＝[d(m,n),d(m-1,n),…,d(m-L,n)]^T为输入数据矢量；

m表示“慢时间”，即脉冲序列；

d(m,n)表示雷达回波的第m个脉冲在第n个距离单元上的数值；

w(m)＝[w₀(m),w₁(m),…,w_L(m)]^T为权系数矢量，L为加权处理时的脉冲序列宽度；[w₀(m),w₁(m),…,w_L(m)]^T是对消器对输入数据进行加权的权值，根据实际对消器的类型进行确定。

3.根据权利要求1所述的基于迁移深度神经网络的人体行为微多普勒的分类识别方法，其特征在于，所述深度神经网络的网络层数设定为18层。

4.根据权利要求2所述的基于迁移深度神经网络的人体行为微多普勒的分类识别方法，其特征在于，对于两脉冲对消器，脉冲序列宽度L取2，w(m)＝[0 1]^T。

5.根据权利要求2所述的基于迁移深度神经网络的人体行为微多普勒的分类识别方法，其特征在于，对于三脉冲对消器，脉冲序列宽度L取3，w(m)＝[0 2 -1]^T。

6.根据权利要求2所述的基于迁移深度神经网络的人体行为微多普勒的分类识别方法，其特征在于，对于背景相消器，脉冲序列宽度L对应下式中1的个数：

Images