CN109948532A - 基于深度卷积神经网络的超宽带雷达人体动作识别方法 - Google Patents

Abstract

本发明公开一种基于深度卷积神经网络的超宽带雷达人体动作识别方法，利用超宽带雷达的高距离分辨力，并针对人体动作的动态特性，先提取出人体目标的距离—时间二维特征，弥补了单一距离特征的不足，后设计一种深度卷积神经网络模型进行训练和识别。并且通过采用Drop‑out层、添加L2正则化项、LRN(局部响应归一化)层等对卷积神经网络进行优化和改进，来避免过拟合现象，提高识别准确率。实验证明，本方法能够在多个人体动作识别任务中取得较高的识别准确率，本发明具有较好的可行性和有效性。

Description

基于深度卷积神经网络的超宽带雷达人体动作识别方法

技术领域

本发明涉及人体动作检测和识别技术领域，具体涉及一种基于深度卷积神经网络的超宽带雷达人体动作识别方法。

背景技术

人体动作检测和识别对于安全监控、人机交互、辅助驾驶和人体健康监测等方面有着重要的意义。目前的研究多是基于摄像头来进行识别，摄像头对于光照和视距等环境要求很高，且存在侵犯隐私的隐患。为此，用其他传感器代替摄像头来感知动作具有重要意义。鉴于雷达对光线、视距等环境要求极低，甚至可以忽略静态障碍物实现穿墙识别，因而具有较好的前景。在使用雷达作为传感器来感知和识别人体动作时，对人体动作的雷达回波进行特征选择和提取是识别的关键。

根据雷达的微多普勒效应，当人体相对于雷达天线产生运动时，从回波信号中可以得到相应的微多普勒特征。已有研究中通过提取人体动作的微多普勒特征，采用不同的识别方法对多个人体动作进行识别，达到一定的准确率。但大多数基于多普勒雷达的研究没有充分的利用时间维的连续性特征，根据人体动作的特性，每个动作在持续的时间内是有时间相关性的，这种特性应该在识别中被考虑。

近年来深度学习算法给雷达动作识别的性能带来很大提升。深度学习在识别领域表现出显著的优势，但深度学习算法对于数据量的需求较大，易发生过拟合现象，导致识别效果不好。在雷达识别系统中，数据的采集和处理较繁琐，没有公开的数据集来训练模型，所以如何在较少数据量的基础上达到较高的识别准确率，是当前的研究热点。

发明内容

本发明所要解决的是现有利用雷达作为传感器来感知和识别人体动作时存在识别率低的问题，提供一种基于深度卷积神经网络的超宽带雷达人体动作识别方法。

为解决上述问题，本发明是通过以下技术方案实现的：

基于深度卷积神经网络的超宽带雷达人体动作识别方法，包括步骤如下：

步骤1、基于超宽带雷达搭建实验硬件平台，采集已知人体动作的回波信号；

步骤2、对步骤1所得的每个已知人体动作的回波信号进行分别处理，得到每个回波信号关于二维时间和距离的特征图；

步骤3、利用步骤2所得的所有已知人体动作的回波信号的特征图构建数据集；

步骤4、构建一个改进的深度卷积神经网络模型；该改进的深度卷积神经网络模型的隐含层包括五层，其中第一层依次为卷积层、池化层和局部响应归一化层，第二层依次为卷积层、局部响应归一化层和池化层，第三层依次为卷积层和和池化层，第四层依次为卷积层和池化层，第五层依次为第一全连接层，Drop-out层和第二全连接层；该改进的深度卷积神经网络模型采用ReLU作为激活函数，并采用加入了L2正则化项的交叉熵作为训练的损失函数；

步骤5、利用步骤3构建数据集去训练步骤4所构建的改进的深度卷积神经网络模型，即：先将数据集分为训练数据集和验证数据集；再将训练数据集输入改进的深度卷积神经网络模型中对其进行训练；在训练过程中，通过验证集来检验改进的深度卷积神经网络模型在训练过程中的拟合情况，以调整改进的深度卷积神经网络模型的超参数；训练完成后，得到最终的人体动作分类模型；

步骤6、利用超宽带雷达采集未知人体动作的回波信号；

步骤7、对步骤6所采集的回波信号进行处理，得到该回波信号关于二维时间和距离的特征图；

步骤8、将步骤7所得的关于二维时间和距离的特征图输入到步骤5所得的人体动作分类模型中，即可输出未知动作的类别，以最终实现准确的人体动作识别。

上述步骤2和步骤7中，对回波信号进行处理的具体过程如下：

首先，提取该回波信号每个时刻的所有散射中心的距离信息；

接着，将每个时刻的散射中心的距离信息转换为序列信息，并将散射中心的距离信息序列在时间轴上排列，得到每个回波信号的所有散射点距离信息序列随时间变化的二维特征；

最后，对所有散射点距离信息序列随时间变化的二维特征数据进行预处理，得到该回波信号关于二维时间和距离的特征图。

上述对二维特征数据进行预处理包括归一化处理和重新调整矩阵大小。

上述步骤4中，改进的深度卷积神经网络模型的损失函数J(θ)为：

其中，m表示总样本数，n表示网络内部权重参数总数，x⁽ⁱ⁾表示第i个样本，h_θ(x⁽ⁱ⁾)表示第i个样本的预测值，y⁽ⁱ⁾表示第i个样本的标签，λ表示正则项系数，θ_j表示第j个网络内部权重参数。

上述步骤1中，所采集的已知人体动作包括向前走、向前摔倒、向后摔倒、原地摔倒、跳跃、原地坐下、原地旋转和静止站立这8大类别。

上述步骤5中，需要利用数据集对改进的深度卷积神经网络模型进行一次以上的训练多次训练，在每次训练训练时，需要重新划分训练数据集和验证数据集。

与现有技术相比，本发明具有如下特点：

1、利用超宽带雷达的高距离分辨力，并针对人体动作的动态特性，使用超宽带雷达感知人体动作，提取时间-距离二维特征，能抓住人体动作的典型特性，弥补了单一距离特征的不足；

2、基于一种改进的深度卷积神经网络来提取图像特征和识别，能够提取人体动作回波信号特征图中的深度特征，能够显著提高人体动作的识别率；

3、采用Drop-out层、添加L2正则化项、LRN(局部响应归一化)层等方法对卷积神经网络进行优化和改进，有效提高识别准确率，避免了传统深度卷积神经网络在小样本数据集上陷入过拟合导致识别性能不佳的情况；

4、将深度学习算法应用在超宽带雷达的信号特征提取中，并通过网络的结构设计和参数调整，使算法能够避免在小样本的雷达信号数据集上的过拟合现象，从而能够在多个人体动作识别任务中取得较高的识别准确率，具有较好的可行性和有效性。

附图说明

图1为基于深度卷积神经网络的超宽带雷达人体动作识别方法的流程图。

图2为人体动作时间-距离特征图，其中(a)为向前走，(b)为向前摔倒，(c)为向后摔倒，(d)为原地摔倒，(e)为跳跃，(f)为原地坐下，(g)为原地旋转，(h)为静止站立。

图3为深度卷积神经网络结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。

超宽带(Ultra-Wide-Band，UWB)雷达也被称为脉冲雷达，在精确定位、目标识别等研究中得到广泛应用。超宽带是指这种雷达的一个主要技术特点—占用带宽非常大。超宽带雷达一般不使用载波，而是使用时域脉冲来传输信息。最常用的发射信号是窄脉冲形式的无载波信号，虽然这种信号受限于平均功率所以限制了雷达的作用距离，但是很适用于目标特性研究，本发明中采用这种信号来感知并分析人体动作，理论研究中常采用高斯信号来表示窄脉冲形式无载波信号，具体公式如下：

s(t)＝Aexp[-a²(t-t_m)²]

其中，A表示幅度，T表示脉冲持续时间。

雷达信号的固有的距离分辨率的公式为C/2B，其中C为光速，B为信号带宽，距离分辨率取决于信号带宽，所以超宽带雷达的距离分辨率较高。本发明充分利用超宽带雷达的这种特性，研究人体目标的多散射中心，对回波采用理想的多散射中心点模型，雷达回波中包括多个散射点的距离信息。回波模型为：

其中，h(t)表示接收的回波信号，M表示散射中心点的个数，A_i表示每个散射中心点的强度(幅度)，t_i表示时间延迟，脉冲响应用Dirac-delta函数来描述，其表达式为：

基于超宽带雷达的特性，本发明提出一种基于深度卷积神经网络的超宽带雷达人体动作识别方法，如图1所示，包括步骤如下：

一、数据采集

利用SIR-20超宽带雷达搭建实验硬件平台，采集8种典型人体动作的回波，动作类别分别为：向前走、向前摔倒、向后摔倒、原地摔倒、跳跃、原地坐下、原地旋转、静止站立，每种动作采集20组数据，一共160组数据，作为数据集。

二、数据处理和特征提取。

超宽带雷达的人体动作原始回波信号中包括了人体多个散射中心点的距离信息，可以作为区别每个动作的依据，但是部分不同动作的距离信息相似度较大，单独的距离信息不足以对所有动作进行准确的分类，所以必须研究并提取新的动作特征。为了避免单一距离特征的不足，本发明中采用距离信息与时间维特征融合的方法，即提取距离信息随时间变化的特征信息。特征提取和数据处理步骤为：

步骤1、将回波中同一时刻的散射点距离信息转为序列信息，单一时刻序列反映多个散射点的距离信息；

步骤2、将距离信息序列在时间轴上排列，得到所有散射点距离信息序列随时间变化的二维特征；

步骤3、对二维特征数据进行归一化处理，消除幅度敏感性。

步骤4、将所有的动作特征数据统一为128×128大小的矩阵，经过处理的人体动作回波数据如图2所示。

因为在特征提取中考虑到时间维特征，所以处理后的数据不仅能够表现出人体所有散射中心的距离信息，并且可以体现出动作过程中的散射中心距离随时间变化的规律。从图2(a)-(h)中可以看出，不同动作之间表现出了较明显的差异，显著增强了动作之间的可分性，为下一步的识别提供了基础。

三、设计卷积神经网络模型并进行优化

卷积神经网络是神经网络的一种，因为在网络的内部采用了卷积计算而称为卷积神经网络。最简单的单层卷积神经网络一般包括卷积层，激活层和池化层。卷积层的作用是提取特征，通过预先设定的卷积核对输入的数据进行特征映射，第一个卷积层的输入为原始矩阵，后面的卷积层的输入为上一层的特征图(feature map，每个卷积核与输入进行卷积都会产生一个feature map，代表图像的特征)，每层中输入都会与卷积核进行卷积计算，卷积核在输入矩阵上按照预设的步长滑动，滑动一次则进行一次卷积。假设输入的二维数据矩阵为A(m,n)，卷积核为k(i,j)，步长为1，那么这个卷积层的输出s(i,j)为：

s(i,j)＝(k*A)(i,j)＝∑_m∑_nA(i-m.j-n)k(m,n)

本发明采用深度卷积神经网络来对人体动作进行特征提取和识别，并且针对雷达回波信号处理生成的二维特征图，设计了一种改进的卷积神经网络模型，通过在网络中采用Drop-out层、添加L2正则化项、LRN(局部响应归一化)层等方法来避免过拟合和提高识别性能，使模型在数量较小的雷达数据集能够充分学习特征，达到不错的识别率。图3为本发明所用卷积神经网络示意图：

网络大致上可以分为5个隐层结构：其中第一层依次为卷积层、池化层和局部响应归一化层，第二层依次为卷积层、局部响应归一化层和池化层，第三层依次为卷积层和和池化层，第四层依次为卷积层和池化层，第五层依次为第一全连接层，Drop-out层和第二全连接层。所有卷积层的卷积核大小设置为5*5，卷积核数量依次递增。网络内部采用ReLU(修正线性单元)作为神经元的激活函数，ReLU激活函数相对于sigmoid函数和tanh函数来说，网络的收敛速度会更快，输出层采用Softmax函数来得到最后的输出类别。

ReLU激活函数公式如下所示：

Softmax函数公式如下所示

过拟合是指模型在训练集上准确率较高，但是在测试集上预测准确率较低，代表模型的“学习能力”太强，导致学习到了很多不重要的特征。在样本较少而网络内部参数较多时，容易产生过拟合现象，降低识别率。一般防止过拟合的思想是对模型的权重参数进行“惩罚”，或者对参数的数量进行严格的控制，这样的话这些参数的大小和数量就不会太大，越小或越少的参数代表模型越简单，相对于复杂的模型，简单的模型不易产生过拟合现象。为了抑制过拟合问题，本发明中采取以下几种方法来对卷积神经网络进行改进和优化：

1、在全连接层后加入Dropout层，在神经网络的训练过程中，将网络单元的权重参数按照一定的概率将其暂时从网络中丢弃，即每个批次的训练过程中，都随机忽略一定的隐层节点参数，这样每次训练的网络是不一样的，通过训练大量不同的网络采用模型平均作为输出，可以平均识别的准确率。另外由于随机的忽略掉了一些参数，避免了某些特征只在固定的组合下才产生作用，可以让网络去学习数据集的共性而不是某些样本的一些特性，Dropout是CNN中防止过拟合现象提高准确率的一个较好的方法。

2、在损失函数后加上正则化项，损失函数是指训练过程中预测值与实际值的误差，神经网络迭代过程中通过计算梯度来使损失函数尽可能的减小，当损失函数收敛时，表示模型已经在训练集上已经完成拟合。在深度神经网络的拟合过程中通常倾向于尽可能的减小权值，最后构造出一个所有参数都比较小的模型。因为参数值小的模型能适应不同的数据集，也在一定程度上避免了过拟合现象。若网络中的参数值很大，那么只要数据偏移一点点，就会对预测结果造成很大的影响，但如果参数值足够小，数据偏移对预测结果造成的影响较小。所以在损失函数后加入L2正则化项，假设参数为θ,h(θ)是目标函数(即预测值)，h_θ(x)即为输出值，未添加L2正则化项的损失函数J(θ)如下：

那么按照梯度下降法来迭代，学习率设为为α，则参数θ的更新规律为：

如果在损失函数J(θ)之后加上L2正则化项：

其中λ为正则化参数，那么θ_j的更新公式会变成下面的式子：

从上面式子中可以看出，添加L2正则化项的参数每次迭代更新时，θ_j都要先乘上一个(0,1)区间的因子，所以θ_j不断减小，相对于未添加正则化项的迭代公式来说，参数θ_j更小。

3、加入局部响应归一化层(LRN，Local Response Normalization)，LRN借鉴了生物神经系统中的侧抑制概念(指被激活的神经元抑制相邻的神经元)，对神经网络的局部神经元建立竞争机制，使得其中响应比较大的权值参数变得相对更大，并抑制其他反馈较小的神经元参数，这样可以使模型更关注那些对预测结果影响较大的特征，而忽略影响较小的特征，增强了模型的泛化能力，提高识别率。具体计算公式如下：

其中的表示第i个卷积核在(x,y)处经过激活函数ReLU后的输出，n是同一位置上临近的feature map的数目，N是该层中卷积核的总数。参数k,a，b都是超参数，根据具体情况设置。从公式中可以看出，LRN即为“每个feature map”除以“临近半径以内的其他feature map的平方和”。

四、训练模型并测试性能

步骤1、数据集按照3:1的比例分为训练集和验证集，在单次实验中，训练集和验证集相互独立。并且，为了减少因数据集划分产生的误差，保证实验结果的有效性，重复进行5次训练和验证，每次实验都重新划分训练集和验证集。

步骤2、通过迭代拟合数据，最小化损失函数，当损失函数稳定在一个极小值附近，不再发生较大变化时，认为卷积神经网络模型已收敛，学习过程结束，训练完成。

步骤3、利用超宽带雷达采集未知的人体动作的回波信号，对数据进行处理，提取每个时刻的所有散射中心的距离信息；

步骤4、将每个时刻的散射中心的距离信息转换为序列信息，并将散射中心的距离信息序列在时间轴上排列，得到所有散射点距离信息序列随时间变化的二维特征；

步骤5、对所有散射点距离信息序列随时间变化的二维特征数据进行预处理，得到关于二维时间和距离的特征图，作为测试数据集来测试模型的识别性能；

步骤6、将测试集输入到训练好的的深度卷积神经网络分类模型中对其进行验证，即可输出未知动作的类别，最终实现准确的人体动作识别；

下面通过实验测试本发明的方法并分析其性能：

实验中使用的超宽带雷达实验平台为美国GSSI公司研发的SIR-20高性能雷达，是GPR系列中最新的产品。SIR-20系统预装了信号采集软件，由一台笔记本电脑控制。本文实验时的雷达参数如下：雷达天线中心频率为400MHz，带宽为800Mhz，分辨率为5ps，天线增益为约3dBI，扫描速率设置为每秒100次，每次扫描采样点设置为512个。测试的数据可以保存在PC机上。识别算法验证环境采用Python3.6编程语言和Google研发的TensorFlow深度学习框架。

在训练集上完成所有训练后，使用测试集来测试模型的识别性能，分别测试5次训练产生的模型，准确率表1所示，得到平均正确识别率为99.2％。可以看出，本发明提出的方法，识别准确率非常高，展现出了较为优异的识别性能和识别效率，进而验证了本发明提出方法的有效性。

表1卷积神经网络识别结果

实验次数	1	2	3	4	5
						准确率	1	0.97	1	1	0.99

为了更好的验证本发明方法的识别性能，将与传统特征提取和识别算法进行对比，对处理过的回波信号特征矩阵采用PCA(主成分分析)方法提取主成分特征，再通过常用的支持向量机(SVM)分类器进行分类识别。用PCA对雷达回波特征矩阵进行降维，得到数个特征向量。对任意一个动作样本，将样本数据向特征向量投影，得到的投影系数作为动作的特征表示，最后使用SVM分类器对这些不同的投影系数向量分类，来进行动作识别。实验结果如表2所示。

表2 PCA+SVM实验结果

动作编号	1	2	3	4	5	6	7	8
									准确率	1	0.90	0.83	0.78	0.92	1	1	1

经过多次实验，PCA+SVM的特征提取和识别算法平均识别准确率为93％，将不同动作分别分析，发现该识别算法虽然对于部分动作达到了接近100％的准确率，但对向前摔倒，向后摔倒，原地摔倒等区分度较小的动作识别率较低，无法提取不同动作中的细微差异，直接导致总体识别率不高。

通过对比实验结果可知，本发明所用方法识别性能更好，并且对于区分度较低的相似动作也能准确识别，提取的雷达回波中的人体动作特征更准确。在实际应用中，可适当增大数据集的范围，或者采用多个不同人体目标的动作作为训练集，来加强模型的泛化性和实用性。

本发明通过研究动态人体目标散射点特征，结合超宽带雷达的特性，提出了一种基于改进深度卷积神经网络的雷达人体动作识别方法，采用超宽带雷达感知人体动作，提取出人体动作的雷达回波中的时间—距离特征，生成二维特征图像矩阵，再将特征矩阵输入到卷积神经网络模型中进行训练和识别，并采取多种方法对卷积神经网络进行优化。实验证明该方法在实测的8种真实动作数据上达到了较高的识别准确率，认为系统可以对人体动作进行准确识别，验证了所提出方法的可行性和有效性。与传统方法相比，不但总体识别准确率有所提高，而且提高了对多种相似动作的识别准确率，识别性能更好。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (6)

1.基于深度卷积神经网络的超宽带雷达人体动作识别方法，其特征是，包括步骤如下：

步骤1、基于超宽带雷达搭建实验硬件平台，采集已知人体动作的回波信号；

步骤2、对步骤1所得的每个已知人体动作的回波信号进行分别处理，得到每个回波信号关于二维时间和距离的特征图；

步骤3、利用步骤2所得的所有已知人体动作的回波信号的特征图构建数据集；

步骤4、构建一个改进的深度卷积神经网络模型；该改进的深度卷积神经网络模型的隐含层包括五层，其中第一层依次为卷积层、池化层和局部响应归一化层，第二层依次为卷积层、局部响应归一化层和池化层，第三层依次为卷积层和和池化层，第四层依次为卷积层和池化层，第五层依次为第一全连接层，Drop-out层和第二全连接层；该改进的深度卷积神经网络模型采用ReLU作为激活函数，并采用加入了L2正则化项的交叉熵作为训练的损失函数；

步骤5、利用步骤3构建数据集去训练步骤4所构建的改进的深度卷积神经网络模型，即：先将数据集分为训练数据集和验证数据集；再将训练数据集输入改进的深度卷积神经网络模型中对其进行训练；在训练过程中，通过验证集来检验改进的深度卷积神经网络模型在训练过程中的拟合情况，以调整改进的深度卷积神经网络模型的超参数；训练完成后，得到最终的人体动作分类模型；

步骤6、利用超宽带雷达采集未知人体动作的回波信号；

步骤7、对步骤6所采集的回波信号进行处理，得到该回波信号关于二维时间和距离的特征图；

步骤8、将步骤7所得的关于二维时间和距离的特征图输入到步骤5所得的人体动作分类模型中，即可输出未知动作的类别，以最终实现准确的人体动作识别。

2.根据权利要求1所述的基于深度卷积神经网络的超宽带雷达人体动作识别方法，其特征是，步骤2和步骤7中，对回波信号进行处理的具体过程如下：

首先，提取该回波信号每个时刻的所有散射中心的距离信息；

接着，将每个时刻的散射中心的距离信息转换为序列信息，并将散射中心的距离信息序列在时间轴上排列，得到每个回波信号的所有散射点距离信息序列随时间变化的二维特征；

最后，对所有散射点距离信息序列随时间变化的二维特征数据进行预处理，得到该回波信号关于二维时间和距离的特征图。

3.根据权利要求2所述的基于深度卷积神经网络的超宽带雷达人体动作识别方法，其特征是，对二维特征数据进行预处理包括归一化处理和重新调整矩阵大小。

4.根据权利要求1所述的基于深度卷积神经网络的超宽带雷达人体动作识别方法，其特征是，步骤4中，改进的深度卷积神经网络模型的损失函数J(θ)为：

其中，m表示总样本数，n表示网络内部权重参数总数，x⁽ⁱ⁾表示第i个样本，h_θ(x⁽ⁱ⁾)表示第i个样本的预测值，y⁽ⁱ⁾表示第i个样本的标签，λ表示正则项系数，θ_j表示第j个网络内部权重参数。

5.根据权利要求1所述的基于深度卷积神经网络的超宽带雷达人体动作识别方法，其特征是，步骤1中，所采集的已知人体动作包括向前走、向前摔倒、向后摔倒、原地摔倒、跳跃、原地坐下、原地旋转和静止站立这8大类别。

6.根据权利要求1所述的基于深度卷积神经网络的超宽带雷达人体动作识别方法，其特征是，步骤5中，需要利用数据集对改进的深度卷积神经网络模型进行一次以上的训练多次训练，在每次训练训练时，需要重新划分训练数据集和验证数据集。