CN112364689A - 基于cnn与雷达图像的人体动作与身份多任务识别方法 - Google Patents

Abstract

本发明涉及雷达技术和人体动作识别、身份识别领域，为提出人体动作与身份多任务识别方法,不受限于季节、光照等条件。为此，本发明采取的技术方案是，基于CNN与雷达图像的人体动作与身份多任务识别方法,构建包含多类人类动作及人类身份的雷达时频图像数据库，基于多任务学习方法建立卷积神经网络CNN模型，利用数据库中的实测时频图像对模型进行训练，在训练中针对多任务设计多种损失函数，进行网络优化。最终利用得到的CNN模型进行实测情况下的人体动作、进行身份识别。本发明主要应用于人体动作识别、身份识别场合。

Description

基于CNN与雷达图像的人体动作与身份多任务识别方法

技术领域

本发明涉及雷达技术和人体动作识别、身份识别领域，具体涉及基于CNN与雷达图像的人体动作与身份多任务识别方法。

背景技术

随着近年来多普勒雷达精度的上升和使用成本的下降，利用雷达进行人体的动作和身份识别成为了新的研究热点。

传统的人体识别依赖指纹等生物特征或一些接触式传感器、视频监视器等，不仅需要分析对象配合实验，且对实验场景的视角、位置、对象、光照条件等都有一定的限制，具有很多缺陷。而雷达不受天气和光线等条件的限制，传播距离较远，具有非接触特性，且有强大的穿透能力，能够在人体目标距离较远且被障碍物遮挡条件下对其进行全天候、全天时的探测[1]。多普勒雷达可有效抑制背景中的静止杂波，非常适合检测运动。雷达发射信号照射在运动目标上，产生的回波包含了人身体各部位相对运动产生的丰富多普勒频率信息[2]，再通过信号处理和时频变换，可由雷达采样信号得到雷达时频图像，可为人体的动作与身份识别提供很大的发展空间。

卷积神经网络(Convolutional Neural Network，CNN)不断发展，在广泛的识别应用中已经取得了很好的效果[3]，和一些传统方法相比，深度学习方法不需要针对特定任务人工设计特征，CNN可以自动从图像数据中学习出更加鲁棒的特征，从而得到泛化能力更强的模型，从而实现端到端的识别。在基于多普勒雷达图像的人体识别任务中，可利用不同的CNN模型分别进行人体动作识别及身份识别[4]。

2016年后，有学者将深度卷积神经网络应用于雷达人体动作识别任务中，可以获得较好的识别效果，而利用雷达图像进行人类身份识别的研究较少。这是因为不同人体动作或不同类型目标产生的雷达谱图之间往往存在很大差异，而不同的人体目标完成相同动作产生的频谱图往往非常相似。完成身份识别任务，需要从行为相同的多普勒图像中提取不同人类身份的特有特征来进行人类身份识别，这个任务具有更大的难度。2018年，Cao等人首次探究了利用DCNN进行人类身份识别的有效性，并实现了从频谱图提取五个特征进行SVM分类的识别方法。同年，Chen等人利用多基地雷达的方向分集提高分类精度，使用多基地的DCNN分别实现对两类步态的识别和两级人员的识别在动作和身份识别。任务分别完成时，两个任务提取的特征仅分别用于各自的识别任务，在总任务上没有充分地利用两类标签的信息。

[1]Krucki,K.,Asari,V.,Borel,C.,et al.:‘Human re-identification inmulticamera systems’.IEEE Applied Imagery Pattern Recognition Workshop,Washington,DC,USA,October 2014,pp.1–7

[2]王帅杰,李钊,王梦梦,等.基于生物雷达的人体步态非接触检测技术研究进展[J].国际生物医学工程杂志,2017,40(1).

[3]陈奎,邢雪妍,田欣沅,王吉豪,王顺.基于CNN的人脸识别门禁系统设计[J].徐州工程学院学报(自然科学版),2018,33(04):89-92.

[4]Kim Y,Moon T.Human Detection and Activity Classification Based onMicro-Doppler Signatures Using Deep Convolutional Neural Networks[J].IEEEGeoscience&Remote Sensing Letters,2016,13(1):8-12。

发明内容

为克服现有技术的不足，本发明旨在提出人体动作与身份多任务识别方法,不受限于季节、光照等条件。为此，本发明采取的技术方案是，基于CNN与雷达图像的人体动作与身份多任务识别方法,构建包含多类人类动作及人类身份的雷达时频图像数据库，基于多任务学习方法建立卷积神经网络CNN模型，利用数据库中的实测时频图像对模型进行训练，在训练中针对多任务设计多种损失函数，进行网络优化。最终利用得到的CNN模型进行实测情况下的人体动作、进行身份识别。

1)构建雷达时频图像数据库：采用工作频率为3.1GHz到4.8GHz的PulsON 440超宽带雷达模块，用两个定向天线在室内环境下接收人体回波信号，数据采集后，经过时频变换得到人体目标雷达回波的时频分布图，即雷达时频图像，从而建立雷达时频图像数据库。选择每个身份种类下每类动作m张的时频图像作为训练集，每个身份种类下每类动作n张的时频图像作为测试集；

2)构建多任务模型：所构建的模型分为任务共享层和任务特定层，任务共享层由5个卷积层、3个池化层以及一个全连接层组成，在卷积层后加入激活函数：修正线性单元ReLU(Rectified Linear Unit)，输入的时频图像通过构建的任务共享层进行特征提取，所获得的特征图用于完成动作识别和身份识别；

3)设计损失函数：将交叉熵损失函数作为用于识别的基本损失函数，将预测标签及真实标签转换为one-hot编码，并计算二者的L2距离，作为独热编码损失函数，对每一个类都维护一个类中心，若样本在特征空间内与类中心的距离太远则受惩罚，类中心随机初始化，在每个批次里对类中心进行更新，据此计算样本与中心距离，以此距离作为中心损失函数，通过损失函数的优化形成加紧致的类分布，根据特定识别任务调节类中心的学习效率，并根据识别总任务的准确率调节三个损失函数的权重；

4)基于多任务模型的人体动作与身份识别：将每类身份每类动作的微多普勒图像及其双标签信息作为训练集，输入CNN模型进行训练，通过任务共享层进行特征提取，将生成的特征向量送入任务特定层分别进行动作识别和身份识别，利用模型输出的识别结果和真实标签，在两个任务上分别进行三个损失函数的计算，将两个任务上的总损失函数相加回传，更新模型参数。

步骤2)中，任务共享层利用两个任务的标签信息，针对身份及动作的总识别任务提取特征，使两个任务相互促进；任务特定层由两个全连接层构成，在全连接层间使用ReLU，并利用Dropout单元避免过拟合，提升泛化性能；由任务共享层输出的特征向量输入任务特定层，分别进行人类动作和身份的识别；

构建雷达时频图像数据库中，得到回波信号后，经过时频变换得到人体目标雷达回波的时频分布图，在时间和频率二维空间获取信号的时变特性，设t为采样间隔，n为采样点数，雷达回波离散采样信号经混频和低通滤波处理后得到：

设m为频域采样点数，利用短时傅里叶变换进行时频变换得到：

TF(n,m)＝TFT(s(n))

由此得到实测下的人体目标雷达回波的时频图像。

构建多任务模型中，任务特定层分别完成动作识别和身份识别两个识别任务，两个识别任务分别由两个全连接层构成，在两个全连接层之间使用激活函数ReLU，并加入Dropout单元避免过拟合，提升泛化性能，由任务共享层输出的特征向量输入任务特定层，分别进行人类动作和身份的识别和损失函数的计算，两个任务的损失函数相加回传，更新各层参数；

使用如下三种损失函数对模型进行优化：

L＝L_E+L_C+L_O

将交叉熵损失函数L_E作为用于多任务识别的基本损失函数，公式如下：

其中，m表示一个批次的数据量，j为n个类别中的任意一类，W为权重，b为偏置；

在交叉熵损失函数基础上，加入独热编码损失函数L_O，即将预测标签及真实标签都转换为one-hot编码，并计算二者的L2距离；

为解决模型优化后，特征空间中样本分布类内间距过大的问题，加入中心损失函数L_C，中心损失函数的思想是：对每一个类都维护一个类中心，若样本在特征空间内与类中心的距离太远则受惩罚，公式如下：

其中x_i为单个样本，

为类的中心，λ为损失函数的权重；

类中心

首先进行一个随机的初始化，在每个批次里对类中心进行更新，以j代表类别，类中心更新量的表达式如下：

用t表示时刻，α表示更新的权重，也代表了类中心的学习效率，更新过程表示为：

根据每个批次更新得到的类中心，计算样本与类中心之间的距离，以此距离作为中心损失函数，通过损失函数的优化可以形成加紧致的类分布，需要根据特定识别任务调节类中心的学习效率α，并根据识别总任务的准确率调节三个损失函数的权重，以达到损失函数的最佳优化方式。

本发明的特点及有益效果是：

本发明通过构建雷达实测图像数据库、构建CNN模型以及设计多种损失函数，最终建立一个基于多任务学习的CNN模型，可使两个任务互相促进，与任务分别完成相比，识别准确率提升，达到较理想的分类精度。

附图说明：

图1为多任务模型结构示意图；

图2为交叉熵优化的样本类别分布示意图；

图3为加入中心损失优化的样本类别分布示意图。

具体实施方式

本发明中基于CNN与雷达图像的人体动作与身份多任务识别方法，将数据库中不同人类动作和身份的训练数据应用于具有任务共享层和任务特顶层的的CNN模型，使两个任务进行特征的共享，并得到互相促进。在模型优化过程中，设计了三种不同的损失函数，使特征空间中样本分布更加紧致，具有大的类间距离和小的类内距离，从而提升模型的泛化性能，使总的识别效果得到提高。这种多任务识别方法充分利用了两个任务的类别信息，使模型对识别总任务的特征提取更加准确，的有十分广阔的应用前景。

本发明提出了一种基于CNN与雷达图像的人体动作与身份多任务识别方法。构建包含多类人类动作及人类身份的雷达时频图像数据库，基于多任务学习方法建立CNN模型，利用数据库中的实测时频图像对模型进行训练，在训练中针对多任务设计多种损失函数，进行网络优化。最终利用得到的CNN模型进行实测情况下的人体动作与身份识别。此发明不受限于季节、光照等条件，通过以下几点对发明内容进行详细阐述：

1.构建雷达时频图像数据库。采用工作频率为3.1GHz到4.8GHz的PulsON 440超宽带雷达模块，用两个定向天线在室内环境下接收人体回波信号。实验中共有15个受试者，代表15个身份种类，对每个受试者采集6个动作种类的人体行为数据，所选取的6种人体动作分别为：行走、拳击、地面爬行、潜行、前向立定跳、跑步。实测数据采集后，经过时频变换得到人体目标雷达回波的时频分布图，即雷达时频图像，从而建立雷达时频图像数据库。选择每个身份种类下每类动作1500张的时频图像作为训练集，每个身份种类下每类动作500张的时频图像作为测试集。

2.构建多任务模型。所构建的模型分为任务共享层和任务特定层。任务共享层由5个卷积层、3个池化层以及一个全连接层组成，在卷积层后加入激活函数：修正线性单元(Rectified Linear Unit,ReLU)，增加了非线性。输入的时频图像通过构建的任务共享层进行特征提取，所获得的特征图用于完成动作识别和身份识别。任务共享层可充分利用两个任务的标签信息，针对身份及动作的总识别任务提取更加有效的特征，使两个任务相互促进。任务特定层由两个全连接层构成，在全连接层间使用ReLU，并利用Dropout单元避免过拟合，提升泛化性能。由任务共享层输出的特征向量输入任务特定层，分别进行人类动作和身份的识别。

3.设计损失函数。将交叉熵损失函数作为用于识别的基本损失函数。将预测标签及真实标签转换为one-hot编码，并计算二者的L2距离，作为独热编码损失函数。为解决模型优化后，识别时类内间距过大的问题，对每一个类都维护一个类中心，若样本在特征空间内与类中心的距离太远则受惩罚。类中心随机初始化，在每个批次里对类中心进行更新，据此计算样本与中心距离，以此距离作为中心损失函数，通过损失函数的优化可以形成加紧致的类分布，有利于提高识别准确率及泛化性能。在实验中，根据特定识别任务调节类中心的学习效率，并根据识别总任务的准确率调节三个损失函数的权重。

4.基于多任务模型的人体动作与身份识别。将每类身份每类动作1500张的微多普勒图像及其双标签信息作为训练集，输入CNN模型进行训练，通过任务共享层进行特征提取，将生成的特征向量送入任务特定层分别进行动作识别和身份识别，利用模型输出的识别结果和真实标签，在两个任务上分别进行三个损失函数的计算。将两个任务上的总损失函数相加回传，更新模型参数。将每类身份每类动作500张的为多普勒图像及其双标签信息作为测试集，输入已经训练完成的CNN模型，输出即为动作及身份的类别。根据测试集的真实标签可得出动作识别和身份识别准确率，并得到二者识别正确的总正确率。为验证多任务模型的有效性，在总数据集上进行4折交叉验证来分别独立完成动作识别任务和身份识别任务，选取效果最好的一组验证集数据，在多任务模型上进行模型的训练和识别，可与独立识别任务效果进行对比，在特征的共享与任务的相互促进中，两任务的识别准确率及总任务的识别准确率都得到提升。

本发明通过构建雷达实测图像数据库、构建CNN模型以及设计多种损失函数，最终建立一个基于多任务学习的CNN模型，可使两个任务互相促进，与任务分别完成相比，识别准确率提升，达到较理想的分类精度。

为将本发明的技术方案描述得更加清楚，对本发明的具体实施过程做如下的进一步地描述。本发明按以下步骤具体实现：

1.构建雷达时频图像数据库

(1)实测数据采集

采用工作频率为3.1GHz到4.8GHz的PulsON 440超宽带雷达模块，在室内环境下接收人体回波信号。实验中共有15个受试者，代表15个身份种类，对每个受试者采集6个动作种类的人体行为，所选取的6种人体动作分别为：行走、拳击、地面爬行、潜行、前向立定跳、跑步。每类动作由每个身份种类的被试者重复三次。

(2)时频图像的获取

得到回波信号后，经过时频变换得到人体目标雷达回波的时频分布图。由于多普勒时变性，本质上要求采用非平稳信号处理手段对信号进行微多普勒频率特性分析。高分辨的时频分布是动态信号和多信号分析的一种有效工具，可在时间和频率二维空间获取信号的时变特性。设t为采样间隔，n为采样点数，雷达回波离散采样信号经混频和低通滤波处理后得到：

设m为频域采样点数，利用短时傅里叶变换进行时频变换得到：

TF(n,m)＝TFT(s(n))

由此可以得到实测下的人体目标雷达回波的时频图像。

得到回波信号后，经过时频变换得到人体目标雷达回波的时频分布图，即雷达时频图像，从而建立雷达时频图像数据库。选择每个受试者每类动作1500张的时频图像作为训练集，每个受试者每类动作500张的时频图像作为测试集。

2.多任务模型构建

所构建的模型分为任务共享层和任务特定层，图1为多任务模型结构，具体参数如表1。“n×n conv”表示卷积核大小为n×n的卷积层、“Padding”表示图片周围填充像素个数、“Pooling”表示最大值值池化操作、FC(m,n)表示经过全连接层前后的特征图通道数。

任务共享层由5个卷积层、3个池化层以及一个全连接层组成。输入的时频图像在任务共享层中，通过卷积层进行深度特征提取，通过池化层进行下采样，减小过拟合，提高容错性。在卷积层后加入激活函数：修正线性单元(Rectified Linear Unit,ReLU)，以增加非线性。输入的时频图像通过构建的任务共享层进行特征提取，特征图通过全连接层生成特征向量，用于完成动作识别和身份识别。任务共享层可充分利用两个任务的标签信息，针对身份及动作的总识别任务提取更加有效的特征，使两个任务相互促进。

任务特定层分别完成动作识别和身份识别两个识别任务。两个识别任务分别由两个全连接层构成，在两个全连接层之间使用激活函数ReLU，并加入Dropout单元避免过拟合，提升泛化性能。由任务共享层输出的特征向量输入任务特定层，分别进行人类动作和身份的识别和损失函数的计算，两个任务的损失函数相加回传，更新各层参数。

表1模型参数

3.损失函数设计

本发明提出的多任务识别方法，使用如下三种损失函数对模型进行优化：

L＝L_E+L_C+L_O

将交叉熵损失函数L_E作为用于多任务识别的基本损失函数，公式如下：

其中，m表示一个批次的数据量，j为n个类别中的任意一类，W为权重，b为偏置。交叉熵函数具有非负性，可以有效克服权重更新过慢的问题，是分类任务上常用的损失函数。利用交叉熵损失函数进行优化，可以在学习的特征空间中获得清晰的样本类别边界，但在图2的分布中，可以看出特征空间中呈现的类内分布较为松散，仅以此损失函数进行优化，模型的泛化性能仍有待提高。在身份识别任务上，所需要识别的类别更多，类间差异更微小。在此多任务识别中，需要综合其他的损失函数来优化样本在特征空间中的分布，

在交叉熵损失函数基础上，加入独热编码损失函数L_O。即将预测标签及真实标签都转换为one-hot编码，并计算二者的L2距离。

为解决模型优化后，特征空间中样本分布类内间距过大的问题，加入中心损失函数L_C。中心损失函数的思想是：对每一个类都维护一个类中心，若样本在特征空间内与类中心的距离太远则受惩罚。公式如下：

其中x_i为单个样本，

为类的中心，λ为损失函数的权重。

类中心

首先进行一个随机的初始化，在每个批次里对类中心进行更新，以j代表类别，类中心更新量的表达式如下：

用t表示时刻，α表示更新的权重，也代表了类中心的学习效率，更新过程可以表示为：

根据每个批次更新得到的类中心，可计算样本与类中心之间的距离，以此距离作为中心损失函数，通过损失函数的优化可以形成加紧致的类分布，有利于提高识别准确率及泛化性能，加入中心损失优化的样本类别分布如图3所示。在实验中，需要根据特定识别任务调节类中心的学习效率α，并根据识别总任务的准确率调节三个损失函数的权重，以达到损失函数的最佳优化方式。

4.基于多任务模型的人体动作与身份识别

将每类身份每类动作1500张的微多普勒图像及其双标签信息作为训练集，输入CNN模型进行训练，通过任务共享层进行特征提取，将生成的特征向量送入任务特定层分别进行动作识别和身份识别，利用模型输出的识别结果和真实标签，在两个任务上分别进行三个损失函数的计算。将两个任务上的总损失函数相加回传，更新模型参数。将每类身份每类动作500张的微多普勒图像及其双标签信息作为测试集，输入已经训练完成的CNN模型，输出即为动作及身份的类别。根据测试集的真实标签可得出动作识别和身份识别准确率，并得到二者识别正确的总正确率。

为验证多任务网络的有效性，以发明中的CNN结构在任务独立的情况下，分别完成动作识别和身份识别，统计两识别任务共同正确率并在每类身份每类动作2000张的数据集上进行四折交叉验证，结果如表2：

表2交叉验证结果

选取正确率最高的交叉验证集在多任务网络上进行训练，得到的识别结果为动作识别正确率100％，身份识别正确率99.92％，总识别正确率99.92％。在本发明的网络结构和优化方法下，动作和身份识别任务可以相互促进并提升识别效果。

Claims (3)

1.一种基于CNN与雷达图像的人体动作与身份多任务识别方法，其特征是，构建包含多类人类动作及人类身份的雷达时频图像数据库，基于多任务学习方法建立卷积神经网络CNN模型，利用数据库中的实测时频图像对模型进行训练，在训练中针对多任务设计多种损失函数，进行网络优化。最终利用得到的CNN模型进行实测情况下的人体动作、进行身份识别。

2.如权利要求1所述的基于CNN与雷达图像的人体动作与身份多任务识别方法，其特征是，

1)构建雷达时频图像数据库：采用工作频率为3.1GHz到4.8GHz的PulsON 440超宽带雷达模块，用两个定向天线在室内环境下接收人体回波信号，数据采集后，经过时频变换得到人体目标雷达回波的时频分布图，即雷达时频图像，从而建立雷达时频图像数据库。选择每个身份种类下每类动作m张的时频图像作为训练集，每个身份种类下每类动作n张的时频图像作为测试集；

2)构建多任务模型：所构建的模型分为任务共享层和任务特定层，任务共享层由5个卷积层、3个池化层以及一个全连接层组成，在卷积层后加入激活函数：修正线性单元ReLU(Rectified Linear Unit)，输入的时频图像通过构建的任务共享层进行特征提取，所获得的特征图用于完成动作识别和身份识别；

3)设计损失函数：将交叉熵损失函数作为用于识别的基本损失函数，将预测标签及真实标签转换为one-hot编码，并计算二者的L2距离，作为独热编码损失函数，对每一个类都维护一个类中心，若样本在特征空间内与类中心的距离太远则受惩罚，类中心随机初始化，在每个批次里对类中心进行更新，据此计算样本与中心距离，以此距离作为中心损失函数，通过损失函数的优化形成加紧致的类分布，根据特定识别任务调节类中心的学习效率，并根据识别总任务的准确率调节三个损失函数的权重；

4)基于多任务模型的人体动作与身份识别：将每类身份每类动作的微多普勒图像及其双标签信息作为训练集，输入CNN模型进行训练，通过任务共享层进行特征提取，将生成的特征向量送入任务特定层分别进行动作识别和身份识别，利用模型输出的识别结果和真实标签，在两个任务上分别进行三个损失函数的计算，将两个任务上的总损失函数相加回传，更新模型参数。

3.如权利要求1所述的基于CNN与雷达图像的人体动作与身份多任务识别方法，其特征是，步骤2)中，任务共享层利用两个任务的标签信息，针对身份及动作的总识别任务提取特征，使两个任务相互促进；任务特定层由两个全连接层构成，在全连接层间使用ReLU，并利用Dropout单元避免过拟合，提升泛化性能；由任务共享层输出的特征向量输入任务特定层，分别进行人类动作和身份的识别；

构建雷达时频图像数据库中，得到回波信号后，经过时频变换得到人体目标雷达回波的时频分布图，在时间和频率二维空间获取信号的时变特性，设Δt为采样间隔，n为采样点数，雷达回波离散采样信号经混频和低通滤波处理后得到：

设m为频域采样点数，利用短时傅里叶变换进行时频变换得到：

TF(n,m)＝TFT(s(n))

由此得到实测下的人体目标雷达回波的时频图像；

构建多任务模型中，任务特定层分别完成动作识别和身份识别两个识别任务，两个识别任务分别由两个全连接层构成，在两个全连接层之间使用激活函数ReLU，并加入Dropout单元避免过拟合，提升泛化性能，由任务共享层输出的特征向量输入任务特定层，分别进行人类动作和身份的识别和损失函数的计算，两个任务的损失函数相加回传，更新各层参数；

使用如下三种损失函数对模型进行优化：

L＝L_E+L_C+L_O

将交叉熵损失函数L_E作为用于多任务识别的基本损失函数，公式如下：

其中，m表示一个批次的数据量，j为n个类别中的任意一类，W为权重，b为偏置；

在交叉熵损失函数基础上，加入独热编码损失函数L_O，即将预测标签及真实标签都转换为one-hot编码，并计算二者的L2距离；

为解决模型优化后，特征空间中样本分布类内间距过大的问题，加入中心损失函数L_C，中心损失函数的思想是：对每一个类都维护一个类中心，若样本在特征空间内与类中心的距离太远则受惩罚，公式如下：

其中x_i为单个样本，

为类的中心，λ为损失函数的权重；

类中心

首先进行一个随机的初始化，在每个批次里对类中心进行更新，以j代表类别，类中心更新量的表达式如下：

用t表示时刻，α表示更新的权重，也代表了类中心的学习效率，更新过程表示为：

根据每个批次更新得到的类中心，计算样本与类中心之间的距离，以此距离作为中心损失函数，通过损失函数的优化可以形成加紧致的类分布，需要根据特定识别任务调节类中心的学习效率α，并根据识别总任务的准确率调节三个损失函数的权重，以达到损失函数的最佳优化方式。

Images