CN114360058A - 一种基于行走视角预测的跨视角步态识别方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，特别涉及一种基于行走视角预测的跨视角步态识别方法。本发明在使用深度卷积网络方法的基础上，添加视角预测网络，将样本视角信息作为监督信号来对步态能量图中的视角信息进行有效建模，以辅助进行网络模型训练，最终能够提取到具有视角不变性的步态特征，从而解决跨视角步态识别问题中，视角差异过大导致模型鲁棒性下降的问题。

Description

一种基于行走视角预测的跨视角步态识别方法

技术领域

本发明属于计算机视觉技术领域，特别涉及一种基于行走视角预测的跨视角步态识别方法。

背景技术

随着计算机领域的迅速发展，视频安防监控已经成为对重点部门或场所进行实时监控的重要设备。绝大部分银行、车站、商场等安全隐患较大或人流量大的场所都已经安装智能监控设备。在监控设备记录下的图像或视频数据中，关于行人的信息是最为关键的信息，包括行人的身份、属性等信息。但是由于视频监控系统规模的急剧增长，传统的人工监视、人工分析的方法已经远远不能满足当前需求。理想的智能监控系统应具有自动分析行人信息、跟踪和报警可疑人员信息的功能，这要求监视系统能够根据行人的生物特征进行行人属性与身份的识别。

常用的生物特征识别方法包括指纹识别、虹膜识别、面部识别等。虽然这些识别技术已经比较成熟并已被广泛应用，但这些生物特征都具有一些缺陷。例如指纹识别需要用户主动配合才能完成指纹采集；虹膜识别需要在近距离使用传感器进行虹膜图像采集；面部识别通常需要较高分辨率的面部图像才能准确识别。这些缺陷使得上述这些生物特征识别方法难以有效应用于监控场景中。步态识别是近几年来较新的生物识别技术。步态识别通过行人步行图像或视频来识别身份，它具有能够长距离访问、非接触和非侵入性、不需要主动配合、低图像分辨率要求等特点，因此非常适合应用于监控场景中。正因如此，步态识别技术越来越受到国内外学者的广泛关注与研究。目前步态识别技术的难点主要在于，对于不同视角下的同一个行人，由于受到监控视角、衣着、遮挡等因素变化的影响，其监控图像会呈现出不同的视觉特征，导致步态识别难度增加。这些因素中，监控视角角度变化而导致的差异是最为严重的，这也是步态识别技术公认的难点。

现有技术主要使用卷积神经网络(Convolutional Neural Networks,CNN)对步态能量图(GaitEnergyImage，GEI)进行特征提取，然后在嵌入空间下对两张行人的步态能量图所提取的特征进行相似度比对的方法，来进行行人身份匹配。

文献“Wu Z,Huang Y,Wang L,et al.A Comprehensive Study on Cross-ViewGait Based Human Identification with Deep CNNs[J].IEEE Transactions onPattern Analysis and Machine Intelligence,2017,39(2):209-226”中定义了一个浅层卷积神经网络LB，如图1所示，该网络包含三个卷积层(ConvolutionLayer)、两个归一化层(NormalizationLayer)、两个空间池化层(SpatialPooling Layer)、以及一个全连接层(Fully-connectedLayer)。该方案将两个步态能量图输入到卷积神经网络LB；使网络中的卷积层与池化层能够自动化提取图像特征，最终的全连接层能够完成判断两个步态图像是否属于一个行人的二分类任务；最后，整个网络的输出为一个向量，用来表示这两个步态能量图是否属于同一个行人的相似度；在训练过程中，利用反向传播算法(Back-propagation)来实行端到端(End-to-end)的训练过程；在测试阶段，对于一个待测目标的步态能量图，将其与注册集(Galleryset)中所有已知身份的步态能量图使用训练好的网络模型进行一一比对，将网络输出相似度最高的注册集样本身份判定为待测目标的身份，如图2所示。该方案具有如下缺点：在网络模型训练过程中，没有对输入图像的视角信息进行建模，同时也完全忽略训练样本的视角信息标签；在训练过程中随机选取行人的步态图像来进行训练，这将导致模型在两个步态图像的视角差异较大时，正确识别率明显下降，同时整体模型对于视角变换的鲁棒性下降；同时，由于当前主要的步态数据集中的步态能量图数据，均为离散视角下拍摄，忽略视角信息将导致模型只能够处理给定的若干角度图像，难以对其他连续角度下步态图像进行识别。

文献“Huang Y,Zhang J,Zhao H,et al.Attention-Based Network for Cross-View Gait Recognition[C].International Conference on Neural InformationProcessing.Springer,Cham,2018”定义了一个包含五个卷积层、五个池化层、以及一个全连接层的网络模型，在第四层特征后使用注意力模块(AttentionBlock)，在像素级生成显著性权重，然后再利用这个权重给原特征进行加权运算，以此来生成更有效的跨视角步态特征。该方案同样没有使用视角信息标签，虽然其在文献“Wu Z,Huang Y,Wang L,et al.AComprehensive Study on Cross-View Gait Based Human Identification with DeepCNNs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(2):209-226”的基础上添加了注意力模块来提高了跨世纪角身份识别率，然而其模型仍然难以处理数据集中未出现的其他视角的图像，模型对于视角变换的鲁棒性下降。

发明内容

为解决跨视角步态识别问题中，视角差异过大导致模型鲁棒性下降的问题，本发明提供了一种基于行走视角预测的跨视角步态识别方法，本方法在使用深度卷积网络方法的基础上，添加视角预测模块，将样本视角信息作为监督信号来对步态能量图中的视角信息进行有效建模，以辅助进行网络模型训练，最终能够提取到具有视角不变性的步态特征，改善视角差异较大状态下跨视角步态识别率。

为实现上述目的，本发明提供了一种基于行走视角预测的跨视角步态识别方法，包括如下步骤：

S1：基于卷积神经浅层网络建立视角预测网络，基于卷积神经深度网络建立特征提取网络；

S2：获取大量的行人类步态能量图建立数据集，并将其分为训练集、测试集和注册集；

S3：将训练集中的训练样本输入视角预测网络进行视角预测，获得训练样本的视角方向估计向量；

S4：将训练集中的训练样本输入特征提取网络进行步态特征提取，获得训练样本的步态特征向量，并将其与步骤S3中获得的视角方向估计向量加权求和，获得具有视角不变性的步态特征向量和行人身份分类向量；利用获得的具有视角不变性的步态特征向量和行人身份分类向量计算网络总损失函数；

S5：重复步骤S3和步骤S4，当网络总损失函数达到最小时，停止训练；

S6：将注册集中的所有注册样本输入训练完毕的视角预测网络和特征提取网络，获得所有注册样本的具有视角不变性的步态特征向量；

S7：将测试集中的任一待测样本，输入训练完毕的视角预测网络和特征提取网络，获得所述待测样本的具有视角不变性的步态特征向量并将其与步骤S6中获得的所有注册样本的具有视角不变性的步态特征向量的欧式距离进行比对，得到所述待测样本的行人身份识别结果。

进一步，所述步骤S2中，行人类步态能量图为运动历史图、步态熵图、基于时间保持的步态能量图或者主动能量图。

进一步，所述步骤S3具体过程为：

1)将单通道类步态能量图像训练样本使用双线性插值方法调整尺寸至1×224×224；

2)对调整尺寸后的每一个单通道类步态能量图像都通过卷积核池化结构得到对应的特征，所述卷积核池化结构依次包括：第一个二维卷积层，卷积核为5×5，步长为1，紧接着的第一个最大池化层的池化窗口尺寸为2×2；第二个二维卷积层，卷积核为7×7，步长为1，紧接着的第二个最大池化层的池化窗口尺寸为2×2；第三个二维卷积层，卷积核为7×7，步长为1，紧接着的第三个最大池化层的池化窗口尺寸为2×2；

3)将通过所述卷积核池化结构得到的特征输入全连接层，输入节点数为32×23×23，输出节点数为4，得到维度为4的特征并利用Softmax进行归一化运算，得到一个4维度的视角方向估计向量。

进一步，所述步骤S1中，基于18层深度残差网络ResNet-18建立特征提取网络。

进一步，所述步骤S4具体过程为：

1)将单通道类步态能量图像训练样本使用双线性插值方法调整尺寸至1×224×224；

2)对调整尺寸后的每一个单通道类步态能量图像都通过卷积核池化残差结构得到4个维度为512×7×7的步态特征向量，所述卷积核池化残差结构依次包括：二维卷积层，卷积核为7×7，步长为2，填充距离为3，紧接着的最大池化层的池化窗口尺寸为2×2；第一层残差块；第二层残差块；4个平行的第三层残差块；4个第四层残差块；

3)分别将步骤2)所得到的4个步态特征向量使用所述步骤3中获得的视角估计向量进行加权求和，得到一个维度为512×7×7的特征向量y：

y＝v[1]*x1+v[2]*x2+v[3]*x3+v[4]*x4，

其中，v为视角方向估计向量，v[i]，i＝1,2,3,4，为实数，为视角方向估计向量v的第i个维度分量，x1、x2、x3、x4分别为步骤2)中得到的4个步态特征向量；

4)将所述特征向量y分别输入两个全连接层，得到维度为N的行人身份分类向量y1和维度为1024的具有视角不变性的步态特征向量y2，N表示训练集中的样本身份数量；

5)使用Softmax Loss对行人身份分类向量y1计算行人身份分类损失l1，使用三元组损失Triplet Loss对具有视角不变性的步态特征向量y2计算损失l2，使用CosineEmbedding Loss对视角方向估计向量v计算损失l3；

6)计算网络总损失函数L＝l1+l2+l3，并使用反向传播算法对整个网络进行参数更新。

本发明的有益效果：

1)本发明将步态能量图的视角信息作为监督信号融入模型的训练过程中，使得模型能够学习视角预测方法，以此通过离散视角样本进行连续角度建模，来改进对未知角度的步态图像识别准确率；

2)本发明使用角度信息进行特征加权，使模型能够针对于不同视角进行提取更具有鲁棒性的步态特征，提高了大视角差异情况下步态识别的准确率。

附图说明

图1是现有技术的卷积神经网络模型；

图2是现有技术的测试过程示意图；

图3是本发明实施例的基于行走视角预测的跨视角步态识别方法流程图；

图4是本发明实施例的视角预测网络；

图5是本发明实施例的特征提取网络；

图6是特征提取模块中的残差块结构示意图。

具体实施方式

下面结合附图和实施例进一步描述本发明，应该理解，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图3所示，本实施例的基于行走视角预测的跨视角步态识别方法包括如下步骤：

S1：基于卷积神经浅层网络建立视角预测网络，基于卷积神经深度网络建立特征提取网络；

本实施例中，视角预测网络是一个由三层卷积池化层与一个全连接层组成的浅层网络，用来进行步态能量图像视角预测，如图4所示。特征提取网络是一个深层网络，其结构基于18层深度残差网络(Deep Residual Network 18，ResNet-18)的结构进行改动，由若干卷积层、池化层、残差块，及两个全连接层组成，如图5所示。应该理解，使用其他现有的骨干网络结构，或其他相似的深度网络模型，例如VGG网络,DenseNet等，也可达到本实施例近似的特征提取效果。

S2：获取大量的行人类步态能量图建立数据集，并将其分为训练集、测试集和注册集；

特别地，可以采集类步态图像并生成类步态能量图，或者使用现有类步态数据集中的类步态能量图作为模型训练数据。所述行人类步态能量图可以为运动历史图、步态熵图、基于时间保持的步态能量图或者主动能量图等相似地能够包含行人身份信息，且具有角度敏感度的步态图像。

S3：将所有单通道类步态能量图使用双线性插值方法调整尺寸至1×224×224，其中1表示图像通道数；

S4:将训练集中的训练样本输入视角预测网络进行视角预测，获得训练样本的视角方向估计向量；具体过程为：

1)将训练样本图像输入二维卷积层a，卷积核尺寸为5×5，步长为1，输出通道为8通道，之后使用ReLU激活函数，得到维度为8×220×220的特征；

2)将1)中所得特征输入最大池化层a，池化窗口尺寸为2×2；

3)将2)中经过池化处理的所得特征输入二维卷积层b，卷积核尺寸为7×7，步长为1，输出通道为16通道，之后使用ReLU激活函数，得到维度为8×104×104的特征；

4)将3)中所得特征输入最大池化层b，池化窗口尺寸为2×2；

5)将4)中经过池化处理的所得特征输入二维卷积层c，卷积核尺寸为7×7，步长为1，输出通道为32通道，之后使用ReLU激活函数，得到维度为8×46×6的特征；

6)将5)中所得特征输入最大池化层c，池化窗口尺寸为2×2；

7)将6)中经过池化处理的所得特征输入全连接层d，输入节点数为32×23×23，输出节点数为4，得到维度为4的特征；

8)将7)中所得特征进行Softmax进行归一化运算，得到一个4维度向量v，作为该步态能量图的视角方向估计向量。

S5：将训练集中的训练样本输入特征提取网络进行步态特征提取，获得训练样本的步态特征向量，并将其与步骤S3中获得的视角方向估计向量加权求和，获得具有视角不变性的步态特征向量和行人身份分类向量；利用获得的具有视角不变性的步态特征向量和行人身份分类向量计算网络总损失函数。具体过程如下：

1)将训练样本图像输入二维卷积层，卷积核尺寸为7×7，步长为2，填充距离为3，输出通道为64通道，之后使用ReLU激活函数，得到维度为64×112×112的特征；

2)将1)中所得特征输入最大池化层，池化窗口尺寸为2×2；

3)将2)中经过池化处理的所得特征输入第一层残差模块，得到维度为64×56×56的特征；图6示出了本实例的残差块的结构示意图，其卷积层卷积核尺寸为3×3，输出通道为64通道；

4)将3)中所得特征输入第二层残差块，得到维度为128×28×28的特征；其中第二层残差块结构与3)中的第一层残差块结构相同，但输出通道为128通道；

5)分别将4)中所得特征输入4个平行的第三层残差块，得到4个维度为256×14×14的特征；其中第三层残差块结构与3)中的第一层残差块结构相同，但输出通道为256通道；

6)分别将5)中所得的4个特征输入对应的4个第四层残差块，得到4个维度为512×7×7的特征；其中第四层残差块结构与3)中的第一层残差块结构相同，但输出通道为512通道；

7)分别将6)中所得的4个特征使用步骤S4所得的视角方向估计向量v进行加权求和，得到一个维度为512×7×7向量y：

y＝v[1]*x1+v[2]*x2+v[3]*x3+v[4]*x4，

其中，v[i]为实数，为视角方向估计向量v的第i个维度分量，i＝1,2,3,4。x1,x2,x3,x4为6)中所得的4个高维特征；

8)将7)中所得特征向量y分别输入两个全连接层，得到两个向量y1,y2，其中，y1的维度是N，N表示所有训练数据中的样本身份数量，y2的维度是1024,

9)使用SoftmaxLoss对N维向量y1计算行人身份分类损失l1，使用三元组损失TripletLoss对1024维向量y2计算损失l2。在模型训练阶段，三元组损失函数TripletLoss被使用作为损失函数，用于计算基准图像(Anchor)、与基准图像同身份的另一正样本图像、与基准图像不同身份的另一负样本图像这三者特征之间的欧氏距离。使用CosineEmbedding Loss对视角方向估计向量v计算损失l3，视角方向估计向量v的真值为[a1,a2,a3,a4]，按照以下方法计算：

a1＝(relu(30.0-view))/30.0

a2＝1-abs((relu(60.0-view))-30.0)/30.0

a3＝1-abs((relu(view-30.0))-30.0)/30.0

a4＝(relu(view-60.0))/30.0

其中，relu(x)函数指代函数max(0,x)，abs指代绝对值函数，view指代该行人实际行走角度。

10)网络总损失函数L＝l1+l2+l3；

11)使用反向传播算法对整个网络进行参数更新。

S6：重复步骤S4和步骤S5，当网络总损失函数达到最小时，相同身份样本图像特征距离更近，不同身份样本图像特征之间距离更远，停止训练；

S7：将注册集中的所有注册样本输入训练完毕的视角预测网络和特征提取网络，获得所有注册样本的具有视角不变性的步态特征向量；

S8：将测试集中的任一待测样本，输入训练完毕的视角预测网络和特征提取网络，获得所述待测样本的具有视角不变性的步态特征向量并将其与步骤S7中获得的所有注册样本的具有视角不变性的步态特征向量的欧式距离进行比对，选出欧式距离最小的一个注册集样本，该注册集样本的身份即可判定为待测目标的身份。

综上，本发明将类步态能量图的视角信息作为监督信号引入到模型训练中，通过视角预测网络来生成步态图像视角信息，以完善对非给定角度(任意连续角度)下步态图像识别效果。同时，预测的视角向量进一步控制了图像特征提取过程，从而保证网络能够提取到更具有鲁棒性的步态特征。

对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以对本发明的实施例作出若干变型和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种基于行走视角预测的跨视角步态识别方法，其特征在于，包括如下步骤：

S1：基于卷积神经浅层网络建立视角预测网络，基于卷积神经深度网络建立特征提取网络；

S2：获取大量的行人类步态能量图建立数据集，并将其分为训练集、测试集和注册集；

S3：将训练集中的训练样本输入视角预测网络进行视角预测，获得训练样本的视角方向估计向量；

S4：将训练集中的训练样本输入特征提取网络进行步态特征提取，获得训练样本的步态特征向量，并将其与步骤S3中获得的视角方向估计向量加权求和，获得具有视角不变性的步态特征向量和行人身份分类向量；利用获得的具有视角不变性的步态特征向量和行人身份分类向量计算网络总损失函数；

S5：重复步骤S3和步骤S4，当网络总损失函数达到最小时，停止训练；

S6：将注册集中的所有注册样本输入训练完毕的视角预测网络和特征提取网络，获得所有注册样本的具有视角不变性的步态特征向量；

S7：将测试集中的任一待测样本，输入训练完毕的视角预测网络和特征提取网络，获得所述待测样本的具有视角不变性的步态特征向量并将其与步骤S6中获得的所有注册样本的具有视角不变性的步态特征向量的欧式距离进行比对，得到所述待测样本的行人身份识别结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2中，行人类步态能量图为运动历史图、步态熵图、基于时间保持的步态能量图或者主动能量图。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤S3具体过程为：

1)将单通道类步态能量图像训练样本使用双线性插值方法调整尺寸至1×224×224；

2)对调整尺寸后的每一个单通道类步态能量图像都通过卷积核池化结构得到对应的特征，所述卷积核池化结构依次包括：第一个二维卷积层，卷积核为5×5，步长为1，紧接着的第一个最大池化层的池化窗口尺寸为2×2；第二个二维卷积层，卷积核为7×7，步长为1，紧接着的第二个最大池化层的池化窗口尺寸为2×2；第三个二维卷积层，卷积核为7×7，步长为1，紧接着的第三个最大池化层的池化窗口尺寸为2×2；

3)将通过所述卷积核池化结构得到的特征输入全连接层，输入节点数为32×23×23，输出节点数为4，得到维度为4的特征并利用Softmax进行归一化运算，得到一个4维度的视角方向估计向量。

4.根据权利要求1或2所述的方法，其特征在于，所述步骤S1中，基于18层深度残差网络ResNet-18建立特征提取网络。

5.根据权利要求1或2所述的方法，其特征在于，所述步骤S4具体过程为：

1)将单通道类步态能量图像训练样本使用双线性插值方法调整尺寸至1×224×224；

2)对调整尺寸后的每一个单通道类步态能量图像都通过卷积核池化残差结构得到4个维度为512×7×7的步态特征向量，所述卷积核池化残差结构依次包括：二维卷积层，卷积核为7×7，步长为2，填充距离为3，紧接着的最大池化层的池化窗口尺寸为2×2；第一层残差块；第二层残差块；4个平行的第三层残差块；4个第四层残差块；

3)分别将步骤2)所得到的4个步态特征向量使用所述步骤3中获得的视角估计向量进行加权求和，得到维度为512×7×7的特征向量y：

y＝v[1]*x1+v[2]*x2+v[3]*x3+v[4]*x4，

其中，v为视角方向估计向量，v[i]，i＝1,2,3,4，为视角方向估计向量v的第i个维度分量且为实数，x1、x2、x3、x4分别为步骤2)中得到的4个步态特征向量；

4)将所述特征向量y分别输入两个全连接层，得到维度为N的行人身份分类向量y1和维度为1024的具有视角不变性的步态特征向量y2，N表示训练集中的样本身份数量；

5)使用Softmax Loss对行人身份分类向量y1计算行人身份分类损失l1，使用三元组损失Triplet Loss对具有视角不变性的步态特征向量y2计算损失l2，使用Cosine EmbeddingLoss对视角方向估计向量v计算损失l3；

6)计算网络总损失函数L＝l1+l2+l3，并使用反向传播算法对整个网络进行参数更新。

Images