CN109886141B - 一种基于不确定性优化的行人再辨识方法 - Google Patents

Abstract

本发明涉及计算机视觉领域，采用深度学习框架，更具体地，本发明涉及一种基于不确定性优化的行人再辨识方法，包括以下步骤：1)使用孪生网络结构，将两个属于相同或不同行人的原始图像分别作为两个同构网络的输入；2)使用inception网络和Dropout层叠加的方式，用来实现不确定性优化的贝叶斯卷积神经网络作为特征提取网络；3)根据孪生网络的特征输出，计算二分类损失和各自网络的多分类损失，叠加后用于网络的反向传播和参数优化；4)将待辨识行人图像和所有比对图像输入训练好的模型，提取图像特征；5)利用欧式距离计算公式，获取待辨识行人图像和比对图像之间的最终距离；6)根据特征相似度距离进行排序，获取与待辨识行人对应的对比图像匹配排序。与现有技术相比，本发明具有在全部样本和少样本下都具有高准确性、高鲁棒性、快速简便等优点。

Description

一种基于不确定性优化的行人再辨识方法

技术领域

本发明涉及计算机视觉领域，采用深度学习框架，更具体地，本发明涉及一种基于不确定性优化的行人再辨识方法。

背景技术

行人再辨识是智能视频分析突破海量监控视频技术应用瓶颈的关键一环，在最近几年引起了众多研究学者的关注。行人再辨识是指在不同时间以及不同摄像头下对同一个行人目标进行匹配行人再辨识是一个非常具有挑战性的研究问题。实际生活中的大规模视频监控网络系统，环境、设备的复杂性和不可预计性会给行人再辨识的实现带来各种各样的不确定性。其一，不同摄像头由于硬件条件、参数等不同，所拍摄的视频图像质量也存在着差别。这种硬件设备自身的不确定性，要求行人再辨识技术具有非常强的鲁棒性，以适用于不同硬件设备所拍摄的不同质量的视频。其二，每台监控摄像头所面对的场景信息各异，所处位置、光照条件、天气条件等都存在不确定因素，这也给行人再辨识带来困难。如在白天光照条件良好的情况下，摄像头所拍摄的视频一般较为清晰、色彩分明，有利于行人视频图像的智能分析；而在夜晚光照条件不足的情况下，大部分监控摄像头所拍摄的行人视频图像都存在噪点多、色彩单一的问题，难以进行快速准确的智能分析和匹配。因此，场景的不确定性，也是在设计行人再辨识技术时需要考虑的问题。其三，行人自身也存在诸多不确定性，使得行人再辨识难度进一步加大。举例来说，行人的着装是行人再辨识中最重要的判断依据之一，但着装存在众多人为的不确定因素，包括脱去外套、挽起袖子等等。同样，行人的步态、是否背包、是否下蹲等也都是影响行人检测准确率的不确定因素。这些实际生活中大规模视频监控网络系统存在的诸多不确定性，是影响行人再辨识准确率的主要因素，也是在行人再辨识技术中需要着重解决的问题。

近年来，随着深度学习技术的迅速发展，行人再辨识的主流研究已从传统的特征表示和度量学习方法向基于深度学习的端到端行人再辨识方法转移，该类方法可对行人目标进行多层次的特征表达，从而更好地对行人图像进行描述。然而，在基于深度学习的行人再辨识方法中，仍存在许多不确定性的干扰因素，主要包括：样本不确定性，结构不确定性，模型参数不确定性以及模型预测置信度的不确定性。

专利CN 106897669A提出了一种基于迭代多视角迁移学习的行人再辨识方法，基于外观特征提取鲁棒的特征描述符，基于度量学习构造相似性度量函数。采用迁移学习解决样本分布不一致问题。但是该方法将行人再辨识拆解为两个独立的过程，没有端到端的模型，面对如今海量数据，在大规模行人再辨识数据集上难以实现。

专利CN 107729805A提出了一种用于行人再识别的神经网络和基于深度学习的行人再识别算法。使用端到端的神经网络模型进行行人特征提取和匹配。但是该方法没有考虑到行人再辨识过程中的过拟合问题和不确定性问题，深度学习中的样本、参数、结构不确定性都会对行人再辨识结果造成较大的负面影响，尤其当行人样本数量较少时，识别率较低。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于不确定性优化的行人再辨识方法。

本发明的目的可以通过以下技术方案来实现：

一种基于不确定性优化的行人再辨识方法，包括以下步骤：

1)使用孪生网络结构，将两个属于相同或不同行人的原始图像分别作为两个同构网络的输入；

2)孪生网络结构中的每个网络结构设计为贝叶斯卷积神经网络，所述贝叶斯卷积神经网络采用inception网络和Dropout层叠加的方式构成，作为特征提取网络，从根本上用来实现不确定性方面的优化；

3)根据孪生网络的特征输出，计算二分类损失和各自网络的多分类损失，叠加后用于网络的反向传播和参数优化；

4)将待辨识行人图像和所有比对图像输入训练好的模型，提取图像特征；

5)利用欧式距离计算公式，获取待辨识行人图像和比对图像之间的最终距离

6)根据特征相似度距离进行排序，获取与待辨识行人对应的对比图像匹配排序。

所述的步骤1)输入处理具体包括以下步骤：

11)从行人图像中任意取两个图像，分成多个图片对，作为孪生网络的输入，假设训练数据集为{I₁,I₂…I_m}，则输入为{(P₁,L₁),(P₂L₂)…(P_nL_n)},P_i＝{I_j,I_k}(j≠k<m),L_i∈{0,1}，其中P为图像，L为标签，当L_i＝1时表示图片{I_j,I_k}属于同一行人，当L_i＝0时表示图片{I_j,I_k}属于不同行人。

12)将处理好的图片对进行裁剪和归一化，保证输入到网络中的图片大小一致，为了扩充样本，可以人为预先对数据集进行镜像，水平翻转等操作。

所述的步骤2)网络设计具体包括以下步骤：

21)网络使用Inception网络作为基本网络，将输入的图像裁剪为416*416后送入网络中进行特征提取，为了进行不确定性的优化，我们使用在每个卷积层和全连接层之前加入dropout层的方式，用于实现贝叶斯卷积神经网络。网络的参数使用在ImageNet图像数据集上预训练得到的权重进行初始化。对于每一组图片对(P_i,L_i),(P_jL_j)，经过贝叶斯卷积神经网络后，提取出各自的语义特征，公式表示为：

其中，θ_Bayesian是贝叶斯卷积神经网络的权重，/>

和/>

是行人特征描述符。

22)具体的网络结构如下表所示：

所述的步骤3)具体包括以下步骤：

31)根据单个网络特征输出分别计算多分类损失L_{identification}，对两个输入(P_i,L_i)和(P_jL_j)的操作是相同的，以(P_i,L_i)为例，我们已经提取了特征描述符

多分类损失的计算公式如下：

其中，r表示标签L_i，

表示预测行人图像是r，θ_identif表示贝叶斯卷积神经网络参数，只有当图片分类到k时q_k＝1，否则q_k＝0。

32)根据孪生网络特征输出计算二分类损失L_verification。对两个输入(P_i,L_i)和(P_jL_j)，我们已经提取了特征描述符

二分类损失的计算公式如下：

其中，s表示两张图片标签相同/不同，

表示两张图片相似度，θ_verif是贝叶斯卷积层的超参数，当两者图片属于同一行人时，p₁＝1,p₂＝0，否则p₁＝0,p₂＝1。

33)加权步骤31和步骤32中的两个损失函数，叠加后用于网络的反向传播和优化，叠加公式如下：L_fusion(θ,r,s)＝λL_verification+L_{identification}

根据对比实验结果，通常我们将经验性参数λ设为3，在反向传播和优化过程中，使用随机梯度下降(SGD)算法调整模型参数，直到训练参数收敛。

所述步骤4)具体包括以下步骤：

41)将待辨识图像和所有比对图像大小调整统一；

42)将待辨识图像和所有比对图像依次输入训练好的基于多块重叠特征图像的深度学习神经网络模型，将贝叶斯卷积神经网络的全连接层输出作为输入图像的特征图像，大小为1024维。

使用随机梯度下降(SGD)算法调整模型参数，直到训练参数收敛。

所述步骤5)具体包括以下步骤：

51)欧式距离计算公式具体如下：

其中x_g表示待辨识图像，x_p表示单张比对图像，f(x_g)表示将待辨识图像x_g输入模型后得到的特征，f(x_p)表示将比对图像x_p输入模型后得到的特征。

与现有技术相比，本发明具有以下优点：

一、本发明使用的深度学习网络模型经过了不确定性的优化，能够提升小样本情况下行人再辨识的准确率，为行人再辨识的实际应用提供了可靠模型。

二、本发明融合了二分类和多分类模型的损失函数，能够充分利用标签信息，有效提升行人再辨识的准确性和鲁棒性。

附图说明

图1为本发明方法的系统流程图

图2为本发明方法的网络结构图

图3为本发明算法和其他算法在CUHK01行人再辨识公开数据集的CMC曲线比较

图4为本发明算法和其他算法在CUHK03行人再辨识公开数据集的CMC曲线比较

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例：

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，具体如图1所示算法流程图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，但并不限定本发明。

步骤一：输入处理，具体描述如下：本发明使用孪生网络结构，将两个属于相同或不同行人的原始图像分别作为两个同构网络的输入，具体实施如下：

(1)本发明从行人图像中任意取两个图像，分成多个图片对，作为孪生网络的输入；

(2)本发明将处理好的图片对进行裁剪和归一化，同时进行镜像，水平翻转等操作，用于扩充本发明使用的数据集。

步骤二：如何构建网络模型

设计机理：

本发明采用贝叶斯神经网络理论并结合已有的深度学习技术，首次构建出贝叶斯卷积神经网络模型，从根本上解决样本不确定性、参数不确定性和预测置信度的不确定性等问题。

公知，在贝叶斯理论中，定义似然分布p(y|x,ω)，通过后验分布p(ω|X,Y)可以得到给定观测数据集的最优参数ω的分布：

将p(ω|X,Y)代入(2)，可以预测给定输入x^*的输出y^*。

p(y^*|x^*,X,Y)＝∫p(y^*|x^*,ω)p(ω|X,Y)dω (2)

以上为贝叶斯推理过程。

本发明贝叶斯卷积神经网络模型的关键在于求解公式(2)中积分，求解积分需要后验分布。但实践中本领域技术人员皆知，后验分布通常是不可解的。变分推理的基本思想是将原问题转化成求解如下近似分布q_θ(ω)的优化问题。

我们假设q_θ(ω)为近似的伯努利分布，为了应用到卷积神经网络中，我们需要将网络参数模拟为具有伯努利分布的参数。Dropout层的随机丢弃操作正好相当于在每个参数上加入概率为p的伯努利分布。因此，我们在inception网络中加入dropout层来实现贝叶斯卷积神经网络模型，实际网络参数的数学表示下：

z_i,j～Bernoulli(p_i)for i＝1,…,L，j＝1,…,K_i-1

其中z_i,j是p_i概率的伯努利分布，diag表示对角矩阵，p_i是网络中dropout概率，M_i是网络中待优化的参数矩阵，(·)表示矩阵点乘操作，K表示卷积神经网络中的卷积核。

为此，本发明将孪生网络结构中的每个网络结构设计为贝叶斯卷积神经网络，所述贝叶斯卷积神经网络采用inception网络和Dropout层叠加的方式构成，作为特征提取网络，从根本上用来实现不确定性方面的优化。

以上介绍了贝叶斯理论推导，主要是阐述本发明为什么可以通过加入dropout层来实现贝叶斯卷积神经网络。

以下以表格形式介绍本发明网络结构和dropout概率的设定，为方案的具体实现。具体操作如下：

(1)使用在每个卷积层和全连接层之前加入dropout层的方式，实现贝叶斯卷积神经网络。

网络结构如下表：

(3)使用在ImageNet图像数据集上预训练得到的权重初始化网络参数。

步骤三：参数优化，具体描述为根据孪生网络的特征输出，计算二分类损失和各自网络的多分类损失，叠加后用于网络的反向传播和参数优化。具体操作如下：

(1)根据单个网络特征输出分别计算多分类损失L_{identification}，对两个输入(P_i,L_i)和(P_jL_j)的操作是相同的，以(P_i,L_i)为例，我们已经提取了特征描述符

多分类损失的计算公式如下：/>

其中，r表示标签L_i，

表示预测行人图像是r，θ_identif表示贝叶斯卷积神经网络参数，只有当图片分类到k时q_k＝1，否则q_k＝0。

(2)根据孪生网络特征输出计算二分类损失L_verification。对两个输入(P_i,L_i)和(P_jL_j)，我们已经提取了特征描述符

二分类损失的计算公式如下：

其中，s表示两张图片标签相同/不同，

表示两张图片相似度，θ_verif是贝叶斯卷积层的超参数，当两者图片属于同一行人时，p₁＝1,p₂＝0，否则p₁＝0,p₂＝1。

(3)加权步骤三(1)和(2)中的两个损失函数，叠加后用于网络的反向传播和优化，叠加公式如下：L_fusion(θ,r,s)＝λL_verification+L_{identification}经验性参数λ设为3，在反向传播和优化过程中，使用随机梯度下降(SGD)算法调整模型参数，直到训练参数收敛。

步骤四：将待辨识行人图像和所有比对图像输入模型，得到图像特征，具体实施如下：

(1)将待辨识图像和所有比对图像大小调整统一；

(2)将待辨识图像和所有比对图像依次输入训练好的基于多块重叠特征图像的深度学习神经网络模型，将贝叶斯卷积神经网络的全连接层输出作为输入图像的特征图像，大小为1024维。

步骤五：利用欧式距离计算公式，获取待辨识行人图像和比对图像之间的最终距离，具体实施如下：

其中x_g表示待辨识图像，x_p表示单张比对图像，f(x_g)表示将待辨识图像x_g输入模型后得到的特征，f(x_p)表示将比对图像x_p输入模型后得到的特征。

步骤六：对距离进行排序，获取与待辨识行人对应的比对图像库匹配排序。

本发明具体实现步骤为：

图1是本发明的实现流程图，具体实施方式如下：

1、孪生网络输入处理；

2、构建贝叶斯卷积神经网络；

3、训练时计算多分类损失函数；

4、训练时计算二分类损失函数；

5、训练时加权多分类与二分类损失函数，反向传播优化贝叶斯卷积神经网络参数；

6、测试时利用欧式距离计算公式，获取待辨识行人图像和比对图像之间的最终距离；

7、测试时对距离进行排序，获取与待辨识行人对应的比对图像库匹配排序。

显然，上述实例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (2)

1.一种基于不确定性优化的行人再辨识方法，其特征在于，包括以下步骤：

1)使用孪生网络结构，将两个属于相同或不同行人的原始图像分别作为两个同构网络的输入；

2)孪生网络结构中的每个网络结构设计为贝叶斯卷积神经网络，所述贝叶斯卷积神经网络采用inception网络和Dropout层叠加的方式构成，作为特征提取网络；

3)根据孪生网络的特征输出，计算二分类损失和各自网络的多分类损失，叠加后用于网络的反向传播和参数优化；

4)将待辨识行人图像和所有比对图像输入训练好的模型，提取图像特征；

5)利用欧式距离计算公式，获取待辨识行人图像和比对图像之间的最终距离6)根据特征相似度距离进行排序，获取与待辨识行人对应的对比图像匹配排序；

所述的步骤1)输入设计具体包括以下步骤：

11)从行人图像中任意取两个图像，分成多个图片对，作为孪生网络的输入，假设训练数据集为{I₁,I₂…I_m}，则输入为{(P₁,L₁),(P₂L₂)…(P_nL_n)},P_i＝{I_j,I_k}(j≠k<m),L_i∈{0,1}，其中P为图像，L为标签，当L_i＝1时表示图片{I_j,I_k}属于同一行人，当L_i＝0时表示图片{I_j,I_k}属于不同行人；

12)将处理好的图片对进行裁剪和归一化，保证输入到网络中的图片大小一致，为了扩充样本，可以人为预先对数据集进行镜像，水平翻转操作；

所述的步骤2)中，将训练集图像输入贝叶斯卷积神经网络中进行训练，具体包括以下步骤：

21)网络使用Inception网络作为基本网络，将输入的图像裁剪为416*416后送入网络中进行特征提取，为了进行不确定性的优化，使用在每个卷积层和全连接层之前加入dropout层的方式，用于实现贝叶斯卷积神经网络；网络的参数使用在ImageNet图像数据集上预训练得到的权重进行初始化；对于每一组图片对(P_i,L_i),(P_jL_j)，经过贝叶斯卷积神经网络后，提取出各自的语义特征，公式表示为：

其中，θ_Bayesian是贝叶斯卷积神经网络的权重，/>

和/>

是行人特征描述符；

22)具体的网络结构如下表所示：

所述的步骤3)中，根据孪生网络的特征输出，计算二分类损失和各自网络的多分类损失，叠加后用于网络的反向传播和参数优化，具体包括：

31)根据单个网络特征输出分别计算多分类损失L_{identification}，对两个输入(P_i,L_i)和(P_jL_j)的操作是相同的，以(P_i,L_i)为例，已经提取了特征描述符

多分类损失的计算公式如下：

其中，r表示标签L_i，

表示预测行人图像是r，θ_identif表示贝叶斯卷积神经网络参数，只有当图片分类到k时q_k＝1，否则q_k＝0；

32)根据孪生网络特征输出计算二分类损失L_verification；对两个输入(P_i,L_i)和(P_jL_j)，提取特征描述符

二分类损失的计算公式如下：

其中，s表示两张图片标签相同/不同，

表示两张图片相似度，θ_verif是贝叶斯卷积层的超参数，当两者图片属于同一行人时，p₁＝1,p₂＝0，否则p₁＝0,p₂＝1；

33)加权步骤31)和步骤32)中的两个损失函数，叠加后用于网络的反向传播和优化，叠加公式如下：L_fusion(θ,r,s)＝λL_verification+L_{identification}

参数λ设为3，在反向传播和优化过程中，使用随机梯度下降(SGD)算法调整模型参数，直到训练参数收敛；

所述的步骤5)中，欧式距离计算公式具体如下：

其中x_g表示待辨识图像，x_p表示单张比对图像，f(x_g)表示将待辨识图像x_g输入模型后得到的特征，f(x_p)表示将比对图像x_p输入模型后得到的特征。

2.根据权利要求1所述的一种基于深度学习和重叠图像块间度量的行人再辨识方法，其特征在于，所述的步骤4)中，将待辨识行人图像和所有比对图像输入训练好的模型，提取图像特征，具体包括；

41)将待辨识图像和所有比对图像大小调整统一；

42)将待辨识图像和所有比对图像依次输入训练好的基于多块重叠特征图像的深度学习神经网络模型，将贝叶斯卷积神经网络的全连接层输出作为输入图像的特征图像，大小为1024维。

Images