CN111079585A - 基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，该方法包括以下步骤：首先采集行人图像构建候选行人库，并构建行人再识别模型，该模型包括图像缩放和增强模块，两个特征提取模块和相似度计算模块；通过图像缩放和增强模块将候选样本缩放到与待查询样本相同的尺寸，然后将缩放后的图像作增强处理；将待查询样本和作增强处理后的候选样本输入到两个特征提取模块中，得到两个样本的特征图；最后将两个样本的特征图输入到相似度计算模块中，输出待查样本与候选样本是否具有相同身份标签的判断。本发明对行人图像进行缩放和增强处理，改善输入到伪孪生卷积神经网络的样本的视觉表现，从而提升再识别模型的性能。

Description

基于深度学习的图像增强与伪孪生卷积神经网络结合的行人 再识别方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法。

背景技术

行人再识别是指以多个摄像机采集的视频为输入，利用计算机视觉技术自动确认不同位置的摄像机在不同时刻拍摄到的多个行人目标是否属于同一个人的技术。行人再识别在公共安全和刑侦工作及图像检索等领域具有很高的应用价值，因此，一直受到学术界和产业界的广泛关注。

近年来，基于深度学习的方法逐渐取代以手工方式设计特征和分类器的传统方法，成为行人再识别的主流方法。中国专利201710780179.0采用两个神经网络，分别以原始的全身图像和从全身图像提取的人体部位图像作为输入，组合两个网络的输出作为总的特征加以识别；中国专利201811168809.X训练了行人姿态模型过滤行人姿态，背景分割模型去除图像中的背景部分，特征提取模型提取行人特征，最后通过特征匹配完成行人再识别。

需要指出的是，现有的技术大多假设所有行人图像具有一致的大小，并且其分辨率足够满足再识别模型对图像分辨率的要求。很少考虑在不同摄像机采集的视频中，行人所占的图像区域大小不一，而且许多时候表现为较小的尺寸，对于深度神经网络而言，无法有效地提取行人区域所蕴含的可分性特征。进一步地，若以简单的插值算法缩放图像到合适的尺寸，则难免引入图像模糊，影响再识别模型的性能。

本发明提供一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，在将经过缩放的行人图像输入到孪生卷积神经网络之前引入了一个基于深度学习的增强模块，以改善图像插值后的视觉表现，从而有助于提升再识别模型的性能。

发明内容

本发明目的在于针对现有技术的不足，提出一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法。

本发明的目的是通过以下技术方案来实现的：一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，该方法包括以下步骤：

(1)采集N_p个行人的N_x幅图像构建候选行人库，记作

其中x_i代表第i个候选样本图像，

为对应x_i的行人身份标签；设待查询样本的图像为x^q；

(2)构建行人再识别模型，该模型可表示为一个四元组B＝(M,f₁,f₂,S)，其中B为行人再识别模型，M为图像缩放和增强模块，f₁和f₂为特征提取模块，S为相似度计算模块；所述图像缩放和增强模块M包括一个深度卷积神经网络，所述特征提取模块f₁和f₂为一个伪孪生卷积神经网络，所述相似度计算模块S包括一个卷积层和一个Softmax层；

(3)通过图像缩放和增强模块M将候选样本x_i缩放到与待查询样本x^q相同的尺寸，然后将缩放后的图像输入到深度卷积神经网络中作增强处理；

(4)将待查询样本x^q输入到f₁中，提取待查询样本x^q的特征，得到待查询样本x^q的特征图；并将作增强处理后的候选样本x_i输入到f₂中，提取候选样本x_i的特征，得到候选样本x_i的特征图；

(5)将步骤(4)中得到的待查询样本x^q的特征图和候选样本x_i的特征图，同时输入到相似度计算模块S中，输出待查样本x^q与候选样本x_i是否具有相同身份标签的判断。具体计算步骤包括：设F₁为特征提取模块f₁输出的特征图，F₂为特征提取模块f₂输出的特征图，相似度计算模块首先按下式计算特征图每个元素的差值的平方形成一个新的特征图F_s：

F_s＝(F₁-F₂)²；

其次，相似度计算模块中的卷积层包含2个大小为1×1×2048的卷积核，该卷积层以F_s为输入，输出一个二维向量(q₁,q₂)，其中以q₁作为x^q与x_i具有相同身份标签的概率，q₂作为x^q与x_i具有不同身份标签的概率，根据二维向量(q₁,q₂)的值判断待查询样本x^q与x_i是否具有相同的身份标签。

进一步地，所述步骤(3)中的深度卷积神经网络对缩放后的图像作增强处理，具体为：设待查询样本x^q的大小为H^q×W^q，当前参与识别的候选样本x_i的大小为H_i×W_i，则首先以双三次插值算法将候选样本缩放为H^q×W^q大小的图像，记作

所述深度卷积神经网络包含d个层次，其中d可为14到18之间的整数，将

输入到所述深度卷积网络，若最后一层的输出为

按下式与输入样本融合后作为与

对应的增强后的样本：

所述深度卷积神经网络的d个层次，除第一和最后一层外的其它层次具有相同的结构，该结构包括一个卷积层和一个ReLU层，每个卷积层均包含64个3×3×64大小的卷积核；第一层包含64个3×3×C大小的卷积核，与输入样本作卷积运算后产生64个特征图，其中C等于输入样本的通道数；最后一层包含C个3×3×64大小的卷积核，该层卷积运算的输出结果的大小和通道数目都与输入样本相同。

进一步地，所述步骤(4)中特征提取模块f₁和f₂具有相同的网络结构，该网络结构为在残差网络ResNet-50的最后一个残差单元之后添加一个额外的卷积层，记添加在f₁中的额外卷积层为Conv_E01，添加在在f₂中的额外卷积层为Conv_E02，Conv_E01和Conv_E02具有相同的结构，其卷积核数目等于候选库中行人身份类别数，卷积核大小等于1×1×2048；在所述额外的卷积层Conv_E01和Conv_E02之后分别接一个Softmax层；f₁和f₂中的两个ResNet-50的各个层次共享权值；卷积层Conv_E01和Conv_E02及其后的Softmax层不共享权值，且仅用于模型参数的训练。

进一步地，所述步骤(5)中所述特征提取模块f₁输出的特征图为f₁的残差网络ResNet-50中最后一个残差块输出的特征图，特征提取模块f₂输出的特征图为f₂的残差网络ResNet-50中最后一个残差块输出的特征图。

进一步地，所述图像缩放和增强模块以一个深度卷积神经网络对缩放后的图像作增强处理，所述深度卷积神经网络各个层次的参数以学习的方式确定，包括如下步骤：

步骤a：准备训练样本，设x_k为一个参与训练的图像，其大小为H_k×W_k，取缩放系数r为符合r∈[1.5,4]的实数，将x_k缩小为H_k/r×W_k/r大小后，以双三次插值算法放大为具有H_k×W_k大小的图像，且记作

以

构成一对训练样本，记训练样本集为

其中N为集合中样本的数目；

步骤b：批量加载训练样本，对每一对训练样本按下式计算深度卷积神经网络的损失函数E_V：

其中

代表以

为输入时，图像缩放增强模块中的深度卷积神经网络产生的输出图像；

步骤c：以最小化所有训练样本的损失函数累加和为目标，以Adam优化算法更新深度卷积神经网络各层的权值。

进一步地，所述特征提取模块f₁、f₂和相似度计算模块中的各个层次的参数以两阶段学习的方式确定，设训练样本集中包含了来自N_T个行人的N_S个样本，表示为

其中x_i代表第i个样本，

为对应x_i的行人身份标签，第一阶段训练仅针对f₁和f₂模块中各个层次的参数，包括如下步骤：

步骤A：从训练样本集中随机选取两个样本(x_m,y_m)和(x_n,y_n)，若x_m的尺寸大于x_n，则以(x_m,y_m)作为f₁的输入，x_n以双三次插值算法缩放到与x_m一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'_n，以(x'_n,y_n)作为f₂的输入；若x_n的尺寸大于x_m，以(x_n,y_n)作为f₁的输入，x_m以双三次插值算法缩放到与x_n一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'_m，以(x'_m,y_m)作为f₂的输入；

步骤B：加载步骤A处理后的训练样本到所述特征提取模块f₁和f₂，对应每一个加载的训练样本，f₁或f₂中最后的Softmax层将输出N_T维的向量

向量的每个元素为一个正实数，且满足：

若输入样本的真实身份标签为L_k，则与L_k相对应的期望向量元素

具有大于其它元素的输出值，所以对每一个训练样本按下式计算特征提取模块的损失函数E_D：

其中p_i的取值取决于训练样本的身份标签，若训练样本的身份标签为L_i，则p_i＝1，否则p_i＝0；

步骤C：以最小化所有训练样本的E_D损失函数累加和为目标，以Adam优化算法更新特征提取模块中各层的权值；

当第一阶段训练完成后，再进行第二阶段训练，第二阶段训练固定f₁和f₂中各个层次的参数为第一阶段训练所得的参数，仅调整相似度计算模块S中各个层次的参数，包括如下步骤：

步骤D：从训练样本集中随机选取两个样本，形成正样本对或负样本对，(x_m,y_m；x_n,y_n)，若y_m＝y_n，则为正样本对，否则为负样本对；

步骤E：加载正样本对或负样本对到所述的特征提取模块f₁、f₂和相似度计算模块S，对应每一个加载的正样本对或负样本对，相似度计算模块中的Softmax层将输出一个二维向量

向量的每个元素为一个正实数，且满足：

若加载的为正样本对，则期望

否则期望

按下式计算相似度计算模块的损失函数E_M：

其中，对于正样本对，q₁＝1，q₂＝0，对于负样本对，q₁＝0，q₂＝1；

步骤F：以最小化所有训练样本的E_M损失函数累加和为目标，以Adam优化算法更新相似度计算模块中各层的权值。

本发明的有益效果：本发明提供的行人再识别方法以图像缩放和增强模块对行人图像进行缩放和增强处理，以改善输入到伪孪生卷积神经网络的样本的视觉表现，从而有助于提升再识别模型的性能；并根据待查询样本和增强处理后的候选样本的特征图进行相似度计算，从而判断待查样本与候选样本是否具有相同身份。

附图说明

图1为本发明的行人再识别方法流程示意图；

图2为本发明图像缩放和增强模块中的深度卷积神经网络的结构示意图；

图3为本发明的特征提取模块和相似度计算模块的网络结构示意图；

图4为没有图像缩放和增强模块的行人再识别的一个结果示意图；

图5为增加了图像缩放和增强模块的行人再识别的一个结果示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步阐述，以便本领域技术人员更好地理解本发明的实质。

如图1所示，一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，该方法包括以下步骤：

(1)采集N_p个行人的N_x幅图像构建候选行人库，记作

其中x_i代表第i个候选样本图像，

为对应x_i的行人身份标签，每个身份标签标识了不同的行人，可为不重复的序号，

为第N_p个行人的身份标签；设待查询样本的图像为x^q；

(2)构建行人再识别模型，该模型可表示为一个四元组B＝(M,f₁,f₂,S)，其中B为行人再识别模型，M为图像缩放和增强模块，f₁和f₂为特征提取模块，S为相似度计算模块；所述图像缩放和增强模块M包括一个深度卷积神经网络，所述特征提取模块f₁和f₂为一个伪孪生卷积神经网络，所述相似度计算模块S包括一个卷积层和一个Softmax层；

所述深度卷积神经网络各个层次的参数以学习的方式确定，包括如下步骤：

步骤a：准备训练样本，设x_k为一个参与训练的图像，其大小为H_k×W_k，取缩放系数r为符合r∈[1.5,4]的实数，将x_k缩小为H_k/r×W_k/r大小后，以双三次插值算法放大为具有H_k×W_k大小的图像，且记作

以

构成一对训练样本，记训练样本集为

其中N为集合中样本的数目；

步骤b：批量加载训练样本，对每一对训练样本按下式计算深度卷积神经网络的损失函数E_V：

其中

代表以

为输入时，图像缩放增强模块中的深度卷积神经网络产生的输出图像；

步骤c：以最小化所有训练样本的损失函数累加和为目标，以Adam优化算法更新深度卷积神经网络各层的权值。

所述特征提取模块f₁、f₂和相似度计算模块中的各个层次的参数以两阶段学习的方式确定，设训练样本集中包含了来自N_T个行人的N_S个样本，表示为

其中x_i代表第i个样本，

为对应x_i的行人身份标签，第一阶段训练仅针对f₁和f₂模块中各个层次的参数，包括如下步骤：

步骤A：从训练样本集中随机选取两个样本(x_m,y_m)和(x_n,y_n)，若x_m的尺寸大于x_n，则以(x_m,y_m)作为f₁的输入，x_n以双三次插值算法缩放到与x_m一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'_n，以(x'_n,y_n)作为f₂的输入；若x_n的尺寸大于x_m，以(x_n,y_n)作为f₁的输入，x_m以双三次插值算法缩放到与x_n一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'_m，以(x'_m,y_m)作为f₂的输入；

步骤B：加载步骤A处理后的训练样本到所述特征提取模块f₁和f₂，对应每一个加载的训练样本，f₁或f₂中最后的Softmax层将输出N_T维的向量

向量的每个元素为一个正实数，且满足：

若输入样本的真实身份标签为L_k，则与L_k相对应的期望向量元素

具有大于其它元素的输出值，所以对每一个训练样本按下式计算特征提取模块的损失函数E_D：

其中p_i的取值取决于训练样本的身份标签，若训练样本的身份标签为L_i，则p_i＝1，否则p_i＝0；

步骤C：以最小化所有训练样本的E_D损失函数累加和为目标，以Adam优化算法更新特征提取模块中各层的权值；

当第一阶段训练完成后，再进行第二阶段训练，第二阶段训练固定f₁和f₂中各个层次的参数为第一阶段训练所得的参数，仅调整相似度计算模块S中各个层次的参数，包括如下步骤：

步骤D：从训练样本集中随机选取两个样本，形成正样本对或负样本对，(x_m,y_m；x_n,y_n)，若y_m＝y_n，则为正样本对，否则为负样本对；

步骤E：加载正样本对或负样本对到所述的特征提取模块f₁、f₂和相似度计算模块S，对应每一个加载的正样本对或负样本对，相似度计算模块中的Softmax层将输出一个二维向量

向量的每个元素为一个正实数，且满足：

若加载的为正样本对，则期望

否则期望

按下式计算相似度计算模块的损失函数E_M：

其中，对于正样本对，q₁＝1，q₂＝0，对于负样本对，q₁＝0，q₂＝1；

步骤F：以最小化所有训练样本的E_M损失函数累加和为目标，以Adam优化算法更新相似度计算模块中各层的权值。

(3)如图2所示，通过图像缩放和增强模块M将候选样本x_i缩放到与待查询样本x^q相同的尺寸，然后将缩放后的图像输入到深度卷积神经网络中作增强处理；候选样本库中的样本来自于多个不同的摄像机，它们的大小、视角等往往存在较大的差异。设待查询样本x^q的大小为H^q×W^q，当前参与识别的候选样本x_i的大小为H_i×W_i，则首先以双三次插值算法将候选样本缩放为H^q×W^q大小的图像，记作

所述深度卷积神经网络包含d个层次，其中d可为14到18之间的整数，将

输入到所述深度卷积网络，若最后一层的输出为

按下式与输入样本融合后作为与

对应的增强后的样本：

所述深度卷积神经网络的d个层次，除第一和最后一层外的其它层次具有相同的结构，该结构包括一个卷积层和一个ReLU层，每个卷积层均包含64个3×3×64大小的卷积核；第一层包含64个3×3×C大小的卷积核，与输入样本作卷积运算后产生64个特征图，其中C等于输入样本的通道数；最后一层包含C个3×3×64大小的卷积核，该层卷积运算的输出结果的大小和通道数目都与输入样本相同。

(4)将待查询样本x^q输入到f₁中，提取待查询样本x^q的特征，得到待查询样本x^q的特征图；并将作增强处理后的候选样本x_i输入到f₂中，提取候选样本x_i的特征，得到候选样本x_i的特征图；特征提取模块f₁和f₂具有相同的网络结构，该网络结构为在残差网络ResNet-50的最后一个残差单元之后添加一个额外的卷积层，记添加在f₁中的额外卷积层为Conv_E01，添加在在f₂中的额外卷积层为Conv_E02，Conv_E01和Conv_E02具有相同的结构，其卷积核数目等于候选库中行人身份类别数，卷积核大小等于1×1×2048；在所述额外的卷积层Conv_E01和Conv_E02之后分别接一个Softmax层；f₁和f₂中的两个ResNet-50的各个层次共享权值；卷积层Conv_E01和Conv_E02及其后的Softmax层不共享权值，且仅用于模型参数的训练。

(5)如图3所示，将步骤(4)中得到的待查询样本x^q的特征图和候选样本x_i的特征图，同时输入到相似度计算模块S中，输出待查样本x^q与候选样本x_i是否具有相同身份标签的判断。具体计算步骤包括：设F₁为特征提取模块f₁输出的特征图，F₂为特征提取模块f₂输出的特征图，特征提取模块f₁输出的特征图为f₁的残差网络ResNet-50中最后一个残差块输出的特征图，特征提取模块f₂输出的特征图为f₂的残差网络ResNet-50中最后一个残差块输出的特征图，相似度计算模块首先按下式计算特征图每个元素的差值的平方形成一个新的特征图F_s：

F_s＝(F₁-F₂)²；

其次，相似度计算模块中的卷积层包含2个大小为1×1×2048的卷积核，该卷积层以F_s为输入，输出一个二维向量(q₁,q₂)，其中以q₁作为x^q与x_i具有相同身份标签的概率，q₂作为x^q与x_i具有不同身份标签的概率，根据二维向量(q₁,q₂)的值判断待查询样本x^q与x_i是否具有相同的身份标签。

本发明实施例在实际应用场景下进行了大量的测试，图4和图5比较了有无本发明实施例的图像缩放和增强模块对再识别结果的影响，图4和图5的最左边图像为输入的查询图像，右边则为候选库中与查询图像具有较大相似度的10幅图像，并且在图像的上方标注了相似度的排序。从图中可以看出，若候选库中的图像缩放后不作基于深度卷积神经网络的图像增强，在Rank-10结果中有三个错误的识别，分别位于第2、7和8顺位；引入了本发明实施例的图像增强模块后，Rank-10结果中的错误识别减少到2个，其顺位也降低为第3和第9。所以，本发明实施例以图像缩放和增强模块对行人图像进行缩放和增强处理，改善了输入到伪孪生卷积神经网络的样本的视觉表现，从而有助于提升再识别模型的性能。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，该方法包括以下步骤：

(1)采集N_p个行人的N_x幅图像构建候选行人库，记作

其中x_i代表第i个候选样本图像，

为对应x_i的行人身份标签；设待查询样本的图像为x^q。

(2)构建行人再识别模型，该模型可表示为一个四元组B＝(M,f₁,f₂,S)，其中B为行人再识别模型，M为图像缩放和增强模块，f₁和f₂为特征提取模块，S为相似度计算模块；所述图像缩放和增强模块M包括一个深度卷积神经网络，所述特征提取模块f₁和f₂为一个伪孪生卷积神经网络，所述相似度计算模块S包括一个卷积层和一个Softmax层。

(3)通过图像缩放和增强模块M将候选样本x_i缩放到与待查询样本x^q相同的尺寸，然后将缩放后的图像输入到深度卷积神经网络中作增强处理。

(4)将待查询样本x^q输入到f₁中，提取待查询样本x^q的特征，得到待查询样本x^q的特征图；并将作增强处理后的候选样本x_i输入到f₂中，提取候选样本x_i的特征，得到候选样本x_i的特征图。

(5)将步骤(4)中得到的待查询样本x^q的特征图和候选样本x_i的特征图，同时输入到相似度计算模块S中，输出待查样本x^q与候选样本x_i是否具有相同身份标签的判断。具体计算步骤包括：设F₁为特征提取模块f₁输出的特征图，F₂为特征提取模块f₂输出的特征图，相似度计算模块首先按下式计算特征图每个元素的差值的平方形成一个新的特征图F_s：

F_s＝(F₁-F₂)²；

其次，相似度计算模块中的卷积层包含2个大小为1×1×2048的卷积核，该卷积层以F_s为输入，输出一个二维向量(q₁,q₂)，其中以q₁作为x^q与x_i具有相同身份标签的概率，q₂作为x^q与x_i具有不同身份标签的概率，根据二维向量(q₁,q₂)的值判断待查询样本x^q与x_i是否具有相同的身份标签。

2.根据权利要求1所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述步骤(3)中的深度卷积神经网络对缩放后的图像作增强处理，具体为：设待查询样本x^q的大小为H^q×W^q，当前参与识别的候选样本x_i的大小为H_i×W_i，则首先以双三次插值算法将候选样本缩放为H^q×W^q大小的图像，记作

所述深度卷积神经网络包含d个层次，其中d可为14到18之间的整数，将

输入到所述深度卷积网络，若最后一层的输出为

按下式与输入样本融合后作为与

对应的增强后的样本：

所述深度卷积神经网络的d个层次，除第一和最后一层外的其它层次具有相同的结构，该结构包括一个卷积层和一个ReLU层，每个卷积层均包含64个3×3×64大小的卷积核；第一层包含64个3×3×C大小的卷积核，与输入样本作卷积运算后产生64个特征图，其中C等于输入样本的通道数；最后一层包含C个3×3×64大小的卷积核，该层卷积运算的输出结果的大小和通道数目都与输入样本相同。

3.根据权利要求1所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述步骤(4)中特征提取模块f₁和f₂具有相同的网络结构，该网络结构为在残差网络ResNet-50的最后一个残差单元之后添加一个额外的卷积层，记添加在f₁中的额外卷积层为Conv_E01，添加在在f₂中的额外卷积层为Conv_E02，Conv_E01和Conv_E02具有相同的结构，其卷积核数目等于候选库中行人身份类别数，卷积核大小等于1×1×2048；在所述额外的卷积层Conv_E01和Conv_E02之后分别接一个Softmax层；f₁和f₂中的两个ResNet-50的各个层次共享权值；卷积层Conv_E01和Conv_E02及其后的Softmax层不共享权值，且仅用于模型参数的训练。

4.根据权利要求1所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述步骤(5)中所述特征提取模块f₁输出的特征图为f₁的残差网络ResNet-50中最后一个残差块输出的特征图，特征提取模块f₂输出的特征图为f₂的残差网络ResNet-50中最后一个残差块输出的特征图。

5.根据权利要求1或2所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述图像缩放和增强模块以一个深度卷积神经网络对缩放后的图像作增强处理，所述深度卷积神经网络各个层次的参数以学习的方式确定，包括如下步骤：

步骤a：准备训练样本，设x_k为一个参与训练的图像，其大小为H_k×W_k，取缩放系数r为符合r∈[1.5,4]的实数，将x_k缩小为H_k/r×W_k/r大小后，以双三次插值算法放大为具有H_k×W_k大小的图像，且记作

以

构成一对训练样本，记训练样本集为

其中N为集合中样本的数目；

步骤b：批量加载训练样本，对每一对训练样本按下式计算深度卷积神经网络的损失函数E_V：

其中

代表以

为输入时，图像缩放增强模块中的深度卷积神经网络产生的输出图像；

步骤c：以最小化所有训练样本的损失函数累加和为目标，以Adam优化算法更新深度卷积神经网络各层的权值。

6.根据权利要求1所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述特征提取模块f₁、f₂和相似度计算模块中的各个层次的参数以两阶段学习的方式确定，设训练样本集中包含了来自N_T个行人的N_S个样本，表示为

其中x_i代表第i个样本，

为对应x_i的行人身份标签，第一阶段训练仅针对f₁和f₂模块中各个层次的参数，包括如下步骤：

步骤A：从训练样本集中随机选取两个样本(x_m,y_m)和(x_n,y_n)，若x_m的尺寸大于x_n，则以(x_m,y_m)作为f₁的输入，x_n以双三次插值算法缩放到与x_m一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'_n，以(x'_n,y_n)作为f₂的输入；若x_n的尺寸大于x_m，以(x_n,y_n)作为f₁的输入，x_m以双三次插值算法缩放到与x_n一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'_m，以(x'_m,y_m)作为f₂的输入；

步骤B：加载步骤A处理后的训练样本到所述特征提取模块f₁和f₂，对应每一个加载的训练样本，f₁或f₂中最后的Softmax层将输出N_T维的向量

向量的每个元素为一个正实数，且满足：

若输入样本的真实身份标签为L_k，则期望与L_k相对应的向量元素

具有大于其它元素的输出值，所以对每一个训练样本按下式计算特征提取模块的损失函数E_D：

其中p_i的取值取决于训练样本的身份标签，若训练样本的身份标签为L_i，则p_i＝1，否则p_i＝0；

步骤C：以最小化所有训练样本的E_D损失函数累加和为目标，以Adam优化算法更新特征提取模块中各层的权值；

当第一阶段训练完成后，再进行第二阶段训练，第二阶段训练固定f₁和f₂中各个层次的参数为第一阶段训练所得的参数，仅调整相似度计算模块S中各个层次的参数，包括如下步骤：

步骤D：从训练样本集中随机选取两个样本，形成正样本对或负样本对，(x_m,y_m；x_n,y_n)，若y_m＝y_n，则为正样本对，否则为负样本对；

步骤E：加载正样本对或负样本对到所述的特征提取模块f₁、f₂和相似度计算模块S，对应每一个加载的正样本对或负样本对，相似度计算模块中的Softmax层将输出一个二维向量

向量的每个元素为一个正实数，且满足：

若加载的为正样本对，则期望

否则期望

按下式计算相似度计算模块的损失函数E_M：

其中，对于正样本对，q₁＝1，q₂＝0，对于负样本对，q₁＝0，q₂＝1；

步骤F：以最小化所有训练样本的E_M损失函数累加和为目标，以Adam优化算法更新相似度计算模块中各层的权值。

Images