CN109800710B - 行人重识别系统及方法 - Google Patents

Abstract

本发明提供一种行人重识别系统及方法，属于行人重识别技术领域。该系统通过基于稀疏编码的深度学习网络对不同的原始图像进行图像重构，得到对应的重构矩阵；结合注意力机制提取各重构矩阵中的特征向量；计算所述特征向量的分类损失结果和验证损失结果；根据所述分类损失结果和所述验证损失结果判断特征提取模块是否收敛，若收敛，则计算不同重构矩阵的特征向量之间的差异度，若差异度大于设定的阈值，则不属于同一行人，若差异度小于设定的阈值，则属于同一行人。本发明使用重构子网络对图像进行重构以提高图像清晰度，使用多任务损失函数拉近相同个体之间的距离，从而提高了网络的特征表示能力和判别能力，提高行人重识别准确率。

Description

行人重识别系统及方法

技术领域

本发明涉及行人重识别技术领域，具体涉及一种基于图像重构、注意力机制和多任务损失函数的行人重识别系统及方法。

背景技术

随着深度学习的发展，神经网络技术应用在越来越多的场景中，而行人重识别作为计算机视觉领域一个热门的研究方向，也越来越受到重视。目前，行人重识别的研究主要基于表征学习和度量学习两种方式。因为神经网络可以从原始的图像数据中根据任务需求自动提取出表征特征，所有很多学者将行人重识别问题看作一个分类问题或者验证问题，使用单支网络或者孪生网络提取行人特征。虽然表征学习的方法比较鲁棒，训练比较稳定，结果也较容易复现，但是由于图像之间可能存在不同光线、不同角度、遮挡问题，导致模型准确度不高，并且当训练ID增加到一定程度的时候会显得比较乏力。不同于表征学习，度量方法旨在通过网络学习出两张图片的相似度，具体表现为同一行人的不同图片相似度大于不同行人的不同图片。最后网络的损失函数使得相同行人图片(正样本对)的距离尽可能小，不同行人图片(负样本对)的距离尽可能大。目前常用的度量学习损失方法有对比损失、三元组损失、四元组损失等。

如何在充分利用数据集有效信息的条件下提高网络的特征表示和判别能力是行人重识别的目的。因此，在图像像素低，背景混乱，光线不同，视角不同，存在遮挡等问题下，找出个体之间的相同点和差异，并找到合适的度量方式判断两张图像特征是否属于同一个体是我们需要解决的主要问题。

目前现有技术中的孪生网络达到了不错的效果，如图1所示，将两张图像分别输入到两个完全相同、参数共享的子网络(非线性特征求解函数)中，得到两张图像所对应的特征表示，用于预测两张输入图像的身份ID，同时预测验证任务的结果(是否属于同一个ID)。实验表明在孪生网络中同时使用分类任务和验证任务要比使用单一任务效果好。

但是，上述实现方案仍存在以下几个方面的缺陷：由于网络中提取的是全局特征，并没有侧重于贡献度大的特征，使用神经网络提取的图像特征贡献度相同，没有进行相应的强化与弱化，准确率低；同时分类任务和验证任务的损失函数使用的是交叉熵损失，无法评估特征之间的距离，导致重识别准确率较低；摄像头所获取的图像像素低，行人轮廓不清晰，直接提取原始图片的特征易导致分类错误。

发明内容

本发明的目的在于提供一种将低像素图像进行重构后输入到加入注意力模型的孪生网络中，并使用新的多任务损失函数训练网络，从而提高行人重识别的准确率的图像重识别系统和方法，以解决上述背景技术中存在的技术问题。

为了实现上述目的，本发明采取了如下技术方案：

一方面，本发明提供一种行人重识别系统，该系统包括：

图像重构模块，用于通过基于稀疏编码的深度学习网络对不同的原始图像进行图像重构，得到对应的重构矩阵；

特征提取模块，用于结合注意力机制神经网络提取不同的重构矩阵中对应的特征向量；

损失计算模块，用于计算各个重构矩阵中对应的所述特征向量的分类损失结果和验证损失结果，根据所述分类损失结果和所述验证损失结果判断特征提取模块是否收敛，若收敛，则将各个重构矩阵中对应的所述特征向量发送至判断模块；否则，根据所述分类损失结果和所述验证损失结果梯度反向传播更新注意力机制神经网络参数，直至收敛；

判断模块，用于计算不同重构矩阵的特征向量之间的差异度，若差异度大于设定的阈值，则判断为不属于同一行人，若差异度小于设定的阈值，则判断为属于同一行人。

优选的，所述的行人重识别系统还包括：

图像预处理模块，用于对采集到的原始图像调整成固定大小，去均值处理，设置随机选取输入图像样本对的方式。

另一方面，本发明提供一种行人重识别方法，包括如下步骤：

步骤S110：通过基于稀疏编码的深度学习网络对不同的原始图像进行图像重构，得到对应的重构矩阵；

步骤S120：结合注意力机制神经网络提取不同的重构矩阵中对应的特征向量；

步骤S130：计算各个重构矩阵中对应的所述特征向量的分类损失结果和验证损失结果，根据所述分类损失结果和所述验证损失结果判断特征提取模块是否收敛，若收敛，则进行步骤S140；否则，根据所述分类损失结果和所述验证损失结果梯度反向传播更新注意力机制神经网络参数，直至收敛；

步骤S140：若步骤S130判断结果为收敛，计算不同重构矩阵的特征向量之间的差异度，若差异度大于设定的阈值，则判断为不属于同一行人，若差异度小于设定的阈值，则判断为属于同一行人。

优选的，所述方法还包括：在步骤S110之前，对采集到的原始图像调整成固定大小，去均值处理，设置随机选取输入图像样本对的方式。

优选的，所述步骤S130具体包括：

利用归一化指数函数，计算分类损失结果：

其中，n表示数据集中行人的ID总数，y_i表示行人i的ID真值；

利用归一化指数函数，计算验证损失结果：

其中，j＝1表示两张图像为同一行人，j＝2表示两张图像为不同行人，P_j表示不同原始图像中的行人的ID真值是否为同一行人的ID真值，c₁表示同一个体的特征中心，c₂为不同个体的特征中心，x表示两张图像间的欧氏距离。

优选的，所述步骤S130中，判断是否收敛具体包括：

取相邻两次迭代计算的分类损失结果之差和验证损失结果之差，若差值小于预设的阈值，则判断为收敛，否则为未收敛。

本发明有益效果：使用重构子网络对图像进行重构以提高图像清晰度，然后输入到注意力模型的子网络中，强化重要通道的特征并对非重要通道特征进行弱化，并且使用多任务损失函数拉近相同个体之间的距离，从而提高了网络的特征表示能力和判别能力，提高行人重识别准确率。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中利用孪生网络进行行人重识别的原理框图。

图2为本发明实施例一所述的行人重识别系统原理框图。

图3为本发明实施例一所述的行人重识别方法流程图。

图4为本发明实施例二所述的行人重识别系统原理框图。

图5为本发明实施例三所述的行人重识别方法流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的模块。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且实施例并不构成对本发明实施例的限定。

本领域普通技术人员应当理解的是，附图只是一个实施例的示意图，附图中的部件或装置并不一定是实施本发明所必须的。

实施例一

如图2所示，本发明实施例一提供了一种行人重识别系统，该系统包括：

图像重构模块，用于通过基于稀疏编码的深度学习网络对不同的原始图像进行图像重构，得到对应的重构矩阵；

特征提取模块，用于结合注意力机制神经网络提取不同的重构矩阵中对应的特征向量；

损失计算模块，用于计算各个重构矩阵中对应的所述特征向量的分类损失结果和验证损失结果，根据所述分类损失结果和所述验证损失结果判断特征提取模块是否收敛，若收敛，则将各个重构矩阵中对应的所述特征向量发送至判断模块；否则，根据所述分类损失结果和所述验证损失结果梯度反向传播更新注意力机制神经网络参数，直至收敛；

判断模块，用于计算不同重构矩阵的特征向量之间的差异度，若差异度大于设定的阈值，则判断为不属于同一行人，若差异度小于设定的阈值，则判断为属于同一行人。

在本发明的具体实施例一中，为了使原始图像的特征提取更加具有针对性，剔除无关特征，该系统还包括：

图像预处理模块，用于对采集到的原始图像调整成固定大小，去均值处理，设置随机选取输入图像样本对的方式。

如图3所示，利用上述行人重识别系统，进行行人重识别，主要包括以下流程步骤：

步骤S110：通过基于稀疏编码的深度学习网络对不同的原始图像进行图像重构，得到对应的重构矩阵；

步骤S120：结合注意力机制神经网络提取不同的重构矩阵中对应的特征向量；

步骤S130：计算各个重构矩阵中对应的所述特征向量的分类损失结果和验证损失结果，根据所述分类损失结果和所述验证损失结果判断特征提取模块是否收敛，若收敛，则将各个重构矩阵中对应的所述特征向量发送至判断模块；否则，根据所述分类损失结果和所述验证损失结果梯度反向传播更新注意力机制神经网络参数，直至收敛；

判断是否收敛的依据为：取相邻两次迭代计算的分类损失结果之差和验证损失结果之差，若差值小于预设的阈值，则判断为收敛，否则为未收敛。

步骤S140：若步骤S130判断结果为收敛，计算不同重构矩阵的特征向量之间的差异度，若差异度大于设定的阈值，则判断为不属于同一行人，若差异度小于设定的阈值，则判断为属于同一行人。

在本发明的具体实施例一中，为了使原始图像的特征提取更加具有针对性，剔除无关特征，在步骤S110之前，对采集到的原始图像调整成固定大小，去均值处理，设置随机选取输入图像样本对的方式。

进一步的，所述步骤S130具体包括：

利用归一化指数函数，计算分类损失结果：

其中，n表示数据集中行人的ID总数，y_i表示行人i的ID真值；

利用归一化指数函数，计算验证损失结果：

其中，j＝1表示两张图像为同一行人的情况，j＝2表示不同行人的情况，P_j表示不同原始图像中的行人的ID真值是否为同一行人的ID真值，c₁表示同一个体的特征中心，c₂为不同个体的特征中心。

实施例二

本发明实施例二提供一种基于图像重构、注意力机制和多任务损失函数的行人重识别方法，用于判断不同摄像头下所获取的图像是否属于同一个体。

具体的，本发明实施例二所述的系统，使用深度学习中的孪生网络结构，输入两张不同的行人图像，使用通过孪生网络得到的行人特征进行测试，计算特征距离，判断相应的图像中的行人是否属于同一行人。

孪生网络包含两部分，参数共享的重构网络和参数共享的注意力网络。重构网络使用的是基于稀疏编码的深度学习网络，该网络通过对图像进行重构可以得到更多的图像细节信息。注意力网络由Resnet50和注意力模块组成，图像输入到网络中后，通过卷积操作得到其特征矩阵，将特征矩阵与注意力模块得到的通道权值进行点乘得到最终的行人特征。该行人特征输入到多任务损失函数中，通过反向传播对整个网络的参数进行调整，从而得到最终训练好的网络结构。

本发明实施例二所述的系统首先通过重构图像得到图像的更多的细节信息，再通过注意力神经学习网络提取图像特征，对于贡献度不同的特征设置不同的权重，同时使用多任务损失函数拉近属于相同个体的图像特征之间的距离。

如图4所示，本发明实施二所述的系统主要包括：

模块1：图像重构模块

图像输入到模块1中，该模块对低像素的图像进行重构得到清晰化图像，获取更多的细节信息。图像重构模块与注意力模块相连，将重构后的图像输送到注意力模块中。

模块2：注意力模块(特征提取模块)

注意力模块的输入为重构后的图像，并将最后得到的特征输送到多任务损失模块中。注意力模块在传统的神经网络中加入注意力机制，用于强化对行人重识别起重要作用的通道特征，抑制作用不大的特征。

模块3：多任务损失计算模块

多任务损失计算模块包括分类任务和验证任务两类任务。分类任务分别对两张图像通过注意力模块输出的特征矩阵进行交叉熵损失计算，验证任务对两张图像输出的结果进行距离计算后输入到验证损失函数中(由交叉熵损失和距离损失两项构成)，两项任务联合训练整个模型。

通过上述三个模块对输入的图像进行模型训练后，需要对训练结果进行测试，因此，该系统还包括

模块4：测试模块

训练阶段只涉及上述模块1-3。测试阶段涉及到该测试模块。深度学习网络训练结束之后，使用训练好的模型提取图像特征，在测试模块中计算不同图像特征之间的距离，该距离表示图像的差异度。若结果小于给定阈值则认为图像属于同一个体，否则属于不同个体。

本发明实施例二所述的系统与传统行人重识别系统相比，增加了图像重构模块，并且在图像特征提取模块中，提出了一种新的网络结构，在基准网络Resnet50中添加了注意力机制，使用多任务损失函数调整网络参数。

在行人重识别任务中，由于输入图像均有摄像头设备获取，所以图像本身存在像素低、模糊不清等问题，导致细节信息提取存在困难。而对于重识别任务来说，主要是判断两张图像是否属于同一个体，这种情况下细节信息很重要。因此，本发明在进行图像特征提取之前进行图像重构工作，旨在获取更多的图像细节信息。

图像特征提取模块中，使用了注意力机制，通过该机制，可以获取到图像特征中各个通道的重要性，通过设置不同的权重着重关注重要的信息而抑制对行人重识别任务作用不大的信息。同时，提出使用多任务损失函数调节网络模型参数，在交叉熵损失函数的基础上对同类个体、不同类个体之间的距离进行约束，从而提高网络模型的准确率。

实施例三

如图5所示，本发明实施例三提供一种利用实施例二所述的系统进行行人重识别的方法，该方法包括如下流程步骤：

步骤1：在图像输入到网络之前，进行图像预处理。包括将图像调整成固定大小，去均值处理，设置随机选取输入图像样本对的方式。

步骤2：预处理后的图像首先输入到图像重构模块，该模块中的重构网络用于重构输入的图像，得到其重构矩阵。

步骤3：步骤2(即重构模块)得到的重构矩阵输入到注意力模块中，注意力网络前向传播提取重构矩阵的特征向量。

步骤4：将步骤3得到的每张图像的特征向量输入到多任务损失模块中，一方面结合归一化指数函数softmax，使用公式(1)计算分类损失结果L_ide(n表示数据集中行人的ID数，y_i表示行人的ID真值)；另一方面计算孪生网络两张图像特征向量的欧氏距离得到x，再结合softmax计算结果得到，使用公式(2)计算得到验证损失结果(j＝1表示两张图像为同一个体的情况，j＝2为不同个体的情况，p_j表示两张图像是否为同一人的真值，c₁表示同一个体的特征中心，c₂为不同个体的特征中心)。

步骤5：根据步骤4计算的分类损失和验证损失结果判断模型是否收敛，若收敛，可以使用该模型进行测试模块的工作即测试行人重识别效果；否则，根据多任务损失结果梯度反向传播更新注意力网络参数，继续训练网络。

步骤6：若测试结果达到预期效果，则模型训练成功；若效果不理想或者训练结果一直不收敛，则调整训练参数重新进行模型训练。

在上述该流程中，最核心的步骤为训练网络提取图像特征部分以及测试模型效果部分。

训练网络提取图像特征部分首先需要使用数据集训练一个能够较好地表达图像特征的深度学习网络。为了更好地表示一张图像，特征提取需要考虑个体之间共有特征、特有特征、背景因素、遮挡以及光线、角度等问题，一种好的特征表示方法可以极大地提高重识别准确率。

测试模型效果部分即为判断不同图像是否属于同一个体，主要操作是计算图像特征之间的差异度，可以采用欧式距离、余弦相似度等距离度量方式，差异大小一般由给定阈值确定，小于阈值的可以认为属于同一个体，反之则为不同个体。

综上所述，本发明实施例所述的系统首先使用重构网络模型对图像进行重构以提高图像清晰度，获取图像细节信息，获取到的图像细节，如衣服上的LOGO、发饰等信息可以为后续的重识别带来关键性的判断信息，提高判断结果的准确率。重构后的结果输入到注意力网络模型中，经过该网络模型得到原始图像的特征表示，注意力机制会强化重要通道的特征并弱化非重要通道的特征，该注意力网络模型使用多任务损失函数进行参数的调整，可以拉近相同个体之间的距离。本发明中重构网络与注意力网络相辅相成，共同提高网络的特征表示能力和判别能力，进而提高行人重识别准确率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种行人重识别方法，所述行人重识别方法通过行人重识别系统实现，其特征在于，所述行人重识别方法包括如下步骤：

步骤S110：通过基于稀疏编码的深度学习网络对不同的原始图像进行图像重构，得到对应的重构矩阵；

步骤S120：结合注意力机制神经网络提取不同的重构矩阵中对应的特征向量；

步骤S130：计算各个重构矩阵中对应的所述特征向量的分类损失结果和验证损失结果，根据所述分类损失结果和所述验证损失结果判断特征提取模块是否收敛，若收敛，则进行步骤S140；否则，根据所述分类损失结果和所述验证损失结果梯度反向传播更新注意力机制神经网络参数，直至收敛；

步骤S140：若步骤S130判断结果为收敛，计算不同重构矩阵的特征向量之间的差异度，若差异度大于设定的阈值，则判断为不属于同一行人，若差异度小于设定的阈值，则判断为属于同一行人；

所述步骤S130具体包括：

利用归一化指数函数，计算分类损失结果：

其中，n表示数据集中行人的ID总数，y_i表示行人i的ID真值；

利用归一化指数函数，计算验证损失结果：

其中，j＝1表示两张图像为同一行人，j＝2表示两张图像为不同行人，P_j表示不同原始图像中的行人的ID真值是否为同一行人的ID真值，c₁表示同一个体的特征中心，c₂为不同个体的特征中心，x表示两张图像间的欧氏距离；

所述行人重识别系统，包括：

图像重构模块，用于通过基于稀疏编码的深度学习网络对不同的原始图像进行图像重构，得到对应的重构矩阵；

特征提取模块，用于结合注意力机制神经网络提取不同的重构矩阵中对应的特征向量；

损失计算模块，用于计算各个重构矩阵中对应的所述特征向量的分类损失结果和验证损失结果，根据所述分类损失结果和所述验证损失结果判断特征提取模块是否收敛，若收敛，则将各个重构矩阵中对应的所述特征向量发送至判断模块；否则，根据所述分类损失结果和所述验证损失结果梯度反向传播更新注意力机制神经网络参数，直至收敛；

判断模块，用于计算不同重构矩阵的特征向量之间的差异度，若差异度大于设定的阈值，则判断为不属于同一行人，若差异度小于设定的阈值，则判断为属于同一行人。

2.根据权利要求1所述的行人重识别方法，其特征在于，所述行人重识别系统还包括：

图像预处理模块，用于对采集到的原始图像调整成固定大小，去均值处理，设置随机选取输入图像样本对的方式。

3.根据权利要求1所述的方法，其特征在于，还包括：在步骤S110之前，对采集到的原始图像调整成固定大小，去均值处理，设置随机选取输入图像样本对的方式。

4.根据权利要求1所述的方法，其特征在于，所述步骤S130中，判断是否收敛具体包括：

取相邻两次迭代计算的分类损失结果之差和验证损失结果之差，若差值小于预设的阈值，则判断为收敛，否则为未收敛。

Images