CN111695531A - 一种基于异构卷积网络的跨域行人再识别方法 - Google Patents

Abstract

本发明实施例公开了一种基于异构卷积网络的跨域行人再识别方法，该方法包括：构建特征提取模块，利用有标签的源数据库样本对特征提取模块进行预训练；利用预训练的特征提取模块提取无标签的目标数据库训练样本的第一特征；基于第一特征构建图，并构建图卷积模块，得到目标数据库训练样本的第二特征；对第二特征进行聚类，得到目标数据库训练样本的伪标签；构建异构卷积网络，基于损失值对其进行优化，利用优化后的异构卷积网络进行行人识别。本发明利用卷积神经网络和图卷积网络来提取行人样本特征，能够充分学习行人样本的外观特征、结构信息和行人样本间的关联信息，提高了跨域场景下行人再识别模型的准确率。

Description

一种基于异构卷积网络的跨域行人再识别方法

技术领域

本发明属于计算机视觉、模式识别、人工智能领域，具体涉及一种基 于异构卷积网络的跨域行人再识别方法。

背景技术

近年来，行人再识别被广泛应用于行人取证和安防等领域，它旨在判 断同一身份的行人是否出现在不同的摄像机中，因此可以弥补固定摄像机 视觉范围狭小的限制。然而，由于行人身份和拍摄背景的多样性，使得跨 域场景下的行人再识别十分具有挑战性。

近年来，一些研究者利用无监督的域适应方法有效提升了跨域行人再 识别模型的性能。这类方法通常利用有标签的源数据库和无标签的目标数 据库来训练跨域行人再识别模型。其中，一些研究者利用生成对抗网络来 完成跨域场景下行人图像的风格转换和信息传递。Deng等人利用 cycleGAN将源数据图像转换为目标数据库风格，并利用SiaNet网络为生 成图像保留更多的身份信息。在跨域场景下，Zhong等人利用样本记忆模 块学习域内和域间的三类不变性。另外，一些研究者通过聚类算法为无标 签的训练样本赋标签，使模型能够在有监督的方式下完成训练。例如，Fan 等人提出渐进式无监督学习方法，该方法通过K-means聚类为无标签的训 练样本生成伪标签。Lin等人提出自底向上的聚类方法，该方法首先将每 个行人图像视为不同的类别，然后逐渐地合并相似项以提高类别内的相似性并最大化不同类别间的差异性。

以上提到的跨域行人再识别方法仅考虑单个行人样本的外观特征，而 忽略了行人样本间存在的关联信息，因此并未充分利用行人样本信息。

发明内容

本发明的目的是要解决现有的跨域行人再识别方法无法充分利用样 本间的关联信息而不能得到有效模型的问题，为此，本发明提供一种基于 异构卷积网络的跨域行人再识别方法。

为了实现所述目的，本发明提出的一种基于异构卷积网络的跨域行人 再识别方法包括以下步骤：

步骤S1，基于卷积神经网络构建特征提取模块，并利用有标签的源数 据库样本对所述特征提取模块进行预训练；

步骤S2，利用预训练的特征提取模块提取无标签的目标数据库训练样 本的基于卷积神经网络的第一特征；

步骤S3，基于所述目标数据库训练样本的第一特征构建图，并构建图 卷积模块，得到所述目标数据库训练样本的基于图卷积的第二特征；

步骤S4，利用无监督的聚类算法对所述目标数据库训练样本的第二特 征进行聚类，得到所述目标数据库训练样本的伪标签；

步骤S5，基于所述特征提取模块和图卷积模块构建异构卷积网络，计 算所述异构卷积网络的损失并基于损失值优化所述异构卷积网络，利用优 化后的异构卷积网络对于目标数据库测试样本集中的测试样本进行行人 识别。

可选地，所述步骤S1包括以下步骤：

步骤S11，确定卷积神经网络并对其进行初始化，提取所述卷积神经 网络中全局池化层之前的部分，得到特征提取模块；

步骤S12，为所述特征提取模块增加两个全连接分支，并将交叉熵损 失和三元组损失分别作为所述两个全连接分支的优化函数；

步骤S13，利用有标签的源数据库样本对所述特征提取模块进行有监 督训练，得到预训练的特征提取模块。

可选地，所述步骤S3包括以下步骤：

步骤S31，将每个目标数据库训练样本的第一特征作为图的结点，基 于图的结点形成图的特征矩阵并建立邻接矩阵，得到图；

步骤S32，基于得到的图，利用双图卷积操作构建图卷积模块，基于 所述图卷积模块提取得到所述目标数据库训练样本的第二特征。

可选地，所述步骤S31中，所述特征矩阵表示为：

F＝[f₁,...,f_n,...,f_N]；

其中，F∈R^N×d，N是图中的结点数，d是结点的特征维度，f_n表示图中 的第n个结点；

所述邻接矩阵表示为：

A＝[a_ij],1＜(i,j)＜N；

其中，A∈R^N×N，a_ij表示第i个结点和第j个结点间的相似度。

可选地，所述步骤S32包括以下步骤：

步骤S321，确定所述邻接矩阵中的高置信度部分；

步骤S322，基于所述图以及所述邻接矩阵中的高置信度部分，利用双 图卷积操作构建图卷积模块；

步骤S323，将所述目标数据库训练样本的第一特征输入至所述图卷积 模块，得到所述目标数据库训练样本的第二特征。

可选地，所述步骤S4具体为：

利用无监督的聚类算法对所述目标数据库训练样本的第二特征进行聚类， 将无标签的目标数据库训练样本划分到不同的区域，并为处于同一区域中 的样本设置相同的类别标签，得到所述目标数据库训练样本的伪标签。

可选地，所述步骤S5包括以下步骤：

步骤S51，基于所述特征提取模块、图卷积模块、无监督聚类算法和 三元组损失函数构建得到所述异构卷积网络，其中，所述异构卷积网络包 括分别用于处理所述目标数据库训练样本的第一特征和第二特征的两个 分支；

步骤S52，利用三元组损失函数计算所述异构卷积网络的损失值，并 基于得到的损失值对于所述异构卷积网络进行优化，得到最优异构卷积网 络；

步骤S53，利用优化后的异构卷积网络对于目标数据库测试样本集中 的测试样本进行行人识别。

可选地，所述步骤S52包括以下步骤：

步骤S521，基于三元组损失函数设置所述异构卷积网络的总损失函 数；

步骤S522，利用所述异构卷积网络的总损失函数对所述异构卷积网络 进行多个迭代优化，并在每个迭代开始时，通过上个迭代得到的异构卷积 网络对所述目标数据库训练样本进行重新聚类，以更新所述目标数据库训 练样本集的伪标签，用于损失值的计算，经最后一个迭代的最后一次迭代， 得到最优异构卷积网络。

本发明的有益效果为：本发明利用预训练的卷积神经网络来提取行人 图像的外观特征，并利用双图卷积操作来学习样本间的关联信息，同时提 出多分支的异构卷积网络来充分学习样本的结构信息，改善了样本特征的 判别能力和信息完备性，提高了跨域场景下行人再识别模型的识别准确 率。

需要说明的是，本发明得到了国家自然科学基金项目No. 61711530240，天津市自然科学基金重点项目No.19JCZDJC31500，模式 识别国家重点实验室开放课题基金No.202000002和天津市高等学校创新 团队基金项目的资助。

附图说明

图1是根据本发明一实施例的一种基于异构卷积网络的跨域行人再识 别方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实 施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是 示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对 公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明一实施例的一种基于异构卷积网络的跨域行人再识 别方法的流程图，下面以图1为例来说明本发明的一些具体实现流程，如 图1所示，所述基于异构卷积网络的跨域行人再识别方法包括以下步骤：

步骤S1，基于卷积神经网络构建特征提取模块，并利用有标签的源数 据库样本对所述特征提取模块进行预训练；

进一步地，所述步骤S1包括以下步骤：

步骤S11，确定卷积神经网络并对其进行初始化，比如所述卷积神经 网络可选为ResNet-50，利用ImageNet对其进行初始化，提取所述卷积神 经网络中全局池化层之前的部分，得到特征提取模块；

步骤S12，在预训练阶段，为所述特征提取模块增加两个全连接分支， 并将交叉熵损失和三元组损失分别作为所述两个全连接分支的优化函数；

在本发明一实施例中，第一个全连接分支为FC-ID，其中，FC表示全 连接层(fullyconnected layer)，ID表示源数据库训练样本的类别数，且 FC-ID分支以交叉熵损失为优化函数，第二个全连接分支为FC-1024，其 中1024为该全连接层中的神经元数目，且FC-1024分支以三元组损失为 优化函数。

步骤S13，利用有标签的源数据库样本对所述特征提取模块进行有监 督训练，得到预训练的特征提取模块。

在本发明一实施例中，所述有标签的源数据库样本的输入大小为预设 值：256×128，样本像素值需要经过归一化处理，样本数据扩展方式包括 随机裁剪、随机翻转和随机擦除等等，小批量大小为128，三元组损失的 边界值为0.5，次数为70，优化器的初始学习率为3×10^-3并在次数为40 时调整为3×10^-4。

步骤S2，利用预训练的特征提取模块提取无标签的目标数据库训练样 本的基于卷积神经网络的第一特征；

在本发明一实施例中，所述无标签的目标数据库训练样本的输入大小 为预设值：256×128，样本像素值也需要经过归一化处理，样本数据扩展 方式包括随机裁剪、随机翻转和随机擦除等等。

步骤S3，基于所述目标数据库训练样本的第一特征构建图，并构建图 卷积模块，得到所述目标数据库训练样本的基于图卷积的第二特征；

进一步地，所述步骤S3包括以下步骤：

步骤S31，将每个目标数据库训练样本的第一特征作为图的结点，基 于图的结点形成图的特征矩阵并建立邻接矩阵，得到图；

其中，所述图的特征矩阵表示为：

F＝[f₁,...,f_n,...,f_N]；

其中，F∈R^N×d，N是图中的结点数，d是结点的特征维度，f_n表示图中 的第n个结点；

所述邻接矩阵表示为：

A＝[a_ij],1＜(i,j)＜N

其中，A∈R^N×N，a_ij表示第i个结点和第j个结点间的相似度。

步骤S32，基于得到的图，利用双图卷积操作构建图卷积模块，基于 所述图卷积模块提取得到所述目标数据库训练样本的第二特征。

进一步地，所述步骤S32包括以下步骤：

步骤S321，确定所述邻接矩阵中的高置信度部分，其中，所述邻接矩 阵中的高置信度部分可表示为：

其中，

其中，

其中，A₁∈R^N×N，A₂∈R^N×N，l_i和l_j是图中第i个结点和第j个结点的类别 标签，θ(τ₁)和θ(τ₂)表示位于将N*N的邻接矩阵展开并按降序排列得到的 1*(N^2)邻接矩阵中τ₁％和τ₂％处的元素值；

在本发明一实施例中，阈值τ₁和τ₂分别设置为1/3和2/3。

步骤S322，基于所述图以及所述邻接矩阵中的高置信度部分，利用双 图卷积操作构建图卷积模块，其中，所述双图卷积操作可表示为：

E^k+1＝h(w^kσ(A₁E^k||A₂E^k)),1≤k≤K

其中，w^k是所述图卷积模块第k个图卷积层中的可训练参数，E^k是输入至 第k个图卷积层的特征矩阵，K是图卷积层的数目，h表示非线性变换，|| 表示串联操作，σ表示非线性变换，用于整合相似样本和不相似样本的特 征；

在本发明一实施例中，h通过ReLU来实现，非线性变换σ是由一个 带有BN层和ReLU层的全连接层来实现的。

步骤S323，将所述目标数据库训练样本的第一特征输入至所述图卷积 模块，得到所述目标数据库训练样本的第二特征。

在本发明一实施例中，所述目标数据库训练样本的第二特征的维度为 512。

步骤S4，利用无监督的聚类算法对所述目标数据库训练样本的第二特 征进行聚类，得到所述目标数据库训练样本的伪标签；

进一步地，所述步骤S4具体为：

利用无监督的聚类算法对所述目标数据库训练样本的第二特征进行 聚类，将无标签的目标数据库训练样本划分到不同的区域，并为处于同一 区域中的样本设置相同的类别标签，得到所述目标数据库训练样本的伪标 签。

在本发明一实施例中，所述无监督的聚类算法为DBSCAN聚类算法。

若将无标签目标数据库训练样本集视为Z_t，则聚类后得到的目标数据 库训练样本集则可以表示为：

其中，

表示目标数据库训练样本集中的第i个样本，yⁱ表示样本

的伪 标签，N_t为目标数据库训练样本集中的样本数。

步骤S5，基于所述特征提取模块和图卷积模块构建异构卷积网络，计 算所述异构卷积网络的损失并基于损失值优化所述异构卷积网络，利用优 化后的异构卷积网络对于目标数据库测试样本集中的测试样本进行行人 识别。

进一步地，所述步骤S5包括以下步骤：

步骤S51，基于所述特征提取模块、图卷积模块、无监督聚类算法和 三元组损失函数构建得到所述异构卷积网络，其中，所述异构卷积网络包 括分别用于处理所述目标数据库训练样本的第一特征和第二特征的两个 分支；

在本发明一实施例中，所述异构卷积网络的第一个分支用于学习目标 数据库训练样本的第一特征，第二个分支用于学习目标数据库训练样本的 第二特征，其中第一特征的维度为2048，第二特征的维度为512。

步骤S52，利用三元组损失函数计算所述异构卷积网络的损失值，并 基于得到的损失值对于所述异构卷积网络进行优化，得到最优异构卷积网 络；

进一步地，所述步骤S52包括以下步骤：

步骤S521，基于三元组损失函数设置所述异构卷积网络的总损失函 数，所述异构卷积网络的总损失函数可表示为：

L_HCN＝T_c+T_g；

其中，T_c和T_g分别表示所述异构卷积网络中两个分支的三元组损失函数， T_c和T_g可以分别表示为：

其中，m₁和m₂为边界值，[x]₊＝max(x,0)，N_t表示目标数据库训练样本 数，

表示第i个锚样本的第一特征，

表示与

最不相似的正样本的 第一特征，

表示与

最相似的负样本的第一特征，

表示第i个锚样 本的第二特征，

表示与

最不相似的正样本的第二特征，

表示与

最相似的负样本的第二特征；

步骤S522，利用所述异构卷积网络的总损失函数对所述异构卷积网络 进行多个迭代优化，并在每个迭代开始时，通过上个迭代得到的异构卷积 网络对所述目标数据库训练样本进行重新聚类，以更新所述目标数据库训 练样本集的伪标签，得到每个锚样本的正负样本，进而用于损失值的计算， 经最后一个迭代的最后一次迭代，得到最优异构卷积网络。

在本发明一实施例中，训练阶段包含20个迭代，其中每个迭代的次 数为60，小批量大小为128，三元组损失的边界值为0.6，所述异构卷积 网络的初始学习率为8×10^-4并在次数达到40时调整为8×10^-5。

步骤S53，利用优化后的异构卷积网络对于目标数据库测试样本集中 的测试样本进行行人识别。

在本发明一实施例中，测试标准为Cumulative Match Characteristic (CMC)curve和mean average precision(mAP)。

本发明在Market-1501，DukeMTMC-reID和MSMT17数据集上进行 跨域行人再识别，跨域行人再识别准确率获得了性能提升。例如，以 Market-1501为目标数据集时，准确率达到了90.7％(Rank-1)和70.5％ (mAP)，充分体现了本发明的有效性，其中，mAP(meanaverage precision) 为测试标准。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解 释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精 神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发 明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要 求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种基于异构卷积网络的跨域行人再识别方法，其特征在于，所述方法包括以下步骤：

步骤S1，基于卷积神经网络构建特征提取模块，并利用有标签的源数据库样本对所述特征提取模块进行预训练；

步骤S2，利用预训练的特征提取模块提取无标签的目标数据库训练样本的基于卷积神经网络的第一特征；

步骤S3，基于所述目标数据库训练样本的第一特征构建图，并构建图卷积模块，得到所述目标数据库训练样本的基于图卷积的第二特征；

步骤S4，利用无监督的聚类算法对所述目标数据库训练样本的第二特征进行聚类，得到所述目标数据库训练样本的伪标签；

步骤S5，基于所述特征提取模块和图卷积模块构建异构卷积网络，计算所述异构卷积网络的损失并基于损失值优化所述异构卷积网络，利用优化后的异构卷积网络对于目标数据库测试样本集中的测试样本进行行人识别。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：

步骤S11，确定卷积神经网络并对其进行初始化，提取所述卷积神经网络中全局池化层之前的部分，得到特征提取模块；

步骤S12，为所述特征提取模块增加两个全连接分支，并将交叉熵损失和三元组损失分别作为所述两个全连接分支的优化函数；

步骤S13，利用有标签的源数据库样本对所述特征提取模块进行有监督训练，得到预训练的特征提取模块。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤S3包括以下步骤：

步骤S31，将每个目标数据库训练样本的第一特征作为图的结点，基于图的结点形成图的特征矩阵并建立邻接矩阵，得到图；

步骤S32，基于得到的图，利用双图卷积操作构建图卷积模块，基于所述图卷积模块提取得到所述目标数据库训练样本的第二特征。

4.根据权利要求3所述的方法，其特征在于，所述步骤S31中，所述特征矩阵表示为：

F＝[f₁,...,f_n,...,f_N]；

其中，F∈R^N×d，N是图中的结点数，d是结点的特征维度，f_n表示图中的第n个结点；

所述邻接矩阵表示为：

A＝[a_ij],1＜(i,j)＜N；

其中，A∈R^N×N，a_ij表示第i个结点和第j个结点间的相似度。

5.根据权利要求3或4所述的方法，其特征在于，所述步骤S32包括以下步骤：

步骤S321，确定所述邻接矩阵中的高置信度部分；

步骤S322，基于所述图以及所述邻接矩阵中的高置信度部分，利用双图卷积操作构建图卷积模块；

步骤S323，将所述目标数据库训练样本的第一特征输入至所述图卷积模块，得到所述目标数据库训练样本的第二特征。

6.根据权利要求1或2所述的方法，其特征在于，所述步骤S4具体为：利用无监督的聚类算法对所述目标数据库训练样本的第二特征进行聚类，将无标签的目标数据库训练样本划分到不同的区域，并为处于同一区域中的样本设置相同的类别标签，得到所述目标数据库训练样本的伪标签。

7.根据权利要求1或2所述的方法，其特征在于，所述步骤S5包括以下步骤：

步骤S51，基于所述特征提取模块、图卷积模块、无监督聚类算法和三元组损失函数构建得到所述异构卷积网络，其中，所述异构卷积网络包括分别用于处理所述目标数据库训练样本的第一特征和第二特征的两个分支；

步骤S52，利用三元组损失函数计算所述异构卷积网络的损失值，并基于得到的损失值对于所述异构卷积网络进行优化，得到最优异构卷积网络；

步骤S53，利用优化后的异构卷积网络对于目标数据库测试样本集中的测试样本进行行人识别。

8.根据权利要求7所述的方法，其特征在于，所述步骤S52包括以下步骤：

步骤S521，基于三元组损失函数设置所述异构卷积网络的总损失函数；

步骤S522，利用所述异构卷积网络的总损失函数对所述异构卷积网络进行多个迭代优化，并在每个迭代开始时，通过上个迭代得到的异构卷积网络对所述目标数据库训练样本进行重新聚类，以更新所述目标数据库训练样本集的伪标签，用于损失值的计算，经最后一个迭代的最后一次迭代，得到最优异构卷积网络。

Images