CN112528756B - 一种基于异构图的无监督行人重识别方法 - Google Patents

一种基于异构图的无监督行人重识别方法 Download PDF

Info

Publication number
CN112528756B
CN112528756B CN202011316377.XA CN202011316377A CN112528756B CN 112528756 B CN112528756 B CN 112528756B CN 202011316377 A CN202011316377 A CN 202011316377A CN 112528756 B CN112528756 B CN 112528756B
Authority
CN
China
Prior art keywords
pedestrian
vertex
similarity
heterogeneous
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011316377.XA
Other languages
English (en)
Other versions
CN112528756A (zh
Inventor
吕建明
林少川
梁天保
胡超杰
莫晚成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011316377.XA priority Critical patent/CN112528756B/zh
Publication of CN112528756A publication Critical patent/CN112528756A/zh
Application granted granted Critical
Publication of CN112528756B publication Critical patent/CN112528756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于异构图的无监督行人重识别方法，包括以下步骤：获取行人图像并划分行人图像为训练集行人图像和测试集行人图像；对训练集行人图像构建一个摄像头相关的异构图；执行基于异构图的异构相似度传播，进而高效地从异构图中挖掘出顶点与顶点之间的空间相似性；利用异构相似度学习对卷积神经网络模型进行优化；利用优化完毕的卷积神经网络模型在测试集行人图像进行重识别。本发明方法在无监督的基础上，充分考虑了行人图像的异构性，从而有效克服了传统无监督学习方法无法充分考虑无标签行人图像之间的复杂拓扑结构的缺陷。

Description

一种基于异构图的无监督行人重识别方法
技术领域
本发明属于智能安防领域，涉及监控视频行人重识别分析，具体涉及 一种基于异构图的无监督行人重识别方法。
背景技术
行人重识别，主要研究在多个摄像头中准确检索出包含某个行人的图 像帧。由于存在着光照不一致，角度不一致，遮挡和人脸模糊等原因，行 人重识别研究课题吸引了大量研究者进行研究。在这些研究中，有监督训 练的算法虽然能在公开的数据集上表现出不错的效果，但是，当将这些算 法应用在一个全新的没有标签的摄像头网络下，效果往往很差，无法直接 部署使用，所以怎么高效地利用海量的无标签行人图像进行模型的优化训练是一个具有挑战性的问题。
而现如今主流的无监督行人重识别方法主要是基于伪标签和相似度 的方法，但是这些方法都没有考虑无标签数据在空间上的复杂拓扑结构， 而这些复杂拓扑结构才能真正反映样本的分布，能提供足量的信息来辅助 模型优化训练的。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于异构 图的无监督行人重识别方法。
本发明的目的可以通过采取如下技术方案达到：
一种基于异构图的无监督行人重识别方法，所述的无监督行人重识别 方法包括以下步骤：
S1、获取行人图像与行人图像相关的摄像头设备ID信息，将行人图 像划分为训练集行人图像和测试集行人图像；
S2、对步骤S1中获得的训练集行人图像，利用卷积神经网络模型进 行行人特征的抽取；
S3、将每张训练集行人图像作为一个顶点，利用步骤S2中获得的行 人特征计算顶点与顶点的连边，之后对顶点与顶点之间的全部边进行异构 筛选，构建一个与摄像头相关的异构图；
S4、将步骤S3中所得的异构图进行异构相似度的传播，传播完成后， 得出顶点与顶点之间的空间相似性；
S5、将步骤S4中所得的空间相似性送入卷积神经网络模型，进行异 构相似度学习；
S6、将测试集行人图像输入步骤S5中学习完毕的卷积神经网络模型， 通过提取卷积神经网络模型中最后一卷积层的特征，计算特征之间的欧氏 距离构建相似度矩阵，根据距离大小进行排序得到检索候选列结果。
进一步地，所述的步骤S1过程如下：
S11、从一指定路段跨摄像头设备采集的监控视频获取行人图像，首先 将摄像头设备采集的监控视频划分为一帧一帧的视频帧，再通过SSD行人 检测算法或者FasterRCNN行人检测算法对视频帧进行行人检测；
S12、将S11中获取到的行人图像按照指定比例划分为将行人图像划 分为训练集行人图像和测试集行人图像。
进一步地，所述的步骤S2中利用ResNet-50卷积神经网络模型抽取行 人的相关特征，其中，ResNet-50卷积神经网络模型的网络结构从输入层至 输出层依次连接为：
卷积层conv1、BN层bn1、最大池化层max_pool、卷积层layer1.0.conv1、 BN层layer1.0.bn1、卷积层layer1.0.conv2、BN层layer1.0.bn2、卷积层 layer1.0.conv3、BN层layer1.0.bn3、下采样层layer1.0.downsample、卷积层 layer1.1.conv1、BN层layer1.1.bn1、卷积层layer1.1.conv2、BN层layer1.1.bn2、 卷积层layer1.1.conv3、BN层layer1.1.bn3、卷积层layer1.2.conv1、BN层 layer1.2.bn1、卷积层layer1.2.conv2、BN层layer1.2.bn2、卷积层 layer1.2.conv3、BN层layer1.2.bn3、卷积层layer2.0.conv1、BN层layer2.0.bn1、 卷积层layer2.0.conv2、BN层layer2.0.bn2、卷积层layer2.0.conv3、BN层layer2.0.bn3、下采样层layer2.0.downsample、卷积层layer2.1.conv1、BN层layer2.1.bn1、卷积层layer2.1.conv2、BN层layer2.1.bn2、卷积层 layer2.1.conv3、BN层layer2.1.bn3、卷积层layer2.2.conv1、BN层layer2.2.bn1、 卷积层layer2.2.conv2、BN层layer2.2.bn2、卷积层layer2.2.conv3、BN层 layer2.2.bn3、卷积层layer2.3.conv1、BN层layer2.3.bn1、卷积层 layer2.3.conv2、BN层layer2.3.bn2、卷积层layer2.3.conv3、BN层layer2.3.bn3、 卷积层layer3.0.conv1、BN层layer3.0.bn1、卷积层layer3.0.conv2、BN层layer3.0.bn2、卷积层layer3.0.conv3、BN层layer3.0.bn3、下采样层layer3.0.downsample、卷积层layer3.1.conv1、BN层layer3.1.bn1、卷积层layer3.1.conv2、BN层layer3.1.bn2、卷积层layer3.1.conv3、BN层layer3.1.bn3、 卷积层layer3.2.conv1、BN层layer3.2.bn1、卷积层layer3.2.conv2、BN层 layer3.2.bn2、卷积层layer3.2.conv3、BN层layer3.2.bn3、卷积层 layer3.3.conv1、BN层layer3.3.bn1、卷积层layer3.3.conv2、BN层layer3.3.bn2、 卷积层layer3.3.conv3、BN层layer3.3.bn3、卷积层layer3.4.conv1、BN层 layer3.4.bn1、卷积层layer3.4.conv2、BN层layer3.4.bn2、卷积层layer3.4.conv3、BN层layer3.4.bn3、卷积层layer3.5.conv1、BN层layer3.5.bn1、 卷积层layer3.5.conv2、BN层layer3.5.bn2、卷积层layer3.5.conv3、BN层layer3.5.bn3、卷积层layer4.0.conv1、BN层layer4.0.bn1、卷积层 layer4.0.conv2、BN层layer4.0.bn2、卷积层layer4.0.conv3、BN层layer4.0.bn3、 下采样层layer4.0.downsample、卷积层layer4.1.conv1、BN层layer4.1.bn1、 卷积层layer4.1.conv2、BN层layer4.1.bn2、卷积层layer4.1.conv3、BN层 layer4.1.bn3、卷积层layer4.2.conv1、BN层layer4.2.bn1、卷积层layer4.2.conv2、BN层layer4.2.bn2、卷积层layer4.2.conv3、BN层layer4.2.bn3、 平均池化层avg_pool。
进一步地，所述的步骤S3过程如下：
S31、将每张训练集行人图像作为一个顶点，利用步骤S2中获得的行 人特征计算顶点与顶点的连边，计算公式采用高斯核函数，表述式如下：
Figure BDA0002789085610000041
其中，Sij代表两个顶点之间的连边，e为自然常数，||·||2为欧式距离的 平方，vi和vj为两张行人图像的行人相关特征，σ为超参数；
S32、异构筛选步骤S31获得每个顶点的所有连边，保留边两端摄像头 设备ID信息一致且相似度排名相对每个顶点最靠前的ks条连边，同时保 留边两端摄像头设备ID信息不一致且相似度排名相对每个顶点最靠前的 kd条连边。
进一步地，所述的步骤S4过程如下：
S41、将步骤S3中所获得摄像头相关的异构图，进行边的异构归一化， 获取异构相似度，异构归一化公式如下：
Figure BDA0002789085610000042
其中，Prij代表从顶点Ii随机游走到顶点Ij的概率，
Figure BDA0002789085610000043
代表顶点Ii的 邻居，Ik⊙Ij代表顶点Ik和顶点Ij属于同一个摄像头ID，Sik为任一个与顶点 Ii同一个摄像头ID的邻居相似度，/>
Figure BDA0002789085610000044
代表与顶点Ii同一个摄 像头ID的所有邻居相似度总和；
S42、将步骤S41异构归一化完毕的边，执行异构相似度的传播：
M(1)＝ωM(0)M(0)+(1-ω)M(0)
M(2)＝ωM(1)M(0)+(1-ω)M(0)
…
M(t)＝ωM(t-1)M(0)+(1-ω)M(0)
其中，ω为用于权衡每次传播中相似度更新和原始相似度之间的权重 关系的权重系数，M(0)为原始邻接矩阵，M(1)为经过一次传播的邻接矩阵， M(2)为经过两次传播的邻接矩阵，M(t)为经过t次传播的邻接矩阵，当t→ ∞，可得最终的邻接矩阵：
M(∞)＝(1-ω)(I-ωM(0))-1M(0)
其中，I为单位矩阵；
S43、通过高斯核函数对步骤S42所得的最终邻接矩阵进行计算，得 到顶点与顶点之间在空间上的相似性，公式如下：
Figure BDA0002789085610000051
其中，
Figure BDA0002789085610000052
为顶点Ii与顶点Ij之间的空间相似度，/>
Figure BDA0002789085610000053
和/>
Figure BDA0002789085610000054
表示M(∞)的第i行和第j行。
进一步地，所述的步骤S5过程如下：
S51、将步骤S4所获得的顶点与顶点之间的空间相似度拼成一个空间 相似度矩阵并进行归一化，得到归一化空间相似度矩阵：
Figure BDA0002789085610000055
其中，
Figure BDA0002789085610000061
表示与顶点Ii最相似的ka条连边的集合，λ为摄像头设备ID， Vλ表示顶点Ii的摄像头设备ID，Ik为/>
Figure BDA0002789085610000062
集合中任一个顶点且与顶点Ii具 有同一个摄像头设备ID，Ij为/>
Figure BDA0002789085610000063
集合中任一个顶点，i和j代表空间相似 度矩阵的下标，/>
Figure BDA0002789085610000064
表示顶点Ii与顶点Ik之间的空间相似度；
S52、将步骤S51获得的归一化空间相似度矩阵送入卷积神经网络模型， 作为伪标签进行异构相似度学习：
Figure BDA0002789085610000065
Figure BDA0002789085610000066
其中，|V|表示顶点的个数，C表示摄像头的个数，
Figure BDA0002789085610000067
为卷积神经 网络模型对顶点Ij的行人图片抽取的特征，/>
Figure BDA0002789085610000068
为卷积神经网络模型对 顶点Ii的行人图片抽取的特征，/>
Figure BDA0002789085610000069
表示卷积神经网络模 型认为顶点Ii的行人图片和顶点Ij的行人图片为同一个人的概率，τ为用于 调节分类的概率分布的温度系数。
本发明相对于现有技术具有如下的优点及效果：
1)、本发明对行人图像构建了摄像头相关的异构图，充分考虑了行人 图像之间存在的异构性；
2)、本发明针对构建的异构图，得出图中顶点与顶点之间的空间相似 度，深入挖掘了行人图像之间的潜在空间关系；
3)、本发明利用异构相似度学习对卷积神经网络模型进行优化，从而 使得卷积神经网络模型充分学习到行人图像之间的异构性；
4)、本发明通过构建异构图，再挖掘顶点与顶点之间的空间相似度， 进一步针对卷积神经网络模型进行异构相似度学习，从而有效克服了传统 无监督学习方法无法充分考虑无标签行人图像之间的复杂拓扑结构的缺 陷。
附图说明
图1是本发明实施例公开的一种基于异构图的无监督行人重识别方法 的流程图；
图2是本发明方法与其他方法的可视化结果比较示意图；图2(a)是 卷积神经网络模型未训练时行人图像的分布情况示意图，图2(b)是其他 无监督方法训练完行人图像的分布情况示意图，图2(c)是本发明方法训 练完行人图像的分布情况示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本 发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例公开了一种基于异构图的无监督行人重识别方法，该方法包 括以下步骤：
S1、获取行人图像与行人图像相关的摄像头设备ID信息，划分行人 图像为训练集行人图像和测试集行人图像；
S2、对步骤S1中获得的训练集行人图像，利用卷积神经网络模型进 行行人特征的抽取；
S3、将每张训练集行人图像作为一个顶点，顶点与顶点的连边利用步 骤S2中获得的行人特征进行计算，之后对顶点与顶点之间的全部边进行 异构筛选，构建一个摄像头相关的异构图；
S4、将步骤S3中所得的异构图进行异构相似度的传播，传播完成后， 得出顶点与顶点之间的空间相似性；
S5、将步骤S4中所得的空间相似性送入卷积神经网络模型，进行异 构相似度学习；
S6、将测试集行人图像输入步骤S5中学习完毕的卷积神经网络模型， 通过提取卷积神经网络模型中最后一卷积层的特征，计算特征之间的欧氏 距离构建相似度矩阵，根据距离大小进行排序得到检索候选列结果。
本实施例中，前述步骤S1的具体实施过程如下：
S11、首先从某一路段跨摄像头设备采集的监控视频获取行人图像，同 时记录下获取到各个行人图像的摄像头设备信息。
示例性地，从监控视频中获取行人图像的方法可为，首先将摄像头设 备采集的监控视频划分为一帧一帧的视频帧，再通过行人检测算法对视频 帧进行行人检测。该行人检测算法可以采用SSD算法或者Faster RCNN算 法，可以实现在一帧视频帧中将行人图像获取出来的目的。本实施例对行 人检测算法不作限定，本领域技术人员可以根据实际情况选择。
S12、将S11中获取到的行人图像划分为训练集和测试集。
示例性地，划分方法可为随机划分，比如可以将30％的行人图像作为 测试集行人图像，剩下的行人图像作为训练集行人图像。本发明实施例对 训练集和测试集的获取方式不做限定，可以根据需要确定。
本实施例中，前述步骤S2的具体实施过程如下：
利用卷积神经网络模型将步骤S1获得的训练集行人图像进行行人特 征抽取。
示例性地，本实施例采用的卷积神经网络模型为ResNet-50模型，其 网络结构具体如下：
从输入层至输出层依次连接为：卷积层conv1、BN层bn1、最大池化 层max_pool、卷积层layer1.0.conv1、BN层layer1.0.bn1、卷积层 layer1.0.conv2、BN层layer1.0.bn2、卷积层layer1.0.conv3、BN层layer1.0.bn3、 下采样层layer1.0.downsample、卷积层layer1.1.conv1、BN层layer1.1.bn1、 卷积层layer1.1.conv2、BN层layer1.1.bn2、卷积层layer1.1.conv3、BN层 layer1.1.bn3、卷积层layer1.2.conv1、BN层layer1.2.bn1、卷积层layer1.2.conv2、BN层layer1.2.bn2、卷积层layer1.2.conv3、BN层layer1.2.bn3、 卷积层layer2.0.conv1、BN层layer2.0.bn1、卷积层layer2.0.conv2、BN层 layer2.0.bn2、卷积层layer2.0.conv3、BN层layer2.0.bn3、下采样层 layer2.0.downsample、卷积层layer2.1.conv1、BN层layer2.1.bn1、卷积层 layer2.1.conv2、BN层layer2.1.bn2、卷积层layer2.1.conv3、BN层layer2.1.bn3、 卷积层layer2.2.conv1、BN层layer2.2.bn1、卷积层layer2.2.conv2、BN层 layer2.2.bn2、卷积层layer2.2.conv3、BN层layer2.2.bn3、卷积层layer2.3.conv1、BN层layer2.3.bn1、卷积层layer2.3.conv2、BN层layer2.3.bn2、 卷积层layer2.3.conv3、BN层layer2.3.bn3、卷积层layer3.0.conv1、BN层 layer3.0.bn1、卷积层layer3.0.conv2、BN层layer3.0.bn2、卷积层 layer3.0.conv3、BN层layer3.0.bn3、下采样层layer3.0.downsample、卷积层 layer3.1.conv1、BN层layer3.1.bn1、卷积层layer3.1.conv2、BN层layer3.1.bn2、 卷积层layer3.1.conv3、BN层layer3.1.bn3、卷积层layer3.2.conv1、BN层 layer3.2.bn1、卷积层layer3.2.conv2、BN层layer3.2.bn2、卷积层layer3.2.conv3、BN层layer3.2.bn3、卷积层layer3.3.conv1、BN层layer3.3.bn1、 卷积层layer3.3.conv2、BN层layer3.3.bn2、卷积层layer3.3.conv3、BN层 layer3.3.bn3、卷积层layer3.4.conv1、BN层layer3.4.bn1、卷积层 layer3.4.conv2、BN层layer3.4.bn2、卷积层layer3.4.conv3、BN层layer3.4.bn3、 卷积层layer3.5.conv1、BN层layer3.5.bn1、卷积层layer3.5.conv2、BN层 layer3.5.bn2、卷积层layer3.5.conv3、BN层layer3.5.bn3、卷积层layer4.0.conv1、BN层layer4.0.bn1、卷积层layer4.0.conv2、BN层layer4.0.bn2、 卷积层layer4.0.conv3、BN层layer4.0.bn3、下采样层layer4.0.downsample、 卷积层layer4.1.conv1、BN层layer4.1.bn1、卷积层layer4.1.conv2、BN层 layer4.1.bn2、卷积层layer4.1.conv3、BN层layer4.1.bn3、卷积层 layer4.2.conv1、BN层layer4.2.bn1、卷积层layer4.2.conv2、BN层layer4.2.bn2、 卷积层layer4.2.conv3、BN层layer4.2.bn3、平均池化层avg_pool。
本实施例中，前述步骤S3的具体实施过程如下：
S31、将每张训练集行人图像作为一个顶点，利用步骤S2中获得的行 人特征计算顶点与顶点的连边，计算公式采用高斯核函数，表述式如下：
Figure BDA0002789085610000101
其中，Sij代表两个顶点之间的连边，e为自然常数，||·||2为欧式距离的 平方，vi和vj为两张行人图像的行人相关特征，σ为超参数，本发明实例中， σ为1。高斯核函数主要来增强相似度度量时的非线性区别能力。
S32、异构筛选步骤S31获得每个顶点的所有连边，保留边两端摄像 头设备ID信息一致且相似度排名相对每个顶点最靠前的ks条连边，同时 保留边两端摄像头设备ID信息不一致且相似度排名相对每个顶点最靠前 的kd条连边。本发明实施例将此筛选边的过程，称为异构筛选。而对于这 个图的每个顶点而言，都保留了一些重要的连边，包括同摄像头的，还有 跨摄像头的，因此本发明实施例把最终构建的图称为摄像头相关的异构图。
本实施例中，前述步骤S4的具体实施过程如下：
S41、将步骤S3中所获得摄像头相关的异构图，进行边的异构归一化， 获取异构相似度，异构归一化公式如下：
Figure BDA0002789085610000102
其中，Prij代表从顶点Ii随机游走到顶点Ij的概率，
Figure BDA0002789085610000103
代表顶点Ii的 邻居，Ik⊙Ij代表顶点Ik和顶点Ij属于同一个摄像头ID，Sik为任一个与顶点 Ii同一个摄像头ID的邻居相似度，/>
Figure BDA0002789085610000104
代表与顶点Ii同一个摄 像头ID的所有邻居相似度总和；这里的异构归一化公式表示，顶点Ii的邻 居先根据摄像头ID分成不同的组，然后顶点Ii随机游走到顶点Ij的概率等 于先随机游走到一个摄像头ID组，再进一步随机游走到组里面的一个顶 点Ij。通过这样的异构归一化，能提高跨摄像头之间随机游走概率，同时降 低复杂摄像头网络带来的负面影响。
S42、将步骤S41异构归一化完毕的边，执行异构相似度的传播：
M(1)＝ωM(0)M(0)+(1-ω)M(0)
M(2)＝ωM(1)M(0)+(1-ω)M(0)
…
M(t)＝ωM(t-1)M(0)+(1-ω)M(0)
其中，ω为用于权衡每次传播中相似度更新和原始相似度之间的权重 关系的权重系数，M(0)为原始邻接矩阵，M(1)为经过一次传播的邻接矩阵， M(2)为经过两次传播的邻接矩阵，M(t)为经过t次传播的邻接矩阵，当t→ ∞，可得最终的邻接矩阵：
M(∞)＝(1-ω)(I-ωM(0))-1M(0)
其中，I为单位矩阵；
S43、通过高斯核函数对步骤S42所得的最终邻接矩阵进行计算，得 到顶点与顶点之间在空间上的相似性，公式如下：
Figure BDA0002789085610000111
其中，
Figure BDA0002789085610000112
为顶点Ii与顶点Ij之间的空间相似度，/>
Figure BDA0002789085610000113
和/>
Figure BDA0002789085610000114
表示M(∞)的第i行和第j行。每一行都代表着每个顶点在空间上与其他顶点的关系。同 样在这里，本实施例也用了高斯核函数增强相似度度量时的非线性区别能 力。
本实施例中，前述步骤S5的具体实施过程如下：
S51、将步骤S4所获得的顶点与顶点之间的空间相似度拼成一个空间 相似度矩阵并进行归一化，得到归一化空间相似度矩阵：
Figure BDA0002789085610000121
其中，
Figure BDA0002789085610000122
表示与顶点Ii最相似的ka条连边的集合，λ为摄像头设备ID， Vλ表示顶点Ii的摄像头设备ID，Ik为/>
Figure BDA0002789085610000123
集合中任一个顶点且与顶点Ii具 有同一个摄像头设备ID，Ij为/>
Figure BDA0002789085610000124
集合中任一个顶点，i和j代表空间相似 度矩阵的下标，/>
Figure BDA0002789085610000125
表示顶点Ii与顶点Ik之间的空间相似度；
S52、将步骤S51获得的归一化空间相似度矩阵送入卷积神经网络模 型，作为伪标签进行异构相似度学习：
Figure BDA0002789085610000126
Figure BDA0002789085610000127
其中，|V|表示顶点的个数，C表示摄像头的个数，
Figure BDA0002789085610000128
为卷积神经 网络模型对顶点Ij的行人图片抽取的特征，/>
Figure BDA0002789085610000129
为卷积神经网络模型对 顶点Ii的行人图片抽取的特征，/>
Figure BDA00027890856100001210
表示卷积神经网络模 型认为顶点Ii的行人图片和顶点Ij的行人图片为同一个人的概率，τ为用于 调节分类的概率分布的温度系数。
本实施例利用上面的损失函数进行模型的优化并大大提升了效果，从 而有效克服了主流无监督学习方法无法充分考虑无标签样本之间的复杂 拓扑结构的缺陷。
本实施例中，前述步骤S6的具体实施过程如下：
将测试集图片输入步骤S5进行异构学习完毕的卷积神经网络模型， 提取卷积升级网络模型的最后一卷卷积层的特征，计算特征之间的欧氏距 离构建相似度矩阵，根据距离大小进行排序得到检索候选列结果。本发明 实施例的实验可视化效果与其他方法对比可见图2。图2(a)是卷积神经 网络模型未训练时行人图像的分布情况，图2(b)是其他无监督方法训练 完行人图像的分布情况，图2(c)是本发明方法训练完行人图像的分布情 况。由图2可知，本发明的方法能有效聚拢相同行人在空间上分布的距离， 拉远不同行人在空间上分布距离。
实施例二
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存 储有计算机可执行指令，该计算机可执行指令可执行上述实施例一中的基 于异构图的无监督行人重识别方法。其中，所述存储介质可为磁碟、光盘、 只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive， 缩写:HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括 上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方 式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可 以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予 以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保 护范围之中。

Claims (4)

1.一种基于异构图的无监督行人重识别方法，其特征在于，所述的无监督行人重识别方法包括以下步骤：
S1、获取行人图像与行人图像相关的摄像头设备ID信息，将行人图像划分为训练集行人图像和测试集行人图像；
S2、对步骤S1中获得的训练集行人图像，利用卷积神经网络模型进行行人特征的抽取；
S3、将每张训练集行人图像作为一个顶点，利用步骤S2中获得的行人特征计算顶点与顶点的连边，之后对顶点与顶点之间的全部边进行异构筛选，构建一个与摄像头相关的异构图；
S4、将步骤S3中所得的异构图进行异构相似度的传播，传播完成后，得出顶点与顶点之间的空间相似性；过程如下：
S41、将步骤S3中所获得摄像头相关的异构图，进行边的异构归一化，获取异构相似度，异构归一化公式如下：
Figure FDA0004181131090000011
其中，Prij代表从顶点Ii随机游走到顶点Ij的概率，
Figure FDA0004181131090000012
代表顶点Ii的邻居，Ik⊙Ij代表顶点Ik和顶点Ij属于同一个摄像头ID，Sik为任一个与顶点Ii同一个摄像头ID的邻居相似度，
Figure FDA0004181131090000013
代表与顶点Ii同一个摄像头ID的所有邻居相似度总和；
S42、将步骤S41异构归一化完毕的边，执行异构相似度的传播：
M(1)＝ωM(0)M(0)+(1-ω)M(0)
M(2)＝ωM(1)M(0)+(1-ω)M(0)
…
M(t)＝ωM(t-1)M(0)+(1-ω)M(0)
其中，ω为用于权衡每次传播中相似度更新和原始相似度之间的权重关系的权重系数，M(0)为原始邻接矩阵，M(1)为经过一次传播的邻接矩阵，M(2)为经过两次传播的邻接矩阵，M(t)为经过t次传播的邻接矩阵，当t→∞，可得最终的邻接矩阵：
M(∞)＝(1-ω)(I-ωM(0))-1M(0)
其中，I为单位矩阵；
S43、通过高斯核函数对步骤S42所得的最终邻接矩阵进行计算，得到顶点与顶点之间在空间上的相似性，公式如下：
Figure FDA0004181131090000021
其中，
Figure FDA0004181131090000022
为顶点Ii与顶点Ij之间的空间相似度，/>
Figure FDA0004181131090000023
和/>
Figure FDA0004181131090000024
表示M(∞)的第i行和第j行；
S5、将步骤S4中所得的空间相似性送入卷积神经网络模型，进行异构相似度学习；过程如下：
S51、将步骤S4所获得的顶点与顶点之间的空间相似度拼成一个空间相似度矩阵并进行归一化，得到归一化空间相似度矩阵：
Figure FDA0004181131090000025
其中，
Figure FDA0004181131090000026
表示与顶点Ii最相似的ka条连边的集合，λ为摄像头设备ID，Vλ表示顶点Ii的摄像头设备ID，Ik为/>
Figure FDA0004181131090000027
集合中任一个顶点且与顶点Ii具有同一个摄像头设备ID，Ij为
Figure FDA0004181131090000028
集合中任一个顶点，i和j代表空间相似度矩阵的下标，/>
Figure FDA0004181131090000031
表示顶点Ii与顶点Ik之间的空间相似度；
S52、将步骤S51获得的归一化空间相似度矩阵送入卷积神经网络模型，作为伪标签进行异构相似度学习：
Figure FDA0004181131090000032
Figure FDA0004181131090000033
其中，|V|表示顶点的个数，C表示摄像头的个数，
Figure FDA0004181131090000034
为卷积神经网络模型对顶点Ij的行人图片抽取的特征，/>
Figure FDA0004181131090000035
为卷积神经网络模型对顶点Ii的行人图片抽取的特征，
Figure FDA0004181131090000036
表示卷积神经网络模型认为顶点Ii的行人图片和顶点Ij的行人图片为同一个人的概率，τ为用于调节分类的概率分布的温度系数；
S6、将测试集行人图像输入步骤S5中学习完毕的卷积神经网络模型，通过提取卷积神经网络模型中最后一卷积层的特征，计算特征之间的欧氏距离构建相似度矩阵，根据距离大小进行排序得到检索候选列结果。
2.根据权利要求1所述的一种基于异构图的无监督行人重识别方法，其特征在于，所述的步骤S1过程如下：
S11、从一指定路段跨摄像头设备采集的监控视频获取行人图像，首先将摄像头设备采集的监控视频划分为一帧一帧的视频帧，再通过SSD行人检测算法或者Faster RCNN行人检测算法对视频帧进行行人检测；
S12、将S11中获取到的行人图像按照指定比例划分为将行人图像划分为训练集行人图像和测试集行人图像。
3.根据权利要求1所述的一种基于异构图的无监督行人重识别方法，其特征在于，所述的步骤S2中利用ResNet-50卷积神经网络模型抽取行人的相关特征，其中，ResNet-50卷积神经网络模型的网络结构从输入层至输出层依次连接为：
卷积层conv1、BN层bn1、最大池化层max_pool、卷积层layer1.0.conv1、BN层layer1.0.bn1、卷积层layer1.0.conv2、BN层layer1.0.bn2、卷积层layer1.0.conv3、BN层layer1.0.bn3、下采样层layer1.0.downsample、卷积层layer1.1.conv1、BN层layer1.1.bn1、卷积层layer1.1.conv2、BN层layer1.1.bn2、卷积层layer1.1.conv3、BN层layer1.1.bn3、卷积层layer1.2.conv1、BN层layer1.2.bn1、卷积层layer1.2.conv2、BN层layer1.2.bn2、卷积层layer1.2.conv3、BN层layer1.2.bn3、卷积层layer2.0.conv1、BN层layer2.0.bn1、卷积层layer2.0.conv2、BN层layer2.0.bn2、卷积层layer2.0.conv3、BN层layer2.0.bn3、下采样层layer2.0.downsample、卷积层layer2.1.conv1、BN层layer2.1.bn1、卷积层layer2.1.conv2、BN层layer2.1.bn2、卷积层layer2.1.conv3、BN层layer2.1.bn3、卷积层layer2.2.conv1、BN层layer2.2.bn1、卷积层layer2.2.conv2、BN层layer2.2.bn2、卷积层layer2.2.conv3、BN层layer2.2.bn3、卷积层layer2.3.conv1、BN层layer2.3.bn1、卷积层layer2.3.conv2、BN层layer2.3.bn2、卷积层layer2.3.conv3、BN层layer2.3.bn3、卷积层layer3.0.conv1、BN层layer3.0.bn1、卷积层layer3.0.conv2、BN层layer3.0.bn2、卷积层layer3.0.conv3、BN层layer3.0.bn3、下采样层layer3.0.downsample、卷积层layer3.1.conv1、BN层layer3.1.bn1、卷积层layer3.1.conv2、BN层layer3.1.bn2、卷积层layer3.1.conv3、BN层layer3.1.bn3、卷积层layer3.2.conv1、BN层layer3.2.bn1、卷积层layer3.2.conv2、BN层layer3.2.bn2、卷积层layer3.2.conv3、BN层layer3.2.bn3、卷积层layer3.3.conv1、BN层layer3.3.bn1、卷积层layer3.3.conv2、BN层layer3.3.bn2、卷积层layer3.3.conv3、BN层layer3.3.bn3、卷积层layer3.4.conv1、BN层layer3.4.bn1、卷积层layer3.4.conv2、BN层layer3.4.bn2、卷积层layer3.4.conv3、BN层layer3.4.bn3、卷积层layer3.5.conv1、BN层layer3.5.bn1、卷积层layer3.5.conv2、BN层layer3.5.bn2、卷积层layer3.5.conv3、BN层layer3.5.bn3、卷积层layer4.0.conv1、BN层layer4.0.bn1、卷积层layer4.0.conv2、BN层layer4.0.bn2、卷积层layer4.0.conv3、BN层layer4.0.bn3、下采样层layer4.0.downsample、卷积层layer4.1.conv1、BN层layer4.1.bn1、卷积层layer4.1.conv2、BN层layer4.1.bn2、卷积层layer4.1.conv3、BN层layer4.1.bn3、卷积层layer4.2.conv1、BN层layer4.2.bn1、卷积层layer4.2.conv2、BN层layer4.2.bn2、卷积层layer4.2.conv3、BN层layer4.2.bn3、平均池化层avg_pool。
4.根据权利要求1所述的一种基于异构图的无监督行人重识别方法，其特征在于，所述的步骤S3过程如下：
S31、将每张训练集行人图像作为一个顶点，利用步骤S2中获得的行人特征计算顶点与顶点的连边，计算公式采用高斯核函数，表述式如下：
Figure FDA0004181131090000051
其中，Sij代表两个顶点之间的连边，e为自然常数，||·||2为欧式距离的平方，vi和vj为两张行人图像的行人相关特征，σ为超参数；
S32、异构筛选步骤S31获得每个顶点的所有连边，保留边两端摄像头设备ID信息一致且相似度排名相对每个顶点最靠前的ks条连边，同时保留边两端摄像头设备ID信息不一致且相似度排名相对每个顶点最靠前的kd条连边。
CN202011316377.XA 2020-11-20 2020-11-20 一种基于异构图的无监督行人重识别方法 Active CN112528756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011316377.XA CN112528756B (zh) 2020-11-20 2020-11-20 一种基于异构图的无监督行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011316377.XA CN112528756B (zh) 2020-11-20 2020-11-20 一种基于异构图的无监督行人重识别方法

Publications (2)

Publication Number Publication Date
CN112528756A CN112528756A (zh) 2021-03-19
CN112528756B true CN112528756B (zh) 2023-06-23

Family

ID=74982213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011316377.XA Active CN112528756B (zh) 2020-11-20 2020-11-20 一种基于异构图的无监督行人重识别方法

Country Status (1)

Country Link
CN (1) CN112528756B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709449A (zh) * 2016-12-22 2017-05-24 深圳市深网视界科技有限公司 一种基于深度学习和强化学习的行人重识别方法及系统
CN107070932A (zh) * 2017-04-24 2017-08-18 广西师范大学 社会网络动态发布中防止标签邻居攻击的匿名方法
CN109508663A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于多层次监督网络的行人重识别方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN111783526A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种利用姿势不变和图结构对齐的跨域行人重识别方法
CN111950372A (zh) * 2020-07-13 2020-11-17 南京航空航天大学 一种基于图卷积网络的无监督行人重识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709449A (zh) * 2016-12-22 2017-05-24 深圳市深网视界科技有限公司 一种基于深度学习和强化学习的行人重识别方法及系统
CN107070932A (zh) * 2017-04-24 2017-08-18 广西师范大学 社会网络动态发布中防止标签邻居攻击的匿名方法
CN109508663A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于多层次监督网络的行人重识别方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN111783526A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种利用姿势不变和图结构对齐的跨域行人重识别方法
CN111950372A (zh) * 2020-07-13 2020-11-17 南京航空航天大学 一种基于图卷积网络的无监督行人重识别方法

Also Published As

Publication number Publication date
CN112528756A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
Ali et al. Structural crack detection using deep convolutional neural networks
CN112396027B (zh) 基于图卷积神经网络的车辆重识别方法
Chen et al. Learning context flexible attention model for long-term visual place recognition
Liu et al. Deep depthwise separable convolutional network for change detection in optical aerial images
Zhu et al. Msnet: A multilevel instance segmentation network for natural disaster damage assessment in aerial videos
CN110096994B (zh) 一种基于模糊标签语义先验的小样本PolSAR图像分类方法
Lin et al. Active and incremental learning for semantic ALS point cloud segmentation
CN108596243B (zh) 基于分级注视图和条件随机场的眼动注视图预测方法
CN111369572A (zh) 一种基于图像修复技术的弱监督语义分割方法和装置
CN109034035A (zh) 基于显著性检测和特征融合的行人重识别方法
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
Ma et al. A multi-defect detection system for sewer pipelines based on StyleGAN-SDM and fusion CNN
CN112529005B (zh) 基于语义特征一致性监督金字塔网络的目标检测方法
Chen et al. Hyperspectral remote sensing image classification based on dense residual three-dimensional convolutional neural network
Gupta et al. Image-based crack detection approaches: a comprehensive survey
Vaiyapuri et al. Automatic Vehicle License Plate Recognition Using Optimal Deep Learning Model.
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
Huang et al. Change detection with absolute difference of multiscale deep features
Reghukumar et al. Vision based segmentation and classification of cracks using deep neural networks
Yang et al. Robust visual tracking using adaptive local appearance model for smart transportation
Katrojwar et al. Design of Image based Analysis and Classification using Unmanned Aerial Vehicle
CN112528756B (zh) 一种基于异构图的无监督行人重识别方法
Rafi et al. Attention-based domain adaptation for hyperspectral image classification
Xiong et al. Disentangled latent transformer for interpretable monocular height estimation
CN116883650A (zh) 一种基于注意力和局部拼接的图像级弱监督语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant