CN112528756A - 一种基于异构图的无监督行人重识别方法 - Google Patents

一种基于异构图的无监督行人重识别方法 Download PDF

Info

Publication number
CN112528756A
CN112528756A CN202011316377.XA CN202011316377A CN112528756A CN 112528756 A CN112528756 A CN 112528756A CN 202011316377 A CN202011316377 A CN 202011316377A CN 112528756 A CN112528756 A CN 112528756A
Authority
CN
China
Prior art keywords
layer
vertex
pedestrian
bor
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011316377.XA
Other languages
English (en)
Other versions
CN112528756B (zh
Inventor
吕建明
林少川
梁天保
胡超杰
莫晚成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011316377.XA priority Critical patent/CN112528756B/zh
Publication of CN112528756A publication Critical patent/CN112528756A/zh
Application granted granted Critical
Publication of CN112528756B publication Critical patent/CN112528756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于异构图的无监督行人重识别方法，包括以下步骤：获取行人图像并划分行人图像为训练集行人图像和测试集行人图像；对训练集行人图像构建一个摄像头相关的异构图；执行基于异构图的异构相似度传播，进而高效地从异构图中挖掘出顶点与顶点之间的空间相似性；利用异构相似度学习对卷积神经网络模型进行优化；利用优化完毕的卷积神经网络模型在测试集行人图像进行重识别。本发明方法在无监督的基础上，充分考虑了行人图像的异构性，从而有效克服了传统无监督学习方法无法充分考虑无标签行人图像之间的复杂拓扑结构的缺陷。

Description

一种基于异构图的无监督行人重识别方法
技术领域
本发明属于智能安防领域，涉及监控视频行人重识别分析，具体涉及 一种基于异构图的无监督行人重识别方法。
背景技术
行人重识别，主要研究在多个摄像头中准确检索出包含某个行人的图 像帧。由于存在着光照不一致，角度不一致，遮挡和人脸模糊等原因，行 人重识别研究课题吸引了大量研究者进行研究。在这些研究中，有监督训 练的算法虽然能在公开的数据集上表现出不错的效果，但是，当将这些算 法应用在一个全新的没有标签的摄像头网络下，效果往往很差，无法直接 部署使用，所以怎么高效地利用海量的无标签行人图像进行模型的优化训练是一个具有挑战性的问题。
而现如今主流的无监督行人重识别方法主要是基于伪标签和相似度 的方法，但是这些方法都没有考虑无标签数据在空间上的复杂拓扑结构， 而这些复杂拓扑结构才能真正反映样本的分布，能提供足量的信息来辅助 模型优化训练的。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于异构 图的无监督行人重识别方法。
本发明的目的可以通过采取如下技术方案达到：
一种基于异构图的无监督行人重识别方法，所述的无监督行人重识别 方法包括以下步骤：
S1、获取行人图像与行人图像相关的摄像头设备ID信息，将行人图 像划分为训练集行人图像和测试集行人图像；
S2、对步骤S1中获得的训练集行人图像，利用卷积神经网络模型进 行行人特征的抽取；
S3、将每张训练集行人图像作为一个顶点，利用步骤S2中获得的行 人特征计算顶点与顶点的连边，之后对顶点与顶点之间的全部边进行异构 筛选，构建一个与摄像头相关的异构图；
S4、将步骤S3中所得的异构图进行异构相似度的传播，传播完成后， 得出顶点与顶点之间的空间相似性；
S5、将步骤S4中所得的空间相似性送入卷积神经网络模型，进行异 构相似度学习；
S6、将测试集行人图像输入步骤S5中学习完毕的卷积神经网络模型， 通过提取卷积神经网络模型中最后一卷积层的特征，计算特征之间的欧氏 距离构建相似度矩阵，根据距离大小进行排序得到检索候选列结果。
进一步地，所述的步骤S1过程如下：
S11、从一指定路段跨摄像头设备采集的监控视频获取行人图像，首先 将摄像头设备采集的监控视频划分为一帧一帧的视频帧，再通过SSD行人 检测算法或者FasterRCNN行人检测算法对视频帧进行行人检测；
S12、将S11中获取到的行人图像按照指定比例划分为将行人图像划 分为训练集行人图像和测试集行人图像。
进一步地，所述的步骤S2中利用ResNet-50卷积神经网络模型抽取行 人的相关特征，其中，ResNet-50卷积神经网络模型的网络结构从输入层至 输出层依次连接为：
卷积层conv1、BN层bn1、最大池化层max_pool、卷积层layer1.0.conv1、 BN层layer1.0.bn1、卷积层layer1.0.conv2、BN层layer1.0.bn2、卷积层 layer1.0.conv3、BN层layer1.0.bn3、下采样层layer1.0.downsample、卷积层 layer1.1.conv1、BN层layer1.1.bn1、卷积层layer1.1.conv2、BN层layer1.1.bn2、 卷积层layer1.1.conv3、BN层layer1.1.bn3、卷积层layer1.2.conv1、BN层 layer1.2.bn1、卷积层layer1.2.conv2、BN层layer1.2.bn2、卷积层 layer1.2.conv3、BN层layer1.2.bn3、卷积层layer2.0.conv1、BN层layer2.0.bn1、 卷积层layer2.0.conv2、BN层layer2.0.bn2、卷积层layer2.0.conv3、BN层layer2.0.bn3、下采样层layer2.0.downsample、卷积层layer2.1.conv1、BN层layer2.1.bn1、卷积层layer2.1.conv2、BN层layer2.1.bn2、卷积层 layer2.1.conv3、BN层layer2.1.bn3、卷积层layer2.2.conv1、BN层layer2.2.bn1、 卷积层layer2.2.conv2、BN层layer2.2.bn2、卷积层layer2.2.conv3、BN层 layer2.2.bn3、卷积层layer2.3.conv1、BN层layer2.3.bn1、卷积层 layer2.3.conv2、BN层layer2.3.bn2、卷积层layer2.3.conv3、BN层layer2.3.bn3、 卷积层layer3.0.conv1、BN层layer3.0.bn1、卷积层layer3.0.conv2、BN层layer3.0.bn2、卷积层layer3.0.conv3、BN层layer3.0.bn3、下采样层layer3.0.downsample、卷积层layer3.1.conv1、BN层layer3.1.bn1、卷积层layer3.1.conv2、BN层layer3.1.bn2、卷积层layer3.1.conv3、BN层layer3.1.bn3、 卷积层layer3.2.conv1、BN层layer3.2.bn1、卷积层layer3.2.conv2、BN层 layer3.2.bn2、卷积层layer3.2.conv3、BN层layer3.2.bn3、卷积层 layer3.3.conv1、BN层layer3.3.bn1、卷积层layer3.3.conv2、BN层layer3.3.bn2、 卷积层layer3.3.conv3、BN层layer3.3.bn3、卷积层layer3.4.conv1、BN层 layer3.4.bn1、卷积层layer3.4.conv2、BN层layer3.4.bn2、卷积层layer3.4.conv3、BN层layer3.4.bn3、卷积层layer3.5.conv1、BN层layer3.5.bn1、 卷积层layer3.5.conv2、BN层layer3.5.bn2、卷积层layer3.5.conv3、BN层layer3.5.bn3、卷积层layer4.0.conv1、BN层layer4.0.bn1、卷积层 layer4.0.conv2、BN层layer4.0.bn2、卷积层layer4.0.conv3、BN层layer4.0.bn3、 下采样层layer4.0.downsample、卷积层layer4.1.conv1、BN层layer4.1.bn1、 卷积层layer4.1.conv2、BN层layer4.1.bn2、卷积层layer4.1.conv3、BN层 layer4.1.bn3、卷积层layer4.2.conv1、BN层layer4.2.bn1、卷积层layer4.2.conv2、BN层layer4.2.bn2、卷积层layer4.2.conv3、BN层layer4.2.bn3、 平均池化层avg_pool。
进一步地，所述的步骤S3过程如下：
S31、将每张训练集行人图像作为一个顶点，利用步骤S2中获得的行 人特征计算顶点与顶点的连边，计算公式采用高斯核函数，表述式如下：
Figure BDA0002789085610000041
其中，Sij代表两个顶点之间的连边，e为自然常数，||·||2为欧式距离的 平方，vi和vj为两张行人图像的行人相关特征，σ为超参数；
S32、异构筛选步骤S31获得每个顶点的所有连边，保留边两端摄像头 设备ID信息一致且相似度排名相对每个顶点最靠前的ks条连边，同时保 留边两端摄像头设备ID信息不一致且相似度排名相对每个顶点最靠前的 kd条连边。
进一步地，所述的步骤S4过程如下：
S41、将步骤S3中所获得摄像头相关的异构图，进行边的异构归一化， 获取异构相似度，异构归一化公式如下：
Figure BDA0002789085610000042
其中，Prij代表从顶点Ii随机游走到顶点Ij的概率，
Figure BDA0002789085610000043
代表顶点Ii的 邻居，Ik⊙Ij代表顶点Ik和顶点Ij属于同一个摄像头ID，Sik为任一个与顶点 Ii同一个摄像头ID的邻居相似度，
Figure BDA0002789085610000044
代表与顶点Ii同一个摄 像头ID的所有邻居相似度总和；
S42、将步骤S41异构归一化完毕的边，执行异构相似度的传播：
M(1)＝ωM(0)M(0)+(1-ω)M(0)
M(2)＝ωM(1)M(0)+(1-ω)M(0)
…
M(t)＝ωM(t-1)M(0)+(1-ω)M(0)
其中，ω为用于权衡每次传播中相似度更新和原始相似度之间的权重 关系的权重系数，M(0)为原始邻接矩阵，M(1)为经过一次传播的邻接矩阵， M(2)为经过两次传播的邻接矩阵，M(t)为经过t次传播的邻接矩阵，当t→ ∞，可得最终的邻接矩阵：
M(∞)＝(1-ω)(I-ωM(0))-1M(0)
其中，I为单位矩阵；
S43、通过高斯核函数对步骤S42所得的最终邻接矩阵进行计算，得 到顶点与顶点之间在空间上的相似性，公式如下：
Figure BDA0002789085610000051
其中，
Figure BDA0002789085610000052
为顶点Ii与顶点Ij之间的空间相似度，
Figure BDA0002789085610000053
和
Figure BDA0002789085610000054
表示M(∞)的第i行和第j行。
进一步地，所述的步骤S5过程如下：
S51、将步骤S4所获得的顶点与顶点之间的空间相似度拼成一个空间 相似度矩阵并进行归一化，得到归一化空间相似度矩阵：
Figure BDA0002789085610000055
其中，
Figure BDA0002789085610000061
表示与顶点Ii最相似的ka条连边的集合，λ为摄像头设备ID， Vλ表示顶点Ii的摄像头设备ID，Ik为
Figure BDA0002789085610000062
集合中任一个顶点且与顶点Ii具 有同一个摄像头设备ID，Ij为
Figure BDA0002789085610000063
集合中任一个顶点，i和j代表空间相似 度矩阵的下标，
Figure BDA0002789085610000064
表示顶点Ii与顶点Ik之间的空间相似度；
S52、将步骤S51获得的归一化空间相似度矩阵送入卷积神经网络模型， 作为伪标签进行异构相似度学习：
Figure BDA0002789085610000065
Figure BDA0002789085610000066
其中，|V|表示顶点的个数，C表示摄像头的个数，
Figure BDA0002789085610000067
为卷积神经 网络模型对顶点Ij的行人图片抽取的特征，
Figure BDA0002789085610000068
为卷积神经网络模型对 顶点Ii的行人图片抽取的特征，
Figure BDA0002789085610000069
表示卷积神经网络模 型认为顶点Ii的行人图片和顶点Ij的行人图片为同一个人的概率，τ为用于 调节分类的概率分布的温度系数。
本发明相对于现有技术具有如下的优点及效果：
1)、本发明对行人图像构建了摄像头相关的异构图，充分考虑了行人 图像之间存在的异构性；
2)、本发明针对构建的异构图，得出图中顶点与顶点之间的空间相似 度，深入挖掘了行人图像之间的潜在空间关系；
3)、本发明利用异构相似度学习对卷积神经网络模型进行优化，从而 使得卷积神经网络模型充分学习到行人图像之间的异构性；
4)、本发明通过构建异构图，再挖掘顶点与顶点之间的空间相似度， 进一步针对卷积神经网络模型进行异构相似度学习，从而有效克服了传统 无监督学习方法无法充分考虑无标签行人图像之间的复杂拓扑结构的缺 陷。
附图说明
图1是本发明实施例公开的一种基于异构图的无监督行人重识别方法 的流程图；
图2是本发明方法与其他方法的可视化结果比较示意图；图2(a)是 卷积神经网络模型未训练时行人图像的分布情况示意图，图2(b)是其他 无监督方法训练完行人图像的分布情况示意图，图2(c)是本发明方法训 练完行人图像的分布情况示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本 发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例公开了一种基于异构图的无监督行人重识别方法，该方法包 括以下步骤：
S1、获取行人图像与行人图像相关的摄像头设备ID信息，划分行人 图像为训练集行人图像和测试集行人图像；
S2、对步骤S1中获得的训练集行人图像，利用卷积神经网络模型进 行行人特征的抽取；
S3、将每张训练集行人图像作为一个顶点，顶点与顶点的连边利用步 骤S2中获得的行人特征进行计算，之后对顶点与顶点之间的全部边进行 异构筛选，构建一个摄像头相关的异构图；
S4、将步骤S3中所得的异构图进行异构相似度的传播，传播完成后， 得出顶点与顶点之间的空间相似性；
S5、将步骤S4中所得的空间相似性送入卷积神经网络模型，进行异 构相似度学习；
S6、将测试集行人图像输入步骤S5中学习完毕的卷积神经网络模型， 通过提取卷积神经网络模型中最后一卷积层的特征，计算特征之间的欧氏 距离构建相似度矩阵，根据距离大小进行排序得到检索候选列结果。
本实施例中，前述步骤S1的具体实施过程如下：
S11、首先从某一路段跨摄像头设备采集的监控视频获取行人图像，同 时记录下获取到各个行人图像的摄像头设备信息。
示例性地，从监控视频中获取行人图像的方法可为，首先将摄像头设 备采集的监控视频划分为一帧一帧的视频帧，再通过行人检测算法对视频 帧进行行人检测。该行人检测算法可以采用SSD算法或者Faster RCNN算 法，可以实现在一帧视频帧中将行人图像获取出来的目的。本实施例对行 人检测算法不作限定，本领域技术人员可以根据实际情况选择。
S12、将S11中获取到的行人图像划分为训练集和测试集。
示例性地，划分方法可为随机划分，比如可以将30％的行人图像作为 测试集行人图像，剩下的行人图像作为训练集行人图像。本发明实施例对 训练集和测试集的获取方式不做限定，可以根据需要确定。
本实施例中，前述步骤S2的具体实施过程如下：
利用卷积神经网络模型将步骤S1获得的训练集行人图像进行行人特 征抽取。
示例性地，本实施例采用的卷积神经网络模型为ResNet-50模型，其 网络结构具体如下：
从输入层至输出层依次连接为：卷积层conv1、BN层bn1、最大池化 层max_pool、卷积层layer1.0.conv1、BN层layer1.0.bn1、卷积层 layer1.0.conv2、BN层layer1.0.bn2、卷积层layer1.0.conv3、BN层layer1.0.bn3、 下采样层layer1.0.downsample、卷积层layer1.1.conv1、BN层layer1.1.bn1、 卷积层layer1.1.conv2、BN层layer1.1.bn2、卷积层layer1.1.conv3、BN层 layer1.1.bn3、卷积层layer1.2.conv1、BN层layer1.2.bn1、卷积层layer1.2.conv2、BN层layer1.2.bn2、卷积层layer1.2.conv3、BN层layer1.2.bn3、 卷积层layer2.0.conv1、BN层layer2.0.bn1、卷积层layer2.0.conv2、BN层 layer2.0.bn2、卷积层layer2.0.conv3、BN层layer2.0.bn3、下采样层 layer2.0.downsample、卷积层layer2.1.conv1、BN层layer2.1.bn1、卷积层 layer2.1.conv2、BN层layer2.1.bn2、卷积层layer2.1.conv3、BN层layer2.1.bn3、 卷积层layer2.2.conv1、BN层layer2.2.bn1、卷积层layer2.2.conv2、BN层 layer2.2.bn2、卷积层layer2.2.conv3、BN层layer2.2.bn3、卷积层layer2.3.conv1、BN层layer2.3.bn1、卷积层layer2.3.conv2、BN层layer2.3.bn2、 卷积层layer2.3.conv3、BN层layer2.3.bn3、卷积层layer3.0.conv1、BN层 layer3.0.bn1、卷积层layer3.0.conv2、BN层layer3.0.bn2、卷积层 layer3.0.conv3、BN层layer3.0.bn3、下采样层layer3.0.downsample、卷积层 layer3.1.conv1、BN层layer3.1.bn1、卷积层layer3.1.conv2、BN层layer3.1.bn2、 卷积层layer3.1.conv3、BN层layer3.1.bn3、卷积层layer3.2.conv1、BN层 layer3.2.bn1、卷积层layer3.2.conv2、BN层layer3.2.bn2、卷积层layer3.2.conv3、BN层layer3.2.bn3、卷积层layer3.3.conv1、BN层layer3.3.bn1、 卷积层layer3.3.conv2、BN层layer3.3.bn2、卷积层layer3.3.conv3、BN层 layer3.3.bn3、卷积层layer3.4.conv1、BN层layer3.4.bn1、卷积层 layer3.4.conv2、BN层layer3.4.bn2、卷积层layer3.4.conv3、BN层layer3.4.bn3、 卷积层layer3.5.conv1、BN层layer3.5.bn1、卷积层layer3.5.conv2、BN层 layer3.5.bn2、卷积层layer3.5.conv3、BN层layer3.5.bn3、卷积层layer4.0.conv1、BN层layer4.0.bn1、卷积层layer4.0.conv2、BN层layer4.0.bn2、 卷积层layer4.0.conv3、BN层layer4.0.bn3、下采样层layer4.0.downsample、 卷积层layer4.1.conv1、BN层layer4.1.bn1、卷积层layer4.1.conv2、BN层 layer4.1.bn2、卷积层layer4.1.conv3、BN层layer4.1.bn3、卷积层 layer4.2.conv1、BN层layer4.2.bn1、卷积层layer4.2.conv2、BN层layer4.2.bn2、 卷积层layer4.2.conv3、BN层layer4.2.bn3、平均池化层avg_pool。
本实施例中，前述步骤S3的具体实施过程如下：
S31、将每张训练集行人图像作为一个顶点，利用步骤S2中获得的行 人特征计算顶点与顶点的连边，计算公式采用高斯核函数，表述式如下：
Figure BDA0002789085610000101
其中，Sij代表两个顶点之间的连边，e为自然常数，||·||2为欧式距离的 平方，vi和vj为两张行人图像的行人相关特征，σ为超参数，本发明实例中， σ为1。高斯核函数主要来增强相似度度量时的非线性区别能力。
S32、异构筛选步骤S31获得每个顶点的所有连边，保留边两端摄像 头设备ID信息一致且相似度排名相对每个顶点最靠前的ks条连边，同时 保留边两端摄像头设备ID信息不一致且相似度排名相对每个顶点最靠前 的kd条连边。本发明实施例将此筛选边的过程，称为异构筛选。而对于这 个图的每个顶点而言，都保留了一些重要的连边，包括同摄像头的，还有 跨摄像头的，因此本发明实施例把最终构建的图称为摄像头相关的异构图。
本实施例中，前述步骤S4的具体实施过程如下：
S41、将步骤S3中所获得摄像头相关的异构图，进行边的异构归一化， 获取异构相似度，异构归一化公式如下：
Figure BDA0002789085610000102
其中，Prij代表从顶点Ii随机游走到顶点Ij的概率，
Figure BDA0002789085610000103
代表顶点Ii的 邻居，Ik⊙Ij代表顶点Ik和顶点Ij属于同一个摄像头ID，Sik为任一个与顶点 Ii同一个摄像头ID的邻居相似度，
Figure BDA0002789085610000104
代表与顶点Ii同一个摄 像头ID的所有邻居相似度总和；这里的异构归一化公式表示，顶点Ii的邻 居先根据摄像头ID分成不同的组，然后顶点Ii随机游走到顶点Ij的概率等 于先随机游走到一个摄像头ID组，再进一步随机游走到组里面的一个顶 点Ij。通过这样的异构归一化，能提高跨摄像头之间随机游走概率，同时降 低复杂摄像头网络带来的负面影响。
S42、将步骤S41异构归一化完毕的边，执行异构相似度的传播：
M(1)＝ωM(0)M(0)+(1-ω)M(0)
M(2)＝ωM(1)M(0)+(1-ω)M(0)
…
M(t)＝ωM(t-1)M(0)+(1-ω)M(0)
其中，ω为用于权衡每次传播中相似度更新和原始相似度之间的权重 关系的权重系数，M(0)为原始邻接矩阵，M(1)为经过一次传播的邻接矩阵， M(2)为经过两次传播的邻接矩阵，M(t)为经过t次传播的邻接矩阵，当t→ ∞，可得最终的邻接矩阵：
M(∞)＝(1-ω)(I-ωM(0))-1M(0)
其中，I为单位矩阵；
S43、通过高斯核函数对步骤S42所得的最终邻接矩阵进行计算，得 到顶点与顶点之间在空间上的相似性，公式如下：
Figure BDA0002789085610000111
其中，
Figure BDA0002789085610000112
为顶点Ii与顶点Ij之间的空间相似度，
Figure BDA0002789085610000113
和
Figure BDA0002789085610000114
表示M(∞)的第i行和第j行。每一行都代表着每个顶点在空间上与其他顶点的关系。同 样在这里，本实施例也用了高斯核函数增强相似度度量时的非线性区别能 力。
本实施例中，前述步骤S5的具体实施过程如下：
S51、将步骤S4所获得的顶点与顶点之间的空间相似度拼成一个空间 相似度矩阵并进行归一化，得到归一化空间相似度矩阵：
Figure BDA0002789085610000121
其中，
Figure BDA0002789085610000122
表示与顶点Ii最相似的ka条连边的集合，λ为摄像头设备ID， Vλ表示顶点Ii的摄像头设备ID，Ik为
Figure BDA0002789085610000123
集合中任一个顶点且与顶点Ii具 有同一个摄像头设备ID，Ij为
Figure BDA0002789085610000124
集合中任一个顶点，i和j代表空间相似 度矩阵的下标，
Figure BDA0002789085610000125
表示顶点Ii与顶点Ik之间的空间相似度；
S52、将步骤S51获得的归一化空间相似度矩阵送入卷积神经网络模 型，作为伪标签进行异构相似度学习：
Figure BDA0002789085610000126
Figure BDA0002789085610000127
其中，|V|表示顶点的个数，C表示摄像头的个数，
Figure BDA0002789085610000128
为卷积神经 网络模型对顶点Ij的行人图片抽取的特征，
Figure BDA0002789085610000129
为卷积神经网络模型对 顶点Ii的行人图片抽取的特征，
Figure BDA00027890856100001210
表示卷积神经网络模 型认为顶点Ii的行人图片和顶点Ij的行人图片为同一个人的概率，τ为用于 调节分类的概率分布的温度系数。
本实施例利用上面的损失函数进行模型的优化并大大提升了效果，从 而有效克服了主流无监督学习方法无法充分考虑无标签样本之间的复杂 拓扑结构的缺陷。
本实施例中，前述步骤S6的具体实施过程如下：
将测试集图片输入步骤S5进行异构学习完毕的卷积神经网络模型， 提取卷积升级网络模型的最后一卷卷积层的特征，计算特征之间的欧氏距 离构建相似度矩阵，根据距离大小进行排序得到检索候选列结果。本发明 实施例的实验可视化效果与其他方法对比可见图2。图2(a)是卷积神经 网络模型未训练时行人图像的分布情况，图2(b)是其他无监督方法训练 完行人图像的分布情况，图2(c)是本发明方法训练完行人图像的分布情 况。由图2可知，本发明的方法能有效聚拢相同行人在空间上分布的距离， 拉远不同行人在空间上分布距离。
实施例二
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存 储有计算机可执行指令，该计算机可执行指令可执行上述实施例一中的基 于异构图的无监督行人重识别方法。其中，所述存储介质可为磁碟、光盘、 只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive， 缩写:HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括 上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方 式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可 以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予 以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保 护范围之中。

Claims (6)

1.一种基于异构图的无监督行人重识别方法，其特征在于，所述的无监督行人重识别方法包括以下步骤：
S1、获取行人图像与行人图像相关的摄像头设备ID信息，将行人图像划分为训练集行人图像和测试集行人图像；
S2、对步骤S1中获得的训练集行人图像，利用卷积神经网络模型进行行人特征的抽取；
S3、将每张训练集行人图像作为一个顶点，利用步骤S2中获得的行人特征计算顶点与顶点的连边，之后对顶点与顶点之间的全部边进行异构筛选，构建一个与摄像头相关的异构图；
S4、将步骤S3中所得的异构图进行异构相似度的传播，传播完成后，得出顶点与顶点之间的空间相似性；
S5、将步骤S4中所得的空间相似性送入卷积神经网络模型，进行异构相似度学习；
S6、将测试集行人图像输入步骤S5中学习完毕的卷积神经网络模型，通过提取卷积神经网络模型中最后一卷积层的特征，计算特征之间的欧氏距离构建相似度矩阵，根据距离大小进行排序得到检索候选列结果。
2.根据权利要求1所述的一种基于异构图的无监督行人重识别方法，其特征在于，所述的步骤S1过程如下：
S11、从一指定路段跨摄像头设备采集的监控视频获取行人图像，首先将摄像头设备采集的监控视频划分为一帧一帧的视频帧，再通过SSD行人检测算法或者Faster RCNN行人检测算法对视频帧进行行人检测；
S12、将S11中获取到的行人图像按照指定比例划分为将行人图像划分为训练集行人图像和测试集行人图像。
3.根据权利要求1所述的一种基于异构图的无监督行人重识别方法，其特征在于，所述的步骤S2中利用ResNet-50卷积神经网络模型抽取行人的相关特征，其中，ResNet-50卷积神经网络模型的网络结构从输入层至输出层依次连接为：
卷积层conv1、BN层bn1、最大池化层max_pool、卷积层layer1.0.conv1、BN层layer1.0.bn1、卷积层layer1.0.conv2、BN层layer1.0.bn2、卷积层layer1.0.conv3、BN层layer1.0.bn3、下采样层layer1.0.downsample、卷积层layer1.1.conv1、BN层layer1.1.bn1、卷积层layer1.1.conv2、BN层layer1.1.bn2、卷积层layer1.1.conv3、BN层layer1.1.bn3、卷积层layer1.2.conv1、BN层layer1.2.bn1、卷积层layer1.2.conv2、BN层layer1.2.bn2、卷积层layer1.2.conv3、BN层layer1.2.bn3、卷积层layer2.0.conv1、BN层layer2.0.bn1、卷积层layer2.0.conv2、BN层layer2.0.bn2、卷积层layer2.0.conv3、BN层layer2.0.bn3、下采样层layer2.0.downsample、卷积层layer2.1.conv1、BN层layer2.1.bn1、卷积层layer2.1.conv2、BN层layer2.1.bn2、卷积层layer2.1.conv3、BN层layer2.1.bn3、卷积层layer2.2.conv1、BN层layer2.2.bn1、卷积层layer2.2.conv2、BN层layer2.2.bn2、卷积层layer2.2.conv3、BN层layer2.2.bn3、卷积层layer2.3.conv1、BN层layer2.3.bn1、卷积层layer2.3.conv2、BN层layer2.3.bn2、卷积层layer2.3.conv3、BN层layer2.3.bn3、卷积层layer3.0.conv1、BN层layer3.0.bn1、卷积层layer3.0.conv2、BN层layer3.0.bn2、卷积层layer3.0.conv3、BN层layer3.0.bn3、下采样层layer3.0.downsample、卷积层layer3.1.conv1、BN层layer3.1.bn1、卷积层layer3.1.conv2、BN层layer3.1.bn2、卷积层layer3.1.conv3、BN层layer3.1.bn3、卷积层layer3.2.conv1、BN层layer3.2.bn1、卷积层layer3.2.conv2、BN层layer3.2.bn2、卷积层layer3.2.conv3、BN层layer3.2.bn3、卷积层layer3.3.conv1、BN层layer3.3.bn1、卷积层layer3.3.conv2、BN层layer3.3.bn2、卷积层layer3.3.conv3、BN层layer3.3.bn3、卷积层layer3.4.conv1、BN层layer3.4.bn1、卷积层layer3.4.conv2、BN层layer3.4.bn2、卷积层layer3.4.conv3、BN层layer3.4.bn3、卷积层layer3.5.conv1、BN层layer3.5.bn1、卷积层layer3.5.conv2、BN层layer3.5.bn2、卷积层layer3.5.conv3、BN层layer3.5.bn3、卷积层layer4.0.conv1、BN层layer4.0.bn1、卷积层layer4.0.conv2、BN层layer4.0.bn2、卷积层layer4.0.conv3、BN层layer4.0.bn3、下采样层layer4.0.downsample、卷积层layer4.1.conv1、BN层layer4.1.bn1、卷积层layer4.1.conv2、BN层layer4.1.bn2、卷积层layer4.1.conv3、BN层layer4.1.bn3、卷积层layer4.2.conv1、BN层layer4.2.bn1、卷积层layer4.2.conv2、BN层layer4.2.bn2、卷积层layer4.2.conv3、BN层layer4.2.bn3、平均池化层avg_pool。
4.根据权利要求1所述的一种基于异构图的无监督行人重识别方法，其特征在于，所述的步骤S3过程如下：
S31、将每张训练集行人图像作为一个顶点，利用步骤S2中获得的行人特征计算顶点与顶点的连边，计算公式采用高斯核函数，表述式如下：
Figure FDA0002789085600000031
其中，Sij代表两个顶点之间的连边，e为自然常数，||·||2为欧式距离的平方，vi和vj为两张行人图像的行人相关特征，σ为超参数；
S32、异构筛选步骤S31获得每个顶点的所有连边，保留边两端摄像头设备ID信息一致且相似度排名相对每个顶点最靠前的ks条连边，同时保留边两端摄像头设备ID信息不一致且相似度排名相对每个顶点最靠前的kd条连边。
5.根据权利要求4所述的一种基于异构图的无监督行人重识别方法，其特征在于，所述的步骤S4过程如下：
S41、将步骤S3中所获得摄像头相关的异构图，进行边的异构归一化，获取异构相似度，异构归一化公式如下：
Figure FDA0002789085600000041
其中，Prij代表从顶点Ii随机游走到顶点Ij的概率，
Figure FDA0002789085600000042
代表顶点Ii的邻居，Ik⊙Ij代表顶点Ik和顶点Ij属于同一个摄像头ID，Sik为任一个与顶点Ii同一个摄像头ID的邻居相似度，
Figure FDA0002789085600000043
代表与顶点Ii同一个摄像头ID的所有邻居相似度总和；
S42、将步骤S41异构归一化完毕的边，执行异构相似度的传播：
Figure FDA0002789085600000044
其中，ω为用于权衡每次传播中相似度更新和原始相似度之间的权重关系的权重系数，M(0)为原始邻接矩阵，M(1)为经过一次传播的邻接矩阵，M(2)为经过两次传播的邻接矩阵，M(t)为经过t次传播的邻接矩阵，当t→∞，可得最终的邻接矩阵：
M(∞)＝(1-ω)(I-ωM(0))-1M(0)
其中，I为单位矩阵；
S43、通过高斯核函数对步骤S42所得的最终邻接矩阵进行计算，得到顶点与顶点之间在空间上的相似性，公式如下：
Figure FDA0002789085600000045
其中，
Figure FDA0002789085600000046
为顶点Ii与顶点Ij之间的空间相似度，
Figure FDA0002789085600000047
和
Figure FDA0002789085600000048
表示M(∞)的第i行和第j行。
6.根据权利要求5所述的一种基于异构图的无监督行人重识别方法，其特征在于，所述的步骤S5过程如下：
S51、将步骤S4所获得的顶点与顶点之间的空间相似度拼成一个空间相似度矩阵并进行归一化，得到归一化空间相似度矩阵：
Figure FDA0002789085600000051
其中，
Figure FDA0002789085600000052
表示与顶点Ii最相似的ka条连边的集合，λ为摄像头设备ID，Vλ表示顶点Ii的摄像头设备ID，Ik为
Figure FDA0002789085600000053
集合中任一个顶点且与顶点Ii具有同一个摄像头设备ID，Ij为
Figure FDA0002789085600000054
集合中任一个顶点，i和j代表空间相似度矩阵的下标，
Figure FDA0002789085600000055
表示顶点Ii与顶点Ik之间的空间相似度；
S52、将步骤S51获得的归一化空间相似度矩阵送入卷积神经网络模型，作为伪标签进行异构相似度学习：
Figure FDA0002789085600000056
Figure FDA0002789085600000057
其中，|V|表示顶点的个数，C表示摄像头的个数，
Figure FDA0002789085600000058
为卷积神经网络模型对顶点Ij的行人图片抽取的特征，
Figure FDA0002789085600000059
为卷积神经网络模型对顶点Ii的行人图片抽取的特征，
Figure FDA00027890856000000510
表示卷积神经网络模型认为顶点Ii的行人图片和顶点Ij的行人图片为同一个人的概率，τ为用于调节分类的概率分布的温度系数。
CN202011316377.XA 2020-11-20 2020-11-20 一种基于异构图的无监督行人重识别方法 Active CN112528756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011316377.XA CN112528756B (zh) 2020-11-20 2020-11-20 一种基于异构图的无监督行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011316377.XA CN112528756B (zh) 2020-11-20 2020-11-20 一种基于异构图的无监督行人重识别方法

Publications (2)

Publication Number Publication Date
CN112528756A true CN112528756A (zh) 2021-03-19
CN112528756B CN112528756B (zh) 2023-06-23

Family

ID=74982213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011316377.XA Active CN112528756B (zh) 2020-11-20 2020-11-20 一种基于异构图的无监督行人重识别方法

Country Status (1)

Country Link
CN (1) CN112528756B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709449A (zh) * 2016-12-22 2017-05-24 深圳市深网视界科技有限公司 一种基于深度学习和强化学习的行人重识别方法及系统
CN107070932A (zh) * 2017-04-24 2017-08-18 广西师范大学 社会网络动态发布中防止标签邻居攻击的匿名方法
CN109508663A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于多层次监督网络的行人重识别方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN111783526A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种利用姿势不变和图结构对齐的跨域行人重识别方法
CN111950372A (zh) * 2020-07-13 2020-11-17 南京航空航天大学 一种基于图卷积网络的无监督行人重识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709449A (zh) * 2016-12-22 2017-05-24 深圳市深网视界科技有限公司 一种基于深度学习和强化学习的行人重识别方法及系统
CN107070932A (zh) * 2017-04-24 2017-08-18 广西师范大学 社会网络动态发布中防止标签邻居攻击的匿名方法
CN109508663A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于多层次监督网络的行人重识别方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN111783526A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种利用姿势不变和图结构对齐的跨域行人重识别方法
CN111950372A (zh) * 2020-07-13 2020-11-17 南京航空航天大学 一种基于图卷积网络的无监督行人重识别方法

Also Published As

Publication number Publication date
CN112528756B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
Ali et al. Structural crack detection using deep convolutional neural networks
CN110096994B (zh) 一种基于模糊标签语义先验的小样本PolSAR图像分类方法
CN112396027A (zh) 基于图卷积神经网络的车辆重识别方法
Zhan et al. Iterative feature mapping network for detecting multiple changes in multi-source remote sensing images
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
Zhang et al. Moving vehicle detection in aerial infrared image sequences via fast image registration and improved YOLOv3 network
Hu et al. A novel co-training approach for urban land cover mapping with unclear Landsat time series imagery
Liu et al. Super-pixel cloud detection using hierarchical fusion CNN
Liu et al. A night pavement crack detection method based on image‐to‐image translation
Wang et al. The poor generalization of deep convolutional networks to aerial imagery from new geographic locations: an empirical study with solar array detection
Despotovic et al. Prediction and analysis of heating energy demand for detached houses by computer vision
Chen et al. Hyperspectral remote sensing image classification based on dense residual three-dimensional convolutional neural network
Kakooei et al. A two-level fusion for building irregularity detection in post-disaster VHR oblique images
CN113505670B (zh) 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法
Jiang et al. Focal-test-based spatial decision tree learning: A summary of results
CN114494973B (zh) 视频语义分割网络的训练方法、系统、设备及存储介质
Yin et al. Attention-guided siamese networks for change detection in high resolution remote sensing images
Ali et al. Destruction from sky: Weakly supervised approach for destruction detection in satellite imagery
CN111368691A (zh) 无监督高光谱遥感图像空谱特征提取方法
JP2022082493A (ja) ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
WO2024060416A1 (zh) 一种病理图像的端到端弱监督语义分割标注方法
Guo et al. Multitemporal hyperspectral images change detection based on joint unmixing and information coguidance strategy
CN105512622A (zh) 一种基于图分割和监督学习的可见光遥感图像海陆分割方法
Chaiyasarn et al. Concrete crack detection and 3D mapping by integrated convolutional neural networks architecture
Wang et al. MOL: Towards accurate weakly supervised remote sensing object detection via Multi-view nOisy Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant