CN112860936B - 一种基于稀疏图相似度迁移的视觉行人重识别方法 - Google Patents

一种基于稀疏图相似度迁移的视觉行人重识别方法 Download PDF

Info

Publication number
CN112860936B
CN112860936B CN202110192173.8A CN202110192173A CN112860936B CN 112860936 B CN112860936 B CN 112860936B CN 202110192173 A CN202110192173 A CN 202110192173A CN 112860936 B CN112860936 B CN 112860936B
Authority
CN
China
Prior art keywords
image
pedestrian
database
similarity
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110192173.8A
Other languages
English (en)
Other versions
CN112860936A (zh
Inventor
丁贵广
陈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110192173.8A priority Critical patent/CN112860936B/zh
Publication of CN112860936A publication Critical patent/CN112860936A/zh
Application granted granted Critical
Publication of CN112860936B publication Critical patent/CN112860936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于稀疏图相似度迁移的视觉行人重识别方法，该方法包括使用同一个训练好的深度卷积网络抽取行人图像数据库中的每张行人图像和查询图像的特征并通过特征向量表示，通过特征向量计算任意两张行人图像的相似度，并构建数据库图像密集关联图；对数据库图像密集关联图进行稀疏约束得到数据库图像稀疏图；使用能量最小随机游走模型，将计算查询图像和行人图像的相似度的值当成一种能量在数据库图像稀疏图随机迁移，稳定后的能量值为查询图像和行人图像的一致性得分，基于一致性得分对数据库图像稀疏图进行排序，并返回得分最高的行人图像。采用上述方案的本发明提高视觉行人重识别的检索精度和速度。

Description

一种基于稀疏图相似度迁移的视觉行人重识别方法
技术领域
本发明涉及计算机算法领域，可应用于行人重识别任务的重排序学习，尤其涉及一种 基于稀疏图相似度迁移的视觉行人重识别方法。
背景技术
行人重识别可以帮助人们快速查找特定人物，借助于当前数量日益增长的城市监控摄 像头，维护社会治安，促进社会公共安全乃至国家安全。由于在安防领域的重要作用和突 出价值，行人重识别成为计算机视觉研究社区的重要研究方向。研究者们一直在试图建立 一个强大的行人重识别模型，可以快递建立特定行人画像和监控摄像头下真实画面中的行 人画面的关联关系，进而实现智能识别和定位的目的，但是开放环境下拍摄到的行人画面 具有多种多样的特征，比如角度，环境光照，遮挡等等，给行人的精准识别带来了严峻的 挑战。
当前的研究主要集中在如何学习有效的行人特征。得益于深度学习和大数据的发展， 基于深度卷积神经网络的行人重识别模型在精确检索性能上取得了很大的提升，在一些日 常使用的标准评测数据集上取得了超过人类指标的成绩。一般的，这些方法都是希望卷积 神经网络学习到不同身份的行人的显著性特征。对于给定的查询图片和数据库里的图片， 模型首先使用多层的卷积层和下采样层将高维图像信息映射到低维的特征空间，比如1024 维。很多工作在卷积神经网络的结构设计上进行研究，比如设计了多粒度的特征提取头， 以及结合注意力机制的特征抽取方法。也有一些工作探索卷积神经网络的训练学习机制， 比如融合验证损失函数和度量学习的损失函数，使得训练更加平稳，收敛更加快速，得到 的模型泛化能力更强。
尽管基于行人特征学习的行人重识别方法可以取得不错的性能，但是由于实际场景中 错综复杂的应用条件，无法保证模型能够学习到通用的行人特征，导致检索到的行人和查 询可能不相符。为了提升行人重识别系统的准确率，研究者提出了重排序学习的方法，进 一步提高行人重识别的准确度。比如使用查询扩展的方法进一步调优查询图像的行人特征， 然后做二次查询；基于互为k近邻的重排序方法对查询图像和数据库图像集的近邻关系加 强约束，使得互为近邻的图像能够优先被检索到；为了捕捉特征流形空间的几何结构信息， 基于流形学习的方法利用标签传播的方法将有标注图像的信息转移到相同流形上的无标注 图像上，进而提升检索效果。
当前的重识别方法可以极大地提升行人重识别的检索准确率，但是也存在算法复杂度 高，计算效率低下的问题。比如基于查询扩展的方法需要进行两次特征度量学习和一次特 征融合，互为k近邻的方法需要遍历所有图像以确定互为近邻的图像，流形学习的方法得 对大量有标签数据建立密集关联图进行标签传播学习，尽管可以采用线下学习的方式，但 是巨大的关联图限制了其计算效率。因此，探索高效精准的重排序方法以提高视觉行人重 识别的检索精度仍需要进一步的研究。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于稀疏图相似度迁移的视觉行人重识别方 法，该方法可以线下学习特征流形上图像之间的相似关联关系，并能在线上快速重计算查 询图像和流行空间中数据点的一致性得分，实现线上快速重排序，并提高重排序后的检索 准确性。这种重排序方法可以被广泛应用于视觉行人重识别任务中，包括有监督行人重识 别，无监督行人重识别，跨模态行人重识别等。
本发明的第二个目的在于提出一种计算机设备。
本发明的第三个目的在于提出一种非临时性计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出一种基于稀疏图相似度迁移的视觉行人 重识别方法，该方法包括以下步骤：
步骤S10，使用同一个训练好的深度卷积网络分别针对行人图像数据库中的每张行人 图像和查询图像的特征进行抽取，抽取的特征通过特征向量表示；
步骤S20，通过特征向量计算所述行人图像数据库中任意两张行人图像的相似度，将 所述每张行人图像看作一个节点，任意两张行人图像之间有一条边连接，所述相似度表示 节点之间的边的权重，得到一个数据库图像密集关联图；
步骤S30，对得到的所述数据库图像密集关联图进行稀疏约束，得到数据库图像稀疏 图；
步骤S40，通过特征向量计算所述查询图像和所述行人图像的相似度；以及
步骤S50，将所述查询图像和所述行人图像的相似度的度量当成是数据库图像稀疏图 中对应节点的软标签，使用随机游走模型，稳定后，得到的能量值是查询图像和行人图像 数据库中的每张行人图像的一致性得分，根据所述一致性得分对数据库图像稀疏图进行排 序，并返回得分最高行人图像。
另外，根据本发明上述实施例的多波长阵列式快速高空间分辨率拉曼成像方法还可以 通过下述方式实现：
进一步地，在本发明第一方面实施例中，在步骤S10中，所述行人图像的特征在线下 抽取，查询图像的特征在线上抽取。
进一步地，在本发明第一方面实施例中，在步骤S30中，所述数据库图像密集关联图 通过以下方式进行稀疏约束：
当知道行人图像数据库的所述每张行人图像的身份时，使用身份信息来限制所述节点 之间的连接；
当无法获取所述行人图像数据库的所述每张行人图像的身份时，使用聚类的方式将所 述节点分为多个聚类；
使用阀值预断，对与每个所述节点，选择跟它相似度大于设定阈值的节点建立边，否 则，不建立边。
进一步地，在本发明第一方面实施例中，所述当知道行人图像数据库的所述每张行人 图像的身份时，使用身份信息来限制所述节点之间的连接，则数据库图像稀疏图的边权为：
Figure BDA0002944905350000031
其中，Ii和Ij为行人图像数据库中任意两张行人图像，S(Ii,Ij)为任意两张行人图像的 相似度，Wij为图像Ii和Ij的边权，i和j为图像的索引，yi和yj为图像Ii和Ij的身份信息。
进一步地，在本发明第一方面实施例中，所述当无法获取所述行人图像数据库的所述 每张行人图像的身份时，使用聚类的方式将所述节点分为多个聚类，聚类的序号当做是图 像的伪标签，则数据库图像稀疏图的边权为：
Figure BDA0002944905350000032
其中，Ii和Ij为行人图像数据库中任意两张行人图像，S(Ii,Ij)为任意两张行人图像的 相似度，Wij为图像Ii和Ij的边权，i和j表示图像的索引，yi'是图像Ii的伪标签。yj'是Ij的伪标签。
进一步地，在本发明第一方面实施例中，所述使用阀值截断，对与每个所述节点，选 择跟它相似度大于设定阈值的节点建立边，否则，不建立边，则数据库图像稀疏图的边权 为：
Figure BDA0002944905350000033
其中，Ii和Ij为行人图像数据库中任意两张行人图像，S(Ii,Ij)为任意两张行人图像的 相似度，Wij为图像Ii和Ij的边权，i和j表示图像的索引τ为截断阈值。
进一步地，在本发明第一方面实施例中，所述通过特征向量计算所述查询图像和所述 行人图像的相似度的公示为：
Figure BDA0002944905350000041
其中，q为查询图像，Ii为行人图像数据库中任意一张行人图像，S(q,Ii)为查询图像和 行人图像的相似度，fq为查询图像的特征向量，fi db为第Ii张行人图像的特征向量。
进一步地，在本发明第一方面实施例中，所述将所述查询图像和所述行人图像的相似 度的度量当成是数据库图像稀疏图中对应节点的软标签，使用能量最小随机游走模型，其 能量函数为：
Figure BDA0002944905350000042
其中xi和xj为数据库图像稀疏图中每个节点学习到的最终的一致性得分，ci为每个节 点的原始能量值，这里也就是查询图像与行人图像数据库中任意一张行人图像i的相似度 的值，ɑ为一个平衡因子，权衡两项的作用大小。
为达上述目的，本发明第二方面实施例提出了一种计算机设备，包括存储器、处理器 及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算 机程序时，实现上述的方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显 和容易理解，其中：
图1是本发明实施例一所提供的一种基于稀疏图相似度迁移的视觉行人重识别方法的 流程示意图；
图2是本申请实施例中视觉行人重识别任务查询准确性比较的示意图；
图3是本申请实施例在Market1501上推理时间比较的示意图；
图4是本申请实施例采用三种不同稀疏约束策略在Market1501上的查询准确性比较；
图5是本申请实施例采用三种不同稀疏约束方式在SYSU上的查询准确性比较。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的多波长阵列式快速高空间分辨率拉曼成像方法和装 置。首先将参照附图描述根据本发明实施例提出的多波长阵列式快速高空间分辨率拉曼 成像方法。
图1为本发明实施例一所提供的一种基于稀疏图相似度迁移的视觉行人重识别方法的 流程示意图。
如图1所示，该基于稀疏图相似度迁移的视觉行人重识别方法包括以下步骤：
步骤S10，使用同一个训练好的深度卷积网络分别针对行人图像数据库中的每张行人 图像和查询图像的特征进行抽取，抽取的特征通过特征向量表示，其中，行人图像的特征 在线下抽取，查询图像的特征在线上抽取。
具体而言，给定一个行人图像数据库，对于行人图像数据库里的每张行人图像，本申 请实施例使用训练好的深度卷积网络进行特征抽取，当需要进行查询时，对于给定的查询 图像，使用同一个深度卷积网络抽取查询图像的特征。比如，针对行人图像数据库里的每 张行人图像D＝{I1，I2，...，IN}和查询图像q进行特征抽取，使用训练好的卷积神经网络(Convolution Neural Network，CNN)，对于行人图像数据库中的图像Ii，可以得到一个 d维的向量fi db，同样，给定的查询图像q可以得到一个d维的向量fq，例如，。
步骤S20，通过特征向量计算行人图像数据库中任意两张行人图像的相似度，将每张 行人图像看作一个节点，任意两张行人图像之间有一条边连接，相似度表示节点之间的边 的权重，得到一个数据库图像密集关联图。
具体而言，在完成步骤S10之后，针对在线下抽取好的行人图像的特征，首先使用特 征向量计算任意两张行人图像的相似度。对于
Figure BDA0002944905350000051
N为正整数，两张行人图像Ii和 Ij的相似度S(Ii，Ij)，可以通过cosine相似度计算：
Figure BDA0002944905350000052
接着，本申请实施例可以开始构建图像密集关联图(V,E,Gd)，其中，每张行人图像Ii为节点vi∈V，任意两张行人图像Ii和Ij有边eij∈E连接，用其相似度定义边权Wij＝S(Ii，Ij)。
步骤S30，对得到的数据库图像密集关联图进行稀疏约束，得到数据库图像稀疏图(V,E,Gs)。
进一步地，本申请实施例中，关于数据库图像密集关联图的稀疏约束，采用以下方式 进行稀疏约束：
当知道行人图像数据库的每张行人图像的身份时，使用身份信息来限制节点之间的连 接。具体而言，如果行人图像数据库的行人图像是有标记的，也就是说，已知每个行人图 像的身份，那么，本申请实施例就可以直接使用身份信息进行约束，进而达到稀疏化的目 的。
此时，用D＝{(I1,y1),(I2,y2),...,(IN,yN)}表示行人图像数据库，则数据库图像稀疏 图Gs的边权是：
Figure BDA0002944905350000061
当无法获取行人图像数据库的每张行人图像的身份时，使用聚类的方式将节点分为多 个聚类。具体而言，如果行人图像数据库的行人图像是没有标记的，也就是说，每个行人 的图像身份是未知的，那么，本申请实施例可以先通过无监督的聚类方法对行人图像数据 库进行聚类，然后再用聚类的序号当做是图像的伪标签，进而达到稀疏化的目的。其中，聚类的方式为k均值聚类算法，即K-means聚类算法，就可以将节点分为多个的聚类，节 点之间边的连接定义为：如果两个节点属于同一个聚类，则他们之间存在边，节点相似度 就是边的权重；如果两个节点属于不同的聚类，那么他们之间没有边连接。
此时，用D’＝{(I1,y1’),(I2,y2’),...,(IN,yN’)}表示行人图像数据库，则数据库图像 稀疏图Gs的边权是：
Figure BDA0002944905350000062
除此之外，本申请实施例还可以采用使用阀值预断，对与每个节点，选择跟它相似度 大于设定阈值的节点建立边，否则，不建立边。具体而言，设定阈值时间变量τ，保留边权大于阈值的边，将小于阈值的边置为0，则数据库图像稀疏图Gs的边权可表示为：
Figure BDA0002944905350000063
最后，本申请实施例对数据库图像稀疏图Gs的边权Wij进行规范化：
Figure BDA0002944905350000064
其中，Wij为数据库图像稀疏图中图像Ii和Ij的边权，i和j表示图像的索引，k为循环 迭代索引，遍历整个数据库图像。
步骤S40，通过特征向量计算查询图像和行人图像的相似度。
具体而言，对于查询图像，可以根据它的特征向量和行人图像数据库中的行人图像的 特征向量进行相似度计算，将得到的相似度值看成是由步骤S30得到的数据库图像稀疏图 中的对应节点的软标签ci,i∈[1,...,N]，N是数据库图像稀疏图中节点的个数。
例如，查询时，给定查询图像q，计算查询图像q和行人图像数据库的所有图像的相似度，Ii表示行人图像数据库中的任意图像，行人图像q和Ii的相似度S(q，Ii)可以通过cosine相似度计算：
Figure BDA0002944905350000071
本申请实施例将由步骤S30得到的数据库图像密集关联图Gs的节点vi，将行人图像q 和Ii的相似度S(q，Ii)作为它的初始一致性得分ci，即软标签，ci作为衡量该节点和查询图像q属于同一个人的度量，其中，。进一步，本申请实施例将一致性得分低的节点直接 设置为0。
步骤S50，将查询图像和行人图像的相似度的度量当成是数据库图像稀疏图中对应节 点的软标签，使用随机游走模型，稳定后，得到的能量值是查询图像和行人图像数据库中 的每张行人图像的一致性得分，根据一致性得分对数据库图像稀疏图进行排序，并返回得 分最高行人图像。
进一步地，对于同一个查询图像，如果行人图像数据库里的两张行人图像是高度相似 的，那么他们和查询图像的相似度也应该是差不多的。具体而言，为了使得相同流形上的 点的软标签(即与查询图像之间的相似度)大小一致，其中，流形是指高维特征空间中具 有拓扑结构的区域形成的子空间，简单来说，数据点占据的那一块空间可以叫做一个流形， 不同的数据点占据不同的地方，就形成了不同的流形，本申请实施例使用能量最小随机游 走模型，将软标签的值当成是一种能量在数据库图像稀疏图中进行随机迁移，稳定后，可 以得到最终能量值，这个能量值就是查询图像和行人图像数据库的图像的一致性得分。在 进行相似度随机迁移时，一个很直观的想法是，对于同一个查询图像，如果数据库里的两 张图像是高度相似的，那么他们和查询图像的相似度也应该是差不多的，分数越大说明两 者越相似，越可能属于同一个行人。
本申请实施例基于上述能量值，即查询图像和行人图像数据库的图像的一致性得分， 对数据库图像稀疏图进行重排序，并返回得分最高行人图像，即最相似的那些图像。
其中，关于数据库图像稀疏图(V,E,Gs)，行人图像数据库里的节点vi∈V，任意两张相 似行人图像有边eij∈E连接，用其相似度定义边权Wij＝S(Ii,Ij)，每个节点vi与查询图像q 的相似度为初始一致性得分ci，使用能量最小的随机游走模型：
Figure BDA0002944905350000072
其中，xi和xj是数据库图像稀疏图中每个节点学习到的最终的一致性得分，ci是对应 的软标签。易知，上式的第一项对同一流形上节点的得分施加一致性约束，第二项希望能 够保持原有的和查询图像之间的相似度得分。
对上述使用能量最小的随机游走模型的式子进行求导，可以得到迭代式求解的随机游 走模型：
Figure BDA0002944905350000081
其中，xi和xj是数据库图像稀疏图中每个节点学习到的最终的一致性得分，t为当前迭 代次数，α为一个平衡因子，权衡两项的作用大小，Wij为图像Ii和Ij的边权，ci是对应的软标签。
再对迭代式求解的随机游走模型的式子写成矩阵向量表示，又易得出矩阵求解的随机 游走模型：
X＝αPc
其中，c＝[c1,c2,...,cN]T，x＝[x1,x2,...,xN]T，P＝[I-(1-α)W]-1，
由此可以看出，本申请实施例中P和查询图像无关，只和行人图像数据库中的图像有 关，也即是本申请实施例中行人图像的特征在线下抽取的原因。
本申请实施例二提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可 在处理器上运行的计算机程序，处理器执行计算机程序时，实现本申请实施例一的方法。
采用上述方案的本申请实施例具有以下优点：
本申请实施例适用于视觉行人重识别领域，包括有监督行人重识别，无监督行人重识 别，跨模态行人重识别等；
本申请实施例所提供的方法针对行人图像数据库里的行人图像的集合建立了稀疏约束 的关联图，并且可以线下处理，不占用线上推理时间；
本申请实施例针对查询图像和数据库图像集合的相似关联查询，提出了基于稀疏图的 相似度迁移方法，将相似度的度量当成是图节点的能量值，进而使用能量最小的随机游走 模型，实现了流形内的相似度迁移。采用的图迁移方法不依赖于查询图像，只需要提前感 知稀疏图的结构信息就可以得到迁移矩阵。在查询时，只需要在原来的相似度矩阵上乘上 迁移矩阵即可完成重排序，可实现在线快速精准排序。
本申请实施例可提升行人重识别检索性能，在四个视觉行人重识别标任务上验证了本 方法的有效性。在有监督行人重识别任务中，Market1501数据集上，本方法中基于身份标 记稀疏约束的相似度迁移方法可达到99.29％的Recall 1和98.74％mAP，其余两种约束方 法也可提升2％～3％的mAP；在跨模态行人重识别任务中，SYSU数据集上，本方法最大可 提升11.63％的mAP；在无监督领域自适应行人重识别任务上，本方法可以最大提升5.78％ 的mAP，见图2所示。
相比于其他重排序方法，本申请实施例所提供的方法，其计算复杂度低，得益于高性 能矩阵运算，线上推理速度显著提升，只需要1.03s的线上计算时间就能完成Market1501 的整体排序过程，得出排序结果，见图3-5所示。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具 体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材 料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意 性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特 点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下， 本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特 征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个 或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分， 并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的 实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实 现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令 执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行 系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设 备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布 线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只 读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便 携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序 的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、 解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算 机存储器中。

Claims (9)

1.一种基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，该方法包括以下步骤：
步骤S10，使用同一个训练好的深度卷积网络分别针对行人图像数据库中的每张行人图像和查询图像的特征进行抽取，抽取的特征通过特征向量表示；
步骤S20，通过特征向量计算所述行人图像数据库中任意两张行人图像的相似度，将所述每张行人图像看作一个节点，任意两张行人图像之间有一条边连接，所述相似度表示节点之间的边的权重，得到一个数据库图像密集关联图；
步骤S30，对得到的所述数据库图像密集关联图进行稀疏约束，得到数据库图像稀疏图；
步骤S40，通过特征向量计算所述查询图像和所述行人图像的相似度；以及
步骤S50，将所述查询图像和所述行人图像的相似度的度量当成是数据库图像稀疏图中对应节点的软标签，使用最小随机游走模型，稳定后，得到的能量值是查询图像和行人图像数据库中的每张行人图像的一致性得分，根据所述一致性得分对数据库图像稀疏图进行排序，并返回得分最高行人图像；
在步骤S30中，所述数据库图像密集关联图通过以下方式进行稀疏约束：
当知道行人图像数据库的所述每张行人图像的身份时，使用身份信息来限制所述节点之间的连接；
当无法获取所述行人图像数据库的所述每张行人图像的身份时，使用聚类的方式将所述节点分为多个聚类，如果两个节点属于同一个聚类，则所述两个节点之间存在边，否则，所述两个节点之间不存在边，
使用阀值预断，对与每个所述节点，选择跟它相似度大于设定阈值的节点建立边，否则，不建立边。
2.根据权利要求1所述的基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，在步骤S10中，所述行人图像的特征在线下抽取，查询图像的特征在线上抽取。
3.根据权利要求1所述的基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，所述当知道行人图像数据库的所述每张行人图像的身份时，使用身份信息来限制所述节点之间的连接，则数据库图像稀疏图的边权为：
Figure FDA0003794164210000011
，
其中，Ii和Ij为行人图像数据库中任意两张行人图像，S(Ii,Ij)为任意两张行人图像的相似度，Wij为图像Ii和Ij的边权，i和j为图像的索引，yi和yj为图像Ii和Ij的身份信息。
4.根据权利要求1所述的基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，所述当无法获取所述行人图像数据库的所述每张行人图像的身份时，使用聚类的方式将所述节点分为多个聚类，聚类的序号当做是图像的伪标签，则数据库图像稀疏图的边权为：
Figure FDA0003794164210000021
。，
其中，Ii和Ij为行人图像数据库中任意两张行人图像，S(Ii,Ij)为任意两张行人图像的相似度，Wij为图像Ii和Ij的边权，i和j表示图像的索引，yi'是图像Ii的伪标签， yj'是Ij的伪标签。
5.根据权利要求1所述的基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，所述使用阀值截断，对与每个所述节点，选择跟它相似度大于设定阈值的节点建立边，否则，不建立边，则数据库图像稀疏图的边权为：
Figure FDA0003794164210000022
，
其中，Ii和Ij为行人图像数据库中任意两张行人图像，S(Ii,Ij)为任意两张行人图像的相似度，Wij为图像Ii和Ij的边权，i和j表示图像的索引τ为截断阈值。
6.根据权利要求1所述的基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，所述通过特征向量计算所述行人图像数据库中任意两张行人图像的相似度包括：使用特征向量计算任意两张行人图像的相似度，所述使用特征向量计算任意两张行人图像的相似度的公式为：
Figure FDA0003794164210000023
其中，i和j为图像的序号，Ii和Ij为行人图像数据库中任意两张行人图像，S(Ii,Ij)为任意两张行人图像的相似度，fi db为第Ii张行人图像的特征向量，fj db为第Ij张行人图像的特征向量。
7.根据权利要求1所述的基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，所述通过特征向量计算所述查询图像和所述行人图像的相似度的公示为：
Figure FDA0003794164210000024
其中，q为查询图像，Ii为行人图像数据库中任意一张行人图像，S(q,Ii)为查询图像和行人图像的相似度，fq为查询图像的特征向量，fi db为第Ii张行人图像的特征向量。
8.根据权利要求1所述的基于稀疏图相似度迁移的视觉行人重识别方法，其特征在于，所述将所述查询图像和所述行人图像的相似度的度量当成是数据库图像稀疏图中对应节点的软标签，使用能量最小随机游走模型，其能量函数为：
Figure FDA0003794164210000031
其中xi和xj为数据库图像稀疏图中每个节点学习到的最终的一致性得分，ci为每个节点的原始能量值，这里也就是查询图像与行人图像数据库中任意一张行人图像i的相似度的值，α为一个平衡因子，权衡两项的作用大小。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-8中任一所述的方法。
CN202110192173.8A 2021-02-19 2021-02-19 一种基于稀疏图相似度迁移的视觉行人重识别方法 Active CN112860936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110192173.8A CN112860936B (zh) 2021-02-19 2021-02-19 一种基于稀疏图相似度迁移的视觉行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110192173.8A CN112860936B (zh) 2021-02-19 2021-02-19 一种基于稀疏图相似度迁移的视觉行人重识别方法

Publications (2)

Publication Number Publication Date
CN112860936A CN112860936A (zh) 2021-05-28
CN112860936B true CN112860936B (zh) 2022-11-29

Family

ID=75988224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110192173.8A Active CN112860936B (zh) 2021-02-19 2021-02-19 一种基于稀疏图相似度迁移的视觉行人重识别方法

Country Status (1)

Country Link
CN (1) CN112860936B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920306B (zh) * 2021-09-30 2022-10-25 北京百度网讯科技有限公司 目标再识别方法、装置及电子设备
CN113837148B (zh) * 2021-11-04 2024-07-19 昆明理工大学 一种基于自调节稀疏图transformer的行人轨迹预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016142293A1 (en) * 2015-03-06 2016-09-15 Thomson Licensing Method and apparatus for image search using sparsifying analysis and synthesis operators
CN110399528A (zh) * 2019-08-05 2019-11-01 北京深醒科技有限公司 一种自动跨特征推理式目标检索方法
CN111814854A (zh) * 2020-06-28 2020-10-23 北京交通大学 一种无监督域适应的目标重识别方法
CN111967294A (zh) * 2020-06-23 2020-11-20 南昌大学 一种无监督域自适应的行人重识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016142293A1 (en) * 2015-03-06 2016-09-15 Thomson Licensing Method and apparatus for image search using sparsifying analysis and synthesis operators
CN110399528A (zh) * 2019-08-05 2019-11-01 北京深醒科技有限公司 一种自动跨特征推理式目标检索方法
CN111967294A (zh) * 2020-06-23 2020-11-20 南昌大学 一种无监督域自适应的行人重识别方法
CN111814854A (zh) * 2020-06-28 2020-10-23 北京交通大学 一种无监督域适应的目标重识别方法

Also Published As

Publication number Publication date
CN112860936A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
Yang et al. Uncertainty-guided transformer reasoning for camouflaged object detection
Zhang et al. Detection of co-salient objects by looking deep and wide
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
Li et al. Multi-scale neighborhood feature extraction and aggregation for point cloud segmentation
Kejriwal et al. High performance loop closure detection using bag of word pairs
Gao et al. 3-D object retrieval and recognition with hypergraph analysis
Zhang et al. Actively learning human gaze shifting paths for semantics-aware photo cropping
CN109165540B (zh) 一种基于先验候选框选择策略的行人搜索方法和装置
CN111178208A (zh) 基于深度学习的行人检测方法、装置及介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
Yang et al. Re-ranking by multi-feature fusion with diffusion for image retrieval
CN111339343A (zh) 图像检索方法、装置、存储介质及设备
CN112860936B (zh) 一种基于稀疏图相似度迁移的视觉行人重识别方法
Nie et al. Convolutional deep learning for 3D object retrieval
CN109165698A (zh) 一种面向智慧交通的图像分类识别方法及其存储介质
JP6107531B2 (ja) 特徴抽出プログラム及び情報処理装置
CN106355210B (zh) 基于深度神经元响应模式的绝缘子红外图像特征表达方法
CN111126249A (zh) 一种大数据和贝叶斯相结合的行人重识别方法及装置
CN114694185A (zh) 一种跨模态目标重识别方法、装置、设备及介质
Zhou et al. A learning framework for shape retrieval based on multilayer perceptrons
Liu et al. 3D model retrieval based on multi-view attentional convolutional neural network
Li et al. Facial age estimation by deep residual decision making
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
Reale et al. Facial action unit analysis through 3d point cloud neural networks
Everett et al. Protocaps: A fast and non-iterative capsule network routing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210528

Assignee: CSIC PRIDE(Nanjing)Intelligent Equipment System Co.,Ltd

Assignor: TSINGHUA University

Contract record no.: X2023320000119

Denomination of invention: A Visual Pedestrian Recognition Method Based on Sparse Graph Similarity Transfer

Granted publication date: 20221129

License type: Common License

Record date: 20230323

EE01 Entry into force of recordation of patent licensing contract