CN111581418A - 一种基于图像关联人物信息的目标人员搜索方法 - Google Patents

一种基于图像关联人物信息的目标人员搜索方法 Download PDF

Info

Publication number
CN111581418A
CN111581418A CN202010352898.4A CN202010352898A CN111581418A CN 111581418 A CN111581418 A CN 111581418A CN 202010352898 A CN202010352898 A CN 202010352898A CN 111581418 A CN111581418 A CN 111581418A
Authority
CN
China
Prior art keywords
person
graph
similarity
information
target person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010352898.4A
Other languages
English (en)
Other versions
CN111581418B (zh
Inventor
何明祥
郝鹏
王鑫鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202010352898.4A priority Critical patent/CN111581418B/zh
Publication of CN111581418A publication Critical patent/CN111581418A/zh
Application granted granted Critical
Publication of CN111581418B publication Critical patent/CN111581418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于图像关联人物信息的目标人员搜索方法，属于人员搜索领域，本发明方法包括：对数据集中的图像进行数据预处理，调整图像的大小为统一尺寸，对预处理过的图像进行特征提取和多尺度目标检测，标记出所有人员的位置；通过关注度模块，自动筛选出有信息价值的关联人物；建立一个关联信息图，通过图卷积模块计算目标人员与待匹配人员之间的整体相似度。本发明可广泛应用于查找罪犯，跨摄像头人员跟踪等现实生活中，将目标人员的关联人物信息应用于人员搜索中，提升了判断的准确性。

Description

一种基于图像关联人物信息的目标人员搜索方法
技术领域
本发明属于人员搜索领域，具体涉及一种基于图像关联人物信息的目标人员搜索方法。
背景技术
人员搜索是计算机视觉中的一项基本且重要的研究课题。人员搜索在与视频监控相关的应用中具有巨大潜力，如查找罪犯，跨摄像头人员跟踪。这些应用与公共安全息息相关，因此人员搜索近年来受到越来越多的关注。
传统的人员搜索任务仅仅关注不同相机之间所拍摄的人员是否匹配。这些方法大部分基于个人整体特征来做出判断，没有关注人员的局部特征，很难区分穿着相似的两个人。在现实中，人们很可能会成群结伴的走在一起。即使独自行走时，出现在同一场景中的其他临近人员也包含着重要的环境信息。基于以上分析，使用分块化特征提取方法并充分利用图像中的关联人物信息是解决现实中人员搜索的一个有希望的方向。
发明内容
针对现有技术中存在的上述技术问题，本发明提出了一种基于图像关联人物信息的目标人员搜索方法，设计合理，克服了现有技术的不足，具有良好的效果。
为了实现上述目的，本发明采用如下技术方案：
一种基于图像关联人物信息的目标人员搜索方法，包括以下步骤：
步骤1：对数据集中的图像进行数据预处理，调整图像的大小为统一尺寸，成对的图像输入到网络中进行特征提取和多尺度目标检测，检测到的人员用标记框做标记；
步骤2：截取出步骤1过程中标记框所标记的人员，喂入残差网络中进行特征提取，通过关注度模块，自动筛选出有信息价值的关联人物；
步骤3：建立一个关联信息图，通过图卷积模块，计算目标人员与待匹配人员之间的整体相似度。
优选地，所述步骤2的具体步骤如下：
步骤2.1：截取出标记框所标记的行人，继续喂入残差网络中；
步骤2.2：分别对图像中所检测到人员的上身、躯干、下半身和全身进行特征提取；
步骤2.3：搭建关注度模块的网络结构，将步骤2.2中提取到的特征喂入关注度模块中，关注度模块的网络输出由两个全连接层和一个Softmax层组成，输出4个归一化的权重值：w1、w2、w3、w4，其中，w1代表上身的权重值，w2代表躯干的权重值，w3代表下半身的权重值，w4代表全身所占的权重值；
步骤2.4：利用余弦相似度，计算目标人员与待匹配人员之间的相似度，
Figure BDA0002472453630000011
来表示检测到的对象j和k的第r部分的特征；总体相似度表示为不同部分之和，计算方法为：
Figure BDA0002472453630000021
R为划分的具体块数：分别为上身、躯干、下半身和全身，
Figure BDA0002472453630000022
表示特征对之间的余弦相似度，wr是第r部分的权重值；
步骤2.5：自动选取彼此之间相似度高的人员进行配对。
优选地，所述的步骤3的具体步骤如下：
步骤3.1：假设有N个关联人物匹配对；
步骤3.2：构建一个图，设定目标人员节点是图的中心，它连接所有的关联人物节点进行信息传播和特征更新；
步骤3.3：训练一个图卷积网络来计算目标人员对之间的相似性；具体包括如下步骤：
步骤3.3.1：对于图G＝{V,E}，由N个顶点V和一组边E组成，如果一对图像含有M个关联人物对，则N＝M+1，图中的每一个节点分配一对特征，如果将目标人员的节点赋值为图中的第一个节点，其邻接矩阵A为：
Figure BDA0002472453630000023
其中，i,j∈{1,...,N}；
步骤3.3.2：将邻接矩阵A归一化，记作
Figure BDA0002472453630000024
逐层的图卷积网络的传播公式为：
Figure BDA0002472453630000025
其中，H是代表层，上标l代表第几层，W(l)为每一层的权值矩阵，σ代表所使用的激活函数；
步骤3.3.3：利用全连通层将所有顶点特征合并到一个1024维特征向量中，通过softmax层输出相似度。
本发明所带来的有益技术效果：
本发明可以广泛应用于监控、安防等领域的人员搜索系统中，使用分块化特征提取方法并充分利用图像中的关联人物信息，提升判断可疑人员是否为目标人员的准确性。
附图说明
图1是本发明方法的流程图；
图2是本发明的人员检测和特征学习网络结构图；
图3是本发明的图卷积模块的网络结构图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
如图1所示，一种基于图像关联人物信息的目标人员搜索方法，包括以下步骤：
步骤1：对数据集中的图像进行数据预处理，调整图像的大小为统一尺寸，成对的图像输入到网络中进行特征提取和多尺度目标检测，检测到的人员用标记框做标记；
步骤2：截取出步骤1过程中标记框所标记的人员，喂入残差网络中进行特征提取，通过关注度模块，自动筛选出有信息价值的关联人物；如图2所示，具体步骤如下：
步骤2.1：截取出标记框所标记的行人，继续喂入残差网络中；
步骤2.2：分别对图像中所检测到人员的上身、躯干、下半身和全身进行特征提取；
步骤2.3：搭建关注度模块的网络结构，将步骤2.2中提取到的特征喂入关注度模块中，关注度模块的网络输出由两个全连接层和一个Softmax层组成，输出4个归一化的权重值：w1、w2、w3、w4，其中，w1代表上身的权重值，w2代表躯干的权重值，w3代表下半身的权重值，w4代表全身所占的权重值；
步骤2.4：利用余弦相似度，计算目标人员与待匹配人员之间的相似度，
Figure BDA0002472453630000031
来表示检测到的对象j和k的第r部分的特征；总体相似度表示为不同部分之和，计算方法为：
Figure BDA0002472453630000032
R为划分的具体块数：分别为上身、躯干、下半身和全身，
Figure BDA0002472453630000033
表示特征对之间的余弦相似度，wr是第r部分的权重值；
步骤2.5：自动选取彼此之间相似度高的人员进行配对。
步骤3：建立一个关联信息图，通过图卷积模块，计算目标人员与待匹配人员之间的整体相似度；如图3所示，具体步骤如下：
步骤3.1：假设有N个关联人物匹配对；
步骤3.2：构建一个图，设定目标人员节点是图的中心，它连接所有的关联人物节点进行信息传播和特征更新；
步骤3.3：训练一个图卷积网络来计算目标人员对之间的相似性；具体包括如下步骤：
步骤3.3.1：对于图G＝{V,E}，由N个顶点V和一组边E组成，如果一对图像含有M个关联人物对，则N＝M+1，图中的每一个节点分配一对特征，如果将目标人员的节点赋值为图中的第一个节点，其邻接矩阵A为：
Figure BDA0002472453630000034
其中，i,j∈{1,...,N}；
步骤3.3.2：将邻接矩阵A归一化，记作
Figure BDA0002472453630000041
逐层的图卷积网络的传播公式为：
Figure BDA0002472453630000042
其中，H是代表层，上标l代表第几层，W(l)为每一层的权值矩阵，σ代表所使用的激活函数；
步骤3.3.3：利用全连通层将所有顶点特征合并到一个1024维特征向量中，通过softmax层输出相似度。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (3)

1.一种基于图像关联人物信息的目标人员搜索方法，其特征在于：包括以下步骤：
步骤1：对数据集中的图像进行数据预处理，调整图像的大小为统一尺寸，成对的图像输入到网络中进行特征提取和多尺度目标检测，检测到的人员用标记框做标记；
步骤2：截取出步骤1过程中标记框所标记的人员，喂入残差网络中进行特征提取，通过关注度模块，自动筛选出有信息价值的关联人物；
步骤3：建立一个关联信息图，通过图卷积模块，计算目标人员与待匹配人员之间的整体相似度。
2.根据权利要求1所述的一种基于图像关联人物信息的目标人员搜索方法，其特征在于：所述步骤2的具体步骤如下：
步骤2.1：截取出标记框所标记的行人，继续喂入残差网络中；
步骤2.2：分别对图像中所检测到人员的上身、躯干、下半身和全身进行特征提取；
步骤2.3：搭建关注度模块的网络结构，将步骤2.2中提取到的特征喂入关注度模块中，关注度模块的网络输出由两个全连接层和一个Softmax层组成，输出4个归一化的权重值：w1、w2、w3、w4，其中，w1代表上身的权重值，w2代表躯干的权重值，w3代表下半身的权重值，w4代表全身所占的权重值；
步骤2.4：利用余弦相似度，计算目标人员与待匹配人员之间的相似度，
Figure FDA0002472453620000011
来表示检测到的对象j和k的第r部分的特征；总体相似度表示为不同部分之和，计算方法为：
Figure FDA0002472453620000012
R为划分的具体块数：分别为上身、躯干、下半身和全身，
Figure FDA0002472453620000013
表示特征对之间的余弦相似度，wr是第r部分的权重值；
步骤2.5：自动选取彼此之间相似度高的人员进行配对。
3.根据权利要求1所述的基于图像关联人物信息的目标人员搜索方法，其特征在于：所述的步骤3的具体步骤如下：
步骤3.1：假设有N个关联人物匹配对；
步骤3.2：构建一个图，设定目标人员节点是图的中心，它连接所有的关联人物节点进行信息传播和特征更新；
步骤3.3：训练一个图卷积网络来计算目标人员对之间的相似性；具体包括如下步骤：
步骤3.3.1：对于图G＝{V，E}，由N个顶点V和一组边E组成，如果一对图像含有M个关联人物对，则N＝M+1，图中的每一个节点分配一对特征，如果将目标人员的节点赋值为图中的第一个节点，其邻接矩阵A为：
Figure FDA0002472453620000021
其中，i，j∈{1，...，N}；
步骤3.3.2：将邻接矩阵A归一化，记作
Figure FDA0002472453620000022
逐层的图卷积网络的传播公式为：
Figure FDA0002472453620000023
其中，H是代表层，上标l代表第几层，W(l)为每一层的权值矩阵，σ代表所使用的激活函数；
步骤3.3.3：利用全连通层将所有顶点特征合并到一个1024维特征向量中，通过softmax层输出相似度。
CN202010352898.4A 2020-04-29 2020-04-29 一种基于图像关联人物信息的目标人员搜索方法 Active CN111581418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010352898.4A CN111581418B (zh) 2020-04-29 2020-04-29 一种基于图像关联人物信息的目标人员搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010352898.4A CN111581418B (zh) 2020-04-29 2020-04-29 一种基于图像关联人物信息的目标人员搜索方法

Publications (2)

Publication Number Publication Date
CN111581418A true CN111581418A (zh) 2020-08-25
CN111581418B CN111581418B (zh) 2023-04-28

Family

ID=72126198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010352898.4A Active CN111581418B (zh) 2020-04-29 2020-04-29 一种基于图像关联人物信息的目标人员搜索方法

Country Status (1)

Country Link
CN (1) CN111581418B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469155A (zh) * 2021-09-03 2021-10-01 南通裕荣电子商务有限公司 基于人工智能和视觉感知的市场营销推荐方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631413A (zh) * 2015-12-23 2016-06-01 中通服公众信息产业股份有限公司 一种基于深度学习的跨场景行人搜索方法
CN108960114A (zh) * 2018-06-27 2018-12-07 腾讯科技（深圳）有限公司 人体识别方法及装置、计算机可读存储介质及电子设备
WO2019052403A1 (zh) * 2017-09-12 2019-03-21 腾讯科技（深圳）有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置
CN109711316A (zh) * 2018-12-21 2019-05-03 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN110163260A (zh) * 2019-04-26 2019-08-23 平安科技（深圳）有限公司 基于残差网络的图像识别方法、装置、设备及存储介质
CN110555420A (zh) * 2019-09-09 2019-12-10 电子科技大学 一种基于行人区域特征提取和重识别融合模型网络及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631413A (zh) * 2015-12-23 2016-06-01 中通服公众信息产业股份有限公司 一种基于深度学习的跨场景行人搜索方法
WO2019052403A1 (zh) * 2017-09-12 2019-03-21 腾讯科技（深圳）有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置
CN108960114A (zh) * 2018-06-27 2018-12-07 腾讯科技（深圳）有限公司 人体识别方法及装置、计算机可读存储介质及电子设备
CN109711316A (zh) * 2018-12-21 2019-05-03 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN110163260A (zh) * 2019-04-26 2019-08-23 平安科技（深圳）有限公司 基于残差网络的图像识别方法、装置、设备及存储介质
CN110555420A (zh) * 2019-09-09 2019-12-10 电子科技大学 一种基于行人区域特征提取和重识别融合模型网络及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MING-XIANG HE: "Robust Automatic Recognition of Chinese License Plates in Natural Scenes", 《IEEE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469155A (zh) * 2021-09-03 2021-10-01 南通裕荣电子商务有限公司 基于人工智能和视觉感知的市场营销推荐方法及系统
CN113469155B (zh) * 2021-09-03 2021-11-26 南通裕荣电子商务有限公司 基于人工智能和视觉感知的市场营销推荐方法及系统

Also Published As

Publication number Publication date
CN111581418B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN109934177A (zh) 行人再识别方法、系统及计算机可读存储介质
CN108229335A (zh) 关联人脸识别方法和装置、电子设备、存储介质、程序
Othman et al. A new IoT combined body detection of people by using computer vision for security application
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN110070010A (zh) 一种基于行人重识别的人脸属性关联方法
CN107169458B (zh) 数据处理方法、装置及存储介质
CN111178284A (zh) 基于地图数据的时空联合模型的行人重识别方法及系统
CN112766165B (zh) 基于深度神经网络与全景分割的跌倒预判方法
CN112199983A (zh) 一种多层次筛选的长时间大范围行人再识别方法
CN112149494A (zh) 一种多人姿态识别方法及系统
CN111985332A (zh) 一种基于深度学习的改进损失函数的步态识别方法
CN115761618A (zh) 一种重点场所安防监控图像识别方法
Miao et al. Abnormal behavior learning based on edge computing toward a crowd monitoring system
CN111581418B (zh) 一种基于图像关联人物信息的目标人员搜索方法
CN113762166A (zh) 一种基于可穿戴式装备的小目标检测改善方法及系统
CN116229507A (zh) 人体姿态检测方法及系统
CN113569639B (zh) 一种基于样本中心损失函数的跨模态行人重识别方法
CN116778214A (zh) 一种行为检测方法、装置、设备及其存储介质
Alarfaj et al. Automatic anomaly monitoring in public surveillance areas
CN115205786A (zh) 手机盗拍行为在线自动识别告警方法
CN114187644A (zh) 一种基于支持向量机的口罩人脸活体检测方法
CN113627380A (zh) 一种用于智能安防及预警的跨视域行人重识别方法及系统
Wang et al. Occluded person re-identification by multi-granularity generation adversarial network
Ruprah et al. Crime Prediction Based on Person-Weapons Relation using Deep Learning Techniques
Hemaanand et al. Smart surveillance system using computer vision and Internet of Things

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant