CN107480631B - 一种基于视角关联与深度网络学习的行人再识别方法 - Google Patents
一种基于视角关联与深度网络学习的行人再识别方法 Download PDFInfo
- Publication number
- CN107480631B CN107480631B CN201710686243.9A CN201710686243A CN107480631B CN 107480631 B CN107480631 B CN 107480631B CN 201710686243 A CN201710686243 A CN 201710686243A CN 107480631 B CN107480631 B CN 107480631B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- visual angle
- cross
- depth
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 25
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 208000007803 encephalocraniocutaneous lipomatosis Diseases 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于视角关联与深度网络学习的行人再识别方法,其通过对每个视角建立视角关联的深度网络从而提取视角相关的底层视角特征,通过迭代的跨视角欧氏距离约束和跨视角中心度量约束(ICV‑ECCL)约束不同网络之间的特征以减少不同视角之间行人特征的差异。实验表明,本发明能较大幅度地提高现有的深度网络在行人再识别上的性能,具有广泛的应用价值。
Description
技术领域
本发明涉及计算机视觉技术领域,更具体地,涉及一种基于视角关联与深度网络学习的行人再识别方法。
背景技术
随着技术的不断发展与成本的降低,监控摄像头已经被普遍应用于日常生活及社会安防各个领域,尤其是在公共场所,如银行、医院、商场、车站等人流较多的地方,发挥了重要的作用。行人再识别技术能跨摄像头跨视角进行目标行人匹配,是未来智能监控系统的重要组成部分,能极大地减少日常监控所需的人力物力,具有广阔的应用前景。行人再识别技术通过比较来自不同摄像头的行人图像和行人库里的图像来确定监控行人的身份。由于众多摄像头分布于城市的各个区域,因此成像质量和成像条件各不相同,光照变化、视角变化、图像分辨率变化等因素使得最终得到的监控行人图像在外观上有很大的差异,也是行人再识别技术研究的主要挑战。
主流的行人再识别技术先提取人工特征再结合距离度量或视角鲁棒的投影来减少不同视角造成的外观变化带来的影响。这种策略能一定程度上增强所提特征的鲁棒性和描述能力,但是仍然有以下的一些局限性:1)传统的人工特征是基于经验设计的,主要用来提取目标外观特征,在跨视角行人再识别的问题上具有很大的局限性,无法解决视角变化带来的外观剧变;2)对于不同的监控视角,采用的都是同样的模型和特征提取模块,忽视了视角相关的信息;3)所提的特征并没有利用到监控行人数据,因此鲁棒性不强。最近几年,深度学习得到了快速的发展,在行人再识别领域也正在升温,深度网络的性能已经不弱于现有最好的一些传统特征。另外,由于深度网络端对端学习的优势,能在特征提取的时候更好地融入视角特征,从而增强鲁棒性。但是,现有的基于深度网络的技术往往用同样的深度网络对来自不同视角的行人图像提取特征,忽略了视角变化带来的影响。因此,开发视角关联的深度网络并基于这些网络进行行人再识别能弥补现有技术的缺陷,提高再识别技术性能。
发明内容
本发明为解决现有技术提供的行人再识别方法存在的受监控视角变化影响而导致跨视角识别受局限的技术缺陷,提供了一种基于视角关联与深度网络学习的行人再识别方法。
为实现以上发明目的,采用的技术方案是:
一种基于视角关联与深度网络学习的行人再识别方法,包括以下步骤:
S1.通过行人图像预训练一个深度网络,并将该深度网络作为深度网络的初始化模型;
S2.为摄像头的各个监控视角分别以步骤S1的初始化模型为基础构建一个深度网络,然后分别使用各个监控视角下的行人图像对相应监控视角的深度网络进行训练,训练过程中,利用迭代的跨视角欧氏距离约束和跨视角中心度量约束方法对不同视角的深度网络进行联合训练,减少来自不同视角的行人图像间的特征差距,直至深度网络的参数收敛;
S3.对于某个监控视角下的目标行人图像及行人图像库,首先使用相应监控视角的深度网络对目标行人图像及行人图像库中的行人图像分别进行特征的提取,然后将从目标行人图像中提取的特征依次与从图像库中的行人图像中提取的特征进行匹配,基于匹配的结果确定目标行人图像的身份。
与现有技术相比,本发明的有益效果是:
本发明提供了一种基于视角关联与深度网络学习的行人再识别方法,其通过对每个视角建立视角关联的深度网络从而提取视角相关的底层视角特征,通过迭代的跨视角欧氏距离约束和跨视角中心度量约束(ICV-ECCL)约束不同网络之间的特征以减少不同视角之间行人特征的差异。实验表明,本发明能较大幅度地提高现有的深度网络在行人再识别上的性能,具有广泛的应用价值。
附图说明
图1为本发明的方法的实施示意图。
图2为CUHK03和SYSU-mREID数据库的示例图。
图3为本发明提升Alexnet深度网络的性能结果示意图。
图4为本发明各部分的效果图。
图5为本发明在CUHK03数据库与主流算法比较结果图。
图6为本发明在SYSU-mREID数据库与主流算法比较结果图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
如图1所示,本发明提供的方法具有包括有以下步骤:
S1.通过行人图像预训练一个深度网络,并将该深度网络作为深度网络的初始化模型;
S2.为摄像头的各个监控视角分别以步骤S1的初始化模型为基础构建一个深度网络,然后分别使用各个监控视角下的行人图像对相应监控视角的深度网络进行训练,训练过程中,利用迭代的跨视角欧氏距离约束和跨视角中心度量约束方法对不同视角的深度网络进行联合训练,减少来自不同视角的行人图像间的特征差距,直至深度网络的参数收敛;
S3.对于某个监控视角下的目标行人图像及行人图像库,首先使用相应监控视角的深度网络对目标行人图像及行人图像库中的行人图像分别进行特征的提取,然后将从目标行人图像中提取的特征依次与从图像库中的行人图像中提取的特征进行匹配,基于匹配的结果确定目标行人图像的身份。
其中,其中跨视角欧氏距离约束的作用是减少不同的深度网络最后一层特征输出之间的欧氏距离,假设来自两个视角的行人图像的深度特征为其中上标{1,2}表示对应的视角,下标{i,j}表示对应的行人身份,{ki,kj}对应每个行人在对应视角下的某个训练样本,令{Ki,Kj}表示每个行人的训练样本数目,则跨视角欧氏距离约束为:与常用的softmax损失函数组成的目标函数表示为:而跨视角中心度量约束用于保证同类训练样本特征与不同视角下类中心的特征尽量接近,从而保证特征的跨视角鲁棒性。假设来自两个视角的行人图像深度特征为可以计算出对应每一类以及所有样本的类中心为下标{i,j}表示对应的行人身份,{ki,kj}对应每个行人在对应视角下的某个训练样本,令{Ki,Kj}表示每个行人的训练样本数目,{M}表示行人类别总数,则跨视角中心度量为:
本发明采取迭代的框架联合跨视角欧氏距离约束和跨视角中心度量约束采用迭代的方式对不同视角关联的网络进行参数优化和更新。给定训练样本和视角关联的深度网络,本发明首先用跨视角欧氏距离约束进行参数更新,等到优化收敛,改为用跨视角中心度量约束进行参数更新和网络优化,等到收敛之后再次使用跨视角欧氏距离约束进行优化,如此迭代反复,直到网络参数最终彻底收敛为止。迭代优化过程能达到一个从坏到好的调优效果,每一步都能保证算法得到更好的优化结果。
实施例2
本实施例通过实验对方法的效果进行说明,实验数据库选择CUHK03行人数据库和SYSU-mREID行人数据库:其中CUHK03数据库包含1467个不同的行人,超过14000张图像,选择其中1367个行人的图像组成训练集,剩余的100个行人则作为测试集;SYSU-mREID数据集包含502人的超过24000张的图像,选择其中251人进行训练,剩余251人进行测试。CUHK03行人数据库和SYSU-mREID行人数据库的实例如图2所示。
本发明选择Alexnet作为初始化网络,在CUHK03和SYSU-mREID数据库上验证所提方法的有效性。实验结果如图3所示,可以看到,在加入了迭代的跨视角欧氏距离约束和跨视角中心度量约束之后,Alexnet网络在CUHK03数据库上的准确率提升了17.5%,在SYSU-mREID数据库上的准确率提升了7.1%。
进一步地,在CUHK03数据库上验证所提出的跨视角欧氏距离约束、跨视角中心度量约束和迭代优化更新策略的有效性,如图4所示。由图4可得,跨视角中心度量约束提高了14.16%的识别准确率,跨视角中心度量约束提高了12.32%的识别准确率,而迭代优化更新策略则在跨视角中心度量约束基础上提高了5.18%的识别准确率。
本实施例还将本发明的方法与现有的一些主流的基于传统描述子和深度网络的方法进行了比较,在CUHK03数据库上的比较结果如图5所示,而在SYSU-mREID数据库上的比较结果如图6所示,通过以上比较结果可知,Alexnet网络在加入了ICV-ECCL之后,识别准确率已经达到了领域先进水平。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (3)
1.一种基于视角关联与深度网络学习的行人再识别方法,其特征在于:包括以下步骤:
S1.通过行人图像预训练一个深度网络,并将该深度网络作为深度网络的初始化模型;
S2.为摄像头的各个监控视角分别以步骤S1的初始化模型为基础构建一个深度网络,然后分别使用各个监控视角下的行人图像对相应监控视角的深度网络进行训练,训练过程中,利用迭代的跨视角欧氏距离约束和跨视角中心度量约束方法对不同视角的深度网络进行联合训练,减少来自不同视角的行人图像间的特征差距,直至深度网络的参数收敛;
其中所述的跨视角欧氏距离约束的作用是减少不同的深度网络最后一层特征输出之间的欧氏距离,来自两个视角的行人图像的深度特征为其中上标{1,2}表示对应的视角,下标{i,j}表示对应的行人身份,{ki,kj}对应每个行人在对应视角下的某个训练样本,令{Ki,Kj}表示每个行人的训练样本数目,则跨视角欧氏距离约束为:
所述的跨视角中心度量约束用于保证同类训练样本特征与不同视角下类中心的特征接近,从而保证特征的跨视角鲁棒性;来自两个视角的行人图像深度特征为计算出对应每一类以及所有样本的类中心为下标{i,j}表示对应的行人身份,{ki,kj}对应每个行人在对应视角下的某个训练样本,令{Ki,Kj}表示每个行人的训练样本数目,{M}表示行人类别总数,则跨视角中心度量约束为:
S3.对于某个监控视角下的目标行人图像及行人图像库,首先使用相应监控视角的深度网络对目标行人图像及行人图像库中的行人图像分别进行特征的提取,然后将从目标行人图像中提取的特征依次与从图像库中的行人图像中提取的特征进行匹配,基于匹配的结果确定目标行人图像的身份。
2.根据权利要求1所述的基于视角关联与深度网络学习的行人再识别方法,其特征在于:所述深度网络为Alexnet深度网络。
3.根据权利要求1所述的基于视角关联与深度网络学习的行人再识别方法,其特征在于:所述步骤S2中,1)首先使深度网络通过跨视角欧氏距离约束进行参数的更新,直至参数优化收敛;2)然后使深度网络通过跨视角中心度量约束进行参数更新和优化,直至参数优化收敛;3)然后再次使深度网络通过跨视角中心度量约束进行优化;重复迭代1)、2)、3),直至深度网络彻底收敛。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710686243.9A CN107480631B (zh) | 2017-08-11 | 2017-08-11 | 一种基于视角关联与深度网络学习的行人再识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710686243.9A CN107480631B (zh) | 2017-08-11 | 2017-08-11 | 一种基于视角关联与深度网络学习的行人再识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107480631A CN107480631A (zh) | 2017-12-15 |
CN107480631B true CN107480631B (zh) | 2020-06-05 |
Family
ID=60599396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710686243.9A Active CN107480631B (zh) | 2017-08-11 | 2017-08-11 | 一种基于视角关联与深度网络学习的行人再识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107480631B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109063535B (zh) * | 2018-05-30 | 2021-09-28 | 华侨大学 | 一种基于联合深度学习的行人再辨识和行人性别分类方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915643A (zh) * | 2015-05-26 | 2015-09-16 | 中山大学 | 一种基于深度学习的行人再标识方法 |
CN104992142A (zh) * | 2015-06-03 | 2015-10-21 | 江苏大学 | 一种基于深度学习和属性学习相结合的行人识别方法 |
CN105354548A (zh) * | 2015-10-30 | 2016-02-24 | 武汉大学 | 一种基于ImageNet检索的监控视频行人重识别方法 |
-
2017
- 2017-08-11 CN CN201710686243.9A patent/CN107480631B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915643A (zh) * | 2015-05-26 | 2015-09-16 | 中山大学 | 一种基于深度学习的行人再标识方法 |
CN104992142A (zh) * | 2015-06-03 | 2015-10-21 | 江苏大学 | 一种基于深度学习和属性学习相结合的行人识别方法 |
CN105354548A (zh) * | 2015-10-30 | 2016-02-24 | 武汉大学 | 一种基于ImageNet检索的监控视频行人重识别方法 |
Non-Patent Citations (4)
Title |
---|
A discriminative feature learning approach for deep face recognition;Yandong Wen et al;《ECCV2016》;20161231;第499-515页 * |
Cross-view projective dictionary learning for person re-identification;Sheng Li et al;《the Twenty-Fourth International Joint Conference on Artificial Intelligence 》;20151231;第2155-2161页 * |
Cross-view transformation based sparse reconstruction for person re-identification;Wei-Xiong He et al;《2016 23rd International Conference on Pattern Recognition 》;20161231;第3410-3415页 * |
基于局部深度匹配的行人再识别;李邵梅 等;《计算机应用研究》;20170430;第34卷(第4期);第1235-1238页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107480631A (zh) | 2017-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163110B (zh) | 一种基于迁移学习和深度特征融合的行人重识别方法 | |
Zhu et al. | AR-Net: Adaptive attention and residual refinement network for copy-move forgery detection | |
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN109446898B (zh) | 一种基于迁移学习和特征融合的行人重识别方法 | |
CN111666843B (zh) | 一种基于全局特征和局部特征拼接的行人重识别方法 | |
CN109598268A (zh) | 一种基于单流深度网络的rgb-d显著目标检测方法 | |
CN109299707A (zh) | 一种基于模糊深度聚类的无监督行人再识别方法 | |
CN108960141A (zh) | 基于增强型深度卷积神经网络的行人再识别方法 | |
CN108491766B (zh) | 一种端到端的基于深度决策森林的人群计数方法 | |
CN109063649B (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
CN107622239B (zh) | 一种层次化局部结构约束的遥感图像指定建筑区检测方法 | |
CN105608471A (zh) | 一种鲁棒直推式标签估计及数据分类方法和系统 | |
CN107680113A (zh) | 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法 | |
CN114241517B (zh) | 基于图像生成和共享学习网络的跨模态行人重识别方法 | |
CN105869178A (zh) | 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法 | |
CN109492528A (zh) | 一种基于高斯和深度特征的行人再识别方法 | |
CN108197669B (zh) | 卷积神经网络的特征训练方法及装置 | |
WO2022062419A1 (zh) | 基于非督导金字塔相似性学习的目标重识别方法及系统 | |
CN111126307B (zh) | 联合稀疏表示神经网络的小样本人脸识别方法 | |
CN108345900B (zh) | 基于颜色纹理分布特征的行人重识别方法及其系统 | |
CN101872415A (zh) | 适用于iptv的视频拷贝检测方法 | |
CN114821069B (zh) | 融合富尺度特征的双分支网络遥感图像建筑语义分割方法 | |
CN104616026A (zh) | 一种面向智能视频监控的监控场景类型辨识方法 | |
CN112766237A (zh) | 一种基于簇特征点聚类的无监督行人重识别方法 | |
Zhu et al. | Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
OL01 | Intention to license declared |