CN107480631A - 一种基于视角关联与深度网络学习的行人再识别方法 - Google Patents
一种基于视角关联与深度网络学习的行人再识别方法 Download PDFInfo
- Publication number
- CN107480631A CN107480631A CN201710686243.9A CN201710686243A CN107480631A CN 107480631 A CN107480631 A CN 107480631A CN 201710686243 A CN201710686243 A CN 201710686243A CN 107480631 A CN107480631 A CN 107480631A
- Authority
- CN
- China
- Prior art keywords
- visual angle
- pedestrian
- depth
- depth network
- pedestrian image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 208000007803 encephalocraniocutaneous lipomatosis Diseases 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于视角关联与深度网络学习的行人再识别方法，其通过对每个视角建立视角关联的深度网络从而提取视角相关的底层视角特征，通过迭代的跨视角欧氏距离约束和跨视角中心度量约束（ICV‑ECCL）约束不同网络之间的特征以减少不同视角之间行人特征的差异。实验表明，本发明能较大幅度地提高现有的深度网络在行人再识别上的性能，具有广泛的应用价值。
Description
技术领域
本发明涉及计算机视觉技术领域，更具体地，涉及一种基于视角关联与深度网络学习的行人再识别方法。
背景技术
随着技术的不断发展与成本的降低，监控摄像头已经被普遍应用于日常生活及社会安防各个领域，尤其是在公共场所，如银行、医院、商场、车站等人流较多的地方，发挥了重要的作用。行人再识别技术能跨摄像头跨视角进行目标行人匹配，是未来智能监控系统的重要组成部分，能极大地减少日常监控所需的人力物力，具有广阔的应用前景。行人再识别技术通过比较来自不同摄像头的行人图像和行人库里的图像来确定监控行人的身份。由于众多摄像头分布于城市的各个区域，因此成像质量和成像条件各不相同，光照变化、视角变化、图像分辨率变化等因素使得最终得到的监控行人图像在外观上有很大的差异，也是行人再识别技术研究的主要挑战。
主流的行人再识别技术先提取人工特征再结合距离度量或视角鲁棒的投影来减少不同视角造成的外观变化带来的影响。这种策略能一定程度上增强所提特征的鲁棒性和描述能力，但是仍然有以下的一些局限性：1)传统的人工特征是基于经验设计的，主要用来提取目标外观特征，在跨视角行人再识别的问题上具有很大的局限性，无法解决视角变化带来的外观剧变；2)对于不同的监控视角，采用的都是同样的模型和特征提取模块，忽视了视角相关的信息；3)所提的特征并没有利用到监控行人数据，因此鲁棒性不强。最近几年，深度学习得到了快速的发展，在行人再识别领域也正在升温，深度网络的性能已经不弱于现有最好的一些传统特征。另外，由于深度网络端对端学习的优势，能在特征提取的时候更好地融入视角特征，从而增强鲁棒性。但是，现有的基于深度网络的技术往往用同样的深度网络对来自不同视角的行人图像提取特征，忽略了视角变化带来的影响。因此，开发视角关联的深度网络并基于这些网络进行行人再识别能弥补现有技术的缺陷，提高再识别技术性能。
发明内容
本发明为解决现有技术提供的行人再识别方法存在的受监控视角变化影响而导致跨视角识别受局限的技术缺陷，提供了一种基于视角关联与深度网络学习的行人再识别方法。
为实现以上发明目的，采用的技术方案是：
一种基于视角关联与深度网络学习的行人再识别方法，包括以下步骤：
S1.通过行人图像预训练一个深度网络，并将该深度网络作为深度网络的初始化模型；
S2.为摄像头的各个监控视角分别以步骤S1的初始化模型为基础构建一个深度网络，然后分别使用各个监控视角下的行人图像对相应监控视角的深度网络进行训练，训练过程中，利用迭代的跨视角欧氏距离约束和跨视角中心度量约束方法对不同视角的深度网络进行联合训练，减少来自不同视角的行人图像间的特征差距，直至深度网络的参数收敛；
S3.对于某个监控视角下的目标行人图像及行人图像库，首先使用相应监控视角的深度网络对目标行人图像及行人图像库中的行人图像分别进行特征的提取，然后将从目标行人图像中提取的特征依次与从图像库中的行人图像中提取的特征进行匹配，基于匹配的结果确定目标行人图像的身份。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于视角关联与深度网络学习的行人再识别方法，其通过对每个视角建立视角关联的深度网络从而提取视角相关的底层视角特征，通过迭代的跨视角欧氏距离约束和跨视角中心度量约束(ICV-ECCL)约束不同网络之间的特征以减少不同视角之间行人特征的差异。实验表明，本发明能较大幅度地提高现有的深度网络在行人再识别上的性能，具有广泛的应用价值。
附图说明
图1为本发明的方法的实施示意图。
图2为CUHK03和SYSU-mREID数据库的示例图。
图3为本发明提升Alexnet深度网络的性能结果示意图。
图4为本发明各部分的效果图。
图5为本发明在CUHK03数据库与主流算法比较结果图。
图6为本发明在SYSU-mREID数据库与主流算法比较结果图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
如图1所示，本发明提供的方法具有包括有以下步骤：
S1.通过行人图像预训练一个深度网络，并将该深度网络作为深度网络的初始化模型；
S2.为摄像头的各个监控视角分别以步骤S1的初始化模型为基础构建一个深度网络，然后分别使用各个监控视角下的行人图像对相应监控视角的深度网络进行训练，训练过程中，利用迭代的跨视角欧氏距离约束和跨视角中心度量约束方法对不同视角的深度网络进行联合训练，减少来自不同视角的行人图像间的特征差距，直至深度网络的参数收敛；
S3.对于某个监控视角下的目标行人图像及行人图像库，首先使用相应监控视角的深度网络对目标行人图像及行人图像库中的行人图像分别进行特征的提取，然后将从目标行人图像中提取的特征依次与从图像库中的行人图像中提取的特征进行匹配，基于匹配的结果确定目标行人图像的身份。
其中，其中跨视角欧氏距离约束的作用是减少不同的深度网络最后一层特征输出之间的欧氏距离，假设来自两个视角的行人图像的深度特征为其中上标{1,2}表示对应的视角，下标{i,j}表示对应的行人身份，{ki,kj}对应每个行人在对应视角下的某个训练样本，令{Ki,Kj}表示每个行人的训练样本数目，则跨视角欧氏距离约束为：与常用的softmax损失函数组成的目标函数表示为：而跨视角中心度量约束用于保证同类训练样本特征与不同视角下类中心的特征尽量接近，从而保证特征的跨视角鲁棒性。假设来自两个视角的行人图像深度特征为可以计算出对应每一类以及所有样本的类中心为下标{i,j}表示对应的行人身份，{ki,kj}对应每个行人在对应视角下的某个训练样本，令{Ki,Kj}表示每个行人的训练样本数目，{M}表示行人类别总数，则跨视角中心度量为：
，与softmax损失函数组成的目标函数表示为：
本发明采取迭代的框架联合跨视角欧氏距离约束和跨视角中心度量约束采用迭代的方式对不同视角关联的网络进行参数优化和更新。给定训练样本和视角关联的深度网络，本发明首先用跨视角欧氏距离约束进行参数更新，等到优化收敛，改为用跨视角中心度量约束进行参数更新和网络优化，等到收敛之后再次使用跨视角欧氏距离约束进行优化，如此迭代反复，直到网络参数最终彻底收敛为止。迭代优化过程能达到一个从坏到好的调优效果，每一步都能保证算法得到更好的优化结果。
实施例2
本实施例通过实验对方法的效果进行说明，实验数据库选择CUHK03行人数据库和SYSU-mREID行人数据库：其中CUHK03数据库包含1467个不同的行人，超过14000张图像，选择其中1367个行人的图像组成训练集，剩余的100个行人则作为测试集；SYSU-mREID数据集包含502人的超过24000张的图像，选择其中251人进行训练，剩余251人进行测试。CUHK03行人数据库和SYSU-mREID行人数据库的实例如图2所示。
本发明选择Alexnet作为初始化网络，在CUHK03和SYSU-mREID数据库上验证所提方法的有效性。实验结果如图3所示，可以看到，在加入了迭代的跨视角欧氏距离约束和跨视角中心度量约束之后，Alexnet网络在CUHK03数据库上的准确率提升了17.5％，在SYSU-mREID数据库上的准确率提升了7.1％。
进一步地，在CUHK03数据库上验证所提出的跨视角欧氏距离约束、跨视角中心度量约束和迭代优化更新策略的有效性，如图4所示。由图4可得，跨视角中心度量约束提高了14.16％的识别准确率，跨视角中心度量约束提高了12.32％的识别准确率，而迭代优化更新策略则在跨视角中心度量约束基础上提高了5.18％的识别准确率。
本实施例还将本发明的方法与现有的一些主流的基于传统描述子和深度网络的方法进行了比较，在CUHK03数据库上的比较结果如图5所示，而在SYSU-mREID数据库上的比较结果如图6所示，通过以上比较结果可知，Alexnet网络在加入了ICV-ECCL之后，识别准确率已经达到了领域先进水平。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (3)
1.一种基于视角关联与深度网络学习的行人再识别方法，其特征在于：包括以下步骤：
S1.通过行人图像预训练一个深度网络，并将该深度网络作为深度网络的初始化模型；
S2.为摄像头的各个监控视角分别以步骤S1的初始化模型为基础构建一个深度网络，然后分别使用各个监控视角下的行人图像对相应监控视角的深度网络进行训练，训练过程中，利用迭代的跨视角欧氏距离约束和跨视角中心度量约束方法对不同视角的深度网络进行联合训练，减少来自不同视角的行人图像间的特征差距，直至深度网络的参数收敛；
S3.对于某个监控视角下的目标行人图像及行人图像库，首先使用相应监控视角的深度网络对目标行人图像及行人图像库中的行人图像分别进行特征的提取，然后将从目标行人图像中提取的特征依次与从图像库中的行人图像中提取的特征进行匹配，基于匹配的结果确定目标行人图像的身份。
2.根据权利要求1所述的基于视角关联与深度网络学习的行人再识别方法，其特征在于：所述深度网络为Alexnet深度网络。
3.根据权利要求1所述的基于视角关联与深度网络学习的行人再识别方法，其特征在于：所述步骤S2中，1）首先使深度网络通过跨视角欧氏距离约束进行参数的更新，直至参数优化收敛；2）然后使深度网络通过跨视角中心度量约束进行参数更新和优化，直至参数优化收敛；3）然后再次使深度网络通过跨视角中心度量约束进行优化；重复迭代1）、2）、3），直至深度网络彻底收敛。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710686243.9A CN107480631B (zh) | 2017-08-11 | 2017-08-11 | 一种基于视角关联与深度网络学习的行人再识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710686243.9A CN107480631B (zh) | 2017-08-11 | 2017-08-11 | 一种基于视角关联与深度网络学习的行人再识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107480631A true CN107480631A (zh) | 2017-12-15 |
| CN107480631B CN107480631B (zh) | 2020-06-05 |
Family
ID=60599396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710686243.9A Active CN107480631B (zh) | 2017-08-11 | 2017-08-11 | 一种基于视角关联与深度网络学习的行人再识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107480631B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063535A (zh) * | 2018-05-30 | 2018-12-21 | 华侨大学 | 一种基于联合深度学习的行人再辨识和行人性别分类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915643A (zh) * | 2015-05-26 | 2015-09-16 | 中山大学 | 一种基于深度学习的行人再标识方法 |
| CN104992142A (zh) * | 2015-06-03 | 2015-10-21 | 江苏大学 | 一种基于深度学习和属性学习相结合的行人识别方法 |
| CN105354548A (zh) * | 2015-10-30 | 2016-02-24 | 武汉大学 | 一种基于ImageNet检索的监控视频行人重识别方法 |
-
2017
- 2017-08-11 CN CN201710686243.9A patent/CN107480631B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915643A (zh) * | 2015-05-26 | 2015-09-16 | 中山大学 | 一种基于深度学习的行人再标识方法 |
| CN104992142A (zh) * | 2015-06-03 | 2015-10-21 | 江苏大学 | 一种基于深度学习和属性学习相结合的行人识别方法 |
| CN105354548A (zh) * | 2015-10-30 | 2016-02-24 | 武汉大学 | 一种基于ImageNet检索的监控视频行人重识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| SHENG LI ET AL: "Cross-view projective dictionary learning for person re-identification", 《THE TWENTY-FOURTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE 》 * |
| WEI-XIONG HE ET AL: "Cross-view transformation based sparse reconstruction for person re-identification", 《2016 23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION 》 * |
| YANDONG WEN ET AL: "A discriminative feature learning approach for deep face recognition", 《ECCV2016》 * |
| 李邵梅 等: "基于局部深度匹配的行人再识别", 《计算机应用研究》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063535A (zh) * | 2018-05-30 | 2018-12-21 | 华侨大学 | 一种基于联合深度学习的行人再辨识和行人性别分类方法 |
| CN109063535B (zh) * | 2018-05-30 | 2021-09-28 | 华侨大学 | 一种基于联合深度学习的行人再辨识和行人性别分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107480631B (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330396B (zh) | 一种基于多属性和多策略融合学习的行人再识别方法 | |
| Zhu et al. | AR-Net: Adaptive attention and residual refinement network for copy-move forgery detection | |
| CN106326886B (zh) | 基于卷积神经网络的手指静脉图像质量评估方法 | |
| CN106845357B (zh) | 一种基于多通道网络的视频人脸检测和识别方法 | |
| CN109101865A (zh) | 一种基于深度学习的行人重识别方法 | |
| CN109190446A (zh) | 基于三元组聚焦损失函数的行人再识别方法 | |
| CN107145900A (zh) | 基于一致性约束特征学习的行人再识别方法 | |
| CN108537136A (zh) | 基于姿态归一化图像生成的行人重识别方法 | |
| CN108564565A (zh) | 一种基于深度学习的电力设备红外图像多目标定位方法 | |
| CN108960211A (zh) | 一种多目标人体姿态检测方法以及系统 | |
| CN110188611A (zh) | 一种引入视觉注意力机制的行人重识别方法及系统 | |
| CN109063649B (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
| CN109886141A (zh) | 一种基于不确定性优化的行人再辨识方法 | |
| CN112907598B (zh) | 一种基于注意力cnn文档证件类图像篡改检测方法 | |
| CN108171250A (zh) | 目标检测方法及装置 | |
| CN107194396A (zh) | 国土资源视频监控系统中基于特定违章建筑识别预警方法 | |
| CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
| CN109614853A (zh) | 一种基于身体结构划分的双线性行人再识别网络构建方法 | |
| CN109635814A (zh) | 基于深度神经网络的森林火灾自动检测方法和装置 | |
| CN107633229A (zh) | 基于卷积神经网络的人脸检测方法及装置 | |
| CN110008819A (zh) | 一种基于图卷积神经网络的人脸表情识别方法 | |
| CN110110694A (zh) | 一种基于目标检测的视觉slam闭环检测方法 | |
| CN107992783A (zh) | 人脸图像处理方法及装置 | |
| CN104376334A (zh) | 一种多尺度特征融合的行人比对方法 | |
| CN107944395A (zh) | 一种基于神经网络验证人证合一的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared |