CN108960142A - 基于全局特征损失函数的行人再识别方法 - Google Patents
基于全局特征损失函数的行人再识别方法 Download PDFInfo
- Publication number
- CN108960142A CN108960142A CN201810721744.0A CN201810721744A CN108960142A CN 108960142 A CN108960142 A CN 108960142A CN 201810721744 A CN201810721744 A CN 201810721744A CN 108960142 A CN108960142 A CN 108960142A
- Authority
- CN
- China
- Prior art keywords
- loss function
- global characteristics
- mean
- global
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 36
- 238000009826 distribution Methods 0.000 claims description 8
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000009510 drug design Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 230000001955 cumulated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于全局特征损失函数的行人再识别方法，将全部输入图像分成所有可能图像对，包括表示同一人的同类对和表示不同人的异类对；计算所有可能图像对之间的特征距离，从两类图像对之间的特征距离中分别统计形成全局的距离均值和方差；构建全局特征损失函数并使用该全局特征损失函数在学习过程中减小两个方差以及增大两个均值之间的差；将全局特征损失函数与分类损失函数和验证损失函数联合使用，共同增强特征的学习。本发明设计合理，充分利用了输入全体图像中相比于单张图像更为丰富的信息，使得特征的描述能力性能远远高于单纯的单张图片特征，使得系统整体匹配率大大提高。
Description
技术领域
本发明属于计算机视觉行人再识别技术领域，尤其是一种基于全局特征损失函数的行人再识别方法。
背景技术
随着监控范围的增大，监控数据呈现爆炸式增长。依靠人眼识别监控画面中的行人身份显然十分低效，行人再识别技术的任务是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。行人再识别技术广泛被认为是一个图像检索的子问题：给定一个监控行人图像，检索跨设备下的该行人图像，旨在弥补目前固定的摄像头的视觉局限。
现有的行人再识别方法主要包括两个步骤，首先进行特征提取，然后通过度量学习得到不同样本的距离。颜色、纹理和梯度等基本的单一特征可以快速计算，并且可以利用积分图技术快速计算，但是，只从某一方面如梯度或者纹理来描述行人特征，判别力较差。使用多种底层特征的融合，或者是底层特征的高阶统计特征能从不同的侧面来刻画图像特征，提高检测的准确率，但是随着特征的维度增加，特征的计算和分类器的检测时间也增加，影响实时性。这些特征配合不同的度量学习方法，取得了很好的效果。
基于学习的特征是指神经网络直接从原始图像学习得到的特征。这种特征能从大量的样本中学习出判断能力较强的特征，在行人检测中表现很出色，但是它的计算依赖高性能的硬件，也和训练样本密切相关，若样本不具有代表性，很难学习到好的特征。
发明内容
本发明的目的在于克服现有技术的不足，提出一种设计合理且匹配准确率高的基于全局特征损失函数的行人再识别方法。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于全局特征损失函数的行人再识别方法，包括以下步骤：
步骤1、将全部输入图像分成所有可能图像对，所述图像对包括表示同一人的同类对和表示不同人的异类对；
步骤2、使用神经网络计算所有图像的特征，计算所有可能图像对之间的特征距离，从两类图像对之间的特征距离中分别统计形成全局的距离均值和方差；
步骤3、构建全局特征损失函数并使用该全局特征损失函数在学习过程中减小两个方差以及增大两个均值之间的差；
步骤4、将全局特征损失函数与分类损失函数和验证损失函数联合使用，共同增强特征的学习。
进一步，所述步骤3构建全局特征损失函数为：
Lg＝avar2++bvar2-+cmax(0,marigin-(mean+-mean-))
其中，var2+,var2-分别为给定同类对和异类对距离分布方差，mean+,mean-分别为给定同类对和异类对距离均值，Lg表示中心像素的灰度值，a,b,c是决定各项权重的参数，margin是一个尺度参数，margin＝1。
进一步，所述参数a、b、c分别等于0.02，0.0001和0.01；所述尺度参数margin＝1。
本发明的优点和积极效果是：
本发明设计合理，将图像对划分为表示同一人的同类对和表示不同人的异类对，从图像对中提取全局的距离均值和方差，构建全局损失函数模型从全体输入图像中提取的特殊空间域特征，充分利用了输入全体图像中相比于单张图像更为丰富的信息，使得特征的描述能力性能远远高于单纯的单张图片特征，使得系统整体匹配率大大提升，
附图说明
图1是本发明的全局特征损失函数原理图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于全局特征损失函数的行人再识别方法，包括以下步骤：
步骤1、将全部输入图像分成所有可能的图像对，将图像对划分为表示同一人的同类对和表示不同人的异类对。
本步骤将全部输入图像视为一个整体，并分成所有可能的图像对，并以此作为特征的提取对象。
步骤2、使用神经网络计算所有图像的特征，计算所有可能图像对之间的特征距离。从两类图像对距离中分别统计形成全局的距离均值和方差。
步骤3、构建全局特征损失函数，并在学习过程中减小两个方差以及增大两个均值之间的差。
在本步骤中，构建全局特征损失函数原理如下：
(1)给定同类对和异类对距离分布方差var2+,var2-和均值mean+,mean-,则损失函数公式如下：
Lg＝avar2++bvar2-+cmax(0,marigin-(mean+-mean-))
其中，Lg表示中心像素的灰度值，a,b,c是在决定各项权重的参数，a,b,c分别等于0.02，0.0001，0.01。margin＝1是一个尺度参数。
(2)如图1所示，将全体同类对和异类对的距离分布考虑为两个互相独立的分布，两个分布之间的重叠代表网络无法分辨的样本，为降低重叠面积的大小，两个分布的方差应该减小，而均值之间的差应该增大。
(3)计算全局损失函数时，我们考虑到对于一个准确描述图像的特征学习网络，同类对的特征距离分布均值应大于异类对的，加入一个尺度参数margin以限定这一条件。
(4)计算全局损失函数时，考虑到降低运算复杂度，将提取的图像特征由RGB颜色空间转化为灰度图像。
步骤4、将全局特征损失函数与分类和验证损失函数联合使用，共同增强特征的学习。
本步骤的具体实施方法如下：
将得到的全局损失与分类损失和验证损失分别乘上不同的权重后相加获取最后的总体权重，其中全局损失、分类损失和验证损失的权重分别为0.2、1、1。将获取最后的总体权重，指导网络对特征的学习。
下面按照本发明方法进行实验，说明本实验的实验效果。
测试环境：MATLAB R2015a
测试数据：所选数据集是用于行人再识别的图像序列数据集Market-1501。
测试指标：
本发明使用了Cumulated Matching Characteristics(CMC)作为评价指标，该指标表示正确匹配的样本在备选集中相似度的排名。所获得的值越接近100％性能越好。
如表1所示，考虑组合不同的损失函数，可以确定全局损失函数对距离度量学习有较好的效果。其中，I指代模型使用分类损失、V指代模型使用验证损失、G指代模型使用全局损失；VGG16指代使用VGG16网络进行学习。
表1不同参数及不同特征的性能对比分析表
表2给出了本发明与现有算法的性能比较表，其中，VGG16指代使用VGG16网络进行学习，Resnet-50指代使用Resnet-50网络进行学习。从表中可以看出本发明相比现有算法匹配率明显提高。
表2本发明与现有算法的性能比较表
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
Claims (3)
1.一种基于全局特征损失函数的行人再识别方法，其特征在于包括以下步骤：
步骤1、将全部输入图像分成所有可能图像对，所述图像对包括表示同一人的同类对和表示不同人的异类对；
步骤2、使用神经网络计算所有图像的特征，计算所有可能图像对之间的特征距离，从两类图像对之间的特征距离中分别统计形成全局的距离均值和方差；
步骤3、构建全局特征损失函数并使用该全局特征损失函数在学习过程中减小两个方差以及增大两个均值之间的差；
步骤4、将全局特征损失函数与分类损失函数和验证损失函数联合使用，共同增强特征的学习。
2.根据权利要求1所述的基于全局特征损失函数的行人再识别方法，其特征在于：所述步骤3构建全局特征损失函数为：
Lg＝a var2++b var2-+c max(0,marigin-(mean+-mean-))
其中，var2+,var2-分别为给定同类对和异类对距离分布方差，mean+,mean-分别为给定同类对和异类对距离均值，Lg表示中心像素的灰度值，a,b,c是决定各项权重的参数，margin是一个尺度参数，margin＝1。
3.根据权利要求2所述的基于全局特征损失函数的行人再识别方法，其特征在于：所述参数a、b、c分别等于0.02，0.0001和0.01；所述尺度参数margin＝1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810721744.0A CN108960142B (zh) | 2018-07-04 | 2018-07-04 | 基于全局特征损失函数的行人再识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810721744.0A CN108960142B (zh) | 2018-07-04 | 2018-07-04 | 基于全局特征损失函数的行人再识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108960142A true CN108960142A (zh) | 2018-12-07 |
| CN108960142B CN108960142B (zh) | 2021-04-27 |
Family
ID=64485538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810721744.0A Expired - Fee Related CN108960142B (zh) | 2018-07-04 | 2018-07-04 | 基于全局特征损失函数的行人再识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108960142B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993070A (zh) * | 2019-03-13 | 2019-07-09 | 华南理工大学 | 一种基于全局距离尺度损失函数的行人再识别方法 |
| CN110245310A (zh) * | 2019-03-06 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 一种对象的行为分析方法、装置及存储介质 |
| CN110838295A (zh) * | 2019-11-17 | 2020-02-25 | 西北工业大学 | 一种模型生成方法、声纹识别方法及对应装置 |
| CN111265317A (zh) * | 2020-02-10 | 2020-06-12 | 上海牙典医疗器械有限公司 | 一种牙齿正畸过程预测方法 |
| CN112632351A (zh) * | 2020-12-28 | 2021-04-09 | 北京百度网讯科技有限公司 | 分类模型的训练方法、分类方法、装置及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013191975A1 (en) * | 2012-06-21 | 2013-12-27 | Siemens Corporation | Machine-learnt person re-identification |
| CN107133601A (zh) * | 2017-05-13 | 2017-09-05 | 五邑大学 | 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法 |
-
2018
- 2018-07-04 CN CN201810721744.0A patent/CN108960142B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013191975A1 (en) * | 2012-06-21 | 2013-12-27 | Siemens Corporation | Machine-learnt person re-identification |
| CN107133601A (zh) * | 2017-05-13 | 2017-09-05 | 五邑大学 | 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| DING S 等: "Deep feature learning with relative distance comparison for person re-identification", 《PATTERN RECOGNITION》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110245310A (zh) * | 2019-03-06 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 一种对象的行为分析方法、装置及存储介质 |
| CN110245310B (zh) * | 2019-03-06 | 2023-10-13 | 腾讯科技（深圳）有限公司 | 一种对象的行为分析方法、装置及存储介质 |
| CN109993070A (zh) * | 2019-03-13 | 2019-07-09 | 华南理工大学 | 一种基于全局距离尺度损失函数的行人再识别方法 |
| CN109993070B (zh) * | 2019-03-13 | 2021-06-08 | 华南理工大学 | 一种基于全局距离尺度损失函数的行人再识别方法 |
| CN110838295A (zh) * | 2019-11-17 | 2020-02-25 | 西北工业大学 | 一种模型生成方法、声纹识别方法及对应装置 |
| CN110838295B (zh) * | 2019-11-17 | 2021-11-23 | 西北工业大学 | 一种模型生成方法、声纹识别方法及对应装置 |
| CN111265317A (zh) * | 2020-02-10 | 2020-06-12 | 上海牙典医疗器械有限公司 | 一种牙齿正畸过程预测方法 |
| CN112632351A (zh) * | 2020-12-28 | 2021-04-09 | 北京百度网讯科技有限公司 | 分类模型的训练方法、分类方法、装置及设备 |
| CN112632351B (zh) * | 2020-12-28 | 2024-01-16 | 北京百度网讯科技有限公司 | 分类模型的训练方法、分类方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108960142B (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960142A (zh) | 基于全局特征损失函数的行人再识别方法 | |
| CN111488756B (zh) | 基于面部识别的活体检测的方法、电子设备和存储介质 | |
| CN110837784B (zh) | 一种基于人体头部特征的考场偷窥作弊检测系统 | |
| CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、系统、设备和介质 | |
| CN104778453B (zh) | 一种基于红外行人亮度统计特征的夜间行人检测方法 | |
| CN104123543B (zh) | 一种基于人脸识别的眼球运动识别方法 | |
| CN109670430A (zh) | 一种基于深度学习的多分类器融合的人脸活体识别方法 | |
| CN109190446A (zh) | 基于三元组聚焦损失函数的行人再识别方法 | |
| CN109214298B (zh) | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 | |
| CN103942525A (zh) | 一种基于视频序列的实时人脸优选方法 | |
| CN107886507B (zh) | 一种基于图像背景和空间位置的显著区域检测方法 | |
| KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| CN110189294B (zh) | 基于深度可信度分析的rgb-d图像显著性检测方法 | |
| CN105740775A (zh) | 一种三维人脸活体识别方法及其装置 | |
| CN106446890B (zh) | 一种基于窗口打分和超像素分割的候选区域提取方法 | |
| CN108108760A (zh) | 一种快速人脸识别方法 | |
| CN108985200A (zh) | 一种基于终端设备的非配合式的活体检测算法 | |
| CN106650574A (zh) | 基于PCANet的人脸识别方法 | |
| CN107729794A (zh) | 火焰检测方法、火焰检测装置和电子设备 | |
| CN105654054A (zh) | 基于半监督近邻传播学习和多视觉词典模型的智能视频分析方法 | |
| CN108647621A (zh) | 一种基于人脸识别的视频分析处理系统及方法 | |
| CN103020589A (zh) | 一种单训练样本人脸识别方法 | |
| CN103020655A (zh) | 一种基于单训练样本人脸识别的远程身份认证方法 | |
| CN114612963A (zh) | 一种人脸识别安全系统 | |
| CN106485226A (zh) | 一种基于神经网络的视频行人检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210427 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |