CN109829414B - 一种基于标签不确定性和人体组件模型的行人再识别方法 - Google Patents
一种基于标签不确定性和人体组件模型的行人再识别方法 Download PDFInfo
- Publication number
- CN109829414B CN109829414B CN201910072934.9A CN201910072934A CN109829414B CN 109829414 B CN109829414 B CN 109829414B CN 201910072934 A CN201910072934 A CN 201910072934A CN 109829414 B CN109829414 B CN 109829414B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- neural network
- deep neural
- human body
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于标签不确定性和人体组件模型的行人再识别方法，包括：(1)构建基于人体组件的深度神经网络模型；(2)对构建的深度神经网络模型进行初始化，并根据构建的深度神经网络结构训练得到另一个模型；(3)对初始化后的深度神经网络模型进行训练并更新网络中的参数；(4)采用训练好的深度神经网络对目标行人图像及行人图像库中的行人图像分别进行特征提取；(5)对提取得到的特征进行余弦相似度计算并排序，得到识别结果。本发明通过针对局部组件信息不完全准确以及各个局部组件的分类置信度差异较大的问题进行了有效地处理，能有效的提高行人再识别的正确率和/或降低误识率。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于标签不确定性和人体组件模型的行人再识别方法。
背景技术
随着深度神经网络与计算机视觉技术的发展与进步，以及大规模数据存储技术的飞速发展，行人视频监控因为既能提高公共安全管理的水平，也可以保障人民的人身财产安全，愈发成为各个国家保障人民生活质量的重要手段。行人视频监控能够在大规模图像与视频数据中，实现智能地搜寻特定的行人。随着应用需求以及技术的发展与进步，行人再识别已经成为计算机视觉领域中具有挑战性与实际研究价值的热点。
行人再识别技术从传统的手工特征设计与度量学习方法，发展到现今广泛使用的深度神经网络。基于经验的手工特征设计存在特征挖掘不全面、不完善等特征表达能力弱的缺点，而基于手工特征的距离度量方法泛化能力又较差。近年来流行的卷积神经网络在计算机视觉领域大放异彩，能够挖掘出更多更深的特征，具体地能够发掘图像局部与局部之间的交叉信息，以及更高阶的特征交叉。研究人员也将其应用在行人再识别领域，借鉴人脸识别技术的发展，基于深度学习的行人再识别方法也得到了迅速的发展与进步，譬如基于二元组使用Contrastive Loss的Siamese网络，对比验证是否为同一个行人；和基于三元组使用Triplet Loss的网络，使得相同行人特征更为相似，而使得不同行人特征差异更大。
但是，与人脸识别任务不同的是行人图像之间存在行人对齐、光照、姿态、遮挡、背景、分辨率等差异因素，使得行人再识别具有更大的挑战性。现今大多数研究的主流做法都是通过神经网络抽象得到特征进行表达，进而进行分类。进一步，基于行人人体结构的特点，将通过神经网络后学习出的行人图像特征图进行水平划分，将单一分类任务划分为多个平等的分类任务，最后在测试中将多个任务中的水平特征进行拼接，再进行距离度量，该方法可以在一定程度上缓解行人图像中存在的对齐、遮挡、姿态等变化因素所带来的识别难度。这种方法的有效性得到了验证并且较大幅度提高了相应的识别率，但也尚有不足之处，包括局部信息不完全准确以及各个局部的分类置信度差异较大的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于标签不确定性和人体组件模型的行人再识别方法。本发明针对局部信息不完全准确和不同局部的分类置信度差异，提出一种柔性标签和引入包含sigmoid函数的交叉熵损失函数监督网络的训练。通过对各个局部组件损失分别赋予不同权重并采用设置人工阈值的方法，来规避一些损失值较小的样本对模型训练带来的干扰。
本发明的目的能够通过以下技术方案实现：
一种基于标签不确定性和人体组件模型的行人再识别方法，具体步骤包括：
(1)构建基于人体组件的深度神经网络模型；
(2)对构建的深度神经网络模型进行初始化，并根据构建的深度神经网络结构训练得到另一个模型；
(3)对初始化后的深度神经网络模型进行训练并更新网络中的参数；
(4)采用训练好的深度神经网络对目标行人图像及行人图像库中的行人图像分别进行特征提取；
(5)对提取得到的特征进行余弦相似度计算并排序，得到识别结果。
具体地，所述步骤(1)中，以ResNet-50网络为基础结构，进行修改调整，构建基于人体组件的P个分类任务的深度神经网络模型。
更进一步地，所述深度神经网络构建方法为：在ResNet-50网络中剔除掉输出维度为1000的全连接层，将layer4中降采样率stride＝2修改为stride＝1；在池化层后划分为P个部分，每个部分均包含N个神经元的全连接层、批量归一化层和Dropout层，最后接上分类全连接层。
具体地，所述步骤(2)中，采用在行人再识别的常用数据集Market-1501中预训练后的分类模型的参数对构建的深度神经网络模型进行初始化。
具体地，所述步骤(2)中，训练后得到的另一个深度神经网络模型用于提取稠密型向量，提取方法为：各自从一个已训练好的深度神经网络模型的P个对应组件的分类层中提取，得到P个稠密型向量。
具体地，所述步骤(3)包括：
(3-1)采用softmax函数对得到的稠密型向量进行归一化处理，再与行人图像原始one-hot标签进行线性组合后作为待训练模型图像的输入标签；
(3-2)针对不同的局部组件，设置不同权重；
(3-3)针对每一个样本设置阈值，对于损失值小于样本阈值的样本，忽略其对损失函数的贡献，即将损失设置为零；
(3-4)采用随机梯度下降法对局部组件的包含sigmoid函数的交叉熵损失函数的加权和求最优解，从而进行深度神经网络参数的更新。
更进一步地，所述步骤(3-1)中的线性组合公式为：
其中，
表示得到的稠密型向量，
表示行人图像的原始one-hot标签，alpha表示超参数。
更进一步地，所述步骤(3-2)中权重设置为：偏重于行人图像中间局部组件损失的计算，将靠上和靠下的局部组件损失计算的权重逐渐减小。
更进一步地，采用随机梯度下降法计算时，包含sigmoid函数的交叉熵损失函数的表达式为：
其中，K表示一个批量中输入行人图像的个数，i表示输入行人图像的编号，yi表示第i张行人图像的输入标签，xi表示通过深度神经网络分类的概率结果，σ表示sigmoid函数。
具体地，所述步骤(4)中特征提取过程为：将目标行人图像及行人图像库中的行人图像输入训练后得到的深度神经网络中，各自在P个部分中选择输出维度为2048的全连接层，分别提取该层的特征向量，并将每部分的特征进行拼接，形成最终的特征向量。
本发明相较于现有技术，具有以下的有益效果：
本发明针对局部信息不完全准确的缺点，提出了一种柔性标签和引入包含sigmoid函数的交叉熵损失函数监督网络的训练；针对不同局部的分类置信度差异，对各个局部损失计算给予不同权重；本发明同时采用了设置人工阈值的方法来规避一些损失值较小的样本对模型训练带来的干扰。本发明能够有效地提高行人再识别的性能，具有广泛的应用价值。
附图说明
图1为本发明实施例中一种基于标签不确定性和人体组件模型的行人再识别方法的流程图。
图2为本发明实施例中行人再识别模型中卷积神经网络的结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示为一种基于标签不确定性和人体组件模型的行人再识别方法的流程图，具体步骤包括：
(1)构建基于人体组件的深度神经网络模型；
所述步骤(1)中，以ResNet-50网络为基础结构，进行修改调整。
在本实施例中，构建基于人体组件的6个分类任务的深度神经网络模型。
所述深度神经网络构建方法为：在ResNet-50网络中剔除掉输出维度为1000的全连接层，将layer4中降采样率stride＝2修改为stride＝1；在池化层后划分为6个部分，每个部分均包含256个神经元的全连接层、批量归一化层和Dropout层，最后接上分类全连接层。
(2)对构建的深度神经网络模型进行初始化，并根据构建的深度神经网络结构训练得到另一个模型；
具体地，所述步骤(2)中，采用在行人再识别的常用数据集Market-1501中预训练后的分类模型的参数对构建的深度神经网络模型进行初始化。
具体地，所述步骤(2)中，训练后得到的另一个深度神经网络模型用于提取稠密型向量，提取方法为：各自从一个已训练好的深度神经网络模型的6个对应组件的分类层中提取，得到6个稠密型向量。
(3)对初始化后的深度神经网络模型进行训练并更新网络中的参数；
具体地，所述步骤(3)包括：
(3-1)采用softmax函数对得到的稠密型向量进行归一化处理，再与行人图像原始one-hot标签进行线性组合后作为待训练模型图像的输入标签；
(3-2)针对6个不同的局部组件，设置不同权重；
(3-3)针对每一个样本设置阈值0.3，对于损失值小于样本阈值的样本，忽略其对损失函数的贡献，即将损失设置为零；
(3-4)采用随机梯度下降法对局部组件的包含sigmoid函数的交叉熵损失函数的加权和求最优解，从而进行深度神经网络参数的更新。
更进一步地，所述步骤(3-1)中的线性组合公式为：
其中，
表示得到的稠密型向量，
表示行人图像的原始one-hot标签，alpha表示超参数，在本实施例中，alpha设置为0.2。
更进一步地，所述步骤(3-2)中权重设置为：偏重于行人图像中间局部组件损失的计算，将靠上和靠下的局部组件损失计算的权重逐渐减小。
更进一步地，采用随机梯度下降法计算时，包含sigmoid函数的交叉熵损失函数的表达式为：
其中，K表示一个批量中输入行人图像的个数，i表示输入行人图像的编号，yi表示第i张行人图像的输入标签，xi表示通过深度神经网络分类的概率结果，σ表示sigmoid函数。
(4)采用训练好的深度神经网络对目标行人图像及行人图像库中的行人图像分别进行特征提取；
具体地，所述步骤(4)中特征提取过程为：将目标行人图像及行人图像库中的行人图像输入训练后得到的深度神经网络中，各自在6个部分中选择输出维度为2048的全连接层，分别提取该层的特征向量，并将每部分的特征进行拼接，形成最终的特征张量，维度为6*2048＝12288。
(5)对提取得到的特征进行余弦相似度计算并排序，得到识别结果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种基于标签不确定性和人体组件模型的行人再识别方法，其特征在于，具体步骤包括：
(1)构建基于人体组件的深度神经网络模型；
(2)对构建的深度神经网络模型进行初始化，并根据构建的深度神经网络结构训练得到另一个深度神经网络模型；
所述步骤(2)中，训练后得到的另一个深度神经网络模型用于提取稠密型向量，提取方法为：各自从一个已训练好的深度神经网络模型的P个对应组件的分类层中提取，得到P个稠密型向量；
(3)对初始化后的深度神经网络模型进行训练并更新网络中的参数；
所述步骤(3)包括：
(3-1)采用softmax函数对得到的稠密型向量进行归一化处理，再与行人图像原始one-hot标签进行线性组合后作为待训练模型图像的输入标签；
(3-2)针对不同的局部组件，设置不同权重；
所述步骤(3-2)中权重设置为：偏重于行人图像中间局部组件损失的计算，将靠上和靠下的局部组件损失计算的权重逐渐减小；
(3-3)针对每一个样本设置阈值，对于损失值小于样本阈值的样本，忽略其对损失函数的贡献，即将损失设置为零；
(3-4)采用随机梯度下降法对局部组件的包含sigmoid函数的交叉熵损失函数的加权和求最优解，从而进行深度神经网络参数的更新；
(4)采用训练好的深度神经网络对目标行人图像及行人图像库中的行人图像分别进行特征提取；
(5)对提取得到的特征进行余弦相似度计算并排序，得到识别结果。
2.根据权利要求1所述的一种基于标签不确定性和人体组件模型的行人再识别方法，其特征在于，所述步骤(1)中，以ResNet-50网络为基础结构进行修改调整，构建基于人体组件的P个分类任务的深度神经网络模型。
3.根据权利要求2所述的一种基于标签不确定性和人体组件模型的行人再识别方法，其特征在于，所述深度神经网络构建方法为：在ResNet-50网络中剔除掉输出维度为1000的全连接层，将layer4中降采样率stride＝2修改为stride＝1；在池化层后划分为P个部分，每个部分均包含N个神经元的全连接层、批量归一化层和Dropout层，最后接上分类全连接层。
4.根据权利要求1所述的一种基于标签不确定性和人体组件模型的行人再识别方法，其特征在于，所述步骤(2)中，采用在行人再识别的常用数据集Market-1501中预训练后的分类模型的参数对构建的深度神经网络模型进行初始化。
5.根据权利要求1所述的一种基于标签不确定性和人体组件模型的行人再识别方法，其特征在于，所述步骤(3-1)中的线性组合公式为：
其中，
表示得到的稠密型向量，
表示行人图像的原始one-hot标签，alpha表示超参数。
6.根据权利要求1所述的一种基于标签不确定性和人体组件模型的行人再识别方法，其特征在于，采用随机梯度下降法计算时，包含sigmoid函数的交叉熵损失函数的表达式为：
其中，K表示一个批量中输入行人图像的个数，i表示输入行人图像的编号，yi表示第i张行人图像的输入标签，xi表示通过深度神经网络分类的概率结果，σ表示sigmoid函数。
7.根据权利要求1所述的一种基于标签不确定性和人体组件模型的行人再识别方法，其特征在于，所述步骤(4)中特征提取过程为：将目标行人图像及行人图像库中的行人图像输入训练后得到的深度神经网络中，各自在P个部分中选择输出维度为2048的全连接层，分别提取该层的特征向量，并将每部分的特征进行拼接，形成最终的特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910072934.9A CN109829414B (zh) | 2019-01-25 | 2019-01-25 | 一种基于标签不确定性和人体组件模型的行人再识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910072934.9A CN109829414B (zh) | 2019-01-25 | 2019-01-25 | 一种基于标签不确定性和人体组件模型的行人再识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109829414A CN109829414A (zh) | 2019-05-31 |
| CN109829414B true CN109829414B (zh) | 2020-11-24 |
Family
ID=66862396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910072934.9A Active CN109829414B (zh) | 2019-01-25 | 2019-01-25 | 一种基于标签不确定性和人体组件模型的行人再识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829414B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
| CN110516533B (zh) * | 2019-07-11 | 2023-06-02 | 同济大学 | 一种基于深度度量的行人再辨识方法 |
| CN111130697B (zh) * | 2019-12-24 | 2022-04-19 | 重庆邮电大学 | 一种降低基于自动编码器的通信物理层传输系统复杂度的方法 |
| CN111178228A (zh) * | 2019-12-26 | 2020-05-19 | 中云智慧（北京）科技有限公司 | 一种基于深度学习的人脸识别方法 |
| CN112200093B (zh) * | 2020-10-13 | 2022-08-30 | 北京邮电大学 | 一种基于不确定性估计的行人再识别方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106446946B (zh) * | 2016-09-22 | 2020-07-21 | 北京小米移动软件有限公司 | 图像识别方法及装置 |
| CN107066389A (zh) * | 2017-04-19 | 2017-08-18 | 西安交通大学 | 基于集成学习的软件缺陷重新打开的预测方法 |
| US10395385B2 (en) * | 2017-06-27 | 2019-08-27 | Qualcomm Incorporated | Using object re-identification in video surveillance |
| CN108647595B (zh) * | 2018-04-26 | 2021-08-03 | 华中科技大学 | 基于多属性深度特征的车辆重识别方法 |
-
2019
- 2019-01-25 CN CN201910072934.9A patent/CN109829414B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| "Unsupervised Cross-dataset Person Re-identification by Transfer Learning of";Jianming Lv.et al;《https://arxiv.org/abs/1803.07293》;20180720;全文 * |
| Hessam Bagherinezhad等."Label Refinery: Improving ImageNet".《arXiv：1805.02641v1》.2018, * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109829414A (zh) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829414B (zh) | 一种基于标签不确定性和人体组件模型的行人再识别方法 | |
| CN108960140B (zh) | 基于多区域特征提取和融合的行人再识别方法 | |
| CN110414368B (zh) | 一种基于知识蒸馏的无监督行人重识别方法 | |
| CN111709311B (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
| CN105701502B (zh) | 一种基于蒙特卡罗数据均衡的图像自动标注方法 | |
| CN112507901B (zh) | 一种基于伪标签自纠正的无监督行人重识别方法 | |
| CN109993100B (zh) | 基于深层特征聚类的人脸表情识别的实现方法 | |
| CN110263697A (zh) | 基于无监督学习的行人重识别方法、装置及介质 | |
| CN110188827B (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
| CN108399406A (zh) | 基于深度学习的弱监督显著性物体检测的方法及系统 | |
| CN111666843A (zh) | 一种基于全局特征和局部特征拼接的行人重识别方法 | |
| CN111160533A (zh) | 一种基于跨分辨率知识蒸馏的神经网络加速方法 | |
| CN111723674A (zh) | 基于马尔科夫链蒙特卡洛与变分推断的半贝叶斯深度学习的遥感图像场景分类方法 | |
| CN108595558B (zh) | 一种数据均衡策略和多特征融合的图像标注方法 | |
| CN108345866B (zh) | 一种基于深度特征学习的行人再识别方法 | |
| CN114462489A (zh) | 文字识别模型的训练方法、文字识别方法和设备、电子设备及介质 | |
| CN111259735B (zh) | 基于多级预测特征增强卷积神经网络的单人姿态估计方法 | |
| CN117011883A (zh) | 一种基于金字塔卷积和Transformer双分支的行人重识别方法 | |
| CN114548256A (zh) | 一种基于对比学习的小样本珍稀鸟类识别方法 | |
| CN111161244A (zh) | 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法 | |
| CN112364791A (zh) | 一种基于生成对抗网络的行人重识别方法和系统 | |
| CN115101145B (zh) | 一种基于自适应元学习的药物虚拟筛选方法 | |
| CN116258990A (zh) | 一种基于跨模态亲和力的小样本参考视频目标分割方法 | |
| CN109993070B (zh) | 一种基于全局距离尺度损失函数的行人再识别方法 | |
| CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |