CN113221625A - 一种利用深度学习的局部特征对齐行人重识别方法 - Google Patents
一种利用深度学习的局部特征对齐行人重识别方法 Download PDFInfo
- Publication number
- CN113221625A CN113221625A CN202110229514.4A CN202110229514A CN113221625A CN 113221625 A CN113221625 A CN 113221625A CN 202110229514 A CN202110229514 A CN 202110229514A CN 113221625 A CN113221625 A CN 113221625A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- branch
- network
- local
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 230000006870 function Effects 0.000 claims abstract description 32
- 230000004913 activation Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种利用深度学习的局部特征对齐行人重识别方法,步骤1:获取跨监控摄像头的行人图像数据;步骤2:将得到的行人图像进行图像增强操作后输入该卷积神经网络以提取该行人的多个特征映射,步骤3:将其中一个分支构造成全局分支,其余网络分支构造成三分支局部注意力网络,得到一个具有完整结构信息和语义信息的行人特征表示;步骤4:对于多分支局部注意力网络,设计激活一致性惩罚损失函数;步骤5:将跨监控摄像头的行人图像训练数据全部输入卷积神经网络进行训练;步骤6:将跨监控摄像头的行人图像测试数据全部输入卷积神经网络进行测试,完成行人重识别。本发明提高了行人重识别的匹配精度,便于在实际场景中部署落地。
Description
技术领域
本发明涉及行人重识别技术领域,特别涉及一种利用深度学习的 局部特征对齐行人重识别方法。
背景技术
随着物联网技术近年来飞速发展,监控设备获取的数据已达海量, 传统人工监测方法已经难以从海量视频数据中进行检索筛查,城市监 控系统面临着巨大的挑战,此时急需计算机来代替人工对数据进行分 析与处理,提高检索效率。得益于近年来深度学习、机器学习和计算 机视觉技术的飞速发展,在目标检索、识别、分类、检测等任务中具 有优越表现,从而在智慧城市领域具有广阔的应用前景和意义。
智能视频监控是确保城市安全的重要措施,而行人重识别是此类 智能视频监控的基础和主要组成部分。行人重识别旨在复杂环境下对 行人进行跨摄像头图像检索匹配,从而实现行人检测、行人跟踪、行 人计数等。具体而言,从非重叠多摄像机获取的图像或视频数据库中 查询特定行人,即给定一幅行人图像后在图像库中跨设备检索其所有 图像,在视频监控、安防等领域有重大应用价值,极大的节省了人力 物力。然而现有的行人重识别方法需要大量带有标注信息的行人图像 数据,同时依赖更多标注的信息,比如需要额外标注行人语义信息, 例如帽子、鞋子、背包等,这种方式需要更多的人力做额外的标注, 极大的限制了行人重识别方法的广泛性和普适性;此外,在现实场景 中通常存在部分遮挡、光线、视角、姿态变化等因素影响,从而造成 行人特征难以对齐,导致行人重识别准确率低,因此行人重识别任务 仍然是一个具有巨大挑战性的难题。
发明内容
为了克服现有技术的不足,本发明的目的在于提供一种利用深度 学习的局部特征对齐行人重识别方法,该方法通过多分支局部注意力 网络学习行人辨别性局部特征,即仅靠行人身份ID作为标签而不需 要额外标注,自适应定位行人局部特征并用于行人特征匹配,极大的 提高了行人重识别的匹配精度,更便于在实际场景中部署落地。
为了实现上述目的,本发明采用的技术方案是:
一种利用深度学习的局部特征对齐行人重识别方法,包括以下步 骤;
步骤1:获取跨监控摄像头的行人图像数据,构建行人重识别训 练数据集与测试数据集,数据集中包含不同摄像头拍摄的图像;
步骤2:构造一个四分支卷积神经网络,将步骤1得到的行人图 像进行图像增强操作后输入该卷积神经网络以提取该行人的四个特 征映射,定义为Fg,F1,F2,F3,其中Fg表示为全局分支特征映射,F1,F2,F3分别表示三个局部分支特征映射;
步骤3:将步骤2中的Fg部分造成全局分支,F1,F2,F3部分构造成 三分支局部注意力网络,每个局部注意力网络中都包含一个增强型空 间注意力模型,将步骤2中得到的四个特征映射Fg,F1,F2,F3输入对应 网络,生成一个全局特征fg和三个局部特征f1,f2,f3,最终融合全局特 征fg和三个局部特征f1,f2,f3,得到一个具有完整结构信息和语义信息 的行人特征表示;
步骤4:对于三分支局部注意力网络,设计激活一致性惩罚损失 函数LCAP使步骤3得到的多个局部特征表达为同一行人图像的不同语 义部位;
步骤5:将步骤1的跨监控摄像头的行人图像训练数据全部输入 所述全局分支和局部多分支注意力网络进行训练;
步骤6:将步骤1的跨监控摄像头的行人图像测试数据全部输入 所述全局分支和局部多分支注意力网络进行识别,计算跨监控摄像头 行人特征相似度,然后根据相似度大小进行排序,实现行人重识别。
所述步骤1中具体为:
首先,从多个无交叉的监控摄像头中获取多段行人监控视频;
然后,通过预训练的行人检测器从监控视频中检测所有行人,通 过定位并裁剪行人区域图像构建行人重识别数据集;
最后,使用人工标注的方法对行人图像进行行人类别和摄像头编 号标注,不同行人之间的类和编号不同,循环上述步骤来构建行人重 识别数据集,构建完成后,按照一定比例划分训练数据集与测试数据 集,其中测试数据集又分为查询数据和图库数据,训练数据集和测试 数据集分别用于网络参数训练和最终结果测试。
所述步骤2具体为:
将步骤1得到的行人图像进行随机裁剪、翻转、旋转、归一化的 图像增强操作后输入该四分支卷积神经网络以提取该行人的特征映 射,多分支卷积神经网络由一个共享权重的主干网络和四个独立权重 的子网络相连而构成;其中共享权重的主干网络和四个独立权重的子 网络皆由若干批量归一化层、卷积层、非线性激活层和池化层构成, 其中四分支子网络构造相同但权重独立;给定一个行人图像,首先经 过共享权重的主干网络生成一个特征映射,然后该特征映射分别经过 多个独立权重的子网络生成高维特征映射作为行人特征Fg,F1,F2,F3。
所述步骤3中具体为:
在独立权重的分支网络之后设计一个全局网络和三个局部注意 力网络,其中注意力网络由两个卷积层,一个非线性激活函数构成, 在三个高维特征映射F1,F2,F3,分别经过对应分支后的注意力层之后会 得到三个局部注意力特征F1′,F2′,F3′,和三个注意力激活图w1,w2,w3,,其 中然后将全局特征与多分支局部特征输入 池化层,并且对得到的高维特征Fg,F1,F2,F3进行融合,得到一个具有完 整结构信息和语义信息的行人特征表示。
所述步骤4具体为:
对于局部多分支注意力网络,在获得注意力权重矩阵之后,采用 海林格(Hellinger)距离H(·)度量任意两个LAN分支输出的wi和wj的 一致性,即:
其中,||·||F表示Frobenius范数,I为K维单位阵。使得注意力激 活图w1,w2,w3分别响应行人的不同语义部位。
所述步骤5具体为:
对于每一个分支,设计了一个三元组损失函数L(fa,fp,fn)与一个 交叉熵损失函数L(W*f),其中fa,fn,fp分别表示组成三元组的锚点、正 样本和负样本行人图像的高维特征向量,W表示线性层参数。然后, 将收集到的行人训练图像组成三元组输入至网络,进行前向传播算法 计算得到损失;求解目标函数关于特征的偏导数利用反向传 播算法得出梯度进行参数更新学习。优化目标为以上损失函数和激活 一致性惩罚函数的加和:
L=L(w1,w2,w3)+L(fa,fp,fn)+L(W*f)。
所述步骤6具体为:
对于多个行人视频测试数据,首先利用行人检测器检测多个行人 目标;然后将多个测试行人目标送入上述卷积神经网络得到对应高维 特征向量;最后通过特征相似度函数S(fi,fj)=cos(f1,f2)进行相似度计 算,其中fi,fj分别表示第i个和j个不同输入行人图像,然后根据相似 度大小进行排序,根据相似度最大原则确定行人重识别结果。
本发明的有益效果:
本发明利用注意力机制定位行人有辨别性特征的区域,有效学习 了分布在人体不同部位的关键语义信息,提高了特征提取网络对行人 图像的多粒度特征表达能力;同时,建立了一种基于注意力激活图的 正则化损失函数,利用多分支局部注意力网络得到的激活图,计算不 同分支的激活一致性,建立了基于局部区域激活一致性惩罚的约束; 最后,与多分支局部注意力网络以及全局分支相结合,提出了具有局 部特征多样化的多样化局部注意力网络(Diversified Local Attention Network,DLAN),有效描述了行人图像不同部位间语义信 息的关联性。
进一步的,局部分支越多,学习的局部特征越多,但模型的计算 复杂度越高,实验验证给定局部分支k=3时提出模型在识别精度和复 杂度上得到了平衡;
进一步的,注意力模型利用3×3和1×1的卷积核以及非线性激活 函数对特征进行非线性映射,通过与邻域建立相关性,有效提升了局 部分支定位辨别性局部特征和学习语义信息的能力。
进一步的,基于特征提取网络,融合人体结构信息的全局特征、 局部特征和人体空间结构的语义信息,建立基于深度学习的局部特征 对齐的行人重识别模型,有效提升了模型对行人局部特征对齐的能力, 因此针对局部遮挡和姿态变化带来的特征未对齐问题具有鲁棒性与 有效性。
本发明不仅能有效定位辨别性特征区域、提取全局结构信息和局 部语义信息,而且能更有效地处理遮挡问题,具有更强的鲁棒性。
附图说明
图1为本发明的流程图。
图2为行人重识别匹配结果示意图。
具体实施方式
下面结合实施例对本发明作进一步详细说明。
如图1所示:
本发明一种基于深度学习的局部特征对齐行人重识别方法,包 括以下步骤:
1.获取跨监控摄像头的行人图像数据,构建行人重识别训练数 据集与测试数据集,数据集中应包含一定数量的行人图像。具体步骤 包括:
首先,从多个无交叉的监控摄像头中获取多段行人监控视频;然 后,通过预训练的行人检测器从监控视频中检测所有行人,通过定位 并裁剪行人区域图像构建行人重识别数据集;最后,使用人工标注的 方法对行人图像进行行人类别和摄像头编号标注,不同行人之间的类 和编号不同。循环上述步骤来构建行人重识别数据集,构建完成后, 按照一定比例划分训练数据集、测试数据集,分别用于网络参数训练 和最终结果测试。
2.构造一个四分支卷积神经网络,用于提取同一行人的全局特 征和三个局部语义特征。具体步骤包括:
首先构建一个四分支卷积神经网络,该网络由一个共享权重的主 干网络和四个构造相同但权重独立的子网络相连而构成;其中共享权 重的主干网络由ResNet-50网络的前四个残差块构成,四个独立权重 的网络由ResNet-50网络的第五个残差块构成。给定一个输入行人图 像,首先经过共享权重的主干网络生成1024维的特征映射,然后该 特征向量分别经过四个独立权重的子网络生成四个2048维特征映射, 定义为Fg,F1,F2,F3。
3.在三个局部分支后构建注意力网络。具体步骤包括:
在三个分支局部网络之后分别设计一个注意力网络,该注意力网 络由两个卷积层,一个非线性激活函数构成。在F1,F2,F3特征映射分别 经过对应分支的注意力层之后会分别得到三个对应的注意力激活图 w1,w2,w3,其次将三个注意力激活图w1,w2,w3与对应的三个2048维特 征映射F1,F2,F3进行矩阵相乘的操作,使得F1,F2,F3特征映射能够响应同 一输入行人图像的不同的部位,最后各自通过一个池化层得到三个高 维特征向量f1,f2,f3。
4.设计一个一致性激活惩罚函数使得不同的注意力网络可以关 注同一行人图像的不同部位。具体步骤包括:
对于单个局部注意力网络分支,在获得注意力权重矩阵之后,采 用海林格(Hellinger)距离H(·)度量任意两个LAN分支输出的wi和wj的一致性,即:
对上式求平方可得:
其中,||·||F表示Frobenius范数,I为K维单位阵。使得注意力激 活图w1,w2,w3分别响应行人的不同语义部位。
对于每一个分支,设计了一个三元组损失函数L(fa,fp,fn)与一个交 叉熵损失函数L(W*f),其中fa,fn,fp分别表示组成三元组的锚点、正 样本和负样本行人图像的高维特征向量,W表示线性层参数。然后, 将收集到的行人训练图像组成三元组输入至网络,进行前向传播算法 计算得到损失;求解目标函数关于特征的偏导数利用反向传 播算法得出梯度进行参数更新学习。优化目标为以上损失函数和激活 一致性惩罚函数的加和:
L=L(w1,w2,w3)+L(fa,fp,fn)+L(W*f)
5.使用跨监控摄像头的行人图像训练数据对网络进行训练。具 体步骤包括:
6.计算跨监控摄像头行人特征相似度,根据相似度大小进行排序, 完成行人重识别,具体步骤包括:
对于多个行人视频数据,首先利用检测器检测多个目标行人;然 后将多个目标行人送入上述卷积神经网络得到对应高维特征向量;最 后通过特征相似度函数S(fi,fj)=cos(f1,f2)进行相似度计算,其中fi,fj分 别指不同输入行人图像i和行人图像j,根据相似度大小进行排序,完 成行人重识别。识别匹配结果如图2所示,图2中从上到下四行图分 别为数据集Market1501、DukeMTMC-reID、CHUK03的匹配结果,每行 第一张代表查询图像,第2-6张代表查询结果,图片上绿色框代表查 询正确,红色代表查询错误。
从匹配结果可以发现,模型在CUHK03数据集上有匹配错误的行 人图像,由于CUHK03数据集中有较多的部分遮挡、半身照等图片, 导致整体平均匹配精度比其他两个数据集低,这说明带遮挡的行人图 像对于行人重识别存在巨大干扰,是行人重识别任务中的一大挑战; 虽然,在CUHK03数据集上的表现不如其他数据集,但是DLAN模型采 用多分支的局部注意力网络定位辨别性特征,并设计一致性激活惩罚 损失函数优化多分支局部注意力网络,使其具有更强的定位和提取特 征的能力。此外,DLAN通过将具有全局结构信息的全局特征和具有局 部语义信息的辨别性局部特征进行融合,获得更完善的行人特征描述,使DLAN的整体性能优于基于深度学习的同类其他方法。由此可以看 出,本发明提出的DLAN模型对部分遮挡具有较强的鲁棒性,显著提 高了行人重识别的精度,特别是平均匹配精度。
表1本发明方法和现有方法在Market1501和DukeMTMC-REID数据 集上的mAP和Rank-1结果
表2本发明方法和现有方法在CUHK03-NP数据集上的mAP和Rank-1 结果
表1与表2中:
[1]SUN Yifan,ZHENG Liang,YANG Yi,et al.Beyond part models:Personretrieval with refined part pooling(and a strong convolutional baseline)[C].Proceedings of the European Conference on Computer Vision,Munich,Germany,2018:480-496.doi:10.1007/978-3-030-01225-0_30.
[2]DAI Zuozhuo,CHEN Mingqiang,ZHU Siyu,et al.Batch dropblock networkfor person re-identification and beyond[C].Proceedings of the IEEEInternational Conference on Computer Vision,Seoul,Korea,2019:.3691–3701.doi:10.1109/ICCV.2019.00379.
[3]CHEN Binghui,DENG Weihong,and HU Jiani.Mixed high- order attentionnetwork for person re-identification[C]. Proceedings of the IEEEInternational Conference on Computer Vision,Seoul,Korea,2019:371-381.doi:10.1109/ICCV.2019.00046.
[4]ZHOU Jieming,ROY S,FANG Pengfei,et al.Cross- Correlated AttentionNetworks for Person Re- Identification[J].Image and Vision Computing,2020:103931.doi:10.1016/j.imavis.2020.103931.
表1列出了本发明方法和其他现有方法在Market1501和 DukeMTMC-REID数据集上的mAP(Mean Average Precision,平均精 度均值)和CMC(Cumulative MatchCharacteristic,累计匹配特 性)结果,表2列出了本发明方法和其他现有方法在CUHK03-NP数 据集上的mAP和CMC结果。对比发现,本发明的准确率较高,在识 别性能上有较大提升,在CUHK03-NP这类好含较多遮挡图像的数据 集上,仍然保持优秀的识别性能,证明了本发明方法的有效性。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的 保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所 做的任何改动,均落入本发明权利要求书的保护范围之内。
Claims (7)
1.一种利用深度学习的局部特征对齐行人重识别方法,其特征在于,包括以下步骤;
步骤1:获取跨监控摄像头的行人图像数据,构建行人重识别训练数据集与测试数据集,数据集中包含不同摄像头拍摄的图像;
步骤2:构造一个四分支卷积神经网络,将步骤1得到的行人图像进行图像增强操作后输入该卷积神经网络以提取该行人的四个特征映射,定义为Fg,F1,F2,F3,其中Fg表示为全局分支特征映射,F1,F2,F3分别表示三个局部分支特征映射;
步骤3:将步骤2中的Fg部分造成全局分支,F1,F2,F3部分构造成三分支局部注意力网络,每个局部注意力网络中都包含一个增强型空间注意力模型,将步骤2中得到的四个特征映射Fg,F1,F2,F3输入对应网络,生成一个全局特征fg和三个局部特征f1,f2,f3,最终融合全局特征fg和三个局部特征f1,f2,f3,得到一个具有完整结构信息和语义信息的行人特征表示;
步骤4:对于三分支局部注意力网络,设计激活一致性惩罚损失函数LCAP使步骤3得到的多个局部特征表达为同一行人图像的不同语义部位;
步骤5:将步骤1的跨监控摄像头的行人图像训练数据全部输入所述全局分支和局部多分支注意力网络进行训练;
步骤6:将步骤1的跨监控摄像头的行人图像测试数据全部输入所述全局分支和局部多分支注意力网络进行识别,计算跨监控摄像头行人特征相似度,然后根据相似度大小进行排序,实现行人重识别。
2.根据权利要求1所述的一种利用深度学习的局部特征对齐行人重识别方法,其特征在于,所述步骤1中具体为:
首先,从多个无交叉的监控摄像头中获取多段行人监控视频;
然后,通过预训练的行人检测器从监控视频中检测所有行人,通过定位并裁剪行人区域图像构建行人重识别数据集;
最后,使用人工标注的方法对行人图像进行行人类别和摄像头编号标注,不同行人之间的类和编号不同,循环上述步骤来构建行人重识别数据集,构建完成后,按照一定比例划分训练数据集与测试数据集,其中测试数据集又分为查询数据和图库数据,训练数据集和测试数据集分别用于网络参数训练和最终结果测试。
3.根据权利要求1所述的一种利用深度学习的局部特征对齐行人重识别方法,其特征在于,所述步骤2具体为:将步骤1得到的行人图像进行随机裁剪、翻转、旋转、归一化的图像增强操作后输入该四分支卷积神经网络以提取该行人的特征映射,多分支卷积神经网络由一个共享权重的主干网络和四个独立权重的子网络相连而构成;其中共享权重的主干网络和四个独立权重的子网络皆由若干批量归一化层、卷积层、非线性激活层和池化层构成,其中四分支子网络构造相同但权重独立;给定一个行人图像,首先经过共享权重的主干网络生成一个特征映射,然后该特征映射分别经过多个独立权重的子网络生成高维特征映射作为行人特征Fg,F1,F2,F3。
7.根据权利要求1所述的一种利用深度学习的局部特征对齐行人重识别方法,其特征在于,所述步骤6具体为:
对于多个行人视频测试数据,首先利用行人检测器检测多个行人目标;然后将多个测试行人目标送入上述卷积神经网络得到对应高维特征向量;最后通过特征相似度函数S(fi,fj)=cos(f1,f2)进行相似度计算,其中fi,fj分别表示第i个和j个不同输入行人图像,然后根据相似度大小进行排序,根据相似度最大原则确定行人重识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110229514.4A CN113221625B (zh) | 2021-03-02 | 2021-03-02 | 一种利用深度学习的局部特征对齐行人重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110229514.4A CN113221625B (zh) | 2021-03-02 | 2021-03-02 | 一种利用深度学习的局部特征对齐行人重识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113221625A true CN113221625A (zh) | 2021-08-06 |
CN113221625B CN113221625B (zh) | 2023-04-07 |
Family
ID=77084794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110229514.4A Active CN113221625B (zh) | 2021-03-02 | 2021-03-02 | 一种利用深度学习的局部特征对齐行人重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113221625B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113947782A (zh) * | 2021-10-14 | 2022-01-18 | 哈尔滨工程大学 | 一种基于注意力机制的行人目标对齐方法 |
CN113989836A (zh) * | 2021-10-20 | 2022-01-28 | 华南农业大学 | 基于深度学习的奶牛牛脸重识别方法、系统、设备及介质 |
CN114694171A (zh) * | 2022-02-22 | 2022-07-01 | 电子科技大学 | 一种基于自监督模式特征增强的行人属性识别方法 |
CN114783003A (zh) * | 2022-06-23 | 2022-07-22 | 之江实验室 | 一种基于局部特征注意力的行人重识别方法和装置 |
CN114998605A (zh) * | 2022-05-10 | 2022-09-02 | 北京科技大学 | 一种恶劣成像条件下图像增强引导的目标检测方法 |
US11810366B1 (en) | 2022-09-22 | 2023-11-07 | Zhejiang Lab | Joint modeling method and apparatus for enhancing local features of pedestrians |
CN117315576A (zh) * | 2023-09-22 | 2023-12-29 | 中交第二公路勘察设计研究院有限公司 | 一种在监控视频中识别指定人员的方法 |
WO2024060321A1 (zh) * | 2022-09-22 | 2024-03-28 | 之江实验室 | 一种用于增强行人局部特征的联合建模方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796057A (zh) * | 2019-10-22 | 2020-02-14 | 上海交通大学 | 行人重识别方法、装置及计算机设备 |
US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
CN111860147A (zh) * | 2020-06-11 | 2020-10-30 | 北京市威富安防科技有限公司 | 行人重识别模型优化处理方法、装置和计算机设备 |
CN112163064A (zh) * | 2020-10-14 | 2021-01-01 | 上海应用技术大学 | 基于深度学习的文本分类方法 |
US20220101644A1 (en) * | 2018-12-18 | 2022-03-31 | Shenzhen Yuntianlifei Technology Co., Ltd. | Pedestrian re-identification method, device, electronic device and computer-readable storage medium |
-
2021
- 2021-03-02 CN CN202110229514.4A patent/CN113221625B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220101644A1 (en) * | 2018-12-18 | 2022-03-31 | Shenzhen Yuntianlifei Technology Co., Ltd. | Pedestrian re-identification method, device, electronic device and computer-readable storage medium |
US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
CN110796057A (zh) * | 2019-10-22 | 2020-02-14 | 上海交通大学 | 行人重识别方法、装置及计算机设备 |
CN111860147A (zh) * | 2020-06-11 | 2020-10-30 | 北京市威富安防科技有限公司 | 行人重识别模型优化处理方法、装置和计算机设备 |
CN112163064A (zh) * | 2020-10-14 | 2021-01-01 | 上海应用技术大学 | 基于深度学习的文本分类方法 |
Non-Patent Citations (2)
Title |
---|
XINWEI HE等: "Triplet-Center Loss for Multi-View 3D Object Retrieval", 《CVPR_2018》 * |
严利雄等: "基于注意力机制的红外图像和自然图像电力设备异常检测方法研究", 《通信电源技术》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113947782A (zh) * | 2021-10-14 | 2022-01-18 | 哈尔滨工程大学 | 一种基于注意力机制的行人目标对齐方法 |
CN113947782B (zh) * | 2021-10-14 | 2024-06-07 | 哈尔滨工程大学 | 一种基于注意力机制的行人目标对齐方法 |
CN113989836A (zh) * | 2021-10-20 | 2022-01-28 | 华南农业大学 | 基于深度学习的奶牛牛脸重识别方法、系统、设备及介质 |
CN114694171A (zh) * | 2022-02-22 | 2022-07-01 | 电子科技大学 | 一种基于自监督模式特征增强的行人属性识别方法 |
CN114694171B (zh) * | 2022-02-22 | 2023-10-10 | 电子科技大学 | 一种基于自监督模式特征增强的行人属性识别方法 |
CN114998605A (zh) * | 2022-05-10 | 2022-09-02 | 北京科技大学 | 一种恶劣成像条件下图像增强引导的目标检测方法 |
CN114783003A (zh) * | 2022-06-23 | 2022-07-22 | 之江实验室 | 一种基于局部特征注意力的行人重识别方法和装置 |
WO2023082784A1 (zh) * | 2022-06-23 | 2023-05-19 | 之江实验室 | 一种基于局部特征注意力的行人重识别方法和装置 |
US11699290B1 (en) | 2022-06-23 | 2023-07-11 | Zhejiang Lab | Pedestrian re-identification method and apparatus based on local feature attention |
US11810366B1 (en) | 2022-09-22 | 2023-11-07 | Zhejiang Lab | Joint modeling method and apparatus for enhancing local features of pedestrians |
WO2024060321A1 (zh) * | 2022-09-22 | 2024-03-28 | 之江实验室 | 一种用于增强行人局部特征的联合建模方法和装置 |
CN117315576A (zh) * | 2023-09-22 | 2023-12-29 | 中交第二公路勘察设计研究院有限公司 | 一种在监控视频中识别指定人员的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113221625B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113221625B (zh) | 一种利用深度学习的局部特征对齐行人重识别方法 | |
CN107832672B (zh) | 一种利用姿态信息设计多损失函数的行人重识别方法 | |
CN108764065B (zh) | 一种行人重识别特征融合辅助学习的方法 | |
CN112101150B (zh) | 一种基于朝向约束的多特征融合行人重识别方法 | |
CN109948425B (zh) | 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置 | |
Li et al. | A three-step approach for TLS point cloud classification | |
CN109800794B (zh) | 一种外观相似目标的跨相机重识别融合方法及系统 | |
CN104090972B (zh) | 用于三维城市模型检索的图像特征提取和相似性度量方法 | |
CN109559320A (zh) | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统 | |
CN110414368A (zh) | 一种基于知识蒸馏的无监督行人重识别方法 | |
CN111507217A (zh) | 一种基于局部分辨特征融合的行人重识别方法 | |
CN111310668B (zh) | 一种基于骨架信息的步态识别方法 | |
CN107481279A (zh) | 一种单目视频深度图计算方法 | |
Li et al. | JointsGait: A model-based gait recognition method based on gait graph convolutional networks and joints relationship pyramid mapping | |
CN109034035A (zh) | 基于显著性检测和特征融合的行人重识别方法 | |
CN104376334B (zh) | 一种多尺度特征融合的行人比对方法 | |
CN111985367A (zh) | 一种基于多尺度特征融合的行人重识别特征提取方法 | |
Liu et al. | Rotation-invariant siamese network for low-altitude remote-sensing image registration | |
CN112199983A (zh) | 一种多层次筛选的长时间大范围行人再识别方法 | |
CN104281572A (zh) | 一种基于互信息的目标匹配方法及其系统 | |
CN104463962B (zh) | 基于gps信息视频的三维场景重建方法 | |
CN111310720A (zh) | 基于图度量学习的行人重识别方法及系统 | |
Zhao et al. | TransFG: A Cross-View Geo-Localization of Satellite and UAVs Imagery Pipeline Using Transformer-Based Feature Aggregation and Gradient Guidance | |
Liu et al. | Locate where you are by block joint learning network | |
Zhang et al. | Ctsd: A dataset for traffic sign recognition in complex real-world images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |