CN113221770A - 基于多特征混合学习的跨域行人重识别方法及系统 - Google Patents
基于多特征混合学习的跨域行人重识别方法及系统 Download PDFInfo
- Publication number
- CN113221770A CN113221770A CN202110542231.5A CN202110542231A CN113221770A CN 113221770 A CN113221770 A CN 113221770A CN 202110542231 A CN202110542231 A CN 202110542231A CN 113221770 A CN113221770 A CN 113221770A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- features
- domain
- attribute
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000000605 extraction Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Abstract
本发明提供一种基于多特征混合学习的跨域行人重识别方法及系统，属于计算机视觉技术领域，利用联合训练好的重识别模型，提取待识别的行人图像以及图像底库gallery中与待识别的行人图像中的行人身份相近的底库图像的行人全局特征、行人属性特征以及行人局部特征；将提取的待识别的各特征进行融合，与底库图像的各特征融合后的特征进行相似度匹配排序，得到行人重识别结果。本发明利用域间联合训练多特征混合学习减小域间差异性，使系统更稳定，鲁棒性更强，将不同场景的图像通过全局与局部特征的源域训练以及属性特征的联合训练，结合行人属性，提升了跨域下行人重识别模型的自适应能力，对跨域的数据集合进行行人重识别，提高了跨域行人重识别性能。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于多特征混合学习的跨域行人重识别方法及系统。
背景技术
行人重识别旨在从不同摄像头视角匹配同一个目标人物的过程，其在交通、公共安防和视频监控中起着重要作用。行人重识别任务主要包含特征提取和相似度度量两个步骤。传统的行人重识别方法，其特征提取的思路主要为手工提取一些低级的图像特征，对于重识别准确度较低。近年来，随着卷积神经网络和深度学习的快速发展，越来越多的深度学习模型被应用于行人重识别问题。这也使得行人重识别性能不断攀升。
随着大数据集合的出现，不同数据集之间存在很大的域偏差，具有不同的数据分布，而图像的风格、光照和遮挡等信息也千差万别，在一个数据集上训练的模型直接应用于另外一个数据集上时，行人重识别性能会出现大幅度的下降。目前，基于深度学习的行人重识别在单一特征学习方面已经非常成熟，对于多特征混合学习的方法研究还比较少。
发明内容
本发明的目的在于提供一种减小域间差异性、使系统更稳定、鲁棒性更强，提高了跨域行人重识别模型的自适应能力的基于多特征混合学习的跨域行人重识别方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
第一方面，本发明提供一种基于多特征混合学习的跨域行人重识别方法，包括：
利用联合训练好的重识别模型，提取待识别的行人图像以及图像底库gallery中与待识别的行人图像中的行人身份相近的底库图像的行人全局特征、行人属性特征以及行人局部特征；其中，重识别模型使用带有身份标签和属性伪标签的源域以及带有身份伪标签的目标域联合训练得到；
将待识别的行人全局特征、行人属性特征以及行人局部特征进行融合，与底库图像的行人全局特征、行人属性特征以及行人局部特征融合后的特征进行相似度匹配排序，得到行人重识别结果。
优选的，联合训练所述重识别模型包括：
将待识别目标场景下采集的行人图像作为目标域，对目标域进行属性伪标注，将另一场景下采集的行人图像作为源域，对源域进行身份标注和属性伪标注；
提取源域的全局特征、局部特征和属性特征，利用源域的全局特征、局部特征分别训练全局特征提取分支和局部特征提取分支；
提取目标域的属性特征，结合源域的属性特征，联合训练属性特征提取分支；
训练好的全局特征提取分支、属性特征提取分支以及局部特征提取分支，共同组成所述重识别模型。
优选的，对于源域图像，经过ResNet-50网络前三层提取深度特征，从第四层开始分为三个分支，分别为全局特征提取分支、属性特征提取分支和局部特征提取分支；
对目标域图像，经过ResNet-50网络前三层提取深度特征后，只进行有监督的属性特征学习。
优选的，利用源域数据的身份标签训练所述全局特征提取分支，第四层到第五层完成下采样，经过池化降维，为每个人图像提取一个全局特征表示向量，通过Softmax激活函数Lsoftmax来计算表征学习损失。
优选的，利用源域数据的身份标签，通过均匀分块的Part-based ConvolutionalBaseline框架，学习区域聚集特征。
优选的，经过ResNet-50网络前三层提取深度特征后，丢弃平均池化前的下采样层，按照水平方向均匀分成3部分，分为头部、上半身、下半身，然后各自进行平均池化，得到3个列向量，使用1x1卷积对列向量降维通道数，得到三个局部特征，然后接3个FC层，通过Softmax损失函数Lsoftmax进行分类。
优选的，利用源域属性伪标签和目标域属性伪标签训练所述属性特征提取分支，经过ResNet-50网络前三层提取深度特征后，经过池化降维，再通过引入的行人语义属性伪标签，利用softmax作为最后的分类输出，优化交叉熵损失函数。
优选的，Softmax损失函数为：
其中，N表示总共样本个数，Wi表示当前样本的类别标签，Wk表示网络提取到的属于第k类的特征值，C表示总共的分类个数，通过损失函数可以测量真实分类结果与预测分类结果之间的误差大小，然后基于该误差对网络权值进行优化和修正。
第二方面，本发明提供一种基于多特征混合学习的跨域行人重识别系统，包括：
提取模块，用于利用联合训练好的重识别模型，提取待识别的行人图像以及图像底库gallery中与待识别的行人图像中的行人身份相近的底库图像的行人全局特征、行人属性特征以及行人局部特征；其中，重识别模型使用带有身份标签和属性伪标签的源域以及带有身份伪标签的目标域联合训练得到；
识别模块，用于将待识别的行人全局特征、行人属性特征以及行人局部特征进行融合，与底库图像的行人全局特征、行人属性特征以及行人局部特征融合后的特征进行相似度匹配排序，得到行人重识别结果。
第三方面，本发发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行如上所述的基于多特征混合学习的跨域行人重识别方法的指令。
第四方面，本发明提供一种电子设备，包括如上所述的非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
本发明有益效果：利用域间联合训练多特征混合学习能够减小域间差异性，使系统更稳定，鲁棒性更强。将不同摄像头视角下输入的图像通过全局与局部特征的源域训练以及属性特征的联合训练，进行混合学习后，进行图片对比匹配，结合行人属性这一稳定特征，起到作为“不变标签”的作用，提升了跨域下行人重识别模型的自适应能力，对跨域的数据集合进行行人重识别，提高了跨域行人重识别性能。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的基于多特征混合学习的行人重识别模型训练框架示意图。
图2为本发明实施例所述的行人重识别测试流程示意图。
图3为本发明实施例所述的基于多特征混合学习的联合训练网络示意图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本发明实施例1提供一种基于多特征混合学习的跨域行人重识别系统，该系统包括：
提取模块，用于利用联合训练好的重识别模型，提取待识别的行人图像以及图像底库gallery中与待识别的行人图像中的行人身份相近的底库图像的行人全局特征、行人属性特征以及行人局部特征；其中，重识别模型使用带有身份标签和属性伪标签的源域以及带有身份伪标签的目标域训练得到；
识别模块，用于将待识别的行人全局特征、行人属性特征以及行人局部特征进行融合，与底库图像的行人全局特征、行人属性特征以及行人局部特征融合后的特征进行相似度匹配排序，得到行人重识别结果。
在本实施例1中，利用上述的基于多特征混合学习的跨域行人重识别系统，实现了基于多特征混合学习的跨域行人重识别方法，该方法包括：
利用训练好的重识别模型，提取待识别的行人图像以及图像底库gallery中与待识别的行人图像中的行人身份相近的底库图像的行人全局特征、行人属性特征以及行人局部特征；其中，重识别模型使用带有身份标签和属性伪标签的源域以及带有身份伪标签的目标域训练得到；
将待识别的行人全局特征、行人属性特征以及行人局部特征进行融合，与底库图像的行人全局特征、行人属性特征以及行人局部特征融合后的特征进行相似度匹配排序，得到行人重识别结果。
在本实施例1中，联合训练所述重识别模型包括：
将待识别目标场景下采集的行人图像作为目标域，对目标域进行属性伪标注，将另一场景下采集的行人图像作为源域，对源域进行身份标注和属性伪标注；
提取源域的全局特征、局部特征和属性特征，利用源域的全局特征、局部特征分别训练全局特征提取分支和局部特征提取分支；
提取目标域的属性特征，结合源域的属性特征，联合训练属性特征提取分支；
训练好的全局特征提取分支、属性特征提取分支以及局部特征提取分支，共同组成所述重识别模型。
对于源域图像，经过ResNet-50网络前三层提取深度特征，从第四层开始分为三个分支，分别为全局特征提取分支、属性特征提取分支和局部特征提取分支；
对目标域图像，经过ResNet-50网络前三层提取深度特征后，只进行有监督的属性特征学习。
利用源域数据的身份标签训练所述全局特征提取分支，第四层到第五层完成下采样，经过池化降维，为每个人图像提取一个全局特征表示向量，通过Softmax激活函数Lsoftmax来计算表征学习损失。
利用源域数据的身份标签，通过均匀分块的Part-based ConvolutionalBaseline框架，学习区域聚集特征。
经过ResNet-50网络前三层提取深度特征后，丢弃平均池化前的下采样层，按照水平方向均匀分成3部分，分为头部、上半身、下半身，然后各自进行平均池化，得到3个列向量，使用1x1卷积对列向量降维通道数，得到三个局部特征，然后接3个FC层，通过Softmax损失函数Lsoftmax进行分类。
利用源域属性伪标签和目标域属性伪标签训练所述属性特征提取分支，经过ResNet-50网络前三层提取深度特征后，经过池化降维，再通过引入的行人语义属性伪标签，利用softmax作为最后的分类输出，优化交叉熵损失函数，其通过损失函数可以测量真实分类结果与预测分类结果之间的误差大小，然后基于该误差对网络权值进行优化和修正。
Softmax损失函数为：
其中，N表示总共样本个数，Wi表示当前样本的类别标签，Wk表示网络提取到的属于第k类的特征值，C表示总共的分类个数。
本实施例1中，通过全局与局部特征的源域训练以及属性特征的联合训练，即同时在源域数据集合与目标域数据集合上进行混合学习，经过多特征混合学习的行人重识别方法模型，对源域数据集合样本，同时施加全局、属性以及局部三种特征监督进行训练，因为属性特征起到作为不同域数据集合间“不变标签”的作用，故对目标域数据集合样本，仅施加属性特征监督进行域间数据的联合训练，从而完成多特征混合学习的跨域行人重识别。
本实施例1所述的行人重识别方法，不同于单域行人重识别方法，针对存在域间差异性的场景而设计，由于引入属性信息这一“不变标签”作为源域和目标域数据集合联合训练的共同任务，可以使模型的自适应能力更强，系统鲁棒性更强，通过混合学习的方式缩小域间差异性，提高了跨域行人重识别的性能。该算法复杂度低，不需要在目标域迭代训练或更新，并且检索效率高。
实施例2
本实施例2提供一种基于多特征混合学习的跨域行人重识别方法，所述方法包括：
步骤S0，数据采集。跨域跨摄像头采集数据，记源域数据集合为S，S域具有身份ID标签与属性伪标签，记目标域数据集合为T，T域只有属性伪标签，将每一个数据集合分为训练集和测试集；
步骤S1，预处理。将采集到的数据集中视频连续截图进行图像预处理，如缩放，裁剪，取均值，归一化等，同一个人尽量有多张全身照片；
步骤S2，混合学习。通过全局与局部特征的源域学习以及属性特征的联合学习，即同时在源域数据集合S与目标域数据集合T上进行联合训练。
首先，混合学习中对源域数据集合S中的训练集图像进行训练时，具有身份ID标签与属性伪标签。如图1所示：图像经过ResNet-50网络前三层后分为三个分支，分支一进行全局特征学习，分支二进行属性特征学习，分支三进行局部特征学习；
其次，混合学习中对目标域数据集合T中的训练集图像进行训练时，只有属性伪标签，利用属性信息这一“不变标签”作为源域和目标域数据集合联合训练的共同任务。如图1所示：图像经过ResNet-50网络前三层后只进行有监督的属性特征分支学习，其中：
所述分支一，利用身份ID标签训练，为每个人图像提取一个全局特征表示向量，利用softmax作为最后的分类输出，优化交叉熵损失函数，通过损失函数可以测量真实分类结果与预测分类结果之间的误差大小，然后基于该误差对网络权值进行优化和修正；
其中，，其中N表示总共样本个数，Wi表示当前样本的类别标签，Wk表示网络提取到的属于第k类的特征值，C表示总共的分类个数。
所述分支二，利用了额外标注的行人图片的属性信息，例如性别、头发、衣着等属性，通过引入行人属性伪标签计算属性损失，按照分支一中的Softmax损失函数Lsoftmax计算，改进特征表示学习；
所述分支三，通过均匀分块的Part-based Convolutional Baseline(PCB)框架，学习区域聚集特征，通过Softmax损失函数Lsoftmax进行分类，以形成每个人物图像的组合表示，以得到ID预测；
步骤S3，测试阶段。取目标域数据集合T中的测试集图像进行测试，如图2所示，给定一个行人图片作为待查询图片query，在大规模底库gallery中找出与其最相近的同一ID行人图，经过本方法所述的多特征混合学习的联合训练网络，分别得到各分支特征，将多特征融合后，通过对比匹配，根据相似度进行排序，得到行人ID。
在本实施例2中，引入属性信息作为源域和目标域数据集合联合训练的共同任务，该方法不同于单域行人重识别方法，针对存在域间差异性的场景而设计，通过混合学习的方式缩小域间差异性，提高系统鲁棒性、跨域行人重识别的性能。
不同数据集合环境下，照明，视角，背景都有所不同，因此，对源域数据集合适用的行人重识别模型对目标域不一定适用，而行人属性特征稳定，利用这一特点，起到作为域间“不变标签”的作用，能提高网络模型的自适应能力。
在本实施例2中，如图3所示，该方法将全局图像特征、行人属性特征以及人体局部特征，多种特征融合进行混合学习的行人重识别，能够使系统更稳定，提高检索效率。
本发明实施例2所述的方法，要解决的技术问题在于基于多特征混合学习的方法以及跨域进行行人重识别，将不同摄像头视角下输入的图像通过全局与局部特征的源域训练以及属性特征的联合训练，进行混合学习后，进行图片对比匹配，通过行人属性这一稳定特征，起到作为“不变标签”的作用，对跨域的数据集合进行行人重识别，使得跨域行人重识别性能有所提高。
利用域间联合训练多特征混合学习能够减小域间差异性，使系统更稳定，鲁棒性更强，利用属性特征“不变性”提升跨域下行人重识别模型的自适应能力。
实施例3
本发明实施例3提供一种基于多特征混合学习的跨域行人重识别方法，以某行人识别数据集S为例，其包含6个不同视角摄像头数据，其中训练集含12936张图像，共751人，平均每人17.2张训练数据，测试集含19732张图像，共750人；以某行人识别数据集T为例，其包含8个不同视角摄像头数据，其中训练集含16522张图像，共702人，平均每人23.5张训练数据，测试集含17661张图像。
本实施例3所述的行人重识别方法，具体包括如下步骤：
步骤S0，数据采集。将上述某行人识别数据集S记为源域数据集合S，S域具有身份ID标签与属性伪标签，某行人识别数据集T记为目标域数据集合T，T域只有属性伪标签。
步骤S1，预处理。选取每一个数据集合训练集和测试集中M个行人N张图像进行图像预处理，将图像缩放，裁剪到384x128像素大小；
步骤S2，混合学习。通过全局与局部特征的源域学习以及属性特征的联合学习，即同时在源域数据集合S与目标域数据集合T上进行联合训练。
首先，混合学习中对源域数据集合S中的训练集图像进行训练时，具有身份ID标签与属性伪标签。如图1所示：以一个行人的三张图像为例，384x128像素大小图像经过ResNet-50网络前三层提取深度特征，从第四层开始分为三个分支，分支一进行全局特征学习，分支二进行属性特征学习，分支三进行局部特征学习。
其次，混合学习中对目标域数据集合T中的训练集图像进行训练时，只有属性伪标签，利用属性信息这一“不变标签”作为源域和目标域数据集合联合训练的共同任务。如图1所示：图像经过ResNet-50网络前三层后只进行有监督的属性特征分支学习，其中：
所述分支一全局分支，利用身份ID标签训练，仅用于训练源域数据集合。第四层到第五层完成下采样，经过池化，由2048维降至256维，为每个人图像提取一个全局特征表示向量，利用softmax作为最后的分类输出，优化交叉熵损失函数，其中N表示总共样本个数，Wi表示当前样本的类别标签，Wk表示网络提取到的属于第k类的特征值，C表示总共的分类个数，通过损失函数可以测量真实分类结果与预测分类结果之间的误差大小，然后基于该误差对网络权值进行优化和修正。
所述分支二属性分支，可用于训练源域和目标域数据集合。利用额外标注的行人图片的语义属性信息，例如“male”、“short hair”等语义属性，经过池化，由2048维降至256维，得到图像特征，通过引入的行人语义属性伪标签计算属性损失，按照分支一中的Softmax损失函数Lsoftmax计算，改进特征表示学习；
所述分支三局部分支，仅用于训练源域数据集合。通过均匀分块的Part-basedConvolutional Baseline(PCB)框架，学习区域聚集特征。图像经过主干网络提取深度特征后，将平均池化前的下采样层丢弃掉，得到空间大小24x8的张量(tensor)，按照水平方向均匀分成3部分，分为头部、上半身、下半身，即3个空间大小8x8的tensor，然后各自进行平均池化，得到3个列向量，使用1x1卷积对列向量降维通道数，由2048维降至256维，得到三个局部特征，然后接3个FC层(权值不共享)，通过Softmax损失函数Lsoftmax进行分类，以得到ID预测；
步骤S3，测试阶段。取目标域数据集合T中的测试集图像进行测试，如图2所示，将选取的M个行人中N张图片的第i张行人图片作为待查询图片query，在大规模测试集其余图片gallery中找出与第i张行人图片最为相近的同一ID行人图，通过本方法步骤S2混合学习所述，经过多特征混合学习的联合训练网络，分别得到各分支特征，将特征融合后，通过对比匹配，根据相似度进行排序，得到行人ID。
实施例4
本发明实施例4提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行基于多特征混合学习的跨域行人重识别方法的指令，所述方法包括：
利用联合训练好的重识别模型，提取待识别的行人图像以及图像底库gallery中与待识别的行人图像中的行人身份相近的底库图像的行人全局特征、行人属性特征以及行人局部特征；其中，重识别模型使用带有身份标签和属性伪标签的源域以及带有身份伪标签的目标域联合训练得到；
将待识别的行人全局特征、行人属性特征以及行人局部特征进行融合，与底库图像的行人全局特征、行人属性特征以及行人局部特征融合后的特征进行相似度匹配排序，得到行人重识别结果。
实施例5
本发明实施例5提供一种电子设备，该电子设备包括一种非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。所述非暂态计算机可读存储介质包括用于执行基于多特征混合学习的跨域行人重识别方法的指令，所述方法包括：
利用训练好的重识别模型，提取待识别的行人图像以及图像底库gallery中与待识别的行人图像中的行人身份相近的底库图像的行人全局特征、行人属性特征以及行人局部特征；其中，重识别模型使用带有身份标签和属性伪标签的源域以及带有身份伪标签的目标域联合训练得到；
将待识别的行人全局特征、行人属性特征以及行人局部特征进行融合，与底库图像的行人全局特征、行人属性特征以及行人局部特征融合后的特征进行相似度匹配排序，得到行人重识别结果。
综上所述，本发明实施例所述的基于多特征混合学习的跨域行人重识别方法及系统，将全局图像特征、行人属性特征以及人体局部特征，多种特征融合进行混合学习的行人重识别，能够使系统更稳定，提高检索效率。将不同摄像头视角下输入的图像通过全局与局部特征的源域训练以及属性特征的联合训练，进行混合学习后，进行图片对比匹配，引入属性信息作为源域和目标域数据集合联合训练的共同任务，行人属性起到作为“不变标签”的作用，对跨域的数据集合进行行人重识别，能提高网络模型的自适应能力，提高了跨域行人重识别性能。不同于单域行人重识别方法，针对存在域间差异性的场景而设计，通过混合学习的方式缩小域间差异性，提高系统鲁棒性、跨域行人重识别的性能。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于多特征混合学习的跨域行人重识别方法，其特征在于，包括：
利用联合训练好的重识别模型，提取待识别的行人图像以及图像底库gallery中与待识别的行人图像中的行人身份相近的底库图像的行人全局特征、行人属性特征以及行人局部特征；其中，重识别模型使用带有身份标签和属性伪标签的源域以及带有身份伪标签的目标域联合训练得到；
将待识别的行人全局特征、行人属性特征以及行人局部特征进行融合，与底库图像的行人全局特征、行人属性特征以及行人局部特征融合后的特征进行相似度匹配排序，得到行人重识别结果。
2.根据权利要求1所述的基于多特征混合学习的跨域行人重识别方法，其特征在于，联合训练所述重识别模型包括：
将待识别目标场景下采集的行人图像作为目标域，对目标域进行属性伪标注，将另一场景下采集的行人图像作为源域，对源域进行身份标注和属性伪标注；
提取源域的全局特征、局部特征和属性特征，利用源域的全局特征、局部特征分别训练全局特征提取分支和局部特征提取分支；
提取目标域的属性特征，结合源域的属性特征，联合训练属性特征提取分支；
训练好的全局特征提取分支、属性特征提取分支以及局部特征提取分支，共同组成所述重识别模型。
3.根据权利要求2所述的基于多特征混合学习的跨域行人重识别方法，其特征在于，对于源域图像，经过ResNet-50网络前三层提取深度特征，从第四层开始分为三个分支，分别为全局特征提取分支、属性特征提取分支和局部特征提取分支；
对目标域图像，经过ResNet-50网络前三层提取深度特征后，只进行有监督的属性特征学习。
4.根据权利要求3所述的基于多特征混合学习的跨域行人重识别方法，其特征在于，利用源域数据的身份标签训练所述全局特征提取分支，第四层到第五层完成下采样，经过池化降维，为每个人图像提取一个全局特征表示向量，通过Softmax激活函数Lsoftmax来计算表征学习损失。
5.根据权利要求3所述的基于多特征混合学习的跨域行人重识别方法，其特征在于，利用源域数据的身份标签，通过均匀分块的Part-based Convolutional Baseline框架，学习区域聚集特征。
6.根据权利要求5所述的基于多特征混合学习的跨域行人重识别方法，其特征在于，经过ResNet-50网络前三层提取深度特征后，丢弃平均池化前的下采样层，按照水平方向均匀分成3部分，分为头部、上半身、下半身，然后各自进行平均池化，得到3个列向量，使用1x1卷积对列向量降维通道数，得到三个局部特征，然后接3个FC层，通过Softmax损失函数Lsoftmax进行分类。
7.根据权利要求3所述的基于多特征混合学习的跨域行人重识别方法，其特征在于，利用源域属性伪标签和目标域属性伪标签训练所述属性特征提取分支，经过ResNet-50网络前三层提取深度特征后，经过池化降维，再通过引入的行人语义属性伪标签，按照Softmax损失函数Lsoftmax计算属性损失。
8.根据权利要求4、6或7所述的基于多特征混合学习的跨域行人重识别方法，其特征在于，利用softmax作为最后的分类输出，优化交叉熵损失函数，通过损失函数可以测量真实分类结果与预测分类结果之间的误差大小，然后，基于该误差对网络权值进行优化和修正；Softmax损失函数为：
其中，N表示总共样本个数，Wi表示当前样本的类别标签，Wk表示网络提取到的属于第k类的特征值，C表示总共的分类个数。
9.一种基于多特征混合学习的跨域行人重识别系统，其特征在于，包括：
提取模块，用于利用联合训练好的重识别模型，提取待识别的行人图像以及图像底库gallery中与待识别的行人图像中的行人身份相近的底库图像的行人全局特征、行人属性特征以及行人局部特征；其中，重识别模型使用带有身份标签和属性伪标签的源域以及带有身份伪标签的目标域联合训练得到；
识别模块，用于将待识别的行人全局特征、行人属性特征以及行人局部特征进行融合，与底库图像的行人全局特征、行人属性特征以及行人局部特征融合后的特征进行相似度匹配排序，得到行人重识别结果。
10.一种电子设备，其特征在于，包括：
非暂态计算机可读存储介质，包括用于执行如权利要求1-8任一项所述的基于多特征混合学习的跨域行人重识别方法的指令；
以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110542231.5A CN113221770A (zh) | 2021-05-18 | 2021-05-18 | 基于多特征混合学习的跨域行人重识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110542231.5A CN113221770A (zh) | 2021-05-18 | 2021-05-18 | 基于多特征混合学习的跨域行人重识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113221770A true CN113221770A (zh) | 2021-08-06 |
Family
ID=77092752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110542231.5A Pending CN113221770A (zh) | 2021-05-18 | 2021-05-18 | 基于多特征混合学习的跨域行人重识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221770A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114550215A (zh) * | 2022-02-25 | 2022-05-27 | 北京拙河科技有限公司 | 一种基于迁移学习的目标检测方法及系统 |
| CN115880650A (zh) * | 2023-02-16 | 2023-03-31 | 城云科技（中国）有限公司 | 跨视域车辆重识别模型及其构建方法、装置及应用 |
| CN117671297A (zh) * | 2024-02-02 | 2024-03-08 | 华东交通大学 | 一种融合交互属性的行人重识别方法 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201719460D0 (en) * | 2017-09-25 | 2018-01-10 | Thirdeye Labs Ltd | Personal identification across multiple captured images |
| CN109829430A (zh) * | 2019-01-31 | 2019-05-31 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于异构层次化注意机制的跨模态行人再识别方法及系统 |
| CN110163110A (zh) * | 2019-04-23 | 2019-08-23 | 中电科大数据研究院有限公司 | 一种基于迁移学习和深度特征融合的行人重识别方法 |
| CN110188829A (zh) * | 2019-05-31 | 2019-08-30 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、目标识别的方法及相关产品 |
| CN110414368A (zh) * | 2019-07-04 | 2019-11-05 | 华中科技大学 | 一种基于知识蒸馏的无监督行人重识别方法 |
| CN110414462A (zh) * | 2019-08-02 | 2019-11-05 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种无监督的跨域行人重识别方法及系统 |
| KR102073971B1 (ko) * | 2019-09-10 | 2020-02-05 | (주)서광시스템 | 딥러닝 기반의 차량 단속 시스템 및 방법 |
| CN111274922A (zh) * | 2020-01-17 | 2020-06-12 | 山东师范大学 | 基于多层次深度学习网络的行人重识别方法及系统 |
| CN111476168A (zh) * | 2020-04-08 | 2020-07-31 | 山东师范大学 | 一种基于三阶段的跨域行人重识别方法和系统 |
| US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
| WO2020186914A1 (zh) * | 2019-03-20 | 2020-09-24 | 北京沃东天骏信息技术有限公司 | 行人再识别方法、装置及存储介质 |
| CN111709364A (zh) * | 2020-06-16 | 2020-09-25 | 兰州理工大学 | 基于视角信息和批特征擦除的行人再识别方法 |
| US20200342271A1 (en) * | 2019-04-29 | 2020-10-29 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Pedestrian re-identification method, computer device and readable medium |
| CN112036322A (zh) * | 2020-09-01 | 2020-12-04 | 清华大学 | 多任务网络跨域行人重识别模型构建方法、系统及装置 |
| CN112069920A (zh) * | 2020-08-18 | 2020-12-11 | 武汉大学 | 基于属性特征驱动聚类的跨域行人重识别方法 |
| CN112115879A (zh) * | 2020-09-21 | 2020-12-22 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种遮挡敏感的自监督行人重识别方法及系统 |
| CN112200111A (zh) * | 2020-10-19 | 2021-01-08 | 厦门大学 | 一种全局与局部特征融合的遮挡鲁棒行人重识别方法 |
| CN112381056A (zh) * | 2020-12-02 | 2021-02-19 | 山西大学 | 一种融合多个源域的跨域行人重识别方法及系统 |
| US20210064907A1 (en) * | 2019-08-27 | 2021-03-04 | Nvidia Corporation | Cross-domain image processing for object re-identification |
-
2021
- 2021-05-18 CN CN202110542231.5A patent/CN113221770A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201719460D0 (en) * | 2017-09-25 | 2018-01-10 | Thirdeye Labs Ltd | Personal identification across multiple captured images |
| CN109829430A (zh) * | 2019-01-31 | 2019-05-31 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于异构层次化注意机制的跨模态行人再识别方法及系统 |
| US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
| WO2020186914A1 (zh) * | 2019-03-20 | 2020-09-24 | 北京沃东天骏信息技术有限公司 | 行人再识别方法、装置及存储介质 |
| CN110163110A (zh) * | 2019-04-23 | 2019-08-23 | 中电科大数据研究院有限公司 | 一种基于迁移学习和深度特征融合的行人重识别方法 |
| US20200342271A1 (en) * | 2019-04-29 | 2020-10-29 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Pedestrian re-identification method, computer device and readable medium |
| CN110188829A (zh) * | 2019-05-31 | 2019-08-30 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、目标识别的方法及相关产品 |
| CN110414368A (zh) * | 2019-07-04 | 2019-11-05 | 华中科技大学 | 一种基于知识蒸馏的无监督行人重识别方法 |
| CN110414462A (zh) * | 2019-08-02 | 2019-11-05 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种无监督的跨域行人重识别方法及系统 |
| US20210064907A1 (en) * | 2019-08-27 | 2021-03-04 | Nvidia Corporation | Cross-domain image processing for object re-identification |
| KR102073971B1 (ko) * | 2019-09-10 | 2020-02-05 | (주)서광시스템 | 딥러닝 기반의 차량 단속 시스템 및 방법 |
| CN111274922A (zh) * | 2020-01-17 | 2020-06-12 | 山东师范大学 | 基于多层次深度学习网络的行人重识别方法及系统 |
| CN111476168A (zh) * | 2020-04-08 | 2020-07-31 | 山东师范大学 | 一种基于三阶段的跨域行人重识别方法和系统 |
| CN111709364A (zh) * | 2020-06-16 | 2020-09-25 | 兰州理工大学 | 基于视角信息和批特征擦除的行人再识别方法 |
| CN112069920A (zh) * | 2020-08-18 | 2020-12-11 | 武汉大学 | 基于属性特征驱动聚类的跨域行人重识别方法 |
| CN112036322A (zh) * | 2020-09-01 | 2020-12-04 | 清华大学 | 多任务网络跨域行人重识别模型构建方法、系统及装置 |
| CN112115879A (zh) * | 2020-09-21 | 2020-12-22 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种遮挡敏感的自监督行人重识别方法及系统 |
| CN112200111A (zh) * | 2020-10-19 | 2021-01-08 | 厦门大学 | 一种全局与局部特征融合的遮挡鲁棒行人重识别方法 |
| CN112381056A (zh) * | 2020-12-02 | 2021-02-19 | 山西大学 | 一种融合多个源域的跨域行人重识别方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 刘紫燕;万培佩;: "基于注意力机制的行人重识别特征提取方法", 计算机应用, no. 03, 31 March 2020 (2020-03-31), pages 672 - 676 * |
| 张晓伟;吕明强;李慧;: "基于局部语义特征不变性的跨域行人重识别", 北京航空航天大学学报, no. 09, 30 September 2020 (2020-09-30), pages 1682 - 1690 * |
| 徐思敏;胡士强;: "多属性融合网络的行人重识别方法", 计算机工程与应用, no. 06, 31 March 2020 (2020-03-31), pages 126 - 132 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114550215A (zh) * | 2022-02-25 | 2022-05-27 | 北京拙河科技有限公司 | 一种基于迁移学习的目标检测方法及系统 |
| CN114550215B (zh) * | 2022-02-25 | 2022-10-18 | 北京拙河科技有限公司 | 一种基于迁移学习的目标检测方法及系统 |
| CN115880650A (zh) * | 2023-02-16 | 2023-03-31 | 城云科技（中国）有限公司 | 跨视域车辆重识别模型及其构建方法、装置及应用 |
| CN117671297A (zh) * | 2024-02-02 | 2024-03-08 | 华东交通大学 | 一种融合交互属性的行人重识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiao et al. | A survey of deep learning-based object detection | |
| He et al. | Foreground-aware pyramid reconstruction for alignment-free occluded person re-identification | |
| Sabir et al. | Recurrent convolutional strategies for face manipulation detection in videos | |
| WO2022000426A1 (zh) | 基于孪生深度神经网络的动目标分割方法及系统 | |
| Luo et al. | Traffic sign recognition using a multi-task convolutional neural network | |
| CN108764065B (zh) | 一种行人重识别特征融合辅助学习的方法 | |
| Ouyang et al. | DeepID-Net: Object detection with deformable part based convolutional neural networks | |
| CN108520226B (zh) | 一种基于躯体分解和显著性检测的行人重识别方法 | |
| CN109508663B (zh) | 一种基于多层次监督网络的行人重识别方法 | |
| CN113221770A (zh) | 基于多特征混合学习的跨域行人重识别方法及系统 | |
| CN109815874A (zh) | 一种人员身份识别方法、装置、设备及可读存储介质 | |
| CN111178251A (zh) | 一种行人属性识别方法及系统、存储介质及终端 | |
| Xian et al. | Evaluation of low-level features for real-world surveillance event detection | |
| Wan et al. | Generative adversarial multi-task learning for face sketch synthesis and recognition | |
| CN113205002B (zh) | 非受限视频监控的低清人脸识别方法、装置、设备及介质 | |
| Mehrjardi et al. | A survey on deep learning-based image forgery detection | |
| Nag et al. | A new unified method for detecting text from marathon runners and sports players in video (PR-D-19-01078R2) | |
| US20230095533A1 (en) | Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling | |
| Zhang et al. | Discriminative feature learning for video semantic segmentation | |
| An | Pedestrian re-recognition algorithm based on optimization deep learning-sequence memory model | |
| Tseng et al. | Person retrieval in video surveillance using deep learning–based instance segmentation | |
| CN111582154A (zh) | 基于多任务骨架姿态划分部件的行人重识别方法 | |
| Yang et al. | Bottom-up foreground-aware feature fusion for practical person search | |
| CN114782979A (zh) | 一种行人重识别模型的训练方法、装置、存储介质及终端 | |
| CN113822134A (zh) | 一种基于视频的实例跟踪方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |