CN110555390A - 基于半监督训练方式的行人重识别方法、装置及介质 - Google Patents
基于半监督训练方式的行人重识别方法、装置及介质 Download PDFInfo
- Publication number
- CN110555390A CN110555390A CN201910735333.1A CN201910735333A CN110555390A CN 110555390 A CN110555390 A CN 110555390A CN 201910735333 A CN201910735333 A CN 201910735333A CN 110555390 A CN110555390 A CN 110555390A
- Authority
- CN
- China
- Prior art keywords
- sample set
- training
- virtual
- pedestrian
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于半监督训练方式的行人重识别方法、装置及存储介质，该方法包括：基于半监督训练方式使用采集的目标域样本集和开源数据集构建训练样本集，使用所述训练样本集对深度残差网络进行训练得到训练后的深度残差网络模型，对采集的行人图像使用训练后的深度残差网络模型进行识别，得到行人图像的特征值，再根据特征值之间的余弦距离来确定是否为同一个人。本发明生成了虚拟样本，且在生成虚拟样本时构建了平滑函数，使得构建的虚拟样本更加逼真，同时使用DBSCAN聚类算法为虚拟样本添加伪标签，深度神经网络中使用了局部特征和全局特征，采用不同权重组合的联合损失函数，使得训练后的深度神经网络识别准确更加可靠。
Description
技术领域
本发明涉及人工智能技术领域，特别是一种基于半监督训练方式的行人重识别方法、装置及存储介质。
背景技术
随着社会和科技的进步，人脸识别越来越成为一项可依赖的安防技术。但是对于现今大部分摄像头而言，其分辨率往往不能达到人脸识别系统的要求，故可以应用于现有监控系统的行人重识别技术是极有必要的。行人重识别(Person re-identification)是利用图像处理技术来判定某一摄像头下的行人是否出现在其他摄像头中，从而可以描绘行人的活动路径，实现跨镜头追踪的目的。现阶段行人重识别常用方法主要有表征学习、度量学习、基于局部特征或视频序列等方法。
行人和人脸一样具有结构，但是不同于人脸，行人的结构往往更加复杂。在实际应用场景中可能存在无正脸、配饰不一、姿态变化及遮挡、摄像头的拍摄角度、室内外环境的变化、白天与黑夜的光线差异、季节穿搭(冬天进入室内可能会脱掉外套)等等不利条件和干扰因素。与此同时，不同于人脸可以到互联网直接爬取名人的图片，行人重识别由于其任务的特殊性，其训练数据集采集标记难度更高，现有的数据集往往只能达到几万的级别，这也阻碍了行人重识别技术进一步走向实用化。
目前的行人重识别中，由于特征选择的单一，即识别存在一定的局限性，影响了识别准确率。
发明内容
本发明针对上述现有技术中的缺陷，提出了如下技术方案。
一种基于半监督训练方式的行人重识别方法，该方法包括：
训练样本集生成步骤，基于半监督训练方式使用采集的目标域样本集和开源数据集构建训练样本集，所述训练样本集包括虚拟样本集、目标域样本集和开源数据样本集；
深度残差网络训练步骤，使用所述训练样本集对深度残差网络进行训练得到训练后的深度残差网络模型；
行人重识别步骤，对采集的行人图像使用训练后的深度残差网络模型进行识别，得到行人图像的特征值。
更进一步地，训练样本集生成步骤包括：
采集子步骤，采集目标域中的行人图像并进行标记得到目标域样本集；
虚拟样本集生成子步骤，使用对抗网络基于目标域样本集生成初始虚拟样本集，并借助聚类子单元为初始虚拟样本集中的虚拟样本添加伪标签；
聚类子步骤，使用预训练好的分类模型提取初始虚拟样本集中虚拟样本的高维特征，根据所述高维特征将初始虚拟样本集中的虚拟样本使用DBSCAN聚类算法进行分类，根据聚类算法结果为虚拟样本添加伪标签得到虚拟样本集。
更进一步地，所述虚拟样本的图像大小是384*384的行人图像。
更进一步地，所述对抗神经网络采用PG-GAN，在生成虚拟样本时，平滑函数为：X＝X16pixel*(1-α)+X32pixel*α，其中α为平滑参数。
更进一步地，所述深度残差网络的层数为50层，包括四个顺次相连的处理阶段，每个处理阶段包括一次下采样处理和两次残差处理。
更进一步地，所述深度残差网络训练步骤包括：
初始处理子步骤，使用深度残差网络对训练样本集进行前三个处理阶段的处理得到处理后的训练样本集；
处理子步骤，将处理后的训练样本集不进行下采样操作后进行第四阶段的处理得到再次处理后的训练样本集；
全局特征训练子步骤，将再次处理后的训练样本集使用全局平均池化层进行池化操作后再进行卷积操作输出至损失函数层；
局部特征训练子步骤，将再次处理后的训练样本集使用瓶颈处理层进行进行降维处理添加人工掩膜再进行卷积操作输出至损失函数层；
优化子步骤，使用Adam算法在优化前期实现更快的收敛速度，而优化后期使用sgd算法对深度残差网络的训练过程进行优化，得到优化的深度残差网络。
更进一步地，所述损失函数层包括难样本采样三元组损失函数、分类SoftMax损失函数和SLSR损失函数。
本发明还提出了一种基于半监督训练方式的行人重识别装置，该装置包括：
训练样本集生成单元，基于半监督训练方式使用采集的目标域样本集和开源数据集构建训练样本集，所述训练样本集包括虚拟样本集、目标域样本集和开源数据样本集；
深度残差网络训练单元，使用所述训练样本集对深度残差网络进行训练得到训练后的深度残差网络模型；
行人重识别单元，对采集的行人图像使用训练后的深度残差网络模型进行识别，得到行人图像的特征值。
更进一步地，训练样本集生成单元包括：
采集子单元，采集目标域中的行人图像并进行标记得到目标域样本集；
虚拟样本集生成子单元，使用对抗网络基于目标域样本集生成初始虚拟样本集，并借助聚类子单元为初始虚拟样本集中的虚拟样本添加伪标签；
聚类子单元，使用预训练好的分类模型提取初始虚拟样本集中虚拟样本的高维特征，根据所述高维特征将初始虚拟样本集中的虚拟样本使用DBSCAN聚类算法进行分类，根据聚类算法结果为虚拟样本添加伪标签得到虚拟样本集。
更进一步地，所述虚拟样本的图像大小是384*384的行人图像。
更进一步地，所述对抗神经网络采用PG-GAN，在生成虚拟样本时，平滑函数为：X＝X16pixel*(1-α)+X32pixel*α，其中α为平滑参数。
更进一步地，所述深度残差网络的层数为50层，包括四个顺次相连的处理阶段，每个处理阶段包括一次下采样处理和两次残差处理。
更进一步地，所述深度残差网络训练单元包括：
初始处理子单元，使用深度残差网络对训练样本集进行前三个处理阶段的处理得到处理后的训练样本集；
处理子单元，将处理后的训练样本集不进行下采样操作后进行第四阶段的处理得到再次处理后的训练样本集；
全局特征训练子单元，将再次处理后的训练样本集使用全局平均池化层进行池化操作后再进行卷积操作输出至损失函数层；
局部特征训练子单元，将再次处理后的训练样本集使用瓶颈处理层进行进行降维处理添加人工掩膜再进行卷积操作输出至损失函数层；
优化子单元，使用Adam算法在优化前期实现更快的收敛速度，而优化后期使用sgd算法对深度残差网络的训练过程进行优化，得到优化的深度残差网络。
更进一步地，所述损失函数层包括难样本采样三元组损失函数、分类SoftMax损失函数和SLSR损失函数。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
本发明的技术效果在于：
本发明基于半监督训练方式使用采集的目标域样本集和开源数据集构建训练样本集，所述训练样本集包括虚拟样本集、目标域样本集和开源数据样本集，扩充了训练样本的数量，并对扩充的虚拟样本借助聚类算法添加伪标签，且在生成虚拟样本时构建了平滑函数，使得构建的虚拟样本更加逼真。
使用训练样本集中的多种样本对深度神经网络进行训练，且深度神经网络中使用了局部特征和全局特征，使得训练后的深度神经网络识别准确更加可靠。
深度神经网络中的损失函数层中采用三种损失函数，可以针对不同的图像自适应采用不同权重组合的联合损失函数，提高识别准确率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例的一种基于半监督训练方式的行人重识别方法的流程图。
图2是训练样本集生成步骤的流程图。
图3是深度残差网络训练步骤的流程图。
图4是根据本发明的实施例的一种基于半监督训练方式的行人重识别装置的结构图。
图5是训练样本集生成单元的结构图。
图6是深度残差网络训练步骤的结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种基于半监督训练方式的行人重识别方法，该方法包括：
训练样本集生成步骤S101，基于半监督训练方式使用采集的目标域样本集和开源数据集构建训练样本集，所述训练样本集包括虚拟样本集、目标域样本集和开源数据样本集。目标域为实际布控的环境，即对需要识别行人的区域，样本的采集可以使用摄像头进行采集，采集的方式可以是一张张的拍摄图像，或者采集视频，从视频中提取图像，采集后需要进行标记才可以使用。
深度残差网络训练步骤S102，使用所述训练样本集对深度残差网络进行训练得到训练后的深度残差网络模型。
行人重识别步骤S103，对采集的行人图像使用训练后的深度残差网络模型进行识别，得到行人图像的特征值。进一步地，根据深度残差网络模型计算出的两张图片的特征值，再计算特征值之间的余弦距离，以判断是否为同一个行人。
如图2所示，训练样本集生成步骤S101包括以下步骤。
采集子步骤S201，采集目标域中的行人图像并进行标记得到目标域样本集。
虚拟样本集生成子步骤S202，使用对抗网络基于目标域样本集生成初始虚拟样本集，并借助聚类子单元为初始虚拟样本集中的虚拟样本添加伪标签。由于计算机虚构而来的生成样本无法对应到现有的行人id，因此，需要给虚拟样本添加伪标签，本发明中生成的所述虚拟样本的图像大小是384*384的行人图像。
聚类子步骤S203，使用预训练好的分类模型提取初始虚拟样本集中虚拟样本的高维特征，根据所述高维特征将初始虚拟样本集中的虚拟样本使用DBSCAN聚类算法进行分类，根据聚类算法结果为虚拟样本添加伪标签得到虚拟样本集。对任一聚类而言，以其中心点构建正态分布曲线，随机采样曲线上的点作为该聚类内部各个样本的伪标签，得到虚拟样本集。DBSCAN算法相比于传统的K-Means算法而言，不需要提前指定聚类类别数，从而避免引入人工偏见，使虚拟样本集效果更佳。
在一个实施例中，所述对抗神经网络采用PG-GAN，在生成虚拟样本时，平滑函数为：X＝X16pixel*(1-α)+X32pixel*α，其中α为平滑参数。
本发明基于半监督训练方式使用采集的目标域样本集和开源数据集构建训练样本集，所述训练样本集包括虚拟样本集、目标域样本集和开源数据样本集，扩充了训练样本的数量，并对扩充的虚拟样本借助聚类算法添加伪标签，且在生成虚拟样本时构建了平滑函数，使得构建的虚拟样本更加逼真，这是本发明的一个重要发明点之一。
在一个实施例中，所述深度残差网络的层数为50层，包括四个顺次相连的处理阶段，每个处理阶段包括一次下采样处理和两次残差处理。
如图3所示，所述深度残差网络训练步骤S102包括以下步骤。
初始处理子步骤S301，使用深度残差网络对训练样本集进行前三个处理阶段的处理得到处理后的训练样本集。
处理子步骤S302，将处理后的训练样本集不进行下采样操作后进行第四阶段的处理得到再次处理后的训练样本集。
全局特征训练子步骤S303，将再次处理后的训练样本集使用全局平均池化层进行池化操作后再进行卷积操作输出至损失函数层。
局部特征训练子步骤S304，将再次处理后的训练样本集使用瓶颈处理层进行进行降维处理添加人工掩膜再进行卷积操作输出至损失函数层。
优化子步骤S305，使用Adam算法在优化前期实现更快的收敛速度，而优化后期使用sgd算法对深度残差网络的训练过程进行优化，得到优化的深度残差网络。
由于整个训练数据集来自于不同的数据集合，其采集方式、采集环境、采集条件不一，因此，采用全局特征和局部特征相结合的训练方式得到深度残差网络，以提高深度残差网络的识别准确率，且在局部特征训练分支加入随机的人工掩膜以在训练的时候可以随机遮蔽样本的一部分，增强整体网络的泛化性能，使得训练后的深度神经网络识别准确更加可靠，这是本发明的另一个重要发明点。
在一个实施例中，所述损失函数层包括难样本采样三元组损失函数(Tripletloss with batch hard mining,TriHard loss)、分类SoftMax损失函数和SLSR损失函数，即深度神经网络中的损失函数层中采用三种损失函数，可以针对不同的图像自适应采用不同权重组合的联合损失函数，提高识别准确率，这是本发明的重要发明点之另一，具体可参加下面的优选实施例。
在一个优选的实施例中，针对虚拟样本采用SLSR损失函数。在一个优选的实施例中，针对目标域样本采用添加权重的TriHard损失函数和分类SoftMax损失函数的联合损失函数，即A*(TriHard loss+SoftMax loss)，A为所添加的权重系数。
在一个优选的实施例中，针对开源数据样本，采用不添加权重的TriHard损失函数和分类SoftMax损失函数的联合损失函数。
进一步参考图4，作为对上述图1所示方法的实现，本申请提供了一种基于半监督训练方式的行人重识别装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以包含于各种电子设备或通过网络连接的多个电子设备中。
图4示出了本发明的图1示出了本发明的一种基于半监督训练方式的行人重识别装置，该装置包括：
训练样本集生成单元401，基于半监督训练方式使用采集的目标域样本集和开源数据集构建训练样本集，所述训练样本集包括虚拟样本集、目标域样本集和开源数据样本集。目标域为实际布控的环境，即对需要识别行人的区域，样本的采集可以使用摄像头进行采集，采集的方式可以是一张张的拍摄图像，或者采集视频，从视频中提取图像，采集后需要进行标记才可以使用。
深度残差网络训练单元402，使用所述训练样本集对深度残差网络进行训练得到训练后的深度残差网络模型。
行人重识别单元403，对采集的行人图像使用训练后的深度残差网络模型进行识别，得到行人图像的特征值。进一步地，根据深度残差网络模型计算出的两张图片的特征值，再计算特征值之间的余弦距离，以判断是否为同一个行人。
如图5所示，训练样本集生成单元401包括以下子单元。
采集子单元501，采集目标域中的行人图像并进行标记得到目标域样本集。
虚拟样本集生成子单元502，使用对抗网络基于目标域样本集生成初始虚拟样本集，并借助聚类子单元为初始虚拟样本集中的虚拟样本添加伪标签。由于计算机虚构而来的生成样本无法对应到现有的行人id，因此，需要给虚拟样本添加伪标签，本发明中生成的所述虚拟样本的图像大小是384*384的行人图像。
聚类子单元503，使用预训练好的分类模型提取初始虚拟样本集中虚拟样本的高维特征，根据所述高维特征将初始虚拟样本集中的虚拟样本使用DBSCAN聚类算法进行分类，根据聚类算法结果为虚拟样本添加伪标签得到虚拟样本集。对任一聚类而言，以其中心点构建正态分布曲线，随机采样曲线上的点作为该聚类内部各个样本的伪标签，得到虚拟样本集。DBSCAN算法相比于传统的K-Means算法而言，不需要提前指定聚类类别数，从而避免引入人工偏见，使虚拟样本集效果更佳。
在一个实施例中，所述对抗神经网络采用PG-GAN，在生成虚拟样本时，平滑函数为：X＝X16pixel*(1-α)+X32pixel*α，其中α为平滑参数。
本发明基于半监督训练方式使用采集的目标域样本集和开源数据集构建训练样本集，所述训练样本集包括虚拟样本集、目标域样本集和开源数据样本集，扩充了训练样本的数量，并对扩充的虚拟样本借助聚类算法添加伪标签，且在生成虚拟样本时构建了平滑函数，使得构建的虚拟样本更加逼真，这是本发明的一个重要发明点之一。
在一个实施例中，所述深度残差网络的层数为50层，包括四个顺次相连的处理阶段，每个处理阶段包括一次下采样处理和两次残差处理。
如图6所示，所述深度残差网络训练单元302包括以下子单元。
初始处理子单元601，使用深度残差网络对训练样本集进行前三个处理阶段的处理得到处理后的训练样本集。
处理子单元602，将处理后的训练样本集不进行下采样操作后进行第四阶段的处理得到再次处理后的训练样本集。
全局特征训练子单元603，将再次处理后的训练样本集使用全局平均池化层进行池化操作后再进行卷积操作输出至损失函数层。
局部特征训练子单元604，将再次处理后的训练样本集使用瓶颈处理层进行进行降维处理添加人工掩膜再进行卷积操作输出至损失函数层。
优化子单元605，使用Adam算法在优化前期实现更快的收敛速度，而优化后期使用sgd算法对深度残差网络的训练过程进行优化，得到优化的深度残差网络。
由于整个训练数据集来自于不同的数据集合，其采集方式、采集环境、采集条件不一，因此，采用全局特征和局部特征相结合的训练方式得到深度残差网络，以提高深度残差网络的识别准确率，且在局部特征训练分支加入随机的人工掩膜以在训练的时候可以随机遮蔽样本的一部分，增强整体网络的泛化性能，使得训练后的深度神经网络识别准确更加可靠，这是本发明的另一个重要发明点。
在一个实施例中，所述损失函数层包括难样本采样三元组损失函数(Tripletloss with batch hard mining,TriHard loss)、分类SoftMax损失函数和SLSR损失函数，即深度神经网络中的损失函数层中采用三种损失函数，可以针对不同的图像自适应采用不同权重组合的联合损失函数，提高识别准确率，这是本发明的重要发明点之另一，具体可参加下面的优选实施例。
在一个优选的实施例中，针对虚拟样本采用SLSR损失函数。在一个优选的实施例中，针对目标域样本采用添加权重的TriHard损失函数和分类SoftMax损失函数的联合损失函数，即A*(TriHard loss+SoftMax loss)，A为所添加的权重系数。
在一个优选的实施例中，针对开源数据样本，采用不添加权重的TriHard损失函数和分类SoftMax损失函数的联合损失函数。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。
Claims (15)
1.一种基于半监督训练方式的行人重识别方法，其特征在于，该方法包括：
训练样本集生成步骤，基于半监督训练方式使用采集的目标域样本集和开源数据集构建训练样本集，所述训练样本集包括虚拟样本集、目标域样本集和开源数据样本集；
深度残差网络训练步骤，使用所述训练样本集对深度残差网络进行训练得到训练后的深度残差网络模型；
行人重识别步骤，对采集的行人图像使用训练后的深度残差网络模型进行识别，得到行人图像的特征值。
2.根据权利要求1所述的方法，其特征在于，训练样本集生成步骤包括：
采集子步骤，采集目标域中的行人图像并进行标记得到目标域样本集；
虚拟样本集生成子步骤，使用对抗网络基于目标域样本集生成初始虚拟样本集，并借助聚类子单元为初始虚拟样本集中的虚拟样本添加伪标签；
聚类子步骤，使用预训练好的分类模型提取初始虚拟样本集中虚拟样本的高维特征，根据所述高维特征将初始虚拟样本集中的虚拟样本使用DBSCAN聚类算法进行分类，根据聚类算法结果为虚拟样本添加伪标签，得到虚拟样本集。
3.根据权利要求2所述的方法，其特征在于，所述虚拟样本的图像大小是384*384的行人图像。
4.根据权利要求3所述的方法，其特征在于，所述对抗神经网络采用PG-GAN，在生成虚拟样本时，平滑函数为：X＝X16pixel*(1-α)+X32pixel*α，其中α为平滑参数。
5.根据权利要求1所述的方法，其特征在于，所述深度残差网络的层数为50层，包括四个顺次相连的处理阶段，每个处理阶段包括一次下采样处理和两次残差处理。
6.根据权利要求1所述的方法，其特征在于，所述深度残差网络训练步骤包括：
初始处理子步骤，使用深度残差网络对训练样本集进行前三个处理阶段的处理得到处理后的训练样本集；
处理子步骤，将处理后的训练样本集不进行下采样操作后进行第四阶段的处理得到再次处理后的训练样本集；
全局特征训练子步骤，将再次处理后的训练样本集使用全局平均池化层进行池化操作后再进行卷积操作输出至损失函数层；
局部特征训练子步骤，将再次处理后的训练样本集使用瓶颈处理层进行进行降维处理添加人工掩膜再进行卷积操作输出至损失函数层；
优化子步骤，使用Adam算法在优化前期实现更快的收敛速度，而优化后期使用sgd算法对深度残差网络的训练过程进行优化，得到优化的深度残差网络。
7.根据权利要求6所述的方法，其特征在于，所述损失函数层包括难样本采样三元组损失函数、分类SoftMax损失函数和SLSR损失函数。
8.一种基于半监督训练方式的行人重识别装置，其特征在于，该装置包括：
训练样本集生成单元，基于半监督训练方式使用采集的目标域样本集和开源数据集构建训练样本集，所述训练样本集包括虚拟样本集、目标域样本集和开源数据样本集；
深度残差网络训练单元，使用所述训练样本集对深度残差网络进行训练得到训练后的深度残差网络模型；
行人重识别单元，对采集的行人图像使用训练后的深度残差网络模型进行识别，得到行人图像的特征值。
9.根据权利要求8所述的装置，其特征在于，训练样本集生成单元包括：
采集子单元，采集目标域中的行人图像并进行标记得到目标域样本集；
虚拟样本集生成子单元，使用对抗网络基于目标域样本集生成初始虚拟样本集，并借助聚类子单元为初始虚拟样本集中的虚拟样本添加伪标签；
聚类子单元，使用预训练好的分类模型提取初始虚拟样本集中虚拟样本的高维特征，根据所述高维特征将初始虚拟样本集中的虚拟样本使用DBSCAN聚类算法进行分类，根据聚类算法结果为虚拟样本添加伪标签得到虚拟样本集。
10.根据权利要求9所述的装置，其特征在于，所述虚拟样本的图像大小是384*384的行人图像。
11.根据权利要求10所述的装置，其特征在于，所述对抗神经网络采用PG-GAN，在生成虚拟样本时，平滑函数为：X＝X16pixel*(1-α)+X32pixel*α，其中α为平滑参数。
12.根据权利要求11所述的装置，其特征在于，所述深度残差网络的层数为50层，包括四个顺次相连的处理阶段，每个处理阶段包括一次下采样处理和两次残差处理。
13.根据权利要求8所述的装置，其特征在于，所述深度残差网络训练单元包括：
初始处理子单元，使用深度残差网络对训练样本集进行前三个处理阶段的处理得到处理后的训练样本集；
处理子单元，将处理后的训练样本集不进行下采样操作后进行第四阶段的处理得到再次处理后的训练样本集；
全局特征训练子单元，将再次处理后的训练样本集使用全局平均池化层进行池化操作后再进行卷积操作输出至损失函数层；
局部特征训练子单元，将再次处理后的训练样本集使用瓶颈处理层进行进行降维处理添加人工掩膜再进行卷积操作输出至损失函数层；
优化子单元，使用Adam算法在优化前期实现更快的收敛速度，而优化后期使用sgd算法对深度残差网络的训练过程进行优化，得到优化的深度残差网络。
14.根据权利要求13所述的装置，其特征在于，所述损失函数层包括难样本采样三元组损失函数、分类SoftMax损失函数和SLSR损失函数。
15.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行权利要求1-7之任一的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910735333.1A CN110555390B (zh) | 2019-08-09 | 2019-08-09 | 基于半监督训练方式的行人重识别方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910735333.1A CN110555390B (zh) | 2019-08-09 | 2019-08-09 | 基于半监督训练方式的行人重识别方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110555390A true CN110555390A (zh) | 2019-12-10 |
| CN110555390B CN110555390B (zh) | 2022-09-09 |
Family
ID=68737301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910735333.1A Active CN110555390B (zh) | 2019-08-09 | 2019-08-09 | 基于半监督训练方式的行人重识别方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110555390B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111274958A (zh) * | 2020-01-20 | 2020-06-12 | 福州大学 | 一种网络参数自纠正的行人重识别方法及系统 |
| CN111476168A (zh) * | 2020-04-08 | 2020-07-31 | 山东师范大学 | 一种基于三阶段的跨域行人重识别方法和系统 |
| CN111476600A (zh) * | 2020-03-23 | 2020-07-31 | 浙江新再灵科技股份有限公司 | 直梯广告受众人数统计分析方法 |
| CN111563424A (zh) * | 2020-04-20 | 2020-08-21 | 清华大学 | 基于半监督学习的行人再识别方法及装置 |
| CN111738172A (zh) * | 2020-06-24 | 2020-10-02 | 中国科学院自动化研究所 | 基于特征对抗学习和自相似性聚类的跨域目标重识别方法 |
| CN111881764A (zh) * | 2020-07-01 | 2020-11-03 | 深圳力维智联技术有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
| CN111931619A (zh) * | 2020-07-31 | 2020-11-13 | 杭州电子科技大学 | 一种基于优化聚类算法的跨域步态重识别方法 |
| CN112037173A (zh) * | 2020-08-04 | 2020-12-04 | 湖南自兴智慧医疗科技有限公司 | 染色体检测方法、装置及电子设备 |
| CN112115780A (zh) * | 2020-08-11 | 2020-12-22 | 西安交通大学 | 一种基于深度多模型协同的半监督行人重识别方法 |
| CN112672052A (zh) * | 2020-12-24 | 2021-04-16 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 一种图像数据增强方法、系统、电子设备及存储介质 |
| CN112784783A (zh) * | 2021-01-28 | 2021-05-11 | 武汉大学 | 基于虚拟样本的行人重识别方法 |
| CN113111814A (zh) * | 2021-04-20 | 2021-07-13 | 合肥学院 | 基于正则化约束的半监督行人重识别方法及装置 |
| WO2021139316A1 (zh) * | 2020-07-31 | 2021-07-15 | 平安科技（深圳）有限公司 | 建立表情识别模型方法、装置、计算机设备及存储介质 |
| CN113449555A (zh) * | 2020-03-26 | 2021-09-28 | 深圳市丰驰顺行信息技术有限公司 | 交通标志识别方法、装置、计算机设备及存储介质 |
| CN113657267A (zh) * | 2021-08-17 | 2021-11-16 | 中国科学院长春光学精密机械与物理研究所 | 一种半监督行人重识别模型、方法和装置 |
| CN113989596A (zh) * | 2021-12-23 | 2022-01-28 | 深圳佑驾创新科技有限公司 | 图像分类模型的训练方法及计算机可读存储介质 |
| CN114241260A (zh) * | 2021-12-14 | 2022-03-25 | 四川大学 | 一种基于深度神经网络的开集目标检测与识别方法 |
| CN114529946A (zh) * | 2022-02-23 | 2022-05-24 | 厦门市美亚柏科信息股份有限公司 | 基于自监督学习的行人重识别方法、装置、设备及存储介质 |
| CN114881129A (zh) * | 2022-04-25 | 2022-08-09 | 北京百度网讯科技有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
| CN115438755A (zh) * | 2022-11-08 | 2022-12-06 | 腾讯科技（深圳）有限公司 | 分类模型的增量训练方法、装置和计算机设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764281A (zh) * | 2018-04-18 | 2018-11-06 | 华南理工大学 | 一种基于半监督自步学习跨任务深度网络的图像分类方法 |
| CN109784166A (zh) * | 2018-12-13 | 2019-05-21 | 北京飞搜科技有限公司 | 行人重识别的方法及装置 |
| CN109961051A (zh) * | 2019-03-28 | 2019-07-02 | 湖北工业大学 | 一种基于聚类和分块特征提取的行人重识别方法 |
-
2019
- 2019-08-09 CN CN201910735333.1A patent/CN110555390B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764281A (zh) * | 2018-04-18 | 2018-11-06 | 华南理工大学 | 一种基于半监督自步学习跨任务深度网络的图像分类方法 |
| CN109784166A (zh) * | 2018-12-13 | 2019-05-21 | 北京飞搜科技有限公司 | 行人重识别的方法及装置 |
| CN109961051A (zh) * | 2019-03-28 | 2019-07-02 | 湖北工业大学 | 一种基于聚类和分块特征提取的行人重识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| HONGLONG CAI 等: "Multi-Scale Body-Part Mask Guided Attention for Person Re-identification", 《IEEE》 * |
| JEAN-PAUL AINAM 等: "Sparse Label Smoothing Regularization for Person Re-Identification", 《ARXIV》 * |
| TERO KARRAS 等: "PROGRESSIVE GROWING OF GANS FOR IMPROVED QUALITY, STABILITY, AND VARIATION", 《ARXIV》 * |
| XUAN ZHANG 等: "AlignedReID:Surpassing Human-Level Performance in Person Re-Identification", 《ARXIV》 * |
| ZHONGDAO WANG 等: "Orientation Invariant Feature Embedding and Spatial Temporal Regularization for Vehicle Re-identification", 《IEEE》 * |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111274958A (zh) * | 2020-01-20 | 2020-06-12 | 福州大学 | 一种网络参数自纠正的行人重识别方法及系统 |
| CN111274958B (zh) * | 2020-01-20 | 2022-10-04 | 福州大学 | 一种网络参数自纠正的行人重识别方法及系统 |
| CN111476600B (zh) * | 2020-03-23 | 2023-09-19 | 浙江新再灵科技股份有限公司 | 直梯广告受众人数统计分析方法 |
| CN111476600A (zh) * | 2020-03-23 | 2020-07-31 | 浙江新再灵科技股份有限公司 | 直梯广告受众人数统计分析方法 |
| CN113449555A (zh) * | 2020-03-26 | 2021-09-28 | 深圳市丰驰顺行信息技术有限公司 | 交通标志识别方法、装置、计算机设备及存储介质 |
| CN111476168B (zh) * | 2020-04-08 | 2022-06-21 | 山东师范大学 | 一种基于三阶段的跨域行人重识别方法和系统 |
| CN111476168A (zh) * | 2020-04-08 | 2020-07-31 | 山东师范大学 | 一种基于三阶段的跨域行人重识别方法和系统 |
| CN111563424B (zh) * | 2020-04-20 | 2022-08-30 | 清华大学 | 基于半监督学习的行人再识别方法及装置 |
| CN111563424A (zh) * | 2020-04-20 | 2020-08-21 | 清华大学 | 基于半监督学习的行人再识别方法及装置 |
| CN111738172B (zh) * | 2020-06-24 | 2021-02-12 | 中国科学院自动化研究所 | 基于特征对抗学习和自相似性聚类的跨域目标重识别方法 |
| CN111738172A (zh) * | 2020-06-24 | 2020-10-02 | 中国科学院自动化研究所 | 基于特征对抗学习和自相似性聚类的跨域目标重识别方法 |
| CN111881764B (zh) * | 2020-07-01 | 2023-11-03 | 深圳力维智联技术有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
| CN111881764A (zh) * | 2020-07-01 | 2020-11-03 | 深圳力维智联技术有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
| CN111931619A (zh) * | 2020-07-31 | 2020-11-13 | 杭州电子科技大学 | 一种基于优化聚类算法的跨域步态重识别方法 |
| WO2021139316A1 (zh) * | 2020-07-31 | 2021-07-15 | 平安科技（深圳）有限公司 | 建立表情识别模型方法、装置、计算机设备及存储介质 |
| CN111931619B (zh) * | 2020-07-31 | 2024-04-05 | 杭州电子科技大学 | 一种基于优化聚类算法的跨域步态重识别方法 |
| CN112037173A (zh) * | 2020-08-04 | 2020-12-04 | 湖南自兴智慧医疗科技有限公司 | 染色体检测方法、装置及电子设备 |
| CN112037173B (zh) * | 2020-08-04 | 2024-04-05 | 湖南自兴智慧医疗科技有限公司 | 染色体检测方法、装置及电子设备 |
| CN112115780A (zh) * | 2020-08-11 | 2020-12-22 | 西安交通大学 | 一种基于深度多模型协同的半监督行人重识别方法 |
| CN112672052A (zh) * | 2020-12-24 | 2021-04-16 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 一种图像数据增强方法、系统、电子设备及存储介质 |
| WO2022160773A1 (zh) * | 2021-01-28 | 2022-08-04 | 武汉大学 | 基于虚拟样本的行人重识别方法 |
| CN112784783A (zh) * | 2021-01-28 | 2021-05-11 | 武汉大学 | 基于虚拟样本的行人重识别方法 |
| US11837007B2 (en) | 2021-01-28 | 2023-12-05 | Wuhan University | Pedestrian re-identification method based on virtual samples |
| CN113111814A (zh) * | 2021-04-20 | 2021-07-13 | 合肥学院 | 基于正则化约束的半监督行人重识别方法及装置 |
| CN113111814B (zh) * | 2021-04-20 | 2022-12-06 | 合肥学院 | 基于正则化约束的半监督行人重识别方法及装置 |
| CN113657267A (zh) * | 2021-08-17 | 2021-11-16 | 中国科学院长春光学精密机械与物理研究所 | 一种半监督行人重识别模型、方法和装置 |
| CN113657267B (zh) * | 2021-08-17 | 2024-01-12 | 中国科学院长春光学精密机械与物理研究所 | 一种半监督行人重识别方法和装置 |
| CN114241260A (zh) * | 2021-12-14 | 2022-03-25 | 四川大学 | 一种基于深度神经网络的开集目标检测与识别方法 |
| CN114241260B (zh) * | 2021-12-14 | 2023-04-07 | 四川大学 | 一种基于深度神经网络的开集目标检测与识别方法 |
| CN113989596A (zh) * | 2021-12-23 | 2022-01-28 | 深圳佑驾创新科技有限公司 | 图像分类模型的训练方法及计算机可读存储介质 |
| CN114529946A (zh) * | 2022-02-23 | 2022-05-24 | 厦门市美亚柏科信息股份有限公司 | 基于自监督学习的行人重识别方法、装置、设备及存储介质 |
| CN114881129A (zh) * | 2022-04-25 | 2022-08-09 | 北京百度网讯科技有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
| CN115438755A (zh) * | 2022-11-08 | 2022-12-06 | 腾讯科技（深圳）有限公司 | 分类模型的增量训练方法、装置和计算机设备 |
| CN115438755B (zh) * | 2022-11-08 | 2024-04-02 | 腾讯科技（深圳）有限公司 | 分类模型的增量训练方法、装置和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110555390B (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555390B (zh) | 基于半监督训练方式的行人重识别方法、装置及介质 | |
| CN108140032B (zh) | 用于自动视频概括的设备和方法 | |
| JP6926335B2 (ja) | 深層学習における回転可変物体検出 | |
| CN107609525B (zh) | 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法 | |
| CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
| CN105745687B (zh) | 情景感知移动目标检测 | |
| CN112166439A (zh) | 真实到合成图像域转移 | |
| CN108230291B (zh) | 物体识别系统训练方法、物体识别方法、装置和电子设备 | |
| JP6867054B2 (ja) | マルチカメラシステム内のダブルエンベディング構成を利用して、道路利用者イベントを検出するために用いられるセグメンテーション性能向上のための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置。｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｉｍｐｒｏｖｉｎｇ ｓｅｇｍｅｎｔａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｒｏａｄ ｕｓｅｒ ｅｖｅｎｔｓ ｕｓｉｎｇ ｄｏｕｂｌｅ ｅｍｂｅｄｄｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｎ ｍｕｌｔｉ−ｃａｍｅｒａ ｓｙｓｔｅｍ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ | |
| CN109948593A (zh) | 基于结合全局密度特征的mcnn人群计数方法 | |
| CN112307868B (zh) | 图像识别方法、电子设备和计算机可读介质 | |
| KR102117007B1 (ko) | 영상에서 객체를 인식하는 방법 및 장치 | |
| CN111382613A (zh) | 图像处理方法、装置、设备和介质 | |
| CN110516707B (zh) | 一种图像标注方法及其装置、存储介质 | |
| WO2023142912A1 (zh) | 遗留物体的检测方法、装置及存储介质 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN110991278A (zh) | 计算机视觉系统的视频中人体动作识别方法和装置 | |
| CN114842343A (zh) | 一种基于ViT的航空图像识别方法 | |
| CN113936302A (zh) | 行人重识别模型的训练方法、装置、计算设备及存储介质 | |
| CN110969642B (zh) | 视频过滤方法、装置、电子设备及存储介质 | |
| KR102210404B1 (ko) | 위치 정보 추출 장치 및 방법 | |
| CN107633527B (zh) | 基于全卷积神经网络的目标追踪方法及装置 | |
| CN105160285A (zh) | 基于立体视觉的自动人体跌倒识别方法及系统 | |
| CN113706550A (zh) | 图像场景识别和模型训练方法、装置和计算机设备 | |
| US20220366242A1 (en) | Information processing apparatus, information processing method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |