CN113033410B - 基于自动数据增强的域泛化行人重识别方法、系统及介质 - Google Patents

基于自动数据增强的域泛化行人重识别方法、系统及介质 Download PDF

Info

Publication number
CN113033410B
CN113033410B CN202110325663.0A CN202110325663A CN113033410B CN 113033410 B CN113033410 B CN 113033410B CN 202110325663 A CN202110325663 A CN 202110325663A CN 113033410 B CN113033410 B CN 113033410B
Authority
CN
China
Prior art keywords
pedestrian
data enhancement
data
strategy
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110325663.0A
Other languages
English (en)
Other versions
CN113033410A (zh
Inventor
黄伟浩
郑伟诗
庞景龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110325663.0A priority Critical patent/CN113033410B/zh
Publication of CN113033410A publication Critical patent/CN113033410A/zh
Application granted granted Critical
Publication of CN113033410B publication Critical patent/CN113033410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自动数据增强的域泛化行人重识别方法、系统及介质，该方法包括：定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure DDA0002994568870000012
在源域训练集上应用
Figure DDA0002994568870000011
重新训练行人重识别模型；应用训练好的行人重识别模型进行行人匹配。本发明采用了一种针对域泛化行人重识别问题的数据增强策略搜索算法搜索出一组复杂的数据增强策略，多样性强，可提升行人重识别模型在未知场景下的稳定性和鲁棒性，有利于推进行人重识别技术落地。另外，本发明在数据增强策略搜索过程中采用了TPE算法调优数据增强策略，相比普通数据增强操作进一步提升模型的泛化能力，策略搜索时不需要重复训练行人重识别模型，提升了搜索效率。

Description

基于自动数据增强的域泛化行人重识别方法、系统及介质
技术领域
本发明属于计算机视觉的技术领域，具体涉及一种基于自动数据增强的域泛化行人重识别方法、系统及介质。
背景技术
行人重识别技术(person re-ID，person re-identification)，又称行人检索(person retrieval)，是智能视频分析的重要组成部分。行人重识别旨在使用给定查询图像(queryimage)在一个图像数据库(galleryset)中检索与其匹配的图像，也可以看作是一种针对行人的图像检索任务。
绝大部分行人重识别数据集是由有限个摄像机的图像集组成，训练集的行人身份(person ID)集合与测试集的行人身份(person ID)集合是不相交的，但两者的摄像机集合是一致的。大部分工作都关注有监督场景下的行人重识别问题(有监督单域：训练集有标签)，性能较好，上升空间小。近年，出现了基于深度学习的无监督行人重识别工作，主要分为以下三类：
(1)纯无监督(单域)：训练集无标签；
(2)域适应(跨域)：源域数据有标签，目标域数据无标签且可用于训练；
(3)域泛化(跨域)；源域数据有标签，目标域数据不可用于训练；
纯无监督方法与域适应方法的相关研究工作已比较成熟，而域泛化工作还处于起步阶段。纯无监督与域适应这两者相比于域泛化的优点是可利用目标域数据来缩小源域与目标域之间的域间差距(domain gap)。域间差距主要体现在摄像头角度、行人穿着、光照以及天气等场景因素的不同。
数据增强是增强深度学习模型泛化能力的一项重要技术。本专利仅研究图像增强操作，包括几何变换，颜色空间增强，混合图像(mixing)，随机擦除(randomerasing)等操作。数据增强在行人重识别领域中被广泛利用，除普通的增强操作外，部分行人重识别技术还使用生成对抗网络合成样本以扩充数据集。近年，自动数据增强成为该领域的研究热点，该技术旨在从数据集中自动搜索增强策略(policy，由一组数据增强方法组成)，并使用该策略进行训练以增强模型的泛化能力。
上述行人重识别技术主要有以下缺点：
(1)有监督场景下的行人重识别方法可能对域内场景过拟合。此类方法主要通过难样本挖掘(hard example mining)，局部特征(localfeature)设计等方法学习具有判别性的特征。即使能够提升域内的重识别性能，部分方法使模型对域内场景过拟合，在其他域场景下性能低下，例如，模型在陌生视角场景下的识别性能较差。
(2)纯无监督方法与域适应方法训练过程使用目标域数据能够缩小源域与目标域的域间差距，但真实场景下，难以先让模型适应目标域场景再应用，比如在火车站内的大型监控系统检索失踪儿童，域适应的成本十分高昂，一旦监控系统被修改，如增添摄像机，可能需要重新域适应。以上原因说明这两类方法落地成本高，并不适用真实场景下的大规模行人重识别。
(3)使用生成对抗网络合成样本的行人重识别技术，合成样本过程的时间花费大，而且有可能合成样本是噪声，因为生成对抗网络本身存在一定局限性，其次，行人重识别数据集存在部分低质量的样本，由这些样本合成的新样本变成噪声的概率更高。
(4)数据集的样本数量以及样本多样性是模型泛化能力的重要影响因素。上述行人重识别方法简单地使用了一部分数据增强操作，但是并没有最大限度地发挥数据增强的作用。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于自动数据增强的域泛化行人重识别方法、系统及介质，旨在进一步增强数据集的样本数量以及样本多样性以增强模型在陌生场景下的鲁棒性，解决域泛化行人重识别问题中，行人重识别模型在陌生场景下性能较差的问题。
为了达到上述目的，本发明采用以下技术方案：
本发明一方面公开了一种基于自动数据增强的域泛化行人重识别方法，包括下述步骤：
定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure BDA0002994568850000021
具体为：采样子数据集；令最终输出的数据增强策略/>
Figure BDA0002994568850000022
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至/>
Figure BDA0002994568850000023
在源域训练集上应用
Figure BDA0002994568850000024
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用/>
Figure BDA0002994568850000025
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
作为优选的技术方案，所述数据增强策略包括多个子策略，每个子策略均包含两个数据增强操作，且数据增强操作有调用次序；所述数据增强操作包括两个超参数：应用该操作的概率和增强幅度；所述数据增强策略的应用过程为：首先随机选取一个子策略，然后根据次序调用数据增强操作并按照操作对应的概率和增强幅度对输入数据应用数据增强操作。
作为优选的技术方案，所述采样子数据集具体为：
从源域训练数据集Dtrain采样成K个子数据集
Figure BDA0002994568850000031
每个子数据集/>
Figure BDA0002994568850000032
内部划分成训练集/>
Figure BDA0002994568850000033
和验证集/>
Figure BDA0002994568850000034
Figure BDA0002994568850000035
其中，子数据集/>
Figure BDA0002994568850000036
内部的训练集摄像机集合/>
Figure BDA0002994568850000037
和验证集摄像机集合/>
Figure BDA0002994568850000038
的交集为空。
作为优选的技术方案，所述在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至
Figure BDA0002994568850000039
具体为：
令子数据集
Figure BDA00029945688500000310
内搜索的数据增强策略/>
Figure BDA00029945688500000311
为空；
使用子数据集
Figure BDA00029945688500000312
的训练集/>
Figure BDA00029945688500000313
训练行人重识别模型θ；
重复以下步骤T次：通过贝叶斯优化方法搜索一组候选数据增强策略，令为
Figure BDA00029945688500000314
从这一组候选数据增强策略选取验证集上损失最小的n个数据增强策略，并将这些数据增强策略的子策略添加到/>
Figure BDA00029945688500000315
将
Figure BDA00029945688500000316
的子策略加入到最终输出的数据增强策略/>
Figure BDA00029945688500000317
作为优选的技术方案，所述通过贝叶斯优化方法搜索一组候选数据增强策略具体为，重复以下步骤B次具体为：
采样一组子策略构造成一个候选数据增强策略
Figure BDA00029945688500000318
Figure BDA00029945688500000319
为子策略数量；
将对应的调用概率
Figure BDA00029945688500000320
和对应的增强幅度/>
Figure BDA00029945688500000321
设置为行人重识别模型θ的数据增强策略超参数；
在验证集
Figure BDA00029945688500000322
上，使用TPE算法对所述数据增强策略超参数进行优化，最小化行人重识别模型θ在验证集/>
Figure BDA00029945688500000323
上的损失/>
Figure BDA00029945688500000324
以搜索一组使损失最小的数据增强策略，其中，优化时只需用行人重识别模型θ计算损失，不涉及训练过程。
作为优选的技术方案，所述行人重识别模型θ以去除最后一个全连接层的残差网络作为骨干网络，紧接一个全连接层进并使用交叉熵损失作为损失函数监督网络训练。
作为优选的技术方案，所述在源域训练集上应用输出的数据增强策略重新训练行人重识别模型具体为：
从源域训练集Dtrain随机采样若干张行人图片；
应用数据增强策略
Figure BDA0002994568850000041
生成输入数据：从数据增强策略/>
Figure BDA0002994568850000042
中随机选取一个子策略，依序在采样的样本上应用子策略中的数据增强操作，生成训练网络的输入数据，并输入至行人重识别模型θ；
计算损失并使用随机梯度下降法更新模型参数；
重复上述步骤，直到损失收敛，得到训练好的行人重识别模型θ。
作为优选的技术方案，所述应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配具体为：
使用行人重识别模型θ对给定查询行人图像和数据库的图像输出每张图对应的判别特征；所述判别特征是行人重识别模型θ骨干网络输出的高维特征；
计算查询行人图像与数据库的每张行人图像之间的相似度，其中，两张行人图片相似度定义为两张行人图片判别特征之间的欧氏距离；
与查询行人图像相似度最高的行人图像即为匹配结果。
本发明的另一方面提供了一种基于自动数据增强的域泛化行人重识别系统，其特征在于，应用于所述的基于自动数据增强的域泛化行人重识别方法，包括数据增强策略搜索模块、模型训练模块和行人匹配模块；
所述数据增强策略搜索模块，用于定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure BDA0002994568850000043
具体为：采样子数据集；令最终输出的数据增强策略/>
Figure BDA0002994568850000044
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至/>
Figure BDA0002994568850000045
所述模型训练模块，用于在源域训练集上应用
Figure BDA0002994568850000047
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用/>
Figure BDA0002994568850000046
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
所述行人匹配模块，用于应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
本发明的又一方面提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于自动数据增强的域泛化行人重识别方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用了一种针对域泛化行人重识别问题的数据增强策略搜索算法，在源域内模拟域泛化的设定，搜索出一组复杂的数据增强策略，增强了数据集样本多样性，以提升行人重识别模型在未知场景下的稳定性和鲁棒性，有利于推进行人重识别技术落地。同类技术只应用一种或多种数据增强操作，未能较好地发挥数据增强的作用，落地成本高，没有考虑样本多样性较弱所带来的模型过拟合源域的问题。
(2)本发明在数据增强策略搜索过程中采用了TPE算法调优数据增强策略，策略搜索时不需要重复训练行人重识别模型，提升了搜索效率。部分行人重识别技术使用生成对抗网络合成样本以提升样本多样性，时间花费较大，而且低质量的合成样本可能变成噪声。
(3)本发明采用的数据增强策略相比普通数据增强操作进一步提升模型的泛化能力，使数据增强策略搜索在域泛化行人重识别问题上更有效。现有的行人重识别技术仅简单地使用一种或几种数据增强操作，例如色彩增强，随机水平翻转等，对数据集样本多样性的增强有限，而且部分数据增强操作的超参数是手动调整的，或者是参考其他工作的数据增强操作超参数。另外，在域泛化行人重识别问题直接应用现有的自动数据增强算法并不能有很好地效果，因为训练集与验证集是同域的，模型训练过程保留了部分源域特征信息，可以辅助模型对行人的匹配，但搜索策略过程计算的损失会带来一定偏差，不利于搜索有效的数据增强策略。
附图说明
图1是本发明实施例基于自动数据增强的域泛化行人重识别方法的流程图；
图2是本发明实施例基于自动数据增强的域泛化行人重识别系统的结构示意图；
图3是本发明实施例的存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
如图1所示，本实施例提供了一种基于自动数据增强的域泛化行人重识别方法，包括以下步骤：
S1、定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure BDA0002994568850000051
在本实施例中，对数据增强策略作如下定义：一个策略(policy)是由多个子策略(sub-policy)组成的集合，每个子策略包含两个数据增强操作，且有调用先后的次序。每个数据增强操作与两个超参数(hyperparameter)相关联：1)应用该操作的概率；2)增强幅度(magnitude)。数据增强策略应用过程如下：首先，随机选取一个子策略；其次，根据次序调用数据增强操作，并按照操作对应的概率和增强幅度对输入数据(小批量数据，mini-batch)应用数据增强操作。例如，[[(TranslateX,0.5,50),(Rotate,0.8,10)],...]是一个数据增强策略，其中，[(TranslateX,0.5,50),(Rotate,0.8,10)]是一个子策略。
本发明应用的数据增强操作如表1所示：
Figure BDA0002994568850000061
表1、数据增强操作
更为具体的，步骤S1包括以下操作：
S1.1、采样子数据集。从源域训练数据集Dtrain采样成K个子数据集
Figure BDA0002994568850000062
每个子数据集/>
Figure BDA0002994568850000071
内部划分成训练集/>
Figure BDA0002994568850000072
和验证集/>
Figure BDA0002994568850000073
Figure BDA0002994568850000074
要求子数据集/>
Figure BDA0002994568850000075
内部的训练集摄像机集合/>
Figure BDA0002994568850000076
和验证集摄像机集合/>
Figure BDA0002994568850000077
的交集为空，目的是模拟域适应的设定，使基于数据增强策略训练的模型在未知场景更具鲁棒性。
S1.2、令最终输出的数据增强策略
Figure BDA0002994568850000078
为空。
S1.3、在每个子数据集
Figure BDA0002994568850000079
内搜索策略。对于每个子数据集/>
Figure BDA00029945688500000710
搜索步骤如下：
S1.3.1、令子数据集
Figure BDA00029945688500000711
内搜索的数据增强策略/>
Figure BDA00029945688500000712
为空。
S1.3.2、使用子数据集
Figure BDA00029945688500000713
的训练集/>
Figure BDA00029945688500000714
训练行人重识别模型θ。
S1.3.3、重复以下步骤T(在本实施例中，设置为2)次：
S1.3.3(1)、通过贝叶斯优化方法搜索B(在本实施例中，设置为200)个候选数据增强策略
Figure BDA00029945688500000715
该方法重复以下步骤B次：采样一组子策略构造成一个候选数据增强策略/>
Figure BDA00029945688500000716
(/>
Figure BDA00029945688500000717
是子策略数量，在本实施例中，设置为5)，将对应的调用概率
Figure BDA00029945688500000718
和对应的增强幅度/>
Figure BDA00029945688500000719
(每个增强操作的增强幅度范围映射到区间[0,1]，则λ的取值范围为[0,1])设置为行人重识别模型θ的数据增强策略超参数，在验证集
Figure BDA00029945688500000720
上，使用TPE算法对这些超参数进行调优(TPE，Tree-structured Parzen Estimator是一种基于序列模型优化的方法，该方法根据历史指标数据(即模型使用数据增强策略对验证集数据处理后，在验证集上的行人重识别损失)来按顺序对概率模型P(x|y)和P(y)进行建模，其中x表示超参数，y表示相关的评估指标，以估算算法的性能，随后基于概率模型来选择新的超参数)，最小化行人重识别模型θ在验证集/>
Figure BDA00029945688500000721
上的损失/>
Figure BDA00029945688500000722
以搜索一组使损失最小的数据增强策略，优化时只需要用行人重识别模型θ计算损失，而不涉及训练过程。
S1.3.3(2)、从B个候选数据增强策略
Figure BDA00029945688500000723
选取验证集上损失最小的10个数据增强策略并将这些数据增强策略的子策略添加到/>
Figure BDA00029945688500000724
S1.3.4、将
Figure BDA00029945688500000725
的子策略加入到最终输出的数据增强策略/>
Figure BDA00029945688500000726
S2、在源域训练集Dtrain上使用最终输出的数据增强策略
Figure BDA00029945688500000727
重新训练行人重识别模型θ。模型θ以残差网络(ResNet50，去除最后一个全连接层)作为骨干网络，紧接一个全连接层进并使用交叉熵损失(cross entropy loss)作为损失函数监督网络训练，所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个维度为2048的高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
损失函数监督网络训练步骤如下：
S2.1、从源域训练集Dtrain随机采样64张行人图片；
S2.2、应用数据增强策略
Figure BDA0002994568850000081
生成输入数据。从数据增强策略/>
Figure BDA0002994568850000082
中随机选取一个子策略，依序在步骤S2.1上采样的样本上应用子策略中的数据增强操作，生成训练网络的输入数据；
S2.3、以步骤S2.2生成的数据作为输入，计算损失并使用随机梯度下降法更新模型参数；
S2.4、重复步骤S2.1、S2.2、S2.3，直到损失收敛，得到训练好的行人重识别模型θ。
S3、应用行人重识别模型θ解决行人匹配问题。本技术使用行人图像判别特征之间的欧氏距离作为相似度，匹配过程如下：
S3.1、使用行人重识别模型θ对给定查询行人图像(queryimage)和数据库(galleryset)的图像输出每张图对应的判别特征。判别特征是行人重识别模型θ骨干网络输出的高维特征；
S3.2、计算查询行人图像与数据库的每张行人图像之间的相似度(匹配程度)，两张行人图片相似度是两张行人图片判别特征之间的欧氏距离；
S3.3、与查询行人图像相似度最高的行人图像即为匹配结果。
特别的，在步骤S3中，可以使用目标域中的测试集对训练好的行人重识别模型θ进行性能评估。
如图2所示，在本申请的另一个实施例中，提供了一种基于自动数据增强的域泛化行人重识别系统，该系统包括数据增强策略搜索模块、模型训练模块和行人匹配模块；
所述数据增强策略搜索模块，用于定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure BDA0002994568850000083
具体为：采样子数据集；令最终输出的数据增强策略/>
Figure BDA0002994568850000084
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至/>
Figure BDA0002994568850000085
所述模型训练模块，用于在源域训练集上应用
Figure BDA0002994568850000086
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用/>
Figure BDA0002994568850000087
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
所述行人匹配模块，用于应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，该系统是应用于上述实施例的基于自动数据增强的域泛化行人重识别方法。
如图3所示，在本申请的另一个实施例中，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现基于自动数据增强的域泛化行人重识别方法，具体为：
定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure BDA0002994568850000091
具体为：采样子数据集；令最终输出的数据增强策略/>
Figure BDA0002994568850000092
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至/>
Figure BDA0002994568850000093
在源域训练集上应用
Figure BDA0002994568850000094
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用/>
Figure BDA0002994568850000095
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于自动数据增强的域泛化行人重识别方法，其特征在于，包括下述步骤：
定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure QLYQS_3
，具体为：采样子数据集，所述采样子数据集具体为：从源域训练数据集/>
Figure QLYQS_7
采样成/>
Figure QLYQS_11
个子数据集/>
Figure QLYQS_2
，每个子数据集/>
Figure QLYQS_6
内部划分成训练集/>
Figure QLYQS_10
和验证集/>
Figure QLYQS_13
，/>
Figure QLYQS_1
；其中，子数据集/>
Figure QLYQS_8
内部的训练集摄像机集合/>
Figure QLYQS_12
和验证集摄像机集合/>
Figure QLYQS_14
的交集为空，/>
Figure QLYQS_4
=1、2…/>
Figure QLYQS_5
；令初始输出的数据增强策略/>
Figure QLYQS_9
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至/>
Figure QLYQS_15
；
所述在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至
Figure QLYQS_16
具体为：
令子数据集
Figure QLYQS_17
内搜索的数据增强策略/>
Figure QLYQS_18
为空；
使用子数据集
Figure QLYQS_19
的训练集/>
Figure QLYQS_20
训练行人重识别模型/>
Figure QLYQS_21
；
重复本步骤
Figure QLYQS_22
次：通过贝叶斯优化方法搜索一组候选数据增强策略/>
Figure QLYQS_23
，令/>
Figure QLYQS_24
；从这一组候选数据增强策略选取验证集上损失最小的n个数据增强策略，并将这些数据增强策略的子策略添加到/>
Figure QLYQS_25
，/>
Figure QLYQS_26
为预设次数；
将
Figure QLYQS_27
的子策略加入到最终输出的数据增强策略/>
Figure QLYQS_28
中；
所述通过贝叶斯优化方法搜索一组候选数据增强策略具体为：采样一组子策略构造成一个候选数据增强策略
Figure QLYQS_31
，/>
Figure QLYQS_34
为子策略数量，将对应的调用概率/>
Figure QLYQS_35
和对应的增强幅度/>
Figure QLYQS_30
设置为行人重识别模型/>
Figure QLYQS_33
的数据增强策略超参数，在验证集/>
Figure QLYQS_36
上，使用TPE算法对所述数据增强策略超参数进行优化，最小化行人重识别模型/>
Figure QLYQS_38
在验证集/>
Figure QLYQS_29
上的损失/>
Figure QLYQS_32
，以搜索一组使损失最小的数据增强策略，其中，优化时只需用行人重识别模型/>
Figure QLYQS_37
计算损失，不涉及训练过程；重复上述通过贝叶斯优化方法搜索一组候选数据增强策略所包括的具体步骤B次，B为预设次数；
在源域训练集上应用
Figure QLYQS_39
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用/>
Figure QLYQS_40
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数并通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；在源域训练集上应用输出的数据增强策略重新训练行人重识别模型具体为：
从源域训练集
Figure QLYQS_41
随机采样若干张行人图片；
应用数据增强策略
Figure QLYQS_42
生成输入数据：从数据增强策略/>
Figure QLYQS_43
中随机选取一个子策略，依序在采样的样本上应用子策略中的数据增强操作，生成训练网络的输入数据，并输入至行人重识别模型/>
Figure QLYQS_44
；
计算损失并使用随机梯度下降法更新模型参数；
重复上述在源域训练集上应用输出的数据增强策略重新训练行人重识别模型所包括的具体步骤，直到损失收敛，得到训练好的行人重识别模型
Figure QLYQS_45
；
应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
2.根据权利要求1所述基于自动数据增强的域泛化行人重识别方法，其特征在于，所述数据增强策略包括多个子策略，每个子策略均包含两个数据增强操作，且数据增强操作有调用次序；所述数据增强操作包括两个超参数：应用该操作的概率和增强幅度；所述数据增强策略的应用过程为：首先随机选取一个子策略，然后根据次序调用数据增强操作并按照操作对应的概率和增强幅度对输入数据应用数据增强操作。
3.根据权利要求1所述基于自动数据增强的域泛化行人重识别方法，其特征在于，所述行人重识别模型
Figure QLYQS_46
以去除最后一个全连接层的残差网络作为骨干网络，连接一个全连接层并使用交叉熵损失作为损失函数监督网络训练。
4.基于自动数据增强的域泛化行人重识别系统，其特征在于，应用于权利要求1-3中任一项所述的基于自动数据增强的域泛化行人重识别方法，包括数据增强策略搜索模块、模型训练模块和行人匹配模块；
所述数据增强策略搜索模块，用于定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure QLYQS_47
，具体为：采样子数据集；令初始输出的数据增强策略/>
Figure QLYQS_48
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至/>
Figure QLYQS_49
；
所述模型训练模块，用于在源域训练集上应用
Figure QLYQS_50
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用/>
Figure QLYQS_51
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数并通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
所述行人匹配模块，用于应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
5.一种存储介质，存储有程序，其特征在于：所述程序被处理器执行时，实现权利要求1-3任一项所述的基于自动数据增强的域泛化行人重识别方法。
CN202110325663.0A 2021-03-26 2021-03-26 基于自动数据增强的域泛化行人重识别方法、系统及介质 Active CN113033410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110325663.0A CN113033410B (zh) 2021-03-26 2021-03-26 基于自动数据增强的域泛化行人重识别方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110325663.0A CN113033410B (zh) 2021-03-26 2021-03-26 基于自动数据增强的域泛化行人重识别方法、系统及介质

Publications (2)

Publication Number Publication Date
CN113033410A CN113033410A (zh) 2021-06-25
CN113033410B true CN113033410B (zh) 2023-06-06

Family

ID=76474176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110325663.0A Active CN113033410B (zh) 2021-03-26 2021-03-26 基于自动数据增强的域泛化行人重识别方法、系统及介质

Country Status (1)

Country Link
CN (1) CN113033410B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537406B (zh) * 2021-08-30 2023-04-07 重庆紫光华山智安科技有限公司 一种图像自动数据增强方法、系统、介质及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670528A (zh) * 2018-11-14 2019-04-23 中国矿业大学 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN109993072A (zh) * 2019-03-14 2019-07-09 中山大学 基于超分辨图像生成的低分辨率行人重识别系统和方法
CN111062329A (zh) * 2019-12-18 2020-04-24 中山大学 基于增广网络的无监督行人重识别方法
CN112347957A (zh) * 2020-11-12 2021-02-09 广联达科技股份有限公司 行人重识别方法、装置、计算机设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2410467A1 (en) * 2010-07-23 2012-01-25 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO System and method for identifying image locations showing the same person in different images
JP6448223B2 (ja) * 2014-06-12 2019-01-09 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
US9740963B2 (en) * 2014-08-05 2017-08-22 Sri International Multi-dimensional realization of visual content of an image collection
GB2564668B (en) * 2017-07-18 2022-04-13 Vision Semantics Ltd Target re-identification
CN108960127B (zh) * 2018-06-29 2021-11-05 厦门大学 基于自适应深度度量学习的遮挡行人重识别方法
US10922581B2 (en) * 2018-12-10 2021-02-16 Canon Kabushiki Kaisha Method, system and apparatus for performing re-identification in images captured by at least two camera pairs operating with different environmental factors
CN109977882B (zh) * 2019-03-29 2019-12-03 广东石油化工学院 一种半耦合字典对学习的行人重识别方法及系统
CN110309798B (zh) * 2019-07-05 2021-05-11 中新国际联合研究院 一种基于域自适应学习和域泛化的人脸欺骗检测方法
CN110796057A (zh) * 2019-10-22 2020-02-14 上海交通大学 行人重识别方法、装置及计算机设备
CN110807109A (zh) * 2019-11-08 2020-02-18 北京金山云网络技术有限公司 数据增强策略的生成方法、数据增强方法和装置
CN111127364B (zh) * 2019-12-26 2022-08-02 吉林大学 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN111324744B (zh) * 2020-02-17 2023-04-07 中山大学 一种基于目标情感分析数据集的数据增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670528A (zh) * 2018-11-14 2019-04-23 中国矿业大学 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN109993072A (zh) * 2019-03-14 2019-07-09 中山大学 基于超分辨图像生成的低分辨率行人重识别系统和方法
CN111062329A (zh) * 2019-12-18 2020-04-24 中山大学 基于增广网络的无监督行人重识别方法
CN112347957A (zh) * 2020-11-12 2021-02-09 广联达科技股份有限公司 行人重识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN113033410A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN111914644B (zh) 一种基于双模态协同的弱监督时序动作定位方法及系统
CN110097131B (zh) 一种基于对抗协同训练的半监督医疗图像分割方法
Cai et al. IterDANet: Iterative intra-domain adaptation for semantic segmentation of remote sensing images
CN114492574A (zh) 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
CN109783666A (zh) 一种基于迭代精细化的图像场景图谱生成方法
WO2020232840A1 (zh) 基于神经网络结构搜索的车辆多属性识别方法、装置、介质
CN113963165A (zh) 一种基于自监督学习的小样本图像分类方法及系统
CN111724400A (zh) 视频自动抠像方法及系统
CN111931814A (zh) 一种基于类内结构紧致约束的无监督对抗域适应方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN115147632A (zh) 基于密度峰值聚类算法的图像类别自动标注方法及装置
Li et al. Image manipulation localization using attentional cross-domain CNN features
CN113033410B (zh) 基于自动数据增强的域泛化行人重识别方法、系统及介质
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
Pal Generative adversarial network-based cross-project fault prediction
Creswell et al. Task specific adversarial cost function
Chen et al. Image haze removal by adaptive CycleGAN
CN115661539A (zh) 一种嵌入不确定性信息的少样本图像识别方法
Yang et al. NAM Net: Meta-network with normalization-based attention for few-shot learning
CN115131605A (zh) 一种基于自适应子图的结构感知图对比学习方法
CN114298286A (zh) 一种对轻量化卷积神经网络训练得到预训练模型的方法
CN114818785A (zh) 基于多模型融合的信号调制方式识别方法
Wang et al. Semantic Segmentation of Foggy Scenes Based on Progressive Domain Gap Decoupling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant