CN113033410A - 基于自动数据增强的域泛化行人重识别方法、系统及介质 - Google Patents

基于自动数据增强的域泛化行人重识别方法、系统及介质 Download PDF

Info

Publication number
CN113033410A
CN113033410A CN202110325663.0A CN202110325663A CN113033410A CN 113033410 A CN113033410 A CN 113033410A CN 202110325663 A CN202110325663 A CN 202110325663A CN 113033410 A CN113033410 A CN 113033410A
Authority
CN
China
Prior art keywords
pedestrian
data enhancement
strategy
data
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110325663.0A
Other languages
English (en)
Other versions
CN113033410B (zh
Inventor
黄伟浩
郑伟诗
庞景龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110325663.0A priority Critical patent/CN113033410B/zh
Publication of CN113033410A publication Critical patent/CN113033410A/zh
Application granted granted Critical
Publication of CN113033410B publication Critical patent/CN113033410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自动数据增强的域泛化行人重识别方法、系统及介质，该方法包括：定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure DDA0002994568870000012
在源域训练集上应用
Figure DDA0002994568870000011
重新训练行人重识别模型；应用训练好的行人重识别模型进行行人匹配。本发明采用了一种针对域泛化行人重识别问题的数据增强策略搜索算法搜索出一组复杂的数据增强策略，多样性强，可提升行人重识别模型在未知场景下的稳定性和鲁棒性，有利于推进行人重识别技术落地。另外，本发明在数据增强策略搜索过程中采用了TPE算法调优数据增强策略，相比普通数据增强操作进一步提升模型的泛化能力，策略搜索时不需要重复训练行人重识别模型，提升了搜索效率。

Description

基于自动数据增强的域泛化行人重识别方法、系统及介质
技术领域
本发明属于计算机视觉的技术领域，具体涉及一种基于自动数据增强的域泛化行人重识别方法、系统及介质。
背景技术
行人重识别技术(person re-ID，person re-identification)，又称行人检索(person retrieval)，是智能视频分析的重要组成部分。行人重识别旨在使用给定查询图像(queryimage)在一个图像数据库(galleryset)中检索与其匹配的图像，也可以看作是一种针对行人的图像检索任务。
绝大部分行人重识别数据集是由有限个摄像机的图像集组成，训练集的行人身份(person ID)集合与测试集的行人身份(person ID)集合是不相交的，但两者的摄像机集合是一致的。大部分工作都关注有监督场景下的行人重识别问题(有监督单域：训练集有标签)，性能较好，上升空间小。近年，出现了基于深度学习的无监督行人重识别工作，主要分为以下三类：
(1)纯无监督(单域)：训练集无标签；
(2)域适应(跨域)：源域数据有标签，目标域数据无标签且可用于训练；
(3)域泛化(跨域)；源域数据有标签，目标域数据不可用于训练；
纯无监督方法与域适应方法的相关研究工作已比较成熟，而域泛化工作还处于起步阶段。纯无监督与域适应这两者相比于域泛化的优点是可利用目标域数据来缩小源域与目标域之间的域间差距(domain gap)。域间差距主要体现在摄像头角度、行人穿着、光照以及天气等场景因素的不同。
数据增强是增强深度学习模型泛化能力的一项重要技术。本专利仅研究图像增强操作，包括几何变换，颜色空间增强，混合图像(mixing)，随机擦除(randomerasing)等操作。数据增强在行人重识别领域中被广泛利用，除普通的增强操作外，部分行人重识别技术还使用生成对抗网络合成样本以扩充数据集。近年，自动数据增强成为该领域的研究热点，该技术旨在从数据集中自动搜索增强策略(policy，由一组数据增强方法组成)，并使用该策略进行训练以增强模型的泛化能力。
上述行人重识别技术主要有以下缺点：
(1)有监督场景下的行人重识别方法可能对域内场景过拟合。此类方法主要通过难样本挖掘(hard example mining)，局部特征(localfeature)设计等方法学习具有判别性的特征。即使能够提升域内的重识别性能，部分方法使模型对域内场景过拟合，在其他域场景下性能低下，例如，模型在陌生视角场景下的识别性能较差。
(2)纯无监督方法与域适应方法训练过程使用目标域数据能够缩小源域与目标域的域间差距，但真实场景下，难以先让模型适应目标域场景再应用，比如在火车站内的大型监控系统检索失踪儿童，域适应的成本十分高昂，一旦监控系统被修改，如增添摄像机，可能需要重新域适应。以上原因说明这两类方法落地成本高，并不适用真实场景下的大规模行人重识别。
(3)使用生成对抗网络合成样本的行人重识别技术，合成样本过程的时间花费大，而且有可能合成样本是噪声，因为生成对抗网络本身存在一定局限性，其次，行人重识别数据集存在部分低质量的样本，由这些样本合成的新样本变成噪声的概率更高。
(4)数据集的样本数量以及样本多样性是模型泛化能力的重要影响因素。上述行人重识别方法简单地使用了一部分数据增强操作，但是并没有最大限度地发挥数据增强的作用。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于自动数据增强的域泛化行人重识别方法、系统及介质，旨在进一步增强数据集的样本数量以及样本多样性以增强模型在陌生场景下的鲁棒性，解决域泛化行人重识别问题中，行人重识别模型在陌生场景下性能较差的问题。
为了达到上述目的，本发明采用以下技术方案：
本发明一方面公开了一种基于自动数据增强的域泛化行人重识别方法，包括下述步骤：
定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure BDA0002994568850000021
具体为：采样子数据集；令最终输出的数据增强策略
Figure BDA0002994568850000022
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至
Figure BDA0002994568850000023
在源域训练集上应用
Figure BDA0002994568850000024
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用
Figure BDA0002994568850000025
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
作为优选的技术方案，所述数据增强策略包括多个子策略，每个子策略均包含两个数据增强操作，且数据增强操作有调用次序；所述数据增强操作包括两个超参数：应用该操作的概率和增强幅度；所述数据增强策略的应用过程为：首先随机选取一个子策略，然后根据次序调用数据增强操作并按照操作对应的概率和增强幅度对输入数据应用数据增强操作。
作为优选的技术方案，所述采样子数据集具体为：
从源域训练数据集Dtrain采样成K个子数据集
Figure BDA0002994568850000031
每个子数据集
Figure BDA0002994568850000032
内部划分成训练集
Figure BDA0002994568850000033
和验证集
Figure BDA0002994568850000034
Figure BDA0002994568850000035
其中，子数据集
Figure BDA0002994568850000036
内部的训练集摄像机集合
Figure BDA0002994568850000037
和验证集摄像机集合
Figure BDA0002994568850000038
的交集为空。
作为优选的技术方案，所述在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至
Figure BDA0002994568850000039
具体为：
令子数据集
Figure BDA00029945688500000310
内搜索的数据增强策略
Figure BDA00029945688500000311
为空；
使用子数据集
Figure BDA00029945688500000312
的训练集
Figure BDA00029945688500000313
训练行人重识别模型θ；
重复以下步骤T次：通过贝叶斯优化方法搜索一组候选数据增强策略，令为
Figure BDA00029945688500000314
从这一组候选数据增强策略选取验证集上损失最小的n个数据增强策略，并将这些数据增强策略的子策略添加到
Figure BDA00029945688500000315
将
Figure BDA00029945688500000316
的子策略加入到最终输出的数据增强策略
Figure BDA00029945688500000317
作为优选的技术方案，所述通过贝叶斯优化方法搜索一组候选数据增强策略具体为，重复以下步骤B次具体为：
采样一组子策略构造成一个候选数据增强策略
Figure BDA00029945688500000318
Figure BDA00029945688500000319
为子策略数量；
将对应的调用概率
Figure BDA00029945688500000320
和对应的增强幅度
Figure BDA00029945688500000321
设置为行人重识别模型θ的数据增强策略超参数；
在验证集
Figure BDA00029945688500000322
上，使用TPE算法对所述数据增强策略超参数进行优化，最小化行人重识别模型θ在验证集
Figure BDA00029945688500000323
上的损失
Figure BDA00029945688500000324
以搜索一组使损失最小的数据增强策略，其中，优化时只需用行人重识别模型θ计算损失，不涉及训练过程。
作为优选的技术方案，所述行人重识别模型θ以去除最后一个全连接层的残差网络作为骨干网络，紧接一个全连接层进并使用交叉熵损失作为损失函数监督网络训练。
作为优选的技术方案，所述在源域训练集上应用输出的数据增强策略重新训练行人重识别模型具体为：
从源域训练集Dtrain随机采样若干张行人图片；
应用数据增强策略
Figure BDA0002994568850000041
生成输入数据：从数据增强策略
Figure BDA0002994568850000042
中随机选取一个子策略，依序在采样的样本上应用子策略中的数据增强操作，生成训练网络的输入数据，并输入至行人重识别模型θ；
计算损失并使用随机梯度下降法更新模型参数；
重复上述步骤，直到损失收敛，得到训练好的行人重识别模型θ。
作为优选的技术方案，所述应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配具体为：
使用行人重识别模型θ对给定查询行人图像和数据库的图像输出每张图对应的判别特征；所述判别特征是行人重识别模型θ骨干网络输出的高维特征；
计算查询行人图像与数据库的每张行人图像之间的相似度，其中，两张行人图片相似度定义为两张行人图片判别特征之间的欧氏距离；
与查询行人图像相似度最高的行人图像即为匹配结果。
本发明的另一方面提供了一种基于自动数据增强的域泛化行人重识别系统，其特征在于，应用于所述的基于自动数据增强的域泛化行人重识别方法，包括数据增强策略搜索模块、模型训练模块和行人匹配模块；
所述数据增强策略搜索模块，用于定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure BDA0002994568850000043
具体为：采样子数据集；令最终输出的数据增强策略
Figure BDA0002994568850000044
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至
Figure BDA0002994568850000045
所述模型训练模块，用于在源域训练集上应用
Figure BDA0002994568850000047
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用
Figure BDA0002994568850000046
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
所述行人匹配模块，用于应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
本发明的又一方面提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于自动数据增强的域泛化行人重识别方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用了一种针对域泛化行人重识别问题的数据增强策略搜索算法，在源域内模拟域泛化的设定，搜索出一组复杂的数据增强策略，增强了数据集样本多样性，以提升行人重识别模型在未知场景下的稳定性和鲁棒性，有利于推进行人重识别技术落地。同类技术只应用一种或多种数据增强操作，未能较好地发挥数据增强的作用，落地成本高，没有考虑样本多样性较弱所带来的模型过拟合源域的问题。
(2)本发明在数据增强策略搜索过程中采用了TPE算法调优数据增强策略，策略搜索时不需要重复训练行人重识别模型，提升了搜索效率。部分行人重识别技术使用生成对抗网络合成样本以提升样本多样性，时间花费较大，而且低质量的合成样本可能变成噪声。
(3)本发明采用的数据增强策略相比普通数据增强操作进一步提升模型的泛化能力，使数据增强策略搜索在域泛化行人重识别问题上更有效。现有的行人重识别技术仅简单地使用一种或几种数据增强操作，例如色彩增强，随机水平翻转等，对数据集样本多样性的增强有限，而且部分数据增强操作的超参数是手动调整的，或者是参考其他工作的数据增强操作超参数。另外，在域泛化行人重识别问题直接应用现有的自动数据增强算法并不能有很好地效果，因为训练集与验证集是同域的，模型训练过程保留了部分源域特征信息，可以辅助模型对行人的匹配，但搜索策略过程计算的损失会带来一定偏差，不利于搜索有效的数据增强策略。
附图说明
图1是本发明实施例基于自动数据增强的域泛化行人重识别方法的流程图；
图2是本发明实施例基于自动数据增强的域泛化行人重识别系统的结构示意图；
图3是本发明实施例的存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
如图1所示，本实施例提供了一种基于自动数据增强的域泛化行人重识别方法，包括以下步骤：
S1、定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure BDA0002994568850000051
在本实施例中，对数据增强策略作如下定义：一个策略(policy)是由多个子策略(sub-policy)组成的集合，每个子策略包含两个数据增强操作，且有调用先后的次序。每个数据增强操作与两个超参数(hyperparameter)相关联：1)应用该操作的概率；2)增强幅度(magnitude)。数据增强策略应用过程如下：首先，随机选取一个子策略；其次，根据次序调用数据增强操作，并按照操作对应的概率和增强幅度对输入数据(小批量数据，mini-batch)应用数据增强操作。例如，[[(TranslateX,0.5,50),(Rotate,0.8,10)],...]是一个数据增强策略，其中，[(TranslateX,0.5,50),(Rotate,0.8,10)]是一个子策略。
本发明应用的数据增强操作如表1所示：
Figure BDA0002994568850000061
表1、数据增强操作
更为具体的，步骤S1包括以下操作：
S1.1、采样子数据集。从源域训练数据集Dtrain采样成K个子数据集
Figure BDA0002994568850000062
每个子数据集
Figure BDA0002994568850000071
内部划分成训练集
Figure BDA0002994568850000072
和验证集
Figure BDA0002994568850000073
Figure BDA0002994568850000074
要求子数据集
Figure BDA0002994568850000075
内部的训练集摄像机集合
Figure BDA0002994568850000076
和验证集摄像机集合
Figure BDA0002994568850000077
的交集为空，目的是模拟域适应的设定，使基于数据增强策略训练的模型在未知场景更具鲁棒性。
S1.2、令最终输出的数据增强策略
Figure BDA0002994568850000078
为空。
S1.3、在每个子数据集
Figure BDA0002994568850000079
内搜索策略。对于每个子数据集
Figure BDA00029945688500000710
搜索步骤如下：
S1.3.1、令子数据集
Figure BDA00029945688500000711
内搜索的数据增强策略
Figure BDA00029945688500000712
为空。
S1.3.2、使用子数据集
Figure BDA00029945688500000713
的训练集
Figure BDA00029945688500000714
训练行人重识别模型θ。
S1.3.3、重复以下步骤T(在本实施例中，设置为2)次：
S1.3.3(1)、通过贝叶斯优化方法搜索B(在本实施例中，设置为200)个候选数据增强策略
Figure BDA00029945688500000715
该方法重复以下步骤B次：采样一组子策略构造成一个候选数据增强策略
Figure BDA00029945688500000716
(
Figure BDA00029945688500000717
是子策略数量，在本实施例中，设置为5)，将对应的调用概率
Figure BDA00029945688500000718
和对应的增强幅度
Figure BDA00029945688500000719
(每个增强操作的增强幅度范围映射到区间[0,1]，则λ的取值范围为[0,1])设置为行人重识别模型θ的数据增强策略超参数，在验证集
Figure BDA00029945688500000720
上，使用TPE算法对这些超参数进行调优(TPE，Tree-structured Parzen Estimator是一种基于序列模型优化的方法，该方法根据历史指标数据(即模型使用数据增强策略对验证集数据处理后，在验证集上的行人重识别损失)来按顺序对概率模型P(x|y)和P(y)进行建模，其中x表示超参数，y表示相关的评估指标，以估算算法的性能，随后基于概率模型来选择新的超参数)，最小化行人重识别模型θ在验证集
Figure BDA00029945688500000721
上的损失
Figure BDA00029945688500000722
以搜索一组使损失最小的数据增强策略，优化时只需要用行人重识别模型θ计算损失，而不涉及训练过程。
S1.3.3(2)、从B个候选数据增强策略
Figure BDA00029945688500000723
选取验证集上损失最小的10个数据增强策略并将这些数据增强策略的子策略添加到
Figure BDA00029945688500000724
S1.3.4、将
Figure BDA00029945688500000725
的子策略加入到最终输出的数据增强策略
Figure BDA00029945688500000726
S2、在源域训练集Dtrain上使用最终输出的数据增强策略
Figure BDA00029945688500000727
重新训练行人重识别模型θ。模型θ以残差网络(ResNet50，去除最后一个全连接层)作为骨干网络，紧接一个全连接层进并使用交叉熵损失(cross entropy loss)作为损失函数监督网络训练，所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个维度为2048的高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
损失函数监督网络训练步骤如下：
S2.1、从源域训练集Dtrain随机采样64张行人图片；
S2.2、应用数据增强策略
Figure BDA0002994568850000081
生成输入数据。从数据增强策略
Figure BDA0002994568850000082
中随机选取一个子策略，依序在步骤S2.1上采样的样本上应用子策略中的数据增强操作，生成训练网络的输入数据；
S2.3、以步骤S2.2生成的数据作为输入，计算损失并使用随机梯度下降法更新模型参数；
S2.4、重复步骤S2.1、S2.2、S2.3，直到损失收敛，得到训练好的行人重识别模型θ。
S3、应用行人重识别模型θ解决行人匹配问题。本技术使用行人图像判别特征之间的欧氏距离作为相似度，匹配过程如下：
S3.1、使用行人重识别模型θ对给定查询行人图像(queryimage)和数据库(galleryset)的图像输出每张图对应的判别特征。判别特征是行人重识别模型θ骨干网络输出的高维特征；
S3.2、计算查询行人图像与数据库的每张行人图像之间的相似度(匹配程度)，两张行人图片相似度是两张行人图片判别特征之间的欧氏距离；
S3.3、与查询行人图像相似度最高的行人图像即为匹配结果。
特别的，在步骤S3中，可以使用目标域中的测试集对训练好的行人重识别模型θ进行性能评估。
如图2所示，在本申请的另一个实施例中，提供了一种基于自动数据增强的域泛化行人重识别系统，该系统包括数据增强策略搜索模块、模型训练模块和行人匹配模块；
所述数据增强策略搜索模块，用于定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure BDA0002994568850000083
具体为：采样子数据集；令最终输出的数据增强策略
Figure BDA0002994568850000084
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至
Figure BDA0002994568850000085
所述模型训练模块，用于在源域训练集上应用
Figure BDA0002994568850000086
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用
Figure BDA0002994568850000087
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
所述行人匹配模块，用于应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，该系统是应用于上述实施例的基于自动数据增强的域泛化行人重识别方法。
如图3所示，在本申请的另一个实施例中，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现基于自动数据增强的域泛化行人重识别方法，具体为：
定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure BDA0002994568850000091
具体为：采样子数据集；令最终输出的数据增强策略
Figure BDA0002994568850000092
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至
Figure BDA0002994568850000093
在源域训练集上应用
Figure BDA0002994568850000094
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用
Figure BDA0002994568850000095
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于自动数据增强的域泛化行人重识别方法，其特征在于，包括下述步骤：
定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure FDA0002994568840000011
具体为：采样子数据集；令最终输出的数据增强策略
Figure FDA0002994568840000012
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至
Figure FDA0002994568840000013
在源域训练集上应用
Figure FDA0002994568840000014
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用
Figure FDA0002994568840000015
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
2.根据权利要求1所述基于自动数据增强的域泛化行人重识别方法，其特征在于，所述数据增强策略包括多个子策略，每个子策略均包含两个数据增强操作，且数据增强操作有调用次序；所述数据增强操作包括两个超参数：应用该操作的概率和增强幅度；所述数据增强策略的应用过程为：首先随机选取一个子策略，然后根据次序调用数据增强操作并按照操作对应的概率和增强幅度对输入数据应用数据增强操作。
3.根据权利要求1所述基于自动数据增强的域泛化行人重识别方法，其特征在于，所述采样子数据集具体为：
从源域训练数据集Dtrain采样成K个子数据集
Figure FDA0002994568840000016
每个子数据集
Figure FDA0002994568840000017
内部划分成训练集
Figure FDA0002994568840000018
和验证集
Figure FDA0002994568840000019
Figure FDA00029945688400000110
其中，子数据集
Figure FDA00029945688400000111
内部的训练集摄像机集合
Figure FDA00029945688400000112
和验证集摄像机集合
Figure FDA00029945688400000113
的交集为空。
4.根据权利要求1所述基于自动数据增强的域泛化行人重识别方法，其特征在于，所述在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至
Figure FDA00029945688400000114
具体为：
令子数据集
Figure FDA00029945688400000115
内搜索的数据增强策略
Figure FDA00029945688400000116
为空；
使用子数据集
Figure FDA00029945688400000117
的训练集
Figure FDA00029945688400000118
训练行人重识别模型θ；
重复以下步骤T次：通过贝叶斯优化方法搜索一组候选数据增强策略，令为
Figure FDA00029945688400000119
从这一组候选数据增强策略选取验证集上损失最小的n个数据增强策略，并将这些数据增强策略的子策略添加到
Figure FDA00029945688400000120
将
Figure FDA00029945688400000121
的子策略加入到最终输出的数据增强策略
Figure FDA00029945688400000122
5.根据权利要求4所述基于自动数据增强的域泛化行人重识别方法，其特征在于，所述通过贝叶斯优化方法搜索一组候选数据增强策略具体为，重复以下步骤B次具体为：
采样一组子策略构造成一个候选数据增强策略
Figure FDA0002994568840000021
Figure FDA0002994568840000022
为子策略数量；
将对应的调用概率
Figure FDA0002994568840000023
和对应的增强幅度
Figure FDA0002994568840000024
设置为行人重识别模型θ的数据增强策略超参数；
在验证集
Figure FDA0002994568840000025
上，使用TPE算法对所述数据增强策略超参数进行优化，最小化行人重识别模型θ在验证集
Figure FDA0002994568840000026
上的损失
Figure FDA0002994568840000027
以搜索一组使损失最小的数据增强策略，其中，优化时只需用行人重识别模型θ计算损失，不涉及训练过程。
6.根据权利要求1所述基于自动数据增强的域泛化行人重识别方法，其特征在于，所述行人重识别模型θ以去除最后一个全连接层的残差网络作为骨干网络，紧接一个全连接层进并使用交叉熵损失作为损失函数监督网络训练。
7.根据权利要求1所述基于自动数据增强的域泛化行人重识别方法，其特征在于，所述在源域训练集上应用输出的数据增强策略重新训练行人重识别模型具体为：
从源域训练集Dtrain随机采样若干张行人图片；
应用数据增强策略
Figure FDA0002994568840000028
生成输入数据：从数据增强策略
Figure FDA0002994568840000029
中随机选取一个子策略，依序在采样的样本上应用子策略中的数据增强操作，生成训练网络的输入数据，并输入至行人重识别模型θ；
计算损失并使用随机梯度下降法更新模型参数；
重复上述步骤，直到损失收敛，得到训练好的行人重识别模型θ。
8.根据权利要求1所述基于自动数据增强的域泛化行人重识别方法，其特征在于，所述应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配具体为：
使用行人重识别模型θ对给定查询行人图像和数据库的图像输出每张图对应的判别特征；所述判别特征是行人重识别模型θ骨干网络输出的高维特征；
计算查询行人图像与数据库的每张行人图像之间的相似度，其中，两张行人图片相似度定义为两张行人图片判别特征之间的欧氏距离；
与查询行人图像相似度最高的行人图像即为匹配结果。
9.基于自动数据增强的域泛化行人重识别系统，其特征在于，应用于权利要求1-8中任一项所述的基于自动数据增强的域泛化行人重识别方法，包括数据增强策略搜索模块、模型训练模块和行人匹配模块；
所述数据增强策略搜索模块，用于定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略
Figure FDA0002994568840000031
具体为：采样子数据集；令最终输出的数据增强策略
Figure FDA0002994568840000032
为空；在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至
Figure FDA0002994568840000033
所述模型训练模块，用于在源域训练集上应用
Figure FDA0002994568840000034
重新训练行人重识别模型，具体为：对源域训练集进行采样；应用
Figure FDA0002994568840000035
生成输入数据并输入行人重识别模型；使用损失函数优化行人重识别模型；所述行人重识别模型以残差网络ResNet50为主干网络，主干网络输出一个高维向量作为判别特征，训练网络时，判别特征输入到分类器以计算损失函数和通过反向传播更新参数，实际应用时，判别特征用于计算行人图片间的相似度；
所述行人匹配模块，用于应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。
10.一种存储介质，存储有程序，其特征在于：所述程序被处理器执行时，实现权利要求1-8任一项所述的基于自动数据增强的域泛化行人重识别方法。
CN202110325663.0A 2021-03-26 2021-03-26 基于自动数据增强的域泛化行人重识别方法、系统及介质 Active CN113033410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110325663.0A CN113033410B (zh) 2021-03-26 2021-03-26 基于自动数据增强的域泛化行人重识别方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110325663.0A CN113033410B (zh) 2021-03-26 2021-03-26 基于自动数据增强的域泛化行人重识别方法、系统及介质

Publications (2)

Publication Number Publication Date
CN113033410A true CN113033410A (zh) 2021-06-25
CN113033410B CN113033410B (zh) 2023-06-06

Family

ID=76474176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110325663.0A Active CN113033410B (zh) 2021-03-26 2021-03-26 基于自动数据增强的域泛化行人重识别方法、系统及介质

Country Status (1)

Country Link
CN (1) CN113033410B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537406A (zh) * 2021-08-30 2021-10-22 重庆紫光华山智安科技有限公司 一种图像自动数据增强方法、系统、介质及终端
CN114049609A (zh) * 2021-11-24 2022-02-15 大连理工大学 基于神经架构搜索的多级聚合行人重识别方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130163819A1 (en) * 2010-07-23 2013-06-27 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno System and method for indentifying image locations showing the same person in different images
US20150363636A1 (en) * 2014-06-12 2015-12-17 Canon Kabushiki Kaisha Image recognition system, image recognition apparatus, image recognition method, and computer program
US20160042253A1 (en) * 2014-08-05 2016-02-11 Sri International Multi-Dimensional Realization of Visual Content of an Image Collection
CN108960127A (zh) * 2018-06-29 2018-12-07 厦门大学 基于自适应深度度量学习的遮挡行人重识别方法
CN109670528A (zh) * 2018-11-14 2019-04-23 中国矿业大学 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN109977882A (zh) * 2019-03-29 2019-07-05 广东石油化工学院 一种半耦合字典对学习的行人重识别方法及系统
CN109993072A (zh) * 2019-03-14 2019-07-09 中山大学 基于超分辨图像生成的低分辨率行人重识别系统和方法
CN110309798A (zh) * 2019-07-05 2019-10-08 中新国际联合研究院 一种基于域自适应学习和域泛化的人脸欺骗检测方法
CN110796057A (zh) * 2019-10-22 2020-02-14 上海交通大学 行人重识别方法、装置及计算机设备
CN110807109A (zh) * 2019-11-08 2020-02-18 北京金山云网络技术有限公司 数据增强策略的生成方法、数据增强方法和装置
CN111062329A (zh) * 2019-12-18 2020-04-24 中山大学 基于增广网络的无监督行人重识别方法
CN111127364A (zh) * 2019-12-26 2020-05-08 吉林大学 图像数据增强策略选择方法及人脸识别图像数据增强方法
US20200184256A1 (en) * 2018-12-10 2020-06-11 Canon Kabushiki Kaisha Method, system and apparatus for performing re-identification in images
CN111324744A (zh) * 2020-02-17 2020-06-23 中山大学 一种基于目标情感分析数据集的数据增强方法
US20200218888A1 (en) * 2017-07-18 2020-07-09 Vision Semantics Limited Target Re-Identification
CN112347957A (zh) * 2020-11-12 2021-02-09 广联达科技股份有限公司 行人重识别方法、装置、计算机设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130163819A1 (en) * 2010-07-23 2013-06-27 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno System and method for indentifying image locations showing the same person in different images
US20150363636A1 (en) * 2014-06-12 2015-12-17 Canon Kabushiki Kaisha Image recognition system, image recognition apparatus, image recognition method, and computer program
US20160042253A1 (en) * 2014-08-05 2016-02-11 Sri International Multi-Dimensional Realization of Visual Content of an Image Collection
US20200218888A1 (en) * 2017-07-18 2020-07-09 Vision Semantics Limited Target Re-Identification
CN108960127A (zh) * 2018-06-29 2018-12-07 厦门大学 基于自适应深度度量学习的遮挡行人重识别方法
CN109670528A (zh) * 2018-11-14 2019-04-23 中国矿业大学 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
US20200184256A1 (en) * 2018-12-10 2020-06-11 Canon Kabushiki Kaisha Method, system and apparatus for performing re-identification in images
CN109993072A (zh) * 2019-03-14 2019-07-09 中山大学 基于超分辨图像生成的低分辨率行人重识别系统和方法
CN109977882A (zh) * 2019-03-29 2019-07-05 广东石油化工学院 一种半耦合字典对学习的行人重识别方法及系统
CN110309798A (zh) * 2019-07-05 2019-10-08 中新国际联合研究院 一种基于域自适应学习和域泛化的人脸欺骗检测方法
CN110796057A (zh) * 2019-10-22 2020-02-14 上海交通大学 行人重识别方法、装置及计算机设备
CN110807109A (zh) * 2019-11-08 2020-02-18 北京金山云网络技术有限公司 数据增强策略的生成方法、数据增强方法和装置
CN111062329A (zh) * 2019-12-18 2020-04-24 中山大学 基于增广网络的无监督行人重识别方法
CN111127364A (zh) * 2019-12-26 2020-05-08 吉林大学 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN111324744A (zh) * 2020-02-17 2020-06-23 中山大学 一种基于目标情感分析数据集的数据增强方法
CN112347957A (zh) * 2020-11-12 2021-02-09 广联达科技股份有限公司 行人重识别方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张枫 等: "基于残差网络与中心损失的人脸识别", 《计算机工程与设计》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537406A (zh) * 2021-08-30 2021-10-22 重庆紫光华山智安科技有限公司 一种图像自动数据增强方法、系统、介质及终端
CN114049609A (zh) * 2021-11-24 2022-02-15 大连理工大学 基于神经架构搜索的多级聚合行人重识别方法
CN114049609B (zh) * 2021-11-24 2024-05-31 大连理工大学 基于神经架构搜索的多级聚合行人重识别方法

Also Published As

Publication number Publication date
CN113033410B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN111967294B (zh) 一种无监督域自适应的行人重识别方法
Zheng et al. Prompt vision transformer for domain generalization
CN114492574A (zh) 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
Wang et al. Describe and attend to track: Learning natural language guided structural representation and visual attention for object tracking
Zhou et al. Attention-based neural architecture search for person re-identification
WO2020232840A1 (zh) 基于神经网络结构搜索的车辆多属性识别方法、装置、介质
CN103116766A (zh) 一种基于增量神经网络和子图编码的图像分类方法
CN113869418B (zh) 一种基于全局注意力关系网络的小样本船舶目标识别方法
CN113033410A (zh) 基于自动数据增强的域泛化行人重识别方法、系统及介质
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN114693979A (zh) 一种基于伪标签修正的多目标跟踪无监督域适应方法
CN116561614A (zh) 一种基于元学习的小样本数据处理系统
Wang et al. Out-of-distributed semantic pruning for robust semi-supervised learning
Zhang et al. Atf-3d: Semi-supervised 3d object detection with adaptive thresholds filtering based on confidence and distance
CN114972904A (zh) 一种基于对抗三元组损失的零样本知识蒸馏方法及系统
CN112487933B (zh) 一种基于自动化深度学习的雷达波形识别方法及系统
CN111753657B (zh) 一种基于自训练的文本检测器训练方法及系统
CN112801179A (zh) 面向跨领域复杂视觉任务的孪生分类器确定性最大化方法
Yang et al. NAM net: meta-network with normalization-based attention for few-shot learning
Wu et al. Meta-graph adaptation for visual object tracking
CN114638964B (zh) 基于深度学习的跨域三维点云分割方法、存储介质
CN114429648B (zh) 一种基于对比特征的行人重识别方法及系统
CN113032612B (zh) 一种多目标图像检索模型的构建方法及检索方法和装置
CN113642701A (zh) 一种基于截断重要性采样的模型与样本双重主动选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant