CN111126155B - 一种基于语义约束生成对抗网络的行人再识别方法 - Google Patents

一种基于语义约束生成对抗网络的行人再识别方法 Download PDF

Info

Publication number
CN111126155B
CN111126155B CN201911168390.2A CN201911168390A CN111126155B CN 111126155 B CN111126155 B CN 111126155B CN 201911168390 A CN201911168390 A CN 201911168390A CN 111126155 B CN111126155 B CN 111126155B
Authority
CN
China
Prior art keywords
pedestrian
deep learning
network
loss
pedestrian image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911168390.2A
Other languages
English (en)
Other versions
CN111126155A (zh
Inventor
刘爽
司统振
郝晓龙
张重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Normal University
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN201911168390.2A priority Critical patent/CN111126155B/zh
Publication of CN111126155A publication Critical patent/CN111126155A/zh
Application granted granted Critical
Publication of CN111126155B publication Critical patent/CN111126155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明实施例公开了一种基于语义约束生成对抗网络的行人再识别方法，该方法包括：构建语义约束生成对抗网络；将训练集中真实的行人图像输入语义约束生成对抗网络以对其进行优化；根据行人目标镜头标签，生成不同风格的行人图像；构建行人图像特征深度学习网络；基于生成的行人图像，利用软标签交叉熵损失计算行人图像损失值，基于真实的行人图像，利用交叉熵损失计算真实图像损失值；结合两种损失值，共同优化图像特征深度学习网络，以进行行人识别。本发明充分利用语义约束生成对抗网络学习行人图像语义信息，生成高质量的行人图像，利用生成的行人图像和真实的行人图像共同优化行人图像特征深度学习网络，进一步提高了行人再识别的匹配正确率。

Description

一种基于语义约束生成对抗网络的行人再识别方法
技术领域
本发明属于模式识别、人工智能领域，具体涉及一种基于语义约束生成对抗网络的行人再识别方法。
背景技术
面对海量的监控视频数据，人工审核方式不仅浪费大量的人力资源，而且效率低下、易出错，因此人工审核的方法已经不能满足实际需求。行人再识别(Person Re-Identification)技术能够搜索不同摄像头下拍摄的相同行人，自动进行目标行人定位，可以弥补人工审核方式的不足，在工业界和学术界引起了广泛关注。
近年来，研究者将深度学习技术应用到行人再识别领域，大幅度提高了行人识别的准确率。然而，由于人体姿态、光照、背景等因素的变化，训练集和测试集之间存在较大差距，使得行人再识别技术仍面临巨大的挑战。解决该问题的首选方法是增加训练样本数量，以提高深度模型的泛化能力。然而，收集并标注大量的训练样本具有非常大的代价，而且不容易实现。
目前，一个可替代的解决方法是进行数据增强。常用的数据增强方法主要有随机裁剪、随机翻转和随机擦除。近年来，生成对抗网络(Generative Adversarial Network)和它的一些变形被应用在行人再识别领域，用来产生假的行人图像，以增加训练样本数量。Zheng等人利用深度卷积生成对抗网络(Deep Convolutional GAN)产生虚拟行人图像，并把这些产生的图像当作新的一类样本，用以优化行人再识别模型。Wei等人提出行人迁移生成对抗网络(Person Transfer GAN)，用以转化行人图像的背景，增加行人样本的多样性，减小训练集和测试集之间的差距。Zhong等人训练多个循环一致生成对抗网络(Cycle-Consistent GAN)，用以转换行人图像的镜头风格，使生成的行人图像保持原有的行人标签，增加训练样本数量，进一步提高了行人再识别的结果。这些利用生成对抗网络生成行人图像的方法注重行人的可视化效果，忽视了行人图像的语义信息，造成了行人图像有效信息的损失，使产生的行人图像样本质量不高。
发明内容
本发明的目的是要解决生成的行人图像语义信息丢失，并且行人图像样本不足的问题，为此，本发明提供一种基于语义约束生成对抗网络的行人再识别方法。
为了实现所述目的，本发明提出的一种基于语义约束生成对抗网络的行人再识别方法包括以下步骤：
步骤S1，构建基于深度学习的语义约束生成对抗网络；
步骤S2，确定训练集，并将所述训练集中真实的行人图像输入至所述基于深度学习的语义约束生成对抗网络中，以对于所述基于深度学习的语义约束生成对抗网络进行优化，得到优化的基于深度学习的语义约束生成对抗网络；
步骤S3，基于所述优化的基于深度学习的语义约束生成对抗网络，根据行人目标镜头标签，生成不同风格的行人图像，其中，所述行人图像的风格与拍摄所述行人图像的摄像设备数量相关；
步骤S4，确定预训练的第二深度学习模型，构建行人图像特征深度学习网络；
步骤S5，基于生成的行人图像和行人图像特征深度学习网络，利用软标签交叉熵损失函数计算每幅行人图像的损失值，基于真实的行人图像和所述行人图像特征深度学习网络，利用交叉熵损失计算每幅真实图像的损失值；
步骤S6，每次小批量随机选取V幅生成的行人图像和U幅真实的行人图像组成小批量样本，根据所述每幅行人图像的损失值和每幅真实图像的损失值，计算所述小批量样本的总损失，以优化所述行人图像特征深度学习网络；
步骤S7，基于所述优化的行人图像特征深度学习网络，提取待识别行人图像的特征进行识别，得到行人识别结果。
可选地，所述第二深度学习模型为基于所述第一深度学习模型的调整模型。
可选地，所述步骤S1包括以下步骤：
步骤S11，构建所述基于深度学习的语义约束生成对抗网络中的生成器G；
步骤S12，构建所述基于深度学习的语义约束生成对抗网络中的判别器D；
步骤S13，确定预训练的第一深度学习模型，构建所述基于深度学习的语义约束生成对抗网络中的行人分类模型F，得到所述基于深度学习的语义约束生成对抗网络。
可选地，所述步骤S2包括以下步骤：
步骤S21，利用对抗损失Ladv、重构损失Lrec、显著性约束损失Latt、镜头分类损失
Figure GDA0004112742550000031
和标签约束损失Lide共同优化所述基于深度学习的语义约束生成对抗网络中的生成器G；
步骤S22，利用对抗损失Ladv和镜头分类损失
Figure GDA0004112742550000032
共同优化所述可语义约束生成对抗网络中的判别器D；
步骤S23，利用交叉熵损失Lcro优化所述基于深度学习的语义约束生成对抗网络中的行人分类模型F。
可选地，所述步骤S21中，整体优化损失函数LG表示为：
Figure GDA0004112742550000041
其中，λrec，λatt，
Figure GDA0004112742550000042
和λide分别表示控制对应损失的权重。
可选地，所述步骤S22中，整体优化损失函数LD表示为：
Figure GDA0004112742550000043
其中，
Figure GDA0004112742550000046
表示控制镜头分类损失的权重。
可选地，所述步骤S23中，交叉熵损失Lcro表示为：
Figure GDA0004112742550000044
其中，Fk(x)表示行人分类模型F预测的行人图像x属于第k类的概率，K为训练集中训练样本的总类别数，q(k)表示真实的行人图像标签分布，Ex，k表示基于变量x和k的最后期望值。
可选地，所述步骤S5包括以下步骤：
步骤S51，基于生成的行人图像和行人图像特征深度学习网络，使用软标签交叉熵损失函数计算得到每幅行人图像的损失值；
步骤S52，基于真实的行人图像和所述行人图像特征深度学习网络，使用交叉熵损失函数计算得到每幅真实图像的损失值。
可选地，所述步骤S6中，总损失函数LT表示为：
Figure GDA0004112742550000045
其中，
Figure GDA0004112742550000047
表示小批量样本中第i个真实行人图像的损失值，
Figure GDA0004112742550000048
表示小批量样本中第j个生成行人图像的损失值。
本发明的有益效果为：本发明通过语义约束生成对抗网络，学习行人图像的语义信息，最后能生成高质量的行人图像，增加了行人样本的多样性，通过结合真实的行人图像与生成的行人图像，优化行人再识别网络，进一步提高了行人图像特征的判别性，提高了行人再识别搜索的正确率。
附图说明
图1是根据本发明一实施例的一种基于语义约束生成对抗网络的行人再识别方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于语义约束生成对抗网络的行人再识别方法流程图，下面以图1为例来说明本发明的一些具体实现流程，如图1所示，所述基于语义约束生成对抗网络的行人再识别方法包括以下步骤：
步骤S1，构建基于深度学习的语义约束生成对抗网络；
进一步地，所述步骤S1包括以下步骤：
步骤S11，构建所述基于深度学习的语义约束生成对抗网络中的生成器G；
在本发明一实施例中，所述基于深度学习的语义约束生成对抗网络中的生成器G包括2个步长为2的卷积层，6个残差块和2个步长为2的反卷积层。
步骤S12，构建所述基于深度学习的语义约束生成对抗网络中的判别器D；
在本发明一实施例中，所述基于深度学习的语义约束生成对抗网络中的判别器D包括6个步长为2的卷积层和2个步长为1的卷积层。
步骤S13，确定预训练的第一深度学习模型，构建所述基于深度学习的语义约束生成对抗网络中的行人分类模型F，得到所述基于深度学习的语义约束生成对抗网络。
在本发明一实施例中，所述行人分类模型F所采用的预训练的第一深度学习模型可选为ResNet-50，且只使用其中最后一个平均池化层之前的部分，其中，该预训练模型由4个block(块)组成。
步骤S2，确定训练集，并将所述训练集中真实的行人图像输入至所述基于深度学习的语义约束生成对抗网络中，以对于所述基于深度学习的语义约束生成对抗网络进行优化，得到优化的基于深度学习的语义约束生成对抗网络；
进一步地，所述步骤S2包括以下步骤：
步骤S21，利用对抗损失Ladv、重构损失Lrec、显著性约束损失Latt、镜头分类损失
Figure GDA0004112742550000061
和标签约束损失Lide共同优化所述基于深度学习的语义约束生成对抗网络中的生成器G，其中，整体优化损失函数可表示为：
Figure GDA0004112742550000062
其中，λrec，λatt，
Figure GDA0004112742550000063
和λide分别表示控制对应损失的权重，在本发明一实施例中，权重λrec，λatt，
Figure GDA0004112742550000064
和λide可分别设为10，1，1和1。
步骤S22，利用对抗损失Ladv和镜头分类损失
Figure GDA0004112742550000065
共同优化所述可语义约束生成对抗网络中的判别器D，其中，整体优化损失函数可表示为：
Figure GDA0004112742550000066
其中，
Figure GDA0004112742550000067
表示控制镜头分类损失的权重，在本发明一实施例中，权重
Figure GDA0004112742550000068
可设为1。
步骤S23，利用交叉熵损失Lcro优化所述基于深度学习的语义约束生成对抗网络中的行人分类模型F，其中，交叉熵损失Lcro可表示为：
Figure GDA0004112742550000069
其中，Fk(x)表示行人分类模型F预测的行人图像x属于第k类的概率，K为训练集中训练样本的总类别数，q(k)表示真实的行人图像标签分布，如果获取的行人图像属于第k类，那么q(k)＝1，否则q(k)＝0，Ex，k表示基于变量x和k的最后期望值。
在本发明一实施例中，在Market1501数据库中进行训练时，所述K的值可取为751。
进一步地，所述步骤S21中，所述对抗损失Ladv可表示为：
Figure GDA0004112742550000071
其中，x表示输入的真实行人图像，Dsrc(x)表示判别器D对输入的真实图像x的预测概率分布，Ex表示基于变量x的最后期望值，ct表示为目标镜头标签，G(x，ct)表示生成器G依据镜头标签ct产生的生成行人图像，Dsrc(G(x，ct))表示判别器D对生成行人图像G(x，ct)的预测概率分布，
Figure GDA0004112742550000072
表示基于变量x，ct的最后期望值。所述目标镜头标签指的是用于表征目标镜头，即想要转化成的镜头风格，的标签信息，比如，Market1501数据库由6个摄像头拍摄得到，若其中一幅行人图像由第1个摄像头拍摄，即具有镜头风格1，想要基于这幅图像生成镜头风格分别为2、3、4、5和6的图像，当当前需要生成镜头风格为2的图像时，目标镜头标签就可以设置为2，同理，当当前需要生成镜头风格为3的图像时，目标镜头标签就可以设置为3。
进一步地，所述步骤S21中，所述重构损失Lrec可表示为：
Figure GDA0004112742550000073
其中，||·||1代表1范数，
Figure GDA0004112742550000074
表示基于变量x，cs，ct的最后期望值。
进一步地，所述步骤S21中，所述显著性约束损失Latt可表示为：
Figure GDA0004112742550000075
其中，⊙表示对应位置元素相乘，A(x)表示计算的显著性区域。
进一步地，所述显著性约束损失Latt中，所述显著性区域A(x)可表示为：
Figure GDA0004112742550000076
其中，Tl(x)表示真实行人图像x在所述基于深度学习的语义约束生成对抗网络的分类模型F中提取的卷积激活图的第l层，Ks()表示将前s％个大的数值设置为1，其余数值设置为0。
在本发明一实施例中，所述卷积激活图可在所述分类模型F中的第二个块提取，所述s的值可设为30。
进一步地，所述步骤S21中，所述镜头分类损失
Figure GDA0004112742550000081
可表示为：
Figure GDA0004112742550000082
其中，Dcls(ct|G(x，ct))表示预测生成的行人图像G(x，ct)属于镜头标签ct的概率。
进一步地，所述步骤S21中，所述标签约束损失Lide可表示为：
Figure GDA0004112742550000083
其中，K表示训练集中行人类别的总数，Fk(x)表示分类模型F预测的行人图像属于第k类的概率，p(k)表示预测的真实行人图像的标签分布，
Figure GDA0004112742550000084
表示基于变量x，ct，k的最后期望值。
在本发明一实施例中，在Market1501数据库中进行训练时，所述K的值可设为751。
进一步地，所述预测的真实行人图像的标签分布p(k)可表示为：
Figure GDA0004112742550000085
其中，
Figure GDA0004112742550000086
表示所述基于深度学习的语义约束生成对抗网络中分类模型F对行人图像x的预测标签。
步骤S3，基于所述优化的基于深度学习的语义约束生成对抗网络，根据行人目标镜头标签，生成不同风格的行人图像，其中，所述行人图像的风格与拍摄所述行人图像的摄像设备数量相关；
在本发明一实施例中，依据Market1501数据库中真实的行人图像产生样本时，由于该数据集中每类行人由6个摄像头拍摄，即共有6种镜头风格，可利用所述优化的基于深度学习的语义约束生成对抗网络为每幅行人图像产生其余5种镜头风格的行人图像。
步骤S4，确定预训练的第二深度学习模型，构建行人图像特征深度学习网络；
在本发明一实施例中，所述行人图像特征深度学习网络所采用的预训练的第二深度学习模型可以不同，也可以与所述第一深度学习模型相同，为ResNet-50，其中，将ResNet-50中第四个块的步长由原来的2改为1，并且去掉最后一个全连接层，将其替换为卷积层执行降维操作，将卷积层的输出作为行人图像特征，其中，所述行人图像特征为512维度。上文提及，ResNet-50由4个block组成，每个block均能执行降采样操作，以将图像对半降低尺度，比如64*64的图像降采样之后为32*32，本实施例将第四个块的步长由原来的2改为1，也就相当于去除了第四个块的降采样功能，因此，也可以说所述第二深度学习模型为基于所述第一深度学习模型的调整模型。
步骤S5，基于生成的行人图像和行人图像特征深度学习网络，利用软标签交叉熵损失函数计算每幅行人图像的损失值，基于真实的行人图像和所述行人图像特征深度学习网络，利用交叉熵损失计算每幅真实图像的损失值；
进一步地，所述步骤S5包括以下步骤：
步骤S51，基于生成的行人图像和行人图像特征深度学习网络，使用软标签交叉熵损失函数计算得到每幅行人图像的损失值：
Figure GDA0004112742550000091
其中，K表示训练集中行人类别的总数，ε∈[0，1]代表对非真实标签信任度的超参数，l(k)表示预测的真实的行人图像属于第k类的预测概率，g代表行人图像的真实标签。
在本发明一实施例中，在Market1501数据库中进行训练时，所述K的值取为751，所述ε的值设为0.1。
步骤S52，基于真实的行人图像和所述行人图像特征深度学习网络，使用交叉熵损失函数计算得到每幅真实图像的损失值：
Figure GDA0004112742550000101
其中，K表示训练集中训练样本的总类别数，l(k)表示预测的真实的行人图像属于第k类的概率，q(k)表示真实行人图像标签的概率分布，如果真实行人图像属于第k类，即其标签为k，那么q(k)＝1，否则q(k)＝0。
步骤S6中，每次小批量随机选取V幅生成的行人图像和U幅真实的行人图像组成小批量样本，根据所述每幅行人图像的损失值和每幅真实图像的损失值，计算所述小批量样本的总损失，以优化所述行人图像特征深度学习网络，其中，总损失函数LT可表示为：
Figure GDA0004112742550000102
其中，
Figure GDA0004112742550000103
表示小批量样本中第i个真实行人图像的损失值，
Figure GDA0004112742550000104
表示小批量样本中第j个生成行人图像的损失值。
在本发明一实施例中，在优化所述行人图像特征深度学习网络时，所选取的小批量样本中生成的行人图像数量V为24，真实的行人图像数量U为32。其中，通过迭代计算来调整所述行人图像特征深度学习网络框架的参数，以使得所述总损失LT最小。
步骤S7，基于所述优化的行人图像特征深度学习网络，提取待识别行人图像的特征进行识别，得到行人识别结果。
在本发明一实施例中，提取得到的行人图像特征维度为512。
其中，提取出待识别行人图像的特征之后，就可以基于提取得到的特征以及已知行人特征进行识别，比如对于两者进行欧氏距离等距离计算，再计算相似度，最终得到行人识别结果。
以网上公开的行人再识别大型数据库作为测试对象，比如在Market1501数据库上测试时，本发明行人再识别正确搜索率达到93.3％(rank-1)和76.8(mAP)。本发明行人再识别方法有效地生成了高质量的行人图像，增加了行人图像的多样性，扩大了训练样本的数量，很大程度地提高了行人再识别正确搜索率，由此可见本发明方法的有效性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (6)

1.一种基于语义约束生成对抗网络的行人再识别方法，其特征在于，所述方法包括以下步骤：
步骤S1，构建基于深度学习的语义约束生成对抗网络；
步骤S2，确定训练集，并将所述训练集中真实的行人图像输入至所述基于深度学习的语义约束生成对抗网络中，以对于所述基于深度学习的语义约束生成对抗网络进行优化，得到优化的基于深度学习的语义约束生成对抗网络；
步骤S3，基于所述优化的基于深度学习的语义约束生成对抗网络，根据行人目标镜头标签，生成不同风格的行人图像，其中，所述行人图像的风格与拍摄所述行人图像的摄像设备数量相关；
步骤S4，确定预训练的第二深度学习模型，构建行人图像特征深度学习网络；
步骤S5，基于生成的行人图像和行人图像特征深度学习网络，利用软标签交叉熵损失函数计算每幅行人图像的损失值，基于真实的行人图像和所述行人图像特征深度学习网络，利用交叉熵损失计算每幅真实图像的损失值；
步骤S6，每次小批量随机选取V幅生成的行人图像和U幅真实的行人图像组成小批量样本，根据所述每幅行人图像的损失值和每幅真实图像的损失值，计算所述小批量样本的总损失，以优化所述行人图像特征深度学习网络；
步骤S7，基于所述优化的行人图像特征深度学习网络，提取待识别行人图像的特征进行识别，得到行人识别结果；
其中，所述步骤S2包括以下步骤：
步骤S21，利用对抗损失Ladv、重构损失Lrec、显著性约束损失Latt、镜头分类损失
Figure FDA0004112742540000027
和标签约束损失Lide共同优化所述基于深度学习的语义约束生成对抗网络中的生成器G，整体优化损失函数LG表示为：
Figure FDA0004112742540000021
其中，λrec，λatt，
Figure FDA0004112742540000022
和λide分别表示控制对应损失的权重；
步骤S22，利用对抗损失Ladv和镜头分类损失
Figure FDA0004112742540000023
共同优化所述语义约束生成对抗网络中的判别器D，整体优化损失函数LD表示为：
Figure FDA0004112742540000024
其中，
Figure FDA0004112742540000025
表示控制镜头分类损失的权重；
步骤S23，利用交叉熵损失Lcro优化所述基于深度学习的语义约束生成对抗网络中的行人分类模型F。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：
步骤S11，构建所述基于深度学习的语义约束生成对抗网络中的生成器G；
步骤S12，构建所述基于深度学习的语义约束生成对抗网络中的判别器D；
步骤S13，确定预训练的第一深度学习模型，构建所述基于深度学习的语义约束生成对抗网络中的行人分类模型F，得到所述基于深度学习的语义约束生成对抗网络。
3.根据权利要求2所述的方法，其特征在于，所述第二深度学习模型为基于所述第一深度学习模型的调整模型。
4.根据权利要求1所述的方法，其特征在于，所述步骤S23中，交叉熵损失Lcro表示为：
Figure FDA0004112742540000026
其中，Fk(x)表示行人分类模型F预测的行人图像x属于第k类的概率，K为训练集中训练样本的总类别数，q(k)表示真实的行人图像标签分布，Ex，k表示基于变量x和k的最后期望值。
5.根据权利要求1所述的方法，其特征在于，所述步骤S5包括以下步骤：
步骤S51，基于生成的行人图像和行人图像特征深度学习网络，使用软标签交叉熵损失函数计算得到每幅行人图像的损失值；
步骤S52，基于真实的行人图像和所述行人图像特征深度学习网络，使用交叉熵损失函数计算得到每幅真实图像的损失值。
6.根据权利要求1所述的方法，其特征在于，所述步骤S6中，总损失函数LT表示为：
Figure FDA0004112742540000031
其中，
Figure FDA0004112742540000032
表示小批量样本中第i个真实行人图像的损失值，
Figure FDA0004112742540000033
表示小批量样本中第j个生成行人图像的损失值。
CN201911168390.2A 2019-11-25 2019-11-25 一种基于语义约束生成对抗网络的行人再识别方法 Active CN111126155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911168390.2A CN111126155B (zh) 2019-11-25 2019-11-25 一种基于语义约束生成对抗网络的行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911168390.2A CN111126155B (zh) 2019-11-25 2019-11-25 一种基于语义约束生成对抗网络的行人再识别方法

Publications (2)

Publication Number Publication Date
CN111126155A CN111126155A (zh) 2020-05-08
CN111126155B true CN111126155B (zh) 2023-04-21

Family

ID=70496555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911168390.2A Active CN111126155B (zh) 2019-11-25 2019-11-25 一种基于语义约束生成对抗网络的行人再识别方法

Country Status (1)

Country Link
CN (1) CN111126155B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989904B (zh) * 2020-09-30 2022-03-25 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN113609893B (zh) * 2021-06-18 2024-04-16 大连民族大学 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络
CN115205903B (zh) * 2022-07-27 2023-05-23 华中农业大学 一种基于身份迁移生成对抗网络的行人重识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN109359559A (zh) * 2018-09-27 2019-02-19 天津师范大学 一种基于动态遮挡样本的行人再识别方法
CN110188835A (zh) * 2019-06-05 2019-08-30 国家广播电视总局广播电视科学研究院 基于生成式对抗网络模型的数据增强行人再识别方法
CN110321862A (zh) * 2019-07-09 2019-10-11 天津师范大学 一种基于紧致三元损失的行人再识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017166137A1 (zh) * 2016-03-30 2017-10-05 中国科学院自动化研究所 基于多任务深度学习的自然图像美感质量评估方法
US10643320B2 (en) * 2017-11-15 2020-05-05 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN109359559A (zh) * 2018-09-27 2019-02-19 天津师范大学 一种基于动态遮挡样本的行人再识别方法
CN110188835A (zh) * 2019-06-05 2019-08-30 国家广播电视总局广播电视科学研究院 基于生成式对抗网络模型的数据增强行人再识别方法
CN110321862A (zh) * 2019-07-09 2019-10-11 天津师范大学 一种基于紧致三元损失的行人再识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhong Zhang等.Generating Pedestrian Images for Person Re-identification.Lecture Notes in Electrical Engineering.2019,37-43. *

Also Published As

Publication number Publication date
CN111126155A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN110458844B (zh) 一种低光照场景的语义分割方法
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110414377B (zh) 一种基于尺度注意力网络的遥感图像场景分类方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN112308158A (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN109614921B (zh) 一种基于对抗生成网络的半监督学习的细胞分割方法
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN111652317B (zh) 基于贝叶斯深度学习的超参数图像分割方法
CN108491766B (zh) 一种端到端的基于深度决策森林的人群计数方法
CN110321805B (zh) 一种基于时序关系推理的动态表情识别方法
CN113592007B (zh) 一种基于知识蒸馏的不良图片识别系统、方法、计算机及存储介质
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN114842343A (zh) 一种基于ViT的航空图像识别方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN114492634B (zh) 一种细粒度装备图片分类识别方法及系统
CN112613474B (zh) 一种行人重识别的方法和装置
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法
CN117079095A (zh) 基于深度学习的高空抛物检测方法、系统、介质和设备
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法
CN114821174B (zh) 一种基于内容感知的输电线路航拍图像数据清洗方法
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法
CN115630361A (zh) 一种基于注意力蒸馏的联邦学习后门防御方法
Wan et al. One-shot unsupervised domain adaptation for object detection
Pang et al. Target tracking based on siamese convolution neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant