CN111126155A - 一种基于语义约束生成对抗网络的行人再识别方法 - Google Patents
一种基于语义约束生成对抗网络的行人再识别方法 Download PDFInfo
- Publication number
- CN111126155A CN111126155A CN201911168390.2A CN201911168390A CN111126155A CN 111126155 A CN111126155 A CN 111126155A CN 201911168390 A CN201911168390 A CN 201911168390A CN 111126155 A CN111126155 A CN 111126155A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- deep learning
- loss
- semantic
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 19
- 238000013145 classification model Methods 0.000 claims description 14
- 238000013136 deep learning model Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明实施例公开了一种基于语义约束生成对抗网络的行人再识别方法，该方法包括：构建语义约束生成对抗网络；将训练集中真实的行人图像输入语义约束生成对抗网络以对其进行优化；根据行人目标镜头标签，生成不同风格的行人图像；构建行人图像特征深度学习网络；基于生成的行人图像，利用软标签交叉熵损失计算行人图像损失值，基于真实的行人图像，利用交叉熵损失计算真实图像损失值；结合两种损失值，共同优化图像特征深度学习网络，以进行行人识别。本发明充分利用语义约束生成对抗网络学习行人图像语义信息，生成高质量的行人图像，利用生成的行人图像和真实的行人图像共同优化行人图像特征深度学习网络，进一步提高了行人再识别的匹配正确率。
Description
技术领域
本发明属于模式识别、人工智能领域，具体涉及一种基于语义约束生成对抗网络的行人再识别方法。
背景技术
随着社会经济的发展，我国在公共及私人场所等安装了大量的监控摄像头，用于保障人民的生命、财产安全。面对海量的监控视频数据，人工审核方式不仅浪费大量的人力资源，而且效率低下、易出错，因此人工审核的方法已经不能满足实际需求。行人再识别(Person Re-Identification)技术能够搜索不同摄像头下拍摄的相同行人，自动进行目标行人定位，可以弥补人工审核方式的不足，在工业界和学术界引起了广泛关注。
近年来，研究者将深度学习技术应用到行人再识别领域，大幅度提高了行人识别的准确率。然而，由于人体姿态、光照、背景等因素的变化，训练集和测试集之间存在较大差距，使得行人再识别技术仍面临巨大的挑战。解决该问题的首选方法是增加训练样本数量，以提高深度模型的泛化能力。然而，收集并标注大量的训练样本具有非常大的代价，而且不容易实现。
目前，一个可替代的解决方法是进行数据增强。常用的数据增强方法主要有随机裁剪、随机翻转和随机擦除。近年来，生成对抗网络(Generative Adversarial Network)和它的一些变形被应用在行人再识别领域，用来产生假的行人图像，以增加训练样本数量。Zheng等人利用深度卷积生成对抗网络(Deep Convolutional GAN)产生虚拟行人图像，并把这些产生的图像当作新的一类样本，用以优化行人再识别模型。Wei等人提出行人迁移生成对抗网络(Person Transfer GAN)，用以转化行人图像的背景，增加行人样本的多样性，减小训练集和测试集之间的差距。Zhong等人训练多个循环一致生成对抗网络(Cycle-Consistent GAN)，用以转换行人图像的镜头风格，使生成的行人图像保持原有的行人标签，增加训练样本数量，进一步提高了行人再识别的结果。这些利用生成对抗网络生成行人图像的方法注重行人的可视化效果，忽视了行人图像的语义信息，造成了行人图像有效信息的损失，使产生的行人图像样本质量不高。
发明内容
本发明的目的是要解决生成的行人图像语义信息丢失，并且行人图像样本不足的问题，为此，本发明提供一种基于语义约束生成对抗网络的行人再识别方法。
为了实现所述目的，本发明提出的一种基于语义约束生成对抗网络的行人再识别方法包括以下步骤：
步骤S1，构建基于深度学习的语义约束生成对抗网络；
步骤S2，确定训练集，并将所述训练集中真实的行人图像输入至所述基于深度学习的语义约束生成对抗网络中，以对于所述基于深度学习的语义约束生成对抗网络进行优化，得到优化的基于深度学习的语义约束生成对抗网络；
步骤S3，基于所述优化的基于深度学习的语义约束生成对抗网络，根据行人目标镜头标签，生成不同风格的行人图像，其中，所述行人图像的风格与拍摄所述行人图像的摄像设备数量相关；
步骤S4，确定预训练的第二深度学习模型，构建行人图像特征深度学习网络；
步骤S5，基于生成的行人图像和行人图像特征深度学习网络，利用软标签交叉熵损失函数计算每幅行人图像的损失值，基于真实的行人图像和所述行人图像特征深度学习网络，利用交叉熵损失计算每幅真实图像的损失值；
步骤S6，每次小批量随机选取V幅生成的行人图像和U幅真实的行人图像组成小批量样本，根据所述每幅行人图像的损失值和每幅真实图像的损失值，计算所述小批量样本的总损失，以优化所述行人图像特征深度学习网络；
步骤S7，基于所述优化的行人图像特征深度学习网络，提取待识别行人图像的特征进行识别，得到行人识别结果。
可选地，所述第二深度学习模型为基于所述第一深度学习模型的调整模型。
可选地，所述步骤S1包括以下步骤：
步骤S11，构建所述基于深度学习的语义约束生成对抗网络中的生成器G；
步骤S12，构建所述基于深度学习的语义约束生成对抗网络中的判别器D；
步骤S13，确定预训练的第一深度学习模型，构建所述基于深度学习的语义约束生成对抗网络中的行人分类模型F，得到所述基于深度学习的语义约束生成对抗网络。
可选地，所述步骤S2包括以下步骤：
步骤S21，利用对抗损失Ladv、重构损失Lrec、显著性约束损失Latt、镜头分类损失
和标签约束损失Lide共同优化所述基于深度学习的语义约束生成对抗网络中的生成器G；
步骤S22，利用对抗损失Ladv和镜头分类损失
共同优化所述可语义约束生成对抗网络中的判别器D；
步骤S23，利用交叉熵损失Lcro优化所述基于深度学习的语义约束生成对抗网络中的行人分类模型F。
可选地，所述步骤S21中，整体优化损失函数LG表示为：
其中，λrec，λatt，
和λide分别表示控制对应损失的权重。
可选地，所述步骤S22中，整体优化损失函数LD表示为：
其中，
表示控制镜头分类损失的权重。
可选地，所述步骤S23中，交叉熵损失Lcro表示为：
其中，Fk(x)表示行人分类模型F预测的行人图像x属于第k类的概率，K为训练集中训练样本的总类别数，q(k)表示真实的行人图像标签分布，Ex,k表示基于变量x和k的最后期望值。
可选地，所述步骤S5包括以下步骤：
步骤S51，基于生成的行人图像和行人图像特征深度学习网络，使用软标签交叉熵损失函数计算得到每幅行人图像的损失值；
步骤S52，基于真实的行人图像和所述行人图像特征深度学习网络，使用交叉熵损失函数计算得到每幅真实图像的损失值。
可选地，所述步骤S6中，总损失函数LT表示为：
其中，
表示小批量样本中第i个真实行人图像的损失值，
表示小批量样本中第j个生成行人图像的损失值。
本发明的有益效果为：本发明通过语义约束生成对抗网络，学习行人图像的语义信息，最后能生成高质量的行人图像，增加了行人样本的多样性，通过结合真实的行人图像与生成的行人图像，优化行人再识别网络，进一步提高了行人图像特征的判别性，提高了行人再识别搜索的正确率。
需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240，天津市自然科学基金重点项目19JCZDJC31500、No.17JCZDJC30600，天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703，模式识别国家重点实验室开放课题基金No.201800002和天津市高等教育创新团队基金项目资助。
附图说明
图1是根据本发明一实施例的一种基于语义约束生成对抗网络的行人再识别方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于语义约束生成对抗网络的行人再识别方法流程图，下面以图1为例来说明本发明的一些具体实现流程，如图1所示，所述基于语义约束生成对抗网络的行人再识别方法包括以下步骤：
步骤S1，构建基于深度学习的语义约束生成对抗网络；
进一步地，所述步骤S1包括以下步骤：
步骤S11，构建所述基于深度学习的语义约束生成对抗网络中的生成器G；
在本发明一实施例中，所述基于深度学习的语义约束生成对抗网络中的生成器G包括2个步长为2的卷积层，6个残差块和2个步长为2的反卷积层。
步骤S12，构建所述基于深度学习的语义约束生成对抗网络中的判别器D；
在本发明一实施例中，所述基于深度学习的语义约束生成对抗网络中的判别器D包括6个步长为2的卷积层和2个步长为1的卷积层。
步骤S13，确定预训练的第一深度学习模型，构建所述基于深度学习的语义约束生成对抗网络中的行人分类模型F，得到所述基于深度学习的语义约束生成对抗网络。
在本发明一实施例中，所述行人分类模型F所采用的预训练的第一深度学习模型可选为ResNet-50，且只使用其中最后一个平均池化层之前的部分，其中，该预训练模型由4个block(块)组成。
步骤S2，确定训练集，并将所述训练集中真实的行人图像输入至所述基于深度学习的语义约束生成对抗网络中，以对于所述基于深度学习的语义约束生成对抗网络进行优化，得到优化的基于深度学习的语义约束生成对抗网络；
进一步地，所述步骤S2包括以下步骤：
步骤S21，利用对抗损失Ladv、重构损失Lrec、显著性约束损失Latt、镜头分类损失
和标签约束损失Lide共同优化所述基于深度学习的语义约束生成对抗网络中的生成器G，其中，整体优化损失函数可表示为：
其中，λrec，λatt，
和λide分别表示控制对应损失的权重，在本发明一实施例中，权重λrec，λatt，
和λide可分别设为10，1，1和1。
步骤S22，利用对抗损失Ladv和镜头分类损失
共同优化所述可语义约束生成对抗网络中的判别器D，其中，整体优化损失函数可表示为：
其中，
表示控制镜头分类损失的权重，在本发明一实施例中，权重
可设为1。
步骤S23，利用交叉熵损失Lcro优化所述基于深度学习的语义约束生成对抗网络中的行人分类模型F，其中，交叉熵损失Lcro可表示为：
其中，Fk(x)表示行人分类模型F预测的行人图像x属于第k类的概率，K为训练集中训练样本的总类别数，q(k)表示真实的行人图像标签分布，如果获取的行人图像属于第k类，那么q(k)＝1，否则q(k)＝0，Ex,k表示基于变量x和k的最后期望值。
在本发明一实施例中，在Market1501数据库中进行训练时，所述K的值可取为751。
进一步地，所述步骤S21中，所述对抗损失Ladv可表示为：
其中，x表示输入的真实行人图像，Dsrc(x)表示判别器D对输入的真实图像x的预测概率分布，Ex表示基于变量x的最后期望值，ct表示为目标镜头标签，G(x,ct)表示生成器G依据镜头标签ct产生的生成行人图像，Dsrc(G(x,ct))表示判别器D对生成行人图像G(x,ct)的预测概率分布，
表示基于变量x,ct的最后期望值。所述目标镜头标签指的是用于表征目标镜头，即想要转化成的镜头风格，的标签信息，比如，Market1501数据库由6个摄像头拍摄得到，若其中一幅行人图像由第1个摄像头拍摄，即具有镜头风格1，想要基于这幅图像生成镜头风格分别为2、3、4、5和6的图像，当当前需要生成镜头风格为2的图像时，目标镜头标签就可以设置为2，同理，当当前需要生成镜头风格为3的图像时，目标镜头标签就可以设置为3。
进一步地，所述步骤S21中，所述重构损失Lrec可表示为：
其中，||·||1代表1范数，
表示基于变量x,cs,ct的最后期望值。
进一步地，所述步骤S21中，所述显著性约束损失Latt可表示为：
其中，⊙表示对应位置元素相乘，A(x)表示计算的显著性区域。
进一步地，所述显著性约束损失Latt中，所述显著性区域A(x)可表示为：
其中，Tl(x)表示真实行人图像x在所述基于深度学习的语义约束生成对抗网络的分类模型F中提取的卷积激活图的第l层，Ks()表示将前s％个大的数值设置为1，其余数值设置为0。
在本发明一实施例中，所述卷积激活图可在所述分类模型F中的第二个块提取，所述s的值可设为30。
进一步地，所述步骤S21中，所述镜头分类损失
可表示为：
其中，Dcls(ct|G(x,ct))表示预测生成的行人图像G(x,ct)属于镜头标签ct的概率。
进一步地，所述步骤S21中，所述标签约束损失Lide可表示为：
其中，K表示训练集中行人类别的总数，Fk(x)表示分类模型F预测的行人图像属于第k类的概率，p(k)表示预测的真实行人图像的标签分布，
表示基于变量x,ct,k的最后期望值。
在本发明一实施例中，在Market1501数据库中进行训练时，所述K的值可设为751。
进一步地，所述预测的真实行人图像的标签分布p(k)可表示为：
其中，
表示所述基于深度学习的语义约束生成对抗网络中分类模型F对行人图像x的预测标签。
步骤S3，基于所述优化的基于深度学习的语义约束生成对抗网络，根据行人目标镜头标签，生成不同风格的行人图像，其中，所述行人图像的风格与拍摄所述行人图像的摄像设备数量相关；
在本发明一实施例中，依据Market1501数据库中真实的行人图像产生样本时，由于该数据集中每类行人由6个摄像头拍摄，即共有6种镜头风格，可利用所述优化的基于深度学习的语义约束生成对抗网络为每幅行人图像产生其余5种镜头风格的行人图像。
步骤S4，确定预训练的第二深度学习模型，构建行人图像特征深度学习网络；
在本发明一实施例中，所述行人图像特征深度学习网络所采用的预训练的第二深度学习模型可以不同，也可以与所述第一深度学习模型相同，为ResNet-50，其中，将ResNet-50中第四个块的步长由原来的2改为1，并且去掉最后一个全连接层，将其替换为卷积层执行降维操作，将卷积层的输出作为行人图像特征，其中，所述行人图像特征为512维度。上文提及，ResNet-50由4个block组成，每个block均能执行降采样操作，以将图像对半降低尺度，比如64*64的图像降采样之后为32*32，本实施例将第四个块的步长由原来的2改为1，也就相当于去除了第四个块的降采样功能，因此，也可以说所述第二深度学习模型为基于所述第一深度学习模型的调整模型。
步骤S5，基于生成的行人图像和行人图像特征深度学习网络，利用软标签交叉熵损失函数计算每幅行人图像的损失值，基于真实的行人图像和所述行人图像特征深度学习网络，利用交叉熵损失计算每幅真实图像的损失值；
进一步地，所述步骤S5包括以下步骤：
步骤S51，基于生成的行人图像和行人图像特征深度学习网络，使用软标签交叉熵损失函数计算得到每幅行人图像的损失值：
其中，K表示训练集中行人类别的总数，ε∈[0,1]代表对非真实标签信任度的超参数，l(k)表示预测的真实的行人图像属于第k类的预测概率，g代表行人图像的真实标签。
在本发明一实施例中，在Market1501数据库中进行训练时，所述K的值取为751，所述ε的值设为0.1。
步骤S52，基于真实的行人图像和所述行人图像特征深度学习网络，使用交叉熵损失函数计算得到每幅真实图像的损失值：
其中，K表示训练集中训练样本的总类别数，l(k)表示预测的真实的行人图像属于第k类的概率，q(k)表示真实行人图像标签的概率分布，如果真实行人图像属于第k类，即其标签为k，那么q(k)＝1，否则q(k)＝0。
步骤S6中，每次小批量随机选取V幅生成的行人图像和U幅真实的行人图像组成小批量样本，根据所述每幅行人图像的损失值和每幅真实图像的损失值，计算所述小批量样本的总损失，以优化所述行人图像特征深度学习网络，其中，总损失函数LT可表示为：
其中，
表示小批量样本中第i个真实行人图像的损失值，
表示小批量样本中第j个生成行人图像的损失值。
在本发明一实施例中，在优化所述行人图像特征深度学习网络时，所选取的小批量样本中生成的行人图像数量V为24，真实的行人图像数量U为32。其中，通过迭代计算来调整所述行人图像特征深度学习网络框架的参数，以使得所述总损失LT最小。
步骤S7，基于所述优化的行人图像特征深度学习网络，提取待识别行人图像的特征进行识别，得到行人识别结果。
在本发明一实施例中，提取得到的行人图像特征维度为512。
其中，提取出待识别行人图像的特征之后，就可以基于提取得到的特征以及已知行人特征进行识别，比如对于两者进行欧氏距离等距离计算，再计算相似度，最终得到行人识别结果。
以网上公开的行人再识别大型数据库作为测试对象，比如在Market 1501数据库上测试时，本发明行人再识别正确搜索率达到93.3％(rank-1)和76.8(mAP)。本发明行人再识别方法有效地生成了高质量的行人图像，增加了行人图像的多样性，扩大了训练样本的数量，很大程度地提高了行人再识别正确搜索率，由此可见本发明方法的有效性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (9)
1.一种基于语义约束生成对抗网络的行人再识别方法，其特征在于，所述方法包括以下步骤：
步骤S1，构建基于深度学习的语义约束生成对抗网络；
步骤S2，确定训练集，并将所述训练集中真实的行人图像输入至所述基于深度学习的语义约束生成对抗网络中，以对于所述基于深度学习的语义约束生成对抗网络进行优化，得到优化的基于深度学习的语义约束生成对抗网络；
步骤S3，基于所述优化的基于深度学习的语义约束生成对抗网络，根据行人目标镜头标签，生成不同风格的行人图像，其中，所述行人图像的风格与拍摄所述行人图像的摄像设备数量相关；
步骤S4，确定预训练的第二深度学习模型，构建行人图像特征深度学习网络；
步骤S5，基于生成的行人图像和行人图像特征深度学习网络，利用软标签交叉熵损失函数计算每幅行人图像的损失值，基于真实的行人图像和所述行人图像特征深度学习网络，利用交叉熵损失计算每幅真实图像的损失值；
步骤S6，每次小批量随机选取V幅生成的行人图像和U幅真实的行人图像组成小批量样本，根据所述每幅行人图像的损失值和每幅真实图像的损失值，计算所述小批量样本的总损失，以优化所述行人图像特征深度学习网络；
步骤S7，基于所述优化的行人图像特征深度学习网络，提取待识别行人图像的特征进行识别，得到行人识别结果。
2.根据权利要求1所述的方法，其特征在于，所述第二深度学习模型为基于所述第一深度学习模型的调整模型。
3.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：
步骤S11，构建所述基于深度学习的语义约束生成对抗网络中的生成器G；
步骤S12，构建所述基于深度学习的语义约束生成对抗网络中的判别器D；
步骤S13，确定预训练的第一深度学习模型，构建所述基于深度学习的语义约束生成对抗网络中的行人分类模型F，得到所述基于深度学习的语义约束生成对抗网络。
4.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21，利用对抗损失Ladv、重构损失Lrec、显著性约束损失Latt、镜头分类损失
和标签约束损失Lide共同优化所述基于深度学习的语义约束生成对抗网络中的生成器G；
步骤S22，利用对抗损失Ladv和镜头分类损失
共同优化所述可语义约束生成对抗网络中的判别器D；
步骤S23，利用交叉熵损失Lcro优化所述基于深度学习的语义约束生成对抗网络中的行人分类模型F。
5.根据权利要求4所述的方法，其特征在于，所述步骤S21中，整体优化损失函数LG表示为：
其中，λrec，λatt，
和λide分别表示控制对应损失的权重。
6.根据权利要求4所述的方法，其特征在于，所述步骤S22中，整体优化损失函数LD表示为：
其中，
表示控制镜头分类损失的权重。
7.根据权利要求4所述的方法，其特征在于，所述步骤S23中，交叉熵损失Lcro表示为：
其中，Fk(x)表示行人分类模型F预测的行人图像x属于第k类的概率，K为训练集中训练样本的总类别数，q(k)表示真实的行人图像标签分布，Ex,k表示基于变量x和k的最后期望值。
8.根据权利要求1所述的方法，其特征在于，所述步骤S5包括以下步骤：
步骤S51，基于生成的行人图像和行人图像特征深度学习网络，使用软标签交叉熵损失函数计算得到每幅行人图像的损失值；
步骤S52，基于真实的行人图像和所述行人图像特征深度学习网络，使用交叉熵损失函数计算得到每幅真实图像的损失值。
9.根据权利要求1所述的方法，其特征在于，所述步骤S6中，总损失函数LT表示为：
其中，
表示小批量样本中第i个真实行人图像的损失值，
表示小批量样本中第j个生成行人图像的损失值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911168390.2A CN111126155B (zh) | 2019-11-25 | 2019-11-25 | 一种基于语义约束生成对抗网络的行人再识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911168390.2A CN111126155B (zh) | 2019-11-25 | 2019-11-25 | 一种基于语义约束生成对抗网络的行人再识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111126155A true CN111126155A (zh) | 2020-05-08 |
| CN111126155B CN111126155B (zh) | 2023-04-21 |
Family
ID=70496555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911168390.2A Active CN111126155B (zh) | 2019-11-25 | 2019-11-25 | 一种基于语义约束生成对抗网络的行人再识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126155B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112989904A (zh) * | 2020-09-30 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
| CN113609893A (zh) * | 2021-06-18 | 2021-11-05 | 大连民族大学 | 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 |
| CN115205903A (zh) * | 2022-07-27 | 2022-10-18 | 华中农业大学 | 一种基于身份迁移生成对抗网络的行人重识别方法 |
| CN113609893B (zh) * | 2021-06-18 | 2024-04-16 | 大连民族大学 | 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034044A (zh) * | 2018-06-14 | 2018-12-18 | 天津师范大学 | 一种基于融合卷积神经网络的行人再识别方法 |
| US20190026884A1 (en) * | 2016-03-30 | 2019-01-24 | Institute Of Automation, Chinese Academy Of Sciences | Method for assessing aesthetic quality of natural image based on multi-task deep learning |
| CN109359559A (zh) * | 2018-09-27 | 2019-02-19 | 天津师范大学 | 一种基于动态遮挡样本的行人再识别方法 |
| US20190147582A1 (en) * | 2017-11-15 | 2019-05-16 | Toyota Research Institute, Inc. | Adversarial learning of photorealistic post-processing of simulation with privileged information |
| CN110188835A (zh) * | 2019-06-05 | 2019-08-30 | 国家广播电视总局广播电视科学研究院 | 基于生成式对抗网络模型的数据增强行人再识别方法 |
| CN110321862A (zh) * | 2019-07-09 | 2019-10-11 | 天津师范大学 | 一种基于紧致三元损失的行人再识别方法 |
-
2019
- 2019-11-25 CN CN201911168390.2A patent/CN111126155B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190026884A1 (en) * | 2016-03-30 | 2019-01-24 | Institute Of Automation, Chinese Academy Of Sciences | Method for assessing aesthetic quality of natural image based on multi-task deep learning |
| US20190147582A1 (en) * | 2017-11-15 | 2019-05-16 | Toyota Research Institute, Inc. | Adversarial learning of photorealistic post-processing of simulation with privileged information |
| CN109034044A (zh) * | 2018-06-14 | 2018-12-18 | 天津师范大学 | 一种基于融合卷积神经网络的行人再识别方法 |
| CN109359559A (zh) * | 2018-09-27 | 2019-02-19 | 天津师范大学 | 一种基于动态遮挡样本的行人再识别方法 |
| CN110188835A (zh) * | 2019-06-05 | 2019-08-30 | 国家广播电视总局广播电视科学研究院 | 基于生成式对抗网络模型的数据增强行人再识别方法 |
| CN110321862A (zh) * | 2019-07-09 | 2019-10-11 | 天津师范大学 | 一种基于紧致三元损失的行人再识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHONG ZHANG等: "Generating Pedestrian Images for Person Re-identification" * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112989904A (zh) * | 2020-09-30 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
| CN112989904B (zh) * | 2020-09-30 | 2022-03-25 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
| CN113609893A (zh) * | 2021-06-18 | 2021-11-05 | 大连民族大学 | 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 |
| CN113609893B (zh) * | 2021-06-18 | 2024-04-16 | 大连民族大学 | 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 |
| CN115205903A (zh) * | 2022-07-27 | 2022-10-18 | 华中农业大学 | 一种基于身份迁移生成对抗网络的行人重识别方法 |
| CN115205903B (zh) * | 2022-07-27 | 2023-05-23 | 华中农业大学 | 一种基于身份迁移生成对抗网络的行人重识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111126155B (zh) | 2023-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
| CN109614921B (zh) | 一种基于对抗生成网络的半监督学习的细胞分割方法 | |
| CN111783841B (zh) | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 | |
| CN110909690A (zh) | 一种基于区域生成的遮挡人脸图像检测方法 | |
| CN109033107A (zh) | 图像检索方法和装置、计算机设备和存储介质 | |
| CN113158862B (zh) | 一种基于多任务的轻量级实时人脸检测方法 | |
| Ma et al. | Unsupervised domain adaptation augmented by mutually boosted attention for semantic segmentation of vhr remote sensing images | |
| CN113205103A (zh) | 一种轻量级的文身检测方法 | |
| Liu et al. | Learning explicit shape and motion evolution maps for skeleton-based human action recognition | |
| CN110633689B (zh) | 基于半监督注意力网络的人脸识别模型 | |
| CN111126155A (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN113689382B (zh) | 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统 | |
| CN114187506A (zh) | 视点意识的动态路由胶囊网络的遥感图像场景分类方法 | |
| CN116681960A (zh) | 一种基于K8s的中尺度涡旋智能识别方法及系统 | |
| CN115630361A (zh) | 一种基于注意力蒸馏的联邦学习后门防御方法 | |
| Wang et al. | Image splicing tamper detection based on deep learning and attention mechanism | |
| CN115661539A (zh) | 一种嵌入不确定性信息的少样本图像识别方法 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
| Pang et al. | Target tracking based on siamese convolution neural networks | |
| CN113095181A (zh) | 基于Defense-GAN的交通标志识别方法 | |
| Wang et al. | A dynamic feature weighting method for mangrove pests image classification with heavy-tailed distributions | |
| Xu et al. | MMT: Mixed-Mask Transformer for Remote Sensing Image Semantic Segmentation | |
| CN114333062B (zh) | 基于异构双网络和特征一致性的行人重识别模型训练方法 | |
| CN117251599B (zh) | 一种视频语料智能测试优化方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |