CN112200055A - 联合对抗生成网络的行人属性识别方法、系统及装置 - Google Patents
联合对抗生成网络的行人属性识别方法、系统及装置 Download PDFInfo
- Publication number
- CN112200055A CN112200055A CN202011063376.9A CN202011063376A CN112200055A CN 112200055 A CN112200055 A CN 112200055A CN 202011063376 A CN202011063376 A CN 202011063376A CN 112200055 A CN112200055 A CN 112200055A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- pedestrian attribute
- attribute identification
- coding
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000006870 function Effects 0.000 claims description 40
- 230000008859 change Effects 0.000 claims description 25
- 238000005286 illumination Methods 0.000 claims description 23
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008485 antagonism Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了联合对抗生成网络的行人属性识别方法、系统、装置及介质，方法包括：获取待识别图像数据；通过行人属性识别模块对待识别图像数据进行识别，得到行人属性；行人属性识别模块通过以下步骤训练得到：获取行人属性识别的训练样本数据；根据训练样本数据训练得到第一行人属性识别模块；对训练样本数据进行编码，得到编码特征；将编码特征输入至对抗生成解码模块进行解码后，得到第二行人属性识别模块，并通过对抗生成判别器对解码结果进行校验；确定行人属性识别损失函数；根据行人属性识别损失函数，训练得到行人属性识别模块。本发明提高了识别的准确率，可广泛应用于人工智能技术领域。
Description
技术领域
本发明涉及人工智能技术领域，尤其是一种联合对抗生成网络的行人属性识别方法、系统、装置及介质。
背景技术
随着科技的进步和人们对于安全意识的不断提高，各行业的视频监控应用越来越多，摄像头每天产生的视频数以亿计。在海量视频数据面前，准确分析视频中的人、车、物、事件等需求越来越迫切，视频结构化信息提取就显得尤为必要。行人属性识别是视频结构化信息中的关键信息，是行人信息的基础，具有广泛的实用价值。目前学术界和工业界在行人属性识别方面做了大量研究，提出了不少有价值的算法。较为常用的行人属性识别方法主要有基于全图的行人属性识别方法、基于局部图的行人属性识别方法、基于注意力机制的行人属性识别方法、基于序列化的行人属性识别方法、基于新损失函数的行人属性识别方法、基于先验知识的行人属性识别方法。
由于从监控视频或图片中抓拍的行人目标不可避免的会存在背景杂乱以及行人被遮挡等问题，特别是监控场景低照度、恶劣天气(雨、雪、大雾)等复杂场景下的行人属性识别在实际应用时的效果并不理想。
其中，基于全图的行人属性识别方法，需要收集大量的复杂场景图片对模型进行训练调整，难以克服各种光照下的颜色等行人属性识别问题。
基于局部图像的行人属性识别方法，过程繁琐，耗时过长，且定位行人分析部件可能不太准确，比较粗糙，不具备实用性。
基于注意力机制的行人属性识别方法和基于序列化的行人属性识别方法，能够很好的学习关联信息，但针对光照和复杂背景的场景无法较好的学习到准确率的行人特征属性。
基于新损失函数的行人属性识别方法，提升了识别能力，对于复杂背景的行人属性识别，难以达到较好的识别准确率。
基于先验知识的属性识别方法，是一种多帧信息融合的方法，难以克服复杂场景下的行人属性识别问题。
发明内容
有鉴于此，本发明实施例提供联合对抗生成网络的行人属性识别方法、系统、装置及介质，提高识别准确率。
本发明的第一方面提供了一种联合对抗生成网络的行人属性识别方法，包括：
获取待识别图像数据；
通过行人属性识别模块对所述待识别图像数据进行识别，得到行人属性；
其中，所述行人属性识别模块通过以下步骤训练得到：
获取行人属性识别的训练样本数据；
根据所述训练样本数据训练得到第一行人属性识别模块；
通过对抗生成编码模块对所述训练样本数据进行编码，得到编码特征，所述编码特征包括光照变化信息和天气变化信息；
将所述编码特征输入至对抗生成解码模块进行解码后，得到第二行人属性识别模块，并通过对抗生成判别器对解码结果进行校验；
根据所述第一行人属性识别模块和所述第二行人属性识别模块确定行人属性识别损失函数；
根据所述行人属性识别损失函数，训练得到行人属性识别模块。
在一些实施例中，所述通过对抗生成编码模块对所述训练样本数据进行编码，得到编码特征，包括：
通过迁移光照变化的第一对抗生成编码模块对所述训练样本数据进行第一编码；
通过迁移天气变化的第二对抗生成编码模块对所述训练样本数据进行第二编码；
通过权值参数，根据所述第一编码的结果和所述第二编码的结果，确定编码特征。
在一些实施例中，所述对抗生成解码模块包括4个残差模块和4个卷积层，所述残差模块包括2个自适应归一化层。
在一些实施例中，所述行人属性识别损失函数的确定方法包括：
确定行人属性种类数量；
确定行人属性类别数量；
确定指示变量以及对于样本属于类别的概率；
根据所述行人属性种类数量、行人属性类别数量以及所述概率，计算行人属性识别损失函数。
在一些实施例中，所述行人属性包括行人性别、行人年龄、衣服类型以及衣服风格。
在一些实施例中，所述对抗生成判别器的损失函数的计算公式为：
LCycleGAN(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+LCycle(G,F)，
其中，X和Y分别代表两个不同的数据域；G和F代表两个生成器网络；F代表***；DX代表X这一数据域的鉴别器网络；DY代表Y这一数据域的鉴别器网络；LGAN()代表对抗损失；LCycle()代表对偶网络的循环损失；LCycleGAN()代表对抗生成判别器的总损失函数。
在一些实施例中，所述行人属性识别损失函数的计算公式为：
其中：N代表行人属性种类数量；M代表一种行人属性类别数量；yc代表指示变量，pc代表对于观测样本属于类别c的预测概率；Lattribution代表行人属性识别损失函数。
本发明的第二方面提供了一种联合对抗生成网络的行人属性识别系统，包括：
获取模块，用于获取待识别图像数据；
行人属性识别模块，用于对所述待识别图像数据进行识别，得到行人属性；
其中，所述行人属性识别模块根据本发明第一方面所述的方法训练得到。
本发明的第三方面提供了一种装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如本发明第一方面所述的方法。
本发明的第四方面提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如本发明第一方面所述的方法。
本发明的实施例在通过对抗生成编码模块对所述训练样本数据进行编码，迁移了光照变化和天气变化来生成编码特征，能够自动从待识别图像数据中采集光照和天气的细节属性，无需大量收集复杂场景下的样本进行训练，也能够较好的克服了光照、背景、天气等复杂场景对行人属性识别的影响，提高了识别的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的联合对抗生成的行人属性识别网络结构图；
图2为本发明实施例的联合对抗生成的行人属性识别模型训练流程图；
图3为本发明实施例的行人属性识别模块网络结构图；
图4为本发明实施例的联合对抗生成的行人属性识别推理流程图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
针对现有技术存在的问题，本发明实施例提供了一种联合对抗生成网络的行人属性识别方法，本发明设计了迁移光照和天气变化两个生成编码器，采用CycleGAN(循环对抗生成网络)对抗生成合成包含了光照和天气变化的编码特征，生成的光照和天气变化的编码特征包含了来自于真实图片的光照和天气变化信息。行人属性识别模块可以学习到光照和天气变化信息，自动从合成的图像中采集细节属性，不需要大量收集复杂场景下的样本进行训练，也能够较好的克服了光照、背景、天气等复杂场景对行人属性识别的影响。
参照图1，本发明实施例提供了一种联合对抗生成的行人属性识别网络结构图。基于图1所示的识别网络结构，本发明的行人属性识别方法包括步骤S101和S102：
S101、获取待识别图像数据；
S102、通过行人属性识别模块对所述待识别图像数据进行识别，得到行人属性；
如图1所示，本发明实施例首先导入行人属性识别模型训练样本到对抗生成编码模块(本方案中的对抗生成编码模块包括：一个迁移光照变化的对抗生成编码模块M1-1，一个迁移天气变化的对抗生成编码模块M1-2)。其次，通过将两个对抗生成网络的编码器的输出乘以权值参数a1和a2，得到的编码特征输出作为对抗生成解码器M2-1的输入。最后，通过一个对抗生成判别器判定M3-1合成的样本是否为真，同时采用多任务机制训练行人属性模块M3-2、M3-3，采用数据对抗生成损失函数和行人属性识别损失函数叠加来综合评定行人属性识别网络模型训练效果，实现把光照变化和天气变化迁移学习到行人属性识别网络模型，从而减少光照变化和天气变化对行人属性识别的干扰，提升行人属性识别的准确率。
图2是本发明实施例提供的一种联合对抗生成的行人属性识别模型训练流程图。
其中，所述行人属性识别模块通过步骤S201-S206训练得到：
S201、获取行人属性识别的训练样本数据；
S202、根据所述训练样本数据训练得到第一行人属性识别模块；
S203、通过对抗生成编码模块对所述训练样本数据进行编码，得到编码特征，所述编码特征包括光照变化信息和天气变化信息；
具体地，本发明实施例通过迁移光照和天气变化对抗生成编码模块，采用ResNet50(残差网络50)作为基础网络，剔除全局平均池化层全连接层，添加自适应最大池化层，对输入的行人图片进行编码。
S204、将所述编码特征输入至对抗生成解码模块进行解码后，得到第二行人属性识别模块，并通过对抗生成判别器对解码结果进行校验；
具体地，本发明实施例的对抗生成解码模块，采用4个残差模块和4个卷积层，每个残差模块包含2个自适应归一化层，解码包含光照和天气变化的对抗生成编码特征。
另外，本发明实施例的对抗生成判别器，采用多尺度缩放判定，通过不同尺寸的图像进行输入N*M和2N*2M和4N*4M，对图片进行几次缩放,并且对每次缩放进行预测真假，采用梯度惩罚，直到更新判别器达到稳定。对抗生成网络的损失函数为：
LCycleGAN(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+LCycle(G,F)，
其中：
其中，X和Y分别代表两个不同的数据域；G和F代表两个生成器网络；F代表***；DX代表X这一数据域的鉴别器网络；DY代表Y这一数据域的鉴别器网络；LGAN()代表对抗损失；LCycle()代表对偶网络的循环损失；LCycleGAN()代表对抗生成判别器的总损失函数。
S205、根据所述第一行人属性识别模块和所述第二行人属性识别模块确定行人属性识别损失函数；
本发明实施例针对行人属性的多样性和关联性，本发明采用基于多任务的行人属性识别方法。图3是基于多标签的行人属性识别网络模型结构图。如图3所示，行人属性识别的损失函数如下：
其中，N为行人属性种类数量，M为一种行人属性类别数量，yc为指示变量，pc为对于观测样本属于类别c的预测概率。
针对联合行人属性和对抗生成网络的模型训练，本发明实施例提出联合收益的损失函数。联合对抗生成的行人属性识别损失函数如下：
Lattribution＝Lattribution_adv+Lattribution_src+LCycleGAN(G,F,DX,DY)
其中：N为行人属性种类数量，M为一种行人属性类别数量，yc为指示变量，pc为对于观测样本属于类别c的预测概率。LCycleGAN(G,F,DX,DY)为抗生成网络的损失函数。Lattribution代表行人属性识别损失函数。
S206、根据所述行人属性识别损失函数，训练得到行人属性识别模块。
图4为联合对抗生成的行人属性识别推理流程图，如图4所示，本发明实施例首先，导入待识别的行人属性识别目标图片，其次，采用多任务机制训练的行人属性模块，最后，输出行人属性识别结果，包括行人性别、年龄、衣服类型、衣服风格等行人属性。
针对行人属性的多样性和关联性，本发明实施例采用基于多任务的行人属性识别方法。如图3所示，基于多标签的行人属性识别网络模型结构图。行人属性识别的损失函数如下：
其中：N为行人属性种类数量，M为一种行人属性类别数量，yc为指示变量，pc为对于观测样本属于类别c的预测概率。
综上所述，本发明实施例提出的一种联合对抗生成的行人属性识别方法，是一种端到端的深度学习网络，相较于现有技术的基于局部图像的行人属性识别方法和基于先验知识的属性识别方法具有较强的稳定性。
本发明首次采用数据对抗生成网络模型和行人属性识别模型联合学习，采用迁移学习的方法，把光照变化和天气变化迁移学习到行人属性识别网络。
相较于现有技术的基于全图的行人属性识别方法、基于注意力机制的行人属性识别方法、基于序列化的行人属性识别方法以及基于新损失函数的行人属性识别方法，本发明添加了复杂场景合成样本，能够带来针对复杂场景下的行人属性识别准确率的直接提升。
本方案通过对抗生成和属性识别两个损失函数来综合评定模型训练效果，相较于基于全图的行人属性识别方法通过增加复杂场景样本或生成样本等方法，本方法无需大量收集复杂场景样本或生成复杂场景样本，也能够有效克服复杂场景对提升行人属性识别准确率的影响。
本方案可以在低照度或光照变化较大、大雾等复杂场景下，获取较好的行人属性识别准确率，具有较强的抗干扰能力。
本发明中提出的一种联合对抗生成的行人属性识别方法，算法鲁棒性较强，具有一定的实用性。
本发明实施例还提供了一种联合对抗生成网络的行人属性识别系统，包括：
获取模块，用于获取待识别图像数据；
行人属性识别模块，用于对所述待识别图像数据进行识别，得到行人属性；
其中，所述行人属性识别模块根据上述的方法训练得到。
本发明实施例还提供了一种装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现本发明所述的方法。
本发明实施例还提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行实现本发明所述的方法。
综上所述，本发明提出了一种联合数据对抗生成网络和行人属性识别网络的网络，采用对抗生成网络模型和行人属性识别模型联合训练，把光照变化和天气变化迁移学习到行人属性识别网络模型；
本发明采用数据对抗生成损失函数和行人属性识别损失函数叠加来综合评定行人属性识别网络模型训练效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种联合对抗生成网络的行人属性识别方法，其特征在于，包括：
获取待识别图像数据；
通过行人属性识别模块对所述待识别图像数据进行识别，得到行人属性；
其中，所述行人属性识别模块通过以下步骤训练得到：
获取行人属性识别的训练样本数据；
根据所述训练样本数据训练得到第一行人属性识别模块；
通过对抗生成编码模块对所述训练样本数据进行编码，得到编码特征，所述编码特征包括光照变化信息和天气变化信息；
将所述编码特征输入至对抗生成解码模块进行解码后，得到第二行人属性识别模块，并通过对抗生成判别器对解码结果进行校验；
根据所述第一行人属性识别模块和所述第二行人属性识别模块确定行人属性识别损失函数；
根据所述行人属性识别损失函数，训练得到行人属性识别模块。
2.根据权利要求1所述的一种联合对抗生成网络的行人属性识别方法，其特征在于，所述通过对抗生成编码模块对所述训练样本数据进行编码，得到编码特征，包括：
通过迁移光照变化的第一对抗生成编码模块对所述训练样本数据进行第一编码；
通过迁移天气变化的第二对抗生成编码模块对所述训练样本数据进行第二编码；
通过权值参数，根据所述第一编码的结果和所述第二编码的结果，确定编码特征。
3.根据权利要求1所述的一种联合对抗生成网络的行人属性识别方法，其特征在于，所述对抗生成解码模块包括4个残差模块和4个卷积层，所述残差模块包括2个自适应归一化层。
4.根据权利要求1所述的一种联合对抗生成网络的行人属性识别方法，其特征在于，所述行人属性识别损失函数的确定方法包括：
确定行人属性种类数量；
确定行人属性类别数量；
确定指示变量以及对于样本属于类别的概率；
根据所述行人属性种类数量、行人属性类别数量以及所述概率，计算行人属性识别损失函数。
5.根据权利要求1所述的一种联合对抗生成网络的行人属性识别方法，其特征在于，所述行人属性包括行人性别、行人年龄、衣服类型以及衣服风格。
6.根据权利要求1所述的一种联合对抗生成网络的行人属性识别方法，其特征在于，所述对抗生成判别器的损失函数的计算公式为：
LCycleGAN(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+LCycle(G,F)，
其中，X和Y分别代表两个不同的数据域；G和F代表两个生成器网络；F代表***；DX代表X这一数据域的鉴别器网络；DY代表Y这一数据域的鉴别器网络；LGAN()代表对抗损失；LCycle()代表对偶网络的循环损失；LCycleGAN()代表对抗生成判别器的总损失函数。
7.根据权利要求1或4所述的一种联合对抗生成网络的行人属性识别方法，其特征在于，所述行人属性识别损失函数的计算公式为：
其中：N代表行人属性种类数量；M代表一种行人属性类别数量；yc代表指示变量，pc代表对于观测样本属于类别c的预测概率；Lattribution代表行人属性识别损失函数。
8.一种联合对抗生成网络的行人属性识别系统，其特征在于，包括：
获取模块，用于获取待识别图像数据；
行人属性识别模块，用于对所述待识别图像数据进行识别，得到行人属性；
其中，所述行人属性识别模块根据权利要求1所述的方法训练得到。
9.一种装置，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011063376.9A CN112200055B (zh) | 2020-09-30 | 2020-09-30 | 联合对抗生成网络的行人属性识别方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011063376.9A CN112200055B (zh) | 2020-09-30 | 2020-09-30 | 联合对抗生成网络的行人属性识别方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112200055A true CN112200055A (zh) | 2021-01-08 |
| CN112200055B CN112200055B (zh) | 2024-04-30 |
Family
ID=74012976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011063376.9A Active CN112200055B (zh) | 2020-09-30 | 2020-09-30 | 联合对抗生成网络的行人属性识别方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200055B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221757A (zh) * | 2021-05-14 | 2021-08-06 | 上海交通大学 | 一种改善行人属性识别准确率的方法、终端及介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171206A (zh) * | 2018-01-17 | 2018-06-15 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| CN108764298A (zh) * | 2018-04-29 | 2018-11-06 | 天津大学 | 基于单分类器的电力图像环境影响识别方法 |
| CN109726669A (zh) * | 2018-12-26 | 2019-05-07 | 浙江捷尚视觉科技股份有限公司 | 基于对抗网络的不同光照条件下行人再识别数据生成方法 |
| CN109871902A (zh) * | 2019-03-08 | 2019-06-11 | 哈尔滨工程大学 | 一种基于超分辨率对抗生成级联网络的sar小样本识别方法 |
| CN109934116A (zh) * | 2019-02-19 | 2019-06-25 | 华南理工大学 | 一种基于生成对抗机制与注意力机制的标准人脸生成方法 |
| CN110321801A (zh) * | 2019-06-10 | 2019-10-11 | 浙江大学 | 一种基于自编码网络的换衣行人重识别方法及系统 |
| CN110751098A (zh) * | 2019-10-22 | 2020-02-04 | 中山大学 | 一种基于光照、姿态生成对抗网络的人脸识别方法 |
| US20200090357A1 (en) * | 2018-09-14 | 2020-03-19 | Lucas PAGÉ-CACCIA | Method and system for generating synthetic point cloud data using a generative model |
| KR102139513B1 (ko) * | 2019-11-28 | 2020-08-12 | 국민대학교산학협력단 | 인공지능 vils 기반의 자율주행 제어 장치 및 방법 |
| CN111582345A (zh) * | 2020-04-29 | 2020-08-25 | 中国科学院重庆绿色智能技术研究院 | 一种小样本下复杂环境的目标识别方法 |
| CN111652828A (zh) * | 2020-05-27 | 2020-09-11 | 北京百度网讯科技有限公司 | 人脸图像生成方法、装置、设备和介质 |
| CN111666846A (zh) * | 2020-05-27 | 2020-09-15 | 厦门大学 | 一种人脸属性识别方法和装置 |
-
2020
- 2020-09-30 CN CN202011063376.9A patent/CN112200055B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171206A (zh) * | 2018-01-17 | 2018-06-15 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| CN108764298A (zh) * | 2018-04-29 | 2018-11-06 | 天津大学 | 基于单分类器的电力图像环境影响识别方法 |
| US20200090357A1 (en) * | 2018-09-14 | 2020-03-19 | Lucas PAGÉ-CACCIA | Method and system for generating synthetic point cloud data using a generative model |
| CN109726669A (zh) * | 2018-12-26 | 2019-05-07 | 浙江捷尚视觉科技股份有限公司 | 基于对抗网络的不同光照条件下行人再识别数据生成方法 |
| CN109934116A (zh) * | 2019-02-19 | 2019-06-25 | 华南理工大学 | 一种基于生成对抗机制与注意力机制的标准人脸生成方法 |
| CN109871902A (zh) * | 2019-03-08 | 2019-06-11 | 哈尔滨工程大学 | 一种基于超分辨率对抗生成级联网络的sar小样本识别方法 |
| CN110321801A (zh) * | 2019-06-10 | 2019-10-11 | 浙江大学 | 一种基于自编码网络的换衣行人重识别方法及系统 |
| CN110751098A (zh) * | 2019-10-22 | 2020-02-04 | 中山大学 | 一种基于光照、姿态生成对抗网络的人脸识别方法 |
| KR102139513B1 (ko) * | 2019-11-28 | 2020-08-12 | 국민대학교산학협력단 | 인공지능 vils 기반의 자율주행 제어 장치 및 방법 |
| CN111582345A (zh) * | 2020-04-29 | 2020-08-25 | 中国科学院重庆绿色智能技术研究院 | 一种小样本下复杂环境的目标识别方法 |
| CN111652828A (zh) * | 2020-05-27 | 2020-09-11 | 北京百度网讯科技有限公司 | 人脸图像生成方法、装置、设备和介质 |
| CN111666846A (zh) * | 2020-05-27 | 2020-09-15 | 厦门大学 | 一种人脸属性识别方法和装置 |
Non-Patent Citations (6)
| Title |
|---|
| DEJIAN LI等: "Multi-Pose Facial Expression Recognition Based on Generative Adversarial Network", 《 IEEE ACCESS》, vol. 7, 7 October 2019 (2019-10-07), pages 143980 - 143989, XP011750419, DOI: 10.1109/ACCESS.2019.2945423 * |
| EHSAN YAGHOUBI等: "Human Attribute Recognition— A Comprehensive Survey", 《APPLIED SCIENCESAPP》, vol. 10, no. 16, 13 August 2020 (2020-08-13), pages 1 - 44 * |
| HONGBO WANG等: "A Survey of Vehicle Re-Identification Based on Deep Learning", 《 IEEE ACCESS 》, vol. 7, 27 November 2019 (2019-11-27), pages 172443 - 172469, XP011759041, DOI: 10.1109/ACCESS.2019.2956172 * |
| 万里鹏: "基于生成对抗网络的多属性人脸生成及辅助识别研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 01, 15 January 2019 (2019-01-15), pages 138 - 2878 * |
| 刘一敏等: "融合生成对抗网络和姿态估计的视频行人再识别方法", 《自动化学报》, vol. 46, no. 03, 17 December 2018 (2018-12-17), pages 576 - 584 * |
| 孙志琳等: "基于风格迁移及度量融合的行人再识别研究", 《测试技术学报》, vol. 33, no. 01, 19 February 2019 (2019-02-19), pages 24 - 28 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221757A (zh) * | 2021-05-14 | 2021-08-06 | 上海交通大学 | 一种改善行人属性识别准确率的方法、终端及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112200055B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alshdaifat et al. | Improved deep learning framework for fish segmentation in underwater videos | |
| Li et al. | Deep neural network for structural prediction and lane detection in traffic scene | |
| CN111104903B (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| Li et al. | Topology-enhanced urban road extraction via a geographic feature-enhanced network | |
| Verwimp et al. | Clad: A realistic continual learning benchmark for autonomous driving | |
| Arief et al. | Addressing overfitting on point cloud classification using Atrous XCRF | |
| CN114612477B (zh) | 一种轻量化图像分割方法、系统、介质、终端及应用 | |
| CN111476285B (zh) | 一种图像分类模型的训练方法及图像分类方法、存储介质 | |
| CN112634296A (zh) | 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端 | |
| CN111881731A (zh) | 基于人体骨架的行为识别方法、系统、装置及介质 | |
| Chandrakar et al. | Computer succoured vaticination of multi-object detection and histogram enhancement in low vision | |
| Wang et al. | PFDN: Pyramid feature decoupling network for single image deraining | |
| Chen et al. | Weather-aware object detection method for maritime surveillance systems | |
| Zhang et al. | Embarrassingly simple binarization for deep single imagery super-resolution networks | |
| CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN111914949B (zh) | 基于强化学习的零样本学习模型的训练方法及装置 | |
| Cai et al. | Variational autoencoder for classification and regression for out-of-distribution detection in learning-enabled cyber-physical systems | |
| CN112200055A (zh) | 联合对抗生成网络的行人属性识别方法、系统及装置 | |
| CN111353441B (zh) | 基于位置数据融合的道路提取方法和系统 | |
| Lin et al. | Real-time foreground object segmentation networks using long and short skip connections | |
| CN113807354A (zh) | 图像语义分割方法、装置、设备和存储介质 | |
| Rocha et al. | Beyond Land: A Review of Benchmarking Datasets, Algorithms, and Metrics for Visual-Based Ship Tracking | |
| Chen et al. | Ship tracking for maritime traffic management via a data quality control supported framework | |
| CN115205624A (zh) | 一种跨维度注意力聚合的云雪辩识方法、设备及存储介质 | |
| CN115115966A (zh) | 视频场景的分割方法、装置、计算机设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |