CN112364791A - 一种基于生成对抗网络的行人重识别方法和系统 - Google Patents

一种基于生成对抗网络的行人重识别方法和系统 Download PDF

Info

Publication number
CN112364791A
CN112364791A CN202011282063.2A CN202011282063A CN112364791A CN 112364791 A CN112364791 A CN 112364791A CN 202011282063 A CN202011282063 A CN 202011282063A CN 112364791 A CN112364791 A CN 112364791A
Authority
CN
China
Prior art keywords
pedestrian
video image
image sequence
video
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011282063.2A
Other languages
English (en)
Other versions
CN112364791B (zh
Inventor
石鸿凌
蓝希鹏
丁昊
江小平
李成华
熊青玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Qiyun High Tech Information Technology Co ltd
South Central Minzu University
Original Assignee
Wuhan Qiyun High Tech Information Technology Co ltd
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Qiyun High Tech Information Technology Co ltd, South Central University for Nationalities filed Critical Wuhan Qiyun High Tech Information Technology Co ltd
Priority to CN202011282063.2A priority Critical patent/CN112364791B/zh
Publication of CN112364791A publication Critical patent/CN112364791A/zh
Application granted granted Critical
Publication of CN112364791B publication Critical patent/CN112364791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的行人重识别方法，包括：获取第一摄像头采集的、在第二摄像头中也出现的所有行人的第一行人视频图像序列集、以及在第二摄像头中出现的所有行人的第二行人视频图像序列集，将所有行人对应的第一行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的行人视频图像序列中每张行人视频图像的特征，并将所有行人对应的第二行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的第二行人视频图像序列中每张行人视频图像的特征，本发明能够解决现有基于视频的行人重识别方法在数据不足时，容易导致模型在训练过程中出现过拟合的情况，最终降低行人重识别的精度的技术问题。

Description

一种基于生成对抗网络的行人重识别方法和系统
技术领域
本发明属于机器学习和模式识别技术领域，更具体地，涉及一种基于生成对抗网络的行人重识别方法和系统。
背景技术
行人重识别(Person Re-identification)也称行人再识别，可简称为ReID。它是计算机视觉领域一个热门研究方向，是通过计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。它给定一个监控摄像头下的行人图像，在拍摄区域互不交叉的其他摄像头下，对该行人进行检索。因此，在监控安防等方面，起到了重要的作用。
早期的行人重识别研究，主要是围绕特征提取，意图提取稳定的、具有判别性的低级视觉特征，如颜色特征、纹理特征。近年来，随着深度学习技术的兴起，基于深度学习的行人重识别研究逐渐变得普及了起来。
按照不同的数据集，可将行人重识别分为基于图像的行人重识别和基于视频序列的行人重识别。目前基于视频的行人重识别方法主要分为两个阶段：在第一阶段，主要是针对行人图像序列中丰富的时序信息和空间信息，建立时间和空间模型；然后将经过裁剪处理的行人图片输入到设计好的网络模型中，训练整个网络模型，以提取出具有鉴别力的特征向量；第二阶段，将从视频序列中提取到的每一帧的特征，聚合得到代表视频的特征，然后进行特征匹配，根据特征向量的距离排序，来确定位于不同摄像头下的目标行人。
然而，现有的基于视频的行人重识别方法存在一些不可忽略的缺陷：第一、其在数据不足时，容易导致模型在训练过程中出现过拟合的情况，从而影响模型对整个样本空间的泛化能力，并最终降低行人重识别的精度；第二、其在制作新的数据样本所需的开销是巨大的，在视频拍摄与标注标签方面都需要付出相当大的人力、物力和时间；第三，其在对数据进行现有的其它增强处理方式(例如平移、旋转、剪切等)时，产生的数据分布仍然接近于原始数据，对行人重识别精度所起到的作用非常有限。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于生成对抗网络的行人重识别方法和系统，其目的在于，解决现有基于视频的行人重识别方法在数据不足时，容易导致模型在训练过程中出现过拟合的情况，最终降低行人重识别的精度的技术问题，以及在制作新的数据样本所需的开销巨大、在视频拍摄与标注标签方面都需要付出相当大的人力、物力和时间的技术问题，以及在对数据进行现有的增强处理方式时，对行人重识别精度所起到的作用非常有限的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于生成对抗网络的行人重识别方法，包括以下步骤：
(1)获取第一摄像头采集的、在第二摄像头中也出现的所有行人的第一行人视频图像序列集、以及在第二摄像头中出现的所有行人的第二行人视频图像序列集；
(2)依次将步骤(1)得到的所有行人对应的第一行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的行人视频图像序列中每张行人视频图像的特征，并将步骤(1)得到的所有行人对应的第二行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的第二行人视频图像序列中每张行人视频图像的特征；
(3)对步骤(2)得到的每个行人对应的第一行人视频图像序列中所有行人视频图像的特征进行平均池化处理，以得到每个行人对应的第一行人视频图像序列所对应的聚合特征，对步骤(2)得到的每个行人对应的第二行人视频图像序列中所有行人视频图像的特征进行平均池化处理，以得到每个行人对应的第二行人视频图像序列所对应的聚合特征；
(4)对于第一行人视频图像序列集对应的每个行人而言，计算步骤(3)得到的该行人对应的第一视频图像序列所对应的聚合特征与步骤(3)得到的所有行人对应的第二行人视频图像序列所对应的聚合特征之间的欧氏距离，将得到的多个欧氏距离按照从小到大的顺序进行排序，并将与排序结果中的最小值所对应的、第二行人视频图像序列对应的行人作为重识别结果输出。
优选地，卷积神经网络是采用Resnet-50神经网络，其是通过以下步骤训练得到的：
(2-1)获取视频行人重识别数据集，并将该视频行人重识别数据集划分为训练集和测试集；
(2-2)对卷积神经网络的参数进行初始化，权重参数的初始值是使用标准差为0.1的截断式正态分布输出的随机值，偏置参数的初始值设为0，初始学习率lr＝0.0003，采用阶梯性的学习策略，步长stepsize＝200，权重gamma＝0.1；
(2-3)将步骤(2-1)获取的训练集输入到步骤(2-2)初始化后的卷积神经网络中，通过正向传播算法输出网络预测值，并计算该网络预测值与真实标签之间的第一交叉熵损失值；
(2-4)根据步骤(2-3)得到的网络预测值与真实标签之间的交叉熵损失值，利用反向传播算法对卷积神经网络的所有权重参数进行更新和优化，以获取分类精度；
(2-5)重复迭代执行上述步骤(2-3)和步骤(2-4)，直至训练集对应的交叉熵损失值不再下降且验证集对应的分类精度不再上升为止，从而得到初步训练好的卷积神经网络；
(2-6)将训练好的生成对抗网络所生成的数据输入步骤(2-5)初步训练好的卷积神经网络中，通过正向传播算法输出网络预测值，并计算该网络预测值与真实标签之间的第二交叉熵损失值；
(2-7)根据步骤(2-6)得到的网络预测值与真实标签之间的交叉熵损失值，利用反向传播算法对步骤(2-5)初步训练好的卷积神经网络的所有权重参数进行更新和优化，以获取分类精度；
(2-8)重复迭代步骤(2-6)和步骤(2-7)，直至训练集对应的交叉熵损失值不再下降且验证集对应的分类精度不再上升为止，从而得到最终训练好的卷积神经网络。
优选地，步骤(2-3)中使用的损失函数Lsoftmax具体表示为：
Figure BDA0002781121030000041
其中N是训练集中行人的总数，L是对每个行人对应的行人视频图像序列进行分段处理的总片段数，ni，a表示第i个行人属于第a个片段的真实标签，qi，a表示第i个行人属于第a个片段的网络预测值，i∈[1，N]，a∈[1，L]。
优选地，步骤(2-6)中卷积神经网络使用的损失函数Llabel_smooth具体表示为：
Figure BDA0002781121030000042
其中ε是权重因子且ε∈[0，1]，其为0时表示所生成的数据是真实图像，其为1时表示所生成的数据是非真实图像，Lcross-entropy是交叉熵损失函数，且有：
Figure BDA0002781121030000043
优选地，生成对抗网络的训练过程包括以下步骤：
(a)获取视频行人重识别数据集；
(b)从步骤(a)得到的视频行人重识别数据集中获取第一摄像头采集的、在第二摄像头中也出现的所有行人的第一视频行人重识别子数据集，以及第二摄像头采集的、在第一摄像头中也出现的所有行人的第二视频行人重识别子数据集；
(c)将步骤(b)得到的第一视频行人重识别子数据集中每个行人的行人视频图像序列中随机抽取一帧行人视频图像，从而得到M张行人视频图像，其中M表示第一摄像头采集的、在第二摄像头中也出现的所有行人的总数；
(d)将步骤(b)得到的第二视频行人重识别子数据集中每个行人的行人视频图像序列划分为T个视频段，从每个视频段中随机抽取一帧行人视频图像，从而得到M*T张行人视频图像，其中T∈[1，行人视频图像序列中行人视频图像的总数]；
(e)从步骤(c)得到的M张行人视频图像和步骤(d)得到的M*T张行人视频图像中提取对应的姿态图片；
(f)针对步骤(c)得到的M张行人视频图像中每一张行人视频图像对应的行人而言，将该行人在第一视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的姿态图片与该行人在第二视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的T张对应姿态图片中的每一张姿态图片组成姿态图片对，所有姿态图片对构成该行人对应的姿态图片对集合；
(g)对生成对抗网络的参数进行初始化，权重参数的初始值是使用标准差为0.1的截断式正态分布输出的随机值；
(h)将第一视频行人重识别子数据集和步骤(f)得到的所有M个行人对应的姿态图片对集合输入步骤(g)初始化后的生成对抗网络中，以获取生成对抗网络的损失值；
(i)重复迭代步骤(h)，直至生成对抗网络的损失值收敛为止。
优选地，生成对抗网络的损失函数表示为：
L＝αLGAN+LL1
其中LGAN是生成对抗损失函数，α是LGAN的权重参数，LL1表示L1损失函数。
优选地，生成对抗损失函数LGAN等于：
Figure BDA0002781121030000061
其中DA是生成对抗网络的外观判别器，DS是生成对抗网络的骨骼形状判别器，Pc是第一视频行人重识别子数据集中的图片，Pt是第二视频行人重识别子数据集中的图片，Pg是生成对抗网络的生成图片，St是行人在第一视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的姿态图片，P是第一视频行人重识别子数据集，P′是生成对抗网络的生成图片集，PS是行人在第二视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的T张对应姿态图片构成的集合；
L1损失函数LL1等于：
LL1＝||Pg-Pt||1。
按照本发明的另一方面，提供了一种基于生成对抗网络的行人重识别系统，包括：
第一模块，用于获取第一摄像头采集的、在第二摄像头中也出现的所有行人的第一行人视频图像序列集、以及在第二摄像头中出现的所有行人的第二行人视频图像序列集；
第二模块，用于依次将第一模块得到的所有行人对应的第一行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的行人视频图像序列中每张行人视频图像的特征，并将步骤(1)得到的所有行人对应的第二行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的第二行人视频图像序列中每张行人视频图像的特征；
第三模块，用于对第二模块得到的每个行人对应的第一行人视频图像序列中所有行人视频图像的特征进行平均池化处理，以得到每个行人对应的第一行人视频图像序列所对应的聚合特征，对第二模块得到的每个行人对应的第二行人视频图像序列中所有行人视频图像的特征进行平均池化处理，以得到每个行人对应的第二行人视频图像序列所对应的聚合特征；
第四模块，用于对于第一行人视频图像序列集对应的每个行人而言，计算第三模块得到的该行人对应的第一视频图像序列所对应的聚合特征与第三模块得到的所有行人对应的第二行人视频图像序列所对应的聚合特征之间的欧氏距离，将得到的多个欧氏距离按照从小到大的顺序进行排序，并将与排序结果中的最小值所对应的、第二行人视频图像序列对应的行人作为重识别结果输出。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、由于本发明在生成对抗网络训练过程中采用了步骤(a)到(i)，其通过生成对抗网络生成的数据扩充了现有的数据集，因此，能够解决现有方法其在数据不足时，容易导致模型在训练过程中出现过拟合的情况，并最终降低行人重识别精度的技术问题；
2、由于本发明在生成对抗网络训练过程中采用了步骤(a)到(i)，其通过生成对抗网络生成大量的数据，因此，能够解决现有方法在制作新的数据样本所需的开销巨大，在视频拍摄与标注标签方面都需要付出相当大的人力、物力和时间的技术问题；
3、由于本发明在生成对抗网络训练过程中采用了步骤(b)到(f)，其通过生成对抗网络生成的数据填补了原始样本在样本空间的间隙，并略微扩展类边界，因此，能够解决现有方法在对数据进行增强处理时，产生的数据分布仍然接近于原始数据，对行人重识别精度所起到的作用非常有限的技术问题；
4、本发明中视频行人重识别网络模型相较于其他更加轻量，通过使用Resnet-50卷积神经网络作为特征提取网络，以最简单的平均池化对每帧特征进行处理，在重识别中取得了较高的识别精度。
附图说明
图1是本方法基于生成对抗网络的行人重识别方法的流程示意图；
图2是本发明利用生成对抗网络生成扩充数据这一过程的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
针对视频行人重识别领域存在的数据量不足问题，本发明提出了一种基于生成对抗网络的，生成具有时序姿态的行人序列，对训练集进行扩充的方法。通过生成具有时序姿态的行人序列，对现有的数据进行扩充，扩充的数据能填补原始样本在样本空间的间隙，并略微扩展类边界，能一定程度上抑制过拟合，提升模型对整个样本空间的泛化能力，进而提升视频行人重识别模型识别的准确率。
如图1所示，本发明提供了一种基于生成对抗网络的行人重识别方法，包括以下步骤：
(1)获取摄像头A采集的、在摄像头B中也出现的所有行人的第一行人视频图像序列集、以及在摄像头B中出现的所有行人的第二行人视频图像序列集；
(2)依次将步骤(1)得到的所有行人对应的第一行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的行人视频图像序列中每张行人视频图像的特征(frame-level feature)，并将步骤(1)得到的所有行人对应的第二行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的第二行人视频图像序列中每张行人视频图像的特征；
本步骤中的卷积神经网络采用Resnet-50神经网络，其是通过以下步骤训练得到的：
(2-1)获取视频行人重识别数据集，并将该视频行人重识别数据集划分为训练集和测试集；
具体而言，在本步骤中采用的视频行人重识别数据集是PRID2011数据集，PRID2011数据集提供了2个位于不同地点、用于静止地监控人行道的摄像头A和B(例如，摄像头A显示385人，摄像头B显示749人，只有前200个人会同时出现在两个摄像头中)。训练和测试时，采用的是来自官方数据集的划分方式，从A和B摄像头中共同出现的行人中随机抽取多个，并按照1：1的比例划分训练集和测试集，即随机划分50％作为训练集，剩余的50％作为测试集，重复划分10次，以减少随机误差。
(2-2)对卷积神经网络的参数进行初始化，权重参数的初始值是使用标准差为0.1的截断式正态分布输出的随机值，偏置参数的初始值设为0，初始学习率lr＝0.0003，采用阶梯性的学习策略，步长stepsize＝200，权重gamma＝0.1，即每200轮(epoch)将学习率乘以0.1；
(2-3)将步骤(2-1)获取的训练集输入到步骤(2-2)初始化后的卷积神经网络中，通过正向传播算法输出网络预测值，并计算该网络预测值与真实标签之间的第一交叉熵损失值；
其中，卷积神经网络使用的损失函数Lsoftmax为网络预测值与真实标签之间的交叉熵，其具体表示为：
Figure BDA0002781121030000101
其中N是训练集中行人的总数，L是对每个行人对应的行人视频图像序列进行分段处理的总片段数，ni，a表示第i个行人属于第a个片段的真实标签，qi，a表示第i个行人属于第a个片段的网络预测值，i∈[1，N]，a∈[1，L]。
训练过程中一个批次(Batch)的形成，是通过对N个行人中每个行人的行人视频图像序列随机抽样L个片段(Clips)，每个片段包含T帧(T的取值等于4)，一个批次中包含NL个片段，Softmax交叉熵损失函数鼓励网络将NL个片段分类到正确的行人。
(2-4)根据步骤(2-3)得到的网络预测值与真实标签之间的交叉熵损失值，利用反向传播算法对卷积神经网络的所有权重参数进行更新和优化，以获取分类精度；
(2-5)重复迭代执行上述步骤(2-3)和步骤(2-4)，直至训练集对应的交叉熵损失值不再下降且验证集对应的分类精度不再上升为止，从而得到初步训练好的卷积神经网络(Baseline model)；
(2-6)将训练好的生成对抗网络所生成的数据输入步骤(2-5)初步训练好的卷积神经网络中，通过正向传播算法输出网络预测值，并计算该网络预测值与真实标签之间的第二交叉熵损失值；
其中，卷积神经网络使用的损失函数Llabel_smooth为网络预测值与真实标签之间的交叉熵，其具体表示为：
Figure BDA0002781121030000102
其中ε是权重因子且ε∈[0，1]，其为0时表示所生成的数据是真实图像，Lcross-entropy是交叉熵损失函数，且有：
Figure BDA0002781121030000111
(2-7)根据步骤(2-6)得到的网络预测值与真实标签之间的交叉熵损失值，利用反向传播算法对步骤(2-5)初步训练好的卷积神经网络的所有权重参数进行更新和优化，以获取分类精度；
(2-8)重复迭代步骤(2-6)和步骤(2-7)，直至训练集对应的交叉熵损失值不再下降且验证集对应的分类精度不再上升为止，从而得到最终训练好的卷积神经网络。
(3)对步骤(2)得到的每个行人对应的第一行人视频图像序列中所有行人视频图像的特征进行平均池化(Average pooling)处理，以得到每个行人对应的第一行人视频图像序列所对应的聚合特征(Aggregated feature)，对步骤(2)得到的每个行人对应的第二行人视频图像序列中所有行人视频图像的特征进行平均池化(Average pooling)处理，以得到每个行人对应的第二行人视频图像序列所对应的聚合特征；
(4)对于第一行人视频图像序列集对应的每个行人而言，计算步骤(3)得到的该行人对应的第一视频图像序列所对应的聚合特征与步骤(3)得到的所有行人对应的第二行人视频图像序列所对应的聚合特征之间的欧氏距离，将得到的多个欧氏距离按照从小到大的顺序进行排序，并将与排序结果中的最小值所对应的、第二行人视频图像序列对应的行人作为重识别结果输出；
如图2所示，本发明中生成对抗网络的训练过程包括以下步骤：
(a)获取视频行人重识别数据集；
在本发明中，视频行人重识别数据集是PRID2011数据集；
(b)从步骤(a)得到的视频行人重识别数据集中获取摄像头A采集的、在摄像头B中也出现的所有行人的第一视频行人重识别子数据集，以及摄像头B采集的、在摄像头A中也出现的所有行人的第二视频行人重识别子数据集；
(c)将步骤(b)得到的第一视频行人重识别子数据集中每个行人的行人视频图像序列中随机抽取一帧行人视频图像，从而得到M张行人视频图像，其中M表示摄像头A采集的、在摄像头B中也出现的所有行人的总数；
(d)将步骤(b)得到的第二视频行人重识别子数据集中每个行人的行人视频图像序列划分为T个视频段，从每个视频段中随机抽取一帧行人视频图像，从而得到M*T张行人视频图像，其中T∈[1，行人视频图像序列中行人视频图像的总数]；
(e)从步骤(c)得到的M张行人视频图像和步骤(d)得到的M*T张行人视频图像中提取对应的姿态图片；
具体而言，本步骤是使用姿态估计器(例如开源的姿态提取工具OpenPose)提取姿态图片，提取的姿态图片中包含了18个解剖学的关键点及其骨架连接，并由不同的颜色标记骨架部分。
(f)针对步骤(c)得到的M张行人视频图像中每一张行人视频图像对应的行人而言，将该行人在第一视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的姿态图片与该行人在第二视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的T张对应姿态图片中的每一张姿态图片组成姿态图片对，所有姿态图片对构成该行人对应的姿态图片对集合；
(g)对生成对抗网络的参数进行初始化，权重参数的初始值是使用标准差为0.1的截断式正态分布输出的随机值；
(h)将第一视频行人重识别子数据集和步骤(f)得到的所有M个行人对应的姿态图片对集合输入步骤(g)初始化后的生成对抗网络中，以获取生成对抗网络的损失值；
生成对抗网络的损失函数定义如下：
L＝αLGAN+LL1
其中LGAN是生成对抗损失函数，α是LGAN的权重参数。
生成对抗损失函数LGAN等于：
Figure BDA0002781121030000131
其中E(.)表示获取括号内计算结果的期望值，DA是生成对抗网络的外观判别器，DS是生成对抗网络的骨骼形状判别器，Pc是第一视频行人重识别子数据集中的图片，Pt是第二视频行人重识别子数据集中的图片，Pg是生成对抗网络的生成图片，St是行人在第一视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的姿态图片，P是第一视频行人重识别子数据集，P′是生成对抗网络的生成图片集，PS是行人在第二视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的T张对应姿态图片构成的集合。
LL1损失函数是生成对抗网络的生成图片与第二视频行人重识别子数据集中的图片的特征向量的差值的1范数，LL1等于
LL1＝||Pg-Pt||1
(i)重复迭代步骤(h)，直至生成对抗网络的损失值收敛为止。
实验结果
本节通过在PRID2011数据集上的测试结果来说明本方法的实际效果。本方法在测试过程中涉及到的评测指标包括：(1)Rank-n值：该值评估的是在最终排序列表按照相似度从大到小的前n个检索行人图片中，至少有一张行人图片与目标行人图片为同一个人的概率；(2)平均精度均值(mean average precision，简称mAP)：该值衡量的是模型在所有类别上的好坏，它评估的是与目标行人为同一个人的所有行人图片在最终排序列表中整体的排位情况，所有行人图片整体排位越靠前则该值越大，方法效果越好。
下表1示出在PRID2011数据集上本发明与其他方法的比较：
表1
Figure BDA0002781121030000141
通过上表1可以看出，经过生成数据扩充之后，本方法在Rank-1和Rank-5值分别达到了89.9％和97％,mAP值达到了93％。这说明相较于其他模型的方法，本方法从数据不足的角度出发，通过扩充的数据填补了样本空间中原始样本的间隙，并略微扩展类边界，一定程度上抑制了过拟合，提升了模型对整个样本空间的泛化能力，进而提升了视频行人重识别模型识别的准确率。
下表2示出本发明针对生成样本，取不同ε值下的实验结果：
表2
Figure BDA0002781121030000142
Figure BDA0002781121030000151
从上表2可以看出，不同ε取值对重识别精度存在影响，由于ε取值影响生成数据在训练过程中所占的权重，因此，合适的ε取值对于生成数据对卷积神经网络的训练是有益的，它使得卷积神经网络学习到更加丰富的特征，增强的网络的泛化能力，进而提升重识别的精度；反之，不合适的ε取值会影响卷积神经网络的训练，使得卷积神经网络偏向于学习到生成数据的特征，进而降低重识别的精度。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于生成对抗网络的行人重识别方法，其特征在于，包括以下步骤：
(1)获取第一摄像头采集的、在第二摄像头中也出现的所有行人的第一行人视频图像序列集、以及在第二摄像头中出现的所有行人的第二行人视频图像序列集；
(2)依次将步骤(1)得到的所有行人对应的第一行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的行人视频图像序列中每张行人视频图像的特征，并将步骤(1)得到的所有行人对应的第二行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的第二行人视频图像序列中每张行人视频图像的特征。
(3)对步骤(2)得到的每个行人对应的第一行人视频图像序列中所有行人视频图像的特征进行平均池化处理，以得到每个行人对应的第一行人视频图像序列所对应的聚合特征，对步骤(2)得到的每个行人对应的第二行人视频图像序列中所有行人视频图像的特征进行平均池化处理，以得到每个行人对应的第二行人视频图像序列所对应的聚合特征。
(4)对于第一行人视频图像序列集对应的每个行人而言，计算步骤(3)得到的该行人对应的第一视频图像序列所对应的聚合特征与步骤(3)得到的所有行人对应的第二行人视频图像序列所对应的聚合特征之间的欧氏距离，将得到的多个欧氏距离按照从小到大的顺序进行排序，并将与排序结果中的最小值所对应的、第二行人视频图像序列对应的行人作为重识别结果输出。
2.根据权利要求1所述的行人重识别方法，其特征在于，卷积神经网络是采用Resnet-50神经网络，其是通过以下步骤训练得到的：
(2-1)获取视频行人重识别数据集，并将该视频行人重识别数据集划分为训练集和测试集；
(2-2)对卷积神经网络的参数进行初始化，权重参数的初始值是使用标准差为0.1的截断式正态分布输出的随机值，偏置参数的初始值设为0，初始学习率lr＝0.0003，采用阶梯性的学习策略，步长stepsize＝200，权重gamma＝0.1；
(2-3)将步骤(2-1)获取的训练集输入到步骤(2-2)初始化后的卷积神经网络中，通过正向传播算法输出网络预测值，并计算该网络预测值与真实标签之间的第一交叉熵损失值；
(2-4)根据步骤(2-3)得到的网络预测值与真实标签之间的交叉熵损失值，利用反向传播算法对卷积神经网络的所有权重参数进行更新和优化，以获取分类精度；
(2-5)重复迭代执行上述步骤(2-3)和步骤(2-4)，直至训练集对应的交叉熵损失值不再下降且验证集对应的分类精度不再上升为止，从而得到初步训练好的卷积神经网络；
(2-6)将训练好的生成对抗网络所生成的数据输入步骤(2-5)初步训练好的卷积神经网络中，通过正向传播算法输出网络预测值，并计算该网络预测值与真实标签之间的第二交叉熵损失值；
(2-7)根据步骤(2-6)得到的网络预测值与真实标签之间的交叉熵损失值，利用反向传播算法对步骤(2-5)初步训练好的卷积神经网络的所有权重参数进行更新和优化，以获取分类精度；
(2-8)重复迭代步骤(2-6)和步骤(2-7)，直至训练集对应的交叉熵损失值不再下降且验证集对应的分类精度不再上升为止，从而得到最终训练好的卷积神经网络。
3.根据权利要求1或2所述的行人重识别方法，其特征在于，步骤(2-3)中使用的损失函数Lsoftmax具体表示为：
Figure FDA0002781121020000031
其中N是训练集中行人的总数，L是对每个行人对应的行人视频图像序列进行分段处理的总片段数，ni，a表示第i个行人属于第a个片段的真实标签，qi，a表示第i个行人属于第a个片段的网络预测值，i∈[1，N]，a∈[1，L]。
4.根据权利要求1至3中任意一项所述的行人重识别方法，其特征在于，步骤(2-6)中卷积神经网络使用的损失函数Llabel_smooth具体表示为：
Figure FDA0002781121020000032
其中ε是权重因子且ε∈[0，1]，其为0时表示所生成的数据是真实图像，其为1时表示所生成的数据是非真实图像，Lcross-entropy是交叉熵损失函数，且有：
Figure FDA0002781121020000033
5.根据权利要求2所述的行人重识别方法，其特征在于，生成对抗网络的训练过程包括以下步骤：
(a)获取视频行人重识别数据集；
(b)从步骤(a)得到的视频行人重识别数据集中获取第一摄像头采集的、在第二摄像头中也出现的所有行人的第一视频行人重识别子数据集，以及第二摄像头采集的、在第一摄像头中也出现的所有行人的第二视频行人重识别子数据集；
(c)将步骤(b)得到的第一视频行人重识别子数据集中每个行人的行人视频图像序列中随机抽取一帧行人视频图像，从而得到M张行人视频图像，其中M表示第一摄像头采集的、在第二摄像头中也出现的所有行人的总数；
(d)将步骤(b)得到的第二视频行人重识别子数据集中每个行人的行人视频图像序列划分为T个视频段，从每个视频段中随机抽取一帧行人视频图像，从而得到M*T张行人视频图像，其中T∈[1，行人视频图像序列中行人视频图像的总数]；
(e)从步骤(c)得到的M张行人视频图像和步骤(d)得到的M*T张行人视频图像中提取对应的姿态图片；
(f)针对步骤(c)得到的M张行人视频图像中每一张行人视频图像对应的行人而言，将该行人在第一视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的姿态图片与该行人在第二视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的T张对应姿态图片中的每一张姿态图片组成姿态图片对，所有姿态图片对构成该行人对应的姿态图片对集合；
(g)对生成对抗网络的参数进行初始化，权重参数的初始值是使用标准差为0.1的截断式正态分布输出的随机值；
(h)将第一视频行人重识别子数据集和步骤(f)得到的所有M个行人对应的姿态图片对集合输入步骤(g)初始化后的生成对抗网络中，以获取生成对抗网络的损失值；
(i)重复迭代步骤(h)，直至生成对抗网络的损失值收敛为止。
6.根据权利要求5所述的行人重识别方法，其特征在于，生成对抗网络的损失函数表示为：
L＝αLGAN+LL1
其中LGAN是生成对抗损失函数，α是LGAN的权重参数，LL1表示L1损失函数。
7.根据权利要求5所述的行人重识别方法，其特征在于，
生成对抗损失函数LGAN等于：
Figure FDA0002781121020000051
其中E(.)表示获取括号内计算结果的期望值，DA是生成对抗网络的外观判别器，DS是生成对抗网络的骨骼形状判别器，Pc是第一视频行人重识别子数据集中的图片，Pt是第二视频行人重识别子数据集中的图片，Pg是生成对抗网络的生成图片，St是行人在第一视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的姿态图片，P是第一视频行人重识别子数据集，P′是生成对抗网络的生成图片集，PS是行人在第二视频行人重识别子数据集中对应的行人视频图像在步骤(e)中对应的T张对应姿态图片构成的集合；
L1损失函数LL1等于：
LL1＝||Pg-Pt||1。
8.一种基于生成对抗网络的行人重识别系统，其特征在于，包括：
第一模块，用于获取第一摄像头采集的、在第二摄像头中也出现的所有行人的第一行人视频图像序列集、以及在第二摄像头中出现的所有行人的第二行人视频图像序列集；
第二模块，用于依次将第一模块得到的所有行人对应的第一行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的行人视频图像序列中每张行人视频图像的特征，并将步骤(1)得到的所有行人对应的第二行人视频图像序列集输入到训练好的卷积神经网络中，以提取每个行人对应的第二行人视频图像序列中每张行人视频图像的特征；
第三模块，用于对第二模块得到的每个行人对应的第一行人视频图像序列中所有行人视频图像的特征进行平均池化处理，以得到每个行人对应的第一行人视频图像序列所对应的聚合特征，对第二模块得到的每个行人对应的第二行人视频图像序列中所有行人视频图像的特征进行平均池化处理，以得到每个行人对应的第二行人视频图像序列所对应的聚合特征；
第四模块，用于对于第一行人视频图像序列集对应的每个行人而言，计算第三模块得到的该行人对应的第一视频图像序列所对应的聚合特征与第三模块得到的所有行人对应的第二行人视频图像序列所对应的聚合特征之间的欧氏距离，将得到的多个欧氏距离按照从小到大的顺序进行排序，并将与排序结果中的最小值所对应的、第二行人视频图像序列对应的行人作为重识别结果输出。
CN202011282063.2A 2020-11-17 2020-11-17 一种基于生成对抗网络的行人重识别方法和系统 Active CN112364791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011282063.2A CN112364791B (zh) 2020-11-17 2020-11-17 一种基于生成对抗网络的行人重识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011282063.2A CN112364791B (zh) 2020-11-17 2020-11-17 一种基于生成对抗网络的行人重识别方法和系统

Publications (2)

Publication Number Publication Date
CN112364791A true CN112364791A (zh) 2021-02-12
CN112364791B CN112364791B (zh) 2021-06-15

Family

ID=74515270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011282063.2A Active CN112364791B (zh) 2020-11-17 2020-11-17 一种基于生成对抗网络的行人重识别方法和系统

Country Status (1)

Country Link
CN (1) CN112364791B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966647A (zh) * 2021-03-25 2021-06-15 东北林业大学 一种基于逐层聚类及增强判别的行人重识别方法
CN113033468A (zh) * 2021-04-13 2021-06-25 中国计量大学 一种基于多源图像信息的特定人员重识别方法
CN113221641A (zh) * 2021-04-01 2021-08-06 哈尔滨工业大学（深圳） 基于生成对抗网络和注意力机制的视频行人重识别方法
CN113343810A (zh) * 2021-05-28 2021-09-03 国家计算机网络与信息安全管理中心 基于时序多样性与相关性的行人重识别模型训练和识别方法与装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679465A (zh) * 2017-09-20 2018-02-09 上海交通大学 一种基于生成网络的行人重识别数据生成和扩充方法
CN108062562A (zh) * 2017-12-12 2018-05-22 北京图森未来科技有限公司 一种物体重识别方法及装置
CN109284767A (zh) * 2018-07-23 2019-01-29 天津师范大学 一种基于增广样本和多流层的行人检索方法
CN110427813A (zh) * 2019-06-24 2019-11-08 中国矿业大学 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法
US20200226421A1 (en) * 2019-01-15 2020-07-16 Naver Corporation Training and using a convolutional neural network for person re-identification
US20200302176A1 (en) * 2019-03-18 2020-09-24 Nvidia Corporation Image identification using neural networks
CN111931637A (zh) * 2020-08-07 2020-11-13 华南理工大学 基于双流卷积神经网络的跨模态行人重识别方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679465A (zh) * 2017-09-20 2018-02-09 上海交通大学 一种基于生成网络的行人重识别数据生成和扩充方法
CN108062562A (zh) * 2017-12-12 2018-05-22 北京图森未来科技有限公司 一种物体重识别方法及装置
CN109284767A (zh) * 2018-07-23 2019-01-29 天津师范大学 一种基于增广样本和多流层的行人检索方法
US20200226421A1 (en) * 2019-01-15 2020-07-16 Naver Corporation Training and using a convolutional neural network for person re-identification
US20200302176A1 (en) * 2019-03-18 2020-09-24 Nvidia Corporation Image identification using neural networks
CN110427813A (zh) * 2019-06-24 2019-11-08 中国矿业大学 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法
CN111931637A (zh) * 2020-08-07 2020-11-13 华南理工大学 基于双流卷积神经网络的跨模态行人重识别方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIANG ZHENG .ETC: ""Scalable Person Re-identification: A Benchmark"", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
SHUREN ZHOU .ETC: ""Multi-camera transfer GAN for person re-identification"", 《J. VIS. COMMUN. IMAGE R. 59》 *
WEILIN ZHONG .ETC: ""Combining multilevel feature extraction and multi-loss learning for person re-identification"", 《NEUROCOMPUTING 334》 *
YIXIAO GE .ETC: ""FD-GAN: Pose-guided Feature Distilling GAN for Robust Person Re-identification"", 《32ND CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NEURIPS 2018)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966647A (zh) * 2021-03-25 2021-06-15 东北林业大学 一种基于逐层聚类及增强判别的行人重识别方法
CN113221641A (zh) * 2021-04-01 2021-08-06 哈尔滨工业大学（深圳） 基于生成对抗网络和注意力机制的视频行人重识别方法
CN113221641B (zh) * 2021-04-01 2023-07-07 哈尔滨工业大学（深圳） 基于生成对抗网络和注意力机制的视频行人重识别方法
CN113033468A (zh) * 2021-04-13 2021-06-25 中国计量大学 一种基于多源图像信息的特定人员重识别方法
CN113343810A (zh) * 2021-05-28 2021-09-03 国家计算机网络与信息安全管理中心 基于时序多样性与相关性的行人重识别模型训练和识别方法与装置
CN113343810B (zh) * 2021-05-28 2023-03-21 国家计算机网络与信息安全管理中心 基于时序多样性与相关性的行人重识别模型训练和识别方法与装置

Also Published As

Publication number Publication date
CN112364791B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112364791B (zh) 一种基于生成对抗网络的行人重识别方法和系统
CN109919031B (zh) 一种基于深度神经网络的人体行为识别方法
CN105701502B (zh) 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN110414377B (zh) 一种基于尺度注意力网络的遥感图像场景分类方法
CN106778796B (zh) 基于混合式协同训练的人体动作识别方法及系统
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN110334589B (zh) 一种基于空洞卷积的高时序3d神经网络的动作识别方法
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN108765383B (zh) 基于深度迁移学习的视频描述方法
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN112819065B (zh) 基于多重聚类信息的无监督行人难样本挖掘方法和系统
CN108491766B (zh) 一种端到端的基于深度决策森林的人群计数方法
CN111832511A (zh) 一种增强样本数据的无监督行人重识别方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN110443257B (zh) 一种基于主动学习的显著性检测方法
CN108595558B (zh) 一种数据均衡策略和多特征融合的图像标注方法
CN109741341A (zh) 一种基于超像素和长短时记忆网络的图像分割方法
CN113688894B (zh) 一种融合多粒度特征的细粒度图像分类方法
CN113011357A (zh) 基于时空融合的深度伪造人脸视频定位方法
CN111639540A (zh) 基于相机风格和人体姿态适应的半监督人物重识别方法
CN111160553A (zh) 一种新的领域自适应学习方法
CN115690549A (zh) 一种基于并联交互架构模型实现多维度特征融合的目标检测方法
CN115205903A (zh) 一种基于身份迁移生成对抗网络的行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant