CN109993072A - 基于超分辨图像生成的低分辨率行人重识别系统和方法 - Google Patents

Abstract

本发明公开了一种基于超分辨图像生成的低分辨率行人重识别系统和方法，该系统包括行人属性引导的超分辨图像生成网络模型和行人重识别网络模型，该方法步骤为：选取高、低分辨率图像样本及行人属性向量；训练超分辨率图像生成网络模型；训练行人重识别网络模型；联合训练超分辨图像生成网络模型和行人重识别网络模型；将低分辨率行人图像测试集与对应的行人属性向量输入到联合训练后的超分辨图像生成网络模型和行人重识别网络模型提取行人图像特征；计算行人图像特征的余弦相似度，根据余弦相似度得到不同分辨率的行人图像匹配的结果，本发明实现低分辨率图像细节恢复，同时扩大了网络的容量，提高低分辨率行人重识别的效果。

Description

基于超分辨图像生成的低分辨率行人重识别系统和方法

技术领域

本发明涉及计算机视觉，智能监控领域，尤其涉及一种基于超分辨图像生成的低分辨率行人重识别系统和方法。

背景技术

行人重识别的任务是识别跨摄像头下的行人身份信息。随着视频监控的快速发展，行人重识别在智能监控中起到越来越重要的作用。对于行人重识别的问题，通常步骤是先提取行人的特征，对行人的特征进行距离度量得到相似性得分，然后根据相似性得分进行排序，最终得到行人的身份。在现实生活中，由于摄像头的摆放位置不同以及行人与摄像头的距离变化，本实施例获取的行人图像的分辨率通常不同，即存在高分辨率和低分辨率的行人图像，本实施例进行不同分辨率的行人重识别任务，本实施例把这种任务定义为低分辨率行人重识。由于低分辨率行人图像会丢失很多行人的细节信息因此提取得到的行人特征的区分度比较低，这就造成了行人重识别效果的降低，因此需要研究并解决行人重识别中的由于分辨率过低带来的问题。

目前大部分行人重识别的方法假设图像的分辨率是相同的，直接将需要匹配的图片通过插值变成一样的大小，实际上低分辨率的图像会缺失一些具有区分性的信息。对于低分辨率行人重识别的研究并不多，有以下几种方法：

(1)基于特征映射的方法：将同一个行人的高低分辨率的特征映射到公共空间，然后进行匹配；

(2)通过探索高低分辨率行人图像特征的关系，将低分辨率的特征映射成高分辨率的特征。

(3)通过探索分辨率与特征度量距离的函数空间，得到分辨率与特征度量距离的函数，进而得到不同分辨率的行人图像对之间的度量距离进行匹配。

(4)通过超分辨的方法来超分辨低分辨率的行人图像，然后利用超分辨率行人图像进行行人重识别。

方法(1)假设同一个行人不同分辨率特征分布相似，提出了在联合学习的框架下同时优化高低分辨率的行人特征的拉近以及距离度量模型，然而在图像细节丢失的情况下将行人的不同分辨率特征仅仅通过一个变换拉近很困难。方法(2)提出了一个半耦合低秩的字典学习方法来探究发现低分辨率和高分辨率图像的特征关系。方法(3)通过在与高分辨率图像匹配时改变低分辨率图像的尺度来探索尺度-距离函数空间的特征。方法(1)、(2)、(3)都没有从图像层面上回复高频的细节，丢失了一些具有区分度的外表，由于不能合成在图像采集中丢失的高频率和辨别性外观信息，这些方法本身就受到限制。此外，方法(1)、(2)、(3)都选用的传统特征，需要手动选择行人的特征。方法(4)、(5)虽然对低分辨率的行人图像进行了超分辨，实现了部分信息的恢复，当行人图像分辨率过低时，利用超分辨网络进行图像的超分辨效果不佳。

发明内容

针对现有技术存在的缺陷与不足，针对行人图像由于分辨率过低丢失判别性的信息从而导致行人重识别的效果差的问题，本发明提供一种基于超分辨图像生成的低分辨率行人重识别系统和方法，通过联合训练行人属性引导的分辨行人图像生成网络模型和行人重识别网络模型来提高低分辨率行人重识别的效果。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于超分辨图像生成的低分辨率行人重识别系统，包括行人属性引导的超分辨图像生成网络模型和行人重识别网络模型，

所述行人属性引导的超分辨图像生成网络模型包括生成器和判别器，生成器包括第一生成器G_h→l和第二生成器G_l→h，判别器包括第一判别器D_h→l，第二判别器D_l→h；

所述第一生成器G_h→l用于将高分辨率图像生成低分辨率图像，第二生成器G_l→h用于将低分辨率图像和行人属性向量生成高分辨率图像；

所述第一判别器D_h→l用于判定低分辨率图像的真假，第二判别器D_l→h用于判定高分辨率图像以及属性的真假；

所述行人属性引导的超分辨图像生成网络模型训练后生成超分辨率行人图像；

所述行人重识别网络模型包括行人重识别网络和分类器，所述行人重识别网络用于提取图像中的行人特征，所述分类器用于将超分辨行人图像和高分辨率的行人图像中的真实行人身份区别。

作为优选的技术方案，所述行人属性引导的超分辨图像生成网络模型的生成器采用条件循环对抗生成网络中的生成器，判别器采用条件循环对抗生成网络中的判别器。

作为优选的技术方案，所述行人重识别网络采用残差卷积神经网络ResNet-50。

本发明还提供一种基于超分辨图像生成的低分辨率行人重识别方法，包括下述步骤：

S1：选取高分辨率行人图像样本h、低分辨率行人图像样本l，选取与行人图像对应的行人属性向量z、与行人图像不对应的行人属性向量

S2：训练行人属性引导的超分辨率图像生成网络模型：

采用条件循环对抗生成网络构建超分辨率图像生成网络，高分辨率图像h经过第一生成器G_h→l生成低分辨率图像低分辨率图像与行人属性向量经过第二生成器G_l→h得到重建的高分辨率图像

低分辨率图像l与行人属性向量经过第二生成器G_l→h生成高分辨率图像经过第一生成器G_h→l得到重建的低分辨率行人图像

低分辨率图像l和生成的低分辨率图像经过第一判别器D_h→l得到判定为真实低分辨率图像的概率分别为：ρ_r＝D_h→l(l)和

高分辨率图像h和行人属性向量z经过第二判别器D_l→h得到概率值：

s_r＝D_l→h(h,z)；

生成的高分辨率图像和行人属性向量z进行通道拼接后，经过第二判别器D_l→h得到概率值：

高分辨率图像h和与图像不相符的行人属性向量经过第二判别器D_l→h得到概率值：

第一判别器D_h→l的损失函数为：

第二判别器D_l→h的损失函数为：

根据对抗生成网络构建判别器损失函数L_D：

第一生成器G_h→l的损失函数为：

第二生成器G_l→h的损失函数为：

循环对抗生成网络的重构损失函数L_c为：

其中，λ₁、λ₂为损失函数的权重值；

根据循环对抗生成网络的重构损失函数L_c构建生成器损失函数L_G：

交替迭代更新超分辨率图像生成网络模型参数，输出超分辨行人图像；

S3：训练行人重识别网络模型：

采用超分辨行人图像和高分辨率的行人图像输入行人重识别网络，行人重识别网络采用残差卷积神经网络结构提取图像中的行人特征，分类器将超分辨行人图像和高分辨率的行人图像中的真实行人特征区分；

S4：联合训练超分辨图像生成网络模型和行人重识别网络模型：

行人重识别网络训练中的参数回传到超分辨图像生成网络模型，更新超分辨图像生成网络参数，采用交替迭代更新参数，先更新判别器的参数，同时更新生成器和行人重识别网络的参数；

S5：选取低分辨率行人图像测试集、高分辨率行人图像测试集，低分辨率行人图像测试集与对应的行人属性向量z输入到联合训练后的超分辨率图像生成网络，生成高分辨率行人图像，

生成的高分辨率图像与高分辨率行人图像测试集分别通过联合训练后的行人重识别模型提取行人图像特征；

S6：计算行人图像特征的余弦相似度，余弦相似度越大的行人图像的相似程度越低，根据相似程度得到不同分辨率的行人图像匹配的结果。

作为优选的技术方案，步骤S2所述训练行人属性引导的超分辨率图像生成网络模型，具体图像生成步骤如下所述：

高分辨率图像h经过第一生成器G_h→l生成低分辨率图像低分辨率图像经过双立方插值放大，与复制后的行人属性向量进行通道拼接，经过第二生成器G_l→h得到重建的高分辨率图像

低分辨率图像l经过双立方插值放大，与复制后的行人属性向量进行通道拼接，经过第二生成器G_l→h生成高分辨率图像经过第一生成器G_h→l得到重建的低分辨率行人图像

作为优选的技术方案，所述交替迭代的更新方式具体步骤为：

采用链式法则计算损失函数对第一判别器D_h→l中所有参数的梯度，采用随机梯度下降算法更新第一判别器D_h→l中所有参数；

采用链式法则计算损失函数对第二判别器D_l→h中所有参数的梯度，采用随机梯度下降算法更新第二判别器D_l→h中所有参数；

采用链式法则计算损失函数L_G对第一生成器G_h→l和第二生成器G_l→h中所有参数的梯度，采用随机梯度下降算法更新第一生成器G_h→l和第二生成器G_l→h中所有参数。

作为优选的技术方案，步骤S3所述训练行人重识别网络模型的具体步骤如下所述：

训练好行人属性引导的超分辨图像生成网络之后，将低分辨率行人图像l以及相应的行人属性z通过训练好的生成器G_l→h得到超分辨行人图像利用超分辨行人图像和高分辨率的行人图像h训练行人重识别网络D_reid，训练后行人重识别网络D_reid输出分别为：

f＝D_reid(h)；

其中，f和分别为高分辨率图像h和超分辨行人图像的特征

将行人特征f和输入到分类器C中，得到和行人类别相关的得分向量r和

r＝C(f)＝[r₁,r₂,…,r_m,…,r_M]∈R^M；

其中，M为行人类别的数量，R^M表示r和为实数域维度为M的向量，

r_m表示行人高分辨率图像h的特征f属于第m类行人的得分，表示超分辨行人图像的特征属于第m类行人的得分；

将得分通过指数函数再进行归一化得到预测高分辨率的行人图像h为第m类行人的概率为：

预测超分辨行人图像为第m类行人的概率为：

使用交叉熵损失函数作为行人重识别网络损失函数L_reid：

其中，y为高分辨率的行人图像h、超分辨行人图像的真实的行人身份标签。

作为优选的技术方案，步骤S4所述联合训练超分辨图像生成网络模型和行人重识别网络模型，具体步骤如下所述：

超分辨图像生成网络判别器的损失函数L_D保持不变；

超分辨行人图像部分的行人重识别的损失函数回传到超分辨生成网络模型，更新超分辨网络模型的参数；

构建联合训练过程中的生成器损失函数L_G2为：

其中，表示第一生成器G_h→l的损失函数，表示第二生成器G_l→h的损失函数；L_c表示循环对抗生成网络的重构损失函数；表示超分辨行人图像的特征属于第m类行人的得分；表示预测超分辨行人图像为第m类行人的概率；y为高分辨率的行人图像h、超分辨行人图像的真实的行人身份标签。

作为优选的技术方案，步骤S4中所述采用交替迭代更新参数，具体步骤如下所述：

采用链式法则计算损失函数对第一判别器D_h→l中所有参数的梯度，采用随机梯度下降算法更新第一判别器D_h→l中所有参数；

采用链式法则计算损失函数对第二判别器D_l→h中所有参数的梯度，采用随机梯度下降算法更新第二判别器D_l→h中所有参数；

采用链式法则计算损失函数L_G对第一生成器G_h→l、第二生成器G_l→h、行人重识别网络和分类器中所有参数的梯度，采用随机梯度下降算法同时更新第一生成器G_h→l、第二生成器G_l→h、行人重识别网络和分类器中所有参数。

作为优选的技术方案，步骤S6中所述计算行人图像特征的余弦相似度，余弦相似度的具体计算公式为：

其中，A为行人A的行人特征，B为行人B的行人特征，n表示的是行人特征向量的维度，i表示第i维行人特征，计算得到行人A和行人B的相似程度，结果越大，A和B相似程度越高。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明采用循环对抗生成网络生成低分辨率图像相对应的高分辨率图像，解决由于图像层面上高平细节丢失的而导致识别效果不高的技术问题，并基于行人属性引导超分辨的图像生成，实现低分辨率图像细节恢复。

(2)本发明采用残差卷积神经网络ResNet-50提取行人的特征，联合训练超分辨图像生成网络和提取行人特征进行重识别的网络，扩大网络的容量，能够获得更好的低分辨率行人重识别的效果。

(3)本发明采用了将行人重识别损失函数作为总生成器损失函数组成部分的技术方案，解决了超分辨图像生成网络仅仅生成视觉效果好而识别效果不好的超分辨图像的技术问题，超分辨生成网络可以回复一些具有区分性的行人图像细节，达到了提高低分辨行人重识别识别率的技术效果。

附图说明

图1为本实施例属性引导的超分辨图像生成网络模型的结构示意图；

图2为本实施例低分辨率行人重识别网络训练过程示意图；

图3为本实施例训练行人属性引导的超分辨图像生成网络的图像生成过程示意图；

图4为本实施例训练行人属性引导的超分辨图像生成网络的图像真假判别过程示意图；

图5为本实施例低分辨率行人重识别的测试过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例：

针对低分辨率的行人重识别问题，本实施例提出了一种基于超分辨图像生成的低分辨率行人重识别系统，该系统包括行人属性引导的超分辨图像生成网络模型和行人重识别网络模型，

在本实施例中，行人属性引导的超分辨图像生成网络模型包括生成器和判别器，生成器采用条件循环对抗生成网络中的生成器，判别器采用条件循环对抗生成网络中的判别器；生成器包括第一生成器G_h→l和第二生成器G_l→h，判别器包括第一判别器D_h→l，第二判别器D_l→h；第一生成器G_h→l用于将高分辨率图像生成低分辨率图像，第二生成器G_l→h用于将低分辨率图像和行人属性向量生成高分辨率图像；所述第一判别器D_h→l用于判定低分辨率图像的真假，第二判别器D_l→h用于判定高分辨率图像以及属性的真假；所述行人属性引导的超分辨图像生成网络模型训练后生成超分辨率行人图像。

在本实施例中，行人重识别网络模型包括行人重识别网络和分类器，行人重识别网络采用残差卷积神经网络ResNet-50，用于提取图像中的行人特征，分类器用于将超分辨行人图像和高分辨率的行人图像中的真实行人身份区别。

本实施例还提供一种基于超分辨图像生成的低分辨率行人重识别方法，先训练行人属性引导的超分辨图像生成网络模型，然后得到低分辨率行人图像对应的超分辨行人图像，将高分辨和超分辨行人图像一起训练行人重识别网络，最后联合训练行人属性引导的超分辨图像生成网络模型和行人重识别模型，具体包括下述步骤：

S1：选取高分辨率行人图像样本h、低分辨率行人图像样本l；选取与行人图像对应的行人属性向量z，与行人图像不对应的行人属性向量在本实施例中，行人属性向量z是人工标定的，在行人数据库中选取行人属性的数据；

S2：训练行人属性引导的超分辨率图像生成网络模型：

如图1所示，定义l为具有属性向量z的低分辨率的行人图像样本，行人身份标签为y，h为l与具有相同行人身份标签的高分辨率的行人图像样本，h也同样具有属性向量z，为与行人图像不对应的行人属性向量，本实施例也称为假的行人属性向量。行人属性类型包括是否戴帽子，鞋子颜色深浅，穿短或者长上衣等等，不同的行人数据库标定的行人属性类型不同。

本实施例的目标是利用高低分辨率图像以及行人属性来学习一个超分辨率图像生成网络模型，即输入一个低分辨图像以及对应行人属性能够得到相应的超分辨行人图像。

本实施例采用条件循环对抗生成网络(CycleGAN)来实现行人属性引导的超分辨率图像生成网络模型。生成器包括第一生成器G_h→l和第二生成器G_l→h，判别器包括第一判别器D_h→l，第二判别器D_l→h；第一生成器G_h→l用于将高分辨率图像生成低分辨率图像，第二生成器G_l→h用于将低分辨率图像和行人属性向量生成高分辨率图像；

如图3所示，并结合图1，高分辨率图像h经过第一生成器G_h→l生成低分辨率图像低分辨率图像经过双立方插值放大，与复制后的行人属性向量进行通道拼接，经过第二生成器G_l→h得到重建的高分辨率图像低分辨率图像l经过双立方插值放大，与复制后的行人属性向量进行通道拼接，经过第二生成器G_l→h生成高分辨率图像经过第一生成器G_h→l得到重建的低分辨率行人图像本实施例中的通道拼接具体操作是将图像矩阵和复制行人属性向量得到的行人矩阵直接进行矩阵拼接，拼接的维度是按照RGB通道进行拼接。

在本实施例中，低分辨率图像样本l和生成的低分辨率图像经过第一判别器D_h→l分别得到判定为真实低分辨率图像的概率ρ_r＝D_h→l(l)和第一判别器D_h→l的目标是当输入图像为真实低分辨率图像l时应该判定为真，当输入图像为生成低分辨率图像判定为假。第二判别器D_l→h的输入为高分辨率的图像以及属性，高分辨的行人图像样本h和该行人相应的属性z得到概率值s_r＝D_l→h(h,z)，输入生成高分辨率图像和该行人相应的属性z得到概率值高分辨的行人图像样本h和假的行人属性向量即与图像不相符的属性得到概率值仅仅当输入的图像为真实的高分辨的行人图像样本h并且属性为图像对应的属性向量z时应该判定为真实。根据对抗生成网络(GAN)判别器鉴别图像的真假，构建如下的判别器损失函数L_D：

第一判别器D_h→l的损失函数

第二判别器D_l→h的损失函数为：

根据对抗生成网络构建判别器损失函数L_D为：

在本实施例中，判别器损失函数L_D来表示整个系统的判别损失。其中的来更新判别器D_h→l，用来更新D_l→h，互相不会有影响。

在本实施例中，生成器的目标是生成逼近真实的图像使得判别器无法区分图像的真假，根据循环对抗生成网络(CycleGAN)的重构损失函数L_c，构建如下的生成器损失函数L_G：

第一生成器G_h→l的损失函数为：

第二生成器G_l→h的损失函数为：

循环对抗生成网络的重构损失函数L_c为：

其中，λ₁、λ₂为损失函数的权重值；权重λ₁、λ₂是用来平衡总生成器损失函数L_G里面两个生成器的损失和重构损失比重，如果λ₁、λ₂大的话，则重构损失占得比重比较大，那么总生成器损失函数着重考虑整体的重构效果，较少考虑局部的生成损失；

根据循环对抗生成网络的重构损失函数L_c构建生成器损失函数L_G：

通过优化这个总的生成器损失函数L_G来同时优化第一生成器G_h→l和第二生成器G_l→h；

在本实施例中，训练行人属性引导的超分辨率图像生成网络模型采用交替迭代的更新方式，先优化判别器损失函数，使用梯度下降的方式更新判别器参数，再优化生成器损失函数，使用梯度下降的方式更新生成器参数，具体步骤如下所述：

利用链式法则计算损失函数对第一判别器D_h→l中所有参数的梯度，利用随机梯度下降算法更新第一判别器D_h→l中所有参数；

利用链式法则计算损失函数对第二判别器D_l→h中所有参数的梯度，利用随机梯度下降算法更新第二判别器D_l→h中所有参数；

利用链式法则计算损失函数L_G对第一生成器G_h→l和第二生成器G_l→h中所有参数的梯度，利用随机梯度下降算法更新第一生成器G_h→l和第二生成器G_l→h中所有参数。

如图4所示，高分辨率行人图像样本h与对应的行人属性向量z、高分辨率行人图像样本h与不对应的行人属性向量重建的高分辨行人图像与对应的行人属性向量z分别输入到第二判别器D_l→h，判别高分辨率图像以及行人属性向量的真假；重建的低分辨率行人图像与低分辨率行人图像样本l输入到第一判别器D_h→l，判别低分辨行人图像的真假，具体步骤如下：

先利用双立方插值将32×16的RGB三通道低分辨率图像放大成与高分辨率图像相同的大小256×128，此时低分辨率的图像大小虽然放大到了和高分辨率图像的相同的大小，但是图像很模糊，因此本实施例仍然将放大后的低分辨率图像称为低分辨率图像。在生成网络中，行人属性向量z包含n个行人属性，通过复制的方式变成n×256×128大小的特征图，将放大之后的低分辨图像与复制后的属性拼接起来得到(3+n)×256×128大小的输入，经过生成器G_l→h生成256×128大小的RGB三通道高分辨率行人图像，而256×128大小的高分辨率行人图像直接经过生成器G_h→l生成低分辨率图像。在判别网络中，将高分辨率图像输入到判别器D_l→h的第一个卷积层conv1输出64×128×64的特征图，同样将n个行人属性通过复制的方式变成n×128×64的大小，然后与conv1特征图拼接得到(64+n)×128×64大小的特征图继续输入到后续网络里面。低分辨率直接输入到判别器D_h→l网络中进行判别。本实施例的训练过程的参数，设置重构损失函数中的权重λ₁＝10，λ₂＝10，学习率为0.0002，一个批次为16个样本，训练代数为200代。

S3：训练行人重识别网络；

如图2所示，训练好行人属性引导的超分辨图像生成网络之后，将低分辨率行人图像样本l以及相应的行人属性z通过训练好的生成器G_l→h得到超分辨行人图像利用超分辨行人图像和高分辨率的行人图像样本h一起来训练行人重识别网络D_reid。行人重识别网络采用残差卷积神经网络结构提取图像中的行人特征，分类器将超分辨行人图像和高分辨率的行人图像中的真实行人特征区分；

在本实施例中，训练好行人属性引导的超分辨图像生成网络之后，将低分辨率行人图像l以及相应的行人属性z通过训练好的生成器G_l→h得到超分辨行人图像利用超分辨行人图像和高分辨率的行人图像h训练行人重识别网络D_reid，训练后行人重识别网络D_reid输出分别为：

f＝D_reid(h)；

其中，f和分别为高分辨率图像h和超分辨行人图像的特征

将行人特征f和输入到分类器C中，得到和行人类别相关的得分向量r和

r＝C(f)＝[r₁,r₂,…,r_m,…,r_M]∈R^M

其中，M为行人类别的数量，R^M表示r和为实数域维度为M的向量，行人m是第m个行人，本实施例将行人的身份信息编码为1,2,….,m,…,M,行人m即身份信息为m的行人，r_m表示行人图像h的特征f属于第m个行人(行人的类别为第m类)的得分，表示超分辨行人图像的特征属于第m个行人(行人的类别为第m类)的得分；

将得分通过指数函数再进行归一化得到预测高分辨率的行人图像h为行人m的概率为：

预测超分辨行人图像为行人m的概率为：

使用交叉熵损失函数作为行人重识别网络损失函数L_reid：

其中，y为高分辨率的行人图像h、超分辨行人图像的真实的行人身份标签。

具体地，所有的大小为32×16的低分辨率的行人图像先利用双立方插值成256×128大小，然后通过训练好的生成器G_l→h得到256×128大小的超分辨行人图像，同时所有的高分辨的行人图像都插值成256×128的图像，256×128大小的超分辨行人图像和高分辨的行人图像均作为行人重识别网络的输入。行人重识别网络采用残差卷积神经网络(ResNet-50)结构。用在ImageNet数据库上训练的ResNet-50作为网络的预训练模型，训练过程中的参数，设置学习率为0.01，一个批次为16个样本，训练代数为200代。

S4：联合训练超分辨图像生成网络和行人重识别网络；

为了获取更好的超分辨行人图像，以及更好的行人重识别效果，本实施例提出了联合训练超分辨图像生成网络以及行人重识别的网络。在联合训练的过程中，超分辨图像生成网络判别器的损失函数L_D保持不变。关于超分辨行人图像部分的行人重识别的损失函数也会回传到超分辨生成网络来更新超分辨网络的参数，因此联合训练过程中的生成器损失函数为：

同时，最小化行人重识别损失函数L_reid来优化行人重识别网络。同样采用交替迭代更新的方式，先更新判别器的参数，然后同时更新生成器和行人重识别网络的参数，交替迭代更新的具体步骤为：

采用链式法则计算损失函数对第一判别器D_h→l中所有参数的梯度，采用随机梯度下降算法更新第一判别器D_h→l中所有参数；

采用链式法则计算损失函数对第二判别器D_l→h中所有参数的梯度，采用随机梯度下降算法更新第二判别器D_l→h中所有参数；

采用链式法则计算损失函数L_G对第一生成器G_h→l、第二生成器G_l→h、行人重识别网络D_reid、分类器C中所有参数的梯度，采用随机梯度下降算法同时更新第一生成器G_h→l、第二生成器G_l→h、行人重识别网络、分类器中所有参数。

在本实施例中，具体的训练过程是利用训练好的行人属性引导的超分辨图像生成网络，以及行人重识别网络作为联合训练的初始化，超分辨图像生成网络参数更新的学习率为0.0002，行人重识别网络参数更新的学习率为0.01，一个批次为16个样本，训练代数为100代。

S5：选取低分辨率行人图像测试集、高分辨率行人图像测试集，低分辨率行人图像测试集与对应的行人属性向量z输入到联合训练后的超分辨率图像生成网络，生成高分辨率行人图像，

生成的高分辨率图像与高分辨率行人图像测试集分别通过联合训练后的行人重识别模型进行行人图像特征提取；本实施例利用联合训练里面的行人重识别网络进行行人图像的特征提取，输入行人图像到行人重识别网络，行人重识别网络的输出即为行人图像特征。

S6：计算行人图像特征的余弦相似度，余弦相似度越大的行人图像的相似程度越低，根据相似程度得到不同分辨率的行人图像匹配的结果。

在本实施例中，低分辨率行人重识别的任务是匹配不同分辨率的行人图像，如图5所示，设定查询的行人图像query为32×16的低分辨率行人图像，被查询的行人图像集gallery均为高分辨率的行人图像，都通过插值变成256×128的行人图像。联合训练超分辨图像生成网络和行人重识别网络之后，对于32×16的低分辨行人图像，首先插值成256×128大小，然后利用超分辨图像生成网络模型得到相应的256×128高分辨率的行人图像，然后利用行人重识别网络提取行人特征，而高分辨行人图像直接利用行人重识别网络提取行人图像特征。得到行人的特征之后，计算行人特征的余弦相似度，余弦相似度越大的行人图像的相似程度越低，根据相似程度得到匹配的结果。

在本实施例中，余弦相似度的具体计算公式为：

其中，A为行人A的行人特征，B为行人B的行人特征，n表示的是行人特征向量的维度，i表示第i维行人特征，计算得到行人A和行人B的相似程度，结果越大，A和B相似程度越高。

本实施例针对行人图像由于分辨率过低丢失判别性的信息从而导致行人重识别的效果差的问题，通过联合训练行人属性引导的分辨行人图像生成网络模型和行人重识别网络模型来提高低分辨率行人重识别的效果。具体采用循环对抗生成网络生成低分辨率图像相对应的高分辨率图像，解决由于图像层面上高平细节丢失的而导致识别效果不高的技术问题，并基于行人属性引导超分辨的图像生成，实现低分辨率图像细节恢复；具体采用残差卷积神经网络ResNet-50提取行人的特征，联合训练超分辨图像生成网络和提取行人特征进行重识别的网络，扩大网络的容量，获得了更好的低分辨率行人重识别的效果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于超分辨图像生成的低分辨率行人重识别系统，其特征在于，包括行人属性引导的超分辨图像生成网络模型和行人重识别网络模型，

所述行人属性引导的超分辨图像生成网络模型包括生成器和判别器，生成器包括第一生成器G_h→l和第二生成器G_l→h，判别器包括第一判别器D_h→l，第二判别器D_l→h；

所述第一生成器G_h→l用于将高分辨率图像生成低分辨率图像，第二生成器G_l→h用于将低分辨率图像和行人属性向量生成高分辨率图像；

所述第一判别器D_h→l用于判定低分辨率图像的真假，第二判别器D_l→h用于判定高分辨率图像以及属性的真假；

所述行人属性引导的超分辨图像生成网络模型训练后生成超分辨率行人图像；

所述行人重识别网络模型包括行人重识别网络和分类器，所述行人重识别网络用于提取图像中的行人特征，所述分类器用于将超分辨行人图像和高分辨率的行人图像中的真实行人身份区别。

2.根据权利要求1所述的基于超分辨图像生成的低分辨率行人重识别系统，其特征在于，所述行人属性引导的超分辨图像生成网络模型的生成器采用条件循环对抗生成网络中的生成器，判别器采用条件循环对抗生成网络中的判别器。

3.根据权利要求1所述的基于超分辨图像生成的低分辨率行人重识别系统，其特征在于，所述行人重识别网络采用残差卷积神经网络ResNet-50。

4.一种基于超分辨图像生成的低分辨率行人重识别方法，其特征在于，包括下述步骤：

S1：选取高分辨率行人图像样本h、低分辨率行人图像样本l，选取与行人图像对应的行人属性向量z、与行人图像不对应的行人属性向量

S2：训练行人属性引导的超分辨率图像生成网络模型：

采用条件循环对抗生成网络构建超分辨率图像生成网络，高分辨率图像h经过第一生成器G_h→l生成低分辨率图像低分辨率图像与行人属性向量经过第二生成器G_l→h得到重建的高分辨率图像

低分辨率图像l与行人属性向量经过第二生成器G_l→h生成高分辨率图像经过第一生成器G_h→l得到重建的低分辨率行人图像

低分辨率图像l和生成的低分辨率图像经过第一判别器D_h→l得到判定为真实低分辨率图像的概率分别为：ρ_r＝D_h→l(l)和

高分辨率图像h和行人属性向量z经过第二判别器D_l→h得到概率值：

s_r＝D_l→h(h，z)；

生成的高分辨率图像和行人属性向量z进行通道拼接后，经过第二判别器D_l→h得到概率值：

高分辨率图像h和与图像不相符的行人属性向量经过第二判别器D_l→h得到概率值：

第一判别器D_h→l的损失函数为：

第二判别器D_l→h的损失函数为：

根据对抗生成网络构建判别器损失函数L_D：

第一生成器G_h→l的损失函数为：

第二生成器G_l→h的损失函数为：

循环对抗生成网络的重构损失函数L_c为：

其中，λ₁、λ₂为损失函数的权重值；

根据循环对抗生成网络的重构损失函数L_c构建生成器损失函数L_G：

交替迭代更新超分辨率图像生成网络模型参数，输出超分辨行人图像；

S3：训练行人重识别网络模型：

采用超分辨行人图像和高分辨率的行人图像输入行人重识别网络，行人重识别网络采用残差卷积神经网络结构提取图像中的行人特征，分类器将超分辨行人图像和高分辨率的行人图像中的真实行人特征区分；

S4：联合训练超分辨图像生成网络模型和行人重识别网络模型：

行人重识别网络训练中的参数回传到超分辨图像生成网络模型，更新超分辨图像生成网络参数，采用交替迭代更新参数，先更新判别器的参数，同时更新生成器和行人重识别网络的参数；

S5：选取低分辨率行人图像测试集、高分辨率行人图像测试集，低分辨率行人图像测试集与对应的行人属性向量z输入到联合训练后的超分辨率图像生成网络，生成高分辨率行人图像，

生成的高分辨率图像与高分辨率行人图像测试集分别通过联合训练后的行人重识别模型提取行人图像特征；

S6：计算行人图像特征的余弦相似度，余弦相似度越大的行人图像的相似程度越低，根据相似程度得到不同分辨率的行人图像匹配的结果。

5.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法，其特征在于，步骤S2所述训练行人属性引导的超分辨率图像生成网络模型，具体图像生成步骤如下所述：

高分辨率图像h经过第一生成器G_h→l生成低分辨率图像低分辨率图像经过双立方插值放大，与复制后的行人属性向量进行通道拼接，经过第二生成器G_l→h得到重建的高分辨率图像

低分辨率图像l经过双立方插值放大，与复制后的行人属性向量进行通道拼接，经过第二生成器G_l→h生成高分辨率图像经过第一生成器G_h→l得到重建的低分辨率行人图像

6.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法，其特征在于，所述交替迭代的更新方式具体步骤为：

采用链式法则计算损失函数对第一判别器D_h→l中所有参数的梯度，采用随机梯度下降算法更新第一判别器D_h→l中所有参数；

采用链式法则计算损失函数对第二判别器D_l→h中所有参数的梯度，采用随机梯度下降算法更新第二判别器D_l→h中所有参数；

采用链式法则计算损失函数L_G对第一生成器G_h→l和第二生成器G_l→h中所有参数的梯度，采用随机梯度下降算法更新第一生成器G_h→l和第二生成器G_l→h中所有参数。

7.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法，其特征在于，步骤S3所述训练行人重识别网络模型的具体步骤如下所述：

训练好行人属性引导的超分辨图像生成网络之后，将低分辨率行人图像l以及相应的行人属性z通过训练好的生成器G_l→h得到超分辨行人图像利用超分辨行人图像和高分辨率的行人图像h训练行人重识别网络D_reid，训练后行人重识别网络D_reid输出分别为：

f＝D_reid(h)；

其中，f和分别为高分辨率图像h和超分辨行人图像的特征

将行人特征f和输入到分类器C中，得到和行人类别相关的得分向量r和

r＝C(f)＝[r₁，r₂，...，r_m，...，r_M]∈R^M；

其中，M为行人类别的数量，R^M表示r和为实数域维度为M的向量，

r_m表示行人高分辨率图像h的特征f属于第m类行人的得分，表示超分辨行人图像的特征属于第m类行人的得分；

将得分通过指数函数再进行归一化得到预测高分辨率的行人图像h为第m类行人的概率为：

预测超分辨行人图像为第m类行人的概率为：

使用交叉熵损失函数作为行人重识别网络损失函数L_reid：

其中，y为高分辨率的行人图像h、超分辨行人图像的真实的行人身份标签。

8.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法，其特征在于，步骤S4所述联合训练超分辨图像生成网络模型和行人重识别网络模型，具体步骤如下所述：

超分辨图像生成网络判别器的损失函数L_D保持不变；

超分辨行人图像部分的行人重识别的损失函数回传到超分辨生成网络模型，更新超分辨网络模型的参数；

构建联合训练过程中的生成器损失函数L_G2为：

其中，表示第一生成器G_h→l的损失函数，表示第二生成器G_l→h的损失函数；L_c表示循环对抗生成网络的重构损失函数；表示超分辨行人图像的特征属于第m类行人的得分；表示预测超分辨行人图像为第m类行人的概率；y为高分辨率的行人图像h、超分辨行人图像的真实的行人身份标签。

9.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法，其特征在于，步骤S4中所述采用交替迭代更新参数，具体步骤如下所述：

采用链式法则计算损失函数对第一判别器D_h→l中所有参数的梯度，采用随机梯度下降算法更新第一判别器D_h→l中所有参数；

采用链式法则计算损失函数对第二判别器D_l→h中所有参数的梯度，采用随机梯度下降算法更新第二判别器D_l→h中所有参数；

采用链式法则计算损失函数L_G对第一生成器G_h→l、第二生成器G_l→h、行人重识别网络和分类器中所有参数的梯度，采用随机梯度下降算法同时更新第一生成器G_h→l、第二生成器G_l→h、行人重识别网络和分类器中所有参数。

10.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法，其特征在于，步骤S6中所述计算行人图像特征的余弦相似度，余弦相似度的具体计算公式为：

其中，A为行人A的行人特征，B为行人B的行人特征，n表示的是行人特征向量的维度，i表示第i维行人特征，计算得到行人A和行人B的相似程度，结果越大，A和B相似程度越高。