CN112215119A - 一种基于超分辨率重建的小目标识别方法、装置及介质 - Google Patents

Abstract

本发明公开了一种基于超分辨率重建的小目标识别方法、装置及介质，方法包括：构建包括生成器和判别器的识别模型；以低分辨率图像作为生成器的输入，以超分辨率图像作为生成器的输出，以真实高分辨率图像或超分辨率图像作为判别器的输入，以判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出，结合生成器损失函数和判别器损失函数，训练识别模型；基于粒子群算法，选择训练好的模型在验证样本集上的F1分数作为适应度函数值，以最大的F1分数对应的β值作为最优权重系数，由此确定最优识别模型，并基于最优识别模型进行小目标识别。如此，能够有效提升模型对小目标的识别性能。

Description

一种基于超分辨率重建的小目标识别方法、装置及介质

技术领域

本发明涉及目标识别技术领域，更具体地，涉及一种基于超分辨率重建的小目标识别方法、装置及介质。

背景技术

现实生活中，随着电子设备的应用在社会生产和人们生活中越来越普遍，每时每刻都在产生海量的图像数据，各类摄像头采集的图像数据中存在着许许多多的小目标，例如利用无人机拍摄的一些地面小目标、医疗图像中一些小尺寸的病变部位，监控摄像头拍摄的较远的行人车辆等小目标。因此，对小目标进行精确识别对于分析和处理这些图像数据显得非常重要，并且小目标识别技术在医疗图像分析、安防系统、视频监控与跟踪、自动驾驶等领域也有着非常重要的价值，而基于深度学习的小目标识别问题是计算机视觉领域较难解决的一类问题。相比常规尺寸的目标，小目标通常只有几个或者几十个像素，并且存在分辨率低，携带的图像信息很少等问题，因此导致小目标的特征表达能力弱，识别起来更加困难。

图像超分辨率重建是指将低分辨率图像转为超分辨率图像的一种图像复原技术，它在深度学习领域也得到了全世界范围内的积极探索，并在超分辨率评价指标上达到了非常优异的性能。在现实生活中，图像超分辨率重建有着非常广泛的实际应用，例如医学成像、安防等方面，它不仅能帮助提升图像感知质量，也有助于改善其它的计算机视觉任务。由于图像超分辨率重建本身就是一种不适定问题，单一的低分辨率图像可能恢复出多个不同的超分辨率图像。因此，如何从低质量的低分辨率图像恢复出超分辨率图像，尤其是能提高识别性能的超分辨率图像，这是个非常具有挑战性和实际应用价值的问题。

目标识别的任务就是给定一个目标，正确给出该目标所对应的类别。目标识别算法根据目标的语义信息对不同类别的目标进行区分，近几年深度学习发展迅猛，国内外也迎来了这一技术的研究热潮，深度学习的优势在于它做到了直接从大型数据集中自动学习复杂且有用的特征，可以利用复杂的神经网络学习并自动提取各种层次的特征，大幅度地提升了目标识别算法的准确率。对于尺寸较大的目标识别任务而言，VGG，ResNet,DenseNet等深度网络的识别性能较好，而对于尺寸较小的目标识别任务而言，由于小目标只有几十个或者更少的像素信息，小目标存在着分辨率低、图像模糊、携带的信息少等缺点，直接使用VGG，ResNet,DenseNet等深度网络会导致对小目标的特征表达能力较弱，很难与背景或者其它相似的目标进行区分。

发明内容

针对现有技术的缺陷和改进需求，本发明提供一种基于超分辨率重建的小目标识别方法、装置及介质，用以解决现有目标识别器存在的在小目标识别问题上性能差的技术问题。

为实现上述目的，本发明提供了一种基于超分辨率重建的小目标识别方法，包括以下步骤：S1、构建包括生成器和判别器的识别模型；S2、以低分辨率图像作为所述生成器的输入，以超分辨率图像作为所述生成器的输出，以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入，以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出，结合生成器损失函数和判别器损失函数，训练所述识别模型；其中，所述生成器损失函数L_G表示为：L_G＝L_MSE+0.006×L_VGG+0.001×L_ADV+β×L_CLS，其中，L_MSE、L_VGG、L_ADV、L_CLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失，β为所述目标识别损失L_CLS的权重系数；所述判别器损失函数L_D表示为：L_D＝L_D-SR+L_D-Cls，其中，L_D-SR、L_D-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失；S3、基于粒子群算法，选择训练好的模型在验证样本集上的F1分数作为适应度函数值，以最大的F1分数对应的β值作为最优权重系数，由此确定最优识别模型，并基于所述最优识别模型进行小目标识别。

进一步地，还包括：在所述生成器的后端加入新增特征层，所述新增特征层的输入是所述生成器生成的图像，输出是所述低分辨率图像经过双三次插值后的图像和真实高分辨率图像之间的残差；以所述经过双三次插值后的图像加上新增特征层学习到的残差，作为所述超分辨率图像。

进一步地，所述判别器的后端为两个并行的全连接层，分别用于判断输入图像是超分辨率图像还是真实高分辨率图像以及输出小目标的识别结果。

进一步地，所述像素均方误差损失L_MSE为超分辨率图像与真实高分辨率图像之间对应像素差的平方和的均值；所述VGG特征匹配损失L_VGG为基于VGG19网络，对超分辨率图像和真实高分辨率图像逐点求取欧氏距离的平方和的均值；所述对抗损失

其中，N表示每次迭代训练时样本的个数，D_θ表示判别器网络，其中θ表示判别器的网络参数，

表示第i个样本经过生成器网络生成的超分辨率图像，

表示

属于真实高分辨率图像的概率值；所述目标识别损失

其中，N表示每次迭代训练时样本的个数，D_cls表示判别器的目标识别分支，

表示输入给生成器的低分辨率图像，

表示真实高分辨率图像，

表示第i个超分辨率重建样本经过判别器的目标识别分支输出的结果，y_i表示目标的标签。

进一步地，所述步骤S2还包括：设置优化器为Adam优化器，初始化初始学习率、一阶矩估计的指数衰减率、二阶矩估计的指数衰减率、权重衰减倍数、单次训练用的样本数、权重系数β的解空间范围、学习因子c₁和c₂、粒子群数量、初始惯性权值、迭代至最大进化代数时的惯性权值、粒子群算法的最大迭代次数、每个β值下网络训练的epoch数量。

本发明另一方面提供了一种基于超分辨率重建的小目标识别装置，包括：

模型构建模块，用于构建包括生成器和判别器的识别模型；

模型训练模块，用于以低分辨率图像作为所述生成器的输入，以超分辨率图像作为所述生成器的输出，以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入，以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出；结合生成器损失函数和判别器损失函数，训练所述识别模型；其中，所述生成器损失函数L_G表示为：L_G＝L_MSE+0.006×L_VGG+0.001×L_ADV+β×L_CLS，其中，L_MSE、L_VGG、L_ADV、L_CLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失，β为所述目标识别损失L_CLS的权重系数；所述判别器损失函数L_D表示为：L_D＝L_D-SR+L_D-Cls，其中，L_D-SR、L_D-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失；

小目标识别模块，用于基于粒子群算法，选择训练好的模型在验证样本集上的F1分数作为适应度函数值，以最大的F1分数对应的β值作为最优权重系数，由此确定最优识别模型，并基于所述最优识别模型进行小目标识别。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于超分辨率重建的小目标识别方法的步骤。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明通过构建包括生成器和判别器的识别模型；对生成器以及判别器的网络参数进行初始化，结合生成器损失函数和判别器损失函数，训练识别模型；基于粒子群算法，选择训练好的模型在验证样本集上的F1分数作为适应度函数值，以最大的F1分数对应的β值作为最优权重系数。如此，本发明在SRGAN的基础上提出了一种集成了小目标超分辨率重建、小目标识别的多任务深度网络框架，该框架包含生成器和判别器，通过引入更具针对性的损失函数，并采用粒子群算法对损失函数中的权重系数进行寻优，有效地提升了模型对于小目标的识别性能。

(2)本发明引入了残差学习的思想，摈弃了SRGAN中直接学习超分辨率图像的思路，转而学习超分辨率图像和低分辨率图像之间的残差，缓解了SRGAN训练困难的问题；另一方面，本发明在VDSR生成器的后端加入新增特征层，新增特征层的输入是VDSR生成的图像，输出是双三次插值和真实高分辨率图像之间的残差，然后通过“短路连接”使双三次插值的结果加上网络学习到的残差，最终得到超分辨率图像SR，即最终恢复的图像；如此，加深了网络深度，使得生成器对于小目标的特征提取更加充分，帮助生成器恢复更清晰、细节信息更丰富、更便于识别的超分辨率图像。

(3)本发明以SRGAN的判别器为基础，保留了其特征提取部分，然后增加了两个并行的全连接层，分别用于判断输入图像是超分辨率图像还是真实高分辨率图像以及输出小目标的识别结果，其中，超分辨率重建分支与目标识别分支共享了所有公共的卷积层，即共享了特征提取部分的网络参数。由此大大地减少了网络的参数量，减少资源的消耗，使得网络的训练过程更加高效。

(4)本发明通过在L_M-SRRENet-G中引入像素均方误差损失、VGG特征匹配损失、对抗损失以及目标识别损失，使得生成器在学习的过程中，每一次的迭代更新都受上述四种损失的约束，有利于生成器恢复更清晰、细节信息更丰富、更便于识别的超分辨率图像；通过在L_M-SRRENet-D中引入L_D-SR以及L_D-Cls，使得判别器在学习的过程中，每一次的迭代更新都受L_D-SR和L_D-Cls的约束，帮助判别器既能对超分辨率图像还是真实高分辨率图像进行判断，也能对小目标类型进行判断。

(5)本发明采用粒子群算法对权重系数β进行寻优，避免了参数的随机选择而带来的识别性能不确定性，进一步有效地提升了模型对于小目标的识别性能。

(6)本发明在多任务深度网络框架M-SRRENet的生成器以及判别器中，既包含卷积操作，也包含BN操作。通过引入一系列的BN操作，使得网络中每层输入数据的分布相对稳定，加速模型学习速度；使得模型对网络中的参数不那么敏感，简化调参过程，使得网络学习更加稳定；缓解梯度消失问题；在一定程度上能起到正则化的效果，帮助模型获得更优的泛化效果。

附图说明

图1为本发明实施例提供的一种基于超分辨率重建的小目标识别方法的流程框图；

图2为本发明实施例提供的生成器网络结构示意图；

图3为本发明实施例提供的判别器网络结构示意图；

图4为本发明实施例提供的权重系数β的寻优流程框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

一种基于超分辨率重建的小目标识别方法，如图1所示，包括：

S1、构建包括生成器和判别器的识别模型；

S2、以低分辨率图像作为所述生成器的输入，以超分辨率图像作为所述生成器的输出，以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入，以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出；结合生成器损失函数和判别器损失函数，训练所述识别模型；其中，所述生成器损失函数L_G表示为：L_G＝L_MSE+0.006×L_VGG+0.001×L_ADV+β×L_CLS，其中，L_MSE、L_VGG、L_ADV、L_CLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失，β为所述目标识别损失L_CLS的权重系数；所述判别器损失函数L_D表示为：L_D＝L_D-SR+L_D-Cls，其中，L_D-SR、L_D-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失；

S3、基于粒子群算法，选择训练好的模型在验证样本集上的F1分数作为适应度函数值，以最大的F1分数对应的β值作为最优权重系数，由此确定最优识别模型，并基于所述最优识别模型进行小目标识别。

本实施例在SRGAN的基础上提出了一种集成了小目标超分辨率重建、小目标识别的多任务深度网络框架M-SRRENet，该框架包含生成器和判别器。对于生成器而言，如图2所示，本实施例一方面引入了残差学习的思想，摈弃了SRGAN中直接学习超分辨率图像的思路，转而学习超分辨率图像和低分辨率图像之间的残差，缓解了SRGAN训练困难的问题；另一方面，M-SRRENet在生成器当中增加了额外的特征层，加深了网络深度，使得生成器对于小目标的特征提取更加充分，帮助生成器恢复更清晰、细节信息更丰富、更便于识别的超分辨率图像。具体来说是在VDSR生成器的后端加入新增特征层，新增特征层的输入是VDSR生成的图像，输出是双三次插值和真实高分辨率图像之间的残差，然后通过“短路连接”使双三次插值的结果加上网络学习到的残差，最终得到超分辨率图像SR，即最终恢复的图像。对于判别器而言，如图3所示，本实施例以SRGAN的判别器为基础，保留了其特征提取部分，然后增加了两个并行的全连接层，分别用于判断输入图像是超分辨率图像还是真实高分辨率图像以及输出小目标的识别结果。本实施例通过将小目标超分辨率重建任务以及小目标识别任务进行集成，有效地提升了对于小目标的识别性能。

优选的，通过向所述生成器输入模糊、信息量少的低分辨率图像，获得更清晰、目标信息更丰富、更便于小目标识别的超分辨率图像；通过向所述判别器输入由所述生成器生成的超分辨率图像或者真实高分辨率图像，获得两个分支：超分辨率重建分支给出输入图像属于真实高分辨率图像的概率，目标识别分支给出小目标的识别结果。

需要说明的是，图2、图3中的block1、block2...block18为一系列的组合操作，具体为：block1表示卷积+ReLU激活操作、block2表示18次卷积+ReLU激活操作、block3表示卷积操作、block4表示卷积+BN+LeakyReLU激活操作、block5表示12次卷积+BN+LeakyReLU激活操作、block6表示卷积+BN+LeakyReLU激活操作、block7表示卷积+BN+LeakyReLU激活操作、block8表示卷积操作、block9表示卷积+LeakyReLU激活操作、block10～block16表示卷积+BN+LeakyReLU激活操作、block17和block18表示全连接层+sigmoid激活操作。

优选的，所有卷积操作的卷积核都为3*3，padding都为1。

在所述多任务深度网络框架M-SRRENet的判别器中，超分辨率重建分支与目标识别分支共享了所有公共的卷积层，即：共享了特征提取部分的网络参数。由此大大地较少了网络的参数量，减少资源的消耗，使得网络的训练过程更加高效。

优选的，所述判别器的超分辨率重建分支以及目标识别分支都采用sigmoid激活函数，每个分支都得到0-1之间的概率值，分别表示属于真实高分辨率图像的概率值以及属于目标识别结果的置信度值。

本实施例进一步提出了一种损失函数MTG-Loss，具体的，MTG-Loss包含指导生成器训练的损失函数L_M-SRRENet-G，以及指导判别器训练的损失函数L_M-SRRENet-D。所述损失函数L_M-SRRENet-G具体为：L_M-SRRENet-G＝L_MSE+0.006×L_VGG+0.001×L_ADV+β×L_CLS，其中，L_MSE为像素均方误差损失、L_VGG为VGG特征匹配损失、L_ADV为对抗损失、L_CLS为目标识别损失，β为权重系数值；所述损失函数L_M-SRRENet-D具体为：L_M-SRRENet-D＝L_D-SR+L_D-Cls，其中，L_D-SR为用于判断输入图像是真实图像还是超分图像的损失、L_D-Cls为用于判断输入小目标类型的损失，其与L_CLS相同，均采用二分类交叉熵损失。

通过在L_M-SRRENet-G中引入像素均方误差损失、VGG特征匹配损失、对抗损失以及目标识别损失，使得生成器在学习的过程中，每一次的迭代更新都受上述四种损失的约束，有利于生成器恢复更清晰、细节信息更丰富、更便于识别的超分辨率图像；通过在L_M-SRRENet-D中引入L_D-SR以及L_D-Cls，使得判别器在学习的过程中，每一次的迭代更新都受L_D-SR和L_D-Cls的约束，帮助判别器既能对超分辨率图像还是真实高分辨率图像进行判断，也能对小目标类型进行判断。

优选的，VGG特征匹配损失L_VGG以及对抗损失L_ADV都可以有效地帮助生成器学习图像高频细节更丰富的超分辨率图像。

优选的，所述目标识别损失L_CLS和L_D-Cls为二分类的交叉熵损失。

具体的，像素均方误差损失L_MSE为超分辨率图像与真实高分辨率图像之间对应像素差的平方和的均值；

VGG特征匹配损失L_VGG是基于预训练的VGG19模型来定义的，具体为：先根据VGG19网络分别提取超分辨率图像和真实高分辨率图像的特征图，然后对真实高分辨率图像I^HR和超分辨率图像

逐点求取欧氏距离的平方和，然后求该平方和的均值；公式为：

指的是通过第i个最大池化层前的第j个卷积层(在激活函数之后)得到的特征图，W_i,j和H_i,j分别表示VGG网络中特征图的两个维度。

对抗损失

其中，N表示每次迭代训练时样本的个数，D_θ表示判别器网络，θ表示判别器的网络参数，

表示第i个样本经过生成器网络生成的超分辨率图像，

表示

属于真实高分辨率图像的概率；

目标识别损失

其中，N表示每次迭代训练时样本的个数，D_cls表示M-SRRENet的判别器的目标识别分支，

表示输入给生成器的低分辨率图像，

表示真实高分辨率图像，

表示第i个超分辨率重建样本经过该判别器的目标识别分支输出的结果，它是一个范围为0-1之间的置信度值，而y_i表示目标的标签，在这里正样本用1表示，负样本用0表示。

进一步地，本实施例采用粒子群算法对权重系数β进行寻优，权重系数β的寻优框架如图4所示，具体包括以下步骤：初始化、更新粒子的速度和位置、根据适应度函数，评估粒子的适应度函数值、判断算法迭代是否结束。粒子群算法从随机解出发，通过迭代寻找最优解，并且通过适应度函数来评价解的品质，由此来获得在解空间范围里最优的权重系数值。本实施例通过采用粒子群算法对权重系数β进行寻优，避免了参数的随机选择而带来的识别性能不确定性，进一步有效地提升了模型对于小目标的识别性能。

优选的，为了找到全局最优的β值，本实施例采用的适应度函数的定义为：给定β值，构造具体的损失函数，保证其他实验参数不变的条件下训练M-SRRENet模型，计算此模型在同一个测试集下的F1分数，以该F1分数作为此时的适应度函数值。

优选的，每次迭代过程中，需要根据PSO算法的迭代公式更新每个粒子的的速度和位置，速度v和位置β的更新公式如下：

v＝w×v+c₁×rand×(pbest-β)+c₂×rand×(gbest-β)

β＝β+v

其中，v表示粒子的速度；β表示粒子的位置，即本文需要求的权重系数值；w表示惯性因子，在实际训练过程中，w采用线性递减权值策略进行更新；c₁和c₂是学习因子，为常数；rand表示0-1之间的随机数；pbest表示某个粒子的当前最优位置；gbest表示群体的全局最优位置。

优选的，更新粒子的速度和位置时，如果更新之后的值不在解空间范围，需要进行合法性调整，使其仍处于解空间范围。

在所述多任务深度网络框架M-SRRENet的生成器以及判别器中，既包含卷积操作，也包含BN操作。通过引入一系列的BN操作，使得网络中每层输入数据的分布相对稳定，加速模型学习速度；使得模型对网络中的参数不那么敏感，简化调参过程，使得网络学习更加稳定；缓解梯度消失问题；在一定程度上能起到正则化的效果，帮助模型获得更优的泛化效果。

优选的，迭代训练，具体为：

步骤11、对所述生成器以及判别器进行网络参数初始化；

步骤21、对学习率、优化器、粒子个数等实验参数进行相应的设置；

步骤31、在训练样本集、损失函数L_M-SRRENet-G、L_M-SRRENet-D、步骤11以及步骤21的基础上，进行网络的迭代训练，具体来说是交替训练所述生成器与判别器，其中生成器的输入为所述训练样本集中的低分辨率图像，判别器的输入为真实高分辨率图像或由生成器生成的超分辨率图像。

步骤41、采用粒子群算法对权重系数寻优的过程包含在所述迭代训练的过程中，对于每一个β值而言，选择训练好的模型在验证集上的F1分数作为适应度函数值，最后以最大的F1分数对应的β值作为本文所选择的权重系数值，同时以该β值下训练好的模型作为本发明最终选用的识别模型。

为了验证本实施例方法得到的识别器对小目标的识别结果，本实施例基于无人机数据集和DOTA数据集来构建用于小目标识别的数据集。并分别以无人机目标与背景的二分类、汽车目标与舰船目标的二分类为例，数据集的详细内容如表1所示。

表1数据集详情表

需要说明的是，上表中，训练集既包含低分辨率正、负样本，也包含高分辨率正、负样本。而验证集和测试集只包含低分辨率正、负样本。在测试集上进行识别算法的性能评估。

数据集准备好之后，需要进行模型训练和测试，具体过程如下：

对于Re_ub、Re_vs而言，利用训练集训练M-SRRENet中的网络参数，利用验证集比较不同网络参数下M-SRRENet的性能，而利用测试集对训练完成的M-SRRENet进行客观的性能评估以及对比。在网络的训练过程中，本发明使用Adam优化器，初始学习率设置为0.0001，一阶矩估计的指数衰减率设置为0.9，二阶矩估计的指数衰减率设置为0.999，权重衰减倍数设置为0.001，单次训练用的样本数设置为64，权重系数β的解空间范围为[0.01,1]，学习因子c₁和c₂均设置为2，粒子群数量设置为3，初始惯性权值设置为0.9，迭代至最大进化代数时的惯性权值设置为0.4，粒子群算法的最大迭代次数设置为100，而每个β值下网络训练的epoch数量设置为120。

使用训练好的网络对Re_ub、Re_vs测试集分别进行测试，同时使用其他几种深度学习目标识别方法对测试集进行测试，计算测试集上的AUC值，实验结果如表2所示。

表2采用各识别方法获得的AUC值对比表

由表2中的实验结果可以看出，对于AUC值的结果分析来看：在Re_ub上，VGG16的AUC值为0.921960，VGG19的AUC值为0.936725，ResNet50的AUC值为0.925727，ResNet101的AUC值为0.926003，DenseNet40的AUC值为0.959354，DenseNet100的AUC值为0.966098，而本实施例提出的M-SRRENet的AUC值达到了最高的0.985433，比次优的DenseNet100高出0.019335；在Re_vs上，VGG16的AUC值为0.937742，VGG19的AUC值为0.929416，ResNet50的AUC值为0.890069，ResNet101的AUC值为0.882721，DenseNet40的AUC值为0.965732，DenseNet100的AUC值为0.968881，而本实施例提出的M-SRRENet的AUC值达到了最高的0.983143，比次优的DenseNet100高出0.014262，所以M-SRRENet在ROC曲线上也达到了最优的识别性能。

从以上的分析可以得出结论：在无人机目标与背景的二分类、汽车目标和舰船目标的二分类任务上，本实施例提出的M-SRRENet都达到了最优的识别性能。而从理论上分析，M-SRRENet同样适用于其它的小目标识别任务。

实施例二

一种基于超分辨率重建的小目标识别装置，包括：

模型构建模块，用于构建包括生成器和判别器的识别模型；其中，以低分辨率图像作为所述生成器的输入，以超分辨率图像作为所述生成器的输出，以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入，以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出；

模型训练模块，用于对所述生成器以及判别器的网络参数进行初始化，结合生成器损失函数和判别器损失函数，训练所述识别模型；其中，所述生成器损失函数L_G表示为：L_G＝L_MSE+0.006×L_VGG+0.001×L_ADV+β×L_CLS，其中，L_MSE、L_VGG、L_ADV、L_CLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失，β为所述目标识别损失L_CLS的权重系数；所述判别器损失函数L_D表示为：L_D＝L_D-SR+L_D-Cls，其中，L_D-SR、L_D-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失；

小目标识别模块，用于基于粒子群算法，选择训练好的模型在验证样本集上的F1分数作为适应度函数值，以最大的F1分数对应的β值作为最优权重系数，由此确定最优识别模型，并基于所述最优识别模型进行小目标识别。

上述基于超分辨率重建的小目标识别装置中各个模块的划分仅用于举例说明，在其他实施例中，可将基于超分辨率重建的小目标识别装置按照需要划分为不同的模块，以完成上述装置的全部或部分功能。

本申请实施例中提供的基于超分辨率重建的小目标识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

实施例三

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行基于超分辨率重建的小目标识别方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行基于超分辨率重建的小目标识别方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于超分辨率重建的小目标识别方法，其特征在于，包括以下步骤：

S1、构建包括生成器和判别器的识别模型；

S2、以低分辨率图像作为所述生成器的输入，以超分辨率图像作为所述生成器的输出，以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入，以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出，结合生成器损失函数和判别器损失函数，训练所述识别模型；其中，所述生成器损失函数L_G表示为：L_G＝L_MSE+0.006×L_VGG+0.001×L_ADV+β×L_CLS，其中，L_MSE、L_VGG、L_ADV、L_CLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失，β为所述目标识别损失L_CLS的权重系数；所述判别器损失函数L_D表示为：L_D＝L_D-SR+L_D-Cls，其中，L_D-SR、L_D-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失；

S3、基于粒子群算法，选择训练好的模型在验证样本集上的F1分数作为适应度函数值，以最大的F1分数对应的β值作为最优权重系数，由此确定最优识别模型，并基于所述最优识别模型进行小目标识别。

2.根据权利要求1所述的一种基于超分辨率重建的小目标识别方法，其特征在于，还包括：

在所述生成器的后端加入新增特征层，所述新增特征层的输入是所述生成器生成的图像，输出是所述低分辨率图像经过双三次插值后的图像和真实高分辨率图像之间的残差；以所述经过双三次插值后的图像加上新增特征层学习到的残差，作为所述超分辨率图像。

3.根据权利要求1所述的一种基于超分辨率重建的小目标识别方法，其特征在于，所述判别器的后端为两个并行的全连接层，分别用于判断输入图像是超分辨率图像还是真实高分辨率图像以及输出小目标的识别结果。

4.根据权利要求1至3任一项所述的一种基于超分辨率重建的小目标识别方法，其特征在于，

所述像素均方误差损失L_MSE为超分辨率图像与真实高分辨率图像之间对应像素差的平方和的均值；

所述VGG特征匹配损失L_VGG为基于VGG19网络，对超分辨率图像和真实高分辨率图像逐点求取欧氏距离的平方和的均值；

所述对抗损失

其中，N表示每次迭代训练时样本的个数，D_θ表示判别器网络，其中θ表示判别器的网络参数，

表示第i个样本经过生成器网络生成的超分辨率图像，

表示

属于真实高分辨率图像的概率值；

所述目标识别损失

其中，N表示每次迭代训练时样本的个数，D_cls表示判别器的目标识别分支，

表示输入给生成器的低分辨率图像，

表示真实高分辨率图像，

表示第i个超分辨率重建样本经过判别器的目标识别分支输出的结果，y_i表示目标的标签。

5.根据权利要求4所述的一种基于超分辨率重建的小目标识别方法，其特征在于，所述步骤S2还包括：设置优化器为Adam优化器，初始化初始学习率、一阶矩估计的指数衰减率、二阶矩估计的指数衰减率、权重衰减倍数、单次训练用的样本数、权重系数β的解空间范围、学习因子c₁和c₂、粒子群数量、初始惯性权值、迭代至最大进化代数时的惯性权值、粒子群算法的最大迭代次数、每个β值下网络训练的epoch数量。

6.一种基于超分辨率重建的小目标识别装置，其特征在于，包括：

模型构建模块，用于构建包括生成器和判别器的识别模型；

模型训练模块，用于以低分辨率图像作为所述生成器的输入，以超分辨率图像作为所述生成器的输出，以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入，以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出，结合生成器损失函数和判别器损失函数，训练所述识别模型；其中，所述生成器损失函数L_G表示为：L_G＝L_MSE+0.006×L_VGG+0.001×L_ADV+β×L_CLS，其中，L_MSE、L_VGG、L_ADV、L_CLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失，β为所述目标识别损失L_CLS的权重系数；所述判别器损失函数L_D表示为：L_D＝L_D-SR+L_D-Cls，其中，L_D-SR、L_D-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失；

小目标识别模块，用于基于粒子群算法，选择训练好的模型在验证样本集上的F1分数作为适应度函数值，以最大的F1分数对应的β值作为最优权重系数，由此确定最优识别模型，并基于所述最优识别模型进行小目标识别。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的一种基于超分辨率重建的小目标识别方法的步骤。

Images