CN113971763A - 一种基于目标检测和超分重建的小目标分割方法和装置 - Google Patents

Abstract

本发明涉及一种基于目标检测和超分重建的小目标分割方法和装置，首先对小目标进行检测，并将小目标图像块从大图中切割出来，其次采用超分重建算法对小目标图像块进行超分重建，最后对超分重建后的图像进行语义分割，并对分割结果进行修正，得到最终目标分割图像。本发明结合目标检测和超分重建的语义分割算法，大大降低了小目标语义分割难度，提高了算法的运算效率，同时提高了小目标的提取精度。

Description

一种基于目标检测和超分重建的小目标分割方法和装置

技术领域

本发明涉及遥感影像小目标检测技术领域，特别是一种基于目标检测和超分重建的小目标分割方法和装置。

背景技术

遥感影像小目标提取技术，主要包括两条技术路线：

一，传统遥感影像小目标提取技术

传统的遥感目标检测与提取算法，多是基于滑动窗口模型，对手工特征进行提取、匹配，存在单一性、计算复杂、适用性不好的缺点，检测精度和速度较差。

随着模型的改进和算法的发展，基于深度学习的智能目标检测与提取技术以网络结构简单高效的特点，超越了传统算法，准确度和效率大幅提升，逐渐成为当前的主流算法。

二，基于深度学习的小目标提取技术

2016年，Takeki A等针对大背景区域下小目标检测问题提出一种基于深度卷积神经网络在大范围视场区域内检测鸟类小型目标的模型，该方法将基于深度学习的目标检测算法与语义分割方法相结合，训练一个深度全卷积神经网络(FCN)和FCN的变体，并通过支持向量机将它们的结果集成到一起，从而实现高检测性能.Kampffmeyer M等提出一种基于像素级、块区域及两者相结合的深度卷积神经网络架构来实现航拍图像中单像素的分类，建立土地覆盖图以实现小目标检测.Mundhenk T N等提出一种基于逐像素提取区域特征的方法，将区域特征通过卷积神经网络进行分类检测，然而这种逐像素搜索的方法效率太低，而且对目标没有尺度适应能力。

2017年Lin T Y等在Faster R-CNN网络基础上提出一种具有横向连接的特征金字塔网络(Feature Pyramid Networks，FPN)，利用多尺度特征和自上而下的结构实现目标检测目的。FPN算法解决了只用网络顶层特征进行检测，虽然语义信息比较丰富，但是经过层层池化等操作，特征细节信息丢失太多的问题，而对于小目标检测来说这些信息往往是比较重要的。FPN算法提出将语义信息充分的顶层特征映射到分辨率较大、细节信息较多的底层特征中，将二者以合适的方式进行融合来提升小目标的检测效果。

主要存在以下问题：

(1)现有的目标检测方法对于常规的目标检测问题都有较好的效果，但是对于小目标的检测问题却都不太理想。

(2)目标检测和分割效果较差。常规的目标检测和分割方法在PASCAL、VOC、COCO等数据集上的检测结果可以看出，它们对于诸如瓶子之类的小目标测效果较差，而对于虽然复杂但更大一些的大目标检测和分割效果却较好。并不是特征网络缺少学习特征和表达特征的能力，而是网络提取出的小目标特征能提供给模型的信息过于匮乏。

(3)小目标特征表达能力较弱。虽然有学者提出了特征金字塔网络模型方法，使用采样的方式融合了细节信息较多的低层特征和语义信息较多的高层特征，增强了深度特征对于小目标的表达能力，但效果依然不理想。还有学者提出使用强化学习做小目标检测，使用困难样本挖掘方法通过维护错误样本池，使模型重新训练导致其损失较大的一些样本，强化了网络特征对于复杂目标、小目标的表达能力，还有使用GAN的生成器强化小目标的特征，使其更容易被通用方法检测出来等等，其目的都是为了提升小目标的特征，但都收效甚微。

为了解决上述问题，公开号为CN111814814A的中国专利申请“一种基于图像超分辨率网络的单阶段目标检测方法”披露了一种目标检测方法，采用卷积神经网络对原始图片进行超分辨率重建，产生清洗的、分辨率高的重建图片；然后在超分辨率重建网络上搭建目标检测网络；在重建图片上进行小目标的检测，然后将检测结果映射回原始图片。

该方案采用了超分重建的方法对图像进行增强，从而提高了检测精度，但是相应的，检测精度的提高也伴随着运算量的急剧增加，导致算法运行效率较低。

发明内容

本申请的目的在于提供一种基于目标检测和超分重建的小目标分割方法和装置，用以解决现有技术运行效率低的问题。

为实现上述目的，本发明提出了一种基于目标检测和超分重建的小目标分割方法，包括以下步骤：

步骤1，对于待分割图像，输入小目标检测网络，对小目标进行定位与识别；

步骤2，将小目标图像块剪裁出来；

步骤3，对裁剪出的小目标图像块，输入超分重建网络，得到超分重建后的图像；

步骤4，将超分重建后的图像输入小目标语义分割网络，得到分割结果；

步骤5，对待分割图像进行语义分割，得到待分割图像的语义分割结果。

步骤6，结合步骤4得到的分割结果，以及小目标的定位信息，对步骤5得到的分割结果进行修正，修正后的分割图为最终的结果。

本发明还提出了一种基于目标检测和超分重建的小目标分割装置，包括处理器和存储器，处理器运行存储于存储器的计算机程序，以实现上述方法。

作为上述方法和装置的进一步改进，获取所述小目标检测网络的小目标检测数据集的方法包括：对收集的原始图像进行目标检测标注、语义标注，每个原始图像对应一个语义分割图和一个标注文件；原始图像中，每个目标对应一个边界框，计算边界框内像素个数；设定一个用于区分小目标和大目标的像素个数阈值φ，只保留小于等于φ的边界框的标注信息，删除大于φ的边界框的标注信息。

作为上述方法和装置的进一步改进，获取所述小目标语义分割网络的小目标语义分割数据集的方法包括：在小目标检测数据集基础上，对已经标注的小目标进行语义标记；根据边界框对原始图像和语义分割图进行裁剪；得到裁剪后图像以及对应的语义分割图，作为小目标语义分割数据集。

作为上述方法和装置的进一步改进，获取所述超分重建网络的超分重建数据集的方法包括：原始图像作为高分辨率图像；对原始图像进行缩小，得到低分辨率图像；高分辨率图像和低分辨率图像构成所述超分重建数据集。

作为上述方法和装置的进一步改进，所述超分重建网络为深度残差网络，所采用的损失函数为：

其中，

为均方根损失函数，

为感知损失函数，λ表示两种损失函数之间的一个均衡系数。

作为上述方法和装置的进一步改进，所述小目标检测网络采样改进的YOLO-V3网络，利用第2个残差块输出的4倍降采样特征图与经过2倍上采样的8倍降采样特征图进行拼接，建立输出为4倍降采样的特征融合目标检测层，对小目标进行检测。

本发明首先对小目标进行检测，并将小目标图像块从大图中切割出来，其次采用超分重建算法对小目标图像块进行超分重建，最后对超分重建后的图像进行语义分割，并对分割结果进行修正，得到最终目标分割图像。结合目标检测和超分重建的语义分割算法，大大降低了小目标语义分割难度，提高了算法的运算效率，同时提高了小目标的提取精度。

附图说明

图1是本发明方法流程图；

图2中(a)是YOLO-V3网络；(b)是改进的YOLO-V3网络；

图3是改进的YOLO V3网络结构；

图4深度残差网络结构图。

具体实施方式

本发明的主要构思是：

并不直接对原始图像进行超分重建，而是首先在原始图像中进行小目标定位与识别(小目标检测)，然后对裁剪后的小目标图像块进行超分辨率重建(下文简称为超分重建)，接着对超分重建后的图像进行语义分割。这样能够大大减少超分重建的内容，减少运算量，提升运行效率；而且单独对小目标图像块进行超分重建的准确性更高，有利于提升小目标语义分割的精度。

而且，其中的小目标定位与识别(小目标检测)，并不是直接利用单个神经网络模型同时提取原始图像中的小尺寸目标和较大尺寸目标，而是采用专门的网络模型进行小目标检测。这样能够降低小目标语义分割难度，提高小目标分割准确率。

方法实施例

如图1所示，具体步骤为：

步骤1，对于待分割的原始图像，输入小目标检测网络，对小目标进行定位与识别，也就是说，检测结果包括目标的位置信息和类别信息。

步骤2，根据检测结果中边框信息将小目标图像块剪裁出来。

步骤3，对小目标图像块，输入超分重建网络，得到超分重建后的图像(即放大后的图像)。

步骤4，将超分重建后的图像输入小目标语义分割网络，得到分割结果；

步骤5，对原始图像进行语义分割，即利用整体语义分割网络(针对原始图像的语义分割网络)进行处理，得到原始图像的语义分割结果。

步骤6，结合步骤4得到的分割结果，以及其对应的目标边界框坐标位置，对步骤5得到的分割结果进行修正，修正后的分割图即为整个算法最终的结果。

上述方法流程再现了上述发明构思。上述方法流程的步骤中，网络模型的建立是非常重要的(本文中，网络模型也简称为网络或模型)；其中共涉及四个网络模型，分别是：步骤1的小目标检测网络，步骤3的超分重建网络，步骤4的小目标语义分割网络，步骤5的整体语义分割网络。下面具体进行说明。

需要说明的是，上述“待分割图像”、以及下文的“原始图像”，都是原始的遥感影像。“待分割图像”表明其是本发明方法的处理对象；“原始图像”表明其是在数据集建立、训练、测试过程中用到的图像。

一，步骤1的小目标检测网络

1)对收集的原始图像进行目标检测标注、语义标注，每个原始图像对应一个语义分割图和一个标注文件。

2)原始图像中，每个目标对应一个边界框，计算边界框内像素个数；

3)设定一个像素个数阈值φ(用于区分小目标和大目标)，只保留小于等于φ的边界框的标注信息，删除大于φ的边界框的标注信息，即仅保留了小目标的标注信息，而删除了大目标的标志信息；

4)得到小目标检测数据集，包括原始图像、对应的语义分割图，以及保留小目标标志信息的标注文件。

利用上述小目标检测数据集训练改进的YOLO-V3的目标检测网络，即可得到小目标检测网络模型。

YOLO-V3网络如图2所示，利用8倍降采样输出的特征图对小目标进行检测，这意味着当目标小于8pixel×8pixel时，网络对目标的预测就会出现困难，并且特征图为8倍降采样的目标检测层对小目标位置信息的检测能力是有限的。为了使网络获取更多小目标的特征信息，提高对小目标的检测率，本方案利用原网络中输出的4倍降采样特征图对目标进行检测，因为它含有更多小目标的位置信息.对YOLO-V3输出的8倍降采样特征图进行2倍的上采样，与Darknet53中第2个残差块输出的4倍降采样特征图进行拼接，建立输出为4倍降采样的特征融合目标检测层，以检测小目标，同时为了获取更多低层的小目标位置信息，在原网络的第2个残差块中增加2个残差单元。YOLO-V3采用了3个尺度对VOC和COCO数据集进行预测。在COCO数据集中尺度1对应的预测框是(116，90)，(156，198)，(373，326)，尺度2对应的预测框是(30，61)，(62，45)，(59，119)，尺度3对应的预测框是(10，13)，(16，30)，(33，23)。为了提高网络对小目标的召回率和检测的准确率，根据VEDAI数据集的聚类结果，取消YOLO V3在原3个尺度上的输出检测，直接利用输出的4倍降采样特征融合目标检测层对小目标进行检测。

改进的YOLO-V3网络结构如图3所示，利用第2个残差块输出的4倍降采样特征图与经过2倍上采样的8倍降采样特征图进行拼接，建立输出为4倍降采样的特征融合目标检测层，对小目标进行检测。

YOLO-V3网络会对检测的图像进行缩放或裁剪，无论输入的图像多大，最后都会被缩放或裁剪成416pixel×416pixel的图像。如果将图像进行缩放或裁剪，原图像中的小目标的分辨率会变得更低或视场变小，直接影响网络对小目标的检测。因此，改进的YOLO-V3网络不对图像进行压缩或裁剪处理，维持512pixel×512pixel不变，以使输入网络的图像分辨率保持不变，提高网络对小目标的检测性能。当然也可以根据不同尺寸的图像设计相应的小目标检测模型。

二，步骤4的小目标语义分割网络

1)在小目标检测数据集基础上，对已经标注的小目标进行语义标记；

2)根据边界框对原始图像和语义分割图进行裁剪；

3)得到裁剪后图像以及对应的语义分割图，即小目标语义分割数据集。

本实施例中，若一幅图像中既包含小尺寸的目标又包含较大尺寸的目标，则不直接通过FCN网络对这些目标同时处理，而是首先利用目标检测算法得到所有小目标的边界框，然后根据边界框裁剪得到小目标图像块，并对这些图像块进行像素级的语义标记，最后根据小目标块的语义标记结果对完整图像语义分割结果进行修正。这样的语义分割方法可以有效地降低小目标的分割难度：一方面，目标检测的难度比语义分割要简单很多，因为目标检测任务避免了语义分割中损失函数对小目标不敏感的问题；另一方面，小目标语义分割网络的输入是只包含小目标的图像块，而且在本算法中，小目标语义分割网络提供了类别先验信息，因此该网络只需类似传统分割算法一样对分布在图像中心的目标块进行分割。

三，步骤3的超分重建网络

1)原始图像作为高分辨率图像；

2)对原始图像进行缩小，得到低分辨率图像；

3)得到超分重建数据集，包括上述高分辨率图像和低分辨率图像。

本实施例中采用深度残差网络的图像超分辨率重建模型，并且针对新的感知损失函数进行优化。

超分辨率重建网络结构如图4所示，整个网络由三个子网络组成：特征提取，残差逼近和重建网络。特征提取网络采用输入图像，并将其表示为一组特征图。接下来，这些特征被输入残差网络进行逐步逼近。残差网络是解决超分辨率任务的主要组成部分特征图经过残差网络，在卷积滤波器大于1×1的情况下，感知域在每一次卷积层后逐增加。最后将经过残差网络中的产生的最终特征送到重建网络中以产生最终的输出图像。

我们采用的深度卷积网络中有D个相同布局的残余块。具体来说，我们使用两个具有3×3的卷积核，64个特征图和后面是批量归一化层的卷积层，用RELU作为激活函数。对于一个单幅的低分辨率图像，我们首先使用Bicubic方法将它插值到需要尺寸大小的图像x，并像SRCNN中所示预测目标图像y。我们的目标是学习一个预测值

的模型F，其中

是其真实值输出y的估计，使它尽可能的和原始的高分辨率图像y保持一致。令F1,F2,F3分别表示子网功能：特征提取，残差逼近和重建，我们的模型是三个函数的组合：F(x)＝F₃(F₂(F₁(x)))。

特征提取网F1将插值图像x作为输入计算残差网F2的输入的输出矩阵H0。隐藏层值由H-1表示。公式描述如下：

H_-1＝max(W_-1*x+b_-1,0)

H₀＝max(W₀*H_-1+b₀,0)

F₁(x)＝H₀

残差网络F2采用输入矩阵H0并算矩阵输出HD。令g表示由单个残差块的输出函数：

H_d＝g(H_d-1)

其中d＝1,2,…,D。g是由上图残差块所示，具有卷积、归一化和RELU激活函数的一种联合操作。重建网F3采用输入HD并输出高分辨率目标图像的估计

大致来说，重建网是特征提取网的逆运算。公式描述如下：

H_D+1＝max(W_D+1*(H_D)+b_D+1,0)

尽管上述操作是由不同的目标驱动的，它们在卷基层中都由相似的表示结构。我们将上述三种操作结合在一起，组成一个深层卷积神经网络。在这个模型中，所有的滤波器权重和偏置都是要通过优化得到的。

图像超分辨率重建问题实质上是一个病态的欠定问题，当放大因子比较大的时候，重建的超分辨率图像中的纹理细节通常会缺失。当前超分辨率算法的优化目标通常是恢复的超分辨率图像和真实高分辨率图像低分辨率之间的均方误差(MSE)的最小化。然而，MSE捕获感知上相关差异(例如复杂的纹理细节)的能力非常有限，因为它们基于像素图像差异来定义。最小化MSE可以促使得到像素平均值似乎合理的结果，这种结果通常过于平滑，因此感官上质量较差。

损失函数的定义对于重建有着相当重要的影响。一般情况下，lSR是基于MSE建模的，我们在前人工作的基础上，本实施例定义了一个新的损失函数：

其中，

为均方根损失函数，

为感知损失函数，λ表示两种损失函数之间的一个均衡系数。对于感官相似度的损失函数，我们基于Simonyan和Zisserman中描述的预训练的19层VGG网络来定义VGG损失。在我们考虑VGG19给出的情况下，我们用i,j表示在第VGG19网络中的第i个最大化池之前通过第j次卷积(激活之后)获得的特征映射。然后，我们将VGG损失定义为重建图像

和参考图像y的特征表示之间的欧氏距离：

其中W_i,j和H_i,j为在VGG网络中特征映射的各自的维度。

四，步骤5的整体语义分割网络

该网络可以借助于任意的现有语义分割网络实现，本实施例中，采用了DeepLab-Attention语义分割网络，即结合多尺度输入的DeepLab网络模型，通过数据集训练网络得到整体语义分割模型。其数据集为原始图像以及对应的语义分割图。

综上，超分重建后的图像较超分前，包含了较丰富的特征信息，对超分后的目标图像进行语义分割，降低了小目标语义分割难度，小目标分割准确率得到提高，同时也大大降低了计算量，节省运算时间。

装置实施例

本实施例提供了一种装置，该装置以计算机为载体，运行计算机程序，以实现上述方法实施例所描述的方法。即该装置包括处理器和存储器，存储器存储有计算机程序，当处理器运行所述计算机程序时，能够实现上述方法。该装置可以是PC、移动终端等各种具备运算处理能力的计算机设备。

Claims (7)

1.一种基于目标检测和超分重建的小目标分割方法，其特征在于，包括以下步骤：

步骤1，对于待分割图像，输入小目标检测网络，对小目标进行定位与识别；

步骤2，将小目标图像块剪裁出来；

步骤3，对裁剪出的小目标图像块，输入超分重建网络，得到超分重建后的图像；

步骤4，将超分重建后的图像输入小目标语义分割网络，得到分割结果；

步骤5，对待分割图像进行语义分割，得到待分割图像的语义分割结果。

步骤6，结合步骤4得到的分割结果，以及小目标的定位信息，对步骤5得到的分割结果进行修正，修正后的分割图为最终的结果。

2.根据权利要求1所述的基于目标检测和超分重建的小目标分割方法，其特征在于，获取所述小目标检测网络的小目标检测数据集的方法包括：对收集的原始图像进行目标检测标注、语义标注，每个原始图像对应一个语义分割图和一个标注文件；原始图像中，每个目标对应一个边界框，计算边界框内像素个数；设定一个用于区分小目标和大目标的像素个数阈值φ，只保留小于等于φ的边界框的标注信息，删除大于φ的边界框的标注信息。

3.根据权利要求2所述的基于目标检测和超分重建的小目标分割方法，其特征在于，获取所述小目标语义分割网络的小目标语义分割数据集的方法包括：在小目标检测数据集基础上，对已经标注的小目标进行语义标记；根据边界框对原始图像和语义分割图进行裁剪；得到裁剪后图像以及对应的语义分割图，作为小目标语义分割数据集。

4.根据权利要求1-3任一项所述的基于目标检测和超分重建的小目标分割方法，其特征在于，获取所述超分重建网络的超分重建数据集的方法包括：原始图像作为高分辨率图像；对原始图像进行缩小，得到低分辨率图像；高分辨率图像和低分辨率图像构成所述超分重建数据集。

5.根据权利要求1所述的基于目标检测和超分重建的小目标分割方法，其特征在于，所述超分重建网络为深度残差网络，所采用的损失函数为：

其中，

为均方根损失函数，

为感知损失函数，λ表示两种损失函数之间的一个均衡系数。

6.根据权利要求1所述的基于目标检测和超分重建的小目标分割方法，其特征在于，所述小目标检测网络采样改进的YOLO-V3网络，利用第2个残差块输出的4倍降采样特征图与经过2倍上采样的8倍降采样特征图进行拼接，建立输出为4倍降采样的特征融合目标检测层，对小目标进行检测。

7.一种基于目标检测和超分重建的小目标分割装置，其特征在于，包括处理器和存储器，处理器运行存储于存储器的计算机程序，以实现权利要求1-6任一项所述的方法。

Images