CN110826564A - 一种复杂场景图像中的小目标语义分割方法及系统 - Google Patents

Abstract

本发明公开一种复杂场景图像中的小目标语义分割方法，涉及图像处理技术领域，采用方案包括初步分割和小目标分割两部分；在初步分割部分，用数据集的样本图像训练初步分割网络，使初步分割网络可以对数据集的待分割图像进行粗糙的语义分割；在小目标分割部分，首先基于目标检测算法，将数据集构建为小目标识别数据集，利用小目标识别数据集的样本图像块训练小目标分割网络，使小目标分割网络可以对小目标识别数据集的待分割图像块进行精细的语义分割，其次利用精细语义分割结果修正相应的粗糙语义分割结果，得到该待分割图像最终的语义分割结果。本发明还公开一种小目标语义分割系统，其与前述方法相结合，对复杂场景图像中的小目标进行精细分割。

Description

一种复杂场景图像中的小目标语义分割方法及系统

技术领域

本发明涉及图像处理技术领域，具体的说是一种复杂场景图像中的小目标语义分割方法及系统。

背景技术

分割是视觉理解的基础，分类是计算机视觉领域的核心问题，语义分割实现两者的结合，利用对每一个像素进行分类的方式直接完成端到端的分割与分类问题。卷积神经网络在图像分类、目标检测等领域内的优异表现使其被应用到语义分割技术中，可以提供比传统的分割或分类算法更强大的特征学习能力和分类能力，有效提高图像语义分割的准确性。尽管基于卷积神经网络的语义分割技术取得了巨大的成功，但是依然存在一些问题。

目前，全卷积神经网络(Fully Convolutional Networks，FCN)是将卷积神经网络引入到语义分割技术中，通过反卷积方法恢复卷积过程中降采样造成的图像尺寸缩小的问题，使其恢复到与输入图像尺寸一致，FCN对输入图像每个局部区域进行分类，得到较为粗糙的小尺寸分割图。该类算法取得了一定的成功，但同时存在如下缺点：

一、首先，FCN的感受野大小固定不变，因此当目标大于或小于感受野时有可能被错误分类；尤其是小目标物体，容易被错标记为与临近的大目标一致的类别。

二、其次，卷积过程中的降采样操作会丢失图像的位置、轮廓等细节信息，使得分割边缘过于平滑；这些原因均会导致小目标物体不能准确识别的问题。

三、除语义分割网络自身的原因以外，复杂场景图像中目标物体存在数量、尺寸上的差异，样本的不均衡问题也是导致小目标物体难以识别的原因之一。尤其是在一幅复杂场景图像中既包含小尺寸的目标又包含较大尺寸的目标、且数量差距过大时，直接通过FCN网络对这些目标同时处理，对所有像素采用相同的权重，必然会导致误分割等问题。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种复杂场景图像中的小目标语义分割方法及系统，从多个角度解决小目标识别难的问题。

首先，本发明提供一种复杂场景图像中的小目标语义分割方法，解决上述技术问题采用的技术方案如下：

一种复杂场景图像中的小目标语义分割方法，其特征在于,该方法包括初步分割和小目标分割两部分；

在初步分割部分，用数据集包含的全部样本图像训练初步分割网络，使得初步分割网络可以对数据集包含的待分割图像进行粗糙的语义分割；

在小目标分割部分，

首先，基于目标检测算法，将数据集构建为小目标识别数据集，小目标识别数据集包含样本图像块和待分割图像块，利用小目标识别数据集的样本图像块训练小目标分割网络，使得小目标分割网络可以对小目标识别数据集包含的待分割图像块进行精细的语义分割；

其次，利用待分割图像块的精细语义分割结果和小目标识别数据集中该待分割图像块在待分割图像中的位置信息，修正该待分割图像的粗糙语义分割结果，得到该待分割图像最终的语义分割结果。

在初步分割部分，基于DeepLab模型，用数据集包含的全部样本图像训练的初步分割网络为DeepLab分割网络，训练完成的DeepLab分割网络可以对数据集包含的待分割图像进行粗糙的语义分割。

可选的，基于目标检测算法将数据集构建为小目标识别数据集的具体操作包括：

1)利用目标检测算法得到数据集中所有目标的边界框，并计算边界框内样本图像块像素的个数；

2)根据平均统计信息设定阈值，当边界框内像素个数小于该阈值时，对其进行裁剪操作，得到包含小目标的样本图像块，并对这些样本图像块进行像素级的语义标记，同时，保留该样本图像块在原样本图像中的位置信息，用于后期对初步分割的样本图像结果进行修正；

3)对数据集中的所有样本图像执行步骤1)、2)，得到所有样本图像的小目标数据集；

4)按照步骤1)、2)、3)的执行流程，还可以得到待分割图像的小目标数据集。

进一步可选的，利用目标检测算法直接得到数据集中同一张样本图像和待分割图像中所有目标的边界框，

或者，

先将数据集的所有样本图像分割成样本图像单元，将数据集的所有待分割图像分割成待分割图像单元，然后利用目标检测算法对同一张样本图像的所有样本图像单元进行检测，同时，对同一张待分割图像的所有待分割图像单元进行检测，得到同一张样本图像和待分割图像中所有目标的边界框。

优选的，将数据集的所有样本图像分割成样本图像单元、将数据集的所有待分割图像分割成待分割图像单元时，分别对样本图像和待分割图像进行至少两次均等或不均等的分割，目标检测算法从分割后的样本图像单元/待分割图像单元中至少可以得到一个目标的边界框。

优选的，将数据集的所有样本图像分割成样本图像单元、将数据集的所有待分割图像分割成待分割图像单元时，分别对样本图像和待分割图像进行三次分割，且后一次分割得到的样本图像单元数量/待分割图像单元数量多于前一次分割得到的样本图像单元数量/待分割图像单元数量，后一次分割得到的多个样本图像单元/待分割图像单元不可能拼接组合成前一次分割得到的其中一个样本图像单元/待分割图像单元。

其次，本发明提供一种复杂场景图像中的小目标语义分割系统，解决上述技术问题采用的技术方案如下：

一种复杂场景图像中的小目标语义分割系统，其包括：

数据集，用于存储样本图像和待分割图像；

训练模块一，用于将数据集包含的样本图像输入DeepLab模型，训练得到DeepLab分割网络；

DeepLab分割网络，用于对待分割图像进行粗糙的语义分割；

目标检测模块，用于将数据集构建为小目标识别数据集，小目标识别数据集包含样本图像块和待分割图像块；

训练模块二，利用小目标识别数据集包含的样本图像块训练小目标分割网络；

小目标分割网络，用于对待分割的图像块进行精细的语义分割；

定位修正模块，利用待分割图像块的精细语义分割结果和待分割图像块在待分割图像中的位置信息，修正DeepLab分割网络对待分割图像的粗糙语义分割结果，得到待分割图像的最终语义分割结果。

可选的，所涉及目标检测模块将数据集构建为小目标识别数据集的具体过程包括：

1)检测数据集，得到数据集中所有目标的边界框，计算边界框内样本图像块像素和待分割图像块像素的个数；

2)根据平均统计信息设定阈值，当边界框内像素个数小于该阈值时，对其进行裁剪操作，得到包含小目标的样本图像块和待分割图像块，并对这些样本图像块和待分割图像块进行像素级的语义标记，同时，保留该样本图像块在样本图像中的位置信息，保留待分割图像块在待分割图像中的位置信息，用于后期对粗糙分割的样本图像和待分割图像的结果进行修正；

3)对数据集中的所有样本图像和待分割图像执行步骤1)、2)，得到所有样本图像和待分割图像的小目标数据集。

优选的，所涉及目标检测模块检测数据集时，将数据集包含的样本图像分割成样本图像单元，将数据集包含的待分割图像分割成待分割图像单元，这一分割过程中，对样本图像和待分割图像分别进行至少两次均等或不均等的分割，目标检测算法从分割后的样本图像单元/待分割图像单元中至少可以得到一个目标的边界框。

优选的，所涉及目标检测模块检测数据集时，将数据集包含的样本图像分割成样本图像单元，将数据集包含的待分割图像分割成待分割图像单元，这一分割过程中，

依次对样本图像进行三次分割，且后一次分割得到的样本图像单元数量多于前一次分割得到的样本图像单元数量，后一次分割得到的多个样本图像单元不可能拼接组合成前一次分割得到的其中一个样本图像单元；

依次对待分割图像进行三次分割，且后一次分割得到的待分割图像单元数量多于前一次分割得到的待分割图像单元数量，后一次分割得到的多个待分割图像单元不可能拼接组合成前一次分割得到的其中一个待分割图像单元。

本发明的一种复杂场景图像中的小目标语义分割方法及系统，与现有技术相比具有的有益效果是：

1)本发明包括初步分割和小目标分割两部分，初步分割后可以得到图像的粗糙语义分割结果，小目标分割后可以基于目标检测将数据集构建为小目标识别数据集，进而得到图像块的精细语义分割结果，随后用图像块的精细语义分割结果修正图像的粗糙语义分割结果，最终得到图像的精细语义分割结果，避免了语义分割中损失函数对小目标不敏感的问题；

2)本发明的小目标分割部分，图像块中只包含小目标，尤其时在训练过程，可以极小受到其他物体的影响，使得学习到的参数更加精确，更有利于对复杂场景下的小目标进行语义分割。

附图说明

附图1是本发明实施例二的流程框图。

附图中各标号信息表示：

A、数据集，B、小目标识别数据集；

a1、样本图像，a2、待分割图像；

b1、样本图像块，b2、待分割图像块；

1、训练模块一，2、DeepLab分割网络，3、目标检测模块，

4、训练模块二，5、小目标分割网络，6、定位修正模块。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。

实施例一：

参考附图1，本实施例提出一种复杂场景图像中的小目标语义分割方法，该方法包括初步分割和小目标分割两部分；

在初步分割部分，基于DeepLab模型，用数据集A包含的全部样本图像a1训练的初步分割网络为DeepLab分割网络2，训练完成的DeepLab分割网络2可以对数据集A包含的待分割图像a2进行粗糙的语义分割；

在小目标分割部分，

首先，基于目标检测算法，将数据集A构建为小目标识别数据集B，小目标识别数据集B包含样本图像块b1和待分割图像块b2，利用小目标识别数据集B的样本图像块b1训练小目标分割网络5，使得小目标分割网络5可以对小目标识别数据集B包含的待分割图像块b2进行精细的语义分割；

其次，利用待分割图像块b2的精细语义分割结果和小目标识别数据集B中该待分割图像块b2在待分割图像a2中的位置信息，修正该待分割图像a2的粗糙语义分割结果，得到该待分割图像a2最终的语义分割结果。

在本实施例中，基于目标检测算法将数据集A构建为小目标识别数据集B的具体操作包括：

1)利用目标检测算法得到数据集A中所有目标的边界框，并计算边界框内样本图像块b1像素的个数；

2)根据平均统计信息设定阈值，当边界框内像素个数小于该阈值时，对其进行裁剪操作，得到包含小目标的样本图像块b1，并对这些样本图像块b1进行像素级的语义标记，同时，保留该样本图像块b1在原样本图像a1中的位置信息，用于后期对初步分割的样本图像a1结果进行修正；

3)对数据集A中的所有样本图像a1执行步骤1)、2)，得到所有样本图像a1的小目标数据集A；

4)按照步骤1)、2)、3)的执行流程，还可以得到待分割图像a2的小目标数据集A。

在本实施例的步骤1)中，先将数据集A的所有样本图像a1分割成样本图像单元，将数据集A的所有待分割图像a2分割成待分割图像单元，然后利用目标检测算法对同一张样本图像a1的所有样本图像单元进行检测，同时，对同一张待分割图像a2的所有待分割图像单元进行检测，得到同一张样本图像a1和待分割图像a2中所有目标的边界框。

在执行本实施例的步骤1)的过程中，将数据集A的所有样本图像a1分割成样本图像单元、将数据集A的所有待分割图像a2分割成待分割图像单元时，分别对样本图像a1和待分割图像a2进行两次不均等的分割，目标检测算法从分割后的样本图像单元/待分割图像单元中至少可以得到一个目标的边界框。

实施例二：

结合附图1，本实施例提出一种复杂场景图像中的小目标语义分割系统，其包括：

数据集A，用于存储样本图像a1和待分割图像a2；

训练模块一1，用于将数据集A包含的样本图像a1输入DeepLab模型，训练得到DeepLab分割网络2；

DeepLab分割网络2，用于对待分割图像a2进行粗糙的语义分割；

目标检测模块3，用于将数据集A构建为小目标识别数据集B，小目标识别数据集B包含样本图像块b1和待分割图像块b2；

训练模块二4，利用小目标识别数据集B包含的样本图像块b1训练小目标分割网络5；

小目标分割网络5，用于对待分割的图像块进行精细的语义分割；

定位修正模块6，利用待分割图像块b2的精细语义分割结果和待分割图像块b2在待分割图像a2中的位置信息，修正DeepLab分割网络2对待分割图像a2的粗糙语义分割结果，得到待分割图像a2的最终语义分割结果。

在本实施例中，所涉及目标检测模块3将数据集A构建为小目标识别数据集B的具体过程包括：

1)检测数据集A，得到数据集A中所有目标的边界框，计算边界框内样本图像块b1像素和待分割图像块b2像素的个数；

2)根据平均统计信息设定阈值，当边界框内像素个数小于该阈值时，对其进行裁剪操作，得到包含小目标的样本图像块b1和待分割图像块b2，并对这些样本图像块b1和待分割图像块b2进行像素级的语义标记，同时，保留该样本图像块b1在样本图像a1中的位置信息，保留待分割图像块b2在待分割图像a2中的位置信息，用于后期对粗糙分割的样本图像a1和待分割图像a2的结果进行修正；

3)对数据集A中的所有样本图像a1和待分割图像a2执行步骤1)、2)，得到所有样本图像a1和待分割图像a2的小目标数据集A。

在本实施例中，目标检测模块3检测数据集A时，将数据集A包含的样本图像a1分割成样本图像单元，将数据集A包含的待分割图像a2分割成待分割图像单元，这一分割过程中，

依次对样本图像a1进行三次分割，且后一次分割得到的样本图像单元数量多于前一次分割得到的样本图像单元数量，后一次分割得到的多个样本图像单元不可能拼接组合成前一次分割得到的其中一个样本图像单元；

依次对待分割图像a2进行三次分割，且后一次分割得到的待分割图像单元数量多于前一次分割得到的待分割图像单元数量，后一次分割得到的多个待分割图像单元不可能拼接组合成前一次分割得到的其中一个待分割图像单元。

综上可知，采用本发明的一种复杂场景图像中的小目标语义分割方法及系统，可以对复杂场景图像中的小目标进行精细的语义分割，解决了语义分割中损失函数对小目标不敏感的问题。

以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (10)

1.一种复杂场景图像中的小目标语义分割方法，其特征在于,该方法包括初步分割和小目标分割两部分；

在初步分割部分，用数据集包含的全部样本图像训练初步分割网络，使得初步分割网络可以对数据集包含的待分割图像进行粗糙的语义分割；

在小目标分割部分，

首先，基于目标检测算法，将数据集构建为小目标识别数据集，小目标识别数据集包含样本图像块和待分割图像块，利用小目标识别数据集的样本图像块训练小目标分割网络，使得小目标分割网络可以对小目标识别数据集包含的待分割图像块进行精细的语义分割；

其次，利用待分割图像块的精细语义分割结果和小目标识别数据集中该待分割图像块在待分割图像中的位置信息，修正该待分割图像的粗糙语义分割结果，得到该待分割图像最终的语义分割结果。

2.根据权利要求1所述的一种复杂场景图像中的小目标语义分割方法，其特征在于，在初步分割部分，基于DeepLab模型，用数据集包含的全部样本图像训练的初步分割网络为DeepLab分割网络，训练完成的DeepLab分割网络可以对数据集包含的待分割图像进行粗糙的语义分割。

3.根据权利要求1或2所述的一种复杂场景图像中的小目标语义分割方法，其特征在于，基于目标检测算法将数据集构建为小目标识别数据集的具体操作包括：

1)利用目标检测算法得到数据集中所有目标的边界框，并计算边界框内样本图像块像素的个数；

2)根据平均统计信息设定阈值，当边界框内像素个数小于该阈值时，对其进行裁剪操作，得到包含小目标的样本图像块，并对这些样本图像块进行像素级的语义标记，同时，保留该样本图像块在原样本图像中的位置信息，用于后期对初步分割的样本图像结果进行修正；

3)对数据集中的所有样本图像执行步骤1)、2)，得到所有样本图像的小目标数据集；

4)按照步骤1)、2)、3)的执行流程，还可以得到待分割图像的小目标数据集。

4.根据权利要求3所述的一种复杂场景图像中的小目标语义分割方法，其特征在于，利用目标检测算法直接得到数据集中同一张样本图像和待分割图像中所有目标的边界框，

或者，

先将数据集的所有样本图像分割成样本图像单元，将数据集的所有待分割图像分割成待分割图像单元，然后利用目标检测算法对同一张样本图像的所有样本图像单元进行检测，同时，对同一张待分割图像的所有待分割图像单元进行检测，得到同一张样本图像和待分割图像中所有目标的边界框。

5.根据权利要求4所述的一种复杂场景图像中的小目标语义分割方法，其特征在于，将数据集的所有样本图像分割成样本图像单元、将数据集的所有待分割图像分割成待分割图像单元时，分别对样本图像和待分割图像进行至少两次均等或不均等的分割，目标检测算法从分割后的样本图像单元/待分割图像单元中至少可以得到一个目标的边界框。

6.根据权利要求4所述的一种复杂场景图像中的小目标语义分割方法，其特征在于，将数据集的所有样本图像分割成样本图像单元、将数据集的所有待分割图像分割成待分割图像单元时，分别对样本图像和待分割图像进行三次分割，且后一次分割得到的样本图像单元数量/待分割图像单元数量多于前一次分割得到的样本图像单元数量/待分割图像单元数量，后一次分割得到的多个样本图像单元/待分割图像单元不可能拼接组合成前一次分割得到的其中一个样本图像单元/待分割图像单元。

7.一种复杂场景图像中的小目标语义分割系统，其特征在于,其包括：

数据集，用于存储样本图像和待分割图像；

训练模块一，用于将数据集包含的样本图像输入DeepLab模型，训练得到DeepLab分割网络；

DeepLab分割网络，用于对待分割图像进行粗糙的语义分割；

目标检测模块，用于将数据集构建为小目标识别数据集，小目标识别数据集包含样本图像块和待分割图像块；

训练模块二，利用小目标识别数据集包含的样本图像块训练小目标分割网络；

小目标分割网络，用于对待分割的图像块进行精细的语义分割；

定位修正模块，利用待分割图像块的精细语义分割结果和待分割图像块在待分割图像中的位置信息，修正DeepLab分割网络对待分割图像的粗糙语义分割结果，得到待分割图像的最终语义分割结果。

8.根据权利要求7所述的一种复杂场景图像中的小目标语义分割系统，其特征在于，所述目标检测模块将数据集构建为小目标识别数据集的具体过程包括：

1)检测数据集，得到数据集中所有目标的边界框，计算边界框内样本图像块像素和待分割图像块像素的个数；

2)根据平均统计信息设定阈值，当边界框内像素个数小于该阈值时，对其进行裁剪操作，得到包含小目标的样本图像块和待分割图像块，并对这些样本图像块和待分割图像块进行像素级的语义标记，同时，保留该样本图像块在样本图像中的位置信息，保留待分割图像块在待分割图像中的位置信息，用于后期对粗糙分割的样本图像和待分割图像的结果进行修正；

3)对数据集中的所有样本图像和待分割图像执行步骤1)、2)，得到所有样本图像和待分割图像的小目标数据集。

9.根据权利要求8所述的一种复杂场景图像中的小目标语义分割系统，其特征在于，所述目标检测模块检测数据集时，将数据集包含的样本图像分割成样本图像单元，将数据集包含的待分割图像分割成待分割图像单元，这一分割过程中，对样本图像和待分割图像分别进行至少两次均等或不均等的分割，目标检测算法从分割后的样本图像单元/待分割图像单元中至少可以得到一个目标的边界框。

10.根据权利要求8所述的一种复杂场景图像中的小目标语义分割系统，其特征在于，所述目标检测模块检测数据集时，将数据集包含的样本图像分割成样本图像单元，将数据集包含的待分割图像分割成待分割图像单元，这一分割过程中，

依次对样本图像进行三次分割，且后一次分割得到的样本图像单元数量多于前一次分割得到的样本图像单元数量，后一次分割得到的多个样本图像单元不可能拼接组合成前一次分割得到的其中一个样本图像单元；

依次对待分割图像进行三次分割，且后一次分割得到的待分割图像单元数量多于前一次分割得到的待分割图像单元数量，后一次分割得到的多个待分割图像单元不可能拼接组合成前一次分割得到的其中一个待分割图像单元。

Images