CN112819840B - 一种融合深度学习与传统处理的高精度图像实例分割方法 - Google Patents

Abstract

本发明公开了一种融合深度学习与传统处理的高精度图像实例分割方法，将传统的图像处理算法应用于深度学习实例分割结果，设计实现一种融合深度学习实例分割与传统图像处理的高精度图像实例分割方法，最终实现高精度的图像实例分割效果。以深度学习实例分割算法分割出的实例及其被识别的物体类别为基础，通过从不同的传统图像处理算法中找出分割结果与深度学习实例分割结果最相似的一种算法，将其结果与实例分割结果进行进一步的融合修正，这样，可以在保证物体初步分割及其语义信息识别的准确性的基础上，有效地改善和解决深度学习实例分割在目标边缘定位结果不理想及边界棱角较圆滑导致物体部分边缘信息识别有误的问题。

Description

一种融合深度学习与传统处理的高精度图像实例分割方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种融合深度学习与传统处理的高精度图像实例分割方法。

背景技术

实例分割是语义分割的进一步提升，由机器从图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记，最终实现不同类别物体的语义识别以及同一类别不同实例的分割。精确的图像实例分割在物体单体化提取、模式识别等方面具有重要作用。

图像分割经历了由传统图像分割算法到深度学习实例分割算法的发展。传统图像分割算法的主要依据通常为图像纹理、颜色或其他特征的变化，包括边缘或轮廓检测方法、阈值分割方法、基于像素聚类的分割方法以及基于图的划分方法等。传统图像分割算法在物体边缘分割上较为精确，也可以处理高分辨率图像，但不能进行物体语义信息的识别，无法明确给出物体的种类。

基于深度学习的图像实例分割结果可以对不同物体进行准确定位并识别出物体的语义信息，其凭借速度快、效果好的优势，近年来得到了很多的关注。但深度学习实例分割在目标边缘的定位结果并不理想，边界棱角较为圆滑，导致物体部分边缘信息识别有误。常见的深度学习实例分割算法包括MNC、FCIS、Mask RCNN等。

因此，如何在正确识别物体语义类别的基础上，更好地将物体边缘分割出来，是本领域研究的关键。

发明内容

有鉴于此，本发明提供了一种融合深度学习与传统处理的高精度图像实例分割方法，用以解决传统图像处理算法物体边缘分割效果好但语义信息不明确，深度学习实例分割语义信息明确但物体边缘效果差的问题。

本发明提供的一种融合深度学习与传统处理的高精度图像实例分割方法，包括如下步骤：

S1：利用深度学习实例分割网络对原始图像进行实例分割，并对分割后的图像进行预处理，得到多张包含单个实例的第一标签图像；其中，不同第一标签图像包含的实例不同；

S2：利用传统图像处理算法对原始图像进行处理，并对处理后的图像进行预处理，得到多张第二标签图像；

S3：对于每个实例，选择与第一标签图像中的前景物体重合像素点最多的第二标签图像；

S4：对于每个实例，利用选出的第二标签图像与对应的第一标签图像进行融合修正；

S5：将所有实例的融合修正结果进行融合，得到原始图像的实例分割结果。

在一种可能的实现方式中，在本发明提供的上述融合深度学习与传统处理的高精度图像实例分割方法中，步骤S1，利用深度学习实例分割网络对原始图像进行实例分割，并对分割后的图像进行预处理，得到多张包含单个实例的第一标签图像，具体包括：

S11：设定深度学习实例分割网络的参数，利用数据集对深度学习实例分割网络进行训练，利用训练好的模型对原始图像进行实例分割；

S12：计算实例的数量，将不同实例的标签进行分离，得到多张包含单个实例的第一标签图像；其中，每个第一标签图像中的前景为白色且背景为黑色；

S13：对每张第一标签图像进行膨胀和腐蚀操作，减少由于分割错误造成的孔洞或额外的点；

S14：分别将各第一标签图像中的前景标签像素值修改为a，a为正整数且1≤a≤60。

在一种可能的实现方式中，在本发明提供的上述融合深度学习与传统处理的高精度图像实例分割方法中，步骤S2，利用传统图像处理算法对原始图像进行处理，并对处理后的图像进行预处理，得到多张第二标签图像，具体包括：

S21：分别利用轮廓检测法、K-means法和grab-cut法对原始图像进行处理；

S22：对于轮廓检测法处理后的图像，计算每个轮廓的长度，删除长度小于原始图像的长宽之和的5％的轮廓，分别将轮廓内和轮廓外作为前景进行填充，得到两张第二标签图像，每张第二标签图像中的前景为白色且背景为黑色，分别对两张第二标签图像的连通域进行计数，分别将两张第二标签图像的前景标签像素值修改为b，b为正整数且60<b≤120；

S23：对于K-means法处理后的图像，将不同颜色的标签分开，得到多张包含单个颜色的第二标签图像，调整每张第二标签图像中的前景为白色且背景为黑色，分别对各第二标签图像的连通域进行计数，分别将各第二标签图像的前景标签像素值修改为b，b为正整数且60<b≤120；

S24：对于grab-cut法处理后的图像，将每个边界框得到的第二标签图像的前景转换为白色且背景转换为黑色，对每张第二标签图像进行膨胀和腐蚀操作，减少由于分割错误造成的孔洞或额外的点，分别将各第二标签图像的前景标签像素值修改为b，b为正整数且60<b≤120；其中，将深度学习实例分割得到的每个实例的外接矩形，每个边分别外扩原始图像的长宽之和的1％，作为边界框。

在一种可能的实现方式中，在本发明提供的上述融合深度学习与传统处理的高精度图像实例分割方法中，步骤S4，对于每个实例，利用选出的第二标签图像与对应的第一标签图像进行融合修正，具体包括：

S41：判断第一标签图像中的实例是否被选出的第二标签图像识别；若是，则直接执行步骤S42；若否，则将融合标签中对应第一标签图像中实例处的像素值调整为a+b后，再执行步骤S42；其中，将第一标签图像与第二标签图像中对应像素点的像素值叠加作为最初的融合标签图像；

S42：判断第二标签图像中是否存在与第一标签图像中的实例相似度达到阈值的实例；若是，则将融合标签中对应第二标签图像中实例处的像素值调整为a+b后，再执行步骤S43；若否，则直接执行步骤S43；

S43：将边长为原始图像短边1/40的方块沿融合标签图像中像素值为a+b区域的边界进行查找；判断位于当前位置的方块内是否存在像素值为0的背景；若是，则将方块移到下一位置，对下一位置进行判断；若否，则将方块内原本不是a+b的像素点调整为a+b，并对调整后的像素点进行标记后，将方块移到下一位置，对下一位置进行判断；直至遍历完整个边界；

S44：判断是否存在被调整为a+b的像素点；若是，则重新选定方块的初始位置，沿着原有的和被调整的全部a+b区域的边界进行查找、调整和标记，直至遍历完整个边界，返回步骤S44重新进行判断；若否，则执行步骤S45；

S45：判断方块的边长是否大于或等于两个像素点的长度；若是，则将方块的边长减半，将边长减半后的方块沿着被调整为a+b的区域的边界进行查找、调整和标记，直至遍历完整个边界，返回步骤S45重新进行判断；若否，则执行步骤S46；

S46：在融合标签图像中，判断当前像素值为a的连通域周围的像素值是否只包含0和调整的a+b；若是，则将当前像素值为a的连通域的像素值全部更改为a+b后，对下一个像素值为a的连通域进行判断；若否，则直接对下一个像素值为a的连通域进行判断；直至遍历完所有像素值为a的连通域；

S47：在融合标签图像中，像素值为a+b的像素点为前景，修改前景标签为白色，其他像素值的像素点为背景，修改背景标签为黑色。

在一种可能的实现方式中，在本发明提供的上述融合深度学习与传统处理的高精度图像实例分割方法中，步骤S41，判断第一标签图像中的实例是否被选出的第二标签图像识别，具体包括：

判断第一标签图像中的实例的AOR值是否大于或等于0.6；其中，第一标签图像中的实例的AOR值的计算方式如下：

AOR＝nab/na (1)

其中，nab表示融合标签图像中像素值为a+b的像素个数，na表示第一标签图像中像素值为a的像素个数。

在一种可能的实现方式中，在本发明提供的上述融合深度学习与传统处理的高精度图像实例分割方法中，步骤S42，判断第二标签图像中是否存在与第一标签图像中的实例相似度达到阈值的实例，具体包括：

判断第二标签图像中单个连通域的BOR值是否大于或等于0.8；其中，第二标签图像中单个连通域的BOR值的计算方式如下：

BOR＝cnab/cnb (2)

其中，cnb表示第二标签图像的单个连通域中像素值为b的像素个数，cnab表示融合标签图像中与第二标签图像的单个连通域对应位置处像素值为a+b的像素个数。

在一种可能的实现方式中，在本发明提供的上述融合深度学习与传统处理的高精度图像实例分割方法中，步骤S5，将所有实例的融合修正结果进行融合，得到原始图像的实例分割结果，具体包括：

将融合修正后的实例，按照AOR值由大到小的顺序依次加入实例分割结果中，得到最终的实例分割结果。

本发明提供的上述融合深度学习与传统处理的高精度图像实例分割方法，针对传统图像处理算法物体边缘分割效果好但语义信息不明确、深度学习实例分割语义信息明确但物体边缘效果差的问题，将传统的图像处理算法应用于深度学习实例分割结果，设计实现一种融合深度学习实例分割与传统图像处理的高精度图像实例分割方法，最终实现高精度的图像实例分割效果。以深度学习实例分割算法分割出的实例及其被识别的物体类别为基础，通过从不同的传统图像处理算法中找出分割结果与深度学习实例分割结果最相似的一种算法，将其结果与实例分割结果进行进一步的融合修正，这样，可以在保证物体初步分割及其语义信息识别的准确性的基础上，有效地改善和解决深度学习实例分割在目标边缘定位结果不理想及边界棱角较圆滑导致物体部分边缘信息识别有误的问题。并且，本发明是针对不同的实例选择合适的传统图像处理算法进行融合，这样，使得融合修正后的结果更接近真实情况。

附图说明

图1为本发明提供的一种融合深度学习与传统处理的高精度图像实例分割方法的流程图；

图2为本发明实施例1中的原始图像；

图3为本发明实施例1中深度学习实例分割结果；

图4为本发明实施例1中深度学习实例分割的预处理结果；

图5为本发明实施例1中传统图像处理方法的图像处理结果；

图6为本发明实施例1中轮廓检测法的预处理结果；

图7为本发明实施例1中K-means法的预处理结果；

图8为本发明实施例1中grab-cut法的预处理结果；

图9为本发明实施例1中填充缺失部分标签的流程图；

图10为本发明实施例1中单个实例经过融合处理后的标签结果；

图11为本发明实施例1中融合处理后得到的最终实例分割结果。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。

本发明提供的一种融合深度学习与传统处理的高精度图像实例分割方法，如图1所示，包括如下步骤：

S1：利用深度学习实例分割网络对原始图像进行实例分割，并对分割后的图像进行预处理，得到多张包含单个实例的第一标签图像；其中，不同第一标签图像包含的实例不同；

S2：利用传统图像处理算法对原始图像进行处理，并对处理后的图像进行预处理，得到多张第二标签图像；

S3：对于每个实例，选择与第一标签图像中的前景物体重合像素点最多的第二标签图像；

S4：对于每个实例，利用选出的第二标签图像与对应的第一标签图像进行融合修正；

S5：将所有实例的融合修正结果进行融合，得到原始图像的实例分割结果。

下面通过一个具体的实施例对本发明提供的上述融合深度学习与传统处理的高精度图像实例分割方法的具体实施进行详细说明。

实施例1：

第一步，利用深度学习实例分割网络对原始图像进行实例分割，并对分割后的图像进行预处理，得到多张包含单个实例的第一标签图像。具体通过以下方式来实现：

(1)设定深度学习实例分割网络的参数，利用数据集对深度学习实例分割网络进行训练，利用训练好的模型对原始图像进行实例分割。

具体地，本发明实施例1采用Mask R-CNN算法，Mask R-CNN算法属于常用的实例分割深度学习算法，能够为图像中的实例生成边缘框并完成像素级识别目标轮廓的任务，主要包含骨干网络、区域提议网络、感兴趣区域(ROI)分类器和边缘框回归、感兴趣区域池化、对物体进行像素级分割掩码等部分。Mask R-CNN算法是专为精度而设计的非轻量型网络，小型GPU训练可能会因内存不足而失败。理想情况下，需要使用12GB或更高的GPU。较小的GPU可以通过调整其他设置完成训练，如骨干网络类别、每个GPU处理图像数量、ROI以及最大实例数等，需要根据实际情况来评估每项更改的影响后再做选择。

具体地，可以在COCO数据集上训练Mask R-CNN算法，COCO数据集是微软发布的91类物体检测与实例分割数据库，每类图像数量多，可以提供图片、物体检测、实例分割和语义文本描述信息等。利用训练好的模型对原始图像进行实例分割，原始图像如图2所示，实例分割结果如图3所示。

在用深度学习实例分割网络得到实例分割图像后，首先需要知道一些关于实例分割图像的信息，比如实例的数量及其占用的具体像素。同时，需要对实例分割图像进行进一步的处理，使其适合后续的标签融合。下面介绍如何对实例分割图像进行预处理。

(2)计算实例的数量，将不同实例的标签进行分离，得到多张包含单个实例的第一标签图像；其中，每个第一标签图像中的前景为白色且背景为黑色。

(3)对每张第一标签图像进行膨胀和腐蚀操作，减少由于分割错误造成的孔洞或额外的点。

(4)为了便于后续的标签融合，分别将各第一标签图像中的前景标签像素值修改为a，a为正整数且1≤a≤60。本发明实施例1选择a＝60。如图4中的(a)和(b)所示，分别为两个实例的第一标签图像。

第二步，利用传统图像处理算法对原始图像进行处理，并对处理后的图像进行预处理，得到多张第二标签图像。具体通过以下方式来实现：

(1)分别利用轮廓检测法、K-means法和grab-cut法对原始图像进行处理。

具体地，轮廓检测法、K-means法和grab-cut法分别属于不同的图像处理方法，轮廓检测法是基于物体边缘查找的分割方法，K-means法是基于颜色聚类的分割方法，grab-cut法是基于图划分的分割方法。不同的方法具有不同的特点。例如，轮廓检测法和grab-cut法适用于单体提取，K-means法适用于颜色特征明显的物体。下面分别对这三种方法进行详细介绍。

轮廓检测法对像素值的变化非常敏感，一点细小的差距都容易被检测到，因此，为了提取出主要单体，需要先对原始图像进行模糊处理，从大量的轮廓中选取主要轮廓。轮廓检测法通常用于灰度图像，在医学图像中非常常见。

K-means法是一种基于聚类的方法，对像素值非常敏感，因此，为了提取出主要单体，首先，需要对原始图像进行模糊处理，并给出聚类簇的数量(假设聚类簇的数量为k，本发明实施例1设置k＝3)，在模糊处理后的图像中随机选取k个位置的像素点作为中心点；然后，将图像中的每个像素点分配到最近的中心点形成k个聚类簇，通过计算每个聚类簇中所有像素点的质心更新该聚类簇的中心点的位置；重复分配像素点和更新中心点的过程，直到达到停止条件，即形成k类不同颜色的簇。

grab-cut法是一种迭代交互式分割方法，在处理原始图像之前，需要设置迭代时间并输入实例的近似位置(即实例的外部边界框)，通常认为边界框中的像素包含了主要对象和背景。可以使用第一步中深度学习实例分割结果得到的每个实例的外接矩形经扩大后作为边界框，设置合适的迭代次数(本发明实施例1选择20次)，对不同的实例依次进行迭代，得到最终的分割结果。

上述三种传统图像处理算法的结果如图5所示，其中，轮廓检测法的结果如图5中的(a)所示，K-means法的结果如图5中的(b)所示，grab-cut法有两个实例，结果分别如图5中的(c)和(d)所示。

由于不同传统图像处理算法的输出结果差异较大，因此，对每种输出结果的预处理方法也不同。下面分别对上述三种方法的输出结果的预处理方法进行详细介绍。

(2)对于轮廓检测法处理后的图像，计算每个轮廓的长度，删除长度小于原始图像的长宽之和的5％的轮廓，分别将轮廓内和轮廓外作为前景进行填充，得到两张第二标签图像，每张第二标签图像中的前景为白色且背景为黑色，分别对两张第二标签图像的连通域进行计数，分别将两张第二标签图像的前景标签像素值修改为b，b为正整数且60<b≤120。本发明实施例1选择b＝120。如图6中的(a)为以轮廓内作为前景进行填充的预处理结果，如图6中的(b)为以轮廓外作为前景进行填充的预处理结果。

(3)对于K-means法处理后的图像，将不同颜色的标签分开，得到多张包含单个颜色的第二标签图像，调整每张第二标签图像中的前景为白色且背景为黑色，分别对各第二标签图像的连通域进行计数，分别将各第二标签图像的前景标签像素值修改为b，b为正整数且60<b≤120，得到不同聚类的第二标签图像。本发明实施例1选择b＝120。如图7中的(a)、(b)和(c)所示，分别为K-means法不同聚类即三种颜色(即图5(b)图中的浅灰、中灰和深灰)的预处理结果。

(4)对于grab-cut法处理后的图像，将每个边界框得到的第二标签图像的前景转换为白色且背景转换为黑色，对每张第二标签图像进行膨胀和腐蚀操作，减少由于分割错误造成的孔洞或额外的点，分别将各第二标签图像的前景标签像素值修改为b，b为正整数且60<b≤120；其中，将深度学习实例分割得到的每个实例的外接矩形，每个边分别外扩原始图像的长宽之和的1％，作为边界框，即每个边增大原始图像的长宽之和的2％，且外接矩形的中心不变。本发明实施例1选择b＝120。如图8中的(a)和(b)所示，分别为grab-cut法不同实例预处理结果。

第三步，对于每个实例，选择与第一标签图像中的前景物体重合像素点最多的第二标签图像。

具体地，对于每个实例，计算各第二标签图像与第一标签图像中的前景物体重合像素点的数量，选择前景物体重合像素点最多的第二标签图像，可用于进一步的标签融合；具体地，如图4中的(a)所示的第一标签图像，经计算后，图8中的(a)所示的基于grab-cut法的第二标签图像与上述第一标签图像中的前景物体重合的像素点最多。

第四步，对于每个实例，利用选出的第二标签图像与对应的第一标签图像进行融合修正。具体通过以下方式来实现：

(1)判断第一标签图像中的实例是否被选出的第二标签图像识别；若是，则直接执行步骤(2)；若否，则将融合标签中对应第一标签图像中实例处的像素值调整为a+b后，再执行步骤(2)。

具体地，将第一标签图像与第二标签图像中对应像素点的像素值叠加作为最初的融合标签图像。在每个融合标签图像中，有四种像素值(0，a，b，a+b)。像素值为0表示该像素点在第一标签图像和第二标签图像中均为背景，像素值为a+b表示该像素点在第一标签图像和第二标签图像中均为前景，像素值为a或b表示仅在一张标签图像中为前景且需要进一步确定。下面以第一标签图像中的实例为基础，判断第二标签图像与第一标签图像之间的相似性，即判断第一标签图像中的实例是否被选出的第二标签图像识别，本发明实施例1使用AOR(A-based overlap ratio)作为指标，AOR值的计算方式为：

AOR＝nab/na (1)

其中，nab表示融合标签图像中像素值为a+b的像素个数，na表示第一标签图像中像素值为a的像素个数。当第一标签图像中的某个实例的AOR值小于0.6时，认为该实例不被选出的第二标签图像识别，此时，将融合标签中对应第一标签图像中实例处的像素值调整为a+b后，再执行步骤(2)；当第一标签图像中的某个实例的AOR值大于或等于0.6时，认为该实例被选出的第二标签图像识别，直接执行步骤(2)。

(2)判断第二标签图像中是否存在与第一标签图像中的实例相似度达到阈值的实例；若是，则将融合标签中对应第二标签图像中实例处的像素值调整为a+b后，再执行步骤(3)；若否，则直接执行步骤(3)。

具体地，利用第二标签图像与第一标签图像中足够相似的实例来进行融合标签的进一步处理。为了判断第二标签图像中是否存在与第一标签图像中实例足够相似的实例，即判断第二标签图像中是否存在与第一标签图像中的实例相似度达到阈值的实例，本发明实施例1使用第二标签图像中单个连通域的BOR(B-based overlap ratio)作为指标，BOR值的计算方式为：

BOR＝cnab/cnb (2)

其中，cnb表示第二标签图像的单个连通域中像素值为b的像素个数，cnab表示融合标签图像中与第二标签图像的单个连通域对应位置处像素值为a+b的像素个数。当第二标签图像中某个连通域的BOR值小于0.8时，认为在第二标签图像的该连通域中有别的东西，此时不进行处理，直接执行步骤(3)。当第二标签图像中某个连通域的BOR值大于或等于0.8时，认为第二标签图像的该连通域与第一标签图像中对应的区域足够相似，此时，将融合标签中对应第二标签图像中实例处的像素值调整为a+b后，再执行步骤(3)。

为了避免第一标签图像中的实例虽被第二标签图像大体识别，但仍有小部分未出现在第二标签图像中的情况，需要在融合标签图像中进一步填充缺失的部分标签。具体操作为步骤(3)～步骤(6)，流程图如图9所示。

(3)将边长为原始图像短边1/40的方块沿融合标签图像中像素值为a+b区域的边界进行查找；判断位于当前位置的方块内是否存在像素值为0的背景(即像素值为0)；若是，则将方块移到下一位置，对下一位置进行判断；若否，则认为这是缺失的标签部分，将方块内原本不是a+b的像素点调整为a+b，并对调整后的像素点进行标记后，将方块移到下一位置，对下一位置进行判断；直至遍历完整个边界。

(4)判断是否存在被调整为a+b的像素点；若是，则重新选定方块的初始位置，沿着原有的和被调整的全部a+b区域的边界进行查找、调整和标记，直至遍历完整个边界，返回步骤(4)重新进行判断；若否，则执行步骤(5)；

(5)判断方块的边长是否大于或等于两个像素点的长度；若是，则将方块的边长减半，将边长减半后的方块沿着被调整为a+b的区域的边界进行查找、调整和标记，直至遍历完整个边界，返回步骤(5)重新进行判断；若否，则执行步骤(6)；

(6)在融合标签图像中，判断当前像素值为a的连通域周围的像素值是否只包含0和调整的a+b；若是，则将当前像素值为a的连通域的像素值全部更改为a+b后，对下一个像素值为a的连通域进行判断；若否，则直接对下一个像素值为a的连通域进行判断；直至遍历完所有像素值为a的连通域；

(7)在融合标签图像中，像素值为a+b的像素点为前景，修改前景标签为白色，其他像素值的像素点为背景，修改背景标签为黑色。

具体地，如图4中的(a)所示的第一标签图像，用第三步选出的图8中的(a)所示的基于grab-cut法的第二标签图像进行融合，经第四步后得到如图10所示的修正结果。

第五步，将所有实例的融合修正结果进行融合，得到原始图像的实例分割结果。

在第四步中，计算出深度学习不同实例的AOR值。对于不同实例，其AOR值也决定了其优先级，具有高AOR值的实例具有高优先级。当同一像素点被不同实例融合修正后的语义分割标签识别时，将该像素点认定为具有高优先级的实例的像素点。因此，可以根据优先级对所有实例的融合修正结果进行融合。具体地，可以将融合修正后的实例，按照AOR值由大到小的顺序依次加入实例分割结果中，得到最终的实例分割结果。

以图2为例，通过深度学习实例分割、传统图像处理分割、两种结果融合修正、融合不同实例标签结果等步骤，实现了融合深度学习实例分割与传统图像处理的高精度图像实例分割方法，最终得到的实例分割结果如图11所示。由图11可以看出，最终融合后得到的实例标签与原始图像更加吻合。

本发明提供的上述融合深度学习与传统处理的高精度图像实例分割方法，针对传统图像处理算法物体边缘分割效果好但语义信息不明确、深度学习实例分割语义信息明确但物体边缘效果差的问题，将传统的图像处理算法应用于深度学习实例分割结果，设计实现一种融合深度学习实例分割与传统图像处理的高精度图像实例分割方法，最终实现高精度的图像实例分割效果。以深度学习实例分割算法分割出的实例及其被识别的物体类别为基础，通过从不同的传统图像处理算法中找出分割结果与深度学习实例分割结果最相似的一种算法，将其结果与实例分割结果进行进一步的融合修正，这样，可以在保证物体初步分割及其语义信息识别的准确性的基础上，有效地改善和解决深度学习实例分割在目标边缘定位结果不理想及边界棱角较圆滑导致物体部分边缘信息识别有误的问题。并且，本发明是针对不同的实例选择合适的传统图像处理算法进行融合，这样，使得融合修正后的结果更接近真实情况。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种融合深度学习与传统处理的高精度图像实例分割方法，其特征在于，包括如下步骤：

S1：利用深度学习实例分割网络对原始图像进行实例分割，并对分割后的图像进行预处理，得到多张包含单个实例的第一标签图像；其中，不同第一标签图像包含的实例不同；

S2：利用传统图像处理算法对原始图像进行处理，并对处理后的图像进行预处理，得到多张第二标签图像；

S3：对于每个实例，选择与第一标签图像中的前景物体重合像素点最多的第二标签图像；

S4：对于每个实例，利用选出的第二标签图像与对应的第一标签图像进行融合修正；

S5：将所有实例的融合修正结果进行融合，得到原始图像的实例分割结果；

步骤S1，利用深度学习实例分割网络对原始图像进行实例分割，并对分割后的图像进行预处理，得到多张包含单个实例的第一标签图像，具体包括：

S11：设定深度学习实例分割网络的参数，利用数据集对深度学习实例分割网络进行训练，利用训练好的模型对原始图像进行实例分割；

S12：计算实例的数量，将不同实例的标签进行分离，得到多张包含单个实例的第一标签图像；其中，每个第一标签图像中的前景为白色且背景为黑色；

S13：对每张第一标签图像进行膨胀和腐蚀操作，减少由于分割错误造成的孔洞或额外的点；

S14：分别将各第一标签图像中的前景标签像素值修改为a，a为正整数且1≤a≤60；

步骤S2，利用传统图像处理算法对原始图像进行处理，并对处理后的图像进行预处理，得到多张第二标签图像，具体包括：

S21：分别利用轮廓检测法、K-means法和grab-cut法对原始图像进行处理；

S22：对于轮廓检测法处理后的图像，计算每个轮廓的长度，删除长度小于原始图像的长宽之和的5％的轮廓，分别将轮廓内和轮廓外作为前景进行填充，得到两张第二标签图像，每张第二标签图像中的前景为白色且背景为黑色，分别对两张第二标签图像的连通域进行计数，分别将两张第二标签图像的前景标签像素值修改为b，b为正整数且60<b≤120；

S23：对于K-means法处理后的图像，将不同颜色的标签分开，得到多张包含单个颜色的第二标签图像，调整每张第二标签图像中的前景为白色且背景为黑色，分别对各第二标签图像的连通域进行计数，分别将各第二标签图像的前景标签像素值修改为b，b为正整数且60<b≤120；

S24：对于grab-cut法处理后的图像，将每个边界框得到的第二标签图像的前景转换为白色且背景转换为黑色，对每张第二标签图像进行膨胀和腐蚀操作，减少由于分割错误造成的孔洞或额外的点，分别将各第二标签图像的前景标签像素值修改为b，b为正整数且60<b≤120；其中，将深度学习实例分割得到的每个实例的外接矩形，每个边分别外扩原始图像的长宽之和的1％，作为边界框。

2.如权利要求1所述的融合深度学习与传统处理的高精度图像实例分割方法，其特征在于，步骤S4，对于每个实例，利用选出的第二标签图像与对应的第一标签图像进行融合修正，具体包括：

S41：判断第一标签图像中的实例是否被选出的第二标签图像识别；若是，则直接执行步骤S42；若否，则将融合标签中对应第一标签图像中实例处的像素值调整为a+b后，再执行步骤S42；其中，将第一标签图像与第二标签图像中对应像素点的像素值叠加作为最初的融合标签图像；

S42：判断第二标签图像中是否存在与第一标签图像中的实例相似度达到阈值的实例；若是，则将融合标签中对应第二标签图像中实例处的像素值调整为a+b后，再执行步骤S43；若否，则直接执行步骤S43；

S43：将边长为原始图像短边1/40的方块沿融合标签图像中像素值为a+b区域的边界进行查找；判断位于当前位置的方块内是否存在像素值为0的背景；若是，则将方块移到下一位置，对下一位置进行判断；若否，则将方块内原本不是a+b的像素点调整为a+b，并对调整后的像素点进行标记后，将方块移到下一位置，对下一位置进行判断；直至遍历完整个边界；

S44：判断是否存在被调整为a+b的像素点；若是，则重新选定方块的初始位置，沿着原有的和被调整的全部a+b区域的边界进行查找、调整和标记，直至遍历完整个边界，返回步骤S44重新进行判断；若否，则执行步骤S45；

S45：判断方块的边长是否大于或等于两个像素点的长度；若是，则将方块的边长减半，将边长减半后的方块沿着被调整为a+b的区域的边界进行查找、调整和标记，直至遍历完整个边界，返回步骤S45重新进行判断；若否，则执行步骤S46；

S46：在融合标签图像中，判断当前像素值为a的连通域周围的像素值是否只包含0和调整的a+b；若是，则将当前像素值为a的连通域的像素值全部更改为a+b后，对下一个像素值为a的连通域进行判断；若否，则直接对下一个像素值为a的连通域进行判断；直至遍历完所有像素值为a的连通域；

S47：在融合标签图像中，像素值为a+b的像素点为前景，修改前景标签为白色，其他像素值的像素点为背景，修改背景标签为黑色。

3.如权利要求2所述的融合深度学习与传统处理的高精度图像实例分割方法，其特征在于，步骤S41，判断第一标签图像中的实例是否被选出的第二标签图像识别，具体包括：

判断第一标签图像中的实例的AOR值是否大于或等于0.6；其中，第一标签图像中的实例的AOR值的计算方式如下：

AOR＝nab/na(1)

其中，nab表示融合标签图像中像素值为a+b的像素个数，na表示第一标签图像中像素值为a的像素个数。

4.如权利要求3所述的融合深度学习与传统处理的高精度图像实例分割方法，其特征在于，步骤S42，判断第二标签图像中是否存在与第一标签图像中的实例相似度达到阈值的实例，具体包括：

判断第二标签图像中单个连通域的BOR值是否大于或等于0.8；其中，第二标签图像中单个连通域的BOR值的计算方式如下：

BOR＝cnab/cnb(2)

其中，cnb表示第二标签图像的单个连通域中像素值为b的像素个数，cnab表示融合标签图像中与第二标签图像的单个连通域对应位置处像素值为a+b的像素个数。

5.如权利要求4所述的融合深度学习与传统处理的高精度图像实例分割方法，其特征在于，步骤S5，将所有实例的融合修正结果进行融合，得到原始图像的实例分割结果，具体包括：

将融合修正后的实例，按照AOR值由大到小的顺序依次加入实例分割结果中，得到最终的实例分割结果。

Images