CN112164087A - 基于边缘约束和分割边界搜索的超像素分割方法及装置 - Google Patents

Abstract

本发明公开了一种基于边缘约束和分割边界搜索的超像素分割方法及装置，涉及合成孔径雷达图像处理领域。该方法包括：通过基于矩形窗的比率边缘检测算子对目标图像进行边缘检测，确定目标图像中每个像素点的边缘信息；对目标图像进行超像素分割，将目标图像分割成预设数量的超像素块；根据边缘信息对每个超像素块内的像素点进行分割边界搜索，对每个超像素块内的像素点的标签进行更新；重复上述步骤直到预设迭代次数。本发明提高了超像素分割的精度和效率，并且对于包含复杂场景和低对比度区域的图像，也能进进行高效和高精度的分割，并且图像中的细节能够得到很好的保留。

Description

基于边缘约束和分割边界搜索的超像素分割方法及装置

技术领域

本发明涉及合成孔径雷达图像处理领域，尤其涉及一种基于边缘约束和分割边界搜索的超像素分割方法及装置。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)是一种主动式微波遥感设备，它能够全天时全天候地对观测区域进行高分辨率成像。随着SAR技术的快速发展，亟需高效率高精度的SAR图像处理方法对海量的SAR图像进行自动化地解译。SAR图像超像素分割作为SAR图像解译中的一种重要的预处理技术，被广泛利用于SAR图像分割、目标识别、变化检测和地物分类等应用中。

目前，通常使用基于像素灰度和位置相似性的SAR图像超像素分割方法进行图像的超像素分割，该方法采用像素灰度和位置定义像素间的相似度，再采用改进的K均值聚类方法进行迭代聚类，最终实现对SAR图像的超像素分割，该方法仅利用了SAR图像中像素点的灰度信息和空间位置信息进行超像素分割，需要多次迭代，存在效率低、超像素分割精度低的问题。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于边缘约束和分割边界搜索的超像素分割方法及装置。

本发明解决上述技术问题的技术方案如下：

一种基于边缘约束和分割边界搜索的超像素分割方法，包括：

步骤1，通过基于矩形窗的比率边缘检测算子对目标图像进行边缘检测，确定所述目标图像中每个像素点的边缘信息；

步骤2，对所述目标图像进行超像素分割，将所述目标图像分割成预设数量的超像素块；

步骤3，根据所述边缘信息对每个所述超像素块内的像素点进行分割边界搜索，对每个所述超像素块内的像素点的标签进行更新；

步骤4，重复步骤1至步骤3，直到预设迭代次数。

本发明解决上述技术问题的另一种技术方案如下：

一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述技术方案所述的基于边缘约束和分割边界搜索的超像素分割方法。

本发明解决上述技术问题的另一种技术方案如下：

一种基于边缘约束和分割边界搜索的超像素分割装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，实现如上述技术方案所述的基于边缘约束和分割边界搜索的超像素分割方法。

本发明的有益效果是：本发明提供的超像素分割方法，基于边缘约束和分割边界搜索实现，通过预先对目标图像进行边缘检测，使图像中的像素点带有边缘信息，然后进行超像素块的初步分割，再根据边缘信息通过分割边界搜索，根据边缘约束更新每个像素所属的超像素块，从而实现超像素分割，提高了超像素分割的精度和效率，并且对于包含复杂场景和低对比度区域的图像，也能进进行高效和高精度的分割，并且图像中的细节能够得到很好的保留。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明超像素分割方法的实施例提供的流程示意图；

图2为本发明超像素分割方法的实施例提供的超像素块预分割示意图；

图3为本发明超像素分割方法的实施例提供的超像素块更新示意图；

图4为本发明超像素分割方法的其他实施例提供的矩形窗示意图；

图5为本发明超像素分割方法的其他实施例提供的标签更新流程示意图；

图6为本发明超像素分割方法的其他实施例提供的机载Ka-SAR图像示意图；

图7为本发明超像素分割方法的其他实施例提供的超像素分割结果示意图；

图8为本发明超像素分割方法的其他实施例提供的超像素分割结果评价指标示意图；

图9为本发明超像素分割装置的实施例提供的结构框架示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

本发明提供的超像素分割方法可以适用于各个领域的图像处理，尤其是Ka-SAR图像和复杂图像，下面具体说明。

如图1所示，为本发明超像素分割方法的实施例提供的流程示意图，该方法基于边缘约束和分割边界搜索实现，包括：

S1，通过基于矩形窗的比率边缘检测算子对目标图像进行边缘检测，确定目标图像中每个像素点的边缘信息。

需要说明的是，边缘信息包括边缘强度和边缘方向，某个像素点的边缘强度值越大，说明该像素点是边缘的可能性越高。

可以通过不同的角度转动矩形窗，在不同方向上计算矩形窗内所包含的像素点的灰度均值的比率，在所有的方向中，最小的比率即为该像素点的边缘强度，最小的比率的方向即为边缘方向。

应理解，矩形窗的大小、转动的角度的大小等可以根据实际需求设置，在此不再赘述。

S2，对目标图像进行超像素分割，将目标图像分割成预设数量的超像素块。

需要说明的是，这里进行超像素分割只是预分割，不代表最终的分割结果，本领域技术人员可以根据实际需求选择分割方法，例如，可以设置生成的超像素点的数量，对目标图像进行空间上的均匀采样，生成相应数量的超像素块，并初始化每个超像素块的标签，使每个超像素块中的全部像素点具有相同的标签。

例如，如图2所示，图中的黑点为像素点，共有4*4个像素点，假设需要预先生成4个超像素块，那么可以进行均匀采样，采样4个像素点，虚框内的像素点为采样点，根据采样点生成4个超像素块，超像素块的范围如实框所示，每个超像素块中包含4个像素点。

需要说明的是，具体设置多少超像素块，是根据图像的复杂程度、大小和实际需求决定的，这是本领域技术人员可以根据实际需求选择的，在此不再赘述。

又例如，本发明还可以采用其他特定的采样方式，例如，以Ka-SAR图像为例，图像中的场景可能存在复杂场景和简单场景，复杂场景可以为街道、城市建筑群等，简单场景可以为草原等，那么为了进一步提高分割效率和精度，本领域技术人员也可以在图像中的复杂场景部分预先分割多个超像素块，在简单场景部分预先分割成少量的超像素块。

应理解，像素点的标签可以理解为像素点的序号，例如，如图2所示，左上角4个像素点的超像素标签可以为1，右上角4个像素点的超像素标签可以为2，同理，左下角4个像素点的超像素标签可以为3，右下角4个像素点的超像素标签可以为4。

S3，根据边缘信息对每个超像素块内的像素点进行分割边界搜索，对每个超像素块内的像素点的标签进行更新。

具体地，可以计算当前超像素块内的像素点与其所属的超像素块中心的带有边缘约束的相异度，然后根据相异度判断该像素点是否划分到其他的超像素块内，从而对其标签进行更新。

应理解，超像素块的中心可以为中心处的像素点，对于不规则的超像素块或者中心具有多个像素点的情况，可以根据预先约定选择中心。

应理解，由于相异度的计算中引入了边缘约束，因此当一个像素点与其所属超像素块中心的相异度大于该像素点与其相邻的超像素块中心的相异度时，可以将该像素点的标签更新为该相邻的超像素块中心的标签，从而实现像素点的标签进行更新。

应理解，对于处于超像素块边缘的像素点而言，与其相邻的像素点可能属于多个超像素块，如图3a所示，像素点N0具有相邻的4个像素点，分别是N1、N2、N3和N4，其中，像素点N1、N2与像素点N0属于同一个超像素块，即K1超像素块，像素点N3属于K2超像素块，像素点N4属于K3超像素块，那么可以分别计算像素点N0与像素点N3之间的相异度D1，以及像素点N0与像素点N4之间的相异度D2，相异度越小表明相似性越大，那么可以比较相异度D1和D2的大小，将像素点N0归为相异度较小的超像素块中。例如，假设D1＜D2，那么如图3b所示，可以将像素点N0归入K2超像素块，标签更新为K2超像素块内像素点的标签。

需要说明的是，由于处于超像素块边缘的像素点才需要更新，因此，可以规定预先判断待更新的像素点是否与其邻域的任一像素标签不一致，如果不一致，再进行更新，从而能够提高分割的效率。

需要说明的是，由于像素点是以矩阵的形式排布的，因此，对于某个像素点而言，其领域可以理解为上下左右预期紧邻的4个像素点。

应理解，更新后的超像素块如图3b所示，超像素块的形状发生改变，那么可以根据预设的规定更新K1超像素块和K2超像素块的中心。

遍历每个超像素块，分别对每个超像素块中的像素进点行分割边界搜索处理，完成一次完整的迭代。

S4，重复步骤S1至步骤S3，直到预设迭代次数。

需要说明的是，迭代次数可以根据实际需求设置。

本实施例提供的超像素分割方法，基于边缘约束和分割边界搜索实现，通过预先对目标图像进行边缘检测，使图像中的像素点带有边缘信息，然后进行超像素块的初步分割，再根据边缘信息通过分割边界搜索，根据边缘约束更新每个像素所属的超像素块，从而实现超像素分割，提高了超像素分割的精度和效率，并且对于包含复杂场景和低对比度区域的图像，也能进进行高效和高精度的分割，并且图像中的细节能够得到很好的保留。本发明采用基于矩形窗的比率算子对图像进行边缘检测，将得到的图像引入到超像素分割中，定义了带有边缘约束的像素相异度，从而直接利用了图像边缘信息，提高了超像素分割对图像边缘的贴合度。分割边界搜索充分利用了图像的局部信息和像素间的连续性信息，得到的超像素分割结果无需后处理

可选地，在一些可能的实施方式中，步骤S1具体包括：

以第i个像素点为中心，设置对称的两个矩形窗，以预设的角度转动两个矩形窗，在不同的方向上计算两个矩形窗内包含的全部的像素点的灰度均值的比率，根据比率确定第i个像素点的边缘强度和边缘方向；

其中，i＝1，2，...，N，N为目标图像中的像素点的数量，重复上述步骤，遍历每个像素点。

如图4所示，给出了一种示例性的矩形窗示意图，l_f为子矩形窗长度，w_f为子矩形窗宽度，d_f为两个子矩形窗的间距，θ_f为子矩形窗转动角度，这些参数的具体数值都可以根据实际需求设置。

可选地，在一些可能的实施方式中，可以根据以下公式计算两个矩形窗内包含的全部的像素点的灰度均值的比率R(x，y)：

根据以下公式计算第i个像素点的边缘强度ES(x，y)：

ES(x，y)＝1-R(x，y)

其中，(x，y)为第i个像素点的坐标，θ_f为矩形窗的转动角度，θ_f＝0，2π/F，...，2π(F-1)/F，F为预设的角度的数量，W₁为第一个矩形窗，W₂为第二个矩形窗，W₁(x，y|θ_f)表示在θ_f方向上W₁矩形窗内的所有像素点的灰度均值。

应理解，比率最小的值的方向即为边缘方向。

可选地，通过设置磁滞门限法可获得最终的目标图像边缘。

可选地，在一些可能的实施方式中，如图5所示，步骤S3具体包括：

S31，确定每个超像素块的中心；

S32，分别计算第k个超像素块中的每个像素点与第k个超像素块的中心的带有边缘约束的第一相异度；

S33，根据第一相异度对第k个超像素块中的每个像素点的标签进行更新；

S34，重复步骤S31至步骤S33，直到全部超像素块中的像素点均被遍历；

其中，k＝1，2，...，K，K为超像素块的数量，重复上述步骤，直到全部超像素块被遍历。

需要说明的是，相异度中包含有边缘约束信息，因此可以将与超像素块中心的相异度数值过大的像素点的标签更新为临近超像素块的标签，具体的相异度数值标准可以根据实际需求设置。

应理解，对标签的更新可以包括：保持原始标签或变更为其他超像素块的标签。

可选地，在一些可能的实施方式中，可以根据以下公式计算第一相异度D(a，b)：

D(a，b)＝D_i(a，b)+ω·D_s(a，b)+100·EC(a，b)

其中，D_i(a，b)为像素点a与像素点b的灰度相异度，D_s(a，b)为像素点a与像素点b的空间相异度，为权重因子，EC(a，b)为边缘约束项。

可选地，以SAR图像为例，可以根据以下公式计算D_i(a，b)、D_s(a，b)和EC(a，b)。

其中，以像素点a为例，x_a和y_a为像素点a的空间位置，I(a)为像素a的灰度，x_b和y_b为像素点b的空间位置，I(b)为像素b的灰度，ENL为SAR图像的等效视数。

可选地，在一些可能的实施方式中，步骤S33具体包括：

按照第一相异度从大到小的顺序进行排序，根据排序依次对第k个超像素块中的每个像素点的标签进行更新。

超像素块内相异度越大的像素点划归到别的超像素块的可能性越大，因此，通过排序规定超像素块内像素点的处理顺序，先对相异度大的像素进行处理，能够提高处理效率。

可选地，在一些可能的实施方式中，步骤S33具体包括：

判断第j个像素点的标签与其领域内的任一像素点的标签是否相同，如果不同，则计算第j个像素点与标签不同的像素点所属的超像素块的中心的带有边缘约束的第二相异度，如果第二相异度小于第一相异度，则第j个像素点的标签更新为标签不同的像素点的标签；

其中，j＝1,2,…,M，M为第k个超像素块包含的像素点的数量。

应理解，领域可以理解为与该像素点紧邻的上下左右4个像素点，如果标签不同，说明两个像素点处于不同的超像素块内，对于其中一个像素点，存在更新的可能性。

由于可能存在多个标签不同的像素点，因此，可以将第j个像素点的标签更新为第二相异度最小的像素点的标签。

可选地，以像素点a为例，可以通过以下公式计算更新后的标签L_a：

其中，a_neig表示像素点a的邻域内的4个像素点，

表示像素点b所属的超像素块的中心，

表示像素点a与像素点b所属的超像素块的中心的相异度，L_b为像素点b的标签，此时，像素点b可以理解为超像素块的中心。

通过只对分割边界上的像素进行标签更新，并实时更新超像素中心，计算量小，收敛快，提高了超像素分割效率和分割精度。

可选地，在一些可能的实施方式中，步骤S33还可以包括：

对第k个超像素块的中心进行更新，对标签不同的像素点所属的超像素块的中心进行更新。

应理解，如图3b所示，像素点的标签更新后，相应的超像素块的范围也发生了改变，因此需要对超像素块的中心进行更新。

继续以像素点a为例，假设其标签的数值由k1更新到了k2，那么标签k1对应的超像素块的中心C_k1可以采用以下公式更新：

标签k2对应的超像素块的中心C_k2可以采用以下公式更新：

其中，|k1|表示标签k1对应的超像素块内的像素个数，|k2|表示标签k2对应的超像素块内的像素个数，x_a和y_a为像素点a的坐标，I_a为像素点a的灰度值，

表示标签k1对应的超像素块的原始中心，

表示标签k2对应的超像素块的原始中心。

为进一步说明本发明的效果，下面结合实例进行说明。

可选地，选取实测Ka-SAR图像对本发明的有益效果进行验证。选取一幅机载Ka-SAR图像，如图6a所示，大小为625*625，分辨率为1.2m。可选地，可以人工首先提取出SAR图像的边缘，提取后的效果如图6b所示，用以定量评估超像素分割方法的性能。在本实施例中，可以设置子矩形窗宽度w＝7，子矩形窗长度l＝6，子矩形窗间距d＝1，方向个数F＝8，设置迭代次数为2，权重因子为0.4，超像素个数设置为3000。

经过本发明的方法处理，得到超像素分割结果，图7为对Ka-SAR图像的超像素分割结果图，图7的左半部分为超像素分割结果图，右半部分为每个像素为所属的超像素分割块中所有像素灰度值的均值。从图7可以看出，本方法的超像素分割结果很好地贴合了Ka-SAR图像的边缘，特别在低对比度的区域，道路、农田的细节信息得到了保留。

可选地，可以选取边缘召回率和欠分割错误率两个评价指标来定量评估发明的超像素分割性能，边缘召回率越高、欠分割错误率越低则说明超像素分割精度越高。图8a为边界召回率示意图，图8b为欠分割错误率示意图，由图8可看出，对于Ka-SAR图像，随着超像素分割块数的增加，超像素分割的边缘召回率不断提高，欠分割错误率不断下降，验证了所提方法的正确性和有效性。

可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。

在本发明的其他实施方式中，还提供一种存储介质，存储介质中存储有指令，当计算机读取指令时，使计算机执行如上述任意实施方式的组合公开的基于边缘约束和分割边界搜索的超像素分割方法。

如图9所示，为本发明超像素分割装置的实施例提供的结构框架示意图，该装置包括：

存储器1，用于存储计算机程序；

处理器2，用于执行计算机程序，实现如上述任意实施方式的组合公开的基于边缘约束和分割边界搜索的超像素分割方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。

上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于边缘约束和分割边界搜索的超像素分割方法，其特征在于，包括：

步骤1，通过基于矩形窗的比率边缘检测算子对目标图像进行边缘检测，确定所述目标图像中每个像素点的边缘信息；

步骤2，对所述目标图像进行超像素分割，将所述目标图像分割成预设数量的超像素块；

步骤3，根据所述边缘信息对每个所述超像素块内的像素点进行分割边界搜索，对每个所述超像素块内的像素点的标签进行更新；

步骤4，重复步骤1至步骤3，直到预设迭代次数。

2.根据权利要求1所述的基于边缘约束和分割边界搜索的超像素分割方法，其特征在于，步骤1具体包括：

以第i个像素点为中心，设置对称的两个矩形窗，以预设的角度转动两个所述矩形窗，在不同的方向上计算两个所述矩形窗内包含的全部的像素点的灰度均值的比率，根据所述比率确定所述第i个像素点的边缘强度和边缘方向；

其中，i＝1,2,…,N，N为所述目标图像中的像素点的数量。

3.根据权利要求2所述的基于边缘约束和分割边界搜索的超像素分割方法，其特征在于，根据以下公式计算两个所述矩形窗内包含的全部的像素点的灰度均值的比率R(x,y)：

根据以下公式计算所述第i个像素点的边缘强度ES(x,y)：

ES(x，y)＝1-R(x，y)

其中，(x,y)为第i个像素点的坐标，θ_f为矩形窗的转动角度，θ_f＝0，2π/F，...，2π(F-1)/F，F为预设的角度的数量，W₁为第一个矩形窗，W₂为第二个矩形窗，W₁(x,y|θ_f)表示在θ_f方向上W₁矩形窗内的所有像素点的灰度均值。

4.根据权利要求1至3中任一项所述的基于边缘约束和分割边界搜索的超像素分割方法，其特征在于，步骤3具体包括：

步骤31，确定每个所述超像素块的中心；

步骤32，分别计算第k个超像素块中的每个像素点与所述第k个超像素块的中心的带有边缘约束的第一相异度；

步骤33，根据所述第一相异度对所述第k个超像素块中的每个像素点的标签进行更新；

步骤34，重复步骤31至步骤33，直到全部超像素块中的像素点均被遍历；

其中，k＝1,2,…,K，K为超像素块的数量。

5.根据权利要求4所述的基于边缘约束和分割边界搜索的超像素分割方法，其特征在于，根据以下公式计算所述第一相异度D(a,b)：

D(a，b)＝D_i(a，b)+ω·D_s(a，b)+100·EC(a，b)

其中，D_i(a，b)为像素点a与像素点b的灰度相异度，D_s(a，b)为像素点a与像素点b的空间相异度，为权重因子，EC(a，b)为边缘约束项。

6.根据权利要求4所述的基于边缘约束和分割边界搜索的超像素分割方法，其特征在于，步骤33具体包括：

按照所述第一相异度从大到小的顺序进行排序，根据排序依次对所述第k个超像素块中的每个像素点的标签进行更新。

7.根据权利要求4所述的基于边缘约束和分割边界搜索的超像素分割方法，其特征在于，步骤33具体包括：

判断第j个像素点的标签与其领域内的任一像素点的标签是否相同，如果不同，则计算所述第j个像素点与标签不同的像素点所属的超像素块的中心的带有边缘约束的第二相异度，如果所述第二相异度小于所述第一相异度，则所述第j个像素点的标签更新为所述标签不同的像素点的标签；

其中，j＝1,2,…,M，M为第k个超像素块包含的像素点的数量。

8.根据权利要求7所述的基于边缘约束和分割边界搜索的超像素分割方法，其特征在于，步骤33还包括：

对所述第k个超像素块的中心进行更新，对所述标签不同的像素点所属的超像素块的中心进行更新。

9.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至8中任一项所述的基于边缘约束和分割边界搜索的超像素分割方法。

10.一种基于边缘约束和分割边界搜索的超像素分割装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，实现如权利要求1至8中任一项所述的基于边缘约束和分割边界搜索的超像素分割方法。

Images