CN111260596A - 一种具有抗噪的快速图像超像素自动生成方法，设备以及可读存储介质 - Google Patents

Abstract

本发明提供一种具有抗噪的快速图像超像素自动生成方法，设备以及可读存储介质，获取待处理图像，对图像进行像素点聚类；按照预设的顺序，扫描图像中的每个像素点，选择种子点；将种子点按照预设规则进行生长，形成一个初始区域；遍历图像所有像素点，对所有像素点配置标签，得到图像初始的区域划分；对图像中的初始区域进行合并；生成最终的超像素分割图像。整个方法除了预期超像素数目需要用户指定外，其余参数都根据图像内容自适应计算，避免了人工干预。在整个过程中，像素点均只被处理一次，全程不含有迭代过程。两个阶段均可从正反两个方向同时并行，因此耗时短、效率高。

Description

一种具有抗噪的快速图像超像素自动生成方法，设备以及可 读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种具有抗噪的快速图像超像素自动生成方法，设备以及可读存储介质。

背景技术

图像超像素分割常常作为图像处理中的预处理步骤，它将具有相似属性的像素点聚集为一个整体，作为后续图像处理算法的基本处理单元。相比于像素点，超像素对提高图像处理算法的效率有很大的促进作用。超像素生成方法也受到了学术与工业界大量人士的关注。作为一种预处理方法，生成的超像素要有足够的准确性，如保持图像的主要边界信息；其生成过程速度要足够快；同时还要能抵抗一定的噪声干扰。

目前超像素生成方法主要包括基于聚类的方法、基于图的方法和基于深度学习的方法，其中绝大多数算法都是针对不含噪声的彩色图像而设计，这就导致对于含噪声的图像效果欠佳。同时很多算法都需要迭代多次才能获得较好的超像素结果，这就使得算法效率较低。因此亟需设计一种能保证超像素准确性，且具有抗噪能力的高效方法。

发明内容

为了克服上述现有技术中的不足，本发明提供一种同时具有高准确性、抗噪性、高效性即耗时短的图像超像素生成方法，方法包括：

S1,获取待处理图像，对图像进行像素点聚类；

S11,按照预设的顺序，扫描图像中的每个像素点，选择种子点；

S12,将种子点按照预设规则进行生长，形成一个超像素区域；

S13,遍历图像所有像素点，对所有像素点配置标签，得到图像初始的区域划分；

S2,对图像中的初始区域进行合并；

对于满足预设合并条件的超像素区域，进行合并，直到图像中总的超像素区域个数小于等于K，满足预设条件；

S3,生成最终的超像素分割图像。

本发明还提供一种实现具有抗噪的快速图像超像素自动生成方法的设备，包括：存储器，用于存储计算机程序及具有抗噪的快速图像超像素自动生成方法；处理器，用于执行所述计算机程序及具有抗噪的快速图像超像素自动生成方法，以实现具有抗噪的快速图像超像素自动生成方法的步骤。

本发明还提供一种具有抗噪的快速图像超像素自动生成方法的可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现具有抗噪的快速图像超像素自动生成方法的步骤。

从以上技术方案可以看出，本发明具有以下优点：

本发明提出的具有抗噪的快速图像超像素自动生成方法可以自适应的将输入图像I划分为超像素。在像素点聚类阶段，可采用从左上角像素点和右下角像素点同时进行；在区域合并阶段，可采用从标签为1的超像素和标签为num_s的超像素同时并行开始遍历。进而将整个过程耗时进一步缩短，提高效率。

整个方法除了预期超像素数目K需要用户指定外，其余参数都根据图像内容自适应计算，避免了人工干预。

本发明涉及的方法在整个过程中，像素点均只被处理一次，全程不含有迭代过程。两个阶段均可从正反两个方向同时并行，因此耗时短、效率高。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为具有抗噪的快速图像超像素自动生成方法流程图；

图2为像素点聚类阶段的生长策略图；

图3为像素点q_i到区域中心C_k的直线路径示意图；

图4为像素点聚类阶段流程图；

图5为不含噪声的图像示例图；

图6为与图5相匹配的对于不含噪声的图像，基于超像素处理后保持图像边界的示例图；

图7为含有高斯噪声的图像示例图；

图8为与图7相匹配的对于含有高斯噪声的图像，基于超像素处理后保持图像边界的示例图；

图9为具有椒盐噪声的图像的示例图；

图10为与图9相匹配的具有椒盐噪声图像，基于超像素处理后保持图像边界的示例图。

具体实施方式

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

本发明提供一种具有抗噪的快速图像超像素自动生成方法，如图1至4所示，方法包括：

S1,获取待处理图像，对图像进行像素点聚类；

S11,按照预设的顺序，扫描图像中的每个像素点，选择种子点；

S12,将种子点按照预设规则进行生长，形成一个超像素区域；

S13,遍历图像所有像素点，对所有像素点配置标签，得到图像初始的区域划分；

S2,对图像中的初始区域进行合并；

对于满足预设合并条件的初始区域，进行合并，直到图像中总的超像素区域个数小于等于K，满足预设条件；

S3,生成最终的超像素分割图像。

对于本发明涉及的具有抗噪的快速图像超像素自动生成方法中，为了达到抗噪性的目的，在像素点聚类阶段，利用高斯滤波获得中间图像，进而计算得到针对输入图像的特定阈值；在计算像素点与超像素区域中心距离时，综合考虑了二者直线路径上的颜色与梯度变化，以及像素点与其相邻已标记像素的颜色和梯度信息。

为了实现准确性目标，设计了图像边缘概率图的计算方法，并将其融合到像素点与超像素区域中心距离计算公式的设计中，进而保证了生成超像素的准确性。

为了能够进一步说明本方法的实施过程，下面以具体的实施方式进行说明：

输入图像I，含有N个像素点，预期超像素的个数为K个。将图像划分为超像素即是将图像I划分为K个不相交的区域，即I＝{S_k|k＝1,2,…,K}且

每个像素点p，位置坐标向量为P_p＝(x_p,y_p)，颜色向量为C_p＝(L_p,A_p,B_p)，只能属于一个超像素区域S_k(k＝1,2,…,K)中，为该像素点赋予标记l(p)＝k。记超像素S_k的中心点为C_k。

为所有像素点设置访问标记index(p)，并初始化为0，表示未被访问过。初始队列Q为空，超像素个数num_s＝0。

1、计算边缘概率图G。首先将图像进行高斯模糊，滤除一些细小的结构；使得处理过程具有一定抗噪功能。

2、对模糊后的图像采用sobel算子计算图像的梯度，包括梯度幅值及方向角度；对每一个像素点，在其梯度方向上进行非极大值抑制操作，如果某个像素点的梯度幅值在其梯度方向上是极大值，那么将其梯度幅值作为边缘概率，否则将其边缘概率设为0。非极大值抑制操作具有一定抗噪功能。

3、根据图像内容计算自适应阈值E，将其用于像素点聚类阶段。将计算输入原图与高斯模糊后的图像对应位置的像素点的颜色距离，并计算其均值μ和标准差σ，则E＝μ+3σ。每幅输入图像分别计算其阈值，滤除噪声影响，有抗噪性，同时有助于提高最终超像素分割的准确性。

4、若存在像素点未被访问过，则按照“Z”字形，从左到右从上到下遍历所有像素点，选取遇到的第一个index(p)＝0的像素点p作为新的区域种子点。置待处理像素队列Q为空，置index(p)＝1，num_s＝num_s+1，l(p)＝num_s，将像素点p加入队列Q中。

5、当队列Q不为空时，取出队尾像素点r，置index(r)＝1，l(r)＝num_s。将所有已经标记为num_s的像素点的颜色和位置坐标取平均值，作为中心C_{num_s}的颜色和位置信息。

6、以像素点r为中心，遍历其四邻域像素，如图2中所示，若index(q_i)＝0,(i,j＝1,2,3,4)index(q_i)＝0,(i＝1,2,3,4)，计算其距离D(r,C_{num_s},q_i)。

7、D(r,C_{num_s},q_i)的计算公式可采用：

其中D_c(C_{num_s},q_i)表示像素点q_i与中心C_{num_s}之间的颜色距离，计算方法同步骤8中所示；

D_c(r,q_i)表示像素点q_i与其已被标记的邻居像素点r之间的颜色距离；

D_Lc(C_{num_s},q_i)为从q_i到C_{num_s}的直线路径上所有像素点与C_{num_s}颜色距离的平均值。α为权重系数。D_c(r,q_i)与D_Lc(C_{num_s},q_i)的计算，有助于提高准确性且具有一定抗噪功能。

8、在本方法中，采用与人类视觉感知较为一致的LAB颜色空间进行计算，像素点r与q_i之间的颜色距离可采用的计算方式为：

D_c(p,q_i)＝(L(p)-L(q_i))²+(A(p)-A(q_i))²+(B(p)-B(q_i))²。

9、为了更好的检测图像的边界信息，让获得的区域尽可能少的跨越边界，本方案设计根据图像边缘概率图设置参数α，具体为：

α＝D_g(r,q_i)×D_Lg(q_i,C_{num_s})。其中D_g(r,q_i)表示像素点r与q_i的边缘概率均值，D_Lg(q_i,C_{num_s})表示从q_i到C_{num_s}的直线路径上所有相邻像素点的边缘概率变化幅度的均值。α值越大表示已形成的区域S_{num_s}与像素点q_i之间存在边界的可能性越高，需要更多的考虑q_i与其相邻像素点r的颜色差，以及其到区域中心C_{num_s}直线路径上的颜色变化。利用边界概率图计算权重系数，有助于提高最终超像素分割的准确性。

10、若D(r,C_{num_s},q_i)小于等于预先计算的阈值E，则将像素点r加入队列Q。

11、重复步骤5至10，直到队列Q为空或者标记为num_s的像素数量大于等于预期的超像素大小

为止。

至此，像素点聚类阶段结束，共产生num_s个区域{S_k|k＝1,2,…,num_s}，及其中心{C_k|k＝1,2,…,num_s}的颜色向量

位置向量

以及所包含的像素数目。

12、如果区域数量num_s大于预期数目K，则依次遍历每一个区域S_k；

13、若S_k所包含的像素个数少于预先设定的阈值E_s，则将其合并到距离最近的相邻区域中，直到没有满足条件的区域，或者区域个数小于等于预期超像素数量K为止。

14、为了使最终生成的超像素能够具有较为一致的大小(用含有像素的数量来衡量)，在计算相邻区域距离时综合考虑了区域大小、颜色差及位置距离。具体计算公式为：

|S_k1|与|S_k2|分别表示区域S_k1和S_k2中包含像素的个数，ω为归一化因子，本方案中设为

D_c(S_k1,S_k2)、D_s(S_k1,S_k2)分别表示两个区域中心的颜色距离与位置距离，λ为平衡系数，可以为大于0的任意实数，可根据实际需求取值。D_s(S_k1,S_k2)可采用的计算方法为：

区域大小作为因子放入区域合并过程中，有助于产生大小一致的超像素。

通过以上步骤，可以自适应的将输入图像I划分为超像素。在像素点聚类阶段，可采用从左上角像素点和右下角像素点同时进行；在区域合并阶段，可采用从标签为1的超像素和标签为num_s的超像素同时并行开始遍历。进而将整个过程耗时进一步缩短，提高效率。

具有抗噪的快速图像超像素自动生成方法除了预期超像素数目K需要用户指定外，其余参数都根据图像内容自适应计算，避免了人工干预。

通过以上步骤处理一幅大小为481*321的图像，生成100-1500个超像素，平均用时约为0.05s，目标超像素数量越多，耗时越短。

如图5至10所示，通过以上步骤对于不含噪声的图像产生的超像素能够较好地保持图像的边界。对于含有高斯噪声和椒盐噪声的图像生成的超像素能够较好保持图像边界。

基于具有抗噪的快速图像超像素自动生成方法，本发明还提供一种实现具有抗噪的快速图像超像素自动生成方法的设备，包括：

存储器，用于存储计算机程序及具有抗噪的快速图像超像素自动生成方法；

处理器，用于执行所述计算机程序及具有抗噪的快速图像超像素自动生成方法，以实现具有抗噪的快速图像超像素自动生成方法的步骤。

基于具有抗噪的快速图像超像素自动生成方法，本发明还提供一种具有抗噪的快速图像超像素自动生成方法的可读存储介质，可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现具有抗噪的快速图像超像素自动生成方法的步骤。

实现具有抗噪的快速图像超像素自动生成方法的设备是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的实现具有抗噪的快速图像超像素自动生成方法的设备可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据实现具有抗噪的快速图像超像素自动生成方法的设备公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的索引方法。

在实现具有抗噪的快速图像超像素自动生成方法的设备的存储介质中，可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种具有抗噪的快速图像超像素自动生成方法，其特征在于，方法包括：

S1,获取待处理图像，对图像进行像素点聚类；

S11,按照预设的顺序，扫描图像中的每个像素点，选择种子点；

S12,将种子点按照预设规则进行生长，形成一个初始区域；

S13,遍历图像所有像素点，对所有像素点配置标签，得到图像初始的区域划分；

S2,对图像中的初始区域进行合并；

对于满足预设合并条件的区域，进行合并，直到图像中总的区域个数小于等于K，满足预设条件；

S3,生成最终的超像素分割图像。

2.根据权利要求1所述的具有抗噪的快速图像超像素自动生成方法，其特征在于，

步骤S1还包括：

输入图像I，配置图像I中具有N个像素点，预期超像素的个数为K个；

将图像划分为超像素，即为将图像I划分为K个不相交的区域；

I＝{S_k|k＝1,2,…,K}且

每个像素点p，位置坐标向量为P_p＝(x_p,y_p)，颜色向量为C_p＝(L_p,A_p,B_p)，属于一个超像素区域S_k(k＝1,2,…,K)中的像素点，赋予标记l(p)＝k；

配置超像素S_k的中心点为C_k；

对所有像素点设置访问标记index(p)，并初始化为0；0表示未被访问过；

初始队列Q为空，超像素个数num_s＝0。

3.根据权利要求2所述的方法，其特征在于，步骤S1还包括：

1)计算边缘概率图G；将图像进行高斯模糊，滤除一些细小的结构；

2)对模糊后的图像采用sobel算子计算图像的梯度，包括梯度幅值及方向角度；

对每一个像素点，在其梯度方向上进行非极大值抑制操作，如果某个像素点的梯度幅值在其梯度方向上是极大值，那么将其梯度幅值作为边缘概率，否则将其边缘概率设为0；

3)根据图像内容计算自适应阈值E，将其用于像素点聚类阶段；

将计算输入原图与高斯模糊后的图像对应位置的像素点的颜色距离，并计算其均值μ和标准差σ，则E＝μ+3σ；

4)若存在像素点未被访问过，则按照“Z”字形，从左到右从上到下遍历所有像素点，选取遇到的第一个index(p)＝0的像素点p作为新的区域种子点；

待处理像素队列Q为空，置index(p)＝1，num_s＝num_s+1，l(p)＝num_s，将像素点p加入队列Q中；

5)当队列Q不为空时，取出队尾像素点r，置index(r)＝1，l(r)＝num_s；将所有已经标记为num_s的像素点的颜色和位置坐标取平均值，作为中心C_{num_s}的颜色和位置信息；

6)以像素点r为中心，遍历其四邻域像素，若index(q_i)＝0,(i＝1,2,3,4)，计算其距离D(r,C_{num_s},q_i)；

7)D(r,C_{num_s},q_i)的计算公式采用：

其中D_c(C_{num_s},q_i)表示像素点q_i与中心C_{num_s}之间的颜色距离；D_c(r,q_i)表示像素点q_i与其已被标记的邻居像素点r之间的颜色距离；D_Lc(C_{num_s},q_i)为从q_i到C_{num_s}的直线路径上所有像素点与C_{num_s}颜色距离的平均值；

α为权重系数；

8)采用与人类视觉感知较为一致的LAB颜色空间进行计算，像素点r与q_i之间的颜色距离采用的计算方式为：

D_c(p,q_i)＝(L(p)-L(q_i))²+(A(p)-A(q_i))²+(B(p)-B(q_i))²；

9)根据图像边缘概率图设置参数α，α＝D_g(r,q_i)×D_Lg(q_i,C_{num_s})；

其中D_g(r,q_i)表示像素点r与q_i的边缘概率均值，D_Lg(q_i,C_{num_s})表示从q_i到C_{num_s}的直线路径上所有相邻像素点的边缘概率变化幅度的均值；

基于q_i与其相邻像素点r的颜色差，以及其到区域中心C_{num_s}直线路径上的颜色变化获取边界信息；

10)若D(r,C_{num_s},q_i)小于等于预先设定的阈值E，则将像素点r加入队列Q；

11)重复步骤5)至10)，直到队列Q为空或者标记为num_s的像素数量大于等于预期的超像素大小

为止；

至此，像素点聚类阶段结束，共产生num_s个区域{S_k|k＝1,2,…,num_s}，及其中心{C_k|k＝1,2,…,num_s}的颜色向量

位置向量

以及所包含的像素数目。

4.根据权利要求3所述的方法，其特征在于，步骤S2还包括：

12)如果区域数量num_s大于预期数目K，则依次遍历每一个区域S_k；

13)若S_k所包含的像素个数少于预先设定的阈值E_s，则将其合并到距离最近的相邻区域中，直到没有满足条件的区域，或者区域个数小于等于预期超像素数量K为止。

5.根据权利要求4所述的方法，其特征在于，步骤S3还包括：

对最终生成的超像素分割图像大小进行一致性配置；

配置方法包括：

根据

|S_k1|与|S_k2|分别表示区域S_k1和S_k2中包含像素的个数，ω为归一化因子，本方案中设为

D_c(S_k1,S_k2)、D_s(S_k1,S_k2)分别表示两个区域中心的颜色距离与位置距离，λ为平衡系数，λ为大于0的任意实数；

D_s(S_k1,S_k2)采用的计算方法为：

6.一种实现具有抗噪的快速图像超像素自动生成方法的设备，其特征在于，包括：

存储器，用于存储计算机程序及具有抗噪的快速图像超像素自动生成方法；

处理器，用于执行所述计算机程序及具有抗噪的快速图像超像素自动生成方法，以实现如权利要求1至5任意一项所述具有抗噪的快速图像超像素自动生成方法的步骤。

7.一种具有抗噪的快速图像超像素自动生成方法的可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至5任意一项所述具有抗噪的快速图像超像素自动生成方法的步骤。

Images