CN111932472A

CN111932472A - 一种基于软聚类的图像保边滤波方法

Info

Publication number: CN111932472A
Application number: CN202010729338.6A
Authority: CN
Inventors: 杨洋; 惠红军
Original assignee: Jiangsu University
Current assignee: Jiangsu University
Priority date: 2020-07-27
Filing date: 2020-07-27
Publication date: 2020-11-13
Anticipated expiration: 2040-07-27

Abstract

本发明公开了一种基于软聚类的图像保边滤波方法，给定用户输入的图像以及参数，首先对图像进行软聚类得到隶属度矩阵，之后基于隶属度矩阵得到仿射矩阵，最后将仿射矩阵应用于滤波得到输出图像。为了对图像进行软聚类，本发明提出了一种基于迭代的图像保边滤波方法，通过迭代更新类中心和隶属度矩阵，对聚类结果不断求精。本发明方法在保证了滤波速度的同时，能够克服光晕、强度漂移伪像，取得了较好的保边滤波效果。

Description

一种基于软聚类的图像保边滤波方法

技术领域

本发明属于计算摄影技术领域，具体是一种基于软聚类的图像保边滤波方法。

背景技术

传统的滤波器如均值滤波、高斯滤波等会过于模糊图像即在模糊图像细节的同时会将图像的结构破坏掉。为了解决这一问题，研究人员提出了保边滤波器，在滤波过程中能够有效的保留图像中的边缘信息。保边滤波器具有重大的理论价值和实际意义，广泛被用于实际应用当中，如图像增强，HDR高动态范围影像，人像磨皮等。

现有的保边滤波器可分为局部保边滤波器及全局保边滤波器。局部保边滤波器将图像中每个像素点替换为临近像素的加权平均，如双边滤波器、引导滤波器等，优点是大部分局部保边滤波器计算速度很快，但缺点是会在结果图像中的边缘附近产生光晕伪像；全局保边滤波器将整个滤波过程建模成一个最优化问题去求解，如梯度L0范数平滑即L0Smoothing、加权最小二乘滤波器WLS等，优点是能够较好的抑制光晕伪像的产生，但是通常求解最优化问题计算太过耗时，并且可能会使得结果图像产生强度漂移伪像。因此需要提出一种更优的保边滤波方法，能够克服现有保边滤波方法中的不足。

发明内容

针对现有技术中存在的问题，本发明提出了一种基于软聚类的图像保边滤波方法，能够在快速滤波的同时，将图像中显著的边缘很好地保留住，既能较好地抑制局部保边滤波器的光晕伪像，又能较好地抑制现有全局保边滤波器的强度漂移伪像，并且具有较高的计算效率。

一种基于软聚类的图像保边滤波方法，包括以下步骤：

步骤1，设定聚类数k和色彩衰减系数σ_r，选择需要滤波处理的原图像I，读取图像中每个像素的RGB三通道值及位置坐标h、v，组成五维向量(r,g,b,h,v)，其中，h为像素点的横坐标，v为像素点的纵坐标。

步骤2，对图像进行软聚类，

步骤2.1，根据图像的总像素个数N以及设置的聚类中心数量k，将分割区域的中心位置作为聚类中心C_j，j＝1、2、…、k；

步骤2.2，计算像素点X_i到聚类中心C_j的隶属度矩阵；

步骤2.3，根据所设置的迭代次数m，迭代更新聚类中心和隶属度矩阵；

步骤3，利用完成迭代结束得到的隶属度矩阵U构造滤波矩阵

步骤4，基于滤波矩阵

对输入图像进行滤波处理。

进一步，所述步骤2.2中计算像素点X_i到聚类中心C_j的隶属度矩阵的方法为：

步骤2.2.1，像素点X_i到聚类中心C_j的隶属度计算方法为：

以聚类中心周围的tσ_s×tσ_s为搜索空间，计算像素点到聚类中心的位置以及RGB三通道的距离，再使用高斯核函数计算像素点到聚类中心的隶属度，像素点X_i到类中心C_j的隶属度表示为：

其中，u_ij为像素点X_i到类中心C_j的隶属度，i＝1、2、…、N,j＝1、2、…、k，

分别表示像素点X_i的横坐标、纵坐标；

分别表示像素点X_i红、绿、蓝三个通道的值，

分别表示聚类中心C_j的横坐标、纵坐标，

分别表示聚类中心C_j红、绿、蓝三个通道的值。σ_s是位置衰减系数，

σ_r是色彩衰减系数。

步骤2.2.2，基于所计算出的隶属度构建隶属度矩阵；由所有像素点到所有类中心隶属度构建隶属度矩阵U，其中，U矩阵第i行第j列的元素为u_ij。

进一步，迭代更新聚类中心和隶属度矩阵的过程为：

步骤2.3.1，更新聚类中心：在第二次及之后的迭代中，利用上一次迭代中所得到的隶属度矩阵U对像素点做加权平均，第j个类的类中心C_j可通过如下公式求解：

其中，

是像素点X_i特征的五维向量，

是聚类中心C_j特征的五维向量。

步骤2.3.2，每次完成迭代后，再计算像素点X_i到更新后的聚类中心C_j的隶属度；根据步骤2.2.2的方法构建迭代后的隶属度矩阵。

进一步，构造滤波矩阵

的方法为：将得到的隶属度矩阵乘以其转置得到仿射矩阵A，即A＝UU^T，对仿射矩阵A每行进行行和归一化，即每个元素除以所在行元素的和，得到N×N维的滤波矩阵

的第i行第j列的元素

表示为

进一步，所述步骤4中滤波处理的过程为：用滤波矩阵

分别乘以输入图像I的RGB三个通道的向量，得到输出图像Y的RGB三个通道向量，将每个通道的向量按照与输入图像I相同的顺序排列成2维拼接到一起，即得到滤波输出图像。

本发明的有益效果：

在如人像美颜、高动态范围影像HDR等不同的实际应用中，图像经过保边滤波之后的效果以及产生的问题会直接影响应用最后的结果，因此无论是在滤波速度还是保边效果上都需要算法拥有良好的表现。本发明利用软聚类，构建像素对聚类中心的隶属度矩阵，以此来构建滤波矩阵，由于我们的滤波方法不需要求解大型的线性方程组，相较于其他全局保边滤波器计算复杂度更低，有着更快计算速度，并且在效果上相较于其他局部保边滤波器取得很大的改善，在抗光晕以及减少强度漂移伪像上都有着很好的表现。

附图说明

图1是本发明方法的流程图；

图2是本发明与双边滤波在不同参数下滤波效果的对比图，其中，2(a)是本发明滤波后的结果，2(b)是双边滤波后的结果；

图3(a)是原图；3(b)是本发明滤波后的结果，参数为k＝1065，σ_r＝0.4；3(c)是双边滤波后的结果，参数为σ_s＝16，σ_r＝0.4；3(d)是加权最小二乘WLS滤波后的结果，参数为α＝1.2,λ＝5；

图4是选取图片第200行像素所画出的数据，其中虚线为原图像的像素值，4(a)是本发明滤波结果的像素值；4(b)图中实线是双边滤波结果的像素值，可以看到在变化明显的边缘处出现了光晕现象；4(c)图中实线是加权最小二乘WLS滤波结果的像素值，可以看到有强度漂移伪像的出现；

图5是保边滤波器应用于人像磨皮后的结果，其中，5(a)为原图；5(b)为本发明滤波后的结果，参数为k＝5500，σ_r＝0.2；5(c)为双边滤波后的结果，参数为σ_s＝5，σ_r＝0.2；

图6是保边滤波器应用于HDR图像显示后的结果，其中，6(a)为HDR图像；6(b)为本发明滤波后的结果，参数为k＝200，σ_r＝0.2；6(c)为双边滤波后的结果，可以看到窗框附近产生了明显的伪像，参数为σ_s＝57，σ_r＝0.2；

图7(a)、7(b)两幅图是将本发明应用于图像去雾后的效果，左边为原图，右边为去雾后的结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1所示，本发明所提出的一种基于软聚类的图像保边滤波方法，具体过程如下：

步骤1，设定两个参数即聚类数k和色彩衰减系数σ_r，选择需要滤波处理的原图像I，读取图像中每个像素的RGB三通道值及位置坐标h、v，组成五维向量(r,g,b,h,v)，其中，h为像素点的横坐标，v为像素点的纵坐标。

步骤2，对图像进行软聚类：

软聚类方法的目标是最小化(argmin)目标函数J：

其中，J是目标函数，e为自然常数，u_ij为像素点X_i到类中心C_j的隶属度，i＝

1、2、…、N，N为象素点个数,j＝1、2、…、k，

分别表示像素点X_i的横坐标、纵坐标；

分别表示像素点X_i红、绿、蓝三个通道的值，

分别表示聚类中心C_j的横坐标、纵坐标，

σ_r是色彩衰减系数，s.t.代表受限制于(subject to),后面跟的是约束条件。

针对目标函数J的优化问题，可以根据拉格朗日乘数法由目标函数推导出计算聚类中心C_j和计算隶属度矩阵U的公式，我们采用迭代的方法求解，每次迭代包含两步，即计算聚类中心和计算隶属度矩阵。

步骤2.1，计算初始聚类中心，具体过程为：

初次迭代时，根据图像的总像素个数N以及设置的聚类中心数量k，以位置衰减系数σ_s的步距划分区域；将分割区域的中心位置作为聚类中心C_j；之后将聚类中心移动到3×3的领域内梯度最小的点即完成第一次聚类中心的计算；

步骤2.2，计算像素点X_i到聚类中心C_j的隶属度矩阵；

步骤2.2.1，像素点X_i到聚类中心C_j的隶属度计算方法为：

以聚类中心周围的tσ_s×tσ_s为搜索空间(t通常是大于等于2的常数，常数t可以控制搜索空间的大小，t越大，则搜索空间越大，图像滤波后的结果会显得更平滑，但是会增大计算开销)，计算像素点到聚类中心的位置以及RGB三通道的距离，再使用高斯核函数计算像素点到聚类中心的隶属度，像素点X_i到类中心C_j的隶属度可通过如下公式求解：

分别表示像素点X_i的横坐标、纵坐标；

分别表示像素点X_i红、绿、蓝三个通道的值，

分别表示聚类中心C_j的横坐标、纵坐标，

σ_r是色彩衰减系数。

步骤2.2.2，基于所计算出的隶属度构建隶属度矩阵；

由所有像素点到所有类中心隶属度构建隶属度矩阵U，其中，U矩阵第i行第j列的元素为u_ij。

步骤2.3，根据所设置的迭代次数m，迭代更新聚类中心和隶属度矩阵，具体过程为：

步骤2.3.1，更新聚类中心：

在第二次及之后的迭代中，更新聚类中心的方法为，利用上一次迭代中所得到的隶属度矩阵U对像素点做加权平均，第j个类的聚类中心C_j可通过如下公式求解：

其中，

是描述像素点X_i特征的五维向量，

是描述聚类中心C_j特征的五维向量。

步骤2.3.2，每次完成迭代后，再计算像素点X_i到更新后的聚类中心C_j的隶属度；根据步骤2.2.2的方法构建迭代后的隶属度矩阵；

在采用迭代方法求解软聚类问题时，迭代次数m设定为5次，5次之后滤波图像已经趋于稳定。

步骤3，利用完成迭代结束得到的隶属度矩阵U构造滤波矩阵

具体过程为：将得到的隶属度矩阵乘以其转置得到仿射矩阵A，即A＝UU^T，最后对A每行进行行和归一化，即每个元素除以所在行元素的和，得到N×N维的滤波矩阵

的第i行第j列的元素

可以通过下式计算。

步骤4，基于滤波矩阵

对输入图像进行滤波处理，具体过程为：

用滤波矩阵

由于是将N个像素分为k个类，设迭代次数为m，则本发明算法的时间复杂度大致上可以表示为O(Nkm)，从理论上讲速度优于加权最小二乘WLS滤波等全局滤波器；实验中，在Intel i5-4200H CPU@2.80GHz，16G内存的机器上，对1000像素×1000像素的彩色RGB图像进行滤波，聚类个数k＝100，控制搜索范围常数t＝2，时间在0.9s左右，能够达到现实应用中对于保边滤波器计算效率的要求。

为了验证本发明所提出一种基于软聚类的图像保边滤波方法的效果，以下结合对图像的处理效果作进一步说明。如图2(a)是本发明滤波后的结果，2(b)是双边滤波后的结果，对比图2中的处理效果可以看出双边滤波的σ_r在0.4时，图像已非常模糊，边缘细节的保留并不如本发明在相同参数下的结果。

结合图3，其中，图3(a)是原图；3(b)是本发明滤波后的结果，参数为k＝1065，σ_r＝0.4；3(c)是双边滤波后的结果，参数为σ_s＝16，σ_r＝0.4；3(d)是加权最小二乘WLS滤波后的结果，参数为α＝1.2,λ＝1.2；结合处理效果可以看出双边滤波的图像中，边缘出现了明显的光晕伪像，而本发明并没有出现。

结合图4是选取图片第200行像素所画出的数据，其中蓝色为原图像的像素值，4(a)是本发明滤波结果的像素值；4(b)是双边滤波结果的像素值，可以看到在变化明显的边缘处出现了光晕现象；4(c)是加权最小二乘WLS滤波结果的像素值，可以看到有强度漂移伪像的出现；这说明本发明的结果更好的抑制了这两种伪像的产生。

结合图5是保边滤波器应用于人像磨皮后的结果，其中，5(a)为原图；5(b)为本发明滤波后的结果，参数为k＝5500，σ_r＝0.2；5(c)为双边滤波后的结果，参数为σ_s＝5，σ_r＝0.2；这说明本发明能在模糊图像的同时，较好地保留图像中的边缘而不容易产生伪像。

结合图6是保边滤波器应用于HDR图像显示后的结果，其中，6(a)为HDR图像；6(b)为本发明滤波后的结果，参数为k＝200，σ_r＝0.2；6(c)为双边滤波后的结果，可以看到窗框附近产生了明显的伪像，参数为σ_s＝57，σ_r＝0.2；这说明在HDR图像显示应用中，使用本发明对图像进行滤波可以取得更好的效果。

结合图7(a)、7(b)两幅图是将本发明应用于图像去雾后的效果，左边为原图，右边为去雾后的结果；这说明本发明能够较好的应用于图像去雾处理。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。