一种边缘保持的自然场景图像自适应加权滤波方法
技术领域
本发明属于图像处理领域,具体涉及一种同时保持图像亮度/颜色边缘特性和深度边缘特性的自然场景图像自适应加权滤波方法。
背景技术
图像滤波是图像预处理算法中的关键技术。该技术是通过构建一个滤波模板来实现在图像空间中的局部邻域操作,如算术平均滤波、高斯平滑滤波、拉普拉斯滤波等,其目的是减少图像中的噪声以改善图像质量,或是滤除图像高频分量以建立图像尺度空间。该技术广泛应用于图像分割、图像复原、图像特征提取、图像理解和分析、图像压缩等绝大多数的图像处理算法中。
图像滤波的思想源于数学中的统计分析,通过加权平均的方式滤除误差和噪声,这其中隐含了一个假定:统计过程中所有样本应表征的是同一目标的特性。由于图像边缘通常是由不同物体的亮度/颜色差异所形成的,而现有大多数图像滤波方法采用的滤波模板大小和形状固定不变,因此在图像边缘处不可避免地违反了统计分析中的隐含假定,造成图像边缘模糊或虚假光晕。
近年来已提出了许多具有边缘保持特性的图像滤波方法。C.Tomasi等人提出了一种双边滤波器[1],同时考虑了邻域像素与中心像素间的几何距离度量和亮度相似性度量。Z.Farbman等人提出边缘保持的多尺度分解方法[2]。R.Fattal等人提出了基于边缘的图像放大方法[3]。R.Fattal提出了一种基于小波变换的边缘保持方法[4]。S.Paris等人通过将图像边缘分解为阶越分量、平缓分量和高频细节分量,提出了边缘感知的局部拉普拉斯滤波器[5]。还有很多边缘保持的图像滤波方法被提出。然而目前已提方法都只考虑由亮度/颜色差异所引起的图像边缘,而没有考虑到由场景中不同目标深度所引起的边缘,因此已提方法难以有效处理图像中目标亮度和颜色与背景相近的情况。然而这类情况在实际的自然场景图像拍摄过程中经常发生。为解决该问题,应能从单幅自然场景图像中提取出深度信息。近年来已提出了多种从单幅图像中获取深度感知的方法。本发明中采用了K.He等人提出的暗通道先验方法获取单幅自然场景图像中的深度线索[6]。
参考文献
[1]. C.Tomasi, R. Manduchi. Bilateral filtering for gray and color images. ICCV, Bombay, India. 1998: 839-846.
[2]. Z. Farbman, R. Fattal, D. Lischinski, etc. Edge-preserving decompositions for multi-scale tone and detail manipulation. ACM Transactions on Graphics (Proc. SIGGRAPH). 27, 3. 2008.
[3]. R. Fattal, R. Carroll and M. Agrawala. Edgebased image coarsening. ACM Transactions on Graphics 29, 1. 2009.
[4]. R. Fattal. Edge-avoiding wavelets and their applications. ACM Transactions on Graphics (Proc. SIGGRAPH). 28, 3. 2009.
[5]. S. Paris, S. Hasinoff and J. Kautz, Local Laplacian Filters: Edge-aware Image Processing with a Laplacian Pyramid. ACM Transactions on Graphics (Proc. SIGGRAPH), 2011.
[6]. K. He, J. Sun and X. Tang. Single Image Haze Removal Using Dark Channel Prior. IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009). 2009。
发明内容
本发明针对现有图像滤波技术的不足,提供一种同时保持图像亮度/颜色边缘特性和深度边缘特性的自然场景图像自适应加权滤波方法。
本发明方法的具体步骤如下:
步骤(1)根据高斯滤波器的标准差
,计算高斯模板,高斯模板半径为
。
步骤(2)采用暗通道先验方法,获取原始图像中的深度线索,并归一化至[0,255],生成深度先验图像,所述的原始图像为自然场景图像。
步骤(3)计算高斯模板上每个坐标点的空间近邻性权值,具体为:
对于高斯模板中坐标点
,该坐标点到模板中心的近邻距离
表示为:
根据高斯模板中坐标点
的近邻距离
,其空间近邻性权值
表示为:
步骤(4)计算原始图像上两像素点间的亮度/颜色相似性权值,具体为:
对于原始图像中像素点
和像素点
,采用彩色变换方法,提取像素点
的LUV彩色分量
和像素点
的LUV彩色分量
,像素点
和像素点
的亮度/颜色相似性距离
表示为:
根据像素点
和像素点
的亮度/颜色相似性距离
,其亮度/颜色相似性权值
表示为:
其中为亮度/颜色相似性参数。
步骤(5)根据步骤(2)中得到的深度先验图像,计算原始图像上两像素点间的深度差异性权值,具体为:
对于原始图像中像素点
和像素点
,从深度先验图像中获取像素点
的深度先验值
和像素点
的深度先验值
,像素点
和像素点
的深度先验距离
表示为:
其中
为深度差异的低阈值参数,
为度差异的高阈值参数。
根据像素点
和像素点
的深度先验距离
,其深度差异性权值
表示为:
步骤(6)对原始图像中的每个像素点,计算模板中心对应于该像素点的自适应加权滤波模板,具体为:
对于原始图像中像素点
,以像素点
作为滤波窗口的中心像素,对应于滤波模板的中心坐标,根据像素点
和滤波模板中每个坐标点所对应的原始图像像素点
,计算自适应权值
,表示为:
其中
、
和
分别是通过步骤 (3)、步骤(4)和步骤(5)计算得到的空间近邻性权值、像素点
和像素点
间的亮度/颜色相似性权值和深度差异性权值。
自适应加权滤波模板计算过程就是为步骤(1)中高斯模板的每个值进行自适应加权,对于高斯模板中坐标点
,其模板值
,对应于原始图像中的
像素,其自适应加权后模板值
表示为:
步骤(7)对原始图像中每个像素点,计算其自适应加权滤波结果,具体为:
采用彩色变换方法,提取原始图像的亮度分量图
、蓝色色度分量图
和红色色度分量图
。
对于原始图像的亮度分量图
上的每个像素点,根据步骤(6)得到模板中心对应于该像素点的自适应加权滤波模板,采用模板滤波方法计算得到该像素点滤波后的新的亮度值,原始图像的亮度分量图
上的所有像素点经滤波后生成新的亮度分量图
。
根据滤波后的亮度分量图
、原始图像的蓝色色度分量图
、原始图像的红色色度分量图
,采用彩色变换方法转换回RGB彩色格式,所得图像即为原始图像滤波后的结果图像。
本发明提供了一种边缘保持的自然场景图像自适应加权滤波方法,该方法通过计算滤波窗口中像素与中心像素间的空间近邻性权值、亮度/颜色相似性权值和深度差异性权值,并加权融合到传统高斯滤波模板中,使得在图像滤波过程中同时保持了图像亮度/颜色边缘特性和深度边缘特性。与其他图像滤波方法相比,该方法不仅在亮度/颜色相似性权值计算中考虑了人眼对亮度差异比色彩差异的敏感度不同这一特性,使得该方法符合生物模型;并且通过提取单幅自然场景图像中的深度线索,融合场景的深度先验信息,可有效保持具有相近亮度/颜色的不同深度目标间的边缘特性。
附图说明
图1为本发明中的方法流程图。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示,一种边缘保持的自然场景图像自适应加权滤波方法,其具体步骤如下:
步骤(1)根据高斯滤波器的标准差
,计算高斯模板,其高斯模板半径
。所述的高斯模板计算方法为成熟技术。
步骤(2)采用K.He等人提出的暗通道先验方法,获取原始图像中的深度线索,并归一化至[0,255],生成深度先验图像。所述的原始图像为自然场景图像。
步骤(3)计算高斯模板上每个坐标点的空间近邻性权值。
所述的空间近邻性权值计算方法具体为:
对于高斯模板中坐标点
,该坐标点到模板中心的近邻距离
表示为:
根据高斯模板中坐标点
的近邻距离
,其空间近邻性权值
表示为:
其中
为空间近邻性参数,通常取值为滤波器模板的半径。空间近邻性权值表现为:距中心像素空间距离越远的像素对滤波结果的影响越小。
步骤(4)计算原始图像上两像素点间的亮度/颜色相似性权值
所述的亮度/颜色相似性权值计算方法具体为:
对于原始图像中像素点
和像素点
,采用彩色变换方法,提取像素点
的LUV彩色分量
和像素点
的LUV彩色分量
。所述的彩色变换方法为成熟技术。像素点
和像素点
的亮度/颜色相似性距离
表示为:
其中
为亮度差异阈值,通常取50~80。该阈值设定是借鉴于人眼对亮度差异敏感度比色彩差异敏感度要高的生物模型特性,即当亮度差异大于阈值
后,亮度/颜色相似性距离会大幅度上升。
根据像素点
和像素点
的亮度/颜色相似性距离
,其亮度/颜色相似性权值
表示为:
其中
为亮度/颜色相似性参数,通常取值为5~10。亮度/颜色相似性权值表现为:与中心像素亮度/颜色差异越大的像素对滤波结果的影响越小。
步骤(5)根据步骤(2)中得到的深度先验图像,计算原始图像上两像素点间的深度差异性权值。
所述的深度差异性权值计算方法具体为:
对于原始图像中像素点
和像素点
,从深度先验图像中获取像素点
的深度先验值
和像素点
的深度先验值
。像素点
和像素点
的深度先验距离
表示为:
其中
为深度差异的低阈值参数,通常取值为5,以确保目标表面深度的平滑性。
为度差异的高阈值参数,通常取值为100,以保持深度的不连续性。
根据像素点
和像素点
的深度先验距离
,其深度差异性权值
表示为:
其中
为深度差异性参数,通常取值10~20。深度差异性权值表现为:与中心像素深度先验值差异越大的像素对滤波结果的影响越小。
步骤(6)对原始图像中的每个像素点,计算模板中心对应于该像素点的自适应加权滤波模板。即每个像素点所对应的滤波模板都是随着该像素点及其邻域像素点的亮度/颜色和深度先验信息不同而自适应改变。
所述的自适应加权滤波模板计算方法具体为:
对于原始图像中像素点
,以像素点
作为滤波窗口的中心像素,对应于滤波模板的中心坐标。根据像素点
和滤波模板中每个坐标点所对应的原始图像像素点
,计算自适应权值
,表示为:
其中
、
和
分别是通过步骤 (3)、步骤(4)和步骤(5)计算得到的空间近邻性权值、像素点
和像素点
间的亮度/颜色相似性权值和深度差异性权值。
自适应加权滤波模板计算过程就是为步骤(1)中高斯模板的每个值进行自适应加权。对于高斯模板中坐标点
,其模板值
,对应于原始图像中的
像素,其自适应加权后模板值
表示为:
步骤(7)对原始图像中每个像素点,计算其自适应加权滤波结果。
所述的滤波方法具体为:
采用彩色变换方法,提取原始图像的亮度分量图
、蓝色色度分量图
和红色色度分量图
。所述的彩色变换方法为成熟技术。
对于原始图像的亮度分量图
上的每个像素点,根据步骤(6)得到模板中心对应于该像素点的自适应加权滤波模板,采用模板滤波方法计算得到该像素点滤波后的新的亮度值。原始图像的亮度分量图
上的所有像素点经滤波后生成新的亮度分量图
。所述模板滤波方法为成熟技术。
根据滤波后的亮度分量图
、原始图像的蓝色色度分量图
、原始图像的红色色度分量图
,采用彩色变换方法转换回RGB彩色格式,所得图像即为原始图像滤波后的结果图像。所述的彩色变换方法为成熟技术。