CN102164228B - 增强影像边缘解析的影像处理方法 - Google Patents

Abstract

本发明揭露一种增强影像边缘解析的影像处理方法，其将影像转换成为影像图层，通过一双向滤波器除去该影像图层的噪声，产生一高分辨率影像图层；以及通过一锐化滤波器梯度化该高分辨率影像图层，除去该高分辨率影像图层的非均匀边缘，产生一锐化影像图层，并且经由一补插滤波器补插该锐化影像图层，产生高解析影像图层。本发明的影像处理方法能够大幅降低影像模糊，提升影像分辨率，且可广泛装载于各式影像处理的硬件装置。

Description

增强影像边缘解析的影像处理方法

技术领域

本发明关于一种影像处理方法，特别是关于一种可应用于各式主机板、显示卡或影像处理装置的增强影像边缘解析的影像处理方法。

背景技术

由于现今显示技术不断进步，早期映像管式的显示幕以逐渐淘汰，取而代之的为液晶(Liquid Crystal)或电浆(Plasma)的平面型式显示装置。且大部份的平面型式显示装置具有(1920×1080p)的高规范(High Definition，HD)分辨率(resolution)。但一般影像格式的分辨率属于低于高规范的标准规范(Standard Definition，SD)，为了使分辨率较低的标准规范影像输入至高规范显示装置时仍维持有高规范的效果，需有效解决影像与显示装置匹配显示的问题。可利用影像处理技术(Video Upsampling)以及数字影像强化技术(superresolution)将分辨率较低的标准规范影像显示于高规范显示装置，但影像强化技术相较于基本影像分辨率提高转换滤波器的方法，其复杂度高且需要即大的硬件计算支持，因此，大多数的影像产品宁可采用复杂度较低的影像分辨率提高转换滤波器方法。

影像分辨率提高转方法可支持影像边缘与纹理以及影像毛边现象与噪声的处理，其包含有线性与非线性二种方法。线性方法一般为双线性补插(bilinearinterpolation)，线性方法成本低，且可减少毛边现象(artifact)，降低影像模糊，最常整合于显示卡中，但影像边缘仍存在许多放射(overshoot)，并且毛边现象并未能完全消除。采用非线性方法将能够有效改善线性方法的缺失，但影像细小边缘仍是相当的模糊。

有鉴于此，本发明针对上述该些困扰与目标，提出一种增强影像边缘解析的影像处理方法，以将分辨率较低的影像转换成为高分辨率显示的影像处理技术，并且复杂度低，能够普遍应用于各种显示装置或影像处理硬件装置。

发明内容

本发明的主要目的在提供一种增强影像边缘解析的影像处理方法，其能够大幅减少影像噪声，以及影像边缘放射与毛边，降低影像模糊，有效提升影像分辨率。

本发明的另一目的在提供一种增强影像边缘解析的影像处理方法，其复杂度即低，不需大量硬件计算支持，且能够与各式中央处理器、影像处理晶片、主机板、显示卡及数字影像处理器搭配，实用性即佳。

为达到上述目的，本发明提供一种增强影像边缘解析的影像处理方法，包括步骤：

转换一影像成为一影像图层；

通过一双向滤波器除去该影像图层的噪声，产生一高分辨率影像图层；以及

通过一锐化滤波器梯度化该高分辨率影像图层，除去该高分辨率影像图层的非均匀边缘，产生一锐化影像图层，并且经由一补插滤波器补插该锐化影像图层，产生高解析影像图层。

本发明提出的增强影像边缘解析的影像处理方法，其将影像转换成为影像图层；影像图层通过双向滤波器平滑消除影像图层亮度值变化量小的噪声，保留亮度值变化量大的边缘，产生高分辨率影像图层；将高分辨率影像图层的每一像素经由数据相依三角剖分，使每一像素具有一对角线，且区分高分辨率影像图层为多个水平区块及垂直区块，并通过对角线将高分辨率影像图层建立为多个水平像素域以及垂直像素域，水平像素域与垂直像素域通过锐化滤波器梯度化，以除去高分辨率影像图层的非均匀边缘，产生锐化影像图层；并且经由补插滤波器计算水平像素域与垂直像素域的中心像素点，以及相对应该中心像素点的对立像素点，产生补插像素对锐化影像图层进行补插，以产生高解析影像图层。

本发明的有益效果在于，能够大幅降低影像模糊，提升影像分辨率，且可广泛装载于各式影像处理的硬件装置。

底下通过具体实施例配合所附的图式详加说明，当更容易了解本发明的目的、技术内容、特点及其所达成的功效。

附图说明

图1为本发明增强影像边缘解析的流程图。

图2a为本发明数据相依三角剖分剖分像素的示意图。

图2b为本发明数据相依三角剖分高分辨率影像图像的示意图。

图3a为本发明高分辨率影像图层区分为水平区块建立水平像素域的示意图。

图3b为本发明高分辨率影像图层区分为垂直区块建立垂直像素域的示意图。

附图标记说明：

10-高分辨率影像；12-像素；14-对角线；20-水平区块；22-水平像素域；30-垂直区块；32-垂直像素域。

具体实施方式

本发明提出一种增强影像边缘解析的影像处理方法，其利用双向滤波器消除影像图层噪声，并同时保持平顺的边缘，再通过锐化滤波器梯度化影像图层，减少影像图层毛边现象造成的非均匀边缘，且增加影像图层的纹理与边缘细节，最后通过补插滤波器补插影像图层，增加影像图层解析。底下则将以较佳实施例详述本发明的技术特征。

图1为本发明增强影像边缘解析的流程图，如图所示，首先，如步骤S10，将一影像转换成为一影像图层，影像图层的格式为色光三原色(RGB)、亮度色调饱和度(YUV)或明度红绿度黄蓝度(CIE-Lab)。

之后，如步骤S12，计算影像图层的模糊增益，并依据模糊增益计算硬件执行双向滤波器进行影像图层滤波的复杂度，以判别硬件负荷，当复杂度未高于硬件负荷时，如步骤S14，将以一反向强度高斯双向滤波器(Inverted IntensityGaussian Bilateral Filter，IIG Bilateral Filter)消除影像图层的噪声，产生一高分辨率影像图层；当复杂度高于硬件负荷时，如步骤S16，则以一般的高斯模糊滤波器去除影像图层的噪声。由于部份整合显示卡的主机板或硬件装置无法支持过于复杂的双向滤波器滤波影像图层的运算，因此，在硬件无法负荷运算时，采取高斯模糊滤波器进行影像图层滤波，减少滤波时运算复杂度。

再来，如步骤S18，通过一锐化滤波器将高分辨率影像图层梯度化，除去高分辨率影像图层中放射(overshoot)所造成的非均匀边缘，增强纹理与边缘细节，以产生一锐化影像图层。

接着，如步骤S20，利用一补插滤波器补插锐化影像图层，产生一高解析影像图层。

最后，如步骤S22，将经过滤波、梯度化及补插成为高解析影像图层的影像图层还原为影像的格式，以供高规范显示装置进行显示。

以上为本发明影像处理的流程说明，底下将对于反向强度高斯双向滤波器的滤波器设计，以及锐化滤波器、补插滤波器进行影像图层的梯度化及补插做详细说明。

反向强度高斯双向滤波器细分为水平反向强度高斯双向滤波器与垂直反向强度高斯双向滤波器，影像图层先通过水平反向强度高斯双向滤波器水平滤波处理后，再经由垂直反向强度高斯双向滤波器进行垂直滤波处理，以消除影像图层的噪声，产生高分辨率影像图层。为了有效将影像图层的噪声(tricklenoise)与毛边现象(compression artifact)去除，并同时保持平顺边缘，反向强度高斯双向滤波器的设计将如下列式(1)、式(2)、式(3)及式(4)推导所示：

$B\left(c\right)=\frac{\text{\∫}\left(a\right)g(I\left(a\right),I\left(c\right))f(P\left(a\right),P\left(c\right))}{\text{\∫g}(I\left(a\right),I\left(c\right))f(P\left(a\right),P\left(c\right))}---\left(1\right);$

$g(I\left(a\right),I\left(c\right))=(C-e^{\frac{1}{2}{\left(\frac{D(I\left(a\right),I\left(c\right))}{{\mathrm{\σ}}_r}\right)}^2})---\left(2\right);$

$f(P\left(a\right),P\left(c\right))=e^{\frac{1}{2}{\left(\frac{D(P\left(a\right),P\left(c\right))}{{\mathrm{\σ}}_r}\right)}^2}---\left(3\right);$

$B\left(c\right)=\frac{\text{\∫I}\left(a\right)(C-e^{\frac{1}{2}{\left(\frac{D(I\left(a\right),I\left(c\right))}{{\mathrm{\σ}}_r}\right)}^2})e^{\frac{1}{2}{\left(\frac{D(P\left(a\right),P\left(c\right))}{{\mathrm{\σ}}_r}\right)}^2}}{\text{\∫}(c-e^{\frac{1}{2}{\left(\frac{D(I\left(a\right),I\left(c\right))}{{\mathrm{\σ}}_r}\right)}^2})e^{\frac{1}{2}{\left(\frac{D(P\left(a\right),P\left(c\right))}{{\mathrm{\σ}}_r}\right)}^2}}---\left(4\right);$

其中，函数B(c)为强度域的增强，c为一像素，a为像素c的一相邻像素，函数I(a)和I(c)为反射一像素强度值的明度红绿度黄蓝度(CIE-Lab)像素颜色空间或色光三原色(RGB)空间，函数P(a)和P(c)为反射一像素的位置，函数f(P(a)，P(c))为空间域(spatial)滤波函数，g(I(a)，I(c))为强度域(intensity)滤波函数，D(P(a)，P(c))和D(I(a)，I(c))为距离函数，C为一常数。

上述式(1)为表示一像素的强度域的增强为像素(c)本身的强度域与空间域，以及邻近像素(a)的强度域与空间域积分求得，反向强度高斯双向滤波器将反复滤波至强度变化低于滤波门槛或直至到达为零；式(2)与式(3)表示为反射像素(a)强度值与反射相邻像素(c)强度值的强度域的变化曲线，以及反射像素(a)强度值与反射相邻像素(c)强度值的空间域的变化曲线，其中，距离函数D可为欧几里德(Euclidean)距离函数，且于影像为八比特深度，常数C设为0.004；将式(2)与式(3)代入至式(1)中，可得式(4)，经由式(4)计算将确保影像图层的像素的空间域与强度域同时进行高斯模糊化处理，影像图层中亮度值变化量小的噪声系平滑消除，保留影像图层中亮度值变化量大的边缘，产生高分辨率影像图层。

以上为反向强度高斯双向滤波器的滤波器设计的推导说明，底下将进一步对梯度化与补插进行说明。

在通过锐化滤波器梯度化高分辨率影像图层的步骤时，首先，如图2a与图2b所示，通过数据相依三角剖分(Data Dependent Triangulation，DDT)进行像素剖分，使高分辨率影像图层的每一像素将具有一对角线。高分辨率影像图10的每一像素12皆以四个顶点a、b、c、d表示，假设顶点a减去顶点c的绝对值，小于顶点b减去顶点d的绝对值(if|a-c|＜|b-d|)，将产生由顶点a至顶点c的对角线14；假设顶点a减去顶点c的绝对值，大于顶点b减去顶点d的绝对值(if|a-c|＞|b-d|)，将产生由顶点b至顶点d的对角线14。

之后，如图3a所示，将高分辨率影像图层10区分为多个2×2的水平区块20，且通过对角线14建立多个水平像素域22，使得2×2的水平区块20成为2×3的水平区块20，且每一水平像素域22具有一中心像素点P0以及与中心像素点P0相对应的一对立像素点P2。并且由于对角线14的斜面不同，所建立的水平像素域22的形状也不为相同，当两相邻对角线14具有共点时，建立的水平像素域22为三角形；档两相邻对角线14相互平行时，建立的水平像素域22为四边形。在建立水平像素域22后，通过高通的锐化滤波器对水平像素域22进行水平梯度化。

接着，如图3b所示，将经过水平梯度化的高分辨率影像图层10区分为多个2×2的垂直区块30，且通过对角线14建立多个垂直像素域32，使得2×2的垂直区块30成为3×2的垂直区块30，并在建立垂直像素域32后，将垂直像素域32通过高通的锐化滤波器进行垂直梯度化。此外，垂直像素域32如同水平像素域22具有一中心像素点P0与一对立像素点P2，并且其形状也依据对角线14的斜面不同，为三角形或四边形。

在高分辨率影像图层10经过锐化滤波器进行水平梯度化与垂直梯度化减少非均匀的边缘，产生锐化影像图层后，再通过补插滤波器补插锐化影像图层，以提升解析度。补插滤波器计算水平像素域22以及垂直像素域30的中心像素点P0，及对立像素点P2，产生补插像素进行补插，产生一高解析影像图层。

经由上述实施例说明可知本发明通过双向滤波器、锐化滤波器以及锐化滤波器，对转换为影像图层的影像进行滤波、梯度化与提升解析度的影像处理，以增强影像边缘解析，降低影像模糊。并且本发明复杂度即低能够广泛应用于各种影像处理装置。

以上对本发明的描述是说明性的，而非限制性的，本专业技术人员理解，在权利要求限定的精神与范围之内可对其进行许多修改、变化或等效，但是它们都将落入本发明的保护范围内。

Claims (15)

1.一种增强影像边缘解析的影像处理方法，其特征在于，包含有下列步骤：

转换一影像成为一影像图层；

通过一双向滤波器除去该影像图层的噪声，产生一高分辨率影像图层；以及

通过一锐化滤波器梯度化该高分辨率影像图层，除去该高分辨率影像图层的非均匀边缘，产生一锐化影像图层，并且经由一补插滤波器补插该锐化影像图层，产生高解析影像图层，其中：

在双向滤波器除去该影像图层的噪声的步骤中，将计算该影像图层的模糊增益，且依据该模糊增益计算通过该双向滤波器执行滤波的复杂度，并且当复杂度高于硬件负荷时，将以一高斯模糊滤波器进行该影像图层的噪声的去除。

2.如权利要求1所述的增强影像边缘解析的影像处理方法，其特征在于，更包括转换该高解析影像图层的步骤，将该高解析影像图层还原为该影像的格式。

3.如权利要求1所述的增强影像边缘解析的影像处理方法，其特征在于，该影像转换成为色光三原色、亮度色调饱和度或明度红绿度黄蓝度格式的该影像图层。

4.如权利要求1所述的增强影像边缘解析的影像处理方法，其特征在于，该双向滤波器为一反向强度高斯双向滤波器。

5.如权利要求4所述的增强影像边缘解析的影像处理方法，其特征在于，该反向强度高斯双向滤波器除去该影像图层的噪声满足下列条件：

$B\left(c\right)=\frac{\text{\∫I}\left(a\right)\left({C-e}^{{\frac{1}{2}\left(\frac{D(I\left(a\right),I\left(c\right))}{{\mathrm{\σ}}_r}\right)}^2}\right)e^{{\frac{1}{2}\left(\frac{D(P\left(a\right),P\left(c\right))}{{\mathrm{\σ}}_r}\right)}^2}}{\∫(C-e^{{\frac{1}{2}\left(\frac{D(I\left(a\right),I\left(c\right))}{{\mathrm{\σ}}_r}\right)}^2})e^{{\frac{1}{2}\left(\frac{D(P\left(a\right),P\left(c\right))}{{\mathrm{\σ}}_r}\right)}^2}}---\left(1\right);$

其中，函数B(c)为强度域的增强，c为一像素，a为像素c的一相邻像素，函数I(a)和I(c)为反射一像素强度值的颜色空间，函数P(a)和P(c)为反射一像素的位置，函数D(I(a)，I(c))和D(P(a)，P(c))为距离函数，C为一常数，该影像图层的噪声去除满足公式(1)所示，经由以上公式(1)计算将确保该影像图层的像素的空间域与强度域同时进行高斯模糊化处理，该影像图层中亮度值变化量小的噪声将平滑消除，保留该影像图层中亮度值变化量大的边缘，以产生该高分辨率影像图层。

6.如权利要求1所述的增强影像边缘解析的影像处理方法，其特征在于，在通过该锐化滤波器梯度化该高分辨率影像图层的步骤中，该高分辨率影像图层通过数据相依三角剖分，剖分该高分辨率影像图层的每一像素，每一该像素将具有一对角线。

7.如权利要求6所述的增强影像边缘解析的影像处理方法，其特征在于，该高分辨率影像图层区分为多个水平区块，且通过该对角线建立多个水平像素域，该水平像素域将通过该锐化滤波器梯度化。

8.如权利要求7所述的增强影像边缘解析的影像处理方法，其特征在于，两相邻该对角线具有共点，通过该对角线建立的该水平像素域为三角形。

9.如权利要求7所述的增强影像边缘解析的影像处理方法，其特征在于，两相邻该对角线相互平行，通过该对角线建立的该水平像素域为四边形。

10.如权利要求6所述的增强影像边缘解析的影像处理方法，其特征在于，该高分辨率影像图层区分为多个垂直区块，且通过该对角线建立多个垂直像素域，该垂直像素域将通过该锐化滤波器梯度化。

11.如权利要求10所述的增强影像边缘解析的影像处理方法，其特征在于，两相邻该对角线具有共点，通过该对角线建立的该垂直像素域为三角形。

12.如权利要求10所述的增强影像边缘解析的影像处理方法，其特征在于，两相邻该对角线相互平行，通过该对角线建立的该垂直像素域为四边形。

13.如权利要求1所述的增强影像边缘解析的影像处理方法，其特征在于，该锐化滤波器为一高通锐化滤波器。

14.如权利要求7所述的增强影像边缘解析的影像处理方法，其特征在于，该补插滤波器计算该水平像素域的中心像素点，及相对应该中心像素点的对立像素点，产生补插像素进行补插。

15.如权利要求10所述的增强影像边缘解析的影像处理方法，其特征在于，该补插滤波器计算该垂直像素域的中心像素点，及相对应该中心像素点的对立像素点，产生补插像素进行补插。

Images