CN107734211B - 影像滤波方法及其影像滤波装置 - Google Patents

Abstract

一种影像滤波方法，包含：获取目标影像值以及包含输入像素值的输入影像；决定欲输出影像的滤波响应值与目标影像值间的差值函数，其中滤波响应值为欲输出影像的欲输出像素值经由特征滤波系数进行滤波产生；根据差值函数，通过与特征滤波系数相关的线性方程式计算欲输出影像的欲输出中心像素值的最佳解，其中最佳解使差值函数的值最小；由最佳解中求取欲输出中心像素值以及输入像素值间的对应关系，以根据对应关系计算最佳化滤波系数；以及使滤波器电路根据最佳化滤波系数，对待处理影像的每一像素进行滤波。本发明提供的影像滤波方法能够根据当前影像特性，适当调整滤波系数而改善滤波效果。

Description

影像滤波方法及其影像滤波装置

技术领域

本发明涉及影像处理技术领域，具体涉及一种影像滤波方法及其影像滤波装置。

背景技术

在影像处理中，最常见的处理方法是使用滤波器。滤波器不仅能针对影像信号中的不同成分进行处理，滤波响应的结果也有效地代表影像中某种特征的强度。然而，在某些应用上，现存的滤波技术并无法有效地达到强化所需特征的目的。举例而言，在错色消除的应用中常使用中值滤波(median filter)。虽然中值滤波对移除锐利边缘的错误颜色很有效，但是在较缓的边界却容易导致效果减弱。此外，中值滤波器无法预测高频信号变化，无法确保输出影像维持清晰度。

因此，如何设计一个新的影像滤波方法及其影像滤波装置，以解决上述的问题，为业界亟待解决的问题。

发明内容

本发明提供一种影像滤波方法，包含：获取多个目标影像值以及包含多个输入像素值的输入影像；决定欲输出影像的多个滤波响应值与目标影像值间的差值函数，其中滤波响应值为欲输出影像的多个欲输出像素值经由至少一组特征滤波系数进行滤波产生；根据差值函数，通过与该组特征滤波系数相关的线性方程式计算欲输出影像的欲输出中心像素值的最佳解，其中最佳解使差值函数的值最小；由最佳解中求取欲输出中心像素值以及输入像素值间的对应关系，以根据对应关系计算至少一组最佳化滤波系数；以及使滤波器电路根据该组最佳化滤波系数，对待处理影像的每一像素进行滤波。本发明提供的影像滤波方法能够根据当前影像特性，适当调整滤波系数而改善滤波效果。

附图说明

图1为本发明一实施例中一种影像滤波装置的方框图；

图2为本发明一实施例中以矩阵乘法形式表现的低通滤波系数和高通滤波系数的示意图；以及

图3为本发明一实施例中一种影像滤波方法的流程图。

附图标记说明：

1：影像滤波装置 100：计算模块

102：滤波器电路 A_low：低通滤波系数

A_high：高通滤波系数 f_opt,low、f_opt,high：最佳化滤波系数

I：待处理影像 T_i：目标影像值

PI：输入影像 301-305：步骤

300：影像滤波方法

具体实施方式

请参照图1。图1为本发明提出的影像滤波装置一实施例的方框图。影像滤波装置1可用以对包含多个像素(pixel)的待处理影像I进行滤波，以产生滤波后的影像。

于本实施例中，影像滤波装置1包含：计算模块100以及滤波器电路102。

计算模块100获取包含多个目标影像值T_i以及多个输入像素值P_in的输入影像PI，输入影像PI包含N×N个像素，N为奇数且小于或等于5。举例来说，输入影像PI可为包含3×3个像素的影像。并且，输入影像PI的输入像素值P_in可包括红色输入像素值P_in,R、蓝色输入像素值P_in,B以及绿色输入像素值P_in,G，但不以此为限。

计算模块100决定欲输出影像PO(未绘示于图中)的多个滤波响应值A_i×P_out与目标影像值T_i间的差值函数E。滤波响应值A_i×P_out为欲输出影像PO的多个欲输出像素值P_out经由至少一组特征滤波系数A_i进行滤波产生。其中，欲输出像素值P_out包括红色欲输出像素值P_out,R、蓝色欲输出像素值P_out,B以及绿色欲输出像素值P_out,G。

以错色消除(false color reduction)的应用为例，为了符合人眼特性，用以获取影像的摄像装置的颜色滤波阵列(color filter array；CFA)中，绿色像素通道的取样率较高，具有较为可靠的高频信息。因此，理想的滤波结果是输出在红色、蓝色像素通道的低通滤波响应接近原始值，而在高通滤波响应接近绿色像素通道高通滤波响应值的影像，以去除错误的颜色。

基于上述，由于所感兴趣的影像特征是局部强度趋势及纹理，因此所用以滤波的特征滤波系数A_i可采用低通滤波系数A_low和高通滤波系数A_high获取。对于上述3×3个像素的影像来说，在将其向量化为9×1的向量后，使用滤波系数进行卷积(convolution)的运算可表示为矩阵乘法。

请参照图2。图2为本发明一实施例中，以矩阵乘法形式表现的低通滤波系数A_low和高通滤波系数A_high的示意图。其中，每列系数是在各像素不同的边界条件，例如位于影像中央或是影像边缘的情形下，对向量化为9×1向量的欲输出像素值P_out进行滤波。

如上所述，对于欲输出像素值P_out，以红色欲输出像素值P_out,R为例，理想的滤波结果是在低频表现接近于红色输入像素值P_in,R，并在高频表现接近于绿色输入像素值P_in,G。因此，上述的需求可以下二式表示：

A_low×P_out,R＝A_low×P_in,R (运算式一)

A_high×P_out,R＝A_high×P_in,G (运算式二)

根据上二式，A_low×P_out,R以及A_high×P_out,R分别为红色欲输出像素值P_out,R在低频及高频的滤波响应值。而A_low×P_in,R和A_high×P_in,G则为目标影像值T_i。

于一实施例中，计算模块100所决定的差值函数E可为滤波响应值A_i×P_out与目标影像值T_i间的加权平方误差。当特征滤波系数A_i对应的权重系数为λ_i时，差值函数E可以下式表示：

当特征滤波系数A_i为低通滤波系数A_low和高通滤波系数A_high，欲输出像素值P_out为红色欲输出像素值P_out,R，滤波响应值A_i×P_out为A_low×P_out,R以及A_high×P_out,R，目标影像值T_i为A_low×P_in,R和A_high×P_in,G，且低通滤波系数A_low和高通滤波系数A_high对应的权重系数分别为λ_low和λ_high时，运算式三可进一步表示为：

E＝λ_low||A_lowP_out,R-A_lowP_in,R||²+λ_high||A_highP_out,R-A_highP_in,G||² (运算式四)

计算模块100进一步根据差值函数E，通过与该组特征滤波系数A_i(亦即低通滤波系数A_low和高通滤波系数A_high)相关的线性方程式，计算欲输出像素值P_out的最佳解。详细而言，欲输出像素值P_out最佳解将使差值函数E的值最小。由线性代数理论可以计算得知，对于欲输出像素值P_out来说，最佳解是下述的线性方程式的解：

因此，当欲输出像素值P_out为红色欲输出像素值P_out,R且低通滤波系数A_low和高通滤波系数A_high对应的权重系数分别为λ_low和λ_high时，最佳解可进一步表示为：

(λ_lowA_low ^TA_low+λ_highA_high ^TA_high)P_out,R＝

λ_lowA_low ^T(A_lowP_in,R)+λ_highA_high ^T(A_highP_in,G) (运算式六)

于一实施例中，对所有的红色欲输出像素值P_out,R求解将造成运算量庞大。若是以滑动视窗(sliding window)的方式处理，则仅需求取欲输出影像PO的视窗中心像素值的最佳解。以3×3个像素的欲输出影像PO为例，其欲输出中心像素是第5个像素。因此，最佳解可表示为P_out,R,5，并由克拉玛法则(Cramer’s rule)求解后以下式表示：

P_out,R,5＝det(B)/det(A) (运算式七)

其中，矩阵A为

更详细的说即为λ_lowA_low ^TA_low+λ_highA_high ^TA_high。矩阵B为为矩阵A的第5行取代为

更详细的说即为λ_lowA_low ^T(A_lowP_in,R)+λ_highA_high ^T(A_highP_in,G)所产生。因此，矩阵A实际上与输入影像I的内容无关，可直接计算。另一方面，当矩阵B中，沿着第n个行(column)所得到的2n-1个余因子(cofactor)为B₁...B_(2n-1)，则det(B)可改写为：

其中，矩阵D为

若令矩阵C_k为为将矩阵A的第5行取代为向量V_k的矩阵，其中向量V_k为只有第k个维度数值为1，其他维度为0，则det(B)可改写为：

det(B)＝[det(C₁)...det(C₉)]λ_lowA_low ^T(A_lowP_in,R)+

[det(C₁)...det(C₉)]λ_highA_high ^T(A_highP_in,G) (运算式九)

上述的det(C_k)亦可直接计算而得。因此，计算模块100接着由最佳解P_out,R,5中求取欲输出中心像素值P_out,R,5以及输入像素值P_in,R及P_in,G间的对应关系，以根据对应关系计算最佳化滤波系数f_opt,low及f_opt,high：

f_opt.low＝([det(C₁)...det(C₉)]λ_lowA_low ^TA_low)/det(A) (运算式十)

f_opt.high＝([det(C₁)...det(C₉)]λ_highA_high ^TA_high)/det(A) (运算式十一)

由于最佳化滤波系数f_opt,low及f_opt,high均为1×9的向量矩阵，因此在排列为3×3的形式后，将成为可对3×3的影像进行滤波的滤波系数。

滤波器电路102可从例如，但不限于任意摄像装置或是其他影像源接收待处理影像I。滤波器电路102接着根据最佳化滤波系数f_opt,low及f_opt,high，对所接受的待处理影像I的每一像素进行滤波。

本发明的优点在于通过影像滤波装置1的计算模块100产生最佳化滤波系数f_opt,low及f_opt,high，以使欲输出影像PO中，待输出像素P_out的滤波响应与对应的目标影像值T_i愈接近，而具有希望输出的特征。接着，滤波器电路102即可依据这些最佳化滤波系数对待处理影I像进行处理，达到依需求进行滤波的目的。

需注意的是，上述的计算模块100可经由其他硬件元件如数据库、一般处理器、计算机、伺服器、或其他具特定逻辑电路的独特硬件装置或具特定功能的设备来实作，如将程序码和处理器/晶片整合成独特硬件。计算模块100所执行的方法可实施为一电脑程序，并储存于一电脑可读取记录媒体中，而使电脑读取此记录媒体后执行实时地点推荐方法。电脑可读取记录媒体可为只读存储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可由网络存取的数据库或本领域技术人员可轻易思及具有相同功能的电脑可读取记录媒体。滤波器电路102则可经由例如，但不限于电容、电阻、电感等被动式滤波元件，及/或晶体管或运算放大器等主动式滤波元件形成。

此外，于一实施例中，输入影像PI所包含的N×N个像素，N亦可能大于5，但是计算量将会十分庞大。由于滤波响应通常具有局部性，所响应的数值主要和区域性的区块的像素数值相关，因此采用N小于或等于5将可大幅减少运算量。并且，于其他实施例中，差值函数E的定义可随使用者需求选定为其他函数，目标影像值亦可随使用者需求选用其他数值，而不为上述实施例的范例所限。

于另一实施例中，由于蓝色欲输出像素值P_out,B的特性与红色欲输出像素值P_out,R相近，理想的滤波结果是在低频表现接近于蓝色输入像素值P_in,B，并在高频表现接近于绿色输入像素值P_in,G。因此，亦可采用类似的方式产生相关于蓝色欲输出像素值P_out,B的最佳化滤波系数。

在又一实施例中，除了错色消除的应用外，上述的滤波技术亦可应用于时间域去噪声(temporal denoise)上。更详细地说，在此应用情境下，欲输出像素值经由低频滤波系数滤波产生的频率响应值，将被期待接近输入影像的低通滤波结果。欲输出像素值在经由高频滤波系数滤波产生的频率响应值，则将被期待接近前一张经过时间域去噪声处理后的影像的高通滤波结果。因此，在这样的状况下，低通滤波的目标影像值为输入影像的输入像素值经由低通滤波系数进行滤波产生。而高通滤波的目标影像值为前一张经过时间域去噪声处理后的影像经由高通滤波系数进行滤波产生。

请参照图3。图3为本发明一实施例中，一种影像滤波方法300的流程图。影像滤波方法300可应用于例如，但不限于图1所绘示的影像滤波装置1中。影像滤波方法300包含下列步骤(应了解到，在本实施方式中所提及的步骤，除特别叙明其顺序外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行)。

于步骤301，由计算模块100接收目标影像值T_i以及包含输入像素值P_in的输入影像PI。

于步骤302，由计算模块100决定欲输出影像PO的滤波响应值A_i×P_out与目标影像值T_i间的差值函数E，其中滤波响应值A_i×P_out为该欲输出影像PO的欲输出像素值P_out经由特征滤波系数A_i进行滤波产生。

于步骤303，由计算模块100根据差值函数E，通过与特征滤波系数A_i相关的线性方程式计算欲输出影像PO之欲输出中心像素值的最佳解P_out,R,5，其中最佳解P_out,R,5使差值函数E的值最小。

于步骤304，由计算模块100从最佳解P_out,R,5中求取欲输出中心像素值以及输入像素值P_in间的对应关系，以根据对应关系计算最佳化滤波系数f_opt,low及f_opt,high。

于步骤305，使滤波器电路102根据最佳化滤波系数f_opt,low及f_opt,high，对待处理影像I的每一像素进行滤波。

虽然本案内容已以实施方式公开如上，然其并非配置以限定本案内容，任何本领域技术人员，在不脱离本案内容之精神和范围内，当可作各种之变动与润饰，因此本案内容的保护范围当以权利要求所界定为准。

Claims (10)

1.一种影像滤波方法，包含：

获取多个目标影像值以及包含多个输入像素值的一输入影像；

决定一欲输出影像的多个滤波响应值与所述目标影像值间的一差值函数，其中所述滤波响应值为该欲输出影像的多个欲输出像素值经由至少一组特征滤波系数进行滤波产生；

根据该差值函数，通过与该组特征滤波系数相关的一线性方程式计算该欲输出影像的一欲输出中心像素值的一最佳解，其中该最佳解使该差值函数的值最小；

由该最佳解中求取该欲输出中心像素值以及所述输入像素值间的一对应关系，以根据该对应关系计算至少一组最佳化滤波系数；以及

使一滤波器电路根据该组最佳化滤波系数，对一待处理影像的每一像素进行滤波。

2.如权利要求1所述的影像滤波方法，其中该输入影像以及该欲输出影像分别包含N×N个像素，N为奇数且小于或等于5。

3.如权利要求1所述的影像滤波方法，其中该差值函数为所述滤波响应值以及所述目标影像值间的一加权平方误差。

4.如权利要求3所述的影像滤波方法，其中该组特征滤波系数为矩阵A_i，所述欲输出像素值为向量P_out，该目标影像值为向量T_i，且该组特征滤波系数对应的一组权重系数为λ_i，则该差值函数为

且当一第一矩阵A为

一第二矩阵B为该第一矩阵A的第n行取代为

所产生，则该欲输出中心像素值的该最佳解为det(B)/det(A)。

5.如权利要求4所述的影像滤波方法，其中当该第二矩阵B的一余因子为B₁...B_(2n-1)，且一第三矩阵D为

则该组最佳化滤波系数为

6.一种影像滤波装置，包含：

一计算模块，配置以：

获取多个目标影像值以及包含多个输入像素值的一输入影像，决定一欲输出影像的多个滤波响应值与所述目标影像值间的一差值函数，其中所述滤波响应值为该欲输出影像的多个欲输出像素值经由至少一组特征滤波系数进行滤波产生；

根据该差值函数，通过与该组特征滤波系数相关的一线性方程式计算该欲输出影像之一欲输出中心像素值的一最佳解，其中该最佳解使该差值函数的值最小；以及

由该最佳解中求取该欲输出中心像素值以及所述输入像素值间的一对应关系，以根据该对应关系计算至少一组最佳化滤波系数；以及

一滤波器电路，配置以根据该组最佳化滤波系数，对一待处理影像的每一像素进行滤波。

7.如权利要求6所述的影像滤波装置，其中该输入影像以及该欲输出影像分别包含N×N个像素，N为奇数且小于或等于5。

8.如权利要求6所述的影像滤波装置，其中该差值函数为所述滤波响应值以及所述目标影像值间的一加权平方误差。

9.如权利要求6所述的影像滤波装置，其中该组特征滤波系数包含一组特征低通滤波系数以及一组特征高通滤波系数。

10.如权利要求9所述的影像滤波装置，其中所述欲输出像素值包含对应于一第一颜色的多个第一颜色欲输出像素值，所述滤波响应值包含所述第一颜色欲输出像素值经由该组特征低通滤波系数进行滤波产生的多个低通滤波第一颜色欲输出像素值，以及所述第一颜色欲输出像素值根据该组特征高通滤波系数进行滤波产生的多个高通滤波第一颜色欲输出像素值，且所述目标影像值包含多个低通滤波目标值以及多个高通滤波目标值。

Images