CN1766927A

CN1766927A - 用于局部适配图像处理滤波器的方法及系统

Info

Publication number: CN1766927A
Application number: CNA2005100736694A
Authority: CN
Inventors: 单继章
Original assignee: HAOWEI TECH Co Ltd
Current assignee: Omnivision Technologies Inc
Priority date: 2004-05-20
Filing date: 2005-05-19
Publication date: 2006-05-03
Anticipated expiration: 2025-05-19
Also published as: EP1601184B1; US20050259886A1; DE602005004694T2; EP1601184A1; DE602005004694D1; TWI258717B; CN100389597C; ATE386402T1; US7822285B2; TW200539062A

Abstract

本发明提供了一种采用局部适配滤波器处理图像的在图像滤波时保持边缘清晰的方法和系统。该滤波器利用局部适配加权平均值的方法来调整图像的像素数据。要调整目标像素数据，滤波器利用该像素周围像素相应数据，并修改其权重系数，使权重系数既与该像素到第一像素的距离成反比，也与该像素的像素数据和第一像素的像素数据的差值成反比。周边像素的不同选择方式以及加权平均值的不同计算方式，构成本发明不同的图像滤波调整方案。

Description

用于局部适配图像处理滤波器的方法及系统

技术领域

本发明涉及一种信号处理的方法和系统，更具体地讲，本发明涉及一种图像处理、平滑(smoothing)和增强(enhancement)的方法和系统。

背景技术

滤波是信号处理领域中最基本的操作之一。通过滤波，在模拟或数字信号上可执行多种操作，以获得噪音抑制、数据压缩和特征增强的效果。滤波器可以是一个物理元件，如在信号通路上的电路或电子回路，也可以是针对信号的不同特征(如其大小或相位)而执行的一套数学操作，还可以是在信号上执行的任何其它操作(通常是非随机的)。

信号处理的其中一个分支便是图像处理。数字图像是具有不同亮度和色彩的点的集合，这些点称之为像素，其具有一定的、有限的物理尺寸。存储或传输图像时，每一像素的相应数据表征该像素的色彩、亮度(brightness)、光度(luminance)和其它与该像素相关的信息。该图像数据受数据传输、图像获取和存储装置的物理局限、电磁干涉等的影响而易被破坏并产生噪音。为了对破坏的图像数据和随之导致的图像变差进行补偿，或者为了减少噪音以及平滑被破坏的图像，或者只是为了增强图像并强调其特征，就需要通过滤波对图像执行一些操作。

一些传统的但更复杂的、而且要求更多计算的操作，涉及将图像数据转换成其它域，如傅立叶(Fourier)域、汉可(Hankel)域或希耳伯特(Hilbert)域，以及在新域的一些处理之后再将其转换成图像域。其它的传统方法包括在与图像域相同的域当中进行数学处理。后一类方法的一个典型例子是用相邻像素的相应数据来调整每一像素数据。选择相邻像素的标准和调整目标像素数据的计算方案是滤波器的明显特征。

一些更常规的滤波器则计算一像素及其相邻像素的加权平均值的变化。在这些滤波器中，被调整的像素数据(目标像素)及其相邻像素的数据值通常乘一定的系数(权重系数)，该增值结果的平均值用于调整该目标像素。实际上，该图像与倍增器的二维窗口卷积。

在图像中，除特殊例子外，很有可能每一像素值与其邻近像素值接近。因此，如上述的取平均值方案可减少因将受噪音影响的像素值带到接近其相邻像素值而产生的噪音破坏影响。然而，尽管取平均值方案可通过抑制噪音平滑图像，但其通过阻止像素值中任何突变并以渐变取代之，会使图像中物体的界线模糊化。

因此，提供一个相对简单而适配的滤波器实为必要，该滤波器应当在增强图像并减少噪音的同时，可根据图像的局部需要而调整权重系数，以保持图像及其边缘的清晰度。

发明内容

本发明的目的在于提供一种采用局部适配滤波器，能够在图像滤波时保持边缘清晰的处理图像的方法。

本发明的目的在于提供一种采用局部适配滤波器，能够在图像滤波时保持边缘清晰的处理图像的系统

本发明的目的是通过以下技术方案来实现的：

一种处理图像帧像素数据的方法，该图像包括多个像素和对应于所述像素的像素数据，该方法包括以下步骤：

(1)选择第一像素；

(2)在第一像素附近选择多个第二像素；

(3)计算与所选像素对应的像素数据的加权平均值，且计算时与每一所选像素相关的权重系数与该像素到第一像素的距离或其平方成反比，并与该像素的像素数据和第一像素的像素数据的差值、差值平方或其相对比值成反比；以及

(4)根据计算出的加权平均值，调整第一像素的像素数据。

其中，像素数据可以是像素的发光值或亮度值，图像可以是静止的图像、视频的单一图像帧或电影的单一图像帧。计算时，可以选择落在某一以第一像素为中心的矩形中的所有像素，也可仅选择经过第一像素且位于与图像的XY坐标相同方向的两正交轴上的像素。

对应于每一所选像素的应权重系数可由两个数的乘积导出；其第一个数与该像素到第一像素的距离成反比，或者该第一个数与该像素到第一像素的距离的平方成反比，其第二个数与该像素数据和第一像素数据的差值成反比，或者该第二个数与该像素数据和第一像素数据的差值平方成反比，也或该第二个数与该像素数据和第一像素数据的相对比值成反比。

上述加权平均值的计算和调整过程是迭代重复的，且每一次重复仅采用先前调整过的第一像素数据以及以第一像素为中心构成矩形的像素的数据。

第一像素数据通过一系列的迭代来调整，每一迭代利用先前的第一像素调整数据以及经第一像素的两正交轴之一与以第一像素为中心的矩形的相交位置处的两个像素数据。

图像数据可以是YUV色空间的Y信道数据。

本发明还提供了一种处理图像帧像素数据的系统，该图像包括多个像素和该像素相应的数据，该系统包括存储图像像素数据的记忆单元和可编程处理器，该处理器的编程为：

(1)选择第一像素；

(2)在第一像素附近选择多个第二像素；

(3)将每一选择像素数据乘以两个数，其中第一个数与该像素到第一像素的距离的成反比，第二个数与该像素数据和第一像素数据的差值成反比；

(4)对上述乘积结果取平均值；

(5)利用该平均值调整第一像素数据。

下面结合附图和具体实施方式对本发明做进一步的说明。

附图说明

图1是典型成像环境的示意图。

图2是典型图像数据通路的示意图。

图3是图像退化和滤波器处理效果的示意图。

图4是本发明滤波方案一实施方式的示意图。

图5是本发明滤波方案另一实施方式的示意图。

图6是本发明又一实施方式的示意图，该实施方式在二次迭代中采用位于与图像x-y轴平行的、经过中心像素的两正交轴上的周边像素的数据来调整中心像素。

图7是本发明结合上述两实施方式的再一实施方式的示意图。

图8是本发明实施方式局部适配非线性滤波方法的流程图。

具体实施方式

本发明涉及一种抑制减少噪音和保存边缘清晰的图像滤波的非线性局部适配滤波方法及其系统。本发明所述的滤波器，为计算加权平均值，不仅考虑到目标像素相对其周围像素的几何位置，还考虑到它们相应数据的关系。在下面的说明中，给出某些具体细节，只是为了便于彻底理解本发明的具体实施方式。但所属领域的熟练技术人员可以认识到，在没有这些具体细节中的一个或多个的情况下仍能实施本发明，或者采用其它方法、元件、材料等的情况下仍能实施本发明。另外，为了清楚地描述本发明的各种实施方案，因而对众所周知的结构、材料和操作没有示出或进行详细地描述。

在本发明的说明书中，提及“一实施方案”或“某一实施方案”时是指该实施方案所述的特定特征、结构或者特性至少包含在本发明的一个实施方案中。因而，在说明书各处所出现的“在一实施方案中”或“在某一实施方案中”并不一定指的是全部属于同一个实施方案；而且，特定的特征、结构或者特性可能以合适的方式结合到一个或多个的具体实施方案中。

图1是包括图像处理的典型成像环境的示意图，图2是局部适配非线性滤波器(LANF)系统的实施方式的示意图，且揭示了在图1成像环境中的图像简化数据通路。图像器件210可是图像获取装置、图像发生装置、存储装置，或其它可输出模拟或数字格式的图像信号或数据的装置，或者是其中任意二者。该图像器件210的数字输出240是LANF滤波器260的输入。若该图像器件210的输出是模拟信号，其将经过数字化或取样装置230，而数字化后的信号(图像数据)250将被输入至LANF滤波器260。滤波后的信号270可存储在数据存储器280或通过显示装置290进行显示。滤波器260可以是一个能对数据进行特殊数学操作的处理单元，如专用的处理器或桌面电脑。

图3显示图像退化和滤波器处理的效果。表征图像310的图像数据(I)320被所增加的噪音(N)破坏，而噪音(N)可能的来源途径有许多，从而导致退化的图像数据(D)340，此处D＝I+N。用滤波器350对该退化图像D进行滤波处理，将减少噪音的影响，并得道高逼真度图像。

图4是本发明的滤波方法对退化的图像数据(D)400进行处理的一实施方式。“中心像素”410是目标像素，滤波器将通过自身数据和其周围一定数量像素420的数据来调整其相应的数据。中心像素和那些其数据被包括在该中心像素的调整计算中的周边像素，被称为处于“卷积窗口”430内。在一实施方式中，像素的调整可以通过用其它计算的数据来取代该像素数据来完成。在另一实施方式中，这种调整是指将该像素数据加上、减去或乘以某个数。在又一实施方式中，这种调整也可以是对该像素数据所进行的其它操作。

在一实施方式中，每一中心像素的计算如下：

\hat{I} (x, y) = \frac{\underset{s}{Σ} \underset{t}{Σ} w (s, t, x, y) D (x + s, y + t)}{\underset{s}{Σ} \underset{t}{Σ} w (s, t, x, y)}

其中，权重系数(w)由以下等式得出：

w(s，t，x，y)＝w_P(s，t)w_R(s，t，x，y)

w_{P} (s, t) = e^{- \ln 2 \frac{s^{2} + t^{2}}{s^{2}}}

w_{R} (s, t, x, y) = \frac{1}{1 + α {(D (x + s, y + t) - D (x, y))}^{2}}

在上述等式中，x和y是每一像素在图像帧中的坐标，s和t是周边像素420关于中心像素410的相对坐标，D(x，y)表示在x和y坐标上的像素数据。对卷积窗口430中每一像素的权重系数w(s，t，x，y)予以赋值，w(s，t，x，y)由w_P(s，t)和w_R(s，t，x，y)两部分组成，其中，第一部分w_P(s，t)与中心像素和相邻像素之间的距离成反比，因此，一个像素离中心像素越远，其对中心像素的调整的影响越小。第二部分w_R(s，t，x，y)与中心像素数据和相邻像素数据之间的差值成反比，差值越大，周围像素数据对中心像素数据的调整的影响越小。

图5是本发明另一实施方式的示意图。在该实施方式中，可以认为卷积窗口中的像素形成了以中心像素为共同中心的同心矩形510。该实施方式的计算为迭代法计算。调整中心像素数据所进行的迭代计算的次数，等于卷积窗口中同心矩形的数量。迭代可利用上述等式计算。

每一次迭代仅利用前一次调整的中心像素的数据和形成其中一个同心矩形的像素数据。调整后的中心像素数据则会被用于随后的迭代计算，直至同心矩形用尽。所有的同心矩形都重复该步骤，每一次采用前一次中心像素调整后的值。尽管该实施方式轻微增加了LANF的计算工作量，但也增强了图像的平滑效果。这种迭代可从最里面的矩形开始，然后到最外面的矩形结束，或者按相反次序进行，或者甚至不按特定次序进行。

图6是利用位于通过中心像素的两正交轴上的周边像素数据、在两次迭代中调整中心像素410的另一实施方式的示意图。在执行中，这些正交轴可平行于x和y轴。在这里，为了简便，将平行于x轴的坐标轴称为横轴，而将平行于y轴的坐标轴称为纵轴。在调整目标像素所进行的第一次迭代中，利用了该目标像素(中心像素)和卷积窗口430中的其中一个轴上(纵轴610或横轴620)的像素的数据。在第二次迭代中，则利用了第一次迭代调整后的数据和卷积窗口430中的另一轴上的像素数据，对中心像素重新调整。

图7是结合图5和图6所示前述两种实施方式的另一实施方式的示意图。在本实施方式中，仅采用卷积窗口中位于纵轴610、横轴620与同心矩形510交叉位置处的像素，来调整中心像素数据。本实施方式的迭代次数是同心矩形510数目的两倍。迭代可以采用上述相同的等式。

每一同心矩形进行两次迭代计算。在同心矩形的第一次迭代中，利用中心像素数据以及横轴710(或纵轴720)与同心矩形相交位置上的两个像素数据，来调整中心像素数据。在同一同心矩形的第二次迭代中，采用经第一次迭代调整过的中心像素数据以及另一坐标轴与该同心矩形相交位置处的两个像素数据。对于每一同心矩形计算而言，经第二次迭代调整后的中心像素数据将会成为下一个同心矩形第一次迭代计算的中心像素数据。持续进行迭代，直至位于卷积窗口中纵轴610、横轴620与同心矩形相交位置处的所有像素都被采用。在一实施方式中，迭代计算可从最里面的同心矩形开始然后到最外面的矩形结束，或者以相反次序进行。

彩色图像有几个不同方法来表示色彩，通常为色空间。当今世界采用许多种色空间。众所周知的两种色空间标准为RGB和YUV。在RGB色空间中，以不同比率结合的红、绿、蓝三色可组成所有色彩。在YUV色空间中，图像的发光度(类似于亮度)与色彩信息分离而被保留在与色度(chrominance)分离的Y信道中。U信道和V信道携带色彩信息。大多数关于边缘和细节方面的信息在Y信道中体现。

在另一实施方式中，YUV为处理域。当传统的滤波器(如高斯滤波器)可以应用到U信道和V信道数据，上述的滤波操作可应用到YUV色空间的Y信道中。

图8是本发明一实施方式的局部适配非线性滤波方法的流程图。该方法步骤802的输入是与图像像素帧中像素相关的像素数据。在一实施方式中，步骤802的输入可以是存储在存储模块中的像素数据，而在另一实施方式中，它可以是来自照相机等的实时数据等。

在步骤804，选择出目标像素并确定其相应数据作随后调整。在步骤806，选择邻近目标像素的一些像素(依照本发明前述实施方式中所提到的选择标准)并确定其相应数据，这些数据会稍后用于调整目标像素的数据。在步骤808，为邻近目标像素的、每一选定的像素计算出一个权重系数。这些计算使用先前提供的一些等式。

在步骤810，利用目标像素的数据、连同其它所选定的邻近像素的数据以及计算出的权重系数，根据先前提供的另一等式，来计算加权平均值。在步骤812中，利用步骤810计算得出的加权平均值来调整在步骤804中确定的目标像素的数据。在步骤814中，将调整后的目标像素的数据存储起来，并重复像素调整过程，直至全部或部分的图像帧经过滤波。

以上说明描述的仅是本发明一些优选的实施方式。本领域的普通技术人员在阅读了上述的说明书后，在没有偏离上述公开的基本概念的前提下，完全可以进行一些适当的改变、改进、组合以及等同物的替换。因此，本申请授权后的保护范围只由其权利要求书和其等同物所限定，而不受此处具体实施方案的限制。

Claims

1、一种处理图像帧像素数据的方法，该图像包括多个像素和对应于所述像素的像素数据，该方法包括以下步骤：

(1)选择第一像素；

(2)在第一像素附近选择多个第二像素；

(3)计算与所选像素对应的像素数据的加权平均值，计算时，与每一所选像素相关的权重系数与该像素到所述第一像素的距离成反比，并与该像素的像素数据和所述第一像素的像素数据的差值成反比；以及

(4)根据计算出的加权平均值，调整所述第一像素的像素数据。

2、如权利要求1所述的方法，其中，所述的像素数据是像素的发光度值。

3、如权利要求1所述的方法，其中，所述的像素数据是像素的亮度值。

4、如权利要求1所述的方法，其中，所述的图像是静止图像。

5、如权利要求1所述的方法，其中，所述的图像是视频的单一图像帧。

6、如权利要求1所述的方法，其中，所述的图像是电影的单一图像帧。

7、如权利要求1所述的方法，其中，位于一定大小矩形中的所有像素都被选择，而且所述第一像素位于该矩形的中心。

8、如权利要求1所述的方法，其中，所述的与每一所选像素对应的权重系数由第一个数和第二个数的乘积导出，其中，第一个数与该像素到所述第一像素的距离成反比，第二个数与该像素的像素数据和所述第一像素的像素数据的差值成反比。

9、如权利要求1所述的方法，其中，所述的与每一所选像素对应的权重系数由第一个数和第二个数的乘积导出，其中，第一个数与该像素到所述第一像素距离的平方成反比，第二个数与该像素的像素数据和所述第一像素的像素数据的差值的平方成反比。

10、如权利要求1所述的方法，其中，所述的与每一所选像素对应的权重系数由第一个数和第二个数的乘积导出，其中，第一个数与该像素到所述第一像素的距离成反比，第二个数与该像素的像素数据和所述第一像素的像素数据的相对比值成反比。

11、如权利要求1所述的方法，其中，所述的加权平均值的计算和所述的调整过程是迭代重复的。

12、如权利要求1所述的方法，其中，所述的加权平均值的计算和所述的调整过程是迭代重复的，而且每次迭代重复时，仅采用先前调整过的第一像素的像素数据以及以所述第一像素为中心而构成矩形的像素的像素数据。

13、如权利要求1所述的方法，其中，只有经过所述第一像素且位于两正交轴上的像素被选择。

14、如权利要求1所述的方法，其中，只有经过所述第一像素且位于与图像的XY坐标相同方向的两正交轴上的像素被选择。

15、如权利要求1所述的方法，其中，所述第一像素的像素数据通过采用位于第一坐标轴上所选像素的像素数据进行第一次迭代计算，然后采用经第一次迭代计算调整后的第一像素的像素数据和位于与第一坐标轴正交的第二坐标轴上所选像素的像素数据进行第二次迭代计算，其中，所述第一坐标轴和所述第二坐标轴经过所述第一像素。

16、如权利要求1所述的方法，其中，所述第一像素的像素数据通过一系列的迭代计算进行调整，每一次迭代计算则利用先前调整过的第一像素的像素数据以及位于两条正交轴之一与一矩形的相交位置处的两个像素的像素数据，所述两条正交轴经该第一像素，所述矩形以该第一像素为中心。

17、如权利要求1所述的方法，其中，所述图像的数据是YUV色空间的Y信道数据。

18、一种处理图像帧像素数据的方法，该图像包括多个像素和对应于所述像素的像素数据，该方法包括以下步骤：

(1)选择第一像素；

(2)在第一像素附近选择多个第二像素；

(3)将每一所选像素的像素数据乘以第一个数，该第一个数与该所选像素到所述第一像素的距离的平方成反比，随后乘以第二个数，该第二个数与该所选像素的像素数据和所述第一像素的像素数据的差值的平方成反比；

(4)对上述乘积结果取平均值；以及

(5)利用该平均值调整所述第一像素的像素数据。

19、如权利要求18所述的方法，其中，所述的像素数据是像素的发光度值。

20、如权利要求18所述的方法，其中，所述的像素数据是像素的亮度值。

21、如权利要求18所述的方法，其中，所述的图像是静止图像。

22、如权利要求18所述的方法，其中，所述的图像是视频的单一图像帧。

23、如权利要求18所述的方法，其中，所述的图像是电影的单一图像帧。

24、如权利要求18所述的方法，其中，位于一定大小矩形中的所有像素都被选择，而且所述第一像素位于该矩形的中心。

25、如权利要求18所述的方法，其中，所述的乘法操作和取平均值操作是迭代重复的。

26、如权利要求18所述的方法，其中，所述的乘法操作和取平均值操作是迭代重复的，而且每次迭代重复时，仅采用先前调整过的第一像素的像素数据以及以所述第一像素为中心而构成矩形的像素的像素数据。

27、如权利要求18所述的方法，其中，只有经过所述第一像素且位于两正交轴上的像素被选择

28、如权利要求18所述的方法，其中，只有经过所述第一像素且位于与图像的XY坐标相同方向的两正交轴上的像素被选择。

29、如权利要求18所述的方法，其中，所述第一像素的像素数据通过采用位于第一坐标轴上所选像素的像素数据进行第一次迭代计算，然后采用经第一次迭代计算调整后的第一像素的像素数据和位于与第一坐标轴正交的第二坐标轴上所选像素的像素数据进行第二次迭代计算，其中，所述第一坐标轴和所述第二坐标轴经过所述第一像素。

30、如权利要求18所述的方法，其中，所述第一像素的像素数据通过一系列的迭代计算进行调整，每一次迭代计算则利用先前调整过的第一像素的像素数据以及位于两条正交轴之一与一矩形的相交位置处的两个像素的像素数据，所述两条正交轴经该第一像素，所述矩形以该第一像素为中心。

31、如权利要求18所述的方法，其中，所述图像的数据是YUV色空间的Y信道数据。

32、一种处理图像帧像素数据的系统，该图像包括多个像素和对应于所述像素的像素数据，该系统包括：

存储所述图像的像素数据的记忆单元；和

可编程的处理器，且该处理器的编程可进行操作：

(1)选择第一像素；

(2)在第一像素附近选择多个第二像素；

(3)将每一所选像素的像素数据乘以第一个数，该第一个数与该所选像素到所述第一像素的距离成反比，随后乘以第二个数，该第二个数与该所选像素的像素数据和所述第一像素的像素数据的差值成反比；

(4)对上述乘积结果取平均值；以及

(5)利用该平均值调整所述第一像素的像素数据。