CN100512376C - 用于图像信号的内容自适应降噪滤波 - Google Patents

Abstract

一种方法，包括选择目标像素并且将该目标像素的值与位于包括所述目标像素的区域内的多个像素中每一像素的相应值进行比较。此外，对所述多个像素中其值与所述目标像素的值至少相差一阈值量的每个像素，使用所述目标像素的值替换所述每个像素的值。对一组像素值应用滤波器函数，其中所述组的像素值包括所述目标像素的值和所述多个像素进行所述替换之后的当前值。

Description

用于图像信号的内容自适应降噪滤波

技术领域

本发明涉及信号处理，更为具体地，本发明涉及图像信号的处理。

背景技术

对视频信号执行降噪处理是已知的，它通过减轻视频信号中通常存在的噪声影响改善感知图像的质量。噪声源包括压缩编码/解码，它会导致诸如分块噪声、振铃噪声、蚊式噪声和转换噪声的各类假象。其他的噪声源包括视频捕捉处理、模数转换和信号传输。

为了改善图像质量可以在视频信号解压(解码)之后执行降噪处理，并且也可在传输或记录之前执行该降噪处理以在考虑质量的同时避免为传输/记录假象而浪费带宽。

典型的降噪处理包括视频信号的低通滤波。虽然通常为减轻假象值得进行滤波，但该滤波也在某些程度上模糊了图像，所以降噪处理需要在各类失真中找寻折衷。计算复杂性也是降噪处理的一大缺点。

发明内容

本发明提供一种方法，包括：将目标像素的值与位于包括所述目标像素的区域内的多个像素中每个像素的相应值进行比较；对所述多个像素中其值与所述目标像素的值至少相差一阈值量的每个像素，使用所述目标像素的值替换所述每个像素的值；以及对一组像素值应用滤波器函数，所述一组像素值包括所述目标像素的值和所述多个像素进行所述替换之后的当前值，其中在所述替换之前，为所述目标像素计算边缘矩阵；并且所述阈值量是用于所述目标像素的所述边缘矩阵的函数，其中按照所述目标像素的相邻与边缘检测加权矩阵的卷积来计算所述边缘矩阵。

本发明还提供一种系统，包括：视频信号源；与所述视频信号源相耦合的降噪电路；以及与所述降噪电路相耦合的压缩编码电路；所述降噪电路可用于：从位于包括目标像素的区域内的多个像素的每个像素的相应值中减去所述目标像素的值；对所述多个像素中其值与所述目标像素的值至少相差一阈值量的每个像素，使用所述目标像素的值替换所述每个像素的值；以及对一组像素值应用滤波器函数，所述一组像素值包括所述目标像素的值和所述多个像素在进行所述替换之后的当前值，所述降噪电路还可用于：在所述替换之前，为所述目标像素计算边缘矩阵；并且所述阈值量是用于所述目标像素的所述边缘矩阵的函数，其中按照所述目标像素的相邻与边缘检测加权矩阵的卷积来计算所述边缘矩阵。

本发明又提供一种系统，包括：用于解压经压缩编码的视频信号的视频解码器；以及与所述视频解码器相耦合的降噪电路，所述降噪电路可用于：将目标像素的值与位于包括所述目标像素的区域内的多个像素中每个像素的相应值进行比较；对所述多个像素中其值与所述目标像素的值至少相差一阈值量的每个像素，使用所述目标像素的值替换所述每个像素的值，其中所述降噪电路还可用于：在所述替换之前，为所述目标像素计算边缘矩阵；并且所述阈值量是用于所述目标像素的所述边缘矩阵的函数，其中按照所述目标像素的相邻与边缘检测加权矩阵的卷积来计算所述边缘矩阵。

本发明最后提供一种方法，包括：从位于包括目标像素的区域内的多个像素的每个像素的相应值中减去所述目标像素的值；对所述多个像素中其值与所述目标像素的值至少相差一阈值量的每个像素，使用所述目标像素的值替换所述每个像素的值；以及对一组像素值滤波，所述一组像素值包括所述目标像素的值和所述多个像素在进行所述替换之后的当前值，其中在所述替换之前，为所述目标像素计算边缘矩阵；并且所述阈值量是用于所述目标像素的所述边缘矩阵的函数，其中按照所述目标像素的相邻与边缘检测加权矩阵的卷积来计算所述边缘矩阵。

附图说明

图1是根据本发明某些实施例从捕捉到的图像中生成视频比特流的装置框图。

图2是根据本发明某些实施例从比特流中生成视频显示的装置框图。

图3是示出作为图1或图2所示装置一部分的降噪模块的某些操作的功能性框图。

图4是示出由降噪模块所执行过程的流程图。

图5示意性地示出了图4所示过程的某些方面。

图6是示出了其他某些实施例中降噪模块的某些操作的功能性框图。

图7A和7B一并形成示出了结合图6中功能性结构被执行的过程的流程图。

图8图解地示出了图7A和7B所示过程的一个方面。

图9是根据图2所示装置中其他实施例执行的降噪滤波的某些方面的功能性框图。

图10A和10B一并形成示出了结合图9中功能性排列被执行的过程的流程图。

具体实施方式

图1是根据本发明某些实施例从捕捉到的图像中生成视频比特流的装置100的框图。

装置100包括诸如数字摄像机的视频信号捕捉设备102。装置100还包括与视频信号捕捉设备102耦合的预处理模块104。预处理模块104对由视频信号捕捉设备102所提供的捕捉到的视频信号执行一种或多种预处理。例如，预处理模块104可以在如下的一个实施例中执行一种或多种不同的降噪处理。

装置100还包括与预处理模块104耦合的压缩编码模块106。压缩编码模块106可以根据对由预处理模块104提供的预处理视频信号的传统实现而应用压缩编码。

此外，装置100还包括与压缩编码模块106相耦合的发射机108，用于经由未独立示出的通信信道传输具有视频信号比特流形式的压缩已编码视频信号。

如下将讨论预处理模块104的实施例细节。

图2是根据某些实施例从视频比特流中生成视频显示的装置200的框图。

装置200包括视频信号比特流源202。例如，视频信号源202可以经由通信信道(未单独示出)接收视频信号，或者可以从诸如DVD或硬盘驱动器的存储介质中再现视频信号。例如，视频信号源可以包括视频调谐器、卫星地面站或者DVD播放器。假设视频信号比特流表示已根据例如一种MPEG压缩标准被压缩编码的视频信号。视频信号源202可依据传统实践操作。

装置200还包括与视频信号源相耦合的视频解码器204，用以解压缩由所示视频信号源202提供的视频信号比特流。视频解码器204可以依据传统原理操作，并易于在输出视频图像中产生假象，该现象通过如下讨论的实施例可以得到改善。

装置200还包括与视频解码器204相耦合的后处理模块206。后处理模块206对从视频解码器204输出的解压视频信号执行一种或多种后处理。例如，后处理模块206可以在下述一个或多个实施例中实现一种或多种不同的降噪处理。

此外，装置200包括显示设备208，诸如传统的电视机或计算机显示监视器。显示设备208显示由后处理模块206输出的视频信号。

图3是示出了根据本发明某些实施例而在预处理模块104或在后处理模块206中执行的降噪处理的某些方面的功能框图。

模块302表示接收需经降噪处理的(例如，直接或间接来自视频捕捉设备102，或者直接或间接来自视频解码器204的)输入信号的预处理模块104或后处理模块206(或者降噪子模块)。模块304表示根据某些实施例而提供的用于施加可被称为“内容自适应替代滤波”过程的滤波过程的(经特别设计或编程的)电路。如下将详述，将用于滤波的预期像素值与目标像素值进行比较(如模块306所示)并在某些情况下将其替换以支持改进的低通滤波器(如模块308所示)。所得的经低通滤波的视频信号输出如模块310处所示。

图4是示出了可在模块304(图3)中执行的内容自适应替代滤波的一个实施例的流程图。现参见图4，框402表示(例如，在视频捕捉之后或在先前被压缩编码的视频信号解码之后)接收输入信号的模块304。框404表示从输入视频信号中选取目标像素x。目标像素x是为其现在计算经滤波输出值的像素。在内容自适应替代滤波的特定实例中，基于以目标像素x为中心的三像素乘三像素方形的滤波器支持相邻区内的像素值来确定每个目标像素的像素输出值。可将该区域表示为NH(x)或因为总区域对应9个像素，则可表示为NH9(x)。(在某些实施例中，可以使用除三像素乘三像素之外的滤波器支持区。例如，可在另外的实施例中使用四像素乘四像素、五像素乘五像素、六像素乘六像素或七像素乘七像素的滤波器支持区。)

在图4的406处，将NH9(x)内的一个相邻像素y的值与像素x的值进行比较。在408处确定两像素之间差的绝对值是否至少与阈值量TH(x)一样大。(在正讨论的特定实施例中，TH(x)可以是与所有目标像素结合使用的常量，但是在下述的其它实施例中，不同目标像素的TH(x)可以不同。在某些实施例中，用于TH(x)的常量可由装置100或200的用户或设计者编程。)

如果在408确定两像素之间差的绝对值至少与TH(x)一样大，则随后出于应用滤波函数以计算用于该目标像素的输出滤波的像素值的目的，就可在410处使用目标像素x的值替代相邻像素y的值。如果在408确定两像素之间差的绝对值小于TH(x)，则不对相邻像素值进行替代。紧接着后一种情况的408，或者紧接410之后的情形可如判定框412所示，在412处确定NH9(x)中是否还有任何相邻像素尚未与该目标像素相比较。如果情况是这样，图4的过程随后就返回到406以考虑NH9(x)中的另一个相邻像素。如果情况不是这样，则该过程就如414处所示接着应用低通滤波器特性以生成用于所述目标像素的滤波输出值，如下将对此进一步的讨论。

图5示意性地示出了结合特定目标像素x的循环406至412如何进行操作的实例。502处示出了NH(x)的初始条件，其中目标像素x由图502所示阵列中间的实心黑圆像素表示。阵列502中的空心圆表示其值与目标像素x的值相差(如果有的话)小于TH(x)的相邻像素。阵列502中的阴影空心圆表示其值与目标像素x的值相差至少等于TH(x)的相邻像素。如504处示意性地指出的那样，使用目标像素x的值替代后一种相邻像素的值以形成替代滤波器支持阵列SNH(x)。由SNH(x)表示的像素值组包括目标像素的值以及相邻像素的“当前值”，其中相邻像素的当前值在该值未被替换的情况下是该像素的初始值而在已发生替换的情况下则是目标像素的值。通过该比较和替换操作，就能从滤波器支持区中移除离群像素值，从而能获取更令人满意的滤波器结果。同时，离群值由每个目标像素值替代可使得滤波函数的输入值数目与各目标像素相同，由此就可降低硬件实现的复杂度。这与因简单丢弃离群值而导致输入值数变化和复杂实现的已知“∑(sigma)滤波器“形成了鲜明的对照。

重新参考图4的412，在某些实施例中，被应用以生成目标像素x的输出经滤波值的滤波器函数可由以下的权矩阵定义：

$\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$

为了降低计算的复杂度，这一两维矩阵可被分解为两个一维矩阵：

$\left[\begin{array}{c}1\\ 2\\ 1\end{array}\right]*\left[\begin{array}{ccc}1& 2& 1\end{array}\right]$

(可以在其它实施例中使用不同于上述的滤波器性能。例如可以使用适于其他滤波器支持尺寸的滤波器特性。)

在某些实施例中，目标像素x的输出经滤波值可如下计算：

$(1/16)*((\underset{y\∈\mathrm{NH}9\left(x\right)}{\mathrm{\Σ}}w\left(y\right)*\left\{y\right\})+8),$

其中w(y)是在像素y∈NH9(x)位置处的加权矩阵的值，而{y}是该像素的值。应该认识到16是加权矩阵的和而8是该和的一半，并且应用后一项是出于舍入(rounding)的目的。

在其它实施例中也可应用其他的滤波器函数。同样在其它实施例中，可以利用上述三像素乘三像素滤波器支持区域之外的其他大小和/或形状的滤波器支持区。

一旦对SNH(x)应用了滤波器函数并且已经为该目标像素计算了所得的输出经滤波值，则就如图4中416所示存储所述输出经滤波值。接下来就在判定框418处确定是否已经为要处理图像中的全部目标像素获取了输出经滤波值。如果没有，图4的过程就返回404。否则就完成该过程。应该认识到图4所示的内容自适应替代滤波可应用于由输入视频信号表示的各图像。

图3至图5的内容自适应替代滤波结构可以提供实现复杂性程度较低的改进型降噪滤波。

图6是根据本发明某些实施例示出了在预处理模块104或后处理模块206中执行的降噪过程的各方面的功能框图。在这些其他的实施例中，可以修改内容自适应替代滤波的操作以通过考虑目标像素x处呈现的边缘条件来加入替代阈值量TH(x)的自适应。

参考图6，除了图6中的模块304’和306’反应了逐目标像素修改TH(x)值的能力之外，在上述结合图3讨论的功能模块也在图6中示出。此外，图6的结构还包括对每个目标像素执行边缘检测处理的功能模块602。

图7A和7B一并形成了可由图6模块602和304’执行的边缘感知内容自适应替代滤波过程的一个实施例的流程图。图7A和7B的过程从上述结合图4讨论的相同框402和404处开始。此外，图7A和7B的过程包括在其中参考目标像素x计算边缘矩阵EM(x)的框702。在某些实施例中，可以使用如下矩阵利用所谓的Sobel边缘检测器：

$E\_h=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 和 $E\_v=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

计算所述边缘矩阵值可以通过如下使用目标像素的3×3相邻NH9(x)卷积所述边缘检测加权矩阵：

EM(x)＝|NH9(x)*E_h|+|NH9(x)*E_v|

在704处，计算将在内容自适应替代滤波过程中用于所述目标像素的边缘相关替代阈值ETH(x)(代替上述阈值TH(x))。ETH(x)可以是为目标像素计算的边缘矩阵EM(x)的函数，即：

ETH(x)＝f(EM(x))＝C*EM(x)+Th_0，

其中C和Th_0可以是预选确定的(和/或可编程的)常数，ETH(x)被限制为非负，Th_0大于0且C小于0。图8图例性地示出了ETH(x)。应该认识到随着目标像素处边缘强度的增加，替代阈值降低，从而就能降低目标像素处的滤波量。如果边缘矩阵EM(x)达到或超过饱和点EM_s，则所述替代阈值就减小到零并且滤波不会在目标像素处出现。这就保持了强的边缘未经滤波，从而降低了由降噪滤波引起的模糊。

在某些实施例中可以使用上述Sobel边缘检测器以外的其他边缘检测过程来替代所述Sobel边缘检测器。例如，可以使用Canny边缘检测器。

图7A和7B过程中处理模块的平衡可以与上述结合图4所讨论的模块相同。参考图7A和7B以及在此描述的其他过程，对各过程的示出和描述并未暗示固定的处理阶段顺序。而是能够以任何实用的顺序执行所述过程阶段。例如，代替为所选各目标像素计算边缘矩阵和边缘感知替代阈值，可以对于图像中任何目标像素替代任何相邻像素值并执行滤波之前对所有目标像素执行边缘检测和阈值计算的一种或全部。

图9是根据本发明其他实施例示出了在后处理模块206中执行的降噪处理的各方面的功能框图。在现结合图9、图10A和10B描述的实施例中，对替代阈值的确定反应了所述目标像素处的两个边缘条件，还反应了先前在压缩编码期间施加于为降噪而被滤波的现被解码(解压)视频信号的量化程度。

图9示出了上述结合图2讨论的模块202和204，结合图3讨论的模块302和310以及结合图6讨论的模块602。此外还呈现了内容自适应替代模块(现被标记为304”)，尤其呈现了其组成比较和替换模块(现被标记为306”)，其中业已修改了所述比较和替换模块以使其接收来自视频解码器模块204的信号，该信号指示在被模块204解码的视频信号的压缩编码中所利用的量化程度。比较和替换模块306”基于由模块602检测的边缘条件以及来自视频解码器204以指示量化程度的信号来生成替代阈值的值。

图10A和10B一并形成示出了可由图9模块602和304”执行的解码器辅助边缘感知自适应替代滤波过程的一个实施例的流程图。图10A和10B的过程可在上述结合图4讨论的相同模块402处开始。在图10A的1002处，比较和替换模块306”接收来自视频解码器204的量化参数信号QP(x)，该信号按照在对由视频解码器204解码的视频信号的压缩编码期间应用的量化程度(量化粗糙度)而成比例的增加。

图10A和10B的过程还包括上述结合图4讨论的模块404以及上述结合图7A讨论的模块702。在1004处计算将在内容自适应替代滤波过程中被施加给所述目标像素的量化自适应边缘相关替代阈值ETH(x)。在某些实施例中，可以根据下述公式计算ETH(x)：

ETH(x)＝C*EM(x)+K*QP(x)，

其中K是预选确定(和/或可编程)常数。在此实例中K和QP(x)都大于0；C和EM(x)与结合图7A的702和704中所述的相同。使用这一结构，可由模块304”执行的滤波程度就能随着在压缩编码期间应用于所述视频信号的量化程度而增加。这是一种期望特性，因为编码噪声的增加量可以表示出哪里应用了更多的量化。

在图10A和10B过程中的处理模块的平衡与以上结合图4所述的模块相同。

在某些实施例中，可以省略或不示出边缘检测，并且/或者可将C设为0，使得替代阈值是量化自适应而非边缘相关。

边缘检测模块和/或内容自适应替代滤波模块或者此处的其他模块可被实现作为专用集成逻辑电路，或者可由存储在与处理器相耦合的存储器中的软件指令控制的一个或多个可编程处理器实现。

在此描述的各实施例仅出于示意性的目的。在此描述的各种特性无需一并使用，并且这些特性的任意一个或多个都可在单个实施例中使用。因此，本领域普通技术人员应该从该描述中认识到可以使用各种修改和变化实现其他实施例。

Claims (19)

1.一种方法，包括：

将目标像素的值与位于包括所述目标像素的区域内的多个像素中每个像素的相应值进行比较；

对所述多个像素中其值与所述目标像素的值至少相差一阈值量的每个像素，使用所述目标像素的值替换所述每个像素的值；以及

对一组像素值应用滤波器函数，所述一组像素值包括所述目标像素的值和所述多个像素进行所述替换之后的当前值，

其中在所述替换之前，为所述目标像素计算边缘矩阵；

并且所述阈值量是用于所述目标像素的所述边缘矩阵的函数，其中按照所述目标像素的相邻与边缘检测加权矩阵的卷积来计算所述边缘矩阵，其中所述目标像素的相邻是由围绕所述目标像素的N²—1个像素以及所述目标像素构成的N×N矩阵，其中N大于等于3。

2.如权利要求1所述的方法，其特征在于，还包括：

存储所述滤波器函数的输出值作为所述目标像素的经滤波的值。

3.如权利要求1所述的方法，其特征在于，所述区域是三像素乘三像素的方形。

4.如权利要求3所述的方法，其特征在于，所述滤波器函数由如下加权矩阵定义：

$\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right].$

5.如权利要求1所述的方法，其特征在于，所述目标像素和所述多个像素是已从压缩图像信号中解压的图像的一部分，所述压缩图像信号已由包括用一量化程度的量化的过程所压缩，所述阈值量部分基于所述量化程度。

6.如权利要求1所述的方法，其特征在于，所述目标像素和所述多个像素是已从压缩图像信号中解压的图像的一部分，所述压缩图像信号已由包括用一量化程度的量化的过程所压缩，所述阈值量至少部分基于所述量化程度。

7.一种系统，包括：

视频信号源；

与所述视频信号源相耦合的降噪电路；以及

与所述降噪电路相耦合的压缩编码电路；

所述降噪电路可用于：

从位于包括目标像素的区域内的多个像素的每个像素的相应值中减去所述目标像素的值；对所述多个像素中其值与所述目标像素的值至少相差一阈值量的每个像素，使用所述目标像素的值替换所述每个像素的值；以及

对一组像素值应用滤波器函数，所述一组像素值包括所述目标像素的值和所述多个像素在进行所述替换之后的当前值，

所述降噪电路还可用于：

在所述替换之前，为所述目标像素计算边缘矩阵；

并且所述阈值量是用于所述目标像素的所述边缘矩阵的函数，其中按照所述目标像素的相邻与边缘检测加权矩阵的卷积来计算所述边缘矩阵，其中所述目标像素的相邻是由围绕所述目标像素的N²—1个像素以及所述目标像素构成的N×N矩阵，其中N大于等于3。

8.如权利要求7所述的系统，其特征在于，所述降噪电路还可用于：

存储所述滤波器函数的输出值作为所述目标像素的经滤波的值。

9.如权利要求7所述的系统，其特征在于，所述区域是三像素乘三像素的方形。

10.如权利要求9所述的系统，其特征在于，所述滤波器函数由如下加权矩阵定义：

$\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$

11.一种系统，包括：

用于解压经压缩编码的视频信号的视频解码器；以及

与所述视频解码器相耦合的降噪电路，所述降噪电路可用于：

将目标像素的值与位于包括所述目标像素的区域内的多个像素中每个像素的相应值进行比较；

对所述多个像素中其值与所述目标像素的值至少相差一阈值量的每个像素，使用所述目标像素的值替换所述每个像素的值，

其中所述降噪电路还可用于：

在所述替换之前，为所述目标像素计算边缘矩阵；

并且所述阈值量是用于所述目标像素的所述边缘矩阵的函数，其中按照所述目标像素的相邻与边缘检测加权矩阵的卷积来计算所述边缘矩阵，其中所述目标像素的相邻是由围绕所述目标像素的N²—1个像素以及所述目标像素构成的N×N矩阵，其中N大于等于3。

12.如权利要求11所述的系统，其特征在于，所述降噪电路还可用于：

存储所述滤波器函数的输出值作为所述目标像素的经滤波的值。

13.如权利要求11所述的系统，其特征在于，所述区域是三像素乘三像素的方形。

14.如权利要求13所述的系统，其特征在于，所述滤波器函数由如下加权矩阵定义：

$\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$

15.如权利要求11所述的系统，其特征在于：

所述视频解码器可用于为所述降噪电路提供指示在其压缩编码期间应用于所述经压缩编码的视频信号的量化程度的信号；并且

所述阈值量由所述降噪电路至少部分基于指示所述量化程度的所述信号来确定。

16.如权利要求11所述的系统，其特征在于：

所述视频解码器可用于为所述降噪电路提供指示在其压缩编码期间应用于所述经压缩编码的视频信号的量化程度的信号；并且

所述阈值量由所述降噪电路至少部分基于指示所述量化程度的所述信号来确定。

17.一种方法，包括：

从位于包括目标像素的区域内的多个像素的每个像素的相应值中减去所述目标像素的值；

对所述多个像素中其值与所述目标像素的值至少相差一阈值量的每个像素，使用所述目标像素的值替换所述每个像素的值；以及

对一组像素值滤波，所述一组像素值包括所述目标像素的值和所述多个像素在进行所述替换之后的当前值，

其中在所述替换之前，为所述目标像素计算边缘矩阵；

并且所述阈值量是用于所述目标像素的所述边缘矩阵的函数，其中按照所述目标像素的相邻与边缘检测加权矩阵的卷积来计算所述边缘矩阵，其中所述目标像素的相邻是由围绕所述目标像素的N²—1个像素以及所述目标像素构成的N×N矩阵，其中N大于等于3。

18.如权利要求17所述的方法，其特征在于，还包括：

存储所述滤波器函数的输出值作为所述目标像素的经滤波的值。

19.如权利要求17所述的方法，其特征在于，所述区域是三像素乘三像素的方形。

Images