CN102752481B - 应用于影像串流的滤波器 - Google Patents

Abstract

本发明涉及一种应用于一影像串流的滤波器，依据一目前画面与其先前画面提供一滤波画面。滤波器中的动差计算器于每一像素的邻近范围中累计先前画面值与目前画面值的差异以提供一对应的动差值；直方计数器依据动差值进行直方计数。滤波值计算器依据动差计算器与直方计数器的运作结果而为各像素提供一滤波值。混波器则依据与滤波值相关的权重而将各像素的先前画面值与目前画面值加权合成出各像素于滤波画面中的滤波画面值。

Description

应用于影像串流的滤波器

技术领域

本发明关于一种应用于影像串流的滤波器，特别是关于一种以低成本时域滤波技术滤除影像串流噪声的滤波器。

背景技术

影像串流携载丰富的动态影音数据，能以生动、活泼、友善、直觉的方式呈现各种资讯、事件、新闻、活动、意见、思想与创意，已成为现代资讯社会不可或缺的一部分。

发明内容

不可避免地，影像串流中会夹带噪声；凡是动态影音的拍摄、撷取、传输、储存及/或播放的过程都会在影像串流中引入噪声。噪声会干扰影像串流所呈现的动态影像，影响动态影像的播放品质，也让收视的使用者在视觉上感觉不适。因此，有必要对影像串流进行去噪声(de-noise)滤波，以降低影像串流中的噪声干扰，并增进影像品质。

影像串流是以一连串的静态画面来呈现动态影像，而噪声(譬如说是迭加性白高斯噪声，additive white Gaussian noise)会随机分布于各画面。针对影像串流中的噪声，可应用时域滤波(temporal filtering)来进行去噪声滤波。在为一目前画面进行去噪声处理时，时域滤波由目前画面与其先前画面加权合成出一滤波画面作为去噪声处理的结果，以取代目前画面。

在进行时域滤波时，不仅要达到去噪声的效果，还要兼顾影像动态的流畅程度。在加权合成滤波画面时，若先前画面的加权过重，滤波画面会近似于先前画面；当以滤波画面取代目前画面时，由于滤波画面近似于先前画面，在滤波画面与先前画面形成的动态影像中就会呈现出影像滞留的现象，影响影像动态的流畅程度。

本发明即是要在去噪声与维持流畅动态间维持平衡，不仅能有效降低噪声影响，也能适当地维持动态影像的流畅程度。在依据本发明技术进行去噪声滤波时，会在每一像素的邻近范围中累计先前画面值(如先前画面的像素亮度)与目前画面值(如目前画面的像素亮度)的差异以提供一对应的动差值，并针对各像素的动差值进行一连串的系统性分析，以根据像素的动差值分辨画面间的动态部份与噪声部份。若某一像素的动差值较小，可运用系统性分析进一步判断该像素是否对应动态影像中动态较低的部份(譬如说是静止的背景)；若是，就可引用先前画面值来为此像素进行去噪声处理。相对地，若某像素对应动态较高的部份(譬如说是在动态影像中呈现一快速移动的物体)，其动差值也会较大；由于人眼对高动态部份的噪声并不敏感，故在对此像素进行时域滤波时便可减抑先前画面值的权重，避免动态流畅程度受到影响。

本发明的目的在于提供一种应用于影像串流的滤波器。影像串流于多个像素上呈现一先前画面与一目前画面；先前画面具有多个先前画面值，目前画面具有多个目前画面值，各先前画面值与目前画面值分别对应一像素。本发明滤波器即可运用时域滤波来为目前画面进行去噪声处理，以提供一对应的滤波画面来取代目前画面。

在一实施例中，本发明滤波器设有一动差计算器、一直方计数器、一直方匹配模块、一滤波值计算器与一混波器，并配合一噪声电平模块、一查表模块与一存储器。

动差计算器于每一像素的一第一邻近范围中累计先前画面值与目前画面值的差异，以为每一像素提供一对应的动差值。直方计数器耦接于动差计算器与滤波值计算器之间，依据像素的动差值进行一直方计数以提供一画面直方统计。直方计数器也会针对各像素的一第二邻近范围中的各动差值进行直方计数，以便为每一像素提供一对应的局部直方统计。

此外，直方计数器过于每一像素的一第五邻近范围中计算目前画面值的平均值并累计目前画面值与此平均值的差异，以决定每一像素对应的动差值是否可被纳入一噪声直方集合。直方计数器会针对噪声直方集合中的各动差值进行直方计数以提供一对应的噪声直方统计。此噪声直方统计对应多个分区(bin)，每一分区分别对应一数值范围；直方计数器会计数噪声直方集合中符合各数值范围的动差值的个数，以便为噪声直方统计中的各分区提供一对应的噪声直方计数值。

噪声电平模块耦接直方计数器，以依据噪声直方统计提供一对应的噪声电平。在噪声直方统计中，噪声直方计数值最大的分区为一噪声参考分区；而噪声电平模块便可依据噪声参考分区所对应的数值范围而以一非负相关的关系提供噪声电平。也就是说，若噪声参考分区对应的数值范围较大，目前画面就会被赋予一个较大的噪声电平。

直方匹配模块耦接于直方计数器与滤波值计算器之间。直方匹配模块依据画面直方统计与各像素对应的局部直方统计而为各像素提供一对应的直方匹配值。画面直方统计与局部直方统计均对应多个分区；画面直方统计于各分区分别具有一对应的画面直方计数值，局部直方统计则于各分区具有一对应的局部直方计数值。直方匹配模块会在这些分区中的预设数目个分区内累计局部直方计数值与画面直方计数值的相关程度，例如在这预设数目个分区内累计局部直方计数值与画面直方计数值的乘积，以据此提供直方匹配值。

滤波值计算器耦接动差计算器，以依据各像素对应的动差值而为每一像素提供一对应的滤波值。混波器则耦接滤波值计算器；针对每一像素与其对应的滤波值、先前画面值与目前画面值，混波器分别依据一个正相关于滤波值的第一权重与一个负相关于滤波值的第二权重而将先前画面值与目前画面值加权合成于一对应的滤波画面值；集合各像素的滤波画面值，就能组合出滤波画面。

滤波值计算器会为各像素提供一对应的直方匹配滤波参考值、一动差调整滤波参考值与一画面标准差滤波参考值，并依据这三个滤波参考值提供滤波值。滤波值可以分别和这三个滤波参考值成正相关的关系；举例而言，滤波值可以是这三个滤波参考值的乘积，分别和三个滤波参考值成正比。

滤波值计算器依据-直方匹配对照关系而将各像素对应的直方匹配值对照至其对应的直方匹配滤波参考值。滤波值计算器会依据噪声电平模块求出的噪声电平而由多个直方匹配对照关系中选出其中之一，以依据选出的直方匹配对照关系而将直方匹配值对照至对应的直方匹配滤波参考值。

上述的直方匹配对照关系分别对应一噪声电平范围及一临界值；滤波值计算器会依据噪声电平所属的噪声电平范围选择对应的直方匹配对照关系。各直方匹配对照关系对应的临界值则与其噪声电平范围呈负相关。也就是说，若一直方匹配对照关系对应的噪声电平范围较大，其对应的临界值就会较小。在一实施例中，各直方匹配对照关系将低于临界值的直方匹配值对照至常数的直方匹配滤波参考值，并将高于临界值的直方匹配值对照至不小于该常数的直方匹配滤波参考值。

在动差调整滤波参考值方面，滤波值计算器会依据各像素对应的动差值而为各像素提供一对应的动差调整值，并依据一动差调整对照关系而将各像素对应的动差调整值对照至动差调整滤波参考值。

在一实施例中，各像素的动差调整值可以等于各像素的动差值。在另一实施例中，滤波值计算器于各像素的一第三邻近范围中加权累计各动差值而为各像素提供一对应的动差平均值，并在第三邻近范围中累计各动差值与动差平均值的差异，以便为各像素提供一对应的动差差异值。然后，滤波计算器便可依据各像素对应的动差差异值与一增益值的乘积而为各像素提供动差调整值。其中，增益值可以是和噪声电平呈非负相关的关系；举例来说，若目前画面对应的噪声电平较高，增益值也随之变大。

类似于直方匹配对照关系的实施架构，滤波值计算器也是依据噪声电平而由多个动差调整对照关系中选出其中之一，以依据选出的动差调整对照关系而将各像素的动差调整值对照至对应的动差调整滤波参考值。这些动差调整对照关系分别对应一噪声电平范围及一滤波范围；滤波值计算器依据噪声电平所属的噪声电平范围选择对应的动差调整对照关系。而各动差调整对照关系所对应的滤波范围与噪声电平范围呈正相关；也就是说，若一动差调整对照关系对应较高的噪声电平范围，其滤波范围也会较高。在一实施例中，各动差调整对照关系会将滤波范围外的动差调整值对照至一常数的动差调整滤波参考值，并将落入至滤波范围内的动差调整值对照至不小于该常数的动差调整滤波参考值。

至于画面标准差滤波参考值方面，滤波值计算器会依据各像素对应的目前画面值而为各像素提供一对应的画面标准差值，并依据一画面标准差对照关系而将各像素对应的画面标准差值对照至画面标准差滤波参考值。

滤波值计算器会在各像素的一第四邻近范围中加权累计各目前画面值而为各像素提供一对应的画面平均值，并在此第四邻近范围中累计各目前画面值与画面平均值的差异，以便为各像素提供对应的画面标准差值。

滤波值计算器同样依据噪声电平而由多个画面标准差对照关系中选出其中之一，以依据选出的画面标准差对照关系而将画面标准差值对照至画面标准差滤波参考值。这些画面标准差对照关系分别对应一噪声电平范围及一滤波范围；滤波值计算器依据噪声电平所属的噪声电平范围选择对应的画面标准差对照关系。类似于动差调整对照关系，各画面标准差对照关系对应的滤波范围与噪声电平范围呈正相关。各画面标准差对照关系将滤波范围外的画面标准差值对照至一常数的画面标准差滤波参考值，并将落入至滤波范围内的画面标准差值对照至不小于该常数的画面标准差滤波参考值。

依据直方计数器、直方匹配模块、噪声电平模块与滤波值计算器所进行的系统性分析，本发明不需进行复杂的动态检测(motion detection)便可在进行时域滤波时兼顾动态流畅性与去噪声两者。动态检测会在动态影像的各画面之间依据绝对差值的和(SAD，Sum of Absolute difference)检测出影像各部份的移动向量(motion vector)等相关资讯。依据移动向量等相关资讯，便可随移动向量而在目前画面与先前画面间进行时域滤波，譬如说，若先前画面中原先呈现于某一第一像素的部份已在目前画面中移动至另一个第二像素，就可利用第一像素的先前画面值与第二像素的目前画面值加权合成出第二像素的滤波画面值。不过，进行动态检测需要动用大量的软硬体资源，实施成本较高，不利于去噪声技术的普及。相较之下，由于本发明不需进行动态检测，故能普遍适用于软硬件资源较为有限的低成本应用中，像是手机等随身播放装置。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。

附图说明

图1示意的是依据本发明一实施例进行时域滤波的概念。

图2示意了本发明滤波器的一实施例。

图3至图5示意的是图2各元件的运作实施例。

图6举例示意图2中噪声电平模块的运作。

图7举例示意图2中直方匹配模块的运作。

图8至图10举例示意了图2中查表模块的运作。

主要元件符号说明

10滤波器

12动差计算器

14直方计数器

16噪声电平模块

18直方匹配模块

20滤波值计算器

22混波器

24存储器

26查表模块

E0-E7c等式

P(.，.)像素

I  目前画面

I’先前画面

I_f  滤波画面

I(.，.)目前画面值

I’(.，.)先前画面值

I_f(.，.)滤波画面值

md_sum(.，.)动差值

a(.，.)滤波值

picture_histogram画面直方统计

local_histogram局部直方统计

noise_histogram噪声直方统计

picture_histogram[.]画面直方计数值

local_histogram(.，.)[.]局部直方计数值

noise_histogram[.]噪声直方计数值

picture_histogram_set画面直方集合

local_histogram_set(.，.)局部直方集合

noise_histogram_set噪声直方集合

histogram_matching(.，.)直方匹配值

md_sum_adjust(.，.)动差调整值

md_sum_mean(.，.)动差平均值

md_sum_std(,，.)动差差异值

std_deviation(.，.)画面标准差值

mean_2(.，.)画面平均值

mean_1(.，.)平均值

std_1(.，.)差异值

Gain增益值

LUT1、LUT1_1-LUT1_4动差调整对照关系

LUT2、LUT2_1-LUT2_4画面标准差对照关系

LUT3、LUT3_1-LUT3_4直方匹配对照关系

LUT1(md_sum_adjust(.，.))动差调整滤波参考值

LUT2(std_deviation(.，.))画面标准差滤波参考值

LUT3(histogram_matching(.，.))直方匹配滤波参考值

noise_level噪声电平

TH_md、th_1-th_4、TH0-TH1临界值

n_maxA、n-maxB足标

fr_1-fr_4、fz_1-fz_4滤波范围

LR_1-LR_4噪声电平范围

noise_level噪声电平

C邻近范围

La-Lb数值

a1(x，y)-a3(x，y)滤波参考值

c10-c11、c20-c21、c30-c31常数

z_2-z_4保留范围

具体实施方式

请参考图1，其所示意的是依据本发明一实施例进行时域波的概念。在为影像串流中的一目前画面I进行去噪声处理时，本发明利用影像串流中的一先前画面I’来与目前画面I进行时域滤波，以提供滤波画面I_f作为去噪声的结果。先前画面I’和目前画面I可以是一前一后的两相邻图帧(frame)；或者，先前画面I’和目前画面I也可以是相邻的同类图场(field)，例如说，先前画面I’与目前画面I可以是一前一后的两个奇图场(odd field)，中间隔着一个偶图场(evenfield)。各个画面对应多个像素，譬如说是像素P(x，y)与同一水平线上的相邻像素P(x-1，y)，如图1所示。各画面在各像素上分别有一对应的画面值，举例而言，像素P(x，y)在先前画面I’中有先前画面值I’(x，y)，在目前画面I中则有目前画面值I(x，y)；各画面值可以是各像素的亮度值，如YUV色彩系统中的Y分量值。在8位元的应用中，先前画面值I’(x，y)与目前画面值I(x，y)的数值大小可以是在0到255的范围内(大于等于0且小于等于255)。在对目前画面I进行时域滤波时，就是要为各像素P(x，y)求出一对应的滤波画面值I_f(x，y)，并据此组合出滤波画面I_f。

本发明会为各像素P(x，y)求出一滤波值a(x，y)，并依据此滤波值a(x，y)进行加权合成：I_f(x，y)＝a(x，y)*I’(x，y)+(1-a(x，y))*I(x，y)，以求出滤波画面值I_f(x，y)。在上述的加权合成关系中，先前画面值I’(x，y)的权重与滤波值a(x，y)呈正比(正相关)，目前画面值I(x，y)的权重则与滤波值a(x，y)呈负相关；也就是说，滤波值a(x，y)越大，滤波的程度越强，滤波画面值I_f(x，y)也就越近似先前画面值I’(x，y)。相对地，滤波值a(x，y)越小，滤波的程度越少，滤波画面值I_f(x，y)也就越近似于原本的目前画面I(x，y)。

滤波值a(x，y)的数值可以大于等于0且小于等于1。就如前面讨论过的，若不当地增加滤波值a(x，y)而增强滤波程度，将使滤波画面值I_f(x，y)近似先前画面值I’(x，y)，让动态影像呈现滞留状态而影响动态的流畅程度。因此，时域滤波的技术重点之一就是要在设定滤波值a(x，y)兼顾去噪声滤波的效果与动态的流畅程度。为此，本发明会在各像素P(x，y)的预设邻近范围C中为此邻近范围C内的各个像素P(i，j)累计先前画面值I’(i，j)与目前画面值I(i，j)的差异|I(i，j)-I’(i，j)|，以便为像素P(x，y)提供一对应的动差值md_sum(x，y)。针对各像素P(x，y)的动差值md_sum(x，y)进行系统性分析后，便可决定对应的滤波值a(x，y)。

依据像素P(x，y)的动差值md_sum(x，y)与进一步的分析，本发明便可在不进行动态检测的情形下适当地分辨出像素P(x，y)在影像中是否对应高动态的部份。若像素P(x，y)对应至动态较低的部份，其动差值md_sum(x，y)相对较小；针对影像中动态较低的背景，人眼比较容易察觉噪声，故可以用较高的滤波值a(x，y)来达成去噪声的目的。相对地，若像素P(x，y)对应的是影像中动态较大的部份，其对应的动差值md_sum(x，y)就会较大；对快速移动的影像，人眼较不易察觉噪声，故滤波值a(x，y)可以被设定为较低的数值或直接设为0，以维持动态的流畅。概念上来说，依据动差值md_sum(x，y)的大小与进一步的分析可界定出一临界值TH_md，若动差值md_sum(x，y)高于此临界值TH_md，滤波值a(x，y)可被设定为较低的数值；反之，若动差值md_sum(x，y)小于临界值TH_md，可依据一负相关的关系设定滤波值a(x，y)，也就是当动差值md_sum(x，y)越小时就使滤波值a(x，y)越大。

请参考图1，其所示意的是依据本发明一实施例的滤波器10。滤波器10中设有一动差计算器12、一直方计数器14、一直方匹配模块18、一滤波值计算器20与一混波器(blender)22，并配合一噪声电平模块16、一查表模块26与一存储器24。就如图1中讨论过的，滤波器10可以是一时域滤波器，其运作就是要为各像素P(x，y)找出一对应滤波值a(x，y)，并依据滤波值a(x，y)对先前画面值I’(x，y)与目前画面值I(x，y)进行加权合成以求出滤波画面值I_f(x，y)，如图3中的等式E0所示。其中，滤波值a(x，y)的数值可以大于等于0且小于等于1。

在滤波器10中，动差计算器12在各像素P(x，y)的邻近范围i＝-N1至N1(N1可以等于2)内对各像素P(x+i，j)累计先前画面值I’(x+i，y)与目前画面值I(x+i，y)的差异|I(x+i，y)-I’(x+i，y)|，以为每一像素P(x，y)提供一对应的动差值md_sum(x，y)，如图3中的等式E1所示。在此实施例中，本发明针对各像素P(x，y)在同一水平线的左边N1个像素P(x-N1，y)至P(x-1，y)与右边N1个像素P(x+1，y)至P(x+N1，y)综合计算出对应的动差值md_sum(x，y)，不仅可提升动差值md_sum(x，y)的数据精确程度，也可节省动差值计算所需的运算资源。因为同一水平线上的各像素的画面值会被载入至同一水平线缓冲器(line buffer)，故等式E1只需一个水平线缓冲器就能利用同一水平线的相邻像素来计算动差值，不需使用多个水平线缓冲器来缓冲其他水平线的画面值。

滤波器10的直方计数器14耦接动差计算器12、直方匹配模块18与滤波值计算器20。在一实施例中，直方计数器14可针对一给定集合中的元素进行直方统计，也就是依据元素的数值大小将各元素归类至不同的分区(bin)，并累计各分区中的元素个数。举例而言，直方计数器14可将数值范围0至255划分为16个分区，若某元素的数值落在0至15的范围中(大于等于0并小于等于15)，该元素被归类至第0分区；若数值在16至31的范围中，则计数至第1分区，以此类推。而直方统计的结果就可反应该给定集合中属于各分区的元素个数，也就是在第0分区中的元素有几个，属于第1分区的元素又有几个，以此类推。

直方计数器14会综合依据各像素P(x，y)的动差值md_sum(x，y)进行一直方计数以提供一画面直方统计picture_histogram。直方计数器14可针对集合picture_histogram_set进行直方统计以得出画面直方统计picture_histogram；如图3的等式E2所示，集合picture_histogram_set是将所有像素P(x，y)的动差值md_sum(x，y)集合起来，并将数值大于等于一临界值TH0的动差值md_sum(x，y)排除在外。在8位元应用中，此临界值TH0可设定为256。

再者，直方计数器14亦会针对一噪声直方集合noise_histogram_set中的各动差值进行直方计数以提供一对应的噪声直方统计noise_histogram。依据图3中的等式E3a与E3b，本发明会于每一像素P(x，y)的邻近范围i＝-N2至N2(如N2＝2)中计算目前画面值I(x+i，y)的平均值mean_1(x，y)，并累计目前画面值I(x+i，y)与此平均值mean_1(x，y)的差异|I(x+i，y)-mean_1(x+i，y)|，以求出一差异值std_1(x，y)，再依据等式E3决定每一像素P(x，y)对应的动差值md_sum(x，y)是否可被纳入噪声直方集合noise_histogram_set。若某像素P(x，y)对应的差异值std_1(x，y)小于一临界值TH1，其所对应的动差值md_sum(x，y)才会被纳入至噪声直方集合noise_histogram_set，否则会被排除在噪声直方集合noise_histogram_set之外。若像素P(x，y)位于画面中呈现均匀成像的部份，此像素邻近范围内的各个目前画面值I(x+i，y)的相互差异也就会比较小；由于均匀成像的部份较能凸显噪声的特性，故等式E3会针对均匀成像部份内的各像素收集动差值，形成噪声直方集合noise_histogram_set。

针对噪声直方集合noise_histogram_set中的各动差值进行直方计数后，直方计数器14便可提供噪声直方统计noise_histogram。如前面描述过的，此噪声直方统计noise_histogram对应多个分区，每一分区分别对应一数值范围；直方计数器14会计数噪声直方集合noise_histogram_set中符合各数值范围的动差值的个数，以便为噪声直方统计noise_histogram中的各分区提供一对应的噪声直方计数值。

噪声电平模块16耦接直方计数器14，以依据噪声直方统计noise_histogram提供一对应的噪声电平noise_level。在噪声直方统计noise_histogram中，噪声直方计数值最大的分区可视为一噪声参考分区；而噪声电平模块16便可依据噪声参考分区所对应的数值范围而以一非负相关的关系提供噪声电平noise_level。也就是说，若噪声参考分区对应的数值范围较大，目前画面I就会被赋予一个较大的噪声电平noise_level。

请参考图6，其以实施例A与实施例B来比较不同噪声直方统计noise_histogram所对应的噪声电平noise_level。第6图以图形示意噪声直方统计noise_histogram，其横轴为各分区的足标n，纵轴代表各分区的计数值大小noise_histogram[n]。在实施例A的噪声直方统计noise_histogram中，足标n_maxA的分区具有最高的噪声直方计数值noise_histogram[n_maxA]而成为噪声参考分区，据此足标n_maxA可将噪声电平noise_level的值设定为数值La。类似地，在实施例B的噪声直方统计noise_histogram中，则以足标n_maxB的分区具有最高的噪声直方计数值noise_histogram[n_maxB]，据此可将噪声电平noise_level设定为数值Lb。比较实施例A与实施例B，由于足标n_maxB对应的分区具有较高的数值范围，故数值Lb也大于数值La。由实施例B的噪声直方统计noise_histogram可看出，其噪声直方集合noise_histogram_set中的动差值会集中在数值范围较高的分区，代表动差值的数值普遍较高，故可将实施例B的的噪声直方统计noise_histogram对应至较大的噪声电平noise_level。

请再度参考图2。除了前述的画面直方统计picture_histogram与噪声直方统计noise_histogram之外，直方计数器14也会在各像素P(x，y)的邻近范围i＝-N3至N3(如N3＝15)内针对各像素P(x+i，y)的各动差值md_sum(x+i，y)进行直方计数，以便为每一像素P(x，y)提供一对应的局部直方统计local_histogram(x，y)。如图3的等式E4所示，本发明会将像素P(x，y)附近各像素P(x+i，y)的动差值md_sum(x+i，y)群组于局部直方集合local_histogram_set(x，y)中，由直方计数器14对其进行直方统计，以得出局部直方统计local_histogram(x，y)。

直方匹配模块18耦接于直方计数器14与滤波值计算器20之间。直方匹配模块18依据画面直方统计picture_histogram与各像素P(x，y)对应的局部直方统计local_histogram(x，y)而为各像素P(x，y)提供一对应的直方匹配值histogram_matching(x，y)，如图3的等式E4所示。直方计数器14依据相同的分区规划提供画面直方统计picture_histogram与局部直方统计local_histogram，使两者均对应数值范围相同的多个分区；画面直方统计picture_histogram于第n分区分别具有对应的画面直方计数值picture_histogram[n]，局部直方统计local_histogram(x，y)则于第n分区具有一对应的局部直方计数值local_histogram(x，y)[n]。直方匹配模块18会在这些分区中的预设数目个分区n＝N4a至N4b内累计局部直方计数值local_histogram(x，y)[n]与画面直方计数值picture_histogram[n]的相关程度，例如在这预设数目个分区内累计局部直方计数值local_histogram(x，y)[n]与画面直方计数值picture_histogram[n]的乘积，以据此提供直方匹配值histogram_matching(x，y)。在一实施例中，N4a与N4b可以分别是0与7。

请参考图7，其以同一画面中两不同像素为例比较直方匹配值的计算。由像素P(x0，y0)对应的局部直方统计local_histogram(x0，y0)可看出，其动差值集中在数值较高的分区；相对地，在代表画面整体特性的画面直方统计picture_histogram中，动差值则集中在数值较低的分区，两者重迭较少。因此，在依据等式E5(图3)为像素P(x0，y0)计算直方匹配值histogram_matching(x0，y0)时，其数值也连带地较低。相较之下，在像素P(x1，y1)对应的局部直方统计local_histogram(x1，y1)中，其分布趋势就较为近似画面直方统计picture_histogram的分布趋势，两者重迭部份大，故像素P(x1，y1)所对应的直方匹配值histogram_matching(x1，y1)就相对较大。

请再度参考图2。滤波器10中的滤波值计算器20耦接动差计算器12与直方匹配模块18，以依据各像素P(x，y)对应的动差值md_sum(x，y)与直方匹配值histogram_matching(x，y)而为每一像素提供一对应的滤波值a(x，y)。混波器22则耦接滤波值计算器20；针对每一像素P(x，y)对应的滤波值a(x，y)、先前画面值I’(x，y)与目前画面值I(x，y)，混波器22分别依据一个正相关于滤波值a(x，y)的权重与一个负相关于滤波值的权重(1-a(x，y))而将先前画面值I’(x，y)与目前画面值I(x，y)加权合成于一对应的滤波画面值I_f(x，y)；集合各像素P(x，y)的滤波画面值I_f(x，y)，就能组合出滤波画面I。

滤波值计算器20会为各像素P(x，y)提供三个对应的滤波参考值a1(x，y)，a2(x，y)与a3(x，y)，并依据这三个滤波参考值提供滤波值a(x，y)。滤波值a(x，y)可以分别和这三个滤波参考值a1(x，y)至a3(x，y)成正相关的关系；举例而言，滤波值滤波值a(x，y)可以是这三个滤波参考值a1(x，y)至a3(x，y)的乘积，分别和三个滤波参考值成正比。滤波值a(x，y)的两种计算实施例分别示意于图4的等式E6与E6a至E6b，以及图5的等式E7与E7a至E7c。

在图4的实施例中，滤波值计算器20会依据一动差调整对照关系LUT1而将各像素P(x，y)对应的动差值md_sum(x)对照至滤波参考值LUT1(md_sum(x，y))，以作为滤波参考值a1(x，y)。在图5的实施例中，本发明会先依据各像素P(x，y)对应的动差值md_sum(x，y)而为各像素P(x，y)提供一对应的动差调整值md_sum_adjust(x，y)，并依据动差调整对照关系LUT1而将各像素P(x，y)对应的动差调整值md_sum_adjust(x，y)对照至动差调整滤波参考值LUT1(md_sum_adjust(x，y))，以作为滤波参考值a1(x，y)。

如图5实施例中的等式E7a至E7c所示，本发明于各像素P(x，y)的邻近范围i＝-N6至N6(如N6＝2)中加权累计各动差值md_sum(x+i，y)而为各像素P(x，y)提供一对应的动差平均值md_sum_mean(x，y)，并在该邻近范围中累计各动差值md_sum(x+i，y)与动差平均值md_sum_mean(x，y)的差异|md_sum(x+i，y)-md_sum_mean(x，y)|，以便为各像素P(x，y)提供一对应的动差差异值md_sum_std(x，y)。然后，滤波计算器20便可依据各像素P(x，y)对应的动差值md_sum(x，y)、动差差异值md_sum_std(x，y)与一增益值Gain的乘积而为各像素P(x，y)提供动差调整值md_sum_adjust(x，y)，如等式(E7a)所示。其中，增益值Gain可以是和噪声电平noise_level呈非负相关的关系；举例来说，若目前画面对应的噪声电平noise_level较高，增益值Gain也随之变大。

在图4与图5的实施例中，滤波值计算器20会依据噪声电平noise_level而由多个动差调整对照关系LUT1_k中选出其中之一作为图4/5中的动差调整对照关系LUT1，以依据选出的动差调整对照关系LUT1而将各像素P(x，y)的动差值md_sum(x，y)(图4实施例)或动差调整值md_sum_adjust(x，y)(图5实施例)对照至对应的滤波参考值a1(x，y)。请参考图8；其以函数图形示意本发明一实施例中的不同动差调整对照关系LUT1_1至LUT1_4，各动差调整对照关系LUT1_k将横轴的数值v(也就是图4等式E6的动差值md_sum(x，y)或图5等式E7的动差调整值md_sum_adjus(x，y))对照至纵轴的对照值LUT1_k(v)(也就是滤波参考值a1(x，y))。这些动差调整对照关系LUT1_1至LUT1_4分别对应噪声电平范围LR_1至LR_4，以及滤波范围fr_1至fr_4。本发明依据噪声电平noise_level所属的噪声电平范围LR_k选择对应的动差调整对照关系LUT1_k来对照出滤波参考值a1(x，y)。举例来说，若噪声电平noise_level的数值范围为0到15，噪声电平范围LR_1至LR_4可以分别是0到3、4至7、8至11与12至15。若某目前画面I对应的噪声电平noise_level为2，在为此目前画面I进行时域滤波时就可选用噪声电平LR_1所对应的动差调整对照关系LUT1_1。

在图8实施例中，各动差调整对照关系LUT1_k所对应的滤波范围fr_k与噪声电平范围LR_k呈正相关；也就是说，若一动差调整对照关系LUT1_k对应较高的噪声电平范围LR_k，其滤波范围fr_k也会较高。如图8所示，随噪声范围由LR_1递增至LR_4，动差调整对照关系LUT1_k的滤波范围也由fr_1递增至fr_4；举例而言，滤波范围fr_k的上限大于滤波范围fr_(k-1)的上限，滤波范围fr_k的下限则大于滤波范围fr_(k-1)的下限。不过，滤波范围fr_k的下限可以小于滤波范围fr_(k-1)的上限，使滤波范围fr_k与fr(k-1)有部份重迭。

如图8所示，在本发明的一实施例中，各动差调整对照关系LUT1_k会将滤波范围fr_k外的数值v对照至一常数c10(例如说是0)作为滤波参考值，并将落入至滤波范围fr_k内的数值v对照至不小于常数c10的对照值作为滤波参考值，譬如说是一个大于常数c10的常数c11。也就是说，若某像素P(x，y)对应的数值v(动差值md_sum(x，y)或动差参考值md_sum_adjust(x，y))落入滤波范围fr_k内，该像素P(x，y)就会被对应至较大的滤波参考值a1(x，y)，以增强其滤波的程度。相对地，若数值v在滤波范围fr_k之外，其滤波的强度就会受到抑制；譬如说，若一像素对应的数值v低于滤波范围，则该像素则倾向被保留于目前画面值而不会被强力滤波。因此，相对于滤波范围fr_2至fr_4，各动差调整对照关系LUT1_2至LUT1_4也可定义出保留范围z_2至z_4，如图8所示；若像素的数值v落在保留范围z_k中，其对应的滤波强度就会较低。由图8可看出，对应较高的噪声电平noise_level，滤波范围fr_k的上下限向右移，也留下更多的保留范围z_k。在噪声电平高的画面中设定较高的保留范围可适当地留下一些小噪声，以维持较佳的视觉感受。

如图5中讨论过的，本发明可依据像素P(x，y)的动差调整值md_sum_adjust(x，y)对照提供滤波参考值a1(x，y)。动差调整值的设计是要凸显画面中高对比的孤立点状噪声，以便用较高的滤波参考值a1(x，y)将其滤除。由图5的等式E7a可知，动差调整值md_sum_adjust(x，y)与动差差异值md_sum_std(x，y)有关；动差差异值md_sum_std(x，y)用以在像素P(x，y)的邻近范围内衡量动差值的相互差异。若该邻近范围中有点状噪声出现，点状噪声对应的动差值会偏离其他相邻像素的动差值，使动差差异值md_sum_std(x，y)也连带变大，并使动差调整值落入至动差调整对照关系LUT1的滤波范围内，以抑制这些点状噪声。在等式E7a中的增益Gain也是用来增加动差差异值md_sum_std(x，y)的值，使其更容易被涵盖在滤波范围内。

在图4与图5中，滤波参考值a2(x，y)与a3(x，y)可分别是一画面标准差滤波参考值与一直方匹配滤波参考值。

滤波值计算器20会依据各像素P(x，y)对应的目前画面值I(x，y)而为各像素P(x，y)提供一对应的画面标准差值std_deviation(x，y)，并依据一画面标准差对照关系LUT2而将各像素P(x，y)对应的画面标准差值std_deviation(x，y)对照至画面标准差滤波参考值LUT2(std_deviation(x，y))，也就是滤波参考值a2(x，y)。

如图4中的等式E6a与E6b，滤波值计算器20会在各像素P(x，y)的一邻近范围i＝-N5至N5(如N5＝2)中加权累计各目前画面值I(x+i，y)而为各像素提供一对应的画面平均值mean_2(x，y)，并在此邻近范围中累计各目前画面值I(x+i，y)与画面平均值mean_2(x，y)的差异|I(x+i，y)-mean_2(x，y)|，以便为各像素P(x，y)提供对应的画面标准差值std_deviation(x，y)。

滤波值计算器20亦依据噪声电平noise_level而由多个画面标准差对照关系LUT2_k中选出其中之一作为等式E6与E7中的画面标准差对照关系LUT2，以依据选出的画面标准差对照关系LUT2而将画面标准差值std_deviation(x，y)对照至画面标准差滤波参考值LUT2(std_deviation(x，y))。请参考图9，其以函数图形示意本发明一实施例中的各个画面标准差对照关系LUT2_1至LUT2_4。这些画面标准差对照关系LUT2_k分别对应一噪声电平范围LR_k及一滤波范围fz_k；滤波值计算器20依据噪声电平noise_level所属的噪声电平范围LR_k选择对应的画面标准差对照关系LUT2_k。类似于动差调整对照关系LUT1_k，各画面标准差对照关系LUT2_k对应的滤波范围fz_k与噪声电平范围LR_k系呈正相关。在一实施例中，各画面标准差对照关系LUT2_k将滤波范围外fz_k的数值(即画面标准差值std_deviation(x，y))对照至一常数c20(如0)的对照值(即画面标准差滤波参考值)，并将落入至滤波范围fz_k内的数值对照至不小于常数c20的对照值，譬如说是一个大于常数c20的另一个常数c21。

在滤波参考值a3(x，y)方面，滤波值计算器20依据一直方匹配对照关系LUT3而将各像素P(x，y)对应的直方匹配值histogram_matching(x，y)对照至其对应的直方匹配滤波参考值LUT3(histogram_matching(x，y))，以提供滤波参考值a3(x，y)。滤波值计算器20会依据噪声电平模块16求出的噪声电平noise_level而由多个直方匹配对照关系LUT3_k中选出其中之一作为等式E6/E7中的直方匹配对照关系LUT3，以依据选出的直方匹配对照关系LUT3进行对照。

请参考图10，其以函数图形示意本发明一实施例中的各直方匹配对照关系LUT3_1至LUT3_4。上述的直方匹配对照关系LUT3_1至LUT3_4分别对应噪声电平范围LR_1至LR_4及临界值th_1至th_4。滤波值计算器20会依据噪声电平noise_level所属的噪声电平范围LR_k选择对应的直方匹配对照关系LUT3_k。各直方匹配对照关系LUT3_k的临界值th_k则与其噪声电平范围LR_k呈负相关。也就是说，若一直方匹配对照关系LUT3_k对应的噪声电平范围LR_k较大，其对应的临界值th_k就会较小。在一实施例中，各直方匹配对照关系LUT3_k将低于临界值th_k的数值v(也就是直方匹配值histogram_matching(x，y))对照至常数c30(如c30＝0)的对照值(即直方匹配滤波参考值LUT3(histogram_matching(x，y)))，并将高于临界值th_k的数值v对照至不小于c30常数的对照值，例如另一个大于常数c30的常数c31。

如图2所示，滤波器10中的查表模块26可提供滤波值计算器20所需的动差调整对照关系LUT1(LUT1_1至LUT1_4)、画面标准差对照关系LUT2(LUT2_1至LUT2_4)与直方匹配对照关系LUT3(LUT3_1至LUT3_4)。譬如说，查表模块26可动用滤波器10所分配到的非挥发性储存资源，以查表(look-up table)的方式实现上述对照关系；而滤波值计算器20就能经由这些对照关系而为每一像素P(x，y)求出三个滤波参考值a1(x，y)至a3(x，y)，并以三者乘积算出滤波值a(x，y)；而混波器22就可依据滤波值a(x，y)而由目前画面值I(x，y)与先前画面值I’(x，y)加权合成出各像素P(x，y)的滤波画面值I_f(x，y)。集合所有像素P(x，y)的滤波画面值I_f(x，y)就可组合出滤波画面I_f；而滤波画面I_f就可暂存于存储器24(譬如说是一挥发性随机存取存储器)。当要为次一画面进行时域滤波时，滤波画面I_f就相对成为该画面的先前画面。

本发明亦可为不同的应用准备多组不同的动差调整对照关系LUT1_1至LUT1_4、画面标准差对照关系LUT2_1至LUT2_4与直方匹配对照关系LUT3_1至LUT3_4。譬如说，某一应用可以和另一应用分别拥有不同的动差调整对照关系LUT1_1至LUT1_4；在一应用中的各滤波范围fr_k和另一应用中的各滤波范围fr_k可以是相异的。在滤波器10中，动差计算器12、直方计数器14、直方匹配模块18、滤波值计算器20与混波器22皆可用硬件实现，噪声电平模块16则可用软件/固件实现。

总结来说，相较于已知技术，本发明运用直方计数器、直方匹配模块、噪声电平模块与滤波值计算器进行系统性分析，所以本发明不需进行复杂的动态检测便可在进行时域滤波时兼顾动态流畅性与去噪声效果。也因此本发明能普遍适用于软硬件资源较为有限的低成本应用中，像是手机等随身播放装置。

综上所述，虽然本发明已以较佳实施例揭增如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当由权利要求书界定为准。

Claims (23)

1.一种应用于一影像串流的滤波器，该影像串流于多个像素上呈现一先前画面与一目前画面，该先前画面具有多个先前画面值，该目前画面具有多个目前画面值，每一该先前画面值与每一该目前画面值对应于该些像素的其中之一，该滤波器包含：

一动差计算器，于每一该像素的一第一邻近范围中累计该先前画面值与该目前画面值的差异，以为每一该像素提供一动差值；

一滤波值计算器，耦接该动差计算器，依据每一动差值，为每一该像素提供一滤波值；以及

一混波器，耦接该滤波值计算器，该混波器分别依据正相关于该滤波值的一第一权重与负相关于该滤波值的一第二权重而将该先前画面值与该目前画面值加权合成于一滤波画面值，以形成一滤波画面,

所述滤波器还包含：

一直方计数器，耦接于该动差计算器与该滤波值计算器，依据每一该动差值进行直方计数以提供一画面直方统计，该直方计数器将每一该像素的一第二邻近范围中的每一该动差值进行直方计数，以提供每一该像素一局部直方统计，

所述滤波器还包含：

一直方匹配模块，耦接于该直方计数器与该滤波值计算器之间，依据该画面直方统计与每一该像素对应的该局部直方统计而为每一该像素提供一对应的直方匹配值，该滤波值计算器依据一直方匹配对照关系而将每一该像素对应的该直方匹配值对照至一直方匹配滤波参考值，并依据该直方匹配滤波参考值提供该滤波值。

2.如权利要求1所述的滤波器，其特征在于，该画面直方统计与该局部直方统计均对应多个分区，该画面直方统计于每一该分区分别具有一画面直方计数值，该局部直方统计于每一该分区分别具有一局部直方计数值，而该直方匹配模块于该些分区中累计该局部直方计数值与该画面直方计数值的相关程度，以提供该直方匹配值。

3.如权利要求2所述的滤波器，其特征在于，该直方匹配模块于该些分区中的预设数目个分区内累计该局部直方计数值与该画面直方计数值的乘积，以提供该直方匹配值。

4.如权利要求1所述的滤波器，其特征在于，该滤波值计算器基于一正相关的关系而依据该直方匹配滤波参考值提供该滤波值。

5.如权利要求1所述的滤波器，其特征在于，该滤波值计算器依据一噪声电平而由多个直方匹配对照关系中选出其中之一，以依据选出的该直方匹配对照关系而将该直方匹配值对照至该直方匹配滤波参考值。

6.如权利要求5所述的滤波器，其特征在于，该些直方匹配对照关系对应多噪声电平范围，而该滤波值计算器依据该噪声电平所属的该噪声电平范围选择对应的该直方匹配对照关系。

7.如权利要求6所述的滤波器，其特征在于，该些直方匹配对照关系还对应多临界值，而每一该直方匹配对照关系对应的该临界值与该噪声电平范围呈负相关。

8.如权利要求1所述的滤波器，其特征在于该直方匹配对照关系具有一临界值，该直方匹配对照关系将低于该临界值的该直方匹配值对照至一常数作为对应的该直方匹配滤波参考值，并将高于该临界值的该直方匹配值对照至大于或等于该常数的该直方匹配滤波参考值。

9.如权利要求1所述的滤波器，其特征在于，该滤波值计算器还依据每一该像素对应的该动差值而为每一该像素提供一动差调整滤波参考值，并基于一正相关的关系而依据每一该动差调整滤波参考值提供该滤波值。

10.如权利要求9所述的滤波器，其特征在于，该滤波值计算器还依据每一该动差值而为每一该像素提供一动差调整值，并依据一动差调整对照关系而将每一该像素对应的该动差调整值对照至该动差调整滤波参考值。

11.如权利要求10所述的滤波器，其特征在于，该滤波值计算器依据一噪声电平而由多个动差调整对照关系中选出其中之一，并据以将该动差调整值对照至对应的该动差调整滤波参考值，该滤波值计算器依据该噪声电平所属的一噪声电平范围选择对应的该动差调整对照关系，而每一该动差调整对照关系所对应的一滤波范围与该噪声电平范围呈正相关。

12.如权利要求10所述的滤波器，其特征在于，该动差调整对照关系对应一滤波范围，该滤波范围外的该动差调整值对照至一常数作为对应的该动差调整滤波参考值，落入至该滤波范围内的该动差调整值照至大于或等于该常数的该动差调整滤波参考值。

13.如权利要求10所述的滤波器，其特征在于，该滤波值计算器于每一该像素的一第三邻近范围中加权累计每一该动差值而为每一该像素提供一动差平均值，并于每一该第三邻近范围中累计每一该动差值与该动差平均值的一差异以为每一该像素提供一对应的动差差异值，而该滤波值计算器依据每一该像素对应的该动差差异值与一增益值的乘积而为每一该像素提供该动差调整值。

14.如权利要求13所述的滤波器，其特征在于，该滤波值计算器依据一非负相关的关系以依据一噪声电平而提供该增益值。

15.如权利要求10所述的滤波器，其特征在于，每一该像素对应的该动差调整值等于每一该像素对应的该动差值。

16.如权利要求1所述的滤波器，其特征在于，该滤波值计算器还依据每一该像素对应的该目前画面值而提供一画面标准差值与一画面标准差滤波参考值，以及依据一画面标准差对照关系而将每一该像素的每一该画面标准差值对照至每一该画面标准差滤波参考值，并基于一正相关的关系以依据每一该像素的该画面标准差滤波参考值提供该滤波值。

17.如权利要求16所述的滤波器，其特征在于，该滤波值计算器依据一噪声电平而由多个画面标准差对照关系中选出其中之一，并据以将该画面标准差值对照至对应的该画面标准差滤波参考值，该些画面标准差对照关系分别对应一噪声电平范围及一滤波范围，该滤波值计算器依据该噪声电平所属的该噪声电平范围选择对应的该画面标准差对照关系，而每一该画面标准差对照关系对应的该滤波范围与该噪声电平范围呈正相关。

18.如权利要求16所述的滤波器，其特征在于，该画面标准差对照关系对应一滤波范围，该滤波范围外的该画面标准差值对照至一常数作为对应的该画面标准差滤波参考值，落入至该滤波范围内的该画面标准差值对照至大于或等于该常数的该画面标准差滤波参考值。

19.如权利要求16所述的滤波器，其特征在于，该滤波值计算器于每一该像素的一第四邻近范围中加权累计每一该目前画面值而为每一该像素提供一画面平均值，并于每一该第四邻近范围中累计每一该目前画面值与该画面平均值的一差异以为每一该像素提供该对应的画面标准差值。

20.如权利要求1所述的滤波器，其特征在于，该直方计数器更于每一该像素的一第五邻近范围中计算该目前画面值的一平均值并累计该目前画面值与该平均值的差异，以决定每一该像素对应的该动差值是否可被纳入一噪声直方集合，该直方计数器根据该噪声直方集合中的每一该动差值进行该直方计数以提供一噪声直方统计。

21.如权利要求20所述的滤波器，其特征在于，该噪声直方统计对应多个分区，分别对应多数值范围，该直方计数器计数该噪声直方集合中符合每一该数值范围的该动差值的个数，以提供该噪声直方统计。

22.如权利要求21所述的滤波器，其特征在于，还包含：

一噪声电平模块，耦接该直方计数器，该噪声电平模块依据该噪声直方统计提供一对应的噪声电平。

23.如权利要求22所述的滤波器，其特征在于，该噪声直方统计对应多个分区，分别对应一数值范围与一噪声直方计数值，而具有最大的该噪声直方计数值的该分区为一噪声参考分区；该噪声电平模块系依据该噪声参考分区所对应的该数值范围而以一非负相关的关系提供该噪声电平。