CN112567722A

CN112567722A - 视频序列中脉冲噪声的处理

Info

Publication number: CN112567722A
Application number: CN201980051897.1A
Authority: CN
Inventors: 尼库拉斯·保尔
Original assignee: Electricite de France SA
Current assignee: Electricite de France SA
Priority date: 2018-06-29
Filing date: 2019-06-03
Publication date: 2021-03-26
Anticipated expiration: 2039-06-03
Also published as: US20210152713A1; WO2020001922A1; EP3797509A1; CA3105372C; ZA202008069B; CN112567722B; CA3105372A1; FR3083415B1; EP3797509B1; US11201989B2; ES2910326T3; FR3083415A1

Abstract

本发明涉及含有(“椒盐”、“雪花”或其它类型的)脉冲噪声的视频序列中的数据的处理，其包括应用递归滤波器(S2)对噪声进行滤波，递归滤波器由下式给出：如果y(n)＞z(n‑1)，则z(n)＝z(n‑1)+Δ，如果y(n)＜z(n‑1)，则z(n)＝z(n‑1)‑Δ，以及如果y(n)＝z(n‑1)，则z(n)＝z(n‑1)，其中：‑y(n)指定在系列的第n个图像中的未通过应用符号滤波器处理的元素；‑z(n‑1)指定在系列的第(n‑1)个图像中对应于y(n)的位置并且通过应用符号滤波器处理的元素；‑z(n)指定在系列的第n个图像中对应于y(n)的位置并且通过应用符号滤波器处理的元素，并且‑Δ是严格正系数。

Description

视频序列中脉冲噪声的处理

本发明涉及对基于像素的数字图像的视频序列的降噪处理，具体地是用于校正“椒盐(salt-and-pepper)”(或下文的“脉冲噪声”)型的图像噪声。

然而，可以认为此噪声不会影响“图像背景”，并且因此用于实时估计背景的图像处理会被关注到，其中可能的应用为：

-在存在脉冲噪声(也被称为“椒盐”噪声，其通常被发现于存在放射性辐射的情况下，放射性辐射会影响传感器的图素，被视为对应像素的饱和度)的情况下处理视频序列；

-利用(例如在视频监控中的)对象跟踪检测视频序列中的移动，其中可能移动的相机拍摄添加有移动元素的固定场景与随处移动的对象。为了检测这些事件，一种解决方案由对背景进行估计，并且然后从图像中减去所述背景组成。

接下来，重点关注灰度图像(每个像素单个值)的情况；通过对三个通道应用相同的计算来立即扩展彩色图像(三个通道：红色、绿色、蓝色)的情况。

然后考虑图像的像素的情况，对于序列中第n个图像表示为y(n)，对于这种情况跟踪时间演化，而无需随后指定像素的空间坐标。

在牢记其它先前提到的应用的同时，可以基于给定时刻n的单个像素y(n)的退化模型来处理由于辐射引起的脉冲噪声的情况。此模型偏离居中的加性噪声的常规模型并且可以例如写成：

y(n)＝x+u(n)，概率1-p

y(n)＝s，概率p

x是在无辐射和测量噪声的情况下像素的确切值，

u(n)是标准偏差σ_u的常规噪声测量结果(通常是高斯白噪声)，

s是“受污染(contaminated)”像素的值，通常是饱和度，

p是辐射“水平(level)”。

在此实例中写入了由y(n)采取的值的概率密度f_Y(y)：

δ(x)是x的狄拉克(Dirac)δ函数。

这种简单的模型不是唯一可能性。具体地，受污染值并不一定是恒定的，并且辐射并不是唯一的应用。因此，通常对具有以下形式的概率密度的像素值更感兴趣：

f_Y(y)＝(1-p)f_U(y-x)+pf_S(y)

其中f_S(y)是“受污染”像素(或对应于移动目标的那些像素)的分布，

并且f_U(y-x)是“未受污染”像素(或对应于固定背景的那些像素)的分布。

类似于辐射噪声，下文将保留上述术语“受污染”和“未受污染”(即使具有辐射的图像的情况并非唯一可能的应用)。在最常见的椒盐型脉冲噪声的情况下，噪声值既可以很高(白色像素，饱和度)，也可以很低(黑色像素)，对于f_S(y)，例如对于在0与由像素I_最大采取的值的最大值之间振荡的噪声像素，这种情况是双峰形状：

存在用于对此类型的噪声进行滤波的技术。下文详细给出两种主要技术。

最简单的方法由使用针对每个像素的值的线性时间滤波组成。通常，经常使用滑动平均或线性时间滤波器，如指数遗忘。指数遗忘通过下式定义：

z(n)＝(1-α)y(n)+αz(n-1)

其中α管控滤波器的遗忘因子(通常介于0.8与0.99之间)。

随时间推移，遗忘因子收敛为由y(n)采取的值的平均值y_平均。如果s是受污染像素的平均值，则得到：

y_平均＝x+p(s-x)

如果辐射水平p高和/或如果未受污染值x的平均值与“受污染”值s相距很远，则此值可能与确切值x基本上不同。例如，对于p＝20％，正常的黑色像素x＝0和灰度为s＝255的饱和度下的受污染值，得到y平均＝51灰度，所述灰度与确切值相比相差约50个灰度。

在相机正在移动或可以更改缩放因子的情况下，重置滤波器的最后一个输出，以便跟随相机的各种移动或缩放因子的变化。对应的表达式写为：

z(q，n)＝(1-α).y(q，n)+α.z(T_n(q)，n-1)

其中：

y(q，n)是第n个原始图像的位置q处的像素的值

z(q，n)是第n个经滤波图像的位置q处的像素的值

z_处理后(q，n)是第n个处理后图像的位置q处的像素的值

T_n(.)是原始图像n-1与n之间的估计的变换。

α是滤波器的遗忘因子(通常介于0.98与0.95之间)

N(q，n)是当将所有像素的输入设定为等于1的恒定图像时来自时间滤波器的输出。

不太正式地，此滤波等式写为：

图像_经滤波＝(1-α).图像_原始+α.图像_{经滤波，先前重置}

此滤波用于消除辐射的影响(图像中的“雪花(snow)”效应)。

然而，可以示出，如此处理的图像没有确切地收敛到在没有辐射的情况下获得的图像。

另一种已知的技术是中值滤波器。

已知有意义的是选择不是朝平均值而是朝由y(n)采取的值的中值收敛的处理。实际上，如果脉冲噪声水平小于50％，则在x+u(t)的分布的支持下定位由y(t)采取的值的中值。

此中值独立于受污染值s与确切值x之间的偏差。

在“椒盐”噪声的情况下，此中值等于x。在“受污染”像素仍大于中值的情况下，此中值由下式给出：

对于实际观察到的污染水平(例如p＜20％)，所述中值是很小的偏差y_med-x＜0.32σ_u。

平均值与中值之差如图1中所展示，所述图表示污染水平为20％的像素采取的值的时间演化的实例。

为了计算随时间的此中值，对于每个像素，通常的处理由计算在滑动时间窗口内获得的中值组成。在每个窗口内，可以例如通过排序算法(对在时间窗口中通过像素采取的M值进行排序，并且然后采取来自中值的值)或根据由窗口中的像素采取的值的直方图计算中值。

然而，此方法具有三个缺点：

-内存需求显著(窗口大小，两秒时间窗口内50个图像，以及25个图像/秒的视频帧速率)；

-必须对每个像素和每个新图像(每个新图像对应于时间窗口的更新)进行的处理特别复杂；

-对正在移动和/或正在改变缩放因子的相机的情况进行扩展是不可能的：为此，有必要重新调节从滑动窗口到最后一张图像的图像集，并且然后计算每个像素的时间中值。所需的内存和处理时间变得与实时应用不相容。

本发明旨在改善此情况。

出于此目的，提出了一种用于处理含有噪声(例如脉冲噪声)的视频序列中的数据的方法，所述视频序列由一系列图像形成，并且所述方法包括应用递归滤波器对噪声进行滤波，递归滤波器以下被称为“符号滤波器(sign filter)”，并且由下式给出：

如果y(n)＞z(n-1)，则z(n)＝z(n-1)+Δ

如果y(n)＜z(n-1)，则z(n)＝z(n-1)-Δ

以及如果y(n)＝z(n-1)，则z(n)＝z(n-1)

其中：

-y(n)指定在系列的第n个图像中的未通过应用符号滤波器处理的元素；

-z(n-1)指定在系列的第(n-1)个图像中对应于y(n)的位置并且通过应用符号滤波器处理的元素；

-z(n)指定在系列的第n个图像中对应于y(n)的位置并且通过应用符号滤波器处理的元素，并且

-Δ是严格正系数。

如在下文呈现的结果的实例中将看到的，与常规的时间滤波器相比，此类滤波器提供了中值滤波器的优点，即所述中值滤波器不会因所处理的图像的平均值而降级。

在一种实施方案中，元素y(n)、z(n-1)和z(n)是具有相同位置的图像像素，并且来自上述系列的图像逐像素处理。

可替代地，可以根据情况应用由相邻像素块进行的处理以使处理甚至更快地收敛。

上述噪声可以是脉冲噪声，例如“椒盐”或“雪花”型。

脉冲噪声可以例如由拍摄上述视频序列的相机的传感器接收到的放射性辐射引起。

通常，在此情况下，脉冲噪声大多是“雪花”型噪声。

在具有或不具有“椒盐”或“雪花”型噪声的情况下，本发明的处理可以在视频序列图像中使用，所述视频序列图像呈现在所关注的背景前面移动的对象。在此情况下，通过根据本发明的方法，可以将在图像中移动的这些对象(灰尘或其它)视为噪声。

在移动的相机或缩放因子可能发生变化的相机的情况下，可以例如利用用于对连续图像中的移动进行估计的模块，提供将视移作为输入结合到符号滤波器。

因此，更一般地说，在系列图像所包括的图像背景在该系列图像中具有视移的方法中，

所述方法可以进一步包括：

-将所述视移作为输入结合到符号滤波器。

此类“视移”可能由以下情况中的至少一种情况引起：

-所述相机是可移动的并且对固定序列进行拍摄，并且

-相机的缩放随时间是可变的。

通过赋予像素的上述表示法，然后符号滤波器在此类视移的情况下的应用可以由下式给出：

如果y(q，n)＞z(T_n(q)，n-1)，则z(q，n)＝z(T_n(q)，n-1)+Δ

如果y(q，n)＜z(T_n(q)，n-1)，则z(q，n)＝z(T_n(q)，n-1)-Δ

如果y(q，n)＝z(T_n(q)，n-1)，则z(q，n)＝z(T_n(q)，n-1)

其中z(q，n)是由第n个图像在具有向量坐标q的像素处采取的值，并且T_n是系列中的排列为n-1的先前图像与排列为n的当前图像之间的变换的估计值。

优选地，系列中的初始图像直到第n₀个图像，应用遗忘因子时间滤波器，而不应用符号滤波可以是有利的，此遗忘因子时间滤波器由下式给出：

其中z_时间(q，n)＝(1-α).y(q，n)+α.z_时间(T_n(q)，n-1)

并且N(q，n)＝(1-α)+α.N(T_n(q)，n-1)；

z_时间(q，n)是时间变量，并且α是包含在0与1之间的遗忘因子。

然后z(q，n)是由第n个图像在具有向量坐标q的像素处采取的值，并且T_n是通过系列中的排列为n-1的先前图像与排列为n的当前图像之间的可能移动而进行变换的估计值，其中n小于n₀。

在连续图像直到图像n₀之间不存在移动的情况下，此遗忘因子时间滤波器可以仅由下式给出：

其中z_时间(n)＝(1-α)y(n)+αz_时间(n-1)

z_时间(n)是时间变量，并且α是包含在0与1之间的遗忘因子。

接下来，至少对于系列中跟随在第n₀个图像后的图像，可以应用符号滤波器与遗忘因子时间滤波器的组合，此组合的结果由下式给出：

w_时间(n)是由下式给出的时间变量：

w_时间(n)＝(1-β)z(n)+βw_时间(n-1)，其中z(n)是应用符号滤波器的结果，并且其中β是包含在0与1之间的遗忘因子。

所要选择的重要参数是系数Δ的值。优选地，此选择根据图像元素采取的色度的最大值I_最大确定。测试表明系数Δ可以小于20·I_最大/255。

优选地，系数Δ包含在0与5·I_最大/255之间(如果是最常见的情况I_最大＝255，则所述系数介于0与5之间)。

“色度”此处被理解为通常在256个值内量化的灰度或红色、绿色或蓝色(RGB)等级。

本发明还涉及一种计算机程序，所述计算机程序包括指令，这些指令用于当由处理器执行时实施上述方法。本发明还涉及一种存储用于此类程序的指令的信息介质(例如，USB或其它类型的存储器)。

本发明还涉及一种装置，所述装置包括用于实施上述方法的处理单元(参考下文关于图5的描述)。

通过阅读作为说明性实例的本发明实施例的详细说明并通过分析附图，其他优点和特征将变得显而易见，在附图中：

-图1示出了可能被脉冲噪声(p＝20％，σ_u＝10灰度)污染的像素采取的值的时间中值和平均值；

-图2示出了可能被污染(p＝20％，σ_u＝10灰度)并且由符号滤波器(其中Δ＝3)进行的处理输出的像素的时间演化；

-图3示出了由来自用于图2的结果(Δ＝3)的符号滤波器进行的处理的输出采取的值的观察分布和理论分布；

-图4将在有时受污染的像素(σ_u＝10，p＝20％)上由符号滤波器(Δ＝3)进行的处理与使用两个遗忘因子时间滤波器和符号滤波器(Δ＝3，n₀＝25个图像，α＝β＝0.95)的混合处理进行比较；

-图5示出了在一个示例性实施例中用于实施本发明的装置；

-图6示出了根据本发明在一个示例性实施例中应用于具有移动的图像序列的处理；

-图7示出了根据本发明的应用在具有两个遗忘因子滤波器的一个示例性实施例中的处理，其中第一遗忘因子时间滤波器(Filttemp 1)优先于符号滤波器(FILT SGN)，并且第二遗忘因子时间滤波器(Filttemp 2)伴随于符号滤波器。

本发明提出了如下的递归方法：通过考虑由单个像素(对于图像n表示为y(n))采取的值，此方法由计算通过以下定义的序列z(n)组成：

z(n)＝z(n-1)+Δ×sign(y(n)-z(n-1))

其中sign(0)＝0。

在下文中，此方法被称为“由符号滤波器进行的处理”或“快速时间中值”。

Δ是算法的参数，该参数的调节表示收敛速度与收敛之后的残余标准偏差之间的折衷。该参数的调节在下文进行讨论。

此符号滤波器存在多个优点。

所需的内存很小：在时刻n处仅使用两个图像来计算输出：先前输出图像z(n-1)和当前原始图像y(n)。因此，可以即时地进行实时处理。

几乎不存在复杂性：对于每个新图像和每个像素，存在一个加法、一个乘法和一个(关于符号计算的)比较。

此方法有利且无困难地适于移动相机的具体情况，对于所述情况，递归等式变为：

z(q，n)＝z(T(q)，n-1)+Δ×sign(y(q，n)-z(T(q)，n-1))

其中z(q，n)是由图像在时刻n处在具有向量坐标q的像素处采取的值，并且T是先前等级图像与当前等级图像之间的变换的估计值。在文献中描述了用于估计此变换以进行平移以及平移、旋转和缩放因子的变化的组合的方法。

因此，处理符号的初步操作可以由对相机是否正在移动进行定义组成：

-如果相机固定，则仅应用由符号滤波器进行的处理；以及

-如果打算移动相机，和/或如果缩放因子可以变化(或照明)，则参见图6，应用估计相机移动的初步步骤S1：以已知的方式，根据连续图像计算相机的位移，并且然后将在步骤S1中由此获得的此位移作为输入结合到由符号滤波器进行的要在步骤S2中应用的处理。

例如，可以向用户提供二进制按钮，以指定序列是用固定相机还是用移动相机拍摄的(步骤S0)，用移动相机拍摄的情况导致启动移动估计算法(步骤S1)，所述移动估计算法的结果作为步骤S2在n直到N_最大迭代内(步骤S3和S4循环直到S5，n＝N_最大迭代)的每次迭代的输入。

在前述的一般等式中，系数Δ表征当前图像y(n)与已经通过根据本发明的方法进行递归处理的先前图像n-1(z(n-1))之差的符号的价值。

此系数Δ的值的调节可以如下所述进行。此调节是由于递归符号滤波器的收敛时间与滤波器输出的最终相关性之间的折衷而产生的，所述最终相关性例如可以通过收敛之后的方差来估计。

“收敛时间”被理解为意指以下两种：

-处理开始时的收敛时间；

-适于相机移动或缩放变化(实际上对应于新的场景元素的像素)的时间；以及

-适于场景变化(通常是照明变化)的时间。

如果想要优先考虑快速适应/收敛时间，则为系数Δ选择很高的值。

如果想要优先考虑小的残余方差，则为系数Δ选择很小的值。

图2和图3分别示出了由来自由符号滤波器进行的处理的输出采取的值的时间演化和分布。此分布非常接近理论分布。

通常，作为来自符号滤波器的输出，收敛之后的残余方差由下式给出：

振幅A的中值变化的收敛时间由下式给出：

此处，给出了与黑或白相当的“椒盐”脉冲噪声的收敛时间。在像素仅被白色污染的情况下，则得到：

在中值下降的情况下的A/Δ(1-2p)，并且

在中值增加的情况下的A/Δ。

由图像像素采取的值通常介于0与255之间(8位编码值的情况)。在此情况下，从经验上看来，对于系数Δ的值的良好选择可以介于0与20之间，并且优选地介于0与5之间。更通常地，如果由像素采取的值介于0与I_最大之间，则可以在0与20·I_最大/255之间，优选地在0与5·I_最大/255之间选择系数Δ。

在图6所示的初始化步骤S6期间，可以将系数Δ设定为在步骤S2中由符号滤波器进行的处理的输入，并且在获得的图像或获得图像的时间不令人满意的情况下，可以根据需要改变所述系数。通常，处理可以使得在初始化时选择很高的值(例如Δ＝5)，并且然后在收敛开始之后选择很小的值(例如Δ＝1)。收敛的开始可以被定义为用于从Δ＝5切换到Δ＝1的滑动窗口值n1(连续图像的数量n₁)的函数。

可以将根据本发明的滤波器的性能与滑动窗口中值滤波器进行比较。

实际上，可以将来自通过应用符号滤波器进行的处理的输出的标准偏差与在大小为N的滑动窗口内对中值进行的常规计算的标准偏差进行比较。这可以通过以下渐近结果来近似：

在此上下文中，给出：

对于噪声σ_u(“常规”加性噪声，不是脉冲噪声的标准偏差)和污染水平p的数据值，可以得出获得与此处提出的符号算法相同的性能所需的最小滑动窗口大小：

例如，利用σ_u＝10灰度和p＝20％，发现获得同一残余标准偏差所需的滑动窗口的大小为：

-对于Δ＝3，N＝10个图像，

-对于Δ＝1，N＝30个图像，并且

-对于Δ＝0.5，N＝60个图像。

然后，可以考虑在收敛时间与转换之后的残余方差之间做出的折衷作为本发明的此处理的缺点。

然而，可以利用混合处理以获得低残余方差而不影响收敛时间。

第一种技术方案由以下组成：用线性滤波器，通常是经归一化指数遗忘开始处理，并且然后在若干图像的初始化时间n₀之后，接下来通过应用符号滤波器切换到处理。在固定相机的情况下，这种类型的改进可能是有用的，其中在不惩罚初始收敛时间的情况下寻求低残余方差。另一方面，当需要快速适于场景的变化(和/或照明或特别是缩放的变化)时，这种方法不太有效。

为了缩减残余方差，第二个技术方案由以下组成：通常利用指数遗忘使用应用于z(t)的另一个线性时间滤波器。如果β是此第二滤波器的系数(包含在0与1之间)，则这允许将残余方差乘以

(如果假设来自符号滤波器的输出在时间上不相关)。

在可能偏移的场景的情况下，此改进可能特别有用，以便：

ο确保跟踪场景(照明)和/或相机(具有高Δ)，并且

ο确保低残余方差(利用第二指数滤波器)。

所述两种改进可以在单个处理期间使用。

在固定相机的情况下，对于第n个图像中给定的像素值y(n)，下文参考图7总结了利用两种改进的混合处理：

对于n＝0，应用初始化步骤S20：

y(0)＝0，z_时间(0)＝0，w_时间(n₀)＝0

对于n＝1到n₀(步骤S22和S23的循环)，在没有符号滤波器的情况下，在步骤S21中应用第一遗忘因子时间滤波器：

z_时间(n)＝(1-α)y(n)+αz_时间(n-1)

并在输出处

对于n＞n₀(并且直到步骤S26中的收敛)，分别在步骤S24和S25中将符号滤波器和第二遗忘因子时间滤波器应用于符号滤波器的结果：

z(n)＝z(n-1)+Δ×sign(y(n)-z(n-1))

w_时间(n)＝(1-β)z(n)+βw_时间(n-1)

并在输出处

图4展示了通过应用符号滤波器进行的处理以及改进的混合处理的性能(在混合处理的情况下性能更好)。

混合处理的使用以及对其参数(初始化时间和指数遗忘因子)的调节取决于应用类型。对于固定相机或缓慢移动的相机，在初始化利用归一化指数遗忘进行的处理的条件下(例如α＝0.9)，系数Δ的很小的值是足够的(0.5或1灰度)。第二滤波器(w_时间)不一定是有用的。

对于移动的相机或可变的场景(例如，照明变化)，处理必须不断进行调整。可以选择高达Δ＝5灰度的高系数，然后进行指数遗忘β＝0.9。初始化滤波器(z_时间)不一定是有用的。

对于参数的最佳调节，将振幅中值A的变化(通常是由于所拍摄场景的照明的变化)期间的残余方差与收敛时间进行比较的计算可能会有帮助。

实际上，在此情况下，振幅中值A的变化的收敛时间(对于椒盐型“黑色或白色像素”噪声(不仅仅是白色、“雪花”型))(到达μA的时间)由下式给出：

收敛之后的残余方差可以通过以下进行近似：

现在参考图5，根据本发明的装置包括至少包括以下的处理单元UT：

-输入接口IN，所述IN用于从相机CAM或甚至从远程服务器(或通过通信网络的远程实体)中接收表示(在固定平面和固定或可变的缩放和照明中)形成视频序列的连续图像的像素的信号；

-缓冲存储器BUFF，所述BUFF用于临时存储图像数据(并且通常是接收到的最后一个(原始)图像和经处理的最后一个图像，以及在移动的情况下接收到的倒数第二个图像)；

-存储器MEM，所述MEM用于可能存储其它临时变量，并且特别是用于存储根据本发明的计算机程序的指令代码，并且还可能用于存储滤波器的参数值(遗忘因子、系数Δ、初始图像的数量n₀、N_最大迭代等)；

-人机接口IHM，所述IHM用于输入滤波器参数的值，此接口连接到输入装置SAI(键盘、鼠标、触摸屏、语音命令等)和显示装置VIS(屏幕、触摸屏等)；

-处理器PROC，所述PROC用于从存储器MEM中读取计算机程序的指令代码并且将根据本发明的处理应用于来自缓冲器BUFF的图像数据，如果认为相机的位置或其调节是可变的，则在适当的情况下，所述处理是通过依赖于移动估计模块MOUV(通过平移、旋转、缩放因子对相机的移动进行估计)进行的；

-输出接口OUT，所述OUT用于递送可以在例如显示装置VIS上观看的去噪图像。

进行逐像素处理，以提供从图像n处的像素值处理的图像。

处理的输出可以呈现若干选项：

-以简单的方式实时估计视频序列的背景；

-通过减去从原始图像中如此获得的背景，检测并且可能提取在图像中移动的一个或多个对象；

-和/或再次估计视频序列中的椒盐或雪花型脉冲噪声；

-在适用的情况下，在此脉冲噪声存在的情况下处理序列；以及

-可能通过显示装置VIS或通过用于将以此方式去噪的图像数据传送到远程站点的接口(未示出)来递送此背景的图像或去噪图像。

然后，处理的目的是执行以下操作：

图像_处理后＝图像_{处理后，先前重置}+Δ×sign{图像_原始-图像_{处理后，先前重置}}

除了此处理外，还可以使用两个常规的滤波器(指数遗忘)：

-可以使用第一滤波器来加快此处理的初始收敛时间；

-可以使用第二滤波器来缩减残余方差。

因此，计算四种可能的滤波器组合：

-简单的符号滤波器；

-符号滤波器与初始化滤波器；

-符号滤波器与残余方差缩减滤波器；

-符号滤波器与初始化滤波器以及残余方差缩减滤波器。

下文将详述第二组合和第四组合。

此处，使用原始图像n-1与原始图像n之间的几何变换的估计值(表示为T_n(q))。继续表示输入图像y(q，n)和输出图像z_处理后(q，n)，可以应用以下步骤：

初始化：z(q，0)＝0；z_处理后(q，0)＝0；T₁(q)＝q(变换的恒等式)；

N(q，0)＝0(归一化图像)

对于n＝1到n₀，z(q，n)＝(1-α)·y(q，n)+α·z(T_n(q)，n-1)

N(q，n)＝(1-α)+α·N(T_n(q)，n-1)

并且

对于n＞n₀：

z_处理后(q，n)＝z_处理后(T_n(q)，n-1)+Δ×sign{y(q，n)-z_处理后(T_n(q)，n-1)}

可以选择以下作为输入值：

-n₀＝25个图像(1秒)；可能达到50个图像(2秒)

-Δ＝3(介于0与10之间)

此值Δ对应于在0与255之间变化的像素值。对于像素在0与1之间变化的情况，有必要乘以1/255。对于像素在0与最大值之间变化的情况，有必要乘以最大值/255。

此算法利用以下值：

z(T_n(q)，n-1)、N(T_n(q)，n-1)和z_处理后(T_n(q)，n-1)，

当(由于图像的移动)估计的变换T_n(q)从图像中去除像素时，所述值有时是不可用的。

在此情况下，然后可以选择以下值：

z(T_n(q)，n-1)＝0

N(T_n(q)，n-1)＝0

z_处理后(T_n(q)，n-1)＝y(q，n)或0

现在，将描述第四组合，其因此对应于如先前讨论的图7中的描述。所述第四组合涉及将符号滤波器与初步初始化滤波器和伴随的残余方差缩减滤波器一起应用。

处理可以通过如下呈现：

-初始化：z(q，0)＝0；T₁(q)＝q；z_时间(q，0)＝0；z_处理后(q，0)＝0；

N(q，0)＝0

并且z_{处理后，bis}(q，0)＝0

-对于n＝1到n₀，保留与以前相同的处理，其中：

z(q，n)＝(1-α)·y(q，n)+α·z(T_n(q)，n-1)

N(q，n)＝(1-α)+α·N(T_n(q)，n-1)

并且

z_{处理后，bis}(T(q)，n₀)＝z_处理后(q，n₀)

-接下来，对于n＞n₀，对于图像n中的每个像素，处理变为以下的组合：符号滤波器：

以及遗忘滤波器：

z_时间(q，n)＝(1-β)z_处理后(q，n)+β×z_时间(q，n-1)

使得：

默认情况下，可以采取α＝0.95和β＝0.9。

此处同样，此处理涉及以下值：

z(T_n(q)，n-1)、N(T_n(q)，n-1)和z_处理后(T_n(q)，n-1)，

当估计的变换T_n(q)从图像中去除像素时(由于图像的移动)，所述值可能是不可用的。

在此情况下，然后可以选择以下值：

z(T_n(q)，n-1)＝0

N(T_n(q)，n-1)＝0

z_处理后(T_n(q)，n-1)＝y(q，n)或0

因此表明，对视频序列的背景进行递归实时估计允许处理因脉冲噪声(隐藏有用的背景并且因此类似于脉冲噪声的“椒盐”或“雪花”或实际灰尘(纸片、颗粒等))而严重降级的胶片，而不会像线性滤波器将不期望形式的平均应用于一系列像素那样使原始图像变性。

此处提出的处理的优点是多方面的：由于仅使用先前处理的值(输出n-1)和当前像素(图像n)的值来更新图像n的一个像素，因此复杂性和所需的内存都非常小。因此，与基于常规中值滤波器的处理不同，可以即时进行实时处理。此外，这种处理方式直接适于移动中的相机的情况。

Claims

1.用于处理含有噪声的视频序列中的数据的方法，所述视频序列由一系列图像形成，

所述方法的特征在于，所述方法包括应用递归滤波器对噪声进行滤波，递归滤波器以下被称为“符号滤波器”，并且由下式给出：

如果y(n)＞z(n-1)，则z(n)＝z(n-1)+Δ

如果y(n)＜z(n-1)，则z(n)＝z(n-1)-Δ

以及如果y(n)＝z(n-1)，则z(n)＝z(n-1)

其中：

-Δ是严格正系数。

2.根据权利要求1所述的方法，其特征在于，元素y(n)、z(n-1)和z(n)是具有相同位置的图像像素，其特征在于，来自系列的图像逐像素处理。

3.根据前述权利要求中任一项所述的方法，其特征在于，噪声是“椒盐”或“雪花”型脉冲噪声。

4.根据前述权利要求中任一项所述的方法，其特征在于，噪声是脉冲噪声，并且由拍摄所述视频序列的相机的传感器接收到的放射性辐射引起。

5.根据权利要求1和2中任一项所述的方法，其特征在于，所述视频序列的图像呈现在所关注的背景前面移动的对象，并且其中，在图像中移动的对象被视为噪声。

6.根据前述权利要求中任一项所述的方法，其特征在于，系列图像包括图像背景在系列图像中的视移，

所述方法的特征在于，所述方法进一步包括：

-将所述视移作为输入结合到符号滤波器。

7.根据权利要求6结合权利要求2所述的方法，其特征在于，符号滤波器在视移的情况下的应用由下式给出：

如果y(q，n)＞z(T_n(q)，n-1)，则z(q，n)＝z(T_n(q)，n-1)+Δ

如果y(q，n)＜z(T_n(q)，n-1)，则z(q，n)＝z(T_n(q)，n-1)-Δ

如果y(q，n)＝z(T_n(q)，n-1)，则z(q，n)＝z(T_n(q)，n-1)

8.根据前述权利要求中任一项所述的方法，其特征在于，对于系列中的初始图像直到第n₀个图像，应用遗忘因子时间滤波器，而不应用符号滤波，遗忘因子时间滤波器由下式给出：

其中z_时间(q，n)＝(1-α)·y(q，n)+α·z_时间(T_n(q)，n-1)

并且N(q，n)＝(1-α)+α·N(T_n(q)，n-1)；

z_时间(q，n)是时间变量，并且α是包含在0与1之间的遗忘因子；

9.根据权利要求8所述的方法，其特征在于，在连续图像直到图像n₀之间不存在移动的情况下，遗忘因子时间滤波器由下式给出：

其中z_时间(n)＝(1-α)y(n)+αz_时间(n-1)

z_时间(n)是时间变量，并且α是包含在0与1之间的遗忘因子。

10.根据前述权利要求中任一项所述的方法，其特征在于，至少对于系列中跟随在第n₀个图像后的图像，应用符号滤波器与遗忘因子时间滤波器的组合，组合的结果由下式给出：

w_时间(n)是由下式给出的时间变量：

11.根据前述权利要求中任一项所述的方法，其特征在于，系数Δ的值根据图像元素采取的色度的最大值I_最大来选择，并且其中，所述系数Δ小于20.I_最大/255。

12.根据权利要求11所述的方法，其特征在于，所述系数Δ包含在0与5·I_最大/255之间。

13.一种计算机程序，其包括指令，所述指令用于在由处理器执行时实施根据权利要求1到12中任一项所述的方法。

14.一种装置，其包括用于实施根据权利要求1到12中任一项所述的方法的处理单元。