CN103067647B - 一种基于fpga的视频去噪方法 - Google Patents

Abstract

本发明涉及一种基于FPGA的视频去噪方法，将信号输入输出编解码，根据输入信号格式，选用相应信号通道，分别得到输入信号中的各分量信号，并将各分量信号输入主体算法，经过算法处理后，将各分量信号组合为需求信号，通过组合可以实现不同信号格式转换，对静止和运动的区域都采用时间域IIR滤波；本发明使得在对每帧视频图像去噪处理中，在空间域上细分了运动块和静止块分别进行处理；从时间域上，以视频帧MAD的均方差来动态的计算出阈值，动态的分析了视频序列的运动情况，使得阈值的计算更加准确；使用了FPGA来实现去噪算法，具有很好的兼容性和通用性。

Description

一种基于FPGA的视频去噪方法

技术领域

本发明涉及视频领域，特别是涉及一种基于FPGA的视频去噪方法。

背景技术

目前，大多采用专用芯片在视频处理前端进行去噪，由于专用芯片价格昂贵，功能单一，加之目前视频信号格式多样，噪声种类多样，不具有很好的兼容性和通用性。因此，对于该模块的可编程性提出要求，加之可编程技术的突飞猛进，利用FPGA对视频进行去噪得到了很快的发展。

目前，基于FPGA的视频去噪算法，主要分为空域滤波、时域滤波两种。空域滤波常采用对相临像素点进行加权平均的方式滤波，实践证明空域滤波去除噪声效果较差且会牺牲图像高频细节部分，使图像产生失真。时域滤波由于考虑了视频图像在时间上的相关性，采用IIR滤波算法，进行帧间图像加权处理，图像序列越相似，相关性越强，去噪效果越好。但对于运动图像，运动目标会产生伪影等时域模糊现象。

发明内容

本发明的为一种基于FPGA的去噪方法，采用了预先判断出一帧中静止和运动的图像区域，对静止和运动的区域都采用时间域IIR滤波，静止和运动区域IIR滤波的滤波系数分别采用不同值来保证了最大限度滤除静止区域的噪声和消除运动区域的伪影等时域模糊现象。判断静止和运动通过计算视频序列帧间像素差值的均方差来动态得到的阈值，这样可以很好的判断出一帧图像中是静止和运动的区域。

本发明完成了前端信号解码，组合滤波，数据输出的滤波系统。本发明可作为一个中间件，添加入监控系统内部。主要由三部分组成，输入输出编解码，中央算法处理及控制，外存控制。其中输入输出编解码，是根据输入信号格式，选用相应信号通道，分别得到输入信号中的各分量信号，并将各分量信号号输入主体算法。经过算法处理后，将各分量信号组合为需求信号。可以明显看出，通过组合可以实现不同信号格式转换。如：可以将YUV转换为RGB，S—VIDEO信号输出。

本发明采用的技术方案为：一种基于FPGA视频去噪方法包括以下步骤：

步骤一：利用FPGA将输入的视频序列存储初始帧图像到系统外部存储器中；

步骤二：在FPGA内部构建4×4矩阵生成模块，将前后两帧相应矩阵块求取MAD值；

步骤三：在FPGA内部构建MAD值计算模块，用当前帧阈值和MAD进行比较并判断，大于MAD则当前块为运动块，小于MAD则当前块为静止块，遍历一帧图像，得到一帧图像中每个4×4矩阵块的属性表Tc；

步骤四：在FPGA内部构建形态滤波模块，对4×4矩阵块属性表Tc进行形态滤波，去除孤立属性块，重新得到当前帧4×4矩阵块属性表Tp；

步骤五：在FPGA内部构建IIR滤波模块，通过查表Tp，分别对运动块和静止块进行滤波系数不同的时域IIR滤波；

步骤六：计算当前帧MAD的方差；

步骤七：计算下一帧阈值；

步骤八：返回第步骤二，按顺序进行循环，遍历视频帧，得到去噪后的的视频帧序列。

上述步骤二中对后续输入的视频帧利用FIFO作为构建矩阵缓存，并将其按4×4矩阵块读取，与外部存储器中相同位置的4×4矩阵块进行差分，得到MAD值，并将MAD值存入系统外部存储器中。

上述步骤三中的，初始阈值可任意设定为一大于0的整数，后续此阈值作动态更新。

上述步骤四中二值化4×4矩阵块属性表Tc采用3x3的十字型模板进行形态滤波。

本发明的优点在于：使得在对每帧视频图像去噪处理中，在空间域上细分了运动块和静止块分别进行处理；从时间域上，以视频帧MAD的均方差来动态的计算出阈值，动态的分析了视频序列的运动情况，使得阈值的计算更加准确；使用了FPGA来实现去噪算法，具有很好的兼容性和通用性。

具体实施方式

本发明的具体实施方案为：

步骤一：利用FPGA将输入的视频序列存储初始帧图像到系统外部存储器中。

步骤二：在FPGA内部构建4×4矩阵生成模块，将前后两帧相应矩阵块求取MAD值；

其中计算MAD实现方式如下：

$\mathrm{MAD}=\left|\underset{j=0}{\overset{3}{\mathrm{\Σ}}}\underset{i=0}{\overset{3}{\mathrm{\Σ}}}({\mathrm{CMB}}_{x,y}(i,j)-{\mathrm{PMB}}_{x,y}(i,j))\right|/16$

其中，CMB_x.y(t)为当前帧的4×4矩阵块，PMB_x.y(t)为前一帧4×4矩阵块。

将计算得到的MAD值存入系统外部存储器中。

步骤三：在FPGA内部构建MAD值计算模块，用当前帧阈值和MAD进行比较并判断，大于MAD则当前块为运动块，小于MAD则当前块为静止块，遍历一帧图像，得到一帧图像中每个4×4矩阵块的属性表Tc；

对于初始阈值可设置为大于0的整数，后续此阈值作动态更新。

步骤四：在FPGA内部构建形态滤波模块，对4×4矩阵块属性表Tc进行形态滤波，去除孤立属性块，重新得到当前帧4×4矩阵块属性表Tp；

其中对二值化4×4矩阵块属性表Tc利用3x3的十字型模板进行形态滤波。

步骤五：在FPGA内部构建IIR滤波模块，通过查表Tp，分别对运动块和静止块进行滤波系数不同的时域IIR滤波；

IIR滤波通过如下公式实现：

CMB’x.y(t)=b1*PMBx.y(t-1)+a1*CMB x.y(t)

其中：处理运动块时滤波系数b1=0.9，a1=0.1，处理静止块时的滤波系数b1=0.2，a1=0.8，同时该参数，可通过具体测试效果进行更新。PMBx.y(t-1)为前一帧中相同位置的滤波后的4×4矩阵块，CMB x.y(t)为当前待滤波4×4矩阵块，CMB’x.y(t)为滤波后的4×4矩阵块。同时保存处理完后数据到外存，将其作为下帧数据参考帧进行处理。

步骤六：计算当前帧MAD的方差；

计算方差方法如下：

$D_{\mathrm{MAD}}=\underset{k=0}{\overset{n}{\mathrm{\Σ}}}{({\mathrm{AVG}}_{\mathrm{MAD}}-{\mathrm{MAD}}_k)}^2/n$

其中n为每帧4×4矩阵块个数，AVG_MAD为当前帧平均MAD值，MAD_k为当前帧中每个4×4矩阵块的实际MAD值。

步骤七：计算下一帧阈值；

实际视频帧中动态噪声，多为白噪声，服从均值为0，方差为δ的高斯分布，设在一定时间范围没有运动出现，图像间的差异主要由噪声引起，则有：

F_x,y(t)＝B_x，y+n(t)

式中B_x，y代表场景的值，因无运动，是定值，n(t)代表噪声，是变化值。服从均值为0，方差为δ的高斯分布。帧间差分图像定义为：

Diff_x,y(t)＝F_x,y(t)-F_x,y(t-1)＝n(t)-n(t-1)

假设无运动存在，计算差分图像相临3个4×4矩阵块都大于阈值TH或都小于阈值TH的概率。

$P({\mathrm{Diff}}_{x,y}\left(t\right)>\mathrm{TH})=\underset{u=\mathrm{Th}}{\overset{+\∞}{\∫}}\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\δ}}{e}^{\frac{u^2}{{2\mathrm{\δ}}^2}}\mathrm{du}$

相临3个4×4矩阵块大于阈值的概率为：

$P({\mathrm{Diff}}_{x,y}\left(t\right)>\mathrm{TH},{\mathrm{Diff}}_{x+1,y}\left(t\right)>\mathrm{TH},{\mathrm{Diff}}_{x+2,y}\left(t\right)>\mathrm{TH})={\left[\underset{u=\mathrm{TH}}{\overset{+\∞}{\∫}}\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\δ}}{e}^{\frac{u^2}{{2\mathrm{\δ}}^2}}\mathrm{du}\right]}^3$

假设δ为5，当TH取5时，计算出概率为0.004，当取TH为10时，计算出概率为1.178x10^-5，这是一个极小概率事件。考虑到实际视频序列的特征，本算法取阈值TH为

步骤八：返回第步骤二，按顺序进行循环，遍历视频帧，得到去噪后的的视频帧序列。

本发明在系统中的工作流程如下：上电后，FPGA检测到输入信号，FPGA将该输入信号进行解码，同时将各分量信号存入外存，FPGA检测到已经输入一帧信号后，从第二帧时开始计算出均方差和阈值，并将各分量信号输入算法进行信号处理。并将处理后数据生成相应信号格式输出。同时，将第二帧信号各分量存入外存，覆盖第一帧信号。依次类推，当到第五帧时，前四帧的自学习获取的均方差，确定临界值，并将该值作为输入，对第五帧数据进行处理并修正阈值。同时将处理后数据输入外存，覆盖前帧数据。通过不断的计算临界值，修正阈值，达到动态控制目的。

本说明书中公开的所有特征，除了互相排斥的特征以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于FPGA的视频去噪方法，其特征在于,该方法包括以下步骤：

步骤一：利用FPGA将输入的视频序列存储初始帧图像到系统外部存储器中；

步骤二：在FPGA内部构建4×4矩阵生成模块，将前后两帧相应矩阵块求取MAD值；

步骤三：在FPGA内部构建MAD值计算模块，用当前帧阈值和MAD进行比较并判断，大于MAD则当前块为运动块，小于MAD则当前块为静止块，遍历一帧图像，得到一帧图像中每个4×4矩阵块的属性表Tc；

步骤四：在FPGA内部构建形态滤波模块，对4×4矩阵块属性表Tc进行形态滤波，去除孤立属性块，重新得到当前帧4×4矩阵块属性表Tp；

步骤五：在FPGA内部构建IIR滤波模块，通过查表Tp，分别对运动块和静止块进行滤波系数不同的时域IIR滤波，IIR滤波通过如下公式实现：

CMB’x.y(t)＝b1*PMBx.y(t-1)+a1*CMB x.y(t)

其中：PMBx.y(t-1)为前一帧中相同位置的滤波后的4×4矩阵块，CMB x.y(t)为当前待滤波4×4矩阵块，CMB’ x.y(t)为滤波后的4×4矩阵块，a1、b1是处理运动块时滤波系数；

步骤六：采用如下计算当前帧MAD的方差，

$D_{MAD}=\underset{k=0}{\overset{n}{\Σ}}{({\mathrm{AVG}}_{MAD}-{\mathrm{MAD}}_k)}^2/n;$

其中n为每帧4×4矩阵块个数，AVG_MAD为当前帧平均MAD值，MAD_k为当前帧中每个4×4矩阵块的实际MAD值

步骤七：取计算下一帧阈值，也即下一帧的当前阈值，δ为当前帧MAD的方差的高斯分布；

步骤八：返回第步骤二，按顺序进行循环，遍历视频帧，得到去噪后的的视频帧序列。

2.根据权利要求1所述的一种基于FPGA视频去噪方法，其特征在于，上述步骤二中对后续输入的视频帧利用FIFO作为构建矩阵缓存，并将其按4×4矩阵块读取，与外部存储器中相同位置的4×4矩阵块进行差分，得到MAD值，并将MAD值存入系统外部存储器中。

3.根据权利要求2所述的一种基于FPGA视频去噪方法，其特征在于，上述步骤三中的，初始阈值可任意设定为一大于0的整数，后续此阈值作动态更新。

4.根据权利要求3所述的一种基于FPGA视频去噪方法，其特征在于，上述步骤四中二值化4×4矩阵块属性表Tc采用3x3的十字型模板进行形态滤波。