CN105472204B - 基于运动检测的帧间降噪方法 - Google Patents

基于运动检测的帧间降噪方法 Download PDF

Info

Publication number
CN105472204B
CN105472204B CN201410453434.7A CN201410453434A CN105472204B CN 105472204 B CN105472204 B CN 105472204B CN 201410453434 A CN201410453434 A CN 201410453434A CN 105472204 B CN105472204 B CN 105472204B
Authority
CN
China
Prior art keywords
image
frame
pixel
value
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410453434.7A
Other languages
English (en)
Other versions
CN105472204A (zh
Inventor
隋修宝
沈雪薇
陈钱
顾国华
潘科辰
陶远荣
匡小冬
于雪莲
何伟基
钱惟贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201410453434.7A priority Critical patent/CN105472204B/zh
Publication of CN105472204A publication Critical patent/CN105472204A/zh
Application granted granted Critical
Publication of CN105472204B publication Critical patent/CN105472204B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Picture Signal Circuits (AREA)

Abstract

本发明公开了一种基于运动检测的帧间降噪方法。该方法是先通过多高斯混合背景模型法提取运动目标找到相邻两帧间重叠的静止区域,然后对该区域做帧间累加滤波,对非重叠区域内的运动目标区域和非运动目标区域分别采用帧内滤波算法和用多高斯混合背景模型方法建立的背景模型替代,同时该算法还能自适应调整叠加帧的数目,具有多级可调功能。本发明的创新点在于先对图像做运动目标检测,然后对前后两帧的只含有运动目标的前景图像进行与运算,根据与运算的结果选择帧间滤波算法、帧内滤波算法或背景模型替代算法,避免了传统的帧间滤波方法引起的运动目标边缘虚像、伪像甚至丢失的现象,对运动图像也能达到很好的降噪效果。

Description

基于运动检测的帧间降噪方法
技术领域
本发明涉及视频图像的降噪处理技术,具体是一种基于运动检测的帧间降噪方法。
背景技术
现实中的数字视频信号在获取、传输、存储或重建时经常会引入噪声,这些噪声会导致图像模糊不清,使图像发白或者过暗。为了提高视频序列的主观视觉效果,提高视频的压缩效率,节约传输带宽或进行后续视频处理与分析,都需要对含噪声的视频信号进行去噪处理。
在视频图像中,尤其是对静态或缓慢运动的图像序列,相邻帧之间一般具有较强的相关性,而噪声总是随机分布在视频图像中,不具有相关性,因此可以利用帧间信号的相关性和噪声的非相关性,先对相邻两帧图像进行运动判断,然后加权平均,从而降低图像的噪声提高图像的质量。
现有的去噪方法主要是空间域滤波、频率域滤波和时间域滤波。空间域滤波法是利用图像中相邻像素具有相关性而噪声独立分布的特点进行滤波。常见的空间域滤波方法有均值滤波法、自适应维纳滤波法、中值滤波法、小波滤波法。频域滤波法是是利用图像傅里叶变换后的频率分量与变换前空域特征之间的相关性,通过处理图像频域来改变图像空域的滤波方法。时域滤波法是一种利用视频序列相邻帧之间的相关性进行去噪的方法。常用的时域滤波法有帧间均值滤波法、非局部均值滤波法、三维块匹配帧间滤波法。但是,这些方法也都存在各自的技术缺点:1.均值滤波是将图像中每一像素点的灰度值设置为该点邻域内像素的平均灰度值,但该方法破坏了图像的边缘和细节部分,使图像变得模糊;2.自适应维纳滤波法是利用平稳随机过程的相关特性和频谱特性进行滤波,使原图像与滤波后图像之间的均方误差最小。该方法能保护图像的边缘和细节信息,但计算量较大,不适用于噪声为非平稳随机过程的情况;3.中值滤波法是将图像中每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。该方法可以保护边缘信息,但会造成细节模糊;4.频域滤波除了做滤波变换以外,还需要做傅里叶正变换和反变换,滤波时间大于空域滤波和时域滤波;5.帧间均值滤波是对相邻帧图像的相同位置像素进行加权平均,该方法由于考虑了帧间图像的相关性,具有更好的去噪效果,但会导致运动目标的模糊和丢失,只适用于静止图像;6.近年来提出的非局部滤波算法和三维块匹配滤波法是目前认为去噪效果最好的方法,但算法复杂难以硬件实现。
发明内容
本发明的目的在于提供一种基于运动检测的帧间降噪方法,能实时地利用相邻帧图像的相关性和噪声的非相关性对输入的视频图像进行降噪处理,提高视频图像的清晰度。该方法是通过多高斯混合背景模型提取运动目标的方法找到相邻两帧间重叠的静止区域,然后对该区域做帧间累加滤波,对非重叠区域内的运动目标区域采用帧内滤波算法,而对非重叠区域中的非运动目标区域采用多高斯混合背景模型方法建立的背景模型代替,同时算法还能自适应调整叠加帧的数目,具有多级可调功能。
实现本发明目的的技术解决方案为:
一种基于运动检测的帧间降噪方法,包括以下步骤:
步骤1:输入含噪声的视频图像序列v(x,y,k)=u(x,y,k)+n(x,y,k),其中v(x,y,k)表示人眼所观察到的图像,u(x,y,k)表示成像系统的理想图像,n(x,y,k)表示随机噪声,(x,y)表示图像像素点的位置,k表示视频序列的第k帧图像。
步骤2:采用多高斯混合背景模型方法对输入的视频图像序列v(x,y,k)进行背景建模,当输入图像与建模得到的背景图像的差值大于设定的阈值时,认为是运动目标,灰度值设置为1;否则认为是静止区域,灰度值设置为0;根据上述灰度值,得到只含有运动目标的前景图像f(x,y,k)。
步骤3:由于输入的视频图像序列v(x,y,k)=u(x,y,k)+n(x,y,k)中含有大量的随机噪声n(x,y,k),所以前景图像f(x,y,k)中含有大量被检测成运动目标的噪声,因此需要对f(x,y,k)进行中值滤波,滤除掉背景区域,即图像中的非运动区域的噪声,滤波后的前景图像记为g(x,y,k)。
步骤4:对前一帧的前景图像g(x,y,k-1)和当前帧的前景图像g(x,y,k)中相同位置的像素进行或运算,根据或运算的结果和当前帧的运动目标区域判断选择帧间滤波算法、帧内滤波算法或背景模型替代算法,得到去噪后的视频图像vnew(x,y,k)。
1.上述步骤2所述的采用多高斯混合背景模型方法对输入的视频图像序列进行背景建模,当输入图像与建模得到的背景图像的差值大于设定的阈值时,认为是运动目标,灰度值设置为1;否则认为是静止区域,灰度值设置为0;根据上述灰度值,得到只含有运动目标的前景图像f(x,y,k);对于含噪的视频图像序列的第k帧图像,图像大小为M*N,其中M为图像的行数,N为图像的列数,且M、N均为自然数,具体步骤如下:
2-1)建立初始的背景模型:读取第一帧视频图像v(x,y,k),灰度化后的图像记为vg(x,y,k),初始化每个像素点高斯分布的个数为n,以及各个高斯分布的均值μi(x,y,k)、方差和权值wi(x,y,k),由于读取的是第一帧视频图像,此时的k取1,其中下标i表示像素点(x,y)的第i个高斯分布,n=3,4,5,方差初始化的取值范围为[1,36],均值、权值初始化公式分别如下:
μi(x,y,k)=vg(x,y,k) (6)
2-2)更新背景模型:读取下一帧的视频图像,对于M*N个像素,每个像素点对应的n个高斯分布都需要进行参数更新,找出更新后权值最大的高斯分布的均值,若定义背景模型为B(x,y,k),则更新后的背景模型B'(x,y,k)等于权值最大的高斯分布的均值,参数更新方式根据当前帧的像素灰度值vg(x,y,k)与该像素点的某个高斯分布是否匹配分为两种,该高斯分布与像素点是否匹配的判定公式如下:
|vg(x,y,k)-μi(x,y,k-1)|<Kgσi(x,y,k-1) (8)
其中,σi(x,y,k)为标准差,取值范围为[1,6];K为阈值,其取值范围为[0.01,0.5]。
参数更新方式分为以下两种情况:
①如果当前帧的像素灰度值vg(x,y,k)与第i个高斯分布满足匹配公式(8),该高斯分布的参数按照匹配情况更新,更新规则如下:
wi(x,y,k)=(1-α)wi(x,y,k-1)+α (9)
ρ=α/wi(x,y,k) (10)
μi(x,y,k)=(1-ρ)μi(x,y,k-1)+ρvg(x,y,k) (11)
公式(9)、(10)的α是更新率,取值范围为[0.001,0.01];ρ为参数学习率。
②如果当前帧像素灰度值vg(x,y,k)与第i个高斯分布不满足匹配公式(8),按照不匹配情况更新,更新规则如下:
wi(x,y,k)=(1-α)wi(x,y,k-1) (13)
如果像素点(x,y)的n个高斯分布都不满足匹配公式(8),按公式(13)更新,找出权值最小的高斯分布,重新对其均值μi(x,y,k)和方差初始化更新:初始化的取值范围为[1,36],初始化均值为当前输入图像灰度化后的图像vg(x,y,k),该像素点(x,y)的其余高斯分布不变。
2-3)运动目标检测与二值化:当输入图像vg(x,y,k)与更新后的背景图像B'(x,y,k)的差值大于设定的阈值参数T时,认为是运动目标,灰度值设置为1;否则认为是静止区域,灰度值设置为0;只含有运动目标的前景图像f(x,y,k)为:
其中,T为图像二值化的阈值参数,取值范围为[30,40];
2-4)返回步骤2-2),对下一帧图像进行运动目标检测。
上述步骤3所述的对前景图像f(x,y,k)进行中值滤波,具体过程为:
采用二维模板遍历整幅图像,将图像中每一像素点的灰度值设置为该点邻域窗口内的所有像素点灰度值的中值,数学表达式为:
g(x,y,k)=medfilter{(f(x,y,k))}(x,y)∈Ω (15)
其中,medfilter{}为中值滤波算法,Ω为二维模板所确定的区域。
经过中值滤波后的前景图像g(x,y,k)中只有运动目标区域的像素灰度值为1,其他静止区域的灰度值为0,排除了噪声对后续操作的干扰。
上述该点邻域窗口,邻域大小为3×3或5×5窗口。
上述步骤4所述的根据或运算的结果和当前帧的运动目标区域判断选择帧间滤波算法、帧内滤波算法或背景模型替代算法;或运算的数学表达式为:
滤波算法具体包括以下三种情况:
①若OR(x,y)=0:像素点(x,y)处于相邻两帧的重叠区,且此区域为静止区域,则对当前帧图像vg(x,y,k)上的像素点(x,y)采用多级可调的帧间滤波算法,通过改变叠加帧的数目达到最佳的去噪效果;假设叠加帧的数目为m,m为自然数,则经滤波后的输出图像vnew(x,y,k)为:
②若OR(x,y)=1,且g(x,y,k)=1:像素点(x,y)处于运动目标区域,相邻两帧图像在此区域存在较大的位移,无法使用帧间滤波算法进行降噪处理,因此利用图像中相邻像素具有较强的相关性,对运动目标区域进行帧内滤波,即中值滤波处理,经滤波后的输出图像vnew(x,y,k)为:
vnew(x,y,k)=medfilter{vg(x,y,k)}(x,y)∈运动目标区域 (18)
③若OR(x,y)=1,且g(x,y,k)=0:像素点(x,y)既不处于相邻两帧的重叠区,也不处于运动目标区,此时像素点(x,y)的灰度值用混合背景模型方法建立的背景模型代替。
对于输入的视频图像序列,当运动目标进入视场时,背景模型B'(x,y,k)中的运动目标和目标周围区域残留很多黑色像素点,需要将黑色像素点替换掉,具体过程为:
在当前区域,即OR(x,y)=1,且g(x,y,k)=0的区域,对B'(x,y,k)从上到下,从左到右逐一搜索,若像素点的灰度值小于设定的阈值D,认为是黑色像素点,将该点的灰度值替换成经中值滤波处理后的输入图像,输入图像经中值滤波后记为vfilter(x,y,k);否则背景灰度值不变;运算公式具体如下:
vfilter(x,y,k)=medfilter{vg(x,y,k)} (19)
重叠区域和运动目标区域 (20)
公式(20)的D为判断B'(x,y,k)是否是黑色像素点的阈值参数,取值范围为[80,100];经过滤波后的输出图像vnew(x,y,k)为:
vnew(x,y,k)=B'(x,y,k)重叠区域和运动目标区域 (21)。
本发明与现有技术相比,其显著优点为:1、利用视频图像序列中相邻帧图像之间的相关性对图像进行去噪处理,即对图像进行时间域滤波,避免了空间域降噪带来的边缘和细节模糊,以及频率域降噪算法运算量大的缺点;2、对图像进行帧间滤波是基于采用多高斯混合背景模型方法检测运动目标,即先采用多高斯混合背景模型提取出只含有运动目标的前景图像,然后对相邻两帧的二值图像进行或运算,根据或运算的结果分别采用不同的滤波算法,改善了传统的帧间滤波方法只能用于静止图像的缺点;3、本发明设计了三种滤波算法,即帧内滤波、帧间滤波算法和背景模型替代算法,根据或运算的结果和当前帧的运动目标区域选择不同的滤波算法,以达到最好的去噪效果,避免了传统的帧间滤波方法引起的运动目标边缘虚像、伪像甚至丢失的现象,广泛适用于视频监控拍摄到的运动图像。
附图说明
图1是本发明一种基于运动检测的帧间降噪方法的算法流程图。
图2是采用多高斯混合背景模型检测运动目标的算法流程图。
图3是当输入的视频图像中的运动目标慢速运动时,采用本发明一种基于运动检测的帧间降噪方法进行降噪处理的结果;其中图(a)为原始的输入视频图像,图(b)为对原始视频图像做降噪处理后的效果图。
图4是当输入的视频图像中的运动目标快速运动时,采用本发明一种基于运动检测的帧间降噪方法进行降噪处理的结果;其中图(a)为原始的输入视频图像,图(b)为对原始视频图像做降噪处理后的效果图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
1、本发明是一种基于运动检测的帧间降噪方法,其原理为:在视频图像序列中,尤其是对静态或缓慢运动的图像序列,相邻帧之间一般具有较强的相关性,而噪声总是随机出现在视频图像中,不具有相关性,因此可以先对视频序列进行运动检测,然后对相邻帧中重叠区域,即非运动目标区域的像素进行加权平均,从而降低图像的噪声提高图像的清晰度。
2、首先对本发明方法进行描述:
根据视频图像噪声模型,视频序列中一幅含噪图像可以表示为:
v(x,y,k)=u(x,y,k)+n(x,y,k) (1)
其中v(x,y,k)表示人眼所观察到的图像,u(x,y,k)表示成像系统的理想图像,n(x,y,k)表示随机噪声,即图像在数字化和传输过程中受到成像设备与外部环境干扰等影响而产生的噪声,(x,y)表示图像像素点的位置,k表示视频序列的第k帧图像。假设对视频图像的相邻m帧图像进行帧间均值滤波,均值即为:
由于噪声n(x,y,k)在时间序列上不具有相关性,且其均值为零,因此可以得到:
公式(3)、(4)的的数学期望, 分别代表n(x,y,k)的方差,所以求平均后的图像在任一点处的标准方差为:
由(3)式可知当求均值的帧数m越大时,将越接近理想的真实图像u(x,y,k),(4)式说明取均值之后的图像噪声方差降低了m倍。
3、结合图1和图2,本发明一种基于运动检测的帧间降噪方法,包括以下步骤:
步骤1:输入含噪声的视频图像序列v(x,y,k)=u(x,y,k)+n(x,y,k),第k帧图像的大小为M*N,M为图像的行数,N为图像的列数,且M、N均为自然数,其中M=492,N=660,其中v(x,y,k)表示人眼所观察到的图像,u(x,y,k)表示成像系统的理想图像,n(x,y,k)表示随机噪声,即图像在数字化和传输过程中受到成像设备与外部环境干扰等影响而产生的噪声,(x,y)表示图像像素点的位置,k表示视频序列的第k帧图像;
步骤2:采用多高斯混合背景模型方法对输入的视频图像序列v(x,y,k)=u(x,y,k)+n(x,y,k)进行背景建模,当输入图像与建模得到的背景图像的差值大于设定的阈值时,认为是运动目标,灰度值设置为1;否则认为是静止区域,灰度值设置为0;根据上述灰度值,得到只含有运动目标的前景图像f(x,y,k);多高斯混合背景模型方法检测运动目标的步骤如下:
2-1)建立初始的背景模型。读取第一帧视频图像v(x,y,k),灰度化后的图像记为vg(x,y,k),初始化每个像素点高斯分布的个数为n,以及各个高斯分布的均值μi(x,y,k)、方差和权值wi(x,y,k),由于读取的是第一帧视频图像,此时的k取1,其中下标i表示像素点(x,y)的第i个高斯分布,n=3,4,5,初始化的取值范围为[1,36],取n=3,均值、权值初始化公式如下:
μi(x,y,k)=vg(x,y,k) (6)
2-2)更新背景模型:读取下一帧的视频图像,图像大小为M*N,对于M*N个像素,每个像素点对应的3个高斯分布都需要进行参数更新,找出更新后权值最大的高斯分布的均值,若定义背景模型为B(x,y,k),则更新后的背景模型B'(x,y,k)等于权值最大的高斯分布的均值μi(x,y,k),参数更新方式根据当前帧的像素灰度值vg(x,y,k)与该像素点的某个高斯分布是否匹配分为两种,该高斯分布与像素点是否匹配的判定公式如下:
|vg(x,y,k)-μi(x,y,k-1)|<Kgσi(x,y,k-1) (8)
其中,σi(x,y,k)为标准差,取值范围为[1,6],取σi(x,y,k)=6;K为阈值,取值范围为[0.01,0.5],取K=0.01;
参数更新方式分为以下两种情况:
①如果当前帧的像素灰度值vg(x,y,k)与第i个高斯分布满足匹配公式(8),该高斯分布的参数按照匹配情况更新,更新规则如下:
wi(x,y,k)=(1-α)wi(x,y,k-1)+α (9)
ρ=α/wi(x,y,k) (10)
μi(x,y,k)=(1-ρ)μi(x,y,k-1)+ρvg(x,y,k) (11)
公式(9)、(10)的α是更新率,取值范围为[0.001,0.01],取值越大,背景模型更新越快;取值越小,背景模型更新越慢,取α=0.002;ρ为参数学习率;
②如果当前帧的像素灰度值vg(x,y,k)与第i个高斯分布不满足匹配公式(8),按照不匹配情况更新,更新规则如下:
wi(x,y,k)=(1-α)wi(x,y,k-1) (13)
如果像素点(x,y)的n个高斯分布都不满足匹配公式(8),按公式(13)更新,找出权值最小的高斯分布,重新对其均值μi(x,y,k)和方差初始化更新:初始化的取值范围为[1,36],取初始化均值为当前输入图像灰度化后的图像vg(x,y,k),该像素点(x,y)的其余高斯分布不变;
2-3)运动目标检测与二值化:当输入图像vg(x,y,k)与更新后的背景图像B'(x,y,k)的差值大于设定的阈值参数T时,认为是运动目标,灰度值设置为1;否则认为是静止区域,灰度值设置为0;只含有运动目标的前景图像f(x,y,k)为:
其中,T为图像二值化的阈值参数,取值范围为[30,40],这里取T=30。
2-4)返回步骤2-2),对下一帧图像进行运动目标检测。
步骤3:由于输入的视频图像序列v(x,y,k)=u(x,y,k)+n(x,y,k)中含有大量的随机噪声n(x,y,k),噪声出现的位置和幅值不定,在时间序列上也不具有相关性,所以由式(14)得到的只含有运动目标的前景图像f(x,y,k)中含有大量被检测成运动目标的噪声,因此需要对f(x,y,k)进行中值滤波,滤除掉背景区域,即图像中非运动目标区域的随机噪声。中值滤波的过程:采用二维模板遍历整幅图像,将图像中每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值,数学表达式为:
g(x,y,k)=medfilter{(f(x,y,k))}(x,y)∈Ω (15)
其中,medfilter{}为中值滤波算法,Ω为二维模板所确定的区域,大小为3×3或5×5窗口,这里取5×5窗口。
经过中值滤波后的前景图像g(x,y,k)中只有运动目标区域的像素灰度值为1,其他静止区域的灰度值为0,排除了噪声对后续操作的干扰。
步骤4:对前一帧的前景图像g(x,y,k-1)和当前帧的前景图像g(x,y,k)中相同位置的像素进行或运算,根据或运算的结果和当前帧的运动目标区域判断选择帧间滤波算法、帧内滤波算法或背景模型替代算法,得到去噪后的视频图像vnew(x,y,k),记或运算的结果为OR(x,y),或运算的数学表达式为:
滤波算法分为以下三种情况:
①若OR(x,y)=0:像素点(x,y)处于相邻两帧的重叠区,且此区域为静止区域,则对当前帧图像vg(x,y,k)上的像素点(x,y)采用多级可调的帧间滤波算法,通过改变叠加帧的数目达到最佳的去噪效果;假设叠加帧的数目为m,m为自然数,则经滤波后的输出图像vnew(x,y,k)为:
②若OR(x,y)=1,且g(x,y,k)=1:像素点(x,y)处于运动目标区域,相邻两帧图像在此区域存在较大的位移,无法使用帧间滤波算法进行降噪处理,否则会引起目标边缘的虚像或伪像;对于大运动目标,甚至导致目标不可识别;因此利用图像中相邻像素具有较强的相关性,对运动目标区域进行帧内滤波,即中值滤波处理,经滤波后的输出图像vnew(x,y,k)为:
vnew(x,y,k)=medfilter{vg(x,y,k)}(x,y)∈运动目标区域 (18)
③若OR(x,y)=1,且g(x,y,k)=0:像素点(x,y)既不处于相邻两帧的重叠区,也不处于运动目标区,此时像素点(x,y)的灰度值用混合背景模型方法建立的背景模型代替;这是因为背景模型B(x,y,k)等于权值最大的高斯分布的均值,而均值的更新由公式(11)决定,公式(11)与多级可调的帧间滤波去噪公式(17)类似,也是通过多帧加权平均得到该高斯分布的均值,即背景模型B(x,y,k)也是利用帧间滤波对当前帧图像进行去噪的结果,只是无法多级可调,没有帧间滤波算法,即公式(17)效果好,但比帧内滤波算法效果好。
对于输入的视频图像序列,当运动目标进入视场时,多高斯混合背景模型方法建立的背景模型B'(x,y,k)来不及将运动目标完全更新掉,即运动目标和目标周围区域残留很多黑色像素点,因此需要将黑色像素点替换掉,具体过程为:
在当前区域,即OR(x,y)=1,且g(x,y,k)=0的区域,对B'(x,y,k)从上到下,从左到右逐一搜索,若像素点的灰度值小于设定的阈值D,认为是黑色像素点,将该点的灰度值替换成经中值滤波处理后的输入图像,输入图像经中值滤波后记为vfilter(x,y,k);否则背景灰度值不变;运算公式具体如下:
vfilter(x,y,k)=medfilter{vg(x,y,k)} (19)
重叠区域和运动目标区域 (20)
公式(20)的D为判断B'(x,y,k)是否是黑色像素点的阈值参数,取值范围为[80,100],这里取D=80;经过滤波后的输出图像vnew(x,y,k)为:
vnew(x,y,k)=B'(x,y,k)重叠区域和运动目标区域 (21)。
4、结合图3和图4,输入含噪声的视频图像序列v(x,y,k),从图3和图4可知,一种基于运动检测的帧间降噪方法具有很好的降噪效果,能很好地保护图像的细节与边缘信息。它是利用视频图像序列中相邻帧图像之间的相关性对图像进行降噪处理,即对图像进行时间域滤波,避免了空间域降噪带来的边缘和细节模糊,以及频率域降噪算法计算量大的缺点;另外该方法对图像进行帧间滤波是基于采用多高斯混合背景模型方法检测运动目标,即先采用多高斯混合背景模型提取出只含有运动目标的前景图像,然后对相邻两帧的二值图像进行或运算,根据或运算的结果分别采用不同的滤波算法,改善了传统的帧间滤波方法只能用于静止图像的缺点;同时本发明设计了三种滤波算法,即帧内滤波、帧间滤波算法和背景模型替代算法,根据或运算的结果和当前帧的运动目标区域选择不同的滤波算法,以达到最好的去噪效果,避免了传统的帧间滤波方法引起的运动目标边缘虚像、伪像甚至丢失的现象,广泛适用于视频监控拍摄到的运动图像。

Claims (5)

1.一种基于运动检测的帧间降噪方法,其特征在于,包括以下步骤:
步骤1:输入含噪声的视频图像序列v(x,y,k)=u(x,y,k)+n(x,y,k),其中v(x,y,k)表示人眼所观察到的图像,u(x,y,k)表示成像系统的理想图像,n(x,y,k)表示随机噪声,(x,y)表示图像像素点的位置,k表示视频序列的第k帧图像;
步骤2:采用多高斯混合背景模型方法对输入的视频图像序列v(x,y,k)进行背景建模,当输入图像与建模得到的背景图像的差值大于设定的阈值时,认为是运动目标,灰度值设置为1;否则认为是静止区域,灰度值设置为0;根据上述灰度值,得到只含有运动目标的前景图像f(x,y,k);
步骤3:由于输入的视频图像序列v(x,y,k)=u(x,y,k)+n(x,y,k)中含有大量的随机噪声n(x,y,k),所以前景图像f(x,y,k)中含有大量被检测成运动目标的噪声,因此需要对f(x,y,k)进行中值滤波,滤除掉背景区域,即图像中的非运动区域的噪声,滤波后的前景图像记为g(x,y,k);
步骤4:对前一帧的前景图像g(x,y,k-1)和当前帧的前景图像g(x,y,k)中相同位置的像素进行或运算,根据或运算的结果和当前帧的运动目标区域判断选择帧间滤波算法、帧内滤波算法或背景模型替代算法,得到去噪后的视频图像vnew(x,y,k)。
2.根据权利要求1所述的基于运动检测的帧间降噪方法,其特征在于:上述步骤2所述的采用多高斯混合背景模型方法对输入的视频图像序列进行背景建模,当输入图像与建模得到的背景图像的差值大于设定的阈值时,认为是运动目标,灰度值设置为1;否则认为是静止区域,灰度值设置为0;根据上述灰度值,得到只含有运动目标的前景图像f(x,y,k);对于含噪的视频图像序列的第k帧图像,图像大小为M*N,其中M为图像的行数,N为图像的列数,且M、N均为自然数,具体步骤如下:
2-1)建立初始的背景模型:读取v(x,y,k)中第一帧视频图像,灰度化后的图像记为vg(x,y,k),初始化每个像素点高斯分布的个数为n,以及各个高斯分布的均值μi(x,y,k)、方差和权值wi(x,y,k),由于读取的是第一帧视频图像,此时的k取1,其中下标i表示像素点(x,y)的第i个高斯分布,n=3,4或5,方差初始化的取值范围为[1,36],均值、权值初始化公式分别如下:
μi(x,y,k)=vg(x,y,k) (6)
2-2)更新背景模型:读取下一帧的视频图像,对于M*N个像素,每个像素点对应的n个高斯分布都需要进行参数更新,找出更新后权值最大的高斯分布的均值,若定义背景模型为B(x,y,k),则更新后的背景模型B'(x,y,k)等于权值最大的高斯分布的均值,参数更新方式根据当前帧的像素灰度值vg(x,y,k)与该像素点的某个高斯分布是否匹配分为两种,该高斯分布与像素点是否匹配的判定公式如下:
|vg(x,y,k)-μi(x,y,k-1)|<K·σi(x,y,k-1) (8)
其中,σi(x,y,k)为标准差,取值范围为[1,6];K为阈值,其取值范围为[0.01,0.5];
参数更新方式分为以下两种情况:
①如果当前帧的像素灰度值vg(x,y,k)与第i个高斯分布满足匹配公式(8),该高斯分布的参数按照匹配情况更新,更新规则如下:
wi(x,y,k)=(1-α)wi(x,y,k-1)+α (9)
ρ=α/wi(x,y,k) (10)
μi(x,y,k)=(1-ρ)μi(x,y,k-1)+ρvg(x,y,k) (11)
公式(9)、(10)的α是更新率,取值范围为[0.001,0.01];ρ为参数学习率;
②如果当前帧像素灰度值vg(x,y,k)与第i个高斯分布不满足匹配公式(8),按照不匹配情况更新,更新规则如下:
wi(x,y,k)=(1-α)wi(x,y,k-1) (13)
如果像素点(x,y)的n个高斯分布都不满足匹配公式(8),按公式(13)更新,找出权值最小的高斯分布,重新对其均值μi(x,y,k)和方差初始化更新:初始化的取值范围为[1,36],初始化均值为当前输入图像灰度化后的图像vg(x,y,k),该像素点(x,y)的其余高斯分布不变;
2-3)运动目标检测与二值化:当输入图像vg(x,y,k)与更新后的背景图像B'(x,y,k)的差值大于设定的阈值参数T时,认为是运动目标,灰度值设置为1;否则认为是静止区域,灰度值设置为0;只含有运动目标的前景图像f(x,y,k)为:
其中,T为图像二值化的阈值参数,取值范围为[30,40];
2-4)返回步骤2-2),对下一帧图像进行运动目标检测。
3.根据权利要求1所述的基于运动检测的帧间降噪方法,其特征在于:上述步骤3所述的对前景图像f(x,y,k)进行中值滤波,具体过程为:
采用二维模板遍历整幅图像,将图像中每一像素点的灰度值设置为该点邻域窗口内的所有像素点灰度值的中值,数学表达式为:
g(x,y,k)=medfilter{(f(x,y,k))}(x,y)∈Ω (15)
其中,medfilter{}为中值滤波算法,Ω为二维模板所确定的区域;
经过中值滤波后的前景图像g(x,y,k)中只有运动目标区域的像素灰度值为1,其他静止区域的灰度值为0,排除了噪声对后续操作的干扰。
4.根据权利要求3所述的基于运动检测的帧间降噪方法,其特征在于:上述该点邻域窗口,邻域大小为3×3或5×5窗口。
5.根据权利要求1所述的基于运动检测的帧间降噪方法,其特征在于,上述步骤4所述的根据或运算的结果和当前帧的运动目标区域判断选择帧间滤波算法、帧内滤波算法或背景模型替代算法;或运算的数学表达式为:
滤波算法具体包括以下三种情况:
①若OR(x,y)=0:像素点(x,y)处于相邻两帧的重叠区,且此区域为静止区域,则对当前帧图像vg(x,y,k)上的像素点(x,y)采用多级可调的帧间滤波算法,通过改变叠加帧的数目达到最佳的去噪效果;假设叠加帧的数目为m,m为自然数,则经滤波后的输出图像vnew(x,y,k)为:
②若OR(x,y)=1,且g(x,y,k)=1:像素点(x,y)处于运动目标区域,相邻两帧图像在此区域存在较大的位移,无法使用帧间滤波算法进行降噪处理,因此利用图像中相邻像素具有较强的相关性,对运动目标区域进行帧内滤波,即中值滤波处理,经滤波后的输出图像vnew(x,y,k)为:
vnew(x,y,k)=medfilter{vg(x,y,k)}(x,y)∈运动目标区域 (18)
③若OR(x,y)=1,且g(x,y,k)=0:像素点(x,y)既不处于相邻两帧的重叠区,也不处于运动目标区,此时像素点(x,y)的灰度值用混合背景模型方法建立的背景模型代替;
对于输入的视频图像序列,当运动目标进入视场时,背景模型B'(x,y,k)中的运动目标和目标周围区域残留很多黑色像素点,需要将黑色像素点替换掉,具体过程为:
在当前区域,即OR(x,y)=1,且g(x,y,k)=0的区域,对B'(x,y,k)从上到下,从左到右逐一搜索,若像素点的灰度值小于设定的阈值D,认为是黑色像素点,将该点的灰度值替换成经中值滤波处理后的输入图像,输入图像经中值滤波后记为vfilter(x,y,k);否则背景灰度值不变;运算公式具体如下:
vfilter(x,y,k)=medfilter{vg(x,y,k)} (19)
公式(20)的D为判断B'(x,y,k)是否是黑色像素点的阈值参数,取值范围为[80,100];经过滤波后的输出图像vnew(x,y,k)为:
CN201410453434.7A 2014-09-05 2014-09-05 基于运动检测的帧间降噪方法 Expired - Fee Related CN105472204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410453434.7A CN105472204B (zh) 2014-09-05 2014-09-05 基于运动检测的帧间降噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410453434.7A CN105472204B (zh) 2014-09-05 2014-09-05 基于运动检测的帧间降噪方法

Publications (2)

Publication Number Publication Date
CN105472204A CN105472204A (zh) 2016-04-06
CN105472204B true CN105472204B (zh) 2018-12-14

Family

ID=55609442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410453434.7A Expired - Fee Related CN105472204B (zh) 2014-09-05 2014-09-05 基于运动检测的帧间降噪方法

Country Status (1)

Country Link
CN (1) CN105472204B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594355B2 (ja) * 2017-01-06 2019-10-23 キヤノン株式会社 被検体情報処理装置および画像の表示方法
EP3379830B1 (en) * 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream
CN107169985A (zh) * 2017-05-23 2017-09-15 南京邮电大学 一种基于对称帧间差分和背景更新的运动目标检测方法
CN107204006B (zh) * 2017-06-01 2020-02-07 大连海事大学 一种基于双背景差分的静止目标检测方法
CN107798297B (zh) * 2017-09-28 2021-03-23 成都大熊智能科技有限责任公司 一种基于帧间差分自动提取稳定帧的方法
CN107610072B (zh) * 2017-10-10 2020-08-11 北京理工大学 一种基于梯度引导滤波的微光视频图像自适应降噪方法
CN107886487B (zh) * 2017-12-03 2021-04-27 南京理工大学 基于fpga的微光视频帧间累加降噪算法的实时实现方法
CN109993767B (zh) * 2017-12-28 2021-10-12 北京京东尚科信息技术有限公司 图像处理方法和系统
CN108537180A (zh) * 2018-04-08 2018-09-14 南京航空航天大学 一种视频中同步变化像素的筛选方法
CN108764028B (zh) * 2018-04-13 2020-07-14 北京航天自动控制研究所 一种滤波方式处理帧差法屏幕识别标签的方法
CN108921078A (zh) * 2018-06-27 2018-11-30 天津大学 基于视频的时空背景建模运动前景检测算法
CN108933897B (zh) * 2018-07-27 2020-10-16 南昌黑鲨科技有限公司 基于图像序列的运动检测方法及装置
CN109859124B (zh) * 2019-01-11 2020-12-18 深圳奥比中光科技有限公司 一种深度图像降噪方法及装置
CN110378928B (zh) * 2019-04-29 2022-01-04 北京佳讯飞鸿电气股份有限公司 一种动静匹配的目标检测与跟踪方法
CN111145343B (zh) * 2019-12-30 2020-11-17 广东省实验动物监测所 一种离体心脏灌流三维显示方法及系统
CN111212298B (zh) * 2020-01-15 2021-02-19 广州津虹网络传媒有限公司 基于大数据处理的画面阴影自动替换平台及方法
CN111401284B (zh) * 2020-03-23 2022-02-15 武汉大学 基于图像处理的门开关状态识别方法
CN112954136B (zh) * 2021-01-29 2023-05-19 中国科学院长春光学精密机械与物理研究所 抑制航空斜视远距离成像遥感图像散粒噪声的方法及装置
CN115442613A (zh) * 2021-06-02 2022-12-06 四川大学 一种利用gan的基于帧间信息的噪声去除方法
CN116363021B (zh) * 2023-06-02 2023-07-28 中国人民解放军总医院第八医学中心 一种创伤患者护理评估智能采集系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061100A (en) * 1997-09-30 2000-05-09 The University Of British Columbia Noise reduction for video signals
CN1901620A (zh) * 2005-07-19 2007-01-24 中兴通讯股份有限公司 一种基于运动检测和自适应滤波的视频图像降噪方法
CN1984236A (zh) * 2005-12-14 2007-06-20 浙江工业大学 一种交通流信息视频检测中的特征采集方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061100A (en) * 1997-09-30 2000-05-09 The University Of British Columbia Noise reduction for video signals
CN1901620A (zh) * 2005-07-19 2007-01-24 中兴通讯股份有限公司 一种基于运动检测和自适应滤波的视频图像降噪方法
CN1984236A (zh) * 2005-12-14 2007-06-20 浙江工业大学 一种交通流信息视频检测中的特征采集方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于改进的混合高斯模型的运动目标检测算法;张宗彬;《中国优秀硕士学位论文全文数据库信息科技辑》;20101015(第10期);138-367 *
基于高斯混合模型的运动目标检测算法研究;宋杨;《中国优秀硕士学位论文全文数据库信息科技辑》;20090515(第05期);138-1139 *
采用背景提取和自适应滤波的视频降噪算法;崔建伟,谷源涛,唐昆;《电视技术》;20090830;75-78,88 *

Also Published As

Publication number Publication date
CN105472204A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN105472204B (zh) 基于运动检测的帧间降噪方法
CN103369209B (zh) 视频降噪装置及方法
CN106548153B (zh) 基于多尺度变换下图结构的视频异常检测方法
CN103873743B (zh) 一种基于结构张量和卡尔曼滤波的视频去噪方法
Ma et al. An improved Sobel algorithm based on median filter
CN103426148A (zh) 生成低分辨率输入数据结构的超分辨率版本的方法和设备
CN110807742B (zh) 一种基于一体式网络的微光图像增强方法
CN106612386A (zh) 一种联合时空相关特性的降噪方法
CN104683783A (zh) 一种自适应深度图滤波方法
Jassim Kriging interpolation filter to reduce high density salt and pepper noise
CN104915930B (zh) 对图像进行灰度补偿和噪声抑制的方法及装置
Lepcha et al. A deep journey into image enhancement: A survey of current and emerging trends
JP5404580B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体
CN107818547A (zh) 一种面向微光图像序列中椒盐和高斯混合噪声的去除方法
CN114862710A (zh) 红外和可见光图像融合方法及装置
Mostafavi et al. E2sri: Learning to super-resolve intensity images from events
CN110351453A (zh) 一种计算机视频数据处理方法
CN111899200B (zh) 一种基于3d滤波的红外图像增强方法
CN107292844B (zh) 全变差正则化变分随机共振自适应暗图像滤波增强方法
CN116385312A (zh) 基于相位相关的低照度图像去噪方法
CN105282419A (zh) 去噪声方法以及影像系统
KR20100097858A (ko) 예제 기반 신경회로망을 이용한 고해상도 영상 확대
Luo et al. Infrared Image Enhancement Algorithm based on Weighted Guided Filtering
Rukundo et al. Image interpolation based on the pixel value corresponding to the smallest absolute difference
CN105069764A (zh) 一种基于边缘跟踪的图像去噪方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181214

Termination date: 20200905