CN105338220B - 一种自适应对运动的电子倍增ccd视频图像去噪的方法 - Google Patents

Abstract

本发明公开了一种自适应对运动的电子倍增CCD视频图像去噪的方法，该方法采用行列投影方式，对微光视频序列的参考帧和当前帧进行双向配准，通过计算前后两帧图像投影的差方和，得到的差方和函数是与位移相关的函数，然后遍历差方和矩阵，找出前后两帧图像的最大位移；由计算得到前后两帧图像位移坐标，得到两帧的重叠区域，在得到重叠区域后，重叠区域的图像信息没有变化，而噪声随机变化，且符合高斯噪声模型，判断图像的位移方向，对图像双向配准，然后进行权值滤波去除噪声。本发明能去除电子倍增CCD运动视频上的噪声，图像校正的效果好，避免了传统的运动视频去噪方法带来的鬼影问题。

Description

一种自适应对运动的电子倍增CCD视频图像去噪的方法

技术领域

本发明属于电子倍增CCD系统成像的去噪领域，特别是一种自适应对运动的电子倍增CCD视频图像去噪的方法。

背景技术

随着科学技术的发展，世界已步入了光子的时代。随着信息技术的飞速发展，人们获取信息的手段在向不同波段，更广阔的领域扩展。图像信息作为最直接最有效的信息，已得到了世界的广泛重视。如何获得更清晰更准确的图像信息，成为了各国的重要课题。微光成像技术正是顺应了这一发展趋势，成为当今世界发达国家大力发展的军民两用的新兴高科技之一。

微光成像在一定程度上延伸人眼的视觉范围，弥补了人眼视觉功能的不足。微光图像传感器能够在星光、月光、大气辉光等微弱光照射的环境条件下，以被动成像的方式对目标和区域进行探测、侦察、摄影以及监控，从而具有隐蔽性的特征。与红外成像相比，微光成像具有更高的分辨率，成像效果接近真实图像，可以得到更直观的图像信息。

但是，微光图像与一般的可见光图像不同,它是经过多次光电转换和电子倍增而形成的。由于输入照度低和背景差,系统所获取的光学信息十分微弱,使得输出图像画面上叠加有明显的随机闪烁噪声。照度越低,噪声表现越严重。在成像系统中，对于任何一个光电探测器，通过引入增益对传输过程中的信号进行放大，即光电转换--增益--输出，使信号超过后续步骤中探测器产生的噪声，但要注意，由于光电探测器接收光信号时，也会产生散粒噪声，在增益过程中，这些噪声也会被放大，因此要重点分析研究成像过程中的噪声，并采取专门措施噪声进行有效的抑制。图像处理是一种快速有效、低成本的去除图像噪声的方法，目前传统的图像去噪算法仅对于静止图像去噪能起到一定的效果(刘涵、梁莉莉、黄令帅，“分块奇异值分解的两级图像去噪算法”《自动化学报》，第42卷第2期，2015年2月)，但是无法应用于拍摄微光运动图像视频中，而流行的利用小波变换的方法计算复杂，又无法实际应用。

发明内容

本发明在于提供一种自适应对运动的电子倍增CCD视频图像去噪的方法，以提高拍摄运动图像的清晰度。

实现本发明目的的技术解决方案为：一种自适应对运动的电子倍增CCD视频图像去噪的方法，采用行列投影方式，对微光视频序列的参考帧和当前帧进行双向配准，通过计算前后两帧图像投影的差方和，得到的差方和函数是与位移相关的函数，然后遍历差方和矩阵，找出前后两帧图像的最大位移；由计算得到前后两帧图像位移坐标，得到两帧的重叠区域，在得到重叠区域后，重叠区域的图像信息没有变化，而噪声随机变化，且符合高斯噪声模型，判断图像的位移方向，对图像双向配准，然后进行权值滤波去除噪声。

本发明与现有的技术相比，其显著优点为：(1)能去除电子倍增CCD运动视频上的噪声，图像校正的效果好，且能在硬件上实现，具有实时性；(2)采用图像配准的方式来对微光视频相邻帧图像进行配准，得到相邻帧的重叠区域，再利用计算得到的重叠区域对图像进行权值滤波计算，不但使计算简便，而且图像效果明显提高。(3)通过判断图像位移的情况，自适应对运动图像进行去噪，避免了传统的运动视频去噪方法带来的鬼影问题。

下面结合附图对本发明作进一步详细说明。

附图说明

图1是本发明自适应对运动的电子倍增CCD视频图像去噪的方法的流程图。

图2(a)、图2(b)、图2(c)是本发明自适应对运动的电子倍增CCD视频图像去噪的方法的示意图：其中图2(a)为当前帧配准参考帧；图2(b)为参考帧配准当前帧；图2(c)为叠加的重叠区域。

图3(a)、图3(b)是真实场景的微光视频序列的校正效果图，其中图3(a)为原始视频图像，图3(b)为校正后图像。

具体实施方式

本发明运用了行列投影的方式，运用计算投影值的方差和，得到图像的位移坐标，然后针对实时的视频序列的前后两帧图像进行双向图像配准，以得到前后两帧图像的重叠区域，对重叠区域进行滤波，最终达到消除噪声的目的。由于拍摄微光视频的电子倍增CCD本身就存在多种类型的噪声，而且在微光成像系统中，由于输入照度低和背景差，系统所获取的光学信息十分微弱，使得输出图像画面上叠加有明显的随机闪烁噪声，在这些噪声中，光子散粒噪声、暗电流噪声、时钟感生电荷噪声服从泊松分布，读出噪声服从高斯分布，不但严重影响了图像质量，而且也很难处理。通过对图像求行投影和列投影的方式，正好可以去除读出噪声的影响，计算投影的方差和，得到图像相对位移的同时，也能消弱系统噪声的影响，具体实施步骤如下：

步骤1，假设图像尺寸为M行N列，则行列投影可以分别由如下公式得到：

式(1)中，x和y为像素坐标，为i图像的帧数，一般为n和n-1，当然也可根据外部图像序列速度进行调整，不一定相邻；d_i ^y(x)和d_i ^x(y)为两幅图像的行列之和，即投影数组。

步骤2，为了避免图像上的高频信息对配准结果造成影响，因此在计算行投影和列投影时，都再减去每一行的平均值μ_x和每一列的平均值μ_y，用以削弱高频点对配准精度的影响，公式如下：

式(2)中的为修正后的列投影值，为修正后的行投影值。

步骤3，以当前帧n来配准参考帧n-1为例，得到的重叠区域为图2(a)中的阴影部分，该重叠区域只在第n帧图像上得到了体现，为第n帧的左上区域，在与此同时，利用当前帧来对前面预存的参考帧来进行配准，就可以得到图2(b)中的阴影区域，在参考帧的右下区域，而如果将这两部分重叠区域放在同一帧图像的大小上就可以得到叠加的重叠区域，如图2(c)所示，叠加的重合区域在图像上为A1+B和B+A2，其并集O＝A1∪B∪A2,且在图2(c)中,A1和A2为只重叠了一次的区域，B为重叠了2次的区域,C为未发生重叠的区域,A1和A2的区域可能存在图像信息变化，为了保证图像的校正准确度，需要对A1和A2区域的投影值进行滤波修正，而重叠区域前后两帧图像默认相同，不进行修正。同时，为了消除由于图像运动带来的新信息的影响，需要对行投影矩阵和列投影矩阵进行滤波修正。具体公式如下：

公式(3)为对行投影矩阵进行滤波，公式(4)为对列投影矩阵进行滤波。式中的Δ₁和Δ₂分别为垂直方向和水平方向的预设位移，其值为固定值，一般设置为行或者列像素值的1/10，和为修正后的投影值。

步骤4，对前面计算得到的修正后的两帧图像行和列的投影进行差方和运算，计算公式如下：

公式(5)中的C^y(z)和C^x(w)分别为行数组的差方和、列数组的差方和。z和w，表示垂直位移量和水平的位移量。z和w的值域分别为，z∈[1,2Δ₁]，w∈[1,2Δ₂]。然后遍历[C^y(1),C^y(2),...C^y(2Δ₁)]和[C^x(1),C^x(2),...C^x(2Δ₂)]，找到其中的最大值和其中dx_max和dy_max为从行和列投影信息中得出的最大位移值。用最大位移值减去预设的位移值Δ₁和Δ₂，得到实际的位移值dx和dy公式如下：

步骤5，根据步骤4中得到的最大相对位移，以前一帧图像为参考图像判断图像的位移情况，其判断方式如下：1.如果dx<0并且dy<0，说明图像向右下运动。2.如果dx<0并且dy>0，说明图像向左下运动。3.如果dx>0并且dy<0，说明图像向右上运动。4.如果dx>0并且dy>0，说明图像向左上运动。5.如果dx≠0，dy＝0，则图像为水平运动。6.如果dx＝0，dy≠0，则图像为垂直运动。

步骤6，根据步骤5的得到的结果，对图像进行双向配准，求出变化区域矩阵A和重叠区域矩阵B，矩阵A即图2(c)中的A2区域，矩阵B即图2(c)中的B区域。然后对图像进行权值滤波，给矩阵B加权系数0.875，给矩阵A加权系数0.125，得到最终结果，见图3(a)和图3(b)。

Claims (4)

1.一种自适应对运动的电子倍增CCD视频图像去噪的方法，其特征在于采用行列投影方式，对微光视频序列的参考帧和当前帧进行双向配准，通过计算前后两帧图像投影的差方和，得到的差方和函数是与位移相关的函数，然后遍历差方和矩阵，找出前后两帧图像的最大位移；由计算得到前后两帧图像位移坐标，得到两帧的重叠区域，在得到重叠区域后，重叠区域的图像信息没有变化，而噪声随机变化，且符合高斯噪声模型，判断图像的位移方向，对图像双向配准，然后进行权值滤波去除噪声，具体步骤如下：

步骤1，对每一帧图像大小为M×Ν的视频，从视频序列第一帧开始，选取前一帧为参考图像，后一帧为当前图像，参考图像预先存入SDRAM中；

步骤2，分别计算两帧图像像素序列的行投影值和列投影值并计算每一行和每一列像素的平均值；

步骤3，用每一行的投影值减去每一行像素的平均值，每一列的投影值减去每一列像素的平均值，以消除图像高频信息的影响，然后将得到的结果进行滤波计算，修正投影结果，将计算结果存入FIFO缓存中；相关性计算

步骤4，用步骤3中得到的修正后的行投影值和列投影值计算出这两帧图像在估计位移范围内的所有行投影差方和还有所有列投影的差方和，该差方和是与行位移或者列位移相关的函数，通过比较差方和矩阵，然后遍历两帧图像的行位移量和列位移量，找到最大位移量(dx,dy)，即图像的最大的相对位移；

步骤5，利用得到的相对位移量，并判断图像的位移方向，使自适应对向任何方向运动的图像进行去噪；

步骤6，根据步骤5中判断出的图像位移方向，对图像进行双向配准，然后对图像采用权值滤波方法进行滤波，最终将去噪后的图像保存并同时存入SDRAM作为新的参考图像，不断的重复步骤1到步骤6，直到视频最后一帧；

在步骤3中，对投影矩阵进行滤波修正，得到行滤波投影值和列滤波投影值，即

式中的Δ₁和Δ₂分别为垂直方向和水平方向的预设位移，和为修正后的投影值。

2.根据权利要求1所述的自适应对运动的电子倍增CCD视频图像去噪的方法，其特征在于在步骤4中，对前面计算得到的修正后的两帧图像行和列的投影进行差方和运算，计算公式如下：

C^y(z)和C^x(w)分别为行数组的差方和、列数组的差方和，z和w表示垂直位移量和水平的位移量，z和w的值域分别为，z∈[1,2Δ₁]，w∈[1,2Δ₂]，然后遍历[C^y(1),C^y(2),...C^y(2Δ₁)]和[C^x(1),C^x(2),...C^x(2Δ₂)]，找到其中的最大值和其中dx_max和dy_max为从行和列投影信息中得出的最大位移值，用最大位移值减去预设的位移值Δ₁和Δ₂，得到实际的位移值dx和dy公式如下：

3.根据权利要求1所述的自适应对运动的电子倍增CCD视频图像去噪的方法，其特征在于在步骤5中，根据步骤4中得到的最大相对位移，以前一帧图像为参考图像判断图像的位移情况，其判断方式如下：

如果dx<0并且dy<0，说明图像向右下运动；

如果dx<0并且dy>0，说明图像向左下运动；

如果dx>0并且dy<0，说明图像向右上运动；

如果dx>0并且dy>0，说明图像向左上运动；

如果dx≠0，dy＝0，则图像为水平运动；

如果dx＝0，dy≠0，则图像为垂直运动。

4.根据权利要求1所述的自适应对运动的电子倍增CCD视频图像去噪的方法，其特征在于在步骤6中，在步骤6中，利用步骤5中的判断出的位移方向，运用双向配准的方法找出重叠区域和变化区域，在重叠区域和变化区域的像素值进行权值滤波，以消除叠加在图像上的噪声，给变化区域图像信息加权系数0.125，给重叠区域图像信息加权系数0.875，增强重叠区域的信息，削弱图像变化区域噪声的影响，从而消除噪声。