CN105913404A - 基于帧累积的低照度成像方法 - Google Patents

Abstract

本发明公开了一种基于帧累积的低照度成像方法。首先对进行前ISP处理后输出的多帧图像进行Surf特征点匹配获得校准图像；然后对多帧连拍图进行累加。由于简单的叠加会导致图像产生过曝现象，因而采用加权累积方式，每幅图像权重相等；最后基于自适应的局部Gamma校正方法，对待处理图像进行Gamma校正，并输出最终处理完毕的图像。本发明所述方法对静态的图像序列,利用各帧信号的相关性和噪声的不相关性,采用序列图像多帧累加技术,可大大改善图像的信噪比,提高清晰度。

Description

基于帧累积的低照度成像方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种低照度成像方法。

背景技术

大多数室外视觉系统,如视频监控、目标识别和卫星遥感监测等,都需要获取清晰的图像特征。但是在低照度条件下(如夜间等环境)，由于场景的照度低(光信号微弱)，导致能见度低，所观察的景物信号非常微弱，图像成像质量低，目标模糊不清，尤其在图像经过存储、转换、传输等操作后，更进一步降低了低照度图像的质量，使成像系统无法正常工作。因此，研究如何对低照度图像进行有效处理，降低光信号弱的环境对成像系统的影响具有重要研究价值。

低照度下获取的图像灰度范围窄、灰度变化不明显，且相邻像素的空间关联性高，这些特点使得图像中的细节、背景和噪声等都包含在较窄的灰度范围之内。因此为了改善低照度下获取的图像的视觉效果，将其转换为一种更适于人眼观察和计算机处理的形式，便于提取有用信息，需要对被拍摄物在低照度下的成像进行增强处理。目前现行的低照度成像方法大多是基于对低照度下获取的单幅图像进行先去噪再增强的算法，这样处理的弊端就是会在一定程度上无法精确体现出图像细节，同时对于单幅低照度下获取的图像的增强算法而言，由于低照度下图像信噪比已接近探测极限,同时输出图像不仅附加了严重的量子噪声而且图像的对比度已接近视觉的灵敏限。因此采用常规的数字图像处理技术,将很难获得预期的效果。针对这些特点，本发明提出一种基于帧累积的低照度成像算法，通过增加积分时间的办法,提高低照度下获取的图像的信噪比。基于帧累积的处理算法，能够克服随机噪声达到提高信噪比的目的。利用帧积分法对抑制低照度图像的时间域随机颗粒噪声是非常有效的。同时采用低照度图像帧累积增强方法是克服随机噪声提高系统性能的最直接、最简单也是最有效的方法。

发明内容

本发明要解决的技术问题在于：针对低照度下成像这个特定问题，为了提高低照度下获取的图像的质量和可辨识度，使其满足实时性需求，提出一种基于帧累积的低照度成像方法。

一种基于帧累积的低照度成像方法，其特征在于：通过累积同一场景的连续帧图像，提高图像的信噪比，从而提高低照度下获取图像的清晰度。

具体的，包括如下步骤：

(1)对原始图像进行前ISP处理；

(2)对前ISP处理后输出的多帧图像进行Surf特征点匹配获得校准图像；

(3)对多帧连拍图进行累加；

(4)基于自适应的局部Gamma校正方法，对待处理图像进行Gamma校正；

(5)输出处理完毕的图像。

具体的，所述前ISP处理包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩图步骤。

具体的，所述Surf特征点匹配包括如下步骤：

(1)检测特征点

选取不同的箱式滤波器建立图像的尺度空间，使用Hession矩阵检测每一层图像上的极值点，在三维空间中，对该点与邻近的3×3×3立体邻域内进行非极大值抑制，大于邻近26个响应值的点称为Surf特征点；

(2)确定特征点主方向

以特征点为中心，计算半径为6圆形邻域内的点在x、y方向的Harr小波响应，并给这些响应值按距离赋予不同高斯权重系数，对加权后的Harr小波响应用直方图进行统计；再将圆形区域以每5°为间隔，划分为72组，分别将每组60°范围内的响应加起来形成一个新的矢量；遍历整个圆形区域，一共生成72个矢量，选择最长的矢量的方向为特征点的主方向；

(3)特征点描述

以特征点为中心，将坐标轴旋转到主方向，按主方向选取20×20的正方形区域，将该窗口区域划分为4×4个子区域，在每个子区域内计算Harr小波在y方向的响应d_x、d_y每个子区域在x，y方向的响应分别求和并生成了一个∑d_x，∑|d_x|，∑d_y，∑|d_y|的四维向量，这样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子；

(4)特征点匹配

采用基于最小欧氏距离来度量特征点间的相似性为：

$D=\sqrt{\underset{k=1}{\overset{n}{\Σ}}{(A_{ik}-B_{ik})}^2}$

其中A_ik表示待匹配的第一幅图像的第i个特征点描述向量的第k维的值，B_ik表示待匹配的第二幅图像的第i个特征点描述向量的第k维的值，n表示特征点描述子是一个n维的描述向量；假设T_U，T_V分别为待匹配两幅图像的特征点集合，对于T_U中的任意一个特征点T_Ui，若T_V中存在欧氏距离最小的两个特征点T_Vj、且则认为是T_U的匹配对，最后采用穷举搜索算法找出所有的匹配对。

具体的，所述对多帧连拍图进行累加，采用的是加权累加方式，每幅图像权重相等。

具体的，所述Gamma校正包含以下三个步骤：

(1)归一化：将像素值转换为0～1之间的实数；

(2)求输出值：根据预设的Gamma值所绘制的符合需求的Gamma曲线，将归一化后的像素值代入曲线中，求得相应的输出值；

(3)反归一化：将经过预补偿的实数值反变换为图像的整数值；

最后得出相应的校正结果。

优选的，所述T_vj和的比值的取值范围为0.5～0.7。

优选的，在于对4帧连拍图进行累加。

本发明方法有益的效果是：

(1)可以大大改善图像的信噪比，提高清晰度，处理的夜拍低照度图像成像效果好，亮度有明显提升，细节部分不丢失，且没有过曝现象。

(2)本发明中方法计算量不大，实际上可嵌入FPGA中实现，开发具有实时去雾功能的相机或摄像机。

附图说明

图1是发明方法的流程图；

图2-图4是实施例所述低照度下成像的对比图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

图像的帧累积,即图像的多帧积累增加,是通过累积同一场景连续帧图像的办法,提高图像的信噪比。在图像处理算法中,多帧累加就是将不同时刻两幅图像或多帧图像对应像素点的灰度值相加,求取它们的时间均值图像。当所观察目标的环境照度太低,导致目标能量小,噪声大,图像信噪比降低。对静态的图像序列,利用各帧信号的相关性和噪声的不相关性,采用序列图像多帧累加技术,可大大改善图像的信噪比,提高清晰度。

对于待处理的低照度下获取的图像，假定含有噪声图像中原始图像任一像素点在一定时间内的平均光子数为推广到整幅图像中该像素点的原始图像信号S，

$S=\underset{i=1}{\overset{m}{\Σ}}\stackrel{\‾}{b_i}=m\stackrel{\‾}{b}$

微弱光环境下，物体辐射的瞬时值则有所涨落，这种偏离平均值的随机起伏就构成了辐射的噪声。根据概率论中描述随机变量的理论可知，到达探测器的光子流符合泊松分布，量子数涨落值即量子噪声可以用方差表示。每一个空间位置(x,y)的噪声n(x,y,t)在时间序列上是不相关的，所以不同时刻得到的噪声之间的协方差为零，

$D\left(\underset{i=1}{\overset{m}{\Σ}}{n}_i\right(x,y,t\left)\right)=m\stackrel{\‾}{b}$

图像噪声用标准差表示,得到经过累加处理后的图像噪声为比较知，累加处理前的图像信噪比和处理后的分别为SNR1，SNR2,

$SNR1=\frac{\stackrel{\‾}{b}}{\sqrt{\stackrel{\‾}{b}}}=\sqrt{\stackrel{\‾}{b}}$

$SNR2=\frac{m\stackrel{\‾}{b}}{\sqrt{m\stackrel{\‾}{b}}}=\sqrt{m}\·\sqrt{\stackrel{\‾}{b}}$

由式看出，对m帧图像序列取累加后可使信噪比提高倍，能够有效地抑制噪声。

第一步：对进行前ISP处理后输出的低照度下获取的多帧图像进行Surf特征点匹配获得校准图像。

前ISP处理中包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩图，最后经过转RGB格式彩图后输出适合Surf特征点匹配的图像。SURF(Speed-Up RobustFeatures)是在SIFT(Scale Invariant Feature Transform)算法基础上提出的一种特征检测描述算子，具有尺度不变、旋转不变性、对光照变化、噪声、局部遮挡保持一定的稳健性等特点，且计算速度比SIFT快几倍。Surf特征点匹配方法分为4步：

(1)检测特征点。选取不同的箱式滤波器建立图像的尺度空间，使用Hession矩阵检测每一层图像上的极值点，在三维空间中，对该点与邻近的3×3×3立体邻域内进行非极大值抑制，大于邻近26个响应值的点称为Surf特征点。

以高斯滤波器为例，对于图像中的某一点p＝(x,y)以及高斯滤波器的尺度，其Hession矩阵H(p,σ)表达式如下：

$H(p,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{xx}(p,\mathrm{\σ})& L_{xy}(p,\mathrm{\σ})\\ L_{xy}(p,\mathrm{\σ})& L_{yy}(p,\mathrm{\σ})\end{array}\right]$

其中L_xx(p,σ)，L_xy(p,σ)，L_yy(p,σ)是图像中p点与高斯二阶偏导数的卷积。Hession矩阵的行列式为：

$\det H=L_{xx}\×L_{yy}-L_{xy}^2$

实际运算中由于高斯滤波器须离散化，故随着尺度的增大图像细节逐渐被过滤。采用Surf算法以方框滤波(box filter)近似代替高斯二阶导数，用积分图像加速卷积后Hession矩阵的行列式的近似表达式为：

$\det H=D_{xx}\×D_{yy}-{0.9}^2\×D_{xy}^2$

其中D_xx，D_yy，D_xy是图像中p点与方框滤波的卷积。

(2)确定特征点主方向。以特征点为中心，计算半径为6(为特征点所在的尺度值)圆形邻域内的点在x、y方向的Harr小波响应，并给这些响应值按距离赋予不同高斯权重系数，对加权后的Harr小波响应用直方图进行统计；再将圆形区域以每5°为间隔，划分为72组，分别将每组60°范围内的响应加起来形成一个新的矢量；遍历整个圆形区域，一共生成72个矢量，选择最长的矢量的方向为特征点的主方向。

(3)特征点描述。以特征点为中心，将坐标轴旋转到主方向，按主方向选取20×20的正方形区域，将该窗口区域划分为4×4个子区域，在每个子区域内计算Harr小波在y方向的响应d_x、d_y每个子区域在x，y方向的响应分别求和并生成了一个∑d_x，∑|d_x|，∑d_y，∑|d_y|的四维向量，这样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子；

(4)特征点匹配

采用基于最小欧氏距离来度量特征点间的相似性为：

$D=\sqrt{\underset{k=1}{\overset{n}{\Σ}}{(A_{ik}-B_{ik})}^2}$

其中A_ik表示待匹配的第一幅图像的第i个特征点描述向量的第k维的值，B_ik表示待匹配的第二幅图像的第i个特征点描述向量的第k维的值，n表示特征点描述子是一个n维的描述向量；假设T_U，T_V分别为待匹配两幅图像的特征点集合，对于T_U中的任意一个特征点T_Ui，若T_V中存在欧氏距离最小的两个特征点T_Vj、且的取值范围一般为0.5～0.7),则认为是T_U的匹配对，最后采用穷举搜索算法找出所有的匹配对。

第二步：对多帧连拍图(即第一步获得的校准图像)进行累加。由于简单的叠加会导致图像产生过曝现象，因而采用加权累积方式，每幅图像权重相等。

一幅有噪声的图像g(x,y,t)可认为是由原始图像f(x,y,t)和噪声n(x,y,t)叠加而成，即：

g(x,y,t)＝f(x,y,t)+n(x,y,t)

多帧累加就是将不同时刻两帧图像或多帧图像对应像素点相加后求取它们的图像。m帧图像进行累加，得到图像a(x,y,t)，

$a(x,y,t)=\underset{i=1}{\overset{m}{\Σ}}{g}_i(x,y,t)$

基于上述原理，求得帧累积图像a(x,y,t)。

第三步：基于Gamma校正方法，对待处理图像进行Gamma校正。

Gamma校正包含以下三个步骤：

(1)归一化：将像素值转换为0～1之间的实数；

(2)求输出值：根据预设的Gamma值所绘制的符合需求的Gamma曲线，将归一化后

的像素值代入曲线中，求得相应的输出值；

(3)反归一化：将经过预补偿的实数值反变换为图像的整数值。

最后得出相应的校正结果，Gamma校正主要为了提高图像的亮度。

第四步：输出最终处理完毕的图像。如图1～4所示，本发明处理的夜拍低照度图像成像效果好，亮度有明显提升，细节部分不丢失，且没有过曝现象，较好的达到了所预期的目标。

本发明中提出的方法实际上可嵌入FPGA实现，开发具有实时去雾功能的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (8)

1.一种基于帧累积的低照度成像方法，其特征在于：通过累积同一场景的连续帧图像，提高图像的信噪比，从而提高低照度下获取图像的清晰度。

2.如权利要求1所述的一种基于帧累积的低照度成像方法，其特征在于包括如下步骤：

(1)对原始图像进行前ISP处理；

(2)对前ISP处理后输出的多帧图像进行Surf特征点匹配获得校准图像；

(3)对多帧连拍图进行累加；

(4)基于自适应的局部Gamma校正方法，对待处理图像进行Gamma校正；

(5)输出处理完毕的图像。

3.如权利要求2所述的一种基于帧累积的低照度成像方法，其特征在于：所述前ISP处理包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩图步骤。

4.如权利要求2所述的一种基于帧累积的低照度成像方法，其特征在于，所述Surf特征点匹配包括如下步骤：

(1)检测特征点

选取不同的箱式滤波器建立图像的尺度空间，使用Hession矩阵检测每一层图像上的极值点，在三维空间中，对该点与邻近的3×3×3立体邻域内进行非极大值抑制，大于邻近26个响应值的点称为Surf特征点；

(2)确定特征点主方向

以特征点为中心，计算半径为6圆形邻域内的点在x、y方向的Harr小波响应，并给这些响应值按距离赋予不同高斯权重系数，对加权后的Harr小波响应用直方图进行统计；再将圆形区域以每5°为间隔，划分为72组，分别将每组60°范围内的响应加起来形成一个新的矢量；遍历整个圆形区域，一共生成72个矢量，选择最长的矢量的方向为特征点的主方向；

(3)特征点描述

以特征点为中心，将坐标轴旋转到主方向，按主方向选取20×20的正方形区域，将该窗口区域划分为4×4个子区域，在每个子区域内计算Harr小波在y方向的响应d_x、d_y每个子区域在x，y方向的响应分别求和并生成了一个∑d_x，∑|d_x|，∑d_y，∑|d_y|的四维向量，这样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子；

(4)特征点匹配

采用基于最小欧氏距离来度量特征点间的相似性为：

$D=\sqrt{\underset{k=1}{\overset{n}{\Σ}}{(A_{ik}-B_{ik})}^2}$

其中A_ik表示待匹配的第一幅图像的第i个特征点描述向量的第k维的值，B_ik表示待匹配的第二幅图像的第i个特征点描述向量的第k维的值，n表示特征点描述子是一个n维的描述向量；假设T_U，T_V分别为待匹配两幅图像的特征点集合，对于T_U中的任意一个特征点T_Ui，若T_V中存在欧氏距离最小的两个特征点T_Vj、且则认为是T_U的匹配对，最后采用穷举搜索算法找出所有的匹配对。

5.如权利要求2所述的一种基于帧累积的低照度成像方法，其特征在于：所述对多帧连拍图进行累加，采用的是加权累加方式，每幅图像权重相等。

6.如权利要求2所述的一种基于帧累积的低照度成像方法，其特征在于，所述Gamma校正包含以下三个步骤：

归一化：将像素值转换为0～1之间的实数；

求输出值：根据预设的Gamma值所绘制的符合需求的Gamma曲线，将归一化后的像素值代入曲线中，求得相应的输出值；

反归一化：将经过预补偿的实数值反变换为图像的整数值；

最后得出相应的校正结果。

7.如权利要求4所述的一种基于帧累积的低照度成像方法，其特征在于所述T_vj和的比值的取值范围为0.5～0.7。

8.如权利要求5所述的一种基于帧累积的低照度成像方法，其特征在于对4帧连拍图进行累加。