CN106504211A - 基于改进surf特征匹配的低照度成像方法 - Google Patents

Abstract

本发明涉及计算机视觉领域，具体公开了一种基于改进SURF特征匹配的低照度快速成像方法。首先对原始图像进行前ISP处理；对处理后输出的多帧图像进行改进SURF特征点提取及匹配获得校准图像；其中用改进的FAST检测特征点的方法可以提高算法的运行速度，减少大量的计算时间，再对多帧连拍图进行累加；最后对得到的帧累积图像进行对比度调整，并输出处理完毕的图像，本发明所述方法改进了图像特征点匹配算法，提高低照度下获取图像的效率和可辨识度，使其满足实时性需求。

Description

基于改进SURF特征匹配的低照度成像方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于改进SURF特征匹配的低照度成像方法。

背景技术

多媒体、视频监控等技术发展迅猛，已成为人们交流以及记录的常用工具。但在夜晚、阴天、会议室等低照度环境下进行拍摄时，所得到的图片对比度低、信噪比小、视觉效果差，图像中的细节信息无法清晰体现出来，这使成像系统无法正常工作。因此，研究如何对低照度条件下的图像进行快速有效处理，如何提高图片的亮度，降低光照条件对成像系统的影响具有重要的研究意义。

现有的低照度条件下成像方法，大多仅通过对低照度下获取的单幅图像进行先去噪再增强的处理，采用该方法在一定程度上无法准确体现出图像细节，同时对于单幅低照度下获取的图像的增强算法而言，由于低照度下图像信噪比已接近探测极限，同时输出图像不仅附加了严重的量子噪声而且图像的对比度已接近视觉的灵敏限。而利用帧累积的方法，通过增加积分时间，提高低照度下获取的图像的信噪比，但在帧累积的过程中，需要对多帧图像进行每帧图像的特征点检测、匹配和校准，这过程需要消耗大量的时间，所以对算法实时性方面的改善很重要。近年来，基于SURF算法的图像特征配对方法在图像处理等关键技术中得到了广泛的应用。基于特征的匹配首先寻找两幅图像中的关键特征(如关键点、线)，然后对这些关键特征做筛选、映射，得到准确的匹配。SIFT(scale invariant featuretransform)算法是一种鲁棒性好、具有尺度不变性的特征点检测方法，但算法复杂度高，实时性较差；SURF(speeded up robust features)算法是继SIFT算法后的有一个稳定快速的特征提取算法，它除了具有SIFT算法的稳定性外，最突出的优点是算法速度快，实时性较强。SURF特征也是一种尺度、旋转不变的特征描述方法。它对图像的卷积做相似处理，在特征点定位环节引入的积分图的概念，使求解Hessian矩阵的计算量大大降低，运算时间相比SIFT大大减少。

针对这些特点，本发明提出一种基于改进SURF特征匹配的低照度快速成像方法，在帧累积的低照度成像算法基础上，通过采用改进FAST(Features from AcceleratedSegment Test)特征点检测方法来代替多尺度空间中基于近似Hessian矩阵的特征点检测，该方法较快检测待测物体的体征点和数据库图像特征点并提取SURF特征向量，而且能够准确地完成图像的匹配，可以大大减少匹配计算量，并对处理后图像调整了对比度，提高了亮度，应用在对图像处理实时性要求较高和可实施性较强的成像系统中具有明显的优势。

发明内容

本发明要解决的技术问题在于为了提高低照度下获取的图像的效率和可辨识度，使其满足实时性需求，在低照度条件下提出一种改进SURF算法和提高图像对比度的快速成像方法。

本发明的具体技术方案如下：

一种基于改进的SURF低照度快速成像方法，包括以下步骤：

步骤一，对原始图像进行前ISP(Image Signal Processing)处理并输出；

步骤二，对进行前ISP处理后输出的低照度下获取的多帧图像进行Surf特征点匹配获得校准图像；

步骤三，对步骤二的所述校准图像采用加权累积方式进行累加，每幅图像权重相等；

步骤四，对步骤三得到的图像进行对比度调整；

步骤五，输出最终处理完毕的图像。

作为本发明的进一步改进，步骤一的前ISP处理中包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩图，最后经过转RGB格式彩图后输出适合SURF特征点匹配的图像；

作为本发明的进一步改进，步骤二中的所述Surf特征点匹配的方法具体如下：

(一)改进的FAST检测特征点，将当前像素点与其领域进行比较判别，采用r＝3的图像模板，即比较O点附近半径为3的圆环上的16个邻域点；再根据(1)式进行计算，如果存在n个点与O点的灰度差值超过阈值t，则判定O点为特征点；

当O为待检测特征点中心像素点时，它的圆环上的点检测结果有3种情况，即相似点s、较暗点d以及较亮点b；(1)式中：T₀为圆环上对应的每种点的个数，H_i为圆环上第i个点对应的灰度值，H₀为待检测点对应的灰度值；

设f₁和f₂分别为图像中亮点和暗点在整幅图像中的比重；

式(2)中：为加入约束后圆环上对应的每种点的个数，权重α取值为0.5，β取值为3；而b_n、d_n和s_n分别为加入约束后得到的亮点、暗点和相似点个数；

定义一个函数W来进行非特征点的剔除；

在(3)式中，S_b＝{N|H_i≥H₀+t}，S_d＝{N|H_i≤H₀+t}，S_b为较亮点区域，S_d为较暗点区域；

(二)确定特征点主方向；

首先，需要对每个特征点分配一个主方向，保证其特征向量具有旋转不变性，以每个特征点为中心，并以6s为半径的圆形区域内，对图像进行以4s×4s模板大小的Haar小波梯度运算，s为特征点的当前尺度；对Haar小波的相应值使用σ＝2s的高斯加权函数进行加权运算，以每个特征点为中心、角度为π/3的扇形滑动窗口，获取特征点的主方向；对扇形滑动窗口以内的图像进行Haar小波的变换后，Haar小波的相应值在dx方向和dy方向进行累加，最终得到一个向量，特征点的主方向为最大的Haar小波相应累加值对应的方向，也就是最长向量所对应的方向；

(三)特征点描述；

以特征点为中心，将坐标轴旋转到主方向，按主方向选取20σ×20σ的正方形区域，将该正方形区域划分为4×4个子区域，在每个子区域内计算Haar小波在x，y方向的响应d_x、d_y分别求和并生成了一个∑d_x，∑|d_x|，∑d_y，∑|d_y|的四维向量，这样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子；

(四)特征点匹配；

采用基于最小欧氏距离来度量特征点间的相似性为：

其中A_ik表示待匹配的第一幅图像的第i个特征点描述向量的第k维的值，B_ik表示待匹配的第二幅图像的第i个特征点描述向量的第k维的值，n₁表示特征点描述子是一个n₁维的描述向量；

假设T_U，T_V分别为待匹配两幅图像的特征点集合，对于T_U中的任意一个特征点T_Ui，若T_V中存在欧氏距离最小的两个特征点T_Vj、且 的取值范围一般为0.5～0.7,则认为是T_U的匹配对，最后采用穷举搜索算法找出所有的匹配对。

作为本发明的进一步改进，所述步骤三中，一幅有噪声的图像g(x,y,t)可认为是由原始图像f(x,y,t)和噪声n(x,y,t)叠加而成，即：

g(x,y,t)＝f(x,y,t)+n(x,y,t)

其中，x，y是像素点坐标，t是时间变量，多帧累加就是将不同时刻两帧图像或多帧图像对应像素点相加后求取它们的图像，m帧图像进行累加，即得到图像a(x,y,t)。

作为本发明的进一步改进，所述步骤四中，调整图像的对比度具体包括：根据指定的一个对比度，分别与原始R、G、B色彩分量进行一定比例的缩放，从而拉开原色色彩亮度级别的分布，达到对比度增强的作用。

本发明方法有益的效果是：

1、可以大大地减少成像时间，处理的夜拍低照度图像成像效果好。

2、通过改进SURF算法检测图像样本和图像样本数据库的特征点并提取SURF特征向量，提高了提取特征点的速度，从而提高了低照度下成像的效率，调整了图像的对比度，提高了图像亮度。

3、本发明中方法计算量不大，实际上可嵌入FPGA中实现，开发具有低照度成像功能的相机或摄像机。

附图说明

图1是特征点探测的模板图；

图2是发明方法的流程图；

图3-图4是实施例所述低照度下成像的对比图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

一种基于改进的SURF低照度快速成像方法，具体包括以下步骤：

第一步：对进行前ISP(Image Signal Processing)处理后输出的低照度下获取的多帧图像进行Surf特征点匹配获得校准图像。

前ISP处理中包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩图，最后经过转RGB格式彩图后输出适合SURF特征点匹配的图像。

SURF是在SIFT算法基础上提出的一种特征检测描述算子，具有尺度不变、旋转不变性、对光照变化、噪声、局部遮挡保持一定的稳健性等特点，且计算速度比SIFT快几倍。改进的SURF特征点匹配方法分为4步：

(1)改进的FAST检测特征点。原理是当前像素点与其邻域点进行比较判别。首先，本发明采用了r＝3的图像模板(图1)，即比较O点附近半径为3的圆环上的16个邻域点；再根据(1)式进行计算，如果存在n个点与O点的灰度差值超过阈值t，则判定O点为特征点。

当O为待检测特征点中心像素点时，它的圆环上的点检测结果有3种情况，即相似点s、较暗点d以及较亮点b。(1)式中：T₀为圆环上对应的每种点的个数，H_i为圆环上第i个点对应的灰度值，H₀为待检测点对应的灰度值。

本发明设f₁和f₂分别为图像中亮点和暗点在整幅图像中的比重，

式中：为加入约束后圆环上对应的每种点的个数，权重α取值为0.5，β取值为3；而b_n、d_n和s_n分别为加入约束后得到的亮点、暗点和相似点个数。在提取特征点时可能会检测到多个相邻的特征点，需计算其局部极值性来去除这些不是局部极值的点，为此定义一个函数W来进行非特征点的剔除。

在(3)式中，S_b＝{N|H_i≥H₀+t}，S_d＝{N|H_i≤H₀+t}，S_b为较亮点区域，S_d为较暗点区域；

其中，传统FAST特征点数量极大，并极易在局部区域出现聚集现象，在一定程度上造成了图像局部细节信息的冗余，同时过多的特征点也会增加特征匹配耗时。本发明对此采用最小距离约束策略。

设2个特征点之间的最小约束距离为Dm，具体的取舍方法是：选取一个特征点，然后遍历所有特征点并进行距离计算。若2个特征点之间距离大于Dm，则保留。否则，判断为冗余点并予以剔除。通过上述方法，本发明能够迅速地完成图像特征点的检测，并剔除冗余点和噪声点。使图像特征点的数量适中且较为均匀地分布在目标区域。

(2)确定特征点主方向。

首先，需要对每个特征点分配一个主方向，保证其特征向量具有旋转不变性。以每个特征点为中心，并以6s(s为特征点的当前尺度)为半径的圆形区域内，对图像进行以4s×4s模板大小的Haar小波梯度运算。对Haar小波的相应值使用σ＝2s的高斯加权函数进行加权运算。以每个特征点为中心、角度为π/3的扇形滑动窗口，获取特征点的主方向。对扇形滑动窗口以内的图像进行Haar小波的变换后，Haar小波的相应值在dx方向和dy方向进行累加，最终得到一个向量。特征点的主方向为最大的Haar小波相应累加值对应的方向，也就是最长向量所对应的方向。

(3)特征点描述。

以特征点为中心，将坐标轴旋转到主方向，按主方向选取20σ×20σ的正方形区域，将该正方形区域划分为4×4个子区域，在每个子区域内计算Harr小波在x,y方向的响应d_x、d_y分别求和并生成了一个Σd_x，Σ|d_x|，∑d_y，∑|d_y|的四维向量，这样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子；

(4)特征点匹配。

采用基于最小欧氏距离来度量特征点间的相似性为：

其中A_ik表示待匹配的第一幅图像的第i个特征点描述向量的第k维的值，B_ik表示待匹配的第二幅图像的第i个特征点描述向量的第k维的值，n₁表示特征点描述子是一个n₁维的描述向量；假设T_U，T_V分别为待匹配两幅图像的特征点集合，对于T_U中的任意一个特征点T_Ui，若T_V中存在欧氏距离最小的两个特征点T_Vj、且 的取值范围一般为0.5～0.7),则认为是T_U的匹配对，最后采用穷举搜索算法找出所有的匹配对。

第三步：对多帧连拍图(即第一步获得的校准图像)进行累加。由于简单的叠加会导致图像产生过曝现象，因而采用加权累积方式，每幅图像权重相等。

一幅有噪声的图像g(x,y,t)可认为是由原始图像f(x,y,t)和噪声n(x,y,t)叠加而成，即：

g(x,y,t)＝f(x,y,t)+n(x,y,t) (5)

其中，x，y是像素点坐标，t是时间变量，多帧累加就是将不同时刻两帧图像或多帧图像对应像素点相加后求取它们的图像。m帧图像进行累加，得到图像a(x,y,t)，

基于上述原理，求得帧累积图像a(x,y,t)。

第四步：对待处理图像帧累积图像a(x,y,t)进行对比度调整。

在成像过程中由于光照不足，使得整幅图像变暗，或者成像时光照过强，使得整幅图像偏亮，这些情况就称为低对比度，即颜色聚集在一起，没有分散开。对比度调整就是使图像的颜色更符合需要，以实现一些效果。通常采用对比度增强，把感兴趣的颜色范围拉开，使得该范围内的像素，亮的越亮，暗的越暗，从而达到对比度增强的目的。

实现原理：根据指定的一个对比度，分别与原始R、G、B色彩分量进行一定比例的缩放，从而拉开原色色彩亮度级别的分布，达到对比度增强的作用。主要为了提高图像的亮度。

第五步：输出最终处理完毕的图像。

如图1～4所示，本发明所示夜拍低照度成像速度快，能够较快地进行改进的FAST特征点检测并提取SURF向量，并能准确地完成图像匹配，图像效果好，提高了图像亮度，较好的达到了所预期的目标。

本发明中提出的方法实际上可嵌入FPGA实现，开发具有低照度成像功能的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (5)

1.一种基于改进的SURF低照度快速成像方法，其特征在于，包括以下步骤：

步骤一，对原始图像进行前ISP(Image Signal Processing)处理并输出；

步骤二，对进行前ISP处理后输出的低照度下获取的多帧图像进行Surf特征点匹配获得校准图像；

步骤三，对步骤二的所述校准图像采用加权累积方式进行累加，每幅图像权重相等；

步骤四，对步骤三得到的图像进行对比度调整；

步骤五，输出最终处理完毕的图像。

2.根据权利要求1所述的一种基于改进的SURF低照度成像方法，其特征在于，步骤一的前ISP处理中包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩图，最后经过转RGB格式彩图后输出适合SURF特征点匹配的图像。

3.根据权利要求1所述的一种基于改进的SURF低照度成像方法，其特征在于，步骤二中的所述Surf特征点匹配的方法具体如下：

(一)改进的FAST检测特征点，将当前像素点与其领域进行比较判别，采用r＝3的图像模板，即比较O点附近半径为3的圆环上的16个邻域点；再根据(1)式进行计算，如果存在n个点与O点的灰度差值超过阈值t，则判定O点为特征点；

当O为待检测特征点中心像素点时，它的圆环上的点检测结果有3种情况，即相似点s、较暗点d以及较亮点b；(1)式中：T₀为圆环上对应的每种点的个数，H_i为圆环上第i个点对应的灰度值，H₀为待检测点对应的灰度值；

设f₁和f₂分别为图像中亮点和暗点在整幅图像中的比重；

式(2)中：为加入约束后圆环上对应的每种点的个数，权重α取值为0.5，β取值为3，而b_n、d_n和s_n分别为加入约束后得到的亮点、暗点和相似点个数；

定义一个函数W来进行非特征点的剔除；

$W=max\left(\underset{N\∈S_b}{\Σ}\right|H_i-H_0|-t,\underset{N\∈S_d}{\Σ}|H_i-H_0|-t)---\left(3\right)$

在(3)式中，S_b＝{N|H_i≥H₀+t}，S_d＝{N|H_i≤H₀+t}，S_b为较亮点区域，S_d为较暗点区域；

(二)确定特征点主方向；

首先，需要对每个特征点分配一个主方向，保证其特征向量具有旋转不变性，以每个特征点为中心，并以6s为半径的圆形区域内，对图像进行以4s×4s模板大小的Haar小波梯度运算，s为特征点的当前尺度；对Haar小波的相应值使用σ＝2s的高斯加权函数进行加权运算，以每个特征点为中心、角度为π/3的扇形滑动窗口，获取特征点的主方向；对扇形滑动窗口以内的图像进行Haar小波的变换后，Haar小波的相应值在dx方向和dy方向进行累加，最终得到一个向量，特征点的主方向为最大的Haar小波相应累加值对应的方向，也就是最长向量所对应的方向；

(三)特征点描述；

以特征点为中心，将坐标轴旋转到主方向，按主方向选取20σ×20σ的正方形区域，将该正方形区域划分为4×4个子区域，在每个子区域内计算Haar小波在x，y方向的响应d_x、d_y分别求和并生成了一个∑d_x，∑|d_x|，∑d_y，∑|d_y|的四维向量，这样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子；

(四)特征点匹配；

采用基于最小欧氏距离来度量特征点间的相似性为：

$D=\sqrt{\underset{k=1}{\overset{n_1}{\Σ}}{(A_{ik}-B_{ik})}^2}---\left(4\right)$

其中A_ik表示待匹配的第一幅图像的第i个特征点描述向量的第k维的值，B_ik表示待匹配的第二幅图像的第i个特征点描述向量的第k维的值，n₁表示特征点描述子是一个n₁维的描述向量；

假设T_U，T_V分别为待匹配两幅图像的特征点集合，对于T_U中的任意一个特征点T_Ui，若T_V中存在欧氏距离最小的两个特征点T_Vj、且则认为是T_U的匹配对，最后采用穷举搜索算法找出所有的匹配对。

4.如权利要求2所述的一种基于改进的SURF低照度成像方法，其特征在于，所述步骤三中，一幅有噪声的图像g(x,y,t)可认为是由原始图像f(x,y,t)和噪声n(x,y,t)叠加而成，即：

g(x,y,t)＝f(x,y,t)+n(x,y,t)

其中，x，y是像素点坐标，t是时间变量，多帧累加就是将不同时刻两帧图像或多帧图像对应像素点相加后求取它们的图像，m帧图像进行累加，即得到图像a(x,y,t)。

5.如权利要求2所述的一种基于改进的SURF低照度成像方法，其特征在于，所述步骤四中，调整图像的对比度具体包括：根据指定的一个对比度，分别与原始R、G、B色彩分量进行一定比例的缩放。