CN105809640A - 基于多传感器融合的低照度视频图像增强方法 - Google Patents

Abstract

本发明涉及一种基于多传感器融合的低照度视频图像增强方法，属于视频图像处理领域。根据异源视频之间的特征相似性进行匹配的，采用了多尺度的sift算法进行异源图像的配准，根据多尺度的sift算法和ransac算法的结合可以得到一个精确的变换矩阵，用该变换矩阵对红外视频图像和可见光视频图像中的每帧分别进行插值，从而把不同分辨率的图像变换为同一分辨率的图像，从而解决了不同分辨的图像配准。接着采用基于α的加权算法实现了每帧图像之间的快速融合，使得图像的融合时间满足视频实时要求，达到了视频实时显示的效果。提高了视频的清晰度，清晰的视频含有的信息也是丰富多彩的，便于后续处理。

Description

基于多传感器融合的低照度视频图像增强方法

技术领域

本发明属于视频图像处理领域。

背景技术

在低照度环境下所拍摄的可见光视频可视度低，人们无法根据视频来识别具体的景物和人。这给军事、医学、民用等很多领域都带来了不便，所以该项技术的研究具有重要的作用。低照度视频图像增强技术在军事上可用于航海的监控系统，或是边防的夜视系统和遥感图像的应用等；在医学领域可用于对人体细胞或是血管的探测，进而分析人体的身体状况；在生活领域的应用更是广泛，可用于手机的夜间拍摄系统，商场的监控系统，人工智能的应用(清晰的视频有利于机器的识别并作出反应)，视频的增强系统(在成像质量低的情况下)等。

由于现在人们对单一传感器获取的视频的处理能力远远落后于多源传感器的整合能力。夜间拍摄的可见光的视频分辨率大，彩色信息丰富，但是可视度低、物体的轮廓也不清晰。夜间拍摄的红外视频可视度高，人们可以根据视频来识别具体的人和物，但是视频是没有彩色信息的并且视频的分辨率也比较低。以上的任何一种传感器所拍摄的视频都是有缺陷的，但是两种视频的融合却是可以达到增强的效果的。

目前，国内外对于红外视频图像和可见光视频图像在低照度下的融合的方法的研究都是比较少的，因为这种异源的视频图像具有不同的分辨率，并且在拍摄的过程中两个视频会存在着旋转、缩放和平移等变换，因此很难实现异源视频图像之间的配准，并且每帧图像的融合时间很难达到视频图像实时显示的效果。现在图像的配准方法使用最多的就是sift算法、surf算法、互信息配准算法、基于B样条的配准算法和基于MSER的配准算法等。但是使用这些算法来进行异源图像的配准得到的正确的匹配点不到5％，即使应用ransac算法来去除误匹配点，也是很难得到一个正确的匹配函数，进而很难进行图像融合的后期工作。其次对于红外图像和可见光图像的融合算法比较好的就是contourlet算法、小波变换算法和基于局部区域的融合算法等这种多分辨率的融合算法，但是算法运行的时间很长很难达到视频图像实时显示的效果。

发明内容

本发明提供一种基于多传感器融合的低照度视频图像增强方法，以解决异源多尺度视频图像配准精度低、实时性差、融合不准确等问题，提高低照度环境下的视频图像可视度，实现了异源多尺度视频图像实时融合，即保留了可见光图像丰富的色彩信息，又增加了红外图像的信息，提高了视频图像质量。

本发明采取的技术方案包括以下步骤：

一、在红外成像传感器和可见光成像传感器固定不变并且同时采集的情况下，采集了一组红外视频和可见光视频，分别读取红外视频和可见光视频的对应帧im1和im2；这里红外图像尺寸576×704，可见光图像的尺寸是640×480；

二、图像的预处理

对于红外图像进行增强，采用的方式就是对红外图像的每个像素点进行取逆，定义一个576×704的单位矩阵E，具体的实施如公式(1)；

im1＝255*E-im1(1)

对取逆后的红外图像采用差值滤波的方式进行平滑的处理，对取逆后的红外图像进行差值滤波如公式2所示；

$im1=\frac{im1}{255}-\frac{im1}{255}\⊗\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right]---\left(2\right)$

三、极值点尺度空间的生成

通过高斯的差分函数来检测尺度不变的极值点，高斯的差分函数的公式如公式3所示，高斯函数如公式4所示：

$D(x,y,k\mathrm{\σ})=\left(G\right(x,y,k\mathrm{\σ})-G(x,y,\mathrm{\σ}\left)\right)\⊗I(x,y)---\left(3\right)$

$G(x,y,k\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{\left(\frac{-(x^2+y^2)}{2{\mathrm{\σ}}^2}\right)}---\left(4\right)$

其中D(x,y,kσ)表示在系数k下尺度为σ的图像的差分高斯金字塔，D(x,y,σ)表示尺度为σ高斯金字塔，I(x,y)表示原图像，表示它们间的卷积，σ为尺度因子，G(x,y,kσ)表示尺度为kσ的高斯函数，(x,y)为图像上点的坐标，把红外图像和可见光图像根据图像的降采样和上采样分别分成尺度不同的σ组，如公式5所示，每组又分成n层，如公式6所示，最后由把红外图像和可见光图像每组的相邻的层进行相减，再把im1和im2分别带入公式3中的I(x,y)，从而由公式3检测到红外图像和可见光图像不同尺度的极值点。

$\mathrm{\σ}=\sqrt{{\left(k^s{\mathrm{\σ}}_0\right)}^2-{\left(k^{s-1}{\mathrm{\σ}}_0\right)}^2},k=2^{\frac{1}{s}},{\mathrm{\σ}}_0=1.6,s=3---\left(5\right)$

n＝log₂{min(M,N)-t},t∈[0,log₂{min(M,N)}](6)

这里M,N分别为图像尺寸值，对于红外图像来说，M为576，N为704，对于可见光图像来说，M为640，N为480；

四、极值点的定位

根据上面所检测到的极值点，对红外图像和可见光图像分别进行比较，进而得出相应的极值点，对于每一层的差分高斯金字塔和上下两层分别进行比较，为了寻找差分高斯金字塔上的关键点的位置和尺度，把差分高斯金字塔图像上检测出的任意一特征点作为3×3窗口中的中心点，然后再取与该层对应的上下两层的差分高斯金字塔的3×3的窗口，比较中心点的值是否比其邻近的或是上下窗口中对应的任意一点共26点的值大，如果是的话那么该点被认为是极大值点，否则不是，从而得出关键点的位置和尺度；

五、特征点的描述符

1)计算每个极值点的主方向；图像主要根据每个极值点邻域的梯度方向直方图来计算极值点的方向，具体的方法就是把极值点的邻域分成0-360度，把他们进行等间隔的划分，间距为10度，所以一共分成了36柱，根据每个柱的统计值，把最大的值作为主方向，把具有主方向能量80％的作为辅方向；

2)计算每个极值点的描述符，在得到了两幅图像的特征点后，取每个特征点邻近的16×16窗口，在这个窗口内又划分了4×4个区域，每个区域由4×4个像素点组成，对于可见光图像由于每个像素点有一个主方向和一个辅方向，因而计算每个区域的8个方向的梯度方向直方图，并对每个方向的梯度值进行累加，累加之后的8个方向的梯度值作为一个种子区域，这样一共得到了16个种子，128维向量，但是由于红外图像和可见光图像的差异性，特征点附近的局部图像的性质是不一致的，对应的特征点的方向也许几乎是一致的，但梯度值却有着很大的不同，因此在对于红外图像进行8个方向的梯度值累加时选着加权平均的方式进行累加；

六、特征点的匹配

由步骤四得到红外图像任意一个极值点的坐标(x',y')，可见光图像上检测出的所有的极值点的坐标为(X₁,Y₁)、(X₂,Y₂)…(X_N,Y_N),找到原图像和待配准图像中余弦的最小值，从而得到一组对应的匹配点，计算过程如公式7所示：

min(arctan(x'-X₁,y'-Y₁),arctan(x'-X₂,y'-Y₂)......arctan(x'-X_N,y'-Y_N))(7)

把红外图像上每一个极值点都重复做公式7的计算，因而得到两幅图像对应的匹配点；

七、转移矩阵的生成

当得到了两幅待配准图像的特征点之后，通过投影变换的公式(5)来求出两幅图像之间的变换关系，然后结合ransac算法去除误匹配点，进而从ransac算法中能够求得一个精确的转移矩阵。

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_0& h_3& h_6\\ h_1& h_4& h_7\\ h_2& h_5& h_8\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(8\right)$

把中间变换的矩阵称为H，其中H有8个自由度，即h₀,h₁.....h₈8个未知的参数，至少有四组对应的点就能求出H，把公式5进行变换得到了公式9：

$\left\{\begin{array}{c}x=\frac{h_{0}X+h_{3}Y+h_6}{h_{2}X+h_{5}Y+h_8}\\ y=\frac{h_{1}X+h_{4}Y+h_7}{h_{2}X+h_{5}Y+h_8}\end{array}\right.---\left(9\right)$

从公式6能够看出未知的变量有8个，所以至少要有8个独立的线性方程才能解出这8个未知的变量，即至少要确定出4组对应的点，来能求出转移矩阵H,通过H矩阵便能得出目标图像在参考图像中的对应坐标，从而为图像的融合打下了很好的基础；

八、转移矩阵的精化

在改进的sift算法的基础上结合ransac算法，从而在ransac算法得到的模型中求出一个精确的变换矩阵H，应用ransac该算法的步骤如下：

1.通过已知数据中的任意的四组点来确定一个假设的模H；

2.用剩下的数据来验证假设的模型，如果某个数据能够根据该模型得到正确的匹配点对，则认为该数据是正确的，否则就认为是错误的；

3.然后对所有的数据进行分析，如果有一定量(d)的正确的数据，则认为该假设的模型是合理的，否则是不合理的；

4.接着在正确的数据中任意选择4组数据来重新假设一个模型；

5.最后，本文通过每个假设的模型的正确的数据个数与错误率(t)来进行评价，进而选择一个最佳的模型；

这样的步骤执行的一定的次数，称它为迭代次数k，参数t和d的值都是通过反复的实验进行确定的，但是参数k的值可以通过公式10求出：

$k=\frac{log(1-p)}{\log (1-w^n)}---\left(10\right)$

其中p的值为在任意的一组迭代过程中，从所有的数据中随机选出的一个点是正确的数据点的概率；w为任意一次从所有的数据集中选取一个正确的数据点的概率；n为所有数据点的个数，假定它们都是独立的；

九、图像的融合

从上面所得到的配准参数就可以得到两幅图像的变换关系，首先通过步骤可以把两幅图像(576×704,640×480)对应的特征点求出，然后根据得到的对应的点得到：

$\left\{\begin{array}{c}ur=\min (1,{x_1}^{\′},{x_2}^{\′}...{x_n}^{\′}):\max (576,{x_1}^{\′},{x_2}^{\′}...{x_n}^{\′})\\ vr=\min (1,{y_1}^{\′},{y_2}^{\′}...{y_n}^{\′}):\max (704,{y_1}^{\′},{y_2}^{\′}...{y_n}^{\′})\end{array}\right.---\left(11\right)$

根据上面的ur,vr产生一个以ur为行，vr为列的矩阵u,以及vr为行，ur为列的矩阵v,然后把576×704的图像在对应的点(u,v)的值给到一个矩阵im1_里，同样的原理，根据上面求得的u和v以及对应的转移矩阵H便可得到：

$\left\{\begin{array}{c}{z}_{-}=H(3,1)*u+H(3,2)*v+H(3,3)\\ u_{-}=\left(H\right(1,1)*u+H(1,2)*v+H(1,3\left)\right)./z_{-}\\ v_{-}=\left(H\right(2,1)*u+H(2,2)*v+H(2,3\left)\right)./z_{-}\end{array}\right.---\left(12\right)$

根据上面的u_,v_，把M₁×N₁的图像在对应的点(u_,v_)的值给到一个矩阵im2_里，这样便可得到两幅对应的插值图像，因此他们的融合图像为：

fusion＝α*im2_+β*im1_(13)

这里的α的值只要表示了一天24小时当中不同的时间段可见光图像的融合系数，根据可见光图像的亮度来决定α的值，通过反复的实验我们可以确定一个阈值T，如果可见光图像的平均亮度大于T，则认为是白天，此时α的值是1，反之，则把可见光图像的所有亮度值进行排序，去除前20％的亮度值的点，取剩下亮度值的和和总亮度值的比值作为α的值，β的值为1-α；因此，根据公式13就能得到融合后图像，由于算法的简洁性，图像的融合已达到了实时的效果；

十、对于视频的实时处理主要是把视频图像中的每帧根据步骤八得到的精确的转移矩阵H进行配准，配准之后的两幅图像根据公式9和公式10来进行插值，最后用公式11进行融合。

本发明采用的方法是根据异源视频之间的特征相似性进行匹配的，采用了多尺度的sift算法进行异源图像的配准，根据多尺度的sift算法和ransac算法的结合可以得到一个精确的变换矩阵，用该变换矩阵对红外视频图像和可见光视频图像中的每帧分别进行插值，从而把不同分辨率的图像变换为同一分辨率的图像，从而解决了不同分辨的图像配准。接着采用基于α的加权算法实现了每帧图像之间的快速融合，使得图像的融合时间满足视频实时要求，达到了视频实时显示的效果。

本发明具有下述有益效果：提高了视频的清晰度，由于夜间的红外视频有着清晰的轮廓信息和目标信息，夜间的可见光视频有着丰富的颜色和细节信息，所以两者的融合之后的效果相比于任何一个的效果都是有着明显的提高；为视频的后续处理打下了很好的基础，由于融合后的视频的亮度和特征点都有所增强，因此增强后的视频适合各种算法的处理。清晰的视频含有的信息也是丰富多彩的，便于后续处理。

附图说明

图1a夜间红外图像；

图1b经过步骤2差值滤波处理之后的图像；

图2a夜间的远红外图像；

图2b夜间的可见光图像；

图3a传统的sift算法的匹配图；

图3b传统sift算法结合ransac算法的匹配图；

图3c多尺度sift算法的匹配图；

图3d多尺度sift算法结合ransac算法的匹配图；

图4夜间远红外图像和可见光图像的融合结果图；

图5DOG空间的极值检测图。

具体实施方式

包括下列步骤：

一、在红外成像传感器和可见光成像传感器固定不变并且同时采集的情况下，采集了一组红外视频和可见光视频，其中红外视频的大小为576*704，如图2a所示，可见光视频的大小为640*480，如图2b所示；

二、图像的预处理

由于红外图像的成像原理是根据物体对相机的辐射能量进行成像的，可见光的成像原理是根据物体对相机的反射能量进行成像的。因此对于红外图像进行增强，这里采用的方式就是对红外图像的每个像素点进行取逆,定义一个576×704的单位矩阵E，具体的实施如公式(1)；

im1＝255*E-im1(1)

对取逆后的红外图像采用差值滤波的方式进行平滑的处理。主要因为红外图像一般情况下都是模糊的，边缘的部分噪声也很多，在进行特征点检测时对于边缘的检测效果一般不是很明显，然而可见光图像在进行边缘检测时检测到的特征点一般情况下都是边缘的点，因为图像在边缘的部分变化最明显，容易作为极大值点而被检测出。所以两幅图像之间相关的匹配点特别少，进而很难得到一个准确的配准函数。差值滤波后的红外图像边缘清晰，有利于下一步的执行。对取逆后的红外图像进行差值滤波如公式2所示；

$im1=\frac{im1}{255}-\frac{im1}{255}\⊗\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right]---\left(2\right)$

可见光图像保持不变；

三、极值点尺度空间的生成

由于红外图像和可见光图像是异源图像，两者的灰度有着很大的差异性，因此很难通过灰度的相似性来确定两幅图像的对应关系，本专利主要是通过两幅图像特征的相关性来确定两幅图像的相关性，但是红外图像和可见光图像在拍摄的过程中会存在着仿射变换和光线的变化，因此应该寻找一种尺度不变的特征来确定两幅图像的相关性，Lindeberg曾说过尺度归一化的高斯拉普拉斯函数和高斯差分函数由着很大的相似性，因此通过高斯的差分函数来检测尺度不变的极值点，高斯的差分函数的公式如公式3所示，高斯函数如公式4所示：

$D(x,y,k\mathrm{\σ})=\left(G\right(x,y,k\mathrm{\σ})-G(x,y,\mathrm{\σ}\left)\right)\⊗I(x,y)---\left(3\right)$

$G(x,y,k\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{\left(\frac{-(x^2+y^2)}{2{\mathrm{\σ}}^2}\right)}---\left(4\right)$

其中D(x,y,kσ)表示在系数k下尺度为σ的图像的差分高斯金字塔，D(x,y,σ)表示尺度为σ高斯金字塔，I(x,y)表示原图像，表示它们间的卷积，σ为尺度因子，G(x,y,kσ)表示尺度为kσ的高斯函数，(x,y)为图像上点的坐标，把红外图像和可见光图像根据图像的降采样和上采样分别分成尺度不同的σ组，如公式5所示，每组又分成n层，如公式6所示，最后由把红外图像和可见光图像每组的相邻的层进行相减，再把im1和im2分别带入公式3中的I(x,y)，从而由公式3检测到红外图像和可见光图像不同尺度的极值点。

$\mathrm{\σ}=\sqrt{{\left(k^s{\mathrm{\σ}}_0\right)}^2-{\left(k^{s-1}{\mathrm{\σ}}_0\right)}^2},k=2^{\frac{1}{s}},{\mathrm{\σ}}_0=1.6,s=3---\left(5\right)$

n＝log₂{min(M,N)-t},t∈[0,log₂{min(M,N)}](6)

这里M,N分别为图像尺寸值，对于红外图像来说，M为576，N为704，对于可见光图像来说，M为640，N为480；

四、极值点的定位

根据上面所检测到的极值点，对红外图像和可见光图像分别进行比较，进而得出相应的极值点，如图5所示，对于每一层的差分高斯金字塔和上下两层分别进行比较，为了寻找差分高斯金字塔上的关键点的位置和尺度，把差分高斯金字塔图像上检测出的任意一特征点作为3×3窗口中的中心点，然后再取与该层对应的上下两层的差分高斯金字塔的3×3的窗口，比较中心点的值是否比其邻近的或是上下窗口中对应的任意一点共26点的值大，如果是的话那么该点被认为是极大值点，否则不是，从而得出关键点的位置和尺度；

五、特征点的描述符

1)计算每个极值点的主方向；图像主要根据每个极值点邻域的梯度方向直方图来计算极值点的方向，具体的方法就是把极值点的邻域分成0-360度，把他们进行等间隔的划分，间距为10度，所以一共分成了36柱，根据每个柱的统计值，把最大的值作为主方向，把具有主方向能量80％的作为辅方向；

2)计算每个极值点的描述符，在得到了两幅图像的特征点后，取每个特征点邻近的16×16窗口，在这个窗口内又划分了4×4个区域，每个区域由4×4个像素点组成，对于可见光图像由于每个像素点有一个主方向和一个辅方向，因而计算每个区域的8个方向的梯度方向直方图，并对每个方向的梯度值进行累加，累加之后的8个方向的梯度值作为一个种子区域，这样一共得到了16个种子，128维向量，但是由于红外图像和可见光图像的差异性，特征点附近的局部图像的性质是不一致的，对应的特征点的方向也许几乎是一致的，但梯度值却有着很大的不同，因此在对于红外图像进行8个方向的梯度值累加时选着加权平均的方式进行累加；

六、特征点的匹配

由步骤四得到红外图像任意一个极值点的坐标(x',y')，可见光图像上检测出的所有的极值点的坐标为(X₁,Y₁)、(X₂,Y₂)…(X_N,Y_N),找到原图像和待配准图像中余弦的最小值，从而得到一组对应的匹配点，计算过程如公式7所示：

min(arctan(x'-X₁,y'-Y₁),arctan(x'-X₂,y'-Y₂)......arctan(x'-X_N,y'-Y_N))(7)

把红外图像上每一个极值点都重复做公式7的计算，因而得到两幅图像对应的匹配点；

七、转移矩阵的生成

当得到了两幅待配准图像的特征点之后，通过投影变换的公式(5)来求出两幅图像之间的变换关系，然后结合ransac算法去除误匹配点，进而从ransac算法中能够求得一个精确的转移矩阵。

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_0& h_3& h_6\\ h_1& h_4& h_7\\ h_2& h_5& h_8\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(8\right)$

本文把中间变换的矩阵称为H，其中H有8个自由度，即h₀,h₁.....h₈8个未知的参数，从数学的原理上来说，至少有四组对应的点就能求出H，把公式5进行变换得到了公式9：

$\left\{\begin{array}{c}x=\frac{h_{0}X+h_{3}Y+h_6}{h_{2}X+h_{5}Y+h_8}\\ y=\frac{h_{1}X+h_{4}Y+h_7}{h_{2}X+h_{5}Y+h_8}\end{array}\right.---\left(9\right)$

从公式6能够看出未知的变量有8个，所以至少要有8个独立的线性方程才能解出这8个未知的变量，即至少要确定出4组对应的点，来能求出转移矩阵H,通过H矩阵便能得出目标图像在参考图像中的对应坐标，从而为图像的融合打下了很好的基础；

八、转移矩阵的精化

由于初步得到的H矩阵很可能是不精确的，因此本文在改进的sift算法的基础上结合了ransac算法的使用，从而在ransac算法得到的模型中求出一个精确的变换矩阵H，ransac算法的基本思想就是根据已知的一组数据，能够去除错误的或是有误差的数据，进而得到一个准确的模型，本文应用该算法的基本步骤如下：

1.通过已知数据中的任意的四组点来确定一个假设的模H；

2.用剩下的数据来验证假设的模型，如果某个数据能够根据该模型得到正确的匹配点对，则认为该数据是正确的，否则就认为是错误的；

3.然后对所有的数据进行分析，如果有一定量(d)的正确的数据，则认为该假设的模型是合理的，否则是不合理的；

4.接着在正确的数据中任意选择4组数据来重新假设一个模型；

5.最后，本文通过每个假设的模型的正确的数据个数与错误率(t)来进行评价，进而选择一个最佳的模型；

这样的步骤执行的一定的次数,人们称它为迭代次数k，在执行的过程中要么就是因为正确的数据的个数过少而舍弃现有的模型，要么就是因为现有的模型比假设的模型性能更好而被保留，参数t和d的值都是通过反复的实验进行确定的，但是参数k的值可以通过公式10求出：

$k=\frac{log(1-p)}{1og(1-w^n)}---\left(10\right)$

其中p的值为在任意的一组迭代过程中，从所有的数据中随机选出的一个点是正确的数据点的概率；w为任意一次从所有的数据集中选取一个正确的数据点的概率；n为所有数据点的个数，假定它们都是独立的；

图3显示了多尺度sift的匹配图和多尺度sift结合ransac的匹配图，用该图来检验转移矩阵的准确度，根据公式7求出了一个参数k(迭代次数)，然后用公式8对其求精。阈值t是通过反复的实验进行确定的，参数d为总个数的90％；

九、图像的融合

从上面所得到的配准参数就可以得到两幅图像的变换关系，首先通过步骤可以把两幅图像(576×704,640×480)对应的特征点求出，然后根据得到的对应的点得到：

$\left\{\begin{array}{c}ur=\min (1,{x_1}^{\′},{x_2}^{\′}...{x_n}^{\′}):\max (576,{x_1}^{\′},{x_2}^{\′}...{x_n}^{\′})\\ vr=\min (1,{y_1}^{\′},{y_2}^{\′}...{y_n}^{\′}):\max (704,{y_1}^{\′},{y_2}^{\′}...{y_n}^{\′})\end{array}\right.---\left(11\right)$

根据上面的ur,vr产生一个以ur为行，vr为列的矩阵u,以及vr为行，ur为列的矩阵v,然后把576×704的图像在对应的点(u,v)的值给到一个矩阵im1_里，同样的原理，根据上面求得的u和v以及对应的转移矩阵H便可得到：

$\left\{\begin{array}{c}{z}_{-}=H(3,1)*u+H(3,2)*v+H(3,3)\\ u_{-}=\left(H\right(1,1)*u+H(1,2)*v+H(1,3\left)\right)./z_{-}\\ v_{-}=\left(H\right(2,1)*u+H(2,2)*v+H(2,3\left)\right)./z_{-}\end{array}\right.---\left(12\right)$

根据上面的u_,v_，把M₁×N₁的图像在对应的点(u_,v_)的值给到一个矩阵im2_里，这样便可得到两幅对应的插值图像，因此他们的融合图像为：

fusion＝α*im2_+β*im1_(13)

这里的α的值只要表示了一天24小时当中不同的时间段可见光图像的融合系数，根据可见光图像的亮度来决定α的值，通过反复的实验我们可以确定一个阈值T，如果可见光图像的平均亮度大于T，则认为是白天，此时α的值是1，反之，则把可见光图像的所有亮度值进行排序，去除前20％的亮度值的点，取剩下亮度值的和和总亮度值的比值作为α的值，β的值为1-α；因此，根据公式13就能得到融合后图像，由于算法的简洁性，图像的融合已达到了实时的效果；融合的结果如图4所示；

十、对于视频的实时处理主要是把视频图像中的每帧根据步骤八得到的精确的转移矩阵H进行配准，配准之后的两幅图像根据公式9和公式10来进行插值，最后用公式11进行融合。

实验结果及分析

实验中,仿真平台硬件环境为:2.93GHz,2G内存的PC机；红外相机的型号为Bobcat7447，波段为0.9-1.7um。(在拍摄的过程中主要通过调节曝光时间以及自动增益参数进行补偿)。采集的时间为在夏季晚上8点以后。可见光相机的型号是cannoneos60d。两个相机通过一个三脚架成一定角度的放置进行拍摄，红外相机通过pc机进行图像的采集和拍摄。软件开发工具为MATLABR2013b。具体步骤为：首先用sift算法对红外图像和可见光图像进行配准，然后用ransac算法对得到的误匹配点进行去除。采集了一组红外视频和可见光视频，这里红外图像尺寸大小为576×704，可见光图像的大小是640×480，结果见附图。

Claims (2)

1.一种基于多传感器融合的低照度视频图像增强方法，其特征在于包括下列步骤：

一、在红外成像传感器和可见光成像传感器固定不变并且同时采集的情况下，采集了一组红外视频和可见光视频，分别读取红外视频和可见光视频的对应帧im1和im2；这里红外图像尺寸576×704，可见光图像的尺寸是640×480；

二、图像的预处理

对于红外图像进行增强，采用的方式就是对红外图像的每个像素点进行取逆，定义一个576×704的单位矩阵E，具体的实施如公式(1)；

im1＝255*E-im1(1)

对取逆后的红外图像采用差值滤波的方式进行平滑的处理，对取逆后的红外图像进行差值滤波如公式2所示；

$im1=\frac{im1}{255}-\frac{im1}{255}\⊗\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right]---\left(2\right)$

三、极值点尺度空间的生成

通过高斯的差分函数来检测尺度不变的极值点，高斯的差分函数的公式如公式3所示，高斯函数如公式4所示：

$D(x,y,k\mathrm{\σ})=\left(G\right(x,y,k\mathrm{\σ})-G(x,y,\mathrm{\σ}))\⊗I(x,y)---\left(3\right)$

$G(x,y,k\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{\left(\frac{-(x^2+y^2)}{2{\mathrm{\σ}}^2}\right)}---\left(4\right)$

其中D(x,y,kσ)表示在系数k下尺度为σ的图像的差分高斯金字塔，D(x,y,σ)表示尺度为σ高斯金字塔，I(x,y)表示原图像，表示它们间的卷积，σ为尺度因子，G(x,y,kσ)表示尺度为kσ的高斯函数，(x,y)为图像上点的坐标，把红外图像和可见光图像根据图像的降采样和上采样分别分成尺度不同的σ组，如公式5所示，每组又分成n层，如公式6所示，最后由把红外图像和可见光图像每组的相邻的层进行相减，再把im1和im2分别带入公式3中的I(x,y)，从而由公式3检测到红外图像和可见光图像不同尺度的极值点。

$\mathrm{\σ}=\sqrt{{\left(k^s{\mathrm{\σ}}_0\right)}^2-{\left(k^{s-1}{\mathrm{\σ}}_0\right)}^2},k=2^{\frac{1}{s}},{\mathrm{\σ}}_0=1.6,s=3---\left(5\right)$

n＝log₂{min(M,N)-t},t∈[0,log₂{min(M,N)}](6)

这里M,N分别为图像尺寸值，对于红外图像来说，M为576，N为704，对于可见光图像来说，M为640，N为480；

四、极值点的定位

根据上面所检测到的极值点，对红外图像和可见光图像分别进行比较，进而得出相应的极值点，对于每一层的差分高斯金字塔和上下两层分别进行比较，为了寻找差分高斯金字塔上的关键点的位置和尺度，把差分高斯金字塔图像上检测出的任意一特征点作为3×3窗口中的中心点，然后再取与该层对应的上下两层的差分高斯金字塔的3×3的窗口，比较中心点的值是否比其邻近的或是上下窗口中对应的任意一点共26点的值大，如果是的话那么该点被认为是极大值点，否则不是，从而得出关键点的位置和尺度；

五、特征点的描述符

1)计算每个极值点的主方向；图像主要根据每个极值点邻域的梯度方向直方图来计算极值点的方向，具体的方法就是把极值点的邻域分成0-360度，把他们进行等间隔的划分，间距为10度，所以一共分成了36柱，根据每个柱的统计值，把最大的值作为主方向，把具有主方向能量80％的作为辅方向；

2)计算每个极值点的描述符，在得到了两幅图像的特征点后，取每个特征点邻近的16×16窗口，在这个窗口内又划分了4×4个区域，每个区域由4×4个像素点组成，对于可见光图像由于每个像素点有一个主方向和一个辅方向，因而计算每个区域的8个方向的梯度方向直方图，并对每个方向的梯度值进行累加，累加之后的8个方向的梯度值作为一个种子区域，这样一共得到了16个种子，128维向量，但是由于红外图像和可见光图像的差异性，特征点附近的局部图像的性质是不一致的，对应的特征点的方向也许几乎是一致的，但梯度值却有着很大的不同，因此在对于红外图像进行8个方向的梯度值累加时选着加权平均的方式进行累加；

六、特征点的匹配

由步骤四得到红外图像任意一个极值点的坐标(x',y')，可见光图像上检测出的所有的极值点的坐标为(X₁,Y₁)、(X₂,Y₂)…(X_N,Y_N),找到原图像和待配准图像中余弦的最小值，从而得到一组对应的匹配点，计算过程如公式7所示：

min(arctan(x'-X₁,y'-Y₁),arctan(x'-X₂,y'-Y₂)......arctan(x'-X_N,y'-Y_N))(7)

把红外图像上每一个极值点都重复做公式7的计算，因而得到两幅图像对应的匹配点；

七、转移矩阵的生成

当得到了两幅待配准图像的特征点之后，通过投影变换的公式(5)来求出两幅图像之间的变换关系，然后结合ransac算法去除误匹配点，进而从ransac算法中能够求得一个精确的转移矩阵。

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_0& h_3& h_6\\ h_1& h_4& h_7\\ h_2& h_5& h_8\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(8\right)$

把中间变换的矩阵称为H，其中H有8个自由度，即h₀,h₁.....h₈8个未知的参数，至少有四组对应的点就能求出H，把公式5进行变换得到了公式9：

$\left\{\begin{array}{c}x=\frac{h_{0}X+h_{3}Y+h_6}{h_{2}X+h_{5}Y+h_8}\\ y=\frac{h_{1}X+h_{4}Y+h_7}{h_{2}X+h_{5}Y+h_8}\end{array}\right.---\left(9\right)$

从公式6能够看出未知的变量有8个，所以至少要有8个独立的线性方程才能解出这8个未知的变量，即至少要确定出4组对应的点，来能求出转移矩阵H,通过H矩阵便能得出目标图像在参考图像中的对应坐标，从而为图像的融合打下了很好的基础；

八、转移矩阵的精化

在改进的sift算法的基础上结合ransac算法，从而在ransac算法得到的模型中求出一个精确的变换矩阵H，应用ransac该算法，执行的一定的次数，称它为迭代次数k，参数t和d的值都是通过反复的实验进行确定的，但是参数k的值可以通过公式10求出：

$k=\frac{log(1-p)}{\log (1-w^n)}---\left(10\right)$

其中p的值为在任意的一组迭代过程中，从所有的数据中随机选出的一个点是正确的数据点的概率；w为任意一次从所有的数据集中选取一个正确的数据点的概率；n为所有数据点的个数，假定它们都是独立的；

九、图像的融合

从上面所得到的配准参数就可以得到两幅图像的变换关系，首先通过步骤可以把两幅图像(576×704,640×480)对应的特征点求出，然后根据得到的对应的点得到：

$\left\{\begin{array}{c}ur=\min \left(1,{x_1}^{\′},{x_2}^{\′}\mathrm{...}{x_n}^{\′}\right):\max \left(576,{x_1}^{\′},{x_2}^{\′}\mathrm{...}{x_n}^{\′}\right)\\ vr=\min \left(1,{y_1}^{\′},{y_2}^{\′}\mathrm{...}{y_n}^{\′}\right):\max \left(704,{y_1}^{\′},{y_2}^{\′}\mathrm{...}{y_n}^{\′}\right)\end{array}\right.---\left(11\right)$

根据上面的ur,vr产生一个以ur为行，vr为列的矩阵u,以及vr为行，ur为列的矩阵v,然后把576×704的图像在对应的点(u,v)的值给到一个矩阵im1_里，同样的原理，根据上面求得的u和v以及对应的转移矩阵H便可得到：

$\left\{\begin{array}{c}z\_=H(3,1)*u+H(3,2)*v+H(3,3)\\ u\_=\left(H\right(1,1)*u+H(1,2)*v+H(1,3))./z\_\\ v\_=\left(H\right(2,1)*u+H(2,2)*v+H(2,3))./z\_\end{array}\right.---\left(12\right)$

根据上面的u_,v_，把M₁×N₁的图像在对应的点(u_,v_)的值给到一个矩阵im2_里，这样便可得到两幅对应的插值图像，因此他们的融合图像为：

fusion＝α*im2_+β*im1_(13)

这里的α的值只要表示了一天24小时当中不同的时间段可见光图像的融合系数，根据可见光图像的亮度来决定α的值，通过反复的实验我们可以确定一个阈值T，如果可见光图像的平均亮度大于T，则认为是白天，此时α的值是1，反之，则把可见光图像的所有亮度值进行排序，去除前20％的亮度值的点，取剩下亮度值的和和总亮度值的比值作为α的值，β的值为1-α；因此，根据公式13就能得到融合后图像，由于算法的简洁性，图像的融合已达到了实时的效果；

十、对于视频的实时处理主要是把视频图像中的每帧根据步骤八得到的精确的转移矩阵H进行配准，配准之后的两幅图像根据公式9和公式10来进行插值，最后用公式11进行融合。

2.根据权利要求1所述的一种基于多传感器融合的低照度视频图像增强方法，其特征在于步骤八中应用ransac算法的步骤如下：

1.通过已知数据中的任意的四组点来确定一个假设的模H；

2.用剩下的数据来验证假设的模型，如果某个数据能够根据该模型得到正确的匹配点对，则认为该数据是正确的，否则就认为是错误的；

3.然后对所有的数据进行分析，如果有一定量(d)的正确的数据，则认为该假设的模型是合理的，否则是不合理的；

4.接着在正确的数据中任意选择4组数据来重新假设一个模型；

5.最后，本文通过每个假设的模型的正确的数据个数与错误率(t)来进行评价，进而选择一个最佳的模型。