CN105809626A - 一种自适应光线补偿的视频图像拼接方法 - Google Patents

Abstract

本发明涉及一种自适应光线补偿的视频图像拼接方法，属于视频图像处理领域。包括采集摄像头拍摄的视频，并提取视频的第一帧图像对，提取视频图像的特征点，寻找匹配的特征向量对，剔除误匹配特征点对，计算得到转移矩阵，自适应光线补偿，视频拼接。优点是能够实现无缝、大视角、实时地视频拼接，可广泛应用于视频会议、视频监控和机器人视觉等领域。

Description

一种自适应光线补偿的视频图像拼接方法

技术领域

本发明属于视频图像处理领域。

背景技术

在视频监控领域，由于单一图像采集设备视场角有限，获得的信息量有限，逐渐难以满足人们的日常生活需要。视频拼接技术可以将多个监控摄像机获得的视频图像拼接得到宽视角、高清晰度的图像。因此，视频拼接技术将逐渐应用于军事遥感、航拍视频图像、航空航天、交通安全、医学显微视频图像、工业发展、电视电话会议等领域，具有广泛的应用价值。实时性问题是视频拼接技术的难点。

视频拼接方法可以被划分成两大类：硬件实现方法和软件算法实现方法。基于硬件的拼接方法对源视频图像进行分割，得到多个子视频，然后经过处理将这些分割好的在一个大的场景上实现拼接的目的。该类方法虽然可以达到实时拼接，但拼接后的视频图像存在分辨率较低、质量差、会产生拼接痕迹等问题。而且，基于硬件的视频拼接方法，难以解决摄像头偏转导致的拼接错误问题。基于软件的拼接方法，将采集到的具有重叠部分的多个视频，通过图像处理算法完成视频拼接。该类方法，成本低、便于修改和系统升级，但是大多数软件拼接算法复杂度高、实时性差，难以应用于视频拼接，限制了其应用价值。

近年来，视频拼接技术的研究得到多方面进展。目前，基于软件算法的视频拼接技术还不成熟，难以完全满足实时处理的要求。现有的软件拼接方法，匹配后的特征点对，存在大量误差像素，并且拼接后的视频图像分辨低、平均拼接时间不满足视频拼接的实时性要求，拼接效果不理想。

发明内容

本发明提供一种自适应光线补偿的视频图像拼接方法，采用尺度不变特征变换算法、随机采样一致算法、自适应光线补偿算法以及转移矩阵快速计算方法，对待拼接视频图像进行高精准的匹配，实时拼接分辨率大于640*480的视频图像，以解决拼接耗时、分辨率低、光线不均匀、摄像机移动或旋转导致的拼接错误等问题，达到了亮度均匀、分辨率高、实时显示的效果。该方法主要分为两个部分：转移矩阵的获取和视频序列的拼接。第一部分首先采用尺度不变特征变换算法对第一帧图像提取特征点对，利用夹角余弦法进行粗匹配，然后采用随机采样一致算法对特征点对提纯。最后，通过投影变换模型和随机采样一致算法计算得到转移矩阵，第二部分是关键部分，即根据得到的转移矩阵，采用自适应光线补偿方法对灰度平均值低的视频图像进行预处理，然后对光线补偿后的视频进行拼接。本发明能够实现无缝、大视角、实时地视频拼接，可广泛应用于视频会议、视频监控和机器人视觉等领域。

本发明采取的技术方案包括以下步骤：

一、采集摄像头拍摄的视频，并提取视频的第一帧图像对；

二、提取视频图像的特征点；

(1)尺度空间的生成

尺度空间是对图像进行空间上的变换预处理，便于更好的计算和处理，尺度空间是通过变化尺度的高斯函数与原图像的卷积计算得到；

其中，L(x,y,σ)表示尺度空间，I(x,y)表示图像的灰度值，G(x,y,σ)表示高斯函数。(x,y)表示空间坐标；σ为尺度坐标，决定图像的图像清晰度，σ越小，表示图像整体越模糊，而细节越清晰，清晰度越好；反之，图像的平滑效果越差；

高斯差分DOG金字塔空间是通过高斯金字塔每组中相邻两层图像进行差运算构建得到，如下式所示：

(2)尺度空间关键点的检测

在DOG空间中，关键点的检测，即局部极值点的检测，是通过相同组内的相邻两层图像进行比较完成，当前像素点总共需要和相邻的26个像素点进行比较，如果这个待检测点是这些比较点中的最大值或是最小值，则这个点就是整个尺度空间下的一个极值点，若每组内检测S个尺度的极值点，DOG空间每组的层数为S+2，则高斯金字塔每组的层数为S+3，总层数S一般取3，初始尺度σ₀一般取1.6；

构建尺度空间的主要参数是关键点的尺度坐标，即关键点的组和组内层数，通过公式(4)计算得到：

其中，σ₀为基准层尺度，o为组索引，s为组内的层索引，O为总组数，S为总层数；

高斯金字塔内，当前层在组内的尺度坐标为：

当前组内每一层的尺度计算公式：

其中，为组内总层数的倒数，在不同组内，相同层的尺度坐标相同，在相同组内，每一层图像通过前一层图像根据尺度坐标进行高斯模糊计算得到，根据公式(5)，直接用于计算组内不同尺度的高斯图像；

(3)关键点的定位

由于检测到的极值点是离散的，通过函数拟合方式，可以确定关键点的精确位置和尺度，再通过去除边缘响应点和低对比度点，提高匹配的稳定性；

极值点偏移量：

极值点经过函数拟合后的值：

根据公式(8)可知，当时，为低对比度特征点，应当舍去，反之则保留；

候选点的DOG函数的主曲率与2x2的Hessian矩阵H特征值成正比，矩阵H如下式所示：

其中，D_xx,D_xy,D_yy为候选点在邻域内的像素差分值，假设最大的特征值为λ₁，最小的特征值为λ₂，则令γ＝λ₁/λ₂，主曲率公式如下：

其中，Tr(H)表示矩阵H的对角线元素之和，Det(H)表示矩阵H的行列式，由公式(10)可知，当λ₁＝λ₂时，值最小，通过阈值化处理，当大于时，像素点被认为是边缘响应点，应当剔除，一般r取10；

(4)关键点方向的分配

根据检测出的关键点，利用公式(11)和公式(12)，在其3σ邻域窗口内，统计邻域像素的梯度分布直方图，梯度直方图将360度的方向分为36个柱，每柱10度，梯度直方图的峰值方向即为关键点的主方向，利用距离最高峰值最近的三个柱值，通过抛物线差值可以精确得到关键点的方向，另外，通过保留其中大于等于主峰值能量80％的峰值，确定新的关键点，用于增强匹配的鲁棒性，新的关键点方向为此峰值方向，其坐标、尺度与当前关键点相同，即一个关键点可能产生多个方向不同的关键点；

其中，L(x,y)表示关键点尺度空间值，□(x,y)表示梯度的方向，m(x,y)表示梯度的模值；

(5)关键点描述子的生成

特征点生成描述子可以更准确地反映出关键点的特点，一般采用高斯圆形区域对关键点进行描述，首先将坐标轴旋转到关键点的方向，保证特征点的旋转不变性，然后，选择关键点为中心的16*16窗口，分为16个4*4的小块，在每个小块中，计算8个方向的梯度方向直方图，累加形成一个种子点；

在关键点的尺度空间内，每个关键点由16个种子点组成，每个种子点又包括8个方向向量，因此，一个关键点的所有信息，通过16*8＝128维特征向量进行描述，特征向量描述子生成后，还需根据公式(13)进行规范化处理，去除光照变化造成的影响；

其中，W＝(h₁,h₂,h₃,...h₁₂₈)为关键点描述子向量，L＝(l₁,l₂,l₃,...l₁₂₈)为归一化特征向量；

三、寻找匹配的特征向量对

利用类似夹角余弦的思想代替K—D树，寻找每个特征点的最近距离点和次近距离点，对任意两个特征向量，进行夹角余弦计算，夹角越小，得到的欧式距离越小，通过阈值化处理，保留匹配的特征点对；

其中，d表示特征向量对的欧式距离，x_ij表示原始视频第一帧的特征向量，x’_ij另一原始视频第一帧的特征向量；

四、剔除误匹配特征点对，计算得到转移矩阵

运用随机采样一致算法剔除误匹配点，再利用随机采样一致算法获得原始视频第一帧间的变换关系，计算得到转移矩阵H，最后，根据投影变换模型，对转移矩阵进行精炼；

投影变换关系式，如下所示：

其中，(x,y)为二维空间原始像素点坐标，(x’,y’)为经过H矩阵变换后的像素坐标；

五、自适应光线补偿

由于光线不均匀、拍摄角度等原因，导致拍摄的视频对之间存在亮度差，从而使拼接后的视频存在明显的拼接痕迹、亮度不均匀等问题，通过比较待融合区域的像素点灰度值的差值平均值Δ，将亮度大的作为基准图像，然后，计算基准图像待融合区域的直方图分布，根据得到的直方图分布和人眼对灰度级的敏感范围，对亮度低的视频图像进行直方图规定化处理，实现自适应光线补偿，去除光线不均匀带来的影响，使拼接后的视频在视觉上更加自然；

差值平均公式：

其中，Δ为待融合区域内对应像素点灰度的差值平均值，I₁’(x,y)为视频1待融合区域内的像素灰度值，I₂’(x,y)为视频1待融合区域内的像素灰度值；

直方图规定化的相关公式如下：

z_k＝G^-1[T(r_k)]k＝0,1,2,…,L-1(20)

其中，L为图像的离散灰度级的数量，例如8比特图像，L＝256；N为像素数的总和；n_i为灰度级为r_i的像素数量；z_k、v_k为基准图像待融合区域的输入和输出灰度级；r_k、s_k为待光线补偿图像的输入和输出灰度级；

六、视频拼接

视频1和视频2的公共区域是实现拼接过程的关键部分，为快速实现视频图像的平滑过度，将自适应光线补偿图像的待融合区域像素作为融合像素，不但有效避免拼接缝隙，而且节省算法运行时间，因此，经过自适应补偿后的视频图像，其公共区域近似为两个视频的融合区域。假设视频1为待光线补偿的视频图像，视频2为基准视频图像，则拼接后的结果，由公式(21)得到；

其中，f(x,y)为拼接后的视频图像，f₁’(x,y)为视频1图像经过光线补偿后的像素，f₂(x,y)为视频2图像的像素。

本发明具有下述有益效果：

(1)本发明是针对摄像头可能存在偏转或移动情况下，对分辨率大于640*480的视频进行快速拼接方法。

(2)摄像头拍摄的视频图像分辨率高、且存在亮度差异。根据原始视频第一帧图像对，利用归一化特征向量，进行粗匹配，再通过随机采样一致算法剔除误匹配点对。根据精确的匹配点对，计算得到原始视频间的转移矩阵。然后，利用转移矩阵，快速匹配原始输入视频对(第一帧图像对除外)，找到公共区域。基于转移矩阵快速寻找公共区域的方法，保证了视频拼接的实时性要求，可以有效去除摄像头偏转或移动产生的拼接错误。

根据公共区域像素间的差值平均值，确定基准视频图像和待光线补偿视频图像。然后，利用基准图像的灰度级分布，对待光线补偿的视频图像进行自适应光线补偿，消除光照强度带来的影响。最后，选择经过光线补偿图像的待融合区域像素作为融合像素，快速实时进行视频拼接。

(3)本发明不仅适用于在静态场景下，进行分辨率大于640*480的实时视频图像拼接，还可用于动态场景下，进行分辨率大于640*480的实时视频图像拼接。

(4)本发明在民用监控、机器人视觉、智能交通和国防安全等方面具有广泛的应用价值。

附图说明

图1为本发明实施例中场景1的原始视频第1帧图像，其中左边是视频1，右边是视频2；

图2为实施例中经过粗匹配后的配准图；

图3为实施例中去除误匹配点对后的配准图；

图4为实施例中光线补偿前后的拼接效果图；其中左边是未经光线补偿的拼接效果图，右边是光线补偿后的拼接效果图；

图5为实施例中图4视频拼接后的第1帧图像；

图6为实施例中视频拼接后的第200帧图像；

图7为实施例中场景2的原始视频第一帧图像，其中左边是视频1，右边是视频2；

图8为实施例中场景2经过拼接后的第1帧图像；

图9为实施例中场景2经过拼接后的第110帧图像。

具体实施方式

包括以下步骤：

一、采集摄像头拍摄的视频，并提取视频的第一帧图像对；

二、提取视频图像的特征点；

(1)尺度空间的生成

尺度空间是对图像进行空间上的变换预处理，便于更好的计算和处理，尺度空间是通过变化尺度的高斯函数与原图像的卷积计算得到；

其中，L(x,y,σ)表示尺度空间，I(x,y)表示图像的灰度值，G(x,y,σ)表示高斯函数。(x,y)表示空间坐标；σ为尺度坐标，决定图像的图像清晰度，σ越小，表示图像整体越模糊，而细节越清晰，清晰度越好；反之，图像的平滑效果越差；

高斯差分DOG金字塔空间是通过高斯金字塔每组中相邻两层图像进行差运算构建得到，如下式所示：

(2)尺度空间关键点的检测

在DOG空间中，关键点的检测，即局部极值点的检测，是通过相同组内的相邻两层图像进行比较完成，当前像素点总共需要和相邻的26个像素点进行比较，如果这个待检测点是这些比较点中的最大值或是最小值，则这个点就是整个尺度空间下的一个极值点，若每组内检测S个尺度的极值点，DOG空间每组的层数为S+2，则高斯金字塔每组的层数为S+3，总层数S一般取3，初始尺度σ₀一般取1.6；

构建尺度空间的主要参数是关键点的尺度坐标，即关键点的组和组内层数，通过公式(4)计算得到：

其中，σ₀为基准层尺度，o为组索引，s为组内的层索引，O为总组数，S为总层数；

高斯金字塔内，当前层在组内的尺度坐标为：

当前组内每一层的尺度计算公式：

其中，为组内总层数的倒数，在不同组内，相同层的尺度坐标相同，在相同组内，每一层图像通过前一层图像根据尺度坐标进行高斯模糊计算得到，根据公式(5)，直接用于计算组内不同尺度的高斯图像；

(3)关键点的定位

由于检测到的极值点是离散的，通过函数拟合方式，可以确定关键点的精确位置和尺度，再通过去除边缘响应点和低对比度点，提高匹配的稳定性；

极值点偏移量：

极值点经过函数拟合后的值：

根据公式(8)可知，当时，为低对比度特征点，应当舍去，反之则保留；

候选点的DOG函数的主曲率与2x2的Hessian矩阵H特征值成正比，矩阵H如下式所示：

其中，D_xx,D_xy,D_yy为候选点在邻域内的像素差分值，假设最大的特征值为λ₁，最小的特征值为λ₂，则令γ＝λ₁*λ₂，主曲率公式如下：

其中，Tr(H)表示矩阵H的对角线元素之和，Det(H)表示矩阵H的行列式，由公式(10)可知，当λ₁＝λ₂时，值最小，通过阈值化处理，当大于时，像素点被认为是边缘响应点，应当剔除，一般r取10；

(4)关键点方向的分配

根据检测出的关键点，利用公式(11)和公式(12)，在其3σ邻域窗口内，统计邻域像素的梯度分布直方图，梯度直方图将360度的方向分为36个柱，每柱10度，梯度直方图的峰值方向即为关键点的主方向，利用距离最高峰值最近的三个柱值，通过抛物线差值可以精确得到关键点的方向，另外，通过保留其中大于等于主峰值能量80％的峰值，确定新的关键点，用于增强匹配的鲁棒性，新的关键点方向为此峰值方向，其坐标、尺度与当前关键点相同，即一个关键点可能产生多个方向不同的关键点；

其中，L(x,y)表示关键点尺度空间值，θ(x,y)表示梯度的方向，m(x,y)表示梯度的模值；

(5)关键点描述子的生成

特征点生成描述子可以更准确地反映出关键点的特点，一般采用高斯圆形区域对关键点进行描述，首先将坐标轴旋转到关键点的方向，保证特征点的旋转不变性，然后，选择关键点为中心的16*16窗口，分为16个4*4的小块，在每个小块中，计算8个方向的梯度方向直方图，累加形成一个种子点；

在关键点的尺度空间内，每个关键点由16个种子点组成，每个种子点又包括8个方向向量，因此，一个关键点的所有信息，通过16*8＝128维特征向量进行描述，特征向量描述子生成后，还需根据公式(13)进行规范化处理，去除光照变化造成的影响；

其中，W＝(h₁,h₂,h₃,...h₁₂₈)为关键点描述子向量，L＝(l₁,l₂,l₃,...l₁₂₈)为归一化特征向量；

三、寻找匹配的特征向量对

利用类似夹角余弦的思想代替K—D树，寻找每个特征点的最近距离点和次近距离点，对任意两个特征向量，进行夹角余弦计算，夹角越小，得到的欧式距离越小，通过阈值化处理，保留匹配的特征点对；

其中，d表示特征向量对的欧式距离，x_ij表示原始视频第一帧的特征向量，x’_ij另一原始视频第一帧的特征向量；

四、剔除误匹配特征点对，计算得到转移矩阵

运用随机采样一致算法剔除误匹配点，再利用随机采样一致算法获得原始视频第一帧间的变换关系，计算得到转移矩阵H，最后，根据投影变换模型，对转移矩阵进行精炼；

投影变换关系式，如下所示：

其中，(x,y)为二维空间原始像素点坐标，(x’,y’)为经过H矩阵变换后的像素坐标；

五、自适应光线补偿

由于光线不均匀、拍摄角度等原因，导致拍摄的视频对之间存在亮度差，从而使拼接后的视频存在明显的拼接痕迹、亮度不均匀等问题，通过比较待融合区域的像素点灰度值的差值平均值Δ，将亮度大的作为基准图像，然后，计算基准图像待融合区域的直方图分布，根据得到的直方图分布和人眼对灰度级的敏感范围，对亮度低的视频图像进行直方图规定化处理，实现自适应光线补偿，去除光线不均匀带来的影响，使拼接后的视频在视觉上更加自然；

差值平均公式：

其中，Δ为待融合区域内对应像素点灰度的差值平均值，I₁’(x,y)为视频1待融合区域内的像素灰度值，I₂’(x,y)为视频1待融合区域内的像素灰度值；

直方图规定化的相关公式如下：

z_k＝G^-1[T(r_k)]k＝0,1,2,…,L-1(20)

其中，L为图像的离散灰度级的数量，例如8比特图像，L＝256；N为像素数的总和；n_i为灰度级为r_i的像素数量；z_k、v_k为基准图像待融合区域的输入和输出灰度级；r_k、s_k为待光线补偿图像的输入和输出灰度级；

六、视频拼接

视频1和视频2的公共区域是实现拼接过程的关键部分，为快速实现视频图像的平滑过度，将自适应光线补偿图像的待融合区域像素作为融合像素，不但有效避免拼接缝隙，而且节省算法运行时间，因此，经过自适应补偿后的视频图像，其公共区域近似为两个视频的融合区域。假设视频1为待光线补偿的视频图像，视频2为基准视频图像，则拼接后的结果，由公式(21)得到；

其中，f(x,y)为拼接后的视频图像，f1’(x,y)为视频1图像经过光线补偿后的像素，f₂(x,y)为视频2图像的像素。

下边通过实施例来进一步说明本发明。

一、通过摄像头1和2采集原始视频，并分别提取第1帧图像，如图1所示，视频图像分辨率为706*576。

二、提取视频图像的特征点；

三、寻找匹配的特征向量对

通过以上计算得到特征向量后，首先要进行原始视频第一帧图像的粗匹配过程。本发明采用夹角余弦代替K-D树的方法对匹配算法进行优化，确定每个特征点的最近距离，节省了运行时间。通过计算任意两个特征向量的夹角余弦，得到粗匹配的特征向量对。特征向量间的夹角越小，则距离越近。如图2所示，为经过粗匹配过程后的效果图，其中1、2、3为错误匹配的特征点。

四、剔除误匹配特征点对，计算得到转移矩阵

步骤三的粗匹配过程，会产生一些错误的匹配特征向量对，直接影响最后的拼接效果。为了得到精确的匹配效果，随机选取错误匹配的特征点作为样本数据，通过建立数学模型和阈值化处理，选择最优模型，达到提纯配准点对的目的。本发明采用随机采样一致算法实现特征点的精确匹配，通过第一帧图像对间的变换关系，求解转移矩阵H。根据公式(15)和(16)，可以得到精炼后的转移矩阵H。利用转移矩阵H可以快速确定原始视频对之间的公共区域，便于后边的视频拼接过程。如图3所示，为去除错误匹配点对的配准图。

五、自适应光线补偿

在拍摄视频过程中，由于光线不均匀、摄像机角度等原因，导致捕捉到的视频图像对间亮度存在差异。图4为直接拼接配准视频图像，得到的效果图。由于摄像头拍摄视频的光线不均匀，导致直接拼接后的视频图像存在明显的拼接痕迹。为了减小亮度差异，去除拼接痕迹，以亮度大的作为基准图像，需对另一个视频图像进行自适应光线补偿。

在步骤四得到的待融合区域中，首先，比较视频1和视频2的像素灰度值的均值，确定亮度大的作为基准图像，亮度低的作为待光线补偿图像。根据人眼对灰度级的敏感特性范围，选择灰度级范围[32,208]。通过公式(17)计算所选灰度级范围和待融合区域内像素对的差值平均值，确定待光线补偿图像的灰度级范围。假如差值平均值Δ＝10，则待光线补偿图像的灰度级范围为[22,198]。然后根据公式(18)，计算待光线补偿图像的灰度级变换函数T。利用公式(19)，计算基准图像待融合区域的灰度级变换函数G。

由公式(18)知，待光线补偿图像的灰度级r_k，首先通过变换函数T映射为s_k。再根据公式(19)和(20)，将s_k映射为z_k，z_k即为光线补偿后的灰度级。由于光线随时间不断变化，为了实现自适应光线补偿，需每隔一段时间，更新Δ值，重新确定灰度级的范围。图4为亮度补偿后的视频拼接效果图，可明显观察到经光线补偿后拼接的视频去掉了拼接缝隙，在视觉上更加自然。

六、视频拼接

通过以上处理，根据第一帧图像对的转移矩阵，可以精确得到视频1和视频2的公共区域，即待融合的区域。为快速实现视频图像的平滑过度，将自适应光线补偿图像的待融合区域像素作为融合像素，不但有效避免拼接缝隙，而且节省算法运行时间。如公式(21)所示，f(x,y)为拼接后的视频图像

图5为场景1实时拼接后视频的第1帧图像。图6为场景1实时拼接后视频的第200帧图像。通过观察拼接后的视频图像可知，框内运动的人位置实时变动。图7为场景2的原始视频第一帧图像。图8为场景2实时拼接后视频的第1帧图像。图9为场景2实时拼接后视频的第110帧图像。通过观察拼接后的视频图像可知，场景内运动的车，随时间一直向前移动。并且，拼接后的视频图像无拼接缝隙，帧速25帧/s，比单一视频图像具有更多的目标和场景信息。

以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明的原理的技术方案均属于本方面的保护范围，对于本领域的技术人员而言，在不脱离本发明的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种自适应光线补偿的视频图像拼接方法，其特征在于包括下列步骤：

一、采集摄像头拍摄的视频，并提取视频的第一帧图像对；

二、提取视频图像的特征点；

三、寻找匹配的特征向量对

利用类似夹角余弦的思想代替K—D树，寻找每个特征点的最近距离点和次近距离点，对任意两个特征向量，进行夹角余弦计算，夹角越小，得到的欧式距离越小，通过阈值化处理，保留匹配的特征点对；

其中，d表示特征向量对的欧式距离，x_ij表示原始视频第一帧的特征向量，x’_ij另一原始视频第一帧的特征向量；

四、剔除误匹配特征点对，计算得到转移矩阵

运用随机采样一致算法剔除误匹配点，再利用随机采样一致算法获得原始视频第一帧间的变换关系，计算得到转移矩阵H，最后，根据投影变换模型，对转移矩阵进行精炼；

投影变换关系式，如下所示：

其中，(x,y)为二维空间原始像素点坐标，(x’,y’)为经过H矩阵变换后的像素坐标；

五、自适应光线补偿

由于光线不均匀、拍摄角度等原因，导致拍摄的视频对之间存在亮度差，从而使拼接后的视频存在明显的拼接痕迹、亮度不均匀问题，通过比较待融合区域的像素点灰度值的差值平均值Δ，将亮度大的作为基准图像，然后，计算基准图像待融合区域的直方图分布，根据得到的直方图分布和人眼对灰度级的敏感范围，对亮度低的视频图像进行直方图规定化处理，实现自适应光线补偿，去除光线不均匀带来的影响，使拼接后的视频在视觉上更加自然；

差值平均公式：

其中，Δ为待融合区域内对应像素点灰度的差值平均值，I₁’(x,y)为视频1待融合区域内的像素灰度值，I₂’(x,y)为视频1待融合区域内的像素灰度值；

直方图规定化的相关公式如下：

z_k＝G^-1[T(r_k)]k＝0,1,2,…,L-1(20)

其中，L为图像的离散灰度级的数量，例如8比特图像，L＝256；N为像素数的总和；n_i为灰度级为r_i的像素数量；z_k、v_k为基准图像待融合区域的输入和输出灰度级；r_k、s_k为待光线补偿图像的输入和输出灰度级；

六、视频拼接

视频1和视频2的公共区域是实现拼接过程的关键部分，为快速实现视频图像的平滑过度，将自适应光线补偿图像的待融合区域像素作为融合像素，不但有效避免拼接缝隙，而且节省算法运行时间，因此，经过自适应补偿后的视频图像，其公共区域近似为两个视频的融合区域。假设视频1为待光线补偿的视频图像，视频2为基准视频图像，则拼接后的结果，由公式(21)得到；

其中，f(x,y)为拼接后的视频图像，f₁’(x,y)为视频1图像经过光线补偿后的像素，f₂(x,y)为视频2图像的像素。

2.根据权利要求1所述的一种自适应光线补偿的视频图像拼接方法，其特征在于：步骤一中通过摄像头1和2采集原始视频。

3.根据权利要求1所述的一种自适应光线补偿的视频图像拼接方法，其特征在于，步骤二具体包括：

(1)尺度空间的生成

尺度空间是对图像进行空间上的变换预处理，便于更好的计算和处理，尺度空间是通过变化尺度的高斯函数与原图像的卷积计算得到；

其中，L(x,y,σ)表示尺度空间，I(x,y)表示图像的灰度值，G(x,y,σ)表示高斯函数。(x,y)表示空间坐标；σ为尺度坐标，决定图像的图像清晰度，σ越小，表示图像整体越模糊，而细节越清晰，清晰度越好；反之，图像的平滑效果越差；

高斯差分DOG金字塔空间是通过高斯金字塔每组中相邻两层图像进行差运算构建得到，如下式所示：

(2)尺度空间关键点的检测

在DOG空间中，关键点的检测，即局部极值点的检测，是通过相同组内的相邻两层图像进行比较完成，当前像素点总共需要和相邻的26个像素点进行比较，如果这个待检测点是这些比较点中的最大值或是最小值，则这个点就是整个尺度空间下的一个极值点，若每组内检测S个尺度的极值点，DOG空间每组的层数为S+2，则高斯金字塔每组的层数为S+3，总层数S一般取3，初始尺度σ₀一般取1.6；

构建尺度空间的主要参数是关键点的尺度坐标，即关键点的组和组内层数，通过公式(4)计算得到：

其中，σ₀为基准层尺度，o为组索引，s为组内的层索引，O为总组数，S为总层数；

高斯金字塔内，当前层在组内的尺度坐标为：

当前组内每一层的尺度计算公式：

其中，为组内总层数的倒数，在不同组内，相同层的尺度坐标相同，在相同组内，每一层图像通过前一层图像根据尺度坐标进行高斯模糊计算得到，根据公式(5)，直接用于计算组内不同尺度的高斯图像；

(3)关键点的定位

由于检测到的极值点是离散的，通过函数拟合方式，可以确定关键点的精确位置和尺度，再通过去除边缘响应点和低对比度点，提高匹配的稳定性；

极值点偏移量：

极值点经过函数拟合后的值：

根据公式(8)可知，当时，为低对比度特征点，应当舍去，反之则保留；

候选点的DOG函数的主曲率与2x2的Hessian矩阵H特征值成正比，矩阵H如下式所示：

其中，D_xx,D_xy,D_yy为候选点在邻域内的像素差分值，假设最大的特征值为λ₁，最小的特征值为λ₂，则令γ＝λ₁/λ₂，主曲率公式如下：

其中，Tr(H)表示矩阵H的对角线元素之和，Det(H)表示矩阵H的行列式，由公式(10)可知，当λ₁＝λ₂时，值最小，通过阈值化处理，当大于时，像素点被认为是边缘响应点，应当剔除，一般r取10；

(4)关键点方向的分配

根据检测出的关键点，利用公式(11)和公式(12)，在其3σ邻域窗口内，统计邻域像素的梯度分布直方图，梯度直方图将360度的方向分为36个柱，每柱10度，梯度直方图的峰值方向即为关键点的主方向，利用距离最高峰值最近的三个柱值，通过抛物线差值可以精确得到关键点的方向，另外，通过保留其中大于等于主峰值能量80％的峰值，确定新的关键点，用于增强匹配的鲁棒性，新的关键点方向为此峰值方向，其坐标、尺度与当前关键点相同，即一个关键点可能产生多个方向不同的关键点；

其中，L(x,y)表示关键点尺度空间值，θ(x,y)表示梯度的方向，m(x,y)表示梯度的模值；

(5)关键点描述子的生成

特征点生成描述子可以更准确地反映出关键点的特点，一般采用高斯圆形区域对关键点进行描述，首先将坐标轴旋转到关键点的方向，保证特征点的旋转不变性，然后，选择关键点为中心的16*16窗口，分为16个4*4的小块，在每个小块中，计算8个方向的梯度方向直方图，累加形成一个种子点；

在关键点的尺度空间内，每个关键点由16个种子点组成，每个种子点又包括8个方向向量，因此，一个关键点的所有信息，通过16*8＝128维特征向量进行描述，特征向量描述子生成后，还需根据公式(13)进行规范化处理，去除光照变化造成的影响；

其中，W＝(h₁,h₂,h₃,…h₁₂₈)为关键点描述子向量，L＝(l₁,l₂,l₃,…l₁₂₈)为归一化特征向量。