CN104574339A - 一种用于视频监控的多尺度柱面投影全景图像生成方法 - Google Patents

Abstract

本发明涉及图像处理与视频处理技术领域，提供了一种用于视频监控的多尺度柱面投影全景图像生成方法，包括：截取待拼接图像的预设重叠区域，获得柱面投影图像；建立图像在各尺度下的子图像，采用改进的Harris方法寻找特征点，求该尺度下的特征向量；寻找匹配的特征点对，并进行过滤，求得最优单应性矩阵、拼接接缝的坐标以及待拼接图像实际重叠区域；进行色度的调整以消除拼接接缝，得到最终的全景图像。发明具有极大的消除因为摄像头拍摄角度引起的图像边缘畸变，采用预设重叠区域的方式提高处理速度和算法稳定性，对求得的匹配点进行过滤，采用渐进调整系数的方式进行图像色差的调整，形成最终色度一致、无接缝全景图像的优点。

Description

一种用于视频监控的多尺度柱面投影全景图像生成方法

技术领域

本发明涉及图像处理与视频处理技术领域，特别涉及一种用于视频监控的多尺度柱面投影全景图像生成方法。

背景技术

图像拼接的关键技术在于准确找到图像序列之间的重叠区域和范围，并实现对应点之间的对应关系模型，即图像配准。根据目前提出的图像配准算法，可以将图像拼接技术分为三大类：基于变换域的方法，基于图像特征的方法和基于图像灰度的方法。基于变换域的方法很难处理镜头存在旋转和缩放情况，要求待配准图像之间有较大重叠比例，同时搜索整个图像空间，计算代价高昂。而基于图像灰度的方法要求两幅图的各项属性变化不大，否则会造成较大误差。而且计算复杂，计算量大。基于图像特征的方法对图像变形和遮挡等有良好的适应能力，可以提高配准的精确程度，因此有着大量的研究，例如Harris算法和SURF算法。

经过多年的研究，国内外许多学者提出了不同的图像配准方法，在图像拼接技术方面取得了很多研究成果。如：Szeliski R在Proceedings of the 24th annual conference on Computer graphics and interactive techniques上发表的“Creating full view panoramic image mosaics and environment maps”以手动确定至少4对特征点，并以特征点像素的亮度误差构造优化函数来估计图像间的点变换关系，但是采用此方法得到的特征点数过少，配准效果并不理想。

又经检索发现，姜代红等人的专利“一种矿井监控图像快速拼接方法”中采用Harris算法提取角点，并求角点的SIFT描述符，但是这种方法中求取SIFT描述符时，描述符的维数较大，所需的计算时间和存储空间均较大，且当图像边缘因摄像头角度问题产生畸变时无法克服。

上述的各方法并未考虑到对图像因为拍摄角度造成的边缘的畸变进行修正，同时对图像配准和融合的精度以及计算速度需要综合考虑。此外用于视频监控的图像拼接方法需要进一步考虑实时性的问题，同时因为摄像头方向造成的图像光照和色度的差异在拼接之后的全景图像之中应该能够消除。

因此，图像处理与视频处理技术领域急需一种极大的消除因为摄像头拍摄角度引起的图像边缘畸变，采用预设重叠区域的方式提高处理速度和算法稳定性，对求得的匹配点进行过滤，采用渐进调整系数的方式进行图像色差的调整，形成最终色度一致、无接缝全景图像的用于视频监控的多尺度柱面投影全景图像生成方法。

发明内容

本发明为了解决如上问题，提供了一种用于视频监控的多尺度柱面投影全景图像生成方法，技术方案如下：

一种用于视频监控的多尺度柱面投影全景图像生成方法，包括如下步骤：

步骤一、截取待拼接图像的预设重叠区域并投影到柱面，获得柱面投影图像；

步骤二、针对步骤一中得到的柱面投影，利用不同尺度的高斯滤波建立图像在各尺度下的子图像，对各尺度的图像采用改进的Harris方法寻找特征点，并根据特征点所在的子图像尺度信息采用SURF算子求这些特征点在该尺度下的特征向量；

步骤三、针对步骤二中求出的特征点，求得各特征点的特征向量之间的欧氏距离，寻找匹配的特征点对，并采用多次迭代求内点数的方法对特征点对进行过滤，求得最优单应性矩阵；

步骤四、根据最优单应性矩阵及所述单应性矩阵下的各内点坐标，求得拼接接缝的坐标以及待拼接图像实际重叠区域；

步骤五，针对步骤四中拼接接缝左右实际重叠区域内的待拼接图像像素点进行色度的调整以消除待拼接图像之间的接缝，求得待拼接图像之间的相对位移并将各待拼接图像拼接在一起经裁剪得到最终的全景图像。

优选的，在一种用于视频监控的多尺度柱面投影全景图像生成方法中，步骤一中对柱面投影图像的获取过程，具体步骤如下：

首先，对于待拼接图像上的一点 ，假设其投影后在柱面图像上的对应点为，根据柱面投影算法，已知待拼接图像的宽度和高度，求出投影后的图像宽度和高度，具体公式如下：

；

；

其中，为拍摄焦距，表示待拼接图像的宽度，表示待拼接图像的高度；

将待投影图像横向边缘坐标即和代入的计算公式，求得投影图像的横向边缘坐标，从而可以得到投影后的图像宽度为；

将待投影图像横向边缘坐标即，纵向边缘坐标即代入的计算公式，求得投影后的图像高度为；

进一步地，对投影后图像中的任意点，采用投影逆变换公式求得其在待投影图像中对应点的坐标为，均为整数，，为0和1之间的数，求点处的像素点值，即需要求得点周围的四个像素点的值，点周围的四个像素点的坐标为，，，；

进一步地，根据这四个点的像素值，采用双线性插值的方式求得点处像素点的值，双线性插值的公式为：

；

其中，表示待投影图像中坐标为处的像素点的坐标值。

将得到的投影图像作为待拼接图像进行进一步的拼接操作。

优选的，在一种用于视频监控的多尺度柱面投影全景图像生成方法中，步骤二中，利用不同尺度系数的高斯滤波器建立图像在各尺度下的子图像，求取该尺度下的特征向量的具体步骤如下：

利用不同尺度系数的高斯滤波器建立图像在各尺度下的子图像，首先构建尺度空间，不同尺度下各坐标位置像素点的值的计算公式为：

；

；

其中，表示不同尺度下各坐标位置像素点的值，表示像素点坐标，表示像素点灰度值，表示尺度可变高斯函数，表示尺度值，为常数；

进一步地，Harris算子是一种基于信号的角点特征提取算子，Harris特征检测算法的基本原理为取以目标像素点为中心的一个小窗口，计算窗口沿任何方向移动后的灰度变化，从而得到整幅图像的特征点，具体处理过程为：

(1)求得各像素点处的自相关矩阵：

；

其中，表示自相关矩阵，表示自然对数的底数，是一个无限不循环小数，取值为2.71828，、表示此处像素点在方向及方向上的梯度值；

(2)根据求得的自相关矩阵，求得各像素点处的改进型Harris角点响应函数：

；

其中，表示自相关矩阵的行列式值，表示自相关矩阵的秩，为一个很小的值，用于避免当为0时出现计算错误，取值为0.0001，表示图中相应像素点的兴趣值，兴趣阈值选为最大兴趣值的0.001倍，如果一个点的值大于兴趣阈值，则把该点判定为特征点；

进一步地，针对找到的特征点，采用SURF算子计算其特征向量，具体操作过程如下：

在每个特征点周围选取一个正方形框，框的边长为20s，s指检测到的该特征点所在的子图像的尺度，把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的Haar小波特征，此处的水平方向和垂直方向都是相对主方向而言的；该Haar小波特征值分别为水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和；每个子区域都算出这4个Haar小波特征值，16个区域总共产生64个特征参数，即总共64维的特征向量。

优选的，在一种用于视频监控的多尺度柱面投影全景图像生成方法中，步骤二中的高斯滤波子图像为8层时，尺度值取从1.2至6.8均匀变化的数值，代入上述公式计算出。

优选的，在一种用于视频监控的多尺度柱面投影全景图像生成方法中，步骤三中，求得最优单应性矩阵的具体步骤如下：

首先，得到2幅子图像的特征点以及每个特征点的64维特征向量之后，进行特征点的匹配；

首先，取左侧第一幅图像的每一个特征点分别与右侧第二幅图像的所有特征点一一计算64维特征向量的欧式距离，其中距离最小的特征点视为匹配的特征点，求欧氏距离的公式如下：

；

其中，表示欧式距离，代表左侧待拼接图像第个特征点的第个特征向量，代表右侧待拼接图像第个特征点的第个特征向量；

预先设定迭代次数阈值，对求得的匹配的特征点对多次迭代求内点数，具体过程如下：

(1)从匹配特征点中选择一对特征点对，求得单应性矩阵，的计算公式为：

其中和为两个匹配特征点的坐标；

(2)用上一步所计算出的单应性矩阵去测试所有其它的匹配点对，根据此单应性矩阵求得左侧待拼接图像中被测试的点在右侧待拼接图像中的映射点的位置，其中，若此映射点与右侧待拼接图像中对应的匹配点的距离小于预先设定的阈值，则认为这一对特征点是内点；

(3)记录此时的内点数和所有内点的映射点与匹配点之间的距离之和；

(4)若此单应性矩阵下内点数最多，且此单应性矩阵下所有内点的映射点与匹配点之间的距离之和最小，则认为此单应性矩阵为最优单应性矩阵，记录下此时各内点坐标位置；

(5) 若未达到迭代次数阈值，则进入步骤(1)，否则迭代结束，此时内点数最多的单应性矩阵值为最优单应性矩阵，若有多个单应性矩阵的内点数量相同，则误差和最小的一个为最优单应性矩阵。

优选的，在一种用于视频监控的多尺度柱面投影全景图像生成方法中，步骤四中，根据最优单应性矩阵以及此最优单应性矩阵下的各内点位置，求得接缝坐标，具体步骤如下：

首先，根据各内点的水平坐标，求出各坐标的平均值，接缝是一条竖直方向的直线，所述各坐标的平均值即为接缝的水平方向的坐标；

进一步的，所述步骤四中，根据最优单应性矩阵下的各内点坐标水平的平均值和竖直的平均值，计算对于左右两侧待拼接图像来说，若要使得图像上相应的此平均点重合，右侧图像相对于左侧图像需要进行的位移，根据此位移值即可计算最终的实际重合区域。

优选的，在一种用于视频监控的多尺度柱面投影全景图像生成方法中，步骤五中，对待拼接图像进行色度的调整以消除接缝，具体步骤为：

首先，在重叠区域内，求得实际重叠区域中接缝左侧各像素点与接缝右侧各像素点在RGB三通道上的平均值的比值为、、；

进一步地，令左侧待拼接图像在实际重叠区域最左列的像素点RGB三通道的调整系数均为1，左侧待拼接图像在接缝处的RGB三通道调整系数为、、，中间各列的调整系数呈等差数列均匀分布；

进一步地，令右侧待拼接图像在重叠区域最右列的像素点RGB三通道的调整系数均为1，右侧待拼接图像在接缝处的RGB三通道调整系数为、、，中间各列的调整系数呈等差数列均匀分布；

进一步地，对于待拼接图像在重叠区域的各列图像，各像素点均乘以相应的调整系数，各像素点调整系数计算的具体公式如下:

；

；

其中，设实际重叠区域左下角坐标为(0,0)，表示重叠区域最左侧一列到接缝处的列宽，表示接缝处到重叠区域最右侧一列的列宽，表示从重叠区域最左侧一列向右第列的像素点的调整系数，表示第列的像素点原始R通道的值，表示第列的像素点融合后的R通道的值，显然时求得的调整系数属于左侧待拼接图像的调整系数，而时求得的调整系数属于右侧待拼接图像的调整系数，、通道的处理方法与通道一致。

本发明的有益效果：

1、本发明方法采用预设重叠区域的方法降低了计算复杂度，使用了柱面投影算法消除了摄像头角度造成的图像边缘畸变对拼接的影响，运用不同尺度的高斯滤波构建子图像和并采用SURF算子获取特征向量，可以有效的应对仿射变换，噪声等影响，同时对图像的旋转，尺度缩放，亮度变化保持不变性，采用改进Harris特征点检测算法提高了拼接图像过程的鲁棒性，采用多次迭代求内点数的方法对匹配点进行过滤，提高了配准的准确性，采用均匀调整系数的方法消除了因为待拼接图像色度差异而引起的接缝。该方法能够应用于视频监控中的全景图像生成，对其他复杂环境下的图像拼接也具有科学的参考价值。

2、本发明的待拼接图像中相应像素点的兴趣值的计算方法相对于基于原始公式具有避免参数的选取，减少了选择的随机性，具有实用性、可靠性、准确度高等优点。

附图说明

图1是本发明一种用于视频监控的多尺度柱面投影全景图像生成方法的流程图。

图2是本发明圆柱投影变换的结构示意图。

图3是针对具有16个子区域的正方形框求取特征向量的结构示意图。

图4是本发明特征点过滤结构示意图。

图5为2个待拼接图像移动拼接结构示意图。

图6为2个待拼接图像融合结构示意图。

具体实施方式

为了使本发明技术实现的措施、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

图1是本发明一种用于视频监控的多尺度柱面投影全景图像生成方法的流程图。

如图1所示，一种用于视频监控的多尺度柱面投影全景图像生成方法，包括如下步骤：

步骤一、选取图像中重叠的部分区域，并投影到柱面；

由于不同图像之间重合的部分主要在边缘区域，出于加快运算等方面的考虑，在获得图像后，首先截取图像交界处30%的区域，然后将该截取的区域进行柱面投影；

图2是本发明圆柱投影变换的结构示意图，如图2所示，对于待拼接图像上的一点，假设其投影后在柱面图像上的对应点为，根据柱面投影算法，已知待拼接图像的宽度和高度，求出投影后的图像宽度和高度，具体公式如下：

；

；

其中，为拍摄焦距，表示待拼接图像的宽度，表示待拼接图像的高度；

将待投影图像横向边缘坐标即和代入的计算公式，求得投影图像的横向边缘坐标，从而可以得到投影后的图像宽度为；

将待投影图像横向边缘坐标即，纵向边缘坐标即代入的计算公式，求得投影后的图像高度为；

进一步地，对投影后图像中的任意点，采用投影逆变换公式求得其在待投影图像中对应点的坐标为，均为整数，，为0和1之间的数。求点处的像素点值，即需要求得点周围的四个像素点的值，点周围的四个像素点的坐标为，，，；

进一步地，根据这四个点的像素值，采用双线性插值的方式求得点处像素点的值，双线性插值的公式为：

；

其中，表示待投影图像中坐标为处的像素点的坐标值。

将得到的投影图像作为待拼接图像进行进一步的拼接操作；

步骤二、采用多尺度的高斯滤波器对待拼接图像进行滤波，得到待拼接图像在各个尺度下的子图像，对各尺度子图像利用改进Harris算法得到特征点，根据尺度信息采用SURF算子求特征点在该尺度下的特征向量；

首先，利用不同尺度系数的高斯滤波器建立图像在各尺度下的子图像，具体描述如下：

构建尺度空间时，不同尺度下各坐标位置像素点的值为：

；

其中，表示不同尺度下各坐标位置像素点的值，表示像素点坐标，表示像素点灰度值，表示尺度可变高斯函数，具体公式为：

；

在本实施例中采用的是8层高斯滤波子图像，故尺度值取从1.2至6.8均匀变化的数值，代入上述公式计算出；

进一步地，Harris算子是一种基于信号的角点特征提取算子，Harris特征检测算法的基本原理为取以目标像素点为中心的一个小窗口，计算窗口沿任何方向移动后的灰度变化，从而得到整幅图像的特征点，具体处理过程为：

(1)求得各像素点处的自相关矩阵：

；

其中，表示自相关矩阵，表示自然对数的底数，是一个无限不循环小数，取值为2.71828，、表示此处像素点在方向及方向上的梯度值；

(2)根据求得的自相关矩阵，求得各像素点处的改进型Harris角点响应函数：

；

其中，表示自相关矩阵的行列式值，表示自相关矩阵的秩，为一个很小的值，用于避免当为0时出现计算错误，取值为0.0001，表示待拼接图像中相应像素点的兴趣值，兴趣阈值选为最大兴趣值的0.001倍，如果一个点的值大于兴趣阈值，则把该点判定为特征点；

进一步地，针对找到的特征点，采用SURF算子计算其特征向量，具体操作过程如下：

图3是针对具有16个子区域的正方形框求取特征向量的结构示意图，如图3所示，本实施例是在每个特征点周围选取一个正方形框，框的边长为20s，s指检测到的该特征点所在的子图像的尺度，把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的Haar小波特征，此处的水平方向和垂直方向都是相对主方向而言的；该Haar小波特征值分别为水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和；每个子区域都算出这4个Haar小波特征值，16个区域总共产生64个特征参数，即总共64维的特征向量；

步骤三、求取各特征点描述向量之间的欧氏距离，寻找匹配的特征点对，采用多次迭代求内点数的方法对匹配的特征点对做误匹配的过滤，寻找最优的单应性矩阵，具体步骤如下：

图4是本发明特征点过滤结构示意图，如图4所示，本实施例在得到2幅子图像的特征点以及每个特征点的64维特征向量之后，进行特征点的匹配；

首先，取左侧第一幅图像的每一个特征点分别与右侧第二幅图像的所有特征点一一计算64维特征向量的欧式距离，其中距离最小的特征点视为匹配的特征点，求欧氏距离的公式如下：

；

其中，表示欧式距离，代表左侧待拼接图像第个特征点的第个特征向量，代表右侧待拼接图像第个特征点的第个特征向量；

如图4所示，对求得的匹配的特征点对，多次迭代求内点数，本实施例设定的迭代次数阈值为30，具体过程如下：

(1)随机选一对匹配的特征点记为和，根据此匹配特征点对计算单应性矩阵，的计算公式为：

(2)用上一步所计算出的单应性矩阵去测试所有其它的匹配点对，根据此单应性矩阵求得左侧待拼接图像中被测试的点在右侧待拼接图像中的映射点的位置，其中；

(3)若理论匹配点与实际匹配点的距离小于预先设定的阈值0.03，则视为一对内点；

(4)统计在每个单应性矩阵下内点的数量以及映射后的误差之和；

(5)重复上述(1)~(4)的过程，直到迭代次数超过迭代次数阈值30为止，此时内点数最多的单应性矩阵值为最优单应性矩阵，若有多个单应性矩阵的内点数量相同，则误差和最小的一个为最优单应性矩阵；

步骤四、根据最优单应性矩阵及所述单应性矩阵下的各内点坐标，求得拼接接缝的坐标以及待拼接图像实际重叠区域，具体步骤如下：

图5为2个待拼接图像移动拼接结构示意图，如图5所示，首先，设该最优单应性矩阵所对应的内点为和，把所有内点的横坐标和纵坐标分别求和取平均值得到点，同理所有的的横坐标和纵坐标分别求和取平均值得到点；

；

其中，表示匹配特征点对的数量，和分别表示图5中左侧待拼接图像第个特征点的、坐标，和分别表示图5中右侧待拼接图像第个特征点的、坐标；如图5所示将左侧待拼接图像和右侧待拼接图像位移使点和点重合，拼接后的图像中在点及其左边的区域取左侧待拼接图像的值，在右边的取右侧待拼接图像的值，与点和点的值相同的点所形成的直线就是拼接接缝，求得拼接接缝的坐标；

若要使得图像上相应的平均点重合，右侧图像相对于左侧图像需要进行的位移，根据此位移值即可计算最终的实际重叠区域；

步骤五、根据最优单应性矩阵、接缝坐标求得待拼接图像实际重叠区域中各列图像在RGB三通道的调整系数，通过图像融合算法消除因待拼接图像速度不同而产生的接缝，具体步骤如下：

图6为2个待拼接图像融合方法示意图，进一步地，对于待拼接图像在重叠区域的各列图像，各像素点均乘以相应的调整系数，以通道为例，先求得区域1内所有像素点通道值的平均值，再求得区域2所有像素点通道值的平均值，计算2者的比值。

进一步地，令左侧待拼接图像在实际重叠区域最左列的像素点R通道的调整系数均为1，左侧待拼接图像在接缝处的R通道调整系数为，中间各列的调整系数呈等差数列均匀分布；

进一步地，令右侧待拼接图像在重叠区域最右列的像素点R通道的调整系数均为1，右侧待拼接图像在接缝处的R通道调整系数为，中间各列的调整系数呈等差数列均匀分布；

进一步地，对于待拼接图像在重叠区域的各列图像，各像素点均乘以相应的调整系数，各像素点调整系数计算的具体公式如下:然后对实际重叠区域所有的通道的值进行加权，消除色差，各像素点调整系数计算的具体公式如下:

；

；

其中，设实际重叠区域左下角坐标为(0,0)，表示重叠区域最左侧一列到接缝处的列宽，表示接缝处到重叠区域最右侧一列的列宽，表示从重叠区域最左侧一列向右第列的像素点的调整系数，表示第列的像素点原始R通道的值，表示第列的像素点融合后的R通道的值，显然时求得的调整系数属于左侧待拼接图像的调整系数，而时求得的调整系数属于右侧待拼接图像的调整系数，、通道的处理方法与通道一致。将步骤五中得到的拼接图像进行融合消除色差的操作之后，即可根据重叠区域的高度对图6的图像进行裁剪，清除多余的部分得到规整图像。

下面结合具体实施例对本发明进行具体的描述：

待拼接图像为1280x720的图像，每张图占50°的视角，生成全景图像的具体步骤为：

首先，对待拼接图像进行投影，投影图像大小为1160x720；

然后，对相邻图像取30%的重叠区域，采用8个尺度值，计算各尺度的子图像中每个像素点的自相关矩阵值和角点响应函数值，根据角点响应函数值，左侧图像得到153个特征点，右侧图像得到137个特征点；

然后，根据尺度值计算各特征点的64维特征描述向量，根据各特征点的描述向量之间的欧氏距离，得出137对匹配的特征点。

然后，选取欧氏距离最接近的前60对特征点，采用30次迭代的方式，求得一对最优匹配点，最优匹配点的坐标分别为(994.8212,405.5112)和(57.4074,499.9148),求得的单应性矩阵为：

根据最优单应性矩阵，求得接缝位置即左侧匹配点的行号994.8212，取整可得出接缝位于左侧图像的995列处。

重叠区域为将两幅图像位移重叠后，从右侧图像的最左边到左侧图像的最右边的区域；对图像进行融合操作，得出RGB三通道的比值、、分别为1.22、0.79、1.36；

然后，采用上述计算公式计算重叠区域各列像素点的调整系数，将左右两侧图像的色度调整至一致，最后将右侧图像根据单应性矩阵移动并与左侧图像放置于同一画布，两幅图像的拼接图像自接缝处开始，左侧像素点来自于左侧待拼接图像，右侧像素点来自于右侧待拼接图像，最后对两幅图像的拼接图像裁剪得到大小为2098x626的图像，即完成全景图像的拼接工作。

本发明的待拼接图像中相应像素点的兴趣值的计算方法相对于基于原始公式具有避免参数的选取，减少了选择的随机性，具有实用性、可靠性、准确度高等优点。

本发明方法采用预设重叠区域的方法降低了计算复杂度，使用了柱面投影算法消除了摄像头角度造成的图像边缘畸变对拼接的影响，运用不同尺度的高斯滤波构建子图像和并采用SURF算子获取特征向量，可以有效的应对仿射变换，噪声等影响，同时对图像的旋转，尺度缩放，亮度变化保持不变性，采用改进Harris特征点检测算法提高了拼接图像过程的鲁棒性，采用多次迭代求内点数的方法对匹配点进行过滤，提高了配准的准确性，采用均匀调整系数的方法消除了因为待拼接图像色度差异而引起的接缝。该方法能够应用于视频监控中的全景图像生成，对其他复杂环境下的图像拼接也具有科学的参考价值。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.一种用于视频监控的多尺度柱面投影全景图像生成方法，包括如下步骤：

步骤一、截取待拼接图像的预设重叠区域，并投影到柱面，获得柱面投影图像；

步骤二、针对所述步骤一中得到的柱面投影，利用不同尺度的高斯滤波建立图像在各尺度下的子图像，对各尺度的图像采用改进的Harris方法寻找特征点，并根据特征点所在的子图像尺度信息采用SURF算子求这些特征点在该尺度下的特征向量；

步骤三、针对所述步骤二中求出的特征点，求得各特征点的特征向量之间的欧氏距离，寻找匹配的特征点对，并采用多次迭代求内点数的方法对特征点对进行过滤，求得最优单应性矩阵；

步骤四、根据所述最优单应性矩阵及所述单应性矩阵下的各内点坐标，求得拼接接缝的坐标以及待拼接图像实际重叠区域；

步骤五，针对所述步骤四中拼接接缝左右实际重叠区域内的待拼接图像像素点进行色度的调整以消除待拼接图像之间的接缝，求得待拼接图像之间的相对位移并将各待拼接图像拼接在一起经裁剪得到最终的全景图像。

2.根据权利要求1所述的一种用于视频监控的多尺度柱面投影全景图像生成方法，其特征在于，所述步骤一中对柱面投影图像的获取过程，具体步骤如下：

首先，对于待拼接图像上的一点 ，假设其投影后在柱面图像上的对应点为，根据柱面投影算法，已知待拼接图像的宽度和高度，求出投影后的图像宽度和高度，具体公式如下：

；

；

其中，为拍摄焦距，表示待拼接图像的宽度，表示待拼接图像的高度；

将待投影图像横向边缘坐标即和代入的计算公式，求得投影图像的横向边缘坐标，从而可以得到投影后的图像宽度为；

将待投影图像横向边缘坐标即，纵向边缘坐标即代入的计算公式，求得投影后的图像高度为；

进一步地，对投影后图像中的任意点，采用投影逆变换公式求得其在待投影图像中对应点的坐标为，均为整数，，为0和1之间的数；求点处的像素点值，即需要求得点周围的四个像素点的值，点周围的四个像素点的坐标为，，，；

进一步地，根据这四个点的像素值，采用双线性插值的方式求得点处像素点的值，双线性插值的公式为：

；

其中，表示待投影图像中坐标为处的像素点的坐标值；

将得到的投影图像作为待拼接图像进行步骤二的拼接操作。

3.根据权利要求1所述的一种用于视频监控的多尺度柱面投影全景图像生成方法，其特征在于，所述步骤二中，利用不同尺度系数的高斯滤波器建立图像在各尺度下的子图像，求取该尺度下的特征向量的具体步骤如下：

首先，利用不同尺度系数的高斯滤波器建立图像在各尺度下的子图像，首先构建尺度空间，不同尺度下各坐标位置像素点的值的计算公式为：

；

；

其中，表示不同尺度下各坐标位置像素点的值，表示像素点坐标，表示像素点灰度值，表示尺度可变高斯函数，表示尺度值，为常数；

进一步地，Harris算子是一种基于信号的角点特征提取算子，Harris特征检测算法的基本原理为取以目标像素点为中心的一个小窗口，计算窗口沿任何方向移动后的灰度变化，从而得到整幅图像的特征点，具体处理过程为：

求得各像素点处的自相关矩阵：

；

其中，表示自相关矩阵，表示自然对数的底数，是一个无限不循环小数，取值为2.71828，、表示此处像素点在方向及方向上的梯度值；

(2)根据求得的自相关矩阵，求得各像素点处的改进型Harris角点响应函数：

；

其中，表示自相关矩阵的行列式值，表示自相关矩阵的秩，为一个很小的值，用于避免当为0时出现计算错误，取值为0.0001，表示图中相应像素点的兴趣值，兴趣阈值选为最大兴趣值的0.001倍，如果一个点的值大于兴趣阈值，则把该点判定为特征点；

进一步地，针对找到的特征点，采用SURF算子计算其特征向量，具体操作过程如下：

在每个特征点周围选取一个正方形框，框的边长为20s，s指检测到的该特征点所在的子图像的尺度，把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的Haar小波特征，此处的水平方向和垂直方向都是相对主方向而言的；该Haar小波特征值分别为水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和；每个子区域都算出这4个Haar小波特征值，16个区域总共产生64个特征参数，即总共64维的特征向量。

4.根据权利要求1所述的一种用于视频监控的多尺度柱面投影全景图像生成方法，其特征在于，所述步骤二中的高斯滤波子图像为8层时，尺度值取从1.2至6.8均匀变化的数值，代入上述公式计算出。

5.根据权利要求1所述的一种用于视频监控的多尺度柱面投影全景图像生成方法，其特征在于，所述步骤三中，求得最优单应性矩阵的具体步骤如下：

首先，得到2幅子图像的特征点以及每个特征点的64维特征向量之后，进行特征点的匹配；

取左侧第一幅图像的每一个特征点分别与右侧第二幅图像的所有特征点一一计算64维特征向量的欧式距离，其中距离最小的特征点视为匹配的特征点，求欧氏距离的公式如下：

；

其中，表示欧式距离，代表左侧待拼接图像第个特征点的第个特征向量，代表右侧待拼接图像第个特征点的第个特征向量；

预先设定迭代次数阈值，对求得的匹配的特征点对多次迭代求内点数，具体过程如下：

(1)从匹配特征点中选择一对特征点对，求得单应性矩阵，的计算公式为：

其中和为两个匹配特征点的坐标；

(2)用上一步所计算出的单应性矩阵去测试所有其它的匹配点对，根据此单应性矩阵求得左侧待拼接图像中被测试的点在右侧待拼接图像中的映射点的位置，其中，若此映射点与右侧待拼接图像中对应的匹配点的距离小于预先设定的阈值，则认为这一对特征点是内点；

(3)记录此时的内点数和所有内点的映射点与匹配点之间的距离之和；

(4)若此单应性矩阵下内点数最多，且此单应性矩阵下所有内点的映射点与匹配点之间的距离之和最小，则认为此单应性矩阵为最优单应性矩阵，记录下此时各内点坐标位置；

(5) 若未达到迭代次数阈值，则进入步骤(1)，否则迭代结束，此时内点数最多的单应性矩阵值为最优单应性矩阵，若有多个单应性矩阵的内点数量相同，则误差和最小的一个为最优单应性矩阵。

6.根据权利要求1所述的一种用于视频监控的多尺度柱面投影全景图像生成方法，其特征在于，所述步骤四中，根据最优单应性矩阵以及此最优单应性矩阵下的各内点位置，求得接缝坐标，具体步骤如下：

首先，根据各内点的水平坐标，求出各坐标的平均值，接缝是一条竖直方向的直线，所述各坐标的平均值即为接缝的水平方向的坐标；

进一步的，所述步骤四中，根据最优单应性矩阵下的各内点坐标水平的平均值和竖直的平均值，计算对于左右两侧待拼接图像来说，若要使得图像上相应的此平均点重合，右侧图像相对于左侧图像需要进行的位移，根据此位移值即可计算最终的实际重合区域。

7.根据权利要求1所述的一种用于视频监控的多尺度柱面投影全景图像生成方法，其特征在于，所述步骤五中，对待拼接图像进行色度的调整以消除接缝，具体步骤为：

首先，在实际重叠区域内，求得实际重叠区域中接缝左侧各像素点与接缝右侧各像素点在RGB三通道上的平均值的比值为、、；

进一步地，令左侧待拼接图像在实际重叠区域最左列的像素点RGB三通道的调整系数均为1，左侧待拼接图像在接缝处的RGB三通道调整系数为、、，中间各列的调整系数呈等差数列均匀分布；

进一步地，令右侧待拼接图像在重叠区域最右列的像素点RGB三通道的调整系数均为1，右侧待拼接图像在接缝处的RGB三通道调整系数为、、，中间各列的调整系数呈等差数列均匀分布；

进一步地，对于待拼接图像在重叠区域的各列图像，各像素点均乘以相应的调整系数，各像素点调整系数计算的具体公式如下:

；

；

其中，设实际重叠区域左下角坐标为(0,0)，表示重叠区域最左侧一列到接缝处的列宽，表示接缝处到重叠区域最右侧一列的列宽，表示从重叠区域最左侧一列向右第列的像素点的调整系数，表示第列的像素点原始R通道的值，表示第列的像素点融合后的R通道的值，显然时求得的调整系数属于左侧待拼接图像的调整系数，而时求得的调整系数属于右侧待拼接图像的调整系数，、通道的处理方法与通道一致。