CN105787876A - 一种基于surf特征跟踪匹配的全景视频自动拼接方法 - Google Patents

Abstract

本发明公开了一种基于SURF特征跟踪匹配的全景视频自动拼接方法，该方法包括：首帧区分式处理方法，首帧用来选取视频参考坐标系，后续帧直接进行视频融合；根据待拼接视频首帧，提取SURF特征点，生成特征点描述向量；基于哈希映射和桶存储的方式，搜寻相似SURF特征向量点对，构成相似特征集合；利用相似SURF特征集合中的向量点对，求解最佳数据关联度坐标系；将经过坐标变换的待拼接视频帧的像素值进行动态加权求和，实现视频的无缝拼接融合。本发明能够实现全方位、多视角、立体化的视频无缝拼接融合，不仅克服了因图像平移、旋转、缩放和放射变换等因素造成的痕迹、模糊和重影现象，而且提高了基于特征匹配进行图像校准的效率和精度。

Description

一种基于SURF特征跟踪匹配的全景视频自动拼接方法

技术领域

本发明涉及到计算机图形图像学技术领域，具体是一种基于SURF特征跟踪匹配的全景视频自动拼接方法。

背景技术

视频图像是人类获取视觉信息的主要途径，在全国重要场所、轨道交通、重点区域、敏感地带等地区建设的视频监控信息系统，在进行政治活动、日常警务工作、社会公共安全管理等方面发挥了不可替代的重要作用。视频拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了一些拼接技术。根据视频图像匹配方法的不同，一般可以将视频拼接技术分为以下两种类型：

1.基于区域相关的视频拼接技术

基于区域相关的视频拼接技术是从待拼接图像的灰度值出发，对待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法、平均值法、加权值法等计算其灰度值的差异，对差异比较后判断待拼接视频图像重叠区域的相似程度，由此得到待拼接视频图像重叠区域的范围和位置，从而实现视频拼接。这种方法实现简单、便捷，但是，拼接效果较差，常常由于亮度、对比度的变化及其它原因导致拼接失败。

2.基于特征相关的拼接技术

基于特征的配准方法不是直接利用视频图像的像素值，而是通过像素导出图像特征，然后以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配。特征匹配的算法有：交叉相关、距离变换、动态编程、结构匹配、链码相关等算法。但到目前为止，基于特征相关的视频拼接技术依然存在以下问题：特征提取难度大、匹配效率低，易受视频图像平移、旋转等因素的影响，拼接融合易产生痕迹、模糊和重影现象。

另外，结合视频监控系统与业务部门应用需求，现有视频拼接技术体系也存在较大差距，成为制约业务实战和管理创新的瓶颈。

(1)现有工作仍然依赖于传统分镜头监控，无法对由多个监控摄像机所覆盖的场景及周边环境进行整体的全景实时监控，不同视频资源切换，因角度、视野等差异，在实际指挥工作中存在不便，一旦发生重大或者突发问题，很难迅速有效地进行全局监视、宏观预估及综合调度、实时指挥。

(2)现有的分镜头视频监控系统无法实现全程的迅速精确地定位追踪目标，当目标离开单镜头监控范围，很难获取完全的运行轨迹，导致目标跟踪失效，同样的问题也存在于基于视频资料的历史事件查找回溯中。

(3)现有的分镜头视频监控系统缺乏有效的手段识别多个体、多区域、跨镜头的协同活动，从而有可能造成分析的偏差或错误，决断的延迟或错漏，乃至应急响应的迟误。

发明内容

有鉴于此，针对视频拼接中特征匹配效率低、拼接效果差的问题，本发明公开一种基于SURF特征跟踪匹配的全景视频自动拼接方法，通过利用面向视频帧的SURF特征快速提取、基于哈希桶映射的SURF特征匹配、基于投影模型的视频坐标变换以及基于动态加权的视频帧融合等方法，克服因视频图像平移、旋转等因素造成的模糊重影问题，有效提高视频特征匹配的处理速度和精度，实现视频的无缝拼接融合。

为了达到上述目的，本发明是通过以下技术方案实现的：

一种基于SURF特征跟踪匹配的全景视频自动拼接方法，包含以下步骤：

步骤一：

针对两个或者多个待衔接视频，分别读取两个或者多个视频的首帧图像；

步骤二：

对首帧图像进行SURF特征快速提取，生成SURF特征点描述向量，其中，所述SURF特征是一种基于尺度空间的、对图像平移、旋转、缩放和放射变换保持鲁棒性的图像局部特征；

步骤三：

进行基于哈希桶映射的SURF特征匹配，即对待拼接视频的首帧图像，基于哈希映射和桶存储的方式，搜寻相似SURF特征向量点对，构成相似特征集合；

步骤四：

进行基于投影模型的视频坐标变换，利用相似SURF特征集合中的向量点对，求解最佳数据关联度坐标系模型；

步骤五：

进行基于动态加权的视频帧融合，将经过坐标变换的待拼接视频帧的像素值进行加权求和，实现视频的无缝拼接融合；

步骤六：

读取两个或者多个待衔接视频的后续帧图像，直接进行步骤四和步骤五。

优选地，所述待衔接视频的数量为两个，分别为待拼接视频A和待拼接视频B。

进一步地，所述步骤二中的SURF特征快速提取，包括以下步骤：

步骤1：构造“4组5层”尺度空间；

利用不同模板尺寸盒子滤波近似不同尺度的二阶高斯微分滤波，建立高斯尺度空间，构造“4组5层”盒子滤波对原始图像进行过滤，设定a表示尺度空间坐标，第一组盒子尺度为a×a、k²a×k²a、k³a×k³a、k⁴a×k⁴a、k⁵a×k⁵a，第2～4组依次类推，其中k>1；

步骤2：针对第i组尺度空间，在每一层上随机采样n个样本点；

步骤3：计算第i组尺度空间的极值点，确定为SURF特征点；

首先，取第i组尺度空间的第j个采样点S_j；其次，判断若S_j是否是该组尺度空间所有样本点的最大值或最小值；最后，若是最大值或最小值，确定S_j为第i组尺度空间的SURF特征点，否则，重复计算第j+1个采样点S_j+1；

步骤4：计算特征点的主方向，生成特征点描述向量。

进一步地，所述步骤二还包括以下步骤：构造“4组5层”尺度空间的盒子滤波器对原始图像过滤；基于相邻尺度比较的SURF特征点选取；计算以特征点为圆心、6倍尺度为半径的圆形邻域内图像Haar小波响应，设定特征点的主方向，生成特征点描述向量。

进一步地，所述步骤三中的哈希桶包含多个桶，桶数为N，每个桶高相等且记为H，依据哈希桶构造位置敏感哈希函数h(x)，其中h(x)是位置敏感的哈希函数，两个SURF特征点相对位置越近，则计算得到哈希值K相等的概率越大；h(x)的哈希值K在[1,N]上服从均匀分布。

进一步地，所述步骤三中的基于哈希桶映射的SURF特征匹配，包括以下步骤：

步骤1：针对待拼接视频A和待拼接视频B，将其包含的所有SURF特征点分别进行哈希映射，分别计算对应哈希值；

步骤2：以哈希桶的方式存储具有相同哈希值的SURF特征点；

步骤3：针对任意哈希桶，计算桶内所有SURF特征点对(x,y)的欧式距离，其中，SURF特征点x属于待拼接视频A，SURF特征点y属于待拼接视频B；

步骤4：选取距离最小的作为最佳匹配特征点对。

进一步地，所述在步骤四中的基于投影模型的视频坐标变换，包括以下步骤：步骤1：根据视频图像存在的投影变换关系，确定最佳数据关联度坐标系矩阵H。采用射影变换，2幅待拼接视频SURF特征点满足如下变换关系：

$\left(\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)$

其中，(x_i,y_i)为第i对匹配特征点对，通过变换矩阵后，得到变换后的对应特征点(x_i',y_i')，需要根据样本特征点估计矩阵H中的8个参数；

步骤2：将SURF特征点对分成K＝N/M层，其中N为总的特征点对数目，M为每层特征点对数目；

步骤3：针对任意一层，从SURF特征点对中随机抽取4对特征点，计算矩阵H；

步骤4：设定误差阈值L，并用其它特征点对(x_i,y_i)来检验模型矩阵H，计算变换误差ε，若某一特征点对(x_i,y_i)的ε_i≤L，则将其归为内点；否则，归为外点；

步骤5：重复步骤3、步骤4，直到计算所有K层，找出K层中内点数量最多的为最佳数据关联度坐标系矩阵H。

进一步地，所述在步骤五中的基于动态加权的视频帧融合，包括以下步骤：

步骤1：设I1和I2为两幅待拼接的图像的重叠部分，I1和I2对应的像素值为V1和V2；

步骤2：构造动态赋权函数f(V)，使得权重随着像素值的变化而变化，当像素值较小时，权重值增加较快；随着像素值的增加，权重值缓慢增加，其中，赋权函数构造原则是：

(1)f(V)是S型单调递增函数；

(2)f(V)的值域为[0,1]；

(3)存在某一个拐点V*：

当V<V*时，反之，当V≥V*时，

步骤3：计算V1和V2对应的权重f1和f2；

步骤4：加权平滑处理后得到f1·V1+f2·V2。

本发明的有益效果如下：

1.处理效率高：

首帧区分式处理框架，只需对视频首帧进行SURF特征提取、匹配、校准和融合，较大提高了视频帧拼接的处理速度；将具有相同位置信息的SURF点进行一次哈希桶映射，大大缩小了匹配范围，较大提高了特征匹配的效率；

2.视频拼接效果好：

采用SURF特征进行坐标校准，克服了因图像平移、旋转、缩放和放射变换等因素造成的痕迹、模糊和重影现象；基于动态加权的视频帧融合方法，有效解决了因图像采集光照、视野等不同而造成的视频拼缝问题。

附图说明：

图1为本发明实施例提供的基于SURF特征跟踪匹配的全景视频自动拼接的步骤流程示意图；

图2为本发明实施例提供的面向视频帧的SURF特征快速提取的步骤流程示意图；

图3为本发明实施例提供的SURF特征点计算的步骤流程示意图；

图4为本发明实施例提供的哈希桶结构示意图；

图5为本发明实施例提供的基于哈希桶映射的SURF特征匹配的步骤流程示意图；

图6为本发明实施例提供的基于投影模型的视频坐标变换的步骤流程示意图；

图7为本发明实施例提供的基于动态加权的视频帧融合方法的步骤流程示意图。

具体实施方式：

依照以下的附图详细说明关于本发明的示例性实施例。

本发明实施例提供了一种基于SURF特征跟踪匹配的全景视频自动拼接方法，如图1所示，首先对该方法的如下流程进行简单介绍：

步骤1：针对两个待拼接视频，读取第i个视频帧；

步骤2：若i＝1，即该帧为视频首帧，则进行第3步；否则，直接进行5步；

步骤3：针对两个视频首帧，快速提取SURF特征点，生成特征点描述向量；

步骤4：针对两个视频首帧，基于哈希映射和桶存储的方式，搜寻相似SURF特征向量点对，构成相似特征集合；

步骤5：基于投影模型的视频坐标变换，求解最佳数据关联度坐标系；

步骤6：基于动态加权的视频帧融合，将经过坐标变换的待拼接视频帧的像素值进行加权求和，实现视频的无缝拼接融合。

在本发明的技术方案实现过程中，如图2所示，面向视频帧的SURF特征快速提取，该开发过程包括：

步骤1：构造“4组5层”尺度空间。

利用不同模板尺寸盒子滤波近似不同尺度的二阶高斯微分滤波，建立高斯尺度空间。构造“4组5层”盒子滤波对原始图像进行过滤，设定a表示尺度空间坐标，第一组盒子尺度为a×a、k²a×k²a、k³a×k³a、k⁴a×k⁴a、k⁵a×k⁵a，第2～4组依次类推，其中k>1。

步骤2：针对第i组尺度空间，在每一层上随机采样n个样本点。

步骤3：计算第i组尺度空间的极值点，确定为SURF特征点。

如图3所示，首先，取第i组尺度空间的第j个采样点S_j；其次，判断若S_j是否是该组尺度空间所有样本点的最大值或最小值；最后，若是最大值或最小值，确定S_j为第i组尺度空间的SURF特征点，否则，重复计算第j+1个采样点S_j+1。

步骤4：计算特征点的主方向，生成特征点描述向量。

在本发明的技术方案实现过程中，如图4所示，构造了哈希桶结构，该哈希桶结构具有以下特征：

包含N个桶，每个桶高均是H；

构造了位置敏感哈希函数h(x)；

h(x)是位置敏感的哈希函数，两个SURF特征点相对位置越近，则计算得到哈希值K相等的概率越大；

h(x)的哈希值K在[1,N]上服从均匀分布。

在本发明的技术方案实现过程中，如图5所示，基于哈希桶映射的SURF特征匹配方法，该开发过程包括：

步骤1：针对待拼接视频A和待拼接视频B，将其包含的所有SURF特征点分别进行哈希映射，分别计算对应Hash值；

步骤2：以哈希桶的方式存储具有相同哈希值的SURF特征点；

步骤3：针对任意哈希桶，计算桶内所有SURF特征点对(x,y)的欧式距离，其中，SURF特征点x属于待拼接视频A，SURF特征点y属于待拼接视频B；

步骤4：选取距离最小的作为最佳匹配特征点对。

在本发明的技术方案实现过程中，如图6所示，基于投影模型的视频坐标变换方法，该开发过程包括：

步骤1：根据视频图像存在的投影变换关系，确定最佳数据关联度坐标系矩阵H。采用射影变换，2幅待拼接视频SURF特征点满足如下变换关系：

$\left(\begin{array}{c}{x}_i^{\&prime;}\\ y_i^{\&prime;}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)$

其中，(x_i,y_i)为第i对匹配特征点对，通过变换矩阵后，得到变换后的对应特征点(x_i',y_i')，需要根据样本特征点估计H中的8个参数。

步骤2：将SURF特征点对分成K＝N/M层，其中N为总的特征点对数目，M为每层特征点对数目。

步骤3：针对任意一层，从SURF特征点对中随机抽取4对特征点，计算H。

步骤4：设定误差阈值L，并用其它特征点对(x_i,y_i)来检验模型矩阵H，计算变换误差ε，若某一特征点对(x_i,y_i)的ε_i≤L，则将其归为内点；否则，归为外点。

步骤5：重复步骤3、步骤4，直到计算所有K层，找出K层中内点数量最多的为最佳数据关联度坐标系矩阵H。

在本发明的技术方案实现过程中，如图7所示，基于动态加权的视频帧融合方法，该开发过程包括：

步骤1：设I1和I2为两幅待拼接的图像的重叠部分，I1和I2对应的像素值为V1和V2。

步骤2：构造动态赋权函数f(V)，使得权重随着像素值的变化而变化，当像素值较小时，权重值增加较快；随着像素值的增加，权重值缓慢增加。赋权函数构造原则是：

①f(V)是S型单调递增函数；

②f(V)的值域为[0,1]；

③存在某一个拐点V*：

当V<V*时，反之，当V≥V*时，

步骤3：计算V1和V2对应的权重f1和f2；

步骤4：加权平滑处理后得到f1·V1+f2·V2。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。以上所述仅为本发明示意性的具体实施方式，并非用以限定本发明的范围，任何本领域的技术人员在不脱离本发明构思和原则的前提下所做出的等同变化与修改，均应属于本发明保护的范围。

Claims (8)

1.一种基于SURF特征跟踪匹配的全景视频自动拼接方法，其特征在于，包含以下步骤：

步骤一：

针对两个或者多个待衔接视频，分别读取两个或者多个视频的首帧图像；

步骤二：

对首帧图像进行SURF特征快速提取，生成SURF特征点描述向量，其中，所述SURF特征是一种基于尺度空间的、对图像平移、旋转、缩放和放射变换保持鲁棒性的图像局部特征；

步骤三：

进行基于哈希桶映射的SURF特征匹配，即对待拼接视频的首帧图像，基于哈希映射和桶存储的方式，搜寻相似SURF特征向量点对，构成相似特征集合；

步骤四：

进行基于投影模型的视频坐标变换，利用相似SURF特征集合中的向量点对，求解最佳数据关联度坐标系模型；

步骤五：

进行基于动态加权的视频帧融合，将经过坐标变换的待拼接视频帧的像素值进行加权求和，实现视频的无缝拼接融合；

步骤六：

读取两个或者多个待衔接视频的后续帧图像，直接进行步骤四和步骤五。

2.根据权利要求1所述的基于SURF特征跟踪匹配的全景视频自动拼接方法，其特征在于，所述待衔接视频的数量为两个，分别为待拼接视频A和待拼接视频B。

3.根据权利要求1或2所述的基于SURF特征跟踪匹配的全景视频自动拼接方法，其特征在于，所述步骤二中的SURF特征快速提取，包括以下步骤：

步骤1：构造“4组5层”尺度空间；

利用不同模板尺寸盒子滤波近似不同尺度的二阶高斯微分滤波，建立高斯尺度空间，构造“4组5层”盒子滤波对原始图像进行过滤，设定a表示尺度空间坐标，第一组盒子尺度为a×a、k²a×k²a、k³a×k³a、k⁴a×k⁴a、k⁵a×k⁵a，第2～4组依次类推，其中k>1；

步骤2：针对第i组尺度空间，在每一层上随机采样n个样本点；

步骤3：计算第i组尺度空间的极值点，确定为SURF特征点；

首先，取第i组尺度空间的第j个采样点S_j；其次，判断若S_j是否是该组尺度空间所有样本点的最大值或最小值；最后，若是最大值或最小值，确定S_j为第i组尺度空间的SURF特征点，否则，重复计算第j+1个采样点S_j+1；

步骤4：计算特征点的主方向，生成特征点描述向量。

4.根据权利要求2所述的基于SURF特征跟踪匹配的全景视频自动拼接方法，其特征在于，所述步骤二还包括以下步骤：构造“4组5层”尺度空间的盒子滤波器对原始图像过滤；基于相邻尺度比较的SURF特征点选取；计算以特征点为圆心、6倍尺度为半径的圆形邻域内图像Haar小波响应，设定特征点的主方向，生成特征点描述向量。

5.根据权利要求2所述的基于SURF特征跟踪匹配的全景视频自动拼接方法，其特征在于，所述步骤三中的哈希桶包含多个桶，桶数为N，每个桶高相等且记为H，依据哈希桶构造位置敏感哈希函数h(x)，其中h(x)是位置敏感的哈希函数，两个SURF特征点相对位置越近，则计算得到哈希值K相等的概率越大；h(x)的哈希值K在[1,N]上服从均匀分布。

6.根据权利要求5所述的基于SURF特征跟踪匹配的全景视频自动拼接方法，其特征在于，所述步骤三中的基于哈希桶映射的SURF特征匹配，包括以下步骤：

步骤1：针对待拼接视频A和待拼接视频B，将其包含的所有SURF特征点分别进行哈希映射，分别计算对应哈希值；

步骤2：以哈希桶的方式存储具有相同哈希值的SURF特征点；

步骤3：针对任意哈希桶，计算桶内所有SURF特征点对(x,y)的欧式距离，其中，SURF特征点x属于待拼接视频A，SURF特征点y属于待拼接视频B；

步骤4：选取距离最小的作为最佳匹配特征点对。

7.根据权利要求6所述的基于SURF特征跟踪匹配的全景视频自动拼接方法，其特征在于，所述在步骤四中的基于投影模型的视频坐标变换，包括以下步骤：

步骤1：根据视频图像存在的投影变换关系，确定最佳数据关联度坐标系矩阵H。采用射影变换，2幅待拼接视频SURF特征点满足如下变换关系：

$\left(\begin{array}{c}{x}_i^{\&prime;}\\ y_i^{\&prime;}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)$

其中，(x_i,y_i)为第i对匹配特征点对，通过变换矩阵后，得到变换后的对应特征点(x′_i,y′_i)，需要根据样本特征点估计矩阵H中的8个参数；

步骤2：将SURF特征点对分成K＝N/M层，其中N为总的特征点对数目，M为每层特征点对数目；

步骤3：针对任意一层，从SURF特征点对中随机抽取4对特征点，计算矩阵H；

步骤4：设定误差阈值L，并用其它特征点对(x_i,y_i)来检验模型矩阵H，计算变换误差ε，若某一特征点对(x_i,y_i)的ε_i≤L，则将其归为内点；否则，归为外点；

步骤5：重复步骤3、步骤4，直到计算所有K层，找出K层中内点数量最多的为最佳数据关联度坐标系矩阵H。

8.根据权利要求7所述的基于SURF特征跟踪匹配的全景视频自动拼接方法，其特征在于，所述在步骤五中的基于动态加权的视频帧融合，包括以下步骤：

步骤1：设I1和I2为两幅待拼接的图像的重叠部分，I1和I2对应的像素值为V1和V2；

步骤2：构造动态赋权函数f(V)，使得权重随着像素值的变化而变化，当像素值较小时，权重值增加较快；随着像素值的增加，权重值缓慢增加，其中，赋权函数构造原则是：

(1)f(V)是S型单调递增函数；

(2)f(V)的值域为[0,1]；

(3)存在某一个拐点V*：

当V<V*时，反之，当V≥V*时，

步骤3：计算V1和V2对应的权重f1和f2；

步骤4：加权平滑处理后得到f1·V1+f2·V2。