CN104392416B - 一种运动场景的视频拼接方法 - Google Patents

Abstract

本发明公开了一种运动场景的视频拼接方法。首先采用改进的同余变换不变特征算法，在不同视频中求解共同特征点，提高了提取特征的速度；其次，采用迭代法计算亮度差异最小路径，来动态调整连接缝，以处理运动物体穿过拼接帧之间的重叠区域，避免运动物体穿过重叠区域出现重影问题；最后，采用了一种基于特征的视频色调正常化方法消除视频帧之间的色差。本发明能够在大型运动场景的视频监控中广泛应用，它提高视频拼接对不同环境的适应性，解决了视频拼接的常见问题，直接为视频拼接算法的改进提供了强有力的推动。

Description

一种运动场景的视频拼接方法

技术领域

本发明涉及视频处理技术领域，涉及视频拼接方法，特别是一种运动场景的视频拼接方法。

背景技术

日常生活中，时常需要获取宽视角、运动场景的全景视频，但是由于摄像设备中物理因素的限制，一般只能得到运动场景的局部视频。一些硬件设备，如鱼眼摄像机和广角镜头虽然可以得到全景视频，但成本较高，不适合广泛使用。而视频拼接技术在军事监控、生物医学、汽车导航等领域有着广泛的应用需求。考虑到现在大型的运动场景中通常需要布设多台摄像机，这正是运动场景的全景拼接的基础。如此，采用视频拼接的全景视频监控运动场景，避免了原本一个大场景被分割成多个子窗口，不能自然全面的反映真实场景的缺点。

视频拼接中的视频配准大部分是基于特征的。尺度不变特征变换算法(ScaleInvariant Feature Transformation以下简称“SIFT”算法，参见文献刘畅,金立左,费树岷等.固定多摄像头的视频拼接技术[J].数据采集与处理,2014,29(1):126-132.)以及加速鲁棒性特征算法(Speeded-up Robust Features,以下简称“SURF”算法，参见文献时磊,谢晓芳,乔勇军,基于SURF算法的人脸跟踪技术研究[J].计算机仿真,2010,27(12):227-230.)是较为常见的基于特征的算法。虽然SIFT以及SURF算法的描述能力强，但是计算复杂度高，效率低。就同类型专利而言，专利号201210066218提出一种前扫声纳视频拼接方法，它使用SURF算法寻找特征点，具有计算复杂度高，效率低的缺点。专利号200810212183提出使用视频重叠区域的深度图处理视频重影问题，然而它并不针对运动场景的视频拼接，不能很好地解决运动物体穿过视频重叠区域所带来的问题。因此，视频拼接技术在运动场景的监控中存在以下问题：

(1)计算量大，实时性差，易受环境条件干扰；

(2)当运动物体穿过拼接视频帧之间的重叠区域时，会产生重影，亦即“鬼影”问题

(3)即使是同一个型号的摄像机，在同一个环境下，所拍摄的视频帧会产生色差。

因此，急需一种实时高效的，能够避免运动场景中产生鬼影”，色差等问题的运动场景视频拼接方法。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种运动场景的视频拼接方法。

为了解决上述技术问题，本发明公开了一种运动场景视频拼接方法，分为特征提取与匹配阶段与视频融合阶段，具体为：

步骤1、在特征提取与匹配阶段，基于索贝尔算子^[1](以下简称“Sobel算子”，参见郑英娟，张有会，王志巍，张静，范胜娟.基于八方向Sobel算子的边缘检测算法,计算机科学[J].2013,40(11A):354-356.)改进的同余变换不变特征算法^[2](Congruencetransformation Invariant Feature,以下简称“CIF”，参见Nakamura,T&YTashita.Congruence Transformation Invariant Feature Descriptor for Robust 2DScan Matching[J].1648-1653，2013)，提取参考帧与输入帧的特征点；

步骤2、对特征点进行初匹配，并结合随机抽样一致算法^[3](Random SampleConsensus，以下简称“RANSAC”，参见汤伯超.基于SIFT算法的视频特征描述方法研究[D].广州：广东工业大学，2012.)求解空间变换矩阵(即"单应矩阵")；利用此单应矩阵，将输入帧转换到参考帧的平面；

步骤3、对输入帧与参考帧进行融合，采用迭代法计算亮度差异最小路径，来动态调整连接缝，以处理运动物体穿越拼接帧之间的重叠区域，避免运动物体穿过重叠区域出现重影问题；

步骤4、确定当前连接缝的位置之后，通过特征点对的红、绿、蓝三基色信息(以下简称“RGB信息”)进行的色调正常化方法消除视频帧之间的色差，使得拼接之后的全景视频色调更加自然。

其中，参考帧是指不同视频帧为了达到拼接的目的，需要选取其中一个视频帧的平面作为参考平面，被选中的视频帧称为参考帧。不同视频帧中非参考帧称为输入帧。

本发明中，所述基于Sobel算子改进的CIF算法，在不同视频的关键帧中提取特征点并描述，具体为：

步骤11、利用Sobel算子梯度幅值阈值法寻找视频帧中的n个特征点，以特征点的梯度方向为x轴，y轴垂直于x轴且方向向上，建立局部坐标系；

步骤12、以特征点为起始点，与同一帧中其余特征点构成n-1条有向线段；

步骤13、将局部坐标系分为16个区域(每22.5度为一个区域)，利用n-1条有向线段在该局部坐标系中的角度，建立这16个区域分布直方图，即16维向量，形成该特征点的CIF描述子；

其中：

步骤11中所述的梯度幅值是指结合Sobel算子求得的x偏导数与y偏导数绝对值之和。

步骤11中所述特征点是指梯度幅值大于指定阈值的点。其中阈值Grad的取值范围由待拼接图像具体情况而定，一般阈值Grad设定在210到240之间。

步骤12中所述有向线段是指以特征点为起点，同一帧中其余特征点为终点的有向线段。

本发明中，所述对提取的特征点进行初匹配，包括：

步骤21、定义输入帧特征点为q_j，(其中j＝1～N_i且N_i表示输入帧i中特征点的数量)，参考帧特征点为p_k，其中k＝1～N_r且N_r表示参考帧r中特征点的数量，(其中k＝1～N_r且N_r表示参考帧中特征点的数量，r表示reference frame参考帧)，如果参考帧中的特征点p_k与输入帧的特征点q_j匹配，那么它们的CIF描述子应该是相同的。

步骤22、定义输入帧特征点q_j与参考帧特征点p_k的CIF描述子分别为h_j与h_k，定义输入帧与参考帧之间CIF描述子的相似相似度量为C_jk，它是16维向量的欧式距离。于是，可以将输入帧中的每一个特征点q_j与参考帧中的每一个特征点p_k两两作比较，这里的比较是指求特征点之间的相似性度量。

步骤23、遍历输入帧特征点与参考帧特征点p_k的相似性度量C_jk(k＝1～N_r)，寻找相对于特征点q_j的最小相似性度量C_jk-min，之后将输入帧中每一个特征点q_j的最小相似度量C_jk-min,与预设的相似度量阈值M作比较，如果小于阈值M(一般M取值1)，则认为此特征点与其具有最小相似度量的参考帧中的特征点匹配且同在重叠区域中。这样能够排除不在重叠区域中的点对。

步骤24、遍历完输入帧特征点对之后，如果在已有的匹配不同点对中包含相同的参考帧特征点，则舍弃相似性度量较大的一对。这是为了防止输入帧中距离接近的特征点与参考帧中同一个特征点产生重复配对的问题。

本发明中，所述连接缝动态调整方案，动态调整连接缝的位置，避免运动物体直接穿过导致的重影问题，包括以下步骤：

步骤31、求得不同视频帧重叠区域中每个像素点邻域的亮度差异之和，并且根据像素点的坐标建立重叠区域亮度差异表。其中，每一个权值Diff(x,y)是两幅视频点(x,y)邻域亮度差异之和。

步骤32，结合重叠区域宽度R与当前帧宽度W，运用递归法求解亮度差异最小的路径，选择重叠区域底端的点作为递归入口，重叠区域顶端的点作为递归结束条件；随后，将当前连接缝的亮度差异值与阈值N(一般N取值0.5)相比较，如果小于阈值N，那么将之前的连接缝替换为当前连接缝；

其中:

步骤31所述像素点邻域表示拼接帧重叠区域某个像素点及其周围的区域，选择邻域的目的在于避免单个像素由于不同物体相同颜色而产生的误差。

步骤32所述将当前连接缝的亮度差异值与阈值比较，以防止连接缝变化过快而引起的全景视频帧的闪烁现象。

本发明步骤4所述的一种基于特征的视频色调正常化方法，具体为：

步骤41、通过运用参考帧匹配点的RGB信息(r₂,g₂,b₂)与输入帧间匹配点的RGB信息(r₁,g₁,b₁)，求解一个线性方程参数来寻找能够使特征点的RGB数据变得类似的关系。

步骤42、将输入帧的像素点的RGB信息通过步骤41求解的线性方程变换，使得输入帧与参考帧像素点的RGB信息趋于一致，这样拼接之后的全景视频帧拥有更正常的色调。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为像素点a₄及其上下左右八邻域示意图。

图2为本发明视频拼接整体流程图。

图3有向线段生成与直方图统计示意图。

图4a为三幅来自不同摄像头的原始视频帧。

图4b为没有进行连接缝动态调整的拼接结果示意图。

图4c为进行连接缝动态调整的拼接结果示意图。

图5在重叠区域找到最好的连接缝示意图。

图6为基于特征的视频色调正常化流程图。

图7a为没有进行图像色调正常化拼接结果示意图。

图7b为进行图像色调正常化拼接结果。

具体实施方式

本发明提出了一种运动场景的视频拼接方法，通过CIF算法精确配准，连接缝动态调整和色差消除方法，得到质量较好的运动场景全景拼接视频。数字视频拼接的一般分为两步：空间变换矩阵(也称单应矩阵)计算和视频融合。首先，对每一幅视频提取特征点，通过匹配的特征点对的坐标计算相对参考平面的仿射或透视变换参数。再将视频向参考平面上进行重合区域的融合，从而得到全景视频。

视频拼接过程中，如果对每一帧视频计算单应矩阵，则存在准确率低以及实时性差等缺点。因此，运用到关键帧的思想。在摄像头固定的前提下，关键帧思想主要采取的方法是使用诸如棋盘格的控制版制作关键帧视频，使用关键帧计算单应矩阵的参数，再将视频流的每一帧通过单应矩阵向全景参考平面投影，形成最终的全景视频流。其流程如图2所示。

步骤1、基于Sobel算子改进的CIF算法，在不同视频的关键帧中提取特征点并描述，步骤如下：

步骤1-1、采用基于Sobel算子改进的CIF算法进行特征描述与匹配。其中，CIF是视频帧中一个像素点的描述子，并且CIF是由一个特征点点及同一视频帧中其余特征点一起求得，表示了这个点附近部分二维形状信息。若视频函数f(x，y)在点(x，y)的梯度(即一阶微分)是一个具有大小和方向的矢量，设Gx、Gy分别表示沿x方向和y方向的梯度，则为表示为函数f(x，y)的偏导数，分别为x、y方向上的偏导数，那么函数f(x，y)的梯度矢量可以表示为：

梯度矢量的幅度为

梯度的方向角为

为了简化计算，导数可用差分来近似，在x和y方向上最简单的梯度近似表达式为：

同时，为了提高速度，降低复杂度，常将公式(3)简化为

步骤1-2、在此基础之上，由Sobel提出一种将方向差分运算与局部平均相结合的方法，Sobel算子将视频中的每个像素的上下左右8邻域的灰度值加权求和，它通过2个3x3的模板，如图1所示，对选定而为视频中同样大小窗口进行卷积，得到视频的梯度。Sobel算子的梯度幅值M可表示为

其中，偏导数用下式计算：

其中常数c＝2

因此，Sobel算子中S_x和S_y可用卷积模板可定义为

结合公式(7)与公式(5)可得Sobel算子的梯度矢量的幅度为

步骤1-3、这里定义特征点为视频帧数据中利用Sobel算子计算得到的梯度矢量幅度大于预设阈值大于阈值thresh的点。如果视频帧中某一点的梯度矢量幅度大于阈值thresh，就得到了特征点p_k。

步骤1-4、CIF是由特征点p_k及当前帧其余所有特征点求得。如图3所示，定义了一个局部坐标系Σp_k，原点就是特征点p_k，x轴方向与p_k的sobel算子计算得到的梯度方向一致，y轴与x轴垂直且向上。

步骤1-5、连接特征点p_k与其他特征点有向线段，并与x轴形成夹角。直方图的横坐标表示梯度方向-π～π。梯度的范围被平均分为十六个统计区间，每个统计区间的大小为22.5度。统计特征点p_k与其他特征点夹角落在每一个区间的个数。将统计的直方图分布组成16维向量，其中每一维代表落一区间含有特征点夹角数量，这16维向量就是特征点p_k的CIF描述子。全部过程如图4a～图4c所示，其中SP表示有向线段之一，θ表示有向线段与x轴的夹角。

步骤2、提取的不同视频帧中的特征点进行初匹配，之后使用初匹配的点对结合RANSAC算法求解单应矩阵，利用此单应矩阵，将不同视频流的视频帧转换到相同参考平面，步骤如下：

步骤2-1、定义输入帧特征点为q_j，(其中j＝1～N_i且N_i表示输入帧中特征点的数量，i表示input frame输入帧)，参考帧特征点为p_k(其中i＝1～N_r且N_r表示参考帧中特征点的数量，r表示reference frame参考帧)，如果参考帧中的特征点p_k与输入帧的特征点q_j匹配，那么它们的CIF描述子应该是相同的。

步骤2-2、计算CIF描述子的相似性，

定义输入帧特征点q_j与参考帧特征点p_k的CIF描述子可使用16维向量表示，分别为h_j与h_k，定义输入帧与参考帧之间CIF描述子的相似相似度量为C_jk，它可通过的欧式距离计算，如下(10)所示：

其中，t＝1,2,3，……，16 (10)

C_jk表示特征点q_j与p_k之间的相似性度量，h_t表示CIF描述向量第t维的值。于是，可以将输入帧中的每一个特征点q_j与参考帧中的每一个特征点p_k两两作比较，这里的比较是指求特征点两两之间的相似性度量。

步骤2-3、寻找最小相似度量

遍历输入帧特征点与参考帧特征点p_k的相似性度量C_jk(k＝1～N_r)，寻找相对于特征点q_j的最小相似性度量C_jk-min,，公式如下所示：

步骤2-4、将输入帧中每一个特征点q_j的最小相似度量C_jk-min,与预设的相似度量阈值M作比较，如果小于阈值M，则认为此特征点与其具有最小相似度量的参考帧中的特征点匹配且同在重叠区域中。这样能够排除不在重叠区域中的点对。

步骤2-5遍历完输入帧特征点对之后，如果在已有的匹配不同点对中包含相同的参考帧特征点，则舍弃相似性度量较大的一对。这是为了防止输入帧中距离接近的特征点与参考帧中同一个特征点产生重复配对的问题。

步骤2-6、利用RANSAC从一组包含异常值的观测数据集中估计数学模型的方法，它是一种迭代方法，通过反复选择数据中的一组随机子集来优化单应矩阵。假设点(x,y)经过空间变换矩阵H变换到点(x’,y’)，那么，由齐次坐标的性质可知，点(x,y)和点(x’,y’)之间的关系可用如下矩阵关系式进行统一表示

在视频拼接的应用中，根据公式(12)，选择4对匹配特征点使用直接线性变换来计算得到一个待修单应矩阵H。

步骤2-7、RANSAC在评估单应矩阵的过程中具有很好的鲁棒性，这里它采用一组随机抽样的特征点对(用来事先计算单应矩阵的4对点对除外)去评估视频的变换矩阵，之后找到一个与匹配特征点对相符程度最高的单应矩阵。

步骤2-8、重复执行这个评估过程固定有限的次数，每次产生的单应矩阵要么因为与之相符的特征点对太少而被舍弃，要么因为比现有单应矩阵相符的点对更多而替换现有的单应矩阵。

步骤2-9、在完成以上步骤之后，视频流的每一帧中每个像素的坐标投影只需要与优化之后的单应矩阵进行一次乘法即可，大幅降低了坐标变换的计算量。

步骤3、采用迭代法计算亮度差异最小路径，来动态调整连接缝，步骤如下：

步骤3-1、选定一个摄像头作为参考平面，将其它摄像头采集到的视频通过关键帧求得的单应矩阵将视频投影到参考平面，并计算出视频间的重合区域，在重合区域中根据拼接缝的位置进行视频融合。在运动场景的视频拼接中，如果一个运动物体从视频帧之间一条固定的拼接缝的一边穿越到另一边，它可能会引起移动物体上的重影。因此，在这种情况下，连接缝的位置应该能够动态改变。所提出的连接缝动态调整方案由以下步骤3-2、步骤3-3、步骤3-4组成。

步骤3-2、求得不同视频帧重叠区域中每个像素点邻域的亮度差异之和，并且根据像素点的坐标建立重叠区域亮度差异表。其中，每一个权值Diff(x,y)是两幅视频点(x,y)邻域亮度差异之和。如同公式(13)通过累加法，B_L和B_R表示不同帧的亮度值，其中计算不同像素块的亮度和而不是单独的像素，能够减少由不同物体可能有相同颜色引起的误差。

Diff(x，y)＝∑_u∑_u|B_L(x+u，y+v)-B_R(x+u，y+v)|，-1≤u，v≤v (13)

其中，u,v表示视频帧像素(x,y)位移在x，y的增量

步骤3-3、根据亮度差异表能够找出当前帧中差异最小的路径。这条路径表明在这条路径上的元素有着更高的相似度。公式(14)表示了利用迭代法获得每一帧的差异最小路径，重叠区域底端的点作为递归入口，重叠区域顶端的点作为迭代结束条件。W(x,y)表示始于一帧重叠区域顶端到点(x,y)的最小差异路径。

如图5所示，R表示重叠区域的宽度，I表示输入视频的宽度，A(A’)，B(B’)，C(C’)是出现在路径上的两帧对应重合点示意。

步骤3-4、将当前帧连接缝的差异值与预设的阈值N作比较，如果当前差异值大于预设的阈值N，用当前帧中新的连接缝来替代前一帧的连接缝。否则保持原连接缝不变。这种机制是为了防止由于快速变换连接缝而引起的当前全景视频帧的闪烁。实验结果如图4。

步骤4、基于特征的视频色调正常化方法消除视频帧之间的色差，步骤如下：

步骤4-1、考虑到不同摄像头设置，或者因为环境因素引起的不同曝光时间，同一物体在不同画面中色调可能不一样。总的来说，严重的色差会导致在拼接结果中出现几条连接缝。为了解决这个问题，运用一种基于特征的视频色调正常化方法来进行不同摄像头视频帧之间的颜色融合，以在融合之前纠正颜色差异。

步骤4-2、通过运用视频间匹配点对的RGB数据，求解一个线性方程参数来寻找能够使特征点的RGB颜色信息变得类似的关系。线性方程如公式(15)所示。

其中，(r₁，g₁，b₁)、(r₁，g₁，b₁)分别表示调整色差前后像素颜色RGB值，参数(α_r，α_g，α_b)是RGB颜色信息比例因子，而(β_r，β_g，β_b)则是RGB颜色信息微调常量。

步骤4-3、通过这个视频色调正常化算法，减小了计算整个视频直方图的复杂度，得到了一个拥有相同颜色基的视频的集合，从而降低了视频融合时的误差，具体流程如图6所示，实验结果如图7a和图7b所示。

本发明提供了一种运动场景的视频拼接方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (3)

1.一种运动场景视频拼接方法，其特征在于，包括特征提取与匹配阶段与视频融合阶段，具体步骤为：

步骤1、在特征提取与匹配阶段，基于Sobel算子改进的CIF算法，提取参考帧与输入帧的特征点；

步骤2、对特征点进行初匹配，并结合随机抽样一致算法求解空间变换矩阵即单应矩阵，利用此单应矩阵，将输入帧转换到参考帧的平面；

步骤3、对输入帧与参考帧进行融合，采用迭代法计算亮度差异最小路径，用于动态调整连接缝，以处理运动物体穿越拼接帧之间的重叠区域；

步骤4、确定当前连接缝的位置之后，通过特征点对的红、绿、蓝三基色RGB信息进行的色调正常化方法消除视频帧之间的色差；

其中，参考帧是指不同视频帧中，选取其中一个视频帧的平面作为参考平面，被选中的视频帧称为参考帧，不同视频帧中非参考帧称为输入帧；

步骤1所述基于Sobel算子改进的CIF算法，在各个视频的关键帧中提取特征点并描述，包括以下步骤：

步骤11、利用Sobel算子梯度幅值阈值法寻找视频帧中的n个特征点，以特征点的梯度方向为x轴，y轴垂直于x轴且方向向上，建立局部坐标系，n取值为自然数；

步骤12、以特征点为起始点，与同一视频帧中其余特征点构成n-1条有向线段；

步骤13、将局部坐标系分为16个区域，每22.5度为一个区域，利用n-1条有向线段在该局部坐标系中的角度，建立这16个区域分布直方图，即16维向量，形成该特征点的CIF描述子；

其中：

步骤11中所述的梯度幅值是指结合Sobel算子求得的x偏导数与y偏导数绝对值之和；

步骤11中所述特征点是指梯度幅值大于阈值Grad的点；

步骤12中所述有向线段是指以特征点为起点，同一帧中其余特征点为终点的有向线段；

步骤2中，所述对提取的特征点进行初匹配，包括：

步骤21，定义输入帧特征点为q_j，其中j＝1～N_i且N_i表示输入帧i中特征点的数量，参考帧特征点为p_k，其中k＝1～N_r且N_r表示参考帧r中特征点的数量，如果参考帧中的特征点p_k与输入帧特征点q_j匹配，那么判定两者的CIF描述子相同；

步骤22，定义输入帧特征点q_j与参考帧特征点p_k的CIF描述子分别为h_j与h_k，定义输入帧与参考帧之间CIF描述子的相似性度量为C_jk，C_jk是16维向量的欧式距离；将输入帧中的每一个特征点q_j与参考帧中的每一个特征点p_k两两作比较相似性度量；

步骤23，遍历输入帧特征点与参考帧特征点p_k的相似性度量C_jk，寻找相对于特征点q_j的最小相似性度量C_jk-min，之后将输入帧中每一个特征点q_j的最小相似性度量C_jk-min与预设的相似性度量阈值M作比较，如果小于阈值M，则认为此特征点与其具有最小相似性度量的参考帧中的特征点匹配且同在重叠区域中；

步骤24，遍历完输入帧特征点对之后，如果在已有的匹配不同点对中包含相同的参考帧特征点，则舍弃相似性度量较大的一对。

2.根据权利要求1所述一种运动场景视频拼接方法，其特征在于，步骤3中所述的动态调整连接缝，包括以下步骤：

步骤31，求得不同视频帧重叠区域中每个像素点邻域的亮度差异之和，并且根据像素点的坐标建立重叠区域亮度差异表，其中，每一个权值Diff(x,y)是两幅视频点(x,y)邻域亮度差异之和；

步骤32，结合重叠区域宽度R与当前帧宽度W，运用递归法求解亮度差异最小的路径，选择重叠区域底端的点作为递归入口，重叠区域顶端的点作为递归结束条件；随后，将当前连接缝的亮度差异值与阈值N相比较，如果小于阈值N，那么将之前的连接缝替换为当前连接缝；

其中：

步骤31中所述像素点邻域表示拼接帧重叠区域一个像素点及其周围的区域。

3.根据权利要求1所述一种运动场景视频拼接方法，其特征在于，步骤4中视频色调正常化，包括以下步骤：

步骤41，通过运用参考帧匹配点的RGB信息与输入帧间匹配点的RGB信息，求解一个线性方程参数寻找使特征点的RGB数据变得类似的关系；

步骤42，将输入帧的像素点的RGB信息通过步骤41求解的线性方程变换，使得输入帧与参考帧像素点的RGB信息趋于一致。