CN102857704B - 带有时间域同步校准技术的多源视频拼接方法 - Google Patents

Abstract

本发明属于视频处理技术领域，为避免有运动物体的视频拼接过程中出现的鬼影以及物体形变现象，在时间轴上完成不同视频源信息的同步，使得在接下来的拼接过程中能够很好的用于基于静止图像配准拼接的各种处理，得到较好的效果，本发明采取的技术方案是，带有时间域同步校准技术的多源视频拼接方法，包括如下步骤：把不同视频源的输入视频序列存入到帧缓冲中进行预处理；利用图像灰度值检测各个视频帧图像的Harris角点，对角点的分布进行优化；利用仿射变换矩阵，将两幅待拼接的图像在空间上统一坐标，完成空间匹配；校准后的融合图像。本发明主要应用于视频图像处理。

Description

带有时间域同步校准技术的多源视频拼接方法

技术领域

本发明属于视频处理技术领域，针对多视频源的视频拼接不同摄像头时间同步的校准方法，校准了不同摄像头之间存在的时间误差，从空间与时间两个维度完成针对多视频源的视频同步拼接，具体讲，涉及带有时间域同步校准技术的多源视频拼接方法。

背景技术

如今，基于视频图像的拼接技术研究是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。而多摄像头的视频图像拼接技术在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。由于普通的图像只有两个维度的概念，即空间上的水平和垂直方向；而对于视频图像信息，则有时间上的概念，还包含了时间上的维度，因此视频图像的处理不能等同于传统的静态图像处理。对于静态图像拼接技术，一般来说，对于图像拼接的过程由图像获取，图像配准，图像合成三步骤组成，其中图像配准是整个图像拼接的基础。图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。而对于图像的配准研究的前提是图像信息必须经过精确的校准，这样才能保证配准的准确性，以满足要求。对于视频拼接技术，其拼接原理是在静态图像拼接技术的基础上实现的，但是扩展了图像的时间维度信息，因此时间上的校准同步显得尤为重要。目前多视频源的图像拼接及其他处理技术都存在较大的不足之处，其配准流程如图1-1所示。对于不同视频源的帧图像，由于不同摄像头无法完成时间上的同步，导致了不同视频源的图像帧存在时间误差，在后续的拼接过程中难以找到不同视频源的最佳匹配帧进行配准及拼接。并且由于这个时间误差使得不同视频源拍摄的物体存在时间误差的积累，这样在视频摄录过程中出现的运动物体就不可避免的会出现鬼影以及物体形变现象，使得在此之后的处理过程中累计误差更加难以得到准确的图像信息。在时间域上两个摄像头的的不同步注定了不同摄像头摄录的帧图像存在时间维度的错位情况，这样的视频帧，尤其是在高清视频领域里会出现明显的物体错位及运动物体黑影现象。

发明内容

本发明旨在克服现有技术的不足，避免有运动物体的视频拼接过程中出现的鬼影以及物体形变现象，在时间轴上完成不同视频源信息的同步，使得在接下来的拼接过程中能够很好的用于基于静止图像配准拼接的各种处理，得到较好的效果，为达到上述目的，本发明采取的技术方案是，带有时间域同步校准技术的多源视频拼接方法，包括如下步骤：把不同视频源的输入视频序列存入到帧缓冲中进行预处理，将视频帧图像从RGB的色彩空间投射到YUV色彩空间；利用图像灰度值检测各个视频帧图像的Harris角点，对角点的分布进行优化，在指定窗口的范围内将角点按相应函数进行从大到小排序，并且只保留前几个角点作为最终的角点，将其余的角点舍去；在得到不同视频源检测到的角点后，采用归一化互相关方法(NCC)进行角点匹配运算：用一个M×N个像素点大小的模板窗口在指定搜索窗口范围内滑动，计算模板窗中心点与待配准角点的相似性度量函数值，在指定范围内取得的极大值点认为是与待匹配点相似性最大的角点；

利用仿射变换矩阵，将两幅待拼接的图像在空间上统一坐标，完成空间匹配；

以多个视频源中的一个视频源1为基准，连续取得在当前帧T2前后的连续几帧图像信息，即包括T0、T1、T3、T4帧，进行运动物体识别与估计，计算得到当前帧图像中运动物体的运动矢量v，把视频源2中的T2帧中的运动物体映射到视频源1的T2帧中，根据运动矢量v及运动物体映射后位移差ΔS，利用公式(4)估计到两个视频源1与2的T2帧在时间上的误差ΔT：

$\mathrm{\ΔT}=\frac{\mathrm{\ΔS}}{V}---\left(4\right)$

利用时间误差ΔT作为像素值校准的权重，对待拼接图像进行公式(5)所示的像素级校准：

F_calibration(x，y)＝w·f₁(x，y)+(1-w)·f₂(x，y)

w＝T_cycle-ΔT                                (5)

其中，T_cycle代表两帧图像之间的时间周期，F_calibration代表校准后的带融合图像，w代表权重值，f₁(x，y)和f₂(x，y)分别表示待拼接的左右两侧图像的像素值。

Harris角点检测原理如下：

在图像中平移一个检测窗口，计算模板内的灰度变化特征，对于图像上的像素点(x，y)，定义能量函数E如下：

$E(u,v)=\underset{x,y}{\mathrm{\Σ}}w(x,y){[I(x+u,y+v)-I(x,y)]}^2$

$E(u,v)\≅\left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]$

$M=\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]$ 公式(1)

其中，[u，v]为滤波窗口的偏移量，w(x，y)为窗口函数，I(x，y)为图像中(x，y)点的像素值，I(x+u，y+v)为平移后的像素值，I_x和I_y分别表示I(x，y)在x方向和y方向上的一阶导数。

定义角响应函数：

R＝detM-k(traceM)²，其中detM＝λ₁λ₂，traceM＝λ₁+λ₂，λ₁和λ₂是矩阵M的特征值，k是常系数经验值，一般取值在0.02～0.1。当R取局部极大值时所对应的位置就是角点的位置。

NCC度量函数的表达式为：

$R_{\mathrm{NCC}}=\frac{\underset{i}{\mathrm{\Σ}}(I_1(x_i,y_i)-\stackrel{\‾}{I_1})(I_2(x_i,y_i)-\stackrel{\‾}{I_2})}{\sqrt{\underset{i}{\mathrm{\Σ}}{(I_1(x_i,y_i)-\stackrel{\‾}{I_1})}^2\underset{i}{\mathrm{\Σ}}{(I_2(x_i,y_i)-\stackrel{\‾}{I_2})}^2}}$ 公式(2)

其中，I₁(x_i，y_i)表示图像1中(x_i，y_i)点的灰度值，表示模板框内各个像素点的灰度均值，I₂(x_i，y_i)表示图像2中的(x_i，y_i)点的灰度值，表示模版框内各像素点的灰度均值，R_NCC表示归一化相关系数；

在匹配的角点对的集合里随机抽取3对不共线的像素点，计算图像仿射变换的6参数模型的矩阵T；利用公式3所示：

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_1& m_2& m_3\\ m_4& m_5& m_6\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]$ 公式(3)

其中(x，y)和(x’，y’)分别表示像素点变换前后的坐标，利用三对不共线的像素点构造三元一次方程组，求解得到仿射变换矩阵T，其中T如公式4所示，

$\mathrm{\ΔT}=\frac{\mathrm{\ΔS}}{V}---\left(4\right)$

只要求得矩阵T即可得到图像间的变换配准信息；参数m₁、m₂、m₄和m₅表示图像变换中的缩放尺度和旋转量；m₃表示图像变换时的水平方向位移；m₆表示图像变换时的垂直方向位移。

本发明对比已有技术有以下明显技术优点：

在高清视频图像应用领域中，视频图像信息的完整保留是后续图像处理的关键。因此，对多视频源进行时间域校准，可以使得不同源的视频图像的空间维度和时间维度完成完整的同步，使得在后续的图像拼接及其他图像处理应用中得到更为精确的结果。

附图说明

图1传统的多视频源的拼接流程。

图2本文提出的多视频源的视频拼接流程。

图3考虑时间域信息的理想多视频源模型。

图4实际的多视频源视频源模型。

图5不同视频源的空间校准。

图6视频源的运动识别与估计校准。

图7不同视频源的时间校准。

图8引入时间校准的视频融合模型。

具体实施方式

在传统的多视频源视频拼接及其他视频处理领域里，都是假设这些不同视频源摄录的帧图像的开始时刻是通过对摄录设备标定产生同一个Reset信号而保持同步的，如图1-1所示。而忽略了不同图像传感器时间上的误差，直接把这两帧图像用基于静态图像拼接的方法进行空间上的配准拼接，得到不够精确的宽幅图像输出。但是，由于是不同视频源的摄录开始时刻存在一帧的时间范围内的误差，因此必须考虑到不同视频源摄录的时间向量。传统的基于静态图像拼接及其他处理方法不能精确反映出视频图像的时间信息，因此不能很好的适用于视频拼接处理。本文提出的基于多视频源摄录拼接的过程如图1-2所示。首先要对视频源信息进行基于时间域的校准，之后通过视频拼接相关算法完成后续的拼接过程。在图1-3所示的三维坐标系中，Y、Z轴是空间平面投影，X轴是时间轴，其中的视频图像是不同视频源摄录的各自的两帧视频信息。在如图1-4所示的三维坐标系中，对于不同视频源摄录的视频图像信息，摄像头摄录的两帧图像信息如图所示：两个不同视频源摄录的帧视频图像并不是在时间轴上完全同步的，而是具有固定时间的误差，并且这个误差跟两个摄录源的同步方法有关。也就是说，在两个传感器进行扫描拍摄的时候，每个图像传感器单独描出一帧图像信息的时间都是有误差的，整个视频帧图像序列在一直存在这个误差时间ΔT。在高清视频(例如：HDTV)应用领域如果有运动物体存在的话，当前帧的不同视频源时间差的效果就会表现出来，在拼接操作过程中就会引起物体的形变误差，甚至在不该出现运动物体的地方出现了物体，产生重影。所以，按照传统的图像拼接方法对视频图像进行拼接必然会出现错误，以至于人们常常提到的鬼影现象的产生也是必然的了。因此校准时间上的同步，对于视频图像拼接以及其他处理过程显得尤为重要。

对于图1所示的多视频源摄像头摄录得到的视频帧，在时间上是肯定不能保证当前帧像素信息的同步性。对于这样的视频信息进行拼接得到的效果应该不会是理想的，因此需要对视频源的帧序列进行时间上的校准，完成精确的信息同步。本文提出对多设视频源摄录视频帧序列信息进行如图6所示静态图像空间信息配准，得到对应空间上的放射变换矩阵M。这个矩阵对于以后的配准有着至关重要的影响，因此建议利用较高级的方法计算。首先，把不同视频源的输入视频序列存入到帧缓冲中进行预处理，将视频帧图像从RGB的色彩空间投射到YUV色彩空间。利用图像灰度值检测各个视频帧图像的Harris角点，Harris角点检测原理如下：

在图像中平移一个检测窗口(一般为正方形的3×3或者5×5模板)，计算模板内的灰度变化特征，对于图像上的像素点(x，y)，定义能量函数E如下：

$E(u,v)=\underset{x,y}{\mathrm{\Σ}}w(x,y){[I(x+u,y+v)-I(x,y)]}^2$

$E(u,v)\≅\left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]$

$M=\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]$ 公式(1)

其中，[u，v]为滤波窗口的偏移量，w(x，y)为窗口函数，I(x，y)为图像中(x，y)点的像素值，I(x+u，y+v)为平移后的像素值，I_x和I_y分别表示I(x，y)在x方向和y方向上的一阶导数。

定义角响应函数：

R＝detM-k(traceM)²，其中detM＝λ₁λ₂，traceM＝λ₁+λ₂，λ₁和λ₂是矩阵M的特征值，k为常系数经验值，一般取值在0.02～0.1。当R取局部极大值时所对应的位置就是角点的位置。

由于找到的角点有些分布过于集中，对于匹配计算造成大量的冗余。因此，本文对角点的分布进行优化，在指定窗口9×9大小的范围内将角点按相应函数进行从大到小排序，并且只保留前6个角点作为最终的角点，将其余的角点舍去。

在得到不同视频源检测到的角点后，需要进行角点配准运算。出于对计算量以及计算精度的权衡，本文采用了运算量适中，计算精度较高，抗噪声能力较强，取值范围易于控制的归一化互相关方法(NCC)进行角点匹配。其匹配思想是：用一个M×N个像素点大小的模板窗口在指定搜索窗口范围内滑动，计算模板窗中心点与待配准角点的相似性度量函数值，在指定范围内取得的极大值点认为是与待匹配点相似性最大的角点。

NCC度量函数的表达式为：

$R_{\mathrm{NCC}}=\frac{\underset{i}{\mathrm{\Σ}}(I_1(x_i,y_i)-\stackrel{\‾}{I_1})(I_2(x_i,y_i)-\stackrel{\‾}{I_2})}{\sqrt{\underset{i}{\mathrm{\Σ}}{(I_1(x_i,y_i)-\stackrel{\‾}{I_1})}^2\underset{i}{\mathrm{\Σ}}{(I_2(x_i,y_i)-\stackrel{\‾}{I_2})}^2}}$ 公式(2)

其中，I₁(x_i，y_i)表示图像1中(x_i，y_i)点的灰度值，表示模板框内各个像素点的灰度均值，I₂(x_i，y_i)表示图像2中的(x_i，y_i)点的灰度值，表示模版框内各像素点的灰度均值，R_NCC表示归一化相关系数，R_NCC值越大，表示两个中心点的相似性越强。

在匹配的角点对的集合里随机抽取3对不共线的像素点，计算图像仿射变换的6参数模型的矩阵T。利用公式3所示：

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_1& m_2& m_3\\ m_4& m_5& m_6\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]$ 公式(3)

其中(x，y)和(x’，y’)分别表示像素点变换前后的坐标，利用三对不共线的像素点构造三元一次方程组，即可求解得到仿射变换矩阵T，其中T如公式4所示，只要求得矩阵T即可得到图像间的变换配准信息。参数m₁、m₂、m₄和m₅表示图像变换中的缩放尺度和旋转量；m₃表示图像变换时的水平方向位移；m₆表示图像变换时的垂直方向位移。

仿射变换矩阵在《解析几何教程》科学出版社；第2版(2007年6月1日)中有记载。

利用仿射变换矩阵，可以将两幅待拼接的图像在空间上统一坐标，完成空间匹配。接下来以此为基础进行时间域上的匹配校准。以多个视频源中的一个视频源1为基准，连续取得在当前帧T2前后的连续几帧图像信息(T0、T1、T3、T4等)进行运动物体识别与估计，计算得到当前帧图像中运动物体的运动矢量v，如图7所示。把视频源2中的T2帧中的运动物体映射到视频源1的T2帧中。这样可以看到由于运动物体的存在使得时间维度的信息可以体现在图像信息上，根据运动矢量v及运动物体映射后位移差ΔS，利用公式(4)估计到两个视频源1与2的T2帧在时间上的误差ΔT，在三维坐标系里的示意图如图8所示的ΔT。

$\mathrm{\ΔT}=\frac{\mathrm{\ΔS}}{V}---\left(4\right)$

利用时间误差ΔT作为像素值校准的权重，对待拼接图像进行公式(5)所示的像素级校准，插值校准原理如图4所示。

F_calibration(x，y)＝w·f₁(x，y)+(1-w)·f₂(x，y)

w＝T_cycle-ΔT                                 (5)

其中，T_cycle代表两帧图像之间的时间周期，F_calibration代表校准后的带融合图像，w代表权重值，f₁(x，y)和f₂(x，y)分别表示待拼接的左右两侧图像的像素值。如图1-4中所示的红色图像即为插值校准后的，在时间上与视频源1帧同步的待拼接图像。

在此之后的图像拼接中所利用的像素信息需要经过时间为ΔT的调整，这样得到的视频帧图像信息在时间上、空间上是完全同步的，并且不存在任何的误差累积。在以后的视频图像处理过程中可以进行更为精确。在基于视频流的视频图像拼接过程中，由于使用本文提出的方法进行时间校准，在后续的视频图像拼接过程中可以完成精确的高清运动物体重现。

Claims (3)

1.一种带有时间域同步校准技术的多源视频拼接方法，其特征是，包括如下步骤：把不同视频源的输入视频序列存入到帧缓冲中进行预处理，将视频帧图像从RGB的色彩空间投射到YUV色彩空间；利用图像灰度值检测各个视频帧图像的Harris角点，对角点的分布进行优化，在指定窗口的范围内将角点按相应函数进行从大到小排序，并且只保留前几个角点作为最终的角点，将其余的角点舍去；在得到不同视频源检测到的角点后，采用归一化互相关方法(NCC)进行角点匹配运算：用一个M×N个像素点大小的模板窗口在指定搜索窗口范围内滑动，计算模板窗中心点与待配准角点的相似性度量函数值，在指定范围内取得的极大值点认为是与待匹配点相似性最大的角点；

利用仿射变换矩阵，将两幅待拼接的图像在空间上统一坐标，完成空间匹配；

以多个视频源中的一个视频源1为基准，连续取得在当前帧T2前后的连续几帧图像信息，即包括T0、T1、T3、T4帧，进行运动物体识别与估计，计算得到当前帧图像中运动物体的运动矢量v，把视频源2中的T2帧中的运动物体映射到视频源1的T2帧中，根据运动矢量v及运动物体映射后位移差ΔS，利用公式(4)估计到两个视频源1与2的T2帧在时间上的误差ΔT：

$\mathrm{\ΔT}=\frac{\mathrm{\ΔS}}{V}---\left(4\right)$

利用时间误差ΔT作为像素值校准的权重，对待拼接图像进行公式(5)所示的像素级校准：

F_calibration(x,y)＝w·f₁(x,y)+(1-w)·f₂(x,y)

w＝T_cycle-△T          (5)

其中，T_cycle代表两帧图像之间的时间周期，F_calibration代表校准后的带融合图像，w代表权重值，f₁(x,y)和f₂(x,y)分别表示待拼接的左右两侧图像的像素值。

2.如权利要求1所述的带有时间域同步校准技术的多源视频拼接方法，其特征是，Harris角点检测原理如下：

在图像中平移一个检测窗口，计算模板内的灰度变化特征，对于图像上的像素点(x,y)，定义能量函数E如下：

$E(u,v)=\underset{x,y}{\mathrm{\Σ}}w(x,y)[I(x+u,y+v)-I(x,y){]}^2$

$E(u,v)\widetilde{=}\left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]$

$M=\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]$   公式(1)

其中，[u,v]为滤波窗口的偏移量，w(x,y)为窗口函数，I(x,y)为图像中(x,y)点的像素值，I(x+u,y+v)为平移后的像素值，I_x和I_y分别表示I(x,y)在x方向和y方向上的一阶导数；定义角响应函数：

R＝det M-k(traceM)²，其中det M＝λ₁λ₂，traceM＝λ₁+λ₂，λ₁和λ₂是矩阵M的特征值，k为常系数经验值，当R取局部极大值时所对应的位置就是角点的位置。

3.如权利要求1所述的带有时间域同步校准技术的多源视频拼接方法，其特征是，NCC度量函数的表达式为：

$R_{\mathrm{NCC}}=\frac{\underset{i}{\mathrm{\Σ}}(I_1(x_i,y_i)-\stackrel{\‾}{I_1})(I_2(x_i,y_i)-\stackrel{\‾}{I_2})}{\sqrt{\underset{i}{\mathrm{\Σ}}{(I_1(x_i,y_i)-\stackrel{\‾}{I_1})}^2\underset{i}{\mathrm{\Σ}}{(I_2(x_i,y_i)-\stackrel{\‾}{I_2})}^2}}$   公式(2)

其中，I₁(x_i,y_i)表示图像1中(x_i,y_i)点的灰度值，表示模板框内各个像素点的灰度均值，I₂(x_i,y_i)表示图像2中的(x_i,y_i)点的灰度值，表示模版框内各像素点的灰度均值，R_NCC表示归一化相关系数；在匹配的角点对的集合里随机抽取3对不共线的像素点，计算图像仿射变换的6参数模型的矩阵T；利用公式3所示：

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_1& m_2& m_3\\ m_4& m_5& m_6\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]$   公式(3)

其中(x,y)和(x’,y’)分别表示像素点变换前后的坐标，利用三对不共线的像素点构造三元一次方程组，求解得到仿射变换矩阵T，其中T为公式(3)中的仿射变换系数m₁～m₆形成的矩阵，其形式为 $\left[\begin{array}{ccc}{m}_1& m_2& m_3\\ m_4& m_5& m_6\\ 0& 0& 1\end{array}\right];$ 且，

$\mathrm{\ΔT}=\frac{\mathrm{\ΔS}}{V}---\left(4\right)$

只要求得矩阵T即可得到图像间的变换配准信息；参数m₁、m₂、m₄和m₅表示尺度和旋转量；m₃表示水平方向位移；m₆表示垂直方向位移。