CN108234819B - 基于单应变换的视频同步方法 - Google Patents

Abstract

本发明提出了一种基于单应变换的视频同步方法，用于解决现有技术中存在的当运动目标做非平面运动时视频同步误差较大的技术问题。实现步骤为：对输入视频进行运动目标轨迹提取及背景图像匹配；得到背景图像的对极点；对运动目标轨迹、背景图像特征点和对极点进行归一化；利用背景点、对极点和轨迹点，基于单应变换获得初始轨迹点匹配对，采用对极几何约束剔除错误的轨迹点匹配对；提取轨迹点的时间信息，使用随机抽样一致算法计算出输入视频间的时间模型参数。本发明当运动目标做非平面运动时，可以获得较高的正确匹配率，适用于多视频监控、目标跟踪、视频拼接、三维重建及视频融合等领域。

Description

基于单应变换的视频同步方法

技术领域

本发明属于图像处理技术领域，涉及一种视频同步方法，具体涉及一种基于单应变换的视频同步方法，可应用于多视频监控、目标跟踪、视频拼接、三维重建及视频融合等领域。

背景技术

视频同步是将非标定且放置在不同视角位置的两个或者多个摄像机记录的同一动态场景的多个视频进行时间校准的技术，视频同步的核心目标是建立多个视频中来自同一物理时刻的视频帧的对应关系，得到它们之间的时间模型参数。视频同步主要包括两种实现方法：硬件方法和软件方法。硬件方法是利用特定的装置在视频序列的每一帧图像上做时间标记符号或者为每台摄像机发射同步消息，进而同步多台摄像机。该方法虽然同步结果精确度高，但是代价昂贵，还要求拍摄前对摄像机进行特殊设置。软件方法主要包括两种方法：直接法和轨迹法。直接法是将视频序列整帧作为输入，并且对于视频所有帧的像素点进行计算，它不用提取特征、背景匹配点对，它的要求是整帧数据必须“互相关”，而且计算量太大，不太适应大视角。

轨迹法是通过跟踪场景范围内的特征点得到的轨迹，再对轨迹上的像素点进行计算，而目标的运动轨迹包含了场景中大量有用的信息，这些信息不受视频像素灰度变化和成像视角的干扰，因此仅需要利用轨迹信息就能建立视频序列之间的时间对应关系，并且处理信息少，计算量小。所以，基于轨迹的视频同步方法具有更广泛的适用性，是当前的研究热点。

目前，基于轨迹的视频同步算法中典型的有基于投影不变表示和基于运动目标两种方法，“Nunziati W,Sclaroff S,Del Bimbo A.Matching trajectories between videosequences by exploiting a sparse projective invariant representation.IEEEtransactions on pattern analysis and machine intelligence,2010,32(3):517-529.”公开了一种基于投影不变表示的视频同步方法，该方法使用当前轨迹点及其四个邻域轨迹点构造出一个五共面点结构，并且以五共面点交比作为轨迹点的描述，进而获得轨迹点之间的视频同步。由于其使用邻域轨迹点构造五点结构，当运动目标做平面运动时，可以得到较好的结果，但是当运动目标做非平面运动时，该方法获得的视频序列同步结果误差比较大。“Lu C,Mandal M.A robust technique for motion-based video sequencestemporal alignment[J].IEEE Transactions on Multimedia,2013,15(1):70-82.”公开了一种基于运动目标的视频同步方法，该方法使用轨迹点的概率匹配思想，假设参考视频序列中的轨迹点是由以待同步视频序列中的轨迹点为中心的高斯混合模型生成的数据点，采用极大似然估计、最大期望算法对问题进行求解。由于其采用仿射变换作为轨迹点集之间的几何模型，而仿射变换应对像机间视角差异较小的平面运动场景时得到较好的结果，但是当运动目标做非平面运动时，该方法获得的视频序列同步结果误差比较大。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于单应变换的视频同步方法，用于解决现有技术中存在的当运动目标做非平面运动时视频同步误差较大的技术问题。

本发明的技术思路是：首先对输入视频进行运动目标轨迹提取及背景图像匹配；计算背景图像的对极点；对运动目标轨迹、背景图像特征点和对极点进行归一化；利用背景点、对极点和轨迹点，基于单应变换获得初始轨迹点匹配对，采用对极几何约束剔除错误的轨迹点匹配对；提取轨迹点的时间信息，使用随机抽样一致算法计算出输入视频间的时间模型参数。

根据上述技术思路，实现本发明目的采取的技术方案包括如下步骤：

(1)获取场景的参考视频与待同步视频：

使用两台未标定的摄像机，从不同视角位置拍摄含有多个运动目标的同一场景，得到第一视频V₁和第二视频V₂，并将第一视频V₁作为参考视频，将第二视频V₂作为待同步视频；

(2)提取参考视频V₁的运动目标轨迹和背景图像I₁，同时提取待同步视频V₂的运动目标轨迹和背景图像I₂：

对参考视频V₁和待同步视频V₂分别进行特征提取，得到参考视频V₁的运动目标轨迹点集p₁＝{p_1i|i＝1,2,3...n₁}和背景图像I₁，以及待同步视频V₂的运动目标轨迹点集p₂＝{p′_2j|j＝1,2,3...n₂}和背景图像I₂，其中i表示参考视频V₁的轨迹点所在的帧索引，j表示待同步视频V₂的轨迹点所在的帧索引，p_1i表示轨迹点集p₁中的第i个轨迹点，p_2j表示轨迹点集p₂中的第j个轨迹点，n₁表示参考视频V₁的总帧数，n₂表示待同步视频V₂的总帧数；

(3)对背景图像I₁和背景图像I₂进行匹配：

将背景图像I₁特征点集合中的特征点与背景图像I₂特征点集合中对应的特征点进行匹配，得到背景图像I₁和背景图像I₂的特征点匹配对集合B，B＝{(b_k,b′_k)|k＝1,2,3...n},n表示特征点匹配对总数，b_k表示背景图像I₁的第k个特征点，b′_k表示背景图像I₂的第k个特征点；

(4)计算背景图像I₁的对极点e和背景图像I₂的对极点e′：

(4a)从特征点匹配对集合B中随机选取八对特征点匹配对，并将选取出的八对特征点匹配对作为归一化八点算法的输入，计算背景图像I₁与背景图像I₂之间的基础矩阵F；

(4b)通过背景图像I₁与背景图像I₂之间的基础矩阵F，计算背景图像I₁的对极点e和背景图像I₂的对极点e′；

(5)对特征点匹配对集合B、参考视频V₁的运动目标轨迹点集p₁、待同步视频V₂的运动目标轨迹点集p₂、背景图像I₁的对极点e和背景图像I₂的对极点e′进行归一化：

在特征点匹配对集合B中，对背景图像I₁特征点集合中的特征点进行归一化，得到归一化矩阵T，同时对背景图像I₂特征点集合中的特征点进行归一化，得到归一化矩阵和T′，再通过归一化矩阵T对对极点e、背景图像I₁的特征点和参考视频V₁的运动目标轨迹点集p₁中的轨迹点进行归一化，同时通过归一化矩阵T′对对极点e′、背景图像I₂的特征点和待同步视频V₂的运动目标轨迹点集p₂中的轨迹点进行归一化，得到归一化后的对极点e和e′、背景图像I₁的特征点、背景图像I₂的特征点和轨迹点集p₁和p₂；

(6)获取归一化后的轨迹点集p₁与轨迹点集p₂之间的匹配对集合M_z：

(6a)从归一化后的背景图像I₁的特征点和背景图像I₂的特征点组成的背景特征点匹配对集合B中，随机提取出背景图像I₁中的两个特征点{b₁,b₂}，并在背景图像I₂中提取与{b₁,b₂}匹配的两个特征点{b′₁,b′₂}；

(6b)计算参考视频V₁上四个点{e,b₁,b₂,p_1i}与待同步视频V₂上四个点{e′,b′₁,b′₂,p′_2j}之间的单应矩阵H_ij，其中e和e′表示归一化后的对极点，p_1i表示参考视频V₁的运动目标轨迹点集p₁中归一化的轨迹点，p_2j表示参考视频V₂的运动目标轨迹点集p₂中归一化的轨迹点；

(6c)通过背景图像I₁中的两个特征点{b₁,b₂}和对极点e，在参考视频V₁上构建坐标系，并对轨迹点p_1i在构建的坐标系中进行坐标表示，得到轨迹点p_1i的坐标值(x_i,y_i,1)^T；同时通过背景图像I₂中的两个特征点{b′₁,b′₂}和对极点e′，在待同步视频V₂上构建坐标系，并对轨迹点p′_2j在构建的坐标系中进行坐标表示，得到轨迹点p′_2j的坐标值(x′_j,y′_j,1)^T，其中(x_i,y_i,1)^T表示(x_i,y_i,1)的转置，(x′_j,y′_j,1)^T表示(x′_j,y′_j,1)的转置；

(6d)根据轨迹点p_1i的坐标值(x_i,y_i,1)^T和轨迹点p′_2j的坐标值(x′_j,y′_j,1)^T，及参考视频V₁上四个点{e,b₁,b₂,p_1i}和待同步视频V₂上四个点{e′,b′₁,b′₂,p′_2j}之间的单应矩阵H_ij，判断轨迹点p_1i与轨迹点p′_2j是否匹配，并将所有的轨迹点匹配对组成初始轨迹点匹配对集合M_c；

(6e)对初始轨迹点匹配对集合M_c中的每个轨迹点匹配对进行对极几何约束，并将错误的轨迹点匹配对从M_c中剔除，得到轨迹点匹配对集合M_z；

(7)获取参考视频V₁和待同步视频V₂之间的时间模型参数：

从轨迹点匹配对集合M_z中提取匹配点对(p_1i,p′_2j)的帧索引，得到参考视频V₁和待同步视频V₂之间的帧匹配对集M_F，M_F＝{(i,j)|(p_1i,p′_2j)∈M_z}，并采用随机抽样一致算法，通过M_F计算参考视频V₁与待同步视频V₂之间的时间模型参数。

本发明与现有的技术相比，具有以下优点：

本发明获得参考视频轨迹点集和待同步视频轨迹点集的匹配对集合时，给定两对背景匹配点对和一对对极点，对于任意一对轨迹点匹配对，通过单应变换获得轨迹点的匹配对集合。当运动目标做非平面运动时，仿真结果表明本发明与现有技术相比可以获得较高的正确匹配率。

附图说明

图1为本发明的实现流程图；

图2为本发明与现有技术的视频同步方法对一组人工合成场景的数据进行同步的仿真结果对比图；

图3为本发明与现有技术的视频同步方法对一组真实场景的视频同步仿真结果图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步的详细描述：

参照图1，基于单应变换的视频同步方法，包括如下步骤：

步骤1)、获取场景的参考视频与待同步视频：

使用两台未标定(帧率未知、开机时间不同步)的摄像机，从不同视角位置拍摄含有多个运动目标的同一场景，得到第一视频V₁和第二视频V₂，并将第一视频V₁作为参考视频，将第二视频V₂作为待同步视频。

步骤2)、提取参考视频V₁的运动目标轨迹和背景图像I₁，同时提取待同步视频V₂的运动目标轨迹和背景图像I₂：

对参考视频V₁和待同步视频V₂分别进行特征提取，通过对运动目标进行追踪得到参考视频V₁的运动目标轨迹点集p₁＝{p_1i|i＝1,2,3...n₁}和待同步视频V₂的运动目标轨迹点集p₂＝{p′_2j|j＝1,2,3...n₂}，通过帧差法得到参考视频V₁和待同步视频V₂的背景图像I₁和背景图像I₂，其中i表示参考视频V₁的轨迹点所在的帧索引，j表示待同步视频V₂的轨迹点所在的帧索引，p_1i表示轨迹点集p₁中的第i个轨迹点，p_2j表示轨迹点集p₂中的第j个轨迹点，n₁表示参考视频V₁的总帧数，n₂表示待同步视频V₂的总帧数。

步骤3)、对背景图像I₁和背景图像I₂进行匹配：

将背景图像I₁和背景图像I₂作为SIFT图像匹配算法的输入，得到背景图像I₁和背景图像I₂的特征点匹配对集合B，B＝{(b_k,b′_k)|k＝1,2,3...n}，其中背景图像I₁的特征点集为b，b＝{b_k|k＝1,2,3...n₃},背景图像I₂的特征点集为b′，b′＝{b′_k|k＝1,2,3...n₄}，n表示特征点匹配对总数，b_k表示背景图像I₁的第k个特征点，b′_k表示背景图像I₂的第k个特征点，n₃表示背景图像I₁特征点数，n₄表示背景图像I₂特征点数。

步骤4)、计算背景图像I₁的对极点e和背景图像I₂的对极点e′：

4a)从特征点匹配对集合B中随机选取八对特征点匹配对，并将选取出的八对特征点匹配对作为归一化八点算法的输入，计算背景图像I₁与背景图像I₂之间的基础矩阵F；

4b)通过背景图像I₁与背景图像I₂之间的基础矩阵F，利用Fe＝0得到背景图像I₁的对极点e，同时利用F^Te′＝0得到背景图像I₂的对极点e′，其中F^T表示F的转置。

步骤5)、对特征点匹配对集合B、参考视频V₁的运动目标轨迹点集p₁、待同步视频V₂的运动目标轨迹点集p₂、背景图像I₁的对极点e和背景图像I₂的对极点e′进行归一化：

在特征点匹配对集合B中，对背景图像I₁特征点集b中的特征点进行归一化，得到归一化矩阵T：

其中，(E_x,E_y)表示背景图像I₁特征点的质心坐标，S表示背景图像I₁特征点的尺度缩放因子：

和分别表示背景图像I₁的第k个特征点b_k的水平和垂直坐标；

同时对背景图像I₂特征点集b′中的特征点进行归一化，得到归一化矩阵T′：

其中，(E′_x,E′_y)表示背景图像I₂特征点的质心坐标，S′表示背景图像I₂特征点的尺度缩放因子：

和分别表示背景图像I₂的第k个特征点b′_k的水平和垂直坐标；

再通过归一化矩阵T对对极点e、背景图像I₁的特征点和参考视频V₁的运动目标轨迹点集p₁中的轨迹点进行归一化，同时通过归一化矩阵T′对对极点e′、背景图像I₂的特征点和待同步视频V₂的运动目标轨迹点集p₂中的轨迹点进行归一化，得到归一化后的对极点e和e′、背景图像I₁的特征点集b、背景图像I₂的特征点集b′和轨迹点集p₁和p₂。

步骤6)、获取归一化后的轨迹点集p₁与轨迹点集p₂之间的匹配对集合M_z：

6a)从归一化后的背景图像I₁的特征点集b和背景图像I₂的特征点集b′组成的背景特征点匹配对集合B中，随机提取出背景图像I₁中的两个特征点{b₁,b₂}，并在背景图像I₂中提取与{b₁,b₂}匹配的两个特征点{b′₁,b′₂}；

6b)计算参考视频V₁上四个点{e,b₁,b₂,p_1i}与待同步视频V₂上四个点{e′,b′₁,b′₂,p′_2j}之间的单应矩阵H_ij(四组点可以求出一个单应矩阵)，其中e和e′表示归一化后的对极点，p_1i表示参考视频V₁的运动目标轨迹点集p₁中归一化的轨迹点，p_2j表示待同步视频V₂的运动目标轨迹点集p₂中归一化的轨迹点；

6c)通过背景图像I₁中的两个特征点{b₁,b₂}和对极点e，在参考视频V₁上构建坐标系，并对轨迹点p_1i在构建的坐标系中进行坐标表示，得到轨迹点p_1i的坐标值(x_i,y_i,1)^T；同时通过背景图像I₂中的两个特征点{b′₁,b′₂}和对极点e′，在待同步视频V₂上构建坐标系，并对轨迹点p′_2j在构建的坐标系中进行坐标表示，得到轨迹点p′_2j的坐标值(x′_j,y′_j,1)^T，其中(x_i,y_i,1)^T表示(x_i,y_i,1)的转置，(x′_j,y′_j,1)^T表示(x′_j,y′_j,1)的转置；

6d)对参考视频V₁运动目标轨迹点集p₁中的轨迹点p_1i,i＝1,2,3...n₁，判断与待同步视频V₂运动目标轨迹点集p₂中轨迹点p′_2j,j＝1,2,3...n₂是否匹配，如果两个轨迹点p_1i与p′_2j是一对正确的轨迹点匹配对，则轨迹点p_1i＝(x_i,y_i,1)^T与轨迹点p′_2j＝(x′_j,y′_j,1)^T的坐标值满足下式：

或者

其中，是{e,b₁,b₂,p_1i}与{e′,b′₁,b′₂,p′_2j}求得的单应矩阵H_ij的第三行，是单应矩阵H_ij的逆矩阵,th1和th2是判决阈值；

并将所有的轨迹点匹配对组成初始轨迹点匹配对集合M_c；

6e)对初始轨迹点匹配对集合M_c中的每个轨迹点匹配对进行对极几何约束，并将错误的轨迹点匹配对从M_c中剔除，得到轨迹点匹配对集合M_z。

步骤7)、获取参考视频V₁和待同步视频V₂之间的时间模型参数：

从轨迹点匹配对集合M_z中提取匹配点对(p_1i,p′_2j)的帧索引，得到参考视频V₁和待同步视频V₂之间的帧匹配对集M_F，M_F＝{(i,j)|(p_1i,p′_2j)∈M_z}，并采用随机抽样一致算法，通过M_F计算参考视频V₁与待同步视频V₂之间的时间模型参数。

以下结合仿真实验，对本发明的技术效果作进一步的说明：

1、仿真条件：所有仿真实验都是在Win7操作系统下采用MATLABR2014a软件实现；

2、仿真内容及结果分析：

仿真1

将本发明与基于现有技术方法对一组人工合成场景数据的实验结果进行比较，人工合成场景和仿真结果如图2所示，其中：

图2(a)为人工合成数据的三维场景，其中，相机间夹角为π/6，含有一个做非平面运动的运动目标；

图2(b)为人工合成场景得到的参考视频V₁运动目标轨迹点集和背景图像I₁特征点；

图2(c)人工合成场景得到的待同步视频V₂的运动目标轨迹点集和背景图像I₂特征点；

图2(d)为基于现有技术方法对于此人工合成场景的时间模型参数的估计结果图；

图2(e)为本发明对于此人工合成场景的时间模型参数的估计结果图，其中横坐标为参考视频V₁帧索引，纵坐标为待同步视频V₂帧索引，星号表示一对视频帧匹配对，直线为估计出的时间模型；

表1给出了此人工合成场景的时间模型参数的真实值及现有技术和本发明方法对于此人工合成场景估计出的时间模型参数值；

表1

	真值	现有技术	本发明
				帧率比α	2	1.842	2
时间偏移Δt	5	18.694	5

从图2和表1可以看出，相对于现有技术的视频同步方法，本发明能够获得更好的视频同步结果和更接近真值的时间模型参数；

仿真2

将本发明与现有技术方法对一组真实场景下的视频数据的实验结果进行比较，真实场景和仿真结果如图3所示，其中：

图3(a)为拍摄真实场景得到的参考视频V₁运动目标轨迹点集；

图3(b)为拍摄真实场景得到的待同步视频V₂运动目标轨迹点集；

图3(c)为现有技术对于此真实场景的时间模型参数的估计结果图；

图3(d)为本发明对于此真实场景的时间模型参数的估计结果图，其中横坐标为参考视频V₁帧索引，纵坐标为待同步视频V₂帧索引，星号表示一对视频帧匹配对，直线为估计出的时间模型；

表2给出了此真实场景的时间模型参数的真实值及现有技术方法和基于本发明对于此真实场景估计出的时间模型参数值；

表2

	真值	现有技术	本发明方法
				帧率比α	1	0.822	1
时间偏移Δt	0	8.368	0

从图3和表2可以看出，相对于现有技术的视频同步方法，本发明方法能够获得更好的视频同步结果和更接近真值的时间模型参数。

Claims (1)

1.一种基于单应变换的视频同步方法，其特征在于，包括如下步骤：

(1)获取场景的参考视频与待同步视频：

使用两台未标定的摄像机，从不同视角位置拍摄含有多个运动目标的同一场景，得到第一视频V₁和第二视频V₂，并将第一视频V₁作为参考视频，将第二视频V₂作为待同步视频；

(2)提取参考视频V₁的运动目标轨迹和背景图像I₁，同时提取待同步视频V₂的运动目标轨迹和背景图像I₂：

对参考视频V₁和待同步视频V₂分别进行特征提取，得到参考视频V₁的运动目标轨迹点集p₁＝{p_1i|i＝1,2,3...n₁}和背景图像I₁，以及待同步视频V₂的运动目标轨迹点集p₂＝{p′_2j|j＝1,2,3...n₂}和背景图像I₂，其中i表示参考视频V₁的轨迹点所在的帧索引，j表示待同步视频V₂的轨迹点所在的帧索引，p_1i表示轨迹点集p₁中的第i个轨迹点，p_2j表示轨迹点集p₂中的第j个轨迹点，n₁表示参考视频V₁的总帧数，n₂表示待同步视频V₂的总帧数；

(3)对背景图像I₁和背景图像I₂进行匹配：

将背景图像I₁特征点集合中的特征点与背景图像I₂特征点集合中对应的特征点进行匹配，得到背景图像I₁和背景图像I₂的特征点匹配对集合B，B＝{(b_k,b′_k)|k＝1,2,3...n},n表示特征点匹配对总数，b_k表示背景图像I₁的第k个特征点，b′_k表示背景图像I₂的第k个特征点；

(4)计算背景图像I₁的对极点e和背景图像I₂的对极点e′：

(4a)从特征点匹配对集合B中随机选取八对特征点匹配对，并将选取出的八对特征点匹配对作为归一化八点算法的输入，计算背景图像I₁与背景图像I₂之间的基础矩阵F；

(4b)通过背景图像I₁与背景图像I₂之间的基础矩阵F,计算背景图像I₁的对极点e和背景图像I₂的对极点e′，计算公式如下：

Fe＝0

F^Te′＝0

其中F^T表示F的转置；

(5)对特征点匹配对集合B、参考视频V₁的运动目标轨迹点集p₁、待同步视频V₂的运动目标轨迹点集p₂、背景图像I₁的对极点e和背景图像I₂的对极点e′进行归一化：

在特征点匹配对集合B中，对背景图像I₁特征点集合中的特征点进行归一化，得到归一化矩阵T，同时对背景图像I₂特征点集合中的特征点进行归一化，得到归一化矩阵和T′，再通过归一化矩阵T对对极点e、背景图像I₁的特征点和参考视频V₁的运动目标轨迹点集p₁中的轨迹点进行归一化，同时通过归一化矩阵T′对对极点e′、背景图像I₂的特征点和待同步视频V₂的运动目标轨迹点集p₂中的轨迹点进行归一化，得到归一化后的对极点e和e′、背景图像I₁的特征点、背景图像I₂的特征点和轨迹点集p₁和p₂，其中：归一化矩阵T和T′，计算公式分别为：

其中，(E_x,E_y)、(E′_x,E′_y)分别表示背景图像I₁和背景图像I₂特征点的质心坐标，S、S′分别表示背景图像I₁和背景图像I₂特征点的尺度缩放因子：

和分别表示背景图像I₁的第k个特征点b_k的水平和垂直坐标，和分别表示背景图像I₂的第k个特征点b′_k的水平和垂直坐标，n表示特征点匹配对总数；

(6)获取归一化后的轨迹点集p₁与轨迹点集p₂之间的匹配对集合M_z：

(6a)从归一化后的背景图像I₁的特征点和背景图像I₂的特征点组成的背景特征点匹配对集合B中，随机提取出背景图像I₁中的两个特征点{b₁,b₂}，并在背景图像I₂中提取与{b₁,b₂}匹配的两个特征点{b′₁,b′₂}；

(6b)计算参考视频V₁上四个点{e,b₁,b₂,p_1i}与待同步视频V₂上四个点{e′,b′₁,b′₂,p′_2j}之间的单应矩阵H_ij，其中e和e′表示归一化后的对极点，p_1i表示参考视频V₁的运动目标轨迹点集p₁中归一化的轨迹点，p_2j表示待同步视频V₂的运动目标轨迹点集p₂中归一化的轨迹点；

(6c)通过背景图像I₁中的两个特征点{b₁,b₂}和对极点e，在参考视频V₁上构建坐标系，并对轨迹点p_1i在构建的坐标系中进行坐标表示，得到轨迹点p_1i的坐标值(x_i,y_i,1)^T；同时通过背景图像I₂中的两个特征点{b′₁,b′₂}和对极点e′，在待同步视频V₂上构建坐标系，并对轨迹点p′_2j在构建的坐标系中进行坐标表示，得到轨迹点p′_2j的坐标值(x′_j,y′_j,1)^T，其中(x_i,y_i,1)^T表示(x_i,y_i,1)的转置，(x′_j,y′_j,1)^T表示(x′_j,y′_j,1)的转置；

(6d)根据轨迹点p_1i的坐标值(x_i,y_i,1)^T和轨迹点p′_2j的坐标值(x′_j,y′_j,1)^T，及参考视频V₁上四个点{e,b₁,b₂,p_1i}和待同步视频V₂上四个点{e′,b′₁,b′₂,p′_2j}之间的单应矩阵H_ij，判断轨迹点p_1i与轨迹点p′_2j是否匹配，并将所有的轨迹点匹配对组成初始轨迹点匹配对集合M_c，其中：判断轨迹点p_1i与轨迹点p′_2j是否匹配的判断方法如下：

对参考视频V₁运动目标轨迹点集p₁中的轨迹点p_1i,i＝1,2,3...n₁，判断与待同步视频V₂运动目标轨迹点集p₂中轨迹点p′_2j,j＝1,2,3...n₂是否匹配，如果两个轨迹点p_1i与p′_2j是一对正确的轨迹点匹配对，则两个轨迹点p_1i＝(x_i,y_i,1)^T与p′_2j＝(x′_j,y′_j,1)^T的坐标值满足下式：

或者

其中，是{e,b₁,b₂,p_1i}与{e′,b′₁,b′₂,p′_2j}求得的单应矩阵H_ij的第三行，是单应矩阵H_ij的逆矩阵,th1和th2是判决阈值，i表示参考视频V₁的轨迹点所在的帧索引，j表示待同步视频V₂的轨迹点所在的帧索引，n₁表示参考视频V₁的总帧数，n₂表示待同步视频V₂的总帧数；

(6e)对初始轨迹点匹配对集合M_c中的每个轨迹点匹配对进行对极几何约束，并将错误的轨迹点匹配对从M_c中剔除，得到轨迹点匹配对集合M_z；

(7)获取参考视频V₁和待同步视频V₂之间的时间模型参数：

从轨迹点匹配对集合M_z中提取匹配点对(p_1i,p′_2j)的帧索引，得到参考视频V₁和待同步视频V₂之间的帧匹配对集M_F，M_F＝{(i,j)|(p_1i,p′_2j)∈M_z}，并采用随机抽样一致算法，通过M_F计算参考视频V₁与待同步视频V₂之间的时间模型参数。