CN108234819A - 基于单应变换的视频同步方法 - Google Patents
基于单应变换的视频同步方法 Download PDFInfo
- Publication number
- CN108234819A CN108234819A CN201810086745.2A CN201810086745A CN108234819A CN 108234819 A CN108234819 A CN 108234819A CN 201810086745 A CN201810086745 A CN 201810086745A CN 108234819 A CN108234819 A CN 108234819A
- Authority
- CN
- China
- Prior art keywords
- video
- background image
- points
- point
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 230000017105 transposition Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002864 sequence alignment Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于单应变换的视频同步方法，用于解决现有技术中存在的当运动目标做非平面运动时视频同步误差较大的技术问题。实现步骤为：对输入视频进行运动目标轨迹提取及背景图像匹配；得到背景图像的对极点；对运动目标轨迹、背景图像特征点和对极点进行归一化；利用背景点、对极点和轨迹点，基于单应变换获得初始轨迹点匹配对，采用对极几何约束剔除错误的轨迹点匹配对；提取轨迹点的时间信息，使用随机抽样一致算法计算出输入视频间的时间模型参数。本发明当运动目标做非平面运动时，可以获得较高的正确匹配率，适用于多视频监控、目标跟踪、视频拼接、三维重建及视频融合等领域。
Description
技术领域
本发明属于图像处理技术领域，涉及一种视频同步方法，具体涉及一种基于单应变换的视频同步方法，可应用于多视频监控、目标跟踪、视频拼接、三维重建及视频融合等领域。
背景技术
视频同步是将非标定且放置在不同视角位置的两个或者多个摄像机记录的同一动态场景的多个视频进行时间校准的技术，视频同步的核心目标是建立多个视频中来自同一物理时刻的视频帧的对应关系，得到它们之间的时间模型参数。视频同步主要包括两种实现方法：硬件方法和软件方法。硬件方法是利用特定的装置在视频序列的每一帧图像上做时间标记符号或者为每台摄像机发射同步消息，进而同步多台摄像机。该方法虽然同步结果精确度高，但是代价昂贵，还要求拍摄前对摄像机进行特殊设置。软件方法主要包括两种方法：直接法和轨迹法。直接法是将视频序列整帧作为输入，并且对于视频所有帧的像素点进行计算，它不用提取特征、背景匹配点对，它的要求是整帧数据必须“互相关”，而且计算量太大，不太适应大视角。
轨迹法是通过跟踪场景范围内的特征点得到的轨迹，再对轨迹上的像素点进行计算，而目标的运动轨迹包含了场景中大量有用的信息，这些信息不受视频像素灰度变化和成像视角的干扰，因此仅需要利用轨迹信息就能建立视频序列之间的时间对应关系，并且处理信息少，计算量小。所以，基于轨迹的视频同步方法具有更广泛的适用性，是当前的研究热点。
目前，基于轨迹的视频同步算法中典型的有基于投影不变表示和基于运动目标两种方法，“Nunziati W,Sclaroff S,Del Bimbo A.Matching trajectories between videosequences by exploiting a sparse projective invariant representation.IEEEtransactions on pattern analysis and machine intelligence,2010,32(3):517-529.”公开了一种基于投影不变表示的视频同步方法，该方法使用当前轨迹点及其四个邻域轨迹点构造出一个五共面点结构，并且以五共面点交比作为轨迹点的描述，进而获得轨迹点之间的视频同步。由于其使用邻域轨迹点构造五点结构，当运动目标做平面运动时，可以得到较好的结果，但是当运动目标做非平面运动时，该方法获得的视频序列同步结果误差比较大。“Lu C,Mandal M.A robust technique for motion-based video sequencestemporal alignment[J].IEEE Transactions on Multimedia,2013,15(1):70-82.”公开了一种基于运动目标的视频同步方法，该方法使用轨迹点的概率匹配思想，假设参考视频序列中的轨迹点是由以待同步视频序列中的轨迹点为中心的高斯混合模型生成的数据点，采用极大似然估计、最大期望算法对问题进行求解。由于其采用仿射变换作为轨迹点集之间的几何模型，而仿射变换应对像机间视角差异较小的平面运动场景时得到较好的结果，但是当运动目标做非平面运动时，该方法获得的视频序列同步结果误差比较大。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于单应变换的视频同步方法，用于解决现有技术中存在的当运动目标做非平面运动时视频同步误差较大的技术问题。
本发明的技术思路是：首先对输入视频进行运动目标轨迹提取及背景图像匹配；计算背景图像的对极点；对运动目标轨迹、背景图像特征点和对极点进行归一化；利用背景点、对极点和轨迹点，基于单应变换获得初始轨迹点匹配对，采用对极几何约束剔除错误的轨迹点匹配对；提取轨迹点的时间信息，使用随机抽样一致算法计算出输入视频间的时间模型参数。
根据上述技术思路，实现本发明目的采取的技术方案包括如下步骤：
(1)获取场景的参考视频与待同步视频：
使用两台未标定的摄像机，从不同视角位置拍摄含有多个运动目标的同一场景，得到第一视频V1和第二视频V2，并将第一视频V1作为参考视频，将第二视频V2作为待同步视频；
(2)提取参考视频V1的运动目标轨迹和背景图像I1，同时提取待同步视频V2的运动目标轨迹和背景图像I2：
对参考视频V1和待同步视频V2分别进行特征提取，得到参考视频V1的运动目标轨迹点集p1＝{p1i|i＝1,2,3...n1}和背景图像I1，以及待同步视频V2的运动目标轨迹点集p2＝{p′2j|j＝1,2,3...n2}和背景图像I2，其中i表示参考视频V1的轨迹点所在的帧索引，j表示待同步视频V2的轨迹点所在的帧索引，p1i表示轨迹点集p1中的第i个轨迹点，p2j表示轨迹点集p2中的第j个轨迹点，n1表示参考视频V1的总帧数，n2表示待同步视频V2的总帧数；
(3)对背景图像I1和背景图像I2进行匹配：
将背景图像I1特征点集合中的特征点与背景图像I2特征点集合中对应的特征点进行匹配，得到背景图像I1和背景图像I2的特征点匹配对集合B，B＝{(bk,b′k)|k＝1,2,3...n},n表示特征点匹配对总数，bk表示背景图像I1的第k个特征点，b′k表示背景图像I2的第k个特征点；
(4)计算背景图像I1的对极点e和背景图像I2的对极点e′：
(4a)从特征点匹配对集合B中随机选取八对特征点匹配对，并将选取出的八对特征点匹配对作为归一化八点算法的输入，计算背景图像I1与背景图像I2之间的基础矩阵F；
(4b)通过背景图像I1与背景图像I2之间的基础矩阵F，计算背景图像I1的对极点e和背景图像I2的对极点e′；
(5)对特征点匹配对集合B、参考视频V1的运动目标轨迹点集p1、待同步视频V2的运动目标轨迹点集p2、背景图像I1的对极点e和背景图像I2的对极点e′进行归一化：
在特征点匹配对集合B中，对背景图像I1特征点集合中的特征点进行归一化，得到归一化矩阵T，同时对背景图像I2特征点集合中的特征点进行归一化，得到归一化矩阵和T′，再通过归一化矩阵T对对极点e、背景图像I1的特征点和参考视频V1的运动目标轨迹点集p1中的轨迹点进行归一化，同时通过归一化矩阵T′对对极点e′、背景图像I2的特征点和待同步视频V2的运动目标轨迹点集p2中的轨迹点进行归一化，得到归一化后的对极点e和e′、背景图像I1的特征点、背景图像I2的特征点和轨迹点集p1和p2；
(6)获取归一化后的轨迹点集p1与轨迹点集p2之间的匹配对集合Mz：
(6a)从归一化后的背景图像I1的特征点和背景图像I2的特征点组成的背景特征点匹配对集合B中，随机提取出背景图像I1中的两个特征点{b1,b2}，并在背景图像I2中提取与{b1,b2}匹配的两个特征点{b′1,b′2}；
(6b)计算参考视频V1上四个点{e,b1,b2,p1i}与待同步视频V2上四个点{e′,b′1,b′2,p′2j}之间的单应矩阵Hij，其中e和e′表示归一化后的对极点，p1i表示参考视频V1的运动目标轨迹点集p1中归一化的轨迹点，p2j表示参考视频V2的运动目标轨迹点集p2中归一化的轨迹点；
(6c)通过背景图像I1中的两个特征点{b1,b2}和对极点e，在参考视频V1上构建坐标系，并对轨迹点p1i在构建的坐标系中进行坐标表示，得到轨迹点p1i的坐标值(xi,yi,1)T；同时通过背景图像I2中的两个特征点{b′1,b′2}和对极点e′，在参考视频V2上构建坐标系，并对轨迹点p′2j在构建的坐标系中进行坐标表示，得到轨迹点p′2j的坐标值(x′j,y′j,1)T，其中(xi,yi,1)T表示(xi,yi,1)的转置，(x′j,y′j,1)T表示(x′j,y′j,1)的转置；
(6d)根据轨迹点p1i的坐标值(xi,yi,1)T和轨迹点p′2j的坐标值(x′j,y′j,1)T，及参考视频V1上四个点{e,b1,b2,p1i}和待同步视频V2上四个点{e′,b′1,b′2,p′2j}之间的单应矩阵Hij，判断轨迹点p1i与轨迹点p′2j是否匹配，并将所有的轨迹点匹配对组成初始轨迹点匹配对集合Mc；
(6e)对初始轨迹点匹配对集合Mc中的每个轨迹点匹配对进行对极几何约束，并将错误的轨迹点匹配对从Mc中剔除，得到轨迹点匹配对集合Mz；
(7)获取参考视频V1和待同步视频V2之间的时间模型参数：
从轨迹点匹配对集合Mz中提取匹配点对(p1i,p′2j)的帧索引，得到参考视频V1和待同步视频V2之间的帧匹配对集MF，MF＝{(i,j)|(p1i,p′2j)∈Mz}，并采用随机抽样一致算法，通过MF计算参考视频V1与待同步视频V2之间的时间模型参数。
本发明与现有的技术相比，具有以下优点：
本发明获得参考视频轨迹点集和待同步视频轨迹点集的匹配对集合时，给定两对背景匹配点对和一对对极点，对于任意一对轨迹点匹配对，通过单应变换获得轨迹点的匹配对集合。当运动目标做非平面运动时，仿真结果表明本发明与现有技术相比可以获得较高的正确匹配率。
附图说明
图1为本发明的实现流程图；
图2为本发明与现有技术的视频同步方法对一组人工合成场景的数据进行同步的仿真结果对比图；
图3为本发明与现有技术的视频同步方法对一组真实场景的视频同步仿真结果图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步的详细描述：
参照图1，基于单应变换的视频同步方法，包括如下步骤：
步骤1)、获取场景的参考视频与待同步视频：
使用两台未标定(帧率未知、开机时间不同步)的摄像机，从不同视角位置拍摄含有多个运动目标的同一场景，得到第一视频V1和第二视频V2，并将第一视频V1作为参考视频，将第二视频V2作为待同步视频。
步骤2)、提取参考视频V1的运动目标轨迹和背景图像I1，同时提取待同步视频V2的运动目标轨迹和背景图像I2：
对参考视频V1和待同步视频V2分别进行特征提取，通过对运动目标进行追踪得到参考视频V1的运动目标轨迹点集p1＝{p1i|i＝1,2,3...n1}和待同步视频V2的运动目标轨迹点集p2＝{p′2j|j＝1,2,3...n2}，通过帧差法得到参考视频V1和待同步视频V2的背景图像I1和背景图像I2，其中i表示参考视频V1的轨迹点所在的帧索引，j表示待同步视频V2的轨迹点所在的帧索引，p1i表示轨迹点集p1中的第i个轨迹点，p2j表示轨迹点集p2中的第j个轨迹点，n1表示参考视频V1的总帧数，n2表示待同步视频V2的总帧数。
步骤3)、对背景图像I1和背景图像I2进行匹配：
将背景图像I1和背景图像I2作为SIFT图像匹配算法的输入，得到背景图像I1和背景图像I2的特征点匹配对集合B，B＝{(bk,b′k)|k＝1,2,3...n}，其中背景图像I1的特征点集为b，b＝{bk|k＝1,2,3...n3},背景图像I2的特征点集为b′，b′＝{b′k|k＝1,2,3...n4}，n表示特征点匹配对总数，bk表示背景图像I1的第k个特征点，b′k表示背景图像I2的第k个特征点，n3表示背景图像I1特征点数，n4表示背景图像I2特征点数。
步骤4)、计算背景图像I1的对极点e和背景图像I2的对极点e′：
4a)从特征点匹配对集合B中随机选取八对特征点匹配对，并将选取出的八对特征点匹配对作为归一化八点算法的输入，计算背景图像I1与背景图像I2之间的基础矩阵F；
4b)通过背景图像I1与背景图像I2之间的基础矩阵F，利用Fe＝0得到背景图像I1的对极点e，同时利用FTe′＝0得到背景图像I2的对极点e′，其中FT表示F的转置。
步骤5)、对特征点匹配对集合B、参考视频V1的运动目标轨迹点集p1、待同步视频V2的运动目标轨迹点集p2、背景图像I1的对极点e和背景图像I2的对极点e′进行归一化：
在特征点匹配对集合B中，对背景图像I1特征点集b中的特征点进行归一化，得到归一化矩阵T：
其中，(Ex,Ey)表示背景图像I1特征点的质心坐标，S表示背景图像I1特征点的尺度缩放因子：
和分别表示背景图像I1的第k个特征点bk的水平和垂直坐标；
同时对背景图像I2特征点集b′中的特征点进行归一化，得到归一化矩阵T′：
其中，(E′x,E′y)表示背景图像I2特征点的质心坐标，S′表示背景图像I2特征点的尺度缩放因子：
和分别表示背景图像I2的第k个特征点b′k的水平和垂直坐标；
再通过归一化矩阵T对对极点e、背景图像I1的特征点和参考视频V1的运动目标轨迹点集p1中的轨迹点进行归一化，同时通过归一化矩阵T′对对极点e′、背景图像I2的特征点和待同步视频V2的运动目标轨迹点集p2中的轨迹点进行归一化，得到归一化后的对极点e和e′、背景图像I1的特征点集b、背景图像I2的特征点集b′和轨迹点集p1和p2。
步骤6)、获取归一化后的轨迹点集p1与轨迹点集p2之间的匹配对集合Mz：
6a)从归一化后的背景图像I1的特征点集b和背景图像I2的特征点集b′组成的背景特征点匹配对集合B中，随机提取出背景图像I1中的两个特征点{b1,b2}，并在背景图像I2中提取与{b1,b2}匹配的两个特征点{b′1,b′2}；
6b)计算参考视频V1上四个点{e,b1,b2,p1i}与待同步视频V2上四个点{e′,b′1,b′2,p′2j}之间的单应矩阵Hij(四组点可以求出一个单应矩阵)，其中e和e′表示归一化后的对极点，p1i表示参考视频V1的运动目标轨迹点集p1中归一化的轨迹点，p2j表示参考视频V2的运动目标轨迹点集p2中归一化的轨迹点；
6c)通过背景图像I1中的两个特征点{b1,b2}和对极点e，在参考视频V1上构建坐标系，并对轨迹点p1i在构建的坐标系中进行坐标表示，得到轨迹点p1i的坐标值(xi,yi,1)T；同时通过背景图像I2中的两个特征点{b′1,b′2}和对极点e′，在参考视频V2上构建坐标系，并对轨迹点p′2j在构建的坐标系中进行坐标表示，得到轨迹点p′2j的坐标值(x′j,y′j,1)T，其中(xi,yi,1)T表示(xi,yi,1)的转置，(x′j,y′j,1)T表示(x′j,y′j,1)的转置；
6d)对参考视频V1运动目标轨迹点集p1中的轨迹点p1i,i＝1,2,3...n1，判断与待同步视频V2运动目标轨迹点集p2中轨迹点p′2j,j＝1,2,3...n2是否匹配，如果两个轨迹点p1i与p′2j是一对正确的轨迹点匹配对，则轨迹点p1i＝(xi,yi,1)T与轨迹点p′2j＝(x′j,y′j,1)T的坐标值满足下式：
或者
其中，是{e,b1,b2,p1i}与{e′,b′1,b′2,p′2j}求得的单应矩阵Hij的第三行，是单应矩阵Hij的逆矩阵,th1和th2是判决阈值；
并将所有的轨迹点匹配对组成初始轨迹点匹配对集合Mc；
6e)对初始轨迹点匹配对集合Mc中的每个轨迹点匹配对进行对极几何约束，并将错误的轨迹点匹配对从Mc中剔除，得到轨迹点匹配对集合Mz。
步骤7)、获取参考视频V1和待同步视频V2之间的时间模型参数：
从轨迹点匹配对集合Mz中提取匹配点对(p1i,p′2j)的帧索引，得到参考视频V1和待同步视频V2之间的帧匹配对集MF，MF＝{(i,j)|(p1i,p′2j)∈Mz}，并采用随机抽样一致算法，通过MF计算参考视频V1与待同步视频V2之间的时间模型参数。
以下结合仿真实验，对本发明的技术效果作进一步的说明：
1、仿真条件：所有仿真实验都是在Win7操作系统下采用MATLABR2014a软件实现；
2、仿真内容及结果分析：
仿真1
将本发明与基于现有技术方法对一组人工合成场景数据的实验结果进行比较，人工合成场景和仿真结果如图2所示，其中：
图2(a)为人工合成数据的三维场景，其中，相机间夹角为π/6，含有一个做非平面运动的运动目标；
图2(b)为人工合成场景得到的参考视频V1运动目标轨迹点集和背景图像I1特征点；
图2(c)人工合成场景得到的待同步视频V2的运动目标轨迹点集和背景图像I2特征点；
图2(d)为基于现有技术方法对于此人工合成场景的时间模型参数的估计结果图；
图2(e)为本发明对于此人工合成场景的时间模型参数的估计结果图，其中横坐标为参考视频V1帧索引，纵坐标为待同步视频V2帧索引，星号表示一对视频帧匹配对，直线为估计出的时间模型；
表1给出了此人工合成场景的时间模型参数的真实值及现有技术和本发明方法对于此人工合成场景估计出的时间模型参数值；
表1
| 真值 | 现有技术 | 本发明 | |
| 帧率比α | 2 | 1.842 | 2 |
| 时间偏移Δt | 5 | 18.694 | 5 |
从图2和表1可以看出，相对于现有技术的视频同步方法，本发明能够获得更好的视频同步结果和更接近真值的时间模型参数；
仿真2
将本发明与现有技术方法对一组真实场景下的视频数据的实验结果进行比较，真实场景和仿真结果如图3所示，其中：
图3(a)为拍摄真实场景得到的参考视频V1运动目标轨迹点集；
图3(b)为拍摄真实场景得到的参考视频V2运动目标轨迹点集；
图3(c)为现有技术对于此真实场景的时间模型参数的估计结果图；
图3(d)为本发明对于此真实场景的时间模型参数的估计结果图，其中横坐标为参考视频V1帧索引，纵坐标为待同步视频V2帧索引，星号表示一对视频帧匹配对，直线为估计出的时间模型；
表2给出了此真实场景的时间模型参数的真实值及现有技术方法和基于本发明对于此真实场景估计出的时间模型参数值；
表2
| 真值 | 现有技术 | 本发明方法 | |
| 帧率比α | 1 | 0.822 | 1 |
| 时间偏移Δt | 0 | 8.368 | 0 |
从图3和表2可以看出，相对于现有技术的视频同步方法，本发明方法能够获得更好的视频同步结果和更接近真值的时间模型参数。
Claims (4)
1.一种基于单应变换的视频同步方法，其特征在于，包括如下步骤：
(1)获取场景的参考视频与待同步视频：
使用两台未标定的摄像机，从不同视角位置拍摄含有多个运动目标的同一场景，得到第一视频V1和第二视频V2，并将第一视频V1作为参考视频，将第二视频V2作为待同步视频；
(2)提取参考视频V1的运动目标轨迹和背景图像I1，同时提取待同步视频V2的运动目标轨迹和背景图像I2：
对参考视频V1和待同步视频V2分别进行特征提取，得到参考视频V1的运动目标轨迹点集p1＝{p1i|i＝1,2,3...n1}和背景图像I1，以及待同步视频V2的运动目标轨迹点集p2＝{p′2j|j＝1,2,3...n2}和背景图像I2，其中i表示参考视频V1的轨迹点所在的帧索引，j表示待同步视频V2的轨迹点所在的帧索引，p1i表示轨迹点集p1中的第i个轨迹点，p2j表示轨迹点集p2中的第j个轨迹点，n1表示参考视频V1的总帧数，n2表示待同步视频V2的总帧数；
(3)对背景图像I1和背景图像I2进行匹配：
将背景图像I1特征点集合中的特征点与背景图像I2特征点集合中对应的特征点进行匹配，得到背景图像I1和背景图像I2的特征点匹配对集合B，B＝{(bk,b′k)|k＝1,2,3...n},n表示特征点匹配对总数，bk表示背景图像I1的第k个特征点，b′k表示背景图像I2的第k个特征点；
(4)计算背景图像I1的对极点e和背景图像I2的对极点e′：
(4a)从特征点匹配对集合B中随机选取八对特征点匹配对，并将选取出的八对特征点匹配对作为归一化八点算法的输入，计算背景图像I1与背景图像I2之间的基础矩阵F；
(4b)通过背景图像I1与背景图像I2之间的基础矩阵F,计算背景图像I1的对极点e和背景图像I2的对极点e′；
(5)对特征点匹配对集合B、参考视频V1的运动目标轨迹点集p1、待同步视频V2的运动目标轨迹点集p2、背景图像I1的对极点e和背景图像I2的对极点e′进行归一化：
在特征点匹配对集合B中，对背景图像I1特征点集合中的特征点进行归一化，得到归一化矩阵T，同时对背景图像I2特征点集合中的特征点进行归一化，得到归一化矩阵和T′，再通过归一化矩阵T对对极点e、背景图像I1的特征点和参考视频V1的运动目标轨迹点集p1中的轨迹点进行归一化，同时通过归一化矩阵T′对对极点e′、背景图像I2的特征点和待同步视频V2的运动目标轨迹点集p2中的轨迹点进行归一化，得到归一化后的对极点e和e′、背景图像I1的特征点、背景图像I2的特征点和轨迹点集p1和p2；
(6)获取归一化后的轨迹点集p1与轨迹点集p2之间的匹配对集合Mz：
(6a)从归一化后的背景图像I1的特征点和背景图像I2的特征点组成的背景特征点匹配对集合B中，随机提取出背景图像I1中的两个特征点{b1,b2}，并在背景图像I2中提取与{b1,b2}匹配的两个特征点{b′1,b′2}；
(6b)计算参考视频V1上四个点{e,b1,b2,p1i}与待同步视频V2上四个点{e′,b′1,b′2,p′2j}之间的单应矩阵Hij，其中e和e′表示归一化后的对极点，p1i表示参考视频V1的运动目标轨迹点集p1中归一化的轨迹点，p2j表示参考视频V2的运动目标轨迹点集p2中归一化的轨迹点；
(6c)通过背景图像I1中的两个特征点{b1,b2}和对极点e，在参考视频V1上构建坐标系，并对轨迹点p1i在构建的坐标系中进行坐标表示，得到轨迹点p1i的坐标值(xi,yi,1)T；同时通过背景图像I2中的两个特征点{b′1,b′2}和对极点e′，在参考视频V2上构建坐标系，并对轨迹点p′2j在构建的坐标系中进行坐标表示，得到轨迹点p′2j的坐标值(x′j,y′j,1)T，其中(xi,yi,1)T表示(xi,yi,1)的转置，(x′j,y′j,1)T表示(x′j,y′j,1)的转置；
(6d)根据轨迹点p1i的坐标值(xi,yi,1)T和轨迹点p′2j的坐标值(x′j,y′j,1)T，及参考视频V1上四个点{e,b1,b2,p1i}和待同步视频V2上四个点{e′,b′1,b′2,p′2j}之间的单应矩阵Hij，判断轨迹点p1i与轨迹点p′2j是否匹配，并将所有的轨迹点匹配对组成初始轨迹点匹配对集合Mc；
(6e)对初始轨迹点匹配对集合Mc中的每个轨迹点匹配对进行对极几何约束，并将错误的轨迹点匹配对从Mc中剔除，得到轨迹点匹配对集合Mz；
(7)获取参考视频V1和待同步视频V2之间的时间模型参数：
从轨迹点匹配对集合Mz中提取匹配点对(p1i,p′2j)的帧索引，得到参考视频V1和待同步视频V2之间的帧匹配对集MF，MF＝{(i,j)|(p1i,p′2j)∈Mz}，并采用随机抽样一致算法，通过MF计算参考视频V1与待同步视频V2之间的时间模型参数。
2.根据权利要求1所述的基于单应变换的视频同步方法，其特征在于，步骤(4b)中计算背景图像I1的对极点e和背景图像I2的对极点e′，计算公式如下：
Fe＝0
FTe′＝0
其中FT表示F的转置。
3.根据权利要求1所述的基于单应变换的视频同步方法，其特征在于，步骤(5)中所述的归一化矩阵T和T′，计算公式分别为：
其中，(Ex,Ey)、(E′x,E′y)分别表示背景图像I1和背景图像I2特征点的质心坐标，S、S′分别表示背景图像I1和背景图像I2特征点的尺度缩放因子：
和分别表示背景图像I1的第k个特征点bk的水平和垂直坐标，和分别表示背景图像I2的第k个特征点b′k的水平和垂直坐标，n表示特征点匹配对总数。
4.根据权利要求1所述的基于单应变换的视频同步方法，其特征在于，步骤(6d)中所述的判断轨迹点p1i与轨迹点p′2j是否匹配，判断方法如下：
对参考视频V1运动目标轨迹点集p1中的轨迹点p1i,i＝1,2,3...n1，判断与待同步视频V2运动目标轨迹点集p2中轨迹点p′2j,j＝1,2,3...n2是否匹配，如果两个轨迹点p1i与p′2j是一对正确的轨迹点匹配对，则两个轨迹点p1i＝(xi,yi,1)T与p′2j＝(x′j,y′j,1)T的坐标值满足下式：
或者
其中，是{e,b1,b2,p1i}与{e′,b′1,b′2,p′2j}求得的单应矩阵Hij的第三行，是单应矩阵Hij的逆矩阵,th1和th2是判决阈值，i表示参考视频V1的轨迹点所在的帧索引，j表示待同步视频V2的轨迹点所在的帧索引，n1表示参考视频V1的总帧数，n2表示待同步视频V2的总帧数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810086745.2A CN108234819B (zh) | 2018-01-30 | 2018-01-30 | 基于单应变换的视频同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810086745.2A CN108234819B (zh) | 2018-01-30 | 2018-01-30 | 基于单应变换的视频同步方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108234819A true CN108234819A (zh) | 2018-06-29 |
| CN108234819B CN108234819B (zh) | 2019-08-13 |
Family
ID=62669366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810086745.2A Active CN108234819B (zh) | 2018-01-30 | 2018-01-30 | 基于单应变换的视频同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108234819B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741245A (zh) * | 2018-12-28 | 2019-05-10 | 杭州睿琪软件有限公司 | 平面信息的插入方法及装置 |
| CN110751685A (zh) * | 2019-10-21 | 2020-02-04 | 广州小鹏汽车科技有限公司 | 深度信息确定方法、确定装置、电子装置和车辆 |
| CN111565298A (zh) * | 2020-04-30 | 2020-08-21 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、设备及计算机可读存储介质 |
| WO2021036275A1 (zh) * | 2019-08-29 | 2021-03-04 | 华为技术有限公司 | 多路视频同步的方法、系统及设备 |
| CN112449152A (zh) * | 2019-08-29 | 2021-03-05 | 华为技术有限公司 | 多路视频同步的方法、系统及设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060024041A1 (en) * | 2004-07-27 | 2006-02-02 | Microsoft Corporation | System and method for calibrating multiple cameras without employing a pattern by inter-image homography |
| CN102256111A (zh) * | 2011-07-17 | 2011-11-23 | 西安电子科技大学 | 多通道全景视频实时监控系统及方法 |
| CN102929572A (zh) * | 2012-10-29 | 2013-02-13 | 浙江大学 | 一种实现大屏幕多投影无缝拼接的方法及其拼接融合器 |
| CN104063867A (zh) * | 2014-06-27 | 2014-09-24 | 浙江宇视科技有限公司 | 一种多摄像机视频同步方法和装置 |
| CN104268866A (zh) * | 2014-09-19 | 2015-01-07 | 西安电子科技大学 | 基于运动信息与背景信息相结合的视频序列配准方法 |
| US20150332096A1 (en) * | 2014-05-16 | 2015-11-19 | Disney Enterprises, Inc, | Interactive Synchronization of Multiple Videos |
| US20170090271A1 (en) * | 2015-09-24 | 2017-03-30 | Amazon Technologies, Inc. | Unmanned aerial vehicle descent |
| CN106991690A (zh) * | 2017-04-01 | 2017-07-28 | 电子科技大学 | 一种基于运动目标时序信息的视频序列同步方法 |
| CN107133986A (zh) * | 2017-04-26 | 2017-09-05 | 武汉科技大学 | 一种基于二维标定物的相机标定方法 |
| CN107316008A (zh) * | 2017-06-09 | 2017-11-03 | 西安电子科技大学 | 基于投影不变描述子的视频同步方法 |
-
2018
- 2018-01-30 CN CN201810086745.2A patent/CN108234819B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060024041A1 (en) * | 2004-07-27 | 2006-02-02 | Microsoft Corporation | System and method for calibrating multiple cameras without employing a pattern by inter-image homography |
| CN102256111A (zh) * | 2011-07-17 | 2011-11-23 | 西安电子科技大学 | 多通道全景视频实时监控系统及方法 |
| CN102929572A (zh) * | 2012-10-29 | 2013-02-13 | 浙江大学 | 一种实现大屏幕多投影无缝拼接的方法及其拼接融合器 |
| US20150332096A1 (en) * | 2014-05-16 | 2015-11-19 | Disney Enterprises, Inc, | Interactive Synchronization of Multiple Videos |
| CN104063867A (zh) * | 2014-06-27 | 2014-09-24 | 浙江宇视科技有限公司 | 一种多摄像机视频同步方法和装置 |
| CN104268866A (zh) * | 2014-09-19 | 2015-01-07 | 西安电子科技大学 | 基于运动信息与背景信息相结合的视频序列配准方法 |
| US20170090271A1 (en) * | 2015-09-24 | 2017-03-30 | Amazon Technologies, Inc. | Unmanned aerial vehicle descent |
| CN106991690A (zh) * | 2017-04-01 | 2017-07-28 | 电子科技大学 | 一种基于运动目标时序信息的视频序列同步方法 |
| CN107133986A (zh) * | 2017-04-26 | 2017-09-05 | 武汉科技大学 | 一种基于二维标定物的相机标定方法 |
| CN107316008A (zh) * | 2017-06-09 | 2017-11-03 | 西安电子科技大学 | 基于投影不变描述子的视频同步方法 |
Non-Patent Citations (1)
| Title |
|---|
| 毕菲: "基于运动信息与背景信息相结合的视频序列配准", 《中国优秀硕士论文全文数据库--信息科技辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741245A (zh) * | 2018-12-28 | 2019-05-10 | 杭州睿琪软件有限公司 | 平面信息的插入方法及装置 |
| CN109741245B (zh) * | 2018-12-28 | 2023-03-17 | 杭州睿琪软件有限公司 | 平面信息的插入方法及装置 |
| WO2021036275A1 (zh) * | 2019-08-29 | 2021-03-04 | 华为技术有限公司 | 多路视频同步的方法、系统及设备 |
| CN112449152A (zh) * | 2019-08-29 | 2021-03-05 | 华为技术有限公司 | 多路视频同步的方法、系统及设备 |
| CN112449152B (zh) * | 2019-08-29 | 2022-12-27 | 华为技术有限公司 | 多路视频同步的方法、系统及设备 |
| CN110751685A (zh) * | 2019-10-21 | 2020-02-04 | 广州小鹏汽车科技有限公司 | 深度信息确定方法、确定装置、电子装置和车辆 |
| CN110751685B (zh) * | 2019-10-21 | 2022-10-14 | 广州小鹏汽车科技有限公司 | 深度信息确定方法、确定装置、电子装置和车辆 |
| CN111565298A (zh) * | 2020-04-30 | 2020-08-21 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、设备及计算机可读存储介质 |
| CN111565298B (zh) * | 2020-04-30 | 2024-03-22 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108234819B (zh) | 2019-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108234819B (zh) | 基于单应变换的视频同步方法 | |
| CN108038420B (zh) | 一种基于深度视频的人体行为识别方法 | |
| Chen et al. | Spectral curvature clustering (SCC) | |
| CN106780620B (zh) | 一种乒乓球运动轨迹识别定位与跟踪系统及方法 | |
| CN107481279B (zh) | 一种单目视频深度图计算方法 | |
| US9247139B2 (en) | Method for video background subtraction using factorized matrix completion | |
| US20120320162A1 (en) | Video object localization method using multiple cameras | |
| CN103530599A (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
| CN103426182A (zh) | 基于视觉注意机制的电子稳像方法 | |
| Samarzija et al. | An approach to the de-identification of faces in different poses | |
| CN112132103B (zh) | 一种视频人脸检测识别方法和系统 | |
| US20160335523A1 (en) | Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image | |
| CN113269682B (zh) | 一种结合帧间信息的非均匀运动模糊视频复原方法 | |
| CN105374051B (zh) | 智能移动终端防镜头抖动视频运动目标检测方法 | |
| Déniz et al. | Fast and accurate global motion compensation | |
| Ardizzone et al. | A tool to support the creation of datasets of tampered videos | |
| Sokolova et al. | Human identification by gait from event-based camera | |
| CN111582036A (zh) | 可穿戴设备下基于形状和姿态的跨视角人物识别方法 | |
| CN114419102A (zh) | 一种基于帧差时序运动信息的多目标跟踪检测方法 | |
| Yan et al. | Deep Video Stabilization via Robust Homography Estimation | |
| CN110930398B (zh) | 一种基于Log-Gabor相似度的全参考视频质量评价方法 | |
| Szenberg et al. | Automatic camera calibration for image sequences of a football match | |
| Yao et al. | Automatic camera self-calibration for immersive navigation of free viewpoint sports video | |
| CN107424141B (zh) | 一种基于概率块的面部图像质量评估方法 | |
| CN105938615B (zh) | 基于特征导向gmm和边缘图像的图像配准方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |