CN106991690A - 一种基于运动目标时序信息的视频序列同步方法 - Google Patents
一种基于运动目标时序信息的视频序列同步方法 Download PDFInfo
- Publication number
- CN106991690A CN106991690A CN201710212371.XA CN201710212371A CN106991690A CN 106991690 A CN106991690 A CN 106991690A CN 201710212371 A CN201710212371 A CN 201710212371A CN 106991690 A CN106991690 A CN 106991690A
- Authority
- CN
- China
- Prior art keywords
- video sequence
- video
- sequence
- profile
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000001360 synchronised effect Effects 0.000 title abstract description 6
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 description 4
- 238000005336 cracking Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于运动目标时序信息的视频序列同步方法,首先计算两个摄像头所拍摄视频图像之间的单应矩阵,根据该矩阵,将查找视频序列映射到参考视频序列平面,对视频序列进行背景减除处理,分别获取两个视频序列中运动目标轮廓序列,然后进行配准,获得匹配视频序列,并进行筛选,得到一个最终的匹配视频序列,这样获得时间偏差用于视频序列的同步。本发明引入单应矩阵,将将查找视频序列映射到参考视频序列平面,解决了视频图像之间的视觉差异问题,提高了视频图像相似度比较的准确性;同时,本发明利用运动目标在时间上的序列信息进行视频序列的匹配,而运动目标的姿态变化是一个合适的特征,可以准确匹配,从而进一步提高时间偏差计算的准确度,从而提升其同步效果。
Description
技术领域
本发明属于计算机视觉技术领域,更为具体地讲,涉及一种基于运动目标时序信息的视频序列同步方法。
背景技术
在不同摄像头,如双目摄像头的实际应用中,不同摄像头所拍摄的视频,会由于机器开机卡顿、延迟等原因导致两个视频在时间上存在一定程度的偏差。而在很多宽范围场景下,需要对双目摄像头拍摄的视频进行拼接,再对基于拼接后的视频进行目标追踪等操作,如果存在这样的时间偏差会对视频拼接的效果及目标跟踪的准确性造成较大影响。因此,对于不同摄像头所进行的视频序列同步研究,即找到两个摄像头下相同帧即视频序列进行同步具有一定的现实意义。
目前,针对不同摄像头,如双目摄像头所拍视频序列的同步研究还不是特别多,主要方法是基于视频序列中的单组对应帧之间的匹配或基于场景中的运动对象轨迹的分析。这些方法,往往忽视了不同摄像头所拍摄图像在空间中存在的视角差异以及图像在时间上的序列相关性信息,造成两路视频序列时间偏差计算不准确,同步的效果不佳。
发明内容
本发明的目的在于克服现有技术的不足,提出一种基于运动目标时序信息的视频序列同步方法,以提高两路视频序列时间偏差计算的准确度,从而提升其同步效果。
为实现上述发明目的,本发明基于运动目标时序信息的视频序列同步方法,其特征在于,包括以下步骤:
(1)、计算两个摄像头对存在运动目标的同一场景所拍摄视频图像I1、I2之间的单应矩阵H
1.1)、对于两个摄像头分别同时拍摄的、存在运动目标的同一场景的两段视频序列,首先分别选取一帧视频图像I1、I2进行SURF(加速鲁棒特征)特征点检测,得到两帧带特征点的视频图像I1′、I2′,然后通过人工剔除其中(视频图像I1′、I2′中)那些位于运动目标内的特征点,得到视频图像I1″、I2″,再后将视频图像I1″的中特征点与视频图像I2″中的特征点进行匹配,得到一系列的特征点匹配对;
1.2)、基于RANSAC(随机抽样一致)算法,对特征点匹配对进行筛选,去除误匹配的特征点匹配对,得到的特征点匹配对集S;
1.3)、根据特征点匹配对集合S,计算两段视频序列的视频图像之间的变换矩阵即单应矩阵H,单应矩阵H根据以下公式计算:
其中,(x1,y1)为特征点匹配对位于视频图像I1″中的特征点坐标,(x2,y2)特征点匹配对位于视频图像I2″中的特征点坐标;
(2)、将查找视频序列映射至参考视频序列平面
取视频序列V2中长度不小于运动目标一个运动周期的小段视频序列为查找视频序列Vs,将视频序列V1作为参考视频序列Vr;然后根据公式(1)中得到的单应矩阵H,将查找视频序列Vs映射至参考视频序列Vr所在平面,即查找视频序列Vs中的每一帧视频图像的每个像素点坐标作为(x2,y2)代入公式(1)中,计算出其新的像素点坐标(x1,y1),得到查找视频序列Vs′;
(3)、背景减除与获取运动目标轮廓
基于混合高斯背景建模,针对查找视频序列Vs′和参考视频序列Vr分别获取场景背景,再分别与各自对应的视频序列进行背景减除处理;在背景减除结果中获取运动目标轮廓,得到两个轮廓序列,分别为查找轮廓序列Q和参考轮廓序列Y;
(4)、基于运动目标轮廓匹配对视频序列进行同步
4.1)、查找匹配视频序列的终点帧序数
令查找轮廓序列Q=(q1,q2,…,qL),参考轮廓序列Y=(y1,y2,…,qM),定义价值矩阵C,其元素为:
其中,L为查找轮廓序列Q的帧数,M为参考轮廓序列Y的帧数,为轮廓qi与轮廓yj的相似度;
定义累积价值矩阵D,其元素根据以下方式计算得到:
第1列元素为:
其中,1≤i≤L;
第1行元素:
d1,j=c1,j,其中,1≤j≤M;
然后,按行或按列依据以下公式得到,其他元素:
di,j=min(di-1,j-1,di-1,j,di,j-1)+c1,j,其中,2≤i≤L,2≤j≤M (3);
得到累积价值矩阵D后,进行配准即求查找视频序列在参考视频序列上的匹配视频序列的终点帧序数b*:
其中,arg min表示L行的元素dL,b取极小值时,列变量b的值,即终点帧序数b*;
4.2)、获取匹配视频序列
根据步骤4.2)中方法,获取的匹配视频序列的终点帧序数b*多个,如果终点帧序数b*小于L,则删除,这样得到P个终点帧序数b*,记为:然后,根据最优规整路径(OWP)算法,求得P个匹配视频序列,其在参考视频序列的位置分别表示为:其中,分别P个匹配视频序列的起始点帧序数;
4.3)、筛选匹配视频序列
设定一个阈值Slope,如果匹配视频序列的斜率不满足:
则予以剔除。此外,匹配视频序列的数量为P*;
再分别计算经过斜率筛选的每个匹配视频序列与查找视频序列Q=(q1,q2,…,qL)中对应帧基于R变换的缩放比例其中,计算每个匹配视频序列中所有帧的缩放比例均值αp:
αp最小即均值最接近1的匹配视频序列即为最终筛选得到的匹配视频序列;
4.4)、计算视频序列的时间偏差
查找视频序列Vs的第一帧序数为n,最终筛选得到的匹配视频序列第一帧序数为m,两个摄像头拍摄视频的帧率为均为f,则视频序列的时间偏差为t=|n-m|/f,若n>m,则查找视频序列所在视频在时间上落后参考视频序列所在视频t秒,反之,则参考视频序列所在视频在时间上落后查找视频序列所在视频t秒;
4.5)、根据得到时间偏差t对两个摄像头所拍视频序列进行调整,完成二者的同步。
本发明的目的是这样实现的。
本发明基于运动目标时序信息的视频序列同步方法,对于存在运动目标的场景,采用两个摄像头进行拍摄,然后进行同步:首先计算两个摄像头所拍摄视频图像之间的单应矩阵,根据该矩阵,将查找视频序列映射到参考视频序列平面,对视频序列进行背景减除处理,分别获取两个视频序列中运动目标轮廓序列,然后进行配准,获得匹配视频序列,并进行筛选,得到一个最终的匹配视频序列,这样获得时间偏差用于视频序列的同步。本发明引入单应矩阵,将将查找视频序列映射到参考视频序列平面,解决了视频图像之间的视觉差异问题,提高了视频图像相似度比较的准确性;同时,本发明拍摄的场景中存在运动目标,可以利用运动目标在时间上的序列信息,通过运动目标轮廓的相似度来进行视频序列的匹配,而运动目标的姿态变化是一个合适的特征,可以准确匹配,从而进一步提高时间偏差计算的准确度,从而提升其同步效果。
附图说明
图1是本发明基于运动目标时序信息的视频序列同步方法的一种具体实施方式流程图;
图2是映射前后的查找视频序列的视频图像与参考视频序列的视频图像的对比图,其中,(a)为映射前的查找视频序列的视频图像、(b)为映射后的查找视频序列的视频图像、(c)为参考视频序列的视频图像;
图3是获取的部分运动目标轮廓图;
图4是轮廓缩放配准前后对比图,其中,(a)为缩放配准前、(b)为缩放配准后;
图5是轮廓位置配准前后对比图,其中,(a)为重合配准前、(b)为重合配准后;
图6是累积距离矩阵末行曲线图;
图7是DTW累积矩阵中的匹配路径;
图8是查找轮廓序列终点帧与参考轮廓序列潜在对应帧对比图;
图9是同步前后视频拼接对比图,其中,(a)为同步前、(b)为同步后。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
图1是本发明基于运动目标时序信息的视频序列同步方法的一种具体实施方式流程图。
在本实施例中,如图1所示,本发明基于运动目标时序信息的视频序列同步方法包括以下步骤:
步骤S1:计算单应矩阵
针对不同摄像头,如双目摄像头所拍摄视频图像在空间中存在的视角差异问题,本发明引入单应矩阵的相关概念。在计算机视觉中,平面的单应性被定义为一个平面到另外一个平面的投影映射。从几何意义上讲,单应矩阵是用来计算在同一个三维平面上的点在不同的二维图像中的投影位置的,即确定了同一场景的两幅图像点之间的一一对应关系。根据双目摄像头所拍摄两幅视频图像之间的单应矩阵,可将两幅视频图像映射到同一平面下即查找视频序列映射至参考视频序列平面(反之也一样),这样解决了视频图像之间的视角差异问题。
1.1)、对于两个摄像头分别同时拍摄的、存在运动目标的同一场景的两段视频序列,首先分别选取一帧视频图像I1、I2进行SURF(加速鲁棒特征)特征点检测,得到两帧带特征点的视频图像I1′、I2′,然后通过人工剔除其中(视频图像I1′、I2′中)那些位于运动目标内的特征点,得到视频图像I1″、I2″,再后将视频图像I1″的中特征点与视频图像I2″中的特征点进行匹配,得到一系列的特征点匹配对;
1.2)、基于RANSAC(随机抽样一致)算法,对特征点匹配对进行筛选,去除误匹配的特征点匹配对,得到的特征点匹配对集S;
1.3)、根据特征点匹配对集合S,计算两段视频序列的视频图像之间的变换矩阵即单应矩阵H,单应矩阵H根据以下公式计算:
其中,(x1,y1)为特征点匹配对位于视频图像I1″中的特征点坐标,(x2,y2)特征点匹配对位于视频图像I2″中的特征点坐标。
单应矩阵H是通过将特征点匹配对集合S的所有特征点匹配对代入公式(1)中,然后计算得到。计算时,可以通过多组(根据特征点匹配对数量确定),每组7个特征点匹配对构建方程组,计算出多组单应矩阵H的参数h1~h7,最后平均得到。
步骤S2:将查找视频序列映射至参考视频序列平面
取视频序列V2中长度不小于运动目标一个运动周期的小段视频序列为查找视频序列Vs,将视频序列V1作为参考视频序列Vr。查找视频序列Vs的长度L小于参考视频序列Vr的长度M,以便在参考视频序列Vr中找到其匹配视频序列。
根据公式(1)中得到的单应矩阵H,将查找视频序列Vs映射至参考视频序列Vr所在平面,即查找视频序列Vs中的每一帧视频图像的每个像素点坐标作为(x2,y2)代入公式(1)中,计算出其新的像素点坐标(x1,y1),得到查找视频序列Vs′。
在本实施例中,映射前后的查找视频序列的视频图像与参考视频序列的视频图像如图2所示。从图2可以看出,映射后的查找视频序列的视频图像比映射前出现了一定的边沿损失,这是由于不同摄像头所拍摄图像在空间中存在的视角差异造成的,映射后的视频图像可以与参考视频图像进行拼接。
步骤S3:背景减除与获取运动目标轮廓
基于混合高斯背景建模,针对查找视频序列Vs′和参考视频序列Vr分别获取场景背景,再分别与各自对应的视频序列进行背景减除处理;在背景减除结果中获取运动目标轮廓,得到两个轮廓序列,分别为查找轮廓序列Q和参考轮廓序列Y。
在本实施例中,如图3所示,获取的部分运动目标轮廓为部分运动人体轮廓,为了便于计算,运动目标轮廓为二值化图像。
步骤S4:基于运动目标轮廓匹配对视频序列进行同步
4.1)、查找匹配视频序列的终点帧序数
令查找轮廓序列Q=(q1,q2,…,qL),参考轮廓序列Y=(y1,y2,…,qM),定义价值矩阵C,其元素为:
其中,L为查找轮廓序列Q的帧数,M为参考轮廓序列Y的帧数,Sqi,yj为轮廓qi与轮廓yj的相似度。
在本实施例中,轮廓的相似度计算如下:
4.1.1)、两幅轮廓的缩放(尺度)配准
首先,求轮廓qi与轮廓yj的R变换,然后根据R变换确定轮廓qi与轮廓yj的缩放比例。图像进行参数为α的尺度变换后,其R变换大小会以α3倍相对于原图的R变换发生变化。因此,可以根据图像R变化计算两幅轮廓在尺度上的缩放比例。再后,根据求得的缩放比例,将两幅轮廓缩放至同一尺度下(缩放配准),两幅轮廓缩放配准前后对比图如图4所示。从图4可以看出,缩放前,两幅轮廓大小不同,缩放后大小相同,即尺度相同。
4.1.2)、两幅轮廓的配准位置
计算轮廓qi与轮廓yj内部所有像素点坐标的均值作为各自轮廓的参考中心位置,参考中心位置分别为(Ax,Ay)和(Bx,By)。
由于轮廓的缩放和轮廓的参考中心点选取可能存在一定的误差和偶然,仅仅以(Ax,Ay)和(Bx,By)为基准进行配准可能对相似度的计算产生较大误差影响。
因此,我们在轮廓yj中,选取以参考中心位置(Bx,By)为中心的21像素×21像素范围,该范围中任一个点(Bx′,By′)均作为轮廓yj的中心位置与(Ax,Ay)为基准进行配准,其中:
Bx′∈[Bx-10,Bx+10],By′∈[By-10,By+10]。
由此获得轮廓qi与轮廓yj的441种配准方式。
4.1.3)、计算轮廓相似度
轮廓qi与轮廓yj完成配准后可进行相似度的计算,令轮廓内部像素点为1,轮廓外部像素点为0,定义轮廓qi与轮廓yj的轮廓相似度Sqi,yj为:
其中,qi∩yj为轮廓qi与轮廓yj中像素点进行与运算后结果为1的点数,qi∪yj为轮廓qi与轮廓yj中像素点进行或运算后结果为1的点数。即重叠部分与重叠部分加上非重叠部分的比值。
在本实施例中,轮廓qi与轮廓yj存在441种不同位置配准方式,完成所有配准位置相似度Sqi,yj计算后,取最大值,作为轮廓qi与轮廓yj最终的相似度Sqi,yj用于公式(2)的计算。
在本实施例中,轮廓位置配准前后对比图如图5所示,从图5可以看出,位置配准后,轮廓qi与轮廓yj大部分重合在一起。
定义累积价值矩阵D,其元素根据以下方式计算得到:
第1列元素为:
其中,1≤i≤L;
第1行元素:
d1,j=c1,j,其中,1≤j≤M;
然后,按行或按列依据以下公式得到,其他元素:
di,j=min(di-1,j-1,di-1,j,di,j-1)+c1,j,其中,2≤i≤L,2≤j≤M (3);
得到累积价值矩阵D后,进行配准即求查找视频序列在参考视频序列上的匹配视频序列的终点帧序数b*:
其中,arg min表示L行的元素dL,b取极小值,列变量b的值,即终点帧序数b*。
在本实施例中,累积价值矩阵D第L行(末行)的元素dL,b构成曲线如图6所示,其中L为查找序列长度,1<b<M,由图6可以观察到,曲线在多处可以取得极小值,即存在多个不同帧可能是匹配视频序列的终点帧。
4.2)、获取匹配视频序列
根据步骤4.2)中方法,获取的匹配视频序列的终点帧序数b*多个,如果终点帧序数b*小于L,则删除,这样得到P个终点帧序数b*,记为:然后,根据最优规整路径(OWP)算法,求得P个匹配视频序列,其在参考视频序列的位置分别表示为:其中,分别P个匹配视频序列的起始点帧序数。
在本实施例中,如图7所示,获得了7个匹配视频序列。其中,白色的线条为查找轮廓序列与参考轮廓序列的对应关系即规整路径。
4.3)、筛选匹配视频序列
设定一个阈值Slope,如果匹配视频序列的斜率不满足:
则予以剔除。此外,匹配视频序列的数量为P*;
再分别计算经过斜率筛选的每个匹配视频序列与查找视频序列Q=(q1,q2,…,qL)中对应帧基于R变换的缩放比例其中,计算每个匹配视频序列中所有帧的缩放比例均值αp:
αp最小即均值最接近1的匹配视频序列即为最终筛选得到的匹配视频序列。
在具体实施过程,匹配视频序列的长度与查找视频序列长度不一致,则可以采用动态时间规整算法,将查找视频序列长度规整到匹配视频序列的长度,则可以建立二者帧依据顺序的一一对应关系。
4.4)、计算视频序列的时间偏差
查找视频序列Vs的第一帧序数为n,最终筛选得到的匹配视频序列第一帧序数为m,两个摄像头拍摄视频的帧率为均为f,则视频序列的时间偏差为t=|n-m|/f,若n>m,则查找视频序列所在视频在时间上落后参考视频序列所在视频t秒,反之,则参考视频序列所在视频在时间上落后查找视频序列所在视频t秒;
4.5)、根据得到时间偏差t对两个摄像头所拍视频序列进行调整,完成二者的同步。
实例
在本实例中,我们使用双目摄像头拍摄了两段具有一定时间偏差的视频序列进行测试。其中,一段作为参考视频序列,长度M=122帧,序数为1至122,记为x1至x122。在另一段中,选取长度不小于运动目标一个运动周期的小段视频序列作为查找视频序列,其长度L=16帧,序数为35至50,记为t35至t50。
根据以上方法,对于查找视频序列中的终点帧t50,我们在参考视频序列中找到的极值点对应帧分别为x11,x27,x42,x58,x73,x89,x105,x120,其中x11序数小于L=16,被剔除,即这些帧是潜在匹配视频序列的终点帧,其轮廓对比如图8所示。
使用最优规整路径算法,通过这些终点帧计算得到其相应的匹配视频序列,再通过匹配视频序列的筛选方法,计算得到最终匹配视频序列为x58所对应匹配视频序列,具体为x43至x58帧。所以,查找视频序列对应视频的第35帧与参考序列对应视频的43帧对应。在本实施例中,视频帧率为29帧/秒,故查找视频序列所在视频在时间上领先参考视频序列所在视频约0.276秒。双目摄像头所拍摄视频在进行同步处理前后的拼接效果如图9所示,从图9中对比可以看出,未经同步处理的视频在拼接后,运动目标通过拼接过渡区域时会出现明显的目标割裂现象,而经过同步处理后,运动目标在通过拼接过渡区域是无明显割裂现象。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (2)
1.一种不同摄像头所拍视频序列的同步方法,其特征在于,包括以下步骤:
(1)、计算两个摄像头对存在运动目标的同一场景所拍摄视频图像I1、I2之间的单应矩阵H
1.1)、对于两个摄像头分别同时拍摄的、存在运动目标的同一场景的两段视频序列,首先分别选取一帧视频图像I1、I2进行SURF(加速鲁棒特征)特征点检测,得到两帧带特征点的视频图像I′1、I′2,然后通过人工剔除其中(视频图像I′1、I′2中)那些位于运动目标内的特征点,得到视频图像I″1、I″2,再后将视频图像I″1的中特征点与视频图像I″2中的特征点进行匹配,得到一系列的特征点匹配对;
1.2)、基于RANSAC(随机抽样一致)算法,对特征点匹配对进行筛选,去除误匹配的特征点匹配对,得到的特征点匹配对集S;
1.3)、根据特征点匹配对集合S,计算两段视频序列的视频图像之间的变换矩阵即单应矩阵H,单应矩阵H根据以下公式计算:
其中,(x1,y1)为特征点匹配对位于视频图像I″1中的特征点坐标,(x2,y2)特征点匹配对位于视频图像I″2中的特征点坐标;
(2)、将查找视频序列映射至参考视频序列平面
取视频序列V2中长度不小于运动目标一个运动周期的小段视频序列为查找视频序列Vs,将视频序列V1作为参考视频序列Vr;然后根据公式(1)中得到的单应矩阵H,将查找视频序列Vs映射至参考视频序列Vr所在平面,即查找视频序列Vs中的每一帧视频图像的每个像素点坐标作为(x2,y2)代入公式(1)中,计算出其新的像素点坐标(x1,y1),得到查找视频序列V′s;
(3)、背景减除与获取运动目标轮廓
基于混合高斯背景建模,针对查找视频序列V′s和参考视频序列Vr分别获取场景背景,再分别与各自对应的视频序列进行背景减除处理;在背景减除结果中获取运动目标轮廓,得到两个轮廓序列,分别为查找轮廓序列Q和参考轮廓序列Y;
(4)、基于运动目标轮廓匹配对视频序列进行同步
4.1)、查找匹配视频序列的终点帧序数
令查找轮廓序列Q=(q1,q2,…,qL),参考轮廓序列Y=(y1,y2,…,qM),定义价值矩阵C,其元素为:
其中,L为查找轮廓序列Q的帧数,M为参考轮廓序列Y的帧数,为轮廓qi与轮廓yj的相似度;
定义累积价值矩阵D,其元素根据以下方式计算得到:
第1列元素为:
其中,1≤i≤L;
第1行元素:
d1,j=c1,j,其中,1≤j≤M;
然后,按行或按列依据以下公式得到,其他元素:
di,j=min(di-1,j-1,di-1,j,di,j-1)+c1,j,其中,2≤i≤L,2≤j≤M (3);
得到累积价值矩阵D后,进行配准即求查找视频序列在参考视频序列上的匹配视频序列的终点帧序数b*:
其中,arg min表示L行的元素dL,b取极小值时,列变量b的值,即终点帧序数b*;
4.2)、获取匹配视频序列
根据步骤4.2)中方法,获取的匹配视频序列的终点帧序数b*多个,如果终点帧序数b*小于L,则删除,这样得到P个终点帧序数b*,记为:然后,根据最优规整路径(OWP)算法,求得P个匹配视频序列,其在参考视频序列的位置分别表示为:其中,分别P个匹配视频序列的起始点帧序数;
4.3)、筛选匹配视频序列
设定一个阈值Slope,如果匹配视频序列的斜率不满足:
则予以剔除。此外,匹配视频序列的数量为P*;
再分别计算经过斜率筛选的每个匹配视频序列与查找视频序列Q=(q1,q2,…,qL)中对应帧基于R变换的缩放比例其中,计算每个匹配视频序列中所有帧的缩放比例均值αp:
αp最小即均值最接近1的匹配视频序列即为最终筛选得到的匹配视频序列;
4.4)、计算视频序列的时间偏差
查找视频序列Vs的第一帧序数为n,最终筛选得到的匹配视频序列第一帧序数为m,两个摄像头拍摄视频的帧率为均为f,则视频序列的时间偏差为t=|n-m|/f,若n>m,则查找视频序列所在视频在时间上落后参考视频序列所在视频t秒,反之,则参考视频序列所在视频在时间上落后查找视频序列所在视频t秒;
4.5)、根据得到时间偏差t对两个摄像头所拍视频序列进行调整,完成二者的同步。
2.根据权利要求1所述的同步方法,其特征在于,步骤(4)中所述轮廓qi与轮廓yj的相似度通过以下方法得到:
4.1.1)、两幅轮廓的缩放(尺度)配准
首先,求轮廓qi与轮廓yj的R变换,然后根据R变换确定轮廓qi与轮廓yj的缩放比例;
4.1.2)、两幅轮廓的配准位置
计算轮廓qi与轮廓yj内部所有像素点坐标的均值作为各自轮廓的参考中心位置,参考中心位置分别为(Ax,Ay)和(Bx,By);
选取以参考中心位置(Bx,By)为中心的21像素×21像素范围,该范围中任一个点(B′x,B′y)均作为轮廓yj的中心位置与(Ax,Ay)为基准进行配准,其中:
B′x∈[Bx-10,Bx+10],B′y∈[By-10,By+10]。
由此获得轮廓qi与轮廓yj的441种配准方式;
4.1.3)、计算轮廓相似度
轮廓qi与轮廓yj完成配准后可进行相似度的计算,令轮廓内部像素点为1,轮廓外部像素点为0,定义轮廓qi与轮廓yj的轮廓相似度为:
其中,qi∩yj为轮廓qi与轮廓yj中像素点进行与运算后结果为1的点数,qi∪yj为轮廓qi与轮廓yj中像素点进行或运算后结果为1的点数;
在本实施例中,轮廓qi与轮廓yj存在441种不同位置配准方式,完成所有配准位置相似度计算后,取最大值,作为轮廓qi与轮廓yj最终的相似度用于公式(2)的计算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710212371.XA CN106991690B (zh) | 2017-04-01 | 2017-04-01 | 一种基于运动目标时序信息的视频序列同步方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710212371.XA CN106991690B (zh) | 2017-04-01 | 2017-04-01 | 一种基于运动目标时序信息的视频序列同步方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106991690A true CN106991690A (zh) | 2017-07-28 |
CN106991690B CN106991690B (zh) | 2019-08-20 |
Family
ID=59415180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710212371.XA Expired - Fee Related CN106991690B (zh) | 2017-04-01 | 2017-04-01 | 一种基于运动目标时序信息的视频序列同步方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106991690B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108234819A (zh) * | 2018-01-30 | 2018-06-29 | 西安电子科技大学 | 基于单应变换的视频同步方法 |
CN108921881A (zh) * | 2018-06-28 | 2018-11-30 | 重庆邮电大学 | 一种基于单应性约束的跨摄像头目标跟踪方法 |
CN110381264A (zh) * | 2018-04-13 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 用于生成时间信息的方法和装置 |
CN111325665A (zh) * | 2020-04-07 | 2020-06-23 | 同创蓝天投资管理(北京)有限公司 | 基于网络全景图的视频轻量嵌入方法 |
CN111881887A (zh) * | 2020-08-21 | 2020-11-03 | 董秀园 | 基于多摄像头的运动姿态监测和指导方法及装置 |
CN112907540A (zh) * | 2021-02-22 | 2021-06-04 | 浙江大华技术股份有限公司 | 一种拼接异常检测方法、装置、设备及介质 |
CN112985415A (zh) * | 2021-04-15 | 2021-06-18 | 武汉光谷信息技术股份有限公司 | 一种室内定位方法及系统 |
CN113542588A (zh) * | 2021-05-28 | 2021-10-22 | 上海第二工业大学 | 一种基于视觉显著性的抗干扰电子稳像方法 |
CN113673494A (zh) * | 2021-10-25 | 2021-11-19 | 青岛根尖智能科技有限公司 | 人体姿态标准运动行为匹配方法及系统 |
CN114125178A (zh) * | 2021-11-16 | 2022-03-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频拼接方法、设备和可读介质 |
CN114520920A (zh) * | 2022-04-15 | 2022-05-20 | 北京凯利时科技有限公司 | 多机位视频同步方法和系统以及计算机程序产品 |
WO2023165452A1 (zh) * | 2022-03-04 | 2023-09-07 | 华为技术有限公司 | 一种运动信息的获取方法、标定方法及装置 |
CN116866666A (zh) * | 2023-09-05 | 2023-10-10 | 天津市北海通信技术有限公司 | 轨道交通环境下的视频流画面处理方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1425171A (zh) * | 1999-11-24 | 2003-06-18 | 伊摩信科技有限公司 | 以时空同步整合视频序列的方法及系统 |
EP2545546A1 (en) * | 2010-03-11 | 2013-01-16 | Telefónica, S.A. | Real time music to music video synchronization method and system |
CN104268866A (zh) * | 2014-09-19 | 2015-01-07 | 西安电子科技大学 | 基于运动信息与背景信息相结合的视频序列配准方法 |
CN105957007A (zh) * | 2016-05-05 | 2016-09-21 | 电子科技大学 | 基于特征点平面相似度的图像拼接方法 |
-
2017
- 2017-04-01 CN CN201710212371.XA patent/CN106991690B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1425171A (zh) * | 1999-11-24 | 2003-06-18 | 伊摩信科技有限公司 | 以时空同步整合视频序列的方法及系统 |
EP2545546A1 (en) * | 2010-03-11 | 2013-01-16 | Telefónica, S.A. | Real time music to music video synchronization method and system |
CN104268866A (zh) * | 2014-09-19 | 2015-01-07 | 西安电子科技大学 | 基于运动信息与背景信息相结合的视频序列配准方法 |
CN105957007A (zh) * | 2016-05-05 | 2016-09-21 | 电子科技大学 | 基于特征点平面相似度的图像拼接方法 |
Non-Patent Citations (5)
Title |
---|
ANESTIS PAPAZOGLOU ET AL: "Video Temporal Alignment for Object Viewpoint", 《ASIAN CONFERENCE ON COMPUTER VISION 2016》 * |
OLIVER WANG ET AL: "VideoSnapping: Interactive Synchronization of Multiple Videos", 《ACM TRANSACTIONS ON GRAPHICS》 * |
张春雨 等: "视频拼接中最优自适应单应性矩阵求解算法", 《吉林大学学报(工学版)》 * |
王帅 等: "相机阵列中无视场重合图像时间配准方法研究", 《电子测量技术》 * |
王磊 等: "仿射不变轮廓匹配的视频拼接研究", 《计算机工程与应用》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108234819B (zh) * | 2018-01-30 | 2019-08-13 | 西安电子科技大学 | 基于单应变换的视频同步方法 |
CN108234819A (zh) * | 2018-01-30 | 2018-06-29 | 西安电子科技大学 | 基于单应变换的视频同步方法 |
CN110381264B (zh) * | 2018-04-13 | 2022-12-02 | 北京京东尚科信息技术有限公司 | 用于生成时间信息的方法和装置 |
CN110381264A (zh) * | 2018-04-13 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 用于生成时间信息的方法和装置 |
CN108921881A (zh) * | 2018-06-28 | 2018-11-30 | 重庆邮电大学 | 一种基于单应性约束的跨摄像头目标跟踪方法 |
CN111325665A (zh) * | 2020-04-07 | 2020-06-23 | 同创蓝天投资管理(北京)有限公司 | 基于网络全景图的视频轻量嵌入方法 |
CN111881887A (zh) * | 2020-08-21 | 2020-11-03 | 董秀园 | 基于多摄像头的运动姿态监测和指导方法及装置 |
CN112907540A (zh) * | 2021-02-22 | 2021-06-04 | 浙江大华技术股份有限公司 | 一种拼接异常检测方法、装置、设备及介质 |
CN112907540B (zh) * | 2021-02-22 | 2024-05-14 | 浙江大华技术股份有限公司 | 一种拼接异常检测方法、装置、设备及介质 |
CN112985415A (zh) * | 2021-04-15 | 2021-06-18 | 武汉光谷信息技术股份有限公司 | 一种室内定位方法及系统 |
CN113542588A (zh) * | 2021-05-28 | 2021-10-22 | 上海第二工业大学 | 一种基于视觉显著性的抗干扰电子稳像方法 |
CN113673494A (zh) * | 2021-10-25 | 2021-11-19 | 青岛根尖智能科技有限公司 | 人体姿态标准运动行为匹配方法及系统 |
CN114125178A (zh) * | 2021-11-16 | 2022-03-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频拼接方法、设备和可读介质 |
WO2023165452A1 (zh) * | 2022-03-04 | 2023-09-07 | 华为技术有限公司 | 一种运动信息的获取方法、标定方法及装置 |
CN114520920A (zh) * | 2022-04-15 | 2022-05-20 | 北京凯利时科技有限公司 | 多机位视频同步方法和系统以及计算机程序产品 |
CN114520920B (zh) * | 2022-04-15 | 2022-09-13 | 北京凯利时科技有限公司 | 多机位视频同步方法和系统以及计算机程序产品 |
CN116866666A (zh) * | 2023-09-05 | 2023-10-10 | 天津市北海通信技术有限公司 | 轨道交通环境下的视频流画面处理方法及装置 |
CN116866666B (zh) * | 2023-09-05 | 2023-12-08 | 天津市北海通信技术有限公司 | 轨道交通环境下的视频流画面处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106991690B (zh) | 2019-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106991690B (zh) | 一种基于运动目标时序信息的视频序列同步方法 | |
US10462362B2 (en) | Feature based high resolution motion estimation from low resolution images captured using an array source | |
CN107993258B (zh) | 一种图像配准方法及装置 | |
US8593524B2 (en) | Calibrating a camera system | |
CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
KR101472274B1 (ko) | 운동하는 볼에 대한 센싱장치 및 센싱방법 | |
CN103810475B (zh) | 一种目标物识别方法及装置 | |
EP2426642A1 (en) | Method, device and system for motion detection | |
CN104392416B (zh) | 一种运动场景的视频拼接方法 | |
CN104574339A (zh) | 一种用于视频监控的多尺度柱面投影全景图像生成方法 | |
CN103971378A (zh) | 一种混合视觉系统中全景图像的三维重建方法 | |
CN106570899B (zh) | 一种目标物体检测方法及装置 | |
CN105279771B (zh) | 一种视频中基于在线动态背景建模的运动目标检测方法 | |
CN109389630B (zh) | 可见光图像与红外图像特征点集确定、配准方法及装置 | |
CN108345821B (zh) | 面部追踪方法及设备 | |
CN111383252B (zh) | 多相机目标追踪方法、系统、装置及存储介质 | |
CN116912333B (zh) | 一种基于作业围栏标定杆的相机姿态自标定方法 | |
CN109559353A (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
CN110827321A (zh) | 一种基于三维信息的多相机协同的主动目标跟踪方法 | |
CN106780309A (zh) | 一种合成孔径雷达图像拼接方法 | |
CN104966283A (zh) | 图像分层配准方法 | |
CN104992433B (zh) | 基于线段匹配的多光谱图像配准的方法及装置 | |
CN104156977A (zh) | 基于多线列时差扫描扩展采样的点目标运动速度探测方法 | |
CN104484647B (zh) | 一种高分辨率遥感图像云高度检测方法 | |
CN112465702A (zh) | 一种多路超高清视频同步自适应拼接显示处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190820 |