CN104104911A - 全景图像生成过程中的时间戳消除和重置方法及系统 - Google Patents

Abstract

本发明公开了一种全景图像生成过程中的时间戳消除和重置方法及系统，其中方法包括以下步骤：在秒位转换帧中确定整个时间戳区域；移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；将多个摄像头拍摄的视频按照上述步骤进行时间戳的消除，再拼接为全景视频；将原来定位和识别出的时间戳重新移植到全景视频新的位置上。本发明能够从根本上解决视频中消除时间戳的问题，是真正意义上的消除时间戳，实时性和精确性较好。

Description

全景图像生成过程中的时间戳消除和重置方法及系统

技术领域

本发明涉及时间戳消除方法，尤其涉及一种全景图像生成过程中的时间戳消除和重置方法及系统。

背景技术

每一段监控视频通常都存在一个时间戳，当多个监控视频融合为一个全景视频时，会同时出现多个时间戳，如何高效地去除视频中出现的时间戳，是本算法研究的主要内容。

现有的监控视频中时间戳的保存存在两种类型，一种是带有电子时间轨道的视频，该视频的时间戳和视频文件之间是完全独立分开保存的，这种时间戳可以被人为更改，因而存在安全隐患。另一种是视频和时间戳融为一体，时间戳是视频中不可分割的一部分，因而无法被更改，故安全性能好。本方法是针对第二种类型的时间戳设计的方法。

目前时间戳消除主要有以下技术：

1、利用周围像素点来填充时间戳所在像素点

即先对时间戳所在区域进行定位,并获取时间戳数字像素点和周围像素点的颜色信息，然后利用周围像素点对时间戳所在的数字像素点进行颜色填充。但是由于视频中背景往往较为复杂，颜色和场景经常处于变化状态，故直接用周围像素点来填充存在较大的误差，而且伴随有噪声和变形，因此准确率和速度上均无法满足实时快速时间戳消除的要求。

2、基于样图的纹理合成(texture synthesis from samples，TSFS)

基于样图的纹理合成技术是近几年迅速发展起来的一种新的纹理拼接技术，它基于给定的小区域纹理样本，按照表面的几何形状，拼合生成整个曲面的纹理，它在视觉上是相似而连续的。但是由于视频中背景较为复杂，用单一的样图纹理合成来填充时间戳区域，准确率方面存在一定误差，无法满足当前视频分析的要求。

发明内容

本发明要解决的技术问题在于针对现有技术中消除时间戳的方法准确率和速度上均无法满足实时快速时间戳消除要求的缺陷，提供一种实时性和精确性较好的全景图像生成过程中的时间戳消除和重置方法。

本发明解决其技术问题所采用的技术方案是：

提供一种全景图像生成过程中的时间戳消除和重置方法，包括以下步骤:

S1、依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；

S2、移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；

S3、找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；

S4、将多个摄像头拍摄的视频按照步骤S1-S3进行时间戳的消除，再将消除了时间戳的视频拼接为全景视频；

S5、利用步骤S1中的时钟识别技术，将原来定位和识别出的时间戳重新移植到全景视频新的位置上。

本发明所述的方法中，步骤S1具体为：

S11、依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；

S12、在秒位数字粗选区域内依据秒位数字和背景颜色进一步确定秒位数字区域；

S13、依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。

3、根据权利要求1所述的方法，其特征在于，步骤S3具体为：

S31、两幅图像的重叠区域定位：结合云台标定计算两帧图像之间的估计平移参数ΔX和ΔY，利用估计平移参数ΔX和ΔY，定位出两幅图像的重叠区域；

S32、提取图像特征点：利用surf算法提取待匹配的第一幅图像重叠区域中的所有特征点，形成特征点集F₁＝{f₁₁,f₁₂,…，f_1N1}，其中N1为第一幅图像中提取的特征点个数，并利用surf算法提取第二幅图像重叠区域中的所有特征点，形成特征点集F₂＝{f₂₁,f₂₂,…,f_2N2}，其中N2为第二幅图像中提取的特征点个数；

S33、特征点匹配：将第一幅图像重叠区域的特征点集F₁＝{f₁₁,f₁₂,…,f_1N1}和第二幅图像重叠区域的特征点集F₂＝{f₂₁,f₂₂,…,f_2N2}进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；

S34、时间戳的消除：根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。

本发明所述的方法中，步骤S4具体为：

S41、在已经实现单个摄像头拍摄的视频时间戳消除的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；

S42、从每个视频中同步选取稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个视频的拼接，形成全景视频。

本发明还提供了一种全景图像生成过程中的时间戳消除和重置系统，包括：

时间戳区域定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；

预置点图像获取模块，用于移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；

时间戳消除模块，用于找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；

全景视频时间戳消除模块，用于将多个摄像头拍摄的视频进行时间戳的消除，再将消除了时间戳的视频拼接为全景视频；

时间戳重置模块，用于根据时间戳区域定位模块中的时钟识别技术，将原来定位和识别出的时间戳重新移植到全景视频新的位置上。

本发明所述的系统中，所述时间戳区域定位模块具体包括：

秒位数字初步定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；

秒位数字精确定位模块，用于在秒位数字粗选区域内依据秒位数字和背景颜色进一步确定秒位数字区域；

其他时钟数字及日期定位模块，用于依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。

本发明所述的系统中，所述时间戳消除模块具体包括：

两幅图像重叠区域定位模块，用于结合云台标定计算两帧图像之间的估计平移参数ΔX和ΔY，利用估计平移参数ΔX和ΔY，定位出两幅图像的重叠区域；

图像特征点提取模块，用于利用surf算法提取待匹配的第一幅图像重叠区域中的所有特征点，形成特征点集F₁＝{f₁₁,f₁₂,…,f_1N1}，其中N1为第一幅图像中提取的特征点个数，并利用surf算法提取第二幅图像重叠区域中的所有特征点，形成特征点集F₂＝{f₂₁,f₂₂,…,f_2N2}，其中N2为第二幅图像中提取的特征点个数；

特征点匹配模块，用于将第一幅图像重叠区域的特征点集F₁＝{f₁₁,f₁₂,…,f_1N1}和第二幅图像重叠区域的特征点集F₂＝{f₂₁,f₂₂,…,f_2N2}进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；

时间戳区域图像回填模块，用于根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。

本发明所述的系统中，所述全景视频时间戳消除模块具体包括：

单个视频的时间戳消除模块，用于在已经实现单个摄像头拍摄的视频时间戳消除的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；

全景视频拼接模块，用于从每个视频中同步选取稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个视频的拼接，形成全景视频。

本发明产生的有益效果是：本发明通过计算机控制摄像头移动，根据第二幅图像的时间戳所在位置计算出，在第一幅中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳消除的功能，这样的做法能够从根本上解决视频中消除时间戳的问题，是真正意义上的消除时间戳，实时性和精确性较好。

进一步地，利用计算机控制摄像头移动，获取到估计平移参数，该参数能够初步定位出两幅图像的重叠区域，缩小了两幅图像特征点提取的范围，而没有采用现有的基于整幅图像特征点匹配的思路，这样大大提高了特征点提取和匹配的精度和速度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例全景图像生产过程中时间戳消除方法和重置方法的流程图。

图2是本发明实施例时钟数字颜色的提取过程示意，其中图2(a)和图2(b)分别为数字区域和背景区域的采样示意；图2(c)和图2(d)分别为对应图2(a)和图2(b)的灰度直方图；图2(e)为提取出的10秒内的秒位数字序列；图2(f)为提取出的一个完整的时钟区域示例。

图3是本发明实施例定位一个完整的时间戳区域的示例。

图4(a)、4(b)是本发明实施例在图像中提取特征点(用圆圈标记)的示例，其中4(a)表示一幅图像中找到的所有的特征点(用圆圈标记)的示例，4(b)表示另一幅图像中找到的所有的特征点(用圆圈标记)的示例。

图5是本发明实施例一个两幅图像特征点匹配的示例。

图6是本发明实施例一个实现时间戳消除功能的示例。

图7(a)-7(f)是本发明实施例从两个摄像头中同时各捕获一个当前帧并拼接成带有时间戳重置的全景帧过程示意图，其中图7(a)、7(b)两个图分别是从两个摄像头中捕获的当前帧图像，7(c)、7(d)两个图分别是对图7(a)、7(b)进行时间戳消除的帧图像，图7(e)是由7(c)和7(d)两个帧拼接成的全景帧图像，图7(f)是对图7(e)的图像进行时间戳重置的全景帧图像。

图8是本发明实施例全景图像生成过程中的时间戳消除和重置系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例全景图像生成过程中的时间戳消除和重置方法，包括以下步骤:

S1、依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；

S2、移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；

S3、找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；

S4、将多个摄像头拍摄的视频按照步骤S1-S3进行时间戳的消除，再将消除了时间戳的视频拼接为全景视频；

S5、利用步骤S1中的时钟识别技术，将原来定位和识别出的时间戳重新移植到全景视频新的位置上。

本发明的一个实施例中，步骤S1具体包括以下步骤：

S11、依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；

S12、在秒位数字粗选区域内依据秒位数字和背景颜色进一步确定秒位数字区域；

S13、依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。

本发明的一个实施例中，步骤S3具体包括以下步骤：

S31、两幅图像的重叠区域定位：结合云台标定计算两帧图像之间的估计平移参数ΔX和ΔY，利用估计平移参数ΔX和ΔY，定位出两幅图像的重叠区域；

S32、提取图像特征点：利用surf算法提取待匹配的第一幅图像重叠区域中的所有特征点，形成特征点集F₁＝{f₁₁,f₁₂,…,f_1N1}，其中N1为第一幅图像中提取的特征点个数，并利用surf算法提取第二幅图像重叠区域中的所有特征点，形成特征点集F₂＝{f₂₁,f₂₂,…,f_2N2}，其中N2为第二幅图像中提取的特征点个数；

S33、特征点匹配：将第一幅图像重叠区域的特征点集F₁＝{f₁₁,f₁₂,…,f_1N1}和第二幅图像重叠区域的特征点集F₂＝{f₂₁,f₂₂,…,f_2N2}进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；

S34、根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。

本发明的一个实施例中，步骤S4具体包括以下步骤：

S41、在已经实现单个摄像头拍摄的视频时间戳消除的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；

S42、从每个视频中同步选取稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个视频的拼接，形成全景视频。

本发明的一个较佳实施例中，本发明需要输入一段带有时间戳的监控视频和摄像头控制参数，经过本发明的时间戳消除处理后，输出一段去除时间戳的监控视频，将多个监控视频按照相同方法进行时间戳消除后，再将这些视频进行全景拼接，最终形成全景视频，最后在全景视频上重置时间戳。

该较佳实施例中，具体包括以下步骤：

步骤1：时间戳定位

1.1秒框数字的定位

1.2其他时钟数字的定位

1.3日期数字的定位

1.4时间戳区域的定位

步骤2：两幅图像的重叠区域定位

步骤3：提取图像特征点

3.1尺度空间极值检测

3.2特征点定位

3.3方向赋值

3.4特征描述符计算

步骤4：特征点匹配

4.1K-D树最近邻搜索

4.2最近邻次近邻比值判别

4.3计算仿射单应性矩阵homography

步骤5：时间戳消除

步骤6：形成全景视频

步骤7：在全景视频中移植新的时间戳

每一步的具体实施方式分别如下：

步骤1：时间戳定位

依据秒钟数字变化周期性确定秒位转换帧，进一步确定秒位数字粗选区域。在秒位数字粗选区域内依据秒位数字和背景颜色精准确定秒位数字区域，进一步依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。具体的实施步骤如下：

步骤1.1秒框数字的定位

在视频帧流中,确定满足秒钟数字变化周期性的秒位转换帧F及该帧F内的潜在秒位像素点,按照潜在秒位像素点的分布密度和面积越大则为秒位数字粗选区域的可能性越大的原则选取秒位数字粗选区域；秒钟数字变化的周期性是指秒位数字在某一帧发生变化,而在之前及之后的R帧都保持不变，R为视频的每秒传输帧数，见图2(a)-2(f)所示。

步骤1.2其他时钟数字的定位

首先依据预定的时钟数字颜色和背景色在秒位数字粗选区域进一步精准确定秒位数字区域,再以秒位数字区域为基准,结合时钟数字颜色和背景色以及四个时钟数字间的位置和大小关系确定余下的十秒位、分位和十分位三个时钟数字区域，见图3所示。

步骤1.3日期数字的定位

参照上一步定位其他时钟数字的定位方法来进行。具体为：结合时钟数字颜色和背景色以及日期数字间的位置和大小关系确定年、月、日这三个日期数字区域。

步骤1.4时间戳区域的定位

综合步骤1.1、1.2、1.3各步骤的定位情况，确定整个时间戳的坐标位置、宽度及高度，见图3所示。

步骤2：两幅图像的重叠区域定位

本发明采用云台上下左右匀速运动来控制摄像头，实时地将此次拍摄下来的序列帧进行处理。云台标定是指确定云台匀速运动的角速度v、云台转动1°对应的像素点数k与视频中图像帧移动的像素点p之间的关系，求取k步骤如下：

1)云台启动后，读取云台水平(或垂直)角度θ₁，获取图像I₁；

2)读取云台运动一定角度后的位置——水平(或垂直)角度θ₂，获取图像I₂；

3)用相位相关法求图像I₁、I₂的水平(或垂直)移动像素点p；

4)根据公式(2)来计算k的值。k表示云台移动1°对应的像素点数。

k＝p/(θ₂-θ₁)  (1)

在完成云台标定后，移动摄像头到第一个预置点，读取云台水平(或垂直)角度θ₁'并捕获一帧图像I₁'(第一幅图像)，然后移动摄像头到第二个预置点，使得被时间戳覆盖的区域被露出，读取云台水平(或垂直)角度θ₂'并捕获另一帧图像I₂′(第二幅图像)，根据公式(3)计算p的值，进而计算两帧图像之间的估计平移参数ΔX和ΔY，并定位出两幅图像的重叠区域。

p＝k(θ'₂-θ'₂)  (2)

步骤3：提取图像特征点

利用估计平移参数ΔX和ΔY，定位出两幅图像的重叠区域。提取待匹配的第一幅图像重叠区域中的所有特征点，并提取第二幅图像重叠区域中的所有特征点。

本发明采用SURF算法作为图像匹配的特征提取算法。SURF特征点的提取过程分为尺度空间极值检测、特征点定位、方向赋值和特征点描述符计算四个步骤。

步骤3.1尺度空间极值检测

SURF算子选择图像尺度空间中的极值点作为候选特征点。图像I(x，y)的尺度空间定义为

L(x,y,σ)＝G(x,y,σ)*I(x,y)  (3)

其中:*代表二维卷积，σ是尺度因子，G(x,y,σ)是二维高斯函数，

$G(x,y,\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}---\left(4\right)$

通常，尺度空间用图像金字塔结构来实现。在图像金字塔中的每一层使用Hessian矩阵进行极值检测。图像I(x，y)中的点x在尺度σ处的Hessian矩阵定义为

$H=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(x,\mathrm{\σ})& L_{\mathrm{xy}}(x,\mathrm{\σ})\\ L_{\mathrm{xy}}(x,\mathrm{\σ})& L_{\mathrm{yy}}(x,\mathrm{\σ})\end{array}\right]---\left(5\right)$

其中:L_xx(x,σ)是高斯函数二阶偏导数和图像的二维卷积，L_xy和L_yy的含义与之类似。

在建立图像的金字塔结构时，需要对图像进行向下采样，再与不同尺度的二维高斯函数进行卷积。为了提高高斯卷积的计算速度，SURF算子使用方框滤波器作为二阶高斯滤波器的近似替代，并使用积分图像对图像卷积进行加速。同时，为了避免对图像的迭代向下采样过程，SURF算子在建立图像金字塔结构时采用增加方框滤波器尺寸的方法。

步骤3.2特征点定位

根据Hessian矩阵求出尺度图像在(x，y，σ)处的极值后，首先在极值点的3×3×3的立体邻域内进行非极大值抑制(Non-MaximumSuppression，NMS)。为了能够对候选特征点进行亚像素定位，可以在尺度空间和图像空间中进行插值，插值使用的二次拟合函数为

$D\left(x\right)=D+\frac{{\∂T}^T}{\∂X}X+\frac{1}{2}{X}^T\frac{\∂D}{{\∂X}^2}X---\left(6\right)$

对函数求导得到极值点为

$\hat{X}=-\frac{{\∂}^2{D}^{-1}}{\∂X^2}\frac{\∂D}{\∂X}---\left(7\right)$

函数在极值点处的极值为

$D\left(\hat{X}\right)=D+\frac{1}{2}\frac{{\∂D}^T}{\∂X}\hat{X}---\left(8\right)$

在实验中剔除D(x)<0.03的候选特征点。

步骤3.3方向赋值

为了使提取出的特征点具有旋转不变性，可以对每个特征点赋予一个主方向。首先以特征点为中心，计算半径为6s(s为特征点的尺度)的邻域内的点在水平和垂直方向边长为4s的Harr小波响应；然后按照距离远近给这些响应值赋予高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小；接着对加权后的Harr小波响应以圆形区域进行统计，将圆形区域划分为72组，每5°一组，将60°范围内的Harr小波响应累加形成新的矢量；最后遍历整个圆形区域，选择最长矢量的方向作为特征点的主方向。

步骤3.4特征描述符计算

通过上面步骤的计算，可以为每一个特征点赋予图像位置坐标、尺度和主方向，这些参数构成了一个描述特征点局部邻域的二维坐标系统，并具有对这些参数的不变性。下一步就是对该局部区域进行量化描述，生成特征点的描述符。

1)首先以特征点为中心，按照主方向选取20s×20s的正方形区域，并将该区域旋转到主方向，以保证旋转不变性。

2)将该区域划分成4×4共16个子区域，在每一个子区域内，计算5s×5s(采样步长为s)范围内的Harr小波响应，把相对于主方向的水平和垂直方向的Harr小波响应分别记作dx和dy，并用高斯窗口函数对响应值赋予权重系数。

3)将每个子区域在水平和垂直方向的Harr小波响应及响应的绝对值分别进行累加，记为∑dx、∑dy、∑|dx|和∑|dy|。

4)对每个子区域生成一个四维的描述符向量v＝(∑dx，∑dy，∑|dx|，∑|dy|)，每个特征点共有16个子区域，就形成了一个4×(4×4)＝64维的描述向量。

5)对这个64维的向量进行归一化，去除光照变化的影响，得到特征点的描述符。

图4(a)、4(b)为SURF特征点检测的结果，图中用圆圈标注的点为检测得到的SURF特征点。

步骤4：特征点匹配

将第一幅图像重叠区域提取的特征点和第二幅图像重叠区域的提取的特征点进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵homography。

从图像中提取特征点后，需要对其进行匹配。以特征向量之间的欧氏距离作为特征点匹配的相似度准则。现对如图4(a)所示的图像I1和如图4(b)所示的图像I2进行匹配。p为图像I1中的特征点，要计算特征点p在图像I2中的匹配点，可以求出图像I2中与特征点p欧氏距离最近的前两个距离d1和d2。当d1比d2小很多时，说明d1对应的特征点是匹配点的概率较大；当d1和d2相差不大时，没有合适匹配点的概率较大。因此可以使用阈值t来量化这种置信度。实验表明，当阈值取值0.6时，可以取得较好的匹配效果。

基于特征点匹配的目的是找到两幅图像中表示相同物理位置的特征点，形成特征点匹配对。采用K-D(K-di-mension)树算法对两幅图像提取的特征点进行快速最近邻搜索，进行最近邻次近邻比值判别，实现特征点的匹配，计算仿射变换矩阵。K-D最近邻搜索算法充分利用K-D树的特点，大幅度提高了搜索效率。最近邻的判别标准是欧氏距离最短，欧氏距离表示如下

$d(\mathrm{desc}1,\mathrm{desc}2)=\sqrt{\underset{i=1}{\overset{64}{\mathrm{\&Sigma;}}}{|\mathrm{desc}1\left(i\right)-\mathrm{desc}2\left(i\right)|}^2}---\left(9\right)$

式中desc1(i),desc2(i)分别为两幅图像Image1,Image2中利用SURF算法得到的特征点描述符desc1,desc2的分量。

步骤4.1K-D树最近邻搜索

64-D最近邻搜索算法是一个递归的算法，在64-D树上进行。用64-D的特征点描述符组成64-D搜索树。SURF特征点的64-D树的每一个节点都是64-D的数据，组成一个64-D超空间。每个节点都可以看作一个分裂超平面，将64-D超空间分为两个子超空间。一个在分裂超平面的轴的左边，另外一个在右边。分裂超平面轴的选择从第1—D轴到第64-D轴为一个循环，直到所有的特征点都被插入到64-D树中。

算法中需要开辟必要的空间保存变量值，为提高计算效率，避免开方计算，欧氏距离直接用其平方代替。算法的执行如下:

1)从根节点开始往下搜索子树。

2)如果搜索到叶子节点，存储该叶子节点为当前最近邻点current best。

3)在每个节点上，首先判断计算当前节点与目标节点的距离，如果当前节点与给定的目标点的距离更小，则更新current best。然后，判断以目标节点为中心，以当前最佳距离为半径的子超空间是否与分裂超平面相交。若相交，则搜索右子树；否则，忽略右子树，继续搜索。

4)最后算法在根节点上完成上述步骤，结束。

步骤4.2最近邻次近邻比值判别

在匹配过程中，图像的视角不同，景物范围也不同，或是两幅图像之间存在缩放关系，这些情况都有可能导致图像Image1中的特征点在Image2中没有匹配点。当Image1和Image2中存在邻域灰度信息分布比较相似的点时，也会产生匹配错误。

这里通过检查最近邻与次近邻的比值，避免上述错误的发生。检测方法可表示为

其中，最近邻距离表示为FND(first nearest distance)，次近邻距离表示为SND(second neighbor distance)。当选取最近邻距离与次近距离比率阈值为0.8时，将除去90％的错误匹配，而只5％的正确匹配被消除，所以阈值的设置将直接影响最终匹配的特征点个数，阈值越小，匹配的特征点对个数越少，但是匹配结果更加稳定，阈值一般取值在0.3-0.6的范围内，匹配结果最好。经过上述步骤，SURF算法在两幅图像检测到的特征点匹配完成，如图5所示。

步骤4.3计算仿射单应性矩阵homography

根据图像Image1和Image2中的一对匹配点P₁(x₁,y₁)，P₂(x₂,y₂)间存在以下变换关系，计算矩阵H：

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ 0& 0& 1\end{array}\right)\&times;\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right)=H\&times;\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right)---\left(11\right)$

$\left\{\begin{array}{c}{x}_1=h_{11}{x}_2+h_{12}{y}_2+h_{13}\\ y_1=h_{21}{x}_2+h_{22}{y}_2+h_{23}\end{array}\right\}---\left(12\right)$

步骤5：时间戳消除

根据上一步计算获得的H矩阵，可以抽取出两幅图像之间平移和旋转的参数，然后按该参数由第二幅图的时间戳所在位置计算出，在第一幅中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳消除的功能，具体实现流程如下：

1)从H矩阵从提取出平移和旋转参数

2)由第二幅图中的时间戳所在位置及大小(x,y,w,h)，并根据平移和旋转参数，计算出原第一幅图中被时间戳遮盖的那部分区域在第二幅图像中对应的位置及大小(x',y',w',h')。

3)截取该区域图像并回填到第一幅图像中，实现时间戳消除的功能。如图6所示。

步骤6：形成全景视频

在已经实现单个视频去时间戳的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，先用上述方法进行时间戳消除，接着从每个视频中选取稳定的某一帧，然后各个相邻视频对应的帧之间从左到右依次进行两两匹配，具体包括：提取特征点，进行特征点匹配，根据homography实现多幅图像的拼接，进而实现多个视频的拼接。视频拼接的具体过程如下：

1)从每个摄像机同步拍摄的视频帧序列，同步提取各自稳定的一帧图像，形成I₁,I_2,I₃,I_4,…,I_n-1,I_n(n为摄像机的个数)。

2)分别提取图像I₁,I_2,I₃,I_4,…,I_n-1,I_n的特征点，形成各自的特征点集为P₁,P₂,P₃,P₄，…，P_n-1，P_n。

3)对特征点集P₁,P₂,P₃,P₄，…，P_n-1，P_n按照从左到右的顺序依次进行特征点两两匹配并计算它们之间的homography，得到H_12,H_2,3,H_3,4,…，H_n-1,n。

4)根据H_12,H_2,3,H_3,4,…，H_n-1,n实现图像I₁,I_2,I₃,I_4,…,I_n-1,I_n的两两拼接，进而实现多个视频拼接成一个全景视频，如图7(e)所示。

步骤7：在全景视频中移植新的时间戳

将在步骤1中采用数字时钟识别技术得到的时间戳，重新移植到全景视频的一个新的位置上，如图7(f)所示。

根据上述方法，本发明的全景图像生成过程中的时间戳消除和重置系统，如图8所示，包括：

时间戳区域定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；

预置点图像获取模块，用于移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；

时间戳消除模块，用于找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；

全景视频时间戳消除模块，用于将多个摄像头拍摄的视频进行时间戳的消除，再将消除了时间戳的视频拼接为全景视频；

时间戳重置模块，用于根据时间戳区域定位模块中的时钟识别技术，将原来定位和识别出的时间戳重新移植到全景视频新的位置上。

本发明的一个实施例中，时间戳区域定位模块具体包括：

秒位数字初步定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；

秒位数字精确定位模块，用于在秒位数字粗选区域内依据秒位数字和背景颜色进一步确定秒位数字区域；

其他时钟数字及日期定位模块，用于依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。

本发明的一个实施例中，时间戳消除模块具体包括：

两幅图像重叠区域定位模块，用于结合云台标定计算两帧图像之间的估计平移参数ΔX和ΔY，利用估计平移参数ΔX和ΔY，定位出两幅图像的重叠区域；

图像特征点提取模块，用于利用surf算法提取待匹配的第一幅图像重叠区域中的所有特征点，形成特征点集F₁＝{f₁₁,f₁₂,…,f_1N1}，其中N1为第一幅图像中提取的特征点个数，并利用surf算法提取第二幅图像重叠区域中的所有特征点，形成特征点集F₂＝{f₂₁,f₂₂,…,f_2N2}，其中N2为第二幅图像中提取的特征点个数；

特征点匹配模块，用于将第一幅图像重叠区域的特征点集F₁＝{f₁₁,f₁₂,…,f_1N1}和第二幅图像重叠区域的特征点集F₂＝{f₂₁,f₂₂,…,f_2N2}进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；

时间戳区域图像回填模块，用于根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。

本发明的一个实施例中，全景视频时间戳消除模块具体包括：

单个视频的时间戳消除模块，用于在已经实现单个摄像头拍摄的视频时间戳消除的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；

全景视频拼接模块，用于从每个视频中同步选取稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个视频的拼接，形成全景视频。

综上，本发明通过利用计算机控制摄像头移动，获取到估计平移参数，该参数能够初步定位出两幅图像的重叠区域，缩小了两幅图像特征点提取的范围，而没有采用现有的基于整幅图像特征点匹配的思路，这样大大提高了特征点提取和匹配的精度和速度。

另外通过摄像头移动，根据第二幅图像的时间戳所在位置计算出，在第一幅中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳消除的功能，这样的做法能够从根本上解决视频中消除时间戳的问题，是真正意义上的消除时间戳，实时性和精确性较好。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种全景图像生成过程中的时间戳消除和重置方法，其特征在于，包括以下步骤:

S1、依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；

S2、移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；

S3、找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；

S4、将多个摄像头拍摄的视频按照步骤S1-S3进行时间戳的消除，再将消除了时间戳的视频拼接为全景视频；

S5、利用步骤S1中的时钟识别技术，将原来定位和识别出的时间戳重新移植到全景视频新的位置上。

2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：

S11、依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；

S12、在秒位数字粗选区域内依据秒位数字和背景颜色进一步确定秒位数字区域；

S13、依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。

3.根据权利要求1所述的方法，其特征在于，步骤S3具体为：

S31、两幅图像的重叠区域定位：结合云台标定计算两帧图像之间的估计平移参数                                               和，利用估计平移参数和，定位出两幅图像的重叠区域；

S32、提取图像特征点：利用surf算法提取待匹配的第一幅图像重叠区域中的所有特征点，形成特征点集，其中N1为第一幅图像中提取的特征点个数，并利用surf算法提取第二幅图像重叠区域中的所有特征点，形成特征点集，其中N2为第二幅图像中提取的特征点个数；

S33、特征点匹配：将第一幅图像重叠区域的特征点集和第二幅图像重叠区域的特征点集进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；

S34、时间戳的消除：根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。

4.根据权利要求1所述的方法，其特征在于，步骤S4具体为：

S41、在已经实现单个摄像头拍摄的视频时间戳消除的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；

S42、从每个视频中同步选取稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个视频的拼接，形成全景视频。

5.一种全景图像生成过程中的时间戳消除和重置系统，其特征在于，包括：

时间戳区域定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；

预置点图像获取模块，用于移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；

时间戳消除模块，用于找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；

全景视频时间戳消除模块，用于将多个摄像头拍摄的视频进行时间戳的消除，再将消除了时间戳的视频拼接为全景视频；

时间戳重置模块，用于根据时间戳区域定位模块中的时钟识别技术，将原来定位和识别出的时间戳重新移植到全景视频新的位置上。

6.根据权利要求5所述的系统，其特征在于，所述时间戳区域定位模块具体包括：

秒位数字初步定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；

秒位数字精确定位模块，用于在秒位数字粗选区域内依据秒位数字和背景颜色进一步确定秒位数字区域；

其他时钟数字及日期定位模块，用于依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。

7.根据权利要求5所述的系统，其特征在于，所述时间戳消除模块具体包括：

两幅图像重叠区域定位模块，用于结合云台标定计算两帧图像之间的估计平移参数和，利用估计平移参数和，定位出两幅图像的重叠区域；

图像特征点提取模块，用于利用surf算法提取待匹配的第一幅图像重叠区域中的所有特征点，形成特征点集，其中N1为第一幅图像中提取的特征点个数，并利用surf算法提取第二幅图像重叠区域中的所有特征点，形成特征点集，其中N2为第二幅图像中提取的特征点个数；

特征点匹配模块，用于将第一幅图像重叠区域的特征点集和第二幅图像重叠区域的特征点集进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；

时间戳区域图像回填模块，用于根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。

8.根据权利要求5所述的系统，其特征在于，所述全景视频时间戳消除模块具体包括：

单个视频的时间戳消除模块，用于在已经实现单个摄像头拍摄的视频时间戳消除的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；

全景视频拼接模块，用于从每个视频中同步选取稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个视频的拼接，形成全景视频。