CN101146231A

CN101146231A - 根据多视角视频流生成全景视频的方法

Info

Publication number: CN101146231A
Application number: CNA2007100697720A
Authority: CN
Inventors: 庄越挺; 陈铭; 吴飞; 姚琤; 翁建广
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2007-07-03
Filing date: 2007-07-03
Publication date: 2008-03-19

Abstract

本发明公开了一种根据多视角视频流生成全景视频的方法。包括如下步骤：1)采用多个摄像头对不同视角方向进行全方位覆盖的视频采集；2)将各个视频流中的同步帧都一一对应起来；3)通过摄像机标定的方法对各个视频流分别进行矫正；4)对一组同步的视频帧进行全景拼接，计算出各帧的拼接参数；5)将拼接参数应用到各视频流中的每一帧进行拼接，得到由全景帧组成的全景视频。本发明的有益效果是：比目前的利用凹面镜或凸透镜对光线会聚还原生成全景视频的方法更经济适用，并能避免画面扭曲失真、不适应于运动时拍摄等缺点。

Description

根据多视角视频流生成全景视频的方法

技术领域

本发明涉及计算机视频拼接，尤其涉及一种根据多视角视频流生成全景视频的方法。

背景技术

视频在信息的表达中起着非常重要的作用，随着信息技术的发展，有关视频图像的研究和应用也迅速发展起来，如视频会议、可视电话、视频监控和虚拟现实等。但是，目前由于单一摄像头视野范围有限，用户不能同时观看不同角度的自己感兴趣的场景，无法满足个性化要求。基于图像绘制的全景图[1][2](Panoramic Image)就是把离散的图像信息在一幅图像上完整地表现出来。全景图的出现，克服了观众被动观察固定视角的限制，但是全景图像表达的是一种静态的场景，承载的信息量有限。

全景视频(Panoramic Video)是指在不同时刻采集的全景图序列，其承载的信息量非常丰富，可以实时地表现变化的场景。文献[3]采用全景视频在视频会议中进行人物的跟踪和识别，文献[4]采用全景视频进行运动物体的检测，文献[5]将全景视频应用到视频监控中。文献[3][4][5]都采用二次凸面镜和一个摄像机组合，通过用摄像机拍摄凸面镜上的反射图像，将图像通过变换生成360度柱面全景视频。但是这种方法必须采用昂贵的专业视频采集设备，而且全景图是有一张图像变换得到的，因此分辨率明显不如传统拼接而成的全景图像。并且越靠近曲面反射图像的中心点，图像的变形越大，矫正的效果越差。

附：参考文献

[1][1]BROWN M，LOWE D G Recognising panoramas[C].International Conference onComputer Vision，2003：1218-1225

[2][2]吴飞，肖鸿开，赵勇等.大视场视频全景图生成研究[J].浙江大学学报：工学版，2006，40(3)：395-398

[3][3]STIEFELHANGE R，CHEN X，YANG J.Capturing Interactions in Meetings withOmnidirectional Cameras[J]. International Journal of Distance EducationTechnologies，2005，3(3)：32-45

[4][4]YAMAZAWA K，YOKOYA N.Detecting moving objects from omnidirectional dynamicimages based on adaptive background subtraction[C].International Conference on ImageProcessing，2003(3)：953-956

[5][5]WANG M L，HUANG C C，LIN H Y. An Intelligent Surveillance System Based on anOmnidirectional Vision Sensor[C].Proceedings of the IEEE International Conference onCybernetics & Intelligent Systems，2006:245-250

发明内容

本发明的目的是提供了一种根据多视角视频流生成全景视频的方法。

根据多视角视频流生成全景视频的方法，包括如下步骤：

1)采用多个摄像头对不同视角方向进行全方位覆盖的视频采集；

2)将各个视频流中的同步帧都一一对应起来；

3)通过摄像机标定的方法对各个视频流分别进行矫正；

4)对一组同步的视频帧进行全景拼接，计算出各帧的拼接参数；

5)将计算的拼接参数应用到各视频流中的每一帧，再将同步的每一组帧进行拼接，得到由全景帧组成的全景视频。

多个摄像头对不同视角方向进行全方位覆盖的视频采集：每个摄像头在水平面上以近似同一个圆心向四周不同方向拍摄，任意相邻两个摄像头的视角都有重叠区域，并且所有摄像头的总覆盖区域在水平方向超过360度。

通过摄像机标定的方法对各个视频流分别进行矫正：对各个摄像机分别建立标定模型，计算出内外参数，来矫正恢复由镜头成像所带来的畸变，输出矫正后的帧序列。

将各个视频流中的同步帧都一一对应起来：在每个视频帧采集时都在相应音频轨道写入一个时间戳，通过这些时间戳将各个视频流中属于同一时刻的帧都一一对应起来。

对一组同步的视频帧进行全景拼接的方法，包括如下步骤：

1)对相邻的两个摄像头采集的同步对应帧进行图像配准；

2)将配准后的图像进行再投影；

3)投影后图像的拼接和平滑。

将计算的拼接参数应用到各视频流中的每一帧：各摄像头均固定焦距和相关光学参数，彼此之间位置固定，视频的融合区和成像区域为常数，每一帧的缝合合成函数也相同，拼接参数不变。

对相邻的两个摄像头采集的同步对应帧进行图像配准的方法，包括如下步骤：

1)几何学配准

采用基于频域仿射参数的光流方程方法，通过曲线特征点之间的对应求得视图之间的几何变换参数；

2)光度学配准

利用一个从几何配准的输入图像估计光度模型参数。

再投影：将得到的反映各自投影平面的图像映射到一个圆柱投影面上。

基于频域仿射参数的光流方程方法，包括如下步骤：

1)使用一个快速的基于频域的方法来得到仿射模型

2)利用光流的方法在仿射模型的基础上得到投影模型

本发明所述的根据多视角视频流生成全景视频的方法具有如下特点：

1.该方法成本较低，组装方便，易于扩展；

2.适合户外采集，能达到较高的分辨率；

3.画面扭曲很少，而且可以实时拼接。

附图说明

图1是全景视频采集设备制作原理图；

图2是光度配准前后图像的对比图；

图3是再投影至圆柱流形上的拼接渲染示意图；

图4是显示单个摄像头采集状况的操作界面示例图；

图5是同步对应相邻两个摄像头的视频帧的操作界面示例图；

图6是拼接好的一个全景帧的示例图。

图7是全景视频的浏览播放器原理示意图。

图8是多视角视频流生成全景视频的系统流程图。

图9是自制的全景视频采集设备实物图。

图10是全景视频采集设备的使用方案示例图。

具体实施方式

本发明的根据多视角视频流生成全景视频的步骤如下：

1.采用多个摄像头对不同视角方向进行全方位覆盖的视频采集，如图1所示。每个摄像头的相对位置都是固定的，并且在水平面上以近似同一个圆心向四周不同方向拍摄，保证任意相邻两个摄像头的视角都有足够多的重叠区域，并且所有摄像头的总覆盖区域在水平方向超过360度，各摄像头采取串联的方式连接，以保证在采集视频时的同步。

2.将各个视频流中的同步帧都一一对应起来。在每个视频帧采集时都在相应音频轨道写入一个时间戳，通过这些时间戳将各个视频流中属于同一时刻的帧都一一对应起来。

3.通过摄像机标定的方法对各个视频流分别进行矫正。摄像机先从不同方向拍摄一个平面模板(作为标定物)的多幅图像，对于每个视点获得图像，提取图像上的网格角点；平面模板与图像间的网格角点对应关系，确定了单应性矩阵(Homography)；那么对每幅图像，就可确定一个单应性矩阵，这样就能够进行摄像机标定。

1)建立摄像机模型。依照针孔模型，一个三维世界点M＝[X Y z]^T，投影到成像面上点表示m＝[xy]^T。

\tilde{M} {= [\begin{matrix} X & Y & Z & 1 \end{matrix}]}^{T}, \begin{matrix} \begin{matrix}  \end{matrix} \end{matrix}

\tilde{m} = {[\begin{matrix} x & y & 1 \end{matrix}]}^{T}

表示M m的齐次坐标。根据针孔成像模型，三维世界点M和投影到成像面上点m的关系为：

s \tilde{m} = A [\begin{matrix} R & t \end{matrix}] \tilde{M}, A = [\begin{matrix} α & c & u_{0} \\ 0 & β & v_{0} \\ 0 & 0 & 1 \end{matrix}]

其中s是任意的比例因子，[R t]为外部参数，取决于欧氏摄像机坐标系相对于欧氏世界坐标系的方位。旋转矩阵R表达了坐标轴的3个基本旋转，即绕轴x、y和z的旋转，被分别称为扫描(pan)、俯仰(tilt)和滚动(roll)。平移矢量t给出了世界坐标系的原点相对于摄像机坐标系的3个平移基本量。A为内参数矩阵，(u₀，v₀ )是中心点的坐标，α是u轴的比例因子，β是v轴的比例因子，c代表u轴和v轴的倾斜程度。

2)建立透镜畸变模型。由于透镜不是一个平面，世界点因此并不投影到平面上而是球面上，这就导致直线在图像上映射为抛物线，所以要考虑摄像机的透镜畸变。畸变可用五个系数来描述：k₁、k₂和k₃三个放射畸变系数；p₁和p₂两个切向畸变系数。设(x，y)是理想的成像面坐标，(u，v)是理想的像素坐标，

是畸变的像素坐标，则：

\tilde{u} = u + (u - u_{0}) [k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6} + 2 p_{1} y + p_{2} (\frac{r^{2}}{x} + 2 x)]

\tilde{v} = v + (v - v_{0}) [k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6} + 2 p_{2} x + p_{1} (\frac{r^{2}}{y} + 2 y)]

其中r²＝x²+y²。

3)进行摄像机标定。假设有n幅关于平面模板的图像，模板平面上有M个标定点，那么设定评价函数如下：

C = Σ_{i = 1}^{n} Σ_{j = 1}^{m} {| | m_{ij} - m (A, k_{1,} k_{2,} k_{3,} p_{1,} p_{2,} R_{i,} t_{i,} M_{j}) | |}^{2}

其中m_ij为第j个点在第i幅图像中的像点，R_i为第i幅图像旋转矩阵，t_i为第i幅图像的平移向量，M_j为第j个点的空间坐标，m(A，k₁，k₂，k₃，p₁，p₂，R_i，t_i，M_j)是通过这些已知量求得的像点坐标。使评价函数最小的A，k₁，k₂，k₃，p₁，p₂，R_i，t_i，M_j就是这个问题的最优解。利用Levenberg-Marquarat算法来求解这个非线性最小二乘问题，初始估计利用线性求解的结果。k₁，k₂，k₃，p₁，p₂初始值假定为0。

4.对一组同步的视频帧进行全景拼接，计算出各帧的拼接参数。

1)对相邻的两个摄像头采集的同步对应帧进行图像配准，包括几何学配准和光度学配准。

几何学配准采用先使用基于频域分析的方法来得到仿射模型，再进而根据需要，利用光流的方法在仿射模型的基础上得到投影模型；

光度学配准利用一个从几何配准的输入图像估计光度模型参数。将光度模型分为RGB三个通道进行单独处理。在每一个通道里，两幅图像之间的变化通过一个线性变换模型来描述，共有两个参数：乘性因子α，加性因子β。那么一幅图像可以表示为三向量的矩阵变换：

[\begin{matrix} r_{2} \\ g_{2} \\ b_{2} \end{matrix}] = [\begin{matrix} α_{r} & 0 & 0 \\ 0 & α_{g} & 0 \\ 0 & 0 & α_{b} \end{matrix}] [\begin{matrix} r_{I} \\ g_{J} \\ b_{I} \end{matrix}] + [\begin{matrix} β_{r} \\ β_{g} \\ β_{b} \end{matrix}]

该模型总共需要6个参数，已经足以描述光度变化问题。在大多数情况下，上式中的加性因子可以忽略，而且可以将图像看作灰度图像，那么我们得到以下线性模型：

\tilde{I} (i, j) = αI (i, j)

同样我们假设两幅图像是经过对准的，那么比例因子α可以用两幅图像的均值比得到：

其中，M是图像A，B的变换矩阵，γ是校正系数，于是图像被映射为：

{v &RightArrow; (α v^{y})}^{\frac{2}{y}} = α^{\frac{γ}{y}} v

图2是光度学配准的一个效果示例。

2)将配准后的图像进行再投影。由于不同摄像机的图像之间存在视差，不能直接用于拼接。对图像进行圆柱投影可以减少图像之间的视差，圆柱投影如图4所示。设(X，Y，Z)是以相机为中心的坐标系上的点，将其投影到流形上的某一点(θ，v)：

当相机运动是单纯旋转时，图像n上的2D齐次点x＝(x，y，1)投影为相机坐标系上的一束光线X＝(X，Y，Z)：

θ = \tan^{- 2} (\frac{&KHgr;}{&Zgr;})

v = \frac{Y}{\sqrt{X^{2} + Z^{2}}}

其中K_n是第n部相机的标定矩阵，R_n是相对于参考视图的第n部相机的旋转矩阵。这些方程的组合就可以获得图像坐标系上的点(x，y)和流形坐标系上的点(θ，v)的一一对应。

3)投影后图像的拼接和平滑。由于图像间几何校正和光度学校正的误差，并且存在视差，使得图像间存在拼接裂缝，因此我们必须采用平滑策略消除全景视频中的拼接裂缝。

对于简单的场景我们采用简单图像平滑策略，在两幅图的重叠区域，我们将两帧图的象素值按一定的权值合成到新图。如果图像I和图像I在区间重叠，那么合成的新图像I″在这个区间上点的取值如下：

I″(x)＝I(x)·w(x)+I′(x)·w′(x)

对于复杂的场景采用多分辨率图像平滑策略，首先求得拼接后图像的重合区域在两帧图像上的对应部分，记为图像A，B。以这两幅公共部分图像的尺寸生成一幅二值图像，记为O，令其在缝合线两侧的像素分别填充为黑色和白色，我们称这幅图像O为权重图像。合成后的图像记为C。得到C的具体步骤如下：

a)分别建立图像A和B的拉普拉斯金字塔，记为LA，LB；

b)建立权重图像O的高斯金字塔GO；

c)对于金字塔的每一层，合成图像C在该层上的相应图像LC按照如下公式求得：

LC_l(i，j)＝GO_l(i，j)*LA_l(i，j)+(1-GO_l(i，j))*LB_l(i，j)

其中，l为金字塔阶数，(i，j)为像素坐标；

d)将拉普拉斯金字塔LC各层图像累加，求得图像C。

在缝合线的周围，不同的频段采用不同宽度的平滑带。在高频部分，也就是图像变化较为尖锐的部分，平滑带窄一些，而在频率较低的部分，也就是图像变化较为缓和的部分，平滑带宽一些。

5.将计算的拼接参数应用到各视频流中的每一帧，再将同步的每一组帧进行拼接，得到由全景帧组成的全景视频。由于各摄像头均固定焦距和相关光学参数，彼此之间位置固定，视频的融合区和成像区域为常数，每一帧的缝合合成函数也相同，因此可以保持拼接参数不变，这样就能极大的提高拼接效率。

如图8所示是步骤1到步骤5的整个流程图。因为各摄像头均固定相对位置和光学参数，所以拼接参数只需要计算一次，其他帧直接应用计算好的拼接参数来进行拼接。

实施例

如图4、5、6所示，本方法和系统在情景式虚拟旅游系统中的应用，在虚拟旅游中需要采集各主要线路上的全景视频，对视频的分辨率有较高要求并且要能适应户外采集，以前的全景视频方法很难满足这些条件，下面详细说明该实例实施的具体步骤，如下：

(1)采用六个摄像头对不同视角方向进行全方位覆盖的视频采集。图9所示是自制的全景视频采集设备实物图。每个摄像头的相对位置都是固定的，并且在水平面上以近似同一个圆心向四周不同方向拍摄，摄像头水平视角范围约为80度，相邻摄像头夹角约为60度，各摄像头采取串联的方式连接，以保证在采集视频时的同步。实际采集中将制作好的设备固定在汽车的顶部，即可以在行驶中采集周围环境的全景视频数据，如图10所示。采集好的原始数据为6个独立的视频文件。

(2)通过摄像机标定的方法对各个视频流分别进行矫正。各个摄像头先从不同方向拍摄一个平面模板(作为标定物)的多幅图像，对于每个视点获得图像，提取图像上的网格角点；平面模板与图像间的网格角点对应关系，确定了单应性矩阵；那么对每幅图像，就可确定一个单应性矩阵，这样就能够进行摄像机标定。如图4所示，将各个摄像头的参数进行标定保存后，再分别读入每个摄像头采集到的视频数据，利用标定参数对视频中的每一帧进行矫正。

(3)将各个视频流中的同步帧都一一对应起来。在每个视频帧采集时都在相应音频轨道写入一个时间戳，通过这些时间戳将各个视频流中属于同一时刻的帧都一一对应起来，如图5所示中的“时序对齐”按钮完成此项功能。

(4)对一组同步的视频帧进行全景拼接，计算出各帧的拼接参数。首先对相邻的视频帧进行配准，如图5所示，显示的是两个相邻摄像头采集到的浙江大学校区内的某个场景，计算出全部6个相邻视频帧之间的几何配准参数和光度配准参数后，再将六张图像统一重投影到一个柱面上，将柱面拉伸为一个平面，即得到一个初步拼接的全景视频帧，如图6所示，最后再采用平滑策略消除全景视频帧中的拼接裂缝和重影部分。

(5)将计算的拼接参数应用到各视频流中的每一帧，也就是自动对六个视频中每一组同步的帧都进行步骤(4)中的全景拼接，得到由全景帧组成的全景视频。如图7所示，将全景视频的每一帧映射到一个柱面上，人的视点在圆柱正中间，这样就可以360度全方位的进行交互浏览，达到较好的沉浸感。

上述描述只是为了说明和描述根据多视角视频流生成全景视频的方法和系统。它不是详尽的描述，也不将本发明限制为所说明和描述的形式，显然，许多修改和变化也是可以的。对所属技术领域的专业人员显而易见的修改和变化也包括在附带的权利要求所定义的本发明的范围内。

Claims

1.一种根据多视角视频流生成全景视频的方法，其特征在于它包括如下步骤：

2)将各个视频流中的同步帧都一一对应起来；

3)通过摄像机标定的方法对各个视频流分别进行矫正；

2.根据权利要求1所述的一种根据多视角视频流生成全景视频的方法，其特征在于，所述的多个摄像头对不同视角方向进行全方位覆盖的视频采集：每个摄像头在水平面上以同一个圆心向四周不同方向拍摄，任意相邻两个摄像头的视角都有重叠区域，并且所有摄像头的总覆盖区域在水平方向超过360度。

3.根据权利要求1所述的一种根据多视角视频流生成全景视频的方法，其特征在于，所述的通过摄像机标定的方法对各个视频流分别进行矫正：对各个摄像机分别建立标定模型，计算出内外参数，来矫正恢复由镜头成像所带来的畸变，输出矫正后的帧序列。

4.根据权利要求1所述的一种根据多视角视频流生成全景视频的方法，其特征在于，所述的将各个视频流中的同步帧都一一对应起来：在每个视频帧采集时都在相应音频轨道写入一个时间戳，通过这些时间戳将各个视频流中属于同一时刻的帧都一一对应起来。

5.根据权利要求1所述的一种根据多视角视频流生成全景视频的方法，其特征在于，所述的对一组同步的视频帧进行全景拼接的方法，包括如下步骤：

1)对相邻的两个摄像头采集的同步对应帧进行图像配准；

2)将配准后的图像进行再投影；

3)投影后图像的拼接和平滑。

6.根据权利要求1所述的一种根据多视角视频流生成全景视频的方法，其特征在于，所述的将计算的拼接参数应用到各视频流中的每一帧：各摄像头均固定焦距和相关光学参数，彼此之间位置固定，视频的融合区和成像区域为常数，每一帧的缝合合成函数也相同，拼接参数不变。

7.根据权利要求5所述的一种根据多视角视频流生成全景视频的方法，其特征在于，所述的对相邻的两个摄像头采集的同步对应帧进行图像配准的方法，包括如下步骤：

1)几何学配准

2)光度学配准

利用一个从几何配准的输入图像估计光度模型参数。

8.根据权利要求5所述的一种根据多视角视频流生成全景视频的方法，其特征在于，所述的再投影：将得到的反映各自投影平面的图像映射到一个圆柱投影面上。

9.根据权利要求7所述的一种根据多视角视频流生成全景视频的方法，其特征在于，所述的基于频域仿射参数的光流方程方法，包括如下步骤：

1)使用一个快速的基于频域的方法来得到仿射模型；

2)利用光流的方法在仿射模型的基础上得到投影模型。