CN101277454A - 一种基于双目摄像机的实时立体视频生成方法 - Google Patents

Abstract

本发明涉及一种基于双目摄像机的实时立体视频生成方法，属于立体视频的采集与处理技术领域，该方法包括如下步骤：校准、采集、校正、立体匹配、虚拟视图生成和立体视图合成。本发明方便易行，简单快速，特别适合于一些需要实时处理的应用场合。

Description

一种基于双目摄像机的实时立体视频生成方法

技术领域

本发明属于立体视频的采集与处理技术领域，特别涉及一种基于双目立体视觉原理的实时立体视频采集、中间处理和显示的技术。

背景技术

双目立体视觉(binocular stereo vision)是计算机视觉的一个重要分支，它的目的是通过两台位于不同位置的摄像机或者一台摄像机经过平移或者旋转来采集三维场景，经过处理来得到场景的三维几何信息。

常见的双目立体成像的原理如图1所示，两台摄像机C_L和C_R的光轴互相平行，其成像面互相重合，且位于世界坐标系C_W的相同XOY平面上，并且两摄像机具有相同的焦距f。P(X，Z)为空间任意一点。摄像机之间距离称为基线距离，用b来表示。当b和人的两眼之间距离相近时，这种平行摄像机配置就很好地模拟了人眼双目成像系统。

从图1中可以得到关于空间任意一点P(X，Z)的如下方程：

$\left\{\begin{array}{c}\frac{x_l}{f}=\frac{X+b}{Z}\\ \frac{x_r}{f}=\frac{X}{Z}\end{array}\right.\⇒d_{P(X,Z)}=x_l-x_r=f\frac{b}{Z}$

其中，d_P(X，Z)称为P(X，Z)点的视差。从上式中可以看到，空间任意一点P的视差与该点到摄像机成像平面之间的距离Z呈反比。视差越大，说明物体离相机越近；视差越小，说明物体离相机越远。因此，若能计算出空间的物体在两摄像机中的成像的视差，就能够计算出该物体在空间中的位置，进而重构出场景的三维几何模型。根据该模型，就可以绘制出任意视点的虚拟视图，从而实现立体视频的生成。

所谓立体视频，指的是一种新型的描述三维世界的方式，它不仅包括传统二维视频的关于场景的表面信息，而且包括与场景具体位置相关的三维立体信息。结合立体显示技术，立体视频能够给人们提供身临其境般的感受，有望取代传统的二维视频成为新一代媒体，在交互式自由视点视频(FVV)、虚拟现实、3DTV、3D游戏、体育直播、广告传媒等很多领域有着广泛的应用前景。

然而，当前而言，立体视频的获取和制作仍然是一个相当困难的问题，由于其技术难度较大，尚未见到有实用的、商业化的、出色的解决方案。通常制作立体视频的办法是使用一些专用的图像编辑软件如Photoshop等等，由熟练的技术人员来一帧一帧地处理，这种方法的问题在于需要大量的人工参与，如以24帧每秒计算，一分钟的立体视频就需要处理1440帧图像，因此，工作量非常大，成本很高。此外，对于有些需要实时应用的场合，如立体直播，这种方法就更加不能胜任了。因此，急需一种简单方便的办法来实时制作立体视频。

发明内容

本发明的目的是为了克服目前现有的制作立体视频的方法存在的问题，提出一种基于双目摄像机的实时立体视频生成方法。采用本发明，可以极大地降低制作立体视频的工作量，降低成本。本发明方便易行，简单快速，特别适合于一些需要实时处理的应用场合。

为了解决上述技术问题，本发明所采取的技术方案是：一种基于双目摄像机的实时立体视频直播系统生成方法，包括如下步骤：

1)校准：获取双目摄像机的几何参数，包括内参数和外参数；

2)采集：使用双目摄像机同步采集左视图和右视图，形成同步的两路视频；

3)校正：根据外极约束，利用双目摄像机的几何参数对采集所得的两路视频逐帧进行处理，使每一对同步采集的左右视图中对应的像素点都位于同一行；

4)立体匹配：在每一对同步采集的左右视图中分别寻找对应空间中同一个点的像素点，这样分别来自于左右视图的每一对对应像素点称为一个匹配对，根据找到的左右两幅视图中所有的匹配对来构建深度图；

5)虚拟视图生成：根据同步采集的左右视图以及所述的深度图，生成多幅不同视点的虚拟视图(需要生成虚拟视图的数目为具体立体显示器所需要显示的视角的数目)；

6)立体视图合成：根据同步采集的左右视图及所生成的虚拟视图合成适合立体显示器显示的立体视图。

本发明的原理

要获得立体视频，就必须获得场景的三维立体信息。基于双目立体视觉原理，如果能够获得某点在对应左右视图中的视差，那么该点的空间位置也就确定了，进而就可以构建出对应场景的深度图。根据该深度图就可以绘制多幅不同视点的虚拟视图，进而合成立体视图并生成立体视频。

本发明的优点

1.除第一次需要进行摄像机的校准外，整个过程无需人工参与，方便易行。

2.双目摄像机中的两台摄像机均可以采用普通的数字摄像机，无需专用设备，成本低廉，便于推广应用。

3.大大降低了整个立体视频制作过程的工作量，使得立体视频的实时获取成为可能。

4.通过调节双目摄像机的基线距离以及虚拟视图绘制过程中的零视差平面(ZeroParallax Plane，ZPS)的位置，可以根据实际需要灵活地制作不同显示效果的立体视频。

5.可以根据需要确定生成虚拟视图的数目及位置，实现兼容多种立体显示终端。

附图说明

图1为双目立体视觉原理图。

图2为实时立体视频生成方法方框图。

图3为双目摄像机结构简图。

具体实施方式

下面对本发明提出的一种基于双目摄像机的实时立体视频生成方法结合附图及具体实施例进行详细说明。

本发明提出的一种基于双目摄像机的实时立体视频直播系统生成方法，如图2所示，包括如下步骤：

1)校准：获取双目摄像机的几何参数，包括内参数和外参数；

2)采集：使用双目摄像机同步采集左视图和右视图，形成同步的两路视频；

3)校正：根据外极约束，利用双目摄像机的几何参数对采集所得的两路视频逐帧进行处理，使每一对同步采集的左右视图中对应的像素点都位于同一行；

4)立体匹配：在每一对同步采集的左右视图中分别寻找对应空间中同一个点的像素点，这样分别来自于左右视图的每一对对应像素点称为一个匹配对，根据找到的左右两幅视图中所有的匹配对来构建深度图；

5)虚拟视图生成：根据同步采集的左右视图以及所述的深度图，生成多幅不同视点的虚拟视图(需要生成虚拟视图的数目为具体立体显示器所需要显示的视角的数目)；

6)立体视图合成：根据同步采集的左右视图及所生成的虚拟视图合成适合立体显示器显示的立体视图。

本发明的一种实施例进一步说明如下：

本实施例运行在普通PC机上，具体配置如下：

CPU：Intel Core2 2.66GHz

内存：1G DDR333

操作系统：Windows XP Professional Edition

运行环境：Microsoft Visual Studio 2005

本实施例中，输入设备为基线可调的双目摄像机，其结构如图3所示，包括双目摄像机架以及与之相连的两个数字摄像机，其中双目摄像机架主要起固定作用，两个数字摄像机负责采集双路视频。输出设备为欧亚宝龙国际科技有限公司生产的46英寸8视角自由立体显示器。

本实施例的步骤如下：

步骤1.校准

获取双目摄像机的几何参数，包括内参数和外参数，以方便后续的处理(本实施例中采用”一种灵活的摄像机校准的新技术”，IEEE模式分析与机器智能学报，2000.Z.Zhang.A flexible new technique for camera calibration.IEEE Transactions onPattern Analysis and Machine Intelligence，22(11)：1330-1334，2000)。校准在所有其他工作之前，并且若组成双目摄像机的两台摄像机及相对位置一旦固定，校准就只需一次，以后每次应用的时候直接利用第一次校准的结果就可以。

步骤2.采集

使用双目摄像机来同步采集左视图和右视图，形成同步的两路视频。采集顺序如下：先采集左路摄像机所拍摄的左视图，然后立即采集右路摄像机所拍摄的右视图，再对采集的左右视图进行后续的处理。使用这种方法，可以认为所采集的左右视图之间是同步的。

步骤3.校正

根据外极约束，利用双目摄像机的几何参数对采集所得的两路视频逐帧进行处理，使每一对同步采集的左右视图中对应的像素点都位于同一行(本实施例中采用”一种简洁的立体对校正算法”，机器视觉及应用，2002.A.Fusiello，E.Trucco，and A.Verri，“A compact algorithm for rectification of stereo pairs，”Machine Vision andApplications，Volume 12，pp.16-22，2002.)，这样可以将随后的立体匹配的搜索范围从二维降到一维，简化随后的立体匹配过程。

步骤4.立体匹配

在每一对同步采集的左右两幅视图中寻找对应空间中同一个位置的像素点，每两个这样分别来自于左右视图的对应像素点称为一个匹配对，找到所有的匹配对，并根据这些匹配对来构建深度图(本实施例中采用”从像素到像素的立体到深度的不连续”，计算机视觉期刊，1999.S.Birchfield and C.Tomasi，“Depth Discontinuities byPixel-to-Pixel Stereo”，International Journal of Computer Vision，35(3)：269-293，December 1999.)。

所谓立体匹配，其实就是在两幅视图中寻找对应匹配点的过程，匹配的结果是视差图。根据双目立体视觉原理，视差与深度成反比，因此二者在本质上是一样的，可以互相转化。

步骤5.虚拟视图生成

根据同步采集的左右视图以及对应的深度图，生成多幅不同视点的虚拟视图。其中，需要生成虚拟视图的数目为具体立体显示器所需要显示的视角的数目。

采用基于深度图的图像绘制技术来生成多幅不同视点的虚拟视图(本实施例中采用“立体电视的新方法：基于深度图的绘制、压缩和传输”，立体显示与虚拟现实系统，2004.C.Fehn，“Depth-Image-Based Rendering(DIBR)，Compression and Transmission for aNew Approach on 3D-TV，”Stereoscopic Displays and Virtual Reality Systems XI，Proceedings of the SPIE，Volume 5291，pp.93-104，2004.)，其输入为一幅参考视图及与之对应的深度图。输出为多幅不同视点的虚拟视图。

步骤6.立体视图合成

根据同步采集的左右视图及生成的虚拟视图来合成适合立体显示器显示的立体视图。需要生成虚拟视图的数目为具体立体显示器所需要显示的视角的数目(如欧亚宝龙国际科技有限公司生产的46英寸8视角自由立体显示器，一共需要显示8个视角)。具体的合成方法依具体立体显示器的不同而不同。本实施案例中，根据所使用立体显示器的要求，按其指定的顺序分别用不同的虚拟视图中的像素来填充立体视图的所有像素，达到合成立体视图的目的。

使用上述实施案例，对分辨率为640×480，帧率为30fps的两路RGB彩色视频流进行处理，输出为1368×768分辨率的立体视频流，其帧率最大可以达到8fps。

上述实施例并不限制本发明，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变化，这些改进和变化也应视为本发明的保护范围之内。

Claims (1)

1、一种基于双目摄像机的实时立体视频生成方法，其特征在于，该方法包括如下步骤：

1)校准：获取双目摄像机的几何参数，包括内参数和外参数；

2)采集：使用双目摄像机同步采集左视图和右视图，形成同步的两路视频；

3)校正：根据外极约束，利用双目摄像机的几何参数对采集所得的两路视频逐帧进行处理，使每一对同步采集的左右视图中对应的像素点都位于同一行；

4)立体匹配：在每一对同步采集的左右视图中分别寻找对应空间中同一个点的像素点，这样分别来自于左右视图的每一对对应像素点称为一个匹配对，根据找到的左右两幅视图中所有的匹配对来构建深度图；

5)虚拟视图生成：根据同步采集的左右视图以及所述的深度图，生成多幅不同视点的虚拟视图；

6)立体视图合成：根据同步采集的左右视图及所生成的虚拟视图合成适合立体显示器显示的立体视图。

Images