CN101877767A - 一种六通道视频源生成三维全景连续视频的方法和系统 - Google Patents

Abstract

本发明提供一种六通道视频源生成三维全景连续视频的方法和系统。本发明方法，主要步骤包括：通过六个编号的鱼眼摄像机来获取六个同步视频流；视频采集采用侧面5个摄像机分别采集侧部视频；顶部采用一个鱼眼镜头采集顶部的视频信息；通过对鱼眼照片进行形变转换成全景图，最后通过光学裁剪、边缘平滑最终合成全景视频。本发明还提供了一种六通道视频源生成三维全景连续视频的系统，包括：视频采集子系统和视频处理子系统。通过本发明方法和系统生成的球面视频，对视域没有限制，视觉结构特征，能方便的实现俯视、仰视、360°环视。

Description

一种六通道视频源生成三维全景连续视频的方法和系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种六通道视频源生成三维全景连续视频的方法。

背景技术

视频信息在日常生活中对信息的表达起着十分重要的作用，特别是随着网络技术的发展，视频技术越来越多的涉及我们生活的各个领域，譬如，视频会议，视频电话，监控，等等。由于普通相机的视角往往不能满足需要，例如由于距离的限制，某些超大尺寸的物体无法用一张照片拍摄下来，这在航空航天照片的拍摄中显得尤为突出。上世纪九十年代提出的基于图像的绘制(IBR)是用宽视角图像或360度柱面全景图或球面全景图来虚拟展示实际场景，通过对这一静止图像进行连续插值而实现对场景的交互式连续浏览，是GBR的一种互补。全景图就是把离散的图像信息完全在一副图像上显示，这样就克服了上述的关于视角的限制。全景图的表示模式主要有柱面全景图，立方体全景图和球面全景图。采用柱面全景图来表示场景，其优点是图像较为容易处理，但在实际应用中，这种无底面的有限柱面将对垂直方向的视域有一定的限制；获得立方体全景图像，照相机的镜头必须是90度，还不能让场景中的直线在图像中产生弯曲，这是难以做到的；球面全景图符合人体视觉结构特征，能方便的实现俯视、仰视、360°环视。因此，中心位于视点处的球面映射是描述一个全景图像的理想选择。

全景视频，即全景图像加上一个时间轴，显示不同时刻的全景图序列，其代表的信息更加丰富，可是实时反映场景的变化。现有技术存在视角盲区较大的缺点。通过文献检索现有技术，浙江大学庄越挺等提出的根据多视角视频流生成全景视频的方法，该方法采用多个摄像头对不同视角方向进行全方位覆盖的视频采集，然后通过视频进行全景拼接，对视频流中的每一帧进行拼接，将其生成全景视频。

发明内容

本发明提供一种六通道视频源生成三维全景连续视频的方法和系统。通过使用鱼眼相机解决了普通相机盲区大的缺点，并快速的实现球形全景视频，可以360°视角观察物体。

本发明方法，主要步骤包括：

通过六个编号的鱼眼摄像机来获取六个同步视频流；

视频采集采用侧面5个摄像机分别采集侧部视频；

顶部采用一个鱼眼镜头采集顶部的视频信息；

通过对鱼眼照片进行形变转换成全景图，最后通过光学裁剪、边缘平滑最终合成全景视频。

本发明还提供了一种六通道视频源生成三维全景连续视频的系统，包括：视频采集子系统和视频处理子系统。

视频采集子系统，主要负责视频信息的采集以及时间信息的同步，采用6个高分辨率的鱼眼摄像机，分别在正五边形的五个面上以及顶部排列。

视频处理子系统，系统包括视频播放、图像处理两个模块。其中：

视频播放模块主要实现功能有：六通道视频播放、时间信息同步和视频纹理获取。

图像处理模块的主要实现功能有鱼眼图像中心位置获取、鱼眼图像转换为全景图、图像裁剪和视频合成。

通过本发明方法生成的球面视频，对视域没有限制，视觉结构特征，能方便的实现俯视、仰视、360°环视。

附图说明

图1是本发明方法的流程示意图；

图2是本发明实施例的应用流程图；

图3是本发明方法鱼眼摄像机成像原理示意图；

图4是本发明方法的鱼眼图像与全景图像转换关系图；

图5是本发明方法的语言图像与全景图像的对应图；

图6是本发明方法的系统原理图；

图7是本发明方法的成像原理图；

图8是本发明系统的架构图；

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

首先参照图1，是本发明方法的流程示意图，主要步骤包括：

步骤101，获取六通道视频，采用6个鱼眼摄像机来采集视频信息，相机的位置为侧向为正五边形，每个侧面一个，顶面一个，一共六个。首先对每个相机进行编号，每个相机以自己为圆心来采集视频，因为是鱼眼摄像机，所以其视角相对普通广角相机要大，所以盲区较小。在视频采集的过程中我们严格按照时间同步来规范视频。

步骤S 102，鱼眼图片转换，由于鱼眼摄像机获取的图像信息和全景图像还是有区别的，我们最终合成的为球形全景图像，所以在六通道视频获取以后，在六通道视频同时播放的同时我们可以获取六张同步鱼眼照片，然后我们通过先将鱼眼照片映射到三维球体上，然后以三维球为中介将鱼眼图映射到全景图上。

步骤103，视频合成，通过上述步骤变换，六张鱼眼照片可以转换成为六张全景图的一部分，最终我们要合成一张全景图，所以我们要进行一个裁剪的过程，裁剪可以分为基于光学以及基于像素分析的。基于像素分析的虽然精确度较高，但是由于其耗时的特点，不适于在此使用，所以我们采用基于光学裁剪的方法对六张部分全景图进行裁剪，然后通过边缘平滑对边缘部分进行处理，合成一张全景图。最终通过视频编码，将不同时间轴的纹理合成全景视频。

参照图2，是本发明实施例的应用流程图，主要步骤包括：

步骤201，六通道全景视频播放，实施中通过Microsoft DirectShow来实现对六通道视频的同步播放。DirectShow是从DirectX6.0中的DirectX Media发展而来的，它集成了DirectX家族中其他成员(DirectDraw、DirectSound等)的技术。Microsoft DirectShow是一个基于Microsoft Windows平台的媒体流结构。它支持各种格式，包括高级流模式(ASF)、运动图像专家组(MPEG)、音频视频交错(AVI)、音频动态压缩第三层(MP3)和WAV声音文件。它支持Windows驱动模式(WDM)设备的捕捉，以及早期Widows设备的视频。DirectShow结合了其它的DirectX技术。当视频和音频的硬件加速可用时，它能够自动检测并进行使用，同时也支持没有硬件加速的系统。因此，Microsoft DirectShow在流媒体领域有着广泛的应用；

步骤202，判断时间是否同步，分别获取六通道视频的时间信息，并判断是否同步，如果不同步继续播放时间落后的视频使其同步，然后进行下一步骤；

步骤203，视频纹理获取，在六个视频同步播放的同时，我们通过DirectShow可以获取六个同步鱼眼纹理信息；

步骤204，图像调整，此时我们取得的是六张同步的鱼眼图像，我们要做进一步的调整使其可以用来拼合成全景图。参照图3，是本发明方法鱼眼摄像机成像原理示意图，一般鱼眼镜头可近似为半球面，相机的拍摄方向沿OZ轴，则成像平面为OXY平面，如下图，设半球面的方程为x²+y²+z²＝r²(z≥0)

对空间中任意一点P1，连接P1交S与P2，过P2做OZ轴的平行线，交OXY平面与P3点，则P3点就是P1所成的像。因此对于鱼眼图像而言，所拍摄的景物布满一个圆，我们找去鱼眼照片的中心位置，然后以球面映射为中介将其转换为全景图。参照图4，主要步骤包括：

a)首先根据鱼眼的等距成像模型计算鱼眼照片上任意一点(x，y)在单位球面上的坐标，它们的关系如式(1)所示，其中f为焦距，在实际应用中取单位球半径作为f值，θ，φ为球面坐标；

$\left\{\begin{array}{c}{x}^{\′}=\mathrm{f\β}\\ y^{\′}=f(\mathrm{\π}/2-\mathrm{\α})\end{array}\right.---\left(2\right)$

$\left\{\begin{array}{c}\sin \mathrm{\θ}=\sin \mathrm{\α}\×\sin \mathrm{\β}\\ \sin \mathrm{\φ}=(\sin \mathrm{\α}\×\sin \mathrm{\β})/\sqrt{{\left(\sin \mathrm{\α}\right)}^2\×{\left(\sin \mathrm{\β}\right)}^2+{\left(\cos \mathrm{\α}\right)}^2}\\ \cos \mathrm{\φ}=\cos \mathrm{\α}/\sqrt{{\left(\sin \mathrm{\α}\right)}^2\×{\left(\sin \mathrm{\β}\right)}^2+{\left(\cos \mathrm{\α}\right)}^2}\end{array}\right.---\left(3\right)$

b)建立经纬映射图上的坐标点P(x′，y′)和它在球面上对应的球面坐标。可以利用关系式(2)来计算，其中f与关系式(1)相同，α，β为对应的球面坐标；

c)最后以球面坐标为中介建立起鱼眼照片和经纬映射图之间的关系，采用关系式(3)将(θ，φ)和(α，β)进行互相转换。他们的关系参照图5，是本发明方法的鱼眼图像与全景图像的对应图；

步骤204，获得每张照片中心在全景图上的位置信息，通过上述步骤的调整以后，我们可以得到六张不完全的全景图，通过六张全景照片的编号我们可以得到这六张不完全的全景图的中心在整个全景图上的位置；

步骤205，获得每张照片中心在全景图上的位置信息，光学裁剪，由于侧面我们选取5个摄像机，每个摄像机选取器72度角度的图片用来合成全景图，通过光学裁剪我们可以得到六张裁剪过的部分全景图；

步骤206，视频合成，通过上述步骤后我们可以得到六张不完整的全景图，通过六张部分全景图我们可以将其拼合成为一张完整的全景图，然而，由于光学裁剪的弊端，所以我们应该对边缘部分进行光滑处理，对微小错位情况，采用邻域平均法对图像进行平滑。使用3×3领域进行平滑，则处理后图像。

$g(x,y)=\frac{1}{8}\underset{i=1}{\overset{8}{\mathrm{\Σ}}}f(x_i,y_i)$

边缘处理完以后我们面临的就是视频编码的问题，视频编解码器，是指一个能够对数字视频进行压缩或者解压缩的程序或者设备。通常这种压缩属于有损数据压缩。历史上，视频信号是以模拟形式存储在磁带上的。随着Compact Di sc的出现并进入市场，音频信号以数字化方式进行存储，视频信号也开始使用数字化格式，一些相关技术也开始随之发展起来。一个典型的数字视频编解码器的第一步是将从摄像机输入的视频从RGB(R、G、B分别代表红、绿、蓝三基色的分量)色度空间转换到YCbCr(Y代表亮度，Cb和Cr代表色差)色度空间，而且通常还伴有色度抽样来生成4:2:0格式的视频(有时候在隔行扫描的情况下会采用4:2:2的抽样方式)。转换到YCbCr色度空间会带来两点好处：1)这样做部分的解除了色度信号中的相关性，提高了可压缩能力。2)这样做将亮度信号分离出来，而亮度信号对视觉感觉是最重要的，相对来说色度信号对视觉感觉就不是那么重要，可以抽样到较低的分辨率(4:2:0或者4:2:2)而不影响人观看的感觉。

我们通过读取六个视频，并对图像进行处理生成一个新的视频序列，至此我们就完成了全景视频。

参照图6，是本发明方法的系统原理图，系统采用6个高分辨率的鱼眼摄像机，分别在正五边形的五个面上以及顶部排列。这样既可以获取侧部的视频信息又可以获取顶部信息。

参照图7，是本发明方法的成像原理图，采用鱼眼摄像机，这样的视角较普通广角摄像机要大，相对盲区较小，这样可以取得更好的图像效果。

参照图8，是本发明方法系统结构示意图，包括视频采集子系统和视频处理子系统。

视频采集子系统，主要负责视频信息的采集以及时间信息的同步

视频处理子系统，系统包括视频播放、图像处理两个模块。其中：

视频播放模块主要实现功能有：六通道视频播放，时间信息同步，视频纹理获取。

图像处理模块的主要实现功能有；鱼眼图像中心位置获取，鱼眼图像转换为全景图，图像裁剪，视频合成。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的系统及方法；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种六通道视频源生成三维全景连续视频的方法，其特征在于，所述方法主要步骤包括：

通过六个编号的鱼眼摄像机来获取六个同步视频流；

视频采集采用侧面5个摄像机分别采集侧部视频；

顶部采用一个鱼眼镜头采集顶部的视频信息；

通过对鱼眼照片进行形变转换成全景图，最后通过光学裁剪、边缘平滑最终合成全景视频。

2.一种六通道视频源生成三维全景连续视频的系统，其特征在于，所述系统视频采集子系统和视频处理子系统，其中：

所述视频采集子系统，主要负责视频信息的采集以及时间信息的同步；

3.根据权利要求2所述的系统，其特征在于，所述视频处理子系统，系统包括视频播放、图像处理两个模块。其中：

视频播放模块主要实现功能有：六通道视频播放、时间信息同步和视频纹理获取；

图像处理模块的主要实现功能有鱼眼图像中心位置获取、鱼眼图像转换为全景图、图像裁剪和视频合成。

4.根据权利要求2所述的系统，其特征在于，所述视频采集子系统，采用6个高分辨率的鱼眼摄像机，分别在正五边形的五个面上以及顶部排列。

Images