CN101938605A - 生成全景视频的方法 - Google Patents

Abstract

本发明公开一种生成全景视频的方法，将摄取的视频的每一帧的图像通过经纬映射坐标转换为经纬图像，再通过光学裁减缝合为全景图像，之后进行视频编码按照时间生成全景视频。本发明采用将图像通过球面坐标和经纬映射坐标转换为经纬图像，符合人眼的视觉特征，所生成的全景视频方便人们看到仰视、360度水平环视的全景视频，增加全景视频的视觉范围，符合人眼视觉效果。

Description

生成全景视频的方法

【所属技术邻域】

本发明涉及一种全景视频的生成方法，尤其涉及一种全景视频的生成方法，扩大观看视角的范围。

【背景技术】

视频信息在日常生活中对信息的表达起着重要的作用，特别是随着网络技术的发展，视频技术越来越多的涉及我们生活的各个邻域，譬如，视频会议，视频电话，监控，等等。由于普通摄像机不能拍摄下多方位的图像，观看视频的视觉范围受到限制。

全景图像则可以把图像信息完全在一副图像上显示，从而克服了视角的限制。中国公开专利申请200710069772.0公开了根据多视角视频流生成全景视频的方法，该方法采用多个摄像头对不同视角方向进行全方位覆盖的视频采集，然后通过视频进行全景拼接，对视频流中的每一帧进行拼接，将其生成全景视频。

上述现有技术生成的柱面视频受到垂直方向的视域限制，导致仰视角度的盲区，不符合人们的视觉习惯，球面全景图符合人体视觉结构特征，能方便的实现更广角度的视角范围的全景影像，成为当前全景视频发展的趋势。

【发明内容】

本发明提供一种生成全景视频的方法，扩大观看视角角度的全景影像，符合视角的球面视角效果。

为解决上述的技术问题，本发明提供一种生成全景视频的方法，包括如下步骤：

(1)用鱼眼摄像机摄取获得视频；

(2)将视频的每一帧的图像变换生成经纬坐标的经纬图像；

(3)将经纬图像光学裁减合成全景影像；

(4)将全景图像进行边缘光滑处理；

(5)将全景图像合成全景视频。

如上所述，本发明通过将鱼眼摄像头摄取的视频转换为经纬坐标系的经纬图像进而合成为全景视频，经纬图像以球面坐标系为展开为平面的图像，符合人体的视觉效果，进而减少人们观看全景视频的视觉失真，便于获得符合人眼观看习惯的全景视频。

【附图说明】

图1是本发明生成全景视频的方法的流程图。

图2是本发明的图像生成经纬图像的方法的流程图。

图3是本发明的鱼眼摄像机摄取的视频的每一帧图像的原理图。

图4是本发明的球面坐标的原理坐标图。

图5是本发明的经纬映射图。

图6是本发明的全景视频的一帧全景图像。

【具体实施方式】

为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例，对本发明生成全景视频的方法的具体实施方式、结构特征及其功效，详细说明如下。

本发明生成全景视频的视频拍摄装置通过安装的鱼眼摄像机所拍摄的视频进而生成全景视频。本发明的实时生成全景视频的视频拍摄装置包括安装固定台的顶端面的顶部鱼眼摄像机和安装在固定台的四周的水平鱼眼摄像机。顶部鱼眼摄像机用以拍摄仰视角度的视频。顶部鱼眼摄像机至少设置一个顶部鱼眼摄像机。水平鱼眼摄像机用以摄取水平周围的视频，均匀地分布并安装在固定台的周边，水平鱼眼摄像机包括至少三个均匀分布的水平鱼眼摄像机，顶部鱼眼摄像机与水平的鱼眼摄像机均固定于同一平台。在本具体实施例中，顶部的鱼眼摄像机设置一台，水平的鱼眼摄像机设置五台，每一台水平鱼眼摄像头摄取水平视角的至少72度视角范围的视频，进而五台鱼眼摄像机可拍摄水平四周360度的水平环视视角的视频。

本发明的视频拍摄装置安装在固定台上，可以将视频拍摄装置安装在固定的拍摄架上，或者安装在汽车上，进而可以开车即可拍摄视频，进而用以合成全景视频。

如图1及图2所示，在具体实施例中，为便于说明，本发明将一台顶部鱼眼摄像机和五台水平鱼眼摄像机所拍摄的视频，按照如下的步骤进行全景视频的合成，以下对每个步骤进行详细的描述：

(1)用鱼眼摄像机摄取视频

首先对本发明的视频拍摄装置的一个顶部鱼眼摄像机和五个水平鱼眼摄像机一共六个摄像机进行编号，对每个鱼眼摄像机采集获取的视频的每一桢的图像进行分类，然后确定其(光学)中心位置。

(2)将视频的每一帧的图像变换生成经纬映射坐标的经纬图像图像的呈现原理

一般鱼眼摄像机的鱼眼镜头可近似为半球面，假定鱼眼摄像机的拍摄方向沿OZ轴，则成像平面为OXY平面，如图3所示，设半球面S的方程为(1)

x²+y²+z²＝r²(z≥0)                (1)

如图3所示，对空间中任意一点P1，连接P1交S与P2，过P2做OZ轴的平行线，交OXY平面与P3点，则P3点就是P1所成的像。因此对于鱼眼摄像机所摄取的视频的每一帧的图像而言，所拍摄的景物的图像点布满一个圆。

图像展开

本发明采用经纬映射法对图像进行展开。如图4，假设单位球面上任意一点P，点P按照经纬映射法，则P点的经度坐标映射为经纬坐标上的矩形的水平坐标，将P点的纬度坐标映射为经纬坐标上的矩形的垂直坐标，因此，整个单位球面S映射得到的经纬坐标的平面图是一张2∶1的矩形图，半球面就是一张方形图，如图5所示，本发明的视频的每一帧图像按照经纬映射法映射为经纬图像的步骤如下：

(2.1)首先根据图像的等距成像模型计算图像上任意一点(x，y)在单位球面上的坐标，换算的计算公式如式(2)所示，其中f为焦距，在实际应用中取单位球半径作为f值，为球面坐标(θ，φ)；

$\left\{\begin{array}{c}x=\mathrm{f\θ}\cos \mathrm{\φ}\\ y=\mathrm{f\θ}\sin \mathrm{\φ}\end{array}\right.---\left(2\right)$

$\left\{\begin{array}{c}{x}^{\′}=\mathrm{f\β}\\ y^{\′}=f(\mathrm{\π}/2-\mathrm{\α})\end{array}\right.---\left(3\right)$

$\left\{\begin{array}{c}\sin \mathrm{\θ}=\sin \mathrm{\α}\×\sin \mathrm{\β}\\ \sin \mathrm{\φ}=(\sin \mathrm{\α}\×\sin \mathrm{\β})/\sqrt{{\left(\sin \mathrm{\α}\right)}^2\×{\left(\sin \mathrm{\β}\right)}^2+{\left(\cos \mathrm{\α}\right)}^2}\\ \cos \mathrm{\φ}=\cos \mathrm{\α}/\sqrt{{\left(\sin \mathrm{\α}\right)}^2\×{\left(\sin \mathrm{\β}\right)}^2+{\left(\cos \mathrm{\α}\right)}^2}\end{array}\right.---\left(4\right)$

(2.2)建立经纬映射坐标上的坐标点P(x′，y′)在单位球面上所对应的球面坐标，利用换算的公式(3)来计算，其中f与公式(2)相同，(α，β)为对应的球面坐标；

(2.3)以单位球面的球面坐标为中介建立鱼眼摄像机摄取的视频的每一帧图像和经纬映射坐标的经纬图像之间的关系，采用换算的公式(4)将(θ，φ)和(α，β)进行换算。

(3)将经过经纬映射法变换后的经纬图像进行光学裁剪，生成全景图像

对鱼眼摄像机所摄取的视频的每一帧的图像按照经纬映射变换生成经纬图像后，根据对每一帧图像的编号找到每一帧图像中心在全景图像中的中心位置，并按照时间顺序对相邻的每帧图像进行光学裁剪，进而缝合生成全景图像，采用基于光学角度的方法对图像进行裁剪，可以以达到实时的效果，同时提高效率。

(4)将缝合生成的全景图像进行边缘平滑化处理

每一帧图像由于在拍摄时光线存在差异，会出现图像的明暗不同，在光学裁剪时，裁减的图像之间也会存在细微的错位，所以需要对缝合的图像之间的接缝处进行平滑化处理，以符合视觉效果，对图像的平滑化处理的步骤包括：

(4.1)消除图像之间的明暗差异，由于经纬映射发法展开的每两帧图像之间的重叠范围确定，可采用灰度渐变的方法。首先计算两帧图像接缝处两侧的灰度差值I_M＝I_R-I_L，然后从接缝处开始分别向左向右均分灰度差值I_M。

若I_M＞0表示左侧图像比右侧图像的亮度高，则左侧图像从接缝处开始向左每一列灰度值按照公式I_L＝I_L-I_M×i进行计算渐变，其中，i从1到0渐变，同时右侧图像从接缝处向每一列灰度值I_R＝I_R+I_M×i，i从0到1渐变。若I_M＜0，依据上述的公式依理推算。

(4.2)采用邻域平均法对微小错位的图像进行平滑化处理。使用3×3邻域对相邻图像之间的错位区域进行平滑化处理，则处理后图像

至此，按照上述的方法将顶部鱼眼摄像机和水平鱼眼摄像机共六台鱼眼摄像机所摄取的视频的每一帧的图像按照编号和时间顺序标记缝合生成全景图像。

(5)将生成的全景图像依据时间轴对每一帧全景图像进行视频编码，进而生成全景视频并播放输出。依据本发明生成全景视频播放输出时的一帧视频图像，可参阅图6所示。将全景图像转换生成视频的技术是现有技术的视频生成的技术，在此不再赘述。

综上所述，本发明生成全景视频的方法通过将顶部鱼眼摄像机和水平鱼眼摄像机的鱼眼摄像机所摄取的视频进行全景视频的合成，采用球面坐标对应的经纬映射坐标，将鱼眼摄像机所摄取的视频的每一帧的图像转换为经纬图像，进而生成全景视频，符合人眼的视觉结构，使得本发明的全景视频可增加人眼的视觉范围，可以看到仰视和360度水平环视角度的影像，进而解决现有技术采用柱面全景视频合成后视觉角度窄的缺陷，方便全景视频的多角度观看，符合人眼视觉效果。

Claims (12)

1.一种生成全景视频的方法，包括：

(1)用鱼眼摄像机摄取获得视频；

(2)将视频的每一帧图像变换生成经纬坐标的经纬图像；

(3)将经纬图像光学裁减合成全景影像；

(4)将全景图像进行边缘光滑处理；

(5)将全景图像合成全景视频。

2.根据权利要求1所述的生成全景视频的方法，其中，所述的鱼眼摄像机包括顶部鱼眼摄像机和水平设置的水平鱼眼摄像机，所述的顶部鱼眼摄像机摄取仰视方位的视频，所述的水平鱼眼摄像机摄取360度环视的水平方位的视频。

3.根据权利要求2所述的生成全景视频的方法，其中，所述的顶部鱼眼摄像机为一个顶部鱼眼摄像机，所述的水平鱼眼摄像机包括至少三个均匀分布的水平鱼眼摄像机，所述的顶部鱼眼摄像机与水平的鱼眼摄像机均固定于同一平台。

4.根据权利要求1所述的生成全景视频的方法，其中，所述的步骤(2)包括：

(2.1)将视频的每一帧的图像的每一图像的点坐标转换为单位球面上的球面坐标；

(2.2)将每一帧的图像的单位球面上的球面坐标转换为经纬映射坐标的经纬映射坐标；

(2.3)将视频的每一帧的图像转换为经纬映射坐标的经纬图像。

5.根据权利要求4所述的生成全景视频的方法，其中，所述的步骤(2.1)根据鱼眼摄像机的等距成像模型计算视频的每一帧的图像上的任一点(x，y)在单位球面上的坐标(θ，φ)，所述的每一帧的图像的任一点(x，y)转换为单位球面的坐标的转换公式

其中，f为鱼眼摄像机的焦距，单位球面半径为f。

6.根据权利要求4所述的生成全景视频的方法，其中，所述的步骤(2.2)的单位球面上的坐标点(θ，φ)与经纬映射坐标的坐标点P(x’，y’)的转换公式为

其中，f为鱼眼摄像机的焦距，单位球面半径为f，(α，β)为单位球面的球面坐标。

7.根据权利要求1所述的生成全景视频的方法，其中，所述的步骤(2.3)的视频的每一帧的图像的坐标与经纬映射坐标的经纬图像的坐标之间的转换公式为

其中，f为鱼眼摄像机的焦距，单位球面半径为f，(α，β)为单位球面的球面坐标。

8.根据权利要求1所述的生成全景视频的方法，其中，所述的步骤(3)还包括

(3.1)依据全景视频的每一帧的图像的时间标记找到每一帧的图像的中心位置对应于经纬图像的中心位置；

(3.2)对应裁减依据时间标记相邻的两帧图像。

9.根据权利要求1所述的生成全景视频的方法，其中，所述的步骤(4)包括：

(4.1)消除依据时间标记紧邻的每两帧图像的明暗差异；

(4.2)用邻域平均法对紧邻的每两帧图像进行边缘平滑处理。

10.根据权利要求9所述的生成全景视频的方法，其中，所述的步骤(4.1)是采用图像的灰度渐变的方法，所述的灰度渐变的方法包括：

(4.1.1)计算每两帧图像缝合两侧边沿的灰度差值I_M＝I_R-I_L；

(4.1.2)从两帧图像缝合的接缝处相两侧边沿均分所述的差值。

11.根据权利要求10所述的生成全景视频的方法，其中，若I_M＞0表示左侧比右侧图像亮，则左侧图像从接缝开始向左每一列灰度值I_L＝I_L-I_M×i，i从1到0渐变，右侧图像从接缝处向每一列灰度值I_R＝I_R+R_M×i，i从0到1渐变。

12.根据权利要求11所述的生成全景视频的方法，其中，所述的步骤(4.2)的邻域平均法是使用3×3邻域进行平滑，则处理后图像

Images