CN104159026A - 一种实现360度全景视频的系统 - Google Patents

Abstract

本发明提供一种实现360度全景视频的系统，所述系统置于一摄像头模块上实现的，系统包括一感兴趣区域选择模块、一图像拼接处理模块以及一视频会议系统模块；感兴趣区域选择模块：用于在四个镜头覆盖的水平面360度范围内的任意区域划定为感兴趣区域，对划定的感兴趣区域进行图像采集；图像拼接处理模块：用于根据感兴趣区域选择模块的选择采集的图像，判断是否需要进行拼接操作；视频会议系统模块用于接收所述图像拼接处理模块传递的全景图像进行高效编码处理，实现360度全景视频会议效果。本发明能任意选取感兴趣区域进行编码、传输；且实现水平面360度全景图像内瞬时切换感兴趣区域，无需摄像头机械操作。

Description

一种实现360度全景视频的系统

技术领域

本发明涉及视频处理技术领域，尤其涉及一种实现360度全景视频的系统。

背景技术

现有的摄像机全景拼接图片为非实时图像，摄像机采集的用于拼接的多幅图片非同一时刻采集获得；这样采集的图片进行视频处理后效果不好，且现有的摄像机并不能同时进行360度的摄像。

现有技术中提供了一种“图像处理装置和方法以及程序”，见公开号为：102326396A，公开日为：2012.01.18；其可以显示全景图像的图像处理装置和方法以及程序,该全景图像提供更自然的深度感知。全景图像生成部(25-1)通过提取和合成在成像装置(11)移动的状态下相继捕获的多个被捕获图像中的各带区域(TRR)来生成用于右眼的全景图像(PR)。全景图像生成部(25-2)通过提取和合成多个被捕获图像中的各带区域(TRL)来生成用于左眼的全景图像(PL)。根据全景图像(PR)和全景图像(PL),视差控制部(26)检测这些全景图像的支配视差,并且根据检测结果对整个全景图像进行移位以由此调节视差。显示部(27)同时显示经视差调节的全景图像对、由此显示具有更自然深度感知的立体全景图像。该发明主要是根据右眼和左眼的全景图像(PR)和全景图像(PL)检测这些全景图像的支配视差,并且根据检测结果对整个全景图像进行移位以由此调节视差；从而显示具有更自然深度感知的立体全景图像。

发明内容

本发明要解决的技术问题，在于提供一种实现360度全景视频的系统，本发明能任意选取感兴趣区域进行编码、传输；且实现水平面360度全景图像内瞬时切换感兴趣区域，无需摄像头机械操作。

本发明是这样实现的：一种实现360度全景视频的系统，所述系统置于一摄像头模块上实现的，所述摄像头模块包括一机身，所述机身上下左右均设置有一镜头，四个镜头上均设置有一图像传感器；所述四个镜头采集的图像之间存在着一交叠空间，使得四个镜头采集的四副图像覆盖了水平面360度的视角范围；

所述系统包括一感兴趣区域选择模块、一图像拼接处理模块以及一视频会议系统模块；

所述感兴趣区域选择模块：用于在四个镜头覆盖的水平面360度范围内的任意区域划定为感兴趣区域，对划定的感兴趣区域进行图像采集；

所述图像拼接处理模块：用于根据感兴趣区域选择模块的选择采集的图像，判断是否需要进行拼接操作；是，则对相应图像通过图像拼接技术进行拼接处理；否，则直接获取该感兴趣区域选择模块采集的图像，传输给视频会议系统模块进行后续处理；

所述视频会议系统模块为亿联的Yealink视频会议系统，用于接收所述图像拼接处理模块传递的全景图像进行高效编码处理，实现360度全景视频会议效果。

进一步地，所述镜头的可视角度为120度的定焦广角镜头。

进一步地，所述图像拼接模块包括：图像映射参数获取模块和图像融合模块；

所述图像映射参数获取模块，该模块为学习、训练的过程，在机身定型后仅需执行一次；获取一组图像映射关系；

所述图像融合模块，该模块根据获得的一组图像映射参数，直接对图像进行映射变换，实现拼接功能。

进一步地，所述图像映射参数获取模块具体实现方式包括如下步骤：

步骤11、确定要拼接的图像的重叠区域，提取重叠区域的特征点，

步骤12、根据特征点获得一组的临近两幅图像映射关系，并获得融合临近两幅图像；

步骤13、获得两张融合后的图像后，根据两张融合后的图像的重叠区域特征点获得两张融合图像的映射关系；

步骤14、对比临近两幅图像映射关系与两张融合图像的映射关系，判断两者的误差是否小于一设定阈值，是，则输出一组的临近两幅图像映射关系并进行后续操作，否，则返回步骤11。

本发明具有如下优点：1、本发明摄像头输出的4幅图像为同一时刻采集获得，经过拼接模块后输出的是同一时刻的360度全景，是实时图像；与照相机全景拼接图片为非实时图像，照相机采集的用于拼接的多幅图片非同一时刻采集获得；

2、本发明系统适用于实时运动物体，比如运动的人；而照相机全景拼接仅适用于静止物体，比如建筑物；

3、本发明摄像头图像拼接参数取决于摄像头自身参数，仅需出厂设置一次即可；而照相机全景拼接参数是通过分析图片获取，计算量大、不满足实时处理要求；

4、本发明系统获取的是360度全景图像；而对应的照相机专利仅应用于一个方向，并不是360度全景图。

附图说明

图1为本发明中摄像头模块的结构示意图。

图2为本发明系统的结构框图。

图3为本发明经过摄像头模块获取的4幅图像的示意图。

图4为水平面360度全景图像拼接示意图。

图5为图像映射参数获取模块具体实现的流程示意图。

图6为图像融合模块具体实现的流程示意图。

具体实施方式

请参阅图1至图6所示，本发明的一种实现360度全景视频的系统，所述系统置于一摄像头模块上实现的，所述摄像头模块包括一机身1，所述机身1上下左右均设置有一镜头2，四个镜头2上均设置有一图像传感器3；所述四个镜头2采集的图像之间存在着一交叠空间，使得四个镜头采集的四副图像覆盖了水平面360度的视角范围；所述镜头2的可视角度为120度的定焦广角镜头。

所述系统包括一感兴趣区域选择模块、一图像拼接处理模块以及一视频会议系统模块；

所述感兴趣区域选择模块：用于在四个镜头覆盖的水平面360度范围内的任意区域划定为感兴趣区域，对划定的感兴趣区域进行图像采集；

所述图像拼接处理模块：用于根据感兴趣区域选择模块的选择采集的图像，判断是否需要进行拼接操作；是，则对相应图像通过图像拼接技术进行拼接处理；否，则直接获取该感兴趣区域选择模块采集的图像，传输给视频会议系统模块进行后续处理；

所述视频会议系统模块为亿联的Yealink视频会议系统，用于接收所述图像拼接处理模块传递的全景图像进行高效编码处理，实现360度全景视频会议效果。

所述图像拼接模块包括：图像映射参数获取模块和图像融合模块；

所述图像映射参数获取模块，该模块为学习、训练的过程，在机身定型后仅需执行一次；获取一组图像映射关系；

所述图像融合模块，该模块根据获得的一组图像映射参数，直接对图像进行映射变换，实现拼接功能。

所述图像映射参数获取模块具体实现方式包括如下步骤：

步骤11、确定要拼接的图像的重叠区域，提取重叠区域的特征点，该特征点即为两幅图像重叠区域的同一物体的某一个点，比如房屋窗户的某一个窗角点、椅子靠背图案的某一显著点等，需要说明的是特征点是一个像素，不是一个区域。

步骤12、根据特征点获得一组的临近两幅图像映射关系，并获得融合临近两幅图像；

步骤13、获得两张融合后的图像后，根据两张融合后的图像的重叠区域特征点获得两张融合图像的映射关系；

步骤14、对比临近两幅图像映射关系与两张融合图像的映射关系，判断两者的误差是否小于一设定阈值，是，则输出一组的临近两幅图像映射关系并进行后续操作，否，则返回步骤11。

下面结合一具体实施例对本发明作进一步说明：

如图3所示，通过4个镜头获取到的4幅图像，4幅图像中相邻索引的图像存在一定程度的交叠，如各图片中的相邻两区域所示，比如第0幅与第1幅图像的左右两阴影区域为两幅图像的重合区域，第1幅与第2幅的左右两阴影区域，第2幅与第3幅的左右两阴影区域，还有第3幅与第0幅的左右两阴影区域。这4幅图像覆盖了水平面360度的视角范围。

感兴趣区域选择模块可以是(1)0-1-2-3图像覆盖的全景，(2)1-2-3-0图像覆盖的全景，(3)0-1图像覆盖的视角范围，(4)3-0图像覆盖的范围，(5)单独1图像的范围，(5)1-2图像覆盖视角范围的中间部分，等等。该感兴趣区域选择模块可以在0-1-2-3覆盖的水平面360度范围内的任意区域划定为感兴趣区域。将划定的感兴趣区域的数据传给图像拼接模块。

图像拼接技术是将数张有重叠部分的图像拼成一幅大型、无缝、高分辨率图像的技术。本文对图像拼接技术无创新点，仅使用现有的图像拼接技术。本文以0-1-2-3覆盖的水平面360度视角范围为例进行说明，经过图像拼接模块后的0-1-2-3图像拼接结果如图4所示，其中相邻图像的重叠部分进过图像拼接模块后进行了融合，4幅图像经过该模块后组成了一幅无缝、高分辨率、360度全景图像。

由于本文中的摄像头模块位置关系固定，不涉及复杂映射关系(例如多项式映射、分段线性映射或者局部加权平均映射等)，简单的映射关系可如公式1所示进行描述。

$\left[\begin{array}{c}{x}^{\text{'}}\\ y^{\text{'}}\\ 1\end{array}\right]=A\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{c}{a}_{00},a_{01},a_{02}\\ a_{10},a_{11},a_{12}\\ a_{20},a_{21},1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$         (公式1)

其中A为映射矩阵，为待获取的映射参数。公式1中x，y，x’，y’，a₀₀,a₀₁,a₀₂,a₁₀,a₁₁,a₁₂,a₂₀,a₂₁,1这些参数是图像坐标映射关系，比如不同的参数组合可以将圆形映射为椭圆等。

但是受摄像头品质影响，为改善图像拼接效果，还需对摄像头曲率进行二次矫正，由此需要对公式1进行修正，如公式2所示。

$\left[\begin{array}{c}{x}^{\text{'}}\\ y^{\text{'}}\\ 1\end{array}\right]=\mathrm{AL}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{c}{a}_{00},a_{01},a_{02}\\ a_{10},a_{11},a_{12}\\ a_{20},a_{21},1\end{array}\right]\left[\begin{array}{c}{l}_{00},l_{01},l_{02}\\ l_{10},l_{11},l_{12}\\ l_{20},l_{21},1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$             (公式2)

其中A为映射矩阵，为待获取的映射参数；L为曲率矫正矩阵，对固定批次、固定型号摄像头而言，L是固定不变的。公式2中的参数是图像坐标映射关系。

通过所述视频会议系统模块接收所述图像拼接处理模块传递的全景图像进行高效编码处理，实现360度全景视频会议效果。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种实现360度全景视频的系统，其特征在于：所述系统置于一摄像头模块上实现的，所述摄像头模块包括一机身，所述机身上下左右均设置有一镜头，四个镜头上均设置有一图像传感器；所述四个镜头采集的图像之间存在着一交叠空间，使得四个镜头采集的四副图像覆盖了水平面360度的视角范围；

所述系统包括一感兴趣区域选择模块、一图像拼接处理模块以及一视频会议系统模块；

所述感兴趣区域选择模块：用于在四个镜头覆盖的水平面360度范围内的任意区域划定为感兴趣区域，对划定的感兴趣区域进行图像采集；

所述图像拼接处理模块：用于根据感兴趣区域选择模块的选择采集的图像，判断是否需要进行拼接操作；是，则对相应图像通过图像拼接技术进行拼接处理；否，则直接获取该感兴趣区域选择模块采集的图像，传输给视频会议系统模块进行后续处理；

所述视频会议系统模块为亿联的Yealink视频会议系统，用于接收所述图像拼接处理模块传递的全景图像进行高效编码处理，实现360度全景视频会议效果。

2.根据权利要求1所述的一种实现360度全景视频的系统，其特征在于：所述镜头的可视角度为120度的定焦广角镜头。

3.根据权利要求1所述的一种实现360度全景视频的系统，其特征在于：所述图像拼接模块包括：图像映射参数获取模块和图像融合模块；

所述图像映射参数获取模块，该模块为学习、训练的过程，在机身定型后仅需执行一次；获取一组图像映射关系；

所述图像融合模块，该模块根据获得的一组图像映射参数，直接对图像进行映射变换，实现拼接功能。

4.根据权利要求3所述的一种实现360度全景视频的系统，其特征在于：所述图像映射参数获取模块具体实现方式包括如下步骤：

步骤11、确定要拼接的图像的重叠区域，提取重叠区域的特征点，

步骤12、根据特征点获得一组的临近两幅图像映射关系，并获得融合临近两幅图像；

步骤13、获得两张融合后的图像后，根据两张融合后的图像的重叠区域特征点获得两张融合图像的映射关系；

步骤14、对比临近两幅图像映射关系与两张融合图像的映射关系，判断两者的误差是否小于一设定阈值，是，则输出一组的临近两幅图像映射关系并进行后续操作，否，则返回步骤11。