CN105141920B - 一种360度全景视频拼接系统 - Google Patents

Abstract

本发明属于视频处理技术领域，提出了一种360度全景视频拼接系统，包括系统平台设计模块、帧图像获取模块、拼接区域选择模块、拼接预处理模块、图像拼接模块、视频显示模块，其中，系统平台设计模块由六台摄像机共中心设置构成，相邻摄像机之间呈60度夹角；图像获取模块用于获取各摄像机图像数据，并转成待处理的数据格式；拼接区域选择模块用于选定感兴趣区域，进而确定响应拼接图像；拼接预处理模块用于计算各摄像机的图像的拼接参数；图像拼接模块用于对选定摄像机图像进行拼接；视频显示模块将拼接好的全景图像逐帧显示。本发明能够实现需要展示的场景或者监控场所的360度的全景呈现，能够保证监控无死角且具有实时性。

Description

一种360度全景视频拼接系统

技术领域

本发明属于视频处理技术领域，具体为一种360度全景视频拼接系统，应用于旅游景点、酒店会所、房产家居、城市规划建设、博物馆等需要全景展示的特点场合。

背景技术

当今社会激烈的竞争，人们平时都忙于工作，所以假日选择出游地点大部分依靠的是旅游景点的宣传，但传统的图片不能向游客全方位的展示景点，已经不能满足游客的需求，从而无法吸引游客的眼球；汽车展览时间往往是有限的，人们在网上查询时仅仅能获得汽车局部的图片展示，无法全方位的让人提前全面的了解，而要依靠汽车销售现场不停的解说；买房子时，人们除了要到销售中心看小区的整体布局之外，还要去看房子的内部构造，同时还需要销售人员不停的解说，所以如何全方位的展示目标场景是众多技术研究人员的研究热点。

虽然目前已经具有较为成熟的图片拼接技术，但是一张张独立的拼接图片仍然不能够满足人们的需求，相比之下，人们更倾向于汇聚声，乐，图等的高清全景视频。譬如汽车外部的全景展示，可以从每个角度观看汽车外观，可以在网上构建不落幕的车展；汽车内部的全景展示，可以展示汽车内饰和局部细节；可以让人实现轻松看车、买车。同时高清全景视频在监控领域也具有重要作用。众所周知，监控的运用是十分广泛的，例如交通、银行、企业、小区、地铁、火车和商店等。但是目前的监控普遍都存在有死角，也就是说还有的地方根本就是监控不到。如果将高清全景视频的技术运动到监控领域，那么就可以实现监控无死角，提高监控的效率。因此，针对上述需求，本发明提出了一种360度全景视频拼接系统。

发明内容

本发明的目的在于提供种360度全景视频拼接系统，用于对高清视频进行360度全景拼接，并满足视频的实时性跟连贯性。

本发明的技术方案为：

一种360度全景视频拼接系统，包括系统平台设计模块、帧图像获取模块、拼接区域选择模块、拼接预处理模块、图像拼接模块、视频显示模块，其中，系统平台设计模块由六台摄像机共中心设置构成，相邻摄像机之间呈60度夹角；图像获取模块用于获取各摄像机图像数据，并转成待处理的数据格式；拼接区域选择模块用于选定感兴趣区域，进而确定响应拼接图像；拼接预处理模块用于计算各摄像机的图像的拼接参数，包括单应矩阵及颜色变换表；图像拼接模块用于对选定摄像机图像进行拼接；视频显示模块将拼接好的全景图像逐帧显示。

本发明中，所述帧图像获取模块通过各摄像机端口地址获得各摄像机图像数据，并转换为RGB颜色空间图像，存于预分配的内存空间中待用。

所述拼接区域选择模块根据实际应用需要选定感兴趣区域，进而确定响应拼接图像；具体过程为：

步骤1、将标定板放在摄像机的拍摄区域，并确保标定板能完整的出现在某一个摄像机拍摄的图像中；

步骤2、六台摄像机同时拍摄图像，得到六幅图像，检测出包含完整的标定板的图像，并确定该图像所对应摄像机的拍摄区域为感兴趣区域的中心；

步骤3、从而确定步骤2中的摄像机及其相邻的两台摄像机的拍摄区域为感兴趣区域，即它们拍摄得到的图像为拼接图像的来源。

所述帧图像预处理模块在拼接之前选择各摄像机的同一帧图像，对其进行摄像机标定及颜色变换表建立；具体步骤为：

步骤1、将标定板放置于相邻的两台摄像机的重叠区域，分别拍摄带标定板的图像，检测图像的角点，根据图像间角点位置得到整个图像平面之间的对应关系，根据张氏标定法求得单应矩阵H；

步骤2、选定一台摄像机为基准摄像机，以其拍摄图像的颜色为基准颜色，即为居中图，其他图像颜色是基于该居中图进行标定及颜色校正；分别计算此居中图R，G，B三通道的直方图，并对直方图进行归一化处理；

步骤3、用基于标准黑白颜色校正算法计算通道颜色变换表，假如设定标准黑白像素阈值分别为0.01和0.99，在步骤2居中图的任一通道的归一化直方图中，得到像素概率分布函数，若有图像像素值m₁和m₂满足：

y(m₁)<0.01，y(m₂)<0.99

其中，m_i(i＝1,2)的取值范围为0～255，y是像素的概率分布函数，m₁、m₂是满足上式的最大像素值。则认为m₁、m₂是对应标准黑白阈值的图像像素值，可建立图像像素与校正像素对应关系，即居中图此通道的颜色变换表；

同理，计算得到步骤2中居中图其余颜色通道的颜色变换表，进而得到居中图校正颜色的颜色变换表；

步骤4、计算非居中图的各通道的直方图，将该直方图规定化及归一化；采用步骤3计算得到非居中图校正颜色的颜色变换表。

所述图像拼接模块进行拼接的具体步骤如下：

步骤1、几何校正过程，根据上述过程得到的单应矩阵H，将各摄像机拍摄到的图像投影到同一平面，并根据相邻图像的坐标确定重合区域；

步骤2、颜色校正过程，上述过程我们已经得到了各台摄像机对应的颜色变换表，对步骤1中经过几何校正的每一张帧图像，根据其对应的摄像机所对应的颜色变换表，遍历图像中的像素值，对每一个像素点，找到各通道颜色变换表中当前像素值对应的值，用该值代替图像的当前像素值；

步骤3、计算重合区域的流场，采用光流法计算图像重合区域的双向流场，确定相邻图像间重合区域的特征匹配点，然后采用能量函数确定整个图像的最佳匹配点，从而获得重合区域的流场；

步骤4、构建与待融合区域等大的中间视图，中间视图中每一个点的像素值为待融合区域对应点的像素值乘以相应的权重，遍历所有像素点，即完成了重合区域的融合。

本发明提出了一种360度全景视频拼接系统，在需要展示的场景或者监控场所布置好整个系统后，根据从摄像机获取的某一帧图像进行摄像机标定，并依据此帧图像建立颜色变换表，随后对每一帧图像校正后进行拼接，进而实现视频的360度全景拼接，呈现高清全景视频。本发明能够360度的呈现场景，能够保证监控无死角且具有实时性。

附图说明

图1本发明360度全景视频拼接系统的系统框图。

图2本发明系统平台设计模块中摄像机设置方位示意图。

图3本发明摄像机标准黑白像素值确定示意图。

图4本发明摄像机颜色变换表建立流程示意图。

图5本发明颜色校正流程示意图。

图6本发明拼接流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

一种360度全景视频拼接系统主要包括系统平台设计模块，帧图像获取模块，拼接区域选择模块，拼接预处理模块，图像拼接模块，视频显示模块。

系统模块如图1所示：系统平台设计模块是搭建360度全景视频拼接平台，其他模块均基于该平台；图像获取模块是获得不同摄像机拍摄的图像，并转成待处理的数据格式；拼接区域选择模块是检测图像中标定板，并以此为中间像机，对其两边各一台像机为基准像机，进行拼接；拼接预处理模块是获得各像机的拼接传人参数：单应矩阵及颜色变换表；图像拼接模块是对选定像机进行拼接，主要是几何校正，颜色校正对相邻图像间的重合区域计算流场，及图像融合；视频显示模块主要是将拼接好的全景图像逐帧显示出来。

本发明的技术方案由以下几个步骤组成：

1.系统平台设计模块

本发明中系统平台设计模块是采用六台数字摄像机固定在圆盘上，圆盘固定在可推动的支撑装置，并可以上下滑动设置圆盘的高度；六台摄像机沿着圆盘中心共中心放置，如图2所示，相邻摄像机之间呈60度夹角，这样能保证相机相对位置稳定，又能确保图像有一定的重合区域，同时又能够获取场所的全面的信息。本实施例中采用的摄像机可以获取达200W像素的图像信息，从而满足高清视频的基本条件。

2.帧图像获取模块

本发明中用6台海康网络摄像机获取图像，每台摄像机有不同的端口地址，通过端口地址获得各摄像机图像数据，该数据是YUV结构的图像，需对其进行转换成RGB颜色空间图像，然后放在事先分配好的内存空间，方便使用。

3.拼接区域选择模块

拼接区域选择模块是根据实际应用需要选定感兴趣区域，进而确定响应拼接图像；具体过程为：

步骤1、将标定板放在摄像机的拍摄区域，并确保标定板能完整的出现在某一个摄像机拍摄的图像中；

步骤2、六台摄像机同时拍摄图像，得到六幅图像，检测出包含完整的标定板的图像，并确定该图像所对应摄像机的拍摄区域为感兴趣区域的中心；

步骤3、从而确定步骤2中的摄像机及其相邻的两台摄像机的拍摄区域为感兴趣区域，即它们拍摄得到的图像为拼接图像的来源。

4.帧图像预处理模块

预处理模块是指在拼接之前选择不同摄像机的同一帧图像，对其进行摄像机标定及颜色变换表建立。由于摄像机是固定在圆盘上，且拍摄场景是不会变，所以计算得到的参数可以运用到后面的拼接视频；倘若移动系统平台或者改变场景，需要对摄像机重新标定。

具体过程为：

步骤1、将标定板放置于相邻的两台摄像机的重叠区域，分别拍摄带标定板的图像，检测图像的角点，根据图像间角点位置得到整个图像平面之间的对应关系，根据张氏标定法求得单应矩阵H；

步骤2、选定一台摄像机为基准摄像机，以其拍摄图像的颜色为基准颜色，即为居中图，其他图像颜色是基于该居中图进行标定及颜色校正；分别计算此居中图R，G，B三通道的直方图，并对直方图进行归一化处理；

步骤3、用基于标准黑白颜色校正算法计算通道颜色变换表，假如设定标准黑白像素阈值分别为0.01和0.99，在步骤2居中图的任一通道的归一化直方图中，得到像素概率分布函数，如图3所示，若有图像像素值m₁和m₂满足：

y(m₁)<0.01 (1)

y(m₂)<0.99 (2)

其中，m_i(i＝1,2)的取值范围为0～255，y是像素的概率分布函数，m₁、m₂是满足上式的最大像素值。则认为m₁、m₂是对应标准黑白阈值的图像像素值，可建立图像像素与校正像素对应关系，即居中图此通道的颜色变换表；如图4所示，其中灰度级(m₁，m₂)之间为直线，灰度级(0，m₁)和(m₂，1)之间我们采用的是幂函数；

同理，计算得到步骤2中居中图其余颜色通道的颜色变换表，进而得到居中图校正颜色的颜色变换表；

步骤4、计算非居中图的各通道的直方图，将该直方图规定化及归一化；采用步骤3计算得到非居中图校正颜色的颜色变换表。

5.图像拼接模块

全景视频拼接的关键部分就是选定摄像机同一帧图像的拼接，具体步骤如下：

步骤1、几何校正过程，根据上述过程得到的单应矩阵H，将各摄像机拍摄到的图像投影到同一平面，并根据相邻图像的坐标确定重合区域；

步骤2、颜色校正过程，上述过程我们已经得到了各台摄像机对应的颜色变换表，对步骤1中经过几何校正的每一张帧图像，根据其对应的摄像机所对应的颜色变换表，遍历图像中的像素值，对每一个像素点，找到各通道颜色变换表中当前像素值对应的值，用该值代替图像的当前像素值；

步骤3、计算重合区域的流场，采用光流法计算图像重合区域的双向流场，确定相邻图像间重合区域的特征匹配点，然后采用能量函数确定整个图像的最佳匹配点，从而获得重合区域的流场；

步骤4、构建与待融合区域等大的中间视图，中间视图中每一个点的像素值为待融合区域对应点的像素值乘以相应的权重，遍历所有像素点，即完成了重合区域的融合。

6.全景视频显示模块

视频显示模块将三台选定的摄像机的每帧图像进行全景拼接，获得连续的全景图像，那么将图像逐帧显示即可得到高清全景视频。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (4)

1.一种360度全景视频拼接系统，包括系统平台设计模块、帧图像获取模块、拼接区域选择模块、拼接预处理模块、图像拼接模块、视频显示模块，其中，系统平台设计模块由六台摄像机共中心设置构成，相邻摄像机之间呈60度夹角；图像获取模块用于获取各摄像机图像数据，并转成待处理的数据格式；拼接区域选择模块用于选定感兴趣区域，进而确定响应拼接图像；拼接预处理模块用于计算各摄像机的图像的拼接参数，包括单应矩阵及颜色变换表；图像拼接模块用于对选定摄像机图像进行拼接；视频显示模块将拼接好的全景图像逐帧显示；所述拼接预处理模块在拼接之前选择各摄像机的同一帧图像，对其进行摄像机标定及颜色变换表建立；具体步骤为：

步骤1、将标定板放置于相邻的两台摄像机的重叠区域，分别拍摄带标定板的图像，检测图像的角点，根据图像间角点位置得到整个图像平面之间的对应关系，根据张氏标定法求得单应矩阵H；

步骤2、选定一台摄像机为基准摄像机，以其拍摄图像的颜色为基准颜色，即为居中图，其他图像颜色是基于该居中图进行标定及颜色校正；分别计算此居中图R，G，B三通道的直方图，并对直方图进行归一化处理；

步骤3、计算通道颜色变换表，采用基于标准黑白颜色校正算法，设定标准黑白像素阈值，对图像的像素直方图进行统计，并根据阈值得到图像对应的黑白像素值，从而建立图像像素值与标准像素值对应关系，即通道颜色变换表；

计算得到步骤2中居中图三颜色通道的颜色变换表，进而得到居中图校正颜色的颜色变换表；

步骤4、计算非居中图的各通道的直方图，将该直方图规定化及归一化；采用步骤3计算得到非居中图校正颜色的颜色变换表。

2.按权利要求1所述360度全景视频拼接系统，其特征在于，所述帧图像获取模块通过各摄像机端口地址获得各摄像机图像数据，并转换为RGB颜色空间图像，存于预分配的内存空间中待用。

3.按权利要求1所述360度全景视频拼接系统，其特征在于，所述拼接区域选择模块选定感兴趣区域，进而确定响应拼接图像；具体过程为：

步骤1、将标定板放在摄像机的拍摄区域，并确保标定板能完整的出现在某一个摄像机拍摄的图像中；

步骤2、六台摄像机同时拍摄图像，得到六幅图像，检测出包含完整的标定板的图像，并确定该图像所对应摄像机的拍摄区域为感兴趣区域的中心；

步骤3、从而确定步骤2中的摄像机及其相邻的两台摄像机的拍摄区域为感兴趣区域。

4.按权利要求1所述360度全景视频拼接系统，其特征在于，所述图像拼接模块进行拼接的具体步骤如下：

步骤1、几何校正过程，根据上述过程得到的单应矩阵H，将各摄像机拍摄到的图像投影到同一平面，并根据相邻图像的坐标确定重合区域；

步骤2、颜色校正过程，上述过程我们已经得到了各台摄像机对应的颜色变换表，对步骤1中经过几何校正的每一张帧图像，根据其对应的摄像机所对应的颜色变换表，遍历图像中的像素值，对每一个像素点，找到各通道颜色变换表中当前像素值对应的值，用该值代替图像的当前像素值；

步骤3、计算重合区域的流场，采用光流法计算图像重合区域的双向流场，确定相邻图像间重合区域的特征匹配点，然后采用能量函数确定整个图像的最佳匹配点，从而获得重合区域的流场；

步骤4、构建与待融合区域等大的中间视图，中间视图中每一个点的像素值为待融合区域对应点的像素值乘以相应的权重，遍历所有像素点，即完成了重合区域的融合。