CN102013110B

CN102013110B - 三维全景图像生成方法及系统

Info

Publication number: CN102013110B
Application number: CN201010553951.3A
Authority: CN
Inventors: 李建成
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-11-23
Filing date: 2010-11-23
Publication date: 2013-01-02
Anticipated expiration: 2030-11-23
Also published as: CN102013110A

Abstract

一种三维全景图像的生成方法，包括以下步骤：使用广角摄像机相对于云台的水平位置分别成仰视角度和俯视角度对全景的多个局部图像进行拍摄；将拍摄到的各局部图像合成平面复合图像；将所述平面复合图像转换为三维球状图像；对所述三维球状图像进行三维导览。该方法能够增加局部图像的重叠区域，使得局部图像合成为平面复合图像时，图像效果更圆滑，所得到的三维全景图像更接近真实场景。还提供一种三维全景图像的生成系统。

Description

三维全景图像生成方法及系统

【技术领域】

本发明涉及图像采集和处理技术，尤其涉及一种三维全景图像生成方法及系统。

【背景技术】

全景（Panorama）是虚拟实景的一种表现形式，会让使用者有进入图像中的场景的感觉。全景图像是指一张包含有大于人眼正常视角或双眼余光视角乃至360度完整场景范围的图像。

相比较一般的效果图和三维动画，全景效果图具有如下优点：1、避免了一般平面效果图视角单一，不能带来全方位感受的缺憾，播放时画面效果与一般效果图是完全一样的；2、互动性强，可以由使用者操纵从任意一个角度互动性地观察场景，犹如身临其境，最真实的感受最终设计的结果，这一点也不同于缺少互动性的三维动画。

全景图具有广阔的应用领域，如旅游景点、酒店宾馆、建筑房地产、装修展示等。三维全景图像的生成是将场景拍摄为多张照片，然后通过相关软件将多张照片拼接成连贯的图片，对拼接成的图片可以进行全景浏览实现全景图像效果，因此三维全景图像的生成涉及图像校正、图像投影、图像特征提取及图像拼接等技术。传统的三维全景图像生成方法投影方式单一，在对图像对准时，往往采用基于相位的对准方式，传统的三维全景图像生成方法所生成的三维全景图像往往不够圆滑，不能更接近于真实场景。

【发明内容】

基于此，有必要提供一种能使图像效果更圆滑更能接近真实场景的三维全景图像生成方法。

一种三维全景图像生成方法，包括以下步骤：使用广角摄像机相对于云台的水平位置分别成仰视角度和俯视角度对全景的多个局部图像进行拍摄；将拍摄得到的各局部图像合成平面复合图像；将所述平面复合图像转换为三维球状图像；所述拍摄全景的多个局部图像的步骤为：使广角摄像机相对于云台的水平位置成仰视角度和俯视角度，每隔90度旋转广角摄像机的镜头，使广角摄像机在仰视角度拍摄全景的四幅局部图像，在俯视角度拍摄全景的四幅局部图像；所述仰视角度和俯视角度都为30度；所述将各局部图像合成平面复合图像的步骤为：对所述局部图像进行矫正，包括对所述局部图像进行投影处理；根据拍摄顺序生成矫正后的图片的图片序列，采用块匹配方法将图片序列对准；拼接对准后的图片序列。

优选的，所述对局部图像进行投影处理的的步骤为对局部图像中的顶部图片和底部图片进行展开，具体是：标定顶部图片和底部图片的中心点；以原图的图片高度为展开半径，根据所述展开半径计算矫正后的图片中的像素点在原图中的坐标；判断所述坐标是否在原图的长宽内，若是，则取对应所述坐标的原图中的像素点填充矫正后的图片，否则，将矫正后的图片的像素点置空；所述原图为局部图像。

优选的，所述根据拍摄顺序生成图片序列，采用块匹配方法将图片序列对准的步骤为：按拍摄顺序生成图片序列；对图片序列中的每一张图片，执行：截取相邻两张图片的预设大小的边缘区域；将图片灰度化；获取相邻两张图片中的所述边缘区域的相似度，截去所述相似度在阈值内的区域，即为图片重叠区域。

优选的，所述拼接对准后的图片序列的步骤为：获取所述图片重叠区域的水平宽度和高度；剪切非重叠区域的图片；将所述非重叠区域的图片合成；计算相邻两张图片在所述图片重叠区域中的权重；根据所述权重合成重叠区域。

优选的，所述方法还包括对所述三维球状图像进行导览的步骤，具体为：读取配置文件；加载所述局部图像和平面复合图像；分析地图坐标；匹配所述三维球状图像与地图坐标；载入3D处理库；载入事件处理机制；启动时钟进行全景浏览。

此外，还有必要提供一种能使图像效果更圆滑更能接近真实场景的三维全景图像生成系统。

一种三维全景图像生成系统，包括：

广角摄像机，相对于云台的水平位置分别成仰视角度和俯视角度对全景的多个局部图像进行拍摄；

图像合成模块，将拍摄得到的各局部图像合成平面复合图像；

图像转换模块，将所述平面复合图像转换为三维球状图像；所述广角摄像机相对于云台的水平位置成仰视角度和俯视角度，每隔90度旋转广角摄像机的镜头，使广角摄像机在仰视角度拍摄全景的四幅局部图像，在俯视角度拍摄全景的四幅局部图像；所述仰视角度和俯视角度都为30度；所述图像合成模块包括：

图像矫正模块，对所述局部图像进行矫正；

所述图像校正模块包括：图像投影模块，对所述局部图像进行投影处理；

图像对准模块，根据拍摄顺序生成矫正后的图片的图片序列，采用块匹配方法将图片序列对准；

图像拼接模块，拼接对准后的图片序列。

优选的，所述图像投影模块用于对局部图像中的顶部图片和底部图片进行展开，具体是标定顶部图片和底部图片的中心点，以原图的图片高度为展开半径，根据所述展开半径计算矫正后的图片中的像素点在原图中的坐标，判断所述原图中的像素点坐标是否在原图的长宽内，若是，则取对应所述坐标的原图中的像素点填充矫正后的图片，否则，将矫正后的图片的像素点置空；所述原图为局部图像。

优选的，所述图像对准模块用于按拍摄顺序生成图片序列，对图片序列中的每一张图片，执行：截取相邻两张图片的预设大小的边缘区域，将图片灰度化，获取相邻两张图片中的所述边缘区域的相似度，截去所述相似度在阈值内的区域，即为图片重叠区域。

优选的，所述图像拼接模块用于获取所述图片重叠区域的水平宽度和高度，剪切非重叠区域的图片，将所述非重叠区域的图片合成，计算相邻两张图片在所述图片重叠区域中的权重，根据所述权重合成重叠区域。

优选的，还包括对所述三维球状图像进行导览的三维导览模块，所述三维导览模块用于读取配置文件，加载所述局部图像和平面复合图像，分析地图坐标，匹配所述三维球状图像与地图坐标，载入3D处理库，及事件处理机制，启动时钟进行全景浏览。

上述三维全景图像生成方法及系统，使用广角摄像机相对于云台的水平位置分别成仰视角度和俯视角度对全景的多个局部图像进行拍摄；将拍摄得到的各局部图像合成平面复合图像；将所述平面复合图像转换为三维球状图像。采用广角摄像机相对于云台的水平位置分别成仰视角度和俯视角度对全景的多个局部图像进行拍摄，在实现三维全景图像导览时，能够实现全角度的全景图像导览，另外，这样拍摄能够增加局部图像的重叠区域，使得局部图像合成为平面复合图像时，图像效果更圆滑，所得到的三维全景图像更接近真实场景。

【附图说明】

图1为一个实施例中三维全景图像生成方法的流程图；

图2为图1中合成平面复合图像的方法流程图；

图3为图2中对局部图像进行矫正的方法流程图；

图4为图2中投影处理的方法流程图；

图5为图2中进行图片对准的方法流程图；

图6为图2中拼接对准后的图片序列的方法流程图；

图7为图1中对三维球状图像进行导览的方法流程图；

图8为一个实施例中三维全景图像生成系统的结构示意图；

图9为图8中图像合成模块的结构示意图；

图10A~10D示出了一个实施例中仰视角度拍摄的局部图像的效果图；

图11A~11D示出了一个实施例中俯视角度拍摄的局部图像的效果图；

图12示出了一个实施例中合成的平面复合图像的效果图。

【具体实施方式】

图1示出了一个实施例中三维全景图像生成方法的流程，该方法流程包括以下步骤：

步骤S10中，拍摄全景的多个局部图像。该实施例中，使广角摄像机相对于云台的水平位置分别成仰视角度和俯视角度进行拍摄，每隔90度旋转广角摄像机的镜头，使广角摄像机在仰视角度拍摄全景的四幅局部图像（如图10A~10D所示），在俯视角度拍摄全景的四幅局部图像（如图11A~11D所示），一共八幅图像组成全景。这样拍摄能够增加局部图像的重叠区域，使得局部图像合成为平面复合图像时，图像效果更圆滑，所得到的三维全景图像更接近真实场景。

对于室内的场景，也可每隔120拍摄一张局部图像，一共拍摄六张图像。

在一个优选的实施例中，仰视角度和俯视角度都为30度。

步骤S20中，将各局部图像合成平面复合图像。如图2所示，在一个实施例中，步骤S20的具体过程为：

在步骤S210中，对局部图像进行矫正。由于全景图制作采用广角摄像机，例如鱼眼相机，其拍摄的图像是扭曲的，为了还原图像原有的纹理，需要对图像进行矫正，将广角图像还原为正常视角的图像。如图3所示，在一个实施例中，步骤S210的具体过程为：

步骤S211，标定局部图像的中心点。

步骤S212，计算得到局部图像的成像半径。

步骤S213，计算矫正后的图片中的像素点坐标在原图中的坐标值。该实施例中，获取计算得到的局部图像的成像半径，该成像半径为图像对角线的一半。步骤S213的具体过程为：根据矫正球型模型，纬度不变（即图像的像素点高度的坐标值不变），维度（即宽度的坐标值）为：xk=x0+xh*dx/r，其中，（x0，y0）是原图的中心坐标，xh=u-x0，dx=sqrt(r*r-yi*yi)，yi=y0-v，（u，v）为矫正后的图片的像素点坐标，r为局部图像的成像半径。

步骤S214，将相邻像素点进行加权得到矫正的图像像素点。该实施例中，除了边缘的像素点外，其他每个像素点可有8个相邻的像素点，矫正的图像的像素点则为其相邻像素点进行加权后的值。

在步骤S220中，对局部图像进行投影处理。对于仰视角度拍摄的顶部图片和成俯视角度的底部图片，需要将顶部图片和底部图片展开，做投影处理。如图4所示，在一个实施例中，步骤S220的具体过程为：

步骤S221，标定顶部图片和底部图片的中心点。

步骤S222，以矫正图片的图片高度为展开半径，根据所述展开半径计算矫正后的图片中的像素点在原图中的坐标。具体的，是以顶部图片和底部图片矫正后的图片的图片高度为展开半径，根据该展开半径计算矫正后的图片中的像素点在原图中的坐标。

该实施例中，以原图的中心点（W/2,H/2），按半径从0到W/2顺时针360度展开，半径的长度就是矫正后图片高度坐标，矫正图片的坐标则为原图中坐标点和中心点的夹角/360*矫正后图片的宽度，即：

Y2=sqrt((X1-W/2)^2+(Y1-H/2)^2)

X2=arctg(Y1-H/2)^2/(X1-W/2)^2)/360*Width

其中，（X2，Y2）表示矫正图片的坐标，（X1,Y1）表示原图的坐标，W表示图片的宽度，H表示图片的高度，Width表示矫正图片的宽度。

步骤S223，判断所述坐标是否在原图的长宽内，若是，则进入步骤S224，否则进入步骤S225。

步骤S224，取对应所述坐标的原图中的像素点填充矫正后的图片。

步骤S225，将矫正后的图片的像素点置空。

在步骤S230中，根据拍摄顺序生成图片序列，采用块匹配方法将图片序列对准。将拍摄的多张图片合成一张平面复合图像时，需要找到相邻两张图片的重叠区域，因此对生成的图片序列，采用块匹配方法将图片序列对准。如图5所示，在一个实施例中，步骤S230的具体过程为;

步骤S231，按拍摄顺序生成图片序列。如上所述，拍摄时，在摄像机与云台的水平位置成仰视角度拍摄图片，将摄像机的镜头进行旋转，每隔90度拍摄一次，旋转360度后一共拍摄到四张局部图像，然后使摄像机与云台的水平位置成俯视角度拍摄图片，同样的，将摄像机的镜头进行旋转，每隔90度拍摄一次，旋转360度后一共拍摄到四张局部图像。根据拍摄顺序将拍摄到的八张图片生成图片序列。

对图片序列中的每一张图片，执行以下步骤：

步骤S232，截取相邻两张图片的预设大小的边缘区域。

步骤S233，将图片灰度化。

步骤S234，获取相邻两张图片中的所述边缘区域的相似度，截取所述相似度在阈值内的区域，即为图片重叠区域。

在步骤S240中，拼接对准后的图片序列。图像对准后，即可将相邻两张图片中的一张图片的重叠区域去掉后合并在一起。如图6所示，在一个实施例中，步骤S240的具体过程为：

步骤S241，获取图片重叠区域的水平宽度和高度。

步骤S242，剪切非重叠区域的图片。

步骤S243，将非重叠区域的图片合成。

步骤S244，计算相邻两张图片在图片重叠区域中的权重。具体的，是根据相邻两张图片的图片重叠区域的宽度计算这两张图片在图片重叠区域中的权重。例如，某相邻两张图片的图片重叠区域的宽度是100个像素，计算前一张图片的图片重叠区域的第10个像素点的权重为0.1，后一张图片的权重则为0.9，依此类推。

步骤S245，根据权重合成重叠区域。对于相邻两张图片，采用如下公式进行计算：C12=C1*x/W+C2*（W-x）/W，其中，C1是相邻两张图片中前一张图片的像素值，C2是相邻两张图片中后一张图片的像素值，x是需要计算的像素点在图片重叠区域中的坐标，C12是计算得到重叠区域的像素点值，W是重叠区域的宽度。

如图1所示，步骤S30中，将平面复合图像转换为三维球状图像。在一个实施例中，采用全景浏览器，使用等距圆柱反形变进行三维球状图片的转换。三维球状图像即为360度的全景图像。

在一个实施例中，上述方法还包括对三维球状图像进行三维导览的步骤。如图7所示，在一个实施例中，对三维球状图像进行三维导览的具体过程为：

在步骤S410中，读取配置文件。配置文件中包含了启动全景浏览器的浏览器初始化状态信息。

在步骤S420中，加载图像。即加载上述平面复合图像。

在步骤S430中，分析地图坐标。该实施例中，预先对全景的地图需指定多个坐标。

在步骤S440中，匹配三维球状图像与地图坐标。全景浏览器根据预先指定的地图坐标调整虚拟摄像机，从而匹配三维球状图像和地图坐标。

在步骤S450中，载入3D处理库及事件处理机制。3D处理库中包含有实现导览所需的纹理，虚拟摄像机以及3D球体场景等。

在步骤S460中，启动时钟。

在步骤S470中，启动全景浏览。全景浏览器根据设置的时钟以一定的速度进行全景浏览，例如以一定的速度从左浏览到右。

图8示出了一个实施例中的三维全景图像生成系统，该系统包括广角摄像机10、图像合成模块20、图像转换模块30和三维导览模块40，其中：

广角摄像机10用于相对于云台的水平位置分别成仰视角度和俯视角度对全景的多个局部图像进行拍摄；图像合成模块20用于将拍摄到的各局部图像合成平面复合图像；图像转换模块30用于将所述平面符合图像转换为三维球状图像；三维导览模块40用于对所述三维球状图像进行三维导览。

在一个实施例中，广角摄像机10相对于云台的水平位置成仰视角度和俯视角度，每隔90度旋转广角摄像机的镜头，使广角摄像机在仰视角度拍摄全景的四幅局部图像，在俯视角度拍摄全景的四幅局部图像，一共八张局部图像。在一个优选的实施例中，仰视角度和俯视角度都为30度。

如图9所示，在一个实施例中，图像合成模块20包括图像矫正模块210、图像投影模块220、图像对准模块230和图像拼接模块240。其中：

图像矫正模块210用于对所述部图像进行矫正。该实施例中，图像矫正模块210标定局部图像的中心点，计算得到所述局部图像的成像半径，计算矫正后的图片中的像素点坐标在原图中的坐标值，将相邻像素点就行加权得到矫正的图像像素点。

图像投影模块220用于对所述局部图像进行投影处理。该实施例中，图像投影模块220对顶部图片和底部图片进行展开，具体是标定顶部图片和底部图片的中心点，以矫正图片的图片高度为展开半径，根据所述展开半径计算矫正后的图片中的像素点在原图中的坐标，判断所述原图中的像素点坐标是否在原图的长宽内，若是，则取对应所述坐标的原图中的像素点填充矫正后的图片，否则，将矫正后的图片的像素点置空。

图像对准模块230用于根据拍摄顺序生成图片序列，采用块匹配方法将图片序列对准。该实施例中，图像对准模块230按拍摄顺序生成图片序列，对图片序列中的每一张图片，截取相邻两张图片的预设大小的边缘区域，将图片灰度化，获取相邻两张图片中的所述边缘区域的相似度，截去所述相似度在阈值内的区域，即为图片重叠区域。

图像拼接模块240用于拼接对准后的图片序列。该实施例中，图像拼接模块240获取图片重叠区域的水平宽度和高度，剪切非重叠区域的图片，将所述非重叠区域的图片合成，计算相邻两张图片在重叠区域中的权重，根据所述权重合成重叠区域。

在一个实施例中，图像导览模块40用于读取配置文件，加载所述局部图像和平面复合图像，分析地图坐标，匹配三维球状图像与地图坐标，载入3D处理库及事件处理机制，启动时钟进行全景浏览。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种三维全景图像生成方法，包括以下步骤：

使用广角摄像机相对于云台的水平位置分别成仰视角度和俯视角度对全景的多个局部图像进行拍摄；

将拍摄得到的各局部图像合成平面复合图像；

将所述平面复合图像转换为三维球状图像；

所述拍摄全景的多个局部图像的步骤为：

使广角摄像机相对于云台的水平位置成仰视角度和俯视角度，每隔90度旋转广角摄像机的镜头，使广角摄像机在仰视角度拍摄全景的四幅局部图像，在俯视角度拍摄全景的四幅局部图像；

所述仰视角度和俯视角度都为30度；所述将各局部图像合成平面复合图像的步骤为：

对所述局部图像进行矫正，包括对所述局部图像进行投影处理；

根据拍摄顺序生成矫正后的图片的图片序列，采用块匹配方法将图片序列对准；

拼接对准后的图片序列。

2.根据权利要求1所述的三维全景图像生成方法，其特征在于，所述对局部图像进行投影处理的的步骤为对局部图像中的顶部图片和底部图片进行展开，具体是：

标定顶部图片和底部图片的中心点；

以原图的图片高度为展开半径，根据所述展开半径计算矫正后的图片中的像素点在原图中的坐标；

判断所述坐标是否在原图的长宽内，若是，则取对应所述坐标的原图中的像素点填充矫正后的图片，否则，将矫正后的图片的像素点置空；所述原图为局部图像。

3.根据权利要求1所述的三维全景图像生成方法，其特征在于，所述根据拍摄顺序生成图片序列，采用块匹配方法将图片序列对准的步骤为：

按拍摄顺序生成图片序列；

对图片序列中的每一张图片，执行：

截取相邻两张图片的预设大小的边缘区域；

将图片灰度化；

获取相邻两张图片中的所述边缘区域的相似度，截去所述相似度在阈值内的区域，即为图片重叠区域。

4.根据权利要求3所述的三维全景图像生成方法，其特征在于，所述拼接对准后的图片序列的步骤为：

获取所述图片重叠区域的水平宽度和高度；

剪切非重叠区域的图片；

将所述非重叠区域的图片合成；

计算相邻两张图片在所述图片重叠区域中的权重；

根据所述权重合成重叠区域。

5.根据权利要求1所述的三维全景图像生成方法，其特征在于，所述方法还包括对所述三维球状图像进行导览的步骤，具体为：

读取配置文件；

加载所述局部图像和平面复合图像；

分析地图坐标；

匹配所述三维球状图像与地图坐标；

载入3D处理库；

载入事件处理机制；

启动时钟；

进行全景浏览。

6.一种三维全景图像生成系统，其特征在于，包括：

图像转换模块，将所述平面复合图像转换为三维球状图像；

所述广角摄像机相对于云台的水平位置成仰视角度和俯视角度，每隔90度旋转广角摄像机的镜头，使广角摄像机在仰视角度拍摄全景的四幅局部图像，在俯视角度拍摄全景的四幅局部图像；

所述仰视角度和俯视角度都为30度；所述图像合成模块包括：

图像矫正模块，对所述局部图像进行矫正；

所述图像矫正模块包括：图像投影模块，对所述局部图像进行投影处理；

图像拼接模块，拼接对准后的图片序列。

7.根据权利要求6所述的三维全景图像生成系统，其特征在于，所述图像投影模块用于对局部图像中的顶部图片和底部图片进行展开，具体是标定顶部图片和底部图片的中心点，以原图的图片高度为展开半径，根据所述展开半径计算矫正后的图片中的像素点在原图中的坐标，判断所述原图中的像素点坐标是否在原图的长宽内，若是，则取对应所述坐标的原图中的像素点填充矫正后的图片，否则，将矫正后的图片的像素点置空；所述原图为局部图像。

8.根据权利要求6所述的三维全景图像生成系统，其特征在于，所述图像对准模块用于按拍摄顺序生成图片序列，对图片序列中的每一张图片，执行：截取相邻两张图片的预设大小的边缘区域，将图片灰度化，获取相邻两张图片中的所述边缘区域的相似度，截去所述相似度在阈值内的区域，即为图片重叠区域。

9.根据权利要求8所述的三维全景图像生成系统，其特征在于，所述图像拼接模块用于获取所述图片重叠区域的水平宽度和高度，剪切非重叠区域的图片，将所述非重叠区域的图片合成，计算相邻两张图片在所述图片重叠区域中的权重，根据所述权重合成重叠区域。

10.根据权利要求6所述的三维全景图像生成系统，其特征在于，还包括对所述三维球状图像进行导览的三维导览模块，所述三维导览模块用于读取配置文件，加载所述局部图像和平面复合图像，分析地图坐标，匹配所述三维球状图像与地图坐标，载入3D处理库，及事件处理机制，启动时钟进行全景浏览。