CN110248079A - 一种全景图像生成系统及全景图像生成方法 - Google Patents

Abstract

本发明公开一种全景图像生成系统，包括镜头模组、旋转模块、测光模块和图像采集模块；测光模块用于在自动曝光模式下获取镜头的曝光参数并融合各组曝光参数得到融合曝光参数；图像采集模块用于获取不同角度区域图像，图像采集模块将多张区域图像发送给图像合成模块合成为全景图像。本发明中采用镜头模组作为图像采集终端，并以此为基础搭建整体系统，进行多点拍照，从而突破分辨率限制，实现全景图像的拍摄，由于拼接合成为全景图像的多张区域图像为同一镜头捕捉，各区域图像之间一致性较高，同时通过合理设置镜头节点与旋转模块旋转中心的距离，减小图像视差，全景图像合成效果好。

Description

一种全景图像生成系统及全景图像生成方法

技术领域

本发明涉及摄像技术领域，尤其是涉及全景图像拍摄和生成的技术领域。

背景技术

全景图通过广角的表现手段以及绘画、相片、视频、三维模型等形式，尽可能多表现出周围的环境。360全景，即通过对专业相机捕捉整个场景的图像信息或者使用建模软件渲染过后的图片，使用软件进行图片拼合，并用专门的播放器进行播放，即将平面照片或者计算机建模图片变为360度全观，用于虚拟现实浏览，把二维的平面图模拟成真实的三维空间，呈现给观赏者。全景图像记录360度空间的信息，全景图像展示时可通过手拖动图像画面进行浏览，360度全记录的特性以及独特的观看体验，使得全景图像在多个领域，如酒店展示、房产展示、汽车展示等得到广泛应用，观看者足不出户即可了解到酒店等的实际情况，全景展示极大地方便了人们的生活。

目前行业内全景图像的拍摄方法主要有两种，一种是将单反架设在云台上，并通过专业摄影师手动转动云台拍摄多个角度的图像，后期在PC端通过专业的拼接软件处理得到全景图像，该种方式拍摄的全景图像画质高，但拍摄过程以及后期拼接过程都较为繁琐，拍摄效率低。另一种方式是通过全景一体机拍摄，拍摄效率高，对于多目的一体机，拍摄画质较高，但价格昂贵，基本都在万元以上，对于双目一体机，拍摄效率高，价格低，但是双目一体机都采用鱼眼镜头，拼接时会使用画质较差、噪点较多的鱼眼图像边缘区域，因此，最终拼接得到的全景图像画质不高。

而随着5G时代的到来，对全景图像内容的需求必将呈现井喷式增长，如果不能尽快的降低设备成本，提高成像质量，会严重影响全景图像的应用和推广速度，错过最佳发展机遇。

发明内容

发明目的：本发明目的在于针对现有技术的不足，提供一种全景图像生成系统，采用镜头模组作为拍摄终端，实现全景图像低成本高质量的生成；

本发明的另一目的在于提供一种利用该系统进行全景图像生成的方法。

技术方案：本发明所述全景图像生成系统，包括镜头模组、旋转模块、测光模块和图像采集模块；

所述镜头模组与旋转模块连接，镜头模组在所述旋转模块的带动下沿该旋转模块的旋转中心旋转，且镜头模组的镜头节点距旋转模块的旋转中心小于或等于3cm；

测光模块分别与所述旋转模块、镜头模组通讯连接，旋转模块按照预设的测光旋转角度和测光旋转次数带动镜头模组转动至多个角度位置，测光模块获取镜头模组对应角度位置的曝光参数，并采用融合算法融合各曝光参数，融合的曝光参数作为镜头模组的固定拍摄参数；

图像采集模块分别与所述旋转模块、镜头模组通讯连接，旋转模块按照预设的图像采集旋转角度和图像采集旋转次数带动镜头模组转动至多个角度位置，图像采集模块获取镜头模组以固定拍摄参数拍摄的当前视场的区域图像，且相邻拍摄角度拍摄的两张区域图像内含有重合区域，图像采集模块将多张区域图像发送给图像合成模块合成为全景图像。

本发明进一步优选地技术方案为，还包括姿态传感器和姿态矫正模块，姿态传感器用于获取镜头模组在不同角度拍摄图像时的姿态角数据，并将该数据发送至姿态矫正模块，姿态矫正模块根据姿态角数据将全景图像矫正至水平位置。

优选地，还包括位置传感器，用于检测镜头模组的旋转角度数据，并将该数据发送至旋转模块，旋转模块比较该旋转角度数据与预定角度数据，若该旋转角度数据小于预定角度，则带动镜头模组转动直到达到预定角度。

优选地，还包括存储模块，所述存储模块用于存储处理程序以及各种传感器的数据。

优选地，所述图像合成模块为外置的处理终端，所述图像采集模块通过有线或无线连接方式将多张区域图像发送至该外置的处理终端，由外置的处理终端进行图像合成。

本发明上述的系统进行全景图像生成方法，包括如下步骤：

(1)连接镜头模组与旋转模块，使镜头模组的镜头节点距旋转模块的旋转中心小于或等于3cm；

(2)测光：设定旋转模块在测光模式下的旋转角度和旋转次数参数，旋转模块按照设定参数转动，带动镜头模组旋转至不同角度位置，镜头模组的镜头在自动曝光模式下获取当前视场的曝光参数；旋转模块带动镜头模组转动至最后一个测光角度后，测光模块将镜头模组获取的多组曝光参数融合得到融合曝光参数，并将镜头模组的镜头调节至手动曝光模式，并锁定在融合曝光参数；

(3)拍摄：设定旋转模块在拍摄模式下的旋转角度和旋转次数参数，保证镜头模组在每个拍摄角度的视场与前一拍摄角度的视场具有重合区域；旋转模块按照设定参数转动，带动镜头模组旋转至不同角度位置，镜头模组的镜头采集当前视场的区域图像；旋转模块带动镜头模组转动至最后一个拍摄角度后，图像采集模块将镜头模组获取的多张区域图像发送给图像合成模块；

(4)全景图像合成：图像合成模块按照相邻角度拍摄图像重合区域的关联特征将采集的多个角度位置的图像进行拼接合成，形成全景图像。

作为优选地，步骤(1)中在连接镜头模组与旋转模块时，镜头模组的镜头节点与旋转模块的旋转中心重合。

优选地，步骤(2)和步骤(3)中所述角度位置包含经度位置和纬度位置，其中，经度位置与镜头的航向角对应，纬度位置与镜头的俯仰角对应。

优选地，步骤(2)测光的具体步骤为：

a、获取镜头的旋转角度和旋转次数，旋转角度包括旋转到不同经度位置的旋转角度和旋转到不同纬度位置的旋转角度，旋转次数包括旋转到不同经度位置的旋转次数和旋转到不同纬度位置的旋转次数；

b、旋转模块根据设置的旋转角度和旋转次数，带动镜头旋转至不同角度位置，不同位置下，测光模块均通过自动曝光的模式获取曝光参数；

c、将多组曝光参数融合得到融合曝光参数。

优选地，所述曝光参数包括曝光时间、增益及光圈。

优选地，步骤(3)拍摄的具体步骤为：

a、设置镜头模组的镜头曝光参数为融合曝光参数，当设置镜头曝光参数为融合曝光参数后，镜头切换至手动曝光模式，采集图像过程中，不同角度下，镜头的曝光参数不变；

b、计算镜头的旋转角度和旋转次数，包含经度和纬度的旋转角度和旋转次数计算，经度方向上，镜头的水平视场角为θ_hor,设置相邻两个经度位置镜头的重叠视场角为dθ_hor，dθ_hor的取值大于0，则镜头从第一经度位置旋转至第二经度位置时，需转动角度为θ_hor-dθ_hor，设全景图像的水平视场角为φ，φ≤360度，则镜头的水平旋转次数计算为φ/(θ_hor-dθ_hor)-1，若计算值为小数，则取整加1；

纬度方向上，镜头的竖直视场角为θ_ver,设置相邻两个纬度位置图像的重叠视场角为dθ_ver，dθ_ver的取值大于0，则镜头从第一纬度位置旋转至第二纬度位置时，需转动角度为θ_ver-dθ_ver，设置全景图像的竖直视场角为φ，φ≤360度，则镜头的竖直旋转次数计算为φ/(θ_ver-dθ_ver)-1，若计算值为小数，则取整加1；

c、旋转模块根据计算得到的旋转角度和旋转次数，带动镜头旋转至不同角度位置，采集当前视场的区域图像；图像采集模块将镜头模组获取的多张区域图像发送给图像合成模块。

有益效果：本发明中采用镜头模组作为图像采集终端，并以此为基础搭建整体系统，进行多点拍照，从而突破分辨率限制，实现全景图像的拍摄，由于拼接合成为全景图像的多张区域图像为同一镜头捕捉，各区域图像之间一致性较高，同时通过合理设置镜头节点与旋转模块旋转中心的距离，减小图像视差，不仅提高了最终全景图像的成像质量，同时降低了对于软件和算法上的要求和成本；本发明相比双目一体机甚至多目一体机的全景图像生成方案，大幅度降低了硬件成本，同时镜头模组和旋转模块的配合使用，使系统结构简化，具有体积小、重量轻、便携带的优势，而且由于电路部分相比现有的全景图像生成方案功耗显著降低，在待机时长上优势明显。

附图说明

图1为实施例中测光时经度方向采集图像示意图；

图2为实施例中测光时纬度方向采集图像示意图；

图3为实施例中拍摄时经度方向采集图像示意图；

图4为实施例中拍摄时纬度方向采集图像示意图；

图5为实施例中鱼眼图像不同区域示意图；

图6为实施例中测光与采集图像镜头旋转方向示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例：一种全景图像生成系统，包括镜头模组、旋转模块、测光模块、图像采集模块、图像合成模块、姿态传感器、姿态矫正模块、位置传感器和存储模块。

镜头模组与旋转模块连接，镜头模组在旋转模块的带动下沿该旋转模块的旋转中心旋转，且镜头模组的镜头节点距旋转模块的旋转中心小于或等于3cm。最优的镜头模组的镜头节点与旋转模块的旋转中心线重合。

测光模块分别与旋转模块、镜头模组通讯连接，旋转模块按照预设的测光旋转角度和测光旋转次数带动镜头模组转动至多个角度位置，测光模块获取镜头模组对应角度位置的曝光参数，并采用融合算法融合各曝光参数，融合的曝光参数作为镜头模组的固定拍摄参数；

图像采集模块分别与旋转模块、镜头模组通讯连接，旋转模块按照预设的图像采集旋转角度和图像采集旋转次数带动镜头模组转动至多个角度位置，图像采集模块获取镜头模组以固定拍摄参数拍摄的当前视场的区域图像，且相邻拍摄角度拍摄的两张区域图像内含有重合区域，图像采集模块将多张区域图像发送给图像合成模块合成为全景图像。

姿态传感器用于获取镜头模组在不同角度拍摄图像时的姿态角数据，并将该数据发送至姿态矫正模块，姿态矫正模块根据姿态角数据将全景图像矫正至水平位置；位置传感器用于检测镜头模组的旋转角度数据，并将该数据发送至旋转模块，旋转模块比较该旋转角度数据与预定角度数据，若该旋转角度数据小于预定角度，则带动镜头模组转动直到达到预定角度；存储模块用于存储处理程序以及各种传感器的数据；图像合成模块为外置的处理终端，图像采集模块通过有线或无线连接方式将多张区域图像发送至该外置的处理终端，由外置的处理终端进行图像合成。

利用该系统进行全景图像生成方法，包括如下步骤：

(1)安装：

将镜头模组与旋转模块固定，旋转模块选用舵机，舵机的输出轴作为定子，舵机主体作为转子，系统的其余部分与舵机主体连接，与舵机主体同步转动。设置镜头节点到舵机输出轴中心线的距离小于等于3cm，该距离越小，相邻两张图像之间的视差越小，越利于后期的拼接处理，最优地，设置镜头节点经过舵机输出轴中心线。

(2)测光：

a、获取镜头的旋转角度和旋转次数，旋转角度和旋转次数可以外部自定义输入也可以通过计算获取，具体的计算方式为：

计算镜头的旋转角度和旋转次数，包含经度和纬度的旋转角度和旋转次数计算，经度方向上，如图1所示，镜头的水平视场角为θ_hor,设置相邻两个经度位置镜头测光的重叠视场角为dψ_hor，则镜头从第一经度位置旋转至第二经度位置时，需转动角度为θ_hor-dψ_hor，设全景图像的水平视场角为360度，则镜头的水平旋转次数计算为360/(θ_hor-dψ_hor)-1，若计算值为小数，则取整加1，确保水平方向360角度范围内的图像均被镜头采集到。

测光时，重叠视场角为dψ_hor可以为0，此时镜头的水平旋转次数计算为360/θ_hor-1，若计算值为小数，则取整加1。

纬度方向上，如图2所示，镜头的竖直视场角为θ_ver,设置相邻两个纬度位置图像的重叠视场角为dψ_ver，则镜头从第一纬度位置旋转至第二纬度位置时，需转动角度为θ_ver-dψ_ver，设置全景图像的竖直视场角为360度，则镜头的竖直旋转次数计算为360/(θ_ver-dψ_ver)-1，若计算值为小数，则取整加1，确保竖直方向360角度范围内的图像均被镜头采集到。

测光时，重叠视场角为dψ_ver可以为0，此时镜头的水平旋转次数计算为360/θ_ver-1，若计算值为小数，则取整加1。

b、旋转模块根据计算得到的旋转角度和旋转次数，带动镜头旋转至不同角度位置，不同位置下，镜头均通过自动曝光的模式获取曝光参数，曝光参数包括曝光时间、增益及光圈；

c、旋转模块带动镜头模组转动至最后一个测光角度后，参数融合模块将镜头模组获取的多组曝光参数融合得到融合曝光参数。

(3)拍摄：

a、设置镜头模组的镜头曝光参数为融合曝光参数，当设置镜头曝光参数为融合曝光参数后，镜头切换至手动曝光模式，采集图像过程中，不同角度下，镜头的曝光参数不变；

b、计算镜头的旋转角度和旋转次数，包含经度和纬度的旋转角度和旋转次数计算，经度方向上，如图3所示，镜头的水平视场角为θ_hor,设置相邻两个经度位置镜头的重叠视场角为dθ_hor，dθ_hor的取值大于0，则镜头从第一经度位置旋转至第二经度位置时，需转动角度为θ_hor-dθ_hor，设全景图像的水平视场角为360度，则镜头的水平旋转次数计算为360/(θ_hor-dθ_hor)-1，若计算值为小数，则取整加1，确保水平方向360角度范围内的图像均被镜头采集到；

纬度方向上，如图4所示，镜头的竖直视场角为θ_ver,设置相邻两个纬度位置图像的重叠视场角为dθ_ver，dθ_ver的取值大于0，则镜头从第一纬度位置旋转至第二纬度位置时，需转动角度为θ_ver-dθ_ver，设置全景图像的竖直视场角为360度，则镜头的竖直旋转次数计算为360/(θ_ver-dθ_ver)-1，若计算值为小数，则取整加1，确保竖直方向360角度范围内的图像均被镜头采集到；

c、旋转模块根据计算得到的旋转角度和旋转次数，带动镜头旋转至不同角度位置，采集当前视场的区域图像；图像采集模块将镜头模组获取的多张区域图像通过WIFI发送给移动设备。

在测光和拍摄时，为了提高采集图像的效率，设置镜头测光结束位置作为镜头采集图像的起始位置，镜头测光方向与镜头采集图像方向相反。如图6所示，假设测光时，舵机带动镜头顺时针旋转，最终停止在如图所示的测光结束位置，采集图像时，将该位置设定为采集图像的起始位置，在该位置采集第一组图像，然后控制镜头逆时针方向旋转至其余经度位置采集图像。

在实际旋转装置旋转时，会存在一定的偏差，为达到理论设计值，需设置位置传感器，检测镜头的旋转角度，若旋转角度未转到理论设计值，则控制旋转装置继续运动，直至最终达到设定位置。

另外，在拍摄图像的同时，姿态角获取模块获取不同角度位置镜头的姿态角，姿态角包括俯仰角、横滚角以及航向角。若拍摄时镜头倾斜放置，则拍摄出的全景图中，本来竖直的墙壁可能呈现倾斜的状态。当在全景播放器中播放全景照片，并改变全景图像的角度进行展示时，由于画面内容不竖直，画面的转动变化使得人眼不易理解。因此根据姿态角，姿态矫正模块将全景图像矫正至水平位置，矫正后的全景图像在渲染展示时便于人眼的观看和理解。

(4)全景图像合成：

图像合成模块按照相邻角度拍摄图像重合区域的关联特征将采集的多个角度位置的图像进行拼接合成，形成全景图像。图像传输与图像合成并行处理，当至少有两张相邻角度的图像传输至移动设备端后即开始拼接操作，其他图像继续进行传输。

若选用普通视场角的镜头，则按照重合区域的关联特征直接进行拼接合成；

若选用视场角大于180度的鱼眼镜头，由于鱼眼镜头成像时，边缘图像的亮度会小于图像中心的亮度而出现暗角，边缘区域如图5所示的圆环区域p，若边缘的图像参与拼接融合，则会在全景图中出现暗影，并且鱼眼图像边缘像素的清晰度低于中心图像，因此为获得高质量的全景图像，拼接时，尽量选取靠近图像中心的重合区域，如区域q。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (11)

1.一种全景图像生成系统，其特征在于，包括镜头模组、旋转模块、测光模块和图像采集模块；

所述镜头模组与旋转模块连接，镜头模组在所述旋转模块的带动下沿该旋转模块的旋转中心旋转，且镜头模组的镜头节点距旋转模块的旋转中心小于或等于3cm；

测光模块分别与所述旋转模块、镜头模组通讯连接，旋转模块按照预设的测光旋转角度和测光旋转次数带动镜头模组转动至多个角度位置，测光模块获取镜头模组对应角度位置的曝光参数，并采用融合算法融合各曝光参数，融合的曝光参数作为镜头模组的固定拍摄参数；

图像采集模块分别与所述旋转模块、镜头模组通讯连接，旋转模块按照预设的图像采集旋转角度和图像采集旋转次数带动镜头模组转动至多个角度位置，图像采集模块获取镜头模组以固定拍摄参数拍摄的当前视场的区域图像，且相邻拍摄角度拍摄的两张区域图像内含有重合区域，图像采集模块将多张区域图像发送给图像合成模块合成为全景图像。

2.根据权利要求1所述的全景图像生成系统，其特征在于，还包括姿态传感器和姿态矫正模块，姿态传感器用于获取镜头模组在不同角度拍摄图像时的姿态角数据，并将该数据发送至姿态矫正模块，姿态矫正模块根据姿态角数据将全景图像矫正至水平位置。

3.根据权利要求2所述的全景图像生成系统，其特征在于，还包括位置传感器，用于检测镜头模组的旋转角度数据，并将该数据发送至旋转模块，旋转模块比较该旋转角度数据与预定角度数据，若该旋转角度数据小于预定角度，则带动镜头模组转动直到达到预定角度。

4.根据权利要求3所述的全景图像生成系统，其特征在于，还包括存储模块，所述存储模块用于存储处理程序以及各种传感器的数据。

5.根据权利要求1所述的全景图像生成系统，其特征在于，所述图像合成模块为外置的处理终端，所述图像采集模块通过有线或无线连接方式将多张区域图像发送至该外置的处理终端，由外置的处理终端进行图像合成。

6.一种利用权利要求1～5任意一项所述的系统进行全景图像生成方法，其特征在于，包括如下步骤：

(1)连接镜头模组与旋转模块，使镜头模组的镜头节点距旋转模块的旋转中心小于或等于3cm；

(2)测光：设定旋转模块在测光模式下的旋转角度和旋转次数参数，旋转模块按照设定参数转动，带动镜头模组旋转至不同角度位置，镜头模组的镜头在自动曝光模式下获取当前视场的曝光参数；旋转模块带动镜头模组转动至最后一个测光角度后，测光模块将镜头模组获取的多组曝光参数融合得到融合曝光参数，并将镜头模组的镜头调节至手动曝光模式，并锁定在融合曝光参数；

(3)拍摄：设定旋转模块在拍摄模式下的旋转角度和旋转次数参数，保证镜头模组在每个拍摄角度的视场与前一拍摄角度的视场具有重合区域；旋转模块按照设定参数转动，带动镜头模组旋转至不同角度位置，镜头模组的镜头采集当前视场的区域图像；旋转模块带动镜头模组转动至最后一个拍摄角度后，图像采集模块将镜头模组获取的多张区域图像发送给图像合成模块；

(4)全景图像合成：图像合成模块按照相邻角度拍摄图像重合区域的关联特征将采集的多个角度位置的图像进行拼接合成，形成全景图像。

7.根据权利要求6所述的全景图像生成方法，其特征在于，步骤(1)中在连接镜头模组与旋转模块时，镜头模组的镜头节点与旋转模块的旋转中心重合。

8.根据权利要求6所述的全景图像生成方法，其特征在于，步骤(2)和步骤(3)中所述角度位置包含经度位置和纬度位置，其中，经度位置与镜头的航向角对应，纬度位置与镜头的俯仰角对应。

9.根据权利要求6所述的全景图像生成方法，其特征在于，步骤(2)测光的具体步骤为：

a、获取镜头的旋转角度和旋转次数，旋转角度包括旋转到不同经度位置的旋转角度和旋转到不同纬度位置的旋转角度，旋转次数包括旋转到不同经度位置的旋转次数和旋转到不同纬度位置的旋转次数；

b、旋转模块根据设置的旋转角度和旋转次数，带动镜头旋转至不同角度位置，不同位置下，测光模块均通过自动曝光的模式获取曝光参数；

c、将多组曝光参数融合得到融合曝光参数。

10.根据权利要求9所述的全景图像生成方法，其特征在于，所述曝光参数包括曝光时间、增益及光圈。

11.根据权利要求6所述的全景图像生成方法，其特征在于，步骤(3)拍摄的具体步骤为：

a、设置镜头模组的镜头曝光参数为融合曝光参数，当设置镜头曝光参数为融合曝光参数后，镜头切换至手动曝光模式，采集图像过程中，不同角度下，镜头的曝光参数不变；

b、计算镜头的旋转角度和旋转次数，包含经度和纬度的旋转角度和旋转次数计算，经度方向上，镜头的水平视场角为θ_hor,设置相邻两个经度位置镜头的重叠视场角为dθ_hor，dθ_hor的取值大于0，则镜头从第一经度位置旋转至第二经度位置时，需转动角度为θ_hor-dθ_hor，设全景图像的水平视场角为φ，φ≤360度，则镜头的水平旋转次数计算为φ/(θ_hor-dθ_hor)-1，若计算值为小数，则取整加1；

纬度方向上，镜头的竖直视场角为θ_ver,设置相邻两个纬度位置图像的重叠视场角为dθ_ver，dθ_ver的取值大于0，则镜头从第一纬度位置旋转至第二纬度位置时，需转动角度为θ_ver-dθ_ver，设置全景图像的竖直视场角为φ，φ≤360度，则镜头的竖直旋转次数计算为φ/(θ_ver-dθ_ver)-1，若计算值为小数，则取整加1；

c、旋转模块根据计算得到的旋转角度和旋转次数，带动镜头旋转至不同角度位置，采集当前视场的区域图像；图像采集模块将镜头模组获取的多张区域图像发送给图像合成模块。