CN106357976A - 一种全方位全景图像生成的方法和装置 - Google Patents

Abstract

本发明公开了一种全方位全景图像生成的方法和装置，其方法包括以下步骤：双目鱼眼摄像头数据获取模块获得具有一定重合度的两幅鱼眼图像；分别将所述两幅鱼眼图像的有效区域提取出来；鱼眼图像拼接融合成柱面全景图；柱面全景图展开成球面全景图模块对由生成的所述柱面全景图像通过软件继续处理展开成球面全景展开图。本发明全方位全景图像生成的方法和装置由于采用了在摄像头驱动处理程序中的柱面全景展开图像，并由此柱面全景展开图像展开形成的球面全景展开图，实现了包括水平和竖直方向的全景图像处理，从而可以完全实现全方位的全景图像，使得的使用者更能融入到整个场景中。

Description

一种全方位全景图像生成的方法和装置

技术领域

本发明涉及一种摄像头的图像处理方法及装置，尤其涉及的是一种全方位全景立体成像和处理的方法及装置。

背景技术

现有技术中，随着人们对图像的要求越来越高，通常希望看到全景图像或者立体图像。现有技术获得全景图的方法，通常利用普通视角的摄像机拍摄场景两张或多张有重叠区域的图片，然后通过拼接融合成一幅宽视角的图像或者得到柱面全景图像；或利用多组摄像头获取全景视频图像。

现有技术的缺点在于，其中第一种技术方法只能观看到水平方向的180度图像，不能观看到垂直方向180度图像，其中的部分信息丢失，无法让用户融入，缺少沉浸式观看体验；利用多组摄像头的第二种技术方式成本过高，所需装置笨重，不方便用户携带和使用。

因此，现有技术还有待于改进和发展。

发明内容

本发明的目的在于为克服上述问题，提供一种可生成720度全方位全角度的全景图像形成方法和装置，能够形成垂直方向的全景图像，从而形成更容易使使用者浸入式体验的全景图片，并且处理具有可靠性高、便携式、低成本的优点。

本发明的技术方案如下：

一种全方位全景图像生成的方法，其包括以下步骤：

A、双目鱼眼摄像头数据获取模块通过背靠背方式放置的广角双目鱼眼镜头获得具有一定重合度的两幅鱼眼图像；

B、通过软件进行处理，鱼眼有效区域提取模块分别将所述两幅鱼眼图像的有效区域提取出来；

C、鱼眼图像拼接融合成柱面全景图模块利用事先对鱼眼摄像装置进行标定计算得到的标定结果对剪裁后的所述两幅鱼眼图像进行柱面全景图的拼接融合；

D、柱面全景图展开成球面全景图模块对由生成的所述柱面全景图像通过软件继续处理展开成球面全景展开图。

所述的方法，其中，所述步骤A还包括摄像头标定的过程：摄像头标定模块，在标定环境下通过软件算法分别计算出两幅鱼眼图像的半径大小和圆心坐标，同时计算出两幅鱼眼图像的重合区域大小和垂直于镜头光学中心方向的旋转角度。

所述的方法，其中，所述步骤B还包括：

鱼眼有效区域提供模块根据两幅鱼眼图的圆心坐标和半径，通过判断像素点与圆心的距离是否小于等于半径，若是则保留当前像素值，否则将当前像素值置为255。

所述的方法，其中，所述步骤B还包括：

将所述有效区域设置为四个象限，以图像中心为直角坐标系的原点坐标，将直角坐标系转换成极坐标，通过像素点坐标转换和图像拉伸将圆形的鱼眼图像展开成矩形图像。

所述的方法，其中，所述步骤B中每一圆形鱼眼图像以同心圆的方式展开成直角三角形图像，再对直角三角形图像做等比例拉伸变换，得到矩形图像。

所述的方法，其中，所述步骤D还包括：

将鱼眼图像的任一点像素映射到球面全景图对应一点，得到鱼眼图像到球面全景图的第一映射关系式；通过反向操作，得到柱面全景图上任一点映射到圆形鱼眼图像的对应一点的第二映射关系式，联立第一和第二映射关系式，得到由柱面全景图映射到球面全景图的映射关系，进行反向映射插值操作，得到最终的球面全景展开图。

所述的方法，其中，所述映射插值操作通过查表方式实现。

所述的方法，其中，所述方法对每帧图像处理后依视频的原次序进行播放，即可以完成由鱼眼图像序列拼接融合成实时地全景视频。

一种全方位全景图像生成的装置，其中，包括以下模块：

一双目鱼眼摄像头数据获取模块，用于获取两幅具有一定重合区域的鱼眼图像；

所述鱼眼图像采集于一背靠背设置的两鱼眼摄像头；

一鱼眼有效区域提取模块，用于获取两幅鱼眼图像中的有效区域；

一鱼眼图像拼接融合成柱面全景图模块，用于获取合成柱面全景展开图像；

一柱面全景图展开成球面全景图模块，用于获取球面全景展开图。

所述的装置，其中，还包括以下模块：

一摄像头标定模块，用于在标定环境下通过软件获得标定参数。

本发明所提供的一种全方位全景图像生成的方法和装置，由于采用了在摄像头驱动处理程序中的柱面全景展开图像，并由此柱面全景展开图像展开形成的球面全景展开图，实现了包括水平和竖直方向的全景图像处理，从而可以完全实现全方位的全景图像，使得的使用者更能融入到整个场景中。

附图说明

图1为本发明所述全方位全景图像生成的方法流程示意图。

图2为本发明所述方法及装置中生成球面全景图的过程示意图。

图3为本发明所述方法及装置中将鱼眼图像圆形有效区域展开成矩形图像的过程示意图。

图4为本发明所述方法和装置中鱼眼图点像素P映射到球面全景图的示意图。

具体实施方式

以下对本发明的较佳实施例加以详细说明。

本发明所述全方位全景图像生成的方法和装置中，针对背靠背方式设置的双目鱼眼镜头所拍摄的具有一定重合区域的鱼眼图像，可以通过软件进行如下处理：

S1，通过背靠背方式设置的广角双目鱼眼镜头获取两幅具有一定重合区域的鱼眼图像，分别为左鱼眼图、右鱼眼图；在所述鱼眼图像中，需要保证重合区域的亮度和颜色的一致性。同时通过摄像头标定模块对图像的标定，在标定环境下通过软件算法分别计算出两幅鱼眼图像的半径大小R和圆心坐标（x1，y1），同时计算出两幅鱼眼图像的重合区域大小s和垂直于镜头光学中心方向的旋转角度θ。

本发明所述标定算法中，在多幅鱼眼图像中，对每一幅鱼眼图均采用基于hough霍夫检测圆的算法检测出多个圆的集合，然后使用圆心以及半径的大致范围作为约束条件，根据这些约束条件从集合中筛选出符合条件的圆心半径。每一幅鱼眼图像都会有一个符合条件的圆心半径，在多幅图像中求平均得到最终的结果。

S2，鱼眼有效区域提供模块，根据软件处理，获取有效区域。根据两幅鱼眼图的圆心坐标（x1，y1）和半径R，通过判断像素点与圆心的距离是否小于等于半径R，若是则保留当前像素值，否则将当前像素值置为255，也即将之设置为空白；提取得到边长为2R的正方形图像，其有效区域为半径R内的圆形部分。

将有效区域的圆形图像分成四个象限，以图像中心为直角坐标系的原点坐标（x2，y2），将直角坐标系转换成极坐标。通过像素点坐标转换和图像拉伸操作即可将圆形的鱼眼图像展开成矩形图像，这种延展计算是较为常见的图像处理方式，在此不再赘述。

S3，将鱼眼图像拼接融合成柱面全景图模块对展开的矩形图像进行处理，通过软件处理拼接融合得到柱面全景图；具体的融合过程可以是将另一幅展开的矩形图像做水平和垂直方向的翻转操作，重合区域放置在柱面全景图的水平中间位置，根据摄像机标定结果得到鱼眼图像重合区域共H行，根据距离加权平均计算融合后的图像像素值，加权系数和重合区域位置相关，第h行像素的权重等于h/H和1-h/H，与像素值相乘求和得到融合后的像素值，即得到融合后的柱面全景图。

S4，对融合后的柱面全景图进行坐标映射转换生成球面全景图。具体包括：将柱面全景图上的某一点通过反向映射操作得到圆形图像上的一点，圆形图像上的该点通过公式计算映射到球面全景图展开图上的一点，通过中间的圆形坐标公式作为媒介，得到柱面全景图坐标与球面全景图坐标映射公式，计算出最终的球面展开图，所生成的全景图的宽高比是2：1。

本发明所述反向映射操作的过程包括：首先对鱼眼图像中的某一点坐标(x,y)转化成极坐标(ρ,θ)，ρ=,θ=arctan(x/y)。如图3中三角形的行坐标(ρ, ρ*θ)，矩形即柱面全景图行列坐标 (i,j)，其中i=ρ，行保持不变，对列做拉伸，拉伸系数是鱼眼图像半径R/ρ，得到j=ρ*θ*R/ρ=R*θ。结合图3的计算得到柱面全景图反向映射到鱼眼图像上像素点(x,y)的行列坐标公式：

映射关系式1：

x=i*cos(j/R)+x0,

y=y0-i*sin(j/R),其中(x0,y0)是原始鱼眼图像提取有效区域后的鱼眼图像的圆心坐标。

如图4中所示P(x’,y’)是目标图上的一点行列坐标，p(x,y)是鱼眼图像上对应的一点行列坐标。由勾股定理计算得到r=。θ=arcsin(),α=θ。根据三角几何计算出映射后的球面全景展开图上的点行列坐标：

映射关系式2：

x’=x-(1-cos(α))*r,

y’=r*sin(α)。

本发明还公开了实现如上所述方法的装置，其包括：

一双目鱼眼摄像头数据获取模块，用于获取两幅具有一定重合区域的鱼眼图像；上述鱼眼图像来自于背靠背设置的两个鱼眼摄像头；

一摄像头标定模块，用于在标定环境下通过软件实现获得标定参数；

一鱼眼有效区域提取模块，用于获取两幅鱼眼图像的有效区域；

一鱼眼图像拼接融合成柱面全景图模块，用于获取合成柱面全景展开图像；

一柱面全景图展开成球面全景图模块，用于获取球面全景展开图。

本发明的全方位全景图像生成的方法和装置技术方案中获取全景图像的方法，由于只涉及到图像坐标变换，通过对鱼眼图像的像素搬运和插值就能够得到球面全景图像。因此还可以采用坐标查找表的方式进行处理，能够达到实时处理的处理速度，方便快捷。

相比于传统方法中采用多摄像头获得全景视频图像的处理方式，本发明所采用的背对背放置的两个鱼眼图像摄像头采集装置，通过软件可快速实现图像拼合和映射转换，硬件装置成本低、携带轻便，更方便用户的使用。

如图1所示为本发明第一较佳实施例中的获取全景图像的方法AAA的流程示意图。所述AAA的方法包括步骤：

111，通过背对背放置的两个鱼眼摄像头获得两幅具有一定重合度的鱼眼图像。

222，分别对两幅鱼眼图像提取图像有效区域，而有效区域提取后是圆形区域。

333，将提取后的只包含有效区域的两幅鱼眼图像拼接融合为柱面全景图像。

可选择的，在333之后，该方法AAA还包括：

444，对柱面全景图像进行压缩和缩放，得到压缩及缩放后的球面全景展开图像。

本发明上述实施例提供的是一种获取全方位全景图像的方法，通过两个背对背放置的两个鱼眼图像摄像头采集装置，获得两幅鱼眼图像，并将其拼接成全景图像，从而降低成本，体积小巧，方便用户携带使用。

本发明上述实施例提供的获取全景图像的方法，由于只涉及到图像坐标变换，通过对鱼眼图像的像素搬运和插值就能够得到球面全景图像，因此为了能够达到实时处理的目的，可以采用对坐标查找表的方式，获取转换处理结果，能够快速的展开鱼眼图像并拼接融合成全景图像。

应理解的是，由于视频是连续的图像序列，所以本发明实施例提供的获取全景图的方法也可以获取全景视频，即对每帧图像处理后依原次序进行播放，即可以完成由鱼眼图像序列拼接融合成实时地全景视频。

具体地，在本发明实施例中，图2给出了由剪裁好的鱼眼图像拼接融合成柱面全景展开图，再由柱面全景图展开成球面全景展开图的过程示意图，如前所述方法的过程，在此不再赘述。

如图3所示给出了从鱼眼图像圆形有效区域展开成矩形图像的过程示意图，可以想象，鱼眼图像的边缘区域是两幅鱼眼图像的重合区域，通过矩形展开，重叠区域在矩形图像的下端行，所以需要对另外一副鱼眼图像以同样方式展开的矩形图做水平和/或垂直方向的翻转，才能保证图2中所示的柱面全景展开图的重合区域在图像的水平方向中间段位置。

如图3所示，将圆形鱼眼图像以同心圆的方式展开成直角三角形图像，再对直角三角形图像做等比例拉伸变换，即可得到矩形图像。利用计算机软件进行相应处理，当计算得到鱼眼图像的矩形展开图像后，将两幅鱼眼图像分别处理后的矩形展开图进行拼接，得到融合之前的柱面全景图；根据摄像机标定结果得到鱼眼图像重合区域H行，根据距离加权平均计算融合后的图像像素值，加权系数和重合区位置相关，h行像素的权重等于h/H和1-h/H，与像素值相乘求和得到融合后的像素值。由此得到了融合后的柱面全景图。

当得到了柱面全景图后，进一步地，由柱面全景图经过坐标映射得到球面全景图像。如图4所示是将鱼眼图像的某一点p像素映射到球面全景图一点P的示意图，得到鱼眼图像到球面全景图的第一映射关系式1，通过对图3进行反向操作，得到了柱面全景图上一点映射到圆形鱼眼图像的一点的第二映射关系式2，联立第一、第二映射关系式1和2，推出由柱面全景图映射到球面全景图的映射关系，再进行反向映射插值操作，得到最终的球面全景展开图。

相比现有技术的图像融合，一般对鱼眼图像先做畸变矫正，然后做加权平均融合的实现方式，本发明对图像做了水平反向的融合，先将两幅鱼眼图像展成柱面全景图，长宽比为1：2π，然后将得到的柱面全景图像进行转换得到球面全景图像。本发明对图像进行了水平和垂直方向都做了融合，而且由于像素的转换通过坐标转换，可以通过查表实现，从而可以快捷实时处理，方便对视频的帧图像的处理，从而可以在播放器里直接进行全景视频的播放，播放范围更广；本发明能应用于对全景要求更高的环境中，例如能应用到智能驾驶、无人驾驶中的车载360度全景平台，并且实时处理速度快，这是现有技术所无法实现的方案。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种全方位全景图像生成的方法，其包括以下步骤：

双目鱼眼摄像头数据获取模块通过背靠背方式放置的广角双目鱼眼镜头获得具有一定重合度的两幅鱼眼图像；

通过软件进行处理，鱼眼有效区域提取模块分别将所述两幅鱼眼图像的有效区域提取出来；

鱼眼图像拼接融合成柱面全景图模块利用事先对鱼眼摄像装置进行标定计算得到的标定结果对剪裁后的所述两幅鱼眼图像进行柱面全景图的拼接融合；

柱面全景图展开成球面全景图模块对由生成的所述柱面全景图像通过软件继续处理展开成球面全景展开图。

2.根据权利要求1所述的方法，其特征在于，所述步骤A还包括摄像头标定的过程：摄像头标定模块，在标定环境下通过软件算法分别计算出两幅鱼眼图像的半径大小和圆心坐标，同时计算出两幅鱼眼图像的重合区域大小和垂直于镜头光学中心方向的旋转角度。

3.根据权利要求2所述的方法，其特征在于，所述步骤B还包括：

鱼眼有效区域提供模块根据两幅鱼眼图的圆心坐标和半径，通过判断像素点与圆心的距离是否小于等于半径，若是则保留当前像素值，否则将当前像素值置为255。

4.根据权利要求3所述的方法，其特征在于，所述步骤B还包括：

将所述有效区域设置为四个象限，以图像中心为直角坐标系的原点坐标，将直角坐标系转换成极坐标，通过像素点坐标转换和图像拉伸将圆形的鱼眼图像展开成矩形图像。

5.根据权利要求4所述的方法，其特征在于，所述步骤B中每一圆形鱼眼图像以同心圆的方式展开成直角三角形图像，再对直角三角形图像做等比例拉伸变换，得到矩形图像。

6.根据权利要求5所述的方法，其特征在于，所述步骤D还包括：

将鱼眼图像的任一点像素映射到球面全景图对应一点，得到鱼眼图像到球面全景图的第一映射关系式；通过反向操作，得到柱面全景图上任一点映射到圆形鱼眼图像的对应一点的第二映射关系式，联立第一和第二映射关系式，得到由柱面全景图映射到球面全景图的映射关系，进行反向映射插值操作，得到最终的球面全景展开图。

7.根据权利要求6所述的方法，其特征在于，所述映射插值操作通过查表方式实现。

8.根据权利要求1至7任一所述的方法，其特征在于，所述方法对每帧图像处理后依视频的原次序进行播放，即可以完成由鱼眼图像序列拼接融合成实时地全景视频。

9.一种全方位全景图像生成的装置，其特征在于，包括以下模块：

一双目鱼眼摄像头数据获取模块，用于获取两幅具有一定重合区域的鱼眼图像；

所述鱼眼图像采集于一背靠背设置的两鱼眼摄像头；

一鱼眼有效区域提取模块，用于获取两幅鱼眼图像中的有效区域；

一鱼眼图像拼接融合成柱面全景图模块，用于获取合成柱面全景展开图像；

一柱面全景图展开成球面全景图模块，用于获取球面全景展开图。

10.根据权利要求9所述的装置，去特征在于，还包括以下模块：

一摄像头标定模块，用于在标定环境下通过软件获得标定参数。