CN107644397A

CN107644397A - 一种全景图像拼接方法及装置

Info

Publication number: CN107644397A
Application number: CN201610578331.2A
Authority: CN
Inventors: 赵博; 王云鹏
Original assignee: Perfant Technology Co Ltd
Current assignee: Perfant Technology Co Ltd
Priority date: 2016-07-21
Filing date: 2016-07-21
Publication date: 2018-01-30

Abstract

本发明公开了一种全景图像拼接方法及装置，该方法包括：采集至少两幅待拼接的全景分区图，并获取所述全景分区图中的拼接带；依据所述拼接带对所述全景分区图进行拼接。该发明的有益效果为：立方体投影没有几何失真，降低畸变率；立方体投影的像素点均匀分布，不会出现像Equirectangular映射中存在大量冗余信息的极点。

Description

一种全景图像拼接方法及装置

技术领域

本发明涉及全景图像拼接技术领域，尤其涉及一种全景图像拼接方法及装置。

背景技术

全景图像是可以用鱼眼相机得到的，鱼眼相机有两个或多个鱼眼镜头组成。鱼眼镜头是一种超广角镜头，它的视角力求达到或超出人眼所能看到的范围。因此，鱼眼镜头与人们眼中的真实世界景象存在很大的差别，在切向和径向会产生畸变。导致人们很难去理解这样一幅图像。我们已经提出了鱼眼图像向立方体投影的方法，尽可能的把鱼眼图像转换成人们可以理解的形式。在向立方体投影的过程中，相邻的面之间的图像拼接融合是一项关键的技术。

鱼眼图像是一种具有畸变的图像，与真实的世界的景象存在很大的差异，人眼是很难去理解的，将这种图像转换成人们容易理解的形式是一项关键的技术。在虚拟现实领域起着关键性的作用。在现在的技术领域，大家常用的处理全景图像的方法是将鱼眼图像进行Equirectangular投影，然后将投影得到的图像进行拼接得到一幅Equirectangular投影后的全景图像，然后将这幅图像包在一个球面上。这样就得到了一种人们容易理解的图像形式。还有一种处理全景图像的方法是将鱼眼图像投影到立方体的表面，但是，现有技术中，全景图像拼接的畸变率较高，而且立方体表面存在大量冗余信息。

发明内容

本发明要解决的技术问题在于，针对上述现有技术全景图像拼接的畸变率较高，且立方体表面存在大量冗余信息的问题，提供一种全景图像拼接方法及装置。

本发明解决其技术问题所采用的技术方案是：

一方面，构造一种全景图像拼接方法，包括：

采集至少两幅待拼接的全景分区图，并获取所述全景分区图中的拼接带；

依据所述拼接带对所述全景分区图进行拼接。

在本发明所述的全景图像拼接方法中，所述采集至少两幅待拼接的全景分区图，并获取所述全景分区图中的拼接带的步骤包括以下子步骤：

采集至少两幅待拼接的全景分区图；

将所述全景分区图投影至立方体的表面，其中，所述立方体的表面包括上、下、左、右、前、后六个表面；

获取所述全景分区图投影至立方体的表面中的上、下、前、后四个表面的拼接带。

在本发明所述的全景图像拼接方法中，所述获取所述全景分区图投影至立方体的表面中的上、下、前、后四个表面的拼接带的步骤包括以下子步骤：

获取所述拼接带在全景分区图中的像素坐标；

依据所述像素坐标获取拼接带在全景分区图中的所在列。

在本发明所述的全景图像拼接方法中，所述依据所述拼接带对所述全景分区图进行拼接的步骤包括以下子步骤：

获取待拼接的全景分区图中上、下、前、后四个表面中的第一表面，并获取另一待拼接的全景分区图中上、下、前、后四个表面中与所述第一表面对应的第二表面；；

获取所述第一表面的拼接带的所在列为m，并获取所述第一表面第m列的像素值A；

计算所述第二表面的拼接带的所在列n：

n＝m+ovarea

其中，ovarea为所述第二表面的拼接带的宽度；

获取所述第二表面第n列的像素值B；

依据所述第一表面第m列的像素值A及所述第二表面第n列的像素值B对所述第一表面及第二表面进行拼接。

在本发明所述的全景图像拼接方法中，所述依据所述第一表面第m列的像素值A及所述第二表面第n列的像素值B对所述第一表面及第二表面进行拼接的步骤中：

依据mixed对所述第一表面及第二表面进行拼接，其中

mixed＝[1-α(x)]A+α(x)B

x为代列数，α(x)为关于x的光滑函数。

另一方面，提供一种全景图像拼接装置，包括：

获取单元，用于采集至少两幅待拼接的全景分区图，并获取所述全景分区图中的拼接带；

拼接单元，用于依据所述拼接带对所述全景分区图进行拼接。

在本发明所述的全景图像拼接装置中，所述获取单元包括：

分区图采集模块，用于采集至少两幅待拼接的全景分区图；

立方体投影模块，用于将所述全景分区图投影至立方体的表面，其中，所述立方体的表面包括上、下、左、右、前、后六个表面；

拼接带获取模块，用于获取所述全景分区图投影至立方体的表面中的上、下、前、后四个表面的拼接带。

在本发明所述的全景图像拼接装置中，所述拼接带获取模块包括：

坐标获取子模块，用于获取所述拼接带在全景分区图中的像素坐标；

列数获取子模块，用于依据所述像素坐标获取拼接带在全景分区图中的所在列。

在本发明所述的全景图像拼接装置中，所述拼接单元包括：

相邻表面获取模块，用于获取待拼接的全景分区图中上、下、前、后四个表面中的第一表面，并获取另一待拼接的全景分区图中上、下、前、后四个表面中与所述第一表面对应的第二表面；

第一表面处理模块，用于获取所述第一表面的拼接带的所在列为m，并获取所述第一表面第m列的像素值A；

第二表面处理模块，用于计算所述第二表面的拼接带的所在列n：

n＝m+ovarea

其中，ovarea为所述第二表面的拼接带的宽度；

并获取所述第二表面第n列的像素值B；

拼接模块，用于依据所述第一表面第m列的像素值A及所述第二表面第n列的像素值B对所述第一表面及第二表面进行拼接。

在本发明所述的全景图像拼接装置中，所述拼接模块还用于：

依据mixed对所述第一表面及第二表面进行拼接，其中

mixed＝[1-α(x)]A+α(x)B

x为代列数，α(x)为关于x的光滑函数。

上述公开的一种全景图像拼接方法及装置具有以下有益效果：立方体投影没有几何失真，降低畸变率；立方体投影的像素点均匀分布，不会出现像Equirectangular映射中存在大量冗余信息的极点。

附图说明

图1为本发明提供的一种全景图像拼接方法流程图；

图2为两个全景分区图拼接的示意图；

图3为本发明提供的立方体相邻两个表面的拼接带示意图；

图4为本发明提供的一种全景图像拼接装置框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供了一种全景图像拼接方法及装置，其目的在于，跳过了由原鱼眼图像根据Equirectangular投影去构造索引表，然后由索引表去寻找鱼眼图像上的点与球面上点一一对应的关系，之后再寻找球面与其内接立方体表面的一一对应关系的这个繁琐的过程，直接构造了鱼眼图像上的点与立方体表面的上点的一一对应关系，直接构造带有拼接带的图像。通过本发明提供的方法及装置，可使立方体投影没有几何失真，降低畸变率；立方体投影的像素点均匀分布，不会出现像Equirectangular映射中存在大量冗余信息的极点。

本发明中出现的技术术语名词解释如下：

1、Equirectangular映射：将球形的经度和纬度坐标，直接到水平和垂直坐标的一格，这个网格的高度大约宽的两倍。因此从赤道到两极，横向拉伸不断加剧，南北两个极点被拉伸成了扁平的网格在整个上部和下部边缘。Equirectangular可以现实整个水平和竖直的360全景。

2、鱼眼镜头(Circular Fisheye)：鱼眼镜头是一种焦距为16mm或更短的并且视角接近或等于180°。它是一种极端的广角镜头。为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径很短且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，“鱼眼镜头”因此而得名。为了达到180度的超大视角，鱼眼镜头的设计者不得不作出牺牲，即允许这种变形(桶形畸变)的合理存在。其结果是除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化。

3、全景图像：是把90度至360度的场景全部展现在一个二维平面上，全景，英文是PANORAMIC、PANORAMA，通常是指符合人的双眼正常有效视角(大约水平90度，垂直70度)或包括双眼余光视角(大约水平180度，垂直90度)以上；乃至360度完整场景范围拍摄的照片。

参见图1，图1为本发明提供的一种全景图像拼接方法流程图，该全景图像拼接方法包括步骤S1-S2：

S1、采集至少两幅待拼接的全景分区图，并获取所述全景分区图中的拼接带；该步骤S1包括以下子步骤S11-S13：

S11、采集至少两幅待拼接的全景分区图；一般的，全景分区图包括六幅全景分区图，即全景分区图为六个表面，六个所述表面为上表面、下表面、左表面、右表面、前表面及后表面。

S12、将所述全景分区图投影至立方体的表面，其中，所述立方体的表面包括上、下、左、右、前、后六个表面；六个所述表面分别投影于所述立方体的六个面。一般的，对六个面重新排列为带拼接带的2×3的图像阵列。

S13、获取所述全景分区图投影至立方体的表面中的上、下、前、后四个表面的拼接带。即拼接带在上下前后四个表面上，左右两个表面上无拼接带；所述步骤S13包括子步骤S131-S132：

S131、获取所述拼接带在全景分区图中的像素坐标；

S132、依据所述像素坐标获取拼接带在全景分区图中的所在列。

S2、依据所述拼接带对所述全景分区图进行拼接。所述步骤S2包括子步骤S21-S24：

S21、获取待拼接的全景分区图中上、下、前、后四个表面中的第一表面，并获取另一待拼接的全景分区图中上、下、前、后四个表面中与所述第一表面对应的第二表面；参见图2，图2为两个全景分区图拼接的示意图，即将一全景分区图的上表面10作为第一表面时，另一全景分区图也以上表面10作为第二表面。其余下表面20、前表面30及后表面40以此类推。其中，上表面10、下表面20、前表面30及后表面40均具有拼接带101。

S22、获取所述第一表面的拼接带的所在列为m，并获取所述第一表面第m列的像素值A；参见图3，图3为本发明提供的立方体相邻两个表面的拼接带示意图。图中示出了两个表面通过拼接带拼接，拼接带所在区域对应于第一表面及第二表面的像素值A及像素值B。

S23、计算所述第二表面的拼接带的所在列n：

n＝m+ovarea

其中，ovarea为所述第二表面的拼接带的宽度；

S24、获取所述第二表面第n列的像素值B；

S25、依据所述第一表面第m列的像素值A及所述第二表面第n列的像素值B对所述第一表面及第二表面进行拼接。具体的，依据mixed对所述第一表面及第二表面进行拼接，其中

mixed＝[1-α(x)]A+α(x)B

具体的，α(x)是一个关于自变量x(x指代列数，m＜＝x＜＝n)的光滑函数，其取值范围界于0，1之间。具体编程实现时可以调用OpenGL(Open Graphics Library)内置函数smoothstep，亦可自定义。具体算式如下：

Smoothstep performs smooth Hermite interpolation between 0 and 1whenedge0＜x＜edge1.This is useful in cases where a threshold function with asmooth transition is desired.Smoothstep is equicalent to：

genotype t；

t＝clamp((x-edge0)/(edge1-edge0)，0.0，1.0)；

return t*t*(3.0-2.0*t)；

Results are undefined if edge0≥edge1.

其中clamp函数实现如下：

Clamp returns the value of x constrained to the range minVal.Thereturned value is computed as min(max(x，minVal)，maxVal).

根据上述步骤S21-S25，将各个全景分区图的上、下、前、后四个表面一一对应地拼接到立方体表面，从而得到一个完整的立方体投影图，即全景图像。

参见图4，图4为本发明提供的一种全景图像拼接装置100框图，该全景图像拼接装置100通过在系统中设置相应的程序实现，该全景图像拼接装置100包括获取单元1及拼接单元2。

获取单元1，用于采集至少两幅待拼接的全景分区图，并获取所述全景分区图中的拼接带；

拼接单元2，用于依据所述拼接带对所述全景分区图进行拼接。

优选的，所述获取单元1包括：

分区图采集模块，用于采集至少两幅待拼接的全景分区图；

优选的，所述拼接带获取模块包括：

优选的，所述拼接单元2包括：

n＝m+ovarea

其中，ovarea为所述第二表面的拼接带的宽度；

并获取所述第二表面第n列的像素值B；

优选的，所述拼接模块还用于：

依据mixed对所述第一表面及第二表面进行拼接，其中

mixed＝[1-α(x)]A+α(x)B

x为代列数，α(x)为关于x的光滑函数。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或操作可以构成一个或计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims

1.一种全景图像拼接方法，其特征在于，包括：

依据所述拼接带对所述全景分区图进行拼接。

2.根据权利要求1所述的全景图像拼接方法，其特征在于，所述采集至少两幅待拼接的全景分区图，并获取所述全景分区图中的拼接带的步骤包括以下子步骤：

采集至少两幅待拼接的全景分区图；

3.根据权利要求2所述的全景图像拼接方法，其特征在于，所述获取所述全景分区图投影至立方体的表面中的上、下、前、后四个表面的拼接带的步骤包括以下子步骤：

获取所述拼接带在全景分区图中的像素坐标；

依据所述像素坐标获取拼接带在全景分区图中的所在列。

4.根据权利要求3所述的全景图像拼接方法，其特征在于，所述依据所述拼接带对所述全景分区图进行拼接的步骤包括以下子步骤：

获取待拼接的全景分区图中上、下、前、后四个表面中的第一表面，并获取另一待拼接的全景分区图中上、下、前、后四个表面中与所述第一表面对应的第二表面；

计算所述第二表面的拼接带的所在列n：

n＝m+ovarea

其中，ovarea为所述第二表面的拼接带的宽度；

获取所述第二表面第n列的像素值B；

5.根据权利要求4所述的全景图像拼接方法，其特征在于，所述依据所述第一表面第m列的像素值A及所述第二表面第n列的像素值B对所述第一表面及第二表面进行拼接的步骤中：

依据mixed对所述第一表面及第二表面进行拼接，其中

mixed＝[1-α(x)]A+α(x)B

x为代列数，α(x)为关于x的光滑函数。

6.一种全景图像拼接装置，其特征在于，包括：

7.根据权利要求6所述的全景图像拼接装置，其特征在于，所述获取单元包括：

分区图采集模块，用于采集至少两幅待拼接的全景分区图；

8.根据权利要求7所述的全景图像拼接装置，其特征在于，所述拼接带获取模块包括：

9.根据权利要求8所述的全景图像拼接装置，其特征在于，所述拼接单元包括：

n＝m+ovarea

其中，ovarea为所述第二表面的拼接带的宽度；

并获取所述第二表面第n列的像素值B；

10.根据权利要求9所述的全景图像拼接装置，其特征在于，所述拼接模块还用于：

依据mixed对所述第一表面及第二表面进行拼接，其中

mixed＝[1-α(x)]A+α(x)B

x为代列数，α(x)为关于x的光滑函数。