CN107369129B

CN107369129B - 一种全景图像的拼接方法、装置及便携式终端

Info

Publication number: CN107369129B
Application number: CN201710495399.9A
Authority: CN
Inventors: 尹程龙; 刘靖康
Original assignee: Arashi Vision Co Ltd
Current assignee: Insta360 Innovation Technology Co Ltd
Priority date: 2017-06-26
Filing date: 2017-06-26
Publication date: 2020-01-21
Anticipated expiration: 2037-06-26
Also published as: WO2019001255A1; CN107369129A

Abstract

本发明适用于图像处理领域，提供了一种景图像的拼接方法、装置及便携式终端，所述方法包括：获取用于拼接全景图像的多幅图像；将多幅图像分别展开成经纬度图像；分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将多个拼接区域投影到单位球上；提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场；根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合，直至所有拼接区域的图像融合后，得到无缝拼接后的全景图像。本发明能实现融合区域平滑过渡，达到无缝拼接的效果。

Description

一种全景图像的拼接方法、装置及便携式终端

技术领域

本发明属于图像处理领域，尤其涉及一种全景图像的拼接方法、装置及便携式终端。

背景技术

和平面图像相比，全景图像能够记录下拍摄位置周围360°的图像，从而给人带来强烈的真实感和立体感。所以在影视、旅游、房地产等多个行业存在广泛的应用前景。目前全景图像大都是多幅图像拼接得到，而在图像拼接区域多会出现较为明显的拼接痕迹，严重影响最终全景图像的质量和带给人的视觉效果。

发明内容

本发明的目的在于提供一种全景图像的拼接方法、装置及便携式终端，旨在解决目前通过多幅图像拼接得到的全景图像，在图像拼接区域多会出现较为明显的拼接痕迹的问题。

第一方面，本发明提供了一种景图像的拼接方法，所述方法包括：

获取用于拼接全景图像的多幅图像；

将多幅图像分别展开成经纬度图像；

分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将多个拼接区域投影到单位球上；

提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场；

根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合，直至所有拼接区域的图像融合后，得到无缝拼接后的全景图像。

第二方面，本发明提供了一种全景图像的拼接装置，所述装置包括：

获取模块，用于获取用于拼接全景图像的多幅图像；

展开模块，用于将多幅图像分别展开成经纬度图像；

投影模块，用于分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将多个拼接区域投影到单位球上；

光流场计算模块，用于提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场；

融合模块，用于根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合，直至所有拼接区域的图像融合后，得到无缝拼接后的全景图像。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的全景图像的拼接方法的步骤。

第四方面，本发明提供了一种便携式终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的全景图像的拼接方法的步骤。

在本发明中，由于分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将多个拼接区域投影到单位球上；提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场；根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合。因此，在图像拼接区域不会出现明显的拼接痕迹，能实现融合区域平滑过渡，达到无缝拼接的效果。

附图说明

图1是本发明实施例一提供的全景图像的拼接方法流程图。

图2是一个待拼接区域映射到单位球面的示意图。其中，(a)是单位球面；(b)是拼接区域。

图3是单位球面对应柱面区域示意图。其中，(a)是球面对应的柱面区域，(b)是对应的柱面拼接区域；(c)是展开后的区域。

图4是本发明实施例二提供的全景图像的拼接装置的示意图。

图5是本发明实施例四提供的便携式终端的示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1，本发明实施例一提供的全景图像的拼接方法包括以下步骤：

S101、获取用于拼接全景图像的多幅图像。

S102、将多幅图像分别展开成经纬度图像。

在本发明实施例一中，S102具体可以包括以下步骤：

获取将拍摄图像展开到经纬度图像的模型；

根据所述模型，分别展开所述多幅图像，得到与所述多幅图像分别对应的多幅经纬度图像。

S103、分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将多个拼接区域投影到单位球上。

在本发明实施例一中，S103具体可以包括以下步骤：

分别提取n幅经纬度图像I₁-I_n之间的拼接区域，得到n个拼接区域S₁-S_n；对提取的n个拼接区域S₁-S_n进行球面投影，得到单位球面上的n个待拼接区域J₁-J_n，其中n为大于或等于2的自然数。图2所示为一个待拼接区域映射到单位球面的示意图。

S104、提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场。

在本发明实施例一中，S104具体可以包括以下步骤：

提取单位球面上n个待拼接区域J₁-J_n，将待拼接区域J₁-J_n分别映射到对应的柱面区域T₁-T_n；

分别计算n个柱面区域T₁-T_n的左、右图像之间的光流场，针对每个柱面区域，具体为：

计算左图像到右图像的光流场f_L→R(x,y)和右图像到左图像的光流场f_R→L(x,y)；

根据拼接区域像素点和左、右两个拼缝之间的距离自适应调整左图像到右图像的光流场f_L→R(x,y)的权重值α和右图像到左图像的光流场f_R→L(x,y)的权重值β，得到调整后的光流场。

f_L→R(x,y)＝α·f_L→R(x,y) (公式1)

f_R→L(x,y)＝β·f_R→L(x,y) (公式2)

为了实现无缝拼接，对于左图像，应使其越靠近左边的区域光流值越小，而对于右图像，应使其越靠近右边的图像区域光流值越小。因此设置两个权重值α和β，其中α∈[0,1],β∈[0,1]，在公式1中，α值随着左图像的区域从左到右逐渐增大，在公式2中，β值随着右图像的区域从右到左逐渐减小。

S105、根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合，直至所有拼接区域的图像融合后，得到无缝拼接后的全景图像。

在本发明实施例一中，所述根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合具体可以包括以下步骤：

根据拼接区域像素点和左、右两个拼缝之间的距离自适应调整左、右图像融合的权重值λ和μ；

根据公式3对待拼接的区域T^L和T^R进行图像融合，获取融合后的区域T^B。

T^B(x,y)＝λ·T^L(x+f_x(L→R)(x,y),y+f_y(L→R)(x,y))+μ·T^R(x+f_x(R→L)(x,y),y+f_y(R→L)(x,y))(公式3)

其中，T^B(x,y)表示融合后像素点(x,y)的值，T^L(x,y)表示融合区域左图像中像素点的值，T^R(x,y)表示融合区域右图像中像素点的值，λ和μ为权重值，λ∈[0,1]，μ∈[0,1]。对于靠近左拼缝的融合区域，应使左图像对应像素值的权重大于右图像对应的像素值的权重，λ值设置随着距左拼缝的距离而由大到小变化。而对于靠近右拼缝的融合区域，应使右图像对应像素值的权重大于左图像对应的像素值的权重，μ值设置为随着距离右拼缝的距离而由大到小变化。

在本发明实施例一中，由于分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将多个拼接区域投影到单位球上；提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场；根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合。因此，在图像拼接区域不会出现明显的拼接痕迹，能实现融合区域平滑过渡，达到无缝拼接的效果。

实施例二：

请参阅图4，本发明实施例二提供的全景图像的拼接装置包括：

获取模块11，用于获取用于拼接全景图像的多幅图像；

展开模块12，用于将多幅图像分别展开成经纬度图像；

投影模块13，用于分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将多个拼接区域投影到单位球上；

光流场计算模块14，用于提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场；

融合模块15，用于根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合，直至所有拼接区域的图像融合后，得到无缝拼接后的全景图像。

在本发明实施例二中，所述投影模块具体用于：分别提取n幅经纬度图像I₁-I_n之间的拼接区域，得到n个拼接区域S₁-S_n；对提取的n个拼接区域S₁-S_n进行球面投影，得到单位球面上的n个待拼接区域J₁-J_n，其中n为大于或等于2的自然数；

所述光流场计算模块具体用于：提取单位球面上n个待拼接区域J₁-J_n，将待拼接区域J₁-J_n分别映射到对应的柱面区域T₁-T_n；分别计算n个柱面区域T₁-T_n的左、右图像之间的光流场，针对每个柱面区域，具体为：

实施例三：

本发明实施例三还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例一提供的全景图像的拼接方法的步骤。

实施例四：

图5示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100，包括：

一个或多个处理器101；

存储器102；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器102执行，所述处理器执行所述计算机程序时实现本发明实施例一提供的全景图像的拼接方法的步骤。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种全景图像的拼接方法，其特征在于，所述方法包括：

获取用于拼接全景图像的多幅图像；

将多幅图像分别展开成经纬度图像；

根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合，直至所有拼接区域的图像融合后，得到无缝拼接后的全景图像；

所述分别提取多幅经纬度图像之间的拼接区域，得到多个拼接区域，将多个拼接区域投影到单位球上具体包括：

分别提取n幅经纬度图像I₁-I_n之间的拼接区域，得到n个拼接区域S₁-S_n；对提取的n个拼接区域S₁-S_n进行球面投影，得到单位球面上的n个待拼接区域J₁-J_n，其中n为大于或等于2的自然数；

所述提取单位球面上待拼接区域对应的柱面区域，分别计算待拼接区域的左、右图像之间的光流场具体包括：

2.如权利要求1所述的方法，其特征在于，所述将多幅图像分别展开成经纬度图像具体包括：

获取将拍摄图像展开到经纬度图像的模型；

3.如权利要求1所述的方法，其特征在于，权重值α∈[0,1],权重值β∈[0,1]，α值随着左图像的区域从左到右逐渐增大，β值随着右图像的区域从右到左逐渐减小。

4.如权利要求3所述的方法，其特征在于，所述根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合具体包括：

根据以下公式对待拼接的区域T^L和T^R进行图像融合，获取融合后的区域T^B；

T^B(x,y)＝λ·T^L(x+f_x(L→R)(x,y),y+f_y(L→R)(x,y))+μ·T^R(x+f_x(R→L)(x,y),y+f_y(R→L)(x,y))

其中，T^B(x,y)表示融合后像素点(x,y)的值，T^L(x,y)表示融合区域左图像中像素点的值，T^R(x,y)表示融合区域右图像中像素点的值，λ和μ为权重值，λ∈[0,1]，μ∈[0,1]。

5.如权利要求4所述的方法，其特征在于，对于靠近左拼缝的融合区域，左图像对应像素值的权重大于右图像对应的像素值的权重，λ值设置随着距左拼缝的距离而由大到小变化；对于靠近右拼缝的融合区域，右图像对应像素值的权重大于左图像对应的像素值的权重，μ值设置随着距离右拼缝的距离而由大到小变化。

6.一种全景图像的拼接装置，其特征在于，所述装置包括：

获取模块，用于获取用于拼接全景图像的多幅图像；

展开模块，用于将多幅图像分别展开成经纬度图像；

融合模块，用于根据待拼接区域的左、右图像之间的光流场，分别对每个拼接区域的图像进行融合，直至所有拼接区域的图像融合后，得到无缝拼接后的全景图像；

所述投影模块具体用于：分别提取n幅经纬度图像I₁-I_n之间的拼接区域，得到n个拼接区域S₁-S_n；对提取的n个拼接区域S₁-S_n进行球面投影，得到单位球面上的n个待拼接区域J₁-J_n，其中n为大于或等于2的自然数；

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的全景图像的拼接方法的步骤。

8.一种便携式终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的全景图像的拼接方法的步骤。