CN113947671A - 全景360度图像分割合成方法、系统及介质 - Google Patents

Abstract

本发明公开了全景360度图像分割合成方法、系统及介质，其中方法包括以下步骤：对第一人物图像进行抠图处理，基于深度学习图像分割对所述第一人物图像进行人物前景与背景分离处理，得到第二人物图像；将全景图像投影在二维空间展示，得到任意角度的二维全景图像；将所述第二人物图像与所述二维全景图像进行融合合成，得到已融合合成的二维图像；将所述已融合合成的二维图像经过坐标转化映射到全景图像，得到融合人物的全景图像。本发明实施例实现人物图像和风景全景图像的融合。

Description

全景360度图像分割合成方法、系统及介质

技术领域

本发明涉及图像处理领域，特别涉及一种全景360度图像分割合成方法、系统及介质。

背景技术

虚拟旅游是建立在现实旅游的景观基础上,利用网络技术和虚拟现实技术,构建一个虚拟环境,使人们可以通过网络在虚拟环境中浏览千里之外的美景风光。一般全景使用基于静态图像的360全景漫游动画的制作技术。现需要一种使用图像分割方法对二维的图像进行抠图，然后与360度全景图像进行拼接融合方法，实现人物图像和风景全景图像的融合。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种全景360度图像分割合成方法，能够实现人物图像和风景全景图像的融合。

本发明还提出一种全景360度图像分割合成系统。

本发明还提出一种实施上述全景360度图像分割合成方法的计算机可读存储介质。

根据本发明的第一方面实施例的全景360度图像分割合成方法，包括以下步骤：对第一人物图像进行抠图处理，基于深度学习图像分割对所述第一人物图像进行人物前景与背景分离处理，得到第二人物图像；将全景图像投影在二维空间展示，得到任意角度的二维全景图像；将所述第二人物图像与所述二维全景图像进行融合合成，得到已融合合成的二维图像；将所述已融合合成的二维图像经过坐标转化映射到全景图像，得到融合人物的全景图像。

根据本发明实施例的全景360度图像分割合成方法，至少具有如下有益效果：本发明实施例的方法采用深度学习图像分割自动完成前景与背景图像分离，自动完成扣图过程。本发明实施例将分离后的人物前景与全景图像过行平面显示的图像进行拼接融合，实现全景图像与人物图像的拼接过程。本发明实施例将融合后的2D图像再映射回全景图像，完成最终图像的拼接过程。通过这种方法拼接好的图像在平面显示时，不会出现人物扭曲情况。

根据本发明的一些实施例，所述基于深度学习图像分割对所述第一人物图像进行人物前景与背景分离处理，得到第二人物图像包括：获取所述第一人物图像；对所述第一人物图像的数据进行语义分割得到trimap图像，在所述trimap图像中划分出前景区域、背景区域和不确定区域；将所述第一人物图像的数据与所述trimap图像的参数一并导入卷积网络中进行精细分割，得到初步提取图像；在所述初步提取图像中融合所述trimap图像的前景区域、背景区域和不确定区域任意两个以上区域的参数，对所述初步提取图像进行调整得到第二人物图像。

根据本发明的一些实施例，全景图像在二维空间的展示包括以下步骤：基于webgl画一个球体；将所述全景图像作为材质贴图到所述球体上，然后基于等距圆柱投影在一张二维图像上。

根据本发明的一些实施例，所述将所述第二人物图像与所述二维全景图像进行融合合成，得到已融合合成的二维图像包括：响应于用户拖动至所述第二人物图像的前景至所述二维全景图像中任意位置，确定人物在所述二维全景图像中的位置，并将所述第二人物图像中的前景合成到所述二维全景图像中，得到融合合成的二维图像。

根据本发明的第二方面实施例的全景360度图像分割合成系统，所述系统包括：人物背景分割模块，用于对第一人物图像进行抠图处理，基于深度学习图像分割对所述第一人物图像进行人物前景与背景分离处理，得到第二人物图像；二维全景图像模块，用于将全景图像投影在二维空间展示，得到任意角度的二维全景图像；融合合成模块，用于将所述第二人物图像与所述二维全景图像进行融合合成，得到已融合合成的二维图像；融合人物全景图像模块，用于将所述已融合合成的二维图像经过坐标转化映射到全景图像，得到融合人物的全景图像。

根据本发明实施例的全景360度图像分割合成系统，至少具有如下有益效果：本发明实施例的系统采用深度学习图像分割自动完成前景与背景图像分离，自动完成扣图过程。本发明实施例将分离后的人物前景与全景图像过行平面显示的图像进行拼接融合，实现全景图像与人物图像的拼接过程。本发明实施例将融合后的2D图像再映射回全景图像，完成最终图像的拼接过程。通过这种方法拼接好的图像在平面显示时，不会出现人物扭曲情况。

根据本发明的一些实施例，所述人物背景分割模块包括：第一人物图像获取模块，用于获取所述第一人物图像；trimap图像生成模块，用于对所述第一人物图像的数据进行语义分割得到trimap图像，在所述trimap图像中划分出前景区域、背景区域和不确定区域；初步提取图像模块，用于将所述第一人物图像的数据与所述trimap图像的参数一并导入卷积网络中进行精细分割，得到初步提取图像；图像调整模块，用于在所述初步提取图像中融合所述trimap图像的前景区域、背景区域和不确定区域任意两个以上区域的参数，对所述初步提取图像进行调整得到第二人物图像。

根据本发明的一些实施例，所述二维全景图像模块用于执行以下步骤：基于webgl画一个球体；将所述全景图像作为材质贴图到所述球体上，然后基于等距圆柱投影在一张二维图像上。

根据本发明的一些实施例，所述融合合成模块用于执行以下步骤：响应于用户拖动至所述第二人物图像的前景至所述二维全景图像中任意位置，确定人物在所述二维全景图像中的位置，并将所述第二人物图像中的前景合成到所述二维全景图像中，得到融合合成的二维图像。

根据本发明的第三方面实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的第一方面实施例中任一项的方法。

由于本发明实施例的计算机可读存储介质上存储有用于执行如本发明第一方面中任一项所述的全景360度图像分割合成方法的计算机可执行指令，因此具有本发明第一方面的所有有益效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的方法的流程示意图。

图2为本发明实施例的系统的模块示意框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

参照图1，本发明实施例提出一种全景360度图像分割合成方法。通过深度学习图像分割技术，对有背景图像进行前景与背景的分离，将人物前景信息分离出来，将人像部分图像单独生成一张新的图像。将任意场景的全景360度图像，采用全景3D到2D投方法，播放方法将其投影在2D空间展示，得到任意角度的全景图像。将分离出来的人像与2D展示的全景图像进行融合合成，2D拼接好图像，同时根据当前融合的2D图像，经过坐标转化再映射到全景图像格式，生成360度全景照片。

全景图是一种广角图。通过全景播放器可以让观看者身临其境地进入到全景图所记录的场景中去。通常标准的全景图是一张2：1的图像，其背后的实质就是等距圆柱投影。等距圆柱投影是一种将球体上的各个点投影到圆柱体的侧面上的一种投影方式，投影完之后再将它展开就是一张2：1的长方形的图像。比较常见的就是应用在地图上的投影。

在得到了全景图之后，就是要怎么去展示的问题了。接下来就要说说全景展示的原理。全景展示其实是等距圆柱投影的逆过程，我们要做的就是将我们得到的全景图，贴图到一个球体上，熟悉webgl的，可以用它画一个球体，然后将全景图作为材质贴到这个球体上进行渲染。由于使用webgl来进行编程的话，需要自己进行比较多的3D运算，所以也可以选择使用api更加友好的3D库，如THREE.JS来编程。

图像作为一个整体，有丰富的内容和色彩，我们所需要的目标和背景与整幅图像融为一体，不利于进行图像处理，因此，先将图像划分成若干个与物体目标相对应的区域，根据目标和背景的先验知识.对图像中的目标与背景进行标识、定位，将目标从背景或其他伪目标中分离出来，这种技术称为图象分割技术。

图像抠图技术是指从静态图像或者视频序列中抽取感兴趣目标的过程，在PS和视频编辑中有重要的应用。一般通过图像分割技术来完成。通过深度学习图像分割技术将前景与背景进行分离。

在一些实施例中，基于深度学习图像分割对第一人物图像进行人物前景与背景分离处理，得到第二人物图像包括：获取第一人物图像；对第一人物图像的数据进行语义分割得到trimap图像，在trimap图像中划分出前景区域、背景区域和不确定区域；将第一人物图像的数据与trimap图像的参数一并导入卷积网络中进行精细分割，得到初步提取图像；在初步提取图像中融合trimap图像的前景区域、背景区域和不确定区域任意两个以上区域的参数，对初步提取图像进行调整得到第二人物图像。

在一些实施例中，将原始图像的数据与trimap图像的参数一同导入卷积网络中进行精细分割，得到初步提取图像包括：设置卷积网络的参数，并将原始图像的数据和trimap图像的参数一同导入卷积网络中进行卷积得到第一卷积层的参数；根据第一卷积层的参数自顶向下一次将每一卷积层中的参数进行卷积、激活、池化操作，分别得到第二卷积层的参数、第三卷积层的参数、第四卷积层的参数和最底层的参数。将最底层的参数和第四卷积层的参数一同进行反卷积、激活、反池化操作，得到第四反卷积层的参数；将第四反卷积层的参数和第三卷积层的参数一同进行反卷积、激活、反池化操作，得到第三反卷积层的参数；将第三反卷积层的参数和第二卷积层的参数一同进行反卷积、激活、反池化操作，得到第二反卷积层的参数；将第二反卷积层的参数和第一卷积层的参数一同进行反卷积、激活、反池化操作，得到第一反卷积层的参数；将第一反卷积层的参数的输出通道数量进行调整，得到初步提取图像。

在一些实施例中，全景图像在二维空间的展示包括以下步骤：基于webgl画一个球体；将全景图像作为材质贴图到球体上，然后基于等距圆柱投影在一张二维图像上。

在一些实施例中，将第二人物图像与二维全景图像进行融合合成，得到已融合合成的二维图像包括：响应于用户拖动至第二人物图像的前景至二维全景图像中任意位置，确定人物在二维全景图像中的位置，并将第二人物图像中的前景合成到二维全景图像中，得到融合合成的二维图像。

与前述实施例相对应，本发明还提供了系统的实施例。对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。

参照图2，本发明实施例的全景360度图像分割合成系统包括：人物背景分割模块，用于对第一人物图像进行抠图处理，基于深度学习图像分割对第一人物图像进行人物前景与背景分离处理，得到第二人物图像；二维全景图像模块，用于将全景图像投影在二维空间展示，得到任意角度的二维全景图像；融合合成模块，用于将第二人物图像与二维全景图像进行融合合成，得到已融合合成的二维图像；融合人物全景图像模块，用于将已融合合成的二维图像经过坐标转化映射到全景图像，得到融合人物的全景图像。

在一些实施例中，人物背景分割模块包括：第一人物图像获取模块，用于获取第一人物图像；trimap图像生成模块，用于对第一人物图像的数据进行语义分割得到trimap图像，在trimap图像中划分出前景区域、背景区域和不确定区域；初步提取图像模块，用于将第一人物图像的数据与trimap图像的参数一并导入卷积网络中进行精细分割，得到初步提取图像；图像调整模块，用于在初步提取图像中融合trimap图像的前景区域、背景区域和不确定区域任意两个以上区域的参数，对初步提取图像进行调整得到第二人物图像。

在一些实施例中，二维全景图像模块用于执行以下步骤：基于webgl画一个球体；将全景图像作为材质贴图到球体上，然后基于等距圆柱投影在一张二维图像上。

在一些实施例中，融合合成模块用于执行以下步骤：响应于用户拖动至第二人物图像的前景至二维全景图像中任意位置，确定人物在二维全景图像中的位置，并将第二人物图像中的前景合成到二维全景图像中，得到融合合成的二维图像。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。

软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。

软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种全景360度图像分割合成方法，其特征在于，包括以下步骤：

对第一人物图像进行抠图处理，基于深度学习图像分割对所述第一人物图像进行人物前景与背景分离处理，得到第二人物图像；

将全景图像投影在二维空间展示，得到任意角度的二维全景图像；

将所述第二人物图像与所述二维全景图像进行融合合成，得到已融合合成的二维图像；

将所述已融合合成的二维图像经过坐标转化映射到全景图像，得到融合人物的全景图像。

2.根据权利要求1所述的全景360度图像分割合成方法，其特征在于，所述基于深度学习图像分割对所述第一人物图像进行人物前景与背景分离处理，得到第二人物图像包括：

获取所述第一人物图像；

对所述第一人物图像的数据进行语义分割得到trimap图像，在所述trimap图像中划分出前景区域、背景区域和不确定区域；

将所述第一人物图像的数据与所述trimap图像的参数一并导入卷积网络中进行精细分割，得到初步提取图像；

在所述初步提取图像中融合所述trimap图像的前景区域、背景区域和不确定区域任意两个以上区域的参数，对所述初步提取图像进行调整得到第二人物图像。

3.根据权利要求1所述的全景360度图像分割合成方法，其特征在于，全景图像在二维空间的展示包括以下步骤：

基于webgl画一个球体；

将所述全景图像作为材质贴图到所述球体上，然后基于等距圆柱投影在一张二维图像上。

4.根据权利要求1所述的全景360度图像分割合成方法，其特征在于，所述将所述第二人物图像与所述二维全景图像进行融合合成，得到已融合合成的二维图像包括：

响应于用户拖动至所述第二人物图像的前景至所述二维全景图像中任意位置，确定人物在所述二维全景图像中的位置，并将所述第二人物图像中的前景合成到所述二维全景图像中，得到融合合成的二维图像。

5.一种全景360度图像分割合成系统，其特征在于，所述系统包括：

人物背景分割模块，用于对第一人物图像进行抠图处理，基于深度学习图像分割对所述第一人物图像进行人物前景与背景分离处理，得到第二人物图像；

二维全景图像模块，用于将全景图像投影在二维空间展示，得到任意角度的二维全景图像；

融合合成模块，用于将所述第二人物图像与所述二维全景图像进行融合合成，得到已融合合成的二维图像；

融合人物全景图像模块，用于将所述已融合合成的二维图像经过坐标转化映射到全景图像，得到融合人物的全景图像。

6.根据权利要求5所述的全景360度图像分割合成系统，其特征在于，所述人物背景分割模块包括：

第一人物图像获取模块，用于获取所述第一人物图像；

trimap图像生成模块，用于对所述第一人物图像的数据进行语义分割得到trimap图像，在所述trimap图像中划分出前景区域、背景区域和不确定区域；

初步提取图像模块，用于将所述第一人物图像的数据与所述trimap图像的参数一并导入卷积网络中进行精细分割，得到初步提取图像；

图像调整模块，用于在所述初步提取图像中融合所述trimap图像的前景区域、背景区域和不确定区域任意两个以上区域的参数，对所述初步提取图像进行调整得到第二人物图像。

7.根据权利要求5所述的全景360度图像分割合成系统，其特征在于，所述二维全景图像模块用于执行以下步骤：

基于webgl画一个球体；

将所述全景图像作为材质贴图到所述球体上，然后基于等距圆柱投影在一张二维图像上。

8.根据权利要求5所述的全景360度图像分割合成系统，其特征在于，所述融合合成模块用于执行以下步骤：

响应于用户拖动至所述第二人物图像的前景至所述二维全景图像中任意位置，确定人物在所述二维全景图像中的位置，并将所述第二人物图像中的前景合成到所述二维全景图像中，得到融合合成的二维图像。

9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至4中任一项的方法。

Images