CN111292234A - 一种全景图像生成方法及装置 - Google Patents

Abstract

本发明提供一种全景图像生成方法及装置，涉及计算机技术领域，方法包括：获取多路图像；将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。本发明实施例中，在获取多路图像后，将多路图像输入到根据神经网络训练得到的全景图像生成模型中，得到的结果为与用户所期待的更接近的高质量的全景图像。

Description

一种全景图像生成方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种全景图像生成方法及装置。

背景技术

全景图通过广角的表现手段以及绘画、相片、视频、三维模型等形式，尽可能多表现出周围的环境。360全景，即通过对专业相机捕捉整个场景的图像信息或者使用建模软件渲染过后的图片，使用软件进行图片拼合，并用专门的播放器进行播放，即将平面照片或者计算机建模图片变为360度全观，用于虚拟现实浏览，把二维的平面图模拟成真实的三维空间，呈现给观赏者。

目前使用的全景图像的拼接方法，主要是通过手动拼接的方法以及自动拼接的方法实现的，手动拼接主要利用Unity3D等软件进行拼接，自动拼接是使用OpenCV以及全景相机内置的拼接模块进行拼接；

但是手动拼接耗时耗力，效率低，自动拼接算法效果参差不齐，且大多涉及到相机参数估计、立体视觉、特征点匹配等过程，效率较低，准确性差。

综上所述，现有技术中不能提供一效率高、准确性高的全景图像生成方法。

发明内容

本发明提供一种全景图像生成方法及装置，用于解决现有技术中不能提供一效率高、准确性高的全景图像生成方法的问题。

本发明实施例提供一种全景图像生成方法，所述方法包括：

获取多路图像；

将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。

本发明实施例中，在获取多路图像后，将多路图像输入到根据神经网络训练得到的全景图像生成模型中，得到的结果为与用户所期待的更接近的高质量的全景图像。

进一步地，所述全景图像样本包括N个全景参考图像以及每个所述全景参考图像对应的M个全景参考子图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的，包括：

针对每个全景参考图像以及所述全景参考图像对应的M个全景参考子图像，将所述M个全景参考子图像以及所述全景参考图像作为训练样本的输入参数，将M个全景参考子图像通过训练生成的训练全景图像以及所述全景参考图像的差异作为所述训练样本的输出参数；

使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型。

进一步地，所述神经网络模型包括生成模块以及判断模块，所述使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型，包括：

将所述输入参数中的M个全景参考子图像输入到所述生成模块中，得到所述M个全景参考子图像通过训练生成的训练全景图像；

将所述输入参数中的所述全景参考图像输入到所述判断模块中，所述判断模块根据所述全景参考图像以及所述训练全景图像确定判断结果，所述判断结果用于指征所述全景参考图像以及所述训练全景图像的相似性；

根据所述判断结果调整所述生成模块，直至所述判断模块确定所述判断结果大于设定阈值，则确定所述全景图像生成模型训练完毕。

进一步地，所述全景图像生成模型为生成对抗网络模型。

本发明实施例还提供一种全景图像生成装置，包括：

获取单元，用于获取多路图像；

生成单元，用于将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。

本发明实施例中，本发明实施例中，在获取多路图像后，将多路图像输入到根据神经网络训练得到的全景图像生成模型中，得到的结果为与用户所期待的更接近的高质量的全景图像。

进一步地，所述全景图像样本包括N个全景参考图像以及每个所述全景参考图像对应的M个全景参考子图像，所述生成单元具体用于：

针对每个全景参考图像以及所述全景参考图像对应的M个全景参考子图像，将所述M个全景参考子图像以及所述全景参考图像作为训练样本的输入参数，将M个全景参考子图像通过训练生成的训练全景图像以及所述全景参考图像的差异作为所述训练样本的输出参数；

使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型。

进一步地，所述神经网络模型包括生成模块以及判断模块，所述生成单元具体用于：

将所述输入参数中的M个全景参考子图像输入到所述生成模块中，得到所述M个全景参考子图像通过训练生成的训练全景图像；

将所述输入参数中的所述全景参考图像输入到所述判断模块中，所述判断模块根据所述全景参考图像以及所述训练全景图像确定判断结果，所述判断结果用于指征所述全景参考图像以及所述训练全景图像的相似性；

根据所述判断结果调整所述生成模块，直至所述判断模块确定所述判断结果大于设定阈值，则确定所述全景图像生成模型训练完毕。

进一步地，所述全景图像生成模型为生成对抗网络模型。

本发明实施例还提供一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中任一所述的方法。

本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述实施例中任一所述方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种全景图像生成方法的流程示意图；

图2为本发明实施例提供多路图像对应的摄像机的摆放示意图；

图3为本发明实施例提供的一种全景图像生成方法的流程示意图；

图4为本发明实施例提供的一种全景图像生成方法的流程示意图；

图5为本发明实施例提供的一种全景图像生成装置的结构示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种全景图像生成方法，如图1所述，包括：

步骤101，获取多路图像；

步骤102，将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。

在步骤101中，获取需要生成全景图像的多路图像，多路图像获取后，用于生成针对用户的全景图像。由于虚拟现实(Virtual Reality，VR)下的全景图像及视频向观察者提供了所在水平方向(经度)360度，垂直方向(纬度)180度全包围的虚拟空间视域，即左右横向展开是360度，上下纵向展开是180度。使用者在观看时可以转动头部，或者通过鼠标，遥控器等输入设备实现视角的切换，从而获得沉浸感和临场感体验。所以获取的多路图像是从各个位置以及各个角度针对一个场景的图像，通过多路图像的合成，能够生成满足用户需要的全景图像。

可选的，在本发明实施例中，多路图像对应的摄像机如图2摆放所示，图2中包括4个全景摄像机，每个摄像机拍摄一路图像，4个多路图像生成一副全景图像。

当然，多路图像对应的摄像机可以是多于4个，也可以放置少于4个的全景摄像机。

在步骤102中，将获取的多路图像输入到全景图像生成模型中，得到的结果为多路图像对应的全景图像，全景图像生成模型是根据全景图像样本进行神经网络训练得到的。

在本发明实施例中，将全景图像样本进行神经网络训练得到全景图像生成模型，训练的步骤为获取训练样本，并通过训练样本中的输入参数以及输出参数，调整神经网络中的权重值，直到训练完成。

可选的，在发明实施例中，训练需要的全景图像样本中包括N个全景参考图像以及每个所述全景参考图像对应的M个全景参考子图像，也就是说，全景图像样本中包括了多张全景参考图像，以及构成每张全景参考图像的全景参考子图像。

例如，在本发明实施例中，全景图像样本中包括100个全景参考图像，每个全景参考图像均有4个全景参考子图像构成。

在确定了训练样本后，获取初始全景图像生成模型，该模型为神经网络模型，将M个全景参考子图像以及所述全景参考图像作为训练样本的输入参数，将M个全景参考子图像通过训练生成的训练全景图像以及所述全景参考图像的差异作为所述训练样本的输出参数，通过输入输出参数的调整，得到最后的全景图像生成模型。

可选的，在本发明实施例中，神经网络模型包括生成模块以及判断模块，通过生成模块生成训练样本中全景参考子图像对应的训练全景图像，判断模块用于判断该训练全景图像与全景参考图像之间的差异，并通过该差异来调整神经网络模型。

也就是说，将输入参数中的全景参考图像输入到判断模块中，判断模块根据全景参考图像以及训练全景图像确定判断结果，判断结果用于指征全景参考图像以及训练全景图像的相似性；根据判断结果调整生成模块，直至判断模块确定判断结果大于设定阈值，则确定全景图像生成模型训练完毕。

可选的，在本发明实施例中，神经网络模型可以是CNN(Convolutional neuralnetworks，卷积神经网络)，DCNN(Deep Convolutional Neural Networks，深度卷积神经网络)，也可以是GAN(Generative adversarial networks，生成对抗网络模型)。

GAN的思想是一种二人零和博弈思想(two-player game)，通过GAN中的生成模块与判断模块之间的相互竞争，最终提高生成模块的生成质量，也就是说，在本发明实施例中，通过GAN以及全景图像样本进行训练，训练的目的是使生成模块生成的全景图像的质量更高。

在本发明实施例中，利用全景图像样本训练GAN的过程为：将训练样本中的全景参考图像对应的全景参考子图像输入到生成模块中，生成模块生成训练全景图像，判断模块确定训练全景图像与全景参考子图像对应的全景参考图像之间的相似性，并根据相似性结果调整GAN模型，直至判断模块认为生成模块产生的训练全景图像与全景参考图像之间的相似度大于设定阈值，则确定GAN训练完毕。

例如，如图3所示，判断模型在没有进行训练时，当确定时真实的全景图像时，输出的值会接近于1，即为真实的图像，当确定是假的，即生成模块生成的全景图像时，输出的值会接近于0；若设定了当输出值大于等于0.5时，则确定输出的真实的全景图像，则训练的目标是，判断模块不论真实的全景图像还是生成的全景图像都判断为0.5。

为了便于理解本发明实施例中的一种全景图像生成方法，在此举例说明，如图4所示，包括：

步骤401，将全景摄像机按位置摆放，例如采用4台摄像机进行数据采集，采集到4路图像数据；

步骤402，配置高性能GPU服务器，使其满足本模型的实现环境；

步骤403，确定采集到的4路对应的图像对应的参考的全景图像，可以使用人工拼接的方法确定参考的全景图像；

步骤404，将采集到的4路图像数据通过全景图像生成模块，生成得到自动拼接后的全景图像，参考全景图像与自动生成的全景图像输判断模块；

步骤405，确定生成模块与全景图像质量判断模块是否平衡，若是，则执行步骤406，否则执行步骤404；

步骤406，保存生成模块产生的模型，用作全景图像自动生成的模型。

基于同样的构思，本发明实施例还提供一种运行装置，如图5所示，包括：

获取单元501，用于获取多路图像；

生成单元502，用于将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。

进一步地，所述全景图像样本包括N个全景参考图像以及每个所述全景参考图像对应的M个全景参考子图像，所述生成单元502具体用于：

针对每个全景参考图像以及所述全景参考图像对应的M个全景参考子图像，将所述M个全景参考子图像以及所述全景参考图像作为训练样本的输入参数，将M个全景参考子图像通过训练生成的训练全景图像以及所述全景参考图像的差异作为所述训练样本的输出参数；

使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型。

进一步地，所述神经网络模型包括生成模块以及判断模块，所述生成单元502具体用于：

将所述输入参数中的M个全景参考子图像输入到所述生成模块中，得到所述M个全景参考子图像通过训练生成的训练全景图像；

将所述输入参数中的所述全景参考图像输入到所述判断模块中，所述判断模块根据所述全景参考图像以及所述训练全景图像确定判断结果，所述判断结果用于指征所述全景参考图像以及所述训练全景图像的相似性；

根据所述判断结果调整所述生成模块，直至所述判断模块确定所述判断结果大于设定阈值，则确定所述全景图像生成模型训练完毕。

进一步地，所述全景图像生成模型为生成对抗网络模型。

本发明实施例提供了一种电子设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行运行方法的步骤。如图6所示，为本发明实施例中所述的电子设备的硬件结构示意图，该电子设备具体可以为台式计算机、便携式计算机、智能手机、平板电脑等。具体地，该电子设备可以包括存储器601、处理器602及存储在存储器上的计算机程序，所述处理器602执行所述程序时实现上述实施例中的任一全景图像生成方法的步骤。其中，存储器601可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器602提供存储器601中存储的程序指令和数据。

进一步地，本申请实施例中所述的电子设备还可以包括输入装置603以及输出装置604等。输入装置603可以包括键盘、鼠标、触摸屏等；输出装置604可以包括显示设备，如液晶显示器、阴极射线管(Cathode Ray Tube，CRT)，触摸屏等。存储器601，处理器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。处理器602调用存储器601存储的程序指令并按照获得的程序指令执行上述实施例提供的运行方法。

本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项全景图像生成方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种全景图像生成方法，其特征在于，包括：

获取多路图像；

将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。

2.根据权利要求1所述的方法，其特征在于，所述全景图像样本包括N个全景参考图像以及每个所述全景参考图像对应的M个全景参考子图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的，包括：

针对每个全景参考图像以及所述全景参考图像对应的M个全景参考子图像，将所述M个全景参考子图像以及所述全景参考图像作为训练样本的输入参数，将M个全景参考子图像通过训练生成的训练全景图像以及所述全景参考图像的差异作为所述训练样本的输出参数；

使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型。

3.根据权利要求2所述的方法，其特征在于，所述神经网络模型包括生成模块以及判断模块，所述使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型，包括：

将所述输入参数中的M个全景参考子图像输入到所述生成模块中，得到所述M个全景参考子图像通过训练生成的训练全景图像；

将所述输入参数中的所述全景参考图像输入到所述判断模块中，所述判断模块根据所述全景参考图像以及所述训练全景图像确定判断结果，所述判断结果用于指征所述全景参考图像以及所述训练全景图像的相似性；

根据所述判断结果调整所述生成模块，直至所述判断模块确定所述判断结果大于设定阈值，则确定所述全景图像生成模型训练完毕。

4.根据权利要求1～3任一项所述的方法，其特征在于，所述全景图像生成模型为生成对抗网络模型。

5.一种全景图像生成装置，其特征在于，包括

获取单元，用于获取多路图像；

生成单元，用于将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。

6.根据权利要求5所述的装置，其特征在于，所述全景图像样本包括N个全景参考图像以及每个所述全景参考图像对应的M个全景参考子图像，所述生成单元具体用于：

针对每个全景参考图像以及所述全景参考图像对应的M个全景参考子图像，将所述M个全景参考子图像以及所述全景参考图像作为训练样本的输入参数，将M个全景参考子图像通过训练生成的训练全景图像以及所述全景参考图像的差异作为所述训练样本的输出参数；

使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型。

7.根据权利要求6所述的装置，其特征在于，所述神经网络模型包括生成模块以及判断模块，所述生成单元具体用于：

将所述输入参数中的M个全景参考子图像输入到所述生成模块中，得到所述M个全景参考子图像通过训练生成的训练全景图像；

将所述输入参数中的所述全景参考图像输入到所述判断模块中，所述判断模块根据所述全景参考图像以及所述训练全景图像确定判断结果，所述判断结果用于指征所述全景参考图像以及所述训练全景图像的相似性；

根据所述判断结果调整所述生成模块，直至所述判断模块确定所述判断结果大于设定阈值，则确定所述全景图像生成模型训练完毕。

8.根据权利要求5～7任一项所述的装置，其特征在于，所述全景图像生成模型为生成对抗网络模型。

9.一种终端设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～4任一权利要求所述方法的步骤。

10.一种计算机可读介质，其特征在于，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述终端设备执行权利要求1～4任一所述方法的步骤。

Images