CN115690382B - 深度学习模型的训练方法、生成全景图的方法和装置 - Google Patents

Abstract

本公开提供了一种深度学习模型的训练方法，涉及人工智能、增强现实、虚拟现实、计算机视觉、深度学习等技术领域。可应用于元宇宙、虚拟数字人等场景。具体实现方案为：获取图像采集装置针对目标场景采集得到的图像序列；针对图像序列中的每个图像，根据图像采集装置在该图像的采集时刻的位姿，确定图像中的像素点的射线信息；将图像序列中多个图像各自的像素点的射线信息输入深度学习模型，得到像素点的射线的输出颜色信息和输出密度分布；根据像素点的射线的输出颜色信息、输出密度分布以及预设密度分布，确定深度学习模型的损失；根据损失调整深度学习模型的参数。本公开还提供了一种生成全景图的方法、装置、电子设备和存储介质。

Description

深度学习模型的训练方法、生成全景图的方法和装置

技术领域

本公开涉及人工智能技术领域，尤其涉及增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。更具体地，本公开提供了一种深度学习模型的训练方法、生成全景图的方法、装置、电子设备和存储介质。

背景技术

全景图像广泛应用于多种场景。例如地图产品中的全景地图应用、游戏或影视中的虚拟三维全景展示应用、以及智能终端的全景拍摄应用等。

发明内容

本公开提供了一种深度学习模型的训练方法、生成全景图的方法、装置、设备以及存储介质。

根据第一方面，提供了一种深度学习模型的训练方法，该方法包括：获取图像采集装置针对目标场景采集得到的图像序列；针对图像序列中的每个图像，根据图像采集装置在该图像的采集时刻的位姿，确定图像中的像素点的射线信息，像素点的射线是以图像采集装置在该图像的采集时刻的位置点为起点，以指向与像素点对应的目标场景中的位置点为方向确定的；将图像序列中多个图像各自的像素点的射线信息输入深度学习模型，得到像素点的射线的输出颜色信息和输出密度分布；根据像素点的射线的输出颜色信息、输出密度分布以及预设密度分布，确定深度学习模型的损失；以及根据损失，调整深度学习模型的参数。

根据第二方面，提供了一种生成全景图的方法，该方法包括：根据图像采集装置在图像序列中每个图像的采集时刻的位姿，确定图像采集装置的目标位置点，图像序列是图像采集装置针对目标场景进行采集得到的；根据目标位置点，生成目标场景的射线信息，射线是以目标位置点为起点，以指向目标场景中的位置点为方向确定的；将目标场景的射线信息输入深度学习模型，得到目标场景的射线的颜色信息和密度分布；以及根据目标场景的射线的颜色信息和密度分布，对目标场景进行图像渲染，得到目标场景的全景图；其中，深度学习模型是根据上述深度学习模型的训练方法训练得到的。

根据第三方面，提供了一种深度学习模型的训练装置，该装置包括：第一获取模块，用于获取图像采集装置针对目标场景采集得到的图像序列；第一确定模块，用于针对图像序列中的每个图像，根据图像采集装置在该图像的采集时刻的位姿，确定图像中的像素点的射线信息，像素点的射线是以图像采集装置在该图像的采集时刻的位置点为起点，以指向与像素点对应的目标场景中的位置点为方向确定的；第一处理模块，用于将图像序列中多个图像各自的像素点的射线信息输入深度学习模型，得到像素点的射线的输出颜色信息和输出密度分布；第二确定模块，用于根据像素点的射线的输出颜色信息、输出密度分布以及预设密度分布，确定深度学习模型的损失；以及调整模块，用于根据损失，调整深度学习模型的参数。

根据第四方面，提供了一种生成全景图的装置，该装置包括：第五确定模块，用于根据图像采集装置在图像序列中每个图像的采集时刻的位姿，确定图像采集装置的目标位置点，图像序列是图像采集装置针对目标场景进行采集得到的；第一生成模块，用于根据目标位置点，生成目标场景的射线信息，射线是以目标位置点为起点，以指向目标场景中的位置点为方向确定的；第二处理模块，用于将目标场景的射线信息输入深度学习模型，得到目标场景的射线的颜色信息和密度分布；以及渲染模块，用于根据目标场景的射线的颜色信息和密度分布，对目标场景进行图像渲染，得到目标场景的全景图；其中，深度学习模型是根据上述深度学习模型的训练装置训练得到的。

根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。

根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。

根据第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据本公开提供的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的一个实施例的可以应用深度学习模型的训练方法以及生成全景图的方法的示例性系统架构示意图；

图2是根据本公开的一个实施例的深度学习模型的训练方法的流程图；

图3是根据本公开的一个实施例的深度学习模型的训练方法的原理图；

图4是根据本公开的一个实施例的生成全景图的方法的流程图；

图5是根据本公开的一个实施例的生成全景图的方法的原理图；

图6是根据本公开的一个实施例的深度学习模型的训练装置的框图；

图7是根据本公开的一个实施例的生成全景图的装置的框图；

图8是根据本公开的一个实施例的深度学习模型的训练方法和/或生成全景图的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前，可以使用专用的全景相机、全景采集车等获得全景图像，但是成本较高。

另外，还可以使用智能终端进行全景拍摄。例如，由用户在原地慢慢转动，将镜头保持在同一水平高度，随着镜头的旋转，间隔地拍摄多帧图像，拍摄完毕后，将拍摄的多帧图像依次拼接以形成一幅完整的全景图像。但是，在该全景拍摄过程中，需按照固定的方向移动终端，增加用户操作难度。另外，全景图无法覆盖该固定方向以外的空间范围。因此，通过该全景拍摄方式得到的全景图的覆盖范围有限（比如通常是水平180°，垂直90°）。

NeRF（Neural Radiance Fields，神经辐射场）开创了一种全新的视角合成方法，可应用于全景图的生成。例如，针对目标对象（例如物体或人），利用该目标对象的多个视角的图像，进行基于神经辐射场的深度学习模型的训练，训练出的模型能够对该目标对象进行三维重建，得到该对象的全景图。但是，基于神经辐射场的模型的训练依赖于相机视角分布的广泛性，例如，针对目标对象的多个图像之间如果缺乏丰富的视差，会影响该目标对象的三维重建的效果。

针对街景等环境场景，空间范围广，用户置身于环境中往往以自身位置为中心进行图像采集，采集的图像视角变化小，对于基于神经辐射场的模型来说缺少丰富的视差做约束，因此，导致利用基于神经辐射场的模型针对环境场景重建全景图的效果较差。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

图1是根据本公开一个实施例的可以应用深度学习模型的训练方法以及生成全景图的方法的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105进行交互，以接收或发送消息等。终端设备101、102、103可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机等等。

本公开实施例所提供的深度学习模型的训练方法以及生成全景图的方法中的至少之一一般可以由服务器105执行。相应地，本公开实施例所提供的深度学习模型的训练装置以及生成全景图的装置一般可以设置于服务器105中。本公开实施例所提供的深度学习模型的训练方法以及生成全景图的方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的深度学习模型的训练装置以及生成全景图的装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

图2是根据本公开的一个实施例的深度学习模型的训练方法的流程图。

如图2所示，该深度学习模型的训练方法200可以包括操作S210~操作S250。

在操作S210，获取图像采集装置针对目标场景采集得到的图像序列。

例如，目标场景可以是街景等环境场景。图像采集装置可以是相机、智能手机等。图像序列可以是对视频序列进行拆帧得到的，视频序列可以是用户使用相机或手机对自身处于的环境（目标场景）进行拍摄得到的。

在操作S220，针对图像序列中的每个图像，根据图像采集装置在该图像的采集时刻的位姿，确定图像中的像素点的射线信息。

例如，针对图像序列中的每个图像，该图像的采集时刻即图像采集装置采集该图像的时刻，图像采集装置在采集该图像时的位姿即图像采集装置在该图像的采集时刻的位姿。该位姿可以包括图像采集装置的位置点，即该图像采集装置的光心的位置点，可以用世界坐标系中的三维坐标（x，y，z）表示。该位姿还可以包括镜头的朝向，即光心指向的方向。

针对每个图像，以图像采集装置在该图像的采集时刻的位置点为起点，以指向与该图像中的像素点对应的空间（目标场景）中的位置点为方向，可以确定一条射线。

由于无法确定该两点（起点和空间中的位置点）之间的距离，可以用三维位置坐标（x，y，z）以及二维视角坐标（θ，Ф）表示该射线。例如射线信息表示为射线d（x，y，z，θ，Ф）。其中，三维位置坐标（x，y，z）即图像采集装置在该图像的采集时刻的位置点，二维视角坐标（θ，Ф）中的θ是射线与z轴之间的夹角，Ф是射线在xy平面上的投影与x轴之间的夹角。

针对每个图像，该图像中的每个像素点均可以确定一条射线。

在操作S230，将图像序列中多个图像各自的像素点的射线信息输入深度学习模型，得到像素点的射线的输出颜色信息和输出密度分布。

例如，深度学习模型是基于神经辐射场算法（NeRF算法）构建的模型。该深度学习模型的输入是射线信息d（x，y，z，θ，Ф），输出是该射线的密度分布和颜色信息。

例如，将多个图像各自的像素点的射线信息输入该深度学习模型，可以得到每个射线的输出密度分布和输出颜色信息。多个图像作为监督图像，图像中的像素点的颜色真值可以用来约束与该像素点对应的射线的输出颜色信息。

在操作S240，根据像素点的射线的输出颜色信息、输出密度分布以及预设密度分布，确定深度学习模型的损失。

例如，从一个方面来说，为提高深度学习模型的训练效果，可以针对每个射线的输出密度分布，引入分布密度的约束，以辅助颜色约束来进行模型的训练。从另一个方面来说，对于基于神经辐射场的深度学习模型来说，环境场景的图像缺乏丰富的视差做约束，尤其场景中远方的景物，图像采集装置拍摄该景物的不同帧的位姿变化很小，因此缺乏视差信息，导致远方的景物的三维重建更加困难。因此可以引入深度约束，来约束所有射线的深度（射线的起点到空间中位置点的距离）在预设距离内，使得所有射线均投影在预设深度的平面或球面上。而射线的深度与射线的密度分布有关，因此，可以通过引入密度分布的约束来达到深度约束的效果。

例如，假设图像采集装置的光心到目标场景中所有位置点的距离均为D（例如500米），即所有射线的深度均为D，所有射线的密度分布均在深度D处累加到最大。因此，可以设定与深度均为D对应的预设密度分布σ_gt作为密度分布真值，用来约束每个射线的输出密度分布。其中，深度D和预设密度分布σ_gt之间的对应关系可以根据高斯分布确定，例如，深度D和预设密度分布σ_gt符合高斯分布函数Gaussian(D,1)。

因此，针对每个像素点的射线，可以根据该射线的输出密度分布与预设密度分布σ_gt之间的差异，来确定密度损失。另外，根据该射线的输出颜色信息与该像素点的真实颜色信息，确定颜色损失。根据颜色损失和密度损失（例如二者之和），可以确定深度学习模型的损失。

在操作S250，根据损失调整深度学习模型的参数。

例如，通过反向传播，将损失传递给深度学习模型，用来调整深度学习模型的参数。例如，深度学习模型包括多个全连接层，深度学习模型的损失可以用来调整该多个全连接层的参数，以达到模型训练的效果。

本公开的实施例在对深度学习模型进行训练时，以图像采集装置拍摄图像时的位置点为起点，确定射线信息，通过对所有的射线进行密度分布的约束来达到深度约束的效果，使得目标场景投影在预设深度的平面（或球面）上，从而提高神经辐射场模型对目标场景进行三维重建的效果，进而提高全景图的效果。

根据本公开的实施例，上述操作S220包括针对每个图像，以图像采集装置在该图像的采集时刻的位置点为球心，以预设距离为半径，确定用于渲染目标场景的球面；以该图像作为球面的投影，确定从球心指向与该图像中的像素点对应的球面上的位置点的射线信息。

例如，假设拍摄者处于一个半径为D的球形世界内，拍摄者位于球心，图像采集装置到球面任一点的距离（深度）都为D，即约束所有射线的深度均为D。因此，可以将该球面作为用于渲染目标场景的球面，即目标场景的画面可以投影在该球面上，已采集的图像即该球面上的画面的投影。

此外，根据设定的半径D（即深度D），可以根据符合高斯分布函数Gaussian(D,1)确定预设密度分布σ_gt。

本实施例的深度学习模型通过引入密度分布的约束，达到了对目标场景的射线进行了深度约束的效果，使用该深度学习模型对目标场景进行三维重建，能够将目标场景的画面投影到预设深度的平面或球面上，从而提高深度学习模型三维重建的效果，进而提高目标场景的全景图的效果。

根据本公开的实施例，像素点的射线信息包括射线的位置信息（x，y，z）和视角信息（θ，Ф）。深度学习模型包括第一子模型和第二子模型，第一子模型和第二子模型例如均为MLP(Multi-Layer Perceptron，多层感知机)网络，MLP网络包括多层全连接神经网络。

图3是根据本公开的一个实施例的深度学习模型的训练方法的原理图。

如图3所示，深度学习模型的第一子模型为第一MLP网络310，第二子模型为第二MLP网络320。第一MLP网络310的输入是射线的位置信息（x，y，z）301，第一MLP网络310的输出包括输出密度分布311和中间特征312，中间特征例312例如是学习到的全连接层的特征。根据输出密度分布311和预设密度分布之间的差异，可以确定密度损失313。

例如，可以根据如下公式（1）确定密度损失313。

（1）

其中， L_σ表示密度损失313，σ表示输出密度分布311，σ_gt表示预设密度分布，KL(·)表示相对熵损失函数。

第二MLP网络320的输入包括射线的视角信息（θ，Ф）302和中间特征312，第二MLP网络320的输出是输出颜色信息321。根据输出颜色信息321和像素点的真实颜色信息可以确定颜色损失322。

例如，可以根据如下公式（2）确定颜色损失322。

（2）

其中，L_c表示颜色损失322，c表示输出颜色信息321，c_g表示真实颜色信息，mse(·)表示均方差损失函数。

根据密度损失L_σ和颜色损失L_c可以确定深度学习模型的整体损失330。

例如，可以根据如下公式（3）确定深度学习模型的整体损失。

（3）

其中，L表示深度学习模型的整体损失330。

例如，根据深度学习模型的整体损失L 330，可以反向传播梯度，用来调整第一MLP网络310和第二MLP网络320的参数。

本实施例通过引入密度损失313和颜色损失322一起来调整深度学习模型的参数，能够提高深度学习模型的训练效果。

根据本公开的实施例，图像序列可以是对视频序列进行拆帧得到的，视频序列可以是用户使用相机或手机对自身处于的环境（目标场景）进行拍摄得到的。

例如，用户先选定想要获取全景图的位置中心点，对四周环境进行视频拍摄采集，视频的采集可以按照以下特定的规则：视频所有的图像需要覆盖所有的四周环境，包括天地；视频采集质量要清晰，分辨率不能太低，例如高于推荐480*640及以上尺寸；视频采集时间长度适中，例如时长大于1分钟以上。通常图像采集数量越多，后续生成的全景图质量越好。

根据本公开的实施例，针对图像序列中的每个图像，该图像的采集时刻即图像采集装置采集该图像的时刻，图像采集装置在采集该图像时的位姿即图像采集装置在该图像的采集时刻的位姿。

该位姿可以是根据图像采集装置的惯性测量单元IMU信息确定的。或者，还可以根据图像序列中的多个图像彼此之间的位姿关系进行运动估计，来确定图像采集装置在每个图像的采集时刻的位姿。

本实施例通过确定图像采集装置在每个图像的采集时刻的位姿来确定射线信息，根据射线信息训练出具有深度约束的深度学习模型，该深度学习模型可以用于目标场景的三维重建，进而得到目标场景的全景图。

图4是根据本公开的一个实施例的生成全景图的方法的流程图。

如图4所示，该生成全景图的方法400包括操作S410~ S440。

在操作S410，根据图像采集装置在图像序列中每个图像的采集时刻的位姿，确定图像采集装置的目标位置点。

例如，图像序列是图像采集装置针对目标场景进行采集得到的。目标场景可以是街景等环境场景。图像采集装置可以是相机、智能手机等。图像序列可以是对视频序列进行拆帧得到的，视频序列可以是用户使用相机或手机对自身处于的环境（目标场景）进行拍摄得到的。

针对图像序列中的每个图像，该图像的采集时刻即图像采集装置采集该图像的时刻，图像采集装置在采集该图像时的位姿即图像采集装置在该图像的采集时刻的位姿。该位姿可以包括图像采集装置的位置点，即该图像采集装置的光心的位置点，可以用三维坐标（x，y，z）表示。该位姿还可以包括镜头的朝向，即光心指向的方向。

例如，图像采集装置在每个图像的采集时刻都有对应的位置点（x，y，z），根据每个采集时刻的位置点，可以确定一个目标位置点。例如，将多个采集时刻的位置点的平均或者加权平均作为目标位置点。

在操作S420，根据目标位置点，生成目标场景的射线信息。

例如，射线是以目标位置点为起点，以指向目标场景中的位置点为方向确定的。

例如，在确定目标位置点之后，该目标位置点作为目标场景的中心，所有射线都以该目标位置点为起点。所有射线包括各个方向的360°的、各个视角的射线，即涵盖了目标场景的整个空间范围。

在操作S430，将目标场景的射线信息输入深度学习模型，得到目标场景的射线的颜色信息和密度分布。

例如，深度学习模型是根据上述深度学习模型的训练方法进行训练得到的。由于上述深度学习模型的训练方法对深度学习模型进行了深度约束，因此，在使用该深度学习模型对目标场景的射线进行处理时，会使得目标场景的射线投影到预设深度的平面或球面上，得到投影到该平面或球面上的射线的密度分布和颜色信息。

在操作S440，根据目标场景的射线的颜色信息和密度分布，对目标场景进行图像渲染，得到目标场景的全景图。

例如，根据目标场景的射线的颜色信息和密度分布，通过体渲染（volumerendering）的方法将射线的颜色信息和密度分布渲染到二维图像中，得到针对目标场景的图像。由于射线分布在目标场景的整个空间范围内，因此可以得到目标场景的整个空间范围的合成图像，即目标场景的全景图。

本实施例根据图像采集装置在每个图像的采集时刻的位姿，确定目标位置点，产生以该目标位置点为起点的覆盖目标场景的整个空间范围的所有射线，使用训练好的深度学习模型能够基于目标场景的射线对目标场景进行三维重建，并渲染出该目标场景的全景图。

本实施例使用基于神经辐射场的深度学习模型对目标场景进行三维重建，进而得到目标场景的全景图。相比于相关技术中采用图像拼接的方式生成的全景图效果更加平滑、覆盖范围更广。

根据本公开的实施例， 操作S420包括以目标位置点为球心，以预设距离为半径，确定用于渲染目标场景的球面；确定从球心指向球面上的多个位置点的射线信息，作为目标场景的射线。操作S440包括根据目标场景的射线的颜色信息和密度分布，对目标场景进行球面图像的渲染，得到球面图，作为全景图。

例如，假设拍摄者处于一个半径为D的球形世界内，拍摄者位于球心，目标位置点到球面任一点的距离（深度）都为D，即约束目标场景的所有射线的深度均为D。因此，可以将该球面作为用于渲染目标场景的球面，即目标场景的画面可以投影在该球面上。

本实施例根据射线的深度约束D，确定用于渲染目标场景的球面，使用具有深度约束的深度学习模型对射线进行处理，能够将目标场景渲染到具有预设深度的球面上，实现目标场景的三维重建以及目标场景的全景图的生成。

根据本公开的实施例，射线信息包括射线的位置信息和视角信息，深度学习模型包括第一子模型和第二子模型；将目标场景的射线信息输入深度学习模型，得到目标场景的射线的颜色信息和密度分布包括：将目标场景的射线的位置信息输入第一子模型，得到目标场景的射线的密度分布以及中间特征；将目标场景的射线的视角信息和中间特征输入第二子模型，得到目标场景的射线的颜色信息。

图5是根据本公开的一个实施例的生成全景图的方法的原理图。

如图5所示，深度学习模型的第一子模型为第一MLP网络510，第二子模型为第二MLP网络520。第一MLP网络510的输入是射线的位置信息（x，y，z）501，第一MLP网络510的输出包括密度分布511和中间特征512，中间特征512可以是学习到的全连接层的特征。第二MLP网络520的输入是射线的视角信息（θ，Ф）502以及中间特征512，第二MLP网络520的输出是颜色信息521。

例如，可以将密度分布511和颜色信息521输入渲染模块530，渲染模块530用于通过体渲染技术，将密度分布511和颜色信息521渲染到二维图像中，从而生成全景图像531。

本实施例生成的全景图像相比于图像序列，包含了目标场景更多新视角的图像，相比于相关技术中使用图像拼接的方式生成全景图，使用深度学习模型对目标场景进行三维重建得到的全景图，效果更加平滑、覆盖范围更广。

根据本公开的实施例，图像序列可以是对视频序列进行拆帧得到的，视频序列可以是用户使用相机或手机对自身处于的环境（目标场景）进行拍摄得到的。例如，用户先选定想要获取全景图的位置中心点，对四周环境进行视频拍摄采集，视频的采集可以按照以下特定的规则：视频所有的图像需要覆盖所有的四周环境，包括天地；视频采集质量要清晰，分辨率不能太低，例如高于推荐480*640及以上尺寸；视频采集时间长度适中，例如时长大于1分钟以上。通常图像采集数量越多，后续生成的全景图质量越好。

根据本公开的实施例，针对图像序列中的每个图像，该图像的采集时刻即图像采集装置采集该图像的时刻，图像采集装置在采集该图像时的位姿即图像采集装置在该图像的采集时刻的位姿。该位姿可以是根据图像采集装置的惯性测量单元IMU信息确定的。或者，还可以根据图像序列中的多个图像彼此之间的位姿关系进行运动估计，来确定图像采集装置在每个图像的采集时刻的位姿。

图6是根据本公开的一个实施例的深度学习模型的训练装置的框图。

如图6所示，该深度学习模型的训练装置600包括第一获取模块601、第一确定模块602、第一处理模块603、第二确定模块604和调整模块605。

第一获取模块601用于获取图像采集装置针对目标场景采集得到的图像序列。

第一确定模块602用于针对图像序列中的每个图像，根据图像采集装置在该图像的采集时刻的位姿，确定图像中的像素点的射线信息，像素点的射线是以图像采集装置在该图像的采集时刻的位置点为起点，以指向与像素点对应的目标场景中的位置点为方向确定的。

第一处理模块603用于将图像序列中多个图像各自的像素点的射线信息输入深度学习模型，得到像素点的射线的输出颜色信息和输出密度分布。

第二确定模块604用于根据像素点的射线的输出颜色信息、输出密度分布以及预设密度分布，确定深度学习模型的损失。

调整模块605用于根据损失，调整深度学习模型的参数。

第一确定模块602包括第一确定单元和第二确定单元。

第一确定单元用于针对每个图像，以图像采集装置在该图像的采集时刻的位置点为球心，以预设距离为半径，确定用于渲染目标场景的球面。

第二确定单元用于以该图像作为球面的投影，确定从球心指向与该图像中的像素点对应的球面上的位置点的射线信息。

深度学习模型的训练装置600还包括第三确定模块。

第三确定模块用于根据半径确定预设密度分布。

第二确定模块604包括第三确定单元、第四确定单元和第五确定单元。

第三确定单元用于根据输出密度分布和预设密度分布，确定密度损失。

第四确定单元用于根据输出颜色信息和像素点的真实颜色信息，确定颜色损失。

第五确定单元用于根据密度损失和颜色损失，确定深度学习模型的损失。

第三确定单元用于根据以下公式确定密度损失：

其中，L_σ表示密度损失，σ表示输出密度分布，σ_gt表示预设密度分布，KL(·)表示相对熵损失函数。

第四确定单元用于根据以下公式确定颜色损失：

其中，L_c表示颜色损失，c表示输出颜色信息，c_g表示真实颜色信息，mse(·)表示均方差损失函数。

根据本公开的实施例，像素点的射线信息包括射线的位置信息和视角信息，深度学习模型包括第一子模型和第二子模型。

第一处理模块603包括第一处理单元和第二处理单元。

第一处理单元用于将射线的位置信息输入第一子模型，得到输出密度分布以及中间特征。

第二处理单元用于将射线的视角信息和中间特征输入第二子模型，得到输出颜色信息。

调整模块605用于根据损失，调整第一子模型和第二子模型的参数。

深度学习模型的训练装置600还包括第四确定模块。

第四确定模块用于根据图像采集装置的惯性测量单元IMU信息，确定图像采集装置在每个图像的采集时刻的位姿；或者根据图像序列中的多个图像彼此之间的位姿关系，确定图像采集装置在每个图像的采集时刻的位姿。

深度学习模型的训练装置600还包括第二获取模块和第一拆帧模块。

第二获取模块用于获取视频序列，视频序列是通过图像采集设备对目标环境进行拍摄得到的。

第一拆帧模块用于对视频序列进行拆帧，得到图像序列。

图7是根据本公开的一个实施例的生成全景图的装置的框图。

如图7所示，该生成全景图的装置700包括第五确定模块701、第一生成模块702、第二处理模块703和渲染模块704。

第五确定模块701用于根据图像采集装置在图像序列中每个图像的采集时刻的位姿，确定图像采集装置的目标位置点，图像序列是图像采集装置针对目标场景进行采集得到的。

第一生成模块702用于根据目标位置点，生成目标场景的射线信息，射线是以目标位置点为起点，以指向目标场景中的位置点为方向确定的。

第二处理模块703用于将目标场景的射线信息输入深度学习模型，得到目标场景的射线的颜色信息和密度分布。

渲染模块704用于根据目标场景的射线的颜色信息和密度分布，对目标场景进行图像渲染，得到目标场景的全景图。

深度学习模型是上述深度学习模型的训练装置训练得到的。

第一生成模块702包括第六确定单元和第七确定单元。

第六确定单元用于以目标位置点为球心，以预设距离为半径，确定用于渲染目标场景的球面。

第七确定单元用于确定从球心指向球面上的多个位置点的射线信息，作为目标场景的射线。

渲染模块704用于根据目标场景的射线的颜色信息和密度分布，对目标场景进行球面图像的渲染，得到球面图，作为全景图。

根据本公开的实施例，射线信息包括射线的位置信息和视角信息，深度学习模型包括第一子模型和第二子模型。

第二处理模块703包括第三处理单元和第四处理单元。

第三处理单元用于将目标场景的射线的位置信息输入第一子模型，得到目标场景的射线的密度分布以及中间特征。

第四处理单元用于将目标场景的射线的视角信息和中间特征输入第二子模型，得到目标场景的射线的颜色信息。

图像采集装置在图像序列中每个图像的采集时刻的位姿包括图像采集装置在每个采集时刻的位置点。

第五确定模块701用于根据图像采集装置在多个采集时刻的位置点，确定图像采集装置的目标位置点。

生成全景图的装置700还包括第六确定模块。

第六确定模块用于根据图像采集装置的惯性测量单元IMU信息，确定图像采集装置在每个图像的采集时刻的位姿；或者根据图像序列中的多个图像彼此之间的位姿关系，确定图像采集装置在每个图像的采集时刻的位姿。

生成全景图的装置700还包括第三获取模块和第二拆帧模块。

第三获取模块用于获取视频序列，视频序列是通过图像采集设备对目标环境进行拍摄得到的。

第二拆帧模块用于对视频序列进行拆帧，得到图像序列。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器（ROM）802中的计算机程序或者从存储单元808加载到随机访问存储器（RAM）803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出（I/O）接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如深度学习模型的训练方法和/或生成全景图的方法。例如，在一些实施例中，深度学习模型的训练方法和/或生成全景图的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的深度学习模型的训练方法和/或生成全景图的方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行深度学习模型的训练方法和/或生成全景图的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (26)

1.一种深度学习模型的训练方法，包括：

获取图像采集装置针对目标场景采集得到的图像序列；

针对所述图像序列中的每个图像，根据所述图像采集装置在该图像的采集时刻的位姿，确定所述图像中的像素点的射线信息，所述像素点的射线是以所述图像采集装置在该图像的采集时刻的位置点为起点，以指向与所述像素点对应的目标场景中的位置点为方向确定的；

将所述图像序列中多个图像各自的像素点的射线信息输入深度学习模型，得到所述像素点的射线的输出颜色信息和输出密度分布；

根据所述像素点的射线的输出颜色信息、输出密度分布以及预设密度分布，确定所述深度学习模型的损失；以及

根据所述损失，调整所述深度学习模型的参数；

其中，所述针对所述图像序列中的每个图像，根据所述图像采集装置在该图像的采集时刻的位姿，确定所述图像中的像素点的射线信息包括：针对每个图像，

以所述图像采集装置在该图像的采集时刻的位置点为球心，以预设距离为半径，确定用于渲染所述目标场景的球面；

以该图像作为所述球面的投影，确定从所述球心指向与该图像中的像素点对应的所述球面上的位置点的射线信息；

所述方法还包括：

根据所述半径确定所述预设密度分布。

2.根据权利要求1所述的方法，其中，所述根据所述像素点的射线的输出颜色信息、输出密度分布以及预设密度分布，确定所述深度学习模型的损失包括：

根据所述输出密度分布和所述预设密度分布，确定密度损失；

根据所述输出颜色信息和所述像素点的真实颜色信息，确定颜色损失；以及

根据所述密度损失和所述颜色损失，确定所述深度学习模型的损失。

3.根据权利要求2所述的方法，其中，所述根据所述输出密度分布和所述预设密度分布，确定密度损失包括：根据以下公式确定所述密度损失：

其中，L_σ表示所述密度损失，σ表示所述输出密度分布，σ_gt表示所述预设密度分布，KL(•)表示相对熵损失函数；

所述根据所述输出颜色信息和所述像素点的真实颜色信息，确定颜色损失包括：根据以下公式确定所述颜色损失：

其中，L_c表示所述颜色损失，c表示所述输出颜色信息，c_g表示所述真实颜色信息，mse(•)表示均方差损失函数。

4. 根据权利要求1所述的方法，其中，所述像素点的射线信息包括所述射线的位置信息和视角信息，所述深度学习模型包括第一子模型和第二子模型；所述将所述图像序列中多个图像各自的像素点的射线信息输入深度学习模型，得到所述像素点的射线的输出颜色信息和输出密度分布包括：

将所述射线的位置信息输入所述第一子模型，得到所述输出密度分布以及中间特征；以及

将所述射线的视角信息和所述中间特征输入所述第二子模型，得到所述输出颜色信息。

5.根据权利要求4所述的方法，其中，所述根据所述损失，调整所述深度学习模型的参数包括：

根据所述损失，调整所述第一子模型和所述第二子模型的参数。

6. 根据权利要求1所述的方法，还包括：

根据所述图像采集装置的惯性测量单元IMU信息，确定所述图像采集装置在每个图像的采集时刻的位姿；或者

根据所述图像序列中的多个图像彼此之间的位姿关系，确定所述图像采集装置在每个图像的采集时刻的位姿。

7. 根据权利要求1所述的方法，还包括：

获取视频序列，所述视频序列是通过所述图像采集设备对目标环境进行拍摄得到的；以及

对所述视频序列进行拆帧，得到所述图像序列。

8.一种生成全景图的方法，包括：

根据图像采集装置在图像序列中每个图像的采集时刻的位姿，确定所述图像采集装置的目标位置点，所述图像序列是所述图像采集装置针对目标场景进行采集得到的；

根据所述目标位置点，生成所述目标场景的射线信息，所述射线是以所述目标位置点为起点，以指向所述目标场景中的位置点为方向确定的；

将所述目标场景的射线信息输入深度学习模型，得到所述目标场景的射线的颜色信息和密度分布；以及

根据所述目标场景的射线的颜色信息和密度分布，对所述目标场景进行图像渲染，得到所述目标场景的全景图；

其中，所述深度学习模型是根据权利要求1至7中任一项所述的方法进行训练得到的；

所述根据所述目标位置点，生成所述目标场景的射线信息包括：

以所述目标位置点为球心，以预设距离为半径，确定用于渲染所述目标场景的球面；

确定从所述球心指向所述球面上的多个位置点的射线信息，作为所述目标场景的射线；

所述根据所述目标场景的射线的颜色信息和密度分布，对所述目标场景进行图像渲染，得到所述目标场景的全景图包括：

根据所述目标场景的射线的颜色信息和密度分布，对所述目标场景进行球面图像的渲染，得到球面图，作为所述全景图。

9.根据权利要求8所述的方法，其中，所述射线信息包括所述射线的位置信息和视角信息，所述深度学习模型包括第一子模型和第二子模型；所述将所述目标场景的射线信息输入深度学习模型，得到所述目标场景的射线的颜色信息和密度分布包括：

将所述目标场景的射线的位置信息输入所述第一子模型，得到所述目标场景的射线的密度分布以及中间特征；

将所述目标场景的射线的视角信息和所述中间特征输入所述第二子模型，得到所述目标场景的射线的颜色信息。

10.根据权利要求8所述的方法，其中，所述图像采集装置在图像序列中每个图像的采集时刻的位姿包括所述图像采集装置在每个采集时刻的位置点；所述根据图像采集装置在图像序列中每个图像的采集时刻的位姿，确定所述图像采集装置的目标位置点包括：

根据所述图像采集装置在多个采集时刻的位置点，确定所述图像采集装置的目标位置点。

11. 根据权利要求8或10所述的方法，还包括：

根据所述图像采集装置的惯性测量单元IMU信息，确定所述图像采集装置在每个图像的采集时刻的位姿；或者

根据所述图像序列中的多个图像彼此之间的位姿关系，确定所述图像采集装置在每个图像的采集时刻的位姿。

12. 根据权利要求8所述的方法，还包括：

获取视频序列，所述视频序列是通过所述图像采集设备对目标环境进行拍摄得到的；以及

对所述视频序列进行拆帧，得到所述图像序列。

13.一种深度学习模型的训练装置，包括：

第一获取模块，用于获取图像采集装置针对目标场景采集得到的图像序列；

第一确定模块，用于针对所述图像序列中的每个图像，根据所述图像采集装置在该图像的采集时刻的位姿，确定所述图像中的像素点的射线信息，所述像素点的射线是以所述图像采集装置在该图像的采集时刻的位置点为起点，以指向与所述像素点对应的目标场景中的位置点为方向确定的；

第一处理模块，用于将所述图像序列中多个图像各自的像素点的射线信息输入深度学习模型，得到所述像素点的射线的输出颜色信息和输出密度分布；

第二确定模块，用于根据所述像素点的射线的输出颜色信息、输出密度分布以及预设密度分布，确定所述深度学习模型的损失；以及

调整模块，用于根据所述损失，调整所述深度学习模型的参数；

其中，所述第一确定模块包括：

第一确定单元，用于针对每个图像，以所述图像采集装置在该图像的采集时刻的位置点为球心，以预设距离为半径，确定用于渲染所述目标场景的球面；

第二确定单元，用于以该图像作为所述球面的投影，确定从所述球心指向与该图像中的像素点对应的所述球面上的位置点的射线信息；

所述装置还包括：

第三确定模块，用于根据所述半径确定所述预设密度分布。

14.根据权利要求13所述的装置，其中，所述第二确定模块包括：

第三确定单元，用于根据所述输出密度分布和所述预设密度分布，确定密度损失；

第四确定单元，用于根据所述输出颜色信息和所述像素点的真实颜色信息，确定颜色损失；以及

第五确定单元，用于根据所述密度损失和所述颜色损失，确定所述深度学习模型的损失。

15.根据权利要求14所述的装置，其中，

所述第三确定单元用于根据以下公式确定所述密度损失：

其中，L_σ表示所述密度损失，σ表示所述输出密度分布，σ_gt表示所述预设密度分布，KL(•)表示相对熵损失函数；

所述第四确定单元，用于根据以下公式确定所述颜色损失：

其中，L_c表示所述颜色损失，c表示所述输出颜色信息，c_g表示所述真实颜色信息，mse(•)表示均方差损失函数。

16. 根据权利要求13所述的装置，其中，所述像素点的射线信息包括所述射线的位置信息和视角信息，所述深度学习模型包括第一子模型和第二子模型；所述第一处理模块包括：

第一处理单元，用于将所述射线的位置信息输入所述第一子模型，得到所述输出密度分布以及中间特征；以及

第二处理单元，用于将所述射线的视角信息和所述中间特征输入所述第二子模型，得到所述输出颜色信息。

17.根据权利要求16所述的装置，其中，

所述调整模块，用于根据所述损失，调整所述第一子模型和所述第二子模型的参数。

18.根据权利要求13所述的装置，还包括：

第四确定模块，用于根据所述图像采集装置的惯性测量单元IMU信息，确定所述图像采集装置在每个图像的采集时刻的位姿；或者根据所述图像序列中的多个图像彼此之间的位姿关系，确定所述图像采集装置在每个图像的采集时刻的位姿。

19. 根据权利要求13所述的装置，还包括：

第二获取模块，用于获取视频序列，所述视频序列是通过所述图像采集设备对目标环境进行拍摄得到的；以及

第一拆帧模块，用于对所述视频序列进行拆帧，得到所述图像序列。

20.一种生成全景图的装置，包括：

第五确定模块，用于根据图像采集装置在图像序列中每个图像的采集时刻的位姿，确定所述图像采集装置的目标位置点，所述图像序列是所述图像采集装置针对目标场景进行采集得到的；

第一生成模块，用于根据所述目标位置点，生成所述目标场景的射线信息，所述射线是以所述目标位置点为起点，以指向所述目标场景中的位置点为方向确定的；

第二处理模块，用于将所述目标场景的射线信息输入深度学习模型，得到所述目标场景的射线的颜色信息和密度分布；以及

渲染模块，用于根据所述目标场景的射线的颜色信息和密度分布，对所述目标场景进行图像渲染，得到所述目标场景的全景图；

其中，所述深度学习模型是根据权利要求13至19中任一项所述的装置进行训练得到的；

其中，所述第一生成模块包括：

第六确定单元，用于以所述目标位置点为球心，以预设距离为半径，确定用于渲染所述目标场景的球面；

第七确定单元，用于确定从所述球心指向所述球面上的多个位置点的射线信息，作为所述目标场景的射线；

所述渲染模块，用于根据所述目标场景的射线的颜色信息和密度分布，对所述目标场景进行球面图像的渲染，得到球面图，作为所述全景图。

21.根据权利要求20所述的装置，其中，所述射线信息包括所述射线的位置信息和视角信息，所述深度学习模型包括第一子模型和第二子模型；所述第二处理模块包括：

第三处理单元，用于将所述目标场景的射线的位置信息输入所述第一子模型，得到所述目标场景的射线的密度分布以及中间特征；

第四处理单元，用于将所述目标场景的射线的视角信息和所述中间特征输入所述第二子模型，得到所述目标场景的射线的颜色信息。

22.根据权利要求20所述的装置，其中，所述图像采集装置在图像序列中每个图像的采集时刻的位姿包括所述图像采集装置在每个采集时刻的位置点；所述第五确定模块用于根据所述图像采集装置在多个采集时刻的位置点，确定所述图像采集装置的目标位置点。

23.根据权利要求20或22所述的装置，还包括：

第六确定模块，用于根据所述图像采集装置的惯性测量单元IMU信息，确定所述图像采集装置在每个图像的采集时刻的位姿；或者根据所述图像序列中的多个图像彼此之间的位姿关系，确定所述图像采集装置在每个图像的采集时刻的位姿。

24. 根据权利要求20所述的装置，还包括：

第三获取模块，用于获取视频序列，所述视频序列是通过所述图像采集设备对目标环境进行拍摄得到的；以及

第二拆帧模块，用于对所述视频序列进行拆帧，得到所述图像序列。

25. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至12中任一项所述的方法。

26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至12中任一项所述的方法。

Images