CN115810086A - 一种三维场景重建方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例属于人工智能中的图像处理技术领域，涉及一种三维场景重建方法、装置、计算机设备及存储介质。本申请通过光线追踪法获取采样空间点，并对该采样空间点进行空间参数化，得到空间点参数；然后分别根据多分辨率哈希网格以及高分辨率平面对空间点参数进行特征提取，并对提取到的特征数据进行混合操作，得到混合特征数据；最后通过轻量级网络对该混合特征数据进行颜色预测，并通过预测的颜色值重建目标场景的三维场景，能够在实现1.5小时内实现场景(大概300×300m²)的快速重建，且保证了三维场景的高质量。

Description

一种三维场景重建方法、装置、计算机设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种三维场景重建方法、装置、计算机设备及存储介质。

背景技术

从多视角图像进行大规模场景重建是计算机视觉领域的一个经典问题。传统的方法往往采用依赖于SFM(structure-from-motion)方法来估计摄像机姿态，并应用稠密的多视点立体视觉方法来重建场景的三维模型。自2020年来，一种新的神经场景表示,神经辐射场(NeRF,Neural Radiance Fields)，革命性地改变了物体(场景)重建和新视图合成的问题。因其逼真的渲染质量而受到了广泛关注。

现有一种三维场景重建方法，受Mega-NeRF启发，通过无人机采集的图像进行大规模三维场景重建(例如城市、校园、郊区等大场景)。

然而，申请人发现，传统的三维场景重建方法单纯利用网络来学习三维场景中的属性(例如某个空间点的颜色和密度)，通过网络来搜寻三维空间点进而得到属性的过程十分耗时，且需要大量的算力(例如需要在8个GPU的机器上训练一天的时间)，导致此类方法无法应用在低成本、低算力的设备上，且需要很长的训练时间，由此可见，传统的三维场景重建方法存在成本较高、设备要求较高、效率过低的问题。

发明内容

本申请实施例的目的在于提出一种三维场景重建方法、装置、计算机设备及存储介质，以解决传统的三维场景重建方法存在成本较高、设备要求较高、效率过低的问题。

为了解决上述技术问题，本申请实施例提供一种三维场景重建方法，采用了如下所述的技术方案：

接收用户终端发送的场景重建请求，其中，所述场景重建请求包括与目标场景相对应的大规模图像；

根据光线追踪法对所述大规模图像进行空间点采样操作，得到采样空间点；

对所述采样空间点进行空间参数化，得到空间点参数；

根据多分辨率哈希网格对所述空间点参数进行哈希特征提取操作，得到哈希特征数据；

根据高分辨率平面对所述空间点参数进行平面特征提取操作，得到平面特征数据；

对所述哈希特征数据以及所述平面特征数据进行特征混合操作，得到混合特征数据；

将所述混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色；

根据所述空间点颜色构建与所述目标场景相对应的目标三维场景。

进一步的，所述平面特征数据包括垂直平面数据，在所述根据高分辨率平面对所述空间点参数进行平面特征提取操作，得到平面特征数据的步骤之后，还包括下述步骤：

对所述垂直平面数据进行缩放操作。

进一步的，所述将所述混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色的步骤，具体包括下述步骤：

根据监督损失函数对所述混合特征数据进行所述属性预测操作，其中，所述监督损失函数表示为：

其中，R表示所述混合特征数据中采样点的射线集合；

表示所述空间点颜色；C(r)表示像素颜色的真实值。

进一步的，所述将所述混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色的步骤，具体包括下述步骤：

将所述混合特征数据输入至所述轻量级网络，得到预测颜色值；

根据体积渲染方法对所述预测颜色值进行累加操作，得到所述空间点颜色。

进一步的，所述体积渲染方法表示为：

其中，δ_i表示相邻采样点之间的间隔距离；T_i表示计算的累计透明度，所述T_i表示为：

为了解决上述技术问题，本申请实施例还提供一种三维场景重建装置，采用了如下所述的技术方案：

请求接收模块，用于接收用户终端发送的场景重建请求，其中，所述场景重建请求包括与目标场景相对应的大规模图像；

空间点采样模块，用于根据光线追踪法对所述大规模图像进行空间点采样操作，得到采样空间点；

空间参数化模块，用于对所述采样空间点进行空间参数化，得到空间点参数；

哈希特征提取模块，用于根据多分辨率哈希网格对所述空间点参数进行哈希特征提取操作，得到哈希特征数据；

平面特征提取模块，用于根据高分辨率平面对所述空间点参数进行平面特征提取操作，得到平面特征数据；

特征混合模块，用于对所述哈希特征数据以及所述平面特征数据进行特征混合操作，得到混合特征数据；

颜色预测模块，用于将所述混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色；

构建模块，用于根据所述空间点颜色构建与所述目标场景相对应的目标三维场景。

进一步的，所述装置还包括：

缩放操作模块，用于对所述垂直平面数据进行缩放操作。

进一步的，所述颜色预测模块包括：

数据输入子模块，用于将所述混合特征数据输入至所述轻量级网络，得到预测颜色值；

累加操作子模块，用于根据体积渲染方法对所述预测颜色值进行累加操作，得到所述空间点颜色。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的三维场景重建方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的三维场景重建方法的步骤。

本申请提供了一种三维场景重建方法，包括：接收用户终端发送的场景重建请求，其中，所述场景重建请求包括与目标场景相对应的大规模图像；根据光线追踪法对所述大规模图像进行空间点采样操作，得到采样空间点；对所述采样空间点进行空间参数化，得到空间点参数；根据多分辨率哈希网格对所述空间点参数进行哈希特征提取操作，得到哈希特征数据；根据高分辨率平面对所述空间点参数进行平面特征提取操作，得到平面特征数据；对所述哈希特征数据以及所述平面特征数据进行特征混合操作，得到混合特征数据；将所述混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色；根据所述空间点颜色构建与所述目标场景相对应的目标三维场景。与现有技术相比，本申请通过光线追踪法获取采样空间点，并对该采样空间点进行空间参数化，得到空间点参数；然后分别根据多分辨率哈希网格以及高分辨率平面对空间点参数进行特征提取，并对提取到的特征数据进行混合操作，得到混合特征数据；最后通过轻量级网络对该混合特征数据进行颜色预测，并通过预测的颜色值重建目标场景的三维场景，能够在实现1.5小时内实现场景(大概300×300m²)的快速重建，且保证了三维场景的高质量。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是本申请实施例一提供的三维场景重建方法的实现流程图；

图3是本申请实施例二提供的三维场景重建装置的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的三维场景重建方法一般由服务器/终端设备执行，相应地，三维场景重建装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

实施例一

继续参考图2，示出了本申请实施例一提供的三维场景重建方法的实现流程图，为了便于说明，仅示出与本申请相关的部分。

上述的三维场景重建方法，包括以下步骤：步骤S201、步骤S202、步骤S203、步骤S204、步骤S205、步骤S206、步骤S207以及步骤S208。

在步骤S201中，接收用户终端发送的场景重建请求，其中，场景重建请求包括与目标场景相对应的大规模图像。

在本申请实施例中，用户终端可以是诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端，应当理解，此处对用户终端的举例仅为方便理解，不用于限定本发明。

在步骤S202中，根据光线追踪法对大规模图像进行空间点采样操作，得到采样空间点。

利用光线追踪法，从图像像素位置发射一条射线，随后在射线上采样三维空间点，得到空间点坐标和方向。

在本申请实施例中，对于采样点，受限，空间被划分为前景和背景，本发明对两个区域分别采用了两种采样方式：

1.对前景区域线性采样，保证采样点覆盖场景的前景区域，满足高质量前景渲染的需要；

2.对背景区域逆采样，即采用间隔为距离倒数的非线性采样方法，确保覆盖远距离的背景。

在步骤S203中，对采样空间点进行空间参数化，得到空间点参数。

在本申请实施例中，对采样的空间点进行空间参数化，具体地，考虑一个以原点为中心的场景，我们将场景划分为前景和背景区域，并通过预先定义的边界B将其分隔开，给定一个3D点，我们先将其归一化：

x＝x/B

在本申请实施例中，然后应用空间收缩方法：

其中，x表示空间点坐标，p表示范数，b表示背景区域所占空间大小(如图中外圆部分)，在具体实施例中，本发明设定p为2，b为1。

在步骤S204中，根据多分辨率哈希网格对空间点参数进行哈希特征提取操作，得到哈希特征数据。

在本申请实施例中，多分辨率哈希网格是一种高效的数据结构，可以用高分辨率网格(例如1024或更高分辨率)来表示场景，并且通过哈希函数随机映射将3D点映射到具有固定大小的线性哈希表中。多分辨率哈希网格的参数量由L·T·F限定，其中L为分辨率的个数，T和F代表每个分辨率下哈希表大小和特征维数。在具体实施例中，为了平衡效率和性能，本发明设置L＝16,T＝2^19,F＝2。

在步骤S205中，根据高分辨率平面对空间点参数进行平面特征提取操作，得到平面特征数据。

在本申请实施例中，将平面特征设计为三个正交放置的平面，分辨率为N，特征维数为F，通过对于查询的三维点，首先在这三个平面上进行正交投影，然后通过双线性插值得到二维平面特征，然后将插值后的三个特征拼接成一个长度为3·F的特征向量。

在本申请实施例中，平面为多分辨率平面，(即有多个不同分辨率的平面，在实施例中我们采用了4个尺度，平面分辨率N分别为128，256，512，1024，每个尺度下的特征维度F＝2，所以总的特征维度等于8)，利用高分辨率与低分辨率的平面特征，结合了全局和局部信息，在参数量和性能之间做权衡。

在步骤S206中，对哈希特征数据以及平面特征数据进行特征混合操作，得到混合特征数据。

在本申请实施例中，结合上述的两个特征提取方法，形成本发明基于哈希网格和高分辨率平面的混合表征，具体地，本发明直接对两种提取的特征进行拼接，组成混合特征数据。

在步骤S207中，将混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色。

在步骤S208中，根据空间点颜色构建与目标场景相对应的目标三维场景。

在本申请实施例中，提供了一种三维场景重建方法，包括：接收用户终端发送的场景重建请求，其中，场景重建请求包括与目标场景相对应的大规模图像；根据光线追踪法对大规模图像进行空间点采样操作，得到采样空间点；对采样空间点进行空间参数化，得到空间点参数；根据多分辨率哈希网格对空间点参数进行哈希特征提取操作，得到哈希特征数据；根据高分辨率平面对空间点参数进行平面特征提取操作，得到平面特征数据；对哈希特征数据以及平面特征数据进行特征混合操作，得到混合特征数据；将混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色；根据空间点颜色构建与目标场景相对应的目标三维场景。与现有技术相比，本申请通过光线追踪法获取采样空间点，并对该采样空间点进行空间参数化，得到空间点参数；然后分别根据多分辨率哈希网格以及高分辨率平面对空间点参数进行特征提取，并对提取到的特征数据进行混合操作，得到混合特征数据；最后通过轻量级网络对该混合特征数据进行颜色预测，并通过预测的颜色值重建目标场景的三维场景，能够在实现1.5小时内实现场景(大概300×300m²)的快速重建，且保证了三维场景的高质量。

在本实施例的一些可选的实现方式中，平面特征数据包括垂直平面数据，在步骤S205之后，还包括下述步骤：

对垂直平面数据进行缩放操作。

在本申请实施例中，由于目标场景的规模比较大，场景的高度往往小于水平长度。为了减少特征在垂直平面上的浪费，我们使用相机高度测量对垂直平面进行缩放，使场景的空间点铺满设计的平面。

在本实施例的一些可选的实现方式中，步骤S207具体包括下述步骤：

根据监督损失函数对混合特征数据进行属性预测操作，其中，监督损失函数表示为：

其中，R表示混合特征数据中采样点的射线集合；

表示空间点颜色；C(r)表示像素颜色的真实值。

在本申请实施例中，将混合特征输入一个轻量级网络，通过监督学习的方式预测输入的三维空间点的属性，该属性包括该空间点的密度值σ_i和颜色值c_i。随后采用体积渲染的方式对射线上每个空间点的颜色进行累加，得到射线对应的像素颜色值。

在本实施例的一些可选的实现方式中，步骤S207具体包括下述步骤：

将混合特征数据输入至轻量级网络，得到预测颜色值；

根据体积渲染方法对预测颜色值进行累加操作，得到空间点颜色。

在本实施例的一些可选的实现方式中，体积渲染方法表示为：

其中，δ_i表示相邻采样点之间的间隔距离；T_i表示计算的累计透明度，T_i表示为：

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

实施例二

进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种三维场景重建装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的三维场景重建装置200包括：请求接收模块210、空间点采样模块220、空间参数化模块230、哈希特征提取模块240、平面特征提取模块250、特征混合模块260、颜色预测模块270以及构建模块280。其中：

请求接收模块210，用于接收用户终端发送的场景重建请求，其中，所述场景重建请求包括与目标场景相对应的大规模图像；

空间点采样模块220，用于根据光线追踪法对所述大规模图像进行空间点采样操作，得到采样空间点；

空间参数化模块230，用于对所述采样空间点进行空间参数化，得到空间点参数；

哈希特征提取模块240，用于根据多分辨率哈希网格对所述空间点参数进行哈希特征提取操作，得到哈希特征数据；

平面特征提取模块250，用于根据高分辨率平面对所述空间点参数进行平面特征提取操作，得到平面特征数据；

特征混合模块260，用于对所述哈希特征数据以及所述平面特征数据进行特征混合操作，得到混合特征数据；

颜色预测模块270，用于将所述混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色；

构建模块280，用于根据所述空间点颜色构建与所述目标场景相对应的目标三维场景。

在本申请实施例中，用户终端可以是诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端，应当理解，此处对用户终端的举例仅为方便理解，不用于限定本发明。

利用光线追踪法，从图像像素位置发射一条射线，随后在射线上采样三维空间点，得到空间点坐标和方向。

在本申请实施例中，对于采样点，受限，空间被划分为前景和背景，本发明对两个区域分别采用了两种采样方式：

1.对前景区域线性采样，保证采样点覆盖场景的前景区域，满足高质量前景渲染的需要；

2.对背景区域逆采样，即采用间隔为距离倒数的非线性采样方法，确保覆盖远距离的背景。

在本申请实施例中，对采样的空间点进行空间参数化，具体地，考虑一个以原点为中心的场景，我们将场景划分为前景和背景区域，并通过预先定义的边界B将其分隔开，给定一个3D点，我们先将其归一化：

x＝x/B

在本申请实施例中，然后应用空间收缩方法：

其中，x表示空间点坐标，p表示范数，b表示背景区域所占空间大小(如图中外圆部分)，在具体实施例中，本发明设定p为2，b为1。

在本申请实施例中，多分辨率哈希网格是一种高效的数据结构，可以用高分辨率网格(例如1024或更高分辨率)来表示场景，并且通过哈希函数随机映射将3D点映射到具有固定大小的线性哈希表中。多分辨率哈希网格的参数量由L·T·F限定，其中L为分辨率的个数，T和F代表每个分辨率下哈希表大小和特征维数。在具体实施例中，为了平衡效率和性能，本发明设置L＝16,T＝2^19,F＝2。

在本申请实施例中，将平面特征设计为三个正交放置的平面，分辨率为N，特征维数为F，通过对于查询的三维点，首先在这三个平面上进行正交投影，然后通过双线性插值得到二维平面特征，然后将插值后的三个特征拼接成一个长度为3·F的特征向量。

在本申请实施例中，平面为多分辨率平面，(即有多个不同分辨率的平面，在实施例中我们采用了4个尺度，平面分辨率N分别为128，256，512，1024，每个尺度下的特征维度F＝2，所以总的特征维度等于8)，利用高分辨率与低分辨率的平面特征，结合了全局和局部信息，在参数量和性能之间做权衡。

在本申请实施例中，结合上述的两个特征提取方法，形成本发明基于哈希网格和高分辨率平面的混合表征，具体地，本发明直接对两种提取的特征进行拼接，组成混合特征数据。

在本申请实施例中，提供了一种三维场景重建装置200，包括：请求接收模块210、空间点采样模块220、空间参数化模块230、哈希特征提取模块240、平面特征提取模块250、特征混合模块260、颜色预测模块270以及构建模块280。与现有技术相比，本申请通过光线追踪法获取采样空间点，并对该采样空间点进行空间参数化，得到空间点参数；然后分别根据多分辨率哈希网格以及高分辨率平面对空间点参数进行特征提取，并对提取到的特征数据进行混合操作，得到混合特征数据；最后通过轻量级网络对该混合特征数据进行颜色预测，并通过预测的颜色值重建目标场景的三维场景，能够在实现1.5小时内实现场景(大概300×300m²)的快速重建，且保证了三维场景的高质量。

在本实施例的一些可选的实现方式中，平面特征数据包括垂直平面数据，上述三维场景重建装置200还包括：缩放操作模块，其中：

缩放操作模块，用于对垂直平面数据进行缩放操作。

在本申请实施例中，由于目标场景的规模比较大，场景的高度往往小于水平长度。为了减少特征在垂直平面上的浪费，我们使用相机高度测量对垂直平面进行缩放，使场景的空间点铺满设计的平面。

在本实施例的一些可选的实现方式中，颜色预测模块270包括：属性预测子模块，其中：

属性预测子模块，用于根据监督损失函数对混合特征数据进行属性预测操作，其中，监督损失函数表示为：

其中，R表示混合特征数据中采样点的射线集合；

表示空间点颜色；C(r)表示像素颜色的真实值。

在本申请实施例中，将混合特征输入一个轻量级网络，通过监督学习的方式预测输入的三维空间点的属性，该属性包括该空间点的密度值σ_i和颜色值c_i。随后采用体积渲染的方式对射线上每个空间点的颜色进行累加，得到射线对应的像素颜色值。

在本实施例的一些可选的实现方式中，颜色预测模块270包括：数据输入子模块和累加操作子模块，其中：

数据输入子模块，用于将混合特征数据输入至轻量级网络，得到预测颜色值；

累加操作子模块，用于根据体积渲染方法对预测颜色值进行累加操作，得到空间点颜色。

在本实施例的一些可选的实现方式中，体积渲染方法表示为：

其中，δ_i表示相邻采样点之间的间隔距离；T_i表示计算的累计透明度，T_i表示为：

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备300包括通过系统总线相互通信连接存储器310、处理器320、网络接口330。需要指出的是，图中仅示出了具有组件310-330的计算机设备300，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器310至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器310可以是所述计算机设备300的内部存储单元，例如该计算机设备300的硬盘或内存。在另一些实施例中，所述存储器310也可以是所述计算机设备300的外部存储设备，例如该计算机设备300上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器310还可以既包括所述计算机设备300的内部存储单元也包括其外部存储设备。本实施例中，所述存储器310通常用于存储安装于所述计算机设备300的操作系统和各类应用软件，例如三维场景重建方法的计算机可读指令等。此外，所述存储器310还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器320在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器320通常用于控制所述计算机设备300的总体操作。本实施例中，所述处理器320用于运行所述存储器310中存储的计算机可读指令或者处理数据，例如运行所述三维场景重建方法的计算机可读指令。

所述网络接口330可包括无线网络接口或有线网络接口，该网络接口330通常用于在所述计算机设备300与其他电子设备之间建立通信连接。

本申请提供的计算机设备，通过光线追踪法获取采样空间点，并对该采样空间点进行空间参数化，得到空间点参数；然后分别根据多分辨率哈希网格以及高分辨率平面对空间点参数进行特征提取，并对提取到的特征数据进行混合操作，得到混合特征数据；最后通过轻量级网络对该混合特征数据进行颜色预测，并通过预测的颜色值重建目标场景的三维场景，能够在实现1.5小时内实现场景(大概300×300m²)的快速重建，且保证了三维场景的高质量。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的三维场景重建方法的步骤。

本申请提供的计算机可读存储介质，通过光线追踪法获取采样空间点，并对该采样空间点进行空间参数化，得到空间点参数；然后分别根据多分辨率哈希网格以及高分辨率平面对空间点参数进行特征提取，并对提取到的特征数据进行混合操作，得到混合特征数据；最后通过轻量级网络对该混合特征数据进行颜色预测，并通过预测的颜色值重建目标场景的三维场景，能够在实现1.5小时内实现场景(大概300×300m²)的快速重建，且保证了三维场景的高质量。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种三维场景重建方法，其特征在于，包括下述步骤：

接收用户终端发送的场景重建请求，其中，所述场景重建请求包括与目标场景相对应的大规模图像；

根据光线追踪法对所述大规模图像进行空间点采样操作，得到采样空间点；

对所述采样空间点进行空间参数化，得到空间点参数；

根据多分辨率哈希网格对所述空间点参数进行哈希特征提取操作，得到哈希特征数据；

根据高分辨率平面对所述空间点参数进行平面特征提取操作，得到平面特征数据；

对所述哈希特征数据以及所述平面特征数据进行特征混合操作，得到混合特征数据；

将所述混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色；

根据所述空间点颜色构建与所述目标场景相对应的目标三维场景。

2.根据权利要求1所述的三维场景重建方法，其特征在于，所述平面特征数据包括垂直平面数据，在所述根据高分辨率平面对所述空间点参数进行平面特征提取操作，得到平面特征数据的步骤之后，还包括下述步骤：

对所述垂直平面数据进行缩放操作。

3.根据权利要求1所述的三维场景重建方法，其特征在于，所述将所述混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色的步骤，具体包括下述步骤：

根据监督损失函数对所述混合特征数据进行所述颜色预测操作，其中，所述监督损失函数表示为：

其中，R表示所述混合特征数据中采样点的射线集合；

表示所述空间点颜色；C(r)表示像素颜色的真实值。

4.根据权利要求1所述的三维场景重建方法，其特征在于，所述将所述混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色的步骤，具体包括下述步骤：

将所述混合特征数据输入至所述轻量级网络，得到预测颜色值；

根据体积渲染方法对所述预测颜色值进行累加操作，得到所述空间点颜色。

5.根据权利要求4所述的三维场景重建方法，其特征在于，所述体积渲染方法表示为：

其中，δ_i表示相邻采样点之间的间隔距离；T_i表示计算的累计透明度，所述T_i表示为：

6.一种三维场景重建装置，其特征在于，包括：

请求接收模块，用于接收用户终端发送的场景重建请求，其中，所述场景重建请求包括与目标场景相对应的大规模图像；

空间点采样模块，用于根据光线追踪法对所述大规模图像进行空间点采样操作，得到采样空间点；

空间参数化模块，用于对所述采样空间点进行空间参数化，得到空间点参数；

哈希特征提取模块，用于根据多分辨率哈希网格对所述空间点参数进行哈希特征提取操作，得到哈希特征数据；

平面特征提取模块，用于根据高分辨率平面对所述空间点参数进行平面特征提取操作，得到平面特征数据；

特征混合模块，用于对所述哈希特征数据以及所述平面特征数据进行特征混合操作，得到混合特征数据；

颜色预测模块，用于将所述混合特征数据输入至轻量级网络进行颜色预测操作，得到空间点颜色；

构建模块，用于根据所述空间点颜色构建与所述目标场景相对应的目标三维场景。

7.根据权利要求6所述的三维场景重建装置，其特征在于，所述平面特征数据包括垂直平面数据，所述装置还包括：

缩放操作模块，用于对所述垂直平面数据进行缩放操作。

8.根据权利要求6所述的三维场景重建装置，其特征在于，所述颜色预测模块包括：

数据输入子模块，用于将所述混合特征数据输入至所述轻量级网络，得到预测颜色值；

累加操作子模块，用于根据体积渲染方法对所述预测颜色值进行累加操作，得到所述空间点颜色。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至5中任一项所述的三维场景重建方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的三维场景重建方法的步骤。

Images