CN115908151A - 一种数据处理方法、装置、计算机设备以及存储介质 - Google Patents

Abstract

本申请实施例公开一种数据处理方法、装置、计算机设备以及存储介质，其中方法包括如下步骤：获取目标场景的低动态范围图片；基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片；根据所述高动态范围图片生成所述目标场景的光照参数；基于所述光照参数对虚拟模型进行渲染。采用本申请，可以简化获取光照信息的步骤，降低光照信息获取的成本。

Description

一种数据处理方法、装置、计算机设备以及存储介质

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据处理方法、装置、计算机设备以及存储介质。

背景技术

在AR模型渲染中，光照信息是一个非常重要的参数，在将虚拟的AR模型渲染到真实场景的图像中时，为了能让虚拟模型与真实场景更加贴合，通常需要尽可能真实的场景光照信息去渲染虚拟模型，从而增加渲染的真实感。

目前主要是通过高动态范围(High Dynamic Range，HDR)图片获取场景光照信息，但一般相机的动态范围有限，只能采集到场景的低动态范围(Low Dynamic Range，LDR)图片，LDR图片中光照信息不完整，存在过曝或过暗的问题，需要统一拍摄角度多次曝光采集HDR图片，才能获取完整的光照信息。获取光照信息的条件比较苛刻。

发明内容

本申请实施例提供一种数据处理方法、装置、计算机设备以及存储介质，可以简化获取光照信息的步骤，降低光照信息获取的成本。

本申请实施例一方面提供了一种数据处理方法，可包括：

获取目标场景的低动态范围图片；

基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片；

根据所述高动态范围图片生成所述目标场景的光照参数；

基于所述光照参数对虚拟模型进行渲染。

在一种可行的实施方式中，还包括：

获取初始图片生成网络和训练数据集合，所述训练数据集合包括训练场景的低动态范围训练图片以及所述训练场景的高动态范围训练图片；

将所述低动态范围训练图片输入所述初始图片生成网络，生成训练场景的初始高动态范围图片；

基于所述初始高动态范围图片和所述高动态范围训练图片对所述初始图片生成网络进行训练，得到图片生成网络。

在一种可行的实施方式中，所述基于所述初始高动态范围图片和所述高动态范围训练图片对所述初始图片生成网络进行训练，得到图片生成网络，包括：

对所述高动态范围训练图片进行图像处理生成高动态范围训练图片对应的训练图像金字塔；

对所述初始高动态范围图片进行图像处理生成初始高动态范围图片对应的初始图像金字塔；

根据所述训练图像金字塔和所述初始图像金字塔调整所述初始图片生成网络的模型参数；

当调整后的初始图片生成网络满足收敛条件时，将包含调整后的模型参数的初始图片生成网络确定为图片生成网络。

在一种可行的实施方式中，所述基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片，包括：

通过图片生成网络对所述低动态范围图片进行特征提取生成图像特征信息；

基于所述图片生成网络和所述图像特征信息生成所述目标场景的高动态范围图片。

在一种可行的实施方式中，所述根据所述高动态范围图片生成所述目标场景的光照参数，包括：

基于球坐标系生成所述高动态范围图片中每个通道对应的至少两阶球谐系数；所述高动态范围图片为多通道图片；

根据所述高动态范围图片中每个通道对应的球谐系数确定每个通道对应的光照系数；

根据所述光照系数生成所述目标场景的光照参数。

在一种可行的实施方式中，所述光照系数包括第一参数、第二参数、第三参数和第四参数；所述光照参数包括光照颜色、光照强度和光照方向；

所述根据所述光照系数生成所述目标场景的光照参数，包括：

根据所述高动态范围图片中每个通道的所述第一参数确定每个通道的光照强度；

根据所述高动态范围图片中每个通道的所述第二参数、所述第三参数和所述第四参数生成每个通道的光照方向；

获取所述高动态范围图片中每个通道的权重系数；

根据所述高动态范围图片中每个通道的光照强度、光照方向和权重系数生成所述目标场景的光照参数。

在一种可行的实施方式中，所述根据所述高动态范围图片中每个通道的光照强度、光照方向和权重系数生成所述目标场景的光照参数，包括：

根据所述高动态范围图片中每个通道的光照强度确定所述目标场景的光照颜色；

采用所述每个通道的权重系数对各通道的光照强度进行加权运算，确定所述目标场景的光照强度；

采用所述每个通道的权重系数对各通道的光照方向进行加权运算，确定所述目标场景的光照方向。

在一种可行的实施方式中，所述基于所述光照参数对虚拟模型进行渲染之前，还包括：

获取所述光照参数中所述光照强度、所述光照颜色和所述光照方向分别对应的阻尼系数；所述阻尼系数用于表征光照参数的平滑性；

根据所述阻尼系数对所述光照参数进行平滑处理生成平滑处理后的光照参数；

所述基于所述光照参数对虚拟模型进行渲染，包括：

将所述平滑处理后的光照参数输入渲染引擎，以使所述渲染引擎采用所述平滑处理后的光照参数对虚拟模型进行渲染。

本申请实施例一方面提供了一种数据处理装置，可包括：

图片获取模块，用于获取目标场景的低动态范围图片；

图片生成模块，用于基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片；

光照参数生成模块，用于根据所述高动态范围图片生成所述目标场景的光照参数；

光照参数输入模块，用于基于所述光照参数对虚拟模型进行渲染。

在一种可行的实施方式中，还包括：

网络训练模块，用于获取初始图片生成网络和训练数据集合，所述训练数据集合包括训练场景的低动态范围训练图片以及所述训练场景的高动态范围训练图片；

将所述低动态范围训练图片输入所述初始图片生成网络，生成训练场景的初始高动态范围图片；

基于所述初始高动态范围图片和所述高动态范围训练图片对所述初始图片生成网络进行训练，得到图片生成网络。

在一种可行的实施方式中，所述网络训练模块具体用于：

对所述高动态范围训练图片进行图像处理生成高动态范围训练图片对应的训练图像金字塔；

对所述初始高动态范围图片进行图像处理生成初始高动态范围图片对应的初始图像金字塔；

根据所述训练图像金字塔和所述初始图像金字塔调整所述初始图片生成网络的模型参数；

当调整后的初始图片生成网络满足收敛条件时，将包含调整后的模型参数的初始图片生成网络确定为图片生成网络。

在一种可行的实施方式中，所述图片生成模块具体用于：

通过图片生成网络对所述低动态范围图片进行特征提取生成图像特征信息；

基于所述图片生成网络和所述图像特征信息生成所述目标场景的高动态范围图片。

在一种可行的实施方式中，所述光照参数生成模块，包括：

光照系数生成单元，用于基于球坐标系生成所述高动态范围图片中每个通道对应的至少两阶球谐系数；所述高动态范围图片为多通道图片；

根据所述高动态范围图片中每个通道对应的球谐系数确定每个通道对应的光照系数；

光照参数生成单元，用于根据所述光照系数生成所述目标场景的光照参数。

在一种可行的实施方式中，所述光照系数包括第一参数、第二参数、第三参数和第四参数；所述光照参数包括光照颜色、光照强度和光照方向；

所述光照参数生成单元，包括：

通道参数生成子单元，用于根据所述高动态范围图片中每个通道的所述第一参数确定每个通道的光照强度；

根据所述高动态范围图片中每个通道的所述第二参数、所述第三参数和所述第四参数生成每个通道的光照方向；

获取所述高动态范围图片中每个通道的权重系数；

光照参数生成子单元，用于根据所述高动态范围图片中每个通道的光照强度、光照方向和权重系数生成所述目标场景的光照参数。

在一种可行的实施方式中，所述光照参数生成子单元具体用于：

根据所述高动态范围图片中每个通道的光照强度确定所述目标场景的光照颜色；

采用所述每个通道的权重系数对各通道的光照强度进行加权运算，确定所述目标场景的光照强度；

采用所述每个通道的权重系数对各通道的光照方向进行加权运算，确定所述目标场景的光照方向。

在一种可行的实施方式中，还包括：

平滑处理模块，用于获取所述光照参数中所述光照强度、所述光照颜色和所述光照方向分别对应的阻尼系数；所述阻尼系数用于表征光照参数的平滑性；

根据所述阻尼系数对所述光照参数进行平滑处理生成平滑处理后的光照参数；

所述光照参数输入模块具体用于：

将所述平滑处理后的光照参数输入渲染引擎，以使所述渲染引擎采用所述平滑处理后的光照参数对虚拟模型进行渲染。

本申请实施例一方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行上述的方法步骤。

本申请实施例一方面提供了一种计算机设备，包括：处理器、存储器以及网络接口；所述处理器与所述存储器、所述网络接口相连，其中，所述网络接口用于提供网络通信功能，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码执行上述的方法步骤。

本申请实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的方法步骤。

在本申请实施例中，通过获取目标场景的低动态范围图片，并基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片，进一步根据所述高动态范围图片生成所述目标场景的光照参数，最后基于所述光照参数对虚拟模型进行渲染。采用上述方法，可以避免使用全景相机和光照球这些成本较高的设备拍摄HDR图片，可以基于LDR图片获取光照信息，简化了获取光照信息的步骤，降低了光照信息获取的成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种数据处理的网络架构图；

图2是本申请实施例提供的一种数据处理方法的流程示意图；

图3是本申请实施例提供的一种数据处理方法的流程示意图；

图4a是本申请实施例提供的一种生成光照参数的举例示意图；

图4b是本申请实施例提供的一种虚拟模型渲染的场景示意图；

图5是本申请实施例提供的一种数据处理装置的结构示意图；

图6是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参见图1，图1是本申请实施例提供的数据处理的网络架构图。该网络架构图可以包括业务服务器100以及用户终端集群，该用户终端集群可以包括用户终端10a、用户终端10b、…、用户终端10c，其中，用户终端集群之间可以存在通信连接，例如用户终端10a与用户终端10b之间存在通信连接，用户终端10b与用户终端10c之间存在通信连接，且用户终端集群中的任一用户终端可以与业务服务器100存在通信连接，例如用户终端10a与业务服务器100之间存在通信连接，用户终端10b与业务服务器100之间存在通信连接。

其中，上述用户终端集群(也包括上述的用户终端10a、用户终端10b以及用户终端10c)均可以集成安装有目标应用。可选的，该目标应用可以包括具有展示文字、图像以及视频等数据信息功能的应用。数据库10d中存储了图片生成网络以及用于训练上述图片生成网络的训练数据集合。在一种可行的实施方式中，用户终端获取目标场景的低动态范围图片，并基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片，进一步用户终端根据所述高动态范围图片生成所述目标场景的光照参数，最后用户终端将所述光照参数输入渲染引擎，以使所述渲染引擎采用所述光照参数对虚拟模型进行渲染。可选的，上述用户终端可以为在上述图1所对应实施例的用户终端集群中所选取的任意一个用户终端，比如，该用户终端可以为上述用户终端10b。

可以理解的是，本申请实施例所提供的方法可以由计算机设备执行，计算机设备包括但不限于终端或服务器，本申请实施例中的业务服务器100可以为计算机设备，用户终端集群中的用户终端也可以为计算机设备，此处不限定。上述业务服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视、智能音箱、台式计算机、智能手表、车载终端等携带图像识别功能的智能终端，但并不局限于此。其中，用户终端以及业务服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。

进一步地，为便于理解，请参见图2，图2是本申请实施例提供的数据处理方法的流程示意图。该方法可以由用户终端(例如，上述图1所示的用户终端)执行，也可以由用户终端和业务服务器(如上述图1所对应实施例中的业务服务器100)共同执行。为便于理解，本实施例以该方法由上述用户终端执行为例进行说明。其中，该数据处理方法至少可以包括以下步骤S101-步骤S104：

S101，获取目标场景的低动态范围图片；

具体的，用户终端获取目标场景的低动态范围图片，可以理解的是，所述目标场景是用于获取光照信息的环境，具体可以是用户所处的当前场景，所述低动态范围图片是使用普通相机拍摄得到的图片，低动态范围图片中的光照信息不完整，低动态范围图片的拍摄视野不是全景的，例如，拍摄的视野范围为60度，具体获取低动态范围图片的方法，可以通过用户终端的相机模组实时进行拍摄，或者从用户终端本地中选择预先拍摄的图片，低动态范围图片具体可以是3通道的RGB图片或者HIS图片。

S102，基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片；

具体的，用户终端将所述低动态范围图片输入图片生成网络，图片生成网络输出所述目标场景的高动态范围图片，可以理解的是，图片生成网络具体可以是深度神经网络，例如，图片生成网络可以是ResNet，GoogleNet，MobileNetV1-V3或者ShuffleNetV1-V2，所述高动态范围图片可以为基于光照球模式对应的高动态范围图片，即上述高动态范围图片可以理解为是采用光照球的方式拍摄的高动态图片，高动态范围图片相比于低动态范围图片，高动态范围图片为全景图片，可以提供更多的动态范围和图像细节，能够更好地反映出真实环境中的视觉效果，高动态范围图片具体可以是3通道的RGB图片或者HIS图片。

生成高动态范围图片的具体步骤如下：

用户终端通过图片生成网络的特征提取层对所述低动态范围图片进行特征提取生成图像特征信息，进一步基于所述图片生成网络和所述图像特征信息生成所述目标场景的高动态范围图片。

S103，根据所述高动态范围图片生成所述目标场景的光照参数；

具体的，用户终端基于球坐标系生成所述高动态范围图片中每个通道对应的至少两阶球谐系数，所述高动态范围图片为多通道图片，下面以高动态范围图片为3通道的RGB图片进行说明，用户终端首先将高动态范围图片从球坐标系转到等矩形(equirectangle)图，然后对equirectangle图进行均匀采样获取高动态范围图片中每个通道对应的球谐系数，所述球谐系数是高动态范围图片转换为球谐函数后的正交基函数的系数，球谐系数的阶数对应球谐函数的阶数，球谐系数的个数与阶数的对应关系为m＝n²，其中，m为球谐系数的个数，n为阶数，例如，当高动态范围图片中每个通道对应为三阶球谐系数，则每个通道对应9个球谐系数。

进一步的，用户终端根据所述高动态范围图片中每个通道对应的球谐系数确定每个通道对应的光照系数，并根据所述光照系数生成所述目标场景的光照参数，所述光照系数为可以为全部的球谐系数或者为部分球谐系数。

S104，基于所述光照参数对虚拟模型进行渲染。

具体的，用户终端将所述光照参数输入渲染引擎，所述渲染引擎采用所述光照参数对虚拟模型进行渲染，使得渲染出的虚拟模型与真实光照比较贴合，虚拟模型具体可以是AR模型。

在本申请实施例中，通过获取目标场景的低动态范围图片，并基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片，进一步根据所述高动态范围图片生成所述目标场景的光照参数，最后基于所述光照参数对虚拟模型进行渲染。采用上述方法，可以避免使用全景相机和光照球这些成本较高的设备拍摄HDR图片，可以基于LDR图片获取光照信息，简化了获取光照信息的步骤，降低了光照信息获取的成本。

请参见图3，图3是本申请实施例提供的数据处理方法的流程示意图。该方法可以由用户终端(例如，上述图1所示的用户终端)执行，也可以由用户终端和业务服务器(如上述图1所对应实施例中的业务服务器100)共同执行。为便于理解，本实施例以该方法由上述用户终端执行为例进行说明。其中，该数据处理方法至少可以包括以下步骤S201-步骤S207：

S201，根据初始图片生成网络和训练数据集合生成图片生成网络。

具体的，用户终端获取初始图片生成网络和训练数据集合，所述训练数据集合包括训练场景的低动态范围训练图片以及所述训练场景的高动态范围训练图片，所述高动态范围训练图片可以通过多种方式获取，第一种方法是通过全景相机拍摄高动态范围图片，从而获取特定位置的全部方向的光照，第二种方法是在真实场景中放置一个镜面反射球，通过球体反射环境中所有方向的光线，摄像机在固定角度拍摄反射球得到场景的HDR图片。进一步的，将所述低动态范围训练图片输入所述初始图片生成网络，生成训练场景的初始高动态范围图片，最后基于所述初始高动态范围图片和所述高动态范围训练图片对所述初始图片生成网络进行训练，得到图片生成网络。

基于初始高动态范围图片和高动态范围训练图片，生成图片生成网络的具体过程如下：

用户终端对所述高动态范围训练图片进行图像处理生成高动态范围训练图片对应的训练图像金字塔，对所述初始高动态范围图片进行图像处理生成初始高动态范围图片对应的初始图像金字塔，具体的，对高动态范围训练图片和初始高动态范围图片分别构造图像金字塔，金字塔层数为至少两层，下面以3层金字塔进行说明，例如，高动态范围训练图片的尺寸为64x64，则通过对图像进行采样构建3层金字塔的尺寸为：64x64，32x32，16x16。

进一步的，用户终端根据所述训练图像金字塔和所述初始图像金字塔调整所述初始图片生成网络的模型参数，具体的，可以采用金字塔L2损失函数对初始图片生成网络的模型参数进行调整，当调整后的初始图片生成网络满足收敛条件时，将包含调整后的模型参数的初始图片生成网络确定为图片生成网络。

S202，获取目标场景的低动态范围图片；

其中，本发明实施例的步骤S202参见图2所示实施例的步骤S101的具体描述，在此不进行赘述。

S203，基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片；

其中，本发明实施例的步骤S203参见图2所示实施例的步骤S102的具体描述，在此不进行赘述。

S204，基于球坐标系生成所述高动态范围图片中每个通道对应的至少两阶球谐系数；根据所述高动态范围图片中每个通道对应的球谐系数确定每个通道对应的光照系数；

具体的，下面以高动态范围图片为3通道的RGB图片进行说明，当高动态范围图片中每个通道对应为两阶球谐系数时，则每个通道对应4个球谐系数，每个通道的球谐系数具体可以为sh0，sh1，sh2，sh3，将所有的球谐系数确定为光照系数，即光照系数为sh0，sh1，sh2，sh3，当高动态范围图片中每个通道对应的球谐系数大于两阶时，将前两阶的球谐系数确定为光照系数，例如，当高动态范围图片中每个通道对应为三阶球谐系数时，则每个通道对应9个球谐系数，每个通道的球谐系数具体可以为sh0，sh1，…sh8，将前两阶的球谐系数确定为光照系数，即光照系数为sh0，sh1，sh2，sh3。

S205，根据所述光照系数生成所述目标场景的光照参数。

所述光照系数包括第一参数、第二参数、第三参数和第四参数；所述光照参数包括光照颜色、光照强度和光照方向；例如，光照系数为sh0，sh1，sh2，sh3，则第一系数为sh0，第二参数为sh1，第三参数为sh2，第四参数为sh3。

具体的，用户终端根据所述高动态范围图片中每个通道的所述第一参数确定每个通道的光照强度，根据所述高动态范围图片中每个通道的所述第二参数、所述第三参数和所述第四参数生成每个通道的光照方向。

例如，针对3通道的RGB高动态范围图片，其中任意一通道的第一系数为sh0，第二参数为sh1，第三参数为sh2，第四参数为sh3，则该通道的光照强度

光照方向v＝(-sh3,-sh1,sh2)，其中，光照方向对应的坐标系为：x朝前，y朝左，z朝上。

进一步的，获取所述高动态范围图片中每个通道的权重系数，所述权重系数为预先设定，根据所述高动态范围图片中每个通道的光照强度、光照方向和权重系数生成所述目标场景的光照参数。

根据每个通道的光照强度、光照方向和权重系数生成所述目标场景的光照参数的具体过程如下：

用户终端根据所述高动态范围图片中每个通道的光照强度确定所述目标场景的光照颜色，例如，针对3通道的RGB高动态范围图片，3通道的光照强度为I_R,I_G,I_B，光照方向为v_R,v_G,v_B，则目标场景的光照颜色为(I_R,I_G,I_B)。

进一步的，用户终端采用所述每个通道的权重系数对各通道的光照强度进行加权运算，确定所述目标场景的光照强度，采用所述每个通道的权重系数对各通道的光照方向进行加权运算，确定所述目标场景的光照方向，例如，ω_R,ω_G,ω_B分别为RGB三通道的权重系数，目标场景的光照强度I_RGB＝ω_RI_R+ω_GI_G+ω_BI_B，目标场景的光照方向v_RGB＝ω_Rv_R+ω_Gv_G+ω_Bv_B。其中，权重系数具体可以为1/3，1/3，1/3，也可以为0.299，0.587，0.114。

S206，获取所述光照参数中所述光照强度、所述光照颜色和所述光照方向分别对应的阻尼系数；所述阻尼系数用于表征光照参数的平滑性；根据所述阻尼系数对所述光照参数进行平滑处理生成平滑处理后的光照参数；

可以理解的是，对光照参数进行平滑处理可以防止光照参数跳动太大，避免给用户感知造成不好的影响。具体的平滑处理方式可以采用对光照参数进行帧间平滑处理，具体的，可以采用如下公式对光照参数进行平滑处理。

I′_t＝γ_II′_t-1+(1-γ_I)I_t

color′_t＝γ_colorcolor′_t-1+(1-γ_color)color_t

v′_t＝γ_vv′_t-1+(1-γ_v)I_v

其中，I′_t，color′_t，v′_t分别为平滑后的t时刻的光照强度、光照颜色、光照方向。γ_I，γ_color，γ_v分别为光照强度、光照颜色、光照方向的阻尼系数，取值0-1之间，阻尼系数越小平滑性越弱，跳动越大；阻尼系数越大平滑性越强，但结果的滞后性也越强。

S207，基于所述平滑处理后的光照参数对虚拟模型进行渲染。

具体的，用户终端将平滑处理后的光照参数输入渲染引擎，所述渲染引擎采用平滑处理后的光照参数对虚拟模型进行渲染，使得渲染出的虚拟模型与真实光照比较贴合。

下面将结合图4a，对本申请实施例提供的生成光照参数的具体实施场景进行说明，如图4a所示，用户终端获取目标场景的低动态范围图片，低动态范围图片为3通道RGB图片，基于图片生成网络和低动态范围图片，生成所述目标场景的高动态范围图片，高动态范围图片为3通道RGB图片，其中图片生成网络是根据初始图片生成网络和训练数据集合生成的。进一步的，用户终端将高动态范围图片从球坐标系转到equirectangle图，然后对equirectangle图进行均匀采样获取高动态范围图片中3个通道对应的3阶球谐系数，每个通道分别对应9个球谐系数，球谐系数分别为sh0，sh1，…sh8，将sh0，sh1，sh2，sh3确定为光照系数，具体的，第一系数为sh0，第二参数为sh1，第三参数为sh2，第四参数为sh3，根据每个通道的光照系数sh0，sh1，sh2，sh3，计算每个通道的光照强度I和光照方向v，计算公式如下：

v＝(-sh3，-sh1，sh2)

进一步的，3通道的光照强度为I_R，I_G，I_B，光照方向为v_R，v_G，v_B，则目标场景的光照颜色为(I_R，I_G，I_B)，3通道的光照强度为I_R，I_G，I_B，光照方向为v_R，v_G，v_B，则目标场景的光照颜色为(I_R，I_G，I_B)，其中，ω_R，ω_G，ω_B分别为RGB三通道的权重系数。进一步的，对目标场景的光照参数进行平滑处理，将平滑处理后的光照参数输入渲染引擎，渲染引擎采用平滑处理后的光照参数对虚拟模型进行渲染，使得渲染出的虚拟模型的光照效果与真实环境的光照效果一致。

请参见4b，图4b是本申请实施例提供的一种虚拟模型渲染的场景示意图，如图4b所示，用户终端获取目标场景的低动态范围图片，具体可以通过用户终端上的相机进行拍摄，进一步基于图片生成网络和低动态范围图片，生成所述目标场景的高动态范围图片，所述高动态范围图片为基于光照球模式的图片。进一步的，用户终端根据高动态范围图片生成所述目标场景的光照参数，用户终端将所述光照参数输入渲染引擎，渲染引擎采用所述光照参数对放置在目标场景中的虚拟模型“兔子”进行渲染，使得渲染出的虚拟模型与真实光照比较贴合。

需要说明的是，通过图片生成网络生成环境的光照信息的方法，可以集成为程序组件，并将程序组件接入AR应用程序中，用户在使用AR应用程序时，可以直接调用程序组件生成场景的光照信息，根据光照信息对虚拟模型进行渲染。其中，AR应用程序为具有AR功能的应用程序，可以是视频类、即时通讯类、地图类等应用程序，本申请实施例对此不作限定。

在本申请实施例中，通过获取目标场景的低动态范围图片，并基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片，进一步根据所述高动态范围图片生成所述目标场景的光照参数，最后基于所述光照参数对虚拟模型进行渲染。采用上述方法，可以避免使用全景相机和光照球这些成本较高的设备拍摄HDR图片，可以基于LDR图片获取光照信息，简化了获取光照信息的步骤，降低了光照信息获取的成本。

请参见图5，图5是本申请实施例提供的一种数据处理装置的结构示意图。所述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该数据处理装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图5所示，本申请实施例的所述数据处理装置1可以包括：图片获取模块11、图片生成模块12、光照参数生成模块13、光照参数输入模块14。

图片获取模块11，用于获取目标场景的低动态范围图片；

图片生成模块12，用于基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片；

光照参数生成模块13，用于根据所述高动态范围图片生成所述目标场景的光照参数；

光照参数输入模块14，用于基于所述光照参数对虚拟模型进行渲染。

请参见图5，本申请实施例的所述数据处理装置1可以还包括：网络训练模块15。

网络训练模块15，用于获取初始图片生成网络和训练数据集合，所述训练数据集合包括训练场景的低动态范围训练图片以及所述训练场景的高动态范围训练图片；

将所述低动态范围训练图片输入所述初始图片生成网络，生成训练场景的初始高动态范围图片；

基于所述初始高动态范围图片和所述高动态范围训练图片对所述初始图片生成网络进行训练，得到图片生成网络。

在一种可行的实施方式中，所述网络训练模块15具体用于：

对所述高动态范围训练图片进行图像处理生成高动态范围训练图片对应的训练图像金字塔；

对所述初始高动态范围图片进行图像处理生成初始高动态范围图片对应的初始图像金字塔；

根据所述训练图像金字塔和所述初始图像金字塔调整所述初始图片生成网络的模型参数；

当调整后的初始图片生成网络满足收敛条件时，将包含调整后的模型参数的初始图片生成网络确定为图片生成网络。

在一种可行的实施方式中，所述图片生成模块12具体用于：

通过图片生成网络对所述低动态范围图片进行特征提取生成图像特征信息；

基于所述图片生成网络和所述图像特征信息生成所述目标场景的高动态范围图片。

请参见图5，本申请实施例的所述光照参数生成模块13可以还包括：光照系数生成单元131、光照参数生成单元132。

光照系数生成单元131，用于基于球坐标系生成所述高动态范围图片中每个通道对应的至少两阶球谐系数；所述高动态范围图片为多通道图片；

根据所述高动态范围图片中每个通道对应的球谐系数确定每个通道对应的光照系数；

光照参数生成单元132，用于根据所述光照系数生成所述目标场景的光照参数。

在一种可行的实施方式中，所述光照系数包括第一参数、第二参数、第三参数和第四参数；所述光照参数包括光照颜色、光照强度和光照方向；

请参见图5，本申请实施例的所述光照参数生成单元132可以还包括：通道参数生成子单元1321、光照参数生成子单元1322。

通道参数生成子单元1321，用于根据所述高动态范围图片中每个通道的所述第一参数确定每个通道的光照强度；

根据所述高动态范围图片中每个通道的所述第二参数、所述第三参数和所述第四参数生成每个通道的光照方向；

获取所述高动态范围图片中每个通道的权重系数；

光照参数生成子单元1322，用于根据所述高动态范围图片中每个通道的光照强度、光照方向和权重系数生成所述目标场景的光照参数。

在一种可行的实施方式中，所述光照参数生成子单元1322具体用于：

根据所述高动态范围图片中每个通道的光照强度确定所述目标场景的光照颜色；

采用所述每个通道的权重系数对各通道的光照强度进行加权运算，确定所述目标场景的光照强度；

采用所述每个通道的权重系数对各通道的光照方向进行加权运算，确定所述目标场景的光照方向。

请参见图5，本申请实施例的所述数据处理装置1可以还包括：平滑处理模块16。

平滑处理模块16，用于获取所述光照参数中所述光照强度、所述光照颜色和所述光照方向分别对应的阻尼系数；所述阻尼系数用于表征光照参数的平滑性；

根据所述阻尼系数对所述光照参数进行平滑处理生成平滑处理后的光照参数；

所述光照参数输入模块14具体用于：

将所述平滑处理后的光照参数输入渲染引擎，以使所述渲染引擎采用所述平滑处理后的光照参数对虚拟模型进行渲染。

在本申请实施例中，通过获取目标场景的低动态范围图片，并基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片，进一步根据所述高动态范围图片生成所述目标场景的光照参数，最后基于所述光照参数对虚拟模型进行渲染。采用上述方法，可以避免使用全景相机和光照球这些成本较高的设备拍摄HDR图片，可以基于LDR图片获取光照信息，简化了获取光照信息的步骤，降低了光照信息获取的成本。

请参见图6，图6是本申请实施例提供的一种计算机设备的结构示意图。如图6所示，所述计算机设备1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是随机存取存储器(Random Access Memory，RAM)，也可以是非易失性存储器(non-volatile memory，NVM)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据处理应用程序。

在图6所示的计算机设备1000中，网络接口1004可提供网络通讯功能，用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的数据处理应用程序，以实现上述图2-图4b任一个所对应实施例中对所述数据处理方法的描述，在此不再赘述。

应当理解，本申请实施例中所描述的计算机设备1000可执行前文图2-图4b任一个所对应实施例中对所述数据处理方法的描述，也可执行前文图5所对应实施例中对所述数据处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且所述计算机可读存储介质中存储有前文提及的数据处理装置所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图2-图4b任一个所对应实施例中对所述数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。作为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行，分布在多个地点且通过通信网络互连的多个计算设备可以组成区块链系统。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述计算机可读存储介质可以是前述任一实施例提供的一种数据处理装置或者上述设备的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smart media card,SMC)，安全数字(securedigital,SD)卡，闪存卡(flash card)等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其它程序和数量。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本发明的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (11)

1.一种数据处理方法，其特征在于，包括：

获取目标场景的低动态范围图片；

基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片；

根据所述高动态范围图片生成所述目标场景的光照参数；

基于所述光照参数对虚拟模型进行渲染。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取初始图片生成网络和训练数据集合，所述训练数据集合包括训练场景的低动态范围训练图片以及所述训练场景的高动态范围训练图片；

将所述低动态范围训练图片输入所述初始图片生成网络，生成训练场景的初始高动态范围图片；

基于所述初始高动态范围图片和所述高动态范围训练图片对所述初始图片生成网络进行训练，得到图片生成网络。

3.根据权利要求1所述的方法，其特征在于，所述基于所述初始高动态范围图片和所述高动态范围训练图片对所述初始图片生成网络进行训练，得到图片生成网络，包括：

对所述高动态范围训练图片进行图像处理生成高动态范围训练图片对应的训练图像金字塔；

对所述初始高动态范围图片进行图像处理生成初始高动态范围图片对应的初始图像金字塔；

根据所述训练图像金字塔和所述初始图像金字塔调整所述初始图片生成网络的模型参数；

当调整后的初始图片生成网络满足收敛条件时，将包含调整后的模型参数的初始图片生成网络确定为图片生成网络。

4.根据权利要求1所述的方法，其特征在于，所述基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片，包括：

通过图片生成网络对所述低动态范围图片进行特征提取生成图像特征信息；

基于所述图片生成网络和所述图像特征信息生成所述目标场景的高动态范围图片。

5.根据权利要求1所述的方法，其特征在于，所述根据所述高动态范围图片生成所述目标场景的光照参数，包括：

基于球坐标系生成所述高动态范围图片中每个通道对应的至少两阶球谐系数；所述高动态范围图片为多通道图片；

根据所述高动态范围图片中每个通道对应的球谐系数确定每个通道对应的光照系数；

根据所述光照系数生成所述目标场景的光照参数。

6.根据权利要求5所述的方法，其特征在于，所述光照系数包括第一参数、第二参数、第三参数和第四参数；所述光照参数包括光照颜色、光照强度和光照方向；

所述根据所述光照系数生成所述目标场景的光照参数，包括：

根据所述高动态范围图片中每个通道的所述第一参数确定每个通道的光照强度；

根据所述高动态范围图片中每个通道的所述第二参数、所述第三参数和所述第四参数生成每个通道的光照方向；

获取所述高动态范围图片中每个通道的权重系数；

根据所述高动态范围图片中每个通道的光照强度、光照方向和权重系数生成所述目标场景的光照参数。

7.根据权利要求6所述的方法，其特征在于，所述根据所述高动态范围图片中每个通道的光照强度、光照方向和权重系数生成所述目标场景的光照参数，包括：

根据所述高动态范围图片中每个通道的光照强度确定所述目标场景的光照颜色；

采用所述每个通道的权重系数对各通道的光照强度进行加权运算，确定所述目标场景的光照强度；

采用所述每个通道的权重系数对各通道的光照方向进行加权运算，确定所述目标场景的光照方向。

8.根据权利要求1所述的方法，其特征在于，所述基于所述光照参数对虚拟模型进行渲染之前，还包括：

获取所述光照参数中所述光照强度、所述光照颜色和所述光照方向分别对应的阻尼系数；所述阻尼系数用于表征光照参数的平滑性；

根据所述阻尼系数对所述光照参数进行平滑处理生成平滑处理后的光照参数；

所述基于所述光照参数对虚拟模型进行渲染，包括：

基于所述平滑处理后的光照参数对虚拟模型进行渲染。

9.一种数据处理装置，其特征在于，包括：

图片获取模块，用于获取目标场景的低动态范围图片；

图片生成模块，用于基于图片生成网络和所述低动态范围图片，生成所述目标场景的高动态范围图片；

光照参数生成模块，用于根据所述高动态范围图片生成所述目标场景的光照参数；

光照参数输入模块，用于基于所述光照参数对虚拟模型进行渲染。

10.一种计算机设备，其特征在于，包括：处理器、存储器以及网络接口；

所述处理器与所述存储器、所述网络接口相连，其中，所述网络接口用于提供网络通信功能，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行权利要求1-8任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行权利要求1-8任一项所述的方法。

Images