CN115965736A - 图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、设备及存储介质。其中方法包括：获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件，调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，获取第二平面图像的二维掩码，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。可见，通过第一平面图像的二维掩码与第二平面图像的二维掩码之间的差异，对三维空间场景对应的神经网络模型进行优化，能够提高三维空间场景的神经网络模型的预测结果的准确度。

Description

图像处理方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种图像处理方法、装置、计算机设备及计算机可读存储介质。

背景技术

随着科技研究的进步，三维空间场景建模技术飞速发展，并被广泛应用在生活中的各个领域；例如，地形模拟、场景复现、游戏等。通过三维空间场景的平面图像集合，即可构建三维空间场景的神经网络模型。三维空间场景的神经网络模型可用于查询三维空间场景中的采样点的渲染属性（如颜色）。研究发现，受平面图像观测条件（如观测方向、观测距离等）等因素的影响，三维空间场景的神经网络模型的预测结果的准确度较低。

发明内容

本申请实施例提供了一种图像处理方法、装置、设备及计算机可读存储介质，能够提高三维空间场景的神经网络模型的预测结果的准确度。

一方面，本申请实施例提供了一种图像处理方法，包括：

获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件；神经网络模型是对三维空间场景的平面图像集合进行学习得到的；平面图像集合中包含至少两张三维空间场景在不同观测条件下的平面图像；

调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，第一平面图像的二维掩码用于指示第一平面图像中各个像素点关联的场景元素；

获取第二平面图像的二维掩码，第二平面图像是三维空间场景的平面图像集合中与第一平面图像相似度最高的平面图像；

基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失；

通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型；优化后的神经网络模型用于渲染三维空间场景在任意观测条件下的平面图像。

本申请实施例中，获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件，调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，获取第二平面图像的二维掩码，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。可见，通过预测的三维空间场景在目标观测条件下的第一平面图像的二维掩码与第二平面图像的二维掩码之间的差异，对三维空间场景对应的神经网络模型进行优化，从而提高三维空间场景的神经网络模型的预测结果的准确度。

一方面，本申请实施例提供了一种图像处理方法，包括：

获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，目标观测条件包括观测方向；

根据待渲染像素点和观测方向，确定第一查询光线，第一查询光线的方向与观测方向一致，且待渲染像素点在第一查询光线上；

获取第一三维空间场景对应的第一神经网络模型；

调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性；

按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。

本申请实施例中，获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，根据待渲染像素点和目标观测条件指示的观测方向，确定第一查询光线，获取第一三维空间场景对应的第一神经网络模型，调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性，按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。可见，通过第一三维空间场景对应的第一神经网络模型，可以对第一三维空间场景在任意观测条件下的平面图像的渲染属性进行预测，从而渲染出第一三维空间场景在任意观测条件下的平面图像。

一方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：

获取单元，用于获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件；神经网络模型是对三维空间场景的平面图像集合进行学习得到的；平面图像集合中包含至少两张三维空间场景在不同观测条件下的平面图像；

处理单元，用于调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，第一平面图像的二维掩码用于指示第一平面图像中各个像素点关联的场景元素；

获取单元，还用于获取第二平面图像的二维掩码，第二平面图像是三维空间场景的平面图像集合中与第一平面图像相似度最高的平面图像；

处理单元，还用于基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失；

以及用于通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型；优化后的神经网络模型用于渲染三维空间场景在任意观测条件下的平面图像。

在一种实施方式中，观测条件包括以下至少一项：观测方向、观测位置、观测光强、观测距离。

在一种实施方式中，目标观测条件包括观测方向；处理单元调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码的过程包括：

通过观测方向，确定第一查询光线，第一查询光线的方向与观测方向一致；

获取第一查询光线上各个采样点的位置信息；

调用神经网络模型通过第一查询光线上各个采样点的位置信息和第一查询光线，预测第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性；热点向量用于指示相应采样点在三维空间场景中关联的场景元素；

基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性，预测第一查询光线对应的像素点关联的场景元素。

在一种实施方式中，渲染属性包括体积密度；处理单元用于，基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性，预测第一查询光线对应的像素点关联的场景元素，具体用于：

基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的体积密度，计算第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果；

根据第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果，预测第一查询光线对应的像素点关联的场景元素。

在一种实施方式中，场景元素包括三维空间场景中的空洞点和M个对象，M为正整数；热点向量的维度为M+1，热点向量的前M维与M个对象一一对应，第M+1维与空洞点对应，空洞点为三维空间场景中不属于M个对象的采样点；

其中，若目标采样点的热点向量指示目标采样点与M个对象中的第j个对象相关联，则表示目标采样点属于第j个对象；若目标采样点的热点向量指示目标采样点与空洞点相关联，则表示目标采样点为空洞点；目标采样点为三维空间场景中的任一个采样点，j为小于等于M的正整数。

在一种实施方式中，三维空间场景中包含M个对象，M为正整数；处理单元用于，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，具体用于：

基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，计算第一损失值；

获取三维空间场景中的各个空洞点的表面分数和空点分数；空洞点是指三维空间场景中不属于M个对象的采样点，目标空洞点的表面分数用于指示目标空洞点的可见度，目标空洞点的空点分数用于指示目标空洞点的透光度，目标空洞点为三维空间场景中的任一个空洞点；

基于三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值；

对第一损失值和第二损失值进行求和处理，得到神经网络模型的处理损失。

在一种实施方式中，目标观测条件包括观测方向和观测位置；处理单元获取三维空间场景中的各个空洞点的表面分数和空点分数的过程包括：

通过观测位置和观测方向确定第二查询光线，第二查询光线的方向与观测方向一致，且观测位置位于第二查询光线上；

获取第二查询光线经过的对象与观测位置之间的对象距离；

通过对象距离，将第二查询光线上位于第二查询光线经过的对象与观测位置之间的采样点确定为空洞点；

根据对象距离以及每个空洞点与观测位置之间的距离，分别计算各个空洞点的表面分数和空点分数。

在一种实施方式中，处理单元用于，获取第二查询光线经过的对象与观测位置之间的对象距离，具体用于：

获取第二查询光线上各个采样点的位置信息；

调用神经网络模型通过第二查询光线上各个采样点的位置信息和第二查询光线，预测第二查询光线上各个采样点的热点向量和第二查询光线上各个采样点的渲染属性；热点向量用于指示相应采样点在三维空间场景中关联的场景元素，渲染属性包括体积密度；

通过第二查询光线上各个采样点的热点向量和第二查询光线上各个采样点的体积密度，预测第二查询光线经过的对象与观测位置之间的对象距离。

在一种实施方式中，处理单元用于，基于三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值，具体用于：

获取三维空间场景中的各个空洞点的热点向量；

基于三维空间场景中的各个空洞点的表面分数和空点分数，以及三维空间场景中的各个空洞点的热点向量，计算空洞点损失；

基于三维空间场景中的各个空洞点的表面分数和三维空间场景中的各个空洞点的热点向量，计算表面损失；

对表面损失和空洞点损失进行求和处理，得到第二损失值。

一方面，本申请实施例提供了另一种图像处理装置，该图像处理装置包括：

获取单元，用于获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，目标观测条件包括观测方向；

处理单元，用于根据待渲染像素点和观测方向，确定第一查询光线，第一查询光线的方向与观测方向一致，且待渲染像素点在第一查询光线上；

获取单元，还用于获取第一三维空间场景对应的第一神经网络模型；

处理单元，还用于调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性；

以及用于按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。

在一种实施方式中，处理单元还用于：

获取第二神经网络模型，第二神经网络模型对应第二三维空间场景；第二三维空间场景是基于针对第一三维空间场景中的目标对象的操作信息对第一三维空间场景进行更新后得到的；操作信息包括以下至少一项：目标对象的平移量，目标对象的旋转量，目标对象的缩放量；

获取第二查询光线，以及第二三维空间场景中目标采样点的位置，目标采样点是第一三维空间场景和第二三维空间场景中存在差异的采样点；

调用第二神经网络模型通过目标采样点的位置信息和第二查询光线，预测目标采样点的热点向量；目标采样点的热点向量用于指示目标采样点在第二三维空间场景中关联的场景元素；

根据第二查询光线和目标采样点的位置，确定目标采样点对应的逆向点；逆向点是第一三维空间场景在第二查询光线下的平面图像中与目标采样点在第二查询光线下的投影位置相匹配的像素点；

基于热点向量指示的目标采样点所属的对象与逆向点所属的对象的匹配关系，对第一三维空间场景在第二查询光线下的平面图像进行更新，得到更新后的平面图像。

在一种实施方式中，处理单元用于，基于热点向量指示的目标采样点所属的对象与逆向点所属的对象的匹配关系，对第一三维空间场景在第二查询光线下的平面图像进行更新，得到更新后的平面图像，具体用于：

若热点向量指示的目标采样点所属的对象与逆向点所属的对象不匹配，则获取第二三维空间场景中在第二查询光线上的各个采样点的渲染属性，渲染属性包括采样点的体积密度和颜色信息；

基于第二查询光线上的各个采样点的体积密度和颜色信息，对逆向点进行更新渲染，得到更新后的平面图像。

相应地，本申请提供了一种计算机设备，该计算机设备包括：

存储器，存储器中存储有计算机程序；

处理器，用于加载计算机程序实现上述图像处理方法。

相应地，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行上述图像处理方法。

相应地，本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理方法。

本申请实施例中，一方面，获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件，调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，获取第二平面图像的二维掩码，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。通过预测的三维空间场景在目标观测条件下的第一平面图像的二维掩码与第二平面图像的二维掩码之间的差异，对三维空间场景对应的神经网络模型进行优化，从而提高三维空间场景的神经网络模型的预测结果的准确度。另一方面，获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，根据待渲染像素点和目标观测条件指示的观测方向，确定第一查询光线，获取第一三维空间场景对应的第一神经网络模型，调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性，按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。通过第一三维空间场景对应的第一神经网络模型，可以对第一三维空间场景在任意观测条件下的平面图像的渲染属性进行预测，从而渲染出第一三维空间场景在任意观测条件下的平面图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像处理场景图；

图2为本申请实施例提供的一种图像处理方法的流程图；

图3为本申请实施例提供的另一种图像处理方法的流程图；

图4a为本申请实施例提供的一种三维空间场景示意图；

图4b为本申请实施例提供的一种图像处理方法的原理示意图；

图5为本申请实施例提供的又一种图像处理方法的流程图；

图6为本申请实施例提供的一种图像处理装置的结构示意图；

图7为本申请实施例提供的另一种三维建模装置的结构示意图；

图8为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请涉及人工智能和机器学习，下面对相关技术进行简单介绍：

人工智能（Artificial Intelligence，AI）：所谓AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本申请实施例主要涉及通过优化后的神经网络模型，对三维空间场景在任意观测条件下的平面图像的渲染属性进行预测，从而基于预测的渲染属性渲染出三维空间场景在任意观测条件下的平面图像。

AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大应用程序的处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。本申请实施例主要通过第一模态数据集合和第二模态数据集合对应的全局复原特征和全局特征对特征提取模型进行优化处理，以促进特征提取模型学习全局特征与局部特征的对齐，从而提高特征提取模型的预测结果的准确度。本申请实施例主要涉及通过神经网络模型从三维空间场景的平面图像集合中学习三维空间场景的隐式特征，并通过预测的三维空间场景在目标观测条件下的第一平面图像的二维掩码与第二平面图像的二维掩码之间的差异，对三维空间场景对应的神经网络模型进行优化，从而提高三维空间场景的神经网络模型的预测结果的准确度。

基于人工智能和机器学习，本申请实施例提供了一种图像处理方案，以提高三维空间场景的神经网络模型的预测结果的准确度。图1为本申请实施例提供的一种图像处理场景图，如图1所示，本申请提供的图像处理方案可由计算机设备101执行，此处的计算机设备101具体可以是终端设备或者服务器。其中，终端设备可以包括但不限于：智能手机（如Android手机、IOS手机等）、平板电脑、便携式个人计算机、移动互联网设备（MobileInternet Devices，简称MID）、车载终端、智能家电、无人飞行器、可穿戴设备等，本申请实施例对此不做限定。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器，本申请实施例对此不做限定。

需要说明的是，图1中计算机设备的数量仅用于举例，并不构成本申请的实际限定；例如，图1中还可以包括计算机设备102，计算机设备101和计算机设备102可以通过有线或无线的方式进行连接，本申请对此不作限制。

在具体实现中，该图像处理方案的大致原理如下：

（1）计算机设备101获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点。目标观测条件包括观测方向，此外，目标观测条件还可以包括观测位置、观测光强、观测距离中的一项或多项。第一三维空间场景在目标观测条件下的平面图像可以理解为：按照目标观测条件所指示的观察方向对第一三维空间场景进行投影得到的平面图像。平面图像中的待渲染的像素点具体可以是平面图像中还未被渲染的像素点，或者是渲染失败的像素点。

（2）计算机设备101根据待渲染像素点和观测方向，确定第一查询光线。第一查询光线的方向与目标观测条件所指示的观测方向一致，且待渲染像素点在第一查询光线上。

（3）计算机设备101获取第一三维空间场景对应的第一神经网络模型，第一神经网络模型携带了第一三维空间场景的隐式特征。第一神经网络模型可以理解为第一三维空间场景的场景函数，第一三维空间场景的场景函数可以用于将输入的观测方向和第一三维空间场景中任一个采样点的坐标，转换为该采样点的渲染参数，渲染参数包括该采样点的体积密度和颜色信息，颜色信息用于指示按照输入的观测方向对该采样点进行观测时，该采样点呈现的颜色。

在一种实施方式中，第一神经网络模型是采用初始神经网络模型对第一三维空间场景的平面图像集合进行学习得到的，第一三维空间场景的平面图像集合中包含至少两张第一三维空间场景在不同观测条件下的平面图像。不同观测条件是指观测方向、观测位置、观测光强、观测距离中至少存在一项互不相同。在一个实施例中，计算机设备101将第一三维空间场景的平面图像集合输入初始神经网络模型，以使初始神经网络模型提取并记录第一三维空间场景的隐式特征，得到第一神经网络模型。

在另一种实施方式中，第一神经网络模型是通过预测的第一三维空间场景在目标观测条件下的第一平面图像的二维掩码与第二平面图像的二维掩码之间的差异，进行优化后的神经网络模型。第一神经网络模型的具体优化方式如下：①计算机设备101获取第一三维空间场景对应的第一神经网络模型，以及第一三维空间场景对应的目标观测条件。其中，第一神经网络模型是采用初始神经网络模型对第一三维空间场景的平面图像集合进行学习得到的。②在得到第一三维空间场景对应的第一神经网络模型后，计算机设备101调用第一神经网络模型，预测第一三维空间场景在目标观测条件下的第一平面图像的二维掩码；其中，第一平面图像的二维掩码可以用于指示第一平面图像中各个像素点关联的场景元素。在一种实现方式中，场景元素包括三维空间场景中的空洞点和M个对象，M为正整数。其中，若目标像素点与M个对象中的第j个对象相关联，则表示目标像素点属于第j个对象；目标像素点属于第j个对象可以理解为目标像素点中显示的内容属于第j个对象，或者理解为第j个对象在目标像素点中是可见的。若目标像素点与空洞点相关联，则表示目标像素点显示的内容为空，或者显示的内容为预设内容（如预设颜色）。可以理解的是，通过第一平面图像中各个像素点关联的场景元素，可以确定第一平面图像中各个对象的重叠（遮挡）关系。③计算机设备101获取第二平面图像的二维掩码，第二平面图像是第一三维空间场景的平面图像集合中与第一平面图像相似度最高的平面图像。④计算机设备101基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造第一神经网络模型的处理损失，并通过该处理损失对第一神经网络模型进行优化，得到优化后的第一神经网络模型。

（4）在获取第一三维空间场景对应的第一神经网络模型后，计算机设备101调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性。

在一种实施方式中，渲染属性包括相应采样点的体积密度和颜色信息；计算机设备101获取第一查询光线上各个采样点的位置信息（如坐标），并调用第一神经网络模型通过第一查询光线和第一查询光线上各个采样点的位置信息，预测第一查询光线上各个采样点的体积密度，并结合第一查询光线对应的观测方向预测采样点的颜色信息。

（5）在得到第一查询光线上各个采样点的渲染属性后，计算机设备101按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。（体渲染）

本申请实施例中，获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，根据待渲染像素点和目标观测条件指示的观测方向，确定第一查询光线，获取第一三维空间场景对应的第一神经网络模型，调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性，按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。通过第一三维空间场景对应的第一神经网络模型，可以对第一三维空间场景在任意观测条件下的平面图像的渲染属性进行预测，从而渲染出第一三维空间场景在任意观测条件下的平面图像。

基于上述图像处理方案，本申请实施例提出更为详细的图像处理方法，下面将结合附图对本申请实施例提出的图像处理方法进行详细介绍。

请参阅图2，图2为本申请实施例提供的一种图像处理方法的流程图，该图像处理方法可以由计算机设备执行，该计算机设备可以是终端设备或者服务器。如图2所示，该图像处理方法可包括如下步骤S201-S205：

S201、获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件。

神经网络模型是对三维空间场景的平面图像集合进行学习得到的，平面图像集合中包含至少两张三维空间场景在不同观测条件下的平面图像。观测条件包括观测方向、观测位置、观测光强、观测距离中的至少一项；其中，观测方向用于指示查询光线的方向，查询光线是基于观测者（或者图像采集设备）的位置和三维空间场景中目标点的位置确定的，目标点可以是三维空间场景中的任一个点（如中心点）；观测位置用于指示观测者（或者图像采集设备）的位置；观测光强用于指示查询光线的光线强度；观测距离用于指示观测者（或者图像采集设备）的位置和三维空间场景中目标点的距离。不同观测条件是指观测方向、观测位置、观测光强、观测距离中存在至少一项不同；例如，三维空间场景的平面图像集合中的平面图像是在不同观测方向对三维空间场景进行观测得到的。目标观测条件可以是由图像处理人员根据实际观测需求设定的，也可以是基于图像采集设备的位置确定。

在一种实施方式中，三维空间场景中包含M个三维对象，M为正整数。可选的，三维空间场景中还可以包含二维图像；例如，三维空间场景的边界为一个二维图像。

S202、调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码。

第一平面图像的二维掩码用于指示第一平面图像中各个像素点关联的场景元素。在一种实现方式中，场景元素包括三维空间场景中的空洞点和M个对象，M为正整数。其中，若目标像素点与M个对象中的第j个对象相关联，则表示目标像素点属于第j个对象；目标像素点属于第j个对象可以理解为目标像素点中显示的内容属于第j个对象，或者理解为第j个对象在目标像素点中是可见的。若目标像素点与空洞点相关联，则表示目标像素点显示的内容为空，或者显示的内容为预设内容（如预设颜色）。可以理解的是，通过第一平面图像中各个像素点关联的场景元素，可以确定第一平面图像中M个对象的重叠（遮挡）关系。

在一种实施方式中，目标观测条件包括观测方向，计算机设备通过观测方向确定第一查询光线，第一查询光线的方向与观测方向一致。在一种实现方式中，第一查询光线可以是穿过三维空间场景的任一条与观测方向一致的光线。在确定第一查询光线后，计算机设备获取三维空间场景中位于第一查询光线上的各个采样点的位置信息，采样点的位置信息用于指示该采样点在三维空间场景中的位置；例如，采样点的位置信息具体可以是该采样点在三维空间场景中的坐标。第一查询光线上采样点的数量可以为一个或多个，本申请对此不作限制。

进一步地，计算机设备调用神经网络模型通过第一查询光线上各个采样点的位置信息和第一查询光线，预测第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性。其中，热点向量用于指示相应采样点在三维空间场景中关联的场景元素；具体来说，场景元素包括三维空间场景中的空洞点和M个对象，M为正整数；热点向量的维度为M+1，热点向量的前M维与M个对象一一对应，第M+1维与空洞点对应，空洞点为三维空间场景中不属于M个对象的采样点。其中，若目标采样点的热点向量指示目标采样点与M个对象中的第j个对象相关联，则表示目标采样点属于第j个对象；若目标采样点的热点向量指示目标采样点与空洞点相关联，则表示目标采样点为空洞点；目标采样点为三维空间场景中的任一个采样点，j为小于等于M的正整数。渲染属性可以包括相应采样点的体积密度和颜色信息中的至少一个；体积密度是指采样点在自然状态下的体积，包括该采样点对应的材料实体及其开口与闭口孔隙条件下的单位体积的质量；颜色信息用于指示按照观测方向（第一查询光线的方向）对采样点进行观测时，该采样点呈现的颜色。

更进一步地，计算机设备基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性，预测第一查询光线对应的像素点关联的场景元素。具体来说，采样点的渲染属性包括体积密度；计算机设备基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的体积密度，计算第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果，并根据第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果确定第一查询光线对应的像素点关联的场景元素。在一种实现方式中，场景元素包括三维空间场景中的空洞点和M个对象，M为正整数。其中，若目标像素点与M个对象中的第j个对象相关联，则表示目标像素点属于第j个对象；目标像素点属于第j个对象可以理解为目标像素点中显示的内容属于第j个对象，或者理解为第j个对象在目标像素点中是可见的。若目标像素点与空洞点相关联，则表示目标像素点显示的内容为空，或者显示的内容为预设内容（如预设颜色）。

按照上述实施方式，计算机设备可以基于目标观测条件指示的观测方向，预测第一平面图像中各个像素点关联的场景元素。通过第一平面图像中各个像素点关联的场景元素，生成三维空间场景在目标观测条件下的第一平面图像的二维掩码。

S203、获取第二平面图像的二维掩码。

第二平面图像是三维空间场景的平面图像集合中与第一平面图像相似度最高的平面图像。

在一种实施方式中，计算机设备分别计算第一平面图像与三维空间场景的平面图像集合中各个平面图像的重合度，并将三维空间场景的平面图像集合中与第一平面图像的重合度最高的平面图像，确定为第二平面图像。

S204、基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失。

在一种实施方式中，计算机设备基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，计算第一损失值；并将第一损失值确定为神经网络模型的处理损失。

在另一种实施方式中，一方面，计算机设备基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，计算第一损失值。另一方面，计算机设备获取三维空间场景中的各个空洞点的表面分数和空点分数；空洞点是指三维空间场景中不属于M个对象的采样点，目标空洞点的表面分数用于指示目标空洞点的可见度；例如，当两个对象的表面材质不同时，这两个对象的采样点的可见度可以不同；又例如，存在烟雾的三维空间场景中空洞点的可见度与不存在烟雾的三维空间场景中空洞点的可见度不同；再例如，在不同光线强度下，同一个空洞点的可见度也可以不同。目标空洞点的空点分数用于指示目标空洞点的透光度，透光度可以用于指示光线穿过空洞点后的损失（如亮度损失、能量损失等）。上述目标空洞点可以为三维空间场景中的任一个空洞点。计算机设备基于三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值，并对第一损失值和第二损失值进行求和处理，得到神经网络模型的处理损失。

S205、通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。

优化后的神经网络模型可以用于渲染三维空间场景在任意观测条件下的平面图像。

在一种实施方式中，计算机设备可以基于处理损失调整神经网络模型的相关参数（如神经网络的层数，各层神经网络的维度等），得到优化后的神经网络模型。

可以理解的是，通过处理损失对神经网络模型进行优化，可以提升神经网络模型的预测结果（即采样点的渲染参数）的准确度，基于该预测结果来对三维空间场景在指定光线下的平面图像中的像素点进行渲染，可以提高像素点的还原度，以提升三维空间场景对应的平面图像的整体渲染效果；例如，使得渲染后的平面图像中的纹理更加清晰、逼真等。

本申请实施例中，获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件，调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，获取第二平面图像的二维掩码，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。可见，通过预测的三维空间场景在目标观测条件下的第一平面图像的二维掩码与第二平面图像的二维掩码之间的差异，对三维空间场景对应的神经网络模型进行优化，从而提高三维空间场景的神经网络模型的预测结果的准确度。

请参阅图3，图3为本申请实施例提供的另一种图像处理方法的流程图，该图像处理方法可以由计算机设备执行，该计算机设备可以是终端设备或者服务器。如图3所示，该图像处理方法可包括如下步骤S301-S308：

S301、获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件。

步骤S301的具体实施方式可参考图2中步骤S201的实施方式，在此不再赘述。

S302、调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码。

第一平面图像的二维掩码用于指示第一平面图像中各个像素点关联的场景元素。在一种实施方式中，计算机设备调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码的过程包括：通过观测方向，确定第一查询光线，第一查询光线的方向与观测方向一致。在确定第一查询光线后，计算机设备获取三维空间场景中位于第一查询光线上的各个采样点的位置信息，采样点的位置信息用于指示该采样点在三维空间场景中的位置。调用神经网络模型通过第一查询光线上各个采样点的位置信息和第一查询光线，预测第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性；热点向量用于指示相应采样点在三维空间场景中关联的场景元素。

在一个实施例中，计算机设备调用神经网络模型通过采样点的位置信息，预测采样点的热点向量，具体可以表示为：

其中，表示采样点的热点向量（若三维空间场景中包含M个对象，则的维度为M+1），表示采样点的坐标，f()表示神经网络模型。

在一种实现方式中，假设三维空间场景中包含3个对象，则采样点的热点向量的维度为4；若采样点1的热点向量=[0,0,1,0]，则表示采样点1与三维空间场景中第3个对象相关联（即采样点1位于三维空间场景中第3个对象占用的空间中）；若采样点2的热点向量=[0,0,0,1]，则表示采样点2为三维空间场景中的空洞点，即采样点2位于三维空间场景中除3个对象占用的空间外的其它位置。

在另一个实施例中，渲染属性包括相应采样点的体积密度和颜色信息；其中，体积密度是指采样点在自然状态下的体积，包括该采样点对应的材料实体及其开口与闭口孔隙条件下的单位体积的质量；颜色信息用于指示按照观测方向（第一查询光线的方向）对采样点进行观测时，该采样点呈现的颜色。计算机设备调用神经网络模型通过第一查询光线上各个采样点的位置信息和第一查询光线，预测第一查询光线上各个采样点的渲染属性的具体方式为：调用神经网络模型通过第一查询光线上（任一个）采样点的位置信息，预测该采样点的体积密度；在得到该采样点的体积密度后，结合第一查询光线的方向，预测该采样点的颜色信息。

进一步地，计算机设备基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性，预测第一查询光线对应的像素点关联的场景元素。在一个实施例中，采样点的渲染属性包括体积密度；计算机设备基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的体积密度，计算第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果，具体可以表示为：

其中，表示第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果；K为第一查询光线上采样点的总数量；，；表示第k个采样点的体积密度，表示第一查询光线上第k+1个采样点和第k个采样点之间的距离（可以通过采样点的位置信息计算得到）。

在得到第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果后，计算机设备可以根据第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果，确定第一查询光线对应的像素点关联的场景元素。

S303、获取第二平面图像的二维掩码。

步骤S303的具体实施方式可参考图2中步骤S203的实施方式，在此不再赘述。

S304、基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，计算第一损失值。

在一种实施方式中，第一损失值的计算方式可以表示为：

其中，表示第一损失值，L为查询光线总的数量，表示在查询光线l下的平面投影图像与三维空间场景的平面图像集合中的目标平面图像的重叠程度（即在查询光线l下的平面投影图像与三维空间场景的平面图像集合中的目标平面图像的交并比），目标平面图像是平面图像集合中相似度与平面投影图像最高的平面图像；表示在查询光线l下平面投影图像与目标平面图像间的交叉熵，交叉熵用于指示在查询光线l下平面投影图像与目标平面图像间的差异。

S305、获取三维空间场景中的各个空洞点的表面分数和空点分数。

目标空洞点的表面分数用于指示目标空洞点的可见度，目标空洞点的空点分数用于指示目标空洞点的透光度，目标空洞点为三维空间场景中的任一个空洞点。

在一种实施方式中，目标观测条件包括观测位置和观测方向；计算机设备获取三维空间场景中的各个空洞点的表面分数和空点分数的过程包括：计算机设备通过观测位置和观测方向确定第二查询光线，第二查询光线的方向与观测方向一致，且观测位置位于第二查询光线上。计算机设备获取第二查询光线经过的对象与观测位置之间的对象距离。具体来说，计算机设备获取第二查询光线上各个采样点的位置信息，调用神经网络模型通过第二查询光线上各个采样点的位置信息和第二查询光线，预测第二查询光线上各个采样点的热点向量和第二查询光线上各个采样点的渲染属性，采样点的渲染属性包括体积密度。计算机设备通过第二查询光线上各个采样点的热点向量和第二查询光线上各个采样点的体积密度，计算第二查询光线经过的对象与观测位置之间的对象距离。具体可以表示为：

其中，表示第二查询光线经过的对象与观测位置之间的对象距离；K为第二查询光线上采样点的总数量；，；表示第k个采样点的体积密度，表示第一查询光线上第k+1个采样点和第k个采样点之间的距离（可以通过采样点的位置信息计算得到）。

在得到第二查询光线经过的对象与观测位置之间的对象距离后，计算机设备可以通过对象距离，将第二查询光线上位于第二查询光线经过的对象与观测位置之间的采样点确定为空洞点。图4a为本申请实施例提供的一种三维空间场景示意图。如图4a所示，假设对象距离为d，计算机设备可以将第二查询光线上的采样点B和采样点C确定为空洞点，P为第二查询光线经过的对象的表面周围的点。

在确定第二查询光线上的空洞点后，计算机设备根据对象距离以及每个空洞点与观测位置之间的距离，分别计算各个空洞点的表面分数和空点分数。第k个空洞点的表面分数和空点分数的计算方式可以表示为：

其中，表示第k个空洞点的表面分数，表示第k个空洞点与观测位置之间的距离，d表示第二查询光线经过的对象与观测位置之间的对象距离。表示第k个空洞点的空点分数，为补偿参数，该补偿参数用于对预测的对象距离d进行补偿，以进一步减小预测的对象距离d的误差。

S306、基于三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值。

在一种实施方式中，三维空间场景中包含M个对象，每个空洞点的热点向量为M+1维。第二损失值由表面损失和空洞点损失组成。具体来说，计算机设备获取三维空间场景中的各个空洞点的热点向量。一方面，计算机设备基于三维空间场景中的各个空洞点的表面分数和空点分数，以及三维空间场景中的各个空洞点的热点向量，计算空洞点损失。具体的计算方式可以表示为：

其中，表示空洞点损失，表示第k个空洞点的热点向量的第M+1维，表示第k个空洞点的热点向量的前k维。

另一方面，计算机设备基于三维空间场景中的各个空洞点的表面分数和三维空间场景中的各个空洞点的热点向量，计算表面损失。具体的计算方式可以表示为：

其中，表示表面损失，表示第k个空洞点的热点向量的第h维。

在得到表面损失和空洞点损失后，计算机设备可以对表面损失和空洞点损失进行求和处理，得到第二损失值。

可以理解的是，通过第二损失值对神经网络模型进行优化，可以提升神经网络模型的预测结果的准确度，进而提高像素点的还原度，以提升三维空间场景对应的平面图像的渲染效果；例如，使得渲染后的平面图像中的纹理更加清晰、逼真等。

S307、对第一损失值和第二损失值进行求和处理，得到神经网络模型的处理损失。

在一种实施方式中，神经网络模型的处理损失的计算方式可以表示为：

其中，表示神经网络模型的处理损失，为第一损失值，为空洞点损失，为表面损失；和可以组成第二损失值。

S308、通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。

步骤S308的具体实施方式可参考图2中步骤S205的实施方式，在此不再赘述。

图4b为本申请实施例提供的一种图像处理方法的原理示意图。如图4b所示，一方面，三维空间场景对应的神经网络模型可以通过三维空间场景中采样点（如采样点P）的位置，预测该采样点的体积密度，并结合（查询光线的）观测方向预测采样点P的颜色信息。按照上述方式可以通过神经网络模型预测查询光线上各个采样点的体积密度和颜色信息，并基于查询光线上各个采样点的体积密度和颜色信息对该查询光线对应的像素点进行渲染。另一方面，三维空间场景对应的神经网络模型可以通过三维空间场景中采样点的位置，预测该采样点的热点向量，并基于采样点的热点向量和体积密度构建神经网络模型的处理损失，并通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。神经网络模型的处理损失可以包括第一损失值和第二损失值，第一损失值是基于平面图像的二维掩码计算得到的。具体的实施方式可参考图2和图3中的图像处理方法，在此不再赘述。

本申请实施例中，获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件，调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，获取第二平面图像的二维掩码，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。可见，通过预测的三维空间场景在目标观测条件下的第一平面图像的二维掩码与第二平面图像的二维掩码之间的差异，对三维空间场景对应的神经网络模型进行优化，从而提高三维空间场景的神经网络模型的预测结果的准确度。此外，结合第一损失值和第二损失值对神经网络模型进行优化，可以进一步提升神经网络模型的预测结果的准确度，基于该预测结果来对三维空间场景在指定光线下的平面图像中的像素点进行渲染，可以提高像素点的还原度，以提升三维空间场景对应的平面图像的整体渲染效果。

请参阅图5，图5为本申请实施例提供的又一种图像处理方法的流程图，该图像处理方法可以由计算机设备执行，该计算机设备可以是终端设备或者服务器。如图5所示，该图像处理方法可包括如下步骤S501-S505：

S501、获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点。

目标观测条件包括观测方向，此外，目标观测条件还可以包括观测位置、观测光强、观测距离中的一项或多项。第一三维空间场景在目标观测条件下的平面图像可以理解为：按照目标观测条件所指示的观察方向对第一三维空间场景进行投影得到的平面图像。平面图像中的待渲染的像素点具体可以是平面图像中还未被渲染的像素点，或者是渲染失败的像素点。

S502、根据待渲染像素点和观测方向，确定第一查询光线。

第一查询光线的方向与目标观测条件所指示的观测方向一致，且待渲染像素点在第一查询光线上。

S503、获取第一三维空间场景对应的第一神经网络模型。

第一神经网络模型携带了第一三维空间场景的隐式特征。第一神经网络模型可以理解为第一三维空间场景的场景函数，第一三维空间场景的场景函数可以用于将输入的观测方向和第一三维空间场景中任一个采样点的坐标，转换为该采样点的渲染参数，渲染参数包括该采样点的体积密度和颜色信息，颜色信息用于指示按照输入的观测方向对该采样点进行观测时，该采样点呈现的颜色。

在一种实施方式中，第一神经网络模型是采用初始神经网络模型对第一三维空间场景的平面图像集合进行学习得到的，第一三维空间场景的平面图像集合中包含至少两张第一三维空间场景在不同观测条件下的平面图像。不同观测条件是指观测方向、观测位置、观测光强、观测距离中至少存在一项互不相同。在一个实施例中，计算机设备101将第一三维空间场景的平面图像集合输入初始神经网络模型，以使初始神经网络模型提取并记录第一三维空间场景的隐式特征，得到第一神经网络模型。

在另一种实施方式中，第一神经网络模型是优化后的神经网络模型；第一神经网络模型的具体优化方式如下：计算机设备获取第一三维空间场景对应的第一神经网络模型，以及第一三维空间场景对应的目标观测条件。其中，第一神经网络模型是采用初始神经网络模型对第一三维空间场景的平面图像集合进行学习得到的。在得到第一三维空间场景对应的第一神经网络模型后，计算机设备调用第一神经网络模型，预测第一三维空间场景在目标观测条件下的第一平面图像的二维掩码；其中，第一平面图像的二维掩码用于指示第一平面图像中各个像素点关联的场景元素。接着计算机设备获取第二平面图像的二维掩码，第二平面图像是第一三维空间场景的平面图像集合中与第一平面图像相似度最高的平面图像。在得到第二平面图像的二维掩码后，计算机设备基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造第一神经网络模型的处理损失，并通过该处理损失对第一神经网络模型进行优化，得到优化后的第一神经网络模型。第一神经网络模型更具体的优化方法可参考图2或图3中的图像处理方法，在此不再赘述。

S504、调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性。

在一种实施方式中，渲染属性包括相应采样点的体积密度和颜色信息。计算机设备获取第一查询光线上各个采样点的位置信息（如坐标），并调用第一神经网络模型通过第一查询光线上各个采样点的位置信息，预测第一查询光线上各个采样点的体积密度；在得到第一查询光线上各个采样点的体积密度后，结合第一查询光线的观测方向，预测第一查询光线上各个采样点的颜色信息。

S505、按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。

在一种实施方式中，计算机设备按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染可以表示为：

其中，为渲染后的像素点的颜色信息，K为第一查询光线上采样点的总数量；，；表示第i个采样点的体积密度，表示第一查询光线上第i+1个采样点和第i个采样点之间的距离；表示第k个采样点的颜色信息。

在另一种实施方式中，第一三维空间场景中包括M个对象，M为正整数。计算机设备获取第二神经网络模型，第二神经网络模型对应第二三维空间场景，第二三维空间场景是基于针对第一三维空间场景中的目标对象的操作信息对第一三维空间场景进行更新后得到的。其中，操作信息包括以下至少一项：目标对象的平移量，目标对象的旋转量，目标对象的缩放量。目标对象可以是M个对象中的任一个对象。

接着，计算机设备获取第二查询光线，以及第二三维空间场景中目标采样点的位置；其中，目标采样点是第一三维空间场景和第二三维空间场景中存在差异的采样点；第二查询光线可以是预设的查询光线，也可以是开发人员指示的查询光线。

在获取到第二查询光线，以及第二三维空间场景中目标采样点的位置后，计算机设备调用第二神经网络模型通过目标采样点的位置信息和第二查询光线，预测目标采样点的热点向量；目标采样点的热点向量用于指示目标采样点在第二三维空间场景中关联的场景元素。

计算机设备根据第二查询光线和目标采样点的位置，确定目标采样点对应的逆向点，逆向点是第一三维空间场景在第二查询光线下的平面图像中与目标采样点在第二查询光线下的投影位置相匹配的像素点；例如，假设第一三维空间场景中的目标采样点在第二查询光线下的投影位置为第一像素点，则第一像素点为目标采样点的逆向点。

进一步地，计算机设备基于热点向量指示的目标采样点所属的对象与逆向点所属的对象的匹配关系，对第一三维空间场景在第二查询光线下的平面图像进行更新，得到更新后的平面图像。在一个实施例中，若热点向量指示的目标采样点所属的对象与逆向点所属的对象不匹配，则获取第二三维空间场景中在第二查询光线上的各个采样点的渲染属性，渲染属性包括采样点的体积密度和颜色信息，计算机设备基于第二查询光线上的各个采样点的体积密度和颜色信息，对逆向点进行更新渲染，得到更新后的平面图像。逆向点的更新渲染方式可参考上述待渲染像素点的渲染方式，在此不再赘述。

可见，在第一三维空间场景中的目标对象更新后（如按照操作设置进行平移、旋转、缩放等），可以基于第一三维空间场景中被更新的采样点的热点向量和第一三维空间场景（在第二查询光线下）更新前的平面图像中对应的像素点关联的场景元素，来判断是否需要对该像素点进行更新。按照上述方式，在对平面图像进行更新时，无需更新整个平面图像，可以提高平面图像的更新效率。

在一种实现方式中，本申请提供的图像处理方法可以集成在图像处理插件中，该图像处理插件可以集成在图像渲染工具（如AOV渲染工具）中。在需要对三维空间场景（按照指定的观测方向）进行渲染时，或者目标图像渲染失败时，可以通过集成了本申请提供的图像处理方法的图像处理插件来对三维空间场景进行渲染，提升图像渲染效果（如逼真度）。在三维空间场景被更新后，可以通过该图像处理插件更高效地渲染出更新后的三维空间场景对应的平面图像。

可以理解的是，本申请中所涉及的“三维空间场景”在实际应用中具体可以包括但不限于：三维地形场景、三维游戏场景、三维动画场景。以三维游戏场景为例，图像处理人员首先可以通过目标游戏角色的平面图像集合构建包含该目标游戏角色的三维游戏场景对应的神经网络模型，并通过本申请提供的图像处理方法对该神经网络模型进行优化，通过优化后的神经网络模型可以渲染出该目标游戏角色在不同观测条件（如不同观测方向）下的平面投影图像。类似地，通过本申请提供的图像处理方法，图像处理人员还可以通过目标地形的平面图像集合构建包含该目标地形的三维地形场景对应的神经网络模型，并通过本申请提供的图像处理方法对该神经网络模型进行优化，通过优化后的神经网络模型可以渲染出该目标地形在不同观测条件（如不同观测位置）下的平面投影图像。

本申请实施例中，获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，根据待渲染像素点和目标观测条件指示的观测方向，确定第一查询光线，获取第一三维空间场景对应的第一神经网络模型，调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性，按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。通过第一三维空间场景对应的第一神经网络模型，可以对第一三维空间场景在任意观测条件下的平面图像的渲染属性进行预测，从而渲染出第一三维空间场景在任意观测条件下的平面图像。此外，在第一三维空间场景被更新后，计算机设备可以通过查询目标采样点关联的场景元素（通过目标采样点的热点向量指示）和相应逆向点关联的场景元素，来减少第一三维空间场景对应的平面图像中不必要的更新，进而提升平面图像的更新效率。

上述详细阐述了本申请实施例的方法，为了便于更好地实施本申请实施例的上述方案，相应地，下面提供了本申请实施例的装置。

请参见图6，图6为本申请实施例提供的一种图像处理装置的结构示意图，图6所示的图像处理装置可以搭载在计算机设备中，该计算机设备具体可以是终端设备或者服务器。图6所示的图像处理装置可以用于执行上述图2和图3所描述的方法实施例中的部分或全部功能。请参见图6，该图像处理装置包括：

获取单元601，用于获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件；神经网络模型是对三维空间场景的平面图像集合进行学习得到的；平面图像集合中包含至少两张三维空间场景在不同观测条件下的平面图像；

处理单元602，用于调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，第一平面图像的二维掩码用于指示第一平面图像中各个像素点关联的场景元素；

获取单元601，还用于获取第二平面图像的二维掩码，第二平面图像是三维空间场景的平面图像集合中与第一平面图像相似度最高的平面图像；

处理单元602，还用于基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失；

以及用于通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型；优化后的神经网络模型用于渲染三维空间场景在任意观测条件下的平面图像。

在一种实施方式中，观测条件包括以下至少一项：观测方向、观测位置、观测光强、观测距离。

在一种实施方式中，目标观测条件包括观测方向；处理单元602调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码的过程包括：

通过观测方向，确定第一查询光线，第一查询光线的方向与观测方向一致；

获取第一查询光线上各个采样点的位置信息；

调用神经网络模型通过第一查询光线上各个采样点的位置信息和第一查询光线，预测第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性；热点向量用于指示相应采样点在三维空间场景中关联的场景元素；

基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性，预测第一查询光线对应的像素点关联的场景元素。

在一种实施方式中，渲染属性包括体积密度；处理单元602用于，基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性，预测第一查询光线对应的像素点关联的场景元素，具体用于：

基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的体积密度，计算第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果；

根据第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果，预测第一查询光线对应的像素点关联的场景元素。

在一种实施方式中，场景元素包括三维空间场景中的空洞点和M个对象，M为正整数；热点向量的维度为M+1，热点向量的前M维与M个对象一一对应，第M+1维与空洞点对应，空洞点为三维空间场景中不属于M个对象的采样点；

其中，若目标采样点的热点向量指示目标采样点与M个对象中的第j个对象相关联，则表示目标采样点属于第j个对象；若目标采样点的热点向量指示目标采样点与空洞点相关联，则表示目标采样点为空洞点；目标采样点为三维空间场景中的任一个采样点，j为小于等于M的正整数。

在一种实施方式中，三维空间场景中包含M个对象，M为正整数；处理单元602用于，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，具体用于：

基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，计算第一损失值；

获取三维空间场景中的各个空洞点的表面分数和空点分数；空洞点是指三维空间场景中不属于M个对象的采样点，目标空洞点的表面分数用于指示目标空洞点的可见度，目标空洞点的空点分数用于指示目标空洞点的透光度，目标空洞点为三维空间场景中的任一个空洞点；

基于三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值；

对第一损失值和第二损失值进行求和处理，得到神经网络模型的处理损失。

在一种实施方式中，目标观测条件包括观测方向和观测位置；处理单元602获取三维空间场景中的各个空洞点的表面分数和空点分数的过程包括：

通过观测位置和观测方向确定第二查询光线，第二查询光线的方向与观测方向一致，且观测位置位于第二查询光线上；

获取第二查询光线经过的对象与观测位置之间的对象距离；

通过对象距离，将第二查询光线上位于第二查询光线经过的对象与观测位置之间的采样点确定为空洞点；

根据对象距离以及每个空洞点与观测位置之间的距离，分别计算各个空洞点的表面分数和空点分数。

在一种实施方式中，处理单元602用于，获取第二查询光线经过的对象与观测位置之间的对象距离，具体用于：

获取第二查询光线上各个采样点的位置信息；

调用神经网络模型通过第二查询光线上各个采样点的位置信息和第二查询光线，预测第二查询光线上各个采样点的热点向量和第二查询光线上各个采样点的渲染属性；热点向量用于指示相应采样点在三维空间场景中关联的场景元素，渲染属性包括体积密度；

通过第二查询光线上各个采样点的热点向量和第二查询光线上各个采样点的体积密度，预测第二查询光线经过的对象与观测位置之间的对象距离。

在一种实施方式中，处理单元602用于，基于三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值，具体用于：

获取三维空间场景中的各个空洞点的热点向量；

基于三维空间场景中的各个空洞点的表面分数和空点分数，以及三维空间场景中的各个空洞点的热点向量，计算空洞点损失；

基于三维空间场景中的各个空洞点的表面分数和三维空间场景中的各个空洞点的热点向量，计算表面损失；

对表面损失和空洞点损失进行求和处理，得到第二损失值。

根据本申请的一个实施例，图2和图3所示的图像处理方法所涉及的部分步骤可由图6所示的图像处理装置中的各个单元来执行。例如，图2中所示的步骤S201和步骤S203可由图6所示的获取单元601执行，步骤S202，步骤S204和步骤S205可由图6所示的处理单元602执行；图3中所示的步骤S301，步骤S303和步骤S305可由图6所示的获取单元601执行，步骤S302，步骤S304步骤S306-步骤S308可由图6所示的处理单元602执行。图6所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个（些）单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元（CPU）、随机存取存储介质（RAM）、只读存储介质（ROM）等处理元件和存储元件的例如计算机设备的通用计算装置上运行能够执行如图2和图3中所示的相应方法所涉及的各步骤的计算机程序（包括程序代码），来构造如图6中所示的图像处理装置，以及来实现本申请实施例的图像处理方法。计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算装置中，并在其中运行。

本申请实施例中，获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件，调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，获取第二平面图像的二维掩码，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。可见，通过预测的三维空间场景在目标观测条件下的第一平面图像的二维掩码与第二平面图像的二维掩码之间的差异，对三维空间场景对应的神经网络模型进行优化，从而提高三维空间场景的神经网络模型的预测结果的准确度。此外，结合第一损失值和第二损失值对神经网络模型进行优化，可以进一步提升神经网络模型的预测结果的准确度，基于该预测结果来对三维空间场景在指定光线下的平面图像中的像素点进行渲染，可以提高像素点的还原度，以提升三维空间场景对应的平面图像的整体渲染效果。

请参见图7，图7为本申请实施例提供的另一种图像处理装置的结构示意图，图7所示的图像处理装置可以搭载在计算机设备中，该计算机设备具体可以是终端设备或者服务器。图7所示的图像处理装置可以用于执行上述图5所描述的方法实施例中的部分或全部功能。请参见图7，该图像处理装置包括：

获取单元701，用于获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，目标观测条件包括观测方向；

处理单元702，用于根据待渲染像素点和观测方向，确定第一查询光线，第一查询光线的方向与观测方向一致，且待渲染像素点在第一查询光线上；

获取单元701，还用于获取第一三维空间场景对应的第一神经网络模型；

处理单元702，还用于调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性；

以及用于按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。

在一种实施方式中，处理单元702还用于：

获取第二神经网络模型，第二神经网络模型对应第二三维空间场景；第二三维空间场景是基于针对第一三维空间场景中的目标对象的操作信息对第一三维空间场景进行更新后得到的；操作信息包括以下至少一项：目标对象的平移量，目标对象的旋转量，目标对象的缩放量；

获取第二查询光线，以及第二三维空间场景中目标采样点的位置，目标采样点是第一三维空间场景和第二三维空间场景中存在差异的采样点；

调用第二神经网络模型通过目标采样点的位置信息和第二查询光线，预测目标采样点的热点向量；目标采样点的热点向量用于指示目标采样点在第二三维空间场景中关联的场景元素；

根据第二查询光线和目标采样点的位置，确定目标采样点对应的逆向点；逆向点是第一三维空间场景在第二查询光线下的平面图像中与目标采样点在第二查询光线下的投影位置相匹配的像素点；

基于热点向量指示的目标采样点所属的对象与逆向点所属的对象的匹配关系，对第一三维空间场景在第二查询光线下的平面图像进行更新，得到更新后的平面图像。

在一种实施方式中，处理单元702用于，基于热点向量指示的目标采样点所属的对象与逆向点所属的对象的匹配关系，对第一三维空间场景在第二查询光线下的平面图像进行更新，得到更新后的平面图像，具体用于：

若热点向量指示的目标采样点所属的对象与逆向点所属的对象不匹配，则获取第二三维空间场景中在第二查询光线上的各个采样点的渲染属性，渲染属性包括采样点的体积密度和颜色信息；

基于第二查询光线上的各个采样点的体积密度和颜色信息，对逆向点进行更新渲染，得到更新后的平面图像。

根据本申请的一个实施例，图5所示的图像处理方法所涉及的部分步骤可由图7所示的图像处理装置中的各个单元来执行。例如，图5中所示的步骤S501和步骤S503可由图7所示的获取单元701执行，步骤S502，步骤S504和步骤S505可由图7所示的处理单元702执行。图7所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个（些）单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元（CPU）、随机存取存储介质（RAM）、只读存储介质（ROM）等处理元件和存储元件的例如计算机设备的通用计算装置上运行能够执行如图5中所示的相应方法所涉及的各步骤的计算机程序（包括程序代码），来构造如图7中所示的图像处理装置，以及来实现本申请实施例的图像处理方法。计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算装置中，并在其中运行。

本申请实施例中，获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，根据待渲染像素点和目标观测条件指示的观测方向，确定第一查询光线，获取第一三维空间场景对应的第一神经网络模型，调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性，按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。通过第一三维空间场景对应的第一神经网络模型，可以对第一三维空间场景在任意观测条件下的平面图像的渲染属性进行预测，从而渲染出第一三维空间场景在任意观测条件下的平面图像。此外，在第一三维空间场景被更新后，计算机设备可以通过查询目标采样点关联的场景元素（通过目标采样点的热点向量指示）和相应逆向点关联的场景元素，来减少第一三维空间场景对应的平面图像中不必要的更新，进而提升平面图像的更新效率。

请参阅图8，图8为本申请实施例提供的一种计算机设备的结构示意图，该计算机设备可以终端设备或者服务器。如图8所示，计算机设备至少包括处理器801、通信接口802和存储器803。其中，处理器801、通信接口802和存储器803可通过总线或其他方式连接。其中，处理器801（或称中央处理器（Central Processing Unit，CPU））是计算机设备的计算核心以及控制核心，其可以解析计算机设备内的各类指令以及处理计算机设备的各类数据，例如：CPU可以用于解析对象向计算机设备所发出的开关机指令，并控制计算机设备进行开关机操作；再如：CPU可以在计算机设备内部结构之间传输各类交互数据，等等。通信接口802可选的可以包括标准的有线接口、无线接口（如WI-FI、移动通信接口等），受处理器801的控制可以用于收发数据；通信接口802还可以用于计算机设备内部数据的传输以及交互。存储器803（Memory）是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器803既可以包括计算机设备的内置存储器，当然也可以包括计算机设备所支持的扩展存储器。存储器803提供存储空间，该存储空间存储了计算机设备的操作系统，可包括但不限于：Android系统、iOS系统、Windows Phone系统等等，本申请对此并不作限定。

本申请实施例还提供了一种计算机可读存储介质（Memory），计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了计算机设备的处理系统。并且，在该存储空间中还存放了适于被处理器801加载并执行的计算机程序。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机可读存储介质。

在一个实施例中，处理器801通过运行存储器803中的计算机程序，执行如下操作：

获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件；神经网络模型是对三维空间场景的平面图像集合进行学习得到的；平面图像集合中包含至少两张三维空间场景在不同观测条件下的平面图像；

调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，第一平面图像的二维掩码用于指示第一平面图像中各个像素点关联的场景元素；

获取第二平面图像的二维掩码，第二平面图像是三维空间场景的平面图像集合中与第一平面图像相似度最高的平面图像；

基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失；

通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型；优化后的神经网络模型用于渲染三维空间场景在任意观测条件下的平面图像。

作为一种可选的实施例，观测条件包括以下至少一项：观测方向、观测位置、观测光强、观测距离。

作为一种可选的实施例，目标观测条件包括观测方向；处理器801调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码的过程包括：

通过观测方向，确定第一查询光线，第一查询光线的方向与观测方向一致；

获取第一查询光线上各个采样点的位置信息；

调用神经网络模型通过第一查询光线上各个采样点的位置信息和第一查询光线，预测第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性；热点向量用于指示相应采样点在三维空间场景中关联的场景元素；

基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性，预测第一查询光线对应的像素点关联的场景元素。

作为一种可选的实施例，渲染属性包括体积密度；处理器801基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的渲染属性，预测第一查询光线对应的像素点关联的场景元素的具体实施例为：

基于第一查询光线上各个采样点的热点向量和第一查询光线上各个采样点的体积密度，计算第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果；

根据第一查询光线上各个采样点在第一查询光线对应的像素点的投影结果，预测第一查询光线对应的像素点关联的场景元素。

作为一种可选的实施例，场景元素包括三维空间场景中的空洞点和M个对象，M为正整数；热点向量的维度为M+1，热点向量的前M维与M个对象一一对应，第M+1维与空洞点对应，空洞点为三维空间场景中不属于M个对象的采样点；

其中，若目标采样点的热点向量指示目标采样点与M个对象中的第j个对象相关联，则表示目标采样点属于第j个对象；若目标采样点的热点向量指示目标采样点与空洞点相关联，则表示目标采样点为空洞点；目标采样点为三维空间场景中的任一个采样点，j为小于等于M的正整数。

作为一种可选的实施例，三维空间场景中包含M个对象，M为正整数；处理器801基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失的具体实施例为：

基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，计算第一损失值；

获取三维空间场景中的各个空洞点的表面分数和空点分数；空洞点是指三维空间场景中不属于M个对象的采样点，目标空洞点的表面分数用于指示目标空洞点的可见度，目标空洞点的空点分数用于指示目标空洞点的透光度，目标空洞点为三维空间场景中的任一个空洞点；

基于三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值；

对第一损失值和第二损失值进行求和处理，得到神经网络模型的处理损失。

作为一种可选的实施例，目标观测条件包括观测方向和观测位置；处理器801获取三维空间场景中的各个空洞点的表面分数和空点分数的过程包括：

通过观测位置和观测方向确定第二查询光线，第二查询光线的方向与观测方向一致，且观测位置位于第二查询光线上；

获取第二查询光线经过的对象与观测位置之间的对象距离；

通过对象距离，将第二查询光线上位于第二查询光线经过的对象与观测位置之间的采样点确定为空洞点；

根据对象距离以及每个空洞点与观测位置之间的距离，分别计算各个空洞点的表面分数和空点分数。

作为一种可选的实施例，处理器801获取第二查询光线经过的对象与观测位置之间的对象距离的具体实施例为：

获取第二查询光线上各个采样点的位置信息；

调用神经网络模型通过第二查询光线上各个采样点的位置信息和第二查询光线，预测第二查询光线上各个采样点的热点向量和第二查询光线上各个采样点的渲染属性；热点向量用于指示相应采样点在三维空间场景中关联的场景元素，渲染属性包括体积密度；

通过第二查询光线上各个采样点的热点向量和第二查询光线上各个采样点的体积密度，预测第二查询光线经过的对象与观测位置之间的对象距离。

作为一种可选的实施例，处理器801基于三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值的具体实施例为：

获取三维空间场景中的各个空洞点的热点向量；

基于三维空间场景中的各个空洞点的表面分数和空点分数，以及三维空间场景中的各个空洞点的热点向量，计算空洞点损失；

基于三维空间场景中的各个空洞点的表面分数和三维空间场景中的各个空洞点的热点向量，计算表面损失；

对表面损失和空洞点损失进行求和处理，得到第二损失值。

在另一个实施例中，处理器801通过运行存储器803中的计算机程序，执行如下操作：

获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，目标观测条件包括观测方向；

根据待渲染像素点和观测方向，确定第一查询光线，第一查询光线的方向与观测方向一致，且待渲染像素点在第一查询光线上；

获取第一三维空间场景对应的第一神经网络模型；

调用第一神经网络模型通过第一查询光线，预测第一查询光线上各个采样点的渲染属性；

按照第一查询光线上各个采样点的渲染属性对待渲染像素点进行渲染，得到渲染后的像素点。

作为一种可选的实施例，处理器801通过运行存储器803中的计算机程序，还执行如下操作：

获取第二神经网络模型，第二神经网络模型对应第二三维空间场景；第二三维空间场景是基于针对第一三维空间场景中的目标对象的操作信息对第一三维空间场景进行更新后得到的；操作信息包括以下至少一项：目标对象的平移量，目标对象的旋转量，目标对象的缩放量；

获取第二查询光线，以及第二三维空间场景中目标采样点的位置，目标采样点是第一三维空间场景和第二三维空间场景中存在差异的采样点；

调用第二神经网络模型通过目标采样点的位置信息和第二查询光线，预测目标采样点的热点向量；目标采样点的热点向量用于指示目标采样点在第二三维空间场景中关联的场景元素；

根据第二查询光线和目标采样点的位置，确定目标采样点对应的逆向点；逆向点是第一三维空间场景在第二查询光线下的平面图像中与目标采样点在第二查询光线下的投影位置相匹配的像素点；

基于热点向量指示的目标采样点所属的对象与逆向点所属的对象的匹配关系，对第一三维空间场景在第二查询光线下的平面图像进行更新，得到更新后的平面图像。

作为一种可选的实施例，处理器801基于热点向量指示的目标采样点所属的对象与逆向点所属的对象的匹配关系，对第一三维空间场景在第二查询光线下的平面图像进行更新，得到更新后的平面图像的具体实施例为：

若热点向量指示的目标采样点所属的对象与逆向点所属的对象不匹配，则获取第二三维空间场景中在第二查询光线上的各个采样点的渲染属性，渲染属性包括采样点的体积密度和颜色信息；

基于第二查询光线上的各个采样点的体积密度和颜色信息，对逆向点进行更新渲染，得到更新后的平面图像。

基于同一发明构思，本申请实施例中提供的计算机设备解决问题的原理与有益效果与本申请方法实施例中图像处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序适于被处理器加载并执行上述方法实施例的图像处理方法。

本申请实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的图像处理方法。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，可读存储介质可以包括：闪存盘、只读存储器（Read-Only Memory ，ROM）、随机存取器（RandomAccess Memory，RAM）、磁盘或光盘等。

以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于申请所涵盖的范围。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：

获取三维空间场景对应的神经网络模型，以及所述三维空间场景对应的目标观测条件；所述神经网络模型是对所述三维空间场景的平面图像集合进行学习得到的；所述平面图像集合中包含至少两张所述三维空间场景在不同观测条件下的平面图像；

调用所述神经网络模型，预测所述三维空间场景在所述目标观测条件下的第一平面图像的二维掩码，所述第一平面图像的二维掩码用于指示所述第一平面图像中各个像素点关联的场景元素；

获取第二平面图像的二维掩码，所述第二平面图像是所述三维空间场景的平面图像集合中与所述第一平面图像相似度最高的平面图像；

基于所述第一平面图像的二维掩码和所述第二平面图像的二维掩码之间的差异，构造所述神经网络模型的处理损失；

通过所述处理损失对所述神经网络模型进行优化，得到优化后的神经网络模型；所述优化后的神经网络模型用于渲染所述三维空间场景在任意观测条件下的平面图像。

2.如权利要求1所述的方法，其特征在于，所述观测条件包括以下至少一项：观测方向、观测位置、观测光强、观测距离。

3.如权利要求2所述的方法，其特征在于，所述目标观测条件包括观测方向；所述调用所述神经网络模型，预测所述三维空间场景在所述目标观测条件下的第一平面图像的二维掩码的过程包括：

通过所述观测方向，确定第一查询光线，所述第一查询光线的方向与所述观测方向一致；

获取所述第一查询光线上各个采样点的位置信息；

调用所述神经网络模型通过所述第一查询光线上各个采样点的位置信息和所述第一查询光线，预测所述第一查询光线上各个采样点的热点向量和所述第一查询光线上各个采样点的渲染属性；所述热点向量用于指示相应采样点在所述三维空间场景中关联的场景元素；

基于所述第一查询光线上各个采样点的热点向量和所述第一查询光线上各个采样点的渲染属性，预测所述第一查询光线对应的像素点关联的场景元素。

4.如权利要求3所述的方法，其特征在于，所述渲染属性包括体积密度；所述基于所述第一查询光线上各个采样点的热点向量和所述第一查询光线上各个采样点的渲染属性，预测所述第一查询光线对应的像素点关联的场景元素，包括：

基于所述第一查询光线上各个采样点的热点向量和所述第一查询光线上各个采样点的体积密度，计算所述第一查询光线上各个采样点在所述第一查询光线对应的像素点的投影结果；

根据所述第一查询光线上各个采样点在所述第一查询光线对应的像素点的投影结果，预测所述第一查询光线对应的像素点关联的场景元素。

5.如权利要求3所述的方法，其特征在于，所述场景元素包括所述三维空间场景中的空洞点和M个对象，M为正整数；所述热点向量的维度为M+1，所述热点向量的前M维与所述M个对象一一对应，第M+1维与所述空洞点对应，所述空洞点为所述三维空间场景中不属于所述M个对象的采样点；

其中，若目标采样点的热点向量指示所述目标采样点与所述M个对象中的第j个对象相关联，则表示所述目标采样点属于所述第j个对象；若目标采样点的热点向量指示所述目标采样点与所述空洞点相关联，则表示所述目标采样点为空洞点；所述目标采样点为所述三维空间场景中的任一个采样点，j为小于等于M的正整数。

6.如权利要求2所述的方法，其特征在于，所述三维空间场景中包含M个对象，M为正整数；所述基于所述第一平面图像的二维掩码和所述第二平面图像的二维掩码之间的差异，构造所述神经网络模型的处理损失，包括：

基于所述第一平面图像的二维掩码和所述第二平面图像的二维掩码之间的差异，计算第一损失值；

获取所述三维空间场景中的各个空洞点的表面分数和空点分数；所述空洞点是指所述三维空间场景中不属于所述M个对象的采样点，目标空洞点的表面分数用于指示所述目标空洞点的可见度，所述目标空洞点的空点分数用于指示所述目标空洞点的透光度，所述目标空洞点为所述三维空间场景中的任一个空洞点；

基于所述三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值；

对所述第一损失值和所述第二损失值进行求和处理，得到所述神经网络模型的处理损失。

7.如权利要求6所述的方法，其特征在于，所述目标观测条件包括观测方向和观测位置；所述获取所述三维空间场景中的各个空洞点的表面分数和空点分数的过程包括：

通过所述观测位置和观测方向确定第二查询光线，所述第二查询光线的方向与所述观测方向一致，且所述观测位置位于所述第二查询光线上；

获取所述第二查询光线经过的对象与所述观测位置之间的对象距离；

通过所述对象距离，将所述第二查询光线上位于所述第二查询光线经过的对象与所述观测位置之间的采样点确定为空洞点；

根据所述对象距离以及每个空洞点与所述观测位置之间的距离，分别计算各个空洞点的表面分数和空点分数。

8.如权利要求7所述的方法，其特征在于，所述获取所述第二查询光线经过的对象与所述观测位置之间的对象距离，包括：

获取所述第二查询光线上各个采样点的位置信息；

调用所述神经网络模型通过所述第二查询光线上各个采样点的位置信息和所述第二查询光线，预测所述第二查询光线上各个采样点的热点向量和所述第二查询光线上各个采样点的渲染属性；所述热点向量用于指示相应采样点在所述三维空间场景中关联的场景元素，所述渲染属性包括体积密度；

通过所述第二查询光线上各个采样点的热点向量和所述第二查询光线上各个采样点的体积密度，预测所述第二查询光线经过的对象与所述观测位置之间的对象距离。

9.如权利要求6所述的方法，其特征在于，所述基于所述三维空间场景中的各个空洞点的表面分数和空点分数，计算第二损失值，包括：

获取所述三维空间场景中的各个空洞点的热点向量；

基于所述三维空间场景中的各个空洞点的表面分数和空点分数，以及所述三维空间场景中的各个空洞点的热点向量，计算空洞点损失；

基于所述三维空间场景中的各个空洞点的表面分数和所述三维空间场景中的各个空洞点的热点向量，计算表面损失；

对所述表面损失和所述空洞点损失进行求和处理，得到第二损失值。

10.一种图像处理方法，其特征在于，所述方法包括：

获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，所述目标观测条件包括观测方向；

根据所述待渲染像素点和所述观测方向，确定第一查询光线，所述第一查询光线的方向与所述观测方向一致，且所述待渲染像素点在所述第一查询光线上；

获取所述第一三维空间场景对应的第一神经网络模型；

调用所述第一神经网络模型通过所述第一查询光线，预测所述第一查询光线上各个采样点的渲染属性；

按照所述第一查询光线上各个采样点的渲染属性对所述待渲染像素点进行渲染，得到渲染后的像素点。

11.如权利要求10所述的方法，其特征在于，所述方法还包括：

获取第二神经网络模型，所述第二神经网络模型对应第二三维空间场景；所述第二三维空间场景是基于针对所述第一三维空间场景中的目标对象的操作信息对所述第一三维空间场景进行更新后得到的；所述操作信息包括以下至少一项：所述目标对象的平移量，所述目标对象的旋转量，所述目标对象的缩放量；

获取第二查询光线，以及所述第二三维空间场景中目标采样点的位置，所述目标采样点是所述第一三维空间场景和所述第二三维空间场景中存在差异的采样点；

调用所述第二神经网络模型通过所述目标采样点的位置信息和所述第二查询光线，预测所述目标采样点的热点向量；所述目标采样点的热点向量用于指示所述目标采样点在所述第二三维空间场景中关联的场景元素；

根据所述第二查询光线和所述目标采样点的位置，确定所述目标采样点对应的逆向点；所述逆向点是所述第一三维空间场景在所述第二查询光线下的平面图像中与所述目标采样点在所述第二查询光线下的投影位置相匹配的像素点；

基于所述热点向量指示的所述目标采样点所属的对象与所述逆向点所属的对象的匹配关系，对所述第一三维空间场景在所述第二查询光线下的平面图像进行更新，得到更新后的平面图像。

12.如权利要求11所述的方法，其特征在于，所述基于所述热点向量指示的所述目标采样点所属的对象与所述逆向点所属的对象的匹配关系，对所述第一三维空间场景在所述第二查询光线下的平面图像进行更新，得到更新后的平面图像，包括：

若所述热点向量指示的所述目标采样点所属的对象与所述逆向点所属的对象不匹配，则获取所述第二三维空间场景中在所述第二查询光线上的各个采样点的渲染属性，所述渲染属性包括采样点的体积密度和颜色信息；

基于所述第二查询光线上的各个采样点的体积密度和颜色信息，对所述逆向点进行更新渲染，得到更新后的平面图像。

13.一种图像处理装置，其特征在于，所述图像处理装置包括：

获取单元，用于获取三维空间场景对应的神经网络模型，以及所述三维空间场景对应的目标观测条件；所述神经网络模型是对所述三维空间场景的平面图像集合进行学习得到的；所述平面图像集合中包含至少两张所述三维空间场景在不同观测条件下的平面图像；

处理单元，用于调用所述神经网络模型，预测所述三维空间场景在所述目标观测条件下的第一平面图像的二维掩码，所述第一平面图像的二维掩码用于指示所述第一平面图像中各个像素点关联的场景元素；

所述获取单元，还用于获取第二平面图像的二维掩码，所述第二平面图像是所述三维空间场景的平面图像集合中与所述第一平面图像相似度最高的平面图像；

所述处理单元，还用于基于所述第一平面图像的二维掩码和所述第二平面图像的二维掩码之间的差异，构造所述神经网络模型的处理损失；

以及用于通过所述处理损失对所述神经网络模型进行优化，得到优化后的神经网络模型；所述优化后的神经网络模型用于渲染所述三维空间场景在任意观测条件下的平面图像。

14.一种图像处理装置，其特征在于，所述图像处理装置包括：

获取单元，用于获取第一三维空间场景在目标观测条件下的平面图像中的待渲染像素点，所述目标观测条件包括观测方向；

处理单元，用于根据所述待渲染像素点和所述观测方向，确定第一查询光线，所述第一查询光线的方向与所述观测方向一致，且所述待渲染像素点在所述第一查询光线上；

所述获取单元，还用于获取所述第一三维空间场景对应的第一神经网络模型；

所述处理单元，还用于调用所述第一神经网络模型通过所述第一查询光线，预测所述第一查询光线上各个采样点的渲染属性；

以及用于按照所述第一查询光线上各个采样点的渲染属性对所述待渲染像素点进行渲染，得到渲染后的像素点。

15.一种计算机设备，其特征在于，包括：存储器和处理器；

存储器，所述存储器中存储有计算机程序；

处理器，用于加载所述计算机程序实现如权利要求1-9任一项所述的图像处理方法；或用于加载所述计算机程序实现如权利要求10-12任一项所述的图像处理方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于被处理器加载并执行如权利要求1-9任一项所述的图像处理方法；或执行如权利要求10-12任一项所述的图像处理方法。

Images