CN111932641A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，图像处理方法包括获取当前场景中受光物体的着色图像，根据受光物体在当前场景的图像坐标系下的当前位置，得到受光物体在相机坐标系下的目标位置，获取摄像装置的光照颜色图，根据目标位置和摄像装置的光照颜色图，对着色图像进行处理，得到受光物体的光照图像。本公开实现了根据光照颜色图对着色图像进行处理，无需对着色图像逐像素进行处理，缩短渲染时长且提高光照计算的实时性，并且光照颜色图根据当前场景中光源的属性生成，光照颜色图能够随当前场景中光源的属性变化而变化，光照颜色图表征的光照情况能够与当前场景中光源的光照情况一致，以提高渲染真实感。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及数据处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

相关技术中，随着游戏、虚拟现实（Virtual Reality，VR）和增强现实（AugmentedReality，AR）等具有渲染要求的应用的不断普及，对渲染真实感要求越来越高，为了增强渲染真实感，在渲染程中增加光源的光照处理。光源对渲染真实感的影响体现在如下两方面：

一是光源的位置和光照方向等属性的改变，会影响光源到光源所照射到的物体（简称受光物体）的光照图像。二是受光物体进入到光源照射范围内，也会受到光照影响，这些会影响渲染真实感，尤其是影响对受光物体的渲染真实感。其中得到光照图像的方式有如下两种：

一种是，离线烘焙法，预先计算所有光源的光照颜色图，在应用分布阶段将光照颜色图作为资源数据进行发布，因为在资源数据制作阶段预先生成光照颜色图，光照颜色图不会随光源和受光物体的改变而改变，使得渲染过程使用的光照颜色图与实际光源的照射情况不符，降低渲染真实感；

另一种是，基于摄像装置中的片元着色器进行光照运算，过程是：获取当前场景中受光物体的着色图像，着色图像通过对受光物体进行着色处理后得到，以体现受光物体的着色效果，根据光源的位置和光照方向等属性，对受光物体的着色图像逐像素进行光照运算，逐像素进行光照运算会消耗大量运算时间，导致渲染时长会随光源数目的增多而增多，且渲染时长的增加会降低光照计算的实时性。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以提高渲染真实感、缩短渲染时长且提高光照计算的实时性。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

获取当前场景中受光物体的着色图像，所述着色图像通过对所述受光物体进行着色处理后得到；

根据所述受光物体在当前场景的图像坐标系下的当前位置，得到所述当前位置在相机坐标系下的目标位置，所述受光物体位于摄像装置的摄像范围中，且所述摄像装置的摄像方向指向所述当前场景中光源的照射方向；

获取所述摄像装置的光照颜色图，所述光照颜色图根据当前场景中光源的属性生成，所述光照颜色图用于表征位于所述当前场景中光源的照射情况；

根据所述目标位置和所述摄像装置的光照颜色图，对所述着色图像进行处理，得到所述受光物体的光照图像，所述光照图像为体现所述受光物体被所述光源照射后的显示效果的图像。

可选的，所述根据所述目标位置和所述摄像装置的光照颜色图，对所述着色图像进行处理，得到所述受光物体的光照图像包括：

根据所述目标位置对所述光照颜色图进行采样，得到与所述目标位置匹配的光照颜色信息；

将所述光照颜色信息叠加到所述着色图像中，得到所述光照图像。

可选的，所述光照颜色图根据当前场景中光源的属性生成包括：

获取位于所述当前场景中的光源对应的图像和所述光源对应的网格，所述光源对应的图像用于表征所述光源的颜色，所述光源对应的网格用于指示所述当前场景中设置所述光源的区域；

根据所述当前场景中的光源对应的图像和所述光源对应的网格，生成所述当前场景中摄像装置的光照颜色图。

可选的，所述获取位于所述当前场景中的光源对应的图像和所述光源对应的网格包括：

获取位于所述当前场景中的光源的光源类型；

根据所述光源类型，从预设光源图像库中获取所述光源类型匹配的图像作为所述光源对应的图像；

获取所述光源在所述当前场景中的位置和所述光源在所述当前场景中的朝向；

根据所述光源在所述当前场景中的位置和所述光源在所述当前场景中的朝向，生成所述光源对应的网格。

可选的，所述光源在所述当前场景中的位置以设置所述光源的区域中的至少三个边界点在所述当前场景中的坐标表示；所述光源在所述当前场景中的朝向以所述至少三个边界点所在平面的法向量表示；

所述根据所述光源在所述当前场景中的位置和所述光源在所述当前场景中的朝向，生成所述光源对应的网格包括：

将所述至少三个边界点在所述当前场景中的坐标作为所述网格中的至少三个边界点的坐标；

将表征所述光源在所述当前场景中的朝向的法向量作为所述网格的法向量；

根据所述网格中的至少三个边界点的坐标和所述网格的法向量，构建所述光源对应的网格。

可选的，所述方法还包括：

对所述当前场景中的光源的属性进行监测；

当监测到所述光源的属性发生变化时，根据变化后的光源的属性，更新所述当前场景中摄像装置的光照颜色图。

可选的，所述根据所述当前场景中的光源对应的图像和所述光源对应的网格，生成所述当前场景中摄像装置的光照颜色图包括：

确定所述摄像装置的摄像方向；

将所述当前场景中所有光源对应的图像进行拼接，得到所述当前场景对应的光源图像，将所述当前场景中所有光源对应的网格进行拼接，得到所述当前场景对应的光源网格；

通过所述摄像装置对所述摄像方向对应的摄像范围进行摄像的过程中，对所述光源图像进行采样，得到所述光源图像对应的颜色信息，根据所述颜色信息对所述光源网格进行渲染，以得到所述光照颜色图。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：

第一获取单元，被配置为执行获取当前场景中受光物体的着色图像，所述着色图像通过对所述受光物体进行着色处理后得到；

获得单元，被配置为执行根据所述受光物体在当前场景的图像坐标系下的当前位置，得到所述当前位置在相机坐标系下的目标位置，所述受光物体位于摄像装置的摄像范围中，且所述摄像装置的摄像方向指向所述当前场景中光源的照射方向；

第二获取单元，被配置为执行获取所述摄像装置的光照颜色图，所述光照颜色图根据当前场景中光源的属性生成，所述光照颜色图用于表征位于所述当前场景中光源的照射情况；

处理单元，被配置为执行根据所述目标位置和所述摄像装置的光照颜色图，对所述着色图像进行处理，得到所述受光物体的光照图像，所述光照图像为体现所述受光物体被所述光源照射后的显示效果的图像。

可选的，所述处理单元，被配置为执行根据所述目标位置对所述光照颜色图进行采样，得到与所述目标位置匹配的光照颜色信息；将所述光照颜色信息叠加到所述着色图像中，得到所述光照图像。

可选的，所述装置还包括：

第三获取单元，被配置为执行获取位于所述当前场景中的光源对应的图像和所述光源对应的网格，所述光源对应的图像用于表征所述光源的颜色，所述光源对应的网格用于指示所述当前场景中设置所述光源的区域；

生成单元，被配置为执行根据所述当前场景中的光源对应的图像和所述光源对应的网格，生成所述当前场景中摄像装置的光照颜色图。

可选的，所述第三获取单元包括：

第一获取子单元，被配置为执行获取位于所述当前场景中的光源的光源类型；

图像确定子单元，被配置为执行根据所述光源类型，从预设光源图像库中获取所述光源类型匹配的图像作为所述光源对应的图像；

第二获取子单元，被配置为执行获取所述光源在所述当前场景中的位置和所述光源在所述当前场景中的朝向；

网格生成子单元，被配置为执行根据所述光源在所述当前场景中的位置和所述光源在所述当前场景中的朝向，生成所述光源对应的网格。

可选的，所述光源在所述当前场景中的位置以设置所述光源的区域中的至少三个边界点在所述当前场景中的坐标表示；所述光源在所述当前场景中的朝向以所述至少三个边界点所在平面的法向量表示；

所述网格生成子单元，被配置为执行将所述至少三个边界点在所述当前场景中的坐标作为所述网格中的至少三个边界点的坐标；将表征所述光源在所述当前场景中的朝向的法向量作为所述网格的法向量；根据所述网格中的至少三个边界点的坐标和所述网格的法向量，构建所述光源对应的网格。

可选的，所述装置还包括：

监测单元，被配置为执行对所述当前场景中的光源的属性进行监测；

更新单元，被配置为执行当监测到所述光源的属性发生变化时，根据变化后的光源的属性，更新所述当前场景中摄像装置的光照颜色图。

可选的，所述生成单元，被配置为执行确定所述摄像装置的摄像方向；将所述当前场景中所有光源对应的图像进行拼接，得到所述当前场景对应的光源图像，将所述当前场景中所有光源对应的网格进行拼接，得到所述当前场景对应的光源网格；通过所述摄像装置对所述摄像方向对应的摄像范围进行摄像的过程中，对所述光源图像进行采样，得到所述光源图像对应的颜色信息，根据所述颜色信息对所述光源网格进行渲染，以得到所述光照颜色图。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述图像处理方法。

根据本公开实施例的第四方面，提供一种存储介质，所述存储介质中存储有指令，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，当在电子设备上执行时，适于执行初始化有上述图像处理方法的步骤的程序。

本公开的实施例提供的技术方案至少带来以下有益效果：

获取当前场景中受光物体的着色图像，着色图像通过对受光物体进行着色处理后得到，根据受光物体在当前场景对应的图像坐标系下的当前位置，得到受光物体在相机坐标系下的目标位置，受光物体位于摄像装置的摄像范围中，且摄像装置的摄像方向指向当前场景中光源的照射方向，获取摄像装置的光照颜色图，光照颜色图根据当前场景中光源的属性生成，且光照颜色图用于表征位于当前场景中光源的照射情况，根据目标位置和摄像装置的光照颜色图，对着色图像进行处理，得到受光物体的光照图像。本公开实现了根据光照颜色图对着色图像进行处理，无需对着色图像逐像素进行处理，缩短渲染时长且提高光照计算的实时性，并且光照颜色图根据当前场景中光源的属性生成，以通过光照颜色图表征位于当前场景中光源的照射情况，说明对着色图像进行处理的光照颜色图能够随当前场景中光源的属性变化而变化，光照颜色图表征的光源的照射情况能够与当前场景中光源的照射情况一致，使得光照图像体现的受光物体被光源照射后的显示效果与当前场景中受光物体被光源照射时展示出的效果一致，从而提高渲染真实感。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的流程图；

图2是根据一示例性实施例示出的生成光照颜色图的流程图；

图3是根据一示例性实施例示出的一种图像处理方法中获取光源对应的图像和光源对应的网格的流程图；

图4和图5示出了两个光源对应的图像的示意图；

图6示出了当前场景的光源图像的示意图；

图7示出了当前场景的光照颜色图的示意图；

图8示出了当前场景下受光物体的光照图像的示意图；

图9是根据一示例性实施例示出的一种图像处理装置的框图；

图10是根据一示例性实施例示出的另一种图像处理装置的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，图像处理方法可应用于电子设备中，电子设备可以是但不限于是手机、平板电脑、穿戴设备等能够运行游戏、VR和AR应用程序的设备，或是提供游戏、VR和AR应用程序的后台设备。图1所示图像处理方法可以包括以下步骤：

在步骤S11中，获取当前场景中受光物体的着色图像，着色图像通过对受光物体进行着色处理后得到，以通过着色图像体现受光物体的着色效果。可以理解的是：受光物体是位于当前场景中被当前场景中的光源照射到的物体，该受光物体可以是当前场景中的一个虚拟物体，如虚拟人物、虚拟动物等等。对于当前场景中的受光物体，通常是由多边形组成的三维物体，在得到受光物体的三维模型后，对三维模型进行着色才能够表现出各种物体，其中着色处理包括但不限于Flat Shading（平面着色）和Gouraud Shading（高洛德着色），以通过这些着色处理得到受光物体的着色图像。

在步骤S12中，根据受光物体在当前场景的图像坐标系下的当前位置，得到当前位置在相机坐标系下的目标位置，受光物体位于摄像装置的摄像范围中，且摄像装置的摄像方向指向当前场景中光源的照射方向。

受光物体的当前位置是根据当前场景的图像坐标系得到，如受光物体在图像坐标系下的坐标表示当前位置，而相机坐标系是摄像装置所对应坐标系，其与图像坐标系不同，通过图像坐标系与相机坐标系之间的对应关系，对当前位置进行坐标系转换，以得到受光物体在相机坐标系下的目标位置，如根据当前场景的图像坐标系和相机坐标系之间的对应关系，将受光物体在当前场景的图像坐标系下的坐标转换为相机坐标系下的坐标，得到受光物体在相机坐标系下的目标位置。此处的摄像装置为一个虚拟摄像机。

之所以需要得到受光物体在相机坐标系下的目标位置，是因为对受光物体的着色图像进行处理参照的是摄像装置的光照颜色图，摄像装置的光照颜色图是摄像装置对其摄像方向对应的摄像范围进行拍摄过程中得到，表征出摄像方向对应的摄像范围内各光源的照射情况，而摄像装置的摄像方向对应的摄像范围是以相机坐标系为基础，意味着光照颜色图中各像素点的坐标是以相机坐标系表示，所以需要得到受光物体在相机坐标系下的目标位置，以根据处于同一个坐标系下的光照颜色图对着色图像进行处理。

在步骤S13中，获取摄像装置的光照颜色图，光照颜色图根据当前场景中光源的属性生成，光照颜色图用于表征位于当前场景中光源的照射情况。

在步骤S14中，根据目标位置和摄像装置的光照颜色图，对着色图像进行处理，得到受光物体的光照图像，光照图像为体现受光物体被光源照射后的显示效果的图像。

因为光照颜色图是根据当前场景中光源的属性生成，光源的属性包括光源在当前场景中的位置和朝向等，在光源的属性发生变化时光照颜色图也会发生变化，即光照颜色图能够随光源的变化而变化，使得光照颜色图表征的照射情况与当前场景中光源的实际照射情况一致，从而可根据表征实际照射情况的光照颜色图对着色图像进行处理，使得对着色图像的处理与受光物体所在目标位置的照射情况一致，以使得光照图像体现的受光物体被光源照射后的显示效果与当前场景中受光物体被光源照射时展示出的效果一致，从而提高渲染真实感。

根据目标位置和摄像装置的光照颜色图对着色图像进行处理的一种方式是：根据目标位置对光照颜色图进行采样，得到与目标位置匹配的光照颜色信息；将光照颜色信息叠加到着色图像中，得到光照图像。

采样得到的光照颜色信息是光照颜色图中目标位置指向的像素点的颜色信息，如目标位置以坐标表示，光照颜色图中各像素点也以坐标表示，则通过坐标比对方式可确定坐标与目标位置的坐标相同的像素点，得到该像素点的颜色信息。因为目标位置是受光物体在相机坐标系下的位置，通过目标位置的匹配可确定出光照颜色图中在该目标位置的光照颜色信息，以光照颜色信息来表征该目标位置的照射情况。

在得到光照颜色信息后，将光照颜色信息叠加到着色图像中，得到一个可体现该目标位置的照射情况的光照图像，使得受光物体的光照图像与该目标位置的照射情况相符，提高渲染真实感。其中将光照颜色信息叠加到着色图像中采用的是一对一叠加方式，所谓一对一叠加方式是将光照颜色信息叠加到着色图像中与目标位置匹配的像素点中。因目标位置是根据受光物体在当前场景的图像坐标系下的当前位置和相机坐标系得到，受光物体在当前场景的图像坐标系下的当前位置以受光物体的各像素点的位置表示，所以目标位置是受光物体的各像素点在相机坐标系下的位置，在得到受光物体的各像素点在相机坐标系下的位置后，可从光照颜色图中提取出各像素点对应位置处的光照颜色信息，然后以一对一叠加方式将各像素点对应位置处的光照颜色信息叠加到对应像素点上，得到各像素点的照射情况。

在本实施例中，根据目标位置和光照颜色图对着色图像进行处理过程中，可通过采样指令方式指示采样光照颜色图中与目标位置匹配的光照颜色信息，以通过光照颜色信息进行叠加，相对于相关技术中以光照算法对着色图像进行处理来说，光照算法会使用复杂数学方程对着色图像进行处理，如PBR算法或者Blinn-Phong算法，通过光照算法进行处理会涉及很多的运算，从而会消耗大量的资源，增加渲染时长，而本实施例直接采样得到光照颜色信息即可进行渲染，降低渲染时长。

从上述技术方案可知，获取当前场景中受光物体的着色图像，着色图像通过对受光物体进行着色处理后得到，根据受光物体在当前场景对应的图像坐标系下的当前位置，得到受光物体在相机坐标系下的目标位置，受光物体位于摄像装置的摄像范围中，且摄像装置的摄像方向指向当前场景中光源的照射方向，获取摄像装置的光照颜色图，光照颜色图根据当前场景中光源的属性生成，且光照颜色图用于表征位于当前场景中光源的照射情况，根据目标位置和摄像装置的光照颜色图，对着色图像进行处理，得到受光物体的光照图像。本公开实现了根据光照颜色图对着色图像进行处理，无需对着色图像逐像素进行处理，缩短渲染时长且提高光照计算的实时性，并且光照颜色图根据当前场景中光源的属性生成，以通过光照颜色图表征位于当前场景中光源的照射情况，说明对着色图像进行处理的光照颜色图能够随当前场景中光源的属性变化而变化，光照颜色图表征的光源的照射情况能够与当前场景中光源的照射情况一致，使得光照图像体现的受光物体被光源照射后的显示效果与当前场景中受光物体被光源照射时展示出的效果一致，从而提高渲染真实感。

在本实施例中，光照颜色图可根据当前场景中光源的属性生成，图2是根据一示例性实施例示出的光照颜色图的生成过程，可以包括以下步骤：

在步骤S21中，获取位于当前场景中的光源对应的图像和光源对应的网格。其中光源对应的图像用于表征光源的颜色，光源对应的网格用于指示当前场景中设置光源的区域。光源对应的图像和光源对应的网格的获取方式如图3所示，不限于如下方式：

在步骤S211中，获取位于当前场景中的光源的光源类型。光源类型用于指示光源所属类型，如光源类型包括：路灯、火把、车灯等中的至少一种类型，对于不同光源类型的光源来说，光源的颜色也会不同，而光源的颜色可通过光源对应的图像表示，因此需要首先获取光源类型，以通过光源类型查找对应的图像。

在步骤S212中，根据光源类型，从预设光源图像库中获取光源类型匹配的图像作为光源对应的图像，光源对应的图像用于表征光源的颜色。其中预设光源图像库中存储有不同光源类型的图像，其存储方式包括但不限于以光源类型和光源对应的图像的对应关系进行存储，或者以光源类型作为光源对应的图像的标签，这样在获取到光源类型后，可从预设光源图像库中查找到匹配的图像，将其作为光源类型指示的光源对应的图像。

对于同一种光源类型的光源，光源的强度不同，光源的颜色也可能会不同，针对这点，本实施例在生成光源对应的图像过程中，还可以根据光源的强度生成与强度匹配的图像，一个光源的图像会与光源类型以及光源的强度对应，从而实现根据光源类型和光源的强度划分光源对应的图像，这样在生成光照颜色图过程中，还可以获取光源的强度，以根据光源的强度和光源类型，从预设光源图像库中获取匹配的图像。其中从预设光源图像库中获取匹配的图像可以参照如下方式获取：

光源的强度会有很多种情况，本实施例会对光源的强度进行等级划分，如将同一光源类型的光源的强度划分成1至N等级（N为大于1的自然数），对任一等级，生成该等级匹配的图像，这样在获取当前场景中一个光源的强度后，确定光源的强度所处等级，从预设光源图像库中获取光源的强度所处等级对应的图像。对于路灯和车灯等这些光线随空气流动发生变化较小或几乎不变的光源，视为固定光源，预设光源图像库中存储有固定光源的一张图像，以通过一张图像表征光源的颜色；而对于火焰这种光源来说，其光线（如火焰）会随空气流动而变化，这种光源可视为是可变光源，因火焰随空气流动发生变化后光源的颜色也会发生变化，为此预设光源图像库中存储有可变光源的多张图像，每张图像对应一种光线随空气流动的变化情况且每张图像对应一个时间点，针对可变光源在从预设光源图像库中获取可变光源匹配的图像时，从可变光源的多张图像中获取时间点与当前时间点匹配的图像作为当前场景下可变光源的图像。

在步骤S213中，获取光源在当前场景中的位置和光源在当前场景中的朝向。光源在当前场景中的朝向表示光源的照射方向，在本实施例中位置和朝向的一种表现形式是：

光源在当前场景中的位置以设置光源的区域中的至少三个边界点在当前场景中的坐标表示，光源在当前场景中的朝向以光源的至少三个边界点所在平面的法向量表示。之所以采用至少三个边界点是因为三个点确定出一个平面，且三个边界点能够确定出光源的区域。

在步骤S214中，根据光源在当前场景中的位置和光源在当前场景中的朝向，生成光源对应的网格，以通过光源对应的网格来表示指示当前场景中设置光源的区域。

其中位置和朝向的一种表现形式是：光源在当前场景中的位置以设置光源的区域中的至少三个边界点在当前场景中的坐标表示，光源在当前场景中的朝向以光源的至少三个边界点所在平面的法向量表示，相对应的生成光源对应的网格的过程如下：

将至少三个边界点在当前场景中的坐标作为网格中的至少三个边界点的坐标；将表征光源在当前场景中的朝向的法向量作为网格的法向量；根据网格中的至少三个边界点的坐标和网格的法向量，构建光源对应的网格。如以网格中的三个边界点的坐标和网格的法向量，确定一个平面，即确定出一个法向量为网格的法向量且包含网格中的三个边界点的坐标的平面，并通过三个边界点的坐标作为三个顶点，通过这三个顶点从屏幕中确定出一个矩形区域，则该平面中的矩形区域可作为光源对应的网格。

当设置光源的区域为不规则区域的多边形时，光源在当前场景中的位置可以以设置光源的区域中的多个边界点在当前场景中的坐标表示，多个边界点的数量大于三个，通过多个边界点能够确定出设置光源的区域的边界，这样在将多个边界点的坐标作为网格的边界点的坐标时，能够通过多个边界点确定出网格的边界。例如设置光源的区域是一个不规则四边形，将设置光源的区域中的四个顶点（边界点的一种）在当前场景中的坐标表示光源在当前场景中的位置，将这四个顶点的坐标作为网格中四个顶点的坐标，从而通过这四个顶点确定出网格的边界。

当设置光源的区域的至少一个边界具有弧度，光源在当前场景中的位置除了包括多个边界点在当前场景中的坐标之外，还包括相邻两个边界点之间的连线对应的弧度，通过相邻两个边界点和对应的弧度确定相邻两个边界点对应的边界线，以此类推，得到边界点对应的边界线，从而得到光源对应的网格。

在步骤S22中，根据当前场景中的光源对应的图像和光源对应的网格，生成当前场景中摄像装置的光照颜色图，以实现根据当前场景中光源的光源类型、光源的位置和朝向，生成光照颜色图，使光照颜色图表征的照射情况与实际照射情况相一致。在本实施例中，生成光照颜色图的一种可行方式如下：

确定摄像装置的摄像方向；将当前场景中所有光源对应的图像进行拼接，得到当前场景对应的光源图像，将当前场景中所有光源对应的网格进行拼接，得到当前场景对应的光源网格；通过摄像装置对摄像方向对应的摄像范围进行摄像的过程中，对光源图像进行采样，得到光源图像对应的颜色信息，根据颜色信息对光源网格进行渲染，以得到光照颜色图。

摄像装置的摄像方向可根据光源在当前场景中的朝向得到，如根据所有光源在当前场景中的朝向得到一个朝向，该朝向作为摄像方向，例如光源在当前场景中的朝向以法向量表示，则可根据所有光源的法向量计算出一个法向量，该法向量指示的方向可作为摄像方向。在拼接光源对应的图像和拼接光源对应的网格过程中，两个拼接操作可同时进行或依次进行，且两个拼接操作中拼接顺序可相同也可不同，本实施例不进行限定。

在通过摄像装置对摄像方向对应的摄像范围进行摄像过程中，通过摄像装置中的片元着色器，对光源图像进行采样得到光源图像对应的颜色信息，然后通过片元着色器利用颜色信息对光源网格进行渲染（如着色）得到光照颜色图，对片元着色器的采样和渲染过程，本实施例不再阐述。

通过上述光源颜色图生成过程可知，在获取到当前场景的光源图像和光源网格之后，通过对光源图像的采样以及对光源网格的渲染即可得到光照颜色图，实现通过光照颜色图表征照射情况，相对于相关技术中以数学参数方式描述光照颜色图来说，降低光照颜色图生成过程中对设备资源的消耗，尤其是减少计算量降低因计算量过大对设备资源的消耗。并且通过光照颜色图方式可对非精确光源进行描述，理由如下：

精确光源指的是点光源，聚光灯，平行光这些类型光源。以点光源为例，点光源用一个质点来表示，质点是一种数学意义上存在，数学参数式描述的是这种数学意义上的光源，换句话说数学参数式可以用来描述没有面积的光源。而非精确光源是一个具有面积的光源，例如家里天花板安装了个吸顶灯，这个吸顶灯是荷叶形状，每次开灯，会在地板上投射出一个荷叶形状，这个是一个能量（光子）发射的过程，光子是从荷叶吸顶灯各个部位发射出来的，数学参数式很难描述这个荷叶形状，如果一旦描述这个荷叶形状，在处理过程中会涉及极其复杂的运算，而通过光照颜色图来描述光源，使光源描述具备了面积，因此本实施例中的光照颜色图可对非精确光源进行描述。

因为光照颜色图根据光源的属性生成，如上述根据光源的光源类型、光源的位置和光源的朝向生成，当场景中光源发生变化，如光源的位置和朝向中的至少一种属性发生变化，和/或场景中光源的光源类型发生变化，对应的光源的照射情况也会发生变化，所以为了使得光照颜色图表征的照射情况与实际照射情况一致，光照颜色图也需要跟随场景中光源的属性变化而变化，相对应的，本实施例示出的图像处理方法还可以包括：对当前场景中的光源的属性进行监测；当监测到光源的属性发生变化时，根据变化后的光源的属性，更新当前场景中摄像装置的光照颜色图，更新过程可以视为重新生成光照颜色图的过程，可参照上述生成光照颜色图的方式进行更新，此处不再赘述。

下面结合实例对本公开提供的图像处理方法进行说明，当前场景为一个房屋的内部结构，且该房屋的地面上竖立两根柱子，在当前场景中没有光源照射的情况下，当前场景呈现出全黑状态，如果当前场景从没有光源照射切换至有光源照射，且有两个光源进行照射，当前场景中两个光源对应的图像如4和图5，当前场景中两个光源对应的图像进行拼接，得到图6所述当前场景的光源图像，根据图6所示当前场景的光源图像，得到图7所示光照颜色图，房屋中的两根柱子和地面可以作为受光物体，本实施例会利用图7所示光照颜色图对两根柱子和柱子接触的地面的着色图像进行处理，得到两根柱子和地面的光照图像，以体现出光源在照射到两根柱子和地面时柱子和地面被光源照射后的显示效果，体现出受光物体在当前场景中的显示变化情况，如图8所示，示出了两根柱子和地面的光照图像，体现出了柱子和地面被光源照射后的显示效果。

图9是根据一示例性实施例示出的一种图像处理装置的框图，可以包括：第一获取单元10、获得单元20、第二获取单元30和处理单元40。

第一获取单元10，被配置为执行获取当前场景中受光物体的着色图像，着色图像通过对受光物体进行着色处理后得到，以通过着色图像体现受光物体的着色效果。

获得单元20，被配置为执行根据受光物体在当前场景的图像坐标系下的当前位置，得到当前位置在相机坐标系下的目标位置，受光物体位于摄像装置的摄像范围中，且摄像装置的摄像方向指向当前场景中光源的照射方向。

受光物体在图像坐标系下的坐标表示当前位置，获得单元20可以根据当前场景的图像坐标系和相机坐标系之间的对应关系，将受光物体在当前场景的图像坐标系下的坐标转换为相机坐标系下的坐标，得到受光物体在相机坐标系下的目标位置。

之所以需要得到受光物体在相机坐标系下的目标位置，是因为对受光物体的着色图像进行处理参照的是摄像装置的光照颜色图，摄像装置的光照颜色图是摄像装置对其摄像方向对应的摄像范围进行拍摄过程中得到，表征出摄像方向对应的摄像范围内各光源的照射情况，而摄像装置的摄像方向对应的摄像范围是以相机坐标系为基础，意味着光照颜色图中各像素点的坐标是以相机坐标系表示，所以需要得到受光物体在相机坐标系下的目标位置，以根据处于同一个坐标系下的光照颜色图对着色图像进行处理。

第二获取单元30，被配置为执行获取摄像装置的光照颜色图，光照颜色图根据当前场景中光源的属性生成，光照颜色图用于表征位于当前场景中光源的照射情况。

处理单元40，被配置为执行根据目标位置和摄像装置的光照颜色图，对着色图像进行处理，得到受光物体的光照图像，光照图像为体现受光物体被光源照射后的显示效果的图像。一种方式是：根据目标位置对光照颜色图进行采样，得到与目标位置匹配的光照颜色信息。将光照颜色信息叠加到着色图像中，得到光照图像。

从上述技术方案可知，获取当前场景中受光物体的着色图像，着色图像通过对受光物体进行着色处理后得到，根据受光物体在当前场景对应的图像坐标系下的当前位置，得到受光物体在相机坐标系下的目标位置，摄像装置的摄像方向指向当前场景中光源的照射方向，且受光物体位于摄像装置的摄像范围中，获取摄像装置的光照颜色图，光照颜色图根据当前场景中光源的属性生成，且光照颜色图用于表征位于当前场景中光源的照射情况，根据目标位置和摄像装置的光照颜色图，对着色图像进行处理，得到受光物体的光照图像。本公开实现了根据光照颜色图对着色图像进行处理，无需对着色图像逐像素进行处理，缩短渲染时长且提高光照计算的实时性，并且光照颜色图根据当前场景中光源的属性生成，以通过光照颜色图表征位于当前场景中光源的照射情况，说明对着色图像进行处理的光照颜色图能够随当前场景中光源的属性变化而变化，光照颜色图表征的光源的照射情况能够与当前场景中光源的照射情况一致，使得光照图像体现的受光物体被光源照射后的显示效果与当前场景中受光物体被光源照射时展示出的效果一致，从而提高渲染真实感。

图10是根据一示例性实施例示出的另一种图像处理装置的框图，还可以包括：第三获取单元50和生成单元60。

第三获取单元50，被配置为执行获取位于当前场景中的光源对应的图像和光源对应的网格，光源对应的图像用于表征光源的颜色，光源对应的网格用于指示当前场景中设置光源的区域。第三获取单元的一种可选结构是，第三获取单元50包括：第一获取子单元、图像确定子单元、第二获取子单元和网格生成子单元。

第一获取子单元，被配置为执行获取位于当前场景中的光源的光源类型。

图像确定子单元，被配置为执行根据光源类型，从预设光源图像库中获取光源类型匹配的图像作为光源对应的图像。

第二获取子单元，被配置为执行获取光源在当前场景中的位置和光源在当前场景中的朝向。

网格生成子单元，被配置为执行根据光源在当前场景中的位置和光源在当前场景中的朝向，生成光源对应的网格。

光源在当前场景中的位置以设置光源的区域中的至少三个边界点在当前场景中的坐标表示。光源在当前场景中的朝向以至少三个边界点所在平面的法向量表示。相对应的网格生成子单元，被配置为执行将至少三个边界点在当前场景中的坐标作为网格中的三个边界点的坐标。将表征光源在当前场景中的朝向的法向量作为网格的法向量。根据网格中的三个边界点的坐标和网格的法向量，构建光源对应的网格。

生成单元60，被配置为执行根据当前场景中的光源对应的图像和光源对应的网格，生成当前场景中摄像装置的光照颜色图。一种方式是，生成单元60，被配置为执行确定摄像装置的摄像方向。将当前场景中所有光源对应的图像进行拼接，得到当前场景对应的光源图像，将当前场景中所有光源对应的网格进行拼接，得到当前场景对应的光源网格。通过摄像装置对摄像方向对应的摄像范围进行摄像的过程中，对光源图像进行采样，得到光源图像对应的颜色信息，根据颜色信息对光源网格进行渲染，以得到光照颜色图。

因为光照颜色图根据光源的属性生成，如上述根据光源的光源类型、光源的位置和光源的朝向生成，当场景中光源发生变化，如光源的位置和朝向中的至少一种属性发生变化，和/或场景中光源的光源类型发生变化，对应的光源的照射情况也会发生变化，所以为了使得光照颜色图表征的照射情况与实际照射情况一致，光照颜色图也需要跟随场景中光源的属性变化而变化，相对应的，本实施例示出的图像处理装置还可以包括：监测单元，被配置为执行对当前场景中的光源的属性进行监测；更新单元，被配置为执行当监测到光源的属性发生变化时，根据变化后的光源的属性，更新当前场景中摄像装置的光照颜色图，更新过程可以视为重新生成光照颜色图的过程，可参照上述生成光照颜色图的方式进行更新，此处不再赘述。

关于上述实施例中的装置，其中各个单元和各个子单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例还提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器。其中，处理器被配置为执行指令，以实现上述图像处理方法。

本公开实施例还提供一种存储介质，存储介质中存储有指令，当存储介质中的指令由处理器执行时，使得处理器能够执行上述图像处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本公开实施例还提供一种计算机程序产品，当在电子设备上执行时，适于执行初始化有上述图像处理方法的步骤的程序。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种图像处理方法，其特征在于，包括：

获取当前场景中受光物体的着色图像，所述着色图像通过对所述受光物体进行着色处理后得到；

根据所述受光物体在当前场景的图像坐标系下的当前位置，得到所述当前位置在相机坐标系下的目标位置，所述受光物体位于摄像装置的摄像范围中，且所述摄像装置的摄像方向指向所述当前场景中光源的照射方向；

获取所述摄像装置的光照颜色图，所述光照颜色图根据当前场景中光源的属性生成，所述光照颜色图用于表征位于所述当前场景中光源的照射情况；

根据所述目标位置和所述摄像装置的光照颜色图，对所述着色图像进行处理，得到所述受光物体的光照图像，所述光照图像为体现所述受光物体被所述光源照射后的显示效果的图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标位置和所述摄像装置的光照颜色图，对所述着色图像进行处理，得到所述受光物体的光照图像包括：

根据所述目标位置对所述光照颜色图进行采样，得到与所述目标位置匹配的光照颜色信息；

将所述光照颜色信息叠加到所述着色图像中，得到所述光照图像。

3.根据权利要求1或2所述的方法，其特征在于，所述光照颜色图根据当前场景中光源的属性生成包括：

获取位于所述当前场景中的光源对应的图像和所述光源对应的网格，所述光源对应的图像用于表征所述光源的颜色，所述光源对应的网格用于指示所述当前场景中设置所述光源的区域；

根据所述当前场景中的光源对应的图像和所述光源对应的网格，生成所述当前场景中摄像装置的光照颜色图。

4.根据权利要求3所述的方法，其特征在于，所述获取位于所述当前场景中的光源对应的图像和所述光源对应的网格包括：

获取位于所述当前场景中的光源的光源类型；

根据所述光源类型，从预设光源图像库中获取所述光源类型匹配的图像作为所述光源对应的图像；

获取所述光源在所述当前场景中的位置和所述光源在所述当前场景中的朝向；

根据所述光源在所述当前场景中的位置和所述光源在所述当前场景中的朝向，生成所述光源对应的网格。

5.根据权利要求4所述的方法，其特征在于，所述光源在所述当前场景中的位置以设置所述光源的区域中的至少三个边界点在所述当前场景中的坐标表示；所述光源在所述当前场景中的朝向以所述至少三个边界点所在平面的法向量表示；

所述根据所述光源在所述当前场景中的位置和所述光源在所述当前场景中的朝向，生成所述光源对应的网格包括：

将所述至少三个边界点在所述当前场景中的坐标作为所述网格中的至少三个边界点的坐标；

将表征所述光源在所述当前场景中的朝向的法向量作为所述网格的法向量；

根据所述网格中的至少三个边界点的坐标和所述网格的法向量，构建所述光源对应的网格。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

对所述当前场景中的光源的属性进行监测；

当监测到所述光源的属性发生变化时，根据变化后的光源的属性，更新所述当前场景中摄像装置的光照颜色图。

7.根据权利要求3所述的方法，其特征在于，所述根据所述当前场景中的光源对应的图像和所述光源对应的网格，生成所述当前场景中摄像装置的光照颜色图包括：

确定所述摄像装置的摄像方向；

将所述当前场景中所有光源对应的图像进行拼接，得到所述当前场景对应的光源图像，将所述当前场景中所有光源对应的网格进行拼接，得到所述当前场景对应的光源网格；

通过所述摄像装置对所述摄像方向对应的摄像范围进行摄像的过程中，对所述光源图像进行采样，得到所述光源图像对应的颜色信息，根据所述颜色信息对所述光源网格进行渲染，以得到所述光照颜色图。

8.一种图像处理装置，其特征在于，包括：

第一获取单元，被配置为执行获取当前场景中受光物体的着色图像，所述着色图像通过对所述受光物体进行着色处理后得到；

获得单元，被配置为执行根据所述受光物体在当前场景的图像坐标系下的当前位置，得到所述当前位置在相机坐标系下的目标位置，所述受光物体位于摄像装置的摄像范围中，且所述摄像装置的摄像方向指向所述当前场景中光源的照射方向；

第二获取单元，被配置为执行获取所述摄像装置的光照颜色图，所述光照颜色图根据当前场景中光源的属性生成，所述光照颜色图用于表征位于所述当前场景中光源的照射情况；

处理单元，被配置为执行根据所述目标位置和所述摄像装置的光照颜色图，对所述着色图像进行处理，得到所述受光物体的光照图像，所述光照图像为体现所述受光物体被所述光源照射后的显示效果的图像。

9.根据权利要求8所述的装置，其特征在于，所述处理单元，被配置为执行根据所述目标位置对所述光照颜色图进行采样，得到与所述目标位置匹配的光照颜色信息；将所述光照颜色信息叠加到所述着色图像中，得到所述光照图像。

10.根据权利要求8或9所述的装置，其特征在于，所述装置还包括：

第三获取单元，被配置为执行获取位于所述当前场景中的光源对应的图像和所述光源对应的网格，所述光源对应的图像用于表征所述光源的颜色，所述光源对应的网格用于指示所述当前场景中设置所述光源的区域；

生成单元，被配置为执行根据所述当前场景中的光源对应的图像和所述光源对应的网格，生成所述当前场景中摄像装置的光照颜色图。

11.根据权利要求10所述的装置，其特征在于，所述第三获取单元包括：

第一获取子单元，被配置为执行获取位于所述当前场景中的光源的光源类型；

图像确定子单元，被配置为执行根据所述光源类型，从预设光源图像库中获取所述光源类型匹配的图像作为所述光源对应的图像；

第二获取子单元，被配置为执行获取所述光源在所述当前场景中的位置和所述光源在所述当前场景中的朝向；

网格生成子单元，被配置为执行根据所述光源在所述当前场景中的位置和所述光源在所述当前场景中的朝向，生成所述光源对应的网格。

12.根据权利要求11所述的装置，其特征在于，所述光源在所述当前场景中的位置以设置所述光源的区域中的至少三个边界点在所述当前场景中的坐标表示；所述光源在所述当前场景中的朝向以所述至少三个边界点所在平面的法向量表示；

所述网格生成子单元，被配置为执行将所述至少三个边界点在所述当前场景中的坐标作为所述网格中的至少三个边界点的坐标；将表征所述光源在所述当前场景中的朝向的法向量作为所述网格的法向量；根据所述网格中的至少三个边界点的坐标和所述网格的法向量，构建所述光源对应的网格。

13.根据权利要求10所述的装置，其特征在于，所述装置还包括：

监测单元，被配置为执行对所述当前场景中的光源的属性进行监测；

更新单元，被配置为执行当监测到所述光源的属性发生变化时，根据变化后的光源的属性，更新所述当前场景中摄像装置的光照颜色图。

14.根据权利要求10所述的装置，其特征在于，所述生成单元，被配置为执行确定所述摄像装置的摄像方向；将所述当前场景中所有光源对应的图像进行拼接，得到所述当前场景对应的光源图像，将所述当前场景中所有光源对应的网格进行拼接，得到所述当前场景对应的光源网格；通过所述摄像装置对所述摄像方向对应的摄像范围进行摄像的过程中，对所述光源图像进行采样，得到所述光源图像对应的颜色信息，根据所述颜色信息对所述光源网格进行渲染，以得到所述光照颜色图。

15.一种电子设备，其特征在于，包括：处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任意一项所述的图像处理方法。

16.一种存储介质，其特征在于，所述存储介质中存储有指令，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行如权利要求1至7中任意一项所述的图像处理方法。

Images