CN115984447B - 图像渲染方法、装置、设备和介质 - Google Patents

Abstract

本申请涉及一种图像渲染方法、装置、设备和介质，属于人工智能技术领域，可应用于游戏场景。方法包括：基于待优化的初始图像构建相应的初始头部网格模型，将初始头部网格模型的第一纹理信息和初始图像的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息；第一纹理信息用于描述初始头部网格模型中三维网格顶点的位置信息；第二纹理信息用于描述初始图像中目标头部的状态信息，根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量，基于顶点位置偏移量对初始头部网格模型进行顶点修正，得到目标头部网格模型，根据第二纹理信息和目标头部网格模型，生成对初始图像优化后的目标图像。采用本方法可提升图像处理效率。

Description

图像渲染方法、装置、设备和介质

技术领域

本申请涉及人工智能技术，更涉及图像处理领域，特别是涉及一种图像渲染方法、装置、设备和介质。

背景技术

随着图像处理技术的发展，出现了渲染技术，渲染在计算机绘图中是指用软件从模型生成图像的过程。目前，在很多虚拟场景中都需要渲染生成虚拟的目标头部，比如，针对游戏场景，通常需要在游戏场景中渲染生成虚拟角色的虚拟头部。

传统技术中，通常是通过人工构建目标头部的头部网格模型，再基于构建的头部网格模型进行图像渲染。而目标头部的构造比较复杂，通过人工构建头部网格模型来渲染图像的方式，需要花费大量的时间成本，从而导致图像的渲染效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升图像渲染效率的图像渲染方法、装置、设备和介质。

第一方面，本申请提供了一种图像渲染方法，所述方法包括：

基于待优化的初始图像构建相应的初始头部网格模型；

将所述初始头部网格模型对应的第一纹理信息和所述初始图像对应的第二纹理信息进行融合，得到所述初始头部网格模型的目标纹理信息；所述第一纹理信息用于描述所述初始头部网格模型中三维网格顶点的位置信息；所述第二纹理信息用于描述所述初始图像中目标头部的状态信息；

根据所述目标纹理信息确定所述初始头部网格模型中三维网格顶点的顶点位置偏移量，并基于所述顶点位置偏移量对所述初始头部网格模型进行顶点修正，得到目标头部网格模型；

根据所述第二纹理信息和所述目标头部网格模型，生成对所述初始图像优化后的目标图像。

第二方面，本申请提供了一种图像渲染装置，所述装置包括：

构建模块，用于基于待优化的初始图像构建相应的初始头部网格模型；

融合模块，用于将所述初始头部网格模型对应的第一纹理信息和所述初始图像对应的第二纹理信息进行融合，得到所述初始头部网格模型的目标纹理信息；所述第一纹理信息用于描述所述初始头部网格模型中三维网格顶点的位置信息；所述第二纹理信息用于描述所述初始图像中目标头部的状态信息；

重建模块，用于根据所述目标纹理信息确定所述初始头部网格模型中三维网格顶点的顶点位置偏移量，并基于所述顶点位置偏移量对所述初始头部网格模型进行顶点修正，得到目标头部网格模型；

渲染模块，用于根据所述第二纹理信息和所述目标头部网格模型，生成对所述初始图像优化后的目标图像。

在一个实施例中，所述构建模块还用于从初始图像中提取目标头部的头部特征参数；基于所述头部特征参数对预设的基准头部网格模型中的三维网格顶点进行调整，得到与所述初始图像相匹配的初始头部网格模型。

在一个实施例中，所述重建模块还用于针对所述初始头部网格模型中的每一个三维网格顶点，根据所述三维网格顶点对应的目标纹理信息确定所述三维网格顶点的法线；根据所述三维网格顶点的法线和顶点特征参数，确定所述三维网格顶点对应的顶点位置偏移量。

在一个实施例中，所述顶点位置偏移量包括所述初始头部网格模型中各三维网格顶点分别对应的顶点坐标偏移量；所述重建模块还用于针对所述初始头部网格模型中的每一个三维网格顶点，将所述三维网格顶点的初始坐标与所述三维网格顶点对应的顶点坐标偏移量相加，得到所述三维网格顶点对应的目标坐标；所述初始坐标是所述三维网格顶点位于所述初始头部网格模型的坐标；根据所述初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到目标头部网格模型。

在一个实施例中，所述重建模块还用于根据所述初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到修正后的头部网格模型；根据相机变换参数对所述修正后的头部网格模型进行变换处理，得到目标头部网格模型；其中，所述相机变换参数是基于所述初始图像对应的相机位置确定得到的。

在一个实施例中，所述第二纹理信息包括第二纹理图像；所述渲染模块还用于通过所述第二纹理图像对所述目标头部网格模型进行贴图处理，得到贴图后的头部网格模型；对所述贴图后的头部网格模型进行渲染，得到优化后的目标图像。

在一个实施例中，所述融合模块还用于将所述初始头部网格模型对应的第一纹理信息和所述初始图像对应的第二纹理信息进行卷积处理，得到卷积后的纹理信息；将所述卷积后的纹理信息进行池化处理，得到池化后的纹理信息；将所述池化后的纹理信息进行卷积处理，得到目标纹理信息。

在一个实施例中，所述目标图像是由已训练的图像渲染模型生成得到的；所述图像渲染模型包括头部构建网络、头部重建网络和渲染网络；所述构建模块还用于将待优化的初始图像输入至所述头部构建网络，以通过所述头部构建网络基于所述初始图像构建相应的初始头部网格模型；所述重建模块还用于将所述顶点位置偏移量输入至所述头部重建网络，以通过所述头部重建网络基于所述顶点位置偏移量对所述初始头部网格模型进行顶点修正，得到目标头部网格模型；所述渲染模块还用于将所述第二纹理信息和所述目标头部网格模型输入至所述渲染网络，以通过所述渲染网络根据所述第二纹理信息和所述目标头部网格模型，生成对所述初始图像优化后的目标图像。

在一个实施例中，所述头部重建网络包括卷积单元和感知器单元；所述融合模块还用于将所述第一纹理信息和所述第二纹理信息输入至所述卷积单元，以通过所述卷积单元将所述第一纹理信息和所述第二纹理信息进行融合，得到目标纹理信息；所述重建模块还用于将所述目标纹理信息输入至所述感知器单元，以通过所述感知器单元根据所述目标纹理信息确定所述初始头部网格模型中三维网格顶点的顶点位置偏移量。

在一个实施例中，所述图像渲染模型还包括纹理提取网络；所述装置还包括：

提取模块，用于将所述待优化的初始图像输入至所述纹理提取网络，以通过所述纹理提取网络对所述初始图像进行纹理提取，得到所述初始图像对应的第二纹理信息。

在一个实施例中，所述装置还包括：

训练模块，用于获取样本初始图像和样本目标图像；将所述样本初始图像输入至待训练的图像渲染模型，以通过所述图像渲染模型对输入的所述样本初始图像进行预测渲染，得到预测图像；通过所述预测图像与所述样本目标图像之间的差异，对所述图像渲染模型进行迭代训练，直至满足迭代停止条件，得到已训练的图像渲染模型。

在一个实施例中，所述初始图像中的目标头部是游戏场景中虚拟角色的虚拟头部；所述目标头部网格模型是游戏场景中所述虚拟头部对应的头部网格模型；所述目标图像中虚拟头部的细节多于所述初始图像中虚拟头部的细节。

第三方面，本申请提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本申请各方法实施例中的步骤。

第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现本申请各方法实施例中的步骤。

第五方面，本申请提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本申请各方法实施例中的步骤。

上述图像渲染方法、装置、设备、介质和计算机程序产品，通过基于待优化的初始图像自动构建相应的初始头部网格模型，将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息，第一纹理信息用于描述初始头部网格模型中三维网格顶点的位置信息，第二纹理信息用于描述初始图像中目标头部的状态信息。根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量，并基于顶点位置偏移量对初始头部网格模型进行顶点自动修正，得到目标头部网格模型，根据第二纹理信息和目标头部网格模型，自动生成对初始图像优化后的目标图像。相较于传统的通过人工构建头部网格模型来渲染图像的方式，本申请可通过自动构建目标头部网格模型来自动生成目标图像，可以提升图像渲染效率。

附图说明

图1为一个实施例中图像渲染方法的应用环境图；

图2为一个实施例中图像渲染方法的流程示意图；

图3为一个实施例中目标纹理信息的获取流程示意图；

图4为一个实施例中图像渲染模型的框架示意图；

图5为一个实施例中卷积单元和感知器单元的结构示意图；

图6为另一个实施例中图像渲染方法的流程示意图；

图7为一个实施例中图像渲染装置的结构框图；

图8为另一个实施例中图像渲染装置的结构框图；

图9为一个实施例中计算机设备的内部结构图；

图10为另一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图像渲染方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、云安全、主机安全等网络安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

服务器104可基于待优化的初始图像构建相应的初始头部网格模型，将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息。第一纹理信息用于描述初始头部网格模型中三维网格顶点的位置信息，第二纹理信息用于描述初始图像中目标头部的状态信息。服务器104可根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量，并基于顶点位置偏移量对初始头部网格模型进行顶点修正，得到目标头部网格模型。服务器104可根据第二纹理信息和目标头部网格模型，生成对初始图像优化后的目标图像。

可以理解，服务器104可对将优化后的目标图像发送至终端102进行显示。服务器104还可以将优化后的目标图像进行存储或进行图像处理。本实施例对此不做限定，可以理解，图1中的应用场景仅为示意说明，并不限定于此。

需要说明的是，本申请一些实施例中的图像渲染方法使用到了人工智能技术（Artificial Intelligence, AI）。比如，初始头部网格模型和目标头部网格模型，则属于使用人工智能技术构建得到的头部网格模型。初始图像对应的第二纹理信息，也属于使用人工智能技术提取得到的纹理信息。以及，目标图像也属于使用人工智能技术渲染得到的图像。为了更便于理解人工智能，现对人工智能的概念进行相关说明，具体地，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本申请基于人工智能技术实现对图像的优化渲染，可以进一步提升图像渲染质量。

在一个实施例中，如图2所示，提供了一种图像渲染方法，该方法可应用于计算机设备，计算机设备可以是终端或服务器，由终端或服务器自身单独执行，也可以通过终端和服务器之间的交互来实现。本实施例以该方法应用于计算机设备为例进行说明，包括以下步骤：

步骤202，基于待优化的初始图像构建相应的初始头部网格模型。

其中，初始图像是待优化渲染的图像，可以理解，初始图像的图像质量相对较低，初始图像中所包括的目标头部缺少细节。本申请的方法正是为了对图像质量低、缺少目标头部细节的初始图像进行优化，以提高其图像质量，丰富其中的目标头部细节。初始头部网格模型是初始图像中目标头部对应的头部网格模型。头部网格模型是针对头部的、且以三维网格为最小单位构建的模型。可以理解，将头部以三维立体模型的形式进行展示时，该三维立体模型（即头部网格模型）的表面正是由这些三维网格构成。可以理解，三维网格相当于最小粒度的、且位于三维场景中的基础网格。三维网格具体可以是任意集合形状的网格，比如，网格具体可以是三角网格或四角网格等。可以理解，只要能组合起来构成立体的头部网格模型的网格都属于本申请中的三维网格，本申请对三维网格的具体形状不做限定。

具体地，计算机设备可获取待优化的初始图像，初始图像中包括目标对象的目标头部。计算机设备可基于初始图像中的目标头部构建相应的初始头部网格模型。可以理解，相应的初始头部网格模型，是指与初始图像中目标头部相匹配的初始头部网格模型，即，初始头部网格模型具有初始图像中目标头部的个性化特征。比如，初始图像中目标头部是仰头微笑的状态，则与初始图像中目标头部相匹配的初始头部网格模型所表征的头部状态也是仰头微笑。

在一个实施例中，计算机设备可从初始图像中提取目标头部的头部特征参数，并构建符合该头部特征参数的初始头部网格模型。

可以理解，计算机设备可以在预设的基准头部网格模型的基础上，基于头部特征参数对该基准头部网格模型进行调整，得到与初始图像相匹配的初始头部网格模型。可以理解，基准头部网格模型相当于没有考虑特定的个性化的头部特征，相当于模板化的头部网格模型，因此，基于初始图像中提取的头部特征参数在基准头部网格模型的基础上进行调整，能够使调整后的头部网格模型具有初始图像中目标头部的个性化特征，进而，就更接近于初始图像中目标头部的真实状态，也就与初始图像相匹配。

在一个实施例中，计算机设备也可以直接基于提取的头部特征参数从无到有的构建出初始头部网格模型。具体地，计算机设备可以通过头部特征参数调用预先封装的头部网格模型构建逻辑，以通过头部网格模型构建逻辑构建出初始头部网格模型。可以理解，头部网格模型构建逻辑在封装的时候可以暴露出参数接口，通过参数接口获取头部特征参数，以使得头部网格模型构建逻辑开始执行，从而构建得到初始头部网格模型。

步骤204，将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息；第一纹理信息用于描述初始头部网格模型中三维网格顶点的位置信息；第二纹理信息用于描述初始图像中目标头部的状态信息。

其中，目标纹理信息，是将第一纹理信息和第二纹理信息进行融合得到的纹理信息，可以理解，目标纹理信息相较于第一纹理信息和第二纹理信息具有更丰富的纹理细节。还可以理解，目标纹理信息即可用于描述初始头部网格模型中三维网格顶点的位置信息，又可描述初始图像中目标头部的状态信息。三维网格顶点，是头部网格模型中三维网格的顶点。目标头部的状态信息用于描述目标头部所处的状态，比如，目标头部的状态信息具体可以包括头部姿态、面部形状和面部表情等中的至少一种。头部姿势可以包括抬头、低头、头部倾斜和头部后仰等中的至少一种。面部形状可以包括圆脸、长脸和方脸等中的至少一种。面部表情可以包括微笑、大笑、哭泣和悲伤等中的至少一种。

具体地，计算机设备可对初始头部网格模型进行纹理光栅处理，得到初始头部网格模型对应的第一纹理信息。可以理解，纹理光栅处理可将头部网格模型中三维网格顶点的纹理坐标从三维空间映射至二维空间。以及，计算机设备可对初始图像进行纹理信息提取，得到初始图像对应的第二纹理信息。进而，计算机设备可将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息。

在一个实施例中，计算机设备可将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行卷积处理，得到目标纹理信息。即，计算机设备可通过卷积的方式实现对第一纹理信息和第二纹理信息的融合处理。举例说明，计算机设备可通过3×3的卷积核对第一纹理信息和第二纹理信息进行卷积处理，得到目标纹理信息。

在一个实施例中，在将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行卷积得到卷积后的纹理信息之后，计算机设备可将卷积后的纹理信息进行池化处理，得到目标纹理信息。可以理解，池化处理具体可以是最大值池化、最小值池化、平均值池化和随机池化等中的至少一种处理。还可以理解，池化处理可以减少后续计算机设备的计算量。

为了便于进一步理解池化处理，现举例说明，若池化处理为最大值池化处理，则计算机设备可从预设大小的像素区域（比如，2×2）取最大像素值代表这个像素区域。

步骤206，根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量，并基于顶点位置偏移量对初始头部网格模型进行顶点修正，得到目标头部网格模型。

其中，顶点位置偏移量，是三维网格顶点位于初始头部网格模型的位置的偏移量。可以理解，位于初始头部网格模型中三维网格顶点的位置，相较于目标头部网格模型中三维网格顶点的位置存在偏移。还可以理解，虽然初始头部网格模型具有初始图像中目标头部的个性化特征，但是还存在可进一步优化的空间。而基于具有更丰富纹理细节的目标纹理信息，可以对初始头部网格模型进行优化，得到与初始图像中目标头部更匹配的目标头部网格模型。可以理解，目标头部网格模型相较于初始头部网格模型更能凸显初始图像中目标头部的个性化特征，更接近于初始图像中目标头部的真实状态。

具体地，计算机设备可根据目标纹理信息计算初始头部网格模型中三维网格顶点的顶点位置偏移量，并通过顶点位置偏移量对初始头部网格模型中三维网格顶点的位置进行修正，得到修正后的目标头部网格模型。可以理解，目标头部网格模型相较于初始头部网格模型与初始图像中的目标头部更匹配。即，目标头部网格模型相较于初始头部网格模型，能够更加准确地呈现初始图像中的目标头部的形态。

在一个实施例中，三维网格顶点为多个，计算机设备可以根据目标纹理信息确定初始头部网格模型中各个三维网格顶点分别对应的顶点位置偏移量。针对初始头部网格模型中的每一个三维网格顶点，计算机设备可通过该三维网格顶点对应的顶点位置偏移量，对初始头部网格模型中该三维网格顶点的位置进行修正。可以理解，在初始头部网格模型中各三维网格顶点的位置修正完成之后，可以得到修正后的目标头部网格模型。

在一个实施例中，针对初始头部网格模型中的每一个三维网格顶点，计算机设备可根据该三维网格顶点对应的目标纹理信息确定三维网格顶点的法线。可以理解，由于三维网格顶点的法线可以用于表征三维网格顶点的朝向，因此计算机设备可根据三维网格顶点的法线较为准确地计算出该三维网格顶点对应的顶点位置偏移量。

在一个实施例中，目标纹理信息包括目标纹理向量。针对初始头部网格模型中的每一个三维网格顶点，计算机设备可根据该三维网格顶点对应的目标纹理向量确定三维网格顶点的法线向量，并根据三维网格顶点的法线向量计算该三维网格顶点对应的顶点位置偏移量。

步骤208，根据第二纹理信息和目标头部网格模型，生成对初始图像优化后的目标图像。

其中，目标图像是针对初始图像进行渲染优化后的图像，可以理解，目标图像的图像质量优于初始图像，目标图像中目标头部的细节比初始图像中目标头部的细节丰富。

在一个实施例中，计算机设备可基于第二纹理信息对目标头部网格模型进行纹理附加处理，得到纹理附加后的头部网格模型。可以理解，纹理附加后的头部网格模型相较于目标头部网格模型，具有丰富的纹理细节。进而，计算机设备可对处理后的头部网格模型进行渲染，得到优化后的目标图像，可以进一步提升目标图像的图像质量。

上述图像渲染方法中，通过基于待优化的初始图像自动构建相应的初始头部网格模型，将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息，第一纹理信息用于描述初始头部网格模型中三维网格顶点的位置信息，第二纹理信息用于描述初始图像中目标头部的状态信息。根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量，并基于顶点位置偏移量对初始头部网格模型进行顶点自动修正，得到目标头部网格模型，根据第二纹理信息和目标头部网格模型，自动生成对初始图像优化后的目标图像。相较于传统的通过人工构建头部网格模型来渲染图像的方式，本申请可通过自动构建目标头部网格模型来自动生成目标图像，可以提升图像渲染效率。

在一个实施例中，基于待优化的初始图像构建相应的初始头部网格模型，包括：从初始图像中提取目标头部的头部特征参数；基于头部特征参数对预设的基准头部网格模型中的三维网格顶点进行调整，得到与初始图像相匹配的初始头部网格模型。

其中，头部特征参数是用于表征初始图像中目标头部的特征的参数。基准头部网格模型是用于参考的头部网格模型。可以理解，头部特征参数具体可以包括头部姿态特征参数和面部表情特征参数。头部姿态特征参数是用于表征初始图像中目标头部姿态的参数。面部表情特征参数是用于表征初始图像中目标头部的脸部表情的参数。举例说明，若目标头部是仰头微笑的状态，则相应的头部特征参数可用于表征目标头部仰头微笑的状态。若目标头部是低头哭泣的状态，则相应的头部特征参数可用于表征目标头部低头哭泣的状态。可以理解，仰头和低头属于目标头部的头部姿态，微笑和哭泣属于目标头部的面部表情。

具体地，初始图像中包括目标头部，计算机设备可从初始图像中提取该目标头部的头部特征参数，并基于头部特征参数对预设的基准头部网格模型中的三维网格顶点进行调整，得到与初始图像相匹配的初始头部网格模型。

举例说明，若初始图像中目标头部处于仰头微笑的状态，则从初始图像中提取目标头部的头部特征参数，可用于表征初始图像中目标头部的仰头微笑的状态，且基准头部网格模型对应的目标头部处于低头哭泣的状态，则计算机设备可基于表征目标头部仰头微笑的状态头部特征参数，对目标头部处于低头哭泣的基准头部网格模型中的三维网格顶点进行调整，得到与初始图像相匹配的，即仰头微笑的初始头部网格模型。

在一个实施例中，基准头部网格模型可以通过火焰头模型进行构建，火焰头模型是一个参数化的面部特征描述模型，火焰头模型可以包括多个基顶点，通过火焰头模型构建基准头部网格，可以便捷地对目标头部的表情进行调整。初始头部网格模型可通过以下公式构建得到：

其中，

表示基准头部网格模型中三维网格顶点的坐标，即基顶点的坐标，

表示是从初始图像中提取目标头部的头部特征参数，B、C、D是预先设置的线性核，W()是一个线性组合网络，/>

是与初始图像相匹配的初始头部网格模型中三维网格顶点的坐标。可以理解，已知初始头部网格模型中各三维网格顶点的坐标，便可得到初始头部网格模型。具体地，在获取到目标头部对应的头部特征参数/>

后，可将头部特征参数/>

代入公式/>

进行计算，以对基准头部网格模型中的三维网格顶点，即基顶点的坐标/>

进行调整，得到调整后的三维网格顶点的坐标为/>

。可以理解，初始头部网格模型中的三维网格顶点的坐标，即为调整后的三维网格顶点的坐标/>

。

上述实施例中，由于头部特征参数可以用于表征目标头部的状态，因此通过初始图像中目标头部对应的头部特征参数，对基准头部网格模型中的三维网格顶点进行调整，得到初始头部网格模型，可以提升初始头部网格模型与初始图像中目标头部的匹配程度。

在一个实施例中，根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量，包括：针对初始头部网格模型中的每一个三维网格顶点，根据三维网格顶点对应的目标纹理信息确定三维网格顶点的法线；根据三维网格顶点的法线和顶点特征参数，确定三维网格顶点对应的顶点位置偏移量。

其中，顶点特征参数，是用于表征头部网格模型中三维网格顶点的特征的参数。顶点特征参数包括顶点所属网格参数和顶点共用参数中的至少一种。顶点所属网格参数可以用于表征三维网格顶点位于头部网格模型中的第几个网格，顶点共用参数可用于表征三维网格顶点是几个三维网格的共有顶点等。

在一个实施例中，针对初始头部网格模型中的每一个三维网格顶点，计算机设备可根据三维网格顶点对应的目标纹理信息确定三维网格顶点的法线，并将三维网格顶点的法线和顶点特征参数相乘，得到三维网格顶点对应的顶点位置偏移量。

在一个实施例中，三维网格顶点对应的顶点位置偏移量可通过以下公式计算得到：

其中，

表示三维网格顶点t的法线，/>

表示三维网格顶点t的顶点特征参数，

表示三维网格顶点t对应的顶点位置偏移量。

上述实施例中，由于三维网格顶点的法线和顶点特征参数可以用于表征三维网格顶点位于初始头部网格模型中的形态，因此通过三维网格顶点的法线和顶点特征参数，计算三维网格顶点对应的顶点位置偏移量，可以提升顶点位置偏移量的准确率。

在一个实施例中，顶点位置偏移量包括初始头部网格模型中各三维网格顶点分别对应的顶点坐标偏移量；基于顶点位置偏移量对初始头部网格模型进行顶点修正，得到目标头部网格模型，包括：针对初始头部网格模型中的每一个三维网格顶点，将三维网格顶点的初始坐标与三维网格顶点对应的顶点坐标偏移量相加，得到三维网格顶点对应的目标坐标；初始坐标是三维网格顶点位于初始头部网格模型的坐标；根据初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到目标头部网格模型。

其中，顶点坐标偏移量，是三维网格顶点位于初始头部网格模型的坐标的偏移量。可以理解，位于初始头部网格模型中三维网格顶点的坐标，相较于目标头部网格模型中三维网格顶点的坐标存在偏移。还可以理解，虽然初始头部网格模型具有初始图像中目标头部的个性化特征，但是还存在可进一步优化的空间。而目标纹理信息，是初始头部网格模型的第一纹理信息和初始图像的第二纹理信息融合得到的纹理信息，可以理解，目标纹理信息相较于第一纹理信息和第二纹理信息具有更丰富的纹理细节。进而，基于具有更丰富纹理细节的目标纹理信息，可以对初始头部网格模型中三维网格顶点的坐标进行优化，得到与初始图像中目标头部更匹配的目标头部网格模型。目标坐标是三维网格顶点位于目标头部网格模型的坐标，可以理解，位于目标头部网格模型的目标坐标相较于初始头部网格模型中三维网格顶点的坐标更加准确，即更能凸显初始图像中目标头部的个性化特征。

具体地，针对初始头部网格模型中的每一个三维网格顶点，计算机设备可确定该三维网格顶点位于初始头部网格模型的初始坐标，并将三维网格顶点的初始坐标与该三维网格顶点对应的顶点坐标偏移量相加，得到三维网格顶点对应的目标坐标。在初始头部网格模型中各三维网格顶点的坐标都修正之后，计算机设备可根据初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到目标头部网格模型。

在一个实施例中，计算机设备可根据初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到修正后的头部网格模型，并将修正后的头部网格模型直接作为目标头部网格模型。

在一个实施例中，目标头部网格模型中三维网格顶点对应的目标坐标可通过以下公式计算得到：

其中，

表示三维网格顶点位于初始头部网格模型的初始坐标，/>

表示三维网格顶点对应的顶点坐标偏移量，/>

表示目标头部网格模型中三维网格顶点对应的目标坐标。

上述实施例中，通过将初始头部网格模型中各三维网格顶点的初始坐标与相应的顶点坐标偏移量相加，得到各三维网格顶点对应的目标坐标，可以提升目标头部网格模型与初始图像中目标头部的匹配程度。

在一个实施例中，根据初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到目标头部网格模型，包括：根据初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到修正后的头部网格模型；根据相机变换参数对修正后的头部网格模型进行变换处理，得到目标头部网格模型；其中，相机变换参数是基于初始图像对应的相机位置确定得到的。

其中，相机变换参数是对头部网格模型进行相机变换处理的参数。相机变换参数可以包括光照细节参数，可以理解，相机变换处理具体可以是基于光照细节参数给头部网格模型添加光照细节，其中，光照细节具体可以包括关照渲染路径和延迟光照等。相机变换参数还可以包括视图调整参数，可以理解，相机变换处理具体也可以是基于视图调整参数调整头部网格模型对应的视图大小。举例说明，针对游戏场景，相机变换参数可以是游戏场景中针对虚拟角色的光照渲染参数，还可以是针对虚拟角色的渲染视角参数。可以理解，通过光照渲染参数可以对游戏场景中的虚拟角色进行光照渲染，以及通过渲染视角参数可以对游戏场景中的虚拟角色进行渲染视角选择。

具体地，计算机设备可基于初始图像对应的相机位置确定相机变换参数。计算机设备可根据初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到修正后的头部网格模型。可以理解，修正后的头部网格模型缺乏光照细节和相应的视图尺寸。进而，计算机设备可根据相机变换参数对修正后的头部网格模型进行变换处理，得到目标头部网格模型。可以理解，目标头部网格模型相较于修正后的头部网格模型，添加了光照细节或视图尺寸信息中的至少一种。

上述实施例中，由于相机变换参数可以表征初始图像中目标头部的光照细节和视角信息，因此根据相机变换参数对坐标修正后的头部网格模型进行变换处理，得到目标头部网格模型，可以进一步提升目标头部网格模型与初始图像中目标头部的匹配程度。

在一个实施例中，第二纹理信息包括第二纹理图像；根据第二纹理信息和目标头部网格模型，生成对初始图像优化后的目标图像，包括：通过第二纹理图像对目标头部网格模型进行贴图处理，得到贴图后的头部网格模型；对贴图后的头部网格模型进行渲染，得到优化后的目标图像。

其中，第二纹理图像是一种纹理贴图，可以理解，纹理是一个整体，纹理贴图是构成纹理的基本单元。可以理解，第二纹理图像是通过贴图的方式对第二纹理信息进行呈现。

具体地，计算机设备可通过第二纹理图像对目标头部网格模型进行贴图处理，得到贴图后的头部网格模型。进而，计算机设备可对贴图后的头部网格模型进行渲染，得到优化后的目标图像。可以理解，优化后的目标图像的渲染视角与初始图像对应的渲染视角相同。

上述实施例中，由于第二纹理图像中具有目标头部丰富的纹理信息，因此通过第二纹理图像对目标头部网格模型进行贴图处理，并对贴图后的头部网格模型进行渲染，得到优化后的目标图像，可以进一步提升目标图像的质量。

在一个实施例中，如图3所示，将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息，包括：

步骤302，将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行卷积处理，得到卷积后的纹理信息。

在一个实施例中，计算机设备可通过5个3×3的卷积核，依次将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行卷积处理，得到卷积后的纹理信息。可以理解，卷积的目的是为了对输入的信息进行特征提取，可以理解，通过对第一纹理信息和第二纹理信息进行卷积处理，可以进一步提取更丰富的纹理信息。

步骤304，将卷积后的纹理信息进行池化处理，得到池化后的纹理信息。

其中，池化处理，是指基于预设大小的像素区域中各像素点的像素值，确定一个像素值代表这个像素区域。比如，若池化处理为最大值池化处理，则计算机设备可从预设大小的像素区域（比如，2×2）取最大像素值代表这个像素区域。

在一个实施例中，计算机设备可通过一个2×2的池化窗口，将卷积后的纹理信息进行最大值池化处理，得到池化后的纹理信息。可以理解，通过将卷积后的纹理信息进行最大值池化处理，可以将纹理信息进行压缩，从而可以减少后续计算机设备的计算量，从而提升图像生成效率。

步骤306，将池化后的纹理信息进行卷积处理，得到初始头部网格模型的目标纹理信息。

在一个实施例中，计算机设备可通过一个3×3的卷积核，将池化后的纹理信息进行卷积处理，得到初始头部网格模型的目标纹理信息。可以理解，卷积的目的是为了对输入的信息进行特征提取，可以理解，通过将池化后的纹理信息进行卷积处理，可以进一步提取更丰富的纹理信息。

上述实施例中，通过将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行卷积处理，得到卷积后的纹理信息，将卷积后的纹理信息进行池化处理，得到池化后的纹理信息，由于对纹理信息进行池化处理可以将纹理信息进行压缩，减少了纹理信息的数据量，从而可以减少后续计算机设备的计算量，提升图像的生成效率。通过将池化后的纹理信息进行卷积处理，得到目标纹理信息，可以提升目标纹理信息的获取准确率。

在一个实施例中，目标图像是由已训练的图像渲染模型生成得到的；图像渲染模型包括头部构建网络、头部重建网络和渲染网络；基于待优化的初始图像构建相应的初始头部网格模型，包括：将待优化的初始图像输入至头部构建网络，以通过头部构建网络基于初始图像构建相应的初始头部网格模型；基于顶点位置偏移量对初始头部网格模型进行顶点修正，得到目标头部网格模型，包括：将顶点位置偏移量输入至头部重建网络，以通过头部重建网络基于顶点位置偏移量对初始头部网格模型进行顶点修正，得到目标头部网格模型；根据第二纹理信息和目标头部网格模型，生成对初始图像优化后的目标图像，包括：将第二纹理信息和目标头部网格模型输入至渲染网络，以通过渲染网络根据第二纹理信息和目标头部网格模型，生成对初始图像优化后的目标图像。

具体地，计算机设备可获取待优化的初始图像，并将待优化的初始图像输入至图像渲染模型中的头部构建网络，以通过头部构建网络基于初始图像构建相应的初始头部网格模型。计算机设备可通过图像渲染模型将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息，并根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量。计算机设备可将顶点位置偏移量输入至图像渲染模型中的头部重建网络，以通过头部重建网络基于顶点位置偏移量对初始头部网格模型进行顶点修正，得到目标头部网格模型。进而，计算机设备可将第二纹理信息和目标头部网格模型输入至图像渲染模型中的渲染网络，以通过渲染网络根据第二纹理信息和目标头部网格模型，生成对初始图像优化后的目标图像。

上述实施例中，通过已训练的头部构建网络构建初始头部网格模型，可以提升初始头部网格模型的准确率。通过已训练的头部重建网络对初始头部网格模型进行重建，得到目标头部网格模型，可以提升目标头部网格模型的准确率。通过已训练的渲染网络生成目标图像，可以进一步提升目标图像的图像质量。

在一个实施例中，头部重建网络包括卷积单元和感知器单元；将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息，包括：将第一纹理信息和第二纹理信息输入至卷积单元，以通过卷积单元将第一纹理信息和第二纹理信息进行融合，得到目标纹理信息；根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量，包括：将目标纹理信息输入至感知器单元，以通过感知器单元根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量。

具体地，计算机设备可将初始头部网格模型对应的第一纹理信息，以及初始图像对应的第二纹理信息，输入至头部重建网络中的卷积单元，以通过卷积单元将第一纹理信息和第二纹理信息进行融合，得到目标纹理信息。计算机设备可将目标纹理信息输入至头部重建网络中的感知器单元，以通过感知器单元根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量。

在一个实施例中，计算机设备可将目标纹理信息输入至头部重建网络中的感知器单元，针对初始头部网格模型中的每一个三维网格顶点，感知器单元可根据三维网格顶点对应的目标纹理信息确定三维网格顶点的法线，并将三维网格顶点的法线和顶点特征参数相乘，得到三维网格顶点对应的顶点位置偏移量。

上述实施例中，通过已训练的卷积单元将第一纹理信息和第二纹理信息进行融合，得到目标纹理信息，可以提升目标纹理信息的获取准确率。通过已训练的感知器单元计算顶点位置偏移量，可以提升顶点位置偏移量的计算准确率。

在一个实施例中，图像渲染模型还包括纹理提取网络；方法还包括：将待优化的初始图像输入至纹理提取网络，以通过纹理提取网络对初始图像进行纹理提取，得到初始图像对应的第二纹理信息。

具体地，计算机设备可获取待优化的初始图像，并将待优化的初始图像输入至图像渲染模型中的纹理提取网络，以通过纹理提取网络对初始图像进行纹理提取，得到初始图像对应的第二纹理信息。

在一个实施例中，纹理提取网络具体可以是一种卷积神经网络，可以理解，计算机设备可将初始图像输入至纹理提取网络，纹理提取网络可对初始图像进行卷积处理，以从初始图像中提取得到初始图像对应的第二纹理信息。

上述实施例中，通过已训练的纹理提取网络提取第二纹理信息，可以提升第二纹理信息的获取准确率。

在一个实施例中，方法还包括模型训练步骤；模型训练步骤包括：获取样本初始图像和样本目标图像；将样本初始图像输入至待训练的图像渲染模型，以通过图像渲染模型对输入的样本初始图像进行预测渲染，得到预测图像；通过预测图像与样本目标图像之间的差异，对图像渲染模型进行迭代训练，直至满足迭代停止条件，得到已训练的图像渲染模型。

其中，样本初始图像和样本目标图像是用于训练图像渲染模型的图像，可以理解，样本初始图像和样本目标图像可作为样本数据参与图像渲染模型的训练。预测图像是图像渲染模型在训练阶段预测得到的图像。

具体地，计算机设备可获取样本初始图像和样本目标图像，并将样本初始图像输入至待训练的图像渲染模型，以通过图像渲染模型对输入的样本初始图像进行预测渲染，得到预测图像。进而，计算机设备可确定预测图像与样本目标图像之间的差异，并基于预测图像与样本目标图像之间的差异确定损失值。计算机设备可朝着使损失值减小的方向对图像渲染模型进行迭代训练，直至满足迭代停止条件，得到已训练的图像渲染模型。

在一个实施例中，迭代停止条件可以是迭代次数达到预设的目标次数，或者损失值小于预设的目标损失值。

上述实施例中，通过样本初始图像和样本目标图像对图像渲染模型进行迭代训练，可以获取得到渲染效果更好的图像渲染模型。

在一个实施例中，如图4所示，目标图像是由已训练的图像渲染模型生成得到的。图像渲染模型可包括纹理提取网络、头部构建网络、头部重建网络和渲染网络。其中，头部重建网络包括卷积单元和感知器单元。具体地，计算机设备可将待优化的初始图像输入至纹理提取网络，以通过纹理提取网络对初始图像进行纹理提取，得到初始图像对应的第二纹理信息。计算机设备可将待优化的初始图像输入至头部构建网络，以通过头部构建网络基于初始图像构建相应的初始头部网格模型，并对初始头部网格模型进行纹理光栅处理，得到初始头部网格模型的第一纹理信息。计算机设备可将初始头部网格模型的第一纹理信息和初始图像的第二纹理信息输入至卷积单元，以通过卷积单元将第一纹理信息和第二纹理信息进行融合，得到目标纹理信息。计算机可对目标纹理信息进行向量化处理，得到以向量形式表达的目标纹理信息。计算机设备可将目标纹理信息输入至感知器单元，以通过感知器单元根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量。计算机设备可通过头部重建网络基于顶点位置偏移量对初始头部网格模型进行顶点修正，得到修正后的头部网格模型，并根据相机变换参数对修正后的头部网格模型进行变换处理，得到目标头部网格模型。计算机设备可通过第二纹理图像对目标头部网格模型进行贴图处理，得到贴图后的头部网格模型。进而，计算机设备可将贴图后的头部网格模型输入至渲染网络，以通过渲染网络基于贴图后的头部网格模型，生成对初始图像优化后的目标图像。

在一个实施例中，图5为头部重建网络中卷积单元和感知器单元的网络结构图。卷积单元可以理解为编码器，卷积单元可以包括两个卷积子单元（即卷积子单元1和卷积子单元2）和一个池化子单元。感知器单元可以理解为解码器，感知器单元可以包括一个卷积子单元、激活子单元和采样子单元。具体地，计算机设备可通过卷积子单元1将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行卷积处理，得到卷积后的纹理信息。计算机设备可通过池化子单元将卷积后的纹理信息进行池化处理，得到池化后的纹理信息，并通过卷积子单元将池化后的纹理信息进行卷积处理，得到目标纹理信息。进而，计算机设备可通过卷积子单元3对目标纹理信息进行卷积处理，得到处理后纹理信息，通过激活子单元对处理后纹理信息进行提取处理，得到提取后的纹理信息，进而通过采样子单元对提取后的纹理信息进行上采样，得到采样后的纹理信息。从而计算机设备可基于采样后的纹理信息计算得到初始头部网格模型中三维网格顶点的顶点位置偏移量。

在一个实施例中，初始图像中的目标头部是游戏场景中虚拟角色的虚拟头部；目标头部网格模型是游戏场景中虚拟头部对应的头部网格模型；目标图像中虚拟头部的细节多于初始图像中虚拟头部的细节。

具体地，计算机设备可获取游戏场景中待优化的初始图像，其中，该初始图像中包括游戏场景中虚拟角色的虚拟头部。计算机设备可基于待优化的初始图像构建与虚拟头部相匹配的初始头部网格模型，并将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息。计算机设备可根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量，并基于顶点位置偏移量对初始头部网格模型进行顶点修正，得到目标头部网格模型。进而，计算机设备可根据第二纹理信息和目标头部网格模型，生成对初始图像优化后的目标图像。

上述实施例中，通过将本申请的图像渲染方法应用于游戏场景中虚拟角色的渲染生成，使得虚拟角色可以拥有更丰富的细节，从而提升游戏场景中虚拟角色的渲染质量，使得虚拟角色更逼真。

如图6所示，在一个实施例中，提供了一种图像渲染方法，该方法可应用于计算机设备，计算机设备可以是终端或服务器，由终端或服务器自身单独执行，也可以通过终端和服务器之间的交互来实现。本实施例以该方法应用于计算机设备为例进行说明，该方法具体包括以下步骤：

步骤602，从初始图像中提取目标头部的头部特征参数。

步骤604，基于头部特征参数对预设的基准头部网格模型中的三维网格顶点进行调整，得到与初始图像相匹配的初始头部网格模型。

步骤606，将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行卷积处理，得到卷积后的纹理信息；第一纹理信息用于描述初始头部网格模型中三维网格顶点的位置信息；第二纹理信息用于描述初始图像中目标头部的状态信息。

步骤608，将卷积后的纹理信息进行池化处理，得到池化后的纹理信息。

步骤610，将池化后的纹理信息进行卷积处理，得到初始头部网格模型的目标纹理信息。

步骤612，针对初始头部网格模型中的每一个三维网格顶点，根据三维网格顶点对应的目标纹理信息确定三维网格顶点的法线。

步骤614，根据三维网格顶点的法线和顶点特征参数，确定三维网格顶点对应的顶点坐标偏移量。

步骤616，针对初始头部网格模型中的每一个三维网格顶点，将三维网格顶点的初始坐标与三维网格顶点对应的顶点坐标偏移量相加，得到三维网格顶点对应的目标坐标；初始坐标是三维网格顶点位于初始头部网格模型的坐标。

步骤618，根据初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到修正后的头部网格模型。

步骤620，根据相机变换参数对修正后的头部网格模型进行变换处理，得到目标头部网格模型；相机变换参数是基于初始图像对应的相机位置确定得到的。

步骤622，通过第二纹理信息对目标头部网格模型进行贴图处理，得到贴图后的头部网格模型。

步骤624，对贴图后的头部网格模型进行渲染，得到优化后的目标图像。

本申请还提供一种应用场景，该应用场景应用上述的图像渲染方法。具体地，该图像渲染方法可应用于游戏中针对虚拟角色的图像渲染场景。可以理解，在游戏场景中，通常需要渲染生成虚拟角色的虚拟头部。具体地，计算机设备可从初始图像中提取虚拟角色的虚拟头部对应的头部特征参数，可以理解，初始图像的图像内容所描述的场景是游戏中的虚拟场景。基于头部特征参数对预设的基准头部网格模型中的三维网格顶点进行调整，得到与初始图像相匹配的初始头部网格模型。将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行卷积处理，得到卷积后的纹理信息；第一纹理信息用于描述初始头部网格模型中三维网格顶点的位置信息；第二纹理信息用于描述初始图像中虚拟角色的虚拟头部对应的状态信息。将卷积后的纹理信息进行池化处理，得到池化后的纹理信息。将池化后的纹理信息进行卷积处理，得到目标纹理信息。

针对初始头部网格模型中的每一个三维网格顶点，计算机设备可根据三维网格顶点对应的目标纹理信息确定三维网格顶点的法线。根据三维网格顶点的法线和顶点特征参数，确定三维网格顶点对应的顶点坐标偏移量。针对初始头部网格模型中的每一个三维网格顶点，将三维网格顶点的初始坐标与三维网格顶点对应的顶点坐标偏移量相加，得到三维网格顶点对应的目标坐标；初始坐标是三维网格顶点位于初始头部网格模型的坐标。根据初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到修正后的头部网格模型。

计算机设备可根据相机变换参数对修正后的头部网格模型进行变换处理，得到目标头部网格模型；相机变换参数是基于初始图像对应的相机位置确定得到的，可以理解，相机变换参数可以是游戏场景中针对虚拟角色的光照渲染参数，还可以是针对虚拟角色的渲染视角参数。通过第二纹理信息对目标头部网格模型进行贴图处理，得到贴图后的头部网格模型。对贴图后的头部网格模型进行渲染，得到优化后的目标图像，可以理解，目标图像的图像内容所描述的场景也是游戏中的虚拟场景且还可以理解的是，目标图像的图像内容与初始图像的图像内容相同。比如，初始图像所呈现的图像内容是有两个虚拟角色在对战，目标图像的图像内容也是这两个虚拟角色在对战。可以理解，目标图像中虚拟头部的细节多于初始图像中虚拟头部的细节。通过本申请的图像渲染方法可在游戏场景中提升图像渲染效率，以及提升针对游戏场景中虚拟角色的渲染质量，使得游戏场景中虚拟角色的细节更为丰满，从而使得虚拟角色更加逼真。

本申请还另外提供一种应用场景，该应用场景应用上述的图像渲染方法。具体地，该图像渲染方法可应用于影视特效、可视化设计、VR（Virtual Reality，虚拟现实）、工业仿真和数字文创等场景中。可以理解，在影视特效、可视化设计、VR和数字文创等场景中可涉及对虚拟对象的渲染，特别是需要细化虚拟对象的虚拟头部细节。通过本申请的图像渲染方法，可在影视特效、可视化设计、VR、工业仿真和数字文创等场景中提升图像渲染效率，以及提升图像渲染质量。

比如，针对影视特效中虚拟影视人物的优化渲染，具体地，计算机设备可获取待优化的初始影视人物图像，初始影视人物图像中包括影视人物头部。计算机设备可基于初始影视人物图像自动构建与影视人物头部相匹配的初始头部网格模型，可以理解，初始头部网格模型具有影视特效中影视人物头部个性化特征。计算机设备可对该初始头部网格模型进行自动优化，得到更能凸显影视人物头部个性化特征的目标头部网格模型，并基于目标头部网格模型对虚拟影视人物进行优化渲染，得到细节更为丰富的虚拟影视人物，从而提升虚拟影视人物的渲染质量。

再比如，比如，针对VR中虚拟人物的优化渲染，具体地，计算机设备可获取待优化的初始虚拟人物图像，初始虚拟人物图像中包括虚拟人物头部。计算机设备可基于初始虚拟人物图像自动构建与虚拟人物头部相匹配的初始头部网格模型，可以理解，初始头部网格模型具有VR中虚拟人物头部个性化特征。计算机设备可对该初始头部网格模型进行自动优化，得到更能凸显虚拟人物头部个性化特征的目标头部网格模型，并基于目标头部网格模型对VR中的虚拟人物进行优化渲染，得到细节更为丰富的虚拟人物，从而提升VR中虚拟人物的渲染质量。

应该理解的是，虽然上述各实施例的流程图中的各个步骤按照顺序依次显示，但是这些步骤并不是必然按照顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种图像渲染装置700，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：

构建模块702，用于基于待优化的初始图像构建相应的初始头部网格模型；

融合模块704，用于将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息；第一纹理信息用于描述初始头部网格模型中三维网格顶点的位置信息；第二纹理信息用于描述初始图像中目标头部的状态信息；

重建模块706，用于根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量，并基于顶点位置偏移量对初始头部网格模型进行顶点修正，得到目标头部网格模型；

渲染模块708，用于根据第二纹理信息和目标头部网格模型，生成对初始图像优化后的目标图像。

在一个实施例中，构建模块702还用于从初始图像中提取目标头部的头部特征参数；基于头部特征参数对预设的基准头部网格模型中的三维网格顶点进行调整，得到与初始图像相匹配的初始头部网格模型。

在一个实施例中，重建模块706还用于针对初始头部网格模型中的每一个三维网格顶点，根据三维网格顶点对应的目标纹理信息确定三维网格顶点的法线；根据三维网格顶点的法线和顶点特征参数，确定三维网格顶点对应的顶点位置偏移量。

在一个实施例中，顶点位置偏移量包括初始头部网格模型中各三维网格顶点分别对应的顶点坐标偏移量；重建模块706还用于针对初始头部网格模型中的每一个三维网格顶点，将三维网格顶点的初始坐标与三维网格顶点对应的顶点坐标偏移量相加，得到三维网格顶点对应的目标坐标；初始坐标是三维网格顶点位于初始头部网格模型的坐标；根据初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到目标头部网格模型。

在一个实施例中，重建模块706还用于根据初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到修正后的头部网格模型；根据相机变换参数对修正后的头部网格模型进行变换处理，得到目标头部网格模型；其中，相机变换参数是基于初始图像对应的相机位置确定得到的。

在一个实施例中，第二纹理信息包括第二纹理图像；渲染模块708还用于通过第二纹理图像对目标头部网格模型进行贴图处理，得到贴图后的头部网格模型；对贴图后的头部网格模型进行渲染，得到优化后的目标图像。

在一个实施例中，融合模块704还用于将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行卷积处理，得到卷积后的纹理信息；将卷积后的纹理信息进行池化处理，得到池化后的纹理信息；将池化后的纹理信息进行卷积处理，得到目标纹理信息。

在一个实施例中，目标图像是由已训练的图像渲染模型生成得到的；图像渲染模型包括头部构建网络、头部重建网络和渲染网络；构建模块702还用于将待优化的初始图像输入至头部构建网络，以通过头部构建网络基于初始图像构建相应的初始头部网格模型；重建模块706还用于将顶点位置偏移量输入至头部重建网络，以通过头部重建网络基于顶点位置偏移量对初始头部网格模型进行顶点修正，得到目标头部网格模型；渲染模块708还用于将第二纹理信息和目标头部网格模型输入至渲染网络，以通过渲染网络根据第二纹理信息和目标头部网格模型，生成对初始图像优化后的目标图像。

在一个实施例中，头部重建网络包括卷积单元和感知器单元；融合模块704还用于将第一纹理信息和第二纹理信息输入至卷积单元，以通过卷积单元将第一纹理信息和第二纹理信息进行融合，得到目标纹理信息；重建模块706还用于将目标纹理信息输入至感知器单元，以通过感知器单元根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量。

在一个实施例中，图像渲染模型还包括纹理提取网络；装置还包括：

提取模块，用于将待优化的初始图像输入至纹理提取网络，以通过纹理提取网络对初始图像进行纹理提取，得到初始图像对应的第二纹理信息。

在一个实施例中，装置还包括：

训练模块，用于获取样本初始图像和样本目标图像；将样本初始图像输入至待训练的图像渲染模型，以通过图像渲染模型对输入的样本初始图像进行预测渲染，得到预测图像；通过预测图像与样本目标图像之间的差异，对图像渲染模型进行迭代训练，直至满足迭代停止条件，得到已训练的图像渲染模型。

在一个实施例中，初始图像中的目标头部是游戏场景中虚拟角色的虚拟头部；目标头部网格模型是游戏场景中虚拟头部对应的头部网格模型；目标图像中虚拟头部的细节多于初始图像中虚拟头部的细节。

在一个实施例中，参考图8，图像渲染装置700还可以包括：提取模块710和训练模块712。

上述图像渲染装置，通过基于待优化的初始图像自动构建相应的初始头部网格模型，将初始头部网格模型对应的第一纹理信息和初始图像对应的第二纹理信息进行融合，得到初始头部网格模型的目标纹理信息，第一纹理信息用于描述初始头部网格模型中三维网格顶点的位置信息，第二纹理信息用于描述初始图像中目标头部的状态信息。根据目标纹理信息确定初始头部网格模型中三维网格顶点的顶点位置偏移量，并基于顶点位置偏移量对初始头部网格模型进行顶点自动修正，得到目标头部网格模型，根据第二纹理信息和目标头部网格模型，自动生成对初始图像优化后的目标图像。相较于传统的通过人工构建头部网格模型来渲染图像的方式，本申请可通过自动构建目标头部网格模型来自动生成目标图像，可以提升图像渲染效率。

上述图像渲染装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像渲染方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像渲染方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9和图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（DynamicRandom Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (24)

1.一种图像渲染方法，其特征在于，所述方法包括：

将待优化的初始图像输入至图像渲染模型中的头部构建网络，以通过所述头部构建网络基于所述初始图像构建相应的初始头部网格模型；

将所述初始头部网格模型对应的第一纹理信息和所述初始图像对应的第二纹理信息进行融合，得到所述初始头部网格模型的目标纹理信息；所述第一纹理信息用于描述所述初始头部网格模型中三维网格顶点的位置信息；所述第二纹理信息用于描述所述初始图像中目标头部的状态信息；

根据所述目标纹理信息确定所述初始头部网格模型中三维网格顶点的顶点位置偏移量，并将所述顶点位置偏移量输入至所述图像渲染模型中的头部重建网络，以通过所述头部重建网络基于所述顶点位置偏移量对所述初始头部网格模型进行顶点修正，得到目标头部网格模型；

将所述第二纹理信息和所述目标头部网格模型输入至所述图像渲染模型中的渲染网络，以通过所述渲染网络根据所述第二纹理信息和所述目标头部网格模型，生成对所述初始图像优化后的目标图像；所述目标图像中目标头部的细节多于所述初始图像中目标头部的细节。

2.根据权利要求1所述的方法，其特征在于，所述基于所述初始图像构建相应的初始头部网格模型，包括：

从初始图像中提取目标头部的头部特征参数；

基于所述头部特征参数对预设的基准头部网格模型中的三维网格顶点进行调整，得到与所述初始图像相匹配的初始头部网格模型。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标纹理信息确定所述初始头部网格模型中三维网格顶点的顶点位置偏移量，包括：

针对所述初始头部网格模型中的每一个三维网格顶点，根据所述三维网格顶点对应的目标纹理信息确定所述三维网格顶点的法线；

根据所述三维网格顶点的法线和顶点特征参数，确定所述三维网格顶点对应的顶点位置偏移量。

4.根据权利要求1所述的方法，其特征在于，所述顶点位置偏移量包括所述初始头部网格模型中各三维网格顶点分别对应的顶点坐标偏移量；

所述基于所述顶点位置偏移量对所述初始头部网格模型进行顶点修正，得到目标头部网格模型，包括：

针对所述初始头部网格模型中的每一个三维网格顶点，将所述三维网格顶点的初始坐标与所述三维网格顶点对应的顶点坐标偏移量相加，得到所述三维网格顶点对应的目标坐标；所述初始坐标是所述三维网格顶点位于所述初始头部网格模型的坐标；

根据所述初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到目标头部网格模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到目标头部网格模型，包括：

根据所述初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到修正后的头部网格模型；

根据相机变换参数对所述修正后的头部网格模型进行变换处理，得到目标头部网格模型；

其中，所述相机变换参数是基于所述初始图像对应的相机位置确定得到的。

6.根据权利要求1所述的方法，其特征在于，所述第二纹理信息包括第二纹理图像；所述根据所述第二纹理信息和所述目标头部网格模型，生成对所述初始图像优化后的目标图像，包括：

通过所述第二纹理图像对所述目标头部网格模型进行贴图处理，得到贴图后的头部网格模型；

对所述贴图后的头部网格模型进行渲染，得到优化后的目标图像。

7.根据权利要求1所述的方法，其特征在于，所述将所述初始头部网格模型对应的第一纹理信息和所述初始图像对应的第二纹理信息进行融合，得到所述初始头部网格模型的目标纹理信息，包括：

将所述初始头部网格模型对应的第一纹理信息和所述初始图像对应的第二纹理信息进行卷积处理，得到卷积后的纹理信息；

将所述卷积后的纹理信息进行池化处理，得到池化后的纹理信息；

将所述池化后的纹理信息进行卷积处理，得到所述初始头部网格模型的目标纹理信息。

8.根据权利要求1所述的方法，其特征在于，所述头部重建网络包括卷积单元和感知器单元；所述将所述初始头部网格模型对应的第一纹理信息和所述初始图像对应的第二纹理信息进行融合，得到所述初始头部网格模型的目标纹理信息，包括：

将所述第一纹理信息和所述第二纹理信息输入至所述卷积单元，以通过所述卷积单元将所述第一纹理信息和所述第二纹理信息进行融合，得到目标纹理信息；

所述根据所述目标纹理信息确定所述初始头部网格模型中三维网格顶点的顶点位置偏移量，包括：

将所述目标纹理信息输入至所述感知器单元，以通过所述感知器单元根据所述目标纹理信息确定所述初始头部网格模型中三维网格顶点的顶点位置偏移量。

9.根据权利要求1所述的方法，其特征在于，所述图像渲染模型还包括纹理提取网络；所述方法还包括：

将所述待优化的初始图像输入至所述纹理提取网络，以通过所述纹理提取网络对所述初始图像进行纹理提取，得到所述初始图像对应的第二纹理信息。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括模型训练步骤；所述模型训练步骤包括：

获取样本初始图像和样本目标图像；

将所述样本初始图像输入至待训练的图像渲染模型，以通过所述图像渲染模型对输入的所述样本初始图像进行预测渲染，得到预测图像；

通过所述预测图像与所述样本目标图像之间的差异，对所述图像渲染模型进行迭代训练，直至满足迭代停止条件，得到已训练的图像渲染模型。

11.根据权利要求1至10中任一项所述的方法，其特征在于，所述初始图像中的目标头部是游戏场景中虚拟角色的虚拟头部；所述目标头部网格模型是游戏场景中所述虚拟头部对应的头部网格模型；所述目标图像中虚拟头部的细节多于所述初始图像中虚拟头部的细节。

12.一种图像渲染装置，其特征在于，所述装置包括：

构建模块，用于将待优化的初始图像输入至图像渲染模型中的头部构建网络，以通过所述头部构建网络基于所述初始图像构建相应的初始头部网格模型；

融合模块，用于将所述初始头部网格模型对应的第一纹理信息和所述初始图像对应的第二纹理信息进行融合，得到所述初始头部网格模型的目标纹理信息；所述第一纹理信息用于描述所述初始头部网格模型中三维网格顶点的位置信息；所述第二纹理信息用于描述所述初始图像中目标头部的状态信息；

重建模块，用于根据所述目标纹理信息确定所述初始头部网格模型中三维网格顶点的顶点位置偏移量，并将所述顶点位置偏移量输入至所述图像渲染模型中的头部重建网络，以通过所述头部重建网络基于所述顶点位置偏移量对所述初始头部网格模型进行顶点修正，得到目标头部网格模型；

渲染模块，用于将所述第二纹理信息和所述目标头部网格模型输入至所述图像渲染模型中的渲染网络，以通过所述渲染网络根据所述第二纹理信息和所述目标头部网格模型，生成对所述初始图像优化后的目标图像；所述目标图像中目标头部的细节多于所述初始图像中目标头部的细节。

13.根据权利要求12所述的装置，其特征在于，所述构建模块还用于从初始图像中提取目标头部的头部特征参数；基于所述头部特征参数对预设的基准头部网格模型中的三维网格顶点进行调整，得到与所述初始图像相匹配的初始头部网格模型。

14.根据权利要求12所述的装置，其特征在于，所述重建模块还用于针对所述初始头部网格模型中的每一个三维网格顶点，根据所述三维网格顶点对应的目标纹理信息确定所述三维网格顶点的法线；根据所述三维网格顶点的法线和顶点特征参数，确定所述三维网格顶点对应的顶点位置偏移量。

15.根据权利要求12所述的装置，其特征在于，所述顶点位置偏移量包括所述初始头部网格模型中各三维网格顶点分别对应的顶点坐标偏移量；所述重建模块还用于针对所述初始头部网格模型中的每一个三维网格顶点，将所述三维网格顶点的初始坐标与所述三维网格顶点对应的顶点坐标偏移量相加，得到所述三维网格顶点对应的目标坐标；所述初始坐标是所述三维网格顶点位于所述初始头部网格模型的坐标；根据所述初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到目标头部网格模型。

16.根据权利要求15所述的装置，其特征在于，所述重建模块还用于根据所述初始头部网格模型中各三维网格顶点分别对应的目标坐标，得到修正后的头部网格模型；根据相机变换参数对所述修正后的头部网格模型进行变换处理，得到目标头部网格模型；其中，所述相机变换参数是基于所述初始图像对应的相机位置确定得到的。

17.根据权利要求12所述的装置，其特征在于，所述第二纹理信息包括第二纹理图像；所述渲染模块还用于通过所述第二纹理图像对所述目标头部网格模型进行贴图处理，得到贴图后的头部网格模型；对所述贴图后的头部网格模型进行渲染，得到优化后的目标图像。

18.根据权利要求12所述的装置，其特征在于，所述融合模块还用于将所述初始头部网格模型对应的第一纹理信息和所述初始图像对应的第二纹理信息进行卷积处理，得到卷积后的纹理信息；将所述卷积后的纹理信息进行池化处理，得到池化后的纹理信息；将所述池化后的纹理信息进行卷积处理，得到目标纹理信息。

19.根据权利要求12所述的装置，其特征在于，所述头部重建网络包括卷积单元和感知器单元；所述融合模块还用于将所述第一纹理信息和所述第二纹理信息输入至所述卷积单元，以通过所述卷积单元将所述第一纹理信息和所述第二纹理信息进行融合，得到目标纹理信息；所述重建模块还用于将所述目标纹理信息输入至所述感知器单元，以通过所述感知器单元根据所述目标纹理信息确定所述初始头部网格模型中三维网格顶点的顶点位置偏移量。

20.根据权利要求12所述的装置，其特征在于，所述图像渲染模型还包括纹理提取网络；所述装置还包括：

提取模块，用于将所述待优化的初始图像输入至所述纹理提取网络，以通过所述纹理提取网络对所述初始图像进行纹理提取，得到所述初始图像对应的第二纹理信息。

21.根据权利要求12所述的装置，其特征在于，所述装置还包括：

训练模块，用于获取样本初始图像和样本目标图像；将所述样本初始图像输入至待训练的图像渲染模型，以通过所述图像渲染模型对输入的所述样本初始图像进行预测渲染，得到预测图像；通过所述预测图像与所述样本目标图像之间的差异，对所述图像渲染模型进行迭代训练，直至满足迭代停止条件，得到已训练的图像渲染模型。

22.根据权利要求12至21中任一项所述的装置，其特征在于，所述初始图像中的目标头部是游戏场景中虚拟角色的虚拟头部；所述目标头部网格模型是游戏场景中所述虚拟头部对应的头部网格模型；所述目标图像中虚拟头部的细节多于所述初始图像中虚拟头部的细节。

23.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

24.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

Images