CN114764840A - 图像渲染方法、装置、设备和存储介质 - Google Patents

图像渲染方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114764840A
CN114764840A CN202011631961.4A CN202011631961A CN114764840A CN 114764840 A CN114764840 A CN 114764840A CN 202011631961 A CN202011631961 A CN 202011631961A CN 114764840 A CN114764840 A CN 114764840A
Authority
CN
China
Prior art keywords
rendered
image
dimensional image
dimensional
colored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011631961.4A
Other languages
English (en)
Inventor
高岱恒
张邦
潘攀
徐盈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202011631961.4A priority Critical patent/CN114764840A/zh
Publication of CN114764840A publication Critical patent/CN114764840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例提供一种图像渲染方法、装置、设备和存储介质，该方法包括：获取待渲染对象的对象属性，再根据具有此对象属性的待渲染对象对应的待着色三维图像，预测平滑参数，并用此平滑参数进行着色，也即是完成了物体的渲染。其中，预测出的平滑参数能够反映待渲染物体材质。采用上述方案时，着色过程中使用到的平滑参数是预测出的、专门针对于待渲染对象的材质的，因此，能够更准确地将材质引入渲染过程中，从而提高渲染的真实性。

Description

图像渲染方法、装置、设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像渲染方法、装置、设备和存储介质。
背景技术
随着计算机的发展，三维建模已经应用到越来越多的领域中。比如在动画或游戏制作领域，动画场景、游戏场景中包含的各个物体均可以通过三维建模方式得到。比如在直播领域，最近又出现了虚拟主播，主播可以通过使用应用软件(Application，简称APP)来建立自己的虚拟形象，并用此虚拟形象进行直播。
以虚拟主播的虚拟形象为例，此虚拟形象需要被渲染后才会显示在屏幕上。因此，如何提高渲染的真实性就成为一个亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供一种图像渲染方法、装置、设备和存储介质，用以保证渲染的真实性。
第一方面，本发明实施例提供一种图像渲染方法，包括：
获取待渲染对象的对象属性；
根据具有所述对象属性的所述待渲染物体对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像。
第二方面，本发明实施例提供一种图像渲染装置，包括：
获取模块，用于获取待渲染对象的对象属性；
预测模块，用于根据具有所述对象属性的所述待渲染物体对应的待着色三维图像预测反映所述待渲染对象材质的平滑参数；
渲染模块，用于根据所述平滑参数渲染所述待着色三维图像。
第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的图像渲染方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的图像渲染方法。
第五方面，本发明实施例提供一种图像渲染方法，包括：
获取直播页面中待渲染对象的对象属性；
根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像；
在所述直播页面中展示所述待渲染对象对应的着色后三维图像。
第六方面，本发明实施例提供一种图像渲染装置，包括：
获取模块，用于获取直播页面中待渲染对象的对象属性；
预测模块，用于根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
渲染模块，用于根据所述平滑参数渲染所述待着色三维图像；
展示模块，用于在所述直播页面中展示所述待渲染对象对应的着色后三维图像。
第七方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的图像渲染方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第八方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第五方面所述的图像渲染方法。
第九方面，本发明实施例提供一种图像渲染方法，包括：
获取用户的目标人体部位的对象属性；
根据具有所述对象属性的所述目标人体部位对应的待着色三维图像，预测反映所述目标人体部位材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像；
展示所述目标人体部位对应的着色后三维图像。
第十方面，本发明实施例提供一种图像渲染装置，包括：
获取模块，用于获取用户的目标人体部位的对象属性；
预测模块，用于根据具有所述对象属性的所述目标人体部位对应的待着色三维图像，预测反映所述目标人体部位材质的平滑参数；
渲染模块，用于根据所述平滑参数渲染所述待着色三维图像；
展示模块，用于展示所述目标人体部位对应的着色后三维图像。
第十一方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的图像渲染方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第十二方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第九方面所述的图像渲染方法。
第十三方面，本发明实施例提供一种图像渲染方法，包括：
获取道路图像中待渲染对象的对象属性；
根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像；
根据所述待渲染对象对应的着色后三维图像生成三维地图。
第十四方面，本发明实施例提供一种图像渲染装置，包括：
获取模块，用于获取道路图像中待渲染对象的对象属性；
预测模块，用于根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
渲染模块，用于根据所述平滑参数渲染所述待着色三维图像；
展示模块，用于根据所述待渲染对象对应的着色后三维图像生成三维地图。
第十五方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的图像渲染方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第十六方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第九方面所述的图像渲染方法。
第十七方面，本发明实施例提供一种模型训练方法，包括：
获取包含样本对象的样本图像，所述样本图像为二维图像；
根据所述样本图像的图像特征，生成所述样本图像对应的待着色三维图像；
根据所述样本图像对应的待着色三维图像生成所述样本图像对应的待着色二维图像；
将所述待着色二维图像中像素点的方向信息输入所述第一预测模型，以由所述第一预测模型输出反映所述样本对象材质的平滑参数；
根据所述平滑参数渲染所述待着色二维图像，以得到着色后二维图像；
根据所述样本图像与所述着色后二维图像之间的颜色差异，调整所述第一预测模型的模型参数。
第十八方面，本发明实施例提供一种模型训练装置，包括：
获取模块，用于获取包含样本对象的样本图像，所述样本图像为二维图像；
生成模块，用于根据所述样本图像的图像特征，生成所述样本图像对应的待着色三维图像，以及根据所述样本图像对应的待着色三维图像生成所述样本图像对应的待着色二维图像；
输入模块，用于将所述待着色二维图像中像素点的方向信息输入所述第一预测模型，以由所述第一预测模型输出反映所述样本对象材质的平滑参数；
渲染模块，用于根据所述平滑参数渲染所述待着色二维图像，以得到着色后二维图像；
调整模块，用于根据所述样本图像与所述着色后二维图像之间的颜色差异，调整所述第一预测模型的模型参数。
第十九方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第十七方面中的模型训练方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第二十方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第十七方面所述的模型训练方法。
本发明实施例提供的图像渲染方法，获取待渲染对象的对象属性，再根据具有此对象属性的待渲染对象对应的待着色三维图像，预测反映待渲染对象材质的平滑参数。其中，待渲染对象在待着色三维图像中是以三维立体的样式展示的，只是没有上色。最终，用此平滑参数进行着色，着色结果会显示到屏幕上，也即是完成了待渲染对象的渲染。
光照射在材质不同的物体上时，在物体表面发生的光的折射、反射程度都不同，从而使得物体所呈现的颜色有所偏差。采用上述方案时，着色过程中使用到的平滑参数是预测出来的、专门针对于待渲染物体的材质的，因此，能够更准确地将材质因素引入渲染过程中，从而提高渲染的真实性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像渲染方法的流程图；
图2为图1所示实施例提供的图像渲染方法中步骤104具体实现方式的流程图；
图3为图2所示实施例提供的图像渲染方法中步骤201具体实现方式的流程图；
图4为本发明实施例提供的第二预测模型训练过程的流程图；
图5为图4所示实施例提供的第二预测模型训练过程的示意图；
图6为本发明实施例提供的一种模型训练方法的流程图；
图7为本发明实施例提供的另一种图像渲染方法的流程图；
图8为本发明实施例提供的又一种图像渲染方法的流程图；
图9为本发明实施例提供的又一种图像渲染方法的流程图；
图10为本发明实施例提供图像渲染方法应用在娱乐场景下的示意图；
图11为本发明实施例提供的一种图像渲染装置的结构示意图；
图12为与图11所示实施例提供的图像渲染装置对应的电子设备的结构示意图；
图13为本发明实施例提供的另一种图像渲染装置的结构示意图；
图14为与图13所示实施例提供的图像渲染装置对应的电子设备的结构示意图；
图15为本发明实施例提供的又一种图像渲染装置的结构示意图；
图16为与图15所示实施例提供的图像渲染装置对应的电子设备的结构示意图；
图17为本发明实施例提供的又一种图像渲染装置的结构示意图；
图18为与图17所示实施例提供的图像渲染装置对应的电子设备的结构示意图；
图19为本发明实施例提供的又一种模型训练装置的结构示意图；
图20为与图19所示实施例提供的模型训练装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地，取决于语境，短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
在对本发明实施例提供的图像渲染方法进行说明。在此之前，还需要先对该图像渲染的实际意义进行示例性说明：
在实际应用中，我们往往需要对现实场景中的物体进行三维建模，再将物体对应的三维模型渲染到屏幕上。基于这种需求，便可以使用本发明各实施例提供的图像渲染方法。
举例来说，比如娱乐领域中，用户可以通过三维建模生成自己对应的虚拟形象。类似的，比如直播领域中，主播可以通过三维建模生成自己对应的虚拟形象，直播间中的待售商品和直播背景都可以是虚拟的三维物体。在医疗领域中，可以对人体器官进行三维建模并渲染到屏幕上，以便进一步利用三维的器官模型进行学术研讨、病情分析、辅助诊疗等等。在导航领域中，可以对某段区域进行三维建模，经过渲染可以得到用于导航的三维地图，从而实现导航功能。又比如在背景技术中提及的动画、游戏制作场景，可以直接对现实场景中的物体进行建模并渲染，从而完成动画或游戏场景的搭建。
当然，上述的各种场景只是一种示意，本发明并不对图像渲染方法使用场景进行限定。
基于上述描述，下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
图1为本发明实施例提供的一种图像渲染方法的流程图，本发明实施例提供的该图像渲染方法可以由渲染设备来执行。可以理解的是，该渲染设备可以实现为软件、或者软件和硬件的组合。如图1所示，该方法包括如下步骤：
S101，获取待渲染对象的对象属性。
待渲染对象可以是现实场景中的任一物体，则对象属性可以是此待渲染对象的形状、纹理等等。举例来说，当待渲染对象为人脸时，对象属性可以包括人脸的脸型、五官的形状、皮肤的纹理，还可以包括人脸的表情等等。
对于对象属性的获取，一种可选地方式，可以使用特定的扫描设备对待渲染对象进行扫描，以得到待渲染对象的对象属性。对于此种获取方式，使用本发明各实施例提供的图像渲染方法可以直接生成空间中某物体的三维图像。
另一种可选地方式，还可以先对待渲染对象进行拍摄，以得到相应的二维图像。再对二维图像进行图像特征的提取，此图像特征中包含待渲染对象的对象属性。其中，图像特征的提取可以借助预测模型实现，比如马尔可夫随机场(Markov Random Field，简称MRF)模型、分形模型等等。对于此种获取方式，使用本发明各实施例提供的图像渲染方法可以实现直接生成空间中某物体的二维图像所对应的三维图像。
当然，上述对象属性的获取方式只是示例，本发明并不限定对象属性的获取方式。
S102，根据具有对象属性的待渲染对象对应的待着色三维图像，预测反映待渲染对象材质的平滑参数。
根据具有对象属性的待渲染对象对应的待着色三维图像，预测反映待渲染对象材质的平滑参数
S103，根据平滑参数渲染待着色三维图像。
在待渲染对象的对象属性后，还可以进一步根据此对象属性生成待渲染对象对应的三维图像，再根据生成的三维图像预测反映待渲染对象材质的平滑参数。最终，使用此平滑参数对生成的三维图像进行着色。其中，待渲染对象在生成的三维图像中是以三维立体的样式展示的，只不过立体样式的待渲染对象是没有别着色的，因此，根据对象属性生成的三维图像可以称为待着色三维图像。另外，本发明各实施例提供的渲染方法实际上可以理解成对待着色三维图像进行着色，并将着色后三维图像显示于屏幕上的过程。
下面分别对待着色三维图像的生成以及平滑参数的预测进行说明。对于待着色三维图像的生成，可选地，可以预先获取不同类型的待渲染对象各自所对应的模板图像，模板图像也是三维图像，即模板图像包含的对象也是以立体样式展示的。此时，可以先根据待渲染对象的类型确定出待渲染对象对应的模板图像，再将待渲染对象的对象属性作为调整参数，对待渲染对象对应的模板图像进行调整，从而得到待渲染对象对应的待着色三维图像。
举例来说，当待渲染对象为人脸时，其对应的模板图像也是一张包含人脸的三维图像，人脸在模板图像中是以立体样式的展示的，只不过模板图像中的人脸与待渲染对象是脸型、五官、表情存在差异的两张人脸。此时，则可以将待渲染对象的对象属性，比如人脸的脸型、表情、五官的形状、皮肤的纹理等等作为参数，对模板图像进行调整。使得调整后模板图像中包含的人脸与待渲染对象具有对象属性，二者是同一张人脸，此调整后模板图像也可以认为是待渲染对象对应的待着色的三维图像。
容易理解的，构成二维图像的最小单位是像素点，类似的，构成三维图像的最小单元可以是面元，即三维图像中的物体由多个面元围成。可选地，面元的形状可以是多边形，最常见的可以是三角形面元。
对于平滑参数的预测，可选地，基于上述生成的待着色三维图像，一方面能得到待着色三维图像中每个面元的方向信息，面元的方向信息可以是面元的法线方向。另一方面也能得到每个面元上顶点的坐标值、纹理特征和方向信息。其中，顶点的坐标值对应于世界坐标系，并且包含有深度值。顶点的方向信息也即是顶点的法线信息，可以根据面元中顶点的方向信息确定该面元的方向信息。
此时，则可以根据各面元的方向信息预测能够反映待渲染对象材质的平滑参数。可选地，平滑参数的预测通常是借助预测模型实现的。实际中，预测模型具体可以是由至少一个全连接层构成的神经网络模型。将三维图像中围成物体的各个面元的法线信息输入此预测模型，以由此预测模型输出反映此物体材质的平滑参数。并且此预测模型的训练过程可以参见图4所示实施例中的描述。
其中，法线信息能够体现材质的原理可以理解为：面元的法线信息表示面元的凹凸程度，越光滑的材质，凹凸相对就越不明显，即面元的法线信息的变化越不明显。这种凹凸不平的感觉能够构造出不同材质所具有的质感，比如皮肤的质感、布料的质感等等。并且根据预测模型预测平滑参数的过程可以为：将二维向量形式的法线信息输入预测模型，并将此向量和预测模型中至少一个全连接层中节点的权重值进行计算，从而实现平滑参数的预测。
在预测出平滑参数后，还可以进一步使用此平滑参数对待着色三维图像进行着色。具体地，先根据平滑参数计算待着色三维图像每个面元包含的三维点的颜色值，再按照此颜色值对待着色三维图像进行着色，也即是用颜色值对与待着色图像中三维点存在对应关系的屏幕上的像素点进行着色。着色后三维图像会显示在屏幕上。上述着色后显示的过程可以认为是对待着色三维图像进行渲染的过程。
另外，由于反映待渲染对象材质的平滑参数是一个可变的预测值，即平滑参数是随待渲染对象的不同而发生变化的，也就相当于实现了着色过程的可微分。并且在着色过程中，使用平滑参数可以更准确地计算出屏幕中每个像素点所要渲染的颜色值，使得颜色值能够反映待渲染对象的材质，因此，也就提高了渲染真实性。
举例来说，在相同的环境下，光照射在不同材质的物体上时，在物体表面上会发生不同程度的折射和反射，从而使得不同材质的物体呈现的颜色有所偏差。对于玻璃、陶瓷等材质的物体，当光线照射后，在物体表面往往还会出光斑。而当将光滑参数引入着色的过程中后，光线对待渲染对象表面的颜色的影响以及由于光照有可能出现的光斑都会被渲染出来，从而实现渲染的真实。
本实施例中，获取待渲染物体的物体属性，再根据此物体属性生成此待渲染物体对应的待着色三维图像。并且待着色三维图像中立体样式的待渲染物体是由多个面元围成的，则可以根据各面元的方向信息确定平滑参数，最终，用此平滑参数进行着色，也即是完成了物体的渲染。采用上述方案时，由于着色过程中使用到的平滑参数是专门针对于待渲染物体的材质的，因此，能够很好地将材质引入渲染过程中，从而提高渲染的真实性。
另外，在步骤102预测出平滑参数后，在实际应用中，一种可选地方式，可以按照图1所示实施例中提供的方式，直接根据预测出的平滑参数对待着色三维图像进行渲染。
另一种可选地方式，还可以将预测出的平滑参数显示到操作界面上，用户可以基于经验判定当前平滑参数是否合适，并进行参数修改。渲染设备可以根据用户修改后的平滑参数执行步骤103。
又一种可选地方式，渲染设备可以先根据待渲染对象，确定此待渲染对象所需的渲染场景，并进一步确定此渲染场景对应的预选参数范围。若预测出的平滑参数超出预设参数范围，则将预测出的平滑参数进行显示，以供用户修改，再根据用户修改后的平滑参数执行步骤103。其中，举例来说，当待渲染对象为人脸时，渲染场景可以是娱乐或者直播场景。当待渲染对象为车辆或建筑时，渲染场景可以是交通场景。
在实际应用中，为了进一步保证渲染的真实性，在平滑参数的基础上，还可以同时使用其他渲染参数来完成待着色三维图像的着色。可选地，如图2所示，步骤103一种可选地实现方式，也即是对待着色三维图像进行着色的具体过程可以包括以下步骤：
S201，通过坐标转换，确定待着色三维图像中的目标三维点与屏幕中的目标像素点间的对应关系，目标三维点为待着色三维图像中的任一三维点。
待着色三维图像中每个面元都包含顶点在内的多个三维点，并且在得到待着色三维图像的同时也即是能够得到该图像中每个面元上顶点在世界坐标系下的坐标值。此时，可以对顶点的坐标值进行插值，以得到待着色三维图像中非顶点的三维点在世界坐标系下的坐标值。其中，待着色三维图像中每个面元包含的顶点和非顶点都可以成为三维点。
接着，再将每个三维点的坐标值进行坐标转换，也即是将其由世界坐标系转换到屏幕坐标系，从而建立待着色三维图像中三维点与屏幕中像素点之间的对应关系，也即是完成了光栅化过程。
可选地，坐标转换过程具体可以为：将坐标值由世界坐标系转换到相机坐标系，再由相机坐标系转换到归一化设备(Normalized Device Coordinates，简称NDC)坐标系，再由NDC坐标系转换到屏幕坐标系。每一步的坐标转换都可以利用预设转换矩阵实现。上述的坐标转换是图像渲染领域中的常规过程，具体过程在此不再赘述。
需要说明的有，上述建立的三维点与像素点之间的对应关系也可以反映待着色三维图像中各面元与屏幕上的像素区域之间的对应关系。在建立对应关系的过程中还可以得到软化系数。可选地，还可以根据此软化系数对每个面元对应的像素区域进行软化处理，从而降低图像中物体边缘的块效应，使得渲染出的待渲染对象的边缘是圆滑的，提高图像渲染的质量。
S202，根据平滑参数确定目标三维点的渲染参数。
其中，目标三维点的渲染参数可以包括纹理参数、漫反射参数和高光反射参数。对于纹理参数，其可选地确定方式为：
在得到待着色三维图像的同时也即是得到待着色三维图像中各面元顶点的纹理特征，此纹理特征具体可以表现为纹理参数。此时，与步骤201类似的，同样可以对顶点的纹理参数进行插值，以得到待着色三维图像中各三维点的纹理参数，也即是得到待着色三维图像中的目标三维点的纹理参数。其中，目标三维点可以是待着色三维图像中的任一三维点。
对于漫反射参数和高光反射参数，其可选地确定方式为：
可以根据二维图像拍摄环境中光源的位置以及目标三维点所属的面元的方向信息具体来说是法线信息，并借助双向反射分布函数(Bidirectional ReflectanceDistribution Function,简称BRDF)计算目标三维点的漫反射参数和高光反射参数。
具体来说，漫反射参数diffuse可以表示为：diffuse＝DisneyDiffuse(n,I,h,s)。
高光反射参数specular可以表示为：
specular＝π*SmithGGXVisibilityTerm(n,I,v,s)*GGXTerm(n,h,s)。
其中，DisneyDiffuse为预设的漫反射计算函数，SmithGGXVisibilityTerm和GGXTerm为预设的高光反射计算函数。其可以认为是BRDF函数的一种。n为目标三维点所在面元的方向信息，I为光源的位置，h为半角度张量，s为平滑参数，v为二维图像的拍摄角度。其中，在得到待着色三维图像的同时即可得到目标三维点所属的面元的方向信息n，并且光源的位置I、半角度张量h以及拍摄角度v都是预设的已知值，半角度张量h是将拍摄角度v和光源的位置I取平均并归一化的结果。
在上述计算方式中，漫反射参数和高光反射参数的计算过程中都需要使用到反映待渲染对象材质的平滑参数，这使得两个反射参数也都能间接反映待渲染对象的材质。
S203，根据渲染参数确定目标三维点的颜色值。
接着，根据渲染参数进一步确定待着色三维图像中目标三维点的颜色值。并且每个三维点的颜色值的确定方式都是相同的，因此，以目标三维点为例进行说明。
基于目标三维点的两个反射参数以及纹理参数，可选地，可以按照下述公式计算目标三维点的颜色值Color：Color＝(ambient+diffuse)*texels+specular
其中，diffuse为漫反射参数，specular为高光反射参数，texels为纹理参数，ambient为预设环境光参数。通常来说，ambient可以称为自发光项、diffuse可以称为漫反射项，specular可以称为高光反射项。
按照上述方式即可计算出待着色三维图像中各三维点的颜色值。
S204，根据对应关系，用目标三维点的颜色值对屏幕中的目标像素点进行渲染。
最终，可以根据步骤201中得到的三维点和像素点之间的对应关系，将每个三维点具有的颜色值渲染到屏幕上对应像素点的位置上，从而完成图像渲染，即待着色三维图像的着色过程。
本实施例中，先建立待着色三维图像中的三维点与屏幕中的像素点之间的对应关系，再借助预测出的平滑参数以及面元的方向信息计算颜色值进行图像渲染。与上述实施例相同的，在计算颜色值时使用到能够反映待渲染对象材质的平滑参数，保证渲染的真实性。再此基础上，在计算颜色值时还会使用到面元的方向信息，在同一光照环境下，待渲染对象不同位置的面元往往会存在颜色差异，并且面元的方向信息是能够反映此面元在待渲染对象上的位置的，因此，将方向信息引入颜色值计算的过程中，也可以很好地体现不同面元上三维点的颜色差异，从而保证渲染的真实性。
另外，上述图2所示实施例的步骤201中能够实现通过插值实现三维点和像素点之间对应关系的建立。可选地，步骤201一种可选地实现方式，也即是对应关系的具体建立过程如图3所示，可以包括以下步骤：
S301，根据待着色三维图像中面元的顶点的深度值，确定深度值满足要求的预设数量的目标面元。
在得到待着色三维图像的同时也即是得到在此图像中围成待渲染对象的面元顶点的深度值，也得到面元顶点的方向信息以及纹理特征(即纹理参数)。接着，确定深度值满足要求的预设数量的目标面元。
假设预设数量为M个，则先根据顶点的深度值进行升序排列，确定最小的M个深度值对应的M个顶点，再确定此M个顶点所归属的面元。若M个顶点恰好属于M个面元，则此M个面元即为目标面元。其中M＞1。
若M个顶点属于N个面元，其中，M＞N，则可以按照排序继续在剩余深度值中确定一个的深度值，并将此最小深度值归属的面元确定为目标面元，依次类推，直至确定出M个面元。
S302，根据目标面元的顶点值的坐标确定目标面元的重心坐标值。
S303,根据重心坐标值，对顶点的坐标值进行插值，以得到待着色三维图像中各三维点的坐标值。
根据每个目标面元中顶点的坐标值确定目标面元的重心坐标值，也即是得到M个重心坐标值。再根据此M个重心坐标值，对待着色三维图像中顶点的三维点进行插值，以得到非顶点的坐标值。
需要说明的有，当M＝1时，表明在进行插值时只考虑到了最小深度值对应的一个面元，这种方式显然是不全面的。因此，本实施例中将M设置为大于1，也即是在进行插值是同时考虑了多个面元。通过M值设置，实际上可以实现上述图2所示实施例中的软化效果。
利用重心坐标值可以实现对面元包含的顶点进行多种信息的插值，除了上述的坐标值，还可以对纹理特征(即纹理参数)进行插值。则类似的，可以使用M个重心坐标值对面元中的顶点的纹理参数插值，以得到面元中非顶点的纹理参数，也即是得到了待着色三维图像中目标三维点的纹理参数。也即是实现了图2所示实施中步骤202。
S304，通过坐标转换，确定待着色三维图像中的各三维点与屏幕中的像素点间的对应关系。
步骤403的执行过程可以参见如图2所示实施例中的相关描述，在此不赘述。
本实施例中，通过利用深度值最小的多个面元的重心来对待着色三维图像中顶点的坐标值和纹理参数进行插值，以得到待着色三维图像中非顶点的坐标值和纹理参数。通过多个面元的重心坐标的使用，使得插值结果更加准确，从而进一步保证最终图像渲染的真实性。
另外，在图1所示实施例中，已经提及了可以借助预测模型来对包含待渲染对象的二维图像进行图像特征提取。同时还提及了反映待渲染对象材质的平滑参数可以根据方向信息预测出来。可选地，与特征提取过程类似的，平滑参数的预测过程同样可以借助基于神经网络的预测模型实现。在实际应用中，上述两个过程可由独立或者非独立的预测模型实现。当两个预测模型由相互独立的两个模型实现时，为了描述清楚，可以将用于提取图像特征的预测模型称为第一预测模型，将输出平滑参数的预测模型称为第二预测模型。并且梯度会由第一预测模型传输到第二预测模型，从而保证渲染的真实性。
对于第二预测模型的训练过程，可选地，如图4所示，可以包括以下步骤：
S401，获取包含样本对象的样本图像，样本图像为二维图像。
S402，根据样本图像的图像特征，生成样本图像对应的待着色三维图像。
收集包含样本对象的二维图像，即样本图像。其中，样本对象与待渲染对象相同，可以是现实场景中的任何物体，比如上述各实施例中提及的人脸。
接着，提取样本图像的图像特征，承接上述人脸的举例，此图像特征能够反映人脸的脸型、表情、五官的形状以及皮肤纹理等等。其中，图像特征的提取可以通过第一预测模型实现。即将样本图像输入第一预测模型，以由第一预测模型输出图像的图像特征。
然后，根据图像特征即可生成样本对象对应的待着色三维图像。生成过程可以借助模板图像，具体内容与图1所示实施例中步骤102中的描述类似，在此不再赘述。
S403，根据样本图像对应的待着色三维图像，生成样本图像对应的待着色二维图像。
在样本对象对应的待着色三维图像中，每个三维点在世界坐标系下的坐标值是已知的，则通过将坐标值由世界坐标系转换到屏幕坐标系，则可以计算出每个三维点在屏幕上对应的像素点的位置，也即是可以建立待着色三维图像中的三维点以及像素点之间的对应关系。根据此对应关系即可生成样本对象对应的待着色二维图像，同时也可以得到待着色二维图像中每个像素点方向信息，即像素点的法线信息。
S404，将待着色二维图像中像素点的方向信息输入第二预测模型，以由第二预测模型输出平滑参数。
S405，根据平滑参数渲染待着色二维图像，以得到着色后二维图像。
接着，可以将各像素点的方向信息输入第二预测模型，以由第二预测模型输出能够反映样本对象材质的平滑参数。再根据此平滑参数对样本对象对应的待着色二维图像进行渲染，以得到着色后二维图像。可选地，正如图1所示实施例中所示的，第二预测模型可以是有至少一个全连接层构成的神经网络模型。
对二维图像的着色过程和对三维图像进行着色的计算过程类似，只不过着色过程中使用到的分别是二维图像中像素点的方向信息和三维图像中三维点的方向信息，具体过程可以参见图2、图3所示实施例中的相关描述。
上述步骤401～405中未详细描述的内容可以参见上述各实施例，只不过着色对象由包含待渲染对象的待着色三维图像变为包含样本对象的待着色二维图像。
S406，根据样本图像与着色后二维图像之间的颜色差异，调整第二预测模型的模型参数。
接着，根据原始的样本图像与着色后二维图像之间各像素点颜色值的差异计算损失值。再根据此损失值调整第二预测模型的模型参数，从而完成第二预测模型的优化。
可选地，在优化第二预测模型的同时，还可以一并对第一预测模型进行优化，即根据计算出的损失值同时调整第一预测模型的模型参数，也即是实现两个模型的联合训练。
并且本实施例提供的训练过程也可以结合图5理解。
本实施例中，先生成样本图像对应的待着色三维图像，再根据此待着色三维图像依次生成待着色二维图像和着色后二维图像。进一步计算着色后二维图像和原始与样本图像中各像素点颜色的差异，以进行模型优化，从而保证第二预测模型能够输出准确的平滑参数，从而进一步保证图像渲染的准确性。
图4所示的模型训练方法是在介绍图像渲染的过程中进行说明，模型输出的反映物体材质的平滑参数也有可能应用到其他场景，因此，下面可以不以图像渲染为前提，单独介绍能够输出平滑参数的模型的训练过程。
图6为本发明实施例提供的一种模型训练方法的流程图，本发明实施例提供的该模型训练方法可以由训练设备来执行。可以理解的是，该训练设备可以实现为软件、或者软件和硬件的组合。如图6所示，该方法包括如下步骤：
S501，获取包含样本对象的样本图像，样本图像为二维图像。
S502，根据样本图像的图像特征，生成样本图像对应的待着色三维图像。
获取包含样本对象的样本图像，样本图像为二维图像，并且图像中的样本对象可以是现实场景中的任一物体。再提取样本图像的图像特征，以由图像特征生成样本对象对应的待着色三维图像。
其中，图像特征的提取可以通过预测模型实现。为了描述清晰，本实施例中将输出平滑参数的模型称为第一预测模型，将进行图像特征提取的模型称为第二预测模型。
在得到第二预测模型输出的图像特征后，可选地，可以利用此图像特征和预设的模板图像，生成样本图像对应的待着色三维图像，其中模板图像与所述样本对象的类型对应。具体生成过程可以参见图1所示实施例步骤102中的相关描述。
S503，根据样本图像对应的待着色三维图像生成样本图像对应的待着色二维图像。
步骤503的执行过程可以参见如图4所示实施例中的相关描述，在此不赘述。
S504，将待着色二维图像中像素点的方向信息输入第一预测模型，以由第一预测模型输出反映样本对象材质的平滑参数。
S505，根据平滑参数渲染待着色二维图像，以得到着色后二维图像。
S506，根据样本图像与着色后二维图像之间的颜色差异，调整第一预测模型的模型参数。
接着，将待着色二维图像中像素点的方向信息输入第一预测模型，以由第一预测模型输出平滑参数，此平滑参数能够反映样本图像中样本对象的材质。
再用平滑参数渲染待着色二维图像，从而得到着色后二维图像。最后利用原始的样本图像和着色后二维图像中各像素点之间的颜色差异调整第一预测模型。
可选地，还可以根据上述的颜色差异同时调整第二预测模型，也即是实现两个预测模型的联合优化。
需要说明的有，本实施例中的第一预测模型所执行的计算过程与图1～图4所示实施例中的第二预测模型相同，本实施例中的第二预测模型所执行的计算过程与图1～图4所示实施例中的第一预测模型相同。
另外，本实施例未详细描述的部分，可参考对图4～图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图4～图5所示实施例中的描述，在此不再赘述。
上述描述中已经提及上述各实施例提供的图像渲染图像可以应用到不同场景中，比如直播场景、娱乐场景又或者交通场景等等。则在直播场景中，图7为本发明实施例提供的又一种图像渲染方法的流程图。如图7所示，该方法包括如下步骤：
S601，获取直播页面中待渲染对象的对象属性。
在直播场景中，能够在直播页面显示的所有内容都可以认为是待渲染对象，比如在直播页面中显示的交易对象也即是待售商品、直播背景、甚至是主播等等。其中，根据交易对象的类型不同，直播背景也可以变化。比如交易对象为零食时，直播背景可以是温馨的客厅环境；交易对象为某一地区的特产时，直播背景可以是该地区有名的建筑或者景色等等。
对于待渲染对象的对象属性获取，可选地，可以通过提取各自的二维图像的图像特征得到，也可以利用其它扫描设备扫描得到。
S602，根据具有对象属性的待渲染对象对应的待着色三维图像，预测反映待渲染对象材质的平滑参数。
在得到对象属性后，可以先根据此对象属性生成待渲染对象对应的待着色三维图像。再根据此待着色三维图像预测反映材质的平滑参数。可选地，可以将待着色三维图像中围成待渲染对象的面元的方向信息输入预测模型，以由预测模型输出平滑参数。
对于待着色三维图像的生成，可选地，可以基于得到的待渲染对象的图像特征和模板图像生成待渲染物体对应的待着色三维图像，其中，模板图像与待渲染对象的类型对应，图像特征即可认为是对象属性。
S603，根据平滑参数渲染待着色三维图像。
S604,在直播页面中展示待渲染对象对应的着色后三维图像。
最终，根据直播页面中不同待渲染对象各自对应的平滑参数进行着色，以得到各自的着色后三维图像，并将其展示在终端设备的屏幕上。
举例来说，直播页面中的待渲染对象可以包括地区A的特产B、直播背景可以包括地区A的建筑C。则将其渲染到屏幕上后，用户看到的直播页面中，特产B和建筑C都是逼真的三维立体样式。另外，直播页面中显示的主播也可以是主播自身的三维虚拟形象。
本实施例中未详细描述的内容以及可以实现的技术效果均可以参见上述图1～图5所示实施例中的相关描述，在此不再赘述。
与直播场景类似的，在娱乐场景中，图8为本发明实施例提供的又一种图像渲染方法的流程图。如图8所示，该方法包括如下步骤：
S701，获取用户的目标人体部位的对象属性。
用户A可以使用安装在终端设备上的应用软件(Application，简称APP)生成自己的三维虚拟形象。具体来说，响应于用户触发的启动操作，在APP启动的同时，一种可选地方式，APP还可以调用终端设备的摄像头，以拍得用户自己目标人体部位的图像，此图像为二维图像。通常来说目标部位可以是面部、上半身或者用户整身，当然也可以是用户的四肢等任意部位。接着，可以提取二维图像的图像特征并将此特征作为目标人体部位的对象属性。
另一种可选地方式，用户也可以借助安装有APP的终端设备具有的扫描功能，通过对目标人体部位的扫描实现对象属性的获取。
S702,根据具有对象属性的目标人体部位对应的待着色三维图像，预测反映目标人体部位材质的平滑参数。
S703,根据平滑参数渲染待着色三维图像。
S704,展示目标人体部位对应的着色后三维图像。
目标人体部位对应的待着色三维图像的生成可以是根据目标人体部位对应的模板图像以及上述提取出的作为对象属性的图像特征。之后，可以进一步根据待着色三维图像预测反映目标人体部位材质的平滑参数。
其中，目标人体部位具有的材质可以为：若目标人体部位为面部，则材质实际上就是皮肤。若目标人体部位为上半身，则材质就是用户穿着衣服的材质。
并且可选地，可以利用预测模型实现平滑参数的预测。比如将待着色三维图像中围成目标人体部位的面元的方向信息，即法线信息输入预测模型，以由预测模型输出平滑参数。
最后，可以进一步根据平滑参数对目标人体部位待着色三维图进行着色，并将着色后三维图像展示在终端设备上。
本实施例中未详细描述的内容还可以参考图10所示实施例中的描述理解。同时本实施例中未详细描述的内容以及可以实现的技术效果也可以参见上述图1～图5所示实施例中的相关描述，在此不再赘述。
在交通场景中，图9为本发明实施例提供的又一种图像渲染方法的流程图。如图9所示，该方法包括如下步骤：
S801，获取道路图像中待渲染对象的对象属性。
对需要生成三维地图的路段进行拍摄，以得到道路图像。道路图像中的物体，比如车辆、树木、道路标识等等都可以认为是一个待渲染对象。然后，可以通过模型提取图像特征，并将图像特征作为待渲染对象的对象属性。
S802,根据具有对象属性的待渲染对象对应的待着色三维图像，预测反映待渲染对象材质的平滑参数。
S803,根据平滑参数渲染待着色三维图像。
S804,根据待渲染对象对应的着色后三维图像生成三维地图。
接着，根据同样具有对象属性的待渲染对象对应的待着色三维图像，预测反映待渲染对象材质的平滑参数。并根据预测出的平滑参数对待着色三维图像进行着色，也即是完成了待着色三维图像的渲染。道路图像中的每个待渲染对象都会以逼真的三维立体样式进行展示在终端设备的屏幕上。由不同路段中多张二维图像中各个待渲染对象的着色后三维图像可以构成此路段的三维地图。
本实施例中未详细描述的内容以及可以实现的技术效果均可以参见上述图1～图5所示实施例中的相关描述，在此不再赘述。
为了便于理解，结合如下的不同应用场景对以上提供的图像渲染方法的具体实现过程进行示例性说明。
(1)在游戏制作场景中，假设我们需要建立卧室的场景，则为了保证卧室场景内各物体的真实性，可以借助一个真实的卧室，对其进行建模、着色并最终将着色结果显示到屏幕上。
基于此种需求，可以分别对真实卧室中的床、衣柜、书桌等物体进行拍摄，以得到各自对应的二维图像，接着，则可以使用本发明提供的图像渲染方法生成床、衣柜、书桌等每个物体各自对应的待着色三维图像，对其进行着色并显示在屏幕上。
以卧室场景中的衣柜为例对建模和着色过程进行说明：
在拍到卧室中的衣柜的二维图像后，可以先将其输入第一预测模型，以由第一预测模型输出二维图像的图像特征此，此图像特征中可以反映衣柜的形状、纹理等信息。然后，可以将第一预测模型输出的图像特征作为参数，对衣柜模板(即图1所示实施例中的模板图像)进行调整，以得到待着色三维衣柜图。此图像中的衣柜是没有颜色的看，同时是以立体样式展示的，即图像中的衣柜由多个三角面元围成。其中，围成衣柜的三角面元中的顶点和非顶点可以统称为待着色三维衣柜图像中的三维点。
接着，将待着色三维衣柜图像中的多个三角面元的法线信息输入第二预测模型，以由第二预测模型输出反映衣柜材质的平滑参数。最终，用此平滑参数对待着色三维衣柜图像中的每个三维点进行着色，以使屏幕上显示有带有颜色的、立体样式的衣柜。
由于每个三维点的着色过程都是相同的，因此，以三维点中的任一三维点即目标三维点为例，说明着色过程：
可以根据目标三维点所在面元的法线信息、光源位置以及第二预测模型输出的平滑参数计算目标三维点的漫反射参数和高光反射参数。再用这两个反射参数以及目标三维点的纹理参数计算目标三维点的颜色值。其中，在卧室中，光源位置可以是窗户所在的位置。两个反射参数的具体计算方式可以参见图2所示实施例中的描述。
同时，由于待着色三维衣柜图像中顶点的坐标值和纹理参数是已知的，因此，还可以对待着色三维衣柜图像中各顶点的坐标值和纹理参数进行插值，从而得到非顶点的坐标值和纹理参数进行插值。再通过坐标转换，将世界坐标系下的顶点和非顶点的坐标值转换到屏幕坐标系下，以建立待着色三维衣柜图像中三维点和屏幕上像素点之间的对应关系。最终，根据此对应关系，用目标三维点的颜色值对目标三维点对应的像素点进行渲染，也即是实现了目标三维点的着色，着色结果会在屏幕上显示出来。
在计算颜色值时使用到的漫反射参数、高光反射参数都是要借助第二预测模型输出的平滑参数才能得到。则引入平滑参数，可以保证在着色时考虑到衣柜的材质的。同时，在着色过程中还会引入面元的法线信息，其也可以很好的体现围成衣柜的不同三角面元上三维点的颜色差异。上述两个方面都能够保证渲染的真实性。
另外，对于上述着色过程中使用到的第一预测模型、第二预测模型也可以进行联合训练。训练的具体过程可以参见图4～图5所示的实施例。
(2)在娱乐场景中，用户A可以使用安装在终端设备上的生成自己的三维虚拟形象。则使用APP实现三维虚拟形象的过程可以为：
响应于用户A触发的启动操作，在APP启动的同时，APP还可以调用终端设备的摄像头，以拍得自己的人脸图像，此图像为二维图像。之后APP可以将二维图像输入APP内设置的第一预测模型，以由第一预测模型提取出人脸图像的图像特征，图像特征能够反映用户A的脸型、五官、表情以及皮肤纹理。接着，APP可以根据图像特征中包含的内容以及人脸模板(即图1所示实施例中的模板图像)生成待着色三维人脸图像。在此图像中人脸是以立体样式展示的，但没有颜色，并且图像中的人脸是由多个三角面元围成的。其中，围成人脸的三角面元中的顶点和非顶点可以统称为待着色三维人脸图像中的三维点。
然后，再将待着色三维人脸图像中围成人脸的多个三角面元的法线信息输入第二预测模型，以由第二预测模型输出人脸对应的平滑参数。最终，可以根据平滑参数对待着色三维人脸图像中的每个三维点进行着色，使用终端设备的屏幕上显示用户A对应的三维虚拟形象。
由于每个三维点的着色过程都是相同的，因此，以三维点中的任一三维点即目标三维点为例，说明着色过程：
可以根据目标三维点所在面元的法线信息、光源位置以及第二预测模型输出的平滑参数计算目标三维点对应的漫反射参数、高光反射参数。再用这两个反射参数以及目标三维点的纹理参数计算目标三维点的颜色值。在生成三维虚拟形象的场景中，用户所在环境不同，光源的位置也不同。比如用户在室内场景时，光源位置可以是窗户或者室内照明设备所在的位置；用户在室外场景时，光源位置可以为室外照明设备所在的位置等等。
同时，由于待着色三维人脸图像中顶点的坐标值和纹理参数是已知的，因此，还可以对待着色三维人脸图像中顶点的坐标值和纹理参数进行插值，从而得到非顶点的坐标值和纹理参数进行插值。再通过坐标转换，将世界坐标系下的顶点和非顶点的坐标值转换到屏幕坐标系下，以建立待着色三维图像中三维点和屏幕上像素点之间的对应关系。最终，根据此对应关系，用目标三维点的颜色值对目标三维点对应的像素点进行渲染，也即是实现了目标三维点的着色，着色结果会在屏幕上显示出来。
上述建立三维虚拟形象场景的过程还可以结合图7理解。并且此处未详细描述的过程可以参见上述“游戏制作”场景中的相关描述。
当然，在背景技术中提及的直播领域，主播同样可以使用直播APP拍摄自己的二维人脸图像，并进一步建立起自己的三维虚拟形象，并以此三维虚拟形象进行直播。同时，直播间中的交易对象，直播背景也可以借助APP拍摄图像，从而生成相应的三维图像。
其中，主播的三维虚拟形象、交易对象、直播背景各自对应的三维图像的建立过程同样可以结合图7以及上述“娱乐场景”中的描述。
(3)在交通场景中，我们可以对某一区域中的多个路段进行建模并着色，将着色结果显示到屏幕上，使用户可以在屏幕上看到立体样式的地图。
具体过程可以是：先对路段进行拍摄，以得到道路图像，此道路图像为二维图像。再将道路图像输入第一预测模型，以由第一预测模型提取出道路图像的图像特征。假设道路图像中包含一辆车，图像特征可以包括车辆的形状、纹理。然后，根据提取出的图像特征以及车辆模板生成待着色三维车辆图像。在此图像中车辆是以立体样式展示的，但没有颜色，并且图像中的车辆是由多个三角面元围成的。其中，围成车辆的三角面元中的顶点和非顶点统可以称为待着色三维人脸图像中的三维点。
接着，再将待着色三维车辆图像中的多个三角面元的法线信息输入第二预测模型，以由第二预测模型输出反映车辆材质的平滑参数。最终，可以根据平滑参数对待着色三维车辆图像中的每个三维点进行着色，从而建立起具有颜色的车辆的三维模型，也即是完成了道路图像中车辆的着色。在对拍得的道路图像中所有物体进行上述着色后，即可在屏幕上看到立体地图。其中，对待着色三维车辆图像中任一三维点的着色过程可以类比上述的两个场景实施例，在此不再赘述。
除了上述举例的场景之外，本发明各实施例提供的图像渲染方法也可以应用到虚拟现实(Virtual Reality，简称VR)场景和增强现实(Augmented Reality，简称AR)场景中。又比如，在教学场景中，教师可以将教学过程中往往需要对借助二维图像进行知识说明，此时，可以使用上述的图像渲染方法对二维图像进行渲染，从而得到立体的三维图像，使学生能够结合立体的三维图像进行知识理解。又比如在展会或者博物馆内，可以将展会上的商品或博物馆的物品渲染成三维图像进行立体展示。又比如在医疗场景中，可以将病人的二维诊断图像渲染成三维图像，以使医生实现更准确地诊断。
以下将详细描述本发明的一个或多个实施例的图像渲染装置。本领域技术人员可以理解，这些图像渲染装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图11为本发明实施例提供的一种图像渲染装置的结构示意图，如图11所示，该装置包括：
获取模块11，用于获取待渲染对象的对象属性。
预测模块12，用于根据具有所述对象属性的所述待渲染物体对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数。
渲染模块13，用于根据所述平滑参数渲染所述待着色三维图像。
可选地，所述获取模块11具体用于：获取包含所述待渲染对象的二维图像；以及将所述二维图像输入第一预测模型，以由所述第一预测模型输出作为所述对象属性的图像特征。
可选地，所述预测模块13具体包括:
生成单元121，用于根据所述对象属性生成所述待渲染对象对应的待着色三维图像。
预测单元122，用于根据所述待着色三维图像中围成所述待渲染对象的面元的方向信息，预测所述平滑参数。
可选地，所述生成单元121具体用于：根据所述图像特征以及模板图像，生成所述待渲染物体对应的待着色三维图像，所述模板图像与所述待渲染对象的类型对应。
可选地，所述预测模块12具体用于：将所述方向信息输入第二预测模型，以由所述第二预测模型输出所述平滑参数。
可选地，所述渲染模块13具体包括：
第一确定单元131，用于通过坐标转换，确定所述待着色三维图像中的目标三维点与屏幕中的目标像素点间的对应关系，所述目标三维点为所述待着色三维图像中的任一三维点。
第二确定单元132，用于根据所述平滑参数确定所述目标三维点的渲染参数。
第三确定单元133，用于根据所述渲染参数确定所述目标三维点的颜色值。
渲染单元134，用于根据所述对应关系，用所述目标三维点的颜色值对屏幕中与所述目标像素点进行渲染。
可选地，所述第一确定单元131具体用于：根据所述待着色三维图像中面元的顶点的深度值，确定深度值满足要求的预设数量的目标面元；
根据所述目标面元的顶点的坐标值确定所述目标面元的重心坐标值；
根据所述重心坐标值，对所述顶点的坐标值进行插值，以得到所述待着色三维图像中各三维点的坐标值；
通过坐标转换，确定所述待着色三维图像中的各三维点与屏幕中的像素点间的对应关系。
可选地，所述第二确定单元132具体用于：确定所述目标三维点的纹理参数；以及根据所述平滑参数、所述目标三维点所在面元的方向信息以及光源的位置，确定所述目标三维点的漫反射参数和高光反射参数，所述光源位于所述二维图像对应的拍摄环境中。
可选地，所述装置还包括：确定模块14和显示模块15。
所述确定模块14，用于确定所述待渲染对象所属的渲染场景。
所述获取模块11，还用于获取所述渲染场景对应的预设参数范围。
所述显示模块15，用于若预测出的所述平滑参数超出所述预设参数范围，则显示所述平滑参数，以供用户修改。
可选地，所述图像渲染装置还包括：生成模块16、输入模块17和调整模块18。
所述获取模块11，还用于获取包含样本对象的样本图像，所述样本图像为二维图像。
所述生成模块16，还用于根据所述样本图像的图像特征，生成所述样本图像对应的待着色三维图像；以及根据所述样本图像对应的待着色三维图像，生成所述样本图像对应的待着色二维图像。
所述输入模块17，用于将所述待着色二维图像中像素点的方向信息输入所述第二预测模型，以由所述第二预测模型输出平滑参数。
所述渲染模块13，用于根据所述平滑参数渲染所述待着色二维图像，以得到着色后二维图像。
所述调整模块18，用于根据所述样本图像与所述着色后二维图像之间的颜色差异，调整所述第二预测模型的模型参数。
可选地，所述调整模块18，还用于根据所述样本图像与所述着色后二维图像之间的颜色差异，调整所述第一预测模型的模型参数。
图11所示的装置可以执行图1至图5所示实施例的方法，本实施例未详细描述的部分，可参考对图1至图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图5所示实施例中的描述，在此不再赘述。
以上描述了图像渲染装置的内部功能和结构，在一个可能的设计中，图像渲染装置的结构可实现为一电子设备，如图12所示，该电子设备可以包括：处理器21和存储器22。其中，所述存储器22用于存储支持该电子设备执行上述图1至图5所示实施例中提供的图像渲染方法的程序，所述处理器21被配置为用于执行所述存储器22中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器21执行时能够实现如下步骤：
获取待渲染对象的对象属性；
根据具有所述对象属性的所述待渲染物体对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像。
可选地，所述处理器21还用于执行前述图1至图5所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口23，用于该电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1至图5所示方法实施例中图像渲染方法所涉及的程序。
图13为本发明实施例提供的另一种图像渲染装置的结构示意图，如图13所示，该装置包括：
获取模块31，用于获取直播页面中待渲染对象的对象属性。
预测模块32，用于根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数。
渲染模块33，用于根据所述平滑参数渲染所述待着色三维图像。
展示模块34，用于在所述直播页面中展示所述待渲染对象对应的着色后三维图像。
可选地，所述预测模块32具体包括：
生成单元321，用于根据所述对象属性生成所述待渲染对象对应的待着色三维图像。
输入单元322，用于将所述待着色三维图像中围成所述待渲染对象的面元的方向信息输入预测模型，以由所述预测模型输出所述平滑参数。
其中，所述待渲染对象包括直播页面中的交易对象、虚拟直播背景以及虚拟主播中的至少一种。
可选地，所述生成单元321具体用于:获取包含所述待渲染对象的二维图像；以及根据模板图像以及所述二维图像的图像特征，生成所述待渲染物体对应的待着色三维图像，所述模板图像与所述待渲染对象的类型对应，所述图像特征作为所述对象属性。
图13所示的装置可以执行图7所示实施例的方法，本实施例未详细描述的部分，可参考对图7所示实施例的相关说明。该技术方案的执行过程和技术效果参见图7所示实施例中的描述，在此不再赘述。
以上描述了图像渲染装置的内部功能和结构，在一个可能的设计中，图像渲染装置的结构可实现为一电子设备，如图14所示，该电子设备可以包括：处理器35和存储器36。其中，所述存储器36用于存储支持该电子设备执行上述图7所示实施例中提供的图像渲染方法的程序，所述处理器35被配置为用于执行所述存储器36中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器35执行时能够实现如下步骤：
获取直播页面中待渲染对象的对象属性；
根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像；
在所述直播页面中展示所述待渲染对象对应的着色后三维图像。
可选地，所述处理器35还用于执行前述图7所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口37，用于该电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图7所示方法实施例中图像渲染方法所涉及的程序。
图15为本发明实施例提供的又一种图像渲染装置的结构示意图，如图15所示，该装置包括：
获取模块41，用于获取用户的目标人体部位的对象属性。
预测模块42，用于根据具有所述对象属性的所述目标人体部位对应的待着色三维图像，预测反映所述目标人体部位材质的平滑参数。
渲染模块43，用于根据所述平滑参数渲染所述待着色三维图像。
展示模块44，用于展示所述目标人体部位对应的着色后三维图像。
可选地，所述获取模块41具体用于：响应于所述用户触发的拍摄操作，获取包含所述目标人体部位的二维图像；以及提取所述二维图像的图像特征，以作为所述对象属性。
可选地，所述预测模块42具体用于:根据模板图像以及所述图像特征，生成所述目标人体部位对应的待着色三维图像，所述模板图像包含所述目标人体部位；以及将所述待着色三维图像中围成所述目标身体部位的面元的方向信息输入预测模型，以由所述预测模型输出所述平滑参数。
图15所示的装置可以执行图8所示实施例的方法，本实施例未详细描述的部分，可参考对图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图8所示实施例中的描述，在此不再赘述。
以上描述了图像渲染装置的内部功能和结构，在一个可能的设计中，图像渲染装置的结构可实现为一电子设备，如图16所示，该电子设备可以包括：处理器45和存储器46。其中，所述存储器46用于存储支持该电子设备执行上述图8所示实施例中提供的图像渲染方法的程序，所述处理器45被配置为用于执行所述存储器46中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器45执行时能够实现如下步骤：
获取用户的目标人体部位的对象属性；
根据具有所述对象属性的所述目标人体部位对应的待着色三维图像，预测反映所述目标人体部位材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像；
展示所述目标人体部位对应的着色后三维图像。
可选地，所述处理器45还用于执行前述图8所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口47，用于该电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图8所示方法实施例中图像渲染方法所涉及的程序。
图17为本发明实施例提供的又一种图像渲染装置的结构示意图，如图17所示，该装置包括：
获取模块51，用于获取道路图像中待渲染对象的对象属性。
预测模块52，用于根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数。
渲染模块53，用于根据所述平滑参数渲染所述待着色三维图像。
展示模块54，用于根据所述待渲染对象对应的着色后三维图像生成三维地图。
图17所示的装置可以执行图9所示实施例的方法，本实施例未详细描述的部分，可参考对图9所示实施例的相关说明。该技术方案的执行过程和技术效果参见图9所示实施例中的描述，在此不再赘述。
以上描述了图像渲染装置的内部功能和结构，在一个可能的设计中，图像渲染装置的结构可实现为一电子设备，如图18所示，该电子设备可以包括：处理器55和存储器56。其中，所述存储器56用于存储支持该电子设备执行上述图9所示实施例中提供的图像渲染方法的程序，所述处理器55被配置为用于执行所述存储器56中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器55执行时能够实现如下步骤：
获取道路图像中待渲染对象的对象属性；
根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像；
根据所述待渲染对象对应的着色后三维图像生成三维地图。
可选地，所述处理器55还用于执行前述图9所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口57，用于该电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图9所示方法实施例中图像渲染方法所涉及的程序。
以下将详细描述本发明的一个或多个实施例的模型训练装置。本领域技术人员可以理解，这些服务提供装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图19为本发明实施例提供的一种模型训练装置的结构示意图，如图19所示，该装置包括：
获取模块61，用于获取包含样本对象的样本图像，所述样本图像为二维图像。
生成模块62，用于根据所述样本图像的图像特征，生成所述样本图像对应的待着色三维图像，以及根据所述样本图像对应的待着色三维图像生成所述样本图像对应的待着色二维图像。
输入模块63，用于将所述待着色二维图像中像素点的方向信息输入所述第一预测模型，以由所述第一预测模型输出反映所述样本对象材质的平滑参数。
渲染模块64，用于根据所述平滑参数渲染所述待着色二维图像，以得到着色后二维图像。
调整模块65，用于根据所述样本图像与所述着色后二维图像之间的颜色差异，调整所述第一预测模型的模型参数。
图19所示的装置可以执行图6所示实施例的方法，本实施例未详细描述的部分，可参考对图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图6所示实施例中的描述，在此不再赘述。
以上描述了模型训练装置的内部功能和结构，在一个可能的设计中，模型训练装置的结构可实现为一电子设备，如图20所示，该电子设备可以包括：处理器66和存储器67。其中，所述存储器67用于存储支持该电子设备执行上述图6所示实施例中提供的模型训练方法的程序，所述处理器66被配置为用于执行所述存储器67中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器66执行时能够实现如下步骤：
获取包含样本对象的样本图像，所述样本图像为二维图像；
根据所述样本图像的图像特征，生成所述样本图像对应的待着色三维图像；
根据所述样本图像对应的待着色三维图像生成所述样本图像对应的待着色二维图像；
将所述待着色二维图像中像素点的方向信息输入所述第一预测模型，以由所述第一预测模型输出反映所述样本对象材质的平滑参数；
根据所述平滑参数渲染所述待着色二维图像，以得到着色后二维图像；
根据所述样本图像与所述着色后二维图像之间的颜色差异，调整所述第一预测模型的模型参数。
可选地，所述处理器66还用于执行前述图6所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口68，用于该电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图6所示方法实施例中模型训练方法所涉及的程序。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (30)

1.一种图像渲染方法，其特征在于，包括：
获取待渲染对象的对象属性；
根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像。
2.根据权利要求1所述的方法，其特征在于，所述获取待渲染对象的对象属性，包括：
获取包含所述待渲染对象的二维图像；
将所述二维图像输入第一预测模型，以由所述第一预测模型输出作为所述对象属性的图像特征。
3.根据权利要求2所述的方法，其特征在于，所述根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数，包括：
根据所述对象属性生成所述待渲染对象对应的待着色三维图像；
根据所述待着色三维图像中围成所述待渲染对象的面元的方向信息，预测所述平滑参数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述对象属性生成所述待渲染物体对应的待着色三维图像，包括：
根据所述图像特征以及模板图像，生成所述待渲染物体对应的待着色三维图像，所述模板图像与所述待渲染对象的类型对应。
5.根据权利要求3所述的方法，其特征在于，所述根据所述待着色三维图像中围成所述待渲染对象的面元的方向信息，预测反映所述对象材质的平滑参数，包括：
将所述方向信息输入第二预测模型，以由所述第二预测模型输出所述平滑参数。
6.根据权利要求3所述的方法，其特征在于，所述根据所述平滑参数渲染所述待着色三维图像，包括：
通过坐标转换，确定所述待着色三维图像中的目标三维点与屏幕中的目标像素点间的对应关系，所述目标三维点为所述待着色三维图像中的任一三维点；
根据所述平滑参数确定所述目标三维点的渲染参数；
根据所述渲染参数确定所述目标三维点的颜色值；
根据所述对应关系，用所述目标三维点的颜色值对屏幕中与所述目标像素点进行渲染。
7.根据权利要求6所述的方法，其特征在于，所述通过坐标转换，确定所述待着色三维图像中的目标三维点与屏幕中的目标像素点间的对应关系，包括：
根据所述待着色三维图像中面元的顶点的深度值，确定深度值满足要求的预设数量的目标面元；
根据所述目标面元的顶点的坐标值确定所述目标面元的重心坐标值；
根据所述重心坐标值，对所述顶点的坐标值进行插值，以得到所述待着色三维图像中各三维点的坐标值；
通过坐标转换，确定所述待着色三维图像中的各三维点与屏幕中的像素点间的对应关系。
8.根据权利要求6所述的方法，其特征在于，所述根据所述平滑参数确定所述目标三维点的渲染参数，包括：
确定所述目标三维点的纹理参数；
根据所述平滑参数、所述目标三维点所在面元的方向信息以及光源的位置以及，确定所述目标三维点的漫反射参数和高光反射参数，所述光源位于所述二维图像对应的拍摄环境中。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述待渲染对象所属的渲染场景；
获取所述渲染场景对应的预设参数范围；
若预测出的所述平滑参数超出所述预设参数范围，则显示所述平滑参数，以供用户修改。
10.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取包含样本对象的样本图像，所述样本图像为二维图像；
根据所述样本图像的图像特征，生成所述样本图像对应的待着色三维图像；
根据所述样本图像对应的待着色三维图像，生成所述样本图像对应的待着色二维图像；
将所述待着色二维图像中像素点的方向信息输入所述第二预测模型，以由所述第二预测模型输出平滑参数；
根据所述平滑参数渲染所述待着色二维图像，以得到着色后二维图像；
根据所述样本图像与所述着色后二维图像之间的颜色差异，调整所述第二预测模型的模型参数。
11.一种图像渲染方法，其特征在于，包括：
获取直播页面中待渲染对象的对象属性；
根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像；
在所述直播页面中展示所述待渲染对象对应的着色后三维图像。
12.根据权利要求11所述的方法，所述待渲染对象包括直播页面中的交易对象、虚拟直播背景以及虚拟主播中的至少一种。
13.根据权利要求11或12所述的方法，其特征在于，所述根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数，包括：
根据所述对象属性生成所述待渲染对象对应的待着色三维图像；
将所述待着色三维图像中围成所述待渲染对象的面元的方向信息输入预测模型，以由所述预测模型输出所述平滑参数。
14.根据权利要求13所述的方法，其特征在于，所述根据所述对象属性生成所述待渲染对象对应的待着色三维图像，包括：
获取包含所述待渲染对象的二维图像；
根据模板图像以及所述二维图像的图像特征，生成所述待渲染物体对应的待着色三维图像，所述模板图像与所述待渲染对象的类型对应，所述图像特征作为所述对象属性。
15.一种图像渲染方法，其特征在于，包括：
获取用户的目标人体部位的对象属性；
根据具有所述对象属性的所述目标人体部位对应的待着色三维图像，预测反映所述目标人体部位材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像；
展示所述目标人体部位对应的着色后三维图像。
16.根据权利要求15所述的方法，其特征在于，所述获取待渲染对象的对象属性，包括：
响应于所述用户触发的拍摄操作，获取包含所述目标人体部位的二维图像；
提取所述二维图像的图像特征，以作为所述对象属性。
17.根据权利要求16所述的方法，其特征在于，所述根据具有所述对象属性的所述目标人体部位对应的待着色三维图像，预测反映所述目标人体部位材质的平滑参数，包括：
根据模板图像以及所述图像特征，生成所述目标人体部位对应的待着色三维图像，所述模板图像包含所述目标人体部位；
将所述待着色三维图像中围成所述目标身体部位的面元的方向信息输入预测模型，以由所述预测模型输出所述平滑参数。
18.一种图像渲染方法，其特征在于，包括：
获取道路图像中待渲染对象的对象属性；
根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
根据所述平滑参数渲染所述待着色三维图像；
根据所述待渲染对象对应的着色后三维图像生成三维地图。
19.一种图像渲染装置，其特征在于，包括：
获取模块，用于获取待渲染对象的对象属性；
预测模块，用于根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
渲染模块，用于根据所述平滑参数渲染所述待着色三维图像。
20.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至10中任一项所述的图像渲染方法。
21.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至10中任一项所述的图像渲染方法。
22.一种图像渲染装置，其特征在于，包括：
获取模块，用于获取直播页面中待渲染对象的对象属性；
预测模块，用于根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
渲染模块，用于根据所述平滑参数渲染所述待着色三维图像；
展示模块，用于在所述直播页面中展示所述待渲染对象对应的着色后三维图像。
23.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求11至14中任一项所述的图像渲染方法。
24.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求11至14中任一项所述的图像渲染方法。
25.一种图像渲染装置，其特征在于，包括：
获取模块，用于获取用户的目标人体部位的对象属性；
预测模块，用于根据具有所述对象属性的所述目标人体部位对应的待着色三维图像，预测反映所述目标人体部位材质的平滑参数；
渲染模块，用于根据所述平滑参数渲染所述待着色三维图像；
展示模块，用于展示所述目标人体部位对应的着色后三维图像。
26.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求15至17中任一项所述的图像渲染方法。
27.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求15至17中任一项所述的图像渲染方法。
28.一种图像渲染装置，其特征在于，包括：
获取模块，用于获取道路图像中待渲染对象的对象属性；
预测模块，用于根据具有所述对象属性的所述待渲染对象对应的待着色三维图像，预测反映所述待渲染对象材质的平滑参数；
渲染模块，用于根据所述平滑参数渲染所述待着色三维图像；
展示模块，用于根据所述待渲染对象对应的着色后三维图像生成三维地图。
29.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求18所述的图像渲染方法。
30.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求18所述的图像渲染方法。
CN202011631961.4A 2020-12-31 2020-12-31 图像渲染方法、装置、设备和存储介质 Pending CN114764840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011631961.4A CN114764840A (zh) 2020-12-31 2020-12-31 图像渲染方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011631961.4A CN114764840A (zh) 2020-12-31 2020-12-31 图像渲染方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114764840A true CN114764840A (zh) 2022-07-19

Family

ID=82364180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011631961.4A Pending CN114764840A (zh) 2020-12-31 2020-12-31 图像渲染方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114764840A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091684A (zh) * 2023-04-06 2023-05-09 杭州片段网络科技有限公司 基于WebGL的图像渲染方法、装置、设备及存储介质
CN116310046A (zh) * 2023-05-16 2023-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091684A (zh) * 2023-04-06 2023-05-09 杭州片段网络科技有限公司 基于WebGL的图像渲染方法、装置、设备及存储介质
CN116310046A (zh) * 2023-05-16 2023-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质
CN116310046B (zh) * 2023-05-16 2023-08-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质

Similar Documents

Publication Publication Date Title
CN110084874B (zh) 对于三维模型的图像风格迁移
US10872475B2 (en) 3D mobile renderer for user-generated avatar, apparel, and accessories
JP6638892B2 (ja) 画像及び深度データを用いて３次元（３ｄ）人物顔面モデルを発生させるための仮想現実ベースの装置及び方法
US11694392B2 (en) Environment synthesis for lighting an object
CN107004297B (zh) 基于二维平面图的三维自动立体建模方法及程序
CN107484428B (zh) 用于显示对象的方法
CN111723902A (zh) 使用神经网络动态估计增强现实场景中位置的照明参数
JP2022524891A (ja) 画像処理方法及び装置、電子機器並びにコンピュータプログラム
EP1883052A2 (en) Generating images combining real and virtual images
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN110378947B (zh) 3d模型重建方法、装置及电子设备
CN114842121B (zh) 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN109191554A (zh) 一种超分辨图像重建方法、装置、终端和存储介质
CN114764840A (zh) 图像渲染方法、装置、设备和存储介质
CN112102480B (zh) 图像数据处理方法、装置、设备以及介质
CN111047506A (zh) 环境图生成和孔填充
Ozacar et al. A low-cost and lightweight 3D interactive real estate-purposed indoor virtual reality application
CN116228943B (zh) 虚拟对象面部重建方法、面部重建网络训练方法及装置
CN114494611B (zh) 基于神经基函数的智能三维重建方法、装置、设备及介质
US10832493B2 (en) Programmatic hairstyle opacity compositing for 3D rendering
JP2003115055A (ja) 画像生成装置
JP6679966B2 (ja) 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム
JP7006810B2 (ja) ３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法
JP2021068272A (ja) 画像処理システム、画像処理方法及びプログラム
CN116681854A (zh) 一种基于目标检测及建筑重构的虚拟城市生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230829

Address after: Room 516, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba Dharma Institute (Hangzhou) Technology Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Applicant before: ALIBABA GROUP HOLDING Ltd.