CN116630518A - 一种渲染方法、电子设备及介质 - Google Patents
一种渲染方法、电子设备及介质 Download PDFInfo
- Publication number
- CN116630518A CN116630518A CN202210130363.1A CN202210130363A CN116630518A CN 116630518 A CN116630518 A CN 116630518A CN 202210130363 A CN202210130363 A CN 202210130363A CN 116630518 A CN116630518 A CN 116630518A
- Authority
- CN
- China
- Prior art keywords
- information
- neural network
- target
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 174
- 238000000034 method Methods 0.000 title claims abstract description 155
- 238000013528 artificial neural network Methods 0.000 claims abstract description 242
- 238000004040 coloring Methods 0.000 claims abstract description 99
- 238000013507 mapping Methods 0.000 claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 21
- 239000000463 material Substances 0.000 claims description 54
- 230000015654 memory Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 66
- 238000010586 diagram Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 8
- 238000005034 decoration Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 206010040925 Skin striae Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/55—Radiosity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Generation (AREA)
Abstract
本申请涉及计算机图像技术领域，公开一种渲染方法、电子设备及介质。渲染方法包括：获取待渲染目标的三维立体模型对应的第一图像；获取与第一图像对应的每个像素对应的着色点的基础信息；基础信息包括几何缓冲信息、光线方向信息和与初始贴图对应的纹素坐标信息；将几何缓冲信息输入初始第一神经网络或基于纹素坐标信息查询初始贴图，将几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像；基于第一图像和第二图像得到目标第一神经网络或目标贴图中的一个以及目标第二神经网络。基于上述方案，可以将网络训练过程转移至服务器端运行，在终端设备的运行过程中可以直接运行目标贴图的查表过程，能够有效提升终端电子设备的绘制速度。
Description
技术领域
本申请涉及计算机图像技术领域，特别涉及一种渲染方法、电子设备及介质。
背景技术
三维图形渲染技术是指对某些场景或者展品的三维模型进行阴影处理、着色处理等，以生成逼真的、能够还原场景或展品的图像，便于用户观察。例如，通过三维图型渲染技术可以对汽车展品的三维模型进行阴影处理和着色处理，以生成能够展现汽车外观的详细特征的汽车图像。或者，通过三维图形渲染技术还可以对展示家装设计场景的三维场景文件进行阴影和着色处理，以生成展示该家装设计效果图片。
现有技术中，一些方案采用离线渲染获取全景图的方式对场景文件进行渲染，但由于该方案只能在预设的数个位置处渲染得到全景图，因此该方案只能允许客户在预设位置间进行跳转浏览，无法实现自由视点绘制。且由于渲染时绘制的角度是固定的，因此在实际展示的过程中并不能呈现出由于用户相机变化而造成的光影变化，因此绘制出场景或展品在不同观察角度下的真实光影信息。
还有一些方案采用实时光线追踪方法对场景文件进行渲染，由于光线追踪方法依赖于蒙特卡洛积分绘制各像素的颜色，积分难以得到收敛，因此绘制结果往往具有较高的噪声水平。且该方法的运行需要消耗大量的计算资源，因此对电子设备的算力要求较高，使得在电子设备图形算力较弱的情况下，电子设备运行上述方法对场景或展品的绘制速度较慢或电子设备难以运行上述方法。
发明内容
为解决现有技术中的渲染方法均无法实现自由视点绘制、难以绘制出场景或展品在不同观察角度下的真实光影信息、且绘制质量较低以及对电子设备算力要求较高的技术问题，本申请实施例提供一种渲染方法，应用于第一电子设备，包括：
获取待渲染目标的三维立体模型；
获取所述三维立体模型对应的第一图像；
获取与所述第一图像对应的每个像素对应的着色点的基础信息；其中，所述基础信息包括几何缓冲信息、光线方向信息和与初始贴图对应的纹素坐标信息；
将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询所述初始贴图，并将所述每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像；
基于所述第一图像和第二图像，得到对应的目标第一神经网络或目标贴图中的其中一个以及目标第二神经网络。
可以理解，本申请实施例中，上述第一电子设备可以为云端服务器，后续提及的第二电子设备可以为终端电子设备，本申请实施例提供的渲染方法将高算力的网络训练过程转移至服务器端运行，在终端电子设备的运行态过程中将第一神经网络的推理过程替换为贴图的查表过程，所涉及的计算量较小，因此，能够有效提升终端电子设备的绘制速度，且可以用于算力较低的终端设备上，扩大了方案的适用范围。
此外，在网络训练的过程中，将各像素着色点的几何缓冲信息及光线方向信息均作为初始第二神经网络的输入，可以使得初始第二神经网络可根据各着色点的几何缓冲信息、光线方向信息对各着色点的高光反射效果进行拟合，因此保证即使在算力较弱的终端设备上也能得到较好的高光反射效果。第二电子设备在对三维立体模型渲染时，可以基于不同的渲染外参呈现不同视角自由视点下的三维立体模型的外观特征，即实现自由视点下的三维立体模型的高质量绘制。
可以理解，在一些实施例中，可以将上述初始第一神经网络替换为初始贴图，直接对初始贴图进行优化训练以获取最终的目标贴图。如此，无需进行对上述目标第一神经网络的推理结果进行烘焙，能够有效简化渲染流程。
在上述第一方面的一种可能的实现中，所述方法还包括：根据所述目标第一神经网络获取目标贴图。
在上述第一方面的一种可能的实现中，所述根据所述目标第一神经网络获取目标贴图，包括：
获取所述初始贴图中各纹素坐标对应的所述三维立体模型上着色点的几何缓冲信息；
将所述初始贴图中各纹素坐标对应的所述三维立体模型上着色点的几何缓冲信息输入目标第一神经网络，获取所述初始贴图中各纹素坐标对应的着色点的漫反射颜色信息以及材质特征信息；
将所述初始贴图中各纹素坐标对应的着色点的漫反射颜色信息以及材质特征信息存储为所述初始贴图中各纹素的内容，得到目标贴图。
在上述第一方面的一种可能的实现中，响应于第二电子设备的下发请求，将所述目标贴图和所述目标第二神经网络发送至第二电子设备。
在上述第一方面的一种可能的实现中，所述几何缓冲信息包括法线信息、位置信息和反照率信息。
在上述第一方面的一种可能的实现中，所述将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询初始贴图，并将所述每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像；包括：
将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询初始贴图的纹理内容，获取所述每个像素对应的着色点的漫反射颜色信息和材质特征信息；
将所述每个像素对应的着色点的几何缓冲信息及光线方向信息以及所述材质特征信息输入初始第二神经网络，获取所述每个像素对应的着色点的高光反射颜色信息；
根据所述每个像素对应的着色点的漫反射颜色信息与高光反射颜色信息，获取第二图像。
本申请实施例中，在网络训练的过程中，将各渲染外参下每个像素对应的着色点的材质特征信息以及各渲染外参下对应的各像素着色点的几何缓冲信息及光线方向信息均作为初始第二神经网络的输入，可以使得初始第二神经网络可根据各着色点的几何缓冲信息、光线方向信息以及材质特征信息对各着色点的高光反射效果进行拟合，因此保证即使在算力较弱的终端设备上也能得到较好的高光反射效果。
在上述第一方面的一种可能的实现中，所述将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询初始贴图，获取所述每个像素对应的着色点的漫反射颜色信息和材质特征信息；包括：
将所述每个像素对应的着色点的几何缓冲信息进行位置编码以获取所述几何缓冲信息对应的位置编码信息；其中，所述位置编码信息所在的空间维度高于所述几何缓冲信息所在的空间维度；
将所述几何缓冲信息对应的位置编码信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询初始贴图的纹理内容，获取所述每个像素对应的着色点的漫反射颜色信息和材质特征信息。
本申请实施例中输入初始第一神经网络的各像素对应的着色点的几何缓冲信息，以及输入初始第二神经网络的各像素对应的着色点的几何缓冲信息、光线方向信息在输入神经网络前可以通过位置编码的形式将上述信息映射到一个更高维度的空间中，使得低维空间中相互接近的信息在频域空间能够尽可能的被区分开，以方便后续的神经网络基于区分开的信息进行学习和拟合。
在上述第一方面的一种可能的实现中，所述基于所述第一图像和第二图像，得到目标第一神经网络或目标贴图和目标第二神经网络；包括：
基于所述第一图像和所述第二图像的差异，对所述初始第一神经网络或所述初始贴图和初始第二神经网络进行优化处理，获取目标第一神经网络或目标贴图和目标第二神经网络。
在上述第一方面的一种可能的实现中，所述获取所述三维立体模型对应的第一图像，包括：
获取对应于所述三维立体模型的多个预设相机外参的第一图像。
在上述第一方面的一种可能的实现中，所述获取对应于所述三维立体模型的多个预设相机外参的第一图像，包括：
根据所述三维立体模型中各个子场景的特征信息，确定所述各个子场景的预设相机外参；
基于所述各个子场景的预设相机外参对所述各个子场景进行渲染以获取对应于所述各个子场景的第一图像。
本申请实施例中，基于所述三维立体模型中各个子场景的特征信息，确定所述各个子场景的预设相机外参，可以获得三维立体模型在不同视角下的外观特征及纹理细节，提高第一图像的质量，有助于对初始第一神经网络或初始贴图和第二神经网络的优化，进而提高最终的渲染图像质量。
在上述第一方面的一种可能的实现中，所述各个子场景的特征信息包括各个子场景的反光信息、颜色信息、几何信息和纹理信息；
所述各个子场景的预设相机外参包括所述各个子场景的拍摄位置、拍摄方向和拍摄数量。
在上述第一方面的一种可能的实现中，所述获取与所述第一图像对应的每个像素对应的着色点的基础信息，包括：
基于光栅化渲染方法获取所述第一图像对应的每个像素对应的着色点的基础信息。
可以理解，本申请实施例中，通过光栅化过程获取对应各预设相机外参下各图像中各像素对应的着色点的基础图像信息可以非常快速且精确，可以高效地为后续的神经网络提供精确且丰富的先验信息，从而极大的提高训练收敛性及推理稳定性
在上述第一方面的一种可能的实现中，所述目标第一神经网络为多层感知器结构的神经网络；所述目标第二神经网络为多层感知器结构的神经网络。
可以理解，在一些实施例中，目标第一神经网络和目标第二神经网络均采用多层感知器作为基本网络架构，相较于卷积网络中需要进行多个像素同时卷积的特性，多层感知器结构适合用于拟合函数关系，且各条光线单独预测可以避免不同像素间的干扰，实现更高的绘制质量。
在上述第一方面的一种可能的实现中，所述目标第一神经网络的复杂度大于所述目标第二神经网络的复杂度。
第二方面，本申请实施例提供一种渲染方法，应用于第二电子设备，其特征在于，包括：
获取待渲染目标的三维立体模型；
获取所述三维立体模型在设定的渲染相机外参下，各像素对应的着色点的基础信息；所述基础信息包括几何缓冲信息、光线方向信息和与目标贴图对应的纹素坐标信息；
基于所述各像素对应的着色点的纹素坐标信息查询所述目标贴图的纹理内容，获取所述着色点的漫反射颜色信息以及材质特征信息；
将所述着色点的所述材质特征信息、所述几何缓冲信息及所述光线方向信息输入目标第二神经网络，获取所述着色点对应的高光反射颜色信息；
根据所述着色点对应的漫反射颜色信息以及高光反射颜色信息，获取给定的渲染相机外参下对应的渲染图像。
可以理解，当观察角度不同时，即光线的方向信息不同时，获取的每个着色点的高光反射颜色不同，与着色点对应的像素也就呈现不同的颜色，因此，本申请实施例提供的渲染方法能够真实的反应各个角度观察下的图像的光影信息。即本申请实施例中提及的方案可以获取各个观察角度下或给定渲染外参下的更加逼真的渲染结果。
在上述第二方面一种可能的实现中，获取所述三维立体模型在设定的渲染相机外参下，各像素对应的着色点的基础信息，包括：
基于光栅化过程获取三维立体模型在设定的渲染外参下，各像素所对应的着色点的基础信息。
在上述第二方面一种可能的实现中，根据所述着色点对应的漫反射颜色信息以及高光反射颜色信息，获取给定的渲染相机外参下对应的渲染图像；包括：将所述三维立体模型在设定的渲染相机外参下，各像素对应的着色点对应的漫反射颜色信息以及高光反射颜色信息进行叠加处理，以获取设定渲染外参下的渲染图像。
在上述第二方面一种可能的实现中，所述基于所述各像素对应的着色点的纹素坐标信息查询所述目标贴图的纹理内容，获取所述着色点的漫反射颜色信息以及材质特征信息；包括：
对目标贴图的纹理内容进行插值处理，并基于所述各像素对应的着色点的纹素坐标信息查询所述目标贴图的纹理内容，获取所述着色点的漫反射颜色信息以及材质特征信息。
在上述第二方面一种可能的实现中，所述插值处理包括最近邻插值、一阶插值或二阶插值。
在上述第二方面一种可能的实现中，渲染方法还包括：第二电子设备向第一电子设备发送用于获取目标贴图和目标第二神经网络的请求。
响应于所述请求，所述第一电子设备将目标贴图和目标第二神经网络发送至第二电子设备。
第三方面，本申请实施例提供一种电子设备，所述电子设备为第一电子设备，
所述第一电子设备包括：
获取单元，用于获取待渲染目标的三维立体模型；
调度渲染单元，用于获取所述三维立体模型对应的第一图像；
调度渲染单元，还用于获取与所述第一图像对应的每个像素对应的着色点的基础信息；其中，所述基础信息包括几何缓冲信息、光线方向信息和与初始贴图对应的纹素坐标信息；
调度渲染单元，还用于将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询所述初始贴图的纹理内容，并将所述每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像；
网络训练单元，用于基于所述第一图像和第二图像，得到目标第一神经网络或目标贴图和目标第二神经网络。
在上述第三方面一种可能的实现中，所述第一电子设备还包括：
烘焙单元，用于根据所述目标第一神经网络获取目标贴图。
同步单元，用于响应于第二电子设备的下发请求，将所述目标贴图和所述目标第二神经网络发送至第二电子设备。
第四方面，本申请实施例提供一种电子设备，所述电子设备为第二电子设备：所述第二电子设备包括：
第一获取单元，用于获取待渲染目标的三维立体模型；
第二获取单元，用于获取所述三维立体模型在设定的渲染相机外参下，各像素对应的着色点的基础信息；所述基础信息包括几何缓冲信息、光线方向信息和与目标贴图对应的纹素坐标信息；
查询单元，用于基于所述各像素对应的着色点的纹素坐标信息查询目标贴图的纹理内容，获取所述着色点的漫反射颜色信息以及材质特征信息；
第三获取单元，用于将所述着色点对应的所述材质特征信息、所述几何缓冲信息及光线方向信息输入目标第二神经网络，获取所述着色点对应的高光反射颜色信息；
渲染单元，用于根据所述着色点对应的漫反射颜色信息以及高光反射颜色信息，获取给定的渲染相机外参下对应的渲染图像。
第五方面，本申请实施例提供一种电子设备，包括
存储器，用于存储由皮套键盘的一个或多个处理器执行的指令；
处理器，是所述电子设备的一个或多个处理器中的一个，用于执行上述渲染方法。
第五方面，本申请实施例提供一种可读介质，所述可读介质上存储有指令，该指令在电子设备上执行时使机器执行上述渲染方法。
第六方面，本申请实施例提供一种计算机程序产品，包括指令，所述指令用于执行上述渲染方法。
附图说明
图1a根据本申请的一些实施例，示出了一种获取第二图像的示意图。
图1b根据本申请的一些实施例，示出了一种获取目标贴图的示意图。
图1c根据本申请的一些实施例，示出了一种获取第二图像的示意图。
图2a根据本申请的一些实施例，示出了一种终端电子设备的硬件结构示意图。
图2b根据本申请的一些实施例，示出了一种服务器的结构示意图。
图2c根据本申请的一些实施例，示出了一种服务器的结构示意图。
图3a根据本申请的一些实施例，示出了一种渲染方法的流程示意图。
图3b根据本申请的一些实施例，示出了一种渲染方法的流程示意图。
图3c根据本申请的一些实施例，示出了一种渲染方法的流程示意图。
图4根据本申请的一些实施例，示出了一种获取着色点的基础信息的示意图。
图5根据本申请的一些实施例，示出了一种网络训练的示意图。
图6根据本申请的一些实施例，示出了一种获取目标贴图的示意图。
图7a根据本申请的一些实施例，示出了一种终端电子设备进行渲染的流程示意图。
图7b根据本申请的一些实施例，示出了一种终端电子设备进行渲染的示意图。
图8a根据本申请的一些实施例，示出了一种渲染方法的流程示意图。
图8b根据本申请的一些实施例，示出了一种渲染方法的流程示意图。
图9根据本申请的一些实施例，示出了一种网络训练的示意图。
图10根据本申请的一些实施例，示出了一种第二电子设备的结构示意图。
具体实施方式
本申请的说明性实施例包括但不限于一种渲染方法、电子设备、系统及介质。
为更加清楚的介绍本申请实施例中提供的方案，下面首先对本申请实施例中提及的部分词语进行简单解释。
离线渲染：通常指一种与实时渲染及交互式渲染相对的概念。其渲染特征为单帧渲染的时间较长，因此无法满足实时或交互式应用的需求。能够用于高质量、高细节仿真渲染场景中。
光栅化过程：指将几何三角面片顶点数据转化为栅格状像素片元的过程。
全景图：指水平视角涵盖360度，垂直视角涵盖180度的一种广角图像。
自由视点：指渲染或绘制时所用的虚拟相机可以自由的改变其外参，即虚拟相机的位置和朝向。
着色点：在光栅过程中，与像素对应的物体表面的待绘制颜色的点；在光线追踪过程中，光线与物体表面的交点。
着色：泛指通过一定的规则确定某一点沿某个方向的颜色的过程。
像素：栅格状二维图像中的最小栅格单元。
纹素：类比于像素，特指纹理贴图图像中的栅格单元。
贴图：由纹素构成的栅格状二维多通道图像，各纹素具有其离散的二维坐标并保存一多维向量，用于记录三维物体的表面特征；当三维物体的几何三角面片顶点含有其在贴图中的二维坐标时，则可以通过插值技术获得着色点在贴图中的二维坐标，进而计算出其对应的纹理内容。
贴图集：通过特定软件将多张贴图合成的一张大的贴图。
位置编码：一般指将低维向量映射到高维空间的一种算术操作。
几何缓冲图层：光栅化过程中获得的各像素对应的几何信息，一般包括法线信息、反照率信息和位置信息。
返照率：指表面反射辐射与入射辐射的比率。
如前所述，现有技术中存在电子设备图形算力较弱的情况下，电子设备运行渲染管线对场景或展品进行渲染的速度较慢或电子设备难以运行复杂渲染管线的情况。且现有的渲染管线难以实时地绘制场景或展品在不同观察角度下真实光影信息的技术问题。
为解决上述问题，本申请实施例提供一种渲染方法，为第一电子设备和第二电子设备协同执行的方法，该方法具体包括：通过第一电子设备端部署的高质量渲染引擎获取多个预设相机外参或渲染外参下的高质量样本图像，即第一图像。且通过在第一电子设备端部署的光栅引擎获取对待渲染目标的三维立体模型在上述多个预设相机外参或渲染外参下进行渲染，得到与第一图像相对应的每个像素对应的着色点的基础信息。其中，着色点的基础信息包括几何缓冲信息、光线方向信息和与初始贴图对应的纹素坐标信息。
然后如图1a所示，将每个像素对应的着色点的几何缓冲信息输入初始第一神经网络，获取所述每个像素对应的着色点的漫反射颜色信息(即漫反射图层)和材质特征信息；将每个像素对应的着色点的几何缓冲信息、光线方向信息以及材质特征信息输入初始第二神经网络，获取所述每个像素对应的着色点的高光反射颜色信息(即高光反射图层)，通过漫反射图层和高光反射图层获取神经网络渲染图像，即第二图像。
基于各渲染外参下的第一图像和第二图像对初始第一神经网络和初始第二神经网络进行训练优化以获取优化后的目标第一神经网络和目标第二神经网络。其中，上述目标第一神经网络用于绘制与观察视角无关的漫反射图层，目标第二神经网络用于绘制与观察视角相关的高光反射图层。
随后，如图1b所示，通过将初始贴图中每个纹素坐标对应的着色点的几何缓冲信息输入目标第一神经网络以获取上述，并将初始贴图中每个纹素坐标对应的着色点的漫反射颜色以及材质特征信息存储为纹素的纹理内容，即烘焙为对应的目标贴图。
响应于第二电子设备的下发请求，第一电子设备可以将目标贴图和目标第二神经网络下发至第二电子设备。第二电子设备将可以基于上述目标贴图和目标第二神经网络对待渲染的三维立体模型进行渲染，获取渲染结果。
可以理解，本申请中提及的渲染外参或相机外参可以指的是相机的放置角度和放置位置。
可以理解，上述第一电子设备可以为云端服务器，第二电子设备可以为终端电子设备，本申请实施例提供的渲染方法将高算力的网络训练过程转移至服务器端运行，在终端电子设备的运行态过程中将第一神经网络的推理过程替换为贴图的查表过程，所涉及的计算量较小，因此，能够有效提升终端电子设备的绘制速度，且可以用于算力较低的终端设备上，扩大了方案的适用范围。
此外，在网络训练的过程中，将各渲染外参下每个像素对应的着色点的材质特征信息以及各渲染外参下对应的各像素着色点的几何缓冲信息及光线方向信息均作为初始第二神经网络的输入，可以使得初始第二神经网络可根据各着色点的几何缓冲信息、光线方向信息以及材质特征信息对各着色点的高光反射效果进行拟合，因此保证即使在算力较弱的终端设备上也能得到较好的高光反射效果。第二电子设备在对三维立体模型渲染时，可以基于不同的渲染外参呈现不同视角自由视点下的三维立体模型的外观特征，即实现自由视点下的三维立体模型的高质量绘制。
可以理解，在一些实施例中，可以将上述初始第一神经网络替换为初始贴图，直接对初始贴图进行优化训练以获取最终的目标贴图。如此，无需进行对上述目标第一神经网络的推理结果进行烘焙，能够有效简化渲染流程。
其中，采用初始贴图替代初始第一神经网络后，获取第二图像的过程可以如图1c所示：基于每个像素对应的着色点的纹素坐标信息查询初始贴图的纹理内容，获取每个像素对应的着色点的漫反射颜色信息(即漫反射图层)和材质特征信息；将每个像素对应的着色点的几何缓冲信息及光线方向信息以及材质特征信息输入初始第二神经网络，获取每个像素对应的着色点的高光反射颜色信息(即高光反射图层)；根据每个像素对应的着色点的漫反射颜色信息与高光反射颜色信息，获取第二图像。
获取目标贴图和目标第二神经网络的过程可以为：基于各渲染外参下的第一图像和第二图像对初始贴图和初始第二神经网络进行训练优化以获取优化后的目标贴图和目标第二神经网络。
可以理解，本申请实施例中的渲染方法可以用于对各种场景或者产品的绘制，例如，在家装设计场景展示中，用户可以提交相应的家装设计的三维立体模型至服务器。服务器可以基于上述渲染方法获取该三维立体模型对应的目标第一神经网络和目标第二神经网络，并将目标第一神经网络的推理过程烘焙为对应的目标贴图，将目标贴图和目标第二神经网络发送至终端电子设备。终端电子设备将可以基于上述目标贴图和目标第二神经网络对家装设计的三维立体模型进行多角度渲染，获取对应的渲染结果。
可以理解，上述第二电子设备包括但不限于手机、平板电脑、膝上型计算机、台式计算机等终端电子设备；第一电子设备可以为云端服务器，在一些实施例中，第一电子设备也可以替换为一些运算力较强的电子设备。
下面在具体介绍本申请实施例提供的渲染方法之前，首先对本申请实施例中提及的终端电子设备以及服务器的具体结构进行简要介绍。
图2a示出了本申请实施例中一种终端电子设备的硬件结构示意图。如图2a所示，终端电子设备10可以包括处理器110、电源模块140、存储器180，移动通信模块130、无线通信模块120、传感器模块190、音频模块150、摄像头170、接口模块160、按键101以及显示屏102等。
可以理解的是，本发明实施例示意的结构并不构成对终端电子设备10的具体限定。在本申请另一些实施例中，终端电子设备10可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如，可以包括中央处理器CPU(Central Processing Unit)、图像处理器GPU(Graphics Processing Unit)、数字信号处理器DSP、微处理器MCU(Micro-programmed Control Unit)、AI(ArtificialIntelligence，人工智能)处理器或可编程逻辑器件FPGA(Field Programmable GateArray)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中可以设置存储单元，用于存储指令和数据。在一些实施例中，处理器110中的存储单元为高速缓冲存储器180。
电源模块140可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。在一些实施例中，电源管理部件包括充电管理模块和电源管理模块。充电管理模块用于从充电器接收充电输入；电源管理模块用于连接电源，充电管理模块与处理器110。电源管理模块接收电源和/或充电管理模块的输入，为处理器110，显示屏102，摄像头170，及无线通信模块120等供电。
移动通信模块130可以包括但不限于天线、功率放大器、滤波器、LNA(Low noiseamplify，低噪声放大器)等。
无线通信模块120可以包括天线，并经由天线实现对电磁波的收发。无线通信模块120可以提供应用在终端电子设备10上的包括无线局域网(wireless localareanetworks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。终端电子设备10可以通过无线通信技术与网络以及其他设备进行通信。
在一些实施例中，终端电子设备10的移动通信模块130和无线通信模块120也可以位于同一模块中。
显示屏102用于显示人机交互界面、图像、视频等。显示屏102包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organiclight-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flexlight-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。
传感器模块190可以包括接近光传感器、压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。
音频模块150用于将数字音频信息转换成模拟音频信号输出，或者将模拟音频输入转换为数字音频信号。音频模块150还可以用于对音频信号编码和解码。在一些实施例中，音频模块150可以设置于处理器110中，或将音频模块150的部分功能模块设置于处理器110中。在一些实施例中，音频模块150可以包括扬声器、听筒、麦克风以及耳机接口。
摄像头170用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给ISP(Image SignalProcessing，图像信号处理)转换成数字图像信号。终端电子设备10可以通过ISP，摄像头170，视频编解码器，GPU(Graphic Processing Unit，图形处理器)，显示屏102以及应用处理器等实现拍摄功能。
接口模块160包括外部存储器接口、通用串行总线(universal serial bus，USB)接口及用户标识模块(subscriber identification module，SIM)卡接口等。其中外部存储器接口可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端电子设备10的存储能力。外部存储卡通过外部存储器接口与处理器110通信，实现数据存储功能。通用串行总线接口用于终端电子设备10和其他电子设备进行通信。用户标识模块卡接口用于与安装至终端电子设备1010的SIM卡进行通信，例如读取SIM卡中存储的电话号码，或将电话号码写入SIM卡中。
在一些实施例中，终端电子设备10还包括按键101、马达以及指示器等。其中，按键101可以包括音量键、开/关机键等。马达用于使终端电子设备10产生振动效果，例如在用户的终端电子设备10被呼叫的时候产生振动，以提示用户接听终端电子设备10来电。指示器可以包括激光指示器、射频指示器、LED指示器等。
图2b示出了一种服务器的系统框架示意图，如图2b所示，服务器可以包括：
获取单元，用于获取待渲染目标的三维立体模型；
调度渲染单元，用于获取三维立体模型对应的第一图像；
调度渲染单元，还用于获取第一图像对应的每个像素对应的着色点的基础信息；其中，基础信息包括几何缓冲信息、光线方向信息和与初始贴图对应的纹素坐标信息；
调度渲染单元，还用于将每个像素对应的着色点的几何缓冲信息输入初始第一神经网络，并将每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像；
网络训练单元，用于基于第一图像和第二图像，得到目标第一神经网络和目标第二神经网络。
烘焙单元，用于根据目标第一神经网络获取目标贴图。
同步单元，用于响应于第二电子设备的下发请求，将目标贴图和目标第二神经网络发送至第二电子设备。
图2c示出了另一种服务器的系统框架示意图，如图2c所示，服务器可以包括：
获取单元，用于获取待渲染目标的三维立体模型；
调度渲染单元，用于获取三维立体模型对应的第一图像；
调度渲染单元，还用于获取第一图像对应的每个像素对应的着色点的基础信息；其中，基础信息包括几何缓冲信息、光线方向信息和与初始贴图对应的纹素坐标信息；
调度渲染单元，还用于基于所述每个像素对应的着色点的纹素坐标信息查询初始贴图，并将每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像；
网络训练单元，用于基于第一图像和第二图像，得到目标贴图和目标第二神经网络。
同步单元，用于响应于第二电子设备的下发请求，将目标贴图和目标第二神经网络发送至第二电子设备。
在一些实施例中，调度渲染单元可以包括多个渲染子单元，多个渲染子单元用于：
同时对三维立体模型进行渲染以获取对应于三维立体模型的多个预设拍摄角度的各第一图像，以及对应于三维立体模型的多个预设拍摄角度对应的各图像中每个像素对应的着色点的基础信息。
下面详细介绍本申请实施例中的渲染方法。可以理解，本申请实施例中的渲染方法可以通过上述服务器和终端电子设备协同完成，如图3a所示，图3a示出了本申请实施例中一种渲染方法流程的示意图。如图3a所示，渲染方法包括：
301：服务器获取待渲染目标的三维立体模型。
可以理解，当用户具有渲染需求时，可以将待渲染目标的相应的三维文件数据上传至服务器。其中，用户提供的三维文件数据可以通过相应的软件打开为待渲染场景或待渲染目标的三维立体模型。
例如，当用户需要对家装设计的场景进行绘制时，上述三维立体模型可以为家装设计的三维立体模型。当用户需要对展品汽车进行绘制时，上述场景文件可以为汽车的三维立体模型。
302：服务器获取对应于三维立体模型的多个预设相机外参下的各第一图像；其中第一图像也可以称为样本图像。
可以理解，本申请实施例中获取的样本图像可以作为后续通过光栅化过程以及神经网络推理过程以获取的对应各预设相机外参下的各第二图像的对比图像，以使得可以根据第二图像和样本图像之间的差异对神经网络推理过程中所涉及的神经网络进行优化，以获取优化后的神经网络。
当服务器获取到上述待渲染目标对应的三维文件数据时，可以打开该场景文件数据，重新展示待渲染目标的三维立体模型。然后利用离线引擎基于预设的多个相机外参对该三维立体模型进行渲染以获取对应上述各预设相机外参的样本图像。
在一些实施例中，相机外参可以包括虚拟相机的角度和位置，相机外参不同即为虚拟相机的拍摄角度和/或位置不同。而本申请实施例中通过调整拍摄的角度和/或位置可以获取三维立体模型的多个角度的照片。
本申请实施例中，为了进一步保证获取的样本图像的质量，可以采用光线追踪方法作为本申请实施例中的离线引擎进行三维立体模型的渲染。
下面对光线追踪方法进行简要叙述。以其中一个预设相机外参的相机为例，光线追踪一般为首先从沿相机向该相机所对应的待渲染图像中的各像素的方位发射光线，光线根据设定的物理规律在场景中进行迭代弹射，直到满足预设的终止条件后停止，进而累积得到各像素的颜色。由于光线追踪可以基于物理规律模拟光线的传播过程，因此其绘制过程能不借助特殊的手段而自然的模拟各种绘制效果，如色溢、软阴影、真实反射、折射等，并且这些效果均符合物理规律，因此具有最为逼真的绘制效果。
可以理解，在一些实施例中，可以根据上述待渲染目标的三维立体模型中的各个子场景的特征信息，确定所述各个子场景的相机外参；基于上述各个子场景的相机外参对各个子场景进行渲染以获取对应的样本图像。
其中，各个子场景可以为待绘制场景中的各个部分区域，例如，在家装设计场景中，各个子场景可以为家装设计场景中的沙发区域、墙体区域、电视区域、镜子区域等。上述各个子场景的特征信息包括各个子场景的反光信息、颜色信息、几何信息和纹理信息；各个子场景的相机外参可以包括相机的角度、位置和数量等。
例如，可以根据上述场景中各个区域的几何特征信息确定各个区域的相机设置策略。例如，在家装设计的场景中，墙体区域的几何特征信息为平面形状，则对该区域进行渲染时，布置较少的相机数量。而沙发区域的几何特征信息为具有多个平面的形状，因此，对沙发区域进行渲染时，可以放置较多数量的相机，并控制每个相机的位置和方向均不同，如此，可以多角度全方位地获取用于描述该沙发区域的多个场景。
再例如，可以根据上述场景中各个区域的反光信息确定各个区域的相机设置策略。例如，在家装设计的场景中，镜子区域的反光信息为强反光，由于强反光区域各个角度看的反光情况是不一致的，因此，对镜子区域进行渲染时，可以放置较多数量的各个角度的相机。
基于上述相机放置策略，可以获得三维立体模型在不同视角下的外观特征及纹理细节，提高第一图像的质量，有助于对初始第一神经网络或初始贴图和第二神经网络的优化，进而提高最终的渲染图像质量。
303：获取与所述第一图像对应的每个像素对应的着色点的基础信息。
可以理解，本申请实施例中，服务器可以通过光栅化过程获取与第一图像对应的每个像素对应的着色点的基础信息。
可以理解，本申请实施例中所提及的光栅化过程可以如图4中所示，通过光栅化实时渲染方法获取各预设相机外参下与第一图像对应的每个像素对应的着色点的基础信息的过程。在光栅化过程中，可以通过图形处理硬件中的处理管线流程快速地获得待渲染图像中各像素对应着色点的基础信息。其中，基础信息可以包括几何缓冲(G-Buffer)信息、光线方向信息和与初始贴图对应的纹素坐标信息，几何缓冲信息为一般包括法线信息、返照率信息、位置信息；光线方向信息则是各像素对应的着色点对应的光线的方向信息。
其中，上述法线信息可以为各像素对应的着色点的几何法线三维向量。像素的反照率信息可以为各像素对应着色点的反照率值，像素的反照率信息可以表征待着色物体对各频段能量的反射效率，一般表达为范围为0至1的RGB向量，返照率越趋近于0表明着色点对该频段的能量吸收率越大，则该频段呈现的颜色越暗淡，如在所有频段都呈现为0，则着色点为黑色。位置信息可以为各像素对应的着色点的世界坐标。
通过光栅化过程获取对应各预设相机外参下各图像中各像素对应的着色点的基础图像信息可以非常快速且精确，可以高效地为后续的神经网络提供精确且丰富的先验信息，从而极大的提高训练收敛性及推理稳定性。
304：服务器将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络并将所述每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像。
本申请实施例提及的神经网络推理过程可以为如图5所示，以光栅化过程中获得的各预设相机外参下各图像中各像素对应的着色点的基础信息作为构建的初始第一神经网络和初始第二神经网络的输入，以获取对应的目标第一神经网络和目标第二神经网络的推理结果的过程。
可以理解，本申请实施例中，初始第一神经网络用于获取待绘制场景中每个像素对应的着色点的漫反射颜色信息以及材质特征信息，初始第二神经网络用于获取待绘制场景中每个像素对应的着色点的高光反射颜色信息。
具体的神经网络的推理过程可以如图5所示：将各预设相机外参下各图像中各像素对应的着色点的几何缓冲信息输入初始第一神经网络，初始第一神经网络根据推理得出每个像素对应的着色点的漫反射颜色信息以及材质特征信息。其中，根据图像中每个像素对应的着色点的漫反射颜色可以获得该图像对应的漫反射图层。
将各像素对应的着色点的几何缓冲信息、光线方向信息以及材质特征信息输入目标第二神经网络推理得到每个像素对应的着色点的高光反射颜色。其中，根据图像中每个像素对应的着色点与高光反射颜色可以获得该图像对应的高光反射图层。
根据各像素对应的着色点的漫反射颜色以及各像素对应的着色点的高光反射颜色则可以获取该各像素所对应的着色点的最终颜色。即将各像素组成的漫反射图层与高光反射图层进行叠加处理即可获取由各像素最终颜色组成第二图像。
可以理解，每个像素对应的着色点的漫反射颜色均与观察角度无关，每个像素对应的着色点的漫反射颜色的着色过程本质上需要在着色点位置处针对其上半球的所有反射方向进行积分，以获取该像素对应的着色点的RGB值。因此，上述目标第一神经网络主要用于拟合着色点处复杂的积分着色过程，以推理得到仅与着色点位置相关的漫反射颜色。
每个像素的高光反射沿着依据着色点处的法线对视线进行反射后求解得到，且着色过程相对简单。因此可以构建一较浅的初始第二神经网络用于重构不同观察视角下的高光反射颜色。
可以理解，本申请实施例中，初始第一神经网络的复杂度大于初始第二神经网络的复杂度。
可以理解，上述各像素对应的着色点的材质特征信息可以包含各像素对应的着色点的反射类型，例如，反射类型可以为漫反射或者镜面反射。将该材质特征信息输入初始第二神经网络，初始第二神经网络可以根据该材质信息推断出哪些像素对应的着色点可以发生高光反射，并推理得出这些像素对应的着色点在上述预设相机外参下的高光反射颜色。如此，可以反映出物体在各个角度观看下的真实光影变化，提高最终的绘制质量。
305：服务器根据各预设相机外参下获取的各第一图像以及各第二图像，获取目标第一神经网络和目标第二神经网络。
本申请实施例中，可以通过使用一定的损失函数计算上述各第二图像及高质量第一图像两者的差异，并根据梯度算法不断调整优化初始第一神经网络和初始第二神经网络的权重，直至收敛获得优化后的目标第一神经网络和目标第二神经网络。
可以理解，本申请实施例中对初始第一神经网络和初始第二神经网络的训练优化过程需要迭代运行上述步骤303-305，以获取最优的目标第一神经网络和第二神经网络。
例如，在第一次通过初始第一神经网络和初始第二神经网络获取第二图像后，可以通过损失函数计算第一图像和第二图像的差异，根据梯度算法优化初始第一神经网络和初始第二神经网络的权重，获取一次优化的第一神经网络和第二神经网络。此时需要再次通过一次优化的第一神经网络和第二神经网络获取第二图像，再次通过损失函数计算第一图像和第二图像的差异，根据梯度算法调整一次优化第一神经网络和第二神经网络的权重，获取二次优化的第一神经网络和第二神经网络。重复上述步骤，直至收敛获得优化后的目标第一神经网络和目标第二神经网络。
306：服务器根据所述目标第一神经网络获取目标贴图。
本申请实施例中，根据目标第一神经网络获取目标贴图，具体包括：
获取初始贴图中各纹素坐标对应的三维立体模型上着色点的几何缓冲信息；将初始贴图中各纹素坐标对应的三维立体模型上着色点的几何缓冲信息输入目标第一神经网络，获取初始贴图中各纹素坐标对应的着色点的漫反射颜色信息以及材质特征信息；
将初始贴图中各纹素坐标对应的着色点的漫反射颜色信息以及材质特征信息存储为初始贴图中各纹素的内容，得到目标贴图。
可以理解，本申请实施例中，获取目标贴图的详细过程可以如图6所示，包括：
首先对上述三维立体模型进行UV(纹理贴图坐标的简称，相当于二维坐标系中的XY)展开，即将三维立体模型的表面展开至UV空间，使得三维立体模型表面的点与二维UV平面中的点一一对应。此处不限制UV展开所使用的具体方法，目的在于获取与所述三维立体模型所匹配的UV映射关系。基于相同的UV映射关系，可以将物体表面的法线、返照率及位置分别映射为一张二维贴图，即法线信息贴图、位置信息贴图和反照率信息贴图。此处不限制贴图的分辨率，一般取为1024×1024。
可以理解，初始贴图及目标贴图应具有与上述各贴图相同的UV映射关系。因此，通过对初始贴图所含有的纹素进行枚举，可以根据纹素坐标获取上述各贴图的纹理内容，及该纹素对应的三维立体模型表面位置(即着色点)的几何缓冲信息，即法线信息、位置信息和反照率信息，将各纹素坐标对应的着色点的几何缓冲信息进行位置编码后输入优化后的目标第一神经网络，以获取各纹素坐标对应的着色点的漫反射颜色信息和材质特征信息。将各纹素坐标对应的着色点的漫反射颜色信息和材质特征信息存储纹理内容，即得到对应的目标贴图。
由于目标第一神经网络的输入仅与着色点的几何缓冲相关，而着色点的几何缓冲内容仅取决于三维立体模型的表面位置；又由于三维立体模型的表面位置与二维UV平面中的坐标点一一对应，因此通过枚举初始贴图中的各纹素坐标，可以将物体表面各着色点的漫反射颜色信息和材质特征信息预先保存成目标贴图，通过纹素坐标查询纹理内容，即可替代第一神经网络的推理过程，如此，终端电子设备可以根据纹素坐标信息，将目标第一神经网络的推理过程替代为目标贴图的查表过程，能够提高终端电子设备的绘制效率。
307：终端电子设备向服务器发送下发请求。
在一些实施例中，终端电子设备可以根据需求向服务器发送任意次的下发请求。例如，在每次终端设备需要进行渲染后结果展示时均可以向服务器发送下发请求，以获取对应的贴图和目标第二神经网络。
308：服务器将上述目标贴图和目标第二神经网络发送至终端电子设备。
可以理解，本申请实施例中，上述目标贴图和目标第二神经网络可以根据下发请求进行多次下发或多设备下发。
在一些实施例中，也可以根据实际需求只下发目标贴图，例如，对于某待渲染目标中不存在高光反射的区域，则终端电子设备可以只发送目标贴图的下发请求，响应于下发请求，服务器可以将目标贴图发送至终端电子设备。
309:终端电子设备基于上述目标贴图和目标第二神经网络对待渲染目标的三维立体模型进行渲染，获取渲染结果。
可以理解，本申请实施例中，终端电子设备的详细渲染流程示意图可以如图7a和图7b中所示，包括：
3091：获取待渲染目标的三维立体模型。
可以理解，当用户具有渲染需求时，可以将待渲染目标的相应的三维文件数据通过相应的软件打开为待渲染目标的三维立体模型。
其中，终端电子设备端的三维文件数据与服务器端的三维文件数据保持一致。
3092：获取三维立体模型在设定的渲染相机外参下，各像素对应的着色点的基础信息；基础信息包括几何缓冲信息、光线方向信息和与目标贴图对应的纹素坐标信息；
本申请实施例中，终端电子设备可以基于光栅化过程获取在给定的渲染外参下对应的各像素所对应的着色点的基础信息，所述基础信息包括几何缓冲信息、光线方向信息和与目标贴图对应的纹素坐标信息。
3093：基于各像素对应的着色点的纹素坐标信息查询目标贴图的纹理内容，获取着色点的漫反射颜色信息以及材质特征信息。
在一些实施例中，由于三维立体模型表面的纹素坐标是连续的，而目标贴图是离散的，具有一定的分辨率，因此在目标贴图查询过程中需要根据一定的方法对贴图纹素的纹理内容进行插值，包括但不限于最近邻插值、一阶或二阶插值等，以获取最终的每个纹素坐标对应的漫反射颜色信息(即漫反射图层)和材质特征信息。
3094：将着色点的材质特征信息、几何缓冲信息及光线方向信息输入目标第二神经网络，获取着色点对应的高光反射颜色信息。
本申请实施例中，可以将各给定渲染外参下对应的各像素对应的着色点的几何缓冲信息、光线方向信息以及材质特征信息输入目标第二神经网络进行推理以获取各预设相机外参下各像素的高光反射颜色信息。
3095：根据着色点对应的漫反射颜色信息以及高光反射颜色信息，获取给定的渲染相机外参下对应的渲染图像。
将所述三维立体模型在设定的渲染相机外参下，各像素对应的着色点对应的漫反射颜色信息以及高光反射颜色信息进行叠加处理，以获取设定渲染外参下的渲染图像。
可以理解，当观察角度不同时，即光线的方向信息不同时，获取的每个着色点的高光反射颜色不同，与着色点对应的像素也就呈现不同的颜色，因此，本申请实施例提供的渲染方法能够真实的反应各个角度观察下的图像的光影信息。即本申请实施例中提及的方案可以获取各个观察角度下的更加逼真渲染结果。
图3b示出了本申请实施例中一种渲染方法的流程示意图，其中图3b中的渲染方法可以由第一电子设备执行，其中，第一电子设备可以为服务器。如图3b所示，渲染方法可以包括：
401：获取待渲染目标的三维立体模型。
可以理解，本申请实施例中，步骤401与前述步骤301内容一致，此处不再详述。
402：服务器获取对应于三维立体模型的多个预设相机外参下的各第一图像；其中第一图像也可以称为样本图像。
可以理解，本申请实施例中，步骤402与前述步骤302内容一致，此处不再详述。
403：获取与所述第一图像对应的每个像素对应的着色点的基础信息。
可以理解，本申请实施例中，步骤403与前述步骤303内容一致，此处不再详述。
404：将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络并将所述每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像。
可以理解，本申请实施例中，步骤404与前述步骤304内容一致，此处不再详述。
405：根据各预设相机外参下获取的各第一图像以及各第二图像，获取目标第一神经网络和目标第二神经网络。
可以理解，本申请实施例中，步骤405与前述步骤305内容一致，此处不再详述。
406：服务器根据所述目标第一神经网络获取目标贴图。
可以理解，本申请实施例中，步骤406与前述步骤306内容一致，此处不再详述。
图3c示出了本申请实施例中一种渲染方法的流程示意图，其中图3c中的渲染方法可以由第二电子设备执行，其中，第二电子设备可以为终端电子设备。可以理解，图3c中的渲染方法可以在第二电子设备获取到目标贴图和目标第二神经网络之后执行。可以理解，在一些实施例中，第二电子设备获取目标贴图和目标第二神经网络的方式可以为向第一电子设备发送用于获取目标贴图和目标第二神经网络的请求。
如图3c所示，渲染方法可以包括：
501：获取待渲染目标的三维立体模型。
可以理解，本申请实施例中，步骤501与前述步骤3091内容一致，此处不再详述。
502：获取三维立体模型在设定的渲染相机外参下，各像素对应的着色点的基础信息；基础信息包括几何缓冲信息、光线方向信息和与目标贴图对应的纹素坐标信息；
可以理解，本申请实施例中，步骤502与前述步骤3092内容一致，此处不再详述。
503：基于各像素对应的着色点的纹素坐标信息查询目标贴图的纹理内容，获取着色点的漫反射颜色信息以及材质特征信息。
可以理解，本申请实施例中，步骤503与前述步骤3093内容一致，此处不再详述。
504：将着色点的材质特征信息、几何缓冲信息及光线方向信息输入目标第二神经网络，获取着色点对应的高光反射颜色信息。
可以理解，本申请实施例中，步骤504与前述步骤3094内容一致，此处不再详述。
505：根据着色点对应的漫反射颜色信息以及高光反射颜色信息，获取给定的渲染相机外参下对应的渲染图像。
可以理解，本申请实施例中，步骤505与前述步骤3095内容一致，此处不再详述。
本申请实施例中输入初始第一神经网络或目标第一神经网络中的各像素对应的着色点的几何缓冲信息，以及输入初始第二神经网络或目标第二神经网络的各像素对应的着色点的几何缓冲信息、光线方向信息在输入神经网络前可以通过位置编码的形式将上述信息映射到一个更高维度的空间中，使得低维空间中相互接近的信息在频域空间能够尽可能的被区分开，以方便后续的神经网络基于区分开的信息进行学习和拟合。
在一些实施例中，前述提及的目标第一神经网络和目标第二神经网络可以均采用多层感知器作为基本网络架构。相较于卷积网络中需要进行多个像素同时卷积的特性，多层感知器结构适合用于拟合函数关系，且各条光线单独预测可以避免不同像素间的干扰，实现更高的绘制质量。
本申请实施例，通过较深的目标第一神经网络对漫反射着色过程进行拟合，且可以基于位置将该对应的网络烘焙为对应的贴图。在运行态时，终端电子设备借助贴图，通过查表操作即可完成原本较深的目标第一神经网络的推理过程，从而使得运行态不涉及重度计算任务，进而保证了运行态绘制效率。
本申请实施例还提供另一种渲染方法，其与图3a中所示的渲染方法的主要区别为采用初始贴图替换初始第一神经网络，并直接对初始贴图进行优化训练以获取最终的目标贴图。如此，无需进行对上述目标第一神经网络的推理结果进行烘焙，能够有效简化渲染流程。图8a示出了本申请实施例另一种渲染方法的详细流程图，如图8a所示，渲染方法包括：
801：服务器获取待渲染目标的三维立体模型。
可以理解，本申请实施例中，步骤801与前述步骤301内容一致，此处不再详述。
802:服务器获取对应于三维立体模型的多个预设相机外参下的各第一图像。
可以理解，本申请实施例中，步骤802与前述步骤302内容一致，此处不再详述。
803：服务器获取与第一图像对应的每个像素对应的着色点的基础信息。
可以理解，本申请实施例中，步骤803与前述步骤303内容一致，此处不再详述。
804：服务器基于所述每个像素对应的着色点的纹素坐标信息查询初始贴图并将每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像。
本申请实施例中，采用初始贴图替代初始第一神经网络后，获取第二图像的过程可以如图9中所示：基于每个像素对应的着色点的纹素坐标信息查询初始贴图的纹理内容，获取每个像素对应的着色点的漫反射颜色信息(即漫反射图层)和材质特征信息；将每个像素对应的着色点的几何缓冲信息及光线方向信息以及材质特征信息输入初始第二神经网络，获取每个像素对应的着色点的高光反射颜色信息(即高光反射图层)；根据每个像素对应的着色点的漫反射颜色信息与高光反射颜色信息，获取第二图像。
805：服务器根据各预设相机外参下获取的各第一图像以及各第二图像，获取目标贴图和目标第二神经网络。
本申请实施例中，获取目标贴图和目标第二神经网络的过程可以如图9所示：基于各渲染外参下的第一图像和第二图像对初始贴图和初始第二神经网络进行训练优化以获取优化后的目标贴图和目标第二神经网络，此时优化的内容包含初始贴图中的纹理内容及第二神经网络的权重系数。
具体的，本申请实施例中，可以通过使用一定的损失函数计算上述各第二图像及高质量第一图像两者的差异，并根据梯度算法不断调整优化初始贴图的纹理内容和初始第二神经网络的权重系统，直至收敛获得优化后的目标贴图和目标第二神经网络。
可以理解，本申请实施例中对初始贴图和初始第二神经网络的训练优化过程需要迭代运行上述步骤803-805，以获取最优的目标第一神经网络和第二神经网络。
例如，在第一次通过初始贴图和初始第二神经网络获取第二图像后，可以通过损失函数计算第一图像和第二图像的差异，根据梯度算法优化初始贴图和初始第二神经网络的权重，获取一次优化的贴图和第二神经网络。此时需要再次通过一次优化的贴图和第二神经网络获取第二图像，再次通过损失函数计算第一图像和第二图像的差异，根据梯度算法调整一次优化贴图和第二神经网络的权重，获取二次优化的第一神经网络和第二神经网络。重复上述步骤，直至收敛获得优化后的目标贴图和目标第二神经网络。
806：终端电子设备向服务器发送下发请求。
可以理解，本申请实施例中，步骤801与前述步骤307内容一致，此处不再详述。
807：服务器发送目标贴图和目标第二神经网络。
可以理解，本申请实施例中，步骤801与前述步骤308内容一致，此处不再详述。
808：终端电子设备基于目标贴图和目标第二神经网络，获取渲染结果。
可以理解，本申请实施例中，步骤801与前述步骤309内容一致，此处不再详述。
图8b示出了本申请实施例中一种渲染方法的流程示意图，其中图8b中的渲染方法可以由第一电子设备执行，其中，第一电子设备可以为服务器。如图8b所示，渲染方法可以包括：
901：获取待渲染目标的三维立体模型。
可以理解，本申请实施例中，步骤901与前述步骤301及步骤801内容一致，此处不再详述。
902：服务器获取对应于三维立体模型的多个预设相机外参下的各第一图像。
可以理解，本申请实施例中，步骤902与前述步骤302及步骤802内容一致，此处不再详述。
903：获取与所述第一图像对应的每个像素对应的着色点的基础信息。
可以理解，本申请实施例中，步骤903与前述步骤303及步骤803内容一致，此处不再详述。
904：基于所述每个像素对应的着色点的纹素坐标信息查询初始贴图并将所述每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像。
可以理解，本申请实施例中，步骤904与前述步骤804内容一致，此处不再详述。
905：根据各预设相机外参下获取的各第一图像以及各第二图像，获取目标贴图和目标第二神经网络。
可以理解，本申请实施例中，步骤905与前述步骤805内容一致，此处不再详述。
本申请实施例提供的渲染方法，依据渲染过程可叠加的原理对图层进行分解，通过第一神经网络烘焙后的目标贴图获取与视角无关的漫反射图层，通过目标第二神经网络获取与视角相关的高光反射图层。且将通过目标贴图获取的各像素对应的着色点的材质特征信息，作为目标第二神经网络的一个输入，可以使得第二神经网络可基于上述各像素对应的着色点的基础信息以及材质特征信息对不同拍摄角度或不同视角下的高光反射效果进行拟合，提高最终的渲染绘制质量。
本申请实施例提供的渲染方法将高算力的网络训练过程转移至服务器端运行，在终端电子设备的运行态过程中仅涉及光栅化过程、贴图查表过程及较浅的目标第二神经网络的推理过程，所涉及的计算量较小，因此，能够有效提升绘制速度，且可以用于算力较低的终端设备上，扩大了方案的适用范围。同时，由于较浅的神经网络可基于光栅化过程获取的着色点的基础信息及贴图提供的先验信息对高光反射效果进行拟合，因此保证即使在算力较弱的终端设备上也能得到较好的高阶反射效果，呈现不同视角自由视点下的三维立体模型的外观特征，即实现自由视点下的三维立体模型的高质量绘制。
本申请实施例还提供一种电子设备，电子设备为第二电子设备，如图10所示，第二电子设备包括：
第一获取单元，用于获取待渲染目标的三维立体模型；
第二获取单元，用于获取三维立体模型在设定的渲染相机外参下，各像素对应的着色点的基础信息；基础信息包括几何缓冲信息、光线方向信息和与目标贴图对应的纹素坐标信息；
查询单元，用于基于各像素对应的着色点的纹素坐标信息查询目标贴图的纹理内容，获取着色点的漫反射颜色信息以及材质特征信息；
第三获取单元，用于将着色点对应的材质特征信息、几何缓冲信息及光线方向信息输入目标第二神经网络，获取着色点对应的高光反射颜色信息；
渲染单元，用于根据着色点对应的漫反射颜色信息以及高光反射颜色信息，获取给定的渲染相机外参下对应的渲染图像。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明书附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的范围。
Claims (21)
1.一种渲染方法，其特征在于，应用于第一电子设备，包括：
获取待渲染目标的三维立体模型；
获取所述三维立体模型对应的第一图像；
获取与所述第一图像对应的每个像素对应的着色点的基础信息；其中，所述基础信息包括几何缓冲信息、光线方向信息和与初始贴图对应的纹素坐标信息；
将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询所述初始贴图，并将所述每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像；
基于所述第一图像和第二图像，得到对应的目标第一神经网络或目标贴图中的其中一个以及目标第二神经网络。
2.根据权利要求1所述的渲染方法，其特征在于，所述方法还包括：根据所述目标第一神经网络获取目标贴图。
3.根据权利要求2所述的渲染方法，其特征在于，所述根据所述目标第一神经网络获取目标贴图，包括：
获取所述初始贴图中各纹素坐标对应的所述三维立体模型上着色点的几何缓冲信息；
将所述初始贴图中各纹素坐标对应的所述三维立体模型上着色点的几何缓冲信息输入目标第一神经网络，获取所述初始贴图中各纹素坐标对应的着色点的漫反射颜色信息以及材质特征信息；
将所述初始贴图中各纹素坐标对应的着色点的漫反射颜色信息以及材质特征信息存储为所述初始贴图中各纹素的内容，得到目标贴图。
4.根据权利要求1-3任一项所述的渲染方法，其特征在于，还包括：
响应于第二电子设备的下发请求，将所述目标贴图和所述目标第二神经网络发送至第二电子设备。
5.根据权利要求1-4任一项所述的渲染方法，其特征在于，所述几何缓冲信息包括法线信息、位置信息和反照率信息。
6.根据权利要求1-5任一项所述的渲染方法，其特征在于，所述将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询初始贴图，并将所述每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像；包括：
将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询初始贴图的纹理内容，获取所述每个像素对应的着色点的漫反射颜色信息和材质特征信息；
将所述每个像素对应的着色点的几何缓冲信息及光线方向信息以及所述材质特征信息输入初始第二神经网络，获取所述每个像素对应的着色点的高光反射颜色信息；
根据所述每个像素对应的着色点的漫反射颜色信息与高光反射颜色信息，获取第二图像。
7.根据权利要求6所述的渲染方法，其特征在于，所述将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询初始贴图，获取所述每个像素对应的着色点的漫反射颜色信息和材质特征信息；包括：
将所述每个像素对应的着色点的几何缓冲信息进行位置编码以获取所述几何缓冲信息对应的位置编码信息；其中，所述位置编码信息所在的空间维度高于所述几何缓冲信息所在的空间维度；
将所述几何缓冲信息对应的位置编码信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询初始贴图的纹理内容，获取所述每个像素对应的着色点的漫反射颜色信息和材质特征信息。
8.根据权利要求1-7任一项所述的渲染方法，其特征在于，所述基于所述第一图像和第二图像，得到目标第一神经网络或目标贴图和目标第二神经网络；包括：
基于所述第一图像和所述第二图像的差异，对所述初始第一神经网络或所述初始贴图和初始第二神经网络进行优化处理，获取目标第一神经网络或目标贴图和目标第二神经网络。
9.根据权利要求1-8任一项所述的渲染方法，其特征在于，所述获取所述三维立体模型对应的第一图像，包括：
获取对应于所述三维立体模型的多个预设相机外参的第一图像。
10.根据权利要求9所述的渲染方法，其特征在于，所述获取对应于所述三维立体模型的多个预设相机外参的第一图像，包括：
根据所述三维立体模型中各个子场景的特征信息，确定所述各个子场景的预设相机外参；
基于所述各个子场景的预设相机外参对所述各个子场景进行渲染以获取对应于所述各个子场景的第一图像。
11.根据权利要求10所述的渲染方法，其特征在于，所述各个子场景的特征信息包括各个子场景的反光信息、颜色信息、几何信息和纹理信息；
所述各个子场景的预设相机外参包括所述各个子场景的拍摄位置、拍摄方向和拍摄数量。
12.根据权利要求1-11任一项所述的渲染方法，其特征在于，所述获取与所述第一图像对应的每个像素对应的着色点的基础信息，包括：
基于光栅化渲染方法获取所述第一图像对应的每个像素对应的着色点的基础信息。
13.根据权利要求1-12任一项所述的渲染方法，其特征在于，所述目标第一神经网络为多层感知器结构的神经网络；所述目标第二神经网络为多层感知器结构的神经网络。
14.根据权利要求13任一项所述的渲染方法，其特征在于，所述目标第一神经网络的复杂度大于所述目标第二神经网络的复杂度。
15.一种渲染方法，其特征在于，应用于第二电子设备，其特征在于，包括：
获取待渲染目标的三维立体模型；
获取所述三维立体模型在设定的渲染相机外参下，各像素对应的着色点的基础信息；所述基础信息包括几何缓冲信息、光线方向信息和与目标贴图对应的纹素坐标信息；
基于所述各像素对应的着色点的纹素坐标信息查询所述目标贴图的纹理内容，获取所述着色点的漫反射颜色信息以及材质特征信息；
将所述着色点的所述材质特征信息、所述几何缓冲信息及所述光线方向信息输入目标第二神经网络，获取所述着色点对应的高光反射颜色信息；
根据所述着色点对应的漫反射颜色信息以及高光反射颜色信息，获取给定的渲染相机外参下对应的渲染图像。
16.一种电子设备，其特征在于，所述电子设备为第一电子设备，
所述第一电子设备包括：
获取单元，用于获取待渲染目标的三维立体模型；
调度渲染单元，用于获取所述三维立体模型对应的第一图像；
调度渲染单元，还用于获取与所述第一图像对应的每个像素对应的着色点的基础信息；其中，所述基础信息包括几何缓冲信息、光线方向信息和与初始贴图对应的纹素坐标信息；
调度渲染单元，还用于将所述每个像素对应的着色点的几何缓冲信息输入初始第一神经网络或基于所述每个像素对应的着色点的纹素坐标信息查询所述初始贴图的纹理内容，并将所述每个像素对应的着色点的几何缓冲信息及光线方向信息输入初始第二神经网络，获取第二图像；
网络训练单元，用于基于所述第一图像和第二图像，得到目标第一神经网络或目标贴图和目标第二神经网络。
17.根据权利要求16所述的电子设备，其特征在于，所述第一电子设备还包括：
烘焙单元，用于根据所述目标第一神经网络获取目标贴图。
同步单元，用于响应于第二电子设备的下发请求，将所述目标贴图和所述目标第二神经网络发送至第二电子设备。
18.一种电子设备，其特征在于，所述电子设备为第二电子设备：所述第二电子设备包括：
第一获取单元，用于获取待渲染目标的三维立体模型；
第二获取单元，用于获取所述三维立体模型在设定的渲染相机外参下，各像素对应的着色点的基础信息；所述基础信息包括几何缓冲信息、光线方向信息和与目标贴图对应的纹素坐标信息；
查询单元，用于基于所述各像素对应的着色点的纹素坐标信息查询目标贴图的纹理内容，获取所述着色点的漫反射颜色信息以及材质特征信息；
第三获取单元，用于将所述着色点对应的所述材质特征信息、所述几何缓冲信息及光线方向信息输入目标第二神经网络，获取所述着色点对应的高光反射颜色信息；
渲染单元，用于根据所述着色点对应的漫反射颜色信息以及高光反射颜色信息，获取给定的渲染相机外参下对应的渲染图像。
19.一种电子设备，其特征在于，包括
存储器，用于存储由皮套键盘的一个或多个处理器执行的指令；
处理器，是所述电子设备的一个或多个处理器中的一个，用于执行权利要求1-15中任一项所述的渲染方法。
20.一种可读介质，其特征在于，所述可读介质上存储有指令，该指令在电子设备上执行时使机器执行权利要求1-15中任一项所述的渲染方法。
21.一种计算机程序产品，其特征在于，包括指令，所述指令用于执行权利要求1-15中任一项所述的渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210130363.1A CN116630518A (zh) | 2022-02-11 | 2022-02-11 | 一种渲染方法、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210130363.1A CN116630518A (zh) | 2022-02-11 | 2022-02-11 | 一种渲染方法、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116630518A true CN116630518A (zh) | 2023-08-22 |
Family
ID=87612131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210130363.1A Pending CN116630518A (zh) | 2022-02-11 | 2022-02-11 | 一种渲染方法、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630518A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116847127A (zh) * | 2023-08-31 | 2023-10-03 | 元内核(北京)科技有限公司 | 混合图像与加密远程传输系统、方法及设备 |
| CN117055668A (zh) * | 2023-10-13 | 2023-11-14 | 山西聚源生物科技有限公司 | 食用菌工厂化生产环境控制系统 |
| CN118587342A (zh) * | 2024-08-01 | 2024-09-03 | 云基智慧工程股份有限公司 | 三维场景渲染方法、装置、设备及存储介质 |
-
2022
- 2022-02-11 CN CN202210130363.1A patent/CN116630518A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116847127A (zh) * | 2023-08-31 | 2023-10-03 | 元内核(北京)科技有限公司 | 混合图像与加密远程传输系统、方法及设备 |
| CN116847127B (zh) * | 2023-08-31 | 2023-11-21 | 元内核(北京)科技有限公司 | 混合图像与加密远程传输系统、方法及设备 |
| CN117055668A (zh) * | 2023-10-13 | 2023-11-14 | 山西聚源生物科技有限公司 | 食用菌工厂化生产环境控制系统 |
| CN117055668B (zh) * | 2023-10-13 | 2023-12-12 | 山西聚源生物科技有限公司 | 食用菌工厂化生产环境控制系统 |
| CN118587342A (zh) * | 2024-08-01 | 2024-09-03 | 云基智慧工程股份有限公司 | 三维场景渲染方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11288857B2 (en) | Neural rerendering from 3D models | |
| KR102592633B1 (ko) | 이미지 렌더링 방법 및 관련 기기 | |
| CN116630518A (zh) | 一种渲染方法、电子设备及介质 | |
| KR101685866B1 (ko) | 가변 해상도 깊이 표현 | |
| WO2020114047A1 (zh) | 图像风格迁移及数据存储方法、装置和电子设备 | |
| CN110599593B (zh) | 数据合成的方法、装置、设备及存储介质 | |
| CN114640783B (zh) | 一种拍照方法及相关设备 | |
| CN113110731B (zh) | 媒体内容生成的方法和装置 | |
| JP2022030844A (ja) | 情報処理プログラム、情報処理装置及び情報処理方法 | |
| CN115965727A (zh) | 图像渲染方法、装置、设备及介质 | |
| CN107743637A (zh) | 用于处理外围图像的方法和设备 | |
| US20240037856A1 (en) | Walkthrough view generation method, apparatus and device, and storage medium | |
| CN117649478B (zh) | 模型训练方法、图像处理方法及电子设备 | |
| JP2024114712A (ja) | 撮像装置、撮像方法、及び、プログラム | |
| CN110070617B (zh) | 数据同步方法、装置、硬件装置 | |
| WO2022042111A1 (zh) | 视频图像显示方法、装置、多媒体设备以及存储介质 | |
| CN117582661A (zh) | 虚拟模型渲染方法、装置、介质及设备 | |
| CN116205806B (zh) | 一种图像增强方法及电子设备 | |
| CN118172476A (zh) | 光照估计方法和装置 | |
| CN116958395A (zh) | 虚拟模型的渲染方法、装置、电子设备及存储介质 | |
| CN115239575B (zh) | 美颜方法及装置 | |
| CN114549607A (zh) | 主体材质确定方法、装置、电子设备及存储介质 | |
| CN115439595A (zh) | 一种面向ar的室内场景动态光照在线估计方法与装置 | |
| CN117830490A (zh) | 一种渲染方法及装置 | |
| CN114078083A (zh) | 头发变换模型生成方法和装置、头发变换方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |