CN115953524B - 一种数据处理方法、装置、计算机设备及存储介质 - Google Patents
一种数据处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115953524B CN115953524B CN202310222220.8A CN202310222220A CN115953524B CN 115953524 B CN115953524 B CN 115953524B CN 202310222220 A CN202310222220 A CN 202310222220A CN 115953524 B CN115953524 B CN 115953524B
- Authority
- CN
- China
- Prior art keywords
- sample
- intersection point
- target
- normal
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本申请实施例公开了一种数据处理方法、装置、计算机设备及存储介质,可应用于人工智能场景,包括:获取纹理网格,通过虚拟相机对纹理网格中的像素p进行光线投射,得到光线投射参数;光线投射参数包括交点XP以及初始法线np;基于初始法线np对交点XP进行局部几何分析,得到交点XP对应的局部几何特征;局部几何特征包括目标法线Np以及位置编码局部特征;基于交点XP对应的业务交点特征、目标法线Np以及位置编码局部特征,确定像素p对应的业务渲染参数;在得到M个像素分别对应的业务渲染参数时,生成渲染增强图像。采用本申请实施例,可以实现增强渲染,并提升渲染效率。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、装置、计算机设备及存储介质。
背景技术
在对业务空间模型(例如,游戏空间模型)的纹理网格(mesh)进行渲染时,传统渲染技术往往使用人工代码进行渲染优化,尤其在纹理网格的网格数量太少时,最终渲染的业务空间模型没有立体感,甚至呈现低质量的空间呈现效果,要想解决该问题,需要开发人员花费大量的时间和精力来修复模型,这意味着传统渲染方式不仅渲染成本高,还严重影响渲染效率。
发明内容
本申请实施例提供一种数据处理方法、装置、计算机设备及存储介质,可以实现增强渲染,并提升渲染效率。
本申请实施例一方面提供一种数据处理方法,包括:
获取业务空间模型对应的纹理网格,通过虚拟相机对纹理网格中的像素p进行光线投射,得到像素p对应的光线投射参数;光线投射参数包括像素p对应的交点XP以及初始法线np;初始法线np为相机射线Rp与纹理网格的相交面的法线;相机射线Rp是指从虚拟相机的相机位置指向像素p的一条射线;交点XP是指将相机射线Rp投射在纹理网格上的第一个交点;p为小于或者等于M的正整数;M用于表示纹理网格中的像素总数量;M为正整数;
基于初始法线np对交点XP进行局部几何分析,得到交点XP对应的局部几何特征;局部几何特征包括目标法线Np以及位置编码局部特征;目标法线Np是对初始法线np进行偏移量预测后所得到的;
基于交点XP对应的业务交点特征、目标法线Np以及位置编码局部特征,确定像素p对应的业务渲染参数;
在得到M个像素分别对应的业务渲染参数时,生成业务空间模型对应的渲染增强图像。
本申请实施例一方面提供一种数据处理方法,包括:
获取用于对初始增强渲染模型进行训练的样本空间模型,确定样本空间模型对应的样本纹理网格中的样本像素以及样本像素对应的样本标签;样本标签用于指示样本像素的实际渲染参数;
将样本纹理网格输入至初始增强渲染模型,通过虚拟相机对样本像素进行光线投射,得到样本像素对应的样本投射参数;样本投射参数包括样本像素对应的样本交点以及初始样本法线;初始样本法线为样本相机射线与样本纹理网格的相交面的法线;样本交点是指将样本相机射线投射在样本纹理网格上的第一个交点;
基于初始样本法线对样本交点进行局部几何分析,得到样本交点对应的局部几何特征,基于样本交点对应的样本交点特征以及样本交点对应的局部几何特征,确定样本像素的预测渲染参数,基于实际渲染参数以及预测渲染参数,对初始增强渲染模型进行训练,得到目标增强渲染模型;目标增强渲染模型用于对业务空间模型进行颜色渲染。
本申请实施例一方面提供一种数据处理装置,包括:
光线投射模块,用于获取业务空间模型对应的纹理网格,通过虚拟相机对纹理网格中的像素p进行光线投射,得到像素p对应的光线投射参数;光线投射参数包括像素p对应的交点XP以及初始法线np;初始法线np为相机射线Rp与纹理网格的相交面的法线;相机射线Rp是指从虚拟相机的相机位置指向像素p的一条射线;交点XP是指将相机射线Rp投射在纹理网格上的第一个交点;p为小于或者等于M的正整数;M用于表示纹理网格中的像素总数量;M为正整数;
几何分析模块,用于基于初始法线np对交点XP进行局部几何分析,得到交点XP对应的局部几何特征;局部几何特征包括目标法线Np以及位置编码局部特征;目标法线Np是对初始法线np进行偏移量预测后所得到的;
渲染参数确定模块,用于基于交点XP对应的业务交点特征、目标法线Np以及位置编码局部特征,确定像素p对应的业务渲染参数;
图像生成模块,用于在得到M个像素分别对应的业务渲染参数时,生成业务空间模型对应的渲染增强图像。
其中,该光线投射模块包括:
像素确定单元,用于获取业务空间模型对应的纹理网格,从纹理网格中确定像素p;
相机位置确定单元,用于基于与业务空间模型相关联的单位球体,确定用于对纹理网格进行光线投射的虚拟相机的相机位置;
光线投射单元,用于通过虚拟相机对纹理网格进行光线投射,将从相机位置指向像素p的一条射线确定为像素p对应的相机射线Rp;
交点确定单元,用于将相机射线Rp投射在纹理网格上的第一个交点确定为像素p对应的交点XP,将相机射线Rp与纹理网格的相交面的法线确定为像素p对应的初始法线np;
投射参数确定单元,用于将交点XP与初始法线np确定为像素p对应的光线投射参数。
其中,该相机位置确定单元包括:
缩放子单元,用于获取与业务空间模型相关联的单位球体,在单位球体中对纹理网格进行缩放;
视图确定子单元,用于在包含缩放后的纹理网格的单位球体上确定锚点视图,将以锚点视图为中心的分布确定为相机位置分布;
位置确定子单元,用于基于相机位置分布,确定用于对纹理网格进行光线投射的虚拟相机的相机位置。
其中,光线投射参数是通过目标增强渲染模型对纹理网格进行光线投射后所得到的;目标增强渲染模型包括目标通用网络层和目标特征拼接层;
该几何分析模块包括:
偏移量预测单元,用于将交点XP以及初始法线np输入至目标通用网络层,通过目标通用网络层,对初始法线np进行偏移量预测,得到初始法线np对应的偏移量特征;
目标法线特征确定单元,用于将偏移量特征、初始法线np以及交点XP输入至目标特征拼接层,通过目标特征拼接层进行特征提取,得到目标法线特征;目标法线特征用于表示目标法线Np;
局部几何特征确定单元,用于获取针对目标法线Np的位置编码局部特征,将位置编码局部特征以及目标法线Np确定为交点XP对应的局部几何特征。
其中,目标通用网络层包括第一位置编码子层和多层感知子层;
该偏移量预测单元包括:
第一输入子单元,用于将交点XP以及初始法线np输入至目标通用网络层;
第一局部特征提取子单元,用于通过第一位置编码子层,对交点XP以及初始法线np分别进行局部边缘特征提取,得到交点XP对应的第一交点编码特征以及初始法线np对应的初始法线特征;
偏移量预测子单元,用于将第一交点编码特征以及初始法线特征输入至多层感知子层,通过多层感知子层,对初始法线np进行偏移量预测,得到初始法线np对应的偏移量特征。
其中,目标特征拼接层包括第二位置编码子层和单层网络子层;
该目标法线特征确定单元包括:
第二输入子单元,用于将偏移量特征、初始法线np以及交点XP输入至目标特征拼接层,对初始法线np以及偏移量特征进行叠加处理,得到叠加特征;
第二局部特征提取子单元,用于将叠加特征以及交点XP输入至第二位置编码子层,通过第二位置编码子层,对叠加特征进行局部边缘特征提取,得到叠加编码特征;
目标法线特征确定子单元,用于将叠加编码特征输入至单层网络子层,通过单层网络子层对叠加编码特征进行特征提取,得到目标法线特征。
其中,该渲染参数确定模块包括:
业务特征获取单元,用于获取交点XP对应的业务交点特征;业务交点特征包括交点XP所在网格的网格顶点像素、交点XP对应的材质参数、交点XP对应的环境映射图以及相机射线Rp对应的观察方向;环境映射图是基于交点XP对应的交点函数所构建的;
特征输入单元,用于将交点XP对应的业务交点特征以及目标法线Np输入至目标增强渲染模型中的目标光线网络层;目标增强渲染模型用于对业务空间模型进行颜色渲染;
第一模拟单元,用于通过目标光线网络层、网格顶点像素、目标法线Np以及材质参数,对交点XP进行光源反射模拟,得到交点XP对应的反射参数;
第二模拟单元,用于通过目标光线网络层、环境映射图、目标法线Np以及观察方向,对交点XP进行光源特征模拟,分别输出交点XP对应的粗糙度、光谱、亮度和光照度;
渲染参数确定单元,用于基于反射参数、粗糙度、光谱、亮度、光照度以及位置编码局部特征,确定像素p对应的业务渲染参数。
其中,目标光线网络层包括漫反射网络层和表面反射网络层;漫反射网络层包括第三位置编码子层和全连接网络子层;
该第一模拟单元包括:
漫反射确定子单元,用于在将网格顶点像素以及目标法线Np输入至漫反射网络层时,通过第三位置编码子层,对交点XP进行全局特征提取,得到交点XP对应的第二交点编码特征,通过全连接网络子层对第二交点编码特征进行特征提取处理,得到交点XP对应的漫反射反照率参数;
表面反射确定子单元,用于在将网格顶点像素、目标法线Np以及材质参数输入至表面反射网络层时,通过表面反射网络层对交点XP进行特征提取处理,得到交点XP对应的表面反射参数;
反射参数确定子单元,用于对漫反射反照率参数以及表面反射参数进行叠加处理,将叠加处理后的参数确定为交点XP对应的反射参数。
其中,该渲染参数确定单元包括:
遍历子单元,用于将反射参数、粗糙度、光谱、亮度以及光照度分别确定为光线参数集合,对光线参数集合进行遍历,将遍历到的参数确定为待处理参数;
叠加子单元,用于对待处理参数和位置编码局部特征进行叠加处理,将叠加处理后的参数确定为待渲染参数;
渲染参数确定子单元,用于在结束遍历时,获取光线参数集合中的每个参数分别对应的待渲染参数,基于获取到的待渲染参数,确定像素p对应的业务渲染参数。
其中,该装置还包括:
规则获取模块,用于获取针对渲染增强图像的能量确定规则;能量确定规则包括能量允许范围;能量允许范围是由第一能量阈值和第二能量阈值所构成的能量区间;第二能量阈值大于第一能量阈值;
能量参数确定模块,用于基于能量确定规则,确定渲染增强图像的能量参数;
重新渲染模块,用于若能量参数不属于能量允许范围,则确定渲染增强图像的渲染结果指示渲染失败,且基于纹理网格,重新对业务空间模型进行渲染。
其中,该装置还包括:
图像输入模块,用于若能量参数属于能量允许范围,且业务空间模型属于游戏空间模型,则将渲染增强图像输入至游戏空间模型对应的游戏客户端;
评估模块,用于通过游戏客户端对渲染增强图像进行评估,得到渲染增强图像的评估参数;
调试模块,用于在渲染增强图像的评估参数小于评估参数阈值时,对渲染增强图像的纹理网格进行调试。
本申请实施例一方面提供一种数据处理装置,包括:
样本获取模块,用于获取用于对初始增强渲染模型进行训练的样本空间模型,确定样本空间模型对应的样本纹理网格中的样本像素以及样本像素对应的样本标签;样本标签用于指示样本像素的实际渲染参数;
样本投射模块,用于将样本纹理网格输入至初始增强渲染模型,通过虚拟相机对样本像素进行光线投射,得到样本像素对应的样本投射参数;样本投射参数包括样本像素对应的样本交点以及初始样本法线;初始样本法线为样本相机射线与样本纹理网格的相交面的法线;样本交点是指将样本相机射线投射在样本纹理网格上的第一个交点;
模型训练模块,用于基于初始样本法线对样本交点进行局部几何分析,得到样本交点对应的局部几何特征,基于样本交点对应的样本交点特征以及样本交点对应的局部几何特征,确定样本像素的预测渲染参数,基于实际渲染参数以及预测渲染参数,对初始增强渲染模型进行训练,得到目标增强渲染模型;目标增强渲染模型用于对业务空间模型进行颜色渲染。
其中,初始增强渲染模型包括初始通用网络层和初始光线网络层;
该模型训练模块包括:
样本几何分析单元,用于将初始样本法线以及样本交点输入至初始通用网络层,通过初始通用网络层对样本交点进行局部几何分析,得到样本交点对应的预测样本法线;
第一训练单元,用于基于预测样本法线以及初始样本法线,对初始通用网络层进行训练,得到目标通用网络层;目标通用网络层用于输出样本交点对应的局部几何特征;样本交点对应的局部几何特征包括目标样本法线以及针对目标样本法线的样本编码局部特征;
样本特征获取单元,用于获取样本交点对应的样本交点特征,将样本交点特征以及目标样本法线输入至初始光线网络层,通过初始光线网络层以及样本编码局部特征,确定样本像素的预测渲染参数;
第二训练单元,用于基于预测渲染参数以及实际渲染参数,对初始光线网络层进行训练,得到目标光线网络层;
目标模型确定单元,用于将包含目标通用网络层和目标光线网络层的初始增强渲染模型确定为目标增强渲染模型。
本申请一方面提供了一种计算机设备,包括:处理器、存储器、网络接口;
处理器与存储器、网络接口相连,其中,网络接口用于提供数据通信功能,存储器用于存储计算机程序,处理器用于调用计算机程序,以使得计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行本申请实施例中的方法。
在本申请实施例中,计算机设备在获取到业务空间模型对应的纹理网格时,首先可以通过虚拟相机对纹理网格中的像素p进行光线投射,得到像素p对应的光线投射参数(即包括像素p对应的交点XP以及初始法线np)。其中,这里的初始法线np为相机射线Rp与纹理网格的相交面的法线;交点XP是指将相机射线Rp投射在纹理网格上的第一个交点;相机射线Rp是指从虚拟相机的相机位置指向像素p的一条射线。p为小于或者等于M的正整数;M可以用于表示纹理网格中的像素总数量;M为正整数。然后,计算机设备可以快速基于初始法线np对交点XP进行局部几何分析,得到交点XP对应的局部几何特征(即包括目标法线Np以及位置编码局部特征)。其中,这里的目标法线Np是对初始法线np进行偏移量预测后所得到的。这时,该计算机设备能够基于交点XP对应的业务交点特征、目标法线Np以及位置编码局部特征,快速且准确的确定像素p对应的业务渲染参数,进而在得到M个像素分别对应的业务渲染参数时,生成业务空间模型对应的渲染增强图像。由此可见,本申请实施例提供的渲染方式无需关注纹理网格的网格数量,即无论纹理网格是包含少数面的低质量网格,还是包含多数面的高质量网格,均可以为该纹理网格中的任意一个像素分配高级引擎照明外观(即进行光线投射所得到的光线投射参数)和局部几何细节(即进行局部几何分析所得到的局部几何特征),以便于后续能够得到用于准确表征像素的业务渲染参数,从而快速生成业务空间模型对应的渲染增强图像,这意味着本申请实施例提供的渲染方式不仅能够实现增强渲染,还因整个渲染过程无需人工参与,进而有效提高了渲染效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图;
图2是本申请实施例提供的一种目标增强渲染模型的模型架构图;
图3是本申请实施例提供的一种数据处理方法的流程示意图;
图4是本申请实施例提供的一种确定像素p对应的局部几何特征的场景示意图;
图5是本申请实施例提供的另一种数据处理方法的流程示意图;
图6是本申请实施例提供的一种数据处理装置的结构示意图;
图7是本申请实施例提供的另一种数据处理装置的结构示意图;
图8是本申请实施例提供的一种计算机设备的示意图;
图9是本申请实施例提供的一种数据处理系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,本申请实施例提供了一种对业务空间模型对应的纹理网格进行颜色渲染的方法,该方法可应用于人工智能领域。其中,所谓人工智能(ArtificialIntelligence,简称AI)是利用数字计算机或者数字计算机控制的计算模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
其中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
请参见图1,图1是本申请实施例提供的一种网络架构的结构示意图。如图1所示,该网络架构可以包括服务器10F和终端设备集群。该终端设备集群可以包括一个或者多个终端设备。如图1所示,该终端设备集群具体可以包括终端设备100a、终端设备100b、终端设备100c、…、终端设备100n。如图1所示,终端设备100a、终端设备100b、终端设备100c、…、终端设备100n可以分别与上述服务器10F进行网络连接,以便于每个终端设备可以通过该网络连接与服务器10F进行数据交互。其中,这里的网络连接不限定连接方式,可以通过有线通信方式进行直接或间接地连接,也可以通过无线通信方式进行直接或间接地连接,还可以通过其他方式,本申请在此不做限制。
其中,该终端设备集群中的每个终端设备均可以包括:智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等具有数据处理功能的智能终端。应当理解,如图1所示的终端设备集群中的每个终端设备均可以安装有应用客户端,当该应用客户端运行于各终端设备中时,可以分别与上述图1所示的服务器10F之间进行数据交互。其中,该应用客户端可以为独立的客户端,也可以为集成在某客户端(例如,社交客户端、教育客户端以及多媒体客户端等)中的嵌入式子客户端,在此不做限定。
如图1所示,本申请实施例中的服务器10F可以为该应用客户端对应的服务器。该服务器10F可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。其中,本申请实施例将不对终端设备和服务器的数量进行限制。
为便于理解,本申请实施例可以在图1所示的多个终端设备中选择一个终端设备作为目标终端设备。例如,本申请实施例可以将图1所示的终端设备100a作为目标终端设备,该目标终端设备中可以集成有应用客户端(例如,游戏客户端)。此时,该目标终端设备可以通过该应用客户端对应的业务数据平台与服务器10F之间实现数据交互。其中,这里的应用客户端可以运行有已经训练完成的增强渲染模型(即目标增强渲染模型),该目标增强渲染模型是一种基于人工智能的增强渲染表达模型,即用于对业务空间模型对应的纹理网格进行颜色渲染的神经网络模型,换言之,本申请实施例通过该目标增强渲染模型,可以批量性的对多个业务空间模型进行渲染,以便后续根据渲染后的渲染增强图像在应用客户端中实现快速调试,进而可以快速对一些低质量的、不合格的纹理网格进行替换或调试处理。其中,这里的业务空间模型可以为用于在游戏客户端中显示的游戏空间模型,例如,与某游戏相关联的虚拟枪、虚拟球、虚拟鞋等。当然,该业务空间模型还可以为其他场景下的空间模型,例如,仿真客户端中用于进行碰撞试验的虚拟车辆等,这里将不对其进行一一举例。
在本申请实施例中,具有模型应用功能的计算机设备可以为图1所示的服务器10F,也可以为图1所示的终端设备集群中的任意一个终端设备,例如,终端设备100a,这里将不对计算机设备的具体形式进行限定。应当理解,该计算机设备在对业务空间模型进行颜色渲染时,需要获取业务空间模型对应的纹理网格,进而以纹理网格中的像素为粒度进行渲染。其中,这里的纹理网格中的像素总数量可以用M表示,M为正整数。
可以理解的是,该计算机设备能够通过目标增强渲染模型,将高级引擎照明外观和局部几何细节一并分配至纹理网格的像素p(p为小于或者等于M的正整数)上,即通过像素p对应的光线投射参数,得到能够更加精准表征像素p对应的交点XP的局部几何特征(即包括目标法线Np和位置编码局部特征),进而后续可以基于交点XP对应的业务交点特征、目标法线Np以及位置编码局部特征,准确的确定像素p对应的业务渲染参数。在得到M个像素分别对应的业务渲染参数时,该计算机设备可以根据M个业务渲染参数实现增强渲染,以生成业务空间模型对应的渲染增强图像。此外,由于整个渲染过程无需人工参与,极大程度的减少了时间成本,进而使得渲染效率得到了有效提高。
为便于理解,进一步地,请参见图2,图2是本申请实施例提供的一种目标增强渲染模型的模型架构图。如图2所示,本申请实施例中的计算机设备可以为具备数据处理功能的计算机设备,该计算机设备可以为上述图1所示的终端设备集群中的任意一个终端设备,例如,终端设备100a,该计算机设备也可以为上述图1所示的服务器10F,这里将不对计算机设备进行限定。
其中,本申请实施例可以将需要进行渲染的空间模型(例如,3D模型)称之为业务空间模型。可以理解的是,在应用客户端为游戏客户端时,计算机设备可以使用游戏引擎,在游戏客户端中针对业务空间模型(例如,与某游戏相关联的虚拟鞋)进行提取,得到渲染速度较慢的纹理网格,例如,图2所示的纹理网格20G。该纹理网格20G可以为包含少数面的低质量网格,也可以为包含多数面的高质量网格,这里将不对纹理网格20G的网格数量进行限定。为便于阐述,该纹理网格20G中所包括的像素的总数量可以用M表示,M为正整数。
如图2所示,本申请实施例中的计算机设备所运行的目标增强渲染模型可以为增强渲染模型200W。该增强渲染模型200W可以包括光线网络层21L(即目标光线网络层)、通用网络层22L(即目标通用网络层)以及特征拼接层23L(即目标特征拼接层)。其中,光线网络层21L可以用于对纹理网格所包含M个像素中的每个像素进行光源模拟处理;通用网络层22L可以用于对每个像素进行局部几何分析;特征拼接层23L用于将通用网络层22L输出的偏移量特征以及初始法线np进行特征拼接,得到预测后的目标法线Np。
应当理解,该计算机设备在获取到纹理网格20G时,可以将该纹理网格20G输入至增强渲染模型200W,通过该增强渲染模型200W中的虚拟相机(例如,虚拟相机20C)、光线网络层21L、通用网络层22L以及特征拼接层23L,对纹理网格20G中的每个像素依次进行相同的特征提取处理,以得到每个像素对应的业务渲染参数。为便于理解,本申请实施例可以以M个像素中的像素p为例,用以阐述计算机设备获取业务渲染参数的具体实施方式,其中,这里的p为小于或者等于M的正整数。
如图2所示,该计算机设备可以通过虚拟相机20C,对像素p进行光线投射,进而可以得到该像素p对应的光线投射参数。其中,这里的光线投射参数可以包括像素p对应的交点XP以及初始法线np,该交点XP是指将相机射线Rp投射在纹理网格20G上的第一个交点;该初始法线np可以为相机射线Rp与纹理网格20G的相交面的法线,且相机射线Rp是指从虚拟相机20C的相机位置指向像素p的一条射线。
首先,该计算机设备可以将交点XP以及初始法线np一并输入至通用网络层22L,进而可以通过通用网络层22L以及特征拼接层23L,对交点XP进行局部几何分析,得到能够充分表征交点XP的局部几何特征。其中,这里的局部几何特征可以包括目标法线Np以及针对该目标法线Np的位置编码局部特征。其中,这里的目标法线Np是该计算机设备通过特征拼接层23L,对初始法线np以及偏移量特征(通过通用网络层22L所预测的)进行特征拼接后所得到的。
然后,该计算机设备可以获取交点XP对应的业务交点特征(例如,交点XP所在网格的网格顶点像素、交点XP对应的材质参数、交点XP对应的环境映射图、相机射线Rp对应的观察方向),进而可以将该交点XP对应的业务交点特征、目标法线Np一并输入至光线网络层21L,由光线网络层21L分别输出交点XP对应的反射参数、粗糙度、光谱、亮度和光照度,进而可以基于该反射参数、粗糙度、光谱、亮度、光照度以及位置编码局部特征,确定像素p对应的业务渲染参数。
在得到M个像素分别对应的业务渲染参数时,该计算机设备可以通过该增强渲染模型200W对这M个业务渲染参数进行颜色渲染,快速生成业务空间模型对应的渲染增强图像(例如,图2所示渲染增强图像20T)。由此可见,本申请实施例可以通过已经训练完成的增强渲染模型200W,将高级引擎照明外观和局部几何细节一并分配至纹理网格20G,以实现增强渲染,生成业务空间模型对应的渲染增强图像。此外,由于整个渲染过程无需人工参与,极大程度的减少了时间成本,进而使得渲染效率得到了有效提高。
其中,具备数据处理功能的计算机设备通过一种基于人工智能的目标增强渲染模型,对业务空间模型对应的纹理网格进行颜色渲染的具体实现方式可以参见下述图3-图5所对应的实施例。
进一步地,请参见图3,图3是本申请实施例提供的一种数据处理方法的流程示意图。如图3所示,该方法可以由具备数据处理功能的计算机设备执行,该计算机设备可以为终端设备(例如,上述图1所示的终端设备集群中的任意一个终端设备,例如,具备模型应用功能的终端设备100a),也可以为服务器(例如,上述图1所示的服务器10F),在此不做限定。为便于理解,本申请实施例以该方法由具备数据处理功能的服务器执行为例进行说明,该方法至少可以包括以下步骤S101-步骤S104:
步骤S101,获取业务空间模型对应的纹理网格,通过虚拟相机对纹理网格中的像素p进行光线投射,得到像素p对应的光线投射参数。
具体地,计算机设备可以获取业务空间模型对应的纹理网格,从纹理网格中确定像素p。其中,p为小于或者等于M的正整数;M用于表示纹理网格中的像素总数量;M为正整数。进一步地,该计算机设备可以基于与业务空间模型相关联的单位球体,确定用于对纹理网格进行光线投射的虚拟相机的相机位置,进而可以通过虚拟相机对纹理网格进行光线投射,将从相机位置指向像素p的一条射线确定为像素p对应的相机射线Rp。此时,该计算机设备可以将相机射线Rp投射在纹理网格上的第一个交点确定为像素p对应的交点XP,将相机射线Rp与纹理网格的相交面(例如,相交面fp)的法线确定为像素p对应的初始法线np,进而可以将交点XP与初始法线np确定为像素p对应的光线投射参数。
具体地,这里的相机射线Rp可以用下述公式(1)所表示:
其中,这里的c可以用于表示虚拟相机的相机位置;t用于表示视角角度,该视角角度的取值范围可以为[0,360]或者映射到[0,∞];vp用于表示观察方向。
应当理解,在获取到业务空间模型对应的纹理网格时,该计算机设备可以获取用于对业务空间模型进行颜色渲染的目标增强渲染模型(例如,上述图2所示的增强渲染模型),进而可以将该纹理网格输入至目标增强渲染模型中,以使通过目标增强渲染模型对纹理网格中的每个像素均进行光线投射。
首先,该计算机设备需要确定虚拟相机的相机位置。可以理解的是,该计算机设备可以获取与业务空间模型相关联的单位球体,进而能够在该单位球体中对纹理网格进行缩放。进一步地,该计算机设备可以在包含缩放后的纹理网格的单位球体上确定锚点视图,进而将以锚点视图为中心的分布确定为相机位置分布(例如,高斯分布)。此时,该计算机设备可以基于相机位置分布,确定用于对纹理网格进行光线投射的虚拟相机的相机位置。比如,该计算机设备可以基于相机位置分布,随机确定一个位置作为虚拟相机的相机位置,其方向向量可以设置在单位边界球的原点。其中,这里的单位边界球是指覆盖在业务空间模型表面的球网格。
然后,该机计算机设备可以通过虚拟相机对纹理网格进行光线投射,得到每个像素对应的光线投射参数。比如,若纹理网格中的像素的数量以3个为例,具体可以包括像素1、像素2以及像素3,那么,该机计算机设备在通过虚拟相机对纹理网格进行光线投射后所得到的光线投射参数可以包括像素1的光线投射参数、像素2的光线投射参数以及像素3的光线投射参数。其中,像素1的光线投射参数可以包括交点X1以及初始法线n1,该初始法线n1为相机射线R1与纹理网格的相交面(例如,相交面f1)的法线;像素2的光线投射参数可以包括交点X2以及初始法线n2,该初始法线n2为相机射线R2与纹理网格的相交面(例如,相交面f2)的法线;像素3的光线投射参数可以包括交点X3以及初始法线n3,该初始法线n3为相机射线R3与纹理网格的相交面(例如,相交面f3)的法线。
步骤S102,基于初始法线np对交点XP进行局部几何分析,得到交点XP对应的局部几何特征。
其中,光线投射参数是通过目标增强渲染模型对纹理网格进行光线投射后所得到的;该目标增强渲染模型包括目标通用网络层(例如,上述图2所示的通用网络层22L)和目标特征拼接层(例如,上述图2所示的特征拼接层23L)。这里的局部几何分析是指在对交点XP在纹理网格中的局部边缘位置信息进行特征提取的基础上,对初始法线np进行偏移量预测,从而使得后续得到的局部几何特征能够更加充分的表示像素p在纹理网格上的几何细节。具体地,该计算机设备可以将交点XP以及初始法线np输入至目标通用网络层,进而可以通过目标通用网络层,对初始法线np进行偏移量预测,得到初始法线np对应的偏移量特征。然后,该计算机设备可以将偏移量特征、初始法线np以及交点XP输入至目标特征拼接层,进而可以通过目标特征拼接层进行特征提取,得到目标法线特征。其中,这里的目标法线特征可以用于表示目标法线Np。进一步地,该计算机设备可以获取针对目标法线Np的位置编码局部特征,将位置编码局部特征以及目标法线Np确定为交点XP对应的局部几何特征。
具体地,计算机设备对初始法线np进行偏移量预测得到目标法线Np的具体实施方式可以参见下述公式(2)-(6):
其中,β可以用于表示一个用于合成高频细节的位置编码子层,即用于进行局部边缘特征提取的位置编码子层;B1可以用于一个随机高斯矩阵,是随机抽取的服从ñ(0,σ2)分布。
其中,用于表示初始法线np对应的偏移量特征;net2可以用于表示目标通用网络层中的多层感知子层,即用于预测法线偏移量的多层感知器全连接的神经网络,且该多层感知子层/>,Wi用于表示感知器权重,b用于表示偏置值,a用于表示输入神经元,即表示位置编码特征;β可以用于表示上述公式(3)所示的位置编码子层(即第一位置编码子层);xp可以用于表示像素p对应的交点;γ可以用于表示引擎(例如,游戏引擎)所提取的固定常数,例如,0.74。
为了在渲染时为纹理网格提供更多的几何细节,对于每一个像素对应的交点和初始法线,均需要通过目标通用网络层对初始法线进行偏移量预测。其中,本申请实施例可以将目标通用网络层中的用于进行局部边缘特征提取的位置编码子层称之为第一位置编码子层。
可以理解的是,在得到像素p对应的光线投射参数后,该计算机设备可以将交点XP以及初始法线np输入至目标通用网络层,进而可以通过目标通用网络层中的第一位置编码子层,对交点XP以及初始法线np分别进行局部边缘特征提取,以得到交点XP对应的第一交点编码特征以及初始法线np对应的初始法线特征。进一步地,该计算机设备可以将第一交点编码特征以及初始法线特征输入至目标通用网络层中的多层感知子层,进而可以通过多层感知子层,对初始法线np进行偏移量预测,得到初始法线np对应的偏移量特征。换言之,该计算机设备可以按照上述公式(3),对交点XP以及初始法线np分别进行局部边缘特征提取,以得到交点XP对应的第一交点编码特征以及初始法线np对应的初始法线特征,进而通过公式(4),对初始法线np进行偏移量预测,得到初始法线np对应的偏移量特征。
进一步地,该计算机设备需要通过目标增强渲染模型中的目标特征拼接层,对偏移量特征和初始法线进行拼接处理,以得到像素p对应的目标法线Np。其中,本申请实施例可以将目标特征拼接层中的用于进行局部边缘特征提取的位置编码子层称之为第二位置编码子层。
该计算机设备可以将偏移量特征、初始法线np以及交点XP输入至目标特征拼接层,进而可以按照上述公式(5),对初始法线np以及偏移量特征进行叠加处理,得到叠加特征。进一步地,该计算机设备可以将叠加特征以及交点XP输入至第二位置编码子层,通过第二位置编码子层,对叠加特征进行局部边缘特征提取,得到叠加编码特征,并将叠加编码特征输入至单层网络子层,通过单层网络子层对叠加编码特征进行特征提取,得到目标法线特征。其中,这里的目标法线特征用于根据上述公式(6),确定像素p对应的目标法线Np。
为便于理解,进一步地,请参见图4,图4是本申请实施例提供的一种确定像素p对应的局部几何特征的场景示意图。其中,本申请实施例中的目标增强渲染模型可以包括图4所示通用网络层42L(即目标通用网络层)以及特征拼接层43L(即目标特征拼接层)。可以理解的是,该通用网络层42L可以为上述图2所对应实施例中的通用网络层22L;该特征拼接层43L可以为上述图2所对应实施例中的特征拼接层23L。
如图4所示,该通用网络层42L可以包括位置编码子层42L1(即第一位置编码子层)和多层感知子层42L2。其中,该位置编码子层42L1可以用于对输入至该层的特征进行局部边缘特征提取;多层感知子层42L2可以用于对输入至该层的特征进行特征提取。特征拼接层43L可以包括位置编码子层43L1(即第二位置编码子层)和单层网络子层43L2。其中,该位置编码子层43L1可以用于对输入至该层的特征进行局部边缘特征提取;多层感知子层43L2可以用于对输入至该层的特征进行特征提取。
可以理解的是,在得到像素p对应的光线投射参数(即包括像素p对应的交点Xp和初始法线np)后,该计算机设备可以将交点XP以及初始法线np一并输入至图4所示的通用网络层42L,进而可以通过位置编码子层42L1以及上述公式(3),对交点XP以及初始法线np分别进行局部边缘特征提取,以得到交点XP对应的交点编码特征(即第一交点编码特征)以及初始法线np对应的初始法线特征。进一步地,该计算机设备可以将该第一交点编码特征以及初始法线特征一并输入至多层感知子层42L2,进而可以通过多层感知子层42L2以及上述公式(4),对初始法线np进行偏移量预测,得到初始法线np对应的偏移量特征。
该计算机设备可以将偏移量特征、初始法线np以及交点XP一并输入至特征拼接层43L,通过该特征拼接层43L对初始法线np以及偏移量特征进行叠加处理,得到叠加特征。进一步地,该计算机设备可以将叠加特征以及交点XP输入至位置编码子层43L1,通过该位置编码子层43L1以及上述公式(3),对叠加特征进行局部边缘特征提取,从而可以得到叠加编码特征。这时,该计算机设备需要将叠加编码特征输入至单层网络子层43L2,通过单层网络子层43L2以及上述公式(5),对叠加编码特征进行特征提取,得到目标法线特征。其中,这里的目标法线特征用于根据上述公式(6),确定像素p对应的目标法线Np。
其中,可以理解的是,这里的通用网络层42L不仅可以输出对初始法线np进行偏移量预测后所得到的偏移量特征,还可以输出针对目标法线Np的位置编码局部特征,以便于后续能够得到包含局部几何细节的渲染参数。其中,本申请实施例可以将位置编码局部特征以及目标法线Np一并确定为交点XP对应的局部几何特征(又称像素p的局部几何特征)。
步骤S103,基于交点XP对应的业务交点特征、目标法线Np以及位置编码局部特征,确定像素p对应的业务渲染参数。
具体地,该计算机设备可以获取交点XP对应的业务交点特征。其中,这里的业务交点特征可以包括交点XP所在网格的网格顶点像素、交点XP对应的材质参数、交点XP对应的环境映射图以及相机射线Rp对应的观察方向。该环境映射图是基于交点XP对应的交点函数所构建的。进一步地,该计算机设备可以将交点XP对应的业务交点特征以及目标法线Np输入至目标增强渲染模型中的目标光线网络层,进而可以通过目标光线网络层、网格顶点像素、目标法线Np以及材质参数,对交点XP进行光源反射模拟,得到交点XP对应的反射参数。与此同时,该计算机设备还可以通过目标光线网络层、环境映射图、目标法线Np以及观察方向,对交点XP进行光源特征模拟,分别输出交点XP对应的粗糙度、光谱、亮度和光照度。进一步地,该计算机设备可以基于反射参数、粗糙度、光谱、亮度、光照度以及位置编码局部特征,确定像素p对应的业务渲染参数。其中,这里的目标增强渲染模型可以用于对业务空间模型进行颜色渲染。
应当理解,为了生成的对象风格更加逼真,本申请实施例在对业务空间模型进行外观建模时,不仅需要对原来的初始法线进行偏移量预测,还需要构建环境映射图,以便于后续通过光线网络层进行光源模拟处理(即包括光源反射模拟以及光源特征模拟)。其中,这里光线网络层可以包括宽度为256的隐藏层,用于预测每个表面点的反射参数(即漫反射反照率参数以及表面反射参数)、粗糙度,光谱,亮度和光照度,最后达到逼真渲染的效果。
具体地,为了构建某一像素的环境映射图,本申请实施例可以使用球形高斯(SG)来有效逼近封闭形式的渲染规则,可以理解的是,一个n维球面高斯用于表示一个球面函数,该渲染规则的具体方式可以参见下述公式(7):
其中,v∈S2,可以用于表示某一像素对应的交点的函数输入,μ∈S2,可以用于表示波瓣轴(其中,业务空间模型的不规则面可以是由波瓣形表示),λ∈R+,可以用于表示波瓣的锐度,而a∈Rn +,可以用于表示波瓣幅度(且a∈R3 +是RGB通道的颜色值)。
可以理解的是,该计算机设备在通过目标光线网络层进行光源模拟处理之前,需要获取交点XP对应的业务交点特征,即交点XP所在网格的网格顶点像素、交点XP对应的材质参数、交点XP对应的环境映射图以及相机射线Rp对应的观察方向。
其中,对于网格顶点像素而言,若交点Xp为纹理网格中的多个网格面片所共有的顶点,则该网格顶点像素可以由这多个网格面片中的像素所共同决定。
对于交点XP对应的环境映射图而言,该计算机设备需要确定交点XP对应的交点函数,进而可以基于该交点XP对应的交点函数以及上述公式(7),高效构建交点XP对应的环境映射图,从而为业务空间模型的模型表面建模提供依据。
具体地,该计算机设备通过目标增强渲染模型中的目标光线网络层进行光源模拟处理的具体方式可以参见下述公式(8)-(10):
其中,fr(ν,w,xp)可以用于表示目标光线网络层;fd(Np,v)可以用于表示漫反射网络层,用于模拟一个发光物对物体的方向性影响(Directional Impact);fs(ν,w,Np)表面反射网络层;v用于表示交点Xp所在网格的网格顶点像素;w表示材质参数;Np可以用于表示对像素p的初始法线进行预测后所得到的目标法线。
其中,β可以用于表示用于进行全局特征提取的位置编码子层(即第三位置编码子层);T可以用于表示一个全连接网络子层,该结构可以参见上述公式(4)所示的多层感知子层。
其中,D是一个正态分布公式;而M是一个双向反射分布函数,使用双向反射分布函数能够很好的表达纹理网格的材质(例如,游戏材质)。
根据上述公式(8)和公式(9)可知,本申请实施例中的目标光线网络层包括漫反射网络层和表面反射网络层。其中,该漫反射网络层可以包括第三位置编码子层和全连接网络子层。
可以理解的是,该计算机设备在将网格顶点像素以及目标法线Np输入至漫反射网络层时,通过第三位置编码子层以及上述公式(9),对交点XP进行全局特征提取,得到交点XP对应的交点编码特征(即第二交点编码特征),进而可以通过全连接网络子层,对第二交点编码特征进行特征提取处理,得到交点XP对应的漫反射反照率参数。此外,该计算机设备在将网格顶点像素、目标法线Np以及材质参数输入至表面反射网络层时,可以通过表面反射网络层以及上述公式(10),对交点XP进行特征提取处理,得到交点XP对应的表面反射参数。这时,该计算机设备可以基于上述公式(8),对漫反射反照率参数以及表面反射参数进行叠加处理,将叠加处理后的参数确定为交点XP对应的反射参数。
当然,该计算机设备还可以通过目标光线网络层、环境映射图、目标法线Np以及观察方向,对交点XP进行光源特征模拟,分别输出交点XP对应的粗糙度、光谱、亮度和光照度,进而可以基于反射参数、粗糙度、光谱、亮度、光照度以及位置编码局部特征,确定像素p对应的业务渲染参数。
其中,该计算机设备可以将反射参数、粗糙度、光谱、亮度以及光照度分别确定为光线参数集合,进而可以对光线参数集合进行遍历,将遍历到的参数确定为待处理参数。进一步地,该计算机设备需要对待处理参数和位置编码局部特征进行叠加处理,将叠加处理后的参数确定为待渲染参数,在结束遍历时,获取光线参数集合中的每个参数分别对应的待渲染参数,进而可以基于获取到的待渲染参数,确定像素p对应的业务渲染参数(例如,颜色)。换言之,本申请实施例中的业务渲染参数是由反射参数、粗糙度、光谱、亮度以及光照度所共同决定的,能够更加准确的表征该像素的颜色,进而能够在后续渲染时得到更加准确的渲染增强图像。
步骤S104,在得到M个像素分别对应的业务渲染参数时,生成业务空间模型对应的渲染增强图像。
具体地,该计算机设备在得到M个像素分别对应的业务渲染参数时,可以通过目标增强渲染模型对这M个业务渲染参数进行颜色渲染,以得到业务空间模型对应的渲染增强图像(例如,上述图2所示的渲染增强图像20T)。
另外,为了对渲染增强图像的亮暗进行控制,本申请实施例提供了一种针对渲染增强图像的能量确定规则,具体地,该能量确定规则可以参见下述公式(11):
其中,γ是固定常数,a可以用于表示渲染参数,例如,rgb通道的颜色值,M=2,k最大为M,0-2可以分别表示RGB通道。
基于此,该计算机设备在生成渲染增强图像时,可以获取上述公式(11)所示的能量确定规则,其中,这里的能量确定规则可以包括能量允许范围,该能量允许范围是由第一能量阈值和第二能量阈值所构成的能量区间,其中,第二能量阈值大于第一能量阈值。可以理解的是,这里的第一能量阈值和第二能量阈值均可以根据实际情况进行动态调整,这里将不对其进行限定。当能量太大或太小时,渲染的图像会太亮或太暗,导致优化下降到局部最小值。为了缓解这个问题,本申请实施例可以事先将总能量初始化为6.25。
进一步地,该计算机设备可以基于上述公式(11)所示的能量确定规则,确定该渲染增强图像的能量参数。若能量参数不属于能量允许范围,则可以确定渲染增强图像的渲染结果指示渲染失败,进而可以基于纹理网格,重新对业务空间模型进行渲染。可选的,若能量参数属于能量允许范围,且业务空间模型属于游戏空间模型,则该计算机设备可以将渲染增强图像输入至游戏空间模型对应的应用客户端(即游戏客户端),进而可以通过该游戏客户端对渲染增强图像进行评估,得到渲染增强图像的评估参数(例如,清晰度、性能或加载速度等)。在渲染增强图像的评估参数小于评估参数阈值时,该计算机设备可以对渲染增强图像的纹理网格进行调试(比如,改变纹理网格的网格精度)。可以理解的是,网格精度越高,那么该纹理网格的顶点总数量越多,进而导致纹理网格中的网格平面(即网格面片,例如三角面片)的密度增加,在运动形变过程中的细节变化会更加丰富。
由此可见,本申请实施例中的渲染方式已经可以应用在游戏场景的纹理资源优化工作上,在使用游戏客户端中的游戏引擎提取到一些渲染速度慢的纹理网格时,可以使用本方案的目标增强渲染模型快速对业务空间模型进行颜色渲染,得到渲染增强图像,然后将渲染增强图像再次送入游戏客户端中实现快速的调试,一旦检测到渲染增强图像的评估参数未达到评估参数阈值(例如,清晰度不够,或者加载缓慢,性能差),这时,可以将渲染增强图像对应的纹理网格进行替换或调试。这意味着本申请实施例可以在游戏场景中进行3D模型的快速优化,且在实践中能够快速实现美术和程序的调试。
由此可见,本申请实施例提供的渲染方式无需关注纹理网格的网格数量,即无论纹理网格是包含少数面的低质量网格,还是包含多数面的高质量网格,均可以为该纹理网格中的任意一个像素分配高级引擎照明外观(即进行光线投射所得到的光线投射参数)和局部几何细节(即进行局部几何分析所得到的局部几何特征),以便于后续能够得到用于准确表征像素p的业务渲染参数,从而快速生成业务空间模型对应的渲染增强图像,这意味着本申请实施例提供的渲染方式不仅能够实现增强渲染,还因整个渲染过程无需人工参与,进而有效提高了渲染效率。
进一步地,请参见图5,图5是本申请实施例提供的另一种数据处理方法的流程示意图。该方法可以由具备数据处理功能的计算机设备执行,该计算机设备可以为终端设备(例如,上述图1所示的终端设备集群中的任意一个终端设备,例如,终端设备100a)执行,也可以为服务器(例如,上述图1所示的服务器10F),在此不做限定。可选的,该方法还可以由具备模型应用功能的终端设备和具备模型训练功能的服务器交互执行。该方法至少可以包括以下步骤S201-步骤S207:
步骤S201,获取业务空间模型对应的纹理网格,通过虚拟相机对纹理网格中的像素p进行光线投射,得到像素p对应的光线投射参数。
具体地,计算机设备可以获取业务空间模型对应的纹理网格,从纹理网格中确定像素p。其中,p为小于或者等于M的正整数;M用于表示纹理网格中的像素总数量;M为正整数。进一步地,该计算机设备可以基于与业务空间模型相关联的单位球体,确定用于对纹理网格进行光线投射的虚拟相机的相机位置,进而可以通过虚拟相机对纹理网格进行光线投射,将从相机位置指向像素p的一条射线确定为像素p对应的相机射线Rp。此时,该计算机设备可以将相机射线Rp投射在纹理网格上的第一个交点确定为像素p对应的交点XP,将相机射线Rp与纹理网格的相交面(例如,相交面fp)的法线确定为像素p对应的初始法线np,进而可以将交点XP与初始法线np确定为像素p对应的光线投射参数。
步骤S202,基于初始法线np对交点XP进行局部几何分析,得到交点XP对应的局部几何特征。
其中,光线投射参数是通过目标增强渲染模型对纹理网格进行光线投射后所得到的;该目标增强渲染模型包括目标通用网络层(例如,上述图2所示的通用网络层22L)和目标特征拼接层(例如,上述图2所示的特征拼接层23L)。具体地,该计算机设备可以将交点XP以及初始法线np输入至目标通用网络层,进而可以通过目标通用网络层,对初始法线np进行偏移量预测,得到初始法线np对应的偏移量特征。然后,该计算机设备可以将偏移量特征、初始法线np以及交点XP输入至目标特征拼接层,进而可以通过目标特征拼接层进行特征提取,得到目标法线特征。其中,这里的目标法线特征可以用于表示目标法线Np。进一步地,该计算机设备可以获取针对目标法线Np的位置编码局部特征,将位置编码局部特征以及目标法线Np确定为交点XP对应的局部几何特征。
步骤S203,基于交点XP对应的业务交点特征、目标法线Np以及位置编码局部特征,确定像素p对应的业务渲染参数。
具体地,该计算机设备可以获取交点XP对应的业务交点特征。其中,这里的业务交点特征可以包括交点XP所在网格的网格顶点像素、交点XP对应的材质参数、交点XP对应的环境映射图以及相机射线Rp对应的观察方向。该环境映射图是基于交点XP对应的交点函数所构建的。进一步地,该计算机设备可以将交点XP对应的业务交点特征以及目标法线Np输入至目标增强渲染模型中的目标光线网络层,进而可以通过目标光线网络层、网格顶点像素、目标法线Np以及材质参数,对交点XP进行光源反射模拟,得到交点XP对应的反射参数。与此同时,该计算机设备还可以通过目标光线网络层、环境映射图、目标法线Np以及观察方向,对交点XP进行光源特征模拟,分别输出交点XP对应的粗糙度、光谱、亮度和光照度。进一步地,该计算机设备可以基于反射参数、粗糙度、光谱、亮度、光照度以及位置编码局部特征,确定像素p对应的业务渲染参数。其中,这里的目标增强渲染模型可以用于对业务空间模型进行颜色渲染。
步骤S204,在得到M个像素分别对应的业务渲染参数时,生成业务空间模型对应的渲染增强图像。
具体地,该计算机设备在得到M个像素分别对应的业务渲染参数时,可以通过目标增强渲染模型对这M个业务渲染参数进行颜色渲染,以得到业务空间模型对应的渲染增强图像(例如,上述图2所示的渲染增强图像20T)。
其中,本申请实施例中的数据处理方法可以包括模型训练过程以及模型应用过程。可以理解的是,该步骤S201-步骤S204阐述了模型应用过程,该模型应用过程的具体实施方式可参见上述图3所对应实施例中对步骤S101-步骤S104的描述,这里将不再继续进行赘述。
其中,该模型训练过程具体可以参见下述步骤S205-步骤S207的描述。为了实现3D风格的纹理转换。本申请实施例在模型训练时,可以将输入的纹理网格的样式分解为反射属性和场景照明。然后,基于样本空间模型对应的样本纹理网格,学习相应的样式参数(即网络层参数或模型参数),得到目标增强渲染模型,进而可以通过一种渲染器(例如,球形高斯可微渲染器)快速生成3D风格化图像。
由于本申请实施例中的渲染参数可以由颜色(例如,漫反射颜色)表示,因此计算机设备可以基于多个渲染参数生成逼真的视图(即渲染增强图像)。可以理解的是,若在建模过程中禁用了正常反射网络,那么风格化后的外观变得平滑,无法产生足够的几何变化,这意味着法线估计网络(即通用网络层)在生成几何凹凸细节方面的有效性。为了在风格化时提供足够的高频细节,本申请实施例可以在通用网络层中采用位置编码层,对像素对应的交点进行局部边缘特征提取,以便后续能够更加精准的表征像素的颜色和几何形状的高频变化。
步骤S205,获取用于对初始增强渲染模型进行训练的样本空间模型,确定样本空间模型对应的样本纹理网格中的样本像素以及样本像素对应的样本标签。
其中,样本标签用于指示样本像素的实际渲染参数。具体地,该计算机设备可以获取用于对初始增强渲染模型进行训练的样本空间模型,进而可以对样本空间模型进行提取,以得到样本空间模型对应的样本纹理网格。其中,本申请实施例可以将样本纹理网格中的每个像素均可以称之为样本像素。进一步地,该计算机设备可以获取样本像素的实际渲染参数,进而可以将该实际渲染参数确定为该样本像素的样本标签。其中,这里的实际渲染参数可以为每个颜色通道对应的颜色值,比如,RGB颜色通道分别对应的颜色值。
步骤S206,将样本纹理网格输入至初始增强渲染模型,通过虚拟相机对样本像素进行光线投射,得到样本像素对应的样本投射参数。
其中,样本投射参数包括样本像素对应的样本交点以及初始样本法线;初始样本法线为样本相机射线与样本纹理网格的相交面的法线;样本交点是指将样本相机射线投射在样本纹理网格上的第一个交点。具体地,计算机设备可以将样本纹理网格输入至初始增强渲染模型,基于与样本空间模型相关联的单位球体,随机确定用于对样本纹理网格进行光线投射的虚拟相机的相机位置,进而可以通过虚拟相机对样本纹理网格进行光线投射,将从相机位置指向样本像素的一条射线确定为样本像素对应的样本相机射线。此时,该计算机设备可以将样本相机射线投射在样本纹理网格上的第一个交点确定为样本像素对应的样本交点,进而可以将样本相机射线与样本纹理网格的相交面的法线确定为样本像素对应的初始样本法线。这时,该计算机设备可以将样本交点和初始样本法线确定为样本像素对应的样本投射参数。
步骤S207,基于初始样本法线对样本交点进行局部几何分析,得到样本交点对应的局部几何特征,基于样本交点对应的样本交点特征以及样本交点对应的局部几何特征,确定样本像素的预测渲染参数,基于实际渲染参数以及预测渲染参数,对初始增强渲染模型进行训练,得到目标增强渲染模型。
其中,本申请实施例中的模型训练可以为独立训练,即对初始增强渲染模型中的每个网络层一并进行训练。可选的,为了提高模型训练速度,这里的模型训练也可以为分区训练,即对初始增强渲染模型进行模型裁剪,得到多个网络层(例如,初始通用网络层和初始光线网络层),进而分别对多个网络层中的每个网络层进行独立训练,以学习每个网络层分别对应的网络层参数。为便于阐述,这里以分区训练为例进行阐述。
具体地,该计算机设备可以将初始样本法线以及样本交点输入至初始通用网络层,进而可以通过初始通用网络层对样本交点进行局部几何分析,得到样本交点对应的预测样本法线。其中,计算机设备获取预测样本法线的具体实施方式可以参见上述步骤S102中获取目标法线Np的描述,这里将不再对其进行赘述。此时,该计算机设备可以基于预测样本法线以及初始样本法线,对初始通用网络层进行训练,得到目标通用网络层。
比如,该计算机设备还可以获取与初始通用网络层相关联的收敛条件,其中,该收敛条件可以为网络层损失持续N轮(例如,10轮)未继续下降,即停止训练。可选的,该收敛条件还可以为网络层损失小于收敛条件中的损失阈值,即停止训练。这里将不对其进行限定。可以理解的是,若对初始通用网络层进行训练后的训练结果指示训练后的初始通用网络层满足收敛条件,则将满足收敛条件的初始通用网络层作为目标通用网络层。可选的,若训练结果指示训练后的初始通用网络层不满足收敛条件,则该计算机设备可以基于不满足收敛条件的损失函数,对初始通用网络层的网络层参数进行调整。进一步地,该计算机设备可以将调整网络层参数后的初始通用网络层作为过渡通用网络层,对过渡通用网络层进行训练,直到训练后的过渡通用网络层满足收敛条件时,将满足收敛条件的过渡通用网络层作为目标通用网络层。其中,这里的目标通用网络层可以用于输出样本交点对应的局部几何特征。该样本交点对应的局部几何特征包括目标样本法线以及针对目标样本法线的样本编码局部特征。
进一步地,该计算机设备可以获取样本交点对应的样本交点特征。其中,这里的样本交点特征可以包括样本交点所在网格的网格顶点像素、样本交点对应的材质参数、样本交点对应的环境映射图以及样本相机射线对应的观察方向。该环境映射图是基于上述公式(7)和样本交点对应的交点函数所构建的。然后,该计算机设备可以将样本交点特征以及目标样本法线输入至初始光线网络层,进而可以通过初始光线网络层以及样本编码局部特征,确定样本像素的预测渲染参数。其中,计算机设备获取预测渲染参数的具体实施方式可以参见上述步骤S103中获取像素p对应的业务渲染参数的描述,这里将不再对其进行赘述。此时,该计算机设备可以参见上述初始通用网络层的训练方式,基于预测渲染参数以及实际渲染参数,对初始光线网络层进行训练,得到目标光线网络层。进一步地,该计算机设备可以将包含目标通用网络层和目标光线网络层的初始增强渲染模型确定为目标增强渲染模型。
由此可见,为了快速实现纹理增强渲染,从而快速调试纹理网格的渲染效果,本申请实施例通过对样本空间模型的样本纹理网格,对初始增强渲染模型进行训练,以得到一个基于人工智能的增强渲染表达模型(即目标增强渲染模型),以驱动纹理快速渲染,从而实现高质量纹理的增强表达。在模型应用过程中,无需关注纹理网格的网格数量,即无论纹理网格是包含少数面的低质量网格,还是包含多数面的高质量网格,均可以为该纹理网格中的任意一个像素分配高级引擎照明外观(即进行光线投射所得到的光线投射参数)和局部几何细节(即进行局部几何分析所得到的局部几何特征),以便于后续能够得到用于准确表征像素的业务渲染参数,实现渲染增强的效果。
此外,本申请实施例所采用的渲染方式可以应用在多个场景下,比如,若业务空间模型对应的纹理网格为在游戏场景中针对游戏空间模型所提取的纹理网格(即第一纹理网格),则意味着本申请实施例可以结合游戏引擎光照进行建模,替代人工代码进行纹理层接口(例如,opengl)的网格特效制作,比如,该计算机设备可以将该第一纹理网格输入至目标增强渲染模型中,进而可以通过该目标增强渲染模型对第一纹理网格中的每个像素进行相机预测(即通过虚拟相机进行光线投射)、局部几何分析以及光源模拟处理(包括光源反射模拟和光源特征模拟)等步骤,得到能够充分表征几何信息的业务渲染参数,进而在根据每个业务渲染参数进行渲染时,由该目标增强渲染模型快速输出游戏空间模型的渲染增强图像,以至于提高了在游戏纹理性能优化和效果调试中的效率。
可选的,若业务空间模型对应的纹理网格为在视频通讯场景下,针对业务对象的关键部位(例如,脸部、手部等)所提取的纹理网格(即第二纹理网格),则意味着计算机设备可以将该第二纹理网格输入至目标增强渲染模型中,通过该目标增强渲染模型对第二纹理网格中的每个像素进行相机预测、局部几何分析以及光源模拟处理(包括光源反射模拟和光源特征模拟)等步骤,以得到能够充分表征几何信息的业务渲染参数,进而在根据每个业务渲染参数进行渲染时,由该目标增强渲染模型快速输出具有个性化的特效(例如,卡通、宠物特效)的渲染增强图像,在视频通讯场景下计算机设备还可以响应业务对象的特效切换操作(用于切换特效的触发操作),快速基于切换后的特效,对业务对象的关键部位进行重新渲染,从而提升用户视频通讯的趣味性。
可选的,若业务空间模型对应的纹理网格为在仿真场景下,针对虚拟空间模型(例如,用于进行碰撞试验的虚拟车辆)所提取的纹理网格(即第三纹理网格),则意味着计算机设备可以将该第三纹理网格输入至目标增强渲染模型中,通过该目标增强渲染模型对第三纹理网格中的每个像素进行相机预测、局部几何分析以及光源模拟处理(包括光源反射模拟和光源特征模拟)等步骤,以得到能够充分表征几何信息的业务渲染参数,进而在根据每个业务渲染参数进行渲染时,由该目标增强渲染模型快速输出虚拟车辆的渲染增强图像,这样在后续进行碰撞试验时,可以更加清晰的呈现虚拟车辆的形变过程,以便于提升提高碰撞仿真效率以及碰撞仿真流畅性。
进一步地,请参见图6,图6是本申请实施例提供的一种数据处理装置的结构示意图。如图6所示,该数据处理装置1可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如,该数据处理装置1为一个应用软件;该数据处理装置1可以用于执行本申请实施例提供的方法中的相应步骤。如图6所示,该数据处理装置1可以运行于具有数据处理功能的计算机设备,该计算机设备可以为上述图1所对应实施例中的服务器10F,也可以为上述图1所对应实施例中的终端设备集群中的任意一个运行有目标增强渲染模型的终端设备,例如,终端设备100a。该数据处理装置1可以包括:光线投射模块11,几何分析模块12,渲染参数确定模块13,图像生成模块14,规则获取模块15,能量参数确定模块16,重新渲染模块17,图像输入模块18,评估模块19以及调试模块20。
该光线投射模块11,用于获取业务空间模型对应的纹理网格,通过虚拟相机对纹理网格中的像素p进行光线投射,得到像素p对应的光线投射参数;光线投射参数包括像素p对应的交点XP以及初始法线np;初始法线np为相机射线Rp与纹理网格的相交面的法线;相机射线Rp是指从虚拟相机的相机位置指向像素p的一条射线;交点XP是指将相机射线Rp投射在纹理网格上的第一个交点;p为小于或者等于M的正整数;M用于表示纹理网格中的像素总数量;M为正整数。
其中,该光线投射模块11包括:像素确定单元111,相机位置确定单元112,光线投射单元113,交点确定单元114以及投射参数确定单元115。
该像素确定单元111,用于获取业务空间模型对应的纹理网格,从纹理网格中确定像素p;
该相机位置确定单元112,用于基于与业务空间模型相关联的单位球体,确定用于对纹理网格进行光线投射的虚拟相机的相机位置。
其中,该相机位置确定单元112包括:缩放子单元1121,视图确定子单元1122以及位置确定子单元1123。
该缩放子单元1121,用于获取与业务空间模型相关联的单位球体,在单位球体中对纹理网格进行缩放;
该视图确定子单元1122,用于在包含缩放后的纹理网格的单位球体上确定锚点视图,将以锚点视图为中心的分布确定为相机位置分布;
该位置确定子单元1123,用于基于相机位置分布,确定用于对纹理网格进行光线投射的虚拟相机的相机位置。
其中,该缩放子单元1121,视图确定子单元1122以及位置确定子单元1123的具体实现方式可以参见上述图3所对应实施例中对相机位置的描述,这里将不再继续进行赘述。
该光线投射单元113,用于通过虚拟相机对纹理网格进行光线投射,将从相机位置指向像素p的一条射线确定为像素p对应的相机射线Rp;
该交点确定单元114,用于将相机射线Rp投射在纹理网格上的第一个交点确定为像素p对应的交点XP,将相机射线Rp与纹理网格的相交面的法线确定为像素p对应的初始法线np;
该投射参数确定单元115,用于将交点XP与初始法线np确定为像素p对应的光线投射参数。
其中,该像素确定单元111,相机位置确定单元112,光线投射单元113,交点确定单元114以及投射参数确定单元115的具体实现方式可以参见上述图3所对应实施例中对步骤S101的描述,这里将不再继续进行赘述。
该几何分析模块12,用于基于初始法线np对交点XP进行局部几何分析,得到交点XP对应的局部几何特征;局部几何特征包括目标法线Np以及位置编码局部特征;目标法线Np是对初始法线np进行偏移量预测后所得到的。
其中,光线投射参数是通过目标增强渲染模型对纹理网格进行光线投射后所得到的;目标增强渲染模型包括目标通用网络层和目标特征拼接层;
该几何分析模块12包括:偏移量预测单元121,目标法线特征确定单元122以及局部几何特征确定单元123。
该偏移量预测单元121,用于将交点XP以及初始法线np输入至目标通用网络层,通过目标通用网络层,对初始法线np进行偏移量预测,得到初始法线np对应的偏移量特征。
其中,目标通用网络层包括第一位置编码子层和多层感知子层;
该偏移量预测单元121包括:第一输入子单元1211,第一局部特征提取子单元1212以及偏移量预测子单元1213。
该第一输入子单元1211,用于将交点XP以及初始法线np输入至目标通用网络层;
该第一局部特征提取子单元1212,用于通过第一位置编码子层,对交点XP以及初始法线np分别进行局部边缘特征提取,得到交点XP对应的第一交点编码特征以及初始法线np对应的初始法线特征;
该偏移量预测子单元1213,用于将第一交点编码特征以及初始法线特征输入至多层感知子层,通过多层感知子层,对初始法线np进行偏移量预测,得到初始法线np对应的偏移量特征。
其中,该第一输入子单元1211,第一局部特征提取子单元1212以及偏移量预测子单元1213的具体实现方式可以参见上述图4所对应实施例中对偏移量特征的描述,这里将不再继续进行赘述。
该目标法线特征确定单元122,用于将偏移量特征、初始法线np以及交点XP输入至目标特征拼接层,通过目标特征拼接层进行特征提取,得到目标法线特征;目标法线特征用于表示目标法线Np。
其中,目标特征拼接层包括第二位置编码子层和单层网络子层;
该目标法线特征确定单元122包括:第二输入子单元1221,第二局部特征提取子单元1222以及目标法线特征确定子单元1223。
该第二输入子单元1221,用于将偏移量特征、初始法线np以及交点XP输入至目标特征拼接层,对初始法线np以及偏移量特征进行叠加处理,得到叠加特征;
该第二局部特征提取子单元1222,用于将叠加特征以及交点XP输入至第二位置编码子层,通过第二位置编码子层,对叠加特征进行局部边缘特征提取,得到叠加编码特征;
该目标法线特征确定子单元1223,用于将叠加编码特征输入至单层网络子层,通过单层网络子层对叠加编码特征进行特征提取,得到目标法线特征。
其中,该第二输入子单元1221,第二局部特征提取子单元1222以及目标法线特征确定子单元1223的具体实现方式可以参见上述图4所对应实施例中对目标法线特征的描述,这里将不再继续进行赘述。
该局部几何特征确定单元123,用于获取针对目标法线Np的位置编码局部特征,将位置编码局部特征以及目标法线Np确定为交点XP对应的局部几何特征。
其中,该偏移量预测单元121,目标法线特征确定单元122以及局部几何特征确定单元123的具体实现方式可以参见上述图3所对应实施例中对步骤S102的描述,这里将不再继续进行赘述。
该渲染参数确定模块13,用于基于交点XP对应的业务交点特征、目标法线Np以及位置编码局部特征,确定像素p对应的业务渲染参数。
其中,该渲染参数确定模块13包括:业务特征获取单元131,特征输入单元132,第一模拟单元133,第二模拟单元134以及渲染参数确定单元135。
该业务特征获取单元131,用于获取交点XP对应的业务交点特征;业务交点特征包括交点XP所在网格的网格顶点像素、交点XP对应的材质参数、交点XP对应的环境映射图以及相机射线Rp对应的观察方向;环境映射图是基于交点XP对应的交点函数所构建的;
该特征输入单元132,用于将交点XP对应的业务交点特征以及目标法线Np输入至目标增强渲染模型中的目标光线网络层;目标增强渲染模型用于对业务空间模型进行颜色渲染;
该第一模拟单元133,用于通过目标光线网络层、网格顶点像素、目标法线Np以及材质参数,对交点XP进行光源反射模拟,得到交点XP对应的反射参数。
其中,目标光线网络层包括漫反射网络层和表面反射网络层;漫反射网络层包括第三位置编码子层和全连接网络子层;
该第一模拟单元133包括:漫反射确定子单元1331,表面反射确定子单元1332以及反射参数确定子单元1333。
该漫反射确定子单元1331,用于在将网格顶点像素以及目标法线Np输入至漫反射网络层时,通过第三位置编码子层,对交点XP进行全局特征提取,得到交点XP对应的第二交点编码特征,通过全连接网络子层对第二交点编码特征进行特征提取处理,得到交点XP对应的漫反射反照率参数;
该表面反射确定子单元1332,用于在将网格顶点像素、目标法线Np以及材质参数输入至表面反射网络层时,通过表面反射网络层对交点XP进行特征提取处理,得到交点XP对应的表面反射参数;
该反射参数确定子单元1333,用于对漫反射反照率参数以及表面反射参数进行叠加处理,将叠加处理后的参数确定为交点XP对应的反射参数。
其中,该漫反射确定子单元1331,表面反射确定子单元1332以及反射参数确定子单元1333的具体实现方式可以参见上述图3所对应实施例中对反射参数的描述,这里将不再继续进行赘述。
该第二模拟单元134,用于通过目标光线网络层、环境映射图、目标法线Np以及观察方向,对交点XP进行光源特征模拟,分别输出交点XP对应的粗糙度、光谱、亮度和光照度;
该渲染参数确定单元135,用于基于反射参数、粗糙度、光谱、亮度、光照度以及位置编码局部特征,确定像素p对应的业务渲染参数。
其中,该渲染参数确定单元135包括:遍历子单元1351,叠加子单元1352以及渲染参数确定子单元1353。
该遍历子单元1351,用于将反射参数、粗糙度、光谱、亮度以及光照度分别确定为光线参数集合,对光线参数集合进行遍历,将遍历到的参数确定为待处理参数;
该叠加子单元1352,用于对待处理参数和位置编码局部特征进行叠加处理,将叠加处理后的参数确定为待渲染参数;
该渲染参数确定子单元1353,用于在结束遍历时,获取光线参数集合中的每个参数分别对应的待渲染参数,基于获取到的待渲染参数,确定像素p对应的业务渲染参数。
其中,该遍历子单元1351,叠加子单元1352以及渲染参数确定子单元1353的具体实现方式可以参见上述图3所对应实施例中对业务渲染参数的描述,这里将不再继续进行赘述。
其中,该业务特征获取单元131,特征输入单元132,第一模拟单元133,第二模拟单元134以及渲染参数确定单元135的具体实现方式可以参见上述图3所对应实施例中对步骤S103的描述,这里将不再继续进行赘述。
该图像生成模块14,用于在得到M个像素分别对应的业务渲染参数时,生成业务空间模型对应的渲染增强图像。
该规则获取模块15,用于获取针对渲染增强图像的能量确定规则;能量确定规则包括能量允许范围;能量允许范围是由第一能量阈值和第二能量阈值所构成的能量区间;第二能量阈值大于第一能量阈值;
该能量参数确定模块16,用于基于能量确定规则,确定渲染增强图像的能量参数;
该重新渲染模块17,用于若能量参数不属于能量允许范围,则确定渲染增强图像的渲染结果指示渲染失败,且基于纹理网格,重新对业务空间模型进行渲染。
该图像输入模块18,用于若能量参数属于能量允许范围,且业务空间模型属于游戏空间模型,则将渲染增强图像输入至游戏空间模型对应的游戏客户端;
该评估模块19,用于通过游戏客户端对渲染增强图像进行评估,得到渲染增强图像的评估参数;
该调试模块20,用于在渲染增强图像的评估参数小于评估参数阈值时,对渲染增强图像的纹理网格进行调试。
其中,该光线投射模块11,几何分析模块12,渲染参数确定模块13,图像生成模块14,规则获取模块15,能量参数确定模块16,重新渲染模块17,图像输入模块18,评估模块19以及调试模块20的具体实现方式可以参见上述图5所对应实施例中对步骤S201-步骤S207的描述,这里将不再继续进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图7,图7是本申请实施例提供的另一种数据处理装置的结构示意图。该数据处理装置2可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如,该数据处理装置2为一个应用软件;该数据处理装置2可以用于执行本申请实施例提供的方法中的相应步骤。如图7所示,该数据处理装置2可以运行于具有数据处理功能的计算机设备,该计算机设备可以为上述图1所对应实施例中的服务器10F,也可以为上述图1所对应实施例中的终端设备集群中的任意一个运行有目标增强渲染模型的终端设备,例如,终端设备100a。该数据处理装置2可以包括:样本获取模块100,样本投射模块200以及模型训练模块300。
该样本获取模块100,用于获取用于对初始增强渲染模型进行训练的样本空间模型,确定样本空间模型对应的样本纹理网格中的样本像素以及样本像素对应的样本标签;样本标签用于指示样本像素的实际渲染参数;
该样本投射模块200,用于将样本纹理网格输入至初始增强渲染模型,通过虚拟相机对样本像素进行光线投射,得到样本像素对应的样本投射参数;样本投射参数包括样本像素对应的样本交点以及初始样本法线;初始样本法线为样本相机射线与样本纹理网格的相交面的法线;样本交点是指将样本相机射线投射在样本纹理网格上的第一个交点;
该模型训练模块300,用于基于初始样本法线对样本交点进行局部几何分析,得到样本交点对应的局部几何特征,基于样本交点对应的样本交点特征以及样本交点对应的局部几何特征,确定样本像素的预测渲染参数,基于实际渲染参数以及预测渲染参数,对初始增强渲染模型进行训练,得到目标增强渲染模型;目标增强渲染模型用于对业务空间模型进行颜色渲染。
其中,初始增强渲染模型包括初始通用网络层和初始光线网络层;
该模型训练模块300包括:样本几何分析单元3010,第一训练单元3020,样本特征获取单元3030,第二训练单元3040以及目标模型确定单元3050。
该样本几何分析单元3010,用于将初始样本法线以及样本交点输入至初始通用网络层,通过初始通用网络层对样本交点进行局部几何分析,得到样本交点对应的预测样本法线;
该第一训练单元3020,用于基于预测样本法线以及初始样本法线,对初始通用网络层进行训练,得到目标通用网络层;目标通用网络层用于输出样本交点对应的局部几何特征;样本交点对应的局部几何特征包括目标样本法线以及针对目标样本法线的样本编码局部特征;
该样本特征获取单元3030,用于获取样本交点对应的样本交点特征,将样本交点特征以及目标样本法线输入至初始光线网络层,通过初始光线网络层以及样本编码局部特征,确定样本像素的预测渲染参数;
该第二训练单元3040,用于基于预测渲染参数以及实际渲染参数,对初始光线网络层进行训练,得到目标光线网络层;
该目标模型确定单元3050,用于将包含目标通用网络层和目标光线网络层的初始增强渲染模型确定为目标增强渲染模型。
其中,该样本几何分析单元3010,第一训练单元3020,样本特征获取单元3030,第二训练单元3040以及目标模型确定单元3050的具体实现方式可以参见上述图5所对应实施例中对步骤S207的描述,这里将不再继续进行赘述。
其中,该样本获取模块100,样本投射模块200以及模型训练模块300的具体实现方式可以参见上述图5所对应实施例中对步骤S201-步骤S207的描述,这里将不再继续进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图8,图8是本申请实施例提供的一种计算机设备的示意图。如图8所示,该计算机设备1000可以为具备数据处理功能的计算机设备,该计算机设备1000可以包括:至少一个处理器1001,例如,CPU,至少一个网络接口1004,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。网络接口1004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示,作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。其中,在一些实施例中,该计算机设备还可以包括图8所示的用户接口1003,比如,若该计算机设备为图1所示的具有数据处理功能的终端设备(例如,终端设备100a),则该计算机设备还可以包括该用户接口1003,其中,该用户接口1003可以包括显示屏(Display)、键盘(Keyboard)等。
在图8所示的计算机设备1000中,网络接口1004主要用于进行网络通信;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取业务空间模型对应的纹理网格,通过虚拟相机对纹理网格中的像素p进行光线投射,得到像素p对应的光线投射参数;光线投射参数包括像素p对应的交点XP以及初始法线np;初始法线np为相机射线Rp与纹理网格的相交面的法线;相机射线Rp是指从虚拟相机的相机位置指向像素p的一条射线;交点XP是指将相机射线Rp投射在纹理网格上的第一个交点;p为小于或者等于M的正整数;M用于表示纹理网格中的像素总数量;M为正整数;
基于初始法线np对交点XP进行局部几何分析,得到交点XP对应的局部几何特征;局部几何特征包括目标法线Np以及位置编码局部特征;目标法线Np是对初始法线np进行偏移量预测后所得到的;
基于交点XP对应的业务交点特征、目标法线Np以及位置编码局部特征,确定像素p对应的业务渲染参数;
在得到M个像素分别对应的业务渲染参数时,生成业务空间模型对应的渲染增强图像。
处理器1001还可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取用于对初始增强渲染模型进行训练的样本空间模型,确定样本空间模型对应的样本纹理网格中的样本像素以及样本像素对应的样本标签;样本标签用于指示样本像素的实际渲染参数;
将样本纹理网格输入至初始增强渲染模型,通过虚拟相机对样本像素进行光线投射,得到样本像素对应的样本投射参数;样本投射参数包括样本像素对应的样本交点以及初始样本法线;初始样本法线为样本相机射线与样本纹理网格的相交面的法线;样本交点是指将样本相机射线投射在样本纹理网格上的第一个交点;
基于初始样本法线对样本交点进行局部几何分析,得到样本交点对应的局部几何特征,基于样本交点对应的样本交点特征以及样本交点对应的局部几何特征,确定样本像素的预测渲染参数,基于实际渲染参数以及预测渲染参数,对初始增强渲染模型进行训练,得到目标增强渲染模型;目标增强渲染模型用于对业务空间模型进行颜色渲染。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3和图5所对应实施例中对该数据处理方法的描述,也可执行前文图6所对应实施例中对该数据处理装置1或者图7所对应实施例中对该数据处理装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且该计算机可读存储介质中存储有前文提及的数据处理装置1或者数据处理装置2所执行的计算机程序,且该计算机程序包括程序指令,当该处理器执行该程序指令时,能够执行前文图3或者图5所对应实施例中对该数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,程序指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行,分布在多个地点且通过通信网络互连的多个计算设备可以组成区块链系统。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时实现图3和图5中各个步骤所提供的数据处理方法,具体可参见图3以及图5各个步骤所提供的实现方式,在此不再赘述。
进一步的,请参见图9,图9是本申请实施例提供的一种数据处理系统的结构示意图。该数据处理系统3可以包含数据处理装置1a和数据处理装置2a。其中,数据处理装置1a可以为上述图6所对应实施例中的数据处理装置1,可以理解的是,该数据处理装置1a可以集成在上述具备数据处理功能的计算机设备,因此,这里将不再进行赘述。其中,数据处理装置2a可以为上述图7所对应实施例中的数据处理装置2,可以理解的是,该数据处理装置2a可以集成在上述具备数据处理功能的计算机设备,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的数据处理系统实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (17)
1.一种数据处理方法,其特征在于,包括:
获取业务空间模型对应的纹理网格,通过虚拟相机对所述纹理网格中的像素p进行光线投射,得到所述像素p对应的光线投射参数;所述光线投射参数包括所述像素p对应的交点XP以及初始法线np;所述初始法线np为相机射线Rp与所述纹理网格的相交面的法线;所述相机射线Rp是指从所述虚拟相机的相机位置指向所述像素p的一条射线;所述交点XP是指将所述相机射线Rp投射在所述纹理网格上的第一个交点;p为小于或者等于M的正整数;M用于表示所述纹理网格中的像素总数量;M为正整数;
基于所述初始法线np对所述交点XP进行局部几何分析,得到所述交点XP对应的局部几何特征;所述局部几何特征包括目标法线Np以及位置编码局部特征;所述目标法线Np是对所述初始法线np进行偏移量预测后所得到的;所述局部几何分析是指在对所述交点XP在所述纹理网格中的局部边缘位置信息进行特征提取的基础上,对所述初始法线np进行偏移量预测;
基于所述交点XP对应的业务交点特征、所述目标法线Np以及所述位置编码局部特征,确定所述像素p对应的业务渲染参数;
在得到M个像素分别对应的业务渲染参数时,生成所述业务空间模型对应的渲染增强图像。
2.根据权利要求1所述的方法,其特征在于,所述获取业务空间模型对应的纹理网格,通过虚拟相机对所述纹理网格中的像素p进行光线投射,得到所述像素p对应的光线投射参数,包括:
获取业务空间模型对应的纹理网格,从所述纹理网格中确定像素p;
基于与所述业务空间模型相关联的单位球体,确定用于对所述纹理网格进行光线投射的虚拟相机的相机位置;
通过所述虚拟相机对所述纹理网格进行光线投射,将从所述相机位置指向所述像素p的一条射线确定为所述像素p对应的相机射线Rp;
将所述相机射线Rp投射在所述纹理网格上的第一个交点确定为所述像素p对应的交点XP,将所述相机射线Rp与所述纹理网格的相交面的法线确定为所述像素p对应的初始法线np;
将所述交点XP与所述初始法线np确定为所述像素p对应的光线投射参数。
3.根据权利要求2所述的方法,其特征在于,所述基于与所述业务空间模型相关联的单位球体,确定用于对所述纹理网格进行光线投射的虚拟相机的相机位置,包括:
获取与所述业务空间模型相关联的单位球体,在所述单位球体中对所述纹理网格进行缩放;
在包含缩放后的纹理网格的单位球体上确定锚点视图,将以所述锚点视图为中心的分布确定为相机位置分布;
基于所述相机位置分布,确定用于对所述纹理网格进行光线投射的虚拟相机的相机位置。
4.根据权利要求1所述的方法,其特征在于,所述光线投射参数是通过目标增强渲染模型对所述纹理网格进行光线投射后所得到的;所述目标增强渲染模型包括目标通用网络层和目标特征拼接层;
所述基于所述初始法线np对所述交点XP进行局部几何分析,得到所述交点XP对应的局部几何特征,包括:
将所述交点XP以及所述初始法线np输入至所述目标通用网络层,通过所述目标通用网络层,对所述初始法线np进行偏移量预测,得到所述初始法线np对应的偏移量特征;
将所述偏移量特征、所述初始法线np以及所述交点XP输入至所述目标特征拼接层,通过所述目标特征拼接层进行特征提取,得到目标法线特征;所述目标法线特征用于表示目标法线Np;
获取针对所述目标法线Np的位置编码局部特征,将所述位置编码局部特征以及所述目标法线Np确定为所述交点XP对应的局部几何特征。
5.根据权利要求4所述的方法,其特征在于,所述目标通用网络层包括第一位置编码子层和多层感知子层;
所述将所述交点XP以及所述初始法线np输入至所述目标通用网络层,通过所述目标通用网络层,对所述初始法线np进行偏移量预测,得到所述初始法线np对应的偏移量特征,包括:
将所述交点XP以及所述初始法线np输入至所述目标通用网络层;
通过所述第一位置编码子层,对交点XP以及所述初始法线np分别进行局部边缘特征提取,得到所述交点XP对应的第一交点编码特征以及所述初始法线np对应的初始法线特征;
将所述第一交点编码特征以及所述初始法线特征输入至所述多层感知子层,通过所述多层感知子层,对所述初始法线np进行偏移量预测,得到所述初始法线np对应的偏移量特征。
6.根据权利要求4所述的方法,其特征在于,所述目标特征拼接层包括第二位置编码子层和单层网络子层;
所述将所述偏移量特征、所述初始法线np以及所述交点XP输入至所述目标特征拼接层,通过所述目标特征拼接层进行特征提取,得到目标法线特征,包括:
将所述偏移量特征、所述初始法线np以及所述交点XP输入至所述目标特征拼接层,对所述初始法线np以及所述偏移量特征进行叠加处理,得到叠加特征;
将所述叠加特征以及所述交点XP输入至所述第二位置编码子层,通过所述第二位置编码子层,对所述叠加特征进行局部边缘特征提取,得到叠加编码特征;
将所述叠加编码特征输入至所述单层网络子层,通过所述单层网络子层对所述叠加编码特征进行特征提取,得到目标法线特征。
7.根据权利要求1所述的方法,其特征在于,所述基于所述交点XP对应的业务交点特征、所述目标法线Np以及所述位置编码局部特征,确定所述像素p对应的业务渲染参数,包括:
获取所述交点XP对应的业务交点特征;所述业务交点特征包括所述交点XP所在网格的网格顶点像素、所述交点XP对应的材质参数、所述交点XP对应的环境映射图以及所述相机射线Rp对应的观察方向;所述环境映射图是基于所述交点XP对应的交点函数所构建的;
将所述交点XP对应的业务交点特征以及所述目标法线Np输入至目标增强渲染模型中的目标光线网络层;所述目标增强渲染模型用于对所述业务空间模型进行颜色渲染;
通过所述目标光线网络层、所述网格顶点像素、所述目标法线Np以及所述材质参数,对所述交点XP进行光源反射模拟,得到所述交点XP对应的反射参数;
通过所述目标光线网络层、所述环境映射图、所述目标法线Np以及所述观察方向,对所述交点XP进行光源特征模拟,分别输出所述交点XP对应的粗糙度、光谱、亮度和光照度;
基于所述反射参数、所述粗糙度、所述光谱、所述亮度、所述光照度以及所述位置编码局部特征,确定所述像素p对应的业务渲染参数。
8.根据权利要求7所述的方法,其特征在于,所述目标光线网络层包括漫反射网络层和表面反射网络层;所述漫反射网络层包括第三位置编码子层和全连接网络子层;
所述通过所述目标光线网络层、所述网格顶点像素、所述目标法线Np以及所述材质参数,对所述交点XP进行光源反射模拟,得到所述交点XP对应的反射参数,包括:
在将所述网格顶点像素以及所述目标法线Np输入至所述漫反射网络层时,通过所述第三位置编码子层,对所述交点XP进行全局特征提取,得到所述交点XP对应的第二交点编码特征,通过所述全连接网络子层对所述第二交点编码特征进行特征提取处理,得到所述交点XP对应的漫反射反照率参数;
在将所述网格顶点像素、所述目标法线Np以及所述材质参数输入至所述表面反射网络层时,通过所述表面反射网络层对所述交点XP进行特征提取处理,得到所述交点XP对应的表面反射参数;
对所述漫反射反照率参数以及所述表面反射参数进行叠加处理,将叠加处理后的参数确定为所述交点XP对应的反射参数。
9.根据权利要求7所述的方法,其特征在于,所述基于所述反射参数、所述粗糙度、所述光谱、所述亮度、所述光照度以及所述位置编码局部特征,确定所述像素p对应的业务渲染参数,包括:
将所述反射参数、所述粗糙度、所述光谱、所述亮度以及所述光照度分别确定为光线参数集合,对所述光线参数集合进行遍历,将遍历到的参数确定为待处理参数;
对所述待处理参数和所述位置编码局部特征进行叠加处理,将叠加处理后的参数确定为待渲染参数;
在结束遍历时,获取光线参数集合中的每个参数分别对应的待渲染参数,基于获取到的待渲染参数,确定所述像素p对应的业务渲染参数。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取针对所述渲染增强图像的能量确定规则;所述能量确定规则包括能量允许范围;所述能量允许范围是由第一能量阈值和第二能量阈值所构成的能量区间;所述第二能量阈值大于所述第一能量阈值;
基于所述能量确定规则,确定所述渲染增强图像的能量参数;
若所述能量参数不属于所述能量允许范围,则确定所述渲染增强图像的渲染结果指示渲染失败,且基于所述纹理网格,重新对所述业务空间模型进行渲染。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
若所述能量参数属于所述能量允许范围,且所述业务空间模型属于游戏空间模型,则将所述渲染增强图像输入至所述游戏空间模型对应的游戏客户端;
通过所述游戏客户端对所述渲染增强图像进行评估,得到所述渲染增强图像的评估参数;
在所述渲染增强图像的评估参数小于评估参数阈值时,对所述渲染增强图像的所述纹理网格进行调试。
12.一种数据处理方法,其特征在于,包括:
获取用于对初始增强渲染模型进行训练的样本空间模型,确定所述样本空间模型对应的样本纹理网格中的样本像素以及所述样本像素对应的样本标签;所述样本标签用于指示所述样本像素的实际渲染参数;
将所述样本纹理网格输入至所述初始增强渲染模型,通过虚拟相机对所述样本像素进行光线投射,得到所述样本像素对应的样本投射参数;所述样本投射参数包括所述样本像素对应的样本交点以及初始样本法线;所述初始样本法线为样本相机射线与所述样本纹理网格的相交面的法线;所述样本交点是指将所述样本相机射线投射在所述样本纹理网格上的第一个交点;
基于所述初始样本法线对所述样本交点进行局部几何分析,得到所述样本交点对应的局部几何特征,基于所述样本交点对应的样本交点特征以及所述样本交点对应的局部几何特征,确定所述样本像素的预测渲染参数,基于所述实际渲染参数以及所述预测渲染参数,对所述初始增强渲染模型进行训练,得到目标增强渲染模型;所述局部几何分析是指在对所述样本交点在所述样本纹理网格中的局部边缘位置信息进行特征提取的基础上,对所述初始样本法线进行偏移量预测;所述目标增强渲染模型用于对业务空间模型进行颜色渲染。
13.根据权利要求12所述的方法,其特征在于,所述初始增强渲染模型包括初始通用网络层和初始光线网络层;
所述基于所述初始样本法线对所述样本交点进行局部几何分析,得到所述样本交点对应的局部几何特征,基于所述样本交点对应的样本交点特征以及所述样本交点对应的局部几何特征,确定所述样本像素的预测渲染参数,基于所述实际渲染参数以及所述预测渲染参数,对所述初始增强渲染模型进行训练,得到目标增强渲染模型,包括:
将所述初始样本法线以及所述样本交点输入至所述初始通用网络层,通过所述初始通用网络层对所述样本交点进行局部几何分析,得到所述样本交点对应的预测样本法线;
基于所述预测样本法线以及所述初始样本法线,对所述初始通用网络层进行训练,得到目标通用网络层;所述目标通用网络层用于输出所述样本交点对应的局部几何特征;所述样本交点对应的局部几何特征包括目标样本法线以及针对所述目标样本法线的样本编码局部特征;
获取所述样本交点对应的样本交点特征,将所述样本交点特征以及所述目标样本法线输入至所述初始光线网络层,通过所述初始光线网络层以及所述样本编码局部特征,确定所述样本像素的预测渲染参数;
基于所述预测渲染参数以及所述实际渲染参数,对所述初始光线网络层进行训练,得到目标光线网络层;
将包含所述目标通用网络层和所述目标光线网络层的初始增强渲染模型确定为目标增强渲染模型。
14.一种数据处理装置,其特征在于,包括:
光线投射模块,用于获取业务空间模型对应的纹理网格,通过虚拟相机对所述纹理网格中的像素p进行光线投射,得到所述像素p对应的光线投射参数;所述光线投射参数包括所述像素p对应的交点XP以及初始法线np;所述初始法线np为相机射线Rp与所述纹理网格的相交面的法线;所述相机射线Rp是指从所述虚拟相机的相机位置指向所述像素p的一条射线;所述交点XP是指将所述相机射线Rp投射在所述纹理网格上的第一个交点;p为小于或者等于M的正整数;M用于表示所述纹理网格中的像素总数量;M为正整数;
几何分析模块,用于基于所述初始法线np对所述交点XP进行局部几何分析,得到所述交点XP对应的局部几何特征;所述局部几何特征包括目标法线Np以及位置编码局部特征;所述目标法线Np是对所述初始法线np进行偏移量预测后所得到的;所述局部几何分析是指在对所述交点XP在所述纹理网格中的局部边缘位置信息进行特征提取的基础上,对所述初始法线np进行偏移量预测;
渲染参数确定模块,用于基于所述交点XP对应的业务交点特征、所述目标法线Np以及所述位置编码局部特征,确定所述像素p对应的业务渲染参数;
图像生成模块,用于在得到M个像素分别对应的业务渲染参数时,生成所述业务空间模型对应的渲染增强图像。
15.一种数据处理装置,其特征在于,包括:
样本获取模块,用于获取用于对初始增强渲染模型进行训练的样本空间模型,确定所述样本空间模型对应的样本纹理网格中的样本像素以及所述样本像素对应的样本标签;所述样本标签用于指示所述样本像素的实际渲染参数;
样本投射模块,用于将所述样本纹理网格输入至所述初始增强渲染模型,通过虚拟相机对所述样本像素进行光线投射,得到所述样本像素对应的样本投射参数;所述样本投射参数包括所述样本像素对应的样本交点以及初始样本法线;所述初始样本法线为样本相机射线与所述样本纹理网格的相交面的法线;所述样本交点是指将所述样本相机射线投射在所述样本纹理网格上的第一个交点;
模型训练模块,用于基于所述初始样本法线对所述样本交点进行局部几何分析,得到所述样本交点对应的局部几何特征,基于所述样本交点对应的样本交点特征以及所述样本交点对应的局部几何特征,确定所述样本像素的预测渲染参数,基于所述实际渲染参数以及所述预测渲染参数,对所述初始增强渲染模型进行训练,得到目标增强渲染模型;所述局部几何分析是指在对所述样本交点在所述样本纹理网格中的局部边缘位置信息进行特征提取的基础上,对所述初始样本法线进行偏移量预测;所述目标增强渲染模型用于对业务空间模型进行颜色渲染。
16.一种计算机设备,其特征在于,包括:处理器和存储器以及网络接口;
所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供数据通信功能,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1至13任一项所述的方法。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1至13任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310222220.8A CN115953524B (zh) | 2023-03-09 | 2023-03-09 | 一种数据处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310222220.8A CN115953524B (zh) | 2023-03-09 | 2023-03-09 | 一种数据处理方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115953524A CN115953524A (zh) | 2023-04-11 |
CN115953524B true CN115953524B (zh) | 2023-05-23 |
Family
ID=85891343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310222220.8A Active CN115953524B (zh) | 2023-03-09 | 2023-03-09 | 一种数据处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115953524B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116091676B (zh) * | 2023-04-13 | 2023-06-30 | 腾讯科技(深圳)有限公司 | 虚拟对象的面部渲染方法及点云特征提取模型的训练方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114022607A (zh) * | 2021-11-19 | 2022-02-08 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置以及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113628317A (zh) * | 2020-05-09 | 2021-11-09 | 华为技术有限公司 | 渲染方法、设备以及系统 |
CN112927341A (zh) * | 2021-04-02 | 2021-06-08 | 腾讯科技(深圳)有限公司 | 光照渲染方法、装置、计算机设备和存储介质 |
-
2023
- 2023-03-09 CN CN202310222220.8A patent/CN115953524B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114022607A (zh) * | 2021-11-19 | 2022-02-08 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置以及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115953524A (zh) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10665011B1 (en) | Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features | |
CN110227266B (zh) | 使用真实世界虚拟现实地图来构建虚拟现实游戏玩耍环境 | |
CN108537864B (zh) | 利用具有网络渲染层的神经网络编辑数字图像 | |
US9013496B2 (en) | Rendering global light transport in real-time using machine learning | |
US11908066B2 (en) | Image rendering method and apparatus | |
US20220309742A1 (en) | Image rendering method and apparatus | |
CN110458924B (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
EP4080461A1 (en) | Image rendering method and apparatus | |
CN115953524B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
US20220309736A1 (en) | Image rendering method and apparatus | |
CN114078077A (zh) | 使用会话性能元数据评估定性流体验 | |
Paulin et al. | Review and analysis of synthetic dataset generation methods and techniques for application in computer vision | |
US20220309735A1 (en) | Image rendering method and apparatus | |
Marques et al. | Deep spherical harmonics light probe estimator for mixed reality games | |
CN115375828A (zh) | 模型的阴影生成方法、装置、设备、介质 | |
Alexiou et al. | Subjective and objective quality assessment for volumetric video | |
CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
CN116385622B (zh) | 云图处理方法、装置、计算机及可读存储介质 | |
US20220309740A1 (en) | Image rendering method and apparatus | |
US20220309730A1 (en) | Image rendering method and apparatus | |
Jaiswal | Fundamental of Interactive Computer Graphics and Quality Assessment | |
CN117333637B (zh) | 三维场景的建模及渲染方法、装置及设备 | |
CN117333609B (zh) | 图像渲染方法、网络的训练方法、设备及介质 | |
Oh | Estimation of Global Illumination using Cycle-Consistent Adversarial Networks | |
CN118052927A (zh) | 虚拟场景中的阴影生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40084280 Country of ref document: HK |