CN117618892A - 植被模型的生成方法、装置、电子设备及计算机可读介质 - Google Patents

植被模型的生成方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN117618892A
CN117618892A CN202311634181.9A CN202311634181A CN117618892A CN 117618892 A CN117618892 A CN 117618892A CN 202311634181 A CN202311634181 A CN 202311634181A CN 117618892 A CN117618892 A CN 117618892A
Authority
CN
China
Prior art keywords
vegetation
model
target
mask
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311634181.9A
Other languages
English (en)
Inventor
黄星
董杰智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Neteasy Brilliant Network Technology Co ltd
Original Assignee
Shanghai Neteasy Brilliant Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Neteasy Brilliant Network Technology Co ltd filed Critical Shanghai Neteasy Brilliant Network Technology Co ltd
Priority to CN202311634181.9A priority Critical patent/CN117618892A/zh
Publication of CN117618892A publication Critical patent/CN117618892A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Generation (AREA)

Abstract

本公开涉及一种植被模型的生成方法、装置、电子设备及计算机可读介质,属于模型渲染技术领域。该方法包括:根据目标植被的真实图片生成对应的植被面片模型,并通过法线信息生成模型生成所述植被面片模型的法线纹理;将所述植被面片模型的法线纹理与球型法线进行混合,得到所述目标植被的空间信息,并基于所述空间信息生成所述目标植被的模型遮罩,其中,所述目标植被的空间信息为所述目标植被在类平面空间上的模拟凹凸信息;根据目标显示效果确定所述模型遮罩的遮罩参数,并将所述模型遮罩叠加在所述目标植被的真实图片上,得到所述目标植被对应的目标植被模型。本公开可以减少植被模型的生成步骤,提高植被模型的生成效率。

Description

植被模型的生成方法、装置、电子设备及计算机可读介质
技术领域
本公开涉及模型渲染技术领域,具体而言,涉及一种植被模型的生成方法、植被模型的生成装置、电子设备及计算机可读介质。
背景技术
在游戏场景制作中,植被是野外场景的重要组成部分,为了在游戏运行时能够以较大批量渲染符合写实品质游戏场景要求的植被面片模型,在传统的植被面片模型制作流程中,首先需要制作植被的高面数模型,然后在Houdini(三维计算机图形软件)中利用该模型生成法线纹理,最后在图片处理软件中对生成的法线纹理进行二次修改。
然而,这种流程需要花费大量的时间在植被的高面数模型的制作上,而Houdini的学习成本较高,模型制作人员无法在短时间内完成制作。
鉴于此,本领域亟需一种植被模型的生成方法,能够解决植被的高面数模型的制作周期较长、制作效率较低以及成本高昂的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种植被模型的生成方法、植被模型的生成装置、电子设备及计算机可读介质,进而至少在一定程度上能够解决植被的高面数模型的制作周期较长、制作效率较低以及成本高昂的问题。
根据本公开的第一个方面,提供一种植被模型的生成方法,包括:
根据目标植被的真实图片生成对应的植被面片模型,并通过法线信息生成模型生成所述植被面片模型的法线纹理;
将所述植被面片模型的法线纹理与球型法线进行混合,得到所述目标植被的空间信息,并基于所述空间信息生成所述目标植被的模型遮罩,其中,所述目标植被的空间信息为所述目标植被在类平面空间上的模拟凹凸信息;
根据目标显示效果确定所述模型遮罩的遮罩参数,并将所述模型遮罩叠加在所述目标植被的真实图片上,得到所述目标植被对应的目标植被模型。
根据本公开的第二方面,提供一种植被模型的生成装置,包括:
法线纹理生成模块,用于根据目标植被的真实图片生成对应的植被面片模型,并通过法线信息生成模型生成所述植被面片模型的法线纹理;
模型遮罩生成模块,用于将所述植被面片模型的法线纹理与球型法线进行混合,得到所述目标植被的空间信息,并基于所述空间信息生成所述目标植被的模型遮罩,其中,所述目标植被的空间信息为所述目标植被在类平面空间上的模拟凹凸信息;
植被模型生成模块,用于根据目标显示效果确定所述模型遮罩的遮罩参数,并将所述模型遮罩叠加在所述目标植被的真实图片上,得到所述目标植被对应的目标植被模型。
根据本公开的第三方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的植被模型的生成方法。
根据本公开的第四方面,提供一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的植被模型的生成方法。
本公开示例性实施例可以具有以下有益效果:
本公开示例实施方式的植被模型的生成方法中,通过目标植被的真实图片生成对应的植被面片模型,并通过法线信息生成模型生成植被面片模型的法线纹理,然后将植被面片模型的法线纹理与球型法线进行混合,得到目标植被的空间信息,并基于空间信息生成目标植被的模型遮罩,其中,目标植被的空间信息为目标植被在类平面空间上的模拟凹凸信息,最后根据目标显示效果确定模型遮罩的遮罩参数,并将模型遮罩叠加在目标植被的真实图片上,得到目标植被对应的目标植被模型。本公开示例实施方式中的植被模型的生成方法,一方面,能够在植被模型的生成过程中舍去大量的制作步骤,从而大幅缩短植被面片模型的制作周期,提升制作效率,更具通用性;另一方面,由于植被的真实图片的写实程度远胜于离线渲染的模型,通过法线信息生成模型生成真实图片的法线纹理,可以有效避免因为高面数模型的制作效果较差导致法线纹理的生成质量无法满足美术设计要求的问题,并且更有助于植被模型生成的流程化与大批量生产;再一方面,根据目标显示效果确定模型遮罩的遮罩参数,可以大幅减少植被面片模型的材质的性能开销,从而在游戏运行时能够满足较大批量的植被面片模型实时渲染的优化要求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出了根据本公开的一个相关实施方式中的在数字内容创作软件中架设摄像机对植被面片模型进行离线渲染的示意图;
图2示意性示出了根据本公开的一个相关实施方式中的对植被面片模型进行离线渲染得到的基础颜色图的示意图;
图3示意性示出了根据本公开的一个相关实施方式中的对植被面片模型进行离线渲染得到的空间信息相关图的示意图;
图4示出了本公开示例实施方式的植被模型的生成方法的流程示意图;
图5示出了本公开示例实施方式的根据目标植被的真实图片生成植被面片模型的流程示意图;
图6示意性示出了根据本公开的一个具体实施方式中的制作植被面片模型的示意图;
图7示意性示出了根据本公开的一个具体实施方式中的计算球型法线的节点连接示意图;
图8示意性示出了根据本公开的一个具体实施方式中的植被面片模型最终的混合法线纹理的示意图;
图9示出了根据本公开的一个具体实施方式中植被模型的生成方法的流程示意图;
图10示意性示出了根据本公开的一个具体实施方式中的渲染效果对比的示意图;
图11示意性示出了根据本公开的一个具体实施方式中的另一渲染效果对比的示意图;
图12示意性示出了根据本公开的一个具体实施方式中的植被模型光照交互的示意图;
图13示出了本公开示例实施方式的植被模型的生成装置的框图;
图14示出了适于用来实现本公开实施方式的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在一些相关的实施例中,植被模型的生成方法需要使用到高品质、高面数的模型,在DCC(Digital Content Creation,数字内容创作软件)软件中对其进行离线渲染以获得该模型在正面视角的最终渲染图、基础颜色图、遮罩图、空间信息相关图(位置、深度、法线等),之后在图像处理软件中对信息图进行RGB(红绿蓝色彩模式)通道的合并,导入引擎后调整材质参数以符合美术需求。经过以上流程后即可完成植被面片模型的制作。
图1示意性示出了根据本公开的一个相关实施方式中的在数字内容创作软件中架设摄像机对植被面片模型进行离线渲染的示意图,图2示意性示出了根据本公开的一个相关实施方式中的对植被面片模型进行离线渲染得到的基础颜色图的示意图,图3示意性示出了根据本公开的一个相关实施方式中的对植被面片模型进行离线渲染得到的空间信息相关图的示意图。
上述植被面片模型制作方案存在以下缺点:
(1)植被的高品质、高面数的模型制作周期非常长,模型制作人员无法在短时间内制作多种不同类型的植被的高面数模型,制作完毕后很可能因为无法达到Billboard(广告牌效果,是一种通过基于矩阵运算的模型顶点变换实现模型始终朝向摄像机的渲染技术)的美术设计需求而无法使用,因此植被模型的制作、迭代成本高昂。
(2)难以寻找、购买符合美术设计需求的植被的高面数的模型资源。
(3)植被的高面数的模型的离线渲染时间很长,如果面数过高,渲染时间很可能会长达几小时甚至一天,不利于大批量制作。
(4)现有的制作方案不具备通用性,市面上绝大多数的资源只有现实照片,没有对应的三维模型。
(5)植被的高面数的模型渲染完毕后制作的Billboard效果,在游戏引擎内的渲染效果可能会大打折扣,仅有部分渲染效果与基于现实照片制作的Billboard效果非常相似。
(6)植被面片模型的材质采用完整的PBR(Physically based rendering,基于物理的渲染,是一种计算机图形学方法,通过对现实世界中的光线和表面进行建模的方式渲染图像)效果,并采样额外的纹理实现基于海拔高度的植被颜色变化效果,在游戏运行时,材质的性能开销较高。
随着AIGC(Artificial Intelligence Generated Content,人工智能生成内容)领域的快速发展,可以通过引入基于Stable Diffusion(稳态扩散模型)的AI绘画流程来提升工作效率。其中,Stable Diffusion是一种基于深度学习、从文本到图像的扩散模型,主要用于生成以文本描述为条件的图像,并且可以对已有图像进行修改。
本示例实施方式首先提供了一种植被模型的生成方法。参考图4所示,上述植被模型的生成方法可以包括以下步骤:
步骤S410.根据目标植被的真实图片生成对应的植被面片模型,并通过法线信息生成模型生成植被面片模型的法线纹理。
步骤S420.植被面片模型的法线纹理与球型法线进行混合,得到目标植被的空间信息,并基于空间信息生成目标植被的模型遮罩。
其中,目标植被的空间信息为目标植被在类平面空间上的模拟凹凸信息。
步骤S430.根据目标显示效果确定模型遮罩的遮罩参数,并将模型遮罩叠加在目标植被的真实图片上,得到目标植被对应的目标植被模型。
本公开示例实施方式的植被模型的生成方法中,通过目标植被的真实图片生成对应的植被面片模型,并通过法线信息生成模型生成植被面片模型的法线纹理,然后将植被面片模型的法线纹理与球型法线进行混合,得到目标植被的空间信息,并基于空间信息生成目标植被的模型遮罩,其中,目标植被的空间信息为目标植被在类平面空间上的模拟凹凸信息,最后根据目标显示效果确定模型遮罩的遮罩参数,并将模型遮罩叠加在目标植被的真实图片上,得到目标植被对应的目标植被模型。本公开示例实施方式中的植被模型的生成方法,一方面,能够在植被模型的生成过程中舍去大量的制作步骤,从而大幅缩短植被面片模型的制作周期,提升制作效率,更具通用性;另一方面,由于植被的真实图片的写实程度远胜于离线渲染的模型,通过法线信息生成模型生成真实图片的法线纹理,可以有效避免因为高面数模型的制作效果较差导致法线纹理的生成质量无法满足美术设计要求的问题,并且更有助于植被模型生成的流程化与大批量生产;再一方面,根据目标显示效果确定模型遮罩的遮罩参数,可以大幅减少植被面片模型的材质的性能开销,从而在游戏运行时能够满足较大批量的植被面片模型实时渲染的优化要求。
下面,结合图5至图12对本示例实施方式的上述步骤进行更加详细的说明。
在步骤S410中,根据目标植被的真实图片生成对应的植被面片模型,并通过法线信息生成模型生成植被面片模型的法线纹理。
本示例实施方式中,目标植被的真实图片可以包括目标植被的现实照片,现实照片具有较高的写实程度,基于现实照片生成法线纹理可以缩短植被面片模型的制作周期,并且更具有写实性与通用性。
本示例实施方式中,可以使用收集到的目标植被的真实图片,使用C4D(Cinema4D,3D建模、动画、模拟和渲染解决方案软件)制作植被面片模型。如图5所示,根据目标植被的真实图片生成对应的植被面片模型,具体可以包括以下几个步骤:
步骤S510.根据目标植被的位置确定面片轴向和面片轴心,并基于预设参考高度以及预设比例确定面片大小。
图6示意性示出了根据本公开的一个具体实施方式中的制作植被面片模型的示意图,如图601所示,首先根据Billboard纹理估算面片大小,例如以170cm为基准,按照合适的视觉比例确定即可。如图602所示为各通道示意图。如图603所示,Billboard面片轴向在Unreal(虚幻引擎)里需要面朝Y轴、向上Z轴、向右X轴;植物Billboard面片轴心应在植物的主干底部,如有无法判断的,居中至底即可。
步骤S520.根据目标植被对面片边界进行调整,以生成目标植被对应的植被面片模型。
本示例实施方式中,面片边界需要紧贴纹理,避免造成透明面积过大。
本示例实施方式中,若目标植被的面片数量大于或等于面片数量阈值,则通过多细节层次技术降低植被面片模型的面片数量。
如植物Billboard面片在场景里的数量过多导致面数过高,可以制作LOD(Levelof Detail,三维模型复杂度)。LOD技术通过减少图形渲染流水线阶段的模型顶点数据处理的工作量来提高渲染效率。
本示例实施方式中,若植被面片模型中存在多个相同类型的纹理,则将多个相同类型的纹理合并为一个组合纹理。
如同类型纹理过多,可以合并成Atlas(图集)纹理。其中,Atlas纹理是指将多个纹理合并为一个组合纹理。
本示例实施方式中,可以通过ControlNet(控制网络)模型生成植被面片模型的法线纹理,并调整法线纹理的生成参数以获得目标法线效果。其中,ControlNet一种通过添加额外条件来控制扩散模型的神经网络结构,提供一种增强稳定扩散的方法,比传统的从图像到图像的生成方法有较大的改进,可以用于生成植被面片模型的法线纹理。
使用ControlNet直接生成植被面片模型的法线纹理,并调整生成参数以获得最佳的法线效果,可以舍去植被的高面数模型的制作步骤,从而大幅提升游戏场景中植被面片模型的制作效率。
在步骤S420中,将植被面片模型的法线纹理与球型法线进行混合,得到目标植被的空间信息,并基于空间信息生成目标植被的模型遮罩。
本示例实施方式中,可以通过计算球型深度图以获得球型法线,并将植被面片模型的法线纹理与球型法线的各个通道进行混合,得到目标植被的空间信息。其中,植被面片模型的法线纹理为AI推测的植被凹凸信息(类似于浮雕),球型法线为粗略拟合植被在空间中的体积信息(可以理解为半球状的浮雕),二者混合后,得到的纹理为目标植被的空间信息,即目标植被在类平面空间(类似于浮雕)上的模拟凹凸信息。混合纹理则为目标植被的空间信息与其他的纹理进行合并后的纹理。
本示例实施方式中,Mix(混合)纹理各通道分别为:
R:Normal R(原法线R通道)
G:Normal G(原法线G通道)
B:Lighting Mask(原照片Diffuse(漫反射)的高亮区域Mask(遮罩))
A:SSS Mask(植物轮廓边缘Mask,能够粗略地模拟SSS效果常见的可见区域)
其中,SSS(Subsurface Scattering,次表面散射)是穿透半透明物体表面的光通过与材质相互作用而产生的散射效果,现实世界的玉石、皮肤、树叶等均存在SSS效果。本实例实施方式中的SSS并非真实的SSS,而是一种基于视觉导向的粗略模拟SSS。
图7示意性示出了根据本公开的一个具体实施方式中的计算球型法线的节点连接示意图,AI法线纹理处理中使用了球型法线,通过在二维平面空间中计算三维的球型深度图以获得球型法线。然后对植被面片模型的法线纹理和球型法线进行混合操作以获得近似于2.5D的空间信息。图8示意性示出了根据本公开的一个具体实施方式中的植被面片模型最终的混合法线纹理的示意图。
本示例实施方式中,可以基于空间信息生成目标植被的模型遮罩,然后对目标植被的模型遮罩的遮罩参数进行调整以获得光线交互效果和色彩效果。
在步骤S430中,根据目标显示效果确定模型遮罩的遮罩参数,并将模型遮罩叠加在目标植被的真实图片上,得到目标植被对应的目标植被模型。
本示例实施方式中,可以将植被面片模型和模型遮罩导入材质编辑器中,在材质编辑器中根据目标显示效果确定模型遮罩的遮罩参数。
本示例实施方式中,可以使用UE4的材质编辑器实现上述步骤。其中,UE4(UnrealEngine 4)是一款游戏引擎,该引擎可以用于游戏开发、实时渲染、虚拟现实等领域,使用UE4可以完成植被面片模型的实时渲染。
本示例实施方式中,目标显示效果可以包括目标受光效果,基于目标植被的空间信息得到植被面片模型的混合纹理,并通过对植被面片模型的混合纹理进行采样,得到采样法线信息、源亮部遮罩信息和伪次表面散射遮罩信息;将采样法线信息与平行光照向量进行计算,并根据源亮部遮罩信息和伪次表面散射遮罩信息,将自阴影效果、基础受光效果以及次表面散射效果进行混合,以实现目标受光效果。其中,由于纹理通道数量的限制,采样法线信息可以选择丢弃混合纹理中的法线纹理的B通道,因为法线纹理的B通道信息密度较少,所以对于计算的影响,从视觉效果层面来说可以忽略。伪次表面散射遮罩信息不是真正意义上的“次表面散色遮罩信息”,而是由现实照片推测而来的。
在植被材质中,着色模型可以选择Unlit,Unlit指不受光,因为不受光的着色模型的光照计算步骤较少,所以使用不受光的着色模型实现基础的受光效果可以有效降低材质的性能开销。混合模式选择Masked,采样漫反射纹理获得植被面片模型的基础颜色信息,利用漫反射纹理的A通道存放植被面片模型的透明度测试遮罩信息来对模型进行局部的渲染剔除。RGB通道输出代表植被的基础颜色信息,该信息会与Base Color(用户参数)进行相乘。其中,用户参数有三个,分别为Shadow Color(自阴影颜色)、Lighting Color(光照颜色)、SSS Color(次表面散射颜色)。
通过输入为基础的受光效果进行线性插值所需的遮罩信息,以及为SSS效果进行线性插值所需的遮罩信息,根据采样混合纹理获得的法线信息、基础的受光效果的遮罩信息、SSS效果的遮罩信息,利用法线信息与平行光照向量进行点积来实现遮罩信息可以跟随场景平行光照的改变而改变,利用不同的遮罩信息将基础的受光效果、自阴影效果、SSS效果按顺序进行混合。通过线性插值节点可以将“自阴影颜色”与“光照颜色”进行线性插值混合,然后将该结果与次表面散射颜色再次进行线性插值混合。
其中,线性插值节点(Lerp节点)是UE4的材质编辑器中基础的函数节点,它需要A,B,Alpha三项输入,执行以下公式进行计算,最终结果为A*(1-Alpha)+B*Alpha。
根据采样混合纹理获得的法线信息通常为三维向量,为了减少纹理采样,通常只在纹理中存储法线信息的R通道和G通道,然后将法线信息的值域从[0,1]映射至[-1,1],最后单独对法线信息的B通道设置为1,即可得到相对完整的法线信息。点积操作可以使用点积函数实现,通过点积操作可以获取当前场景的平行光照的方向。
本示例实施方式中,目标显示效果还可以包括广告牌效果,通过调用广告牌效果材质函数构造变换矩阵,通过变换矩阵对法线信息进行变换处理,以实现广告牌效果。同时,还可以通过开关节点确定植被面片模型的旋转方式。
通过调用广告牌效果材质函数MF_Billboard可以对植被模型添加Billboard效果,然后使用材质函数Transform3x3Matrix通过输入矩阵的方式来对法线信息进行变换处理,在场景平行光照的变化过程中确保基础的受光效果的遮罩信息的正确性。材质函数Transform3x3Matrix的VectorToTransform(待变换的向量)输入为植被面片的法线信息。材质函数Transform3x3Matrix的作用是根据BasisX、BasisY、BasisZ的输入构造矩阵大小为3x3的变换矩阵,然后将法线信息通过基础的矩阵运算(矩形*向量)进行变换处理。其中,BasisX的输入为广告牌效果材质函数MF_Billboard的VectorX输出。BasisY的输入为广告牌效果材质函数MF_Billboard的VectorY输出乘-1。BasisZ的输入为广告牌效果材质函数MF_Billboard的VectorZ输出。
在材质函数MF_Billboard实现Billboard效果,可以通过自定义节点控制植被模型在世界空间下的顶点坐标的输入类型,使用材质函数ObjectPivotPoint(对象支点函数)获取植被模型在世界空间下的质心的坐标信息,使用材质函数CameraDirectionVector(相机方向矢量函数)获取世界空间下的摄像机方向,对该方向进行归一化操作后,使用Cross(叉积)节点获得变换矩阵所需的三个方向的基础的向量,构造相应的矩阵实现Billboard效果,并且通过开关节点控制植被面片模型是否进行Z轴旋转。材质函数可以控制模型是否绕圆柱面或者球面旋转,并始终朝向用户。开关打开后绕球面旋转;关闭后绕圆柱面旋转。
本示例实施方式中,目标显示效果还可以包括基于海拔高度的植被颜色变化效果,通过获取基于海拔高度的植被颜色参数,基于海拔高度的植被颜色参数包括高海拔植被颜色参数、中间海拔植被颜色参数和低海拔植被颜色参数;根据目标植被在世界空间下的顶点坐标确定目标植被的海拔高度;根据目标植被的海拔高度对基于海拔高度的植被颜色参数进行渐变处理,得到目标植被对应的基于海拔高度的植被颜色参数。
为了减少在植被材质中的纹理采样次数,在自定义节点中实现三种颜色的渐变算法,并通过植被模型在世界空间下的顶点坐标作为海拔高度来对渐变算法生成的过渡遮罩的数值进行重新映射,确保基于海拔高度的植被颜色变化效果与当前场景进行匹配。实现该效果的核心算法如下:
float3 Color=lerp(ColorC,ColorB,Gradient/MiddlePoint)*step(Gradient,MiddlePoint);
Color+=lerp(ColorB,ColorA,(Gradient-MiddlePoint)/(1.0f-MiddlePoint))*step(MiddlePoint,Gradient);
return Color;
其中,此处的step(Y,X)函数的计算步骤是使用X与Y进行比较,如果X大于等于Y,则输出1,如果X小于Y,则输出0。该算法包含的五项输入为:
(1)ColorA:对应用户参数High Altitude Color,高处海拔的植被颜色。
(2)ColorB:对应用户参数Middle Altitude Color,中间海拔的植被颜色。
(3)ColorC:对应用户参数Low Altitude Color,低处海拔的植被颜色。
(4)MiddlePoint:对应用户参数Color Gradient Middle Point,渐变算法的中点位置(也称ColorB的位置),当它的数值为0.5时,左侧为ColorA,右侧为ColorC,而ColorB位于正中间。
5)Gradient:渐变遮罩,根据植被模型的顶点在世界空间下的Z方向上的数值作为海拔高度计算得出。
该算法包含一项输出,即Color:基于海拔高度的植被的最终颜色。
本示例实施方式中,目标显示效果还可以包括全局植被颜色变化效果,通过调用全局变化材质函数生成对基础颜色进行随机变化后的颜色输出数值,以及对基础灰度进行随机变化后的灰度输出数值;基于颜色输出数值和灰度输出数值对植被模型添加全局植被颜色变化效果。
在植被材质中,通过调用全局变化材质函数来对植被模型添加全局的植被颜色变化效果,在全局变化材质函数中,使用模型实例随机种子值影响植被颜色变化效果的强度,使用数值截取节点防止出现颜色变化较大的植被模型。
本示例实施方式中,还可以创建多个植被材质实例模板,并根据植被材质实例模板对植被面片模型设置植被材质实例。
创建植被材质实例模板可以有效地减少植被材质编译后的着色器大小,它仅修改每个效果的开关的状态。根据不同场景的植被需要的效果组合的情况,可以创建多个植被材质实例模板,例如,第一个植被材质实例模板包含上述的全部效果,适用于植被面片模型;第二个植被材质实例模板包含上述除色卡效果以外的其他效果,适用于植被面片模型;第三个植被材质实例模板适用于石头面片模型。也可以根据需求创建其他植被材质实例模板,本示例实施方式中不作具体限定。
如图9所示是本公开的一个具体实施方式中的植被模型的生成方法的完整流程图,是对本示例实施方式中的上述步骤的举例说明,该流程图的具体步骤如下:
步骤S902.使用C4D制作植被面片模型。
根据收集到的目标植被的真实图片,使用C4D制作植被面片模型。
步骤S904.导出植被面片模型文件。
步骤S906.使用ControlNet生成植被面片模型的法线贴图。
步骤S908.使用SD合并植被面片模型的贴图。
步骤S910.导出植被贴图文件。
在SD中处理AI生成的法线信息,获得基于视觉推测的2.5D位置信息图。
步骤S912.将植被面片模型文件和植被贴图文件导入至UE4。
步骤S914.在UE4中创建植被材质。
步骤S916.在材质编辑器中实现基础的受光效果。
步骤S918.在材质编辑器中实现Billboard效果。
步骤S920.在材质编辑器中实现基于海拔高度的植被颜色变化效果。
步骤S922.在材质编辑器中实现某于全场景的植被颜色变化效果。
步骤S924.根据植被材质实例模板创建植被材质实例。
步骤S926.对植被面片模型设置植被材质实例。
步骤S928.修改植被材质实例参数。
在UE4的材质编辑器中利用混合纹理实现植被面片模型的假受光效果、自阴影效果、SSS效果;利用植被面片模型的顶点变换实现Billboard效果;利用自定义节点实现无需采样额外纹理的基于海拔高度的植被颜色变化效果(色卡效果);利用模型实例随机种子值实现全局的植被颜色变化效果。
图10和图11示意性示出了根据本公开的一个具体实施方式中的渲染效果对比的示意图,左侧为无光照交互的植被模型,右侧为采用上述流程得到的有光照交互的植被模型。
图12示意性示出了根据本公开的一个具体实施方式中的植被模型光照交互的示意图,由左右两侧的模型图片可知,根据不同的光照变化范围,受光区域、SSS区域、和阴影区域的范围也随之变化。
本示例实施方式中,通过引入AIGC流程以生成原本无法从现实照片里获得的空间相关信息,使用ControlNet生成植物照片的法线信息,并在SD中处理AI生成的法线信息,获得基于视觉推测的2.5D位置信息图。之后再进行纹理的合并操作获得混合纹理,以优化纹理数量。然后在UE4的材质编辑器中利用混合纹理实现植被面片模型的假受光效果、自阴影效果、SSS效果;利用植被面片模型的顶点变换实现Billboard效果;利用自定义节点实现无需采样额外纹理的基于海拔高度的植被颜色变化效果(色卡效果);利用模型实例随机种子值实现全局的植被颜色变化效果。
应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
进一步的,本公开还提供了一种植被模型的生成装置。参考图13所示,该植被模型的生成装置可以包括法线纹理生成模块1310、模型遮罩生成模块1320以及植被模型生成模块1330。其中:
法线纹理生成模块1310可以用于根据目标植被的真实图片生成对应的植被面片模型,并通过法线信息生成模型生成植被面片模型的法线纹理;
模型遮罩生成模块1320可以用于将植被面片模型的法线纹理与球型法线进行混合,得到目标植被的空间信息,并基于空间信息生成目标植被的模型遮罩,其中,目标植被的空间信息为目标植被在类平面空间上的模拟凹凸信息;
植被模型生成模块1330可以用于根据目标显示效果确定模型遮罩的遮罩参数,并将模型遮罩叠加在目标植被的真实图片上,得到目标植被对应的目标植被模型。
在本公开的一些示例性实施例中,法线纹理生成模块1310可以包括面片参数确定单元以及植被面片模型生成单元。其中:
面片参数确定单元可以用于根据目标植被的位置确定面片轴向和面片轴心,并基于预设参考高度以及预设比例确定面片大小;
植被面片模型生成单元可以用于根据目标植被对面片边界进行调整,以生成目标植被对应的植被面片模型。
在本公开的一些示例性实施例中,法线纹理生成模块1310还可以包括面片数量调整单元,可以用于若目标植被的面片数量大于或等于面片数量阈值,则通过多细节层次技术降低植被面片模型的面片数量。
在本公开的一些示例性实施例中,法线纹理生成模块1310还可以包括纹理组合单元,可以用于若植被面片模型中存在多个相同类型的纹理,则将多个相同类型的纹理合并为一个组合纹理。
在本公开的一些示例性实施例中,法线纹理生成模块1310还可以包括法线纹理生成单元,可以用于通过ControlNet模型生成植被面片模型的法线纹理,并调整法线纹理的生成参数以获得目标法线效果。
在本公开的一些示例性实施例中,模型遮罩生成模块1320可以包括法线纹理合并单元,可以用于通过计算球型深度图以获得球型法线,并将植被面片模型的法线纹理与球型法线的各个通道进行混合,得到目标植被的空间信息。
在本公开的一些示例性实施例中,植被模型生成模块1340可以包括遮罩参数确定单元,可以用于将植被面片模型和模型遮罩导入材质编辑器中,在材质编辑器中根据目标显示效果确定模型遮罩的遮罩参数。
在本公开的一些示例性实施例中,遮罩参数确定单元可以包括混合纹理生成单元、遮罩信息获取单元以及目标受光效果实现单元。其中:
混合纹理生成单元可以用于基于目标植被的空间信息得到植被面片模型的混合纹理;
遮罩信息获取单元可以用于通过对植被面片模型的混合纹理进行采样,得到采样法线信息、源亮部遮罩信息和伪次表面散射遮罩信息;
目标受光效果实现单元可以用于将采样法线信息与平行光照向量进行计算,并根据源亮部遮罩信息和伪次表面散射遮罩信息,将自阴影效果、基础受光效果以及次表面散射效果进行混合,以实现目标受光效果。
在本公开的一些示例性实施例中,遮罩参数确定单元还可以包括广告牌效果实现单元,可以用于通过调用广告牌效果材质函数构造变换矩阵,通过变换矩阵对法线信息进行变换处理,以实现广告牌效果。
在本公开的一些示例性实施例中,遮罩参数确定单元还可以包括旋转方式确定单元,可以用于通过开关节点确定植被面片模型的旋转方式。
在本公开的一些示例性实施例中,遮罩参数确定单元还可以包括海拔植被颜色参数获取单元、目标海拔高度确定单元以及目标海拔植被颜色参数确定单元。其中:
海拔植被颜色参数获取单元可以用于获取基于海拔高度的植被颜色参数,基于海拔高度的植被颜色参数包括高海拔植被颜色参数、中间海拔植被颜色参数和低海拔植被颜色参数;
目标海拔高度确定单元可以用于根据目标植被在世界空间下的顶点坐标确定目标植被的海拔高度;
目标海拔植被颜色参数确定单元可以用于根据目标植被的海拔高度对基于海拔高度的植被颜色参数进行渐变处理,得到目标植被对应的基于海拔高度的植被颜色参数。
在本公开的一些示例性实施例中,遮罩参数确定单元还可以包括随机数值输出单元以及全局植被颜色变化效果实现单元。其中:
随机数值输出单元可以用于通过调用全局变化材质函数生成对基础颜色进行随机变化后的颜色输出数值,以及对基础灰度进行随机变化后的灰度输出数值;
全局植被颜色变化效果实现单元可以用于基于颜色输出数值和灰度输出数值对植被模型添加全局植被颜色变化效果。
在本公开的一些示例性实施例中,遮罩参数确定单元还可以包括植被材质实例模板创建单元,可以用于创建多个植被材质实例模板,并根据植被材质实例模板对植被面片模型设置植被材质实例。
上述植被模型的生成装置中各模块/单元的具体细节在相应的方法实施例部分已有详细的说明,此处不再赘述。
图14示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图14示出的电子设备的计算机系统1400仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图14所示,计算机系统1400包括中央处理单元(CPU)1401,其可以根据存储在只读存储器(ROM)1402中的程序或者从存储部分1408加载到随机访问存储器(RAM)1403中的程序而执行各种适当的动作和处理。在RAM 1403中,还存储有系统操作所需的各种程序和数据。CPU 1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。
以下部件连接至I/O接口1405:包括键盘、鼠标等的输入部分1406;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1407;包括硬盘等的存储部分1408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1410上,以便于从其上读出的计算机程序根据需要被安装入存储部分1408。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1409从网络上被下载和安装,和/或从可拆卸介质1411被安装。在该计算机程序被中央处理单元(CPU)1401执行时,执行本公开的系统中限定的各种功能。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种植被模型的生成方法,其特征在于,包括:
根据目标植被的真实图片生成对应的植被面片模型,并通过法线信息生成模型生成所述植被面片模型的法线纹理;
将所述植被面片模型的法线纹理与球型法线进行混合,得到所述目标植被的空间信息,并基于所述空间信息生成所述目标植被的模型遮罩,其中,所述目标植被的空间信息为所述目标植被在类平面空间上的模拟凹凸信息;
根据目标显示效果确定所述模型遮罩的遮罩参数,并将所述模型遮罩叠加在所述目标植被的真实图片上,得到所述目标植被对应的目标植被模型。
2.根据权利要求1所述的植被模型的生成方法,其特征在于,所述根据目标植被的真实图片生成对应的植被面片模型,包括:
根据目标植被的位置确定面片轴向和面片轴心,并基于预设参考高度以及预设比例确定面片大小;
根据所述目标植被对面片边界进行调整,以生成所述目标植被对应的植被面片模型。
3.根据权利要求2所述的植被模型的生成方法,其特征在于,所述方法还包括:
若所述目标植被的面片数量大于或等于面片数量阈值,则通过多细节层次技术降低所述植被面片模型的面片数量。
4.根据权利要求2所述的植被模型的生成方法,其特征在于,所述方法还包括:
若所述植被面片模型中存在多个相同类型的纹理,则将所述多个相同类型的纹理合并为一个组合纹理。
5.根据权利要求1所述的植被模型的生成方法,其特征在于,所述通过法线信息生成模型生成所述植被面片模型的法线纹理,包括:
通过ControlNet模型生成所述植被面片模型的法线纹理,并调整所述法线纹理的生成参数以获得目标法线效果。
6.根据权利要求1所述的植被模型的生成方法,其特征在于,所述将所述植被面片模型的法线纹理与球型法线进行混合,得到所述目标植被的空间信息,包括:
通过计算球型深度图以获得球型法线,并将所述植被面片模型的法线纹理与所述球型法线的各个通道进行混合,得到所述目标植被的空间信息。
7.根据权利要求1所述的植被模型的生成方法,其特征在于,所述根据目标显示效果确定所述模型遮罩的遮罩参数,包括:
将所述植被面片模型和所述模型遮罩导入材质编辑器中,在所述材质编辑器中根据目标显示效果确定所述模型遮罩的遮罩参数。
8.根据权利要求7所述的植被模型的生成方法,其特征在于,所述目标显示效果包括目标受光效果,所述在所述材质编辑器中根据目标显示效果确定所述模型遮罩的遮罩参数,包括:
基于所述目标植被的空间信息得到所述植被面片模型的混合纹理;
通过对所述植被面片模型的混合纹理进行采样,得到采样法线信息、源亮部遮罩信息和伪次表面散射遮罩信息;
将所述采样法线信息与平行光照向量进行计算,并根据所述源亮部遮罩信息和所述伪次表面散射遮罩信息,将自阴影效果、基础受光效果以及次表面散射效果进行混合,以实现所述目标受光效果。
9.根据权利要求7所述的植被模型的生成方法,其特征在于,所述目标显示效果包括广告牌效果,所述在所述材质编辑器中根据目标显示效果确定所述模型遮罩的遮罩参数,包括:
通过调用广告牌效果材质函数构造变换矩阵,通过所述变换矩阵对法线信息进行变换处理,以实现所述广告牌效果。
10.根据权利要求9所述的植被模型的生成方法,其特征在于,所述方法还包括:
通过开关节点确定所述植被面片模型的旋转方式。
11.根据权利要求7所述的植被模型的生成方法,其特征在于,所述目标显示效果包括基于海拔高度的植被颜色变化效果,所述在所述材质编辑器中根据目标显示效果确定所述模型遮罩的遮罩参数,包括:
获取基于海拔高度的植被颜色参数,所述基于海拔高度的植被颜色参数包括高海拔植被颜色参数、中间海拔植被颜色参数和低海拔植被颜色参数;
根据所述目标植被在世界空间下的顶点坐标确定所述目标植被的海拔高度;
根据所述目标植被的海拔高度对所述基于海拔高度的植被颜色参数进行渐变处理,得到所述目标植被对应的基于海拔高度的植被颜色参数。
12.根据权利要求7所述的植被模型的生成方法,其特征在于,所述目标显示效果包括全局植被颜色变化效果,所述在所述材质编辑器中根据目标显示效果确定所述模型遮罩的遮罩参数,包括:
通过调用全局变化材质函数生成对基础颜色进行随机变化后的颜色输出数值,以及对基础灰度进行随机变化后的灰度输出数值;
基于所述颜色输出数值和所述灰度输出数值对植被模型添加全局植被颜色变化效果。
13.根据权利要求7所述的植被模型的生成方法,其特征在于,所述方法还包括:
创建多个植被材质实例模板,并根据所述植被材质实例模板对所述植被面片模型设置植被材质实例。
14.一种植被模型的生成装置,其特征在于,包括:
法线纹理生成模块,用于根据目标植被的真实图片生成对应的植被面片模型,并通过法线信息生成模型生成所述植被面片模型的法线纹理;
模型遮罩生成模块,用于将所述植被面片模型的法线纹理与球型法线进行混合,得到所述目标植被的空间信息,并基于所述空间信息生成所述目标植被的模型遮罩,其中,所述目标植被的空间信息为所述目标植被在类平面空间上的模拟凹凸信息;
植被模型生成模块,用于根据目标显示效果确定所述模型遮罩的遮罩参数,并将所述模型遮罩叠加在所述目标植被的真实图片上,得到所述目标植被对应的目标植被模型。
15.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储一个或多个程序,当所述一个或多个程序被所述处理器执行时,使得所述处理器实现如权利要求1至13中任一项所述的植被模型的生成方法。
16.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至13中任一项所述的植被模型的生成方法。
CN202311634181.9A 2023-11-30 2023-11-30 植被模型的生成方法、装置、电子设备及计算机可读介质 Pending CN117618892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311634181.9A CN117618892A (zh) 2023-11-30 2023-11-30 植被模型的生成方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311634181.9A CN117618892A (zh) 2023-11-30 2023-11-30 植被模型的生成方法、装置、电子设备及计算机可读介质

Publications (1)

Publication Number Publication Date
CN117618892A true CN117618892A (zh) 2024-03-01

Family

ID=90024933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311634181.9A Pending CN117618892A (zh) 2023-11-30 2023-11-30 植被模型的生成方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN117618892A (zh)

Similar Documents

Publication Publication Date Title
US11257286B2 (en) Method for rendering of simulating illumination and terminal
CN112316420B (zh) 模型渲染方法、装置、设备及存储介质
CN110599574B (zh) 游戏场景的渲染方法、装置及电子设备
CA2282637C (en) Method for rendering shadows on a graphical display
US7583264B2 (en) Apparatus and program for image generation
Li et al. Physically-based editing of indoor scene lighting from a single image
Lu et al. Illustrative interactive stipple rendering
CN111508053B (zh) 模型的渲染方法、装置、电子设备及计算机可读介质
CN110400372B (zh) 一种图像处理的方法及装置、电子设备、存储介质
RU2422902C2 (ru) Двумерная/трехмерная комбинированная визуализация
CN111429558B (zh) 实时模拟动态水体缩略模型的方法及系统
US20180005432A1 (en) Shading Using Multiple Texture Maps
Beason et al. Pre-computed illumination for isosurfaces
CN117618892A (zh) 植被模型的生成方法、装置、电子设备及计算机可读介质
CN115731369A (zh) 一种基于虚幻引擎的后处理材料获取方法及使用方法
CN113936080A (zh) 虚拟模型的渲染方法和装置、存储介质及电子设备
US9514566B2 (en) Image-generated system using beta distribution to provide accurate shadow mapping
CN117058301B (zh) 一种基于延迟着色的针织物实时渲染方法
Birukov et al. Elaboration of visualization modes for lighting simulation in catia cad system
CN117671110B (zh) 基于人工智能的实时渲染系统及方法
CN116934940A (zh) 基于光线追踪技术使用全景图生成模型贴图的方法
Zhao et al. Realistic and detail rendering of village virtual scene based on pixel offset
Jain 3D Image Creation With Standard Light Effects
Sperlhofer Deferred rendering of planetary terrains with accurate atmospheres
Sulaiman et al. 3D Medical Illustration Approach using real Patient Dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination