CN115375828A - 模型的阴影生成方法、装置、设备、介质 - Google Patents

模型的阴影生成方法、装置、设备、介质 Download PDF

Info

Publication number
CN115375828A
CN115375828A CN202211305359.0A CN202211305359A CN115375828A CN 115375828 A CN115375828 A CN 115375828A CN 202211305359 A CN202211305359 A CN 202211305359A CN 115375828 A CN115375828 A CN 115375828A
Authority
CN
China
Prior art keywords
shadow
target
image
model
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211305359.0A
Other languages
English (en)
Other versions
CN115375828B (zh
Inventor
徐东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211305359.0A priority Critical patent/CN115375828B/zh
Publication of CN115375828A publication Critical patent/CN115375828A/zh
Application granted granted Critical
Publication of CN115375828B publication Critical patent/CN115375828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Generation (AREA)

Abstract

本申请公开了一种模型的阴影生成方法、装置、设备、介质，涉及图像处理领域。该方法包括：获取目标三维模型对应的二值图像和虚拟场景对应的环境光照贴图；对二值图像和环境光照贴图进行特征空间压缩和特征连接，将环境光照贴图所表征的全局共享光照效果映射至二值图像，得到中间特征表示；对中间特征表示进行上采样和特征空间解压缩，得到阴影图像；在虚拟场景中通过阴影图像生成目标三维模型的阴影效果。即，通过将环境光照贴图对应的光照特征全局共享至二值图像对应的模型特征上，从而根据目标三维模型的二值图像高效地生成目标三维模型的阴影效果，减少了设备进行阴影生成时的数据处理量，提升了模型阴影的生成效率。

Description

模型的阴影生成方法、装置、设备、介质
技术领域
本申请涉及图像处理领域，特别涉及一种模型的阴影生成方法、装置、设备、介质。
背景技术
为了增加游戏中虚拟场景画面的真实性，会为虚拟场景中的虚拟物体根据虚拟场景对应的虚拟场景光照添加对应的阴影效果。在游戏设计调试过程中，存在因为终端机型或者三维模型渲染先后顺序而导致的阴影特效渲染失败的问题。
相关技术中，针对虚拟场景中虚拟物体的阴影重构，常使用三角形重建的几何阴影图算法。即，先在光源空间绘制场景，通过着色器和光栅化功能保存每一个像素对应的遮挡三角形，生成几何阴影图，然后在视域空间绘制场景，分别使用遮挡三角形、边邻接三角形和相邻纹素中的三角形信息进行测试，找到原始的遮挡像素的三角形几何，对于三角形信息仍然缺失的像素，使用外插算法对像素遮挡物的深度值进行估计，最后比较光源空间的像素深度和算法重建出的遮挡物深度，获得阴影计算结果。
然而，上述方法受游戏中相机视野的影响，对应的计算量较大，难以在游戏调试过程中快速实现阴影重构的过程。
发明内容
本申请实施例提供了一种模型的阴影生成方法、装置、设备、介质，可以提升三维模型的阴影生成效率。所述技术方案如下所示。
一方面，提供了一种模型的阴影生成方法，所述方法包括：
获取目标三维模型对应的二值图像和虚拟场景对应的环境光照贴图，所述二值图像是所述目标三维模型映射至二维平面上并对所述二维平面上的图像前景和背景进行区分的图像，所述环境光照贴图用于指示虚拟光源在所述虚拟场景中对三维实体的全局共享光照效果；
对所述二值图像和所述环境光照贴图进行特征空间压缩和特征连接，将所述环境光照贴图所表征的所述全局共享光照效果映射至所述二值图像，得到中间特征表示；
对所述中间特征表示进行上采样和特征空间解压缩，得到阴影图像；
在所述虚拟场景中通过所述阴影图像生成所述目标三维模型的阴影效果。
另一方面，提供了一种模型的阴影生成装置，所述装置包括：
获取模块，用于获取目标三维模型对应的二值图像和虚拟场景对应的环境光照贴图，所述二值图像是所述目标三维模型映射至二维平面上并对所述二维平面上的图像前景和背景进行区分的图像，所述环境光照贴图用于指示虚拟光源在所述虚拟场景中对三维实体的全局共享光照效果；
预测模块，用于对所述二值图像和所述环境光照贴图进行特征空间压缩和特征连接，将所述环境光照贴图所表征的所述全局共享光照效果映射至所述二值图像，得到中间特征表示；
所述预测模块，还用于对所述中间特征表示进行上采样和特征空间解压缩，得到阴影图像；
生成模块，用于在所述虚拟场景中通过所述阴影图像生成所述目标三维模型的阴影效果。
另一方面，提供了一种计算机设备，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现本申请实施例中任一所述的模型的阴影生成方法。
另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现本申请实施例中任一所述的模型的阴影生成方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的模型的阴影生成方法。
本申请的提供的技术方案至少包括以下有益效果如下所示。
当虚拟场景中的目标三维模型需要生成对应的阴影效果时，通过获取该目标三维模型对应的二值图像以及虚拟场景对应的环境光照贴图，将二值图像和环境光照贴图进行特征空间压缩以及特征连接，从而在对二值图像和环境光照贴图的编码过程中将环境光照贴图对应的光照特征全局共享至二值图像对应的模型特征上，将得到的中间特征进行上采样和特征空间解压缩，从而得到阴影图像，该阴影图像能够应用于虚拟场景中目标三维模型的阴影效果生成。即，通过目标三维模型的二值图像即可高效地生成目标三维模型的阴影效果，减少了设备进行阴影生成时的数据处理量，提升了模型的阴影的生成效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的实施环境的示意图；
图2是本申请一个示例性实施例提供的模型的阴影生成方法的流程图；
图3是本申请一个示例性实施例提供的目标阴影生成模型的示意图；
图4是本申请一个示例性实施例提供的目标阴影生成模型中目标编码器和目标解码器对应的结构示意图；
图5是本申请一个示例性实施例提供的阴影生成模型的训练方法流程图；
图6是本申请一个示例性实施例提供的环境光照贴图的示意图；
图7是本申请一个示例性实施例提供的轮廓阴影的示意图；
图8是本申请另一个示例性实施例提供的模型的阴影生成方法的流程图；
图9是本申请一个示例性实施例提供的目标遮挡预测模型和目标阴影生成模型的示意图；
图10是本申请一个示例性实施例提供的阴影图像生成的流程图；
图11是本申请一个示例性实施例提供的模型的阴影生成装置结构框图；
图12是本申请另一个示例性实施例提供的模型的阴影生成装置结构框图；
图13是本申请一个示例性实施例提供的服务器的结构示意图；
图14是本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请实施例中涉及的名词进行简要介绍。
人工智能（Artificial Intelligence，AI）：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
机器学习（Machine Learning，ML）：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术（Computer Vision，CV）：计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别（Optical Character Recognition，OCR）、视频处理、视频语义理解、视频内容识别、三维物体重建、3D技术、虚拟现实、增强现实、地图构建、自动驾驶、智慧交通等技术。
虚拟场景：是一个虚拟的开放空间，该虚拟场景可以是对真实世界的仿真场景，也可以是半仿真半虚构的场景，还可以是纯虚构的场景。可选地，虚拟场景可以是二维虚拟场景、2.5维虚拟场景和三维虚拟场景中的任意一种，下述实施例以虚拟场景是三维虚拟场景来举例说明，但对此不加以限定。
示意性的，该虚拟场景中包括虚拟物体，可选地，虚拟物体可以是虚拟场景中的场景组成元素，如虚拟场景中的虚拟建筑物，也可以是位于虚拟场景中的场景参与元素，如，活动于虚拟场景中的虚拟对象等。可选地，上述虚拟物体可以是二维虚拟物体、2.5维虚拟物体和三维虚拟物体中的任意一种。在本申请实施例中，以虚拟场景中包括通过三维模型实现的三维虚拟物体为例进行示意性说明。
光照贴图：为提升虚拟场景的真实性，会在虚拟场景中添加虚拟光源，从而在虚拟场景中体现光照效果。为实现虚拟场景中虚拟光源对应光照效果，可以通过在虚拟场景中加载虚拟光源对应的光照贴图，即，上述光照贴图用于在虚拟场景中原有物体模型纹理渲染的基础上，添加光照纹理的融合，使得物体模型渲染出光照效果。
阴影：虚拟物体在虚拟场景中被虚拟光源照射时，对虚拟光源造成遮挡，从而在虚拟地面上产生阴影效果。示意性的，虚拟场景中的阴影效果可以通过阴影贴图实现，即，在虚拟场景原有的场景模型纹理渲染的基础上，添加阴影纹理的融合，使得虚拟场景选乱出物体模型对应的阴影效果。
结合上述名词解释，对本申请提供的模型的阴影生成方法的应用场景进行示意性说明，该方法可以应用于如下场景中。
第一种，游戏设计过程中对虚拟场景渲染效果的调试过程。
在游戏的设计调试阶段中，设计人员需要对游戏应用在生成虚拟场景时对虚拟场景的渲染效果进行调试，例如，将游戏应用运行在不同配置的设备上，根据虚拟场景在不同配置的设备上的渲染情况进行调试。其中，在虚拟场景的渲染过程中，由于设备机型或者三维模型渲染先后顺序的问题可能导致模型的阴影特效渲染失败，当确定存在阴影特效渲染失败的情况时，获取阴影特效渲染失败的目标三维模型，提取目标三维模型对应的二值图像，将二值图像以及当前虚拟场景对应的环境光照贴图输入至目标阴影生成模型，输出得到对应的阴影图像，将阴影图像作为贴图融入虚拟场景的渲染过程中，以便实现渲染调试过程中的阴影重建。
即，将本方法应用于虚拟场景渲染调试中的阴影重建，从而能够在调试过程中结合阴影效果合理地判断虚拟场景的渲染质量，同时，若生成的阴影图像需要应用至后续游戏的应用场景中时，在调试阶段也可以能够对上述阴影图像所实现的阴影效果进行预览和质量判断，以便对不合理的阴影效果进行进一步修改。
第二种，游戏应用运行过程中对虚拟场景的生成过程。
在游戏应用的过程中，当需要对虚拟场景中目标三维模型对应的阴影效果进行渲染时，获取目标三维模型对应的二值图像，以及当前虚拟场景所配置的环境光照贴图，将上述二值图像和环境光照贴图输入至目标阴影生成模型，输出得到对应的阴影图像，将上述阴影图像用于虚拟场景中实时生成阴影效果的过程。
值得注意的是，上述应用场景仅为举例性说明，该模型的阴影生成方法还可以应用于其他虚拟场景中模型的阴影生成过程中，在此不进行具体限定。
请参考图1，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境的计算机系统中包括：终端110、服务器120和通信网络130。
终端110包括手机、平板电脑、台式电脑、便携式笔记本电脑、智能语音交互设备、智能家电、车载终端、飞行器等多种形式的设备。示意性的，终端110中运行有目标应用，该目标应用可实现为游戏应用或游戏调试应用。可选地，上述当上述目标应用实现为游戏应用时，上述游戏应用可以是第三人称射击（Third-Personal Shooting，TPS）游戏、第一人称射击（First-Person Shooting，FPS）游戏、多人在线战术竞技游戏（Multiplayer OnlineBattle Arena Games，MOBA）、大型多人在线角色扮演游戏（Massive Multiplayer OnlineRole-Playing Game，MMORPG）、策略游戏等中的任意一种。可选地，当目标应用实现为游戏调试应用时，上述游戏调试应用可以实现为能够构建虚拟场景并对虚拟场景进行渲染的游戏引擎，例如，虚幻引擎4（Unreal Engine 4，UE4）、Unity3D、狂暴引擎（RAGE Engine）、寒霜引擎（Frostbite Engine）等中的至少一种。
服务器120用于提供播报内容生成模型的训练以及应用功能。值得注意的是，上述服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云安全、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，云技术（Cloud Technology）是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
在一些实施例中，上述服务器120还可以实现为区块链系统中的节点。区块链（Blockchain）是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。
示意性的，终端110和服务器120之间通过通信网络130连接，其中，上述通信网络130可以是有线网络，也可以是无线网络，在此不进行限定。
在一些实施例中，当实现为终端110和服务器120共同实现为分布式的计算机系统时，在一个示例中，服务器120对阴影生成模型进行训练，得到目标阴影生成模型，服务器120在接收到模型获取请求后，将目标阴影生成模型发送至终端110，终端110将上述目标阴影生成模型应用至目标应用中的阴影图像生成组件中。当目标应用存在阴影图像生成需求时，获取目标三维模型对应的二值图像以及环境光照贴图，将上述二值图像和环境光照贴图输入至目标阴影生成模型输出得到阴影图像，目标应用基于阴影图像在虚拟场景中对目标三维模型的阴影效果进行渲染。
在另一个示例中，服务器120将训练得到的目标阴影生成模型配置在服务器120中的阴影图像生成服务中，当终端110中的目标应用存在阴影图像的使用需求时，终端110向服务器120发送对目标三维模型的阴影图像的获取请求，服务器120通过获取目标三维模型的二值图像，以及虚拟场景对应的环境光照贴图，并将二值图像和环境光照贴图输入至目标阴影生成模型中，将输出得到的阴影图像发送至终端110，终端110基于阴影图像进行渲染。
在另一些实施例中，当终端110对应的计算处理资源满足需求时，上述阴影生成模型的训练过程也可以实现在终端110中，即，终端110对阴影生成模型进行训练，得到目标阴影生成模型，将目标阴影生成模型配置在目标应用中的阴影图像生成组件中，由目标应用在存在阴影图像的使用需求时进行调用。
在另一些实施例中，当目标应用实现为云应用时，例如，目标应用为云游戏，则服务器120对阴影生成模型进行训练，以得到目标阴影生成模型，服务器120将上述目标阴影生成模型应用在云游戏对应的云渲染引擎中，当云游戏需要在终端110中显示虚拟场景，且虚拟场景中包括具有阴影效果的目标三维模型时，云渲染引擎通过调用目标阴影生成模型生成对应的阴影图像，并通过上述阴影图像在云端渲染得到虚拟场景对应的虚拟场景画面，将虚拟场景画面对应的视频流传输至终端110，终端110显示对应的虚拟场景画面。
请参考图2，其示出了本申请一个实施例示出的模型的阴影生成方法的流程图，在本申请实施例中，以该方法应用于如图1所示的终端中为例进行示意性说明，该方法包括如下步骤。
步骤210，获取目标三维模型对应的二值图像和虚拟场景对应的环境光照贴图。
示意性的，上述二值图像是目标三维模型映射至二维平面上并对二维平面上的图像前景和背景进行区分的图像，在一个示例中，上述二值图像为目标三维模型对应的剪影。
示意性的，上述环境光照贴图用于指示虚拟光源在虚拟场景中对三维实体的全局共享光照效果。可选地，当上述环境光照贴图对应为虚拟场景中所有位置的光照贴图时，上述全局共享光照效果用于指示上述虚拟光源对虚拟场景中各个位置的光照情况；当上述环境光照贴图对应为虚拟场景中指定位置的光照贴图时，上述全局共享光照效果用于指示上述虚拟光源对虚拟场景中上述指定位置所对应的位置范围内的光照情况。
可选地，上述虚拟光源包括能够形成点光、平行光、聚光等光照效果的光源。可选地，虚拟场景对应的虚拟光源可以是一个也可以是多个，在此不进行限定。
在一些实施例中，生成目标三维模型对应的二维图像，并对二维图像中的目标三维模型进行边缘检测，确定二维图像中目标三维模型所在位置，根据目标三维模型和背景之间的边界，将该二维图像转换为二值图像，例如，该二值图像中包括灰度值为0和255，其中，目标三维模型对应的区域的像素灰度值为0，背景区域的像素灰度值为255。
在另一些实施例中，加载目标三维模型的游戏引擎中提供有目标三维模型的二值图像的导出功能，即，通过上述游戏引擎能够导出指定格式的目标三维模型对应的二值图像。在一个示例中，上述指定格式可以是.bin格式，即，二值图像可以是二进制文件存储的黑白图像。
可选地，获取的目标三维模型的二值图像的数量可以是单个，也可以是多个，在此不进行限定。
在一些实施例中，针对目标三维模型，根据不同的旋转角度和/或视角方向，目标三维模型对应的二值图像不同。其中，上述旋转角度指示的是以指定坐标轴为中心对目标三维模型进行旋转时的角度大小，在一个示例中，上述指定坐标轴可以是以目标三维模型中心纵轴；上述视角方向指示的是对目标三维模型进行观察的方向。
可选地，上述旋转角度和视角方向可以是系统预设的；或者，上述旋转角度也可以是从多个候选旋转角度中确定出的目标旋转角度，而视角方向则是从多个候选视角方向中确定出的目标视角方向；或者，上述旋转角度和视角方向还可以是根据当前虚拟场景对应的虚拟场景画面的观察方向确定的，例如，虚拟场景中的虚拟相机所对应的视角决定虚拟场景画面的显示内容，根据上述虚拟相机对应的视角确定出目标三维模型所对应的旋转角度以及视角方向；或者，上述旋转角度和视角方向还可以是根据虚拟场景中虚拟光源相对于目标三维模型的位置确定。
示意性的，根据预设的候选视角方向对目标三维模型进行二值图像的生成，获取目标三维模型，获取至少一个候选视角方向，以纵轴为旋转中心对目标三维模型进行旋转，并在旋转过程中截取候选视角方向下目标三维模型对应的至少一个二值图像。示意性的，在旋转过程中对目标三维模型的截取过程还可以实现为获取至少一个候选旋转角度，以纵轴为旋转中心，根据候选旋转角度对目标三维模型进行旋转，并截取在候选视角方向下候选旋转角度对应的目标三维模型的二值图像。
在一些实施例中，虚拟场景对应的环境光照贴图可以从上述游戏引擎中导出。示意性的，游戏引擎中提供有对虚拟场景的光照配置功能，通过光照配置功能可以配置虚拟场景中虚拟光源的类型、数量以及位置，游戏引擎根据上述配置能够生成对应的环境光照贴图。
在一些实施例中，以该方法应用于虚拟场景渲染效果的调试阶段中为例，根据虚拟场景中目标三维模型对应的阴影显示情况来确定是否需要进行阴影图像的生成。示意性的，对虚拟场景中目标三维模型对应的阴影显示情况进行检测，响应于目标三维模型处于阴影缺失状态，获取目标三维模型对应的二值图像和环境光照贴图。
步骤220，对二值图像和环境光照贴图进行特征空间压缩和特征连接，将环境光照贴图所表征的全局共享光照效果映射至二值图像，得到中间特征表示。
在一些实施例中，通过目标阴影生成模型对二值图像和环境光照贴图进行处理，以实现阴影图像的生成功能。示意性的，上述目标阴影生成模型中包括目标编码器和目标解码器，其中，上述目标编码器用于对二值图像和环境光照贴图进行特征空间压缩和特征连接，从而得到中间特征表示。
在一些实施例中，目标编码器对二值图像和环境光照贴图进行卷积处理，得到第一特征表示，对第一特征表示进行池化处理，得到第二特征表示，对第二特征表示进行卷积处理，得到中间特征表示。其中，上述对二值图像和环境光照贴图的编码过程中，将环境光照贴图对应的光照特征全局共享至二值图像对应的模型特征上。
步骤230，对中间特征表示进行上采样和特征空间解压缩，得到阴影图像。
示意性的，上述目标解码器用于对中间特征表示进行上采样和特征空间解压缩，得到阴影图像。在一些实施例中，目标解码器对中间特征表示进行上卷积处理，得到第三特征表示，通过激活函数对第三特征表示进行线性变换，得到第四特征表示，对第四特征表示进行上采样处理，得到阴影图像。即，在解码过程中，目标解码器对中间特征表示通过上卷积和上采样实现双线性上采样处理，从而实现特征空间解压缩，得到阴影图像。
在一个示例中，如图3所示，其示出了本申请一个示例性实施例提供的目标阴影生成模型300的示意图，在目标阴影生成模型300中包括目标编码器310和目标解码器320，二值图像301和环境光照贴图302，将二值图像301和环境光照贴图302输入至上述目标阴影生成模型300，通过目标编码器310得到中间特征表示303，通过目标解码器320得到阴影图像304。
示意性，针对目标编码器和目标解码器的结构，如图4所示，其示出了本申请一个示例性实施例提供的目标阴影生成模型中目标编码器410和目标解码器420对应的结构示意图，目标阴影生成模型由倾斜的特征块组成。其中，目标编码器410中包括第一卷积层411、池化层412和第二卷积层413，上述第一卷积层411用于对二值图像和环境光照贴图进行卷积处理，得到第一特征表示，上述池化层412用于对第一特征表示进行池化处理，得到第二特征表示，上述第二卷积层413用于对第二特征表示进行卷积处理，得到中间特征表示。目标解码器420中包括上卷积层421、激活层422和上采样层423，上卷积层421用于对中间特征表示进行上卷积处理，得到第三特征表示，激活层422用于通过激活函数对第三特征表示进行线性变换，上述激活函数可以实现为线性整流函数（Linear RectificationFunction，ReLU函数），得到第四特征表示，上采样层423用于对第四特征表示进行上采样处理，得到阴影图像。
步骤240，在虚拟场景中通过阴影图像生成目标三维模型的阴影效果。
在一些实施例中，将获取到的阴影图像作为阴影贴图输入至游戏引擎中的调试（Debug）模块中的资源集合中，使得游戏引擎能够根据上述阴影图像生成目标三维模型对应阴影效果。示意性的，游戏引擎将阴影图像和虚拟场景对应的场景纹理进行叠加渲染，在虚拟场景中显示阴影效果。
综上所述，本申请实施例提供的模型的阴影生成方法，当虚拟场景中的目标三维模型需要生成对应的阴影效果时，通过获取该目标三维模型对应的二值图像以及虚拟场景对应的环境光照贴图，将二值图像和环境光照贴图进行特征空间压缩以及特征连接，从而在对二值图像和环境光照贴图的编码过程中将环境光照贴图对应的光照特征全局共享至二值图像对应的模型特征上，将得到的中间特征进行上采样和特征空间解压缩，从而得到阴影图像，该阴影图像能够应用于虚拟场景中目标三维模型的阴影效果生成。即，通过目标三维模型的二值图像即可高效地生成目标三维模型的阴影效果，减少了设备进行阴影生成时的数据处理量，提升了模型的阴影的生成效率。
在一些实施例中，阴影图像是通过将二值图像和环境光照贴图输入至目标阴影生成模型中预测得到的图像，上述目标阴影生成模型是由阴影生成模型训练得到的，请参考图5，其示出了本申请一个示例性实施例提供的阴影生成模型的训练方法流程图，该方法包括如下步骤。
步骤510，获取样本三维模型对应的样本二值图、样本环境光照贴图以及样本阴影图像。
在一些实施例中，为提高训练完成的目标阴影生成模型的泛化性，上述样本三维模型可以是包括多种类型的三维模型。在一些实施例中，根据三维模型所对应的虚拟对象之间的区别，可以将三维模型划分为角色三维模型、物体三维模型、环境三维模型等中的至少一种；在另一些实施例中，根据三维模型所对应状态之间的区别，可以将三维模型划分为动态三维模型和静态三维模型中的至少一种。
当样本三维模型对应的模型样本集中包括多种类型的样本三维模型时，可选地，不同类型的样本三维模型对应的模型数量可以相同，或者，可以根据阴影生成模型对应的训练任务需求针对不同类型的样本三维模型配置不同的模型数量。
在一个示例中，将样本三维模型表示为Gi，其中，i=1,…,160，其中，模型样本集中的样本三维模型包括60个虚拟角色对应的三维模型，以及100个通用三维模型，上述通用三维模型为采集的多个样本虚拟场景中出现频率达到指定阈值的三维模型。
在一些实施例中，针对每个样本三维模型Gi可以对应生成多个样本二值图像。示意性的，根据样本三维模型对应的旋转角度和/或视角方向以确定不同样式的样本二值图像。在一个示例中，每个样本三维模型Gi用于生成15个的二值图像Mi j，j=1,…,15。其中，上述15个二值图像分别对应不同的旋转角度和视角方向的组合[y,α]，其中，y表示样本三维模型Gi的旋转角度，α表示对样本三维模型Gi进行观察的视角方向，例如，y=[0,72,144,216,288]，α=[15,30,45]，两者的单位均为度，其中，y以纵轴为旋转基准，α以水平为旋转基准。
为了提供多样的环境光照贴图，从而模拟复杂的游戏引擎光照配置，以便目标阴影生成模型可以更好地泛化任意光照贴图，在一些实施例中，在训练阶段中使用的样本环境光照贴图可以是通过随机采样游戏引擎所提供的光照纹理贴图来生成上述样本环境光照贴图。示意性的，游戏引擎提供有多种候选光源，基于至少一种候选光源所对应的光照纹理贴图生成上述样本环境光照贴图。
在一个示例中，使用如公式一所示的2D高斯函数所表示的单个光源。
公式一：
Figure 570675DEST_PATH_IMAGE001
。
其中，Gauss()是具有半径r的二维高斯函数，最大强度（比例因子）为I，锐度为σ2。
示意性的，不同的光源对虚拟场景中三维模型进行照射时产生的阴影不同，如图6所示，其示出了一个示例性实施例提供的环境光照贴图的示意图，针对不同的光源设置，对虚拟场景中三维模型进行照射所产生的阴影不同，例如，A光源601对球形三维模型610产生的阴影效果如效果图602所示，B光源603对球形三维模型610产生的阴影效果如效果图604所示。
当虚拟环境中包括多个光源时，则环境光照ALight可以描述为所包括的多个光源的总和，即如公式二所示。
公式二：
Figure 715873DEST_PATH_IMAGE002
。
其中，K为光源的总数，[x,y]表示光源所在的位置。
在本申请实施例中，当通过游戏引擎所提供的光源来生成样本环境光照贴图时，可以根据指定参数空间进行采样，从而生成随机样本环境光照贴图。在一个示例中，如表一所示，其示出了本申请一个示例性的环境光照贴图生成的参数范围。根据上述参数范围进行随机采样，并生成对应的样本环境光照贴图。
表一
Figure 7177DEST_PATH_IMAGE003
示意性的，上述样本阴影图像是样本三维模型在样本环境光照贴图对应的光照效果下的阴影效果。
在一些实施例中，样本阴影图可以是通过游戏引擎根据样本三维模型以及对应的样本环境光照贴图渲染得到的，即，在游戏引擎提供的渲染功能下，在虚拟场景中设置样本三维模型并配置样本环境光照贴图，通过渲染得到样本阴影效果，从游戏引擎中提取对应的样本阴影图像。
在另一些实施例中，考虑通过游戏引擎进行渲染时，会占用较多的图形处理器（Graphics Processing Unit，GPU）的处理资源，同时样本的生成周期也较长，较为耗时，为了提升样本阴影图像的生成效率，通过获取样本三维模型对应的轮廓阴影，通过轮廓阴影来生成样本阴影图像，其中，轮廓阴影是具有样本三维模型的完整轮廓的阴影。
示意性的，获取样本三维模型对应的轮廓阴影，将轮廓阴影和样本环境光照贴图进行动态近似处理，得到样本阴影图像。示意性的，利用光的线性属性来对基于GPU的渲染器生成的轮廓阴影进行求和，从而生成更多样化的阴影图像，即，在GPU上渲染一次轮廓阴影是低消耗的，对于GPU，一个轮廓阴影可以在几毫秒内完成渲染，生成效率较高。在一个示例中，在样本数据的生成阶段，可以设定像素在256*512尺寸的环境光照贴图下所投影出的轮廓阴影来生成样本阴影图像。
在一个示例中，如图7所示，其示出了本申请一个示例性实施例提供的轮廓阴影700的示意图，其中，该轮廓阴影700中可以包括多个光照角度所对应的子阴影。
示意性的，在得到轮廓阴影以及确定样本环境光照贴图后，即可根据轮廓阴影生成对应的样本环境光照贴图。在一个示例中，可以通过将轮廓阴影和样本环境光照贴图进行叠加融合，得到上述样本阴影图像；在另一个示例中，通过预先训练得到的融合网络对轮廓阴影和样本环境光照贴图进行特征融合，输出得到上述样本阴影图像。
步骤520，将样本二值图和样本环境光照贴图输入至阴影生成模型，预测得到预测阴影图像。
示意性的，将上述样本二值图像和样本环境光照贴图输入至阴影生成模型，阴影生成模型中的编码器对样本二值图像和样本环境光照贴图进行特征空间压缩和特征连接，得到预测中间特征表示，解码器对预测中间特征表示进行上采样和特征空间解压缩，得到预测阴影图像。
步骤530，基于预测阴影图像和样本阴影图像之间的差异，对阴影生成模型进行迭代训练，得到目标阴影生成模型。
示意性的，通过第一损失函数确定上述预测阴影图像和样本阴影图像之间的第一损失（Loss），从而根据上述第一损失对阴影生成模型的模型参数进行迭代训练，得到目标阴影生成模型。
可选地，上述第一损失函数可以实现为均方误差损失函数、交叉熵损失函数、平均绝对误差损失函数等中的至少一种。
综上所述，本申请实施例提供的阴影生成模型的训练方法，在需要对阴影生成模型进行训练时，获取样本三维模型对应的二值图像以及样本环境光照贴图，根据通过阴影生成模型所输出的预测阴影图像和作为监督训练目标的样本阴影图像之间的差异情况对模型进行迭代训练，从而得到能够根据二值图像以及环境光照贴图即可预测得到阴影图像的目标阴影生成模型，高效地生成目标三维模型的阴影效果，减少了设备进行阴影生成时的数据处理量，提升了模型的阴影的生成效率。
在本申请实施例中，通过轮廓阴影生成样本三维模型对应的样本阴影图像，减少了样本阴影图像获取时计算资源的消耗成本，提升了模型训练阶段中样本数据的获取效率，进而提升了模型的训练效率。
在一些实施例中，考虑虚拟场景中可能存在复杂的场景对象对目标三维模型对应的阴影造成遮挡的情况，例如，建筑物对阴影的遮挡。为提升生成阴影图像在复杂虚拟场景中的泛化性，在本申请实施例中融入对遮挡情况的预测。请参考图8，其示出了本申请一个示例性实施例提供的模型的阴影生成方法的流程图，该方法包括如下步骤。
步骤810，获取目标三维模型对应的二值图像和虚拟场景对应的环境光照贴图。
示意性的，上述二值图像是目标三维模型映射至二维平面上并对模型和背景进行区分的图像。上述环境光照贴图用于指示虚拟光源在虚拟场景中对应的光照效果。
步骤820，获取目标三维模型对应的遮挡映射图。
示意性的，上述遮挡映射图用于指示目标三维模型对应的阴影被虚拟场景中场景对象的遮挡情况。
在本申请实施例中，上述遮挡映射图可以是通过预先训练得到的目标遮挡预测模型预测得到的，上述目标遮挡预测模型用于预测目标三维模型的阴影在虚拟场景中被场景对象的遮挡情况，示意性的，将二值图像输入至目标遮挡预测模型，输出得到遮挡映射图。
在一些实施例中，上述目标遮挡预测模型中包括遮挡预测编码器和遮挡预测解码器，其中，遮挡预测编码器用于对输入的二值图像进行编码，得到遮挡中间特征表示，遮挡预测解码器用于根据遮挡中间特征表示进行解码，得到遮挡映射图。
在一些实施例中，上述目标遮挡预测模型由遮挡预测模型训练得到，其中，遮挡预测模型的训练过程包括：获取样本三维模型对应的样本二值图和样本遮挡映射图；将样本二值图输入至遮挡预测模型，输出预测遮挡映射图；基于预测遮挡映射图和样本遮挡映射图之间的差异对遮挡预测模型进行迭代训练，得到目标遮挡预测模型。
在一些实施例中，上述预测遮挡映射图和样本遮挡映射图之间通过第二损失函数确定两者之间的第二损失，根据第二损失对遮挡预测模型进行迭代训练。
可选地，上述第二损失函数可以实现为均方误差损失函数、交叉熵损失函数、平均绝对误差损失函数等中的至少一种。
在一些实施例中，上述遮挡预测模型的训练过程和阴影生成模型的训练过程可以是共同时间的，即，两者之间进行协同训练；或者，分别训练遮挡预测模型和阴影生成模型。
步骤830，将遮挡映射图、二值图像和环境光照贴图输入至目标阴影生成模型，输出得到阴影图像。
在本申请实施例中，该目标阴影生成模型能够根据输入的遮挡映射图、二值图像和环境光照贴图进行目标三维模型对应的阴影情况进行预测，从而得到阴影图像。
在一个示例中，如图9所示，其示出了本申请一个示例性实施例提供的目标遮挡预测模型910和目标阴影生成模型920的示意图，目标三维模型对应的二值图像901输入至目标遮挡预测模型910进行遮挡情况预测，得到遮挡映射图902，遮挡映射图902和二值图像901以及环境光照贴图903一同输入至目标阴影生成模型920，输出得到目标三维模型对应的阴影图像904。
步骤840，在虚拟场景中通过阴影图像生成目标三维模型的阴影效果。
在一些实施例中，将获取到的阴影图像作为阴影贴图输入至游戏引擎中的调试模块中的资源集合中，使得游戏引擎能够根据上述阴影图像生成目标三维模型对应阴影效果。示意性的，游戏引擎将阴影图像和虚拟场景对应的场景纹理进行叠加渲染，在虚拟场景中显示阴影效果。
综上所述，本申请实施例提供的模型的阴影生成方法，当虚拟场景中的目标三维模型需要生成对应的阴影效果时，通过获取该目标三维模型对应的二值图像以及虚拟场景对应的环境光照贴图，将二值图像和环境光照贴图进行特征空间压缩以及特征连接，从而在对二值图像和环境光照贴图的编码过程中将环境光照贴图对应的光照特征全局共享至二值图像对应的模型特征上，将得到的中间特征进行上采样和特征空间解压缩，从而得到阴影图像，该阴影图像能够应用于虚拟场景中目标三维模型的阴影效果生成。即，通过目标三维模型的二值图像即可高效地生成目标三维模型的阴影效果，减少了设备进行阴影生成时的数据处理量，提升了模型的阴影的生成效率。
在本申请实施例中，针对融入遮挡预测的阴影图像生成流程，如图10所示，其示出了本申请一个示例性实施例提供的阴影图像生成的流程图，包括训练阶段1010和应用阶段1020，在训练阶段1010中，获取样本三维模型1001对应的样本遮挡映射图1002以及轮廓阴影1003，虚拟场景对应的样本环境光照贴图1004，轮廓阴影1003和样本环境光照贴图1004通过阴影生成得到样本阴影图像1005，再获取样本三维模型1001对应的样本二值图像1006，通过样本二值图像1006、样本阴影图像1005、样本环境光照贴图1004以及样本遮挡映射图1002进行训练，得到目标阴影生成网络1030。在应用阶段1020中，目标三维模型对应的二值图像1021以及虚拟环境对应的环境光照贴图1022共同输入至上述目标阴影生成网络1030中进行预测，输出得到阴影图像1023。
即，通过构建一套神经网络，在训练过程中提取游戏中海量的光照贴图，以充分学习能够实现阴影生成的光照模型，再对原始输入的二值图像进行光照阴影生成，从而实现高效的阴影渲染。
需要进行说明的是，本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中，都可以显示提示界面、弹窗或输出语音提示信息，该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据，使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后，才开始执行获取用户相关数据的相关步骤，否则（即未获取到用户对该提示界面或者弹窗发出的确认操作时），结束获取用户相关数据的相关步骤，即不获取用户的相关数据。换句话说，本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的，且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
请参考图11，其示出了本申请一个示例性的实施例提供的模型的阴影生成装置结构框图，该装置包括如下模块：
获取模块1110，获取目标三维模型对应的二值图像和虚拟场景对应的环境光照贴图，所述二值图像是所述目标三维模型映射至二维平面上并对所述二维平面上的图像前景和背景进行区分的图像，所述环境光照贴图用于指示虚拟光源在所述虚拟场景中对三维实体的全局共享光照效果；
预测模块1120，对所述二值图像和所述环境光照贴图进行特征空间压缩和特征连接，将所述环境光照贴图所表征的所述全局共享光照效果映射至所述二值图像，得到中间特征表示；
所述预测模块1120，还用于对所述中间特征表示进行上采样和特征空间解压缩，得到阴影图像；
生成模块1130，用于在所述虚拟场景中通过所述阴影图像生成所述目标三维模型的阴影效果。
在一些可选的实施例中，如图12所示，所述预测模块1120还包括：
编码单元1121，用于对所述二值图像和所述环境光照贴图进行卷积处理，得到第一特征表示；
所述编码单元1121，还用于对所述第一特征表示进行池化处理，得到第二特征表示；
所述编码单元1121，还用于对所述第二特征表示进行卷积处理，得到所述中间特征表示。
在一些可选的实施例中，所述预测模块1120还包括：
解码单元1122，用于对所述中间特征表示进行上卷积处理，得到第三特征表示；
所述解码单元1122，还用于通过激活函数对所述第三特征表示进行线性变换，得到第四特征表示；
所述解码单元1122，还用于对所述第四特征表示进行上采样处理，得到所述阴影图像。
在一些可选的实施例中，所述阴影图像是通过将所述二值图像和所述环境光照贴图输入至目标阴影生成模型中预测得到的图像，所述目标阴影生成模型由阴影生成模型训练得到；
所述装置还包括训练模块1140，所述训练模块1140包括：
获取单元1141，用于获取样本三维模型对应的样本二值图、样本环境光照贴图以及样本阴影图像，所述样本阴影图像是所述样本三维模型在所述样本环境光照贴图对应的光照效果下的阴影效果；
预测单元1142，用于将所述样本二值图和所述样本环境光照贴图输入至所述阴影生成模型，预测得到预测阴影图像；
训练单元1143，用于基于所述预测阴影图像和所述样本阴影图像之间的差异，对所述阴影生成模型进行迭代训练，得到目标阴影生成模型。
在一些可选的实施例中，所述获取单元1141，还用于获取所述样本三维模型对应的轮廓阴影，所述轮廓阴影是具有所述样本三维模型的完整轮廓的阴影；将所述轮廓阴影和所述样本环境光照贴图进行动态近似处理，得到所述样本阴影图像。
在一些可选的实施例中，所述获取模块1110，还用于获取所述目标三维模型对应的遮挡映射图，所述遮挡映射图用于指示所述目标三维模型对应的阴影被所述虚拟场景中场景对象的遮挡情况；
所述预测模块1120，还用于将所述遮挡映射图、所述二值图像和所述环境光照贴图输入至目标阴影生成模型，输出得到所述阴影图像。
在一些可选的实施例中，所述预测模块1120，还用于将所述二值图像输入至目标遮挡预测模型，输出得到所述遮挡映射图，所述目标遮挡预测模型用于预测所述目标三维模型的阴影在所述虚拟场景中被所述场景对象的遮挡情况。
在一些可选的实施例中，所述目标遮挡预测模型是由遮挡预测模型训练得到的；
所述获取单元1141，还用于获取样本三维模型对应的样本二值图和样本遮挡映射图；
所述预测单元1142，还用于将所述样本二值图输入至所述遮挡预测模型，输出预测遮挡映射图；
所述训练单元1143，还用于基于所述预测遮挡映射图和所述样本遮挡映射图之间的差异对所述遮挡预测模型进行迭代训练，得到所述目标遮挡预测模型。
在一些可选的实施例中，所述获取模块1110，还用于获取所述目标三维模型；获取至少一个候选视角方向；以纵轴为旋转中心对所述目标三维模型进行旋转，并在旋转过程中截取所述候选视角方向下所述目标三维模型对应的至少一个所述二值图像。
在一些可选的实施例中，所述获取模块1110，还用于获取至少一个候选旋转角度；以纵轴为旋转中心，根据所述候选旋转角度对所述目标三维模型进行旋转，并截取在所述候选视角方向下所述候选旋转角度对应的所述目标三维模型的所述二值图像。
在一些可选的实施例中，所述装置还包括：检测模块1150，用于对所述虚拟场景中所述目标三维模型对应的阴影显示情况进行检测；
所述获取模块1110，还用于响应于所述目标三维模型处于阴影缺失状态，获取目标三维模型对应的二值图像和环境光照贴图。
在一些可选的实施例中，所述生成模块1130，还用于将所述阴影图像和所述虚拟场景对应的场景纹理进行叠加渲染，在所述虚拟场景中显示所述阴影效果。
综上所述，本申请实施例提供的模型的阴影生成装置，当虚拟场景中的目标三维模型需要生成对应的阴影效果时，通过获取该目标三维模型对应的二值图像以及虚拟场景对应的环境光照贴图，将二值图像和环境光照贴图进行特征空间压缩以及特征连接，从而在对二值图像和环境光照贴图的编码过程中将环境光照贴图对应的光照特征全局共享至二值图像对应的模型特征上，将得到的中间特征进行上采样和特征空间解压缩，从而得到阴影图像，该阴影图像能够应用于虚拟场景中目标三维模型的阴影效果生成。即，通过目标三维模型的二值图像即可高效地生成目标三维模型的阴影效果，减少了设备进行阴影生成时的数据处理量，提升了模型的阴影的生成效率。
需要说明的是：上述实施例提供的模型的阴影生成装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的模型的阴影生成装置与模型的阴影生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图13示出了本申请一个示例性实施例提供的服务器的结构示意图。具体来讲包括如下结构。
服务器1300包括中央处理单元（Central Processing Unit，CPU）1301、包括随机存取存储器（Random Access Memory，RAM）1302和只读存储器（Read Only Memory，ROM）1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。服务器1300还包括用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1306。
大容量存储设备1306通过连接到系统总线1305的大容量存储控制器（未示出）连接到中央处理单元1301。大容量存储设备1306及其相关联的计算机可读介质为服务器1300提供非易失性存储。也就是说，大容量存储设备1306可以包括诸如硬盘或者紧凑型光盘只读存储器（Compact Disc Read Only Memory，CD-ROM）驱动器之类的计算机可读介质（未示出）。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、带电可擦可编程只读存储器（Electrically Erasable Programmable Read Only Memory，EEPROM）、闪存或其他固态存储器技术，CD-ROM、数字通用光盘（Digital Versatile Disc，DVD）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1306可以统称为存储器。
根据本申请的各种实施例，服务器1300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1300可以通过连接在系统总线1305上的网络接口单元1311连接到网络1312，或者说，也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机系统（未示出）。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。
图14示出了本申请一个示例性实施例提供的终端1400的结构框图。该终端1400可以是：智能手机、平板电脑、动态影像专家压缩标准音频层面3播放器（Moving PictureExperts Group Audio Layer III，MP3）、动态影像专家压缩标准音频层面4（MovingPicture Experts Group Audio Layer IV，MP4）播放器、笔记本电脑或台式电脑。终端1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1400包括有：处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1401可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable LogicArray，PLA）中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器（CentralProcessing Unit，CPU）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1401可以在集成有图像处理器（Graphics Processing Unit，GPU），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1401还可以包括人工智能（Artificial Intelligence，AI）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1401所执行以实现本申请中方法实施例提供的模型的阴影生成方法。
示意性的，终端1400还包括其他组件，本领域技术人员可以理解，图14中示出的结构并不构成对终端1400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请的实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的模型的阴影生成方法。可选地，该计算机设备可以是终端，也可以是服务器。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的模型的阴影生成方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的模型的阴影生成方法。
可选地，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、固态硬盘（SSD，Solid State Drives）或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体（ReRAM，Resistance RandomAccess Memory）和动态随机存取存储器（DRAM，Dynamic Random Access Memory）。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种模型的阴影生成方法，其特征在于，所述方法包括：
获取目标三维模型对应的二值图像和虚拟场景对应的环境光照贴图，所述二值图像是所述目标三维模型映射至二维平面上并对所述二维平面上的图像前景和背景进行区分的图像，所述环境光照贴图用于指示虚拟光源在所述虚拟场景中对三维实体的全局共享光照效果；
对所述二值图像和所述环境光照贴图进行特征空间压缩和特征连接，将所述环境光照贴图所表征的所述全局共享光照效果映射至所述二值图像，得到中间特征表示；
对所述中间特征表示进行上采样和特征空间解压缩，得到阴影图像；
在所述虚拟场景中通过所述阴影图像生成所述目标三维模型的阴影效果。
2.根据权利要求1所述的方法，其特征在于，所述对所述二值图像和所述环境光照贴图进行特征空间压缩和特征连接，将所述环境光照贴图所表征的所述全局共享光照效果映射至所述二值图像，得到中间特征表示，包括：
对所述二值图像和所述环境光照贴图进行卷积处理，得到第一特征表示；
对所述第一特征表示进行池化处理，得到第二特征表示；
对所述第二特征表示进行卷积处理，得到所述中间特征表示。
3.根据权利要求1所述的方法，其特征在于，所述对所述中间特征表示进行上采样和特征空间解压缩，得到阴影图像，包括：
对所述中间特征表示进行上卷积处理，得到第三特征表示；
通过激活函数对所述第三特征表示进行线性变换，得到第四特征表示；
对所述第四特征表示进行上采样处理，得到所述阴影图像。
4.根据权利要求1至3任一所述的方法，其特征在于，所述阴影图像是通过将所述二值图像和所述环境光照贴图输入至目标阴影生成模型中预测得到的图像，所述目标阴影生成模型由阴影生成模型训练得到；
所述阴影生成模型的训练过程包括：
获取样本三维模型对应的样本二值图、样本环境光照贴图以及样本阴影图像，所述样本阴影图像是所述样本三维模型在所述样本环境光照贴图对应的光照效果下的阴影效果；
将所述样本二值图和所述样本环境光照贴图输入至所述阴影生成模型，预测得到预测阴影图像；
基于所述预测阴影图像和所述样本阴影图像之间的差异，对所述阴影生成模型进行迭代训练，得到目标阴影生成模型。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述样本三维模型对应的轮廓阴影，所述轮廓阴影是具有所述样本三维模型的完整轮廓的阴影；
将所述轮廓阴影和所述样本环境光照贴图进行动态近似处理，得到所述样本阴影图像。
6.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
获取所述目标三维模型对应的遮挡映射图，所述遮挡映射图用于指示所述目标三维模型对应的阴影被所述虚拟场景中场景对象的遮挡情况；
将所述遮挡映射图、所述二值图像和所述环境光照贴图输入至目标阴影生成模型，输出得到所述阴影图像。
7.根据权利要求6所述的方法，其特征在于，所述获取所述目标三维模型对应的遮挡映射图，包括：
将所述二值图像输入至目标遮挡预测模型，输出得到所述遮挡映射图，所述目标遮挡预测模型用于预测所述目标三维模型的阴影在所述虚拟场景中被所述场景对象的遮挡情况。
8.根据权利要求7所述的方法，其特征在于，所述目标遮挡预测模型是由遮挡预测模型训练得到的，所述遮挡预测模型的训练过程包括：
获取样本三维模型对应的样本二值图和样本遮挡映射图；
将所述样本二值图输入至所述遮挡预测模型，输出预测遮挡映射图；
基于所述预测遮挡映射图和所述样本遮挡映射图之间的差异对所述遮挡预测模型进行迭代训练，得到所述目标遮挡预测模型。
9.根据权利要求1至3任一所述的方法，其特征在于，所述获取目标三维模型对应的二值图像，包括：
获取所述目标三维模型；
获取至少一个候选视角方向；
以纵轴为旋转中心对所述目标三维模型进行旋转，并在旋转过程中截取所述候选视角方向下所述目标三维模型对应的至少一个所述二值图像。
10.根据权利要求9所述的方法，其特征在于，所述以纵轴为旋转中心对所述目标三维模型进行旋转，并在旋转过程中截取所述候选视角方向下所述目标三维模型对应的至少一个所述二值图像，包括：
获取至少一个候选旋转角度；
以纵轴为旋转中心，根据所述候选旋转角度对所述目标三维模型进行旋转，并截取在所述候选视角方向下所述候选旋转角度对应的所述目标三维模型的所述二值图像。
11.根据权利要求1至3任一所述的方法，其特征在于，所述获取目标三维模型对应的二值图像和环境光照贴图，包括：
对所述虚拟场景中所述目标三维模型对应的阴影显示情况进行检测；
响应于所述目标三维模型处于阴影缺失状态，获取目标三维模型对应的二值图像和环境光照贴图。
12.根据权利要求1至3任一所述的方法，其特征在于，所述在所述虚拟场景中通过所述阴影图像生成所述目标三维模型的阴影效果，包括：
将所述阴影图像和所述虚拟场景对应的场景纹理进行叠加渲染，在所述虚拟场景中显示所述阴影效果。
13.一种模型的阴影生成装置，其特征在于，所述装置包括：
获取模块，用于获取目标三维模型对应的二值图像和虚拟场景对应的环境光照贴图，所述二值图像是所述目标三维模型映射至二维平面上并对所述二维平面上的图像前景和背景进行区分的图像，所述环境光照贴图用于指示虚拟光源在所述虚拟场景中对三维实体的全局共享光照效果；
预测模块，用于对所述二值图像和所述环境光照贴图进行特征空间压缩和特征连接，将所述环境光照贴图所表征的所述全局共享光照效果映射至所述二值图像，得到中间特征表示；
所述预测模块，还用于对所述中间特征表示进行上采样和特征空间解压缩，得到阴影图像；
生成模块，用于在所述虚拟场景中通过所述阴影图像生成所述目标三维模型的阴影效果。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至12任一所述的模型的阴影生成方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至12任一所述的模型的阴影生成方法。
CN202211305359.0A 2022-10-24 2022-10-24 模型的阴影生成方法、装置、设备、介质 Active CN115375828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211305359.0A CN115375828B (zh) 2022-10-24 2022-10-24 模型的阴影生成方法、装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211305359.0A CN115375828B (zh) 2022-10-24 2022-10-24 模型的阴影生成方法、装置、设备、介质

Publications (2)

Publication Number Publication Date
CN115375828A true CN115375828A (zh) 2022-11-22
CN115375828B CN115375828B (zh) 2023-02-03

Family

ID=84073958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211305359.0A Active CN115375828B (zh) 2022-10-24 2022-10-24 模型的阴影生成方法、装置、设备、介质

Country Status (1)

Country Link
CN (1) CN115375828B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984440A (zh) * 2023-03-20 2023-04-18 腾讯科技（深圳）有限公司 对象渲染方法、装置、计算机设备和存储介质
CN116452459A (zh) * 2023-04-25 2023-07-18 北京优酷科技有限公司 阴影遮罩生成方法、阴影去除方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271587A (zh) * 2008-02-25 2008-09-24 北京理工大学 一种基于过渡光贴图的光照和阴影绘制方法
CN101662578A (zh) * 2008-08-29 2010-03-03 佳能株式会社 图像处理装置及其控制方法
JP2010055131A (ja) * 2008-07-28 2010-03-11 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
CN108986195A (zh) * 2018-06-26 2018-12-11 东南大学 一种结合环境映射和全局光照渲染的单镜头混合现实实现方法
CN111292408A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于注意力机制的阴影生成方法
CN112419472A (zh) * 2019-08-23 2021-02-26 南京理工大学 一种基于虚拟阴影图的增强现实实时阴影生成方法
CN113450444A (zh) * 2021-07-09 2021-09-28 网易（杭州）网络有限公司 生成光照贴图的方法、装置、存储介质及电子设备
CN114067043A (zh) * 2021-11-09 2022-02-18 网易（杭州）网络有限公司 一种虚拟模型的渲染方法和装置
CN114638950A (zh) * 2022-03-28 2022-06-17 海信视像科技股份有限公司 一种绘制虚拟物体阴影的方法及设备
CN114758090A (zh) * 2020-12-29 2022-07-15 华为技术有限公司 三维模型生成方法及装置
CN115035231A (zh) * 2021-03-05 2022-09-09 腾讯科技（深圳）有限公司 阴影烘焙方法、装置、电子设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271587A (zh) * 2008-02-25 2008-09-24 北京理工大学 一种基于过渡光贴图的光照和阴影绘制方法
JP2010055131A (ja) * 2008-07-28 2010-03-11 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
CN101662578A (zh) * 2008-08-29 2010-03-03 佳能株式会社 图像处理装置及其控制方法
CN108986195A (zh) * 2018-06-26 2018-12-11 东南大学 一种结合环境映射和全局光照渲染的单镜头混合现实实现方法
CN112419472A (zh) * 2019-08-23 2021-02-26 南京理工大学 一种基于虚拟阴影图的增强现实实时阴影生成方法
CN111292408A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于注意力机制的阴影生成方法
CN114758090A (zh) * 2020-12-29 2022-07-15 华为技术有限公司 三维模型生成方法及装置
CN115035231A (zh) * 2021-03-05 2022-09-09 腾讯科技（深圳）有限公司 阴影烘焙方法、装置、电子设备和存储介质
CN113450444A (zh) * 2021-07-09 2021-09-28 网易（杭州）网络有限公司 生成光照贴图的方法、装置、存储介质及电子设备
CN114067043A (zh) * 2021-11-09 2022-02-18 网易（杭州）网络有限公司 一种虚拟模型的渲染方法和装置
CN114638950A (zh) * 2022-03-28 2022-06-17 海信视像科技股份有限公司 一种绘制虚拟物体阴影的方法及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KAZIMIERZ CHOROŚ AND TOMASZ SUDER: "Improved Partitioned Shadow Volumes Method of Real-Time Rendering Using Balanced Trees", 《SPRINGER INTERNATIONAL PUBLISHING AG 2017》 *
刘大全: "增强现实中的阴影生成研究", 《中国优秀硕士学位论文全文数据库》 *
杨成 等: "月面巡视场景视景仿真中的软阴影生成方法", 《系统仿真学报》 *
盛玲等: "基于Cg高级着色器语言的阴影贴图的算法研究", 《中国科技信息》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984440A (zh) * 2023-03-20 2023-04-18 腾讯科技（深圳）有限公司 对象渲染方法、装置、计算机设备和存储介质
CN116452459A (zh) * 2023-04-25 2023-07-18 北京优酷科技有限公司 阴影遮罩生成方法、阴影去除方法及装置
CN116452459B (zh) * 2023-04-25 2024-05-24 北京优酷科技有限公司 阴影遮罩生成方法、阴影去除方法及装置

Also Published As

Publication number Publication date
CN115375828B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
Tewari et al. Advances in neural rendering
CN115375828B (zh) 模型的阴影生成方法、装置、设备、介质
US9659400B2 (en) Efficiently implementing and displaying independent 3-dimensional interactive viewports of a virtual world on multiple client devices
US9519999B1 (en) Methods and systems for providing a preloader animation for image viewers
CN113781624A (zh) 具有可选的世界空间变换的光线跟踪硬件加速
Wang et al. Neural light field estimation for street scenes with differentiable virtual object insertion
US11954830B2 (en) High dynamic range support for legacy applications
CN104205173A (zh) 用于估计场景中的不透明度水平的方法及相应的设备
JP2022151745A (ja) 画像レンダリング方法および装置
CN114792331A (zh) 应用于半监督环境中以在图像帧序列中执行实例跟踪的机器学习框架
DE102022113244A1 (de) Gemeinsame Form- und Erscheinungsbildoptimierung durch Topologieabtastung
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
US20240037788A1 (en) 3d pose estimation in robotics
US11475549B1 (en) High dynamic range image generation from tone mapped standard dynamic range images
CN116385622B (zh) 云图处理方法、装置、计算机及可读存储介质
US11087525B2 (en) Unsupervised learning of three dimensional visual alphabet
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
Masood et al. High‐performance virtual globe GPU terrain rendering using game engine
US20230298243A1 (en) 3d digital avatar generation from a single or few portrait images
CN115953524A (zh) 一种数据处理方法、装置、计算机设备及存储介质
Li et al. A fast fusion method for multi-videos with three-dimensional GIS scenes
CN115715464A (zh) 用于遮挡处理技术的方法和装置
CN117173314B (zh) 一种图像处理方法、装置、设备、介质及程序产品
CN117786147B (zh) 一种数字孪生模型视野范围内数据展示方法及装置
Zhang et al. Survey on controlable image synthesis with deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant