CN116385619B - 对象模型渲染方法、装置、计算机设备和存储介质 - Google Patents
对象模型渲染方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116385619B CN116385619B CN202310603089.XA CN202310603089A CN116385619B CN 116385619 B CN116385619 B CN 116385619B CN 202310603089 A CN202310603089 A CN 202310603089A CN 116385619 B CN116385619 B CN 116385619B
- Authority
- CN
- China
- Prior art keywords
- grid
- texture
- patch
- model
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 272
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000004590 computer program Methods 0.000 claims abstract description 26
- 238000002310 reflectometry Methods 0.000 claims description 48
- 238000005070 sampling Methods 0.000 claims description 48
- 238000005457 optimization Methods 0.000 claims description 28
- 238000005286 illumination Methods 0.000 claims description 27
- 230000005855 radiation Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 8
- 230000000873 masking effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000003993 interaction Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008439 repair process Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Generation (AREA)
Abstract
本申请涉及一种对象模型渲染方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取待渲染的三维对象模型的源纹理图像和相对于源纹理图像得到纹理增强的参照纹理图像；根据三维对象模型分别在不同视图下的模型轮廓，构建三维对象模型的网格模型；基于网格模型中网格的网格属性信息，将参照纹理图像中的参照纹理补丁向源纹理图像进行映射，得到映射纹理补丁；通过由映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果。采用本方法能够提高对象模型的渲染处理效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种对象模型渲染方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展，通过对虚拟场景中的虚拟对象进行渲染，可以提高虚拟对象的展示效果，如可以提高虚拟对象的立体感。例如，在游戏场景中，可以采用三角形网格构建虚拟对象的三维模型，然后利用该虚拟对象的三维模型渲染出该虚拟对象。
目前，为了增加渲染出的虚拟对象呈现出的细节，提高模型渲染的展示效果，一般是将虚拟对象完整的三维模型进行部位拆分，然后分别进行高质量超分辨率的重建渲染，但这种渲染方式处理过程繁琐、费时，导致针对对象模型渲染的处理效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高渲染处理效率的对象模型渲染方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种对象模型渲染方法。所述方法包括：
获取待渲染的三维对象模型的源纹理图像和相对于源纹理图像得到纹理增强的参照纹理图像；
根据三维对象模型分别在不同视图下的模型轮廓，构建三维对象模型的网格模型；
基于网格模型中网格的网格属性信息，将参照纹理图像中的参照纹理补丁向源纹理图像进行映射，得到映射纹理补丁；
通过由映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果。
第二方面，本申请还提供了一种对象模型渲染装置。所述装置包括：
对象模型信息获取模块，用于获取待渲染的三维对象模型的源纹理图像和相对于源纹理图像得到纹理增强的参照纹理图像；
网格模型构建模块，用于根据三维对象模型分别在不同视图下的模型轮廓，构建三维对象模型的网格模型；
纹理补丁映射模块，用于基于网格模型中网格的网格属性信息，将参照纹理图像中的参照纹理补丁向源纹理图像进行映射，得到映射纹理补丁；
网格模型渲染模块，用于通过由映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述对象模型渲染方法中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述对象模型渲染方法中的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述对象模型渲染方法中的步骤。
上述对象模型渲染方法、装置、计算机设备、存储介质和计算机程序产品，根据待渲染的三维对象模型分别在不同视图下的模型轮廓构建网格模型，基于网格模型中网格的网格属性信息，将三维对象模型得到纹理增强的参照纹理图像中的参照纹理补丁向源纹理图像进行映射，并通过由映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果。在对象模型渲染的处理过程中，利用三维对象模型分别在不同视图下的模型轮廓构建网格模型，可以有效降低网格模型中网格数据量，有利于加快渲染处理；基于网格模型中网格的网格属性信息，将三维对象模型得到纹理增强的参照纹理图像中的参照纹理补丁向源纹理图像进行映射，并通过由映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，可以通过相对于源纹理图像得到纹理增强的参照纹理图像中的纹理补丁针对网格模型进行渲染，不需要进行部位拆分，可以简化对象模型渲染处理，从而提高了对象模型的渲染处理效率。
附图说明
图1为一个实施例中对象模型渲染方法的应用环境图；
图2为一个实施例中对象模型渲染方法的流程示意图；
图3为一个实施例中针对三维对象模型的视角示意图；
图4为一个实施例中利用类球体的模型轮廓构建网格模型的处理示意图；
图5为一个实施例中阴影细化处理的流程示意图；
图6为一个实施例中网格模型的示意图；
图7为另一个实施例中对象模型渲染方法的流程示意图；
图8为一个实施例中对象模型渲染装置的结构框图；
图9为一个实施例中计算机设备的内部结构图；
图10为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的对象模型渲染方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。服务器104可以是游戏服务器，终端102上可以安装有游戏客户端，通过登录游戏客户端可以与服务器104进行游戏交互，如服务器104可以将游戏数据，具体可以包括游戏环境数据、游戏角色数据或游戏交互数据等传输到终端102，终端102可以基于游戏数据渲染展示。终端102基于游戏数据渲染展示中，即包括针对三维对象模型的渲染处理，终端102可以根据待渲染的三维对象模型分别在不同视图下的模型轮廓构建网格模型，三维对象模型可以是游戏场景中的游戏虚拟角色，终端102基于网格模型中网格的网格属性信息，将三维对象模型得到纹理增强的参照纹理图像中的参照纹理补丁向源纹理图像进行映射，终端102通过由映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果，终端102可以将渲染结果进行展示，从而在终端展示出渲染后的三维对象模型。
其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、云安全、主机安全等网络安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接
在一个实施例中，如图2所示，提供了一种对象模型渲染方法，该方法由计算机设备执行，具体可以由终端或服务器等计算机设备单独执行，也可以由终端和服务器共同执行，在本申请实施例中，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤202，获取待渲染的三维对象模型的源纹理图像和相对于源纹理图像得到纹理增强的参照纹理图像。
其中，三维对象模型是需要针对进行渲染的立体模型，三维对象模型可以用于表征虚拟场景中的虚拟对象，通过将三维对象模型在虚拟场景中渲染展示，可以实现在虚拟场景中展示相应的虚拟对象。虚拟对象是指虚拟场景中的事物，虚拟对象包括但不限于是虚拟的人物、动物、家具或建筑物等中的至少一种。虚拟场景，是指计算机通过数字通讯技术勾勒出的数字化场景，虚拟场景包括但不限于是二维虚拟场景或三维虚拟场景中的至少一种。虚拟场景例如可以是游戏中的场景、VR（Virtual Reality，虚拟现实）中的场景或动漫中的场景等。例如，虚拟场景可以为游戏场景，通过在游戏场景中渲染角色A对应的三维对象模型，从而可以在游戏场景中展示该角色A。三维对象模型可以根据实际需要构建得到，如可以基于网格技术构建得到，也可以基于点云技术构建得到。通过对三维对象模型中的各个网格进行着色、渲染，可以展示虚拟对象的不同形态。
纹理（Texture）可以包括物体表面的纹理即使物体表面呈现凹凸不平的沟纹，同时也包括在物体的光滑表面上的彩色图案，纹理图像是表示物体表面纹理细节的图像，通过将纹理图像按照特定的方式映射到物体表面上的时候能使物体看上去更加真实，具体将纹理图像映射到三维对象模型中，可以实现对三维对象模型表面纹理的渲染，从而使三维对象模型的立体感更加真实。源纹理图像是三维对象模型的原始纹理图，具体可以是三维对象模型初始化的纹理图像，也可以是纹理质量较低的纹理图像，如可以是通过初步渲染得到的纹理图像。参照纹理图像相对于源纹理图像得到纹理增强，即参照纹理图像的纹理质量高于源纹理图像的纹理质量，通过将参照纹理图像的纹理进行参照渲染，可以提高三维对象模型的渲染效果。源纹理图像和参照纹理图像可以根据实际需要进设定，以通过高质量的参照纹理图像针对低质量的源纹理图像进行纹理增强渲染，从而提高三维对象模型的纹理渲染效果。
具体地，对于需要渲染的三维对象模型，如终端运行虚拟场景，需要在虚拟场景中展示虚拟对象A时，终端可以将虚拟对象A对应的立体模型作为需要渲染的三维对象模型。终端获取三维对象模型的源纹理图像及参照纹理图像，其中，参照纹理图像相对于源纹理图像得到纹理增强。即参照纹理图像中的纹理质量高于源纹理图像中的纹理质量，利用参照纹理图像进行纹理渲染时可以获得更加强烈的真实感，即渲染效果更佳。
步骤204，根据三维对象模型分别在不同视图下的模型轮廓，构建三维对象模型的网格模型。
其中，模型轮廓是三维对象模型在不同视图下得到的，具体可以在不同的视图下针对三维对象模型进行投影映射，得到各个视图下对应的模型轮廓。在具体应用中，三维对象模型一般可以进行交互，如可以进行旋转、缩放等交互操作，通过旋转、缩放等交互操作，可以改变三维对象模型的展示视图，在不同的视图下可以投影得到对应的模型轮廓。三维对象模型在每种视图下可以对应于一个模型轮廓。例如，对于可以360度旋转的三维对象模型，可以每间隔60度旋转三维对象模型，并获取不同角度视图的模型轮廓，如可以得到0度、60度、120度、180度、240度、300度共6种视图下各自的模型轮廓。模型轮廓可以根据在相应视图角度进行投影得到的二维图像确定，基于模型轮廓能够体现三维对象模型所需要渲染的表面。在一个具体应用中，如图3所示，对于斜线填充方块表示的三维三角模型，可以通过四个视角进行观测，具体包括第一视角、第二视角、第三视角和第四视角，每个视角之间的夹角为90度，则该四个视角针对三维对象模型可以得到四种视图下的模型轮廓。
网格模型通过模型轮廓针对三维对象模型构建得到，网格模型可以是由一系列基本几何图形组成的多边形网格，也能够用于表征虚拟场景中的虚拟对象。基本几何图形是构成网格模型的最小的形状，基本几何图形例如可以为三角形或四边形等。基本几何图形包括多个顶点，例如，三角形包括3个顶点，四边形包括4个顶点。对于虚拟场景中的虚拟对象，可以通过构建对应的网格模型进行表征，网格模型可以是由若干个网格组成的立体模型，如可以是通过若干个三角形网格组合得到的立体游戏角色。
具体地，终端确定三维对象模型在不同视图下获得的模型轮廓，模型轮廓可以通过在不同视图下针对三维对象模型进行投影处理而得到。终端基于模型轮廓构建三维对象模型的网格模型，网格模型是由多个几何形状的网格组成的，而每个网格均包括多个顶点，终端可以通过从模型轮廓中确定顶点以构建多个网格，再通过将构建的多个网格在三维空间中进行组合形成网格模型。例如，终端可以针对三维对象模型的模型轮廓进行点采样，模型轮廓表征了三维对象模型的表面，通过在模型轮廓中进行点采样，可以实现针对三维对象模型的表面进行点采样，即在模型轮廓中采样得到的点均是三维对象模型表面上的点，通过三维对象模型表面上的点可以构建针对三维对象模型的网格模型。在具体实现中，如图4所示，三维对象模型是类球体，通过获取类球体不同视图的模型轮廓，利用多个模型轮廓构建类球体的网格模型，网格模型由多个三角网格组成得到。
步骤206，基于网格模型中网格的网格属性信息，将参照纹理图像中的参照纹理补丁向源纹理图像进行映射，得到映射纹理补丁。
其中，网格模型是由多个网格组合得到的，网格属性信息用于描述每个网格，不同网格的网格属性信息不同，网格属性信息中可以包括相应网格的空间位置、像素值、深度、灰度等各种属性信息。补丁（Patch）是指图像补丁，具体是将一个图像进行分割后得到的图像块，将各个补丁拼接可以得到完整的图像。纹理补丁是指从纹理图像中划分处理的补丁，即通过将纹理图像按照一定尺寸进行分割，可以得到多个纹理补丁，每个纹理补丁可以属于纹理图像中的不同区域，利用纹理图像中划分出纹理补丁也能够针对对象模型进行纹理渲染，如可以通过缝合纹理补丁形成完整的纹理图像，从而可以将完整的纹理图像映射到三维对象模型中，实现针对三维对象模型的纹理渲染处理。对于纹理补丁中的颜色信息，在不同视图上保持一致。参照纹理补丁是从参照纹理图像中划分定义的纹理补丁，映射纹理补丁是将参照纹理补丁向源纹理图像进行映射得到的纹理补丁，具体可以是将参照纹理补丁投影到源纹理图像中得到的纹理补丁。
映射纹理补丁可以携带有参照纹理图像中的纹理信息，而属性信息可以与源纹理图像对应。例如，参照纹理图像中的参照纹理补丁a，对应到网格模型中的网格K，即参照纹理补丁a携带的纹理信息是用于对网格K中的像素点进行渲染的，而在源纹理图像中针对网格K中相同位置像素点进行渲染的是纹理补丁b，在将参照纹理补丁a进行映射时，可以将参照纹理补丁a携带的纹理信息与纹理补丁b对应的属性信息进行组合，得到映射纹理补丁，纹理补丁b对应的属性信息可以根据网格K的网格属性信息进行确定，如可以包括空间位置、像素信息等。通过将参照纹理图像中的参照纹理补丁向源纹理图像进行映射，可以将参照纹理图像携带的纹理信息替换源纹理图像中各个纹理补丁的纹理信息，使得针对三维对象模型进行纹理渲染的源纹理图像携带有参照纹理图像中的纹理信息，从而实现了高质量纹理信息的转移。
具体地，终端可以获取网格模型中网格的网格属性信息，并基于网格属性信息对参照纹理图像中的参照纹理补丁进行映射，具体向源纹理图像进行映射，得到映射纹理补丁。在具体应用中，针对参照纹理补丁的映射，可以根据网格属性信息的类型进行确定，如网格属性信息中包括空间位置信息，则可以将参照纹理补丁的空间位置向源纹理图像进行投影映射，从而得到映射纹理补丁；又如网格属性信息中包括深度信息，则可以将参照纹理补丁的深度向源纹理图像进行投影映射，得到映射纹理补丁。在具体应用中，可以将参照纹理补丁的空间位置、深度和灰度等信息均分别向源纹理图像进行映射，得到映射纹理补丁。
步骤208，通过由映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果。
其中，纹理渲染信息是用于对网格模型进行渲染的渲染信息，具体可以是纹理渲染图像，即通过纹理渲染图像映射到网格模型中，从而实现对网格模型的渲染，得到针对三维对象模型的渲染结果。纹理渲染信息可以基于映射纹理补丁得到，具体可以通过多个映射纹理补丁进行缝合得到。
具体地，终端可以根据映射纹理补丁确定纹理渲染信息，如可以基于映射纹理补丁进行纹理合成、纹理迁移等处理，得到纹理渲染信息，具体可以得到纹理渲染图像，终端可以利用纹理渲染信息针对网格模型进行渲染，具体可以将纹理渲染图像映射到网格模型的各个网格和顶点中，从而得到针对三维对象模型的渲染结果。
上述对象模型渲染方法中，根据待渲染的三维对象模型分别在不同视图下的模型轮廓构建网格模型，基于网格模型中网格的网格属性信息，将三维对象模型得到纹理增强的参照纹理图像中的参照纹理补丁向源纹理图像进行映射，并通过由映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果。在对象模型渲染的处理过程中，利用三维对象模型分别在不同视图下的模型轮廓构建网格模型，可以有效降低网格模型中网格数据量，有利于加快渲染处理；基于网格模型中网格的网格属性信息，将三维对象模型得到纹理增强的参照纹理图像中的参照纹理补丁向源纹理图像进行映射，并通过由映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，可以通过相对于源纹理图像得到纹理增强的参照纹理图像中的纹理补丁针对网格模型进行渲染，不需要进行部位拆分，可以简化对象模型渲染处理，从而提高了对象模型的渲染处理效率。
在一个实施例中，基于网格模型中网格的网格属性信息，将参照纹理图像中的参照纹理补丁向源纹理图像进行映射，得到映射纹理补丁，包括：从参照纹理图像中确定参照纹理补丁，并在网格模型的各网格中确定与参照纹理补丁的空间位置相关联的关联网格；获取关联网格的网格属性信息；基于网格属性信息将参照纹理补丁向源纹理图像进行映射，得到映射纹理补丁。
其中，关联网格是网格模型中与参照纹理补丁的空间位置相关联的网格，即参照纹理补丁是用于针对网格模型中关联网格进行渲染的，在纹理渲染时，通过将参照纹理补丁映射到关联网格中，以对关联网格中的模型表面进行纹理渲染。在具体应用中，根据参照纹理补丁区域大小的不同，参照纹理补丁可以覆盖的网格区域不同，具体参照纹理补丁可以覆盖关联网格中的部分区域，即参照纹理补丁的针对纹理渲染的区域小于关联网格的区域大小；参照纹理补丁也可以覆盖多个关联网格，即参照纹理补丁可以针对多个网格的区域进行纹理渲染处理。关联网格与参照纹理补丁之间的关联关系可以通过渲染器确定，具体可以通过渲染器确定映射纹理补丁中各个像素的3D位置，从而基于该3D位置可以从网格模型的各网格中确定相关联的关联网格。
具体地，终端可以从参照纹理图像中划分出参照纹理补丁，参照纹理补丁可以覆盖一个或多个像素点。终端可以确定参照纹理补丁中每个像素点对应的空间位置，即确定参照纹理补丁是针对三维空间中某个位置的点进行纹理渲染处理。终端可以根据参照纹理补丁中每个像素点对应的空间位置，从网格模型的各网格中匹配出与参照纹理补丁的空间位置相关联的关联网格。终端获取关联网格的网格属性信息，关联网格的数量可以为一个或多个。终端基于获得的网格属性信息，将参照纹理补丁向源纹理图像进行映射，具体可以将参照纹理补丁向源纹理图像进行投影，从而得到映射纹理补丁。网格属性信息可以包括空间位置信息、深度信息或灰度信息中的至少一种。
在网格属性信息包括空间位置信息时，终端将参照纹理补丁向源纹理图像进行映射时，可以基于空间位置信息确定源纹理图像中与空间位置信息相关联的纹理补丁，并将参照纹理补丁向该纹理补丁进行映射，基于该纹理补丁的空间位置信息和参照纹理补丁向该纹理补丁进行映射的映射结果，组合得到映射纹理补丁，即使得映射纹理补丁携带有参照纹理补丁中的纹理信息，同时对应于源纹理图像中该纹理补丁的空间位置信息。终端在将参照纹理补丁向源纹理图像映射的过程中，可以将参照纹理补丁所携带的高质量纹理信息映射到源纹理图像中相应纹理补丁中，从而可以基于得到的携带高质量纹理信息的映射纹理补丁针对网格模型进行渲染处理。
本实施例中，终端根据参照纹理补丁的空间位置，从网格模型中确定相关联的关联网格，并基于关联网格的网格属性信息，将参照纹理补丁向源纹理图像进行映射，从而将参照纹理补丁携带的高质量纹理信息转移到源纹理图像中，形成能够直接进行纹理渲染的携带高质量纹理信息的映射纹理补丁，不需要进行部位拆分，可以简化对象模型渲染处理，从而提高了对象模型的渲染处理效率。
在一个实施例中，基于网格属性信息将参照纹理补丁向源纹理图像进行映射，得到映射纹理补丁，包括：将参照纹理补丁向源纹理图像进行投影，得到投影后的纹理补丁；在源纹理图像中，确定与网格属性信息相匹配的源纹理补丁的补丁属性信息；根据投影后的纹理补丁和补丁属性信息得到映射纹理补丁。
其中，映射纹理补丁综合了参照纹理图像中纹理补丁和源纹理图像中纹理补丁各自的信息。具体地，映射纹理补丁包括了参照纹理补丁向源纹理图像进行投影得到的投影后的纹理补丁；映射纹理补丁携带有源纹理图像中源纹理补丁的补丁属性信息。源纹理补丁是源纹理图像中与网格属性信息相匹配的纹理补丁，如网格属性信息包括空间位置信息时，源纹理补丁是源纹理图像中与空间位置信息相匹配的纹理补丁。补丁属性信息是源纹理补丁的属性信息，具体可以包括空间位置、灰度、深度等各种属性信息。
具体地，终端将参照纹理图像中的参照纹理补丁向源纹理图像进行投影，即将参照纹理补丁投影到源纹理图像中，得到投影后的纹理补丁。终端根据关联网格的网格属性信息，从源纹理图像中确定与该网格属性信息相匹配的源纹理补丁，并获取该源纹理补丁的补丁属性信息。终端可以将投影后的纹理补丁和补丁属性信息组合得到映射纹理补丁，即映射纹理补丁的属性信息为源纹理补丁的补丁属性信息，映射纹理补丁本身是由参照纹理补丁向源纹理图像进行投影得到的纹理补丁。
本实施例中，终端将参照纹理补丁向源纹理图像进行投影，并获得源纹理图像中与网格属性信息相匹配的源纹理补丁的补丁属性信息，终端综合投影后的纹理补丁和补丁属性信息得到映射纹理补丁，使得映射纹理补丁综合了参照纹理图像中纹理补丁和源纹理图像中纹理补丁各自的信息，可以利用映射纹理补丁直接针对网格模型进行渲染，可以简化对象模型渲染处理，从而提高了对象模型的渲染处理效率。
在一个实施例中，对象模型渲染方法还包括：根据投影后的纹理补丁的灰度信息和源纹理补丁的灰度信息，确定投影后的纹理补丁与源纹理补丁之间的互相关参数；根据投影后的纹理补丁的深度信息和源纹理补丁的深度信息，确定投影后的纹理补丁与源纹理补丁之间的深度差异；当互相关参数大于互相关阈值、且深度差异小于深度阈值，通过基于互相关参数确定的光照强度一致性损失，对映射纹理补丁进行更新。
其中，互相关参数根据投影后的纹理补丁与源纹理补丁各自的灰度信息计算得到，如可以基于灰度信息之间的差异计算得到。互相关参数具体可以是归一化的形式，即具体可以是归一化互相关（NCC，Normalization Cross-Correlation）参数。深度差异根据投影后的纹理补丁与源纹理补丁各自的深度信息计算得到，如可以根据深度值之间差值的绝对值计算得到。互相关阈值用于基于互相关参数针对各个纹理补丁的更新进行判定，深度阈值用于基于深度差异对各个纹理补丁的更新进行判定。通过互相关阈值和深度阈值可以过滤互相关性较差，或者深度差异较大的纹理补丁，从而确保纹理补丁的有效性。光照强度一致性损失用于针对映射纹理补丁进行更新，具体根据互相关参数得到，如可以根据互相关参数建立负相关关系得到，即互相关参数越大，则光照强度一致性损失越小，从而可以确保光照强度的一致性，有利于确保对象模型的渲染效果。
具体地，终端可以获取投影后的纹理补丁的灰度信息和深度信息，并获取源纹理补丁的灰度信息和深度信息。终端基于投影后的纹理补丁的灰度信息和源纹理补丁的灰度信息，计算得到互相关参数，具体可以根据灰度信息之间的差异计算得到投影后的纹理补丁与源纹理补丁之间的互相关参数。终端基于投影后的纹理补丁的深度信息和源纹理补丁的深度信息，计算深度信息之间的深度差异，具体可以将二者各自的深度信息数值化后求差，并根据差值的绝对值得到投影后的纹理补丁与源纹理补丁之间的深度差异。终端获取预先设定的互相关阈值以及深度阈值，终端将互相关参数与互相关阈值进行数值大小比较，并将深度差异与深度阈值进行数值大小比较，在确定互相关参数大于互相关阈值、且深度差异小于深度阈值的情况下，表明投影后的纹理补丁符合需要，可以针对进行反向传播，终端进一步根据互相关参数计算光照强度一致性损失，并基于该光照强度一致性损失针对映射纹理补丁进行更新，如可以基于光照强度一致性损失对映射纹理补丁的属性信息进行更新，如可以对映射纹理补丁的空间位置信息、灰度信息或者深度信息等属性信息进行更新，以实现针对映射纹理补丁优化，提高映射纹理补丁的有效性。
进一步地，通过由映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果，包括：通过更新后的映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果。
具体地，对于更新过的映射纹理补丁，终端可以利用更新后的映射纹理补丁确定纹理渲染信息，并基于确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果。此外，若根据光照强度一致性损失未对映射纹理补丁进行更新，则终端可以继续基于映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染处理。
本实施例中，终端根据投影后的纹理补丁与源纹理补丁之间的互相关参数以及深度差异，对纹理补丁进行筛选，并对筛选保留的纹理补丁的光照强度一致性损失，对映射纹理补丁进行更新，通过更新后的映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，可以有效滤除深度差异大或者灰度相关性低的纹理补丁，能够实现针对映射纹理补丁优化，提高基于映射纹理补丁进行渲染的渲染输出效果。
在一个实施例中，根据三维对象模型分别在不同视图下的模型轮廓，构建三维对象模型的网格模型，包括：确定三维对象模型分别在不同视图下的模型轮廓；在模型轮廓中进行采样，得到各采样点云；按照网格策略基于各采样点云构建得到三维对象模型的网格模型。
其中，采样点云是在模型轮廓中进行点采样得到的点云数据，采样点云在模型轮廓中采样得到，即采样点云均是三维对象模型表面上的点云数据。网格策略用于约束基于点云数据构建网格，不同的网格策略适用于不同应用场景的网格构建，基于构建的网格可以组合得到三维对象模型的网格模型。
具体地，终端在不同的视角下针对三维对象模型进行映射，得到不同视角对应的视图，在不同的视图下分别确定三维对象模型的模型轮廓，如可以确定模型轮廓的轮廓线。终端可以在模型轮廓中进行采样，如可以进行随机采样、间隔采样等，得到多个采样点云。模型轮廓所表征的是三维对象模型的表面，在模型轮廓中采样得到的采样点云，是三维对象模型的表面上的点云数据。终端获取预先设定的网格策略，按照该网格策略基于各个采样点云进行网格生成，并根据生成的网格构建组合得到三维对象模型的网格模型。
本实施例中，终端通过在模型轮廓中采样得到各采样点云，按照网格策略基于各采样点云构建得到三维对象模型的网格模型，可以降低构建网格模型的点云数量，从而降低网格模型构建的数据处理量，提高了网格模型的构建效率，从而有利于提高对象模型渲染的处理效率。
在一个实施例中，按照网格策略基于各采样点云构建得到三维对象模型的网格模型，包括：按照泊松重建方式针对各采样点云进行点云重建，得到各采样点各自的点云表示；按照网格策略基于各采样点各自的点云表示生成各个网格；基于各个网格构建得到三维对象模型的网格模型。
其中，泊松重建（Poisson Surface Reconstruction）方式是一种隐式曲面重建方案，输入为一组物体表面的有向点云，输出物体表面三维网格。相比直接网格重建的区别主要在于，泊松重建方式输出网格的顶点不需要来自原始点云，结果更平滑，并且由于全局求解，可以保证网格的水密性。点云表示是基于泊松重建方式针对采样点云重建得到的定向点云形状表达。
具体地，终端可以按照泊松重建方式针对各采样点云进行点云重建，具体可以基于点云顶点与各个网格之间的权重、各个顶点之间的距离，重建得到各个采样点各自的点云表示。终端按照预设的网格策略基于各采样点各自的点云表示生成各个网格，具体可以采用可微分行进立方体生成各个网格。终端可以基于生成的各个网格进行组合，从而构建得到三维对象模型的网格模型。
本实施例中，终端通过泊松重建方式对各采样点云进行点云重建，并按照网格策略基于各采样点各自的点云表示生成各个网格，可以获得可微分的、水密性强的网格，基于各个网格构建得到三维对象模型的网格模型，确保网格模型有效性，针对网格模型进行渲染，可以确保针对三维对象模型的渲染效果。
在一个实施例中，基于各个网格构建得到三维对象模型的网格模型，包括：通过三维对象模型的相机参数针对各个网格进行像素渲染，得到渲染后的各个网格；通过轮廓约束条件针对渲染后的各个网格分别进行网格边界约束优化，并通过约束优化后的各个网格构建得到三维对象模型的网格模型。
其中，相机参数是虚拟场景中针对三维对象模型进行图像捕捉的视角参数，在不同的相机参数下，对应于针对三维对象模型不同的观测视角，则可以观察到不同的模型展示效果。轮廓约束条件用于对渲染后的网格边界进行约束，以确保网格边界的效果。
具体地，终端可以获取三维对象模型的相机参数，具体可以是游戏相机参数定义的引擎相机参数，终端通过该相机参数针对各个网格进行像素渲染，即在该相机参数的观测角度下，对各个网格的像素进行渲染优化，如可以针对各个网格进行剪影渲染，得到各个网格的剪影网格。终端获取轮廓约束条件，并基于轮廓约束条件对渲染后的各个网格分别进行网格边界约束优化，从而确保渲染后网格边界的有效性，终端通过约束优化后的各个网格构建得到三维对象模型的网格模型。在具体实现中，轮廓约束条件可以包括轮廓损失，即可以通过计算渲染后的各个网格各自的轮廓损失，并基于轮廓损失针对进行网格边界约束优化，再通过约束优化后的网格构建得到三维对象模型的网格模型。
本实施例中，终端通过相机参数对各个网格进行像素渲染，并利用轮廓约束条件针对渲染后的各个网格分别进行网格边界约束优化，确保各个网格的有效性，再基于各个网格构建得到网格模型，可以确保网格模型有效性，针对网格模型进行渲染，可以确保针对三维对象模型的渲染效果。
在一个实施例中，确定三维对象模型分别在不同视图下的模型轮廓，包括：获取待渲染的三维对象模型分别在不同视图下得到的视图图像；将各视图图像进行掩码处理，得到掩码图像；从掩码图像中确定三维对象模型分别在不同视图下的模型轮廓。
其中，不同的视图可以是针对三维对象模型不同的观测视角，在不同的观测视角下，可以得到不同的视图图像。掩码图像是针对视图图像进行掩码处理得到的中间图像，掩码图像可以有利于针对进行轮廓确定，如具体可以是二值化的黑白图像，即可以通过对视图图像进行二值化处理，得到二值化的掩码图像。
具体地，终端可以获取三维对象模型在不同视图下得到的视图图像，在每个视图下可以获得对应的视图图像。终端针对各个视图图像分别进行掩码处理，得到掩码图像。例如，终端可以针对各个视图图像分别进行二值化处理，以得到二值化的黑白掩码图像。终端基于掩码图像进行轮廓确定，从而从掩码图像中确定三维对象模型分别在不同视图下的模型轮廓。例如，掩码图像是二值化的黑白图像时，终端可以根据黑白的线条边界，确定三维对象模型分别在不同视图下的模型轮廓。
本实施例中，终端通过对三维对象模型在不同视图下得到的视图图像分别进行掩码处理，并从掩码处理得到的掩码图像中确定三维对象模型分别在不同视图下的模型轮廓，可以准确确定三维对象模型的模型轮廓，可以确保基于模型轮廓构建的网格模型的有效性，针对网格模型进行渲染，可以确保针对三维对象模型的渲染效果。
在一个实施例中，如图5所示，在基于网格模型中网格的网格属性信息，将参照纹理图像中的参照纹理补丁向源纹理图像进行映射，得到映射纹理补丁之前，还包括阴影细化的处理步骤，具体包括：
步骤502，确定网格模型中网格的图像密度参数和图像辐射参数。
其中，图像密度即为像素密度，是指网格中包括的像素点的数量。图像密度参数可以包括图像密度的统计结果，也可以直接包括图像密度。图像辐射是指网格针对光线漫反射的反射率，图像辐射参数可以包括反射率统计结果，也可以直接包括反射率。
具体地，对于网格模型中网格，终端可以获取各个网格的图像密度参数和图像辐射参数，图像密度参数中可以包括网格的图像密度，图像辐射参数中可以包括网格的反射率。
步骤504，基于图像密度参数和图像辐射参数之间差异，确定阴影渲染系数。
其中，阴影渲染系数是针对网格阴影进行渲染时的系数，根据图像密度参数和图像辐射参数之间差异计算得到，如可以根据通过最小化图像密度参数和图像辐射参数之间差异得到阴影渲染系数。具体地，终端根据图像密度参数和图像辐射参数确定二者之间的差异，并基于二者之间的差异确定阴影渲染系数。
步骤506，通过阴影渲染系数对网格模型中网格进行纹理渲染。
具体地，终端利用阴影渲染系数针对网格模型中网格的阴影细节进行纹理渲染，从而实现利用图像密度和图像辐射针对网格模型中网格的增强渲染。
本实施例中，终端根据网格模型中网格的图像密度参数和图像辐射参数之间差异确定阴影渲染系数，并利用阴影渲染系数对网格模型中网格进行纹理渲染，从而可以对网格模型中网格进行增强优化，通过增强优化后的网格模型对参照纹理补丁进行映射，可以确保映射纹理补丁的信息有效性，从而确保针对对象模型渲染的渲染输出效果。
在一个实施例中，通过阴影渲染系数对网格模型中网格进行纹理渲染，包括：从源纹理图像中提取网格模型中网格的反射率参数；通过阴影渲染系数和反射率参数，对网格模型中网格进行纹理渲染。
其中，反射率参数从源纹理图像中提取得到，包括源纹理图像中网格的反射率。具体地，终端从源纹理图像中提取网格模型中网格的反射率参数，并基于反射率参数和阴影渲染系数针对网格模型中网格进行纹理渲染，从而实现利用源纹理图像中的反射率针对网格模型中网格的增强渲染。
本实施例中，终端通过源纹理图像中的反射率参数，结合阴影渲染系数对网格模型中网格进行纹理渲染，综合了网格模型中网格的图像密度参数和图像辐射参数，以及源纹理图像中的反射率参数，可以实现对网格模型中网格进行增强优化，通过增强优化后的网格模型对参照纹理补丁进行映射，可以确保映射纹理补丁的信息有效性，从而确保针对对象模型渲染的渲染输出效果。
在一个实施例中，在通过阴影渲染系数对网格模型中网格进行纹理渲染之后，还包括：确定网格模型中网格的网格位置损失和网格反射率损失；根据网格位置损失和网格反射率损失得到网格渲染损失；通过网格渲染损失对网格模型中网格进行更新。
其中，网格位置损失是基于网格模型中网格的网格位置计算得到的损失，网格反射率损失是基于网格模型中网格的反射率计算得到的损失。网格渲染损失根据网格位置损失和网格反射率损失得到，如可以将网格位置损失和网格反射率损失融合得到网格渲染损失。通过网格渲染损失进行反向传播，以对网格模型中网格进行更新，从确保网格的有效性。
具体地，终端可以针对网格模型中网格分别计算网格位置损失和网格反射率损失，如可以利用拉普拉斯矩阵针对网格的网格位置和网格反射率分别计算得到网格位置损失和网格反射率损失。终端综合网格位置损失和网格反射率损失得到网格渲染损失，如终端可以将网格位置损失和网格反射率损失进行求和，得到网格渲染损失。终端基于网格渲染损失针对网格模型中网格进行更新，以使网格模型中相邻顶点具有相似的位置和颜色，从而增强了网格模型的有效性。
本实施例中，终端基于网格模型中网格的网格位置损失和网格反射率损失构建的网格渲染损失，针对网格模型中网格进行更新，可以对网格模型中网格进行增强优化，通过增强优化后的网格模型对参照纹理补丁进行映射，可以确保映射纹理补丁的信息有效性，从而确保针对对象模型渲染的渲染输出效果。
本申请还提供一种应用场景，该应用场景应用上述的对象模型渲染方法。具体地，该对象模型渲染方法在该应用场景的应用如下：
对于在虚拟场景中构建的三维虚拟对象，一般是通过针对虚拟对象建模得到对应的三维对象模型，再针对三维对象模型进行渲染，以获得三维虚拟对象，如可以是游戏场景中的三维游戏角色；又如可以是VR技术或AR（增强现实，Augmented Reality）技术中的三维虚拟对象。在游戏的应用场景中，很多时候光照下的纹理并没有达到光照效果，甚至合成的纹理质量低。目前对于游戏场景中3D（3 Dimensions，三维）模型的纹理渲染处理，一般通过人工的代码编写，或者在原始美术图片上进行部位拆分，然后实现高质量网格，但是这些都要耗费大量的人力。而对于基于超分辨率表达的重构渲染处理，这些方式使用图形增强修复，需要大量的学习，难以实现批量修复，其次使用图像修复的技术并没有很好地应用，因为在现实游戏应用中，没有足够的样本进行学习。
通常的游戏3D纹理增强主要使用人工代码进行渲染优化，这样需要耗费大量的时间和精力，投入成本高。由于3D游戏中的3D模型在游戏中最后都是通过纹理mesh（网格）进行堆叠而成，当游戏中的网格数量太少，整个模型就显得很没有立体感，甚至呈现出低质量的3D表现，此时需要花费大量的精力修复模型。如图6所示，在3D游戏场景下3D模型纹理的通用mesh建模过程中，一个球体可以通过划分成若干个三角网格，即通过若干个三角网格拼接组合形成球体的3D模型。若三角网格划分越精细，构成球体3D模型的三角网格数量越多，则球体3D模型的立体感效果越强，通过渲染可以获得更佳的视觉效果，如可以展示更加真实的纹理，但三角网格数量越多对应渲染处理数据量也越大，从而影响渲染处理效率。
基于此，本实施例提供的对象模型渲染方法，设计了新的增强3D表面渲染的方法，提出了一种基于补丁的变形策略来进行游戏3D表面优化，并提出了一个有效的基于阴影的增强渲染策略，以进一步细化基于来自阴影框架的形状的几何细节，从而可以实现快速纹理增强渲染，从而快速调试游戏查看效果，提高针对3D模型的渲染处理效率。本实施例提供的对象模型渲染方法可以应用于纹理资源优化的应用场景中，通过对一些渲染速度慢的纹理使用UE4开发者工具进行提取，通过本实施例提供的对象模型渲染方法对这部分模型进行重新快速渲染建模，然后再次送入游戏中实现快速的调试，从可以快速进行一些不合格的3D纹理的替换和调试，以提高游戏场景中3D模型的渲染处理效率。
具体地，本实施例提供的对象模型渲染方法中，初始化的网格是通过视觉外壳在提供的多视图游戏3D模型面具上获得的，而点云通过基于多视图补丁的光照强度约束进行采样和优化。此外，通过修复网格拓扑结构并使用来自阴影细化的形状来细化粗网格并恢复反射率。如图7所示，首先通过调试3D模型获取模型在不同2D视图下的纹理图像，并通过二值化策略，即将纹理图像转换为黑白图像，得到模型二值化图，基于模型二值化图来确定可视化轮廓，并在轮廓内进行点抽样，从而采样大量的点云，然后再结合游戏引擎的网格Mesh策略在内部构建基于点的Mesh，即由点变成三角形面片，通过组合网格（组合Mesh）形成基于采样点云构建的网格模型，针对该网格模型中的各个顶点，按照基于可微分泊松求解器定义的点云形状表达方式进行表征，并通过标准高质量的参照纹理图对原始纹理图进行增强渲染，具体通过多视图光照增强处理，利用不同视图下参照纹理图和原始纹理图中纹理补丁的光照、法线和辐射之间的对应关系针对原始纹理图进行多视图光照增强，最后可以渲染出3D模型的不同视角360度下的增强表面表达。再结合阴影细化形状的优化策略增强渲染得到增强表达效果图，最后综合得到多视图渲染结果纹理图。
进一步地，在增强渲染过程中，可以使用光照修复方法加强渲染，并结合损失进行提高增强渲染的效果。具体基于阴影细化形状针对网格模型的几何细节进行增强渲染，形成增强表达图，最终获得多视图渲染结果图。在前向训练过程中，一方面基于参照纹理图和原始纹理图中纹理补丁重建投影之间的互相关关系，确定多视图光照强度一致性损失，并基于该多视图光照强度一致性损失进行反向传播，以实现对点云的反向修复；另一方面，在细化几何细节的处理过程中，通过表面损失和综合损失针对阴影细化策略进行增强渲染，其中综合损失包括网格位置损失和网格反射率损失。
本实施例提供的对象模型渲染方法，旨在从游戏应用场景中的3D模型有效地重建高质量的游戏3D模型，即实现针对游戏应用场景中3D模型高效的纹理增强渲染。对于定向点云形状表示方法，涉及点形状的混合形状表示，通过引入高效的可微分泊松求解器来桥接定向点云、隐式指示函数和网格，支持将任何形状表示为面向轻量级的点云，并更有效地生成高质量的水密网格。对于定向点云形状表示，即构建点云顶点V的表达如下式（1）所示，
（1）
其中，为第i个点云顶点；/>是泊松方法；/>是总mesh数，即总网格数；/>是第j个mesh对应的权重，即第j个网格对应到该网络的顶点的权重；/>是泊松常数；/>是顶点i和第j个mesh的各个顶点之间的欧式距离。
对于多视图光照渲染的处理，采用由粗到细的策略保持渲染增强。具体给定3D模型多视图图像的掩码，具体为黑白二进制图片，可以通过游戏模型旋转角度打印图片获取，再转为黑白图；首先通过视觉外壳估计初始网格Mesh，接下来从初始网格Mesh采样一个定向点云S ={x∈R3,n∈R3}作为形状表示，x为点云的指示方向，n为定向点云相对于初始网格Mesh的切面法向量，R是数据维度。在优化过程中，通过点云表达形状方法和可微分行进立方体生成水密网格，具体如下公式（2）所示，
（2）
其中，为网格，/>是指示方向，1 表示对象模型的内部，0 表示对象模型的外部；是网格/>的顶点；/>是网格/>的面Mesh。从点云构建网格的整个过程是完全可微的，因此损失可以反向传播到点云。
给定输入网格有顶点V和Mesh面片F，建立一个可微渲染器提取游戏相机参数/>给定引擎相机参数，将顶点上的属性渲染为像素π, 其中包含固有矩阵K和外部矩阵T，渲染的剪影/>可以通过内插常数1获得，具体如下式（3）所示，
（3）
其中，是渲染的剪影，/>是游戏相机参数，即引擎相机参数；/>是顶点V上的属性渲染后的像素。在渲染剪影/>的过程中，通过施加轮廓损失以限制掩码注释内生成的网格的边界，轮廓损失的计算公式如下式（4）所示，
（4）
其中，是轮廓损失；/>是不同角度视图索引，即从i=1,⋯,N总共360度；/>表示不同视角视图的网格；/>是L2绝对值计算。
为了加强多视图光照强度一致性，通过引入基于补丁的变形策略。具体将纹理图像上的一个补丁定义为p，并且补丁中的颜色信息应该在不同视图之间保持一致，通过渲染器获取每个像素对应的精确3D位置，具体如下式（5）所示，/>
（5）
其中，是渲染的位置图，每个有效像素/>表示相机坐标中相应的 3D 位置，/>的第三维表示渲染图深度/>；/>是顶点V的纹理信息，具体可以包括纹理坐标。
进一步地，建立扭曲补丁p从参照标准纹理图r到原始纹理图模型，具体如下式（6）所示，
（6）
其中，用s和r作为表示源图像和参照纹理图图像的下标；是从参照纹理图补丁p重新投影的源补丁p；/>是不采用光照直接进行着色处理；/>是参照纹理图补丁p的3D位置。
对于从参照纹理图补丁p重新投影的源补丁p，可以结合原始纹理图补丁D的3D位置确定重新投影的源补丁p的3D位置，如下式（7）所示，
（7）
其中，是双线性插值运算；/>是原始纹理图补丁D的3D位置；/>是重新投影的源补丁p的3D位置。
同样地，源纹理图中源块的灰度和深度也可以通过类似方式获得，如下式（8）和式（9）所示，
（8）
（9）
其中，是重新投影的源补丁的灰度值；/>是源补丁的灰度值；/>是重新投影的源补丁的深度；/>是源补丁的深度。
进一步地，将彩色图像{Ii}转换成灰度图像{Gi}，并最大化归一化互相关（NCC，Normalization Cross-Correlation）以确保多视图光照强度一致性。归一化互相关的处理可以如下式（10）所示，
（10）
其中，NCC是归一化互相关计算，得到的NCC分数是在所有源图像上的采样参照纹理图和源补丁之间计算的互相关；Cov是协方差计算；SQRT是标准差计算；Var是方差计算；是参照纹理图补丁的灰度值。
进一步地，为了避免相应的补丁被遮挡，通过比较了渲染的补丁深度和重新投影的补丁深度，并丢弃差异很大的补丁；而且，为了进一步保证补丁在所有源视图纹理中可见，只考虑NCC分数高于特定阈值的补丁。我们在网格顶点上施加多视图光照强度一致性损失，并反向传播以更新定向点云。具体如下式（11）所示，
（11）
其中，是筛选条件，如下式（12）所示，
（12）
其中，是源纹理图外在矩阵；/>是参照纹理图外在矩阵；/>是参照纹理图内在矩阵；/>是补丁；/>是重新投影补丁深度；/>是插值补丁深度/源纹理图补丁深度；/>是深度阈值；/>是NCC阈值。
对于阴影细化形状策略的处理，与初始网格相比，补丁扭曲损失有助于获得3D体表面的几何细节。一般来说，游戏3D模型皮肤和衣服的颜色主要有漫反射，一旦获得粗网格就采用细化策略，即从多视图纹理图像中提取反射率来改进粗网格。具体地几何细化和反射率提取方法如下所述。
当场景中的物体是非发射器并且光源无限远时，可以定义图像辐射度模型如下式（13）所示，
（13）
其中，是反射辐射；/>是空间位置；/>是观察者方向；/>是入射光方向；是入射光强度；/>是双向反射分布函数；/>是表面法线。
使用3D球谐函数系数来表示一般照明，3D球谐函数又记作SH函数，由于 SH（spherical harmonics）基础的正交性，可以进行辐射度计算，如下式（14）所示，
（14）
其中，是3D球谐函数，3D球谐函数可以用于描述三维形状；/>是点/>的反射率；/>是球谐SH系数；/>是由表面法线决定的 SH 函数；/>是9阶球谐函数的系数序号。
再根据分段的网格通过最小化图像密度和计算的图像辐射度之间的差异来估计球谐SH系数，具体如下式（15）和式（16）所示，
（15）
（16）
其中，是像素点和网格的密度权重；/>是最大顶点范围，以/>作为最大值有利于提高并行计算率；/>是像素点计算像素；/>是最小化图像密度计算的图像；是计算的图像辐射；/>是法线映射图；/>是插值顶点法线。
通过插值顶点法线来构建法线映射图/>，对于每个有效像素及其对应的点/>，最小化灰度值和计算出的辐射度之间的L2范数，以获得SH系数，本实施例中使用最小二乘法来估计SH系数。一旦估计了SH系数，修复它们以细化粗网格并提取反射率，具体首先从捕获的图像中提取反射率，然后联合细化反射率和几何形状。如下式（17）和式（18）所示，/>
（17）
（18）
其中，是插值反射率映射图；/>表示L1绝对值运算；/>是顶点反射率；/>是3d表面损失；/>是具体3D表面像素点；/>是像素点和网格的密度权重；/>是归一化处理；/>是具体像素值。
为了防止过度拟合或陷入局部最优，通过引入正则化项来惩罚表面变形和纹理一致性进行优化，如下式（19）所示，
（19）
其中，是综合损失；/>是Mesh损失；/>是反射率损失；/>是根据所有顶点矩阵计算Mesh的拉普拉斯，等价Mesh损失；/>是根据轮廓顶点矩阵计算反射率的拉普拉斯，等价于反射率损失；/>表示拉普拉斯矩阵；通过/>可以强制相邻顶点具有相似的位置和颜色，从而实现对网格的增强渲染。
本实施例提供的对象模型渲染方法，是针对3D游戏中纹理资源的快速渲染提出的新方案，结合游戏引擎光照进行建模，一方面基于补丁的变形策略来进行游戏3D表面优化，另一方面通过有效的基于阴影的增强渲染策略，以进一步细化基于来自阴影框架的形状的几何细节，可以进行3D模型的快速优化，在实践中能够快速实现美术和程序的调试。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的对象模型渲染方法的对象模型渲染装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个对象模型渲染装置实施例中的具体限定可以参见上文中对于对象模型渲染方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种对象模型渲染装置，包括：对象模型信息获取模块802、网格模型构建模块804、纹理补丁映射模块806和网格模型渲染模块808，其中：
对象模型信息获取模块802，用于获取待渲染的三维对象模型的源纹理图像和相对于源纹理图像得到纹理增强的参照纹理图像；
网格模型构建模块804，用于根据三维对象模型分别在不同视图下的模型轮廓，构建三维对象模型的网格模型；
纹理补丁映射模块806，用于基于网格模型中网格的网格属性信息，将参照纹理图像中的参照纹理补丁向源纹理图像进行映射，得到映射纹理补丁；
网格模型渲染模块808，用于通过由映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果。
在一个实施例中，纹理补丁映射模块806，还用于从参照纹理图像中确定参照纹理补丁，并在网格模型的各网格中确定与参照纹理补丁的空间位置相关联的关联网格；获取关联网格的网格属性信息；基于网格属性信息将参照纹理补丁向源纹理图像进行映射，得到映射纹理补丁。
在一个实施例中，纹理补丁映射模块806，还用于将参照纹理补丁向源纹理图像进行投影，得到投影后的纹理补丁；在源纹理图像中，确定与网格属性信息相匹配的源纹理补丁的补丁属性信息；根据投影后的纹理补丁和补丁属性信息得到映射纹理补丁。
在一个实施例中，还包括映射纹理补丁更新模块，用于根据投影后的纹理补丁的灰度信息和源纹理补丁的灰度信息，确定投影后的纹理补丁与源纹理补丁之间的互相关参数；根据投影后的纹理补丁的深度信息和源纹理补丁的深度信息，确定投影后的纹理补丁与源纹理补丁之间的深度差异；当互相关参数大于互相关阈值、且深度差异小于深度阈值，通过基于互相关参数确定的光照强度一致性损失，对映射纹理补丁进行更新；网格模型渲染模块808，还用于通过更新后的映射纹理补丁确定的纹理渲染信息针对网格模型进行渲染，得到针对三维对象模型的渲染结果。
在一个实施例中，网格模型构建模块804，还用于确定三维对象模型分别在不同视图下的模型轮廓；在模型轮廓中进行采样，得到各采样点云；按照网格策略基于各采样点云构建得到三维对象模型的网格模型。
在一个实施例中，网格模型构建模块804，还用于按照泊松重建方式针对各采样点云进行点云重建，得到各采样点各自的点云表示；按照网格策略基于各采样点各自的点云表示生成各个网格；基于各个网格构建得到三维对象模型的网格模型。
在一个实施例中，网格模型构建模块804，还用于通过三维对象模型的相机参数针对各个网格进行像素渲染，得到渲染后的各个网格；通过轮廓约束条件针对渲染后的各个网格分别进行网格边界约束优化，并通过约束优化后的各个网格构建得到三维对象模型的网格模型。
在一个实施例中，对象模型信息获取模块802，还用于获取待渲染的三维对象模型分别在不同视图下得到的视图图像；将各视图图像进行掩码处理，得到掩码图像；从掩码图像中确定三维对象模型分别在不同视图下的模型轮廓。
在一个实施例中，还包括阴影渲染处理模块，用于确定网格模型中网格的图像密度参数和图像辐射参数；基于图像密度参数和图像辐射参数之间差异，确定阴影渲染系数；通过阴影渲染系数对网格模型中网格进行纹理渲染。
在一个实施例中，阴影渲染处理模块，还用于从源纹理图像中提取网格模型中网格的反射率参数；通过阴影渲染系数和反射率参数，对网格模型中网格进行纹理渲染。
在一个实施例中，阴影渲染处理模块，还用于确定网格模型中网格的网格位置损失和网格反射率损失；根据网格位置损失和网格反射率损失得到网格渲染损失；通过网格渲染损失对网格模型中网格进行更新。
上述对象模型渲染装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储对象模型渲染方法涉及的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对象模型渲染方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种对象模型渲染方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9和图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (24)
1.一种对象模型渲染方法，其特征在于，所述方法包括：
基于开发者工具从游戏场景中确定纹理渲染不合格的三维对象模型，并获取所述三维对象模型的源纹理图像和相对于所述源纹理图像得到纹理增强的参照纹理图像；
将所述三维对象模型分别在不同视图下的模型轮廓中进行采样，得到各采样点云；所述不同视图包括将所述三维对象模型按照预设角度依次进行多次旋转形成的视图；所述采样点云，是所述三维对象模型表面上的点云数据；
确定所述采样点云中的点云顶点，所述点云顶点/>根据下式得到，，其中，/>为第i个点云顶点；/>是泊松方法；/>是总网格数；/>是第j个网格对应的权重；/>是泊松常数；
按照指数函数网格建模的网格策略，基于所述各采样点中各个点云顶点生成各个网格；
确定由所述游戏场景的游戏相机参数定义的引擎相机参数，在所述引擎相机参数的观测角度下针对所述各个网格进行像素渲染，得到渲染后的各个网格；
通过轮廓约束条件针对所述渲染后的各个网格分别进行网格边界约束优化，并通过约束优化后的各个网格构建所述三维对象模型的网格模型；
基于所述网格模型中网格的网格属性信息，将所述参照纹理图像中的参照纹理补丁向所述源纹理图像进行映射，得到映射纹理补丁；所述映射纹理补丁，包括投影后的纹理补丁和源纹理补丁的补丁属性信息；所述投影后的纹理补丁，是所述参照纹理补丁向所述源纹理图像进行映射得到的；所述源纹理补丁，是所述源纹理图像中与关联网格的网格属性信息相匹配的纹理补丁；所述关联网格，是所述网格模型中与所述参照纹理补丁的空间位置相关联的网格；
当所述投影后的纹理补丁与所述源纹理补丁之间的互相关参数大于互相关阈值、且所述投影后的纹理补丁与所述源纹理补丁之间的深度差异小于深度阈值，通过基于所述互相关参数确定的光照强度一致性损失，对所述映射纹理补丁进行更新；所述互相关参数，是根据所述投影后的纹理补丁的灰度信息和所述源纹理补丁的灰度信息确定的；所述深度差异，是根据所述投影后的纹理补丁的深度信息和所述源纹理补丁的深度信息确定的；
通过由更新后的映射纹理补丁确定的纹理渲染信息针对所述网格模型进行渲染，得到针对所述三维对象模型的渲染结果；
基于所述渲染结果中包括的渲染后的三维对象模型，针对所述游戏场景中的所述三维对象模型进行替换。
2.根据权利要求1所述的方法，其特征在于，所述基于所述网格模型中网格的网格属性信息，将所述参照纹理图像中的参照纹理补丁向所述源纹理图像进行映射，得到映射纹理补丁，包括：
从所述参照纹理图像中确定参照纹理补丁，并在所述网格模型的各网格中确定与所述参照纹理补丁的空间位置相关联的关联网格；
获取所述关联网格的网格属性信息；
基于所述网格属性信息将所述参照纹理补丁向所述源纹理图像进行映射，得到映射纹理补丁。
3.根据权利要求2所述的方法，其特征在于，所述基于所述网格属性信息将所述参照纹理补丁向所述源纹理图像进行映射，得到映射纹理补丁，包括：
将所述参照纹理补丁向所述源纹理图像进行投影，得到投影后的纹理补丁；
在所述源纹理图像中，确定与所述网格属性信息相匹配的源纹理补丁的补丁属性信息；
根据所述投影后的纹理补丁和所述补丁属性信息得到映射纹理补丁。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述投影后的纹理补丁的灰度信息和所述源纹理补丁的灰度信息，确定所述投影后的纹理补丁与所述源纹理补丁之间的互相关参数；
根据所述投影后的纹理补丁的深度信息和所述源纹理补丁的深度信息，确定所述投影后的纹理补丁与所述源纹理补丁之间的深度差异。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述三维对象模型分别在不同视图下的模型轮廓。
6.根据权利要求1所述的方法，其特征在于，所述网格属性信息包括网格的空间位置、像素值、深度或灰度中的至少一种属性信息。
7.根据权利要求1所述的方法，其特征在于，所述补丁属性信息包括所述源纹理补丁的空间位置、像素值、深度或灰度中的至少一种属性信息。
8.根据权利要求5所述的方法，其特征在于，所述确定所述三维对象模型分别在不同视图下的模型轮廓，包括：
获取待渲染的三维对象模型分别在不同视图下得到的视图图像；
将各所述视图图像进行掩码处理，得到掩码图像；
从所述掩码图像中确定所述三维对象模型分别在不同视图下的模型轮廓。
9.根据权利要求1至8任意一项所述的方法，其特征在于，在所述基于所述网格模型中网格的网格属性信息，将所述参照纹理图像中的参照纹理补丁向所述源纹理图像进行映射，得到映射纹理补丁之前，还包括：
确定所述网格模型中网格的图像密度参数和图像辐射参数；
基于所述图像密度参数和所述图像辐射参数之间差异，确定阴影渲染系数；
通过所述阴影渲染系数对所述网格模型中网格进行纹理渲染。
10.根据权利要求9所述的方法，其特征在于，所述通过所述阴影渲染系数对所述网格模型中网格进行纹理渲染，包括：
从所述源纹理图像中提取所述网格模型中网格的反射率参数；
通过所述阴影渲染系数和所述反射率参数，对所述网格模型中网格进行纹理渲染。
11.根据权利要求9所述的方法，其特征在于，在所述通过所述阴影渲染系数对所述网格模型中网格进行纹理渲染之后，还包括：
确定所述网格模型中网格的网格位置损失和网格反射率损失；
根据所述网格位置损失和所述网格反射率损失得到网格渲染损失；
通过所述网格渲染损失对所述网格模型中网格进行更新。
12.一种对象模型渲染装置，其特征在于，所述装置包括：
对象模型信息获取模块，用于基于开发者工具从游戏场景中确定纹理渲染不合格的三维对象模型，并获取所述三维对象模型的源纹理图像和相对于所述源纹理图像得到纹理增强的参照纹理图像；
网格模型构建模块，用于将所述三维对象模型分别在不同视图下的模型轮廓中进行采样，得到各采样点云；所述不同视图包括将所述三维对象模型按照预设角度依次进行多次旋转形成的视图；所述采样点云，是所述三维对象模型表面上的点云数据；确定所述采样点云中的点云顶点，所述点云顶点/>根据下式得到，/>，其中，/>为第i个点云顶点；/>是泊松方法；/>是总网格数；/>是第j个网格对应的权重；/>是泊松常数；按照指数函数网格建模的网格策略，基于所述各采样点中各个点云顶点生成各个网格；确定由所述游戏场景的游戏相机参数定义的引擎相机参数，在所述引擎相机参数的观测角度下针对所述各个网格进行像素渲染，得到渲染后的各个网格；通过轮廓约束条件针对所述渲染后的各个网格分别进行网格边界约束优化，并通过约束优化后的各个网格构建所述三维对象模型的网格模型；
纹理补丁映射模块，用于基于所述网格模型中网格的网格属性信息，将所述参照纹理图像中的参照纹理补丁向所述源纹理图像进行映射，得到映射纹理补丁；所述映射纹理补丁，包括投影后的纹理补丁和源纹理补丁的补丁属性信息；所述投影后的纹理补丁，是所述参照纹理补丁向所述源纹理图像进行映射得到的；所述源纹理补丁，是所述源纹理图像中与关联网格的网格属性信息相匹配的纹理补丁；所述关联网格，是所述网格模型中与所述参照纹理补丁的空间位置相关联的网格；
映射纹理补丁更新模块，用于当所述投影后的纹理补丁与所述源纹理补丁之间的互相关参数大于互相关阈值、且所述投影后的纹理补丁与所述源纹理补丁之间的深度差异小于深度阈值，通过基于所述互相关参数确定的光照强度一致性损失，对所述映射纹理补丁进行更新；所述互相关参数，是根据所述投影后的纹理补丁的灰度信息和所述源纹理补丁的灰度信息确定的；所述深度差异，是根据所述投影后的纹理补丁的深度信息和所述源纹理补丁的深度信息确定的；
网格模型渲染模块，用于通过由更新后的映射纹理补丁确定的纹理渲染信息针对所述网格模型进行渲染，得到针对所述三维对象模型的渲染结果；基于所述渲染结果中包括的渲染后的三维对象模型，针对所述游戏场景中的所述三维对象模型进行替换。
13.根据权利要求12所述的装置，其特征在于，
所述纹理补丁映射模块，还用于从所述参照纹理图像中确定参照纹理补丁，并在所述网格模型的各网格中确定与所述参照纹理补丁的空间位置相关联的关联网格；获取所述关联网格的网格属性信息；基于所述网格属性信息将所述参照纹理补丁向所述源纹理图像进行映射，得到映射纹理补丁。
14.根据权利要求13所述的装置，其特征在于，
所述纹理补丁映射模块，还用于将所述参照纹理补丁向所述源纹理图像进行投影，得到投影后的纹理补丁；在所述源纹理图像中，确定与所述网格属性信息相匹配的源纹理补丁的补丁属性信息；根据所述投影后的纹理补丁和所述补丁属性信息得到映射纹理补丁。
15.根据权利要求14所述的装置，其特征在于，
所述映射纹理补丁更新模块，还用于根据所述投影后的纹理补丁的灰度信息和所述源纹理补丁的灰度信息，确定所述投影后的纹理补丁与所述源纹理补丁之间的互相关参数；根据所述投影后的纹理补丁的深度信息和所述源纹理补丁的深度信息，确定所述投影后的纹理补丁与所述源纹理补丁之间的深度差异。
16.根据权利要求12所述的装置，其特征在于，
所述网格模型构建模块，还用于确定所述三维对象模型分别在不同视图下的模型轮廓。
17.根据权利要求12所述的装置，其特征在于，所述网格属性信息包括网格的空间位置、像素值、深度或灰度中的至少一种属性信息。
18.根据权利要求12所述的装置，其特征在于，所述补丁属性信息包括所述源纹理补丁的空间位置、像素值、深度或灰度中的至少一种属性信息。
19.根据权利要求16所述的装置，其特征在于，
所述对象模型信息获取模块，还用于获取待渲染的三维对象模型分别在不同视图下得到的视图图像；将各所述视图图像进行掩码处理，得到掩码图像；从所述掩码图像中确定所述三维对象模型分别在不同视图下的模型轮廓。
20.根据权利要求12至19任意一项所述的装置，其特征在于，还包括：
阴影渲染处理模块，用于确定所述网格模型中网格的图像密度参数和图像辐射参数；基于所述图像密度参数和所述图像辐射参数之间差异，确定阴影渲染系数；通过所述阴影渲染系数对所述网格模型中网格进行纹理渲染。
21.根据权利要求20所述的装置，其特征在于，
所述阴影渲染处理模块，还用于从所述源纹理图像中提取所述网格模型中网格的反射率参数；通过所述阴影渲染系数和所述反射率参数，对所述网格模型中网格进行纹理渲染。
22.根据权利要求20所述的装置，其特征在于，
所述阴影渲染处理模块，还用于确定所述网格模型中网格的网格位置损失和网格反射率损失；根据所述网格位置损失和所述网格反射率损失得到网格渲染损失；通过所述网格渲染损失对所述网格模型中网格进行更新。
23.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310603089.XA CN116385619B (zh) | 2023-05-26 | 2023-05-26 | 对象模型渲染方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310603089.XA CN116385619B (zh) | 2023-05-26 | 2023-05-26 | 对象模型渲染方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385619A CN116385619A (zh) | 2023-07-04 |
| CN116385619B true CN116385619B (zh) | 2024-04-30 |
Family
ID=86971293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310603089.XA Active CN116385619B (zh) | 2023-05-26 | 2023-05-26 | 对象模型渲染方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385619B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778065B (zh) * | 2023-08-21 | 2024-01-02 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6043821A (en) * | 1997-06-30 | 2000-03-28 | Ati Technologies, Inc. | Method and apparatus for rendering pixel information from blended texture maps |
| CN111508052A (zh) * | 2020-04-23 | 2020-08-07 | 网易（杭州）网络有限公司 | 三维网格体的渲染方法和装置 |
| CN115984441A (zh) * | 2023-01-03 | 2023-04-18 | 园宝科技(武汉)有限公司 | 一种基于神经着色器的快速重建带纹理三维模型的方法 |
| CN115984447A (zh) * | 2023-03-16 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 图像渲染方法、装置、设备和介质 |
| CN116109798A (zh) * | 2023-04-04 | 2023-05-12 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、设备及介质 |
| CN116152419A (zh) * | 2023-04-14 | 2023-05-23 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3792876A1 (en) * | 2019-09-13 | 2021-03-17 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for rendering a visual scene |
| CN111986335B (zh) * | 2020-09-01 | 2021-10-22 | 贝壳找房(北京)科技有限公司 | 纹理贴图方法和装置、计算机可读存储介质、电子设备 |
-
2023
- 2023-05-26 CN CN202310603089.XA patent/CN116385619B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6043821A (en) * | 1997-06-30 | 2000-03-28 | Ati Technologies, Inc. | Method and apparatus for rendering pixel information from blended texture maps |
| CN111508052A (zh) * | 2020-04-23 | 2020-08-07 | 网易（杭州）网络有限公司 | 三维网格体的渲染方法和装置 |
| CN115984441A (zh) * | 2023-01-03 | 2023-04-18 | 园宝科技(武汉)有限公司 | 一种基于神经着色器的快速重建带纹理三维模型的方法 |
| CN115984447A (zh) * | 2023-03-16 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 图像渲染方法、装置、设备和介质 |
| CN116109798A (zh) * | 2023-04-04 | 2023-05-12 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、设备及介质 |
| CN116152419A (zh) * | 2023-04-14 | 2023-05-23 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| PatchShading: High-Quality Human Reconstruction by PatchWarping andShading Refinement;Lixiang Lin et al;https://arxiv.org/abs/2211.14485;第1-13页 * |
| Shape As Points: A Differentiable Poisson Solver;Songyou Peng et al;arxiv.org;第1-22页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385619A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648269B (zh) | 三维建筑物模型的单体化方法和系统 | |
| Wang et al. | View-dependent displacement mapping | |
| WO2017206325A1 (zh) | 全局光照的计算方法及装置 | |
| WO2022001236A1 (zh) | 三维模型生成方法、装置、计算机设备及存储介质 | |
| CN111243071A (zh) | 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质 | |
| CN113298936B (zh) | 一种基于深度学习的多rgb-d全脸材质恢复方法 | |
| CN107330964B (zh) | 一种复杂三维物体的显示方法及系统 | |
| Argudo et al. | Single-picture reconstruction and rendering of trees for plausible vegetation synthesis | |
| CN112102480B (zh) | 图像数据处理方法、装置、设备以及介质 | |
| CN116385619B (zh) | 对象模型渲染方法、装置、计算机设备和存储介质 | |
| CN109685879A (zh) | 多视影像纹理分布的确定方法、装置、设备和存储介质 | |
| CN114241119A (zh) | 一种游戏模型生成方法、装置、系统及计算机存储介质 | |
| Liu et al. | Creating simplified 3D models with high quality textures | |
| Huang et al. | NeRF-texture: Texture synthesis with neural radiance fields | |
| Yan et al. | A non-photorealistic rendering method based on Chinese ink and wash painting style for 3D mountain models | |
| Scholz et al. | Real‐time isosurface extraction with view‐dependent level of detail and applications | |
| Liao et al. | Illumination animating and editing in a single picture using scene structure estimation | |
| Lin et al. | Multiview textured mesh recovery by differentiable rendering | |
| CN115375847B (zh) | 材质恢复方法、三维模型的生成方法和模型的训练方法 | |
| CN115409962B (zh) | 虚幻引擎内构建坐标系统的方法、电子设备和存储介质 | |
| Koca et al. | A hybrid representation for modeling, interactive editing, and real-time visualization of terrains with volumetric features | |
| Zhang et al. | Single image 3D reconstruction based on control point grid | |
| Johnston et al. | Single View 3D Point Cloud Reconstruction using Novel View Synthesis and Self-Supervised Depth Estimation | |
| Liu et al. | Image-based rendering for large-scale outdoor scenes with fusion of monocular and multi-view stereo depth | |
| Kuang et al. | Masked 3D conditional generative adversarial network for rock mesh generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40089298 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |