CN111798504A - 渲染方法及装置 - Google Patents

渲染方法及装置 Download PDF

Info

Publication number
CN111798504A
CN111798504A CN202010489956.8A CN202010489956A CN111798504A CN 111798504 A CN111798504 A CN 111798504A CN 202010489956 A CN202010489956 A CN 202010489956A CN 111798504 A CN111798504 A CN 111798504A
Authority
CN
China
Prior art keywords
target object
texture
height
interactive
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010489956.8A
Other languages
English (en)
Inventor
姜明余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perfect World Beijing Software Technology Development Co Ltd
Original Assignee
Perfect World Beijing Software Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perfect World Beijing Software Technology Development Co Ltd filed Critical Perfect World Beijing Software Technology Development Co Ltd
Priority to CN202010489956.8A priority Critical patent/CN111798504A/zh
Priority to PCT/CN2020/112520 priority patent/WO2021243861A1/zh
Publication of CN111798504A publication Critical patent/CN111798504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/529Depth or shape recovery from texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供一种渲染方法方法及装置,涉及计算机应用技术领域。其中,收集视野内与目标物体产生交互的交互物体;从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的深度纹理;利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理;利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。本申请实施例提供的技术方案解决了现有技术中得到的高度偏移纹理只支持平面上的目标物体渲染,而无法支持复杂表面上的目标物体渲染的问题。

Description

渲染方法及装置
技术领域
本申请实施例涉及计算机应用技术领域,尤其涉及一种渲染方法及装置。
背景技术
随着图像处理技术的不断提升,很多三维场景画面可以在显示设备中进行渲染显示。
对于三维场景中具有柔软表面的目标物体的渲染,可以通过对与目标物体的柔软表面产生交互动作的交互物体进行渲染以获得深度纹理,并将深度纹理作为目标物体的高度偏移纹理,对目标物体的高度进行偏移,渲染获得交互物体与目标物体的交互效果画面。其中,具有柔软表面的目标物体可以是例如雪地,交互物体可以是例如处于雪地场景中的人,渲染获得该人物处于雪地场景中时雪地的交互效果画面,例如雪地凹陷。
现有技术中,利用高度偏移纹理进行渲染时,是直接将深度纹理作为目标物体的高度偏移纹理,也即只利用相机远近裁剪面对该深度纹理进行裁剪,此时获得的高度偏移纹理只支持平面上的目标物体渲染,而无法支持复杂表面上的目标物体渲染,例如不同地形上的雪地渲染。
发明内容
本申请实施例提供一种渲染方法及装置,用以解决现有技术中得到的高度偏移纹理只支持平面上的目标物体渲染,而无法支持复杂表面上的目标物体渲染的问题。
本发明的第一方面提供了一种渲染方法,该方法包括:
收集视野内与目标物体产生交互的交互物体;
从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的深度纹理;
利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理;
利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
本发明的第二方面提供了一种渲染装置,该装置包括:
收集模块,用于收集视野内与目标物体产生交互的交互物体;
获取模块,用于从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的,深度纹理;
裁剪模块,用于利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理;
第一渲染模块,用于利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
本发明中,通过目标物体的高度图对深度纹理进行裁剪,获得相对目标物体可变形区域的高度偏移纹理,利用该高度偏移纹理进行渲染时,可以实现复杂表面上的目标物体渲染,例如,不同地形上的雪地渲染。解决了现有技术中只支持表面为平面上的目标物体渲染,而不支持复杂表面的情况,提高了渲染得到的目标物体与交互物体的交互效果画面的真实性,改善了用户体验。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种渲染方法的一个实施例的流程图;
图2是本发明实施例的一种渲染方法的另一个实施例的流程图;
图2-1是本发明实施例的雪地网格法线错误的示意图;
图2-2是本发明实施例的雪地网格法线重新计算之后的示意图;
图3是本发明实施例的一种渲染方法的另一个实施例的流程图;
图3-1是本发明实施例的雪地网格不平滑的示意图;
图3-2是本发明实施例的雪地网格平滑之后的示意图;
图4是本发明实施例的一种渲染方法的另一个实施例的流程图;
图5是本发明实施例的一种渲染装置的一个实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本发明实施例主要适用于三维场景中具有柔软表面的目标物体的渲染,可以通过对与目标物体的柔软表面产生交互动作的交互物体进行渲染以获得深度纹理,并由深度纹理获得目标物体的高度偏移纹理,基于高度偏移纹理对目标物体的高度进行偏移,渲染获得交互物体与目标物体的交互效果画面。
现有技术中,通过相机对与目标物体的柔软表面产生交互动作的交互物体进行渲染,得到深度纹理,深度纹理指该交互物体相对于相机远近裁剪面的高度值,将该深度纹理直接作为目标物体的高度偏移纹理,利用高度偏移纹理对目标物体高度进行偏移,以获得交互物体与目标物体的交互效果画面。其中,该具有柔软表面的目标物体可以是雪地、沙地、泥地等;该与目标物体的柔软表面产生交互动作的交互物体可以是动态物体,如人等。以目标物体为雪地,交互物体为处于雪地环境中的人为例,通过对处于雪地环境中的人进行渲染,得到深度纹理,也即该人物相对于相机远近裁剪面的高度值,将该深度纹理直接作为雪地高度偏移纹理,利用雪地高度偏移纹理对雪地高度进行偏移,获得该人物处于雪地环境中时雪地的效果画面,即雪地凹陷。
但是,现有技术的方案中,利用高度偏移纹理进行渲染时,是直接将深度纹理作为目标物体的高度偏移纹理,也即只利用相机远近裁剪面对该深度纹理进行裁剪,得到的结果在同一平面上,不会有高度的变化,也即此时获得的高度偏移纹理只支持平面上的目标物体渲染。而实际场景中,目标物体并非只存在于平面上,而往往处于各种复杂表面上,以雪地为例,其往往附着在各种地形或静态物体的上表面,如建筑物的上表面等。显然,现有技术的方案并不支持复杂表面上的目标物体渲染。
因此,需要获得支持复杂表面上目标物体渲染的高度偏移纹理,才能实现复杂表面上的目标物体渲染。发明人想到,在利用相机远近裁剪面对深度纹理进行裁剪的基础上,可以添加额外的高度图对深度纹理进行裁剪,即目标物体的高度图。由于目标物体本身的高度图包含了其处于复杂表面上的信息,利用该高度图对深度纹理裁剪获得的高度偏移纹理也可以支持复杂表面上的目标物体渲染,从而实现复杂表面上的目标物体渲染。于是,提出了本发明的技术方案:收集视野内与目标物体产生交互的交互物体;从所述目标物体底部对所述交互物体进行拍摄,获得深度纹理;利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理;利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。通过结合目标物体的高度图对深度纹理进行裁剪,获得支持复杂表面上目标物体渲染的高度偏移纹理,再利用该高度偏移纹理对目标物体进行渲染,则可以实现复杂表面上的目标物体渲染。解决了现有技术中只支持平面上的目标物体渲染,而不支持复杂表面的情况,提高了渲染得到的目标物体与交互物体的交互效果画面的真实性。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,为本发明实施例提供的一种渲染方法一个实施例的流程图,该方法可以包括以下几个步骤:
101:收集视野内与目标物体产生交互的交互物体。
目标物体可以指场景中具有柔软表面,且该柔软表面基于交互物体的交互动作而能够发生形变的物体,例如,雪地、沙地、泥地等。能够与该目标物体产生交互的交互物体可以指场景中能够执行交互动作,使得该目标物体的柔软表面发生形变的动态物体,例如,人、野生动物等。其中,交互物体与目标物体产生交互可以指交互物体对目标物体执行交互动作。
以目标物体是雪地、交互物体是处于雪地场景中的人为例,交互物体与目标物体产生交互可以包括该人物站立在该雪地中,或者该人物在该雪地中行走等。由此,在实际场景中,收集视野内与目标物体产生交互的交互物体可以是收集相机视野内在雪地场景中站立或行走的人物。
可选地,收集视野内与目标物体产生交互的交互物体的方法可以包括:
利用正交相机收集相机视口内的多个物体;
从所述多个物体中确定配置有交互标签的交互物体。
其中,交互标签可以由用户提前设定,以指定需要与目标物体发生交互作用的交互物体。例如,在实际的雪地场景中,交互标签可以为站立的人,则收集视野内与目标物体产生交互的交互物体可以是利用正交相机收集相机视口内的多个物体,并从中选择站立的人作为与目标物体产生交互的交互物体。
102:从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的深度纹理。
可选地,可以是利用正交相机从目标物体底部对交互物体进行拍摄,获得深度纹理,该深度纹理内可以指交互物体相对于相机远近裁剪面的高度值。
在实际场景中,以雪地为例,利用正交相机从雪地的底部对处于雪地场景中的人进行拍摄,可以获得包含该人物相对相机远近裁剪面的高度值的深度纹理。
其中,目标物体位于水平面上时,可选地,从所述目标物体底部对所述交互物体进行拍摄,获得深度纹理的方法可以包括:
利用正交相机,从所述目标物体底部自下而上对所述交互物体进行渲染,获得深度纹理。
其中,正交相机的视口应该与目标物体网格大小一致,正交相机的屏幕空间与目标物体网格的纹理贴图坐标空间对齐,正交相机的近裁剪面与目标物体网格共面,以目标物体网格所在平面为基准,按照该平面的法线方向自下而上对交互物体进行渲染以获得深度纹理。
103:利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理。
目标物体的高度图中包含了目标物体网格中不同顶点的高度值。以目标物体是雪地为例,雪地高度图的获取可以有不同的可实现方式。作为一种可实现方式,由于雪地通常附着在不同的地形上,雪地表面与地表相贴合,因此可以直接选择地形高度图作为雪地高度图。其中,地形高度图可以通过地形编辑器生成。
作为另一种可实现方式,可以选择正交相机离线烘焙的高度图作为雪地高度图。正交相机离线烘焙的高度图指利用正交相机自上到下渲染当前雪地在场景中的区域,得到区域内物体的高度图。
将正交相机的近裁剪面与目标物体网格共面,则正交相机的远近裁剪平面之间的距离即为目标物体的可变形区域。利用正交相机对交互物体进行拍摄,获得包含交互物体相对于正交相机远近裁剪面的高度值的深度纹理,也即获得包含交互物体相对于目标物体可变形区域的高度值的深度纹理,再利用目标物体高度图对该深度纹理进行裁剪,则可以获得相对目标物体可变形区域的高度偏移纹理。
104:利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
其中,交互效果画面可以指交互物体与目标物体产生交互形成一定交互效果的画面。以目标物体是雪地,交互物体是人为例,二者产生交互可以是人站在雪地上,获得的交互效果可以是雪地凹陷。
基于获得的高度偏移纹理,对目标物体进行渲染时,可以利用该高度偏移纹理对目标物体的高度进行偏移,渲染获得交互物体与目标物体的交互效果画面。
在本申请实施例中,通过目标物体的高度图对深度纹理进行裁剪,获得相对目标物体可变形区域的高度偏移纹理,利用该高度偏移纹理进行渲染时,可以实现复杂表面上的目标物体渲染,例如,不同地形上的雪地渲染。解决了现有技术中只支持表面为平面上的目标物体渲染,而不支持复杂表面的情况,提高了渲染得到的目标物体与交互物体的交互效果画面的真实性,改善了用户体验。
在某些实施例中,利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理的方法可以包括:
利用目标物体可变形区域的厚度值及所述目标物体高度图中配置的所述目标物体的最小高度值,对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理。
可选地,目标物体的高度图可以包括所述目标物体的最小高度值。在某些实施例中,利用目标物体可变形区域的厚度值及所述目标物体高度图中配置的所述目标物体的最小高度值,对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理的方法可以包括:
确定所述目标物体的最大高度值;
将所述最大高度值和所述最小高度值的差值作为所述目标物体可变形区域的厚度值;
基于所述深度纹理,计算所述深度纹理与所述最小高度值的差值;
将所述深度纹理与所述最小高度值的差值与所述目标物体可变形区域的厚度值进行求商计算,并将商值作为相对所述目标物体可变形区域的高度偏移纹理。
通过对深度纹理和最小高度值进行求差计算,得到的差值可以表示交互物体相对目标物体可变形区域的高度值,不再是现有技术中交互物体只相对于相机远近裁剪面的高度值,则由该差值得到的高度偏移纹理即可以实现支持复杂表面上的目标物体渲染。再利用该差值和目标物体可变形区域的厚度值进行求商计算,可以获得当前深度在目标可变形区域内所处的相对位置,也就是目标物体的变形程度系数,将该商值作为相对目标物体可变形区域的高度偏移纹理,可以实现利用目标物体的高度图对深度纹理进行裁剪,以得到相对目标物体可变形区域的高度偏移纹理。
在实际场景中,目标物体的最大高度值可以为用户设定的最大高度值,目标物体的最小高度值可以为目标物体高度图内存储的高度值,其中,目标物体高度图可以为地形高度图或正交相机离线烘焙的高度图。
以目标物体是雪地为例,高度偏移纹理可以由下面的公式进行计算获得:
Figure BDA0002520566640000091
其中,Displacement表示雪地高度偏移纹理,ZBuffer表示深度纹理,SnowHeightMin表示雪地高度最小值,SnowDisplacementMax表示雪地可变形区域的厚度值,
Figure BDA0002520566640000092
是用于计算当前深度纹理ZBuffer在雪地可变形区域内所处的相对位置,也就是雪地的变形程度系数,考虑到直接求商计算获得的数值不一定处于闭区间[0,1],则利用saturate函数将上述雪地的可变形程度系数数值夹取到闭区间[0,1],从而可以精确的表达出雪地变形程度的概念,其中,雪地可变形程度系数为0时,表示雪地完全凹陷;雪地可变形系数为1时,表示雪地没有凹陷。
在某些实施例中,利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面的方法可以包括:
利用所述高度偏移纹理对所述目标物体进行高度偏移,获得变形的目标物体网格;
基于所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面。
基于得到的高度偏移纹理,利用硬件曲面细分模型和该高度偏移纹理对该目标物体的高度进行偏移,可以获得变形的目标物体网格。其中,利用硬件曲面细分模型和高度偏移纹理对目标物体的高度进行偏移的方法为常规方法,在此不再进行赘述。利用获得的变形的目标物体网格,进行渲染以得到交互物体与目标物体的交互效果画面。
在实际场景中,利用获得的变形的目标物体网格,进行渲染以得到交互物体与目标物体的交互效果画面可以有多种实现方式。
作为一种可实现方式,在利用硬件曲面细分模型进行细分获得目标物体网格的过程中,考虑到用于细分的硬件曲面细分模型采用的是平面网格,平面网格中各顶点的顶点法线都是固定值,由此进行细分之后计算获得的平面法线也是固定值。从而基于高度偏移纹理对细分之后的网格顶点进行高度偏移,通过差值计算获得的法线同样是固定值,导致目标物体可变形区域内的法线出现错误,进一步导致目标物体可变形区域内的光照结果出现错误,影响渲染效果。
如图2-1所示,以目标物体是雪地为例,目标物体可变形区域可以是雪地凹陷区域,雪地凹陷区域的法线出现错误,则该凹陷区域内的光照结果也会出现错误,导致渲染获得的雪地凹陷区域的交互效果画面不理想,影响渲染效果。因此,作为一个实施例,需要对变形后的目标物体网格的法线进行重新计算,如图2所示,为本发明实施例提供的一种渲染方法另一个实施例的流程图,该方法可以包括以下几个步骤:
201:收集视野内与目标物体产生交互的交互物体。
202:从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的深度纹理。
203:利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理。
步骤201-203的实现方式与图1所示实施例中步骤101-103的实现方式一致,上述步骤可以参考图1所示实施例中步骤101-103的具体实现方式,在此不再进行赘述。
204:利用所述高度偏移纹理对所述目标物体进行高度偏移,获得变形的目标物体网格。
利用硬件曲面细分模型和获得的高度偏移纹理对目标物体的高度进行偏移,获得变形之后的目标物体网格。
205:计算所述变形的目标物体网格的切线空间法线。
在实际应用中,利用相对目标物体可变形区域的高度偏移纹理对目标物体进行高度偏移后,得到的目标物体网格不再是平面上的网格,网格的法线也不再是固定数值,因此,在获得变形的目标物体网格后,需要重新计算变形的目标物体网格的切线空间法线。
206:利用所述切线空间法线以及所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面。
利用计算得到的正确的网格的切线空间法线,可以渲染获得正确的交互物体与目标物体的交互效果画面。
本发明实施例中,考虑到网格细分模型仅是平面,法线为固定值,则需要对变形之后目标物体网格的法线进行重新计算,如图2-2所示,也即使用相对所述目标物体可变形区域的高度偏移纹理进行计算后,可以获得正确的切线空间法线,解决了现有技术中目标物体可变形区域内法线出现错误,导致光照结果出现错误,渲染效果不理想的问题,基于正确的目标物体可变形区域的法线,可以获得正确的可变形区域的光照结果,从而改善渲染效果,提高渲染获得的交互物体与目标物体的交互效果画面的真实性。
作为另一种可实现方式,在利用硬件曲面细分模型和高度偏移纹理对目标物体的高度进行偏移,获得变形的目标物体网格的过程中,由于交互物体模型本身的影响,如模型包含锯齿等,利用该交互物体模型进行渲染生成深度纹理,并基于该深度纹理计算获得高度偏移纹理时,得到的高度偏移纹理数据中会包含部分突变数据,导致利用该高度偏移纹理对目标物体高度进行偏移之后,获得的变形之后的目标物体网格不够平滑,网格变形效果不理想,从而影响渲染效果。
如图3-1所示,以目标物体是雪地为例,由于动态物体模型本身具有尖刺,由此生成的高度偏移纹理中会产生突变数据,利用该高度偏移纹理对雪地高度进行偏移之后,获得的变形之后的雪地网格形状会带有锯齿,雪地网格变形效果不理想,会导致渲染获得的雪地交互效果画面不够平滑,交互效果真实性较差。因此,作为一个实施例,为了提高交互效果的真实性,改善目标物体网格变形效果不理想的问题,如图3所示,为本发明实施例提供的一种渲染方法另一个实施例的流程图,该方法可以包括以下几个步骤:
301:收集视野内与目标物体产生交互的交互物体。
302:从所述目标物体底部对所述交互物体进行拍摄,获得深度纹理。
303:利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理。
步骤301-303的实现方式与图1所示实施例中步骤101-103的实现方式一致,上述步骤可以参考图1所示实施例中步骤101-103的具体实现方式,在此不再进行赘述。
304:将所述高度偏移纹理进行平滑处理,获得平滑高度偏移纹理。
平滑处理可以指对高度偏移纹理进行滤波处理,减少高度偏移纹理中的高频信号,得到较为平滑的高度偏移纹理,作为平滑高度偏移纹理。
可选地,将所述高度偏移纹理进行平滑处理,获得平滑高度偏移纹理的方法可以包括:
对所述高度偏移纹理进行小半径的高斯模糊处理,获得平滑高度偏移纹理。
通过对高度偏移纹理进行小半径的高斯模糊处理,可以减少高度偏移纹理中的高频信号,实现滤波处理,获得平滑高度偏移纹理。
可选地,在进行高斯模糊处理之前,该方法还可以包括:
利用正交相机渲染交互物体的简模以获得所述交互物体的深度纹理。
利用正交相机渲染交互物体的简模,获得交互物体的深度纹理,可以使深度纹理中的高度值突变减少,从而使变形之后的目标物体网格更加平滑。
在实际应用中,为了实现更好地渲染获得交互物体的深度纹理,需要选取合适的正交相机帧缓存纹理的分辨率。其中,该分辨率可以由像素密度计算获得,像素密度是指世界空间的单位长度对应的像素个数,具体可以是通过像素密度和正交相机视口的宽高计算获得,由像素密度与视口的宽度进行乘积计算可以得到帧缓存纹理的宽度,由像素密度与视口的高度进行乘积计算可以得到帧缓存纹理的高度。因此,可以选取合适的像素密度以获得合适的正交相机帧缓存纹理的分辨率,例如,像素密度可以是32像素/单位长度。
305:利用所述平滑高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
通过对高度偏移纹理进行平滑处理,获得平滑高度偏移纹理,减少了高度偏移纹理数据中的突变数据,从而利用该平滑高度偏移纹理对目标物体高度进行偏移时,可以获得较为平滑的变形之后的目标物体网格,如图3-2所示,解决了现有技术中网格变形存在锯齿,网格变形效果不理想的问题,改善了目标物体的渲染效果。以目标物体是雪地为例,获得较为平滑的变形之后的雪地网格,使得雪地交互效果画面更加平滑,提高雪地交互效果的真实性。
在实际场景中,为了获得更加真实的目标物体交互效果画面,获得平滑高度偏移纹理之后,该方法还可以包括:
对所述平滑高度偏移纹理进行边缘增强。
通过对平滑高度偏移纹理进行边缘增强,可以增加目标物体的边缘隆起效果,进一步增强目标物体与交互物体交互的真实感,实现更加真实的交互效果。以雪地为例,在实际场景中,真实雪地被雪地场景中的人物踩踏时,边缘会产生堆积效果,因此,对平滑高度偏移纹理进行边缘增强,可以获得雪地的边缘隆起效果,增强雪地与人物交互的真实感。
如图4所示,为本发明实施例提供的一种渲染方法另一个实施例的流程图,该方法可以包括以下几个步骤:
401:收集视野内与目标物体产生交互的交互物体。
402:从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的深度纹理。
403:利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理。
步骤401-403的实现方式与图1所示实施例中步骤101-103的实现方式一致,上述步骤可以参考图1所示实施例中步骤101-103的具体实现方式,在此不再进行赘述。
404:提取所述高度偏移纹理中的边缘纹理。
可以采用索贝尔边缘检测算法提取高度偏移纹理中的边缘纹理。
405:增加所述边缘纹理的高度,获得增强高度偏移纹理。
采用索贝尔边缘检测算法提取高斯模糊前的高度偏移纹理中的边缘,将提取的边缘纹理作为遮罩,增加高度偏移纹理中边缘区域的高度,再进行小半径的高斯模糊处理,获得增强高度偏移纹理。
406:利用所述增强高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
通过对高度偏移纹理进行边缘增强,增加目标物体的边缘隆起效果,提高渲染获得的目标物体交互效果画面的真实性,实现更加真实的交互效果。
在某些实施例中,利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面的方法可以包括:
将所述高度偏移纹理与前一帧的累积高度纹理进行融合,获得当前帧的累积高度纹理;
利用当前帧的累积高度纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
其中,可以将前一帧的累积高度纹理与当前帧的高度偏移纹理输入到累积渲染器中,利用乒乓算法对二者进行融合,获得当前帧的累积高度纹理。
可选地,将所述高度偏移纹理与前一帧的累积高度纹理进行融合,获得当前帧的累积高度纹理的方法具体可以包括:
将所述高度偏移纹理与前一帧的累积高度纹理进行比较,选取较小值作为当前帧的累积高度纹理。
在实际应用中,可以首先创建两张用于累积高度偏移值的纹理,将两张纹理的索引进行交换,之后将两张纹理绑定至用于计算累积高度纹理的累积渲染器中。此时,累积渲染器的输入即为前一帧的累积高度纹理和当前帧的高度偏移纹理,将二者进行比较,选取比较结果的较小值进行输出,从而可以实现,对于同一位置,如果上一帧没有发生高度偏移,而当前帧发生了高度偏移,就将当前帧的高度偏移值输出保存;而如果上一帧发生了高度偏移,而当前帧没有发生高度偏移,就将上一帧的高度偏移值输出保存。
对于第一帧累积之后的高度偏移纹理,则是指第一帧得到的高度偏移纹理,考虑到第一帧输入的上一帧累积的高度偏移纹理中没有任何高度偏移数据,则两者取最小值之后第一帧的高度偏移纹理会完全输出到累积的高度偏移纹理中。
在实际场景中,在进行渲染获得目标物体与交互物体的交互效果画面的过程中,目标物体的表面会发生形变,同时,也可以在特定情况下进行恢复。以目标物体是雪地,交互物体是处于雪地场景中的人为例,二者产生交互可以是该人物在雪地场景中站立,雪地会呈现出凹陷效果。此时,若该雪地场景处于下雪状态,则雪地的凹陷效果可以进行恢复,更加符合真实场景变化。
因此,在某些实施例中,上述方法还可以包括:
将所述当前帧的累积高度纹理与预定高度值进行融合,获得恢复高度值;
利用所述恢复高度值,渲染获得所述目标物体的形变恢复画面。
利用当前帧累积之后的高度偏移纹理加上一个用户可控的高度值可以实现目标物体的形变恢复效果。以雪地为例,在实际场景中,若该雪地场景处于下雪状态,则雪地不会一直处于凹陷状态,雪地凹陷会逐渐恢复,此时,可以通过在获得累积高度纹理的基础上,添加用户可控的高度值的方法实现。具体可以是,根据用户添加的高度值,在累积渲染器中为每一帧累积高度纹理都结合该添加的高度值进行计算。其中,用户添加的高度值可以是大于0的数值,对每一帧累积高度纹理都增加该高度值,使得累积的高度偏移纹理中的数值逐渐全部变为1,也即雪地由完全凹陷的状态逐渐变为没有凹陷的状态,实现雪地恢复。
通过对当前帧的累积高度纹理增加用户可控的高度值,实现雪地凹陷的逐渐恢复,得到更加真实的处于下雪状态时的雪地凹陷效果变化,更加符合真实场景变化。
如图5所示,为本发明实施例提供的一种渲染装置一个实施例的结构示意图,该装置可以包括以下几个模块:
收集模块501,用于收集视野内与目标物体产生交互的交互物体。
可选地,收集模块501可以包括:
收集单元,用于利用正交相机收集相机视口内的多个物体;
确定单元,用于从所述多个物体中确定配置有交互标签的交互物体。
获取模块502,用于从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的深度纹理。
可选地,可以是利用正交相机从目标物体底部对交互物体进行拍摄,获得深度纹理,该深度纹理内可以指交互物体相对于相机远近裁剪面的高度值。
其中,目标物体位于水平面上时,可选地,获取模块502可以包括:
第二获取单元,用于利用正交相机,从所述目标物体底部自下而上对所述交互物体进行渲染,获得深度纹理。
裁剪模块503,用于利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理。
第一渲染模块504,用于利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
在本申请实施例中,通过目标物体的高度图对深度纹理进行裁剪,获得相对目标物体可变形区域的高度偏移纹理,利用该高度偏移纹理进行渲染时,可以实现复杂表面上的目标物体渲染,例如,不同地形上的雪地渲染。解决了现有技术中只支持表面为平面上的目标物体渲染,而不支持复杂表面的情况,提高了渲染得到的目标物体与交互物体的交互效果画面的真实性,改善了用户体验。
在某些实施例中,裁剪模块503可以包括:
裁剪单元,用于利用目标物体可变形区域的厚度值及所述目标物体高度图中配置的所述目标物体的最小高度值,对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理。
可选地,目标物体的高度图可以包括所述目标物体的最小高度值。在某些实施例中,裁剪单元可以包括;
确定子单元,用于确定所述目标物体的最大高度值;
第二计算子单元,用于将所述最大高度值和所述最小高度值的差值作为所述目标物体可变形区域的厚度值;
第三计算子单元,用于基于所述深度纹理,计算所述深度纹理与所述最小高度值的差值;
裁剪子单元,用于将所述深度纹理与所述最小高度值的差值与所述目标物体可变形区域的厚度值进行求商计算,并将商值作为相对所述目标物体可变形区域的高度偏移纹理。
通过对深度纹理和最小高度值进行求差计算,得到的差值可以表示交互物体相对目标物体可变形区域的高度值,不再是现有技术中交互物体只相对于相机远近裁剪面的高度值,则由该差值得到的高度偏移纹理即可以实现支持复杂表面上的目标物体渲染。再利用该差值和目标物体可变形区域的厚度值进行求商计算,可以获得当前深度在目标可变形区域内所处的相对位置,也就是目标物体的变形程度系数,将该商值作为相对目标物体可变形区域的高度偏移纹理,可以实现利用目标物体的高度图对深度纹理进行裁剪,以得到相对目标物体可变形区域的高度偏移纹理。
在某些实施例中,第一渲染模块504可以包括:
第一获取单元,用于利用所述高度偏移纹理对所述目标物体进行高度偏移,获得变形的目标物体网格;
第一渲染单元,用于基于所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面。
基于得到的高度偏移纹理,利用硬件曲面细分模型和该高度偏移纹理对该目标物体的高度进行偏移,可以获得变形的目标物体网格。其中,利用硬件曲面细分模型和高度偏移纹理对目标物体的高度进行偏移的方法为常规方法,在此不再进行赘述。利用获得的变形的目标物体网格,进行渲染以得到交互物体与目标物体的交互效果画面。
在实际场景中,利用获得的变形的目标物体网格,进行渲染以得到交互物体与目标物体的交互效果画面可以有多种实现方式。
作为一种可实现方式,在利用硬件曲面细分模型进行细分获得目标物体网格的过程中,考虑到用于细分的硬件曲面细分模型采用的是平面网格,平面网格中各顶点的顶点法线都是固定值,由此进行细分之后计算获得的平面法线也是固定值。从而基于高度偏移纹理对细分之后的网格顶点进行高度偏移,通过差值计算获得的法线同样是固定值,导致目标物体可变形区域内的法线出现错误,进一步导致目标物体可变形区域内的光照结果出现错误,影响渲染效果。因此,需要对变形后的目标物体网格的法线进行重新计算,在某些实施例中,第一渲染单元可以包括:
第一计算子单元,用于计算所述变形的目标物体网格的切线空间法线;
第一渲染子单元,用于利用所述切线空间法线以及所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面。
考虑到网格细分模型仅是平面,法线为固定值,则需要对变形之后目标物体网格的法线进行重新计算,也即使用相对所述目标物体可变形区域的高度偏移纹理进行计算后,可以获得正确的切线空间法线,解决了现有技术中目标物体可变形区域内法线出现错误,导致光照结果出现错误,渲染效果不理想的问题,基于正确的目标物体可变形区域的法线,可以获得正确的可变形区域的光照结果,从而改善渲染效果,提高渲染获得的交互物体与目标物体的交互效果画面的真实性。
作为另一种可实现方式,在利用硬件曲面细分模型和高度偏移纹理对目标物体的高度进行偏移,获得变形的目标物体网格的过程中,由于交互物体模型本身的影响,如模型包含锯齿等,利用该交互物体模型进行渲染生成深度纹理,并基于该深度纹理计算获得高度偏移纹理时,得到的高度偏移纹理数据中会包含部分突变数据,导致利用该高度偏移纹理对目标物体高度进行偏移之后,获得的变形之后的目标物体网格不够平滑,网格变形效果不理想,从而影响渲染效果。因此,为了提高交互效果的真实性,改善目标物体网格变形效果不理想的问题,在某些实施例中,第一渲染模块504可以包括:
平滑单元,用于将所述高度偏移纹理进行平滑处理,获得平滑高度偏移纹理;
第二渲染单元,用于利用所述平滑高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
通过对高度偏移纹理进行平滑处理,获得平滑高度偏移纹理,减少了高度偏移纹理数据中的突变数据,从而利用该平滑高度偏移纹理对目标物体高度进行偏移时,可以获得较为平滑的变形之后的目标物体网格,解决了现有技术中网格变形存在锯齿,网格变形效果不理想的问题,改善了目标物体的渲染效果。以目标物体是雪地为例,获得较为平滑的变形之后的雪地网格,使得雪地交互效果画面更加平滑,提高雪地交互效果的真实性。
可选地,平滑单元可以包括:
处理子单元,用于对所述高度偏移纹理进行小半径的高斯模糊处理,获得平滑高度偏移纹理。
在实际场景中,为了获得更加真实的目标物体交互效果画面,在某些实施例中,第二渲染单元可以包括:
增强子单元,用于对所述平滑高度偏移纹理进行边缘增强,获得增强高度偏移纹理;
第二渲染子单元,用于利用所述增强高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
通过对平滑高度偏移纹理进行边缘增强,可以增加目标物体的边缘隆起效果,进一步增强目标物体与交互物体交互的真实感,实现更加真实的交互效果。以雪地为例,在实际场景中,真实雪地被雪地场景中的人物踩踏时,边缘会产生堆积效果,因此,对平滑高度偏移纹理进行边缘增强,可以获得雪地的边缘隆起效果,增强雪地与人物交互的真实感。
在某些实施例中,第一渲染模块504可以包括:
提取单元,用于提取所述高度偏移纹理中的边缘纹理;
增强单元,用于增加所述边缘纹理的高度,获得增强高度偏移纹理;
第三渲染单元,用于利用所述增强高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
通过对高度偏移纹理进行边缘增强,增加目标物体的边缘隆起效果,提高渲染获得的目标物体交互效果画面的真实性,实现更加真实的交互效果。
在某些实施例中,渲染模块可以包括:
累计单元,用于将所述高度偏移纹理与前一帧的累积高度纹理进行融合,获得当前帧的累积高度纹理;
第一渲染单元,用于利用当前帧的累积高度纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
可选地,累积单元可以包括:
累积子单元,用于将所述高度偏移纹理与前一帧的累积高度纹理进行比较,选取较小值作为当前帧的累积高度纹理。
在实际应用中,可以首先创建两张用于累积高度偏移值的纹理,将两张纹理的索引进行交换,之后将两张纹理绑定至用于计算累积高度纹理的累积渲染器中。此时,累积渲染器的输入即为前一帧的累积高度纹理和当前帧的高度偏移纹理,将二者进行比较,选取比较结果的较小值进行输出,从而可以实现,对于同一位置,如果上一帧没有发生高度偏移,而当前帧发生了高度偏移,就将当前帧的高度偏移值输出保存;而如果上一帧发生了高度偏移,而当前帧没有发生高度偏移,就将上一帧的高度偏移值输出保存。
对于第一帧累积之后的高度偏移纹理,则是指第一帧得到的高度偏移纹理,考虑到第一帧输入的上一帧累积的高度偏移纹理中没有任何高度偏移数据,则两者取最小值之后第一帧的高度偏移纹理会完全输出到累积的高度偏移纹理中。
在实际场景中,在进行渲染获得目标物体与交互物体的交互效果画面的过程中,目标物体表面会发生形变,同时,也可以在特定情况下进行恢复。以目标物体是雪地,交互物体是处于雪地场景中的人为例,二者产生交互可以是该人物在雪地场景中站立,雪地会呈现出凹陷效果。此时,若该雪地场景处于下雪状态,则雪地的凹陷效果可以进行恢复,更加符合真实场景变化。
因此,在某些实施例中,该装置还可以包括:
恢复单元,用于将所述当前帧的累积高度纹理与预定高度值进行融合,获得恢复高度值;
第五渲染单元,用于利用所述恢复高度值,渲染获得所述目标物体的形变恢复画面。
利用当前帧累积之后的高度偏移纹理加上一个用户可控的高度值可以实现目标物体的形变恢复效果。以雪地为例,在实际场景中,若该雪地场景处于下雪状态,则雪地不会一直处于凹陷状态,雪地凹陷会逐渐恢复,此时,可以通过在获得累积高度纹理的基础上,添加用户可控的高度值的方法实现。具体可以是,根据用户添加的高度值,在累积渲染器中为每一帧累积高度纹理都结合该添加的高度值进行计算。其中,用户添加的高度值可以是大于0的数值,对每一帧累积高度纹理都增加该高度值,使得累积的高度偏移纹理中的数值逐渐全部变为1,也即雪地由完全凹陷的状态逐渐变为没有凹陷的状态,实现雪地恢复。
通过对当前帧的累积高度纹理增加用户可控的高度值,实现雪地凹陷的逐渐恢复,得到更加真实的处于下雪状态时的雪地凹陷效果变化,更加符合真实场景变化。
图5所述的渲染装置可以执行图1所示实施例所述的渲染方法,其实现原理和技术效果不再赘述。对于上述实施例中的渲染装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
本发明实施例还包括在下列编号条款中规定的这些和其他方面:
1、一种渲染方法,其特征在于,包括:
收集视野内与目标物体产生交互的交互物体;
从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的深度纹理;
利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理;
利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
2、根据条款1所述的方法,其特征在于,所述利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面包括:
利用所述高度偏移纹理对所述目标物体进行高度偏移,获得变形的目标物体网格;
基于所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面。
3、根据条款1所述的方法,其特征在于,所述利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理包括:
利用目标物体可变形区域的厚度值及所述目标物体高度图中配置的所述目标物体的最小高度值,对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理。
4、根据条款2或3所述的方法,其特征在于,所述基于所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面包括:
计算所述变形的目标物体网格的切线空间法线;
利用所述切线空间法线以及所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面。
5、根据条款1或3所述的方法,其特征在于,所述利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面包括:
将所述高度偏移纹理进行平滑处理,获得平滑高度偏移纹理;
利用所述平滑高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
6、根据条款5所述的方法,其特征在于,所述将所述高度偏移纹理进行平滑处理,获得平滑高度偏移纹理包括:
对所述高度偏移纹理进行小半径的高斯模糊处理,获得平滑高度偏移纹理。
7、根据条款5所述的方法,其特征在于,所述利用所述平滑高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面包括:
对所述平滑高度偏移纹理进行边缘增强,获得增强高度偏移纹理;
利用所述增强高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
8、根据条款1或3所述的方法,其特征在于,所述利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面包括:
提取所述高度偏移纹理中的边缘纹理;
增加所述边缘纹理的高度,获得增强高度偏移纹理;
利用所述增强高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
9、根据条款3所述的方法,其特征在于,所述利用目标物体可变形区域的厚度值及所述目标物体高度图中配置的所述目标物体的最小高度值,对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理包括:
确定所述目标物体的最大高度值;
将所述最大高度值和所述最小高度值的差值作为所述目标物体可变形区域的厚度值;
基于所述深度纹理,计算所述深度纹理与所述最小高度值的差值;
将所述深度纹理与所述最小高度值的差值与所述目标物体可变形区域的厚度值进行求商计算,并将商值作为相对所述目标物体可变形区域的高度偏移纹理。
10、根据条款1所述的方法,其特征在于,所述利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面包括:
将所述高度偏移纹理与前一帧的累积高度纹理进行融合,获得当前帧的累积高度纹理;
利用当前帧的累积高度纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
11、根据条款10所述的方法,其特征在于,所述将所述高度偏移纹理与前一帧的累积高度纹理进行融合,获得当前帧的累积高度纹理包括:
将所述高度偏移纹理与前一帧的累积高度纹理进行比较,选取较小值作为当前帧的累积高度纹理。
12、根据条款11所述的方法,其特征在于,所述方法还包括:
将所述当前帧的累积高度纹理与预定高度值进行融合,获得恢复高度值;
利用所述恢复高度值,渲染获得所述目标物体的形变恢复画面。
13、根据条款1所述的方法,其特征在于,所述从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的深度纹理包括:
利用正交相机,从所述目标物体底部自下而上对所述交互物体进行渲染,获得所述交互物体的深度纹理。
14、根据条款1所述的方法,其特征在于,所述收集视野内与目标物体产生交互的交互物体包括:
利用正交相机收集相机视口内的多个物体;
从所述多个物体中确定配置有交互标签的交互物体。
15、一种渲染装置,其特征在于,包括:
收集模块,用于收集视野内与目标物体产生交互的交互物体;
获取模块,用于从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的深度纹理;
裁剪模块,用于利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理;
第一渲染模块,用于利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
16、根据条款15所述的装置,其特征在于,所述第一渲染模块包括:
第一获取单元,用于利用所述高度偏移纹理对所述目标物体进行高度偏移,获得变形的目标物体网格;
第一渲染单元,用于基于所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面。
17、根据条款15所述的装置,其特征在于,所述裁剪模块包括:
裁剪单元,用于利用目标物体可变形区域的厚度值及所述目标物体高度图中配置的所述目标物体的最小高度值,对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理。
18、根据条款16所述的装置,其特征在于,所述第一渲染单元包括:
第一计算子单元,用于计算所述变形的目标物体网格的切线空间法线;
第一渲染子单元,用于利用所述切线空间法线以及所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面。
19、根据条款15或17所述的装置,其特征在于,所述第一渲染模块包括:
平滑单元,用于将所述高度偏移纹理进行平滑处理,获得平滑高度偏移纹理;
第二渲染单元,用于利用所述平滑高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
20、根据条款19所述的装置,其特征在于,所述平滑单元包括:
处理子单元,用于对所述高度偏移纹理进行小半径的高斯模糊处理,获得平滑高度偏移纹理。
21、根据条款19所述的装置,其特征在于,所述第二渲染单元包括:
增强子单元,用于对所述平滑高度偏移纹理进行边缘增强,获得增强高度偏移纹理;
第二渲染子单元,用于利用所述增强高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
22、根据条款15或17所述的装置,其特征在于,所述第一渲染模块包括:
提取单元,用于提取所述高度偏移纹理中的边缘纹理;
增强单元,用于增加所述边缘纹理的高度,获得增强高度偏移纹理;
第三渲染单元,用于利用所述增强高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
23、根据条款17所述的装置,其特征在于,所述裁剪单元包括:
确定子单元,用于确定所述目标物体的最大高度值;
第二计算子单元,用于将所述最大高度值和所述最小高度值的差值作为所述目标物体可变形区域的厚度值;
第三计算子单元,用于基于所述深度纹理,计算所述深度纹理与所述最小高度值的差值;
裁剪子单元,用于将所述深度纹理与所述最小高度值的差值与所述目标物体可变形区域的厚度值进行求商计算,并将商值作为相对所述目标物体可变形区域的高度偏移纹理。
24、根据条款15所述的装置,其特征在于,所述渲染模块包括:
累积单元,用于将所述高度偏移纹理与前一帧的累积高度纹理进行融合,获得当前帧的累积高度纹理;
第四渲染单元,用于利用当前帧的累积高度纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
25、根据条款24所述的装置,其特征在于,所述累积单元包括:
累积子单元,用于将所述高度偏移纹理与前一帧的累积高度纹理进行比较,选取较小值作为当前帧的累积高度纹理。
26、根据条款25所述的装置,其特征在于,所述装置还包括:
恢复单元,用于将所述当前帧的累积高度纹理与预定高度值进行融合,获得恢复高度值;
第五渲染单元,用于利用所述恢复高度值,渲染获得所述目标物体的形变恢复画面。
27、根据条款15所述的装置,其特征在于,所述获取模块包括:
第二获取单元,用于利用正交相机,从所述目标物体底部自下而上对所述交互物体进行渲染,获得所述交互物体的深度纹理。
28、根据条款15所述的装置,其特征在于,所述收集模块包括:
收集单元,用于利用正交相机收集相机视口内的多个物体;
确定单元,用于从所述多个物体中确定配置有交互标签的交互物体。

Claims (10)

1.一种渲染方法,其特征在于,包括:
收集视野内与目标物体产生交互的交互物体;
从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的深度纹理;
利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理;
利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
2.根据权利要求1所述的方法,其特征在于,所述利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面包括:
利用所述高度偏移纹理对所述目标物体进行高度偏移,获得变形的目标物体网格;
基于所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面。
3.根据权利要求1所述的方法,其特征在于,所述利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理包括:
利用目标物体可变形区域的厚度值及所述目标物体高度图中配置的所述目标物体的最小高度值,对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理。
4.根据权利要求2或3所述的方法,其特征在于,所述基于所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面包括:
计算所述变形的目标物体网格的切线空间法线;
利用所述切线空间法线以及所述变形的目标物体网格,渲染获得所述交互物体与所述目标物体的交互效果画面。
5.根据权利要求1或3所述的方法,其特征在于,所述利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面包括:
将所述高度偏移纹理进行平滑处理,获得平滑高度偏移纹理;
利用所述平滑高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
6.根据权利要求1或3所述的方法,其特征在于,所述利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面包括:
提取所述高度偏移纹理中的边缘纹理;
增加所述边缘纹理的高度,获得增强高度偏移纹理;
利用所述增强高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
7.根据权利要求1所述的方法,其特征在于,所述利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面包括:
将所述高度偏移纹理与前一帧的累积高度纹理进行融合,获得当前帧的累积高度纹理;
利用当前帧的累积高度纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
8.根据权利要求7所述的方法,其特征在于,所述将所述高度偏移纹理与前一帧的累积高度纹理进行融合,获得当前帧的累积高度纹理包括:
将所述高度偏移纹理与前一帧的累积高度纹理进行比较,选取较小值作为当前帧的累积高度纹理。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
将所述当前帧的累积高度纹理与预定高度值进行融合,获得恢复高度值;
利用所述恢复高度值,渲染获得所述目标物体的形变恢复画面。
10.一种渲染装置,其特征在于,包括:
收集模块,用于收集视野内与目标物体产生交互的交互物体;
获取模块,用于从所述目标物体底部对所述交互物体进行拍摄,获得所述交互物体的深度纹理;
裁剪模块,用于利用所述目标物体的高度图对所述深度纹理进行裁剪,获得相对所述目标物体可变形区域的高度偏移纹理;
第一渲染模块,用于利用所述高度偏移纹理,渲染获得所述交互物体与所述目标物体的交互效果画面。
CN202010489956.8A 2020-06-02 2020-06-02 渲染方法及装置 Pending CN111798504A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010489956.8A CN111798504A (zh) 2020-06-02 2020-06-02 渲染方法及装置
PCT/CN2020/112520 WO2021243861A1 (zh) 2020-06-02 2020-08-31 渲染方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010489956.8A CN111798504A (zh) 2020-06-02 2020-06-02 渲染方法及装置

Publications (1)

Publication Number Publication Date
CN111798504A true CN111798504A (zh) 2020-10-20

Family

ID=72806030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010489956.8A Pending CN111798504A (zh) 2020-06-02 2020-06-02 渲染方法及装置

Country Status (2)

Country Link
CN (1) CN111798504A (zh)
WO (1) WO2021243861A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152895A2 (en) * 2010-02-12 2011-12-08 The University Of North Carolina At Chapel Hill Systems and methods that generate height map models for efficient three dimensional reconstruction from depth information
CN102708585A (zh) * 2012-05-09 2012-10-03 北京像素软件科技股份有限公司 一种渲染模型轮廓边缘的方法
CN104268922A (zh) * 2014-09-03 2015-01-07 广州博冠信息科技有限公司 一种图像渲染方法及图像渲染装置
GB201600642D0 (en) * 2016-01-13 2016-02-24 Sony Computer Entertainment Inc Apparatus and method of image rendering
CN105913471A (zh) * 2016-04-06 2016-08-31 腾讯科技(深圳)有限公司 图片处理的方法和装置
CN110196746A (zh) * 2019-05-30 2019-09-03 网易(杭州)网络有限公司 交互界面渲染方法及装置、电子设备、存储介质
US20190299097A1 (en) * 2018-04-02 2019-10-03 Take-Two Interactive Software, Inc. Method and apparatus for enhanced graphics rendering in a video game environment

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777741B2 (en) * 2005-03-04 2010-08-17 Aiseek Ltd. Techniques for accurately determining visibility of objects from multiple viewpoints in a three-dimensional (3D) environment
CN107358649B (zh) * 2017-06-07 2020-11-10 腾讯科技(深圳)有限公司 地形文件的处理方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152895A2 (en) * 2010-02-12 2011-12-08 The University Of North Carolina At Chapel Hill Systems and methods that generate height map models for efficient three dimensional reconstruction from depth information
CN102708585A (zh) * 2012-05-09 2012-10-03 北京像素软件科技股份有限公司 一种渲染模型轮廓边缘的方法
CN104268922A (zh) * 2014-09-03 2015-01-07 广州博冠信息科技有限公司 一种图像渲染方法及图像渲染装置
GB201600642D0 (en) * 2016-01-13 2016-02-24 Sony Computer Entertainment Inc Apparatus and method of image rendering
CN106997612A (zh) * 2016-01-13 2017-08-01 索尼互动娱乐股份有限公司 图像渲染的装置和方法
CN105913471A (zh) * 2016-04-06 2016-08-31 腾讯科技(深圳)有限公司 图片处理的方法和装置
US20190299097A1 (en) * 2018-04-02 2019-10-03 Take-Two Interactive Software, Inc. Method and apparatus for enhanced graphics rendering in a video game environment
CN110196746A (zh) * 2019-05-30 2019-09-03 网易(杭州)网络有限公司 交互界面渲染方法及装置、电子设备、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴兰;: "基于高度图的实时地形渲染算法研究与改进", 忻州师范学院学报, no. 05 *
吴磊;陈雷霆;何明耘;: "交互式实时水面渲染", 计算机应用研究, no. 08 *

Also Published As

Publication number Publication date
WO2021243861A1 (zh) 2021-12-09

Similar Documents

Publication Publication Date Title
US10659773B2 (en) Panoramic camera systems
KR101923845B1 (ko) 이미지 처리 방법 및 장치
CN106910242B (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
CN109660783B (zh) 虚拟现实视差校正
JP4916548B2 (ja) 画像のドミナントライン(dominantline)の確定及び使用
US20200320727A1 (en) Method and apparatus for generating a three-dimensional model
US20060204040A1 (en) Occluding contour detection and storage for digital photography
WO2010067191A1 (en) Devices and methods for processing images using scale space
US8565513B2 (en) Image processing method for providing depth information and image processing system using the same
JP2001067463A (ja) 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体
Martin-Brualla et al. 3d time-lapse reconstruction from internet photos
Angot et al. A 2D to 3D video and image conversion technique based on a bilateral filter
Zollmann et al. Dense depth maps from sparse models and image coherence for augmented reality
CN111798504A (zh) 渲染方法及装置
KR20230072170A (ko) 3차원 지도에 대한 모델링 데이터의 경량화 방법
JP5425045B2 (ja) オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム
CN111494943B (zh) 一种图像显示方法、装置、电子设备及可读存储介质
Lee et al. Removing foreground objects by using depth information from multi-view images
JP7504614B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN112561780B (zh) 一种附加多视线特征约束的城市场景网格模型优化方法
Liu Improving forward mapping and disocclusion inpainting algorithms for depth-image-based rendering and geomatics applications
EP4361957A1 (en) Image-tiles-based environment reconstruction
US20240233264A9 (en) Image-tiles-based environment reconstruction
Agus et al. PEEP: Perceptually Enhanced Exploration of Pictures.
Sethi et al. Multi-Operator based Saliency Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination