CN111243099B - 一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置 - Google Patents
一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置 Download PDFInfo
- Publication number
- CN111243099B CN111243099B CN201811337284.8A CN201811337284A CN111243099B CN 111243099 B CN111243099 B CN 111243099B CN 201811337284 A CN201811337284 A CN 201811337284A CN 111243099 B CN111243099 B CN 111243099B
- Authority
- CN
- China
- Prior art keywords
- preset
- maps
- image
- segment
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 title claims abstract description 51
- 230000003190 augmentative effect Effects 0.000 title description 3
- 238000000605 extraction Methods 0.000 claims abstract description 58
- 230000000694 effects Effects 0.000 claims abstract description 23
- 238000009877 rendering Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims description 40
- 238000003706 image smoothing Methods 0.000 claims description 7
- 238000013459 approach Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 17
- 239000012634 fragment Substances 0.000 description 11
- 230000000873 masking effect Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种处理图像的方法和装置以及在AR设备中显示图像的方法和装置。所述一种处理图像的方法，包括：获取第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图；根据预设条件从所述第一3D格式纹理图像的各预设贴图的提取区域中分别获得相互关联的第一片段贴图；分别对所述第一片段贴图进行预设处理并获得第二片段贴图；将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像。所述方法大大减少了资源消耗，同时提高了处理速度，使高端特效也可以在AR设备或手机登移动设备中应用，更好的接近现实场景，解决了传统解决方案下效率不高，出现渲染错误的问题。
Description
技术领域
本申请涉及图像显示领域，具体涉及处理图像的方法，以及处理图像的装置，以及在AR设备中显示图像的方法，以及在AR设备中显示图像的装置。
背景技术
环境光遮蔽(Ambient Occlusion，简称AO)，是用来描绘物体和物体相交或靠近的时候遮挡周围漫反射光线的效果，可以解决或改善漏光、飘和阴影不实等问题，解决或改善场景中缝隙、褶皱与墙角、角线以及细小物体等的表现不清晰问题，综合改善细节尤其是暗部阴影，增强空间的层次感、真实感，同时加强和改善画面明暗对比，增强画面的艺术性。
体积光，属于一种室内灯光控制系统，其主要呈现一种灯光洒过某种介质后在物体周围所形成的一种光泽。在软件游戏中为了使场景更真实，常常要为设定的场景渲染体积光。
在传统的游戏渲染的时候，每次为了渲染体积光都需要计算阴影和光照，这样需要占用大量的系统资源和时间。在增强现实(即AR)场景中，由此容易造成后处理流程的图像与现实场景无法叠加，从而出现渲染错误。
发明内容
本申请提供一种处理图像的方法，一种处理图像的装置，一种在AR设备中显示图像的方法，一种在AR设备中显示图像的装置；以解决环境光遮蔽算法占用资源大，错误率高的问题。
为了解决上述技术问题，本申请实施例提供了如下的技术方案：
本申请提供了一种处理图像的方法，包括：
获取第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图；
从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域；
根据所述提取区域分别获得第一片段贴图；
分别对所述第一片段贴图进行预设处理并获得第二片段贴图；
将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像。
优选的，所述预设条件，是指获取所述第一3D格式纹理图像的各预设贴图中与预设显示效果相关联的条件。
进一步的，所述预设处理，是指与所述预设条件相关联的处理。
优选的，所述第一3D格式纹理图像，是指R8G8格式纹理图像。
进一步的，所述R8G8格式纹理图像，至少包括法线贴图、环境贴图和深度环境光遮蔽贴图。
进一步的，所述预设贴图，是指法线贴图、环境贴图和深度环境光遮蔽贴图。
优选的，将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像，包括：
判断所述第一片段贴图与第二片段贴图是否符合预设合并条件；
若是，则
将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并；
通过预设图像平滑算法修复合并后的贴图，生成第二3D格式纹理图像。
本申请提供了一种处理图像的装置，包括：
获取第一3D图像单元，用于获取第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图；
获得提取区域单元，用于从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域；
获取第一片段贴图单元，用于根据所述提取区域分别获得第一片段贴图；
获取第二片段贴图单元，用于分别对所述第一片段贴图进行预设处理并获得第二片段贴图；
获取第二3D图像单元，用于将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像。
本申请提供了一种在AR设备中显示图像的方法，包括：
采集真实场景图像；
渲染所述真实场景图像生成第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图；
获取第一3D格式纹理图像；
从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域；
根据所述提取区域分别获得第一片段贴图；
分别对所述第一片段贴图进行预设处理并获得第二片段贴图；
将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像；
将所述第二3D格式纹理图像显示在AR设备的显示区域中。
本申请提供了一种在AR设备中显示图像的装置，包括：
采集真实场景图像单元，用于采集真实场景图像；
生成第一3D图像单元，用于渲染所述真实场景图像生成第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图；
获取第一3D图像单元，用于获取第一3D格式纹理图像；
获得提取区域单元，用于从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域；
获取第一片段贴图单元，用于根据所述提取区域分别获得第一片段贴图；
获取第二片段贴图单元，用于分别对所述第一片段贴图进行预设处理并获得第二片段贴图；
获取第二3D图像单元，用于将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像；
显示单元，用于将所述第二3D格式纹理图像显示在AR设备的显示区域中。
基于上述实施例的公开可以获知，本申请实施例具备如下的有益效果：
本申请提供了一种处理图像的方法和装置以及在AR设备中显示图像的方法和装置。所述一种处理图像的方法，包括：获取第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图；根据预设条件从所述第一3D格式纹理图像的各预设贴图的提取区域中分别获得相互关联的第一片段贴图；分别对所述第一片段贴图进行预设处理并获得第二片段贴图；将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像。本申请对AR场景的环境光遮蔽技术进行了特殊优化，即放弃了传统的每次渲染过程同时计算阴影和光照的方法。而是通过对3D格式纹理图像采样信息进行特殊处理，从而大大减少了资源消耗，同时提高了处理速度，使高端特效也可以在AR设备或手机登移动设备中应用，使空间的层次感、真实感更好的接近现实场景，解决了传统解决方案下效率不高，出现渲染错误的问题。
附图说明
图1为本申请实施例提供的处理图像的方法的流程图；
图2为本申请实施例提供的处理图像的装置的单元框图；
图3为本申请实施例提供的在AR设备中显示图像的方法的流程图；
图4为本申请实施例提供的在AR设备中显示图像的装置的单元框图。
具体实施方式
下面，结合附图对本申请的具体实施例进行详细的描述，但不作为本申请的限定。
应理解的是，可以对此处公开的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例；然而，应当理解，所公开的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。
本申请提供一种处理图像的方法；本申请还提供一种处理图像的装置；本申请还提供一种在AR设备中显示图像的方法；本申请还提供一种在AR设备中显示图像的装置。在下面的实施例中逐一进行详细说明。
对本申请提供的第一实施例，即一种处理图像的方法的实施例。
下面结合图1对本实施例进行详细说明，其中，图1为本申请实施例提供的处理图像的方法的流程图。
步骤S101，获取第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图。
3D纹理就是立体的“图形”，如同2D纹理是一个(x，y)形式的像素矩阵，3D纹理是一个(x，y，z)形式的三维像素矩阵，每一个(x，y，z)对应一个标量值；3D纹理贴图就是要把这个三维的像素阵列映射到三维的物体空间中去；通常将物体和3D纹理处理成立方体或圆柱体。所述3D格式纹理图像，按照预设特定方式存储，由具有相互关联的多层贴图构成，且每层贴图的显示功能不同，但为了使显示效果接近真实效果，各个贴图之间又相互关联。例如，所述第一3D格式纹理图像，是指R8G8格式纹理图像。
步骤S102，从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域。
所述预设条件，是指获取所述第一3D格式纹理图像的各预设贴图中与预设显示效果相关联的条件。例如，获取所述第一3D格式纹理图像的各预设贴图中与“高亮”显示效果相关联的条件，“高亮”可以通过分析像素值获得。例如，继续上述例子，所述第一3D格式纹理图像，是指R8G8格式纹理图像；所述R8G8格式纹理图像，至少包括法线贴图、环境贴图和深度环境光遮蔽贴图；所述预设贴图，是指法线贴图、环境贴图和深度环境光遮蔽贴图；则从所述法线贴图、环境贴图和深度环境光遮蔽贴图中分别提取出与“高亮”显示效果相关联的提取区域中获得法线片段贴图、环境片段贴图和深度环境光遮蔽片段贴图，所述法线片段贴图是第一片段贴图，环境片段贴图也是第一片段贴图，深度环境光遮蔽片段贴图也是第一片段贴图。采用上述法线贴图、环境贴图和深度环境光遮蔽贴图处理“高亮”显示效果，对每个图像像素仅仅采样3次，减少了光线追踪采样的次数，降低了环境光遮蔽算法的资源消耗，特别是保障了高端的游戏特效在AR端及手机端等移动端也可以顺畅运行。
步骤S103，根据所述提取区域分别获得第一片段贴图。
根据该预设条件，从所述第一3D格式纹理图像的各预设贴图的提取区域中分别获得第一片段贴图，所述第一片段贴图的数量与所述预设贴图的数量相同。
步骤S104，分别对所述第一片段贴图进行预设处理并获得第二片段贴图。
所述预设处理，是指与所述预设条件相关联的处理。例如，继续上述例子，对于上述在“高亮”显示效果条件下获得的第一片段贴图，所述预设处理，采用径向模糊的处理方式。
步骤S105，将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像。
优选的，步骤S105包括以下步骤：
步骤S105-1，判断所述第一片段贴图与第二片段贴图是否符合预设合并条件。
步骤S105-2，若步骤S105-1的输出结果为“是”，则将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并；通过预设图像平滑算法修复合并后的贴图，生成第二3D格式纹理图像。
例如，预设图像平滑算法是TemporalAA算法，该算法可以修复场景帧率小于运动物体运动速度的锯齿问题，特别适合AR设备对移动图像的处理。
步骤S105-3，若步骤S105-1的输出结果为“否”，则放弃合并贴图。
本实施例对AR场景的环境光遮蔽技术进行了特殊优化，即放弃了传统的每次渲染过程同时计算阴影和光照的方法。而是通过对3D格式纹理图像采样信息进行特殊处理，从而大大减少了资源消耗，同时提高了处理速度，使高端特效也可以在AR设备或手机登移动设备中应用，使空间的层次感、真实感更好的接近现实场景，解决了传统解决方案下效率不高，出现渲染错误的问题。
与本申请提供的第一实施例相对应，本申请还提供了第二实施例，即一种处理图像的装置。由于第二实施例基本相似于第一实施例，所以描述得比较简单，相关的部分请参见第一实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
图2示出了本申请提供的一种处理图像的装置的实施例。图2为本申请实施例提供的处理图像的装置的单元框图。
请参考图2，本申请提供一种处理图像的装置，包括：获取第一3D图像单元201，获得提取区域单元202，获取第一片段贴图单元203，获取第二片段贴图单元204，获取第二3D图像单元205；
获取第一3D图像单元201，用于获取第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图。
获得提取区域单元202，用于从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域。
获取第一片段贴图单元203，用于根据所述提取区域分别获得第一片段贴图。
获取第二片段贴图单元204，用于分别对所述第一片段贴图进行预设处理并获得第二片段贴图。
获取第二3D图像单元205，用于将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像。
优选的，所述预设条件，是指获取所述第一3D格式纹理图像的各预设贴图中与预设显示效果相关联的条件。
进一步的，所述预设处理，是指与所述预设条件相关联的处理。
优选的，所述第一3D格式纹理图像，是指R8G8格式纹理图像。
进一步的，所述R8G8格式纹理图像，至少包括法线贴图、环境贴图和深度环境光遮蔽贴图。
进一步的，所述预设贴图，是指法线贴图、环境贴图和深度环境光遮蔽贴图。
进一步的，在获取第二3D图像单元205中，包括：
判断子单元，用于判断所述第一片段贴图与第二片段贴图是否符合预设合并条件。
获取第二3D图像子单元，用于若所述判断子单元的输出结果为“是”，则将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并；通过预设图像平滑算法修复合并后的贴图，生成第二3D格式纹理图像。
放弃合并子单元，用于若所述判断子单元的输出结果为“否”，则放弃合并贴图。
本实施例对AR场景的环境光遮蔽技术进行了特殊优化，即放弃了传统的每次渲染过程同时计算阴影和光照的方法。而是通过对3D格式纹理图像采样信息进行特殊处理，从而大大减少了资源消耗，同时提高了处理速度，使高端特效也可以在AR设备或手机登移动设备中应用，使空间的层次感、真实感更好的接近现实场景，解决了传统解决方案下效率不高，出现渲染错误的问题。
与本申请提供的第一实施例相对应，本申请还提供了第三实施例，即一种在AR设备中显示图像的方法。由于第三实施例基本相似于第一实施例，所以描述得比较简单，相关的部分请参见第一实施例的对应说明即可。下述描述的方法实施例仅仅是示意性的。
AR设备，利用影像及二维码识别技术，结合3D立体成像技术，有机结合的高科技展示系统。即将实物或实物模型或实物照片放置到指定区域内，产品实物的三维立体影像便立即呈现在显示屏幕内。例如，AR眼镜，通过AR眼镜中设置的微型摄像机采集真实场景图像，然后通过渲染将真实场景图像与虚拟图像相结合，生成仿真虚拟现实场景，并将虚拟现实场景显示在AR眼镜的显示区域中。使人有身临其境的真实感，从而增强使用者的应用体验。
图3示出了本申请提供的一种在AR设备中显示图像的方法的实施例。图3为本申请实施例提供的在AR设备中显示图像的方法的流程图。
步骤S301，采集真实场景图像。
步骤S302，渲染所述真实场景图像生成第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图。
步骤S303，获取第一3D格式纹理图像。
步骤S304，从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域。
步骤S305，根据所述提取区域分别获得第一片段贴图。
步骤S306，分别对所述第一片段贴图进行预设处理并获得第二片段贴图。
步骤S307，将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像。
步骤S308，将所述第二3D格式纹理图像显示在AR设备的显示区域中。
优选的，所述预设条件，是指获取所述第一3D格式纹理图像的各预设贴图中与预设显示效果相关联的条件。
进一步的，所述预设处理，是指与所述预设条件相关联的处理。
优选的，所述第一3D格式纹理图像，是指R8G8格式纹理图像。
进一步的，所述R8G8格式纹理图像，至少包括法线贴图、环境贴图和深度环境光遮蔽贴图。
进一步的，所述预设贴图，是指法线贴图、环境贴图和深度环境光遮蔽贴图。
优选的，步骤S307，包括以下步骤：
步骤S307-1，判断所述第一片段贴图与第二片段贴图是否符合预设合并条件。
步骤S307-2，若步骤S307-1的输出结果为“是”，则将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并；通过预设图像平滑算法修复合并后的贴图，生成第二3D格式纹理图像。
步骤S307-3，若步骤S307-1的输出结果为“否”，则放弃合并贴图。
本实施例对AR场景的环境光遮蔽技术进行了特殊优化，即放弃了传统的每次渲染过程同时计算阴影和光照的方法。而是通过对3D格式纹理图像采样信息进行特殊处理，从而大大减少了资源消耗，同时提高了处理速度，使高端特效也可以在AR设备或手机登移动设备中应用，使空间的层次感、真实感更好的接近现实场景，解决了传统解决方案下效率不高，出现渲染错误的问题。
与本申请提供的第三实施例相对应，本申请还提供了第四实施例，即一种在AR设备中显示图像的装置。由于第四实施例基本相似于第一实施例，所以描述得比较简单，相关的部分请参见第一实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
图4示出了本申请提供的一种处理图像的装置的实施例。图4为本申请实施例提供的在AR设备中显示图像的装置的单元框图。
请参考图4，本申请提供一种在AR设备中显示图像的装置，包括：采集真实场景图像单元401，生成第一3D图像单元402，获取第一3D图像单元403，获得提取区域单元404，获取第一片段贴图单元405，获取第二片段贴图单元406，获取第二3D图像单元407，显示单元408；
采集真实场景图像单元401，用于采集真实场景图像。
生成第一3D图像单元402，用于渲染所述真实场景图像生成第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图。
获取第一3D图像单元403，用于获取第一3D格式纹理图像。
获得提取区域单元404，用于从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域。
获取第一片段贴图单元405，用于根据所述提取区域分别获得第一片段贴图。
获取第二片段贴图单元406，用于分别对所述第一片段贴图进行预设处理并获得第二片段贴图。
获取第二3D图像单元407，用于将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像。
显示单元408，用于将所述第二3D格式纹理图像显示在AR设备的显示区域中。
优选的，所述预设条件，是指获取所述第一3D格式纹理图像的各预设贴图中与预设显示效果相关联的条件。
进一步的，所述预设处理，是指与所述预设条件相关联的处理。
优选的，所述第一3D格式纹理图像，是指R8G8格式纹理图像。
进一步的，所述R8G8格式纹理图像，至少包括法线贴图、环境贴图和深度环境光遮蔽贴图。
进一步的，所述预设贴图，是指法线贴图、环境贴图和深度环境光遮蔽贴图。
进一步的，在获取第二3D图像单元407中，包括：
判断子单元，用于判断所述第一片段贴图与第二片段贴图是否符合预设合并条件；
获取第二3D图像子单元，用于若所述判断子单元的输出结果为“是”，则将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并；通过预设图像平滑算法修复合并后的贴图，生成第二3D格式纹理图像。
放弃合并子单元，用于若所述判断子单元的输出结果为“否”，则放弃合并贴图。
本实施例对AR场景的环境光遮蔽技术进行了特殊优化，即放弃了传统的每次渲染过程同时计算阴影和光照的方法。而是通过对3D格式纹理图像采样信息进行特殊处理，从而大大减少了资源消耗，同时提高了处理速度，使高端特效也可以在AR设备或手机登移动设备中应用，使空间的层次感、真实感更好的接近现实场景，解决了传统解决方案下效率不高，出现渲染错误的问题。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (8)
1.一种处理图像的方法，其特征在于，包括：
获取渲染真实场景图像生成的第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图；
从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域，所述预设条件，是指获取所述第一3D格式纹理图像的各预设贴图中与预设显示效果相关联的条件；
从所述第一3D格式纹理图像的各预设贴图的提取区域中分别获得第一片段贴图，所述第一片段贴图的数量与所述预设贴图的数量相同；
分别对所述第一片段贴图进行预设处理并获得第二片段贴图，所述预设处理，是指与所述预设条件相关联的处理；
将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像。
2.根据权利要求1所述的方法，其特征在于，所述第一3D格式纹理图像，是指R8G8格式纹理图像。
3.根据权利要求2所述的方法，其特征在于，所述R8G8格式纹理图像，至少包括法线贴图、环境贴图和深度环境光遮蔽贴图。
4.根据权利要求3所述的方法，其特征在于，所述预设贴图，是指法线贴图、环境贴图和深度环境光遮蔽贴图。
5.根据权利要求4所述的方法，其特征在于，将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像，包括：
判断所述第一片段贴图与第二片段贴图是否符合预设合并条件；
若是，则
将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并；
通过预设图像平滑算法修复合并后的贴图，生成第二3D格式纹理图像。
6.一种处理图像的装置，其特征在于，包括：
获取第一3D图像单元，用于获取渲染真实场景图像生成的第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图；
获得提取区域单元，用于从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域，所述预设条件，是指获取所述第一3D格式纹理图像的各预设贴图中与预设显示效果相关联的条件；
获取第一片段贴图单元，用于从所述第一3D格式纹理图像的各预设贴图的提取区域中分别获得第一片段贴图，所述第一片段贴图的数量与所述预设贴图的数量相同；
获取第二片段贴图单元，用于分别对所述第一片段贴图进行预设处理并获得第二片段贴图，所述预设处理，是指与所述预设条件相关联的处理；
获取第二3D图像单元，用于将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像。
7.一种在AR设备中显示图像的方法，其特征在于，包括：
采集真实场景图像；
渲染所述真实场景图像生成第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图；
获取第一3D格式纹理图像；
从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域，所述预设条件，是指获取所述第一3D格式纹理图像的各预设贴图中与预设显示效果相关联的条件；
从所述第一3D格式纹理图像的各预设贴图的提取区域中分别获得第一片段贴图，所述第一片段贴图的数量与所述预设贴图的数量相同；
分别对所述第一片段贴图进行预设处理并获得第二片段贴图，所述预设处理，是指与所述预设条件相关联的处理；
将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像；
将所述第二3D格式纹理图像显示在AR设备的显示区域中。
8.一种在AR设备中显示图像的装置，其特征在于，包括：
采集真实场景图像单元，用于采集真实场景图像；
生成第一3D图像单元，用于渲染所述真实场景图像生成第一3D格式纹理图像，其中，所述第一3D格式纹理图像具有相互关联的多层贴图；
获取第一3D图像单元，用于获取第一3D格式纹理图像；
获得提取区域单元，用于从所述多层贴图的预设贴图中，根据预设条件获得各预设贴图的相互关联的提取区域，所述预设条件，是指获取所述第一3D格式纹理图像的各预设贴图中与预设显示效果相关联的条件；
获取第一片段贴图单元，用于从所述第一3D格式纹理图像的各预设贴图的提取区域中分别获得第一片段贴图，所述第一片段贴图的数量与所述预设贴图的数量相同；
获取第二片段贴图单元，用于分别对所述第一片段贴图进行预设处理并获得第二片段贴图，所述预设处理，是指与所述预设条件相关联的处理；
获取第二3D图像单元，用于将所述第二片段贴图分别与所述第一3D格式纹理图像的对应贴图的提取区域合并，生成第二3D格式纹理图像；
显示单元，用于将所述第二3D格式纹理图像显示在AR设备的显示区域中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811337284.8A CN111243099B (zh) | 2018-11-12 | 2018-11-12 | 一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811337284.8A CN111243099B (zh) | 2018-11-12 | 2018-11-12 | 一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111243099A CN111243099A (zh) | 2020-06-05 |
| CN111243099B true CN111243099B (zh) | 2023-10-27 |
Family
ID=70870156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811337284.8A Active CN111243099B (zh) | 2018-11-12 | 2018-11-12 | 一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111243099B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538549B (zh) * | 2021-08-31 | 2023-12-22 | 广州光锥元信息科技有限公司 | 在处理图像时保留图像质感纹理的方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101360246A (zh) * | 2008-09-09 | 2009-02-04 | 西南交通大学 | 结合3d人脸模型的视频差错掩盖方法 |
| JP2010231347A (ja) * | 2009-03-26 | 2010-10-14 | Toppan Printing Co Ltd | 画像生成方法及びその装置 |
| CN105488840A (zh) * | 2015-11-26 | 2016-04-13 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN106570822A (zh) * | 2016-10-25 | 2017-04-19 | 宇龙计算机通信科技(深圳)有限公司 | 一种人脸贴图方法及装置 |
| CN107204035A (zh) * | 2016-12-31 | 2017-09-26 | 桂林大容文化科技有限公司 | 多层非均匀材质反光物体的实时渲染方法 |
| CN107886552A (zh) * | 2016-09-29 | 2018-04-06 | 网易（杭州）网络有限公司 | 贴图处理方法和装置 |
| CN108062758A (zh) * | 2018-02-27 | 2018-05-22 | 山东师范大学 | 一种基于图像分割算法的人群生成仿真方法及系统 |
| CN108198236A (zh) * | 2017-11-29 | 2018-06-22 | 腾讯科技（深圳）有限公司 | 数据显示方法和装置、存储介质及电子装置 |
-
2018
- 2018-11-12 CN CN201811337284.8A patent/CN111243099B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101360246A (zh) * | 2008-09-09 | 2009-02-04 | 西南交通大学 | 结合3d人脸模型的视频差错掩盖方法 |
| JP2010231347A (ja) * | 2009-03-26 | 2010-10-14 | Toppan Printing Co Ltd | 画像生成方法及びその装置 |
| CN105488840A (zh) * | 2015-11-26 | 2016-04-13 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107886552A (zh) * | 2016-09-29 | 2018-04-06 | 网易（杭州）网络有限公司 | 贴图处理方法和装置 |
| CN106570822A (zh) * | 2016-10-25 | 2017-04-19 | 宇龙计算机通信科技(深圳)有限公司 | 一种人脸贴图方法及装置 |
| CN107204035A (zh) * | 2016-12-31 | 2017-09-26 | 桂林大容文化科技有限公司 | 多层非均匀材质反光物体的实时渲染方法 |
| CN108198236A (zh) * | 2017-11-29 | 2018-06-22 | 腾讯科技（深圳）有限公司 | 数据显示方法和装置、存储介质及电子装置 |
| CN108062758A (zh) * | 2018-02-27 | 2018-05-22 | 山东师范大学 | 一种基于图像分割算法的人群生成仿真方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111243099A (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889890B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| CN113436343B (zh) | 用于虚拟演播厅的画面生成方法及装置、介质及电子设备 | |
| CA3045133C (en) | Systems and methods for augmented reality applications | |
| CN104010180B (zh) | 三维视频滤波方法和装置 | |
| JP5711262B2 (ja) | 環境マップを生成する方法 | |
| CN112652046B (zh) | 游戏画面的生成方法、装置、设备及存储介质 | |
| CN108043027B (zh) | 存储介质、电子装置、游戏画面的显示方法和装置 | |
| US20230230311A1 (en) | Rendering Method and Apparatus, and Device | |
| CN108986232B (zh) | 一种在vr显示设备中呈现ar环境画面的方法 | |
| CN111199573B (zh) | 一种基于增强现实的虚实互反射方法、装置、介质及设备 | |
| AU2019226134A1 (en) | Environment map hole-filling | |
| WO2022103276A1 (en) | Method for processing image data to provide for soft shadow effects using shadow depth information | |
| CN114863014A (zh) | 一种三维模型的融合显示方法及设备 | |
| CN111243099B (zh) | 一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置 | |
| Lee et al. | Real time 3D avatar for interactive mixed reality | |
| JP7476511B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| Sayyad et al. | Panotrace: interactive 3d modeling of surround-view panoramic images in virtual reality | |
| CN114615487B (zh) | 一种三维模型的显示方法及设备 | |
| Vasudevan et al. | A methodology for remote virtual interaction in teleimmersive environments | |
| CN115970275A (zh) | 虚拟对象的投影处理方法、装置、存储介质与电子设备 | |
| KR20230022153A (ko) | 소프트 레이어링 및 깊이 인식 복원을 사용한 단일 이미지 3d 사진 | |
| Zhu et al. | Synthesizing 360-degree live streaming for an erased background to study renovation using mixed reality | |
| CN116112716B (zh) | 基于单指令流多数据流的虚拟人直播方法、装置及系统 | |
| CN117173314B (zh) | 一种图像处理方法、装置、设备、介质及程序产品 | |
| US11830140B2 (en) | Methods and systems for 3D modeling of an object by merging voxelized representations of the object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |