CN108550178A - Ar虚拟眼镜材质贴图渲染方法及系统 - Google Patents

Abstract

本发明公开一种AR虚拟眼镜材质贴图渲染方法及系统。所述方法包括：获取产品的多种图像数据；根据多种图像数据建立三维模型；根据所述三维模型制作材质贴图；获取用户视角；根据所述用户视角采用PBR物理渲染方式和PBS物理材质着色器对所述材质贴图进行物理渲染。本发明的方法渲染速度快，能随时高度模拟渲染效果，随观察角度不同而颜色各异的实时渲染效果。

Description

AR虚拟眼镜材质贴图渲染方法及系统

技术领域

本发明涉及虚拟眼镜领域，特别是涉及一种AR虚拟眼镜材质贴图渲染方法及系统。

背景技术

传统的眼镜材质贴图实时渲染主要是通过获取用户视角来获取用户视角向量，依据所述用户视角向量计算Alpha值，依据所述Alpha值控制多个材质或贴图的叠加方式，并将叠加后的多个材质或贴图加入着色器中，对所述着色器中的多个材质或贴图进行实时渲染，可变化渲染颜色，达到实时渲染的效果。但是，上述的渲染方法效果并不佳，仿真效果与实际展示实物仍然有很大差异。

发明内容

本发明的目的是提供一种AR虚拟眼镜材质贴图渲染方法及系统，用来提高渲染效果。

为实现上述目的，本发明提供了如下方案：

一种AR虚拟眼镜材质贴图渲染方法，所述方法包括：

获取产品的多种图像数据；

根据多种图像数据建立三维模型；

根据所述三维模型制作材质贴图；

获取用户视角；

根据所述用户视角采用PBR物理渲染方式和PBS物理材质着色器对所述材质贴图进行物理渲染。

可选的，所述根据多种图像数据建立三维模型，具体包括：

将多种所述图像数据根据产品分类；

根据分类后的图像数据以及材质的不同制作各个部件。

可选的，所述PBR物理渲染方式遵循光线能量守恒和菲涅尔效果，所述光线能量守恒指光线的反射率与漫反射率之和小于等于1。

可选的，所述PBS物理材质着色器包括无光无颜色贴图、法线贴图、金属度贴图、高光反射贴图和粗糙度/光泽度贴图。

可选的，对于物体的固有颜色材质采用无光无颜色贴图进行着色。

可选的，对于带有金属效果的物体，使用金属度贴图、高光反射贴图和粗糙度/光泽度贴图进行着色。

可选的，对于金属或透明玻璃的反射图像，采用实时渲染软件内的天空球贴图来模拟环境的反射贴图。

可选的，对于带有凸表面的产品将采用法线贴图来表现其凹凸特性。

可选的，所述图像数据包括：照片和图纸。

一种AR虚拟眼镜材质贴图渲染系统，所述系统包括：

图像数据获取模块，用于获取产品的多种图像数据；

三维模型建立模块，用于根据多种图像数据建立三维模型；

材质贴图制作模块，用于根据所述三维模型制作材质贴图；

用户视角获取模块，用于获取用户视角；

物理渲染模块，用于根据所述用户视角采用PBR物理渲染方式和PBS物理材质着色器对所述材质贴图进行物理渲染。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种AR虚拟眼镜材质贴图渲染方法，在建模之前需要对产品人工采集拍照，以多方面数据为依据(如：照片，图纸等)，手工建立三维模型。采用PBR技术，利用光线能量守恒和菲涅尔属性来进行眼镜材质贴图的实时渲染。本发明的渲染速度快，材质贴图实时渲染效果更佳，仿真效果更加逼真，而且随观察角度不同而颜色各异的实时渲染效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的AR虚拟眼镜材质贴图渲染方法的流程图；

图2为本发明的AR虚拟眼镜材质贴图渲染系统的结构连接图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种AR虚拟眼镜材质贴图渲染方法及系统，用来提高渲染效果。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明的AR虚拟眼镜材质贴图渲染方法的流程图。如图1所示，所述方法包括：

步骤11：获取产品的多种图像数据，所述图像数据包括：照片和图纸。

步骤12：根据多种图像数据建立三维模型，具体包括：

步骤121：将多种所述图像数据根据产品分类；

步骤122：根据分类后的图像数据以及材质的不同制作各个部件。

步骤13：根据所述三维模型制作材质贴图；

步骤14：获取用户视角；

步骤15：根据所述用户视角采用PBR物理渲染方式和PBS物理材质着色器对所述材质贴图进行物理渲染。

可选的，所述PBR物理渲染方式遵循光线能量守恒和菲涅尔效果，所述光线能量守恒指光线的反射率与漫反射率之和小于等于1。

可选的，所述PBS物理材质着色器包括无光无颜色贴图、法线贴图、金属度贴图、高光反射贴图和粗糙度/光泽度贴图。

具体的，对于物体的固有颜色材质采用无光无颜色贴图进行着色；对于带有金属效果的物体，使用金属度贴图、高光反射贴图和粗糙度/光泽度贴图进行着色；对于金属或透明玻璃的反射图像，采用实时渲染软件内的天空球贴图来模拟环境的反射贴图；对于带有凸表面的产品将采用法线贴图来表现其凹凸特性。

图2为本发明的AR虚拟眼镜材质贴图渲染系统的结构连接图。如图2所示，所述AR虚拟眼镜材质贴图渲染系统，包括：

图像数据获取模块21，用于获取产品的多种图像数据；

三维模型建立模块22，用于根据多种图像数据建立三维模型；

材质贴图制作模块23，用于根据所述三维模型制作材质贴图；

用户视角获取模块24，用于获取用户视角；

物理渲染模块25，用于根据所述用户视角采用PBR物理渲染方式和PBS物理材质着色器对所述材质贴图进行物理渲染。

本发明公开了一种AR虚拟眼镜材质贴图渲染方法，在建模之前需要对产品人工采集拍照，以多方面数据为依据(如：照片，图纸等)，手工建立三维模型。采用PBR技术，利用光线能量守恒和菲涅尔属性来进行眼镜材质贴图的实时渲染。本发明的渲染速度快，材质贴图实时渲染效果更佳，仿真效果更加逼真，而且随观察角度不同而颜色各异的实时渲染效果。

增强现实(AugmentedReality，简称AR)，也被称为扩增现实。增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到同一个画面或空间同时存在。如何通过3D模型材质贴图应用，来表现出真实虚拟眼镜的效果。

AR虚拟眼镜材质贴图实时渲染来表现真实眼镜质感

建模之前需要对产品人工采集拍照，以多方面数据为依据(如：照片，图纸等)，手工建立三维模型。采集的数据(照片，图纸等)需先导入二维平面软件中进行编辑制作便于建立三维模型的参考图像，将图像根据产品分类归类。

将分类图像导入三维模型制作软件中，分开制作每个部件以便给予同一模型不同的材质，以虚拟三维空间构建带有三维数据的模型。制作完成三维模型开始制作模型的材质贴图(材质即材料的质地，把模型赋予生动的表面特性，具体体现在物体的颜色、透明度、反光度、反光强度、反射度、凹凸度、自发光及粗糙程度等特性上。贴图是指把二维图片通过软件的计算贴到三维模型上，形成表面细节和结构，对具体的图片要贴到特定的位置)。

大概2010年就在Siggraph会议上被提出了技术原型。最近随着游戏越来越多地使用3A技术以及次时代制作手段去呈现CG级游戏画面，游戏引擎也完全支持PBR(PhysicallyBasedRendering)物理渲染方式。

PBR不是仅针对材质，他其实是一个系统性渲染流程，包含了光线、材质、纹理、色彩管理等。在这个体系当中，无论是经由物理化材质实现的光照、阴影或者色彩变化，还是物体表面的材质特征都将会有非常大的提升。

PBR包括两种：光线能量守恒和菲涅尔效果

光线能量守恒主要是指光线的反射率与漫反射率之和小于等于1。物理上大家都了解能量守恒定律，这里我们用同样概念来理解光线。Specular高光反射光与Diffuse漫反射光其实是相互排斥的，因为离开表面的光总量不能比其接受的入射光强，两者的综合值加起来不能超过1，这意味着，如果你的材质有较高的高光反射效果(高反射率)，就需要去降低漫反射，能量守恒是PBR的一个重要的指导思想，可以让系统计算光线效果时，不会违法物理定律。

Fresnel菲涅尔属性主要就是人眼与看到的材质贴图的夹角不同，材质所显示的颜色就不同。

菲涅尔指的是：光在光疏介质传递到光密介质的时候，在一定的角度下会发生全发射,公式为sinc＝n1/n2。其中两个n分别为两种介质的折射率,角度C为全反射的临界角度。简单说就是物体表面的反射程度，与你的视线和物体表面法线夹角的大小所成的关系。一般来说，视线与面法线的夹角越小，反射率越低，你就越容易看出物体本身的固有色和纹理，相反夹角越大，反射程度也就越大，所以你在材质编辑器的样本球上可以看出球的反射程度是从中心向外边缘递增。对于任何一个物体，当产生漫反射的光线到达物体表面时，一部分会经过折射，被材质吸收或者在内部进行散射。一部分散射光最终会重新返回表面，再从表面折射出来，并被摄像机或眼睛所捕捉到。那么形成漫反射效果的光在被物质吸收并散射后，会成为不同波长的光(也称跨越光谱)，这也就给予了物体不同的颜色，比如金属会吸收所有的穿透光，也就没有任何漫反射部分，但金属氧化的部分会和一些表面残留物，构成少量的散射光，形成不同的颜色，而正因为散射的光比较均匀，从每个方向看起来都是一样，所以这点和镜面光效不一样。

将制作完成的三维模型导出与材质贴图一起放入带有实时渲染功能的三维软件中。使用PBR(Physically Based Rendering)物理渲染方式与PBS(PhysicallyBasedShader)物理材质着色器调整模型的效果(物体的颜色、透明度、反光度、反光强度、反射度、凹凸度)，使场景将更加符合自然，对于光照的计算也更符合现实，可以在以后离线渲染和实时渲染中使用单一材质能模拟出更多现实中的特性。

PBS(PhysicallyBased Shader)物理材质着色器中包括无光无颜色贴图、法线贴图、金属度贴图或高光反射贴图和粗糙度/光泽度贴图，可根据材质的不同进行编辑。对于物体的固有颜色材质将使用无光无颜色贴图来实现。对于带有金属效果的物体，使用金属度贴图与高光反射贴图、粗糙度/光泽度贴图(每一个材质的渲染需要不同的贴图相互配合叠加方可达到最佳的渲染效果)来表现其金属效果以达到接近真实的效果。

关于金属或透明玻璃的反射图像，可使用在实时渲染软件内的天空球贴图来模拟环境的反射贴图。制作多种类型的场景(如：室内、室外、海边、室内商场)以达到接近真实环境的效果。

对于带有凸表面的产品将采用法线贴图来表现其凹凸特性，法线贴图就是在原物体的凹凸表面的每个点上均作法线，通过RGB颜色通道来标记法线的方向，你可以把它理解成与原凹凸表面平行的另一个不同的表面，但实际上它又只是一个光滑的平面。对于视觉效果而言，它的效率比原有的凹凸表面更高，若在特定位置上应用光源，可以让细节程度较低的表面生成高细节程度的精确光照方向和反射效果。法线贴图是可以应用到3D表面的特殊纹理，不同于以往的纹理只可以用于2D表面。作为凹凸纹理的扩展，它使每个平面的各像素拥有了高度值，包含了许多细节的表面信息，能够在平平无奇的物体外形上，创建出许多种特殊的立体视觉效果。

通过普通摄像头实时面部表情识别技术，这种表情识别技术应用信号处理手段对眼、鼻、口部的特征部位进行高速高精度追踪，画面上的白点就是表情追踪的特征点，红线为面部的x、y轴，通过轴的移动和口部动作来检测最适合的表情。

通过摄像头，捕捉人脸面部点，依据用户视角面部点来算出匹配3D模型。通过引擎3D模型材质和贴图的叠加把多个材质和贴图加入着色器。(引擎支持两种着色技术，一个是哑光着色器，一个是镜面材料着色器。前一种完美支持不透明表面，而后一种则用来模拟反射对象。用在着色器中的多个材质和贴图进行实时渲染通过调整环境明暗，来模拟环境变化达到最终真实眼镜的效果。

本发明采用PBR渲染方式，全新的思路，通过摄像头为消费者进行人脸捕捉功能，在眼镜模型中可以更好的匹配人脸模型，提供真实的佩戴感受。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种AR虚拟眼镜材质贴图渲染方法，其特征在于，所述方法包括：

获取产品的多种图像数据；

根据多种图像数据建立三维模型；

根据所述三维模型制作材质贴图；

获取用户视角；

根据所述用户视角采用PBR物理渲染方式和PBS物理材质着色器对所述材质贴图进行物理渲染。

2.根据权利要求1所述的AR虚拟眼镜材质贴图渲染方法，其特征在于，所述根据多种图像数据建立三维模型，具体包括：

将多种所述图像数据根据产品分类；

根据分类后的图像数据以及材质的不同制作各个部件。

3.根据权利要求1所述的AR虚拟眼镜材质贴图渲染方法，其特征在于，所述PBR物理渲染方式遵循光线能量守恒和菲涅尔效果，所述光线能量守恒指光线的反射率与漫反射率之和小于等于1。

4.根据权利要求1所述的AR虚拟眼镜材质贴图渲染方法，其特征在于，所述PBS物理材质着色器包括无光无颜色贴图、法线贴图、金属度贴图、高光反射贴图和粗糙度/光泽度贴图。

5.根据权利要求4所述的AR虚拟眼镜材质贴图渲染方法，其特征在于，对于物体的固有颜色材质采用无光无颜色贴图进行着色。

6.根据权利要求4所述的AR虚拟眼镜材质贴图渲染方法，其特征在于，对于带有金属效果的物体，使用金属度贴图、高光反射贴图和粗糙度/光泽度贴图进行着色。

7.根据权利要求4或6所述的AR虚拟眼镜材质贴图渲染方法，其特征在于，对于金属或透明玻璃的反射图像，采用实时渲染软件内的天空球贴图来模拟环境的反射贴图。

8.根据权利要求4所述的AR虚拟眼镜材质贴图渲染方法，其特征在于，对于带有凸表面的产品将采用法线贴图来表现其凹凸特性。

9.根据权利要求1所述的AR虚拟眼镜材质贴图渲染方法，其特征在于，所述图像数据包括：照片和图纸。

10.一种AR虚拟眼镜材质贴图渲染系统，其特征在于，所述系统包括：

图像数据获取模块，用于获取产品的多种图像数据；

三维模型建立模块，用于根据多种图像数据建立三维模型；

材质贴图制作模块，用于根据所述三维模型制作材质贴图；

用户视角获取模块，用于获取用户视角；

物理渲染模块，用于根据所述用户视角采用PBR物理渲染方式和PBS物理材质着色器对所述材质贴图进行物理渲染。