CN110033509A - 一种基于漫反射梯度偏振光构建三维人脸法线的方法 - Google Patents

Abstract

本发明公开了一种基于漫反射梯度偏振光构建三维人脸法线的方法，包括如下步骤：步骤1：获取多方位梯度的偏振光图像；步骤2：对获取的偏振光图像进行图像预处理；步骤3：通过双向反射分布函数(BRDF)计算偏振光图像的漫反射法线图；步骤4：将偏振光图像的RGB三通道的法线图融合；步骤5：重复步骤1至步骤4以得到多个角度的法线图，并将多个多角度法线图拼接。本发明直接通过多角度梯度光照片直接生成法线图，不仅细节效果好而且真实度高，根据漫反射光的性质可以很快速的将多角度法线图拼接到一起形成三维人脸法线图。

Description

一种基于漫反射梯度偏振光构建三维人脸法线的方法

技术领域

本发明涉及光学、计算机图形学等技术领域，具体是指通过梯度偏振光得到的漫反射光计算法线生成法线图，将多角度法线图进行拼接生成三维法线模型，得到的法线图可以运用到三维人脸建模中，提高建模精度，增强纹理细节，使得三维人脸模型形象逼真，广泛应用于数字动画、电影和医疗等多方面邻域，尤其是涉及一种基于漫反射梯度偏振光计算三维人脸法线的方法。

背景技术

三维模型作为一种新的媒介形式，在生产、学习、娱乐等方面得到了越来越广泛的应用。随着计算机图形学的快速发展，人们已经不再满足于在线的图片、二维游戏及动画效果等。互联网与3D模型相结合的Web3D技术在迅猛发展的网络时代中得到越来越广泛的应用。随着建模软件的不断更新和模型数据采集精度的提高，三维网格模型和纹理贴图的数据量随之增大，但是建立精度高的网格模型会大大增加运算量和运算时间。法线贴图将表达纹理的法线图贴到低模上，在保留高模的效果基础上，大大提高了运算效率，对3D模型重建技术具有重要意义。

当将法线贴图应用到低精度模型上时，法线贴图上的每一个像素都能够控制了低精度模型上相应顶点的法线向量，从而能够生成模型表面更多细节的模拟。但是实际上，低精度模型本身没有发生任何改变。

针对法线贴图的研究，早在1996年，Krishnamurthy与Levoy已经提出了利用高精度网格模型上的凹凸细节特征创造位移贴图来代替模型上的非均匀有理B样条的算法，经历很多年后该方法才慢慢被应用到普通的网格模型上。Cignoniet论述了简化后网格模型恢复丢失细节特征的方法，提出了如何分离出高精度与低精度网格模型的方法，阐述了如何避免低精度网格模型的影响从而恢复简化过程中失去的细节特征的方法。Waveren提出了实时法线贴图的压缩算法，将优化的切线空间法线贴图压缩算法应用到CPU与GPU中同时实现实时渲染。这些方法只是简化了一些多余的计算内容或者从工程效率方面对法线贴图进行一部分提高。目前国内在法线贴图方面的研究很少，生成法线图的方法的研究也是凤毛麟角。主要的法线贴图手段就是运用Zbrush软件进行雕刻纹理细节或者是用mudbox软件用黑白笔画出凹凸效果建立法线图层，需要消耗大量的时间和精力。

发明内容

基于目前的现状，本发明运用梯度偏振光的图片可以直接计算法线图来进行建模的方法，省去了大量的人力，也节省了很多时间，满足动画、电影等高逼真度人脸建模的需求。

为解决上述的技术问题，本发明提供一种基于漫反射梯度偏振光构建三维人脸法线的方法，包括如下步骤：

步骤1：获取多方位梯度的偏振光图像；

步骤2：对获取的偏振光图像进行图像预处理；

步骤3：通过双向反射分布函数(BRDF)计算偏振光图像的漫反射法线图；

步骤4：将偏振光图像的RGB三通道的法线图融合；

步骤5：重复步骤1至步骤4以得到多个角度的法线图，并将多个多角度法线图拼接。

步骤1中，调整灯光使得物体表面产生渐变光。在灯光前和相机前放置偏振片，通过调节偏振片的旋转角度使得灯光和照相机镜头的偏振片方向垂直；分别拍摄空不同方向的偏振梯度光照片作为计算法线的数据源——漫反射梯度偏振光图像。

步骤2中，对拍摄的图像进行辐射校正，使得辐射域在相同的范围内；设定阈值去除图像中高亮部分。最后对图像进行对比度增强。

步骤3中，通过差值运算得到梯度图像，将其归一化到[-1,1]范围内。将图像进行R、G、B三通道分离，利用朗伯体BRDF等式得到法线方向和反射光方向的关系；通过反射光求得法线空间坐标映射到RGB通道而得到漫反射法线图。

步骤4中，根据全亮光的照片的RGB三通道的亮度均值来确定三个通道法线图融合比例；将三通道的法线图融合成一张漫反射法线图。

步骤5中，用照相机拍摄物体其他角度的梯度光照图像，按照上述1-4步骤完成其他角度的法线图，然后进行特征提取和特征匹配，依照重叠区域的同名点进行拼接融合，形成三维立体法线模型。

本发明技术方案的有益效果是：

本发明可以直接通过多角度梯度光照片直接生成法线图，漫反射比镜面反射分布广，生成的法线图可以表达人脸整体的法线方向分布。

附图说明

图1为本发明的基于漫反射梯度偏振光构建三维人脸法线的方法的流程图；

图2为本发明实施例中多角度平行偏振照片；

图3为本发明实施例中镜面反射法线结果图；

图4为本发明实施例中基于镜面反射的三维重建效果图。

具体实施方式：

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

请参见图1所示，示出了一种的基于漫反射梯度偏振光构建三维人脸法线的方法，包括如下步骤：

步骤1：多方位梯度漫反射光照片获取。

将物体(人像)放在灯光球的中心位置，在空间坐标系中，X、Y、Z轴三个方向分别放置照明装置，在各个照明装置前放置偏振片。在物体的正前方放置相机，相机前放置偏振片。调整偏振片方向使得灯光和镜头偏振方向垂直，单独打开X方向的灯光，拍摄垂直偏振的人像照片。按照同样的步骤获取Y和Z方向的光源的照片得到求解漫反射法线的数据源——漫反射梯度偏振光图像。

步骤2：图像预处理。

对拍摄的图像进行辐射校正，将同方向的图像亮度值的均值和方差进行匹配，使得辐射域在相同的范围内。对图像的色彩以色卡为基准进行颜色校正。设定阈值检测图像中高亮部分，将高于阈值的接近于饱和的亮度区域进行等比例压缩。最后对图像进行Gamma校正，增强图像对比度。

步骤3：BRDF计算漫反射法线图。

将沿同一坐标轴方向的图像进行差值运算，XYZ三个方向同样运算得到方向梯度图。

然后将三方向梯度图灰度值进行归一化，转化到[-1,1]范围内。

再将RGB三通道分离出来。将R、G、B三通道的梯度图分别计算法线，根据朗伯体BRDF定律定义了入射光方向和法线方向的关系。

其中漫反射率为ρ，I为入射光，R为反射光，观测方向的反射光Li在Pi的反射条件下得到计算方法：

将空间坐标转化到切线坐标，切线坐标系以法线方向为Z轴，两个垂直法线的切线方向为X、Y坐标轴，将梯度光方向代入BRDF，通过解算和坐标转换，可以得到法线方向坐标和每一个反射光方向坐标的关系。

空间坐标XYZ三个方向的梯度光代入可以得到法向的XYZ坐标分量，从而得到每个像素点的法线方向。将法线的X、Y、Z三个坐标分量换算到[0,1]范围内分别放入RGB通道来表达法线方向坐标从而得到一个通道，漫反射法线图。图像RGB三通道分别按照如上步骤进行计算，得到三个通道的漫反射法线图。

步骤4：RGB法线图融合。

根据全亮光的照片的RGB三通道的亮度均值来确定三个通道法线图融合比例，将融合后的法线图根据标定球的法线图进行法线方位校正。

步骤5：多角度法线图拼接。

用照相机拍摄物体其他角度的梯度光照图像，按照上述1-5步骤完成其他角度的法线图，然后基于SIFT算法提取图像特征，找到图像重叠区域同名点进行匹配，将三个视角的法线图拼接融合，形成三维立体法线图。

综上所述，本发明的算法可以直接通过多角度梯度光照片直接生成漫反射法线图，不仅细节效果好而且真实度高，根据漫反射光的性质可以很快速的将多角度法线图拼接到一起形成三维法线图。

本发明利用三个不同方向照射光的数字相片来计算物体表面法线方向，并生成法线图，应用到三维人脸重建从而增强重建细节。首先对三个光照方向的图片进行预处理，然后将偏振图片进行漫反射提取，将反射光进行RGB三通道分离，计算得到梯度反射光，通过梯度反射光的特性应用朗伯体双向反射分布函数(BRDF)计算法线方向，应用RGB通道存储法线坐标生成漫反射法线图。将多角度漫反射法线拼接融合形成立体漫反射法线图，用于三维重建。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (6)

1.一种基于漫反射梯度偏振光构建三维人脸法线的方法，其特征在于，所述方法包括如下步骤：

步骤1：获取三个方向的漫反射梯度偏振光图像；

步骤2：对获取的偏振光图像进行图像预处理；

步骤3：通过双向反射分布函数BRDF计算偏振光图像的漫反射法线图；

步骤4：将偏振光图像的RGB三通道的法线图融合；

步骤5：重复步骤1至步骤4以得到多个角度的漫反射法线图，并将多个多角度法线图拼接。

2.根据权利要求1所述的基于漫反射梯度偏振光计算三维人脸法线的方法，其特征在于，步骤1中，人脸在灯光球照明装置中心，在四周都布置有照明，将中心点作为原点建立坐标系，坐标轴为X、Y、Z轴，打开一侧X轴方向的灯光亮度由强变弱，在人脸形成渐变光，然后在照明灯和相机镜头前放置偏振片，调整偏振片角度，使得灯光偏振方向和镜头入射光的偏振方向垂直，并拍摄图像；改变单侧光照射方向总共获取X、Y、Z三个方向的梯度偏振光图像；将图像做好标记作为求解漫反射法线的数据源。

3.根据权利要求1所述的基于漫反射梯度偏振光计算三维人脸法线的方法，其特征在于，步骤2中，对拍摄的图像进行辐射校正，使得辐射域在相同的范围内；设定阈值去除图像中高亮部分。最后对图像进行对比度增强。

4.根据权利要求1所述的基于漫反射梯度偏振光计算三维人脸法线的方法，其特征在于，步骤3中，通过差值运算得到梯度图像，将其归一化到[-1,1]范围内。将图像进行R、G、B三通道分离，利用朗伯体BRDF等式得到法线方向和反射光方向的关系；通过反射光求得法线空间坐标映射到RGB通道而得到漫反射法线图。

5.根据权利要求1所述的基于漫反射梯度偏振光计算三维人脸漫反射法线的方法，其特征在于，步骤4中，根据全亮光的照片的RGB三通道的亮度均值来确定三个通道法线图融合比例；将三通道的法线图融合成一张漫反射法线图。

6.根据权利要求1所述的基于漫反射梯度偏振光计算三维人脸法线的方法，其特征在于，步骤5中，用照相机拍摄物体其他角度的梯度光照图像，按照上述1-4步骤完成其他角度的漫反射法线图，然后进行特征提取和特征匹配，依照重叠区域的同名点进行拼接融合，形成三维立体法线模型。