CN106127818A - 一种基于单幅图像的材质外观获取系统及方法 - Google Patents

Abstract

本发明的技术方案包括一种基于单幅图像的材质外观获取系统及方法，包括：获取图片及基本参数对图片进行分离，得到无高光的漫反射和镜面反射图；分离的漫反射图，进一步，对漫反射图进行分解，得到漫反射系数图和明暗图；对明暗图进行计算，得到深度图并转换为法向图；对高光系数和镜面反射系数进行初始化；对所述高光分离模块、图像估计模块、形状恢复模块得到的对应图像及参数进行再次优化计算。本发明的有益效果为：不需要人工干预的情况下，仅需单幅图像就可自动生成更为真实的材质贴图，包括漫反射系数图、镜面反射系数图、法向图、以及高光系数图。

Description

一种基于单幅图像的材质外观获取系统及方法

技术领域

本发明涉及一种基于单幅图像的材质外观获取系统及方法，属于图形图像处理领域。

背景技术

从客观世界中真实材料提取高质量材质贴图是提高三维渲染效果的最有效途径，在数字重建、游戏制作、影视动画等领域，大量研究工作尝试构建真实材质数据集。但由于获取系统搭建复杂、数据采集时间长、数据量大、数据压缩时间长等因素影响，材质获取系统仍未能进入实际应用阶段。

在实际应用中，通常需要利用专业工具软件编辑材质贴图，即便是领域从业人员，整个过程需要花费几个小时甚至更长时间。例如，美术人员利用Photoshop编辑图像、利用CrazyBump(转法线贴图工具)计算Normal图等等。此类软件一般需要大量人工干预，这就要求从业人员具有丰富的经验。另外，此类软件仅能实现某一特定功能，例如高光分离、本征图像估计、明暗恢复形状等，要想制作出理想的材质贴图，需要同时使用多款软件协同工作。

Blinn-Phone拥有较高的运算效率。这是因为反射光线的计算相对复杂，用半角向量简单的模拟提高了运算效率，是Opengl和D3d固定管线的默认光照模型，因为Opengl和D3D默认的光照模型都是点光源，而非pinxel光源，同时Blinn-Phone也是目前游戏产业最流行的光照模型。

本发明参考的文献为：

[1]Yang Q.,Wang S.,Ahuja N.Real-time specular highlight removal usingbilateral filtering.Computer Vision–ECCV 2010.Springer,2010,87-100.

[2]Zhao Q.,Tan P.,Dai Q.,Shen L.,Wu E.,Lin S.A closed-form solutionto retinex with nonlocal texture constraints.Pattern Analysis and MachineIntelligence,IEEE Transactions on,2012,34(7):1437-1444.

[3]Ping-Sing T.,Shah M.Shape from shading using linearapproximation.Image&Vision Computing,1994,12(8):487-498.

发明内容

针对现有技术开发效率低下的问题，本发明的技术方案提出了一种基于单幅图像的材质外观获取系统及方法是通过已知单幅材质图像信息，反求材质外观属性并生成材质贴图的逆向过程，解决目前数字重建、游戏制作、影视动画等领域材质制作周期长、成本高、精度低等问题。

本发明的技术方案包括一种基于单幅图像的材质外观获取系统，其特征在于，该系统包括：准备模块，用于为系统准备符合系统要求的图片，并获取图片的基本参数；高光分离模块，将所述准备模块准备的图片进行分离，得到无高光的漫反射图和镜面反射图；本征图像估计模块，用于调取所述高光分离模块分离的漫反射图，进一步，对漫反射图进行分解，得到漫反射系数图和明暗图；形状恢复模块，用于对明暗图进行计算，得到深度图及其深度值，进一步，对深度图进行转化，得到法向图；系数初始化模块，用于对高光系数和镜面反射系数进行初始化；参数优化模块，用于对所述漫反射系数图、法向图、高光系数图和镜面反射系数图进行再次优化计算。

根据所述的单幅图像的材质外观获取系统，所述的准备模块还包括：用于获取单幅扁平样本材质图像的像素值、初始化光源方向及视点方向。

根据所述的单幅图像的材质外观获取系统，所述的高光分离模块还包括：分离子模块，用于使用凸多边形拟合技术对图像分离，得到漫反射图像和镜像反射图像；变换子模块，用于对漫反射和镜像反射图像的像素点进行逐个计算，将计算后的漫反射及镜像反射的图像存储为灰度图，进一步对漫反射和镜像反射图像的像素点进行重复计算，直到漫反射和镜像反射每个对应的像素点满足预设要求，将满足预设要求的像素点进行高光去除计算，得到无高光的漫反射及镜像反射图像。

根据所述的单幅图像的材质外观获取系统，所述的图像估计模块还包括：用于将漫反射图分解成漫反射系数和明暗图，包括使用本征图像分解法，同时结合局部约束、全局约束及绝对值约束进行计算。

根据所述的单幅图像的材质外观获取系统，所述的形状恢复模块还包括：深度计算子模块，用于基于明暗图的单个像素点创建对应的临时深度值，根据深度值计算朗伯特表面的反射函数，结合临时深度值与反射函数进行深度计算，获得对应像素点的深度值；法向计算子模块，用于获取所述深度子模块计算的像素点深度值，计算像素点与周围像素点的高度差，进一步，在空间构造该像素点的第一切向量和第二切向量，计算像素点第一切向量和第二切向量的外积，得到对应像素点法向量，将像素点法向量组合形成法向图。

根据所述的单幅图像的材质外观获取系统，所述的系数初始化模块还包括：用于将高光系数进行初始化并转为较小值，进一步，根据初始化的高光系数对镜面反射系数进行初始化。

根据所述的单幅图像的材质外观获取系统，所述的参数优化模块还包括：用于使用非线性优化工具对法向量和高光系数进行重新计算，进而还包括对漫反射系数及镜面反射系数的重新优化计算。

本发明的技术方案还包括一种单幅图像的材质外观获取方法，该方法包括：为系统准备符合系统要求的图片，并获取图片的基本参数；将所述准备模块准备的图片进行分离，得到无高光的漫反射图和镜面反射图；调取所述高光分离模块分离的漫反射图，进一步，对漫反射图进行分解，得到漫反射系数图和明暗图；对明暗图进行计算，得到深度图及其深度值，进一步，对深度图进行转化，得到法向图；对高光系数和镜面反射系数进行初始化；对所述漫反射系数图、法向图、高光系数图和镜面反射系数图进行再次优化计算。

进一步，该方法还包括：获取单幅扁平样本材质图像的像素值、初始化光源方向及视点方向。

进一步，该方法还包括：使用凸多边形拟合技术对图像分离，得到漫反射图像和镜像反射图像；对漫反射和镜像反射图像的像素点进行逐个计算，将计算后的漫反射及镜像反射的图像存储为灰度图，进一步对漫反射和镜像反射图像的像素点进行重复计算，直到漫反射和镜像反射每个对应的像素点满足预设要求，将满足预设要求的像素点进行高光去除计算，得到无高光的漫反射及镜像反射图像。

进一步，该方法还包括：将漫反射图分解成漫反射系数和明暗图，包括使用本征图像分解法，同时结合局部约束、全局约束及绝对值约束进行计算。

进一步，该方法还包括：基于明暗图的单个像素点创建对应的临时深度值，根据深度值计算朗伯特表面的反射函数，结合临时深度值与反射函数进行深度计算，获得对应像素点的深度值；获取所述深度子模块计算的像素点深度值，计算像素点与周围像素点的高度差，进一步，在空间构造该像素点的第一切向量和第二切向量，计算像素点第一切向量和第二切向量的外积，得到对应像素点法向量，将像素点法向量组合形成法向图。

进一步，该方法还包括：将高光系数进行初始化并转为较小值，进一步，根据初始化的高光系数对镜面反射系数进行初始化。

进一步，该方法还包括：使用非线性优化工具对法向量和高光系数进行重新计算，进而还包括对漫反射系数及镜面反射系数的重新优化计算。

本发明的有益效果为：不需要人工干预的情况下，仅需单幅图像就可自动生成更为真实的材质贴图，包括漫反射系数图、镜面反射系数图、法向图、以及高光系数图。

附图说明

图1所示为根据本发明实施方式的方法总体流程图；

图2所示为根据本发明实施方式的系统框图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。本发明的基于单幅图像的材质外观获取系统及方法适用于图像处理及开发。

图1所示为根据本发明实施方式的方法总体流程图。包括：

S101,为系统准备符合系统要求的图片，并获取图片的基本参数；

S102,将所述准备模块准备的图片进行分离，得到无高光的漫反射和镜面反射图；

S103,调取所述高光分离模块分离的漫反射图，进一步，对漫反射图进行分解，得到漫反射系数图和明暗图；

S104,对明暗图进行计算，得到深度图及其深度值，进一步，对深度图进行转化，得到法向图；

S105,对高光系数和镜面反射系数进行初始化；

S106，对所述高光分离模块、图像估计模块、形状恢复模块得到的对应图像及参数进行再次优化计算。

根据上述步骤S101～S106，本技术方案还提供详细的计算，具体如下：

S101，图片及参数准备，将图像像素点x的RGB值表示为

I(x)＝[I_r(x),I_g(x),I(x)_b]^T，I(x)可进一步表示为漫反射与镜面反射的和，

I(x)＝I_d(x)+I_s(x)。

根据Blinn-Phone模型，

I_d(x)＝ρ_d(x)S_d(x)＝ρ_d(x)Dot(N(x),L)

I_s(x)＝ρ_s(x)S_s(x)＝ρ_s(x)pow(Dot(N(x),H),g(x))Dot(N(x),L)，

其中，g(x)为高光系数，H＝(L+V)/|L+V|(L为光源方向，V为视点方向，且本报告假定每个像素点x的L，V均相同)。因此，本系统可以描述为，给定扁平样本材质的一张图片，假定光源方向L和视点方向V已知，计算法向量N(x)，漫反射系数ρ_d(x)，镜面反射系数ρ_s(x)，高光系数g(x)。

步骤S102，高光分离。具体功能为将原图像分离为漫反射与镜面反射两张图像，即计算：

I(x)＝I_d(x)+I_s(x)。

基于单张图像的高光分离技术是计算机视觉、计算机图形学等领域的重要研究课题。具体方法包括：利用凸多边形拟合技术分离漫反射和镜面反射；通过变换得到无高光图像，用迭代的方式根据无高光图像逐步去除图像高光等。本系统采用的高光分离方法具体如下：

(1)计算σ_max＝max(σ_r,σ_g,σ_b)，并保存为灰度图。

(2)计算并保存为灰度图，其中σ_min＝max(σ_r,σ_g,σ_b)。

(3)重复以下过程，直到每个像素满足

①计算其中F与G分别为空间和变化权重函数；

②每个像素的

步骤S103，图像分解及本征图像估计。对应的具体功能为将漫反射图分解成漫反射系数图和明暗图：

I_d(x)＝ρ_d(x)S_d(x)。本征图像估计，是计算机视觉中的一个基础问题，即给定一幅输入图像，分解出对应的反照率本征图和明暗(亮度)本征图。为简化计算，通常情况下将其转换成对数(等式两边做log运算)形式。为便于表示，在不产生歧义的情况下，我们采用I(x)＝ρ(x)+S(x)表示上式的log形式。本系统采用的本征图像分解方法，不仅结合局部约束f_l(S)，而且引入全局约束f_r(S)、绝对值约束f_a(S)，通过求解以下公式得到漫反射系数图和明暗图，其中，λ_l、λ_r与λ_a为正权重系数(本系统λ_l＝λ_r＝1，λ_a＝1000)。

(1)局部约束f_l(S)

$f_l\left(S\right)=\underset{(p,q)\∈N}{\Σ}\[{(S_p-S_q)}^2+w_{(p,q)}{({\mathrm{\ρ}}_p-{\mathrm{\ρ}}_q)}^2\],$

其中，(p,q)∈N表示每一个邻近像素对，w_(p,q)为系数：

(2)全局约束f_r(S)

其中，G表示一组相似像素的集合，p、q为该集合的两个像素。

(3)绝对值约束f_a(S)

其中，G_a表示具有最大亮度值的像素集合。

步骤S104，对应的具体功能为根据S_d(x)计算出材质几何形状，即先利用SFS(Shape From Shading)算法计算深度图(depth map)，然后将其转化为法向图N_D(x)。

(1)利用SFS算法计算深度图，根据单幅图像的明暗变化恢复物体形状是计算机视觉中的关键技术之一，简称SFS。研究人员已提出大量相关SFS算法，包括最小化方法、线性方法、局部方法、演化方法等。本系统采用的SFS算法具体如下：设D(i,j)表示象素点(i,j)的深度值，则Lambertian表面的反射函数为：

其中

$p_{i,j}=\frac{\∂D}{\∂x}=D(i,j)-D(i-1,j),q_{i,j}=\frac{\∂D}{\∂y}=D(i,j)-D(i,j-1).$

通过求解以下公式可以计算深度值，

$f\left(D\right(i,j\left)\right)\≈f\left(D^{n-1}\right(i,j\left)\right)+\left(D\right(i,j)-D^{n-1}(i,j\left)\right)\frac{d}{dD(i,j)}f\left(D^{n-1}\right(i,j\left)\right)=0.$

因此，

(设D⁰(i,j)＝0)。

(2)将深度图转化为法向图

基本思想是根据深度图象素值与其周围象素的高度差，在切空间构造S向量和T向量，由S×T得到N_D。具体如下：

根据象素点(i,j)的深度值D(i,j)，在S和T方向的切向量为，

S(i,j)＝(1,0,D(i+1,j)-D(i-1,j),)，

T(i,j)＝(0,1,D(i,j+1)-D(i,j-1),)。

因此，根据N_D(i,j)＝S(i,j)×T(i,j)可计算法向图。

步骤S105，高光系数与镜面反射系数初始化。

高光系数g(x)表示反射的程度，值越大，高光反射越强。因此，本系统首先将g(x)初始化为较小值1.0(假设取值区间为[0,255])，并根据g(x)进一步初始化镜面反射系数ρ_s(x)。Step4初始化ρ_s(x)方法如下，

ρ_s(x)＝I_s(x)/pow(Dot(N_D(x),H),g(x))/Dot(N_D(x),L)。

步骤S106，步骤S102至步骤S105实现了所有参数的初始化，本步骤将进一步优化各项参数，具体如下：

(1)利用非线性优化工具IPOPT计算法向量N(x)和高光系数g(x)。

基本思想是，首先假定反射系数ρ_d(x)和镜面反射系数ρ_s(x)已知(分别在S103和步骤S105中计算得到)，然后利用工具IPOPT优化计算法向量N(x)和高光系数g(x)。图像具有RGB三个通道，因此在实际计算中需要将法向量N(x)转换为球极坐标参数。即分别根据RGB三组已知值，优化计算三个未知参数，包括N(x)(2个)和g(x)(1个)。利用IPOPT优化方法如下：

$\underset{N\left(x\right),g\left(x\right)}{\mathrm{argmin}}\underset{x}{\Σ}\left|\right|V\left(x\right)-I\left(x\right)|{|}^2+\mathrm{\λ}\underset{x}{\Σ}||N\left(x\right)-N_D\left(x\right)|{|}^2,$

其中，V(x)为原始照片的RGB值，λ为权重系数(本系统为0.001)，N_D(x)为Step3计算得到的法向量，I(x)的计算公式为,

I(x)＝ρ_d(x)Dot(N(x),L)+ρ_s(x)pow(Dot(N(x),H),g(x))Dot(N(x),L)。

(2)重新计算漫反射系数ρ_d(x)。

ρ_d(x)＝I_d(x)/Dot(N(x),L)。

(3)重新计算镜面反射系数ρ_s(x)。

ρ_s(x)＝(I(x)-ρ_d(x)Dot(N(x),L))/pow(Dot(N(x),H),g(x))/Dot(N(x),L)。

执行上述所有步骤后，得到所有所需的漫反射系数图、镜面反射系数图、法向图、以及高光系数图。

图2所示为根据本发明实施方式的系统框图。准备模块，用于为系统准备符合系统要求的图片，并获取图片的基本参数；高光分离模块，将所述准备模块准备的图片进行分离，得到无高光的漫反射和镜面反射图；图像估计模块，用于调取所述高光分离模块分离的漫反射图，进一步，对漫反射图进行分解，得到漫反射系数图和阴暗图；形状恢复模块，用于对阴暗图进行计算，得到深度图及其深度值，进一步，对深度图进行转化，得到法向图；系数初始化模块，用于对高光系数和镜面反射系数进行初始化；参数优化模块，用于对所述高光分离模块、图像估计模块、形状恢复模块得到的对应图像及参数进行再次优化计算。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (14)

1.一种基于单幅图像的材质外观获取系统，其特征在于，该系统包括：

准备模块，用于为系统准备符合系统要求的图片，并获取图片的基本参数；

高光分离模块，将所述准备模块准备的图片进行分离，得到无高光的漫反射图和镜面反射图；

本征图像估计模块，用于调取所述高光分离模块分离的漫反射图，进一步，对漫反射图进行分解，得到漫反射系数图和明暗图；

形状恢复模块，用于对明暗图进行计算，得到深度图及其深度值，进一步，对深度图进行转化，得到法向图；

系数初始化模块，用于对高光系数和镜面反射系数进行初始化；

参数优化模块，用于对所述漫反射系数图、法向图、高光系数图和镜面反射系数图进行再次优化计算。

2.根据权利要求1所述的单幅图像的材质外观获取系统，其特征在于，所述的准备模块还包括：

用于获取单幅扁平样本材质图像的像素值、初始化光源方向及视点方向。

3.根据权利要求1所述的单幅图像的材质外观获取系统，其特征在于，所述的高光分离模块还包括：

分离子模块，用于使用凸多边形拟合技术对图像分离，得到漫反射图像和镜像反射图像；

变换子模块，用于对漫反射和镜像反射图像的像素点进行逐个计算，将计算后的漫反射及镜像反射的图像存储为灰度图，进一步对漫反射和镜像反射图像的像素点进行重复计算，直到漫反射和镜像反射每个对应的像素点满足预设要求，将满足预设要求的像素点进行高光去除计算，得到无高光的漫反射及镜像反射图像。

4.根据权利要求1所述的单幅图像的材质外观获取系统，其特征在于，所述的图像估计模块还包括：

用于将漫反射图分解成漫反射系数和明暗图，包括使用本征图像分解法，同时结合局部约束、全局约束及绝对值约束进行计算。

5.根据权利要求1所述的单幅图像的材质外观获取系统，其特征在于，所述的形状恢复模块还包括：

深度计算子模块，用于基于明暗图的单个像素点创建对应的临时深度值，根据深度值计算朗伯特表面的反射函数，结合临时深度值与反射函数进行深度计算，获得对应像素点的深度值；

法向计算子模块，用于获取所述深度子模块计算的像素点深度值，计算像素点与周围像素点的高度差，进一步，在空间构造该像素点的第一切向量和第二切向量，计算像素点第一切向量和第二切向量的外积，得到对应像素点法向量，将像素点法向量组合形成法向图。

6.根据权利要求1所述的单幅图像的材质外观获取系统，其特征在于，所述的系数初始化模块还包括：

用于将高光系数进行初始化并转为较小值，进一步，根据初始化的高光系数对镜面反射系数进行初始化。

7.根据权利要求1所述的单幅图像的材质外观获取系统，其特征在于，所述的参数优化模块还包括：

用于使用非线性优化工具对法向量和高光系数进行重新计算，进而还包括对漫反射系数及镜面反射系数的重新优化计算。

8.一种单幅图像的材质外观获取方法，其特征在于，该方法包括：

为系统准备符合系统要求的图片，并获取图片的基本参数；

将所述准备模块准备的图片进行分离，得到无高光的漫反射图和镜面反射图；

调取所述高光分离模块分离的漫反射图，进一步，对漫反射图进行分解，得到漫反射系数图和明暗图；

对明暗图进行计算，得到深度图及其深度值，进一步，对深度图进行转化，得到法向图；

对高光系数和镜面反射系数进行初始化；

对所述漫反射系数图、法向图、高光系数图和镜面反射系数图进行再次优化计算。

9.根据权利要求8所述的单幅图像的材质外观获取方法，其特征在于，该方法还包括：

获取单幅扁平样本材质图像的像素值、初始化光源方向及视点方向。

10.根据权利要求8所述的单幅图像的材质外观获取方法，其特征在于，该方法还包括：

使用凸多边形拟合技术对图像分离，得到漫反射图像和镜像反射图像；

对漫反射和镜像反射图像的像素点进行逐个计算，将计算后的漫反射及镜像反射的图像存储为灰度图，进一步对漫反射和镜像反射图像的像素点进行重复计算，直到漫反射和镜像反射每个对应的像素点满足预设要求，将满足预设要求的像素点进行高光去除计算，得到无高光的漫反射及镜像反射图像。

11.根据权利要求8所述的单幅图像的材质外观获取方法，其特征在于，该方法还包括：

将漫反射图分解成漫反射系数和明暗图，包括使用本征图像分解法，同时结合局部约束、全局约束及绝对值约束进行计算。

12.根据权利要求8所述的单幅图像的材质外观获取方法，其特征在于，该方法还包括：

基于明暗图的单个像素点创建对应的临时深度值，根据深度值计算朗伯特表面的反射函数，结合临时深度值与反射函数进行深度计算，获得对应像素点的深度值；

获取所述深度子模块计算的像素点深度值，计算像素点与周围像素点的高度差，进一步，在空间构造该像素点的第一切向量和第二切向量，计算像素点第一切向量和第二切向量的外积，得到对应像素点法向量，将像素点法向量组合形成法向图。

13.根据权利要求8所述的单幅图像的材质外观获取方法，其特征在于，该方法还包括：

将高光系数进行初始化并转为较小值，进一步，根据初始化的高光系数对镜面反射系数进行初始化。

14.根据权利要求8所述的单幅图像的材质外观获取方法，其特征在于，该方法还包括：

使用非线性优化工具对法向量和高光系数进行重新计算，进而还包括对漫反射系数及镜面反射系数的重新优化计算。