CN109919876A - 一种三维真脸建模方法及三维真脸照相系统 - Google Patents

Abstract

本发明涉及三维人脸建模领域，提出了一种三维真脸建模方法及三维真脸照相系统。三维真脸建模方法的步骤包括：1、向目标人脸投影结构光并拍照，获取脸部三维几何数据；2、获取人脸皮肤色度数据和亮度数据；3、脸部三维几何数据三角化；4、获取每一个三角面片区域对应的面片色度数据；5、进行插值计算，得到每一个三角面片区域对应的面片亮度数据；6、计算出每一像素点所对应的人脸皮肤区域的反射率。三维真脸照相系统包括：标准光源、控制和计算模块和三维人像采集单元。采用三维真脸建模方法和系统可以得到与三维建模所用建模设备、建模现场的光照环境无关的三维真脸信息。

Description

一种三维真脸建模方法及三维真脸照相系统

技术领域

本发明涉及三维人脸建模领域，特别涉及一种三维真脸建模方法及三维真脸照相系统。

背景技术

生物特征识别技术近年发展迅猛，指纹识别、虹膜识别、掌纹识别、人脸识别等很多技术都已经有比较成熟的产品，特别是人脸识别技术因其适应场景广、非接触的特点获得了广泛的关注。目前成熟的人脸识别技术大多基于二维人脸识别技术，而该技术受角度、光照、年龄、表情、饰物等方面的影响导致基于二维图像的人脸识别应用受到了极大的限制。

三维人脸识别技术由于结合了人脸三维立体结构信息和面部纹理特征，可以极大的降低环境、姿态、表情等因素对人脸识别率的限制。三维人脸识别技术快速发展应用的前提是三维人脸数据的获取，纯粹的三维人像模型只含有人脸的几何形状数据，并不包含反映人脸皮肤颜色、反射率等与材质有关的皮肤属性信息，在应用中获得人脸效果质感不够强，限制了三维人脸识别技术在某些领域的应用。为真正发挥三维人脸识别技术的优势，适应多种应用场景与技术方案，三维人脸数据应具备如下特点：左耳到右耳180度人脸范围或正面人脸范围、高精度三维点云、包含人脸皮肤属性信息。其中人脸的皮肤属性信息由皮肤表面色度信息和皮肤表面反射特性组成。目前，市场上的三维建模产品并非针对三维人脸建模应用，市场上的产品存在诸如精度低、拍照速度慢、人脸范围小和人脸皮肤属性信息无法测量等缺陷或不足，难以大规模推广与应用需求。同时具备高速、高精度、含有准确人脸皮肤属性信息等特点的三维真脸照相机还未见报道。研究者针对这一需求，研发了一种三维真脸建模方法及三维人脸照相机系统。

发明内容

本发明的目的在于：在获取人脸三维几何信息的同时，同步获取反映人脸皮肤属性信息的皮肤表面的色度信息和反射特性，建立真实三维人脸模型。真实三维全脸模型描述了人脸的本质信息，反应了目标人脸的内在特征，与三维建模所用建模设备、建模现场的光照环境无关。

为了实现上述发明目的，提供一种三维真脸建模方法及三维人脸照相机系统。提供了以下技术方案：

一种三维真脸建模的方法，步骤包括：

S1，向目标人脸投影结构光并同时从不同角度获取图像，图像是反映人脸三维几何形貌的人脸序列图像；

S2，在标准光源下，获取人脸皮肤色度数据和亮度数据；

S3，根据人脸序列图像，计算出脸部三维几何数据，并将脸部三维几何数据划分为多个三角面片区域，得到多个三角面片区域的空间结构信息；

S4，计算每一个三角面片区域对应的面片色度数据；

S5，通过使用预先标定的标准光源照明下空间光场能量分布信息，进行插值计算，得到每一个三角面片区域对应的面片亮度数据；

S6，根据每一个三角面片区域的空间结构信息和面片亮度数据，计算出每一像素点所对应的人脸皮肤区域的反射率。

脸部三维几何数据是三维全脸几何数据，涵盖范围包括脸部从左耳到右耳180度的脸部范围，计算出脸部三维几何数据步骤包括：

计算左脸三维几何数据；

计算右脸三维几何数据；

将左脸三维几何数据和右脸三维几何数据融合，得到脸部从左耳到右耳180度脸部范围的三维全脸几何数据。

结构光为条纹结构光，计算左脸三维几何数据或计算右脸三维几何数据的具体步骤为：

基于空间相位展开技术，从每个人脸序列图像中提取对应相对相位信息；

以人脸特征点为锚点，将多个相对相位信息统一到相同基准，进行相位匹配；

通过相位匹配得到视差图，重建左脸或右脸的三维几何数据。

结构光为条纹结构光和散斑结构光，获取左脸三维几何数据或获取右脸三维几何数据的具体步骤为：

从每个人脸序列图像中提取对应的截断相位信息；

基于截断相位信息，计算截断相位级次线，在人脸序列图像中的散斑结构光图像上对截断相位级次线上的像素进行匹配，获得截断相位级次线的匹配线对；

根据匹配线对，在截断相位上进行相位匹配得到视差图；

通过视差图，重建左脸或右脸的三维几何数据。

计算每一个三角面片区域对应的面片色度数据的步骤包括：

将脸部三维几何数据的坐标系和人脸皮肤色度数据的坐标系转换到同一个坐标系下；

根据多个三角面片区域的空间结构信息和系统标定信息计算出每一个三角面片对应的面片色度数据。

标定的标准光源照明下空间光场能量分布信息，由白平衡卡的亮度信息数据间接表征，白平衡卡亮度信息数据获取步骤包括：

在标准光源照明下，将反射率已知的白平衡卡置于测量空间中；

获得白平衡卡的位姿信息和亮度信息，白平衡卡处于多个位置，每个位置是多种姿态。

插值运算公式为：

I_base(u,v)＝Interpoloation(u,v,v₁,v₂,v₃,{I₁(u,v),I₂(u,v),…,I_N(u,v)},{P₁(u,v),P₂(u,v),…,P_N(u,v)})

其中，(u,v)为成像式色度计上的某一像素；v₁、v₂、v₃为像素(u,v)所在三角面片的三个顶点；I_i(u,v)表示白平衡卡位置姿态为P_i(u,v)时成像式色度计像素(u,v)所对应的标准光源照明下的反射率已知的白平衡卡亮度信息；N为标定过程中所拍摄的白平衡卡位置姿态总数；Interpoloation代表插值运算。

每一像素点所对应的人脸皮肤区域的反射率的计算公式为：

其中，I_base(u,v)是基准亮度信息，I_face(u,v)是每个像素点实际的亮度信息，R_base是白平衡卡的固有反射率，R(u,v)是每一像素点所对应的人脸皮肤表面区域的反射率。

一种三维真脸照相系统，包括标准光源、控制和计算模块和三维人像采集单元，

标准光源为三维人像采集单元拍摄皮肤本质信息提供环境照明；

三维人像采集单元采集拍摄目标的脸部三维几何数据、人脸皮肤色度数据和亮度数据；

控制和计算模块向三维人像采集单元输出控制信号，接收三维人像采集单元的数据，并利用系统标定信息完成三维真脸建模。

三维人像采集单元包括成像色度计、双目相机、投影组件，

投影组件可投射结构光至目标人脸，同时输出同步控制信号给双目相机；

双目相机在同步控制信号的控制下拍摄被投影组件投射结构光的目标人脸，并将图像数据传送至控制模块；

成像色度计拍摄标准光源照明下目标人脸的色度信息和亮度信息，并输出至控制模块。

与现有技术相比，本发明的有益效果：

通过三维人像采集单元采集脸部三维几何数据、人脸皮肤色度数据与亮度数据，进行融合、计算等处理得到目标人脸的色度信息和反射率信息，从而得到测量速度快、数据精度高、与三维建模所用建模设备和建模现场的光照环境无关的三维真脸模型。

附图说明：

图1为本发明一种三维真脸建模的方法的流程图；

图2为本发明实施例1中以人脸特征点为锚点，对双目相机获取的相对相位信息进行基准统一，三维几何形状建模方法的流程图；

图3为本发明实施例1中由条纹图计算所得纹理图；

图4为本发明实施例1中纹理图人脸区域及特征点提取结果；

图5为本发明实施例1中由条纹图计算所得截断相位图；

图6为本发明实施例1中基于可靠度导向的截断相位展开结果及使用人脸特征点为锚点，将右相机相对相位信息统一到左相机相对相位信息基准的结果；

图7为本发明实施例1中基准统一的相对相位信息进行相位匹配得到的视差图；

图8为本发明实施例1中使用散斑图像对截断相位级次标记线进行匹配，然后以标记线对为基础在截断相位上进行相位匹配的三维几何形状建模方法的流程图；

图9为本发明实施例1中由条纹图计算所得截断相位和截断相位级次标记线图；

图10为本发明实施例1中基于散斑图进行互相关匹配得到的截断相位级次标记线对图；

图11为本发明实施例1的三维真脸照相系统结构示意图；

图12为本发明实施例1的三维真脸照相系统部件逻辑关系示意图；

图13为本发明实施例1的三维真脸照相机系统数据采集采集时序；

图14为本发明实施例2的三维真脸照相系统部件逻辑关系示意图；

图15为本发明实施例3中第一种三维真脸照相系统部件逻辑关系示意图；

图16为本发明实施例3中第二种三维真脸照相系统部件逻辑关系示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

本发明采用两套三维人像采集单元采集脸部三维几何数据、人脸皮肤色度数据和人脸皮肤反射特性数据为例，说明三维真脸建模的方法和三维真脸照相系统的实施过程。

实施例1

一种三维真脸建模的方法的流程图如图1所示，具体实现步骤为：

步骤S01:获取三维真脸建模数据。投影组件投射一系列条纹结构光(或者条纹结构光和散斑结构光)到被测目标人脸，双目相机实时获取对应的反映人脸三维几何形貌的人脸序列图像，然后，在标准光源照明下，由成像色度计获取反映皮肤固有材质信息的人脸色度信息和亮度信息。

步骤S02：根据双目立体视觉原理和结构光技术，完成左脸和右脸的三维几何形状信息的计算。

三维几何形状信息的计算采用以下两种方式实现：

1、以人脸特征点为锚点，对双目相机获取的相对相位信息进行基准统一，三维几何形状建模方法的流程图如图2所示，包括如下步骤：

步骤500，获取条纹结构光场照明下的人脸图像，得到8张条纹图，左右相机各4张(以投影4帧条纹结构光场为例)。

步骤501，对左右相机拍摄的条纹图依据系统标定信息进行极线校正。

步骤502，从条纹结构光场中的图像中解析出相应的纹理信息，以生成纹理图像对。

进一步的，当条纹投影于三维物体表面上时，拍摄到的变形条纹用公式表示为：

其中，(x,y)为像素坐标；R(x,y)是人脸表面反射率的分布；A(x,y)为背景光强，B(x,y)/A(x,y)表示了条纹的对比度；φ(x,y)是表示条纹结构光场所蕴含的相位信息；N为编码φ(x,y)所选用的条纹图数目，表相移次数；n为条纹图序号，表第n次相移，其取值范围为1到N。

对于N步相移算法，人脸表面纹理图像可由对应的N幅条纹生成。以用4帧条纹结构光场投影时为例，通过条纹图计算纹理图像的公式为：

T(x,y)＝[I₁(x,y)+I₂(x,y)+I₃(x,y)+I₄(x,y)]/2 (2)

对于N不等于4的情况，各帧条纹图的系数需做相应变化。当使用4帧条纹结构光场投影时，计算所得的纹理图如图3所示。

步骤503，基于二维图像处理技术提取每台相机所对应人脸纹理图的人脸区域和人脸特征点。其中一种提取结果如图4所示。

进一步的，所提取的左右纹理图像的人脸特征点点数应相同，且相应的特征点在人脸上的分布具有相同的拓扑结构，其所隐含的解剖学意义相同。进一步的，人脸特征点可以为瞳孔中心、鼻尖、嘴角等。

步骤504，使用极线校正后的条纹图计算截断相位信息。对于采用N帧条纹结构光场的方法，截断相位的计算公式如下：

其中I_n代表第n帧条纹图，n的取值范围为1至N，左右相机的截断相位如图5所示。

步骤505，使用步骤504得到的人脸区域截断相位进行可靠度导向的空间相位展开，如图6所示。

步骤506，以所得的人脸特征点为锚点，以左相机空间相位展开结果为参考，将双目相机获取的相互独立的相对相位信息进行统一，使得右相机所得相对相位信息与左相机所得的相对相位信息具有相同的基准。

进一步的，将人脸特征点的相对相位值与以右相机空间相位展开结果中人脸特征点处的相对相位值进行对比，求取左右相机人脸特征点的相对相位值的差值，并除以2π并取整得整数k，求得k后将右相机相位图加上2kπ即实现了使用人脸特征点为锚点，将双目相机获取的相互独立的相对相位信息进行统一，统一后的左右相机相对相位信息如图6示。图中示例中，k为-6，k的取值与算法实现中相位展开起始点的位置有关。

步骤507，将基准统一后的左右相机相对相位信息进行相位匹配得到视差图如图7示，依据视差图和系统标定信息计算待测人脸的三维模型。

2、使用散斑在截断相位级次标记线上进行匹配，然后以匹配点为锚点将双目相机的相对相位信息统一到相同基准，三维几何形状建模方法流程图如图8所示，包括如下步骤：

步骤600，获取条纹结构光场照明下的人脸图像得到10张条纹图，左右相机各5张(以4帧条纹结构光场和1帧散斑结构光场为例)。

步骤601，对左右相机拍摄的条纹图和散斑图依据系统标定信息进行极线校正。

步骤602，使用极线校正后条纹图计算截断相位，对截断相位进行处理得到截断相位级次标记线，由条纹图计算所得截断相位和截断相位级次标记线如图9所示。

进一步的，使用极线校正后的条纹图计算截断相位信息。对于采用N帧条纹结构光场的方法，截断相位的计算公式如公式(3)所示。

进一步的，截断相位级次标记线通过对截断相位进行分析得到，截断相位级次标记线定义为截断相位的从-π到π的跳变边缘。根据所拍摄N帧条纹结构光场照明下的人脸图像，通过调整截断相位计算过程中的可以获得N种截断相位，这N种截断相位之间的差异体现为相位值的差异和截断相位从-π到π的跳变位置差异，理论上相位值的差异为2kπ+2π/N。

进一步的，所选截断相位级次标记线的可以与截断相位从-π到π的跳变边缘位置相同，也可以不同。

进一步的，相位级次标记线也可定义为截断相位的从π到-π的跳变边缘。

步骤603，在散斑图像上对截断相位级次标记线进行立体匹配，得到截断相位级次标记线匹配线对。

进一步的，在截断相位级次标记线对匹配过程中，对每一条截断相位级次标记线进行匹配。在某条截断相位级次线的匹配过程中，可以逐像素进行，也可每隔几个像素进行。对于左视图中截断相位级次标记线上的每一个像素，其候选匹配像素点位于右视图中的截断相位级次标记线上。

进一步的，使用互相关作为匹配过程中候选点对相似程度的评价标准，互相关值最大的候选匹配像素点为匹配点，记录该匹配点对应的右相机截断相位级次标记线中的标号。使用左相机每条截断相位级次标记线的所有像素得到的标号进行投票，票数最高的标号所对应的某条右相机截断相位级次标记线与本左相机截断相位级次标记线组成截断相位级次标记线对。对所有左相机截断相位级次标记线均做如上处理。通过步骤603得到的截断相位级次标记线对如图10所示，图中同一截断相位级次标记线在左右相机中灰度相同(为显示清楚，标记线的灰度值每3个重复一次)。

步骤604，以截断相位标记线对为基础，利用截断相位信息进行同级次内的相位匹配，从而得到人脸的亚像素的高精度稠密视差图。

步骤605，依据视差图和系统标定信息计算待测人脸的三维模型。

步骤S03：将步骤S02中左脸和右脸三维人脸几何形状信息进行融合，得到左耳到右耳180度范围的三角化后的三维全脸几何数据。具体实现步骤为：

基于ICP的点云配准、基于泊松重建的人脸曲面重建、人脸三维数据的三角化。

步骤S04：将步骤S03得到的三维全脸几何数据、成像色度计所在坐标系(可理解为一个相机)统一到同一个的坐标系下，利用相机成像原理计算全脸几何形状信息中每一个三角面片在成像式色度计数据上的三角形区域，即可得到每一个三角面片对应的色度信息和亮度信息。受描述三维全脸几何形状的三角面片数目、法线方向以及成像色度计的分辨率影响，每个三角面片对应的成像色度计数据三角形区域内的像素数目会有差异。如果某三角面片处于左、右脸三维数据的公共区域，则色度信息和亮度信息的融合结果来自于两个单元所采集到的数据。

步骤S05：对于三维全脸几何数据的每一个三角面片，依据事先标定的标准光源照明下的空间光场能量分布信息、三角面片所代表的空间结构信息以及融合后的该三角面片的亮度信息，计算该三角面片所对应的人脸皮肤表面区域的反射率信息。

三维真脸信息的最基本元素为三角片面f_tri，可描述为f_tri(v₁，v₂，v₃，r，a，b)，其中v₁、v₂、v₃为三角面片的三个顶点，三个顶点的顺序决定了该三角面片的法向；r为该三角面片的反射率信息；(a，b)为该三角面片所对应的色度信息，该色度信息是S05步色度信息的融合结果。

事先标定的标准光源照明下的空间光场能量分布信息通过在标准光源照明下将反射率已知的白平衡卡(如反色率为18％的白平衡灰卡)置于测量空间中，并使用成像式色度计拍摄多个位置多个姿态的白平衡卡亮度信息数据来间接表征。

在标定过程中，每个位置姿态下，向白平衡卡投影条纹结构光和散斑结构光并同时从不同角度获取图像，然后计算白平衡卡的空间几何形貌(位置和法线方向)信息。对于成像式色度计的每一个像素(u，v)，计算该像素对应的多位置姿态白平衡卡局部区域的位姿P_i(u，v)。对于，将代表成像式色度计的每一个像素(u，v)对应的多位置姿态白平衡卡位姿P_i(u，v)和亮度信息的I_i(u，v)序列(i为白平衡卡位姿总数目)作为该像素点的观察到的空间光能量分布信息。

标定完成后，对于假定置于某一位置某一姿态下的成像式色度计拍摄的某一像素的白平衡卡亮度信息，无需实际采集，即可使用标定环节采集的数据插值计算得到。插值结果与待插值像素所在三角面片的空间信息有关，与标定过程中所拍摄的白平衡卡位置、姿态、数目、亮度信息有关。即：

I(u，v)＝Interpoloation(u，v，v₁，v₂，v₃，{I₁(u，v)，I₂(u，v)，…，I_N(u，v)}，{P₁(u，v)，P₂(u，v)，…，P_N(u，v)})

其中，(u，v)为成像式色度计上的某一像素；v₁、v₂、v₃为像素(u，v)所在三角面片的三个顶点；I_i(u，v)表示白平衡卡位置姿态为P_i(u，v)时成像式色度计像素(u，v)所对应的标准光源照明下的反射率已知的白平衡卡亮度信息；N为标定过程中所拍摄的白平衡卡位置姿态总数；Interpoloation代表插值运算。

对于三维全脸几何数据的每一个三角面片，其代表的空间结构信息已知，其对应的人脸区域色度信息和亮度信息已知，因此假定人脸皮肤与白平衡卡属于相同材质时，该三角面片所对应的所有像素点的亮度信息均可以通过事先标定的标准光源照明下的空间光场能量分布信息中插值计算得到，将该方式得到的亮度信息定义为基准亮度信息I_base(u，v)。将每个像素点实际的亮度信息I_face(u，v)与假定人脸与白平衡卡材质相同时得到的基准亮度信息相比较，并利用白平衡卡的固有反射率信息R_base即可得到每一像素点所对应皮肤表面的反射率R(u，v)，即：

本实施例中，三维真脸照相系统主要由1套标准光源和2个三维人像采集单元组成，如图11所示，每个单元分别采集拍摄目标的左、右脸的三维几何结构信息和皮肤属性信息，经数据融合后形成左耳到右耳180单元范围的三维真脸模型。标准光源为三维人像采集单元拍摄皮肤本质信息时提供环境照明。所述三维人像采集单元包括投影组件、工业相机和成像色度计和控制模块，所述投影组件投射可调数量的N(N≥3)幅结构光场至人脸表面，同时输出同步控制信号给所述相机，成像色度计的工作由控制模块控制；所述相机工作于外触发状态，在同步控制信号控制下拍摄被结构光场照明下的人脸表面作为建模图像经由所述控制模块传输至所述三维建模计算模块；所述成像色度计拍摄所述标准光源照明下的人脸颜色与亮度信息并经由所述控制模块传输至所述三维建模计算模块；控制模块协调控制投影组件、工业相机、成像色度计、标准光源的工作时序；三维建模计算模块接收相机和成像色度计采集的数据并利用系统标定信息实现三维真脸建模，三维真脸照相系统部件逻辑关系示意图如图12所示。

为缩短数据采集时间所述控制模块用于协调单元内投影组件、相机、成像色度计的工作时序，协调两个单元的工作时序；投影组件和工业相机的工作频率相同且不低于120fps，以缩短拍摄时间，进而降低拍摄期间人体的运动对精度的影响。

为加快数据采集速度，两个三维人像采集单元之间采用串联方式，以差分级联信号进行连接形成主控单元和从控单元，在数据采集过程中首先发送三维建模数据采集触发信号给主控单元，主控单元接收到触发信号后控制主控单元中的投影组件投影结构光并同步触发相机拍照，待主控单元投影完毕后即发送单元间触发信号给从控单元。当从控单元接收到单元间触发信号后即开始投影结构光并同步触发相机拍照，待从单元投影完毕后且计算机接收完图像数据后即可进行三维全脸建模计算。使主从单元中的成像色度计同时拍摄目标的颜色信息，得到色度信息和亮度信息，根据已标定的一定几何形态下亮度与反射率的关系，得到皮肤表面反射率信息。

采用差分级联信号进行连接形成主控单元和从控单元时，系统的时序逻辑如图13所示，假定每个人像采集单元进行人脸建模需投影并拍摄5帧结构光图像。投影组件结构光场投影信号与相机触发控制信号由控制模块统一给出，且保持严格的同步，即在投影组件每投射一幅结构光光场的起始时刻，相机都收到触发信号，使得相机的曝光时间涵盖在投影组件投射的每一幅结构光光场，以达到最佳的三维人脸建模效果。依据所选用投影组件和相机性能参数的不同，该种同步方式所能达到拍照速度也有差异，如选用120fps、8位灰度图像投影的投影组件和外触发帧频支持120fps的相机，最短情况下三维人脸建模图像的采集仅需花11帧时间，即11/120秒。如果采用投影组件帧频可达几千帧的二值化投影组件且与对应帧频的相机配合，拍照时间将极大缩短。

实施例2

实施例2与实施例1的区别在于，三维真脸照相系统主要由1套标准光源和1个三维人像采集单元组成，三维人像采集单元包含投影组件、双目相机、成像色度计和控制模块，如图14所示，三维人像采集单元用于采集拍摄目标的正脸的三维几何结构信息和皮肤属性信息，三维建模计算模块根据正脸的三维几何结构信息和皮肤属性信息实现正脸的三维真脸建模。

由于只采集正脸的三维几何结构信息和皮肤属性信息，与实施例1相比，三维建模方法的区别在于步骤S02、S03和S04中，不再进行三维人脸几何形状信息的融合，具体过程为：

步骤S02：根据双目立体视觉原理和结构光技术，完成正脸的三维几何形状信息的计算。

三维几何形状信息的计算采用以下两种方式之一来实现：

1、人脸区域提取、极线校正、截断相位计算、截断相位级次线计算、基于相关的散斑图像匹配、截断相位空间相位展开、双目相机相位展开基准统一、基于相位的立体匹配、使用视差图和系统参数计算人脸的几何形状信息。

2、人脸区域提取和特征提取、极线校正、截断相位计算、截断相位空间相位展开、以人脸特征点为锚点进行双目相机相位展开基准统一、基于相位的立体匹配、使用视差图和系统参数计算人脸的几何形状信息。

步骤S03：将步骤S02中正脸人脸几何形状信息进行三角化。具体实现步骤为：

基于ICP的点云配准、基于泊松重建的人脸曲面重建、人脸三维数据的三角化。

步骤S04：将步骤S03得到的三维全脸几何数据、成像色度计所在坐标系(可理解为一个相机)统一到同一个的坐标系下，利用相机成像原理计算正脸几何形状信息中每一个三角面片在成像式色度计数据上的三角形区域，即可得到每一个三角面片对应的色度信息和亮度信息。受描述三维正脸几何形状的三角面片数目、法线方向以及成像色度计的分辨率影响，每个三角面片对应的成像色度计数据三角形区域内的像素数目会有差异。

其他步骤与实施例1相同，此处不再赘述。

实施例3

实施例3与实施例1的区别在于，两个三维人像采集单元中不再包括控制模块，采用一个控制模块集中控制，如图15所示。控制模块向三维人像采集单元输出控制信号，接收三维人像采集单元的数据。三维建模计算模块根据正脸的三维几何结构信息和皮肤属性信息实现正脸的三维真脸建模。

在图15的基础上，可将控制模块和三维建模计算模块合并为控制和计算模块，构成三维真脸照相系统，如图16所示。

其他部分与实施例2相同，此处不再赘述。

以本实施例的基本架构为基础扩展多个三维人像采集单元的三维真脸照相系统都应属于本发明的保护范围。

Claims (10)

1.一种三维真脸建模方法，其特征在于，步骤包括：

S1，向目标人脸投影结构光并同时从不同角度获取图像，所述图像是反映人脸三维几何形貌的人脸序列图像；

S2，在标准光源下，获取人脸皮肤色度数据和亮度数据；

S3，根据所述人脸序列图像，计算出脸部三维几何数据，并将所述脸部三维几何数据划分为多个三角面片区域，得到多个三角面片区域的空间结构信息；

S4，计算每一个所述三角面片区域对应的面片色度数据；

S5，通过使用预先标定的标准光源照明下空间光场能量分布信息，进行插值计算，得到每一个所述三角面片区域对应的面片亮度数据；

S6，根据每一个所述三角面片区域的空间结构信息和面片亮度数据，计算出每一像素点所对应的人脸皮肤区域的反射率。

2.如权利要求1所述的一种三维真脸建模方法，其特征在于，所述脸部三维几何数据是三维全脸几何数据，涵盖范围包括脸部从左耳到右耳180度的脸部范围，所述计算出脸部三维几何数据步骤包括：

计算左脸三维几何数据；

计算右脸三维几何数据；

将所述左脸三维几何数据和右脸三维几何数据融合，得到脸部从左耳到右耳180度脸部范围的三维全脸几何数据。

3.如权利要求2所述的一种三维真脸建模方法，其特征在于，所述结构光为条纹结构光，所述计算左脸三维几何数据或计算右脸三维几何数据的具体步骤为：

基于空间相位展开技术，从每个所述人脸序列图像中提取对应相对相位信息；

以人脸特征点为锚点，将多个所述相对相位信息统一到相同基准，进行相位匹配；

通过所述相位匹配得到视差图，重建左脸或右脸的三维几何数据。

4.如权利要求2所述的一种三维真脸建模方法，其特征在于，所述结构光为条纹结构光和散斑结构光，所述获取左脸三维几何数据或获取右脸三维几何数据的具体步骤为：

从每个所述人脸序列图像中提取对应的截断相位信息；

基于所述截断相位信息，计算截断相位级次线，在所述人脸序列图像中的散斑结构光图像上对所述截断相位级次线上的像素进行匹配，获得所述截断相位级次线的匹配线对；

根据所述匹配线对，在所述截断相位上进行相位匹配得到视差图；

通过所述视差图，重建左脸或右脸的三维几何数据。

5.如权利要求1所述的一种三维真脸建模方法，其特征在于，所述计算每一个所述三角面片区域对应的面片色度数据的步骤包括：

将所述脸部三维几何数据的坐标系和所述人脸皮肤色度数据的坐标系转换到同一个坐标系下；

根据所述多个三角面片区域的空间结构信息和系统标定信息计算出每一个三角面片对应的面片色度数据。

6.如权利要求1所述的一种三维真脸建模方法，其特征在于，所述标定的标准光源照明下空间光场能量分布信息，由白平衡卡的亮度信息数据间接表征，所述白平衡卡亮度信息数据获取步骤包括：

在标准光源照明下，将反射率已知的白平衡卡置于测量空间中；

获得所述白平衡卡的位姿信息和亮度信息，所述白平衡卡处于多个位置，每个位置是多种姿态。

7.如权利要求1-6任一所述的一种三维真脸建模方法，其特征在于，所述插值运算公式为：

I_base(u,v)＝Interpoloation(u,v,v₁,v₂,v₃,{I₁(u,v),I₂(u,v),…,I_N(u,v)},

{P₁(u,v),P₂(u,v),…,P_N(u,v)})

其中，(u,v)为成像式色度计上的某一像素；v₁、v₂、v₃为像素(u,v)所在三角面片的三个顶点；I_i(u,v)表示白平衡卡位置姿态为P_i(u,v)时成像式色度计像素(u,v)所对应的标准光源照明下的反射率已知的白平衡卡亮度信息；N为标定过程中所拍摄的白平衡卡位置姿态总数；Interpoloation代表插值运算。

8.如权利要求1-6任一所述的一种三维真脸建模方法，其特征在于，所述每一像素点所对应的人脸皮肤区域的反射率的计算公式为：

其中，I_base(u,v)是基准亮度信息，I_face(u,v)是每个像素点实际的亮度信息，R_base是白平衡卡的固有反射率，R(u,v)是每一像素点所对应的人脸皮肤表面区域的反射率。

9.一种三维真脸照相系统，其特征在于，包括标准光源、控制和计算模块和三维人像采集单元，

所述标准光源为所述三维人像采集单元拍摄皮肤本质信息提供环境照明；

所述三维人像采集单元采集拍摄目标的脸部三维几何数据、人脸皮肤色度数据和亮度数据；

所述控制和计算模块向所述三维人像采集单元输出控制信号，接收所述三维人像采集单元的数据，并利用系统标定信息完成三维真脸建模。

10.如权利要求9所述的一种三维真脸照相系统，其特征在于，所述三维人像采集单元包括成像色度计、双目相机、投影组件，

所述投影组件可投射结构光至目标人脸，同时输出同步控制信号给所述双目相机；

所述双目相机在所述同步控制信号的控制下拍摄被所述投影组件投射结构光的目标人脸，并将图像数据传送至所述控制和计算模块；

所述成像色度计拍摄所述标准光源照明下目标人脸的色度信息和亮度信息，并输出至所述控制和计算模块。