CN201299570Y - 一种人脸三维面形数字化测量系统 - Google Patents

Abstract

本实用新型公开了一种人脸三维面形数字化测量系统，结构包括复合结构光产生装置、数字投影仪、CCD摄像机、计算机、参考平面。本实用新型能快速、便捷地获取准确的人脸数字化三维轮廓，为人脸整形美容外科手术带来新的测量手段和评估方法，促进医学整形美容的数字化进程。适于相关医疗美容领域推广使用。

Description

一种人脸三维面形数字化测量系统

技术领域

本实用新型涉及一种基于复合结构光投影技术的人脸三维面形数字化测量系统。

背景技术

随着社会的进步和生活水平的提高，人们对生活质量提出了更高的要求，特别是对美的追求日益显著。整形美容是世界市场范围内正在形成的新兴产业，美国整形消费年均400亿美元，日本、韩国整形手术比例是中国的两倍左右。随着整体健康观念的形成，中国医学美容的发展将快速提升。目前全国整形美容目标消费群总数估计为13970万人，占全国女性总数的22％。此数据随市场和消费者消费观念的成熟将逐年递增。

由于人们审美水平的提高，对医学整形美容的效果提出了更高的要求。在外科整形手术中，人们大多还是采用传统的手工测量方法来获取人脸的形貌特征，测量精度不高，也不方便，而且容易对人脸皮肤带来损伤。随着数字化时代的到来，人们渴求一种非接触、快速、准确的测量方法来获取数字化的人脸三维形貌，并希望借助计算机辅助设计等现代化技术手段来模拟和设计脸部美容的整形方案并检验效果等等，即将医学整形美容推进到数字化阶段。

现有技术中基于医学美容的人脸三维轮廓数字化方法大致可以分为三类：一是基于CT技术的三维重建；二是基于被动光学三维传感方法的三维重建；三是基于相位测量轮廓术的主动光学三维传感方法的三维重建。

现有技术中，第一种方法基于CT技术的三维重建方法只能针对骨组织的畸变或缺损的情况，在颅面整形以及牙颌面畸形矫治等方面应用较多。软组织表面形态是整形美容效果的最直观、最有说服力的表现形式，而CT技术对于软组织表面的三维轮廓重建比较困难，尤其是对于比较复杂的人脸面部容貌的三维重建很难实现。

第二种方法基于被动光学三维传感方法，采用非结构照明方式，从一个或多个摄像系统获取的二维图像中确定距离信息，形成三维面形数据。当从一个摄像系统获取的二维图像中确定距离信息时，必须依赖有关物体的形态、光照条件等先验知识，如果先验知识不足就可能产生计算上的错误；从两个或多个摄像系统获取的不同视觉方向的二维图像中确定距离信息，需要进行大量的相关或匹配等运算，而且需要对若干个摄像机进行精确标定。另外，基于二维图像的人脸测量，不可避免受到环境光线、背景、视角和人脸的姿态、表情、遮挡等不利因素的影响，因而其测量精度很难有进一步的提高，这使得采用单一的二维图像人脸测量技术的应用产品难以达到实用水准。因此，被动光学三维传感方法常常用于对三维目标的识别、理解以及位置和形态分析，而大多数以三维面形测量为目的三维传感系统一般都采用主动光学三维传感方式。

第三种方法基于相位测量轮廓术的主动光学三维传感方法采用结构光照明方式，具有非接触、高测量精度等特点。由于三维面形对结构光场的时间或空间进行了调制，从携带有三维面形信息的观察光场中，通过适当的方法解调得到三维面形数据。相位测量轮廓术(PMP)是一种重要的主动光学三维传感方法，它采用投影正弦光栅和相移技术，通过获取全场条纹的空间信息和一个条纹周期内相移条纹的时序信息，重建物体表面的三维轮廓。但是，相位测量轮廓术解调一幅三维轮廓数据，至少需要拍摄三幅相移条纹，影响了测量的实时性，而且测量过程中目标人脸的微小移动或表情变化，都会直接影响解调结果，从而造成较大的重建误差。而采用数字光栅投影的快速相移技术，虽然能在很短时间内投影和拍摄若干幅相移条纹，但相移条纹在快速轮换投影/拍摄时，CCD相机拍摄到的图像很容易产生拖尾、畸变等现象，因而容易造成较大的测量误差。

在医学整形美容外科手术中，对人脸三维形貌特征的精确提取是至关重要的。目前比较成熟的方法是基于CT技术的三维测量，主要是针对骨组织的整形分析，很难获取人脸软组织表面的三维形貌特征；基于立体视觉的三维分析方法一般采用从不同视角拍摄的人脸二维图像来处理，容易受到环境光线、背景、视角和人脸的姿态、表情、遮挡等不利因素的影响，因而其测量精度很难有进一步的提高；基于传统的手工测量方法给患者和医生都带来很大的不便，而且测量精度不高。因此，迫切需要寻找一种非接触、快速、准确、便捷的测量方法来提取人脸的三维形貌特征，以提高医学整形美容手术的成功率和效果。

因而，现有技术还有待于改进和提高。

实用新型内容

本实用新型的目的在于提供一种利用非接触、快速、准确、便捷的测量方法来提取人脸的三维形貌特征的设备，以提高医学整形美容手术的成功率和效果。

本实用新型的技术方案包括：

一种人脸三维面形数字化测量系统，其中，它包括：

复合结构光产生装置，用以产生简单结构光条纹，送往计算机调制叠加处理，形成复合结构光条纹；

数字投影仪，用于将复合结构光条纹投射到目标人脸部及参考平面上；

CCD摄像机，用于采集人脸高度信息调制后的变形复合条纹及参考平面上的复合结构条纹；

计算机，用于将简单结构光条纹处理形成复合结构光条纹；将CCD摄像机采集的变形复合条纹进行二维傅里叶变换、二维带通滤波、逆傅里叶变换、灰度校准，提取出两帧具有π相位差的变形条纹，计算出受到目标人脸面部轮廓调制的位相信息；解调获得目标人脸面形的三维高度分布信息；

参考平面，用于获得参考平面的调制位相信息；

所述计算机与所述复合结构光产生装置、所述数字投影仪、所述CCD摄像机之间通过通讯接口连接。

所述的系统，其中：它还包括纹理映射装置，与计算机相连接，用于还原脸部色彩信号。

所述的系统，其中：所述的数字投影仪和CCD摄像机的镜头上设有近红外滤波片。

本实用新型所提供的非接触、快速、准确、便捷的基于复合结构光投影技术的人脸三维面形数字化测量系统，为人脸整形美容外科手术带来新的测量方法和评估手段，促进医学整形美容的数字化进程，并为以后的三维人脸研究和应用打下基础。

附图说明

图1为本实用新型结构方框图；

图2为本实用新型复合结构光条纹的形成图；

图3为本实用新型工作流程图；

图4为本实用新型测量光路图；

图5为本实用新型测量框图；

具体实施方式

以下结合附图实施例，说明本实用新型结构特征及其基于复合结构光投影技术测量人脸的三维面形，实现人脸三维轮廓的数字化的测量的原理和工作过程。

本实用新型结构如图1所示，包括：复合结构光产生装置、数字投影仪、CCD摄像机、计算机、参考平面。其中，计算机与复合结构光产生装置、数字投影仪、CCD摄像机间通过通讯接口连接。本实用新型还包括纹理映射装置，用以还原脸部色彩信号，各组成部分功能及工作过程如下：

如图2所示，复合结构光产生装置产生两个不同频率的载频f₁与f₂，以及与其方向垂直的两帧具有π相位差的被调制正弦条纹，其中被调制的两帧具有π相位差的正弦光栅为：

G_n＝c+cos(2πf_φy+nπ)               (1)

上式中，c为投影常量；n＝0，1为相移因子，nπ代表条纹的初始相位；y为相位变化方向，简称相位方向(Phase)；f_φ为正弦光栅的基频。

由计算机将两个不同频率的载频f₁与f₂分别对(1)式的两帧正弦条纹进行调制，即进行乘法运算；然后将得到的两帧调制后的条纹进行叠加，即进行加法运算，如图2所示，即可得到一帧复合结构光条纹：

I(x，y)＝a+b{[c+cos(2πf_φy)]cos(2πf₁x)

         +[c+cos(2πf_φy+π)]cos(2πf₂x)}          (2)

其中a和b为投影常数；x为垂直于相位方向，简称垂直方向(Orthogonal)。

复合结构光条纹的具体实现：采用计算机按上述原理进行编码生成数字复合条纹。

选择合适的投影常数a和b，使复合结构光条纹的强度范围与投影仪的强度范围达成一致(通过调整计算机程序的相关参数实现)。利用计算机控制数字投影仪(DLP)，将复合结构光条纹投射到目标人脸时，人脸表面的连续光强分布可以表示为：

其中r(x，y)是物体表面非均匀反射率，

表示受物体高度调制的相位信息。

此即为摄像机拍摄到的人脸高度信息调制的变形复合条纹。

由计算机对人脸高度信息调制的变形复合条纹(3)式进行二维傅里叶变换，并化简得到两载频二维傅里叶频谱。

分别利用汉宁窗对两个载频频谱进行二维带通滤波，对滤出的频谱分别进行移中之后，再分别进行逆傅里叶变换，取其模，得到两帧具有π相位差的正弦条纹图。对这两帧条纹图进行灰度校准，得到的光强分布式相减并进行一维傅里叶变换，其频谱分布表示为：

G(x，η)＝ψ(x，η-f₀)+ψ*(x，η+f₀)                  (4)

其中G(x，η)、ψ(x，η)分别为g(x，y)、br′(x，y)exp的一维傅里叶谱。

选择合适的滤波窗将图中阴影部分所示的基频分量滤出，对其进行傅里叶逆变换并经过解调运算，得到调制位相信息

为了确定目标人脸的真实三维信息，需要在测量目标后方确定一个参考平面。可以事先利用上述方法获得参考平面的调制位相信息

这样就可以获得目标人脸的真实三维高度分布：

其中h(x，y)代表目标人脸的数字化的三维高度信息；

表示CCD摄像机与数字投影仪(DLP)之间的夹角参数，也称为该光学测量装置的系统参数。

按照上述测量原理，工作流程可以描述为：1)由几帧简单正弦条纹生成一帧复合结构光条纹，经投影系统(数字投影仪)投射到目标人脸；2)复合结构光条纹(载波信号)的位相受到目标人脸三维面形高度分布(调制信号)的调制，得到变形复合结构光场；3)成像系统(CCD摄像机)将采集到的变形复合结构光场送计算机处理；4)计算机对所得的信息进行一系列运算处理，得到位相信息；5)根据位相与高度分布的调制关系，解调出目标人脸三维面形的高度分布。其工作流程如图3所示。

图4表示的是测量光路图，其中d是CCD摄像机与数字投影仪之间的距离，L₀是CCD摄像机到参考平面之间的距离。

图5表示测量框图。采用计算机控制投影仪投射复合结构光条纹，利用CCD工业测量相机采集受到人脸三维面形调制的变形复合结构光条纹。

我们做了一个初步的模拟实验。实验采用Panasonic液晶投影仪，型号为PT-P2500，分辨率为1024×768。图像采集设备为加拿大Prosilica彩色CCD工业相机，型号为EC1350C，分辨率为1360×1024，像素尺寸大小为4.65um×1.65um，其中CCD型号为Sony ICX205AK，尺寸为1/2″；镜头采用日本KOWA工业镜头，型号为LM12JCM，焦距为12mm；连接CCD相机与计算机的1394板卡采用台湾KEC，型号为1582T；参考平面为一白板。测量系统的几何参数为L₀＝73mm，d＝18mm。

采用联想台式计算机进行程序设计及数据处理。利用计算机进行编码生成复合结构光条纹时，两个载频f₁和f₂分别给定为3/40line/pixel、6/40line/pixel，基频f_φ为32/600line/pixel。生成的复合结构光条纹通过数字投影仪投射到参考白板上，利用CCD相机拍摄这些条纹。

实验采用的目标人脸是一个白色的人脸模具，将采集到的图像信息通过计算机处理，得到的数字化人脸三维面形的数据。

还可以通过对三维人脸数据进行特征点分析，利用纹理映射装置还原脸部的色彩信息，使之逼近真实人脸的色彩。

从初步实验效果图来看，利用本实用新型设备能较便捷、准确的得到数字化三维面形信息，而且成本低廉。还可以通过调整系统参数、改善实验环境等方法来进一步提高其测量精度。

该技术中，我们采用计算机控制投影仪投射复合结构光条纹，投影仪可以看作是白光光源。考虑到白光投射到人脸可能会带来人体的不舒适感，我们可以将白光光源替换成近红外光，具体实现方式是：在数字投影仪及CCD摄像机镜头前分别加上一片近红外滤波片，这样就可以在近红外光环境下投影和拍摄，消除白光带来的不舒适感。

在本实用新型基于复合结构光投影技术的人脸三维面形测量系统的基础上，可开发出一套针对人脸整形的数字美容仪，包括光学测量装置以及数字化人脸整形美容计算机辅助设计系统软件。

本实用新型除了可应用于人脸数字美容，身体其它一些部位的整形美容同样可以实现，比如乳房的整形美容，具体实现方式为：利用本实用新型设备精确获得乳房的数字化三维信息，然后利用本实用新型的系统软件进行整形设计，从而实现乳房的数字化整形美容，进而指导医师实施手术，更好的达到乳房整形美容的效果，可以极大降低手术风险。

应当理解的是，上述针对具体实施例的描述较为详细，并不能因此而认为是对本实用新型专利保护范围的限制，本实用新型的专利保护范围应以所附权利要求为准。

Claims (3)

1、一种人脸三维面形数字化测量系统，其特征在于，它包括：

复合结构光产生装置，用以产生简单结构光条纹，送往计算机调制叠加处理，形成复合结构光条纹；

数字投影仪，用于将复合结构光条纹投射到目标人脸部及参考平面上；

CCD摄像机，用于采集人脸高度信息调制后的变形复合条纹及参考平面上的复合结构条纹；

计算机，用于将简单结构光条纹处理形成复合结构光条纹；

参考平面，用于获得参考平面的调制位相信息；

所述计算机与所述复合结构光产生装置、所述数字投影仪、所述CCD摄像机之间通过通讯接口连接。

2、如权利要求1所述的系统，其特征在于：它还包括纹理映射装置，与计算机相连接，用于还原脸部色彩信号。

3、如权利要求1所述的系统，其特征在于：所述的数字投影仪和CCD摄像机的镜头上设有近红外滤波片。

Images