CN109655014B - 基于vcsel的三维人脸测量模组及测量方法 - Google Patents

Abstract

一种基于VCSEL的双目三维人脸测量模组及时序测量方法，该模组由VCSEL阵列光源、投影透镜、扩束透镜、数模转换模块、两个红外数码相机、频率同步控制模块、微处理器、数据传输模块、控制电路构成。所述模组通过控制电路对每个VCSEL光源独立控制，运用时序编码解码的方法，实现双目立体视觉中同源点的匹配。利用沿时序展开的二值化时序数列配对方式，对每个投影图案光点进行匹配，解决了现有基于VCSEL阵列光源对投影图案要求较高的不相关度和很好的均匀度的问题，实现了对VCSEL阵列光源可任意排列的自由度。本发明提出了所述时序编码解码的具体方法和采用所述时序测量方法所需编码投影图案的最小幅数。

Description

基于VCSEL的三维人脸测量模组及测量方法

技术领域

本发明涉及机器视觉三维测量领域，具体是一种基于VCSEL的三维人脸测量模组及其时序测量方法。

背景技术

人脸数字化在公共安全领域及生活娱乐领域都有着极广泛的应用和需求。传统的二维人脸识别包含数据信息量有限，容易受到外界因素的干扰，应用场景也受到一定的限制。随着三维测量技术和相关软件硬件领域的发展，三维人脸数字化在提升国际技术竞争力和推动国内制造业发展等方面都有着重大的意义。

三维人脸数据需要通过三维重建技术获得，通过测量工具和算法获取目标人脸的三维模型。由于人脸测量对效率和身体感知等都有特殊的要求，在诸多三维重建技术中，主动式非接触结构光投影三维测量技术在人脸数字化中不断涌现和发展。由于其具有非接触、无损耗、高灵敏度、可全场检测等现代光学测量技术的诸多特点，特别符合三维人脸测量的需求。

现有主动式光学三维测量技术主要有傅里叶变换法、相位测量法、灰度编码法和颜色编码法。此类技术采用传统投影仪，不但系统结构复杂，体积庞大，而且对测量环境和光照条件要求苛刻，限制了其在复杂照明条件和嵌入式机器视觉领域的深入应用。

垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser，以下简称为VCSEL)，以砷化镓半导体材料为基础研制，有别于LED(发光二极管)和LD(激光二极管)等其他光源，具有体积小、圆形输出光斑、阈值电流小、易集成为大面积阵列等诸多优点。最吸引人的是它的制造工艺与发光二极管(LED)兼容，大规模制造成本低廉，VCSEL阵列可满足三维人脸数字化中结构光投影的广泛测量需求，方便集成于手机等小型化设备中，并可充分利用手机中的双摄像头，封装成三维测量模组。

双目立体视觉的三维测量方法的最关键步骤为在匹配图像中寻找同源点，通过同源点的视差并根据三角测量法可计算出目标物体距离相机的深度信息。所述的同源点即同一物点在双目相机中各自对应的像点。所述的视差即由于左右两个相机位置的差异导致物体成像位置的位移。在现有常用的同源点匹配算法中，由于两个相机的位置差异产生图像形变以及投影结构光图案的变形往往导致错误匹配。

三维重建算法和结构光的种类密切相关，一种新的可用于三维轮廓测量的结构光提出总要伴随与之对应的算法。王少卿等人提出一种结合双目立体视觉和达曼激光点阵的三维测量方法【参见在先技术1：王少卿等，基于达曼光栅的物体三维轮廓测量模组及测量方法，中国发明专利CN 10254347A】，该方法利用光栅投影点阵计算三维点云，该方法的缺陷是无法对单个或几个点阵进行分别控制，当投影点阵过于密集的时候匹配同源点容易出错。

由于目前普通CCD响应时间极短，以时间序列展开，可得到结构光投影图案序列，从而实现对人脸三维信息的高效获取。基于时间序列的结构光投影模型在三维人脸测量中已有运用【参见在先技术2：周常河等，用于双目视觉三维测量的同源点快速匹配方法，中国发明专利CN 103900494A】，但该方法对时序投影图案的要求比较高，导致对集成投影单元要求比较高，并不适合集成于小型化模组当中。

在投影结构光采用VCSEL阵列的实施例中，为了得到不相干的结构光图案，对VCSEL光源的排列有特殊要求，在集成化的制作工艺上增加了难度，并且当集成投影单元微型化之后，光源，光学元件等散热性较差，温度的变化会对集成投影单元投射的图案产生影响，制造的误差也会影响到投射图案，从而影响三维重构计算的精度。

发明内容

为了解决上述问题，本发明提出一种基于VCSEL阵列光源的双目三维人脸测量模组及时序测量方法。

本发明的技术解决方案如下：

1一种基于VCSEL的三维人脸测量模组，其特点在于该模组包括：微处理器、集成投影单元、由左红外相机和右红外相机构成的双目相机、数模转换模块、频率同步控制模块、数据传输模块，所述的微处理器的第一输出端与所述的频率同步控制模块的输入端相连，所述的频率同步控制模块的输出端分别与所述的集成投影单元、左红外相机和右红外相机的输入端相连，所述的微处理器的第二输出端经所述的数模转换模块与所述的集成投影单元相连，所述的左红外相机的输出端和右红外相机的输出端经所述的数据传输模块与所述的微处理器的输入端相连；

所述的集成投影单元由依次的控制电路、VCSEL阵列光源、VCSEL光源、投影透镜和扩束透镜组成，所述VCSEL阵列光源衬底上的每个VCSEL光源由所述的控制电路单独控制打开或关闭，所述的频率同步控制模块控制所述的每个VCSEL光源进行打开或关闭状态切换的时间间隔为编码周期T_s，每经过一个编码周期T_s，VCSEL阵列光源向空间投射出不同的组合光点点阵图案；

所述的左红外数码相机由依次的左CCD阵列、左物透镜、左窄带通滤波片构成，所述的右红外数码相机由依次的右CCD阵列、右物透镜、右窄带通滤波片构成。

所述的集成投影单元包含由n(或n₁×n₂)个VCSEL光源组成的VCSEL阵列光源，每个VCSEL光源由控制电路单独控制打开或者关闭，生成单个可控的红外激光投影光点，即共n(或n₁×n₂)个可控光点均匀地投射到被测物体表面。

利用所述的基于VCSEL的三维人脸测量模组对人脸三维轮廓的测量方法，该方法包括如下步骤：

1)在模组搭建完成后，利用标定装置对左红外相机和右红外相机进行标定，获取相机投影矩阵参数M₁和M₂，M₁＝K₁[I 0]，M₂＝K₂[R^T-R^TT]，其中K₁、K₂为摄像机内部参数，I为单位阵，R、T为两相机中心之间的旋转分量和平移分量；

2)在微处理器中预先设计好三维编码矩阵A，元素为0或1，维度为n₁×n₂×N，n₁×n₂对应VCSEL阵列光源的空间分布，包含n₁行VCSEL光源，每行有n₂个VCSEL光源，共有n₁×n₂个VCSEL光源，N对应投影图案的幅数，同时以不会发生编码混淆的原则确定编码周期T_s；

3)利用三维编码矩阵A对VCSEL阵列光源输出的红外激光点阵图案进行时序编码，把N幅含有时序编码信息的点阵图案投射向被测人脸：所述的时序编码为每隔一个时间间隔T_s投影一幅由VCSEL阵列光源输出的不同投影图案，VCSEL阵列光源上的每个VCSEL光源由控制电路单独控制打开或关闭，投影为亮或暗光点，每间隔一个时间间隔T_s，三维编码矩阵A的元素A(row,column,dim)的值为1，映射相对位置的VCSEL光源打开，投影亮光点，值为0，映射为相对位置的VCSEL光源(109)关闭，不投影光点，每一个投影光点沿时序展开编码为一个由亮和暗变换组成，长度为N亮暗不断交替的时序光点；

4)在测量过程中，每隔一个编码周期T_s，投影到被测人脸表面的红外激光点阵图案沿时序发生变化，所述的频率同步控制模块控制所述的双目红外相机以与投影图案变化相同的频率1/T_s同频地采集数字图像，经所述的数据传输模块传输至所述的微处理器；

5)所述的微处理器把左红外相机采集到的N幅数字图像与右红外相机采集到的N幅数字图像进行数据处理，滤波去噪后提取激光光点的质心，同时解码N幅图像中光点点阵的时序光点，转化为二值化时序数列进行同源点匹配，所述的同源点匹配为N幅左图像中某一光点亮暗变化形成的二值化时序数列与N幅右图像中同一光点亮暗变化形成的二值化时序数列一一对应匹配；

6)利用步骤5)获取的同源点质心坐标在左右图像的像素空间中有不同的数值，所述的微处理器(101)根据三角测量法计算出投影光点P的三维空间坐标，把所有投影光点的三维空间坐标集合{P}进行存储，重构后获得的人脸三维点云数据，实现三维人脸数字化。

所述步骤2)中设计的三维编码矩阵A，对投影红外激光点阵图案按时序进行编码的具体方法包括下列步骤：

①针对不同的VCSEL阵列光源，所述的微处理器计算出最少需要N幅二值化编码点阵图案投射至待测物体表面，N＞log₂n，n为VCSEL阵列光源(108)中VCSEL光源的个数，n＝n₁×n₂；

②所述的微处理器由枚举法设计n个长度为N的由数值0和1组成的二值化时序数列a_i(i＝1,2,...,n)，时序数列a_i的个数n与VCSEL阵列光源的VCSEL光源的个数n₁×n₂一致，且时序数列a_i之间两两互不相同；

③所述的微处理器把时序数列a_i组合成三维编码矩阵A,维度为n₁×n₂×N，元素A(row，column，dim)的值为1或0，对应于某个指定VCSEL光源的打开或关闭，矩阵A中的row对应VCSEL光源在VCSEL阵列光源中的行，column对应VCSEL光源在VCSEL阵列光源中的列，dim对应投影点阵图案变换的间隔时间dim×T_s；

④由于投影点阵图案的空间定位需求，当dim为1时，三维编码矩阵A应设计为全是数值1，即A(row,column,1)＝1；

⑤以不会发生编码混淆的原则，确定每幅投影点阵图案切换的间隔时间，即VCSEL阵列光源开关变化的编码周期T_s，所述不会发生编码混淆的原则是指：第一，该测量方法利用了时序展开，T_s过小在左右相机获取投影图像时，由于被测表面深度的差异会产生编码混淆，具体T_s值需根据左右相机的采集设备距离人脸的距离确定，第二，NT_s为整个测量过程中投影点阵图案的编码时间，在这个时间内被测物体需保持相对静止，在三维人脸测量中为保证测量的准确性，NT_s应远远小于人脸相对位置发生变化的时间。

所述的步骤5)中解码N幅图像中光点点阵的时序光点，转化为二值化时序数列进行同源点匹配的具体方法为：

①所述的微处理器对左右相机采集的2N幅含有被测物体三维信息的光点点阵投影图像进行滤波预处理，过滤噪声；

②所述的微处理器以左相机获取的第一幅图像为基准，进行阈值分割，将每一个光点划分为独立的连通区域，求取每一个光点的质心坐标(uL，vL)，以该质心坐标表示光点在像素空间中的位置并记录下数值1，得到第一幅左图像光点的集合{(uLi，vLi，aLi)}，其中i＝1,2,...,n，表示n个光点的索引，aLi为时序数列‘1’，此集合已包含图像中所有光点点阵的空间坐标信息(uLi，vLi)；

③所述的微处理器用左相机的第一幅图像求得的质心坐标(uLi，vLi)去检测左图像序列中第二幅图像的对应光点为1或0，具体是用比较阈值Δ的方法，所述的阈值Δ为第一幅图像光点像素平均值的二分之一，大于Δ的图像光点标记为数值1，小于Δ的图像光点标记为数值0，将得到的相应的值加入光点集合{(uLi，vLi，aLi)}，aLi记录为时序数列‘10’或‘11’，对N幅左相机图像重复此方法，得到完整的含有编码信息的左图的光点集合{(uLi，vLi，aLi)}；

④所述的微处理器参照上述②③步，对右相机获取的N幅图像做同样的处理，得到右图的光点集合{(uRi，vRi，aRi)}；

⑤所述的微处理器(101)利用时序数列aLi和aRi进行点对点双目匹配，建立左图的光点集合{(uLi，vLi，aLi)}和右图的光点集合{(uRi，vRi，aRi)}之间的一一对应关系，具体方法为提取出时序数列aLi和aRi，用二分查找法去做匹配，得到左右图像中匹配的同源点，得到索引为i的任意一对同源点p₁和p₂的像素空间坐标分别为(uLi，vLi)和(uRi，vRi)。

本发明的有益效果：

1)在三维测量中引入二值化时序数列编码解码的概念，提高了同源点匹配的准确度，降低了匹配难度，具有匹配速度快，鲁棒性强，受环境光因素影响小等特点。

2)把时序数列与VCSEL阵列相结合，充分利用VCSEL阵列的光源特点，解决了现有点阵光光强偏弱，点阵效果差，能量利用率低等问题。

3)采用的VCSEL阵列具备集成度高，体积小，批量生产成本低等优点，解决了传统光学三维轮廓测量模组采用数码投影仪体积大成本高的问题。

4)本发明结合双目立体视觉原理测量人脸的三维数据，测量方法计算速度快，设备结构简单紧凑，集成度高，实施方便，可嵌入于智能手机等能小型设备中。

附图说明

图1是本发明实施例的模组俯视示意图。

图2是本发明实施例的VCSEL阵列光源示意图。

图3是本发明实施例的VCSEL阵列光源产生的点阵光编码示意图。

图4是本发明实施例的按时序数列编码示意图

图5是本发明实施例的基于时序数列的匹配示意图。

图6是本发明实施例的测量方法流程图。

具体实施方式

下面结合具体实施方式和附图对本发明作进一步说明，但不应以此限制本发明的使用范围和保护范围。

本发明用于测量人脸的三维轮廓信息，除了三维人脸数字化外，本发明所使用的测量模组和测量方法也可以用于使用到三维人脸测量的目标识别，人机交互等应用领域。

参阅图1，图1所示是本发明一个实施例的测量模组俯视示意图。由图可见，本发明测量模组10由微处理器101，左红外摄像机102A，右红外摄像机102B，集成投影单元103，数模转换模块104，频率同步控制模块105，数据传输模块106和控制电路107组成。其中所述集成投影单元103由控制电路107，VCSEL阵列光源108，投影透镜110，扩束透镜111组成。所述左红外相机102A由窄带通滤波片114A，左物透镜113A，左CCD112A组成，右红外相机102B由窄带通滤波片114B，右物透镜113B，右CCD114B组成。集成投影单元103，左红外摄像机102A，右红外摄像机102B之间的位置关系理论上并无特定要求，但为了提高测量效果和测量范围，通常将两个摄像机对称地放置在集成投影单元103的两侧，使左侧相机和右侧相机和投影中心光轴之间相交成一定的角度，确保两个摄像机中待测物体都被完整地拍摄。

集成投影单元103主要包含光源及光学元件，光源包含如VCSEL阵列光源等光源用于发射红外不可见光。光学元件用于对光源发出的光束进行调制，以向目标空间投射点阵图案光束。

在一些实施例中，所述VCSEL阵列光源可以任意排列。

在一些实施例中，所述时序编码由数值0或1组成的三维编码矩阵A完成，预先设置在微处理器的存储单元中。所述编码矩阵A的维度大小由VCSEL阵列的VCSEL光源个数n(n₁×n₂)以及投影点阵图案的幅数N决定。

在一些实施例中，所述VCSEL阵列光源的开关状态变化由微处理器中预先存储的编码矩阵A经由数模转换模块把1和0转化为高低电平信号，通过控制电路分别单独控制VCSEL光源的打开或关闭。

本发明提供一种二值化时序数列匹配的测量方法。左右红外相机的采集频率由频率同步控制模块控制，使得其与VCSEL阵列光源状态变化的频率1/T_s保持一致。所述左右红外相机分别获取的N幅投影点阵图案的点阵光点经过解码为由0和1组成的二值化时序数列。在一些实施例中，采用二分查找法对二值化时序数列进行左右图像的同源点匹配。

本发明给出了采用所述时序测量方法所需最少投影图案的幅数N，N＞log₂n，N为整数。其中n为VCSEL阵列光源中VCSEL光源的个数。

所述微处理器指集成电路组成具有编程运算能力的中央处理器，具有I/O接口。当该模组嵌入集成于手机中，即为手机CPU。

所述VCSEL阵列光源指将单个输出稳定，功耗低的VCSEL光源集成于一个二维阵列上的集成激光器元件。在一些实施例中，阵列分布为矩形n₁×n₂，其中n₁为二维阵列上的行数，n₂为二维阵列上的列数。

所述数模转换模块指把设计好的三维编码矩阵A的数字信号转化为模拟高低电平的电子元器件。

所述投影透镜指将VCESL阵列光源的发射光高频滤波后并低畸变投影至被测物表面的光学镜头。

所述扩束透镜指扩大投影图案视场角的发散透镜。

所述物透镜指安装在CCD前的汇聚透镜。在一些实施例中，当集成于手机中即为手机的摄像头透镜。

所述CCD指将光信号转为为电信号的电荷耦合器件，当集成于手机中即为手机的摄像头相机。在一些实施例中，左CCD和右CCD分别放置在投影光学系统两侧，与投影光轴成一定夹角。左右相机分别同时对被测物拍摄后并将图像同步采集传送至微处理器。

所述频率同步控制模块指实现对应的左右红外相机同步获取有效帧图像的频率和通过时序进行编码的光点点阵图案的变换频率相一致所需的硬件和软件及组合。

所述控制电路指通过微处理器和数模转换模块实现对VCSEL阵列光源衬底上每一个VCSEL光源进行单独控制功能的模拟控制电路。在一些实施例中，具备采样模块，I/O模块，计时器。

参阅图2，图2是图1中VCSEL阵列光源108的一种实施例。由于VCSEL光源201(或202)体积小，集成度高，可以在面积1mm×1mm的半导体衬底203上集成成百上千个VCSEL光源，所构成的VCSEL阵列体积小，功耗低，有利于产生结构光点阵图案化光束。VCSEL阵列光源108包括衬底203，多个打开状态的VCSEL光源201和关闭状态的VCSEL光源202，以及控制组件(图中未示出)组成。多个VCSEL光源在衬底203上以阵列形式排列，并在控制组件的控制下发光，芯片上的每一个VCSEL光源都被控制组件独立控制打开或关闭。所有VCSEL光源开关状态的切换都由频率同步控制模块同步，即经过固定的周期T_s，VCSEL阵列光源投射出不同的光点点阵图案光束。

VCSEL阵列光源108中VCSEL光源的排列按照不同的应用需求可以有多种，比如均匀规则二维矩阵排列或者以随机图案进行不规则排列。在一些实施例中，VCSEL阵列光源108发射出具有一定发散角的多光束，多光束经由投影透镜110后形成与VCSEL阵列排列图案相对应的投影点阵图案光束，再经由扩束透镜后形成具有更大视场角的图案化光束，确保各个VCSEL光源109对应的图案光束不产生重叠，投射向被测空间。每经过间隔时间T_s，VCSEL阵列光源108的开关状态由控制电路107控制而发生变化，导致投射出与其对应的的图案化光束随着周期性时间发生变化。

参阅图3，图3是根据本发明一个实施例的投射点阵图案编码示意图，由集成投影单元103在某个时刻t产生的一幅红外激光光点阵列示意图编码成由0和1构成的二维矩阵。在一些实施例中投影点阵图案为规则二维矩阵形式排列的光点图案，如图3，规则点阵投影图案对应于VCSEL阵列光源108的规则二维矩阵排列形式。在另一些实施例中则是无规则排列的点阵图案，对采用本发明的测量方法均可行。在一些具体实施例中，VCSEL阵列光源108任意排列都可以使用本发明的时序匹配方法。定义每一个光点的空间二维坐标序号(n₁，n₂)，该光点图案示意图与VCSEL阵列的VCSEL光源在空间位置上形成一一对应关系。

所述微处理器输出沿时间序列展开的三维编码矩阵A，经由数模转换模块输出编码的高低电平经由控制电路控制VCSEL光源。数值为1对应于数模转换模块中输出的高电平，对应于VCSEL光源的打开，亦对应于投影点阵图案中的亮点；数值为0对应于数模转换模块中输出的低电平，对应于VCSEL光源的关闭，也对应于投影点阵图案中的暗点。

参阅图4，图4所述为一个实施例中按时序展开数列编码示意图。既可以表示为三维编码矩阵A在时间方向第三维度上的展开示意图，也可以表示为N幅含有编码信息的亮暗相间的投影光点点阵图案。维度为n₁×n₂×N的三维矩阵A(row,column,dim)的元素值为0或1。其中dim对应时间上的维度dim×T_s，亦对应投射点阵图案的第dim幅；空间上的维度为n₁×n₂，亦对应为VCSEL阵列光源衬底上VCSEL光源的阵列排列。A空间上的坐标与VCSEL光源一一对应，即VCSEL阵列中坐标为(n₁，n₂)的VCSEL光源对应于三维矩阵A中空间坐标为(n₁，n₂)的一组元素为0或1的时序数列a(n₁,n₂)。当沿时间维度dim展开，可得到N个二维矩阵，A₁，A₂，...，A_N。A(n₁，n₂，i)表示第三维时间坐标为i，空间坐标为(n₁，n₂)值为0或1的数值。对于每一个确定的空间坐标(n₁，n₂)，沿时序展开可得到一个由0和1组成的数值序列a(n₁，n₂)，其值为A(n₁，n₂，1)，A(n₁，n₂，2)，...A(n₁，n₂，i)...A(n₁，n₂，N)。在设计时序编码矩阵A时，为确保时序数列的唯一性，需满足任意两个时序数列互不相等的条件，即a(n₁,n₂)≠a(n₁',n₂')。在确定编码矩阵A的第三个维度N时需满足条件，N＞log₂(n₁×n₂)。

在一些实施例中，开始时刻的第一个二维矩阵A₁的所有数值均为1，表示为第一幅投影光点点阵图案的所有光点均为亮点，此设计方式可以从左右相机获取的第一帧图像中就得到所有光点的空间相对位置以及数量，便于后续更简化的同源点匹配算法。在一些实施例中，可以按照以下步骤设计三维编码矩阵A：

(1)由公式N＞log₂(n₁×n₂)确定至少需N幅图像进行编码，N为整数，可以得到最小的N值。N值越小，总测量时间NT_s就越小，由于人脸并不是绝对静态的物体，N越小将会越有利于测量效果。

(2)第一个二维矩阵A₁设计为全是数值1构成的矩阵，由此可以在左右相机获取的第一幅图案中，确定出所有待定测量点的像素空间坐标，即所有时序数列a的第一个值均取1。

(3)在第1个数列a₁中取2个数为1，其余N-2个数为0。对第二个1的位置进行N-1次枚举排列，即可得到(N-1)！/(N-2)！个两两互不相同的时序数列。

(4)在第N+1个数列a中取3个数为1，其余N-3个数为0，对后两个1的位置进行N-1次枚举排列，即可得到(N-1)！/(N-3)！个两两互不相同的时序数列。

(5)以此类推，用计算机枚举的方法对长度为N的时序数列a_i进行编码'100...01','100...10',...,直至得到第n₁×n₂个时序数列。由以上所述方法得到的n₁×n₂个时序数列a_i两两互不相同。

(6)把得到的n₁×n₂个数列排列为n₁行和n₂列的形式，转化为维度为n₁×n₂×N的三维编码矩阵A。

所述投射N幅由三维编码矩阵A所确定的点阵图案是指三维编码矩阵A经由数模转换模块,控制电路同时对n₁×n₂个VCSEL光源单独控制。确定其时间间隔为T_s，即VCSEL光源的亮暗变化频率为1/T_s。把矩阵A在空间位置(n₁，n₂)的元素0或1组成的数值序列分别编码为低电平或高电平，由此方式给对应空间位置的VCSEL光源提供电压，该VCSEL光源即可发射出开关跳变的脉冲激光。0编码为关，即投影为暗点，1编码为开，即投影为亮点，数值序列a(n₁，n₂)转化为亮暗相间的脉冲激光。由n₁×n₂个VCSEL光源组成投影点阵图案，每一幅点阵图案的间隔时间为T_s。此编码方法实现了三维编码矩阵A，VCSEL阵列光源，投影光点点阵图案三者之间的映射关系。

所述确定点阵图案变化间隔时间T_s需满足条件如下：

(1)此测量方法利用了时序展开，T_s过小在左右相机接收投影点阵图像序列会产生时序混淆。在一些实施例中，由于人脸最大深度差在厘米数量级，左右相机的采集设备距离人脸米级范围内，T_s选取在毫秒量级即可满足条件。

(2)在测量过程中NT_s为整个时序结构光的编码时间，在这个时间段被测物体需保持相对静止。在三维人脸测量中为保证测量的准确性，测量时间不宜过长，NT_s应远远小于人脸相对位置移动的时间。由于人脸不属于快速移动的物体，非常容易满足在整个测量过程中，人脸保持相对静止，在一些实施例中，当T_s选取在毫秒量级时，用此方法进行人脸三维测量，人脸应保持不晃动在1秒钟左右即可。

测量过程中，将红外激光光点阵列投影到被测人脸上，频率同步控制模块105控制左右摄像机以一定的帧速度同步采集图像，即与预先设置的编码间周期时间T_s保持一致。所得的原始图像通过数据传输模块106传入微处理器。

参阅图5，图5为本发明中的基于二值化时序数列匹配的示意图。左右相机分别获取的N幅投影点阵图案沿时间轴向展开，解码后得到由0和1组成长度为N的二值化时序数列501和502。所述时序数列501在左相机中，以及所述时序数列502在右相机中是唯一的，在左(右)相机的点阵图案中时序数列之间两两互不相同。由左右相机分别获取的N幅数字图像中得到n(或n₁×n₂)个时序数列，像通过二分查找发搜索唯一的时序数列去匹配左右图像的同源点。所有所述时序数列的第一个数值503都为1，用于确定阵列光点图案的位置及数量。具体计算方法为：

(1)对图像进行滤波去噪预处理。

(2)以左相机第一幅图像为基准，进行阈值分割，将每一个光点图案划分为独立的连通区域，求取每一个光点的质心(uL，vL)。以质心坐标表示光点并记录下数值1，得到第一幅左图像光点的集合{(uLi，vLi，ai)}，其中i＝1,2,...,n，表示图像中n个光点的索引，ai为二值化时序数列‘1’，对应于三维编码矩阵A第一幅投影图案都为‘1’，此集合已包含所有的光点点阵像素空间坐标。

(3)用第一幅图像求得的质心坐标(uLi，vLi)去检测左相机第二幅图像的对应位置光点是1或0。具体可以用比较阈值Δ的方法，所述Δ为第一幅图像光点像素平均值的二分之一，大于Δ标记为数值1，小于Δ标记为数值0。把得到的相应的值加入光点集合{(uLi，vLi，ai)}，ai变为'10'或者‘11’。对N幅左摄像机图像重复此方法，得到完整的含有编码信息的光点集合{(uLi，vLi，aLi)}。

(4)参照上述(2)(3)步，对右相机图像做同样的处理，得到右图的集合{(uRi，vRi，aRi)}。

(5)利用时序数列a，进行同源点匹配，建立{(uLi，vLi，aLi)}和{(uRi，vRi，aRi)}之间的一一对应关系。具体方法为提取出时序数列aLi和aRi，用二分查找法去作匹配。

(6)对每一对匹配的同源点采用三角测量法计算得到描述人脸三维信息的点云。在一些实施例中，采用高斯牛顿迭代法求解非线性最小二乘问题min{D(M₁P-p₁)²+D(M₂P-p₂)²}，式中D为重投影点和测量点之间的距离，M₁，M₂为标定所得左右相机的投影矩阵，P为待求光点在空间中的三维坐标，p₁和p₂为测量所得的同源点在左右图像像素空间的二维坐标，对于某一对待求同源点p₁和p₂的值为(uLi，vLi)和(uRi，vRi)。把重构后获得的人脸三维点云数据(集合{P})进行存储或传输至云服务器端，实现三维人脸数字化。

所述解码匹配同源点指从左右摄像机拍摄的N幅红外点阵图案中找到一一对应的同源点像素。设定在开始时刻t₀左相机和右相机采集到的图像分别为I_left(t₀)和I_right(t₀)，由于三维编码矩阵A中第一个二维矩阵A₁全为1构成，对应所有t₀时刻的投影光点都为亮点，光点在像素空间的位置坐标即可在双目相机获取的第一帧图像中确定。在t₀+NT_s时刻左相机和右相机采集到的图像分别为I_left(t₀+NT_s)和I_right(t₀+NT_s)，在此过程中图像的采集频率保持在1/T_s。在测量时间NT_s内，被测人脸保持相对静止，左右相机分别得到N幅红外点阵图案，所述N幅红外点阵图案像素空间坐标分布情况完全相同，区别在于n(n₁×n₂)个投影光点亮暗不断交错变化的序列不同。由投影光点的亮暗相间解码得到的二值化时序数列两两互不相同，可使用二分查找法快速找到左右相机数字图像中的同源点。

所述同源点激光光点提取质心具体是通过对预处理的红外图像进行阈值分割，将红外图像中的每一个激光光点划分为孤立的连通区域，计算两幅红外图像中的图像坐标系下每个连通区域的质心坐标。以此质心坐标表示每个激光光点像素空间坐标，即左图像光点为(uL,vL),右图像光点为(uR,vR)。

参阅图6，图6为本发明一个实施例的测量方法流程图。在一些实施例中，所得人脸三维点云数据可由本地存储模块存储，也可以由网络传传输至云服务器端。数据处理中的任何一步甚至是所有计算过程都可以在云服务器端进行，而从实现三维人脸数字化工程。

本发明提供了一种三维人脸测量的模组，采用VCSEL阵列光源投影和双目立体视觉的方式进行测量。本发明还提出了一种针对多个像素点的时序测量方法。运行微处理器中的编码程序，通过控制电路对VCSEL阵列光源的每个VCSEL光源进行开关控制，经过固定周期时间T_s形成随时序变化的红外结构光点阵投影图案。左右两个红外相机的图像采集频率和结构光编码频率由频率同步控制模块保持一致。通过同频率采集N幅投影图案，对N幅投影图案采用本发明提出的二值化时序数列匹配的方式解码，匹配同源点，再利用双目立体视觉三角测量方法重构出三维人脸数据。另外，本发明还提出了采用所述时序测量方法所需编码投影图案的最小幅数N以及数值三维编码矩阵A的设计方法。本发明具有同源点匹配精准，信噪比高，测量适应性强，适用于复杂照明环境，测量精度高，充分利用VCSEL阵列易集成，封装性能良好的特点，大规模制造成本低，模组结构紧凑，适合集成于手机等小型化普及设备中进行三维人脸测量，并能充分利用手机现有的摄像头组件，符合三维人脸数字化的诸多需求。

以上是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出同等代替或明显变形，这些代替或变形都应当视为本发明的保护范围。

Claims (5)

1.一种基于VCSEL的三维人脸测量模组(10)，其特征在于该模组包括：微处理器(101)、集成投影单元(103)、由左红外相机(102A)和右红外相机(102B)构成的双目相机、数模转换模块(104)、频率同步控制模块(105)、数据传输模块(106)，所述的微处理器(101)的第一输出端与所述的频率同步控制模块(105)的输入端相连，所述的频率同步控制模块(105)的输出端分别与所述的集成投影单元(103)、左红外相机(102A)和右红外相机(102B)的输入端相连，所述的微处理器(101)的第二输出端经所述的数模转换模块(104)与所述的集成投影单元(103)相连，所述的左红外相机(102A)的输出端和右红外相机(102B)的输出端经所述的数据传输模块(106)与所述的微处理器(101)的输入端相连；在所述的微处理器(101)中预先设计好三维编码矩阵A，元素为0或1，维度为n₁×n₂×N，n₁×n₂对应VCSEL阵列光源(108)的空间分布，包含n₁行VCSEL光源(109)，每行有n₂个VCSEL光源(109)，共有n₁×n₂个VCSEL光源(109)，N对应投影图案的幅数；

所述的集成投影单元(103)由依次的控制电路(107)、VCSEL阵列光源(108)、VCSEL光源(109)、投影透镜(110)和扩束透镜(111)组成，所述VCSEL阵列光源(108)衬底上的每个VCSEL光源(109)由所述的控制电路(107)单独控制打开或关闭，所述的频率同步控制模块(105)控制所述的每个VCSEL光源(109)进行打开或关闭状态切换的时间间隔为编码周期T_s，每经过一个编码周期T_s，VCSEL阵列光源(108)向空间投射出不同的组合光点点阵图案；

所述的左红外相机(102A)由依次的左CCD阵列(112A)、左物透镜(113A)、左窄带通滤波片(114A)构成，所述的右红外相机(102B)由依次的右CCD阵列(112B)、右物透镜(113B)、右窄带通滤波片(114B)构成。

2.根据权利要求1所述的基于VCSEL的三维人脸测量模组，其特征在于，所述的集成投影单元(103)包含由n或n₁×n₂个VCSEL光源(109)组成的VCSEL阵列光源(108)，每个VCSEL光源(109)由控制电路(107)单独控制打开或者关闭，生成单个可控的红外激光投影光点，即共n或n₁×n₂个可控光点均匀地投射到被测物体表面。

3.利用权利要求1所述的基于VCSEL的三维人脸测量模组对人脸三维轮廓的测量方法，其特征在于，该方法包括如下步骤：

1)在模组搭建完成后，利用标定装置对左红外相机(102A)和右红外相机(102B)进行标定，获取相机投影矩阵参数M₁和M₂，M₁＝K₁[I 0]，M₂＝K₂[R^T-R^TT]，其中K₁、K₂为摄像机内部参数，I为单位阵，R、T为两相机中心之间的旋转分量和平移分量；

2)在微处理器(101)中预先设计好三维编码矩阵A，元素为0或1，维度为n₁×n₂×N，n₁×n₂对应VCSEL阵列光源(108)的空间分布，包含n₁行VCSEL光源(109)，每行有n₂个VCSEL光源(109)，共有n₁×n₂个VCSEL光源(109)，N对应投影图案的幅数，同时以不会发生编码混淆的原则确定编码周期T_s；

3)利用三维编码矩阵A对VCSEL阵列光源(108)输出的红外激光点阵图案进行时序编码，把N幅含有时序编码信息的点阵图案投射向被测人脸：所述的时序编码为每隔一个时间间隔T_s投影一幅由VCSEL阵列光源(108)输出的不同投影图案，VCSEL阵列光源(108)上的每个VCSEL光源(109)由控制电路(107)单独控制打开或关闭，投影为亮或暗光点，每间隔一个时间间隔T_s，三维编码矩阵A的元素A(row,column,dim)的值为1，映射相对位置的VCSEL光源(109)打开，投影亮光点元素A的值为0，映射为相对位置的VCSEL光源(109)关闭，不投影光点，每一个投影光点沿时序展开编码为一个由亮和暗变换组成，长度为N亮暗不断交替的时序光点；

4)在测量过程中，每隔一个编码周期T_s，投影到被测人脸表面的红外激光点阵图案沿时序发生变化，所述的频率同步控制模块(105)控制双目红外相机(102)以与投影图案变化相同的频率1/T_s同频地采集数字图像，经所述的数据传输模块(106)传输至所述的微处理器(101)；

5)所述的微处理器(101)把左红外相机(102A)采集到的N幅数字图像与右红外相机(102B)采集到的N幅数字图像进行数据处理，滤波去噪后提取激光光点的质心，同时解码N幅图像中光点点阵的时序光点，转化为二值化时序数列进行同源点匹配，所述的同源点匹配为N幅左图像中某一光点亮暗变化形成的二值化时序数列与N幅右图像中同一光点亮暗变化形成的二值化时序数列一一对应匹配；

6)利用步骤5)获取的同源点质心坐标在左右图像的像素空间中有不同的数值，所述的微处理器(101)根据三角测量法计算出投影光点P的三维空间坐标，把所有投影光点的三维空间坐标集合{P}进行存储，重构后获得的人脸三维点云数据，实现三维人脸数字化。

4.根据权利要求3所述的测量方法，其特征在于，所述步骤2)中设计的三维编码矩阵A，对投影红外激光点阵图案按时序进行编码的具体方法包括下列步骤：

①针对不同的VCSEL阵列光源(108)，所述的微处理器(101)计算出最少需要N幅二值化编码点阵图案投射至待测物体表面，N＞log₂n，n为VCSEL阵列光源(108)中VCSEL光源(109)的个数，n＝n₁×n₂；

②所述的微处理器(101)由枚举法设计n个长度为N的由数值0和1组成的二值化时序数列a_i，i＝1,2,...,n，时序数列a_i的个数n与VCSEL阵列光源(108)的VCSEL光源(109)的个数n₁×n₂一致，且时序数列a_i之间两两互不相同；

③所述的微处理器(101)把时序数列a_i组合成三维编码矩阵A,维度为n₁×n₂×N，元素A(row，column，dim)的值为1或0，对应于某个指定VCSEL光源(109)的打开或关闭，矩阵A中的row对应VCSEL光源(109)在VCSEL阵列光源(108)中的行，column对应VCSEL光源(109)在VCSEL阵列光源(108)中的列，dim对应投影点阵图案变换的间隔时间dim×T_s；

④由于投影点阵图案的空间定位需求，当dim为1时，三维编码矩阵A应设计为全是数值1，即A(row,column,1)＝1；

⑤以不会发生编码混淆的原则，确定每幅投影点阵图案切换的间隔时间，即VCSEL阵列光源(108)开关变化的编码周期T_s，所述不会发生编码混淆的原则是指：第一，该测量方法利用了时序展开，T_s过小在左右相机获取投影图像时，由于被测表面深度的差异会产生编码混淆，具体T_s值需根据左右相机的采集设备距离人脸的距离确定，第二，NT_s为整个测量过程中投影点阵图案的编码时间，在这个时间内被测物体需保持相对静止，在三维人脸测量中为保证测量的准确性，NT_s应远远小于人脸相对位置发生变化的时间。

5.根据权利要求3所述的方法，其特征在于，所述的步骤5)中解码N幅图像中光点点阵的时序光点，转化为二值化时序数列进行同源点匹配的具体方法为：

①所述的微处理器(101)对左右相机采集的2N幅含有被测物体三维信息的光点点阵投影图像进行滤波预处理，过滤噪声；

②所述的微处理器(101)以左红外相机(102A)获取的第一幅图像为基准，进行阈值分割，将每一个光点划分为独立的连通区域，求取每一个光点的质心坐标(uLi，vLi)，以该质心坐标表示光点在像素空间中的位置并记录下数值1，得到第一幅左图像光点的集合{(uLi，vLi，aLi)}，其中i＝1,2,...,n，表示n个光点的索引，aLi为时序数列‘1’，此集合已包含图像中所有光点点阵的空间坐标信息(uLi，vLi)；

③所述的微处理器(101)用左红外相机(102A)的第一幅图像求得的质心坐标(uLi，vLi)去检测左图像序列中第二幅图像的对应光点为1或0，具体是用比较阈值Δ的方法，所述的阈值Δ为第一幅图像光点像素平均值的二分之一，大于Δ的图像光点标记为数值1，小于Δ的图像光点标记为数值0，将得到的相应的值加入光点集合{(uLi，vLi，aLi)}，aLi记录为时序数列‘10’或‘11’，对N幅左相机图像重复此方法，得到完整的含有编码信息的左图的光点集合{(uLi，vLi，aLi)}；

④所述的微处理器(101)参照上述②③步，对右红外相机(102B)获取的N幅图像做同样的处理，得到右图的光点集合{(uRi，vRi，aRi)}；

⑤所述的微处理器(101)利用时序数列aLi和aRi进行点对点双目匹配，建立左图的光点集合{(uLi，vLi，aLi)}和右图的光点集合{(uRi，vRi，aRi)}之间的一一对应关系，具体方法为提取出时序数列aLi和aRi，用二分查找法去做匹配，得到左右图像中匹配的同源点，得到索引为i的任意一对同源点p₁和p₂的像素空间坐标分别为(uLi，vLi)和(uRi，vRi)。

Images