CN105761243A - 基于结构光投影的三维全脸照相系统及其照相方法 - Google Patents

Abstract

本发明公开了一种基于结构光投影的三维全脸照相系统及其照相方法，该系统包括处理单元和至少两个测量单元，其中，测量单元包括投影组件、照相元件和同步模块，投影组件将结构光视频投影在被采集者的面部，照相元件拍摄被采集者的人脸图像并实时传输至处理单元，同步模块实现照相元件与投影组件的同步，使照相元件的曝光时间涵盖在投影组件投影每一帧结构光视频的出光时间内。本发明还通过将测量单元设置在不同的位置，来实现左耳到右耳或右耳到左耳180度范围的三维人脸图像采集，并由处理单元的拼接融合而获得三维全脸数据，而且实现每帧结构光场图像与照相元件的曝光时间的同步，缩短拍摄时间，从而降低拍摄期间人体的运动对精度的影响。

Description

基于结构光投影的三维全脸照相系统及其照相方法

技术领域

本发明涉及三维测量领域，特别涉及一种基于结构光投影的三维全脸照相系统及方法。

背景技术

从数字图像中计算物体面形三维数据是光学三维传感领域长期研究的焦点，而有着高速、高精度和非接触优点的光学三维测量技术一直是研究的热点。近来，在工业测量、逆向工程、视觉导航、航空航天、影视娱乐、虚拟现实、整形美容等领域，特别在用于国家安防领域的3D人脸识别和3D打印行业受到极度的关注和研究。基于三角测量原理的三维测量技术已有几十年的研究，新技术方案层出不穷，应用领域不断拓展，以此为基础的三维面形测量产品研发进展非常迅速，已经在很多领域取得了较大的成功。

随着信息网络的高速发展，信息安全、公共安全已经成为关系国计民生的重大领域，生物特征识别技术近年发展迅猛，指纹识别、虹膜识别、掌纹识别、人脸识别等很多技术都已经有比较成熟的产品，特别是人脸识别技术因其适应场景广、非接触的特点获得了广泛的关注。目前成熟的人脸识别技术大多基于二维人脸识别技术，而该技术受角度、光照、年龄、表情、饰物等方面的影响导致基于二维图像的人脸识别应用受到了极大的限制。

为了解决二维识别技术面临的角度瓶颈，三维人脸识别就要要求有左耳到右耳的三维全脸数据。然而，目前市场上很少有针对人像的具有高精度点云、高保真纹理、数据处理自动化程度高以及拍摄时间耗时短的三维全脸数据采集方案。

发明内容

本发明的目的在于：实现左耳到右耳或右耳到左耳180度范围的三维全脸数据采集，并进一步解决三维人脸图像采集过程用时长，被采集者有过多的轻微运动而影响人脸图像采集的精度，以及被采集者的用户体验差，对被采集者的眼睛干扰大的问题。

为了实现上述发明目的，本发明提供一种基于结构光投影的三维全脸照相系统，其包括处理单元和至少两个测量单元，所述测量单元均与所述处理单元连接，其中，

所述测量单元包括投影组件、照相元件和同步模块，所述同步模块输出结构光视频至所述投影组件，所述投影组件将所述结构光视频投影在被采集者的面部，而且所述同步模块每发送一帧所述结构光视频，同时还发送一个触发信号至所述照相元件，使所述照相元件拍摄被采集者的人脸图像，并且所述照相元件将拍摄的人脸图像实时传输至所述处理单元；

所述测量单元依次完成对被采集者的人脸图像的采集，并且当全部的所述测量单元采集完成后，所述处理单元根据每个所述测量单元采集的人脸图像，以及所述测量单元中所述照相元件的标定参数和所述测量单元间的标定参数，而生成被采集者面部的三维模型。

根据一种具体的实施方式，所述触发信号为脉冲信号，并且在所述同步模块在发送每一帧所述结构光视频的起始时刻，发送所述触发信号至所述照相元件，以使所述照相元件的曝光时间涵盖在所述投影组件投影每一帧所述结构光视频的出光时间内。

根据一种具体的实施方式，所述处理单元分别与每个所述测量单元连接，以接收每个所述测量单元实时传输的人脸图像，并控制每个所述测量单元在依次完成对被采集者的人脸图像的采集。

根据一种具体的实施方式，所述处理单元分别与每个所述测量单元连接，并且每个所述测量单元依次连接，所述测量单元在完成对被采集者的人脸图像的采集后，发送切换信号至下一个所述测量单元，使下一个所述测量单元开始对被采集者的人脸图像的采集，直至全部的所述测量单元完成对被采集者的人脸图像的采集。

根据一种具体的实施方式，所述照相元件由两台彩色相机构成，所述照相元件拍摄的人脸图像为被采集者面部的彩色图像，所述处理单元对所述彩色图像进行处理，获得纹理图像和灰度图像，并根据所述测量单元中两台所述彩色相机的标定参数和所述测量单元间的标定参数，而生成被采集者面部的三维模型。

根据一种具体的实施方式，所述照相元件由一台彩色相机和两台黑白相机构成，所述照相元件拍摄的人脸图像包括为被采集者面部的彩色图像和被采集者面部的黑白图像，所述处理单元分别对所述彩色图像和所述黑白图像进行处理，而获得纹理图像与灰度图像，并根据所述测量单元中所述彩色相机与两台所述黑白相机的标定参数以及所述测量单元间的标定参数，而生成被采集者面部的三维模型。

基于同一发明构思，本发明还提供一种应用于本发明基于结构光投影的三维全脸照相系统的照相方法，其包括如下步骤，

S1：将标定靶置于拍摄空间中，将各个测量单元分别设置在不同的位置，以获得不同的视角，使每个所述测量单元的照相元件依次拍摄所述标定靶，并拍摄的图片实时地传输至处理单元，所述处理单元根据所述测量单元拍摄的标定靶图片，计算出的各个所述测量单元中所述照相元件的标定参数，以及所述测量单元间的标定参数；

S2：所述测量单元依次完成对被采集者的人脸图像的采集，并且在所述测量单元采集被采集者人脸图像的过程中，所述测量单元的同步模块输出结构光视频传输至所述测量单元的投影组件，由所述投影组件将所述结构光视频投影在被采集者的面部，而且所述同步模块每发送一帧所述结构光视频，同时还发送一个触发信号至所述照相元件，使所述照相元件拍摄被采集者的人脸图像，并且所述照相元件将拍摄的人脸图像实时传输至所述处理单元；

S3：当全部的所述测量单元采集完成后，由所述处理单元根据每个所述测量单元采集的人脸图像，以及所述测量单元中所述照相元件的标定参数和所述测量单元间的标定参数，而生成被采集者面部的三维模型。

根据一种具体的实施方式，S1步骤包括，

对所述标定靶图片进行滤波降噪的图像预处理操作；对经图像预处理后的所述标定靶图片，进行特征提取，以定位所述标定靶图片上所述标定靶的特征，并采用平面标定方法，计算出的各个所述测量单元中所述照相元件的标定参数，以及所述测量单元间的标定参数。

根据一种具体的实施方式，所述触发信号为脉冲信号，并且在所述同步模块在发送每一帧所述结构光视频的起始时刻，发送所述触发信号至所述照相元件，以使所述照相元件的曝光时间涵盖在所述投影组件投影每一帧所述结构光视频的出光时间内。

根据一种具体的实施方式，S3步骤包括，

所述处理单元对每个所述测量单元采集的人脸图像进行处理，获得纹理图像和灰度图像；所述处理单元对所述灰度图像进行相位计算并获得相位图，根据所述标定参数，对所述相位图进行极线校正，再通过对所述相位图进行相位匹配而获得视差图，消除所述视差图的误匹配点后，生成所述点云数据；所述处理单元采用纹理特征提取算法对所述纹理图像进行纹理特征提取，以获得所述纹理；

所述处理单元获得各个所述测量单元在其对应视角下的所述点云数据和所述纹理后，所述处理单元对各个所述测量单元在其对应视角下的所述点云数据进行点云融合，以获得全脸点云，再根据所述全脸点云和各个所述测量单元对应视角下拍摄的所述纹理图像的所述纹理，进行纹理融合，以生成被采集者面部的三维模型。

与现有技术相比，本发明的有益效果：通过将多个测量单元设置不同的位置，来实现左耳到右耳或右耳到左耳180度范围的三维人脸图像采集，并由处理单元将各个测量单元的人脸数据拼接融合，而获得三维全脸数据，同时还运用结构光投影技术和投影与拍摄同步技术，不仅保障了人脸图像采集的精度，还大幅地减小人脸图像采集过程的用时，从而避免由于用时过长，被采集者产生过多的轻微运动而人脸图像采集的精度，提升了被采集者的用户体验，同时降低被采集者由于用时过长而产生不适。

附图说明

图1是本发明系统的结构示意图；

图2是本发明测量单元与处理单元的连接示意图；

图3是本发明测量单元的工作时序图；

图4是本发明照相元件的第一结构示意图；

图5是本发明照相元件的第二结构示意图；

图6是本发明方法的流程图。

具体实施方式

下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

结合图1和图2分别所示的本发明系统的结构示意图和本发明测量单元的结构示意图；其中，本发明的基于结构光投影的三维全脸照相系统，其包括处理单元和至少两个测量单元，测量单元均与处理单元连接。

其中，测量单元包括投影组件、照相元件和同步模块；同步模块输出结构光视频至投影组件，投影组件将结构光视频投影在被采集者的面部，而且同步模块每发送一帧结构光视频，同时还发送一个触发信号至照相元件，使照相元件拍摄被采集者的人脸图像，并且照相元件将拍摄的人脸图像实时传输至处理单元。

测量单元依次完成对被采集者的人脸图像的采集，并且当全部的测量单元采集完成后，处理单元根据每个测量单元采集的人脸图像，以及测量单元中照相元件的标定参数和测量单元间的标定参数，而生成被采集者面部的三维模型。

在实施时，本发明的同步模块可以预先设定若干工作模式，每个工作模式下对应一个特定的频率，发送结构光视频和触发信号，只需要可编程地控制同步模块的工作模式切换，即可实现发送频率的切换。

在实施时，每个测量单元依次对被采集者的人脸图像进行采集，当一个测量单元采集完成后，并由下一个测量单元进行采集时，处理单元开始处理上一个测量单元传输的人脸图像，从而提高时间的利用效率。

在具体实施时，本发明实现测量单元依次完成对被采集者的人脸图像采集的方式是由处理单元来统一切换，其中，处理单元分别与每个测量单元连接，不仅接收每个测量单元实时传输的人脸图像，还通过控制每个测量单元在依次完成对被采集者的人脸图像的采集。

或者，是通过测量单元之间来实现切换。处理单元分别与每个测量单元连接，并且每个测量单元依次连接，测量单元在完成对被采集者的人脸图像的采集后，发送切换信号至下一个测量单元，使下一个测量单元开始对被采集者的人脸图像的采集，直至全部的测量单元完成对被采集者的人脸图像的采集。

本发明中的投影组件投影的结构光视频其灰度等级不超过投影组件支持的灰度等级，从而减小在人脸图像采集过程中，投影的结构光视频对人眼的干扰小。例如在人脸图像采集过程中，将投影组件投影的结构光视频保持在100～200Lux之间，比如投影组件支持的最高灰度值为255，实际投影组件投影的结构光视频的灰度值降为200。

而且，为了保证照相元件拍摄投影组件投影在被采集者脸部的图像的质量，对结构光视频的灰度等级进行降低处理后，结合人脸皮肤的反射率统计分布，相应地调整照相元件的参数(如光圈大小)，并达到投影图像亮度与采集图像动态范围的平衡。而且，可以将照相元件实时采集的图像输出至一个显示器，使调节照相元件参数的过程可视化，从而提高调节的准确度和照相元件的拍摄质量。

结合图3所示的本发明同步模块的工作示意图；其中，触发信号为脉冲信号，并且在同步模块在发送每一帧结构光视频的起始时刻，发送触发信号至照相元件，以使照相元件的曝光时间涵盖在投影组件投影每一帧结构光视频的出光时间内。

在本发明中，投影组件出光前，照相元件已经准备好了，在投影组件即将出光的那一刻给出触发信号到照相元件，从而照相元件能够在投影组件投影每一帧结构光视频的出光时间内进行曝光，因此，只要投影组件的结构光视频投影完成，对被采集者的人脸图像的采集也同时完成。

结合图4所示的本发明照相元件的第一结构示意图；其中，照相元件由两台彩色相机CCD1和CCD2构成，此时照相元件拍摄的人脸图像为被采集者面部的彩色图像，处理单元对彩色图像进行处理，获得纹理图像和灰度图像，并根据测量单元中两台彩色相机的标定参数和测量单元间的标定参数，而生成被采集者面部的三维模型。

结合图5所示的本发明照相元件的第二结构示意图；其中，照相元件由一台彩色相机CCD3和两台黑白相机CCD1与CCD2，此时照相元件拍摄的人脸图像包括为被采集者面部的彩色图像和被采集者面部的黑白图像，并且黑白相机CCD1与CCD2拍摄被采集者面部的黑白图像，彩色相机CCD3拍摄被采集者面部图像的彩色图像。而且，处理单元分别对彩色图像和黑白图像进行处理，而获得纹理图像与灰度图像，并根据测量单元中彩色相机与两台黑白相机的标定参数以及测量单元间的标定参数，而生成被采集者面部的三维模型。

本发明中的处理单元可以选用具有相应功能的微型计算机、PC以及平板电脑等。

基于同一发明构思，本发明还提供一种基于结构光投影的三维全脸照相方法。结合图6所示的本发明方法的流程图；其中，本发明基于结构光投影的三维全脸照相方法包括如下步骤：

S1：将标定靶置于拍摄空间中，将各个测量单元分别设置在不同的位置，以获得不同的视角，使每个测量单元的照相元件依次拍摄标定靶，并拍摄的图片实时地传输至处理单元，处理单元根据测量单元拍摄的标定靶图片，计算出的各个测量单元中照相元件的标定参数，以及测量单元间的标定参数。

S2：测量单元依次完成对被采集者的人脸图像的采集，并且在测量单元采集被采集者人脸图像的过程中，测量单元的同步模块输出结构光视频传输至测量单元的投影组件，由投影组件将结构光视频投影在被采集者的面部，而且同步模块每发送一帧结构光视频，同时还发送一个触发信号至照相元件，使照相元件拍摄被采集者的人脸图像，并且照相元件将拍摄的人脸图像实时传输至处理单元。

S3：当全部的测量单元采集完成后，由处理单元根据每个测量单元采集的人脸图像，以及测量单元中照相元件的标定参数和测量单元间的标定参数，而生成被采集者面部的三维模型。

在本发明应用于基于结构光投影的三维全脸照相系统的照相方法中，触发信号为脉冲信号，并且在同步模块在发送每一帧结构光视频的起始时刻，发送触发信号至照相元件，以使所相机的曝光时间涵盖在投影组件投影每一帧结构光视频的出光时间内。

在本发明中，S1步骤包括，对标定靶图片进行滤波降噪的图像预处理操作；对经图像预处理后的标定靶图片，进行特征提取，以定位标定靶图片上标定靶的特征，并采用平面标定方法，计算出的各个测量单元中照相元件的标定参数，以及测量单元间的标定参数。

在实施时，将各个测量单元设置不同的位置，并且保证各个测量单元能够实现左耳到右耳或右耳到左耳180度范围的三维人脸图像采集。各个测量单元完成标定靶图片的拍摄后，处理单元根据标定靶图片，计算出的各个测量单元中照相元件的标定参数，以及测量单元间的标定参数。一旦标定参数取定后，各个测量单元的相对位置不能改变，若必须移动测量单元，必须将所有的测量单元整体移动。

在本发明中，S3步骤包括，处理单元对每个测量单元采集的人脸图像进行处理，获得纹理图像和灰度图像；处理单元对灰度图像进行相位计算并获得相位图，根据标定参数，对相位图进行极线校正，再通过对相位图进行相位匹配而获得视差图，消除视差图的误匹配点后，生成点云数据；处理单元采用纹理特征提取算法对纹理图像进行纹理特征提取，以获得纹理。

处理单元获得各个测量单元在其对应视角下的点云数据和纹理后，处理单元对各个测量单元在其对应视角下的点云数据进行点云融合，以获得全脸点云，再根据全脸点云和各个测量单元对应视角下拍摄的纹理图像的纹理，进行纹理融合，以生成被采集者面部的三维模型。

上面结合附图对本发明的具体实施方式进行了详细说明，但本发明并不限制于上述实施方式，在不脱离本申请的权利要求的精神和范围情况下，本领域的技术人员可以作出各种修改或改型。

Claims (10)

1.一种基于结构光投影的三维全脸照相系统，其特征在于，包括处理单元和至少两个测量单元，所述测量单元均与所述处理单元连接，其中，

所述测量单元包括投影组件、照相元件和同步模块，所述同步模块输出结构光视频至所述投影组件，所述投影组件将所述结构光视频投影在被采集者的面部，而且所述同步模块每发送一帧所述结构光视频，同时还发送一个触发信号至所述照相元件，使所述照相元件拍摄被采集者的人脸图像，并且所述照相元件将拍摄的人脸图像实时传输至所述处理单元；

所述测量单元依次完成对被采集者的人脸图像的采集，并且当全部的所述测量单元采集完成后，所述处理单元根据每个所述测量单元采集的人脸图像，以及所述测量单元中所述照相元件的标定参数和所述测量单元间的标定参数，而生成被采集者面部的三维模型。

2.如权利要求1所述的基于结构光投影的三维全脸照相系统，其特征在于，所述触发信号为脉冲信号，并且在所述同步模块在发送每一帧所述结构光视频的起始时刻，发送所述触发信号至所述照相元件，以使所述照相元件的曝光时间涵盖在所述投影组件投影每一帧所述结构光视频的出光时间内。

3.如权利要求1所述的基于结构光投影的三维全脸照相系统，其特征在于，所述处理单元分别与每个所述测量单元连接，以接收每个所述测量单元实时传输的人脸图像，并控制每个所述测量单元在依次完成对被采集者的人脸图像的采集。

4.如权利要求1所述的基于结构光投影的三维全脸照相系统，其特征在于，所述处理单元分别与每个所述测量单元连接，并且每个所述测量单元依次连接，所述测量单元在完成对被采集者的人脸图像的采集后，发送切换信号至下一个所述测量单元，使下一个所述测量单元开始对被采集者的人脸图像的采集，直至全部的所述测量单元完成对被采集者的人脸图像的采集。

5.如权利要求1所述的基于结构光投影的三维全脸照相系统，其特征在于，所述照相元件由两台彩色相机构成，所述照相元件拍摄的人脸图像为被采集者面部的彩色图像，所述处理单元对所述彩色图像进行处理，获得纹理图像和灰度图像，并根据所述测量单元中两台所述彩色相机的标定参数和所述测量单元间的标定参数，而生成被采集者面部的三维模型。

6.如权利要求1所述的基于结构光投影的三维全脸照相系统，其特征在于，所述照相元件由一台彩色相机和两台黑白相机构成，所述照相元件拍摄的人脸图像包括为被采集者面部的彩色图像和被采集者面部的黑白图像，所述处理单元分别对所述彩色图像和所述黑白图像进行处理，而获得纹理图像与灰度图像，并根据所述测量单元中所述彩色相机与两台所述黑白相机的标定参数以及所述测量单元间的标定参数，而生成被采集者面部的三维模型。

7.一种应用于如权利要求1所述的基于结构光投影的三维全脸照相系统的照相方法，其特征在于，包括如下步骤，

S1：将标定靶置于拍摄空间中，将各个测量单元分别设置在不同的位置，以获得不同的视角，使每个所述测量单元的照相元件依次拍摄所述标定靶，并拍摄的图片实时地传输至处理单元，所述处理单元根据所述测量单元拍摄的标定靶图片，计算出的各个所述测量单元中所述照相元件的标定参数，以及所述测量单元间的标定参数；

S2：所述测量单元依次完成对被采集者的人脸图像的采集，并且在所述测量单元采集被采集者人脸图像的过程中，所述测量单元的同步模块输出结构光视频传输至所述测量单元的投影组件，由所述投影组件将所述结构光视频投影在被采集者的面部，而且所述同步模块每发送一帧所述结构光视频，同时还发送一个触发信号至所述照相元件，使所述照相元件拍摄被采集者的人脸图像，并且所述照相元件将拍摄的人脸图像实时传输至所述处理单元；

S3：当全部的所述测量单元采集完成后，由所述处理单元根据每个所述测量单元采集的人脸图像，以及所述测量单元中所述照相元件的标定参数和所述测量单元间的标定参数，而生成被采集者面部的三维模型。

8.如权利要求7所述的基于结构光投影的三维全脸照相方法，其特征在于，S1步骤包括，

对所述标定靶图片进行滤波降噪的图像预处理操作；对经图像预处理后的所述标定靶图片，进行特征提取，以定位所述标定靶图片上所述标定靶的特征，并采用平面标定方法，计算出的各个所述测量单元中所述照相元件的标定参数，以及所述测量单元间的标定参数。

9.如权利要求7所述的基于结构光投影的三维全脸照相方法，其特征在于，所述触发信号为脉冲信号，并且在所述同步模块在发送每一帧所述结构光视频的起始时刻，发送所述触发信号至所述照相元件，以使所述照相元件的曝光时间涵盖在所述投影组件投影每一帧所述结构光视频的出光时间内。

10.如权利要求7所述的基于结构光投影的三维全脸照相方法，其特征在于，S3步骤包括，

所述处理单元对每个所述测量单元采集的人脸图像进行处理，获得纹理图像和灰度图像；所述处理单元对所述灰度图像进行相位计算并获得相位图，根据所述标定参数，对所述相位图进行极线校正，再通过对所述相位图进行相位匹配而获得视差图，消除所述视差图的误匹配点后，生成所述点云数据；所述处理单元采用纹理特征提取算法对所述纹理图像进行纹理特征提取，以获得所述纹理；

所述处理单元获得各个所述测量单元在其对应视角下的所述点云数据和所述纹理后，所述处理单元对各个所述测量单元在其对应视角下的所述点云数据进行点云融合，以获得全脸点云，再根据所述全脸点云和各个所述测量单元对应视角下拍摄的所述纹理图像的所述纹理，进行纹理融合，以生成被采集者面部的三维模型。