CN107622526A - 一种基于手机面部识别组件进行三维扫描建模的方法 - Google Patents

Abstract

本发明公开了一种基于手机面部识别组件进行三维扫描建模的方法，调用手机中的红外镜头、点阵投影器和前置摄像头等用于面部识别手机的组件，通过点阵投影器向被扫描物体发射结构化红外点阵模板，由于被扫描物体的各部分深度信息不同，使点阵投影器发射的模板在反射回红外镜头时，其结果与发射时的红外点阵模板不同，通过与存储在内部的红外点阵模板行匹配后，可以获得每个像素的深度值，计算出物体的深度信息，从而获得被扫描物体的三维数据模型，再通过前置摄像头进行颜色数据信息采集，匹配数据模型中相应的像素信息，从而合成具有贴图的三维数据模型，无需另外购买外设设备，稳定性强，采集数据不易出现变形破面，不易出现无法合成情况。

Description

一种基于手机面部识别组件进行三维扫描建模的方法

技术领域

本发明属于三维扫描技术领域，具体设计一种基于手机面部识别组件进行三维扫描建模的方法。

背景技术

目前使用三维扫描设备进行三维建模的技术均采用独立硬件进行扫描采集，设备采购成本高、使用频率低，且不便于普通用户使用。代表高级三维应用技术的虚拟现实技术、增强现实技术和3D打印技术都需要大量使用三维数据模型，所以低成本的三维扫描建模技术成为了市场的强需求。

为了使普通用户可以便捷地进行三维扫描建模，需要借助用户现有设备进行数据运算，而几乎人手一部的智能手机就是最理想的载体，所以利用手机进行三维扫描建模将成为主流的低成本三维扫描解决方案。而如果使用手机外接设备进行扫描操作，则需要另外购置外接设备，无疑又增加了用户的使用成本，所以免外设的手机三维扫描技术将是主流方向。

现有的手机免外设三维扫描的解决方案是采用手机后置摄像头进行照片拍摄，得到图片序列，通过分析照片纹理、颜色等元素进行后台运算，通过立体视觉法、运动图像序列法、和广度立体学等方法，将每个纹理对象转换成三维的点面数据，从而推算出三维模型。这种方法需要在每张图片中寻找特征点，通过特征点匹配算法寻找各序列照片的对应关系，从而通过对应关系建模。该方法后台运算时间长、占用大量运算资源、稳定性差、无法采集被扫描物体的尺寸数据、且大部分计算出的三维模型均出现变形、破面甚至无法合成等情况，无法将被扫描物体进行完整的数据还原，扫描后的模型无法直接进行3D打印或者虚拟现实技术的应用，失去了三维扫描的意义，无法进入大规模民用领域。

发明内容

本发明的目的在于：解决现有的手机不能完成三维扫面建模和用照片进行三维扫描所产生的稳定性差、模型变形、破面和无法合成的问题。

本发明采用的技术方案如下：

一种基于手机面部识别组件进行三维扫描建模的方法，其特征在于，所述方法包括以下步骤：

步骤1：通过手机上的点阵投影器向被扫描物体发射预先设定的结构化红外点阵模板，并通过红外镜头接收投射至物体后反射回来的结构化红外点阵模板；

步骤2：通过手机的前置摄像头采集被扫描物体的色彩数据，并标记采集点对应被扫描物体各部分，获得标记数据；

步骤3：计算红外镜头接收的结构化红外点阵模板与预先设定的结构化红外点阵模板之间的差异，得出被扫描物体各部分的深度值；

步骤4：根据步骤3所得的深度值匹配步骤2所得标记数据，然后进行相应处理，重建被扫描物体的三维数据模型；

步骤5：将步骤4所得的三维数据模型对应的标记数据与步骤2所采集的色彩信息相对应，建立纹理贴图，得到被扫描物体的三维数据。

通过调用手机自带的用于面部识别的红外镜头、点阵投影器和前置摄像头等面部识别组件来实现对物体的扫描，将存储器中的结构化红外点阵模版投射到被扫描物体的表面，然后通过红外镜头接收反射回的红外点阵，并计算发射和反射回的结构化红外点阵模版差异得出各部分的深度值，重建被扫描物体的三维数据模型，然后匹配通过手机前置摄像头采集的色彩标记数据进行处理，建立纹理贴图得到被扫描物体的三维数据。大大简化了三维扫描的复杂程度，扫描过后的数据可不用再传输到电脑进行计算而就手机内部组件进行运算，解决了现有的无外设三维扫描技术的稳定性差、模型变形、破面和无法合成的问题，并且通过此方法，三维扫描建模，不再需要任何的外设设备，仅通过一部手机就能完成，使三维扫面建模更简单。

优选地，所述方法的所有步骤的数据采集，均通过调用手机中用于面部识别的相关组件红外镜头、点阵投影器和前置摄像头来完成，将整个三维扫描功能移植到手机上，无需任何的外设设备就能完成三维扫描，实现了随时随地进行三维扫描。

优选地，所述步骤4中对数据的处理方式包括平滑处理、对齐处理和去光照处理，相比现有的无外设三维扫描技术，扫描效果更好，而且不用再进行复杂的立体视觉法、运动图像序列法和广度立体学等复杂的运算，简化了扫描过程的复杂程度。

优选的，所述的所有步骤中的计算均可使用手机内部组件进行离线运算，也可以通过将采集数据和云端计算机进行传输，由云端计算机进行在线运算，即使没有网络也能用手机进行完整的三维扫描，不再依赖任何的外设设备，还可根据实际情况选择不同的运算设备以提升扫描的效率。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明中，对比手机照片建模，具有稳定性强、采集数据不易出现变形破面和不易出现无法合成情况等优势；

2、本发明中，利用手机自带的面部识别组件进行三维数据扫描，对比手机外设扫描仪，具有无需增加成本投入、无需另外购买外设设备的优势；

3、本发明中，主要优势在于低成本、快速、高效、便捷、稳定性强的三维数据扫描计算；

4、本发明中，当进行数据合成时，可使用手机内部组件进行离线运算，也可以通过将红外采集数据和云端计算机进行传输，由云端计算机进行在线运算，有无网络均可进行扫描。

5、本发明中，采集到的数据，分别存储，不用让所有采集到的数据随整个流程流动，减少了手机系统资源的占用，提升了手机的工作效率。

附图说明

图1为本发明的流程示意图；

图2为手机结构示意图；

图中标记：1-红外镜头，2-前置摄像头，3-点阵投影器。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，一种基于手机面部识别组件进行三维扫描建模的方法，其特征在于，所述方法包括以下步骤：

步骤1：通过手机上的点阵投影器3向被扫描物体发射预先设定的结构化红外点阵模板，并通过红外镜头1接收投射至物体后反射回来的结构化红外点阵模板；

步骤2：通过手机的前置摄像头2采集被扫描物体的色彩数据，并标记采集点对应被扫描物体各部分，获得标记数据；

步骤3：计算红外镜头1接收的结构化红外点阵模板与预先设定的结构化红外点阵模板之间的差异，得出被扫描物体各部分的深度值；

步骤4：根据步骤3所得的深度值匹配步骤2所得标记数据，然后进行相应处理，重建被扫描物体的三维数据模型；

步骤5：将步骤4所得的三维数据模型对应的标记数据与步骤2所采集的色彩信息相对应，建立纹理贴图，得到被扫描物体的三维数据。

通过调用手机自带的用于面部识别的红外镜头1、点阵投影器3和前置摄像头2等面部识别组件来实现对物体的扫描，将存储器中的结构化红外点阵模版投射到被扫描物体的表面，然后通过红外镜头接1收反射回的红外点阵，并计算发射和反射回的结构化红外点阵模版差异得出各部分的深度值，重建被扫描物体的三维数据模型，然后匹配通过手机前置摄像头2采集的色彩标记数据进行处理，建立纹理贴图得到被扫描物体的三维数据。大大简化了三维扫描的复杂程度，扫描过后的数据可不用再传输到电脑进行计算而就手机内部组件进行运算，解决了现有的无外设三维扫描技术的稳定性差、模型变形、破面和无法合成的问题，并且通过此方法，三维扫描建模不再需要任何的外设设备，仅通过一部手机就能完成，使三维扫面建模更简单。

相比现有的无外设三维扫描技术方案：扫描照片，通过立体视觉法、运动图像序列法、和广度立体学等方法，将每个纹理对象转换成三维的点面数据，从而推算出三维模型，再利用数据采集时拍摄的照片针对物体模型相应点位进行匹配，从而得出数据贴图。本发明很好的解决了其稳定性差、模型变形、破面和无法合成的问题，即没有成本增加，完成效果也更好。

实施例2

如图1所示，在实施例1的基础上，所述步骤4中对数据的处理方式包括平滑处理、对齐处理和去光照处理，相比现有的无外设三维扫描技术，扫描效果更好，而且不用再进行复杂的立体视觉法、运动图像序列法和广度立体学等复杂的运算，简化了扫描过程的复杂化程度。

实施例3

如图1所示，在实施例1的基础上，所述步骤1-4所进行的各种数据采集，均通过调用手机中用于面部识别的相关组件红外镜头1、点阵投影器3和前置摄像头2来完成，只用手机，不需要任何的外设装备就可完成三维扫面建模，操作简单方便。

实施例4

如图1所示，在实施例1的基础上，所述的所有步骤中的计算均可使用手机内部组件进行离线运算，也可以通过将采集数据和云端计算机进行传输，由云端计算机进行在线运算，即使没有网络也能用手机进行完整的三维扫描，不再依赖任何的外设设备，还可根据实际情况选择不同的运算设备以提升扫描的效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于手机面部识别组件进行三维扫描建模的方法，其特征在于，所述方法包括以下步骤：

步骤1：通过手机上的点阵投影器(3)向被扫描物体发射预先设定的结构化红外点阵模板，并通过红外镜头(1)接收投射至物体后反射回来的结构化红外点阵模板；

步骤2：通过手机的前置摄像头(2)采集被扫描物体的色彩数据，并标记采集点对应被扫描物体各部分，获得标记数据；

步骤3：计算红外镜头(1)接收的结构化红外点阵模板与预先设定的结构化红外点阵模板之间的差异，得出被扫描物体各部分的深度值；

步骤4：根据步骤3所得的深度值匹配步骤2所得标记数据，然后进行相应处理，重建被扫描物体的三维数据模型；

步骤5：将步骤4所得的三维数据模型对应的标记数据与步骤2所采集的色彩信息相对应，建立纹理贴图，得到被扫描物体的三维数据。

2.根据权利要求1所述的基于手机面部识别组件进行三维扫描建模的方法，其特征在于：所述方法的所有步骤的数据采集，均通过调用手机中用于面部识别的相关组件来完成。

3.根据权利要求1所述的基于手机面部识别组件进行三维扫描建模的方法，其特征在于：所述步骤4中对数据的相应处理，包括平滑处理、对齐处理和去光照处理。

4.根据权利要求1所述的基于手机面部识别组件进行三维扫描建模的方法，其特征在于：所述的所有步骤中的计算均可使用手机内部组件进行离线运算，也可以通过将采集数据和云端计算机进行传输，由云端计算机进行在线运算。