CN103258346A - 一种3d照相打印系统 - Google Patents

Abstract

本发明实施例公开了一种3D照相打印方法及装置。包括：利用低精度平面测距装置获取对象的深度点云；将深度点云拟合成初始曲面；利用彩色照相装置获取对象的彩色图像；对彩色图像进行处理，获取人脸区域和背景区域；检测得到人脸五官特征点；将所述五官特征点拟合成五官曲线；以所述五官曲线为基准，修正所述初始曲面中包含的人脸曲面，提高其精度，得到修正人脸曲面；将彩色照片映射到修正曲面，得到拍摄对象的彩色3D模型；将彩色3D模型输出到3D打印机，得到3D打印像。本发明技术方案充分利用了彩色图像中的人脸特征信息，降低了对平面测距装置的精度要求，实现了用于3D打印的彩色3D建模过程的全自动化。

Description

一种3D照相打印系统

技术领域

本发明涉及计算机视觉、图像处理和计算机图形学技术领域，特别是涉及一种3D照相打印方法及装置。

背景技术

在3D打印产业中，建立3D模型，即形成打印内容，是关键和困难的环节。现有3D建模方法有两种：（1）原创模型：设计师利用3D建模软件创作3D模型；（2）逆向工程：利用主动式扫描对已有物体进行扫描得到3D数据，再利用3D建模软件加工成和已有物体相似的模型。本发明所涉及的3D建模方法属于第二类。

现有的逆向工程方法有两个缺点：（1）3D扫描仪价格昂贵；（2）建模过程不能做到自动化，耗费较大的人力。

主动式扫描是指将额外的能量投射至物体，借由能量的反射来计算三维空间的信息，常见的投射能量有一般的可见光、激光等。这类扫描技术的主要原理包括：飞行时间测距(Time-of-Flight)、结构光测距(Structured Lighting)等。飞行时间测距技术除了价格高昂且速度较慢的线扫描激光扫描设备外主要有瑞士的MESA IMAGING公司的面扫描快速三维扫描设备SR 4000，其扫描速度可达50Hz，但是该设备的空间分辨率较低，仅能达到176×144，且三维重建的精度远不如线式扫描技术，距离估计噪声较大，需要采用复杂的后处理算法才能应用。结构光测距技术是一种新兴的扫描技术，通过投影或者光栅同时投射多条光线，就可以采取物体的一个表面，只需要几个面的信息就可以完成扫描，其最大的特点是扫描速度快，而且可编程实现。近年来，以色列PrimeSense公司通过红外结构光投影技术在小型化技术上迈出了重要一步。基于上述技术，微软公司推出了Kinect三维扫描设备，该设备能够以极低的价格实时提供致密三维扫描数据。然而PrimeSense或者Kinect均只提供了支架式固定方式，采集单一角度的深度数据变化。对于需要采集被摄物体全角度结构信息时，只能将其置于移动支架或者手持扫描设备固件进行移动，便捷性与稳定性都受到很大的限制。

在申请人目前了解的技术范围内，还没有发现与本发明类似的使用低精度平面测距装置解决3D照相打印问题的技术。

发明内容

有鉴于此，本发明实施例提供了一种3D照相打印方法及装置，技术方案如下：

一种3D照相打印方法，其特征在于：

获取拍摄对象的深度点云和彩色图像；

对所获取的深度点云进行处理，得到初始曲面；

对所获取的彩色图像进行处理，得到五官曲线和边缘曲线；

以所述五官曲线和边缘曲线为基准，对所述初始曲面进行修正，得到修正曲面；

将所获得的彩色图像映射到所述修正曲面，得到彩色3D模型；

将所述彩色3D模型输出到3D打印机，得到3D打印像。

一种3D照相打印装置，其特征在于：

数据获取单元，用于获取深度点云和彩色图像，并形成初始曲面；

图像处理单元，用于对所述数据获取单元获取的彩色图像进行处理，得到五官曲线和边缘曲线；

模型修正单元，用于根据所述图像处理单元得到的五官曲线和边缘曲线，对初始曲面进行处理，得到修正曲面；

模型合成与输出单元，用于建立所述模型修正单元得到的修正曲面与所述数据获取单元获取的彩色图像之间的映射关系，得到彩色3D模型，并用某种3D打印机打印成实物。

本发明技术方案充分利用了彩色图像中的人脸特征信息和边缘信息，降低了对平面测距装置的精度要求，实现了用于3D打印的彩色3D建模过程的全自动化，并且保持了近距离人物和景物的3D打印逼真度。本发明的有益效果是：（1）采用低精度平面测距装置，可以将现有3D扫描设备的成本降低7倍以上；（2）利用彩色图像分析结果修正3D模型，使整个建模过程自动完成，可以节省人工6倍以上。

附图说明

图1为实现发明实施例3D照相打印方法的流程图。

图2为本发明方法实施例中所获取的深度距离示意图，其中颜色越深表示距离越近（黑色代表没有深度数据）。

图3为本发明方法实施例中所获取的彩色图像示意图。

图4为本发明方法实施例中对深度点云进行拟合得到的初始曲面示意图。

图5为本发明方法实施例中将彩色图像分割成人脸区域和背景区域的示意图，其中黑色为人脸区域，白色为背景区域。

图6为本发明方法实施例中在人脸区域检测得到的五官特征点示意图，特征点用白点表示。

图7为本发明方法实施例中将五官特征点拟合为五官曲线的示意图。

图8为本发明方法实施例中在背景区域检测得到的边缘特征点示意图。

图9为本发明方法实施例中将边缘特征点拟合为边缘曲线的示意图。

图10为本发明方法实施例中利用五官曲线和边缘曲线对初始曲面进行修正得到的修正曲面示意图。

图11为本发明方法实施中得到的彩色3D模型示意图。

图12为本发明实施例3D照相打印装置的结构示意图。

图13为本发明实施例数据获取单元的结构示意图。

图14为本发明实施例图像处理单元的结构示意图。

图15为本发明实施例模型修正单元的结构示意图。

图16为本发明实施例模型合成与输出单元的结构示意图。

具体实施方式

为了使本领域技术人员能够更好地理解使本发明的上述目的和优点，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1所示为发明实施例的3D照相打印方法流程图，包括以下步骤：

S101，获取拍摄对象的深度点云和彩色图像，并将深度点云拟合成初始曲面；

本发明的目的是利用低精度平面测距装置建立拍摄对象的彩色3D模型，因此，所采用的平面测距装置的平面分辨率不超过640×480像素，测距精度不高于1毫米，比如，以色列PrimeSense公司研制的PrimeSense Carmine 1.09型深度传感器。获取彩色图像的照相装置是分辨率不低于640×480的任意彩色摄像头。平面测距装置和彩色照相装置要求固定在同一个平面上，该平面被称为观测平面。本发明要求定义一个空间坐标系，所有数据都相对此坐标系进行表达。所获取的深度数据以点云的方式表达，即d(x, y)，d代表拍摄对象表面的(x, y)点到观测平面的距离。所获取的彩色图像是JPG、BMP等任意格式的图像文件或内存数据块。

获取深度数据和彩色图像的过程是：在空间坐标系中对平面测距装置进行校准，获取平面测距装置的空间姿态；将平面测距装置围绕拍摄对象转动，每转动一次，获取一个从拍摄对象表面到观测平面的距离图（图2）；在获取每个距离图的同时，用彩色照相装置获取一幅拍摄对象的彩色图像（图3）；按照平面测距装置围绕拍摄对象转动的角度，每90度为一个弧面，在每个弧面内获取的距离图和彩色图像被分成一组。在以下说明中，如果不明确指出，所述操作都是针对拍摄对象正对观测平面的组进行的。

完成上述操作后，对所获取的距离图进行对齐，得到高密度深度点云；将所述组高密度深度点云拟合成一个空间曲面（图4），保证高密度深度点云中的大部分点在所述空间曲面上，或非常接近所述空间曲面。

S102，对所获取的彩色图像进行处理，得到五官曲线和边缘曲线；

在所获取的多幅彩色图像中，选取双耳可见的任何一幅图像作为参考图像；对所述参考图像应用人脸检测算法，得到人脸区域；在所述参考图像中，将非人脸区域的图像部分称为背景区域（图5）；在所述人脸区域内，应用人脸特征检测技术，得到五官特征点（图6）；以所述五官特征点为关键点，应用曲线拟合算法，得到脸部轮廓、左眉、右眉、左眼、右眼、上嘴唇、下嘴唇共7条封闭的五官曲线（图7）；在所述背景区域内，应用边缘检测算子，得到边缘特征点（图8）；以所述边缘特征点为关键点，应用曲线拟合算法，得到若干条边缘曲线（图9）。

本发明对所采用人脸检测算法、人脸特征检测算法、边缘检测算法和曲线拟合算法均无限制。

S103，根据五官曲线和边缘曲线，对初始曲面进行空间增强，得到修正曲面；

对所述高密度深度点云和参考图像，采用异质标定算法，得到五官特征点和边缘特征点与高密度深度点云之间的异质对应关系；根据所述异质对应关系，得到五官曲线和边缘曲线在所述初始曲面上的对应曲面片；对所述曲面片，应用空间边缘增强算法，得到边缘被增强的修正曲面片；对所述曲面片全部进行空间边缘增强后，得到修正曲面（图10）。

本发明对所采用异质标定方法没有限制，只要求能够正确建立五官特征点和边缘特征点与高密度深度点云之间的异质对应关系；对所采用的空间边缘增强算法也没有限制，只要求能够在修正曲面中保留70%以上的五官特征点和边缘特征点。

S104，将彩色图像映射到修正曲面，得到彩色3D模型，并将彩色3D模型用3D打印机输出；

根据所述异质对应关系，建立修正曲面到参考图像的多对一映射关系；将修正曲面上的每个点取值为参考图像上的映射点的颜色值，得到彩色3D模型（图11）。对所述彩色3D模型数据进行处理，将其转换成某种3D打印机可以打印的3DP文件；将所述3DP文件输入到所述3D打印机的控制软件，打印出与拍摄对象外形、颜色和纹理高度相似的实物。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；也可以在分布式计算环境中实现本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

相应于上面的方法实施例，本发明实施例还提供一种3D照相打印装置，参见图12所示，包括：

数据获取单元210，用于获取深度点云和彩色图像，并形成初始曲面；

图像处理单元220，用于对所述数据获取单元210获取的彩色图像进行处理，得到五官曲线和边缘曲线；

模型修正单元230，用于根据所述图像处理单元220得到的五官曲线和边缘曲线，对初始曲面进行处理，得到修正曲面；

模型合成与输出单元240，用于建立所述模型修正单元230得到的修正曲面与所述数据获取单元获取的彩色图像之间的映射关系，得到彩色3D模型，并用某种3D打印机打印成实物。

参见图13所示，所述数据获取单元210，具体可以包括：

深度获取子单元211，用于获取从拍摄对象表面到观测平面之间的距离图；

图像获取子单元212，用于获取拍摄对象的彩色图像；

曲面生成子单元213，用于将由深度获取子单元211获取的多个距离图融合成高密度点云，并将点云拟合成初始曲面。

参见图14所示，所述图像处理单元220，具体可以包括：

图像分割子单元221，用于检测彩色图像中的人脸区域，将彩色图像分成人脸区域和背景区域两个部分；

人脸特征分析子单元222，用于在人脸区域中检测五官特征点，并将五官特征点拟合成五官曲线；

边缘特征分析子单元223，用于在背景区域中检测边缘特征点，并将边缘特征点拟合成边缘曲线。

参见图15所示，所述模型修正单元230，具体可以包括：

异质标定子单元231，用于建立五官曲线和边缘曲线与初始曲面之间的映射关系；

曲面修正子单元232，用于根据五官曲线和边缘曲线，对其在初始曲面中对应的曲面片进行空间边缘增强，得到修正曲面。

参见图16所示，所述模型合成与输出单元240，具体可以包括：

模型合成子单元241，用于建立所述模型修正单元得到的修正曲面与所述数据获取单元获取的彩色图像之间的映射关系，得到彩色3D模型；

模型打印子单元242，用于将所述彩色3D模型用某种3D打印机打印成实物。

对于装置实施例而言，由于其基本相应于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上，例如分布在服务器和客户端上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本发明还可用于众多通用或专用3D打印机环境或配置中。例如：采用FDM、SLA、SLS、LOW、PCM等任意工艺的3D打印机；工业3D打印机、个人3D打印机等。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或等同替换等，这些也应视为本发明的保护范围。

Claims (12)

1.一种3D照相打印方法，其特征在于，包括：

获取拍摄对象的深度点云和彩色图像；

对所获取的深度点云进行处理，得到初始曲面；

对所获取的彩色图像进行处理，得到五官曲线和边缘曲线；

以所述五官曲线和边缘曲线为基准，对所述初始曲面进行修正，得到修正曲面；

将所获得的彩色图像映射到所述修正曲面，得到彩色3D模型；

将所述彩色3D模型输出到3D打印机，得到3D打印像。

2.根据权利要求1所述的方法，其特征在于，所述获取拍摄对象的深度点云和彩色图像，包括：

将普通彩色照相装置和低精度平面测距装置固定在一起；

定义空间坐标系和观测平面；

在所述空间坐标系中对低精度平面测距装置进行校准，获取低精度平面测距装置的空间姿态；

将低精度平面测距装置围绕拍摄对象转动，每转动一次，获取一个从拍摄对象表面到观测平面的距离图；

在获取每个距离图的同时，用普通彩色照相装置获取一幅拍摄对象的彩色图像；

按照低精度平面测距装置围绕拍摄对象转动的角度，每90度为一个弧面，在每个弧面内获取的距离图和彩色图像被分成一组，在以下说明中，如果不明确指出，所述操作都是针对拍摄对象正对观测平面的组进行的。

3.根据权利要求1所述的方法，其特征在于，所述对所获取的深度点云进行处理，得到初始曲面，包括：

对所获取的距离图进行对齐，得到高密度深度点云；

将所述组高密度深度点云拟合成一个空间曲面，保证高密度深度点云中的大部分点在所述空间曲面上，或非常接近所述空间曲面。

4.根据权利要求1所述的方法，其特征在于，所述对所获取的彩色图像进行处理，得到五官曲线和边缘曲线，包括：

在所获取的多幅彩色图像中，选取双耳可见的任何一幅图像作为参考图像；

对所述参考图像应用人脸检测算法，得到人脸区域；

在所述参考图像中，将非人脸五官区域的人脸图像部分称为背景区域；

在所述人脸区域内，应用人脸特征检测技术，得到五官特征点；

以所述五官特征点为关键点，应用曲线拟合算法，得到脸部轮廓、左眉、右眉、左眼、右眼、上嘴唇、下嘴唇共7条封闭的五官曲线；

在所述背景区域内，应用边缘检测算子，得到边缘特征点；

以所述边缘特征点为关键点，应用曲线拟合算法，得到若干条边缘曲线。

5.根据权利要求1所述的方法，其特征在于，所述以五官曲线和边缘曲线为基准，对所述初始曲面进行修正，得到修正曲面，包括：

对所述高密度深度点云和参考图像，采用异质标定算法，得到五官特征点和边缘特征点与高密度深度点云之间的异质对应关系；

根据所述异质对应关系，得到五官曲线和边缘曲线在所述初始曲面上的对应曲面片；

对所述曲面片，应用空间边缘增强算法，得到边缘被增强的修正曲面片；

对所述曲面片全部进行空间边缘增强后，得到修正曲面。

6.根据权利要求1所述的方法，其特征在于，所述将所获得的彩色图像映射到所述修正曲面，得到彩色3D模型，包括：

根据所述异质对应关系，建立修正曲面到参考图像的多对一映射关系；

将修正曲面上的每个点取值为参考图像上的映射点的颜色值，得到彩色3D模型。

7.根据权利要求1所述的方法，其特征在于，所述将彩色3D模型输出到3D打印机，得到3D打印像，包括：

对所述彩色3D模型数据进行处理，将其转换成某种3D打印机可以打印的3DP文件；

将所述3DP文件输入到所述3D打印机的控制软件，打印出与拍摄对象外形、颜色和纹理高度相似的实物。

8.一种3D照相打印装置，其特征在于，包括：

数据获取单元，用于获取深度点云和彩色图像，并形成初始曲面；

图像处理单元，用于对所述数据获取单元获取的彩色图像进行处理，得到五官曲线和边缘曲线；

模型修正单元，用于根据所述图像处理单元得到的五官曲线和边缘曲线，对初始曲面进行处理，得到修正曲面；

模型合成与输出单元，用于建立所述模型修正单元得到的修正曲面与所述数据获取单元获取的彩色图像之间的映射关系，得到彩色3D模型，并用某种3D打印机打印成实物。

9.根据权利要求8所述的装置，其特征在于，所述数据获取单元，包括：

深度获取子单元，用于获取从拍摄对象表面到观测平面之间的距离图；

图像获取子单元，用于获取拍摄对象的彩色图像；

曲面生成子单元，用于将多个距离图融合成高密度点云，并将点云拟合成初始曲面。

10.根据权利要求8所述的装置，其特征在于，所述图像处理单元，包括：

图像分割子单元，用于检测彩色图像中的人脸区域，将彩色图像分成人脸区域和背景区域两个部分；

人脸特征分析子单元，用于在人脸区域中检测五官特征点，并将五官特征点拟合成五官曲线；

边缘特征分析子单元，用于在背景区域中检测边缘特征点，并将边缘特征点拟合成边缘曲线。

11.根据权利要求8所述的装置，其特征在于，所述模型修正单元，包括：

异质标定子单元，用于建立五官曲线和边缘曲线与初始曲面之间的映射关系；

曲面修正子单元，用于根据五官曲线和边缘曲线，对其在初始曲面中对应的曲面片进行空间边缘增强，得到修正曲面。

12.根据权利要求8所述的装置，其特征在于，所述模型合成与输出单元，包括：

模型合成子单元，用于建立所述模型修正单元得到的修正曲面与所述数据获取单元获取的彩色图像之间的映射关系，得到彩色3D模型；

模型打印子单元，用于将所述彩色3D模型用某种3D打印机打印成实物。

Images