CN108381916A - 一种非接触识别缺损形貌的复合3d打印系统及方法 - Google Patents

Abstract

本发明公开了一种非接触识别缺损形貌的复合3D打印系统及方法。该系统由图像识别系统、运动控制系统和数据处理系统三部分组成。其中，图像识别系统包括光源和数字摄像头，实现缺损部位图像实时采集以及捕获打印打印头当前位置。运动控制系统包括多自由度机械臂和打印头，机械臂可安装在使打印头能被识别的任意位置，打印头安装在多自由度机械臂末端。数据处理系统实现图像识别系统和运动控制系统之间的数据实时转换、打印头自动对准、路径特征点提取和打印控制。该系统可以快速识别形貌各异的缺损部位，同步控制打印过程，实现边识边打印，包括但不限于实时修复缺损组织和机械零件加工得到应用。

Description

一种非接触识别缺损形貌的复合3D打印系统及方法

技术领域

本发明属于机械制造中增材制造技术领域，具体涉及一种非接触识别缺损形貌的复合3D打印系统及方法。

背景技术

近年来，3D打印技术迅速发展，在汽车、航空航天、医药和生物研究领域扮演越来越重要的角色，出现了种类繁多的3D打印机。

以现有生物医学领域的应用为例，在外科修复中，现有3D打印技术主要用于定制化手术模型和个性化种植体制作，现有的流程是对缺损部位的形貌特征进行完整的提取，在计算机中建立完整的三维模型后对其进行分层处理，然后再控制生物打印机进行逐层打印，这一过程显著的缺点手术周期长。从缺损部位获取完整的三维模型需要耗费大量的时间；3D打印模型制作周期也很长，一般在数月之内；对于需要马上进行缺损部位处理，如动物皮肤擦伤等情况，现有的3D打印方法和设备无能为力。

此外，现有3D打印设备的一般采用机床式运动平台和封闭的龙门框架结构。打印头安装运动轴上，打印头运动一般只能在X、Y、Z坐标轴上做直线运动，采用这种结构，打印机硬件占用面积大，打印范围受到运动轴的限制，只能在不超过坐标轴极限值围成的空间内进行打印，打印过程中严格限制打印对象的位置，不能随意移动。以上缺点使3D打印技术在修复领域和制造领域的更广范围应用受到很大限制。

发明内容

为了克服上述不足，本发明提出了一种非接触识别缺损形貌的复合3D打印系统及方法。

本发明采用如下技术方案来实现的：

一种非接触识别缺损形貌的复合3D打印系统，包括图像识别系统、运动控制系统和数据处理系统；其中，

图像识别系统包括设置在机架上的光源和数字摄像头，运动控制系统包括多自由度机械臂和打印头；

光源用于产生平行光，数字摄像头用于实现缺损部位图像实时采集以及捕获打印头中心点位置；打印头安装在多自由度机械臂末端，实现对缺损部位的打印；数据处理系统包括计算机，用于实现图像识别系统和运动控制系统之间的数据实时转换、打印头自动对准、路径特征点提取和打印控制，在缺损部位内部实现对其填补修复。

本发明进一步的改进在于，图像识别系统还包括底板，机架和多自由度机械臂设置在底板上。

本发明进一步的改进在于，机架采用半封闭式机架，包括垂直方向上安装在上的两个竖直型材，以及水平方向上分别与两个竖直型材垂直连接的两个水平型材，两个水平型材上安装有横梁，形成半封闭式机架，图像识别系统安装在该横梁上。

一种非接触识别缺损形貌的复合3D打印方法，该打印方法基于上述一种非接触识别缺损形貌的复合3D打印系统，打印过程中，该打印方法具有实时识别打印功能，包括：设置图像识别层厚，获取缺损部位最底层的图像和打印头中心点图像、确定打印起始点，随后在计算机图像处理软件中用离散数据点拟合缺损形貌，提取路径特征点，计算机发出指令控制多自由度机械臂运动至打印头中心点与打印起始点重合后，打印头开启，开始第一层的打印；第一层打印完成后，打印头返回初始位置，图像识别系统再次扫描已填充打印材料的缺损部位表面，重新设置层厚，获取当前表面的三维图像和打印头中心点图像，经计算机处理，重新确定打印起始点，控制多自由度机械臂运动和打印头开启，开始第二层打印；循环采用此方法逐层打印，直至填补缺损部位，观察修复效果，控制打印结束。

本发明进一步的改进在于，机架的初始高度由数字摄像头的分辨率决定，分辨率确定后，机架高度固定不变。

本发明进一步的改进在于，数字摄像头同时获取缺损部位的形貌信息和打印头中心点位置的坐标信息，其中，打印头中心点位置前标定，选取打印材料最后脱离打印头的点为打印头中心点。

本发明进一步的改进在于，图像识别系统采用非接触测量法获取缺损部位的形貌，图像识别系统通过有序的离散数据点拟合当前缺损部位表面形貌，每一个数据点包含X轴、Y轴和Z轴的坐标值；选取缺损部位数据点中Z坐标最小缺损部位最深点且在X-Y平面内与打印头中心点距离最近的点作为打印起始点。

本发明进一步的改进在于，计算机控制多自由度机械臂运动的指令为带有当前扫描层面法线方向的多自由度坐标打印指令，其中，打印指令包含的自由度数目与选用机械臂自由度数目一致。

本发明具有如下有益的技术效果：

本发明提供的一种非接触识别缺损形貌的复合3D打印系统，其整体结构简单，体积较小，质量轻，集成度高。半开放式机架克服了现有封闭式的龙门框架结构对打印范围的限制，减少了对缺损部位所属打印对象尺寸的限制，调整打印对象姿态时也更加方便。半开放式机械臂既能保证整体结构刚度，为机械臂提供稳定的固定位置，又能灵活适应打印环境。例如打印生物材料时，需要无菌通风环境，此时既可以将设备整体放入超净台也可以直接在机械臂和打印对象上搭建局部无菌环境，便于改造。在修复半径较大的环形零件时，可以直接在底板上搭建夹具放置零件，免除了封闭式机架拆卸后放置零件再安装机架的繁琐过程。此外，底板起到支撑框架和固定机械臂的作用，可以根据使用场合设计多种形式，不局限于平板。这拓宽了整套系统的应用领域，减少了使用场地的限制。

进一步，识别系统中光源和数字摄像头的选取可以根据缺损部位的大小、成像质量要求、成像原理灵活决定。利用现代光电检测技术，可选用结构光法、三角测量法、干涉法等方法灵活搭建硬件。

进一步，多自由度机械臂的使用，可以克服传统打印机的运动平台占地面积大、运动范围小、打印头控制不灵活的缺点，发挥多机械臂结构紧凑、节约空间、操作方便、运动范围大的优势。

进一步，多自由度机械臂只要安装在使打印头中心点处于图像识别系统有效的识别范围内即可，其灵活的安装位置能有效减少对图像识别系统干扰，使系统对缺损形貌的识别结果更加精准。

进一步，通过选择或设计不同类型的夹具夹持不同种类的打印头，可以实现多种类型的成型方式，不局限于打印某一种特定材料或应用领域。

本发明提供的一种非接触识别缺损形貌的复合3D打印方法，光源和数字摄像头的使用可以快速获取不同缺损部位的表面形貌而不依赖于既定的模型，同时，计算机能够快速地将缺损形貌数据实时地转换成机械臂路径数据，节省时间，实时性强，实现了自动化和高效率。

进一步，采用非接触式识别方法，具有结构机凑、识别范围大、灵敏度高、速度快，不用配置复杂的机械机构，减少了系统误差的来源。

进一步，数字摄像头同时获取缺损形貌信息和打印头中心点坐标。在每次打印时，因为采取“扫描一层——打印一层”的方法，所以当打印对象发生移动时，因为采用实时扫描同步运动的方式，所以大大减少了对下一次打印结果的影响。现有的打印方法，先建立完整的三维模型，按照既定模型逐层打印，当打印过程中某一层出现缺陷时，仍按部就班地打印，该缺陷无法及时修正，对后续打印有很大影响甚至造成打印结构塌陷。采用本发明的打印方法，基于扫描当前层的三维信息进行下一层的打印，实时控制每一层的打印过程，可提高打印质量，减少结构损伤。

进一步，本发明中计算机输出的打印指令为带有当前扫描层面法线方向的多自由度坐标打印指令，打印指令包含的自由度数目与选用机械臂自由度数目一致。打印时打印头垂直于层面法线方向可以减少层与层之间接触的受力不均，提高层间接合强度。

综上所述，本发明提出了一种非接触识别缺损形貌的复合3D打印系统及方法。其可以快速识别形貌各异的缺损部位，及时反应，同步控制打印过程，包括但不限于快速实时修复形貌各异缺损组织和机械零件加工得到应用。

附图说明

图1为本发明一种非接触识别缺损形貌的复合3D打印系统的主视图。

图2为捕捉打印打印头中心位置的主视图。

图3为捕捉打印打印头中心位置的俯视图。

图4为本发明一种非接触识别缺损形貌的复合3D打印方法的工作流程图。

图中：1为光源，2为数字摄像头，3为机架，4为多自由度机械臂，5为打印头，6为计算机，7为缺损部位，8为打印起始点，9为打印头中心点，10为图像识别系统有效范围，11为底板。

具体实施方式

以下结合附图对本发明进行进一步详细说明。

如图1所示，本发明提供的非接触识别缺损形貌的复合3D打印系统，由图像识别系统、运动控制系统和数据处理系统三部分组成。其中，图像识别系统由光源1和数字摄像头2组成，光源1和数字摄像头2并列固定安装在机架3上，分别连接到计算机6上，机架3采用半封闭式结构。

其中，图像识别系统采用非接触测量法获取缺损部位的三维轮廓。例如，光源在物体表面投射平行光束，其反射的图像会在数字摄像头上成像，成像的位置由于光束在物体表面投射点高度的不同而发生偏移，其偏移量与物体高度信息存在一定的对应关系将图像上传至计算机中，利用图像处理软件，根据成像后的光束偏移量推算出物体的轮廓信息，用离散数据点存储这些信息。

图像识别系统启动前需要在计算机中设置识别层的厚度，然后获取基于当前层厚的缺损层图像和打印头中心点图像。这些图像经过软件处理以有序离散数据点的形式存储在计算机中，每一个数据点含有XYZ三坐标信息。计算机自动选取缺损部位数据点中Z坐标最小(缺损部位最深点)且在X-Y平面内与打印头中心点距离最近的点作为打印起始点。打印起始点的设置是为了提高打印头运动到打印区域的精度以保证修复精度。

运动控制系统由多自由度机械臂和打印头组成，打印头安装在多自由度机械臂末端。打印头的作用使打印材料脱离打印头进入缺损部位，相应的，打印头有与之配套的供料系统保证打印材料的供给。不同的打印头可以依靠不同的夹具安装在机械臂末端来实现不同的打印方式。

运动控制系统由计算机控制。计算机将图像识别系统获取的缺损部位形貌图像以有序离散数据点的形式存储起来，在计算机上同步从有序离散点数据中提取路径点，将其转换为机械臂运动的路径信息，即带有分层面法线方向的多自由度坐标打印指令，进一步细化为具有特定精度、行间距、起始位置的路径点。计算机控制机械臂上的打印头运动到打印起始点，依照划分好的路径点开始当前层打印。

数据处理系统由计算机组成，数据处理系统实现图像识别系统和运动控制系统之间的数据实时转换、打印头自动对准、路径特征点提取和打印控制。在提取路径点时，可以采用三种方式：1)按间隔个数提取，如每间隔5个数据点提取为一个路径点；2)按间隔距离提取点，如间隔1mm提取一个数据点；3)按数据总量提取，如在所有的数据点中提取300个数据点。随后，按照不同路径形式将其转换为具有多自由度坐标、特定精度、行间距、起始位置的路径，打印速度及打印头开闭信号，进一步转换为控制机械臂及打印头的控制文件，实现图像识别系统获取的缺损形貌数据到运动控制系统机械臂路径数据之间的转换。

本发明的具体结构说明如下：

如图1所示，对于图像识别系统来说，可利用现代光电及三册技术实现图像获取。以激光三角法为例，光源1产生平行光效果，可采用如下方法将点光源放在凸透镜的焦点上，在凸透镜的另一侧会得到平行光；将点光源放在凹面镜的焦点上，在凹面镜的同侧，经凹面镜反射可得到平行光；使用平行光管或者光源产生平行光束照射在缺损部位7表面。光源1产生平行照射区域要完全覆盖缺损部位7的表面窗口以便三维形貌的提取，平行光照射区域形状不加以限制，可以是长方形、圆形或者其他任何形状。

如图2所示，对于数字摄像头2来说，应该选用性能稳定可靠、结构紧凑、像素高、快门响应快的设备，例如广泛使用的工业相机。光源1和数字摄像头2初步安装位置主要取决于数字摄像头2的分辨率，根据其分辨率确定安装高度，此高度即为机架3的初始高度，在随后的打印过程中保持不变。对于光源1和数字摄像头2在水平面的位置，由平行光束的入射角和光照强度进行角度调整和距离调整。在随后获取缺损组织的形貌时可以根据成像质量对两者之间的位置关系进行调整，此时，机架3的高度仍然保持初始高度，在水平面内调整光源1和数字摄像头2。

如图2所示，运动控制系统由多自由度机械臂4和打印头5组成，其中，打印头5依靠夹具固定安装在多自由度机械臂4的末端，依靠不同的夹具，可以夹持不同种类的打印头可实现喷墨式、挤出式、声控式、激光式和静电式等多种成型方式，相应的，打印头有与之配套的供料装置保证打印材料供给。

如图3所示，对于多自由度机械臂4的安装，只要保证其末端夹持的打印头可以被数字摄像头2捕捉即可。在图3中，实线表示的多自由度机械臂4处于初始安装位置，当发现多自由度机械臂4初始位置对于缺损部位的形貌提取有所遮挡时，可再次变更位置至多自由度机械臂4虚线处，要保证打印头5中心位置仍在图像识别系统有效范围10内(图3虚线矩形框表示的范围)。除在水平面调整外，也可在空间内任意位置，具体的安装位置应视缺损部位7大小、成像质量和操作方便而定，多自由度机械臂4的位置调整过程中，打印头5的中心线与打印起始点8所在的水平面垂直。打印过程中，控制多自由度机械臂4运动和打印头5开闭的信号均由计算机6发出。

如图1所示，数据处理系统主要由计算机6组成。数据处理系统实现图像识别系统和运动控制系统之间的数据实时转换、打印头自动对准、路径特征点提取和打印控制。打印开始时，首先在计算机中设置识别层厚。光源1产生光束照射在缺损部位7上，经过缺损部位7和打印头5反射的光线进入数字摄像头2，数字摄像头2获取缺损部位图像和当前打印中心点图像。例如，当图像识别系统使用三维激光扫描技术时，可以直接获得缺损部位的空间数据点，这些数据又称点云数据。利用计算6中的图像处理软件，结合点云滤波和点云配准，可以对获取的数据进行X/Y/Z三坐标数据的提取，同时得到打印头中心点9的空间坐标。

如图2和图3所示，选定缺损部位点数据中Z坐标最小(缺损部位最深点)且在X-Y平面内与打印头5中心坐标距离最近的点作为打印起始点A。同时利用点云数据提取路径点，其中，在提取路径点时，可采用如前所述三种方式，随后按照不同路径形式将其转换为具有特定精度、行间距、起始位置的路径，产生控制多自由度机械臂4运动速度及打印头5开闭的信号。

如图2和图3所示，接收控制信号的多自由度机械臂4开始运动，因打印起始点A与打印头位置不重合，多自由度机械臂4首先从初始位置运动到打印起始点A，然后打印头开启，打印开始。当多自由度机械臂4经过所有路径点后，打印完成，多自由度机械臂4返回初始位置等待下一次打印指令。

通过以上分析说明，非接触识别缺损形貌的复合3D打印方法运行可以分为以下基本步骤：

1)打开光源1和数字摄像机2，开启图像识别系统，在计算机中设置图像识别层厚，获取缺损部位7的形貌图像打印头位置图像，在计算机6中经过图像处理软件得到缺损部位有序离散坐标点数据和打印头5当前位置坐标；

2)计算机6从缺损部位7的全部有序离散坐标点中提取路径点、确定打印起始点8，计算当前打印头5与打印起始点8的相对位置，生成控制多自由度机械臂4运动和打印头5开闭的文件；

3)接收指令的多自由度机械臂4自动将打印头5运动至缺损部位7的打印起始点8，随后打印头5自动开启，完成全部打印路径后，打印头5自动关闭并回到初始位置；

4)打印过程中，数字摄像头2实时监测打印头中心位置，并与已规划的路径点坐标比较，当出现偏差时，计算机立即发出修正指令。当缺损部位7发生移动时，重复步骤1至3)，数字摄像头2获取新的缺损部位信息，利用计算机6中图像处理软件，确定新的打印起始点8，生成新的路径点坐标，开始下一次打印。

实施案例：

大鼠皮肤表面缺损修复：

按照如前所述本发明的一种非接触识别缺损形貌的复合3D打印系统及方法的原理，采用以下具体实施案例：

图像识别系统中，光源采用商用投影仪，数字摄像头采用CCD工业相机。其中，投影仪的分辨率为720P，CCD工业相机的像素为1280*960，在50cm至100cm的安装距离下，图像识别范围为20cm(长)*20cm(宽)*2cm(高)，每次测量时间在30秒内。

多次调整CCD工业相机安装高度，通过比较成像效果选定框架高度为60cm。使用国标40系列GY-4040型材、GY-4040重型角码、M6-L12螺栓和GY-08-M6四方螺母搭建50cm(长)*50cm(宽)*70cm(高)机架，机架底部安装光学平板。将投影仪和CCD工业相机并列安装在顶端的横梁上，在横梁上不同位置设计几组孔洞，投影仪可以实现相对于屏幕面的前后调整，CCD工业相机可以实现上下位置调整。CCD工业相机采用网口进行数据传输。选择光学平板作为底板。

数据处理系统中计算机参数为Intel(R)Core(TM)i3-4170CPU,主频为3.70GHz,8GB内存，1TB硬盘和64位Windows7操作系统。在计算机中预装了基于Labview编写的图像采集软件和在Matlab中开发的图像处理与数据输出软件。

运动控制系统主要三自由度机械臂和打印头。其中，选用的三自由度机械臂重复定位精度为0.1mm、运动半径为250mm，机械臂安装在光学平板上。机械臂通过控制卡与计算机连接，接收运动指令。打印头为带有电磁阀的30毫升针筒，此时打印头中心点为针筒的最下端出口处，针筒中装有的打印材料为明胶。电磁阀通过单片机与计算机连接，接收开闭指令。打印头通过夹具固定在机械臂末端，又通过软管和减压阀与氮气罐相连接。将搭建好的非接触识别缺损形貌的复合3D打印系统及方法(除计算机、控制卡、单片机、氮气罐外)消毒后放入超净台中。

打印对象为一只的成年雄性大鼠，体重约150克，其后背有一方形皮肤组织缺损。缺损部位表面为15mm*15mm，深度约为2mm。采用本发明提供的非接触识别缺损形貌的复合3D打印系统及方法修复实验前进行规范处理：先将适量麻醉剂注入大鼠体内，缺损部位四周剃毛处理，露出光滑表皮，用手术布覆盖大鼠并露出缺损部位。

连接电源，开启设备。将大鼠固定在夹板上，放置在光学平板上图像识别系统的识别范围内。打开投影仪，在计算机图像处理软件中设置层厚为500μm，根据计算机屏幕显示的CCD实时采集图案对CCD工业相机镜头进行调整，完成调整后开始扫描缺损部位，获取图像用时10秒。图像识别系统输出结果为当前层厚下的缺损部位三维形貌的点云数据和当前打印头中心点的X/Y/Z坐标。基于此数据，计算机确定打印起始点，完成路径规划，计算机从接收图像到输出打印指令用时20秒。随后计算机发出指令给控制卡，控制卡控制机械臂运动至打印起始点，完成打印头中心点与打印起始点的匹配。此时，计算机发出指令给单片机，单片机控制电磁阀开启，打印头一边按照规划路径运动一边挤出明胶覆盖当前缺损层。当机械臂运动至当前层最后一个路径点时，打印头关闭，机械臂返回初始位置，第一层打印耗时15秒。

第一层打印完成后，再次设置层厚为600μm(默认为第一次设置的层厚)，投影仪照射已覆盖一层明胶的缺损部位图像，经计算机处理获取第二层三维形貌信息和打印头中心点坐标，完成路径规划。计算机发出指令控制机械臂由初始位置运动至打印起始点，开启打印头，挤出明胶，机械臂按规划路径运动，完成第二层打印。重复该过程，完成后续层的打印。肉眼观察鞋服效果，设置第四层完成后终止打印，整个打印共耗时140秒。

Claims (8)

1.一种非接触识别缺损形貌的复合3D打印系统，其特征在于，包括图像识别系统、运动控制系统和数据处理系统；其中，

图像识别系统包括设置在机架(3)上的光源(1)和数字摄像头(2)，运动控制系统包括多自由度机械臂(4)和打印头(5)；

光源(1)用于产生平行光，数字摄像头(2)用于实现缺损部位(7)图像实时采集以及捕获打印头中心点(9)位置；打印头(5)安装在多自由度机械臂(4)末端，实现对缺损部位(7)的打印；数据处理系统包括计算机(6)，用于实现图像识别系统和运动控制系统之间的数据实时转换、打印头自动对准、路径特征点提取和打印控制，在缺损部位(7)内部实现对其填补修复。

2.根据权利要求1所述的一种非接触识别缺损形貌的复合3D打印系统，其特征在于，图像识别系统还包括底板(11)，机架(3)和多自由度机械臂(4)设置在底板(11)上。

3.根据权利要求2所述的一种非接触识别缺损形貌的复合3D打印系统，其特征在于，机架(3)采用半封闭式机架，包括垂直方向上安装在(11)上的两个竖直型材，以及水平方向上分别与两个竖直型材垂直连接的两个水平型材，两个水平型材上安装有横梁，形成半封闭式机架，图像识别系统安装在该横梁上。

4.一种非接触识别缺损形貌的复合3D打印方法，其特征在于，该打印方法基于权利要求1至3中任一项所述的一种非接触识别缺损形貌的复合3D打印系统，打印过程中，该打印方法具有实时识别打印功能，包括：设置图像识别层厚，获取缺损部位(7)最底层的图像和打印头中心点(9)图像、确定打印起始点(8)，随后在计算机图像处理软件中用离散数据点拟合缺损形貌，提取路径特征点，计算机(6)发出指令控制多自由度机械臂(4)运动至打印头中心点(9)与打印起始点(8)重合后，打印头(5)开启，开始第一层的打印；第一层打印完成后，打印头(5)返回初始位置，图像识别系统再次扫描已填充打印材料的缺损部位(7)表面，重新设置层厚，获取当前表面的三维图像和打印头中心点图像，经计算机(6)处理，重新确定打印起始点(8)，控制多自由度机械臂(4)运动和打印头(5)开启，开始第二层打印；循环采用此方法逐层打印，直至填补缺损部位(7)，观察修复效果，控制打印结束。

5.根据权利要求4所述的一种非接触识别缺损形貌的复合3D打印方法，其特征在于，机架(3)的初始高度由数字摄像头(2)的分辨率决定，分辨率确定后，机架(3)高度固定不变。

6.根据权利要求4所述的一种非接触识别缺损形貌的复合3D打印方法，其特征在于，数字摄像头(2)同时获取缺损部位(7)的形貌信息和打印头中心点(9)位置的坐标信息，其中，打印头中心点(9)位置前标定，选取打印材料最后脱离打印头(5)的点为打印头中心点(9)。

7.根据权利要求4所述的一种非接触识别缺损形貌的复合3D打印方法，其特征在于，图像识别系统采用非接触测量法获取缺损部位的形貌，图像识别系统通过有序的离散数据点拟合当前缺损部位(7)表面形貌，每一个数据点包含X轴、Y轴和Z轴的坐标值；选取缺损部位(7)数据点中Z坐标最小(缺损部位最深点)且在X-Y平面内与打印头中心点距离最近的点作为打印起始点(8)。

8.根据权利要求4所述的一种非接触识别缺损形貌的复合3D打印方法，其特征在于，计算机(6)控制多自由度机械臂(4)运动的指令为带有当前扫描层面法线方向的多自由度坐标打印指令，其中，打印指令包含的自由度数目与选用机械臂自由度数目一致。