CN110414403A - 一种基于机器视觉的3d打印过程监控方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的3D打印过程监控方法，包括如下步骤：将三个相机等间距安装在打印平台的四周，且三个相机均位于同一水平面；设定系统的监控参数，对相机进行标定并进行图像处理；将处理后的图像数据与预先储存的模型特定面图像进行实时匹配；当发现打印异常时，触发打印中断模块；启动打印状态的采集；报警模块接调用打印异常时的图像位置信息和图像信息实时显示在显示屏上，并触发声光报警装置进行报警；当用户确认没问题需要恢复打印时，调用储存模块中的异常中断位置信息和图像信息，打印头根据异常中断的位置信息进行续打，相机根据中断时的图像信息继续监控打印过程；当用户确认打印出错时，则清除模型后，重新打印。

Description

一种基于机器视觉的3D打印过程监控方法

技术领域

本发明涉及3D打印技术领域，尤其涉及一种基于机器视觉的3D打印过程监控方法。

背景技术

20世纪90年代，3D打印技术开始在中国发展，自传入以来便一直受到广大科研技术人员的高度重视，并纷纷学习应用以及深入研究。因3D打印技术本身的变革性，在世界工业强国都重点发展并制定技术战略的大环境下，我国政府高度重视增材制造产业的发展。

现今3D技术在各个环节都取得了长足进步，在工程和教学研究等应用领域也占有了独特地位，并在不同行业中得到广泛应用，对改善制造业的产品设计和制造水平起到了巨大作用。

3D打印技术是快速成型技术(Rapid Prototyping，RP)的一种。RP技术的发展基于集成现代CAD/CAM技术、激光制造技术、计算机数控技术、电子通讯技术、精密伺服驱动技术以及新材料技术。快速成型系统因所用成形材料不同有所区别，成形原理和系统特点也各有不同。但是，其基本成型原理都是一样的，都是基于“分层制造，逐层叠加”的概念。

经过数十年的研究和发展，主流有数十种3D打印加工方法和工艺，其中基于分层制造的加工工艺就有30几种，目前比较成熟并流行使用的分层制造工艺有如下四种：

(1)光敏液相固化法(SLA)：用激光束对液态光敏树脂进行逐层扫描固化, 最后形成三维实体。

(2)选区粘结法(LOM)：用加热辊和激光束对背面涂有粘结剂的纸、塑料带、甚至金属带进行逐层粘结和切割,以形成产品各层轮廓,经各层叠加以形成产品原型。

(3)熔丝沉积制造法(FDM)：用逐步送进热融塑料丝的方法来堆积产品的各层轮廓。

(4)选区激光烧结法(SLS)：用激光束对塑料粉或金属粉进行扫描熔化, 从而构成产品各层轮廓。

熔丝沉积制造法(FDM)又叫熔丝沉积，它是将丝状热熔性材料加热融化，通过带有一个微细喷嘴的喷头挤喷出来。工作时，先确定各层间距，计算机对三维电脑模型进行切片，生成路径，然后在计算机控制下喷头按路径移动出料，热熔材料粘结在工作台上或前一层已固化的层面上，每固化一层工作台下移一个层间距，如此反复逐层制作，直至最后一层，通过材料的层层堆积形成最终成品。

但是，FDM技术存在一个问题，就是打印时间普遍较长且期间耗材必须不间断的供料，如果中间因为各种原因(如挤出头堵住、耗材缠绕、耗材使用完甚至软件故障等)使打印无法顺利进行，第一会造成模型报废，第二3D 打印机会空运行导致生产效率降低。

因此，现有技术需要进一步改进和完善。

发明内容

本发明的目的在于克服现有技术的不足，提供一种提高整体打印效率、降低生产成本的基于机器视觉的3D打印过程监控方法。

本发明的目的通过下述技术方案实现：

一种基于机器视觉的3D打印过程监控方法，该监控方法主要包括如下步骤：

步骤S1：将三个相机等间距安装在打印平台的四周，且三个相机均位于同一水平面；所述相机的水平拍照视野为120度，三个相机360度覆盖打印模型，每个相机对打印模型进行独立监控。

步骤S2：设定系统的监控参数，对相机进行标定，并通过图像实时采集模块实时采集三维模型的图像信息，并进行图像处理。

进一步的，所述步骤S2中相机标定和图像处理还包括如下步骤：

步骤S21：对每个相机进行垂直度标定、水平度标定、像素标定、以及位置标定，使拍摄的位置准确、图像清晰。

步骤S22：采用图像分割的方法，提取图像中的感兴趣区域ROI，也就是保留图像中的模型部分，去除图像中的非模型部分。

步骤S23：根据相机的标定参数对图像进行畸变还原，在打印流程无误的情况下，还原后的相机的图像与模型的特征面图像100％重合。

步骤S24：对还原后的图像进行灰度转换，将彩色图像转换为灰度图像，并采用高斯滤波对图像进行滤波处理，减少图像噪点。

步骤S3：将处理后的图像数据与储存模块中的预先储存的模型特定面图像进行实时匹配、对比和分析。

进一步的，所述步骤S3中图像匹配还包括如下步骤：

步骤S31：采用图像处理中的模式识别方法，在中断模块中设置图像匹配率(0.00—1.00之间)，将相机拍照并处理后的图像进行边缘检测。

步骤S32：如果图像中的特征边缘与特征面图像的特征边缘之比大于或者等于匹配率，则说明打印过程无误，中断模块不会中断系统的进程。

步骤S33：如果低于匹配率，中断模块会中断系统进程，然后进行中断报警。

步骤S34：三个相机当中，只要有一个相机所拍摄的图像中的特征边缘与特征面图像的特征边缘之比低于系统设定的匹配率，则系统中断打印并报警。

步骤S4：当发现打印异常时，两者的匹配值会低于系统设定的阈值，此时会触发打印中断模块。

步骤S5：中断打印模块将启动打印状态的采集，采集X-Y-Z轴、打印头的位置信息和G代码的断点信息，并将采集的信息储存于存储模块中。

步骤S6：报警模块接收到打印中断模块发送的报警指令后，调用打印异常时的图像位置信息和图像信息实时显示在显示屏上，并触发声光报警装置进行报警。

步骤S6：用户根据显示屏上的错误信息，对报警信息进行确认，如果是误报，当用户确认没问题需要恢复打印时，则清除报警信息，调用储存模块中的异常中断位置信息和图像信息，打印头根据异常中断的位置信息进行续打并恢复打印，而相机根据中断时的图像信息继续监控打印过程。

步骤S7：当用户确认打印出错时，则清除模型后，重新打印。

作为本发明的优选方案，所述步骤S1中的相机被安装在由步进电机驱动的平台上，实现相机拍照高度随打印模型的变高而变化。

作为本发明的优选方案，建模后，根据相机安装的位置坐标，在软件中生成每个相机所要匹配的模型特征面图像，然后提取图像的特征边缘，包括模型的特征边缘和模型表面特征边缘，预先保存在存储模块中。

具体的，生成所述模型特征面图像还包括如下步骤：首先通过读取三维模型文件，并将对应的图形数据显示在图形界面上；然后设定相机使用个数和拍照位置，从而生成每个相机对应的模型特征面图像；最后设置3D打印的层高，分别对模型特征面图像进行分层分相机保存图像，并将所有图像存储在存储模块中。

作为本发明的优选方案，打印模型每增加一个单位层高，相机拍照高度增加1/2单位层高，再进行拍照。

本发明还可采用Kinect实时采集三维模型的点云信息，将点云信息与三维模型进行实时匹配，若匹配率低于系统设定的阈值时，3D打印过程中断并且提醒用户进行处理。

本发明的工作过程和原理是：本发明通过图像实时采集模块实时采集三维模型的图像信息进行图像处理，并且与储存模块中的预先储存的模型特定面图像进行实时匹配，当3D打印过程中出现打印异常时，两者的匹配值会低于系统设定的阈值，此时会触发打印中断模块，中断打印模块将启动打印状态的采集，采集X-Y-Z轴、挤出头的位置信息和G代码的断点信息，将信息储存于存储模块中，同时，报警模块接收到打印中断模块发送的报警指令后，会调用打印异常时的图像位置信息和图像信息实时显示在显示屏上，并触发声光报警装置进行报警，当用户确认没问题需要恢复打印时，打印机会调用储存模块中的异常中断位置信息和图像信息，恢复打印。本发明解决打印过程中因为异常导致模型报废，造成大量材料浪费的问题，并且提高3D打印的整体效率，降低生产成本。本发明还具有逻辑简单、操作方便、容易实施的优点。

与现有技术相比，本发明还具有以下优点：

(1)本发明所提供的基于机器视觉的3D打印过程监控方法能对3D打印过程进行实时监控，当异常情况出现时能及时通知用户并且记录中断打印的位置信息，最大可能的降低了材料损失和生产成本。

(2)本发明所提供的基于机器视觉的3D打印过程监控方法采用三目摄像头，能360度拍摄三维模型的任意角度位置，相比于一些单目摄像头方法，该方法能实时全方位对三维模型进行实时监控。

(3)本发明所提供的基于机器视觉的3D打印过程监控方法相比于采用 Kinect进行点云信息的采集，该技术方案成本更低，需要处理的数据更少。

(4)本发明所提供的基于机器视觉的3D打印过程监控方法将三维模型的平面图像信息从三维模型中提取出来，并且进行图像处理，形成模板后与实时采集的图像进行匹配。

(5)本发明所提供的基于机器视觉的3D打印过程监控方法相比于普通打印机，该技术采用实时声光报警装置，能及时通知用户对异常情况进行处理，降低损失。

(6)本发明所提供的基于机器视觉的3D打印过程监控方法采用基于 OpenCV的图像处理方法，对相机采集的图像进行灰度处理，滤波，边缘检测，使图像抽象化后与模板进行匹配。

附图说明

图1是本发明所提供的基于机器视觉的3D打印过程监控方法的结构框图。

图2是本发明所提供的三个相机的水平视野覆盖范围示意图。

图3是本发明所提供的相机竖直方向的视野覆盖范围示意图。

图4是本发明所提供的相机安装位置及打印机内部结构示意图。

图5是本放所提供的基于机器视觉的3D打印过程监控方法的流程图。

上述附图中的标号说明：

1-打印头，2-打印平台，3-相机。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明作进一步说明。

实施例1：

如图1至图5所示，本实施例公开了一种基于机器视觉的3D打印过程监控方法，该监控方法主要包括如下步骤：

步骤S1：将三个相机3等间距安装在打印平台2的四周，且三个相机3 均位于同一水平面；所述相机3的水平拍照视野为120度，三个相机3360 度覆盖打印模型，每个相机3对打印模型进行独立监控。

步骤S2：设定系统的监控参数，对相机3进行标定，并通过图像实时采集模块实时采集三维模型的图像信息，并进行图像处理。

进一步的，所述步骤S2中相机3标定和图像处理还包括如下步骤：

步骤S21：对每个相机3进行垂直度标定、水平度标定、像素标定、以及位置标定，使拍摄的位置准确、图像清晰。

步骤S22：采用图像分割的方法，提取图像中的感兴趣区域ROI，也就是保留图像中的模型部分，去除图像中的非模型部分。

步骤S23：根据相机3的标定参数对图像进行畸变还原，在打印流程无误的情况下，还原后的相机3的图像与模型的特征面图像100％重合。

步骤S24：对还原后的图像进行灰度转换，将彩色图像转换为灰度图像，并采用高斯滤波对图像进行滤波处理，减少图像噪点。

步骤S3：将处理后的图像数据与储存模块中的预先储存的模型特定面图像进行实时匹配、对比和分析。

进一步的，所述步骤S3中图像匹配还包括如下步骤：

步骤S31：采用图像处理中的模式识别方法，在中断模块中设置图像匹配率(0.00—1.00之间)，将相机3拍照并处理后的图像进行边缘检测。

步骤S32：如果图像中的特征边缘与特征面图像的特征边缘之比大于或者等于匹配率，则说明打印过程无误，中断模块不会中断系统的进程。

步骤S33：如果低于匹配率，中断模块会中断系统进程，然后进行中断报警。

步骤S34：三个相机3当中，只要有一个相机3所拍摄的图像中的特征边缘与特征面图像的特征边缘之比低于系统设定的匹配率，则系统中断打印并报警。

步骤S4：当发现打印异常时，两者的匹配值会低于系统设定的阈值，此时会触发打印中断模块。

步骤S5：中断打印模块将启动打印状态的采集，采集X-Y-Z轴、打印头 1的位置信息和G代码的断点信息，并将采集的信息储存于存储模块中。

步骤S6：报警模块接收到打印中断模块发送的报警指令后，调用打印异常时的图像位置信息和图像信息实时显示在显示屏上，并触发声光报警装置进行报警。

步骤S6：用户根据显示屏上的错误信息，对报警信息进行确认，如果是误报，当用户确认没问题需要恢复打印时，则清除报警信息，调用储存模块中的异常中断位置信息和图像信息，打印头1根据异常中断的位置信息进行续打并恢复打印，而相机3根据中断时的图像信息继续监控打印过程。

步骤S7：当用户确认打印出错时，则清除模型后，重新打印。

作为本发明的优选方案，所述步骤S1中的相机3被安装在由步进电机驱动的平台上，实现相机3拍照高度随打印模型的变高而变化。

作为本发明的优选方案，建模后，根据相机3安装的位置坐标，在软件中生成每个相机3所要匹配的模型特征面图像，然后提取图像的特征边缘，包括模型的特征边缘和模型表面特征边缘，预先保存在存储模块中。

具体的，生成所述模型特征面图像还包括如下步骤：首先通过读取三维模型文件，并将对应的图形数据显示在图形界面上；然后设定相机3使用个数和拍照位置，从而生成每个相机3对应的模型特征面图像；最后设置3D 打印的层高，分别对模型特征面图像进行分层分相机3保存图像，并将所有图像存储在存储模块中。

作为本发明的优选方案，打印模型每增加一个单位层高，相机3拍照高度增加1/2单位层高，再进行拍照。

本发明还可采用Kinect实时采集三维模型的点云信息，将点云信息与三维模型进行实时匹配，若匹配率低于系统设定的阈值时，3D打印过程中断并且提醒用户进行处理。

本发明的工作过程和原理是：本发明通过图像实时采集模块实时采集三维模型的图像信息进行图像处理，并且与储存模块中的预先储存的模型特定面图像进行实时匹配，当3D打印过程中出现打印异常时，两者的匹配值会低于系统设定的阈值，此时会触发打印中断模块，中断打印模块将启动打印状态的采集，采集X-Y-Z轴、挤出头的位置信息和G代码的断点信息，将信息储存于存储模块中，同时，报警模块接收到打印中断模块发送的报警指令后，会调用打印异常时的图像位置信息和图像信息实时显示在显示屏上，并触发声光报警装置进行报警，当用户确认没问题需要恢复打印时，打印机会调用储存模块中的异常中断位置信息和图像信息，恢复打印。本发明解决打印过程中因为异常导致模型报废，造成大量材料浪费的问题，并且提高3D打印的整体效率，降低生产成本。本发明还具有逻辑简单、操作方便、容易实施的优点。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于机器视觉的3D打印过程监控方法，其特征在于，包括如下步骤：

步骤S1：将三个相机等间距安装在打印平台的四周，且三个相机均位于同一水平面；所述相机的水平拍照视野为120度，三个相机360度覆盖打印模型，每个相机对打印模型进行独立监控；

步骤S2：设定系统的监控参数，对相机进行标定，并通过图像实时采集模块实时采集三维模型的图像信息，并进行图像处理；

步骤S3：将处理后的图像数据与储存模块中的预先储存的模型特定面图像进行实时匹配、对比和分析；

步骤S4：当发现打印异常时，两者的匹配值会低于系统设定的阈值，此时会触发打印中断模块；

步骤S5：中断打印模块将启动打印状态的采集，采集X-Y-Z轴、打印头的位置信息和G代码的断点信息，并将采集的信息储存于存储模块中；

步骤S6：报警模块接收到打印中断模块发送的报警指令后，调用打印异常时的图像位置信息和图像信息实时显示在显示屏上，并触发声光报警装置进行报警；

步骤S6：用户根据显示屏上的错误信息，对报警信息进行确认，如果是误报，当用户确认没问题需要恢复打印时，则清除报警信息，调用储存模块中的异常中断位置信息和图像信息，打印头根据异常中断的位置信息进行续打并恢复打印，而相机根据中断时的图像信息继续监控打印过程；

步骤S7：当用户确认打印出错时，则清除模型后，重新打印。

2.根据权利要求1所述的基于机器视觉的3D打印过程监控方法，其特征在于，所述步骤S1中的相机被安装在由步进电机驱动的平台上，实现相机拍照高度随打印模型的变高而变化。

3.根据权利要求2所述的基于机器视觉的3D打印过程监控方法，其特征在于，建模后，根据相机安装的位置坐标，在软件中生成每个相机所要匹配的模型特征面图像，然后提取图像的特征边缘，包括模型的特征边缘和模型表面特征边缘，预先保存在存储模块中。

4.根据权利要求3所述的基于机器视觉的3D打印过程监控方法，其特征在于，生成所述模型特征面图像还包括如下步骤：首先通过读取三维模型文件，并将对应的图形数据显示在图形界面上；然后设定相机使用个数和拍照位置，从而生成每个相机对应的模型特征面图像；最后设置3D打印的层高，分别对模型特征面图像进行分层分相机保存图像，并将所有图像存储在存储模块中。

5.根据权利要求2所述的基于机器视觉的3D打印过程监控方法，其特征在于，打印模型每增加一个单位层高，相机拍照高度增加1/2单位层高，再进行拍照。

6.根据权利要求1所述的基于机器视觉的3D打印过程监控方法，其特征在于，所述步骤S2中相机标定和图像处理还包括如下步骤：

步骤S21：对每个相机进行垂直度标定、水平度标定、像素标定、以及位置标定，使拍摄的位置准确、图像清晰；

步骤S22：采用图像分割的方法，提取图像中的感兴趣区域ROI，也就是保留图像中的模型部分，去除图像中的非模型部分；

步骤S23：根据相机的标定参数对图像进行畸变还原，在打印流程无误的情况下，还原后的相机的图像与模型的特征面图像100％重合；

步骤S24：对还原后的图像进行灰度转换，将彩色图像转换为灰度图像，并采用高斯滤波对图像进行滤波处理，减少图像噪点。

7.根据权利要求1所述的基于机器视觉的3D打印过程监控方法，其特征在于，所述步骤S3中图像匹配还包括如下步骤：

步骤S31：采用图像处理中的模式识别方法，在中断模块中设置图像匹配率，其范围为：0.00至1.00之间，将相机拍照并处理后的图像进行边缘检测；

步骤S32：如果图像中的特征边缘与特征面图像的特征边缘之比大于或者等于匹配率，则说明打印过程无误，中断模块不会中断系统的进程；

步骤S33：如果低于匹配率，中断模块会中断系统进程，然后进行中断报警；

步骤S34：三个相机当中，只要有一个相机所拍摄的图像中的特征边缘与特征面图像的特征边缘之比低于系统设定的匹配率，则系统中断打印并报警。