CN113306136A - 基于目标检测的3d打印机堆积混乱报警系统及方法 - Google Patents

Abstract

本发明公开了基于目标检测的3D打印机堆积混乱报警系统，包括监控端、报警处理系统，所述监控端通过图像采集处理的方式来判断是否处于堆积混乱状态，所述监控端与报警处理系统连接，用于将监控识别的堆积混乱状态发送至报警处理系统，所述报警处理系统发出报警信号。本发明的优点在于：结构简单，实现方便且能够准确的给出报警信号至客户端手机中，并且可以自动或根据客户端手机的信号来终止打印机的工作，从而减少堆积混乱问题，实现了监控、终止工作的目的；同时也可以做到避免浪费。

Description

基于目标检测的3D打印机堆积混乱报警系统及方法

技术领域

本发明涉及3D打印技术领域，特别涉及一种基于目标检测的FDM打印机 堆积混乱报警系统及方法。

背景技术

3D打印机在航空航天、汽车、医疗健康等领域都发挥着重要的作用，并随 着不断的发展呈现出不断深化、不断扩大应用的态势。3D打印区别于传统的、 对原材料的加工模式不同，是一种“自下而上”通过材料累加的制造方法，其 打印设备类型众多，但在众多的打印设备类型中，熔融沉积FDM工艺由于具有 设备费用较低、工艺简单等优势在实际的生产生活中得到广泛的应用，对于桌 面级FDM 3D打印机，普遍存在以下三点问题：

(1)打印较大物体时耗时间较长，因此大多数情况下打印作业处于无人值 守状态。

(2)原材料易堆叠堵塞，加上无人值守，使得打印耗材浪费严重。

(3)由于无人值守，导致不易发现打印的错误及时终止作业，影响了用户 的工作进程。

现有技术中，桌面级FDM 3D打印机打印成功率低且打印时间长，易发生“堆 积混乱”问题造成的喷头堵塞等安全隐患和资源浪费问题。出现“堆积混乱” 问题未被及时发现，最终造成了喷头堵塞，如果发现不及时黄色耗材将填充整 个挤出机，挤出机温度达210摄氏度，这是一个极大的安全隐患同时也造成了 打印耗材的浪费。因此如何对3D打印机的堆积混乱进行监控报警对于桌面级 FDM3D打印机来的工作来说至关重要。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于目标检测的3D打印 机堆积混乱报警系统，通过图像采集利用预先训练好的模型来识别堆积后自动 发出报警及实现打印机的自动终止打印。

为了实现上述目的，本发明采用的技术方案为：基于目标检测的3D打印机 堆积混乱报警系统，包括监控端、报警处理系统，所述监控端通过图像采集处 理的方式来判断是否处于堆积混乱状态，所述监控端与报警处理系统连接，用 于将监控识别的堆积混乱状态发送至报警处理系统，所述报警处理系统发出报 警信号。

所述监控端包括摄像头、开发板，所述摄像头模块用于采集挤出机下方的 图像信息，其输出端连接开发板的输入端，所述开发板上集成数据处理分析的 中央处理芯片，用于实现数据处理分析以及识别出堆积混乱状态；所述开发板 通过网络将数据和或识别出的堆积混乱状态上传至报警处理系统。

所述报警处理系统包括云端、客户端，所述云端用于通过网络接收开发板 上传来的堆积混乱状态信息并将信息发送至客户端或根据客户端请求发送监控 到的信息。

所述监控端还包括打印终止模块，所述打印终止模块与开发板连接，用于 根据开发板的控制信号来终止打印机的工作。

所述打印终止模块包括继电器，所述继电器的触点设置在3D打印机的供电 回路中，所述开发板的输出端连接继电器的控制端，用于控制继电器的闭合断 开以控制3D打印机的终止。

所述开发板中预先设置训练好的目标检测模型，通过目标检测模型检测堆 积混乱目标数据。

所述客户端为具有手机app的移动终端，所述客户端中配置与云端通信的 网络模块、接收报警信息模块、远程关闭打印机模块、实时观察打印状态模块 以及反馈检测结果模块。

所述云端包括模型增量训练模块，用于根据用户上传的新的训练图像对目 标检测模型进行训练，并将训练后的模型更新下载至监控端的开发板中。

基于目标检测的3D打印机堆积混乱报警方法，包括如下步骤：

步骤1：监控端启动监控检测流程，每个T2秒调用摄像头采集获取图像数 据，并将图像传入至目标检测模块，通过目标检测模型来预测是否存在堆积混 乱目标；若检测到存在堆积混乱目标，则累计堆积混乱目标数据量加1；

步骤2：当累计堆积混乱目标数据量大于设定阈值N1，监控端通过程序判 断网络是否正常，若不正常，则进入打印机终止程序来控制打印机的终止；若 正常，则发出报警信息至云端并转发至用户端；

步骤3：用户端接收到报警信息后可以根据用户端发送的指令来控制打印机 的终止工作；若用户端多次警告后未响应，则监控端进入打印机终止程序来控 制打印机的终止。

目标检测模型采用YOLOv3目标检测模型对目标进行检测。

本发明的优点在于：结构简单，实现方便且能够准确的给出报警信号至客 户端手机中，并且可以自动或根据客户端手机的信号来终止打印机的工作，从 而减少堆积混乱问题，实现了监控、终止工作的目的；同时也可以做到避免浪 费。

附图说明

下面对本发明说明书各幅附图表达的内容及图中的标记作简要说明：

图1为本发明系统的结构原理图；

图2为本发明系统运行流程图。

具体实施方式

下面对照附图，通过对最优实施例的描述，对本发明的具体实施方式作进 一步详细的说明。

本申请基于当前开源的深度学习框架训练“堆积混乱”目标检测模型和 Android应用开发技术，利用廉价开发板及摄像头发现挤出机下的“堆积混乱” 目标，及时把打印信息通过APP反馈给用户,帮助用户及时终止作业，减少耗材 的浪费。该项目可改善使用低端打印机用户的打印体验并增加了在无人值守打 印时的安全性，具有实际的意义。

如图1所示，本申请主要实现对于堆积混乱基于目标检测的3D打印机堆积 混乱报警系统，包括监控端、云端、客户端，监控端通过图像采集处理的方式 来判断是否处于堆积混乱状态，监控端与报警处理系统连接，用于将监控识别 的堆积混乱状态发送至报警处理系统，报警处理系统发出报警信号。监控端包 括摄像头、开发板，摄像头模块用于采集挤出机下方的图像信息，其输出端连 接开发板的输入端，所述开发板上集成数据处理分析的中央处理芯片，用于实 现数据处理分析以及识别出堆积混乱状态；所述开发板通过网络将数据和或识 别出的堆积混乱状态上传至报警处理系统。云端用于通过网络接收开发板上传来的堆积混乱状态信息并将信息发送至客户端或根据客户端请求发送监控到的 信息。

如图1所示，为了解决桌面级FDM 3D打印机打印成功率低且打印时间长， 易发生“堆积混乱”问题造成的喷头堵塞等安全隐患和资源浪费问题。提出一 种基于目标检测的FDM 3D打印机堆积混乱警报系统及识别方法，主要由监控端、 客户端和云端组成。监控端由摄像头和开发板组成，开发板中嵌入了“堆积混 乱”问题检测程序、警报信息推送程序、终止打印机程序、网络配置程序和最 新模型接收程序。客户端是基于Android开发手机APP，其功能有：通过蓝牙配 置监控端网络、接收警报信息、远程关闭打印机、实时观察打印状况和反馈检 测结果不正确的图片。云端主要用于保存用户反馈数据、进行模型的增量训练 和分发最新模型到监控端。由于3D打印机的型号各式各样，一般只有开源的3D 打印机会提供暂停、继续和终止打印的接口供开发者二次开发，但对于普通用 户通常拥有的都是商业级的桌面3D打印机，其不支持终止打印的接口。因此对 于如何终止打印机的问题，提出使用开发板控制继电器来控制3D打印机电源的 通电与断电，间接的终止打印，在一定程度上提升了系统的兼容性。继电器的 触点设置在3D打印机的供电回路中，所述开发板的输出端连接继电器的控制端， 用于控制继电器的闭合断开以控制3D打印机的终止。

开发板中预先设置训练好的目标检测模型，通过目标检测模型检测堆积混 乱目标数据。开发板主要利用开发板上集成的处理器实现数据的处理和分析， 本申请采用树莓派3B+开发板，摄像头采用500万像素夜视2.8mm焦距CSI接口 摄像头，该监控端原型安装在3D打印机的位置并非固定，但一个好的安装位置 可以使得“堆积混乱”目标检测模型运行的更好，具体可参考以下所列条件：

1)合适的角度

监控端所安放位置应该使得摄像头能够撷取整个打印区域；打印机挤出机 不宜离摄像头过近，否则挤出机将遮挡打印区域的一大部分；摄像头所撷取区 域不应该包含太多背景，尤其是会干扰“堆积混乱”目标检测的背景，如金属 丝、废丝和细线等。

2)合适的灯光

确保灯光适宜是必要的，灯光对于摄像头所撷取图片的质量有很大关系， 如果主光源在夜晚需要关闭，可采用小型补光灯在夜晚为摄像头补光；需要消 去背光因素，背光对于检测是大大不利的，其对于人眼也是如此，如果摄像头 其对面有光源就应该将其调至与摄像头一侧；尽量避免阴影，对于3D打印过程 中完全消去阴影很难做到，但是应该尽量避免，这将大大提高检测准确率。

3)合适的焦距

调整摄像头到一个合适的焦距会得到更为清晰的图片，反之如果摄像头的 焦距没有调整好，将会得到一个非常模糊的图片，这会大大降低检测的准确率。

基于初步训练好的“堆积混乱”目标检测模型，将其经过转换嵌入到监控 端原型供“堆积混乱”问题检测程序加载调用。之后分别将警报信息推送程序、 终止打印机程序、网络配置程序和最新模型接收程序嵌入到监控端原型。

进一步的云端包括模型增量训练模块，用于根据用户上传的新的训练图像 对目标检测模型进行训练，并将训练后的模型更新下载至监控端的开发板中。

客户端为具有手机app的移动终端，客户端中配置与云端通信的网络模块、 接收报警信息模块、远程关闭打印机模块、实时观察打印状态模块以及反馈检 测结果模块。手机app用于实现远程的数据查看和监控功能以及发送控制指令 至开发板中。

手机app属于人机交互模块，用于用户与开发板之间的交互从而通过远程 控制的目的来控制打印机。通过预先设置的方式来实现本申请的堆积检测和报 警控制。用户通过客户端APP配置监控端网络，之后设置打印时间T1、检测时 间间隔T2、发出警告时间间隔T3、目标数量N1、无网络下累计次数N2和累计 警告次数N3即可启动监控端。此时监控端启动“堆积混乱”目标检测程序，每 隔T2秒调用摄像头获取图像传入“堆积混乱”目标检测模型，预测是否存在“堆 积混乱”目标，若存在则将累计“堆积混乱”目标数据量加1直到其大于所设 阈值N1，监控端推送警报信息程序开始判断网络是否正常，若不正常则进入自 动终止打印机逻辑，使累计事件次数加1，直到其达到所设阈值N2，监控端自 动终止打印机并停止自身运行。若网络正常，则推送警告信息给用户，若多次 警告用户未响应次数达到所设阈值N2，监控端将自动终止打印机并停止自身运 行。

基于目标检测的3D打印机堆积混乱报警方法，包括如下步骤：

步骤1：监控端启动监控检测流程，每个T2秒调用摄像头采集获取图像数 据，并将图像传入至目标检测模块，通过目标检测模型来预测是否存在堆积混 乱目标；若检测到存在堆积混乱目标，则累计堆积混乱目标数据量加1；

步骤2：当累计堆积混乱目标数据量大于设定阈值N1，监控端通过程序判 断网络是否正常，若不正常，则进入打印机终止程序来控制打印机的终止；若 正常，则发出报警信息至云端并转发至用户端；

步骤3：用户端接收到报警信息后可以根据用户端发送的指令来控制打印机 的终止工作；若用户端多次警告后未响应，则监控端进入打印机终止程序来控 制打印机的终止。

目标检测模型采用YOLOv3目标检测模型对目标进行检测，训练包括：

1、“堆积混乱”数据集制作

对于“堆积混乱”数据集的制作，采用两种方式：(1)从网络上下载3D打 印机打印时出现“堆积混乱”的视频，(2)利用现有3D打印机和3D打印笔故意 制造“堆积混乱”目标。之后对(1)方式下载的视频进行逐帧保存为图片，后与 (2)方式采集的图片合并构成原始数据，使用labelImg开源数据标注软件进行 “堆积混乱”目标标注，制作数据集。

基于已构造的数据集，将采用开源深度学习框架进行模型训练，所采用的 目标检测算法为YOLOv3，其训练过程的流程图如图2所示，左边是输入图片， 上半部分所示的过程是使用卷积神经网络对图片提取特征，随着网络不断向前 传播，特征图的尺寸越来越小，每个像素点会代表更加抽象的特征模式，直到 输出特征图，其尺寸减小为原图的

下半部分描述了生成候选区域的过程，首 先将原图划分成多个小方块，每个小方块的大小是32×32，然后以每个小方块 为中心分别生成一系列锚框，整张图片都会被锚框覆盖到。在每个锚框的基础 上产生一个与之对应的预测框，根据锚框和预测框与图片上物体真实框之间的 位置关系，对这些预测框进行标注。将上方支路中输出的特征图与下方支路中 产生的预测框标签建立关联，创建损失函数，开启端到端的训练过程，最后得 到权重模型。YOLOv3特征提取使用的主干网络Darknet53结构图。

训练好的模型集成在开发板的控制器/中央处理器中，当数据进行处理时， 识别出对应的堆积混乱然后自动向手机app推送报警同时也可以从云端下载更 新后的新训练的模型，从而完成训练模型的远程升级作用，利用目标检测模型 检测“堆积混乱”目标，当目标数量达到预设阈值，推送警报信息给用户，用 户根据警报信息中的图片，甄别检测结果是否正确，若正确则用户可以通过客 户端系统终止打印机，若检测错误，用户可选择上传错误图片到云端数据库以 便训练新的模型提高检测效果。若用户对于警报信息长时间未作出响应或者警 报信息由于网络状况无法推送，系统将在检测事件次数达到所设阈值时自动终 止打印机。对于如何终止打印机问题，项目组提出使用开发板控制继电器从而控制插座的通电与断电来终止打印机。其好处在于不必关心3D打印机是否支持 终止打印接口，避免了对于3D打印机本身的修改，通过控制其电源的断电间接 终止打印，在一定程度上提升了系统的兼容性。本系统的设计具有计算量小、 成本低、兼容性和可用性强的特点，在一定程度上减少了资源的浪费，增加了 3D打印机在无人值守打印时的安全性，降低成本，改善用户体验。

显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构 思和技术方案进行的各种非实质性的改进，均在本发明的保护范围之内。

Claims (10)

1.基于目标检测的3D打印机堆积混乱报警系统，其特征在于：包括监控端、报警处理系统，所述监控端通过图像采集处理的方式来判断是否处于堆积混乱状态，所述监控端与报警处理系统连接，用于将监控识别的堆积混乱状态发送至报警处理系统，所述报警处理系统发出报警信号。

2.如权利要求1所述的基于目标检测的3D打印机堆积混乱报警系统，其特征在于：所述监控端包括摄像头、开发板，所述摄像头模块用于采集挤出机下方的图像信息，其输出端连接开发板的输入端，所述开发板上集成数据处理分析的中央处理芯片，用于实现数据处理分析以及识别出堆积混乱状态；所述开发板通过网络将数据和或识别出的堆积混乱状态上传至报警处理系统。

3.如权利要求2所述的基于目标检测的3D打印机堆积混乱报警系统，其特征在于：所述报警处理系统包括云端、客户端，所述云端用于通过网络接收开发板上传来的堆积混乱状态信息并将信息发送至客户端或根据客户端请求发送监控到的信息。

4.如权利要求3所述的基于目标检测的3D打印机堆积混乱报警系统，其特征在于：所述监控端还包括打印终止模块，所述打印终止模块与开发板连接，用于根据开发板的控制信号来终止打印机的工作。

5.如权利要求4所述的基于目标检测的3D打印机堆积混乱报警系统，其特征在于：所述打印终止模块包括继电器，所述继电器的触点设置在3D打印机的供电回路中，所述开发板的输出端连接继电器的控制端，用于控制继电器的闭合断开以控制3D打印机的终止。

6.如权利要求1-5任一所述的基于目标检测的3D打印机堆积混乱报警系统，其特征在于：所述开发板中预先设置训练好的目标检测模型，通过目标检测模型检测堆积混乱目标数据。

7.如权利要求1-5任一所述的基于目标检测的3D打印机堆积混乱报警系统，其特征在于：所述客户端为具有手机app的移动终端，所述客户端中配置与云端通信的网络模块、接收报警信息模块、远程关闭打印机模块、实时观察打印状态模块以及反馈检测结果模块。

8.如权利要求1-5任一所述的基于目标检测的3D打印机堆积混乱报警系统，其特征在于：所述云端包括模型增量训练模块，用于根据用户上传的新的训练图像对目标检测模型进行训练，并将训练后的模型更新下载至监控端的开发板中。

9.基于目标检测的3D打印机堆积混乱报警方法，其特征在于：包括如下步骤：

步骤1：监控端启动监控检测流程，每个T2秒调用摄像头采集获取图像数据，并将图像传入至目标检测模块，通过目标检测模型来预测是否存在堆积混乱目标；若检测到存在堆积混乱目标，则累计堆积混乱目标数据量加1；

步骤2：当累计堆积混乱目标数据量大于设定阈值N1，监控端通过程序判断网络是否正常，若不正常，则进入打印机终止程序来控制打印机的终止；若正常，则发出报警信息至云端并转发至用户端；

步骤3：用户端接收到报警信息后可以根据用户端发送的指令来控制打印机的终止工作；若用户端多次警告后未响应，则监控端进入打印机终止程序来控制打印机的终止。

10.基于目标检测的3D打印机堆积混乱报警方法，其特征在于：目标检测模型采用YOLOv3目标检测模型对目标进行检测。

Images