CN112884768A - 基于神经网络的3d打印在线质量监测方法、系统、装置 - Google Patents
基于神经网络的3d打印在线质量监测方法、系统、装置 Download PDFInfo
- Publication number
- CN112884768A CN112884768A CN202110337787.0A CN202110337787A CN112884768A CN 112884768 A CN112884768 A CN 112884768A CN 202110337787 A CN202110337787 A CN 202110337787A CN 112884768 A CN112884768 A CN 112884768A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- input image
- printing
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010146 3D printing Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012544 monitoring process Methods 0.000 title claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 230000007547 defect Effects 0.000 claims abstract description 121
- 230000011218 segmentation Effects 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 11
- 238000007639 printing Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000037303 wrinkles Effects 0.000 claims description 2
- 230000005587 bubbling Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 13
- 238000012549 training Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30144—Printing quality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明属于3D打印领域，具体涉及一种基于神经网络的3D打印在线质量监测方法、系统、装置，旨在解决现有的缺陷检测方法只能检测特定的缺陷形状，且缺陷检测精度低的问题。本发明方法包括：采集三维物体在3D打印过程中的图像，作为输入图像；采用预训练的缺陷分割网络获取输入图像中各像素的类别；统计输入图像中各类别缺陷对应的像素数，并结合预获取的相机内参，计算输入图像中缺陷部位的面积；判断面积是否大于设定的阈值，若是，则启动质量监测警报，否则继续采集3D打印过程中的图像。本发明可以灵活的识别不同类别与形状的3D打印缺陷，降低了误检率，提高了缺陷检测的准确度。
Description
技术领域
本发明属于3D打印领域，具体涉及一种基于神经网络的3D打印在线质量监测方法、系统、装置。
背景技术
3D打印，也称为增材制造、快速成型，是通过CAD设计数据采用材料逐层累加的方法制造实体零件的技术。3D打印技术灵活、方便，不需要传统的刀具、夹具、机床或模具，能够直接利用计算机将三维CAD图形转化成实物产品，缩短了产品的研发周期。相对于传统的减材制造(切削加工)技术，3D打印在个性化定制领域体现出制造成本、能源效率、经济回报等方面的优势，在牙科和医疗行业、建筑设计、食品产业、工业设计和航空航天等领域发挥着越来越重要的作用。
3D打印技术的发展，促进了制造业的转型升级。随着材料和机器的进步，3D打印技术被用于制造高精度和关键部件，如航空航天部件和生物医学植入物，3D打印质量问题受到越来越多的关注。有许多缺陷可能会影响表面质量，如孔洞、翘曲变形、球化、存在未熔颗粒等，这些缺陷可能是由于材料特性、工艺参数、设备或其他原因引起的。在3D打印过程中，采用无损检测的方法尽早发现缺陷，可以帮助打印机及时采取纠正措施，减少材料浪费，提高打印质量。原始的基于图像的缺陷检测方法需要手动提取特征，只能处理特定的缺陷形状，过程比较繁琐且性能有限。基于此，本发明提出一种基于神经网络的3D打印在线质量监测方法。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的缺陷检测方法只能检测特定的缺陷形状，且缺陷检测精度低的问题，本发明提出了一种基于神经网络的3D打印在线质量监测方法，该方法包括：
步骤S10，采集三维物体在3D打印过程中的图像，作为输入图像；
步骤S20，将所述输入图像转化为灰度图像后，采用预训练的缺陷分割网络获取所述输入图像中各像素的类别；
步骤S30，统计所述输入图像中各类别缺陷对应的像素数，并结合预获取的相机内参，计算所述输入图像中缺陷部位的面积；
步骤S40，判断所述面积是否大于设定的第二面积阈值，若是，则启动质量监测警报，否则跳转步骤S10；
所述缺陷分割网络基于对称结构的编码器-解码器构建；所述编码器用于提取输入图像的特征；所述解码器用于根据提取的特征，获取输入图像中每个像素对应的类别。
在一些优选的实施方式中，采集输入图像的图像采集装置包括照明设备、一或多个工业相机、图像采集卡、计算机；所述图像采集装置中至少有一个工业相机固定在3D打印工作台的正上方，且与3D打印工作台的平面平行。
在一些优选的实施方式中，步骤S10之前还包括相机内参的获取步骤：
获取一个张正友标定法的棋盘格，棋盘格大小已知，用相机对其进行不同角度的拍摄，得到一组图像；
对图像中设定位置的像素点对应的特征点进行检测，得到所述设定位置的像素点的像素坐标值；
根据已知的棋盘格大小和世界坐标系原点，计算得到所述设定位置的像素点的物理坐标值；
基于所述物理坐标值，采用张正友标定法得到相机内参。
在一些优选的实施方式中，所述输入图像中各像素的类别包括背景、无缺陷、鼓泡、塌陷、起皱、缺丝。
在一些优选的实施方式中，“计算所述输入图像中缺陷部位的面积”，其方法为：
将所述输入图像中各类别缺陷的像素数与零件到相机光心的距离d的平方做积，并除以预获取的相机内参的平方，得到所述输入图像中各类别缺陷部位的面积；
将各类别缺陷部位的面积相加，得到所述输入图像中缺陷部位的面积。
在一些优选的实施方式中，若在3D打印过程中的图像包括可见光图像、红外图像，则将可见光图像转化为灰度图像，并将转化后的可见光图像与红外图像对齐，并调整至相同大小；调整后，分别将可将光图像、红外图像输入缺陷检测网络，通过concatenate函数进行特征融合并通过解码器进行缺陷类别的预测。
在一些优选的实施方式中，步骤S30-S40之间还包括相机位置调整步骤，具体为：
若所述输入图像中设定区域内的缺陷部位的面积小于设定的区域缺陷面积且该区域内的像素深度变化大于设定的深度阈值，则调整工业相机的位置，并重新采集输入图像。
本发明的第二方面，提出了一种基于神经网络的3D打印在线质量监测系统，该系统包括：图像采集模块、分割模块、面积计算模块、质量判断模块；
所述图像采集模块，配置为采集三维物体在3D打印过程中的图像，作为输入图像；
所述分割模块，配置为将所述输入图像转化为灰度图像后，采用预训练的缺陷分割网络获取所述输入图像中各像素的类别；
所述面积计算模块，配置为统计所述输入图像中各类别缺陷对应的像素数，并结合预获取的相机内参，计算所述输入图像中缺陷部位的面积；
所述质量判断模块，判断所述面积是否大于设定的第二面积阈值，若是，则启动质量监测警报，否则跳转图像采集模块；
所述缺陷分割网络基于对称结构的编码器-解码器构建；所述编码器用于提取输入图像的特征；所述解码器用于根据提取的特征，获取输入图像中每个像素对应的类别。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行以实现上述的基于神经网络的3D打印在线质量监测方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于神经网络的3D打印在线质量监测方法。
本发明的有益效果：
本发明可以灵活的识别不同类别与形状的3D打印缺陷，降低了误检率，提高了缺陷检测的准确度。
(1)本发明基于编码器-解码器构建缺陷分割网络，获取三维物体在3D打印过程中的图像的各像素的类别。通过神经网络自动提取输入图像的特征，可以灵活的识别不同类别与形状的3D打印缺陷，降低了误检率，提高了缺陷检测的准确度。
(2)基于缺陷分割网络获取输入图像中属于缺陷类别的像素数，结合相机内参，即可得到输入图像中缺陷部位的面积。根据获取的面积以确定是否应关闭3D打印机或调整打印机的参数，以减少材料和时间浪费，提高质量监测的准确度和效率。
(3)本发明系统结构简单，硬件成本低，利于推广应用。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于神经网络的3D打印在线质量监测方法的流程示意图；
图2为本发明一种实施例的基于神经网络的3D打印在线质量监测系统的框架示意图；
图3是本发明一种实施例的缺陷分割网络的训练过程的流程示意图；
图4是本发明一种实施例的相机成像的原理示意图；
图5是本发明一种实施例的第一种缺陷分割网络的结构示意图；
图6是本发明一种实施例的第二种缺陷分割网络的结构示意图；
图7是本发明第一实施例对应的图像采集装置的示意图。
图8是本发明第二实施例对应的图像采集装置的示意图；
图9是本发明一种实施例的可见光和红外图像融合的缺陷分割网络的结构示意图；
图10是本发明第三实施例对应的图像采集装置的示意图；
图11是本发明一种实施例的包含相机位置调整的基于神经网络的3D打印在线质量监测方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明第一实施例的一种基于神经网络的3D打印在线质量监测方法，如图1所示，该方法包括以下步骤：
步骤S10，采集三维物体在3D打印过程中的图像，作为输入图像；
步骤S20，将所述输入图像转化为灰度图像后，采用预训练的缺陷分割网络获取所述输入图像中各像素的类别；
步骤S30，统计所述输入图像中各类别缺陷对应的像素数，并结合预获取的相机内参，计算所述输入图像中缺陷部位的面积；
步骤S40，判断所述面积是否大于设定的第二面积阈值，若是，则启动质量监测警报，否则跳转步骤S10；
所述缺陷分割网络基于对称结构的编码器-解码器构建；所述编码器用于提取输入图像的特征；所述解码器用于根据提取的特征，获取输入图像中每个像素对应的类别。
为了更清晰地对本发明基于神经网络的3D打印在线质量监测方法进行说明，下面对本发明方法一种实施例中各步骤进行展开详述。
在下文实施例中，先对缺陷分割网络的训练过程进行描述，再对基于神经网络的3D打印在线质量监测方法获取监测结果进行详述。
1、缺陷分割网络的训练过程，如图3所示
步骤A10，获取相机内参
相机模拟成像如图4所示。O为摄像机的光心，也是针孔相机模型中的针孔。现实世界零件上的两个点A、B，经过小孔O投影之后，落在物理成像平面上，成像点为A1、B1。假设AB所在的平面与A1B1所在的平面平行，则根据成像原理，满足式(1)：
其中，X为线段AB的实际长度，X′为物理成像平面上线段A1B1的长度，f为物理成像平面到小孔的距离，即焦距，d为零件到小孔的距离。
将物理成像平面的长度转化为像素长度，则由式(1)可以得到以下式(2)：
其中，u为X′对应的像素长度，fx为相机的内参，也是焦距f对应的像素长度，fx在出厂之后是固定的，不会在使用过程中发生变化。所以可以根据缺陷部位像素的个数得到像素的面积，通过式(3)表示：
其中S为3D打印截面上缺陷的面积，S′为缺陷的像素面积，即缺陷所占的像素个数。d为零件到小孔的距离。在3D打印过程中，初始的零件到小孔的距离是确定的，每打印一层，d减少一个层厚的距离，所以可以计算出打印过程中d的数值。
在本实施例中，3D打印开始之前通过用标定物对相机进行标定得到相机内参fx。具体如下：
准备一个张正友标定法的棋盘格，棋盘格大小已知，用相机对其进行不同角度的拍摄，得到一组图像；
对图像中设定位置的像素点对应的特征点进行检测，本发明中设定位置的像素点优选选用的为标定板角点，得到标定板角点的像素坐标值，根据已知的棋盘格大小和世界坐标系原点，计算得到标定板角点的物理坐标值；
基于所述物理坐标值，采用张正友标定法得到相机内参。
步骤A20，获取三维物体3D打印过程中的图像
在本发明中，3D打印图像采集装置由照明设备、一或多个工业相机、图像采集卡、计算机组成，如图7所示，其中，光源即照明设备。照明设备固定在3D打印截面的斜上方。至少有一个工业相机固定在3D打印截面(或3D打印工作台)的正上方，且与3D打印截面所在平面平行。计算机作为中心控制系统，用于发送指令与数据处理，与3D打印机以及图像采集卡相连。每当打印完一层之后，计算机发送拍照指令，工业相机采集图像并经图像采集卡传送至计算机进行后续的处理。
改变3D打印过程的参数(如喷嘴温度、出丝速度、层厚等参数)以产生正常和各类缺陷的打印截面，收集3D打印截面图像。这些图像中包含正常图像截面和各种类型缺陷的图像截面。
另外，为了增加样本的丰富性以及提高缺陷分割网络对像素类别的识别，可通过工业相机获取3D打印过程中的侧面图像和斜上方的图像或者其他方位的图像。
步骤A30，获取训练集和测试集
在本实施例中，对采集的3D打印过程中的图像做标记标签。对于一幅图像，背景像素标记为0，无缺陷像素标记为1，鼓泡像素标记为2、塌陷像素标记为3、起皱像素标记为4、缺丝像素标记为5，共6类。
将所有图像及其对应的标签作为数据集，将整个数据集划分为训练集和测试集。在数据集中随机选择3/4样本作为训练集，用于训练缺陷分割网络(神经网络)，剩下的1/4样本作为测试集，用于验证缺陷分割网络的泛化性能。每个样本包括3D打印图像和对应的像素标签。
步骤A40，构建缺陷分割网络
在本实例中，缺陷分割网络给出了两种结构，一种如图5所示，缺陷分割网络基于深度神经网络构建，采用编码器-解码器结构。将工业相机拍摄的3D打印RGB图像转变为灰度图像，并调整为512×512大小，作为编码器的输入。图5中的“conv”表示卷积操作，“pooling”表示池化操作，“channel”表示通道，编码器通过卷积操作自动提取输入3D打印图像的特征，通过控制卷积核移动的步长使特征图的尺寸越来越小，从而增加图像的感受野，通过控制卷积核的数量使特征图的通道数增多。第一次卷积操作之后，特征图的通道数变为64，之后的每一次卷积操作使通道数量变为原来的2倍。每一次池化操作之后，特征图的尺寸变为原来的1/2。
解码器和编码器采用对称的结构，解码器利用反卷积层使特征图的尺寸越来越大，“deconv”表示反卷积操作，每次反卷积操作后，特征图的尺寸变为原来的2倍，通道数依次为256-128-64-6。解码器的输出有6个通道，每个通道代表该像素被判别为对应标签的概率。编码器提取的特征与解码器提取的特征通过快捷连接结构相连，从而提高缺陷分割网络的性能。最后一层使用softmax激活函数使输出概率归一化。softmax激活函数如式(4)所示：
其中，T是类别数(在本实施例中T＝6)，e为自然常数，aj为缺陷分割网络在第j个通道的输出，Sj为aj经过softmax激活函数之后的输出。经激活函数输出之后，每个像素被识别为6种类别的概率值在0到1之间，且每个像素被识别为6种类别的概率值相加为1。即图5中的分割结果为输入图像中各像素的类别的识别结果。
缺陷分割网络另一种结构如图6所示，采用编码器-解码器结构。将工业相机在多个角度拍摄的三张RGB图像转变为灰度图像，并调整为512×512大小。将三张图像分别输入网络结构相同且参数共享(Shared)的编码器提取特征(即通过三次卷积-池化操作提取每张图像的特征)，得到三个特征图，然后将三个特征图通过函数聚合(aggregation)为一个全局特征图。解码器利用三个反卷积层(deconv)根据全局特征图对每个像素的标签进行预测。解码器的输出有6个通道，每个通道代表该像素被判别为对应标签的概率。其中，上述“通过函数聚合”可以为求和或求平均，或者concat。
步骤A50，使用训练集训练缺陷分割网络
在本实施例中，将训练集样本中3D打印图像作为缺陷分割网络的输入，标记的像素标签作为缺陷分割网络的理想输出。缺陷分割网络利用交叉熵损失函数计算理想输出和实际输出之间的差距。交叉熵损失的定义式(5)所示：
其中，y是真实标签，为T维的向量，采用one-hot编码表示。在表示第a类时，向量的第a位为1，其他位置为0。例如，在本实施例中，类别5表示为[0,0,0,0,1,0]；y′是缺陷分割网络的实际输出，也是T维的向量，代表该像素为对应类别的概率值，最大的概率值对应的类别即为该像素预测的标签。
利用反向传播算法训练缺陷分割网络中的参数，首先计算Loss(交叉熵损失函数)的数值，然后使用梯度下降法调整缺陷分割网络的参数，目标是最小化损失函数Loss的数值。
步骤A60，使用测试集测试缺陷分割网络
在本实施例中，将测试集样本中3D打印图像作为缺陷分割网络的输入，标记的像素标签作为缺陷分割网络的理想输出。利用评价指标交集并集比(mean intersection-over-union，MIoU)评价缺陷分割网络的性能，即计算每一类的IoU然后求平均。每一类的IoU为预测区域和实际区域交集除以预测区域和实际区域的并集。MIoU的计算公式如下：
其中，pij表示将真实值为i类的像素预测为j类的像素点数。MIoU越接近1，模型性能越好。
2、基于神经网络的3D打印在线质量监测方法
步骤S10，采集三维物体在3D打印过程中的图像，作为输入图像；
在本实施例中，通过图像采集装置采集三维物体在3D打印过程中的图像，每当打印完一层之后，计算机发送拍照指令，工业相机采集图像并经图像采集卡传送至计算机进行后续的处理。采集的图像一般为截面图像或截面与侧面图像，在其他实施例中也可以根据实际需要获取其他方位的打印图像。
步骤S20，将所述输入图像转化为灰度图像后，采用预训练的缺陷分割网络获取所述输入图像中各像素的类别；
在本实施例中，将输入图像转化为灰度图像，输入预训练的缺陷分割网络，得到分割结果，即对3D打印图像的每个像素，计算6种标签类别中概率最大的值，即为该像素被预测的类别。
步骤S30，统计所述输入图像中各类别缺陷对应的像素数，并结合预获取的相机内参，计算所述输入图像中缺陷部位的面积；
将所述输入图像中各类别缺陷的像素数与零件到相机光心的距离d的平方做积，并除以预获取的相机内参的平方，得到所述输入图像中各类别缺陷部位的面积；
将各类别缺陷部位的面积相加，得到所述输入图像中缺陷部位的面积。
步骤S40，判断所述面积是否大于设定的第二面积阈值，若是，则启动质量监测警报，否则跳转步骤S10。
在本实施例中，判断缺陷部分面积是否大于预设的阈值(即打印质量不过关)，如果超过阈值，则启动警报装置(即质量检测警报)，提醒操作者检查3D打印设备。操作者可以查看温度传感器、氧含量测试模块、压力传感等测得的数值，查看其是否在正常范围内，根据这些数值以及出现缺陷的类型调整机器设备，继续打印过程。或者停止3D打印过程，并清除当前已打印的部分材料，重新开始打印。在其他实施方式中可以根据实际需要设定后续处理(即监测到打印质量不过关后的处理)。
本发明第二实施例的一种基于神经网络的3D打印在线质量监测方法，其应用于由照明设备、一个可见光相机、一个红外相机、图像采集卡和计算机组成的3D打印图像采集装置，包括如下步骤：
B10，采集三维物体在3D打印过程中的图像，作为输入图像；所述输入图像包括红外图像、可见光图像；
B20，将可见光图像转化为灰度图像，并将转化后的可见光图像与红外图像对齐，并调整至相同大小；
B30，调整后，分别将可将光图像、红外图像输入缺陷检测网络，通过concatenate函数进行特征融合并通过解码器进行缺陷类别的预测；
B40，统计所述输入图像中各类别缺陷对应的像素数，并结合预获取的相机内参，计算所述输入图像中缺陷部位的面积；
B50，判断所述面积是否大于设定的第二面积阈值，若是，则启动质量监测警报，否则重新采集图像。
其中，由照明设备、一个可见光相机、一个红外相机、图像采集卡和计算机组成的3D打印图像采集装置，如图8所示，光源即照明设备，固定在3D打印截面的斜上方。可见光相机和红外相机固定在3D打印截面(或3D打印工作台)的正上方，且与3D打印截面所在平面平行。计算机作为中心控制系统，用于发送指令与数据处理，与3D打印机以及图像采集卡相连。每当打印完一层之后，计算机发送拍照指令，可见光相机和红外相机采集图像(采集的红外图像、可见光图像为截面图像或截面与侧面图像)并经图像采集卡传送至计算机进行后续的处理。
基于红外图像和可见光图像特征融合的缺陷分割网络的一种结构如图9所示。首先对数据进行预处理，将可见光相机拍摄的RGB图像转变为灰度图像，并调整为固定大小，将红外相机拍摄的红外图像与可见光图像对齐，并调整为与可见光图像相同大小。然后将可见光图像和红外图像分别输入缺陷检测网络。缺陷检测网络采用编码器-解码器的结构，编码器通过多个卷积层堆叠提取输入图像特征，使用concatenate函数将两个特征图聚合，然后输入解码器对缺陷分割结果进行预测。
本发明第三实施例的一种基于神经网络的3D打印在线质量监测方法，应用于由照明设备、深度相机、机械臂、图像采集卡和计算机组成的3D打印图像采集装置，具体包括以下步骤，如图11所示：
C10，采集三维物体在3D打印过程中的RGB图像，作为输入图像；
C20，将所述RGB图像转化为灰度图像后，采用预训练的缺陷分割网络获取所述输入图像中各像素的类别；
C30，统计所述RGB图像中各类别缺陷对应的像素数，并结合预获取的相机内参，计算所述输入图像中缺陷部位的面积；
C40，若所述RGB图像中任一缺陷部位的面积小于设定的第一面积阈值且对应缺陷部位区域内的像素深度变化大于设定的深度阈值，则调整深度相机的位置，并重新采集RGB图像，否则跳转步骤C50；
C50，判断所述面积是否大于设定的第二面积阈值，若是，则启动质量监测警报，否则跳转C10。
由照明设备、深度相机、机械臂、图像采集卡和计算机组成的3D打印图像采集装置，如图10所示。光源即照明设备，固定在3D打印截面的斜上方。深度相机固定在机械臂上，初始位置为3D打印工作台的正上方，且与3D打印工作台所在平面平行。计算机作为中心控制系统，用于发送指令与数据处理，与3D打印机以及图像采集卡相连。每当打印完一层之后，计算机发送拍照指令，深度相机采集图像并经图像采集卡传送至计算机进行后续的处理。
本发明第四实施例的一种基于神经网络的3D打印在线质量监测系统，如图2所示，该系统包括：图像采集模块100、分割模块200、面积计算模块300、质量判断模块400；
所述图像采集模块100，配置为采集三维物体在3D打印过程中的图像，作为输入图像；
所述分割模块200，配置为将所述输入图像转化为灰度图像后，采用预训练的缺陷分割网络获取所述输入图像中各像素的类别；
所述面积计算模块300，配置为统计所述输入图像中各类别缺陷对应的像素数，并结合预获取的相机内参，计算所述输入图像中缺陷部位的面积；
所述质量判断模块400，判断所述面积是否大于设定的第二面积阈值，若是，则启动质量监测警报，否则跳转图像采集模块100；
所述缺陷分割网络基于对称结构的编码器-解码器构建；所述编码器用于提取输入图像的特征；所述解码器用于根据提取的特征，获取输入图像中每个像素对应的类别。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于神经网络的3D打印在线质量监测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第五实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于神经网络的3D打印在线质量监测方法。
本发明第六实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于神经网络的3D打印在线质量监测方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于神经网络的3D打印在线质量监测方法，其特征在于，该方法包括：
步骤S10，采集三维物体在3D打印过程中的图像，作为输入图像；
步骤S20，将所述输入图像转化为灰度图像后，采用预训练的缺陷分割网络获取所述输入图像中各像素的类别；
步骤S30，统计所述输入图像中各类别缺陷对应的像素数，并结合预获取的相机内参，计算所述输入图像中缺陷部位的面积；
步骤S40，判断所述面积是否大于设定的第二面积阈值，若是，则启动质量监测警报，否则跳转步骤S10；
所述缺陷分割网络基于对称结构的编码器-解码器构建；所述编码器用于提取输入图像的特征；所述解码器用于根据提取的特征，获取输入图像中每个像素对应的类别。
2.根据权利要求1所述的基于神经网络的3D打印在线质量监测方法，其特征在于，采集输入图像的图像采集装置包括照明设备、一或多个工业相机、图像采集卡、计算机；所述图像采集装置中至少有一个工业相机固定在3D打印工作台的正上方，且与3D打印工作台的平面平行。
3.根据权利要求2所述的基于神经网络的3D打印在线质量监测方法，其特征在于，步骤S10之前还包括相机内参的获取步骤：
获取一个张正友标定法的棋盘格，棋盘格大小已知，用相机对其进行不同角度的拍摄，得到一组图像；
对图像中设定位置的像素点对应的特征点进行检测，得到所述设定位置的像素点的像素坐标值；
根据已知的棋盘格大小和世界坐标系原点，计算得到所述设定位置的像素点的物理坐标值；
基于所述物理坐标值，采用张正友标定法得到相机内参。
4.根据权利要求1所述的基于神经网络的3D打印在线质量监测方法，其特征在于，所述输入图像中各像素的类别包括背景、无缺陷、鼓泡、塌陷、起皱、缺丝。
5.根据权利要求2所述的基于神经网络的3D打印在线质量监测方法，其特征在于，“计算所述输入图像中缺陷部位的面积”，其方法为：
将所述输入图像中各类别缺陷的像素数与零件到相机光心的距离d的平方做积，并除以预获取的相机内参的平方，得到所述输入图像中各类别缺陷部位的面积；
将各类别缺陷部位的面积相加，得到所述输入图像中缺陷部位的面积。
6.根据权利要求1所述的基于神经网络的3D打印在线质量监测方法，其特征在于，若在3D打印过程中的图像包括可见光图像、红外图像，则将可见光图像转化为灰度图像，并将转化后的可见光图像与红外图像对齐，并调整至相同大小；调整后，分别将可将光图像、红外图像输入缺陷检测网络，通过concatenate函数进行特征融合并通过解码器进行缺陷类别的预测。
7.根据权利要求1所述的基于神经网络的3D打印在线质量监测方法，其特征在于，步骤S30-S40之间还包括相机位置调整步骤，具体为：
若所述输入图像中任一缺陷部位的面积小于设定的第一面积阈值，且对应缺陷部位区域内的像素深度变化大于设定的深度阈值，则调整相机的位置，并重新采集图像。
8.一种基于神经网络的3D打印在线质量监测系统，其特征在于，该系统包括：图像采集模块、分割模块、面积计算模块、质量判断模块；
所述图像采集模块，配置为采集三维物体在3D打印过程中的图像，作为输入图像；
所述分割模块，配置为将所述输入图像转化为灰度图像后，采用预训练的缺陷分割网络获取所述输入图像中各像素的类别；
所述面积计算模块，配置为统计所述输入图像中各类别缺陷对应的像素数，并结合预获取的相机内参，计算所述输入图像中缺陷部位的面积；
所述质量判断模块，判断所述面积是否大于设定的第二面积阈值，若是，则启动质量监测警报，否则跳转图像采集模块；
所述缺陷分割网络基于对称结构的编码器-解码器构建；所述编码器用于提取输入图像的特征；所述解码器用于根据提取的特征，获取输入图像中每个像素对应的类别。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-6任一项所述的基于神经网络的3D打印在线质量监测方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-6任一项所述的基于神经网络的3D打印在线质量监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110337787.0A CN112884768B (zh) | 2021-03-30 | 2021-03-30 | 基于神经网络的3d打印在线质量监测方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110337787.0A CN112884768B (zh) | 2021-03-30 | 2021-03-30 | 基于神经网络的3d打印在线质量监测方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112884768A true CN112884768A (zh) | 2021-06-01 |
| CN112884768B CN112884768B (zh) | 2022-09-23 |
Family
ID=76039832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110337787.0A Active CN112884768B (zh) | 2021-03-30 | 2021-03-30 | 基于神经网络的3d打印在线质量监测方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884768B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113341668A (zh) * | 2021-06-23 | 2021-09-03 | 南京立思辰智能设备有限公司 | 基于打印基材检测的打印质量自适应调整的激光打印机 |
| CN113592870A (zh) * | 2021-10-02 | 2021-11-02 | 武汉海川彩印有限责任公司 | 基于自适应焦距的印刷缺陷检测方法 |
| CN116051562A (zh) * | 2023-03-31 | 2023-05-02 | 北京大学 | 基于深度生成网络的金属3d打印质量预测方法 |
| CN116664846A (zh) * | 2023-07-31 | 2023-08-29 | 华东交通大学 | 基于语义分割实现3d打印桥面施工质量监测方法及系统 |
| CN116758491A (zh) * | 2023-08-18 | 2023-09-15 | 苏州博创熠鑫智造科技有限责任公司 | 应用于3d打印的打印监控图像分析方法及系统 |
| CN117058154A (zh) * | 2023-10-13 | 2023-11-14 | 西安空天机电智能制造有限公司 | 3dp金属打印铺粉过程的缺陷识别方法、系统及介质 |
| CN117245104A (zh) * | 2023-11-16 | 2023-12-19 | 西安空天机电智能制造有限公司 | 3dp金属打印缺陷识别的监测方法、装置、设备及介质 |
| CN117710372A (zh) * | 2024-02-05 | 2024-03-15 | 苏州双恩智能科技有限公司 | 3d打印工件缺陷的在线检测方法、系统、设备及存储介质 |
| CN118261913A (zh) * | 2024-05-30 | 2024-06-28 | 成都增谊科技有限公司 | 一种3d打印产品表面质量评价方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105014964A (zh) * | 2014-04-18 | 2015-11-04 | 三纬国际立体列印科技股份有限公司 | 立体打印装置及其打印异常检测方法 |
| US20160098824A1 (en) * | 2014-10-03 | 2016-04-07 | Tyco Electronics Corporation | Three dimensional printing inspection apparatus and method |
| CN107941808A (zh) * | 2017-11-10 | 2018-04-20 | 中国计量大学 | 基于机器视觉的3d打印成型质量检测系统及方法 |
| CN108760747A (zh) * | 2018-04-28 | 2018-11-06 | 浙江大学 | 一种3d打印模型表面缺陷视觉检测方法 |
| CN110370649A (zh) * | 2019-07-11 | 2019-10-25 | 中国科学院自动化研究所 | 3d打印设备的在线监测装置、系统 |
| CN111402251A (zh) * | 2020-04-01 | 2020-07-10 | 苏州苏映视图像软件科技有限公司 | 一种用于3d缺陷检测的视觉检测方法及系统 |
-
2021
- 2021-03-30 CN CN202110337787.0A patent/CN112884768B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105014964A (zh) * | 2014-04-18 | 2015-11-04 | 三纬国际立体列印科技股份有限公司 | 立体打印装置及其打印异常检测方法 |
| US20160098824A1 (en) * | 2014-10-03 | 2016-04-07 | Tyco Electronics Corporation | Three dimensional printing inspection apparatus and method |
| CN107941808A (zh) * | 2017-11-10 | 2018-04-20 | 中国计量大学 | 基于机器视觉的3d打印成型质量检测系统及方法 |
| CN108760747A (zh) * | 2018-04-28 | 2018-11-06 | 浙江大学 | 一种3d打印模型表面缺陷视觉检测方法 |
| CN110370649A (zh) * | 2019-07-11 | 2019-10-25 | 中国科学院自动化研究所 | 3d打印设备的在线监测装置、系统 |
| CN111402251A (zh) * | 2020-04-01 | 2020-07-10 | 苏州苏映视图像软件科技有限公司 | 一种用于3d缺陷检测的视觉检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| MOHAMMAD FARHAN KHAN 等: "Real-time defect detection in 3D printing using machine learning", 《MATERIALS TODAY: PROCEEDINGS》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113341668B (zh) * | 2021-06-23 | 2022-09-09 | 南京辰光融信技术有限公司 | 基于打印基材检测的打印质量自适应调整的激光打印机 |
| CN113341668A (zh) * | 2021-06-23 | 2021-09-03 | 南京立思辰智能设备有限公司 | 基于打印基材检测的打印质量自适应调整的激光打印机 |
| CN113592870A (zh) * | 2021-10-02 | 2021-11-02 | 武汉海川彩印有限责任公司 | 基于自适应焦距的印刷缺陷检测方法 |
| CN113592870B (zh) * | 2021-10-02 | 2021-12-24 | 武汉海川彩印有限责任公司 | 基于自适应焦距的印刷缺陷检测方法 |
| CN116051562A (zh) * | 2023-03-31 | 2023-05-02 | 北京大学 | 基于深度生成网络的金属3d打印质量预测方法 |
| CN116664846A (zh) * | 2023-07-31 | 2023-08-29 | 华东交通大学 | 基于语义分割实现3d打印桥面施工质量监测方法及系统 |
| CN116664846B (zh) * | 2023-07-31 | 2023-10-13 | 华东交通大学 | 基于语义分割实现3d打印桥面施工质量监测方法及系统 |
| CN116758491B (zh) * | 2023-08-18 | 2023-12-19 | 苏州博创熠鑫智造科技有限责任公司 | 应用于3d打印的打印监控图像分析方法及系统 |
| CN116758491A (zh) * | 2023-08-18 | 2023-09-15 | 苏州博创熠鑫智造科技有限责任公司 | 应用于3d打印的打印监控图像分析方法及系统 |
| CN117058154A (zh) * | 2023-10-13 | 2023-11-14 | 西安空天机电智能制造有限公司 | 3dp金属打印铺粉过程的缺陷识别方法、系统及介质 |
| CN117058154B (zh) * | 2023-10-13 | 2024-03-12 | 西安空天机电智能制造有限公司 | 3dp金属打印铺粉过程的缺陷识别方法、系统及介质 |
| CN117245104A (zh) * | 2023-11-16 | 2023-12-19 | 西安空天机电智能制造有限公司 | 3dp金属打印缺陷识别的监测方法、装置、设备及介质 |
| CN117245104B (zh) * | 2023-11-16 | 2024-03-12 | 西安空天机电智能制造有限公司 | 3dp金属打印缺陷识别的监测方法、装置、设备及介质 |
| CN117710372A (zh) * | 2024-02-05 | 2024-03-15 | 苏州双恩智能科技有限公司 | 3d打印工件缺陷的在线检测方法、系统、设备及存储介质 |
| CN117710372B (zh) * | 2024-02-05 | 2024-05-03 | 苏州双恩智能科技有限公司 | 3d打印工件缺陷的在线检测方法、系统、设备及存储介质 |
| CN118261913A (zh) * | 2024-05-30 | 2024-06-28 | 成都增谊科技有限公司 | 一种3d打印产品表面质量评价方法 |
| CN118261913B (zh) * | 2024-05-30 | 2024-07-26 | 成都增谊科技有限公司 | 一种3d打印产品表面质量评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112884768B (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112884768B (zh) | 基于神经网络的3d打印在线质量监测方法、系统、装置 | |
| CN111862067B (zh) | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 | |
| CN111325713B (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
| CN111814850B (zh) | 缺陷检测模型训练方法、缺陷检测方法及相关装置 | |
| US11132786B2 (en) | Board defect filtering method based on defect list and circuit layout image and device thereof and computer-readable recording medium | |
| CN110473173A (zh) | 一种基于深度学习语义分割的缺陷检测方法 | |
| KR20230124713A (ko) | 결함 검출 방법, 장치 및 시스템 | |
| CN111402226A (zh) | 一种基于级联卷积神经网络的表面疵点检测方法 | |
| CN112088387A (zh) | 检测成像物品缺陷的系统和方法 | |
| CN107229930A (zh) | 一种指针式仪表数值智能识别方法及装置 | |
| CN108898047A (zh) | 基于分块遮挡感知的行人检测方法及系统 | |
| CN107492098A (zh) | 一种基于pca和cnn的高温锻件表面缺陷在位检测方法 | |
| CN113822247A (zh) | 基于航拍影像的违章建筑识别方法及系统 | |
| CN106355579A (zh) | 烟条表面褶皱的缺陷检测方法 | |
| US8315457B2 (en) | System and method for performing multi-image training for pattern recognition and registration | |
| CN115049821A (zh) | 一种基于多传感器融合的三维环境目标检测方法 | |
| CN107238534A (zh) | 基于图像计算在线监测板材拉伸性能的方法及装置 | |
| KR102559586B1 (ko) | 인공지능을 이용한 구조물 외관 점검 시스템 및 방법 | |
| CN105023018A (zh) | 一种喷码检测方法及系统 | |
| CN116012701A (zh) | 一种基于矾花检测的水处理加药控制方法及装置 | |
| CN117011274A (zh) | 自动化玻璃瓶检测系统及其方法 | |
| CN116664846A (zh) | 基于语义分割实现3d打印桥面施工质量监测方法及系统 | |
| CN118293999A (zh) | 一种用于试剂瓶的液位检测系统 | |
| CN117274843B (zh) | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 | |
| CN116580026B (zh) | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |