CN116777836A - 一种基于多模态数据驱动的注塑工艺产品品质检测方法 - Google Patents
一种基于多模态数据驱动的注塑工艺产品品质检测方法 Download PDFInfo
- Publication number
- CN116777836A CN116777836A CN202310526733.8A CN202310526733A CN116777836A CN 116777836 A CN116777836 A CN 116777836A CN 202310526733 A CN202310526733 A CN 202310526733A CN 116777836 A CN116777836 A CN 116777836A
- Authority
- CN
- China
- Prior art keywords
- injection molding
- molding process
- mode data
- process product
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001746 injection moulding Methods 0.000 title claims abstract description 86
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 230000007547 defect Effects 0.000 claims abstract description 122
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000004519 manufacturing process Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 28
- 238000012544 monitoring process Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 3
- 238000003860 storage Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Landscapes
- Injection Moulding Of Plastics Or The Like (AREA)
Abstract
本发明公开了一种基于多模态数据驱动的注塑工艺产品品质检测方法、系统及计算机可读存储介质，方法包括以下步骤：S1，获取多模态数据，构建多模态数据集；S2，对缺陷图像进行预处理；S3，构建基于多模态数据的最优识别网络学习模型；S4，将经预处理的多模态数据集拆分为测试集以及训练集，利用训练集训练深层网络；S5，利用测试集验证上述模型的性能；S6，评估上述模型的性能结果，并保留高级模型；S7，基于训练好的深层网络进行注塑工艺产品表面缺陷检测。本发明方法将深度学习网络与多模态数据相结合，基于多模态数据驱动，以高效准确检测注塑产品品质。
Description
技术领域
本发明涉及工艺产品的品质缺陷检测技术领域，更具体地，涉及一种基于多模态数据驱动的注塑工艺产品品质检测方法、系统及计算机可读存储介质。
背景技术
在以信息技术为基础的注塑成形智能制造体系中，主要包括了传感器技术、工业以太网及互联网。当前主流的传感技术是计算机与检测技术相结合的产物，除了能对外界信息进行监测外，还具备一定的自诊断、数据处理以及自适应能力。
现有的注塑工艺产品外观品质检测主要还是依靠工厂中的现场工人进行人工检测与识别，人工检测作为一种传统的外观缺陷检测方法，具有以下几个缺点：主观性较强：不同的检验员对同一产品的缺陷判断可能存在差异，而且在不同的时间、环境下，同一名检验员对同一产品的判断结果也可能存在不一致性。疲劳度高：长时间的人工检测工作容易使检验员产生疲劳，从而影响其工作效率和准确性。无法处理大批量的产品：在现代工业生产中，需要对大量的产品进行检测，而依靠人眼进行检测往往无法满足大规模生产的需求。无法处理复杂缺陷：人眼检测往往无法准确地检测一些复杂的缺陷，例如微小的裂纹、凹陷等。因此，现代注塑工艺生产中，人眼检测已经逐渐被自动化检测和计算机视觉技术所替代。这些技术具有高效、准确、稳定等优点，可以大大提高生产效率和产品质量。
单模态数据驱动的产品外观缺陷检测通常只利用一种数据源来检测缺陷。尽管单模态数据易于获取和处理，但它们在提供缺陷检测信息方面可能存在不足。例如，在使用单一的图像数据进行外观缺陷检测时，可能无法检测到在其他数据源(如声音或振动)中存在的缺陷。
而申请日为2022.06.07的中国发明专利：基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质，包括以下步骤：获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。该发明旨在通过提取注塑件图像中精确的瑕疵区域特征，获得准确的瑕疵类型识别与目标位置，并没有解决单模态数据驱动检测不足的问题。
发明内容
针对现有技术存在人工检测效率低下以及单模态数据驱动检测不足的问题，本发明提供了一种基于多模态数据驱动的注塑工艺产品品质检测方法及系统，本发明采用的技术方案是：
本发明第一方面提供了一种基于多模态数据驱动的注塑工艺产品品质检测方法，包括以下步骤：
S1，获取包括实时生产参数和注塑工艺产品表面缺陷图像，作为多模态数据集；
S2，对所述注塑工艺产品表面缺陷图像进行预处理；
S3，构建基于多模态数据的最优识别网络学习模型；
S4，将经预处理的多模态数据集拆分为测试集以及训练集，利用所述训练集训练所述基于多模态数据的最优识别网络学习模型；
S5，利用所述测试集验证所述基于多模态数据的最优识别网络学习模型的性能；
S6，评估所述基于多模态数据的最优识别网络学习模型的性能结果，保留性能最佳的模型并记作高级模型；
S7,基于所述高级模型进行注塑工艺产品表面缺陷检测。
相较于现有技术，本发明提出一种基于注塑装备过程多模态数据驱动的注塑工艺产品品质检测方法，通过利用来自不同传感器的多种数据(如图像、声音和振动等)来检测缺陷，这些数据在不同环境下能够提供更加全面和准确的信息，这比单独使用图像或单种类数据更加准确。其次，多模态数据驱动的外观品质检测可以通过融合不同数据源的信息来提高缺陷检测的准确性。
作为一种优选方案，所述实时生产参数包括压力、温度、位置、速度以及时间。
作为一种优选方案，在所述步骤S2中，所述预处理包括以下步骤：
S21，对所述注塑工艺产品表面缺陷图像使用先阈值后差影的方法进行分割处理以去除背景；
S22，对所述注塑工艺产品表面缺陷图像使用数据增强技术；
S23，对所述注塑工艺产品表面缺陷图像进行归一化处理。
作为一种优选方案，在所述步骤S21中，在分割处理前对所述注塑工艺产品表面缺陷图像进行滤波处理。
作为一种优选方案，所述基于多模态数据的最优识别网络学习模型包括基于CNN的缺陷检测模型和基于LSTM的缺陷检测模型，所述基于CNN的缺陷检测模型用于提取所述注塑工艺产品表面缺陷图像的缺陷特征并输出缺陷程度检测结果F1，所述基于LSTM的缺陷检测模型用于通过将实时生产参数与正常阈值进行比较并输出缺陷程度检测结果F2；
所述基于多模态数据的最优识别网络学习模型还包括Dense输出层，所述F1以及F2经融合和一维化处理后发送至所述Dense输出层，并由所述Dense输出层输出最终缺陷检测结果。
作为一种优选方案，所述基于CNN的缺陷检测模型包括批量归一化层、最大值池化层以及Flatten层；
所述批量归一化层用于提高归一化在网络中的传播的梯度；所述最大值池化层用于通过最大池化来提取最重要的特征；所述Flatten层用于将输出展平为一维向量，把多维变为一维化，以满足所述Dense输出层的输入要求。
作为一种优选方案，所述基于LSTM的缺陷检测模型包括sigmoid层、tanh层以及Dropout层；
所述sigmoid层判定新数据是否需要被修改；所述tanh层用于给传递的每个值分配一个权重以确定每个值显著性高低；所述Dropout层用于减少DL模型的过拟合。
作为一种优选方案，在所述步骤S6中，所述基于多模态数据的最优识别网络学习模型的性能结果通过以下计算过程得出：
其中Acc为总体精度，Pr为精度，Re为召回率，Fm为F-measure，IoU为交并比。
本发明第二方面还提供了一种基于多模态数据驱动的注塑工艺产品品质检测系统，包括实时工艺参数监控模块、缺陷图像采集模块、存储器以及处理器；
所述实时工艺参数监控模块用于采集所述实时工艺参数；所述缺陷图像采集模块用于采集所述注塑工艺产品表面缺陷图像；
所述存储器中包括一种基于多模态数据驱动的注塑工艺产品品质检测方法程序，所述一种基于多模态数据驱动的注塑工艺产品品质检测方法程序被所述处理器执行时实现以下步骤：
S1，获取包括实时生产参数和注塑工艺产品表面缺陷图像，作为多模态数据集；
S2，对所述注塑工艺产品表面缺陷图像进行预处理；
S3，构建基于多模态数据的最优识别网络学习模型；
S4，将经预处理的多模态数据集拆分为测试集以及训练集，利用所述训练集训练所述基于多模态数据的最优识别网络学习模型；
S5，利用所述测试集验证所述基于多模态数据的最优识别网络学习模型的性能；
S6，评估所述基于多模态数据的最优识别网络学习模型的性能结果，保留性能最佳的模型并记作高级模型；
S7,基于所述高级模型进行注塑工艺产品表面缺陷检测。
进一步的，所述实时工艺参数监控模块包括传感器、数据采集卡以及监控主机；所述缺陷图像采集模块包括光源、CCD摄像机、图像采集卡、工业计算机以及机械臂。
本发明的有益效果是：
本发明通过利用注塑工艺过程中的多模态数据融合可以提供更全面、准确信息，通过结合图像、声音、振动等多种数据来源，可以更精确地检测出注塑产品外观缺陷，减少漏检和误检率。通过利用注塑工艺过程多模态数据融合可以同时处理多个数据源，相比单一数据源的处理，可以大大缩短检测时间，提高检测效率。通过注塑工艺过程多模态数据来源的融合，还可以减少单一数据源的偏差和不足，提高检测的可靠性和稳定性。
附图说明
图1为本发明实施例提供的一种基于多模态数据驱动的注塑工艺产品品质检测方法流程框图；
图2为本发明实施例提供的模型框架示意图；
图3为为本发明实施例提供的基于传感器的实时工艺参数监控流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。以下结合附图和实施例对本发明做进一步的阐述。
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
请参考图1，一种基于多模态数据驱动的注塑工艺产品品质检测方法，包括以下步骤：
S1，获取包括实时生产参数和注塑工艺产品表面缺陷图像，作为多模态数据集；
S2，对所述注塑工艺产品表面缺陷图像进行预处理；
S3，构建基于多模态数据的最优识别网络学习模型；
S4，将经预处理的多模态数据集拆分为测试集以及训练集，利用所述训练集训练所述基于多模态数据的最优识别网络学习模型；
S5，利用所述测试集验证所述基于多模态数据的最优识别网络学习模型的性能；
S6，评估所述基于多模态数据的最优识别网络学习模型的性能结果，保留性能最佳的模型并记作高级模型；
S7,基于所述高级模型进行注塑工艺产品表面缺陷检测：
相较于现有技术，本发明提出一种基于注塑装备过程多模态数据驱动的注塑工艺产品品质检测方法，通过利用来自不同传感器的多种数据(如图像、声音和振动等)来检测缺陷，这些数据在不同环境下能够提供更加全面和准确的信息，这比单独使用图像或单种类数据更加准确。其次，多模态数据驱动的外观品质检测可以通过融合不同数据源的信息来提高缺陷检测的准确性。
实施例2
请参考图1以及图2，一种基于多模态数据驱动的注塑工艺产品品质检测方法，包括以下步骤：
S1，获取包括实时生产参数和注塑工艺产品表面缺陷图像，作为多模态数据集。
在一个具体的实施例中，所述实时生产参数包括压力、温度、位置、速度以及时间。
具体的，通过传感器对温度、压力、速度等物理变量进行实时测量与数据收集，能够间接地描述塑料熔体在成形过程中发生的变化。利用智能传感器建立注塑机之间的传感网，并实现多种现场总线、无线、异构系统集成和接入，可获取不同注塑机、不同产品、不同成形条件、不同环境下的数据和信息。
更具体的，在监控过程中，对获取的海量数据进行实时处理、分析和挖掘，根据分析结果，针对成形过程中的每个步骤，以时间最优为目标，对各个工艺参数进行优化，可在已有约束条件下大幅度缩短成形周期的时间，从而大幅度提高生产效率。针对生产中高耗能的步骤(塑化、加热、保压和注射)，利用多种传感器(温度、位置、压力等)获取与这些步骤相关的数据和信息，对获取的数据进行处理、分析和挖掘，以能耗最优为目标，在保证产品质量的条件下对相关参数进行优化，可大幅度降低注塑成形中的单位能耗，从而提高资源的综合利用率。
S2，对所述注塑工艺产品表面缺陷图像进行预处理；
在一个具体的实施例中，在所述步骤S2中，所述预处理包括以下步骤：
S21，对所述注塑工艺产品表面缺陷图像使用先阈值后差影的方法进行分割处理以去除背景；
在一个具体的实施例中，在所述步骤S21中，在分割处理前对所述注塑工艺产品表面缺陷图像进行滤波处理。通过这一改进，克服了邻域平均法对零散噪声克服不足以及中值滤波方法在大面积噪声处理时失效的问题。增强了背景分割算法对于外界环境变化的适应能力，提高了算法的实用性。
S22，对所述注塑工艺产品表面缺陷图像使用数据增强技术；
S23，对所述注塑工艺产品表面缺陷图像进行归一化处理。
具体的，在所述步骤S23中，在各个特征之间进行归一化转换，以调整不同特征之间的大小差异。特征归一化的计算方法是减去最小图像数据，再除以最大值特征值与最小特征值之差，如下式所示：
其中f代表各个特征值，fnorm代表特征归一化后的值，fmax代表最大特征值，fmin代表最小特征值。
S3，构建基于多模态数据的最优识别网络学习模型；
具体的，所述基于多模态数据的最优识别网络学习模型包括基于CNN的缺陷检测模型和基于LSTM的缺陷检测模型，把所述基于CNN的缺陷检测模型记作CNNimg，把所述基于LSTM的缺陷检测模型记作LSTMRP；所述基于CNN的缺陷检测模型用于提取所述注塑工艺产品表面缺陷图像的缺陷特征并输出缺陷程度检测结果F1，所述基于LSTM的缺陷检测模型用于通过将实时生产参数与正常阈值进行比较并输出缺陷程度检测结果F2；
所述基于多模态数据的最优识别网络学习模型还包括Dense输出层，所述F1以及F2经融合和一维化处理后发送至所述Dense输出层，并由所述Dense输出层输出最终缺陷检测结果。
具体的，本发明针对注塑机表面图像的缺陷特征提取使用基于CNN的方法。通过CNNimg对图像中的几何特征进行提取，利用目标轮廓信息来反映缺陷的特征参数，根据不同的特征参数值来判别当前缺陷属于无缺陷、轻度缺陷和重度缺陷三者中间的哪一类。例如，通过缺陷目标区域的面积大小，利用目标边界内像素个数来获取面积的特征值，来判断缺陷的严重程度，面积较大的则划分为重度缺陷，缺陷部分范围较小，不影响实际生产的则划分为轻度缺陷，没有缺陷目标出现的即为无缺陷。
具体的，对于实时生产参数，本发明同时构建了一种基于LSTM的缺陷检测模型，把实时生产参数数据作为LSTM的输入，最终输出生产环境特征。经过LSTM模型输出的F2，是生产环境特性，具体来说就是首先将温度、压力和速度等对注塑产品影响较大的生产参数提取出来，再对比其与正常值之间的差值，通过某一生产参超出正常阈值的程度来判断产品的缺陷程度。例如，将获取的温度参数与注塑生产中的正常温度范围进行比较，如果超出或低于正常范围，则判定为产生缺陷。再依据差值的范围大小判断缺陷的严重程度，将差值较大的分类为重度缺陷，差值较小的为轻度缺陷，生产参数在正常范围内的判定为无缺陷。
具体的，所述Dense输出层是一个深度连接的神经网络层，其通常使用softmax函数作为分类器，可以将提取出的特征可以得到更准确的分类，故选用Dense输出层作为最终的缺陷检测分类，最终输出无缺陷，轻度缺陷和重度缺陷三种类型。
在一个具体的实施例中，所述基于CNN的缺陷检测模型包括批量归一化层(Batchnormalization)、最大值池化层(Max-pooling2D)以及Flatten层；
所述批量归一化层用于提高归一化在网络中的传播的梯度；所述最大值池化层用于通过最大池化来提取最重要的特征；所述Flatten层用于将输出展平为一维向量，把多维变为一维化，以满足所述Dense输出层的输入要求。
在一个具体的实施例中，所述基于LSTM的缺陷检测模型包括sigmoid层、tanh层以及Dropout层；
所述sigmoid层判定新数据是否需要被修改；所述tanh层用于给传递的每个值分配一个权重以确定每个值显著性高低；所述Dropout层用于减少DL模型的过拟合。
S4，将经预处理的多模态数据集拆分为测试集以及训练集，利用所述训练集训练所述基于多模态数据的最优识别网络学习模型；
在一个具体的实施例中，将步骤S4中的多模态数据集分为
S5，利用所述测试集验证所述基于多模态数据的最优识别网络学习模型的性能；
S6，评估所述基于多模态数据的最优识别网络学习模型的性能结果，保留性能最佳的模型并记作高级模型；
S7,基于所述高级模型进行注塑工艺产品表面缺陷检测。
实施例3
请参考图3，一种基于多模态数据驱动的注塑工艺产品品质检测系统，包括实时工艺参数监控模块、缺陷图像采集模块、存储器以及处理器；
所述实时工艺参数监控模块用于采集所述实时工艺参数；所述缺陷图像采集模块用于采集所述注塑工艺产品表面缺陷图像；
所述存储器中包括一种基于多模态数据驱动的注塑工艺产品品质检测方法程序，所述一种基于多模态数据驱动的注塑工艺产品品质检测方法程序被所述处理器执行时实现以下步骤：
S1，获取包括实时生产参数和注塑工艺产品表面缺陷图像，作为多模态数据集；
S2，对所述注塑工艺产品表面缺陷图像进行预处理；
S3，构建基于多模态数据的最优识别网络学习模型；
S4，将经预处理的多模态数据集拆分为测试集以及训练集，利用所述训练集训练所述基于多模态数据的最优识别网络学习模型；
S5，利用所述测试集验证所述基于多模态数据的最优识别网络学习模型的性能；
S6，评估所述基于多模态数据的最优识别网络学习模型的性能结果，保留性能最佳的模型并记作高级模型；
S7,基于所述高级模型进行注塑工艺产品表面缺陷检测。
作为一种具体的实施例，所述实时工艺参数监控模块包括传感器、数据采集卡以及监控主机；所述缺陷图像采集模块包括光源、CCD摄像机、图像采集卡、工业计算机以及机械臂。
具体的，所述传感器包括压力探针、电阻式传感器、K型热电偶、速度传感器；所述压力探针用于采集压力信号，所述电阻式传感器用于采集位置信号，所述K型热电偶用于采集离散信号，所述速度传感器用于采集速度信号；所述数据采集卡用于获取所述传感器采集的信号并转化为数字信号传输给所述监控主机进行数据处理。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于多模态数据驱动的注塑工艺产品品质检测方法，其特征在于，包括以下步骤：
S1，获取包括实时生产参数和注塑工艺产品表面缺陷图像，作为多模态数据集；
S2，对所述注塑工艺产品表面缺陷图像进行预处理；
S3，构建基于多模态数据的最优识别网络学习模型；
S4，将经预处理的多模态数据集拆分为测试集以及训练集，利用所述训练集训练所述基于多模态数据的最优识别网络学习模型；
S5，利用所述测试集验证所述基于多模态数据的最优识别网络学习模型的性能；
S6，评估所述基于多模态数据的最优识别网络学习模型的性能结果，保留性能最佳的模型并记作高级模型；
S7,基于所述高级模型进行注塑工艺产品表面缺陷检测。
2.根据权利要求1所述的一种基于多模态数据驱动的注塑工艺品品质检测方法，其特征在于，所述实时生产参数包括压力、温度、位置、速度以及时间。
3.根据权利要求1所述的一种基于多模态数据驱动的注塑工艺品品质检测方法，其特征在于，在所述步骤S2中，所述预处理包括以下步骤：
S21，对所述注塑工艺产品表面缺陷图像使用先阈值后差影的方法进行分割处理以去除背景；
S22，对所述注塑工艺产品表面缺陷图像使用数据增强技术；
S23，对所述注塑工艺产品表面缺陷图像进行归一化处理。
4.根据权利要求2所述的一种基于多模态数据驱动的注塑工艺产品品质检测方法，其特征在于，在所述步骤S21中，在分割处理前对所述注塑工艺产品表面缺陷图像进行滤波处理。
5.根据权利要求1所述的一种基于多模态数据驱动的注塑工艺产品品质检测方法，其特征在于，所述基于多模态数据的最优识别网络学习模型包括基于CNN的缺陷检测模型和基于LSTM的缺陷检测模型，所述基于CNN的缺陷检测模型用于提取所述注塑工艺产品表面缺陷图像的缺陷特征并输出缺陷程度检测结果F1，所述基于LSTM的缺陷检测模型用于通过将实时生产参数与正常阈值进行比较并输出缺陷程度检测结果F2；
所述基于多模态数据的最优识别网络学习模型还包括Dense输出层，所述F1以及F2经融合和一维化处理后发送至所述Dense输出层，并由所述Dense输出层输出最终缺陷检测结果。
6.根据权利要求5所述的一种基于多模态数据驱动的注塑工艺产品品质检测方法，其特征在于，所述基于CNN的缺陷检测模型包括批量归一化层、最大值池化层以及Flatten层；
所述批量归一化层用于提高归一化在网络中的传播的梯度；所述最大值池化层用于通过最大池化来提取最重要的特征；所述Flatten层用于将输出展平为一维向量，把多维变为一维化，以满足所述Dense输出层的输入要求。
7.根据权利要求5所述的一种基于多模态数据驱动的注塑工艺产品品质检测方法，其特征在于，所述基于LSTM的缺陷检测模型包括sigmoid层、tanh层以及Dropout层；
所述sigmoid层判定新数据是否需要被修改；所述tanh层用于给传递的每个值分配一个权重以确定每个值显著性高低；所述Dropout层用于减少DL模型的过拟合。
8.根据权利要求1所述的一种基于多模态数据驱动的注塑工艺产品品质检测方法，其特征在于，在所述步骤S6中，所述基于多模态数据的最优识别网络学习模型的性能结果通过以下计算过程得出：
其中Acc为总体精度，Pr为精度，Re为召回率，Fm为F-measure，IoU为交并比。
9.一种基于多模态数据驱动的注塑工艺产品品质检测系统，其特征在于，包括实时工艺参数监控模块、缺陷图像采集模块、存储器以及处理器；
所述实时工艺参数监控模块用于采集所述实时工艺参数；所述缺陷图像采集模块用于采集所述注塑工艺产品表面缺陷图像；
所述存储器中包括一种基于多模态数据驱动的注塑工艺产品品质检测方法程序，所述一种基于多模态数据驱动的注塑工艺产品品质检测方法程序被所述处理器执行时实现以下步骤：
S1，获取包括实时生产参数和注塑工艺产品表面缺陷图像，作为多模态数据集；
S2，对所述注塑工艺产品表面缺陷图像进行预处理；
S3，构建基于多模态数据的最优识别网络学习模型；
S4，将经预处理的多模态数据集拆分为测试集以及训练集，利用所述训练集训练所述基于多模态数据的最优识别网络学习模型；
S5，利用所述测试集验证所述基于多模态数据的最优识别网络学习模型的性能；
S6，评估所述基于多模态数据的最优识别网络学习模型的性能结果，保留性能最佳的模型并记作高级模型；
S7,基于所述高级模型进行注塑工艺产品表面缺陷检测。
10.根据权利要求9所述的一种基于多模态数据驱动的注塑工艺产品品检测系统，其特征在于，所述实时工艺参数监控模块包括传感器、数据采集卡以及监控主机；所述缺陷图像采集模块包括光源、CCD摄像机、图像采集卡、工业计算机以及机械臂。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310526733.8A CN116777836A (zh) | 2023-05-10 | 2023-05-10 | 一种基于多模态数据驱动的注塑工艺产品品质检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310526733.8A CN116777836A (zh) | 2023-05-10 | 2023-05-10 | 一种基于多模态数据驱动的注塑工艺产品品质检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116777836A true CN116777836A (zh) | 2023-09-19 |
Family
ID=87990409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310526733.8A Pending CN116777836A (zh) | 2023-05-10 | 2023-05-10 | 一种基于多模态数据驱动的注塑工艺产品品质检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116777836A (zh) |
-
2023
- 2023-05-10 CN CN202310526733.8A patent/CN116777836A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862064B (zh) | 一种基于深度学习的银质丝材表面瑕疵识别方法 | |
| US10803573B2 (en) | Method for automated detection of defects in cast wheel products | |
| CN109822398B (zh) | 一种基于深度学习的数控机床断刀检测系统及方法 | |
| CN105891233A (zh) | 基于机器视觉的镜片表面缺陷智能检测系统及其实现方法 | |
| CN111815555A (zh) | 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置 | |
| CN115797354B (zh) | 用于检测激光焊接焊缝外观缺陷的方法 | |
| CN109726730A (zh) | 自动光学检测图像分类方法、系统及计算机可读介质 | |
| CN110942450A (zh) | 一种基于深度学习的多生产流水线实时缺陷检测方法 | |
| CN111161237A (zh) | 一种果蔬表面质检方法及其储存介质、分拣装置 | |
| CN115294033A (zh) | 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 | |
| CN111783616A (zh) | 一种基于数据驱动自学习的无损检测方法 | |
| CN113706496B (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
| CN114881998A (zh) | 一种基于深度学习的工件表面缺陷检测方法及系统 | |
| Ekambaram et al. | Identification of defects in casting products by using a convolutional neural network | |
| CN116740044B (zh) | 基于视觉检测与控制的铜管铣面加工方法及系统 | |
| CN107121063A (zh) | 检测工件的方法 | |
| CN117011274A (zh) | 自动化玻璃瓶检测系统及其方法 | |
| CN116777836A (zh) | 一种基于多模态数据驱动的注塑工艺产品品质检测方法 | |
| CN114897909B (zh) | 基于无监督学习的曲轴表面裂纹监测方法及系统 | |
| CN111695582A (zh) | 一种颤振纹理的检测方法及其装置 | |
| CN113919396A (zh) | 一种基于半监督学习的振动信号和图像特征机床刀具磨损状态监测方法 | |
| Sun et al. | Research on Both the Classification and Quality Control Methods of the Car Seat Backrest Based on Machine Vision | |
| Regayeg et al. | Automatic detection system for verification and quality control: Application to water connector inspection | |
| CN117808324B (zh) | 一种无人机视觉协同的建筑进度评估方法 | |
| CN117269168B (zh) | 一种新能源汽车精密零配件表面缺陷检测装置及检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |