CN113066056A - 一种基于深度学习的口罩耳带焊点检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的口罩耳带焊点检测方法，包括以下步骤：标准化分类步骤：对口罩耳带焊点进行标准化分类；图像采集步骤：通过安装于全自动耳带焊接机出料侧料盘上方的摄像机采集图像；图像预处理步骤：待测图像预处理得到耳带4个焊点的标准化图像；样本标记步骤：对摄像机的采集图像按照标准化分类，判断待测耳带焊点的类别，并将对应的标准化图像进行标记，得到训练数据集；训练模型步骤：将数据集中的图像输入卷积神经网络进行训练计算，循环迭代得到训练好的模型；评估判断步骤：使用新采集的图像检测模型训练效果，评估模型预测的准确率。

Description

一种基于深度学习的口罩耳带焊点检测方法

技术领域

本发明涉及图像处理、缺陷检测及耳带焊点检测领域，具体涉及一种基于深 度学习的口罩耳带焊点检测方法。

背景技术

口罩是一种用于过滤呼吸空气，保护人体健康的卫生用品，人体佩戴口罩可 有效防止飞沫、粉尘等有害人体健康的污物吸入人体呼吸道。因此，检测口罩耳 带焊点，保证口罩质量，具有非常大的现实意义。口罩主要包括口罩主体、鼻梁 条以及耳带，耳带需要通过焊接的方式连接在口罩主体上，目前无纺布口罩耳带 均采用超声波塑料焊接机进行焊接。在口罩生产过程中，由于气压、电源等不确 定性因素的影响，耳带焊接容易出现焊接不良的情况，因此需要对耳带焊点进行 检测，以确保口罩质量。在生产实际中，对口罩耳带焊点检测大都采用人工基于 经验进行目视检测或进行拉力测试，需要花费一定的工时，而且难以做到全面检 测。

发明内容

本发明的目的在于提供一种基于深度学习的口罩耳带焊点检测方法，以解决 上述提到的问题。

本发明的技术目的是通过以下技术方案得以实现的：一种基于深度学习的口 罩耳带焊点检测方法，包括以下步骤：

标准化分类步骤：对口罩耳带焊点进行标准化分类；

图像采集步骤：通过安装于全自动耳带焊接机出料侧料盘上方的摄像机采集 图像；

图像预处理步骤：待测图像预处理得到耳带4个焊点的标准化图像；

样本标记步骤：对摄像机的采集图像按照标准化分类，判断待测耳带焊点的 类别，并将对应的标准化图像进行标记，得到训练数据集；

训练模型步骤：将数据集中的图像输入卷积神经网络进行训练计算，循环迭 代得到训练好的模型；

评估判断步骤：使用新采集的图像检测模型训练效果，评估模型预测的准确 率，判断准确率是否满足使用要求，如果不满足，则继续采集扩大训练数据集继 续训练模型；如果达到要求，则该模型可投入使用。

进一步地，所述标准化分类步骤中，口罩焊点标准化分类是依据全自动耳带 焊接机生产实际中焊点可能出现的所有情况进行制定，4个焊点均正常的口罩为 合格品，其余为不合格品，需返工或报废。该分类标准在实际实施过程中也可按 需要进行更改。

进一步地，所述图像采集步骤中，摄像机一次安装好后，相机位置相对于放 置口罩的料盘是固定的，所有图像中的口罩片均为矩形，且口罩片处于图像中相 对固定的位置。

进一步地，所述图像预处理步骤包括如下步骤：

步骤一：确定口罩片四个角在图像中坐标，通过背景色与口罩片颜色的显著 差异确定口罩片在图像中所占的矩形区域，得到该矩形四个角的坐标(x0,y0)、 (x1,y1)、(x2,y2)、(x3,y3)；

增加偏置得到焊点定位框的坐标，在步骤一中得到口罩片四个角的坐标，也 是焊点定位框的另一顶点坐标，偏置包括横坐标偏置w0和纵坐标偏置w1，由此 得到一个长为w0、宽w1的矩形焊点定位框，通过设置w0、w1的大小，使得焊 点定位框能够恰好框住口罩片角上的焊点，左上角焊点定位框四个角的坐标为 (x0,y0)、(x0+w0,y0)、(x0,y0+w1)、(x0+w0,y0+w1)，左下角焊点定位 框四个角的坐标为(x2,y2-w1)、(x2+w0,y2-w1)、(x2,y2)、(x2+w0,y2)， 右上角焊点定位框四个角的坐标为(x1-w0,y1)、(x1,y1)、(x1-w0,y1+w1)、 (x1,y+w1)，右下角焊点定位框四个角的坐标为(x3-w0,y3-w1)、(x3,y3-w1)、 (x3-w0,y3)、(x3,y3)；

截取焊点标准图像，定位框的坐标由步骤二确定后，将定位框所框选的图像 区域即焊点区域进行截取，得到4张尺寸相同的焊点标准图像。

进一步地，所述样本标记步骤中，由人工基于口罩质量规定以及生产经验对 图像中的焊点所属类别进行判定并标记，为方便模型进行分类计算，采用阿拉伯 数字进行标记，1代表焊点正常、2代表焊点过轻、3代表焊点过重、4代表焊点 破损、5代表耳带歪斜、6代表耳带过多、7代表耳带不足、8代表耳带缺失。

进一步地，所述评估判断步骤中，如果所述模型准确率满足要求，则该模型 可投入使用，该模型的使用步骤包括：

摄像机随着自动耳带焊接机的生产节奏采集口罩的图像，在料盘稳定时进行 拍摄；

对采集的图像进行预处理，每个口罩得到4张焊点的标准图像；

将4张口罩焊点标准图像输入模型，由模型计算得到焊点的类别；

判断口罩是否合格，如果四个焊点均正常，则该口罩合格，否则不合格，并 以电信号的形式给出结果，至此，一个口罩的检测则完成，自动耳带焊接机的料 盘移动一格，系统接着检测下一个口罩。

本发明的有益效果为：

本发明的一种基于深度学习的口罩耳带焊点检测方法，设计采用卷积神经网 络，能够更快地对口罩焊点进行分类，从而更好的提效率，减小成本；并且通过 分类预测口罩焊点的类别能够从宏观层面对口罩的焊点进行调控，进一步提高口 罩质量，具有快速、准确、低成本、实施容易、操作方便等优点。

附图说明

图1为本发明方法流程示意图；

图2为本发明模型投入使用时的流程示意图；

图3为摄像机与自动耳带焊接机料盘的相对位置关系的主视图示意图；

图4为摄像机与自动耳带焊接机料盘的相对位置关系的左视图示意图；

图5为摄像机与自动耳带焊接机料盘的相对位置关系的俯视图示意图；

图6为图像预处理中的焊点定位框示意图。

1、摄像机；2、耳带焊接机料盘。

具体实施方式

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、 “右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于 附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示 或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此 不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于 描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安 装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可 拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连， 也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通 技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1所示，本发明提出一种基于深度学习的口罩耳带焊点检测方法，包括 以下步骤：

标准化分类步骤：对口罩耳带焊点进行标准化分类；

图像采集步骤：通过安装于耳带焊接机出料侧料盘2上方的摄像机采集图 像；

图像预处理步骤：待测图像预处理得到耳带4个焊点的标准化图像；

样本标记步骤：对摄像机1的采集图像按照标准化分类，判断待测耳带焊点 的类别，并将对应的标准化图像进行标记，得到训练数据集；

训练模型步骤：将数据集中的图像输入卷积神经网络进行训练计算，循环迭 代得到训练好的模型；

评估判断步骤：使用新采集的图像检测模型训练效果，评估模型预测的准确 率，判断准确率是否满足使用要求，如果不满足，则继续采集扩大训练数据集继 续训练模型；如果达到要求，则该模型可投入使用。

进一步地，标准化分类步骤中，口罩焊点标准化分类是依据耳带焊接机生产 实际中焊点可能出现的所有情况进行制定，4个焊点均正常的口罩为合格品，其 余为不合格品，需返工或报废。该分类标准在实际实施过程中也可按需要进行更 改。

进一步地，图像采集步骤中，摄像机1一次安装好后，摄像机1位置相对于 耳带焊接机料盘2是固定的，所有图像中的口罩片均为矩形，且口罩片处于图像 中相对固定的位置。

进一步地，图像预处理步骤包括如下步骤：

步骤一：确定口罩片四个角在图像中坐标，通过背景色与口罩片颜色的显著 差异确定口罩片在图像中所占的矩形区域，得到该矩形四个角的坐标(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)；

增加偏置得到焊点定位框的坐标，在步骤一中得到口罩片四个角的坐标，也 是焊点定位框的另一顶点坐标，偏置包括横坐标偏置w0和纵坐标偏置w1，由此 得到一个长为w0、宽w1的矩形焊点定位框，通过设置w0、w1的大小，使得焊 点定位框能够恰好框住口罩片角上的焊点，左上角焊点定位框四个角的坐标为 (x0,y0)、(x0+w0,y0)、(x0,y0+w1)、(x0+w0,y0+w1)，左下角焊点定位 框四个角的坐标为(x2,y2-w1)、(x2+w0,y2-w1)、(x2,y2)、(x2+w0,y2)， 右上角焊点定位框四个角的坐标为(x1-w0,y1)、(x1,y1)、(x1-w0,y1+w1)、 (x1,y+w1)，右下角焊点定位框四个角的坐标为(x3-w0,y3-w1)、(x3,y3-w1)、 (x3-w0,y3)、(x3,y3)；

截取焊点标准图像，定位框的坐标由步骤二确定后，将定位框所框选的图像 区域即焊点区域进行截取，得到4张尺寸相同的焊点标准图像。

进一步地，样本标记步骤中，由人工基于口罩质量规定以及生产经验对图像 中的焊点所属类别进行判定并标记，为方便模型进行分类计算，采用阿拉伯数字 进行标记，1代表焊点正常、2代表焊点过轻、3代表焊点过重、4代表焊点破损、 5代表耳带歪斜、6代表耳带过多、7代表耳带不足、8代表耳带缺失。

进一步地，评估判断步骤中，如果模型准确率满足要求，则该模型可投入使 用，该模型的使用步骤包括：

摄像机1随着自动耳带焊接机的生产节奏采集口罩的图像，在耳带焊接机料 盘2稳定时进行拍摄；

对采集的图像进行预处理，每个口罩得到4张焊点的标准图像；

将4张口罩焊点标准图像输入模型，由模型计算得到焊点的类别；

判断口罩是否合格，如果四个焊点均正常，则该口罩合格，否则不合格，并 以电信号的形式给出结果，至此，一个口罩的检测则完成，耳带焊接机料盘2 移动一格，系统接着检测下一个口罩。

更加具体地说，本发明的详细步骤如下：

F1，预先对耳带焊点进行标准化分类。

F2，采集待测口罩的图像。

F3，待测图像预处理得到耳带焊点的标准化图像。

F4，判断待测耳带焊点的类别，并将对应的标准化图像进行标记，得到训练 数据集。

F5，使用训练数据集训练卷积神经网络模型。

F6，使用新采集的图像检测模型训练效果，评估模型预测的准确率。

F7，判断准确率是否满足使用要求，如果不满足，则继续采集扩大训练数据 集继续训练模型；如果达到要求，则该模型可投入使用。

F8，将满足要求的模型投入生产流水线使用。

通过预先将口罩焊点进行标准化分类，包括焊点正常、焊点过轻、焊点过重、 焊点破损、耳带歪斜、耳带过多、耳带不足、耳带缺失8类，焊点正常的为合格 品，其余的为不合格品，在使用深度学习模型进行判断待测口罩的耳带焊点所属 类别，以此判断口罩焊点是否合格。以上述方式完成口罩耳带焊接质量的检测， 避免了人工检测的不确定性，检测结果的准确率高，且在实际应用时的调试难度 小，操作简单，能适用于所有耳带朝外生产的口罩。上述待测口罩包括口罩主体 和耳带焊点，上述耳带焊点为耳带的带头与口罩主体焊接相连的部分。

在步骤F1中，本实施例中的预设耳带焊点分类标准包含了自动耳带焊接机 焊接时可能出现的所有情况，形成了以预设焊点情况分类作为焊点检测的参照标 准。在具体应用时该参照标准可根据具体生产口罩的实际需要进行人为进行设 置，此处不再赘述。

在步骤F2中，对待测口罩进行图像采集，只需将摄像机1安装并固定于自 动耳带焊接机出料侧料盘正上方。

在步骤F3中，对采集的待测口罩图像进行预处理，由于口罩面积较大，焊 点面积较小，将焊点区域单独截取下来可有效避免其余区域的干扰，减少不必要 的数据，易于模型识别。该步骤包括以下子步骤：

F31，对待测口罩进行视觉识别运算，通过口罩主体与背景的色差，获得口 罩主体边缘图像信息，如图6所示，X所指的矩形框，从而得到口罩主体四个角 顶点及其在图像中的坐标：如图6所示，左上角顶点X0(x0,y0)、右上角 X1(x1,y1)、左下角X2(x2,y2)、右下角X3(x3,y3)。

F32，确定焊点定位框，口罩焊点均匀分布于口罩主体的四个角上，且四个 焊点区域大小一致，要将焊点区域截取下来，则需要创建四个大小相同的矩形框， 分别框选四个焊点区域。以口罩主体左上角顶点X0为原点建立xy坐标系，以点 X0、X1、X2、X3为基点，确定4个焊点定位框，如图6所示A、B、C、D四个矩 形框。因焊点均匀分布于四个角上，故只需要确定定位框的长宽大小就可以确定 定位框，本发明方法中以口罩主体四个顶点坐标横方向即x方向增加偏置w0， 在纵方向即y方向增加偏置w1，确定焊点定位框的另一个点坐标，也即定位框 的长为w0，宽为w1，其大小依据实际焊点尺寸确定。定位框的坐标完全确定， 左上角焊点定位框，如图6所示A所指矩形框，其四个点坐标为X0(x0,y0)、 A1(x0+w0,y0)、A2(x0,y0+w1)、A3(x0+w0,y0+w1)；右上角焊点定位框， 如图6所示B所指矩形框，其四个点坐标为B0(x1-w0,y1)、X1(x1,y1)、B2 (x1-w0,y1+w1)、B3(x1,y+w1)；左下角焊点定位框，如图6所示C所指矩形 框，其四个点坐标为C0(x2,y2-w1)、C1(x2+w0,y2-w1)、X2(x2,y2)、C3 (x2+w0,y2)；右下角焊点定位框，如图6所示D所指矩形框，其四个点坐标为 D0(x3-w0,y3-w1)、D1(x3,y3-w1)、D2(x3-w0,y3)、X3(x3,y3)。

F33，截取焊点标准图像，将焊点定位框框选的区域截取得到4张焊点的标 准化图像，图像尺寸一致，便于模型处理。

在步骤F4中，对于得到的大量口罩焊点标准图像，通过人工判断其所属类 别进行标记，其标签用阿拉伯数字表示，1代表焊点正常、2代表焊点过轻、3 代表焊点过重、4代表焊点破损、5代表耳带歪斜、6代表耳带过多、7代表耳带 不足、8代表耳带缺失。全部标记得到一个具有一定数量规模的训练数据集。

在步骤F5中，将训练数据集输入模型，进行循环迭代，优化模型参数，得 到训练好的神经网络模型。

在步骤F6中，需要对训练好的模型进行检验，随机选取一批数量为m的新 口罩，m一般不小于100，将其图像依次输入模型，记录模型预测结果，在人工 判断其识别的准确率，即识别正确的口罩数q占口罩总数m的比例，准确率作为 模型好坏的评判依据。

在步骤F7中，依据准确率的大小，以及生产实际情况，决定是否将模型投 入使用。如果准确率太低，无法满足使用要求，则回到步骤F2继续扩大训练数 据集，继续优化模型；如果准确率达到预期，则可以投入使用。其正常使用时的 流程如图2所示：

E1，摄像机随着自动耳带焊接机的生产节奏采集口罩的图像，在料盘稳定时 进行拍摄。

E2，对采集的图像进行预处理，每个口罩得到4张焊点的标准图像。

E3，将4张口罩焊点标准图像输入模型，由模型计算得到焊点的类别。

E4，判断口罩是否合格，如果四个焊点均正常，则该口罩合格，否则不合格， 并以电信号的形式给出结果。至此，一个口罩的检测则完成，自动耳带焊接机的 料盘移动一格，系统回到步骤E1接着检测下一个口罩。

综上，本实施例中的口罩耳带焊点检测方法能够实现检测自动化，检测结果 的准确率在可接受范围内，且在实际应用时的调试难度小，能兼容所有耳带朝外 生产的口罩。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发 明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情 况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范 围和边界的等同形式内的全部变化和修改例。

Claims (6)

1.一种基于深度学习的口罩耳带焊点检测方法，包括以下步骤：

标准化分类步骤：对口罩耳带焊点进行标准化分类；

图像采集步骤：通过安装于全自动耳带焊接机出料侧料盘上方的摄像机采集图像；

图像预处理步骤：待测图像预处理得到耳带4个焊点的标准化图像；

样本标记步骤：对摄像机的采集图像按照标准化分类，判断待测耳带焊点的类别，并将对应的标准化图像进行标记，得到训练数据集；

训练模型步骤：将数据集中的图像输入卷积神经网络进行训练计算，循环迭代得到训练好的模型；

评估判断步骤：使用新采集的图像检测模型训练效果，评估模型预测的准确率，判断准确率是否满足使用要求，如果不满足，则继续采集扩大训练数据集继续训练模型；如果达到要求，则该模型可投入使用。

2.如权利要求1所述的一种基于深度学习的口罩耳带焊点检测方法，其特征在于：

所述标准化分类步骤中，口罩焊点标准化分类是依据全自动耳带焊接机生产实际中焊点可能出现的所有情况进行制定，4个焊点均正常的口罩为合格品，其余为不合格品，需返工或报废。该分类标准在实际实施过程中也可按需要进行更改。

3.如权利要求1所述的一种基于深度学习的口罩耳带焊点检测方法，其特征在于：

所述图像采集步骤中，摄像机一次安装好后，相机位置相对于放置口罩的料盘是固定的，所有图像中的口罩片均为矩形，且口罩片处于图像中相对固定的位置。

4.如权利要求1所述的一种基于深度学习的口罩耳带焊点检测方法，其特征在于：

所述图像预处理步骤包括如下步骤：

步骤一：确定口罩片四个角在图像中坐标，通过背景色与口罩片颜色的显著差异确定口罩片在图像中所占的矩形区域，得到该矩形四个角的坐标(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)；

步骤二：增加偏置得到焊点定位框的坐标，在步骤一中得到口罩片四个角的坐标，也是焊点定位框的另一顶点坐标，偏置包括横坐标偏置w0和纵坐标偏置w1，由此得到一个长为w0、宽w1的矩形焊点定位框，通过设置w0、w1的大小，使得焊点定位框能够恰好框住口罩片角上的焊点，左上角焊点定位框四个角的坐标为(x0,y0)、(x0+w0,y0)、(x0,y0+w1)、(x0+w0,y0+w1)，左下角焊点定位框四个角的坐标为(x2,y2-w1)、(x2+w0,y2-w1)、(x2,y2)、(x2+w0,y2)，右上角焊点定位框四个角的坐标为(x1-w0,y1)、(x1,y1)、(x1-w0,y1+w1)、(x1,y+w1)，右下角焊点定位框四个角的坐标为(x3-w0,y3-w1)、(x3,y3-w1)、(x3-w0,y3)、(x3,y3)；

步骤三：截取焊点标准图像，定位框的坐标由步骤二确定后，将定位框所框选的图像区域即焊点区域进行截取，得到4张尺寸相同的焊点标准图像。

5.如权利要求1所述的一种基于深度学习的口罩耳带焊点检测方法，其特征在于：

所述样本标记步骤中，由人工基于口罩质量规定以及生产经验对图像中的焊点所属类别进行判定并标记，为方便模型进行分类计算，采用阿拉伯数字进行标记，1代表焊点正常、2代表焊点过轻、3代表焊点过重、4代表焊点破损、5代表耳带歪斜、6代表耳带过多、7代表耳带不足、8代表耳带缺失。

6.如权利要求1所述的一种基于深度学习的口罩耳带焊点检测方法，其特征在于：

所述评估判断步骤中，如果所述模型准确率满足要求，则该模型可投入使用，该模型的使用步骤包括：

摄像机随着自动耳带焊接机的生产节奏采集口罩的图像，在料盘稳定时进行拍摄；

对采集的图像进行预处理，每个口罩得到4张焊点的标准图像；

将4张口罩焊点标准图像输入模型，由模型计算得到焊点的类别；

判断口罩是否合格，如果四个焊点均正常，则该口罩合格，否则不合格，并以电信号的形式给出结果，至此，一个口罩的检测则完成，自动耳带焊接机的料盘移动一格，系统接着检测下一个口罩。

Images