CN111299166A - 一种基于认知视觉的拉链质量检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于认知视觉的拉链质量检测系统及方法，本发明的检测系统包括认知视觉神经网络模型、工业相机和分拣机构，本发明检测方法包括如下步骤：S1、采集拉链缺陷图像，建立数据集；S2、搭建认知视觉神经网络模型，并通过上述数据集训练认知视觉神经网络模型；S3、通过工业相机采集生产过程中拉链的生产图像，并输送至训练好的认知视觉神经网络模型中，并输出检测结果；S4、分拣机构对当前拉链分拣至相应区域。本发明的检测系统采用通过工业相机采集拉链的生产图像，并将采集的拉链的生产图像送入到认知视觉神经网络模型中，认知视觉神经网络模型是基于大量拉链图像训练的卷积神经网络，能够提高对拉链的生产图像的处理能力，提高识别正确率。

Description

一种基于认知视觉的拉链质量检测系统及方法

技术领域

本发明涉及人工智能技术领域，具体地说是一种基于认知视觉的拉链质量检测系统及方法。

背景技术

拉链不但是近代方便人们生活的十大发明之一，而且在人类的日常生活中起着不可替代的作用。在拉链生产制造过程中，质量检测是一项必不可少的操作，关系着客户的体验程度。拉链制造商如能及时检测出拉链缺陷，并采取相应措施，既能为企业带来更高效益，又能让客户用上高品质拉链。

而拉链检测环节大多以人工目检为主，主要有以下缺陷：(1)准确率低：拉链质检员长期采用肉眼识别，极易造成视觉疲劳，进而降低准确率；(2)效率低：拉链制造企业全部采用人工目检，费时费力，从而导致效率低下；(3)成本高：拉链产量受季节影响，易造成旺季用工荒，进而使成本不断攀升。

随着人工目检的缺陷越来越明显，现有技术中也存在通过工业相机代替人工目检检测的方式，如申请号为201620518525的中国专利申请公开了一种拉链检测装置，具体包括支架、设置在支架上的进料装置和用于检测拉链的检测相机，利用检测相机采集生产过程中拉链的图像，提高拉链的检测效率和准确度，从而使拉链的检测省时省力。申请号为201110403900的中国专利申请公开了一种基于机器视觉的拉链金属链牙缺陷检测方法，该方法通过图像传感器获取拉链图像，然后将图像传输至控制系统，由控制系统对图像进行处理，根据处理的结果与判别标准比较，判断拉链是否存在缺陷。以上两个专利均采用机器视觉代替了传统人工目检，但是以上两种技术方案的图像处理方式仍采用传统图像处理方式，缺乏自学习能力，系统在更换生产拉链型号时，系统需要相应更换图像判断标准，使用起来较为麻烦。

发明内容

本发明的目的是针对以上不足，提供一种基于认知视觉的拉链质量检测系统及方法，提升对不同拉链图像的采集、识别和处理能力。

本发明所采用技术方案是：

一种基于认知视觉的拉链质量检测系统，包括认知视觉神经网络模型、工业相机和分拣机构，其中：

所述工业相机用于采集生产过程中的拉链图像，并将采集的拉链图像传递至认知视觉神经网络模型中；

所述认知视觉神经网络模型用于对拉链图像分析检测，并输出检测结果至分拣机构；

所述分拣机构通过认知视觉神经网络模型的检测结果对拉链的次品和良品区分分拣。

作为进一步的优化，本发明还包括人机交互显示装置，所述人机交互显示装置用于显示工业相机采集的当前拉链图像、检测结果和综合统计结果。

作为进一步的优化，本发明所述工业相机通过触发模块完成拉链图像的采集动作，所述触发模块包括硬触发模块和软触发模块，所述硬触发模块包括磁性开关，所述磁性开关用于检测是否存在拉链通过；所述软触发模块包括手动触发按钮，所述手动触发按钮设置于人机交互显示装置上。

作为进一步的优化，本发明所述分拣机构连接有控制模块，所述控制模块包括自动控制模块和手动控制模块，当控制模块选择为自动控制模块时，所述分拣机构通过认知视觉神经网络模型的检查结果自动区分分拣；当控制模块选择为手动控制模块时，认知视觉神经网络输出检测结果后需人工选择分类结果，所述人机交互显示装置上设置有控制模块选择界面。

本发明还提供一种基于认知视觉的拉链质量检测方法，包括如下步骤：

S1、采集拉链缺陷图像，并对拉链缺陷图像的缺陷类型进行标记，建立数据集；

S2、搭建认知视觉神经网络模型，并通过上述数据集训练认知视觉神经网络模型；

S3、通过工业相机采集生产过程中拉链的生产图像，并输送至训练好的认知视觉神经网络模型中，并输出检测结果；

S4、分拣机构通过认知视觉神经网络模型输出的检测结果对当前拉链分拣至相应区域。

作为优化，本发明在步骤S1中，对采集的拉链缺陷图像进行图像提升处理，所述图像提升处理的方式包括重缩放、随机旋转、水平偏移、竖直偏移、剪切变换、随机缩放和随机水平翻转中的一种或其中几种的组合。

具体的，本发明在步骤S2中，所述认知视觉神经网络模型基于卷积神经网络模型搭建，且所述认知视觉神经网络模型包括依次设置的七层结构，第一层结构包括四层卷积层和一层池化层，第二层结构包括五层卷积层和一层池化层，第三层结构包括十七层卷积层和一层池化层，第四层结构包括十七层卷积层和一层池化层，第五层结构包括九层卷积层和一层池化层，第六层结构包括一层全连接层，第七层为特征交互层，且特征交互层采用并行的多尺寸预测。

具体的，本发明在步骤S2中，在将数据集输入至认知视觉网络进行训练之前，需要对认知视觉神经网络模型设置优化器、损失函数和模型评估标准，所述优化器采用Adam算法，所述损失函数采用对数损失函数，所述模型评估标准采用平均精度均值。

具体的，本发明在步骤S2中，将初步训练好的认知视觉神经网络模型保存至存储器中，所述认知视觉神经网络模型上开放有图像输入接口、模型调用接口和结果翻译接口，所述图像输入接口用于将工业相机采集的图像转化为可供认知视觉神经网络模型识别的数组，所述模型调用接口用于调用认知视觉神经网络模型进行检测，所述翻译接口用于将认知视觉神经网络模型的检测结果翻译成直观文本信息；

保存的认知视觉神经网络模型用于优化参数、加载权重后进行再训练；

认知视觉神经网络模型采用动态改变学习率的策略，当认知视觉神经网络模型的效果不再存在改善时，通过减小学习率提升模型性能。

具体的，本发明在步骤S3中，工业相机采集拉链的生产图像的触发方式包括硬触发方式和软触发方式，所述硬触发方式通过磁性开关检测是否存在拉链通过，当检测为拉链通过时，磁性开关向工业相机发送触发信号，工业相机按照设定参数进行拉链的生产图像的采集；所述软触发方式通过设置手动触发按钮，当使用者点击手动触发按钮后，工业相机完成一次拉链的生产图像的采集；

在步骤S4中，所述分拣装置包括自动控制模式和手动控制模式，所述分拣机构在自动控制模式下依据认知视觉神经网络模型的检测结果自动进行区别分拣，分拣机构在手动控制模式下依据用户选择结果进行分拣。

本发明具有以下优点：

1、本发明的检测系统采用通过工业相机采集拉链的生产图像，并将采集的拉链的生产图像送入到认知视觉神经网络模型中，认知视觉神经网络模型是基于大量拉链图像训练的卷积神经网络，能够提高对拉链的生产图像的处理能力，提高识别正确率；

2、本发明的检测系统通过设置人机交互界面将拉链质量检测结果可视化，使结果更加直观，提高了质检效率；

3、本发明的检测系统的认知视觉神经网络模型基于卷积神经网络搭建，能够依靠前向传播方式提高认知视觉神经网络模型的自学习能力；

3、本发明的检测方法中对用于训练认知视觉神经网络模型的拉链图像进行图像提升措施，提高了认知视觉神经网络模型的泛化能力；

4、本发明的检测方法在训练认知视觉神经网络模型的过程中，采取了动态改变学习率的措施，提高了认知视觉神经网络模型的性能；

5、本发明的检测方法开放了硬触发和软触发两种采集待检测拉链图像的触发方式，提升了人为介入能力，提高了采集过程的灵活性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明：

图1为本发明的系统的结构示意图；

图2为认知视觉神经网络模型的结构示意图；

图3为认知视觉神经网络模型的训练结果损失曲线图；

图4为认知视觉神经网络模型的学习率变化图；

图5为人机交互显示界面的显示示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例中的“多个”，是指两个或两个以上。

本发明实施例中的属于“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”关系。

如图1所示的，本发明提供一种基于认知视觉的拉链质量检测系统的实施例，所述检测系统包括认知视觉神经网络模型、工业相机、分拣机构和人机交互显示装置，其中：

所述工业相机用于采集生产过程中的拉链图像，并将采集的拉链图像传递至认知视觉神经网络模型中；所述工业相机通过触发模块完成拉链图像的采集动作，所述触发模块包括硬触发模块和软触发模块，所述硬触发模块包括磁性开关，所述磁性开关用于检测是否存在拉链通过；所述软触发模块包括手动触发按钮；

所述认知视觉神经网络模型用于对拉链图像分析检测，并输出检测结果至分拣机构；认知视觉神经网络模型基于卷积神经网络搭建，并且在使用之前需要对认知视觉神经网络模型进行训练，卷积神经网络是基于已有数据对新数据进行预测的学习型网络，即认知视觉神经网络基于已有拉链缺陷图像预测实际生产过程中实际采集的拉链存在缺陷的可能性预测，并通过可能性的大小输出检测结果；

所述分拣机构通过认知视觉神经网络模型的检测结果对拉链的次品和良品区分分拣；所述分拣机构连接有控制模块，所述控制模块包括自动控制模块和手动控制模块，当控制模块选择为自动控制模块时，所述分拣机构通过认知视觉神经网络的检查结果自动区分分拣；当控制模块选择为手动控制模块时，认知视觉神经网络输出检测结果后需人工选择分类结果，所述人机交互显示装置上设置有控制模块选择界面；

所述人机交互显示装置用于显示工业相机采集的当前拉链图像、检测结果和综合统计结果。人机交互显示装置即为人机交互显示界面，如图5所示人机交互界面包括左右两个半区，左半区用于显示当前检测的拉链图像展示区，而右半区为当前拉链图像检测的结果展示区，结果展示区又划分成左中右三个区域，左侧区域用于显示拉链检测的置信度、分拣机构的分拣方式和工业相机的手动触发按钮，中间区域用于显示检测标志，若检测拉链为良品，检测标志为“PASS”，若检测拉链为次品，则检测标志为“FAIL”，右侧区域显示综合统计结果，包括良品、次品以及次品率。

基于上述检测系统，本发明还提供一种基于认知视觉的拉链质量检测方法的实施例，包括如下步骤：

S1、采集拉链图像，并对拉链图像的缺陷类型进行标记，拉链图像中包括存在缺陷的拉链图像和未存在缺陷的拉链图像，对存在缺陷的拉链按相应缺陷类型进行标记，未存在缺陷的拉链图像的类型标注为没有缺陷，将上述拉链图像建立数据集，一般的数据集会一定比例分成训练集和测试集，训练集用于训练认知视觉神经网络模型，测试集用于验证认知视觉神经网络模型的训练结果；对采集的拉链缺陷图像进行图像提升处理，所述图像提升处理的方式包括重缩放、随机旋转、水平偏移、竖直偏移、剪切变换、随机缩放和随机水平翻转中的一种或其中几种的组合，这样能够在采集到的拉链图像较少时，最大化的利用拉链图像，减小认知视觉神经网络模型的过拟合现象，提高认知视觉神经网络模型的泛化能力，更好的适应制造场景。

S2、搭建认知视觉神经网络模型，如图2所示，所述认知视觉神经网络模型基于卷积神经网络模型搭建，且所述认知视觉神经网络模型包括依次设置的七层结构，第一层结构包括四层卷积层和一层池化层，第二层结构包括五层卷积层和一层池化层，第三层结构包括十七层卷积层和一层池化层，第四层结构包括十七层卷积层和一层池化层，第五层结构包括九层卷积层和一层池化层，第六层结构包括一层全连接层，第七层为特征交互层，且特征交互层采用并行的多尺寸预测，这样可以让认知视觉神经网络模型提取到更多的拉链质量缺陷特征，最终提高模型的准确率；

通过上述数据集训练认知视觉神经网络模型，在将数据集输入至认知视觉网络进行训练之前，需要对认知视觉神经网络模型设置优化器、损失函数和模型评估标准，作为优选的，所述优化器采用Adam算法，Adam算法是传统随机梯度下降算法的拓展，计算效率高，占用内存小，超参数直观，无需过多调参。本发明的损失函数采用对数损失函数，以损失来评估认知视觉神经网络模型，训练结果既可以文字形式打印在控制台，也可以以曲线形式呈现，如图3所示，通过曲线图可得出，本发明所训练的认知视觉神经网络模型准确率较高，具备一定的泛化能力。认知视觉神经网络模型不会经过一次训练就能达到最佳效果，因此，将所训练的认知视觉神经网络模型保存下来，保存下来的模型实质是拓展名为.h5的文件，既能方便调用模型进行拉链质量检测，又可在此模型的基础上不断优化参数，加载权重继续进行训练，以达到更好的效果。保存的模型文件主要包含模型的结构，权重，优化器，损失函数和模型评估标准等信息，有了这些信息，即可对模型进行重构，或当意外导致训练中断时读取中断时的状态继续训练。除此之外，所述认知视觉神经网络模型还采用动态改变学习率的策略，如果发现在训练过程中，模型的效果不再有改善时，则适当减小学习率，以提升模型性能，学习率变化图如图4所示。所述模型评估标准采用平均精度均值，平均精度均值是现有技术中预测目标位置以及类别的这一类算法的性能度量标准。

S3、通过工业相机采集生产过程中拉链的生产图像，并输送至训练好的认知视觉神经网络模型中，并输出检测结果；工业相机采集拉链的生产图像的触发方式包括硬触发方式和软触发方式，所述硬触发方式通过磁性开关检测是否存在拉链通过，当检测为拉链通过时，磁性开关向工业相机发送触发信号，工业相机按照设定参数进行拉链的生产图像的采集；所述软触发方式通过设置手动触发按钮，当使用者点击手动触发按钮后，工业相机完成一次拉链的生产图像的采集；所述认知视觉神经网络模型上开放有图像输入接口、模型调用接口和结果翻译接口，所述图像输入接口用于将工业相机采集的图像转化为可供认知视觉神经网络模型识别的数组，所述模型调用接口用于调用认知视觉神经网络模型进行检测，所述翻译接口用于将认知视觉神经网络模型的检测结果翻译成直观文本信息；

S4、分拣机构通过认知视觉神经网络模型输出的检测结果对当前拉链分拣至相应区域。所述分拣装置包括自动控制模式和手动控制模式，所述分拣机构在自动控制模式下依据认知视觉神经网络模型的检测结果自动进行区别分拣，分拣机构在手动控制模式下依据用户选择结果进行分拣；

S5、质量检测结果可视化，工业相机将拍摄的拉链的生产图像发送至人机交互界面上，认知视觉神经网络模型将检测结果相应显示在人机交互界面上。工业相机的拍摄范围取决于工业相机与拉链之间的设置间距以及工业相机的拍摄角，可以通过设置这两个因素使工业相机能够单次拍摄采集到整个拉链的生产图像，但是由于拉链的长度过长时，通过设置上述两个因素不能或者不方便拍摄到拉链整体时，通过分解成多次拍摄图像，在分拣时需要设置相对应的处理程序，在统计时，也应该相应设置。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种基于认知视觉的拉链质量检测系统，其特征在于：包括认知视觉神经网络模型、工业相机和分拣机构，其中：

所述工业相机用于采集生产过程中的拉链图像，并将采集的拉链图像传递至认知视觉神经网络模型中；

所述认知视觉神经网络模型用于对拉链图像分析检测，并输出检测结果至分拣机构；

所述分拣机构通过认知视觉神经网络模型的检测结果对拉链的次品和良品区分分拣。

2.根据权利要求1所述的检测系统，其特征在于：还包括人机交互显示装置，所述人机交互显示装置用于显示工业相机采集的当前拉链图像、检测结果和综合统计结果。

3.根据权利要求2所述的检测系统，其特征在于：所述工业相机通过触发模块完成拉链图像的采集动作，所述触发模块包括硬触发模块和软触发模块，所述硬触发模块包括磁性开关，所述磁性开关用于检测是否存在拉链通过；所述软触发模块包括手动触发按钮，所述手动触发按钮设置于人机交互显示装置上。

4.根据权利要求3所述的检测系统，其特征在于：所述分拣机构连接有控制模块，所述控制模块包括自动控制模块和手动控制模块，当控制模块选择为自动控制模块时，所述分拣机构通过认知视觉神经网络模型的检查结果自动区分分拣；当控制模块选择为手动控制模块时，认知视觉神经网络模型输出检测结果后需人工选择分类结果，所述人机交互显示装置上设置有控制模块选择界面。

5.一种基于认知视觉的拉链质量检测方法，其特征在于：包括如下步骤：

S1、采集拉链图像，并对拉链图像的缺陷类型进行标记，建立数据集；

S2、搭建认知视觉神经网络模型，并通过上述数据集训练认知视觉神经网络模型；

S3、通过工业相机采集生产过程中拉链的生产图像，并输送至训练好的认知视觉神经网络模型中，并输出检测结果；

S4、分拣机构通过认知视觉神经网络模型输出的检测结果对当前拉链分拣至相应区域。

6.根据权利要求5所述的检测方法，其特征在于：在步骤S1中，对采集的拉链缺陷图像进行图像提升处理，所述图像提升处理的方式包括重缩放、随机旋转、水平偏移、竖直偏移、剪切变换、随机缩放和随机水平翻转中的一种或其中几种的组合。

7.根据权利要求6所述的检测方法，其特征在于：在步骤S2中，所述认知视觉神经网络模型基于卷积神经网络模型搭建，且所述认知视觉神经网络模型包括依次设置的七层结构，第一层结构包括四层卷积层和一层池化层，第二层结构包括五层卷积层和一层池化层，第三层结构包括十七层卷积层和一层池化层，第四层结构包括十七层卷积层和一层池化层，第五层结构包括九层卷积层和一层池化层，第六层结构包括一层全连接层，第七层为特征交互层，且特征交互层采用并行的多尺寸预测。

8.根据权利要求7所述的检测方法，其特征在于：在步骤S2中，在将数据集输入至认知视觉网络模型进行训练之前，需要对认知视觉神经网络模型设置优化器、损失函数和模型评估标准，所述优化器采用Adam算法，所述损失函数采用对数损失函数，所述模型评估标准采用平均精度均值。

9.根据权利要求5所述的检测方法，其特征在于：在步骤S2中，将初步训练好的认知视觉神经网络模型保存至存储器中，所述认知视觉神经网络模型上开放有图像输入接口、模型调用接口和结果翻译接口，所述图像输入接口用于将工业相机采集的图像转化为可供认知视觉神经网络模型识别的数组，所述模型调用接口用于调用认知视觉神经网络模型进行检测，所述翻译接口用于将认知视觉神经网络模型的检测结果翻译成直观文本信息；

保存的认知视觉神经网络模型用于优化参数、加载权重后进行再训练；

认知视觉神经网络模型采用动态改变学习率的策略，当认知视觉神经网络模型的效果不再存在改善时，通过减小学习率提升模型性能。

10.根据权利要求5所述的检测方法，其特征在于：在步骤S3中，工业相机采集拉链的生产图像的触发方式包括硬触发方式和软触发方式，所述硬触发方式通过磁性开关检测是否存在拉链通过，当检测为拉链通过时，磁性开关向工业相机发送触发信号，工业相机按照设定参数进行拉链的生产图像的采集；所述软触发方式通过设置手动触发按钮，当使用者点击手动触发按钮后，工业相机完成一次拉链的生产图像的采集；

在步骤S4中，所述分拣装置包括自动控制模式和手动控制模式，所述分拣机构在自动控制模式下依据认知视觉神经网络模型的检测结果自动进行区别分拣，分拣机构在手动控制模式下依据用户选择结果进行分拣。

Images