CN112950533A - 基于深度学习的焊点外观类别自动识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的焊点外观类别自动识别方法及系统，首先对焊点处进行拍摄，获取原始数据图像；对原始数据图像进行缩放以适应神经网络的输入尺寸；然后根据获取图像的总数量，设置每一批次检测图像的数量；最后用已经训练好的卷积神经网络模型自动识别焊点外观的类别。本方法实现了白车身焊点外观类别的自动识别，有助于节约人工成本。本方法除了需要调节图像尺寸为神经网络输入大小，不需要再对图像进行任何处理，且识别准确率高，有助于提升工业生产效率和可靠性，解决了实际工业生产过程中，白车身焊点外观检测自动化和智能化的需求。

Description

基于深度学习的焊点外观类别自动识别方法及系统

技术领域

本发明涉及焊接技术领域，特别是一种基于深度学习的白车身焊点外观类别自动识别方法及系统。

背景技术

随着汽车行业的不断发展，智能化和自动化的需求日益提升，其中白车身焊点外观类别目前还依靠人工进行识别。由于各种原因，点焊机对白车身进行焊接会形成外观质量不同的焊点，通过现场统计分析，确定了最常见的五种外观质量的焊点：正常焊点、由于焊枪为铜质而形成的粘铜焊点、焊于车身门框等边缘的焊点、位置重合的焊点、不完整的焊点。如果能实时识别焊点的外观质量，那么就能控制对应的工艺参数，进而调节工艺参数控制焊点的外观，以便获得更好的外观；或者在发现焊点外观质量问题后，及时进行处理，避免不合格产品流入市场。

随着机器视觉技术的迅速发展，计算机视觉技术的快速、精确、智能等特性在现代工业的各个领域已逐渐被广泛应用，尤其对于汽车制造业，基于机器视觉的制造质量检测是产线制造性能提升的关键技术之一。深度学习神经网络是有大量结构化的可训练的参数，只要有足够的数据来训练这些参数，神经网络就能学习到事物的规律，从而对新的样本进行预测判断。卷积神经网络(CNN)是一种具有局部连接、权重共享等特性的深层前馈神经网络。相比全连接前馈神经网络，卷积神经网络具有更少的参数，能够提取局部不变特性，常用来学习图像。

目前典型的卷积神经网络一般是由卷积层和池化层交叉堆叠，后面再加上全连接层而成的前馈神经网络，一般卷积层和池化层视为特征提取部分，全连接层视为预测部分。卷积神经网络在结构上有三个特性：局部连接、权重共享、池化。这些特性使得卷积神经网络具有一定程度上的平移、缩放和旋转不变性。卷积神经网络主要使用在图像和视频分析的各种任务，包括图像分类、人脸识别、图像分割等，其准确率一般也远远超出了其他的神经网络模型。

2014年提出的NIN结构不是简单的卷积层和池化层堆叠，而是卷积层之后加入若干个多层感知器作为一个模块，堆叠这种模块从而构建特征提取部分。2017年提出用全卷积代替全连接层，使得网络不断地提取更深层次的特征。卷积操作是由卷积核在图像上滑动完成的，自2015年VGG网络提出以来，研究者们越来越倾向于使用小卷积核，比如3×3、5×5的小卷积核。2016年提出膨胀卷积，由于小卷积核的感受野太小，使用膨胀卷积可以扩大卷积核的感受野而不引入额外的参数。神经网络中要输入非线性模块，来学习到事物的非线性方面。现在一般采用ReLU函数作为非线性激活函数。神经网络最后的分类器一般采用softmax分类器。神经网络中需要损失函数来衡量模型学习的好坏，迭代的目的就是让损失函数最小化，采用多分类常用的交叉熵损失函数。

发明内容

有鉴于此，本发明的目的在于提供基于深度学习的白车身焊点外观类别自动识别方法，该方法能自动识别汽车点焊的外观类别，避免通过靠人工识别的问题。

为达到上述目的，本发明提供如下技术方案：

本发明提供的基于深度学习的焊点外管类别自动识别方法，包括以下步骤：

获取若干焊点外观图像；

根据获取焊点外观图像总数量设置每一批次检测图像数量；

将检测图像输入到卷积神经网络模型进行焊点外观的识别，并输出若干焊点外观图像；

所述卷积神经网络模型是通过标签焊点外观图像进行训练得到的，所述卷积神经网络模型为能识别多类焊点外观图像的模型。

进一步，所述焊点外观类别包括正常焊点、粘铜焊点、边缘焊点、重合焊点或不完整焊点中的一种或多种组合。

进一步，所述原始数据图像包括为彩色图像。

进一步，所述每一批次检测图像的数量按照以下公式计算：

每一批次检测图像数量＝总数量/M+D；

M表示预设图像数量，D表示每一检测批次增加图像数增量。

进一步，所述卷积神经网络模型是按照以下步骤进行训练的，具体如下：

获取不同焊点类别图像，将所述图像按照预设比例划分为训练集、验证集或测试集中的一种或几种的组合；

构建卷积神经网络的特征提取部分，以NIN结构的卷积层加多层感知器作为基本模块，每个基本模块设置有卷积层和感知器层；

确定卷积核以及卷积核的膨胀率；

采用全卷积层提取特征；

确定损失函数、softmax分类器和类别构建神经网络；

将训练集和验证集输入神经网络模型进行机器学习训练过程；

直到满足预设条件得到已训练的卷积神经网络模型。

本发明还提供了一种基于深度学习的焊点自动识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

获取若干焊点外观图像；

根据获取焊点外观图像总数量设置每一批次检测图像数量；

将检测图像输入到卷积神经网络模型进行焊点外观的识别，并输出若干焊点外观图像；

所述卷积神经网络模型是通过标签焊点外观图像进行训练得到的，所述卷积神经网络模型为能识别多类焊点外观图像的模型。

进一步，所述焊点外观类别包括正常焊点、粘铜焊点、边缘焊点、重合焊点或不完整焊点中的一种或多种组合。

进一步，所述原始数据图像包括为彩色图像。

进一步，所述每一批次检测图像的数量按照以下公式计算：

每一批次检测图像数量＝总数量/M+D；

M表示预设图像数量，D表示每一检测批次增加图像数增量。

进一步，所述卷积神经网络模型是按照以下步骤进行训练的，具体如下：

获取不同焊点类别图像，将所述图像按照预设比例划分为训练集、验证集或测试集中的一种或几种的组合；

构建卷积神经网络的特征提取部分，以NIN结构的卷积层加多层感知器作为基本模块，每个基本模块设置有卷积层和感知器层；

确定卷积核以及卷积核的膨胀率；

采用全卷积层提取特征；

确定损失函数、softmax分类器和类别构建神经网络；

将训练集和验证集输入神经网络模型进行机器学习训练过程；

直到满足预设条件得到已训练的卷积神经网络模型。

本发明的有益效果在于：

本发明提供了一种基于深度学习的白车身焊点外观类别自动识别方法，首先对焊点处进行拍摄，获取原始数据图像；对原始数据图像进行缩放以适应神经网络的输入尺寸；然后根据获取图像的总数量，设置每一批次检测图像的数量；最后用已经训练好的卷积神经网络模型自动识别焊点外观的类别。本方法实现了白车身焊点外观类别的自动识别，有助于节约人工成本。本方法除了需要调节图像尺寸为神经网络输入大小，不需要再对图像进行任何处理，且识别准确率高，有助于提升工业生产效率和可靠性，解决了实际工业生产过程中，白车身焊点外观检测自动化和智能化的需求。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明的方法流程图。

图2a为正常焊点示意图。

图2b为粘铜焊点示意图。

图2c为边缘焊点示意图。

图2d为重合焊点示意图。

图2e为不完整焊点示意图。

图3为构建的神经网络模型结构。

图4a为正常焊点外观识别图像。

图4b为粘铜焊点外观识别图像。

图4c为边缘焊点外观识别图像。

图4d为重合焊点外观识别图像。

图4e为不完整焊点外观识别图像。

图5为模型构建及训练流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，本实施例提供的基于深度学习的白车身焊点外观类别自动识别方法，包括以下步骤：

步骤1：对焊点处进行拍摄，获取焊点外观图像，该焊点外观图像作为原始数据图像；所述焊点外观类别包括正常焊点、粘铜焊点、边缘焊点、重合焊点、不完整焊点中的一种或多种组合；如图2所示，图2a-e分别为焊点的五种类别图像，图2a为正常焊点示意图，图2b为粘铜焊点示意图，图2c为边缘焊点示意图，图2d为重合焊点示意图，图2e为不完整焊点示意图，本实施例中的原始数据图像包括：获取的图像为彩色图像，即RGB三通道图像；具体在采集过程中首先将多个彩色工业相机固定，拍摄不同位置的不同焊点，然后将照片上传到统一台设备，神经网络模型训练好后也拷贝到此设备上。

步骤2：对原始数据图像进行缩放以适应神经网络的输入尺寸；所述对原始数据图像进行缩放是将图像尺寸缩放为227×227。本实施例中将图片自动传入同一个文件夹，通过降采样或者双线性插值算法自动实现图像的缩放。

步骤3：根据获取图像的总数量，设置每一批次检测图像的数量；所述设置每一批次检测图像的数量包括根据需求，总数量每有100张，每一检测批次增加10张；

步骤4：用已经训练好的卷积神经网络模型自动识别焊点外观的类别。

如图3所示，图3为构建的神经网络模型结构，图中，Conv表示卷积层，MLP表示多层感知器，MLP也是用卷积操作实现的，只不过卷积核大小为1×1，一个3×3卷积加上两个多层感知器形成一个mlpconv模块。Mlpconv模块的卷积操作每次步长为1，也就是滑动一个像素。一共堆叠了五个mlpconv模块。maxPooling表示最大池化，也是用卷积的方式实现的，卷积核大小为2×2，每次滑动两个像素，会把图像尺寸大小减半。每个mlpconv模块后面都接一个池化，池化的作用是实现下采样。第五个模块最后输出尺寸大小为5×5，用一个5×5的卷积核对其进行卷积计算，把大小变为1×1，之后再用1×1的卷积核作卷积计算，这样便不用把多维数据展开为一维，所有计算都是卷积完成，因此叫全卷积，用它代替了传统的全连接层。Softmax是分类器，需要分几类就把类别设置为几，这里是5分类。在送入分类器之前，要将数据展开(Flatten)为一维。输出的通道数为多少取决于本次计算用多少个卷积核。

如图5所示，图5为模型构建及训练流程图，本实施例提供的卷积神经网络模型具体是按照以下所述步骤进行构建和训练的：

步骤4.1：去工厂获取五种焊点类别图像共七千余张，将其以6:2:2的比例划分为训练集、验证集、测试集。

步骤4.2：构建卷积神经网络的特征提取部分，以NIN结构的卷积层加多层感知器(mlpconv)作为基本模块，每个模块包括1个卷积层(Conv)和2个多层感知器层(MLP)，特征提取部分总共包括5个这样的模块。

每个模块后进行一次最大池化(MaxPool)处理。确定卷积核，不用大卷积核，全部选用 3×3小卷积核以减少参数，并将3×3卷积核改为膨胀率为2的膨胀卷积以扩大感受野。

步骤4.3：确定卷积核，不用大卷积核，全部选用3×3小卷积核以减少参数，并将3×3 卷积核改为膨胀率为2的膨胀卷积以扩大感受野。

步骤4.4：改进全连接层，传统的卷积神经在特征提取部分之后用全连接层作为预测部分，本方法用全卷积层替代全连接层以便不断提取更深层次的特征。

步骤4.5：用Rule函数作为非线性激活函数、交叉熵函数作为损失函数，最后选用softmax 分类器，类别设置为5，完成神经网络的构建。

步骤4.6：数据增强，对获取的数据进行随机旋转角度、镜像等操作扩充数据，这个过程在程序中实时完成，增强后即训练神经网络，并没有实际在文件夹中增多图像。

步骤4.7：训练神经网络，选用Adam优化器训练神经网络，设置提前停止，使验证集损失不再降低时自动停止训练，用训练集和验证集训练神经网络，使其具备识别五种焊点外观的能力，用测试集测试之后保存模型。

步骤4.8：识别图像，将焊点外观图像送入神经网络实现自动识别类别，用训练好的神经网络模型去识别测试集中的图像，得到满意的结果。保存模型用于实际运用，实现自动识别焊点外观的类别。如图4a到4e所示，其中，图4a为正常焊点外观图像；图4b为粘铜焊点外观图像；图4c为边缘焊点外观图像；图4d为重合焊点外观图像；图4e为不完整焊点外观图像。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.基于深度学习的焊点外观类别自动识别方法，其特征在于：包括以下步骤：

获取若干焊点外观图像；

根据获取焊点外观图像总数量设置每一批次检测图像数量；

将检测图像输入到卷积神经网络模型进行焊点外观的识别，并输出若干焊点外观图像；

所述卷积神经网络模型是通过标签焊点外观图像进行训练得到的，所述卷积神经网络模型为能识别多类焊点外观图像的模型。

2.根据权利要求1所述的基于深度学习的焊点外观类别自动识别方法，其特征在于，所述焊点外观类别包括正常焊点、粘铜焊点、边缘焊点、重合焊点或不完整焊点中的一种或多种组合。

3.根据权利要求1所述的基于深度学习的焊点外观类别自动识别方法，其特征在于，所述原始数据图像包括为彩色图像。

4.根据权利要求1所述的基于深度学习的焊点外观类别自动识别方法，其特征在于，所述每一批次检测图像的数量按照以下公式计算：

每一批次检测图像数量＝总数量/M+D；

M表示预设图像数量，D表示每一检测批次增加图像数增量。

5.根据权利要求1所述的基于深度学习的焊点外观类别自动识别方法，其特征在于，所述卷积神经网络模型是按照以下步骤进行训练的，具体如下：

获取不同焊点类别图像，将所述图像按照预设比例划分为训练集、验证集或测试集中的一种或几种的组合；

构建卷积神经网络的特征提取部分，以NIN结构的卷积层加多层感知器作为基本模块，每个基本模块设置有卷积层和感知器层；

确定卷积核以及卷积核的膨胀率；

采用全卷积层提取特征；

确定损失函数、softmax分类器和类别构建神经网络；

将训练集和验证集输入神经网络模型进行机器学习训练过程；

直到满足预设条件得到已训练的卷积神经网络模型。

6.基于深度学习的焊点外观类别自动识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

获取若干焊点外观图像；

根据获取焊点外观图像总数量设置每一批次检测图像数量；

将检测图像输入到卷积神经网络模型进行焊点外观的识别，并输出若干焊点外观图像；

所述卷积神经网络模型是通过标签焊点外观图像进行训练得到的，所述卷积神经网络模型为能识别多类焊点外观图像的模型。

7.根据权利要求6所述的基于深度学习的焊点外观类别自动识别系统，其特征在于，所述焊点外观类别包括正常焊点、粘铜焊点、边缘焊点、重合焊点或不完整焊点中的一种或多种组合。

8.根据权利要求6所述的基于深度学习的焊点自动识别系统，其特征在于，所述原始数据图像包括为彩色图像。

9.根据权利要求6所述的基于深度学习的焊点外观类别自动识别系统，其特征在于，所述每一批次检测图像的数量按照以下公式计算：

每一批次检测图像数量＝总数量/M+D；

M表示预设图像数量，D表示每一检测批次增加图像数增量。

10.根据权利要求6所述的基于深度学习的焊点外观类别自动识别系统，其特征在于，所述卷积神经网络模型是按照以下步骤进行训练的，具体如下：

获取不同焊点类别图像，将所述图像按照预设比例划分为训练集、验证集或测试集中的一种或几种的组合；

构建卷积神经网络的特征提取部分，以NIN结构的卷积层加多层感知器作为基本模块，每个基本模块设置有卷积层和感知器层；

确定卷积核以及卷积核的膨胀率；

采用全卷积层提取特征；

确定损失函数、softmax分类器和类别构建神经网络；

将训练集和验证集输入神经网络模型进行机器学习训练过程；

直到满足预设条件得到已训练的卷积神经网络模型。

Images