CN110633738A - 一种用于工业零件图像的快速分类方法 - Google Patents

Abstract

本发明公开了一种用于工业零件图像的快速分类方法，该方法包括：获取工业零件，对工业零件图像进行标记，预处理和数据增强；将工业零件图像划分为训练集和验证集；设计一种在残差网络和轻量化网络上进行的改进的快速卷积神经网络模型，得到的训练样本输入卷积神经网络模型中训练网络权重、偏置参数,生成分类器。使用验证样本验证模型分类器；确定最佳超参数，在此最优超参数下迭代完成得到最优的卷积神经网络模型；对将要分类的工业零件图像进行预处理，输入到卷积神经网络模型中；输出卷积神经网络模型的预测矩阵中每一行最大值的索引值,根据索引值得到对应工业零件图像的分类标签,完成分类。本发明增强了鲁棒性，提高了正确率和速度。

Description

一种用于工业零件图像的快速分类方法

技术领域

本发明涉及图像识别领域，具体是涉及一种用于工业零件图像的快速分类方法。

背景技术

工业零件图像的快速准确分类是工业图像领域中的一个重要研究内容。工业零件图像分类是计算机视觉中最为常见的任务之一，主要是通卷积神经网络对原始的图像提取有效特征信息，生成图像分类神经网络模型，然后使用该图像分类神经网络模型对分类图像数据进行分类。因此对工业图像的准确快速分类与工厂的经济效益有着直接的联系。

在工业产业的逐步发展中，许多工业生产过程实现了自动化，一般重复性劳动的生产线上也逐步由机器代替工人，这使得生产过程更加高效、安全，节省大量人力物力，同时产品精度也会随之提高。当生产过程中需要对工业零件进行识别时，就需要让机器对零件进行准确快速的分类，以提高机器的识别精度和工作效率。传统的图像识别过程分为图像处理和图像识别两部分，需要经过图像的预处理、图像分割、特征提取等步骤，再利用这些提取到的特征进行图像分类，是一个费时费力的过程，而且精度和速度都难以达到要求。

深度神经网络模型被广泛应用在图像分类、物体检测等场景中，并取得了巨大成功。然而，由于存储空间和计算能力的限制，一些大型的神经网络模型(如vgg19网络)在嵌入式设备上的存储与计算仍然是一个巨大的挑战。提高分类的准确率和快速性成为了目前研究的热点。

发明内容

本发明针对现有技术的不足，提出了一种用于工业零件图像的快速分类方法。

一种用于工业零件图像的快速分类方法，包括以下步骤：

步骤1：选取多种工业零件，获取目标零件图像，对工业零件图像进行标记和预处理，将工业零件图像归一化处理，并将归一化处理过的工业零件图像调整为224×224×3的统一格式；采取FD翻转降噪的数据增强方式；

步骤2：将步骤1中的工业零件图像按照8:2划分为训练集和验证集；

步骤3：设计一种卷积神经网络模型

该卷积神经网络模型是在残差网络和轻量化网络上进行的改进；引入了轻量化模型的结构且对标准的残差网络进行了加深与加宽；网络模型主体结构包含第一卷积组块CONV1、第二卷积组块CONV2和第三卷积组块CONV3以及第四卷积组块CONV4；网络输入图像大小为224×224×3；

该卷积神经网络模型第一层是64个感受野大小为7×7的卷积层，步长为2，边缘填充为2，输出为64个通道、大小为112×112的特征；第二层采用重叠的最大池化层，即感受野大小为3×3，步长为2，边缘填充为1，输出为64个通道，图像大小为56×56的特征；

然后经过第一卷积组块，第一卷积组块是一个有三个模块连接而成的，由1个单元B和3个单元A自上而下连接构成，输出为96通道，图像大小为56×56的特征；具体为：单元A，当卷积步长为1，先将输入特征按通道一分为二，化成两个分支来代替原先的分组卷积结构，并且每个分支中的卷积层都是保持输入输出通道相同；其中一个分支不采取任何操作，另一个分支是一个包含3层的残差单元；另一个分支首先是1×1卷积层，然后是3×3的深度卷积层，紧接着是1×1卷积层，最后两个分支通过shortcut连接；单元B，当卷积步长为2时，对通道数进行翻倍；一个分支包含两个连续卷积，先是3×3的深度卷积，然后是1×1的卷积；另一个分支包含3个连续的卷积，先是1×1卷积，然后是3×3的深度卷积，最后是1×1的卷积，并且输入和输出通道相同，最后两个分支通过shortcut连接；

经过第二卷积组块，第二卷积组块包括两个残差结构，即经过四次卷积；

第一次卷积是192个感受野大小为3×3的卷积层，步长为2，边缘填充为2，输出为192个通道、大小为28×28的特征；第二次卷积是192个感受野大小为3×3的卷积层，步长为1，边缘填充为2，输出为192个通道、大小为28×28的特征；第三次和第四次卷积操作同第二次，最后输出为192个通道、大小为28×28的特征；

经过第三卷积组块，第三卷积组块包括两个残差结构，同样是经过四次卷积；第一次卷积是384个感受野大小为3×3的卷积层，步长为2，边缘填充为2，输出为384个通道、大小为14×14的特征；第二次卷积是384个感受野大小为3×3的卷积层，步长为1，边缘填充为2，输出为384个通道、大小为14×14的特征；第三次和第四次卷积操作同第二次卷积，最后输出为384个通道、大小为14×14的特征；

经过第四卷积组块，第四卷积组块包括三个残差结构，即经过六次卷积；第一次卷积是768个感受野大小为3×3的卷积层，步长为2，边缘填充为2，输出为768个通道、大小为7×7的特征；第二次卷积是768个感受野大小为3×3的卷积层，步长为1，边缘填充为2，输出为384个通道、大小为7×7的特征；随后的四次卷积操作同第二次，最后输出为768个通道、大小为7×7的特征；

随后是平均池化层，感受野大小为7×7，步长为1，输出为768个通道，图像大小为1×1的特征；

最后是全连接层和softmax分类层，用于计算输出属于每一类的概率；

其中为了减轻模型的过拟合，每次进行卷积操作前都使用dropout和batchnormalizaton；

步骤4：将经步骤2得到的训练样本输入到步骤3设计的卷积神经网络模型中训练网络权重、偏置参数,生成分类器；同时使用验证样本不断验证模型分类器；采用交叉熵损失函数，设置batch_size为100，从训练样本中每次提取100个样本参与训练；当模型分类器中每迭代一个周期，将验证样本集输入模型分类器中识别准确率；迭代周期数不大于400且连续20个周期内验证集正确率没有得到提高，就提前终止训练；

步骤5：多次更改卷积神经网络模型的超参数，确定最佳超参数，在此最优超参数下迭代完成得到最优的卷积神经网络模型；

步骤6：对将要分类的工业零件图像进行预处理，图像的获取方式为实时抓拍，输入到最优的卷积神经网络模型中；

步骤7：输出卷积神经网络模型的预测矩阵中每一行最大值的索引值,根据索引值得到对应工业零件图像的分类标签,完成分类，等待随后机械臂的操作。

与现有技术相比，本发明的有益效果是：

本发明具有准确性、鲁棒性、快速性的特点。本发明提出一种有效的数据增强方式FD，增强了泛化能力，提高了正确率；同时提出一种轻量化的神经网络模型，引入了深度可分离卷积和残差结构，大大减少了网络参数和计算量。使得工业零件图像分类的正确率和快速性的到了极大的提高。本发明解决了传统分类带来的低性能问题，提高生产效率。

附图说明

图1为本发明用于工业零件图像的快速分类方法的流程图。

图2为本发明用于工业零件图像的快速分类方法设计的神经网络总体模型。

图3是本发明用于工业零件图像的快速分类方法网络模型中残差卷积结构。

图4为深度可分离卷积卷积(DW)示意图。

图5为本发明用于工业零件图像的快速分类方法设计的神经网络模型中的第一卷积组块结构图。

图6为本发明用于工业零件图像的快速分类方法设计的网络模型中第一卷积组块的单元A和B结构图。

图7为本发明用于工业零件图像的快速分类方法设计的神经网络模型中的第二卷积组块结构图。

图8为本发明用于工业零件图像的快速分类方法设计的神经网络模型中的第三卷积组块结构图。

图9为本发明用于工业零件图像的快速分类方法设计的神经网络模型中的第四卷积组块结构图。

图10为本发明用于工业零件图像的快速分类装置的示意图。

图11为本发明用于工业零件图像的快速分类装置中吸取模块的示意图。

图12为本发明用于工业零件图像的快速分类装置的结构图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面将对照附图说明本发明的具体实施方式。

如图1、图2所示，一种用于工业零件图像的快速分类方法，具体包括以下步骤：

步骤1：选取目标零件为各种工业常见的零件，例如，螺丝钉、螺帽、垫圈和齿轮等。获取目标零件图像的方式可以为实时抓拍，例如，对传送带上放置送往分类点的目标工业零件进行抓拍获取图像。为了便于后续目标网络模型能够直接对目标工业零件图像进行分类，在将目标工业零件图像输入模型前，对工业零件图像进行标记和预处理。将工业零件图像归一化处理，并将归一化处理过的工业零件图像调整为224×224×3的统一格式。为了增加数据量，减轻过拟合，增强模型泛化能力，提高正确率，采取一种FD(翻转降噪)的数据增强方式。FD方法相较于其他方法，是一种高效率的增强方式，是经过多次实现提取出的一种方法；

步骤2：将步骤1中的工业零件图像按照8:2划分为训练集和验证集。

步骤3：设计一种高效快速的卷积神经网络模型。该卷积神经网络模型是在残差网络和轻量化网络上进行的改进。引入了轻量化模型的结构且对标准的残差网络进行了加深与加宽。网络模型主体结构包含第一卷积组块(CONV1)、第二卷积组块(CONV2)和第三卷积组块(CONV3)以及第四卷积组块(CONV4)；网络输入图像大小为224××224×3；如图3、图4所示；

第一层是64个感受野大小为7×7的卷积层，步长为2，边缘填充为2，输出为64个通道、大小为112×112的特征；

第二层采用重叠的最大池化层，即感受野大小为3×3，步长为2，边缘填充为1，输出为64个通道，图像大小为56×56的特征；

如图5、图6所示，然后经过第一卷积组块，第一卷积组块是一个有三个模块连接而成的，分别是3个单元A(Unit A)和1个单元B(Unit B)。具体来说，当卷积步长为1，先将输入特征按通道一份为二，化成两个分支来代替原先的分组卷积结构，并且每个分支中的卷积层都是保持输入输出通道相同。其中一个分支不采取任何操作，另一个分支是一个包含3层的残差单元。首先是1×1卷积层，然后是3×3的深度卷积层，紧接着是1×1卷积层，最后是一个shortcut连接。使用拼接代替原来的逐元素相加，降低计算复杂度，我们将它称为单元A(Unit A)。而当卷积步长为2时，对通道数进行翻倍。左边分支包含两个连续卷积，先是3×3的深度卷积，然后是1×1的卷积。右边的分支包含3个连续的卷积，先是1×1卷积，然后是3×3的深度卷积，最后是1×1的卷积，并且输入和输出通道相同。由于步长为2，输出特征空间尺寸减半，此时输入与输出不匹配，于是两个分支输出不再是Add，而是concat在一起，使通道数加倍，我们称它为单元B(Unit B)。一个完整的模块由1个单元B和3个单元A自上而下连接构成。输出为96通道，图像大小为56×56的特征。该卷积组块的目的主要是降低计算复杂度与参数量；

如图7所示，经过第二卷积组块，第二卷积组块包括两个残差结构，即经过四次卷积。残差网络使信息更容易在各层之间流动。包括在前向传播时提供特征重用，在反向传播时缓解梯度消失，梯度更容易流动到浅层网络中去。解决了网络退化问题，和随着层数的增加，训练集上的准确度饱和甚至下降的问题。这样能够通过单纯地增加网络深度来提高网络性能。而且残差网络自身参数量就较少。因此这一结构有利于轻量化网络，在实现轻量化的同时保证准确度。

第一次是192个感受野大小为3×3的卷积层，步长为2，边缘填充为2，输出为192个通道、大小为28×28的特征。第二次卷积是192个感受野大小为3×3的卷积层，步长为1，边缘填充为2，输出为192个通道、大小为28×28的特征。第三次和第四次卷积操作同第二次，最后输出为192个通道、大小为28×28的特征。

如图8所示，经过第三卷积组块，第三卷积组块包括两个残差结构，同样是经过四次卷积。第一次是384个感受野大小为3×3的卷积层，步长为2，边缘填充为2，输出为384个通道、大小为14×14的特征。第二次卷积是384个感受野大小为3×3的卷积层，步长为1，边缘填充为2，输出为384个通道、大小为14×14的特征。第三次和第四次卷积操作同第二次，最后输出为384个通道、大小为14×14的特征；

如图9所示，经过第四卷积组块，第四卷积组块包括三个残差结构，即经过六次卷积。第一次是768个感受野大小为3×3的卷积层，步长为2，边缘填充为2，输出为768个通道、大小为7×7的特征。第二次卷积是768个感受野大小为3×3的卷积层，步长为1，边缘填充为2，输出为384个通道、大小为7×7的特征。随后的四次卷积操作同第二次，最后输出为768个通道、大小为7×7的特征。

随后是平均池化层，感受野大小为7×7，步长为1，输出为768个通道，图像大小为1×1的特征，可以有效降低前面产生的噪音；

最后是全连接层和softmax分类层，用于计算输出属于每一类的概率。

其中为了减轻模型的过拟合，每次进行卷积操作前都使用dropout和batchnormalizaton。这里的轻量化思想具体来说就是用了一种深度可分离卷积的操作来替代传统的标准卷积，减少了卷积核的冗余表达。深度可分离卷积可以被分解为深度卷积和卷积核尺寸为1×1的逐点卷积组合。计算时，先对每一个通道进行各自的卷积操作，得到新的feature maps。然后再对这些feature maps进行标准的1×1跨通道卷积。传统卷积的计算量为：Dk×Dk×M×N×Df×Df，而深度分离卷积的计算量为：Dk×Dk×M×Df×Df+M×N×Df×Df。(其中Dk为卷积核大小，M为输入的通道数，N为输出的通道数)就我们的模型来说，使用3×3的卷积核进行深度可分离卷积是，计算量可降低至原来的1/8到1/9。

步骤4：将经步骤2得到的训练样本输入到步骤3设计的卷积神经网络模型中训练网络权重、偏置参数,生成分类器；同时使用验证样本不断验证模型分类器。采用交叉熵损失函数，设置batch_size为100，从训练样本中每次提取100个样本参与训练。当模型分类器中每迭代一个周期，将验证样本集输入模型分类器中识别准确率。迭代周期数不大于在400且20个周期内验证集正确率没有得到提高，就提前终止训练。

步骤5：多次更改卷积神经网络模型的超参数，确定最佳超参数，在此最优超参数下迭代完成得到最优的卷积神经网络模型。用adma优化器(其中β1＝0.9，β2＝0.999)，内存中取出100个样本参与一次梯度下降的参数更新，初始学习率learning rate设置为0.01。

步骤6：对将要分类的工业零件图像进行预处理，图像的获取方式为实时抓拍，输入到最优的卷积神经网络模型中。

步骤7：输出卷积神经网络模型的预测矩阵中每一行最大值的索引值,根据索引值得到对应工业零件图像的分类标签,完成分类，等待随后机械臂的操作。

如图10、图11、图12所示，本发明的方法基于的装置包括：获取模块，处理模块，分类模块，控制模块，抓取模块和执行模块。

所述获取模块，在机械装置检测平台上固定好光源和工业相机4位置，用工业相机实时获取待分拣零件的零件图片。所述处理模块，将获取的图片利用开源图像库进行处理，将所有图像格式如像素数量等统一大小，建立零件图像数据集，以备输入网络。所述分类模块，使用一种工业零件图像的快速准确分类方法。工业相机实时将图像数据传给工控机，将待分类图像输入设计的保存好的最佳网络模型，进行分类。工控机1进行完分类判断后，将信息反馈至控制柜2。所述控制模块，控制柜接收工控机的反馈后，驱动工业机器人的机器臂执行操作，达到了实时检测分类的效果。所述抓取模块，根据分类信息利用机械臂3对分类产品进行抓取。采用电磁吸附方式控制相应位置的吸头吸取所述待分拣零件6。由于待测零件全为金属铁制品，利用电磁吸附可以达成目标，控制吸住待分拣零件的时间，达到固定位置时吸头不再吸住待分拣零件。此外电磁吸附根据信号产生磁性，十分快速及时且使用寿命长。所述执行模块，用于移动所述待分拣零件。传送带5将待分拣零件运送到规划位置，机械臂接收控制器的指令对待分拣零件进行移动，放置到每类零件固定的收集点7，完成一次分类。进行完一次操作后判断是否抓取成功，若未成功，机械臂回到原点，再次执行抓取操作。若抓取成功，把目标物体放入指定位置，然后机械臂回到原点，等待下一次指令。当传送带上没有待测零件，机械臂处于静止状态。

Claims (1)

1.一种用于工业零件图像的快速分类方法，其特征在于，包括以下步骤：

步骤1：选取多种工业零件，获取目标零件图像，对工业零件图像进行标记和预处理，将工业零件图像归一化处理，并将归一化处理过的工业零件图像调整为224×224×3的统一格式；采取FD翻转降噪的数据增强方式；

步骤2：将步骤1中的工业零件图像按照8:2划分为训练集和验证集；

步骤3：设计一种卷积神经网络模型

该卷积神经网络模型是在残差网络和轻量化网络上进行的改进；引入了轻量化模型的结构且对标准的残差网络进行了加深与加宽；网络模型主体结构包含第一卷积组块CONV1、第二卷积组块CONV2和第三卷积组块CONV3以及第四卷积组块CONV4；网络输入图像大小为224×224×3；

该卷积神经网络模型第一层是64个感受野大小为7×7的卷积层，步长为2，边缘填充为2，输出为64个通道、大小为112×112的特征；第二层采用重叠的最大池化层，即感受野大小为3×3，步长为2，边缘填充为1，输出为64个通道，图像大小为56×56的特征；

然后经过第一卷积组块，第一卷积组块是一个有三个模块连接而成的，由1个单元B和3个单元A自上而下连接构成，输出为96通道，图像大小为56×56的特征；具体为：单元A，当卷积步长为1，先将输入特征按通道一分为二，化成两个分支来代替原先的分组卷积结构，并且每个分支中的卷积层都是保持输入输出通道相同；其中一个分支不采取任何操作，另一个分支是一个包含3层的残差单元；另一个分支首先是1×1卷积层，然后是3×3的深度卷积层，紧接着是1×1卷积层，最后两个分支通过shortcut连接；单元B，当卷积步长为2时，对通道数进行翻倍；一个分支包含两个连续卷积，先是3×3的深度卷积，然后是1×1的卷积；另一个分支包含3个连续的卷积，先是1×1卷积，然后是3×3的深度卷积，最后是1×1的卷积，并且输入和输出通道相同，最后两个分支通过shortcut连接；

经过第二卷积组块，第二卷积组块包括两个残差结构，即经过四次卷积；

第一次卷积是192个感受野大小为3×3的卷积层，步长为2，边缘填充为2，输出为192个通道、大小为28×28的特征；第二次卷积是192个感受野大小为3×3的卷积层，步长为1，边缘填充为2，输出为192个通道、大小为28×28的特征；第三次和第四次卷积操作同第二次，最后输出为192个通道、大小为28×28的特征；

经过第三卷积组块，第三卷积组块包括两个残差结构，同样是经过四次卷积；第一次卷积是384个感受野大小为3×3的卷积层，步长为2，边缘填充为2，输出为384个通道、大小为14×14的特征；第二次卷积是384个感受野大小为3×3的卷积层，步长为1，边缘填充为2，输出为384个通道、大小为14×14的特征；第三次和第四次卷积操作同第二次卷积，最后输出为384个通道、大小为14×14的特征；

经过第四卷积组块，第四卷积组块包括三个残差结构，即经过六次卷积；第一次卷积是768个感受野大小为3×3的卷积层，步长为2，边缘填充为2，输出为768个通道、大小为7×7的特征；第二次卷积是768个感受野大小为3×3的卷积层，步长为1，边缘填充为2，输出为384个通道、大小为7×7的特征；随后的四次卷积操作同第二次，最后输出为768个通道、大小为7×7的特征；

随后是平均池化层，感受野大小为7×7，步长为1，输出为768个通道，图像大小为1×1的特征；

最后是全连接层和softmax分类层，用于计算输出属于每一类的概率；

其中为了减轻模型的过拟合，每次进行卷积操作前都使用dropout和batchnormalizaton；

步骤4：将经步骤2得到的训练样本输入到步骤3设计的卷积神经网络模型中训练网络权重、偏置参数,生成分类器；同时使用验证样本不断验证模型分类器；采用交叉熵损失函数，设置batch_size为100，从训练样本中每次提取100个样本参与训练；当模型分类器中每迭代一个周期，将验证样本集输入模型分类器中识别准确率；迭代周期数不大于400且连续20个周期内验证集正确率没有得到提高，就提前终止训练；

步骤5：多次更改卷积神经网络模型的超参数，确定最佳超参数，在此最优超参数下迭代完成得到最优的卷积神经网络模型；

步骤6：对将要分类的工业零件图像进行预处理，图像的获取方式为实时抓拍，输入到最优的卷积神经网络模型中；

步骤7：输出卷积神经网络模型的预测矩阵中每一行最大值的索引值,根据索引值得到对应工业零件图像的分类标签,完成分类，等待随后机械臂的操作。

Images