CN109815950A - 一种基于深度卷积神经网络的钢筋端面识别方法 - Google Patents

Abstract

本发明实施例公开了一种基于深度卷积神经网络的钢筋端面识别方法，包括：采用滑动窗遍历剪裁出钢筋端面区域图像和非钢筋端面区域图像；建立所述区域图像的图像库并将图像库中的图像分为训练样本和测试样本；将训练样本用于深度卷积神经网络的训练，并确定所述深度卷积神经网络中的学习参数；训练好所述卷积神经网络后，在所述用来测试的钢筋端面原始图像上采用滑动窗进行遍历，并将每一次遍历后的结果输送到训练好的所述卷积神经网络进行识别；在识别出的钢筋端面上标记红点，然后对所标记的红点进行聚类，找到所述识别出的端面的中心，并标记到所述用来测试的原始图像上。本发明充分利用深度卷积神经网络的较强的特征学习能力，从而高效准确的识别钢筋端面。

Description

一种基于深度卷积神经网络的钢筋端面识别方法

技术领域

本发明涉及视觉识别领域，尤其涉及一种基于深度学习卷积神经网络的钢筋端面识别方法。

背景技术

近年来，在工业4.0中，工厂自动化起着非常重要的作用，用机器代替人类是未来不可避免的趋势。虽然很多工厂通过使用自动设备来生产，但是他们只是使用PLC或其他简单的自动系统来完成单个重复任务。对于工业机器视觉，用传统的图像处理算法解决了许多问题，像缺陷检测，计数，测量和位置等。

在钢厂生产制造流程中，对钢筋进行捆扎和焊接，并在钢筋上打上标签是一个非常重要的环节。但是目前，大多数工厂在钢筋端面焊接标签时，仍然采用手工焊接标签。手工焊接标签往往不能满足在线焊接的时间要求，工作效率低，与用于传输棒材的链床速度不匹配。随着机器人技术的发展，在钢厂生产过程中，采用机器人来代替手工焊接标签是一种发展趋势。

采用机器人代替人的手工焊接，一个很重要的前提是需要准确的找到钢筋端面的中心。在现有的钢筋端面检测方法中，大多数还是基于传统图像处理的方法进行钢筋端面识别。但利用传统图像处理的方法存在以下缺点：对钢筋端面图像条件要求苛刻，且采用传统图像处理的方法其过程较为复杂，效率偏低。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于深度卷积神经网络的钢筋端面识别方法。可利用卷积神经网络的特征提取和特征学习能力对钢筋断面图像进行识别，以提高钢筋端面的识别准确率。

为了解决上述技术问题，本发明实施例提供了一种基于深度卷积神经网络的钢筋端面识别方法，包括以下步骤：

在钢筋端面原始图像中，采用滑动窗遍历剪裁出钢筋端面区域图像和非钢筋端面区域图像；

建立所述区域图像的图像库，并将图像库中的图像分为训练样本和测试样本；

将所述训练样本用于深度卷积神经网络的训练，并确定所述深度卷积神经网络中的学习参数；

训练好所述深度卷积神经网络后，将所述用来测试的钢筋端面原始图像按照固定尺寸进行遍历，并将每一次遍历后的结果输送到训练好的所述卷积神经网络进行测试和识别，在识别出的钢筋端面上标记红点，然后对所标记的红点进行聚类，找到所述识别出的钢筋断面的中心，并标记到所述用来测试的钢筋端面原始图像上。

上述基于深度卷积神经网络的钢筋端面识别方法中，所述采用滑动窗的方法在钢筋端面的原始图像上进行遍历，剪裁出钢筋端面区域图像和非钢筋区域图像的步骤，具体包括，具体包括使用71x71大小的滑动窗，并在所述钢筋端面的原始图像上进行遍历，剪裁出钢筋端面区域图像和非钢筋端面区域图像，然后建立所述钢筋端面区域图像和非钢筋端面区域图像的图像库，对所述图像库中的图像分为训练样本和测试样本。

上述基于深度卷积神经网络的钢筋端面识别方法中，所述将所述训练样本用于深度卷积神经网络的训练，并确定所述卷积神经网络的学习参数步骤，具体包括：建立所述深度卷积神经网络的结构，并在建立后的所述深度卷积神经网络中训练所述样本。

建立所述深度神经网络的结构，并在建立后的所述深度卷积神经网络中训练所述训练样本的步骤中，具体包括：确定所述深度卷积神经网络的卷积层的层数、每卷积层的特征图数，全连接的层数、每全连接层的特征图数，池化层的层数，卷积层使用的卷积核的大小，池化层所用的采样核的大小，以及训练步长。

上述基于深度卷积神经网络的钢筋端面识别方法中，训练好所述深度卷积神经网络后，在用来测试的钢筋端面原始图像上按照固定尺寸的滑动窗进行遍历，并将每一次遍历后的结果输送到训练好的所述卷积神经网络进行测试和识别，在识别出的钢筋端面上标记红点，然后对所标记的红点进行聚类，找到所述识别出的钢筋断面的中心，并标记到所述用来测试的钢筋端面原始图像上。具体为：采用随机梯度下降法不断降低价值函数的函数值来学习建立后的所述深度卷积神经网络的参数，所述价值函数表示为：

其中，ω是所述深度卷积神经网络的权值参数，n是所述训练的样本数，x_i是第i个训练样本的特征向量，y_i是第i个训练样本的标签，可以取为0或1，分别代表钢筋端面和非钢筋断面；为激励函数，L(·)为损失函数。

上述基于深度卷积神经网络的钢筋端面识别方法中，所述随机下降梯度法是指在每一次迭代中只使用一部分所述训练样本(x_i，y_i)进行权值参数的学习和更新，每一代的权值参数可表示为：

其中，t表示迭代的次数，取值范围为[3000,+∞]；表示学习速率，取值范围为：[0.0003,0.01]；表示价值函数的偏微分。

上述基于深度卷积神经网络的钢筋端面识别方法中，所述在用来测试的钢筋端面原始图像上按照固定尺寸的滑动窗进行遍历，并将每一次遍历后的结果输送到训练好的所述卷积神经网络进行测试和识别，在识别出的钢筋端面上标记红点，然后通过聚类所述标记的红点，找到所述识别出的钢筋的中心，并标记到所述用来测试的钢筋端面原始图像上的步骤，具体为：根据所述红点的像素位置，计算所述每个红点与其他红点的距离D，设定一固定阈值d，如果所述距离D大于d，将被舍弃；小于d的红点保留，并将小于d的红点进行聚类作为同一个钢筋断面的红点群，将红点群根据各红点的像素坐标，求所述红点群的均值得到所述钢筋端面的中心，所述距离表示为：

其中，(x1，y1)和(x2，y2)是任意两点的坐标。

实施本发明实施例，具有如下有益效果：充分利用深度卷积神经网络的较强的特征学习能力，对图像条件要求相对比较低，处理过程简化，能高效准确的识别钢筋端面。

附图说明

图1为本发明实施例基于深度卷积神经网络钢筋端面识别方法的流程；

图2为图1中所述步骤S13的具体流程图；

图3为本发明中深度卷积神经网络结构示意图；

图4为图2中所述步骤S132的具体流程图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当原件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与术语本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明名书中所使用的术语只是为了描述具体的实施例的目的，不是诣在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所例项目的任意的和所有的组合。

请参阅图1，为本发明第一实施例中提供的一种基于深度卷积神经网络的钢筋端面识别方法，包括：

步骤S11,将所述整理钢筋端面的原始图像，采用71x71的滑动窗，遍历剪裁出钢筋端面区域图像和非钢筋端面区域图像，并建立所述区域图像的图像库；

步骤S12，将所述图像库中的图像分为训练样本和测试样本；

步骤S13，将所述样本用于深度卷积神经网络的训练，并确定所述深度卷积神经网络中的学习参数；

步骤S14，将所述用来测试的钢筋原始图像采用滑动窗进行遍历，并将每一次遍历后的结果输送到训练好的所述卷积神经网络进行测试和识别；

步骤S15，在识别出的钢筋上标记红点，然后通过聚类所述标记的红点，找到所述识别出的钢筋的中心，并标记到所述用来测试的钢筋原始图像上。

具体的，本例实施的步骤S11中，采用71x71的滑动窗对所述钢筋端面原始图像上进行遍历，以获得钢筋端面区域和非钢筋端面区域的图像库。所述图像库中包含38700张所述原始图像，每张所述原始图像的大小为71x71，所述原始图像请参阅图2。

请参阅图2，本实施例的步骤S13，具体包括：步骤S131，建立所述深度神经卷积网络的结构，并在建立后的所述深度卷积神经网络中训练所述训练样本。

需要说的是，步骤S131中，所述建立所述深度卷积神经网络的结构具体包括确定所述深度卷积神经网络的卷积层的层数、每卷积层的特征图数，全连接层的层数、每全连接层的特征图数，池化层的层数，卷积层所用的卷积核的大小，池化层所用的采样核的大小，以及训练步长。其中，采用的是采样核为最大化采样核。

请参阅图3，本实施例所述深度卷积神经网络结构中，每个层后面的数字代表每层的特征图数，下面的括号里面的三个数字分别代表每个层所使用的核的高度、宽度和步长；图4中输入的候选区域的大小为71x71，输出为该候选区域的类别(1和0)，其中0为钢筋端面，1为非钢筋端面。

步骤S132，确定建立后的所述深度卷积神经网络的学习参数。

具体的，在步骤S132中，通过不断降低价值函数的函数值来学习建立后的所述深度卷积神经网络的参数，所述价值函数表示为：

其中，ω是所述深度卷积神经网络的参数，n是所述训练样本的数量，x_i是第i个所述样本的特征向量，y_i是第i个所述训练样本的标签，f(·)为激励函数，L(·)为损失函数。

请参阅图4，所述通过不断降低价值函数的函数值来学习建立后的所述深度卷积神经网络的参数的步骤，具体包括：步骤S1321中，所述随机梯度下降法是指在每一次迭代中只使用一部分所述训练样本(x_i，y_i)进行学习参数和更新，每一代的学习参数和更新可表示为：

其中，t表示迭代的次数，α表示学习速率；表示价值函数的偏微分。所述迭代的次数t的取值范围为：[3000,+∞]；所述学习速率α的取值范围为：[0.0003,0.01]。在本实施例中t取3000，α取0.01。

需要说明的是，本实施案例中，当采用所述随机梯度下降法进行每一次迭代时，所述深度卷积神经网络的参数不断的向局部最优收敛。

步骤S1322，学习建立后的所述深度卷积网络的参数。

综上所述，通过采用本发明的识别方法，本实施例中，6个所述测试样本的识别结果如表格1所示：

从表格1中，6个所述测试样本的平均值都达到了90％以上，由此可见，将本发明中的基于深度卷积神经网络的钢筋端面识别方法，应用于钢筋端面的识别中，识别的准确度较高。

相较于现有技术，利用本发明中提供的识别方法能够有效的识别刚进端面，可以帮助钢筋利用和回收者省事省力的识别钢筋端面，能够用于对钢筋端面的精确处理。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种基于深度卷积神经网络的钢筋端面识别方法，其特征在于，所述方法包括以下步骤：

S1:在钢筋端面原始图像中，采用滑动窗遍历剪裁出钢筋端面区域图像和非钢筋端面区域图像；

S2:建立所述区域图像的图像库，并将图像库中的图像分为训练样本和测试样本；

S3:将所述训练样本用于深度卷积神经网络的训练，并确定所述深度卷积神经网络中的学习参数；

S4:训练好所述深度卷积神经网络后，将所述用来测试的钢筋端面原始图像按照固定尺寸进行遍历，并将每一次遍历后的结果输送到训练好的所述卷积神经网络进行测试和识别，在识别出的钢筋端面上标记红点，然后对所标记的红点进行聚类，找到所述识别出的钢筋断面的中心，并标记到所述用来测试的钢筋端面原始图像上。

2.根据权利要求1所述的基于深度卷积神经网络的钢筋端面识别方法，其特征在于，所述方法包括以下步骤：

步骤S1中，具体包括采用71x71大小的滑动窗，并在所述钢筋端面的原始图像上进行遍历，剪裁出钢筋端面区域图像和非钢筋端面区域图像。

3.根据权利要求2所述的基于深度卷积神经网络的钢筋端面识别方法，其特征在于，所述步骤S3，具体包括：建立所述深度卷积神经网络的结构，利用所述训练样本对建立后的所述深度卷积神经网络进行训练；并确定训练后的所述深度卷积神经网络中的学习参数。

4.根据权利要求3所述的基于深度卷积神经网络的钢筋端面识别方法，其特征在于，所述确定训练后的所述深度卷积神经网络中的学习参数的步骤具体包括：所述深度卷积神经网络的卷积层层数、每卷积层的特征图数，全连接的层数、每全连接层的特征图数，池化层层数，卷积层使用的卷积核的大小，池化层所用的采样核的大小，以及训练步长。

5.根据权利要求4所述的基于深度卷积神经网络的钢筋端面识别方法，其特征在于，还包括采用随机梯度下降法不断降低价值函数的函数值来学习建立后的所述深度卷积神经网络的参数的步骤，所述价值函数表示为：

其中，ω是所述深度卷积神经网络的权值参数，n是所述训练的样本数，x_i是第i个训练样本的特征向量，y_i是第i个训练样本的标签，可以取为0或1，分别代表钢筋端面和非钢筋断面；f(·)为激励函数，L(·)为损失函数。

6.根据权利要求5所述的基于深度卷积神经网络的钢筋端面识别方法，其特征在于，所述随机梯度下降法，是指在每一次迭代中只使用一部分所述训练样本(x_i，y_i)进行权值参数的学习和更新，每一代的权值参数可表示为：

其中，t为迭代次数，取值范围为[3000,+∞]；α为学习速率，取值范围为：[0.0003,0.01]；表示价值函数的偏微分。

7.根据权利要求1或6所述的基于深度卷积神经网络的钢筋端面识别方法，其特征在于，所述步骤S4，具体包括：根据所述红点的像素位置，计算所述每个红点与其他红点的距离D，设定一固定阈值d，如果所述距离D大于d，将被舍弃；小于d的红点保留，并将小于d的红点进行聚类作为同一个钢筋断面的红点群，将红点群根据各红点的像素坐标，求所述红点群的均值得到所述钢筋端面的中心，所述距离表示为：

其中，(x1，y1)和(x2，y2)是任意两点的坐标。