CN110032954B - 一种钢筋智能识别与计数方法及系统 - Google Patents
一种钢筋智能识别与计数方法及系统 Download PDFInfo
- Publication number
- CN110032954B CN110032954B CN201910238203.7A CN201910238203A CN110032954B CN 110032954 B CN110032954 B CN 110032954B CN 201910238203 A CN201910238203 A CN 201910238203A CN 110032954 B CN110032954 B CN 110032954B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- network model
- deep convolutional
- steel bars
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 229910001294 Reinforcing steel Inorganic materials 0.000 title claims abstract description 36
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 76
- 239000010959 steel Substances 0.000 claims abstract description 76
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000001629 suppression Effects 0.000 claims abstract description 11
- 238000012217 deletion Methods 0.000 claims abstract description 9
- 230000037430 deletion Effects 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000003014 reinforcing effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种钢筋智能识别与计数方法及系统，包括：采集具有钢筋簇截面图像的图片数据集，并基于采集的图片数据集获得训练样本集；建立深度卷积神经网络模型，基于训练样本集数据对深度卷积神经网络模型进行训练；将待识别图片输入训练后的深度卷积神经网络模型，获得深度卷积神经网络模型的初步输出结果；利用非极大值抑制算法对初步输出结果的得分图进行处理，把每一个区域的得分转化为一个点，并利用离群点删除算法剔除初步输出结果中识别错误的钢筋，获得深度卷积神经网络模型的最终输出结果；基于深度卷积神经网络模型的最终输出结果，获得待识别图片中钢筋的数目和位置，本方法能够高效准确地智能识别钢筋和对钢筋计数。
Description
技术领域
本发明涉及钢筋智能化处理领域，具体地，涉及一种钢筋智能识别与计数方法及系统。
背景技术
钢材已普遍使用到实际生活的许多环节，与人们生活关系密切。钢筋作为钢铁企业生产的基本成品，在许多行业特别是建筑行业有着广泛的用途。多数钢筋厂商用吨作为计量单位按重量进行生产销售，但是实际应用中常常要了解掌握的并不是钢筋的总重量，而是钢筋条数，目前工地普遍采用人工计数方法，这种方法简单，但工作强度大，同时工作效率低，成本高。因此，实现成捆钢筋的准确自动计数不但可以使工人工作相对轻松，还可以提升工作效率，提高计数精度，大幅降低企业成本。
随着科技的快速发展，计算机处理速度极大提升，图像采集设备价格越来越低，采集的图像质量越来越高，加之高效率处理图像的算法不断涌现，越来越多的科研人员把数字图像处理技术应用于目标识别，可极大程度地降低人工识别目标的处理成本，大幅提升识别效率。我国在钢筋自动计数领域的研究起步较晚，目前几乎都采用工人手工计数或者计数笔辅助计数的方法，钢筋智能识别和计数技术仍使用传统图形图像处理方法，无法应用于生产实践，并且目前尚未有利用深度学习进行钢筋识别计数的研究。
发明内容
本发明针对真实复杂场景中拍摄的钢筋正面图像，提供了一种钢筋智能识别与计数方法及系统，旨在解决当前钢筋手动计数成本高、效率低、使用传统图形图像方法无法应用于实际生产中等问题，实现将深度学习应用到钢筋智能识别与计数领域。本发明提出的一种钢筋智能识别与计数方法可以解放人工劳动力，提升计数精度与效率，加快施工工地的信息化和智能化建设。
为实现上述发明目的，本申请一方面提供了一种钢筋智能识别与计数方法，所述方法包括：
采集具有钢筋簇截面图像的图片数据集，并基于采集的图片数据集获得训练样本集；
建立深度卷积神经网络模型，基于训练样本集数据对深度卷积神经网络模型进行训练；
将待识别图片输入训练后的深度卷积神经网络模型，获得深度卷积神经网络模型的输出作为初步结果；
利用非极大值抑制算法对输出的初步结果的得分图进行处理，把每一个区域的得分转化为一个点，并利用离群点删除算法剔除初步结果中识别错误的钢筋，获得深度卷积神经网络模型的最终输出结果；
基于深度卷积神经网络模型的最终输出结果，获得待识别图片中钢筋的数目和位置信息。
其中，深度学习目前已经广泛应用于图像识别领域，本申请是利用深度学习强大的特征自学习能力，实现复杂环境下的钢筋智能识别与计数。本发明通过对钢筋端面图像的识别可以实现钢筋自动计数，对推进钢铁厂商及钢筋使用单位的现代化、信息化和智能化发展有着重要的现实意义。
进一步的，基于采集的图片数据集获得训练样本集，具体包括：裁剪采集图片中每一个钢筋截面所在区域的外接矩形作为训练集中的正样本；获取与正样本数量相当的背景区域图片数据作为负样本，利用双线性插值法将正负样本缩放到相同尺寸，获得训练样本集。
进一步的，所述方法还包括：对采集的图片数据集进行增强处理，即通过对采集的图片数据进行水平和垂直方向翻转、调节图片明暗度、调节图片对比度以扩充数据集。收集真实场景下的数据是为了本方法能够对真实工地下拍摄的图片能够有更强的识别能力；数据增强是为了增加数据量和目标类型，以便模型得到更多的训练数据从而提高模型的泛化能力和识别精度。
进一步的，深度卷积神经网络模型需满足以下三个条件：
A、给定训练图片大小之后，经过前向传播后输出大小为1*1的特征向量；
B、卷积操作时不能对特征向量进行填充；
C、最大池化层数小于或等于3层。
满足上述调整的模型，这样才能保证一次特征提取便能获得遍历全图的区域得分图。
进一步的，本方法使用随机梯度下降方法和组归一化方法对深度卷积神经网络模型进行训练。使用随机梯度下降方法目的在于提升训练过程的效率，保证模型收敛速度与精度。在训练分类器时使用了组归一化方法，相比于不使用组归一化方法，训练网络收敛速度更快，同时钢筋计数准确率平均提高了1％左右。
进一步的，为了得到有效结果以及对模型精度和准确度进行提升，本方法利用非极大值抑制算法对初步输出结果的得分图进行处理，把每一个区域的得分转化为一个点，具体包括：
步骤a：将得分图所对应的所有点根据其得分值按从大到小排序，设定一个得分阈值s，将得分小于s的点去除；
步骤b：取一个得分最高的点，算出得分最高点对应窗口和得分排在其后所有窗口的交并比，设定一个交并比阈值δ，将所有与得分最高点对应窗口交并比值大于δ的窗口去除；
步骤c：获取得分次高的窗口，重复上述步骤b中交并比大小比较及窗口去除操作，直到没有可选窗口为止。
其中得分图为数值在0到1之间的灰度图。
进一步的，为了得到有效结果以及对模型精度和准确度进行提升，本方法利用离群点删除算法剔除初步结果中识别错误的钢筋，具体包括：
步骤Ⅰ：将识别出来的所有钢筋中心点放入一个列表，并初始化一个队列。
步骤Ⅱ：随机从列表中选取一个中心点进行入队列，遍历列表中的剩余中心点，若列表中的某中心点满足与队列头部中心点距离小于或等于预设倍数钢筋直径，则进行入队列操作，入队列操作完成后进行出队列操作，之后不断地进行迭代；
步骤Ⅲ：当队列为空时，所有已出队列的中心点即为同一个钢筋簇；重复执行步骤Ⅰ和步骤Ⅱ的操作，直到列表为空；
步骤Ⅳ：中心点个数小于预设要求的钢筋簇即为离群点，对其进行删除。
进一步的，深度卷积神经网络模型输出的结果以0.5为阈值作二值化操作后形成一个数值为0和1的二值图，该二值图中值为1的点的数量为钢筋的数量，基于钢筋的数量钢筋的计数。
进一步的，深度卷积神经网络模型根据深度卷积神经网络模型的输出结果，每一个值为1的点所在的位置对应原图中钢筋的质心所在位置，将结果中的值为1的点的坐标值乘2后映射回原图中，并以该点为中心绘制和训练图片大小一样的矩形框，从而完成钢筋的位置识别。
进一步的，本方法采集的是钢筋簇截面的正视图。使得采集的数据准确，便于最终识别和准确计数。
另一方面，对应本申请中的方法本申请还提供了一种钢筋智能识别与计数系统，所述系统包括：
图像采集模块，用于采集具有钢筋簇截面图像的图片数据集，并基于采集的图片数据集获得训练样本集；
建立及训练模块，用于建立深度卷积神经网络模型，并基于训练样本集数据对深度卷积神经网络模型进行训练；
处理模块，用于将待识别图片输入训练后的深度卷积神经网络模型，获得深度卷积神经网络模型的输出作为初步结果；利用非极大值抑制算法对输出的初步结果的得分图进行处理，把每一个区域的得分转化为一个点，并利用离群点删除算法剔除初步结果中识别错误的钢筋，获得深度卷积神经网络模型的最终输出结果；基于深度卷积神经网络模型的最终输出结果，获得待识别图片中钢筋的数目和位置信息。
本申请还提供了一种钢筋智能识别与计数装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前面所述方法的步骤。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时实现前面所述方法的步骤。
本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：
在真实复杂场景下拍摄到的钢筋正面图片，对于照片清晰、拍摄端正、钢筋摆放整齐的情形，识别准确率和召回率达到99％以上；对于更加复杂的环境，准确率和召回率也能达到95％以上，同时对于识别结果中置信度不高的钢筋区域，会以不同的颜色显示出来，从而可以帮助使用者纠正识别错误的区域，以便满足快速计数的实际需求。本发明率先尝试使用深度学习模型对钢筋进行智能识别和计数，并取得了显著的效果。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；
图1是本申请中一种钢筋智能识别与计数方法的流程示意图；
图2是本申请中一种钢筋智能识别与计数系统的组成示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
请参考图1，本发明主要内容包括：
步骤1数据采集及数据增强
采集真实场景下的数据是为了本方法能够对真实工地下拍摄的图片有更强的识别能力；数据增强是为了增加数据量和目标类型，以便模型得到更多的训练数据从而提高模型的泛化能力和识别精度。
钢筋图片采集于工地拍摄的钢筋簇截面图(一般保证倾角较小，尽量垂直于钢筋截面拍摄)。
进一步地，具体包括如下几步：
步骤1.1
在数据采集时，为确保识别准确率，尽量采集高分辨率、高像素的图片，同时保证拍摄的图片为钢筋簇截面正视图；
步骤1.2
为了扩充采集的数据集数量和多样性，对采集的数据进行水平和垂直方向翻转、调节图片明暗度、调节图片对比度等操作，将数据集扩充四倍以上，实现数据增强；
步骤1.3
人工将预处理后的图片中每一个钢筋截面所在区域的外接矩形裁剪下来作为训练集中的正样本；
步骤1.4
最后获取与正样本数量相当的背景区域图片数据(图片中除去被裁剪的正样本部分剩下的区域，即非钢筋截面区域)作为负样本，裁剪后的正负样本在本方法中通过双线性插值缩放到31*31的相同大小。
步骤2建立深度卷积神经网络模型
步骤2.1网络基本参数设计
本申请中深度卷积神经网络的建立需要满足以下三个必要条件：
A、给定训练图片大小(即滑窗大小)之后，经过前向传播后输出特征向量的大小必须为1*1；
B、卷积操作时不能对特征向量进行填充；
C、最大池化层数尽可能小(不超过3层)，否则会降低识别精度；
这样才能保证一次特征提取便能获得遍历全图的区域得分图。
步骤2.2网络结构参数设计
根据上述提到的深度卷积网络建立的三个必要条件，本发明所采用的滑动窗口大小(也即采样区域大小)为31*31，卷积神经网络结构包含5层卷积层，其中每层都采用3*3的卷积核，填充格式设置为不填充，总共使用一层2*2的最大池化(max pooling)，对应到原图上的滑动窗口步长为2，网络最后输出1*1*2的特征向量，分别表示该窗口区域属于钢筋和背景的概率。钢筋样本标签为(1,0)，背景样本标签为(0,1)，使用交叉熵损失(softmax)作为该网络损失函数。
步骤3训练深度卷积神经网络模型
模型训练过程中使用随机梯度下降方法(Stochastic gradient descent)和组归一化方法(Group Normalization)两种方法。
步骤3.1
通过在训练过程中，随机从训练样本集中抽取一定数量的样本参与每一次迭代，这样做的目的在于提升训练过程的效率，保证模型收敛速度与精度。
步骤3.2
对特征向量的channel(通道)维度进行分组，然后对每个组内的channel作归一化。在训练分类器时使用了组归一化方法，相比于不使用组归一化方法，训练网络的收敛速度更快，同时钢筋计数准确率平均提高了1％左右。
步骤4后处理
后处理是为了得到有效结果以及对模型精度和准确度进行提升。
步骤4.1
模型输出的结果是数值在0到1之间的得分图。利用非极大值抑制算法对得分图进行处理，把每一个区域的得分转化为一个点，具体操作如下：
步骤4.1.1
将所有点根据其得分值按从大到小排序，然后设定一个得分阈值s(一般s＝0.5)，将得分小于s的点去除；
步骤4.1.2
对于剩下的点，先取一个得分最高的点(意味着该点对应的窗口是钢筋的可能性最大)，然后算出该窗口和排在其后的窗口的IOU(交并比，即两个窗口重合的面积/两个窗口的并集的面积)，设定一个IOU阈值δ，将所有与该窗口IOU值大于δ的窗口去除(高IOU意味着两个窗口可能识别的是同一个钢筋)。
步骤4.1.3
再取得分次高的窗口，重复上述操作，直到没有可选窗口为止。利用NMS(Non-Maximum Suppression，非极大值抑制)将得分图转换成每个钢筋用一个点表示的结果图。
步骤4.2实际场景中的钢筋都是按簇进行堆放，基于该假设，通过计算识别出的钢筋中心位置之间的距离来剔除离群点，达到删除远离钢筋簇的误识目标的效果。利用离群点删除算法剔除识别错误的钢筋，提高识别准确率。具体步骤如下：
步骤4.2.1
算法将识别出来的所有钢筋中心点放入一个列表，同时初始化一个队列。
步骤4.2.2
随机从列表中选取一个中心点进行入队列操作，遍历列表中的剩余中心点，只要满足与队列头部中心点距离小于等于1.2倍钢筋直径的中心点，都进行入队列操作，入队列操作完成后进行出队列操作。之后不断地进行迭代。
步骤4.2.3
当队列为空时，所有已出对列的中心点即为同一个钢筋簇。重复执行4.2.1和4.2.2的操作，直到列表为空，这样经过多次迭代就将钢筋中心进行了基于中心点距离的分簇，每一个簇内中心点必有另一个中心点与其距离小于1.2倍钢筋直径。
步骤4.2.3
最后中心点个数小于预设值的钢筋簇即为离群点，对其进行删除。
步骤五：计数和识别
步骤5.1计数
模型输出的结果在后处理过后形成一个数值为0和1的二值图，该二值图中值为1的点的数量就是钢筋的数量，至此完成钢筋的计数。
步骤5.2识别
根据模型后处理后的输出结果，每一个值为1的点所在的位置对应原图中的相应位置，在本方案中由于深度学习模型使用了一次最大池化操作，所以将结果中的值为1的点的坐标值乘2后映射回原图中，即可完成钢筋的位置识别。
请参考图2，本发明以实施例提供的钢筋智能识别与计数系统的组成示意图，所述系统包括：
图像采集模块，用于采集具有钢筋簇截面图像的图片数据集，并基于采集的图片数据集获得训练样本集；
建立及训练模块，用于建立深度卷积神经网络模型，并基于训练样本集数据对深度卷积神经网络模型进行训练；
处理模块，用于将待识别图片输入训练后的深度卷积神经网络模型，获得深度卷积神经网络模型的初步输出结果；利用非极大值抑制算法对输出的初步结果的得分图进行处理，把每一个区域的得分转化为一个点，并利用离群点删除算法剔除初步结果中识别错误的钢筋，获得深度卷积神经网络模型的最终输出结果；基于深度卷积神经网络模型的最终输出结果，获得待识别图片中钢筋的数目和位置信息。
本发明实施例提供了一种钢筋智能识别与计数装置，该实施例的钢筋智能识别与计数装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如：钢筋智能识别与计数程序。所述处理器执行所述计算机程序时实现上述各个钢筋智能识别与计数方法实施例中的步骤，例如图1所示的步骤。或者所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如：图像采集模块、建立及训练模块、处理模块。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述上述计算机程序在钢筋智能识别与计数装置中的执行过程。例如，所述计算机程序可以被分割成图像采集模块、建立及训练模块、处理模块，各模块具体功能如上所述。
所述钢筋智能识别与计数装置可以是桌上型计算机、笔记本、掌上电脑以及云端服务器等计算设备。所述钢筋智能识别与计数装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是钢筋智能识别与计数装置的示例，并不构成对钢筋智能识别与计数装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如钢筋智能识别与计数装置还可以包括输入输出设备、网络接入设备、总线、显示器等。
所述处理器可以是中央处理器(CPU，Central Processing Unit)，还可以是其他通用处理器、数字信号处理器(digital signal processor)、专用集成电路(ApplicationSpecific Integrated Circuit)、现成可编程门阵列(Fieldprogrammable gate array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是钢筋智能识别与计数装置的控制中心，利用各种接口和线路连接整个钢筋智能识别与计数装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现所述钢筋智能识别与计数装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述钢筋智能识别与计数装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括点载波信号和电信信号。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种钢筋智能识别与计数方法，其特征在于，所述方法包括：采集具有钢筋簇截面图像的图片数据集，并基于采集的图片数据集获得训练样本集；建立深度卷积神经网络模型，基于训练样本集数据对深度卷积神经网络模型进行训练；将待识别图片输入训练后的深度卷积神经网络模型，获得深度卷积神经网络模型的输出作为初步结果；利用非极大值抑制算法对输出的初步结果的得分图进行处理，把每一个区域的得分转化为一个点，并利用离群点删除算法剔除初步结果中识别错误的钢筋，获得深度卷积神经网络模型的最终输出结果；基于深度卷积神经网络模型的最终输出结果，获得待识别图片中钢筋的数目和位置信息；
利用离群点删除算法剔除初步结果中识别错误的钢筋，具体包括：步骤Ⅰ：将识别出来的所有钢筋中心点放入一个列表，并初始化一个队列；步骤Ⅱ：随机从列表中选取一个中心点进行入队列操作，遍历列表中的剩余中心点，若列表中的某中心点满足与队列头部中心点距离小于或等于预设倍数钢筋直径，则进行入队列操作，入队列操作完成后进行出队列操作，之后不断地进行迭代；步骤Ⅲ：当队列为空时，所有已出队列的中心点即为同一个钢筋簇；重复执行步骤Ⅰ和步骤Ⅱ的操作，直到列表为空；步骤Ⅳ：中心点个数小于预设要求的钢筋簇即为离群点，对其进行删除。
2.根据权利要求1所述的一种钢筋智能识别与计数方法，其特征在于，基于采集的图片数据集获得训练样本集，具体包括：裁剪采集图片中每一个钢筋截面所在区域的外接矩形作为训练集中的正样本；获取与正样本数量相当的背景区域图片数据作为负样本，利用双线性插值将正负样本缩放到相同尺寸，获得训练样本集。
3.根据权利要求1所述的一种钢筋智能识别与计数方法，其特征在于，所述深度卷积神经网络模型需满足以下三个条件：A、给定训练图片大小之后，经过前向传播后输出大小为1*1的特征向量；B、卷积操作时不能对特征向量进行填充；C、最大池化层数小于或等于3层。
4.根据权利要求1所述的一种钢筋智能识别与计数方法，其特征在于，利用非极大值抑制算法对初步结果的得分图进行处理，把每一个区域的得分转化为一个点，具体包括：步骤a：将得分图所对应的所有点根据其得分值按从大到小排序，设定一个得分阈值s，将得分小于s的点去除；步骤b：取一个得分最高的点，算出得分最高点对应窗口和得分排在其后所有窗口的交并比，设定一个交并比阈值δ，将所有与得分最高点对应窗口交并比值大于δ的窗口去除；步骤c：获取得分次高的窗口，重复上述步骤b中交并比大小比较及窗口去除操作，直到没有可选窗口为止。
5.根据权利要求1所述的一种钢筋智能识别与计数方法，其特征在于，深度卷积神经网络模型的输出结果以0.5为阈值进行二值化操作后形成一个数值为0和1的二值图，该二值图中值为1的点的数量为钢筋的数量，基于钢筋的数量实现钢筋的计数。
6.根据权利要求1所述的一种钢筋智能识别与计数方法，其特征在于，根据深度卷积神经网络模型的输出结果，每一个值为1的点所在的位置对应原图中钢筋的质心所在位置，将结果中值为1的点的坐标值乘2后映射回原图中，并以该点为中心绘制和训练图片大小一样的矩形框，从而完成钢筋的位置识别。
7.一种钢筋智能识别与计数系统，其特征在于，所述系统包括：图像采集模块，用于采集具有钢筋簇截面图像的图片数据集，并基于采集的图片数据集获得训练样本集；建立及训练模块，用于建立深度卷积神经网络模型，并基于训练样本集数据对深度卷积神经网络模型进行训练；处理模块，用于将待识别图片输入训练后的深度卷积神经网络模型，获得深度卷积神经网络模型的输出作为初步结果；利用非极大值抑制算法对输出的初步结果的得分图进行处理，把每一个区域的得分转化为一个点，并利用离群点删除算法剔除初步结果中识别错误的钢筋，获得深度卷积神经网络模型的最终输出结果；基于深度卷积神经网络模型的最终输出结果，获得待识别图片中钢筋的数目和位置信息。
8.根据权利要求7所述的一种钢筋智能识别与计数系统，其特征在于，利用非极大值抑制算法对初步结果的得分图进行处理，把每一个区域的得分转化为一个点，具体包括：步骤a：将得分图所对应的所有点根据其得分值按从大到小排序，设定一个得分阈值s，将得分小于s的点去除；步骤b：取一个得分最高的点，算出得分最高点对应窗口和得分排在其后所有窗口的交并比，设定一个交并比阈值δ，将所有与得分最高点对应窗口交并比值大于δ的窗口去除；步骤c：获取得分次高的窗口，重复上述步骤b中交并比大小比较及窗口去除操作，直到没有可选窗口为止。
9.根据权利要求7所述的一种钢筋智能识别与计数系统，其特征在于，利用离群点删除算法剔除初步结果中识别错误的钢筋，具体包括：步骤Ⅰ：将识别出来的所有钢筋中心点放入一个列表，并初始化一个队列；步骤Ⅱ：随机从列表中选取一个中心点进行入队列操作，遍历列表中的剩余中心点，若列表中的某中心点满足与队列头部中心点距离小于或等于预设倍数钢筋直径，则进行入队列操作，入队列操作完成后进行出队列操作，之后不断地进行迭代；步骤Ⅲ：当队列为空时，所有已出队列的中心点即为同一个钢筋簇；重复执行步骤Ⅰ和步骤Ⅱ的操作，直到列表为空；步骤Ⅳ：中心点个数小于预设要求的钢筋簇即为离群点，对其进行删除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910238203.7A CN110032954B (zh) | 2019-03-27 | 2019-03-27 | 一种钢筋智能识别与计数方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910238203.7A CN110032954B (zh) | 2019-03-27 | 2019-03-27 | 一种钢筋智能识别与计数方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110032954A CN110032954A (zh) | 2019-07-19 |
| CN110032954B true CN110032954B (zh) | 2021-05-14 |
Family
ID=67236754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910238203.7A Active CN110032954B (zh) | 2019-03-27 | 2019-03-27 | 一种钢筋智能识别与计数方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110032954B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706210B (zh) * | 2019-09-18 | 2023-03-17 | 五邑大学 | 一种基于深度学习的钢筋计数方法及装置 |
| CN110781755A (zh) * | 2019-09-28 | 2020-02-11 | 深圳中物智建科技有限公司 | 一种建筑钢筋智能识别计量方法及系统 |
| CN110929756B (zh) * | 2019-10-23 | 2022-09-06 | 广物智钢数据服务(广州)有限公司 | 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质 |
| CN110992325A (zh) * | 2019-11-27 | 2020-04-10 | 同济大学 | 基于深度学习的目标清点方法、装置和设备 |
| CN111127457A (zh) * | 2019-12-25 | 2020-05-08 | 上海找钢网信息科技股份有限公司 | 钢筋数目统计模型训练方法、统计方法、装置及设备 |
| CN111369518B (zh) * | 2020-02-28 | 2022-11-01 | 创新奇智(合肥)科技有限公司 | 样本扩充方法、装置、电子设备及可读存储介质 |
| CN111639740A (zh) * | 2020-05-09 | 2020-09-08 | 武汉工程大学 | 一种基于多尺度卷积神经网络的钢筋计数方法 |
| CN111680681B (zh) * | 2020-06-10 | 2022-06-21 | 中建三局第一建设工程有限责任公司 | 排除非正常识别目标的图像后处理方法及系统及计数方法 |
| CN111862045B (zh) * | 2020-07-21 | 2021-09-07 | 上海杏脉信息科技有限公司 | 血管模型的生成方法及装置 |
| CN112053336B (zh) * | 2020-08-31 | 2023-05-26 | 中冶赛迪信息技术(重庆)有限公司 | 一种棒材对齐检测方法、系统、设备及介质 |
| CN112016638B (zh) * | 2020-10-26 | 2021-04-06 | 广东博智林机器人有限公司 | 一种钢筋簇的识别方法、装置、设备及存储介质 |
| CN112287992A (zh) * | 2020-10-26 | 2021-01-29 | 广东博智林机器人有限公司 | 一种钢筋簇分类方法、装置、电子设备及存储介质 |
| CN112489008A (zh) * | 2020-11-27 | 2021-03-12 | 上海建工四建集团有限公司 | 钢筋识别系统、钢筋识别方法、以及钢筋计数验收系统 |
| CN113450315B (zh) * | 2021-06-08 | 2024-06-14 | 北京伟景智能科技有限公司 | 棒材计数方法、装置及分钢系统 |
| CN113888513A (zh) * | 2021-09-30 | 2022-01-04 | 电子科技大学 | 一种基于深度神经网络模型的钢筋检测计数方法 |
| CN114494767B (zh) * | 2021-12-24 | 2023-04-07 | 广州粤建三和软件股份有限公司 | 一种钢筋数量识别方法、装置、设备及存储介质 |
| CN114972778B (zh) * | 2022-01-04 | 2024-05-24 | 上海品览数据科技有限公司 | 一种基于图像处理的结构专业板配筋属性的识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106960195A (zh) * | 2017-03-27 | 2017-07-18 | 深圳市丰巨泰科电子有限公司 | 一种基于深度学习的人群计数方法及装置 |
| CN107239762A (zh) * | 2017-06-06 | 2017-10-10 | 电子科技大学 | 一种基于视觉的公交车内乘客人数统计方法 |
| CN108021848A (zh) * | 2016-11-03 | 2018-05-11 | 浙江宇视科技有限公司 | 客流量统计方法及装置 |
| CN108416250A (zh) * | 2017-02-10 | 2018-08-17 | 浙江宇视科技有限公司 | 人数统计方法及装置 |
| CN109241871A (zh) * | 2018-08-16 | 2019-01-18 | 北京此时此地信息科技有限公司 | 一种基于视频数据的公共区域人流跟踪方法 |
| CN109272487A (zh) * | 2018-08-16 | 2019-01-25 | 北京此时此地信息科技有限公司 | 一种基于视频的公共区域内人群的数量统计方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104462379A (zh) * | 2014-12-10 | 2015-03-25 | 深圳大学 | 一种基于距离的高准确率全局离群点检测算法 |
| CN104809594B (zh) * | 2015-05-13 | 2019-02-15 | 中国电力科学研究院 | 一种基于动态离群点检测的配电网数据在线清洗方法 |
| US10217028B1 (en) * | 2017-08-22 | 2019-02-26 | Northrop Grumman Systems Corporation | System and method for distributive training and weight distribution in a neural network |
-
2019
- 2019-03-27 CN CN201910238203.7A patent/CN110032954B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021848A (zh) * | 2016-11-03 | 2018-05-11 | 浙江宇视科技有限公司 | 客流量统计方法及装置 |
| CN108416250A (zh) * | 2017-02-10 | 2018-08-17 | 浙江宇视科技有限公司 | 人数统计方法及装置 |
| CN106960195A (zh) * | 2017-03-27 | 2017-07-18 | 深圳市丰巨泰科电子有限公司 | 一种基于深度学习的人群计数方法及装置 |
| CN107239762A (zh) * | 2017-06-06 | 2017-10-10 | 电子科技大学 | 一种基于视觉的公交车内乘客人数统计方法 |
| CN109241871A (zh) * | 2018-08-16 | 2019-01-18 | 北京此时此地信息科技有限公司 | 一种基于视频数据的公共区域人流跟踪方法 |
| CN109272487A (zh) * | 2018-08-16 | 2019-01-25 | 北京此时此地信息科技有限公司 | 一种基于视频的公共区域内人群的数量统计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的冬小麦麦穗检测计数系统;张领先等;《农业机械学报》;20190325;第50卷(第3期);第144-150页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110032954A (zh) | 2019-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032954B (zh) | 一种钢筋智能识别与计数方法及系统 | |
| CN109190442B (zh) | 一种基于深度级联卷积神经网络的快速人脸检测方法 | |
| CN111950723B (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
| CN112651438A (zh) | 多类别图像的分类方法、装置、终端设备和存储介质 | |
| CN110991435A (zh) | 一种基于深度学习的快递运单关键信息定位方法和装置 | |
| CN113420643B (zh) | 基于深度可分离空洞卷积的轻量级水下目标检测方法 | |
| WO2022077863A1 (zh) | 视觉定位方法及相关模型的训练方法及相关装置、设备 | |
| CN103310481A (zh) | 一种基于模糊熵迭代的点云精简方法 | |
| CN104063686A (zh) | 作物叶部病害图像交互式诊断系统与方法 | |
| CN109903282A (zh) | 一种细胞计数方法、系统、装置和存储介质 | |
| CN114627290A (zh) | 一种基于改进DeepLabV3+网络的机械零部件图像分割算法 | |
| CN113888513A (zh) | 一种基于深度神经网络模型的钢筋检测计数方法 | |
| CN106709474A (zh) | 一种手写电话号码识别、校验及信息发送系统 | |
| CN109753996A (zh) | 基于三维轻量化深度网络的高光谱图像分类方法 | |
| CN113240640B (zh) | 菌落计数方法、装置及计算机可读存储介质 | |
| CN109685823B (zh) | 一种基于深度森林的目标跟踪方法 | |
| CN107909073A (zh) | 多维局部二值模式和机器学习手写乐谱谱线删除方法 | |
| EP4379669A1 (en) | Processing method for image recognition model, and related product | |
| CN106920264B (zh) | 一种基于可形变部件模型算法的目标检测硬件结构 | |
| CN116958053A (zh) | 一种基于yolov4-tiny的竹签计数方法 | |
| CN110059696B (zh) | 一种图像标注方法、装置和计算机可读存储介质 | |
| CN108805896B (zh) | 一种应用于城市环境的距离图像分割方法 | |
| CN111104965A (zh) | 车辆目标识别的方法及装置 | |
| CN106845550B (zh) | 一种基于多模板的图像识别方法 | |
| CN113902903B (zh) | 一种基于下采样的双注意力多尺度融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201231 Address after: No.1 Dongwu Avenue, Taiwan investment zone, Dongxihu District, Wuhan City, Hubei Province 430000 Applicant after: CHINA CONSTRUCTION THIRD BUREAU FIRST ENGINEERING Co.,Ltd. Applicant after: Sichuan University of Science & Engineering Applicant after: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd. Address before: 610000 No.2, 4th floor, building 1, Jule Road intersection, West 1st section of 1st ring road, Wuhou District, Chengdu City, Sichuan Province Applicant before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: No.1 Dongwu Avenue, Taiwan investment zone, Dongxihu District, Wuhan City, Hubei Province 430000 Patentee after: CHINA CONSTRUCTION THIRD BUREAU FIRST ENGINEERING Co.,Ltd. Patentee after: Sichuan University of Science & Engineering Patentee after: Chengdu shuzhilian Technology Co.,Ltd. Address before: No.1 Dongwu Avenue, Taiwan investment zone, Dongxihu District, Wuhan City, Hubei Province 430000 Patentee before: CHINA CONSTRUCTION THIRD BUREAU FIRST ENGINEERING Co.,Ltd. Patentee before: Sichuan University of Science & Engineering Patentee before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd. |