CN111639740A - 一种基于多尺度卷积神经网络的钢筋计数方法 - Google Patents

一种基于多尺度卷积神经网络的钢筋计数方法 Download PDF

Info

Publication number
CN111639740A
CN111639740A CN202010386609.2A CN202010386609A CN111639740A CN 111639740 A CN111639740 A CN 111639740A CN 202010386609 A CN202010386609 A CN 202010386609A CN 111639740 A CN111639740 A CN 111639740A
Authority
CN
China
Prior art keywords
steel bar
feature map
image
scale
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010386609.2A
Other languages
English (en)
Inventor
卢涛
周强
王波
吴志毫
王彬
阮小丽
赵训刚
郝晓慧
陈冲
许若波
王宁
郎秀娟
魏博识
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
China Railway Major Bridge Engineering Group Co Ltd MBEC
China Railway Bridge Science Research Institute Ltd
Original Assignee
Wuhan Institute of Technology
China Railway Major Bridge Engineering Group Co Ltd MBEC
China Railway Bridge Science Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology, China Railway Major Bridge Engineering Group Co Ltd MBEC, China Railway Bridge Science Research Institute Ltd filed Critical Wuhan Institute of Technology
Priority to CN202010386609.2A priority Critical patent/CN111639740A/zh
Publication of CN111639740A publication Critical patent/CN111639740A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M9/00—Counting of objects in a stack thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于多尺度卷积神经网络的钢筋计数方法，包括：采集成捆钢筋的端部图像；制作训练集；基于多尺度卷积神经网络构建钢筋检测模型，并对训练集中钢筋的端部图像进行浅层、中层、深层三个尺度的特征提取，然后将顶层特征图上采样与底层特征图融合；检测时将钢筋的端部图像划分为多个单元网格，以每一个单元网格为中心，每个单元网格又以得到的深层尺度特征图、新的中层尺度特征图和新的浅层尺度特征图的尺寸为模板，提取图像的特征，并与对应尺寸的特征图模板相比较，得到候选边界框，利用非极大抑制算法得到钢筋的数量。本发明的钢筋计数方法能够准确、快速的统计一堆尺寸不一的钢筋中钢筋的数量，且精度高。

Description

一种基于多尺度卷积神经网络的钢筋计数方法
技术领域
本发明涉及计算机视觉目标检测领域，具体涉及一种基于多尺度卷积神经网络的钢筋计数方法。
背景技术
从超长大桥，到超高层建筑，再到钢筋混凝土的城市，不管是工业用还是民用，钢筋已然成为建筑行业中最不可或缺的基本材料之一。有数据显示，中国钢筋年产量现已超过2亿吨，建筑业的总产值超过23.5万亿元，而其中钢铁在建筑材料中所占的造价基本上达到了20％-30％。
一般而言，在钢筋的生产、运输、销售等每个环节都必须精确计算钢筋根数。目前钢筋运输车辆进入工地后，验收钢筋一般都是采用人工计数的方式，由项目部材料员、劳务队材料员、供货方三方人员挨捆清点数量，过程繁琐，消耗人力，且经常反复校对，一般数完一车钢筋要近半小时，一次进场多车清点就要更久。因此市场上迫切需要一款快速、精度高、易操作、适用性强的钢筋(本文特指成捆钢筋)计数产品。
计算机视觉技术用于棒材计数最早到1995年，国内开始有人用计算机视觉来做成捆钢筋的计数研究。2009年，国内学者发布了《基于神经网络的钢筋计数方法研究》论文，该论文认为当时基于图像的钢筋计数方法主要有基于面积法的钢筋计数系统和基于模版的钢筋计数系统。
基于模版的钢筋计数方法：该方法认为虽然钢筋端面图形极不规则，但从无规则的图像中还是可以找到一定的规则性，即每根钢筋截面或大或小但因钢筋的刚性，其所占的面积或者空间范围却是比较相近的。设想为某一规格的钢筋选取一个与实际钢筋形状和大小相似的模板，把模板依次覆盖在每一根钢筋截面图像上，每覆盖一次计一次数。但该方法存在一个问题：模版匹配法对模板和目标物的形状有较大的依赖，自适应能力较低。
基于面积的钢筋计数方法：该方法同样需要先将钢筋截面预处理成下图的样子，计算轮廓面积以及轮廓数，得到单个轮廓的平均面积。然后将当前目标轮廓面积与平均值进行比较，如果目标轮廓面积大于平均值，则代表着这里可能有多根钢筋。如果目标轮廓面积小于平均值且大于平均值的几分之几，则代表只有一根钢筋。但这个方法存在一些问题：面积法计数结果并不易于在计数的结果图像中直观地显示出来，不易对计数结果的优劣做出评判，一旦出现误差，不易找出错误的原因。
目前研究统计钢筋数量的方法是将钢材由打捆机打成捆后，由输送带输送至喷漆处，用自动喷漆装置对钢材端部喷涂闪光银色油漆，以增强图像的对比度；然后在灯光照射下用CCD摄像头或数码相机进行端部摄像；图像传送至计算机中后，经过处理与识别，最后显示出该捆钢筋中的钢材总根数。但研究统计钢筋数量仍存在以下难点：(1)精度要求高；钢筋本身价格较昂贵，且在实际使用中数量很大，误检和漏检都需要人工在大量的标记点中找出，所以需要精度非常高才能保证验收人员的使用体验。(2)钢筋尺寸不一；钢筋截面形状不规则、颜色不一，拍摄的角度、距离也不完全受控，这就导致了传统算法在实际使用的过程中效果很难稳定。(3)边界难以区分；成捆钢筋的端面照片一般会存在严重的粘连现象，而这便是成捆钢筋计数的最大难点之一，并且一次会运输很多捆钢筋，如果直接全部处理会存在边缘角度差、遮挡等问题效果不好，处理过程中需要对捆间进行分割或者对最终结果进行去重复，目前实现起来非常困难。
发明内容
本发明解决的技术问题是提供一种基于多尺度卷积神经网络的钢筋计数方法，解决成捆钢筋人工计数耗时耗力和钢筋尺寸不一造成的计算机视觉计数效果差的问题。
为解决上述技术问题，本发明所提供的技术方案为：一种基于多尺度卷积神经网络的钢筋计数方法，包括以下步骤：
S1、采集成捆钢筋的端部图像；
S4、对钢筋的端部图像进行标注画框，制作训练集；
S5、基于多尺度卷积神经网络构建钢筋检测模型，钢筋检测模型对训练集中的每张钢筋端部图像均进行浅层、中层、深层三个尺度的特征提取，得到浅层、中层、深层三个尺度的特征图；然后将深层尺度特征图上采样与中层尺度特征图进行融合，得到新的中层尺度特征图，将新的中层尺度特征图上采样与浅层尺度特征图进行融合，得到新的浅层尺度特征图；
S6、钢筋检测模型将钢筋的端部图像划分为多个单元网格，以每一个单元网格为中心，每个单元网格又以得到的深层尺度特征图、新的中层尺度特征图和新的浅层尺度特征图的尺寸为模板，提取图像的特征，并与对应尺寸的特征图模板相比较，如果二者相似，则判断该单元网格中存在钢筋端面，得到钢筋端面的候选边界框；利用非极大抑制算法从候选边界框中提取预测边界框；
S7、利用训练好的钢筋检测模型对待统计的钢筋端部图像进行检测，得到钢筋的数量信息。
进一步地，还包括步骤：S2、通过数据增广的方法增加钢筋端部图像的数量。数据增广的方法具体为：随机裁剪法或翻转法。
进一步地，还包括步骤：S3、提取钢筋端部图像中钢筋端面完整且端面对齐的区域。提取钢筋端部图像中钢筋端面完整且端面对齐的区域的方法具体为：将钢筋端部图像中钢筋端面残缺和钢筋端面参差不齐的区域抹黑。
进一步地，在步骤S4中，对钢筋的端部图像进行标注画框，具体包括：在钢筋端部图像中每个钢筋端面所在的区域标注边界框。
进一步地，在步骤S5中，所述单元网格均检测中心点落在本单元网格中的钢筋特征，并以窗口滑动的方式得到候选边界框。
进一步地，损失函数为：
Loss＝λclc+λwhlwh+λconflconf
式中，Loss为损失值，λc、λwh、λconf为损失函数的权重参数，lc表示边界框中心点损失函数，lwh表示边界框宽高损失函数，lconf表示预测置信度损失函数；
其中，边界框中心点损失函数为：
Figure BDA0002484229720000031
式中，S表示图像划分的单元网格的总格数，i表示第i个单元网格，B表示预测边界框的总个数，j表示第j个预测边界框，x、y表示标注的边界框中心点的横纵坐标，
Figure BDA0002484229720000032
Figure BDA0002484229720000033
表示预测边界框中心点的横纵坐标，
Figure BDA0002484229720000034
的定义如下：
Figure BDA0002484229720000041
其中，边界框宽高损失函数为：
Figure BDA0002484229720000042
式中，w、h表示标注边界框的宽和高，
Figure BDA0002484229720000043
表示预测边界框的宽和高；
其中，预测置信度损失函数为：
Figure BDA0002484229720000044
式中，C表示置信度得分，
Figure BDA0002484229720000045
表示预测边界框与标注边界框相交的得分，λnoobj为置信度权重系数。
进一步地，非极大抑制算法的流程为：
S101、将所有候选边界框的置信度得分排序，设定一个置信度得分阈值，去掉置信度得分低于置信度得分阈值的候选边界框；
S102、取置信度得分最高的候选边界框；
S103、计算当前的候选边界框与排在其后面的所有候选边界框的交并比值；设定一个交并比阈值，将所有交并比值大于交并比阈值的候选边界框去除；
S104、取置信度得分次高的候选边界框，重复步骤103，直到没有可选候选边界框为止。
本发明还提供一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行上述的基于多尺度卷积神经网络的钢筋计数方法。
本发明的有益效果是，本发明通过基于多尺度卷积神经网络构建了钢筋检测模型，利用该钢筋检测模型对钢筋的端部图像进行浅层、中层、深层三个尺度的特征提取，然后将顶层特征图上采样与底层特征图融合，得到三个特征图模板：深层尺度特征图、新的中层尺度特征图和新的浅层尺度特征图；然后钢筋检测模型将钢筋的端部图像划分为多个单元网格，以每一个单元网格为中心，每个单元网格又以得到的深层尺度特征图、新的中层尺度特征图和新的浅层尺度特征图的尺寸为模板，提取该单元网格附近的图像的特征，并与对应尺寸的特征图模板相比较，如果二者相似，则判断该单元网格中存在钢筋端面，得到钢筋端面的候选边界框，最后利用非极大抑制算法从候选边界框中提取预测边界框，得到钢筋的数量信息，解决了成捆钢筋人工计数的耗时耗力问题和钢筋尺寸不一难以计数的问题。
进一步地，通过数据增广的方法增加钢筋端部图像的数量，进而增加训练集，从而提高模型的训练效果；通过提取钢筋端部图像中钢筋端面完整且端面对齐的区域，如将钢筋端部图像中钢筋端面残缺和钢筋端面参差不齐的区域抹黑，可解决钢筋边界难以区分的难题，并且提高钢筋计数的精度。
附图说明
图1是本发明基于多尺度卷积神经网络的钢筋计数方法的流程图；
图2是对钢筋的端部图像进行标注画框的示意图；
图3是多尺度卷积神经网络的结构图；
图4是将钢筋端部图像中钢筋端面残缺和钢筋端面参差不齐的区域抹黑的示意图；
图5是钢筋检测模型的实例测试结果图。
具体实施方式
下面将结合附图对本发明的实施方案及原理作进一步的说明，
本发明通过基于多尺度卷积神经网络构建了钢筋检测模型，利用该钢筋检测模型对钢筋的端部图像进行浅层、中层、深层三个尺度的特征提取，然后将顶层特征图上采样与底层特征图融合，得到三个特征图模板：深层尺度特征图、新的中层尺度特征图和新的浅层尺度特征图；然后钢筋检测模型将钢筋的端部图像划分为多个单元网格，以每一个单元网格为中心，每个单元网格又以得到的深层尺度特征图、新的中层尺度特征图和新的浅层尺度特征图的尺寸为模板，提取该单元网格附近的图像的特征，并与对应尺寸的特征图模板相比较，如果二者相似，则判断该单元网格中存在钢筋端面，得到钢筋端面的候选边界框，最后利用非极大抑制算法从候选边界框中提取预测边界框，得到钢筋的数量信息，解决了成捆钢筋人工计数的耗时耗力问题和钢筋尺寸不一难以计数的问题。
本实施例公开了一种基于多尺度卷积神经网络的钢筋计数方法，如图1所示，包括以下步骤：
S1、采集成捆钢筋的端部图像。通过手机、相机等采集待统计的钢筋的端部图像。考虑到用手机、相机等工具采集的图像都是像素较高的图像，如果直接放入神经网络中训练，势必会消耗大量计算资源，造成训练模型时间非常长。所以，我们将数据送入网络中之前可以选择将数据裁剪，裁剪成固定大小，节省训练时间；当然也可以不裁剪。
S4、对钢筋的端部图像进行标注画框，制作训练集。如在钢筋端部图像中每个钢筋端面所在的区域标注边界框。与其他检测数据集制作的流程一样，首先将采集到的图像放到一种标注软件或工具中，例如使用LabelImg标注工具中，将图片中所有钢筋出现的地方进行标注画框，并记录成xml文件。因为本实施例中标注框是矩形，所以记录的标注信息包括边界框的宽度、高度信息以及标注框的中心点信息；标注后图像如图2所示。
S5、基于多尺度卷积神经网络构建钢筋检测模型，钢筋检测模型对训练集中的每张钢筋端部图像均进行浅层、中层、深层三个尺度的特征提取，得到浅层、中层、深层三个尺度的特征图；然后将深层尺度特征图上采样与中层尺度特征图进行融合，得到新的中层尺度特征图，将新的中层尺度特征图上采样与浅层尺度特征图进行融合，得到新的浅层尺度特征图。该步骤需要将训练集的所有图像输入，利用多尺度卷积神经网络得到深层尺度特征图、新的中层尺度特征图和新的浅层尺度特征图，为后面检测做铺垫。
为了解决钢筋尺寸不一、耗时等难点，本专利设计了一个轻量级、多尺度卷积神经网络来检测图像中钢筋的数量，该网络主要是利用卷积层组成，是没有池化层和全连接层的，前向传播过程中，特征图的尺寸变换是通过改变卷积核的步长来实现的。该网络的结构图如图3所示，将待检测图像输入钢筋检测网络中，有三个不同的输出，这个三个输出从左往右被称为浅层尺度特征图、中层尺度特征图、深层尺度特征图。MobileNet主要是为了适用于移动端而提出的一种轻量级深度神经网络模型，主要是使用了深度可分离卷积将标准卷积进行分解计算，极大的减少了计算量。为了提高钢筋检测模型的推理速度，本专利也引用了深度可分离卷积来代替标准卷积，实现模型轻量化。同时，为了解决检测钢筋的尺寸不一的情况，本专利中，设计了三个不同的尺度的特征图来匹配不同尺寸的钢筋。如图3所示，本专利中提出了Feature map A、Feature map B、Feature map C三个尺度的特征图，钢筋图像输入多尺度卷积神经网络时，经过几次卷积操作后得到的Feature map A相比于输入图像，有较高倍数的下采样，所以Feature map A具有较高的语义信息且感受野比较大，因此适合检测图像中尺寸比较大的钢筋。为了实现图像中中小尺寸的钢筋检测，本专利中将具有高语义信息的特征图，即深层尺度特征图，先进行上采样操作，这样保证了与中尺度特征图尺寸大小一致，然后再与中尺度特征图融合，这样就得到了较小尺度的特征图Featuremap B，它具有中等尺度的感受野，适合检测中等尺度的钢筋。最后为了实现准确检测图像中小尺度的钢筋，本专利中采用将中尺度的特征图上采样然后与大尺度特征图融合得到大尺度的特征图Feature map C，即浅层尺度特征图，它经过的卷积次数较少，感受野最小，适合检测小尺寸的钢筋。
S6、钢筋检测模型将钢筋的端部图像划分为多个单元网格，以每一个单元网格为中心，每个单元网格又以得到的深层尺度特征图、新的中层尺度特征图和新的浅层尺度特征图的尺寸为模板，提取图像的特征，并与对应尺寸的特征图模板相比较，如果二者相似，则判断该单元网格中存在钢筋端面，得到钢筋端面的候选边界框；利用非极大抑制算法从候选边界框中提取预测边界框。
该步骤是钢筋端面的检测过程，在模型训练的时候，需要预测训练集中钢筋端面图像中钢筋端面的边界框，并与我们标注的边界框进行对比，利用损失函数进行训练；在检测的时候，需要对待检测的图像进行预测，得到预测边界框，就可以得到钢筋的数量信息。首先，钢筋检测模型需要将钢筋的端部图像划分为多个单元网格，每一个单元网格负责检测中心点落在该网格中的钢筋特征；并且每一个单元网格还会通过特征图来预测边界框。在提取钢筋端面图像的特征时，可以选取单元网格的中心点为基准，以特征图模板的尺寸大小为方向，在图像中选取区域进行特征提取；然后二者进行比较，得到候选边界框。
非极大抑制算法主要是为了从候选边界框中提取出有效的边界框，去除重复和错误的候选框。其中，非极大抑制算法的流程为：
S101、将所有候选边界框的置信度得分排序，设定一个置信度得分阈值，去掉置信度得分低于置信度得分阈值的候选边界框；
S102、取置信度得分最高的候选边界框；
S103、计算当前的候选边界框与排在其后面的所有候选边界框的交并比值；设定一个交并比阈值，将所有交并比值大于交并比阈值的候选边界框去除；
S104、取置信度得分次高的候选边界框，重复步骤103，直到没有可选候选边界框为止。
最后剩余的边界框则是我们需要的有效的预测边界框。并且针对不同的数据集，可以调试置信度得分阈值和交并比阈值，是模型达到最佳效果。
S7、利用训练好的钢筋检测模型对待统计的钢筋端部图像进行检测，得到钢筋的数量信息。本发明还能够获得钢筋的位置信息，检测结果如图5所示。
进一步地，在采集到图像后，还可以通过数据增广的方法增加钢筋端部图像的数量。其中，数据增广的方法可以采用随机裁剪法或翻转法。由于采集图像的数量有限、标注图像困难，所以制作的数据数量有限。众所周知，神经网络模型的性能大多数遵守这样一条规则：训练数据越充分，训练出来的模型越好。所以，可以使用数据增广的方法来扩充数据，如随机裁剪法：直接在原始图像随机裁剪获得多张图像；如翻转法，即将原始的图像进行镜像操作，镜像操作在数据增强中会经常被使用，并且起了非常重要的作用，它主要包括水平镜像翻转，垂直镜像翻转和原点镜像翻转，而采集的钢筋图像主要是钢筋端部的图像都是圆形的大同小异，故采用水平翻转增强数据集即可。
进一步地，在制作训练集之前，提取钢筋端部图像中钢筋端面完整且端面对齐的区域。因为本发明是通过从采集的钢筋端部图像中检测到的钢筋个数来统计钢筋的数量的，所以在采集图像的过程中，不但要求采集清晰的堆放整齐的钢筋的端部图像，并且最好将我们需要的钢筋端面区域给提取出来，这样能够提高钢筋检测的精度。例如将钢筋端部图像中钢筋端面完整且端面对齐的区域提取出来，或者将钢筋端部图像中钢筋端面残缺和钢筋端面参差不齐的区域抹黑，即通过将图像中那些只出现一部分，并且端部严重没有对齐的钢筋抹黑，如图4所示。
进一步地，检测模型的训练，主要就是让模型更好的学习到标注的钢筋特征，同时为了使模型学习到更好钢筋特征从而能够更好、更准确的预测边界框的中心点、预测边界框的宽和高以及预测的置信度。我们设计了如下损失函数：
Loss＝λclc+λwhlwh+λconflconf
式中，Loss为损失值，λc、λwh、λconf为损失函数的权重参数，lc表示边界框中心点损失函数，lwh表示边界框宽高损失函数，lconf表示预测置信度损失函数；
其中，边界框中心点损失函数为：
Figure BDA0002484229720000081
式中，S表示图像划分的单元网格的总格数，i表示第i个单元网格，B表示预测边界框的总个数，j表示第j个预测边界框，x、y表示标注的边界框中心点的横纵坐标，
Figure BDA0002484229720000082
Figure BDA0002484229720000083
表示预测边界框中心点的横纵坐标，
Figure BDA0002484229720000084
的定义如下：
Figure BDA0002484229720000091
其中，边界框宽高损失函数为：
Figure BDA0002484229720000092
式中，w、h表示标注边界框的宽和高，
Figure BDA0002484229720000093
表示预测边界框的宽和高；
其中，预测置信度损失函数为：
Figure BDA0002484229720000094
式中，C表示置信度得分，
Figure BDA0002484229720000095
表示预测边界框与标注边界框相交的得分，λnoobj为置信度权重系数。
本发明还提供一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行上述的基于多尺度卷积神经网络的钢筋计数方法。
本发明还提供一个测试实验，通过F1-Score评价指标，与其他4种方法对比来证明本发明中算法的优越性。
该实验采用DCIC数据集，其中包括多个场景下堆叠的钢筋图片，一共包括500张图像，接着对其每幅图像下采样到416×416像素，并进行数据扩增到5000张并标注后开始训练。本发明采用类似MobileNet的轻量级网络做为骨架，通过Adam优化算法进行5000次迭代，对损失函数进行最优化求解。实验参数的选择上，设置的学习率为0.001，不同损失函数权重参数设置为λc＝1，λwh＝0.5，λconf＝0.5。
其中，F1-Score计算方式如下：
Figure BDA0002484229720000096
Figure BDA0002484229720000097
Figure BDA0002484229720000101
以各算法在DCIC数据集中的结果取平均值，作为最终的计算结果，如下表1所示。
表1 F1-Score评价指标表
SSD RCNN Fast-RCNN RetinaNet Ours
F1 0.5665 0.5714 0.8411 0.9733 0.9935
从表1可以看出，本发明的方法与其他4种方法相比，本发明的方法的F1评价指标最高，即优于对比算法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，说明书中未阐述的部分均为现有技术或公知常识，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多尺度卷积神经网络的钢筋计数方法，其特征在于，包括以下步骤：
S1、采集成捆钢筋的端部图像；
S4、对钢筋的端部图像进行标注画框，制作训练集；
S5、基于多尺度卷积神经网络构建钢筋检测模型，钢筋检测模型对训练集中的每张钢筋端部图像均进行浅层、中层、深层三个尺度的特征提取，得到浅层、中层、深层三个尺度的特征图；然后将深层尺度特征图上采样与中层尺度特征图进行融合，得到新的中层尺度特征图，将新的中层尺度特征图上采样与浅层尺度特征图进行融合，得到新的浅层尺度特征图；
S6、钢筋检测模型将钢筋的端部图像划分为多个单元网格，以每一个单元网格为中心，每个单元网格又以得到的深层尺度特征图、新的中层尺度特征图和新的浅层尺度特征图的尺寸为模板，提取图像的特征，并与对应尺寸的特征图模板相比较，如果二者相似，则判断该单元网格中存在钢筋端面，得到钢筋端面的候选边界框；利用非极大抑制算法从候选边界框中提取预测边界框；
S7、利用训练好的钢筋检测模型对待统计的钢筋端部图像进行检测，得到钢筋的数量信息。
2.将待检测的钢筋端部图像输入到钢筋检测模型中，根据权利要求1所述的基于多尺度卷积神经网络的钢筋计数方法，其特征在于，还包括步骤：S2、通过数据增广的方法增加钢筋端部图像的数量。
3.根据权利要求2所述的基于多尺度卷积神经网络的钢筋计数方法，其特征在于，所述数据增广的方法具体为：随机裁剪法或翻转法。
4.根据权利要求1所述的基于多尺度卷积神经网络的钢筋计数方法，其特征在于，还包括步骤：S3、提取钢筋端部图像中钢筋端面完整且端面对齐的区域。
5.根据权利要求4所述的基于多尺度卷积神经网络的钢筋计数方法，其特征在于，所述提取钢筋端部图像中钢筋端面完整且端面对齐的区域的方法具体为：将钢筋端部图像中钢筋端面残缺和钢筋端面参差不齐的区域抹黑。
6.根据权利要求1所述的基于多尺度卷积神经网络的钢筋计数方法，其特征在于，在步骤S4中，对钢筋的端部图像进行标注画框，具体包括：在钢筋端部图像中每个钢筋端面所在的区域标注边界框。
7.根据权利要求1所述的基于多尺度卷积神经网络的钢筋计数方法，其特征在于，在步骤S5中，所述单元网格均检测中心点落在本单元网格中的钢筋特征，并以窗口滑动的方式得到候选边界框。
8.根据权利要求1所述的基于多尺度卷积神经网络的钢筋计数方法，其特征在于，损失函数为：
Loss＝λclc+λwhlwh+λconflconf
式中，Loss为损失值，λc、λwh、λconf为损失函数的权重参数，lc表示边界框中心点损失函数，lwh表示边界框宽高损失函数，lconf表示预测置信度损失函数；
其中，边界框中心点损失函数为：
Figure FDA0002484229710000021
式中，S表示图像划分的单元网格的总格数，i表示第i个单元网格，B表示预测边界框的总个数，j表示第j个预测边界框，x、y表示标注的边界框中心点的横纵坐标，
Figure FDA0002484229710000022
Figure FDA0002484229710000023
表示预测边界框中心点的横纵坐标，
Figure FDA0002484229710000024
的定义如下：
Figure FDA0002484229710000025
其中，边界框宽高损失函数为：
Figure FDA0002484229710000026
式中，w、h表示标注边界框的宽和高，
Figure FDA0002484229710000027
表示预测边界框的宽和高；
其中，预测置信度损失函数为：
Figure FDA0002484229710000028
式中，C表示置信度得分，
Figure FDA0002484229710000031
表示预测边界框与标注边界框相交的得分，λnoobj为置信度权重系数。
9.根据权利要求1所述的基于多尺度卷积神经网络的钢筋计数方法，其特征在于，所述非极大抑制算法的流程为：
S101、将所有候选边界框的置信度得分排序，设定一个置信度得分阈值，去掉置信度得分低于置信度得分阈值的候选边界框；
S102、取置信度得分最高的候选边界框；
S103、计算当前的候选边界框与排在其后面的所有候选边界框的交并比值；设定一个交并比阈值，将所有交并比值大于交并比阈值的候选边界框去除；
S104、取置信度得分次高的候选边界框，重复步骤103，直到没有可选候选边界框为止。
10.一种计算机存储介质，其特征在于：其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行如权利要求1-9中任一项所述的基于多尺度卷积神经网络的钢筋计数方法。
CN202010386609.2A 2020-05-09 2020-05-09 一种基于多尺度卷积神经网络的钢筋计数方法 Pending CN111639740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010386609.2A CN111639740A (zh) 2020-05-09 2020-05-09 一种基于多尺度卷积神经网络的钢筋计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010386609.2A CN111639740A (zh) 2020-05-09 2020-05-09 一种基于多尺度卷积神经网络的钢筋计数方法

Publications (1)

Publication Number Publication Date
CN111639740A true CN111639740A (zh) 2020-09-08

Family

ID=72330057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010386609.2A Pending CN111639740A (zh) 2020-05-09 2020-05-09 一种基于多尺度卷积神经网络的钢筋计数方法

Country Status (1)

Country Link
CN (1) CN111639740A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233114A (zh) * 2020-12-10 2021-01-15 江苏金恒信息科技股份有限公司 一种钢坯的重复计数判别方法及装置
CN112489008A (zh) * 2020-11-27 2021-03-12 上海建工四建集团有限公司 钢筋识别系统、钢筋识别方法、以及钢筋计数验收系统
CN112580542A (zh) * 2020-12-24 2021-03-30 杭州电子科技大学 一种基于目标检测的钢筋计数方法
CN113177432A (zh) * 2021-03-16 2021-07-27 重庆兆光科技股份有限公司 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质
CN113344877A (zh) * 2021-06-08 2021-09-03 武汉工程大学 基于卷积神经网络的钢筋模型训练方法及装置
CN113409246A (zh) * 2021-04-14 2021-09-17 宁波海棠信息技术有限公司 一种钢筋头计数、定位方法及系统
CN113674200A (zh) * 2021-07-08 2021-11-19 浙江大华技术股份有限公司 流水线上物品的计数方法及装置、计算机存储介质
CN113888513A (zh) * 2021-09-30 2022-01-04 电子科技大学 一种基于深度神经网络模型的钢筋检测计数方法
CN114694032A (zh) * 2022-06-02 2022-07-01 中建电子商务有限责任公司 一种基于密集目标检测的钢筋计数处理方法
CN117197878A (zh) * 2023-11-07 2023-12-08 中影年年(北京)文化传媒有限公司 基于机器学习的人物面部表情捕捉方法及系统
CN117292067A (zh) * 2023-11-24 2023-12-26 中影年年(北京)文化传媒有限公司 基于扫描实物获得的虚拟3d模型方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808143A (zh) * 2017-11-10 2018-03-16 西安电子科技大学 基于计算机视觉的动态手势识别方法
WO2018181868A1 (ja) * 2017-03-31 2018-10-04 オリンパス株式会社 情報処理装置、鉄筋計数装置、方法、及び、プログラム
CN109815950A (zh) * 2018-12-28 2019-05-28 汕头大学 一种基于深度卷积神经网络的钢筋端面识别方法
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法
CN110032954A (zh) * 2019-03-27 2019-07-19 成都数之联科技有限公司 一种钢筋智能识别与计数方法及系统
CN110264466A (zh) * 2019-06-28 2019-09-20 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
US20200005447A1 (en) * 2018-07-02 2020-01-02 Sri International Computer aided rebar measurement and inspection system
CN110866476A (zh) * 2019-11-06 2020-03-06 南京信息职业技术学院 一种基于自动标注和迁移学习的密集堆垛目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018181868A1 (ja) * 2017-03-31 2018-10-04 オリンパス株式会社 情報処理装置、鉄筋計数装置、方法、及び、プログラム
CN107808143A (zh) * 2017-11-10 2018-03-16 西安电子科技大学 基于计算机视觉的动态手势识别方法
US20200005447A1 (en) * 2018-07-02 2020-01-02 Sri International Computer aided rebar measurement and inspection system
CN109815950A (zh) * 2018-12-28 2019-05-28 汕头大学 一种基于深度卷积神经网络的钢筋端面识别方法
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法
CN110032954A (zh) * 2019-03-27 2019-07-19 成都数之联科技有限公司 一种钢筋智能识别与计数方法及系统
CN110264466A (zh) * 2019-06-28 2019-09-20 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110866476A (zh) * 2019-11-06 2020-03-06 南京信息职业技术学院 一种基于自动标注和迁移学习的密集堆垛目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周永章，张良均，张奥多，王俊: "《地球科学大数据挖掘与机器学习》", 30 September 2018, 中山大学出版社 *
石京磊: "基于卷积神经网络的钢筋计数算法研究", 《中国优秀硕士论文电子期刊.工程科技II辑》》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489008A (zh) * 2020-11-27 2021-03-12 上海建工四建集团有限公司 钢筋识别系统、钢筋识别方法、以及钢筋计数验收系统
CN112233114A (zh) * 2020-12-10 2021-01-15 江苏金恒信息科技股份有限公司 一种钢坯的重复计数判别方法及装置
CN112580542A (zh) * 2020-12-24 2021-03-30 杭州电子科技大学 一种基于目标检测的钢筋计数方法
CN113177432B (zh) * 2021-03-16 2023-08-29 重庆兆光科技股份有限公司 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质
CN113177432A (zh) * 2021-03-16 2021-07-27 重庆兆光科技股份有限公司 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质
CN113409246A (zh) * 2021-04-14 2021-09-17 宁波海棠信息技术有限公司 一种钢筋头计数、定位方法及系统
CN113344877A (zh) * 2021-06-08 2021-09-03 武汉工程大学 基于卷积神经网络的钢筋模型训练方法及装置
CN113674200A (zh) * 2021-07-08 2021-11-19 浙江大华技术股份有限公司 流水线上物品的计数方法及装置、计算机存储介质
CN113888513A (zh) * 2021-09-30 2022-01-04 电子科技大学 一种基于深度神经网络模型的钢筋检测计数方法
CN114694032A (zh) * 2022-06-02 2022-07-01 中建电子商务有限责任公司 一种基于密集目标检测的钢筋计数处理方法
CN117197878A (zh) * 2023-11-07 2023-12-08 中影年年(北京)文化传媒有限公司 基于机器学习的人物面部表情捕捉方法及系统
CN117197878B (zh) * 2023-11-07 2024-03-05 中影年年(北京)科技有限公司 基于机器学习的人物面部表情捕捉方法及系统
CN117292067A (zh) * 2023-11-24 2023-12-26 中影年年(北京)文化传媒有限公司 基于扫描实物获得的虚拟3d模型方法及系统
CN117292067B (zh) * 2023-11-24 2024-03-05 中影年年(北京)科技有限公司 基于扫描实物获得的虚拟3d模型方法及系统

Similar Documents

Publication Publication Date Title
CN111639740A (zh) 一种基于多尺度卷积神经网络的钢筋计数方法
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN110264468B (zh) 点云数据标注、分割模型确定、目标检测方法及相关设备
CN110032954A (zh) 一种钢筋智能识别与计数方法及系统
CN112767357A (zh) 一种基于Yolov4的混凝土结构病害检测方法
CN112232349A (zh) 模型训练方法、图像分割方法及装置
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN111798447B (zh) 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN109766873B (zh) 一种混合可变形卷积的行人再识别方法
CN106530232B (zh) 一种图像缩放方法
CN110321769A (zh) 一种多尺寸货架商品检测方法
CN110751195B (zh) 一种基于改进YOLOv3的细粒度图像分类方法
CN110135430A (zh) 一种基于深度神经网络的铝材模具id自动识别系统
CN115205264A (zh) 一种基于改进YOLOv4的高分辨率遥感船舶检测方法
CN113034444A (zh) 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法
CN115239644B (zh) 混凝土缺陷识别方法、装置、计算机设备和存储介质
CN117495735B (zh) 一种基于结构引导的建筑物立面纹理自动修复方法及系统
CN112633242B (zh) 一种基于改进UNet网络的港口矿堆分割及储量计算方法
CN107818338B (zh) 一种面向地图综合的建筑物群组模式识别的方法及系统
CN115393587A (zh) 基于融合卷积神经网络的高速公路沥青路面病害感知方法
CN113888513A (zh) 一种基于深度神经网络模型的钢筋检测计数方法
CN112396701A (zh) 卫星图像的处理方法、装置、电子设备和计算机存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN115511775A (zh) 一种基于语义分割的轻量型瓷砖表面缺陷检测方法
CN114140485A (zh) 一种三七主根切割轨迹生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200908