CN112967249B - 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法 - Google Patents

一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法 Download PDF

Info

Publication number
CN112967249B
CN112967249B CN202110234516.2A CN202110234516A CN112967249B CN 112967249 B CN112967249 B CN 112967249B CN 202110234516 A CN202110234516 A CN 202110234516A CN 112967249 B CN112967249 B CN 112967249B
Authority
CN
China
Prior art keywords
image
deep learning
steel bar
semantic segmentation
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110234516.2A
Other languages
English (en)
Other versions
CN112967249A (zh
Inventor
李枝军
张辉
徐后生
刘武
徐秀丽
李雪红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luqiao Nanjing Engineering General Corp
Nanjing Tech University
Original Assignee
Luqiao Nanjing Engineering General Corp
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luqiao Nanjing Engineering General Corp, Nanjing Tech University filed Critical Luqiao Nanjing Engineering General Corp
Priority to CN202110234516.2A priority Critical patent/CN112967249B/zh
Publication of CN112967249A publication Critical patent/CN112967249A/zh
Application granted granted Critical
Publication of CN112967249B publication Critical patent/CN112967249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法，该方法通过TensorFlow框架构建SegNet语义分割深度学习网络，并对其进行训练，进而得到语义分割模型；通过模型对测试集中的图像进行检测，输出要素分割的图像；对要素分割的图像进行边缘检测处理，得到钢筋孔和底部界面的轮廓，并且进行轮廓的查找和绘制；最后对轮廓进行拟合，计算轮廓的长度，获得像素尺寸，并根据比例系数确定制造尺寸。本发明能够适用于外界环境复杂条件下的预制墩柱底部截面钢筋孔的检测，能够较好地对图像目标进行分割，在外界复杂环境下都能达到可接受的测量精度，且优于传统的边缘检测方法。

Description

一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法
技术领域
本发明涉及深度学习领域，特别是涉及一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法。
背景技术
装配式桥梁对我国社会经济的发展有着十分重要的影响，因此装配式桥梁的施工质量一直以来都备受关注。而作为装配式工程施工质量的基础和保障，预制构件的外观扫描和误差测量工作是十分重要的。
装配式桥梁预制构件的检测工作占有较大的比重，需要用相应的检测技术对其加工精度进行检测和控制。装配式桥梁在吊装施工前应做好预制构件检测工作，在确保构件尺寸符合要求后方可进行后续的吊装施工。传统的预制构件测量技术已经完全无法满足装配式工程测量的基本需求，新的技术手段在实际测量过程中不断被开发和应用，使用现代化技术手段以及设备进行测量工作已经是常态，目前使用激光扫描技术进行构件检测时，三维激光扫描测量仪成本高，扫描点云处理时间长，且当扫描测量仪一旦精准度不准确之后，重新校准精度比较困难。往往检测耗时较长，且需要特定的环境进行点云扫描。
因此开发一种灵活快速的预制构件吊装关键部位的检测方法尤为重要，利用机器视觉和深度学习网络架构，来扫描预制桥墩底部截面获取关键部位的图像信息，并进行处理。对桥梁的装配面进行图像采集、识别分类、误差测量与重构。可以便捷地提供检测数据，节约时间和费用成本。具有非接触性、实时性、灵活性、精确性等优点。本发明针对上述问题，研发了一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法。为解决上述问题提供技术支持。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法，该方法能够适应环境变化，实时的，有效的解决预制装配式桥梁桥墩钢筋孔制造误差的识别和测量。
为了达到上述目的，本发明基于以下技术方案来实现：
一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法，包括如下步骤：
步骤S1、获取预制桥墩底部混凝土截面图像和预制钢筋孔图像，形成数据集，并且按照一定比例，将所述数据集划分成训练集和测试集；
步骤S2、对所述训练集中的图像进行标注处理；
步骤S3、对所述数据集中的图像进行预处理；
步骤S4、通过TensorFlow框架构建SegNet语义分割深度学习网络，并且将训练集中的图像作为所述SegNet语义分割深度学习网络的输入，对其进行训练，获得权重参数，进而得到语义分割模型；
步骤S5、通过所述语义分割模型对所述测试集中的图像进行检测，输出要素分割的图像；
步骤S6、对步骤S5得到要素分割的图像进行边缘检测处理，得到钢筋孔和底部界面的轮廓，并且进行轮廓的查找和绘制；
步骤S7、对轮廓进行拟合，计算轮廓的长度，获得像素尺寸，并根据比例系数确定制造尺寸。
进一步的，通过工业相机拍摄预制桥墩底部混凝土进而获取预制桥墩底部混凝土截面图像和预制钢筋孔图像。
进一步的，所述步骤S2具体包括：
选取Labelme作标注工具，将所述训练集图像上的钢筋孔标注成绿色，混凝土截面标注成红色，背景标注成黑色；
然后将绿色标签的灰度值转化为1，将红色标签的灰度值转化为0，将黑色标签的灰度值转化为2。
进一步的，所述步骤S3具体包括：
对数据集中的图像进行裁剪处理，裁剪图像中周边部分环境部分，得到850像素*850像素大小的图像，再对该图像进行数据增强的操作；
然后将数据集转化为灰度图，尺寸转化为800像素*800像素；
最后将数据集中图像进行局部归一化处理以及打乱处理，得到经过预处理后的数据集。
进一步的，所述步骤S4包括：
根据标签中的三个类别，将所述SegNet语义分割深度学习网络中的多分类情况改为三分类；
在训练过程中，采用PReLU激活函数和一种鲁棒性的权重初始化的方法，对解码器和编码器进行权值初始化操作；
在训练过程中，采用梯度下降算法对所述SegNet语义分割深度学习网络进行训练，学习率设为0.1，冲量设为0.9；
采用交叉熵损失函数，对一个batch中的每张图片的每个像素点的loss求和；采用中位数频率平衡方法方法优化训练过程；在所述SegNet语义分割深度学习网络中所有的卷积层与ReLU激活函数之间添加BN层。
进一步的，所述步骤S4还包括：当给所述SegNet语义分割深度学习网络输入了至少10000条训练集的图像时，训练完成，将训练好的卷积层、池化层、反卷积层、反池化层的权重参数保留为ckpt文件，最后的全连接层的权重置为随机数。
进一步的，所述步骤S5包括：
加载步骤S4中获得的ckpt文件，运行所述语义分割模型对所述测试集中的图像进行检测，得到要素分割的图像。
进一步的，所述步骤S6包括：
通过OpenCV中的cv2.Canny()函数来实现语义分割后的图像的边缘检测，设置两个阈值，其中一个为高阈值maxVal，另一个为低阈值minVal；
根据当前边缘像素的梯度值与这两个阈值之间的关系，判断边缘的属性，从而得到图像的边缘信息。
进一步的，所述步骤S6还包括：
通过OpenCV中的cv2.findContours()函数查找图像的轮廓，并根据参数返回特定表示方式的轮廓；
通过cv2.drawContours()函数将查找到的轮廓绘制到图像上，将钢筋孔的轮廓和桥墩底部截面轮廓分别绘制出来。
进一步的，所述步骤S7包括：
通过cv2.arcLength()函数计算各个轮廓的长度，使用判断结构语句“ifcv2.arcLength(contours[i],True)>cntLenAvr:”对各个轮廓的长度进行判断，并根据判断结果决定是否显示对应的轮廓；
根据显示的各个钢筋孔轮廓的长度和墩柱底部界面的轮廓长度，通过比例系数将像素尺寸转换为制造尺寸。
本发明的有益效果是：
本发明能够适用于外界环境复杂条件下的预制墩柱底部截面钢筋孔的检测；传统的图像处理方法容易受到光照条件变化、背景干扰等外部环境变化的影响，而对于本发明的基于深度学习SegNet语义分割网络检测方法来说，在预制墩柱钢筋孔图像的识别和检测过程中无需进行各种图像效果处理，能够较好地对图像目标进行分割，在外界复杂环境下都能达到可接受的测量精度，且优于传统的边缘检测方法。
附图说明
图1为本发明实施例的整体流程示意图。
图2为本发明实施例的SegNet模型方法流程示意图。
图3为本发明实施例的训练集的原始图像。
图4为本发明实施例的数据集的标注图。
图5为本发明实施例的神经网络的检测效果图
图6为本发明实施例的边缘检测效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1-图6，本实施例提供一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法，包括如下步骤：
步骤S1、获取预制桥墩底部混凝土截面图像和预制钢筋孔图像，形成数据集，并且按照一定比例，将所述数据集划分成训练集和测试集；
具体的说，通过防畸变工业相机拍摄预制桥墩底部混凝土进而获取预制桥墩底部混凝土截面图像和预制钢筋孔图像，原始获得图像分辨率为1920像素*1200像素。
步骤S2、对所述训练集中的图像进行标注处理；
具体的说，步骤S2包括：
因为预制构件底部截面和钢筋孔边界简单，标注边界类型属于矩形和圆形等基础几何形状，因此选取Labelme作为样本的标注工具。Labelme通常标注多种类别并且边界条件复杂性低的样本。图像数据集以灰度值作为标签，将不同的灰度值作为背景区域标签，多种目标类别则可以使用多种灰度值。为了在可视化标注结果时人工检验方便，其中预制墩柱底部截面图像数据集中将钢筋孔标注成绿色，混凝土截面标注成红色，背景标注成黑色，标注完成后，再将人工目视的标注结果覆盖到对应的数据原图，来检验人工目视标注的准确性，当发现把标注的结果映射到数据源图时重合区域过低，应当把标注不够精确的区域进行二次修正。对不同的标签生成的不同灰度值，在进入卷积神经网络之前为了使训练过程简化，采用Python语言将图像对应的标签灰度值转换灰度值为0作为board(板)的标签、灰度值1作为hole(洞)的标签，灰度值2作为other(其他背景)的标签。
步骤S3、对所述数据集中的图像进行预处理；
具体的说，步骤S3包括：
对数据集中的图像进行裁剪处理，裁剪图像中周边部分环境部分，得到850像素*850像素大小的图像，再对该图像进行数据增强的操作；
然后将数据集转化为灰度图，尺寸转化为800像素*800像素；
最后将数据集中图像进行局部归一化处理以及打乱处理，得到经过预处理后的数据集。
更具体的说，数据集由防畸变工业相机拍摄，原像素为1920像素*1200像素，使用高清的图像可以保证数据的准确性。但是由于工业相机采集的原始图像样本过大，且图像中含有大量环境因素导致目标区域和背景区域的占比较低，如果直接应用于深度学习卷积神经网络的训练，对硬件要求非常高，并且会使得深度学习模型过度的学习背景区域的特征，使模型在寻找最优参数解的时候陷入局部最优的情况，不适用于神经网络的训练，因此使用python代码裁剪为像素长宽都为800的图像，裁剪时尽可能保留预制墩柱底部截面的图像，采用数据增强的方式来增加样本数量，采用旋转和翻转并结合模糊和添加噪声等方式提高样本数量，防止因数据量太小造成的过拟合，最终得到合适的450张图像。并按10：1的比例分为训练集和测试集。
步骤S4、通过TensorFlow框架构建SegNet语义分割深度学习网络，并且将训练集中的图像作为所述SegNet语义分割深度学习网络的输入，对其进行训练，获得权重参数，进而得到语义分割模型；
具体的说，步骤S4包括：根据标签中的三个类别，将SegNet语义分割深度学习网络的多种类型的分割改为对数据集中三种类型的分割，将多分类情况改为三分类情况。
利用labelme进行图片的标注，获得标注好的数据集后，使之成为只有0，1，2的单通道标签，而后用于送入训练。
在对数据集进行训练之前，先对其做local contrast normalization处理，训练过程encoder和decoder的权值初始化均采用Delving Deep into Rectifiers:SurpassingHuman-Level Performance on ImageNet Classification中的方法，也即是PReLU激活函数和一种鲁棒性的权重初始化方法。
更具体的说，采用SGD方法进行训练，learing rate为0.1以及0.9的momentum。并对训练集做shuffle处理，使用softmax cross-entropy loss计算一个mini-batch中的所有像素的loss和；添加了median frequency balancing(中位数频率平衡方法)方法优化训练过程，该方法即是对每一个类别添加一个权值，对于较大的类别(other，board)设置一个较小的权值，对于物体较小的类别(hole)，设置一个较大的权值；为了防止过拟合，在SegNet模型中将所有的卷积层与ReLU激活函数之间添加BN层。
最后，数据集进行上万步的训练后，将训练好的卷积层、池化层、反卷积层、反池化层的权重参数保留为ckpt文件。最后的全连接层即分类层的权重置为随机数。所有的参数在自己制作数据集训练20000次后得到最终的更新，最终实现对数据集标签提及的3种分类目标分类，其中，预制桥墩钢筋孔的实验数据集均训练150个epoch，在其训练过程中当损失值在验证集上得到最佳值时则保存参数，在之后时期的训练过程中如果没有取得更好效果便不再保存参数，即不需要保存所有训练参数。
步骤S5、通过所述语义分割模型对所述测试集中的图像进行检测，输出要素分割的图像；
具体的说，步骤S5包括：配置好服务器，需要的软件支持有mysql数据库，从数据库中选取需要进行语义分割的原始图片。设置输出的分割结果图片路径以及是否需要显示，如果不需要显示则默认保存到数据库。
更具体的说，准备好语义分割算法的模型文件，选取之前训练效果较为符合预设场景的ckpt文件加载权重等。点击“开始进行语义分割”，运行语义分割算法检测程序查看图片检测效果，查看单张测试的交并比以及准确率计算结果。
步骤S6、对步骤S5得到要素分割的图像进行边缘检测处理，得到钢筋孔和底部界面的轮廓，并且进行轮廓的查找和绘制；
具体的说，步骤S5包括：通过OpenCV提供的cv2.Canny()函数来实现语义分割后的图像的边缘检测，设置两个阈值，其中一个为高阈值maxVal，另一个为低阈值minVal。根据当前边缘像素的梯度值与这两个阈值之间的关系，判断边缘的属性。从而得到图像的边缘信息。
更具体的说，通过OpenCV提供的cv2.findContours()函数查找图像的轮廓，并根据参数返回特定表示方式的轮廓。通过cv2.drawContours()函数将查找到的轮廓绘制到图像上，将钢筋孔的轮廓和桥墩底部截面轮廓分别绘制出来。
步骤S7、对轮廓进行拟合，计算轮廓的长度，获得像素尺寸，并根据比例系数确定制造尺寸。
具体的说，步骤S7包括：通过cv2.arcLength()函数计算各个轮廓的长度，使用判断结构语句“if cv2.arcLength(contours[i],True)>cntLenAvr:”对各个轮廓的长度进行判断，并根据判断结果决定是否显示对应的轮廓。运行程序后，可以显示各个钢筋孔轮廓的长度和墩柱底部界面的轮廓长度。最后通过比例系数将像素尺寸转换为制造尺寸。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法，其特征在于，包括如下步骤：
步骤S1、获取预制桥墩底部混凝土截面图像和预制钢筋孔图像，形成数据集，并且按照一定比例，将所述数据集划分成训练集和测试集；
步骤S2、对所述训练集中的图像进行标注处理；选取Labelme作标注工具，将所述训练集图像上的钢筋孔hole标注成绿色，混凝土截面board标注成红色，背景other标注成黑色；然后将绿色标签的灰度值转化为1，将红色标签的灰度值转化为0，将黑色标签的灰度值转化为2；
步骤S3、对所述数据集中的图像进行预处理；对数据集中的图像进行裁剪处理，裁剪图像中周边部分环境部分，得到850像素*850像素大小的图像，再对该图像进行数据增强的操作；然后将数据集转化为灰度图，尺寸转化为800像素*800像素；最后将数据集中图像进行局部归一化处理以及打乱处理，得到经过预处理后的数据集；
步骤S4、通过TensorFlow框架构建SegNet语义分割深度学习网络，并且将训练集中的图像作为所述SegNet语义分割深度学习网络的输入，对其进行训练，获得权重参数，进而得到语义分割模型；根据标签中的三个类别，将所述SegNet语义分割深度学习网络中的多分类情况改为三分类；在训练过程中，采用PReLU激活函数和一种鲁棒性的权重初始化的方法，对解码器和编码器进行权值初始化操作；在训练过程中，采用梯度下降算法对所述SegNet语义分割深度学习网络进行训练，学习率设为0.1，冲量设为0.9；采用交叉熵损失函数，对一个batch中的每张图片的每个像素点的loss求和；采用中位数频率平衡方法优化训练过程，该方法即是对每一个类别添加一个权值，对于类别other和board设置第一个权值，对于类别hole，设置第二个权值，第一个权值小于第二个权值；在所述SegNet语义分割深度学习网络中所有的卷积层与ReLU激活函数之间添加BN层；
步骤S5、通过所述语义分割模型对所述测试集中的图像进行检测，输出要素分割的图像；
步骤S6、对步骤S5得到要素分割的图像进行边缘检测处理，得到钢筋孔和底部界面的轮廓，并且进行轮廓的查找和绘制；通过OpenCV中的cv2.Canny()函数来实现语义分割后的图像的边缘检测，设置两个阈值，其中一个为高阈值maxVal，另一个为低阈值minVal；根据当前边缘像素的梯度值与这两个阈值之间的关系，判断边缘的属性，从而得到图像的边缘信息；通过OpenCV中的cv2.findContours()函数查找图像的轮廓，并根据参数返回特定表示方式的轮廓；通过cv2.drawContours()函数将查找到的轮廓绘制到图像上，将钢筋孔的轮廓和桥墩底部截面轮廓分别绘制出来；
步骤S7、对轮廓进行拟合，计算轮廓的长度，获得像素尺寸，并根据比例系数确定制造尺寸。
2.根据权利要求1所述的一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法，其特征在于，通过工业相机拍摄预制桥墩底部混凝土进而获取预制桥墩底部混凝土截面图像和预制钢筋孔图像。
3.根据权利要求1所述的一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法，其特征在于，所述步骤S4还包括：当给所述SegNet语义分割深度学习网络输入了至少10000条训练集的图像时，训练完成，将训练好的卷积层、池化层、反卷积层、反池化层的权重参数保留为ckpt文件，最后的全连接层的权重置为随机数。
4.根据权利要求1所述的一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法，其特征在于，所述步骤S5包括：加载步骤S4中获得的ckpt文件，运行所述语义分割模型对所述测试集中的图像进行检测，得到要素分割的图像。
5.根据权利要求1所述的一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法，其特征在于，所述步骤S7包括：通过cv2.arcLength()函数计算各个轮廓的长度，使用判断结构语句“ifcv2.arcLength(contours[i],True)>cntLenAvr:”对各个轮廓的长度进行判断，并根据判断结果决定是否显示对应的轮廓；根据显示的各个钢筋孔轮廓的长度和墩柱底部界面的轮廓长度，通过比例系数将像素尺寸转换为制造尺寸。
CN202110234516.2A 2021-03-03 2021-03-03 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法 Active CN112967249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110234516.2A CN112967249B (zh) 2021-03-03 2021-03-03 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110234516.2A CN112967249B (zh) 2021-03-03 2021-03-03 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法

Publications (2)

Publication Number Publication Date
CN112967249A CN112967249A (zh) 2021-06-15
CN112967249B true CN112967249B (zh) 2023-04-07

Family

ID=76276615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110234516.2A Active CN112967249B (zh) 2021-03-03 2021-03-03 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法

Country Status (1)

Country Link
CN (1) CN112967249B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935086B (zh) * 2021-09-17 2022-08-02 哈尔滨工业大学 一种基于计算机视觉和深度学习的结构智能设计方法
CN115238368B (zh) * 2022-09-21 2022-12-16 中南大学 基于计算机视觉的桥墩图纸识别自动化建模方法和介质
CN115982864B (zh) * 2023-03-21 2023-06-27 南京航空航天大学 一种大型复合材料构件装配协调边界特征的重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480644A (zh) * 2017-08-21 2017-12-15 吉林大学 眼底图像中视盘的定位与分割方法、装置和存储介质
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN111602139A (zh) * 2019-05-31 2020-08-28 深圳市大疆创新科技有限公司 图像处理方法、装置、控制终端及可移动设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102538672B (zh) * 2011-12-16 2015-05-20 中北大学 一种基于cmos机器视觉零件尺寸测量系统及测量检验方法
CN104608235B (zh) * 2015-01-30 2017-05-03 袁建华 固定组件及使用其制作混凝土预制件的施工方法
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
CN108716890A (zh) * 2018-08-17 2018-10-30 苏州富鑫林光电科技有限公司 一种基于机器视觉的高精度尺寸检测方法
CN109344900B (zh) * 2018-09-30 2022-02-08 中民筑友科技投资有限公司 一种构件识别方法、装置、设备及计算机可读存储介质
CN110322442A (zh) * 2019-07-11 2019-10-11 福州大学 一种基于SegNet的建筑物表面裂纹检测方法
CN111292330A (zh) * 2020-02-07 2020-06-16 北京工业大学 基于编解码器的图像语义分割方法及装置
CN111507989A (zh) * 2020-04-15 2020-08-07 上海眼控科技股份有限公司 语义分割模型的训练生成方法、车辆外观检测方法、装置
CN111948076B (zh) * 2020-08-03 2021-02-02 昆山市建设工程质量检测中心 一种套筒注浆孔和出浆孔内灌浆料表面硬度的测试方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480644A (zh) * 2017-08-21 2017-12-15 吉林大学 眼底图像中视盘的定位与分割方法、装置和存储介质
CN111602139A (zh) * 2019-05-31 2020-08-28 深圳市大疆创新科技有限公司 图像处理方法、装置、控制终端及可移动设备
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN112967249A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112967249B (zh) 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
KR20230124713A (ko) 결함 검출 방법, 장치 및 시스템
CN112884747B (zh) 一种融合循环残差卷积与上下文提取器网络的自动桥梁裂缝检测系统
CN112465748A (zh) 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN110910368B (zh) 基于语义分割的注射器缺陷检测方法
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN113627257A (zh) 检测方法、检测系统、设备和存储介质
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN115147363A (zh) 一种基于深度学习算法的影像缺陷检测和分类方法及系统
CN108645490A (zh) 基于图像处理技术的冷水水表视觉检测系统及检测方法
CN114897802A (zh) 一种基于改进Faster RCNN算法的金属表面缺陷检测方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
Bruno et al. Decay detection in historic buildings through image-based deep learning
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
CN116433661B (zh) 多任务学习的半导体晶圆检测方法、装置、设备及介质
CN116071437A (zh) 水工隧洞表观缺陷空间标定方法
CN116977257A (zh) 缺陷检测方法、装置、电子设备、存储介质及程序产品
CN114998222A (zh) 汽车差速器壳体表面检测方法、电子设备及介质
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN113870328A (zh) 一种液体异物视觉检测方法及系统
CN114548250A (zh) 一种基于数据分析的手机外观检测方法及装置
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN111369508A (zh) 一种金属三维点阵结构的缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210615

Assignee: Nanjing Zhipu Engineering Technology Co.,Ltd.

Assignor: NANJING University OF TECHNOLOGY

Contract record no.: X2023980052312

Denomination of invention: An Intelligent Recognition Method for Manufacturing Errors of Reinforcement Holes in Prefabricated Bridge Piers Based on Deep Learning

Granted publication date: 20230407

License type: Common License

Record date: 20231215

EE01 Entry into force of recordation of patent licensing contract