CN116030292A - 基于改进ResNext的混凝土表面粗糙度检测方法 - Google Patents

基于改进ResNext的混凝土表面粗糙度检测方法 Download PDF

Info

Publication number
CN116030292A
CN116030292A CN202211121252.0A CN202211121252A CN116030292A CN 116030292 A CN116030292 A CN 116030292A CN 202211121252 A CN202211121252 A CN 202211121252A CN 116030292 A CN116030292 A CN 116030292A
Authority
CN
China
Prior art keywords
roughness
model
resnext
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211121252.0A
Other languages
English (en)
Inventor
左健存
马佳军
李光洁
詹强
吴丹丹
常远培
薛颖
张宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Polytechnic University
Original Assignee
Shanghai Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Polytechnic University filed Critical Shanghai Polytechnic University
Priority to CN202211121252.0A priority Critical patent/CN116030292A/zh
Publication of CN116030292A publication Critical patent/CN116030292A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进ResNext的混凝土表面粗糙度检测方法;该方法包括以下步骤:(1)数据准备;(2)数据增强;(3)模型搭建:基于ResNext50网络、CBAM注意力机制模块和深度可分离卷积构建混凝土表面粗糙度的检测模型;(4)数据迁移;(5)模型训练:将数据增强后的图像数据、预训练的权重文件加载到建立的模型中,进行模型的训练;(6)粗糙度检测。本发明方法利用深度可分离卷积减少了网络的参数,减少了对计算机算力的消耗;通过迁移学习,提高了分类准确率,加快了学习效率;检测模型具有鲁棒性;实现操作简便,检测精度高。

Description

基于改进ResNext的混凝土表面粗糙度检测方法
技术领域
本发明涉及计算机图像处理领域,具体地说是一种基于改进ResNext和迁移学习的混凝土表面粗糙度检测方法。
背景技术
钢筋混凝土叠合板在装配式混凝土结构中应用较为广泛。叠合板作为预制构件在连接过程中存在大量的接缝,接缝的性能将对结构的整体安全产生重要的影响,而结合处表面的粗糙度对接缝性能的影响最为显著。为了确保装配式建筑的安全,有必要对钢筋混凝土表面粗糙度进行准确的测量。目前常见的混凝土表面粗糙度测量方法有:灌砂法、机械探针法、激光扫描发以及数字图像处理等方法。灌砂法易受天气的影响且只适合于水平的表面。机械探针法操作复杂并且无法现场操作。激光扫描法有着非接触式、精确性和数据可视化等优势,但设备昂贵同样更适合于实验室测量。随着计算机视觉的发展,通过数字图像处理法提取图像中的有效信息构建与粗糙度的关系函数实现有效测量。但异常环境和各种未知因素对测量准确率有较大影响。
发明内容
本发明的目的就是为了克服上述现有技术的缺陷,提供了一种基于改进ResNext和迁西学习的混凝土表面粗糙度检测方法,基于深度学习中的卷积神经网络自提取图像特征,通过注意力机制CBAM(Convolutional Block Attention Module)结合空间和通道信息进行自适应的特征优化,利用深度可分离卷积替换普通卷积减少网络的参数,减少了对计算机算力的消耗。通过数据量充足、容易获取标签且和该任务相似的任务来迁移学习,提高了分类准确率,加快了学习效率。本发明方法操作简便、对待测面无要求,具有鲁棒性。
本发明的目的可以通过以下技术方案来实现。
一种基于迁移学习、注意力机制和深度可分离卷积与ResNext融合的混凝土表面粗糙度的检测方法,包括如下步骤:
步骤1:数据准备
采集混凝土的粗糙面表面的图像,通过Freestyle 3D扫描设备获取粗糙面的真实粗糙度值,对采集的图片按照真实的粗糙度值标注为不同类别的样本,并按比例划分训练数据集和验证数据集;
步骤2:数据增强
为了让有限的数据产生更多的数据,在增加训练样本数量的同时,提升模型的鲁棒性。对原始图像进行旋转、高斯模糊、光照增强和削弱等。
步骤3:模型搭建
基于ResNext50网络、CBAM注意力机制模块和深度可分离卷积构建一个轻量级的混凝土表面粗糙度的检测模型;
步骤4:数据迁移
在步骤3搭建的改进ResNext网络中,利用样本数量庞大的混凝土裂缝数据集做预训练,得到模型权重文件;
步骤5:模型训练
将步骤2处理好的数据和步骤4预训练的权重文件加载到步骤3建立的模型中,并选择不同超参数进行模型的训练。
步骤6:粗糙度检测。
每一张图片通过步骤5训练得到的模型进行检测。模型的输出为全连接层+softmax层,可以通过最大概率获取预测的类别。同时,可以利用每个类别粗糙度的加权平均值来估计表面粗糙度。
进一步地,步骤1中,按照真实的粗糙度数值,将样本分为:一级、二级和三级,对应关系如下:粗糙度数值<1.5mm,一级,粗糙度特征为光滑;粗糙度数值≥1.5mm且<3.0mm,二级,粗糙度特征为粗糙;粗糙度数值≥3.0mm,三级,粗糙度特征为非常粗糙。
进一步地,步骤2的具体步骤包括:
对于数据增强中的旋转、高斯模糊就是通过将读取的图片转为二维的矩阵,通过矩阵间的卷积操作完成从原图像到目标图像的转变。而光照的增强和削弱则是利用亮通双边滤波提取光照变量,将RGB三通道彩色图像转换为HSV通道,并从V通道估计出光照分量g(i),通过改变光照分量实现增强与削弱:
Figure BDA0003846663690000021
Figure BDA0003846663690000022
Figure BDA0003846663690000023
Figure BDA0003846663690000024
其中,f(i)表示在i像素位置的V通道,空间核ω(i)是高斯的,
Figure BDA0003846663690000025
是单边高斯,θ、σ为各自的标准差,Ω范围是[-ω,+ω]2
进一步地,步骤3的具体步骤包括:
搭建的网络融合了ResNext、CBAM注意力机制和深度可分离卷积;其先将ResNext中的普通卷积替换为深度可分离卷积,以减少模型参数量,降低模型的复杂度,后将注意力机制CBAM模块,添加在ResNext网络的每个残差模块结构的卷积输出后,其中CBAM注意力机制模块由通道注意力模块和空间注意力模块组成,CBAM模块会沿着通道和空间两个独立的维度依次推断注意力图,然后将注意力图与输入特征图相乘以进行自适应特征优化。
进一步地,步骤5的具体步骤包括:
通过加载步骤4在大规模数据集上的训练得到的模型权重文件,这样就可以实现数据迁移,网络可以不用从头开始学习。在训练前设置各种超参数,主要包括:学习率,损失函数、批量样本数量和优化器等。
进一步地,步骤6的具体步骤包括:
在步骤5完成训练的基础上,进行粗糙度的检测。输入一张待测图片,图片经过网络的softmax层,通过最大概率获取预测的类别实现精确的粗糙度等级分类。通过网络输出的概率,除了可以预测粗糙度的类别。还可以利用每个类别粗糙度的加权平均值来估计表面粗糙度(Ra),计算过程如下:
Ra=P1·T1av+P2·T2av+…+Pn·Tnav
其中,Pn为图像预测为n级的概率,Tnav为粗糙面为n级的平均粗糙度。
和现有技术相比,本发明的有益效果如下:
1.相较于灌砂法、机械探针法检测混凝土表面粗糙度,本发明为非接触式,不会破坏待测。相较于3D激光扫描,本发明适用于大规模的工程测量。相较于数字图像测量,本发明抗干扰能力更强,模型鲁棒性好。
2.与普通的ResNext网络相比,本发明添加了CBAM注意力模块,结合了空间和通道信息进行自适应的特征优化,提高了检测性能。通过深度可分离卷积替换普通卷积,在保证的模型准确的前提下,降低了模型的参数。
3.通过在混凝土领域关联性较强的混凝土裂缝数据集上预训练,将大规模数据集学习到的知识迁移到表面粗糙度检测上。加快了模型的收敛速度并提高了模型的准确率。
4.除了实现对粗糙度等级的分类,本发明结合概率论等相关知识对粗糙度的具体数值进行了准确计算。
附图说明
图1是本发明的检测方法的流程示意图。
图2是本发明实施例中的原混凝土粗糙度面采集图像。
图3是本发明实施例中对原采样图片旋转、高斯模糊、光照削弱和增强后的图像。
图4是本发明实施例中的混凝土粗糙度检测模型框架。
图5是本发明实施例中采用的深度可分离卷积的示意图。
图6是本发明实施例中将CBAM注意力模块加入到block中的示意图。
图7是本发明实施例中采用CBAM注意力模块示意图。
图8是本发明实施例中模型中迁移学习与未迁移学习的准确率比较图。
图9是本发明实施例中模型中迁移学习与未迁移学习的Loss比较图。
图10是本发明实施例中检测结果的混淆矩阵图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明,但不应以此限制本发明的保护范围。
本发明中,提供一种基于迁移学习、注意力机制和深度可分离卷积与ResNext融合的混凝土表面粗糙度的检测方法,如图1所示。该方法包括以下步骤:
步骤1:数据准备
对粗糙面样本尺寸为100mm*100mm的表面,通过Freestyle 3D扫描设备和手持PDA设备采样。采集的图片如图2所示。对采集的图片按照真实的粗糙度值标注为光滑、粗糙和非常粗糙度三类样本,粗糙度值对应的粗糙度等级如表1所示。最后,以9:1的比例划分训练数据集和验证数据集。
表1粗糙度分级
Figure BDA0003846663690000041
步骤2:数据增强
为了让有限的数据产生更多的数据,在增加训练样本数量的同时,提升模型的鲁棒性。对原始图像进行旋转、高斯模糊、光照削弱和增强等数据增强操作,如图3所示。
步骤3:模型搭建
本发明的实例是基于ResNext网络、CBAM注意力机制模块和深度可分离卷积构件一个轻量级的混凝土表面粗糙度的检测模型,其整体结构如图4所示。ResNext网络结构级联具有相同拓扑结构的层来实现,每一层都执行拆分,转换,合并的策略。ResNext卷积层可以分为Conv1、Conv2、Conv3、Conv4、Conv5。Conv1为1个7*7的卷积层。Conv2首先通过3*3的最大池化,接着堆叠了3层的block。Conv3,Conv4,Conv5同样也是block的堆叠不过堆叠的个数分别为4,6,3。其中ResNext的block都是先通过1*1的卷积进行降维,再通过3*3的分组卷积提取特征,最后再通过1*1的卷积升维。再级联block过程中,当出现上一个block的输出与下一个block输入不一致需要添加一个shortcut分支实现输入和输出的一致。再卷积层后连接的是平均池化,全连接层和Softmax输出。
将ResNext中的普通的卷积替换为深度可分离卷积,深度可分离卷积由逐通道卷积(DW)和逐点卷积(PW)两个部分结合起来,用来提取特征,如图5所示。当输入特征图的尺寸为Dk*Dk*M,卷积核大小为DF*DF*M,数量为N。其中,Dk为输入图像特征高度和宽度,DF为卷积核的特征高度和框度,M为输入图像的通道数。对特征图空间位置上的每一个点做一次卷积,那么相对于普通卷积,深度可分离卷积的计算量与普通卷积的比值为
Figure BDA0003846663690000055
其参数数量和运算成本大大降低。对于ResNext每个残差模块中3×3的分组卷积层的分组数设置为上一层特征图的通道数,即将该层卷积改为深度可分离卷积。
再将注意力机制CBAM模块,添加在ResNext网络的每个残差模块结构的卷积输出后,如图6所示。CBAM是轻量级的卷积注意力模块由通道注意力模块和空间注意力模块组成,如图7所示。CBAM模块会沿着通道和空间两个独立的维度依次推断注意力图,然后将注意力图与输入特征图相乘以进行自适应特征优化。通道注意力机制首先通过平均池化和最大池化操作来聚合特征图的空间信息,生成两个的空间上下文描述符并描述符转发到共享网络,共享网络由一个隐藏层的多层感知器(MLP)组层。在将共享网络应用于每个描述符后,逐元素求和来合并输出特征向量。通道注意力机制计算过程如下:
Figure BDA0003846663690000051
其中,Mc(F)为通道注意力的输出,σ为sigmoid函数,
Figure BDA0003846663690000052
Figure BDA0003846663690000053
分别为空间上平均池化特征和最大池化特征,W1和W0是MLP的权重。
空间注意力机制沿着通道轴方向用两个池化操作聚合特征图的通道信息,生成两个2D图。通过标准卷积层将他们连接卷加,生成二维空间注意力机制。空间注意力机制的计算公式如下:
Figure BDA0003846663690000054
其中,Ms(F)为空间注意力的输出,σ为sigmoid函数,
Figure BDA0003846663690000061
Figure BDA0003846663690000062
分别为信道上平均池化特征和最大池化特征,f7*7为滤波器大小为7*7的卷积运算。
步骤4:数据迁移
迁移学习就是利用数据和领域之间的关联性,将知识迁移到新领域中,达到提高准确性或减少训练时间的目的。迁移学习可以通过从预训练模型转移来的参数初始化目标模型来帮助训练目标模型。在混凝土表面粗糙度的检测中,带有标注的图像数量较少,在如此小的数据集上训练深度模型是比较困难的。因此,本发明在改进的ResNext网络中对样本数据量庞大的且数据关联性较强的混凝土裂缝数据集中做预训练。进而在正式训练前利用预训练得到的权重文件对网络模型参数初始化,从而提高模型的收敛速度。
步骤5:模型训练
将步骤2处理好的数据作为输入、通过步骤4预训练后的权重文件对步骤3中网络模型参数做初始化。本发明实例中,将旋转、高斯模糊、光照削弱和增强等数据增强后的图像作为输入,通过改进ResNext网络在大规模混凝土裂缝数据集中预训练的权重文件重新初始化改进ResNext网络的模型参数,由于预训练的是6分类任务,因此在正式训练前需要对网络的全连接层的输出修改为3。在混凝土表面粗糙度的分类上,分类结果一共有3种,光滑、粗糙和非常粗糙。在模型训练前,相关超参数设定如表2所示。设定初始的学习率为0.0001,批量样本数量为16,损失函数为交叉熵损失函数,优化器为Adam。其中多分类交叉熵损失函数的计算公式如下:
Figure BDA0003846663690000063
其中,D为类别的数量,G为样本数量,yic为符号函数,如果样本i的真实类别等于c取1,否则取0,pic为观测样本i属于类别c的预测概率。
表2超参数选择
Figure BDA0003846663690000064
步骤6:粗糙度检测
每一张图片通过步骤5训练得到的模型进行检测。模型的最后一层为softmax层,可以通过最大概率获取预测的类别。同时,可以利用每个类别粗糙度的加权平均值来估计表面粗糙度。通过计算表面粗糙为T1等级的平均粗糙度为0.781mm,粗糙度为T2等级的平均粗糙度为2.389mm,粗糙度为T3等级的平均粗糙度为3.547mm,则表面粗糙度的可以计算可以表示为:
Ra=0.781·P1+2.389·P2+3.547·P3
在本发明实例中,训练样本共3247张图片,测试样本为355张图片。当训练未加载预训练模型,与普通的ResNext相比DSC-CBAM-ResNext的分类准确率更高,且模型的尺寸更小,如表3所示。
表3
Figure BDA0003846663690000071
在大规模的数据集上完成迁移学习,并将预训练模型加载到本发明模型中,发现分类准确率最高可达98.59%,提升了近3%,如图8所示,损失函数相较于未迁移学习的模型收敛速度更快,如图9所示。在355张测试图像中,共有350张图像的预测标签和真实标签一致,如图10所示,表示本发明的预测模型具有较高的准确率。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

Claims (7)

1.一种基于改进ResNext和迁移学习的混凝土表面粗糙度检测方法,其特征在于,包
括如下步骤:
步骤1:数据准备
采集混凝土的粗糙面表面的图像,通过Freestyle 3D扫描设备获取粗糙面的真实粗糙度值,对采集的图片按照真实的粗糙度值标注为不同类别的样本,并按比例划分训练数据集和验证数据集;
步骤2:数据增强
对原始图像进行旋转、高斯模糊、光照增强和削弱,进行数据增强,增加训练样本数量;
步骤3:模型搭建
基于ResNext50网络、CBAM注意力机制模块和深度可分离卷积构建一个轻量级的混凝土表面粗糙度的检测模型;
步骤4:数据迁移
在步骤3搭建的改进ResNext网络中,利用样本数量庞大的混凝土裂缝数据集做预训练,得到模型权重文件;
步骤5:模型训练
利用步骤2数据增强后的图像作为输入,通过步骤4预训练后的权重文件对步骤3中网络模型参数做初始化,接着选择不同超参数进行模型的训练;
步骤6:粗糙度检测
每一张图片通过步骤5训练得到的模型进行检测,模型的输出层为全连接层+softmax层,通过最大概率获取预测的类别;同时,利用每个类别粗糙度的加权平均值来估计表面粗糙度。
2.根据权利要求1所述的检测方法,其特征在于,步骤1中,按照真实的粗糙度数值,
将样本分为:一级、二级和三级,对应关系如下:粗糙度数值<1.5mm,一级,粗糙度特征为光滑;粗糙度数值≥1.5mm且<3.0mm,二级,粗糙度特征为粗糙;粗糙度数值≥3.0mm,三级,粗糙度特征为非常粗糙。
3.根据权利要求1所述的检测方法,其特征在于,步骤1中,将样本按照8:2-9:1的比例划分为训练数据集和验证数据集。
4.根据权利要求1所述的检测方法,其特征在于,步骤3中,构建混凝土表面粗糙度的检测模型的具体步骤包括:ResNext网络结构通过级联具有相同拓扑结构的层来实现,每一层都执行拆分,转换,合并的策略;将ResNext中的7*7的普通卷积和ResNext残差模块中的分组卷积分别替换为深度可分离卷积,以减少模型参数量,降低模型的复杂度;后将注意力机制CBAM模块,添加在ResNext网络的每个残差模块结构的卷积输出后,对ResNext网络进行自适应特征优化,得到融合了ResNext、CBAM注意力机制和深度可分离卷积的改进ResNext网络。
5.根据权利要求1所述的检测方法,其特征在于,步骤5中,超参数包括学习率、损失函数、批量样本数量和优化器。
6.根据权利要求5所述的检测方法,其特征在于,初始的学习率为0.0001,批量样本数量为16,损失函数为多分类交叉熵损失函数,优化器为Adam。
7.根据权利要求1所述的检测方法,其特征在于,步骤6中,利用每个类别粗糙度的加权平均值来估计表面粗糙度,计算过程如下:
其中,为图像预测为级的概率,为粗糙面为级的平均粗糙度。
CN202211121252.0A 2022-09-15 2022-09-15 基于改进ResNext的混凝土表面粗糙度检测方法 Pending CN116030292A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211121252.0A CN116030292A (zh) 2022-09-15 2022-09-15 基于改进ResNext的混凝土表面粗糙度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211121252.0A CN116030292A (zh) 2022-09-15 2022-09-15 基于改进ResNext的混凝土表面粗糙度检测方法

Publications (1)

Publication Number Publication Date
CN116030292A true CN116030292A (zh) 2023-04-28

Family

ID=86078344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211121252.0A Pending CN116030292A (zh) 2022-09-15 2022-09-15 基于改进ResNext的混凝土表面粗糙度检测方法

Country Status (1)

Country Link
CN (1) CN116030292A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740462A (zh) * 2023-07-05 2023-09-12 北京科技大学 一种基于特征增强的单分支粗糙度检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740462A (zh) * 2023-07-05 2023-09-12 北京科技大学 一种基于特征增强的单分支粗糙度检测方法
CN116740462B (zh) * 2023-07-05 2024-03-15 北京科技大学 一种基于特征增强的单分支粗糙度检测方法

Similar Documents

Publication Publication Date Title
CN110570396B (zh) 一种基于深度学习的工业产品缺陷检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111783590A (zh) 一种基于度量学习的多类别小目标检测方法
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
CN112818969B (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN111257341B (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN111062423B (zh) 基于自适应特征融合的点云图神经网络的点云分类方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN111223087B (zh) 一种基于生成对抗网络的桥梁裂缝自动检测方法
CN112862774A (zh) 一种遥感影像建筑物精确分割方法
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN114998566A (zh) 一种可解释的多尺度红外弱小目标检测网络设计方法
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN116030292A (zh) 基于改进ResNext的混凝土表面粗糙度检测方法
CN116703885A (zh) 一种基于Swin Transformer的表面缺陷检测方法及系统
CN114332075A (zh) 基于轻量化深度学习模型的结构缺陷快速识别与分类方法
CN116958553B (zh) 基于无参注意力和点级卷积的轻量级植物点云分割方法
CN111222576B (zh) 一种高分辨率遥感图像分类方法
CN116523888B (zh) 路面裂缝的检测方法、装置、设备及介质
CN116524341A (zh) 一种基于量化蒸馏的水下目标识别方法
CN116486231A (zh) 一种基于改进YOLOv5的混凝土裂缝检测方法
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN115797684A (zh) 一种基于上下文信息的红外小目标检测方法及系统
CN115223033A (zh) 一种合成孔径声呐图像目标分类方法及系统
CN112990336B (zh) 基于竞争注意力融合的深度三维点云分类网络构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination