CN116612082A - 一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法 - Google Patents

一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法 Download PDF

Info

Publication number
CN116612082A
CN116612082A CN202310562761.5A CN202310562761A CN116612082A CN 116612082 A CN116612082 A CN 116612082A CN 202310562761 A CN202310562761 A CN 202310562761A CN 116612082 A CN116612082 A CN 116612082A
Authority
CN
China
Prior art keywords
feature map
pooling
characteristic
module
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310562761.5A
Other languages
English (en)
Inventor
蒋仕新
邹小雪
黄蝶
杨建喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jiaotong University
Original Assignee
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jiaotong University filed Critical Chongqing Jiaotong University
Priority to CN202310562761.5A priority Critical patent/CN116612082A/zh
Publication of CN116612082A publication Critical patent/CN116612082A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及桥梁裂缝检测技术领域,尤其涉及一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法。本发明包括以下步骤:S1:基于编码器‑解码器结构,建立低级特征层和高级特征层之间的关系,形成高低层特征关联模块;S2:采用自适应最大池化取代高效注意力机制模块中的全局平均池化,形成注意力机制处理模块;S3:将最大池化和平均池化相结合,形成池化叠加模块。本发明通过基于编码器‑解码器结构,建立低级特征层和高级特征层之间的关系,形成高低层特征关联模块,能够很好地连接上下层之间的特征提取图,弥补上层特征图在池化过程中丢失的部分特征,以此达到提高细小分支裂缝特征信息的分割效果。

Description

一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法
技术领域
本发明涉及桥梁裂缝检测技术领域,具体为一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法。
背景技术
桥梁作为连接两跨度较大位置点的重要载体,在经过长期的日晒雨淋和负载作业中,所产生的内部应力也会沿着桥梁结构传递到一些薄弱部位,致使该位置结构表面易存在裂缝的产生和发展。而不同走向的表面裂缝对桥梁结构的危害程度也有所不同,若表面裂缝的延伸走向与结构承载面相垂直时,危害影响最大。
经工程实践和理论分析表明,大部分在役桥梁都是带裂缝工作的,而桥梁裂缝带来的潜在危害不容小觑。一旦混凝土桥梁出现较为严重的裂缝,外界空气和有害介质会很容易渗透到混凝土内部经过化学反应产生碳酸盐,造成其中钢筋的碱度环境降低,表面的纯化膜遭受破坏后更易产生锈蚀,此外,混凝土碳化也会加剧收缩开裂,对混凝土桥梁的安全使用产生严重危害。作为桥梁建设中最常见的病害特征,极为细小的裂缝(小于0.05mm)一般对结构性能影响不大,可以允许其存在;而较大裂缝则可能在荷载或外界物理、化学因素的作用下,会不断产生并扩展,形成贯穿缝、深缝,间接甚至直接影响梁体结构的使用寿命和安全性能;若裂缝宽度达到0.3mm以上,则会直接破坏结构的整体性,引起混凝土碳化、保护层剥落和钢筋腐蚀,在桥梁内部形成力学间断面,使桥梁承载能力大为降低,严重时甚至发生垮塌事故,危害结构的正常使用。因此,桥梁建筑损伤与其表面裂缝的产生和发展有很大关系。
为了及时发现裂缝,并采取补救措施以消除安全隐患,通常采用人工巡检和手工标记的方式,表面裂缝由经验丰富的检验人员手工测量并用肉眼观察做记录。但该检测方式机动性差、危险性大、效率低,而且由于人工标记具有一定的主观性,检测精度较依赖于专家的经验知识,而经验在定量分析中缺乏客观性。
基于数字图像处理技术以及边缘检测算法的裂缝检测方法虽然相对于人工检测可以在一定程度上提高检测效率,但其处理模式单一,且没有考虑到实际环境下的路面噪声情况,其检测准确性不高。
基于深度学习检测算法的精度已经超过了传统检测算法,但这些算法没有将网络的注意力集中在裂缝信息上,而且没有考虑局部和全局信息的损失,导致预测结果中出现细小分支裂缝像素信息严重丢失的问题,降低了裂缝的检测精度。
网状裂缝是一种特殊的裂缝图像特征,它以细的、不规则分布的黑线形式出现,对于网状裂缝而言,它具有更多的分支,且大部分分支的宽度和长度都偏小,并包含了更多的面积,不仅肉眼难以准确检测,而且目前的检测方法也难以达到很好的检测效果,这是网状裂缝检测的困难所在;基于此,提供一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法。
发明内容
本发明的目的在于提供一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法,能够连接上下层之间的特征提取图,弥补上层特征图在池化过程中丢失的部分特征,使网络能够更多地集中在小裂缝的特征信息上,提升背景像素与小裂缝像素的区分能力,实现裂缝像素信息的连续叠加,获得详细的细小分支裂缝信息,从而优化了网状裂缝中细小分支裂缝检测欠缺的问题。
为实现上述目的,本发明提供如下技术方案:一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法,包括以下步骤:
S1:基于编码器-解码器结构,建立低级特征层和高级特征层之间的关系,形成高低层特征关联模块;
S2:采用自适应最大池化取代高效注意力机制模块(ECA)中的全局平均池化,形成注意力机制处理模块;
S3:将最大池化和平均池化相结合,形成池化叠加模块。
进一步的,所述S1中高低层特征关联模块的处理过程如下:
a.将低层特征图记为Fli,高层特征图记为Fhi
b.将低层特征图Fli经过最大池化、卷积核为1的卷积计算、激活函数运算得到特征图Fls
c.将特征图Fls与输入特征图Fl进行相乘操作,得到特征图Flo
d.将高层特征图Fhi经过上采样恢复特征信息的操作生成Fh,并通过平均池化、卷积计算、激活计算得到特征图Fhs
e.将特征图Fhs与特征图Fh通过乘积融合生成特征图Fho,并将特征图Flo和特征图Fho通过矩阵加和运算生成高低层特征关联模块的输出特征图Fo
进一步的,所述S2中注意力机制处理模块的处理过程如下:
a.将特征图Fei通过最大池化计算得到特征图Fem
b.对特征图Fem进行卷积核为1的卷积操作和Sigmoid激活函数处理,得到特征图Fes
c.将特征图Fes与特征图Fei相乘,生成最终的输出特征图Feo
进一步的,所述S3中池化叠加模块的处理过程如下:
a.将编码结构中经过最后一次下采样操作的特征图作为池化叠加模块的输入特征图Fmi进行池化大小为2,步长为2的最大池化计算和平均池化计算,生成对应的特征图Fmax和特征图Fmean
b.特征图Fmax经过注意力机制处理模块处理生成特征图Fme
c.特征图Fmean和特征图Fme进行特征信息相加操作得到最终输出特征图F
mo
与现有技术相比,本发明的有益效果是:
1、本发明通过基于编码器-解码器结构,建立低级特征层和高级特征层之间的关系,形成高低层特征关联模块,能够很好地连接上下层之间的特征提取图,弥补上层特征图在池化过程中丢失的部分特征,以此达到提高细小分支裂缝特征信息的分割效果。
2、本发明通过采用自适应最大池化将高效注意力机制模块进行优化,使网络能够更多地集中在小裂缝的特征信息上,提升背景像素与小裂缝像素的区分能力。
3、本发明通过池化叠加模块的设计实现裂缝像素信息的连续叠加,获得详细的细小分支裂缝信息,从而优化了网状裂缝中细小分支裂缝检测欠缺的问题。
附图说明
图1为本发明的流程示意图;
图2为本发明的高低层特征关联模块示意图;
图3为本发明的注意力机制处理模块示意图;
图4为本发明的池化叠加模块示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请一并参阅图1-图4,一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法,具体包括以下步骤:
S1:基于编码器-解码器结构,建立低级特征层和高级特征层之间的关系,形成高低层特征关联模块(又称HL),以此来提高网络对细小裂缝的提取能力;
其中,高低层特征关联模块的处理过程如下:
a.将低层特征图记为Fli,高层特征图记为Fhi;进而经过两步计算得到最终的输出特征图Fo
b.将低层特征图Fli经过最大池化、卷积核为1的卷积计算、激活函数运算得到特征图Fls
c.将特征图Fls与输入特征图Fl进行相乘操作,得到特征图Flo
d.将高层特征图Fhi经过上采样恢复特征信息的操作生成Fh,并通过平均池化、卷积计算、激活计算得到特征图Fhs
e.将特征图Fhs与特征图Fh通过乘积融合生成特征图Fho,并将特征图Flo和特征图Fho通过矩阵加和运算生成高低层特征关联模块的输出特征图Fo
通过将高层特征图和低层特征图用特定的注意力机制进行加权,将低层特征图记为Fli,高层特征图记为Fhi,经过两步计算得到最终的输出特征图Fo
首先,由于编码器-解码器结构网络中的部分编码器部分会经过多次池化操作,该操作会缩小特征图的尺寸并提取抽象信息或边缘信息,导致许多细节特征信息和与背景区分度不高的裂缝特征信息丢失,而通过基于编码器-解码器结构,建立低级特征层和高级特征层之间的关系,形成高低层特征关联模块,能够很好地连接上下层之间的特征提取图,弥补上层特征图在池化过程中丢失的部分特征,以此达到提高细小分支裂缝特征信息的分割效果。
S2:采用自适应最大池化取代高效注意力机制模块(ECA)中的全局平均池化,形成注意力机制处理模块(又称MECA),进而更好地抑制与裂缝像素相似的背景像素,以获得更好的分割效果;
在此,注意力机制处理模块的处理过程如下:
a.将特征图Fei通过最大池化计算得到特征图Fem
b.对特征图Fem进行卷积核为1的卷积操作和Sigmoid激活函数处理,得到特征图Fes
c.将特征图Fes与特征图Fei相乘,生成最终的输出特征图Feo
由于网状裂缝分布广泛,存在细小的分支裂缝,且背景像素和细小裂缝像素区分度较低,需要通过叠加不同分辨率的边缘信息来保留更多的纹理信息,因此采用自适应最大池化将高效注意力机制模块进行优化,使网络能够更多地集中在小裂缝的特征信息上,提升背景像素与小裂缝像素的区分能力。
S3:将最大池化和平均池化相结合,形成池化叠加模块(又称MMA),弥补了局部像素和全局像素的丢失,进一步优化了网状裂缝细小分支信息的提取效果。
池化叠加模块的处理过程如下:
a.将编码结构中经过最后一次下采样操作的特征图作为池化叠加模块的输入特征图Fmi进行池化大小为2,步长为2的最大池化计算和平均池化计算,生成对应的特征图Fmax和特征图Fmean
b.特征图Fmax经过注意力机制处理模块处理生成特征图Fme
c.特征图Fmean和特征图Fme进行特征信息相加操作得到最终输出特征图F
mo
由于网络中存在多次上采样和下采样,会导致大量小裂缝信息丢失,针对这一问题,在深层网络中叠加细节信息和全局信息并减少相应误差来增强裂缝像素值的提取能力,通过池化叠加模块的设计实现裂缝像素信息的连续叠加,获得详细的细小分支裂缝信息,从而优化了网状裂缝中细小分支裂缝检测欠缺的问题。
综上所述,本发明提供的一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法,通过基于编码器-解码器结构,建立低级特征层和高级特征层之间的关系,形成高低层特征关联模块,能够很好地连接上下层之间的特征提取图,弥补上层特征图在池化过程中丢失的部分特征,以此达到提高细小分支裂缝特征信息的分割效果;
采用自适应最大池化将高效注意力机制模块进行优化,使网络能够更多地集中在小裂缝的特征信息上,提升背景像素与小裂缝像素的区分能力;
通过池化叠加模块的设计实现裂缝像素信息的连续叠加,获得详细的细小分支裂缝信息,从而优化了网状裂缝中细小分支裂缝检测欠缺的问题。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法,其特征在于,包括以下步骤:
S1:基于编码器-解码器结构,建立低级特征层和高级特征层之间的关系,形成高低层特征关联模块;
S2:采用自适应最大池化取代高效注意力机制模块中的全局平均池化,形成注意力机制处理模块;
S3:将最大池化和平均池化相结合,形成池化叠加模块。
2.根据权利要求1所述的一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法,其特征在于,所述S1中高低层特征关联模块的处理过程如下:
a.将低层特征图记为Fli,高层特征图记为Fhi
b.将低层特征图Fli经过最大池化、卷积核为1的卷积计算、激活函数运算得到特征图Fls
c.将特征图Fls与输入特征图Fl进行相乘操作,得到特征图Flo
d.将高层特征图Fhi经过上采样恢复特征信息的操作生成Fh,并通过平均池化、卷积计算、激活计算得到特征图Fhs
e.将特征图Fhs与特征图Fh通过乘积融合生成特征图Fho,并将特征图Flo和特征图Fho通过矩阵加和运算生成高低层特征关联模块的输出特征图Fo
3.根据权利要求2所述的一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法,其特征在于,所述S2中注意力机制处理模块的处理过程如下:
a.将特征图Fei通过最大池化计算得到特征图Fem
b.对特征图Fem进行卷积核为1的卷积操作和Sigmoid激活函数处理,得到特征图Fes
c.将特征图Fes与特征图Fei相乘,生成最终的输出特征图Feo
4.根据权利要求3所述的一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法,其特征在于,所述S3中池化叠加模块的处理过程如下:
a.将编码结构中经过最后一次下采样操作的特征图作为池化叠加模块的输入特征图Fmi进行池化大小为2,步长为2的最大池化计算和平均池化计算,生成对应的特征图Fmax和特征图Fmean
b.特征图Fmax经过注意力机制处理模块处理生成特征图Fme
c.特征图Fmean和特征图Fme进行特征信息相加操作得到最终输出特征图F
mo
CN202310562761.5A 2023-05-18 2023-05-18 一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法 Pending CN116612082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310562761.5A CN116612082A (zh) 2023-05-18 2023-05-18 一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310562761.5A CN116612082A (zh) 2023-05-18 2023-05-18 一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法

Publications (1)

Publication Number Publication Date
CN116612082A true CN116612082A (zh) 2023-08-18

Family

ID=87681185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310562761.5A Pending CN116612082A (zh) 2023-05-18 2023-05-18 一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法

Country Status (1)

Country Link
CN (1) CN116612082A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745786A (zh) * 2024-02-20 2024-03-22 中路高科交通检测检验认证有限公司 基于三维点云数据的道路裂缝深度检测装置及检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745786A (zh) * 2024-02-20 2024-03-22 中路高科交通检测检验认证有限公司 基于三维点云数据的道路裂缝深度检测装置及检测方法
CN117745786B (zh) * 2024-02-20 2024-05-14 中路高科交通检测检验认证有限公司 基于三维点云数据的道路裂缝深度检测装置及检测方法

Similar Documents

Publication Publication Date Title
CN112348770B (zh) 一种基于多分辨率卷积网络的桥梁裂缝检测方法
CN107480611B (zh) 一种基于深度学习卷积神经网络的裂缝识别方法
CN112700444B (zh) 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN111861978A (zh) 基于Faster R-CNN的桥梁裂缝实例分割方法
CN111429403A (zh) 一种基于机器视觉的汽车齿轮成品缺陷检测方法
CN116612082A (zh) 一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法
CN113111875B (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN112801972A (zh) 一种桥梁缺陷检测方法、设备、系统及存储介质
CN114677601A (zh) 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法
CN113706464A (zh) 一种印刷品外观质量检测方法及系统
CN111951289B (zh) 一种基于BA-Unet的水下声呐图像数据分割方法
CN116630323B (zh) 一种稠密金属腐蚀深度自动计算方法、系统、介质和设备
CN117291902B (zh) 一种基于深度学习用于像素级混凝土裂缝的检测方法
CN110555831A (zh) 一种基于深度学习的排水管道缺陷分割方法
CN116071338A (zh) 一种基于yolox的钢板表面缺陷检测方法、装置及设备
CN116485735A (zh) 缺陷检测方法、装置、电子设备及计算机可读存储介质
CN114119505A (zh) 一种检测芯片粘连区域缺陷的方法及装置
JP3572750B2 (ja) コンクリート欠陥の自動評価方法
CN111311515A (zh) 一种错误区域自动检测的深度图像快速迭代修复方法
CN115082377A (zh) 一种基于无人机的建筑物表面裂缝几何参数测量方法及系统
CN113066051B (zh) 一种坡口缺陷检测方法、计算设备及可读存储介质
CN111383219B (zh) 一种智能检测高空作业平台设备清洁度的方法及系统
Chen et al. Surface Defect Detection of Cable Based on Threshold Image Difference
CN116309387A (zh) 一种基于深度学习的核安全壳裂缝检测方法及系统
CN115761233A (zh) 融合CBAM的轻量化UNet裂缝图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination