CN112488990A - 一种基于注意力正则化机制的桥梁支座病害识别方法 - Google Patents

一种基于注意力正则化机制的桥梁支座病害识别方法 Download PDF

Info

Publication number
CN112488990A
CN112488990A CN202011202472.7A CN202011202472A CN112488990A CN 112488990 A CN112488990 A CN 112488990A CN 202011202472 A CN202011202472 A CN 202011202472A CN 112488990 A CN112488990 A CN 112488990A
Authority
CN
China
Prior art keywords
bridge
network model
support
attention
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011202472.7A
Other languages
English (en)
Other versions
CN112488990B (zh
Inventor
崔弥达
吴刚
艾志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Academy Of Transportation Sciences Co ltd
Southeast University
Original Assignee
JIANGXI TRAFFIC SCIENCE RESEARCH INSTITUTE
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGXI TRAFFIC SCIENCE RESEARCH INSTITUTE, Southeast University filed Critical JIANGXI TRAFFIC SCIENCE RESEARCH INSTITUTE
Priority to CN202011202472.7A priority Critical patent/CN112488990B/zh
Publication of CN112488990A publication Critical patent/CN112488990A/zh
Application granted granted Critical
Publication of CN112488990B publication Critical patent/CN112488990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于注意力正则化机制的桥梁支座病害识别方法,具体如下:获取桥梁支座图像,桥梁支座图像包括支座不同的状态;根据桥梁支座不同的状态标注桥梁支座图像,标注桥梁支座图像包括标注支座图像的类别标签信息和空间位置标签;设计适应于注意力机制正则化机制的卷积神经网络模型的损失函数;设计适应于注意力机制正则化机制的卷积神经网络模型;利用损失函数,选择可微分的优化算法迭代训练上述中设计的卷积神经网络模型,利用图像的类别标签信息和空间位置标签进行训练,优化网络模型,获得用于自动识别桥梁支座病害的模型,根据该网络模型进行桥梁支座病害的识别。本发明能够自动识别桥梁支座病害,提高识别的精确度。

Description

一种基于注意力正则化机制的桥梁支座病害识别方法
技术领域
本发明涉及土木工程与人工智能交互技术领域,特别是一种基于注意力正则化机制的桥梁支座病害识别方法。
背景技术
随着近年来我国基础设施建设的快速发展,土木行业发展迅速,大量的桥梁建设完毕,桥梁支座是桥梁受力的重要构件,在长期的服役过程中会出现老化、开裂等病害,影响其正常使用功能。人们一直依靠日常和定期性检查、抽样性和临时检查等手段来获取结构的相关信息。然而目前桥梁表观检测主要依赖于人工检测,这种方法效率低下、耗时长、成本高,且人工检测方法受环境及检测人员职业技术素养等因素影响较大,检测结果存在不确定性。
基于深度学习的图像处理技术快速发展,并在各行业得到广泛的应用,然而深度学习模型往往需要大量的标注数据进行训练才能达到较高的精度。在实际工程中,一些病害图像数据难以获取。支座作为桥梁的连接构件,在获取支座图像时难以避免的会出现不少背景信息,影响到模型的识别结果。因此迫切的需要在有限的数据集,复杂场景下提高模型识别精度的方法。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种基于注意力正则化机制的桥梁支座病害识别方法,能够自动识别桥梁支座病害,提高识别的精确度。
本发明为解决上述技术问题采用以下技术方案:
根据本发明提出的一种基于注意力正则化机制的桥梁支座病害识别方法,包括以下步骤:
步骤S1、获取桥梁支座图像,桥梁支座图像包括支座不同的状态;
步骤S2、根据桥梁支座不同的状态标注桥梁支座图像,标注桥梁支座图像包括标注支座图像的类别标签信息和空间位置标签;
步骤S3、设计适应于注意力机制正则化机制的卷积神经网络模型的损失函数,损失函数包括类别损失项和注意力正则化项;
步骤S4、设计适应于注意力机制正则化机制的卷积神经网络模型,步骤S1中获取的支座图像输入至卷积神经网络模型,经卷积、池化运算、非线性激活函数运算,卷积神经网络模型输出支座的空间位置信息、支座病害类别信息的向量,该向量的维度与支座病害的类别数相匹配,卷积神经网络模型中采用步骤S3中设计的损失函数衡量步骤S2中的支座图像的类别标签信息和空间位置标签和卷积神经网络模型输出支座的空间位置信息、支座病害类别信息的向量之间的差异;
步骤S5、利用步骤S3中设计的损失函数,选择可微分的优化算法迭代训练步骤S4中设计的卷积神经网络模型,利用步骤S2中图像的类别标签信息和空间位置标签进行训练,以减小步骤S4中的差异为目标优化网络模型,获得用于自动识别桥梁支座病害的模型,根据该网络模型进行桥梁支座病害的识别。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤S1中,获取的桥梁支座图像包括支座服役过程中遇到的各种病害。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤S1中,获取的桥梁支座图像中仅包含1个支座,获取的桥梁支座图像的分辨率应在800×600以上。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤S2中,支座图像的空间位置标签由图像坐标系下的坐标表示,并通过矩形框进行描述,矩形框由左上角点坐标和右下角点的坐标表示。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤S3中,损失函数中的类别损失项和注意力正则化项按一定的比例融合相加;
L=Lc+α·LA
其中,L为损失函数,LC为类别损失、选用交叉熵,LA为注意力正则化项、选用均方误差,α为比例因子。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤S3中,损失函数的注意力正则化项为支座的空间位置信息的预测值与真实值间的均方误差。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤S4中,卷积神经网络模型的输出向量中表征支座病害类别状态的部分与步骤S2中支座图像的类别标签信息对应。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤S4中,卷积神经网络模型的特征提取层具有表示特征的能力。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤S4中,卷积神经网络模型的输出向量中表征支座的空间位置信息的部分包含4个数值元素,与步骤S2中标注的空间位置标签对应。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤S5中,迭代训练卷积神经网络模型的方法选用梯度下降算法。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
本发明能够在数据量有限的前提下,通过人工标注支座位置信息,设计损失函数,建立注意力正则化机制,能够有效的提高模型的识别精度,从而能够自动识别桥梁支座病害,提高识别的精确度。
附图说明
图1为本发明的流程图。
图2为支座空间信息标注示意图。
图3为注意力机制网络示意图。
图4为VGG-16网络示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明进行详细描述。
如图1所示,本发明的一种基于注意力正则化机制的桥梁支座病害识别方法。包括如下步骤:
S1:获取桥梁支座图像,桥梁支座图像包括支座不同的状态;
S2:根据桥梁支座不同的状态标注桥梁支座图像,标注桥梁支座图像包括标注支座图像的类别标签信息和空间位置标签,图2所示为支座空间位置标注示意图;
S3:设计适应于注意力机制正则化机制的卷积神经网络模型的损失函数,损失函数包括类别损失项和注意力正则化项;
S4:设计适应于注意力机制正则化机制的卷积神经网络模型,步骤S1中获取的支座图像输入至卷积神经网络模型,经卷积、池化运算、非线性激活函数运算,卷积神经网络模型输出支座的空间位置信息、支座病害类别信息的向量,该向量的维度与支座病害的类别数相匹配,卷积神经网络模型中采用步骤S3中设计的损失函数衡量步骤S2中的支座图像的类别标签信息和空间位置标签和设计模型输出向量之间的差异,图3为该注意力机制网络示意图;
S5:利用步骤S3中设计的损失函数,选择可微分的优化算法迭代训练步骤S4中设计的卷积神经网络模型,利用S2中图像的类别标签信息和空间位置标签进行训练,以减小步骤S4中的差异为目标优化网络模型,获得用于自动识别桥梁支座病害的模型,根据该网络模型进行桥梁支座病害的识别。
步骤S1中,获取的支座图像包含的支座服役过程中遇到的各种病害。步骤S1中,获取的桥梁支座图像中仅包含1个支座。
步骤S1中,获取的支座图像的分辨率应在800×600以上。
步骤S2中,支座的位置信息由图像坐标系下的坐标表示,并通过矩形框进行描述,矩形框由左上角点坐标和右下角点的坐标表示,标注支座位置的工具为labelImg。
步骤S3中,该网络模型的输出向量中表征支座类别的部分与步骤S1中支座病害的种类对应。
步骤S3中,该网络模型的输出向量中表征支座位置信息的部分与步骤S2中标注的空间位置标签对应。
步骤S3中,网络的特征提取模块主体可选用经典卷积神经网络模型,具体的,选择VGG-16神经网络。
步骤S4中,损失函数中的类别损失项和注意力正则化项,按一定的比例融合相加。
L=Lc+α·LA
其中,L为损失函数;LC为类别损失,选用交叉熵损失函数,LA为注意力正则化项,取预测位置坐标与真实值间的绝对误差;α为比例因子。具体的,α取0.01。
步骤S4中,损失函数的注意力正则化项为支座的空间位置信息的预测值与真实值间的均方误差。
步骤S5中,网络的优化可选用梯度下降算法,具体选Adaptive Momentestimation(adam)方法。
训练卷积神经网络的实验条件:使亚马逊AWS云计算服务,配置亚马逊EC2P2.xlarge实例,该实例配置1个GPU,4个vCPU,61GB的随机存取存储器,系统采用ubuntu系统,编程语言采用python。深度学习平台使用pytorch。图2为支座空间信息标注示意图,图3为注意力机制网络示意图,图4为VGG-16网络示意图。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围内。

Claims (10)

1.一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,包括以下步骤:
步骤S1、获取桥梁支座图像,桥梁支座图像包括支座不同的状态;
步骤S2、根据桥梁支座不同的状态标注桥梁支座图像,标注桥梁支座图像包括标注支座图像的类别标签信息和空间位置标签;
步骤S3、设计适应于注意力机制正则化机制的卷积神经网络模型的损失函数,损失函数包括类别损失项和注意力正则化项;
步骤S4、设计适应于注意力机制正则化机制的卷积神经网络模型,步骤S1中获取的支座图像输入至卷积神经网络模型,经卷积、池化运算、非线性激活函数运算,卷积神经网络模型输出支座的空间位置信息、支座病害类别信息的向量,该向量的维度与支座病害的类别数相匹配,卷积神经网络模型中采用步骤S3中设计的损失函数衡量步骤S2中的支座图像的类别标签信息和空间位置标签和卷积神经网络模型输出支座的空间位置信息、支座病害类别信息的向量之间的差异;
步骤S5、利用步骤S3中设计的损失函数,选择可微分的优化算法迭代训练步骤S4中设计的卷积神经网络模型,利用步骤S2中图像的类别标签信息和空间位置标签进行训练,以减小步骤S4中的差异为目标优化网络模型,获得用于自动识别桥梁支座病害的模型,根据该网络模型进行桥梁支座病害的识别。
2.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤S1中,获取的桥梁支座图像包括支座服役过程中遇到的各种病害。
3.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤S1中,获取的桥梁支座图像中仅包含1个支座,获取的桥梁支座图像的分辨率应在800×600以上。
4.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤S2中,支座图像的空间位置标签由图像坐标系下的坐标表示,并通过矩形框进行描述,矩形框由左上角点坐标和右下角点的坐标表示。
5.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤S3中,损失函数中的类别损失项和注意力正则化项按一定的比例融合相加;
L=Lc+α·LA
其中,L为损失函数,LC为类别损失、选用交叉熵,LA为注意力正则化项、选用均方误差,α为比例因子。
6.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤S3中,损失函数的注意力正则化项为支座的空间位置信息的预测值与真实值间的均方误差。
7.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤S4中,卷积神经网络模型的输出向量中表征支座病害类别状态的部分与步骤S2中支座图像的类别标签信息对应。
8.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤S4中,卷积神经网络模型的特征提取层具有表示特征的能力。
9.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤S4中,卷积神经网络模型的输出向量中表征支座的空间位置信息的部分包含4个数值元素,与步骤S2中标注的空间位置标签对应。
10.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤S5中,迭代训练卷积神经网络模型的方法选用梯度下降算法。
CN202011202472.7A 2020-11-02 2020-11-02 一种基于注意力正则化机制的桥梁支座病害识别方法 Active CN112488990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011202472.7A CN112488990B (zh) 2020-11-02 2020-11-02 一种基于注意力正则化机制的桥梁支座病害识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011202472.7A CN112488990B (zh) 2020-11-02 2020-11-02 一种基于注意力正则化机制的桥梁支座病害识别方法

Publications (2)

Publication Number Publication Date
CN112488990A true CN112488990A (zh) 2021-03-12
CN112488990B CN112488990B (zh) 2024-06-07

Family

ID=74927915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011202472.7A Active CN112488990B (zh) 2020-11-02 2020-11-02 一种基于注意力正则化机制的桥梁支座病害识别方法

Country Status (1)

Country Link
CN (1) CN112488990B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063680A (zh) * 2022-06-20 2022-09-16 东南大学 一种基于标签及图像合成技术的桥梁病害识别方法
WO2022193420A1 (zh) * 2021-03-17 2022-09-22 东南大学 近水桥梁多类型病害智能检测方法与无人船设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070008A (zh) * 2019-04-04 2019-07-30 中设设计集团股份有限公司 一种采用无人机图像的桥梁病害识别方法
CN110222701A (zh) * 2019-06-11 2019-09-10 北京新桥技术发展有限公司 一种桥梁病害自动识别方法
CN110738146A (zh) * 2019-09-27 2020-01-31 华中科技大学 一种目标重识别神经网络及其构建方法和应用
CN111191714A (zh) * 2019-12-28 2020-05-22 浙江大学 桥梁外观损伤病害智能识别方法
US20200210773A1 (en) * 2019-01-02 2020-07-02 Boe Technology Group Co., Ltd. Neural network for image multi-label identification, related method, medium and device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200210773A1 (en) * 2019-01-02 2020-07-02 Boe Technology Group Co., Ltd. Neural network for image multi-label identification, related method, medium and device
CN110070008A (zh) * 2019-04-04 2019-07-30 中设设计集团股份有限公司 一种采用无人机图像的桥梁病害识别方法
CN110222701A (zh) * 2019-06-11 2019-09-10 北京新桥技术发展有限公司 一种桥梁病害自动识别方法
CN110738146A (zh) * 2019-09-27 2020-01-31 华中科技大学 一种目标重识别神经网络及其构建方法和应用
CN111191714A (zh) * 2019-12-28 2020-05-22 浙江大学 桥梁外观损伤病害智能识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫茹玉 等: "结合自底向上注意力机制和记忆网络的视觉问答模型", 中国图象图形学报, no. 05, 16 May 2020 (2020-05-16) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022193420A1 (zh) * 2021-03-17 2022-09-22 东南大学 近水桥梁多类型病害智能检测方法与无人船设备
CN115063680A (zh) * 2022-06-20 2022-09-16 东南大学 一种基于标签及图像合成技术的桥梁病害识别方法
CN115063680B (zh) * 2022-06-20 2024-05-17 东南大学 一种基于标签及图像合成技术的桥梁病害识别方法

Also Published As

Publication number Publication date
CN112488990B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN110570396B (zh) 一种基于深度学习的工业产品缺陷检测方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
Yuan et al. A deep convolutional neural network for detection of rail surface defect
CN112465748B (zh) 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN110533086B (zh) 图像数据半自动标注方法
CN109376606B (zh) 一种电力巡检图像杆塔基础故障检测方法
CN112488990A (zh) 一种基于注意力正则化机制的桥梁支座病害识别方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN111861966B (zh) 模型训练方法、装置及缺陷检测方法、装置
Song et al. Pixel-level crack detection in images using SegNet
CN112967249B (zh) 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法
CN112381175A (zh) 一种基于图像处理的电路板识别与分析方法
CN114155244A (zh) 缺陷检测方法、装置、设备及存储介质
CN116128839A (zh) 晶圆缺陷识别方法、装置、电子设备以及存储介质
CN110751138A (zh) 一种基于yolov3和CNN的盘头标识识别方法
CN115205926A (zh) 一种基于多任务学习的轻量化鲁棒人脸对齐方法及系统
CN116721104B (zh) 实景三维模型缺陷检测方法、装置、电子设备及存储介质
CN112699736B (zh) 一种基于空间注意力的桥梁支座病害识别方法
CN116721291A (zh) 基于改进YOLOv7模型的金属表面缺陷检测方法
CN111242017A (zh) 一种多标线的路面裂缝识别方法、装置、设备及存储介质
CN115330743A (zh) 基于双光检测缺陷的方法及相应的系统
CN113870328A (zh) 一种液体异物视觉检测方法及系统
CN117456290B (zh) 缺陷分类方法和装置、电子设备以及存储介质
CN112233098A (zh) 一种水利风险评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230616

Address after: 210000 No. 2 Southeast University Road, Jiangning District, Nanjing City, Jiangsu Province

Applicant after: SOUTHEAST University

Applicant after: Jiangxi Academy of Transportation Sciences Co.,Ltd.

Address before: 210000 No. 2 Southeast University Road, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: SOUTHEAST University

Applicant before: Jiangxi Transportation Research Institute

GR01 Patent grant