CN115331128B - 一种高架桥裂痕检测方法 - Google Patents

一种高架桥裂痕检测方法 Download PDF

Info

Publication number
CN115331128B
CN115331128B CN202211237200.XA CN202211237200A CN115331128B CN 115331128 B CN115331128 B CN 115331128B CN 202211237200 A CN202211237200 A CN 202211237200A CN 115331128 B CN115331128 B CN 115331128B
Authority
CN
China
Prior art keywords
crack
memory
viaduct
network
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211237200.XA
Other languages
English (en)
Other versions
CN115331128A (zh
Inventor
刘寒松
王永
孙小伟
王国强
刘瑞
董玉超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202211237200.XA priority Critical patent/CN115331128B/zh
Publication of CN115331128A publication Critical patent/CN115331128A/zh
Application granted granted Critical
Publication of CN115331128B publication Critical patent/CN115331128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于裂痕检测技术领域，涉及一种高架桥裂痕检测方法，先构建高架桥裂痕检测数据集，再提取高架桥裂痕特征并进行高层语义信息对比，然后建立基于图关系的记忆库，对记忆库进行读取、更新和特征提纯，最后输出检测结果并预警，以模拟人脑的方式处理裂痕检测问题，能够极大的提升无人机检测的智能化，从而辅助高架桥检测的智能化，而且不受环境影响，能够极大的节省人力财力和物力，极大的促进高架桥安全检测。

Description

一种高架桥裂痕检测方法
技术领域
本发明属于裂痕检测技术领域，涉及一种高架桥裂痕检测方法，尤其涉及一种基于无人机拍摄的高架桥裂痕检测方法。
背景技术
随着城市的发展和社会的进步，人口变得越来越多，交通问题成为目前急需解决的问题。因为城市土地资源少，建筑物往往建设的时候非常密集，高架桥因为其能够跨越深沟峡谷而不断被建设，一般采用钢筋混凝土建设，城市高架桥在设计的时候，需要考虑高架桥的安全问题，因为不仅是高架桥的造价昂贵，而且其重量往往非常重，如果出现坍塌，将会造成非常巨大的损失，因此，高架桥的安全问题需要引起足够的重视。
高架桥在出现裂痕的时候，需要及时对高架桥进行修缮，从而保证高架桥的安全，目前对于高架桥的裂缝检测往往采用专用的裂痕检测仪器，通过人工检测是否存在裂痕，但是，采用人工检测的方式往往不能实现大规模检测，只能是局部范围内的检测，导致目前裂痕检测无法大规模实现提前预警，而无人机目前能够拍摄非常大面积，且能够实现悬停和实时收集数据，逐渐应用于各行各业，但是目前的无人机收集数据依靠人工处理，造成处理效率非常低下，如果能够实现无人机检测智能化，将极大的方便城市高架桥裂痕检测效率。
发明内容
本发明的目的在于克服现有技术存在的缺点，设计提供一种高架桥裂痕检测方法，通过对无人机采集的数据实现智能化分析和处理，提升高架桥裂痕检测工作效率。
为实现上述目的，本发明实现高架桥裂痕检测的具体过程包括如下步骤：
（1）构建高架桥裂痕检测数据集：先通过无人机采集高架桥裂痕区域以及非裂痕区域，将采集的数据共同组成裂痕检测数据集；
（2）高架桥裂痕特征提取：将裂痕检测数据集中的图片采用全卷积神经网络的方式生成高架桥裂痕特征，在全卷积神经网络生成的裂痕特征的基础上，通过CAM机制生成定位图；
（3）高层语义信息对比：利用类别激活映射后的区域进行加权高架桥裂痕特征，并进行抽象化，同时采用多注意力并行的方式增加提取特征的多样性；
（4）基于图关系的记忆库建立：基于步骤（3）得到的特征采用基于图关系建模的方式建立记忆库；
（5）基于图关系的记忆库读取：当从图关系记忆库中读取信息的时候，计算记忆库中存储的特征与当前计算特征之间的一致性，从而控制与当前特征之间是否需要交互，以及交互的程度；
（6）基于图关系的记忆库更新：采用基于图关系的记忆库更新，将图中节点内容进行更新，同时将节点之间的关系进行变化，从而保证能够随着事物的发展，记忆不断的更新；
（7） 基于图关系的记忆库特征提纯：通过门控的方式将记忆图关系迭代过程中存在的高架桥裂痕噪声信息去除掉；
（8）基于高架桥裂痕特征的检测结果输出：将从记忆库中读取的特征与当前特征之间的相似性权重加权到当前特征，再依次经过特征叠加和降维处理后输出检测结果；
（9）基于高架桥裂痕特征的检测结果预警：通过计算裂痕面积确定裂痕的等级，并根据裂痕的危害等级输出结果预警；
（10）网络训练：使用步骤（1）中采集的数据作为高架桥裂痕检测数据集的训练集，将图片调整大小后输入全卷积神经网络，生成高架桥裂痕特征，并将裂痕特征以分割的形式输出，在输出的结果的基础上，通过BCEwithLogistLoss损失函数反传计算整个网络的损失，并调节网络的参数，在网络的性能达到最好的时候，输出网络的模型到本地文件夹备用，得到训练好的高架桥裂痕检测网络；
（11）网络测试：使用无人机拍摄的视频作为网络的测试数据，将无人机拍摄的视频数据转化为单一的帧输入到高架桥裂痕检测网络，并加载网络的参数，最终输出高架桥存在的裂痕分割结果，在裂痕分割结果的基础上，输出裂痕分割的等级。
作为本发明的进一步技术方案，步骤（2）所述全卷积神经网络为FCNNet网络，步骤（2）的具体过程描述为：
Figure 775232DEST_PATH_IMAGE001
其中，I为输入的图片；FCNNet为全卷积神经网络；F为提取的高架桥裂痕特征；CAM 为类别激活映射机制；A为类别激活映射产生的注意力图；其中，CAM机制为类别置信度
Figure 811583DEST_PATH_IMAGE002
对 特征
Figure 987350DEST_PATH_IMAGE003
的加权，并通道级求和得到的注意力结果图。
作为本发明的进一步技术方案，步骤（3）的具体过程描述为：
Figure 443739DEST_PATH_IMAGE004
Figure 464785DEST_PATH_IMAGE005
Figure 57440DEST_PATH_IMAGE006
其中，
Figure 374414DEST_PATH_IMAGE007
代表注意力机制生成的高架桥裂痕粗定位，
Figure 318099DEST_PATH_IMAGE008
代表多分支 并行注意力生成特征；
Figure 611677DEST_PATH_IMAGE009
代表2D高斯核函数，
Figure 324418DEST_PATH_IMAGE010
代表L1归一化函数，
Figure 45250DEST_PATH_IMAGE011
表示采用 sigmoid函数归一化，其功能为产生Attention权重。
作为本发明的进一步技术方案，步骤（4）所建立的基于图关系的记忆库中节点的定义如下：
Figure 741810DEST_PATH_IMAGE012
Figure 573500DEST_PATH_IMAGE013
节点之间边的定义如下：
Figure 406327DEST_PATH_IMAGE014
其中，
Figure 298060DEST_PATH_IMAGE015
代表记忆库中第i个记忆节点的特征，即高架桥高维裂痕特征，而每 个记忆库中的特征包含两个方面的内容
Figure 452223DEST_PATH_IMAGE016
，通过这种方式能够极大的挖掘记忆 库中特征之间的强交互性，
Figure 87603DEST_PATH_IMAGE017
代表记忆库中特征节点之间的权重。
作为本发明的进一步技术方案，步骤（5）的具体过程为：
首先，计算当前记忆库中特征节点和记忆图中节点之间相似性，
Figure 509357DEST_PATH_IMAGE018
再判定当前特征与记忆库中特征之间的交互的程度权重，
Figure 837571DEST_PATH_IMAGE019
其中，
Figure 977565DEST_PATH_IMAGE020
代表查找Top-K个节点数据，通过此种方式能够实现节点关系间的稀疏 化，从而降低关系节点之间的噪声信息，
Figure 416636DEST_PATH_IMAGE021
代表动量，
Figure 958476DEST_PATH_IMAGE022
代表softmax函 数。
作为本发明的进一步技术方案，步骤（6）中记忆库中节点间边的权重和节点的内容计算过程如下，
Figure 457591DEST_PATH_IMAGE023
其中，
Figure 84881DEST_PATH_IMAGE024
代表i和j节点之间的权重关系矩阵，k代表第k此迭代产生 的记忆库信息。
作为本发明的进一步技术方案，步骤（7）实现去噪的具体过程为：
Figure 62064DEST_PATH_IMAGE025
Figure 694296DEST_PATH_IMAGE026
其中，
Figure 364312DEST_PATH_IMAGE027
代表记忆图库上一个状态的输出；
Figure 213319DEST_PATH_IMAGE028
代表基于门控特征的图关系 中更新后的节点特征。
与现有技术相比，本发明具有以下优点：
（1）本发明提出的高架桥裂痕检测方法极大的促进高架桥安全检测，能够及时发现问题并解决问题，从而保证高架桥在出现问题的时候及时预警；
（2）本发明提出的高架桥裂痕检测方法以模拟人脑的方式处理裂痕检测问题，能够极大的提升无人机检测的智能化，从而辅助高架桥检测的智能化，而且不受环境影响，能够极大的节省人力财力和物力。
附图说明
图1为本发明提供的高架桥裂痕检测方法工作流程框架示意图。
图2为本发明提供的高架桥裂痕检测方法的网络结构图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
实施例：
如图1和图2所示，本实施例实现高架桥裂痕检测的具体实施包括如下步骤：
（1）构建高架桥裂痕检测数据集
首先通过无人机拍摄并采集高架桥裂痕区域以及非裂痕区域数据，共同组成裂痕检测数据集，考虑到目前高架桥存在裂痕的情况非常少，本实施例采用裂痕合成的方式生成裂痕检测数据集，将裂痕检测数据集CrackForest Dataset通过贴图的方式贴到高架桥数据上，将裂痕通过组合前景区域的方式，形成不同的形状裂痕数据，将有裂痕的图片划分为一个前景类，而没有裂痕的数据划分为背景类；
（2）高架桥裂痕图片特征提取
由于高架桥裂痕图片需要生成像素级分割数据，因此，本实施例采用全卷积神经网络的方式生成高架桥裂痕特征，在全卷积神经网络生成的裂痕特征的基础上，通过CAM机制生成定位图，具体如下：
Figure 728614DEST_PATH_IMAGE001
其中，I代表输入的高架桥裂痕检测图片；FCNNet代表全卷积神经网络；F代表提取 的高架桥裂痕特征；CAM代表类别激活映射机制；A代表类别激活映射产生的注意力图；其 中，CAM机制为类别置信度
Figure 245046DEST_PATH_IMAGE002
对特征
Figure 820384DEST_PATH_IMAGE003
的加权，并通道级求和得到的注意力结果图；
（3）高层语义信息对比
对于人类判断高架桥裂痕来说，会先将眼睛收集到的高架桥裂痕数据抽象为裂痕特征，然后将抽象的特征与大脑中的高架桥裂痕特征进行对比，从而判断当前场景中是否存在裂痕问题，对于人工智能判断高架桥裂痕来说，如果能够模拟人类的这种判定机理，将会有助于裂痕检测的性能提升，因此，本实施例模拟人类的这种能力，先将利用类别激活映射后的区域进行加权高架桥裂痕特征，并进行抽象化，与此同时将采用多注意力并行的方式增加提取特征的多样性，具体如下：
Figure 156688DEST_PATH_IMAGE004
Figure 741253DEST_PATH_IMAGE005
Figure 846612DEST_PATH_IMAGE006
其中，
Figure 858430DEST_PATH_IMAGE007
代表注意力机制生成的高架桥裂痕粗定位，
Figure 682030DEST_PATH_IMAGE008
代表多分支 并行注意力生成特征；
Figure 306171DEST_PATH_IMAGE009
代表2D高斯核函数，
Figure 531616DEST_PATH_IMAGE010
代表L1归一化函数，
Figure 714336DEST_PATH_IMAGE011
表示采用 sigmoid函数归一化，其功能为产生Attention权重；
（4）基于图关系的记忆库建立
为更好的模拟人类的记忆图谱，本实施例采用基于图关系建模的记忆库建立，基于图关系的记忆库中节点的定义如下，
Figure 25232DEST_PATH_IMAGE012
Figure 951599DEST_PATH_IMAGE013
基于图关系的记忆库中节点之间边的定义如下，
Figure 297130DEST_PATH_IMAGE014
其中，
Figure 916330DEST_PATH_IMAGE015
代表记忆库中第i个记忆节点的特征，即高架桥高维裂痕特征，而每 个记忆库中的特征包含两个方面的内容
Figure 714522DEST_PATH_IMAGE016
，通过这种方式能够极大的挖掘记忆 库中特征之间的强交互性，
Figure 742783DEST_PATH_IMAGE017
代表记忆库中特征节点之间的权重；
（5）基于图关系的记忆库读取
当需要从图关系记忆库中读取信息的时候，需要计算记忆库中存储的特征与当前计算特征之间的一致性，从而控制与当前特征之间是否需要交互，以及交互的程度，首先计算当前节点和记忆图中节点之间相似性，
Figure 677241DEST_PATH_IMAGE018
再判定当前特征与记忆库中特征之间的交互的程度权重，
Figure 201763DEST_PATH_IMAGE019
其中，
Figure 487251DEST_PATH_IMAGE020
代表查找Top-K个节点数据，通过此种方式能够实现节点关系间的稀疏 化，从而降低关系节点之间的噪声信息，
Figure 489842DEST_PATH_IMAGE021
代表动量，
Figure 544386DEST_PATH_IMAGE022
代表softmax函 数；
（6）基于图关系的记忆库更新
由于记忆的过程为持续的过程，并且随着不断发展，记忆会不断更新，从而调整记忆中的权重，为模拟上述行为，本实施例采用基于图关系的记忆库更新，将图中节点内容进行更新，同时，将节点之间的关系进行变化，从而保证能够随着事物的发展，记忆不断的更新，
记忆库中节点间边的权重和节点的内容计算过程如下，
Figure 505389DEST_PATH_IMAGE023
其中，
Figure 747014DEST_PATH_IMAGE024
代表i和j节点之间的权重关系矩阵，k代表第k此迭代产生的 记忆库信息；
（7）基于图关系的记忆库特征提纯
通过上述步骤建立的基于图关系的记忆库虽然能够记忆高架桥裂痕中的语义信息，以及图节点能够根据环境的改变实时更新模型的记忆信息，但是，记忆中可能存在噪声信息，而噪声信息如果存在，将会不断积累，最终导致记忆图中存在的噪声无法对模型的训练起到正增益的作用，为解决该问题，本实施例采用基于门控开关的记忆库特征精细化，主要通过门控的方式将记忆图关系迭代过程中存在的高架桥裂痕噪声信息去除掉，从而保证基于图库更新能够产生正增益，具体如下：
Figure 553296DEST_PATH_IMAGE025
Figure 229390DEST_PATH_IMAGE026
其中，
Figure 95715DEST_PATH_IMAGE027
代表记忆图库上一个状态的输出；
Figure 90216DEST_PATH_IMAGE028
代表基于门控特征的图关系 中更新后的节点特征；
（8）基于高架桥裂痕特征的检测结果输出
通过步骤（7）后，高架桥裂痕特征以权重的方式被极大的增强，有助于裂痕区域定 位输出，为了将裂痕区域显示出来，首先将从记忆库中读取的特征与当前特征之间的相似 性权重，加权到当前特征，其详细操作如下：
Figure 700189DEST_PATH_IMAGE029
通过上述方式增强后的高架桥裂痕特征将被输出，方式如下，
Figure 729325DEST_PATH_IMAGE030
其中，
Figure 766551DEST_PATH_IMAGE031
代表特征降维，
Figure 513927DEST_PATH_IMAGE032
代表特征叠加，
Figure 927591DEST_PATH_IMAGE033
代表最终输出的高架桥裂 痕信息；
（9）基于高架桥裂痕特征的检测结果预警
采用计算裂痕面积的方式计算裂痕的等级，并根据裂痕的危害等级输出结果预警，具体为：
Figure 312698DEST_PATH_IMAGE034
其中，
Figure 520826DEST_PATH_IMAGE035
代表裂痕的危害等级；
Figure 755498DEST_PATH_IMAGE036
代表查找函数，函数能够输出所有的
Figure 707273DEST_PATH_IMAGE033
中裂痕的个数；
Figure 445422DEST_PATH_IMAGE037
代表将
Figure 621189DEST_PATH_IMAGE033
结果中大于0的裂痕区 域检测出来；
Figure 77578DEST_PATH_IMAGE038
代表整张图的像素个数；
（10）网络训练
使用步骤（1）中采集的数据作为高架桥裂痕检测数据集的训练集，首先将图片调整大小为473×473后输入到全卷积神经网络中之后，生成高架桥裂痕特征，并将裂痕特征以分割FinalResult的形式输出，在输出的结果的基础上，采用BCEwithLogistLoss函数作为网络的损失函数，通过损失函数反传计算整个网络的损失，并调节网络的参数，在网络的性能达到最好的时候，输出网络的模型到本地文件夹备用，得到训练好的高架桥裂痕检测网络；
（11）网络测试
使用无人机拍摄的视频作为网络的测试数据，将无人机拍摄的视频数据转化为单 一的帧，并输入到高架桥裂痕检测网络，并加载网络的参数，最终输出高架桥存在的裂痕分 割结果
Figure 662405DEST_PATH_IMAGE033
，在裂痕分割结果的基础上，输出裂痕分割的等级
Figure 520640DEST_PATH_IMAGE035
。
本文中未详细描述的网络结构、算法以及函数均为本领域通用技术。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (2)

1.一种高架桥裂痕检测方法，其特征在于，具体过程包括如下步骤：
（1）构建高架桥裂痕检测数据集：先通过无人机采集高架桥裂痕区域以及非裂痕区域，将采集的数据共同组成裂痕检测数据集；
（2）高架桥裂痕特征提取：将裂痕检测数据集中的图片采用全卷积神经网络的方式生成高架桥裂痕特征，在全卷积神经网络生成的裂痕特征的基础上，通过CAM机制生成定位图；
（3）高层语义信息对比：利用类别激活映射后的区域进行加权高架桥裂痕特征，并进行抽象化，同时采用多注意力并行的方式增加提取特征的多样性，具体过程描述为：
Figure 429760DEST_PATH_IMAGE001
Figure 159950DEST_PATH_IMAGE002
Figure 408529DEST_PATH_IMAGE003
其中，
Figure 662792DEST_PATH_IMAGE004
代表注意力机制生成的高架桥裂痕粗定位，
Figure 946006DEST_PATH_IMAGE005
代表多分支并行 注意力生成特征；
Figure 502890DEST_PATH_IMAGE006
代表2D高斯核函数，
Figure 612666DEST_PATH_IMAGE007
代表L1归一化函数，
Figure 545987DEST_PATH_IMAGE008
表示采用sigmoid函 数归一化，其功能为产生注意力机制权重；
（4）基于图关系的记忆库建立：基于步骤（3）得到的特征采用基于图关系建模的方式建立记忆库；所建立的基于图关系的记忆库中节点的定义如下：
Figure 949286DEST_PATH_IMAGE009
Figure 536125DEST_PATH_IMAGE010
节点之间边的定义如下：
Figure 24875DEST_PATH_IMAGE011
其中，
Figure 106095DEST_PATH_IMAGE012
代表记忆库中第i个记忆节点的特征，即高架桥高维裂痕特征，而记忆库 中第i个记忆节点的特征包含两个方面的内容
Figure 363901DEST_PATH_IMAGE013
，通过这种方式能够极大的挖 掘记忆库中特征之间的强交互性，
Figure 528166DEST_PATH_IMAGE014
代表记忆库中特征节点之间的权重；
（5）基于图关系的记忆库读取：当从图关系记忆库中读取信息的时候，计算记忆库中存储的特征与当前计算特征之间的一致性，从而控制与当前特征之间是否需要交互，以及交互的程度；首先计算当前记忆库中特征节点和记忆图中节点之间相似性，
Figure 363267DEST_PATH_IMAGE015
再判定当前特征与记忆库中特征之间的交互的程度权重，
Figure 107232DEST_PATH_IMAGE016
其中，
Figure 485124DEST_PATH_IMAGE017
代表查找Top-K个节点数据，通过此种方式能够实现节点关系间的稀疏化，从 而降低关系节点之间的噪声信息，
Figure 663033DEST_PATH_IMAGE018
代表动量，
Figure 126375DEST_PATH_IMAGE019
代表softmax函数
（6）基于图关系的记忆库更新：采用基于图关系的记忆库更新，将图中节点内容进行更新，同时将节点之间的关系进行变化，从而保证能够随着事物的发展，记忆不断的更新；记忆库中节点间边的权重和节点的内容计算过程如下，
Figure 798665DEST_PATH_IMAGE020
其中，
Figure 31063DEST_PATH_IMAGE021
代表i和j节点之间的权重关系矩阵，k代表第k次迭代产生的记 忆库信息；
（7） 基于图关系的记忆库特征提纯：通过门控的方式将记忆图关系迭代过程中存在的高架桥裂痕噪声信息去除掉，实现去噪的具体过程为：
Figure 271552DEST_PATH_IMAGE022
Figure 831977DEST_PATH_IMAGE024
其中，
Figure 183324DEST_PATH_IMAGE025
代表记忆图库上一个状态的输出；
Figure 270229DEST_PATH_IMAGE026
代表基于门控特征的图关系中更 新后的节点特征；
（8）基于高架桥裂痕特征的检测结果输出：将从记忆库中读取的特征与当前特征之间的相似性权重加权到当前特征，再依次经过特征叠加和降维处理后输出检测结果；
（9）基于高架桥裂痕特征的检测结果预警：通过计算裂痕面积确定裂痕的等级，并根据裂痕的危害等级输出结果预警；
（10）网络训练：使用步骤（1）中采集的数据作为高架桥裂痕检测数据集的训练集，将图片调整大小后输入全卷积神经网络，生成高架桥裂痕特征，并将裂痕特征以分割的形式输出，在输出的结果的基础上，通过BCEwithLogistLoss损失函数反传计算整个网络的损失，并调节网络的参数，在网络的性能达到最好的时候，输出网络的模型到本地文件夹备用，得到训练好的高架桥裂痕检测网络；
（11）网络测试：使用无人机拍摄的视频作为网络的测试数据，将无人机拍摄的视频数据转化为单一的帧输入到高架桥裂痕检测网络，并加载网络的参数，最终输出高架桥存在的裂痕分割结果，在裂痕分割结果的基础上，输出裂痕分割的等级。
2.根据权利要求1所述高架桥裂痕检测方法，其特征在于，步骤（2）所述全卷积神经网络为FCNNet网络，步骤（2）的具体过程描述为：
Figure 806253DEST_PATH_IMAGE027
其中，I为输入的图片；FCNNet为全卷积神经网络；F为提取的高架桥裂痕特征；CAM为类 别激活映射机制；Att为类别激活映射产生的注意力图；其中，CAM机制为类别置信度
Figure 978608DEST_PATH_IMAGE028
对特 征
Figure DEST_PATH_IMAGE029
的加权，并通道级求和得到的注意力结果图。
CN202211237200.XA 2022-10-11 2022-10-11 一种高架桥裂痕检测方法 Active CN115331128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211237200.XA CN115331128B (zh) 2022-10-11 2022-10-11 一种高架桥裂痕检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211237200.XA CN115331128B (zh) 2022-10-11 2022-10-11 一种高架桥裂痕检测方法

Publications (2)

Publication Number Publication Date
CN115331128A CN115331128A (zh) 2022-11-11
CN115331128B true CN115331128B (zh) 2023-01-31

Family

ID=83914534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211237200.XA Active CN115331128B (zh) 2022-10-11 2022-10-11 一种高架桥裂痕检测方法

Country Status (1)

Country Link
CN (1) CN115331128B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133038A (zh) * 2018-01-10 2018-06-08 重庆邮电大学 一种基于动态记忆网络的实体级别情感分类系统及方法
CN111681240A (zh) * 2020-07-07 2020-09-18 福州大学 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法
CN112560895A (zh) * 2020-11-20 2021-03-26 陕西师范大学 一种基于改进PSPNet网络的桥梁裂缝检测方法
WO2022011493A1 (zh) * 2020-07-13 2022-01-20 广东石油化工学院 一种神经语义记忆存储方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170257B2 (en) * 2018-10-15 2021-11-09 Ancestry.Com Operations Inc. Image captioning with weakly-supervised attention penalty
CN113361645B (zh) * 2021-07-03 2024-01-23 上海理想信息产业（集团）有限公司 基于元学习及知识记忆的目标检测模型构建方法及系统
CN114705689A (zh) * 2022-04-14 2022-07-05 西安建筑科技大学 一种基于无人机的建筑物外立面裂缝检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133038A (zh) * 2018-01-10 2018-06-08 重庆邮电大学 一种基于动态记忆网络的实体级别情感分类系统及方法
CN111681240A (zh) * 2020-07-07 2020-09-18 福州大学 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法
WO2022011493A1 (zh) * 2020-07-13 2022-01-20 广东石油化工学院 一种神经语义记忆存储方法
CN112560895A (zh) * 2020-11-20 2021-03-26 陕西师范大学 一种基于改进PSPNet网络的桥梁裂缝检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
On Interpretability of Artificial Neural Networks: A Survey;Feng Lei Fan et al;《 IEEE Transactions on Radiation and Plasma Medical Sciences》;20210317;第5卷(第6期);741-760页 *
基于改进双线性细粒度模型的压板状态识别;杨倩文等;《激光与光电子学进展》;20211031;第58卷(第20期);1-10页 *
基于注意力特征自适应校正的图像描述模型;韦人予等;《计算机应用》;20200710;45-50页 *
基于生物记忆原理的入侵检测模型;黄光球等;《计算机应用》;20090501(第05期);1279-1284页 *

Also Published As

Publication number Publication date
CN115331128A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN112084923B (zh) 一种遥感图像语义分割方法、存储介质及计算设备
CN109598269A (zh) 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法
CN112396027A (zh) 基于图卷积神经网络的车辆重识别方法
US20240028744A1 (en) Dynamic network risk predicting method based on a graph neural network
CN113177560A (zh) 一种普适性轻量级深度学习车辆检测方法
CN112464851A (zh) 一种基于视觉感知的智能电网异物入侵检测方法及系统
Pan et al. Fast identification model for coal and gangue based on the improved tiny YOLO v3
CN111079604A (zh) 面向大尺度遥感图像的微小目标快速检测方法
CN112465057B (zh) 一种基于深度卷积神经网络的目标检测识别方法
CN116071701A (zh) 基于注意力机制和GSConv的YOLOv5行人检测方法
CN114067211A (zh) 一种用于移动终端的轻量化安全帽检测方法及系统
CN117765361A (zh) 一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法
Manzari et al. A robust network for embedded traffic sign recognition
CN116597411A (zh) 极端天气下无人驾驶车辆识别交通标志的方法及系统
Hu et al. Data Customization-based Multiobjective Optimization Pruning Framework for Remote Sensing Scene Classification
CN113869285B (zh) 一种人群密度估计装置、方法和存储介质
CN114119965B (zh) 一种道路目标检测方法及系统
CN112818818B (zh) 一种基于affpn的新型超高清遥感图像变化检测方法
CN115331128B (zh) 一种高架桥裂痕检测方法
CN113762007B (zh) 一种基于外观和动作特征双预测的异常行为检测方法
Lu et al. Edge-reinforced convolutional neural network for road detection in very-high-resolution remote sensing imagery
CN118212572A (zh) 一种基于改进YOLOv7的道路损坏检测方法
CN114494893B (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法
CN117911677A (zh) 一种基于小目标识别算法的隧道衬砌裂缝智能识别方法
CN116935249A (zh) 一种无人机场景下三维特征增强的小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant