CN115393725B - 一种特征增强和语义分割的桥梁裂缝识别方法 - Google Patents

一种特征增强和语义分割的桥梁裂缝识别方法 Download PDF

Info

Publication number
CN115393725B
CN115393725B CN202211314399.1A CN202211314399A CN115393725B CN 115393725 B CN115393725 B CN 115393725B CN 202211314399 A CN202211314399 A CN 202211314399A CN 115393725 B CN115393725 B CN 115393725B
Authority
CN
China
Prior art keywords
feature
features
resolution
convolution
crack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202211314399.1A
Other languages
English (en)
Other versions
CN115393725A (zh
Inventor
陈波
张华�
霍建文
陈春梅
王贵锦
李林静
税宇航
王承银
张雨楠
王琰铮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202211314399.1A priority Critical patent/CN115393725B/zh
Publication of CN115393725A publication Critical patent/CN115393725A/zh
Application granted granted Critical
Publication of CN115393725B publication Critical patent/CN115393725B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种特征增强和语义分割的桥梁裂缝识别方法，包括以下步骤：S1、采集包含裂缝的桥梁图像，构建桥梁裂缝数据集；S2、通过特征提取模型获取桥梁裂缝数据集的高维抽象语义特征；S3、采用裂缝特征增强模型对高维抽象语义特征进行增强，得到增强特征；S4、根据增强特征和高维抽象特征，对桥梁裂缝图像进行逐像素分类，得到桥梁裂缝；本发明解决了裂缝信息在处理过程中被损失，以及裂缝像素与背景像素的不均衡，造成裂缝特征识别精度不足的问题。

Description

一种特征增强和语义分割的桥梁裂缝识别方法
技术领域
本发明属于图像处理技术领域，具体涉及一种特征增强和语义分割的桥梁裂缝识别方法。
背景技术
目前针对桥梁构筑物表观病害检测可大致分为三类：人工检测、激光扫描检测和计算机视觉图像检测。采用人工巡检方式，检测工作费时费力、且检查成本高、数据随机性大、规范程度低、信息孤岛严重、时效性差、安全风险高，不可避免的存在漏检和视觉盲区，更无法形成客观、精准、完整的检测成果，难以对混凝土桥梁构筑物存在的病害隐患做出及时、全面的检测和预警，严重制约了混凝土桥梁工程的运维和管控。采用激光扫描检测方式，检测结果通常不够直观，处理分析三维空间信号时间较长，效率不高，且系统构成较大、部署困难、价格昂贵，导致此类检测方式并未得到较广的应用。从使用的技术通道级可大致将基于计算机视觉的图像处理技术分为三个发展阶段：基于传统图像处理技术的检测方法、基于传统机器学习的检测方法和基于深度学习的检测方法。前两种方法在实际应用过程中弊端逐渐显现：（1）在复杂多变的场景中，传统图像处理技术极易受到污渍、光照、水流等噪声干扰，鲁棒性和泛化能力较差，仅适用于简单的场景任务；（2）传统机器学习仍旧涉及手工特征的提取、阈值的设定等繁琐的过程，人为主观性问题成为影响处理效果的重要因素之一。由于深度学习可自动训练、迭代、优化的特点，其检测精度、鲁棒性和泛化能力较之前的方法都有较大提升，在后续发展过程中，基于深度学习的检测方法逐渐成为桥梁构筑物表观病害检测的主流方式。然而，由于裂缝图像的特殊性，在使用深度学习的相关方法对裂缝图像进行处理时，极易造成裂缝信息在处理过程中被损失，同时裂缝像素与背景像素的不均衡问题也导致了裂缝特征识别精度不足。
发明内容
针对现有技术中的上述不足，本发明提供的一种特征增强和语义分割的桥梁裂缝识别方法解决了以下技术问题：
1、裂缝信息在处理过程中被损失；
2、裂缝像素与背景像素的不均衡，造成裂缝特征识别精度不足。
为了达到上述发明目的，本发明采用的技术方案为：一种特征增强和语义分割的桥梁裂缝识别方法，包括以下步骤：
S1、采集包含裂缝的桥梁图像，构建桥梁裂缝数据集；
S2、通过特征提取模型获取桥梁裂缝数据集的高维抽象语义特征；
S3、采用裂缝特征增强模型对高维抽象语义特征进行增强，得到增强特征；
S4、根据增强特征和高维抽象特征，对桥梁裂缝图像进行逐像素分类，得到桥梁裂缝。
进一步地，所述步骤S2中特征提取模型包括：第1稠密卷积块至第50稠密卷积块，共50个稠密卷积块；第1跨步卷积至第16跨步卷积，共16个跨步卷积；第1反卷积至第13反卷积，共13个反卷积。
进一步地，所述特征提取模型包括5个阶段：第0阶段输入1种分辨率特征，输出1种分辨率特征；第1阶段输入第0阶段输出的1种分辨率特征，输出2种分辨率特征；第2阶段输入第1阶段输出的2种分辨率特征，输出3种分辨率特征；第3阶段输入第2阶段输出的3种分辨率特征，输出4种分辨率特征；第4阶段将第3阶段输出的4种分辨率特征进行融合；
所述稠密卷积块用于对相同分辨率特征进行抽象特征提取；
所述跨步卷积用于从高分辨率特征获取低分辨率的高维抽象特征；
所述反卷积用于将低分辨率特征与高分辨率特征相加。
进一步地，所述特征提取模型和裂缝特征增强模型训练时，损失函数为：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
为损失函数，损失函数包括：第一种方式计算的误差结果和第二种方式计算的误差结果，
Figure DEST_PATH_IMAGE003
为第一种方式计算的误差结果，
Figure DEST_PATH_IMAGE004
为第二种方式计算的误差结果；
第一种方式
Figure DEST_PATH_IMAGE005
函数具体计算过程如下：
若
Figure DEST_PATH_IMAGE006
，则计算误差序列中所有满足该条件的误差值的平均值作为误差结果；
若
Figure DEST_PATH_IMAGE007
，则计算误差序列前
Figure DEST_PATH_IMAGE008
个值的平均值作为误差结果；
其中，逐像素计算预测概率与标签的误差值，并降序排列，得到误差序列，
Figure DEST_PATH_IMAGE009
为真实概率，
Figure DEST_PATH_IMAGE010
为预测概率，
Figure 137567DEST_PATH_IMAGE008
为需要优化的误差值数量，
Figure DEST_PATH_IMAGE011
为概率阈值；
Figure DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE013
其中，
Figure DEST_PATH_IMAGE014
为单次参与训练的数据中裂缝像素与总像素的比值，
Figure DEST_PATH_IMAGE015
为单次参与训练的数据中裂缝像素，
Figure DEST_PATH_IMAGE016
为单次参与训练的总像素，
Figure DEST_PATH_IMAGE017
为训练过程中单次参与训练的数据量，
Figure DEST_PATH_IMAGE018
为训练过程中单次的分割类别数，
Figure DEST_PATH_IMAGE019
为训练过程中单次参与训练的数据量的图像分辨率。
上述进一步地方案的技术效果为：在每次训练时统计单次参与训练的数据中裂缝像素与总像素的比值
Figure 320068DEST_PATH_IMAGE014
，并根据比值
Figure 144804DEST_PATH_IMAGE014
设定需要优化误差值数量
Figure 60808DEST_PATH_IMAGE008
，提升裂缝像素部分产生的损失值在整体损失值中的比重，减小裂缝像素与背景像素不均衡的影响。同时，将预测结果与标签（标签即真实概率）的交并比
Figure 47218DEST_PATH_IMAGE004
纳入损失函数，提升模型定位裂缝的准确率。
进一步地，所述步骤S2中特征提取模型的输出为：
Figure DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
为特征提取模型中第
Figure DEST_PATH_IMAGE022
阶段输出的第
Figure DEST_PATH_IMAGE023
种分辨率特征，
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE025
为输入特征提取模型中第
Figure 196309DEST_PATH_IMAGE022
阶段的第
Figure DEST_PATH_IMAGE026
种分辨率特征，
Figure DEST_PATH_IMAGE027
为特征提取模型中第
Figure 683791DEST_PATH_IMAGE022
阶段从第
Figure 454301DEST_PATH_IMAGE026
种分辨率特征
Figure 408350DEST_PATH_IMAGE025
到第
Figure 264311DEST_PATH_IMAGE023
种分辨率特征
Figure 227587DEST_PATH_IMAGE021
的映射函数。
进一步地，所述映射函数
Figure 914921DEST_PATH_IMAGE027
的表达式为：
Figure DEST_PATH_IMAGE028
其中，
Figure DEST_PATH_IMAGE029
为使用步长为2的3×3卷积将第
Figure 243134DEST_PATH_IMAGE026
种分辨率特征下采样至第
Figure 711024DEST_PATH_IMAGE023
种分辨率特征大小，
Figure DEST_PATH_IMAGE030
为使用步长为1的3×3卷积对第
Figure 946834DEST_PATH_IMAGE026
种分辨率特征进行特征提取但不改变分辨率大小，
Figure DEST_PATH_IMAGE031
为使用反卷积将第
Figure 37410DEST_PATH_IMAGE026
种分辨率特征上采样至第
Figure 474208DEST_PATH_IMAGE023
种分辨率特征大小。
进一步地，所述步骤S3包括以下分步骤：
S31、根据分割类别，将高维抽象语义特征分割成两个粗分割特征
Figure DEST_PATH_IMAGE032
，其中，粗分割特征
Figure DEST_PATH_IMAGE033
对应裂缝像素类别，粗分割特征
Figure DEST_PATH_IMAGE034
对应背景像素类别；
S32、将两个粗分割特征
Figure 22869DEST_PATH_IMAGE032
与高维抽象语义特征进行聚合，得到目标类别的区域；
S33、计算高维抽象语义特征与每一类目标的区域关系，得到目标类别的上下文；
S34、将目标类别的上下文与高维抽象语义特征进行级联融合，得到增强特征。
进一步地，所述步骤S32中目标类别的区域表达式为：
Figure DEST_PATH_IMAGE035
其中，
Figure DEST_PATH_IMAGE036
为第
Figure DEST_PATH_IMAGE037
类目标的区域，
Figure DEST_PATH_IMAGE038
为第
Figure 921424DEST_PATH_IMAGE037
类粗分割特征位置
Figure DEST_PATH_IMAGE039
处的像素属于第
Figure 848929DEST_PATH_IMAGE037
类粗分割特征的概率，
Figure 456628DEST_PATH_IMAGE037
等于1时，对应裂缝像素类，
Figure 899110DEST_PATH_IMAGE037
等于2时，对应背景像素类，
Figure DEST_PATH_IMAGE040
为高维抽象语义特征位置
Figure 211143DEST_PATH_IMAGE039
处的像素，
Figure DEST_PATH_IMAGE041
为高维抽象语义特征中像素的数量。
进一步地，所述步骤S33中目标类别的上下文表达式为：
Figure DEST_PATH_IMAGE042
Figure DEST_PATH_IMAGE043
其中，
Figure DEST_PATH_IMAGE044
为高维抽象语义特征位置
Figure 789892DEST_PATH_IMAGE039
处的目标类别的上下文，
Figure DEST_PATH_IMAGE045
为高维抽象语义特征位置
Figure 489864DEST_PATH_IMAGE039
处的像素与第
Figure 29429DEST_PATH_IMAGE037
类目标的区域
Figure 941890DEST_PATH_IMAGE036
的关系权重，
Figure DEST_PATH_IMAGE046
为使用步长为1的1×1卷积对特征进行通道整合，
Figure 843987DEST_PATH_IMAGE037
等于1时，对应裂缝像素类，
Figure 793489DEST_PATH_IMAGE037
等于2时，对应背景像素类，
Figure 685265DEST_PATH_IMAGE040
为高维抽象语义特征位置
Figure 339100DEST_PATH_IMAGE039
处的像素，
Figure DEST_PATH_IMAGE047
为第
Figure DEST_PATH_IMAGE048
类目标的区域。
进一步地，所述步骤S34中增强特征的表达式为：
Figure DEST_PATH_IMAGE049
其中，
Figure DEST_PATH_IMAGE050
为高维抽象语义特征位置
Figure 892441DEST_PATH_IMAGE039
处级联融合处理后的增强特征，
Figure DEST_PATH_IMAGE051
为使用步长为1的1×1卷积对特征进行通道整合，
Figure 606319DEST_PATH_IMAGE040
为高维抽象语义特征位置
Figure 245111DEST_PATH_IMAGE039
处的像素，
Figure 109162DEST_PATH_IMAGE044
为高维抽象语义特征位置
Figure 454692DEST_PATH_IMAGE039
处的目标类别的上下文。
上述进一步地方案的技术效果为：根据粗分割结果对提取到的高维抽象特征进行基于类别的区域聚集，提升高维特征中属于相同类别的特征间的相关性，以此达到增强特征的目的，提升分割性能。
本发明的有益效果为：
1、本发明使用标准卷积、跨步卷积和反卷积运算构建了多阶段多分辨特征提取模型，保证整个提取阶段可训练优化，相比普通卷积神经网络提取特征，大大降低了特征传递过程中信息的损失，同时各阶段各分辨率特征可充分融合。
2、本发明根据分割类别对提取到的高维特征进行增强，通过计算特征间的相似度将特征进行区域聚集，获得基于目标类别的增强特征，并与原高维特征进行融合，有效提升了对裂缝特征的分割性能，同时使得裂缝信息有效保留。
3、本发明将裂缝像素的占比情况应用到损失函数计算过程中，提升裂缝像素对整体损失值的影响，减小裂缝像素与背景像素不均衡的影响，从而提升网络对裂缝特征的分割精度。
附图说明
图1为一种特征增强和语义分割的桥梁裂缝识别方法得流程图；
图2为特征提取模型的整体结构示意图；
图3为裂缝特征增强模型的处理流程图；
图4为实验效果图；
其中，1_1、第1稠密卷积块；1_2、第2稠密卷积块；1_3、第3稠密卷积块；1_4、第4稠密卷积块；1_5、第5稠密卷积块；1_6、第6稠密卷积块；1_7、第7稠密卷积块；1_8、第8稠密卷积块；1_9、第9稠密卷积块；1_10、第10稠密卷积块；1_11、第11稠密卷积块；1_12、第12稠密卷积块；1_13、第13稠密卷积块；1_14、第14稠密卷积块；1_15、第15稠密卷积块；1_16、第16稠密卷积块；1_17、第17稠密卷积块；1_18、第18稠密卷积块；1_19、第19稠密卷积块；1_20、第20稠密卷积块；1_21、第21稠密卷积块；1_22、第22稠密卷积块；1_23、第23稠密卷积块；1_24、第24稠密卷积块；1_25、第25稠密卷积块；1_26、第26稠密卷积块；1_27、第27稠密卷积块；1_28、第28稠密卷积块；1_29、第29稠密卷积块；1_30、第30稠密卷积块；1_31、第31稠密卷积块；1_32、第32稠密卷积块；1_33、第33稠密卷积块；1_34、第34稠密卷积块；1_35、第35稠密卷积块；1_36、第36稠密卷积块；1_37、第37稠密卷积块；1_38、第38稠密卷积块；1_39、第39稠密卷积块；1_40、第40稠密卷积块；1_41、第41稠密卷积块；1_42、第42稠密卷积块；1_43、第43稠密卷积块；1_44、第44稠密卷积块；1_45、第45稠密卷积块；1_46、第46稠密卷积块；1_47、第47稠密卷积块；1_48、第48稠密卷积块；1_49、第49稠密卷积块；1_50、第50稠密卷积块；2_1、第1跨步卷积；2_2、第2跨步卷积；2_3、第3跨步卷积；2_4、第4跨步卷积；2_5、第5跨步卷积；2_6、第6跨步卷积；2_7、第7跨步卷积；2_8、第8跨步卷积；2_9、第9跨步卷积；2_10、第10跨步卷积；2_11、第11跨步卷积；2_12、第12跨步卷积；2_13、第13跨步卷积；2_14、第14跨步卷积；2_15、第15跨步卷积；2_16、第16跨步卷积；3_1、第1反卷积；3_2、第2反卷积；3_3、第3反卷积；3_4、第4反卷积；3_5、第5反卷积；3_6、第6反卷积；3_7、第7反卷积；3_8、第8反卷积；3_9、第9反卷积；3_10、第10反卷积；3_11、第11反卷积；3_12、第12反卷积；3_13、第13反卷积。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种特征增强和语义分割的桥梁裂缝识别方法，包括以下步骤：
S1、采集包含裂缝的桥梁图像，构建桥梁裂缝数据集；
S2、通过特征提取模型获取桥梁裂缝数据集的高维抽象语义特征；
S3、采用裂缝特征增强模型对高维抽象语义特征进行增强，得到增强特征；
S4、根据增强特征和高维抽象特征，对桥梁裂缝图像进行逐像素分类，得到桥梁裂缝。
如图2所示，所述步骤S2中特征提取模型包括：第1稠密卷积块1_1至第50稠密卷积块1_50，共50个稠密卷积块；第1跨步卷积2_1至第16跨步卷积2_16，共16个跨步卷积；第1反卷积3_1至第13反卷积3_13，共13个反卷积；
特征提取模型包括5个阶段：第0阶段、第1阶段、第2阶段、第3阶段和第4阶段；
所述第0阶段包括依次连接的第1稠密卷积块1_1至第3稠密卷积块1_3；
所述第1阶段包括2通道，第2阶段的第1通道包括：依次连接的第4稠密卷积块1_4至第8稠密卷积块1_8，所述第4稠密卷积块1_4的输入端与第3稠密卷积块1_3的输出端连接；
第1阶段的第2通道包括：第1跨步卷积2_1，依次连接的第21稠密卷积块1_21至第24稠密卷积块1_24，所述第1跨步卷积2_1的输入端与第3稠密卷积块1_3的输出端连接，所述第1跨步卷积2_1的输出端与第21稠密卷积块1_21的输入端连接；
所述第2阶段包括3通道，第3阶段的第1通道包括：第1反卷积3_1、依次连接的第9稠密卷积块1_9至第13稠密卷积块1_13，所述第9稠密卷积块1_9的输入端与第8稠密卷积块1_8的输出端连接，所述第1反卷积3_1的输入端与第24稠密卷积块1_24的输出端连接，其输出端与第10稠密卷积块1_10的输入端连接；
第2阶段的第2通道包括：第2跨步卷积2_2、依次连接的第25稠密卷积块1_25至第29稠密卷积块1_29，所述第25稠密卷积块1_25的输入端与第24稠密卷积块1_24的输出端连接，所述第2跨步卷积2_2的输入端与第8稠密卷积块1_8的输出端连接，其输出端与第26稠密卷积块1_26的输入端连接；
第2阶段的第3通道包括：第3跨步卷积2_3、第4跨步卷积2_4、依次连接第36稠密卷积块1_36至第39稠密卷积块1_39，所述第3跨步卷积2_3的输入端与第8稠密卷积块1_8的输出端连接，其输出端与第36稠密卷积块1_36的输入端连接，所述第4跨步卷积2_4的输入端与第24稠密卷积块1_24的输出端连接，其输出端与第36稠密卷积块1_36的输入端连接；
所述第3阶段包括4通道，第4阶段的第1通道包括：第2反卷积3_2、第3反卷积3_3、依次连接的第14稠密卷积块1_14至第20稠密卷积块1_20、第11跨步卷积2_11、第12跨步卷积2_12和第13跨步卷积2_13，所述第2反卷积3_2的输入端与第29稠密卷积块1_29的输出端连接，其输出端与第15稠密卷积块1_15的输入端连接；所述第3反卷积3_3的输入端与第39稠密卷积块1_39的输出端连接，其输出端与第15稠密卷积块1_15的输入端连接；所述第14稠密卷积块1_14的输入端与第13稠密卷积块1_13的输出端连接；所述第11跨步卷积2_11的输入端与第18稠密卷积块1_18的输出端连接，其输出端与第11反卷积3_11的输入端连接；所述第12跨步卷积2_12的输入端与第18稠密卷积块1_18的输出端连接，其输出端与第12反卷积3_12的输入端连接；所述第13跨步卷积2_13的输入端与第18稠密卷积块1_18的输出端连接，其输出端与第13反卷积3_13的输入端连接；
所述第3阶段的第2通道包括：第5跨步卷积2_5、第4反卷积3_4、以及依次连接的第30稠密卷积块1_30至第35稠密卷积块1_35、第5反卷积3_5、第14跨步卷积2_14、第15跨步卷积2_15和第11反卷积3_11，所述第5跨步卷积2_5的输入端与第13稠密卷积块1_13的输出端连接，其输出端与第31稠密卷积块1_31的输入端连接；所述第4反卷积3_4的输入端与第39稠密卷积块1_39的输出端连接，其输出端与第31稠密卷积块1_31的输入端连接；所述第30稠密卷积块1_30的输入端与第29稠密卷积块1_29的输出端连接；所述第5反卷积3_5的输入端与第34稠密卷积块1_34的输出端连接，其输出端与第20稠密卷积块1_20的输入端连接；所述第14跨步卷积2_14的输入端与第34稠密卷积块1_34的输出端连接，其输出端与第12反卷积3_12的输入端连接；所述第15跨步卷积2_15的输入端与第34稠密卷积块1_34的输出端连接，其输出端与第13反卷积3_13的输入端连接；所述第11反卷积3_11的输入端还与第35稠密卷积块1_35的输出端连接，其输出端与第20稠密卷积块1_20的输出端连接；
所述第3阶段的第3通道包括：第6跨步卷积2_6、第7跨步卷积2_7、以及依次连接的第40稠密卷积块1_40至第45稠密卷积块1_45、第6反卷积3_6、第8反卷积3_8、第16跨步卷积2_16和第12反卷积3_12；所述第6跨步卷积2_6的输入端与第13稠密卷积块1_13的输出端连接，其输出端与第41稠密卷积块1_41的输入端连接；所述第7跨步卷积2_7的输入端与第29稠密卷积块1_29的输出端连接，其输出端与第41稠密卷积块1_41的输入端连接；所述第40稠密卷积块1_40的输入端与第39稠密卷积块1_39的输出端连接；所述第6反卷积3_6的输入端与第44稠密卷积块1_44的输出端连接，其输出端与第20稠密卷积块1_20的输入端连接；所述第8反卷积3_8的输入端与第44稠密卷积块1_44的输出端连接，其输出端与第11反卷积3_11的输入端连接；所述第16跨步卷积2_16的输入端与第44稠密卷积块1_44的输出端连接，其输出端与第13反卷积3_13的输入端连接；所述第12反卷积3_12的输入端还与第45稠密卷积块1_45的输出端连接，其输出端与第20稠密卷积块1_20的输出端连接；
所述第3阶段的第4通道包括：第8跨步卷积2_8、第9跨步卷积2_9、第10跨步卷积2_10、以及依次连接的第46稠密卷积块1_46至第50稠密卷积块1_50、第7反卷积3_7、第9反卷积3_9、第10反卷积3_10和第13反卷积3_13；所述第8跨步卷积2_8的输入端与第13稠密卷积块1_13的输出端连接，其输出端与第46稠密卷积块1_46的输入端连接；所述第9跨步卷积2_9的输入端与第29稠密卷积块1_29的输出端连接，其输出端与第46稠密卷积块1_46的输入端连接；所述第10跨步卷积2_10的输入端与第39稠密卷积块1_39的输出端连接，其输出端与第46稠密卷积块1_46的输入端连接；所述第7反卷积3_7的输入端与第49稠密卷积块1_49的输出端连接，其输出端与第20稠密卷积块1_20的输入端连接；所述第9反卷积3_9的输入端与第49稠密卷积块1_49的输出端连接，其输出端与第11反卷积3_11的输入端连接；所述第10反卷积3_10的输入端与第49稠密卷积块1_49的输出端连接，其输出端与第12反卷积3_12的输入端连接；所述第13反卷积3_13的输入端与第50稠密卷积块1_50的输出端连接，其输出端与第20稠密卷积块1_20的输出端连接；
第4阶段用于将第3阶段输出的4种分辨率特征进行融合。
所述特征提取模型包括5个阶段：第0阶段输入1种分辨率特征，输出1种分辨率特征；第1阶段输入第0阶段输出的1种分辨率特征，输出2种分辨率特征；第2阶段输入第1阶段输出的2种分辨率特征，输出3种分辨率特征；第3阶段输入第2阶段输出的3种分辨率特征，输出4种分辨率特征；第4阶段将第3阶段输出的4种分辨率特征进行融合。
所述特征提取模型和裂缝特征增强模型训练时，损失函数为：
Figure 136209DEST_PATH_IMAGE001
其中，
Figure 872084DEST_PATH_IMAGE002
为损失函数，损失函数包括：第一种方式计算的误差结果和第二种方式计算的误差结果，
Figure 664460DEST_PATH_IMAGE003
为第一种方式计算的误差结果，
Figure 536601DEST_PATH_IMAGE004
为第二种方式计算的误差结果；
第一种方式
Figure 389019DEST_PATH_IMAGE005
函数具体计算过程如下：
若
Figure 612190DEST_PATH_IMAGE006
，则计算误差序列中所有满足该条件的误差值的平均值作为误差结果；
若
Figure 942677DEST_PATH_IMAGE007
，则计算误差序列前
Figure 934904DEST_PATH_IMAGE008
个值的平均值作为误差结果；
其中，逐像素计算预测概率与标签的误差值，并降序排列，得到误差序列，
Figure 223803DEST_PATH_IMAGE009
为真实概率，
Figure 668691DEST_PATH_IMAGE010
为预测概率，
Figure 802869DEST_PATH_IMAGE008
为需要优化的误差值数量，
Figure 915181DEST_PATH_IMAGE011
为概率阈值；
Figure 47085DEST_PATH_IMAGE012
Figure 369482DEST_PATH_IMAGE013
其中，
Figure 182718DEST_PATH_IMAGE014
为单次参与训练的数据中裂缝像素与总像素的比值，
Figure 274170DEST_PATH_IMAGE015
为单次参与训练的数据中裂缝像素，
Figure 249080DEST_PATH_IMAGE016
为单次参与训练的总像素，
Figure 177547DEST_PATH_IMAGE017
为训练过程中单次参与训练的数据量，
Figure 122369DEST_PATH_IMAGE018
为训练过程中单次的分割类别数，
Figure 271591DEST_PATH_IMAGE019
为训练过程中单次参与训练的数据量的图像分辨率。
通过标准卷积构建稠密卷积块，用于每个阶段中相同分辨率特征的抽象特征提取。而跨步卷积则用来从高分辨率特征获取低分辨率的高维抽象特征。在各个阶段中，各种分辨率特征并行传递，并在末尾互相融合。在特征融合过程中，高分辨率特征直接使用跨步卷积下采样并与对应低分辨率特征相加。而低分辨率特征则使用反卷积运算上采样并与对应高分辨率特征相加。第
Figure 682981DEST_PATH_IMAGE022
阶段的末尾会生成
Figure 714391DEST_PATH_IMAGE022
+1种分辨率特征（仅
Figure 603849DEST_PATH_IMAGE024
适用），第4阶段末尾仅是四种分辨率特征互相融合并级联作为最终的特征提取结果，不会继续下采样更低分辨率特征。因此，在第
Figure 935473DEST_PATH_IMAGE022
阶段末尾第
Figure 252185DEST_PATH_IMAGE023
种
Figure DEST_PATH_IMAGE052
分辨率特征的输出
Figure DEST_PATH_IMAGE053
为：
Figure 36470DEST_PATH_IMAGE020
其中，
Figure 854254DEST_PATH_IMAGE021
为特征提取模型中第
Figure 650171DEST_PATH_IMAGE022
阶段输出的第
Figure 527998DEST_PATH_IMAGE023
种分辨率特征，
Figure 674945DEST_PATH_IMAGE024
，
Figure 30840DEST_PATH_IMAGE025
为输入特征提取模型中第
Figure 681264DEST_PATH_IMAGE022
阶段的第
Figure 729992DEST_PATH_IMAGE026
种分辨率特征，
Figure 98656DEST_PATH_IMAGE027
为特征提取模型中第
Figure 461504DEST_PATH_IMAGE022
阶段从第
Figure 91069DEST_PATH_IMAGE026
种分辨率特征
Figure 186064DEST_PATH_IMAGE025
到第
Figure 166658DEST_PATH_IMAGE023
种分辨率特征
Figure 739722DEST_PATH_IMAGE021
的映射函数。
所述映射函数
Figure 495232DEST_PATH_IMAGE027
的表达式为：
Figure 26707DEST_PATH_IMAGE028
其中，
Figure 229018DEST_PATH_IMAGE029
为使用步长为2的3×3卷积将第
Figure 871352DEST_PATH_IMAGE026
种分辨率特征下采样至第
Figure 678771DEST_PATH_IMAGE023
种分辨率特征大小，
Figure 505782DEST_PATH_IMAGE030
为使用步长为1的3×3卷积对第
Figure 70755DEST_PATH_IMAGE026
种分辨率特征进行特征提取但不改变分辨率大小，
Figure 110255DEST_PATH_IMAGE031
为使用反卷积将第
Figure 709864DEST_PATH_IMAGE026
种分辨率特征上采样至第
Figure 442197DEST_PATH_IMAGE023
种分辨率特征大小。
如图3所示，所述步骤S3包括以下分步骤：
S31、根据分割类别，将高维抽象语义特征分割成两个粗分割特征
Figure 494466DEST_PATH_IMAGE032
，其中，粗分割特征
Figure 337657DEST_PATH_IMAGE033
对应裂缝像素类别，粗分割特征
Figure 791773DEST_PATH_IMAGE034
对应背景像素类别；
S32、将两个粗分割特征
Figure 695006DEST_PATH_IMAGE032
与高维抽象语义特征进行聚合，得到目标类别的区域；
S33、计算高维抽象语义特征与每一类目标的区域关系，得到目标类别的上下文；
S34、将目标类别的上下文与高维抽象语义特征进行级联融合，得到增强特征。
所述步骤S32中目标类别的区域表达式为：
Figure 562468DEST_PATH_IMAGE035
其中，
Figure 84717DEST_PATH_IMAGE036
为第
Figure 517972DEST_PATH_IMAGE037
类目标的区域，
Figure 467473DEST_PATH_IMAGE038
为第
Figure 353390DEST_PATH_IMAGE037
类粗分割特征位置
Figure 679329DEST_PATH_IMAGE039
处的像素属于第
Figure 967091DEST_PATH_IMAGE037
类粗分割特征的概率，
Figure 87494DEST_PATH_IMAGE037
等于1时，对应裂缝像素类，
Figure 726285DEST_PATH_IMAGE037
等于2时，对应背景像素类，
Figure 590336DEST_PATH_IMAGE040
为高维抽象语义特征位置
Figure 732604DEST_PATH_IMAGE039
处的像素，
Figure 289488DEST_PATH_IMAGE041
为高维抽象语义特征中像素的数量。
所述步骤S33中目标类别的上下文表达式为：
Figure 149996DEST_PATH_IMAGE042
Figure 552159DEST_PATH_IMAGE043
其中，
Figure 814513DEST_PATH_IMAGE044
为高维抽象语义特征位置
Figure 542297DEST_PATH_IMAGE039
处的目标类别的上下文，
Figure 907680DEST_PATH_IMAGE045
为高维抽象语义特征位置
Figure 113534DEST_PATH_IMAGE039
处的像素与第
Figure 230394DEST_PATH_IMAGE037
类目标的区域
Figure 863501DEST_PATH_IMAGE036
的关系权重，
Figure 698602DEST_PATH_IMAGE046
为使用步长为1的1×1卷积对特征进行通道整合，
Figure 708146DEST_PATH_IMAGE037
等于1时，对应裂缝像素类，
Figure 945092DEST_PATH_IMAGE037
等于2时，对应背景像素类，
Figure 749100DEST_PATH_IMAGE040
为高维抽象语义特征位置
Figure 805918DEST_PATH_IMAGE039
处的像素，
Figure 619153DEST_PATH_IMAGE047
为第
Figure 710606DEST_PATH_IMAGE048
类目标的区域。
所述步骤S34中增强特征的表达式为：
Figure 685515DEST_PATH_IMAGE049
其中，
Figure 495208DEST_PATH_IMAGE050
为高维抽象语义特征位置
Figure 112134DEST_PATH_IMAGE039
处级联融合处理后的增强特征，
Figure 792515DEST_PATH_IMAGE051
为使用步长为1的1×1卷积对特征进行通道整合，
Figure 938325DEST_PATH_IMAGE040
为高维抽象语义特征位置
Figure 235314DEST_PATH_IMAGE039
处的像素，
Figure 124773DEST_PATH_IMAGE044
为高维抽象语义特征位置
Figure 190818DEST_PATH_IMAGE039
处的目标类别的上下文。
如图4所示，通过本发明的方法将原图上的裂纹进行识别，得到的输出结果与原图的裂纹几乎一致。

Claims (6)

1.一种特征增强和语义分割的桥梁裂缝识别方法，其特征在于，包括以下步骤：
S1、采集包含裂缝的桥梁图像，构建桥梁裂缝数据集；
S2、通过特征提取模型获取桥梁裂缝数据集的高维抽象语义特征；
S3、采用裂缝特征增强模型对高维抽象语义特征进行增强，得到增强特征；
S4、根据增强特征和高维抽象特征，对桥梁裂缝图像进行逐像素分类，得到桥梁裂缝；
所述特征提取模型和裂缝特征增强模型训练时，损失函数为：
Figure FDA0003975785560000011
其中，loss为损失函数，损失函数包括：第一种方式计算的误差结果和第二种方式计算的误差结果，f[(-PtrulogPpred),ξ,Pthr]为第一种方式计算的误差结果，
Figure FDA0003975785560000012
为第二种方式计算的误差结果；
第一种方式f[]函数具体计算过程如下：
若(-PtrulogPpred)|ξ≥-logPthr，则计算误差序列中所有满足条件(-PtrulogPpred)|ξ≥-logPthr的误差值的平均值作为误差结果；
若(-PtrulogPpred)|ξ<-logPthr，则计算误差序列前ξ个值的平均值作为误差结果；
其中，逐像素计算预测概率与标签的误差值，并降序排列，得到误差序列，Ptru为真实概率，Ppred为预测概率，ξ为需要优化的误差值数量，Pthr为概率阈值；
Figure FDA0003975785560000013
Figure FDA0003975785560000021
其中，λPro为单次参与训练的数据中裂缝像素与总像素的比值，Ncrack为单次参与训练的数据中裂缝像素，Ntotal为单次参与训练的总像素，NBat为训练过程中单次参与训练的数据量，NCls为训练过程中单次的分割类别数，NRes为训练过程中单次参与训练的数据量的图像分辨率；
所述步骤S3包括以下分步骤：
S31、根据分割类别，将高维抽象语义特征分割成两个粗分割特征{M1,M2}，其中，粗分割特征M1对应裂缝像素类别，粗分割特征M2对应背景像素类别；
S32、将两个粗分割特征{M1,M2}与高维抽象语义特征进行聚合，得到目标类别的区域；
S33、计算高维抽象语义特征与每一类目标的区域关系，得到目标类别的上下文；
S34、将目标类别的上下文与高维抽象语义特征进行级联融合，得到增强特征；
所述步骤S32中目标类别的区域表达式为：
Figure FDA0003975785560000022
其中，fk为第k类目标的区域，mki为第k类粗分割特征位置i处的像素属于第k类粗分割特征的概率，k等于1时，对应裂缝像素类，k等于2时，对应背景像素类，xi为高维抽象语义特征位置i处的像素，I为高维抽象语义特征中像素的数量；
所述步骤S33中目标类别的上下文表达式为：
Figure FDA0003975785560000031
Figure FDA0003975785560000032
其中，yi为高维抽象语义特征位置i处的目标类别的上下文，wik为高维抽象语义特征位置i处的像素与第k类目标的区域fk的关系权重，δ()为使用步长为1的1×1卷积对特征进行通道整合，k等于1时，对应裂缝像素类，k等于2时，对应背景像素类，xi为高维抽象语义特征位置i处的像素，fj为第j类目标的区域。
2.根据权利要求1所述的特征增强和语义分割的桥梁裂缝识别方法，其特征在于，所述步骤S2中特征提取模型包括：第1稠密卷积块(1_1)至第50稠密卷积块(1_50)，共50个稠密卷积块；第1跨步卷积(2_1)至第16跨步卷积(2_16)，共16个跨步卷积；第1反卷积(3_1)至第13反卷积(3_13)，共13个反卷积。
3.根据权利要求2所述的特征增强和语义分割的桥梁裂缝识别方法，其特征在于，所述特征提取模型包括5个阶段：第0阶段输入1种分辨率特征，输出1种分辨率特征；第1阶段输入第0阶段输出的1种分辨率特征，输出2种分辨率特征；第2阶段输入第1阶段输出的2种分辨率特征，输出3种分辨率特征；第3阶段输入第2阶段输出的3种分辨率特征，输出4种分辨率特征；第4阶段将第3阶段输出的4种分辨率特征进行融合；
所述稠密卷积块用于对相同分辨率特征进行抽象特征提取；
所述跨步卷积用于从高分辨率特征获取低分辨率的高维抽象特征；
所述反卷积用于将低分辨率特征与高分辨率特征相加。
4.根据权利要求3所述的特征增强和语义分割的桥梁裂缝识别方法，其特征在于，所述步骤S2中特征提取模型的输出为：
Figure FDA0003975785560000041
其中，
Figure FDA0003975785560000042
为特征提取模型中第n阶段输出的第q种分辨率特征，n＝1,2,3，
Figure FDA0003975785560000043
为输入特征提取模型中第n阶段的第p种分辨率特征，
Figure FDA0003975785560000044
为特征提取模型中第n阶段从第p种分辨率特征
Figure FDA0003975785560000045
到第q种分辨率特征
Figure FDA0003975785560000046
的映射函数。
5.根据权利要求4所述的特征增强和语义分割的桥梁裂缝识别方法，其特征在于，所述映射函数
Figure FDA0003975785560000047
的表达式为：
Figure FDA0003975785560000048
其中，strideconv()为使用步长为2的3×3卷积将第p种分辨率特征下采样至第q种分辨率特征大小，standardconv()为使用步长为1的3×3卷积对第p种分辨率特征进行特征提取但不改变分辨率大小，deconv()为使用反卷积将第p种分辨率特征上采样至第q种分辨率特征大小。
6.根据权利要求1所述的特征增强和语义分割的桥梁裂缝识别方法，其特征在于，所述步骤S34中增强特征的表达式为：
zi＝δ[(xi T yi T)T]
其中，zi为高维抽象语义特征位置i处级联融合处理后的增强特征，δ[]为使用步长为1的1×1卷积对特征进行通道整合，xi为高维抽象语义特征位置i处的像素，yi为高维抽象语义特征位置i处的目标类别的上下文。
CN202211314399.1A 2022-10-26 2022-10-26 一种特征增强和语义分割的桥梁裂缝识别方法 Expired - Fee Related CN115393725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211314399.1A CN115393725B (zh) 2022-10-26 2022-10-26 一种特征增强和语义分割的桥梁裂缝识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211314399.1A CN115393725B (zh) 2022-10-26 2022-10-26 一种特征增强和语义分割的桥梁裂缝识别方法

Publications (2)

Publication Number Publication Date
CN115393725A CN115393725A (zh) 2022-11-25
CN115393725B true CN115393725B (zh) 2023-03-07

Family

ID=84129402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211314399.1A Expired - Fee Related CN115393725B (zh) 2022-10-26 2022-10-26 一种特征增强和语义分割的桥梁裂缝识别方法

Country Status (1)

Country Link
CN (1) CN115393725B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322446A (zh) * 2019-07-01 2019-10-11 华中科技大学 一种基于相似性空间对齐的域自适应语义分割方法
CN110738642A (zh) * 2019-10-08 2020-01-31 福建船政交通职业学院 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质
CN111062948A (zh) * 2019-11-18 2020-04-24 北京航空航天大学合肥创新研究院 一种基于胎儿四腔心切面图像的多组织分割方法
CN112348770A (zh) * 2020-09-09 2021-02-09 陕西师范大学 一种基于多分辨率卷积网络的桥梁裂缝检测方法
CN112396607A (zh) * 2020-11-18 2021-02-23 北京工商大学 一种可变形卷积融合增强的街景图像语义分割方法
CN112465827A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN112734734A (zh) * 2021-01-13 2021-04-30 北京联合大学 一种基于改进残差网络的铁路隧道裂缝检测方法
CN112862706A (zh) * 2021-01-26 2021-05-28 北京邮电大学 路面裂缝图像预处理方法、装置、电子设备及存储介质
CN113712573A (zh) * 2021-03-01 2021-11-30 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、设备及存储介质
CN114037674A (zh) * 2021-11-04 2022-02-11 天津大学 一种基于语义上下文的工业缺陷图像分割检测方法及装置
CN114359559A (zh) * 2021-12-22 2022-04-15 华南理工大学 基于注意力机制图像块度量学习的弱监督语义分割方法
CN114373226A (zh) * 2021-12-31 2022-04-19 华南理工大学 手术室场景下基于改进HRNet网络的人体姿态估计方法
WO2022116869A1 (en) * 2020-12-03 2022-06-09 Ping An Technology (Shenzhen) Co., Ltd. Method, device, and computer program product for self-supervised learning of pixel-wise anatomical embeddings in medical images
CN114943965A (zh) * 2022-05-31 2022-08-26 西北工业大学宁波研究院 基于课程学习的无监督域自适应遥感图像语义分割方法
CN115049936A (zh) * 2022-08-12 2022-09-13 武汉大学 一种面向高分遥感影像的边界增强型语义分割方法
CN115168443A (zh) * 2022-06-23 2022-10-11 广东工业大学 一种基于gcn-lstm和注意力机制的异常检测方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846409A (zh) * 2018-04-28 2018-11-20 中国人民解放军国防科技大学 基于循环动态卷积神经网络的雷达回波外推模型训练方法
CN109685762A (zh) * 2018-11-09 2019-04-26 五邑大学 一种基于多尺度深度语义分割网络的天线下倾角测量方法
US11315242B2 (en) * 2019-04-10 2022-04-26 International Business Machines Corporation Automated fracture detection using machine learning models
CN110175658A (zh) * 2019-06-26 2019-08-27 浙江大学 一种基于YOLOv3深度学习的混凝土裂缝识别方法
CN111476781B (zh) * 2020-04-08 2023-04-07 浙江大学 一种基于视频语义分割技术的混凝土裂缝识别方法和装置
US11687780B2 (en) * 2020-07-02 2023-06-27 Samsung Electronics Co., Ltd Method and apparatus for data efficient semantic segmentation
CN114663335A (zh) * 2020-12-22 2022-06-24 富泰华工业（深圳）有限公司 图像瑕疵检测方法、装置、电子设备及介质
US11580646B2 (en) * 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net
CN113610778B (zh) * 2021-07-20 2024-03-26 武汉工程大学 一种基于语义分割的桥梁表面裂纹检测方法与系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322446A (zh) * 2019-07-01 2019-10-11 华中科技大学 一种基于相似性空间对齐的域自适应语义分割方法
CN110738642A (zh) * 2019-10-08 2020-01-31 福建船政交通职业学院 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质
CN111062948A (zh) * 2019-11-18 2020-04-24 北京航空航天大学合肥创新研究院 一种基于胎儿四腔心切面图像的多组织分割方法
CN112348770A (zh) * 2020-09-09 2021-02-09 陕西师范大学 一种基于多分辨率卷积网络的桥梁裂缝检测方法
CN112396607A (zh) * 2020-11-18 2021-02-23 北京工商大学 一种可变形卷积融合增强的街景图像语义分割方法
WO2022116869A1 (en) * 2020-12-03 2022-06-09 Ping An Technology (Shenzhen) Co., Ltd. Method, device, and computer program product for self-supervised learning of pixel-wise anatomical embeddings in medical images
CN112465827A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN112734734A (zh) * 2021-01-13 2021-04-30 北京联合大学 一种基于改进残差网络的铁路隧道裂缝检测方法
CN112862706A (zh) * 2021-01-26 2021-05-28 北京邮电大学 路面裂缝图像预处理方法、装置、电子设备及存储介质
CN113712573A (zh) * 2021-03-01 2021-11-30 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、设备及存储介质
CN114037674A (zh) * 2021-11-04 2022-02-11 天津大学 一种基于语义上下文的工业缺陷图像分割检测方法及装置
CN114359559A (zh) * 2021-12-22 2022-04-15 华南理工大学 基于注意力机制图像块度量学习的弱监督语义分割方法
CN114373226A (zh) * 2021-12-31 2022-04-19 华南理工大学 手术室场景下基于改进HRNet网络的人体姿态估计方法
CN114943965A (zh) * 2022-05-31 2022-08-26 西北工业大学宁波研究院 基于课程学习的无监督域自适应遥感图像语义分割方法
CN115168443A (zh) * 2022-06-23 2022-10-11 广东工业大学 一种基于gcn-lstm和注意力机制的异常检测方法及系统
CN115049936A (zh) * 2022-08-12 2022-09-13 武汉大学 一种面向高分遥感影像的边界增强型语义分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Context-Aware Mixup for Domain Adaptive Semantic Segmentation";Qianyu Zhou等;《IEEE Transactions on Circuits and Systems for Video Technology》;20220911;第1-14页 *
"CTNet：Context-based Tandem Network for Semantic Segmentation";Zechao Li等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20210420;第1-14页 *
"Quantify pixel-level detection of dam surface crack using deep learning";Bo chen等;《Measurement science and technology》;20220303;第33卷(第6期);第1-15页 *
"基于可分离残差卷积与语义补偿的U-Net坝面裂缝分割";庞杰等;《计算机工程》;20210430;第47卷(第4期);第306-312页 *
"基于注意力机制的深度学习路面裂缝检测";曹锦纲等;《计算机辅助设计与图形学学报》;20200831;第32卷(第8期);第1324-1333页 *
"基于特征增强整体嵌套网络裂缝检测方法";徐胜军等;《激光与光电子学进展》;20220531;第59卷(第10期);第2页第1节和第4页第2.2节 *

Also Published As

Publication number Publication date
CN115393725A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN113392960B (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN111768388B (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN111882620B (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN110929696A (zh) 一种基于多模态注意与自适应融合的遥感图像语义分割方法
CN111368754B (zh) 一种基于全局上下文信息的机场跑道异物检测方法
CN110796105A (zh) 一种基于多模态数据融合的遥感图像语义分割方法
CN116485717B (zh) 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN111462140B (zh) 一种基于区块拼接的实时图像实例分割方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN115063786A (zh) 一种高位远景模糊车牌检测方法
CN115294103B (zh) 一种基于语义分割的实时工业表面缺陷检测方法
CN108764287B (zh) 基于深度学习和分组卷积的目标检测方法及系统
CN112819837A (zh) 一种基于多源异构遥感影像的语义分割方法
CN115205521A (zh) 基于神经网络的厨余垃圾检测方法
CN116071676A (zh) 一种基于注意力导向金字塔融合的红外小目标检测方法
CN111104855B (zh) 一种基于时序行为检测的工作流识别方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
Chen et al. Research on anti-interference detection of 3D-printed ceramics surface defects based on deep learning
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN111882545B (zh) 基于双向信息传递及特征融合的织物疵点检测方法
CN117853803A (zh) 基于特征增强和通信网络的小样本动车异常检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230307