CN117333733B - 裂缝检测模型训练方法、装置、电子设备及存储介质 - Google Patents
裂缝检测模型训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117333733B CN117333733B CN202311149010.7A CN202311149010A CN117333733B CN 117333733 B CN117333733 B CN 117333733B CN 202311149010 A CN202311149010 A CN 202311149010A CN 117333733 B CN117333733 B CN 117333733B
- Authority
- CN
- China
- Prior art keywords
- detection model
- image
- detection
- sample
- crack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 643
- 238000012549 training Methods 0.000 title claims abstract description 186
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012795 verification Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000006243 chemical reaction Methods 0.000 claims abstract description 46
- 238000003709 image segmentation Methods 0.000 claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims description 63
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002277 temperature effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像处理技术领域,提供一种裂缝检测模型训练方法、装置、电子设备及存储介质。方法包括:对携带有裂缝标签的N个原始样本图像进行图像分割,得到M个第一样本图像,对M个第一样本图像分别进行伽马变换和高斯白噪声增强处理,得到伽马变换后的M个第二样本图像和高斯白噪声增强后的M个第三样本图像;分别通过第一训练样本图像、第二训练样本图像和第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型;通过第一验证样本图像、第二验证样本图像和第三验证样本图像,得到第一检测结果、第二检测结果和第三检测结果;将目标检测结果对应的检测模型,作为裂缝检测模型。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种裂缝检测模型训练方法、装置、电子设备及存储介质。
背景技术
建筑结构受温度效应、疲劳、基础不均匀沉降、地震等作用可能出现裂缝,建筑结构的裂缝是结构损伤的表现,在工业、民用建筑物表面检测鉴定中,裂缝损伤属于可靠性鉴定的主要指标;在桥梁隧道等基础设施工程结构的安全性评估中,裂缝是定期检查或常规检查的重要指标;在实验室结构受力性能试验中,裂缝是模型加载过程量测的关键指标;在工程事故调查中,裂缝是分析事故原因的重要依据。
而相关技术中,通常是将建筑物图像输入分类器后,利用分类器识别建筑物图像中的裂缝,但是这种方法很容易出现检测准确度不佳的问题,因此,如何更好的进行建筑物的裂缝检测,已经成为业界亟待解决的问题。
发明内容
本申请实施例提供一种裂缝检测模型训练方法、装置、电子设备及存储介质,用以解决利用裂缝检测准确度不佳的技术问题。
第一方面,本申请实施例提供一种裂缝检测模型训练方法,包括:
对携带有裂缝标签的N个原始样本图像进行图像分割,得到M个第一样本图像,对所述M个第一样本图像分别进行伽马变换和高斯白噪声增强处理,得到伽马变换后的M个第二样本图像和高斯白噪声增强后的M个第三样本图像;
分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型;
通过所述M个第一样本图像中的第一验证样本图像、所述M个第二样本图像中的第二验证样本图像和所述M个第三样本图像中的第三验证样本图像分别对所述第一检测模型、所述第二检测模型和所述第三检测模型进行检测,得到所述第一检测模型的第一检测结果、所述第二检测模型的第二检测结果和所述第三检测模型的第三检测结果,M和N均为正整数;
将目标检测结果对应的检测模型,作为裂缝检测模型;所述目标检测结果是所述第一检测结果、第二检测结果和所述第三检测结果中的最优检测结果。
在一个实施例中,在将目标检测结果对应的检测模型,作为裂缝检测模型之后,还包括:
在所述裂缝检测模型为所述第二检测模型的情况下,将第一待检测图像进行图像分割和伽马变换处理,得到多个第二待检测图像;
将各个所述第二待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
在一个实施例中,在将目标检测结果对应的检测模型,作为裂缝检测模型之后,还包括:
在所述裂缝检测模型为所述第三检测模型的情况下,将第三待检测图像进行图像分割和高斯白噪声增强处理,得到多个第四待检测图像;
将各个所述第四待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
在一个实施例中,在将目标检测结果对应的检测模型,作为裂缝检测模型之后,还包括:
在所述裂缝检测模型为所述第一检测模型的情况下,将第五待检测图像进行图像分析,得到多个第六待检测图像;
将各个所述第六待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
在一个实施例中,所述M个第二样本图像的生成方法,具体为:
对于每个所述第一样本图像,将所述第一样本图像进行灰度处理后,得到第一灰度图像;
将所述第一灰度图像转换为第一图像矩阵,并对所述第一图像矩阵中的每个元素进行归一化处理,得到归一化后的第二图像矩阵;
对所述第二图像矩阵进行伽马变换后,将伽马变换后的第二图像矩阵转换为图像,得到第二样本图像;遍历所述M个第一样本图像,得到M个第二样本图像。
在一个实施例中,所述M个第三样本图像的生成方法,具体为:
对于每个第一样本图像,将所述第一样本图像进行灰度处理,得到第二灰度图像,再将所述第二灰度图像转换为第二图像矩阵;
生成与所述第二图像矩阵相同大小的白噪声矩阵,根据所述白噪声矩阵和所述第二图像矩阵,得到白噪声变换后的第三图像矩阵;
将所述第三图像矩阵转换为图像,得到第三样本图像;遍历所述M个第一样本图像,得到M个第三样本图像。
在一个实施例中,分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型,包括:
将任一训练样本输入预设检测模型中的骨干网络,输出所述训练样本对应的多层特征图,所述训练样本为:所述第一训练样本图像、所述第二训练样本图像或所述第三训练样本图像;
将所述多层特征图输入所述预设检测模型中的ACmix注意力模块,使所述多层特征图聚焦裂缝位置,得到第一中间结果;
将所述第一中间结果输入所述预设检测模型中的Neck网络,对特征图进行多尺度融合,并将融合结果输入所述预设检测模型中的Head模块,输出所述训练样本对应的裂缝检测结果;
根据所述裂缝检测结果和所述训练样本对应的裂缝标签计算损失值;
在所述损失值小于预设阈值的情况下,停止训练,得到第一检测模型、第二检测模型和第三检测模型。
在一个实施例中,在所述第一检测结果包括第一检测正确率、第一召回率和第一平均正确率,所述第二检测结果包括第二检测正确率、第二召回率和第二平均正确率,所述第三检测结果包括第三检测正确率、第三召回率和第三平均正确率的情况下,所述目标检测结果的确定方法,包括:
根据所述第一检测正确率、所述第二检测正确率和所述第三检测正确率中的最大值,确定所述最优检测结果;
在所述第一检测正确率、所述第二检测正确率和所述第三检测正确率均相等的情况下,根据所述第一平均正确率、所述第二平均正确率和所述第三平均正确率中的最大值,确定所述最优检测结果;
在所述第一检测正确率、所述第二检测正确率和所述第三检测正确率均相等,且所述第一平均正确率、所述第二平均正确率和所述第三平均正确率也相等的情况下,根据所述第一召回率、所述第二召回率和所述第三召回率中的最大值,确定所述最优检测结果。
第二方面,本申请实施例提供一种裂缝检测模型训练装置,包括:
图像处理模块,用于对携带有裂缝标签的N个原始样本图像进行图像分割,得到M个第一样本图像,对所述M个第一样本图像分别进行伽马变换和高斯白噪声增强处理,得到伽马变换后的M个第二样本图像和高斯白噪声增强后的M个第三样本图像;
训练模块,用于分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型;
验证模块,用于通过所述M个第一样本图像中的第一验证样本图像、所述M个第二样本图像中的第二验证样本图像和所述M个第三样本图像中的第三验证样本图像分别对所述第一检测模型、所述第二检测模型和所述第三检测模型进行检测,得到所述第一检测模型的第一检测结果、所述第二检测模型的第二检测结果和所述第三检测模型的第三检测结果,M和N均为正整数;
确定模块,用于将目标检测结果对应的检测模型,作为裂缝检测模型;所述目标检测结果是所述第一检测结果、第二检测结果和所述第三检测结果中的最优检测结果。
第三方面,本申请实施例提供一种电子设备,包括处理器和存储有计算机程序的存储器,所述处理器执行所述程序时实现第一方面所述的裂缝检测模型训练方法的步骤。
第四方面,本申请实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述裂缝检测模型训练方法。
本申请实施例提供的裂缝检测模型训练方法、装置、电子设备及存储介质,通过对原始样本图像分别进行图像分割后得到第一样本图像,并分别进行伽马变换和高斯白噪声增强处理得到第二样本图像和第三样本图像后,分别通过第一样本图像、第二样本图像和第三样本图像中的训练样本图像训练得到三个检测模型后,分别通过第一样本图像、第二样本图像和第三样本图像中的验证样本图像对这三个检测模型进行验证,并根据验证结果从而这三个检测模型中确定最优的模型作为裂缝检测模型,通过从三种不同图像处理方式的样本图像训练得到的三个检测模型中,选取检测结果最优的模型作为最终的裂缝检测模型,能够有效的保证裂缝的识别准确率。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的裂缝检测模型训练方法的流程示意图;
图2为本申请实施例提供的SIoU损失函数的计算图;
图3为本申请实施例提供的裂缝检测模型训练装置结构示意图;
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1是本申请实施例提供的裂缝检测模型训练方法的流程示意图。参照图1,本申请实施例提供一种裂缝检测模型训练方法,可以包括:
步骤110,对携带有裂缝标签的N个原始样本图像进行图像分割,得到M个第一样本图像,对所述M个第一样本图像分别进行伽马变换和高斯白噪声增强处理,得到伽马变换后的M个第二样本图像和高斯白噪声增强后的M个第三样本图像;
本申请实施例中的原始样本图像具体可以是建筑物图像,例如桥梁隧道或者楼房的图像等,该原始样本图像中可以包括一个或者多个建筑物裂缝区域。
本申请实施例中每个原始样本图像均可以携带有裂缝标签,该裂缝标签用于标识原始样本图像中的裂缝区域,该标签可以是以图像框或者数据标识的形式存在的。
本申请实施例中对每张原始样本图像均会进行图像分割处理,即可以将一张原始样本图像分割为多张第一样本图像,并且相应的,原始样本图像中的裂缝标签也会自动关联到第一样本图像中。
在一个可选地实施例中,在进行图像分割的过程中,可以避开裂缝区域。
在本申请实施例中,通过图像分割能够更进一步细化裂缝检测的图像内容,有效提高检测的进度。
在N个原始样本图像均进行图像分割后,可以得到M个第一样本图像,然后对每一个第一样本图像分别进行高斯白噪声增强处理和伽马变换处理,然后伽马变换后的第二样本图像和高斯白噪声增强后的第三样本图像,遍历M个第一样本图像,可以得到伽马变换后的M个第二样本图像和高斯白噪声增强后的M个第三样本图像。
在本申请实施例中,第一图像样本携带的裂缝标签也会对应关联到第二样本图像和第三样本图像中,即第二样本图像和第三样本图像也会携带有裂缝标签。
在本申请实施例中,分别通过伽马变换和高斯白噪声增强处理,可以得到不同图像增强效果的第二样本图像和第三样本图像,提供多样化的训练样本。
步骤120,分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型;
在本申请实施例中,在得到M个第一样本图像后,可以按照第一比例,将M个第一样本图像划分为训练组和验证组,得到至少一个第一训练样本图像和第一验证样本图像。
在本申请实施例中,在得到M个第二样本图像后,可以按照第二比例,将M个第二样本图像划分为训练组和验证组,得到至少一个第二训练样本图像和第二验证样本图像。
在本申请实施例中,在得到M个第三样本图像后,可以按照第三比例,将M个第三样本图像划分为训练组和验证组,得到至少一个第三训练样本图像和第三验证样本图像。
本申请实施例中的训练组用于进行模型训练,验证组用于在模型训练后,对该模型进行验证。
本申请实施例中所描述的预设检测模型具体可以是指YOLO模型,具体可以是包括Backbone网络、ACmix注意力模块、Neck网络和Head模块的,该预设检测模型改进了YOLOv5中的backbone网络和Neck网络,增加多尺度目标检测层,引入ACmix模块,能够减少模型计算开销,提升速度并使特征提取网络更加关注浅层特征的提取,能更加彻底地提取浅层细节特征和深层高级语义特征,使得模型的鲁棒性更好。
本申请实施例中,通过所述M个第一样本图像中的第一训练样本图像对预设检测模型进行训练,在满足第一预设训练条件的情况下,结束训练,得到第一检测模型;通过所述M个第二样本图像中的第二训练样本图像对预设检测模型进行训练,在满足第二预设训练条件的情况下,结束训练,得到第二检测模型;通过所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,在满足第三预设训练条件的情况下,结束训练,得到第三检测模型;
在本申请实施例中,可以通过三种不同图像强化处理方式的训练样本图像来对预设检测模型分别进行训练,从而得到不同的第一检测模型、第二检测模型和第三检测模型。
步骤130,通过所述M个第一样本图像中的第一验证样本图像、所述M个第二样本图像中的第二验证样本图像和所述M个第三样本图像中的第三验证样本图像分别对所述第一检测模型、所述第二检测模型和所述第三检测模型进行检测,得到所述第一检测模型的第一检测结果、所述第二检测模型的第二检测结果和所述第三检测模型的第三检测结果,M和N均为正整数;
在本申请实施例中,将携带有裂缝标签的第一验证样本图像输入第一检测模型后,输出第一裂缝检测结果,再将第一裂缝检测结果与裂缝标签进行比较,从而确定第一检测模型的第一检测结果。
将携带有裂缝标签的第二验证样本图像输入第二检测模型后,输出第二裂缝检测结果,再将第二裂缝检测结果与裂缝标签进行比较,从而确定第二检测模型的第二检测结果。
将携带有裂缝标签的第三验证样本图像输入第三检测模型后,输出第三裂缝检测结果,再将第三裂缝检测结果与裂缝标签进行比较,从而确定第三检测模型的第三检测结果。
在本申请实施例中,第一检测结果、第二检测结果和第三检测结果包括各自模型对应的检测正确率、召回率和平均正确率。
步骤140,将目标检测结果对应的检测模型,作为裂缝检测模型;所述目标检测结果是所述第一检测结果、第二检测结果和所述第三检测结果中的最优检测结果。
在本申请实施例中,在得到第一检测结果、第二检测结果和第三检测结果之后,可以进一步比较各个检测结果,确定第一检测结果、第二检测结果和第三检测结果中的最大值,作为目标检测结果。
在确定目标检测结果后,将目标检测结果对应的检测模型作为最终的裂缝检测模型。
本申请实施例中的裂缝检测模型,用于对输入的待检测图像进行裂缝检测分析,输出裂缝检测结果。
在一个可选地实施例中,裂缝检测模型确定后,在对待处理图像进行分析时,可以按照该检测模型对应训练样本的图像处理方式,对该待处理图像进行处理后,再输入到裂缝检测模型中,最终输出裂缝检测结果。
在本申请实施例,通过对原始样本图像分别进行图像分割后得到第一样本图像,并分别进行伽马变换和高斯白噪声增强处理得到第二样本图像和第三样本图像后,分别通过第一样本图像、第二样本图像和第三样本图像中的训练样本图像训练得到三个检测模型后,分别通过第一样本图像、第二样本图像和第三样本图像中的验证样本图像对这三个检测模型进行验证,并根据验证结果从而这三个检测模型中确定最优的模型作为裂缝检测模型,通过从三种不同图像处理方式的样本图像训练得到的三个检测模型中,选取检测结果最优的模型作为最终的裂缝检测模型,能够有效的保证裂缝的识别准确率。
在将目标检测结果对应的检测模型,作为裂缝检测模型之后,还包括:
在所述裂缝检测模型为所述第二检测模型的情况下,将第一待检测图像进行图像分割和伽马变换处理,得到多个第二待检测图像;
将各个所述第二待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
在本申请实施例中,第一待检测图像可以是需要进行裂缝检测的建筑物图像。
在本申请实施例中,裂缝检测模型为所述第二检测模型的情况下,则说明该裂缝模型对应的训练样本均是经过伽马变换处理后的样本图形,因此,为了更好的贴合模型的特征,提高模型检测准确度,因此可以将第一待检测图像进行同样的图像处理方法。
具体可以是将第一待检测图像进行图像分割处理后,再对分割后的每个图像进行伽马变换处理。
在本申请实施例中,图像分割处理具体可以是将一张图像按照预设尺寸进行分割,得到多张图像,在得到分割后的图像后,可以对每张分割后的图像进行伽马变换处理,得到多张第二待检测图像。
在本申请实施例中,在得到多个第二待检测图像后,将每个第二待检测图像输入到裂缝检测模型中,然后裂缝检测模型会输出各个第二待检测图像对应的裂缝检测结果,然后根据各个裂缝检测结果,最终可以得到第一待检测图像的裂缝检测结果。
在一个可选地实施例中,最终输出的裂缝检测结果可以是将分割后小图的检测结果映射到原始大图;或者,筛选出识别框置信度得分大于指定置信度阈值的检测框,汇总出检测结果。或者,用指定颜色的检测框框选出建筑体表面裂缝,并在检测框的左上角标明置信度得分。
在本申请实施例中,裂缝检测模型为所述第二检测模型的情况下,将第一待检测图像按照第二检测模型的训练样本一样进行图像分割和伽马变换处理,使得输入的图像更贴近第二检测模型,能够有效提高裂缝检测的准确率。
可选地,在将目标检测结果对应的检测模型,作为裂缝检测模型之后,还包括:
在所述裂缝检测模型为所述第三检测模型的情况下,将第三待检测图像进行图像分割和高斯白噪声增强处理,得到多个第四待检测图像;
将各个所述第四待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
在本申请实施例中,第三待检测图像可以是需要进行裂缝检测的建筑物图像。
在本申请实施例中,裂缝检测模型为第三检测模型的情况下,则说明此时该裂缝模型对应的训练样本均是经过高斯白噪声增强处理后的样本图像,因此,为了更好的贴合模型的特征,提高模型检测准确度,因此可以将第三待检测图像进行同样的图像处理方法。
具体可以是将第三待检测图像进行图像分割后,再对分割后的多个待检测图像进行高斯白噪声增强处理,得到多个第四待检测图像。
在本申请实施例中,在得到多个第四待检测图像之后看,可以将各个所述第四待检测图像输入所述裂缝检测模型,得到各个第四待检测图像的裂缝检测结果。
在一个可选地实施例中,最终输出的裂缝检测结果可以是将分割后第四待检测图像的检测结果映射到原始第三待检测图像;或者,筛选出识别框置信度得分大于指定置信度阈值的检测框,汇总出检测结果。或者,用指定颜色的检测框框选出建筑体表面裂缝,并在检测框的左上角标明置信度得分。
在本申请实施例中,裂缝检测模型为所述第三检测模型的情况下,将第三待检测图像按照第三检测模型的训练样本一样进行图像分割和高斯白噪声增强处理,使得输入的图像更贴近第三检测模型,能够有效提高裂缝检测的准确率。
可选地,在将目标检测结果对应的检测模型,作为裂缝检测模型之后,还包括:
在所述裂缝检测模型为所述第一检测模型的情况下,将第五待检测图像进行图像分析,得到多个第六待检测图像;
将各个所述第六待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
在本申请实施例中,第五待检测图像可以是需要进行裂缝检测的建筑物图像。
在本申请实施例中,在裂缝检测模型为第一检测模型的情况下,则说明,此时裂缝模型对应的训练样本均是只经过图像分割处理后的样本图像,因此,对于输入该裂缝检测模型的第五待检测图像,可以进行图像分割处理后得到多个第六待处理图像后,再将其输入裂缝检测模型,输出各个第六待处理图像的裂缝检测结果。
在一个可选地实施例中,最终输出的裂缝检测结果可以是将分割后第六待检测图像的检测结果映射到原始第五待检测图像;或者,筛选出识别框置信度得分大于指定置信度阈值的检测框,汇总出检测结果。或者,用指定颜色的检测框框选出建筑体表面裂缝,并在检测框的左上角标明置信度得分。
裂缝检测模型为所述第一检测模型的情况下,将第一待检测图像按照第一检测模型的训练样本一样进行图像分割处理,使得输入的图像更贴近第三检测模型,能够有效提高裂缝检测的准确率。
可选地,所述M个第二样本图像的生成方法,具体为:
对于每个所述第一样本图像,将所述第一样本图像进行灰度处理后,得到第一灰度图像;
将所述第一灰度图像转换为第一图像矩阵,并对所述第一图像矩阵中的每个元素进行归一化处理,得到归一化后的第二图像矩阵;
对所述第二图像矩阵进行伽马变换后,将伽马变换后的第二图像矩阵转换为图像,得到第二样本图像;遍历所述M个第一样本图像,得到M个第二样本图像。
在本申请实施例中,可以遍历各个第一样本图像,对每张第一样本图像进行伽马变换增强处理。
具体可以是将第一样本图像转换为灰度图,得到第一灰度图像,然后将各个第一灰度图转换为矩阵,得到各个第一图像矩阵,然后将第一图像中的每个元素归一化到范围[0,1]之后,得到第二图像矩阵。
在得到第二图像矩阵之后,可以对该矩阵B进行伽马变换,变换结果记为B',b(i,j)表示B的第i行第j列元素,b'(i,j)表示B'的第i行第j列元素,b'(i,j)=power(b(i,j),γ),0≤i<H,0≤j<W,power(b(i,j),γ)表示b(i,j)的γ次幂。
在得到伽马变换后的第二图像矩阵B'之后,可以将其转换为图像,完成伽马变化,得到第二样本图像,遍历M个第一样本图像,个可以得到M个第二样本图像。
在本申请实施例中,通过对第一样本图像进行伽马变换后,可以得到伽马变换后的第二样本图像,通过图像增强,能够提供更多种的训练样本,能够提高模型识别的准确性。
可选地,所述M个第三样本图像的生成方法,具体为:
对于每个第一样本图像,将所述第一样本图像进行灰度处理,得到第二灰度图像,再将所述第二灰度图像转换为第二图像矩阵;
生成与所述第二图像矩阵相同大小的白噪声矩阵,根据所述白噪声矩阵和所述第二图像矩阵,得到白噪声变换后的第三图像矩阵;
将所述第三图像矩阵转换为图像,得到第三样本图像;遍历所述M个第一样本图像,得到M个第三样本图像。
在本申请实施例中,遍历M个第一样本图像,将每个第一样本图进行灰度处理,转换为灰度图后,得到第二灰度图像。
然后再将第二灰度图像转换为第二图像矩阵B,随后可以生成一个与第二图像矩阵等大小的白噪声矩阵N,根据所述白噪声矩阵和所述第二图像矩阵,得到白噪声变换后的第三图像矩阵B'=N+B。
在本申请实施例中,在得到第三图像矩阵之后,可以进一步将其转换为图像,得到第三样本图像,遍历所有的M个第一样本图像,会到M个第三样本图像。
在本申请实施例中,通过对第一样本图像进行高斯白噪声增强处理后后,可以得到白噪声增强后的第三样本图像,通过图像增强,能够提供更多样的训练样本,能够提高模型识别的准确性。
可选地,分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型,包括:
将任一训练样本输入预设检测模型中的骨干网络,输出所述训练样本对应的多层特征图,所述训练样本为:所述第一训练样本图像、所述第二训练样本图像或所述第三训练样本图像;
将所述多层特征图输入所述预设检测模型中的ACmix注意力模块,使所述多层特征图聚焦裂缝位置,得到第一中间结果;
将所述第一中间结果输入所述预设检测模型中的Neck网络,对特征图进行多尺度融合,并将融合结果输入所述预设检测模型中的Head模块,输出所述训练样本对应的裂缝检测结果;
根据所述裂缝检测结果和所述训练样本对应的裂缝标签计算损失值;
在所述损失值小于预设阈值的情况下,停止训练,得到第一检测模型、第二检测模型和第三检测模型。
在本申请实施例中,可以将第一训练样本图像的集合、所述第二训练样本图像的集合和所述第三训练样本图像的集合,作为三组训练集,分别输入到预设模型中进行训练,进而在完成训练后,得到第一检测模型、第二检测模型和第三检测模型。
在本申请实施例中,第一检测模型的训练方式具体可以包括:将各个第一训练样本图像输入Backbone网络,得到多层特征图;
将多层特征图输入ACmix注意力模块,使多层特征图聚焦裂缝位置,捕捉关键裂缝信息,提升浅层裂缝与轮廓信息的识别率;
将ACmix注意力模块的结果输入Neck网络,对特征图进行多尺度融合;
将融合结果输入Head模块预测得到识别结果;
过预测得到的识别框与原始标注框的角度成本、距离成本、形状成本计算得到损失LSIoU;角度成本描述了中心点连接与X、Y轴的最小角度,距离成本描述了中心点之间的距离,形状成本考虑两框之间的长宽比,是通过计算两框之间宽之差和二者之间最大宽之比(长同理)来定义的;
判断损失值loss是否小于预设阈值,即损失值是否收敛达到预设标准,如未达到预设标准,则调整模型的超参数,重新训练模型;如已达到预设标准,则结束训练,得到第一检测模型,导出训练好的第一检测模型权重系数。
针对于第二检测模型和第三检测模型,可以基于第二训练样本图像和第三训练样本图像分别重复上述训练步骤,在第二检测模型和第三检测模型均结束训练后,可以得到第一检测模型,导出训练好的第二检测模型权重系数和训练好的第三检测模型权重系数。
在一个可选地实施例中,在结束训练后,可以分别通过第一验证样本图像对第一检测模型进行评估,计算得到第一检测模型的第一检测结果,在第一检测结果超过第一检测阈值的情况下,则停止第一检测模型的训练,若第一检测结果小于或等于第一检测阈值,则此时需要调整第一检测模型的超参数,重新训练第一检测模型。
同理,通过第二验证样本图像对第二检测模型进行评估,计算得到第二检测模型的第二检测结果,在第二检测结果超过第二检测阈值的情况下,则停止第二检测模型的训练,若第二检测结果小于或等于第二检测阈值,则此时需要调整第二检测模型的超参数,重新训练第二检测模型。
通过第三验证样本图像对第三检测模型进行评估,计算得到第三检测模型的第三检测结果,在第三检测结果超过第三检测阈值的情况下,则停止第三检测模型的训练,若第三检测结果小于或等于第三检测阈值,则此时需要调整第三检测模型的超参数,重新训练第三检测模型。
在一个可选地实施例中,本申请实施例中损失值的计算,具体可以是使用SIoU损失函数,考虑了角度成本的影响,利用角度成本重新描述距离,损失函数总自由度降低,图2为本申请实施例提供的SIoU损失函数的计算图,如图2所示,
(1)角度成本
通过确认角度是否大于45度,来决定使用最小化β还是α,α表示目标框和预测框中心连线与x轴的夹角,β表示与y轴的夹角;
角度成本∧计算公式如式(1)所示。
其中:
ch表示预测框中心到目标框中心的垂直距离,σ表示预测框中心到目标框中心的直线距离,bgt为预测框中心点,cx为预测框右侧与目标框左侧横向距离;cy为预测框上方与目标框下方垂直距离。
(2)距离成本
距离成本代表预测框和真实框两框中心点之间的距离,与角度成本结合,距离成本Δ重新定义后计算公式如式(5)所示。
其中,ρt是距离损失使用2次幂来赋权重:
γ =2-∧ (8)
cw为预测框中心点与目标框中心点横向距离,当α接近于0时,距离成本所做的贡献就会大大降低;相反,当α接近π/4时,距离成本的贡献程度越大。随着角度在增加,γ得到时间优先的距离值。
(3)形状成本
形状成本Ω的计算公式如式(9)所示。
其中:
其中,θ为形状损失的关注程度,通过设定θ为1,对外形长宽比进行优化以限制其自由运动。
综上,结合角度成本、距离成本和形状成本后,SIoU损失函数的表达式如式(12)所示。
其中,IoU用于表示目标框与预测框的重叠度。
在本申请实施例中,通过上述SIoU损失函数的表达式来计算各个检测模型的损失值,在各个检测模型的损失值小于各自对应的预设阈值的时候,停止训练,得到第一检测模型、第二检测模型和第三检测模型。
在本申请实施例中,分别通过第一训练样本图像、第二训练样本图像和第三训练样本图像对预设检测模型进行训练,可以得到能够针对不同增强图像特点进行裂缝检测的第一检测模型、第二检测模型和第三检测模型,可以提供多样化的模型选择,便于选优。
可选地,在所述第一检测结果包括第一检测正确率、第一召回率和第一平均正确率,所述第二检测结果包括第二检测正确率、第二召回率和第二平均正确率,所述第三检测结果包括第三检测正确率、第三召回率和第三平均正确率的情况下,所述目标检测结果的确定方法,包括:
根据所述第一检测正确率、所述第二检测正确率和所述第三检测正确率中的最大值,确定所述最优检测结果;
在所述第一检测正确率、所述第二检测正确率和所述第三检测正确率均相等的情况下,根据所述第一平均正确率、所述第二平均正确率和所述第三平均正确率中的最大值,确定所述最优检测结果;
在所述第一检测正确率、所述第二检测正确率和所述第三检测正确率均相等,且所述第一平均正确率、所述第二平均正确率和所述第三平均正确率也相等的情况下,根据所述第一召回率、所述第二召回率和所述第三召回率中的最大值,确定所述最优检测结果。
在本申请实施例中,在得到第一检测结果、第二检测结果和第三检测结果之后,可以进一步对这三个检测结果进行比较,其具体可以是全面比较检测正确率、召回率和平均正确率之间的大小。
由于检测正确率、召回率和平均正确率之间往往是关联的数据,因此较容易在第一检测结果、第二检测结果和第三检测结果之间确定数值最大的最优检测结果。
而在一些特殊情况下,第一检测正确率、所述第二检测正确率和所述第三检测正确率均相等,此时需要进一步比较第一平均正确率、所述第二平均正确率和所述第三平均正确率,从而确定最优检测结果。
第一检测正确率、所述第二检测正确率和所述第三检测正确率均相等,且所述第一平均正确率、所述第二平均正确率和所述第三平均正确率也相等的情况下,则可以根据第一召回率、第二召回率和第三召回率,来最终确定最优检测结果。
在本申请实施例中,通过第一检测结果、第二检测结果和第三检测结果中各个参数的比较,能够有效根据检测结果从第一检测模型、第二检测模型和第三检测模型中优选出最终的裂缝检测模型,有效保证裂缝模型检测的准确度。
在本申请实施例中,相比现有单个模型裂缝识别方式,本申请采用对裂缝特征进行多种增强处理并训练多种目标检测模型,选择最优的目标检测模型及图像特征增强的预处理方式;
本申请的方案相比现有数据处理或裂缝识别关注模型的方法,实现了从数据预处理、数据集划分、模型训练、模型选优、模型推理、到识别结果后处理的完整的建筑体表面裂缝检测方法。
下面对本申请实施例提供的裂缝检测模型训练装置进行描述,下文描述的裂缝检测装置与上文描述的裂缝检测方法可相互对应参照。
图3为本申请实施例提供的裂缝检测模型训练装置结构示意图,如图3所示,包括:
图像处理模块310用于对携带有裂缝标签的N个原始样本图像进行图像分割,得到M个第一样本图像,对所述M个第一样本图像分别进行伽马变换和高斯白噪声增强处理,得到伽马变换后的M个第二样本图像和高斯白噪声增强后的M个第三样本图像;
训练模块320用于分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型;
验证模块330用于通过所述M个第一样本图像中的第一验证样本图像、所述M个第二样本图像中的第二验证样本图像和所述M个第三样本图像中的第三验证样本图像分别对所述第一检测模型、所述第二检测模型和所述第三检测模型进行检测,得到所述第一检测模型的第一检测结果、所述第二检测模型的第二检测结果和所述第三检测模型的第三检测结果,M和N均为正整数;
确定模块340用于将目标检测结果对应的检测模型,作为裂缝检测模型;所述目标检测结果是所述第一检测结果、第二检测结果和所述第三检测结果中的最优检测结果。
所述装置还用于:
在所述裂缝检测模型为所述第二检测模型的情况下,将第一待检测图像进行图像分割和伽马变换处理,得到多个第二待检测图像;
将各个所述第二待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
所述装置还用于:
在所述裂缝检测模型为所述第三检测模型的情况下,将第三待检测图像进行图像分割和高斯白噪声增强处理,得到多个第四待检测图像;
将各个所述第四待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
所述装置还用于:
在所述裂缝检测模型为所述第一检测模型的情况下,将第五待检测图像进行图像分析,得到多个第六待检测图像;
将各个所述第六待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
所述装置还用于:
对于每个所述第一样本图像,将所述第一样本图像进行灰度处理后,得到第一灰度图像;
将所述第一灰度图像转换为第一图像矩阵,并对所述第一图像矩阵中的每个元素进行归一化处理,得到归一化后的第二图像矩阵;
对所述第二图像矩阵进行伽马变换后,将伽马变换后的第二图像矩阵转换为图像,得到第二样本图像;遍历所述M个第一样本图像,得到M个第二样本图像。
所述装置还用于:
对于每个第一样本图像,将所述第一样本图像进行灰度处理,得到第二灰度图像,再将所述第二灰度图像转换为第二图像矩阵;
生成与所述第二图像矩阵相同大小的白噪声矩阵,根据所述白噪声矩阵和所述第二图像矩阵,得到白噪声变换后的第三图像矩阵;
将所述第三图像矩阵转换为图像,得到第三样本图像;遍历所述M个第一样本图像,得到M个第三样本图像。
所述装置还用于:
将任一训练样本输入预设检测模型中的骨干网络,输出所述训练样本对应的多层特征图,所述训练样本为:所述第一训练样本图像、所述第二训练样本图像或所述第三训练样本图像;
将所述多层特征图输入所述预设检测模型中的ACmix注意力模块,使所述多层特征图聚焦裂缝位置,得到第一中间结果;
将所述第一中间结果输入所述预设检测模型中的Neck网络,对特征图进行多尺度融合,并将融合结果输入所述预设检测模型中的Head模块,输出所述训练样本对应的裂缝检测结果;
根据所述裂缝检测结果和所述训练样本对应的裂缝标签计算损失值;
在所述损失值小于预设阈值的情况下,停止训练,得到第一检测模型、第二检测模型和第三检测模型。
所述装置还用于:
根据所述第一检测正确率、所述第二检测正确率和所述第三检测正确率中的最大值,确定所述最优检测结果;
在所述第一检测正确率、所述第二检测正确率和所述第三检测正确率均相等的情况下,根据所述第一平均正确率、所述第二平均正确率和所述第三平均正确率中的最大值,确定所述最优检测结果;
在所述第一检测正确率、所述第二检测正确率和所述第三检测正确率均相等,且所述第一平均正确率、所述第二平均正确率和所述第三平均正确率也相等的情况下,根据所述第一召回率、所述第二召回率和所述第三召回率中的最大值,确定所述最优检测结果。
在本申请实施例中,通过对原始样本图像分别进行图像分割后得到第一样本图像,并分别进行伽马变换和高斯白噪声增强处理得到第二样本图像和第三样本图像后,分别通过第一样本图像、第二样本图像和第三样本图像中的训练样本图像训练得到三个检测模型后,分别通过第一样本图像、第二样本图像和第三样本图像中的验证样本图像对这三个检测模型进行验证,并根据验证结果从而这三个检测模型中确定最优的模型作为裂缝检测模型,通过从三种不同图像处理方式的样本图像训练得到的三个检测模型中,选取检测结果最优的模型作为最终的裂缝检测模型,能够有效的保证裂缝的识别准确率。
图4是本申请实施例提供的电子设备的结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(Communication Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的计算机程序,以执行裂缝检测模型训练方法的步骤,例如包括:
对携带有裂缝标签的N个原始样本图像进行图像分割,得到M个第一样本图像,对所述M个第一样本图像分别进行伽马变换和高斯白噪声增强处理,得到伽马变换后的M个第二样本图像和高斯白噪声增强后的M个第三样本图像;
分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型;
通过所述M个第一样本图像中的第一验证样本图像、所述M个第二样本图像中的第二验证样本图像和所述M个第三样本图像中的第三验证样本图像分别对所述第一检测模型、所述第二检测模型和所述第三检测模型进行检测,得到所述第一检测模型的第一检测结果、所述第二检测模型的第二检测结果和所述第三检测模型的第三检测结果,M和N均为正整数;
将目标检测结果对应的检测模型,作为裂缝检测模型;所述目标检测结果是所述第一检测结果、第二检测结果和所述第三检测结果中的最优检测结果。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各实施例所提供的裂缝检测模型训练方法的步骤,例如包括:
对携带有裂缝标签的N个原始样本图像进行图像分割,得到M个第一样本图像,对所述M个第一样本图像分别进行伽马变换和高斯白噪声增强处理,得到伽马变换后的M个第二样本图像和高斯白噪声增强后的M个第三样本图像;
分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型;
通过所述M个第一样本图像中的第一验证样本图像、所述M个第二样本图像中的第二验证样本图像和所述M个第三样本图像中的第三验证样本图像分别对所述第一检测模型、所述第二检测模型和所述第三检测模型进行检测,得到所述第一检测模型的第一检测结果、所述第二检测模型的第二检测结果和所述第三检测模型的第三检测结果,M和N均为正整数;
将目标检测结果对应的检测模型,作为裂缝检测模型;所述目标检测结果是所述第一检测结果、第二检测结果和所述第三检测结果中的最优检测结果。
另一方面,本申请实施例还提供一种处理器可读存储介质,所述处理器可读存储介质存储有计算机程序,所述计算机程序用于使处理器执行上述各实施例提供的方法的步骤,例如包括:
对携带有裂缝标签的N个原始样本图像进行图像分割,得到M个第一样本图像,对所述M个第一样本图像分别进行伽马变换和高斯白噪声增强处理,得到伽马变换后的M个第二样本图像和高斯白噪声增强后的M个第三样本图像;
分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型;
通过所述M个第一样本图像中的第一验证样本图像、所述M个第二样本图像中的第二验证样本图像和所述M个第三样本图像中的第三验证样本图像分别对所述第一检测模型、所述第二检测模型和所述第三检测模型进行检测,得到所述第一检测模型的第一检测结果、所述第二检测模型的第二检测结果和所述第三检测模型的第三检测结果,M和N均为正整数;
将目标检测结果对应的检测模型,作为裂缝检测模型;所述目标检测结果是所述第一检测结果、第二检测结果和所述第三检测结果中的最优检测结果。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种裂缝检测模型训练方法,其特征在于,包括:
对携带有裂缝标签的N个原始样本图像进行图像分割,得到M个第一样本图像,对所述M个第一样本图像分别进行伽马变换和高斯白噪声增强处理,得到伽马变换后的M个第二样本图像和高斯白噪声增强后的M个第三样本图像;
分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型;
通过所述M个第一样本图像中的第一验证样本图像、所述M个第二样本图像中的第二验证样本图像和所述M个第三样本图像中的第三验证样本图像分别对所述第一检测模型、所述第二检测模型和所述第三检测模型进行检测,得到所述第一检测模型的第一检测结果、所述第二检测模型的第二检测结果和所述第三检测模型的第三检测结果,M和N均为正整数;
将目标检测结果对应的检测模型,作为裂缝检测模型;所述目标检测结果是所述第一检测结果、第二检测结果和所述第三检测结果中的最优检测结果;
其中,分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型,包括:
将任一训练样本输入预设检测模型中的骨干网络,输出所述训练样本对应的多层特征图,所述训练样本为:所述第一训练样本图像、所述第二训练样本图像或所述第三训练样本图像;
将所述多层特征图输入所述预设检测模型中的ACmix注意力模块,使所述多层特征图聚焦裂缝位置,得到第一中间结果;
将所述第一中间结果输入所述预设检测模型中的Neck网络,对特征图进行多尺度融合,并将融合结果输入所述预设检测模型中的Head模块,输出所述训练样本对应的裂缝检测结果;
根据所述裂缝检测结果和所述训练样本对应的裂缝标签计算损失值;
在所述损失值小于预设阈值的情况下,停止训练,得到第一检测模型、第二检测模型和第三检测模型。
2.根据权利要求1所述的裂缝检测模型训练方法,其特征在于,在将目标检测结果对应的检测模型,作为裂缝检测模型之后,还包括:
在所述裂缝检测模型为所述第二检测模型的情况下,将第一待检测图像进行图像分割和伽马变换处理,得到多个第二待检测图像;
将各个所述第二待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
3.根据权利要求1所述的裂缝检测模型训练方法,其特征在于,在将目标检测结果对应的检测模型,作为裂缝检测模型之后,还包括:
在所述裂缝检测模型为所述第三检测模型的情况下,将第三待检测图像进行图像分割和高斯白噪声增强处理,得到多个第四待检测图像;
将各个所述第四待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
4.根据权利要求1所述的裂缝检测模型训练方法,其特征在于,在将目标检测结果对应的检测模型,作为裂缝检测模型之后,还包括:
在所述裂缝检测模型为所述第一检测模型的情况下,将第五待检测图像进行图像分析,得到多个第六待检测图像;
将各个所述第六待检测图像输入所述裂缝检测模型,输出裂缝检测结果。
5.根据权利要求1所述的裂缝检测模型训练方法,其特征在于,所述M个第二样本图像的生成方法,具体为:
对于每个所述第一样本图像,将所述第一样本图像进行灰度处理后,得到第一灰度图像;
将所述第一灰度图像转换为第一图像矩阵,并对所述第一图像矩阵中的每个元素进行归一化处理,得到归一化后的第二图像矩阵;
对所述第二图像矩阵进行伽马变换后,将伽马变换后的第二图像矩阵转换为图像,得到第二样本图像;遍历所述M个第一样本图像,得到M个第二样本图像。
6.根据权利要求1所述的裂缝检测模型训练方法,其特征在于,所述M个第三样本图像的生成方法,具体为:
对于每个第一样本图像,将所述第一样本图像进行灰度处理,得到第二灰度图像,再将所述第二灰度图像转换为第二图像矩阵;
生成与所述第二图像矩阵相同大小的白噪声矩阵,根据所述白噪声矩阵和所述第二图像矩阵,得到白噪声变换后的第三图像矩阵;
将所述第三图像矩阵转换为图像,得到第三样本图像;遍历所述M个第一样本图像,得到M个第三样本图像。
7.根据权利要求1所述的裂缝检测模型训练方法,其特征在于,在所述第一检测结果包括第一检测正确率、第一召回率和第一平均正确率,所述第二检测结果包括第二检测正确率、第二召回率和第二平均正确率,所述第三检测结果包括第三检测正确率、第三召回率和第三平均正确率的情况下,所述目标检测结果的确定方法,包括:
根据所述第一检测正确率、所述第二检测正确率和所述第三检测正确率中的最大值,确定所述最优检测结果;
在所述第一检测正确率、所述第二检测正确率和所述第三检测正确率均相等的情况下,根据所述第一平均正确率、所述第二平均正确率和所述第三平均正确率中的最大值,确定所述最优检测结果;
在所述第一检测正确率、所述第二检测正确率和所述第三检测正确率均相等,且所述第一平均正确率、所述第二平均正确率和所述第三平均正确率也相等的情况下,根据所述第一召回率、所述第二召回率和所述第三召回率中的最大值,确定所述最优检测结果。
8.一种裂缝检测模型训练装置,其特征在于,包括:
图像处理模块,用于对携带有裂缝标签的N个原始样本图像进行图像分割,得到M个第一样本图像,对所述M个第一样本图像分别进行伽马变换和高斯白噪声增强处理,得到伽马变换后的M个第二样本图像和高斯白噪声增强后的M个第三样本图像;
训练模块,用于分别通过所述M个第一样本图像中的第一训练样本图像、所述M个第二样本图像中的第二训练样本图像和所述M个第三样本图像中的第三训练样本图像对预设检测模型进行训练,得到第一检测模型、第二检测模型和第三检测模型;
验证模块,用于通过所述M个第一样本图像中的第一验证样本图像、所述M个第二样本图像中的第二验证样本图像和所述M个第三样本图像中的第三验证样本图像分别对所述第一检测模型、所述第二检测模型和所述第三检测模型进行检测,得到所述第一检测模型的第一检测结果、所述第二检测模型的第二检测结果和所述第三检测模型的第三检测结果,M和N均为正整数;
确定模块,用于将目标检测结果对应的检测模型,作为裂缝检测模型;所述目标检测结果是所述第一检测结果、第二检测结果和所述第三检测结果中的最优检测结果;
其中,所述装置还用于:
将任一训练样本输入预设检测模型中的骨干网络,输出所述训练样本对应的多层特征图,所述训练样本为:所述第一训练样本图像、所述第二训练样本图像或所述第三训练样本图像;
将所述多层特征图输入所述预设检测模型中的ACmix注意力模块,使所述多层特征图聚焦裂缝位置,得到第一中间结果;
将所述第一中间结果输入所述预设检测模型中的Neck网络,对特征图进行多尺度融合,并将融合结果输入所述预设检测模型中的Head模块,输出所述训练样本对应的裂缝检测结果;
根据所述裂缝检测结果和所述训练样本对应的裂缝标签计算损失值;
在所述损失值小于预设阈值的情况下,停止训练,得到第一检测模型、第二检测模型和第三检测模型。
9.一种电子设备,包括处理器和存储有计算机程序的存储器,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的裂缝检测模型训练方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述裂缝检测模型训练方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311149010.7A CN117333733B (zh) | 2023-09-06 | 2023-09-06 | 裂缝检测模型训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311149010.7A CN117333733B (zh) | 2023-09-06 | 2023-09-06 | 裂缝检测模型训练方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117333733A CN117333733A (zh) | 2024-01-02 |
CN117333733B true CN117333733B (zh) | 2024-09-17 |
Family
ID=89294133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311149010.7A Active CN117333733B (zh) | 2023-09-06 | 2023-09-06 | 裂缝检测模型训练方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117333733B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949290A (zh) * | 2019-03-18 | 2019-06-28 | 北京邮电大学 | 路面裂缝检测方法、装置、设备及存储介质 |
CN113395440A (zh) * | 2020-03-13 | 2021-09-14 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
CN116453186A (zh) * | 2023-04-14 | 2023-07-18 | 淮阴工学院 | 一种基于YOLOv5改进的口罩佩戴检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10489683B1 (en) * | 2018-12-17 | 2019-11-26 | Bodygram, Inc. | Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks |
CN111489352B (zh) * | 2020-04-29 | 2023-06-02 | 安徽国钜工程机械科技有限公司 | 一种基于数字图像处理的隧道缝隙检测与测量方法及装置 |
CN111783902B (zh) * | 2020-07-30 | 2023-11-07 | 腾讯科技(深圳)有限公司 | 数据增广、业务处理方法、装置、计算机设备和存储介质 |
CN112836756B (zh) * | 2021-02-04 | 2024-02-27 | 上海明略人工智能(集团)有限公司 | 图像识别模型训练方法、系统和计算机设备 |
CN113222904B (zh) * | 2021-04-21 | 2023-04-07 | 重庆邮电大学 | 改进PoolNet网络结构的混凝土路面裂缝检测方法 |
-
2023
- 2023-09-06 CN CN202311149010.7A patent/CN117333733B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949290A (zh) * | 2019-03-18 | 2019-06-28 | 北京邮电大学 | 路面裂缝检测方法、装置、设备及存储介质 |
CN113395440A (zh) * | 2020-03-13 | 2021-09-14 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
CN116453186A (zh) * | 2023-04-14 | 2023-07-18 | 淮阴工学院 | 一种基于YOLOv5改进的口罩佩戴检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117333733A (zh) | 2024-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Damage classification for masonry historic structures using convolutional neural networks based on still images | |
TWI739798B (zh) | 一種建立資料識別模型的方法及裝置 | |
Li et al. | DefectNet: Toward fast and effective defect detection | |
CN112669275B (zh) | 基于YOLOv3算法的PCB表面缺陷检测方法及装置 | |
Chen et al. | The classification and localization of crack using lightweight convolutional neural network with CBAM | |
CN110598687A (zh) | 车辆识别码的检测方法、装置及计算机设备 | |
CN113657202A (zh) | 构件识别方法、构建训练集方法、装置、设备及存储介质 | |
CN113920053A (zh) | 基于深度学习的瑕疵检测方法、计算设备和存储介质 | |
CN113240623A (zh) | 一种路面病害检测方法及装置 | |
Hoang et al. | A Novel Approach for Automatic Detection of Concrete Surface Voids Using Image Texture Analysis and History‐Based Adaptive Differential Evolution Optimized Support Vector Machine | |
CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
CN117274212A (zh) | 一种桥梁水下结构裂缝检测方法 | |
Yuan et al. | Automated pixel-level crack detection and quantification using deep convolutional neural networks for structural condition assessment | |
CN113762151B (zh) | 一种故障数据处理方法、系统及故障预测方法 | |
Wan et al. | Crack detection for concrete bridges with imaged based deep learning | |
Wang et al. | Welding seam detection and location: Deep learning network-based approach | |
CN117197538B (zh) | 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法 | |
Ni et al. | Toward high-precision crack detection in concrete bridges using deep learning | |
CN117333733B (zh) | 裂缝检测模型训练方法、装置、电子设备及存储介质 | |
CN112749735B (zh) | 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端 | |
Ehtisham et al. | Classification of defects in wooden structures using pre-trained models of convolutional neural network | |
CN112199975A (zh) | 基于人脸特征的身份验证方法及装置 | |
Ling et al. | Intelligent detection of fine cracks on sleepers based on improved YOLOv5 model of cascade fusion | |
Jing et al. | Complex Crack Segmentation and Quantitative Evaluation of Engineering Materials Based on Deep Learning Methods | |
Lei et al. | Unsupervised Vision‐Based Structural Anomaly Detection and Localization with Reverse Knowledge Distillation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |