CN117893872B - 基于多模型融合检测的平面裂隙光学检测方法 - Google Patents
基于多模型融合检测的平面裂隙光学检测方法 Download PDFInfo
- Publication number
- CN117893872B CN117893872B CN202410302793.6A CN202410302793A CN117893872B CN 117893872 B CN117893872 B CN 117893872B CN 202410302793 A CN202410302793 A CN 202410302793A CN 117893872 B CN117893872 B CN 117893872B
- Authority
- CN
- China
- Prior art keywords
- model
- anchor frame
- image
- weight vector
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 title claims abstract description 16
- 230000003287 optical effect Effects 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000013145 classification model Methods 0.000 claims abstract description 25
- 230000000877 morphologic effect Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 29
- 230000007547 defect Effects 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 239000010426 asphalt Substances 0.000 claims description 4
- 239000011449 brick Substances 0.000 claims description 4
- 239000010440 gypsum Substances 0.000 claims description 4
- 229910052602 gypsum Inorganic materials 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 4
- 239000002689 soil Substances 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多模型融合检测的平面裂隙光学检测方法,包括构造数据集;选取n个分类识别网络用数据集训练得到n个分类模型;构造图像P的多模型权重向量D,基于形态学分析更新D得到D1;基于运动学更新D1得D2;基于动力学更新D2得到D3;将D3中最大分量对应的分类模型,作为图像P的最优模型。本发明中每个分类模型不仅能输出识别结果,还能根据输入的图像生成对应的权重向量,构成图像的多模型权重向量,实现了对多个弱模型的功能集成,提升了对弱小目标的识别能力,且基于boosting思想的精英策略,本方法在针对裂隙的查全率、查准率、精度上都有提高,同时实现了裂隙性质的初步自动化分析。
Description
技术领域
本发明涉及图像数据处理,尤其涉及一种基于多模型融合检测的平面裂隙光学检测方法。
背景技术
目前而言,主流的裂隙检测技术依然是基于浅层机器学习技术或单一的卷积深度神经网络模型。前者高度依赖于图像的前期预处理过程的输出质量,而后者受深度神经网络本身的不可解释性的掣肘,在多种介质表面的裂隙检测过程中效果欠佳。并且诸多基于深度神经网络技术的检测模型在训练过程中使用的训练数据是二值化后的图像及其掩膜,因此必然会丢失原始图像的多通道信息,致使此类技术在实际使用过程中极容易因图像色差产生裂隙的漏检和误检情况。并且传统裂隙检测业务中,裂隙识别和裂隙性质分析是割裂的两个过程,后者极大程度上依赖于相关技术人员的学科背景和实践经验,这导致了裂隙检测常常因为技术人员本身业务水平的不稳定性产生偏差甚至误判。
关于神经网络:从大方向上来说,裂隙检测任务的本质是目标检测,基于卷积神经网络(CNN,Convolutional Neural Network)的众多网络模型是经过实践检验的通用技术方案,而Yolov系列模型的输出质量和速度则是在众多CNN模型中的翘楚。为了弥补CNN模型在小样本数据集上难以调优的劣势,同时还需要引入ViT来提供更好的泛化性能。
名词解释:
IoU:中文为交并比,也被称为杰卡德系数,用于衡量两个边界框的相似性。它是相交面积与相并面积的比率。若两个边界框无相交,则IoU=0。
CIoU:英文为Complete loU,在CUDA平台中有对应的模块自动计算锚框对应的CIOU值,使用CIOU来替代传统的DIOU来表达置信度的大小,更加灵活且能够规避IoU值为0时带来的不能反向传播的结果。
EXIF信息:可交换图像文件信息。
发明内容
本发明的目的就在于提供一种解决上述问题,能实现对裂隙精确识别的,基于多模型融合检测的平面裂隙光学检测方法。
为了实现上述目的,本发明采用的技术方案是这样的:一种基于多模型融合检测的平面裂隙光学检测方法,包括以下步骤;
(1)采集多种介质表面包含缺陷的高清图像数据,对每张高清图像数据,标记真实锚框及该真实锚框对应的缺陷类别,所述缺陷类别包括裂隙、坑洼和龟裂,将标记后的高清图像数据作为训练样本,构成数据集;
(2)获取n个分类模型;
用数据集分别训练n个分类识别网络,得到n个分类模型M1到Mn,n>3,所述分类模型为两类,一类基于YOlOv网络构建,一类基于ViT网络构建;
所述分类模型用于输入待识别图像、输出识别结果,并生成权重向量,所述识别结果包括预测锚框及预测锚框对应的缺陷类别,第i个分类模型Mi生成权重向量包括步骤(21)~(26);
(21)向Mi输入一标记有k个真实锚框的训练样本,获取输出,所述输出包含V个预测锚框;
(22)预设每个预测锚框的权重表达,第j个预测锚框的权重表达,1≤j≤V;
其中,、/>、/>、/>分别为第j个预测锚框对应的真实锚框的左上角横坐标、右下角横坐标、左上角纵坐标、右下角纵坐标的真实值,/>,为第j个预测锚框对应的真实锚框的真实斜率,/>、/>、/>、/>分别为第j个预测锚框左上角横坐标、右下角横坐标、左上角纵坐标、右下角纵坐标的预测值,/>,为第j个预测锚框的预测斜率,Cij为第j个预测锚框的置信度参数,Eij为Aij的使能开关;
(23)预设IoU阈值,依次对V个预测锚框的权重表达Ai1~AiV赋值,构成,其中Aij赋值方法为:
若第j个预测锚框与真实锚框相交,则将IoU值最大的真实锚框,作为该预测锚框对应的真实锚框,按其坐标填写Aij的前5项,否则Aij的前5项置空;
按第j个预测锚框的坐标填写Aij的第6-10项,将第j个预测锚框的CIoU值填写Cij,若IoU值的最大值大于IoU阈值,则Eij=1,否则Eij=0;
(3)构造图像P的多模型权重向量D,包括(31)~(32);
(31)获取一待识别的图像P,用预训练的基础模型标记;
(32)用M1到Mn分别识别图像P,生成对应的权重向量ω1到ωn,构成多模型权重向量,并将D中基于ViT网络构建的分类模型的权重向量,标记为一类权重;
(4)基于形态学分析更新多模型权重向量D,得到第一多模型权重向量D1,包括步骤(41)~(42);
(41)判断图像P内裂隙是否有弱小目标;
(42)若有弱小目标,根据下式更新D中所有一类权重的值,得到D1,否则将D作为D1;
W*=W+|W-DAvg|,
式中,W为一个一类权重,W*为W更新后的一类权重,DAvg为权重向量D的模的平均;
(5)基于运动学依次分析R1到Rn,更新D1得到第二多模型权重向量D2,包括(51)~(52);
(51)分析R1,对D1进行更新,包括(51.1)~(51.3);
(51.1)获取R1中所有缺陷类别为裂隙、使能开关为1的裂隙,标记为第一裂隙;
(51.2)对一个第一裂隙,得到其裂隙最低点的切线的斜率k1,若,则记录该第一裂隙为有效裂隙、生长方向值为k1,否则将该第一裂隙对应的使能开关置0;
(51.3)按(51.2)依次处理完R1的所有第一裂隙,完成R1对D1的更新;
(52)按(51)方法依次分析R2到Rn,得到D2;
(6)基于动力学依次分析R1到Rn,更新D2得到第三多模型权重向量D3,包括(61)~(62);
(61)统计R1中所有有效裂隙的预测锚框,若有预测锚框为正方形,将有效裂隙记录为剪切破坏,并根据下式更新ω1的参数值,否则将D2作为D3;
W1*=W1 +|S-σ|,
式中,W1为D2中ω1的值,W1*为W1更新后的值,S为此时D2的样本标准差,σ为此时D2的总体标准差;
(62)按步骤(61)依次分析R2到Rn,得到D3;
(7)选取D3中最大分量对应的分类模型,作为图像P的最优模型,将最优模型的识别结果作为P的最终识别结果。
作为优选:所述高清图像数据分辨率大于等于1920×1080;
所述多种介质包括但不限于混凝土、瓷砖、石膏、沥青、砂砖、砂岩、砾岩、泥土,且所述介质用于墙面或地面;
所述分类识别网络包括YOLOv5、YOLOv8、YOLOX、ViT、DETR、VGG、MobileNet、ShuffleNetV2和AlexNet。
作为优选:步骤(31)具体为:
用数据集D训练一基础模型M0,所述基础模型用于输入待识别图像P,输出识别结果R0;
将R0中各预测锚框及预测锚框对应的缺陷类别,作为待识别图像P的真实锚框和真实缺陷类别进行标记;
所述基础模型为M1~Mn中的1个,或由Mi从数据集中进行抽样训练得到,或由其他神经网络训练得到。
作为优选:步骤(41)中,判断P内裂隙是否有弱小目标,具体为:
(42.1)获取R1到Rn中所有裂隙的预测锚框,总数为TA个,预设一比例阈值;
(42.2)对每个预测锚框,计算其面积与图像P总面积的比值,若比值小于比例阈值,则进行一次计数,处理完所有预测锚框,得到计数值CA;
(42.3)若,且CA大于权重向量D的维度,则判断图像P内有弱小目标,否则无弱小目标。
作为优选:所述比例阈值为0.0030~0.0040。
作为优选:所述步骤(4)还包括步骤(43)预测并记录R1到Rn中,每个裂隙的裂隙走向;
预测裂隙走向为:对裂隙的预测锚框,预设其高度为y,宽度为x;
y:x>2,则该裂隙为纵向;
y:x<2,则该裂隙为横向;
其余高度和宽度比例不作分析;
所述记录为:记录在图像P的标注描述文件中。
作为优选:步骤(51.2)中,根据图像P的EXIF信息得到裂隙最低点。
作为优选:所述步骤(61)还包括;
对R1中记录有剪切破坏的有效裂隙,将其生长方向值转换为二维向量,所有二维向量构成向量组K;
K中两两正交的二维向量超过1组,则按W1*=W1 +|S-σ|再次更新ω1的参数值。
本发明中,关于基础模型M0,可以是M1~Mn中的1个。人工主观评估M1到Mn之中泛化性能较好的一个模型Mi,可以使用置信度、IoU、是否出现过拟合现象等评价指标来作为Mi的选取依据,Mi的选择不依赖于固定的数值指针。若M1到Mn中不存在合适的作为基础模型的选项,亦可选择其他神经网络训练得到的模型来作为基础模型。同样的,也可以使用Mi模型重新从数据集中进行抽样训练得到基础模型M0。
关于待识别的图像P,应具有完整的EXIF信息,不得是其他图像的截图、翻拍或是经过其他可能造成EXIF信息修改的再生图像。在基于运动学依次分析R1到Rn时,需找到裂隙的最低点的切线的斜率。此处给出一种常用手段:
获取图像P的EXIF信息中的焦距、对焦区域、图像方向、相机高程、倾斜角度、被摄目标区域、目标距离参数。将上述信息作为输入信息,使用开源计算机视觉工具包opencv完成图像三维线性空间f到真实世界三维线性空间h的线性映射,,获得其线性映射关系。在分析R1中的第一裂隙时,使用线性映射关系实现锚框坐标转换。
由于此步骤为中间步骤,不会进行过程记录,因此坐标信息相关变量名称的书面表达并不在后续步骤中做更改。映射后的坐标中,y1值越小,对应位置越低。
关于步骤(61)中,K中两两正交的二维向量超过1组,说明图像P中存在多个剪切破坏或构成共轭剪切。则再额外进行一次更新操作。
与现有技术相比,本发明的优点在于:
提出了一种新的基于多模型融合检测的平面裂隙光学检测方法。本发明先用同一数据库对多个目标识别网络进行模型训练,得到多个模型,每个模型不仅具有输出识别结果的能力,还能根据输入的图像生成对应的权重向量,将所有模型的权重向量放在一起生成多模型权重向量,则每张图像,都对应1个多模型权重向量。
再基于boosting思想融合多个弱模型的识别优势,对裂隙识别的具体类别,引入裂隙的形态学、运动学、动力学发展特征进行分析,其中,基于形态学对图像P的多模型权重向量D进行调整得到第一多模型权重向量D1、基于运动学对D1进行调整得到第二多模型权重向量D2、基于动力学对D2进行调整得到第三多模型权重向量D3,并将D3中最大分量对应的分类模型,作为图像P的最优模型,将最优模型的识别结果作为P的最终识别结果。
值得一提的是,本发明提出了一种打破传统裂隙检测业务中裂隙识别和裂隙性质分析环节之间技术割裂现状的新思路,让二者形成了统一的逻辑整体,实现了全过程的自动化。
本发明充分基于形态学、运动学、动力学来对裂隙进行分析,提升了裂隙判别的现实依据,增强了裂隙判别结果的可解释性,从而能实现对裂隙的精确识别。
附图说明
图1为本发明流程图;
图2为本发明构造图像P的多模型权重向量D的示意图。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例1:参见图1、图2,一种基于多模型融合检测的平面裂隙光学检测方法,包括以下步骤;
(1)采集多种介质表面包含缺陷的高清图像数据,对每张高清图像数据,标记真实锚框及该真实锚框对应的缺陷类别,所述缺陷类别包括裂隙、坑洼和龟裂,将标记后的高清图像数据作为训练样本,构成数据集;
(2)获取n个分类模型;
用数据集分别训练n个分类识别网络,得到n个分类模型M1到Mn,n>3,所述分类模型为两类,一类基于YOlOv网络构建,一类基于ViT网络构建;
所述分类模型用于输入待识别图像、输出识别结果,并生成权重向量,所述识别结果包括预测锚框及预测锚框对应的缺陷类别,第i个分类模型Mi生成权重向量包括步骤(21)~(26);
(21)向Mi输入一标记有k个真实锚框的训练样本,获取输出,所述输出包含V个预测锚框;
(22)预设每个预测锚框的权重表达,第j个预测锚框的权重表达,1≤j≤V;
其中,、/>、/>、/>分别为第j个预测锚框对应的真实锚框的左上角横坐标、右下角横坐标、左上角纵坐标、右下角纵坐标的真实值,/>,为第j个预测锚框对应的真实锚框的真实斜率,/>、/>、/>、/>分别为第j个预测锚框左上角横坐标、右下角横坐标、左上角纵坐标、右下角纵坐标的预测值,/>,为第j个预测锚框的预测斜率,Cij为第j个预测锚框的置信度参数,Eij为Aij的使能开关;
(23)预设IoU阈值,依次对V个预测锚框的权重表达Ai1~AiV赋值,构成,其中Aij赋值方法为:
若第j个预测锚框与真实锚框相交,则将IoU值最大的真实锚框,作为该预测锚框对应的真实锚框,按其坐标填写Aij的前5项,否则Aij的前5项置空;
按第j个预测锚框的坐标填写Aij的第6-10项,将第j个预测锚框的CIoU值填写Cij,若IoU值的最大值大于IoU阈值,则Eij=1,否则Eij=0;
(3)构造图像P的多模型权重向量D,包括(31)~(32);
(31)获取一待识别的图像P,用预训练的基础模型标记;
(32)用M1到Mn分别识别图像P,生成对应的权重向量ω1到ωn,构成多模型权重向量,并将D中基于ViT网络构建的分类模型的权重向量,标记为一类权重;
(4)基于形态学分析更新多模型权重向量D,得到第一多模型权重向量D1,包括步骤(41)~(42);
(41)判断图像P内裂隙是否有弱小目标;
(42)若有弱小目标,根据下式更新D中所有一类权重的值,得到D1,否则将D作为D1;
W*=W+|W-DAvg|,
式中,W为一个一类权重,W*为W更新后的一类权重,DAvg为权重向量D的模的平均;
(5)基于运动学依次分析R1到Rn,更新D1得到第二多模型权重向量D2,包括(51)~(52);
(51)分析R1,对D1进行更新,包括(51.1)~(51.3);
(51.1)获取R1中所有缺陷类别为裂隙、使能开关为1的裂隙,标记为第一裂隙;
(51.2)对一个第一裂隙,得到其裂隙最低点的切线的斜率k1,若,则记录该第一裂隙为有效裂隙、生长方向值为k1,否则将该第一裂隙对应的使能开关置0;
(51.3)按(51.2)依次处理完R1的所有第一裂隙,完成R1对D1的更新;
(52)按(51)方法依次分析R2到Rn,得到D2;
(6)基于动力学依次分析R1到Rn,更新D2得到第三多模型权重向量D3,包括(61)~(62);
(61)统计R1中所有有效裂隙的预测锚框,若有预测锚框为正方形,将有效裂隙记录为剪切破坏,并根据下式更新ω1的参数值,否则将D2作为D3;
W1*=W1 +|S-σ|,
式中,W1为D2中ω1的值,W1*为W1更新后的值,S为此时D2的样本标准差,σ为此时D2的总体标准差;
(62)按步骤(61)依次分析R2到Rn,得到D3;
(7)选取D3中最大分量对应的分类模型,作为图像P的最优模型,将最优模型的识别结果作为P的最终识别结果。
所述高清图像数据分辨率大于等于1920×1080;
所述多种介质包括但不限于混凝土、瓷砖、石膏、沥青、砂砖、砂岩、砾岩、泥土,且所述介质用于墙面或地面;
所述分类识别网络包括YOLOv5、YOLOv8、YOLOX、ViT、DETR、VGG、MobileNet、ShuffleNetV2和AlexNet。
步骤(31)具体为:
用数据集D训练一基础模型M0,所述基础模型用于输入待识别图像P,输出识别结果R0;
将R0中各预测锚框及预测锚框对应的缺陷类别,作为待识别图像P的真实锚框和真实缺陷类别进行标记;
所述基础模型为M1~Mn中的1个,或由Mi从数据集中进行抽样训练得到,或由其他神经网络训练得到。
步骤(41)中,判断P内裂隙是否有弱小目标,具体为:
(42.1)获取R1到Rn中所有裂隙的预测锚框,总数为TA个,预设一比例阈值;
(42.2)对每个预测锚框,计算其面积与图像P总面积的比值,若比值小于比例阈值,则进行一次计数,处理完所有预测锚框,得到计数值CA;
(42.3)若,且CA大于权重向量D的维度,则判断图像P内有弱小目标,否则无弱小目标。
所述比例阈值为0.0030~0.0040。
所述步骤(4)还包括步骤(43)预测并记录R1到Rn中,每个裂隙的裂隙走向;
预测裂隙走向为:对裂隙的预测锚框,预设其高度为y,宽度为x;
y:x>2,则该裂隙为纵向;
y:x<2,则该裂隙为横向;
其余高度和宽度比例不作分析;
所述记录为:记录在图像P的标注描述文件中。
步骤(51.2)中,根据图像P的EXIF信息得到裂隙最低点。
所述步骤(61)还包括;
对R1中记录有剪切破坏的有效裂隙,将其生长方向值转换为二维向量,所有二维向量构成向量组K;
K中两两正交的二维向量超过1组,则按W1*=W1 +|S-σ|再次更新ω1的参数值。
实施例2:参见图1、图2,在实施例1的基础上,我们给出更具体的实施例2,该方法包括以下步骤:
(1)构造数据集,包括以下步骤:
第一步:通过手机在不同介质表面进行拍摄,如混凝土、瓷砖、石膏、沥青、砂砖、砂岩、砾岩、泥土等多种类型的路面、墙面及其他类型表面,拍摄大量包含缺陷的高清图像数据,分辨率均为4624px×3472px;采集图像的过程中,如遇图像过曝、过暗、失焦等特殊情况,应当将其作为脏数据进行清理;如部分图像难以通过人肉眼分辨裂隙、坑洼、龟裂等表面劣化现象的存在,应当将其作为容易产生二义性结果的数据进行清理。
第二步:对每张高清图像数据,标记真实锚框及该真实锚框对应的缺陷类别。在进行标记时,应当注意标注锚框应该覆盖缺陷区域且贴合缺陷区域所在最小矩形范围的边界;
第三步:随机选取300张标记后的高清图像数据作为训练样本,构成数据集;将数据集按8:2分为训练集和验证集。
其余步骤与实施例1相同。
下表为模型训练过程中的关键评价指标结果记录,训练中设定的迭代轮次为60次,无论是在训练集上还是在验证集上,各项损失均呈现总体下降趋势。精度和召回率方面,随着迭代轮次增加呈上升趋势。各个评价指标证明了模型实现裂隙检测的逻辑有效性,也证明了裂隙数据的可训练性。
表1:训练过程中关键评价指标结果记录表
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于多模型融合检测的平面裂隙光学检测方法,其特征在于:包括以下步骤;
(1)采集多种介质表面包含缺陷的高清图像数据,对每张高清图像数据,标记真实锚框及该真实锚框对应的缺陷类别,所述缺陷类别包括裂隙、坑洼和龟裂,将标记后的高清图像数据作为训练样本,构成数据集;
(2)获取n个分类模型;
用数据集分别训练n个分类识别网络,得到n个分类模型M1到Mn,n>3,所述分类模型为两类,一类基于YOlOv网络构建,一类基于ViT网络构建;
所述分类模型用于输入待识别图像、输出识别结果,并生成权重向量,所述识别结果包括预测锚框及预测锚框对应的缺陷类别,第i个分类模型Mi生成权重向量包括步骤(21)~(26);
(21)向Mi输入一标记有k个真实锚框的训练样本,获取输出,所述输出包含V个预测锚框;
(22)预设每个预测锚框的权重表达,第j个预测锚框的权重表达,1≤j≤V;
其中,、/>、/>、/>分别为第j个预测锚框对应的真实锚框的左上角横坐标、右下角横坐标、左上角纵坐标、右下角纵坐标的真实值,/>,为第j个预测锚框对应的真实锚框的真实斜率,/>、/>、/>、/>分别为第j个预测锚框左上角横坐标、右下角横坐标、左上角纵坐标、右下角纵坐标的预测值,/>,为第j个预测锚框的预测斜率,Cij为第j个预测锚框的置信度参数,Eij为Aij的使能开关;
(23)预设IoU阈值,依次对V个预测锚框的权重表达Ai1~AiV赋值,构成,其中Aij赋值方法为:
若第j个预测锚框与真实锚框相交,则将IoU值最大的真实锚框,作为该预测锚框对应的真实锚框,按其坐标填写Aij的前5项,否则Aij的前5项置空;
按第j个预测锚框的坐标填写Aij的第6-10项,将第j个预测锚框的CIoU值填写Cij,若IoU值的最大值大于IoU阈值,则Eij=1,否则Eij=0;
(3)构造图像P的多模型权重向量D,包括(31)~(32);
(31)获取一待识别的图像P,用预训练的基础模型标记;
(32)用M1到Mn分别识别图像P,生成对应的权重向量ω1到ωn,构成多模型权重向量,并将D中基于ViT网络构建的分类模型的权重向量,标记为一类权重;
(4)基于形态学分析更新多模型权重向量D,得到第一多模型权重向量D1,包括步骤(41)~(42);
(41)判断图像P内裂隙是否有弱小目标;
(42)若有弱小目标,根据下式更新D中所有一类权重的值,得到D1,否则将D作为D1;
W*=W+|W-DAvg|,
式中,W为一个一类权重,W*为W更新后的一类权重,DAvg为权重向量D的模的平均;
(5)基于运动学依次分析R1到Rn,更新D1得到第二多模型权重向量D2,包括(51)~(52);
(51)分析R1,对D1进行更新,包括(51.1)~(51.3);
(51.1)获取R1中所有缺陷类别为裂隙、使能开关为1的裂隙,标记为第一裂隙;
(51.2)对一个第一裂隙,得到其裂隙最低点的切线的斜率k1,若,则记录该第一裂隙为有效裂隙、生长方向值为k1,否则将该第一裂隙对应的使能开关置0;
(51.3)按(51.2)依次处理完R1的所有第一裂隙,完成R1对D1的更新;
(52)按(51)方法依次分析R2到Rn,得到D2;
(6)基于动力学依次分析R1到Rn,更新D2得到第三多模型权重向量D3,包括(61)~(62);
(61)统计R1中所有有效裂隙的预测锚框,若有预测锚框为正方形,将有效裂隙记录为剪切破坏,并根据下式更新ω1的参数值,否则将D2作为D3;
W1*=W1 +|S-σ|,
式中,W1为D2中ω1的值,W1*为W1更新后的值,S为此时D2的样本标准差,σ为此时D2的总体标准差;
(62)按步骤(61)依次分析R2到Rn,得到D3;
(7)选取D3中最大分量对应的分类模型,作为图像P的最优模型,将最优模型的识别结果作为P的最终识别结果。
2.根据权利要求1所述的基于多模型融合检测的平面裂隙光学检测方法,其特征在于:所述高清图像数据分辨率大于等于1920×1080;
所述多种介质包括但不限于混凝土、瓷砖、石膏、沥青、砂砖、砂岩、砾岩、泥土,且所述介质用于墙面或地面;
所述分类识别网络包括YOLOv5、YOLOv8、YOLOX、ViT、DETR、VGG、MobileNet、ShuffleNetV2和AlexNet。
3.根据权利要求1所述的基于多模型融合检测的平面裂隙光学检测方法,其特征在于:步骤(31)具体为:
用数据集D训练一基础模型M0,所述基础模型用于输入待识别图像P,输出识别结果R0;
将R0中各预测锚框及预测锚框对应的缺陷类别,作为待识别图像P的真实锚框和真实缺陷类别进行标记;
所述基础模型为M1~Mn中的1个,或由Mi从数据集中进行抽样训练得到,或由其他神经网络训练得到。
4.根据权利要求1所述的基于多模型融合检测的平面裂隙光学检测方法,其特征在于:步骤(41)中,判断P内裂隙是否有弱小目标,具体为:
(42.1)获取R1到Rn中所有裂隙的预测锚框,总数为TA个,预设一比例阈值;
(42.2)对每个预测锚框,计算其面积与图像P总面积的比值,若比值小于比例阈值,则进行一次计数,处理完所有预测锚框,得到计数值CA;
(42.3)若,且CA大于权重向量D的维度,则判断图像P内有弱小目标,否则无弱小目标。
5.根据权利要求4所述的基于多模型融合检测的平面裂隙光学检测方法,其特征在于:所述比例阈值为0.0030~0.0040。
6.根据权利要求1所述的基于多模型融合检测的平面裂隙光学检测方法,其特征在于:所述步骤(4)还包括步骤(43)预测并记录R1到Rn中,每个裂隙的裂隙走向;
预测裂隙走向为:对裂隙的预测锚框,预设其高度为y,宽度为x;
y:x>2,则该裂隙为纵向;
y:x<2,则该裂隙为横向;
其余高度和宽度比例不作分析;
所述记录为:记录在图像P的标注描述文件中。
7.根据权利要求1所述的基于多模型融合检测的平面裂隙光学检测方法,其特征在于:步骤(51.2)中,根据图像P的EXIF信息得到裂隙最低点。
8.根据权利要求1所述的基于多模型融合检测的平面裂隙光学检测方法,其特征在于:所述步骤(61)还包括;
对R1中记录有剪切破坏的有效裂隙,将其生长方向值转换为二维向量,所有二维向量构成向量组K;
K中两两正交的二维向量超过1组,则按W1*=W1 +|S-σ|再次更新ω1的参数值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410302793.6A CN117893872B (zh) | 2024-03-18 | 2024-03-18 | 基于多模型融合检测的平面裂隙光学检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410302793.6A CN117893872B (zh) | 2024-03-18 | 2024-03-18 | 基于多模型融合检测的平面裂隙光学检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117893872A CN117893872A (zh) | 2024-04-16 |
CN117893872B true CN117893872B (zh) | 2024-05-14 |
Family
ID=90651061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410302793.6A Active CN117893872B (zh) | 2024-03-18 | 2024-03-18 | 基于多模型融合检测的平面裂隙光学检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117893872B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
AU2020101011A4 (en) * | 2019-06-26 | 2020-07-23 | Zhejiang University | Method for identifying concrete cracks based on yolov3 deep learning model |
CN111833324A (zh) * | 2020-07-09 | 2020-10-27 | 中国计量大学 | 基于深度学习的光纤插芯缺陷检测方法 |
CN111986164A (zh) * | 2020-07-31 | 2020-11-24 | 河海大学 | 一种基于多源Unet+Attention网络迁移的道路裂缝检测方法 |
CN115861204A (zh) * | 2022-11-16 | 2023-03-28 | 浙江工业大学 | 基于yolo v5模型的智能手机面板表面缺陷检测方法 |
CN116030266A (zh) * | 2021-10-25 | 2023-04-28 | 南京理工大学 | 基于改进YOLOv3的自然场景下路面裂缝检测和分类方法 |
CN116030056A (zh) * | 2023-03-29 | 2023-04-28 | 中国人民解放军火箭军工程大学 | 一种钢表面裂缝的检测方法及系统 |
CN117218504A (zh) * | 2023-09-13 | 2023-12-12 | 辽宁省交通规划设计院有限责任公司 | 一种基于多尺度特征融合的隧道裂缝检测方法 |
CN117274212A (zh) * | 2023-09-28 | 2023-12-22 | 广州诚安路桥检测有限公司 | 一种桥梁水下结构裂缝检测方法 |
-
2024
- 2024-03-18 CN CN202410302793.6A patent/CN117893872B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
AU2020101011A4 (en) * | 2019-06-26 | 2020-07-23 | Zhejiang University | Method for identifying concrete cracks based on yolov3 deep learning model |
CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
CN111833324A (zh) * | 2020-07-09 | 2020-10-27 | 中国计量大学 | 基于深度学习的光纤插芯缺陷检测方法 |
CN111986164A (zh) * | 2020-07-31 | 2020-11-24 | 河海大学 | 一种基于多源Unet+Attention网络迁移的道路裂缝检测方法 |
CN116030266A (zh) * | 2021-10-25 | 2023-04-28 | 南京理工大学 | 基于改进YOLOv3的自然场景下路面裂缝检测和分类方法 |
CN115861204A (zh) * | 2022-11-16 | 2023-03-28 | 浙江工业大学 | 基于yolo v5模型的智能手机面板表面缺陷检测方法 |
CN116030056A (zh) * | 2023-03-29 | 2023-04-28 | 中国人民解放军火箭军工程大学 | 一种钢表面裂缝的检测方法及系统 |
CN117218504A (zh) * | 2023-09-13 | 2023-12-12 | 辽宁省交通规划设计院有限责任公司 | 一种基于多尺度特征融合的隧道裂缝检测方法 |
CN117274212A (zh) * | 2023-09-28 | 2023-12-22 | 广州诚安路桥检测有限公司 | 一种桥梁水下结构裂缝检测方法 |
Non-Patent Citations (4)
Title |
---|
GSM-CrackFormer: 基于高斯尺度混合模型的多应用场景裂缝检测方法;黄廷辉;计算机辅助设计与图形学学报;20240205;第1-12页 * |
TransMF: Transformer-Based Multi-Scale Fusion Model for Crack Detection;Xiaochen Ju;Computer Vision and Pattern Recognition with Applications;20220705;第10卷(第13期);第1-18页 * |
基于改进U-net模型的路面裂缝智能识别;陈泽斌;罗文婷;李林;;数据采集与处理;20200315(第02期);第70-79页 * |
基于深度卷积神经网络融合模型的路面裂缝识别方法;孙朝云;马志丹;李伟;郝雪丽;申浩;;长安大学学报(自然科学版);20200715(第04期);第5-7页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117893872A (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108346144B (zh) | 基于计算机视觉的桥梁裂缝自动监测与识别方法 | |
JP6453298B2 (ja) | 細胞診標本を観察および解析するためのシステムおよび方法 | |
Punyasena et al. | Classifying black and white spruce pollen using layered machine learning | |
CN108537286B (zh) | 一种基于关键区域检测的复杂目标精准识别方法 | |
CN108765475B (zh) | 一种基于深度学习的建筑物三维点云配准方法 | |
CN106228554B (zh) | 基于多属性约简的模糊粗糙集煤粉尘图像分割方法 | |
CN114091606B (zh) | 一种隧道爆破炮孔半眼痕识别和损伤平整度评价分类方法 | |
CN112819821B (zh) | 一种细胞核图像检测方法 | |
CN108109139A (zh) | 基于灰度体元模型的机载lidar三维建筑物检测方法 | |
JP2014228357A (ja) | ひび割れ検出方法 | |
CN110929746A (zh) | 一种基于深度神经网络的电子卷宗标题定位提取与分类方法 | |
CN112036384B (zh) | 精子头部形态识别方法、装置及设备 | |
CN108074232A (zh) | 一种基于体元分割的机载lidar建筑物检测方法 | |
CN110751644A (zh) | 道路表面裂纹检测方法 | |
CN110363299A (zh) | 面向露头岩层分层的空间案例推理方法 | |
CN113609895A (zh) | 基于改进Yolov3的获取道路交通信息方法 | |
CN115393351A (zh) | 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置 | |
CN108319954A (zh) | 一种无接触测重方法 | |
JPH08508128A (ja) | 分布マップを用いる画像の分類方法及び装置 | |
CN113378905B (zh) | 一种基于分布距离的小目标检测方法 | |
CN117893872B (zh) | 基于多模型融合检测的平面裂隙光学检测方法 | |
CN113421236A (zh) | 基于深度学习的建筑墙面渗漏水表观发育状况预测方法 | |
CN116363426A (zh) | 公路防眩板健康状态自动检测方法 | |
CN113627522B (zh) | 基于关系网络的图像分类方法、装置、设备及存储介质 | |
CN113496485B (zh) | 卫星遥感图像质量评价方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |