CN115330740B - 一种基于mdcn的轻量化裂缝识别方法 - Google Patents
一种基于mdcn的轻量化裂缝识别方法 Download PDFInfo
- Publication number
- CN115330740B CN115330740B CN202211007036.3A CN202211007036A CN115330740B CN 115330740 B CN115330740 B CN 115330740B CN 202211007036 A CN202211007036 A CN 202211007036A CN 115330740 B CN115330740 B CN 115330740B
- Authority
- CN
- China
- Prior art keywords
- mdcn
- downsampling
- module
- convolution
- crack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims abstract description 5
- 230000004913 activation Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000013341 scale-up Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供一种基于MDCN的轻量化裂缝识别方法，包括以下步骤：获得待检测图片的RGB三通道格式；构建主干特征提取网络，包括交替搭建的多个膨胀多尺度通道融合的DDS下采样模块和改进后的倒残差bneck模块；通过主干特征提取网络提取RGB三通道格式图片中的下采样特征，送入特征金字塔结构，获得预测特征图；将预测特征图通过映射关系，得到裂缝损伤的预测框几何参数、位置参数以及分类结果。本发明提出的MDCN轻量化裂缝检测专用算法同时兼顾准确率和精度，为混凝土损伤目标检测算法的轻量化，以及今后直接部署在移动终端上提供了技术支撑。
Description
技术领域
本发明涉及混凝土视觉损伤识别技术领域，具体涉及一种基于MDCN的轻量化裂缝识别方法。
背景技术
由于具有可塑性强、抗压强度高、经历性好等优势，混凝土广泛应用于桥梁、房建以及大坝等基础设施中。同时混凝土因自重大、延展性强、抗压程度差、收缩徐变等特性，导致混凝土在服役过程中易产生各种类型的损伤。而在众多混凝土损伤类型中，混凝土开裂作为混凝土结构常见的损伤形式。通过定期对裂缝的损伤评估有助于了解结构损伤程度、提前预警结构危险程度、及时对损伤部位进行修复等，因此定期对混凝土结构表面进行实时的裂缝观测是必不可少的。
而基于传统的基于深度学习的通用目标检测算法，由于并不是专门服务于混凝土损伤数据集，常常会因网络层数过多导致结构冗余。而一些轻量化特征提取网络，也因缺少专用性，相对传统的通用目标检测算法，使得轻量化网络的精度会产生明显的降低。导致目前针对混凝土损伤数据集的目标检测算法无法同时兼顾到检测速度和精度。且由于轻量化网络准确率低，因此需要借助远程计算系统才能完成完整的检测过程，很难部署到移动终端，进而造成检测成本增加。因此有必要提出一种可部署到移动终端的，针对混凝土表面结构裂缝损伤同时兼顾速度和精度专用目标检测算法，实现对混凝土表面损伤的定期、实时、准确的检测。
发明内容
为解决上述问题，本发明提供一种基于MDCN的轻量化裂缝识别方法。
为实现上述目的，本发明提供了如下的技术方案。
一种基于MDCN的轻量化裂缝识别方法，包括以下步骤：
对待进行裂缝识别的混凝土表面裂缝图片进行处理，获得图片的RGB三通道格式；
构建主干特征提取网络，包括交替搭建的多个膨胀多尺度通道融合的DDS下采样模块和改进后的倒残差bneck模块；其中，改进后的倒残差bneck模块将原bneck模块中的SE注意力机制替换为CBAM注意力机制；
通过主干特征提取网络提取RGB三通道格式图片中不同倍数的下采样特征，送入金字塔结构，获得不同尺度的预测特征图，分别预测不同大小的目标损伤裂缝；
将预测特征图通过与各参数的映射关系，得到裂缝损伤的预测框几何参数、位置参数以及分类结果。
优选地，所述对待进行裂缝识别的混凝土表面图片进行处理，获得图片的RGB三通道格式，包括以下步骤：
将长宽为w，h的图片自左上角粘贴在c×c大小的空白画布上(c＝max{h,w})，其余空白部分用0填充；
将上述所得图片整体缩放至416×416大小，并转成RGB三通道。
优选地，所述膨胀多尺度通道融合的DDS下采样模块，用于提取图片的深层特征图，包括以下步骤：
分别使用感受野为3、5、7的膨胀卷积，对浅层特征图进行步长为2的特征提取，同时实现对浅层特征图进行下采样，使其长宽尺寸缩小为原来的二分之一；
将不同膨胀卷积提取的特征进行融合操作，通过1×1卷积实现跨通道融合进而得到新的深层特征图。
优选地，还包括：
通过主干特征提取网络提取RGB三通道格式图片中8倍和16倍下采样特征，送入特征金字塔结构，分别得到26×26×22和52×52×22的特征图对裂缝损伤图像进行融合预测，获得预测特征图；其中，26×26×22负责预测大目标裂缝损伤，52×52×22负责预测小目标损伤裂缝。
优选地，所述特征金字塔结构由不同的卷积块、卷积集和普通卷积以及上采样结构组成，其中：
卷积块由卷积核、批标准化和非线性激活函数依次组成；
卷积集由五个卷积块依次堆叠而成，其中每个卷积块的卷积核大小依次为1×1、3×3、1×1、3×3、1×1。
优选地，所述非线性激活函数为Relu激活函数或Hswish激活函数。
优选地，所述预测特征图映射关系，包括：
x＝σ(tx)+cx
y＝σ(ty)+cy
其中，x是预测框的中心点横坐标，y是预测框的中心点纵坐标，w是预测框的宽，h是预测框的高；σ(x)为Sigmoid函数；tx和ty表示预测的坐标偏移值；pw和ph表示尺度缩放；Cx和Cy表示偏移量。
优选地，还包括将所述主干特征提取网络和特征金字塔结构构成的MDCN目标检测模型进行训练，包括以下步骤：
构建训练集，将真实框和不同的锚框进行IOU运算进而生成对应数量的样本；
其中，IOU值最大时对应的样本作为正样本，并将正样本对应的置信度值修改为1，正样本的中心点坐标、宽高、置信度以及分类均参与loss函数计算；
除IOU最大值以外的其他满足0.5≤IOU＜1对应的样本作为忽略样本，不参与loss函数的计算；
0≤IOU＜0.5的样本作为负样本，负样本参数中仅仅置信度参与loss函数计算。
优选地，所述损失函数为：
其中，S表示网格大小，B表示预测框的个数；表示第i个网格第j个边框不负责该目标；/>表示第i个网格第j个边框是负责这个类；xi、yi表示预测框的中心点坐标，wi、hi表示预测框的宽高；/>表示预测框的置信度，Pi j表示为预测框的类别，其余均表示为各真实框的对应值。
优选地，还包括：
采用k-means算法，对预测框进行4分类从而替代原有的9分类。
本发明提出一种基于MDCN的轻量化裂缝识别方法，包括以下有益效果：
本发明提出混凝土专用的DDS下采样结构，改进了倒残差结构，重构了主干特征提取网络。提出的MDCN轻量化裂缝检测专用算法同时兼顾准确率和精度，为混凝土损伤目标检测算法的轻量化，以及今后直接部署在移动终端上提供了技术支撑。
附图说明
图1是本发明实施例的MDCN整体流程图；
图2是本发明实施例的图片预处理方法；
图3是本发明实施例的膨胀卷积下采样模块；
图4是本发明实施例的改进的倒残差bneck模块；
图5是本发明实施例的裂缝损伤检测目标宽高的聚类结果；
图6是本发明实施例的四种对比模型的AP和mAP图；
图7是本发明实施例的主干网络流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
本发明的一种基于MDCN的轻量化裂缝识别方法，如图1-7所示，包括以下步骤：
S1：对待进行裂缝识别的混凝土表面裂缝图片进行处理，获得图片的RGB三通道格式。
S2：构建主干特征提取网络，包括交替搭建的多个膨胀多尺度通道融合的DDS下采样模块和改进后的倒残差bneck模块；其中，改进后的倒残差bneck模块将原bneck模块中的SE注意力机制替换为CBAM注意力机制。
S3：通过主干特征提取网络提取RGB三通道格式图片中的8倍和16倍下采样特征，送入特征金字塔结构，分别得到26×26×22和52×52×22的特征图对裂缝损伤图像进行融合预测，获得预测特征图；其中，26×26×22负责预测大目标裂缝损伤，52×52×22负责预测小目标损伤裂缝。
S4：将预测特征图通过映射关系，得到裂缝损伤的预测框几何参数、位置参数以及分类结果。
具体的：
一、数据集预处理
1、图片参数修改
通过混凝土表面吸附式无人机采集混凝土表面裂缝图片，使用标注软件将混凝土裂缝损伤位置使用矩形框标注，并将裂缝损伤类型进行六分类，按照裂缝的延展方向可分为横向裂缝、纵向裂缝、斜向裂缝和网状交叉裂缝，对于大面积的混凝土裂缝损伤将其分类为孔洞型损伤，其他的类别可分类为不规则裂缝。然后将混凝土损伤图片名称、损伤类型、矩形框标注的信息依次排列，并导出为txt格式。
对于任意大小的图片，为确保输入网络的图片长宽一致且不影响原图中检测目标的长宽比例。
如图2所示，将待传入网络的混凝土损伤图片(大小为h×w)粘贴在c×c大小的空白画布上，其中c＝max{h,w}，其余空白部分用0填充。然后将所得图片整体缩放至416×416大小，并转成RGB三通道。
2、聚类框的确定
由于混凝土裂缝损伤的真实框的宽高分布较为集中，因此采用k-means算法对预测框进行4分类从而替代原有的9分类。聚类结果为(47，137)、(128，133)、(136，89)、(137，43)。宽高及聚类中心点如图5所示。
二、搭建MDCN目标检测模型框架——以深度学习框架pytorch为例。
1、搭建网络所需模块组成
(1)卷积块：依次按顺序调用torch.nn中的卷积、批标准化和非线性激活模块，为方便后续反复调用，可将上述步骤以类的形式封装。
(2)搭建膨胀卷积下采样模块(DDS)，如图3所示：分别输入特征进行感受野为3、5、7且步长为2的膨胀卷积，并将得到的三个特征提取结果按通道方向融合，最后使用1×1卷积实现跨通道的特征融合。为方便后续反复调用，可将上述步骤以类的形式封装。
(3)搭建改进后的bneck模块，如图4所示：对输入特征进行1×1进行主殿卷积使得输出通道扩张为输入特征通道的t倍(本例中t取值为4)，接着使用3×3或5×5(见主干网络图)分组卷积进行特征提取，分组的数量为待提取特征层的通道数。然后对提取的特征层使用CBAM注意力机制，最后使用1×1卷积对提取特征进行降通道处理。为方便后续反复调用和卷积核大小修改，可将上述步骤以类的形式封装。
(4)搭建卷积集(Convolutional Set)卷积集可通过依次调用卷积核大小为1×1、3×3、1×1、3×3、1×1共5个卷积块搭建完成。
(5)上采样使用临近插值算法搭建。
2、搭建主干网络
主干网络由膨胀卷积下采样模块和改进后的bneck模块交替重复搭建而成。
如图7所示，为主干网络流程图表，Input代表上一层输入的特征图大小，Operator表示该层使用是膨胀卷积下采样模块或bneck模块。图7中膨胀卷积下采样模块中的expsize表示三个膨胀卷积各自输出的通道数。Bneck的exp size表示第一个1×1逐点卷积的输出通道数。图7中out表示该模块的最终输出通道数。图7中CBAM表示是否使用CBAM注意力机制。图7中NL表示使用那种非线性激活函数，HS为Hard Swish非线性激活函数，RE表示为Relu非线性激活函数。
通过pytorch的torch.nn.Sequential序列容器按图7所示流程封装膨胀卷积下采样模块和改进后的bneck模块，可完成主干网络的搭建。
3、网络框架整体的搭建
除主干网络之外的剩余部分由普通卷积、卷积块(CBL)和卷积集(ConvolutionalSet)以及上采样拼接而成，其中，所用到的全部卷积块(CBL)中的非线性激活函数均采用Relu激活函数。上采样使用临近插值算法搭建。至此，则搭建完成输入为416×416×3，输出通道为26×26×22和52×52×22的MDCN目标检测网络框架。
三、模型训练
将数据集中抽取80％作为训练集对模型进行训练，将真实框和不同的锚框进行IOU运算进而生成对应数量的样本，IOU值最大时对应的样本作为正样本，并将正样本对应的置信度值修改为1，正样本的中心点坐标、宽高、置信度以及分类均参与loss函数计算。除IOU最大值以外的其他满足0.5≤IOU＜1对应的样本作为忽略样本，不参与loss函数的计算。0≤IOU＜0.5的样本作为负样本，负样本参数中仅仅置信度参与loss函数计算。使用Adam优化器进行梯度更新，学习率设置为0.001，梯度衰减率设置为0.96，batch size设置为4。
损失函数为：
其中，S表示网格大小，B表示预测框的个数；表示第i个网格第j个边框不负责该目标；/>表示第i个网格第j个边框是负责这个类；xi、yi表示预测框的中心点坐标，wi、hi表示预测框的宽高；/>表示预测框的置信度，Pi j表示为预测框的类别，其余均表示为各真实框的对应值。
四、模型测试与结果展示，如图6所示。
将数据集中另外20％作为测试集测试模型的性能。传入训练好的网络中。得到52×52×22和26×26×22的特征图。每11个数组作为一组结果，共6760组，每一组中11个数分别代表了置信度、中心点x坐标、中心点y坐标、预测框的宽、预测框的高以及六种损伤类别。通过设置置信度阈值，筛选掉置信度较低的预测框，本例中设置置信度阈值为0.5。在经过置信度阈值的第一波筛选之后，仍存在有多个预测框准确预测一个损伤目标的情况，因此采用nms极大值抑制算法，当存在多个重合度较高的预测框重叠在一起，即IOU高于某一阈值时，则将置信度较低的预测框抑制，本例中nms的IOU阈值设置为0.8。将剩余的预测数组经过映射则可得到置信度、损伤的类型、以及预测框的大小和位置。
1、精度对比：将原始的YOLOv3、基于Mobilenetv2的YOLO、基于Mobilenetv3的YOLO和MDCN进行对比，以mAP作为模型预测精度的判定标准，mAP越高，则代表该模型的精度越高，如图6和表1所示。
其中，TP：被模型预测为正类的正样本，即IOU>0.5的检测框的数量，TN：被模型预测为负类的负样本，即IOU≤0.5的检测框的数量，FP：被模型预测为正类的负样本，FN：被模型预测为负类的正样本。R是Recall的缩写。
表1 各模型精度对比统计表
2、速度对比：将原始的YOLOv3、基于Mobilenetv2的YOLO、基于Mobilenetv3的YOLO和MDCN进行对比，以FPS和Parameters的作为模型轻量化的判定标准。
如表2所示，其中，FPS表示该模型单位时间内处理的图片的数量，Parameters表示模型训练后得到的权重大小。FPS越高，Parameters越小，则代表该模型越轻量化。
表2 各模型速度对比统计表
根据上述对比可以看出，MDCN模型同时兼顾了高精度和轻量化的特点，适合部署在内存小、储存空间小、计算能力较弱的移动终端。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于MDCN的轻量化裂缝识别方法，其特征在于，包括以下步骤：
对待进行裂缝识别的混凝土表面裂缝图片进行处理，获得图片的RGB三通道格式；
构建主干特征提取网络，包括交替搭建的多个膨胀多尺度通道融合的DDS下采样模块和改进后的倒残差bneck模块；其中，改进后的倒残差bneck模块将原bneck模块中的SE注意力机制替换为CBAM注意力机制；
通过主干特征提取网络提取RGB三通道格式图片中不同倍数的下采样特征，送入金字塔结构，获得不同尺度的预测特征图，分别预测不同大小的目标损伤裂缝；
将预测特征图通过与各参数的映射关系，得到裂缝损伤的预测框几何参数、位置参数以及分类结果；
所述膨胀多尺度通道融合的DDS下采样模块，用于提取图片的深层特征图，包括以下步骤：
分别使用感受野为3、5、7的膨胀卷积，对浅层特征图进行步长为2的特征提取，同时实现对浅层特征图进行下采样，使其长宽尺寸缩小为原来的二分之一；
将不同膨胀卷积提取的特征进行融合操作，通过1×1卷积实现跨通道融合进而得到新的深层特征图；
所述预测特征图映射关系，包括：
x＝σ(tx)+cx
y＝σ(ty)+cy
其中，x是预测框的中心点横坐标，y是预测框的中心点纵坐标，w是预测框的宽，h是预测框的高；σ(x)为Sigmoid函数；tx和ty表示预测的坐标偏移值；pw和ph表示尺度缩放；Cx和Cy表示偏移量。
2.根据权利要求1所述的一种基于MDCN的轻量化裂缝识别方法，其特征在于，所述对待进行裂缝识别的混凝土表面图片进行处理，获得图片的RGB三通道格式，包括以下步骤：
将长宽为w，h的图片自左上角粘贴在c×c大小的空白画布上c＝max{h,w}，其余空白部分用0填充；
将上述所得图片整体缩放至416×416大小，并转成RGB三通道。
3.根据权利要求1所述的一种基于MDCN的轻量化裂缝识别方法，其特征在于，还包括：
通过主干特征提取网络提取RGB三通道格式图片中8倍和16倍下采样特征，送入特征金字塔结构，分别得到26×26×22和52×52×22的特征图对裂缝损伤图像进行融合预测，获得预测特征图；其中，26×26×22负责预测大目标裂缝损伤，52×52×22负责预测小目标损伤裂缝。
4.根据权利要求3所述的一种基于MDCN的轻量化裂缝识别方法，其特征在于，所述特征金字塔结构由不同的卷积块、卷积集和普通卷积以及上采样结构组成，其中：
卷积块由卷积核、批标准化和非线性激活函数依次组成；
卷积集由五个卷积块依次堆叠而成，其中每个卷积块的卷积核大小依次为1×1、3×3、1×1、3×3、1×1。
5.根据权利要求4所述的一种基于MDCN的轻量化裂缝识别方法，其特征在于，所述非线性激活函数为Relu激活函数或Hswish激活函数。
6.根据权利要求1所述的一种基于MDCN的轻量化裂缝识别方法，其特征在于，还包括将所述主干特征提取网络和特征金字塔结构构成的MDCN目标检测模型进行训练，包括以下步骤：
构建训练集，将真实框和不同的锚框进行IOU运算进而生成对应数量的样本；
其中，IOU值最大时对应的样本作为正样本，并将正样本对应的置信度值修改为1，正样本的中心点坐标、宽高、置信度以及分类均参与loss函数计算；
除IOU最大值以外的其他满足0.5≤IOU＜1对应的样本作为忽略样本，不参与loss函数的计算；
0≤IOU＜0.5的样本作为负样本，负样本参数中仅仅置信度参与loss函数计算。
7.根据权利要求6所述的一种基于MDCN的轻量化裂缝识别方法，其特征在于，所述损失函数为：
其中，S表示网格大小，B表示预测框的个数；表示第i个网格第j个边框不负责该目标；/>表示第i个网格第j个边框是负责这个类；xi、yi表示预测框的中心点坐标，wi、hi表示预测框的宽高；/>表示预测框的置信度，Pi j表示为预测框的类别，其余均表示为各真实框的对应值。
8.根据权利要求1所述的一种基于MDCN的轻量化裂缝识别方法，其特征在于，还包括：
采用k-means算法，对预测框进行4分类从而替代原有的9分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211007036.3A CN115330740B (zh) | 2022-08-22 | 2022-08-22 | 一种基于mdcn的轻量化裂缝识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211007036.3A CN115330740B (zh) | 2022-08-22 | 2022-08-22 | 一种基于mdcn的轻量化裂缝识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115330740A CN115330740A (zh) | 2022-11-11 |
| CN115330740B true CN115330740B (zh) | 2023-08-08 |
Family
ID=83925910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211007036.3A Active CN115330740B (zh) | 2022-08-22 | 2022-08-22 | 一种基于mdcn的轻量化裂缝识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115330740B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011242365A (ja) * | 2010-05-21 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | コンクリート構造物画像のひび割れ検知装置、ひび割れ検知方法及びそのプログラム |
| CN104007175A (zh) * | 2014-05-09 | 2014-08-27 | 华南理工大学 | 一种悬臂柔性梁多裂缝损伤识别装置及方法 |
| CN110222386A (zh) * | 2019-05-23 | 2019-09-10 | 河海大学常州校区 | 一种行星齿轮退化状态识别方法 |
| CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
| EP3596449A1 (en) * | 2017-03-14 | 2020-01-22 | University of Manitoba | Structure defect detection using machine learning algorithms |
| CN111739052A (zh) * | 2020-06-19 | 2020-10-02 | 山东凯鑫宏业生物科技有限公司 | 应用于医疗的基于自适应轮廓模型肺部mri图像分割方法及mri设备 |
| CN112259223A (zh) * | 2020-10-22 | 2021-01-22 | 河北工业大学 | 基于全视野数字切片的病人级别肿瘤智能诊断方法 |
| CN113421187A (zh) * | 2021-06-10 | 2021-09-21 | 山东师范大学 | 一种超分辨率重建方法、系统、存储介质、设备 |
| CN113674247A (zh) * | 2021-08-23 | 2021-11-19 | 河北工业大学 | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 |
| CN113822880A (zh) * | 2021-11-22 | 2021-12-21 | 中南大学 | 一种基于深度学习的裂缝识别方法 |
| CN114623776A (zh) * | 2022-05-16 | 2022-06-14 | 四川省公路规划勘察设计研究院有限公司 | 基于隧道变形监测的隧道损伤预测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210350517A1 (en) * | 2020-05-08 | 2021-11-11 | The Board Of Trustees Of The University Of Alabama | Robust roadway crack segmentation using encoder-decoder networks with range images |
-
2022
- 2022-08-22 CN CN202211007036.3A patent/CN115330740B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011242365A (ja) * | 2010-05-21 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | コンクリート構造物画像のひび割れ検知装置、ひび割れ検知方法及びそのプログラム |
| CN104007175A (zh) * | 2014-05-09 | 2014-08-27 | 华南理工大学 | 一种悬臂柔性梁多裂缝损伤识别装置及方法 |
| EP3596449A1 (en) * | 2017-03-14 | 2020-01-22 | University of Manitoba | Structure defect detection using machine learning algorithms |
| CN110222386A (zh) * | 2019-05-23 | 2019-09-10 | 河海大学常州校区 | 一种行星齿轮退化状态识别方法 |
| CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
| CN111739052A (zh) * | 2020-06-19 | 2020-10-02 | 山东凯鑫宏业生物科技有限公司 | 应用于医疗的基于自适应轮廓模型肺部mri图像分割方法及mri设备 |
| CN112259223A (zh) * | 2020-10-22 | 2021-01-22 | 河北工业大学 | 基于全视野数字切片的病人级别肿瘤智能诊断方法 |
| CN113421187A (zh) * | 2021-06-10 | 2021-09-21 | 山东师范大学 | 一种超分辨率重建方法、系统、存储介质、设备 |
| CN113674247A (zh) * | 2021-08-23 | 2021-11-19 | 河北工业大学 | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 |
| CN113822880A (zh) * | 2021-11-22 | 2021-12-21 | 中南大学 | 一种基于深度学习的裂缝识别方法 |
| CN114623776A (zh) * | 2022-05-16 | 2022-06-14 | 四川省公路规划勘察设计研究院有限公司 | 基于隧道变形监测的隧道损伤预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度卷积神经网络融合模型的路面裂缝识别方法;孙朝云;马志丹;李伟;郝雪丽;申浩;;长安大学学报(自然科学版)(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115330740A (zh) | 2022-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113674247B (zh) | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 | |
| CN110503112B (zh) | 一种增强特征学习的小目标检测及识别方法 | |
| CN111914720B (zh) | 一种输电线路绝缘子爆裂识别方法及装置 | |
| CN110991444B (zh) | 面向复杂场景的车牌识别方法及装置 | |
| CN111461213B (zh) | 一种目标检测模型的训练方法、目标快速检测方法 | |
| CN107944450A (zh) | 一种车牌识别方法及装置 | |
| CN111178451A (zh) | 一种基于YOLOv3网络的车牌检测方法 | |
| CN113780211A (zh) | 一种基于改进型Yolov4-tiny的轻量级飞机检测方法 | |
| CN113420643B (zh) | 基于深度可分离空洞卷积的轻量级水下目标检测方法 | |
| CN111738206B (zh) | 基于CenterNet的用于无人机巡检的挖掘机检测方法 | |
| CN114973002A (zh) | 一种基于改进的YOLOv5的麦穗检测方法 | |
| CN112381060A (zh) | 一种基于深度学习的建筑物地震破坏等级分类方法 | |
| CN112861646B (zh) | 复杂环境小目标识别场景下的卸油工安全帽级联检测方法 | |
| CN115620180A (zh) | 一种基于改进YOLOv5的航拍图像目标检测方法 | |
| CN111640116A (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
| CN114565959A (zh) | 基于YOLO-SD-Tiny的目标检测方法及装置 | |
| CN113076804A (zh) | 基于YOLOv4改进算法的目标检测方法、装置及系统 | |
| CN116597326A (zh) | 一种基于改进YOLOv7算法的无人机航拍小目标检测方法 | |
| CN115330740B (zh) | 一种基于mdcn的轻量化裂缝识别方法 | |
| CN115424276B (zh) | 一种基于深度学习技术的船牌号检测方法 | |
| CN109190451B (zh) | 基于lfp特征的遥感图像车辆检测方法 | |
| CN116129234A (zh) | 一种基于注意力的4d毫米波雷达与视觉的融合方法 | |
| CN116310323A (zh) | 一种飞机目标实例分割方法、系统和可读存储介质 | |
| CN115457412A (zh) | 一种基于Faster-rIR7-EC的混凝土裂缝快速识别方法 | |
| CN114708590A (zh) | 基于深度学习的复合固化土微观结构识别分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Cao Maosen Inventor after: Fu Ronghua Inventor after: Wang Jie Inventor after: Qian Xiangdong Inventor after: Zhu Kai Inventor before: Cao Maosen Inventor before: Fu Ronghua Inventor before: Zhu Huaxin Inventor before: Wang Jie Inventor before: Qian Xiangdong Inventor before: Emil Manoch Inventor before: Sumara Dragoslav Inventor before: Zhu Kai |
|
| CB03 | Change of inventor or designer information | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240304 Address after: Xikang Road, Gulou District of Nanjing city of Jiangsu Province, No. 1 210098 Patentee after: HOHAI University Country or region after: China Patentee after: Jiangsu Dongjiao Intelligent Control Technology Group Co.,Ltd. Address before: 210000 No. 1 Xikang Road, Gulou District, Nanjing City, Jiangsu Province Patentee before: HOHAI University Country or region before: China Patentee before: Jiangsu Dongjiao Intelligent Control Technology Group Co.,Ltd. Patentee before: JIANGSU ZHONGJI ENGINEERING TECHNOLOGY RESEARCH Co.,Ltd. Patentee before: JSTI GROUP Co.,Ltd. |
|
| TR01 | Transfer of patent right |