CN117765373B - 一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统 - Google Patents

Abstract

本发明属于目标检测领域，提供了一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统，其技术方案为：使用无人机拍摄道路裂缝图像，制作道路裂缝数据集；利用labelme数据标注工具进行标注，并对数据集进行数据增强；通过在YOLOv8n的特征提取网络部分引入C2f_SK模块，在特征融合网络中引入轻量化的GSConv，将CIoU损失函数替换为Inner‑CIoU，构建改进YOLOv8n模型；将标注好的图像数据集输入到改进的YOLOv8n模型中进行训练；用训练好的改进YOLOv8n模型进行道路裂缝检测。本发明可以部署到无人机设备上，利用无人机进行道路裂缝巡检，可以提升道路裂缝检测的准确率。

Description

一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统

技术领域

本发明属于目标检测领域，尤其涉及一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

道路桥梁的表面由于直接接触车辆荷载，病害出现更加频繁。车辆荷载引起路基路面等形变产生的剥落、车辙、横向裂缝、纵向裂缝、坑槽、松散、沉陷等缺陷对行车舒适性、交通安全等均会造成不利影响，其中裂缝是最为常见的病害，且作为评价路面质量最为重要参数之一，是大部分病害初期表现形式，因此，对道路裂缝的及时检测至关重要。

传统的人工检测方法，主要依靠道路养护人员进行实地勘探测量和评价分析，这种方法耗时较长、准确性较差、且易受人为因素的干扰。近年来，伴随着计算机处理能力的不断提升以及深度学习和人工智能的崛起，开始使用深度学习技术来进行道路裂缝检测。

基于目标检测的道路裂缝检测算法一直是该领域的研究热点。目标检测算法按照识别阶段分为两类，一阶段检测网络和两阶段检测网络，两阶段检测网络的代表性算法有Mask R-CNN和Faster R-CNN等，两阶段模型的候选区域过多，导致计算量大，检测速度慢。一阶段检测网络以SSD和YOLO系列为代表，YOLOv8为YOLO系列最新版本，相比于其他早期版本性能有所提升。两阶段检测算法涉及大量的参数和计算，使得检测速度受到严重限制。

公开号为CN116402750A的发明，将形态学运算与YOLOv5相结合，共同进行道路裂缝检测。通过形态学运算提取裂缝特征，选用Yolov5网络进行模型训练，将原始裂缝图像经过形态学运算裂缝特征处理后，作为Yolov5模型的输入进行目标检测，有效提高了检测精度，降低了漏检和误检率。

公开号为CN117078591A的发明，对YOLOv8网络进行改进，改进的YOLOv8s网络在YOLOv8s网络的Backbone 网络和Neck网络中添加协调注意力机制层CA，并在原YOLOv8s网络的Neck网络中添加P2CA模块，使用改进的YOLOv8网络进行道路裂缝检测有效提高了检测精度。

发明人发现，上述方案虽然提升了裂缝检测的精度，但是模型参数量与计算量较大，无法实现边缘设备的部署，也未考虑到细小裂缝的检测问题。

相关文献“基于改进YOLOv8的嵌入式道路裂缝检测算法”提出一种改进YOLOv8轻量化算法，使用部分卷积设计了Faster Block结构，用以替换YOLOv8 C2f模块中的Bottleneck结构，在YOLOv8主干网络中的每个C2f-Faster模块之后接一个SE通道注意力层，进一步提高检测的精度，尽管所提模型有一定的轻量化，但在轻量化和精度之间没有很好的权衡。

综上，现有的基于深度学习的道路裂缝检测方法效果不佳，主要有以下不足：(1)没有考虑复杂背景条件以及裂缝的大小尺度不一的问题。(2)不能利用轻量化的模型进行高精度的裂缝检测。

发明内容

为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统，其在保证轻量化模型的基础上提升多种尺度大小的裂缝检测的准确率。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种自适应裂缝尺寸的轻量化道路裂缝检测方法，包括如下步骤：

获取道路裂缝图像数据；

结合道路裂缝图像数据和训练后的道路裂缝检测模型对道路裂缝进行检测，得到裂缝检测结果；

其中，所述道路裂缝检测模型的构建过程包括：

对道路裂缝图像数据特征提取时，在YOLOv8n模型中空间金字塔模块上一层的C2f模块中，引入带有选择性内核卷积注意力机制的C2f_SK模块，根据特征图中裂缝的大小动态选择卷积核的大小，自适应调整感受野大小，提取包括不同裂缝的信息的特征图；

对包含不同尺度裂缝信息的特征图进行融合，将YOLOv8n模型中neck部分的标准卷积替换为轻量化卷积GSConv，将获得的通道分离的特征图，通过通道重排操作，融合不同通道之间的裂缝特征信息。

进一步地，所述C2f_SK模块首先经过第一卷积，第一卷积的输出经过通道分割split操作之后，沿通道维度分成两部分，每部分的操作如下：第一部分不进行任何操作，直接作为结果之一，后续进行concat，第二部分作为输入，依次经过n个SK_Bottleneck模块，每个bottleneck模块包含第二卷积和第三卷积，在第二卷积和第三卷积的残差连接之后加入SK注意力机制，组成SK-bottleneck，最后将两部分的结果concat。

进一步地，所述引入带有选择性内核卷积注意力机制的C2f_SK模块，根据特征图中裂缝的大小动态选择卷积核的大小，自适应调整感受野大小，提取包括不同裂缝的信息的特征图，包括：

带有选择性内核卷积注意力机制的C2f_SK模块通过三个算子Split、Fuse和Select来实现根据裂缝图像的大小动态选择卷积核的大小；

通过Split算子对特征图进行多分支分离卷积，各分支使用不同的卷积核进行特征提取得到多个分支的特征图提取结果；

通过Fuse算子将多个分支的特征图提取结果相加；

通过Select算子将多个分支的特征图相加的结果乘以多分支提取的特征图结果，得到最终的特征图。

进一步地，所述轻量化卷积GSConv包括标准卷积、深度可分离卷积、concat模块和通道重排模块；

将通过标准卷积获取的特征图和通过深度可分离卷积得到的通道分离的特征图使用concat模块拼接得到第一特征图；

基于第一特征图，通过通道重排模块，进行通道重排操作，让之前标准卷积和深度可分离卷积对应通道数挨在一起，增加不同通道之间的信息交流，得到第二特征图。

进一步地，道路裂缝检测模型训练时，将CIOU损失函数替换为Inner-CIOU损失函数，通过Inner-CIOU损失函数，使用辅助边界框来进行计算，使用比例因子比例控制来生成不同尺度的辅助边界框来计算损失。

进一步地，所述Inner-CIOU损失函数的计算过程为：

计算ground truth框的辅助计算框的上下左右边界；

计算预测框的辅助计算框的边界；

分别计算预测框和Ground Truth框的辅助框的交集面积和并集面积；

利用交集面积inter和并集面积union计算Inner-CIoU。

进一步地，获取道路裂缝图像数据后，对道路裂缝图像数据进行预处理，包括图像的标注和图像的增强。

进一步地，所述道路裂缝图像数据包括横向裂缝、纵向裂缝、斜向裂缝、鳄鱼裂缝、修补及坑洞六种道路裂缝病害图像。

进一步地，所述方法还包括对训练后的道路裂缝检测模型进行性能评估，使用各类别的准确率、召回率、平均准确率均值以及模型参数量、FPS指标进行评估。

本发明的第二个方面提供一种自适应裂缝尺寸的轻量化道路裂缝检测系统，包括：

图像获取模块，被配置为：获取道路裂缝图像数据；

裂缝检测模块，被配置为：结合道路裂缝图像数据和训练后的道路裂缝检测模型对道路裂缝进行检测，得到裂缝检测结果；

其中，所述道路裂缝检测模型的构建过程包括：

对道路裂缝图像数据特征提取时，在YOLOv8n模型中空间金字塔模块上一层的C2f模块中，引入带有选择性内核卷积注意力机制的C2f_SK模块，根据特征图中裂缝的大小动态选择卷积核的大小，自适应调整感受野大小，提取包括不同裂缝的信息的特征图；

对包含不同尺度裂缝信息的特征图进行融合，将YOLOv8n模型中neck部分的标准卷积替换为轻量化卷积GSConv，将获得的通道分离的特征图，通过通道重排操作，融合不同通道之间的裂缝特征信息。

与现有技术相比，本发明的有益效果是：

1、针对裂缝图像数据集中的裂缝尺度大小不一，仅使用单一的感受野提取特征，造成检测精度低的问题，本发明引入的融合注意力机制的C2f_SK作用在特征图之上，具体来说将带有SK注意力机制的SK_Bottleneck来替换YOLOv8n中C2f模块中的Bottleneck，构成新的C2f_SK模块，其中的SK模块可以根据输入特征图中的裂缝大小自适应的调整其感受野，通过获取特征图中的可用注意力信息，使得网络更加关注具有重要信息地特征，更加适用于目标尺寸不均匀的复杂道路场景，从而提高检测精度，达到更好的任务效果，传递更加丰富的梯度流信息。

2、针对裂缝检测需要具有实时性的需求，在YOLOv8n网络的neck部分用轻量级的GSConv代替标准卷积，加强网络特征融合的能力，降低了计算和网络结构的复杂性，但保持了足够的准确性，加快了推理速度。

3、本发明采用Inner-CIOU Loss作为目标框回归损失函数，由于Inner-CIOU Loss从重叠面积、中心点距离和长宽比三个角度进行衡量，使得对中心点偏移和比例变化损失更敏感，更好地处理重叠目标和尺度变化，减少锚框数量，提升网络运行速度，Inner-CIOU替换原YOLOv8n中用于计算回归损失的CIOU，可以获得更快的收敛速度和更准确的回归结果。

与现有的道路缺陷检测模型相比，本发明最后训练出来的模型在保证轻量化的同时，具有更快的速度，更高的裂缝检测精度和更多的裂缝检测类别；完全满足实时检测的要求；具有可移植性和扩展性，更容易与硬件设备结合。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例提供的自适应裂缝尺寸的轻量化道路裂缝检测方法整体流程示意图；

图2是本发明实施例提供的改进的YOLOv8n的结构图；

图3是本发明实施例提供的C2f_SK模块中的SK_bottleneck模块结构图；

图4是本发明实施例提供的SK注意力模块的结构示意图；

图5是本发明实施例提供的GSConv模块的结构示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

如图1所示，本实施例提供了一种自适应裂缝尺寸的轻量化道路裂缝检测方法，包括如下步骤：

S101：获取道路裂缝图像；

S101中，本实施例中，使用无人巡检设备获取道路裂缝图像，选用无人机的飞行高度设置为3米，拍摄的裂缝图像比较清晰并且不妨碍交通；

所述道路裂缝图像包含各种光照条件以及复杂背景的裂缝数据，包含横向裂缝、纵向裂缝、斜向裂缝、鳄鱼裂缝、修补、坑洞六种道路裂缝病害，目的是更能反映真实的路面情况，提高模型对各种类型裂缝的检测性能以及模型的泛化性。

之后，通过人工筛选，去除一些模糊图像，获得道路裂缝图像数据集。

S102：对获得的道路裂缝图像标注及数据增强得到数据集；

在检测模型的训练任务中，如果用于训练的图像数据不足，会产生过拟合的情况；此外，训练集中的1048幅原始道路裂缝图像难以涵盖所有的光照强度、天气、噪声、清晰度等因素，因此需要对道路裂缝图像数据进行扩增以获得充足的样本数据，提高目标检测模型的检测性能和泛化能力。

通过Python对采集的原始道路裂缝图像添加随机对比度、随机亮度、随机翻转、随机高斯噪声、随机饱和度，以尽可能多地涵盖多种场景下的道路裂缝图像，并且和公开数据集合并对数据集进行扩充，在训练过程中还会随机使用Mosaic等方法对数据集进行在线数据增强，扩充后数据集共6000张，按照7：2：1的比例划分训练集、验证集和测试集并使用labelme软件对图像进行标注。

首先，利用labelme标注工具对人工筛选后的图像进行标注，具体包括：

对相应的裂缝图像打上对应标签，包括Longitudinal crack、Transverse crack、Alligator crack、Oblique crack、Repair、Pothole六种标签，用矩形框进行标注，标注完成后导出为xml格式文件，需要将xml转换成YOLO格式。

接着，对图像增强，图像增强方法包括离线数据增强和在线数据增强，离线数据增强方法使用随机裁剪、图像旋转、改变亮度、平移等方法，图像旋转有六种旋转角度（60,90,120,150,180,270），在线数据增强使用Mosaic数据增强方法，具体过程为：

(1)选择图像：随机选择四个训练图像，结合成一个新的图像。然后随机确定一个中心点，这个点将是四个图像拼接的交点，中心点的位置影响每个图像在最终合成图像中占据的空间大小。

(2)图像缩放与裁剪：每个图像都根据中心点被裁剪和缩放，以便它们能够适当地拼接在一起。通常，每个图像都被裁剪成为原始大小的四分之一，但最终取决于中心点的具体位置。

(3)图像合成：四个裁剪后的图像被合成到一个新的图像画布上。这个画布的大小通常是单个训练图像的大小，每个图像占据画布的一个角落，形成一个大的、包含多个场景的合成图像。

(4)调整标注：对于每个原始图像中的对象，需要调整其标注框（例如边界框）以匹配新图像中的位置。如果对象的一部分被裁剪掉，其标注也需要相应调整。

S103：构建道路裂缝检测模型；

如图2所示，本实施例中，所述道路裂缝检测模型构建时，在YOLOv8n模型的backbone中将原始的C2f模块替换为带有SK注意力机制的C2f_SK模块，利用轻量化的GSConv替换特征融合网络部分的Conv，将原有损失函数CIOU更新为Inner-CIOU，加快收敛速度，具体的构建过程如下：

S301：引入带有注意力机制的C2f_SK模块进行道路裂缝的特征提取；

YOLOv8n的特征提取网络由卷积模块Conv，C2f模块以及空间金字塔模块SPPF组成，空间金字塔模块的输入为上一个C2f模块的输出；

YOLOv8n网络的主干网络已经拥有很强的特征提取能力，但裂缝图像数据集中存在一些背景干扰，以及由于无人机拍摄高度问题，裂缝区域只占据图像的一小部分区域，裂缝的大小不一，仅使用一种类型的卷积核提取特征，容易造成特征信息丢失；

为了使特征金字塔模块SPPF能够更好的提取不同尺度下的道路裂缝语义信息，将SPPF上一层的C2f模块替换为带有注意力机制的C2f_SK模块，SK注意力机制的核心为选择性内核卷积(Selective Kernel，SK)。

在普通的卷积操作中，卷积核是一个小的过滤器，用于与输入图像进行互相关操作，以提取特征，为了使神经元能够自适应地根据输入图像的大小自适应的调整感受野，使用在具有不同内核大小的多个内核之间进行自动选择操作，即“选择性内核卷积”。

下面以其中的一种情况为例，说明C2f_SK模块的具体工作原理：

C2f模块的输入为第8层卷积模块Conv的输出，C2f_SK模块首先经过一个1×1的卷积，然后经过split操作，在维度1上将特征图分成2块，每块的通道数为原来的1/2，其中一块依次经过n个bottleneck模块，每个bottleneck模块包含一个3×3和一个1×1的卷积，在3×3和一个1×1的卷积的残差连接之后加入SK注意力机制，组成SK-bottleneck，SK-bottleneck模块带有各种残差连接，最后用concat将两块进行合并，合并后再经过一个1×1的卷积后作为输出。

具体来说，通过三个算子—Split、Fuse和Select来实现SK卷积，包括如下步骤：

split：对特征图进行多分支分离卷积，各分支使用不同的卷积核（感受野不同）进行特征提取。分支数为n，本实例采用分支数为3的情况，则特征图维度变换由(C,H,W)变为(3,C,H,W)。

Fuse：将多个分支的特征图提取结果相加。特征图维度变换由(3,C,H,W)变为(C,H,W)；再通过全局平均池化操作，特征图维度变换由(C,H,W)变为(C,1,1)，然后利用全连接层进行降维，通过全连接层生成C×1×1的向量，再利用3个全连接层进行升维，得到3个维度同降维前相同的特征图（向量）。再对两个特征向量进行softmax处理。特征图维度为3个(C,1,1)。

select：利用softmax处理后的多个特征向量分别乘以第一步中的多分支提取的特征图结果。特征维度变化为3个(C,1,1)×3个(C,H,W)=(3,C,H,W)，最后将3个特征图（U1、U2、U3）进行相加，得到最终模块U，模块U相比于最初的V经过了信息的提炼，融合了多个感受野的信息。

如图4所示，下面以分支数为3为例，详细说明特征提取过程：

S3011：首先对于任意给定的特征图经过3x3，5x5和7x7等卷积得到/>、、/>三个特征图，将包含不同感受野信息的特征图进行加和：

(1)，

其中，，V中融合了多种感受野的信息。

S3012：然后沿着维度进行全局平均池化，得到一个C×1×1的一维向量结果表示各个通道的信息的重要程度。接着利用一个线性变换，将原来的C维映射成Z维的信息，得到/>：

(2)，

其中，代表ReLU函数，B表示批量归一化，/>。

S3013：跨通道的软注意力用于自适应地选择不同空间尺度的信息，

(3)，

其中，和a、b、f分别表示V1、V2和V3的软注意力向量，/>代表A的第c行，/>是a的第c个元素，/>同理可得。最终的特征图U通过各个核上的注意力权重获得：

(4)，

三个模块相加，进行信息融合，得到最终模块U，模块U相比于最初的V经过了信息的提炼，融合了多个感受野的信息。

在所拍摄的裂缝图像中，裂缝的大小不一致，加入C2f_SK模块，可以根据输入的裂缝图像动态选择卷积核的大小，使得模型可以自适应地根据输入裂缝图像特征调整感受野的大小，Select算子根据不同权重聚合不同大小内核的特征图，允许网络在处理不同尺度的特征时更加灵活，有助于捕捉图像中不同尺度的信息，同时可以融合多个感受野下的裂缝信息，提高裂缝检测的准确度。

如图3所示，C2f由两个卷积和n个Bottleneck模块组成，将SK注意力机制加入到每个Bottleneck模块的最后，加入SK注意力能够形成一个更强大的残差学习结构，每个Bottleneck模块输出最重要的语义特征，强化网络后续模块学习裂缝的重要特征的能力，将YOLOv8n网络backbone部分的最后一个C2f模块替换为C2f_SK模块。

S302：将YOLOv8n模型中neck部分的标准卷积替换为GSConv，融合不同尺度的裂缝特征；

由于裂缝检测不仅需要高精度而且需要实时性检测，常见的Mobilenet等轻量级模型中常采用深度可分离卷积来提高检测的速度，但深度可分离卷积具有一定的缺点，DSC中的深度卷积只处理每个输入通道的信息，而逐点卷积在各个通道之间进行信息整合。由于这两个步骤是独立的，尤其是在处理具有复杂关联性的特征时，可能导致信息交流不足，特征表达和融合能力较弱。

本实施例提出一种轻量化卷积(Generalized-Sparse Convolution，GSConv)，在neck部分将原始的标准卷积替换成轻量化卷积GSConv，GSConv相比标准卷积可减少约50%的计算量。仅在neck中进行替换，是因为backbone特征提取网络中正在将语义信息传输到通道中，在backbone中运用标准卷积最大限度的保留了每个通道之间的隐藏连接，在backbone中添加GSConv，会导致这些语义信息的丢失，GSConv在减少参数的同时尽可能地保留这些连接。但是如果将YOLOv8n网络中的所有标准卷积都换成GSConv，模型的网络层会更深，深层会加剧对数据流的阻力，显著增加推理时间，所以将YOLOv8n模型中neck部分的标准卷积替换为GSConv。

YOLOv8n网络的特征融合网络neck部分由C2f、concat和Conv模块组成，如图2所示，将neck部分第7层和第10层的标准卷积替换为轻量化的GSConv,两个GSConv模块的输入分别来自上一层C2f模块的输出，第7层GSConv的输出输入到第8层concat中，第10层的GSConv的输出输入到第11层的concat中，concat模块连接GSConv与特征金字塔模块SPPF的输出。

GSConv包括两个卷积模块（一个标准卷积和一个深度可分离卷积）、一个concat模块和一个shuffle(通道重排)模块；

如图5所示，GSConv首先是通过一个标准的1×1的卷积，卷积的输入通道数为C1，输出通道数为C2/2，然后再通过深度可分离卷积(DSC)，这一步获得了通道分离的特征图，并将两个Conv的结果拼接起来（一个SC一个DSC），通道数为C2；最后进行通道重排操作，让标准卷积和深度可分离卷积对应通道数挨在一起，通道重排旨在增加不同通道之间的信息交流，促使不同通道之间的信息更好地融合。通道重排会将输入的通道重新排列，融合不同的裂缝特征，以促使模型学习到更丰富的特征表示。

通过将两者结合，并加入通道重排的均匀混合操作，GSConv既保留了标准卷积的表达能力，又减小了计算量，使得特征提取更高效。相比于仅使用深度可分离卷积，GSConv的设计通过重排操作优化了通道之间的信息流动,输出特征图更接近标准卷积，从而获得更好的性能。

GSConv与标准卷积的复杂度对比如下：

参数量比较：假设标准卷积层，输入通道数为，输出通道数为/>，卷积核大小为K。标准卷积的参数量可以表示为：

(5)，

GSConv，其中包含一个主要卷积和一个分支卷积。假设分支卷积的分组数为G（通常设置为输入通道数的一部分）。GSConv的参数量可以表示为：

(6)，

参数量对比为：

(7)，

可以看到，GSConv的参数量明显比标准卷积少，因为它的分支卷积使用了主卷积的一部分通道。

计算复杂度比较：计算复杂度通常是由卷积操作的乘法和加法运算数量来衡量的。对于标准卷积，计算复杂度可以表示为：

(8)，

其中，H和W是输入特征图的高度和宽度。

对于GSConv，计算复杂度可以表示为：

(9)，

同样可以看到，GSConv的计算复杂度相对较低，因为它的分支卷积操作使用了主卷积的一部分通道。通过比较参数量和计算复杂度，可以得出GSConv相对于标准卷积的轻量化效果。

S303：将CIOU损失函数替换为Inner-CIOU损失函数；

由于图像数据是由无人机拍摄的，所以图像中很多裂缝比较小，YOLOv8n模型中提供了CIoU、DIoU和GIoU三种损失函数，默认使用CIoU。CIOU损失函数对于初始框的尺寸非常敏感。这意味着如果两个边界框的尺寸相差很大，CIOU可能会导致不稳定的训练。CIOU额外考虑了框中心点距离，对小目标的小位移误差给出的惩罚较少，导致对较小的裂缝检测效果不好。

为了解决上述问题通过使用引入的Inner-CIOU设置大于1的比例因子，来生成较大的辅助框，利用辅助框代替真实框进行IOU的计算，提高小裂缝检测精度。

引入Inner-CIOU作为损失函数，使用辅助边界框来进行计算，以加速回归，并且不需要添加任何新的损失项，使用比例因子比例控制来生成不同尺度的辅助边界框来计算损失。将其应用到现有的基于IoU的损失函数中可以得到更快、更有效的回归结果，进一步提高收敛速度。

所述Inner-CIOU的计算步骤如下：

S3031：首先计算标注框的辅助计算框的上下左右边界：

(10)，

(11)，

其中为ground truth框的中心x坐标，/>是ground truth框的中心y坐标，/>代表ground truth框的高度，/>代表ground truth框的宽度，ratio是缩放因子。

S3032：然后计算预测框的辅助计算框的边界：

(12)，

(13)，

这里是预测框的中心x坐标，w是预测框的宽度，/>是预测框的中心y坐标，h是预测框的高度。

S3033：分别计算预测框和Ground Truth框的辅助框的交集面积和并集面积/>：

(14)，

(15)，

S3034：最后利用交集面积inter和并集面积union计算Inner-CIoU：

(16)，

S3035：由Inner-CIOU计算YOLOv8n网络的边界框回归损失函数部分：

(17)，

(18)，

(19)，

其中是一个正的权衡参数，/>衡量长宽比的一致性，/>代表真值框的宽度，/>代表真值框的高度，/>为预测框的宽度，/>代表预测框的高度，/>代表预测框和真值框中心点欧氏距离，c为预测框和真值框所构成的最小外接矩形对角线的长度。

Inner-CIOU弥补现有CIoU损失在不同检测任务中泛化能力弱和收敛速度慢的问题，对于不同的裂缝大小，缩放因子比率来控制用于计算损失的辅助边界框的缩放大小，比例因子通常值在(0.5,1.5)。与IoU损失相比，当比率小于1且辅助边界框尺寸小于实际边界框时，回归的有效范围小于IoU损失，但梯度的绝对值大于获得的梯度来自IoU损失，可以加速高IoU裂缝样本的收敛。相反，当比率大于1时，较大尺度的辅助边界框扩大了回归的有效范围，增强了低IoU裂缝样本回归的效果。因此对于高IoU裂缝样本，使用较小的辅助边界框来计算损失可以加速收敛，而较大的辅助边界框适合低IoU裂缝样本。

Inner-IoU可以集成到现有的IoU类loss中，如GIoU、DIoU、CIoU，具有一定的泛化性。Inner-CIoU的关键优势是更快的收敛，尤其是对数据集中较小裂缝的检测，并且比仅仅依赖IoU的loss泛化能力更好。

引入Inner-CIoU，其核心思想是用可调节大小的辅助框而不是真实框来计算IoUloss。图像的标注框是不可变的，引入Inner-IOU，会生成辅助边界框和预测框，以此来计算其IOU值，辅助框的大小可以调节，因此对于具有大小不同IOU的裂缝图像来说，引入Inner-IOU可以自适应的调节，以更好地实现边界框回归，减小损失值。

S104：根据S102构建的数据集训练S103构建的道路裂缝检测模型，最后进行模型性能评估；

具体的操作方式为：

S401：训练改进后的道路裂缝检测模型

本实施例中，使用PyTorch深度学习框架，GPU选择2080ti，显存11G下进行模型训练与评估。模型训练参数设置：图像尺寸归一化到640×640，使用随机梯度下降优化器SGD，模型初始的学习率设置为0.01，使用余弦退火学习率进行训练，训练批处理大小batch-size设为16，训练的总轮数(epochs)为300。其余参数默认为YOLOv8n模型的原始配置，设定好参数后对道路裂缝检测模型进行训练。

S402：进行模型性能评估

为了客观评估模型效果，使用各类别的准确率P、召回率R、平均准确率均值mAP以及模型参数量(Param)、FPS等指标进行评估。当交并比IoU阈值为0.5时，得到的平均准确率均值记为mAP@0.5；当IoU阈 值分别为0.5到0.95中等间隔取的10个值时，得到10个平均准确率均值再取平均得到的最终结果记为mAP@0.5:0.95。

本发明对比了Faster R-CNN、YOLOv5s、SSD和YOLOv7-tiny四种经典目标检测模型。如表1所示，改进后的模型要优于所有模型。mAP@0.5与原模型YOLOv8n相比从提高了1.2％，mAP@0.5:0:95提高了1.1％，具有最高的FPS 123.8，完全满足实时(>30FPS)检测的要求。

表1实验结果对比

从表1可以看出，本发明对应模型的mAP@0.5、mAP@0.5:0.95比其他模型中最高的YOLOv5s分别高1.4％、1.6％；参数量比其他模型中最低的YOLOv7-tiny低3.31M，参数量仅为YOLOv7-tiny的44.9%。计算速度FPS高于原始YOLOv8n模型，FPS、mAP@0.5、mAP@0.5：0.95均高于其他所有对比模型，且参数量比这些目标检测模型都低，模型规模最小，因此改进的YOLOv8模型相比于原始模型，既提高了检测速度，减小了模型体积，使得模型轻量化，又能提高检测精度。

实施例二

本实施例提供了一种自适应裂缝尺寸的轻量化道路裂缝检测系统，包括：

图像获取模块，被配置为：获取道路裂缝图像数据；

裂缝检测模块，被配置为：结合道路裂缝图像数据和训练后的道路裂缝检测模型对道路裂缝进行检测，得到裂缝检测结果；

其中，所述道路裂缝检测模型的构建过程包括：

对道路裂缝图像数据特征提取时，在YOLOv8n模型中空间金字塔模块上一层的C2f模块中，引入带有选择性内核卷积注意力机制的C2f_SK模块，根据特征图中裂缝的大小动态选择卷积核的大小，自适应调整感受野大小，提取包括不同裂缝的信息的特征图；

对包含不同尺度裂缝信息的特征图进行融合，将YOLOv8n模型中neck部分的标准卷积替换为轻量化卷积GSConv，将获得的通道分离的特征图，通过通道重排操作，融合不同通道之间的裂缝特征信息。

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的一种自适应裂缝尺寸的轻量化道路裂缝检测方法中的步骤。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的一种自适应裂缝尺寸的轻量化道路裂缝检测方法中的步骤。

实施例五

本实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如实施例一所述的一种自适应裂缝尺寸的轻量化道路裂缝检测方法中的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种自适应裂缝尺寸的轻量化道路裂缝检测方法，其特征在于，包括如下步骤：

获取道路裂缝图像数据；

结合道路裂缝图像数据和训练后的道路裂缝检测模型对道路裂缝进行检测，得到裂缝检测结果；

其中，所述道路裂缝检测模型的构建过程包括：

对道路裂缝图像数据特征提取时，在YOLOv8n模型中空间金字塔模块上一层的C2f模块中，引入带有选择性内核卷积注意力机制的C2f_SK模块，根据特征图中裂缝的大小动态选择卷积核的大小，自适应调整感受野大小，提取包括不同裂缝的信息的特征图；其中，C2f由两个卷积和n个Bottleneck模块组成，将SK注意力机制加入到每个Bottleneck模块的最后，加入SK注意力能够形成一个更强大的残差学习结构，每个Bottleneck模块输出最重要的语义特征，强化网络后续模块学习裂缝的重要特征的能力，将YOLOv8n网络backbone部分的最后一个C2f模块替换为C2f_SK模块；

所述C2f_SK模块首先经过第一卷积，第一卷积的输出经过通道分割split操作之后，沿通道维度分成两部分，每部分的操作如下：第一部分不进行任何操作，直接作为结果之一，后续进行concat，第二部分作为输入，依次经过n个SK_Bottleneck模块，每个bottleneck模块包含第二卷积和第三卷积，在第二卷积和第三卷积的残差连接之后加入SK注意力机制，组成SK-bottleneck，最后将两部分的结果concat；

对包含不同尺度裂缝信息的特征图进行融合，将YOLOv8n模型中neck部分的标准卷积替换为轻量化卷积GSConv，将获得的通道分离的特征图，通过通道重排操作，融合不同通道之间的裂缝特征信息。

2.如权利要求1所述的一种自适应裂缝尺寸的轻量化道路裂缝检测方法，其特征在于，所述引入带有选择性内核卷积注意力机制的C2f_SK模块，根据特征图中裂缝的大小动态选择卷积核的大小，自适应调整感受野大小，提取包括不同裂缝的信息的特征图，包括：

带有选择性内核卷积注意力机制的C2f_SK模块通过三个算子Split、Fuse和Select来实现根据裂缝图像的大小动态选择卷积核的大小；

通过Split算子对特征图进行多分支分离卷积，各分支使用不同的卷积核进行特征提取得到多个分支的特征图提取结果；

通过Fuse算子将多个分支的特征图提取结果相加；

通过Select算子将多个分支的特征图相加的结果乘以多分支提取的特征图结果，得到最终的特征图。

3.如权利要求1所述的一种自适应裂缝尺寸的轻量化道路裂缝检测方法，其特征在于，所述轻量化卷积GSConv包括标准卷积、深度可分离卷积、concat模块和通道重排模块；

将通过标准卷积获取的特征图和通过深度可分离卷积得到的通道分离的特征图使用concat模块拼接得到第一特征图；

基于第一特征图，通过通道重排模块，进行通道重排操作，让之前标准卷积和深度可分离卷积对应通道数挨在一起，增加不同通道之间的信息交流，得到第二特征图。

4.如权利要求1所述的一种自适应裂缝尺寸的轻量化道路裂缝检测方法，其特征在于，道路裂缝检测模型训练时，将CIOU损失函数替换为Inner-CIOU损失函数，通过Inner-CIOU损失函数，使用辅助边界框来进行计算，使用比例因子比例控制来生成不同尺度的辅助边界框来计算损失。

5.如权利要求4所述的一种自适应裂缝尺寸的轻量化道路裂缝检测方法，其特征在于，所述Inner-CIOU损失函数的计算过程为：

计算ground truth框的辅助计算框的上下左右边界；

计算预测框的辅助计算框的边界；

分别计算预测框和Ground Truth框的辅助框的交集面积和并集面积；

利用交集面积inter和并集面积union计算Inner-CIoU。

6.如权利要求1所述的一种自适应裂缝尺寸的轻量化道路裂缝检测方法，其特征在于，获取道路裂缝图像数据后，对道路裂缝图像数据进行预处理，包括图像的标注和图像的增强。

7.如权利要求1所述的一种自适应裂缝尺寸的轻量化道路裂缝检测方法，其特征在于，所述道路裂缝图像数据包括横向裂缝、纵向裂缝、斜向裂缝、鳄鱼裂缝、修补及坑洞六种道路裂缝病害图像。

8.如权利要求1所述的一种自适应裂缝尺寸的轻量化道路裂缝检测方法，其特征在于，所述方法还包括对训练后的道路裂缝检测模型进行性能评估，使用各类别的准确率、召回率、平均准确率均值以及模型参数量、FPS指标进行评估。

9.一种自适应裂缝尺寸的轻量化道路裂缝检测系统，其特征在于，包括：

图像获取模块，被配置为：获取道路裂缝图像数据；

裂缝检测模块，被配置为：结合道路裂缝图像数据和训练后的道路裂缝检测模型对道路裂缝进行检测，得到裂缝检测结果；

其中，所述道路裂缝检测模型的构建过程包括：

对道路裂缝图像数据特征提取时，在YOLOv8n模型中空间金字塔模块上一层的C2f模块中，引入带有选择性内核卷积注意力机制的C2f_SK模块，根据特征图中裂缝的大小动态选择卷积核的大小，自适应调整感受野大小，提取包括不同裂缝的信息的特征图；其中，C2f由两个卷积和n个Bottleneck模块组成，将SK注意力机制加入到每个Bottleneck模块的最后，加入SK注意力能够形成一个更强大的残差学习结构，每个Bottleneck模块输出最重要的语义特征，强化网络后续模块学习裂缝的重要特征的能力，将YOLOv8n网络backbone部分的最后一个C2f模块替换为C2f_SK模块；

所述C2f_SK模块首先经过第一卷积，第一卷积的输出经过通道分割split操作之后，沿通道维度分成两部分，每部分的操作如下：第一部分不进行任何操作，直接作为结果之一，后续进行concat，第二部分作为输入，依次经过n个SK_Bottleneck模块，每个bottleneck模块包含第二卷积和第三卷积，在第二卷积和第三卷积的残差连接之后加入SK注意力机制，组成SK-bottleneck，最后将两部分的结果concat；

对包含不同尺度裂缝信息的特征图进行融合，将YOLOv8n模型中neck部分的标准卷积替换为轻量化卷积GSConv，将获得的通道分离的特征图，通过通道重排操作，融合不同通道之间的裂缝特征信息。