CN117764988B - 基于异核卷积多感受野网络的道路裂缝检测方法及系统 - Google Patents

Abstract

本发明涉及计算机视觉的应用领域，提供了一种基于异核卷积多感受野网络的道路裂缝检测方法及系统。该方法包括，获取待检测的道路图像；基于待检测的道路图像，采用异核卷积多感受野网络，对道路裂缝进行检测；其中异核卷积多感受野网络包括：异核特征提取网络、加权异核特征融合网络和检测头网络，异核特征提取网络采用多个双分支异核多感受野模块与横纵局部全局特征增强模块级联的方式，提取得到特征图；双分支异核多感受野模块，将输入图像进行分割后，分别输入两路分支依次进行卷积处理和分支特征图融合；加权异核特征融合网络，包括多个双分支异核多感受野模块和多个加权特征拼接模块；检测头网络，根据融合特征图，检测道路缝隙。

Description

基于异核卷积多感受野网络的道路裂缝检测方法及系统

技术领域

本发明涉及计算机视觉的应用领域，尤其涉及一种基于异核卷积多感受野网络的道路裂缝检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

裂缝是道路表面结构的常见问题。裂缝的存在可能导致交通事故、车辆损坏，并加速道路结构的恶化。通过及时检测和修复裂缝，可以维护道路的安全性和可靠性，减少交通事故风险，延长道路寿命，降低维护成本，提高整体基础设施的质量和可持续性。对于道路管理和城市规划而言，裂缝的有效监测和维护是至关重要的。

利用激光扫描仪或雷达等设备对裂缝进行检测的技术，存在设备成本高昂且需要维护和更新，环境依赖性强等问题。依赖于图像处理的裂缝检测方法，比如阈值分割方法，边缘检测方法以及纹理分析方法等成本相对较低，但需要人工提取特征，仍然受主观影响强。

基于深度学习的道路裂缝检测已经成为裂缝检测领域的主要趋势之一，深度学习模型，尤其是卷积神经网络，能够从大量道路图像数据中学习复杂的裂缝特征表示。但由于道路裂缝变化尺度大，且受阴影遮蔽等环境影响，深度学习模型能精确的检测出道路裂缝仍然是一项挑战。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于异核卷积多感受野网络的道路裂缝检测方法及系统，本发明可以通过使用异核卷积增加网络的感受野，同时针对裂缝的特征进行特征提取，提高道路裂缝的检测精度。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于异核卷积多感受野网络的道路裂缝检测方法。

基于异核卷积多感受野网络的道路裂缝检测方法，包括：

获取待检测的道路图像；

基于待检测的道路图像，采用异核卷积多感受野网络，对道路裂缝进行检测；

其中，所述异核卷积多感受野网络包括：异核特征提取网络、加权异核特征融合网络和检测头网络，所述异核特征提取网络采用多个双分支异核多感受野模块与横纵局部全局特征增强模块级联的方式，提取得到特征图；所述双分支异核多感受野模块，将输入图像进行分割后，分别输入两路分支依次进行卷积处理和分支特征图融合；所述横纵局部全局特征增强模块对输入图像在宽和高上分别进行处理后，再进行加权融合；所述加权异核特征融合网络，包括多个双分支异核多感受野模块和多个加权特征拼接模块，所述加权特征拼接模块将异核特征提取网络提取的特征图与加权异核特征融合网络提取的特征图进行拼接，得到融合特征图；所述检测头网络，根据融合特征图，检测道路缝隙。

进一步地，所述异核特征提取网络采用五个双分支异核多感受野模块级联后再与第一横纵局部全局特征增强模块级联的方式；采用所述异核特征提取网络的过程包括：基于输入图像，采用第一双分支异核多感受野模块，得到第一特征图；基于第一特征图/>，采用第二双分支异核多感受野模块，得到第二特征图/>；基于第二特征图/>，采用第三双分支异核多感受野模块，得到第三特征图/>；基于第三特征图/>，采用第四双分支异核多感受野模块，得到第四特征图/>；基于第四特征图/>，采用第五双分支异核多感受野模块，得到第五特征图/>；基于第五特征图/>，采用第一横纵局部全局特征增强模块，得到第六特征图/>。

更进一步地，采用所述第一横纵局部全局特征增强模块的过程包括：基于输入特征图，采用第一横纵局部全局特征增强模块，对输入特征图/>分别在宽和高上做平均池化操作，得到一张高的维度为1的特征图/>，一张宽的维度为1的特征图/>；对特征图/>和特征图/>分别先后进行卷积核大小为1×1的卷积以及使用sigmoid激活函数得到相应的特征权重/>和/>；将/>与/>相乘，再乘输入特征图/>得到特征图/>；对特征图/>进行全局平均池化操作，得到高和宽的维度都为1的特征图/>；对特征图/>先后进行卷积核大小为1×1的卷积以及使用sigmoid激活函数得到相应的权重/>；将权重/>与特征图/>相乘，得到第一横纵局部全局特征增强模块输出的特征图/>。

更进一步地，所述加权异核特征融合网络包括三个双分支异核多感受野模块和五个加权特征拼接模块；采用所述加权异核特征融合网络的过程包括：基于特征图，采用第六双分支异核多感受野模块，得到特征图/>，对特征图/>进行上采样操作，得到特征图/>；基于特征图/>和异核特征提取网络中的特征图/>，采用第一加权特征拼接模块，得到特征图/>；基于特征图/>，采用第七双分支异核多感受野模块，得到特征图/>，对特征图/>进行上采样操作，得到特征图/>；基于特征图/>与异核特征提取网络中的特征图/>，采用第二加权特征拼接模块，得到特征图/>；基于特征图/>，采用第八双分支异核多感受野模块，得到特征图/>；基于特征图/>和特征图/>，采用第一邻近特征融合算子，得到特征图/>和特征图/>；基于特征图/>和特征图/>，采用第二邻近特征融合算子，得到特征图/>和特征图/>；基于将特征图/>、特征图/>和特征图/>，采用第三加权特征拼接模块，得到特征图/>；基于特征图/>、特征图/>、特征图/>和特征图/>，采用第四加权特征拼接模块，得到特征图/>；基于特征图/>、特征图/>和特征图/>，采用第五加权特征拼接模块，得到特征图/>。

更进一步地，采用所述第一双分支异核多感受野模块、第二双分支异核多感受野模块、第三双分支异核多感受野模块、第四双分支异核多感受野模块、第五双分支异核多感受野模块、第六双分支异核多感受野模块、第七双分支异核多感受野模块或第八双分支异核多感受野模块的过程包括：基于输入特征图，进行卷积处理缩小尺寸，得到特征图/>；将特征图/>在通道维度上平均分割，得到特征图/>和特征图/>；对特征图/>先后进行卷积核大小为k×k的卷积以及卷积核大小为1×1的卷积得到特征图/>；对特征图/>先后进行卷积核大小为k×k的卷积以及卷积核大小为k×k的卷积得到特征图/>；将特征图/>和特征图/>相加后进行残差操作，得到特征图/>；将特征图/>、特征图/>和特征图/>在通道维度进行拼接，得到特征图/>；对特征图/>进行卷积核大小为1×1的卷积，将特征图/>的通道数调整为与特征图/>的通道数相同，得到特征图/>；对特征图/>进行通道混洗操作，使不同通道之间的特征信息进行交互，得到输出特征图/>。

更进一步地，采用所述第一邻近特征融合算子或第二邻近特征融合算子的过程包括：基于两个特征图尺寸大小不一样的特征图和/>特征图，采用第一邻近特征融合算子或第二邻近特征融合算子后，对特征图/>进行上采样操作，得到特征图/>；对特征图/>进行下采样操作，得到特征图/>；将特征图/>与网络中可学习的权重参数/>相乘，将特征图/>与网络中可学习的权重参数/>相乘，将两次相乘的结果相加，得到特征图/>；将特征图/>与网络中可学习的权重参数/>相乘，将特征图/>与网络中可学习的权重参数/>相乘，将两次相乘的结果相加，得到特征图/>。其中，特征图/>与特征图/>为第一邻近特征融合算子或第二邻近特征融合算子的输出特征图。

更进一步地，采用所述第一加权特征拼接模块、第二加权特征拼接模块、第三加权特征拼接模块、第四加权特征拼接模块或第五加权特征拼接模块的过程包括：将n个相同尺寸的特征图与特征图/>分别对应一个可学习参数/>相乘，得到特征图/>；将特征图/>在通道维度进行拼接，并除以可学习参数/>的加和，得到第一加权特征拼接模块、第二加权特征拼接模块、第三加权特征拼接模块、第四加权特征拼接模块或第五加权特征拼接模块的输出特征图/>。

更进一步地，所述检测头网络包括三个特征增强检测头，基于特征图，采用第一特征增强检测头，得到特征图/>；基于特征图/>，采用第二特征增强检测头，得到特征图/>；基于特征图/>，采用第三特征增强检测头，得到特征图/>，基于得到特征图/>、特征图/>和特征图/>，采用非极大值抑制算法，得到检测输出图像。

更进一步地，采用所述第一特征增强检测头、第二特征增强检测头或第三特征增强检测头的过程包括：对特征图先后进行卷积核大小为1×1的卷积，卷积核大小为k×k的卷积以及卷积核大小为1×1的卷积得到特征图/>；将特征图/>与特征图/>相加得到特征图/>；对特征图/>分别进行两次卷积核大小为k×k的卷积得到特征图/>和特征图/>；将特征图/>输入到第二横纵局部全局特征增强模块，得到特征图/>；将特征图/>输入到第三横纵局部全局特征增强模块，得到特征图/>；对特征图/>进行卷积核大小为1×1的卷积调整通道数，得到特征图/>；对特征图/>分别进行两次卷积核大小为1×1的卷积调整通道数，得到特征图/>和特征图/>。

本发明的第二个方面提供一种基于异核卷积多感受野网络的道路裂缝检测系统。

基于异核卷积多感受野网络的道路裂缝检测系统，包括：

数据获取模块，其被配置为：获取待检测的道路图像；

裂缝检测模块，其被配置为：基于待检测的道路图像，采用异核卷积多感受野网络，对道路裂缝进行检测；

其中，所述异核卷积多感受野网络包括：异核特征提取网络、加权异核特征融合网络和检测头网络，所述异核特征提取网络采用多个双分支异核多感受野模块与横纵局部全局特征增强模块级联的方式，提取得到特征图；所述双分支异核多感受野模块，将输入图像进行分割后，分别输入两路分支依次进行卷积处理和分支特征图融合；所述横纵局部全局特征增强模块对输入图像在宽和高上分别进行处理后，再进行加权融合；所述加权异核特征融合网络，包括多个双分支异核多感受野模块和多个加权特征拼接模块，所述加权特征拼接模块将异核特征提取网络提取的特征图与加权异核特征融合网络提取的特征图进行拼接，得到融合特征图；所述检测头网络，根据融合特征图，检测道路缝隙。

与现有技术相比，本发明的有益效果是：

本发明在图像处理过程中，对采集的每一张道路裂缝图像进行位移模糊化处理，使得方法具有更好的鲁棒性。

本发明搭建的异核卷积多感受野网络，成本低，效率高，同时免除道路裂缝检测过程中的主观影响。

本发明采用设计的异核特征提取网络，加权异核特征融合网络以及检测头网络，以及构成以上网络的双分支异核多感受野模块和横纵局部全局特征增强模块等，与之前的神经网络模型相比，可以更准确的检测出道路裂缝损害。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明示出的基于异核卷积多感受野网络的道路裂缝检测方法的流程图；

图2是本发明示出的加权异核特征融合网络结构图；

图3是本发明示出的双分支异核多感受野模块结构图；

图4是本发明示出的横纵局部全局特征增强模块结构图；

图5是本发明示出的特征增强检测头结构图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。

实施例一

本实施例提供了一种基于异核卷积多感受野网络的道路裂缝检测方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：

获取待检测的道路图像；

基于待检测的道路图像，采用异核卷积多感受野网络，对道路裂缝进行检测；

其中，所述异核卷积多感受野网络包括：异核特征提取网络、加权异核特征融合网络和检测头网络，所述异核特征提取网络采用多个双分支异核多感受野模块与横纵局部全局特征增强模块级联的方式，提取得到特征图；所述双分支异核多感受野模块，将输入图像进行分割后，分别输入两路分支依次进行卷积处理和分支特征图融合；所述横纵局部全局特征增强模块对输入图像在宽和高上分别进行处理后，再进行加权融合；所述加权异核特征融合网络，包括多个双分支异核多感受野模块和多个加权特征拼接模块，所述加权特征拼接模块将异核特征提取网络提取的特征图与加权异核特征融合网络提取的特征图进行拼接，得到融合特征图；所述检测头网络，根据融合特征图，检测道路缝隙。

下面结合附图，对本实施例进行详细描述，如图1所示：

a）采集道路裂缝图像。

b）对采集的每一张道路裂缝图像进行位移模糊化处理，丰富裂缝特征以及路面背景的复杂度，在训练过程中提高网络的鲁棒性。

c）对位移模糊化处理后的道路裂缝图像进行标注。标注的分类分别为横向裂缝、纵向裂缝以及龟裂。标注完成后，使用标注文件和对应的图片文件制作道路裂缝数据集。

d）构建异核卷积多感受野网络。网络主要包含：异核特征提取网络，加权异核特征融合网络以及检测头网络。

e）使用制作的道路裂缝数据集训练构建的异核卷积多感受野网络。

f）将训练好的异核卷积多感受野网络封装部署，对道路裂缝进行检测。

本发明通过结合设计的异核特征提取网络、加权异核特征融合网络以及检测头网络，提出了一种异核卷积多感受野网络。同时为增强检测方法的鲁棒性，将采集到的图像进行位移模糊化处理，丰富裂缝特征以及路面背景的复杂度。

在本发明的一个实施例中，步骤a）中在不同路况，不同天气环境以及不同时间段下，使用线阵CCD相机采集道路裂缝图像。

在本发明的一个实施例中，步骤b）包括如下步骤：

b-1）对于每张像素高度为H，像素宽度为W的图像，首先从图像/>中取出一部分图像/>。图像/>的高度h为（0，H/2）区间的随机值，图像/>的宽度w为（0，W/2）区间的随机值。若随机值不为整数，则向下取整。图像/>的左上角坐标在图像/>中的位置为（i，j），表示图像/>中第i行，第j列的像素点。其中/>，i小于等于H，/>，j小于等于W。用公式表达为：

；

；

；

。

b-2）对取出的图像进行模糊化处理得到图像/>。模糊化处理包括全像素模糊化处理和随机像素模糊化处理两种方式。使用三个随机参数/>控制模糊化处理的方式。/>随机取值为0或1。当/>=1时，表示对图像/>进行全像素模糊化处理。当/>=0时，表示对图像/>不进行全像素模糊化处理。当/>=1时，表示对图像/>进行随机像素模糊化处理。当/>=0时，表示对图像/>不进行随机像素模糊化处理。若/>时，/>的取值才具有意义。当/>=0时，表示对图像/>先进行全像素模糊化处理，再进行随机像素模糊化处理。当/>=1时，表示对图像/>先进行随机像素模糊化处理，再进行全像素模糊化处理。

b-3）将图像的像素点一一赋值给图像/>的某一部分，得到模糊化处理后的图像。将图像/>中的坐标（/>，/>）的像素值赋值给图像/>中的坐标（m+/>-1，n+/>-1）的像素值。其中，/>，m小于等于H，/>，n小于等于W。如果/>+h>H，则令m=H-h。如果+w>W，则令n=W-w。公式可表示为：

；

。

在该实施例中，步骤b-2）中全像素模糊化处理方法为：首先遍历图像中的每个像素点的值/>，然后对/>进行计算，得到相应的模糊化值/>。将/>与/>相加，得到全像素模糊化处理后的像素值/>。如果/>，则将/>赋值为255。其中。公式可表示为：

。

随机像素模糊化处理方法则是：在图像中随机选取z个像素点，并根据条件将像素点的像素值赋值为0或255。z的取值范围为（0，/>）。随机选取像素点的位置为（/>，/>）。，/>的取值范围为（0，min(h，w））。/>。如果/>=0，则将该点的像素值赋值为0；如果/>0，则将该点的像素值赋值为255。其中/>表示取余符号。

在本发明的一个实施例中，步骤c）中标注文件名称与图片文件名称一一对应。同时按照8：2的比例划分训练集与测试集。

在本发明的一个实施例中，步骤d）包括如下步骤：

d-1）异核特征提取网络主要包含五个双分支异核多感受野模块和一个横纵局部全局特征增强模块。异核特征提取网络依次由第一双分支异核多感受野模块，第二双分支异核多感受野模块，第三双分支异核多感受野模块，第四双分支异核多感受野模块，第五双分支异核多感受野模块以及第一横纵局部全局特征增强模块级联构成。

d-2）加权异核特征融合网络主要包含三个双分支异核多感受野模块，即第六双分支异核多感受野模块，第七双分支异核多感受野模块，第八双分支异核多感受野模块，两个相同的邻近特征融合算子，两个相同的上采样模块以及五个相同的加权特征拼接模块。

d-3）检测头网络包含三个特征增强检测头。每个特征增强检测头主要包含八个普通卷积模块以及两个与异核特征提取网络中相同的横纵局部全局特征增强模块，即第二横纵局部全局特征增强模块和第三横纵局部全局特征增强模块。

d-4）将图像输入到异核特征提取网络中。图像/>经过第一双分支异核多感受野模块得到特征图/>。将特征图/>输入第二双分支异核多感受野模块得到特征图/>。将特征图输入第三双分支异核多感受野模块得到特征图/>。将特征图/>输入第四双分支异核多感受野模块得到特征图/>。将特征图/>输入第五双分支异核多感受野模块得到特征图/>。将特征图/>输入横纵局部全局特征增强模块得到特征图/>。

d-5）如图2所示，在加权异核特征融合网络中，将异核特征提取网络中的特征图输入到第六双分支异核多感受野模块中得到特征图/>。将特征图/>输入到第一个上采样模块中得到特征图/>。将特征图/>与异核特征提取网络中的特征图/>输入到第一加权特征拼接模块中得到特征图/>。特征图/>输入到第七双分支异核多感受野模块中得到特征图/>。将特征图/>输入到第二个上采样模块中，得到特征图/>。将特征图/>与异核特征提取网络中的特征图/>输入到第二加权特征拼接模块中得到特征图/>。将特征图/>输入到第八双分支异核多感受野模块中得到特征图/>。将特征图/>和/>输入到第一邻近特征融合算子中得到特征图/>和/>。其中特征图/>的尺寸小于特征图/>。将特征图/>和/>输入到第二邻近特征融合算子中得到特征图/>和/>。其中特征图/>的尺寸小于特征图/>。将特征图/>、/>和/>输入到第三加权特征拼接模块中，得到特征图/>。将特征图/>、/>、/>和/>输入到第四加权特征拼接模块中，得到特征图/>。将特征图、/>和/>输入到第五加权特征拼接模块中，得到特征图/>。

d-6）将特征图、/>以及/>分别输入到检测头网络的第一特征增强检测头、第二特征增强检测头、第三特征增强检测头中得到特征图/>、/>以及/>。最终特征图、/>以及/>通过非极大值抑制算法得到检测输出图像/>。

在该实施例中，优选的，步骤d-1）中：如图3所示，在双分支异核多感受野模块中，将特征图输入双分支异核多感受野模块，特征图/>首先经过卷积核大小为3×3，步长为2的卷积将特征图的尺寸缩小一半，得到特征图/>。然后将特征图/>在通道维度上平均分割，得到特征图/>和/>。对特征图/>先后进行卷积核大小为k×k的卷积以及卷积核大小为1×1的卷积得到特征图/>。对特征图/>先后进行卷积核大小为k×k的卷积以及卷积核大小为k×k的卷积得到特征图/>。然后将特征图/>和/>相加进行残差操作得到特征图/>。将特征图/>，/>和特征图/>在通道维度进行拼接，得到特征图/>。之后对特征图/>进行卷积核大小为1×1的卷积，将特征图/>的通道数调整为与特征图/>的通道数相同，得到特征图/>。最后对特征图/>进行通道混洗操作，使不同通道之间的特征信息进行交互，丰富网络的特征信息，得到双分支异核多感受野模块的最终输出特征图/>。第一双分支异核多感受野模块中k取值为3，第二双分支异核多感受野模块中k取值为3，第三双分支异核多感受野模块中k取值为5，第四双分支异核多感受野模块中k取值为7，第五双分支异核多感受野模块中k取值为9。

如图4所示，在横纵局部全局特征增强模块中，将特征图输入横纵局部全局特征增强模块，对特征图/>分别在宽和高上做平均池化操作，得到一张高的维度为1的特征图，一张宽的维度为1的特征图/>。之后对特征图/>和/>分别首先进行卷积核大小为1×1的卷积，然后使用sigmoid激活函数得到相应的特征权重/>和/>。/>与/>相乘，再乘特征图/>得到特征图/>。对特征图/>进行全局平均池化操作，得到高和宽的维度都为1的特征图/>。之后对特征图/>进行卷积核大小为1×1的卷积，然后使用sigmoid激活函数得到相应的权重/>。将权重/>与特征图/>相乘，得到横纵局部全局特征增强模块最终输出的特征图/>。

在该实施例中，优选的，步骤d-2）中第六双分支异核多感受野模块中k取值为9，第七双分支异核多感受野模块中k取值为7，第八双分支异核多感受野模块中k取值为5。在邻近特征融合算子中，首先将两个特征图尺寸大小不一样的特征图，/>输入到邻近特征融合算子中。其中特征图/>的尺寸为特征图/>的两倍。之后对特征图/>进行上采样操作，得到特征图/>。 特征图/>的尺寸与特征图/>相等。对特征图/>进行下采样操作，得到特征图/>。 特征图/>的尺寸与特征图/>相等。然后将特征图/>与网络中可学习的权重参数/>相乘，将特征图/>与网络中可学习的权重参数/>相乘。最后将两次相乘的结果相加，得到特征图/>。同样的，将特征图/>与网络中可学习的权重参数/>相乘，将特征图/>与网络中可学习的权重参数/>相乘。最后将两次相乘的结果相加，得到特征图。特征图/>与/>即为邻近特征融合算子的输出特征图。其中特征图/>的尺寸与/>相同，特征图/>的尺寸与/>相同。

在上采样的操作中，对特征图重组特征，得到特征图/>。具体可表示为：

。

其中，i 表示输出特征图中的位置，j表示输入特征图中的位置。是权重，用于衡量输入位置 j对输出位置 i 的重要程度。

。

其中，表示输入位置 j 到输出位置 i的偏移，L是一个可学习的缩放函数，用于调整偏移对权重的影响。/>表示输入特征图上的位置索引。

下采样的方式为使用卷积核大小为3×3，步距为2的卷积。

因此，最终的融合过程可表示为：

；

。

在加权特征拼接模块中，将n个相同尺寸的特征图输入到加权特征拼接模块。在网络中，特征图/>分别对应一个可学习参数/>。将特征图与对应的可学习参数相乘，得到特征图/>。之后将特征图/>在通道维度进行拼接，并除以可学习参数/>的加和，得到加权特征拼接模块最终的输出特征图/>。其中，第一个加权特征拼接模块中，n取值为2。第二个加权特征拼接模块中，n取值为2。第三个加权特征拼接模块中，n取值为3。第四个加权特征拼接模块中，n取值为4。第五个加权特征拼接模块中，n取值为3。加权特征拼接模块的公式可表示为：

=/>。

式中，V定义为在通道维度进行多次拼接操作。

在该实施例中，优选的，步骤d-3）中如图5所示，在特征增强检测头中，将特征图输入特征增强检测头，首先对特征图/>先后进行卷积核大小为1×1的卷积，卷积核大小为k×k的卷积以及卷积核大小为1×1的卷积得到特征图/>。然后将特征图/>与/>相加得到特征图/>。然后对特征图/>分别进行两次卷积核大小为k×k的卷积得到特征图/>和/>。将特征图/>输入到第二横纵局部全局特征增强模块得到特征图/>。将特征图/>输入到第三横纵局部全局特征增强模块得到特征图/>。最终，对特征图/>进行卷积核大小为1×1的卷积调整通道数，得到特征图/>。对特征图/>分别进行两次卷积核大小为1×1的卷积调整通道数，得到特征图/>和/>。其中，在第一特征增强检测头中，k取值为9。在第二特征增强检测头中，k取值为7。在第三特征增强检测头中，k取值为5。

在本发明的一个实施例中，还包括在步骤d）后执行如下步骤：

e）在训练过程中，优化器选用SGD，图片尺寸初始化大小为640×640，训练300个回合，每批次训练32张图片。

f）首先在训练完成后，保存异核卷积多感受野网络的结构以及检测结果最好的权重。然后编写一个用于加载保存的异核卷积多感受野网络并进行推理的脚本。之后将推理脚本集成到应用程序中。最终将应用程序部署到本地服务器上，对待检测的道路图像检测裂缝。

实施例二

本实施例提供了一种基于异核卷积多感受野网络的道路裂缝检测系统。

基于异核卷积多感受野网络的道路裂缝检测系统，包括：

数据获取模块，其被配置为：获取待检测的道路图像；

裂缝检测模块，其被配置为：基于待检测的道路图像，采用异核卷积多感受野网络，对道路裂缝进行检测；

其中，所述异核卷积多感受野网络包括：异核特征提取网络、加权异核特征融合网络和检测头网络，所述异核特征提取网络采用多个双分支异核多感受野模块与横纵局部全局特征增强模块级联的方式，提取得到特征图；所述双分支异核多感受野模块，将输入图像进行分割后，分别输入两路分支依次进行卷积处理和分支特征图融合；所述横纵局部全局特征增强模块对输入图像在宽和高上分别进行处理后，再进行加权融合；所述加权异核特征融合网络，包括多个双分支异核多感受野模块和多个加权特征拼接模块，所述加权特征拼接模块将异核特征提取网络提取的特征图与加权异核特征融合网络提取的特征图进行拼接，得到融合特征图；所述检测头网络，根据融合特征图，检测道路缝隙。

此处需要说明的是，上述数据获取模块和裂缝检测模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于异核卷积多感受野网络的道路裂缝检测方法，其特征在于，包括：

获取待检测的道路图像；

基于待检测的道路图像，采用异核卷积多感受野网络，对道路裂缝进行检测；

其中，所述异核卷积多感受野网络包括：异核特征提取网络、加权异核特征融合网络和检测头网络，所述异核特征提取网络采用多个双分支异核多感受野模块与横纵局部全局特征增强模块级联的方式，提取得到特征图；

所述双分支异核多感受野模块，将输入图像进行分割后，分别输入两路分支依次进行卷积处理和分支特征图融合；所述横纵局部全局特征增强模块对输入图像在宽和高上分别进行处理后，再进行加权融合；所述加权异核特征融合网络，包括多个双分支异核多感受野模块和多个加权特征拼接模块，所述加权特征拼接模块将异核特征提取网络提取的特征图与加权异核特征融合网络提取的特征图进行拼接，得到融合特征图；所述检测头网络，根据融合特征图，检测道路缝隙；

所述异核特征提取网络采用五个双分支异核多感受野模块级联后再与第一横纵局部全局特征增强模块级联的方式；采用所述异核特征提取网络的过程包括：基于输入图像，采用第一双分支异核多感受野模块，得到第一特征图；基于第一特征图/>，采用第二双分支异核多感受野模块，得到第二特征图/>；基于第二特征图/>，采用第三双分支异核多感受野模块，得到第三特征图/>；基于第三特征图/>，采用第四双分支异核多感受野模块，得到第四特征图/>；基于第四特征图/>，采用第五双分支异核多感受野模块，得到第五特征图/>；基于第五特征图/>，采用第一横纵局部全局特征增强模块，得到第六特征图/>；

采用所述第一横纵局部全局特征增强模块的过程包括：基于输入特征图，采用第一横纵局部全局特征增强模块，对输入特征图/>分别在宽和高上做平均池化操作，得到一张高的维度为1的特征图/>，一张宽的维度为1的特征图/>；对特征图/>和特征图/>分别先后进行卷积核大小为1×1的卷积以及使用sigmoid激活函数得到相应的特征权重/>和/>；将/>与/>相乘，再乘输入特征图/>得到特征图/>；对特征图/>进行全局平均池化操作，得到高和宽的维度都为1的特征图/>；对特征图/>先后进行卷积核大小为1×1的卷积以及使用sigmoid激活函数得到相应的权重/>；将权重/>与特征图/>相乘，得到第一横纵局部全局特征增强模块输出的特征图/>。

2.根据权利要求1所述的基于异核卷积多感受野网络的道路裂缝检测方法，其特征在于，所述加权异核特征融合网络包括三个双分支异核多感受野模块和五个加权特征拼接模块；采用所述加权异核特征融合网络的过程包括：基于特征图，采用第六双分支异核多感受野模块，得到特征图/>，对特征图/>进行上采样操作，得到特征图/>；基于特征图/>和异核特征提取网络中的特征图/>，采用第一加权特征拼接模块，得到特征图/>；基于特征图/>，采用第七双分支异核多感受野模块，得到特征图/>，对特征图/>进行上采样操作，得到特征图/>；基于特征图/>与异核特征提取网络中的特征图/>，采用第二加权特征拼接模块，得到特征图/>；基于特征图/>，采用第八双分支异核多感受野模块，得到特征图；基于特征图/>和特征图/>，采用第一邻近特征融合算子，得到特征图/>和特征图；基于特征图/>和特征图/>，采用第二邻近特征融合算子，得到特征图/>和特征图；基于将特征图/>、特征图/>和特征图/>，采用第三加权特征拼接模块，得到特征图；基于特征图/>、特征图/>、特征图/>和特征图/>，采用第四加权特征拼接模块，得到特征图/>；基于特征图/>、特征图/>和特征图/>，采用第五加权特征拼接模块，得到特征图/>。

3.根据权利要求1或2所述的基于异核卷积多感受野网络的道路裂缝检测方法，其特征在于，采用所述第一双分支异核多感受野模块、第二双分支异核多感受野模块、第三双分支异核多感受野模块、第四双分支异核多感受野模块、第五双分支异核多感受野模块、第六双分支异核多感受野模块、第七双分支异核多感受野模块或第八双分支异核多感受野模块的过程包括：基于输入特征图，进行卷积处理缩小尺寸，得到特征图/>；将特征图/>在通道维度上平均分割，得到特征图/>和特征图/>；对特征图/>先后进行卷积核大小为k×k的卷积以及卷积核大小为1×1的卷积得到特征图/>；对特征图/>先后进行卷积核大小为k×k的卷积以及卷积核大小为k×k的卷积得到特征图/>；将特征图/>和特征图/>相加后进行残差操作，得到特征图/>；将特征图/>、特征图/>和特征图/>在通道维度进行拼接，得到特征图/>；对特征图/>进行卷积核大小为1×1的卷积，将特征图/>的通道数调整为与特征图/>的通道数相同，得到特征图/>；对特征图/>进行通道混洗操作，使不同通道之间的特征信息进行交互，得到输出特征图/>。

4.根据权利要求2所述的基于异核卷积多感受野网络的道路裂缝检测方法，其特征在于，采用所述第一邻近特征融合算子或第二邻近特征融合算子的过程包括：基于两个特征图尺寸大小不一样的特征图和/>特征图，采用第一邻近特征融合算子或第二邻近特征融合算子后，对特征图/>进行上采样操作，得到特征图/>；对特征图/>进行下采样操作，得到特征图/>；将特征图/>与网络中可学习的权重参数/>相乘，将特征图/>与网络中可学习的权重参数/>相乘，将两次相乘的结果相加，得到特征图/>；将特征图/>与网络中可学习的权重参数/>相乘，将特征图/>与网络中可学习的权重参数/>相乘，将两次相乘的结果相加，得到特征图/>；其中，特征图/>与特征图/>为第一邻近特征融合算子或第二邻近特征融合算子的输出特征图。

5.根据权利要求2所述的基于异核卷积多感受野网络的道路裂缝检测方法，其特征在于，采用所述第一加权特征拼接模块、第二加权特征拼接模块、第三加权特征拼接模块、第四加权特征拼接模块或第五加权特征拼接模块的过程包括：将n个相同尺寸的特征图与特征图/>分别对应一个可学习参数/>相乘，得到特征图/>；将特征图/>在通道维度进行拼接，并除以可学习参数的加和，得到第一加权特征拼接模块、第二加权特征拼接模块、第三加权特征拼接模块、第四加权特征拼接模块或第五加权特征拼接模块的输出特征图/>。

6.根据权利要求2所述的基于异核卷积多感受野网络的道路裂缝检测方法，其特征在于，所述检测头网络包括三个特征增强检测头，基于特征图，采用第一特征增强检测头，得到特征图/>；基于特征图/>，采用第二特征增强检测头，得到特征图/>；基于特征图，采用第三特征增强检测头，得到特征图/>，基于得到特征图/>、特征图/>和特征图/>，采用非极大值抑制算法，得到检测输出图像。

7.根据权利要求6所述的基于异核卷积多感受野网络的道路裂缝检测方法，其特征在于，采用所述第一特征增强检测头、第二特征增强检测头或第三特征增强检测头的过程包括：对特征图先后进行卷积核大小为1×1的卷积，卷积核大小为k×k的卷积以及卷积核大小为1×1的卷积得到特征图/>；将特征图/>与特征图/>相加得到特征图/>；对特征图分别进行两次卷积核大小为k×k的卷积得到特征图/>和特征图/>；将特征图/>输入到第二横纵局部全局特征增强模块，得到特征图/>；将特征图/>输入到第三横纵局部全局特征增强模块，得到特征图/>；对特征图/>进行卷积核大小为1×1的卷积调整通道数，得到特征图/>；对特征图/>分别进行两次卷积核大小为1×1的卷积调整通道数，得到特征图/>和特征图/>。

8.基于异核卷积多感受野网络的道路裂缝检测系统，其特征在于，包括：

数据获取模块，其被配置为：获取待检测的道路图像；

裂缝检测模块，其被配置为：基于待检测的道路图像，采用异核卷积多感受野网络，对道路裂缝进行检测；

其中，所述异核卷积多感受野网络包括：异核特征提取网络、加权异核特征融合网络和检测头网络，所述异核特征提取网络采用多个双分支异核多感受野模块与横纵局部全局特征增强模块级联的方式，提取得到特征图；

所述双分支异核多感受野模块，将输入图像进行分割后，分别输入两路分支依次进行卷积处理和分支特征图融合；所述横纵局部全局特征增强模块对输入图像在宽和高上分别进行处理后，再进行加权融合；所述加权异核特征融合网络，包括多个双分支异核多感受野模块和多个加权特征拼接模块，所述加权特征拼接模块将异核特征提取网络提取的特征图与加权异核特征融合网络提取的特征图进行拼接，得到融合特征图；所述检测头网络，根据融合特征图，检测道路缝隙；

所述异核特征提取网络采用五个双分支异核多感受野模块级联后再与第一横纵局部全局特征增强模块级联的方式；采用所述异核特征提取网络的过程包括：基于输入图像，采用第一双分支异核多感受野模块，得到第一特征图；基于第一特征图/>，采用第二双分支异核多感受野模块，得到第二特征图/>；基于第二特征图/>，采用第三双分支异核多感受野模块，得到第三特征图/>；基于第三特征图/>，采用第四双分支异核多感受野模块，得到第四特征图/>；基于第四特征图/>，采用第五双分支异核多感受野模块，得到第五特征图/>；基于第五特征图/>，采用第一横纵局部全局特征增强模块，得到第六特征图/>；

采用所述第一横纵局部全局特征增强模块的过程包括：基于输入特征图，采用第一横纵局部全局特征增强模块，对输入特征图/>分别在宽和高上做平均池化操作，得到一张高的维度为1的特征图/>，一张宽的维度为1的特征图/>；对特征图/>和特征图/>分别先后进行卷积核大小为1×1的卷积以及使用sigmoid激活函数得到相应的特征权重/>和/>；将/>与/>相乘，再乘输入特征图/>得到特征图/>；对特征图/>进行全局平均池化操作，得到高和宽的维度都为1的特征图/>；对特征图/>先后进行卷积核大小为1×1的卷积以及使用sigmoid激活函数得到相应的权重/>；将权重/>与特征图/>相乘，得到第一横纵局部全局特征增强模块输出的特征图/>。