CN113850228A - 基于多模态融合的道路裂缝检测方法和系统 - Google Patents

基于多模态融合的道路裂缝检测方法和系统 Download PDF

Info

Publication number
CN113850228A
CN113850228A CN202111210562.5A CN202111210562A CN113850228A CN 113850228 A CN113850228 A CN 113850228A CN 202111210562 A CN202111210562 A CN 202111210562A CN 113850228 A CN113850228 A CN 113850228A
Authority
CN
China
Prior art keywords
crack
vibration signal
original vibration
training
yolov4 model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111210562.5A
Other languages
English (en)
Inventor
韦海成
蒋艳煜
王锁
田思远
李淼淼
魏家乐
胡子磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Minzu University
Original Assignee
North Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North Minzu University filed Critical North Minzu University
Priority to CN202111210562.5A priority Critical patent/CN113850228A/zh
Publication of CN113850228A publication Critical patent/CN113850228A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于多模态融合的道路裂缝检测方法和系统，包括步骤：收集裂缝图像数据集，经人工标注后，形成训练集、验证集、测试集；使用构建的改进YOLOv4模型对训练集进行训练，再对训练后的改进YOLOv4模型进行稀疏化训练和通道剪枝；将测试集输入改进YOLOv4模型，输出测试结果；通过九轴陀螺仪采集原始震动信号，利用HHT对原始震动信号进行特征提取；根据HHT分析后得到的瞬时频率值的变化判断是否为裂缝；将改进YOLOv4模型输出的测试结果和根据原始震动信号判断的裂缝结果融合后上传至服务器；服务器通过GPS定位将裂缝位置发送至用户终端，并进行报警。本发明将目标检测技术与震动信号处理技术融合，从而对道路裂缝实现智能实时、高效便捷的全面检测。

Description

基于多模态融合的道路裂缝检测方法和系统
技术领域
本发明涉及计算机视觉和信号处理技术领域，特别涉及一种基于多模态融合的道路裂缝检测方法和系统。
背景技术
近年来，我国道路建设取得了令人瞩目的巨大成就。据交通运输部的官方数据统计，我国2020年道路养护里程为514.40万公里，占据道路总里程的99％。截止当前，道路裂缝检测工作以人工方法为主，不仅需要耗费大量的人力物力，而且耗时长、检测效率低、成本高，难以满足我国道路交通业的发展需求。随着深度学习技术的发展，用目标检测的方法可以很好的识别出裂缝，然而受外界环境因素的影响，目标检测的方法在光照暗的情况下可能出现误检漏检。
发明内容
本发明的目的在于将目标检测技术与震动信号处理技术融合，从而对道路裂缝实现智能实时、高效便捷的全面检测，提供一种基于多模态融合的道路裂缝检测方法和系统。
为了实现上述发明目的，本发明实施例提供了以下技术方案：
基于多模态融合的道路裂缝检测方法，包括以下步骤：
步骤S1：收集裂缝图像数据集，经人工标注后，形成训练集、验证集、测试集；使用构建的改进YOLOv4模型对训练集进行训练，再对训练后的改进YOLOv4模型进行稀疏化训练和通道剪枝；将测试集输入改进YOLOv4模型，输出测试结果；
步骤S2：通过九轴陀螺仪采集原始震动信号，利用HHT对原始震动信号进行特征提取；根据HHT分析后得到的瞬时频率值的变化判断是否为裂缝；
步骤S3：将改进YOLOv4模型输出的测试结果和根据原始震动信号判断的裂缝结果融合后上传至服务器；服务器通过GPS定位将裂缝位置发送至用户终端，并进行报警。
在上述方案中，改进YOLOv4模型为轻量化的模型，达到了减少参数数量、提升运算速度的目的。
更进一步地，所述收集裂缝图像数据集，经人工标注后，形成训练集、验证集、测试集的步骤，包括：
收集的裂缝图像数据集包括横向裂缝、纵向裂缝、网状裂缝以及不规则裂缝；采用标注软件LabelImg人工进行裂缝图像标注，标注后形成训练集，同时生成含有道路裂缝关键点的xml文件；
在生成的xml文件的根目录下新建Main_trainval_txt.py文件和boc_label.py文件，分别形成验证集、测试集。
更进一步地，所述改进YOLOv4模型的结构包括：
Input：输入等待被检测的裂缝图像；
Backbone：MobileNetV3，用于减少运算量和参数量；
Neck：SPP+PANet，SPP用于增强网络的感受野，PANet用于解决目标检测中的多尺度问题，提升不同大小物体的检测能力；
Head：继承YOLOv3模型的三个检测头，对图像特征进行预测，生成边界框并预测其类别。
更进一步地，所述使用构建的改进YOLOv4模型对训练集进行训练的步骤，包括：
将标注好的裂缝图像数据集输入到主干网络MobileNetV3中进行特征提取，首先利用1×1卷积进行升维度；然后进行3×3深度可分离卷积；再利用注意力机制调整每个通道的权重；最后将h-swish激活函数；
将提取到的特征信息传入空间金字塔池化模块增强网络的感受野，分别进行尺度为5×5、9×9、13×13的最大池化，经过池化后通过concat把三个池化层的输出进行通道拼接，拼接后经1×1卷积层进行特征降维，然后将来自不同核大小的特诊图连接起来作为输出；
将三个不同尺度的最大池化结果传输到PANet中，将浅层特征与深层特征达到融合的效果，通过3×3和1×1卷积使得浅层特征和深层特征的输出特征相同；最后通过检测头预测目标的特征图，得到裂缝检测结果。
更进一步地，所述再对训练后的改进YOLOv4模型进行稀疏化训练和通道剪枝的步骤，包括：
在改进YOLOv4模型的每个通道中引入一个缩放因子，与权重一起训练，在训练过程中，将正则化趋于0的缩放因子的通道剪去，从而得到一个紧凑型网络；
改进YOLOv4模型稀疏化训练过程中的损失函数公式如下：
Figure BDA0003308781810000031
其中，lossYOLO表示平衡两项损失，λ表示超参数，γ表示缩放因子，g(γ)＝|γ|表示L1-正则化；
改进YOLOv4模型需要经过批量标准化层BN，再经过激活函数以提升YOLOv4模型的收敛速度，批量标准化层BN的计算公式如下：
Figure BDA0003308781810000041
其中，x表示批量标准化层BN的输入，y表示批量标准化层BN的输出，γ表示缩放因子，β表示平移参数，μb表示输入数据的均值，
Figure BDA0003308781810000042
表示输入数据的方差，ε表示为了避免方差为0而加入的微小整数。
更进一步地，所述通过九轴陀螺仪采集原始震动信号，利用HHT对原始震动信号进行特征提取；根据HHT分析后得到的瞬时频率值的变化判断是否为裂缝的步骤，包括：
将九轴陀螺仪固定在车载装备上，采集原始震动信号，将原始震动信号分割成n等分；对每段原始震动信号进行EMD分解分别得到IMF分量和频谱图；将峭度系数大于3的IMF分量相加得到IMFre，经过希尔伯特变换得到IMFre边际谱和瞬时频率fEmax；
对比路面场景视频和九轴陀螺仪采集到裂缝时的视频，将瞬时频率fEmax对应的平整度分类，验证是否满足独立样本T的检验条件；根据瞬时频率fEmax的波形变化，结合视频对比，判断九轴陀螺仪检测到的原始震动信号处是否为裂缝。
所述对每段原始震动信号进行EMD分解分别得到IMF分量和频谱图的步骤，包括：
找到每段原始震动信号x(t)的所有极值点，将所有极大值点通过三次样条函数拟合出上包络线；将所有极小值点通过三次样条函数拟合出下包络线，并计算出均值包络线m(t)；
使用该段原始震动信号x(t)减去所述均值包络线m(t)，得到中间信号c(t)；设中间信号c(t)是分解出的第一个高频分量，并记为IMF1；将均值包络线m(t)当做原始震动信号继续分解得到下一个高频分量，直至残余分量r(t)是单调函数或常量时，停止分解；从而得到多个IMF分量。
更进一步地，EMD分解及希尔伯特变换的公式如下：
EMD分解：
Figure BDA0003308781810000051
其中，x(t)为第t段原始震动信号，ci(t)为n阶IMF分量，rn(t)为n阶残余分量；
希尔伯特变换：
Figure BDA0003308781810000052
其中H(x(t))为x(t)和
Figure BDA0003308781810000053
的卷积。
基于多模态融合的道路裂缝检测系统，包括：
目标检测模块，用于将收集的裂缝图像数据集经人工标注后输入改进YOLOv4模型进行检测，从而获得裂缝检测结果；
震动信号检测模块，用于利用HHT对九轴陀螺仪采集的原始震动信号进行特征提取，并获得瞬时频率值，根据瞬时频率值获得裂缝检测结果；
服务器，用于将目标检测模块和震动信号检测模块的裂缝检测结果融合后，将裂缝位置通过GPS定位发送至用户终端，并进行报警。
与现有技术相比，本发明的有益效果：
(1)本发明采用轻量化的改进YOLOv4模型达到减少参数数量，提升运算速度的目的，通过对改进YOLOv4模型剪枝，将其参数量减少，推断参数量减小，最后将改进YOLOv4模型部署在移动端、边缘设备，构成道路裂缝检测系统，以便对道路情况进行实时检测。
(2)本发明使用九轴陀螺仪采集震动信号，利用HHT分解技术对震动信号进行特征提取研究。
(3)本发明将轻量级改进YOLOv4模型与九轴陀螺仪融合，实时拍摄射频并采集震动信号上传至服务器，通过GPS定位裂缝位置，想用户终端实时发送报警信息。
(4)本发明的设备成本低，体积小，便于携带，轻量化改进YOLOv4模型结合HHT分解技术获取数据、处理数据的方式更加高效快捷。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明裂缝检测方法流程图；
图2为本发明实施例改进YOLOv4模型的结构图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本发明通过下述技术方案实现，如图1所示，基于多模态融合的道路裂缝检测方法，包括以下步骤：
步骤S1：收集裂缝图像数据集，经人工标注后，形成训练集、验证集、测试集；使用构建的改进YOLOv4模型对训练集进行训练，再对训练后的改进YOLOv4模型进行稀疏化训练和通道剪枝；将测试集输入改进YOLOv4模型，输出测试结果。
首先，收集道路裂缝图像数据集，裂缝图像数据集来源于人工拍摄的裂缝图像以及论文中的裂缝图像，包含横向裂缝、纵向裂缝、网状裂缝以及不规则裂缝。然后采用标注软件LabelImg人工进行裂缝图像标注，标注后形成训练集，同时生成含有道路裂缝关键点的xml文件。Xml文件记录了：1)文件夹名称；2)图片名；3)文件路径；4)图片大小及深度；5)目标的类别名称、边框坐标，为训练数据集做准备。
在生成的xml文件的根目录下新建Main_trainval_txt.py文件和boc_label.py文件，分别形成验证集、测试集。
改进YOLOv4模型将普通的YOLOv4模型的主干网络CSPDarknet53替换为轻量化的MobileNetV3，改进YOLOv4模型的结构包括：
(1)Input：输入等待被检测的裂缝图像；
(2)Backbone：MobileNetV3，用于减少运算量和参数量；
(3)Neck：SPP+PANet，SPP用于增强网络的感受野，PANet用于解决目标检测中的多尺度问题，提升不同大小物体的检测能力；
(4)Head：继承YOLOv3模型的三个检测头，对图像特征进行预测，生成边界框并预测其类别。
请参见图2，使用构建的改进YOLOv4模型对训练集进行训练时，将标注好的裂缝图像数据集输入到主干网络MobileNetV3中进行特征提取，首先利用1×1卷积进行升维度；然后进行3×3深度可分离卷积；再利用注意力机制调整每个通道的权重；最后将h-swish激活函数，减少运算量，提升性能。
将提取到的特征信息传入空间金字塔池化模块增强网络的感受野，分别进行尺度为5×5、9×9、13×13的最大池化，经过池化后通过concat把三个池化层的输出进行通道拼接，拼接后经1×1卷积层进行特征降维，然后将来自不同核大小的特诊图连接起来作为输出。
将三个不同尺度的最大池化结果传输到PANet中，将浅层特征与深层特征达到融合的效果，通过3×3和1×1卷积使得浅层特征和深层特征的输出特征相同；最后通过检测头预测目标的特征图，得到裂缝检测结果。
图2中，CBh：由Conv(卷积层)、BN(批量标准化层)和h-swish(激活函数)组成；CBL：由Conv(卷积层)、BN(批量标准化层)和Leaky-relu(激活函数)组成；Bneck：是瓶颈层，一种残差结构。
将主干网络替换成MobileNetV3后，改进YOLOv4模型的推力速度即有所提高，为了更进一步减少改进YOLOv4模型的参数，提高其推理速度，在保证检测精度的同时，对改进YOLOv4模型进行稀疏化训练及通道剪枝，提高改进YOLOv4模型的实用性。最后测试改进YOLOv4模型，输出测试结果。
改进YOLOv4模型稀疏化训练及通道剪枝的过程包括：
在改进YOLOv4模型的通道中引入缩放因子，与权重一起训练，在训练过程中，将正则化趋于0的缩放因子的通道剪去，从而得到一个紧凑型网络；
改进YOLOv4模型稀疏化训练过程中的损失函数公式如下：
Figure BDA0003308781810000091
其中，lossYOLO表示平衡两项损失，λ表示超参数，γ表示缩放因子，g(γ)＝|γ|表示L1-正则化；
由于改进YOLOv4模型需要经过批量标准化层BN(Batch Normalization)，再经过激活函数以提升YOLOv4模型的收敛速度，批量标准化层BN的计算公式如下：
Figure BDA0003308781810000092
其中，x表示批量标准化层BN的输入，y表示批量标准化层BN的输出，γ表示缩放因子，可直接使用BN层的γ作为稀疏化的缩放因子，β表示平移参数；μb表示输入数据的均值，
Figure BDA0003308781810000093
表示输入数据的方差，ε表示为了避免方差为0而加入的微小整数，比如可以为0.001。
对改进YOLOv4模型剪枝前(Orginal)、剪枝后(Pruned)的模型大小(Size)、参数(Parameter)、推理时间(Inference Speed)、查准率(P)、查全率(R)、平均精度(mAP)、F1分数如表1所示：
表1
Figure BDA0003308781810000101
表1中，以平均精度mAP作为检测精度的评价指标；F1分数又称为平衡F分数，被定义为精确率和召回率的调和平均数。从表1可知，剪枝后的模型大小下降87.13％，参数下降88.39％，推理时间上升80.95％，并且剪枝后的准确率达到98％。
步骤S2：通过九轴陀螺仪采集原始震动信号，利用HHT对原始震动信号进行特征提取；根据HHT分析后得到的瞬时频率值的变化判断是否为裂缝。
九轴陀螺仪采集原始震动信号，利用HHT分解对原始震动信号进行特征提取研究，首先将九轴陀螺仪固定在车载装备上，采集原始震动信号，将原始震动信号分割成n等分；对每段原始震动信号进行EMD分解分别得到IMF分量和频谱图。
将峭度系数大于3的IMF分量相加得到IMFre，峭度系数表示故障形成的大幅值脉冲出现的概率，峭度系数的特性为一般运转平稳，无明显周期性干扰的轴承，其振动信号概率密度接近正态分布，而正态分布的峭度系数即为3。
再经过希尔伯特变换得到IMFre边际谱和瞬时频率fEmax。最后根据固定设置在小车上的摄像头所采集的道路视频中提取路面场景视频，和九轴陀螺仪采集到裂缝时的视频，将两个视频进行对比。
将瞬时频率fEmax对应的平整度分类，验证是否满足独立样本T的检验条件，独立样本T用于检验两组非相关样本被试所获得的数据的差异性，需要满足的条件为：1)随机抽样，所有观测应该是随机的从目标总体中抽出；2)正态分布，每个样本来自的总体必须满足正态分布；3)方差齐性，均数比较时，要求两总体方差相等。
根据瞬时频率fEmax的波形变化，在经过裂缝时得到一个冲击，瞬时频率fEmax增大，结合视频对比时拍摄的裂缝视频，可以判断出九轴陀螺仪检测到的震动信号是否为裂缝。
详细来说，HHT分解过程包括经验模式分解(EMD分解)和希尔伯特变换(HT)两部分，其中：
EMD分解：找到每段原始震动信号x(t)的所有极值点，将所有极大值点通过三次样条函数拟合出上包络线；将所有极小值点通过三次样条函数拟合出下包络线，并计算出均值包络线m(t)；使用该段原始震动信号x(t)减去所述均值包络线m(t)，得到中间信号c(t)；设中间信号c(t)是分解出的第一个高频分量，并记为IMF1；将均值包络线m(t)当做原始震动信号继续分解得到下一个高频分量，直至残余分量r(t)是单调函数或常量时，停止分解；从而得到多个IMF分量。
希尔伯特变换：将峭度系数大于3的IMF分量相加得到IMFre，经过希尔伯特变换得到IMFre边际谱和瞬时频率fEmax。
EMD分解及希尔伯特变换的公式如下：
EMD分解：
Figure BDA0003308781810000111
其中，x(t)为第t段原始震动信号，ci(t)为n阶IMF分量，rn(t)为n阶残余分量；
希尔伯特变换：
Figure BDA0003308781810000121
其中H(x(t))为x(t)和
Figure BDA0003308781810000122
的卷积。
步骤S3：将改进YOLOv4模型输出的测试结果和根据原始震动信号判断的裂缝结果融合后上传至服务器；服务器通过GPS定位将裂缝位置发送至用户终端，并进行报警。
根据光照强度来划分改进YOLOv4模型和九轴陀螺仪在检测时的权重，当光照强的时候选择使用改进YOLOv4模型检测道路裂缝，光照暗时选择九轴陀螺仪检测道路裂缝，或者另一检测方式作为参考。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.基于多模态融合的道路裂缝检测方法，其特征在于：包括以下步骤：
步骤S1：收集裂缝图像数据集，经人工标注后，形成训练集、验证集、测试集；使用构建的改进YOLOv4模型对训练集进行训练，再对训练后的改进YOLOv4模型进行稀疏化训练和通道剪枝；将测试集输入改进YOLOv4模型，输出测试结果；
步骤S2：通过九轴陀螺仪采集原始震动信号，利用HHT对原始震动信号进行特征提取；根据HHT分析后得到的瞬时频率值的变化判断是否为裂缝；
步骤S3：将改进YOLOv4模型输出的测试结果和根据原始震动信号判断的裂缝结果融合后上传至服务器；服务器通过GPS定位将裂缝位置发送至用户终端，并进行报警。
2.根据权利要求1所述的基于多模态融合的道路裂缝检测方法，其特征在于：所述收集裂缝图像数据集，经人工标注后，形成训练集、验证集、测试集的步骤，包括：
收集的裂缝图像数据集包括横向裂缝、纵向裂缝、网状裂缝以及不规则裂缝；采用标注软件LabelImg人工进行裂缝图像标注，标注后形成训练集，同时生成含有道路裂缝关键点的xml文件；
在生成的xml文件的根目录下新建Main_trainval_txt.py文件和boc_label.py文件，分别形成验证集、测试集。
3.根据权利要求1所述的基于多模态融合的道路裂缝检测方法，其特征在于：所述改进YOLOv4模型的结构包括：
(1)Input：输入等待被检测的裂缝图像；
(2)Backbone：MobileNetV3，用于减少运算量和参数量；
(3)Neck：SPP+PANet，SPP用于增强网络的感受野，PANet用于解决目标检测中的多尺度问题，提升不同大小物体的检测能力；
(4)Head：继承YOLOv3模型的三个检测头，对图像特征进行预测，生成边界框并预测其类别。
4.根据权利要求3所述的基于多模态融合的道路裂缝检测方法，其特征在于：所述使用构建的改进YOLOv4模型对训练集进行训练的步骤，包括：
将标注好的裂缝图像数据集输入到主干网络MobileNetV3中进行特征提取，首先利用1×1卷积进行升维度；然后进行3×3深度可分离卷积；再利用注意力机制调整每个通道的权重；最后将h-swish激活函数；
将提取到的特征信息传入空间金字塔池化模块增强网络的感受野，分别进行尺度为5×5、9×9、13×13的最大池化，经过池化后通过concat把三个池化层的输出进行通道拼接，拼接后经1×1卷积层进行特征降维，然后将来自不同核大小的特诊图连接起来作为输出；
将三个不同尺度的最大池化结果传输到PANet中，将浅层特征与深层特征达到融合的效果，通过3×3和1×1卷积使得浅层特征和深层特征的输出特征相同；最后通过检测头预测目标的特征图，得到裂缝检测结果。
5.根据权利要求1所述的基于多模态融合的道路裂缝检测方法，其特征在于：所述再对训练后的改进YOLOv4模型进行稀疏化训练和通道剪枝的步骤，包括：
在改进YOLOv4模型的每个通道中引入一个缩放因子，与权重一起训练，在训练过程中，将正则化趋于0的缩放因子的通道剪去，从而得到一个紧凑型网络；
改进YOLOv4模型稀疏化训练过程中的损失函数公式如下：
Figure FDA0003308781800000031
其中，lossYOLO表示平衡两项损失，λ表示超参数，γ表示缩放因子，g(γ)＝|γ|表示L1-正则化；
改进YOLOv4模型需要经过批量标准化层BN，再经过激活函数以提升YOLOv4模型的收敛速度，批量标准化层BN的计算公式如下：
Figure FDA0003308781800000032
其中，x表示批量标准化层BN的输入，y表示批量标准化层BN的输出，γ表示缩放因子，β表示平移参数，μb表示输入数据的均值，
Figure FDA0003308781800000033
表示输入数据的方差，ε表示为了避免方差为0而加入的微小整数。
6.根据权利要求1所述的基于多模态融合的道路裂缝检测方法，其特征在于：所述通过九轴陀螺仪采集原始震动信号，利用HHT对原始震动信号进行特征提取；根据HHT分析后得到的瞬时频率值的变化判断是否为裂缝的步骤，包括：
将九轴陀螺仪固定在车载装备上，采集原始震动信号，将原始震动信号分割成n等分；对每段原始震动信号进行EMD分解分别得到IMF分量和频谱图；将峭度系数大于3的IMF分量相加得到IMFre，经过希尔伯特变换得到IMFre边际谱和瞬时频率fEmax；
对比路面场景视频和九轴陀螺仪采集到裂缝时的视频，将瞬时频率fEmax对应的平整度分类，验证是否满足独立样本T的检验条件；根据瞬时频率fEmax的波形变化，结合视频对比，判断九轴陀螺仪检测到的原始震动信号处是否为裂缝。
7.根据权利要求6所述的基于多模态融合的道路裂缝检测方法，其特征在于：所述对每段原始震动信号进行EMD分解分别得到IMF分量和频谱图的步骤，包括：
找到每段原始震动信号x(t)的所有极值点，将所有极大值点通过三次样条函数拟合出上包络线；将所有极小值点通过三次样条函数拟合出下包络线，并计算出均值包络线m(t)；
使用该段原始震动信号x(t)减去所述均值包络线m(t)，得到中间信号c(t)；设中间信号c(t)是分解出的第一个高频分量，并记为IMF1；将均值包络线m(t)当做原始震动信号继续分解得到下一个高频分量，直至残余分量r(t)是单调函数或常量时，停止分解；从而得到多个IMF分量。
8.根据权利要求6或7所述的基于多模态融合的道路裂缝检测方法，其特征在于：EMD分解及希尔伯特变换的公式如下：
EMD分解：
Figure FDA0003308781800000041
其中，x(t)为第t段原始震动信号，ci(t)为n阶IMF分量，rn(t)为n阶残余分量；
希尔伯特变换：
Figure FDA0003308781800000042
其中H(x(t))为x(t)和
Figure FDA0003308781800000051
的卷积。
9.基于多模态融合的道路裂缝检测系统，其特征在于：包括：
目标检测模块，用于将收集的裂缝图像数据集经人工标注后输入改进YOLOv4模型进行检测，从而获得裂缝检测结果；
震动信号检测模块，用于利用HHT对九轴陀螺仪采集的原始震动信号进行特征提取，并获得瞬时频率值，根据瞬时频率值获得裂缝检测结果；
服务器，用于将目标检测模块和震动信号检测模块的裂缝检测结果融合后，将裂缝位置通过GPS定位发送至用户终端，并进行报警。
CN202111210562.5A 2021-10-18 2021-10-18 基于多模态融合的道路裂缝检测方法和系统 Pending CN113850228A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111210562.5A CN113850228A (zh) 2021-10-18 2021-10-18 基于多模态融合的道路裂缝检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111210562.5A CN113850228A (zh) 2021-10-18 2021-10-18 基于多模态融合的道路裂缝检测方法和系统

Publications (1)

Publication Number Publication Date
CN113850228A true CN113850228A (zh) 2021-12-28

Family

ID=78978685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111210562.5A Pending CN113850228A (zh) 2021-10-18 2021-10-18 基于多模态融合的道路裂缝检测方法和系统

Country Status (1)

Country Link
CN (1) CN113850228A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565793A (zh) * 2022-02-28 2022-05-31 湖南北斗微芯产业发展有限公司 一种道路交通裂缝监测方法以及系统
CN116452574A (zh) * 2023-04-28 2023-07-18 合肥工业大学 一种基于改进YOLOv7的缝隙检测方法、系统和存储介质
CN117094916A (zh) * 2023-10-19 2023-11-21 江苏新路德建设有限公司 一种市政桥梁支座视觉检测方法
TWI828495B (zh) * 2022-12-28 2024-01-01 鴻銘資訊有限公司 交通路面智慧檢測方法及雲端路面辨識模組

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565793A (zh) * 2022-02-28 2022-05-31 湖南北斗微芯产业发展有限公司 一种道路交通裂缝监测方法以及系统
TWI828495B (zh) * 2022-12-28 2024-01-01 鴻銘資訊有限公司 交通路面智慧檢測方法及雲端路面辨識模組
CN116452574A (zh) * 2023-04-28 2023-07-18 合肥工业大学 一种基于改进YOLOv7的缝隙检测方法、系统和存储介质
CN117094916A (zh) * 2023-10-19 2023-11-21 江苏新路德建设有限公司 一种市政桥梁支座视觉检测方法
CN117094916B (zh) * 2023-10-19 2024-01-26 江苏新路德建设有限公司 一种市政桥梁支座视觉检测方法

Similar Documents

Publication Publication Date Title
CN113850228A (zh) 基于多模态融合的道路裂缝检测方法和系统
CN110018524B (zh) 一种基于视觉-属性的x射线安检违禁品识别方法
CN108388927A (zh) 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN111431986B (zh) 基于5g和ai云边协同的工业智能质检系统
Bo et al. Particle pollution estimation from images using convolutional neural network and weather features
CN113780211A (zh) 一种基于改进型Yolov4-tiny的轻量级飞机检测方法
CN112926405A (zh) 一种安全帽佩戴检测方法、系统、设备及存储介质
CN108416378A (zh) 一种基于深度神经网络的大场景sar目标识别方法
CN108537122A (zh) 包含气象参数的图像融合采集系统及图像存储方法
CN112580512B (zh) 一种基于通道裁剪的轻量级无人机目标检测方法
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
CN111652835A (zh) 基于深度学习与聚类的输电线路绝缘子缺失的检测方法
CN115439693A (zh) 目标识别网络模型的训练方法、电子设备及程序产品
CN111964763A (zh) 一种动态平板秤称重区域汽车断续行驶行为检测方法
Presa-Reyes et al. Deep learning with weak supervision for disaster scene description in low-altitude imagery
CN115272412B (zh) 一种基于边缘计算的低小慢目标检测方法及跟踪系统
CN116736409A (zh) 汽车安全预警方法、装置、设备及存储介质
CN111832358A (zh) 一种点云语义解析方法和装置
Zhu et al. Image and spectrum based deep feature analysis for particle matter estimation with weather informatio
CN116486635A (zh) 路面团雾检测预警方法、系统、存储介质及终端
Khurat et al. An open-source based automatic car detection system using iot
CN113657287A (zh) 一种基于深度学习改进YOLOv3的目标检测方法
WO2020118901A1 (zh) 一种基于深度学习的天线下倾角测量方法
Fairuzi et al. Performance analysis of YOLOv4 and SSD Mobilenet V2 for foreign object debris (FOD) detection at airport runway using custom dataset
Zhan Electric Equipment Inspection on High Voltage Transmission Line Via Mobile Net-SSD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination