CN113762020A - 一种基于矩阵结构深度神经网络的公路路面裂缝检测系统 - Google Patents
一种基于矩阵结构深度神经网络的公路路面裂缝检测系统 Download PDFInfo
- Publication number
- CN113762020A CN113762020A CN202110124640.3A CN202110124640A CN113762020A CN 113762020 A CN113762020 A CN 113762020A CN 202110124640 A CN202110124640 A CN 202110124640A CN 113762020 A CN113762020 A CN 113762020A
- Authority
- CN
- China
- Prior art keywords
- crack
- network
- matrix
- image
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 60
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000010200 validation analysis Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了适用于公路路面的道路裂缝检测系统，具体涉及一种基于矩阵结构深度神经网络的路面裂缝检测方法和相应的路面裂缝图像采集装置。所述方法包括以下步骤：利用公路路面裂缝采集装置获取高分辨率的裂缝图像，标注建立深度学习的路面裂缝数据集；搭建包含矩阵网络、主干网络、编解码网络的深度学习裂缝检测网络模型；将数据集划分为训练集、验证集和测试集训练神经网络模型；优化模型并进行实际路面图像的测试。路面裂缝特征的提取采用了一种新型的矩阵网络模型，用于获得多尺度上下文信息分析不同尺度的裂缝特征。本发明使用基于深度学习的图像处理技术实现了公路路面裂缝的高精度和高效率的检测，同时提供了相应的路面裂缝图像采集装置。
Description
技术领域
本发明涉及公路路面裂缝检测领域，尤其是涉及一种基于矩阵结构的多层次特征提取的裂缝检测系统。
背景技术
公路网的基本构建推动了我国交通运输行业的快速发展，给人们的出行带来了极大的便利。于此相对的是对于安全隐患路段治理以及提高国省道安全性和抗灾能力和行车舒适性的要求也在提高。由于道路使用年限的不断增加，道路路面在各型重载车辆的长期碾压下受损，导致路面内部的结构层难以承担负荷，主要以路面损伤初期的裂缝形式显现。强化干线公路养护，加强公路安全隐患治理在现今公路网建设“保量增质”的大环境下主体作用显著增强。若能够在公路路面破损初期就对其进行道路养护工作，将大大减少工作量并减少相关费用。对于道路养护工作者来说，若能够在路面损伤初期就进行及时的路况检测可以有效提高预防性养护的水平。相反，由于路面养护的封闭维修模式而导致损伤处理不及时，风险评估不到位，在各种外在因素的影响下会进而引发损伤二次加剧，严重干扰正常的交通秩序，危害驾驶人的安全。目前，随着我国公路里程数与日俱增，道路养护任务量不断加大，传统的养护方式严重依赖一些专业的养护和检测设备，价格高且操作专业性强，导致相关任务完成难度大。相比之下，自动路面检测系统在设计和应用得当的情况下，能够快速、准确地完成任务，同时降低人为主观性因素产生的影响。因此，公路养护工作应该朝着更加智能化、高效化的方向发展。
在公路的养护任务中，关键的一步便是对路面裂缝的检测和识别。传统的人工检测方式完全依赖于检测人员个人的相关经验和知识背景，在在定量分析中缺乏客观性。基于数字图像处理技术以及边缘检测算法的裂缝检测方法虽然相对于人工检测可以在一定程度上提高检测效率，但其处理模式单一，且没有考虑到实际环境下的路面噪声情况，其检测准确性不高。并且在实际情况下混凝土路面具有光照强度不均匀、拓扑结构复杂、对比度低、纹理背景复杂、噪声干扰大等特点。
综上所述，设计高效、准确的公路路面裂缝检测系统，成为路面裂缝检测领域亟待攻克的技术难题。
发明内容
本发明目的在于，提供一种基于矩阵结构深度神经网络的自动化裂缝检测系统，可以针对现有技术难以解决的检测效率和检测精度等问题，提供一种解决方案。
为了实现上述目的，本发明提供以下技术方案：
一种基于矩阵结构深度神经网络的公路路面裂缝检测方法，该方法具体包括以下步骤：
S1、利用搭载高清摄像装置的公路路面裂缝采集系统采集公路路面的裂缝图像，标注建立深度学习的路面裂缝数据集；
S2、搭建包含矩阵网络、主干网络、检测网络和编解码网络的深度学习裂缝检测网络；
S3、将数据集划分为训练集、验证集和测试集训练神经网络模型；
S4、优化模型以及进行实际路面图像的测试。
进一步地，所述步骤S1具体包括：
S11、所使用的公路路面裂缝采集系统的采集模式为连续捕获模式，可以人为操控，采集到的图像尺寸为2000×2000像素。
S12、对采集到的裂缝图像进行预处理，预处理过程包括图像的标注和数据增强，增强手段包括图像的随机裁剪、旋转变换、以及通过随机因子对图像进行颜色抖动调整图像的饱和度、亮度、对比度和锐度。
进一步地，所述步骤S2具体包括：
S21、搭建矩阵网络特征提取模块，矩阵网络模块的搭建首先需要确定矩阵结构的尺度范围，设定为具有奇数层个数的方阵结构，其次根据裂缝特征以及分布范围确定每个矩阵层的层生成过程以及层范围；
S22、主干网络部分包括主干网络的卷积层的数目，卷积核的大小，每个卷积层产生特征图的大小；
S23、检测网络对图像中的裂缝区域进行框选标记，网络基于矩阵网络的输出，包括对各矩阵层的层内对象的左上角和右下角进行预测获得热图和偏移量以及目标区域的中心点，利用中心点匹配同层内的角点坐标，再将所有层的输出与平滑非极大值抑制算法结合后得到最终的裂缝区域检测框。
S24、编解码网络的搭建包括编码部分与矩阵网络的特征图融合衔接，解码部分根据特征图的信息对裂缝区域进行分割。
进一步地，所述步骤S3具体包括：
S31、对利用公路路面裂缝采集系统构建并预处理的裂缝数据集按照6：1：3的比例划分为训练集、验证集和测试集。
S32、训练过程可分为裂缝目标的检测分支和裂缝区域的分割分支，针对各分支分别设计不同的损失函数，在矩阵网络模块和主干网络中使用Relu作为激活函数，在编解码网络中使用sigmoid作为激活函数。
S33、矩阵网络中，在对角线上的各个层使用一系列步长为1×2的共享3×3卷积来得到上三角层，下三角层使用步长为2×1的共享3×3卷积获得。
S34、预先设定分配给矩阵网络中每一层裂缝尺寸比例变化的范围，表示的是各层中特征向量的接受域，各层的接受域都是按倍数规律变化的。同时为了防止边界上的裂缝发生中断，设定一个冗余量来放宽边界范围，设定0.8和1.3作为区间两端的松弛变量。
进一步地，所述步骤S4具体包括：
S41、路面裂缝检测网络的检测分支所使用的损失函数如下所示：
其中：α＝|x1-x2|
式中：Ldec为检测分支的损失函数，x1为裂缝图像的真实值的张量形式，x2为裂缝区域预测框的张量形式，α为真实值与预测值之间差值的绝对值。β为差值限制系数，设置为0.1。
S42、路面裂缝检测网络的裂缝分割分支所使用的损失函数如下所示：
其中，Lseg为分割分支的损失函数，y为真实值，y'为预测值，n为样本数量，ω为模型参数，λ为权重衰减系数。
S43、所述深度神经网络中的训练过程中使用的优化算法为Adam算法，在优化算法中调整参数alpha，beta1，beta2，epsilon分别为0.003，0.99，0.9999，1e-9。
在得到裂缝图像的二值化区域分割输出图像后，利用图像细化的方法对裂缝区域进行骨架提取，并通过算法计算出裂缝的长度、宽度、面积等形态信息和实际参数。
一种基于矩阵结构深度神经网络的公路路面裂缝检测采集系统，该系统主要包含以下模块：
搭载仪器的固定支架，用于固定其他设备组件；高清图像采集设备，用于获取路面裂缝图像；控制开关，用于控制采集模式；激光测距仪，用于测定每帧图像中镜头与路面的距离；裂缝测宽仪，用于测定实际的裂缝宽度参数；传输线缆，用于将图像采集设备与个人电脑连接进行信号传输。
本发明公开的基于矩阵结构深度神经网络的公路路面裂缝检测系统，通过设计矩阵网络特征提取模块并和编解码网络进行融合，简化模型结构，从而降低模型的参数量，在保持模型识别精确度的前提下，提高识别效率。同时充分利用提取到的特征信息，在检测分支中通过预测匹配角点坐标框选裂缝区域。与现有技术相比，本发明的有益效果是：训练得到的裂缝检测模型具有轻量化，检测精度高、检测速度快等优点，并可结合硬件设备进行即时检测，能够显著提高公路路面裂缝检测的精度和效率。
附图说明
图1为本发明实施例一种基于矩阵结构深度神经网络的公路路面裂缝检测系统的裂缝识别流程示意图；
图2为本发明实施例中矩阵结构网络的结构示意图；
图3为本发明实施例一种基于矩阵结构深度神经网络的公路路面裂缝检测采集系统的结构框图；
图4为本发明实施例中原始裂缝图像，标注图像，裂缝分割图像和裂缝骨架化结果实例图。
具体实施方式
以下将结合具体实施例和附图对本发明公开的路面裂缝检测方法、采集系统的具体结构以及产生的技术效果进行清楚、完整的描述，以充分地理解本发明公开的目的、方案和效果。本发明实施例的测试环境为某条在役高速公路。在本实施例中，裂缝图像的选取为室外环境的公开区域。
本实施例的模型搭建平台为安装有Win10系统并搭载Nvidia独立显卡的个人电脑，并采用了PyTorch的开源软件库。
如图1所示，一种基于矩阵结构深度神经网络的公路路面裂缝检测系统的裂缝识别流程，包括以下步骤：
S1、利用搭载高清摄像装置的公路路面裂缝采集系统采集公路路面的裂缝图像，标注建立深度学习的路面裂缝数据集；
所使用的高清摄像装置固定于支架上，并且垂直于路面距离为100mm,采集的图像范围为 120mm×120mm，采集的高清摄像装置为NIKON D5100。采集模式为连续捕获模式，可以人为操控，采集到的图像尺寸为2000×2000像素。预处理过程包括图像的标注和数据增强，增强手段包括图像的随机裁剪、旋转变换、以及通过随机因子对图像进行颜色抖动调整图像的饱和度、亮度、对比度和锐度。
本发明实例中采用采集到的裂缝图片作为数据集的原始图像，将原始图像使用滑动窗口法裁剪为256×256像素的图像，得到包含1000张原始彩色图像和对应的人工标注的标签数据的原始数据集，并通过顺时针旋转90°、180°、水平镜像、在图像中心点随即裁剪一个尺寸为20×20像素的框并以255白色像素进行填充等数据增强操作进一步扩充数据集，降低过拟合风险。
S2、搭建包含矩阵网络、主干网络、检测网络和编解码网络的深度学习裂缝检测网络；
本发明实施例中所采用的深度神经网络的核心为矩阵网络模块，并以此为基础，选择 Resnet152作为主干网络的基本结构搭建特征提取网络。检测网络分支目的为对图像中的裂缝区域进行框选标记，利用角点检测的方法，网络基于矩阵网络的输出，包括对各矩阵层的层内对象的左上角和右下角进行预测获得热图和偏移量以及目标区域的中心点，利用中心点匹配同层内的角点坐标，再将所有层的输出与平滑非极大值抑制算法结合后得到最终的裂缝区域检测框。
编解码网络的搭建分为两个部分，首先为编码部分与矩阵网络的融合衔接以完成特征图的传递和下采样操作，其次为解码部分对特征图进行上采样以恢复到原图大小，并保留解码部分所有特征图以提高裂缝区域边缘部分的描述效果。
S3、将数据集划分为训练集、验证集和测试集训练神经网络模型；
对利用公路路面裂缝采集系统构建并预处理的裂缝数据集按照6：1：3的比例划分为训练集、验证集和测试集。训练过程可分为裂缝目标的检测分支和裂缝区域的分割分支，针对各分支分别涉及不同的损失函数，在矩阵网络模块和主干网络中使用Relu作为激活函数，在编解码网络中使用sigmoid作为激活函数。
矩阵网络中，在对角线上的各个层使用一系列步长为1×2的共享3×3卷积来得到上三角层，下三角层使用步长为2×1的共享3×3卷积获得。搭建矩阵网络特征提取模块，矩阵网络模块的搭建首先需要确定矩阵结构的尺度范围，设定为具有奇数层个数的方阵结构，在本实施例中采用的规模大小有3×3，5×5，7×7等，其次根据裂缝特征以及分布范围确定每个矩阵层的层生成过程以及层范围。如图2所示为本发明实施例中所使用的矩阵结构网络结构图。
预先设定分配给矩阵网络中每一层裂缝尺寸比例变化的范围，表示的是各层中特征向量的接受域，各层的接受域都是按倍数规律变化的。同时为了防止边界上的裂缝发生中断，设定一个冗余量来放宽边界范围，设定0.8和1.3作为区间两端的松弛变量。
S4、优化模型以及进行实际路面图像的测试。
在所述的深度神经网络中的训练过程中使用的优化算法为Adam算法，在优化算法中根据训练效果调整参数alpha，beta1，beta2，epsilon分别为0.003，0.99，0.9999，1e-9。本发明实例所述的路面裂缝检测网络的检测分支所使用的损失函数为：
其中：α＝|x1-x2|
式中：Ldec为检测分支的损失函数，x1为裂缝图像的真实值的张量形式，x2为裂缝区域预测框的张量形式，α为真实值与预测值之间差值的绝对值。β为差值限制系数，设置为0.1。
路面裂缝检测网络的裂缝分割分支所使用的损失函数为：
其中，Lseg为分割分支的损失函数，y为真实值，y'为预测值，n为样本数量，ω为模型参数，λ为权重衰减系数。
在得到裂缝图像的二值化裂缝区域分割输出图像后，利用图像细化的方法如中轴变换法对裂缝区域进行骨架提取，并通过算法计算出裂缝在像素级别的长度、宽度、面积等形态信息。再通过相机参数和实际距离参数使用OpenCV开源计算机视觉软件库将像素坐标转换到世界坐标系，求得裂缝的实际参数。
如图3所示，本发明实施例还提供一种基于矩阵结构深度神经网络的公路路面裂缝检测采集系统；，该采集系统包括：搭载仪器的固定支架，用于固定其他设备组件；高清图像采集设备，用于获取路面裂缝图像；控制开关，用于控制采集模式；激光测距仪，用于测定每帧图像中镜头与路面的距离；裂缝测宽仪，用于测定实际的裂缝宽度参数；传输线缆，用于将图像采集设备与个人电脑连接进行信号传输。
以上该实施例仅仅只是本发明的最优实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域内的普通技术人员来说，在不脱离本发明技术架构的前提下，还可以做出若干处变形和优化，这些均属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为基准。
Claims (7)
1.一种基于矩阵结构深度神经网络的公路路面裂缝检测系统，其特征在于，所述内容具体包括以下步骤：
S1、利用搭载高清摄像装置的公路路面裂缝采集系统采集公路路面的裂缝图像，标注建立深度学习的路面裂缝数据集；
S2、搭建包含矩阵网络、主干网络、检测网络和编解码网络的深度学习裂缝检测网络；
S3、将数据集划分为训练集、验证集和测试集训练神经网络模型；
S4、优化模型以及进行实际路面图像的测试。
2.根据权利要求1所述的基于矩阵结构深度神经网络的公路路面裂缝检测系统，其特征在于，所述步骤S1具体包括：
所使用的高清摄像装置固定于支架上，并且垂直于路面距离为100mm,采集的图像范围为120mm×120mm，采集的高清摄像装置为NIKON D5100。采集模式为连续捕获模式，可以人为操控，采集到的图像尺寸为2000×2000像素。预处理过程包括图像的标注和数据增强，增强手段包括图像的随机裁剪、旋转变换、以及通过随机因子对图像进行颜色抖动调整图像的饱和度、亮度、对比度和锐度。
3.根据权利要求2所述的基于矩阵结构深度神经网络的公路路面裂缝检测系统，其特征在于，所述步骤S2具体包括：
S21、搭建矩阵网络特征提取模块，矩阵网络模块的搭建首先需要确定矩阵结构的尺度范围，设定为具有奇数层个数的方阵结构，在本发明中采用的规模大小有3×3，5×5，7×7等，其次根据裂缝特征以及分布范围确定每个矩阵层的层生成过程以及层范围；
S22、主干网络部分包括主干网络的卷积层的数目，卷积核的大小，每个卷积层产生特征图的大小；
S23、检测网络对图像中的裂缝区域进行框选标记，网络基于矩阵网络的输出，包括对各矩阵层的层内对象的左上角和右下角进行预测获得热图和偏移量以及目标区域的中心点，利用中心点匹配同层内的角点坐标，再将所有层的输出与平滑非极大值抑制算法结合后得到最终的裂缝区域检测框。
S24、编解码网络的搭建包括编码部分与矩阵网络的融合衔接，解码部分根据特征图的信息对裂缝区域进行分割。
4.根据权利要求2或3所述的基于矩阵结构深度神经网络的公路路面裂缝检测系统，其特征在于，所述步骤S3具体包括：
S31、对利用公路路面裂缝采集系统构建并预处理的裂缝数据集按照6：1：3的比例划分为训练集、验证集和测试集。
S32、训练过程可分为裂缝目标的检测分支和裂缝区域的分割分支，针对各分支分别设计不同的损失函数，在矩阵网络模块和主干网络中使用Relu作为激活函数，在编解码网络中使用sigmoid作为激活函数。
S33、矩阵网络中，在对角线上的各个层使用一系列步长为1×2的共享3×3卷积来得到上三角层，下三角层使用步长为2×1的共享3×3卷积获得。
S34、预先设定分配给矩阵网络中每一层裂缝尺寸比例变化的范围，表示的是各层中特征向量的接受域，各层的接受域都是按倍数规律变化的。同时为了防止边界上的裂缝发生中断，设定一个冗余量来放宽边界范围，设定0.8和1.3作为区间两端的松弛变量。
5.根据权利要求2至4所述的居于矩阵结构深度神经网络的公路路面裂缝检测系统，其特征在于，所述步骤S4具体包括：
S41、路面裂缝检测网络的检测分支所使用的损失函数如下所示：
其中：α＝|x1-x2|
式中：Ldec为检测分支的损失函数，x1为裂缝图像的真实值的张量形式，x2为裂缝区域预测框的张量形式，α为真实值与预测值之间差值的绝对值。β为差值限制系数，设置为0.1。
S42、路面裂缝检测网络的裂缝分割分支所使用的损失函数如下所示：
其中，Lseg为分割分支的损失函数，y为真实值，y'为预测值，n为样本数量，ω为模型参数，λ为权重衰减系数。
S43、所述深度神经网络中的训练过程中使用的优化算法为Adam算法，在优化算法中调整参数alpha，beta1，beta2，epsilon分别为0.003，0.99，0.9999，1e-9。
6.根据权利要求1所述的基于矩阵结构深度神经网络的公路路面裂缝检测系统，其特征在于，所述内容还包括：在裂缝区域分割后，利用图像细化的方法对裂缝区域进行骨架提取，并通过算法计算出裂缝的长度、宽度、面积等形态信息和实际参数。
7.根据权利要求1所述的基于矩阵结构深度神经网络的公路路面裂缝检测系统，其特征在于，所述内容还包括一种公路路面裂缝检测采集系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110124640.3A CN113762020B (zh) | 2021-02-01 | 2021-02-01 | 一种基于矩阵结构深度神经网络的公路路面裂缝检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110124640.3A CN113762020B (zh) | 2021-02-01 | 2021-02-01 | 一种基于矩阵结构深度神经网络的公路路面裂缝检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113762020A true CN113762020A (zh) | 2021-12-07 |
| CN113762020B CN113762020B (zh) | 2024-03-22 |
Family
ID=78786539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110124640.3A Active CN113762020B (zh) | 2021-02-01 | 2021-02-01 | 一种基于矩阵结构深度神经网络的公路路面裂缝检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762020B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114322793A (zh) * | 2022-03-16 | 2022-04-12 | 科大天工智能装备技术（天津）有限公司 | 基于全局分割网络的工件尺寸测量方法、装置及存储介质 |
| CN117875549A (zh) * | 2023-12-29 | 2024-04-12 | 昆明理工大学 | 一种基于图像识别的建筑遗产保护评估系统和方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101926561B1 (ko) * | 2018-03-13 | 2018-12-07 | 연세대학교 산학협력단 | 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 |
| CN111127449A (zh) * | 2019-12-25 | 2020-05-08 | 汕头大学 | 一种基于编码器-解码器的自动化裂缝检测方法 |
-
2021
- 2021-02-01 CN CN202110124640.3A patent/CN113762020B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101926561B1 (ko) * | 2018-03-13 | 2018-12-07 | 연세대학교 산학협력단 | 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 |
| CN111127449A (zh) * | 2019-12-25 | 2020-05-08 | 汕头大学 | 一种基于编码器-解码器的自动化裂缝检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙朝云;马志丹;李伟;郝雪丽;申浩;: "基于深度卷积神经网络融合模型的路面裂缝识别方法", 长安大学学报(自然科学版), no. 04 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114322793A (zh) * | 2022-03-16 | 2022-04-12 | 科大天工智能装备技术（天津）有限公司 | 基于全局分割网络的工件尺寸测量方法、装置及存储介质 |
| CN114322793B (zh) * | 2022-03-16 | 2022-07-15 | 科大天工智能装备技术（天津）有限公司 | 基于全局分割网络的工件尺寸测量方法、装置及存储介质 |
| CN117875549A (zh) * | 2023-12-29 | 2024-04-12 | 昆明理工大学 | 一种基于图像识别的建筑遗产保护评估系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113762020B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dan et al. | Evaluation of asphalt pavement texture using multiview stereo reconstruction based on deep learning | |
| Li et al. | Automatic recognition and analysis system of asphalt pavement cracks using interleaved low-rank group convolution hybrid deep network and SegNet fusing dense condition random field | |
| CN108898085B (zh) | 一种基于手机视频的道路病害智能检测方法 | |
| Zalama et al. | Road crack detection using visual features extracted by Gabor filters | |
| CN114693615A (zh) | 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法 | |
| CN103955923B (zh) | 一种快速的基于图像的路面病害检测方法 | |
| CN113256082A (zh) | 一种隧道掌子面智能地质素描及地质评价方法 | |
| Dong et al. | Innovative method for pavement multiple damages segmentation and measurement by the Road-Seg-CapsNet of feature fusion | |
| CN117422699B (zh) | 公路检测方法、装置、计算机设备及存储介质 | |
| CN111241994A (zh) | 一种深度学习的遥感影像农村公路砂化路段的提取方法 | |
| Dong et al. | Intelligent segmentation and measurement model for asphalt road cracks based on modified mask R-CNN algorithm | |
| CN111896549A (zh) | 一种基于机器学习的建筑物裂缝监测系统和方法 | |
| CN109034073B (zh) | 预测建筑拆除废弃物产生量的方法、系统、设备及介质 | |
| CN113762020B (zh) | 一种基于矩阵结构深度神经网络的公路路面裂缝检测系统 | |
| Wang et al. | Geometry-informed deep learning-based structural component segmentation of post-earthquake buildings | |
| CN117932763B (zh) | 基于数字孪生的高速公路交通模型构建方法 | |
| CN114419421A (zh) | 一种基于影像的地铁隧道裂缝识别系统及方法 | |
| Luo et al. | Using deep learning-based defect detection and 3D quantitative assessment for steel deck pavement maintenance | |
| CN115204686A (zh) | 基于面向用户感知体验的城市街道设计品质评价方法 | |
| Salari et al. | Pavement distress evaluation using 3D depth information from stereo vision | |
| Tayo et al. | Portable crack width calculation of concrete road pavement using machine vision | |
| CN118941526A (zh) | 一种道路裂缝检测方法、介质及产品 | |
| Xing et al. | A lightweight detection method of pavement potholes based on binocular stereo vision and deep learning | |
| CN118776479A (zh) | 一种融合机器视觉与边缘计算的桥梁健康监测方法 | |
| Shao et al. | Crack detection and measurement using PTZ camera–based image processing method on expressways |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Gang Inventor after: Peng Yaxue Inventor after: Chen Yongqiang Inventor after: Deng Zhihao Inventor after: Lan Dongchao Inventor after: Dai Yu Inventor after: Zhang Shuailong Inventor after: Li Xiyuan Inventor before: Li Gang Inventor before: Chen Yongqiang Inventor before: Deng Zhihao Inventor before: Lan Dongchao Inventor before: Dai Yu Inventor before: Zhang Shuailong Inventor before: Li Xiyuan |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |