CN115082450A - 基于深度学习网络的路面裂缝检测方法和系统 - Google Patents
基于深度学习网络的路面裂缝检测方法和系统 Download PDFInfo
- Publication number
- CN115082450A CN115082450A CN202210884066.6A CN202210884066A CN115082450A CN 115082450 A CN115082450 A CN 115082450A CN 202210884066 A CN202210884066 A CN 202210884066A CN 115082450 A CN115082450 A CN 115082450A
- Authority
- CN
- China
- Prior art keywords
- image
- crack
- deep learning
- top view
- learning network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012896 Statistical algorithm Methods 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习网络的路面裂缝检测方法和系统，所述方法包括：获取目标区域内的道路原始图像，并将所述道路原始图像转换为俯视图；在所述俯视图内，对所有裂缝进行标注，以生成输入图像；将所述输入图像输入至预先训练的深度学习网络模型中，以得到所述道路原始图像对应的裂缝结果图；基于所述裂缝结果图通过像素统计算法得到路面质量和裂缝宽度；其中，所述深度学习网络模型是通过原始图像样本转换得到的俯视图样本训练得到的。解决了现有技术中路面缝隙检测准确性较差的技术问题。
Description
技术领域
本发明涉及辅助驾驶技术领域，具体涉及一种基于深度学习网络的路面裂缝检测方法和系统。
背景技术
近年来，自动驾驶和辅助驾驶得到了广泛的使用，在辅助驾驶过程中，路面裂缝会导致车身颠簸，从而影响驾驶体验甚至危及乘员安全，还会对车辆结构产生冲击，频繁颠簸冲击甚至会影响车辆结构的完整性。
可见，对自动驾驶汽车来说，快速自动识别裂缝区域是后续躲避操作的前提。但是，传统的路面裂缝检测技术大多用于特定区域和特定的采集程序，而驾驶路面环境往往比较复杂，比如存在光照阴影、水渍、路面标识等，传统的路面裂缝检测方法应用于具有大量噪声的复杂路面图像时，准确性较差，无法满足自动驾驶场景的需求。
发明内容
为此，本发明实施例提供一种基于深度学习网络的路面裂缝检测方法和系统，以期至少部分解决现有技术中路面缝隙检测准确性较差的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于深度学习网络的路面裂缝检测方法，所述方法包括：
获取目标区域内的道路原始图像，并将所述道路原始图像转换为俯视图；
在所述俯视图内，对所有裂缝进行标注，以生成输入图像；
将所述输入图像输入至预先训练的深度学习网络模型中，以得到所述道路原始图像对应的裂缝结果图；
基于所述裂缝结果图通过像素统计算法得到路面质量和裂缝宽度。
其中，所述深度学习网络模型是通过原始图像样本转换得到的俯视图样本训练得到的。
进一步地，所述将所述道路原始图像转换为俯视图，具体包括：
计算所述道路原始图像的视差图，并提取所述视差图中每个像素点对应的深度值和每个像素点在图像坐标系中的坐标；
基于各所述像素点的深度值和在图像坐标系上的坐标，计算各所述像素点在世界坐标系上的对应点集；
根据各所述像素点在所述图像坐标系上的点集和所述对应点集，计算变换矩阵；
基于所述变换矩阵，将所述道路原始图像转换为所述俯视图。
进一步地，训练深度学习网络模型，具体包括：
获取海量道路原始图像样本，并将所述道路图像样本分别转换为俯视图，以得到海量俯视图样本；
计算所有俯视图样本的均值和均方差，以得到符合标准正态分布的训练集数据；
将所述训练集数据输入至预先创建的深度学习网络模型中，并基于预先设定的网络参数进行深度监督训练，以得到预测结果；
根据所述预测结果计算总损失，并利用所述总损失进行反向传播以更新所述深度学习网络模型，直至所述预测结果与预先设定的目标值之间的总损失达到预设值，停止迭代。
进一步地，预先创建的深度学习网络模型为添加有注意力机制的Unet网络结构；
所述Unet网络结构的包括：
编码器，所述编码器用于通过卷积和下采样降低样本图像尺寸，并提取到浅层特征；所述编码器包括两个3x3卷积层、2x2的最大值池化层、批处理归一化层和非线形层；其中，所述卷积层用于获取训练集数据中的图像局域特征并传送给所述最大值池化层，所述批处理归一化层用于对训练图像的分布归一化；
解码器，所述解码器包括两个3x3反卷积层、批处理归一化层、非线性、层和2x2 的最大值池化层；
注意力门，所述注意力门用于对提取到的浅层特征增加注意力机制，在对编码器对每层的特征与解码器中对应层进行拼接之前，分别增加注意力门。
进一步地，基于所述裂缝结果图通过像素统计算法得到路面质量，具体包括：
基于所述裂缝结果图得到热度图；
将所述热度图平均划分为T个区域，每个区域内像素点总数
，其中，m,n为图片大小；
确定热度图的每个像素点是否为裂缝；
统计各所述区域内为裂缝的像素点个数，并计算为裂缝的像素点个数占其所在区域的比例；
根据所述比例确定所述区域的路面质量。
进一步地，基于所述裂缝结果图通过像素统计算法得到裂缝宽度，具体包括：
在所述裂缝结果图中提取目标裂缝的轮廓和骨架线；
计算所述骨架线上各像素点的法向量，并基于各像素点的法向量建立局部坐标系；
在所述局部坐标系中，分别在四个象限内找到离骨架线法向量最近的边缘轮廓点，分别计算左轮廓中两个点和右轮廓中两个点形成的线段和骨架法向量的交点；
根据骨架线上的各像素点到两个交点的距离，计算所述目标裂缝的宽度。
本发明还提供一种基于深度学习网络的路面裂缝检测系统，所述系统包括：
图像获取单元，用于获取目标区域内的道路原始图像，并将所述道路原始图像转换为俯视图；
图像处理单元，用于在所述俯视图内，对所有裂缝进行标注，以生成输入图像；
结果获取单元，用于将所述输入图像输入至预先训练的深度学习网络模型中，以得到所述道路原始图像对应的裂缝结果图；
像素统计单元，用于基于所述裂缝结果图通过像素统计算法得到路面质量和裂缝宽度。
其中，所述深度学习网络模型是通过原始图像样本转换得到的俯视图样本训练得到的。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
本发明所提供的基于深度学习网络的路面裂缝检测方法和系统，通过获取目标区域内的道路原始图像，并将所述道路原始图像转换为俯视图；在所述俯视图内，对所有裂缝进行标注，以生成输入图像，将所述输入图像输入至预先训练的深度学习网络模型中，以得到所述道路原始图像对应的裂缝结果图，基于所述裂缝结果图通过像素统计算法得到路面质量和裂缝宽度，从而解决了现有技术中路面缝隙检测准确性较差的技术问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的路面裂缝检测方法一种具体实施方式的流程图；
图2为图1所示的方法中将道路原始图像转换为俯视图的流程图；
图3为图1所示方法中一个使用场景中的道路原始图像；
图4为图3所示道路原始图像转换成的视差图；
图5为图4所示视差图转换成的俯视图；
图6为图1所示方法中基于裂缝结果图通过像素统计算法得到路面质量的流程图；
图7为图1所示方法中通过像素统计算法得到裂缝宽度的流程图；
图8为图1所示方法中训练深度学习网络模型的流程图；
图9为一个使用场景下得到的检测效果图；
图10为本发明所提供的路面裂缝检测系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术路面裂缝检测方法，在复杂行驶路面上裂缝检测准确性较差的问题，本发明提出了一种基于深度学习网络的路面裂缝检测方法，该方法先将拍摄的道路环境图像转换为俯视图，再基于深度学习网络对裂缝进行检测，将检测得到的裂缝进行像素总数统计去判断路面质量和统计各点裂缝宽度，以提高裂缝检测准确性，且将统计量用于辅助驾驶的后续应用，提高了辅助驾驶的性能。
请参考图1，图1为本发明所提供的路面裂缝检测方法一种具体实施方式的流程图。
在一种具体实施方式中，本发明所提供的基于深度学习网络的路面裂缝检测方法包括以下步骤：
S101：获取目标区域内的道路原始图像，并将所述道路原始图像转换为俯视图。
在一些实施例中，如图2所示，所述将所述道路原始图像转换为俯视图具体包括以下步骤：
S201：计算所述道路原始图像的视差图，并提取所述视差图中每个像素点对应的深度值和每个像素点在图像坐标系中的坐标。具体地，将由不同相机内参拍摄的场景图像（即如图3所示的道路原始图像），通过读取如图4所示的视差图中的视差值算出每个像素点对应的深度值，该深度值反映了相机与物体的实际距离。深度值的计算公式如下：
其中，Z为深度值，B为相机的基线，f为相机的焦距，disp为立体匹配所得到的双目视差，即视差值。
S202：基于各所述像素点的深度值和在图像坐标系上的坐标，计算各所述像素点在世界坐标系上的对应点集。具体地，根据得到的深度值，且已知图像坐标系上各个像素点的坐标，由以下公式计算出转换到世界坐标系后的对应点集。
计算公式如下：
其中，Imgx和Imgy分别为图像坐标系的x坐标和y坐标；cx和cy分别为光心在图像坐标系上的x坐标和y坐标；wx和wy分别为世界坐标系的x坐标和y坐标。
S203：根据各所述像素点在所述图像坐标系上的点集和所述对应点集，计算变换矩阵。具体地，由图像坐标系的点集和世界坐标系点集计算出透视变换的变换矩阵从而得到两组点集的映射关系，最后由原图和变换矩阵得到转换后的俯视图（如图5所示）。其中，透视变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面（透视面）绕迹线（透视轴）旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。
S204：基于所述变换矩阵，将所述道路原始图像转换为所述俯视图。其中，视差图是指双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别称作视差图(Disparity)。
S102：在所述俯视图内，对所有裂缝进行标注，以生成输入图像。该步骤与上述步骤S101共同构成数据预处理方法，将拍摄的道路环境图像中的路面部分，转换为俯视图后对裂缝进行像素级的标注，从而能够得到更真实的裂缝信息。
S103：将所述输入图像输入至预先训练的深度学习网络模型中，以得到所述道路原始图像对应的裂缝结果图；其中，所述深度学习网络模型是通过原始图像样本转换得到的俯视图样本训练得到的。在模型训练之前需要预先设计检测网络模型结构，该网络结构可分为编码器、解码器、多尺度特征融合和注意力门，利用网络模型对输入图像进行检测。
其中，深度学习是指从机器学习中的人工神经网络发展出来的新领域。早期所谓的“深度”是指超过一层的神经网络。但随着深度学习的快速发展，其内涵已经超出了传统的多层神经网络，甚至机器学习的范畴，逐渐朝着人工智能的方向快速发展。
S104：基于所述裂缝结果图通过像素统计算法得到路面质量和裂缝宽度。
其中，通过像素统计算法得到路面质量时，将网络预测得到的热度图划分为不同区域，统计每个区域内裂缝像素占该区域总像素个数的比值来判定该区域的好坏，最后统计整个区域内好坏区域的占比来判断路面的好坏情况。
在一些实施例中，如图6所示，基于所述裂缝结果图通过像素统计算法得到路面质量具体包括以下步骤：
S601：基于所述裂缝结果图得到热度图。其中，热度图是一种特殊的图表，它是一种通过对色块着色来显示数据的统计图表，在绘图时，需要指定每个颜色映射的规则（一般以颜色的强度或色调为标准）；比如颜色越深的表示数值越大、程度越深；颜色越亮的数值越大、程度越深。
S602：将所述热度图平均划分为T个区域，每个区域内像素点总数为
，其中，m,n为图片大小；
S603：确定热度图的每个像素点是否为裂缝；
S604：统计各所述区域内为裂缝的像素点个数，并计算为裂缝的像素点个数占其所在区域的比例；
S605：根据所述比例确定所述区域的路面质量。
在一个具体使用场景中，基于步骤S103得到的预测结果，可以得到样本预测得到的热度图，即知道每个像素点是否为裂缝的概率。其具体步骤如下：
将图像平均划分为10×10个区域网格。每个区域内像素总数为
(其中m,n为图片大小)。
对于热度图的每个像素点是否为裂缝的判断如下：
统计每个区域网格内为裂缝的像素点个数a，并计算所占区域的比例为
。则对应每个区域“好”“坏”的判断如下：
统计整幅图“好”“坏”区域的个数分别为p、q (p+q=100)。对图像区域的路面“好”“坏”情况判断如下：
其中，基于所述裂缝结果图通过像素统计算法得到裂缝宽度时，利用正交骨架线法计算裂缝各点的宽度。
在一些实施例中，如图7所示，通过像素统计算法得到裂缝宽度具体包括以下步骤：
S701：在所述裂缝结果图中提取目标裂缝的轮廓和骨架线；其中，骨架线是指用与原形状连通性和拓扑结构相一致的细曲线作为理想表达的一种对象表示，多边形的骨架线其本质是对多边形的抽象描述。
S702：计算所述骨架线上各像素点的法向量，并基于各像素点的法向量建立局部坐标系；
S703：在所述局部坐标系中，分别在四个象限内找到离骨架线法向量最近的边缘轮廓点，分别计算左轮廓中两个点和右轮廓中两个点形成的线段和骨架法向量的交点；
S704：根据骨架线上的各像素点到两个交点的距离，计算所述目标裂缝的宽度。
在一个具体使用场景中，基于步骤S103得到的预测结果，计算每条裂缝各点的宽度，具体步骤如下：
提取检测裂缝的轮廓和骨架线；
骨架线上点的法向量估计；在骨架线上取点，利用KD-Tree算法实现每个点K近邻数据搜索去拟合直线求出该点法向量。
利用得到的法向量建立局部坐标系；以原始坐标系原点为旋转中心，以法向量方向为局部坐标系的Y轴，与Y轴垂直的方向为局部坐标系的X轴，把骨架线上的点坐标和边缘线上的点坐标一起变换到这个局部坐标系下。
宽度计算；在建立的局部坐标系中，分别在四个象限内找到离骨架线法向量最近的边缘轮廓点(A、B、C、D)，分别计算这左轮廓中两个点（A、B）和右轮廓中两个点（C、D）形成的线段和骨架法向量的交点，左右宽度即为骨架线上的点到两个交点的距离。
在一些实施例中，如图8所示，上述步骤S103中所述训练深度学习网络模型，具体包括以下步骤：
S801：获取海量道路原始图像样本，并将所述道路图像样本分别转换为俯视图，以得到海量俯视图样本；
S802：计算所有俯视图样本的均值和均方差，以得到符合标准正态分布的训练集数据；
S803：将所述训练集数据输入至预先创建的深度学习网络模型中，并基于预先设定的网络参数进行深度监督训练，以得到预测结果。
其中，预先创建的深度学习网络模型为添加有注意力机制的Unet网络结构；所述Unet网络结构的包括：编码器，所述编码器用于通过卷积和下采样降低样本图像尺寸，并提取到浅层特征；所述编码器包括两个3x3卷积层、2x2的最大值池化层、批处理归一化层和非线形层；其中，所述卷积层用于获取训练集数据中的图像局域特征并传送给所述最大值池化层，所述批处理归一化层用于对训练图像的分布归一化；解码器，所述解码器包括两个3x3反卷积层、批处理归一化层、非线性、层和2x2 的最大值池化层；注意力门，所述注意力门用于对提取到的浅层特征增加注意力机制，在对编码器对每层的特征与解码器中对应层进行拼接之前，分别增加注意力门。
S804：根据所述预测结果计算总损失，并利用所述总损失进行反向传播以更新所述深度学习网络模型，直至所述预测结果与预先设定的目标值之间的总损失达到预设值，停止迭代。
具体地，在提取到的特征图中，每张图提取到的特征都不相同。为了让网络更有效地学习到裂缝区域的信息，本文用卷积块注意模块来放大图像通道和空间区域的重要特征。添加注意力机制后的Unet网络结构中，网络左侧为编码阶段，由5个重复结构组成：2个3x3卷积层，批处理归一化（BatchNormalization）层、非线形ReLU层和一个stride为2的2x2的 max pooling层。编码器的输入为随机选取的训练样本RGB图像，由于经过4次下采样，图像大小缩小16倍，因此图像需要宽及高均能整除16。输入图像尺寸大小为(m,n)，统一将其扩大至(w,h)，使得w,h都能被16整除。由于对图片进行了扩充，故需对其填充黑边，需要填充的宽度及高度分别为
,
, 得到最终在图像宽度及高度方向两端所需填充的最小黑边数值。卷积层负责获取图像局域特征并传送给最大池化层，将最大值特征再次传递到下一层。BN层主要对训练图像的分布归一化，加速学习，最后编码阶段输出为
的特征图。
这一阶段的主要任务就是通过卷积和下采样降低图像尺寸，提取到浅层特征。
编码阶段后，通过注意力门对提取的特征实现注意力机制。将下采样层同层特征图经1×1×1卷积运算后与上采样上一层特征图经1×1×1卷积运算后对应点进行相加，然后经过Relu函数，最后通过1×1×1卷积运算后经过sigmoid激活函数得到最终的注意力系数与上采样上一层特征图相乘后与上采样同层特征图进行拼接。解码阶段也由5个重复结构组成：2个3x3反卷积层，批处理归一化层、非线性ReLU层和一个stride为2的2x2 的maxpooling层。在对编码器对每层的特征与解码器中对应层进行拼接之前，使用了注意力门控来控制不同空间位置处特征的重要性。
模型训练步骤如下：
输入参数：所有图片计算均值、均方差使数据分布符合标准正态分布，即均值为0，标准差为1，使模型更容易收敛；
设置网络参数，包括训练次数、批次大小、学习率、权重衰减系数、分类损失系数、分类样本权重。为满足网络输入要求，进行样本填充。使用Adam优化器、批处理正常化、深度监督进行训练。输入训练集数据进行前向传播，并根据预测结果计算总损失，根据总损失进行反向传播去更新参数。
计算目标值和预测值之间的二进制交叉熵损失函数。数学公式为：
其中p、q分别为真实标签、实际预测标签，w为权重。这里的log对应数学上的ln。根据模型的预测给出相应的dice,mean-iou,hd（Hausdorff distance）值，当miou最大时即为本次训练的最佳模型。
为了验证模型的效果，本发明还提供一种模型评估方法：
Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0,1]; |X|和|Y|分别表示预测标签和真实标签的逐元素求和，将|X∩Y|近似为预测标签和真实标签之间的点乘，并将点乘的元素的结果相加；真实分割图是只有0,1两个值的，因此|X∩Y|可以有效的将在预测分割图中但未在真实分割图中激活的所有像素清零。对于激活的像素，主要是惩罚低置信度的预测，较高的预测值会得到更好的Dice系数。
A和B分别为预测边界框和真实标注框的面积，
表示两框交集的面积，
表示两框并集的面积，
即为两框面积的交并比。
Hausdorff distance是描述两组点集之间相似程度的一种量度，它是两个点集之间距离的一种定义形式：假设有两组集合
，
，则这两个点集合之间的Hausdorff distance定义为：
其中，
，
，
是点集A和B点集间的距离范式 (如:L2或Euclidean距离) 。
由上述具体实施方式可知，本发明所提供的方法具有以下技术效果：
将路面拍摄图像转换为俯视图进行标注训练；之前的裂缝检测算法大多是直接对拍摄的裂缝进行检测，根据裂缝情况去对公路进行养护。本发明旨在汽车驾驶时由于裂缝的出现导致影响了驾驶体验以及危害到行车安全而进行的裂缝检测。在实际汽车驾驶环境中，路面裂缝状况并不像公开数据集拍摄的专门检测裂缝那样清晰简单。根据我们的相机参数以及拍摄范围，同时利用了彩色图像和深度信息，RGB图像提供了明显的外观特征，深度图像传达了几何结构，再由透视变换将路面图像统转换成俯视图。由于标注时远处裂缝较模糊造成标注困难，转换为俯视图后检测范围缩小，检测目标明确，从而能减小由于标注误差带来的影响。同时转换后的图像更直观地显示了裂缝的位置和宽度，为后续的路面情况分析工作提供了便利。
采用数据增强和标准化数据集；针对数据量较少、模型泛化能力欠缺的问题。本发明采用添加噪声、模糊、翻转来使训练集更丰富，提高模型的鲁棒性，让模型更具泛化能力。将训练数据集图像逐通道的进行标准化，经过这样处理后的数据符合标准正态分布，即均值为0，标准差为1，使模型更容易收敛。
采用注意力机制调整权重，强调目标的重要信息，抑制无关信息；将图像分割为裂纹和非裂纹区域需要考虑较低尺度和较高尺度的特征。因此，所选择的模型体系结构应该能够考虑到多尺度特征，Unet网络特别适合做此类检测。在传统的Unet网络中，为了避免丢失信息，使用了跳跃连接的手法，直接将编码阶段中提取的特征图拼接到解码阶段相对应的层，但是提取的低层特征有很多的冗余信息。本发明在Unet网络的基础上增加了注意力机制来更高效地学习裂缝的特征。通过下一级的特征来监督上一级的特征来实现注意力机制，即将激活的部分限制于待分割的区域，减小背景的激活值来优化分割，实现端到端的分割。预测效果见图9所示，图9中，由左至右依次为原图、预测图和真实标签图。
这样，本发明所提供的基于深度学习网络的路面裂缝检测方法，通过获取目标区域内的道路原始图像，并将所述道路原始图像转换为俯视图；在所述俯视图内，对所有裂缝进行标注，以生成输入图像，将所述输入图像输入至预先训练的深度学习网络模型中，以得到所述道路原始图像对应的裂缝结果图，基于所述裂缝结果图通过像素统计算法得到路面质量和裂缝宽度。将拍摄的道路图像利用视差图转换为俯视图作为网络的输入，通过数据增强丰富样本特征，采用添加注意力机制的U-Net网络对深层、浅层特征选择性地融合来对路面上的裂缝进行识别。根据裂缝检测的结果，可以将图像划分为一定数量的区域，根据检测结果得到每个区域内裂缝像素占比，从而判断该区域路面的好坏，还可以根据检测结果得到裂缝每个点对应的宽度信息，得到的统计量为后续的应用奠定了基础。该方法检测精度高，且适用复杂路面情况，从而解决了现有技术中路面缝隙检测准确性较差的技术问题。
除了上述方法，本发明还提供一种基于深度学习网络的路面裂缝检测系统，如图10所示，所述系统包括：
图像获取单元100，用于获取目标区域内的道路原始图像，并将所述道路原始图像转换为俯视图；
图像处理单元200，用于在所述俯视图内，对所有裂缝进行标注，以生成输入图像；
结果获取单元300，用于将所述输入图像输入至预先训练的深度学习网络模型中，以得到所述道路原始图像对应的裂缝结果图；
像素统计单元400，用于基于所述裂缝结果图通过像素统计算法得到路面质量和裂缝宽度。
其中，所述深度学习网络模型是通过原始图像样本转换得到的俯视图样本训练得到的。
在上述具体实施方式中，本发明所提供的基于深度学习网络的路面裂缝检测系统，通过获取目标区域内的道路原始图像，并将所述道路原始图像转换为俯视图；在所述俯视图内，对所有裂缝进行标注，以生成输入图像，将所述输入图像输入至预先训练的深度学习网络模型中，以得到所述道路原始图像对应的裂缝结果图，基于所述裂缝结果图通过像素统计算法得到路面质量和裂缝宽度。将拍摄的道路图像利用视差图转换为俯视图作为网络的输入，通过数据增强丰富样本特征，采用添加注意力机制的U-Net网络对深层、浅层特征选择性地融合来对路面上的裂缝进行识别。提供一种基于深度学习网络的路面裂缝检测方法，另外，根据裂缝检测的结果，可以将图像划分为一定数量的区域，根据检测结果得到每个区域内裂缝像素占比，从而判断该区域路面的好坏，还可以根据检测结果得到裂缝每个点对应的宽度信息，得到的统计量为后续的应用奠定了基础。经测试，该方法检测精度高，且适用复杂路面情况。从而解决了现有技术中路面缝隙检测准确性较差的技术问题。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习网络的路面裂缝检测方法，其特征在于，所述方法包括：
获取目标区域内的道路原始图像，并将所述道路原始图像转换为俯视图；
在所述俯视图内，对所有裂缝进行标注，以生成输入图像；
将所述输入图像输入至预先训练的深度学习网络模型中，以得到所述道路原始图像对应的裂缝结果图；
基于所述裂缝结果图通过像素统计算法得到路面质量和裂缝宽度；
其中，所述深度学习网络模型是通过原始图像样本转换得到的俯视图样本训练得到的。
2.根据权利要求1所述的路面裂缝检测方法，其特征在于，所述将所述道路原始图像转换为俯视图，具体包括：
计算所述道路原始图像的视差图，并提取所述视差图中每个像素点对应的深度值和每个像素点在图像坐标系中的坐标；
基于各所述像素点的深度值和在图像坐标系上的坐标，计算各所述像素点在世界坐标系上的对应点集；
根据各所述像素点在所述图像坐标系上的点集和所述对应点集，计算变换矩阵；
基于所述变换矩阵，将所述道路原始图像转换为所述俯视图。
3.根据权利要求1所述的路面裂缝检测方法，其特征在于，训练深度学习网络模型，具体包括：
获取海量道路原始图像样本，并将所述道路图像样本分别转换为俯视图，以得到海量俯视图样本；
计算所有俯视图样本的均值和均方差，以得到符合标准正态分布的训练集数据；
将所述训练集数据输入至预先创建的深度学习网络模型中，并基于预先设定的网络参数进行深度监督训练，以得到预测结果；
根据所述预测结果计算总损失，并利用所述总损失进行反向传播以更新所述深度学习网络模型，直至所述预测结果与预先设定的目标值之间的总损失达到预设值，停止迭代。
4.根据权利要求3所述的路面裂缝检测方法，其特征在于，预先创建的深度学习网络模型为添加有注意力机制的Unet网络结构；
所述Unet网络结构的包括：
编码器，所述编码器用于通过卷积和下采样降低样本图像尺寸，并提取到浅层特征；所述编码器包括两个3x3卷积层、2x2的最大值池化层、批处理归一化层和非线形层；其中，所述卷积层用于获取训练集数据中的图像局域特征并传送给所述最大值池化层，所述批处理归一化层用于对训练图像的分布归一化；
解码器，所述解码器包括两个3x3反卷积层、批处理归一化层、非线性、层和2x2 的最大值池化层；
注意力门，所述注意力门用于对提取到的浅层特征增加注意力机制，在对编码器对每层的特征与解码器中对应层进行拼接之前，分别增加注意力门。
5.根据权利要求1所述的路面裂缝检测方法，其特征在于，基于所述裂缝结果图通过像素统计算法得到路面质量，具体包括：
基于所述裂缝结果图得到热度图；
将所述热度图平均划分为T个区域，每个区域内像素点总数为
，其中，m,n为图片大小；
确定热度图的每个像素点是否为裂缝；
统计各所述区域内为裂缝的像素点个数，并计算为裂缝的像素点个数占其所在区域的比例；
根据所述比例确定所述区域的路面质量。
6.根据权利要求1所述的路面裂缝检测方法，其特征在于，基于所述裂缝结果图通过像素统计算法得到裂缝宽度，具体包括：
在所述裂缝结果图中提取目标裂缝的轮廓和骨架线；
计算所述骨架线上各像素点的法向量，并基于各像素点的法向量建立局部坐标系；
在所述局部坐标系中，分别在四个象限内找到离骨架线法向量最近的边缘轮廓点，分别计算左轮廓中两个点和右轮廓中两个点形成的线段和骨架法向量的交点；
根据骨架线上的各像素点到两个交点的距离，计算所述目标裂缝的宽度。
7.一种基于深度学习网络的路面裂缝检测系统，其特征在于，所述系统包括：
图像获取单元，用于获取目标区域内的道路原始图像，并将所述道路原始图像转换为俯视图；
图像处理单元，用于在所述俯视图内，对所有裂缝进行标注，以生成输入图像；
结果获取单元，用于将所述输入图像输入至预先训练的深度学习网络模型中，以得到所述道路原始图像对应的裂缝结果图；
像素统计单元，用于基于所述裂缝结果图通过像素统计算法得到路面质量和裂缝宽度；
其中，所述深度学习网络模型是通过原始图像样本转换得到的俯视图样本训练得到的。
8.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-6任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210884066.6A CN115082450A (zh) | 2022-07-26 | 2022-07-26 | 基于深度学习网络的路面裂缝检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210884066.6A CN115082450A (zh) | 2022-07-26 | 2022-07-26 | 基于深度学习网络的路面裂缝检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115082450A true CN115082450A (zh) | 2022-09-20 |
Family
ID=83243294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210884066.6A Pending CN115082450A (zh) | 2022-07-26 | 2022-07-26 | 基于深度学习网络的路面裂缝检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082450A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631252A (zh) * | 2022-10-12 | 2023-01-20 | 浙江大学 | 一种钢筋混凝土结构截面图像重建方法及装置 |
| CN115830118A (zh) * | 2022-12-08 | 2023-03-21 | 重庆市信息通信咨询设计院有限公司 | 一种基于双目相机的水泥电杆的裂纹检测方法和系统 |
| CN115830007A (zh) * | 2023-02-06 | 2023-03-21 | 山东省滨州公路工程有限公司 | 一种基于图像识别的路面脱空检测方法及系统 |
| WO2024085630A1 (ko) * | 2022-10-18 | 2024-04-25 | 네이버랩스 주식회사 | 시각 특징 추출 신경망 모델 학습 방법 및 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147714A (zh) * | 2019-03-28 | 2019-08-20 | 中国矿业大学 | 基于无人机的煤矿采空区裂缝识别方法及检测系统 |
| CN110335255A (zh) * | 2019-06-14 | 2019-10-15 | 华南农业大学 | 一种基于深度学习的水坝斜坡裂缝检测方法及仿生壁虎爬行检测装置 |
| CN113409267A (zh) * | 2021-06-17 | 2021-09-17 | 西安热工研究院有限公司 | 一种基于深度学习的路面裂缝检测与分割方法 |
| CN114359130A (zh) * | 2021-11-09 | 2022-04-15 | 上海海洋大学 | 一种基于无人机影像的道路裂缝检测方法 |
-
2022
- 2022-07-26 CN CN202210884066.6A patent/CN115082450A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147714A (zh) * | 2019-03-28 | 2019-08-20 | 中国矿业大学 | 基于无人机的煤矿采空区裂缝识别方法及检测系统 |
| CN110335255A (zh) * | 2019-06-14 | 2019-10-15 | 华南农业大学 | 一种基于深度学习的水坝斜坡裂缝检测方法及仿生壁虎爬行检测装置 |
| CN113409267A (zh) * | 2021-06-17 | 2021-09-17 | 西安热工研究院有限公司 | 一种基于深度学习的路面裂缝检测与分割方法 |
| CN114359130A (zh) * | 2021-11-09 | 2022-04-15 | 上海海洋大学 | 一种基于无人机影像的道路裂缝检测方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631252A (zh) * | 2022-10-12 | 2023-01-20 | 浙江大学 | 一种钢筋混凝土结构截面图像重建方法及装置 |
| WO2024085630A1 (ko) * | 2022-10-18 | 2024-04-25 | 네이버랩스 주식회사 | 시각 특징 추출 신경망 모델 학습 방법 및 시스템 |
| CN115830118A (zh) * | 2022-12-08 | 2023-03-21 | 重庆市信息通信咨询设计院有限公司 | 一种基于双目相机的水泥电杆的裂纹检测方法和系统 |
| CN115830118B (zh) * | 2022-12-08 | 2024-03-19 | 重庆市信息通信咨询设计院有限公司 | 一种基于双目相机的水泥电杆的裂纹检测方法和系统 |
| CN115830007A (zh) * | 2023-02-06 | 2023-03-21 | 山东省滨州公路工程有限公司 | 一种基于图像识别的路面脱空检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109461181B (zh) | 基于散斑结构光的深度图像获取方法及系统 | |
| CN115082450A (zh) | 基于深度学习网络的路面裂缝检测方法和系统 | |
| CN111161349B (zh) | 物体姿态估计方法、装置与设备 | |
| CN111028213A (zh) | 图像缺陷检测方法、装置、电子设备及存储介质 | |
| CN112884682B (zh) | 一种基于匹配与融合的立体图像颜色校正方法及系统 | |
| CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
| CN112367474A (zh) | 一种自适应光场成像方法、装置及设备 | |
| CN113689578A (zh) | 一种人体数据集生成方法及装置 | |
| CN115049821A (zh) | 一种基于多传感器融合的三维环境目标检测方法 | |
| CN113379815A (zh) | 基于rgb相机与激光传感器的三维重建方法、装置及服务器 | |
| CN115526990A (zh) | 用于数字孪生的目标可视化方法、装置及电子设备 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| CN113160330A (zh) | 基于端到端的相机与激光雷达标定方法、系统及介质 | |
| CN113808033A (zh) | 图像文档校正方法、系统、终端及介质 | |
| CN112348762A (zh) | 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 | |
| CN115619678B (zh) | 一种图像变形的矫正方法、装置、计算机设备及存储介质 | |
| CN110533663B (zh) | 一种图像视差确定方法、装置、设备及系统 | |
| CN116703996A (zh) | 基于实例级自适应深度估计的单目三维目标检测算法 | |
| CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
| CN117197211B (zh) | 一种深度图像生成方法、系统、装置及介质 | |
| CN117523428B (zh) | 基于飞行器平台的地面目标检测方法和装置 | |
| Wu et al. | Spatio-temporal fish-eye image processing based on neural network | |
| CN113723465B (zh) | 一种改进的特征提取方法以及基于该方法的图像拼接方法 | |
| CN117474932B (zh) | 对象分割方法和装置、电子设备及存储介质 | |
| CN114549429B (zh) | 基于超图结构的深度数据质量评价方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220920 |
|
| RJ01 | Rejection of invention patent application after publication |