CN115239689A - 一种路面信息的检测、计算方法、检测系统、设备及计算机可读存储介质 - Google Patents

一种路面信息的检测、计算方法、检测系统、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115239689A
CN115239689A CN202210961004.0A CN202210961004A CN115239689A CN 115239689 A CN115239689 A CN 115239689A CN 202210961004 A CN202210961004 A CN 202210961004A CN 115239689 A CN115239689 A CN 115239689A
Authority
CN
China
Prior art keywords
road surface
image
surface information
calculating
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210961004.0A
Other languages
English (en)
Inventor
胡金水
季昌庆
曹冬林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Xunfa Software Technology Co ltd
Original Assignee
Xiamen Xunfa Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Xunfa Software Technology Co ltd filed Critical Xiamen Xunfa Software Technology Co ltd
Priority to CN202210961004.0A priority Critical patent/CN115239689A/zh
Publication of CN115239689A publication Critical patent/CN115239689A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及智能交通研究领域，公开了一种路面信息的检测、计算方法、检测系统、设备及计算机可读存储介质，本发明通过自建基于Mobile‑UNet模型的深度学习网络，其中mobilebneck结构仅有原MobileNet中bneck结构大小的一半，使用更小的卷积核代替了原有的bneck结构，可以有效降低计算的数据大小，提高运算速度，所提出的深度学习网络可以适用于多样的路面信息诊断分类，进一步的提出了基于像素点计算的路面信息计算方法可以实现快速路面问题响应，并且对于路面异常信息，只需要增设更多的标记分类即可进行扩展学习，可以满足日常中路面异常信息的诊断。

Description

一种路面信息的检测、计算方法、检测系统、设备及计算机可 读存储介质
技术领域
本发明涉及智能交通研究领域，特别涉及一种路面信息的检测、计算方法、检测系统、设备及计算机可读存储介质。
背景技术
路面异常是影响车辆安全行驶的重要因素，尤其是随着城市的不断发展，路面问题呈逐年上升的趋势，常见的路面异常有：路面裂纹、路面破碎、路面遗撒污染、路面占道等。
以路面裂纹、路面破碎为例，过量的交通荷载、复杂的交通组织和车辆行驶、多变的气候条件等因素会导致道路、尤其是沥青路面出现不同程度的损坏。其损坏类型和种类很多，不仅有裂缝类、松散类等二维类损坏，也有车辙、沉陷、拥包等三维类损坏。若不及时修复而继续通车，会加剧损坏程度、增加道路养护成本，缩短道路的使用寿命，影响行车的安全性和舒适性。因此，需要定期对沥青路面进行检测和评价，制定出有效的养护决策。
现有的检测方法主要是人工检测和多功能检测车检测。人工测量检测准确率高，但成本大、效率低，存在安全隐患，而且会影响正常交通。
发明内容
本发明的目的在于克服现有技术的不足，提供一种路面信息的检测、计算方法、检测系统、设备及计算机可读存储介质，通过自建基于Mobile-UNet模型的深度学习网络模型，可以适用于多样的路面信息诊断分类，并且提出的路面信息计算方法以实现快速路面问题响应。
本发明公开了一种路面信息的检测、计算方法，采用以下步骤：
S1、获取路面图像并进行预处理，得到预处理路面图像；
S2、将预处理路面图像随机将图像分配为训练集图像和测试集图像；
S3、构建用于图像分割的深度学习网络；
S4、将训练集图像带入所构建的深度学习网络进行模型训练；
S5、将训练后的深度学习网络应用于实际路面图像检测。
优选的，所述S1步骤中的预处理包括左右镜像翻转、归一化、将图像导入图像模型中的一种或多种。
优选的，所述S2步骤中所述训练集图像、测试集图像通过图像分割标注软件进行路面信息标注分类，获得真值掩码图像。
优选的，所述的深度学习网络是基于Mobile-UNet模型结构的自建模型结构，所述S3步骤中的“构建用于图像分割的深度学习网络”包括以下步骤：
S31、图像编码：通过mobile bneck结构进行有限次下采样，并依次等间距抽取若干次mobile bneck结构的输出作为特征图集；
S32、图像解码：将特征图集按照逆序逐层上采样，并与上一层特征图集进行特征融合；
S33、像素点分类：根据像素点的类别输出预测掩码图像，模型训练时，通过损失函数计算预测掩码和真实掩码的损失率，再通过优化算法对模型进行优化。
进一步的，所述的S33步骤中损失函数具体公式如下：
Figure BDA0003793023550000021
其中，yi,c表示样本i是否属于类别c，pi,c表示样本i属于类别c的预测概率，Maskc表示类别c的分割掩码集合，Predc类别c的预测集合，M表示像素点个数，N表示类别个数。
更进一步的，所述的S33步骤中优化算法为Adam算法，具体公式如下：
Figure BDA0003793023550000022
Figure BDA0003793023550000023
Figure BDA0003793023550000024
其中，Mom(1,t)表示梯度的一阶平滑值，Mom(2,t)表示梯度的二阶平滑值，w(t)表示权重，lr(t)表示学习率，α、β、∈为平滑参数，L表示梯度损失；
优化过程中学习率初始预设值为0.001。
优选的，所述S5步骤中的“将训练后的深度学习网络应用于实际路面图像检测”的具体方法为：
S51：设置取景摄像装置，确定摄像装置中心位置对应待摄路面尽头，记录摄像装置物理信息；
S52：拍摄获取待摄路面图像，根据摄像装置物理信息计算待摄路面长度；
S53：计算路面图像中任意像素点所占的面积；
S54：根据S33步骤中预测掩码计算出路面信息。
通过建立了路面信息的检测、计算方法，框架性的提出了路面信息诊断思路，并且基于该思路进一步的提出了适应于该检测方法的计算方法，通过以计算图像像素点所代表实际面积，可以简单的换算出预测掩码所代表的路面信息面积。
本发明还公开了一种路面信息检测系统，所述检测系统基于上述路面信息的检测、计算方法，具体包括：
路面检测端：通过架设固定或移动摄像装置，获取路面图片；
信息计算端：获取路面检测端拍摄路面图片，通过建立的深度学习网络对获取路面图片进行信息处理分析；
调度中心：获取信息计算端处理信息，进行路面信息情况通报。
依靠组件路面检测端，如固定的枪式探头、球型探头、路面监控探头；移动的车载摄像头等摄像装置，可以形成有效的路面检测覆盖，形成对一个区域，一个地区甚至更大范围的路面监控，通过云端的信息计算，可以实现快速的图像处理，并且将获得的图像信息通过调度中心进行分发通报相关路面管理单位，实现快速联动。
本发明还公开了一种设备，包括处理器和存储器；所述存储器用于存储计算机指令，所述处理器用于运行所述存储器存储的计算机指令，以实现上述的路面信息的检测、计算方法。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的路面信息的检测、计算方法。
本申请所述的路面信息的检测、计算方法，可以以软件的形式贮存在存储介质中用于计算机访问运行，同样亦可以制作成为独立的计算卡，形成独立的数据计算分析终端。
本发明具有以下有益效果：
1、本发明通过自建基于Mobile-UNet模型的深度学习网络模型，可以适用于多样的路面信息诊断分类，并且提出的基于像素点计算的路面信息计算方法以实现快速路面问题响应，该模型具有较好的扩展分析能力，后续可通过增加标注分类扩展路面异常信息检测类别，丰富路面检测使用场景。
2、本申请中所提出的自建深度学习网络模型，其中mobile bneck结构仅有原MobileNetV3中bneck结构大小的一半，使用更小的卷积核代替了原有的bneck结构，可以有效降低计算的数据大小，提高运算速度。
3、为了增加初期训练集图像和测试集图像的样本数量，通过预处理原始路面图像，进行图像左右镜像翻转、归一化、导入现有深度学习神经网络模型形成增殖类似图像，通过多种预处理操作的叠加，可以快速形成足量的模型训练样本。
附图说明
图1为Mobile-UNet模型的结构示意图。
图2为本发明实施例1中深度学习网络的结构示意图。
图3为本发明实施例2中路面信息-破碎原始图(a)和预测掩码图像(b)对比图。
图4为本发明实施例2中路面信息-裂纹原始图(a)和预测掩码图像(b)对比图。
图5为本发明实施例2中摄像装置安装示意图。
图6为本发明实施例2中路面信息计算示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
在详细说明根据本发明的实施例前，应该注意到的是，在下文中，术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
实施例1
本实施例公开了一种路面信息的检测、计算方法，采用以下步骤：
S1、获取路面图像并进行预处理，得到预处理路面图像；
S2、将预处理路面图像随机将图像分配为训练集图像和测试集图像；
S3、构建用于图像分割的深度学习网络；
S4、将训练集图像带入所构建的深度学习网络进行模型训练；
S5、将训练后的深度学习网络应用于实际路面图像检测。
其中，S1步骤中的预处理包括左右镜像翻转、归一化、将图像导入图像模型中的一种或多种，并且当选择多个预处理步骤时，多个预处理步骤之间可以以任意顺序组合。
图像的左右镜像翻转处理，所得到的图像为没有处理过的图像，图像信息特征没有经过任何的提取或遭受损失，获得的数据具有较高的可靠性。
图像的归一化处理，其设计的原意在于保留具有价值的差异的同时，减小甚至消除图像中不一致而进行的图像转换方法，以便于计算机自动分析处理，常见的方法有：min-max归一化、Z-score归一化等方法，
例如：Z-score归一化方法是基于原始数据的均值(mean)和标准差(standarddeviation)来进行数据的标准化，处理后的数据均值为0，方差为1，符合标准正态分布，具体公式如下：
Figure BDA0003793023550000051
其中，x表示原始数据，μ表示原始数据的平均值，σ表示原始数据的标准差，Xnormalization表示归一化后的数据。经过上述标准化处理，原始数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，即将数据统一映射到[0,1]区间上。
在本申请中归一化操作作为图像信息的一种处理方式，其作用在于增加图像样本，图像信息经过数据处理得到后的图像为均一化图像，相对于原始图像存在有信息上的差别，同样可以作为增殖图像进行后续训练。
将图像导入图像模型处理，根据图像模型的不同，例如图像信息提取模型或图像生成模型，可以分为图像信息提取优化后的图像和生成图像，其中经过图像信息提取模型如SIFT算法、SURF算法，或亦如本申请中所述的Mobile-UNet类型算法；其中图像生成模型如生成式对抗网络(GAN)等。
通过图像信息提取模型的处理，原图像的部分信息会有一定程度的损失或增强，但图像的整体结构不会发生变化，而采用图像生成模型如生成式对抗网络模型则是创造出全新的图像，该方法虽然容易生成出现背离现实意义的图像，但是同时可以极大的减少原始图像的拍摄。
其中，所述S2步骤中所述训练集图像、测试集图像通过图像分割标注软件进行路面信息标注分类，获得真值掩码图像。
其中，所述S3步骤中所述深度学习网络是基于Mobile-Unet网络架构，Mobile-UNet是一种充分结合MobileNet和UNet特点的新型轻量级深度神经网络，其中主干网络选用MobileNet轻量级网络，任务网络为常用的UNet网络。
Mobile-Unet网络架构，如图1所示，延续了UNet的U型结构，既能够通过编码器对各层输入图像进行4次下采样，实现各尺度的特征信息提取并保留目标的边缘细节；又能够在所对应的解码器上采样过程中还原特征图大小并借鉴skip连接实现低级与高级特征的融合。
另一方面，此模型利用了MobileNet的深度可分离卷积模块的结构特点，将深度卷积Depthwise与逐点的1×1卷积相结合，通过分别对图像各个通道先滤波再整合以极大程度地降低模型规模及计算量。并将该特征融入到UNet各上采样及下采样网络单元中，简化网络并提升模型的训练速度及精准度。
其中MobileNet网络的中间部分(bneck1—4)为多个含有可分离卷积层块(bneck)的网络结构，由多个3×3、5×5的卷积块组成，根据Unet编码部分位置采用不同深度的bneck模块来提取特征，通常位置越深，所需bneck模块量越多，提取到的抽象特征也越高级。
本申请所述的深度学习网络是基于Mobile-UNet模型结构的自建模型结构，其结构如图2所示，相对于现有的Mobile-UNet模型，本申请修改后的模型中mobile bneck结构仅有原MobileNet中bneck结构大小的一半，使用更小的卷积核代替了原有的bneck结构，可以有效降低计算的数据大小，提高运算速度。
首先，在左侧的MobileNet结构中采用了15个bneck模块，其中的第1、3、6、12和15个bneck块的输出作为UNet结构中对应的上采样操作的连接层。这样做的优势在于细化了MobileNet中下采样的图像感知粒度，对于裂纹等细粒度区域的分割具有更好的效果。
其次，对MobileNet结构采用了经过ImageNet大数据的预训练模型。这样做的优势在于有效对下采样过程进行了充分的参数学习，大大缓解了图像分割数据不足问题。
最后，优化后的结构适合于小规模数据集的学习，在采用了小规模的图像分割数据(869幅图像)对上采样过程进行学习后，学习效果超过经典的UNet结构。
其中，所述S3步骤中的“构建用于图像分割的深度学习网络”包括以下步骤：
S31、图像编码：通过mobile bneck结构进行有限次下采样，并依次等间距抽取若干次mobile bneck结构的输出作为特征图集；
S32、图像解码：将特征图集按照逆序逐层上采样，并与上一层特征图集进行特征融合；
S33、像素点分类：根据像素点的类别输出预测掩码图像，模型训练时，通过损失函数计算预测掩码和真实掩码的损失率，再通过优化算法对模型进行优化。
损失函数(Loss Function)是深度学习领域优化模型训练过程，评价训练效果是否优异的重要指标，它用来衡量模型的预测值和真实值之间的差异，通常情况下，损失函数越小，则表示预测的精度越高。常见的损失函数有平方损失函数、交叉熵函数等。
本申请中所述的S33步骤中损失函数如下：
Figure BDA0003793023550000061
其中，yi,c表示样本i是否属于类别c，pi,c表示样本i属于类别c的预测概率，Maskc表示类别c的分割掩码集合，Predc类别c的预测集合，M表示像素点个数，N表示类别个数。
本申请所设计的损失函数考虑了分割像素点的分类损失和分割的区域损失，有效在两者之间进行平衡。上述公式中左半部为分割像素点的分类损失，计算的是分类的交叉熵损失。上述公式右半部为分割的区域损失，计算的是预测的分割区域与实际分割区域的交集比率。该损失函数可有效提升图像分割的IOU指标。
更进一步的，所述的S33步骤中模型优化方式为采用Adam算法，优化算法的作用是在数据训练过程中最小化损失函数的过程，试图使损失函数最小化来求解模型参数的最优值，如前所述损失函数越小，精度越高，但是深度学习的训练过程通常需要相对较长的时间，因此选择一个合适的优化算法使得模型快速收敛，同时合适的优化算法能够避免模型陷入局部收敛的现象，这对于深度学习研究也是至关重要的。
Adam(Adaptive Moment Estimate)优化算法充分地将Momentum和RMSprop两种算法的优势结合起来进行损失函数的最小化，通常情况下使用Adam算法能够加快模型的收敛速度并且该优化算法计算效率很高，相对于其他优化器而言对内存的需求比较小，已经成为目前深度学习研究领域中应用最为广泛的优化算法，具体公式如下：
Figure BDA0003793023550000071
Figure BDA0003793023550000072
Figure BDA0003793023550000073
其中，Mom(1,t)表示梯度的一阶平滑值，Mom(2,t)表示梯度的二阶平滑值，w(t)表示权重，lr(t)表示学习率，α、β、∈为平滑参数，L表示梯度损失；
α为一阶矩估计的指数衰减率，常设为0.9；
β为二阶矩估计的指数衰减率，常设为0.99；
∈该参数是非常小的数，其为了防止在实现中除以零，常设为10E-8。
学习率(Learning Rate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。高学习速率意味着权重更新的动作更大，因此可能该模式将花费更少的时间收敛到最优权重。然而，学习速率过高会导致跳动过大，不够准确以致于达不到最优点。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。本实施例中优化过程中学习率初始预设值为0.001。
通过步骤S1-S3本申请所述的深度学习网络基本构成，可以投入路面信息检测、计算使用，其中，所述S5步骤中的“将训练后的深度学习网络应用于实际路面图像检测”的具体方法为：
S51：设置取景摄像装置，确定摄像装置中心位置对应待摄路面尽头，记录摄像装置物理信息；
S52：拍摄获取待摄路面图像，根据摄像装置物理信息计算待摄路面长度；
S53：计算路面图像中任意像素点所占的面积；
S54：根据S33步骤中预测掩码计算出路面信息。
其中，S51步骤中记录的摄像装置物理信息包括：摄像装置编号、摄像装置镜头信息、摄像装置安装高度、摄像装置镜头与垂直方向安装的夹角，后续拍摄形成的图片可以根据摄像装置物理信息进行图片命名编码，及制作相关的发送通联报文。
通过建立了路面信息的检测、计算方法，框架性的提出了路面信息诊断思路，并且基于该思路进一步的提出了适应于该检测方法的计算方法，通过以计算图像像素点所代表实际面积，可以简单的换算出预测掩码所代表的路面信息面积。
实施例2
本市实力在实施例1的基础上，针对路面信息：路面裂纹、路面破碎、路面遗撒污染、路面占道中的路面裂纹和路面破碎两种常见路面异常信息进行检测和计算。
为了进一步高效实施，本实施例中针对S3和S5步骤进行了进一步的优化确认。
其中S3步骤具体的实施方式为：
S31、图像编码：通过mobile bneck结构进行有限次下采样，并依次等间距抽取若干次mobile bneck结构的输出作为特征图集，具体的：
输入图像的大小为224×224的三通道图像，通过mobile bneck结构做15次下采样，取第1、3、6、12、15次mobile bneck结构的输出作为特征图f1、f2、f3、f4、f5；
S32、图像解码：将特征图集按照逆序逐层上采样，并与上一层特征图集进行特征融合，具体的：
将f5的输出结果做一个2×2的上采样，然后与f4的输出结果进行网络拼接，接着做3×3的卷积，形成输出o4；
将o4的输出结果做一个2×2的上采样，然后与f3的输出结果进行网络拼接，接着做3×3的卷积，形成输出o3；
将o3的输出结果做一个2×2的上采样，然后与f2的输出结果进行网络拼接，接着做3×3的卷积，形成输出o2；
将o2的输出结果做一个2×2的上采样，然后与f1的输出结果进行网络拼接，接着做3×3的卷积，形成输出o1；
S33、像素点分类：根据像素点的类别输出预测掩码图像，模型训练时，通过损失函数计算预测掩码和真实掩码的损失率，再通过优化算法对模型进行优化。
其中S5步骤具体的实施方式为：
S51：设置取景摄像装置，确定摄像装置中心位置对应待摄路面尽头，记录摄像装置物理信息，以巡检车安装的固定摄像头为例：
在巡检车辆hc高度上安装摄像头，使得摄像头中心位置对应路面尽头，并测量此时摄像头与垂直方向的夹角θ；
S52：拍摄获取待摄路面图像，根据摄像装置物理信息计算待摄路面长度，此时，路面的长度rl，计算公式如下：
rl＝hctanθ；
S53：计算路面图像中任意像素点x所占的面积sx，计算公式如下：
Figure BDA0003793023550000091
其中，rw表示路面的宽度，rl表示路面长度，Irw表示路面在图像最下方的所占像素点个数，Irl表示路面长度所占像素点个数，Ihx表示像素点x距离图像最下方的像素点个数；
S54：根据S33步骤中预测掩码计算出路面信息，路面裂纹或路面破碎的面积s，计算公式如下：
Figure BDA0003793023550000092
为了进一步验证本发明所述深度学习网络由于目前各种经典UNet网络模型，本实施例以1832张实际拍摄图像的乡村水泥路面裂纹和破碎图像作为数据集，数据集标注背景、裂纹、破碎三类信息。将其中1740张图像作为训练集，92张图像作为测试集。测试结果如表1所示：
项目 MeanIOU Averagerowcorrect
本申请中自建深度学习网络 63.1 70.5
UNet 56.1 61.7
ResUNet 56.4 60.7
VGG16-UNet 52.2 60.2
本实施例中采用的评价指标包括平均交并比(Mean Intersection over Union,MIoU)和平均行像素正确率(Average row correct)用于评价不同网络模型的预测掩码与真实掩码之间的平均交并比和逐行解析下的像素点判断正确率。
交并比表示的含义是模型对某一类别预测结果和真实值的交集与并集的比值。只不过对于目标检测而言是检测框和真实框之间的交并比，而对于图像分割而言是计算预测掩码和真实掩码之间的交并比。
交集为TP(预测的某标签部分，符合真值)，并集为TP、FP(预测中分割为某标签的部分，但是实际上并不是该标签所属的部分)、FN(预测中被预测为背景，但实际上并不是背景的部分)之和，那么IoU的计算公式如下：
IoU＝TP/(TP+FP+FN)；
平均交并比(mean IOU)简称mIOU，即预测区域和实际区域交集除以预测区域和实际区域的并集，这样计算得到的是单个类别下的IoU，然后重复此算法计算其它类别的IoU，再计算它们的平均数即可。
通过上述表格，可以清楚的发现，本申请所述深度学习网络在平均交并比(MeanIntersection over Union,MIoU)和平均行像素正确率(Average row correct)指标都更为优异，这是由于本申请所述深度学习网络在提取深层特征上优势更为明显。
为了进一步验证本实施例中所公开的技术方案于实际路面异常检测中的使用，分别从测试集中随机选取图像作为输入图片，如图3(a)、图4(a)所示，利用步骤3中训练好的深度学习网络对图像进行分类，输出分类后的图像，如图3(b)、图4(b)所示，通过对比可以发现，本申请所述深度学习网络在对于路面异常信息分类具有较高的准确率，对于路面异常面积检测上具有较好的重合度。
实施例3
本发明还公开了一种路面信息检测系统，所述检测系统基于上述实施例1、2的路面信息的检测、计算方法，具体包括：
路面检测端：通过架设固定或移动摄像装置，获取路面图片；
信息计算端：获取路面检测端拍摄路面图片，通过建立的深度学习网络对获取路面图片进行信息处理分析；
调度中心：获取信息计算端处理信息，进行路面信息情况通报。
依靠组件路面检测端，如固定的枪式探头、球型探头；移动的车载摄像头等摄像装置，可以形成有效的路面检测覆盖，形成对一个区域，一个地区甚至更大范围的路面监控，通过云端的信息计算，可以实现快速的图像处理，并且将获得的图像信息通过调度中心进行分发通报相关路面管理单位，实现快速联动，并且获得路面异常信息，如裂纹面积、破碎面积、遗撒面积可以进一步作为联动数据，做为维修或处罚时的初步数据依据。
并且对于路面异常信息，只需要增设更多的标记分类即可进行扩展学习，可以满足日常中路面异常信息的诊断。
实施例4
本发明还公开了一种设备，包括处理器和存储器；所述存储器用于存储计算机指令，所述处理器用于运行所述存储器存储的计算机指令，以实现上述实施例1、2的路面信息的检测、计算方法。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例1、2的路面信息的检测、计算方法。
本申请所述的路面信息的检测、计算方法，可以以软件的形式贮存在存储介质中用于计算机访问运行，同样亦可以制作成为独立的计算卡，形成独立的数据计算分析终端。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明的各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种路面信息的检测、计算方法，其特征在于，采用以下步骤：
S1、获取路面图像并进行预处理，得到预处理路面图像；
S2、将预处理路面图像随机将图像分配为训练集图像和测试集图像；
S3、构建用于图像分割的深度学习网络；
S4、将训练集图像带入所构建的深度学习网络进行模型训练；
S5、将训练后的深度学习网络应用于实际路面图像检测。
2.如权利要求1所述的一种路面信息的检测、计算方法，其特征在于，所述S1步骤中的预处理包括左右镜像翻转、归一化、将图像导入图像模型中的一种或多种。
3.如权利要求1所述的一种路面信息的检测、计算方法，其特征在于，所述S2步骤中所述训练集图像、测试集图像通过图像分割标注软件进行路面信息标注分类，获得真值掩码图像。
4.如权利要求1所述的一种路面信息的检测、计算方法，其特征在于，所述的深度学习网络是基于Mobile-UNet模型结构的自建模型结构，所述S3步骤中的“构建用于图像分割的深度学习网络”包括以下步骤：
S31、图像编码：通过mobile bneck结构进行有限次下采样，并依次等间距抽取若干次mobile bneck结构的输出作为特征图集；
S32、图像解码：将特征图集按照逆序逐层上采样，并与上一层特征图集进行特征融合；
S33、像素点分类：根据像素点的类别输出预测掩码图像，模型训练时，通过损失函数计算预测掩码和真实掩码的损失率，再通过优化算法对模型进行优化。
5.如权利要求4所述的一种路面信息的检测、计算方法，其特征在于，所述的S33步骤中损失函数如下：
Figure FDA0003793023540000011
其中，yi,c表示样本i是否属于类别c，pi,c表示样本i属于类别c的预测概率，Maskc表示类别c的分割掩码集合，Predc类别c的预测集合，M表示像素点个数，N表示类别个数。
6.如权利要求5所述的一种路面信息的检测、计算方法，其特征在于，所述的S33步骤中优化算法为Adam算法，具体公式如下：
Figure FDA0003793023540000012
Figure FDA0003793023540000021
Figure FDA0003793023540000022
其中Mom(1,t)表示梯度的一阶平滑值，Mom(2,t)表示梯度的二阶平滑值，w(t)表示权重，lr(t)表示学习率，α、β、∈为平滑参数，L表示梯度损失；
优化过程中学习率初始预设值为0.001。
7.如权利要求4所述的一种路面信息的检测、计算方法，其特征在于，所述S5步骤中的“将训练后的深度学习网络应用于实际路面图像检测”的具体方法为：
S51：设置取景摄像装置，确定摄像装置中心位置对应待摄路面尽头，记录摄像装置物理信息；
S52：拍摄获取待摄路面图像，根据摄像装置物理信息计算待摄路面长度；
S53：计算路面图像中任意像素点所占的面积；
S54：根据S33步骤中预测掩码计算出路面信息。
8.一种路面信息检测系统，其特征在于，所述检测系统基于权利要求1-7任一所述路面信息的检测、计算方法，具体包括：
路面检测端：通过架设固定或移动摄像装置，获取路面图片；
信息计算端：获取路面检测端拍摄路面图片，通过建立的深度学习网络对获取路面图片进行信息处理分析；
调度中心：获取信息计算端处理信息，进行路面信息情况通报。
9.一种设备，其特征在于，包括处理器和存储器；所述存储器用于存储计算机指令，所述处理器用于运行所述存储器存储的计算机指令，以实现权利要求1-7任一项所述的路面信息的检测、计算方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1-7任一项所述的路面信息的检测、计算方法。
CN202210961004.0A 2022-08-11 2022-08-11 一种路面信息的检测、计算方法、检测系统、设备及计算机可读存储介质 Pending CN115239689A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210961004.0A CN115239689A (zh) 2022-08-11 2022-08-11 一种路面信息的检测、计算方法、检测系统、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210961004.0A CN115239689A (zh) 2022-08-11 2022-08-11 一种路面信息的检测、计算方法、检测系统、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115239689A true CN115239689A (zh) 2022-10-25

Family

ID=83678498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210961004.0A Pending CN115239689A (zh) 2022-08-11 2022-08-11 一种路面信息的检测、计算方法、检测系统、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115239689A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218170A (zh) * 2023-11-09 2023-12-12 中国科学院空天信息创新研究院 基于联合任务约束的遥感基础模型的图像处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218170A (zh) * 2023-11-09 2023-12-12 中国科学院空天信息创新研究院 基于联合任务约束的遥感基础模型的图像处理方法及装置
CN117218170B (zh) * 2023-11-09 2024-03-01 中国科学院空天信息创新研究院 基于联合任务约束的遥感基础模型的图像处理方法及装置

Similar Documents

Publication Publication Date Title
Tan et al. Automatic detection of sewer defects based on improved you only look once algorithm
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
Naddaf-Sh et al. Real‐Time Road Crack Mapping Using an Optimized Convolutional Neural Network
EP3899508A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
CN111626277B (zh) 一种基于治超站交调指标分析的车辆跟踪方法及装置
CN110781885A (zh) 基于图像处理的文本检测方法、装置、介质及电子设备
CN113362285A (zh) 一种钢轨表面伤损细粒度图像分类与检测方法
Chatterjee et al. Intelligent Road Maintenance: a Machine Learning Approach for surface Defect Detection.
CN112749654A (zh) 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
US20230306573A1 (en) Systems and methods for assessing infrastructure
CN117094914A (zh) 基于计算机视觉的智慧城市道路监控系统
CN114723709A (zh) 隧道病害检测方法、装置和电子设备
CN113628164A (zh) 一种基于深度学习与web端定位的路面裂缝检测方法
CN104574381A (zh) 一种基于局部二值模式的全参考图像质量评价方法
CN115239689A (zh) 一种路面信息的检测、计算方法、检测系统、设备及计算机可读存储介质
CN115691049A (zh) 一种基于深度学习的对流初生预警方法
Lam et al. Real-time traffic status detection from on-line images using generic object detection system with deep learning
CN117422699A (zh) 公路检测方法、装置、计算机设备及存储介质
Guan et al. Multi-scale asphalt pavement deformation detection and measurement based on machine learning of full field-of-view digital surface data
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN116432095A (zh) 道路病害预测方法、装置、电子设备及存储介质
CN112232102A (zh) 一种基于深度神经网络和多任务学习的建筑物目标识别方法和系统
CN115830514A (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN115496716A (zh) 基于深度学习的单双微核细胞图像检测方法及相关设备
CN114219073A (zh) 属性信息的确定方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination