CN114399735A - 一种城市道路问题井盖巡查方法和系统 - Google Patents

一种城市道路问题井盖巡查方法和系统 Download PDF

Info

Publication number
CN114399735A
CN114399735A CN202210145743.2A CN202210145743A CN114399735A CN 114399735 A CN114399735 A CN 114399735A CN 202210145743 A CN202210145743 A CN 202210145743A CN 114399735 A CN114399735 A CN 114399735A
Authority
CN
China
Prior art keywords
well lid
neural network
frame
image
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210145743.2A
Other languages
English (en)
Inventor
张晓明
洪钢
钟盛
杨康
杜佳奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tongluyun Transportation Technology Co ltd
Original Assignee
Shanghai Tongluyun Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tongluyun Transportation Technology Co ltd filed Critical Shanghai Tongluyun Transportation Technology Co ltd
Priority to CN202210145743.2A priority Critical patent/CN114399735A/zh
Publication of CN114399735A publication Critical patent/CN114399735A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D29/00—Independent underground or underwater structures; Retaining walls
    • E02D29/12—Manhole shafts; Other inspection or access chambers; Accessories therefor
    • E02D29/14—Covers for manholes or the like; Frames for covers
    • E02D29/1481—Security devices, e.g. indicating unauthorised opening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Paleontology (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及道路工程领域，具体公开了一种城市道路问题井盖巡查方法和系统，所述方法包括根据预设的图像采集频率采集路面图像，对所述路面图像进行神经网络图像识别，判断是否识别到井盖；当识别到井盖时，记录井盖边框的位置数据和病害边框的位置数据；基于所述井盖边框在所述路面图像中拷贝相应内容，并将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖和路面是否存在缺陷。本发明提供了一种快速的检测手段，高频次地对井盖进行快速筛查，及时发现、处置问题井盖，可以实现问题井盖数量明显减少，降低养护费用，提高道路的行车舒适性、安全性。

Description

一种城市道路问题井盖巡查方法和系统
技术领域
本发明涉及道路工程领域，具体是一种城市道路问题井盖巡查方法和系统。
背景技术
井盖是城市道路上常见的附属设施,设置在竖井上，直接承受车轮荷载的反复冲击作用，而且长期暴露在大自然中,所处的环境比较恶劣，井盖容易发生盖面破损或因沉降与路面产生高差，影响行车的舒适性，而车轮碾压过有高差的井盖，会产生冲击荷载，让高差处产生应力集中，容易让井盖周围出现破损甚至是明显的缺损，影响行车安全。
目前问题井盖的检测，基本依赖于年度的专项检测，由人工徒步观测，执行效率低，且无法及时发现问题井盖，巡查机动车道井盖时，巡查人员容易受到周围车辆的影响，安全性较低。
发明内容
本发明的目的在于提供一种城市道路问题井盖巡查方法和系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种城市道路问题井盖巡查方法，所述方法包括：
根据预设的图像采集频率采集路面图像，对所述路面图像进行神经网络图像识别，判断是否识别到井盖；当识别到井盖时，记录井盖边框的位置数据和病害边框的位置数据；
基于所述井盖边框在所述路面图像中拷贝相应内容，并将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型；其中，所述缺陷的类型包括高度差和盖面破损；
根据所述井盖边框的位置数据和所述病害边框的位置数据确定位置关系，根据所述位置关系判断井盖外侧区域的路面中是否存在缺陷；
将判断结果存储至本地并上传至云端。
作为本发明进一步的方案，所述图像采集频率的调整步骤包括：
实时获取车辆的速度，根据所述速度动态调整所述图像采集频率。
作为本发明进一步的方案，所述图像采集频率的调整步骤包括：
连接安装在车轮上的旋转编码器，通过旋转编码器获取车辆的前进距离，当所述前进距离达到预设的距离阈值时，生成图像采集指令。
作为本发明进一步的方案，所述对所述路面图像进行神经网络图像识别包括：
基于目标检测神经网络算法识别路面图像中的井盖、裂缝、网状裂缝和坑槽；
基于分类神经网络算法对井盖的不同状态进行分类。
作为本发明进一步的方案，经过目标检测神经网络算法处理后的数据包括：
路面图像；
识别后的井盖在图像上识别框的像素点坐标；
道路病害在图像上识别框的像素点坐标；其中，路面图像中预设原点，坐标的单位为像素点。
作为本发明进一步的方案，所述将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型包括：
读取井盖边框的位置数据，基于所述井盖边框的位置数据对路面图像的井盖区域进行放大，拷贝放大后的井盖区域；
对拷贝放大后的井盖区域进行预处理，将预处理后的井盖区域输入训练好的高差分类神经网络模型，判断井盖是否有高差，当井盖有高差时，判断该井盖为问题井盖；
将预处理后的井盖区域输入训练好的井盖破损分类神经网络模型，判断井盖是否有破损，当井盖有破损时，判断该井盖为问题井盖；
读取同一路面图像中井盖边框的位置数据和病害边框的位置数据，计算交并比；当所述交并比达到预设的交并比阈值时，将该井盖标记为问题井盖。
作为本发明进一步的方案，述将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型的步骤还包括：
将井盖区域输入训练好的防沉降井盖分类神经网络模型和井盖权属分类神经网络模型，根据模型的分类结果对井盖进行井盖权属单位和井盖防沉降类型标记。
本发明技术方案还提供了一种城市道路问题井盖巡查系统，所述系统包括：
车载相机，用于根据预设的图像采集频率采集路面图像，将采集到的路面图像向中央工控机发送；
工控机，所述工控机包括：
图像识别模块，用于根据预设的图像采集频率采集路面图像，对所述路面图像进行神经网络图像识别，判断是否识别到井盖；当识别到井盖时，记录井盖边框的位置数据和病害边框的位置数据；
井盖缺陷识别模块，用于基于所述井盖边框在所述路面图像中拷贝相应内容，并将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型；其中，所述缺陷的类型包括高度差和盖面破损；
路面缺陷识别模块，用于根据所述井盖边框的位置数据和所述病害边框的位置数据确定位置关系，根据所述位置关系判断井盖外侧区域的路面中是否存在缺陷；
结果保存模块，用于将判断结果存储至本地并上传至云端。
作为本发明进一步的方案：所述中央工控机安装于车内，车载供电，中央工控机中有4G/5G移动互联网模块，有高精度定位模块，有相应的采集软件，给车载相机发送指令采集图像。
作为本发明进一步的方案：所述中央工控机还包括GPU处理模块，基于预安装于所述GPU处理单元的神经网络程序完成预测加速步骤。
与现有技术相比，本发明的有益效果是：本发明提供了一种快速的检测手段，高频次地对井盖进行快速筛查，及时发现、处置问题井盖，可以实现问题井盖数量明显减少，降低养护费用，提高道路的行车舒适性、安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为城市道路问题井盖巡查方法的第一流程框图。
图2为城市道路问题井盖巡查方法的子流程框图。
图3为城市道路问题井盖巡查方法的第二流程框图。
图4为城市道路问题井盖巡查系统的组成示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在井盖的一般的日常巡查中，巡查方式主要依靠人工观测，巡查人员乘坐巡查车辆对道路井盖进行一一排查，巡查时车速较快，巡查人员无法观测清楚井盖状态，也不方便确认井盖权属，因此，测量速度慢，效率低，为了保障测量人员的安全，测量作业时可能需要封闭或半封闭交通，影响道路通行，且徒步测量的频次低，无法及时发现问题井盖。此外，由于徒步测量依赖较多的人工，测量的成本较高，无法实现大范围、高频次的检测。在偏远地区以及很多低等级道路，道路井盖的检测常常被忽略，在环境及冲击荷载的作用下，井盖容易产生损坏。
实施例1
图1为城市道路问题井盖巡查方法的第一流程框图，本发明实施例中，一种城市道路问题井盖巡查方法，所述方法包括：
步骤S100：根据预设的图像采集频率采集路面图像，对所述路面图像进行神经网络图像识别，判断是否识别到井盖；当识别到井盖时，记录井盖边框的位置数据和病害边框的位置数据；
所述图像采集频率是预设值，但不是固定值，对采集到的路面图像进行神经网络图像识别，其目的是识别路面图像中是否有井盖，需要说明的是，一般情况下，路面图像中包含完整的井盖时，才将相应的路面图像标记为存在井盖的路面图像。
步骤S200：基于所述井盖边框在所述路面图像中拷贝相应内容，并将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型；其中，所述缺陷的类型包括高度差和盖面破损；
步骤S300：根据所述井盖边框的位置数据和所述病害边框的位置数据确定位置关系，根据所述位置关系判断井盖外侧区域的路面中是否存在缺陷；
步骤S200和步骤S300是缺陷检测过程，检测的缺陷有两种，一种是井盖缺陷，另一种是路面缺陷，这两者均借助训练好的模型进行识别；其中，输入的数据是所述井盖边框的位置数据和所述病害边框的位置数据对应的部分路面图像。
步骤S400：将判断结果存储至本地并上传至云端。
步骤S400是数据保存过程，所述判断结果是输出，相应的，保存过程还包括输入，也就是所述井盖边框的位置数据和所述病害边框的位置数据对应的部分路面图像。
在本发明技术方案的一个实例中，当识别到一个井盖时，使用高差分类网络，发现井盖有严重高差，然后使用井盖破损分类网络，发现井盖没有破损，并且井盖周围也没有出现病害，那么依旧将该井盖判断为问题井盖；将该井盖判定为问题井盖后，使用权属分类网络，判断该井盖的权属，进一步的，使用防沉降分类网络，判断该井盖是否为防沉降井盖。
当上述识别过程完成后，将井盖的图片数据、采集的经纬度数据，井盖高差分类结果、井盖破损分类结果、井盖周围是否破损、井盖权属、井盖是否为防沉降井盖、车辆速度、经纬度、方位角、采集时间等数据进行记录、上传到云端。
进一步的，所述图像采集频率的调整步骤包括：
实时获取车辆的速度，根据所述速度动态调整所述图像采集频率。
具体的，所述图像采集频率的调整步骤包括：
连接安装在车轮上的旋转编码器，通过旋转编码器获取车辆的前进距离，当所述前进距离达到预设的距离阈值时，生成图像采集指令。
所述对所述路面图像进行神经网络图像识别包括：
基于目标检测神经网络算法识别路面图像中的井盖、裂缝、网状裂缝和坑槽；
基于分类神经网络算法对井盖的不同状态进行分类。
图像采集频次调整有2种形式：一是采集软件通过定位模块，获取车辆的实时车速，并根据车速的大小动态调整图像采集的频次；二是中央工控机连接安装在车轮上的旋转编码器，车辆前进过程中每前进一定距离，旋转编码器给车载相机发送指令采集图像。
目标检测神经网络算法的识别准确率大于90%,能对井盖、裂缝、网状裂缝、坑槽进行有效的识别。
分类神经网络算法的分类准确率大于90%，对井盖的不同状态进行二分类或多分类工作。
作为本发明技术方案的一个优选实施例，经过目标检测神经网络算法处理后的数据包括：
路面图像；
识别后的井盖在图像上识别框的像素点坐标；
道路病害在图像上识别框的像素点坐标；其中，路面图像中预设原点，坐标的单位为像素点。
经过目标检测神经网络算法处理后的数据为：采集的原始图片，采集图片的时间ti，采集的经度lon，纬度lat，识别后的井盖在图像上识别框的像素点坐标bbox1[xa1,ya1,xa2,ya2]，道路病害在图像上识别框的像素点坐标bbox2[xb1,yb1,xb2,yb2]，其中原始图像以左上角为(0,0)原点，单位为像素点。bbox1中(xa1,ya1)为井盖部分左上角在原始图像上的像素坐标，(xa2,ya2)为井盖部分右下角的像素坐标；bbox1中(xb1,yb1)为井盖部分左上角在原始图像上的像素坐标，(xb2,yb2)为井盖部分右下角的像素坐标；其中，xb为图像中病害部分。
图2为城市道路问题井盖巡查方法的子流程框图，所述将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型包括：
步骤S301：读取井盖边框的位置数据，基于所述井盖边框的位置数据对路面图像的井盖区域进行放大，拷贝放大后的井盖区域；
步骤S302：对拷贝放大后的井盖区域进行预处理，将预处理后的井盖区域输入训练好的高差分类神经网络模型，判断井盖是否有高差，当井盖有高差时，判断该井盖为问题井盖；
步骤S303：将预处理后的井盖区域输入训练好的井盖破损分类神经网络模型，判断井盖是否有破损，当井盖有破损时，判断该井盖为问题井盖；
步骤S304：读取同一路面图像中井盖边框的位置数据和病害边框的位置数据，计算交并比；当所述交并比达到预设的交并比阈值时，将该井盖标记为问题井盖。
对问题井盖的分析方法为：读取采集的原始图片和该图片上的井盖识别框bbox1,利用bbox1对原始图片的井盖区域进行放大后切图，提取出井盖图片后进行图像数据的预处理，随后同时将预处理后的图片分别放入井（盖）框差井盖分类神经网络算法、井盖破损分类神经网络算法；读取同一张图片上的井盖识别框bbox1和病害识别框bbox2，首先对图片使用交并比IOU（
Figure 543530DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE002
,area代表该识别框bbox在原始图片上的对应的像素点）对每一个bbox1和bbox2进行遍历，当判断井盖识别框和病害识别框交并比IOU大于0.5时，则认为该病害与井盖临近，该井盖为周围破损井盖；分析为问题井盖后，可以为井盖打上病害类型的标签。
进一步的，所述将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型的步骤还包括：
将井盖区域输入训练好的防沉降井盖分类神经网络模型和井盖权属分类神经网络模型，根据模型的分类结果对井盖进行井盖权属单位和井盖防沉降类型标记。
问题井盖的信息分析过程为：确认井盖为问题井盖后再采用防沉降井盖分类神经网络算法以及井盖权属分类神经网络算法，根据模型的分类结果给井盖标记井盖权属单位和井盖防沉降类型。
为了使得本领域技术人员能够更好的理解本发明技术方案，图3示出了城市道路问题井盖巡查方法的第二流程框图，对上述方法进行了总结，如下：
（1）系统启动后，车辆在前进的过程中，相机采集图像，中央工控机中的深度卷积神经网络分析采集的图像，判断图像中是否有井盖；
（2）如果识别到图像中存在井盖，则记录井盖的边框bbox1和病害的边框bbox2；
（3）利用bbox1对图片抠图后由深度学习分类神经网络判断是否有高差或盖面破损，同时利用bbox1和bbox2的位置关系分析周围是否出现路面破损，若为问题井盖则再用分类神经网络确定井盖的权属和是否为防沉降井盖；
（4）系统将该井盖相关的信息记录到本地，并上传至云端系统。
实施例2
图4为城市道路问题井盖巡查系统的组成示意图，在本发明实施例中，提供了一种城市道路问题井盖巡查系统，所述系统包括：
车载相机，用于根据预设的图像采集频率采集路面图像，将采集到的路面图像向中央工控机发送；
工控机，所述工控机包括：
图像识别模块，用于根据预设的图像采集频率采集路面图像，对所述路面图像进行神经网络图像识别，判断是否识别到井盖；当识别到井盖时，记录井盖边框的位置数据和病害边框的位置数据；
井盖缺陷识别模块，用于基于所述井盖边框在所述路面图像中拷贝相应内容，并将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型；其中，所述缺陷的类型包括高度差和盖面破损；
路面缺陷识别模块，用于根据所述井盖边框的位置数据和所述病害边框的位置数据确定位置关系，根据所述位置关系判断井盖外侧区域的路面中是否存在缺陷；
结果保存模块，用于将判断结果存储至本地并上传至云端。
进一步的，所述中央工控机安装于车内，车载供电，中央工控机中有4G/5G移动互联网模块，有高精度定位模块，有相应的采集软件，给车载相机发送指令采集图像。
具体的，所述中央工控机还包括GPU处理模块，基于预安装于所述GPU处理单元的神经网络程序完成预测加速步骤。
在本发明技术方案的一个实例中，在车辆上安装车载相机、中央工控机等设备，其中，中央工控机通过车载供电，车载相机与中央工控机连接，由中央工控机发送图像采集指令。
车载相机通过中央工控机供电，或通过车载供电，相机像素至少为200万像素，在车辆运动过程中画质清晰，安装于车外，可用于采集路面图像，采集的图像可清楚分辨道路井盖。图像采集频率可以随着车速调整，或者受中央工控机触发的采集信号控制。
中央工控机安装于车内，车载供电，中央工控机中有4G/5G移动互联网模块，有高精度定位模块，有相应的采集软件，给车载相机发送指令采集图像。
中央工控机内，可以包含有GPU处理单元，神经网络程序可借助GPU处理单元实现预测加速。
本专利提到的方法和系统，利用图像分析，可以实现快速、准确、实时感知病害井盖。在日常巡查中，巡查车辆只需要启动系统，在较高车速行驶的条件下，即可对所路过的井盖进行评估。
在执行效率上，相较于现有的日常巡查及徒步检测方法，本专利提到的方法和系统，井盖病害的评估效果更客观，在日常巡查中即可快速完成井盖病害评估，可及时发现井盖的高差、破损问题，帮助养护单位尽早发现有问题的井盖。依托高频次的巡查及高精度定位，可对问题井盖进行长期的跟踪，评估井盖维修后是否再次发生问题，方便维修人员评估井盖维修措施是否合理。此外，本专利提到的系统无需人员进行专项操作，巡查员只需专注于驾驶即可，相较于人工徒步巡查，规避了巡查人员的安全风险。
在经济效益上，本专利提到的方法和系统主要依赖于智能化算法和轻量化传感设备，大大提高巡查频次的同时，在现有日常巡查的基础上投入设备费用，即可对问题井盖进行评估，可免去专项检测的相关费用。
社会效益上，本专利提到的方法和系统可让维修人员快速、及时定位可能要出现问题井盖，提高行车安全；同时维修人员可尽早发现可能有问题的井盖，在井盖出现明显的问题之前就对井盖进行修复，避免围封交通式维修，保障道路的通行能力。
所述城市道路问题井盖巡查方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述城市道路问题井盖巡查方法的功能。
处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器（Read-Only Memory，ROM），所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据（比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card， SMC），安全数字（Secure Digital， SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、电载波信号、电信信号以及软件分发介质等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种城市道路问题井盖巡查方法，其特征在于，所述方法包括：
根据预设的图像采集频率采集路面图像，对所述路面图像进行神经网络图像识别，判断是否识别到井盖；当识别到井盖时，记录井盖边框的位置数据和病害边框的位置数据；
基于所述井盖边框在所述路面图像中拷贝相应内容，并将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型；其中，所述缺陷的类型包括高度差和盖面破损；
根据所述井盖边框的位置数据和所述病害边框的位置数据确定位置关系，根据所述位置关系判断井盖外侧区域的路面中是否存在缺陷；
将判断结果存储至本地并上传至云端。
2.根据权利要求1所述的城市道路问题井盖巡查方法，其特征在于，所述图像采集频率的调整步骤包括：
实时获取车辆的速度，根据所述速度动态调整所述图像采集频率。
3.根据权利要求1所述的城市道路问题井盖巡查方法，其特征在于，所述图像采集频率的调整步骤包括：
连接安装在车轮上的旋转编码器，通过旋转编码器获取车辆的前进距离，当所述前进距离达到预设的距离阈值时，生成图像采集指令。
4.根据权利要求1所述的城市道路问题井盖巡查方法，其特征在于，所述对所述路面图像进行神经网络图像识别包括：
基于目标检测神经网络算法识别路面图像中的井盖、裂缝、网状裂缝和坑槽；
基于分类神经网络算法对井盖的不同状态进行分类。
5.根据权利要求4所述的城市道路问题井盖巡查方法，其特征在于，经过目标检测神经网络算法处理后的数据包括：
路面图像；
识别后的井盖在图像上识别框的像素点坐标；
道路病害在图像上识别框的像素点坐标；其中，路面图像中预设原点，坐标的单位为像素点。
6.根据权利要求1所述的城市道路问题井盖巡查方法，其特征在于，所述将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型包括：
读取井盖边框的位置数据，基于所述井盖边框的位置数据对路面图像的井盖区域进行放大，拷贝放大后的井盖区域；
对拷贝放大后的井盖区域进行预处理，将预处理后的井盖区域输入训练好的高差分类神经网络模型，判断井盖是否有高差，当井盖有高差时，判断该井盖为问题井盖；
将预处理后的井盖区域输入训练好的井盖破损分类神经网络模型，判断井盖是否有破损，当井盖有破损时，判断该井盖为问题井盖；
读取同一路面图像中井盖边框的位置数据和病害边框的位置数据，计算交并比；当所述交并比达到预设的交并比阈值时，将该井盖标记为问题井盖。
7.根据权利要求6所述的城市道路问题井盖巡查方法，其特征在于，所述将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型的步骤还包括：
将井盖区域输入训练好的防沉降井盖分类神经网络模型和井盖权属分类神经网络模型，根据模型的分类结果对井盖进行井盖权属单位和井盖防沉降类型标记。
8.一种城市道路问题井盖巡查系统，其特征在于，所述系统包括：
车载相机，用于根据预设的图像采集频率采集路面图像，将采集到的路面图像向中央工控机发送；
工控机，所述工控机包括：
图像识别模块，用于根据预设的图像采集频率采集路面图像，对所述路面图像进行神经网络图像识别，判断是否识别到井盖；当识别到井盖时，记录井盖边框的位置数据和病害边框的位置数据；
井盖缺陷识别模块，用于基于所述井盖边框在所述路面图像中拷贝相应内容，并将拷贝的内容输入训练好的深度学习分类神经网络模型中，判断井盖的缺陷类型；其中，所述缺陷的类型包括高度差和盖面破损；
路面缺陷识别模块，用于根据所述井盖边框的位置数据和所述病害边框的位置数据确定位置关系，根据所述位置关系判断井盖外侧区域的路面中是否存在缺陷；
结果保存模块，用于将判断结果存储至本地并上传至云端。
9.根据权利要求8所述的城市道路问题井盖巡查系统，其特征在于，所述中央工控机安装于车内，车载供电，中央工控机中有4G/5G移动互联网模块，有高精度定位模块，有相应的采集软件，给车载相机发送指令采集图像。
10.根据权利要求8或9所述的城市道路问题井盖巡查系统，其特征在于，所述中央工控机还包括GPU处理模块，基于预安装于所述GPU处理单元的神经网络程序完成预测加速步骤。
CN202210145743.2A 2022-02-17 2022-02-17 一种城市道路问题井盖巡查方法和系统 Pending CN114399735A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210145743.2A CN114399735A (zh) 2022-02-17 2022-02-17 一种城市道路问题井盖巡查方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210145743.2A CN114399735A (zh) 2022-02-17 2022-02-17 一种城市道路问题井盖巡查方法和系统

Publications (1)

Publication Number Publication Date
CN114399735A true CN114399735A (zh) 2022-04-26

Family

ID=81233919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210145743.2A Pending CN114399735A (zh) 2022-02-17 2022-02-17 一种城市道路问题井盖巡查方法和系统

Country Status (1)

Country Link
CN (1) CN114399735A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114935776A (zh) * 2022-07-26 2022-08-23 广东省有色工业建筑质量检测站有限公司 一种道路检查井井盖的监测分析系统及监测分析方法
CN117350985A (zh) * 2023-10-24 2024-01-05 云途信息科技(杭州)有限公司 井盖病害检测方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114935776A (zh) * 2022-07-26 2022-08-23 广东省有色工业建筑质量检测站有限公司 一种道路检查井井盖的监测分析系统及监测分析方法
CN117350985A (zh) * 2023-10-24 2024-01-05 云途信息科技(杭州)有限公司 井盖病害检测方法、装置、计算机设备及存储介质
CN117350985B (zh) * 2023-10-24 2024-04-19 云途信息科技(杭州)有限公司 井盖病害检测方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
Wu et al. Road pothole extraction and safety evaluation by integration of point cloud and images derived from mobile mapping sensors
Cao et al. Survey on performance of deep learning models for detecting road damages using multiple dashcam image resources
Arya et al. Deep learning-based road damage detection and classification for multiple countries
Zhu et al. Pavement distress detection using convolutional neural networks with images captured via UAV
Radopoulou et al. Patch detection for pavement assessment
Guo et al. Pavement crack detection based on transformer network
Gao et al. Detection and segmentation of cement concrete pavement pothole based on image processing technology
CN114399735A (zh) 一种城市道路问题井盖巡查方法和系统
CN114565895B (zh) 一种基于智慧社会的安防监控系统及方法
Chen et al. A potential crack region method to detect crack using image processing of multiple thresholding
Mathavan et al. Detection of pavement cracks using tiled fuzzy Hough transform
CN115876799A (zh) 一种面向高等级公路综合巡查的边缘计算方法及系统
Chen Road vehicle recognition algorithm in safety assistant driving based on artificial intelligence
Kaushik et al. Pothole Detection System: A Review of Different Methods Used for Detection
Ranyal et al. Enhancing pavement health assessment: An attention-based approach for accurate crack detection, measurement, and mapping
Álvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control
Park et al. Patch-based crack detection in black box road images using deep learning
US8116524B2 (en) Method of object detection
Ibrahim et al. Smart monitoring of road pavement deformations from UAV images by using machine learning
CN114693722B (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
Danilescu et al. Road anomalies detection using basic morphological algorithms
CN113553953B (zh) 车辆抛物检测方法、装置、电子装置及可读存储介质
Dragaš et al. Development and Implementation of Lane Departure Warning System on ADAS Alpha Board
CN113869407A (zh) 一种基于单目视觉的车长测量方法和装置
CN114926724A (zh) 数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination