CN112800911B - 一种路面损伤快速检测及自然数据集构建方法 - Google Patents

一种路面损伤快速检测及自然数据集构建方法 Download PDF

Info

Publication number
CN112800911B
CN112800911B CN202110073970.4A CN202110073970A CN112800911B CN 112800911 B CN112800911 B CN 112800911B CN 202110073970 A CN202110073970 A CN 202110073970A CN 112800911 B CN112800911 B CN 112800911B
Authority
CN
China
Prior art keywords
image
damage
road surface
road
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110073970.4A
Other languages
English (en)
Other versions
CN112800911A (zh
Inventor
杜豫川
潘宁
吴荻非
刘成龙
刘浩
蒋盛川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110073970.4A priority Critical patent/CN112800911B/zh
Publication of CN112800911A publication Critical patent/CN112800911A/zh
Application granted granted Critical
Publication of CN112800911B publication Critical patent/CN112800911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种路面损伤快速检测及自然数据集构建方法,根据车载图像采集设备,采集路面图像,基于路面图像进行端到端路面损伤检测模型训练,确定图像道路类型判断模型和路面损伤检测模型;获取采集状态下的车速动态截取待测图像,将其输入图像道路类型判断模型和路面损伤检测模型,获取损伤检测结果,同时明确图像对应的空间位置标签及图像对应的时间标签;将损伤检测结果、图像对应的空间位置标签、时间标签存储至车载本地终端的数据库中,并上传至数据中心,数据中心根据时间戳和空间位置信息构建时空完备的自然数据集。与现有技术相比,本发明具有减少动态环境对图像处理算法干扰、提高对不同路面场景的可迁移性能力等优点。

Description

一种路面损伤快速检测及自然数据集构建方法
技术领域
本发明涉及道路检测技术领域,尤其是涉及一种路面损伤快速检测及自然数据集构建方法。
背景技术
随着公路建设数量的不断增加,公路所需养护比例也随之增加,而养护检测任务繁重,每年仅有10%左右的公路得到有效检测,大量中低等级公路、城市乡镇道路的养护工作仍缺乏合理的数据支持。因此,低成本、快速化、高质量的路面检测数据成为了数据驱动的新型养护模式的重要前提,是近年来行业的需求痛点和学术界的研究热点,也亟需探索建立支持预判性分析的大规模检测数据集,重构路面损坏的精细化特征,描述其时空演变过程。其包含三个重要环节:快速无损采集路面状态数据、智能化检测路面损伤数据、损坏数据集构建和分析。
目前,路面养护相关部门采用的智能化巡检方式,主要依靠在车辆上安装激光、雷达、视觉等设备,定期通过人工驾驶相应路段进行路面状态巡检及时上报公路管理部门,完成路面养护。然而,这种基于智能巡检车的高速公路路面巡检方式不仅设备昂贵、耗时耗力,而且由于动态检测,可视力度低,场景干扰严重,造成路面病害检测精度低;同时,这种定期局部路段巡检方式不仅全局监控力度差,而且路面状况检测结果上传实时性不高,影响交通管理部门养护强度。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种路面损伤快速检测及自然数据集构建方法。
本发明的目的可以通过以下技术方案来实现:
一种路面损伤快速检测及自然数据集构建方法,该方法包括如下步骤:
S1:根据车载图像采集设备,采集路面图像,基于路面图像进行端到端路面损伤检测模型训练,确定图像道路类型判断模型和路面损伤检测模型。
S2:获取采集状态下的车速动态截取待测图像,将其输入图像道路类型判断模型和路面损伤检测模型,获取损伤检测结果,同时明确图像对应的空间位置标签及图像对应的时间标签。
S3:将损伤检测结果、图像对应的空间位置标签及图像对应的时间标签存储至车载本地终端的数据库中,并上传至数据中心,数据中心根据时间戳和空间位置信息构建时空完备的自然数据集。
步骤S1的具体内容为:
11)根据车载图像采集设备采集路面图像,作为训练样本图像,针对训练样本图像进行图像道路类型标定、图像上损伤类别标定及位置选框标定,形成训练样本图像对应的图像标签文件;图像道路类型包括区分沥青路面、水泥路面和人行道面道路类型,图像上损伤类别包括裂缝,坑槽,网裂,修补损伤,路面变形类损伤,修补上二次发育损伤,路框差损伤和伸缩缝损伤,所述位置选框标定为框选各损伤的最小外接矩形,损伤类别和位置选框的信息存储,进而形成训练样本图像对应的图像标签文件。进一步地,图像上损伤类别标定及位置选框标定采用labelImg软件针对训练样本图像进行标定。
12)将训练样本图像及其标签文件划分为训练集、验证集和测试集,将训练集输入神经网络算法模型中进行训练,并根据验证集、测试集的识别结果进行模型结构的比较选择,确定图像道路类型判断模型和路面损伤检测模型。
13)增加训练次数,进行模型迭代和参数优化,并形成针对不同图像道路类型的最可靠路面损伤检测模型。
步骤S2的具体内容为:
21)采用车载图像采集设备采集路面图像,利用可变帧数法,根据采集状态下的车速动态截取待测图像,所截取的待测图像覆盖完整车道。所述车载图像采集设备采集的路面图像的分辨率为不小于200万像素,所述车载图像采集设备拍摄的帧率为1~100帧/秒内可调,所述车载图像采集设备采集的车速在5-120km/h内,所述车载图像采集设备根据车辆高度计算单幅图像内道路的纵深,根据纵深,利用可变帧数法获取每秒截取图像的帧数。
利用可变帧数法获取每秒截取图像的帧数的表达式为:
Figure BDA0002906874030000021
式中,f为每秒截取图像的帧数,v为行驶车速,l为单幅图像内道路的纵深。
22)将截取的待测图像直接作为输入,输入选定的最可靠图像道路类型判断模型和路面损伤检测模型中进行测试,输出损伤选框、损伤类别和置信度,并输出损伤尺寸数据;同时,根据车载定位设备,明确图像对应的空间位置标签,并根据数据采集环境条件记录,明确图像对应的时间标签。输出的损伤选框、损伤类别和置信度包括生成的每一张图像上所有损伤选框、损伤类别和置信度结果列表,生成的结果列表包括图片名、病害类别、置信度、损伤在图片上的位置框四处角点坐标。
步骤S3的具体内容为:
针对损伤检测结果、图像对应的空间位置标签和图像对应的时间标签,利用边缘计算将检测结果存储于车载本地终端的数据库中,通过有线或无线方式传输至数据中心,根据时间戳和空间位置信息,构建时空完备的自然数据集,并基于时间序列下的路网级多车协同,实现多次损伤检测结果及时空标签,优化时空维度信息。
其中,基于时间序列下的路网级多车协同,实现多次损伤检测结果及时空标签,优化时空维度信息的具体内容为:
在空间维度下,利用多车同时派出进行路面损伤数据采集,运用网络分配模型,在保证一次全部覆盖的情况下,选用最短的时间、最少的车辆和人力成本;将获取到的图像数据,根据空间位置标签进行重复剔除;在时间序列下,每隔一定时间周期,派出一批车队进行图像采集,赋予同一点位相同的损伤以同样的编号,存储于数据库中;最终形成时间-空间二维的数据结构,实现多次损伤检测结果及时空标签,优化时空维度信息。
本发明提供的路面损伤快速检测及自然数据集构建方法,相较于现有技术至少包括如下有益效果:
1)本发明采用计算机视觉、深度神经网络方法检测路面损伤状况,减少动态环境对图像处理算法干扰,满足道路实际养护工程对基于视觉的自动化路面损伤检测技术需求,可快速应用于国内道路检测场景,实现高效稳定的路面状况检测。
2)本发明采用端到端的计算机视觉算法,在保证路面损伤检测准确性的基础上,利用足量的真实道路训练样本图像提升检测效率,保证路面养护与管理的时效性,也方便自然数据集的构建;针对沥青路面、水泥路面和人行道面的最可靠路面损伤检测模型,提高了对不同路面场景的可迁移性能力。
3)本发明针对损伤检测结果及时空标签,利用边缘计算将检测结果存储于车载本地终端的数据库或数据中心,根据时间戳和空间位置信息,构建时空完备的自然数据集;进一步基于时间序列下路网级多车协同,实现多次损伤检测结果及时空标签,丰富时空维度信息;同时获得的检测结果同样可以重新放入神经网络算法模型实现迭代和参数优化。
附图说明
图1为实施例中路面损伤快速检测及自然数据集构建方法的原理框图;
图2为实施例中样本图像及其空间位置标签坐标修正示意图;
图3为实施例中车辆边缘计算工作示意图;
图4为实施例中基于时间序列下路网级自然数据集构建及其工作示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
实施例
随着深度学习理论的提出和数值计算设备的改进,卷积神经网络得到了快速发展,并被应用于计算机视觉领域。卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络,其发展促进了图像目标检测技术向更智能化的方向进步。卷积神经网络是一个层次模型,主要包括输入层,卷积层,池化层、全连接层以及输出层。卷积神经网络是专门针对图像而设计,主要特点在于卷积层的特征是由前一层的局部特征通过卷积共享的权重得到。在卷积神经网络中,输入图像通过多个卷积层和池化层进行特征提取,逐步由底层特征变为高层特征;高层特征再经过全连接层和输出层进行特征分类,产生一维向量,表示当前输入图像的类别,该特点适用于路面损伤的快速检测。
基于上述优势,本发明涉及一种路面损伤快速检测及自然数据集构建方法,如图1所示,该方法包括如下步骤内容:
步骤一、端到端路面损伤检测模型训练:
应用车载图像采集设备,采集路面图像,作为训练样本图像。针对训练样本图像进行图像道路类型标定、图像上损伤类别和位置选框的标定,形成训练样本图像对应的图像标签文件。图像标签文件为XML格式或txt格式,存储图像上损伤类别和位置选框的标定数据。将训练样本图像及其标签文件划分为训练集、验证集、测试集。具体地,针对图像道路类型判断和路面损伤检测两个目标,将训练样本图像和对应的图像标签文件划分的训练集,输入神经网络算法模型中进行训练,并针对图像道路类型判断和路面损伤检测两个目标,分别根据模型验证集和测试集的识别结果进行模型结构的比较选择,即比较在同等迭代次数下,图像道路类型判断和路面损伤检测两个目标的查全率和查准率加权结果。
识别结果最优,即加权结果取得最大值的算法分别确定为图像道路类型判断模型和路面损伤检测模型。随后对确定的图像道路类型判断模型和路面损伤检测模型增加训练次数,进行模型迭代和参数优化,并形成针对沥青路面、水泥路面和人行道面的最可靠路面损伤检测模型。
本发明的端到端路面损伤检测模型训练通过收集不同场景下的路面异常图像训练深度神经网络,对不同异常状况图像进行检测;通过对训练图像数据集进行语义标注,得到裂缝、坑槽、网裂;修补的损伤(修补的裂缝、坑槽、网裂);路面变形类损伤(路面变形、松散、错台);修补上二次发育损伤;路框差、伸缩缝等损伤的训练样本图像及其对应的图像标签文件。
具体实施步骤如下:
步骤S101:进行图像道路类型标定,包括区分沥青路面、水泥路面和人行道面等道路类型。
步骤S102:进行图像上损伤类别和位置选框的标定,采用labelImg软件,针对训练样本图像进行标定,标记损伤类别和位置选框(框选住损伤的最小外接矩形),损伤类别和位置选框的信息存储为XML格式或txt格式,形成训练样本图像对应的图像标签文件。
步骤S103:对同一批训练样本图像,按照7:3:3的比例划分为训练集、验证集和测试集。
步骤S104:针对图像道路类型判断和路面损伤检测两个目标,分别选择YOLOv1、YOLOv2、YOLOv3和SSD等一阶段目标检测框架进行神经网络算法模型比选,利用足量的训练样本图像,同时训练多个不同的一阶段目标检测框架,然后固定训练时候的迭代次数,对比验证集和测试集的识别结果,即在同等迭代次数下,比较查全率和查准率加权结果E图像道路类型判断、E路面损伤检测,按照如下公式:
Figure BDA0002906874030000061
其中E图像道路类型判断为图像道路类型判断的查全率和查准率加权结果,ω1、ω2分别为图像道路类型判断时候的查全率和查准率加权权重,ω1∈(0,1)且ω2∈(0,1);TP图像道路类型判断为真实情况为真(为某类道路类型),模型预测结果也为真(为某类道路类型)的样本数量;FN图像道路类型判断为真实情况为真(为某类道路类型),模型预测结果却为假(非某类道路类型)的样本数量;FP图像道路类型判断为真实情况为假(非某类道路类型),模型预测结果却为真(为某类道路类型)的样本数量。
Figure BDA0002906874030000062
其中E路面损伤检测为损伤识别的查全率和查准率加权结果,ω3、ω4分别为路面损伤检测时候的查全率和查准率加权权重,ω3∈(0,1)且ω4∈(0,1);TP路面损伤检测为真实情况为真(有该类损伤),模型预测结果也为真(有该类损伤)的样本数量;FN路面损伤检测为真实情况为真(有该类损伤),模型预测结果却为假(没有该类损伤)的样本数量;FP路面损伤检测为真实情况为假(没有该类损伤),模型预测结果却为真(有该类损伤)的样本数量。
识别结果最优,即E图像道路类型判断、E路面损伤检测取得最大值的算法分别确定为图像道路类型判断模型和路面损伤检测模型。
训练过程选用二分交叉熵作为损失函数,模型通过bounding box回归和logistic进行分类,可以支持多标签对象检测。可以借鉴残差网络(residual network)的做法,在一些层之间设置了快捷链路,在保证准确率的基础上,进一步提升运算效率。
步骤105:随后对确定的图像道路类型判断模型和路面损伤检测模型增加训练次数,进行模型迭代和参数优化,并形成针对沥青路面、水泥路面和人行道面的最可靠路面损伤检测模型。
步骤二、端到端路面损伤快速检测:
应用车载图像采集设备,采集路面图像,并利用可变帧数法,根据采集状态下的车速动态截取待测图像,使得选定的待测图像覆盖完整车道。将待测图像直接作为输入,放入选定的最可靠图像道路类型判断模型和路面损伤检测模型中进行测试,输出损伤选框、类别和置信度结果,输出损伤尺寸数据;同时,根据车载高精度定位设备,明确图像对应的空间位置标签;根据数据采集环境条件的记录,明确图像对应的时间标签。具体实施步骤如下:
步骤S201:利用车载图像采集设备,采集路面图像,分辨率≥200万像素;拍摄帧率在1~100帧/秒内可调;采集车速在5-120km/h内;摄像设备放置于车顶后侧或前侧,倾斜向下摄像机镜头与垂直路面方向夹角30-60°范围内拍摄,则根据车辆高度计算单幅图像内道路的纵深如下式:
l=h·tanθ
其中,l为单幅图像内道路的纵深,h为任意采集车辆的车身高度,θ为摄像机镜头与垂直路面方向夹角。
步骤S202:根据采集状态下的车速动态截取待测图像,使得选定的待测图像覆盖完整车道;截取待测图像的帧数利用可变帧数法中每秒截取图像的帧数选择,表达式如下:
Figure BDA0002906874030000071
其中,f为每秒截取图像的帧数,单位为pic/s,v为行驶车速,单位是km/h,l为单幅图像内道路的纵深,单位是m。
步骤S203:将截取待测图像直接作为输入,放入选定的最可靠图像道路类型判断模型和路面损伤检测模型中进行测试,输出损伤类别、置信度和位置框结果,包括每一张图像上所有损伤,生成结果列表含有图片名、病害类别、置信度、损伤在图片上的位置框四处角点坐标;
步骤S204:在平面图像处理中,由于采集设备镜头角度的原因,容易导致图像出现倾斜、变形等情况,进而造成路面损坏识别、尺寸提取和空间定位的误差。为了方便后续处理,进行图像校正。通过透视变换矩阵进行图像校正,通过一个3×3的变换矩阵将原图投影到一个新的视平面,消除因为相机倾斜假设而导致的远近或倾斜透视失真,生成俯视视角,具体转换公式如下:
Figure BDA0002906874030000081
其中,u,v是原始图像像素坐标,x,y为变换之后的图像像素坐标,具有关系为x=x′/w′,y=y′/w′,aij为变换系数。
针对校正后的图像,输出损伤尺寸数据,包括病害校正后长、病害校正后宽、病害的长度、病害的真实面积尺寸。输出空间位置标签,根据车载高精度定位设备采集获得,包括GPS放置点位处的纬度、GPS放置点位处的经度、病害选框中心坐标x0、病害选框中心坐标y0、病害选框中心和GPS放置点位处偏移的x方向距离Δx、病害选框中心和GPS放置点位处偏移的y方向距离Δy,样本图像及其空间位置标签坐标修正,如图2所示,图2中,如果病害选框中心在本侧(汽车行进方向)偏右,则Δx为负号,如果病害选框中心在本侧偏左,则Δx为正号;因为相比于GPS放置位置处,图像位置均为向后方向,故Δy均为负号。输出损伤时间标签,包括数据采集的时间、数据采集的温湿度条件、数据采集的光照条件、数据采集的季节条件等必要信息。
步骤三、自然损伤数据集构建:
针对损伤检测结果及时空标签,利用边缘计算将检测结果存储于车载本地终端的数据库中,通过USB接口拷贝或热插拔硬盘导出数据上传至数据中心,或经由WLAN/4G/5G网络传输将检测结果上传至云端服务器进行计算,结果存储于数据中心,根据时间戳和空间位置信息,构建时空完备的自然数据集;进一步基于时间序列下路网级多车协同,实现多次损伤检测结果及时空标签,丰富时空维度信息;同时获得的检测结果同样可以重新放入神经网络算法模型实现迭代和参数优化。自然损伤数据集构建的具体步骤如下:
步骤S301:如图3所示,利用边缘计算,一方面,车辆可以将感知生成的计算任务卸载到位于车载终端或者路边单元的边缘服务器进行计算处理,将检测结果存储于车载本地终端的数据库中。另一方面,车间可以进行协同计算,将计算任务卸载到附近计算资源空闲的车辆处理,充分利用车群系统的群体计算能力。
步骤S302:通过4G/5G网络传输将检测结果上传至云端服务器进行计算(或采用USB接口拷贝或热插拔硬盘导出数据上传至数据中心),结果存储于数据中心,根据时间戳和空间位置信息,构建时空完备的自然数据集。其中,采用USB接口方式无需对现有硬件进行重大改造,需调整接口建议雷电三等加快导出速度,整体费用较低。4G/5G方式的硬件改造较低,利用运营商提供的基站进行远程数据传输,可设计多套设备,每套采集满后放回实验室进行传输。WLAN方式的硬件改造较低,仅需将4G/5G传输技术替换为WIFI等无限网数据传输,可设计多套设备,每套采集满后放回实验室进行传输,换另一套,整体费用较低。
步骤S303:在空间维度下,利用10台车同时派出进行路面损伤数据采集,运用网络分配模型,保证一次全部覆盖的情况下,选用最短的时间、最少的车辆和人力成本;获取到的图像数据,根据空间位置标签进行重复剔除;时间序列下,每隔一个月,派出一批车队进行图像采集,赋予同一点位相同的损伤以同样的编号,存储于数据库中,如图4所示:
1)在单次采集后,根据基于神经网络模型的路面损坏检测与定位方法,实现图中第
Figure BDA0002906874030000091
步骤,根据GPS位置信息,可以获得该路面损坏的绝对空间位置,并根据GPS位置信息确定该损坏所在路段名;根据神经网络模型检测功能,获得该路面损坏在所在图像中的位置框,进而推导出该损坏在两根车道线内的相对空间位置,即离左右车道线的距离;根据图像采集时间的先后顺序,获取该损坏与前后各损坏的相对位置关系;根据神经网络模型分类功能,获得该路面损坏的类别。
2)接下来第
Figure BDA0002906874030000092
步骤,针对第一次采集后识别的路面损坏进行编号,以“路段名+采集时间+损坏号码”格式进行编号,其中“路段名”由第
Figure BDA0002906874030000093
步骤获得,“损坏号码”从1到X进行编号。
3)在重复检测之后,进行第
Figure BDA0002906874030000094
步骤时空匹配,若某处损坏经过匹配追溯到之前的某一编号的损坏,则赋予其相同的编号;
若无法找到与其匹配的损坏,则赋予其一个新的编号,并且根据其与已有损坏的前后相对位置进行编号重新整理(例如新编号的损坏在已有损坏“PD003”、“PD004”之间,则命名为“PD003.1”);
最新一次检测若出现部分已有损坏漏检情况,可能原因是采集过程遗漏、神经网络模型识别过程遗漏、时空匹配过程遗漏、损坏已被养护等,可以针对性地进行后续分析(例如若后续检测中该损坏又出现则因为前三种原因,若在该处损坏出现明显修补类损坏则为第四种原因);
4)如此类推,在每一次更新的检测后,以最新一次检测为基准,完成一次更新的时空匹配,则之后会获得多次编号,相同的编号对应同一处损坏,新增的编号对应新产生的损坏。
最终形成时间-空间二维的数据结构,实现多次损伤检测结果及时空标签,丰富时空维度信息;同时获得的检测结果同样可以重新放入神经网络算法模型实现迭代和参数优化。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的工作人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种路面损伤快速检测及自然数据集构建方法,其特征在于,包括下列步骤:
1)根据车载图像采集设备,采集路面图像,基于路面图像进行端到端路面损伤检测模型训练,确定图像道路类型判断模型和路面损伤检测模型;
2)获取采集状态下的车速动态截取待测图像,将其输入图像道路类型判断模型和路面损伤检测模型,获取损伤检测结果,同时明确图像对应的空间位置标签及图像对应的时间标签;
3)将损伤检测结果、图像对应的空间位置标签及图像对应的时间标签存储至车载本地终端的数据库中,并上传至数据中心,数据中心根据时间戳和空间位置信息构建时空完备的自然数据集;
步骤3)的具体内容为:
针对损伤检测结果、图像对应的空间位置标签和图像对应的时间标签,利用边缘计算将检测结果存储于车载本地终端的数据库中,通过有线或无线方式传输至数据中心,根据时间戳和空间位置信息,构建时空完备的自然数据集,并基于时间序列下的路网级多车协同,实现多次损伤检测结果及时空标签,优化时空维度信息;
基于时间序列下的路网级多车协同,实现多次损伤检测结果及时空标签,优化时空维度信息的具体内容为:
在空间维度下,利用多车同时派出进行路面损伤数据采集,运用网络分配模型,在保证一次全部覆盖的情况下,选用最短的时间、最少的车辆和人力成本;将获取到的图像数据,根据空间位置标签进行重复剔除;在时间序列下,每隔一定时间周期,派出一批车队进行图像采集,赋予同一点位相同的损伤以同样的编号,存储于数据库中;最终形成时间-空间二维的数据结构,实现多次损伤检测结果及时空标签,优化时空维度信息,并进行神经网络算法模型的迭代优化。
2.根据权利要求1所述的路面损伤快速检测及自然数据集构建方法,其特征在于,步骤1)的具体内容为:
11)根据车载图像采集设备采集路面图像,作为训练样本图像,针对训练样本图像进行图像道路类型标定、图像上损伤类别标定及位置选框标定,形成训练样本图像对应的图像标签文件;
12)将训练样本图像及其标签文件划分为训练集、验证集和测试集,将训练集输入神经网络算法模型中进行训练,并根据验证集、测试集的识别结果进行模型结构的比较选择,确定图像道路类型判断模型和路面损伤检测模型;
13)增加训练次数,进行模型迭代和参数优化,并形成针对不同图像道路类型的最可靠路面损伤检测模型。
3.根据权利要求2所述的路面损伤快速检测及自然数据集构建方法,其特征在于,步骤11)中,图像上损伤类别标定及位置选框标定采用labelImg软件针对训练样本图像进行标定。
4.根据权利要求3所述的路面损伤快速检测及自然数据集构建方法,其特征在于,图像道路类型包括区分沥青路面、水泥路面和人行道面道路类型,图像上损伤类别包括裂缝,坑槽,网裂,修补损伤,路面变形类损伤,修补上二次发育损伤,路框差损伤和伸缩缝损伤,所述位置选框标定为框选各损伤的最小外接矩形,损伤类别和位置选框的信息存储,进而形成训练样本图像对应的图像标签文件。
5.根据权利要求2所述的路面损伤快速检测及自然数据集构建方法,其特征在于,步骤2)的具体内容为:
21)采用车载图像采集设备采集路面图像,利用可变帧数法,根据采集状态下的车速动态截取待测图像,所截取的待测图像覆盖完整车道;
22)将截取的待测图像直接作为输入,输入选定的最可靠图像道路类型判断模型和路面损伤检测模型中进行测试,输出损伤选框、损伤类别和置信度,并输出损伤尺寸数据;同时,根据车载定位设备,明确图像对应的空间位置标签,并根据数据采集环境条件记录,明确图像对应的时间标签。
6.根据权利要求5所述的路面损伤快速检测及自然数据集构建方法,其特征在于,步骤21)中,所述车载图像采集设备采集的路面图像的分辨率为不小于200万像素,所述车载图像采集设备拍摄的帧率为1~100帧/秒内可调,所述车载图像采集设备采集的车速在5-120km/h内,所述车载图像采集设备根据车辆高度计算单幅图像内道路的纵深,根据纵深,利用可变帧数法获取每秒截取图像的帧数。
7.根据权利要求5所述的路面损伤快速检测及自然数据集构建方法,其特征在于,步骤22)中,输出的损伤选框、损伤类别和置信度包括生成的每一张图像上所有损伤选框、损伤类别和置信度结果列表,生成的结果列表包括图片名、病害类别、置信度、损伤在图片上的位置框四处角点坐标。
8.根据权利要求6所述的路面损伤快速检测及自然数据集构建方法,其特征在于,利用可变帧数法获取每秒截取图像的帧数的表达式为:
Figure FDA0003907545180000031
式中,f为每秒截取图像的帧数,v为行驶车速,l为单幅图像内道路的纵深。
CN202110073970.4A 2021-01-20 2021-01-20 一种路面损伤快速检测及自然数据集构建方法 Active CN112800911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110073970.4A CN112800911B (zh) 2021-01-20 2021-01-20 一种路面损伤快速检测及自然数据集构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110073970.4A CN112800911B (zh) 2021-01-20 2021-01-20 一种路面损伤快速检测及自然数据集构建方法

Publications (2)

Publication Number Publication Date
CN112800911A CN112800911A (zh) 2021-05-14
CN112800911B true CN112800911B (zh) 2022-12-16

Family

ID=75810628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110073970.4A Active CN112800911B (zh) 2021-01-20 2021-01-20 一种路面损伤快速检测及自然数据集构建方法

Country Status (1)

Country Link
CN (1) CN112800911B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420621A (zh) * 2021-06-08 2021-09-21 广东省大湾区集成电路与系统应用研究院 一种路面病害程度识别方法、装置、设备及存储介质
CN113255578B (zh) * 2021-06-18 2022-04-29 亿咖通(湖北)技术有限公司 交通标识的识别方法及装置、电子设备和存储介质
CN113537016B (zh) * 2021-07-06 2023-01-06 南昌市微轲联信息技术有限公司 一种道路巡查中道路损伤自动检测预警的方法
CN113538357B (zh) * 2021-07-09 2022-10-25 同济大学 一种抗阴影干扰的路面状态在线检测方法
CN113808128B (zh) * 2021-10-14 2023-07-28 河北工业大学 基于相对坐标定位算法的智能压实全过程可视化控制方法
CN114113118B (zh) * 2021-12-01 2023-10-13 同济大学 一种地铁隧道衬砌裂缝渗漏水病害快速检测装置及其检测方法
CN114820443B (zh) * 2022-03-18 2024-05-07 重庆大学 一种基于迁移学习的边缘检测方法
CN115859074B (zh) * 2022-10-27 2023-10-20 大连理工大学 一种基于超声导波和深度学习的复合材料加筋板损伤识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574373A (zh) * 2014-12-23 2015-04-29 北京恒达锦程图像技术有限公司 一种能准确定位存储图像的路面病害检测方法和系统
CN108765404A (zh) * 2018-05-31 2018-11-06 南京行者易智能交通科技有限公司 一种基于深度学习图像分类的道路破损检测方法及装置
CN109801282A (zh) * 2019-01-24 2019-05-24 湖北大学 路面状况检测方法、处理方法、装置及系统
CN110189317A (zh) * 2019-05-30 2019-08-30 上海卡罗网络科技有限公司 一种基于深度学习的道路影像智能采集和识别方法
KR102080462B1 (ko) * 2019-08-29 2020-02-24 안성일 딥러닝에 기반한 도로 안전 진단과 관리 방법 및 시스템
WO2020261567A1 (ja) * 2019-06-28 2020-12-30 日本電気株式会社 路面検査装置、路面検査方法、およびプログラム
CN112200143A (zh) * 2020-11-02 2021-01-08 坝道工程医院(平舆) 一种基于候选区域网络和机器视觉的道路病害检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207084A1 (de) * 2014-04-14 2015-10-15 Siemens Aktiengesellschaft Verfahren, Vorrichtung und System zur Erfassung von Straßenschäden
CN109870456B (zh) * 2019-02-01 2022-01-28 上海智能交通有限公司 一种路面健康状况快速检测系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574373A (zh) * 2014-12-23 2015-04-29 北京恒达锦程图像技术有限公司 一种能准确定位存储图像的路面病害检测方法和系统
CN108765404A (zh) * 2018-05-31 2018-11-06 南京行者易智能交通科技有限公司 一种基于深度学习图像分类的道路破损检测方法及装置
CN109801282A (zh) * 2019-01-24 2019-05-24 湖北大学 路面状况检测方法、处理方法、装置及系统
CN110189317A (zh) * 2019-05-30 2019-08-30 上海卡罗网络科技有限公司 一种基于深度学习的道路影像智能采集和识别方法
WO2020261567A1 (ja) * 2019-06-28 2020-12-30 日本電気株式会社 路面検査装置、路面検査方法、およびプログラム
KR102080462B1 (ko) * 2019-08-29 2020-02-24 안성일 딥러닝에 기반한 도로 안전 진단과 관리 방법 및 시스템
CN112200143A (zh) * 2020-11-02 2021-01-08 坝道工程医院(平舆) 一种基于候选区域网络和机器视觉的道路病害检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Pavement distress detection and classification based on YOLO network;Yuchuan Du et al.;《International Journal of Pavement Engineering》;20200124;第1-14页 *

Also Published As

Publication number Publication date
CN112800911A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112800911B (zh) 一种路面损伤快速检测及自然数据集构建方法
Ukhwah et al. Asphalt pavement pothole detection using deep learning method based on YOLO neural network
Kim et al. Automated bridge component recognition from point clouds using deep learning
CN112800913B (zh) 一种基于多源特征融合的路面损伤数据时空分析方法
JP6652915B2 (ja) 移動式くぼみ検出システム及び方法
CN111458721A (zh) 一种暴露垃圾的识别定位方法、装置及系统
CN116448773B (zh) 一种图像-振动特征融合的路面病害检测方法及系统
CN111241994A (zh) 一种深度学习的遥感影像农村公路砂化路段的提取方法
CN113962960A (zh) 基于深度学习的路面病害检测方法
Guerrieri et al. Flexible and stone pavements distress detection and measurement by deep learning and low-cost detection devices
CN113312987B (zh) 一种基于无人机航拍路面裂缝图像的识别方法
Shao et al. PTZ camera-based image processing for automatic crack size measurement in expressways
Wen et al. PCDNet: Seed operation–based deep learning model for pavement crack detection on 3D asphalt surface
KR102562757B1 (ko) 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법
CN114241332A (zh) 一种基于深度学习的固废场识别方法、装置以及存储介质
CN114004950A (zh) 一种基于BIM与LiDAR技术的路面病害智能识别与管理方法
CN111723643B (zh) 一种基于固定区域周期性图像采集的目标检测方法
CN116432095A (zh) 道路病害预测方法、装置、电子设备及存储介质
CN115994901A (zh) 一种道路病害自动检测方法与系统
CN115630056A (zh) 一种基于gps轨迹定位的道路巡查量化考核系统及方法
Yan et al. An automatic pavement crack detection system with FocusCrack Dataset
Sun et al. UAV Photogrammetry-Based Accident Assessment Road Condition Analysis Using Image Classification
CN112946700B (zh) 一种根据视频与经纬度精准定位城市道路网格位置的方法
TWI821089B (zh) 交通路面智慧檢測系統及邊緣收集裝置
US11682298B2 (en) Practical method to collect and measure real-time traffic data with high accuracy through the 5G network and accessing these data by cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant