CN108960060A - 一种无人驾驶车辆路面纹理识别系统及方法 - Google Patents
一种无人驾驶车辆路面纹理识别系统及方法 Download PDFInfo
- Publication number
- CN108960060A CN108960060A CN201810555130.XA CN201810555130A CN108960060A CN 108960060 A CN108960060 A CN 108960060A CN 201810555130 A CN201810555130 A CN 201810555130A CN 108960060 A CN108960060 A CN 108960060A
- Authority
- CN
- China
- Prior art keywords
- data
- road
- texture
- pavement
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/529—Depth or shape recovery from texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出一种无人驾驶车辆路面纹理实时识别系统及方法,所述系统包括:激光三角测量、构造深度三维检测和道路检测中心三个子系统,三个子系统间的控制和数据传输通过工业控制计算机来完成。本发明采用激光三角测量技术对沥青路面纹理图像进行采集,能够在无人驾驶车辆行驶过程中实时自动采集路表纹理和数据;通过构造深度三维检测子系统对采集的路面表面高程进行分析、处理,运算出所测点或行驶路段的沥青路面纹理构造深度,解决了传统道路检测对交通流的影响,同时弥补了传统构造深度测量方法人为因素影响大的不足,更加智能化,且大幅提高效率,对无人驾驶车辆的行驶策略具有指导意义。
Description
技术领域
本发明属于无人驾驶车辆领域,尤其涉及一种无人驾驶车辆路面纹理识别系统及方法。
背景技术
无人驾驶车辆是未来车辆的发展方向,相比较传统车辆,具有减少交通事故、缓解交通压力等优点。现阶段,对于无人驾驶环境感知的研究主要还停留在计算机AI领域和自动控制领域,而对道路领域路面纹理识别的研究则少之又少,忽略了无人驾驶汽车最终还是在路面上行驶这一关键点。此外,当前对于路面纹理识别主要实在道路施工的验收环节中进行的,主要以构造深度为指标。传统的构造深度检测方法多为人工定点检测和抽样检测,现场测量和数据分析均存在诸多缺点:人工检测效率低,要求经验丰富的专业技术人员徒步检测,难以大规模的运用于路面构造深度检测中;检测结果受人为因素影响大,检测结果的准确性由技术人员的业务水平直接决定,不同技术人员之间的检测结果存在一定偏差;人工检测采取抽样的形式,一般每公里路面检测数个参数,无法对道路进行全面检测。
无人驾驶车辆的路面工作环境类目繁多,针对不同的路况需要采取不同的驾驶策略,如直线车速、过弯车速和安全车距,为了完成指定路面情况的行驶任务其必须具有定位、自主检测、识别和测量路面表面纹理情况的能力。如何高效综合利用工业相机、激光器、旋转编码器、全球定位系统(GPS)和无线传输模块等传感器设备,实时正确地获取路面表面纹理环境数据,使无人驾驶车辆具备根据环路面表面纹理环境调整最佳的驾驶策略,是提高无人驾驶车辆的安全性能的重要问题。
发明内容
发明目的:针对以上现有技术存在的问题,本发明提出一种无人驾驶车辆路面纹理识别系统及方法,其能够综合利用视觉、旋转编码器、全球定位系统(GPS)和无线传输模块和工业控制计算机等多种传感器获取路面表面纹理数据,对行驶路面环境中的数据进行实时处理,使得无人驾驶车辆行驶过程中实时自动感知识别路面表面纹理情况,提高无人驾驶车辆的安全性能。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:一种无人驾驶车辆路面纹理实时识别系统,该系统由以下部分构成:
工业控制计算机,用于向道路检测中心子系统发送数据请求,工业计算机根据道路检测中心子系统反馈的数据选择路面纹理图像的采集模式,并控制近景摄影测量子系统、道路检测中心子系统、构造深度三维检测子系统的工作;
道路检测中心子系统,响应无人驾驶车辆的数据请求,将已有存储的路面纹理图像数据反馈给工业控制计算机;并且实现道路纹理图像数据和路面构造深度值的存储和更新,对数据库信息进行整理,清除冗余数据;
近景摄影测量子系统,用于根据工业计算机确定的采集模式采集路面表面的纹理图像数据,并将数据发送到构造深度三维检测子系统;
构造深度三维检测子系统,用于对近景摄影测量子系统采集的路面纹理图像进行预处理,将预处理后的路面图像重建为路面纹理三维模型,提取路面表面纹理高程数据以计算出路面表面的构造深度值,将处理后的路面纹理数据和路表的构造深度值发送到道路检测中心子系统进行存储和更新。
进一步的,所述近景摄影测量子系统包括以下模块:
CCD高速相机,用于采集路面表面纹理图像数据;
激光器,用于投射激光到路表面,配合CCD高速相机进行图像采集;
旋转编码器模块,用于实现车辆固定行进距离时产生一个脉冲信号;
光电开关模块,用于接收脉冲并触发CCD高速相机和激光器开始采集路面表面纹理图像数据;
GPS定位模块,用于对无人驾驶车辆进行实时定位;
无线传输模块,用于数据传输。
进一步的,所述道路检测中心子系统包括以下模块:
路面纹理信息监测模块,用于对数据库中的信息进行检查,剔除冗余数据,甄别数据准确性,并响应工业控制计算机的数据请求;
数据库存储模块,用于道路纹理信息数据和路面构造深度值的存储和更新;
无线传输模块,用于数据传输。
进一步的,构造深度三维检测子系统包括以下模块:
路面纹理图像预处理模块,用于对采集得到的路面纹理图像进行去噪、细节增强、对比度增强、图像分割处理;
路面纹理三维重建模块,用于通过多目三维重建将预处理后的路面图像重建为路面纹理三维模型;
路面纹理三维点云数据配准模块,用于对上述建立的道路表面纹理的三维模型进行畸变点去除、表面修补处理,并提取路面纹理信息点云数据;
三维点云转换空间坐标数据模块,用于将点云数据与世界坐标系进行对比,赋予点云数据局部坐标轴属性,完成点云数据从世界坐标系到局部坐标系的转换,并导出最终的路面表面纹理高程数据;
构造深度计算模块,用于根据路面表面纹理高程数据计算路面表面纹理数据的构造深度值;
无线传输模块,用于数据传输。
此外,本发明还提出一种根据权利要求1-4任一项系统实现的无人驾驶车辆路面纹理实时识别方法,其特征在于,该方法包括以下步骤:
(1)无人驾驶车辆在行驶过程中,工业控制计算机向道路检测中心子系统发送数据请求;
(2)道路检测中心子系统向工业控制计算机进行数据请求反馈,工业控制计算机根据数据反馈情况选取不同策略采集路面纹理数据;
(3)工业控制计算机控制近景摄影测量子系统根据步骤(2)中确定的采集策略采集路面表面纹理图像;
(4)工业控制计算机控制构造深度三维检测子系统对步骤(3)中采集的路面表面纹理图像进行处理,计算得到路面表面纹理的构造深度值;
(5)道路检测中心子系统通过无线传输模块对路面表面构造深度值进行收集存储。
其中,步骤(2)中,根据道路检测中心所反馈的数据情况,选取间隔采集模式或连续采集模式,具体方法如下:如果道路检测中心反馈无对应道路的路面纹理数据,则采用连续采集的模式获取路面表面纹理;如果道路检测中心反馈已有对应数据,则以间隔采集的模式对路面表面纹理进行采集;将道路检测中心反馈的数据与间隔采集的数据进行对比,两组数据之间的差异Δ超过预设阈值T,则判定道路检测中心的数据需要更新,那么工业控制计算机将选取连续模式对路面表面纹理进行采集;当两组数据之间差异Δ小于等于阈值T,则判定道路检测中心的数据暂时不需要更新,可以继续使用,并选取间隔采集来获取路面表面纹理,同时继续进行实时阈值判定,根据实时情况改变采集策略。
其中,步骤(3)的具体方法:无人驾驶车辆运行时,触发旋转编码器工作,旋转编码器根据车辆行驶预定的固定距离产生脉冲,光电开关模块精确接收脉冲并触发CCD高速相机和激光器开始采集路面表面纹理图像信息,无线传输模块将采集图像信息传送至构造深度三维检测子系统。
其中,步骤(4)中,对路面表面纹理信息进行处理运算包括对路面表面道路标线信息和路面表面杂物信息的去除,其方法如下:
对采集的图像中的任意像素点阈值分割后的像素值I(i,j):
式中,I′(i,j)为阈值分割后所采集图像不同均值范围内的像素值,μ为整幅图像的均值。
其中,步骤(4)中,对路面表面纹理信息进行处理运算包括对图像进行纹理平衡的亮度补偿,其方法如下:
对于非阴影区域B和阴影区域S,图像中的任意像素点光线补偿后的像素值Ii,j,有:
式中,I′i,j为光线补偿后经过上述公式处理后的不同区域内的像素值;(i,j)为像素点坐标;DB为图像非阴影区的像素亮度值的标准方差,DS为图像阴影区的像素亮度值的标准方差,分别为非阴影区和阴影区的平均亮度。
其中,步骤(4)中,所述计算路面表面纹理的构造深度值MTD的计算公式为:
V=∫∫D[F0-F(x,y)]dxdy
式中,MTD为路表某点深度值,单位为mm、F0为盖在道路表面上的空间平面、F(x,y)为路面高程点所形成的区域面、D为积分区域、V为路表面与平面F0间所围体积,单位为mm、A为区域D的面积,单位为mm。
有益效果:与现有技术相比,本发明的技术方案具有以下有益的技术效果:
1、本发明使无人驾驶车辆行驶过程中实时路面自动采集路表纹理和数据;通过构造深度三维检测子系统对采集的图像进行分析、处理,运算出所测点或行驶路段的沥青路面纹理构造深度,解决了传统道路检测,诸如铺沙法、摩擦系数仪法对交通流的影响,同时弥补了传统构造深度测量方法人为因素影响大的不足,更加智能化,且大幅提高效率,对无人驾驶车辆的行驶策略具有指导意义。
2、本发明采用单个工业彩色数字CCD高速相机和激光器,辅以激光三角测量技术作为视觉系统,以提高获取的高程信息的精度;经过矫正后可显著降低由于相机镜头畸变等原因造成的图像失真,大大提高近距离路面表面纹理采集图像的可靠性。
3、本发明采用旋转编码器模块、光电开关模块、GPS定位模块实现了无人驾驶车辆固定行进距离进行路表纹理图像间隔采集和路表纹理图像同步录像采集两种采集方式。
4、本发明建立路面纹理信息监测模块、数据库存储模块,实时同步道路检测中心进行数据管理,能够实现无人驾驶车辆路表纹理实测构造深度数据与道路检测中心已有数据的请求和调用对比,提高了数据更新存储一体化的有效性。
附图说明
图1为本发明的系统结构示意图;
图2为本发明的CCD高速相机和激光器工作原理图;
图3为本发明的系统检测过程示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明提供了一种无人驾驶车辆路面纹理实时识别系统,以实现无人驾驶车辆行驶过程中实时对路面纹理构造深度信息进行获取,对无人驾驶制动控制策略提供指导。其中本发明提出的一种无人驾驶车辆路面纹理实时识别系统,如图1所示,包括:近景摄影测量子系统,用于采集路面纹理高程信息,并将采集到的路面纹理高程通过无线传输模块发送至道路检测中心和构造深度三维检测系统;构造深度三维检测子系统,用于处理路面纹理高程信息,计算出路面构造深度,并将处理得到的数据通过无线传输模块发送到工业控制计算机和道路检测中心;道路检测中心子系统,用于汇总路面纹理数据。三个系统间的控制和数据传输通过工业控制计算机和无线传输模块来完成。
其中,近景摄影测量子系统包括:CCD高速相机、激光器、旋转编码器模块、光电开关模块、GPS定位模块和无线传输模块;
CCD高速相机,用于采集路面表面纹理图像数据;
激光器,用于投射激光到路表面,配合CCD高速相机进行图像采集;
旋转编码器模块,用于实现车辆固定行进距离时产生一个脉冲信号;
光电开关模块,用于接收脉冲并触发CCD高速相机和激光器开始采集路面表面纹理图像数据;
GPS定位模块,用于对无人驾驶车辆进行实时定位;
无线传输模块,用于数据传输。
其中,道路检测中心子系统包括:路面纹理信息监测模块、数据库存储模块和无线传输模块;
路面纹理信息监测模块,用于对数据库中的信息进行检查,剔除冗余数据,甄别数据准确性,同时响应工业控制计算机的数据请求;
数据库存储模块,用于道路纹理信息数据和路面构造深度值的存储和更新;
无线传输模块,用于数据传输。
其中,构造深度三维检测子系统包括:路面纹理图像预处理模块、路面纹理三维重建模块、路面纹理三维点云数据配准模块、三维点云转换空间坐标数据模块、构造深度计算模块和无线传输模块;
路面纹理图像预处理模块,用于对采集得到的路面纹理图像进行去噪、细节增强、对比度增强、图像分割处理;
路面纹理三维重建模块,用于通过多目三维重建将预处理后的路面图像重建为路面纹理三维模型;
路面纹理三维点云数据配准模块,用于对上述建立的道路表面纹理的三维模型进行畸变点去除、表面修补处理,并提取路面纹理信息点云数据;
三维点云转换空间坐标数据模块,用于将点云数据与世界坐标系进行对比,赋予点云数据局部坐标轴属性,完成点云数据从世界坐标系到局部坐标系的转换,并导出最终的路面表面纹理高程数据;点云数据是通过三维模型提取出来的包含路表高程、三维坐标及矢量方向、光强值等一系列数据;
构造深度计算模块,用于计算路面表面纹理数据的构造深度值;
无线传输模块,用于数据传输。
并且,所述CCD高速相机和激光器以一定的俯角安装于无人驾驶车辆的底部;所述的旋转编码器模块、光电开关模块、GPS定位模块和无线传输模块安装于无人驾驶车辆内部;所述工业控制计算机别与CCD高速相机、激光器、旋转编码器模块、光电开关模块、GPS定位模块和无线传输模块连接。
此外,本发明还提出了一种无人驾驶车辆路面纹理实时识别方法,结合图3,下面对该方法进行说明:
(1)无人驾驶车辆在行驶过程中,当需要获取当前路面纹理情况来为无人驾驶车辆的行驶、制动提供参考时,由工业控制计算机向道路中心发送数据请求:通过GPS定位模块获取无人驾驶车辆的定位信息;同时基于定位信息,通过无线传输模块与道路检测中心的虚拟地图进行对比,确定与世界坐标的对应关系;通过无线传输模块向道路检测中心请求无人驾驶车辆所在道路的路表纹理实时数据,以用于构造深度数据。
(2)工业控制计算机根据道路检测中心反馈的数据情况,控制近景摄影测量系统选取对应的路面纹理采集模式。如果道路检测中心反馈无对应道路的路面纹理数据,则采用连续采集的模式获取路面表面纹理。如果道路检测中心反馈已有对应数据,则以间隔采集的模式对路面表面纹理进行采集;将道路检测中心反馈的数据与间隔采集的数据进行对比,两组数据之间的差异Δ超过预设阈值T,则判定道路检测中心的数据需要更新,那么后续工业控制计算机将选取连续模式对路面表面纹理进行采集;当两组数据之间差异Δ小于等于阈值T,T取值为5%,则判定道路检测中心的数据暂时不需要更新,可以继续使用,并选取间隔采集来获取路面表面纹理,同时继续进行阈值判定,根据实时情况改变采集策略。因为车辆行驶过程中车辆所行驶的路面纹理是时刻变化的,上一秒不需要更显,在荷载与天气影响下下一秒会磨损而需要再次间隔采集进行阈值判定。
式中,Δ代表数据差异;Data1为无人驾驶车辆实时采集的路面纹理数据;Data2为道路检测中心反馈的路面纹理数据;T为提前设定好的阈值,诸如取5%;Feedback表示道路检测中心数据反馈情况,当值为1,表示道路检测中心有无人驾驶车辆所行驶道路的路面纹理数据,当值为0,则表示无数据。
(3)工业控制计算机GPS模块获取车辆位置信息和车辆行驶状态信息,同时控制近景摄影测量子系统开始工作:工业控制计算机通过CCD高速相机和激光器采集激光照射下的沥青路面表面凹凸不平的纹理图像信息,包含纹理高程信息的图像,通过旋转编码器模块来实现车辆固定行进距离产生一个脉冲,通过光电开关模块更加精确地读取旋转编码器模块产生的脉冲来控制环形CCD高速相机阵列模块的拍摄频率,保证车辆固定行进长度采集一次图像;通过无线传输模块将路表纹理图像实时传送至构造深度三维检测子系统。
(4)工业控制计算机控制构造深度三维检测子系统对沥青路面表面纹理图像进行处理运算:通过路面表面纹理图像预处理模块对采集得到的图像进行去噪、细节增强、对比度增强、图像分割等处理;通过路面纹理三维重建模块重建出道路表面纹理的三维模型;通过路面纹理三维点云数据配准模块对建立的三维模型进行畸变点去除、表面修补等修正工作;通过三维点云转换空间坐标数据模块将点云数据与世界坐标进行对比,赋予数据对应的坐标轴属性,完成空间坐标数据的转换;通过构造深度计算模块计算沥青路面表面纹理的构造深度值;通过无线传输模块将沥青路面表面纹理的构造深度数据实时发送至道路检测中心。
其中,所述的路面表面纹理图像预处理包括路表道路标线信息去除、路表杂物信息去除、高程模型阴影去除。路表道路标线信息去除、路表杂物信息去除的具体方法为对采集的图像中的任意像素点阈值分割后的像素值I(i,j),有:
式中,I′(i,j)为阈值分割后所采集图像不同均值范围内的像素值,μ为整幅图像的均值。通过上式约束可实现对图像中道路标线信息去除、路表杂物信息去除。
高程模型阴影去除的具体算法为对图像进行具有纹理平衡的亮度补偿。对于非阴影区域B和阴影区域S,图像中的任意像素点光线补偿后的像素值Ii,j有:
式中,I′i,j为光线补偿后经过上述公式处理后的不同区域内的像素值;(i,j)为像素点坐标,DB为图像非阴影区的像素亮度值的标准方差,DS为图像阴影区的像素亮度值的标准方差,分别为非阴影区和阴影区的平均亮度。通过上式可实现对图像中阴影的去除。
其中,所述的构造深度计算模块计算沥青路面表面纹理的构造深度值MTD的计算公式为:
V=∫∫D[F0-F(x,y)]dxdy
式中,MTD为路表某点深度,单位为mm;F0为盖在道路表面上的空间平面;F(x,y)为路面高程点所形成的区域面;D为积分区域,相当于铺砂区域;V为路表面与平面F0间所围体积,单位为mm2;A为区域D的面积,单位为mm。
(5)道路检测中心对路面表面构造深度信息进行收集存储:通过数据库存储系统对路面面构造深度信息进行高效存储;通过路面纹理信息监测模块对数据库中的信息进行检查,剔除冗余数据,甄别数据准确性;通过无线传输模块响应无人驾驶车辆的数据请求,道路检测中心响应是否有路表纹理信息的实时数据。
Claims (10)
1.一种无人驾驶车辆路面纹理实时识别系统,其特征在于,该系统由以下部分构成:
工业控制计算机,用于向道路检测中心子系统发送数据请求,工业计算机根据道路检测中心子系统反馈的数据选择路面纹理图像的采集模式,并控制近景摄影测量子系统、道路检测中心子系统、构造深度三维检测子系统的工作;
道路检测中心子系统,用于响应无人驾驶车辆的数据请求,将已有存储的路面纹理图像数据反馈给工业控制计算机,并对道路纹理图像数据和路面构造深度值进行存储和更新,清除数据库冗余数据;
近景摄影测量子系统,用于根据工业计算机确定的采集模式采集路面表面的纹理图像数据,并将数据发送到构造深度三维检测子系统;
构造深度三维检测子系统,用于对近景摄影测量子系统采集的路面纹理图像进行预处理,将预处理后的路面图像重建为路面纹理三维模型,提取路面表面纹理高程数据以计算路面表面的构造深度值,将处理后的路面纹理数据和路表的构造深度值发送到道路检测中心子系统进行存储和更新。
2.根据权利要求1所述的一种无人驾驶车辆路面纹理实时识别系统,其特征在于,所述近景摄影测量子系统包括以下模块:
CCD高速相机,用于采集路面表面纹理图像数据;
激光器,用于投射激光到路表面,配合CCD高速相机进行图像采集;
旋转编码器模块,用于实现车辆固定行进距离时产生一个脉冲信号;
光电开关模块,用于接收脉冲信号并触发CCD高速相机和激光器开始采集路面表面纹理图像数据;
GPS定位模块,用于对无人驾驶车辆进行实时定位;
无线传输模块,用于数据传输。
3.根据权利要求1所述的一种无人驾驶车辆路面纹理实时识别系统,其特征在于,所述道路检测中心子系统包括以下模块:
路面纹理信息监测模块,用于剔除数据库冗余数据,甄别数据准确性,并响应工业控制计算机的数据请求;
数据库存储模块,用于道路纹理信息数据和路面构造深度值的存储和更新;
无线传输模块,用于数据传输。
4.根据权利要求1所述的一种无人驾驶车辆路面纹理实时识别系统,其特征在于,所述构造深度三维检测子系统包括以下模块:
路面纹理图像预处理模块,用于对采集得到的路面纹理图像进行去噪、细节增强、对比度增强、图像分割处理;
路面纹理三维重建模块,用于通过多目三维重建将预处理后的路面图像重建为路面纹理三维模型;
路面纹理三维点云数据配准模块,用于对上述建立的道路表面纹理的三维模型进行畸变点去除、表面修补处理,并提取路面纹理信息点云数据;
三维点云转换空间坐标数据模块,用于将点云数据与世界坐标系进行对比,赋予点云数据局部坐标轴属性,完成点云数据从世界坐标系到局部坐标系的转换,并导出最终的路面表面纹理高程数据;
构造深度计算模块,用于根据路面表面纹理高程数据计算路面表面纹理数据的构造深度值;
无线传输模块,用于数据传输。
5.一种根据权利要求1-4任一项系统实现的无人驾驶车辆路面纹理实时识别方法,其特征在于,该方法包括以下步骤:
(1)无人驾驶车辆在行驶过程中,工业控制计算机向道路检测中心子系统发送数据请求;
(2)道路检测中心子系统向工业控制计算机进行数据请求反馈,工业控制计算机根据数据反馈情况选取不同策略采集路面纹理数据;
(3)工业控制计算机控制近景摄影测量子系统根据步骤(2)中确定的采集策略采集路面表面纹理图像;
(4)工业控制计算机控制构造深度三维检测子系统对步骤(3)中采集的路面表面纹理图像进行处理,计算得到路面表面纹理的构造深度值;
(5)道路检测中心子系统通过无线传输模块对路面表面构造深度值进行收集存储。
6.根据权利要求5所述的根据权利要求1-4任一项系统实现的无人驾驶车辆路面纹理实时识别方法,其特征在于,步骤(2)中,根据道路检测中心所反馈的数据情况,选取间隔采集模式或连续采集模式,具体方法如下:如果道路检测中心反馈无对应道路的路面纹理数据,则采用连续采集的模式获取路面表面纹理;如果道路检测中心反馈已有对应数据,则以间隔采集的模式对路面表面纹理进行采集;将道路检测中心反馈的数据与间隔采集的数据进行对比,两组数据之间的差异Δ超过预设阈值T,则判定道路检测中心的数据需要更新,那么工业控制计算机将选取连续模式对路面表面纹理进行采集;当两组数据之间差异Δ小于等于阈值T,则判定道路检测中心的数据暂时不需要更新,可以继续使用,并选取间隔采集来获取路面表面纹理,同时继续进行实时阈值判定,根据实时情况改变采集策略。
7.根据权利要求5所述的根据权利要求1-4任一项系统实现的无人驾驶车辆路面纹理实时识别方法,其特征在于,步骤(3)的具体方法:无人驾驶车辆运行时,触发旋转编码器工作,旋转编码器根据车辆行驶预定的固定距离产生脉冲,光电开关模块接收脉冲并触发CCD高速相机和激光器开始采集路面表面纹理图像信息,无线传输模块将采集图像信息传送至构造深度三维检测子系统。
8.根据权利要求5所述的根据权利要求1-4任一项系统实现的无人驾驶车辆路面纹理实时识别方法,其特征在于,步骤(4)中,对路面表面纹理信息进行处理运算包括对路面表面道路标线信息和路面表面杂物信息的去除,其方法如下:
对采集的图像中的任意像素点阈值分割后的像素值I(i,j):
式中,I′(i,j)为阈值分割后所采集图像不同均值范围内的像素值,μ为整幅图像的均值。
9.根据权利要求5所述的根据权利要求1-4任一项系统实现的无人驾驶车辆路面纹理实时识别方法,其特征在于,步骤(4)中,对路面表面纹理信息进行处理运算包括对图像进行纹理平衡的亮度补偿,其方法如下:
对于非阴影区域B和阴影区域S,图像中的任意像素点光线补偿后的像素值Ii,j,有:
式中,I′i,j为光线补偿后经过上述公式处理后的不同区域内的像素值;(i,j)为像素点坐标;DB为图像非阴影区的像素亮度值的标准方差,DS为图像阴影区的像素亮度值的标准方差,分别为非阴影区和阴影区的平均亮度。
10.根据权利要求5所述的根据权利要求1-4任一项系统实现的无人驾驶车辆路面纹理实时识别方法,其特征在于,步骤(4)中,所述计算路面表面纹理的构造深度值MTD的计算公式为:
V=∫∫D[F0-F(x,y)]dxdy
式中,MTD为路表某点深度值,单位为mm、F0为盖在道路表面上的空间平面、F(x,y)为路面高程点所形成的区域面、D为积分区域、V为路表面与平面F0间所围体积,单位为mm、A为区域D的面积,单位为mm。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810555130.XA CN108960060A (zh) | 2018-06-01 | 2018-06-01 | 一种无人驾驶车辆路面纹理识别系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810555130.XA CN108960060A (zh) | 2018-06-01 | 2018-06-01 | 一种无人驾驶车辆路面纹理识别系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108960060A true CN108960060A (zh) | 2018-12-07 |
Family
ID=64493370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810555130.XA Pending CN108960060A (zh) | 2018-06-01 | 2018-06-01 | 一种无人驾驶车辆路面纹理识别系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108960060A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109631841A (zh) * | 2018-12-25 | 2019-04-16 | 中国地质大学(武汉) | 一种基于激光投影的快速道路横断面测量方法及装置 |
CN110084115A (zh) * | 2019-03-22 | 2019-08-02 | 江苏现代工程检测有限公司 | 基于多维信息概率模型的路面检测方法 |
CN110175654A (zh) * | 2019-05-29 | 2019-08-27 | 广州小鹏汽车科技有限公司 | 一种轨迹路标的更新方法及系统 |
CN111123278A (zh) * | 2019-12-30 | 2020-05-08 | 科沃斯机器人股份有限公司 | 分区方法、设备及存储介质 |
CN111815596A (zh) * | 2020-06-30 | 2020-10-23 | 河海大学 | 一种基于双侧窄角域摄影的沥青路表构造信息评价方法 |
CN111959501A (zh) * | 2020-08-19 | 2020-11-20 | 河南联合力达新能源科技有限公司 | 一种无人驾驶汽车路面感应装置 |
CN112729148A (zh) * | 2020-12-18 | 2021-04-30 | 深圳市广宁股份有限公司 | 一种建构三维图像的道路构造深度检测方法、系统及装置 |
CN112758103A (zh) * | 2021-01-26 | 2021-05-07 | 北京罗克维尔斯科技有限公司 | 一种车辆控制方法及装置 |
CN112927366A (zh) * | 2021-05-10 | 2021-06-08 | 中南大学 | 一种沥青路面构造深度测量方法 |
CN113011392A (zh) * | 2021-04-25 | 2021-06-22 | 吉林大学 | 一种基于路面图像多纹理特征融合的路面类型识别方法 |
CN113335305A (zh) * | 2021-05-24 | 2021-09-03 | 云度新能源汽车有限公司 | 一种应用于自动驾驶路况预警的检测方法和系统 |
CN113807306A (zh) * | 2021-09-28 | 2021-12-17 | 江苏泰扬金属制品有限公司 | 利用云端服务的信息解析系统 |
CN114739312A (zh) * | 2022-04-26 | 2022-07-12 | 黄晓明 | 一种手持式路面构造深度激光测定装置 |
CN115438430A (zh) * | 2022-11-08 | 2022-12-06 | 上海伯镭智能科技有限公司 | 一种矿区车辆行驶稳定性预测方法和装置 |
WO2023131253A1 (zh) * | 2022-01-10 | 2023-07-13 | 武汉路特斯汽车有限公司 | 一种可识别路况的自动驾驶方法、系统及车辆 |
CN118274785A (zh) * | 2024-04-28 | 2024-07-02 | 兰深(北京)科技有限公司 | 一种路面高程检测方法、介质及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102706880A (zh) * | 2012-06-26 | 2012-10-03 | 哈尔滨工业大学 | 基于二维图像和深度信息的路面信息提取装置及使用该装置实现路面裂纹信息的检测方法 |
US20150224925A1 (en) * | 2012-12-20 | 2015-08-13 | Continental Teves Ag & Co. Ohg | Method for Determining a State of a Pavement from Surroundings Sensor Data |
CN105488459A (zh) * | 2015-11-23 | 2016-04-13 | 上海汽车集团股份有限公司 | 车载3d道路实时重构方法及装置 |
CN105913443A (zh) * | 2016-05-03 | 2016-08-31 | 黑龙江省交通科学研究所 | 模拟人眼识别技术检测沥青路面纹理的方法 |
CN106686165A (zh) * | 2016-12-30 | 2017-05-17 | 维沃移动通信有限公司 | 一种路况检测的方法及移动终端 |
-
2018
- 2018-06-01 CN CN201810555130.XA patent/CN108960060A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102706880A (zh) * | 2012-06-26 | 2012-10-03 | 哈尔滨工业大学 | 基于二维图像和深度信息的路面信息提取装置及使用该装置实现路面裂纹信息的检测方法 |
US20150224925A1 (en) * | 2012-12-20 | 2015-08-13 | Continental Teves Ag & Co. Ohg | Method for Determining a State of a Pavement from Surroundings Sensor Data |
CN105488459A (zh) * | 2015-11-23 | 2016-04-13 | 上海汽车集团股份有限公司 | 车载3d道路实时重构方法及装置 |
CN105913443A (zh) * | 2016-05-03 | 2016-08-31 | 黑龙江省交通科学研究所 | 模拟人眼识别技术检测沥青路面纹理的方法 |
CN106686165A (zh) * | 2016-12-30 | 2017-05-17 | 维沃移动通信有限公司 | 一种路况检测的方法及移动终端 |
Non-Patent Citations (7)
Title |
---|
QIN ZOU ET AL.: "Crack Tree: Automatic crack detection from pavement images", 《 PATTERN RECOGNITION LETTERS》 * |
QIN ZOU ET AL.: "Crack Tree: Automatic crack detection from pavement images", 《 PATTERN RECOGNITION LETTERS》, 29 February 2012 (2012-02-29), pages 230 * |
REGINALD B.KOGBARA ET AL.: "Relating surface texture parameters from close range photogrammetry to Grip-Tester pavement friction measurements", 《 CONSTRUCTION AND BUILDING MATERIALS 》 * |
REGINALD B.KOGBARA ET AL.: "Relating surface texture parameters from close range photogrammetry to Grip-Tester pavement friction measurements", 《 CONSTRUCTION AND BUILDING MATERIALS 》, 31 March 2018 (2018-03-31), pages 228 - 230 * |
舒以 等: "《二十一世纪科普小百科 上》", 30 September 1999, pages: 314 * |
苏瑜: "基于VC++与MATLAB混合编程的路面构造深度三维检测系统软件设计与实现", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
苏瑜: "基于VC++与MATLAB混合编程的路面构造深度三维检测系统软件设计与实现", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, 15 June 2017 (2017-06-15), pages 10 - 16 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109631841A (zh) * | 2018-12-25 | 2019-04-16 | 中国地质大学(武汉) | 一种基于激光投影的快速道路横断面测量方法及装置 |
CN109631841B (zh) * | 2018-12-25 | 2020-08-07 | 中国地质大学(武汉) | 一种基于激光投影的快速道路横断面测量方法及装置 |
CN110084115A (zh) * | 2019-03-22 | 2019-08-02 | 江苏现代工程检测有限公司 | 基于多维信息概率模型的路面检测方法 |
CN110175654B (zh) * | 2019-05-29 | 2021-06-01 | 广州小鹏自动驾驶科技有限公司 | 一种轨迹路标的更新方法及系统 |
CN110175654A (zh) * | 2019-05-29 | 2019-08-27 | 广州小鹏汽车科技有限公司 | 一种轨迹路标的更新方法及系统 |
CN111123278A (zh) * | 2019-12-30 | 2020-05-08 | 科沃斯机器人股份有限公司 | 分区方法、设备及存储介质 |
CN111123278B (zh) * | 2019-12-30 | 2022-07-12 | 科沃斯机器人股份有限公司 | 分区方法、设备及存储介质 |
CN111815596A (zh) * | 2020-06-30 | 2020-10-23 | 河海大学 | 一种基于双侧窄角域摄影的沥青路表构造信息评价方法 |
CN111815596B (zh) * | 2020-06-30 | 2022-08-19 | 河海大学 | 一种基于双侧窄角域摄影的沥青路表构造信息评价方法 |
CN111959501A (zh) * | 2020-08-19 | 2020-11-20 | 河南联合力达新能源科技有限公司 | 一种无人驾驶汽车路面感应装置 |
CN112729148A (zh) * | 2020-12-18 | 2021-04-30 | 深圳市广宁股份有限公司 | 一种建构三维图像的道路构造深度检测方法、系统及装置 |
CN112758103A (zh) * | 2021-01-26 | 2021-05-07 | 北京罗克维尔斯科技有限公司 | 一种车辆控制方法及装置 |
CN112758103B (zh) * | 2021-01-26 | 2022-06-17 | 北京罗克维尔斯科技有限公司 | 一种车辆控制方法及装置 |
CN113011392A (zh) * | 2021-04-25 | 2021-06-22 | 吉林大学 | 一种基于路面图像多纹理特征融合的路面类型识别方法 |
CN112927366A (zh) * | 2021-05-10 | 2021-06-08 | 中南大学 | 一种沥青路面构造深度测量方法 |
CN113335305A (zh) * | 2021-05-24 | 2021-09-03 | 云度新能源汽车有限公司 | 一种应用于自动驾驶路况预警的检测方法和系统 |
CN113807306A (zh) * | 2021-09-28 | 2021-12-17 | 江苏泰扬金属制品有限公司 | 利用云端服务的信息解析系统 |
WO2023131253A1 (zh) * | 2022-01-10 | 2023-07-13 | 武汉路特斯汽车有限公司 | 一种可识别路况的自动驾驶方法、系统及车辆 |
CN114739312A (zh) * | 2022-04-26 | 2022-07-12 | 黄晓明 | 一种手持式路面构造深度激光测定装置 |
CN114739312B (zh) * | 2022-04-26 | 2024-04-23 | 黄晓明 | 一种手持式路面构造深度激光测定装置 |
CN115438430A (zh) * | 2022-11-08 | 2022-12-06 | 上海伯镭智能科技有限公司 | 一种矿区车辆行驶稳定性预测方法和装置 |
CN115438430B (zh) * | 2022-11-08 | 2023-01-24 | 上海伯镭智能科技有限公司 | 一种矿区车辆行驶稳定性预测方法和装置 |
CN118274785A (zh) * | 2024-04-28 | 2024-07-02 | 兰深(北京)科技有限公司 | 一种路面高程检测方法、介质及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960060A (zh) | 一种无人驾驶车辆路面纹理识别系统及方法 | |
WO2023045299A1 (zh) | 基于三维轮廓的路面技术状况检测方法及设备 | |
CN105905132B (zh) | 一种轨道状态智能巡检装置和方法 | |
CN103778681B (zh) | 一种车载高速公路巡检系统及数据获取和处理方法 | |
CN103065465B (zh) | 基于物联网和动态3d gis的交通管理系统及其方法 | |
WO2018122808A1 (zh) | 一种基于舒适度的自动驾驶行驶规划方法 | |
CN106428558B (zh) | 一种基于空-轨两用无人机的轨道综合巡检方法 | |
CN106296814B (zh) | 公路养护检测与可视化交互方法和系统 | |
CN113808133B (zh) | 一种基于三维点云的地铁闸瓦故障检测方法 | |
CN106741890B (zh) | 一种基于空轨两用无人机的高速铁路安全检测系统 | |
CN108974044A (zh) | 铁路轨道资产勘测系统 | |
CN103837087B (zh) | 基于主动形状模型的受电弓自动检测方法 | |
CN109060821A (zh) | 基于激光检测的隧道病害检测方法及隧道病害检测装置 | |
CA3163192A1 (en) | Method for in-situ and real-time collection and processing of geometric parameters of railway lines | |
CN114357019A (zh) | 一种智能网联环境下路侧感知单元数据质量监测方法 | |
CN104648440B (zh) | 一种轮对几何参数在线测量系统及其方法 | |
CN109443197A (zh) | 一种接触网几何参数在线巡检系统 | |
CN106494611B (zh) | 一种空轨两用巡检无人机 | |
CN101425128A (zh) | 基于激光传感器深度图像的人流检测方法 | |
CN110458080A (zh) | 一种汽车行驶中前方坑洞的预判方法及系统 | |
CN111855667A (zh) | 一种适用于地铁车辆的新型智慧列检系统和检测方法 | |
CN110435689A (zh) | 基于模块化控制的智能障碍探测车及探测方法 | |
CN117782006A (zh) | 地形勘探设备及地形勘探方法 | |
CN108839676B (zh) | 一种列车车轮几何参数在线动态测量装置及测量方法 | |
CN115535026A (zh) | 一种铁路轨道平整度检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |