一种路面裂缝智能识别系统及方法
技术领域
本发明涉及道路工程检测技术领域,具体涉及一种路面裂缝智能识别系统及方法。
背景技术
目前,对于路面裂缝的修补主要靠人工修补。也即,先通过人工识别裂缝并进行标记,然后根据裂缝类型选择对应的方法进行补缝。采用人工识别裂缝这样的方式,效率低、耗时长、智能化程度低。
对此,文件CN110929757A公开了一种沥青路面裂缝类型快速分类方法,首先采用非局部均值去除图像中孤立噪声点;然后根据方向可调滤波器选取不同角度滤波后的最大值作为滤波结果,并生成裂缝轮廓图;对裂缝轮廓图采用辅助otsu法分割裂缝生成二值图像,去除二值图像中小于阈值的连通域,得到最终的分割结果;最后在x与y轴两个方向上积分投影,根据积分投影的特点分类裂缝类型。通过这样的方式,借助机器视觉与二维图像识别技术给出裂缝分类的结果,显著地减少分类所需的时间,极大地提升了检测速度。
由于二维图像检测方法对路面油污、轮胎痕迹、黑斑、树木阴影、光照不均等干扰因素非常敏感,极有可能会产生误判现象,因而基于三维信息的路面裂缝检测方法逐渐得到了应用。在路面三维数据采集过程中,一方面,当路面上存在非裂缝引起的深度变化时,获得的三维信息将不能反映路面裂缝的真实情况;另一方面,当路面裂缝被沙土等物质填充时,无也法准确获得裂缝数据。也即,获得的三维信息并不能反映路面裂缝的真实情况,也会存在误判的情况。
发明内容
本发明提供一种路面裂缝智能识别系统及方法,解决了现有技术获得的三维信息不能反映路面裂缝的真实情况从而会存在误判的技术问题。
本发明提供的基础方案为:一种路面裂缝智能识别系统,包括:
二维模块,用于采集路面的二维图像;
区域模块,用于根据二维图像判断路面是否存在裂缝区域:如果路面不存在裂缝区域,判定路面没有裂缝;如果路面存在裂缝区域,发送指令到三维模块;
三维模块,用于采集路面裂缝区域的三维图像;
裂缝模块,用于根据三维图像判断裂缝区域是否存在裂缝:如果裂缝区域不存在裂缝,判定路面没有裂缝;如果裂缝区域存在裂缝,判定路面有裂缝,发送指令到处理模块;
处理模块,用于对三维图像进行分析得到裂缝参数,并基于卷积神经网路对裂缝进行分类;
输出模块,用于按照分类结果输出裂缝以及对应的裂缝参数。
本发明的工作原理及优点在于:在裂缝的识别过程中,先根据二维图像进行判断,也即由二维图像主导沥青路面裂缝识别过程,只有当二维图像检测到裂缝出现时,才采集三维图像并根据三维图像进行判断。由于只有当二维图像检测到裂缝出现时才采集三维图像并根据三维图像进行判断,这样可以保证在路面出现裂缝区域时才获取三维图像,当路面上存在非裂缝引起的深度变化时就不会采集三维图像,从而能够保证获得的三维图像能够反映路面裂缝的真实情况;同样的,即使路面裂缝被沙土等物质填充,根据三维图像也能够确定出裂缝区域,从而准确获得裂缝数据。与此同时,相较于直接获取三维图像进行判断而言,能够减少数据量,提高运算速度。
本发明由二维图像主导沥青路面裂缝识别过程,只有当二维图像检测到裂缝出现时,才采集三维图像并根据三维图像进行判断,解决了现有技术获得的三维信息不能反映路面裂缝的真实情况从而会存在误判的技术问题。
进一步,区域模块包括:
特征单元,用于提取二维图像的路面区域的深层高维特征,并根据深层高维特征获取高维特征图;
区分单元,用于对高维特征图进行正负样本筛选,并从路面背景中区分裂缝区域;
定位单元,用于对裂缝区域进行坐标定位,并获得坐标信息。
有益效果在于:通过这样的方式,进行路面裂缝区域和路面背景的初步区分,有利于对裂缝区域进行精确定位,也有利于精确获取裂缝区域的坐标信息。
进一步,裂缝模块包括:
提取单元,用于读取裂缝区域的三维图像数据;
降噪单元,用于对三维图像数据进行降噪;
曲线单元,用于对三维图像数据进行拟合,并得到拟合曲线;
模型单元,用于根据拟合曲线生成裂缝三维模型。
有益效果在于:通过这样的方式,能够精确地得到裂缝的三维模型,从而避免在采集裂缝深度信息的过程中,出现裂缝虚假深度信息,比如实际路面裂缝中存在被尘土等异物填充的现象。
进一步,处理模块包括:
分类单元,用于采用卷积神经网路识别模型对裂缝进行分类;
参数单元,用于根据裂缝的三维模型提取裂缝的几何参数。
有益效果在于:通过这样的方式,对裂缝分类后便于根据裂缝的种类选取适当的修补方式,从而提高修补的效率与效果;得到裂缝的几何参数,有利于精确控制修补的过程。
进一步,裂缝的几何参数包括最大深度、平均深度、长度和最大宽度。
有益效果在于:通过这样的方式,得到最大深度、平均深度、长度和最大宽度,有利于对需要注入裂缝的材料用量进行预估。
本发明还提供一种路面裂缝智能识别方法,包括步骤:
S1、采集路面的二维图像;
S2、根据二维图像判断路面是否存在裂缝区域:如果路面不存在裂缝区域,判定路面没有裂缝;如果路面存在裂缝区域,进行下一步;
S3、采集路面裂缝区域的三维图像;
S4、根据三维图像判断裂缝区域是否存在裂缝:如果裂缝区域不存在裂缝,判定路面没有裂缝;如果裂缝区域存在裂缝,判定路面有裂缝,并进行下一步;
S5、对三维图像进行分析得到裂缝参数,并基于卷积神经网路对裂缝进行分类;
S6、按照分类结果输出裂缝以及对应的裂缝参数。
本发明当二维图像检测到裂缝出现时才采集三维图像并根据三维图像进行判断,解决了现有技术获得的三维信息不能反映路面裂缝的真实情况的技术问题。
进一步,S2根据二维图像判断路面是否存在裂缝区域包括:
S21、提取二维图像的路面区域的深层高维特征,并根据深层高维特征获取高维特征图;
S22、对高维特征图进行正负样本筛选,并从路面背景中区分裂缝区域;
S23、对裂缝区域进行坐标定位,并获得坐标信息。
有益效果在于:这样进行路面裂缝区域和路面背景初步区分,有利于对裂缝区域进行精确定位,也有利于精确获取裂缝区域的坐标信息。
进一步,S4根据三维图像判断裂缝区域是否存在裂缝包括:
S41、读取裂缝区域的三维图像数据;
S42、对三维图像数据进行降噪;
S43、对三维图像数据进行拟合,并得到拟合曲线;
S44、根据拟合曲线生成裂缝三维模型。
有益效果在于:这样能够精确地得到裂缝的三维模型,避免在采集裂缝深度信息的过程中出现虚假深度信息。
进一步,S5具体包括:
S51、采用卷积神经网路识别模型对裂缝进行分类;
S52、根据裂缝的三维模型提取裂缝的几何参数。
有益效果在于:这样便于根据裂缝的种类选取适当的修补方式,从而提高修补的效率与效果,也有利于精确控制修补的过程。
进一步,裂缝的几何参数包括最大深度、平均深度、长度和最大宽度。
有益效果在于:这样有利于对需要注入裂缝的材料用量进行预估。
附图说明
图1为本发明一种路面裂缝智能识别系统实施例的系统结构框图。
具体实施方式
下面通过具体实施方式进一步详细的说明:
实施例1
本发明一种路面裂缝智能识别系统实施例基本如附图1所示,包括:
二维模块,用于采集路面的二维图像;
区域模块,用于根据二维图像判断路面是否存在裂缝区域:如果路面不存在裂缝区域,判定路面没有裂缝;如果路面存在裂缝区域,进行下一步;
三维模块,用于采集路面裂缝区域的三维图像;
裂缝模块,用于根据三维图像判断裂缝区域是否存在裂缝:如果裂缝区域不存在裂缝,判定路面没有裂缝;如果裂缝区域存在裂缝,判定路面有裂缝,并进行下一步;
处理模块,用于对三维图像进行分析得到裂缝参数,并基于卷积神经网路对裂缝进行分类;
输出模块,用于按照分类结果输出裂缝以及对应的裂缝参数。
本实施例中,二维模块为摄像头,三维模块为三维激光扫描仪,区域模块、裂缝模块、处理模块均搭载在服务器上,通过程序、软件或者代码实现其功能,输出模块为显示屏。
具体实施过程如下:
S1、采集路面的二维图像。
摄像头安装在智能道路检测车上,对路面裂缝进行现场图像采集,也即通过摄像头对路面进行拍照,采集路面的二维图像。同时,除了摄像头外,智能道路检测车上还安装有红外激光辅助照明装置。当检测车行驶时,摄像头可以连续高速拍摄路面图像,同时,可利用红外滤光片去除阳光产生的阴影,从而保证采集的二维图像质量高,具有足够的分辨率。图像采集完毕后,被发送到服务器,以便区域模块进行处理。
S2、根据二维图像判断路面是否存在裂缝区域。
当服务器接收到摄像头采集到的二维图像后,区域模块采用图像识别技术,根据二维图像判断路面是否存在裂缝区域。具体而言,区域模块包括特征单元、区分单元和定位单元。
首先,特征单元提取二维图像的路面区域的深层高维特征,并根据深层高维特征获取高维特征图。在此之前,对二维图像进行粗分割以剔除无效区域,比如路面两侧的水沟、树木等。也即,二维图像中包括路面区域和路面区域以外的路旁无效区域,提剔除二维图像中路面区域以外的无效区域,剩下的即是路面区域。在此基础上,对路面区域进行高维特征提取,也就是提取不同于浅层边缘局部信息特征的图像特征,比如灰度值特征,裂缝区域的灰度值可能比路面边缘处的灰度值高;并根据提取到的深层高维特征获得高维特征图。
接着,区分单元对高维特征图进行正负样本筛选,并从路面背景中区分裂缝区域。也即,进行正负样本筛选,其中正样本为裂缝区域、负样本为路面背景,从而对路面区域进行初步识别,并将裂缝区域和路面背景区分开来。
最后,定位单元对裂缝区域进行坐标定位,并获得坐标信息。也就是说,得到裂缝区域后,在二维图像上对其进行坐标定位,定量确定裂缝区域在路面上的位置坐标。
如果说,没有从路面背景中区分出裂缝区域,也即路面上不存在裂缝区域,可直接判定路面没有裂缝;反之,从路面背景中区分出了裂缝区域,也即路面存在裂缝区域,为防止误判,还需要后续的判断。通过这样的方式,进行裂缝区域和路面背景的初步区分,有利于对裂缝区域进行精确定位,便于缩小裂缝的搜寻范围。
S3、采集路面裂缝区域的三维图像。
三维激光扫描仪也安装在智能道路检测车上,当从路面背景中区分出了裂缝区域,也即确定路面上存在裂缝区域后,为了进一步确定裂缝区域是否存在裂缝,需要采集路面裂缝区域的三维图像数据。这时,通过控制系统启动三维激光扫描仪,当三维激光扫描仪采集到路面裂缝区域的三维图像后,将三维图像数据发送到服务器。
S4、根据三维图像判断裂缝区域是否存在裂缝。
当服务器接收到三维激光扫描仪采集到的三维图像数据后,裂缝模块根据三维图像判断裂缝区域是否存在裂缝,具体而言,裂缝模块包括提取单元、降噪单元、曲线单元和模型单元。首先,提取单元读取裂缝区域的三维图像数据,也即读取裂缝区域三维图像中各个点的三维坐标值。然后,降噪单元对三维图像数据进行降噪,比如采用滤波的方式去除噪声。接着,曲线单元对三维图像数据进行拟合,也就是将裂缝区域三维图像中各个点拟合成曲线,并得到拟合曲线。最后,模型单元根据拟合曲线生成裂缝三维模型,也就是生成最外面拟合曲线的包络面,从而得到由包络面围成的立体状,即为裂缝的三维模型。
如果最外面拟合曲线的包络面能够围成立体状,说明裂缝区域存在裂缝,判定路面有裂缝;反之,如果最外面拟合曲线的包络面不能够围成立体状,说明裂缝区域不存在裂缝,判定路面没有裂缝。
S5、对三维图像进行分析得到裂缝参数,并基于卷积神经网路对裂缝进行分类。
如果最外面拟合曲线的包络面能够围成立体状,说明裂缝区域存在裂缝,判定路面有裂缝,这时就需要处理模块对裂缝进行分类,并获取裂缝的几何参数。具体而言,处理模块包括分类单元和参数单元,其中分类单元采用卷积神经网路识别算法对裂缝进行分类,比如分为横向裂缝(裂缝与路面走向的夹角为90度)、纵向裂缝(裂缝与路面走向的夹角为0度)、斜向裂缝(裂缝与路面走向的夹角在0~90度之间);参数单元根据裂缝的三维模型提取裂缝的几何参数,比如最大深度、平均深度、长度以及最大宽度。这样,便于根据裂缝的种类选取适当的修补方式,从而提高修补的效率与效果;同时,可对需要注入裂缝的材料用量进行预估,有利于精确控制修补的过程。
S6、按照分类结果输出裂缝以及对应的裂缝参数。
最后,通过显示屏显示裂缝的分类结果以及对应的裂缝几何参数。
实施例2
与实施例1不同之处仅在于,提取二维图像的路面区域的深层高维特征,根据深层高维特征获得高维特征图时,首先利用卷积神经网络构造特征提取网络,在特征提取网络中添加一个基于K-means聚类算法的分割层;然后利用分割层筛选剔除二维图像的路旁无效区域,获得二维图像的路面区域;最后利用特征提取网络将路面区域的低纬度特征组合成高纬度特征,获得高维特征图。
实施例3
与实施例2不同之处仅在于,摄像头共有两个,包括摄像头A和摄像头B,安装在车辆头上;摄像头A和摄像头B位于同一直线,且与车辆前进的方向相同。在本实施例中,摄像头A和摄像头B的偏转角度可以在30~60度之间变化,偏转角度是指摄像头发射的光线与垂直路面的直线之间的夹角,摄像头向车辆前方偏转,偏转角为正。
初始时,摄像头A和摄像头B的偏转角均为30度,在车辆向前行驶的过程中,实时检测车辆的行驶速度,并将检测到车辆的行驶速度发送到服务器。如果车辆的行驶速度在0~30km/h之间,服务器发送信号到控制系统,使得摄像头A和摄像头B的偏转角均保持30度不变;如果车辆的行驶速度在30~45km/h之间,服务器发送信号到控制系统,使摄像头B发生偏转,直到偏转角为60度,并保持60度不变。
如果车辆的行驶速度大于45km/h,服务器发送信号到控制系统,使得摄像头A的偏转角,先从30度逐渐变为60度,后从60度逐渐变为30度,也即摄像头A的偏转角的变化规律为“30~60~30”,周期循环;与此同时,使得摄像头B的偏转角,先从60度逐渐变为30度,后从30度逐渐变为60度,也即摄像头B的偏转角的变化规律为“60~30~60”,周期循环。通过这样的方式,可以确保拍摄的图片不发生畸变,同时延长了路面成像的时间,避免了图像大范围的变化。
以上所述的仅是本发明的实施例,方案中公知的具体结构及特性等常识在此未作过多描述,所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识,能够获知该领域中所有的现有技术,并且具有应用该日期之前常规实验手段的能力,所属领域普通技术人员可以在本申请给出的启示下,结合自身能力完善并实施本方案,一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出,对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以作出若干变形和改进,这些也应该视为本发明的保护范围,这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。