CN107230202A - 路面病害图像的自动识别方法和系统 - Google Patents

路面病害图像的自动识别方法和系统 Download PDF

Info

Publication number
CN107230202A
CN107230202A CN201710342003.7A CN201710342003A CN107230202A CN 107230202 A CN107230202 A CN 107230202A CN 201710342003 A CN201710342003 A CN 201710342003A CN 107230202 A CN107230202 A CN 107230202A
Authority
CN
China
Prior art keywords
image
mrow
crack
pavement
msub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710342003.7A
Other languages
English (en)
Other versions
CN107230202B (zh
Inventor
颉正
高尚兵
周君
姜海林
张有东
陈晓兵
李锐
覃方哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN201710342003.7A priority Critical patent/CN107230202B/zh
Publication of CN107230202A publication Critical patent/CN107230202A/zh
Application granted granted Critical
Publication of CN107230202B publication Critical patent/CN107230202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种路面病害图像的自动识别方法和系统。该方法包括:将拍摄的路面图像进行预处理,包括Gamma灰度校正、高斯滤波增强和局部自适应二值化;对二值化图像进行边缘检测;对边缘检测后的图像进行连通域轮廓检测,获得连通域的个数和连通域轮廓的外接矩形;根据连通域轮廓的外接矩形的形状判断出路面裂缝所在区域;根据路面裂缝所在区域的位置信息从边缘检测后的图像中提取裂缝区域图像,并叠加黑色模板形成与原始图像大小相同的裂缝特征图像;基于卷积神经网络对裂缝特征图像进行分类。与现有技术相比,本发明对于路面病害中的裂缝定位具有十分优异的检测效率,而且对于不同特征的裂缝图像具有不错的鲁棒性表现。

Description

路面病害图像的自动识别方法和系统
技术领域
本发明涉及一种路面病害图像的自动识别方法和系统,属于图像处理技术领域。
背景技术
路面病害中路面裂缝作为路面病害在高等级公路路面破损的主要表现形式,对于现代化、高效率的公路养护非常重要。由于传统的人工检测方法耗时长、不准确、危险性高、妨碍交通、主观差异性大,现在多采用高精度相机快速拍摄路面图像,进行计算机自动检测。各种各样的路面裂缝检测定位算法被提出。
根据裂缝区域的灰度值较低的图像特点,谢昌荣等发表路面裂缝检测图像处理算法的研究中通过分析各种经典的图像处理算法优异性,进行裂缝检测。KirschkeK R提出了基于直方图统计的裂缝检测策略。Egemen T等提出了直方图投影的算法,采用形态学算子消除图像分割后的噪声,获取裂缝。根据裂缝特征的频域角度出发,Bahram J等提出了基于小波变换的检测算法,马常霞等提出了结合NSCT和图像形态学的裂缝检测算法,王刚等运用了脊波变换检测局部线性裂缝。将二维图像映射到三维曲面,唐磊等提出了基于三维地形的路面裂缝检测方法。也有一些跨领域的方法也被提出,用以刻画复杂环境下的裂缝特征,如任亮等提出的基于Prim最小生成树的方法,邹勤等提出的利用目标点最小生成树的检测算法,马常霞等提出的基于分数阶微分的裂缝检测算法。这些算法在某些环境的路面图像中,取得了较好的检测效果。但对于复杂情况下的含有较多非裂缝信息,较多干扰物的情况下,却无法达到理想的识别效果。
发明内容
发明目的:针对现有技术中存在的问题,本发明目的在于提供一种路面病害图像的自动识别方法和系统,提高路面裂缝检测效率,且能适用于不同特征的裂缝图像,具有较理想识别效果。
技术方案:为实现上述发明目的,本发明提供一种路面病害图像的自动识别方法,包括如下步骤:
(1)将拍摄的路面图像进行预处理,所述预处理包括Gamma灰度校正、高斯滤波增强和局部自适应二值化;
(2)对预处理后得到的二值化图像进行边缘检测;
(3)对边缘检测后的图像进行连通域轮廓检测,获得连通域的个数和连通域轮廓的外接矩形;
(4)根据连通域轮廓的外接矩形的形状判断出路面裂缝所在区域;
(5)根据路面裂缝所在区域的位置信息从边缘检测后的图像中提取裂缝区域图像,并叠加黑色模板形成与原始图像大小相同的裂缝特征图像;
(6)基于卷积神经网络对裂缝特征图像进行分类。
作为优选,所述步骤(1)中对图像进行Gamma灰度校正时,校正参数γ<1,将图像的高光部分拓展而暗调部分压缩。
作为优选,所述步骤(1)中局部自适应二值化的计算方法为:
其中,(x1,y1)、(x2,y2)为局部区域的左上角和右下角点的坐标值, 为局部区域的长和宽,S(x,y)为局部区域范围内像素点积分图像值,S(i,j)为局部区域的中心点的积分图像值,I(i,j)为二值化后的灰度值。
作为优选,所述步骤(2)中采用Canny算子进行边缘检测。
作为优选,所述步骤(4)中路面裂缝所在区域的判断依据为:若外接矩形的宽和高之和大于等于设定的阈值,则认为是路面裂缝所在区域。
作为优选,所述步骤(6)中卷积神经网络包括三层卷积层和一层全连接层,前两层卷积层连接池化层,全连接层有四个神经元,神经网络训练集中的图像包括横向裂缝图像、纵向裂缝图像、网状裂缝图像和无裂缝图像。
本发明还提供一种路面病害图像的自动识别系统,包括:预处理模块,用于对拍摄的路面图像进行预处理,所述预处理模块包括:灰度校正单元,用于对原始图像进行Gamma灰度校正处理;滤波增强单元,用于对灰度校正后的图像进行高斯滤波增强处理;以及,二值化单元,用于对滤波增强后的图像进行局部自适应二值化处理;边缘检测模块,用于对二值化后的图像进行边缘检测;裂缝区域定位模块,用于对边缘检测后的图像进行连通域轮廓检测,获取连通域轮廓的外接矩形,并基于外接矩形的形状定位路面裂缝所在区域;裂缝精确分割模块,用于根据裂缝所在区域的位置信息从边缘检测后的图像中提取裂缝区域图像,并叠加黑色模板形成与原始图像大小相同的裂缝特征图像;以及,裂缝分类模块,用于基于卷积神经网络对裂缝特征图像进行分类。
有益效果:本发明提供的路面病害图像的自动识别方法和系统,是在大量观察裂缝图像的特征,发现路面裂缝图像具有灰度值低、稀疏性、裂缝区域的连通性等特征的基础上,对传统的图像处理算法进行分析与改进,结合最大连通域,设计了适用于检测裂缝的定位和分割算法,并结合卷积神经网络的网络结构对裂缝特征图像进行分类,以实现路面病害图像的自动识别。实验表明,与现有技术相比,本发明对于路面病害中的裂缝定位具有十分优异的检测效率,而且对于不同特征的裂缝图像具有不错的鲁棒性表现。
附图说明
图1为本发明实施例的方法流程图。
图2为局部自适应二值化方法中4×4图像的灰度值数组示意图。其中(a)为图像灰度值数组,(b)为灰度值求和后的数组。
图3为局部自适应二值化方法中图像区域划分示意图。
图4裂缝图像预处理结果图。其中(a)为原始图像,(b)为灰度校正后的图像,(c)为高斯滤波后图像,(d)为局部自适应二值化后的图像。
图5为边缘检测得到的图像结果图。
图6为裂缝定位算法OpenCV实现流程图。
图7为基于裂缝区域位置信息对裂缝进行精确分割的流程图。
图8为各种裂缝检测定位视觉效果图。其中(a)为横向裂缝1的检测定位,(b)为横向裂缝2的检测定位,(c)为纵向裂缝检测定位,(d)网状裂缝的检测定位。
图9为裂缝分割图视觉效果对比图。其中(a)为原图,(b)-(d)分别为采用AC算法思想、LC算法思想、FT算法思想的分割结果图,(e)为本发明精确分割的结果图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示,本发明实施例公开的一种路面病害图像自动识别方法,首先将拍摄的路面图像进行预处理,然后对预处理后图像进行边缘检测,接着进行连通域轮廓检测,并基于连通域轮廓的外接矩形的形状进行裂缝区域定位和分割得到裂缝特征图像,最后基于卷积神经网络对裂缝特征图像进行分类。详细处理步骤如下。
步骤1:图像预处理
通过摄像机实际拍摄的路面裂缝图像,存在复杂大量的噪声成分:路面材料颗粒形成的大范围随机纹理覆盖整幅图像;光照不均引起图像中间亮周围暗的典型变化;路面油污、水渍、杂物以及行道线的干扰。
鉴定于原始路面图像中的情况复杂,且缺乏丰富的彩色信息,本发明先从图像预处理的角度出发,进行灰度矫正和滤波处理,降低背景噪声影响,突出裂缝信息。
步骤1.1:灰度矫正
经过大量观察裂缝图片可知,路面裂缝最明显的特征就是裂缝中心的灰度级比其周围背景要黑。由于光照不均产生的中间亮两边暗、偏暗的影响。并且整体灰度偏低,为了突出裂缝灰度级上的显著性,在此应用一种非线性变化算法Gamma灰度矫正算法。
该算法对输入图像的灰度值进行指数变换,进而矫正亮度偏差,可应用于扩展暗亮的细节,其计算公式如下:
其中A是常数,Vin为矫正前输入图像,Vout为矫正后的图像,γ为矫正的参数。当γ>1时,图像高光部分被压缩而暗调部分被拓展,当γ<1时,图像的高光部分被拓展而暗调部分被压缩。经过大量实验,γ=0.75,效果最佳。
步骤1.2通过滤波增强图像特征
对于路面裂缝的图像其最明显的一个特点是存在复杂大量的噪声和干扰点,由于裂缝具有稀疏性和连续性,可以对其进行滤波操作进而减少非裂缝因素的影响。同时由于裂缝特征明显,可以达到增强裂缝显著性特征的效果。因此,对灰度校正后的图像应用高斯滤波进行处理。考虑到公路路面的粗糙程度,本发明实施例采用5*5的高斯卷积核进行处理。
步骤1.3局部自适应二值化
图像二值化是指图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的黑白效果。经过以上处理的图像在图像二值化时,传统的二值化方法对于路面裂缝图像的二值化效果均不佳。本发明参照DBG Roth的方法,进行改进优化达到了对于裂缝图像的裂缝区域良好的二值化效果。
首先灰度化后的单通道,各处的像素值如图2(a)。之后得到每个点的左上方所有点的像素值之和(包括该点,即灰度值积分)并可用一个二维数组暂时存储,如图2(b)所示。
一般地,图像二值化就是给定一个阈值,当图像中某一点的像素值大于阈值时令它的像素为255(0),像素值小于阈值时为0(255)。而区域二值化,就是把图片划分为若干的区域,每个区域有各自的阈值,再分别判定。
如图3所示,我们要判定区域D时,就可以利用图2(b)的积分图像,通过计算区域D的总阈值,计算公式如下:
其中,(x1,y1)、(x2,y2)为区域D的左上角和右下角点的坐标值,S(x,y)为点(x,y)的积分图像值。
总阈值与区域内的像素个数求平均值得到该区域的平均值P。本实施例中使用区域中心点(i,j)的积分图像值与平均值P进行比较,若S(i,j)>P,则重写点(i,j)的像素为255(0),反之为0(255)。计算公式如下:
其中表示图像中区域D的长和宽,S(i,j)为区域中心点的灰度值,I(i,j)为二值化后的灰度值。
图4为对一幅横向裂缝图像进行预处理后的结果图,其中(a)为原始图像,(b)为灰度校正后的图像,(c)为高斯滤波后图像,(d)为局部自适应二值化后的图像。
步骤2:图像边缘检测
通过上述对于路面裂缝图像的预处理,大大削弱了已存在复杂大量的噪声和干扰点对裂缝信息的干扰。可采用常见的边缘检测算法对二值化后的图像进行边缘检测,如Sobel、Laplace、Roberts、Canny等。本发明实施例采用Canny算子实现边缘检测,如图5所示为边缘检测的结果。
步骤3:图像中裂缝的定位与裂缝的精确分割
步骤3.1:基于最大连通域的轮廓定位
通过对大量的裂缝进行图像预处理和图像分割后发现,裂缝在图片中具有最大连通性。利用该特性,我们可用通过检测裂缝图像中的连通域来确定裂缝的位置。
该算法在裂缝图像的预处理和边缘检测的基础上,可以对裂缝进行一个检测定位。通过图像轮廓函数检测,获取每个连通域轮廓矩形,通过遍历所有轮廓的外接矩形,根据矩形的形状判断选取较大的连通域为目标区域。记录该区域的坐标,标记出该区域。
算法如下:
第一步:对于边缘检测图像进行连通域轮廓检测,轮廓个数为N;
第二步:获取连通域轮廓的外接矩形为RectN(x,y,width,height),其中x,y,width,height分别为矩形的左上角点的坐标和矩形的宽和高;
第三步:通过遍历检测出的所有轮廓,轮廓个数N,设置轮廓外接矩形的宽与高之和大于等于参数限制T,即width+height≥T,获取我们所需要的连通域轮廓的位置信息RectN
第四步:对于获取到的连通域轮廓的外接矩形进行记录,该外接矩形对应的位置区域在原图中即为路面裂缝区域。
在本实验中,对于512×512的裂缝输入图像,经过大量实验,参数限制T选取200。并通过C++和OpenCV进行实现。OpenCV算法流程图如图6。
步骤3.2:基于连通域的裂缝精确分割
对于一些路面情况复杂、噪声多、干扰信强的裂缝而言,边缘检测后的图像不能明显突出裂缝信息,容易造成裂缝特征信息的干扰。通过观察发现,裂缝特征虽然不明显,但仍具有最大连通性,利用该特性,结合上述基于连通域的轮廓定位算法可以对裂缝图片进行精确分割。
如图7所示,具体算法流程如下:
第一步:通过3.1算法将图像中裂缝区域定位,得到裂缝图像中的裂缝位置信息为RectN(x,y,width,height),其中x,y,width,height分别为矩形的左上角点的坐标和矩形的宽和高;若通过3.1算法没有检测出裂缝区域的位置(无裂缝),跳过二、三步骤,输出512×512的黑色图像;
第二步:在边缘检测结果图中使用该位置信息提取裂缝区域;
第三步:通过与512×512的黑色图像模板的叠加后组成与原图大小一致的完整的裂缝特征图像。
步骤4:基于卷积神经网络的裂缝分类
卷积神经网络在图像分类识别中具有很好的表现,卷积神经网络的网络结构如下:
输入层:直接接收二维视觉模式,即二维特征图像。
卷积层:也称为特征提取层(Convolutional Layer,简称C层),每个卷积层包含多个卷积神经元,每个卷积神经元的输入与前一层的局部感受域相连,并提取该局部的图像特一旦该局部特征被提取后,它与其他特征间的位置关系也随之确定下来。
激活函数:(Rectified Linear Units,简称ReLu)ReLu是作用于各连接单元后的激活单元,采用折页函数。它相对于传统神经网络中的sigmoid函数而言,在保证非线性的同时,能更好地反传梯度,还使得每层结果具有一定稀疏性。
池化层:池化方法一般有最大池化和平均池化,相当于对图像进行下采样,即以某图像区域的最大值或平均值取代该区域,从而缩小图像尺寸,使提取特征具有一定旋转、平移不变性。
全连接层:(fully connected layers,简称FC)最后一层隐层所得到的二维特征模式被拉伸成一个向量,与输出层以全连接方式相连,起到将学到的“分布式特征表示”映射到样本标记空间的作用。可输出类别标签之间的映射关系。
随机dropout:随机dropout每次随机选取该层部分权重进行训练,有利于防止过拟合,提升网络泛化能力。
Softmax函数:softmax函数用于最后的结果输出,表达式如式4所示,K为类别数,zj为K维向量的第j维分量,输出可视为第j类的概率。
针对路面病害中裂缝的分类问题,本发明实施例方法设计的卷积神经网络结构共有4层,前3层为卷积层,最后一层为全连接层。
网络的输入为512×512大小的单通道灰度图像(将原始图像经过预处理、边缘检测、裂缝定位和分割后得到的裂缝特征图像)。为保证网络深度,减少参数,提升网络泛化能力,该网络前两个卷积层采用的卷积核的尺寸较小,均为3×3。最后一个卷积层卷积核大小为15×15。所有卷积核都同时作用于相应前一层的所有特征图上,且同一卷积核对于前一层不同特征图的权重不一致。三个卷积层所采用的卷积核种类依次为16、32、216个,逐层抽象地提取不同特征。
在前两个卷积层之后都连接了池化层,池化方法为平均池化。池化过程中未对图像进行扩充,池化窗口大小依次为2×2、4×4,滑动窗口步长相应分别为2、4。每个池化层后都通过激活函数进行非线性激活。
最后一层为全连接层,共有4个神经单元。在最后一个卷积层和全连接层后都增加了随机dropout层以提升网络泛化能力,比例为0.5。最后采用softmax函数进行输出。
本发明实施例公开的一种路面病害图像的自动识别系统,主要包括预处理模块、边缘检测模块、裂缝区域定位模块、裂缝精确分割模块以及裂缝分类模块。其中预处理模块用于对拍摄的路面图像进行预处理,主要包括:灰度校正单元,用于对原始图像进行Gamma灰度校正处理;滤波增强单元,用于对灰度校正后的图像进行高斯滤波增强处理;以及二值化单元,用于对滤波增强后的图像进行局部自适应二值化处理。边缘检测模块用于对二值化后的图像进行边缘检测;裂缝区域定位模块用于对边缘检测后的图像进行连通域轮廓检测,获取连通域轮廓的外接矩形,并基于外接矩形的形状定位路面裂缝所在区域;裂缝精确分割模块用于根据裂缝所在区域的位置信息从边缘检测后的图像中提取裂缝区域图像,并叠加黑色模板形成与原始图像大小相同的裂缝特征图像;裂缝分类模块用于基于卷积神经网络对裂缝特征图像进行分类。
下面结合具体实验,对本发明实施例的效果及优势做进一步说明。
实验环境为Intel(R)Core(TM)i5-4210U CPU,8G内存的PC机。实验数据来源为淮安公路养护处的公路裂缝图片数据集,图像大小为512×512像素,精度为0.92mm/pixel,共5000张,其中含有裂缝的图像为3668张。根据裂缝的分类标准,我们采用具有代表性的横向裂缝、纵向裂缝以及网状裂缝进行实验。
通过图像的灰度矫正、滤波增强、具备自适应二值化、边缘检测处理后,利用裂缝图像中裂缝区域的最大连通性,设计出针对裂缝图像的裂缝区域的检测定位算法,通过图框将裂缝区域在原图中显示出来。图8(a)、(b)为横向裂缝存在的路面图像的算法效果,图8(c)为纵向裂缝存在的路面图像的算法效果,图8(d)为网状裂缝存在的路面图像的算法效果。可以从实验结果看出可以准确定位到路面图像中的裂缝位置。
为了验证算法的有效性和正确性,我们取检测路段中不同光照条件和检测条件下的三组图像,每组各1000幅图像,各组别222张、400张、284张裂缝图片。
设图像总数为K,实际存在裂缝的图像数为M,不存在裂缝的图像数为N,检测出的裂缝图像数为T,存在裂缝但未检测出来的数目为m,算法将无裂缝图像误检为存在裂缝图像的数目为n,则检测结果的正确率如表1:
表1裂缝图像检测定位正确率结果
漏检率和误检率结果如表2:
表2漏检率和误检率统计结果
从表1和表2中可知,三组数据中的检测正确率都在92%以上,漏检率和误检率都小于8%,证明本方法有效,满足实际检测需求。
在图像分割算法的处理方面,本发明通过与现有的基于显著性分割处理的算法进行比较。现有的显著性算法主要有AC、LC和FT算法,将这些经典的显著性算法思想作用于裂缝灰度图像,命名为AC-G、LC-G、FT-G,通过与本发明方法中结合裂缝特征的精确分割算法的对比,结果如图9。图9(a)为有横向裂缝存在的路面图像,其中存在着水泥结块、小凹槽、横向条纹、局部黑斑等影响。9(b)-9(d)为AC-G、LC-G、FT-G算法显著性分割的结果,虽然对于裂缝具有较好的分割效果,但对于非裂缝信息和路面背景噪声的过滤确效果不佳。AC-G和FT-G整体分割较好、但对于非裂缝信息水泥结块、小凹槽无法过滤、裂缝特性显示较弱,LC-G在分割后产生了很多细碎的噪声点。
通过实验结果可以看出本发明方法在通过灰度矫正、滤波增强在很大程度上削弱了路面噪声的影响,通过利用裂缝在图像中的最大连通性,有效过滤掉了多余的非裂缝信息(如图中的水泥结块、小凹槽),并且裂缝整体更加突出,如图9(d)。
在裂缝图像的识别方面,本发明设计的4层卷积神经网络进行裂缝图像的分类识别。根据裂缝的分类标准,训练集来源淮安公路养护处的裂缝数据图片集,其中横向裂缝1024张、纵向裂缝1024张、网状裂缝1024张,同时添加负样本集即不含有裂缝的图像1024张。图像为512×512大小、经过预处理、分割后的灰度图像。每类120张非训练集中的图像进行识别效果测试,结果见表3。
表3算法测试识别准确率结果
从表3可以看出本发明设计的4层卷积神经网络算法在准确率以及识别速度上相比传统的特征+SVM算法具有一定的优势性。
综上,本发明实施例将裂缝的检测和分割与卷积神经网络相结合,首先通过图像预处理与边缘检测后,利用裂缝图像中裂缝区域的最大连通性,设计出针对裂缝图像的裂缝区域的检测定位算法,利用该特性在检测定位算法的基础上进行裂缝图像的精确分割。最后使用卷积神经网络算法进行分类识别。结果表明本发明方法对复杂环境下的各种裂缝都有效,即使对于含有较多非裂缝信息、干扰物较多的路面图像,也能取得非常优异的识别结果。

Claims (7)

1.路面病害图像的自动识别方法,其特征在于,包括如下步骤:
(1)将拍摄的路面图像进行预处理,所述预处理包括Gamma灰度校正、高斯滤波增强和局部自适应二值化;
(2)对预处理后得到的二值化图像进行边缘检测;
(3)对边缘检测后的图像进行连通域轮廓检测,获得连通域的个数和连通域轮廓的外接矩形;
(4)根据连通域轮廓的外接矩形的形状判断出路面裂缝所在区域;
(5)根据路面裂缝所在区域的位置信息从边缘检测后的图像中提取裂缝区域图像,并叠加黑色模板形成与原始图像大小相同的裂缝特征图像;
(6)基于卷积神经网络对裂缝特征图像进行分类。
2.根据权利要求1所述的路面病害图像的自动识别方法,其特征在于,所述步骤(1)中对图像进行Gamma灰度校正时,校正参数γ<1,将图像的高光部分拓展而暗调部分压缩。
3.根据权利要求1所述的路面病害图像的自动识别方法,其特征在于,所述步骤(1)中局部自适应二值化的计算方法为:
<mrow> <mi>I</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>255</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mfrac> <mn>1</mn> <mrow> <msub> <mi>M</mi> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <msub> <mi>x</mi> <mn>2</mn> </msub> </mrow> </msub> <msub> <mi>N</mi> <mrow> <msub> <mi>y</mi> <mn>1</mn> </msub> <msub> <mi>y</mi> <mn>2</mn> </msub> </mrow> </msub> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>x</mi> <mo>=</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> </mrow> <msub> <mi>x</mi> <mn>2</mn> </msub> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>y</mi> <mo>=</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> </mrow> <msub> <mi>y</mi> <mn>2</mn> </msub> </munderover> <mi>S</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中,(x1,y1)、(x2,y2)为局部区域的左上角和右下角点的坐标值, 为局部区域的长和宽,S(x,y)为局部区域范围内像素点的积分图像值,S(i,j)为局部区域的中心点的积分图像值,I(i,j)为二值化后的灰度值。
4.根据权利要求1所述的路面病害图像的自动识别方法,其特征在于,所述步骤(2)中采用Canny算子进行边缘检测。
5.根据权利要求1所述的路面病害图像的自动识别方法,其特征在于,所述步骤(4)中路面裂缝所在区域的判断依据为:若外接矩形的宽和高之和大于等于设定的阈值,则认为是路面裂缝所在区域。
6.根据权利要求1所述的路面病害图像的自动识别方法,其特征在于,所述步骤(6)中卷积神经网络包括三层卷积层和一层全连接层,前两层卷积层连接池化层,全连接层有四个神经元,神经网络训练集中的图像包括横向裂缝图像、纵向裂缝图像、网状裂缝图像和无裂缝图像。
7.采用如权利要求1-6任一项所述路面病害图像的自动识别方法的路面病害图像的自动识别系统,其特征在于,包括:
预处理模块,用于对拍摄的路面图像进行预处理,包括:
灰度校正单元,用于对原始图像进行Gamma灰度校正处理;
滤波增强单元,用于对灰度校正后的图像进行高斯滤波增强处理;
以及,二值化单元,用于对滤波增强后的图像进行局部自适应二值化处理;
边缘检测模块,用于对二值化后的图像进行边缘检测;
裂缝区域定位模块,用于对边缘检测后的图像进行连通域轮廓检测,获取连通域轮廓的外接矩形,并基于外接矩形的形状定位路面裂缝所在区域;
裂缝精确分割模块,用于根据裂缝所在区域的位置信息从边缘检测后的图像中提取裂缝区域图像,并叠加黑色模板形成与原始图像大小相同的裂缝特征图像;
以及,裂缝分类模块,用于基于卷积神经网络对裂缝特征图像进行分类。
CN201710342003.7A 2017-05-16 2017-05-16 路面病害图像的自动识别方法和系统 Active CN107230202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710342003.7A CN107230202B (zh) 2017-05-16 2017-05-16 路面病害图像的自动识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710342003.7A CN107230202B (zh) 2017-05-16 2017-05-16 路面病害图像的自动识别方法和系统

Publications (2)

Publication Number Publication Date
CN107230202A true CN107230202A (zh) 2017-10-03
CN107230202B CN107230202B (zh) 2020-02-18

Family

ID=59933567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710342003.7A Active CN107230202B (zh) 2017-05-16 2017-05-16 路面病害图像的自动识别方法和系统

Country Status (1)

Country Link
CN (1) CN107230202B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945153A (zh) * 2017-11-07 2018-04-20 广东广业开元科技有限公司 一种基于深度学习的路面裂缝检测方法
CN108229461A (zh) * 2018-01-16 2018-06-29 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道裂缝快速识别方法
CN108304844A (zh) * 2018-01-30 2018-07-20 四川大学 基于深度学习二值化卷积神经网络的农业病虫害识别方法
CN108765404A (zh) * 2018-05-31 2018-11-06 南京行者易智能交通科技有限公司 一种基于深度学习图像分类的道路破损检测方法及装置
CN108898085A (zh) * 2018-06-20 2018-11-27 安徽大学 一种基于手机视频的道路病害智能检测方法
CN109949290A (zh) * 2019-03-18 2019-06-28 北京邮电大学 路面裂缝检测方法、装置、设备及存储介质
CN109977978A (zh) * 2017-12-28 2019-07-05 中兴通讯股份有限公司 一种多目标检测方法、装置及存储介质
CN110060232A (zh) * 2019-03-15 2019-07-26 深圳高速工程顾问有限公司 隧道裂缝识别方法、装置、计算机设备和存储介质
CN110163842A (zh) * 2019-04-15 2019-08-23 深圳高速工程检测有限公司 建筑裂缝检测方法、装置、计算机设备和存储介质
CN110619637A (zh) * 2019-08-16 2019-12-27 上海吉汭泰网络科技有限公司 基于模板的服装图像多特征统计分割方法
CN110738646A (zh) * 2019-10-12 2020-01-31 北京城市排水集团有限责任公司 一种用于管道破裂的自动识别方法
CN111860123A (zh) * 2020-06-04 2020-10-30 华南师范大学 一种识别工作区域边界的方法
CN112132431A (zh) * 2020-09-15 2020-12-25 交通运输部公路科学研究所 一种多层次多孔路面结构空隙连通性检测方法
CN112304960A (zh) * 2020-12-30 2021-02-02 中国人民解放军国防科技大学 一种基于深度学习的高分辨率图像物体表面缺陷检测方法
CN112419250A (zh) * 2020-11-13 2021-02-26 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法
CN112767322A (zh) * 2021-01-05 2021-05-07 成都圭目机器人有限公司 一种机场水泥道面fod风险评估方法和装置
CN113420621A (zh) * 2021-06-08 2021-09-21 广东省大湾区集成电路与系统应用研究院 一种路面病害程度识别方法、装置、设备及存储介质
CN113537016A (zh) * 2021-07-06 2021-10-22 南昌市微轲联信息技术有限公司 一种道路巡查中道路损伤自动检测预警的方法
CN115358998A (zh) * 2022-08-22 2022-11-18 法博思(宁波)半导体设备有限公司 一种随机阵列图片中点坐标的获取方法及系统
CN115439737A (zh) * 2022-10-13 2022-12-06 哈尔滨市科佳通用机电股份有限公司 一种基于图像修复的铁路棚车车窗故障图像识别方法
CN115909256A (zh) * 2023-01-06 2023-04-04 济宁市百卉农林发展有限公司 基于道路视觉图像的道路病害检测方法
CN117557572A (zh) * 2024-01-12 2024-02-13 大连傲盈科技有限公司 基于计算机视觉的公路施工质量检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021574A (zh) * 2014-07-04 2014-09-03 武汉武大卓越科技有限责任公司 路面病害自动识别方法
CN104700395A (zh) * 2014-11-11 2015-06-10 长安大学 一种构造物外观裂缝检测方法及系统
CN105719259A (zh) * 2016-02-19 2016-06-29 上海理工大学 路面裂缝图像检测方法
CN106651872A (zh) * 2016-11-23 2017-05-10 北京理工大学 基于Prewitt算子的路面裂缝识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021574A (zh) * 2014-07-04 2014-09-03 武汉武大卓越科技有限责任公司 路面病害自动识别方法
CN104700395A (zh) * 2014-11-11 2015-06-10 长安大学 一种构造物外观裂缝检测方法及系统
CN105719259A (zh) * 2016-02-19 2016-06-29 上海理工大学 路面裂缝图像检测方法
CN106651872A (zh) * 2016-11-23 2017-05-10 北京理工大学 基于Prewitt算子的路面裂缝识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DEREK BRADLEY 等: "Adaptive Thresholding Using the Integral Image", 《JOURNAL OF GRAPHICS TOOLS》 *
LEI ZHANG 等: "Road crack detection using deep convolutional neural network", 《CONFERENCE ON IMAGE PROCESSING》 *
刘洪公 等: "基于卷积神经网络的桥梁裂缝检测与识别", 《河北科技大学学报》 *
薛峰 等: "基于图像处理的铁路轨道板裂缝检测研究", 《铁道建筑》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945153A (zh) * 2017-11-07 2018-04-20 广东广业开元科技有限公司 一种基于深度学习的路面裂缝检测方法
CN109977978A (zh) * 2017-12-28 2019-07-05 中兴通讯股份有限公司 一种多目标检测方法、装置及存储介质
CN109977978B (zh) * 2017-12-28 2023-07-18 中兴通讯股份有限公司 一种多目标检测方法、装置及存储介质
CN108229461A (zh) * 2018-01-16 2018-06-29 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道裂缝快速识别方法
CN108229461B (zh) * 2018-01-16 2021-12-28 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道裂缝快速识别方法
CN108304844A (zh) * 2018-01-30 2018-07-20 四川大学 基于深度学习二值化卷积神经网络的农业病虫害识别方法
CN108765404A (zh) * 2018-05-31 2018-11-06 南京行者易智能交通科技有限公司 一种基于深度学习图像分类的道路破损检测方法及装置
CN108898085A (zh) * 2018-06-20 2018-11-27 安徽大学 一种基于手机视频的道路病害智能检测方法
CN110060232A (zh) * 2019-03-15 2019-07-26 深圳高速工程顾问有限公司 隧道裂缝识别方法、装置、计算机设备和存储介质
CN109949290A (zh) * 2019-03-18 2019-06-28 北京邮电大学 路面裂缝检测方法、装置、设备及存储介质
CN109949290B (zh) * 2019-03-18 2021-02-26 北京邮电大学 路面裂缝检测方法、装置、设备及存储介质
CN110163842A (zh) * 2019-04-15 2019-08-23 深圳高速工程检测有限公司 建筑裂缝检测方法、装置、计算机设备和存储介质
CN110163842B (zh) * 2019-04-15 2021-06-25 深圳高速工程检测有限公司 建筑裂缝检测方法、装置、计算机设备和存储介质
CN110619637A (zh) * 2019-08-16 2019-12-27 上海吉汭泰网络科技有限公司 基于模板的服装图像多特征统计分割方法
CN110738646A (zh) * 2019-10-12 2020-01-31 北京城市排水集团有限责任公司 一种用于管道破裂的自动识别方法
CN111860123B (zh) * 2020-06-04 2023-08-08 华南师范大学 一种识别工作区域边界的方法
CN111860123A (zh) * 2020-06-04 2020-10-30 华南师范大学 一种识别工作区域边界的方法
CN112132431A (zh) * 2020-09-15 2020-12-25 交通运输部公路科学研究所 一种多层次多孔路面结构空隙连通性检测方法
CN112419250A (zh) * 2020-11-13 2021-02-26 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法
CN112419250B (zh) * 2020-11-13 2023-06-16 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法
CN112304960A (zh) * 2020-12-30 2021-02-02 中国人民解放军国防科技大学 一种基于深度学习的高分辨率图像物体表面缺陷检测方法
CN112767322B (zh) * 2021-01-05 2023-06-13 成都圭目机器人有限公司 一种机场水泥道面fod风险评估方法和装置
CN112767322A (zh) * 2021-01-05 2021-05-07 成都圭目机器人有限公司 一种机场水泥道面fod风险评估方法和装置
CN113420621A (zh) * 2021-06-08 2021-09-21 广东省大湾区集成电路与系统应用研究院 一种路面病害程度识别方法、装置、设备及存储介质
CN113537016A (zh) * 2021-07-06 2021-10-22 南昌市微轲联信息技术有限公司 一种道路巡查中道路损伤自动检测预警的方法
CN113537016B (zh) * 2021-07-06 2023-01-06 南昌市微轲联信息技术有限公司 一种道路巡查中道路损伤自动检测预警的方法
CN115358998A (zh) * 2022-08-22 2022-11-18 法博思(宁波)半导体设备有限公司 一种随机阵列图片中点坐标的获取方法及系统
CN115439737A (zh) * 2022-10-13 2022-12-06 哈尔滨市科佳通用机电股份有限公司 一种基于图像修复的铁路棚车车窗故障图像识别方法
CN115909256A (zh) * 2023-01-06 2023-04-04 济宁市百卉农林发展有限公司 基于道路视觉图像的道路病害检测方法
CN117557572A (zh) * 2024-01-12 2024-02-13 大连傲盈科技有限公司 基于计算机视觉的公路施工质量检测方法
CN117557572B (zh) * 2024-01-12 2024-03-19 大连傲盈科技有限公司 基于计算机视觉的公路施工质量检测方法

Also Published As

Publication number Publication date
CN107230202B (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN107230202A (zh) 路面病害图像的自动识别方法和系统
CN106910186B (zh) 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN111401372B (zh) 一种扫描文档图文信息提取与鉴别的方法
CN107169953B (zh) 基于hog特征的桥梁混凝土表面裂缝检测方法
Arévalo et al. Shadow detection in colour high‐resolution satellite images
CN108229458A (zh) 一种基于运动检测和多特征提取的火焰智能识别方法
CN103048329B (zh) 一种基于主动轮廓模型的路面裂缝检测方法
KR101403876B1 (ko) 차량 번호판 인식 방법과 그 장치
CN106651872A (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN106845408A (zh) 一种复杂环境下的街道垃圾识别方法
CN107220624A (zh) 一种基于Adaboost算法的人脸检测方法
CN107229929A (zh) 一种基于r‑cnn的车牌定位方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN107392130A (zh) 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN105447834B (zh) 一种基于特征分类的麻将图像光照不均校正方法
CN102163284A (zh) 面向中文环境的复杂场景文本定位方法
CN103679205B (zh) 基于阴影假设和分层hog对称特征验证的前车检测方法
CN112488046B (zh) 一种基于无人机高分辨率影像的车道线提取方法
CN104794693B (zh) 一种人脸关键区域自动检测蒙版的人像优化方法
CN110009618A (zh) 一种轴类零件表面质量检测方法及装置
CN108416292A (zh) 一种基于深度学习的无人机航拍图像道路提取方法
CN108021890A (zh) 一种基于plsa和bow的高分遥感影像港口检测方法
CN105405138A (zh) 基于显著性检测的水面目标跟踪方法
CN105893960A (zh) 基于相位对称性的道路交通标志检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20171003

Assignee: Yunhua (Nanjing) Intelligent Technology Co.,Ltd.

Assignor: HUAIYIN INSTITUTE OF TECHNOLOGY

Contract record no.: X2020980010076

Denomination of invention: Automatic recognition method and system of pavement disease image

Granted publication date: 20200218

License type: Common License

Record date: 20201229