CN109804232B - 一种基于红外热像图分析的沥青路面裂缝发育程度检测方法 - Google Patents

Abstract

一种基于红外热图像分析的沥青路面裂缝发育程度检测方法，通过测温型红外热图像仪拍摄路面裂缝，获取路面裂缝的红外热像图，建立起裂缝发育程度与裂缝和路面温差的关系模型，再通过机器学习裂缝发育程度指数的分类函数，能够快速提取路面裂缝目标并进行分类，对噪声环境中微小裂缝信号进行有效去噪，抗噪声能力强，错误和误检率很低，适应于大部分复杂路面检测。

Description

一种基于红外热像图分析的沥青路面裂缝发育程度检测方法

技术领域

本发明属于智能交通系统与信息技术领域，涉及运用测温型红外热像仪和图像处理技术检测沥青路面裂缝的发育程度。通过引入红外热图像可以获取沥青路面裂缝的灰度信息和温度信息，灰度信息可以实现常规基于图像的裂缝识别的目标，而利用温度信息可以进行裂缝发育程度的检测，主要通过实验和机器学习建立起路面和裂缝温差与裂缝发育程度的关系模型。

背景技术

随着道路交通的发展，道路路面的养护和管理问题愈发凸显，其中道路路面的破损检测就成为相关道路养护部门的工作重点之一。然而，目前我国的路面管理系统得到的路面破损数据仍以采用人工检测为主，效率低且受主观因素干扰。随着近年来数字图像处理技术的飞速发展，国内外许多研究人员都对图像识别路面裂缝进行了广泛研究，取得了很好的成果。

(1)基于图像的沥青路面裂缝检测方法

路面表面破损状况是道路工程师用来判断路面中修罩面的主要依据，在路面破损四大指标 (裂缝、松散、变形、其它)中，表面破损最难计测，传统方法是人工目测。但随着科技的进步与检测要求的提高，国内外一直没有停止对高速、高效检测设备的研制与检测方法的研究。

早在上世纪70年代末，国外就有利用车载16mm摄像机的摄影车来采集路面破损图像信息。载有路面破损图像信息的胶卷经过冲洗以后进行人工的判读，并录入计算机。但由于成本以及精度的问题，一般公路都很难应用。

上世纪80年代，随着摄像技术的发展，国外的研究部门开始利用摄像机来开发路面破损信息自动采集系统。如日本的Komatsu系统，该系统利用安装在检测车两旁的人工光源进行照明。数据采集通过一个电视摄像机、传感器、信号处理器和影像记录装置来获得。数据存储由一个高密度影像磁带记录器和一个通用影像磁带记录器组成。图像处理采用并行技术按两个阶段进行，第一个阶段主要是图像分割和特征提取，由一个并行微处理器完成；第二个阶段以并行的方式完成降噪、子图象连接和恢复。由于该系统不能分析裂缝的类型，并且只能在夜间工作，另外还需要多个超级微处理器完成两个阶段的图像处理，该系统最终没有得到商业应用。

在这个期间，瑞士的研究工作者于1995开发了CREHOS系统(裂缝识别全息摄影系统)，目标是建立“完全、彻底的系统”，试图解决以前的系统在区域分辨率和实时处理技术的困难。它将数据存储在一套模拟并行处理器中，应用模拟方法得到路面破损数据，并分析和识别路面破损的类型。该系统虽然缩短了路上的检测时间，在一定程度上提高了工作效率，但是由于成本较高，对路况的要求较高，并且需要人机交互的方式进行图像的摄取和处理分析，该系统仍需要进行更深一部的研究。目前，该系统仍处于研究阶段，尚未商业化。

同时期，美国的Earth公司开发研制的“路面状况评价系统(PCES)”，瑞典基础设施服务公司(IME)开发研制的PAVUE系统都是基于模拟技术的路面破损信息检测系统，采集路面破损图像数据均为模拟量，计算机对这些图像数据不能直接处理，需要将其转换为数字量，使得路面破损信息处理的效率大大降低，并且破损识别和测量的精度也是有限的。

进入上世纪90年代中后期以后，随着硬件技术和数字图像处理技术的发展，尤其是CCD 技术的发展，应用CCD摄像技术进行路面破损检测的研究取得了一定的进展。CCD摄像机具有较高的动态范围、分辨率和灵敏度。通过视频采集卡或者图像采集卡可以方便的将CCD摄像机的视频信号存储到计算机中，进行实时的显示、存储和处理。随着计算机硬件的迅速发展，基于CCD摄像机的数字化图像系统成本大大降低。因此，在场景条件下数字化路面破损自动检测系统的开发中，CCD摄像机和计算机图象处理技术得到广泛应用。

美国的阿肯色州大学研制出了一套实时路面裂缝测量系统“数字公路数据车(DHDV)”，并提出了图像处理的并行算法以及硬件实现平台。该图像处理的硬件系统是基于一个普通的多处理器(CPUx86)平台，由安装在测试车上的CCD摄像机获得路面破损图像，应用GPS系统进行裂缝的定位，应用距离测量装置(DM)采集距离信息。一个双CPU的微处理器来收集这些数据，并实时地传输到一个多CPU的计算机进行破损分析。该系统集成了数字图像采集和数字图像处理，能够在较高速度的情况下进行路面裂缝的数据采集、识别与分类。但是该系统需要超级计算机的辅助，对硬件的要求很高，目前还是在研究的阶段。

(2)路面裂缝三维检测技术

通过对路面裂缝三维检测技术的综述可知，相比于激光全息技术、激光雷达和立体视觉技术，结构光三维检测技术具有原理简单、速度快、精度高、易于实现，对路面阴影、黑斑以及随机噪声不敏感等优势，已成为公路路面检测技术的发展趋势。基于结构光的三维视觉路面病害测量技术利用路面轮廓作为信息载体，通过信号处理等方法提取路面轮廓中含有的裂缝特征。由于目前绝大部分的路面裂缝检测方法是基于路面二维图像分析技术，路面裂缝三维检测技术及相应的路面轮廓数据处理方法的研究相对较少。

加拿大国家光学研究所(INO)的Laurent等人于90年代，提出了激光三维路面轮廓裂缝检测算法。其裂缝计算过程如下：(1)以3cm为采样间隔，从轮廓信号的起始点开始，找到3cm 采样间隔范围内的最低点a；(2)以a点为中心，左右各延长1.5cm，寻找此1.5cm范围内的最高点；(3)将a与左右最高点的差值作为裂缝的深度，将两个最高点之间的横坐标之差定义为裂缝的宽度。(4)当深度大于最小阈值，宽度大于最大阈值，定义此处为裂缝。循环此检测准则，直到满足停止标准。该方法具有原理简单，处理速度快的优点，但是当裂缝恰好出现在采样间隔处，则会造成裂缝误检。

加拿大G.I.E公司开发的Laser Vision系统中包含BIRIS激光传感器，该传感器中含有数字滤波器及特征分析系统。该系统可在数据采集的过程中进行路面轮廓信号的裂缝特征提取。其主要原理如下：采用自适应可调整宽度的移动窗函数，可直接提取裂缝的宽度、位置等信息，并可以去除路面轮廓信号中的噪声。

目前，国内绝大多数的路面裂缝检测方法是基于二维图像的分析技术，因此在路面三维轮廓裂缝特征提取方面的报道较少。有学者采用小波降噪与中值滤波相结合的特征提取方法。但是该方法适合路面轮廓信号变化平稳，裂缝特征明显的情况，当出现形状不规则、变化剧烈情况时，提取效果并不理想，识别准确率低。而其他常用的信号特征提取方法，如线性滤波方法不适合提取非线性的路面裂缝信号，而非线性的中值滤波方法在提取裂缝特征时，不能还原出裂缝的真实形状，且该方法易受高斯噪声干扰，提取出的裂缝包含有噪声信息。小波方法虽然具有良好的时频分辨特性，但小波基函数的固定性，使得小波方法仍然无法实现形状多样的裂缝的准确提取。

纵观国内外各种自动检测系统，从交卷采集图像到普通摄像机，再到高分辨率CCD摄像头，最后出现了激光等三维路面检测技术，除了激光等三维检测技术，其他均是利用普通图像对路面裂缝二维检测，研究主要集中在对裂缝的识别和分类上，而对裂缝的发育程度和裂缝深度的检测研究较少，主要有根据裂缝宽度的粗略分级，以及利用探地雷达和超声波等检测裂缝深度，效果严重受到裂缝中填充杂物的影响。

而本发明提出了一种利用二维红外图像进行裂缝发育程度的检测方法，方法基于红外热图像获取的裂缝与路面的温度差异，来建立与裂缝的发育程度的关系模型，并将裂缝的发育程度通过数字进行衡量，裂缝发育程度指数越大，表面发育程度越严重，温差将会越大，通过实验建立温差与裂缝发育程度的关系模型，再利用机器学习来确定发育程度的分类函数。

现有技术1

专利文件CN105719259，公布了一种路面裂缝图像检测方法，对采集到的路面图像进行灰度化和滤波处理，通过构建脉冲耦合神经网络PCNN模型，并利用遗传算法能在解空间非线性快速查找最优解的优势优化该模型的重要参数，迅速并准确地分割图像中的裂缝和背景；再根据分割后图像的特征，对整幅图像进行连通域检测，滤除噪声和背景纹理的干扰；最后，提取裂缝骨架，求裂缝沿骨架法向线的最大宽度，并于原图中标注。采用数字图像处理技术，利用遗传算法优化PCNN模型参数，加快了寻优，减少了PCNN的迭代次数，并使其更易收敛，分割效果抗干扰能力较强，分割更准确；利用连通域矩形度、圆度滤波以及不规则噪声滤波的方式滤除了大量无规则斑块，为裂缝的检测带来了方便。

现有技术2

专利文件CN105719283，公布了一种基于Hessian矩阵多尺度滤波的路面裂缝图像检测方法，该方法通过双目CCD工业摄像机实时采集路面图像，车载GPS实时记录路面图像位置，然后对采集到的图像目标进行识别，对图像进行金字塔结构的高斯滤波，通过多个尺度的特征识别，突出路面裂缝特征，利用Hessian矩阵的特征值和特征方向实现裂缝生长方向的跟踪，再根据裂缝曲率特征对裂缝进行快速分类，并对噪声严重的路面图像进行去噪处理。采用本发明技术方案能够快速提取路面裂缝目标并进行分类，对噪声环境中微小裂缝信号进行有效去噪，抗噪声能力强，错检和误检率很低，适应于大部分复杂路面检测。

发明内容

本发明提出基于红外热图像分析的路面裂缝发育程度的检测方法，通过测温型红外热像仪拍摄路面裂缝，获取路面裂缝的红外热像图，建立起裂缝发育程度与裂缝和路面温差的关系模型，再通过机器学习确定裂缝发育程度指数的分类函数，附图1为通过测温型红外热像仪获得的路面裂缝的红外热像图示意。

普通图像只能获得沥青路面和裂缝的灰度信息，普通图像难以较好识别沥青铺面裂缝的原因是沥青路面具有颗粒性，灰度的杂乱往往会影响裂缝区域的识别。我们通常通过识别裂缝的宽度来检测裂缝的发育程度，而裂缝的宽度是通过识别裂缝区域短边的像素点个数，并结合摄像机机位拍摄裂缝时的高度来确定。然而，通过裂缝像素点宽度的识别来得到裂缝宽度进而确定裂缝发育程度的检测方法很不可靠，因为几毫米的的裂缝宽度在图像中可能就只有几个像素点，在经过降噪等图像处理后结果更不稳定，所以，只由普通图像获取的裂缝的灰度信息进行裂缝发育程度的识别是很困难的。

由红外热像仪获取的红外热图像，不仅可以获取裂缝和铺面的灰度信息还可以得到他们的温度信息，如附图2，为路面和裂缝的灰度信息和温度信息。

对大量路面温度实测数据和气象资料的分析表明，在众多环境因素中，气温和太阳辐射是影响路面温度场的主要环境因素.相对气温和太阳辐射而言，云层状况、大气的相对湿度、风速、降水等其他环境因素对于路面温度场的影响十分有限，且与气温和太阳辐射之间具有一定的相关性。因此，这些因素的影响可以通过气温和太阳辐射部分的体现出来。

由道路表面温度滞后性和积累性的特点，路表和路面以下的温度会不同，因此路面以下的材料会通过裂缝与路面和空气发生热交换，而路面和裂缝也会有温度差。沥青路面裂缝宽度和深度越大，路面下和路表的材料空气热交换就会越剧烈。温差就会越大。裂缝的宽度深度就越大，将来的水损害也会更容易发生，而裂缝也通过发育程度指数反映发育程度。所以，裂缝越严重，路表与裂缝的温差就会越大，而我们可以利用热像仪来检测温差，进而检测裂缝的发育程度。

通过研究发现，太阳辐射会影响路面的温度，但是此因素会同时影响路面和裂缝温度，对于他们的温度差异影响不大，只会对路面和气温的温度差异产生较大的影响。而气温会对路面和裂缝的温差产生影响，其他条件相同的情况下，气温越高，裂缝与路面的温差越大。而我们需要通过温差来反映裂缝的发育程度，因此需要确定发育程度指标就需要有确定的温度差标准，因此，需要对不同气温下的裂缝与路面温度差进行修正。

对于沥青路面裂缝传统的评价指标分成了以下轻、中和重三个等级：

轻微：裂缝边缘无或仅有轻微碎裂，缝隙宽不大于6mm；

中等：边缘中等碎裂，缝隙宽大于6mm，有少量支缝，引起车辆跳动

严重：裂缝边缘严重碎裂，有较多支缝，引起车辆剧烈跳动

但是此种分类等级不足以反应裂缝的严重程度，裂缝的严重程度主要衡量依据是它对路面已经造成的危害即近期的潜在损害，其严重程度的根本不仅与裂缝的宽度长度有关，还应该与裂缝的深度有关，深度越大其对路基所造成的损害就越大，进一步引发水损害的可能性也越大，同时，裂缝中的湿度也是影响裂缝严重程度的因素之一，因此，裂缝严重程度需要我们综合考虑。在现有技术中，图像分析已经可以探测裂缝的宽度，通过探底雷达可以检测裂缝的深度，湿度计可以探测裂缝中的湿度，但是如何准确而简单的反映出裂缝的发育程度，是工程中所亟待解决的问题。

由前文所述，裂缝发育程度越严重，道路表面以下温度就会越多的体现出来，而路表以下的温度与路面温度是有差距的，故裂缝发育程度越严重，其在相同条件下所表现出来与路面温度的差异性就会越大。因此，本发明目的就是通过在一定条件下路面与裂缝的温度差异来体现裂缝的发育程度，它们的对应关系就是检测模型。发明路线图如图1所示。

名词解释

发育程度：发明中所提及的发育程度表征沥青路面裂缝对路面的已有损害程度以及近期发生损害的严重程度，它涵盖了传统的裂缝严重程度分级，与裂缝的宽度、深度和裂缝的湿度等等可能会使裂缝损害严重程度加剧的因素有关，囊括了这些因素，表征了裂缝从开始出现到现在的发展水平。

支持向量机：支持向量机(SVM)是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。在机器学习中，支持向量机(SVM，还支持矢量网络)是与相关的学习算法有关的监督学习模型，可以分析数据，识别模式，用于分类和回归分析。给定一组训练样本，每个标记为属于两类，一个SVM 训练算法建立了一个模型，分配新的实例为一类或其他类，使其成为非概率二元线性分类。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

分类函数：通过支持向量机将温差数据按照裂缝发育程度进行线性分类，发育程度分为1、 2、3三个等级，3最严重，那么1、2之间和2、3之间就会有一直线作为分界线，此直线表达式即为分类函数。

裂缝区：沥青路面某区域，该区域不仅包括裂缝区域本身，还包括其周围一定范围内的路面区域，包括路面区域范围满足图像处理和裂缝识别的要求。

参照温差数据：将实测大气温度带入裂缝发育程度检测模型两个分类函数后得到的温差数据。

实测温差数据：对采集到的裂缝区红外图像进行图像处理后得到的该裂缝区内裂缝区域和路面区域的温差数据。

发育程度指数：介于0～3之间，包括0和3的一个数，其大小反映了裂缝的发育程度，数字越大，裂缝发育程度越严重。说明中采用字母m表示。

发育程度等级：1、2或3中的一个数，其大小反映了裂缝的发育程度，数字越大，裂缝发育程度越严重。

实验环境

利用路面和裂缝的温度信息进行裂缝发育程度的检测，而路面温度变化较大，容易受环境因素干扰，对实验环境的要求要比根据普通图像进行裂缝识别更高。我们根据路面温度变化的规律来确定实验对环境的要求，环境要求条件保证了最终模型建立的可靠性。

一天之中，路表面的最高温度几乎与日最高气温同时出现。在每天的日出和日落时段，路面内部各深度的温度总是大致相等。路表面的最低温度也几乎与日最低气温同时出现。同时，随着深度的增加，在不同深度出现日最低温度的时间也逐渐滞后，即太阳辐射虽然具有与路面温度相近的变化规律，但对路面温度的影响则呈现出滞后性和累积性的特点。实验环境如图2所示，可以总结如下：

(1)晴朗的白天。由于路面温度多变，容易受气候条件干扰，因此实验尽量保证环境因素稳定单一，本实验选取实验地区常见的晴朗的白天。夜间裂缝与路面温度差会较小，如图所示，考虑是因为沥青普通温度变化规律所致。

(2)有效数据采集时间为上午八点至下午四点。由上文分析，日落和日出时段，路面内部各深度的温度总是大致相等，因此此段时间内路面与裂缝温差很小，通过实验也得到验证。

(3)路面完全干燥。雨后路面与裂缝都被水浸润，温度基本相同；湿润的路面会因为水的蒸发等使温度不稳定，检测结果不稳定；路面干燥而裂缝湿润，水会影响裂缝的温度，实验中发现此情境下裂缝温度低于路面温度。

(4)路面干净。为了保证裂缝和路面的红外线能顺利被热像仪检测，需要保证路面的干净，泥土、杂质和油污等都会有影响。

图像获取

然后，需要获取沥青路面的裂缝图像。非制冷焦平面测温型红外热像仪是利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。通俗地讲红外热像仪就是将物体发出的不可见红外能量转变为可见的热图像。热图像的上面的不同颜色代表被测物体的不同温度。发明现在主流红外成像装置——非制冷焦平面测温型红外热像仪。

利用红外热像仪采集裂缝区时，设备距离路面的高度为1～2m左右，要求拍摄到能够满足后续图像处理进行裂缝识别的要求即可，因所采集照片基本都能满足要求，这里就不再详述。

图像处理

获取到红外图像后，我们需要对图像进行处理得到沥青路面裂缝和路面的各自温度数据，然后再进行进一步分析。由红外热图像的灰度信息，利用现有的成熟算法可以得到裂缝区域和路面区域，然后求得各自区域内图像RGB均值，最后将平均的RGB值与colorbar进行匹配，从左向右依次进行，步进取两个像素宽度以保证温度值精度，根据匹配到的位置和颜色范围计算温度值如附图3所示，如图4所示为红外图像处理技术及裂缝与路面温差获取技术路线，图 5为图像处理过程示意图。具体的步骤如下。

在图像的采集过程中，由于受到各种因素的影响，没有经过处理的采集到的裂缝图像都会包含有噪声信息。如果不去除这些噪声，会对后续的图像处理过程及结果分析带来困难。所以图像的预处理是很有必要的，通过预处理可以把图像中的一些冗余信息去掉，突出我们感兴趣的目标，从而达到减少图像信息量和改善图像质量的目的。首先需要对图像进行降噪处理。

采集到的路面裂缝红外图像是包含有亮度和色彩信息等的彩色图像。需要对路面裂缝图像灰度化，即将原来采集到的彩色图像转换为灰度图像，将图像中的色彩信息去掉。一般裂缝的识别算法都是根据图像的灰度特征来进行的，所以图像中的色彩信息对于识别过程没有实际的意义，去掉图像中的色彩信息，可以减少计算量，因此在对路面裂缝图像处理之前的灰度化是很有必要的。

传统基于普通图像的方法采集到得路面裂缝图像的亮度是不均匀的，图像中裂缝部分和背景部分的灰度值有较大的差异，这种比较大的差异会给后续处理带来一定的困难，比如图像分割中阈值的选取等。而本发明是利用红外图像进行处理，其图像只会因为温度的不同造成差异，在前文所述实验环境下采集图像基本不会有温度差，因此，本发明不需要考虑灰度不均匀所造成的的影响。

在对路面裂缝图像去噪之前，首先对噪声的模型进行分析。一般在图像中，影响人们对目标信息接受的因素都称之为噪声信号。噪声一般在理论上可定义为不可预测的，只能用概率统计方法来认识的随机误差。因此可以将图像中的噪声看成多维随机过程是比较恰当的，可以借助随机过程来描述噪声，即用概率分布函数和概率密度分布函数去表示，使用现在已有较成熟的降噪算法即可。。

路面裂缝图像中需要识别的裂缝目标和背景相比较，信息量比较少，而且在图片的采集和传输过程中，由于很多因素的干扰也会使得图像的清晰度和对比度有所降低。所以在对图像进行滤波去噪之后，还要对图形进一步增强，使得我们感兴趣的裂缝目标更加突出，为后面的分割识别算法提供基础。

图像分割就是把图像中的像素进行分类，分成一些特定的，具有独特性质的区域并且提取出感兴趣目标的技术和过程。由于人们在对图像进行研究时，都会有一个目标，这就是图像中人们感兴趣的区域，而往往这些目标区域都有一些特定性质。本发明此步骤目的就是要找出裂缝区域和路面非裂缝区域。

温差数据

在完成裂缝区域和路面区域的区分后，就可以根据各区域的平均RGB值与colorbar进行匹配，得到区域的温度值。然后可以将温度数据进行处理。

如附图6所示，以温差为纵坐标、光照强度为横坐标作图，其中温差选取大气温度大致相同的情况下，严重裂缝与路面的温度差。光照强度增大后会使路表的温度整体上升，扩大路面温度与大气温度的差别，在实际实验中，当气温为35℃时，光照强度为15万Lux时沥青路面温度可以达到55℃；但是，照度对沥青路面和它表面的温度的影响几乎是同步的，因此，照度对于裂缝和路面的温差基本没有影响。

因此，在路面充分整洁和干燥的情况下，我们通过查询相关资料将温差影响因素锁定在照度和大气温度，再通过实验，分析出照度对裂缝与路面温差基本无影响。需要注意的是，实验中有选取雨后的路面，发现裂缝温度会比路面更低(与完全干燥情况相反)，并且随着路面变干过程中温差也会有较大变化，变化较复杂，本发明通过将实验选取在完全干燥情况下避免裂缝湿度的影响。

最后需要确定大气温度对裂缝与路面温差的影响关系。由前文所述，照度对于沥青路面裂缝与路面的温差几乎无影响，因此不考虑照度因素，将所有不同温度下的温差数据进行绘图，如附图7所示。不同发育程度的裂缝温差与大气温度敏感性大小不同，裂缝发育程度越严重，受大气温度影响相对越大，但总体趋势各个等级的裂缝与路面温差都随着大气温度的升高而变大。

综上所述，本发明只考虑裂缝与路面的温差和大气温度的关系。同时由上图可知，对于不同发育程度的裂缝，不同温度下其温差都是有差别的，因此我们可以通过检测裂缝与路面的温差来反映裂缝的发育程度。

模型建立

采用支持向量机对数据进行线性分类。以大气温度为横坐标、裂缝与路面温度差为纵坐标绘制点，共有1、2、3三个等级，数字越大发育程度越严重，如图8所示为分类函数图，可以得到如下两个分类函数，如式(1)(2)所示。

3、2分类函数：ΔT₂₃＝a₂₃T+b₂₃ (1)

其中T(℃)为大气温度，ΔT(℃)为沥青路面与裂缝的温度差；a₂₃为线性分类函数系数，取值范围为0.02～0.03，b₂₃线性分类函数常数项，取值范围为0.60～0.85.

2、1分类函数：ΔT₁₂＝a₁₂T+b₁₂ (2)

其中T(℃)为大气温度，ΔT(℃)为沥青路面与裂缝的温度差；a₁₂为线性分类函数系数，取值范围为0.0075～0.0100，b₁₂线性分类函数常数项，取值范围为0.4～0.65.

检测结果根据以下判断

首先根据大气温度计算出ΔT₁₂和ΔT₂₃，然后将测量出的ΔT与ΔT₁₂、ΔT₂₃进行对比，ΔT≤ΔT₁₂则发育程度为1；ΔT₁₂≤ΔT≤ΔT₂₃则发育程度为2，ΔT≥ΔT₂₃的发育程度为3.

现在在其它沥青道路上进行数据采集，验证上述检测模型的精度。由上文分析，在路面完全干燥的情况下，沥青路面与裂缝的温差主要与温度有关系，并且裂缝与路面的温度差和裂缝的发育程度是相关的，因此可以由红外热像仪检测裂缝与路面的温度差，再利用上文中分类函数l₁和l₂，进行裂缝发育程度的检测。

首先确定检测环境满足要求，即前文所述实验环境：晴朗的白天，上午八点到下午四点之间，路面干净并完全干燥。然后利用红外热像仪进行数据采集，并记录下采集每张图片时的气温，处理后得到裂缝与路面的温差，根据温度计算发育程度分级阈值ΔT₁₂和ΔT₂₃。

表一模型验证结果

如表1所示，为检测模型验证的结果，实际检测的相对误差均小于20％，模型检测的平均误差为15.4％.结果表明预测模型的精度较好，在目前大多裂缝检测都只关注数量的背景下，可以根据检测模型结果赋予不同的权值给不同发育程度的裂缝，为路面养护提供更精准的参考，提高社会效益。

关于图像分割：

传统基于图像分析的裂缝识别技术仅关注裂缝本身，需要检测出裂缝的有无、位置和几何形态等因素，裂缝与路面之间的过渡区域基本不作考虑。发明主要是要获取路面区域和裂缝区域的温度差，是需要关注裂缝和路面两个区域的，因此可以考虑过渡区域的影响，通过图像分割获取裂缝和路面区域后，需要对两个区域边界过渡区域进行删减，因为路面温度到裂缝温度是渐变的，裂缝和路面的过渡区温度介于裂缝中心温度和路面温度之间，过渡区对于路面温度的获取就是干扰区，如图9所示，可以采取下列措施对干扰区进行排除。

对于路面区域，过渡干扰区相对路面区域面积而言很小，因此在进行排除的时候可以采取固定的宽度进行路面区域的删减，此处的宽度可以设定为w宽(0.5cm＜w＜2.5cm)，实际还可以采取基于裂缝区域最大宽度比值的方法，即检测出裂缝区域后，将裂缝区域上下各增加一倍宽度后，剩下的区域定为无干扰区的路面区域，假设图像分割出来的路面区域宽度为D₀，最终采取确定的宽度为D，则有以下公式(3)，此方法可以较好的排除过渡干扰区的影响。

D＝D₀-2d₀ (3)

对于裂缝区域，因为其宽度较小，因此过渡干扰区的排除需要更细致，可以采用基于裂缝区域宽度比例的方法来进行排除，对图像分割的裂缝区域需要进行瘦身，假设裂缝的宽度为d₁，图像分割出来的裂缝区域宽度为d₀，则满足以下条件如式(4)所示：

d₁＝d₀-2αd₀ (4)

α为为了排除过渡干扰区而对裂缝宽度上下部分分别删减的比例，0.1≤α≤0.2.

过渡干扰区范围确定后，如何具体对其进行删除可以参考以下：对于路面区域，相当于将图像分割边界沿着分割边界径向往路面区域方向移动d₀距离得到新的路面区域边界，对于裂缝区域，相当于将图像分割边界沿着分割边界径向往裂缝区域方向移动αd₀距离，得到新的裂缝区域边界。

关于区域温度值计算：

沥青路面是指在矿质材料中掺入路用沥青材料铺筑的各种类型的路面。沥青结合料提高了铺路用粒料抵抗行车和自然因素对路面损害的能力，使路面平整少尘、不透水、经久耐用，道路结构是修筑在自然界中的带状结构物，环境因素和荷载的作用是造成路面结构破坏的主要原因，路面区域物理特性比较一致，因此在红外图像中，路面区域的温度值基本一样，因此处理起来比较方便，不需要进行分别考虑，即在图像分割中得到路面区域后就返回到红外图像中计算该区域整体的RGB平均值。

但是，裂缝区域通常为细长的形状，譬如一条两米长的裂缝，可能只有几个毫米宽，这种情况下，同一裂缝不同位置处的严重程度可能会有较大的差异，两米长的裂缝有半米长的区域发育程度比较严重，根据平均RGB值计算出来可能需要修补，但是对于另外一条三米长的裂缝，其也有半米长的区域发育程度比较严重，由平均RGB值计算出来的温差得到的发育程度指数就会比之前一条要低，甚至显示为不修补，显然是不科学的，因此，对于裂缝区域需要分区域进行RGB值得计算，并对发育程度较严重的区域给予较高的权重，这样计算出来一条裂缝区域与路面的温差就会是一个数组，如图10所示，不同区段裂缝可以得到不同温差值。

对于横向裂缝，利用图像沿y轴方向直线将有效裂缝区域分成所述p段，每一段长度任意；对于纵向裂缝，利用图像沿x轴方向直线将有效裂缝区域分成所述p段，每一段长度任意；对于其他种类裂缝，不分段或者根据裂缝几何中心按角度分成所述p段，每一段对应中心角度任意。

根据精度要求，可以将图像分割出来的裂缝区域分成n(n≥2)段来进行考虑，每一小段均可以按照前文所述的技术路线进行处理，即首先进行图像灰度化、降噪，然后进行图像增强后再进行图像分割，得到裂缝区域后再分成n段进行后续处理，包括对每一段进行平均RGB值得计算，再由平均RGB值与图例中的颜色值进行匹配，确定该段的温度值，最后可以得到n段裂缝区域的长度l和裂缝区域与路面温度的温度差ΔT，即得到如下数组，如式(5)所示：

l＝(l₁ l₂ … l_n) (5)

其中l_i即为裂缝区域划分区段后第i段的长度，计算温度差数组如式(6)所示。

ΔT＝(ΔT₁ ΔT₂ … ΔT_n) (6)

其中ΔT_i即为裂缝区域划分区段后第i段与路面的温度差。

然后可以根据下式(7)进行加权平均计算，得到所述有效路面区域和所述有效裂缝区域的最终实测温差ΔT.

最后将此ΔT与参照温差数据进行对比，得到裂缝发育程度相关参数。

或者由ΔT数组得到各段裂缝区域的发育程度指数如下式(8)：

m＝(m₁ m₂ … m_n) (8)

其中m_i即为裂缝区域划分区段后第i段的裂缝发育程度指数。

根据裂缝的发育程度赋予不同区段的裂缝权重，因此可以得到裂缝的最终发育程度指数如下式(9)：

计算结果四舍五入取1、2或3，即裂缝发育程度的三个等级。

发明中可以采取平均分配的方法，那么就有l₁＝l₂＝…＝l_n，公式就可以化成下列形式(10)：

关于建模过程中裂缝发育程度指数的计算

在模型建立过程中，发明通过机器学习将裂缝发育程度分为了1、2和3三个等级，SVM 支持向量机，作为一种分类方法，通过核函数将低维空间上线性不可分的样本映射到高维空间上线性可分的样本空间，通过核函数计算内积，得到一个线性分类器。常用的核函数有多种，如线性核函数，多项式核函数，径向基核函数，Sigmoid核函数和复合核函数。发明中就采用线性核函数首先对1、2等级进行分类，得到分类函数l₁₂，再根据数据对2、3等级进行分类，得到分类函数l₂₃，在进行机器学习分类中会存在一定误差，就分类采用数据中也会有一部分属于较轻发育程度的裂缝被分配到了较严重发育程度的类别，相反也会有较重发育程度的裂缝分配到了较轻的类别。但是，在赋予权值的平均发育程度指数的计算中会出现有小数的裂缝发育程度指数，因为本身的分级就存在一定误差，这些有小数的发育程度指数虽然不一定可以使裂缝发育程度指数更精确，但是却可以反映出相对大小，2.6的发育程度指数四舍五入被划分为发育程度指数为3的裂缝，2.4的就被划分为发育程度指数为2的裂缝，这是之前的分类方法，但是由赋予权重计算出来的2.6发育程度指数和2.4发育程度指数实际上是差别不大的，这对于管理者的决策有相当重要的影响。因此，在裂缝发育程度指数的计算中，发明可以取一位小数来表明计算出来的相对关系。但是，需要注意的是2.4的发育程度指数不一定比2.3 的发育程度指数要更严重，因为前文说过，本身分类就存在误差，2这个整数部分可能就已经是不准确的了。因此，为了避免这种问题，发明在计算过程中根据加权平均计算方法的方差确定了一个误差项，即发育程度指数可以取一位小数并表示为：m±σ的形式。

采用支持向量机对数据进行线性分类。以大气温度为横坐标、裂缝与路面温度差为纵坐标绘制点，共有1、2、3三个等级，数字越大发育程度越严重，可以得到如下两个分类函数。

3、2分类函数：ΔT₂₃＝a₂₃T+b₂₃ (1)

其中T(℃)为大气温度，ΔT(℃)为沥青路面与裂缝的温度差；a₂₃为线性分类函数系数，取值范围为0.02～0.03，b₂₃线性分类函数常数项，取值范围为0.60～0.85.

2、1分类函数：ΔT₁₂＝a₁₂T+b₁₂ (2)

其中T(℃)为大气温度，ΔT(℃)为沥青路面与裂缝的温度差；a₁₂为线性分类函数系数，取值范围为0.0075～0.0100，b₁₂线性分类函数常数项，取值范围为0.4～0.65.

检测结果根据以下判断

首先根据大气温度计算出ΔT₁₂和ΔT₂₃，然后将测量出的ΔT与ΔT₁₂、ΔT₂₃进行对比，ΔT＝ΔT₁₂则发育程度为1；ΔT＝ΔT₂₃则发育程度为2，介于之间的采用线性插值法计算发育程度指数，指数大于3的取3.

若要对裂缝区域进行区段划分，并根据裂缝的发育程度赋予不同的权重，那么由公式计算出来的结果可以取一位小数。

误差项σ的取值可以由以下公式(11)得到：

m_i为对同一裂缝进行多次检测的结果，然后由以上公式得出标准差，据此可以将裂缝的发育程度指数写到小数点后一位，并通过一个固定的误差项来进行误差限定，固定的误差项由实验得到，新的发育程度指数写法如下式(12)：

m＝m±aσ (12)

其中a为误差项系数，取值范围为1～3.

关于基于图像的路面裂缝检测：

路面病害检测系统的组成一般有承载车辆、快速的路面图像采集系统、病害定位系统和后台数据处理系统。承载车辆承载各种设备，在正常车速下行驶负责提供系统的电源和通讯协调数据采集为多种传感器和处理系统一体的机动车辆，一般包括路面病害数字图像采集、前视路况数字视频采集定位系统是基于地理信息的多传感器融合组合定位系统包括、路面平整度检测仪、路面车辙检测仪、通讯协调、电源等系统后台数据处理是基于海量数据库的智能处理中心它主要完成病害的检测识别与处理。

在图像的采集过程中，一般是将摄像机安装在正常行驶的公路路面检测车上，在检测车正常行驶时，完成对路面整体的摄像与图像信息的采集。一般来说，为了能够使摄像头的镜头覆盖到整个宽度的路面，一般需要安装多个摄像头以获取完整的连续的路面信息。这时，摄像头安装的高度、角度等技术指标都会影响对图像的拍摄。

基于图像处理的道路病害检测方法一般都首先要经过图像获取，然后是图像预处理，再提取目标，一般的检测步骤可以如附图11所示：

基于普通图像的裂缝检测技术已经比较成熟，主要是对裂缝是否存在，以及存在裂缝的几何形态和类型进行检测，而基于普通图像的裂缝检测会受光照不均匀的影响，但是引入红外图像后就不会受此类因素的影响，而红外图像灰度化后就达到了普通图像的灰度化后的效果，因此可以基于现有的成熟的基于图像的裂缝检测技术，提出一种基于红外图像的沥青路面裂缝检测技术。

基于红外图像的沥青路面裂缝检测技术首先对采集的红外图像进行灰度化，之后就利用现有成熟的基于普通图像的沥青路面裂缝检测技术即可。

附图说明

图1发明技术路线图；

图2数据采集环境示意图；

图3路面裂缝的红外热像图示意图：(1)(2)为不同发育程度的横向裂缝；(3)为网状裂缝； (4)为沥青修补过的裂缝；

图4图像处理技术路线图；

图5图像处理过程图；

图6照度与温差关系图；

图7大气温度与温差关系图；

图8支持向量机线性分类图；

图9沥青路面裂缝区域、路面区域和过渡干扰区；

图10不同裂缝区段获得不同温差示意图；

图11传统基于图像的裂缝识别方法基本步骤；

图12检测方法具体实施路线图。

具体实施方式

(1)环境确定

预测关系模型需要在一定环境条件下使用才能保证精确性，首先需要保证数据采集时环境条件稳定，一天之中，路表面的最高温度几乎与日最高气温同时出现.在每天的日出和日落时段，路面内部各深度的温度总是大致相等.路表面的最低温度也几乎与日最低气温同时出现.同时，随着深度的增加，在不同深度出现日最低温度的时间也逐渐滞后，即太阳辐射虽然具有与路面温度相近的变化规律，但对路面温度的影响则呈现出滞后性和累积性的特点。实验环境可以总结如下：

1)晴朗的白天。由于路面温度多变，容易受气候条件干扰，因此实验尽量保证环境因素稳定单一，本实验选取实验地区常见的晴朗的白天。夜间裂缝与路面温度差会较小，如图所示，考虑是因为沥青普通温度变化规律所致。

2)有效数据采集时间为上午八点至下午四点。由上文分析，日落和日出时段，路面内部各深度的温度总是大致相等，因此此段时间内路面与裂缝温差很小，通过实验也得到验证。

3)路面完全干燥。雨后路面与裂缝都被水浸润，温度基本相同；湿润的路面会因为水的蒸发等使温度不稳定，检测结果不稳定；路面干燥而裂缝湿润，水会影响裂缝的温度，实验中发现此情境下裂缝温度低于路面温度。

4)路面干净。为了保证裂缝和路面的红外线能顺利被热像仪检测，需要保证路面的干净，泥土、杂质和油污等都会有影响。

(2)图像采集

采用测温型红外热像仪对沥青路面有裂缝的区域进行拍摄，获得裂缝区域红外热像图。红外热像仪是利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。通俗地讲红外热像仪就是将物体发出的不可见红外能量转变为可见的热图像。热图像的上面的不同颜色代表被测物体的不同温度。发明现在主流红外成像装置——非制冷焦平面微热型红外热像仪。同时，需要对采集裂缝图像时的气温和裂缝发育程度进行记录，气温直接使用温度计进行测量，裂缝的发育程度根据裂缝宽度进行人工衡量。

同时，还需要对裂缝的真实发育程度指数进行打分，主要参考传统分级方式，即将裂缝分为轻、中、重三个等级的分类方式，再考虑裂缝的湿度和深度等因素，请专家对裂缝发育程度指数进行打分，据此实际数据建立检测模型。

(3)图像分析

首先进行图像预处理，主要是对红外图像进行灰度化、降噪和图像增强；然后进行图像分割，得到裂缝区域和路面非裂缝区域；再根据两种区域位置在最初的红外图像中进行区域定位；最后计算红外图像裂缝区域和路面区域的RGB平均值，将RGB平均值依次与colorbar图例的 RGB值进行匹配，最相符的位置所代表的的温度即为该区域的温度，将裂缝区域和路面区域分别与图例匹配得到各自的温度，进而得到裂缝与路面的温度差异。

图像处理中的图像分割技术，可以识别出裂缝区域后直接对裂缝区域和路面区域进行温度识别处理，也可以根据前文所述来对裂缝与路面直接的过渡干扰区进行分析后做排除处理。

而最终温差数据的获得可以直接计算整条裂缝区域与路面区域的温差值，也可以将裂缝区域进行区段划分，可以采取平均分配的方法，然后对于发育程度指数较高的区段给予较高的权重，按照给予不同权重的方法来计算最终整条裂缝区域与路面区域的温差值。

(4)模型建立

考虑到不同地区的气候条件差异较大，可以尝试建立本地区的裂缝温差与发育程度关系模型。经过前三个步骤后，我们具有了裂缝与路面温度差异数据、裂缝发育程度的数据和采集每个样本时的大气温度数据，利用图像分析得到的温度差异，以及采集图像同时利用其他仪器采集到的温度信息，建立与裂缝发育程度的关系模型，即主要确定线性分类函数l₁₂和l₂₃的相关系数的具体数值。

(3)实际检测

利用以上检测模型可以进行实际裂缝发育程度的检测，需要采集有裂缝路面的红外图像和当下的大气温度。

检测最后计算裂缝的发育程度指标时，可以直接粗略的将裂缝发育程度指标分为1、2、3 三个等级，只取三个数中的某个即可，数值越大代表发育程度越严重；计算也可以采用前文提出的有一位小数的发育程度指数，取值范围为0～3，具体的发育程度指标可以表示为m±aσ的形式。

所发明的检测模型要使用在某地区时候的具体路线如附图12所示。

Claims (9)

1.一种基于红外热像图分析的沥青路面裂缝发育程度检测方法，包含如下步骤：

a.建立裂缝发育程度检测模型；

b.采集沥青路面裂缝区的红外图像，同时记录大气温度；

c.处理步骤b中裂缝区的红外图像，得到对应的裂缝区内裂缝和裂缝区内的路面之间的实测温差数据ΔT；

d.将步骤b所记录的大气温度数据带入步骤a中所述检测模型，得到参照温差数据；

e.将步骤d中所述参照温差数据和步骤c中所述实测温差数据ΔT带入步骤a中所述检测模型，推算裂缝发育程度或裂缝发育程度指数；

步骤a包括：

a₁.采集沥青路面至少10个样本裂缝区的样本红外图像，同时记录样本大气温度及所述样本裂缝区内的样本裂缝发育程度，根据传统裂缝严重程度分类方法对样本裂缝发育程度进行估计，将所采集裂缝的样本裂缝发育程度分为1、2、3三个等级；

a₂.对步骤a₁所述样本裂缝区的样本红外图像分别进行处理，得到对应的样本裂缝区内的裂缝和样本裂缝区内的路面之间的样本温差数据；

a₃.利用步骤a₂所得到的样本温差数据，以及步骤a₁所记录的样本大气温度和样本裂缝区内的样本裂缝发育程度数据进行支持向量机分类，得到两个分类函数ΔT₁₂＝a₁₂T+b₁₂和ΔT₂₃＝a₂₃T+b₂₃，所述分类函数自变量为大气温度，因变量为参照温差数据；

其中T为大气温度；a₂₃为线性分类函数系数，取值范围为0.02～0.03，b₂₃线性分类函数常数项，取值范围为0.60～0.85；

a₁₂为线性分类函数系数，取值范围为0.0075～0.0100，b₁₂线性分类函数常数项，取值范围为0.4～0.65。

2.如权利要求1所述的基于红外热像图分析的沥青路面裂缝发育程度检测方法，其特征在于，步骤b包括：

b₁.利用非制冷焦平面测温型红外热像仪作拍摄沥青路面裂缝区，设备距离地面1～2m；

b₂.利用气温计在采集步骤b₁所述路面裂缝区同时记录大气温度。

3.如权利要求1所述的基于红外热像图分析的沥青路面裂缝发育程度检测方法，其特征在于，步骤c包括对步骤b所采集裂缝区的红外图像：

c₁.进行降噪和灰度化处理；

c₂.进行图像增强处理；

c₃.进行图像分割处理，得到所述路面裂缝区内的裂缝区域和路面区域；

c₄.分别对所述的裂缝区域和路面区域进行过渡干扰区排除，得到有效裂缝区域和有效路面区域；

c₅.分别对所述有效裂缝区域和所述有效路面区域进行图例匹配，得到实测温差数据。

4.如权利要求3所述的基于红外热像图分析的沥青路面裂缝发育程度检测方法，其特征在于，步骤c₄包括：

c₄₁.对于所述路面区域靠近分割边界的一定范围作为过渡干扰区，范围大小取所述裂缝区域宽度的m倍大小，1≤m≤2；

c₄₂.对于所述裂缝区域靠近分割边界的一定范围作为过渡干扰区，范围大小取所述裂缝区域宽度的n倍大小，0.1≤n≤0.3；

c₄₃.对所述过渡干扰区直接删除，得到有效裂缝区域和有效路面区域。

5.如权利要求4所述的基于红外热像图分析的沥青路面裂缝发育程度检测方法，其特征在于，步骤c₄₃包括：

c₄₃₁.对于所述路面区域的所述过渡干扰区删除，需将所述路面区域与裂缝区域分割边界沿分割边界径向向路面区域移动裂缝区域宽度的m倍大小，1≤m≤2，得到有效路面区域；

c₄₃₂.对于所述裂缝区域的所述过渡干扰区删除，需将所述路面区域与裂缝区域分割边界沿分割边界径向向裂缝区域移动裂缝区域宽度的n倍大小，0.1≤n≤0.3，得到有效裂缝区域；

c₄₃₃.对于上述两步骤中不封闭的有效区域，直接延长边界得到封闭的有效区域即可。

6.如权利要求3所述的基于红外热像图分析的沥青路面裂缝发育程度检测方法，其特征在于，步骤c₅包括：

c₅₁.对于所述有效路面区域进行图例匹配，得到实测温度T₀；

c₅₂.将所述有效裂缝区域划分为p段，p≥2，每段长度为l₁…l_P，分别对每一段有效裂缝区域进行图例匹配，得到实测温度T₁…T_P；

c₅₃.将所述有效裂缝区域各段实测温度减去所述有效路面实测温度，得到实测温差ΔT₁…ΔT_P；

c₅₄.根据下式进行加权平均计算，得到所述有效路面区域和所述有效裂缝区域的最终实测温差ΔT；

7.如权利要求1所述的基于红外热像图分析的沥青路面裂缝发育程度检测方法，其特征在于，步骤d包括：

d₁.将步骤b所记录的大气温度带入所述检测模型中的分类函数ΔT₁₂＝a₁₂T+b₁₂，得到参照温差数据ΔT₁₂；

d₂.将步骤b所记录的大气温度带入所述检测模型中的分类函数ΔT₂₃＝a₂₃T+b₂₃，得到参照温差数据ΔT₂₃。

8.如权利要求1所述的基于红外热像图分析的沥青路面裂缝发育程度检测方法，其特征在于，步骤e包括将所述温差数据与所得到的ΔT₁₂与ΔT₂₃进行对比，若：

e₁.若ΔT≤ΔT₁₂，裂缝发育程度等级为1；

e₂.若ΔT₁₂＜ΔT＜ΔT₂₃，裂缝发育程度等级为2；

e₃.若ΔT≥ΔT₂₃，裂缝发育程度等级为3。

9.如权利要求1所述的基于红外热像图分析的沥青路面裂缝发育程度检测方法，其特征在于，步骤e包括：

e₁.将步骤b所记录的大气温度带入所述检测模型中的两个分类函数，得到参照温差数据ΔT₁₂与ΔT₂₃；

e₂.将步骤d中所述温差数据与所得到的ΔT₁₂与ΔT₂₃进行对比，计算所检测的裂缝发育程度指数：

若ΔT＝0，裂缝发育程度指数为0；

若ΔT＝ΔT₁₂，裂缝发育程度指数为1；

若ΔT＝ΔT₂₃，裂缝发育程度指数为2；

介于参照温差数据之间的采取线性插值确定裂缝发育程度指数，取一位小数，并根据建模经验取发育程度指数的误差项，最终发育程度指数为以下形式：m＝m±aσ

其中a为误差项系数，取值范围为1～3；误差项σ的取值由以下公式(11)得到：

m_i为对同一裂缝进行多次检测的结果，然后由以上公式(11)得出标准差。

Images