CN105067633A - 基于图像处理的车载式路面破损自动识别装置及使用方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的车载式路面破损自动识别装置，包括图像采集模块、数据处理模块、电源模块和GPS信号收发装置，图像采集模块包括线阵相机、旋转编码器、LED照明单元、设备控制台，数据处理模块包括图像采集卡、GPS数据预处理单元、工控机。本发明根据旋转编码器产生的脉冲信号，触发线阵相机拍摄，路面图像精度高，避免利用GPS定位系统触发拍照，在隧道、树木等遮挡条件无法触发的不利情形。采用双线阵相机左右路面同时拍摄，降低了路面图像拼接的复杂度，路面图像容易实现连续拼接图像，以及左右路面图像的融合。GPS定位信息作为辅助旋转编码器，校正里程，存档相应路面的GPS信息，有利于后期破损路面的查看，地理位置的定位。

Description

基于图像处理的车载式路面破损自动识别装置及使用方法

技术领域

本发明涉及道路破损检测技术，特别涉及一种基于图像处理的车载式路面破损自动识别装置及使用方法。

背景技术

随着我国经济的发展，各行各业都对交通运输有着巨大的需求。良好的公路交通环境已经成为促进国民经济发展的重要因素。随着全国公路里程数的不断增加，为确保已修建好的公路能够得到良好的养护、发挥最大的价值、确保人民群众交通出行时的生命与财产安全，必须对频繁使用以及年久失修的道路进行道路检测。路面的破损检测作为多种道路检测评价指标中的一种，对道路的安全性具有重要影响。如果能够及时发现和检测道路的破损，道路养护单位采取相应的维修措施，则可以减少交通事故的发生、增加道路使用年限、降低行车的燃油消耗、提高驾乘舒适性。

目前的路面破损检测技术主要有人工检测、激光检测、基于数字图像处理检测这三种发明。

人工检测要求检测人员到现场对破损路面的破损状况包括破损长、宽、面积、位置进行记录，并对记录的数据分类整理制表。这种检测发明由于与检测人员的个体评价标准有很大不同，导致检测结果具有太强的主观性，而且费时费力，目前已很少采用。

激光检测技术是依靠激光发射特定波长激光，同时激光接收装置实时接收由路面反射的激光。由于裂缝区域存在漫反射，接收到的光强度与正常路面的光强不同，依据这个特征进行破损识别。缺陷是环境光影响较大，日光条件下受影响。

基于数字图像处理的检测技术在近些年正在发展，主要有基于面阵CCD相机和线阵CCD相机。两者的路面破损检测关键技术基本相同，但是基于面阵CCD相机采集后的图像在不仅在道路横向方向需要图像拼接，而且在道路纵向方向也需要拼接，破损裂缝位置的定位与采用线阵CCD相机相比，没有后者精确，面阵相机还需要处理成像畸变等不利因素。目前众多的检测装置大多数均为先期检测车户外采集道路图像，然后再由软件或者室内人工操作处理，处于半自动化状态，检测准确性还是与人的因素有较大的关联。

综上所述，需要一种更加高效的、更加精确的路面破损检测装置。

发明内容

本发明所解决的技术问题在于提供一种基于图像处理的车载式路面破损自动识别装置及使用方法，以解决上述背景技术中的缺点，以提高道路破损检测的检测速度，提高检测精度，降低检测成本。

为达到上述目的，本发明采用如下的技术方案来实现：

一种基于图像处理的车载式路面破损自动识别装置，包括图像采集模块、数据处理模块、电源模块和GPS信号收发装置，所述的图像采集模块包括线阵相机、触发线阵相机拍照的旋转编码器、为线阵相机提供光源的LED照明单元、控制线阵相机拍摄参数和LED照明单元光照强度的设备控制台，所述的线阵相机设置在检测车的尾部，包括拍摄方向平行且采用俯摄的第一线阵相机和第二线阵相机，所述的旋转编码器安装在车轮轮毂轴线外沿；所述的数据处理模块包括图像采集卡、GPS数据预处理单元、工控机，所述的图像采集卡包括连接第一线阵相机的第一图像采集卡和连接第二线阵相机的第二图像采集卡，所述的GPS数据预处理单元连接GPS信号收发装置并将GPS信号进行预处理得到GPS定位信息，所述的图像采集卡和GPS数据预处理单元连接工控机，工控机内设有图像处理单元，图像处理单元包括用于对路面图像进行实时采集、传输、拼接、显示、存储的A模块和用于对路面图像进行融合、破损自动识别、分类、统计和报表生成的B模块；所述的电源模块与图像采集模块、数据处理模块、GPS信号收发装置连接。

本发明所述的第一线阵相机、第二线阵相机的拍摄角度为与垂直方向成36°，第一线阵相机、第二线阵相机拍摄到的图像有一部分交叉重叠。

本发明所述的GPS信号收发装置设置在检测车的顶部。

本发明所述的GPS定位信息包括车速、方向、经度、纬度和时间。

本发明所述的图像采集卡通过cameralink连接线与线阵相机连接。

本发明所述的旋转编码器采用快拆式的结构，该旋转编码器产生的脉冲计数信号在车身每前进1mm时触发一次线阵相机拍摄。

本发明所述的LED照明单元设置在线阵相机下方，且设置在检测车的尾部。

本发明所述的A模块用于将N帧线阵图像拼接成一张路面图像，然后存储起来。

本发明所述的B模块用于将第一线阵相机和第二线阵相机所有时刻拍摄到的路面图像进行融合拼接，并对路面图像进行灰度均匀化，再对路面图像进行滤波、去噪、阈值分割、破损类型识别、报表自动生成。

本发明还提供一种基于图像处理的车载式路面破损自动识别装置的使用方法，包括以下步骤：

步骤1)旋转编码器在检测车每前进一段固定距离时发出一个脉冲，同时脉冲触发第一线阵相机和第二线阵相机在LED照明单元的辅助照明下进行拍照，得到该时刻检测车行驶到的路面位置的图像数据，其中第一线阵相机和第二线阵相机的拍摄参数、LED照明单元的光照强度由设备控制台进行调节；

步骤2)第一线阵相机和第二线阵相机通过cameralink连接线将图像数据分别传输给第一图像采集卡、第二图像采集卡，第一图像采集卡、第二图像采集卡对图像数据进行处理后传输至工控机的内存进行存储；

步骤3)在步骤1)和步骤2)进行的同时，GPS信号收发装置将接收到的GPS信号传输至GPS数据预处理单元进行解析，得到该时刻路面的GPS定位信息，并将GPS定位信息传输至工控机的内存进行存储；

步骤4)工控机内的A模块采集存储在工控机内存中的图像数据，将每1024帧第一线阵相机或第二线阵相机拍摄的图像数据拼接成一张连续的路面图像，再将该时间段完整的路面图像显示在软件的窗口界面，对所有时间段完整的路面图像依照时间顺序进行命名，存储至工控机的数据库内，同时也将路面图像的各个时刻的GPS定位信息和桩号里程信息保存至工控机的数据库内；

步骤5)工控机内的B模块采用Harris角点对存储在工控机数据库内的路面图像进行特征提取，并采用图像匹配的处理算法，将同时段第一线阵相机和第二线阵相机分别拍摄的路面图像进行融合，形成一张包含路面左边图像和右边图像的完整的路面图像，并通过获取光照背景、去除图像光照差异，得到灰度均匀化后的路面图像，再通过图像滤波去噪、图像阈值分割、膨胀和腐蚀的处理，提取出路面的破损图像，依据破损类型数据的训练对破损类型进行分类、统计，破损路面区域自动标记所在桩号位置以及里程数，最终自动生成路面破损检测报表。

有益效果：

采用本发明，根据旋转编码器产生的脉冲信号，使车轮每前进1mm触发线阵相机拍摄，路面图像精度高，避免利用GPS定位系统触发拍照，在隧道、树木等遮挡条件无法触发的不利情形。采用双线阵相机左右路面同时拍摄，降低了路面图像拼接的复杂度，路面图像容易实现连续拼接图像，以及左右路面图像的融合。GPS定位信息作为辅助旋转编码器，校正里程，存档相应路面的GPS信息，有利于后期破损路面的查看，地理位置的定位。在图像处理单元，设计了两个模块，一个模块负责检测车实地采集现场路面图像时的实时采集、传输、显示、存储，另外一个模块负责处理数据库里路面图像，进行破损自动识别。

附图说明

图1为本发明的结构示意图。

图2为本发明中图像处理单元的流程图。

图3为本发明的较佳实施例中车载布局形式后视图。

图4为本发明的较佳实施例中车载布局形式侧视图。

具体实施方式

为了使本发明的技术手段、达成目的与功效易于明白了解，下面结合附图并举实施例，进一步阐述本发明。

参见图1-4所示的一种基于图像处理的车载式路面破损自动识别装置，该装置配置在一台检测车上，车上集成有电源模块、图像采集模块、数据处理模块和GPS信号收发装置。

电源模块与图像采集模块、数据处理模块、GPS信号收发装置连接，电源模块为图像采集模块、数据处理模块中的所有子模块和GPS信号收发装置提供稳定的电源。

图像采集模块包括五个子模块，分别是第一线阵相机、第二线阵相机、旋转编码器、LED照明单元、设备控制台，旋转编码器、设备控制台、LED照明单元都与第一线阵相机和第二线阵相机连接；旋转编码器安装在车轮轮毂轴线外沿，与车轮同步旋转，车轮每前进一段距离，产生触发信号，触发信号同步传递给第一线阵相机、第二线阵相机，触发第一线阵相机、第二线阵相机进行拍照，并将采集到的图像传输到数据处理模块；LED照明单元用于为第一线阵相机、第二线阵相机提供辅助照明，排除外界其他光源干扰；设备控制台与第一线阵相机、第二线阵相机和LED照明单元连接，用于控制第一线阵相机和第二线阵相机的拍摄参数、LED照明单元的光照强度以及各个子模块的开关。

数据处理模块包括五个子模块，分别是第一图像采集卡、第二图像采集卡、GPS数据预处理单元、工控机、图像处理单元，第一图像采集卡、第二图像采集卡、GPS数据预处理单元都与工控机连接；第一图像采集卡通过cameralink连接线与第一线阵相机相连，第二图像采集卡通过cameralink连接线与第二线阵相机相连，第一线阵相机通过cameralink连接线将拍摄到的图像数据传输给第一图像采集卡，第二线阵相机通过cameralink连接线将拍摄到的图像数据传输给第二图像采集卡，第一图像采集卡和第二图像采集卡对图像数据进行处理，处理后传输至工控机内存，工控机对线阵图像进行拼接生成连续路面图像，并以固定帧数合成为一张图像，分别保存至工控机硬盘内；GPS数据预处理单元与GPS信号收发装置连接，GPS信号收发装置接收GPS信息，并将GPS信息传递给GPS数据预处理单元进行预处理，GPS数据预处理单元再将GPS信息传输至工控机进行保存；图像处理单元负责对图像数据进行压缩、传输、存储，对路面图像进行自动破损类型识别、分类、统计和报表自动生成。

图像采集模块中，旋转编码器采用超高分辨率的工业编码器，需要达到装置所要求的检测车每向前行进1mm旋转编码器发出一个脉冲，同时脉冲触发第一线阵相机与第二线阵相机进行拍照。旋转编码器安装在检测车后侧车轮的轮毂轴中心外沿，使用快拆的结构形式。在本实施例中，旋转编码器采用宜科EC58A10型编码器，该编码器具有3600每转的高分辨率，能够满足车身每前进1mm，触发一次线阵相机拍摄的要求。旋转编码器的触发信号通过处理同步传输至第一线阵相机与第二线阵相机。

第一线阵相机、第二线阵相机采用BASLERspL4096-140km相机，主要参数：分辨率为1*4096，黑白，CameraLink接口形式，镜头采用尼康AF-S50mmf/1.8G型号，两个线阵相机的参数完全相同。两个线阵相机并排放置在车身后部增加的结构件上，垂直距离地面2400mm处，保证两个线阵相机拍摄的方向与垂直方向成36度夹角，且拍摄时共面，高度可调，两个线阵相机拍摄得到的图像有一部分交叉重叠，两个线阵相机拍摄的范围覆盖3.75m宽度的车道。

LED照明单元使用连续的无频闪的LED照明单元对路面进行辅助照明，为两线阵相机拍摄时的辅助照明光源，用于排除外界自然光的干扰，LED照明单元的亮度、频闪时间由设备控制台控制。LED照明单元布置在垂直距离底面300mm处，呈U型状，保证被拍摄路面足够的光照强度。

数据处理模块中，工控机在本实例中采用研华机箱、研华主板PCE-7210G2主板、研华PCE-5B12-64B1E工业底板、Intel酷睿2QX9650处理器、PCI2394板卡(旋转编码器脉冲计数)。第一图像采集卡与第二图像采集卡均采用MatroxSoliosXCL型CameraLink接口图像采集卡，两个板卡均插在主板的对应卡槽上。

GPS信号收发装置采用GPS接收机，用于接收卫星输出的定位信息，定位信息包括当前检测车的速度、方向、经度、纬度和定位时间。GPS接收机选用GARMINeTrexLengendC型GPS接收机。GPS接收机放置在车顶，对接收得到的GPS信息进行解析，将GPS的里程信息作为辅助参数，校正由旋转编码器产生的里程数据，这些信息随着路面图像数据按照时间顺序依次命名保存至工控机的数据库内。

图像处理单元为架设在工控机平台上的处理软件，用于对路面图像进行采集、传输、存储以及处理图像数据、报表生成。图像处理单元包括两个子模块：A模块为路面图像实时采集、传输、显示、存储模块，B模块为路面图像破损自动识别模块。

A模块的处理流程为：

步骤11：获取第一图像采集卡与第二图像采集卡所采集传送到工控机内存中的图像数据，将每1024帧该图像数据拼接融合成一张连续的路面图像；

步骤12：将融合后的路面图像实时显示在软件的窗口界面；

步骤13：将所有的路面图像依照时间顺序，按照命名规则依次命名保存；

步骤14：与步骤11、步骤12、步骤13同时保存桩号里程信息，以及图像的各个相应时刻的GPS信息，为模块B的自动破损识别模块的正常运行提供条件。

B模块的处理流程为：

步骤21：采用Harris角点对路面图像进行特征提取，并采用图像匹配的处理算法，对道路左右路面图像进行拼接融合；

步骤22：获取光照背景，去除图像光照差异，得到灰度均匀化后的图像；

步骤23：通过图像滤波去噪，图像阈值分割，膨胀和腐蚀的处理，最终提取出路面的破损图像；

步骤24：依据破损类型数据的训练，对破损类型进行分类、统计，破损路面区域自动标记所在桩号位置以及里程数，最终自动生成国家所要求的检测报表。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于图像处理的车载式路面破损自动识别装置，其特征在于，包括图像采集模块、数据处理模块、电源模块和GPS信号收发装置,所述的图像采集模块包括线阵相机、触发线阵相机拍照的旋转编码器、为线阵相机提供光源的LED照明单元、控制线阵相机拍摄参数和LED照明单元光照强度的设备控制台，所述的线阵相机设置在检测车的尾部，包括拍摄方向平行且采用俯摄的第一线阵相机和第二线阵相机，所述的旋转编码器安装在车轮轮毂轴线外沿；所述的数据处理模块包括图像采集卡、GPS数据预处理单元、工控机，所述的图像采集卡包括连接第一线阵相机的第一图像采集卡和连接第二线阵相机的第二图像采集卡，所述的GPS数据预处理单元连接GPS信号收发装置并将GPS信号进行预处理得到GPS定位信息，所述的图像采集卡和GPS数据预处理单元连接工控机，工控机内设有图像处理单元，图像处理单元包括用于对路面图像进行实时采集、传输、拼接、显示、存储的A模块和用于对路面图像进行融合、破损自动识别、分类、统计和报表生成的B模块；所述的电源模块与图像采集模块、数据处理模块、GPS信号收发装置连接。

2.根据权利要求1所述的一种基于图像处理的车载式路面破损自动识别装置，其特征在于，所述的第一线阵相机、第二线阵相机的拍摄角度为与垂直方向成36°，第一线阵相机、第二线阵相机拍摄到的图像有一部分交叉重叠。

3.根据权利要求1所述的一种基于图像处理的车载式路面破损自动识别装置，其特征在于，所述的GPS信号收发装置设置在检测车的顶部。

4.根据权利要求1所述的一种基于图像处理的车载式路面破损自动识别装置，其特征在于，所述的GPS定位信息包括车速、方向、经度、纬度和时间。

5.根据权利要求1所述的一种基于图像处理的车载式路面破损自动识别装置，其特征在于，所述的图像采集卡通过cameralink连接线与线阵相机连接。

6.根据权利要求1所述的一种基于图像处理的车载式路面破损自动识别装置，其特征在于，所述的旋转编码器采用快拆式的结构，该旋转编码器产生的脉冲计数信号在车身每前进1mm时触发一次线阵相机拍摄。

7.根据权利要求1所述的一种基于图像处理的车载式路面破损自动识别装置，其特征在于，所述的LED照明单元设置在线阵相机下方，且设置在检测车的尾部。

8.根据权利要求1所述的一种基于图像处理的车载式路面破损自动识别装置，其特征在于，所述的A模块用于将N帧线阵图像拼接成一张路面图像，然后存储起来。

9.根据权利要求1所述的一种基于图像处理的车载式路面破损自动识别装置，其特征在于，所述的B模块用于将第一线阵相机和第二线阵相机所有时刻拍摄到的路面图像进行融合拼接，并对路面图像进行灰度均匀化，再对路面图像进行滤波、去噪、阈值分割、破损类型识别、报表自动生成。

10.一种基于图像处理的车载式路面破损自动识别装置的使用方法，其特征在于，包括以下步骤：

步骤1)旋转编码器在检测车每前进一段固定距离时发出一个脉冲，同时脉冲触发第一线阵相机和第二线阵相机在LED照明单元的辅助照明下进行拍照，得到该时刻检测车行驶到的路面位置的图像数据，其中第一线阵相机和第二线阵相机的拍摄参数、LED照明单元的光照强度由设备控制台进行调节；

步骤2)第一线阵相机和第二线阵相机通过cameralink连接线将图像数据分别传输给第一图像采集卡、第二图像采集卡，第一图像采集卡、第二图像采集卡对图像数据进行处理后传输至工控机的内存进行存储；

步骤3)在步骤1)和步骤2)进行的同时，GPS信号收发装置将接收到的GPS信号传输至GPS数据预处理单元进行解析，得到该时刻路面的GPS定位信息，并将GPS定位信息传输至工控机的内存进行存储；

步骤4)工控机内的A模块采集存储在工控机内存中的图像数据，将每1024帧第一线阵相机或第二线阵相机拍摄的图像数据拼接成一张连续的路面图像，再将该时间段完整的路面图像显示在软件的窗口界面，对所有时间段完整的路面图像依照时间顺序进行命名，存储至工控机的数据库内，同时也将路面图像的各个时刻的GPS定位信息和桩号里程信息保存至工控机的数据库内；

步骤5)工控机内的B模块采用Harris角点对存储在工控机数据库内的路面图像进行特征提取，并采用图像匹配的处理算法，将第一线阵相机和第二线阵相机分别拍摄的路面图像进行融合，形成一张包含路面左边图像和右边图像的完整的路面图像，并通过获取光照背景、去除图像光照差异，得到灰度均匀化后的路面图像，再通过图像滤波去噪、图像阈值分割、膨胀和腐蚀的处理，提取出路面的破损图像，依据破损类型数据的训练对破损类型进行分类、统计，破损路面区域自动标记所在桩号位置以及里程数，最终自动生成路面破损检测报表。