CN110991466A - 一种基于新型视觉传感设备的高速公路路面状况检测系统 - Google Patents

Abstract

本发明涉及一种基于新型视觉传感设备的高速公路路面状况检测系统，包括控制器和均与控制器连接的多个设置于高速公路路边的路侧视觉监控基站，所述路侧视觉监控基站包括可见光摄像机和红外摄像机，所述控制器中搭载有程序，控制器执行所述程序时实现：路面异常检测，采用语义分类网络，捕获路面局部异常、病害的图像数据，检测出路面异常状况的分类结果；多元路段图像拼接，收集各路侧视觉监控基站捕获的局部路面图像，提取特征向量进行匹配，实现不同路段间的图像拼接；多源图像数据融合，分析不同路段图像重叠部分的差异性，通过融合算法实现路段图像的过渡融合。与现有技术相比，本发明具有抗干扰能力强、提高路面养护与管理的时效性等优点。

Description

一种基于新型视觉传感设备的高速公路路面状况检测系统

技术领域

本发明涉及交通监控技术领域，尤其是涉及一种基于新型视觉传感设备的高速公路路面状况检测系统。

背景技术

随着我国高速公路里程的不断增加，一方面满足人们日渐增长的城市、城际交通出行需求，提高了人们出行的便捷性、高效性以及舒适性，且带动了我国国民经济的快速发展；另一方面由于交通荷载作用、环境变化影响，高速公路路面呈日趋恶化趋势，致使高速公路的使用性能及安全性能降低，缩短了高速公路的使用寿命。我国高速公路的发展模式逐渐由建设型转化为养护型，迫切需要先进、智能化的高速公路路面状况检测技术提升高速公路养护发展。

目前，高速公路路面养护部门采用的智能化巡检方式，主要依靠在车辆上安装激光、雷达、视觉等设备，定期通过人工驾驶相应路段进行路面状态巡检及时上报公路管理部门，完成路面养护。然而，这种基于智能巡检车的高速公路路面巡检方式，不仅设备昂贵、耗时耗力，而且由于动态检测，可视力度低，场景干扰严重，造成路面病害检测精度低；同时，这种定期局部路段巡检方式不仅全局监控力度差，而且路面状况检测结果上传实时性不高，影响交通管理部门养护强度。

发明内容

本发明的目的就是为了克服上述现有技术存在的路面病害检测精度低、实时性不高的缺陷而提供一种基于新型视觉传感设备的高速公路路面状况检测系统。

本发明的目的可以通过以下技术方案来实现：

一种基于新型视觉传感设备的高速公路路面状况检测系统，包括控制器和均与所述控制器连接的多个设置于高速公路路边的路侧视觉监控基站，所述路侧视觉监控基站包括可见光摄像机，所述路侧视觉监控基站还包括红外摄像机，所述控制器中搭载有程序，该控制器执行所述程序时实现：

路面异常检测，采用语义分类网络，在可见光摄像机的短焦模式下，捕获路面局部异常、病害的图像数据进行分类学习，对路面异常状况下的图像的语义特征进行训练分类，检测出路面异常状况的分类结果；

多元路段图像拼接，收集各路侧视觉监控基站的远焦模式下捕获的局部路面图像，通过SIFT特征提取方法提取特征向量，然后进行所述特征向量的相似度匹配，最后使用RANSAC算法优化匹配结果，消除误匹配的特征点，实现不同路段间的图像匹配、拼接；

多源图像数据融合，在多元路段图像拼接完成不同路段的图像匹配后，分析不同路段图像的重叠部分的差异性，通过基于动态加权平均的融合算法，实现多元路段图像在光照和图像形态变化间的过渡融合，建立高速公路路面的全局图像。

所述路侧视觉监控基站实时捕获日视与夜视条件下的路面图像，在路面出现异常状况下，通过调整摄像机焦距获取出现异常状况的路面所在高速公路区域的局部纹理清晰图像数据，并实时上传到控制器。

所述可见光摄像机的镜头所在平面距离地面的监控高度具体为：

其中，d_G为监控高度，x_l为可见光摄像机的监控视场范围的横向长，y_l为可见光摄像机的监控视场范围的纵向长，f_l为可见光摄像机的监控视场范围对应的焦距，x₁为可见光摄像机的光学感光面的横向长，y₁为可见光摄像机的光学感光面的纵向长，d₁和d₂为过程变量。

所述路面异常检测的分类学习包括调整所述语义分类网络的参数和分类权重。

优选的，所述可见光摄像机与红外摄像机的视角保持平行。

所述路面异常状况包括路面抛洒物、裂缝、坑槽和车辙。

所述SIFT特征提取方法进行特征向量提取的对象为相邻两个所述路侧视频监控基站捕获的两帧图像。

所述特征向量的相似度匹配的过程中向量匹配约束条件具体如下：

其中，P_R是距离特征点R最近的特征点，P_i表示距离R第二近的特征点，d表示两特征间的欧氏距离，t_d表示距离阈值。

所述基于动态加权平均的融合算法具体为：

F(x,y)＝λ_AA(x,y)+λ_BB(x,y)

其中，F(x,y)表示融合后的图像，A(x,y)与B(x,y)分别表示参与融合的任意两张图像，λ_A与λ_B表示参与融合的任意两张图像所占的权重。

所述λ_A与λ_B具体计算方式如下所示：

λ_B＝1-λ_A

其中，x表示两张图像进行融合时当前像素点在水平方向上的坐标，x_min和x_max分别表示两幅图像重叠部分在水平方向上的起始位置和终止位置的坐标。

与现有技术相比，本发明具有以下有益效果：

1.本发明采用图像处理、深度学习方法对高速公路路面图像处理检测路面异常状况，减少动态环境对图像处理算法干扰，满足高速公路实际养护工程对基于视觉的高速公路路面状况检测系统需求，可快速应用于国内高速公路路侧监控系统，实现高效稳定的路面状况检测。

2.本发明对现有路侧视觉监控系统改造，新增了红外传感设备，在保证原有视觉监控系统日视监控能力的同时，提高了对不同高速公路路段的夜视监控能力，保证路面养护与管理的时效性。

3.本发明通过多元路段图像拼接算法，通过实现多源图像数据融合，建立全局路面坐标系统，实时与路段监控平台进行数据通讯，为高速公路路面养护人员提供全局图像数据信息，对检测到的路面异常状况及时进行处理，保障了高速公路服务质量与使用性能。

附图说明

图1为本发明的结构示意图；

图2为本发明路侧视觉监控基站的结构示意图；

图3为本发明路侧视觉监控基站检测单元及其工作示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，一种基于新型视觉传感设备的高速公路路面状况检测系统，包括控制器和均与所述控制器连接的多个设置于高速公路路边的路侧视觉监控基站，所述路侧视觉监控基站包括可见光摄像机，所述路侧视觉监控基站还包括红外摄像机，所述控制器中搭载有程序，该控制器执行所述程序时实现：

路面异常检测，采用语义分类网络，在可见光摄像机的短焦模式下，捕获路面局部异常、病害的图像数据进行分类学习，对路面异常状况下的图像的语义特征进行训练分类，检测出路面异常状况的分类结果；

多元路段图像拼接，收集各路侧视觉监控基站的远焦模式下捕获的局部路面图像，通过SIFT特征提取方法提取特征向量，然后进行所述特征向量的相似度匹配，最后使用RANSAC算法优化匹配结果，消除误匹配的特征点，实现不同路段间的图像匹配、拼接；

多源图像数据融合，在多元路段图像拼接完成不同路段的图像匹配后，分析不同路段图像的重叠部分的差异性，通过基于动态加权平均的融合算法，实现多元路段图像在光照和图像形态变化间的过渡融合，建立高速公路路面的全局图像。

路侧视觉监控基站实时捕获日视与夜视条件下的路面图像，在路面出现异常状况下，通过调整摄像机焦距获取出现异常状况的路面所在高速公路区域的局部纹理清晰图像数据，并实时上传到控制器。

如图2所示，可见光摄像机与红外摄像机的视角保持平行，以镜头垂直90度朝下面向高速公路，常态下以远焦模式采集路面区域图像，检测到路面异常状态时调整云台到短焦模式下采集异常路面区域纹理清晰图像。

可见光摄像机的镜头所在平面距离地面的监控高度具体为：

其中，d_G为监控高度，x_l为可见光摄像机的监控视场范围的横向长，y_l为可见光摄像机的监控视场范围的纵向长，f_l为可见光摄像机的监控视场范围对应的焦距，x₁为可见光摄像机的光学感光面的横向长，y₁为可见光摄像机的光学感光面的纵向长，d₁和d₂为过程变量。

如图3所示，日视情况下，路侧视觉监控基站实时采集长焦模式下感知区域内路面图像，并上传到控制器；当检测到路面异常状况时，调整云台焦距至短焦模式下，捕获路面异常区域(横向长x_s，纵向长y_s)，保证采集到的图像(横向长x₂，纵向长y₂)能最大化异常区域的局部特征，并实时保存图像至基站所在存储平台；夜视情况下，红外摄像机实时感知路面区域，并上传路面图像至控制器。

路面异常检测通过收集不同路侧视觉监控基站的存储平台上的路面异常图像训练深度学习网络，对不同异常状况图像进行检测；通过对训练图像数据集进行语义标注，得到路面抛洒物、裂缝、坑槽、车辙四类图像对应的训练数据集；通过在路段监控中心视频处理服务器平台搭建基于语义学习的深度学习网络，进行路面异常状况图像检测，同时，通过调整训练参数、优化训练数据集，提高检测分类器性能。具体实施步骤如下：

步骤S101：路侧视觉监控基站内配有云台的可见光摄像机在短焦模式下采集的路面异常状况图像实时保存至本地存储平台，通过局域网访问该存储平台，获取当前时段已保存的路况异常图像。通过labelme标注数据工具对路况异常图像数据集进行标注，生成每张图像对应的json标注文件，通过labelme标注数据集到COCO数据集转化工具生成上述标注文件对应的可被语义网络Mask RCNN识别的数据文件，即得到COCO数据集格式的总的json文件；

步骤S102：在本地视频处理平台上完成Mask RCNN网络搭建，首先安装与系统平台匹配的安装文件依赖项，同时安装Caffe2网络环境，在Caffe2网络环境安装完成后，安装COCO数据集应用接口，最后安装Detectron网络环境，完成Mask RCNN网络的整体搭建；

步骤S103：将标注与转化好的数据集按照Mask RCNN网络训练接口进行分类，分别建立标注、训练、验证数据集文件夹；修改网络模型，链接到本地处理平台对应的训练与验证数据集，同时修改训练分类数据为所要分类的类别数量，以及训练使用的GPU数量；

步骤S104：在本地视频处理平台上执行网络运行指令，启动网络开始数据训练，通过修改迭代次数调整网络模型，使训练结果平均检测率达到理想值，最终得到的pkl模型文件即为路面异常状况检测模型，实现对抛洒物、裂缝、坑槽、车辙等四种路面异常状态的图像类型的检测。

多元路段图像拼接通过对路段监控中心视频处理平台收集的各路段局部监控区域图像特征提取，实现任意两帧路段图像准确特征向量匹配；通过相应的向量匹配约束条件，提高特征向量的匹配正确率；通过RANSAC算法优化消除错误匹配特征数据，提高图像拼接算法的准确性。具体实施步骤如下：

步骤S201：对上传到路段监控中心平台的路侧局部图像数据进行分组管理，记录不同分组内图像间的邻近关系；对空间采集位置相邻的两帧图像，即分别捕猎自相邻两路侧视频监控基站的两帧图像，进行SIFT特征提取；

步骤S202：根据SIFT特征对应的特征向量间的相似度判断任意两个特征点的匹配度，通过相应的向量匹配约束条件，提高特征向量的匹配正确率，约束条件具体如下所示：

其中，P_R是距离特征点R最近的特征点，P_i表示距离R第二近的特征点，d表示两特征间的欧氏距离，t_d表示距离阈值；

步骤S203：完成上述匹配过程后，两帧图像间的匹配仍存在较多误匹配的情况，通过采用RANSAC算法优化匹配结果，消除误匹配的特征点，进一步提高相邻两帧图像间的匹配正确率。

多源图像数据融合通过基于动态加权平均的融合算法，提高图像拼接后图像的光照变化一致性、物体形态一致性和图像间过渡平稳性，基于动态加权平均的融合算法具体为：

F(x,y)＝λ_AA(x,y)+λ_BB(x,y)

其中，F(x,y)表示融合后的图像，A(x,y)与B(x,y)分别表示参与融合的任意两张图像，λ_A与λ_B表示参与融合的任意两张图像所占的权重。

λ_A与λ_B具体计算方式如下所示：

λ_B＝1-λ_A

其中，x表示两张图像进行融合时当前像素点在水平方向上的坐标，x_min和x_max分别表示两幅图像重叠部分在水平方向上的起始位置和终止位置的坐标。

此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等小变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于新型视觉传感设备的高速公路路面状况检测系统，包括控制器和均与所述控制器连接的多个设置于高速公路路边的路侧视觉监控基站，所述路侧视觉监控基站包括可见光摄像机，其特征在于，所述路侧视觉监控基站还包括红外摄像机，所述控制器中搭载有程序，该控制器执行所述程序时实现：

路面异常检测，采用语义分类网络，在可见光摄像机的短焦模式下，捕获路面局部异常、病害的图像数据进行分类学习，对路面异常状况下的图像的语义特征进行训练分类，检测出路面异常状况的分类结果；

多元路段图像拼接，收集各路侧视觉监控基站的远焦模式下捕获的局部路面图像，通过SIFT特征提取方法提取特征向量，然后进行所述特征向量的相似度匹配，最后使用RANSAC算法优化匹配结果，消除误匹配的特征点，实现不同路段间的图像匹配、拼接；

多源图像数据融合，在多元路段图像拼接完成不同路段的图像匹配后，分析不同路段图像的重叠部分的差异性，通过基于动态加权平均的融合算法，实现多元路段图像在光照和图像形态变化间的过渡融合，建立高速公路路面的全局图像。

2.根据权利要求1所述的一种基于新型视觉传感设备的高速公路路面状况检测系统，其特征在于，所述路侧视觉监控基站实时捕获日视与夜视条件下的路面图像，在路面出现异常状况下，通过调整摄像机焦距获取出现异常状况的路面所在高速公路区域的局部纹理清晰图像数据，并实时上传到控制器。

3.根据权利要求1所述的一种基于新型视觉传感设备的高速公路路面状况检测系统，其特征在于，所述可见光摄像机的镜头所在平面距离地面的监控高度具体为：

其中，d_G为监控高度，x_l为可见光摄像机的监控视场范围的横向长，y_l为可见光摄像机的监控视场范围的纵向长，f_l为可见光摄像机的监控视场范围对应的焦距，x₁为可见光摄像机的光学感光面的横向长，y₁为可见光摄像机的光学感光面的纵向长，d₁和d₂为过程变量。

4.根据权利要求1所述的一种基于新型视觉传感设备的高速公路路面状况检测系统，其特征在于，所述路面异常检测的分类学习包括调整所述语义分类网络的参数和分类权重。

5.根据权利要求1所述的一种基于新型视觉传感设备的高速公路路面状况检测系统，其特征在于，所述可见光摄像机与红外摄像机的视角保持平行。

6.根据权利要求1所述的一种基于新型视觉传感设备的高速公路路面状况检测系统，其特征在于，所述路面异常状况包括路面抛洒物、裂缝、坑槽和车辙。

7.根据权利要求1所述的一种基于新型视觉传感设备的高速公路路面状况检测系统，其特征在于，所述SIFT特征提取方法进行特征向量提取的对象为相邻两个所述路侧视频监控基站捕获的两帧图像。

8.根据权利要求1所述的一种基于新型视觉传感设备的高速公路路面状况检测系统，其特征在于，所述特征向量的相似度匹配的过程中向量匹配约束条件具体如下：

其中，P_R是距离特征点R最近的特征点，P_i表示距离R第二近的特征点，d表示两特征间的欧氏距离，t_d表示距离阈值。

9.根据权利要求1所述的一种基于新型视觉传感设备的高速公路路面状况检测系统，其特征在于，所述基于动态加权平均的融合算法具体为：

F(x,y)＝λ_AA(x,y)+λ_BB(x,y)

其中，F(x,y)表示融合后的图像，A(x,y)与B(x,y)分别表示参与融合的任意两张图像，λ_A与λ_B表示参与融合的任意两张图像所占的权重。

10.根据权利要求9所述的一种基于新型视觉传感设备的高速公路路面状况检测系统，其特征在于，所述λ_A与λ_B具体计算方式如下所示：

λ_B＝1-λ_A

其中，x表示两张图像进行融合时当前像素点在水平方向上的坐标，x_min和x_max分别表示两幅图像重叠部分在水平方向上的起始位置和终止位置的坐标。

Images