CN110874598B - 一种基于深度学习的高速公路水痕检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的高速公路水痕检测方法，包括以下步骤：步骤1：构建高速公路水痕数据集；步骤2：对步骤1构建的数据集进行自适应聚类分割；步骤3：对步骤1得到的数据集进行语义分割；步骤4：对步骤3和步骤4得到的分割结果进行融合，即得到所需高速公路水痕检测结果；本发明于深度学习的方法，将语义分割与自适应聚类分割相结合，可以高效率、高精度的进行高速公路水痕检测，可在高速公路水痕检测上取得很好的应用效果。

Description

一种基于深度学习的高速公路水痕检测方法

技术领域

本发明涉及智能交通技术领域，具体涉及一种基于深度学习的高速公路水痕检测方法。

背景技术

恶劣的天气条件严重威胁着高速公路上行驶的车辆的安全，特别是在雨天，路面存在积水，这可能会导致交通事故的发生，带来昂贵的损失。因此，高速公路水痕检测对交通管理中心做气象监测是至关重要的。恶劣天气会严重影响高速公路的安全，尤其是雨天。雨天存在路面摩擦减小和降雨期间低能见度的情况，这些现象会降低车流速度，降低道路容量并增加碰撞风险。FHWA的一项研究估计，在美国的交通事故中，大约47％与天气相关的碰撞事故发生在雨天。恶劣天气的检测对交通管理部分至关重要，但道路中水痕的检测是人们尚未研究的领域。

监控摄像机广泛安装高速公路上，相关人员可以通过摄像机直观判断路面是否有积水。然而，手动监控大量的摄像机对于管理部门来说是一种昂贵且低效的方式。为了解决这个问题，自动积水检测系统成立成了管理部门的迫切需求。在交通监控视频中，道路环境差异很大，天气条件(雾、雨和雪)多样，照明变化复杂，摄像机视角不同，使得高速公路的路面水痕检测成为一项具有挑战性的任务。

目前，现有的方法都是基于视觉的方法以及基于传感器、雷达等设备的方法。由于有些恶劣天气的视觉属性弱，且高速公路摄像头采集数据时，由于摄像头视觉远，角度多变，导致路面积水很难辨别。现有的基于视觉的方法难以取得令人满意的效果。基于传感器、雷达等方法在路面雨水的检测上虽然能取得一定的检测效果，但存在设备昂贵、操作复杂的问题。

发明内容

本发明提供一种高效率、高精度的进行高速公路水痕检测的基于深度学习的高速公路水痕检测方法。

本发明采用的技术方案是：一种基于深度学习的高速公路水痕检测方法，包括以下步骤：

步骤1：构建高速公路水痕数据集；

步骤2：对步骤1构建的数据集进行自适应聚类分割；

步骤3：对步骤1得到的数据集进行语义分割；

步骤4：对步骤2和步骤3得到的分割结果进行融合，即得到所需高速公路水痕检测结果。

进一步的，所述步骤2对步骤1构建的数据集进行自适应聚类分割具体过程如下：

S21：采用训练后的目标检测模型，将步骤1得到的数据集进行检测，获取车辆的位置坐标和大小；

S22：采用多目标跟踪算法对车辆进行实时跟踪，获取车辆的前进方向；

S23：根据步骤S21和S22获取得到的车辆位置坐标、车辆大小和车辆的前进方向提取车尾水痕可能出现的小区域；

S24：采用自适应聚类分割方法，对步骤S23提出的小区域进行水痕区域的检测和提取。

进一步的，所述步骤3对步骤1得到的数据集进行语义分割具体过程如下：

S31：构建具有编码-解码结构的语义分割网络，其中下采样中采用VGG16特征提取结构；

S32：步骤S31语义分割网络中上采样过程中重用池化索引；

S33：在语义分割网络中进行特征融合；

S34：采用预训练的VGG16网络作为预训练模型，训练语义分割网络；

S35：采用训练好的模型进行水痕区域检测与提取。

进一步的，所述步骤4中融合过程如下：

步骤S23中得到的车尾小区域的像素集设为A＝{A₁，A₂,...,A_n}，n为小区域的像素数目；小区域中非水痕区域的像素集设为a＝{a₁,a₂,...,a_m}，m为小区域中非水痕区域的像素数目；经语义分割后区域的像素集设为B＝{B₁,B₂,...,B_k}，k为语义分割区域的像素数目；融合后的水痕区域像素集为C；

式中：

为小区域中(i,j)位置的像素值，

为小区域中非水痕区域的(i,j)处像素值，

为语义分割区域的(i,j)处像素值，i，j为像素点在图片中对应的行号和列号，l为遍历像素集时使用的索引符号。

进一步的，所述步骤S24具体过程如下：

S241：将步骤1数据集中的图片转换成灰度图并获取小区域的像素集A，A＝{A₁,A₂,...,A_i}；

S242：初始化聚类中心c_k，k＝1,2；c₁初始值设置为小区域中最小像素值，c₂初始值为小区域中最大像素值，设λ＝1；

S243：计算每个像素点A_i到聚类中心c₁和c₂的距离d_ik：

d_ik＝(A_i-c_k)²

S244：对于像素集A中的每个像素，对比每个像素点A_i到聚类中心c_k的距离d_ik，d_ik＝{d_i1,d_i2}；

S245：判断是否满足d_i1＜λd_i2，若满足，则A_i∈a，否则A_i∈A-a；其中，a为输出的非水痕区域的像素集a，a＝{a₁,a₂,...,a_i}；水痕区域的像素集为A-a；

S246：判断是否满足

若满足则转入步骤S247，否则令λ＝λ×0.95，计算新的聚类中心：

转到步骤S243；

S247：输出A-a和a。

本发明的有益效果是：

本发明将基于自适应聚类分割与语义分割相融合用于水痕的检测和提取，可以高效率、高精度的进行高速公路水痕检测，可在高速公路水痕检测上取得很好的应用效果。

附图说明

图1为本发明流程示意图。

图2为本发明基于自适应聚类分割的水痕检测与提取流程示意图。

图3为本发明中自适应聚类分割算法的流程示意图。

图4为本发明中基于语义分割的水痕检测与提取流程示意图。

图5为本发明中WNet432语义分割网络的网络结构图。

图6为本发明中WNet543语义分割网络的网络结构图。

图7为本发明检测效果图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1所示，一种基于深度学习的高速公路水痕检测方法，包括以下步骤：

步骤1：构建高速公路水痕数据集D；使用高速公路上安装的监控摄像头，采集高速公路视频数据，整理形成所需高速公路车辆检测数据集。在收集数据的过程中获取多个场景的雨天和非雨天数据，非雨天的数据加入水痕数据集中，使模型学习没有水痕的场景。

步骤2：步骤2：对步骤1构建的数据集进行自适应聚类分割CL；具体过程如图2所示：

S21：采用训练后的目标检测模型，将步骤1得到的数据集进行检测，获取车辆的位置坐标和大小；使用高速公路车辆检测数据集，目标检测模型采用Faster R-CNN，主干分类网络选择ResNet101，通过结合高精度的Faster R-CNN和ResNet101，训练得到高精度的高速公路车辆检测模型。基于高速公路监控视频流实现高速公路行驶车辆的检测，获取车辆的位置坐标和大小。

S22：采用多目标跟踪算法对车辆进行实时跟踪，获取车辆的前进方向；采用DeepSort多目标跟踪算法对高速公路行驶车辆进行实时跟踪。当然也可以选择其他的多目标跟踪算法。

S23：根据步骤S21和S22获取得到的车辆位置坐标、车辆大小和车辆的前进方向提取车尾水痕可能出现的小区域；通过几何方法提取车尾水痕可能出现的小区域。

S24：采用自适应聚类分割方法，对步骤S23提出的小区域进行水痕区域的检测和提取。自适应聚类算法流程如图3所示。

其输入为一张包含提取的小区域的RGB图片，小区域的像素集设为A，A＝{A₁，A₂,...,A_n}，n为小区域的像素数目；输出为非水痕区域的像素集a，a＝{a₁,a₂,...,a_m}，m为小区域中非水痕区域的像素数目；水痕区域的像素集为A-a。

S241：将步骤1数据集中的图片转换成灰度图并获取小区域的像素集A，A＝{A₁,A₂,...,A_i}；

S242：初始化聚类中心c_k，k＝1,2；c₁初始值设置为小区域中最小像素值，c₂初始值为小区域中最大像素值，设λ＝1；

S243：计算每个像素点A_i到聚类中心c₁和c₂的距离d_ik：

d_ik＝(A_i-c_k)²

S244：对于像素集A中的每个像素，对比每个像素点A_i到聚类中心c_k的距离d_ik，d_ik＝{d_i1,d_i2}；

S245：判断是否满足d_i1＜λd_i2，若满足，则A_i∈a，否则A_i∈A-a；其中，a为输出的非水痕区域的像素集a，a＝{a₁,a₂,...,a_i}；水痕区域的像素集为A-a；

S246：判断是否满足

若满足则转入步骤S247，否则令λ＝λ×0.95，计算新的聚类中心：

转到步骤S243；

S247：输出A-a和a。

步骤3：对步骤1得到的数据集进行语义分割S；具体过程如图4所示。

S31：构建具有编码-解码结构的语义分割网络，其中下采样中采用VGG16特征提取结构；编码解码结构分别对应下采样和上采样步骤，网络的特征提取部分，也就是下采样部分使用稳定、高精度的VGG16特征提取结构，上采样部分与之相对应。

S32：步骤S31语义分割网络中上采样过程中重用池化索引；在设计的语义分割网络的上采样过程中重用池化索引，提高网络的效率。池化索引重用的网络结构如图5和图6所示。

S33：在语义分割网络中进行特征融合；根据融合方式不同，分别得到两个语义分割网络，WNet432和WNet543。WNet432对编码结构的浅层特征图进行上采样，之后再融合到解码结构中对应的上采样图里；WNet543则是直接将编码结构里的浅层特征图直接融合到解码结构中对应的上采样图里。两个语义分割网络的网络结构和特征融合模块分别如图5和图6所示。

S34：采用预训练的VGG16网络作为预训练模型，训练语义分割网络；在水痕数据集上，实用预训练的VGG16网络作为预训练模型，训练语义分割网络，训练过程中注意语义分割指标IoU等的变化，模型训练拟合后保存训练好的模型。

S35：采用训练好的模型进行水痕区域检测与提取；采用之前训练好的两个语义分割模型WNet432和WNet543在整张图上进行水痕区域检测与提取，保留检测效果最好的那个语义分割网络的检测结果。

检测完成后，查看WNet432和WNet543的语义分割效果，如图7所示，分割的效果很好，模型对水痕的提取结果很准确。

步骤4：对步骤2和步骤3得到的分割结果进行融合，即得到所需高速公路水痕检测结果。

步骤S23中得到的车尾小区域的像素集设为A＝{A₁，A₂,...,A_n}，n为小区域的像素数目；小区域中非水痕区域的像素集设为a＝{a₁,a₂,...,a_m}，m为小区域中非水痕区域的像素数目；经语义分割后区域的像素集设为B＝{B₁,B₂,...,B_k}，k为语义分割区域的像素数目；融合后的水痕区域像素集为C；

式中：

为小区域中(i,j)位置的像素值，

为小区域中非水痕区域的(i,j)处像素值，

为语义分割区域的(i,j)处像素值，i，j为像素点在图片中对应的行号和列号，l为遍历像素集时使用的索引符号。

本发明基于深度学习的方法，将语义分割与自适应聚类分割相结合，可以高效率、高精度的进行高速公路水痕检测，可在高速公路水痕检测上取得很好的应用效果。

Claims (4)

1.一种基于深度学习的高速公路水痕检测方法，其特征在于，包括以下步骤：

步骤1：构建高速公路水痕数据集；

步骤2：对步骤1构建的数据集进行自适应聚类分割；

S21：采用训练后的目标检测模型，将步骤1得到的数据集进行检测，获取车辆的位置坐标和大小；

S22：采用多目标跟踪算法对车辆进行实时跟踪，获取车辆的前进方向；

S23：根据步骤S21和S22获取得到的车辆位置坐标、车辆大小和车辆的前进方向提取车尾水痕可能出现的小区域；

S24：采用自适应聚类分割方法，对步骤S23提出的小区域进行水痕区域的检测和提取；

步骤3：对步骤1得到的数据集进行语义分割；

步骤4：对步骤2和步骤3得到的分割结果进行融合，即得到所需高速公路水痕检测结果。

2.根据权利要求1所述的一种基于深度学习的高速公路水痕检测方法，其特征在于，所述步骤3对步骤1得到的数据集进行语义分割具体过程如下：

S31：构建具有编码-解码结构的语义分割网络，其中下采样中采用VGG16特征提取结构；

S32：步骤S31语义分割网络中上采样过程中重用池化索引；

S33：在语义分割网络中进行特征融合；

S34：采用预训练的VGG16网络作为预训练模型，训练语义分割网络；

S35：采用训练好的模型进行水痕区域检测与提取。

3.根据权利要求1所述的一种基于深度学习的高速公路水痕检测方法，其特征在于，所述步骤4中融合过程如下：

步骤S23中得到的车尾小区域的像素集设为A＝{A₁，A₂,...,A_n}，n为小区域的像素数目；小区域中非水痕区域的像素集设为a＝{a₁,a₂,...,a_m}，m为小区域中非水痕区域的像素数目；经语义分割后区域的像素集设为B＝{B₁,B₂,...,B_k}，k为语义分割区域的像素数目；融合后的水痕区域像素集为C；

式中：

为小区域中(i,j)位置的像素值，

为小区域中非水痕区域的(i,j)处像素值，

为语义分割区域的(i,j)处像素值，i，j为像素点在图片中对应的行号和列号，l为遍历像素集时使用的索引符号。

4.根据权利要求1所述的一种基于深度学习的高速公路水痕检测方法，其特征在于，所述步骤S24具体过程如下：

S241：将步骤1数据集中的图片转换成灰度图并获取小区域的像素集A，A＝{A₁,A₂,...,A_i}；

S242：初始化聚类中心c_k，k＝{1,2}；c₁初始值设置为小区域中最小像素值，c₂初始值为小区域中最大像素值，设λ＝1；

S243：计算每个像素点A_i到聚类中心c₁和c₂的距离d_ik：

d_ik＝(A_i-c_k)²；

S244：对于像素集A中的每个像素，对比每个像素点A_i到聚类中心c_k的距离d_ik，d_ik＝{d_i1,d_i2}；

S245：判断是否满足d_i1＜λd_i2，若满足，则A_i∈a，否则A_i∈A-a；其中，a为输出的非水痕区域的像素集a，a＝{a₁,a₂,...,a_i}；水痕区域的像素集为A-a；

S246：判断是否满足

若满足则转入步骤S247，否则令λ＝λ×0.95，计算新的聚类中心：

转到步骤S243；

S247：输出A-a和a。

Images