CN114627382A - 联合行道线几何先验的高速公路雾天能见度检测方法 - Google Patents

Abstract

本申请涉及一种联合行道线几何先验的高速公路雾天能见度检测方法。该方法包括：实时获取高速公路上的摄像头拍摄的高速公路雾天情况的图像数据；将高速公路雾天情况的图像数据输入到训练好的双分支分类网络模型的行道线检测分支和深度神经网络视觉特征提取分支，对应输出行道线检测标签和道路区域的视觉特征；训练好的双分支分类网络模型的融合分类模块根据行道线检测标签计算高速公路可见区域的长度特征，并融合道路区域的视觉特征进行分类，确定摄像头拍摄的高速公路对应的雾天能见度等级，联合行道线长度特征进行分类，分类准确度高，从而提高了高速公路雾天能见度检测的准确率。

Description

联合行道线几何先验的高速公路雾天能见度检测方法

技术领域

本申请涉及图像处理技术领域，特别是涉及一种联合行道线几何先验的高速公路雾天能见度检测方法。

背景技术

高速公路雾天能见度检测对于交通预警、安全行车具有重要意义。目前，对雾天图像可见度预测问题的关注较少，解决这一问题的方法很少，大致可以分为两类：基于物理模型的方法和基于深度学习的方法。基于物理模型的方法主要是基于Koschmieder定律和大气散射模型来设计预测规则。基于深度学习的方法主要是利用深度网络直接学习雾图像到雾密度的映射。虽然深度网络具有很好的学习能力，但它们的预测主要依赖该黑盒模式下所学习的视觉特征，然而由于不同监控设备的不同成像时段以及光照条件影响等因素影响导致视觉特征具有广泛的差异性，仅仅依赖视觉特征往往并不能形成好的预测结果，因此，目前的高速公路雾天能见度检测的准确率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高高速公路雾天能见度检测的准确率的联合行道线几何先验的高速公路雾天能见度检测方法。

一种联合行道线几何先验的高速公路雾天能见度检测方法，所述方法包括：

实时获取高速公路上的摄像头拍摄的高速公路雾天情况的图像数据；

将所述高速公路雾天情况的图像数据输入到训练好的双分支分类网络模型的行道线检测分支和深度神经网络视觉特征提取分支，对应输出行道线检测标签和道路区域的视觉特征；

所述训练好的双分支分类网络模型的融合分类模块根据所述行道线检测标签计算高速公路可见区域的长度特征，并融合所述道路区域的视觉特征进行分类，确定所述摄像头拍摄的高速公路对应的雾天能见度等级；

所述双分支分类网络模型的训练方式为：

获取不同时段、不同角度摄像头下的高速公路雾天情况监控图像集；

根据能见度距离将所述高速公路雾天情况监控图像集中的图像数据分为4个能见度等级，并将每个能见度等级中的图像数据按照预设比例划分出训练集和测试集；

构建结合行道线检测算法的双分支分类网络模型，所述双分支分类网络模型包括行道线检测分支、深度神经网络视觉特征提取分支以及融合分类模块；

采用损失函数优化所述双分支分类网络模型；

预设所述双分支网络模型的训练超参数，并导入行道线检测分支预先训练好的权重参数；

将所述训练集中的图像数据输入所述双分支分类网络模型中，根据损失函数，采用Adam优化器实现所述深度神经网络视觉特征提取分支的权重参数的迭代优化与更新，直至双分支分类网络模型收敛，获得初步双分支分类网络模型；

将所述测试集中的图像数据输入所述初步双分支分类网络模型中进行测试，确定所述初步双分支分类网络模型的精度，当精度达到预设值时，获得训练好的双分支分类网络模型。

在其中一个实施例中，所述行道线检测分支包括resnet18、第一全连接层和第二全连接层；

图像数据输入resnet18进行行道线深度视觉特征提取，获得行道线深度视觉特征；

所述行道线深度视觉特征经第一全连接层和第二全连接层进行检测，输出行道线检测标签。

在其中一个实施例中，所述深度神经网络视觉特征提取分支包括残差块、金字塔池化模块和路面区域注意力模块；

所述图像数据输入残差块、金字塔池化模块输出雾天图像的深度视觉特征；

所述雾天图像的深度视觉特征和所述行道线深度视觉特征输入所述路面区域注意力模块突出道路区域，获得道路区域的视觉特征。

在其中一个实施例中，所述路面区域注意力模块包括第一卷积层、ReLU层、第二卷积层和第三卷积层；

将所述雾天图像的深度视觉特征和所述行道线深度视觉特征在通道维度进行concatenate操作后，依次通过所述第一卷积层、所述ReLU层、所述第二卷积层和Sigmoid进行卷积操作，得到空间注意力图；

将所述雾天图像的深度视觉特征输入所述第三卷积层进行卷积，获得非线性视觉特征图；

将所述空间注意力图与所述非线性视觉特征图相乘进行特征的自适应学习后，与非线性视觉特征图进行像素求和，得到道路区域的深度视觉特征。

在其中一个实施例中，所述融合分类模块包括第三全连接层、第四全连接层和第五全连接层：

对所述行道线检测标签进行切片去除非行道线标签得到128×28×4大小的第一特征向量；

将所述第一特征向量在通道范围上求和，得到28×4大小的第二特征向量；

将所述第二特征向量输入所述第三全连接层进行长度计算，得到4条行道线的长度特征向量，所述长度特征向量大小为1×4；

所述道路区域的视觉特征输入所述第四全连接层后，与所述长度特征向量进行concatenate操作，再经过所述第四全连接层输出所述图像数据中的高速公路对应的雾天能见度等级。

在其中一个实施例中，所述损失函数包括行道线检测损失函数和分类损失函数；

所述行道线检测损失函数为：

其中，

表示交叉熵损失，

表示第i条行道线穿过图像像素点的第j行 的预测标签值，

表示第i条行道线穿过图像像素点的第j行的真实标签值，

表 示行道线检测损失函数，C表示行道线总条数，h为图像像素点的总行数，

为需要优化的 参数；

所述分类损失函数为：

其中，

为第p个类别的真实值，y _p 为第p个类别的预测值，y _q 为第q个类别的预测 值，G为类别的总数，e为自然数，

为分类损失函数。

在其中一个实施例中，将所述训练集中的图像数据输入所述双分支分类网络模型中，根据损失函数，采用Adam优化器实现所述深度神经网络视觉特征提取分支的权重参数的迭代优化与更新，直至双分支分类网络模型收敛，获得初步双分支分类网络模型的步骤，包括：

所述行道线检测分支采用预先训练好的权重参数，对所述深度神经网络视觉特征提取分支的权重参数进行初始化；

随机选取所述训练集中S个图像数据

送入到双分支分类网络模型中， 并得到相应的输出预测结果

；

通过反向传播算法，更新所述深度神经网络视觉特征提取分支的权重参数，

，其中，Adam为Adam优化器，t为时间步初始化为0，

为 时间步为t+1的权重参数，

为时间步为t的权重参数，

为双分支分类网络模型学习率，

为时间步为t的权重参数的梯度；

返回所述随机选取所述训练集中S个图像数据

送入到双分支分类网 络模型中，并得到相应的输出预测结果

的步骤进行循环迭代训练，直至双分 支分类网络模型收敛，获得初步双分支分类网络模型。

在其中一个实施例中，所述双分支分类网络模型的表达式为：

其中，

为深度神经网络，A()为路面区域注意力模块，

为行道线检测 分支，F()为融合分类模块，f()为全连接层，S ₁为经路面区域注意力模块得到的道路区域 的深度视觉特征，S ₂为行道线检测标签，y为最终分类结果。

上述联合行道线几何先验的高速公路雾天能见度检测方法，通过实时获取高速公路上的摄像头拍摄的高速公路雾天情况的图像数据；将高速公路雾天情况的图像数据输入到训练好的双分支分类网络模型的行道线检测分支和深度神经网络视觉特征提取分支，对应输出行道线检测标签和道路区域的视觉特征；训练好的双分支分类网络模型的融合分类模块根据行道线检测标签计算高速公路可见区域的长度特征，并融合道路区域的视觉特征进行分类，确定摄像头拍摄的高速公路对应的雾天能见度等级，在行道线检测分支中可以学习路面上的行道线的视觉特征和长度特征，深度神经网络视觉特征提取分支提取图像数据的视觉特征，并突出道路区域的视觉特征，进而在后续融合分类模块联合行道线长度特征进行分类，分类准确度高，从而提高了高速公路雾天能见度检测的准确率，并且检测过程快速，可实现较好的雾天能见度等级检测。

附图说明

图1为一个实施例中联合行道线几何先验的高速公路雾天能见度检测方法的流程示意图；

图2为一个实施例中双分支分类网络模型的结构示意图；

图3为一个实施例中路面区域注意力模块的结构示意图；

图4为一个实施例中融合分类模块的结构示意图；

图5为在高速公路雾天情况监控图像集上的行道线检测结果实例示意图；

图6为在高速公路雾天情况监控图像集上的可视化预测结果实例示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1和图2所示，提供了一种联合行道线几何先验的高速公路雾天能见度检测方法，以该方法应用于终端为例进行说明，包括以下步骤：

步骤S220，实时获取高速公路上的摄像头拍摄的高速公路雾天情况的图像数据。

步骤S240，将高速公路雾天情况的图像数据输入到训练好的双分支分类网络模型的行道线检测分支和深度神经网络视觉特征提取分支，对应输出行道线检测标签和道路区域的视觉特征。

步骤S260，训练好的双分支分类网络模型的融合分类模块根据行道线检测标签计算高速公路可见区域的长度特征，并融合道路区域的视觉特征进行分类，确定摄像头拍摄的高速公路对应的雾天能见度等级。

其中，双分支分类网络模型的训练方式为：获取不同时段、不同角度摄像头下的高速公路雾天情况监控图像集；根据能见度距离将高速公路雾天情况监控图像集中的图像数据分为4个能见度等级，并将每个能见度等级中的图像数据按照预设比例划分出训练集和测试集；构建结合行道线检测算法的双分支分类网络模型，双分支分类网络模型包括行道线检测分支、深度神经网络视觉特征提取分支以及融合分类模块；采用损失函数优化双分支分类网络模型；预设双分支网络模型的训练超参数，并导入行道线检测分支预先训练好的权重参数；将训练集中的图像数据输入双分支分类网络模型中，根据损失函数，采用Adam优化器实现深度神经网络视觉特征提取分支的权重参数的迭代优化与更新，直至双分支分类网络模型收敛，获得初步双分支分类网络模型；将测试集中的图像数据输入初步双分支分类网络模型中进行测试，确定初步双分支分类网络模型的精度，当精度达到预设值时，获得训练好的双分支分类网络模型。

其中，首先通过气象局获取不同时段、不同地区的高速公路雾天监控图像，然后将不同摄像头、不同时段的图像按照可见距离大致分为4个能见度等级，能见度等级可根据实际情况进行划分，如：可以按照可见距离划分为四种情况分别是：0-50m，50m-100m，100m-200m，200m-500m,相应的能见度等级为0，1，2，3。预设比例可根据实际情况进行设定，如将每个能见度等级的图像数据按照0.8:0.2的比例划分训练集和测试集，也可以是将每个能见度等级的图像数据按照0.7:0.3的比例划分训练集和测试集等。以按照0.8:0.2的比例划分训练集和测试集为例进行训练集和测试集划分，划分出的每个能见度等级的训练集组成最终用于双分支分类网络模型训练的训练集，划分出的每个能见度等级的测试集组成用于双分支分类网络模型测试的测试集。

上述联合行道线几何先验的高速公路雾天能见度检测方法，通过实时获取高速公路上的摄像头拍摄的高速公路雾天情况的图像数据；将高速公路雾天情况的图像数据输入到训练好的双分支分类网络模型的行道线检测分支和深度神经网络视觉特征提取分支，对应输出行道线检测标签和道路区域的视觉特征；训练好的双分支分类网络模型的融合分类模块根据行道线检测标签计算高速公路可见区域的长度特征，并融合道路区域的视觉特征进行分类，确定摄像头拍摄的高速公路对应的雾天能见度等级，在行道线检测分支中可以学习路面上的行道线的视觉特征和长度特征，深度神经网络视觉特征提取分支提取图像数据的视觉特征，并突出道路区域的视觉特征，进而在后续融合分类模块联合行道线长度特征进行分类，分类准确度高，从而提高了高速公路雾天能见度检测的准确率，并且检测过程快速，可实现较好的雾天能见度等级检测。

如图2所示，在一个实施例中，行道线检测分支包括resnet18、第一全连接层和第二全连接层；图像数据输入resnet18进行行道线深度视觉特征提取，获得行道线深度视觉特征；行道线深度视觉特征经第一全连接层和第二全连接层进行检测，输出行道线检测标签。

其中，行道线检测分支作为双分支分类网络模型的上分支，用与提取路面的视觉特征和行道线几何位置信息，图像数据先经过主干resnet18进行行道线深度视觉特征提取，获得行道线深度视觉特征X1，行道线深度视觉特征X1经两个全连接层（即第一全连接层和第二全连接层）得到行道线检测标签S₂。

如图2所示，在一个实施例中，深度神经网络视觉特征提取分支包括残差块、金字塔池化模块和路面区域注意力模块；图像数据输入残差块、金字塔池化模块输出雾天图像的深度视觉特征；雾天图像的深度视觉特征和行道线深度视觉特征输入路面区域注意力模块突出道路区域，获得道路区域的视觉特征。

其中，深度神经网络视觉特征提取分支作为下分支，用于提取图像数据的视觉特征，并突出道路区域的视觉特征，主干依次使用了残差块、金字塔池化模块（PPM），得到雾天图像的深度视觉特征X2，然后由路面区域注意力模块根据该雾天图像的深度视觉特征X2和行道线深度视觉特征X1突出道路区域，获得道路区域的视觉特征S₁。

如图3所示，在一个实施例中，路面区域注意力模块包括第一卷积层、ReLU层、第二卷积层和第三卷积层；将雾天图像的深度视觉特征和行道线深度视觉特征在通道维度进行concatenate操作后，依次通过第一卷积层、ReLU层、第二卷积层和Sigmoid进行卷积操作，得到空间注意力图；将雾天图像的深度视觉特征输入第三卷积层进行卷积，获得非线性视觉特征图，将空间注意力图与非线性视觉特征图相乘进行特征的自适应学习后，与非线性视觉特征图进行像素求和得到关注道路区域的深度视觉特征。

其中，目的是为了在雾天图像的视觉特征图上结合行道线检测分支得到的视觉特征图，利用行道线视觉特征图来突出雾天图像的道路区域。首先将两分支的特征图（即行道线深度视觉特征X1和雾天图像的深度视觉特征X2）在通道维度进行concatenate操作，经卷积操作得到空间注意力图，然后将注意力图与经卷积后的下分支视觉特征图相乘进行特征的自适应学习，并进行像素求和得到道路区域的深度视觉特征S₁。

如图4所示，在一个实施例中，融合分类模块包括第三全连接层、第四全连接层和第五全连接层：

对行道线检测标签进行切片去除非行道线标签得到128×28×4大小的第一特征向量；将第一特征向量在通道范围上求和，得到28×4大小的第二特征向量；将第二特征向量输入第三全连接层进行长度计算，得到4条行道线的长度特征向量，长度特征向量大小为1×4；道路区域的视觉特征输入第四全连接层后，与长度特征向量进行concatenate操作，再经过第五全连接层输出图像数据中的高速公路对应的雾天能见度等级。

其中，融合分类模块是为了联合高速公路可见区域的长度特征以及视觉特征得到最后的分类结果。由行道线检测分支得到的行道线检测标签S₂为128×28×4，其中第129通道为识别出的非行道线。首先，将行道线检测标签S₂进行切片去除非行道线标签得到128×28×4大小的第一特征向，然后在通道范围上求和得到28×4大小的第二特征向量，再经第三全连接层进行长度计算得到4条行道线的长度特征向量，大小为1×4；最后将道路区域的视觉特征S₁输入到第四全连接层后与1×4的长度特征向量进行concatenate操作，再经过第五全连接层输出能见度等级分类结果，即图像数据中的高速公路对应的雾天能见度等级。

在一个实施例中，损失函数包括行道线检测损失函数和分类损失函数；

行道线检测损失函数为：

其中，

表示交叉熵损失，

表示第i条行道线穿过图像像素点的第j行 的预测标签值，

表示第i条行道线穿过图像像素点的第j行的真实标签值，

表 示行道线检测损失函数，C表示行道线总条数，h为图像像素点的总行数，

为需要优化的 参数；

分类损失函数为：

其中，

为第p个类别的真实值，y _p 为第p个类别的预测值，y _q 为第q个类别的预测 值，G为类别的总数，e为自然数，

为分类损失函数。

其中，行道线检测分支中，行道线检测损失函数采用的是基于行锚的多分类交叉 熵损失；分类损失函数采用交叉熵损失函数。双分支分类网络模型的训练超参包括双分支 分类网络模型学习率

、迭代次数epoch、训练批次大小M、双分支分类网络模型的深度与 双分支分类网络模型的层数。

在一个实施例中，将训练集中的图像数据输入双分支分类网络模型中，根据损失函数，采用Adam优化器实现深度神经网络视觉特征提取分支的权重参数的迭代优化与更新，直至双分支分类网络模型收敛，获得初步双分支分类网络模型的步骤，包括：

行道线检测分支采用预先训练好的权重参数，对深度神经网络视觉特征提取分支 的权重参数进行初始化；随机选取训练集中S个图像数据

送入到双分支分类网 络模型中，并得到相应的输出预测结果

；通过反向传播算法，更新深度神经网 络视觉特征提取分支的权重参数，

，其中， Adam为Adam优 化器，t为时间步初始化为0，

为时间步为t+1的权重参数，

为时间步为t的权重参数，

为双分支分类网络模型学习率，

为时间步为t的权重参数的梯度；返回随机选取训练 集中S个图像数据

送入到双分支分类网络模型中，并得到相应的输出预测结果

的步骤进行循环迭代训练，直至双分支分类网络模型收敛，获得初步双分支 分类网络模型。

其中，直至双分支分类网络模型收敛，训练完毕，获得初步双分支分类网络模型。在达到预设迭代次数时，还未达到预设的收敛条件，也训练完毕，预设迭代次数可根据实际情况设定，如预设迭代次数为epoch=50次迭代。

在一个实施例中，双分支分类网络模型的表达式为：

其中，

为深度神经网络，A()为路面区域注意力模块，

为行道线检测 分支，F()为融合分类模块，f()为全连接层，S ₁为经路面区域注意力模块得到的道路区域 的深度视觉特征，S ₂为行道线检测标签，y为最终分类结果。

其中，最终分类结果对应了雾天能见度等级。

在一个实施例中，将测试集中的图像数据输入初步双分支分类网络模型中进行测试，确定初步双分支分类网络模型的精度，当精度达到预设值时，获得训练好的双分支分类网络模型的步骤，包括：

测试集中的图像数据输入到行道线检测分支提取图像数据的路面视觉特征和行道线几何位置信息。如图2所示，行道线检测分支采用resnet18，经过17个卷积层和1个全连接层对雾天图像进行视觉特征提取，得到维度大小为512×7×7的视觉特征图；再经过2个全连接层，通过按栅格分类方法来学习行道线检测的网络参数，得到行道线检测标签，维度大小为129×28×4。

测试集中的图像数据输入到深度神经网络视觉特征提取分支中提取图像数据的视觉特征，并突出道路区域的视觉特征。如图2所示，主干依次使用了残差块、金字塔池化模块（PPM），图像数据首先经过多个卷积残差块对图像进行特征学习，增加网络深度，学习雾天视觉特征；然后输入到金字塔池化模块，通过由小到大的池化层，有效增大感受野，充分利用全局信息，输出维度大小为1024×7×7的特征图。然后将此特征图与行道线检测分支中的视觉特征图512×7×7一起输入到路面区域注意力模块，在通道上concatenate操作后计算它的空间权重并与视觉特征进行点乘，得到关注道路区域的视觉特征图S1，大小为512×7×7。

最后经融合分类模块，计算高速公路可见区域的长度特征并融合视觉特征得到最后的分类结果。具体地，首先将行道线检测标签经长度估计计算得到1×4的行道线长度特征向量，再将路面区域注意力模块输出的特征图S1输入到全连接层后与1×4长度特征向量进行concatenate操作，最后经过全连接层输出能见度等级的分类结果，其向量中值最大的位置为最终能见度预测等级。

为了体现本发明的有效性，进行了对比实验和消融实验。首先介绍数据集和训练细节，然后给出在数据集上不同算法的对比实验结果，并实施了一系列消融实验来评估路面区域注意力模块和行道线长度估计模块的有效性。

测试列规格是224×224，在雾天高速公路图像训练数据集上训练及测试模型，设置相关参数：α=0.0004，epoch=50，M=16，实验的评价使用定量的分析方法。

通过在测试集进行实验，得到最终的分类准确度为89.32%。

将本发明的方法与现有的多种基于深度学习的能见度检测方法进行了比较，并在高速公路数据集Highway上进行了对比实验。与本发明的方法进行比较的方法包括AlexNet和depth⊗trans（深度图+传输矩阵）和MSBDN。AlexNet方法仅通过AlexNet网络提取视觉特征，用于能见度水平预测。深度depth⊗trans方法选择深度图和传输矩阵的变换函数作为单位变换t（x）=x，并将这两个特征连接起来进行分类。MSBDN是一个最新且高效的除雾网络，使用其编码器从雾图像中提取特征，然后使用提取的特征对可见性级别进行分类。对比实验结果如表1所示。

表 1

同样在测试集上进行消融实验以验证深度神经网络视觉特征提取分支（Deepnet）、路面区域注意力模块（Attention）和融合分类模块（Fusion）的有效性。通过去除路面区域注意力模块（Attention）和/或融合分类模块（Fusion），与完整网络结构（即包括深度神经网络视觉特征提取分支（Deepnet）、路面区域注意力模块（Attention）和融合分类模块（Fusion））做对比，消融实验结果如表2所示。

表 2

从表1可以看出，与现有的基于深度学习的能见度检测方法相比较，在真实高速公路雾天场景下，我们提出的方法可以在很大程度上提高能见度检测的准确率，实现了创新性的提高。

从表2可以看出，相较于只保留下分支深度神经网络，加入行道线检测分支的路面区域注意力模块（Attention）与融合分类模块可以有效的提高分类准确率。

如图5所示，为我们采用的行道线检测分支得到行道线检测结果。根据检测结果，可以看出在不同等级的雾天条件下，该方法能够较准确地检测出可见的行道线位置，为能见度等级预测提供了行道线长度等辅助信息。

如图6所示，为本发明在高速公路数据集上测试的可视化预测结果，可以看出，本专利的网络模型在各种情况下不同能见度水平的图片上都能做到准确的检测。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种联合行道线几何先验的高速公路雾天能见度检测方法，其特征在于，所述方法包括：

实时获取高速公路上的摄像头拍摄的高速公路雾天情况的图像数据；

将所述高速公路雾天情况的图像数据输入到训练好的双分支分类网络模型的行道线检测分支和深度神经网络视觉特征提取分支，对应输出行道线检测标签和道路区域的视觉特征；

所述训练好的双分支分类网络模型的融合分类模块根据所述行道线检测标签计算高速公路可见区域的长度特征，并融合所述道路区域的视觉特征进行分类，确定所述摄像头拍摄的高速公路对应的雾天能见度等级；

所述双分支分类网络模型的训练方式为：

获取不同时段、不同角度摄像头下的高速公路雾天情况监控图像集；

根据能见度距离将所述高速公路雾天情况监控图像集中的图像数据分为4个能见度等级，并将每个能见度等级中的图像数据按照预设比例划分出训练集和测试集；

构建结合行道线检测算法的双分支分类网络模型，所述双分支分类网络模型包括行道线检测分支、深度神经网络视觉特征提取分支以及融合分类模块；

采用损失函数优化所述双分支分类网络模型；

预设所述双分支网络模型的训练超参数，并导入行道线检测分支预先训练好的权重参数；

将所述训练集中的图像数据输入所述双分支分类网络模型中，根据损失函数，采用Adam优化器实现所述深度神经网络视觉特征提取分支的权重参数的迭代优化与更新，直至双分支分类网络模型收敛，获得初步双分支分类网络模型；

将所述测试集中的图像数据输入所述初步双分支分类网络模型中进行测试，确定所述初步双分支分类网络模型的精度，当精度达到预设值时，获得训练好的双分支分类网络模型。

2.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法，其特征在于，所述行道线检测分支包括resnet18、第一全连接层和第二全连接层；

图像数据输入resnet18进行行道线深度视觉特征提取，获得行道线深度视觉特征；

所述行道线深度视觉特征经第一全连接层和第二全连接层进行检测，输出行道线检测标签。

3.根据权利要求2所述的联合行道线几何先验的高速公路雾天能见度检测方法，其特征在于，所述深度神经网络视觉特征提取分支包括残差块、金字塔池化模块和路面区域注意力模块；

所述图像数据输入残差块、金字塔池化模块输出雾天图像的深度视觉特征；

所述雾天图像的深度视觉特征和所述行道线深度视觉特征输入所述路面区域注意力模块突出道路区域，获得道路区域的视觉特征。

4.根据权利要求3所述的联合行道线几何先验的高速公路雾天能见度检测方法，其特征在于，所述路面区域注意力模块包括第一卷积层、ReLU层、第二卷积层和第三卷积层；

将所述雾天图像的深度视觉特征和所述行道线深度视觉特征在通道维度进行concatenate操作后，依次通过所述第一卷积层、所述ReLU层、所述第二卷积层和Sigmoid进行卷积操作，得到空间注意力图；

将所述雾天图像的深度视觉特征输入所述第三卷积层进行卷积，获得非线性视觉特征图；

将所述空间注意力图与所述非线性视觉特征图相乘进行特征的自适应学习后，与非线性视觉特征图进行像素求和，得到道路区域的深度视觉特征。

5.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法，其特征在于，所述融合分类模块包括第三全连接层、第四全连接层和第五全连接层：

对所述行道线检测标签进行切片去除非行道线标签得到128×28×4大小的第一特征向量；

将所述第一特征向量在通道范围上求和，得到28×4大小的第二特征向量；

将所述第二特征向量输入所述第三全连接层进行长度计算，得到4条行道线的长度特征向量，所述长度特征向量大小为1×4；

所述道路区域的视觉特征输入所述第四全连接层后，与所述长度特征向量进行concatenate操作，再经过所述第四全连接层输出所述图像数据中的高速公路对应的雾天能见度等级。

6.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法，其特征在于，所述损失函数包括行道线检测损失函数和分类损失函数；

所述行道线检测损失函数为：

其中，

表示交叉熵损失，

表示第i 条行道线穿过图像像素点的第j行的预 测标签值，

表示第i条行道线穿过图像像素点的第j行的真实标签值，

表示行 道线检测损失函数，C表示行道线总条数，h为图像像素点的总行数，

为需要优化的参数；

所述分类损失函数为：

其中，

为第p个类别的真实值，y _p 为第p个类别的预测值，y _q 为第q个类别的预测值，G 为类别的总数，e为自然数，

为分类损失函数。

7.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法，其特征在于，将所述训练集中的图像数据输入所述双分支分类网络模型中，根据损失函数，采用Adam优化器实现所述深度神经网络视觉特征提取分支的权重参数的迭代优化与更新，直至双分支分类网络模型收敛，获得初步双分支分类网络模型的步骤，包括：

所述行道线检测分支采用预先训练好的权重参数，对所述深度神经网络视觉特征提取分支的权重参数进行初始化；

随机选取所述训练集中S个图像数据

送入到双分支分类网络模型中，并得 到相应的输出预测结果

；

通过反向传播算法，更新所述深度神经网络视觉特征提取分支的权重参数，

，其中，Adam为Adam优化器，t为时间步初始化为0，

为 时间步为t+1的权重参数，

为时间步为t的权重参数，

为双分支分类网络模型学习率，

为时间步为t的权重参数的梯度；

返回所述随机选取所述训练集中S个图像数据

送入到双分支分类网络模 型中，并得到相应的输出预测结果

的步骤进行循环迭代训练，直至双分支分 类网络模型收敛，获得初步双分支分类网络模型。

8.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法，其特征在于，所述双分支分类网络模型的表达式为：

其中，

为深度神经网络，A()为路面区域注意力模块，

为行道线检测分 支，F()为融合分类模块，f()为全连接层，S ₁为经路面区域注意力模块得到的道路区域的 深度视觉特征，S ₂为行道线检测标签，y为最终分类结果。

Images