CN115115890A - 一种基于自动化机器学习的轻量化高速公路团雾分类方法 - Google Patents

Abstract

本发明提供了一种基于自动化机器学习的轻量化高速公路团雾分类方法，构建轻量化的搜索空间，收集高速公路上产生的团雾图像，建立团雾分类数据集，基于搜索阶段结束后得到的决策级融合的结构，利用全连接层对不同尺度的特征图分别进行分类，并将各分类结果进行按元素求和，并归一化得到最终的分类结果，训练得到决策级融合网络，以实现对团雾图像的分类。本发明解决了目前主流深度卷积神经网络参数量大从而无法在边缘端设备上部署的问题，在保证检测准确率的情况下，参数量和计算量降低了50％左右，极大改善了模型的分类效率，以满足高速公路上团雾的实时性检测，能更好地减少由于团雾发生引起的高速公路交通事故的次数。

Description

一种基于自动化机器学习的轻量化高速公路团雾分类方法

技术领域

本发明涉及度学习、数字图像处理以及计算机视觉的领域，具体为一种高速公路的团雾分类方法。

背景技术

随着我国经济技术的飞速发展，直到2020年年底，我国高速公路里程数已达约16万千米，位居全球第一。目前，高速公路安全驾驶极为重要，影响行车安全的因素包括人为因素和环境因素，环境因素中有雨、雪、风、雾等，其中最重要的因素就是团雾。

团雾是由于受到周围环境的影响，在很小的范围内突然出现影响水平能见度、浓度更大的雾。高速公路各类交通事故发生最主要是因为能见度比较低引起的，对于道路交通安全通行的危害非常大，团雾是影响航空、水运以及高速公路交通的重要因素之一。由于在高速公路上车速比较快、车流量大、不能够在匝道上随意停车等特点和要求，在行使过程中突然遇到团雾时，驾驶员无法迅速做出应对策略，就比较容易发生交通事故。团雾出现具有不确定性、覆盖范围小、移动性强、浓度大等特点，在团雾发生的路段就容易发生交通事故。

随着计算机硬件设备技术的不断提升以及图像数据量的大幅增加，深度学习在计算机视觉的应用范围越来越广，目前许多关于团雾检测的研究都是围绕深度学习，尤其是卷积神经网络来开展的。但目前主流的卷积神经网络由于层数较深，其模型大小和参数量相对较大，通常为百MB大小和百MB参数量，且其计算复杂度较高，对于内存空间和计算能力受限的嵌入式系统而言通常难以满足要求，不能满足对于高速公路团雾这一突发情况的实时性检测。

发明内容

为了克服现有技术的不足，本发明提供一种基于自动化机器学习的轻量化高速公路团雾分类方法，设计了轻量化的搜索空间，在网络搜索过程中加入资源约束项，使得最终得到的网络能够在满足精度要求的情况下，尽可能地降低资源消耗，以满足在高速公路上对团雾的实时性检测。同时，本发明在所得到的网络的基础上，设计一种决策级融合方法，在几乎不增加额外资源消耗的情况下，近一步提升了网络的识别准确率。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1，构建轻量化的搜索空间，该搜索空间基于轻量级网络MobileNet V2的网络结构，以及一种轻量化模块Sandglass Block而成的，其中网络的整体结构采用如表1所示的MobileNet V2的结构：

表1 MobileNet V2的网络各层结构及特征信息

并将MobileNet V2中的倒残差模块替换为如图2所示的Sandglass Block，最后将Sandglass Block中深度可分离卷积的卷积核尺寸和通道数膨胀率确定为可搜索的维度；

步骤2，收集高速公路上产生的团雾图像，建立团雾分类数据集，并按照8:2的比例划分为训练集和验证集；然后建立针对网络结构的资源消耗表格，然后在网络搜索过程中的损失函数中加入资源约束项，进一步降低模型的资源消耗，该损失函数表示为：

L_Val＝L_CE+λL_FLOPs

其中L_Val表示网络在团雾分类数据集中的验证集中的总体损失函数，L_CE代表在验证集上的交叉熵损失函数，L_FLOPs为网络的资源消耗，使用网络的浮点数运算量FLOPs代替网络的资源消耗，通过对总体损失函数L_Val进行优化，使得L_CE用于保证网络的分类精度，L_FLOPs用于降低网络的资源消耗，提升网络效率，λ为调节因数，用于调整精度与效率之间的平衡。

步骤3，设置搜索算法的超参数，进行对网络的搜索；所述的超参数有训练集划分比例、输入分辨率、搜索学习率、训练学习率、批次大小、搜索权重衰减系数、训练权重衰减系数和动量参数；

步骤4，基于步骤3搜索阶段结束后得到的网络，进行如图1所示的决策级融合的结构设计，即利用全连接层对不同尺度的特征图分别进行分类，并将各分类结果进行按元素求和，并归一化得到最终的分类结果；

步骤5，设置训练超参数，对步骤4得到的决策级融合网络进行训练，直至损失函数收敛，以提高网络的学习性能和效果；所述的超参数有学习率、批次大小、权重衰减系数、动量参数；

步骤6，将待分类的团雾图像数据输入步骤5训练后的卷积神经网络，得到团雾图像的更准确的标签，以实现对团雾图像的分类。

所述步骤3中，在网络搜索过程中，采用可微分的搜索算法，并利用GumbelSoftmax采样机制，在搜索过程中的每次迭代更新时，依据采样结果从搜索空间中选取一个模块进行更新，降低搜索时的显存占用率，Gumbel Softmax公式表示为：

其中θ_l,i是网络的第l层中选取操作空间中第i个操作的概率，g_l,i是服从Gumbel分布的随机数。τ为大于0的温度参数，τ越接近于0，则Gumbel Softmax的结果越接近于均匀分布，τ越大，则Gumbel Softmax的结果越接近于离散分布。通过Gumbel Softmax使得在搜索过程中能够依据采样结果选取一条通路进行更新，极大地降低显存占用率。

所述步骤4中，将搜索得到的网络按照特征图宽高尺寸的不同分为若干个阶段，并对最后四个阶段所输出的特征图分别进行分类并融合得到最终的识别结果，每个分类器都仅由全局池化层、1×1卷积层和softmax层组成；

对于参与融合的第i个阶段而言，首先对其输出的尺寸为C_i×W_i×H_i的特征图进行全局池化，得到一个尺寸为C_i×1×1的张量

其中F_jk,i表示第i个阶段特征图的第j行k列的元素；

然后使用1×1卷积将维度C_i转换为类别数量N，最后输出到softmax层得出对应的分类结果x_i：

其中W_i和b_i是第i个阶段对应的分类器中1×1卷积层的权重和偏置；

最后对各阶段的分类向量后进行融合，融合的方式为先对四组分类结果按元素相加，然后通过softmax层进行归一化得到最终的分类结果。

本发明的有益效果在于由于采用了轻量化网络MobileNet V2以及轻量化模块Sandglass Block，建立了轻量化网络搜索空间，以及对搜索得到的网络的进行决策级融合的设计，解决了目前主流深度卷积神经网络参数量大从而无法在边缘端设备上部署的问题，在保证了检测准确率的情况下，相比当前主流的深度卷积神经网络参数量和计算量降低了50％左右，极大改善了模型的分类效率，以满足高速公路上团雾的实时性检测，能更好地减少由于团雾发生引起的高速公路交通事故的次数。

附图说明

图1是本发明网络结构搜索过程示意图。

图2是本发明Sandglass Block单元结构。

图3是本发明的网络决策级融合示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明包括以下步骤：

步骤1：构建轻量化的搜索空间；

提出一种包含了若干轻量化卷积操作的轻量级搜索空间。该搜索空间是基于轻量级网络MobileNet V2的网络结构，以及一种轻量化模块Sandglass Block而成的。其中网络的整体结构采用如表1所示的MobileNet V2的结构，并将MobileNet V2中的倒残差模块替换为如图2所示的Sandglass Block，最后将Sandglass Block中深度可分离卷积的卷积核尺寸和通道数膨胀率确定为可搜索的维度。

步骤2：在网络搜索阶段加入资源约束项；

收集高速公路上产生的团雾图像，建立团雾分类数据集并按照8:2的比例进行训练集和验证集的划分。然后建立针对网络结构的资源消耗表格，然后在网络搜索过程中的损失函数中加入资源约束项，进一步降低模型的资源消耗，该损失函数可表示为：

L_Val＝L_CE+λL_FLOPs

其中L_Val表示网络在团雾分类数据集中的验证集上的总体损失函数，L_CE代表在验证集上的交叉熵损失函数，L_FLOPs为网络的资源消耗，这里使用网络的浮点数运算量FLOPs来代替网络的资源消耗。通过对该总体损失函数进行优化，可以使得L_CE用于保证网络的分类精度，L_FLOPs用于降低网络的资源消耗，提升网络效率，λ为调节因数，用于调整精度与效率之间的平衡。

步骤3：进行网络搜索；

通过设置搜索算法的超参数，进行对网络的搜索。主要的超参数有训练集划分比例、输入分辨率、搜索学习率、训练学习率、批次大小、搜索权重衰减系数、训练权重衰减系数、动量参数；

步骤4：对所得到的网络决策级融合设计；

基于步骤3搜索阶段结束后得到网络，进行如图1所示的决策级融合的结构设计，通过对不同尺度的特征图进行分类，并将分类结果进行按元素求和并归一化得到最终的分类结果。

步骤5：进行训练；

设置训练超参数对进行步骤4后得到的决策级融合网络进行训练至损失函数收敛。主要的超参数有学习率、批次大小、权重衰减系数、动量参数；

步骤6：实现团雾分类；

将待分类的团雾图像数据通过经步骤1至步骤5之后优化好的卷积神经网络，给出团雾图像的更准确的标签，以实现对团雾图像的分类。

所述步骤2中，网络的资源消耗L_FLOPs为：

其中b_l,i表示搜索得到的网络中第l层的第i个block，m_l,i为代表网络中第l层的第i个block被选中的概率被重参数化后的值。

所述步骤3的还包括：

采用可微分的搜索算法，并利用Gumbel Softmax采样机制，在搜索过程中的每次迭代更新时，依据采样结果从搜索空间中选取一个模块进行更新，降低搜索时的显存占用率。Gumbel Softmax公式表示为：

其中θ_l,i是网络的第l层中选取操作空间中第i个操作的概率，g_l,i是服从Gumbel分布的随机数。τ为大于0的温度参数，τ越接近于0，则Gumbel Softmax的结果越接近于均匀分布，τ越大，则Gumbel Softmax的结果越接近于离散分布。通过Gumbel Softmax使得在搜索过程中能够依据采样结果选取一条通路进行更新，极大地降低显存占用率。

本发明实施例的网络搜索流程如图1所示。为降低模型的资源消耗，本发明提出一种基于轻量化网络MobileNet V2和Sandglass Block的轻量化搜索空间，以及在搜索过程中加入资源损失项，近一步提升网络的识别效率。得到搜索结束后的模型之后，为近一步提升其识别准确率，如图3所示，本发明提出一种决策级信息融合方法，在几乎不增加额外资源消耗的同时，增加网络的识别准确率。

步骤1：构建轻量化的搜索空间；

提出一种包含了若干轻量化卷积操作的轻量级搜索空间。该搜索空间是基于轻量级网络MobileNet V2的网络结构，以及一种轻量化模块Sandglass Block而成的。其中可搜索的维度包含了深度可分离卷积的卷积核尺寸，通道数膨胀率。

MobileNet V2架构是基于倒置残差结构(Inverted Residual Structure)，原本的残差结构的主分支是有三个卷积，两个逐点卷积通道数较多，而倒置的残差结构刚好相反，中间的卷积通道数(依旧使用深度分离卷积结构)较多，两边的通道数较小。此外，为了避免ReLU激活函数对特征的破坏，在倒置残差结构的最后一个1x1卷积层不再采用ReLU激活函数，这可以保持模型表现力，使得模型拥有更强的特征表征能力。但这种结构会削弱梯度跨层传播的能力，将特征从高维空间压缩到低维空间，会造成信息丢失，同时这也容易引起梯度消失或梯度爆炸的问题，从而影响训练的收敛。

Sandglass Block是在轻量级的残差块上依据倒置残差块所存在的问题所改进的，同时这个模块还用到了MobileNet V2中的一些模块设计技巧，采用了线性瓶颈设计，即只在第一个3x3卷积后边和第二个1x1卷积后边使用非线性激活函数relu6，其他层后边使用线性激活函数，这有助于减少模块提取特征时的丢失，增强模块提取特征的能力。

如图2所示，本发明的搜索空间中的基本搜索模块基于Sandglass Block，并将其中的3x3卷积层以及膨胀率设置为可搜索参数。其中卷积核的尺寸可以是3或5，膨胀率的大小可以是1、2、3或6，它们的自由组合形成了所有的可搜索模块，如表2所示。本方法的搜索空间中的网络整体结构则是基于MobileNet V2的，其结构如表1所示。其中，我们将该网络中的bottleneck设置为可搜索的模块。由此可知，该搜索空间共包含了17个可搜索模块，而候选可搜索模块的个数为9，可以计算出该搜索空间的大小为9¹⁷≈10¹⁶，即该搜索空间共包含了约1016个潜在的网络模型。

表1 MobileNet V2的网络各层结构及特征信息

表2搜索空间中的候选Block信息

步骤2：在网络搜索阶段加入资源约束项；

为进一步降低最终搜索到的模型的资源消耗，在搜索过程中引入针对网络结构的资源约束项在一定程度上限制模型的尺寸、运算参数量、延迟等资源消耗量。首先需要根据候选的Block类型建立资源消耗表格L，然后在搜索过程中对每一轮搜索得到的模型计算其资源消耗量：

其中b_l,i表示搜索得到的网络中第l层的第i个block，m_l,i为代表网络中第l层的第i个block被选中的概率被重参数化后的值。

最后将该消耗量加入到损失函数中，该损失函数可表示为：

L_Val＝L_CE+λL_FLOPs

其中L_Val表示网络在团雾分类数据集中的验证集上的总体损失函数，L_CE代表在验证集上的交叉熵损失函数，L_FLOPs为网络的资源消耗，这里使用网络的浮点数运算量FLOPs来代替。通过对该总体损失函数进行优化，可以使得L_CE用于保证网络的分类精度，L_FLOPs用于降低网络的资源消耗，提升网络效率，λ为调节因数用于调整精度与效率之间的平衡。

步骤3：进行网络搜索；

搜索过程中采用可微分的搜索算法，并利用Gumbel Softmax采样机制，在搜索过程中的每次迭代更新时，依据采样结果从搜索空间中选取一个模块进行更新，降低搜索时的显存占用率。Gumbel Softmax公式表示为：

其中θ_l,i是网络的第l层中选取操作空间中第i个操作的概率，g_l,i是服从Gumbel分布的随机数。τ为大于0的温度参数，τ越接近于0，则Gumbel Softmax的结果越接近于均匀分布，τ越大，则Gumbel Softmax的结果越接近于离散分布。通过Gumbel Softmax使得在搜索过程中能够依据采样结果选取一条通路进行更新，极大地降低显存占用率。

最后通过调节搜索算法的超参数，进行对网络的搜索。主要的超参数有训练集划分比例、输入分辨率、搜索学习率、训练学习率、批次大小、搜索权重衰减系数、训练权重衰减系数、动量参数，如表3所示。

表3网络搜索超参数设置

步骤4：对所得到的网络决策级融合设计；

为了进一步提高网络对团雾的识别准确率，本发明基于搜索阶段结束后得到网络，进行决策级融合的结构设计，在几乎没有增加额外资源消耗的情况下，避免了团雾图像中细节信息的损失，从而提升了网络对团雾的识别准确率。

如图3所示，本发明将搜索得到的网络按照特征图宽高尺寸的不同分为若干个阶段，并对最后四个阶段所输出的特征图分别进行分类并融合得到最终的识别结果，这四个阶段所对应的特征图宽高尺寸分别为56×56、28×28、14×14以及7×7。为尽可能地提高分类器的效率，每个分类器都仅由全局池化层、1×1卷积层和softmax层组成。全局平均池化没有可学习参数，在一定程度上避免了因团雾图像数据量较小而可能出现的过拟合现象。而且全局平均池化融合了空间信息，对于输入的团雾图像的空间平移更具有鲁棒性。

对于参与融合的第i个阶段而言，首先对其输出的尺寸为C_i×W_i×H_i的特征图进行全局池化，得到一个尺寸为C_i×1×1的张量

其中F_jk,i表示第i个阶段特征图的第j行k列的元素。

然后使用1×1卷积将维度C_i转换为类别数量N，最后输出到softmax层得出对应的分类结果x_i：

其中W_i和b_i是第i个阶段对应的分类器中1×1卷积层的权重和偏置。

最后对各阶段的分类向量后进行融合，融合的方式为先对四组分类结果按元素相加，然后通过softmax层进行归一化得到最终的分类结果。

步骤5：进行训练；

通过调整训练超参数对进行步骤4后得到的网络进行训练，以提高网络的学习性能和效果。主要的超参数有学习率、批次大小、权重衰减系数、动量参数，主要的超参数以及取值如表4所示。

表4网络训练超参数设置

步骤6：实现团雾分类；

将待分类的团雾图像数据通过经步骤1至步骤5之后优化好的卷积神经网络给出团雾图像的更准确的标签，以实现对团雾图像的分类。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于自动化机器学习的轻量化高速公路团雾分类方法，其特征在于包括下述步骤：

步骤1，构建轻量化的搜索空间，该搜索空间基于轻量级网络MobileNet V2的网络结构，以及一种轻量化模块Sandglass Block而成的，其中网络的整体结构采用如表1所示的MobileNet V2的结构：

表1MobileNet V2的网络各层结构及特征信息

并将MobileNet V2中的倒残差模块替换为Sandglass Block，最后将Sandglass Block中深度可分离卷积的卷积核尺寸和通道数膨胀率确定为可搜索的维度；

步骤2，收集高速公路上产生的团雾图像，建立团雾分类数据集，并按照8:2的比例划分为训练集和验证集；然后建立针对网络结构的资源消耗表格，然后在网络搜索过程中的损失函数中加入资源约束项，进一步降低模型的资源消耗，该损失函数表示为：

L_Val＝L_CE+λL_FLOPs

其中L_Val表示网络在团雾分类数据集中的验证集中的总体损失函数，L_CE代表在验证集上的交叉熵损失函数，L_FLOPs为网络的资源消耗，使用网络的浮点数运算量FLOPs代替网络的资源消耗，通过对总体损失函数L_Val进行优化，使得L_CE用于保证网络的分类精度，L_FLOPs用于降低网络的资源消耗，提升网络效率，λ为调节因数，用于调整精度与效率之间的平衡；

步骤3，设置搜索算法的超参数，进行对网络的搜索；所述的超参数有训练集划分比例、输入分辨率、搜索学习率、训练学习率、批次大小、搜索权重衰减系数、训练权重衰减系数和动量参数；

步骤4，基于步骤3搜索阶段结束后得到的网络，进行决策级融合的结构设计，即利用全连接层对不同尺度的特征图分别进行分类，并将各分类结果进行按元素求和，并归一化得到最终的分类结果；

步骤5，设置训练超参数，对步骤4得到的决策级融合网络进行训练，直至损失函数收敛，以提高网络的学习性能和效果；所述的超参数有学习率、批次大小、权重衰减系数、动量参数；

步骤6，将待分类的团雾图像数据输入步骤5训练后的卷积神经网络，得到团雾图像的更准确的标签，以实现对团雾图像的分类。

2.根据权利要求1所述的基于自动化机器学习的轻量化高速公路团雾分类方法，其特征在于：

所述步骤3中，在网络搜索过程中，采用可微分的搜索算法，并利用Gumbel Softmax采样机制，在搜索过程中的每次迭代更新时，依据采样结果从搜索空间中选取一个模块进行更新，降低搜索时的显存占用率，Gumbel Softmax公式表示为：

其中θ_l,i是网络的第l层中选取操作空间中第i个操作的概率，g_l,i是服从Gumbel分布的随机数，τ为大于0的温度参数。

3.根据权利要求1所述的基于自动化机器学习的轻量化高速公路团雾分类方法，其特征在于：

所述步骤4中，将搜索得到的网络按照特征图宽高尺寸的不同分为若干个阶段，并对最后四个阶段所输出的特征图分别进行分类并融合得到最终的识别结果，每个分类器都仅由全局池化层、1×1卷积层和softmax层组成；

对于参与融合的第i个阶段而言，首先对其输出的尺寸为C_i×W_i×H_i的特征图进行全局池化，得到一个尺寸为C_i×1×1的张量

其中F_jk,i表示第i个阶段特征图的第j行k列的元素；

然后使用1×1卷积将维度C_i转换为类别数量N，最后输出到softmax层得出对应的分类结果x_i：

其中W_i和b_i是第i个阶段对应的分类器中1×1卷积层的权重和偏置；

最后对各阶段的分类向量后进行融合，融合的方式为先对四组分类结果按元素相加，然后通过softmax层进行归一化得到最终的分类结果。

Images