CN115115890B - 一种基于自动化机器学习的轻量化高速公路团雾分类方法 - Google Patents
一种基于自动化机器学习的轻量化高速公路团雾分类方法 Download PDFInfo
- Publication number
- CN115115890B CN115115890B CN202210838159.5A CN202210838159A CN115115890B CN 115115890 B CN115115890 B CN 115115890B CN 202210838159 A CN202210838159 A CN 202210838159A CN 115115890 B CN115115890 B CN 115115890B
- Authority
- CN
- China
- Prior art keywords
- network
- classification
- lightweight
- fog
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000010801 machine learning Methods 0.000 title claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 11
- 238000013461 design Methods 0.000 claims description 10
- 239000003595 mist Substances 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 238000010200 validation analysis Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 238000010845 search algorithm Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 239000012014 frustrated Lewis pair Substances 0.000 claims description 3
- 230000007786 learning performance Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 abstract description 5
- 238000011897 real-time detection Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000004913 activation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于自动化机器学习的轻量化高速公路团雾分类方法,构建轻量化的搜索空间,收集高速公路上产生的团雾图像,建立团雾分类数据集,基于搜索阶段结束后得到的决策级融合的结构,利用全连接层对不同尺度的特征图分别进行分类,并将各分类结果进行按元素求和,并归一化得到最终的分类结果,训练得到决策级融合网络,以实现对团雾图像的分类。本发明解决了目前主流深度卷积神经网络参数量大从而无法在边缘端设备上部署的问题,在保证检测准确率的情况下,参数量和计算量降低了50%左右,极大改善了模型的分类效率,以满足高速公路上团雾的实时性检测,能更好地减少由于团雾发生引起的高速公路交通事故的次数。
Description
技术领域
本发明涉及度学习、数字图像处理以及计算机视觉的领域,具体为一种高速公路的团雾分类方法。
背景技术
随着我国经济技术的飞速发展,直到2020年年底,我国高速公路里程数已达约16万千米,位居全球第一。目前,高速公路安全驾驶极为重要,影响行车安全的因素包括人为因素和环境因素,环境因素中有雨、雪、风、雾等,其中最重要的因素就是团雾。
团雾是由于受到周围环境的影响,在很小的范围内突然出现影响水平能见度、浓度更大的雾。高速公路各类交通事故发生最主要是因为能见度比较低引起的,对于道路交通安全通行的危害非常大,团雾是影响航空、水运以及高速公路交通的重要因素之一。由于在高速公路上车速比较快、车流量大、不能够在匝道上随意停车等特点和要求,在行使过程中突然遇到团雾时,驾驶员无法迅速做出应对策略,就比较容易发生交通事故。团雾出现具有不确定性、覆盖范围小、移动性强、浓度大等特点,在团雾发生的路段就容易发生交通事故。
随着计算机硬件设备技术的不断提升以及图像数据量的大幅增加,深度学习在计算机视觉的应用范围越来越广,目前许多关于团雾检测的研究都是围绕深度学习,尤其是卷积神经网络来开展的。但目前主流的卷积神经网络由于层数较深,其模型大小和参数量相对较大,通常为百MB大小和百MB参数量,且其计算复杂度较高,对于内存空间和计算能力受限的嵌入式系统而言通常难以满足要求,不能满足对于高速公路团雾这一突发情况的实时性检测。
发明内容
为了克服现有技术的不足,本发明提供一种基于自动化机器学习的轻量化高速公路团雾分类方法,设计了轻量化的搜索空间,在网络搜索过程中加入资源约束项,使得最终得到的网络能够在满足精度要求的情况下,尽可能地降低资源消耗,以满足在高速公路上对团雾的实时性检测。同时,本发明在所得到的网络的基础上,设计一种决策级融合方法,在几乎不增加额外资源消耗的情况下,近一步提升了网络的识别准确率。
本发明解决其技术问题所采用的技术方案包括以下步骤:
步骤1,构建轻量化的搜索空间,该搜索空间基于轻量级网络MobileNet V2的网络结构,以及一种轻量化模块Sandglass Block而成的,其中网络的整体结构采用如表1所示的MobileNet V2的结构:
表1 MobileNet V2的网络各层结构及特征信息
并将MobileNet V2中的倒残差模块替换为如图2所示的Sandglass Block,最后将Sandglass Block中深度可分离卷积的卷积核尺寸和通道数膨胀率确定为可搜索的维度;
步骤2,收集高速公路上产生的团雾图像,建立团雾分类数据集,并按照8:2的比例划分为训练集和验证集;然后建立针对网络结构的资源消耗表格,然后在网络搜索过程中的损失函数中加入资源约束项,进一步降低模型的资源消耗,该损失函数表示为:
LVal=LCE+λLFLOPs
其中LVal表示网络在团雾分类数据集中的验证集中的总体损失函数,LCE代表在验证集上的交叉熵损失函数,LFLOPs为网络的资源消耗,使用网络的浮点数运算量FLOPs代替网络的资源消耗,通过对总体损失函数LVal进行优化,使得LCE用于保证网络的分类精度,LFLOPs用于降低网络的资源消耗,提升网络效率,λ为调节因数,用于调整精度与效率之间的平衡。
步骤3,设置搜索算法的超参数,进行对网络的搜索;所述的超参数有训练集划分比例、输入分辨率、搜索学习率、训练学习率、批次大小、搜索权重衰减系数、训练权重衰减系数和动量参数;
步骤4,基于步骤3搜索阶段结束后得到的网络,进行如图1所示的决策级融合的结构设计,即利用全连接层对不同尺度的特征图分别进行分类,并将各分类结果进行按元素求和,并归一化得到最终的分类结果;
步骤5,设置训练超参数,对步骤4得到的决策级融合网络进行训练,直至损失函数收敛,以提高网络的学习性能和效果;所述的超参数有学习率、批次大小、权重衰减系数、动量参数;
步骤6,将待分类的团雾图像数据输入步骤5训练后的卷积神经网络,得到团雾图像的更准确的标签,以实现对团雾图像的分类。
所述步骤3中,在网络搜索过程中,采用可微分的搜索算法,并利用GumbelSoftmax采样机制,在搜索过程中的每次迭代更新时,依据采样结果从搜索空间中选取一个模块进行更新,降低搜索时的显存占用率,Gumbel Softmax公式表示为:
其中θl,i是网络的第l层中选取操作空间中第i个操作的概率,gl,i是服从Gumbel分布的随机数。τ为大于0的温度参数,τ越接近于0,则Gumbel Softmax的结果越接近于均匀分布,τ越大,则Gumbel Softmax的结果越接近于离散分布。通过Gumbel Softmax使得在搜索过程中能够依据采样结果选取一条通路进行更新,极大地降低显存占用率。
所述步骤4中,将搜索得到的网络按照特征图宽高尺寸的不同分为若干个阶段,并对最后四个阶段所输出的特征图分别进行分类并融合得到最终的识别结果,每个分类器都仅由全局池化层、1×1卷积层和softmax层组成;
对于参与融合的第i个阶段而言,首先对其输出的尺寸为Ci×Wi×Hi的特征图进行全局池化,得到一个尺寸为Ci×1×1的张量
其中Fjk,i表示第i个阶段特征图的第j行k列的元素;
然后使用1×1卷积将维度Ci转换为类别数量N,最后输出到softmax层得出对应的分类结果xi:
其中Wi和bi是第i个阶段对应的分类器中1×1卷积层的权重和偏置;
最后对各阶段的分类向量后进行融合,融合的方式为先对四组分类结果按元素相加,然后通过softmax层进行归一化得到最终的分类结果。
本发明的有益效果在于由于采用了轻量化网络MobileNet V2以及轻量化模块Sandglass Block,建立了轻量化网络搜索空间,以及对搜索得到的网络的进行决策级融合的设计,解决了目前主流深度卷积神经网络参数量大从而无法在边缘端设备上部署的问题,在保证了检测准确率的情况下,相比当前主流的深度卷积神经网络参数量和计算量降低了50%左右,极大改善了模型的分类效率,以满足高速公路上团雾的实时性检测,能更好地减少由于团雾发生引起的高速公路交通事故的次数。
附图说明
图1是本发明网络结构搜索过程示意图。
图2是本发明Sandglass Block单元结构。
图3是本发明的网络决策级融合示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明包括以下步骤:
步骤1:构建轻量化的搜索空间;
提出一种包含了若干轻量化卷积操作的轻量级搜索空间。该搜索空间是基于轻量级网络MobileNet V2的网络结构,以及一种轻量化模块Sandglass Block而成的。其中网络的整体结构采用如表1所示的MobileNet V2的结构,并将MobileNet V2中的倒残差模块替换为如图2所示的Sandglass Block,最后将Sandglass Block中深度可分离卷积的卷积核尺寸和通道数膨胀率确定为可搜索的维度。
步骤2:在网络搜索阶段加入资源约束项;
收集高速公路上产生的团雾图像,建立团雾分类数据集并按照8:2的比例进行训练集和验证集的划分。然后建立针对网络结构的资源消耗表格,然后在网络搜索过程中的损失函数中加入资源约束项,进一步降低模型的资源消耗,该损失函数可表示为:
LVal=LCE+λLFLOPs
其中LVal表示网络在团雾分类数据集中的验证集上的总体损失函数,LCE代表在验证集上的交叉熵损失函数,LFLOPs为网络的资源消耗,这里使用网络的浮点数运算量FLOPs来代替网络的资源消耗。通过对该总体损失函数进行优化,可以使得LCE用于保证网络的分类精度,LFLOPs用于降低网络的资源消耗,提升网络效率,λ为调节因数,用于调整精度与效率之间的平衡。
步骤3:进行网络搜索;
通过设置搜索算法的超参数,进行对网络的搜索。主要的超参数有训练集划分比例、输入分辨率、搜索学习率、训练学习率、批次大小、搜索权重衰减系数、训练权重衰减系数、动量参数;
步骤4:对所得到的网络决策级融合设计;
基于步骤3搜索阶段结束后得到网络,进行如图1所示的决策级融合的结构设计,通过对不同尺度的特征图进行分类,并将分类结果进行按元素求和并归一化得到最终的分类结果。
步骤5:进行训练;
设置训练超参数对进行步骤4后得到的决策级融合网络进行训练至损失函数收敛。主要的超参数有学习率、批次大小、权重衰减系数、动量参数;
步骤6:实现团雾分类;
将待分类的团雾图像数据通过经步骤1至步骤5之后优化好的卷积神经网络,给出团雾图像的更准确的标签,以实现对团雾图像的分类。
所述步骤2中,网络的资源消耗LFLOPs为:
其中bl,i表示搜索得到的网络中第l层的第i个block,ml,i为代表网络中第l层的第i个block被选中的概率被重参数化后的值。
所述步骤3的还包括:
采用可微分的搜索算法,并利用Gumbel Softmax采样机制,在搜索过程中的每次迭代更新时,依据采样结果从搜索空间中选取一个模块进行更新,降低搜索时的显存占用率。Gumbel Softmax公式表示为:
其中θl,i是网络的第l层中选取操作空间中第i个操作的概率,gl,i是服从Gumbel分布的随机数。τ为大于0的温度参数,τ越接近于0,则Gumbel Softmax的结果越接近于均匀分布,τ越大,则Gumbel Softmax的结果越接近于离散分布。通过Gumbel Softmax使得在搜索过程中能够依据采样结果选取一条通路进行更新,极大地降低显存占用率。
本发明实施例的网络搜索流程如图1所示。为降低模型的资源消耗,本发明提出一种基于轻量化网络MobileNet V2和Sandglass Block的轻量化搜索空间,以及在搜索过程中加入资源损失项,近一步提升网络的识别效率。得到搜索结束后的模型之后,为近一步提升其识别准确率,如图3所示,本发明提出一种决策级信息融合方法,在几乎不增加额外资源消耗的同时,增加网络的识别准确率。
步骤1:构建轻量化的搜索空间;
提出一种包含了若干轻量化卷积操作的轻量级搜索空间。该搜索空间是基于轻量级网络MobileNet V2的网络结构,以及一种轻量化模块Sandglass Block而成的。其中可搜索的维度包含了深度可分离卷积的卷积核尺寸,通道数膨胀率。
MobileNet V2架构是基于倒置残差结构(Inverted Residual Structure),原本的残差结构的主分支是有三个卷积,两个逐点卷积通道数较多,而倒置的残差结构刚好相反,中间的卷积通道数(依旧使用深度分离卷积结构)较多,两边的通道数较小。此外,为了避免ReLU激活函数对特征的破坏,在倒置残差结构的最后一个1x1卷积层不再采用ReLU激活函数,这可以保持模型表现力,使得模型拥有更强的特征表征能力。但这种结构会削弱梯度跨层传播的能力,将特征从高维空间压缩到低维空间,会造成信息丢失,同时这也容易引起梯度消失或梯度爆炸的问题,从而影响训练的收敛。
Sandglass Block是在轻量级的残差块上依据倒置残差块所存在的问题所改进的,同时这个模块还用到了MobileNet V2中的一些模块设计技巧,采用了线性瓶颈设计,即只在第一个3x3卷积后边和第二个1x1卷积后边使用非线性激活函数relu6,其他层后边使用线性激活函数,这有助于减少模块提取特征时的丢失,增强模块提取特征的能力。
如图2所示,本发明的搜索空间中的基本搜索模块基于Sandglass Block,并将其中的3x3卷积层以及膨胀率设置为可搜索参数。其中卷积核的尺寸可以是3或5,膨胀率的大小可以是1、2、3或6,它们的自由组合形成了所有的可搜索模块,如表2所示。本方法的搜索空间中的网络整体结构则是基于MobileNet V2的,其结构如表1所示。其中,我们将该网络中的bottleneck设置为可搜索的模块。由此可知,该搜索空间共包含了17个可搜索模块,而候选可搜索模块的个数为9,可以计算出该搜索空间的大小为917≈1016,即该搜索空间共包含了约1016个潜在的网络模型。
表1 MobileNet V2的网络各层结构及特征信息
表2搜索空间中的候选Block信息
步骤2:在网络搜索阶段加入资源约束项;
为进一步降低最终搜索到的模型的资源消耗,在搜索过程中引入针对网络结构的资源约束项在一定程度上限制模型的尺寸、运算参数量、延迟等资源消耗量。首先需要根据候选的Block类型建立资源消耗表格L,然后在搜索过程中对每一轮搜索得到的模型计算其资源消耗量:
其中bl,i表示搜索得到的网络中第l层的第i个block,ml,i为代表网络中第l层的第i个block被选中的概率被重参数化后的值。
最后将该消耗量加入到损失函数中,该损失函数可表示为:
LVal=LCE+λLFLOPs
其中LVal表示网络在团雾分类数据集中的验证集上的总体损失函数,LCE代表在验证集上的交叉熵损失函数,LFLOPs为网络的资源消耗,这里使用网络的浮点数运算量FLOPs来代替。通过对该总体损失函数进行优化,可以使得LCE用于保证网络的分类精度,LFLOPs用于降低网络的资源消耗,提升网络效率,λ为调节因数用于调整精度与效率之间的平衡。
步骤3:进行网络搜索;
搜索过程中采用可微分的搜索算法,并利用Gumbel Softmax采样机制,在搜索过程中的每次迭代更新时,依据采样结果从搜索空间中选取一个模块进行更新,降低搜索时的显存占用率。Gumbel Softmax公式表示为:
其中θl,i是网络的第l层中选取操作空间中第i个操作的概率,gl,i是服从Gumbel分布的随机数。τ为大于0的温度参数,τ越接近于0,则Gumbel Softmax的结果越接近于均匀分布,τ越大,则Gumbel Softmax的结果越接近于离散分布。通过Gumbel Softmax使得在搜索过程中能够依据采样结果选取一条通路进行更新,极大地降低显存占用率。
最后通过调节搜索算法的超参数,进行对网络的搜索。主要的超参数有训练集划分比例、输入分辨率、搜索学习率、训练学习率、批次大小、搜索权重衰减系数、训练权重衰减系数、动量参数,如表3所示。
表3网络搜索超参数设置
步骤4:对所得到的网络决策级融合设计;
为了进一步提高网络对团雾的识别准确率,本发明基于搜索阶段结束后得到网络,进行决策级融合的结构设计,在几乎没有增加额外资源消耗的情况下,避免了团雾图像中细节信息的损失,从而提升了网络对团雾的识别准确率。
如图3所示,本发明将搜索得到的网络按照特征图宽高尺寸的不同分为若干个阶段,并对最后四个阶段所输出的特征图分别进行分类并融合得到最终的识别结果,这四个阶段所对应的特征图宽高尺寸分别为56×56、28×28、14×14以及7×7。为尽可能地提高分类器的效率,每个分类器都仅由全局池化层、1×1卷积层和softmax层组成。全局平均池化没有可学习参数,在一定程度上避免了因团雾图像数据量较小而可能出现的过拟合现象。而且全局平均池化融合了空间信息,对于输入的团雾图像的空间平移更具有鲁棒性。
对于参与融合的第i个阶段而言,首先对其输出的尺寸为Ci×Wi×Hi的特征图进行全局池化,得到一个尺寸为Ci×1×1的张量
其中Fjk,i表示第i个阶段特征图的第j行k列的元素。
然后使用1×1卷积将维度Ci转换为类别数量N,最后输出到softmax层得出对应的分类结果xi:
其中Wi和bi是第i个阶段对应的分类器中1×1卷积层的权重和偏置。
最后对各阶段的分类向量后进行融合,融合的方式为先对四组分类结果按元素相加,然后通过softmax层进行归一化得到最终的分类结果。
步骤5:进行训练;
通过调整训练超参数对进行步骤4后得到的网络进行训练,以提高网络的学习性能和效果。主要的超参数有学习率、批次大小、权重衰减系数、动量参数,主要的超参数以及取值如表4所示。
表4网络训练超参数设置
步骤6:实现团雾分类;
将待分类的团雾图像数据通过经步骤1至步骤5之后优化好的卷积神经网络给出团雾图像的更准确的标签,以实现对团雾图像的分类。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于自动化机器学习的轻量化高速公路团雾分类方法,其特征在于包括下述步骤:
步骤1,构建轻量化的搜索空间,该搜索空间基于轻量级网络MobileNet V2的网络结构,以及一种轻量化模块Sandglass Block而成的,其中网络的整体结构采用如表1所示的MobileNet V2的结构:
表1MobileNet V2的网络各层结构及特征信息
并将MobileNet V2中的倒残差模块替换为Sandglass Block,最后将Sandglass Block中深度可分离卷积的卷积核尺寸和通道数膨胀率确定为可搜索的维度;
步骤2,收集高速公路上产生的团雾图像,建立团雾分类数据集,并按照8:2的比例划分为训练集和验证集;然后建立针对网络结构的资源消耗表格,然后在网络搜索过程中的损失函数中加入资源约束项,进一步降低模型的资源消耗,该损失函数表示为:
LVal=LCE+λLFLOPs
其中LVal表示网络在团雾分类数据集中的验证集中的总体损失函数,LCE代表在验证集上的交叉熵损失函数,LFLOPs为网络的资源消耗,使用网络的浮点数运算量FLOPs代替网络的资源消耗,通过对总体损失函数LVal进行优化,使得LCE用于保证网络的分类精度,LFLOPs用于降低网络的资源消耗,提升网络效率,λ为调节因数,用于调整精度与效率之间的平衡;
步骤3,设置搜索算法的超参数,进行对网络的搜索;所述的超参数有训练集划分比例、输入分辨率、搜索学习率、训练学习率、批次大小、搜索权重衰减系数、训练权重衰减系数和动量参数;
步骤4,基于步骤3搜索阶段结束后得到的网络,进行决策级融合的结构设计,即利用全连接层对不同尺度的特征图分别进行分类,并将各分类结果进行按元素求和,并归一化得到最终的分类结果;
步骤5,设置训练超参数,对步骤4得到的决策级融合网络进行训练,直至损失函数收敛,以提高网络的学习性能和效果;所述的超参数有学习率、批次大小、权重衰减系数、动量参数;
步骤6,将待分类的团雾图像数据输入步骤5训练后的卷积神经网络,得到团雾图像的更准确的标签,以实现对团雾图像的分类。
2.根据权利要求1所述的基于自动化机器学习的轻量化高速公路团雾分类方法,其特征在于:
所述步骤3中,在网络搜索过程中,采用可微分的搜索算法,并利用Gumbel Softmax采样机制,在搜索过程中的每次迭代更新时,依据采样结果从搜索空间中选取一个模块进行更新,降低搜索时的显存占用率,Gumbel Softmax公式表示为:
其中θl,i是网络的第l层中选取操作空间中第i个操作的概率,gl,i是服从Gumbel分布的随机数,τ为大于0的温度参数。
3.根据权利要求1所述的基于自动化机器学习的轻量化高速公路团雾分类方法,其特征在于:
所述步骤4中,将搜索得到的网络按照特征图宽高尺寸的不同分为若干个阶段,并对最后四个阶段所输出的特征图分别进行分类并融合得到最终的识别结果,每个分类器都仅由全局池化层、1×1卷积层和softmax层组成;
对于参与融合的第i个阶段而言,首先对其输出的尺寸为Ci×Wi×Hi的特征图进行全局池化,得到一个尺寸为Ci×1×1的张量
其中Fjk,i表示第i个阶段特征图的第j行k列的元素;
然后使用1×1卷积将维度Ci转换为类别数量N,最后输出到softmax层得出对应的分类结果xi:
其中Wi和bi是第i个阶段对应的分类器中1×1卷积层的权重和偏置;
最后对各阶段的分类向量后进行融合,融合的方式为先对四组分类结果按元素相加,然后通过softmax层进行归一化得到最终的分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210838159.5A CN115115890B (zh) | 2022-07-17 | 2022-07-17 | 一种基于自动化机器学习的轻量化高速公路团雾分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210838159.5A CN115115890B (zh) | 2022-07-17 | 2022-07-17 | 一种基于自动化机器学习的轻量化高速公路团雾分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115115890A CN115115890A (zh) | 2022-09-27 |
CN115115890B true CN115115890B (zh) | 2024-03-19 |
Family
ID=83331453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210838159.5A Active CN115115890B (zh) | 2022-07-17 | 2022-07-17 | 一种基于自动化机器学习的轻量化高速公路团雾分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115115890B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110929603A (zh) * | 2019-11-09 | 2020-03-27 | 北京工业大学 | 一种基于轻量级卷积神经网络的天气图像识别方法 |
WO2020156028A1 (zh) * | 2019-01-28 | 2020-08-06 | 南京航空航天大学 | 一种基于深度学习的室外非固定场景天气识别方法 |
CN111666980A (zh) * | 2020-05-13 | 2020-09-15 | 武汉大学 | 一种基于轻量化网络的目标检测方法 |
KR20210096405A (ko) * | 2020-01-28 | 2021-08-05 | 한국전자통신연구원 | 사물 학습모델 생성 장치 및 방법 |
CN113822954A (zh) * | 2021-09-10 | 2021-12-21 | 西安交通大学 | 一种面向资源约束下人机协同场景的深度学习图像编码方法 |
-
2022
- 2022-07-17 CN CN202210838159.5A patent/CN115115890B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020156028A1 (zh) * | 2019-01-28 | 2020-08-06 | 南京航空航天大学 | 一种基于深度学习的室外非固定场景天气识别方法 |
CN110929603A (zh) * | 2019-11-09 | 2020-03-27 | 北京工业大学 | 一种基于轻量级卷积神经网络的天气图像识别方法 |
KR20210096405A (ko) * | 2020-01-28 | 2021-08-05 | 한국전자통신연구원 | 사물 학습모델 생성 장치 및 방법 |
CN111666980A (zh) * | 2020-05-13 | 2020-09-15 | 武汉大学 | 一种基于轻量化网络的目标检测方法 |
CN113822954A (zh) * | 2021-09-10 | 2021-12-21 | 西安交通大学 | 一种面向资源约束下人机协同场景的深度学习图像编码方法 |
Non-Patent Citations (2)
Title |
---|
卷积神经网络压缩与加速技术研究进展;尹文枫;梁玲燕;彭慧民;曹其春;赵健;董刚;赵雅倩;赵坤;;计算机系统应用;20200915(第09期);全文 * |
改进卷积神经网络在图像烟雾检测的应用;魏伟航;马乾力;高治良;赵锦成;;智能计算机与应用;20190501(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115115890A (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109447034B (zh) | 基于YOLOv3网络的自动驾驶中交通标识检测方法 | |
CN110136154B (zh) | 基于全卷积网络与形态学处理的遥感图像语义分割方法 | |
CN108416783B (zh) | 基于全卷积神经网路的道路场景分割方法 | |
CN111523579B (zh) | 一种基于改进深度学习的车型识别方法及系统 | |
CN111882620B (zh) | 一种基于多尺度信息道路可行驶区域分割方法 | |
CN110929621B (zh) | 一种基于拓扑信息细化的道路提取方法 | |
WO2021013190A1 (zh) | 基于气象参数的高速列车导航盲区定位方法及系统 | |
CN112766170B (zh) | 基于簇类无人机图像的自适应分割检测方法及装置 | |
CN113256649B (zh) | 一种基于深度学习的遥感图像选站选线语义分割方法 | |
CN104268546A (zh) | 一种基于主题模型的动态场景分类方法 | |
CN111161244B (zh) | 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法 | |
KR20240111746A (ko) | 지식 증류를 위한 신뢰 영역 인식 신경망 아키텍처 검색 | |
CN113591617B (zh) | 基于深度学习的水面小目标检测与分类方法 | |
Liang et al. | Winter road surface status recognition using deep semantic segmentation network | |
CN110032952A (zh) | 一种基于深度学习的道路边界点检测方法 | |
Yang et al. | A fast and effective video vehicle detection method leveraging feature fusion and proposal temporal link | |
CN110008899A (zh) | 一种可见光遥感图像候选目标提取与分类方法 | |
CN112395953A (zh) | 一种道面异物检测系统 | |
CN114220019A (zh) | 一种轻量级沙漏式遥感图像目标检测方法及系统 | |
CN115115890B (zh) | 一种基于自动化机器学习的轻量化高速公路团雾分类方法 | |
CN117576441A (zh) | 一种融合分类与检测的钢材表面缺陷检测轻量化算法 | |
CN116797928A (zh) | 基于平衡模型稳定性和可塑性的sar目标增量分类方法 | |
Zhao et al. | Recognition and Classification of Concrete Cracks under Strong Interference Based on Convolutional Neural Network. | |
Jiangzhou et al. | Research on real-time object detection algorithm in traffic monitoring scene | |
CN115240078A (zh) | 一种基于轻量化元学习的sar图像小样本目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |