CN113392818A - 一种基于多尺度融合网络的高速公路恶劣天气识别方法 - Google Patents
一种基于多尺度融合网络的高速公路恶劣天气识别方法 Download PDFInfo
- Publication number
- CN113392818A CN113392818A CN202110939963.8A CN202110939963A CN113392818A CN 113392818 A CN113392818 A CN 113392818A CN 202110939963 A CN202110939963 A CN 202110939963A CN 113392818 A CN113392818 A CN 113392818A
- Authority
- CN
- China
- Prior art keywords
- severe weather
- image
- model
- scale fusion
- expressway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度融合网络的高速公路恶劣天气识别方法,包括图像训练部分和图像识别部分,采集天气图像,对图像进行种类划分和能见度等级建立,构建恶劣天气一体化识别的多尺度融合网络模型,采用轻量级网络ShuffleNet进行恶劣天气分类,采用光谱滤波与结构滤波分别提取图像的光谱与结构特征,并通过softmax层对多尺度特征进行能见度分类,根据目标函数,采用Adam优化器对模型参数优化,直至模型收敛,训练完成的模型可实现高速公路恶劣天气的端到端识别。本发明可实现高速公路恶劣天气的实时自动识别,为交通部门的高速公路管理和交通管制提供技术支撑。
Description
技术领域
本发明涉及图像处理技术领域,具体为一种基于多尺度融合网络的高速公路恶劣天气识别方法。
背景技术
雾、雨、雪等恶劣天气会造成高速公路的能见度降低、路面湿滑结冰,对行车安全构成巨大威胁。一种有效的高速公路恶劣天气识别方法对高速公路的行车安全和交通管理具有重要的作用。
传统高速公路恶劣天气检测通常通过在道路两侧布设气象传感器,通过对气象要素的有效观测,可实现对恶劣天气的检测。但由于气象传感器成本高,因此不适合密集型布设。交通部门在高速公路路网建设中布设了大量的监控摄像头,可实时采集道路图像,为恶劣天气识别提供了条件。
现有技术中提出的一些恶劣天气方法大多只针对单一恶劣天气,如雾、雨、雪等,且检测效率低、误判率高、计算复杂度高。图像识别和深度学习方法的快速发展,为高速公路恶劣天气识别提供了新的方法和思路。
发明内容
本发明的目的在于针对现有技术的缺陷和不足,提供一种成本低、速度快、准确率高的基于多尺度融合网络的高速公路恶劣天气识别方法。
为实现上述目的,本发明提供如下技术方案:一种基于多尺度融合网络的高速公路恶劣天气识别方法,包括图像训练部分以及图像识别部分;
图像训练部分的步骤如下:
a1:采集高速公路的监控视频,并逐帧提取视频中的图像,将所述图像进行分类处理,按照恶劣天气种类进行划分,并将所述恶劣天气建立若干个能见度等级;
a2:构建恶劣天气一体化识别的多尺度融合网络模型,采用轻量级网络ShuffleNet进行恶劣天气分类,可划分为雨、雪、雾三类,光谱滤波与结构滤波分别提取图像的光谱与结构特征,并结合多尺度融合模型进行多尺度特征提取与融合,将所述特征输入softmax层对雾进行能见度等级分类;
a3:设计用于优化网络模型参数的目标函数,预设模型超参数;
a4:采用Kaiming初始化方法进行网络模型参数初始化,将训练数据集输入模型,根据所述目标函数,采用Adam优化器实现模型参数优化与更新,直至模型收敛;
图像识别部分的步骤如下:
b1:将高速公路监控图像输入所述多尺度融合网络模型,完成对恶劣天气分类和雾的能见度等级分类。
优选的,所述a1中,参考交通气象站观测数据,并结合交通气象预报员的经验,对雾图像中的能见度进行标注,设置五种能见度等级,设能见度为,时,能见度等级为0级;时,能见度等级为1级;时,能见度等级为2级;时,能见度等级为3级;时,能见度等级为4级,并根据上述标准将采集的高速公路监控图像划分为五类,按照0.9:0.1的比例划分训练数据集和测试数据集。
优选的,所述a2中,所述光谱滤波采用伪着色的方式增强对比度,突出雾的特征,所述结构滤波采用快速引导滤波提取细节结构特征。
优选的,所述a3中,所述模型超参数主要包括学习率、迭代次数、批量数据大小、模型的深度和层数、激活函数的类别。
与现有技术相比,本发明的有益效果:本发明所述的基于多尺度融合网络的高速公路恶劣天气识别方法,基于多尺度融合模型,深入提取和融合道路图像中的天气特征,采用光谱滤波与结构滤波分别提取图像的光谱与结构特征,并结合多尺度融合模型进行多尺度特征提取与融合,从而更好地融合图像中的前景和背景特征,更利于估计图像中的能见度,通过softmax层对多尺度特征进行能见度分类;设计用于优化网络模型的目标函数;对模型的超参数进行初始化,根据目标函数,采用Adam优化器对模型参数进行优化更新,直至模型收敛;训练完成的模型可实现高速公路恶劣天气的端到端识别,包括雨、雪、雾天气分类和雾的能见度等级分类。为高速公路恶劣天气检测提供了新的方法和思路,根据已布设的道路监控,即可检测出雨、雪、雾等恶劣天气的信息,实现高速公路恶劣天气的实时自动识别,为交通部门的高速公路管理和交警部门的交通管制提供技术支撑,具有检测精度高、速度快、成本低的优势。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
在附图中:
图1是本发明恶劣天气检测方法的流程框图;
图2为多尺度融合网络模型的结构示意图;
图3为多尺度融合模块的结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例:如图1所示,基于多尺度融合网络的高速公路恶劣天气识别方法,包括图像训练部分和图像识别部分,图像训练部分为:构建训练集,构建多尺度融合模型,对模型进行优化训练,图像识别部分为:将待处理的道路图像输入训练完毕的模型,得到雨、雪、雾的分类和雨、雪、雾的强度等级。
图像训练部分S1的步骤如下:
步骤a1:采集高速公路监控视频,并提取视频中每一帧的图像,划分为雨、雪、雾三类,并将雨、雪、雾划分为若干强度等级;设能见度为,时,能见度等级为0级;时,能见度等级为1级;时,能见度等级为2级;时,能见度等级为3级;时,能见度等级为4级,根据上述标准将采集的高速公路监控图像划分为5类,并按照0.9:0.1的比例划分训练数据集和测试数据集。
步骤a2:构建恶劣天气一体化识别的多尺度融合网络模型,
采用轻量级网络ShuffleNet进行恶劣天气分类,考虑到雨、雪、雾三类天气特征特征区分度较大,因此本发明选择计算复杂度低的ShuffleNet作为恶劣天气分类网络。
采用光谱滤波与结构滤波分别提取图像的光谱与结构特征,光谱滤波采用伪着色的方式增强对比度,突出雾的特征;结构滤波采用快速引导滤波提取细节结构特征。光谱滤波可强化雾的整体背景特征;结构滤波可提取细节结构特征,增强小尺度细节特征与大尺度背景特征的区分度。
其中,如图3所示,采用多尺度融合模型进行多尺度特征提取与融合。多尺度融合模块的表达式为,其中,为多尺度融合模块的输入,为多尺度融合模块的输出,、、分别表示扩张系数为0、1、2的扩张卷积,为concatenate操作。多尺度融合模型可提取多尺度的图像特征,从而更好地融合图像中的前景和背景特征,更利于估计图像中的能见度。
将上述特征输入softmax层进行天气强度等级分类。
步骤a4:采用Kaiming初始化方法进行网络模型超参数初始化,超参数主要包括学习率、迭代次数、批量数据大小、模型的深度和层数、激活函数的类别,将训练数据集输入模型,根据目标函数,采用Adam优化器实现模型参数优化与更新,直至模型收敛。
图像识别部分的步骤如下:
步骤b1:将高速公路监控图像输入模型,进行恶劣天气分类与各类恶劣天气强度等级分类。
最后应说明的是:以上所述仅为本发明的优选实例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于多尺度融合网络的高速公路恶劣天气识别方法,其特征在于:包括图像训练部分以及图像识别部分;
图像训练部分的步骤如下:
a1:采集高速公路的监控视频,并提取视频中的图像,将所述图像进行分类处理,按照恶劣天气种类进行划分,并将所述恶劣天气建立若干个能见度等级;
a2:构建恶劣天气一体化识别的多尺度融合网络模型,采用轻量级网络ShuffleNet进行恶劣天气分类,利用光谱滤波与结构滤波分别提取图像的光谱与结构特征,并结合多尺度融合模型进行多尺度特征提取与融合,将所述特征输入softmax层对所述恶劣天气进行能见度等级分类;
a3:设计用于优化网络模型参数的目标函数,预设模型超参数;
a4:采用Kaiming初始化方法进行网络模型参数初始化,将训练数据集输入模型,根据所述目标函数,采用Adam优化器实现模型参数优化与更新,直至模型收敛;
图像识别部分的步骤如下:
b1:将高速公路监控图像输入所述多尺度融合网络模型,完成对所述恶劣天气进行分类和所述恶劣天气的能见度等级进行分类。
2.根据权利要求1所述的一种基于多尺度融合网络的高速公路恶劣天气识别方法,其特征在于:所述a1中,参考交通气象站观测数据,对所述恶劣天气中的图像能见度进行标注,设置若干种能见度等级,并将采集的高速公路监控图像划分不同种类,按照一定比例划分训练数据集和测试数据集。
3.根据权利要求1所述的一种基于多尺度融合网络的高速公路恶劣天气识别方法,其特征在于:所述a2中,所述光谱滤波采用伪着色的方式增强对比度,所述结构滤波采用快速引导滤波提取细节结构特征。
7.根据权利要求1所述的一种基于多尺度融合网络的高速公路恶劣天气识别方法,其特征在于:所述a3中,所述模型超参数主要包括学习率、迭代次数、批量数据大小、模型的深度和层数、激活函数的类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110939963.8A CN113392818A (zh) | 2021-08-17 | 2021-08-17 | 一种基于多尺度融合网络的高速公路恶劣天气识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110939963.8A CN113392818A (zh) | 2021-08-17 | 2021-08-17 | 一种基于多尺度融合网络的高速公路恶劣天气识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113392818A true CN113392818A (zh) | 2021-09-14 |
Family
ID=77622654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110939963.8A Pending CN113392818A (zh) | 2021-08-17 | 2021-08-17 | 一种基于多尺度融合网络的高速公路恶劣天气识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113392818A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299726A (zh) * | 2021-12-31 | 2022-04-08 | 象谱信息产业有限公司 | 一种基于人工智能的高速公路恶劣天气识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103034858A (zh) * | 2012-11-30 | 2013-04-10 | 宁波大学 | 一种卫星云图的二次聚类分割方法 |
CN110489505A (zh) * | 2019-08-05 | 2019-11-22 | 中国科学院遥感与数字地球研究所 | 一种动态阈值法来识别低云大雾的方法 |
CN112365476A (zh) * | 2020-11-13 | 2021-02-12 | 南京信息工程大学 | 一种基于双通路深度网络的雾天能见度检测方法 |
-
2021
- 2021-08-17 CN CN202110939963.8A patent/CN113392818A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103034858A (zh) * | 2012-11-30 | 2013-04-10 | 宁波大学 | 一种卫星云图的二次聚类分割方法 |
CN110489505A (zh) * | 2019-08-05 | 2019-11-22 | 中国科学院遥感与数字地球研究所 | 一种动态阈值法来识别低云大雾的方法 |
CN112365476A (zh) * | 2020-11-13 | 2021-02-12 | 南京信息工程大学 | 一种基于双通路深度网络的雾天能见度检测方法 |
Non-Patent Citations (1)
Title |
---|
李永平: "一种基于卫星遥感和数值预报产品的雾预报方法", 《应用气象学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299726A (zh) * | 2021-12-31 | 2022-04-08 | 象谱信息产业有限公司 | 一种基于人工智能的高速公路恶劣天气识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
CN108074244B (zh) | 一种融合深度学习与背景差法的平安城市车流统计方法 | |
CN111366931B (zh) | 一种基于云雷达的云降水精细化反演方法 | |
CN110675415B (zh) | 一种基于深度学习增强实例分割的道路积水区域检测方法 | |
CN106781458A (zh) | 一种交通事故监控方法及系统 | |
CN109784392A (zh) | 一种基于综合置信的高光谱图像半监督分类方法 | |
Mondal et al. | Identifying traffic congestion pattern using k-means clustering technique | |
CN109598930B (zh) | 一种自动检测高架封闭系统 | |
CN113327248B (zh) | 一种基于视频的隧道车流量统计方法 | |
CN112016499A (zh) | 基于多分支卷积神经网络的交通场景风险评估方法及系统 | |
CN114693924A (zh) | 一种基于多模型融合的道路场景语义分割方法 | |
CN113392818A (zh) | 一种基于多尺度融合网络的高速公路恶劣天气识别方法 | |
CN111709336A (zh) | 一种高速公路行人检测方法、设备及可读存储介质 | |
CN113269960A (zh) | 一种高速公路隧道群交通事故风险的分析方法 | |
CN114358401A (zh) | 一种融合图像和气象环境数据的道路结冰识别方法 | |
CN112863186A (zh) | 一种基于车载无人机的逃逸车辆快速识别和追踪方法 | |
CN110287995B (zh) | 全天高架交通拥堵情况分级的多特征学习网络模型方法 | |
Pan et al. | Winter road surface condition recognition using a pretrained deep convolutional network | |
CN116597411A (zh) | 极端天气下无人驾驶车辆识别交通标志的方法及系统 | |
Zhang et al. | Winter road surface condition classification using convolutional neural network (CNN): Visible light and thermal image fusion | |
CN103886331B (zh) | 一种基于监控视频的多特征融合的车辆体型分类方法 | |
CN105354591A (zh) | 基于高阶类别相关先验知识的三维室外场景语义分割系统 | |
CN110765900A (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
Sun et al. | A practical weather detection method built in the surveillance system currently used to monitor the large-scale freeway in China | |
CN113887532A (zh) | 一种基于场景分类的高速公路积雪图像识别与订正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210914 |
|
RJ01 | Rejection of invention patent application after publication |