CN118052739A - 一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统 - Google Patents

一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统 Download PDF

Info

Publication number
CN118052739A
CN118052739A CN202410265645.1A CN202410265645A CN118052739A CN 118052739 A CN118052739 A CN 118052739A CN 202410265645 A CN202410265645 A CN 202410265645A CN 118052739 A CN118052739 A CN 118052739A
Authority
CN
China
Prior art keywords
image
deep learning
traffic
outputting
fog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410265645.1A
Other languages
English (en)
Inventor
任斌
吴锐铭
何春红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan University of Technology
Original Assignee
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan University of Technology filed Critical Dongguan University of Technology
Priority to CN202410265645.1A priority Critical patent/CN118052739A/zh
Publication of CN118052739A publication Critical patent/CN118052739A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统，该方法，包括获取实时交通图像数据；进行色彩度对比，计算图像的平均强度、方差和平均梯度，判断图像是否有雾，并输出有雾图像；将有雾图像输入深度学习模型，获取图像多个尺度的特征；接收多个尺度的特征并融合以恢复图像。本发明的一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统，将经深度学习模型获得的特征进行融合，有效提高摄像头在雾天场景获取图像清晰度和对比度。

Description

一种基于深度学习的交通图像除雾方法和智慧交通图像处理 系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的交通图像除雾方法，还涉及一种采用该方法的智慧交通图像处理系统。
背景技术
智慧交通系统(Intelligent Traffic Systems,ITS)是运用先进的信息和通信技术，以及传感器、计算机、通信和控制技术等手段，对交通系统进行综合、精准的监测、管理和控制的系统。
计算机视觉技术(Computer Vision,CV)是人工智能领域的一个重要分支，致力于使计算机系统能够理解、解释和处理图像和视频数据。其技术背景涉及多个方面，包括图像处理、模式识别、机器学习和深度学习等。
在CV中，ITS对于提升智能监控、智能导航、自动驾驶、交通效率等至关重要。然而，由于大气中浑浊介质对环境光的散射和吸收，在朦胧成像条件下，捕捉到的视频或图像质量会不可避免地衰减，这种现象会严重降低整个图像的对比度和色彩保真度，同时，前景和背景会变得模糊和变形，导致关键的目标信息被隐藏。
发明内容
本发明的目的在于克服现有技术中的上述缺陷，提供了一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统，将经深度学习模型获得的特征进行融合，有效提高摄像头在雾天场景获取图像清晰度和对比度。
为实现上述目的，本发明提供了一种基于深度学习的交通图像除雾方法，包括如下步骤：
S1.获取实时交通图像数据；
S2.进行色彩度对比，计算图像的平均强度、方差和平均梯度，判断图像是否有雾，并输出有雾图像；
S3.将有雾图像输入深度学习模型，获取图像多个尺度的特征；
S4.接收多个尺度的特征并融合以恢复图像；
S5.输出恢复后的图像。
上述技术方案中，所述S2包括：
S21.进行色彩度对比：根据RGB三原色，取出获得的图像的三个通道的一系列值做数据增强后，得到的图像与原图做比对，判断是否为雾天；
S22.计算图像的平均强度：计算图像的三个通道像素的平均灰度值；
S23.计算图像的方差：计算每个像素的灰度值减去图像平均灰度值的平方和除以总的像素个数；
S24.计算图像的平均梯度：计算图像中像素值变化的平均强度；
S25.通过色彩度对比、图像的平均强度、方差和平均梯度相结合，判断图像是否有雾，并输出有雾图像。
上述技术方案中，所述深度学习模型包括全局-局部注意力机制及多尺度卷积神经网络。所述全局-局部注意力机制获取图像的注意力特征，再将图像与所述注意力特征输入给所述多尺度卷积神经网络。
上述技术方案中，假设输入特征为X和Z，所述全局-局部注意力机制的注意力特征为Y，则可以表示为：
Y＝α·X(1-α)·Z
其中，X是全局信息；Z是局部信息；α是所述深度学习模型学习到的权重。
上述技术方案中，假设输入特征图为X，卷积核的尺寸分别为k1,k2,…,kn，对应的权重为W1,W2,…,Wn，所述多尺度卷积神经网络的输出特征图为Y，则可以表示为：
其中,表示对输入特征图X进行尺寸为ki的卷积操作；Wi表示与尺寸为ki的卷积核相关的权重；/>表示对所有尺寸的卷积核进行求和。
上述技术方案中，所述S4中，假设接收到的两个特征分别为A和B，则A和B的融合可表示为：
Attention Fusion(A,B)＝α·A+β·B
α,β＝Softmax(FC([A,B]))
其中，FC表示全连接层，α和β是通过Softmax函数归一化得到的注意力权重。
上述技术方案中，所述S3还包括将有雾图像进行预处理，再将预处理后的图像输入深度学习模型；所述S4还包括将经过多个尺度特征融合后的图像进行后处理。
本发明还提供了一种基于深度学习的交通图像除雾方法的智慧交通图像处理系统，包括：
图像采集模块，用于获取实时交通图像数据作为输入数据；
图像检测模块，用于判断实时交通图像数据是否有雾，输出有雾图像；
图像处理模块，包括深度学习模型，用于获取图像多个尺度的特征并输出；
图像复原模块，用于融合多个尺度的特征得到复原的图像；
图像输出模块，用于输出经过复原处理的图像；
上述模块为递进关系完成逻辑链接。
上述技术方案中，所述图像处理模块还包括预处理单元，用于对接收的有雾图像进行初步处理，再输出至深度学习模型。
上述技术方案中，所述图像复原模块还包括后处理单元，用于对经过复原的图像进行后处理，再输出至图像输出模块。
与现有技术相比，本发明的有益效果在于：
1、本技术方案中的S2通过色彩度对比以及计算图像的平均强度、方差和平均梯度，在处理图像前增加了对图像是否有雾的判断，提高了除雾的有效性和准确性。
2、本技术方案中通过S3获取图像多个尺度的特征和S4将多个尺度的特征进行融合，更全面、精确地还原有雾的交通图像，提升交通监控图像的清晰度和可见度，对交通管控、自动驾驶、交通安全等方面都有着积极的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于深度学习的交通图像除雾方法的流程图；
图2是本发明提供的一种基于深度学习的交通图像除雾方法的智慧交通图像处理系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1所示，本发明提供了一种基于深度学习的交通图像除雾方法，包括如下步骤：
S1.获取实时交通图像数据；
S2.进行色彩度对比，计算图像的平均强度、方差和平均梯度，判断图像是否有雾，并输出有雾图像；
S3.将有雾图像进行预处理，再将预处理后的图像输入深度学习模型，获取图像多个尺度的特征；预处理包括去噪、去除伪影、缩放等操作；
S4.接收多个尺度的特征并融合以恢复图像，再将经过多个尺度特征融合后的图像进行后处理；后处理包括对图像进行色彩校正、对比度调整等处理，进一步提升图像质量；
S5.输出经过后处理后的图像。
在本实施例中，S2的具体步骤为：
S21.进行色彩度对比：根据RGB三原色，取出获得的图像的三个通道的一系列值做数据增强后，得到的图像与原图做比对，判断是否为雾天；其中，色彩度对比是指在图像或设计中，对比两种或多种颜色之间的差异程度。
S22.计算图像的平均强度：计算图像的三个通道像素的平均灰度值；平均灰度值反映了图像的亮度，平均灰度值越大说明图像亮度越大，反之越小。
S23.计算图像的方差：计算每个像素的灰度值减去图像平均灰度值的平方和除以总的像素个数；方差反映了图像像素灰度值与平均灰度值的离散程度，方差越大说明图像可能更加丰富多彩或者更加嘈杂。
S24.计算图像的平均梯度：计算图像中像素值变化的平均强度；通常用于衡量图像的边缘信息。梯度表示的是图像像素值的变化率，因此平均梯度可以反映图像中的纹理和边缘的密集程度，平均梯度越大，表示图像中存在更多的边缘和纹理信息，而平均梯度较小可能表明图像比较平滑或缺乏明显的纹理和边缘。
S25.通过色彩度对比、图像的平均强度、方差和平均梯度相结合，判断图像是否有雾，并输出有雾图像。
在本实施例中，S3中的深度学习模型包括全局-局部注意力机制，使本发明的方法可动态调整对图像不同部分的关注程度，从而更加精确地恢复图像；其中，全局注意力机制用于捕捉整个图像的上下文信息，比如整体的交通场景和道路环境，而局部注意力机制用于聚焦局部重要区域，比如关键的车辆、行人或交通标志，这种结合有助于提高图像还原的准确性。具体地，假设输入特征为X，全局-局部注意力机制的输出特征为Y，则可以表示为：
Y＝α·X(1-α)·Z
其中，X是全局信息，通常通过对输入进行全局池化得到；Z是局部信息，通过对输入进行局部卷积或其他局部感知操作得到；α是一个学习到的权重，用于平衡全局信息和局部信息的重要性。
在本实施例中，深度学习模型还包括多尺度卷积神经网络，在不同层次使用不同尺度的卷积核，可以帮助网络有效地捕获雾天场景中的车辆、行人等交通要素，提高图像还原的精度。具体地，假设输入特征图为X，卷积核的尺寸分别为k1,k2,…,kn，对应的权重为W1,W2,…,Wn，多尺度卷积的输出特征图为Y，则多尺度卷积的计算可以表示为：
其中,表示对输入特征图X进行尺寸为ki的卷积操作；Wi表示与尺寸为ki的卷积核相关的权重；/>表示对所有尺寸的卷积核进行求和。
在本实施例中，S4使用了多特征融合技术，将来自不同来源的多个特征进行合并，能提高深度学习模型的性能和泛化能力，以更全面、精确地还原清晰交通图像；多特征融合可将不同尺度的特征按照计算得到的权重进行加权融合，确保模型在最终的特征表示中更加全面地考虑不同尺度的信息。具体地，假设接收到的两个特征分别为A和B，则A和B的融合可表示为：
Attention Fusion(A,B)＝α·A+β·B
α,β＝Softmax(FC([A,B]))
其中，FC表示全连接层，α和β是通过Softmax函数归一化得到的注意力权重。
参考图2所示，本发明还提供了一种基于深度学习的交通图像除雾方法的智慧交通图像处理系统，包括：
图像采集模块，用于获取实时交通图像数据作为输入数据；图像采集模块可选为交通摄像头或车载摄像头等。
图像检测模块，用于判断实时交通图像数据是否有雾，输出有雾图像；
图像处理模块，包括预处理单元和深度学习模型，预处理单元对接收的有雾图像进行初步处理，再输出至深度学习模型，深度学习模型计算并输出图像多个尺度的特征；
图像复原模块，用于融合多个尺度的特征得到复原的图像，还包括后处理单元，对经过复原的图像进行后处理，进一步提升图像质量，再输出至图像输出模块；
图像输出模块，用于输出经过复原处理的图像；输出的图像可用于交通管控、自动驾驶、违章检测等。
上述模块为递进关系完成逻辑链接。
综上，本发明的一种基于深度学习的交通图像除雾方法，通过将经深度学习模型获得的特征进行融合，有效提高摄像头在雾天场景获取图像清晰度和对比度。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的交通图像除雾方法，其特征在于，包括如下步骤：
S1.获取实时交通图像数据；
S2.进行色彩度对比，计算图像的平均强度、方差和平均梯度，判断图像是否有雾，并输出有雾图像；
S3.将有雾图像输入深度学习模型，获取图像多个尺度的特征；
S4.接收多个尺度的特征并融合以恢复图像；
S5.输出恢复后的图像。
2.根据权利要求1所述的一种基于深度学习的交通图像除雾方法，其特征在于，所述S2包括：
S21.进行色彩度对比：根据RGB三原色，取出获得的图像的三个通道的一系列值做数据增强后，得到的图像与原图做比对，判断是否为雾天；
S22.计算图像的平均强度：计算图像的三个通道像素的平均灰度值；
S23.计算图像的方差：计算每个像素的灰度值减去图像平均灰度值的平方和除以总的像素个数；
S24.计算图像的平均梯度：计算图像中像素值变化的平均强度；
S25.通过色彩度对比、图像的平均强度、方差和平均梯度相结合，判断图像是否有雾，并输出有雾图像。
3.根据权利要求2所述的一种基于深度学习的交通图像除雾方法，其特征在于，所述深度学习模型包括全局-局部注意力机制及多尺度卷积神经网络；所述全局-局部注意力机制获取图像的注意力特征，再将图像与所述注意力特征输入给所述多尺度卷积神经网络。
4.根据权利要求3所述的一种基于深度学习的交通图像除雾方法，其特征在于，假设输入特征为X和Z，所述全局-局部注意力机制的注意力特征为Y，则可以表示为：
Y＝α·X(1-α)·Z
其中，X是全局信息；Z是局部信息；α是所述深度学习模型学习到的权重。
5.根据权利要求4所述的一种基于深度学习的交通图像除雾方法，其特征在于，假设输入特征为X，卷积核的尺寸分别为k1,k2,…,kn，对应的权重为W1,W2,…,Wn，所述多尺度卷积神经网络的输出特征为Y，则可以表示为：
其中,表示对输入特征图X进行尺寸为ki的卷积操作；Wi表示与尺寸为ki的卷积核相关的权重；/>表示对所有尺寸的卷积核进行求和。
6.根据权利要求5所述的一种基于深度学习的交通图像除雾方法，其特征在于，所述S4中，假设接收到的两个特征分别为A和B，则A和B的融合可表示为：
Attention Fusion(A,B)＝α·A+β·B
α,β＝Softmax(FC([A,B]))
其中，FC表示全连接层，α和β是通过Softmax函数归一化得到的注意力权重。
7.根据权利要求1-6任一所述的一种基于深度学习的交通图像除雾方法，其特征在于，所述S3还包括将有雾图像进行预处理，再将预处理后的图像输入所述深度学习模型；所述S4还包括将经过多个尺度特征融合后的图像进行后处理。
8.一种基于深度学习的交通图像除雾方法的智慧交通图像处理系统，其特征在于，包括：
图像采集模块，用于获取实时交通图像数据作为输入数据；
图像检测模块，用于判断实时交通图像数据是否有雾，输出有雾图像；
图像处理模块，包括深度学习模型，用于获取图像多个尺度的特征并输出；
图像复原模块，用于融合多个尺度的特征得到复原的图像；
图像输出模块，用于输出经过复原处理的图像；
上述模块为递进关系完成逻辑链接。
9.根据权利要求8所述的智慧交通图像处理系统，其特征在于，所述图像处理模块还包括预处理单元，用于对接收的有雾图像进行初步处理，再输出至深度学习模型。
10.根据权利要求8-9任一所述的智慧交通图像处理系统，其特征在于，所述图像复原模块还包括后处理单元，用于对经过复原的图像进行后处理，再输出至图像输出模块。
CN202410265645.1A 2024-03-08 2024-03-08 一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统 Pending CN118052739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410265645.1A CN118052739A (zh) 2024-03-08 2024-03-08 一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410265645.1A CN118052739A (zh) 2024-03-08 2024-03-08 一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统

Publications (1)

Publication Number Publication Date
CN118052739A true CN118052739A (zh) 2024-05-17

Family

ID=91048257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410265645.1A Pending CN118052739A (zh) 2024-03-08 2024-03-08 一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统

Country Status (1)

Country Link
CN (1) CN118052739A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781388A (zh) * 2021-07-20 2021-12-10 许继集团有限公司 基于图像增强的输电线路通道隐患图像识别方法及装置
WO2022227913A1 (zh) * 2021-04-25 2022-11-03 浙江师范大学 一种基于物联网感知的双特征融合的语义分割系统及方法
CN116385294A (zh) * 2023-03-31 2023-07-04 南京信息工程大学 一种基于深度学习的图像去雾网络

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022227913A1 (zh) * 2021-04-25 2022-11-03 浙江师范大学 一种基于物联网感知的双特征融合的语义分割系统及方法
CN113781388A (zh) * 2021-07-20 2021-12-10 许继集团有限公司 基于图像增强的输电线路通道隐患图像识别方法及装置
CN116385294A (zh) * 2023-03-31 2023-07-04 南京信息工程大学 一种基于深度学习的图像去雾网络

Similar Documents

Publication Publication Date Title
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN107274445B (zh) 一种图像深度估计方法和系统
CN108416292B (zh) 一种基于深度学习的无人机航拍图像道路提取方法
CN112581409B (zh) 一种基于端到端的多重信息蒸馏网络的图像去雾方法
CN112731436B (zh) 基于点云上采样的多模态数据融合可行驶区域检测方法
CN109410144B (zh) 一种基于深度学习的端到端图像去雾处理方法
CN109993804A (zh) 一种基于条件生成对抗网络的道路场景去雾方法
CN110807384A (zh) 低能见度下的小目标检测方法和系统
CN115861380B (zh) 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置
CN116311254B (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
Cheng et al. A highway traffic image enhancement algorithm based on improved GAN in complex weather conditions
CN116883868A (zh) 基于自适应图像去雾的无人机智能巡航检测方法
Chen et al. Nonuniformly dehaze network for visible remote sensing images
CN115147826A (zh) 汽车电子后视镜的图像处理系统及方法
CN114140361A (zh) 融合多级特征的生成式对抗网络图像去雾方法
CN113763261A (zh) 一种海雾气象条件下的远小目标实时检测方法
CN110738624B (zh) 一种区域自适应的图像去雾系统及方法
CN118052739A (zh) 一种基于深度学习的交通图像除雾方法和智慧交通图像处理系统
CN113920455B (zh) 一种基于深度神经网络的夜间视频着色方法
CN110956153B (zh) 一种用于无人驾驶车辆的交通信号灯检测方法及系统
US20220270351A1 (en) Image recognition evaluation program, image recognition evaluation method, evaluation apparatus, and evaluation system
CN117671472B (zh) 一种基于动态视觉传感器的水下多目标群体识别方法
Tang et al. NDPC-Net: A dehazing network in nighttime hazy traffic environments
CN114387187B (zh) 一种雨雪雾天实时可视增强嵌入式系统及可视增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination