CN117237859B - 基于低光照增强的夜间高速公路雾天能见度检测方法 - Google Patents
基于低光照增强的夜间高速公路雾天能见度检测方法 Download PDFInfo
- Publication number
- CN117237859B CN117237859B CN202311509301.2A CN202311509301A CN117237859B CN 117237859 B CN117237859 B CN 117237859B CN 202311509301 A CN202311509301 A CN 202311509301A CN 117237859 B CN117237859 B CN 117237859B
- Authority
- CN
- China
- Prior art keywords
- night
- network
- image
- visibility
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000005286 illumination Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 description 10
- 238000002679 ablation Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于低光照增强的夜间高速公路雾天能见度检测方法,包括:实时获取高速公路上的摄像头拍摄的夜间高速公路雾天情况的图像数据;输入至低光图像增强的能见度检测网络模型,该模型包括增强网络模块、亮通道先验计算模块、融合分类网络,分别获得夜间图像的深度视觉特征、亮度特征,并通过融合分类网络进行能见度预测,输出能见度等级分类;设计低光图像增强的网络模型的损失函数并进行训练;训练好的低光图像增强的网络模型实现对夜间图像进行低光照增强,并通过Transformer实现特征的融合分类,能够有效提升夜间高速公路雾天能见度检测的准确率。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及基于低光照增强的夜间高速公路雾天能见度检测方法。
背景技术
雾天能见度检测对于交通预警、安全行车具有重要意义,本发明主要关注高速公路路段中夜间能见度检测。目前,对雾天图像可见度检测问题的关注较少,尤其针对夜间情况,夜间是团雾的高发时间,但夜间监控图像的成像质量差,照度低,如果从低照度图像预测能见度是一个富有挑战性的问题。但当下解决这一问题的方法很少,大致可以分为两类:基于物理模型的方法和基于深度学习的方法。基于物理模型的方法主要是基于Koschmieder定律和大气散射模型来设计预测规则。基于深度学习的方法主要是利用深度网络直接学习雾图像到雾密度的映射。虽然深度网络具有很好的学习能力,但它们的预测主要依赖该黑盒模式下所学习的视觉特征,然而由于不同监控设备的不同成像时段以及光照条件影响等因素影响导致视觉特征具有广泛的差异性,仅仅依赖视觉特征往往并不能形成好的预测结果,因此,目前的夜间雾天能见度检测的准确率较低。
发明内容
本发明目的:在于提供基于低光照增强的夜间高速公路雾天能见度检测方法,以提高夜间高速公路雾天能见度检测的准确率。
为实现以上功能,本发明设计基于低光照增强的夜间高速公路雾天能见度检测方法,执行如下步骤S1-步骤S5,完成夜间高速公路雾天能见度的等级检测:
步骤S1:实时采集摄像头拍摄的高速公路雾天情况的夜间图像,以所采集的夜间图像构建训练集、测试集;
步骤S2:构建基于低光图像增强的网络模型,包括增强网络模块、亮通道先验计算模块、融合分类网络;将步骤S1所采集的夜间图像分别输入增强网络模块、亮通道先验计算模块,其中增强网络模块基于Unet网络和全局判别器,并经过卷积神经网络,将输入的夜间图像进行低光照增强,获得深度视觉特征X1;亮通道先验计算模块根据输入的夜间图像中各像素的亮度,获得亮度特征X2;将深度视觉特征X1、亮度特征X2输入融合分类网络进行拼接,并进行能见度预测,输出能见度等级分类;
步骤S3:设计损失函数,以优化基于低光图像增强的网络模型,预设网络模型的训练超参数;
步骤S4:将训练集输入基于低光图像增强的网络模型中,根据损失函数,采用Adam优化器对网络模型中需要优化的参数进行迭代优化与更新,直至网络模型收敛,训练完毕;
步骤S5:针对训练好的基于低光图像增强的网络模型,采用测试集进行测试,直至在测试集上达到精度要求,应用基于低光图像增强的网络模型,完成夜间高速公路雾天能见度的等级检测。
作为本发明的一种优选技术方案:步骤S1中,首先获取不同时段、不同地区的高速公路雾天夜间图像,根据能见度距离将各夜间图像分为4个能见度等级,并将每个能见度等级中的夜间图像按照预设比例划分出训练集和测试集。
作为本发明的一种优选技术方案:步骤S2中所构建的基于低光图像增强的网络模型如下式:
S1=Nf(Nz(X)),S2=Nl(X)
Y=Nt(Contact(S1,S2))
其中,X为输入的夜间图像,Nz()为增强网络模块,Nf()为卷积神经网络,Nl()为亮通道先验计算模块,Nt()为融合分类网络,S1表示深度视觉特征X1,S2表示亮度特征X2,Contact表示拼接操作,Y为输出的能见度等级分类。
作为本发明的一种优选技术方案:步骤S2的具体步骤如下:
步骤S2.1:增强网络模块包括Unet网络和全局判别器,将夜间图像输入Unet网络,在Unet网络中将RGB图像形式的夜间图像的光照通道标准化为[0,1],作为自正则注意图,并调整自正则注意图大小适应每个尺度的特征图,其中特征图指Unet网络中的中间层输出,包含了夜间图像在不同尺度下的特征表示;最后将其与对应的特征图以及Unet网络最终输出的低光照增强的夜间图像相乘,从而获得增强后的夜间图像;
步骤S2.2:将增强后的夜间图像通过卷积神经网络,卷积神经网络中使用9个卷积层,最终得到深度视觉特征X1;
步骤S2.3:将夜间图像输入亮通道先验计算模块,针对夜间图像采用滑动窗口,计算夜间图像中局部区域中各像素的最大亮度,最终获得亮度特征X2,亮通道先验计算模块的计算公式如下:
其中,Ibright(x)表示像素x的亮通道值,Ω(x)是以像素x为中心的邻域,y表示领域Ω(x)中的像素,c表示RGB彩色图像中的通道,r、g、b表示红、绿、蓝三个通道的索引,Ic(x)是原图像的RGB彩色图像;
步骤S2.4:将深度视觉特征X1、亮度特征X2输入融合分类网络进行拼接,获得融合特征,将融合特征分为不同的空间块,输入至Transformer网络进行能见度预测,输出能见度等级分类。
作为本发明的一种优选技术方案:步骤S2.4的具体方法如下:
采用如下公式将将融合特征所分的各空间块展开为一维向量:
其中,s0为嵌入向量序列,xclass为可学习的类别向量,是将融合特征分为不同的空间块后,每个空间块展开得到的一维向量,上角标l∈{1,2,…,N},N为空间块总数量,E是实现线性映射的矩阵,Epos是位置编码,M表示每个空间块的高度和宽度,C表示每个空间块中的通道数,d表示线性映射矩阵的输出维度;
经过通过L层的Transformer网络编码之后,获得类别向量将类别向量/>经过归一化后输入由多头自注意力MSA和多层感知机MLP构成的分类头中,最终得到能见度等级分类,其中多头自注意力MSA表示为下式:
MSA(s)=[SelfAttention1(s);…;SelfAttentionk(s)]EMSA
其中,Q、K、V为通过线性映射矩阵投影得到的三个向量,dh表示自注意力头的维度,s表示输入的特征,EMSA表示映射矩阵,k为自注意力头的个数;
预测得到夜间图像的类别特征如下式:
s1′=MSA(LayerNorm(s1))+s
s2=MLP(LayerNorm(s1′))+s1′
其中,s1表示经过多头自注意力层处理后得到的特征向量,s1′表示添加残差连接后得到的特征向量,s2表示通过多层感知机层处理后得到的特征向量,LayerNorm表示层归一化;
输出的能见度等级分类如下式:
Y=LayerNorm(s2)
式中,Y为输出的能见度等级分类。
作为本发明的一种优选技术方案:步骤S3中所设计的损失函数包括判别器损失L1(θ)、自特征保留损失L2(θ)和分类损失函数L3(θ),总的损失函数为L(θ)=L1(θ)+L2(θ)+L3(θ),θ为需要优化的参数,网络模型的训练超参数包括模型学习率α、迭代次数epoch、训练批次大小S、网络模型的深度与层数。
作为本发明的一种优选技术方案:步骤S4包括:对网络模型的训练超参数进行初始化、通过反向传播更新需要优化的参数、重复迭代训练直到网络模型收敛,训练完毕。
有益效果:相对于现有技术,本发明的优点包括:
本发明设计了基于低光照增强的夜间高速公路雾天能见度检测方法,将增强网络与Transformer融合分类网络进行结合进而提高夜间条件下雾天图像的能见度预测水平。在增强网络将输入的夜间图像进行低光照增强并对生成的图像采用判别器损失与自特征保留损失进行网络参数学习;然后将增强后的图像通过卷积神经网络提取特征并与亮通道先验计算得到的亮度特征进行拼接,最终输入Transformer融合分类网络进行能见度等级分类。分类准确度高,检测过程快速,可实现较好的夜间雾天能见度等级检测。
附图说明
图1是根据本发明实施例提供的基于低光照增强的夜间高速公路雾天能见度检测方法的流程图;
图2是根据本发明实施例提供的低光照图像增强网络模型的结构示意图;
图3是根据本发明实施例提供的增强网络模块中Unet网络的结构示意图;
图4是根据本发明实施例提供的夜间高速公路雾天情况监控图像集上的可视化预测结果实例示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
参照图1,本发明实施例提供的基于低光照增强的夜间高速公路雾天能见度检测方法,执行如下步骤S1-步骤S5,完成夜间高速公路雾天能见度的等级检测:
步骤S1:实时采集摄像头拍摄的高速公路雾天情况的夜间图像,以所采集的夜间图像构建训练集、测试集;
首先获取不同时段、不同地区的高速公路雾天夜间图像,根据能见度距离将各夜间图像分为4个能见度等级,并将每个能见度等级中的夜间图像按照预设比例划分出训练集和测试集。
4个能见度等级分别是:0-50m,50m-100m,100m-200m,200m-500m,相应的能见度等级为0,1,2,3;预设比例可根据实际情况进行设定,如将每个能见度等级的图像数据按照0.8:0.2的比例划分训练集和测试集,也可以是将每个能见度等级的图像数据按照0.7:0.3的比例划分训练集和测试集等。以按照0.8:0.2的比例划分训练集和测试集为例进行训练集和测试集划分,划分出的每个能见度等级的训练集组成最终用于网络模型训练的训练集,划分出的每个能见度等级的测试集组成用于网络模型测试的测试集。
步骤S2:构建基于低光图像增强的网络模型,包括增强网络模块、亮通道先验计算模块、融合分类网络;将步骤S1所采集的夜间图像分别输入增强网络模块、亮通道先验计算模块,其中增强网络模块基于Unet网络和全局判别器,并经过卷积神经网络,将输入的夜间图像进行低光照增强,获得深度视觉特征X1;亮通道先验计算模块根据输入的夜间图像中各像素的亮度,获得亮度特征X2;将深度视觉特征X1、亮度特征X2输入融合分类网络进行拼接,并进行能见度预测,输出能见度等级分类;其中融合分类网络基于Transformer网络,利用Transformer网络的全局建模能力优势,判别雾的空间分布关系进而预测能见度等级;
参照图2,增强网络模块包括Unet网络和全局判别器,将夜间图像输入Unet网络进行低光图像增强,获得合成高质量增强图像;全局判别器用来指导Unet网络生成更加真实的伪图像。
参照图3,Unet网络包括编码、解码过程,网络输入为原图像与自正则注意图的concat连接,编码器包括5个卷积层与4个池化层,解码过程包括5个反卷积层与对应尺度的自正则注意图的融合,再经过与原图像大小相同的自正则注意图相乘后与原图像相加,得到最终的合成图像。
如图2所示,所述分类融合网络包括两部分,分别指卷积神经网络与亮通道先验计算。所述合成图像输入卷积神经网络输出雾天图像深度视觉特征,所述原图像输入亮通道先验计算,获得原图的亮通道特征。
所构建的基于低光图像增强的网络模型如下式:
S1=Nf(Nz(X)),S2=Nl(X)
Y=Nt(Contact(S1,S2))
其中,X为输入的夜间图像,Nz()为增强网络模块,Nf()为卷积神经网络,Nl()为亮通道先验计算模块,Nt()为融合分类网络,S1表示深度视觉特征X1,S2表示亮度特征X2,Contact表示拼接操作,Y为输出的能见度等级分类。
步骤S2的具体步骤如下:
步骤S2.1:首先,增强网络模块利用Unet网络对夜间图像进行低光照增强,通过从不同的深度层中提取多级特征,保持了丰富的纹理信息,并利用多尺度上下文信息合成高质量图像;在Unet网络中将RGB图像形式的夜间图像的光照通道标准化为[0,1],作为自正则注意图,并调整自正则注意图大小适应每个尺度的特征图,其中特征图指Unet网络中的中间层输出,包含了夜间图像在不同尺度下的特征表示;最后将其与对应的特征图以及Unet网络最终输出的低光照增强的夜间图像相乘,从而获得增强后的夜间图像;
步骤S2.2:将增强后的夜间图像通过卷积神经网络,卷积神经网络中使用9个卷积层,最终得到深度视觉特征X1;
步骤S2.3:将夜间图像输入亮通道先验计算模块,针对夜间图像采用滑动窗口,计算夜间图像中局部区域中各像素的最大亮度,最终获得亮度特征X2,亮通道先验计算模块的计算公式如下:
其中,Ibright(x)表示像素x的亮通道值,Ω(x)是以像素x为中心的邻域,y表示领域Ω(x)中的像素,c表示RGB彩色图像中的通道,r、g、b表示红、绿、蓝三个通道的索引,Ic(x)是原图像的RGB彩色图像;
如图2所示,分类网络部分需要拼接原图像亮通道先验进行融合分类。对所述卷积神经网络提取到的深度视觉特征X1与所述亮通道先验计算得到的亮通道特征X2进行concatenate操作后,输入到Transformer融合分类网络中,最终输出所述图像数据中的夜间高速公路对应的雾天能见度等级。
步骤S2.4:将深度视觉特征X1、亮度特征X2输入融合分类网络进行拼接,获得融合特征,将融合特征分为不同的空间块,输入至Transformer网络进行能见度预测,输出能见度等级分类。
步骤S2.4的具体方法如下:
Transformer的输入为一维的嵌入向量,因此需要将先前的融合特征分为不同的空间块中的每个空间块都展开成为一维向量,这些一维向量通过线性映射能够与可学习的类别向量一起构成s0,采用如下公式将将融合特征所分的各空间块展开为一维向量:
其中,s0为嵌入向量序列,xclass为可学习的类别向量,可以通过梯度进行更新,是将融合特征分为不同的空间块后,每个空间块展开得到的一维向量,上角标l∈{1,2,…,N},N为空间块总数量,E是实现线性映射的矩阵,Epos是位置编码,M表示每个空间块的高度和宽度,C表示每个空间块中的通道数,d表示线性映射矩阵的输出维度;
经过通过L层的Transformer网络编码之后,获得类别向量将类别向量/>经过归一化后输入由多头自注意力MSA和多层感知机MLP构成的分类头中,最终得到能见度等级分类,其中多头自注意力MSA表示为下式:
MSA(s)=[SelfAttention1(s);…;SelfAttentionk(s)]EMSA
其中,Q、K、V为通过线性映射矩阵投影得到的三个向量,dh表示自注意力头的维度,s表示输入的特征,EMSA表示映射矩阵,k为自注意力头的个数;
预测得到夜间图像的类别特征如下式:
s1′=MSA(LayerNorm(s1))+s
s2=MLP(LayerNorm(s1′))+s1′
其中,s1表示经过多头自注意力层处理后得到的特征向量,s1′表示添加残差连接后得到的特征向量,s2表示通过多层感知机层处理后得到的特征向量,LayerNorm表示层归一化;
输出的能见度等级分类如下式:
Y=LayerNorm(s2)
式中,Y为输出的能见度等级分类。
步骤S3:设计损失函数,以优化基于低光图像增强的网络模型,预设网络模型的训练超参数;
所设计的损失函数包括判别器损失L1(θ)、自特征保留损失L2(θ)和分类损失函数L3(θ),总的损失函数为L(θ)=L1(θ)+L2(θ)+L3(θ),θ为需要优化的参数,网络模型的训练超参数包括模型学习率α、迭代次数epoch、训练批次大小S、网络模型的深度与层数。
所述判别器损失为:
其中,DRa表示判别器的标准函数,C()表示判别器网络,σ表示sigmoid激活函数,表示判别器中真实数据的期望,/>表示判别器中虚假数据的期望,xr和xf分别表示真实数据与虚假数据的分布;
所述自特征保留损失为:
其中,IL表示输入的低光图像,G(IL)表示生成器的增强输出,表示在预训练的VGG-16模型中提取的特征图,i表示第i个最大池化,j表示第i个最大池化之后的第j个卷积层;Wi,j和Hi,j是提取的特征图尺寸大小,默认情况下选择i=5,j=1;
所述分类损失函数为:
其中,为第i个类别的真实值,yi为第i个类别的预测值,e为自然数,L3(θ)为分类损失函数。
步骤S4:将训练集输入基于低光图像增强的网络模型中,根据损失函数,采用Adam优化器对网络模型中需要优化的参数进行迭代优化与更新,直至网络模型收敛,训练完毕;
步骤S4包括:对基于低光图像增强的网络模型的权重参数进行初始化;随机选取所述训练集中S个图像数据{X(1),…,X(s)}送入到网络模型中,并得到相应的输出预测结果{y(1),…,y(s)};通过反向传播算法,更新基于低光图像增强的网络模型的权重参数,其中,Adam为Adam优化器,t为时间步初始化为0,θt+1为时间步为t+1的权重参数,θt为时间步为t的权重参数,α为双分支分类网络模型学习率,/>为时间步为t的权重参数的梯度;返回所述随机选取所述训练集中S个图像数据{X(1),…,X(s)}送入到网络模型中,并得到相应的输出预测结果{y(1),…,y(s)}的步骤进行循环迭代训练,直至网络模型收敛,获得初步网络模型。
其中,若达到预设迭代次数时网络模型收敛,则训练完毕,获得初步网络模型。若在达到预设迭代次数时,还未达到预设的网络模型收敛条件,也训练完毕,预设迭代次数可根据实际情况设定,如预设迭代次数为epoch=100次迭代。
步骤S5:针对训练好的基于低光图像增强的网络模型,采用测试集进行测试,直至在测试集上达到精度要求,应用基于低光图像增强的网络模型,完成夜间高速公路雾天能见度的等级检测。
以下为基于低光照增强的夜间高速公路雾天能见度检测方法的实验验证:
为了体现本发明所设计的基于低光照增强的夜间高速公路雾天能见度检测方法的有效性,进行了对比实验和消融实验。首先介绍数据集和训练细节,然后给出在数据集上不同算法的对比实验结果,并实施了一系列消融实验来评估路面区域注意力模块和行道线长度估计模块的有效性。
测试列规格是384×256,在雾天高速公路图像训练数据集上训练及测试模型,设置相关参数:α=0.0004,epoch=100,S=16,实验的评价使用定量的分析方法。
通过在测试集进行实验,得到最终的分类准确度为92.16%。
将本发明的方法与现有的多种基于深度学习的能见度检测方法进行了比较,并在夜间高速公路数据集Highway上进行了对比实验。与本发明的方法进行比较的方法包括AlexNet、VGG-16和(深度图+传输矩阵)和MSBDN。AlexNet方法仅通过AlexNet网络提取视觉特征,用于能见度水平预测。深度/> 方法选择深度图和传输矩阵的变换函数作为单位变换t(x)=x,并将这两个特征连接起来进行分类。MSBDN是一个最新且高效的除雾网络,使用其编码器从雾图像中提取特征,然后使用提取的特征对可见性级别进行分类。对比实验结果如表1所示:
表1
同样在测试集上进行消融实验以验证增强网络(Unet)和亮通道先验(Bright)的有效性。通过去除增强网络(Unet)和/或亮通道先验计算,与完整网络结构(即包含增强网络(Unet)、卷积神经网络(Deepnet)和亮通道先验(Bright))作对比,消融实验结果如表2所示:
表2
从表1可以看出,与现有的基于深度学习的能见度检测方法相比较,在真实夜间高速公路雾天场景下,我们提出的方法可以在很大程度上提高能见度检测的准确率,实现了创新性的提高。
从表2可以看出,相较于只保留下分类网络部分的卷积神经网络,加入增强网络(Unet)与亮通道先验(Bright)可以有效的提高分类准确率。
如图4所示,为本发明在夜间高速公路数据集上测试的可视化检测结果,可以看出,本发明所设计的基于低光图像增强的网络模型在各种夜间情况下不同能见度水平的图片上都能做到准确的检测。
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (5)
1.基于低光照增强的夜间高速公路雾天能见度检测方法,其特征在于,执行如下步骤S1-步骤S5,完成夜间高速公路雾天能见度的等级检测:
步骤S1:实时采集摄像头拍摄的高速公路雾天情况的夜间图像,以所采集的夜间图像构建训练集、测试集;
步骤S2:构建基于低光图像增强的能见度检测网络模型,包括增强网络模块、亮通道先验计算模块、融合分类网络;将步骤S1所采集的夜间图像分别输入增强网络模块、亮通道先验计算模块,其中增强网络模块基于Unet网络和全局判别器,并经过卷积神经网络,将输入的夜间图像进行低光照增强,获得深度视觉特征X1;亮通道先验计算模块根据输入的夜间图像中各像素的亮度,获得亮度特征X2;将深度视觉特征X1、亮度特征X2输入融合分类网络进行拼接,并进行能见度预测,输出能见度等级分类;
步骤S2中所构建的基于低光图像增强的网络模型如下式:
S1=Nf(Nz(X)),S2=Nl(X)
Y=Nt(Contact(S1,S2))
其中,X为输入的夜间图像,Nz()为增强网络模块,Nf()为卷积神经网络,Nl()为亮通道先验计算模块,Nt()为融合分类网络,S1表示深度视觉特征X1,S2表示亮度特征X2,Contact表示拼接操作,Y为输出的能见度等级分类;
步骤S2的具体步骤如下:
步骤S2.1:增强网络模块包括Unet网络和全局判别器,将夜间图像输入Unet网络进行低光图像增强,获得合成增强图像;全局判别器用来指导Unet网络生成更加真实的伪图像;在Unet网络中将RGB图像形式的夜间图像的光照通道标准化为[0,1],作为自正则注意图,并调整自正则注意图大小适应每个尺度的特征图,其中特征图指Unet网络中的中间层输出,包含了夜间图像在不同尺度下的特征表示;最后将其与对应的特征图以及Unet网络最终输出的低光照增强的夜间图像相乘,从而获得增强后的夜间图像;
步骤S2.2:将增强后的夜间图像通过卷积神经网络,卷积神经网络中使用9个卷积层,最终得到深度视觉特征X1;
步骤S2.3:将夜间图像输入亮通道先验计算模块,针对夜间图像采用滑动窗口,计算夜间图像中局部区域中各像素的最大亮度,最终获得亮度特征X2,亮通道先验计算模块的计算公式如下:
其中,Ibright(x)表示像素x的亮通道值,Ω(x)是以像素x为中心的邻域,y表示领域Ω(x)中的像素,c表示RGB彩色图像中的通道,r、g、b表示红、绿、蓝三个通道的索引,Ic(x)是原图像的RGB彩色图像;
步骤S2.4:将深度视觉特征X1、亮度特征X2输入融合分类网络进行拼接,获得融合特征,将融合特征分为不同的空间块,输入至Transformer网络进行能见度预测,输出能见度等级分类;
步骤S3:设计损失函数,以优化基于低光图像增强的网络模型,预设网络模型的训练超参数;
步骤S4:将训练集输入基于低光图像增强的网络模型中,根据损失函数,采用Adam优化器对网络模型中需要优化的参数进行迭代优化与更新,直至网络模型收敛,训练完毕;
步骤S5:针对训练好的基于低光图像增强的网络模型,采用测试集进行测试,直至在测试集上达到精度要求,应用基于低光图像增强的网络模型,完成夜间高速公路雾天能见度的等级检测。
2.根据权利要求1所述的基于低光照增强的夜间高速公路雾天能见度检测方法,其特征在于,步骤S1中,首先获取不同时段、不同地区的高速公路雾天夜间图像,根据能见度距离将各夜间图像分为4个能见度等级,并将每个能见度等级中的夜间图像按照预设比例划分出训练集和测试集。
3.根据权利要求1所述的基于低光照增强的夜间高速公路雾天能见度检测方法,其特征在于,步骤S2.4的具体方法如下:
采用如下公式将将融合特征所分的各空间块展开为一维向量:
其中,s0为嵌入向量序列,xclass为可学习的类别向量,是将融合特征分为不同的空间块后,每个空间块展开得到的一维向量,上角标l∈{1,2,…,N},N为空间块总数量,E是实现线性映射的矩阵,Epos是位置编码,M表示每个空间块的高度和宽度,C表示每个空间块中的通道数,d表示线性映射矩阵的输出维度;
经过通过L层的Transformer网络编码之后,获得类别向量将类别向量/>经过归一化后输入由多头自注意力MSA和多层感知机MLP构成的分类头中,最终得到能见度等级分类,其中多头自注意力MSA表示为下式:
MSA(s)=[SelfAttention1(s);…;SelfAttentionk(s)]EMSA
其中,Q、K、V为通过线性映射矩阵投影得到的三个向量,dh表示自注意力头的维度,s表示输入的特征,EMSA表示映射矩阵,k为自注意力头的个数;
预测得到夜间图像的类别特征如下式:
s1′=MSA(LayerNorm(s1))+s
s2=MLP(LayerNorm(s1′))+s1′
其中,s1表示经过多头自注意力层处理后得到的特征向量,s1′表示添加残差连接后得到的特征向量,s2表示通过多层感知机层处理后得到的特征向量,LayerNorm表示层归一化;
输出的能见度等级分类如下式:
Y=LayerNorm(s2)
式中,Y为输出的能见度等级分类。
4.根据权利要求1所述的基于低光照增强的夜间高速公路雾天能见度检测方法,其特征在于,步骤S3中所设计的损失函数包括判别器损失L1(θ)、自特征保留损失L2(θ)和分类损失函数L3(θ),总的损失函数为L(θ)=L1(θ)+L2(θ)+L3(θ),θ为需要优化的参数,网络模型的训练超参数包括模型学习率α、迭代次数epoch、训练批次大小S、网络模型的深度与层数。
5.根据权利要求1所述的基于低光照增强的夜间高速公路雾天能见度检测方法,其特征在于,步骤S4包括:对网络模型的训练超参数进行初始化、通过反向传播更新需要优化的参数、重复迭代训练直到网络模型收敛,训练完毕。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311509301.2A CN117237859B (zh) | 2023-11-14 | 2023-11-14 | 基于低光照增强的夜间高速公路雾天能见度检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311509301.2A CN117237859B (zh) | 2023-11-14 | 2023-11-14 | 基于低光照增强的夜间高速公路雾天能见度检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117237859A CN117237859A (zh) | 2023-12-15 |
CN117237859B true CN117237859B (zh) | 2024-02-13 |
Family
ID=89089732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311509301.2A Active CN117237859B (zh) | 2023-11-14 | 2023-11-14 | 基于低光照增强的夜间高速公路雾天能见度检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117237859B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109214470A (zh) * | 2018-10-25 | 2019-01-15 | 中国人民解放军国防科技大学 | 一种基于编码网络微调的图像能见度检测方法 |
CN112017252A (zh) * | 2019-05-31 | 2020-12-01 | 华为技术有限公司 | 一种图像处理方法和相关设备 |
CN112669242A (zh) * | 2021-03-16 | 2021-04-16 | 四川大学 | 基于改进图像增强算法与生成对抗网络的夜景复原方法 |
CN112991227A (zh) * | 2021-04-15 | 2021-06-18 | 中国人民解放军国防科技大学 | 基于U-net++网络的弱光图像增强方法和装置 |
CN113313657A (zh) * | 2021-07-29 | 2021-08-27 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和系统 |
CN114283101A (zh) * | 2021-11-26 | 2022-04-05 | 中国地质大学(武汉) | 一种多曝光图像融合的无监督学习方法、装置及电子设备 |
WO2022095253A1 (zh) * | 2020-11-04 | 2022-05-12 | 常州工学院 | 一种基于深度通道感知的去除云雾方法 |
CN114627382A (zh) * | 2022-05-11 | 2022-06-14 | 南京信息工程大学 | 联合行道线几何先验的高速公路雾天能见度检测方法 |
CN115240069A (zh) * | 2022-07-19 | 2022-10-25 | 大连理工大学 | 一种全雾天场景下的实时性障碍物检测方法 |
CN116309110A (zh) * | 2023-01-06 | 2023-06-23 | 南京莱斯电子设备有限公司 | 一种基于轻量化深度神经网络的低光照图像去雾方法 |
CN116385278A (zh) * | 2022-12-30 | 2023-07-04 | 南京航空航天大学 | 一种低光照图像视觉特征自监督表示方法和系统 |
WO2023211742A1 (en) * | 2022-04-25 | 2023-11-02 | Innopeak Technology, Inc. | Image processing method, electronic system and a non-transitory computer-readable medium |
CN117036182A (zh) * | 2023-06-14 | 2023-11-10 | 西安电子科技大学 | 一种单幅图像去雾方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2272027B1 (en) * | 2008-04-16 | 2014-03-26 | Elbit Systems Ltd. | Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions |
-
2023
- 2023-11-14 CN CN202311509301.2A patent/CN117237859B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109214470A (zh) * | 2018-10-25 | 2019-01-15 | 中国人民解放军国防科技大学 | 一种基于编码网络微调的图像能见度检测方法 |
CN112017252A (zh) * | 2019-05-31 | 2020-12-01 | 华为技术有限公司 | 一种图像处理方法和相关设备 |
WO2022095253A1 (zh) * | 2020-11-04 | 2022-05-12 | 常州工学院 | 一种基于深度通道感知的去除云雾方法 |
CN112669242A (zh) * | 2021-03-16 | 2021-04-16 | 四川大学 | 基于改进图像增强算法与生成对抗网络的夜景复原方法 |
CN112991227A (zh) * | 2021-04-15 | 2021-06-18 | 中国人民解放军国防科技大学 | 基于U-net++网络的弱光图像增强方法和装置 |
CN113313657A (zh) * | 2021-07-29 | 2021-08-27 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和系统 |
CN114283101A (zh) * | 2021-11-26 | 2022-04-05 | 中国地质大学(武汉) | 一种多曝光图像融合的无监督学习方法、装置及电子设备 |
WO2023211742A1 (en) * | 2022-04-25 | 2023-11-02 | Innopeak Technology, Inc. | Image processing method, electronic system and a non-transitory computer-readable medium |
CN114627382A (zh) * | 2022-05-11 | 2022-06-14 | 南京信息工程大学 | 联合行道线几何先验的高速公路雾天能见度检测方法 |
CN115240069A (zh) * | 2022-07-19 | 2022-10-25 | 大连理工大学 | 一种全雾天场景下的实时性障碍物检测方法 |
CN116385278A (zh) * | 2022-12-30 | 2023-07-04 | 南京航空航天大学 | 一种低光照图像视觉特征自监督表示方法和系统 |
CN116309110A (zh) * | 2023-01-06 | 2023-06-23 | 南京莱斯电子设备有限公司 | 一种基于轻量化深度神经网络的低光照图像去雾方法 |
CN117036182A (zh) * | 2023-06-14 | 2023-11-10 | 西安电子科技大学 | 一种单幅图像去雾方法及系统 |
Non-Patent Citations (4)
Title |
---|
A Transfer Learning Method for Meteorological Visibility Estimation Based on Feature Fusion Method;Jiaping Li等;《applied sciences》;第11卷(第3期);第1-21页 * |
可见光-远红外图像的多模态能见度深度学习模型;沈克成等;《计算机辅助设计与图形学学报》;第33卷(第6期);第939-946页 * |
雾天条件下图像可见度复原算法研究;张晨;《中国优秀硕士学位论文全文数据库 信息科技辑》(第1期);第I138-2024页 * |
面向路灯照明自适应调节的雾天能见度分类;文星等;《无线电通信技术》;第49卷(第2期);第325-330页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117237859A (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
CN110728192B (zh) | 一种基于新型特征金字塔深度网络的高分遥感图像分类方法 | |
CN112183788B (zh) | 一种域自适应设备运检系统和方法 | |
CN108197326B (zh) | 一种车辆检索方法及装置、电子设备、存储介质 | |
CN111368909B (zh) | 一种基于卷积神经网络深度特征的车标识别方法 | |
CN111598182A (zh) | 训练神经网络及图像识别的方法、装置、设备及介质 | |
CN111460894B (zh) | 一种基于卷积神经网络的车标智能检测方法 | |
CN110826411B (zh) | 一种基于无人机图像的车辆目标快速识别方法 | |
CN111274980A (zh) | 基于yolov3和非对称卷积的小尺寸交通标志识别方法 | |
CN113609911B (zh) | 一种基于深度学习的路面病害自动检测方法和系统 | |
CN114399533B (zh) | 一种基于多层次注意力机制的单目标追踪方法 | |
CN116704273A (zh) | 一种自适应红外可见光双模融合检测方法 | |
Wu et al. | Mapnerf: Incorporating map priors into neural radiance fields for driving view simulation | |
CN111160282B (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
CN117237859B (zh) | 基于低光照增强的夜间高速公路雾天能见度检测方法 | |
CN114627382B (zh) | 联合行道线几何先验的高速公路雾天能见度检测方法 | |
CN116311137A (zh) | 一种基于多表征集成学习的车道线检测方法 | |
CN115035193A (zh) | 一种基于双目视觉与图像分割技术的散装粮随机扦样方法 | |
CN114463614A (zh) | 使用生成式参数的层次性显著建模的显著性目标检测方法 | |
Liu et al. | Multi-focus image fusion algorithm based on unsupervised deep learning | |
CN112528988A (zh) | 一种车牌角度矫正方法 | |
Lőrincz et al. | Single view distortion correction using semantic guidance | |
CN116580369B (zh) | 一种用于自动驾驶的车道线端到端实时检测方法 | |
CN117765373B (zh) | 一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统 | |
Liu et al. | Improved multi-feature fusion approach based on end-to-end convolutional neural network for dehazing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |