CN115880663A - 一种低照度环境交通标志检测与识别方法 - Google Patents

一种低照度环境交通标志检测与识别方法 Download PDF

Info

Publication number
CN115880663A
CN115880663A CN202211187053.XA CN202211187053A CN115880663A CN 115880663 A CN115880663 A CN 115880663A CN 202211187053 A CN202211187053 A CN 202211187053A CN 115880663 A CN115880663 A CN 115880663A
Authority
CN
China
Prior art keywords
low
network
image
loss
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211187053.XA
Other languages
English (en)
Inventor
刘明珠
陈俊羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202211187053.XA priority Critical patent/CN115880663A/zh
Publication of CN115880663A publication Critical patent/CN115880663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

一种低照度环境交通标志检测与识别方法，属于图像识别算法领域。现有的图像增强算法大多都依赖手工精心设计约束条件和参数，应用在不同场景可能会受到模型容量的限制，并且在处理单张图像会比较耗时，无法较快地批量处理低光照图像。一种低照度环境交通标志检测与识别方法，搭建Tensorflow框架，选取Retinex‑Net的分解‑增强网络作为基本架构，将标准卷积层替换为深度可分离卷积层，设计改进的Retinex‑Net低照度图像增强算法；在Retinex‑Net中引入注意力机制及其深层连接；重构Retinex‑Net网络模型；对获得的重构的Retinex‑Net分解‑增强网络损失函数进行改进。本发明设计的改进后的Retinex‑Net明显提升了低照度图像的增强效果，有利于进一步提升弱光照环境下的交通标志的识别准确率。

Description

一种低照度环境交通标志检测与识别方法
技术领域
本发明涉及一种检测与识别方法，特别涉及一种交通标志的检测与识别方法。
背景技术
汽车数量的不断增加给城市道路的交通带来较大压力，同时也危害到生命安全。交通标志检测与识别是智能交通领域环境感知系统的一个重要分支，对于保证交通安全具有十分重要的研究意义，然而现有的智能识别交通标志系统多应用在正常光照下，由于天气原因或夜间驾驶导致的光照不足的情况对车载摄像头、传感器的干扰问题渐受关注。在夜晚情况时，拍摄到的视频或图像黑色区块较多，夜间图像是由于光线不足或光线不均匀造成的，包含的细节很少，甚至看不到任何细节。
常用的夜间图像增强方法是使图像暗区变亮，抑制图像的突出显示区域，增强图像特征的细节，最终提高图像的整体质量。低照度下的交通标志识别系统首先是获取前方道路的交通图像，其次是对图像进行预处理及增强操作，然后将增强处理后的图像进行检测，再进行识别。现有的基于Retinex理论的传统图像增强算法大多都依赖手工精心设计约束条件和参数，因此这些方法应用在不同场景时可能会受到模型容量的限制，并且在处理单张图像会比较耗时，无法较快地批量处理低光照图像。
所以，本申请结合注意力机制、深度可分离卷积、重新构建Retinex-Net低照度图像增强网络的分解-增强结构、优化损失函数、交通标志特征提取等主要流程实现低照度下的交通标志识别。经过实验可发现改进后的Retinex-Net明显提升了低照度图像的增强效果，有利于进一步提升弱光照环境下的交通标志的识别准确率。
发明内容
本发明的目的是为了解决现有的图像增强算法大多都依赖手工精心设计约束条件和参数，因此这些方法应用在不同场景时可能会受到模型容量的限制，并且在处理单张图像会比较耗时，无法较快地批量处理低光照图像的问题，而提出一种低照度环境交通标志检测与识别方法。
上述目的通过以下的技术方案实现：
一种低照度环境交通标志检测与识别方法，所述方法通过以下步骤实现：搭建Tensorflow框架，选取Retinex-Net的分解-增强网络作为基本架构，将标准卷积层替换为深度可分离卷积层以优化网络运行速度，设计改进的Retinex-Net低照度图像增强算法；
在Retinex-Net中引入注意力机制及其深层连接的步骤；
重构Retinex-Net网络模型的步骤；
对上一步获得的重构的Retinex-Net分解-增强网络损失函数进行改进的步骤。
进一步地，所述的在Retinex-Net中引入注意力机制及其深层连接的步骤具体为：
第一、设ECA-Net模型由上一层卷积层输入H×W×C的特征图，共C个通道，然后通过全局平均池化，将每个二维的特征通道用式(8)映射为实数Z，输出1×1×C的全局描述特征，映射关系如式(1)所示：
Figure RE-GDA0003991940530000021
式中，XC(i,j)表示输入特征图中的第C个二维矩阵，表明该层C个特征图的数值分布情况，Z表示得到的全局信息；然后，卷积核大小为k的一维卷积会捕捉局部的跨通道交互信息，通过Sigmoid激活函数获得归一化权重，并作用到之前的特征图中；权重计算公式如式(2)所示：
Figure RE-GDA0003991940530000022
式中，σ代表Sigmoid函数，yi代表通道，ωi为通道yi的权重，
Figure RE-GDA0003991940530000023
为yi的第k个相邻通道的集合，k同为卷积核大小，代表局部跨通道交互的覆盖率，即该通道附近有多少邻近通道参与了该通道的注意力预测，ECA模块自适应地确定k；有效通道注意力模块通过核大小为k的一维卷积实现，如式(3)所示：
ω＝σ(C1Dk(y)) (3)
其中，C1Dk表示卷积核为k的一维卷积操作，y表示通道；跨通道信息交互作用的覆盖范围(即一维卷积的内核大小k)与通道维数C成正比，在k和C之间存在映射关系
Figure RE-GDA0003991940530000024
将线性映射关系/>
Figure RE-GDA0003991940530000025
引入到非线性映射关系中，则通道维数C与卷积核大小k的非线性映射关系表达式如式(4)所示，其中η和b为表示线性映射关系的常数，取η＝2，b＝1；
Figure RE-GDA0003991940530000026
第二、引入深层连接DCA-Net在相邻的ECA注意力模块之间建立跳跃连接，使信息在各个注意力块之间交互，对所有的注意力模块进行联合训练，DCA使用一个通用注意力框架，包括：上下文提取、转换和融合；首先，ECA模块通过一个全局平均池化将输入的特征图X通过提取器g从X中提取特征G，其中X∈RH×W×C，G＝g(X,ωg),ωg是提取操作相关参数，相关参数由提取器g决定，当g是无参操作例如池化操作时，则不再需要ωg；然后，再用一维卷积核和激励函数将提取的特征块转换到一个新的非线性注意力空间T，输出新的非线性注意力空间T表示为T＝t(G,ωt)；其中t定义为特征变换操作，ωt为变换操作中使用的参数；最后，将注意力映射与原始卷积块特征进行融合，其输出为
Figure RE-GDA0003991940530000031
Figure RE-GDA0003991940530000032
表示特征融合方式；通用的注意力模块的模型表示为式(5)：
Figure RE-GDA0003991940530000033
在各个注意力块之间引入一条连接通道，将前一个注意力模块提取到的特征输出和当前注意力模块的输出融合在一起，注意力模块描述为式(6)：
Figure RE-GDA0003991940530000034
式中，f为连接函数，α和β都是可学习参数，
Figure RE-GDA0003991940530000035
为前一个注意力模块生成的注意力映射特征图；连接函数f如式(7)所示：
Figure RE-GDA0003991940530000036
第三、在原Retinex-Net分解网络中的重构损失Lrecon、反射不变率损失Lir及光照平滑损失Lis之外，还添加去噪损失Ldn进一步减小噪声，因此分解网络中的总损失约束Lde如式 (8)所示：
Lde＝Lrecon+λirLir+λisLis+λdnLdn (8)。
进一步地，所述的重构Retinex-Net网络模型的步骤具体为：
Retinex-Net的主网络包括2个相互独立训练的子网络，分别是分解网络与增强网络，
分解网络模型使用3×3的卷积层提取输入图像的特征，以线性整流函数ReLu为激活函数，在经过5个3×3带有ReLU的卷积层后，将RGB图像分解为反射图像和光照图像；将低光照图像Slow和与之匹配的正常光照图像Snormol分别输入Decom-Net模型中，并通过对二者图像共享网络参数，分解为相应的反射分量(Rlow，Rnormal)和光照分量(Ilow，Inormal)；分别在第二层和第四层卷积后添加注意力机制ECA，同时在两个注意力块之间建立深层连接注意力DCA；利用卷积层及Sigmoid函数，将学习到的图像特征映射成反射图Rlow和光照图Ilow后再输出；
其中，增强网络中采用编码器-解码器结构，输入经分解网络得到的光照分量Ilow，通过多个下采样层得到较小尺寸的特征图，使增强网络中有较大尺度角度重新分配光照强度，因而具备了调整亮度的能力，增强网络再通过上采样重新构建图像的光照强度，对局部较亮的地方分配较低亮度，对局部较暗的地方分配较高亮度；通过将上采样层的输出进行通道数级联，同时采用逐个元素加和，将跳跃连接从一个下采样层引导到其相应的镜像上采样层中，低光照分量Ilow经增强网络后生成增强的光照分量I’low；最后通过两幅图像的像素相乘，重新组合增强的光照分量I’low，与去噪后的反射分量R’low，形成增强图像S’low，作为网络输出；在上采样层和跳跃层连接之中加入注意力模块ECA，通过最邻近插值算法将这些特征图在不同的尺度上调整到最终的尺度，然后通过一个1×1的卷积层和一个3×3的卷积层来降低通道数，重建光照图像。
进一步地，所述的重构的Retinex-Net分解-增强网络损失函数进行改进的步骤具体为：
基于分解网络中的输出结果Rlow和Rnormal利用各自相应的光照图Ilow和Inormal重构图像的假设，重构损失描述见式(9)所示：
Figure RE-GDA0003991940530000041
其中，
Figure RE-GDA0003991940530000048
表示逐像素相乘操作，当i为low或j为normal时，取权重系数λij＝1，否则λij＝0.001；
反射不变率损失Lir在分解网络中约束网络学习低光照和正常光照图像的反射率；表示如式(10)所示：
Lir＝||Rlow-Rnormal||1 (10)
将原始TV函数与反射率的梯度
Figure RE-GDA0003991940530000042
进行加权，使光照图的亮度更加平滑，有利于保留图像特征，最终Lis表示见式(11)所示：
Figure RE-GDA0003991940530000043
其中，λg代表结构意识强度的平衡系数，
Figure RE-GDA0003991940530000044
放宽了反射梯度较陡处的平滑约束，即图像结构较复杂的位置和光照不连续的位置；/>
对于去噪损失Ldn选择使用MS-SSIM以及L1损失的混合损失函数对分解网络进行优化处理，其中MS-SSIM的表达式如式(12)所示，则Ldn表示见式(13)所示：
Figure RE-GDA0003991940530000045
Figure RE-GDA0003991940530000046
其中
Figure RE-GDA0003991940530000049
为中心点像素，α为系数，LL1为L1损失函数，取α为0.84，/>
Figure RE-GDA0003991940530000047
为像素点的高斯分布系数，使用近似值代替金字塔结构；
针对增强网络的损失函数，保留原Retinex-Net增强网络中的重构损失Lrecon和光照平滑损失Lis之外，引入颜色损失Lcolor，增强网络的总损失约束Len表示为式(14)所示，其中μ为颜色损失函数Lcolor的平衡系数；
Len＝Lrecon+Lis+μLcolor (14)
增强网络的重构损失Lrecon定义表示增强后的图像与其对应的正常光照图像的距离项，表示为式(15)所示：
Figure RE-GDA0003991940530000051
光照平滑损失Lis，其表达式如式(16)所示：
Figure RE-GDA0003991940530000052
颜色损失函数Lcolor使用Huber损失函数，即Lcolor＝Lh，Huber损失函数的表达式如式 (17)所示：
Figure RE-GDA0003991940530000053
其中Ir为真实值，
Figure RE-GDA0003991940530000054
为预估值，δ为超参数，当δ趋于0时，Huber损失趋向于平均绝对误差MAE；当δ趋于∞时，Huber损失趋向于均方误差MSE；根据E.L.Lehmann点估计理论，超参数δ取1.5；颜色损失函数Lcolor会在每个像素进行评估，更加准确地衡量图像颜色，学习局部出现的颜色偏差，然后将其相加以评估图像的总损失约束Len。
本发明的有益效果为：
本发明设计的改进后的Retinex-Net明显提升了低照度图像的增强效果，有利于进一步提升弱光照环境下的交通标志的识别准确率。具体地，本发明通过搭建Tensorflow框架，选取Retinex-Net的分解-增强网络作为基本架构，将标准卷积层替换为深度可分离卷积层以优化网络运行速度，设计改进的Retinex-Net低照度图像增强算法，满足检测快速性的要求；在Retinex-Net中引入注意力机制及其深层连接的步骤；优化损失函数，以提升图像增强质量，改善图像细节及边界模糊、色彩偏差等现象。高质量的增强图像有利于提升后续对弱光照环境下的交通标志的检测与识别的准确率，通过主客观评价对比分析本发明算法优于现有SRIE、NPE等其他图像增强算法的实际效果；通过重构Retinex-Net网络模型，在调整不同局部照度的同时，也保证了图像全局照度保持一致。同时采用逐个元素加和，将跳跃连接从一个下采样层引导到其相应的镜像上采样层中，从而使网络学习残差。低光照分量Ilow经增强网络后生成增强的光照分量I’low；最后通过两幅图像的像素相乘，重新组合增强的光照分量I’low，与去噪后的反射分量R’low，形成增强图像S’low，作为网络输出；在上采样层和跳跃层连接之中加入注意力模块ECA，以降低网络对图像无关特征的响应，使更多的亮度信息被输入到下一上采样层中，同时在注意力模块之间建立深层连接，加强注意力机制对图像亮度的关注，进一步提升网络对亮度特征的学习能力。最后，对获得的重构的Retinex-Net分解-增强网络损失函数进行改进。
附图说明
图1是本发明涉及的ECA-Net模块结构图；
图2是本发明涉及的深层连接注意力(DCA)网络结构图；
图3是本发明涉及的Retinex-Net网络结构图；
图4是本发明涉及的改进的分解网络模型；
图5是本发明涉及的改进的增强网络模型。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
本发明优选的实施例：
请参阅图1-图5，本发明提供一种技术方案：
一种低照度环境交通标志检测与识别方法，所述方法通过以下步骤实现：
搭建Tensorflow框架，选取Retinex-Net的分解-增强网络作为基本架构，将标准卷积层替换为深度可分离卷积层以优化网络运行速度，设计改进的Retinex-Net低照度图像增强算法，满足检测快速性的要求；
在Retinex-Net中引入注意力机制及其深层连接的步骤；优化损失函数，以提升图像增强质量，改善图像细节及边界模糊、色彩偏差等现象。高质量的增强图像有利于提升后续对弱光照环境下的交通标志的检测与识别的准确率，通过主客观评价对比分析本发明算法优于现有SRIE、NPE等其他图像增强算法的实际效果；
重构Retinex-Net网络模型的步骤；
对上一步获得的重构的Retinex-Net分解-增强网络损失函数进行改进的步骤。
所述的在Retinex-Net中引入注意力机制及其深层连接的步骤具体为：
第一、注意力机制可以解决在卷积过程中特征图的不同通道所占的重要性不同带来的损失问题，即对输入权重的重新分配。在Retinex-Net网络中引入注意力机制ECA-Net可以减少网络对图像无关特征的关注，只专注于图像的重要特征，例如图像的颜色特征、纹理特征及形状特征等，提高图像亮度和细节处理能力。
所述的注意力机制ECA-Net是一种轻量高效的通道注意力机制，避免以往注意力机制中的特征降维，使各通道间的信息能有效交互；ECA嵌入分解网络模型中后，经过不降低维度的通道级全局平均池化后，利用一维稀疏卷积操作来捕获当前通道与它的k个领域通道信息的交互，大幅度降低了参数量的同时又提升了性能，ECA模块结构如下图1所示。在分解网络中嵌入ECA模块能够自适应学习得到每个特征通道的重要程度，在去噪过程中将每个噪声点进行归一化操作赋予权重，自动去除噪声点，提高分解图像的清晰度，减少关键特征的丢失。
设ECA-Net模型由上一层卷积层输入H×W×C的特征图，共C个通道，然后通过全局平均池化，将每个二维的特征通道用式(8)映射为实数Z，输出1×1×C的全局描述特征，映射关系如式(1)所示：
Figure RE-GDA0003991940530000071
式中，XC(i,j)表示输入特征图中的第C个二维矩阵，表明该层C个特征图的数值分布情况，Z表示得到的全局信息；然后，卷积核大小为k的一维卷积会捕捉局部的跨通道交互信息，通过Sigmoid激活函数获得归一化权重，并作用到之前的特征图中；为了使模型更加轻量简洁，ECA模型简化了以往注意力机制SE模块中的密集连接方式，避免复杂的通道依赖或结合额外的空间注意力，仅考虑相邻通道内的信息交互，权重计算公式如式(2) 所示：
Figure RE-GDA0003991940530000072
式中，σ代表Sigmoid函数，yi代表通道，ωi为通道yi的权重，
Figure RE-GDA0003991940530000073
为yi的第k个相邻通道的集合，k同为卷积核大小，代表了局部跨通道交互的覆盖率，即该通道附近有多少邻近通道参与了该通道的注意力预测，同时为了避免手动调优k值大小，ECA模块自适应地确定k；有效通道注意力模块通过核大小为k的一维卷积实现，如式(3)所示：
ω＝σ(C1Dk(y)) (3)
其中，C1Dk表示卷积核为k的一维卷积操作，y表示通道；跨通道信息交互作用的覆盖范围(即一维卷积的内核大小k)与通道维数C成正比，在k和C之间存在映射关系
Figure RE-GDA0003991940530000074
由于线性映射关系对于某些相关特征具有局限性，所以映射关系/>
Figure RE-GDA0003991940530000075
采用非线性映射。考虑到通道维数通常是2的指数倍，因此将线性映射关系/>
Figure RE-GDA0003991940530000076
引入到非线性映射关系中，则通道维数C与卷积核大小k的非线性映射关系表达式如式(4)所示，其中η和b为表示线性映射关系的常数，取η＝2，b＝1；
Figure RE-GDA0003991940530000077
第二、尽管注意力机制在很多图像处理的任务中都能发挥出不错的效果，但是它每次只局限于当前的特征，没有充分利用到注意力机制。引入深层连接DCA-Net在相邻的ECA 注意力模块之间建立跳跃连接，使信息在各个注意力块之间交互，对所有的注意力模块进行联合训练，提升注意力机制对图像重要特征的学习能力，进一步加强Retinex-Net对反射图像的特征提取能力和对光照图像和颜色的恢复能力。DCA模块即插即用，不限于特定的注意力模块和网络框架，在不改变Retinex-Net模型内部结构的情况下提升注意力性能。DCA的网络结构图如图2所示。
DCA使用一个通用注意力框架，包括：上下文提取(Extraction)、转换(Transform)和融合(Fusion)；首先，ECA模块通过一个全局平均池化将输入的特征图X通过提取器g从X中提取特征G，其中X∈RH×W×C，G＝g(X,ωg),ωg是提取操作相关参数，相关参数由提取器g决定，当g是无参操作例如池化操作时，则不再需要ωg；然后，再用一维卷积核和激励函数将提取的特征块转换到一个新的非线性注意力空间T，输出新的非线性注意力空间T表示为 T＝t(G,ωt)；其中t定义为特征变换操作，ωt为变换操作中使用的参数；最后，将注意力映射与原始卷积块特征进行融合，其输出为
Figure RE-GDA0003991940530000081
Figure RE-GDA0003991940530000082
表示特征融合方式，当被设计为按比例缩放时融合函数执行元素乘法，否则为元素加法；通用的注意力模块的模型表示为式(5)：
Figure RE-GDA0003991940530000083
DCA模块会在各个注意力块之间引入一条连接通道，将前一个注意力模块提取到的特征输出和当前注意力模块的输出融合在一起，这种连接设计既保证了当前注意力模块能学习提取的特征，又能学习之前的注意力信息，由此产生的注意力模块描述为式(6)：
Figure RE-GDA0003991940530000084
式中，f为连接函数，α和β都是可学习参数，
Figure RE-GDA0003991940530000085
为前一个注意力模块生成的注意力映射特征图；由于网络性能的提高更多地来自注意块之间的连接，而不是连接函数的具体形式，对连接模式并不敏感，因此注意力块之间的连接模式默认使用直接连接，则连接函数f如式 (7)所示：
Figure RE-GDA0003991940530000086
第三、在原Retinex-Net分解网络中的重构损失Lrecon、反射不变率损失Lir及光照平滑损失Lis之外，还添加去噪损失Ldn进一步减小噪声，因此分解网络中的总损失约束Lde如式 (8)所示：
Lde＝Lrecon+λirLir+λisLis+λdnLdn (8)。
所述的重构Retinex-Net网络模型的步骤具体为：
Retinex-Net的主网络包括2个相互独立训练的子网络，分别是分解网络(Decom-Net) 与增强网络(Enhance-Net)，其网络结构图如图3所示。
分解网络模型使用3×3的卷积层提取输入图像的特征，以线性整流函数ReLu为激活函数，在经过5个3×3带有ReLU的卷积层后，将RGB图像分解为反射图像和光照图像；将低光照图像Slow和与之匹配的正常光照图像Snormol分别输入Decom-Net模型中，并通过对二者图像共享网络参数，分解为相应的反射分量(Rlow，Rnormal)和光照分量(Ilow，Inormal)；改进的分解网络模型如图4所示，分别在第二层和第四层卷积后添加注意力机制ECA，同时在两个注意力块之间建立深层连接注意力DCA；利用卷积层及Sigmoid函数，将学习到的图像特征映射成反射图Rlow和光照图Ilow后再输出；
其中，增强网络中采用编码器-解码器结构，输入经分解网络得到的光照分量Ilow，通过多个下采样层得到较小尺寸的特征图，使增强网络中有较大尺度角度重新分配光照强度，因而具备了调整亮度的能力，增强网络再通过上采样重新构建图像的光照强度，对局部较亮的地方分配较低亮度，对局部较暗的地方分配较高亮度；另外，通过将上采样层的输出进行通道数级联，在调整不同局部照度的同时，也保证了图像全局照度保持一致。同时采用逐个元素加和，将跳跃连接从一个下采样层引导到其相应的镜像上采样层中，从而使网络学习残差。低光照分量Ilow经增强网络后生成增强的光照分量I’low；最后通过两幅图像的像素相乘，重新组合增强的光照分量I’low，与去噪后的反射分量R’low，形成增强图像S’low，作为网络输出；改进的增强网络模型如图5所示，在上采样层和跳跃层连接之中加入注意力模块ECA，以降低网络对图像无关特征的响应，使更多的亮度信息被输入到下一上采样层中，同时在注意力模块之间建立深层连接，加强注意力机制对图像亮度的关注，进一步提升网络对亮度特征的学习能力。通过最邻近插值算法将这些特征图在不同的尺度上调整到最终的尺度，然后通过一个1×1的卷积层和一个3×3的卷积层来降低通道数，重建光照图像。
所述的重构的Retinex-Net分解-增强网络损失函数进行改进的步骤具体为：
基于分解网络中的输出结果Rlow和Rnormal利用各自相应的光照图Ilow和Inormal重构图像的假设，重构损失描述见式(9)所示：
Figure RE-GDA0003991940530000091
其中，
Figure RE-GDA0003991940530000092
表示逐像素相乘操作，当i为low或j为normal时，取权重系数λij＝1，否则λij＝0.001；
为了使分解网络更好地学习成对的低照度图像和正常光照图像的特征，从而使用较大的权重系数；
反射不变率损失Lir在分解网络中约束网络学习低光照和正常光照图像的反射率；根据 Retinex理论的色感一致性，物体反映出的色彩不受光照强弱影响，具有一致性，表示如式 (10)所示：
Lir＝||Rlow-Rnormal||1 (10)
效果好的光照图应该在细节上保持光滑，同时保留整体结构边界。光照平滑损失Lis避免直接使用全变分(Total variation，TV)作为损失函数会出现图像细节和边界梯度都均匀减小从而导致光照模糊且有黑边在反射图上的问题。将原始TV函数与反射率的梯度
Figure RE-GDA0003991940530000101
进行加权，使光照图的亮度更加平滑，有利于保留图像特征，最终Lis表示见式(11)所示：
Figure RE-GDA0003991940530000102
其中，λg代表结构意识强度的平衡系数，
Figure RE-GDA0003991940530000103
放宽了反射梯度较陡处的平滑约束，即图像结构较复杂的位置和光照不连续的位置；
当结构相似SSIM作为损失函数时，虽然能较好地约束网络学习图像的结构特征，但是对图像平滑区域的敏感度较低，且需要在特定的配置下才能表现良好。多尺度结构相似 MS-SSIM虽然对不同分辨率的图像都能较好地保持高频信息，但容易改变亮度且产生颜色偏差，而L1损失函数能较好地保持亮度和颜色。因此对于去噪损失Ldn选择使用MS-SSIM以及L1损失的混合损失函数对分解网络进行优化处理，其中MS-SSIM的表达式如式(12) 所示，则Ldn表示见式(13)所示：
Figure RE-GDA0003991940530000104
Figure RE-GDA0003991940530000105
其中
Figure RE-GDA0003991940530000106
为中心点像素，α为系数，LL1为L1损失函数，取α为0.84，/>
Figure RE-GDA0003991940530000107
为像素点的高斯分布系数，使用近似值代替金字塔结构可降低计算成本；
去噪损失Ldn分别为L1、SSIM、MS-SSIM和MS-SSIM混合L1时的去噪评价结果如表 1所示，其中混合损失记为Mix。
表1不同去噪损失下的结果
Figure RE-GDA0003991940530000108
Figure RE-GDA0003991940530000111
针对增强网络的损失函数，本发明保留原Retinex-Net增强网络中的重构损失Lrecon和光照平滑损失Lis之外，引入颜色损失Lcolor以增强颜色的饱和度，改善色彩偏差问题，因此增强网络的总损失约束Len表示为式(14)所示，其中μ为颜色损失函数Lcolor的平衡系数；
Lell＝Lrecon+Lis+μLcolor (14)
增强网络的重构损失Lrecon定义表示增强后的图像与其对应的正常光照图像的距离项，表示为式(15)所示：
Figure RE-GDA0003991940530000112
光照平滑损失Lis与分解网络中的光照平滑损失类似，唯一不同的地方在于增强网络中 I’low以Rlow的梯度作为权重系数，其表达式如式(16)所示：
Figure RE-GDA0003991940530000113
颜色损失函数Lcolor使用Huber损失函数，即Lcolor＝Lh，目的是增强颜色的饱和度。Huber 损失是一个鲁棒估计器，并已被证明可以避免着色的平均问题，因此它对于增强网络中增加图像的颜色饱和度是有用的。Huber损失函数的表达式如式(17)所示：
Figure RE-GDA0003991940530000114
其中Ir为真实值，
Figure RE-GDA0003991940530000115
为预估值，δ为超参数，当δ趋于0时，Huber损失趋向于平均绝对误差MAE；当δ趋于∞时，Huber损失趋向于均方误差MSE；根据E.L.Lehmann点估计理论，超参数δ取1.5；颜色损失函数Lcolor会在每个像素进行评估，更加准确地衡量图像颜色，学习局部出现的颜色偏差，然后将其相加以评估图像的总损失约束Len。
本发明的实施例公布的是较佳的实施例，但并不局限于此，本领域的普通技术人员，极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。

Claims (4)

1.一种低照度环境交通标志检测与识别方法，其特征在于：所述方法通过以下步骤实现：搭建Tensorflow框架，选取Retinex-Net的分解-增强网络作为基本架构，将标准卷积层替换为深度可分离卷积层，设计改进的Retinex-Net低照度图像增强算法；
在Retinex-Net中引入注意力机制及其深层连接的步骤；
重构Retinex-Net网络模型的步骤；
对上一步获得的重构的Retinex-Net分解-增强网络损失函数进行改进的步骤。
2.根据权利要求1所述的一种低照度环境交通标志检测与识别方法，其特征在于：所述的在Retinex-Net中引入注意力机制及其深层连接的步骤具体为：
第一、设ECA-Net模型由上一层卷积层输入H×W×C的特征图，共C个通道，然后通过全局平均池化，将每个二维的特征通道用式(8)映射为实数Z，输出1×1×C的全局描述特征，映射关系如式(1)所示：
Figure RE-FDA0003991940520000011
式中，XC(i,j)表示输入特征图中的第C个二维矩阵，表明该层C个特征图的数值分布情况，Z表示得到的全局信息；然后，卷积核大小为k的一维卷积会捕捉局部的跨通道交互信息，通过Sigmoid激活函数获得归一化权重，并作用到之前的特征图中；权重计算公式如式(2)所示：
Figure RE-FDA0003991940520000012
式中，σ代表Sigmoid函数，yi代表通道，ωi为通道yi的权重，
Figure RE-FDA0003991940520000013
为yi的第k个相邻通道的集合，k同为卷积核大小，代表局部跨通道交互的覆盖率，即该通道附近有多少邻近通道参与了该通道的注意力预测，ECA模块自适应地确定k；有效通道注意力模块通过核大小为k的一维卷积实现，如式(3)所示：
ω＝σ(C1Dk(y)) (3)
其中，C1Dk表示卷积核为k的一维卷积操作，y表示通道；跨通道信息交互作用的覆盖范围(即一维卷积的内核大小k)与通道维数C成正比，在k和C之间存在映射关系
Figure RE-FDA0003991940520000014
将线性映射关系/>
Figure RE-FDA0003991940520000015
引入到非线性映射关系中，则通道维数C与卷积核大小k的非线性映射关系表达式如式(4)所示，其中η和b为表示线性映射关系的常数，取η＝2，b＝1；
Figure RE-FDA0003991940520000016
第二、引入深层连接DCA-Net在相邻的ECA注意力模块之间建立跳跃连接，使信息在各个注意力块之间交互，对所有的注意力模块进行联合训练，DCA使用一个通用注意力框架，包括：上下文提取、转换和融合；首先，ECA模块通过一个全局平均池化将输入的特征图X通过提取器g从X中提取特征G，其中X∈RH×W×C，G＝g(X,ωg),ωg是提取操作相关参数，相关参数由提取器g决定，当g是无参操作例如池化操作时，则不再需要ωg；然后，再用一维卷积核和激励函数将提取的特征块转换到一个新的非线性注意力空间T，输出新的非线性注意力空间T表示为T＝t(G,ωt)；其中t定义为特征变换操作，ωt为变换操作中使用的参数；最后，将注意力映射与原始卷积块特征进行融合，其输出为
Figure RE-FDA0003991940520000021
Figure RE-FDA0003991940520000022
表示特征融合方式；通用的注意力模块的模型表示为式(5)：
Figure RE-FDA0003991940520000023
在各个注意力块之间引入一条连接通道，将前一个注意力模块提取到的特征输出和当前注意力模块的输出融合在一起，注意力模块描述为式(6)：
Figure RE-FDA0003991940520000024
式中，f为连接函数，α和β都是可学习参数，
Figure RE-FDA0003991940520000025
为前一个注意力模块生成的注意力映射特征图；连接函数f如式(7)所示：
Figure RE-FDA0003991940520000026
第三、在原Retinex-Net分解网络中的重构损失Lrecon、反射不变率损失Lir及光照平滑损失Lis之外，还添加去噪损失Ldn进一步减小噪声，因此分解网络中的总损失约束Lde如式(8)所示：
Lde＝Lrecon+λirLir+λisLis+λdnLdn (8)。
3.根据权利要求2所述的一种低照度环境交通标志检测与识别方法，其特征在于：所述的重构Retinex-Net网络模型的步骤具体为：
Retinex-Net的主网络包括2个相互独立训练的子网络，分别是分解网络与增强网络，分解网络模型使用3×3的卷积层提取输入图像的特征，以线性整流函数ReLu为激活函数，在经过5个3×3带有ReLU的卷积层后，将RGB图像分解为反射图像和光照图像；将低光照图像Slow和与之匹配的正常光照图像Snormol分别输入Decom-Net模型中，并通过对二者图像共享网络参数，分解为相应的反射分量(Rlow，Rnormal)和光照分量(Ilow，Inormal)；分别在第二层和第四层卷积后添加注意力机制ECA，同时在两个注意力块之间建立深层连接注意力DCA；利用卷积层及Sigmoid函数，将学习到的图像特征映射成反射图Rlow和光照图Ilow后再输出；
其中，增强网络中采用编码器-解码器结构，输入经分解网络得到的光照分量Ilow，通过多个下采样层得到较小尺寸的特征图，使增强网络中有较大尺度角度重新分配光照强度，因而具备了调整亮度的能力，增强网络再通过上采样重新构建图像的光照强度，对局部较亮的地方分配较低亮度，对局部较暗的地方分配较高亮度；通过将上采样层的输出进行通道数级联，同时采用逐个元素加和，将跳跃连接从一个下采样层引导到其相应的镜像上采样层中，低光照分量Ilow经增强网络后生成增强的光照分量I’low；最后通过两幅图像的像素相乘，重新组合增强的光照分量I’low，与去噪后的反射分量R’low，形成增强图像S’low，作为网络输出；在上采样层和跳跃层连接之中加入注意力模块ECA，通过最邻近插值算法将这些特征图在不同的尺度上调整到最终的尺度，然后通过一个1×1的卷积层和一个3×3的卷积层来降低通道数，重建光照图像。
4.根据权利要求3所述的一种低照度环境交通标志检测与识别方法，其特征在于：所述的重构的Retinex-Net分解-增强网络损失函数进行改进的步骤具体为：
基于分解网络中的输出结果Rlow和Rnormal利用各自相应的光照图Ilow和Inormal重构图像的假设，重构损失描述见式(9)所示：
Figure RE-FDA0003991940520000031
其中，
Figure RE-FDA0003991940520000032
表示逐像素相乘操作，当i为low或j为normal时，取权重系数λij＝1，否则λij＝0.001；反射不变率损失Lir在分解网络中约束网络学习低光照和正常光照图像的反射率；表示如式(10)所示：
Lir＝||Rlow-Rnormal||1 (10)
将原始TV函数与反射率的梯度
Figure RE-FDA0003991940520000033
进行加权，使光照图的亮度更加平滑，有利于保留图像特征，最终Lis表示见式(11)所示：
Figure RE-FDA0003991940520000034
其中，λg代表结构意识强度的平衡系数，
Figure RE-FDA0003991940520000035
放宽了反射梯度较陡处的平滑约束，即图像结构较复杂的位置和光照不连续的位置；
对于去噪损失Ldn选择使用MS-SSIM以及L1损失的混合损失函数对分解网络进行优化处理，其中MS-SSIM的表达式如式(12)所示，则Ldn表示见式(13)所示：
Figure RE-FDA0003991940520000036
Figure RE-FDA0003991940520000037
其中
Figure RE-FDA0003991940520000038
为中心点像素，α为系数，LL1为L1损失函数，取α为0.84，/>
Figure RE-FDA0003991940520000039
为像素点的高斯分布系数，使用近似值代替金字塔结构；
针对增强网络的损失函数，保留原Retinex-Net增强网络中的重构损失Lrecon和光照平滑损失Lis之外，引入颜色损失Lcolor，增强网络的总损失约束Len表示为式(14)所示，其中μ为颜色损失函数Lcolor的平衡系数；
Len＝Lrecon+Lis+μLcolor (14)
增强网络的重构损失Lrecon定义表示增强后的图像与其对应的正常光照图像的距离项，表示为式(15)所示：
Figure RE-FDA0003991940520000041
光照平滑损失Lis，其表达式如式(16)所示：
Figure RE-FDA0003991940520000042
颜色损失函数Lcolor使用Huber损失函数，即Lcolor＝Lh，Huber损失函数的表达式如式(17)所示：
Figure RE-FDA0003991940520000043
其中Ir为真实值，
Figure RE-FDA0003991940520000044
为预估值，δ为超参数，当δ趋于0时，Huber损失趋向于平均绝对误差MAE；当δ趋于∞时，Huber损失趋向于均方误差MSE；根据E.L.Lehmann点估计理论，超参数δ取1.5；颜色损失函数Lcolor会在每个像素进行评估，更加准确地衡量图像颜色，学习局部出现的颜色偏差，然后将其相加以评估图像的总损失约束Len。/>
CN202211187053.XA 2022-09-28 2022-09-28 一种低照度环境交通标志检测与识别方法 Pending CN115880663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211187053.XA CN115880663A (zh) 2022-09-28 2022-09-28 一种低照度环境交通标志检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211187053.XA CN115880663A (zh) 2022-09-28 2022-09-28 一种低照度环境交通标志检测与识别方法

Publications (1)

Publication Number Publication Date
CN115880663A true CN115880663A (zh) 2023-03-31

Family

ID=85770105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211187053.XA Pending CN115880663A (zh) 2022-09-28 2022-09-28 一种低照度环境交通标志检测与识别方法

Country Status (1)

Country Link
CN (1) CN115880663A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229194A (zh) * 2023-05-09 2023-06-06 江西云眼视界科技股份有限公司 一种显著性目标检测方法、系统、计算机及可读存储介质
CN116310276A (zh) * 2023-05-24 2023-06-23 泉州装备制造研究所 目标检测方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229194A (zh) * 2023-05-09 2023-06-06 江西云眼视界科技股份有限公司 一种显著性目标检测方法、系统、计算机及可读存储介质
CN116310276A (zh) * 2023-05-24 2023-06-23 泉州装备制造研究所 目标检测方法、装置、电子设备及存储介质
CN116310276B (zh) * 2023-05-24 2023-08-08 泉州装备制造研究所 目标检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN111402146B (zh) 图像处理方法以及图像处理装置
CN115880663A (zh) 一种低照度环境交通标志检测与识别方法
Li et al. A multi-scale fusion scheme based on haze-relevant features for single image dehazing
CN113284054A (zh) 图像增强方法以及图像增强装置
CN111145290B (zh) 一种图像彩色化方法、系统和计算机可读存储介质
CN113870263B (zh) 一种路面缺陷损伤实时监测方法及系统
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN111489321A (zh) 基于派生图和Retinex的深度网络图像增强方法和系统
CN113420794A (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
Shi et al. A joint deep neural networks-based method for single nighttime rainy image enhancement
CN116543227A (zh) 基于图卷积网络的遥感图像场景分类方法
CN114708173A (zh) 图像融合方法、计算机程序产品、存储介质及电子设备
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Liu et al. WSDS-GAN: A weak-strong dual supervised learning method for underwater image enhancement
Zhang et al. Deep joint neural model for single image haze removal and color correction
Song et al. Dual-model: Revised imaging network and visual perception correction for underwater image enhancement
Liu Two decades of colorization and decolorization for images and videos
CN110415816B (zh) 一种基于迁移学习的皮肤病临床图像多分类方法
US11997246B2 (en) Trained artificial intelligence model for raw to RGB image transformation
CN114926359B (zh) 联合双颜色空间恢复和多级解码结构的水下图像增强方法
CN116486431A (zh) 基于目标感知融合策略的rgb-t多光谱行人检测方法
Liu et al. Learning multiscale pipeline gated fusion for underwater image enhancement
Kumar et al. Enhanced machine perception by a scalable fusion of RGB–NIR image pairs in diverse exposure environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination