CN111882002A - 一种基于msf-am的低照度目标检测方法 - Google Patents

一种基于msf-am的低照度目标检测方法 Download PDF

Info

Publication number
CN111882002A
CN111882002A CN202010782552.8A CN202010782552A CN111882002A CN 111882002 A CN111882002 A CN 111882002A CN 202010782552 A CN202010782552 A CN 202010782552A CN 111882002 A CN111882002 A CN 111882002A
Authority
CN
China
Prior art keywords
feature
convolution
illumination image
low
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010782552.8A
Other languages
English (en)
Other versions
CN111882002B (zh
Inventor
江泽涛
肖芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202010782552.8A priority Critical patent/CN111882002B/zh
Publication of CN111882002A publication Critical patent/CN111882002A/zh
Application granted granted Critical
Publication of CN111882002B publication Critical patent/CN111882002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于MSF‑AM的低照度目标检测方法，其特征在于，包括如下步骤：1）依据公开标准数据集，建立来源图像；2）增强和特征提取网络EFENet的训练；3）多尺度检测网络MSDNet的训练；4）对整个端到端的深度神经网络进行构造与训练；5）进行Fine tuning操作与低照度图像目标检测。这种方法能使在低光条件下拍摄的图像能够不受环境因素的影响提取到丰富的高级特征并能更好地检测到图像中的目标。

Description

一种基于MSF-AM的低照度目标检测方法
技术领域
本发明涉及图像增强和目标检测技术领域，具体是一种基于多尺度融合和注意力机制MSF-AM(Multi-Scale Fusion and Attention Mechanisms，简称MSF-AM)的低照度目标检测方法。
背景技术
目前目标检测方法主要针对于正常照度的环境下的目标检测，但是对于降质的低照度图像，在检测目标因为成像偏暗、模糊不清、细节丢失、干扰较多，普遍存在检测效果和检测精度不佳的情况。在低光条件下拍摄的图像能够不受环境因素的影响并能够检测到图像中的目标是深度学习、计算机视觉的研究领域的方向。
现有的目标检测方法，例如双阶段目标检测方法Faster R-CNN网络在特征提取过程中，逐步进行下采样操作，会丢失较多的低级信息，造成小物体目标检测精度较低，检测速度也较慢，并且对于低照度图像，不能对图像很好地还原，导致低照度图像目标检测效果不佳。
在数字图像处理中，图像通常被分解为一个分段平滑的低频分量和一个或多个高频分量，低频分量对应图像的基本轮廓，并且通常通过对图像应用边缘保持平滑操作算子来计算，然后将高频分量定义为原始图像和低频分量之间的差或商。采用引导滤波算法对图像进行分解，引导滤波利用邻域内的图像均值和方差自适应分配滤波权重，输出结果是引导图的局部线性转换，能够很好地做到平滑小的波动并且保留边缘，但是没有梯度反转伪影的影响。
ResNeXt网络是一个简单、高度模块化的图像分类网络体系结构，ResNeXt网络是由重复一个构建块来构建的，并以一种简单、可扩展的方式利用了分割-变换-合并策略，与Inception模块不同，ResNeXt网络所有的分支共享相同的拓扑结构，因此可以将基数作为待研究的因素分离出来，构建块可以使用分组卷积来进行实现，ResNeXt网络表明，增加基数是获得精度的一种更有效的方法，而不是使网络更深或更广。
CSPNet网络主要解决网络需要大量计算的问题，归结于优化网络中的重复梯度信息。CSPNet网络的思想主要是在减少计算量的同时实现更丰富的梯度组合，CSPNet网络将底层的特征映射分为两部分，然后通过提出的跨阶段层次结构将它们合并达到这一目的，通过对梯度流进行分割，使梯度流通过不同的网络路径进行传播，采用跨通道拼接和转换操作可以使传播的梯度信息有很大的相关差异，CSPNet网络可以大大减少计算量，提高计算速度和精度。
传统的卷积在低分辨率特征映射中只生成空间局部点的函数，从而产生高分辨率细节；注意力机制是由Treisman和Gelade提出的一种模拟人脑注意力机制的模型，它可以看成是一个组合函数，通过计算注意力的概率分布，来突出某个关键输入对输出的影响，它允许对图像生成任务进行注意力驱动的远距离依赖性建模；自注意力机制是对卷积的补充，有助于建立跨图像区域的远距离、多层次依赖关系，可以使用来自所有特征位置的提示来生成细节，其权重或注意力图的计算只需很小的计算成本；通道注意力可以有效地计算通道注意力程度，不同的通道有不同的语义特征，也即通道注意力可以强调突出的对象，同时减轻通道中冗余特征造成的不精确性。
发明内容
本发明的目的是针对现有技术的不足，而提供一种基于MSF-AM的低照度目标检测方法。这种方法能使在低光条件下拍摄的图像能够不受环境因素的影响提取到丰富的高级特征并能够更好地检测到图像中的目标。
实现本发明目的的技术方案是：
一种基于MSF-AM的低照度目标检测方法，包括如下步骤：
1)依据公开标准数据集，建立来源图像：
1-1)依据公开的标准的PASCAL VOC2007数据集合成低照度下的目标检测数据集，PASCAL VOC2007数据集共包含9963张图像，其中，训练集5011张、测试集中有4952张，对PASCAL VOC2007数据集中所有图像采用图像退化方法合成低照度图像，建立来源数据集，将原图像和合成的低照度图像一一对应作为图像对；
1-2)将PASCAL VOC2007数据集中训练集作为正常照度图像训练集，对应的合成图像作为低照度图像训练集，将PASCAL VOC2007数据集中测试集中2476张图像作为正常照度图像交叉验证集，对应的合成的低照度图像集作为低照度图像交叉验证集，这样配对的交叉验证数据集作为Fine tuning样本，PASCAL VOC2007测试集中另外2476张图像对应的合成的低照度图像测试集作为测试样本，数据集的分组情况如下表1所示：
表1用公开标准的PASCAL VOC2007数据集建立数据来源
Figure BDA0002620758420000021
2)增强和特征提取网络EFENet(Enhancement and Feature ExtractionNetwork,简称EFENet)的训练：包括：
2-1)将所有低照度图像训练集和正常照度图像训练集中的图像进行预处理，即将图像缩放到统一的宽度和高度为480；
2-2)特征提取采用网络EFENet，EFENet设有顺序连接的引导图像滤波模块、细节增强模块、亮度增强模块和特征提取模块，将正常照度图像和低照度图像送入网络EFENet进行图像增强同时特征提取，首先将正常照度图像和低照度图像经过引导滤波算法分解图像得到正常照度图像和低照度图像的高频分量和低频分量，其中引导滤波算法原理是假设引导图像I和输出图像q之间存在局部线性关系，如公式(1)所示：
Figure BDA0002620758420000031
ak，bk表示以半径为r的方形局部窗口ωk的常系数，i为ωk中的像素位置，核函数表示引导图像I和输入图像p、输出图像q之间的关系，如公式(2)所示：
Figure BDA0002620758420000032
i，j为空间像素位置，Wij为滤波器的核函数，如公式(3)所示：
Figure BDA0002620758420000033
ωk为第k个核函数窗口，|ω|为局部窗口ωk内的像素数，μk和
Figure BDA0002620758420000034
分别为引导图像I在局部窗口ωk内的均值和方差，ε为正则化参数，根据引导滤波算法的原理，令r为4、ε为0.01，将输入图像p进行分解，得到低频分量L，再将输入图像p与低频分量L做差运算，得到高频分量H，如公式(4)所示：
Figure BDA0002620758420000035
其中GIF(I,p)对输入图像p进行引导滤波操作，令I＝p；
2-3)将正常照度和低照度图像的高频分量送入细节增强模块，细节增强模块采用残差学习思想，保证输入信息可以通过所有参数层传播，有助于训练网络，残差块由六个卷积层和跳跃连接组成；
2-4)将步骤2-3)细节增强模块得到的高频分量再分别与正常照度图像和低照度图像的低频分量进行逐像素相加融合得到正常照度图像特征图和低照度图像特征图，计算正常照度图像和低照度图像的逐像素强度值均值的比值α引导亮度增强模块对低照度图像增强，如公式(5)所示：
Figure BDA0002620758420000041
n表示图像的像素点总数，p表示当前像素点，Iclear表示正常照度图像的像素强度值，Isynthetic表示低照度图像的像素强度值，所有正常照度图像的α设为1，低照度图像的α用于引导亮度增强模块对低照度图像增强，将正常照度图像和低照度图像的α扩展为单通道特征图分别与融合得到的特征图按通道进行拼接送入亮度增强模块，亮度增强模块采用U-Net跳跃结构；
2-5)将步骤2-4)亮度增强模块得到的特征图送入特征提取模块进行二次增强同时特征提取分别得到增强后的尺度大小为60*60、30*30、15*15的特征图,特征提取模块先采用跨阶段部分连接思想CSPNet和ResNeXt-50网络相结合的CSPResNeXt-50网络作为模块的一部分来进行特征提取，将得到的尺寸大小为15*15*2048的特征图送入特征提取模块的自注意力块Self Attention Block；
2-6)将低照度图像经过特征提取模块得到的尺度大小为15*15的特征图与正常照度图像经过特征提取模块得到的尺度大小为15*15的特征图进行逐像素的损失函数的计算，损失函数采用均方误差损失函数MSE来计算，具体为公式(6)所示：
Figure BDA0002620758420000042
其中N表示样本总数，W表示特征图的宽，H表示特征图的高，C表示特征图的通道数，
Figure BDA0002620758420000043
为第i个正常照度图像的特征图的像素值，
Figure BDA0002620758420000044
为第i个低照度图像的特征图的像素值；
3)进行多尺度检测网络MSDNet(Multi-Scale Detection Network,简称MSDNet)的训练，包括：
3-1)将步骤2-5)特征提取得到的尺寸大小为15*15*2048的特征图送入多尺度检测网络MSDNet中的卷积块Conv Block，卷积块Conv Block包含五个卷积层，每个卷积层后依次为批归一化处理、ReLU激活函数，再将卷积块Conv Block得到尺寸大小为15*15*1024的特征图经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，再经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为15*15*75的特征图；
3-2)将步骤3-1)经过卷积块Conv Block得到的特征图进行1*1卷积调整特征图通道数为512再采用双线性插值法上采样，得到尺寸大小为30*30*512的特征图，将30*30*512的特征图与特征提取模块中转换层3得到尺寸大小为30*30*1024的特征图进行按通道维度拼接得到大小为30*30*1536的特征图，送入通道注意力模块Channel Attention Module,经过全局平均池化和最大池化将特征图压缩成1*1*C的特征向量，其中，C为通道数，再经过共享的只有一个隐藏层的多层感知机网络,多层感知机网络缩减率为4，将输出的特征向量相加，再经过sigmoid函数，得到1*1*C的权重与送入通道注意力模块Channel AttentionModule的特征图相乘得到经过通道注意力模块处理的特征图，如下公式(7)所示：
Mc(x)＝σ(MLP(AvgPool(x))+MLP(MaxPool(x))) (7)，
将得到的特征图与步骤3-1)的处理过程一样，送入多尺度检测网络MSDNet中的卷积块Conv Block得到尺寸大小为30*30*512的特征图，再经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，最后经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为30*30*75的特征图；
3-3)将步骤3-2)经过卷积块Conv Block得到的特征图进行1*1卷积调整特征图通道数为256再采用双线性插值法上采样，得到尺寸大小为60*60*256的特征图，将60*60*256的特征图与特征提取模块中的转换层2得到尺寸大小为60*60*512的特征图进行按通道维度进行拼接得到尺寸大小为60*60*768的特征图，送入通道注意力模块Channel AttentionModule处理过程与步骤3-2)一样，将经过通道注意力模块处理的特征图与步骤3-1)的处理过程一样，经过多尺度检测网络MSDNet中的卷积块Conv Block得到的大小为60*60*256的特征图再经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，最后经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为60*60*75的特征图；
4)对整个端到端的深度神经网络进行构造与训练：包括：
4-1)对增强和特征提取网络EFENet进行构造，增强和特征提取网络EFENet的输入为低照度图像训练集中的低照度图像样本和正常照度图像训练集中的正常照度图像标签，增强和特征提取网络EFENet的输出为低照度图像和正常照度图像的多个尺度的特征图；
4-2)对多尺度检测网络MSDNet进行构造，多尺度检测网络MSDNet的输入为低照度图像的多个尺度的特征图，多尺度检测网络MSDNet的输出为低照度图像的多个尺度的分类和回归结果；
4-3)多尺度检测网络MSDNet得到的低照度图像的多个尺度的分类和回归结果与正常照度图像标签样本的目标真实框进行损失计算；
5)进行Fine tuning操作与低照度图像目标检测，包括：
5-1)采用正常照度图像交叉验证集和低照度图像交叉验证集对训练好的MSF-AM网络进行Fine tuning操作，将Fine tuning后的整个MSF-AM网络的结构及参数作为最终用于低照度图像检测的结构及参数；
5-2)将低照度图像测试集送入Fine tuning之后的MSF-AM网络，得到目标检测结果。
步骤2-1)中所述的预处理为：
1)将宽度和高度都缩放为480像素；
2)进行随机预处理，对图片进行水平或垂直翻转同时对目标真实框坐标进行相应的调整。
步骤2-3)中所述的细节增强模块为：
1)将低照度图像和正常照度图像经过分解得到的高频分量作为细节增强模块的输入；
2)细节增强模块使用残差学习思想，残差块由六个卷积层和跳跃连接组成，前五个卷积层卷积核大小为3*3、卷积核数量为64、步长为1、填充为1、每个卷积层后都经过ReLU激活函数，最后一个卷积层卷积核大小为1*1、卷积核数量为3、步长为1、再经过批归一化处理和ReLU激活函数，细节增强模块结构如下表2所示：
表2细节增强模块结构
细节增强模块 卷积参数及操作
卷积层1-5 卷积核数量：64卷积核：3*3步长：1填充：1激活函数：ReLU
卷积层6 卷积核数量：3卷积核：1*1步长：1批归一化处理、激活函数：ReLU
跳跃连接 将输入的高频分量与卷积操作后的特征图逐通道、逐元素相加
。
步骤2-4)中所述的亮度增强模块为：
1)将融合后得到正常照度图像特征图与像素强度值均值的比值α＝1扩展的特征图按通道拼接得到的特征图和融合后得到低照度图像特征图与低照度图像像素强度值均值的比值α扩展的特征图按通道拼接得到的特征图作为亮度增强模块的输入；
2)亮度增强模块使用U-Net跳跃结构，将输入大小为480*480的低频分量使用双线性插值操作调整大小到192*192，经过七个下采样块，下采样块由一个步长为2带有ReLU激活函数的卷积层组成，编码解码结构刚好能覆盖整个图像的接受域，再经过对应的七个上采样块，上采样块由一个双线性插值操作和一个步长为1带有ReLU激活函数的卷积层组成，跳跃连接从下采样块连接到对应的镜像上采样块，经过上采样块后使用1*1卷积调整特征图通道数，再使用双线性插值操作将特征图还原到输入大小的尺寸，亮度增强模块如下表3所示：
表3亮度增强模块结构
Figure BDA0002620758420000071
步骤2-5)中所述的特征提取模块为：
1)将亮度增强模块得到的正常照度图像的特征图和低照度图像的特征图作为特征提取模块的输入；
2)特征提取模块先采用跨阶段部分连接思想CSPNet和ResNeXt-50网络相结合的CSPResNeXt-50网络作为模块的一部分来进行特征提取，ResNeXt网络是一个简单、高度模块化的网络结构体系，采用基数为32、瓶颈层宽度为4的ResNeXt-50网络，跨阶段部分连接思想将每个阶段的特征图按通道分为两部分，部分1经过1*1卷积调整通道数送入ResNeXt-50网络卷积块再经过转换层，部分2经过1*1卷积调整通道数再与部分1得到的特征图按通道进行拼接再经过转换层，CSPResNeXt-50网络输入大小为480*480，网络中每个卷积层后都有批归一化处理、ReLU激活函数，CSPResNeXt-50网络结构如下表4所示：
表4 CSPResNeXt-50网络结构
Figure BDA0002620758420000072
Figure BDA0002620758420000081
3)经过CSPResNeXt-50网络提取得到的尺寸大小为15*15*2048的特征图送入自注意力块(Self Attention Block)，经过三个分支1*1卷积映射到三个特征空间f(x)、g(x)、h(x)维度为(C/8)×W×H，因为减少通道数不会影响性能，采用缩减通道8倍，再将特征空间改变到维度为(C/8)×N即N＝W×H，如公式(8)所示：
f(x)＝Wfx,g(x)＝Wgx,h(x)＝Whx (8)，
将f(x)转置后与g(x)矩阵相乘，再将矩阵每行经过softmax归一化得到注意力图，如公式(9)和公式(10)所示：
si,j＝f(xi)Tg(xi) (9)，
Figure BDA0002620758420000082
将h(x)与注意力图进行矩阵相乘，将得到的结果再经过1*1卷积得到v(x),如公式(11)和(12)所示：
Figure BDA0002620758420000091
v(xi)＝Wvxi (12)；
对注意力层的输出乘以可学习标量γ，将γoi叠加在原始特征图上得到最终的输出特征图，如公式(13)所示：
yi＝γoi+xi (13)。
步骤3-1)到3-3)中所述的卷积块为：
1)卷积块结构中每个卷积层的卷积核数量根据特征图尺寸的通道数变化而改变，卷积块结构如下表5所示：
表5卷积块结构：
层 卷积参数及操作
卷积层1 卷积核：1*1步长：1批归一化处理、激活函数：ReLU
卷积层2 卷积核：3*3步长：1批归一化处理、激活函数：ReLU
卷积层3 卷积核：1*1步长：1批归一化处理、激活函数：ReLU
卷积层4 卷积核：3*3步长：1批归一化处理、激活函数：ReLU
卷积层5 卷积核：1＊1步长：1批归一化处理、激活函数：ReLU
。
步骤3-1)到3-3)中计算分类和回归的过程为：
1)首先采用公开标准的PASCAL VOC2007数据集进行K-means聚类分析，任意选择9个聚类中心，得到9个聚类中心分别分给3个不同尺度的特征图作为先验框进行预测,聚类选用先验框与聚类中心之间的IOU值作为距离指标，如公式(14)所示：
d(box,centroid)＝1-IOU(box,centroid) (14)；
2)每个特征图包含多个网格，每个网格包含三个先验框，若某个物体中心落在某个网格内即该网格包含物体，就由该网格来预测该物体的类别，采用三个先验框中的一个进行边界框的中心坐标(x、y)、宽(w)和高(h)的预测，即每个先验框会输出三类参数：一个是目标的边界框参数(x、y、w、h),一个是置信度区间在[0,1]的值,最后一个是一组条件类别概率区间在[0,1]的值，使用公开标准的PASCAL VOC2007数据集训练，所以有20个条件概率值，步骤3-1)所述为尺度大小为15*15的特征图预测分类和回归结果的过程，最终将会输出15*15*75的张量结果，步骤3-2)所述为尺度大小为30*30的特征图预测分类和回归结果的过程，最终将会输出30*30*75的张量结果，步骤3-3)所述为尺度大小为60*60的特征图预测分类和回归结果的过程，最终将会输出60*60*75的张量结果；
3)对边界框的预测如公式(15)所示：
Figure BDA0002620758420000101
其中tx、ty、tw、th分别为预测的边界框的中心点坐标、宽、高；cx、cy为框的中心坐标所在的网格单元距离左上角第一个网格的单元个数；pw、ph为先验框的宽、高；σ(to)表示预测的边框的置信度，为预测的边框的概率和预测的边框与目标真实框的IOU值的乘积；σ(·)表示logistic函数，将值归一化到[0,1]区间。
步骤4-3)中所述损失计算为：
1)从步骤4-2)得到的各个尺度的分类和回归预测结果与正常照度图像训练集的目标真实框进行损失计算，如公式(16)所示：
Figure BDA0002620758420000102
λcoord参数设为5，λnoobj参数设为0.5；
Figure BDA0002620758420000103
参数为1表示第i个网格中第j个边界框负责预测这个目标，否则为0；
Figure BDA0002620758420000104
参数为1表示网格的边界框负责预测这个目标，否则为0；损失函数前两项计算预测边界框与真实边界框的中心坐标、宽、高的误差，中间两项计算置信度误差，最后一项计算类别预测概率误差。
本技术方案利用引导图像滤波算法对图像分解为高频分量和低频分量，将高频分量进行细节增强，将增强后的高频分量和低频分量相加融合后，再进行亮度增强，将增强后的结果送入特征提取模块进行特征提取同时二次增强，得到多个尺度的特征图，并使用自注意力块和通道注意力模块来建立远距离依赖捕获更丰富的高级特征同时增强上下文和结构信息。
这种方法能使在低光条件下拍摄的图像能够不受环境因素的影响提取到丰富的高级特征并能够更好地检测到图像中的目标。
附图说明
图1为实施例中方法的原理示意图；
图2为实施例中细节增强模块结构示意图；
图3为实施例中亮度增强模块结构示意图；
图4为实施例中特征提取模块结构示意图；
图5为实施例中多尺度检测网络MSDNet结构示意图；
图6为实施例中通道注意力模块结构示意图。
具体实施方式
下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。
实施例：
参照图1，一种基于MSF-AM的低照度目标检测方法，包括如下步骤：
1)依据公开标准数据集，建立来源图像：
1-1)依据公开的标准的PASCAL VOC2007数据集合成低照度下的目标检测数据集，PASCAL VOC2007数据集共包含9963张图像，其中，训练集5011张、测试集中有4952张，对PASCAL VOC2007数据集中所有图像采用图像退化方法合成低照度图像，建立来源数据集，将原图像和合成的低照度图像一一对应作为图像对；
1-2)将PASCAL VOC2007数据集中训练集作为正常照度图像训练集，对应的合成图像作为低照度图像训练集，将PASCAL VOC2007数据集中测试集中2476张图像作为正常照度图像交叉验证集，对应的合成的低照度图像集作为低照度图像交叉验证集，这样配对的交叉验证数据集作为Fine tuning样本，PASCAL VOC2007测试集中另外2476张图像对应的合成的低照度图像测试集作为测试样本，数据集的分组情况如下表1所示：
表1用公开标准的PASCAL VOC2007数据集建立数据来源
Figure BDA0002620758420000121
2)增强和特征提取网络EFENet的训练包括：
2-1)将所有低照度图像训练集和正常照度图像训练集中的图像进行预处理，即将图像缩放到统一的宽度和高度为480；
2-2)特征提取采用网络EFENet，EFENet设有顺序连接的引导图像滤波模块、细节增强模块、亮度增强模块和特征提取模块，将正常照度图像和低照度图像送入网络EFENet进行图像增强同时特征提取，首先将正常照度图像和低照度图像经过引导滤波算法分解图像得到正常照度图像和低照度图像的高频分量和低频分量，其中引导滤波算法原理是假设引导图像I和输出图像q之间存在局部线性关系，如公式(1)所示：
Figure BDA0002620758420000122
ak，bk表示以半径为r的方形局部窗口ωk的常系数，i为ωk中的像素位置，核函数表示引导图像I和输入图像p、输出图像q之间的关系，如公式(2)所示：
Figure BDA0002620758420000123
i，j为空间像素位置，Wij为滤波器的核函数，如公式(3)所示：
Figure BDA0002620758420000124
ωk为第k个核函数窗口，|ω|为局部窗口ωk内的像素数，μk和
Figure BDA0002620758420000125
分别为引导图像I在局部窗口ωk内的均值和方差，ε为正则化参数，根据引导滤波算法的原理，令r为4、ε为0.01，将输入图像p进行分解，得到低频分量L，再将输入图像p与低频分量L做差运算，得到高频分量H，如公式(4)所示：
Figure BDA0002620758420000131
其中GIF(I,p)对输入图像p进行引导滤波操作，令I＝p；
2-3)将正常照度图像和低照度图像的高频分量送入细节增强模块，如图2所示，细节增强模块采用残差学习思想，保证输入信息可以通过所有参数层传播，有助于训练网络，残差块由六个卷积层和跳跃连接组成；
2-4)将步骤2-3)细节增强模块得到的高频分量再分别与正常照度图像和低照度图像的低频分量进行逐像素相加融合得到正常照度图像特征图和低照度图像特征图，计算正常照度图像和低照度图像的逐像素强度值均值的比值α引导亮度增强模块对低照度图像增强，如公式(5)所示：
Figure BDA0002620758420000132
n表示图像的像素点总数，p表示当前像素点，Iclear表示正常照度图像的像素强度值，Isynthetic表示低照度图像的像素强度值，所有正常照度图像的α设为1，低照度图像的α用于引导亮度增强模块对低照度图像增强，将正常照度图像和低照度图像的α扩展为单通道特征图分别与融合得到的特征图按通道进行拼接送入亮度增强模块，如图3所示，亮度增强模块采用U-Net跳跃结构；
2-5)将步骤2-4)亮度增强模块得到的特征图送入特征提取模块进行二次增强同时特征提取分别得到增强后的尺度大小为60*60、30*30、15*15的特征图,如图4所示，特征提取模块先采用跨阶段部分连接思想CSPNet和ResNeXt-50网络相结合的CSPResNeXt-50网络作为模块的一部分来进行特征提取，将得到的尺寸大小为15*15*2048的特征图送入特征提取模块的自注意力块Self Attention Block；
2-6)将低照度图像经过特征提取模块得到的尺度大小为15*15的特征图与正常照度图像经过特征提取模块得到的尺度大小为15*15的特征图进行逐像素的损失函数的计算，损失函数采用均方误差损失函数MSE来计算，具体为公式(6)所示：
Figure BDA0002620758420000133
其中N表示样本总数，W表示特征图的宽，H表示特征图的高，C表示特征图的通道数，
Figure BDA0002620758420000134
为第i个正常照度图像的特征图的像素值，
Figure BDA0002620758420000135
为第i个低照度图像的特征图的像素值；
3)进行多尺度检测网络MSDNet的训练：如图5所示，包括：
3-1)将步骤2-5)特征提取得到的尺寸大小为15*15*2048的特征图送入多尺度检测网络MSDNet中的卷积块Conv Block，卷积块Conv Block包含五个卷积层，每个卷积层后依次为批归一化处理、ReLU激活函数，再将卷积块Conv Block得到尺寸大小为15*15*1024的特征图经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，再经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为15*15*75的特征图；
3-2)将步骤3-1)经过卷积块Conv Block得到的特征图进行1*1卷积调整特征图通道数为512再采用双线性插值法上采样，得到尺寸大小为30*30*512的特征图，将30*30*512的特征图与特征提取模块中转换层3得到尺寸大小为30*30*1024的特征图进行按通道维度拼接得到大小为30*30*1536的特征图，送入通道注意力模块Channel Attention Module,如图6所示，经过全局平均池化和最大池化将特征图压缩成1*1*C的特征向量，其中，C为通道数，再经过共享的只有一个隐藏层的多层感知机网络,多层感知机网络缩减率为4，将输出的特征向量相加，再经过sigmoid函数，得到1*1*C的权重与送入通道注意力模块ChannelAttention Module的特征图相乘得到经过通道注意力模块处理的特征图，如下公式(7)所示：
Mc(x)＝σ(MLP(AvgPool(x))+MLP(MaxPool(x))) (7)，
将得到的特征图与步骤3-1)的处理过程一样，送入多尺度检测网络MSDNet中的卷积块Conv Block得到尺寸大小为30*30*512的特征图，再经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，最后经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为30*30*75的特征图；
3-3)将步骤3-2)经过卷积块Conv Block得到的特征图进行1*1卷积调整特征图通道数为256再采用双线性插值法上采样，得到尺寸大小为60*60*256的特征图，将60*60*256的特征图与特征提取模块中的转换层2得到尺寸大小为60*60*512的特征图进行按通道维度进行拼接得到尺寸大小为60*60*768的特征图，送入通道注意力模块Channel AttentionModule处理过程与步骤3-2)一样，将经过通道注意力模块处理的特征图与步骤3-1)的处理过程一样，经过多尺度检测网络MSDNet中的卷积块Conv Block得到的大小为60*60*256的特征图再经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，最后经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为60*60*75的特征图；
4)对整个端到端的深度神经网络进行构造与训练：包括：
4-1)对增强和特征提取网络EFENet进行构造，增强和特征提取网络EFENet的输入为低照度图像训练集中的低照度图像样本和正常照度图像训练集中的正常照度图像标签，增强和特征提取网络EFENet的输出为低照度图像和正常照度图像的多个尺度的特征图；
4-2)对多尺度检测网络MSDNet进行构造，多尺度检测网络MSDNet的输入为低照度图像的多个尺度的特征图，多尺度检测网络MSDNet的输出为低照度图像的多个尺度的分类和回归结果；
4-3)多尺度检测网络MSDNet得到的低照度图像的多个尺度的分类和回归结果与正常照度图像标签样本的目标真实框进行损失计算；
5)进行Fine tuning操作与低照度图像目标检测，包括：
5-1)采用正常照度图像交叉验证集和低照度图像交叉验证集对训练好的MSF-AM网络进行Fine tuning操作，将Fine tuning后的整个MSF-AM网络的结构及参数作为最终用于低照度图像检测的结构及参数；
5-2)将低照度图像测试集送入Fine tuning之后的MSF-AM网络，得到目标检测结果。
步骤2-1)中所述的预处理为：
1)将宽度和高度都缩放为480像素；
2)进行随机预处理，对图片进行水平或垂直翻转同时对目标真实框坐标进行相应的调整。
步骤2-3)中所述的细节增强模块为：
1)将低照度图像和正常照度图像经过分解得到的高频分量作为细节增强模块的输入；
2)细节增强模块使用残差学习思想，残差块由六个卷积层和跳跃连接组成，前五个卷积层卷积核大小为3*3、卷积核数量为64、步长为1、填充为1、每个卷积层后都经过ReLU激活函数，最后一个卷积层卷积核大小为1*1、卷积核数量为3、步长为1、再经过批归一化处理和ReLU激活函数，细节增强模块结构如下表2所示：
表2细节增强模块结构
细节增强模块 卷积参数及操作
卷积层1-5 卷积核数量：64卷积核：3*3步长：1填充：1激活函数：ReLU
卷积层6 卷积核数量：3卷积核：1*1步长：1批归一化处理、激活函数：ReLU
跳跃连接 将输入的高频分量与卷积操作后的特征图逐通道、逐元素相加
。
步骤2-4)中所述的亮度增强模块为：
1)将融合后得到正常照度图像特征图与像素强度值均值的比值α＝1扩展的特征图按通道拼接得到的特征图和融合后得到低照度图像特征图与低照度图像像素强度值均值的比值α扩展的特征图按通道拼接得到的特征图作为亮度增强模块的输入；
2)亮度增强模块使用U-Net跳跃结构，将输入大小为480*480的低频分量使用双线性插值操作调整大小到192*192，经过七个下采样块，下采样块由一个步长为2带有ReLU激活函数的卷积层组成，编码解码结构刚好能覆盖整个图像的接受域，再经过对应的七个上采样块，上采样块由一个双线性插值操作和一个步长为1带有ReLU激活函数的卷积层组成，跳跃连接从下采样块连接到对应的镜像上采样块，经过上采样块后使用1*1卷积调整特征图通道数，再使用双线性插值操作将特征图还原到输入大小的尺寸，亮度增强模块如下表3所示：
表3亮度增强模块结构
Figure BDA0002620758420000161
步骤2-5)中所述的特征提取模块为：
1)将亮度增强模块得到的正常照度图像的特征图和低照度图像的特征图作为特征提取模块的输入；
2)特征提取模块先采用跨阶段部分连接思想CSPNet和ResNeXt-50网络相结合的CSPResNeXt-50网络作为模块的一部分来进行特征提取，ResNeXt网络是一个简单、高度模块化的网络结构体系，采用基数为32、瓶颈层宽度为4的ResNeXt-50网络，跨阶段部分连接思想将每个阶段的特征图按通道分为两部分，部分1经过1*1卷积调整通道数送入ResNeXt-50网络卷积块再经过转换层，部分2经过1*1卷积调整通道数再与部分1得到的特征图按通道进行拼接再经过转换层，CSPResNeXt-50网络输入大小为480*480，网络中每个卷积层后都有批归一化处理、ReLU激活函数，CSPResNeXt-50网络结构如下表4所示：
表4 CSPResNeXt-50网络结构
Figure BDA0002620758420000171
3)经过CSPResNeXt-50网络提取得到的尺寸大小为15*15*2048的特征图送入自注意力块(Self Attention Block)，经过三个分支1*1卷积映射到三个特征空间f(x)、g(x)、h(x)维度为(C/8)×W×H，因为减少通道数不会影响性能，采用缩减通道8倍，再将特征空间改变到维度为(C/8)×N即N＝W×H，如公式(8)所示：
f(x)＝Wfx,g(x)＝Wgx,h(x)＝Whx (8)，
将f(x)转置后与g(x)矩阵相乘，再将矩阵每行经过softmax归一化得到注意力图，如公式(9)和公式(10)所示：
si,j＝f(xi)Tg(xi) (9)，
Figure BDA0002620758420000181
将h(x)与注意力图进行矩阵相乘，将得到的结果再经过1*1卷积得到v(x),如公式(11)和(12)所示：
Figure BDA0002620758420000182
v(xi)＝Wvxi (12)；
对注意力层的输出乘以可学习标量γ，将γoi叠加在原始特征图上得到最终的输出特征图，如公式(13)所示：
yi＝γoi+xi (13)。
步骤3-1)到3-3)中所述的卷积块为：
1)卷积块结构中每个卷积层的卷积核数量根据特征图尺寸的通道数变化而改变，卷积块结构如下表5所示：
表5卷积块结构：
层 卷积参数及操作
卷积层1 卷积核：1＊1步长：1批归一化处理、激活函数：ReLU
卷积层2 卷积核：3＊3步长：1批归一化处理、激活函数：ReLU
卷积层3 卷积核：1＊1步长：1批归一化处理、激活函数：ReLU
卷积层4 卷积核：3*3步长：1批归一化处理、激活函数：ReLU
卷积层5 卷积核：1＊1步长：1批归一化处理、激活函数：ReLU
。
步骤3-1)到3-3)中计算分类和回归的过程为：
1)首先采用公开标准的PASCAL VOC2007数据集进行K-means聚类分析，任意选择9个聚类中心，得到9个聚类中心分别分给3个不同尺度的特征图作为先验框进行预测,聚类选用先验框与聚类中心之间的IOU值作为距离指标，如公式(14)所示：
d(box,centroid)＝1-IOU(box,centroid) (14)；
2)每个特征图包含多个网格，每个网格包含三个先验框，若某个物体中心落在某个网格内即该网格包含物体，就由该网格来预测该物体的类别，采用三个先验框中的一个进行边界框的中心坐标(x、y)、宽(w)和高(h)的预测，即每个先验框会输出三类参数：一个是目标的边界框参数(x、y、w、h),一个是置信度区间在[0,1]的值,最后一个是一组条件类别概率区间在[0,1]的值，使用公开标准的PASCAL VOC2007数据集训练，所以有20个条件概率值，步骤3-1)所述为尺度大小为15*15的特征图预测分类和回归结果的过程，最终将会输出15*15*75的张量结果，步骤3-2)所述为尺度大小为30*30的特征图预测分类和回归结果的过程，最终将会输出30*30*75的张量结果，步骤3-3)所述为尺度大小为60*60的特征图预测分类和回归结果的过程，最终将会输出60*60*75的张量结果；
3)对边界框的预测如公式(15)所示：
Figure BDA0002620758420000191
其中tx、ty、tw、th分别为预测的边界框的中心点坐标、宽、高；cx、cy为框的中心坐标所在的网格单元距离左上角第一个网格的单元个数；pw、ph为先验框的宽、高；σ(to)表示预测的边框的置信度，为预测的边框的概率和预测的边框与目标真实框的IOU值的乘积；σ(·)表示logistic函数，将值归一化到[0,1]区间，本例IOU阈值为0.5。
步骤4-3)中所述损失计算为：
1)从步骤4-2)得到的各个尺度的分类和回归预测结果与正常照度图像训练集的真实框进行损失计算，如公式(16)所示：
Figure BDA0002620758420000201
λcoord参数设为5，λnoobj参数设为0.5；
Figure BDA0002620758420000202
参数为1表示第i个网格中第j个边界框负责预测这个目标，否则为0；
Figure BDA0002620758420000203
参数为1表示网格的边界框负责预测这个目标，否则为0；损失函数前两项计算预测边界框与真实边界框的中心坐标、宽、高的误差，中间两项计算置信度误差，最后一项计算类别预测概率误差。

Claims (8)

1.一种基于MSF-AM的低照度目标检测方法，其特征在于，包括如下步骤：
1)依据公开标准数据集，建立来源图像：
1-1)依据公开的标准的PASCAL VOC2007数据集合成低照度下的目标检测数据集，PASCAL VOC2007数据集共包含9963张图像，其中，训练集5011张、测试集中有4952张，对PASCAL VOC2007数据集中所有图像采用图像退化方法合成低照度图像，建立来源数据集，将原图像和合成的低照度图像一一对应作为图像对；
1-2)将PASCAL VOC2007数据集中训练集作为正常照度图像训练集，对应的合成图像作为低照度图像训练集，将PASCAL VOC2007数据集中测试集中2476张图像作为正常照度图像交叉验证集，对应的合成的低照度图像集作为低照度图像交叉验证集，这样配对的交叉验证数据集作为Fine tuning样本，PASCAL VOC2007测试集中另外2476张图像对应的合成的低照度图像测试集作为测试样本，数据集的分组情况如下表1所示：
表1用公开标准的PASCAL VOC2007数据集建立数据来源
Figure FDA0002620758410000011
2)增强和特征提取网络EFENet的训练：包括：
2-1)将所有低照度图像训练集和正常照度图像训练集中的图像进行预处理，即将图像缩放到统一的宽度和高度为480；
2-2)特征提取采用网络EFENet，EFENet设有顺序连接的引导图像滤波模块、细节增强模块、亮度增强模块和特征提取模块，将正常照度图像和低照度图像送入网络EFENet进行图像增强同时特征提取，首先将正常照度图像和低照度图像经过引导滤波算法分解图像得到正常照度图像和低照度图像的高频分量和低频分量，其中引导滤波算法原理是假设引导图像I和输出图像q之间存在局部线性关系，如公式(1)所示：
Figure FDA0002620758410000012
ak，bk表示以半径为r的方形局部窗口ωk的常系数，i为ωk中的像素位置，核函数表示引导图像I和输入图像p、输出图像q之间的关系，如公式(2)所示：
Figure FDA0002620758410000021
i，j为空间像素位置，Wij为滤波器的核函数，如公式(3)所示：
Figure FDA0002620758410000022
ωk为第k个核函数窗口，|ω|为局部窗口ωk内的像素数，μk和
Figure FDA0002620758410000023
分别为引导图像I在局部窗口ωk内的均值和方差，ε为正则化参数，根据引导滤波算法的原理，令r为4、ε为0.01，将输入图像p进行分解，得到低频分量L，再将输入图像p与低频分量L做差运算，得到高频分量H，如公式(4)所示：
Figure FDA0002620758410000024
其中GIF(I,p)对输入图像p进行引导滤波操作，令I＝p；
2-3)将正常照度图像和低照度图像的高频分量送入细节增强模块，细节增强模块采用残差学习思想，残差块由六个卷积层和跳跃连接组成；
2-4)将步骤2-3)细节增强模块得到的高频分量再分别与正常照度图像和低照度图像的低频分量进行逐像素相加融合得到正常照度图像特征图和低照度图像特征图，计算正常照度图像和低照度图像的逐像素强度值均值的比值α引导亮度增强模块对低照度图像增强，如公式(5)所示：
Figure FDA0002620758410000025
n表示图像的像素点总数，p表示当前像素点，Iclear表示正常照度图像的像素强度值，Isynthetic表示低照度图像的像素强度值，所有正常照度图像的α设为1，低照度图像的α用于引导亮度增强模块对低照度图像增强，将正常照度图像和低照度图像的α扩展为单通道特征图分别与融合得到的特征图按通道进行拼接送入亮度增强模块，亮度增强模块采用U-Net跳跃结构；
2-5)将步骤2-4)亮度增强模块得到的特征图送入特征提取模块进行二次增强同时特征提取分别得到增强后的尺度大小为60*60、30*30、15*15的特征图,特征提取模块先采用跨阶段部分连接思想CSPNet和ResNeXt-50网络相结合的CSPResNeXt-50网络作为模块的一部分来进行特征提取，将得到的尺寸大小为15*15*2048的特征图送入特征提取模块的自注意力块Self Attention Block；
2-6)将低照度图像经过特征提取模块得到的尺度大小为15*15的特征图与正常照度图像经过特征提取模块得到的尺度大小为15*15的特征图进行逐像素的损失函数的计算，损失函数采用均方误差损失函数MSE来计算，具体为公式(6)所示：
Figure FDA0002620758410000031
其中N表示样本总数，W表示特征图的宽，H表示特征图的高，C表示特征图的通道数，
Figure FDA0002620758410000032
为第i个正常照度图像的特征图的像素值，
Figure FDA0002620758410000033
为第i个低照度图像的特征图的像素值；
3)进行多尺度检测网络MSDNet的训练：包括：
3-1)将步骤2-5)特征提取得到的尺寸大小为15*15*2048的特征图送入多尺度检测网络MSDNet中的卷积块Conv Block，卷积块Conv Block包含五个卷积层，每个卷积层后依次为批归一化处理、ReLU激活函数，再将卷积块Conv Block得到尺寸大小为15*15*1024的特征图经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，再经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为15*15*75的特征图；
3-2)将步骤3-1)经过卷积块Conv Block得到的特征图进行1*1卷积调整特征图通道数为512再采用双线性插值法上采样，得到尺寸大小为30*30*512的特征图，将30*30*512的特征图与特征提取模块中转换层3得到尺寸大小为30*30*1024的特征图进行按通道维度拼接得到大小为30*30*1536的特征图，送入通道注意力模块Channel Attention Module,经过全局平均池化和最大池化将特征图压缩成1*1*C的特征向量，其中，C为通道数，再经过共享的只有一个隐藏层的多层感知机网络,多层感知机网络缩减率为4，将输出的特征向量相加，再经过sigmoid函数，得到1*1*C的权重与送入通道注意力模块Channel AttentionModule的特征图相乘得到经过通道注意力模块处理的特征图，如下公式(7)所示：
Mc(x)＝σ(MLP(AvgPool(x))+MLP(MaxPool(x))) (7)，
将得到的特征图与步骤3-1)的处理过程一样，送入多尺度检测网络MSDNet中的卷积块Conv Block得到尺寸大小为30*30*512的特征图，再经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，最后经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为30*30*75的特征图；
3-3)将步骤3-2)经过卷积块Conv Block得到的特征图进行1*1卷积调整特征图通道数为256再采用双线性插值法上采样，得到尺寸大小为60*60*256的特征图，将60*60*256的特征图与特征提取模块中的转换层2得到尺寸大小为60*60*512的特征图进行按通道维度进行拼接得到尺寸大小为60*60*768的特征图，送入通道注意力模块Channel AttentionModule处理过程与步骤3-2)一样，将经过通道注意力模块处理的特征图与步骤3-1)的处理过程一样，经过多尺度检测网络MSDNet中的卷积块Conv Block得到的大小为60*60*256的特征图再经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，最后经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为60*60*75的特征图；
4)对整个端到端的深度神经网络进行构造与训练：包括：
4-1)对增强和特征提取网络EFENet进行构造，增强和特征提取网络EFENet的输入为低照度图像训练集中的低照度图像样本和正常照度图像训练集中的正常照度图像标签，增强和特征提取网络EFENet的输出为低照度图像和正常照度图像的多个尺度的特征图；
4-2)对多尺度检测网络MSDNet进行构造，多尺度检测网络MSDNet的输入为低照度图像的多个尺度的特征图，多尺度检测网络MSDNet的输出为低照度图像的多个尺度的分类和回归结果；
4-3)多尺度检测网络MSDNet得到的低照度图像的多个尺度的分类和回归结果与正常照度图像标签样本的目标真实框进行损失计算；
5)进行Fine tuning操作与低照度图像目标检测，包括：
5-1)采用正常照度图像交叉验证集和低照度图像交叉验证集对训练好的MSF-AM网络进行Fine tuning操作，将Fine tuning后的整个MSF-AM网络的结构及参数作为最终用于低照度图像检测的结构及参数；
5-2)将低照度图像测试集送入Fine tuning之后的MSF-AM网络，得到目标检测结果。
2.根据权利要求1所述的基于MSF-AM的低照度目标检测方法，其特征在于，步骤2-1)中所述的预处理为：
1)将宽度和高度都缩放为480像素；
2)进行随机预处理，对图片进行水平或垂直翻转同时对目标真实框坐标进行相应的调整。
3.根据权利要求1所述的基于MSF-AM的低照度目标检测方法，其特征在于，步骤2-3)中所述的细节增强模块为：
1)将低照度图像和正常照度图像经过分解得到的高频分量作为细节增强模块的输入；
2)细节增强模块使用残差学习思想，残差块由六个卷积层和跳跃连接组成，前五个卷积层卷积核大小为3*3、卷积核数量为64、步长为1、填充为1、每个卷积层后都经过ReLU激活函数，最后一个卷积层卷积核大小为1*1、卷积核数量为3、步长为1、再经过批归一化处理和ReLU激活函数，细节增强模块结构如下表2所示：
表2细节增强模块结构
细节增强模块 卷积参数及操作 卷积层1-5 卷积核数量：64卷积核：3*3步长：1填充：1激活函数：ReLU 卷积层6 卷积核数量：3卷积核：1*1步长：1批归一化处理、激活函数：ReLU 跳跃连接 将输入的高频分量与卷积操作后的特征图逐通道、逐像素相加
。
4.根据权利要求1所述的基于MSF-AM的低照度目标检测方法，其特征在于，步骤2-4)中所述的亮度增强模块为：
1)将融合后得到正常照度图像特征图与像素强度值均值的比值α＝1扩展的特征图按通道拼接得到的特征图和融合后得到低照度图像特征图与低照度图像像素强度值均值的比值α扩展的特征图按通道拼接得到的特征图作为亮度增强模块的输入；
2)亮度增强模块使用U-Net跳跃结构，将输入大小为480*480的低频分量使用双线性插值操作调整大小到192*192，经过七个下采样块，下采样块由一个步长为2带有ReLU激活函数的卷积层组成，编码解码结构刚好能覆盖整个图像的接受域，再经过对应的七个上采样块，上采样块由一个双线性插值操作和一个步长为1带有ReLU激活函数的卷积层组成，跳跃连接从下采样块连接到对应的镜像上采样块，经过上采样块后使用1*1卷积调整特征图通道数，再使用双线性插值操作将特征图还原到输入大小的尺寸，亮度增强模块结构如下表3所示：
表3亮度增强模块结构
Figure FDA0002620758410000051
5.根据权利要求1所述的基于MSF-AM的低照度目标检测方法，其特征在于，步骤2-5)中所述的特征提取模块为：
1)将亮度增强模块得到的正常照度图像的特征图和低照度图像的特征图作为特征提取模块的输入；
2)特征提取模块先采用跨阶段部分连接思想CSPNet和ResNeXt-50网络相结合的CSPResNeXt-50网络作为模块的一部分来进行特征提取，ResNeXt网络是一个简单、高度模块化的网络结构体系，采用基数为32、瓶颈层宽度为4的ResNeXt-50网络，跨阶段部分连接思想将每个阶段的特征图按通道分为两部分，部分1经过1*1卷积调整通道数送入ResNeXt-50网络卷积块再经过转换层，部分2经过1*1卷积调整通道数再与部分1得到的特征图按通道进行拼接再经过转换层，CSPResNeXt-50网络输入大小为480*480，网络中每个卷积层后都有批归一化处理、ReLU激活函数，CSPResNeXt-50网络结构如下表4所示：
表4 CSPResNeXt-50网络结构
Figure FDA0002620758410000061
Figure FDA0002620758410000071
3)经过CSPResNeXt-50网络提取得到的尺寸大小为15*15*2048的特征图送入自注意力块Self Attention Block，经过三个分支1*1卷积映射到三个特征空间f(x)、g(x)、h(x)维度为(C/8)×W×H，因为减少通道数不会影响性能，采用缩减通道8倍，再将特征空间改变到维度为(C/8)×N即N＝W×H，如公式(8)所示：
f(x)＝Wfx,g(x)＝Wgx,h(x)＝Whx (8)，
将f(x)转置后与g(x)矩阵相乘，再将矩阵每行经过softmax归一化得到注意力图，如公式(9)和公式(10)所示：
si,j＝f(xi)Tg(xi) (9)，
Figure FDA0002620758410000072
将h(x)与注意力图进行矩阵相乘，将得到的结果再经过1*1卷积得到v(x),如公式(11)和(12)所示：
Figure FDA0002620758410000073
v(xi)＝Wvxi (12)；
对注意力层的输出乘以可学习标量γ，将γoi叠加在原始特征图上得到最终的输出特征图，如公式(13)所示：
yi＝γoi+xi (13)。
6.根据权利要求1所述的基于MSF-AM的低照度目标检测方法，其特征在于，步骤3-1)到3-3)中所述的卷积块为：
1)卷积块结构中每个卷积层的卷积核数量根据特征图尺寸的通道数变化而改变，卷积块结构如下表5所示：
表5卷积块结构：
层 卷积参数及操作 卷积层1 卷积核：1＊1步长：1批归一化处理、激活函数：ReLU 卷积层2 卷积核：3＊3步长：1批归一化处理、激活函数：ReLU 卷积层3 卷积核：1＊1步长：1批归一化处理、激活函数：ReLU 卷积层4 卷积核：3＊3步长：1批归一化处理、激活函数：ReLU 卷积层5 卷积核：1＊1步长：1批归一化处理、激活函数：ReLU
。
7.根据权利要求1所述的基于MSF-AM的低照度目标检测方法，其特征在于，步骤3-1)到3-3)中计算分类和回归的过程为：
1)首先采用公开标准的PASCAL VOC2007数据集进行K-means聚类分析，任意选择9个聚类中心，得到9个聚类中心分别分给3个不同尺度的特征图作为先验框进行预测,聚类选用先验框与聚类中心之间的IOU值作为距离指标，如公式(14)所示：
d(box,centroid)＝1-IOU(box,centroid) (14)；
2)每个特征图包含多个网格，每个网格包含三个先验框，若某个物体中心落在某个网格内即该网格包含物体，就由该网格来预测该物体的类别，采用三个先验框中的一个进行边界框的中心坐标(x、y)、宽(w)和高(h)的预测，即每个先验框会输出三类参数：一个是目标的边界框参数(x、y、w、h),一个是置信度区间在[0,1]的值,最后一个是一组条件类别概率区间在[0,1]的值，使用公开标准的PASCAL VOC2007数据集训练，所以有20个条件概率值，步骤3-1)所述为尺度大小为15*15的特征图预测分类和回归结果的过程，最终将会输出15*15*75的张量结果，步骤3-2)所述为尺度大小为30*30的特征图预测分类和回归结果的过程，最终将会输出30*30*75的张量结果，步骤3-3)所述为尺度大小为60*60的特征图预测分类和回归结果的过程，最终将会输出60*60*75的张量结果；
3)对边界框的预测如公式(15)所示：
Figure FDA0002620758410000091
其中tx、ty、tw、th分别为预测的边界框的中心点坐标、宽、高；cx、cy为框的中心坐标所在的网格单元距离左上角第一个网格的单元个数；pw、ph为先验框的宽、高；σ(to)表示预测的边框的置信度，为预测的边框的概率和预测的边框与目标真实框的IOU值的乘积；σ(·)表示logistic函数，将值归一化到[0,1]区间。
8.根据权利要求1所述的基于MSF-AM的低照度目标检测方法，其特征在于，步骤4-3)中所述损失计算为：
1)从步骤4-2)得到的各个尺度的分类和回归预测结果与正常照度图像训练集的目标真实框进行损失计算，如公式(16)所示：
Figure FDA0002620758410000092
λcoord参数设为5，λnoobj参数设为0.5；
Figure FDA0002620758410000093
参数为1表示第i个网格中第j个边界框负责预测这个目标，否则为0；
Figure FDA0002620758410000094
参数为1表示网格的边界框负责预测这个目标，否则为0；损失函数前两项计算预测边界框与真实边界框的中心坐标、宽、高的误差，中间两项计算置信度误差，最后一项计算类别预测概率误差。
CN202010782552.8A 2020-08-06 2020-08-06 一种基于msf-am的低照度目标检测方法 Active CN111882002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010782552.8A CN111882002B (zh) 2020-08-06 2020-08-06 一种基于msf-am的低照度目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010782552.8A CN111882002B (zh) 2020-08-06 2020-08-06 一种基于msf-am的低照度目标检测方法

Publications (2)

Publication Number Publication Date
CN111882002A true CN111882002A (zh) 2020-11-03
CN111882002B CN111882002B (zh) 2022-05-24

Family

ID=73210239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010782552.8A Active CN111882002B (zh) 2020-08-06 2020-08-06 一种基于msf-am的低照度目标检测方法

Country Status (1)

Country Link
CN (1) CN111882002B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435191A (zh) * 2020-11-25 2021-03-02 西安交通大学 一种基于多个神经网络结构融合的低照度图像增强方法
CN112465700A (zh) * 2020-11-26 2021-03-09 北京航空航天大学 一种基于深度聚类的图像拼接定位装置及方法
CN112508099A (zh) * 2020-12-07 2021-03-16 国网河南省电力公司电力科学研究院 一种实时目标检测的方法和装置
CN112508001A (zh) * 2020-12-03 2021-03-16 安徽理工大学 一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法
CN112529839A (zh) * 2020-11-05 2021-03-19 西安交通大学 一种核磁共振图像中颈动脉血管中心线的提取方法及系统
CN112541576A (zh) * 2020-12-14 2021-03-23 四川翼飞视科技有限公司 Rgb单目图像的生物活体识别神经网络及其构建方法
CN112561865A (zh) * 2020-12-04 2021-03-26 深圳格瑞健康管理有限公司 恒磨牙位置的检测模型训练方法、系统和存储介质
CN112633186A (zh) * 2020-12-26 2021-04-09 上海有个机器人有限公司 室内环境下可行驶路面的分割方法、装置、介质和机器人
CN112699938A (zh) * 2020-12-30 2021-04-23 北京邮电大学 一种基于图卷积网络模型的分类方法及装置
CN113012074A (zh) * 2021-04-21 2021-06-22 山东新一代信息产业技术研究院有限公司 一种适用于低照度环境的智能图像处理方法
CN113221957A (zh) * 2021-04-17 2021-08-06 南京航空航天大学 一种基于Centernet的雷达信息融合特征增强方法
CN113269702A (zh) * 2021-05-21 2021-08-17 中国矿业大学 基于跨尺度特征融合的低曝光静脉图像增强方法
CN113283475A (zh) * 2021-04-27 2021-08-20 南方电网数字电网研究院有限公司 目标检测方法、装置、设备和存储介质
CN113449070A (zh) * 2021-05-25 2021-09-28 北京有竹居网络技术有限公司 多模态数据检索方法、装置、介质及电子设备
CN113486716A (zh) * 2021-06-04 2021-10-08 电子科技大学长三角研究院(衢州) 机场场面目标分割方法及其系统
CN113744164A (zh) * 2021-11-05 2021-12-03 深圳市安软慧视科技有限公司 一种快速夜间低照度图像增强方法、系统及相关设备
CN114037938A (zh) * 2021-11-09 2022-02-11 桂林电子科技大学 一种基于NFL-Net的低照度目标检测方法
CN114708615A (zh) * 2022-04-02 2022-07-05 西安电子科技大学广州研究院 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质
CN115496993A (zh) * 2022-09-09 2022-12-20 锋睿领创(珠海)科技有限公司 基于频域融合的目标检测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
CN110163818A (zh) * 2019-04-28 2019-08-23 武汉理工大学 一种用于海事无人机的低照度视频图像增强方法
CN110222215A (zh) * 2019-05-31 2019-09-10 浙江大学 一种基于f-ssd-iv3的作物害虫检测方法
CN110348376A (zh) * 2019-07-09 2019-10-18 华南理工大学 一种基于神经网络的行人实时检测方法
CN110852327A (zh) * 2019-11-07 2020-02-28 首都师范大学 图像处理方法、装置、电子设备及存储介质
US20200184245A1 (en) * 2018-12-11 2020-06-11 Amazon Technologies, Inc. Improper neural network input detection and handling
CN111401201A (zh) * 2020-03-10 2020-07-10 南京信息工程大学 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
US20200234414A1 (en) * 2019-01-23 2020-07-23 Inception Institute of Artificial Intelligence, Ltd. Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
US20200184245A1 (en) * 2018-12-11 2020-06-11 Amazon Technologies, Inc. Improper neural network input detection and handling
US20200234414A1 (en) * 2019-01-23 2020-07-23 Inception Institute of Artificial Intelligence, Ltd. Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN110163818A (zh) * 2019-04-28 2019-08-23 武汉理工大学 一种用于海事无人机的低照度视频图像增强方法
CN110222215A (zh) * 2019-05-31 2019-09-10 浙江大学 一种基于f-ssd-iv3的作物害虫检测方法
CN110348376A (zh) * 2019-07-09 2019-10-18 华南理工大学 一种基于神经网络的行人实时检测方法
CN110852327A (zh) * 2019-11-07 2020-02-28 首都师范大学 图像处理方法、装置、电子设备及存储介质
CN111401201A (zh) * 2020-03-10 2020-07-10 南京信息工程大学 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ERIC TAYLOR等: "Response Time Analysis for Explainability of Visual Processing in CNNs", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
MINGTAO DONG等: "End-to-End Target Detection and Classification with Data Augmentation in SAR Images", 《2019 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL ELECTROMAGNETICS (ICCEM)》 *
张博: "基于联合特征和深度学习的遥感影像分类", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
江泽涛等: "一种基于U-Net生成对抗网络的低照度图像增强方法", 《电子学报》 *
王志虎: "基于显著性的运动目标检测算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529839A (zh) * 2020-11-05 2021-03-19 西安交通大学 一种核磁共振图像中颈动脉血管中心线的提取方法及系统
CN112529839B (zh) * 2020-11-05 2023-05-02 西安交通大学 一种核磁共振图像中颈动脉血管中心线的提取方法及系统
CN112435191A (zh) * 2020-11-25 2021-03-02 西安交通大学 一种基于多个神经网络结构融合的低照度图像增强方法
CN112435191B (zh) * 2020-11-25 2024-04-16 西安交通大学 一种基于多个神经网络结构融合的低照度图像增强方法
CN112465700B (zh) * 2020-11-26 2022-04-26 北京航空航天大学 一种基于深度聚类的图像拼接定位装置及方法
CN112465700A (zh) * 2020-11-26 2021-03-09 北京航空航天大学 一种基于深度聚类的图像拼接定位装置及方法
CN112508001A (zh) * 2020-12-03 2021-03-16 安徽理工大学 一种基于多光谱波段筛选和改进U-Net的煤矸石定位方法
CN112561865A (zh) * 2020-12-04 2021-03-26 深圳格瑞健康管理有限公司 恒磨牙位置的检测模型训练方法、系统和存储介质
CN112561865B (zh) * 2020-12-04 2024-03-12 深圳格瑞健康科技有限公司 恒磨牙位置的检测模型训练方法、系统和存储介质
CN112508099A (zh) * 2020-12-07 2021-03-16 国网河南省电力公司电力科学研究院 一种实时目标检测的方法和装置
CN112541576A (zh) * 2020-12-14 2021-03-23 四川翼飞视科技有限公司 Rgb单目图像的生物活体识别神经网络及其构建方法
CN112541576B (zh) * 2020-12-14 2024-02-20 四川翼飞视科技有限公司 Rgb单目图像的生物活体识别神经网络构建方法
CN112633186A (zh) * 2020-12-26 2021-04-09 上海有个机器人有限公司 室内环境下可行驶路面的分割方法、装置、介质和机器人
CN112699938A (zh) * 2020-12-30 2021-04-23 北京邮电大学 一种基于图卷积网络模型的分类方法及装置
CN112699938B (zh) * 2020-12-30 2024-01-05 北京邮电大学 一种基于图卷积网络模型的分类方法及装置
CN113221957B (zh) * 2021-04-17 2024-04-16 南京航空航天大学 一种基于Centernet的雷达信息融合特征增强方法
CN113221957A (zh) * 2021-04-17 2021-08-06 南京航空航天大学 一种基于Centernet的雷达信息融合特征增强方法
CN113012074B (zh) * 2021-04-21 2023-03-24 山东新一代信息产业技术研究院有限公司 一种适用于低照度环境的智能图像处理方法
CN113012074A (zh) * 2021-04-21 2021-06-22 山东新一代信息产业技术研究院有限公司 一种适用于低照度环境的智能图像处理方法
CN113283475A (zh) * 2021-04-27 2021-08-20 南方电网数字电网研究院有限公司 目标检测方法、装置、设备和存储介质
CN113269702A (zh) * 2021-05-21 2021-08-17 中国矿业大学 基于跨尺度特征融合的低曝光静脉图像增强方法
CN113449070A (zh) * 2021-05-25 2021-09-28 北京有竹居网络技术有限公司 多模态数据检索方法、装置、介质及电子设备
CN113486716A (zh) * 2021-06-04 2021-10-08 电子科技大学长三角研究院(衢州) 机场场面目标分割方法及其系统
CN113744164A (zh) * 2021-11-05 2021-12-03 深圳市安软慧视科技有限公司 一种快速夜间低照度图像增强方法、系统及相关设备
CN114037938A (zh) * 2021-11-09 2022-02-11 桂林电子科技大学 一种基于NFL-Net的低照度目标检测方法
CN114037938B (zh) * 2021-11-09 2024-03-26 桂林电子科技大学 一种基于NFL-Net的低照度目标检测方法
CN114708615A (zh) * 2022-04-02 2022-07-05 西安电子科技大学广州研究院 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质
CN114708615B (zh) * 2022-04-02 2024-03-22 西安电子科技大学广州研究院 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质
CN115496993A (zh) * 2022-09-09 2022-12-20 锋睿领创(珠海)科技有限公司 基于频域融合的目标检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111882002B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN111882002B (zh) 一种基于msf-am的低照度目标检测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110210551B (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN111738344B (zh) 一种基于多尺度融合的快速目标检测方法
CN110533022B (zh) 一种目标检测方法、系统、装置及存储介质
CN107506792B (zh) 一种半监督的显著对象检测方法
CN111898439A (zh) 基于深度学习的交通场景联合目标检测和语义分割方法
CN112733693B (zh) 一种全局感知高分辨率遥感影像多尺度残差道路提取方法
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN112883887B (zh) 一种基于高空间分辨率光学遥感图像的建筑物实例自动提取方法
CN115393231B (zh) 一种缺陷图像的生成方法、装置、电子设备和存储介质
CN114842216A (zh) 一种基于小波变换的室内rgb-d图像语义分割方法
CN115294563A (zh) 一种基于Transformer的增强了局部语义学习能力的3D点云分析方法及装置
CN113420794A (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN116402679A (zh) 一种轻量级红外超分辨率自适应重建方法
CN112215334A (zh) 一种面向事件相机的神经网络模型压缩方法
CN116205962A (zh) 基于完整上下文信息的单目深度估计方法及系统
CN117422936B (zh) 一种遥感图像分类方法及系统
CN114998373A (zh) 基于多尺度损失函数的改进型U-Net云图分割方法
CN111027508A (zh) 一种基于深层神经网络的遥感图像覆被变化检测方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN117011655A (zh) 基于自适应区域选择特征融合方法、目标跟踪方法及系统
CN116309213A (zh) 一种基于生成对抗网络的高实时多源图像融合方法
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN114022371A (zh) 基于空间和通道注意力残差网络的去雾装置及其去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201103

Assignee: Guangxi pinri Electronic Technology Co.,Ltd.

Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY

Contract record no.: X2023980045442

Denomination of invention: A Low Illumination Target Detection Method Based on MSF-AM

Granted publication date: 20220524

License type: Common License

Record date: 20231101

EE01 Entry into force of recordation of patent licensing contract