CN111931857B - 一种基于mscff的低照度目标检测方法 - Google Patents
一种基于mscff的低照度目标检测方法 Download PDFInfo
- Publication number
- CN111931857B CN111931857B CN202010819355.9A CN202010819355A CN111931857B CN 111931857 B CN111931857 B CN 111931857B CN 202010819355 A CN202010819355 A CN 202010819355A CN 111931857 B CN111931857 B CN 111931857B
- Authority
- CN
- China
- Prior art keywords
- feature
- illumination
- prediction
- frame
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 136
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000001629 suppression Effects 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 34
- 238000005070 sampling Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 9
- 230000000295 complement effect Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000002790 cross-validation Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于MSCFF的低照度目标检测方法，其特征在于，包括如下步骤：1）依据公开标准数据集建立来源图像；2）光照估计的训练；3）特征提取的训练；4）训练目标检测提取预测框；5）对预测框进行非极大值抑制；6）对整个低照度目标检测网络进行Fine tuning与低照度图像目标检测。这种方法使得目标检测在低照度图像上特征图的表达能力更好、图像目标检测的精度更高。
Description
技术领域
本发明涉及图像增强和目标检测技术领域，具体是一种基于多尺度互补特征融合(Multi-Scale Complementary Feature Fusion，简称MSCFF)的低照度目标检测方法。
背景技术
目前图像的目标检测方法主要适用于正常环境光照下，但对于低照度环境下的图像进行目标检测时检测效果和检测精度不佳，这是因为低照度图像具有亮度低、对比度低、信噪比低及噪声污染大等特性，这些特性对图像的目标检测形成干扰，不利于图像的目标检测。
U-net是由Olaf Ronneberger等人在2015年提出的一种网络结构，它的产生极大地促进了医学图像分割的研究，U-net结构主要分为两部分：编码阶段和解码阶段，编码阶段类似于特征提取器，通过卷积和下采样操作获取上下文信息；解码阶段是编码阶段的对称过程，它由卷积和上采样操作组成，用于精确定位，U-Net中将对应编码结构层的输出作为解码结构层输入的一部分，可以克服编码过程中信息丢失的问题，有效提高生成图像的质量。
现在的图像目标检测模块，无论是Faster R-CNN网络还是Mask-rcnn网络，在特征提取过程中，都是先逐步下采样，再将得到的特征图送进区域建议网络生成先验框，在逐步下采样操作中，会造成低级特征信息的丢失，造成小物体检测精度低和检测速度慢，并且对于亮度低的低照度图像，没有考虑光照信息，导致低照度目标检测效果不佳。
发明内容
本发明的目的是针对现有图像目标检测技术的不足，而提供一种基于MSCFF的低照度目标检测方法。这种方法使得目标检测在低照度图像上特征图的表达能力更好、图像目标检测的精度更高。
实现本发明目的的技术方案是：
一种基于MSCFF的低照度目标检测方法，包括如下步骤：
1)依据公开标准数据集制作合成数据源：包括：
1-1)依据公开的SBD数据集合成低照度下的目标检测数据集，采用对正常照度图像添加高斯噪声、高斯滤波和伽马变换方式合成低照度图像，将正常照度图像与合成的低照度图像一一对应组成图像对，作为来源数据集，SBD数据集共包括11355张图像，包括8498张训练图像和2857张测试图像，本例从原训练集中抽取1498张图像作为交叉验证集，剩余7000张图像作为训练集；
1-2)将SBD数据集中的训练集作为正常照度图像训练集，对应的合成低照度图像作为低照度图像训练集，将SBD数据集中的测试集作为正常照度测试集，对应的合成低照度图像作为低照度图像测试集，数据集的分组情况如表1所示：
表1数据源
2)光照估计的训练：包括：
2-1)将低照度与正常照度图像训练集中的图像进行预处理，将这些图像的宽度和高度统一缩放至384*384像素；
2-2)对训练图像进行光照估计生成光照分布图，曝光注意力图能更好地引导后续进行照度增强，同时也具有降噪的作用，采用3组卷积核为3*3、stride＝2的卷积层和Relu激活函数进行下采样，3组卷积核为3*3，stride＝2的转置卷积层和Relu激活函数进行上采样，并在相对称的层之间加入跳跃连接，用于弥补特征提取过程中信息丢失的问题，其中光照估计过程的参数设置如表2所示：
表2光照估计参数设置
2-3)采用光照分布图与输入特征图计算曝光注意力图，将步骤2-2)得到的光照分布图与输入特征图送入公式(1)中计算曝光注意力图：
其中，x表示输入模块的特征图，xBEM表示光照分布图，max(·)表示返回三个颜色通道中的最大值；
2-4)将步骤2-3)得到的曝光注意力图与输入特征图相乘得到应用曝光注意力图的特征图，基于此特征图进行特征提取，可以更好的指导照度增强；
3)特征提取训练：首先，输入特征图进行3次下采样得到四个不同尺寸的特征图，然后，分别对四个特征图进行特征提取，最后，把四个特征图上采样到同一尺寸进行特征融合，将得到特征输出，包括：
3-1)采用下采样对输入特征图做三次下采样，将输入特征图分别调整为{384，192，96，48}四个尺寸，并对四个尺寸的特征图分别进行特征提取，下采样块采用双分支结构，一方面，采用池化核为3*3、stride＝2的平均池化层对输入特征图进行下采样，另一方面，采用卷积核为3*3、stride＝2的卷积层和Relu激活函数对输入特征图进行下采样，然后，通过Concat拼接两个下采样后特征图，并送入Relu激活函数进行非线性映射，得到{384，192，96，48}尺寸的特征图；
3-2)将步骤3-1)得到的四个尺寸的特征图进行互补特征提取训练提取特征，互补特征提取块采用双分支结构，分别用于正常感受野下提取普通特征和扩大感受野提取丰富的上下文信息；
3-3)分别采用上采样对{384，192，96，48}尺寸提取的特征图上采样{1，2，4，8}倍，首先，采用两组卷积核为3*3、stride＝2的卷积层和Relu激活函数提取特征；
3-4)将步骤3-3)输出特征图进行全局平均池化，首先，将特征图在空间维度进行特征压缩得到1*1*C的特征向量：
其次，采用两个卷积核为1*1、stride＝1的卷积层对向量进行权重学习，权重越大，表示相关度越高，代表此通道越值得注意，然后，采用Sigmoid激活函数将结果映射到(0,1)，得到权重向量CAVector：
CAVector(xin)＝S[Conv(Conv(vector(xin)))] (3)，
最后，将得到的权重向量与步骤3-3)输出的特征图各通道相乘，即可得到通道注意结果为：
3-5)采用卷积核3*3、stride＝2的转置卷积和Relu激活函数实现上采样，将输入特征图的尺寸扩大到原来的2倍；
3-6)对{192，96，48}尺寸特征图重复步骤3-3)、3-4)和3-5)，把特征图上采样到原尺寸的{2，4，8}倍，将四个特征图的尺寸统一到384*384；
3-7)将得到四个特征图从不同尺寸中提取的特征进行融合，采用Concat将四个特征图进行拼接并采用卷积核为3*3、stride＝1和卷积核为1*1、stride＝1的卷积层对拼接后的特征图进行特征提取；
3-8)分别采用卷积核为3*3、5*5、7*7和9*9的卷积层对融合后的特征进行不同尺度的特征提取；
3-9)采用Concat将通过多尺度提取的特征拼接并采用Channel Shuffle操作，把提取到的多尺度特征信息融合到不同的特征通道中，然后采用卷积核为3*3、stride＝1的卷积层对Concat融合后的特征信息进行特征提取，能提高多尺度特征信息的利用率；
3-10)将经过步骤2)光照估计后输出的特征图作恒等映射与步骤3-9)特征融输出特征图进行相加，能弥补在特征提取过程中丢失的信息；
3-11)将低照度图像和正常照度图像经过特征提取得到的特征图进行内容损失函数的计算，损失函数采用L2 norm损失函数，L2 norm损失函数通过计算增强图像和真实图像的均方误差，能很好地度量两张图像像素之间的不同，为公式(5)：
其中，n为样本总数，yi为第i个实际样本值，f(xi)为第i个预测样本值；Loss(x,y)的均值误差越小，表示低照度图像与正常照度图像提取到的特征越相似并且网络的提取能力越强；反之，表示低照度图像与正常照度图像提取到的特征越不相似并且网络的提取能力越弱；
4)训练提取预测框：这个过程用于从特征层中预测先验框和先验框的类别，把特征提取得到的特征图进行6次下采样，得到6张不同尺寸的特征图，基于这些特征图获得分类预测和回归预测，包括：
4-1)采用卷积层进行回归预测和分类预测并生成先验框：采用卷积核为3*3、stride＝1、channel_num＝num_priors*4的卷积层进行回归预测并得到先验框，num_priors*4中num_priors表示该特征层中所拥有的先验框的数量，如表3所示，4表示先验框调整参数量，包括(x,y,w,h)，x,y代表先验框中心的坐标，w,h是先验框的宽度和高度：
表3不同尺寸特征层的先验框数量设置
4-2)采用卷积核为3*3、stride＝1，channel＝num_priors*num_classes的卷积层进行分类预测，其中num_classes表示目标检测结果的类别数；
4-3)利用步骤4-1)得到的回归预测结果计算调整先验框，以得到预测框的位置：
Prior′(x,y)＝Prior(x,y)+Reg(x,y)*Prior(w,h)*α (6)
Prior′(w,h)＝Prior(w,h)+Reg(w,h)*β (7)
其中，Prior(*)表示先验框的调整参数，Prior′(*)表示预测框的调整参数，Reg(*)表示回归预测结果的调整参数，α和β为调整系数，默认取值为0.1和0.2；
5)对预测框进行非极大值抑制：包括：
5-1)计算类别列表中第一个类别所有预测框的面积，并把这些预测框按分类置信度从小到大进行排序；
5-2)计算前k个预测框与分类置信度最大框的重叠面积，并算出它们的IOU：
其中，box1和box2分别代表预测框和分类置信度最大框；
5-3)去掉与分类置信度最大框的IOU大于overlap阈值的预测框,overlap阈值取值范围一般为[0.3,0.5]，至此，该类第一个分类置信度最大框完成，将当前预测框从预测框列表中去掉，保存到最终预测框列表中；
5-4)重复步骤5-1)-步骤5-3)筛选预测框列表中其它预测框，直到当前类别预测框列表中只剩一个预测框，达到去除重复框的目的，至此，完成对一个类别非极大值抑制的过程；
5-5)重复步骤5-1)-步骤5-4)，对其它所有类别进行非极大值抑制，达到去除所有类别冗余预测框的目的；
5-6)结合步骤5-1)-步骤5-5)得到的回归预测结果，分类置信度和先验框计算位置损失和置信度损失的加权和作为目标检测模块的总损失，使预测框与真实框之间差距最小：
其中，N是先验框中正样本的数量，
为指示参数，当
时表示第i个先验框与第j个ground truth匹配，并且ground truth的类别为k，c为类别置信度预测框，l为先验框的所有对应边界框的位置预测框，g是ground truth的位置参数，λ表示权重系数，默认值为1；
6)进行Fine tuning与低照度图像目标检测：
6-1)将正常照度和低照度图像交叉验证集送入经过步骤1)-步骤5)训练后的MSCFF网络中进行Fine tuning操作，将Fine tuning后的MSCFF网络结构及参数作为最终用于低照度图像检测的结构及参数；
6-1)将低照度图像测试集送入Fine tuning后的MSCFF网络，得到目标检测结果，完成对低照度图像的目标检测操作。
步骤4-1)中所述的生成先验框的过程为：
每个特征图的先验框尺寸计算如公式(13)所示：
其中smin为0.2且smax为0.9，为先验框设置不同的宽高比，并将先验框的宽高比表示为
计算每个默认框的宽度
和高度
当长宽比为1时，添加一个先验框，先验框的宽高比为
从而在每个网格中产生4个先验框，将每个先验框的中心设置为
其中|fk|是第k个正方形特征图i的大小，i,j∈[0,|fk|]。
本技术方案解决的是目标检测中，由于在低照度环境下，目标成像过暗、模糊不清细节丢失严重导致的检测精度不佳的问题，首先，本技术方案采用光照估计模块生成曝光注意力用于引导特征提取模块进行照度增强，其次，采用对4个不同尺度的特征图进行特征提取；再次，使用多尺度与Channel Shuffle操作融合的特征融合块得到最终特征图；最后，通过回归预测和分类预测对最终特征图进行目标检测，得到精确地低照度图像目标检测结果。
这种方法使得目标检测在低照度图像上特征图的表达能力更好、图像目标检测的精度更高。
附图说明
图1为实施例的方法流程示意图；
图2为实施例中光照估计过程原理示意图；
图3为实施例中下采样过程原理示意图；
图4为实施例中互补特征提取过程原理示意图；
图5为实施例中上采样块结构过程原理示意图；
图6为实施例中特征融合块结构过程原理示意图。
具体实施方式
下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。
实施例：
参照图1，一种基于MSCFF的低照度目标检测方法，包括如下步骤：
1)依据公开标准数据集制作合成数据源：包括：
1-1)依据公开的SBD数据集合成低照度下的目标检测数据集，采用对正常照度图像添加高斯噪声、高斯滤波和伽马变换方式合成低照度图像，将正常照度图像与合成的低照度图像一一对应组成图像对，作为来源数据集，SBD数据集共包括11355张图像，包括8498张训练图像和2857张测试图像，本例从原训练集中抽取1498张图像作为交叉验证集，剩余7000张图像作为训练集；
1-2)将SBD数据集中的训练集作为正常照度图像训练集，对应的合成低照度图像作为低照度图像训练集，将SBD数据集中的测试集作为正常照度测试集，对应的合成低照度图像作为低照度图像测试集，数据集的分组情况如表1所示：
表1
2)光照估计的训练：包括：
2-1)将低照度与正常照度图像训练集中的图像进行预处理，将这些图像的宽度和高度统一缩放至384*384像素；
2-2)参照图2，对训练图像进行光照估计生成光照分布图，曝光注意力图能更好地引导后续进行照度增强，同时也具有降噪的作用，采用3组卷积核为3*3、stride＝2的卷积层和Relu激活函数进行下采样，3组卷积核为3*3，stride＝2的转置卷积层和Relu激活函数进行上采样，并在相对称的层之间加入跳跃连接，用于弥补特征提取过程中信息丢失的问题，其中光照估计过程的参数设置如表2所示：
表2光照估计参数设置
2-3)采用光照分布图与输入特征图计算曝光注意力图，将步骤2-2)得到的光照分布图与输入特征图送入公式(1)中计算曝光注意力图：
其中，x表示输入模块的特征图，xBEM表示光照分布图，max(·)表示返回三个颜色通道中的最大值；
2-4)将步骤2-3)得到的曝光注意力图与输入特征图相乘得到应用曝光注意力图的特征图，基于此特征图进行特征提取，可以更好的指导照度增强；
3)特征提取训练：首先，输入特征图进行3次下采样得到四个不同尺寸的特征图，然后，分别对四个特征图进行特征提取，最后，把四个特征图上采样到同一尺寸进行特征融合，将得到特征输出，包括：
3-1)参照图3，采用下采样对输入特征图做三次下采样，将输入特征图分别调整为{384，192，96，48}四个尺寸，并对四个尺寸的特征图分别进行特征提取，下采样块采用双分支结构，一方面，采用池化核为3*3、stride＝2的平均池化层对输入特征图进行下采样，另一方面，采用卷积核为3*3、stride＝2的卷积层和Relu激活函数对输入特征图进行下采样，然后，通过Concat拼接两个下采样后特征图，并送入Relu激活函数进行非线性映射，得到{384，192，96，48}尺寸的特征图；
3-2)参照图4，将步骤3-1)得到的四个尺寸的特征图进行互补特征提取训练提取特征，互补特征提取块采用双分支结构，分别用于正常感受野下提取普通特征和扩大感受野提取丰富的上下文信息；
3-3)参照图5，分别采用上采样对{384，192，96，48}尺寸提取的特征图上采样{1，2，4，8}倍，首先，采用两组卷积核为3*3、stride＝2的卷积层和Relu激活函数提取特征；
3-4)将步骤3-3)输出特征图进行全局平均池化，首先，将特征图在空间维度进行特征压缩得到1*1*C的特征向量：
其次，采用两个卷积核为1*1、stride＝1的卷积层对向量进行权重学习，权重越大，表示相关度越高，代表此通道越值得注意，然后，采用Sigmoid激活函数将结果映射到(0,1)，得到权重向量CAVector：
CAVector(xin)＝S[Conv(Conv(vector(xin)))] (3)，
最后，将得到的权重向量与步骤3-3)输出的特征图各通道相乘，即可得到通道注意结果为：
3-5)采用卷积核3*3、stride＝2的转置卷积和Relu激活函数实现上采样，将输入特征图的尺寸扩大到原来的2倍；
3-6)对{192，96，48}尺寸特征图重复步骤3-3)、3-4)和3-5)，把特征图上采样到原尺寸的{2，4，8}倍，将四个特征图的尺寸统一到384*384；
3-7)参照图6，将得到四个特征图从不同尺寸中提取的特征进行融合，采用Concat将四个特征图进行拼接并采用卷积核为3*3、stride＝1和卷积核为1*1、stride＝1的卷积层对拼接后的特征图进行特征提取；
3-8)分别采用卷积核为3*3、5*5、7*7和9*9的卷积层对融合后的特征进行不同尺度的特征提取；
3-9)采用Concat将通过多尺度提取的特征拼接并采用Channel Shuffle操作，把提取到的多尺度特征信息融合到不同的特征通道中，然后采用卷积核为3*3、stride＝1的卷积层对Concat融合后的特征信息进行特征提取，能提高多尺度特征信息的利用率；
3-10)将经过步骤2)光照估计后输出的特征图作恒等映射与步骤3-9)特征融输出特征图进行相加，能弥补在特征提取过程中丢失的信息；
3-11)将低照度图像和正常照度图像经过特征提取得到的特征图进行内容损失函数的计算，损失函数采用L2 norm损失函数，L2 norm损失函数通过计算增强图像和真实图像的均方误差，能很好地度量两张图像像素之间的不同，为公式(5)：
其中，n为样本总数，yi为第i个实际样本值，f(xi)为第i个预测样本值；Loss(x,y)的均值误差越小，表示低照度图像与正常照度图像提取到的特征越相似并且网络的提取能力越强；反之，表示低照度图像与正常照度图像提取到的特征越不相似并且网络的提取能力越弱；
4)训练提取预测框：这个过程用于从特征层中预测先验框和先验框的类别，把特征提取得到的特征图进行6次下采样，得到6张不同尺寸的特征图，基于这些特征图获得分类预测和回归预测，包括：
4-1)采用卷积层进行回归预测和分类预测并生成先验框：采用卷积核为3*3、stride＝1、channel_num＝num_priors*4的卷积层进行回归预测并得到先验框，num_priors*4中num_priors表示该特征层中所拥有的先验框的数量，如表3所示，4表示先验框调整参数量，包括(x,y,w,h)，x,y代表先验框中心的坐标，w,h是先验框的宽度和高度：
表3不同尺寸特征层的先验框数量设置
4-2)采用卷积核为3*3、stride＝1，channel＝num_priors*num_classes的卷积层进行分类预测，其中num_classes表示目标检测结果的类别数；
4-3)利用步骤4-1)得到的回归预测结果计算调整先验框，以得到预测框的位置：
Prior′(x,y)＝Prior(x,y)+Reg(x,y)*Prior(w,h)*α (6)
Prior′(w,h)＝Prior(w,h)+Reg(w,h)*β (7)
其中，Prior(*)表示先验框的调整参数，Prior′(*)表示预测框的调整参数，Reg(*)表示回归预测结果的调整参数，α和β为调整系数，默认取值为0.1和0.2；
5)对预测框进行非极大值抑制：包括：
5-1)计算类别列表中第一个类别所有预测框的面积，并把这些预测框按分类置信度从小到大进行排序；
5-2)计算前k个预测框与分类置信度最大框的重叠面积，并算出它们的IOU：
其中，box1和box2分别代表预测框和分类置信度最大框；
5-3)去掉与分类置信度最大框的IOU大于overlap阈值的预测框,overlap阈值取值范围一般为[0.3,0.5]，至此，该类第一个分类置信度最大框完成，将当前预测框从预测框列表中去掉，保存到最终预测框列表中；
5-4)重复步骤5-1)-步骤5-3)筛选预测框列表中其它预测框，直到当前类别预测框列表中只剩一个预测框，达到去除重复框的目的，至此，完成对一个类别非极大值抑制的过程；
5-5)重复步骤5-1)-步骤5-4)，对其它所有类别进行非极大值抑制，达到去除所有类别冗余预测框的目的；
5-6)结合步骤5-1)-步骤5-5)得到的回归预测结果，分类置信度和先验框计算位置损失和置信度损失的加权和作为目标检测模块的总损失，使预测框与真实框之间差距最小：
其中，N是先验框中正样本的数量，
为指示参数，当
时表示第i个先验框与第j个ground truth匹配，并且ground truth的类别为k，c为类别置信度预测框，l为先验框的所有对应边界框的位置预测框，g是ground truth的位置参数，λ表示权重系数，默认值为1；
6)进行Fine tuning与低照度图像目标检测：
6-1)将正常照度和低照度图像交叉验证集送入经过步骤1)-步骤5)训练后的MSCFF网络中进行Fine tuning操作，将Fine tuning后的MSCFF网络结构及参数作为最终用于低照度图像检测的结构及参数；
6-1)将低照度图像测试集送入Fine tuning后的MSCFF网络，得到目标检测结果，完成对低照度图像的目标检测操作。
2.根据权利要求1所述的基于MSCFF的低照度目标检测方法，其特征在于，步骤4-1)中所述的生成先验框的过程为：
本例采用4个不同尺寸的特征图来预测，每个特征图的先验框尺寸计算如公式(13)所示：
其中smin为0.2且smax为0.9，本例为先验框设置不同的宽高比，并将先验框的宽高比表示为
计算每个默认框的宽度
和高度
当长宽比为1时，本例添加一个先验框，先验框宽高比为
从而在每个网格中产生4个先验框，本例将每个先验框的中心设置为
其中|fk|是第k个正方形特征图i的大小，i,j∈[0,|fk|]。
本技术方案解决的是目标检测中，由于在低照度环境下，目标成像过暗、模糊不清细节丢失严重导致的检测精度不佳的问题，首先，本技术方案采用光照估计模块生成曝光注意力用于引导特征提取模块进行照度增强，其次，采用对4个不同尺度的特征图进行特征提取；再次，使用多尺度与Channel Shuffle操作融合的特征融合块得到最终特征图；最后，通过回归预测和分类预测对最终特征图进行目标检测，得到精确地低照度图像目标检测结果。
Claims (2)
1.一种基于MSCFF的低照度目标检测方法，其特征在于，包括如下步骤：
1)依据公开标准数据集制作合成数据源：包括：
1-1)依据公开的SBD数据集合成低照度下的目标检测数据集，采用对正常照度图像添加高斯噪声、高斯滤波和伽马变换方式合成低照度图像，将正常照度图像与合成的低照度图像一一对应组成图像对，作为来源数据集；
1-2)将SBD数据集中的训练集作为正常照度图像训练集，对应的合成低照度图像作为低照度图像训练集，将SBD数据集中的测试集作为正常照度测试集，对应的合成低照度图像作为低照度图像测试集，数据集的分组情况如表1所示：
表1
2)光照估计的训练：包括：
2-1)将低照度与正常照度图像训练集中的图像进行预处理，将这些图像的宽度和高度统一缩放至384*384像素；
2-2)对训练图像进行光照估计生成光照分布图：采用3组卷积核为3*3、stride＝2的卷积层和Relu激活函数进行下采样，3组卷积核为3*3，stride＝2的转置卷积层和Relu激活函数进行上采样，并在相对称的层之间加入跳跃连接，其中光照估计过程的参数设置如表2所示：
表2光照估计参数设置
2-3)采用光照分布图与输入特征图计算曝光注意力图，将步骤2-2)得到的光照分布图与输入特征图送入公式(1)中计算曝光注意力图：
其中，x表示输入模块的特征图，xBEM表示光照分布图，max(·)表示返回三个颜色通道中的最大值；
2-4)将步骤2-3)得到的曝光注意力图与输入特征图相乘得到应用曝光注意力图的特征图，基于此特征图进行特征提取；
3)特征提取训练：首先，输入特征图进行3次下采样得到四个不同尺寸的特征图，然后，分别对四个特征图进行特征提取，最后，把四个特征图上采样到同一尺寸进行特征融合，将得到特征输出，包括：
3-1)采用下采样对输入特征图做三次下采样，将输入特征图分别调整为{384，192，96，48}四个尺寸，并对四个尺寸的特征图分别进行特征提取，下采样块采用双分支结构，一方面，采用池化核为3*3、stride＝2的平均池化层对输入特征图进行下采样，另一方面，采用卷积核为3*3、stride＝2的卷积层和Relu激活函数对输入特征图进行下采样，然后，通过Concat拼接两个下采样后特征图，并送入Relu激活函数进行非线性映射，得到{384，192，96，48}尺寸的特征图；
3-2)将步骤3-1)得到的四个尺寸的特征图进行互补特征提取训练提取特征，互补特征提取块采用双分支结构，分别用于正常感受野下提取普通特征和扩大感受野提取丰富的上下文信息；
3-3)分别采用上采样对{384，192，96，48}尺寸提取的特征图上采样{1，2，4，8}倍，首先，采用两组卷积核为3*3、stride＝2的卷积层和Relu激活函数提取特征；
3-4)将步骤3-3)输出特征图进行全局平均池化，首先，将特征图在空间维度进行特征压缩得到1*1*C的特征向量：
其次，采用两个卷积核为1*1、stride＝1的卷积层对向量进行权重学习，权重越大，表示相关度越高，代表此通道越值得注意，然后，采用Sigmoid激活函数将结果映射到(0,1)，得到权重向量CAVector：
CAVector(xin)＝S[Conv(Conv(vector(xin)))] (3)，
最后，将得到的权重向量与步骤3-3)输出的特征图各通道相乘，即可得到通道注意结果为：
3-5)采用卷积核3*3、stride＝2的转置卷积和Relu激活函数实现上采样，将输入特征图的尺寸扩大到原来的2倍；
3-6)对{192，96，48}尺寸特征图重复步骤3-3)、3-4)和3-5)，把特征图上采样到原尺寸的{2，4，8}倍，将四个特征图的尺寸统一到384*384；
3-7)将得到四个特征图从不同尺寸中提取的特征进行融合，采用Concat将四个特征图进行拼接并采用卷积核为3*3、stride＝1和卷积核为1*1、stride＝1的卷积层对拼接后的特征图进行特征提取；
3-8)分别采用卷积核为3*3、5*5、7*7和9*9的卷积层对融合后的特征进行不同尺度的特征提取；
3-9)采用Concat将通过多尺度提取的特征拼接并采用Channel Shuffle操作，把提取到的多尺度特征信息融合到不同的特征通道中，然后采用卷积核为3*3、stride＝1的卷积层对Concat融合后的特征信息进行特征提取；
3-10)将经过步骤2)光照估计后输出的特征图作恒等映射与步骤3-9)特征融输出特征图进行相加；
3-11)将低照度图像和正常照度图像经过特征提取得到的特征图进行内容损失函数的计算，损失函数采用L2 norm损失函数，L2 norm损失函数通过计算增强图像和真实图像的均方误差，为公式(5)：
其中，n为样本总数，yi为第i个实际样本值，f(xi)为第i个预测样本值；Loss(x,y)的均值误差越小，表示低照度图像与正常照度图像提取到的特征越相似并且网络的提取能力越强；反之，表示低照度图像与正常照度图像提取到的特征越不相似并且网络的提取能力越弱；
4)训练提取预测框：这个过程用于从特征层中预测先验框和先验框的类别，把特征提取得到的特征图进行6次下采样，得到6张不同尺寸的特征图，基于这些特征图获得分类预测和回归预测，包括：
4-1)采用卷积层进行回归预测和分类预测并生成先验框：采用卷积核为3*3、stride＝1、channel_num＝num_priors*4的卷积层进行回归预测并得到先验框，num_priors*4中num_priors表示该特征层中所拥有的先验框的数量，如表3所示，4表示先验框调整参数量，包括(x,y,w,h)，x,y代表先验框中心的坐标，w,h是先验框的宽度和高度：
表3不同尺寸特征层的先验框数量设置
4-2)采用卷积核为3*3、stride＝1，channel＝num_priors*num_classes的卷积层进行分类预测，其中num_classes表示目标检测结果的类别数；
4-3)利用步骤4-1)得到的回归预测结果计算调整先验框，以得到预测框的位置：
Prior′(x,y)＝Prior(x,y)+Reg(x,y)*Prior(w,h)*α (6)
Prior′(w,h)＝Prior(w,h)+Reg(w,h)*β (7)
其中，Prior(*)表示先验框的调整参数，Prior′(*)表示预测框的调整参数，Reg(*)表示回归预测结果的调整参数，α和β为调整系数，默认取值为0.1和0.2；
5)对预测框进行非极大值抑制：包括：
5-1)计算类别列表中第一个类别所有预测框的面积，并把这些预测框按分类置信度从小到大进行排序；
5-2)计算前k个预测框与分类置信度最大框的重叠面积，并算出它们的IOU：
其中，box1和box2分别代表预测框和分类置信度最大框；
5-3)去掉与分类置信度最大框的IOU大于overlap阈值的预测框,overlap阈值取值范围为[0.3,0.5]，将当前预测框从预测框列表中去掉，保存到最终预测框列表中；
5-4)重复步骤5-1)-步骤5-3)筛选预测框列表中其它预测框，直到当前类别预测框列表中只剩一个预测框；
5-5)重复步骤5-1)-步骤5-4)，对其它所有类别进行非极大值抑制；
5-6)结合步骤5-1)-步骤5-5)得到的回归预测结果，分类置信度和先验框计算位置损失和置信度损失的加权和作为目标检测模块的总损失，使预测框与真实框之间差距最小：
其中，N是先验框中正样本的数量，
为指示参数，当
时表示第i个先验框与第j个ground truth匹配，并且ground truth的类别为k，c为类别置信度预测框，l为先验框的所有对应边界框的位置预测框，g是ground truth的位置参数，λ表示权重系数，默认值为1；
6)进行Fine tuning与低照度图像目标检测：
6-1)将正常照度和低照度图像交叉验证集送入经过步骤1)-步骤5)训练后的MSCFF网络中进行Fine tuning操作，将Fine tuning后的MSCFF网络结构及参数作为最终用于低照度图像检测的结构及参数；
6-1)将低照度图像测试集送入Fine tuning后的MSCFF网络，得到目标检测结果，完成对低照度图像的目标检测操作。
2.根据权利要求1所述的基于MSCFF的低照度目标检测方法，其特征在于，步骤4-1)中所述的生成先验框的过程为：
每个特征图的先验框尺寸计算如公式(13)所示：
其中smin为0.2且smax为0.9，为先验框设置不同的宽高比，并将先验框的高宽比表示为
计算每个默认框的宽度
和高度
当宽高比为1时，添加一个先验框，先验框宽高比为
从而在每个网格中产生4个先验框，将每个先验框的中心设置为
其中|fk|是第k个正方形特征图i的大小，i,j∈[0,|fk|]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010819355.9A CN111931857B (zh) | 2020-08-14 | 2020-08-14 | 一种基于mscff的低照度目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010819355.9A CN111931857B (zh) | 2020-08-14 | 2020-08-14 | 一种基于mscff的低照度目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111931857A CN111931857A (zh) | 2020-11-13 |
| CN111931857B true CN111931857B (zh) | 2022-09-02 |
Family
ID=73311080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010819355.9A Active CN111931857B (zh) | 2020-08-14 | 2020-08-14 | 一种基于mscff的低照度目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111931857B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465736B (zh) * | 2020-11-18 | 2023-03-24 | 武汉理工大学 | 一种用于港口船舶监控的红外视频图像增强方法 |
| CN114821318B (zh) * | 2022-04-26 | 2024-03-19 | 桂林电子科技大学 | 一种基于Darkdet-Net的低照度小样本目标检测方法 |
| CN115661500B (zh) * | 2022-12-27 | 2023-04-28 | 南京邮电大学 | 基于二阶分布及不确定性感知聚类融合的目标检测方法 |
| CN116468973B (zh) * | 2023-06-09 | 2023-10-10 | 深圳比特微电子科技有限公司 | 用于低照度图像的目标检测模型的训练方法、装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242788A (zh) * | 2018-08-21 | 2019-01-18 | 福州大学 | 一种基于编码-解码卷积神经网络低照度图像优化方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263660A (zh) * | 2019-05-27 | 2019-09-20 | 魏运 | 一种自适应场景变化的交通目标检测识别方法 |
| CN110717858B (zh) * | 2019-10-09 | 2023-04-07 | 济源职业技术学院 | 低光照度环境下的图像预处理方法及装置 |
| CN110689021A (zh) * | 2019-10-17 | 2020-01-14 | 哈尔滨理工大学 | 一种基于深度学习的低可见度环境下实时目标检测方法 |
| CN111008608B (zh) * | 2019-12-11 | 2023-08-01 | 湖南大学 | 一种基于深度学习的夜间车辆检测方法 |
| CN111310862B (zh) * | 2020-03-27 | 2024-02-09 | 西安电子科技大学 | 复杂环境下基于图像增强的深度神经网络车牌定位方法 |
-
2020
- 2020-08-14 CN CN202010819355.9A patent/CN111931857B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242788A (zh) * | 2018-08-21 | 2019-01-18 | 福州大学 | 一种基于编码-解码卷积神经网络低照度图像优化方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111931857A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111931857B (zh) | 一种基于mscff的低照度目标检测方法 | |
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| CN110992275B (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN110111366B (zh) | 一种基于多级损失量的端到端光流估计方法 | |
| CN109035149B (zh) | 一种基于深度学习的车牌图像去运动模糊方法 | |
| CN112396607B (zh) | 一种可变形卷积融合增强的街景图像语义分割方法 | |
| CN111754438B (zh) | 基于多分支门控融合的水下图像复原模型及其复原方法 | |
| US7187811B2 (en) | Method for image resolution enhancement | |
| CN111695633B (zh) | 基于rpf-cam的低照度目标检测方法 | |
| CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
| CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN112365514A (zh) | 基于改进PSPNet的语义分割方法 | |
| CN113066025B (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN114048822A (zh) | 一种图像的注意力机制特征融合分割方法 | |
| CN112651917A (zh) | 一种基于生成对抗网络的空间卫星低照度图像增强方法 | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN111798469A (zh) | 基于深度卷积神经网络的数字图像小数据集语义分割方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN117456330A (zh) | 一种基于MSFAF-Net的低照度目标检测方法 | |
| CN112132839B (zh) | 一种基于深度卷积级联网络的多尺度快速人脸分割方法 | |
| CN113627481A (zh) | 一种面向智慧园林的多模型组合的无人机垃圾分类方法 | |
| CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
| CN110415816B (zh) | 一种基于迁移学习的皮肤病临床图像多分类方法 | |
| CN117409244A (zh) | 一种SCKConv多尺度特征融合增强的低照度小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201113 Assignee: Guangxi pinri Electronic Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980045442 Denomination of invention: A Low Illumination Target Detection Method Based on MSCFF Granted publication date: 20220902 License type: Common License Record date: 20231101 |
|
| EE01 | Entry into force of recordation of patent licensing contract |