CN114037938A - 一种基于NFL-Net的低照度目标检测方法 - Google Patents
一种基于NFL-Net的低照度目标检测方法 Download PDFInfo
- Publication number
- CN114037938A CN114037938A CN202111322259.4A CN202111322259A CN114037938A CN 114037938 A CN114037938 A CN 114037938A CN 202111322259 A CN202111322259 A CN 202111322259A CN 114037938 A CN114037938 A CN 114037938A
- Authority
- CN
- China
- Prior art keywords
- feature
- pixel
- layer
- branch
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000005286 illumination Methods 0.000 title claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims description 51
- 238000011176 pooling Methods 0.000 claims description 46
- 238000010586 diagram Methods 0.000 claims description 36
- 238000013139 quantization Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000011002 quantification Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 230000002401 inhibitory effect Effects 0.000 claims 1
- 238000012797 qualification Methods 0.000 claims 1
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 5
- 239000013589 supplement Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于NFL‑Net的低照度目标检测方法，所述方法包括如下步骤：1）对低照度图像数据集进行处理和划分；2）训练NorexNet网络对输入的低照度图像进行特征提取；3）构造SM‑FPN网络对特征图进行多尺度特征的融合；4）在模型的检测头结构中添加位置注意力模块；5）对整体模型进行训练并采用逐像素检测的方式对图像进行目标检测。这种方法能够不受低光照环境下拍摄的影响，对于产生的低照度图像仍然可以进行很好地识别来检测出图像中的目标对象。
Description
技术领域
本发明涉及深度学习、低照度图像增强以及目标检测技术，具体是一种基于NFL-Net的低照度目标检测方法。
背景技术
目标检测是计算机视觉领域的重要任务之一，在许多实际场景中具有广泛的应用，例如自动驾驶技术、实例分割操作和行人检测任务等等。在目标检测的应用场景中，照明度是影响检测精度的一个很重要因素。
低照度图像是在夜晚或者光照环境较差的条件下拍摄时所生成的图片。不充分的光照会严重损害并降低图像的视觉质量，可见度低、对比度差和存在色彩偏差等缺点不仅令人眼对图像的主观感受产生偏差，而且对于计算机视觉网络来说要识别低照度图像上的目标对象也具有一定的难度。
现有的许多目标检测模型往往需要在正常照明的条件才能有效运行，而在处理低照度图像时的性能往往不尽如人意。为了在低照度场景下进行目标检测任务时的检测精度能够与在正常光照条件下进行目标检测的效果水平相当，急需一种有效的低照度目标检测方法。
发明内容
本发明的目的是针对现有技术的不足，而提供一种基于NFL-Net的低照度目标检测方法。这种方法能够不受低光照环境下拍摄图像的影响，对低照度图像进行识别、检测出图像中的目标对象。
实现本发明目的的技术方案是：
一种基于NFL-Net的低照度目标检测方法，包括如下步骤：
1)对低照度图像数据集ExDark进行处理和划分，过程为：
1-1)ExDark数据集共计7363张低照度图像，包含12个常规目标类别，将整个数据集以8:2的比例划分成两部分，其中80％为训练集，共5891张图片；20％为测试集，共1472张图片，数据集划分情况为表1所示，
表1：
1-2)将所有低照度图片进行预处理，使图像缩放到统一的长×宽为608×608；
2)训练NorexNet网络对输入的低照度图像进行特征提取：过程包括：
2-1)NorexNet网络设有5个特征提取层，第1个特征提取层由1个3×3卷积层和一个最大池化层构成，第2至第5个特征提取层由固定数目的BIS Block拼接而成，由于低照度图像往往具有可见度低、对比度差和存在色彩偏差等缺点，所以通过简单地堆积卷积层并不能很好地进行特征提取，如果在模型训练过程中不能学习到丰富的特征信息，将会影响最终的检测精度，为了提高模型对低照度图像的特征提取能力，在BIS Block的结构中采用3种归一化操作加强对低照度图像的特征处理，再利用卷积层进行特征提取，3种归一化操作分别是：批次归一化Batch normalization、实例归一化Instance normalization和自适配归一化Switchable normalization，批次归一化注重对每个批次进行归一化，从而保证数据分布的一致性，能够很好地处理特征图的基础信息，比如挖掘图像色彩饱和度和亮度中照明偏亮的部分；实例归一化则更注重维护图片的风格信息，使用实例归一化不仅可以加速模型收敛，并且可以保持图像中各个实例对象之间的独立，不让它们混淆，避免造成特征模糊；自适配归一化通过可微分学习，对当前处理的数据自适应地选择合适的归一化操作；
2-2)将步骤1-2)中预处理后的低照度图像作为NorexNet网络的输入，训练NorexNet网络对低照度图像进行特征提取，NorexNet网络的5个特征提取层的输出特征图的尺寸分别为：304×304×64、152×152×256、76×76×512，记为C3；38×38×1024，记为C4和19×19×2048，记为C5；
3)构造SM-FPN网络对特征图进行多尺度特征的融合：过程包括：
3-1)将步骤2-2)得到的输出特征图C3、C4和C5作为SM-FPN网络的三个输入，SM-FPN网络设有一个主干结构和两个分支路径，采用C3、C4和C5构建一个使得特征信息自上而下多尺度融合的主干结构，另外，在自上而下的分支路径中添加子像素上采样模块SPUS、在自下而上的分支路径中添加池化下采样模块MADS，在子像素上采样模块SPUS中添加子像素卷积层，子像素卷积层通过自适应调整像素的方式进行上采样，能够有效地减少特征融合时产生的噪声；在池化下采样模块MADS中采用最大池化层来实现下采样，从而减小计算量和内存消耗，同时添加空洞卷积层通过设置适当的扩张率可以在不改变输出图像尺寸的情况下增大感受野，从而捕获更广范围的目标特征，添加的两个分支路径的目的是为了更好地进行特征信息融合，让高层特征图中丰富的语义信息向下流动，同时让低层特征图中准确的目标位置信息向上传输；
3-2)训练SM-FPN网络对特征图进行多尺度融合，丰富的特征信息有利于模型进行目标检测时更准确地识别目标类别，SM-FPN网络的输出结果是三个已经完成特征融合的特征图，这三个输出特征图的尺寸分别为：76×76×256，记为P3；38×38×512，记为P4；19×19×1024，记为P5；
4)在模型的检测头结构中添加位置注意力模块Location-AM：过程包括：
4-1)设计位置注意力模块Location-AM并将其插入模型的检测头结构中，从而提高模型进行目标检测时判断目标位置信息的准确性，该位置注意力模块Location-AM对特征图沿着水平和垂直两个方向聚合特征信息进行编码，在捕获长距离依赖关系的同时，能够保留预测目标在水平和垂直方向上的位置信息；
4-2)将步骤3-2)得到的三个特征图P3、P4和P5先通过位置注意力模块Location-AM，然后输出的结果，分别记为P3'、P4'和P5'被送入模型的检测头结构进行最终目标检测；
5)对整体模型进行训练并采用逐像素检测的方式对图像进行目标检测：过程包括：
5-1)模型检测头结构设有3个头部预测层，将步骤4-2)中的3个不同尺寸的P3'、P4'和P5'分别送入3个头部预测层以获取预测结果，3个头部预测层能够在不同特征层级之间共享参数，每一个头部预测层首先经过连续的4个卷积层：1个1×1卷积层，步长为1、填充为0、输出通道数为256和3个3×3卷积层，步长为1、填充为1、输出通道数为256，然后形成三路分支，第一个分支用于类别分类Classification的预测；第二个分支用于位置回归Regression的预测，第三个分支中心量化Cen-quantification用于计算当前像素点位置到涉及该像素点的真实边界框Ground-truth box中包含的目标对象的中心的量化距离；
5-2)NFL-Net以逐像素方式来进行目标检测：概括来说，给定输入的低照度图像，将低照度图像采用步骤1-步骤5-1)的方式对图像进行处理，最后获得特征图上每个位置的分类得分Kx,y、回归预测Gx,y和量化距离Qx,y，并获得对目标对象预测的边界框；
5-3)整体模型在训练过程中的损失函数定义如公式(1)所示：
损失函数由三部分构成，分别是类别分类损失、位置回归损失和中心量化损失，其中，NP表示正样本数，Kx,y表示位置(x,y)上的分类得分，Gx,y表示位置(x,y)上的回归预测，Qx,y表示位置(x,y)上的量化距离，特征图上前景即存在目标对象和背景即无目标对象区域的过渡部分称为难样本，由于采用逐像素方式进行目标检测，在训练过程中对难样本的检测会比较困难，因此第一项类别分类损失采用的是Focal loss损失函数，能够动态地缩放交叉熵，随着正确类别的置信度增加，控制缩放因子逐渐衰减，从而在训练时更好地专注于难分类的样本，从而提升难样本的检出率；第二项位置回归损失采用的是CIoU loss损失函数，侧重于交并区域、中心点距离和长宽比相似性三个因素；第三项中心量化损失采用的是BCE loss损失函数,当模型效果差时，学习速度加快，当模型效果好时，则减慢学习速度。
步骤2-1)中所述的BIS Block为：
1)BIS Block对特征图的处理分为三个阶段进行，在阶段1通过一个1×1卷积层调整输入特征图的通道数；
2)在阶段2形成两路分支对输入特征图进行处理：一路分支经过分割操作torch.split按通道数均分成两个特征图，两个特征图分别进行批次归一化操作Batchnormalization和实例归一化操作Instance normalization，然后将输出结果进行逐像素相加；另一路分支将通过一个1×1卷积层调整输入特征图的通道数之后，再进行自适配归一化操作Switchable normalization，该分支得到的结果将与另一路分支得到的结果进行通道拼接操作，经过PReLU激活函数后，送入其后的一个3×3卷积层进行特征提取；
3)在阶段3中重复阶段2的结构和操作，目的是为了加强对输入特征图的特征信息提取，最后通过跳跃连接，将阶段1的输出结果与阶段3的输出结果进行通道拼接操作。
步骤2-1)中所述的NFL-Net网络中5个特征提取层为：
1)第1个特征提取层由1个3×3卷积层和一个最大池化层构成，3×3卷积层的步长为1、填充为1，输出通道数为64；最大池化层的池化卷积核大小为3、步长为2、填充为1，经过第1个特征提取层后输入图像的长宽缩小2倍，通道数变为64；
2)第2至第5个特征提取层分别由4、5、6、3个BIS Block拼接而成，第2至第5个特征提取层结构的详细参数为表2所示，“[]”括号内是一个BIS Block中三个阶段对应的卷积层的参数，每一项数值分别代表：[卷积核大小，步长，填充，输出通道数]；“SN”指代有自适配归一化Switchable Normalization的分支上的卷积层；“×”之后的数字代表当前特征提取层包含的BIS Block的数目，
表2：
步骤3-1)中所述的自上而下多尺度融合的主干结构为：
1)将NorexNet网络的三个输出C3、C4和C5作为输入，首先，C5经过1×1卷积操作得到C5'，再将C5'经过上采样操作使得特征图长、宽增大2倍然后与C4经过1×1卷积操作后的结果进行逐像素相加得到C4'，最后将C4'经过上采样操作使得特征图长宽增大2倍然后与C3经过1×1卷积操作后的结果进行逐像素相加得到C3'，1×1卷积操作是为了将特征图C3、C4和C5的通道数减半，这里的上采样操作是通过1个子像素卷积层加上一个1×1卷积层来实现的，通过子像素卷积层使得特征图长宽增大2倍，但是通道数会骤减4倍，所以需要额外利用一个1×1卷积层将通道数增大2倍，这样才能和先前利用1×1卷积操作将通道数减半的特征图尺寸匹配，从而顺利进行逐像素相加，上述操作用公式(2)表述如下：
其中，f1×1表示1×1卷积操作，fup表示上采样操作，
表示逐像素相加。
步骤3-1)中所述的子像素上采样模块SPUS和池化下采样模块MADS分别为：
1)子像素上采样模块SPUS由1个子像素卷积层和1个3×3卷积层，步长为2、填充为1，输出通道为256构成，由于高层的特征图C5'包含丰富的语义信息，而低层的特征图C3'包含的语义信息相对较少，因此通过子像素上采样模块SPUS让C5'与C3'进行逐像素相加操作，利用C5'中的语义信息对C3'进行融合补充；
2)通常低层的特征图中包含的目标位置信息较为准确，因此采用池化下采样模块MADS让C3'与C4'进行逐像素相加操作，同样的，采用池化下采样模块MADS让C4'与C5'进行逐像素相加操作，以此实现利用低层特征图中的目标位置信息对高层特征图进行融合补充，池化下采样模块MADS包含3个分支，每个分支上设置了1个最大池化层和1个3×3的空洞卷积层，接着将3个分支的结果进行逐像素相加操作，最后经过1个1×1卷积层来调整输出结果的通道数，1×1卷积层之后带有ReLU激活函数，池化下采样模块MADS的结构为表3所示，上述操作用公式(3)表述如下：
其中，fSPUS表示子像素上采样模块SPUS的操作，fMADS表示池化下采样模块MADS的操作，
表示逐像素相加，
表3：
步骤4-1)中所述的位置注意力模块Location-AM为：
1)从SM-FPN网络输出的三个特征图会分别经过位置注意力模块Location-AM，假设当前输入的特征图Pi尺寸为H×W×C，H为宽度，W为长度，C为通道数，i∈{3,4,5}，在位置注意力模块Location-AM中，首先通过1×1卷积操作将输入的特征图通道数变成256，结果记为特征图T，尺寸为H×W×256，接着再采用1个1×1卷积层进行通道维度上的压缩操作，此时得到特征图T'，尺寸为H×W×1，接着形成两个分支对特征图T'沿着水平和垂直两个方向聚合特征信息，具体来说，在其中一个分支上使用自适应平均池化层沿着水平方向将特征图T'进行特征压缩变成H×1×1的特征向量，接着通过向量扩张操作Torch.expand将H×1×1的特征向量恢复成H×W×1的特征图，然后采用1个实例归一化层Instancenormalization layer来维护特征图的样式信息，并通过Sigmoid激活函数生成一个H×W×1的权重矩阵
在另一个分支上使用自适应平均池化层沿着垂直方向将特征图T'进行特征压缩变成1×W×1的特征向量，接着通过向量扩张操作Torch.expand将1×W×1的特征向量恢复成H×W×1的特征图，然后通过1个实例归一化层来维护特征图的样式信息，并通过Sigmoid激活函数生成一个H×W×1的权重矩阵
两个分支得到的权重矩阵进行逐像素相加，目的是为了对这两个聚合了不同方向上的特征信息的权重矩阵进行编码,得到的结果是一个归一化权重矩阵
2)通过跳跃连接，将特征图T和归一化权重矩阵
进行矩阵相乘Matrixmultiplication操作，得到的结果记为特征图Twt、尺寸为H×W×256，最后，将两个尺寸相等的特征图T和Twt进行逐像素相加操作，得到一个具有准确位置信息的特征图Pi'，该特征图将送入其后的检测头结构进行最终的目标检测；
3)上述操作用公式(4)表述如下：
其中，
表示1×1卷积操作且输出通道数为256，
表示1×1卷积操作且输出通道数为1，Avgx和Avgy表示使用自适应平均池化层分别在水平和垂直方向上进行特征压缩，fexp表示向量扩张操作Torch.expand，IN表示实例归一化，σ表示Sigmoid激活函数，
表示逐像素相加操作，
表示矩阵相乘操作。
步骤5-1)中所述的类别分类Classification分支的预测为：对于特征图中位置(x,y)上的像素点落在任意一个真实边界框Ground-truth box中，如果该位置的类别标签与这个真实边界框的类别标签c*相同，则该位置(x,y)被视为正样本即存在目标，否则就是负样本即属于背景，并且c*=0。
步骤5-1)中所述的位置回归Regression分支的预测为：
1)步骤4-2)的三个输出：P3'、P4'和P5'各代表一个特征层级，首先对每一层级的特征图设置一个阈值m来限制其回归范围，用mi表示第i层特征图需要回归的最大距离，其中m3、m4和m5的值分别为64、128和256；
2)然后对当前层级特征图上的每个位置(x,y)，定义一个4D实向量g＝(l,r,t,b)作为位置(x,y)的回归目标，l，r，t，b是位置(x,y)上的像素点距离包含有目标对象的真实边界框Ground-truth box的左、右、上、下四条边的距离，将真实边界框左上角和右下角的坐标分别记为(x0,y0)和(x1,y1)，则l，r，t，b的计算如公式(5)所示：
l=x-x0
r=x1-x
t=y-y0(5)，
b=y1-y
逐一计算所有特征层级上每个位置的回归目标g，并判断每个位置是否满足max(l,r,t,b)＞mi或max(l,r,t,b)＜mi-1，若满足，则被视为一个负样本，不再需要对其边界框进行回归预测。
步骤5-1)中所述的中心量化Cen-quantification分支计算的量化距离为：
给定某个位置的回归目标l，r，t，b，该位置的量化距离计算如公式(6)所示：
将中心量化Cen-quantification分支计算的量化距离与类别分类Classification分支对该位置的分类得分相乘，得到的数值作为以该位置为中心的预测边界框的置信概率，当前位置距离目标对象的中心越远，计算得到的量化距离就会越低，则以该位置为中心的预测边界框的置信概率就会越低，此时的预测边界框是一个低质量的预测框，最终对检测到的所有预测边界框按置信概率从高到低进行排序，采用非极大值抑制滤除那些低质量的预测框，从而显著提高检测性能。
本技术方案采用NorexNet网络来提取低照度图像的特征信息，该网络结合了三种归一化操作来加强对低照度图像的特征处理，使得其后的卷积层能够很好地捕获图像上目标对象的特征；接着对输出的不同尺寸的特征图进行多尺度特征融合操作，丰富的特征信息有利于模型进行检测时更准确地识别目标类别；然后送入设计的位置注意力模块，以提高模型进行检测时判断目标位置信息的准确性。
这种方法能够不受低光照环境下拍摄的影响，对于产生的低照度图像仍然可以进行很好地识别来检测出图像中的目标对象。
附图说明
图1为实施例中NFL-Net网络模型示意图；
图2为实施例中BIS Block结构示意图；
图3为实施例中SM-FPN网络结构示意图；
图4为实施例中子像素上采样模块SPUS结构示意图；
图5为实施例中池化下采样模块MADS结构示意图；
图6为实施例中位置注意力模块Location-AM结构示意图；
图7为实施例中头部预测层结构示意图。
具体实施方式
下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。
实施例：
参照图1，一种基于NFL-Net的低照度目标检测方法，包括如下步骤：
1)对低照度图像数据集ExDark进行处理和划分，过程为：
1-1)ExDark数据集共计7363张低照度图像，包含12个常规目标类别，将整个数据集以8:2的比例划分成两部分，其中80％为训练集，共5891张图片；20％为测试集，共1472张图片，数据集划分情况为表1所示，
表1：
1-2)将所有低照度图片进行预处理，使图像缩放到统一的长×宽为608×608；
2)训练NorexNet网络对输入的低照度图像进行特征提取：过程包括：
2-1)NorexNet网络设有5个特征提取层，第1个特征提取层由1个3×3卷积层和一个最大池化层构成，第2至第5个特征提取层由固定数目的BIS Block拼接而成，BIS Block结构如图2所示，由于低照度图像往往具有可见度低、对比度差和存在色彩偏差等缺点，所以通过简单地堆积卷积层并不能很好地进行特征提取，如果在模型训练过程中不能学习到丰富的特征信息，将会影响最终的检测精度，为了提高模型对低照度图像的特征提取能力，在BIS Block的结构中采用3种归一化操作加强对低照度图像的特征处理，再利用卷积层进行特征提取，3种归一化操作分别是：批次归一化Batch normalization、实例归一化Instance normalization和自适配归一化Switchable normalization，批次归一化注重对每个批次进行归一化，从而保证数据分布的一致性，能够很好地处理特征图的基础信息，比如挖掘图像色彩饱和度和亮度中照明偏亮的部分；实例归一化则更注重维护图片的风格信息，使用实例归一化不仅可以加速模型收敛，并且可以保持图像中各个实例对象之间的独立，不让它们混淆，避免造成特征模糊；自适配归一化通过可微分学习，对当前处理的数据自适应地选择合适的归一化操作；
2-2)将步骤1-2)中预处理后的低照度图像作为NorexNet网络的输入，训练NorexNet网络对低照度图像进行特征提取，NorexNet网络的5个特征提取层的输出特征图的尺寸分别为：304×304×64、152×152×256、76×76×512，记为C3；38×38×1024，记为C4和19×19×2048，记为C5；
3)参照图3，构造SM-FPN网络对特征图进行多尺度特征的融合：过程包括：
3-1)将步骤2-2)得到的输出特征图C3、C4和C5作为SM-FPN网络的三个输入，SM-FPN网络设有一个主干结构和两个分支路径，采用C3、C4和C5构建一个使得特征信息自上而下多尺度融合的主干结构，另外，在自上而下的分支路径中添加子像素上采样模块SPUS、在自下而上的分支路径中添加池化下采样模块MADS，参照图4，在子像素上采样模块SPUS中添加子像素卷积层，子像素卷积层通过自适应调整像素的方式进行上采样，能够有效地减少特征融合时产生的噪声；参照图5，在池化下采样模块MADS中采用最大池化层来实现下采样，从而减小计算量和内存消耗，同时添加空洞卷积层通过设置适当的扩张率可以在不改变输出图像尺寸的情况下增大感受野，从而捕获更广范围的目标特征，添加的两个分支路径的目的是为了更好地进行特征信息融合，让高层特征图中丰富的语义信息向下流动，同时让低层特征图中准确的目标位置信息向上传输；
3-2)训练SM-FPN网络对特征图进行多尺度融合，丰富的特征信息有利于模型进行目标检测时更准确地识别目标类别，SM-FPN网络的输出结果是三个已经完成特征融合的特征图，这三个输出特征图的尺寸分别为：76×76×256，记为P3；38×38×512，记为P4；19×19×1024，记为P5；
4)在模型的检测头结构中添加位置注意力模块Location-AM：过程包括：
4-1)设计位置注意力模块Location-AM并将其插入模型的检测头结构中，从而提高模型进行目标检测时判断目标位置信息的准确性，参照图6，该位置注意力模块Location-AM对特征图沿着水平和垂直两个方向聚合特征信息进行编码，在捕获长距离依赖关系的同时，能够保留预测目标在水平和垂直方向上的位置信息；
4-2)将步骤3-2)得到的三个特征图P3、P4和P5先通过位置注意力模块Location-AM，然后输出的结果，分别记为P3'、P4'和P5'被送入模型的检测头结构进行最终目标检测；
5)对整体模型进行训练并采用逐像素检测的方式对图像进行目标检测：过程包括：
5-1)模型检测头结构设有3个头部预测层，每个头部预测层结构参照图7，将步骤4-2)中的3个不同尺寸的P3'、P4'和P5'分别送入3个头部预测层以获取预测结果，3个头部预测层能够在不同特征层级之间共享参数，每一个头部预测层首先经过连续的4个卷积层：1个1×1卷积层，步长为1、填充为0、输出通道数为256和3个3×3卷积层，步长为1、填充为1、输出通道数为256，然后形成三路分支，第一个分支用于类别分类Classification的预测；第二个分支用于位置回归Regression的预测，第三个分支中心量化Cen-quantification用于计算当前像素点位置到涉及该像素点的真实边界框Ground-truth box中包含的目标对象的中心的量化距离；
5-2)NFL-Net以逐像素方式来进行目标检测：概括来说，给定输入的低照度图像，将低照度图像采用步骤1-步骤5-1)的方式对图像进行处理，最后获得特征图上每个位置的分类得分Kx,y、回归预测Gx,y和量化距离Qx,y，并获得对目标对象预测的边界框；
5-3)整体模型在训练过程中的损失函数定义如公式(1)所示：
损失函数由三部分构成，分别是类别分类损失、位置回归损失和中心量化损失，其中，NP表示正样本数，Kx,y表示位置(x,y)上的分类得分，Gx,y表示位置(x,y)上的回归预测，Qx,y表示位置(x,y)上的量化距离，特征图上前景即存在目标对象和背景即无目标对象区域的过渡部分称为难样本，由于采用逐像素方式进行目标检测，在训练过程中对难样本的检测会比较困难，因此第一项类别分类损失采用的是Focal loss损失函数，能够动态地缩放交叉熵，随着正确类别的置信度增加，控制缩放因子逐渐衰减，从而在训练时更好地专注于难分类的样本，从而提升难样本的检出率；第二项位置回归损失采用的是CIoU loss损失函数，侧重于交并区域、中心点距离和长宽比相似性三个因素；第三项中心量化损失采用的是BCE loss损失函数,当模型效果差时，学习速度加快，当模型效果好时，则减慢学习速度。
步骤2-1)中所述的BIS Block为：
1)BIS Block对特征图的处理分为三个阶段进行，在阶段1通过一个1×1卷积层调整输入特征图的通道数；
2)在阶段2形成两路分支对输入特征图进行处理：一路分支经过分割操作Torch.split按通道数均分成两个特征图，两个特征图分别进行批次归一化操作Batchnormalization和实例归一化操作Instance normalization，然后将输出结果进行逐像素相加；另一路分支将通过一个1×1卷积层调整输入特征图的通道数之后，再进行自适配归一化操作Switchable normalization，该分支得到的结果将与另一路分支得到的结果进行通道拼接操作，经过PReLU激活函数后，送入其后的一个3×3卷积层进行特征提取；
3)在阶段3中重复阶段2的结构和操作，目的是为了加强对输入特征图的特征信息提取，最后通过跳跃连接，将阶段1的输出结果与阶段3的输出结果进行通道拼接操作。
步骤2-1)中所述的NFL-Net网络中5个特征提取层为：
1)第1个特征提取层由1个3×3卷积层和一个最大池化层构成，3×3卷积层的步长为1、填充为1，输出通道数为64；最大池化层的池化卷积核大小为3、步长为2、填充为1，经过第1个特征提取层后输入图像的长宽缩小2倍，通道数变为64；
2)第2至第5个特征提取层分别由4、5、6、3个BIS Block拼接而成，第2至第5个特征提取层结构的详细参数为表2所示，“[]”括号内是一个BIS Block中三个阶段对应的卷积层的参数，每一项数值分别代表：[卷积核大小，步长，填充，输出通道数]；“SN”指代有自适配归一化Switchable Normalization的分支上的卷积层；“×”之后的数字代表当前特征提取层包含的BIS Block的数目，
表2：
步骤3-1)中所述的自上而下多尺度融合的主干结构为：
1)将NorexNet网络的三个输出C3、C4和C5作为输入，首先，C5经过1×1卷积操作得到C5'，再将C5'经过上采样操作使得特征图长、宽增大2倍然后与C4经过1×1卷积操作后的结果进行逐像素相加得到C4'，最后将C4'经过上采样操作使得特征图长宽增大2倍然后与C3经过1×1卷积操作后的结果进行逐像素相加得到C3'，1×1卷积操作是为了将特征图C3、C4和C5的通道数减半，这里的上采样操作是通过1个子像素卷积层加上一个1×1卷积层来实现的，通过子像素卷积层使得特征图长宽增大2倍，但是通道数会骤减4倍，所以需要额外利用一个1×1卷积层将通道数增大2倍，这样才能和先前利用1×1卷积操作将通道数减半的特征图尺寸匹配，从而顺利进行逐像素相加，上述操作用公式(2)表述如下：
其中，f1×1表示1×1卷积操作，fup表示上采样操作，
表示逐像素相加。
步骤3-1)中所述的子像素上采样模块SPUS和池化下采样模块MADS分别为：
1)子像素上采样模块SPUS由1个子像素卷积层和1个3×3卷积层，步长为2、填充为1，输出通道为256构成，由于高层的特征图C5'包含丰富的语义信息，而低层的特征图C3'包含的语义信息相对较少，因此通过子像素上采样模块SPUS让C5'与C3'进行逐像素相加操作，利用C5'中的语义信息对C3'进行融合补充；
2)通常低层的特征图中包含的目标位置信息较为准确，因此采用池化下采样模块MADS让C3'与C4'进行逐像素相加操作，同样的，采用池化下采样模块MADS让C4'与C5'进行逐像素相加操作，以此实现利用低层特征图中的目标位置信息对高层特征图进行融合补充，池化下采样模块MADS包含3个分支，每个分支上设置了1个最大池化层和1个3×3的空洞卷积层，接着将3个分支的结果进行逐像素相加操作，最后经过1个1×1卷积层来调整输出结果的通道数，1×1卷积层之后带有ReLU激活函数，池化下采样模块MADS的结构为表3所示，上述操作用公式(3)表述如下：
其中，fSPUS表示子像素上采样模块SPUS的操作，fMADS表示池化下采样模块MADS的操作，
表示逐像素相加，
表3：
步骤4-1)中所述的位置注意力模块Location-AM为：
1)从SM-FPN网络输出的三个特征图会分别经过位置注意力模块Location-AM，假设当前输入的特征图Pi尺寸为H×W×C，H为宽度，W为长度，C为通道数，i∈{3,4,5}，在位置注意力模块Location-AM中，首先通过1×1卷积操作将输入的特征图通道数变成256，结果记为特征图T，尺寸为H×W×256，接着再采用1个1×1卷积层进行通道维度上的压缩操作，此时得到特征图T'，尺寸为H×W×1，接着形成两个分支对特征图T'沿着水平和垂直两个方向聚合特征信息，具体来说，在其中一个分支上使用自适应平均池化层沿着水平方向将特征图T'进行特征压缩变成H×1×1的特征向量，接着通过向量扩张操作Torch.expand将H×1×1的特征向量恢复成H×W×1的特征图，然后采用1个实例归一化层Instancenormalization layer来维护特征图的样式信息，并通过Sigmoid激活函数生成一个H×W×1的权重矩阵
在另一个分支上使用自适应平均池化层沿着垂直方向将特征图T'进行特征压缩变成1×W×1的特征向量，接着通过向量扩张操作Torch.expand将1×W×1的特征向量恢复成H×W×1的特征图，然后通过1个实例归一化层来维护特征图的样式信息，并通过Sigmoid激活函数生成一个H×W×1的权重矩阵
两个分支得到的权重矩阵进行逐像素相加，目的是为了对这两个聚合了不同方向上的特征信息的权重矩阵进行编码,得到的结果是一个归一化权重矩阵
2)通过跳跃连接，将特征图T和归一化权重矩阵
进行矩阵相乘Matrixmultiplication操作，得到的结果记为特征图Twt、尺寸为H×W×256，最后，将两个尺寸相等的特征图T和Twt进行逐像素相加操作，得到一个具有准确位置信息的特征图Pi'，该特征图将送入其后的检测头结构进行最终的目标检测；
3)上述操作用公式(4)表述如下：
其中，
表示1×1卷积操作且输出通道数为256，
表示1×1卷积操作且输出通道数为1，Avgx和Avgy表示使用自适应平均池化层分别在水平和垂直方向上进行特征压缩，fexp表示向量扩张操作Torch.expand，IN表示实例归一化，σ表示Sigmoid激活函数，
表示逐像素相加操作，
表示矩阵相乘操作。
步骤5-1)中所述的类别分类Classification分支的预测为：对于特征图中位置(x,y)上的像素点落在任意一个真实边界框Ground-truth box中，如果该位置的类别标签与这个真实边界框的类别标签c*相同，则该位置(x,y)被视为正样本即存在目标，否则就是负样本即属于背景，并且c*=0。
步骤5-1)中所述的位置回归Regression分支的预测为：
1)步骤4-2)的三个输出：P3'、P4'和P5'各代表一个特征层级，首先对每一层级的特征图设置一个阈值m来限制其回归范围，用mi表示第i层特征图需要回归的最大距离，其中m3、m4和m5的值分别为64、128和256；
2)然后对当前层级特征图上的每个位置(x,y)，定义一个4D实向量g＝(l,r,t,b)作为位置(x,y)的回归目标，l，r，t，b是位置(x,y)上的像素点距离包含有目标对象的真实边界框Ground-truth box的左、右、上、下四条边的距离，将真实边界框左上角和右下角的坐标分别记为(x0,y0)和(x1,y1)，则l，r，t，b的计算如公式(5)所示：
逐一计算所有特征层级上每个位置的回归目标g，并判断每个位置是否满足max(l,r,t,b)＞mi或max(l,r,t,b)＜mi-1，若满足，则被视为一个负样本，不再需要对其边界框进行回归预测。
步骤5-1)中所述的中心量化Cen-quantification分支计算的量化距离为：
给定某个位置的回归目标l，r，t，b，该位置的量化距离计算如公式(6)所示：
将中心量化Cen-quantification分支计算的量化距离与类别分类Classification分支对该位置的分类得分相乘，得到的数值作为以该位置为中心的预测边界框的置信概率，当前位置距离目标对象的中心越远，计算得到的量化距离就会越低，则以该位置为中心的预测边界框的置信概率就会越低，此时的预测边界框是一个低质量的预测框，最终对检测到的所有预测边界框按置信概率从高到低进行排序，采用非极大值抑制滤除那些低质量的预测框，从而显著提高检测性能。
Claims (9)
1.一种基于NFL-Net的低照度目标检测方法，其特征在于，包括如下步骤：
1)对低照度图像数据集ExDark进行处理和划分，过程为：
1-1)ExDark数据集共计7363张低照度图像，包含12个常规目标类别，将整个数据集以8:2的比例划分成两部分，其中80％为训练集，共5891张图片；20％为测试集，共1472张图片，数据集划分情况为表1所示；
表1：
1-2)将所有低照度图片进行预处理，使图像缩放到统一的长×宽为608×608；
2)训练NorexNet网络对输入的低照度图像进行特征提取：过程包括：
2-1)NorexNet网络设有5个特征提取层，第1个特征提取层由1个3×3卷积层和一个最大池化层构成，第2至第5个特征提取层由固定数目的BIS Block拼接而成，在BIS Block的结构中采用3种归一化操作加强对低照度图像的特征处理，再利用卷积层进行特征提取，3种归一化操作分别是：批次归一化Batch normalization、实例归一化Instancenormalization和自适配归一化Switchable normalization；
2-2)将步骤1-2)中预处理后的低照度图像作为NorexNet网络的输入，训练NorexNet网络对低照度图像进行特征提取，NorexNet网络的5个特征提取层的输出特征图的尺寸分别为：304×304×64、152×152×256、76×76×512，记为C3；38×38×1024，记为C4和19×19×2048，记为C5；
3)构造SM-FPN网络对特征图进行多尺度特征的融合：过程包括：
3-1)将步骤2-2)得到的输出特征图C3、C4和C5作为SM-FPN网络的三个输入，SM-FPN网络设有一个主干结构和两个分支路径，采用C3、C4和C5构建一个使得特征信息自上而下多尺度融合的主干结构，另外，在自上而下的分支路径中添加子像素上采样模块SPUS、在自下而上的分支路径中添加池化下采样模块MADS，在子像素上采样模块SPUS中添加子像素卷积层，子像素卷积层通过自适应调整像素的方式进行上采样；在池化下采样模块MADS中采用最大池化层来实现下采样；
3-2)训练SM-FPN网络对特征图进行多尺度融合，SM-FPN网络的输出结果是三个已经完成特征融合的特征图，这三个输出特征图的尺寸分别为：76×76×256，记为P3；38×38×512，记为P4；19×19×1024，记为P5；
4)在模型的检测头结构中添加位置注意力模块Location-AM：过程包括：
4-1)设计位置注意力模块Location-AM并将其插入模型的检测头结构中，该位置注意力模块Location-AM对特征图沿着水平和垂直两个方向聚合特征信息进行编码，在捕获长距离依赖关系的同时，保留预测目标在水平和垂直方向上的位置信息；
4-2)将步骤3-2)得到的三个特征图P3、P4和P5先通过位置注意力模块Location-AM，然后输出的结果，分别记为P3'、P4'和P5'被送入模型的检测头结构进行最终目标检测；
5)对整体模型进行训练并采用逐像素检测的方式对图像进行目标检测：过程包括：
5-1)模型检测头结构设有3个头部预测层，将步骤4-2)中的3个不同尺寸的P3'、P4'和P5'分别送入3个头部预测层以获取预测结果，3个头部预测层在不同特征层级之间共享参数，每一个头部预测层首先经过连续的4个卷积层：1个1×1卷积层，步长为1、填充为0、输出通道数为256和3个3×3卷积层，步长为1、填充为1、输出通道数为256，然后形成三路分支，第一个分支用于类别分类Classification的预测；第二个分支用于位置回归Regression的预测，第三个分支中心量化Cen-quantification用于计算当前像素点位置到涉及该像素点的真实边界框Ground-truth box中包含的目标对象的中心的量化距离；
5-2)NFL-Net以逐像素方式来进行目标检测：给定输入的低照度图像，将低照度图像采用步骤1-步骤5-1)的方式对图像进行处理，最后获得特征图上每个位置的分类得分Kx,y、回归预测Gx,y和量化距离Qx,y，并获得对目标对象预测的边界框；
5-3)整体模型在训练过程中的损失函数定义如公式(1)所示：
损失函数由三部分构成，分别是类别分类损失、位置回归损失和中心量化损失，其中，NP表示正样本数，Kx,y表示位置(x,y)上的分类得分，Gx,y表示位置(x,y)上的回归预测，Qx,y表示位置(x,y)上的量化距离，第一项类别分类损失采用的是Focal loss损失函数；第二项位置回归损失采用的是CIoU loss损失函数；第三项中心量化损失采用的是BCE loss损失函数。
2.根据权利要求1所述的基于NFL-Net的低照度目标检测方法，其特征在于，步骤2-1)中所述的BIS Block为：
1)BIS Block对特征图的处理分为三个阶段进行，在阶段1通过一个1×1卷积层调整输入特征图的通道数；
2)在阶段2形成两路分支对输入特征图进行处理：一路分支经过分割操作Torch.split按通道数均分成两个特征图，两个特征图分别进行批次归一化操作Batch normalization和实例归一化操作Instance normalization，然后将输出结果进行逐像素相加；另一路分支将通过一个1×1卷积层调整输入特征图的通道数之后，再进行自适配归一化操作Switchable normalization，该分支得到的结果将与另一路分支得到的结果进行通道拼接操作，经过PReLU激活函数后，送入其后的一个3×3卷积层进行特征提取；
3)在阶段3中重复阶段2的结构和操作，最后通过跳跃连接，将阶段1的输出结果与阶段3的输出结果进行通道拼接操作。
3.根据权利要求1所述的基于NFL-Net的低照度目标检测方法，其特征在于，步骤2-1)中所述的NFL-Net网络中5个特征提取层为：
1)第1个特征提取层由1个3×3卷积层和一个最大池化层构成，3×3卷积层的步长为1、填充为1，输出通道数为64；最大池化层的池化卷积核大小为3、步长为2、填充为1，经过第1个特征提取层后输入图像的长宽缩小2倍，通道数变为64；
2)第2至第5个特征提取层分别由4、5、6、3个BIS Block拼接而成，第2至第5个特征提取层结构的详细参数为表2所示，“[]”括号内是一个BIS Block中三个阶段对应的卷积层的参数，每一项数值分别代表：[卷积核大小，步长，填充，输出通道数]；“SN”指代有自适配归一化Switchable Normalization的分支上的卷积层；“×”之后的数字代表当前特征提取层包含的BIS Block的数目，
表2：
4.根据权利要求1所述的基于NFL-Net的低照度目标检测方法，其特征在于，步骤3-1)中所述的自上而下多尺度融合的主干结构为：
1)将NorexNet网络的三个输出C3、C4和C5作为输入，首先，C5经过1×1卷积操作得到C5'，再将C5'经过上采样操作使得特征图长、宽增大2倍然后与C4经过1×1卷积操作后的结果进行逐像素相加得到C4'，最后将C4'经过上采样操作使得特征图长宽增大2倍然后与C3经过1×1卷积操作后的结果进行逐像素相加得到C3'，上采样操作是通过1个子像素卷积层加上一个1×1卷积层来实现的，上述操作用公式(2)表述如下：
其中，f1×1表示1×1卷积操作，fup表示上采样操作，
表示逐像素相加。
5.根据权利要求1所述的基于NFL-Net的低照度目标检测方法，其特征在于，步骤3-1)中所述的子像素上采样模块SPUS和池化下采样模块MADS分别为：
1)子像素上采样模块SPUS由1个子像素卷积层和1个3×3卷积层，步长为2、填充为1，输出通道为256构成；
2)池化下采样模块MADS包含3个分支，每个分支上设置了1个最大池化层和1个3×3的空洞卷积层，接着将3个分支的结果进行逐像素相加操作，最后经过1个1×1卷积层来调整输出结果的通道数，1×1卷积层之后带有ReLU激活函数，池化下采样模块MADS的结构为表3所示，上述操作用公式(3)表述如下：
其中，fSPUS表示子像素上采样模块(SPUS)的操作，fMADS表示池化下采样模块(MADS)的操作，
表示逐像素相加，
表3：
6.根据权利要求1所述的基于NFL-Net的低照度目标检测方法，其特征在于，步骤4-1)中所述的位置注意力模块Location-AM为：
1)假设当前输入的特征图Pi尺寸为H×W×C，H为宽度，W为长度，C为通道数，i∈{3,4,5}，在位置注意力模块Location-AM中，首先通过1×1卷积操作将输入的特征图通道数变成256，结果记为特征图T，尺寸为H×W×256，接着再采用1个1×1卷积层进行通道维度上的压缩操作，得到特征图T'，尺寸为H×W×1，接着形成两个分支对特征图T'沿着水平和垂直两个方向聚合特征信息，具体来说，在其中一个分支上使用自适应平均池化层沿着水平方向将特征图T'进行特征压缩变成H×1×1的特征向量，接着通过向量扩张操作Torch.expand将H×1×1的特征向量恢复成H×W×1的特征图，然后采用1个实例归一化层Instancenormalization layer来维护特征图的样式信息，并通过Sigmoid激活函数生成一个H×W×1的权重矩阵
在另一个分支上使用自适应平均池化层沿着垂直方向将特征图T'进行特征压缩变成1×W×1的特征向量，接着通过向量扩张操作Torch.expand将1×W×1的特征向量恢复成H×W×1的特征图，然后通过1个实例归一化层来维护特征图的样式信息，并通过Sigmoid激活函数生成一个H×W×1的权重矩阵
两个分支得到的权重矩阵进行逐像素相加，得到的结果是一个归一化权重矩阵
2)通过跳跃连接，将特征图T和归一化权重矩阵
进行矩阵相乘Matrixmultiplication操作，得到的结果记为特征图Twt、尺寸为H×W×256，最后，将两个尺寸相等的特征图T和Twt进行逐像素相加操作，得到一个具有准确位置信息的特征图Pi'，该特征图将送入其后的检测头结构进行最终的目标检测；
3)上述操作用公式(4)表述如下：
其中，
表示1×1卷积操作且输出通道数为256，
表示1×1卷积操作且输出通道数为1，Avgx和Avgy表示使用自适应平均池化层分别在水平和垂直方向上进行特征压缩，fexp表示向量扩张操作Torch.expand，IN表示实例归一化，σ表示Sigmoid激活函数，
表示逐像素相加操作，
表示矩阵相乘操作。
7.根据权利要求1所述的基于NFL-Net的低照度目标检测方法，其特征在于，步骤5-1)中所述的类别分类Classification分支的预测为：对于特征图中位置(x,y)上的像素点落在任意一个真实边界框Ground-truth box中，如果该位置的类别标签与这个真实边界框的类别标签c*相同，则该位置(x,y)被视为正样本即存在目标，否则就是负样本即属于背景，并且c*＝0。
8.根据权利要求1所述的基于NFL-Net的低照度目标检测方法，其特征在于，步骤5-1)中所述的位置回归Regression分支的预测为：
1)步骤4-2)的三个输出：P3'、P4'和P5'各代表一个特征层级，首先对每一层级的特征图设置一个阈值m来限制其回归范围，用mi表示第i层特征图需要回归的最大距离，其中m3、m4和m5的值分别为64、128和256；
2)然后对当前层级特征图上的每个位置(x,y)，定义一个4D实向量g＝(l,r,t,b)作为位置(x,y)的回归目标，l，r，t，b是位置(x,y)上的像素点距离包含有目标对象的真实边界框Ground-truth box的左、右、上、下四条边的距离，将真实边界框左上角和右下角的坐标分别记为(x0,y0)和(x1,y1)，则l，r，t，b的计算如公式(5)所示：
逐一计算所有特征层级上每个位置的回归目标g，并判断每个位置是否满足max(l,r,t,b)＞mi或max(l,r,t,b)＜mi-1，若满足，则被视为一个负样本，不再需要对其边界框进行回归预测。
9.根据权利要求1所述的基于NFL-Net的低照度目标检测方法，其特征在于，步骤5-1)中所述的中心量化Cen-quantification分支计算的量化距离为：
给定某个位置的回归目标l，r，t，b，该位置的量化距离计算如公式(6)所示：
将中心量化Cen-quantification分支计算的量化距离与类别分类Classification分支对该位置的分类得分相乘，得到的数值作为以该位置为中心的预测边界框的置信概率，最终对检测到的所有预测边界框按置信概率从高到低进行排序，采用非极大值抑制滤除那些低质量的预测框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111322259.4A CN114037938B (zh) | 2021-11-09 | 2021-11-09 | 一种基于NFL-Net的低照度目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111322259.4A CN114037938B (zh) | 2021-11-09 | 2021-11-09 | 一种基于NFL-Net的低照度目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114037938A true CN114037938A (zh) | 2022-02-11 |
| CN114037938B CN114037938B (zh) | 2024-03-26 |
Family
ID=80136949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111322259.4A Active CN114037938B (zh) | 2021-11-09 | 2021-11-09 | 一种基于NFL-Net的低照度目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114037938B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821318A (zh) * | 2022-04-26 | 2022-07-29 | 桂林电子科技大学 | 一种基于Darkdet-Net的低照度小样本目标检测方法 |
| CN114863426A (zh) * | 2022-05-05 | 2022-08-05 | 北京科技大学 | 一种目标特征注意力与金字塔相耦合的微小目标检测方法 |
| CN116343301A (zh) * | 2023-03-27 | 2023-06-27 | 滨州市沾化区退役军人服务中心 | 基于人脸识别的人员信息智能校验系统 |
| CN117214189A (zh) * | 2023-11-09 | 2023-12-12 | 北京宝隆泓瑞科技有限公司 | 一种长输管道地面标识损坏检测方法、装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882002A (zh) * | 2020-08-06 | 2020-11-03 | 桂林电子科技大学 | 一种基于msf-am的低照度目标检测方法 |
| WO2021088300A1 (zh) * | 2019-11-09 | 2021-05-14 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
| CN113449811A (zh) * | 2021-07-16 | 2021-09-28 | 桂林电子科技大学 | 一种基于ms-wsda的低照度目标检测方法 |
-
2021
- 2021-11-09 CN CN202111322259.4A patent/CN114037938B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021088300A1 (zh) * | 2019-11-09 | 2021-05-14 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
| CN111882002A (zh) * | 2020-08-06 | 2020-11-03 | 桂林电子科技大学 | 一种基于msf-am的低照度目标检测方法 |
| CN113449811A (zh) * | 2021-07-16 | 2021-09-28 | 桂林电子科技大学 | 一种基于ms-wsda的低照度目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周幸;陈立福;: "基于双注意力机制的遥感图像目标检测", 计算机与现代化, no. 08, 15 August 2020 (2020-08-15) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821318A (zh) * | 2022-04-26 | 2022-07-29 | 桂林电子科技大学 | 一种基于Darkdet-Net的低照度小样本目标检测方法 |
| CN114821318B (zh) * | 2022-04-26 | 2024-03-19 | 桂林电子科技大学 | 一种基于Darkdet-Net的低照度小样本目标检测方法 |
| CN114863426A (zh) * | 2022-05-05 | 2022-08-05 | 北京科技大学 | 一种目标特征注意力与金字塔相耦合的微小目标检测方法 |
| CN114863426B (zh) * | 2022-05-05 | 2022-12-13 | 北京科技大学 | 一种目标特征注意力与金字塔相耦合的微小目标检测方法 |
| CN116343301A (zh) * | 2023-03-27 | 2023-06-27 | 滨州市沾化区退役军人服务中心 | 基于人脸识别的人员信息智能校验系统 |
| CN116343301B (zh) * | 2023-03-27 | 2024-03-08 | 滨州市沾化区退役军人服务中心 | 基于人脸识别的人员信息智能校验系统 |
| CN117214189A (zh) * | 2023-11-09 | 2023-12-12 | 北京宝隆泓瑞科技有限公司 | 一种长输管道地面标识损坏检测方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114037938B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114037938B (zh) | 一种基于NFL-Net的低照度目标检测方法 | |
| CN112329658B (zh) | 一种对于yolov3网络的检测算法改进方法 | |
| CN112232349B (zh) | 模型训练方法、图像分割方法及装置 | |
| CN109801297B (zh) | 一种基于卷积实现的图像全景分割预测优化方法 | |
| CN111832453B (zh) | 基于双路深度神经网络的无人驾驶场景实时语义分割方法 | |
| CN106845478A (zh) | 一种字符置信度的二次车牌识别方法及装置 | |
| CN111428556A (zh) | 一种基于胶囊神经网络的交通标志识别方法 | |
| CN113762409A (zh) | 一种基于事件相机的无人机目标检测方法 | |
| CN110781962B (zh) | 基于轻量级卷积神经网络的目标检测方法 | |
| CN114998879B (zh) | 一种基于事件相机的模糊车牌识别方法 | |
| CN112686276A (zh) | 一种基于改进RetinaNet网络的火焰检测方法 | |
| CN112184585A (zh) | 一种基于语义边缘融合的图像补全方法及系统 | |
| CN117372829B (zh) | 海上船舶目标识别方法、装置、电子设备及可读介质 | |
| CN115482529A (zh) | 近景色水果图像识别方法、设备、存储介质及装置 | |
| CN115019340A (zh) | 一种基于深度学习的夜间行人检测算法 | |
| CN114708615A (zh) | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
| CN111291663B (zh) | 一种利用时空信息的快速视频目标物体分割方法 | |
| CN114219757B (zh) | 一种基于改进Mask R-CNN的车辆智能定损方法 | |
| CN116721288A (zh) | 一种基于YOLOv5的安全帽检测方法及系统 | |
| CN104079934A (zh) | 一种实时视频通信中的感兴趣区域提取方法 | |
| CN115661657A (zh) | 一种轻量化的无人艇目标检测方法 | |
| CN111008555B (zh) | 一种无人机图像弱小目标增强提取方法 | |
| CN110852314B (zh) | 一种基于相机投影模型的物品检测网络方法 | |
| CN118552860B (zh) | 一种障碍物检测方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |