CN113449811A - 一种基于ms-wsda的低照度目标检测方法 - Google Patents
一种基于ms-wsda的低照度目标检测方法 Download PDFInfo
- Publication number
- CN113449811A CN113449811A CN202110806608.3A CN202110806608A CN113449811A CN 113449811 A CN113449811 A CN 113449811A CN 202110806608 A CN202110806608 A CN 202110806608A CN 113449811 A CN113449811 A CN 113449811A
- Authority
- CN
- China
- Prior art keywords
- convolution
- feature
- size
- convolution kernel
- kernel size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 91
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 230000006978 adaptation Effects 0.000 claims abstract description 18
- 238000010586 diagram Methods 0.000 claims description 78
- 238000005070 sampling Methods 0.000 claims description 69
- 239000010410 layer Substances 0.000 claims description 60
- 230000006870 function Effects 0.000 claims description 54
- 238000000605 extraction Methods 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度的弱监督和域适应的低照度目标检测方法，包括如下步骤：1）整合数据集；2）基于像素级的无锚检测器PL‑AFD的预训练和伪标签的生成；3）低照度图像增强网络LLENet的训练；4）对域适应模块的训练；5）对自监督模块的训练；6）对整个低照度目标检测网络的测试。这种方法能弥补低照度图像和正常照度图像之间像素级和语义级的差距，提高目标检测器对低照度图像的检测精度。
Description
技术领域
本发明涉及图像增强、目标检测技术、弱监督和域适应领域，具体是一种多尺度的弱监督和域适应MS-WSDA(Multi-Scale Weakly Supervised and Domain Adaptive，简称MS-WSDA)低照度目标检测方法。
背景技术
现有的目标检测器大多用于检测正常照度下的图像，而对低照度图像的检测效果极差。这是因为低照度图像具有对比度低、内容模糊、细节丢失等干扰因素，使得目标检测器很难提取到显著的特征。近年来，低照度增强技术的应用有效提升了图像照度，加强人类对图像的主观视觉体验。根据现有方法的特点，可以将低照度增强技术归纳为三类：基于直方图的方法、基于Retinex理论的方法和基于深度学习的方法。基于直方图的方法通过扩大图像的动态范围从而增强整幅图像的对比度，但该方法没有考虑亮度的变换，可能会导致过度增强的现象；基于Retinex理论的方法将图像分解为光照分量和反射分量，并对这两个分量分别处理，但是该方法可能会导致增强的图像失真；现有的基于深度学习的方法得益于庞大的数据集和强大的计算能力，与传统方法相比，具有更好的特征表示能力。
基于现有的增强方法得到的图像与原图像相比存在质量低，细节丢失，噪声大等缺点，机器对增强后的图像识别能力较差，因此，将增强后的图像直接送入目标检测网络进行检测，只能得到较差的效果。
现有的目标检测器主要分为两类：有锚和无锚。大多数有锚的检测器具有对锚框尺寸和数目敏感、正负样本不平衡、计算量大等缺点。
发明内容
本发明的目的是针对现有技术的不足，而提供一种基于MS-WSDA的低照度目标检测方法。这种方法使得低照度图像和正常照度图像在像素级别和特征级别相互适应，从而让目标检测器学习更具有表达能力的特征，能提高目标检测器的检测精度。
实现本发明目的的技术方案是：
一种基于MS-WSDA的低照度目标检测方法，包括如下步骤：
1)整合数据集：
1-1)选取PASCAL VOC2007数据集中的图像，PASCAL VOC2007的数据集设有训练集5011张图像，测试集4952张图像，共计9963张图像，包含20个种类；
1-2)选取SID数据集,SID数据集包含5094张低照度图像及其对应的正常照度图像，随机挑选70％的图像作为训练集图像，30％的图像作为测试集图像；
2)基于像素级的无锚检测器PL-AFD(Pixel-based Ancher-free Detector，简称PL-AFD)的预训练和伪标签的生成，包括下述步骤：
2-1)将PASACL VOC2007数据集中所有图像的宽度和高度统一缩放至416*416像素；
2-2)将步骤2-1)处理后的图像送入PL-AFD的骨干网络进行特征的提取，分别得到尺寸大小为13*13*1024、26*26*512、52*52*256和104*104*128的特征图；
2-3)将步骤2-2)得到的四个特征图送入基于内存注意力机制的特征金字塔MA-FPN(Feature Pyramid Network Based On Memory Attention Mechanism，简称MA-FPN)模块中，特征图首先经过内存注意力机制，进行注意力特征的提取，然后进行卷积、上采样、特征融合和下采样的操作，分别得到尺寸大小为13*13*512、26*26*256和52*52*128的特征图；
2-4)将步骤2-3)得到的三个特征图分别送入三个检测头，三个检测头均可分别对物体的类别、中心点和边界框进行预测：首先经过两个卷积层，分别输出尺寸大小为13*13*75、26*26*75和52*52*75的特征图，然后分别对边界框、中心点、类别进行预测，PL-AFD对每个像素(x,y)进行直接预测，预测的目标是离边界框上、下、左、右的距离，输入图像的真实边界框被定义为{Bi}，
其中，
和
分别表示边界框的左上角坐标和右下角坐标，如果像素(x,y)落在真实框Bi当中，则像素(x,y)的回归目标如公式(1)所示：
2)
在像素(x,y)对边界框进行预测的过程中，远离目标中心点的像素会生成许多低质量的预测边界框，通过添加单层分支对一个位置的中心度进行预测，来抑制这些低质量的边界框，损失函数如公式(2)所示：
3)
l*，r*，t*，b*表示一个位置的回归目标，测试时，将预测的中心度与相应的分类得分相乘得到最终得分，中心度可以降低远离对象中心的边界框的权重，低质量的边界框会被最终的非极大值抑制NMS(Non-Maximum Suppression,简称NMS)过程滤除，
目标检测器的总损失的定义，如公式(3)所示：
4)
Lcls表示focal loss，Lreg表示IOU loss，Npos表示的是正样本的数量，λ表示Lreg的平衡权重，
表示指示函数，当
时，
的值为1，否则为0；
2-5)在对PL-AFD网络的训练过程中，当损失函数收敛时，将每个训练周期得到的权重都保存下来，对保存的权重进行测试，测试效果最好的权重为最佳权重，挑选出最佳的训练权重，对SID数据集中正常照度图像进行测试，生成伪标签，
其中，PL-AFD包括骨干网络、MA-FPN模块和检测头三部分，骨干网络设有五个Block_body模块，五个Block_body模块依次对图像进行特征提取，每个Block_body模块由两个分支组成，在第一个分支中，首先通过卷积核大小为1*1的卷积调整通道数，然后分别用扩张率为{1,4,8,13}、卷积核大小为3*3的空洞卷积提取特征，最后将提取到的特征采用Concat操作进行拼接，再通过卷积核大小为1*1、步长为1的卷积调整通道数；在另一个分支中，首先经过一个平均池化层，然后经过一个全连接层和ReLU层，接着经过一个全连接层，最后经过一个Sigmoid激活函数得到特征图每个通道对应的权重，第一个分支得到的特征图与第二个分支得到的权重相乘，为特征图的每一个通道赋予不同的权重,最后特征图经过卷积核大小为1*1、步长为1的卷积和一个ReLU激活函数，得到尺寸大小为13*13*1024，26*26*512，52*52*256和104*104*128的特征图，将骨干网络提取到的4个特征图送入到MA-FPN模块中，采用内存注意力模块进行注意力特征提取，首先，经过步长为1、卷积核大小为1*1的卷积调整通道数，然后经过步长为1、卷积核大小为1*C的一维卷积对特征图进行存储，再通过Softmax层和L1Norm层对特征图进行归一化，接着，通过步长为1、卷积核大小为1*C的一维卷积对特征图进行更新，然后经过步长为1、卷积核大小为1*1的卷积调整通道数，再用BatchNorm对特征图进行归一化，最后，将得到的特征图和最开始输入到内存注意力模块的特征图进行逐元素相加，分别得到尺寸大小为13*13*1024，26*26*512，52*52*256和104*104*128的特征图，将得到的4个特征图送入4层特征金字塔当中，进行特征提取和特征融合，通过自上而下的路径进行上采样和自下而上的路径进行下采样，然后通过横向链接合并相同尺寸大小的自底向上的路径得到的特征图和自顶向下的路径得到的特征图，分别得到尺寸大小为13*13*1024，26*26*512和52*52*256的特征图，将3个特征图分别送入对应的3个检测头当中，首先经过卷积核大小为3*3、步长为1的卷积提取特征，然后经过卷积核大小为1*1、步长为1的卷积调整通道数，最后分别输出尺寸大小为13*13*75、26*26*75和52*52*75的特征图；
3)低照度图像增强网络LLENet的训练，包括下述步骤：
3-1)对SID数据集的图像进行预处理，将所有图像的宽度和高度统一缩放至416*416像素；
3-2)把低照度图像送入特征提取模块中，进行特征提取；
3-3)把步骤3-2)提取到的特征送入光照增强模块，对低照度图像进行增强；
3-4)将步骤3-3)增强后的图像和增强后的图像对应的正常照度图像一起送入降噪模块，对增强后的图像进行降噪处理，
其中，LLENet网络设有特征提取模块、光照增强模块、特征融合模块和降噪模块，特征提取模块由3组特征提取单元FEU组成，每个FEU有两个分支，在第一个分支中，首先采用卷积核大小为1*1的卷积进行升维，然后经过卷积核大小为3*3、步长为1的卷积提取特征，最后通过卷积核大小为1*1的卷积调整通道数，在另一个分支中，采用卷积核大小为1*1的卷积调整通道数，将两个分支得到的特征图逐元素相加；光照增强模块由三个分支组成，在第一个分支中，首先经过1*1的卷积调整通道数，接着采用4组卷积核大小为3*3、步长为2的卷积层和ReLU激活函数进行下采样，每次下采样之后特征图的尺寸都缩小为原来的一半，然后采用4组卷积核大小为3*3、步长为2的反卷积和ReLU激活函数进行上采样，每次上采样之后特征图的尺寸都扩大为原来的2倍，形成一个对称的结构，在第二个分支中，采用U-net结构增强特征，在第三个分支中，首先，特征图经过卷积核大小为1*1的卷积调整通道数，然后通过卷积核大小为3*3、步长为2的卷积和ReLU激活函数进行下采样，得到特征图F1，接着，特征图F1经过两次卷积核大小为3*3、步长为1、填充为1的卷积提取特征，得到的特征图与特征图F1采用Concat操作进行拼接，然后通过卷积核大小为1*1的卷积调整通道数，得到特征图F2，其次，特征图F2经过两次卷积核大小为3*3、步长为1、填充为1的卷积提取特征，得到的特征图与特征图F2采用Concat操作进行拼接，然后通过卷积核大小为1*1的卷积调整通道数，得到特征图F3，再次，特征图F3经过两次卷积核大小为3*3、步长为1、填充为1的卷积提取特征，得到的特征图与特征图F3采用Concat操作进行拼接，然后通过卷积核大小为1*1的卷积调整通道数，得到特征图F4，最后，将特征图F4经过卷积核大小为3*3、步长为2的反卷积层进行上采样；特征融合模块将光照增强模块的三个分支得到的特征图采用Concat操作进行拼接，然后经过卷积核大小为3*3、步长为1的卷积进行特征提取，最后通过卷积核大小为1*1、步长为1的卷积调整通道数；在降噪模块中，首先用三组卷积对特征图进行下采样和一组卷积对特征进行提取，在第一组卷积中，经过卷积核大小为3*3、步长为2的卷积和ReLU函数进行下采样，在第二组卷积中，首先经过卷积核大小为3*3、步长为1的卷积和ReLU函数进行特征提取，然后通过卷积核大小为3*3、步长为2的卷积和ReLU函数进行下采样，在第三组卷积中，首先经过两组卷积核大小为3*3、步长为1的卷积和ReLU函数进行特征提取，然后通过卷积核大小为3*3、步长为2的卷积和ReLU函数进行下采样，在第四组卷积中，经过3组卷积核大小为3*3、步长为1的卷积和ReLU函数进行特征提取，接着，用三组卷积对特征图进行上采样，在第一组卷积中，先经过卷积核大小为3*3、步长为2的反卷积和ReLU函数进行上采样，然后通过两组卷积核大小为3*3、步长为1的卷积进行特征提取，在第二组卷积中，先经过卷积核大小为3*3、步长为2的反卷积和ReLU函数进行上采样，然后通过一组卷积核大小为3*3、步长为1的卷积进行特征提取，在第三组卷积中，经过卷积核大小为3*3、步长为2的反卷积和ReLU函数进行上采样，最后，在上采样的第一组卷积的输出和下采样的第二组卷积的输出、上采样的第二组卷积的输出和下采样的第一组卷积的输出、上采样的第三组卷积的输出和第四组卷积的输出之间分别加入跳跃连接，用来弥补提取特征过程中信息的丢失；
4)对域适应模块的训练，包括下述步骤：
4-1)将SID数据集中正常照度图像与步骤2-5)生成的伪标签和步骤3)得到的增强后的图像送进带有域适应和自监督模块的目标检测器中，每个批次包含4张正常照度图像和4张增强后的图像；
4-2)骨干网络提取图像的特征，分别输出尺寸大小为13*13*1024、26*26*512、52*52*256和104*104*128的特征图；
4-3)把步骤4-2)得到的4个特征图送入域适应网络中，首先经过梯度反转层，然后经过Global Average Pooling层和全连接层，最后通过域分类层进行类别预测，判断步骤4-2)得到的4个特征图是否属于目标域，
其中，PL-AFD的骨干网络提取图像的特征，分别输出尺寸大小为13*13*1024、26*26*512、52*52*256和104*104*128的特征图，将4个特征图分别送入对应的域适应模块中，首先经过一个GRL层，当网络正向传播时，GRL层输出的是恒定的正值，当网络反向传播时,GRL层输出的是负值，然后，经过全局平均池化层，对全局特征进行提取，接着经过一个全连接层，最后用Softmax进行分类，判断4个特征图是否属于目标域；
5)对自监督模块的训练，包括下述步骤：
5-1)将步骤4-2)得到的特征图分别送入4个自监督头；
5-2)启动辅助任务，辅助对源域和目标域图像特征的学习；
5-3)把自监督学习到的特征送到下游任务中，提高目标检测器的检测能力，
其中，PL-AFD的骨干网络提取图像的特征，分别输出尺寸大小为13*13*1024，26*26*512，52*52*256和104*104*128的特征图，将4个特征图分别送入对应的自监督头中，首先经过两次步长为1、卷积核大小为3*3的卷积和ReLU激活函数进行特征提取，然后通过一个全连接层，启动辅助任务，加载一个批次，一个批次包含4张增强图像的特征图和4张正常照度的特征图，把所有的特征图按照3*3的格式平均切分为9块，增强图像的一个patch与对应的正常照度下同一位置的patch互相匹配，将其中一块作为query，其他的块标记为k0，k1，k2，k3......并放入字典当中，把字典当中与query相匹配的key作为正例，其他的key作为负例，用点积来度量query和key的相似度；
6)对整个低照度目标检测网络的测试，包括下述步骤：
6-1)把SID数据集中的低照度图像送入低照度增强网络中进行增强；
6-2)将步骤6-1)得到的增强后的图像送入PL-AFD中进行检测；
6-3)将检测到的结果可视化。
本技术方案解决的是在目标检测中，由于低照度环境下成像较暗、细节丢失严重、内容模糊等因素导致的检测效果较差问题。首先，鉴于数据集标注成本过高，大量任务无法获取到所需的强监督信息，因此，本技术方案采用了弱监督方法，把正常照度图像送入预训练好的目标检测网络中生成伪标签；其次，采用特征提取、光照增强、特征融合和降噪等操作对低照度图像进行增强；再次，将增强后的图像、伪标签和正常照度图像送入带有域适应网络和自监督头的基于像素级的无锚检测器PL-AFD中训练，骨干网络从图像中提取到4个不同尺度的特征图，4个特征图经过带有注意力机制的特征金字塔，对特征进一步的提取和融合。PL-AFD把每个像素作为训练样本，将落入真实框的像素点规定为正样本，针对图像中存在的目标尺度不统一问题，本技术方案采用了多尺度的策略，PL-AFD的骨干网络从图像中提取到不同大小的特征层，每个特征层有不同的感受野，用来捕捉不同尺度的目标，其中，底层的特征层包含丰富的位置信息，高层的特征层包含大量的语义信息，邻近的特征层互相融合，融合后的特征包含语义信息和位置信息，有效提升了检测器的检测性能，本技术方案在PL-AFD的MA-FPN中加入了内存注意力模块，内存注意力机制具有效率高、参数少、速度快等优点，能够让模型选择有效、适当规模和高质量的特征，进而让模型高效地完成任务。本技术方案在目标检测器中增加了域适应模块和自监督模块，域适应是在源数据集上训练一个神经网络，使显著不同于源数据集的目标数据集送入该神经网络中进行测试，也能得到较好的效果；自监督模块让模型直接从无标签数据中学习，无需标注数据，在学习的过程中，自监督模块会借助辅助任务来提高学习表征的能力，并把学习到的特征交给下游任务，从而提高下游任务的质量；最后，将特征图送入检测头，分别对边界框、中心点、类别进行预测。
这种方法使得低照度图像和正常照度图像在像素级别和特征级别相互适应，从而让目标检测器学习更具有表达能力的特征，能提高目标检测器的检测精度。
附图说明
图1为实施例中的MS-WSDA网络结构示意图；
图2为实施例中的FEU结构示意图；
图3为实施例中的Block_body结构示意图；
图4为实施例中的Memory attention结构示意图；
图5为实施例中的域适应网络结构示意图；
图6为实施例中的自监督模块结构示意图。
具体实施方式
下面结合附图和实施例对本发明的内容做进一步的阐述，但不是对本发明的限定。
实施例：
一种基于MS-WSDA的低照度目标检测方法，包括如下步骤：
1)整合数据集：包括：
1-1)选取PASCAL VOC2007数据集中的图像，PASCAL VOC2007数据集设有训练集5011张图像、测试集4952张图像，共计9963张图像，包含20个种类PASCAL VOC2007数据集用来对PL-AFD进行预训练，表1为数据集的来源：
表1
1-2)选取SID数据集，SID数据集包含5094张低照度图像及其对应的正常照度图像，随机挑选70％的图像作为训练集图像，30％的图片作为测试集图像，其中，正常照度图像用来对预训练好的基于像素的无锚检测器PL-AFD进行测试，生成伪标签，低照度图像和正常照度图像的训练集用来训练低照度增强网络LLENet，成增强后的图像，正常照度图像的训练集和增强后的图像集用来训练带有域适应网络和自监督头的目标检测网络PL-AFD，低照度图像的测试集用来测试训练好的LLENet和PL-AFD网络；
2)基于像素级的无锚检测器PL-AFD的预训练和伪标签的生成：由于SID数据集缺乏Ground-truth标签和分类标签，并且人工的标注成本过高，因此本例采用预训练的方法生成伪标签，首先采用PASACL VOC2007的数据集对目标检测网络进行训练，保存检测效果最佳的权重，然后将正常光照图像送进预训练好的目标检测网络进行测试，生成伪标签，包括下述步骤：
2-1)将PASACL VOC2007数据集中所有图像的宽度和高度统一缩放至416*416像素；
2-2)参照图1，将步骤2-1)处理后的图像送入PL-AFD的骨干网络进行特征的提取，分别得到尺寸大小为13*13*1024、26*26*512、52*52*256和104*104*128的特征图；
2-3)将步骤2-2)得到的四个特征图送入基于内存注意力机制的特征金字塔MA-FPN(Feature Pyramid Network Based On Memory Attention Mechanism，简称MA-FPN)模块中，特征图首先经过内存注意力机制，进行注意力特征的提取，然后进行卷积、上采样、特征融合和下采样的操作，分别得到尺寸大小为13*13*512、26*26*256、52*52*128的特征图；
2-4)将步骤2-3)得到的三个特征图分别送入三个检测头，三个检测头均可分别对物体的类别、中心点和边界框进行预测：首先经过两个卷积层，分别输出尺寸大小为13*13*75、26*26*75、52*52*75的特征图，然后分别对边界框、中心点、类别进行预测，PL-AFD对每个像素(x,y)进行直接预测，预测的目标是离边界框上、下、左、右的距离，输入图像的真实边界框被定义为{Bi}，
其中，
和
分别表示边界框的左上角坐标和右下角坐标，如果像素(x,y)落在真实框Bi当中，则像素(x,y)的回归目标如公式(1)所示：
5)
在像素(x,y)对边界框进行预测的过程中，远离目标中心点的像素会生成许多低质量的预测边界框，本例通过添加单层分支对一个位置的中心度进行预测，来抑制这些低质量的边界框，损失函数如公式(2)所示：
6)
l*，r*，t*，b*表示一个位置的回归目标，测试时，将预测的中心度与相应的分类得分相乘得到最终得分，中心度可以降低远离对象中心的边界框的权重，低质量的边界框会被最终的非极大值抑制NMS过程滤除，从而提高检测性能，目标检测器的总损失的定义，如公式(3)所示：
7)
Lcls表示focal loss，Lreg表示IOU loss，Npos表示的是正样本的数量，λ表示Lreg的平衡权重，
表示指示函数，当
时，
的值为1，否则为0；
2-5)在对PL-AFD网络的训练过程中，当损失函数收敛时，将每个训练周期得到的权重都保存下来，对保存的权重进行测试，测试效果最好的权重为最佳权重，挑选出最佳的训练权重，对SID数据集中正常照度图像进行测试，生成伪标签，
其中，PL-AFD包括骨干网络、MA-FPN模块和检测头三部分，骨干网络设有五个Block_body模块，五个Block_body模块依次对图像进行特征提取，每个Block_body模块由两个分支组成，在第一个分支中，首先通过卷积核大小为1*1的卷积调整通道数，然后分别用扩张率为{1,4,8,13}、卷积核大小为3*3的空洞卷积提取特征，最后将提取到的特征采用Concat操作进行拼接，再通过卷积核大小为1*1、步长为1的卷积调整通道数；在另一个分支中，首先经过一个平均池化层，然后经过一个全连接层和ReLU层，接着经过一个全连接层，最后经过一个Sigmoid激活函数得到特征图每个通道对应的权重，第一个分支得到的特征图与第二个分支得到的权重相乘，为特征图的每一个通道赋予不同的权重,最后特征图经过卷积核大小为1*1、步长为1的卷积和一个ReLU激活函数，得到尺寸大小为13*13*1024，26*26*512，52*52*256和104*104*128的特征图，将骨干网络提取到的4个特征图送入到MA-FPN模块中，采用内存注意力模块进行注意力特征提取，首先，经过步长为1、卷积核大小为1*1的卷积调整通道数，然后经过步长为1、卷积核大小为1*C的一维卷积对特征图进行存储，再通过Softmax层和L1Norm层对特征图进行归一化，接着，通过步长为1、卷积核大小为1*C的一维卷积对特征图进行更新，然后经过步长为1、卷积核大小为1*1的卷积调整通道数，再用BatchNorm对特征图进行归一化，最后，将得到的特征图和最开始输入到内存注意力模块的特征图进行逐元素相加，分别得到尺寸大小为13*13*1024，26*26*512，52*52*256和104*104*128的特征图，将得到的4个特征图送入4层特征金字塔当中，进行特征提取和特征融合，通过自上而下的路径进行上采样和自下而上的路径进行下采样，然后通过横向链接合并相同尺寸大小的自底向上的路径得到的特征图和自顶向下的路径得到的特征图，分别得到尺寸大小为13*13*1024，26*26*512和52*52*256的特征图，将3个特征图分别送入对应的3个检测头当中，首先经过卷积核大小为3*3、步长为1的卷积提取特征，然后经过卷积核大小为1*1、步长为1的卷积调整通道数，最后分别输出尺寸大小为13*13*75、26*26*75和52*52*75的特征图；
3)低照度图像增强网络LLENet(Low light Enhancement Net，简称LLENet)的训练，包括：
3-1)对SID数据集的图像进行预处理，将所有图像的宽度和高度统一缩放至416*416像素；
3-2)把低照度图像送入特征提取模块中，进行特征提取；
3-3)把步骤3-2)提取到的特征送入光照增强模块，对低照度图像进行增强；
3-4)将步骤3-3)增强后的图像和增强后的图像对应的正常照度图像一起送入降噪模块，对增强后的图像进行降噪处理，
其中，LLENet网络设有特征提取模块、光照增强模块、特征融合模块和降噪模块，如图2所示，特征提取模块由3组特征提取单元FEU(Feature Extraction Unit,简称FEU)组成，每个FEU有两个分支，在第一个分支中，首先采用卷积核大小为1*1的卷积进行升维，然后经过卷积核大小为3*3、步长为1的卷积提取特征，最后通过卷积核大小为1*1的卷积调整通道数，在另一个分支中，采用卷积核大小为1*1的卷积调整通道数，将两个分支得到的特征图逐元素相加；
光照增强模块由三个分支组成，第一个分支如表2所示：
表2
在第一个分支中，首先经过1*1的卷积调整通道数，接着采用4组卷积核大小为3*3、步长为2的卷积层和ReLU激活函数进行下采样，每次下采样之后特征图的尺寸都缩小为原来的一半，然后采用4组卷积核大小为3*3、步长为2的反卷积和ReLU激活函数进行上采样，每次上采样之后特征图的尺寸都扩大为原来的2倍，形成一个对称的结构，第二分支如表3所示：
表3
在第二个分支中，采用U-net结构增强特征，第三分支如表4所示：
表4
在第三个分支中，首先，特征图经过卷积核大小为1*1的卷积调整通道数，然后通过卷积核大小为3*3、步长为2的卷积和ReLU激活函数进行下采样，得到特征图F1，接着，特征图F1经过两次卷积核大小为3*3、步长为1、填充为1的卷积提取特征，得到的特征图与特征图F1采用Concat操作进行拼接，然后通过卷积核大小为1*1的卷积调整通道数，得到特征图F2，其次，特征图F2经过两次卷积核大小为3*3、步长为1、填充为1的卷积提取特征，得到的特征图与特征图F2采用Concat操作进行拼接，然后通过卷积核大小为1*1的卷积调整通道数，得到特征图F3，再次，特征图F3经过两次卷积核大小为3*3、步长为1、填充为1的卷积提取特征，得到的特征图与特征图F3采用Concat操作进行拼接，然后通过卷积核大小为1*1的卷积调整通道数，得到特征图F4，最后，将特征图F4经过卷积核大小为3*3、步长为2的反卷积层进行上采样，在图像增强过程中，为了防止曝光不足或者曝光过度，设计曝光控制损失函数来控制曝光水平，如公式(4)所示：
8)
其中，H表示大小为16*16的不重叠局部区域的个数，Y表示增强图像中局部区域的平均强度值，M表示RGB颜色空间中的灰度级，
颜色恒定损失用来纠正增强图像中潜在的颜色偏差，并建立了三个通道之间的关系，如公式(5)所示：
9)
其中，Jp表示增强图像中P通道的平均强度，(p,q)表示一对通道值；
特征融合模块将光照增强模块的三个分支得到的特征图采用Concat操作进行拼接，然后经过卷积核大小为3*3、步长为1的卷积进行特征提取，最后通过卷积核大小为1*1、步长为1的卷积调整通道数；
降噪模块如表5所示：
表5
在降噪模块中，首先用三组卷积对特征图进行下采样和一组卷积进行特征提取，在第一组卷积中，经过卷积核大小为3*3、步长为2的卷积和ReLU函数进行下采样，在第二组卷积中，首先经过卷积核大小为3*3、步长为1的卷积和ReLU函数进行特征提取，然后通过卷积核大小为3*3、步长为2的卷积和ReLU函数进行下采样，在第三组卷积中，首先经过两组卷积核大小为3*3、步长为1的卷积和ReLU函数进行特征提取，然后通过卷积核大小为3*3、步长为2的卷积和ReLU函数进行下采样，在第四组卷积中，经过3组卷积核大小为3*3、步长为1的卷积和ReLU函数进行特征提取，接着，用三组卷积对特征图进行上采样，在第一组卷积中，先经过卷积核大小为3*3、步长为2的反卷积和ReLU函数进行上采样，然后通过两组卷积核大小为3*3、步长为1的卷积进行特征提取，在第二组卷积中，先经过卷积核大小为3*3、步长为2的反卷积和ReLU函数进行上采样，然后通过一组卷积核大小为3*3、步长为1的卷积进行特征提取，在第三组卷积中，经过卷积核大小为3*3、步长为2的反卷积和ReLU函数进行上采样，最后，在上采样的第一组卷积的输出和下采样的第二组卷积的输出、上采样的第二组卷积的输出和下采样的第一组卷积的输出、上采样的第三组卷积的输出和第四组卷积的输出之间分别加入跳跃连接，用来弥补提取特征过程中信息的丢失，降噪损失函数如公式(6)所示：
10)
其中N表示样本的个数，D0表示降噪器，Io表示正常照度图像，IE表示增强后的图像，
低照度增强的总损失如公式(7)所示：
11)Ltotal＝WdeLde+WexpLexp+WcolLcol (7)，
其中Wde，Wexp，Wcd表示损失的权重；
4)对域适应模块的训练，包括：
4-1)将SID数据集中正常照度图像与步骤2-5)生成的伪标签和步骤3)得到的增强后的图像送进带有域适应和自监督模块的目标检测器中，每个批次包含4张正常照度图像和4张增强后的图像；
4-2)如图5所示，骨干网络提取图像的特征，分别输出尺寸大小为13*13*1024、26*26*512、52*52*256和104*104*128的特征图；
4-3)把步骤4-2)得到的4个特征图送入域适应网络中，特征图首先经过梯度反转层，然后经过Global Average Pooling层和全连接层，最后通过域分类层进行类别预测，判断步骤4-2)得到的4个特征图是否属于目标域，用二值交叉熵损失函数计算域分类损失，如公式(8)所示：
12)
ti表示第i个训练图像的真实域标签，ti＝1为源域，ti＝0为目标域，
表示对第i个训练图像的特征图上的位置的(x,y)域类别预测，
其中，PL-AFD的骨干网络提取图像的特征，分别输出尺寸大小为13*13*1024、26*26*512、52*52*256和104*104*128的特征图，将4个特征图分别送入对应的域适应模块中，首先经过一个GRL层，当网络正向传播时，GRL层输出的是恒定的正值，当网络反向传播时,GRL层输出的是负值，然后，经过全局平均池化层，对全局特征进行提取，接着经过一个全连接层，最后用Softmax进行分类，判断4个特征图是否属于目标域；
5)对自监督模块的训练，包括：
5-1)将步骤4-2)得到的特征图分别送入4个自监督头，自监督头的结构如图6所示；
5-2)启动辅助任务，辅助对源域和目标域图像特征的学习，本例为：加载一个批次，一个批次包含4张增强图像的特征图和4张正常照度的特征图，把所有的特征图按照3*3的格式平均切分为9块，增强图像的一个patch与对应的正常照度下同一位置的patch互相匹配，将其中一块作为query，其他的块标记为k0，k1，k2，k3......并放入字典当中，把字典当中与query相匹配的key作为正例，其他的key作为负例，用点积来度量query和key的相似度，损失函数如公式(9)所示：
13)
14)σ(x,y)＝exp(x,y/τ)
其中，给定一个query v，v+表示v的正例，v-表示v的负例，N表示负例的个数，τ表示超参数；
5-3)把自监督学习到的特征送到下游任务中，提高目标检测器的检测能力；
6)对整个低照度目标检测网络的测试，包括下述步骤：
6-1)把SID数据集中的低照度图像送入低照度增强网络中进行增强；
6-2)将步骤6-1)得到的增强后的图像送入PL-AFD中进行检测；
6-3)将检测到的结果可视化。
Claims (1)
1.一种基于MS-WDA的低照度目标检测方法，其特征在于，包括如下步骤：
1)整合数据集：包括
1-1)选取PASCAL VOC2007数据集中的图像，PASCAL VOC2007的数据集设有训练集5011张图像，测试集4952张图像，共计9963张图像，包含20个种类；
1-2)选取SID数据集,SID数据集包含5094张低照度图像及其对应的正常照度图像，随机挑选70％的图像作为训练集图像，30％的图像作为测试集图像；
2)基于像素级的无锚检测器PL-AFD的预训练和伪标签的生成，包括下述步骤：
2-1)将PASACL VOC2007数据集中所有图像的宽度和高度统一缩放至416*416像素；
2-2)将步骤2-1)处理后的图像送入PL-AFD的骨干网络进行特征的提取，分别得到尺寸大小为13*13*1024、26*26*512、52*52*256和104*104*128的特征图；
2-3)将步骤2-2)得到的四个特征图送入基于内存注意力机制的特征金字塔MA-FPN模块中，特征图首先经过内存注意力机制，进行注意力特征的提取，然后进行卷积、上采样、特征融合和下采样的操作，分别得到尺寸大小为13*13*512、26*26*256和52*52*128的特征图；
2-4)将步骤2-3)得到的三个特征图分别送入三个检测头，三个检测头均可分别对物体的类别、中心点和边界框进行预测：首先经过两个卷积层，分别输出尺寸大小为13*13*75、26*26*75和52*52*75的特征图，然后分别对边界框、中心点、类别进行预测，PL-AFD对每个像素(x,y)进行直接预测，预测的目标是离边界框上、下、左、右的距离，输入图像的真实边界框被定义为{Bi}，
其中，
和
分别表示边界框的左上角坐标和右下角坐标，如果像素(x,y)落在真实框Bi当中，则像素(x,y)的回归目标如公式(1)所示：
在像素(x,y)对边界框进行预测的过程中，远离目标中心点的像素会生成许多低质量的预测边界框，通过添加单层分支对一个位置的中心度进行预测，来抑制这些低质量的边界框，损失函数如公式(2)所示：
l*，r*，t*，b*表示一个位置的回归目标，测试时，将预测的中心度与相应的分类得分相乘得到最终得分，中心度可以降低远离对象中心的边界框的权重，低质量的边界框会被最终的非极大值抑制NMS过程滤除，目标检测器的总损失的定义，如公式(3)所示：
Lcls表示focal loss，Lreg表示IOU loss，Npos表示的是正样本的数量，λ表示Lreg的平衡权重，
表示指示函数，当
时，
的值为1，否则为0；
2-5)在对PL-AFD网络的训练过程中，当损失函数收敛时，将每个训练周期得到的权重都保存下来，对保存的权重进行测试，测试效果最好的权重为最佳权重，挑选出最佳的训练权重，对SID数据集中正常照度图像进行测试，生成伪标签，
其中，PL-AFD包括骨干网络、MA-FPN模块和检测头三部分，骨干网络设有五个Block_body模块，五个Block_body模块依次对图像进行特征提取，每个Block_body模块由两个分支组成，在第一个分支中，首先通过卷积核大小为1*1的卷积调整通道数，然后分别用扩张率为{1,4,8,13}、卷积核大小为3*3的空洞卷积提取特征，最后将提取到的特征采用Concat操作进行拼接，再通过卷积核大小为1*1、步长为1的卷积调整通道数；在另一个分支中，首先经过一个平均池化层，然后经过一个全连接层和ReLU层，接着经过一个全连接层，最后经过一个Sigmoid激活函数得到特征图每个通道对应的权重，第一个分支得到的特征图与第二个分支得到的权重相乘，为特征图的每一个通道赋予不同的权重,最后特征图经过卷积核大小为1*1、步长为1的卷积和一个ReLU激活函数，得到尺寸大小为13*13*1024，26*26*512，52*52*256和104*104*128的特征图，将骨干网络提取到的4个特征图送入到MA-FPN模块中，采用内存注意力模块进行注意力特征提取，首先，经过步长为1、卷积核大小为1*1的卷积调整通道数，然后经过步长为1、卷积核大小为1*C的一维卷积对特征图进行存储，再通过Softmax层和L1Norm层对特征图进行归一化，接着，通过步长为1、卷积核大小为1*C的一维卷积对特征图进行更新，然后经过步长为1、卷积核大小为1*1的卷积调整通道数，再用BatchNorm对特征图进行归一化，最后，将得到的特征图和最开始输入到内存注意力模块的特征图进行逐元素相加，分别得到尺寸大小为13*13*1024，26*26*512，52*52*256和104*104*128的特征图，将得到的4个特征图送入4层特征金字塔当中，进行特征提取和特征融合，通过自上而下的路径进行上采样和自下而上的路径进行下采样，然后通过横向链接合并相同尺寸大小的自底向上的路径得到的特征图和自顶向下的路径得到的特征图，分别得到尺寸大小为13*13*1024，26*26*512和52*52*256的特征图，将3个特征图分别送入对应的3个检测头当中，首先经过卷积核大小为3*3、步长为1的卷积提取特征，然后经过卷积核大小为1*1、步长为1的卷积调整通道数，最后分别输出尺寸大小为13*13*75、26*26*75和52*52*75的特征图；
3)低照度图像增强网络LLENet的训练，包括下述步骤：
3-1)对SID数据集的图像进行预处理，将所有图像的宽度和高度统一缩放至416*416像素；
3-2)把低照度图像送入特征提取模块中，进行特征提取；
3-3)把步骤3-2)提取到的特征送入光照增强模块，对低照度图像进行增强；
3-4)将步骤3-3)增强后的图像和增强后的图像对应的正常照度图像一起送入降噪模块，对增强后的图像进行降噪处理，
其中，LLENet网络设有特征提取模块、光照增强模块、特征融合模块和降噪模块，特征提取模块由3组特征提取单元FEU组成，每个FEU有两个分支，在第一个分支中，首先采用卷积核大小为1*1的卷积进行升维，然后经过卷积核大小为3*3、步长为1的卷积提取特征，最后通过卷积核大小为1*1的卷积调整通道数，在另一个分支中，采用卷积核大小为1*1的卷积调整通道数，将两个分支得到的特征图逐元素相加；光照增强模块由三个分支组成，在第一个分支中，首先经过1*1的卷积调整通道数，接着采用4组卷积核大小为3*3、步长为2的卷积层和ReLU激活函数进行下采样，每次下采样之后特征图的尺寸都缩小为原来的一半，然后采用4组卷积核大小为3*3、步长为2的反卷积和ReLU激活函数进行上采样，每次上采样之后特征图的尺寸都扩大为原来的2倍，形成一个对称的结构，在第二个分支中，采用U-net结构增强特征，在第三个分支中，首先，特征图经过卷积核大小为1*1的卷积调整通道数，然后通过卷积核大小为3*3、步长为2的卷积和ReLU激活函数进行下采样，得到特征图F1，接着，特征图F1经过两次卷积核大小为3*3、步长为1、填充为1的卷积提取特征，得到的特征图与特征图F1采用Concat操作进行拼接，然后通过卷积核大小为1*1的卷积调整通道数，得到特征图F2，其次，特征图F2经过两次卷积核大小为3*3、步长为1、填充为1的卷积提取特征，得到的特征图与特征图F2采用Concat操作进行拼接，然后通过卷积核大小为1*1的卷积调整通道数，得到特征图F3，再次，特征图F3经过两次卷积核大小为3*3、步长为1、填充为1的卷积提取特征，得到的特征图与特征图F3采用Concat操作进行拼接，然后通过卷积核大小为1*1的卷积调整通道数，得到特征图F4，最后，将特征图F4经过卷积核大小为3*3、步长为2的反卷积层进行上采样；特征融合模块将光照增强模块的三个分支得到的特征图采用Concat操作进行拼接，然后经过卷积核大小为3*3、步长为1的卷积进行特征提取，最后通过卷积核大小为1*1、步长为1的卷积调整通道数；在降噪模块中，首先用三组卷积对特征图进行下采样和一组卷积对特征进行提取，在第一组卷积中，经过卷积核大小为3*3、步长为2的卷积和ReLU函数进行下采样，在第二组卷积中，首先经过卷积核大小为3*3、步长为1的卷积和ReLU函数进行特征提取，然后通过卷积核大小为3*3、步长为2的卷积和ReLU函数进行下采样，在第三组卷积中，首先经过两组卷积核大小为3*3、步长为1的卷积和ReLU函数进行特征提取，然后通过卷积核大小为3*3、步长为2的卷积和ReLU函数进行下采样，在第四组卷积中，经过3组卷积核大小为3*3、步长为1的卷积和ReLU函数进行特征提取，接着，用三组卷积对特征图进行上采样，在第一组卷积中，先经过卷积核大小为3*3、步长为2的反卷积和ReLU函数进行上采样，然后通过两组卷积核大小为3*3、步长为1的卷积进行特征提取，在第二组卷积中，先经过卷积核大小为3*3、步长为2的反卷积和ReLU函数进行上采样，然后通过一组卷积核大小为3*3、步长为1的卷积进行特征提取，在第三组卷积中，经过卷积核大小为3*3、步长为2的反卷积和ReLU函数进行上采样，最后，在上采样的第一组卷积的输出和下采样的第二组卷积的输出、上采样的第二组卷积的输出和下采样的第一组卷积的输出、上采样的第三组卷积的输出和第四组卷积的输出之间分别加入跳跃连接，用来弥补提取特征过程中信息的丢失；
4)对域适应模块的训练，包括下述步骤：
4-1)将SID数据集中正常照度图像与步骤2-5)生成的伪标签和步骤3)得到的增强后的图像送进带有域适应和自监督模块的目标检测器中，每个批次包含4张正常照度图像和4张增强后的图像；
4-2)骨干网络提取图像的特征，分别输出尺寸大小为13*13*1024、26*26*512、52*52*256和104*104*128的特征图；
4-3)把步骤4-2)得到的4个特征图送入域适应网络中，首先经过梯度反转层，然后经过Global Average Pooling层和全连接层，最后通过域分类层进行类别预测，判断步骤4-2)得到的4个特征图是否属于目标域，
其中，PL-AFD的骨干网络提取图像的特征，分别输出尺寸大小为13*13*1024、26*26*512、52*52*256和104*104*128的特征图，将4个特征图分别送入对应的域适应模块中，首先经过一个GRL层，当网络正向传播时，GRL层输出的是恒定的正值，当网络反向传播时,GRL层输出的是负值，然后，经过全局平均池化层，对全局特征进行提取，接着经过一个全连接层，最后用Softmax进行分类，判断4个特征图是否属于目标域；
5)对自监督模块的训练，包括下述步骤：
5-1)将步骤4-2)得到的特征图分别送入4个自监督头；
5-2)启动辅助任务，辅助对源域和目标域图像特征的学习；
5-3)把自监督学习到的特征送到下游任务中，提高目标检测器的检测能力，
其中，PL-AFD的骨干网络提取图像的特征，分别输出尺寸大小为13*13*1024，26*26*512，52*52*256和104*104*128的特征图，将4个特征图分别送入对应的自监督头中，首先经过两次步长为1、卷积核大小为3*3的卷积和ReLU激活函数进行特征提取，然后通过一个全连接层，启动辅助任务，加载一个批次，一个批次包含4张增强图像的特征图和4张正常照度的特征图，把所有的特征图按照3*3的格式平均切分为9块，增强图像的一个patch与对应的正常照度下同一位置的patch互相匹配，将其中一块作为query，其他的块标记为k0，k1，k2，k3......并放入字典当中，把字典当中与query相匹配的key作为正例，其他的key作为负例，用点积来度量query和key的相似度；
6)对整个低照度目标检测网络的测试，包括下述步骤：
6-1)把SID数据集中的低照度图像送入低照度增强网络中进行增强；
6-2)将步骤6-1)得到的增强后的图像送入PL-AFD中进行检测；
6-3)将检测到的结果可视化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110806608.3A CN113449811B (zh) | 2021-07-16 | 2021-07-16 | 一种基于ms-wsda的低照度目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110806608.3A CN113449811B (zh) | 2021-07-16 | 2021-07-16 | 一种基于ms-wsda的低照度目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113449811A true CN113449811A (zh) | 2021-09-28 |
| CN113449811B CN113449811B (zh) | 2022-05-13 |
Family
ID=77816540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110806608.3A Active CN113449811B (zh) | 2021-07-16 | 2021-07-16 | 一种基于ms-wsda的低照度目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113449811B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113963322A (zh) * | 2021-10-29 | 2022-01-21 | 北京百度网讯科技有限公司 | 一种检测模型训练方法、装置及电子设备 |
| CN114037938A (zh) * | 2021-11-09 | 2022-02-11 | 桂林电子科技大学 | 一种基于NFL-Net的低照度目标检测方法 |
| CN114676771A (zh) * | 2022-03-22 | 2022-06-28 | 西安交通大学 | 一种基于自监督和相似度抑制的在线目标检测提升算法 |
| CN115861380A (zh) * | 2023-02-16 | 2023-03-28 | 深圳市瓴鹰智能科技有限公司 | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020924A (zh) * | 2012-12-13 | 2013-04-03 | 武汉大学 | 基于相似场景的低照度监控图像增强方法 |
| US20180276455A1 (en) * | 2017-03-27 | 2018-09-27 | Samsung Electronics Co., Ltd. | Apparatus and method for image processing |
| CN109635951A (zh) * | 2018-12-18 | 2019-04-16 | 哈尔滨工业大学 | 基于加权分布对齐和几何特征对齐的无监督跨领域自适应数据标定方法及系统 |
| CN110675328A (zh) * | 2019-08-02 | 2020-01-10 | 北京巨数数字技术开发有限公司 | 基于条件生成对抗网络的低照度图像增强方法及装置 |
| CN110807740A (zh) * | 2019-09-17 | 2020-02-18 | 北京大学 | 一种面向监控场景车窗图像的图像增强方法与系统 |
| CN111222396A (zh) * | 2019-10-23 | 2020-06-02 | 江苏大学 | 一种全天候多光谱行人检测方法 |
| CN111932471A (zh) * | 2020-07-24 | 2020-11-13 | 山西大学 | 用于低照度图像增强的双路曝光度融合网络模型及方法 |
| US20210133932A1 (en) * | 2019-11-01 | 2021-05-06 | Lg Electronics Inc. | Color restoration method and apparatus |
| CN112836713A (zh) * | 2021-03-12 | 2021-05-25 | 南京大学 | 基于图像无锚框检测的中尺度对流系统识别与追踪方法 |
-
2021
- 2021-07-16 CN CN202110806608.3A patent/CN113449811B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020924A (zh) * | 2012-12-13 | 2013-04-03 | 武汉大学 | 基于相似场景的低照度监控图像增强方法 |
| US20180276455A1 (en) * | 2017-03-27 | 2018-09-27 | Samsung Electronics Co., Ltd. | Apparatus and method for image processing |
| CN109635951A (zh) * | 2018-12-18 | 2019-04-16 | 哈尔滨工业大学 | 基于加权分布对齐和几何特征对齐的无监督跨领域自适应数据标定方法及系统 |
| CN110675328A (zh) * | 2019-08-02 | 2020-01-10 | 北京巨数数字技术开发有限公司 | 基于条件生成对抗网络的低照度图像增强方法及装置 |
| CN110807740A (zh) * | 2019-09-17 | 2020-02-18 | 北京大学 | 一种面向监控场景车窗图像的图像增强方法与系统 |
| CN111222396A (zh) * | 2019-10-23 | 2020-06-02 | 江苏大学 | 一种全天候多光谱行人检测方法 |
| US20210133932A1 (en) * | 2019-11-01 | 2021-05-06 | Lg Electronics Inc. | Color restoration method and apparatus |
| CN111932471A (zh) * | 2020-07-24 | 2020-11-13 | 山西大学 | 用于低照度图像增强的双路曝光度融合网络模型及方法 |
| CN112836713A (zh) * | 2021-03-12 | 2021-05-25 | 南京大学 | 基于图像无锚框检测的中尺度对流系统识别与追踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| 戴腾，张珂，尹东: "一种用于驾驶场景下手机检测的端到端的神经网络", 《光电工程》 * |
| 江泽涛，覃露露: "一种基于U-Net生成对抗网络的低照度图像增强方法", 《电子学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113963322A (zh) * | 2021-10-29 | 2022-01-21 | 北京百度网讯科技有限公司 | 一种检测模型训练方法、装置及电子设备 |
| CN113963322B (zh) * | 2021-10-29 | 2023-08-25 | 北京百度网讯科技有限公司 | 一种检测模型训练方法、装置及电子设备 |
| CN114037938A (zh) * | 2021-11-09 | 2022-02-11 | 桂林电子科技大学 | 一种基于NFL-Net的低照度目标检测方法 |
| CN114037938B (zh) * | 2021-11-09 | 2024-03-26 | 桂林电子科技大学 | 一种基于NFL-Net的低照度目标检测方法 |
| CN114676771A (zh) * | 2022-03-22 | 2022-06-28 | 西安交通大学 | 一种基于自监督和相似度抑制的在线目标检测提升算法 |
| CN114676771B (zh) * | 2022-03-22 | 2024-11-01 | 西安交通大学 | 一种基于自监督和相似度抑制的在线目标检测提升算法 |
| CN115861380A (zh) * | 2023-02-16 | 2023-03-28 | 深圳市瓴鹰智能科技有限公司 | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113449811B (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113449811B (zh) | 一种基于ms-wsda的低照度目标检测方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN104299006A (zh) | 一种基于深度神经网络的车牌识别方法 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| KR20200087297A (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
| Fan et al. | A novel sonar target detection and classification algorithm | |
| CN115131797B (zh) | 一种基于特征增强金字塔网络的场景文本检测方法 | |
| Maryan et al. | Machine learning applications in detecting rip channels from images | |
| CN107273870A (zh) | 一种监控场景下融合上下文信息的行人位置检测方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN112365451B (zh) | 图像质量等级的确定方法、装置、设备及计算机可读介质 | |
| CN114782311A (zh) | 一种基于CenterNet改进的多尺度缺陷目标检测方法及系统 | |
| CN116758340A (zh) | 基于超分辨率特征金字塔和注意力机制的小目标检测方法 | |
| CN117372898A (zh) | 一种基于改进yolov8的无人机航拍图像目标检测方法 | |
| CN113901924A (zh) | 一种文档表格的检测方法及装置 | |
| Yildiz et al. | Hybrid image improving and CNN (HIICNN) stacking ensemble method for traffic sign recognition | |
| CN116385717A (zh) | 叶面病害识别方法、装置、电子设备、存储介质及产品 | |
| CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
| CN114821823A (zh) | 图像处理、人脸防伪模型的训练及活体检测方法和装置 | |
| CN112132867B (zh) | 一种遥感影像变化检测方法及装置 | |
| CN112270404A (zh) | 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法 | |
| CN117576009A (zh) | 一种基于改进YOLOv5s的高精度太阳能电池板缺陷检测方法 | |
| CN114419078B (zh) | 基于卷积神经网络的表面缺陷区域分割方法及装置 | |
| CN115578364A (zh) | 基于混合注意力与调和因子的微弱目标检测方法及系统 | |
| CN116977747A (zh) | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210928 Assignee: Guangxi pinri Electronic Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980045442 Denomination of invention: A Low Illumination Target Detection Method Based on MS-WSDA Granted publication date: 20220513 License type: Common License Record date: 20231101 |