CN111695633A - 基于rpf-cam的低照度目标检测方法 - Google Patents
基于rpf-cam的低照度目标检测方法 Download PDFInfo
- Publication number
- CN111695633A CN111695633A CN202010534721.6A CN202010534721A CN111695633A CN 111695633 A CN111695633 A CN 111695633A CN 202010534721 A CN202010534721 A CN 202010534721A CN 111695633 A CN111695633 A CN 111695633A
- Authority
- CN
- China
- Prior art keywords
- convolution
- illumination
- feature map
- feature
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 138
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 86
- 230000004913 activation Effects 0.000 claims description 51
- 238000010586 diagram Methods 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 230000005284 excitation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 6
- 238000000844 transformation Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000001125 extrusion Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000007420 reactivation Effects 0.000 claims description 3
- QLMNCUHSDAGQGT-UHFFFAOYSA-N sintofen Chemical compound N1=C(C(O)=O)C(=O)C=2C(OCCOC)=CC=CC=2N1C1=CC=C(Cl)C=C1 QLMNCUHSDAGQGT-UHFFFAOYSA-N 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims 1
- 238000012986 modification Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 3
- 206010026749 Mania Diseases 0.000 description 2
- OLBCVFGFOZPWHH-UHFFFAOYSA-N propofol Chemical compound CC(C)C1=CC=CC(C(C)C)=C1O OLBCVFGFOZPWHH-UHFFFAOYSA-N 0.000 description 2
- 229960004134 propofol Drugs 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于RPF‑CAM的低照度目标检测方法，其特征在于，包括如下步骤：1）制作合成数据源，建立来源图像；2）特征提取网络模块的训练；3）通道注意力机制网络模块的训练；4）目标检测网络的训练；5）对整个卷积神经网络进行构造与训练。这种方法使得目标检测的特征图的特征表达能力更好、目标检测的精度高。
Description
技术领域
本发明涉及图像增强和目标检测技术领域，具体是一种基于残差金字塔融合和通道注意力机制RPF-CAM(residual pyramid fusion and channel attention mechanism，简称RPF-CAM)的低照度目标检测方法。
背景技术
现有的目标检测方法主要针对于正常照度的环境下的目标检测，但是对于照度较低，所需检测目标成像偏暗、模糊不清、干扰较多的情况下，普遍存在检测效果和检测精度较为不佳的情况。
Lab颜色模型是国际照明委员会(CIE)于1976年公布的一种色彩模式，是CIE组织确定的一个理论上包括了人眼可见的所有色彩的色彩模式，Lab模式弥补了RGB与CMYK两种彩色模式的不足。
现在的目标检测网络，例如Faster R-CNN网络，在特征提取的过程中，逐步进行下采样，最后将得到的特征图送进区域建议网络生成先验框，这样得到的特征图存在较多的低层信息的丢失，造成小物体检测效果不佳，且对于低照度图像，没有针对性将光照信息和颜色信息进行分离，导致低照度目标检测效果不佳。
发明内容
本发明的目的是针对现有技术的不足，而提供一种基于RPF-CAM的低照度目标检测方法。这种方法使得目标检测的特征图的特征表达能力更好、目标检测的精度高。
实现本发明目的的技术方案是：
一种基于RPF-CAM的低照度目标检测方法，包括如下步骤：
1)制作合成数据源，建立来源图像：将正常日光照度下获取的正常照度图像Nor-images、模拟低照度环境下的成像特点获取的低照度图像Dark-images和图像标注数据Images_Annotation进行整合构造成一个Dark-Nor-Data数据集，数据集的分组情况如下表1所示：
表1：
2)特征提取网络模块的训练：过程包括：
2-1)将所有低照度图像Dark-images和正常照度图像Nor-images进行预处理，缩放到统一的宽度和高度；
2-2)采用Lab颜色模型将低照度图像Dark-images和正常照度图像Nor-images分解成光照分量和颜色分量两个部分，分别对两个部分进行降采样，参考ResNet50进行设计，Lab颜色是由RGB三基色转换而来的，它与RGB色彩模式转化公式如下：
a＝500*(f(X)-f(Y))，
其中，
2-3)将原RGB图像经过Lab颜色模型转换后的图像进行卷积下采样，得到各个阶段各种尺寸大小的特征图，然后将最后一个阶段的特征图经过1×1卷积，改变成与上一阶段的特征图同样的通道数，再经过双线性插值，变成与上一阶段的特征图同等尺寸大小的特征图，最后通过逐像素相加，融合两个阶段的特征图，同理，将各个阶段的特征经过逐级融合，得到多尺度、多层级的能代表图像细节的特征图；
2-4)将低照度图像进行卷积下采样得到的特征图跟正常光照图像经过卷积下采样得到的特征图进行逐像素的内容损失函数的计算，损失函数采用MSE损失函数，MSE损失函数是预测值与目标值之间差值取平方和的均值，具体为公式(1)：
其中n为统计的数据量总数，yiyi'表示真实值和输出的预测值，依据所用数据进行公式的更改，更改后的均方误差MSE损失函数为公式(2)：
其中W、H分别表示预处理过后的图像的宽度和高度，
表示真实正常光照的可见光图像特征图的像素值，G(IDark-images)x,y表示低照度图像IDark-images进行卷积下采样后得到的特征图的像素值；
3)通道注意力机制网络模块的训练，包括：
3-1)将光照分量和颜色分量得到的特征图进行通道间的连接操作，得到具有光照和颜色分量两个部分的高级特征图，然后经过全局平局池化将庞大的特征图压缩成1×1×C的特征向量，C为通道数，再经过挤压全连接操作，对每个通道的特征值进行激励学习，再通过全连接操作把特征向量放大成与特征图相同的通道数，其中，
挤压函数为公式(3)：
激励函数为公式(4)：s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z)) (4)，
δ函数是ReLu，而σ是一个sigmoid激活函数，W1和W2的维度分别是第一层全连接的维度和第二层全连接的维度，通过训练学习这两个权重，得到一个一维的激励权重来激活每一层通道，其中，尺度函数为公式(5)：
3-2)将特征图和最后得到的特征向量进行通道间的相乘操作；
4)目标检测网络的训练，包括：
4-1)将特征提取网络模块中的下采样的各个阶段对应的光照分量和颜色分量得到的特征图进行连接操作，其中光照分量和颜色分量在下采样过程中，对每一阶段的特征图进行横向连接操作，组成特征金字塔；
4-2)将经过注意力机制引导过后的总体特征图送进区域建议网络，用于生成建议框anchors，通过softmax即归一化指数函数判断建议框anchors属于正样本还是属于负样本，再利用边框回归修正建议框anchors获得精确的建议框，建议框的窗口采用四维向量(x,y,w,h)表示，分别表示窗口的中心点坐标和宽高，框A代表原始的前景Anchors，框G代表目标的GT，目标是寻找一种关系，使得输入原始的anchor A经过映射得到一个跟真实窗口G更接近的回归窗口G’，即：
4-2-1)给定：anchor A＝(Ax,Ay,Aw,Ah)和GT＝[Gx,Gy,Gw,Gh]；
4-2-2)寻找一种F,使得：F(Ax,Ay,Aw,Ah)＝(G'x,G'y,G'w,G'h)，其中(G'x,G'y,G'w,G'h)≈(Gx',G'y,G'w,G'h)，
经过变换F从anchor A变为G’的就是如下过程：
依据公式(6)、公式(7)先做平移：
G′x＝Aw·dx(A)+Ax (6)，
G′y＝Ah·dy(A)+Ay (7)，
依据公式(8)、公式(9)再做缩放：
G′w＝Aw·exp(dw(A)) (8)，
G′h＝Ah·exp(dh(A)) (9)，
依据公式(6)、公式(7)、公式(8)、公式(9)，需要学习的是dx(A)，dy(A)，dw(A)，dh(A)这四个变换，当输入的anchor A与GT相差较小时，把这种变换当作一种线性变换，那么就可以用线性回归来建模对窗口进行微调，线性回归就是给定输入的特征向量X，学习一组参数W，使得经过线性回归后的值跟真实值Y非常接近，即Y＝WX，输入X是卷积特征图，定义为
同时还有训练传入A与GT之间的变换量，即(tx,ty,tw,th)，输出是dx(A)，dy(A)，dw(A)，dh(A)四个变换，目标函数可以表示为公式(10)：
其中
是对用anchor的特征图组成的特征向量，w是需要学习的参数，d(A)是得到的预测值，让预测值(tx,ty,tw,th)与真实之差距最小，设计损失函数为公式(12)：
函数优化目标为：
对于训练边框回归函数网络回归分支，输入是卷积特征
监督信号是Anchor与GT的差距(tx,ty,tw,th)，即训练目标是：输入
使网络输出与监督信号尽可能相近，当边框回归工作时，再输入
时，回归网络分支的输出就是每个Anchor的平移量和变换尺度(tx,ty,tw,th)，即可用来修正Anchor位置；
4-3)建议框层负责综合所有[dx(A),dy(A),dw(A),dh(A)]变换量和前景anchors，计算出精确的目标框Proposal，送入后续的ROI池化层；
4-4)将步骤4-1)得到的特征图和步骤4-3)生成的建议框送入到ROI池化层，综合这些信息后提取建议框特征图，送入后续的卷积层判定目标分类；
4-5)采用建议框特征图计算建议框的类别，同时再次边框回归获得检测框最终的精确位置；
5)对整个卷积神经网络进行构造与训练，包括：
5-1)对特征提取部分网络进行构造，特征提取网络的输入、输出数据如下：输入为模拟的低照度图像和正常光照图像，输出为融合过的高级特征图，对目标检测网络进行构造，检测网络的输入、输出数据如下：融合的光照分量和颜色分量的特征图，检测的目标的正确边框位置和类别数值；
5-2)对检测部分网络进行训练。
步骤1)中所述的低照度图像Dark-images、正常照度图像Nor-images,属于同源不同光照条件的图像对，每一类场景每种类型图像对数不少于50对，图像中包含所需检测目标，检测目标的边框和类别信息要包含图像中每个待检测物体的边框的坐标数值、边框长度和高度和所属类别，而且还要包含检测难度评估即较小并且跟其它物体有重叠的物体检测难度设置为1，除此之外检测难度设置为0，正常照度图像要比模拟的低照度图像照度要高，而且是再正常光照照度下采集的，图像需要更加清晰，锐度更高。
步骤2-1)中所述的预处理为：
1)将宽度和高度都缩放为512像素；
2)将图像序列打散，使得连续的图像中所存在的目标和位置不完全相同。
步骤2-3)中所述的卷积为：
1)对低照度图像进行Lab颜色模型分解，分成两个部分，一个部分为L光照分量，一个分量为ab颜色分量，分别送进低照度增强网络；
2)将转化后的光照分量和颜色分量的像素值进行归一化处理；
3)网络前面部分采用四阶段下采样方法进行深度特征提取，过程为：首先采用填充模式为“same”模式的全零填充，采用5*5的二维卷积，步长为2，光照分量的卷积核个数为32，颜色分量的卷积核个数为64，然后分别进行批标准化和使用relu激活函数进行激活后传入下一阶段的下采样特征提取；
4)光照分量的特征图接一个改变特征图大小的残差模块，其中的四次卷积的分别为：卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为64，步长为2，填充模式为“same”的一次卷积；卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为64，步长为2的一次卷积，其中第一次卷积的和第四次卷积的输入均为该残差模块之前的原始的特征图，第二次卷积的输入为第一次卷积完成后经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积完成后经过批标准化和relu激活函数的输出，第四次卷积经过批标准化后与同样经过批标准化的第三层卷积得到的特征图进行像素之间的相加操作，最后再使用relu激活函数进行激活传入下一层；颜色分量的特征图接一个改变特征图大小的残差模块，其中的四次卷积的分别为：卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为128，步长为2，填充模式为“same”的一次卷积；卷积核大小为1*1，卷积核个数为128，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为128，步长为2的一次卷积，其中第一次卷积的和第四次卷积的输入均为该残差模块之前的原始的特征图，第二次卷积的输入为第一次卷积完成后经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积完成后经过批标准化和relu激活函数的输出，第四次卷积经过批标准化后与同样经过批标准化的第三层卷积得到的特征图进行像素之间的相加操作，最后再使用relu激活函数进行激活传入下一层；
5)光照分量的特征图经过一个改变特征图大小的残差模块之后再接一个用来加深网络深度的残差模块，其中的三次卷积的分别为：卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为32，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积，其中第一次卷积的输入为该残差模块之前的特征图，第两次卷积的输入为第一次卷积经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积经过批标准化和relu激活函数的输出，第三次卷积完成后经过批标准后原始输入特征图进行像素之间的相加操作，最后再使用relu激活函数激活传入下一阶段的下采样特征提取；颜色分量的特征图经过一个改变特征图大小的残差模块之后再接一个用来加深网络深度的残差模块，其中的三次卷积的分别为：卷积核大小为1*1，卷积核个数为128，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为64，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为128，步长为1的一次卷积，其中第一次卷积的输入为该残差模块之前的特征图，第两次卷积的输入为第一次卷积经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积经过批标准化和relu激活函数的输出，第三次卷积完成后经过批标准后原始输入特征图进行像素之间的相加操作，最后再激活函数激活传入下一阶段的下采样特征提取；
6)后再接两个阶段的下采样特征提取操作，类似于3)和4)中的残差模块，只是将后一阶段得到的特征图的层数变为前一阶段的两倍；
7)将四个阶段的特征图进行特征金字塔操作，使用双线性插值的方法将深层的特征图进行扩充，通过1*1卷积，把通道数转换成与前一层的特征图一样的通道数，然后进行相加融合。使用相同的操作将四个阶段的特征图全部融合，将光照分量最终得到的特征图和颜色分量最终得到的特征图进行叠加操作，然后输入到注意力机制网络进行各通道权重的学习，最后送进目标检测网络。
步骤3-1)中所述的高级特征图生成过程为：
1)光照分量和颜色分量在下采样过程中，从最底层特征图自底向上即从最后一阶段卷积得到的特征图到第一阶段卷积得到的特征图进行双线性插值，得到与上一层相同尺寸的特征图；
2)将经过双线性插值得到的放大的特征图通过1*1卷积得到与上一层特征相同的通道数，然后进行各个像素之间的相加，得到融合过后的特征图。
步骤4-2)中所述区域建议网络为：
1)区域建议网络分为两条支路，一路通过softmax分类anchors获得前景和背景；
2)另外一条支路用于计算对于anchors的边界框回归的偏移量，以获得精确的目标候选区；
3)anchors包括9个矩形，共有3种形状，长宽比大约为(1：1，1：2，2：1)三种，矩形大小分别为400*200，200*400，350*350，200*100，100*200，200*200，50*100，100*50，50*50。
本技术方案解决的是目标检测中，由于低照度环境下，目标成像过暗，模糊不清，丢失细节导致的检测精度不佳的问题，本技术方案先使用Lab颜色模型将低照度图像分成光照分量和颜色分量两个部分，再利用特征提取网络对低照度图像进行图像细节提取，然后将照度优化过程中的各个阶段组成光照分量金字塔特征图和颜色分量金字塔特征图进行融合，然后输入到注意力机制网络，再送进区域建议网络获得ROI，最后通过边框回归和分类预测，得到精确得低照度图像中的目标检测结果。
这种方法使得目标检测的特征图的特征表达能力更好、目标检测的精度高。
附图说明
图1为实施例中特征提取网络模块示意图；
图2为实施例中通道注意力网络图示意图；
图3为实施例中目标检测网络模块示意图；
图4为实施例中检测框回归示意图。
具体实施方式
下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。
实施例：
一种基于RPF-CAM的低照度目标检测方法，包括如下步骤：
1)制作合成数据源，建立来源图像：将正常日光照度下获取的正常照度图像Nor-images、模拟低照度环境下的成像特点获取的低照度图像Dark-images和图像标注数据Images_Annotation进行整合构造成一个Dark-Nor-Data数据集，数据集的分组情况如下表1所示：
表1：
2)特征提取网络的训练：过包括：
2-1)将所有低照度图像Dark-images和正常照度图像Nor-images进行预处理，缩放到统一的宽度和高度；
2-2)采用Lab颜色模型将低照度图像Dark-images和正常照度图像Nor-images分解成光照分量和颜色分量两个部分，分别对两个部分进行降采样，参考ResNet50进行设计，Lab颜色是由RGB三基色转换而来的，它与RGB色彩模式转化公式如下：
a＝500*(f(X)-f(Y))，
其中，
2-3)将原RGB图像经过Lab颜色模型转换后的图像进行卷积下采样，如图1，得到各个阶段各种尺寸大小的特征图，然后将最后一个阶段的特征图经过1×1卷积，改变成与上一阶段的特征图同样的通道数，再经过双线性插值，变成与上一阶段的特征图同等尺寸大小的特征图，最后通过逐像素相加，融合两个阶段的特征图，同理，将各个阶段的特征经过逐级融合，得到多尺度、多层级的能代表图像细节的特征图；
2-4)将低照度图像进行卷积下采样得到的特征图跟正常光照图像经过卷积下采样得到的特征图进行逐像素的内容损失函数的计算，损失函数采用MSE损失函数，MSE损失函数是应用最为广泛的损失函数，MSE损失函数是预测值与目标值之间差值取平方和的均值，具体为公式(1)：
其中n为统计的数据量总数，yiyi'表示真实值和输出的预测值，依据所用数据进行公式的更改，更改后的均方误差MSE损失函数为公式(2)：
其中W、H分别表示预处理过后的图像的宽度和高度，
表示真实正常光照的可见光图像特征图的像素值，G(IDark-images)x,y表示低照度图像IDark-images进行卷积下采样后得到的特征图的像素值，公式(2)反映正常光照图像Nor-images和低照度图像Dark-images卷积下采样得到的特征图之间的均方误差，均方误差越小，则低照度图像提取到的特征与真实正常照度可见光图像提取到的特征的相似度越接近，反之低照度可见光图像提取到的特征与真实正常照度的可见光图像提取到的特征的相似度越低，相似度越高则表示网络对低照度图像特征提取能力越强，反之，则越弱；
3)通道注意力机制网络的训练，包括：
3-1)将光照分量和颜色分量得到的特征图进行通道间的连接操作，得到具有光照和颜色分量两个部分的高级特征图，然后经过全局平局池化将庞大的特征图压缩成1×1×C的特征向量，C为通道数，再经过挤压全连接操作，目的是减少参数，对每个通道的特征值进行激励学习，再通过全连接操作把特征向量放大成与特征图相同的通道数，其中，
挤压函数为公式(3)：
激励函数为公式(4)：：s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z)) (4)，
δ函数是ReLu，而σ是一个sigmoid激活函数，W1和W2的维度分别是第一层全连接的维度和第二层全连接的维度，通过训练学习这两个权重，得到一个一维的激励权重来激活每一层通道，其中，尺度函数为公式(5)：
这一步其实就是一个放缩的过程，不同通道的值乘上不同的权重，从而可以增强对关键通道域的注意力；
3-2)如图2，将特征图和最后得到的特征向量进行通道间的相乘操作,相当于给每个通道增加了一个权重参数，让网络自动学习光照和颜色分量的细节比例，参加模型的可泛化性和解释性；
4)目标检测网络的训练，包括：
4-1)如图1，将特征提取网络模块中的下采样的各个阶段对应的光照分量和颜色分量得到的特征图进行连接操作，其中光照分量和颜色分量在下采样过程中，对每一阶段的特征图进行横向连接操作，组成特征金字塔；
4-2)如图2和图3，将经过注意力机制引导过后的总体特征图送进区域建议网络，用于生成建议框anchors，通过softmax即归一化指数函数判断建议框anchors属于正样本还是属于负样本，再利用边框回归修正建议框anchors获得精确的建议框，如图4所示，框G代表目标的真实目标框GT，框A代表原始的前景建议框Anchors，回归窗口为G'，即便框A被分类器识别为正确的物体，但是由于框A定位不准，检测器相当于没有正确地检测出物体，所以对框A的坐标值和框的长宽值进行微调，使得前景建议框anchors和真实目标框GT更加接近，建议框的窗口采用四维向量(x,y,w,h)表示，分别表示窗口的中心点坐标和宽高，对于图4框A代表原始的前景建议框Anchors，框G代表目标的真实目标框GT，目标是寻找一种关系，使得输入原始的建议框Anchor A经过映射得到一个跟真实窗口G更接近的回归窗口G'，即：
4-2-1)给定：anchor A＝(Ax,Ay,Aw,Ah)和GT＝[Gx,Gy,Gw,Gh]；
4-2-2)寻找一种F,使得：F(Ax,Ay,Aw,Ah)＝(G'x,G'y,G'w,G'h)，其中(G'x,G'y,G'w,G'h)≈(Gx',G'y,G'w,G'h)，
经过变换F从图4中的Anchor A变为G’的就是如下过程：
依据公式(6)、公式(7)先做平移：
G′x＝Aw·dx(A)+Ax (6)，
G′y＝Ah·dy(A)+Ay (7)，
依据公式(8)、公式(9)再做缩放：
G′w＝Aw·exp(dw(A)) (8)，
G′h＝Ah·exp(dh(A)) (9)，
依据公式(6)、公式(7)、公式(8)、公式(9)，需要学习的是dx(A)，dy(A)，dw(A)，dh(A)这四个变换，当输入的anchor A与GT相差较小时，把这种变换当作一种线性变换，那么就可以用线性回归来建模对窗口进行微调，线性回归就是给定输入的特征向量X，学习一组参数W，使得经过线性回归后的值跟真实值Y非常接近，即Y＝WX，输入X是卷积特征图，定义为
同时还有训练传入A与GT之间的变换量，即(tx,ty,tw,th)，输出是dx(A)，dy(A)，dw(A)，dh(A)四个变换，目标函数可以表示为公式(10)：
其中
是对用anchor的特征图组成的特征向量，w是需要学习的参数，d(A)是得到的预测值，让预测值(tx,ty,tw,th)与真实之差距最小，设计损失函数为公式(12)：
函数优化目标为：
对于训练边框回归函数网络回归分支，输入是卷积特征
监督信号是Anchor与GT的差距(tx,ty,tw,th)，即训练目标是：输入
的情况西使网络输出与监督信号尽肯能相近，当边框回归工作时，再输入
时，回归网络分支的输出就是每个Anchor的平移量和变换尺度(tx,ty,tw,th)，显然即可用来修正Anchor位置；
4-3)建议框层负责综合所有[dx(A),dy(A),dw(A),dh(A)]变换量和前景anchors，计算出精确的目标狂proposal，送入后续的ROI池化层；
4-4)将步骤4-1)得到的特征图和步骤4-3)生成的建议框送入到ROI池化层，综合这些信息后提取建议框特征图，送入后续的卷积层判定目标分类；
4-5)采用建议框特征图计算建议框的类别，同时再次边框回归获得检测框最终的精确位置；
5)对整个卷积神经网络进行构造与训练，包括：
5-1)对特征提取部分网络进行构造，特征提取网络的输入、输出数据如下：输入为模拟的低照度图像和正常光照图像，输出为融合过的高级特征图，对目标检测网络进行构造，检测网络的输入、输出数据如下：融合的光照分量和颜色分量的特征图，检测的目标的正确边框位置和类别数值；
5-2)对检测部分网络进行训练。
步骤1)中所述的低照度图像Dark-images、正常照度图像Nor-images,属于同源不同光照条件的图像对，每一类场景每种类型图像对数不少于50对，图像中包含所需检测目标，检测目标的边框和类别信息要包含图像中每个待检测物体的边框的坐标数值、边框长度和高度和所属类别，而且还要包含检测难度评估即较小并且跟其它物体有重叠的物体检测难度设置为1，除此之外检测难度设置为0，正常照度图像要比模拟的低照度图像照度要高，而且是再正常光照照度下采集的，图像需要更加清晰，锐度更高。
步骤2-1)中所述的预处理为：
1)将宽度和高度都缩放为512像素；
2)将图像序列打散，使得连续的图像中所存在的目标和位置不完全相同。
步骤2-3)中所述的卷积为：
1)对低照度图像进行Lab颜色模型分解，分成两个部分，一个部分为L光照分量，一个分量为ab颜色分量，分别送进低照度增强网络；
2)将转化后的光照分量和颜色分量的像素值进行归一化处理；
3)网络前面部分采用四阶段下采样方法进行深度特征提取，过程为：首先采用填充模式为“same”模式的全零填充，采用5*5的二维卷积，步长为2，光照分量的卷积核个数为32，颜色分量的卷积核个数为64，然后分别进行批标准化和使用relu激活函数进行激活后传入下一阶段的下采样特征提取，same使得卷积之后的特征图大小等于原尺寸除以步长；
4)光照分量的特征图接一个改变特征图大小的残差模块，其中的四次卷积的分别为：卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为64，步长为2，填充模式为“same”的一次卷积；卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为64，步长为2的一次卷积，其中第一次卷积的和第四次卷积的输入均为该残差模块之前的原始的特征图，第二次卷积的输入为第一次卷积完成后经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积完成后经过批标准化和relu激活函数的输出，第四次卷积经过批标准化后与同样经过批标准化的第三层卷积得到的特征图进行像素之间的相加操作，最后再使用relu激活函数进行激活传入下一层；颜色分量的特征图接一个改变特征图大小的残差模块，其中的四次卷积的分别为：卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为128，步长为2，填充模式为“same”的一次卷积；卷积核大小为1*1，卷积核个数为128，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为128，步长为2的一次卷积，其中第一次卷积的和第四次卷积的输入均为该残差模块之前的原始的特征图，第二次卷积的输入为第一次卷积完成后经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积完成后经过批标准化和relu激活函数的输出，第四次卷积经过批标准化后与同样经过批标准化的第三层卷积得到的特征图进行像素之间的相加操作，最后再使用relu激活函数进行激活传入下一层；
5)光照分量的特征图经过一个改变特征图大小的残差模块之后再接一个用来加深网络深度的残差模块，其中的三次卷积的分别为：卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为32，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积，其中第一次卷积的输入为该残差模块之前的特征图，第两次卷积的输入为第一次卷积经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积经过批标准化和relu激活函数的输出，第三次卷积完成后经过批标准后原始输入特征图进行像素之间的相加操作，最后再使用relu激活函数激活传入下一阶段的下采样特征提取；颜色分量的特征图经过一个改变特征图大小的残差模块之后再接一个用来加深网络深度的残差模块，其中的三次卷积的分别为：卷积核大小为1*1，卷积核个数为128，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为64，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为128，步长为1的一次卷积，其中第一次卷积的输入为该残差模块之前的特征图，第两次卷积的输入为第一次卷积经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积经过批标准化和relu激活函数的输出，第三次卷积完成后经过批标准后原始输入特征图进行像素之间的相加操作，最后再激活函数激活传入下一阶段的下采样特征提取；
6)后再接两个阶段的下采样特征提取操作，类似于3)和4)中的残差模块，只是将后一阶段得到的特征图的层数变为前一阶段的两倍；
7)将四个阶段的特征图进行特征金字塔操作，使用双线性插值的方法将深层的特征图进行扩充，通过1*1卷积，把通道数转换成与前一层的特征图一样的通道数，然后进行相加融合。使用相同的操作将四个阶段的特征图全部融合，将光照分量最终得到的特征图和颜色分量最终得到的特征图进行叠加操作，然后输入到注意力机制网络进行各通道权重的学习，最后送进目标检测网络。
步骤3-1)中所述的高级特征图生成过程为：
1)光照分量和颜色分量在下采样过程中，从最底层特征图自底向上即从最后一阶段卷积得到的特征图到第一阶段卷积得到的特征图进行双线性插值，得到与上一层相同尺寸的特征图；
2)将经过双线性插值得到的放大的特征图通过1*1卷积得到与上一层特征相同的通道数，然后进行各个像素之间的相加，得到融合过后的特征图。
步骤4-2)中所述区域建议网络为：
1)区域建议网络分为两条支路，一路通过softmax分类anchors获得前景和背景；
2)另外一条支路用于计算对于anchors的边界框回归的偏移量，以获得精确的目标候选区；
3)anchors包括9个矩形，共有3种形状，长宽比大约为(1：1，1：2，2：1)三种，矩形大小分别为400*200，200*400，350*350，200*100，100*200，200*200，50*100，100*50，50*50。
Claims (6)
1.一种基于RPF-CAM的低照度目标检测方法，其特征在于，包括如下步骤：
1)制作合成数据源，建立来源图像：将正常日光照度下获取的正常照度图像Nor-images、模拟低照度环境下的成像特点获取的低照度图像Dark-images和图像标注数据Images_Annotation进行整合构造成一个Dark-Nor-Data数据集，数据集的分组情况如下表1所示：
表1：
2)特征提取网络模块的训练：过程包括：
2-1)将所有低照度图像Dark-images和正常照度图像Nor-images进行预处理，缩放到统一的宽度和高度；
2-2)采用Lab颜色模型将低照度图像Dark-images和正常照度图像Nor-images分解成光照分量和颜色分量两个部分，分别对两个部分进行降采样，参考ResNet50进行设计，Lab颜色是由RGB三基色转换而来的，它与RGB色彩模式转化公式如下：
a1500*(f(X)-f(Y))，
其中，
2-3)将原RGB图像经过Lab颜色模型转换后的图像进行卷积下采样，得到各个阶段各种尺寸大小的特征图，然后将最后一个阶段的特征图经过1×1卷积，改变成与上一阶段的特征图同样的通道数，再经过双线性插值，变成与上一阶段的特征图同等尺寸大小的特征图，最后通过逐像素相加，融合两个阶段的特征图，同理，将各个阶段的特征经过逐级融合，得到多尺度、多层级的能代表图像细节的特征图；
2-4)将低照度图像进行卷积下采样得到的特征图跟正常光照图像经过卷积下采样得到的特征图进行逐像素的内容损失函数的计算，损失函数采用MSE损失函数，MSE损失函数是预测值与目标值之间差值取平方和的均值，具体为公式(1)：
其中n为统计的数据量总数，yi y'i表示真实值和输出的预测值，依据所用数据进行公式的更改，更改后的均方误差MSE损失函数为公式(2)：
其中W、H分别表示预处理过后的图像的宽度和高度，
表示真实正常光照的可见光图像特征图的像素值，G(IDark-images)x,y表示低照度图像IDark-images进行卷积下采样后得到的特征图的像素值；
3)通道注意力机制网络模块的训练，包括：
3-1)将光照分量和颜色分量得到的特征图进行通道间的连接操作，得到具有光照和颜色分量两个部分的高级特征图，然后经过全局平局池化将庞大的特征图压缩成1×1×C的特征向量，C为通道数，再经过挤压全连接操作，对每个通道的特征值进行激励学习，再通过全连接操作把特征向量放大成与特征图相同的通道数，其中，
挤压函数为公式(3)：
激励函数为公式(4)：s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z)) (4)，
δ函数是ReLu，而σ是一个sigmoid激活函数，W1和W2的维度分别是第一层全连接的维度和第二层全连接的维度，通过训练学习这两个权重，得到一个一维的激励权重来激活每一层通道，其中，尺度函数为公式(5)：
3-2)将经过2-3)融合后的特征图和3-1)最后得到的特征向量进行通道间的相乘操作；
4)目标检测网络的训练，包括：
4-1)将特征提取网络模块中的下采样的各个阶段对应的光照分量和颜色分量得到的特征图进行连接操作，其中光照分量和颜色分量在下采样过程中，对每一阶段的特征图进行横向连接操作，组成特征金字塔；
4-2)将经过注意力机制引导过后的总体特征图送进区域建议网络，用于生成建议框anchors，通过softmax即归一化指数函数判断建议框anchors属于正样本还是属于负样本，再利用边框回归修正建议框anchors获得精确的建议框，建议框的窗口采用四维向量(x,y,w,h)表示，分别表示窗口的中心点坐标和宽高，框A代表原始的前景建议框Anchors，框G代表目标的真实框GT，目标是寻找一种关系，使得输入原始的anchor A经过映射得到一个跟真实窗口G更接近的回归窗口G’，即：
4-2-1)给定：anchor A＝(Ax,Ay,Aw,Ah)和GT＝[Gx,Gy,Gw,Gh]；
4-2-2)寻找一种F,使得：F(Ax,Ay,Aw,Ah)＝(G'x,G'y,G'w,G’h)，其中(G’x,G'y,G'w,G'h)≈(G’x,G'y,G'w,G'h)，
经过变换F从anchor A变为G’的就是如下过程：
依据公式(6)、公式(7)先做平移：
G′x＝Aw·dx(A)+Ax (6)，
G′y＝Ah·dy(A)+Ay (7)，
依据公式(8)、公式(9)再做缩放：
G′w＝Aw·exp(dw(A)) (8)，
G′h＝Ah·exp(dh(A)) (9)，
依据公式(6)、公式(7)、公式(8)、公式(9)，需要学习的是dx(A)，dy(A)，dw(A)，dh(A)这四个变换，当输入的anchor A与GT相差较小时，把这种变换当作一种线性变换，那么就可以用线性回归来建模对窗口进行微调，线性回归就是给定输入的特征向量X，学习一组参数W，使得经过线性回归后的值跟真实值Y非常接近，即Y＝WX，输入X是卷积特征图，定义为
同时还有训练传入A与GT之间的变换量，即(tx,ty,tw,th)，输出是dx(A)，dy(A)，dw(A)，dh(A)四个变换，目标函数可以表示为公式(10)：
其中
是对用anchor的特征图组成的特征向量，w是需要学习的参数，d(A)是得到的预测值，让预测值(tx,ty,tw,th)与真实之差距最小，设计损失函数为公式(12)：
函数优化目标为：
对于训练边框回归函数网络回归分支，输入是卷积特征
监督信号是Anchor与GT的差距(tx,ty,tw,th)，即训练目标是：输入
使网络输出与监督信号尽可能相近，当边框回归工作时，再输入
时，回归网络分支的输出就是每个Anchor的平移量和变换尺度(tx,ty,tw,th)，即可用来修正Anchor位置；
4-3)建议框层负责综合所有[dx(A),dy(A),dw(A),dh(A)]变换量和前景anchors，计算出精确的目标框Proposal，送入后续的ROI池化层；
4-4)将步骤4-1)得到的特征图和步骤4-3)生成的建议框送入到ROI池化层，综合这些信息后提取建议框特征图，送入后续的卷积层判定目标分类；
4-5)采用建议框特征图计算建议框的类别，同时再次边框回归获得检测框最终的精确位置；
5)对整个卷积神经网络进行构造与训练，包括：
5-1)对特征提取部分网络进行构造，特征提取网络的输入、输出数据如下：输入为模拟的低照度图像和正常光照图像，输出为融合过的高级特征图，对目标检测网络进行构造，检测网络的输入、输出数据如下：融合的光照分量和颜色分量的特征图，检测的目标的正确边框位置和类别数值；
5-2)对检测部分网络进行训练。
2.根据权利要求1所述的基于RPF-CAM的低照度目标检测方法，其特征在于，步骤1)中所述的低照度图像Dark-images、正常照度图像Nor-images,属于同源不同光照条件的图像对，每一类场景每种类型图像对数不少于50对，图像中包含所需检测目标，检测目标的边框和类别信息包含图像中每个待检测物体的边框的坐标数值、边框长度和高度和所属类别，而且还要包含检测难度评估即较小并且跟其它物体有重叠的物体检测难度设置为1，除此之外检测难度设置为0。
3.根据权利要求1所述的基于RPF-CAM的低照度目标检测方法，其特征在于，步骤2-1)中所述的预处理为：
1)将宽度和高度都缩放为512像素；
2)将图像序列打散，使得连续的图像中所存在的目标和位置不完全相同。
4.根据权利要求1所述的基于RPF-CAM的低照度目标检测方法，其特征在于，步骤2-3)中所述的卷积为：
1)对低照度图像进行Lab颜色模型分解，分成两个部分，一个部分为L光照分量，一个分量为ab颜色分量，分别送进低照度增强网络；
2)将转化后的光照分量和颜色分量的像素值进行归一化处理；
3)网络前面部分采用四阶段下采样方法进行深度特征提取，过程为：首先采用填充模式为“same”模式的全零填充，采用5*5的二维卷积，步长为2，光照分量的卷积核个数为32，颜色分量的卷积核个数为64，然后分别进行批标准化和使用relu激活函数进行激活后传入下一阶段的下采样特征提取；
4)光照分量的特征图接一个改变特征图大小的残差模块，其中的四次卷积的分别为：卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为64，步长为2，填充模式为“same”的一次卷积；卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为64，步长为2的一次卷积，其中第一次卷积的和第四次卷积的输入均为该残差模块之前的原始的特征图，第二次卷积的输入为第一次卷积完成后经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积完成后经过批标准化和relu激活函数的输出，第四次卷积经过批标准化后与同样经过批标准化的第三层卷积得到的特征图进行像素之间的相加操作，最后再使用relu激活函数进行激活传入下一层；颜色分量的特征图接一个改变特征图大小的残差模块，其中的四次卷积的分别为：卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为128，步长为2，填充模式为“same”的一次卷积；卷积核大小为1*1，卷积核个数为128，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为128，步长为2的一次卷积，其中第一次卷积的和第四次卷积的输入均为该残差模块之前的原始的特征图，第二次卷积的输入为第一次卷积完成后经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积完成后经过批标准化和relu激活函数的输出，第四次卷积经过批标准化后与同样经过批标准化的第三层卷积得到的特征图进行像素之间的相加操作，最后再使用relu激活函数进行激活传入下一层；
5)光照分量的特征图经过一个改变特征图大小的残差模块之后再接一个用来加深网络深度的残差模块，其中的三次卷积的分别为：卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为32，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为64，步长为1的一次卷积，其中第一次卷积的输入为该残差模块之前的特征图，第两次卷积的输入为第一次卷积经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积经过批标准化和relu激活函数的输出，第三次卷积完成后经过批标准后原始输入特征图进行像素之间的相加操作，最后再使用relu激活函数激活传入下一阶段的下采样特征提取；颜色分量的特征图经过一个改变特征图大小的残差模块之后再接一个用来加深网络深度的残差模块，其中的三次卷积的分别为：卷积核大小为1*1，卷积核个数为128，步长为1的一次卷积；卷积核大小为3*3，卷积核个数为64，步长为1的一次卷积；卷积核大小为1*1，卷积核个数为128，步长为1的一次卷积，其中第一次卷积的输入为该残差模块之前的特征图，第两次卷积的输入为第一次卷积经过批标准化和relu激活函数的输出，第三次卷积的输入为第二次卷积经过批标准化和relu激活函数的输出，第三次卷积完成后经过批标准后原始输入特征图进行像素之间的相加操作，最后再激活函数激活传入下一阶段的下采样特征提取；
6)后再接两个阶段的下采样特征提取操作，类似于3)和4)中的残差模块，只是将后一阶段得到的特征图的层数变为前一阶段的两倍；
7)将四个阶段的特征图进行特征金字塔操作，使用双线性插值的方法将深层的特征图进行扩充，通过1*1卷积，把通道数转换成与前一层的特征图一样的通道数，然后进行相加融合。使用相同的操作将四个阶段的特征图全部融合，将光照分量最终得到的特征图和颜色分量最终得到的特征图进行叠加操作，然后输入到注意力机制网络进行各通道权重的学习，最后送进目标检测网络。
5.根据权利要求1所述的基于RPF-CAM的低照度目标检测方法，其特征在于，步骤3-1)中所述的高级特征图生成过程为：
1)光照分量和颜色分量在下采样过程中，从最底层特征图自底向上即从最后一阶段卷积得到的特征图到第一阶段卷积得到的特征图进行双线性插值，得到与上一层相同尺寸的特征图；
2)将经过双线性插值得到的放大的特征图通过1*1卷积得到与上一层特征相同的通道数，然后进行各个像素之间的相加，得到融合过后的特征图。
6.根据权利要求1所述的基于RPF-CAM的低照度目标检测方法，其特征在于，步骤4-2)中所述区域建议网络为：
1)区域建议网络分为两条支路，一路通过softmax分类anchors获得前景和背景；
2)另外一条支路用于计算对于anchors的边界框回归的偏移量，以获得精确的目标候选区；
3)anchors包括9个矩形，共有3种形状，长宽比大约为(1：1，1：2，2：1)三种，矩形大小分别为400*200，200*400，350*350，200*100，100*200，200*200，50*100，100*50，50*50。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010534721.6A CN111695633B (zh) | 2020-06-12 | 2020-06-12 | 基于rpf-cam的低照度目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010534721.6A CN111695633B (zh) | 2020-06-12 | 2020-06-12 | 基于rpf-cam的低照度目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111695633A true CN111695633A (zh) | 2020-09-22 |
| CN111695633B CN111695633B (zh) | 2022-04-05 |
Family
ID=72480753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010534721.6A Active CN111695633B (zh) | 2020-06-12 | 2020-06-12 | 基于rpf-cam的低照度目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111695633B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560980A (zh) * | 2020-12-24 | 2021-03-26 | 深圳市优必选科技股份有限公司 | 目标检测模型的训练方法、装置及终端设备 |
| CN112926506A (zh) * | 2021-03-24 | 2021-06-08 | 重庆邮电大学 | 一种基于卷积神经网络的非受控人脸检测方法及系统 |
| CN113034413A (zh) * | 2021-03-22 | 2021-06-25 | 西安邮电大学 | 一种基于多尺度融合残差编解码器的低照度图像增强方法 |
| CN113837353A (zh) * | 2021-08-17 | 2021-12-24 | 中国地质大学（武汉） | 基于特征筛选和深度融合的卷积神经网络特征融合算法 |
| CN113870254A (zh) * | 2021-11-30 | 2021-12-31 | 中国科学院自动化研究所 | 目标对象的检测方法、装置、电子设备及存储介质 |
| CN114532253A (zh) * | 2022-04-26 | 2022-05-27 | 华南农业大学 | 一种种蛋活性自动智能检测装置 |
| CN116206248A (zh) * | 2023-04-28 | 2023-06-02 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 一种基于机器学习引导深度学习的目标检测方法 |
| CN116468973A (zh) * | 2023-06-09 | 2023-07-21 | 深圳比特微电子科技有限公司 | 用于低照度图像的目标检测模型的训练方法、装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108253962A (zh) * | 2017-12-18 | 2018-07-06 | 中北智杰科技（北京）有限公司 | 一种低照度环境下新能源无人驾驶汽车定位方法 |
| CN108596849A (zh) * | 2018-04-23 | 2018-09-28 | 南京邮电大学 | 一种基于天空区域分割的单幅图像去雾方法 |
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| CN109859190A (zh) * | 2019-01-31 | 2019-06-07 | 北京工业大学 | 一种基于深度学习的目标区域检测方法 |
| WO2019132131A1 (ko) * | 2017-12-28 | 2019-07-04 | 한국해양과학기술원 | 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법 |
| CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
| CN110163818A (zh) * | 2019-04-28 | 2019-08-23 | 武汉理工大学 | 一种用于海事无人机的低照度视频图像增强方法 |
| CN110222661A (zh) * | 2019-06-12 | 2019-09-10 | 中国矿业大学 | 一种用于运动目标识别及跟踪的特征提取方法 |
| CN110348376A (zh) * | 2019-07-09 | 2019-10-18 | 华南理工大学 | 一种基于神经网络的行人实时检测方法 |
| US20200050842A1 (en) * | 2019-07-23 | 2020-02-13 | Lg Electronics Inc. | Artificial intelligence apparatus for recognizing user from image data and method for the same |
| CN110929593A (zh) * | 2019-11-06 | 2020-03-27 | 哈尔滨工业大学（威海） | 一种基于细节辨别区别的实时显著性行人检测方法 |
| CN111915526A (zh) * | 2020-08-05 | 2020-11-10 | 湖北工业大学 | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 |
-
2020
- 2020-06-12 CN CN202010534721.6A patent/CN111695633B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108253962A (zh) * | 2017-12-18 | 2018-07-06 | 中北智杰科技（北京）有限公司 | 一种低照度环境下新能源无人驾驶汽车定位方法 |
| WO2019132131A1 (ko) * | 2017-12-28 | 2019-07-04 | 한국해양과학기술원 | 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법 |
| CN108596849A (zh) * | 2018-04-23 | 2018-09-28 | 南京邮电大学 | 一种基于天空区域分割的单幅图像去雾方法 |
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| CN109859190A (zh) * | 2019-01-31 | 2019-06-07 | 北京工业大学 | 一种基于深度学习的目标区域检测方法 |
| CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
| CN110163818A (zh) * | 2019-04-28 | 2019-08-23 | 武汉理工大学 | 一种用于海事无人机的低照度视频图像增强方法 |
| CN110222661A (zh) * | 2019-06-12 | 2019-09-10 | 中国矿业大学 | 一种用于运动目标识别及跟踪的特征提取方法 |
| CN110348376A (zh) * | 2019-07-09 | 2019-10-18 | 华南理工大学 | 一种基于神经网络的行人实时检测方法 |
| US20200050842A1 (en) * | 2019-07-23 | 2020-02-13 | Lg Electronics Inc. | Artificial intelligence apparatus for recognizing user from image data and method for the same |
| CN110929593A (zh) * | 2019-11-06 | 2020-03-27 | 哈尔滨工业大学（威海） | 一种基于细节辨别区别的实时显著性行人检测方法 |
| CN111915526A (zh) * | 2020-08-05 | 2020-11-10 | 湖北工业大学 | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 |
Non-Patent Citations (4)
| Title |
|---|
| JUNXU CAO等: "《Attention-guided Context Feature Pyramid Network for Object Detection》", 《ARXIV》 * |
| 伍旭: "《基于变分自编码器的低照度图像增强方法研究》", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/DETAIL.ASPX?DBCODE=CMFD&DBNAME=CMFDTEMP&FILENAME=1021844193.NH&UNIPLATFORM=NZKPT&V=0DGBAGXZ-WUICSLIEW164YJNYHQ5UBTLI-AUFZAMGCYGFEPBREHNJEDHOQ82TJOI》 * |
| 江泽涛 等: "《一种基于U-Net生成对抗网络的低照度图像增强方法》", 《电子学报》 * |
| 王润涵 等: "《基于卷积神经网络的岩心FIB-SEM图像分割算法》", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/31.1289.TP.20200220.1435.002.HTML》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560980A (zh) * | 2020-12-24 | 2021-03-26 | 深圳市优必选科技股份有限公司 | 目标检测模型的训练方法、装置及终端设备 |
| CN112560980B (zh) * | 2020-12-24 | 2023-12-15 | 深圳市优必选科技股份有限公司 | 目标检测模型的训练方法、装置及终端设备 |
| CN113034413A (zh) * | 2021-03-22 | 2021-06-25 | 西安邮电大学 | 一种基于多尺度融合残差编解码器的低照度图像增强方法 |
| CN113034413B (zh) * | 2021-03-22 | 2024-03-05 | 西安邮电大学 | 一种基于多尺度融合残差编解码器的低照度图像增强方法 |
| CN112926506A (zh) * | 2021-03-24 | 2021-06-08 | 重庆邮电大学 | 一种基于卷积神经网络的非受控人脸检测方法及系统 |
| CN112926506B (zh) * | 2021-03-24 | 2022-08-12 | 重庆邮电大学 | 一种基于卷积神经网络的非受控人脸检测方法及系统 |
| CN113837353A (zh) * | 2021-08-17 | 2021-12-24 | 中国地质大学（武汉） | 基于特征筛选和深度融合的卷积神经网络特征融合算法 |
| CN113870254A (zh) * | 2021-11-30 | 2021-12-31 | 中国科学院自动化研究所 | 目标对象的检测方法、装置、电子设备及存储介质 |
| CN114532253A (zh) * | 2022-04-26 | 2022-05-27 | 华南农业大学 | 一种种蛋活性自动智能检测装置 |
| CN116206248A (zh) * | 2023-04-28 | 2023-06-02 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 一种基于机器学习引导深度学习的目标检测方法 |
| CN116468973A (zh) * | 2023-06-09 | 2023-07-21 | 深圳比特微电子科技有限公司 | 用于低照度图像的目标检测模型的训练方法、装置 |
| CN116468973B (zh) * | 2023-06-09 | 2023-10-10 | 深圳比特微电子科技有限公司 | 用于低照度图像的目标检测模型的训练方法、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111695633B (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111695633B (zh) | 基于rpf-cam的低照度目标检测方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN109299274B (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
| CN109493303B (zh) | 一种基于生成对抗网络的图像去雾方法 | |
| CN109886066B (zh) | 基于多尺度和多层特征融合的快速目标检测方法 | |
| CN110598610B (zh) | 一种基于神经选择注意的目标显著性检测方法 | |
| CN109241982B (zh) | 基于深浅层卷积神经网络的目标检测方法 | |
| CN110675368B (zh) | 一种融合图像分割与分类的细胞图像语义分割方法 | |
| CN112967243A (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
| CN110610509B (zh) | 可指定类别的优化抠图方法及系统 | |
| US20220180624A1 (en) | Method and device for automatic identification of labels of an image | |
| CN110766020A (zh) | 一种面向多语种自然场景文本检测与识别的系统及方法 | |
| CN111931857B (zh) | 一种基于mscff的低照度目标检测方法 | |
| CN114897816A (zh) | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 | |
| CN110807384A (zh) | 低能见度下的小目标检测方法和系统 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN114048822A (zh) | 一种图像的注意力机制特征融合分割方法 | |
| CN111178121B (zh) | 基于空间特征和深度特征强化技术的害虫图像定位识别方法 | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
| CN112861970A (zh) | 一种基于特征融合的细粒度图像分类方法 | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
| CN116681636A (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200922 Assignee: Guangxi pinri Electronic Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980045442 Denomination of invention: Low Illumination Target Detection Method Based on RPF-CAM Granted publication date: 20220405 License type: Common License Record date: 20231101 |