CN111832508A - 基于die_ga的低照度目标检测方法 - Google Patents
基于die_ga的低照度目标检测方法 Download PDFInfo
- Publication number
- CN111832508A CN111832508A CN202010703090.6A CN202010703090A CN111832508A CN 111832508 A CN111832508 A CN 111832508A CN 202010703090 A CN202010703090 A CN 202010703090A CN 111832508 A CN111832508 A CN 111832508A
- Authority
- CN
- China
- Prior art keywords
- image
- feature map
- feature
- convolution
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 91
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000010586 diagram Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 33
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 12
- 230000004807 localization Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000010008 shearing Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 238000012216 screening Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 7
- 238000012800 visualization Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于DIE_GA的低照度目标检测方法，包括如下步骤：1）采集数据源，整合数据集；2）进行低照度图像的特征提取以及光照环境预测；3）DIE_GA网络中的STN过程对得到的特征图做进一步训练与筛选；4）进行目标检测网络的候选框提取；5）DIE_GA网络对候选框进行分类与回归。这种方法使得目标检测的特征图的特征表达能力更好、这种方法能提高目标检测的精度高。
Description
技术领域
本发明涉及低照度图像增强和目标检测技术领域，具体是一种基于DIE_GA(深照明估计生成锚点Deep Illumination Estimation Generate Anchor，简称DIE_GA)。
背景技术
现有的目标检测方法主要针对于正常光照环境下的目标检测，但是对于光照较低，所需检测目标成像偏暗、模糊不清、对比度不高的情况下，普遍存在检测效果和检测精度较为不佳的情况。
早期的深度学习网络例如Alexnet网络虽然能够具有一定的特征提取功能但是并不能很好的提取全局特征与局部特征，这样会造成图像的部分信息提取不够全面，造成信息流失使得对后续的检测带来精度的损失。在编码网络后融入局部与全局特征提取技术是2019年CVPR才提出的新方法，这种方法可以弥补特征提取的局限性。
现在的目标检测网络，无论是Faster R-CNN网络还是Mask-rcnn网络，在特征提取的过程中，逐步进行下采样，再进行选择性区域框的提取的时候，Anchor的尺寸与规模大小人为先验设定这样不仅计算复杂，还会使Anchor框出很多的背景信息造成精度的下降。
发明内容
本发明的目的是针对现有技术的不足，而提供一种基于DIE_GA的低照度目标检测方法。这种方法使得目标检测的特征图的特征表达能力更好、这种方法能提高目标检测的精度高。
实现本发明目的的技术方案是：
一种基于DIE_GA的低照度目标检测方法，包括如下步骤：
1)采集数据源、整合数据集：分别采集正常光照条件的图像和低照度环境下的图像作为数据对，将正常光照下获取的正常照度图像Reg-picture、低照度环境下获取的低照度图像Low-picture和图像标签数据Images_Label_data进行整合构造成一个Low-Reg-Data数据集，数据集的分组情况如下表1所示：
表1：
2)进行低照度图像的特征提取以及光照环境预测：
2-1)将所有低照度图像Low-picture和正常照度图像Reg-picture进行预处理、缩放到统一的宽度和高度；
2-2)对输入图像进行下采样使输入图像增大感受野，再对输入图像的特征图进行全局特征提取与局部特征提取，这样能够充分提取出特征图的全部信息；
2-3)局部特征提取与全局特征提取：在提取图像局部特征时,采用6个卷积层,卷积核为3×3,stride＝1,第一个卷积层采用Batch norm处理，在提取全局图像特征时,采用共12个卷积层,卷积核为3×3,stride＝2,卷积层之后采用三个全连接层即FC层，然后将局部特征与全局特征进行叠加；
2-4)将低照度图像进行下采样得到的特征图跟正常光照图像经过卷积下采样得到的特征图进行逐像素的内容损失函数的计算，损失函数采用L1 norm损失函数即MAE，L1Norm损失函数是预测值与目标值之间差值取平方和的均值，具体为公式(1)：
其中N为统计的数据量总数，其中F(Xi,θ)表示低照度下的像素值，Yi表示真实正常光照的可见光图像特征图的像素值；
2-5)将生成的低照度特征图经过亮通道先验估计与自适应环境光的估计，以达到充分的对比度、饱和度与亮度的可视化效果使之能模拟优质的低照度效果图像，亮通道定义为一个被包围区域中所有颜色通道的最高值，如公式(2)所示：
其中
表示一定区域中的所有颜色通道，
代表颜色通道最高值，亮通道先验估计是基于在无阴影的阳光条件下对室外图像的观测，对于自然室外图像，在没有阴影的图像块中，三个通道中的最高值接近1，像素值被标准化为范围[0，1]，如果图像中有阴影则该区域的亮通道变暗，因此正常阳光下图像正则化为公式(3)、公式(4)：
入射光t(x)与环境光照E(x)在小范围内是有变动的，假设入射光t(x)与环境光照E(x)在小范围内是恒定的，I(y)为颜色通道，定义他们为
两边的亮通道为公式(5)：
入射光传输可以表示为公式(6)：
实际中不能对图像进行完全增强，会使图像看起来不真实，以此引入一个常数参数w来修正透射为公式(7)所示，使增强弱光区域的时候看起来接近自然，w的值设为0.8，
2-6)自适应环境光照估计：低照度图像通常是在非均匀光照条件下拍摄的，环境光线应根据不同区域进行调整，采用一个局部补丁来估计中心像素的环境光，此时亮通道先验估计与自适应环境光的估计相融合后将得到的特征图经过反卷积进行上采样，这样可以精准的恢复图像尺寸与细节信息，再进行后面的STN过程，使经过反卷积进行上采样后的特征图进行仿射变换，包括平移、缩放、翻转和剪切，得到所需要的最佳适宜的图像，再进行后续的候选框的生成以及分类与回归操作；
3)DIE_GA网络中空间变换网络STN(Spatial Transformer Network，简称STN)过程：对得到的特征图做进一步训练与筛选，STN过程中包含三个部分：参数预测Localisation net、坐标映射Grid generator和像素采集Sampler，对特征图进行旋转剪切以及缩放，过程包括：
3-1)参数预测Localisation net用来输入特征图U，输出变换参数θ，参数θ用来映射原特征图U与目的特征图V的映射关系，将输入时的特征图像经过一次1*1与两个3*3的卷积输出空间变换参数，θ是一个多维向量输出，大小依赖于变换类型公式(8)：
θ＝floc(U) (8)，
其中floc是卷积形式，U是输入特征图，θ是输出的变换参数；
3-2)坐标映射Grid Generator结构是实现坐标映射，得到一种映射关系Tθ,特征图U每个像素的坐标为
特征图V的每个像素坐标为
空间变换函数Tθ为二维仿射变换函数，
对应关系为公式(9)：
其中Aθ是仿射变换矩阵，通过这一步可以得到变换后的输出特征图每个位置的坐标在输入特征图上的对应坐标点；
3-3)像素采集Sampler，在步骤3-2)中计算出了特征图V中每个点对应到特征图U的坐标点，可以根据特征图V的坐标点取得对应到特征图U中的坐标点像素值来进行填充，用双线性差值法，公式如下(10)所示：
其中
为输出特征图上第c个通道某一点的灰度值，
为输入特征图上第c个通道点(n，m)的灰度，
为特征图U的坐标；
3-4)双线性采样机制对损失进行反向传播，偏导数为公式(11)：
其中
为输出特征图上第c个通道某一点的灰度值，
为输入特征图上第c个通道点(n，m)的灰度，
为特征图U的坐标，
为求偏导符号；
4)进行目标检测网络的候选框提取，过程包括：
4-1)分别使用一个带有两个分支的锚生成模块来预测锚的位置和形状：一个物体的位置和形状可以用一个四元组来表示，它的形式是(x,y,w,h)，其中(x,y)是中心的空间坐标，w是宽度，h是高度，位置和形状可以被认为遵循一个以I为条件的概率分布公式(12)如下：
p(x,y,w,h|I)＝P(x,y|I)p(w,h|x,y,I) (12)，
4-2)锚点框位置预测Anchor Location Prediction：Anchor位置预测分支产生一个与输入特征图Fi相同尺寸大小的概率图P(·|Fi),特征图I在(i,j)上的概率P(i,j|Fi)的大小与原图I上对应坐标位置
相关，s代表特征图的步长,概率值代表目标物的中心位于该位置的概率，P(i,j|Fi)是由子网络NL产生，子网络通过1*1的卷积在特征图I上获得目标物的得分统计scores map,通过sigmoid函数来得到概率值，基于生成的概率图，选择相应概率值高于预定义阈值的位置来确定对象可能存在的活动区域；
4-3)Anchor Shape Prediction在完成位置预测后需要紧接着进行形状预测，要预测物体的宽w与高h，采用一个子网络NS进行形状预测，子网络NS包设有一个1*1的卷积层，产生一个包含dw与dh值的两通道映射，即输入Fi，输出和Fi尺寸相同的两通道的特征图，由于绝对尺寸范围太大不够稳定因此采用公式(13)：
w＝σ·s·edw,h＝σ·s·edh (13)，
s为stride,σ为一个尺度系数，子网络NS只需要预测dw与dh，进而目标范围从[0，1000]缩小到了[-1，1]，在得到位置预测与形状预测后将两者特征融合再将经过一次1*1的卷积，将锚点框的位置信息与形状信息能够融入生成新特征图，此时生成新的特征图用作接下来的分类与回归；
4-4)将步骤4-2)与步骤4-3)统称为引导锚点框GA anchor，GA anchor生成的GARPN建议框送入到ROI池化层，通过ROI pooling层使每个ROI生成固定尺寸的特征图，最后可采用全连接操作来进行目标识别与定位；
5)DIE_GA网络对候选框进行分类与回归：包括：
采用Softmax Loss和Smooth L1 Loss对分类概率和边框回归即Bounding box regression联合训练，得到检测的目标的正确边框位置和类别数值。
步骤1)中所述的低照度图像Low-picture、正常照度图像Reg-picture,属于同源不同光照条件的图像对，每一类场景每种类型图像对数不少于60对，图像中包含所需检测目标，检测目标的边框和类别信息包含图像中每个待检测物体的边框的坐标数值、边框长度和高度和所属类别，而且还要包含检测难度评估并且跟其它物体有重叠的物体检测难度设置为1，除此之外检测难度设置为0。
步骤2-1)中所述的预处理为：
1)将宽度和高度都缩放为416*416像素，因为如果尺寸太小，图像信息丢失太严重，如果尺寸太大，信息的抽象层次不够高，计算量会更大，会加大数据占用内存，下采样中经历了五次卷积模块，每次卷积后图像都有相应的缩小即2的5次方即缩小为原来的32倍，这时得到13*13的特征图，经过多次卷积可以充分进行特征提取；
2)将图像序列随机排布，使得连续图像中所存在的目标和位置不完全一样。
步骤2-2)中所述的下采样操作为：首先进行卷积操作，在第一次卷积过程中，进行两次卷积操作，此时Kernel＝(3，3，32)，Padding＝1，Stride＝1，输入416*416*3的图像，每次卷积后都经过一个Relu，之后图像尺寸变为416*416*32，再进行第二次卷积操作，此时Kernel＝(3，3，64)，Padding＝1，Stride＝2，输入416*416*32的图像尺寸减半为208*208*64，随之进行一次Residual block，在残差网络中，卷积核大小分别是1*1与3*3，此时两次Stride＝1，得到的特征图尺寸变为208*208*64；第二个卷积过程中先进行一次卷积操作，Kernel＝(3，3，128)，Padding＝1，Stride＝2，输入为上一层输出208*208*64，每次卷积后都经过一个Relu，之后图像尺寸变成104*104*128，再进行两次相同的Residual block，此时Kernel＝(1，1，64)与Kernel＝(3，3，128)，残差块后得到的特征图尺寸未变仍为104*104*128；进行卷积操作，此时Kernel＝(3，3，256)，Padding＝1，Stride＝2，得到的特征图大小为52*52*256,随之进行三次的残差块连接，每个残差块中卷积核大小及数量为Kernel＝(1，1，128)与Kernel＝(3，3，256)这样得到的特征图尺寸为52*52*256；接着进行卷积操作，此时，Kernel＝(3，3，512)，Padding＝1，Stride＝2，得到的特征图大小为26*26*512再进行三次的残差块连接，在残差块中，Kernel＝(1，1，256)与Kernel＝(3，3，512)此时得到的特征图大小为26*26*512；最后再进行一次卷积，卷积核的尺寸跟大小为Kernel＝(3，3，1024)Padding＝1，Stride＝2，得到的特征图大小为13*13*1024，随后再进行2次残差块的连接，在残差快中用到的卷积核大小Kernel＝(1，1，512)与Kernel＝(3，3，1024)最后得到特征图尺寸为13*13*1024为此时通道数多，层数也更深，最后得到的特征图先进行一次全局平均池化两次1*1的全连接操作，这样不仅可以降低计算量也可以更好地拟合通道间复杂的相关性，再进行Sigmoid函数归一化到(0，1)范围，将归一化后的权重加权到每个通道的特征上，采用注意力机制，把重要的特征给予更多的关注，从而提取的特征指定性更强，特征提取更加充分；
2)如步骤2-3)对特征图进行全局特征提取与局部特征提取，在提取图像局部特征时,采用6个卷积层,卷积核为3×3,stride＝1,第一个卷积层采用Batchnorm处理，提取全局特征时,采用共12个卷积层,卷积核为3×3,stride＝2,卷积层之后用三个全连接层，Kernel＝(7，7，256)的卷积，经过Relu后再进行一次1*1的卷积，最后得到1*1*512的特征图，目的是使其降维，最后将局部特征与全局特征进行叠加，使其能够充分提取出低照度图像的特征；
3)如步骤2-5)采用亮通道先验估计，暗通道先验在无雾图像中趋近于0，亮通道先验首先定义亮通道图像为：
其中
表示一定区域中的所有颜色通道，
代表颜色通道最高值，在图像中的局部范围内，总会存在某个像素点的颜色通道反射率接近100％，由于光照在图像中大部分区域是均匀传播的，因此，这个像素点的像素值，近似于这个局部区域的光照强度，两边的亮通道公式如下：
入射光传输可以表示公式如下：
在公式(6)中，引入一个常数参数来修正透射，使增强弱光区域的时候看起来比较自然，w的值设为0.8，光照补偿在整体上获得了明显的效果；
4)自适应环境光照估计，采用一个局部补丁来估计中心像素的环境光，采用如下表2所示7×7块滤波器来实现：
表2：
| 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | 4 | 4 | 4 | 4 | 4 | 1 |
| 1 | 4 | 16 | 16 | 16 | 4 | 1 |
| 1 | 4 | 16 | 64 | 16 | 4 | 1 |
| 1 | 4 | 16 | 16 | 16 | 4 | 1 |
| 1 | 4 | 4 | 4 | 4 | 4 | 1 |
| 1 | 1 | 1 | 1 | 1 | 1 | 1 |
经过滤波和归一化后，得到了环境光E(x)，此时亮通道先验估计与自适应环境光的估计相融合后将得到的图像再进行上采样；
5)利用反卷积进行上采样，目的是还原图像尺寸以便进行后面的目标检测，首先将下采样与环境光照估计后的特征图作为此时反卷积的输入，此时特征图大小为13*13*1024、反卷积核大小为(3，3，1024)、Padding＝1、Stride＝1，经过第一次反卷积后得到的特征图扩大一半，此时特征图为26*26*512，再进行反卷积、反卷积核大小为(3，3，512)、Padding＝1、Stride＝1，得到的特征图为52*52*256，接着进行反卷积，反卷积核的大小为(3，3，256)、Padding＝1、Stride＝1，这是特征图为104*104*128，最后进行一次反卷积操作，反卷积核大小为(3，3，64)，得到的特征图为413*413*32，此时再将特征图进行STN过程。
步骤3)中所述的STN过程对特征图进行旋转剪切以及缩放具体为：
Localisation net输入为一张Feature map:U∈RH*W*C，经过两次卷积操作后输出变换参数θ，参数θ这个参数用来映射U与V的坐标关系，Grid generator采用localisationnet层输出的参数θ,根据V中的坐标点和变化参数θ计算出U中的坐标点，设输入Featuremap U每个像素位置的坐标为
Feature map V每个像素位置的坐标为
那么输入和输出Feature map的映射关系便为公式：
其中Aθ是仿射变换矩阵，通过矩阵运算，计算出目标特征图V中的每个位置对应原特征图U中的坐标位置，即生成T(G)，Sampler像素采集，可以根据V的坐标点取得对应到U中的坐标点像素值来进行填充，用双线性差值法，公式如下(10)所示：
其中
为输出特征图上第c个通道某一点的灰度值，
为输入特征图上第c个通道点(n，m)的灰度，
为特征图U的坐标，中有(xi,yi)周围四个点的灰度值决定整体像素的灰度值，并且当
与
越小，即离点(n,m)越近，权重越大。
步骤4-4)中所述引导锚点框GA anchor具体为：
1)分为两条支路，一路通过Softmax分类anchors获得前景和背景；
2)另外一条支路用于计算对于anchors的边界框回归的偏移量，以获得精确的目标候选区；
3)变化的anchor：a_wh＝{(x0,y0,w,h)|w＞0,h＞0}和ground truth的框gt:(xg,yg,wg,hg)之间的IoU，公式如下又称为vIoU：
提高IoU阈值，这样使得模型性能更好。
本技术方案解决的是目标检测中，由于在低照度环境下，目标对比度不强，模糊不清，细节丢失严重导致的检测精度不佳的问题，本技术方案先使用下采样对图像进行特征提取然后采用局部特征提取与全局特征提取得到特征图再融合环境光照模拟出低光照图像的特征融合后再送进STN模块进行筛选，再进行目标检测提取出候选框，最后通过边框回归和分类预测，得到精确的低照度图像中的目标检测结果。
这种方法使得低照度下目标检测的特征图的特征表达能力更好、目标检测的精度高。
附图说明
图1为实施例中DIE_GA网络流程架构示意图；
图2为实施例中下采样流程示意图；
图3为实施例中STN过程示意图；
图4为实施例中目标检测过程示意图。
具体实施方式
下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。
实施例：
参照图1，一种基于DIE_GA的低照度目标检测方法，包括如下步骤：
1)采集数据源、整合数据集：分别采集正常光照条件的图像和低照度环境下的图像作为数据对，将正常光照下获取的正常照度图像Reg-picture、低照度环境下获取的低照度图像Low-picture和图像标签数据Images_Label_data进行整合构造成一个Low-Reg-Data数据集，数据集的分组情况如下表1所示：
表1：
2)进行低照度图像的特征提取以及光照环境预测：
2-1)将所有低照度图像Low-picture和正常照度图像Reg-picture进行预处理、缩放到统一的宽度和高度；
2-2)参照图2，对输入图像进行下采样使输入图像增大感受野，再对输入图像的特征图进行全局特征提取与局部特征提取，这样能够充分提取出特征图的全部信息；
2-3)局部特征提取与全局特征提取：在提取图像局部特征时,采用6个卷积层,卷积核为3×3,stride＝1,第一个卷积层采用Batch norm处理，在提取全局图像特征时,采用共12个卷积层,卷积核为3×3,stride＝2,卷积层之后采用三个全连接层即FC层，然后将局部特征与全局特征进行叠加；
2-4)将低照度图像进行下采样得到的特征图跟正常光照图像经过卷积下采样得到的特征图进行逐像素的内容损失函数的计算，损失函数采用L1 norm损失函数即MAE，L1Norm损失函数是预测值与目标值之间差值取平方和的均值，具体为公式(1)：
其中N为统计的数据量总数，其中F(Xi,θ)表示低照度下的像素值，Yi表示真实正常光照的可见光图像特征图的像素值；
2-5)将生成的低照度特征图经过亮通道先验估计与自适应环境光的估计，以达到充分的对比度、饱和度与亮度的可视化效果使之能模拟优质的低照度效果图像，亮通道定义为一个被包围区域中所有颜色通道的最高值，如公式(2)所示：
其中
表示一定区域中的所有颜色通道，
代表颜色通道最高值，亮通道先验估计是基于在无阴影的阳光条件下对室外图像的观测，对于自然室外图像，在没有阴影的图像块中，三个通道中的最高值接近1，像素值被标准化为范围[0，1]，如果图像中有阴影则该区域的亮通道变暗，因此正常阳光下图像正则化为公式(3)、公式(4)：
入射光t(x)与环境光照E(x)在小范围内是有变动的，假设入射光t(x)与环境光照E(x)在小范围内是恒定的，I(y)为颜色通道，定义他们为
两边的亮通道为公式(5)：
入射光传输可以表示为公式(6)：
实际中不能对图像进行完全增强，会使图像看起来不真实，以此引入一个常数参数w来修正透射为公式(7)所示，使增强弱光区域的时候看起来接近自然，w的值设为0.8，
2-6)自适应环境光照估计：低照度图像通常是在非均匀光照条件下拍摄的，环境光线应根据不同区域进行调整，采用一个局部补丁来估计中心像素的环境光，此时亮通道先验估计与自适应环境光的估计相融合后将得到的特征图经过反卷积进行上采样，这样可以精准的恢复图像尺寸与细节信息，再进行后面的STN过程，使经过反卷积进行上采样后的特征图进行仿射变换，包括平移、缩放、翻转和剪切，得到所需要的最佳适宜的图像，再进行后续的候选框的生成以及分类与回归操作；
3)参照图3，DIE_GA网络中空间变换网络STN(Spatial Transformer Network，简称STN)过程：对得到的特征图做进一步训练与筛选，STN过程中包含三个部分：参数预测Localisation net、坐标映射Grid generator和像素采集Sampler，对特征图进行旋转剪切以及缩放，过程包括：
3-1)参数预测Localisation net用来输入特征图U，输出变换参数θ，参数θ用来映射原特征图U与目的特征图V的映射关系，将输入时的特征图像经过一次1*1与两个3*3的卷积输出空间变换参数，θ是一个多维向量输出，大小依赖于变换类型公式(8)：
θ＝floc(U) (8)，
其中floc是卷积形式，U是输入特征图，θ是输出的变换参数；
3-2)坐标映射Grid Generator结构是实现坐标映射，得到一种映射关系Tθ,特征图U每个像素的坐标为
特征图V的每个像素坐标为
空间变换函数Tθ为二维仿射变换函数，
对应关系为公式(9)：
其中Aθ是仿射变换矩阵，通过这一步可以得到变换后的输出特征图每个位置的坐标在输入特征图上的对应坐标点；
3-3)像素采集Sampler，在步骤3-2)中计算出了特征图V中每个点对应到特征图U的坐标点，可以根据特征图V的坐标点取得对应到特征图U中的坐标点像素值来进行填充，用双线性差值法，公式如下(10)所示：
其中
为输出特征图上第c个通道某一点的灰度值，
为输入特征图上第c个通道点(n，m)的灰度，
为特征图U的坐标；
3-4)双线性采样机制对损失进行反向传播，偏导数为公式(11)：
其中
为输出特征图上第c个通道某一点的灰度值，
为输入特征图上第c个通道点(n，m)的灰度，
为特征图U的坐标，
为求偏导符号；
4)进行目标检测网络的候选框提取，过程包括：
4-1)分别使用一个带有两个分支的锚生成模块来预测锚的位置和形状：一个物体的位置和形状可以用一个四元组来表示，它的形式是(x,y,w,h)，其中(x,y)是中心的空间坐标，w是宽度，h是高度，位置和形状可以被认为遵循一个以I为条件的概率分布公式(12)如下：
p(x,y,w,h|I)＝P(x,y|I)p(w,h|x,y,I) (12)，
4-2)锚点框位置预测Anchor Location Prediction：Anchor位置预测分支产生一个与输入特征图Fi相同尺寸大小的概率图P(·|Fi),特征图I在(i,j)上的概率P(i,j|Fi)的大小与原图I上对应坐标位置
相关，s代表特征图的步长,概率值代表目标物的中心位于该位置的概率，P(i,j|Fi)是由子网络NL产生，子网络通过1*1的卷积在特征图I上获得目标物的得分统计scores map,通过sigmoid函数来得到概率值，基于生成的概率图，选择相应概率值高于预定义阈值的位置来确定对象可能存在的活动区域；
4-3)Anchor Shape Prediction在完成位置预测后需要紧接着进行形状预测，要预测物体的宽w与高h，采用一个子网络NS进行形状预测，子网络NS包设有一个1*1的卷积层，产生一个包含dw与dh值的两通道映射，即输入Fi，输出和Fi尺寸相同的两通道的特征图，由于绝对尺寸范围太大不够稳定因此采用公式(13)：
w＝σ·s·edw,h＝σ·s·edh (13)，
s为stride,σ为一个尺度系数，本例为取8，子网络NS只需要预测dw与dh，进而目标范围从[0，1000]缩小到了[-1，1]，在得到位置预测与形状预测后将两者特征融合再将经过一次1*1的卷积，将锚点框的位置信息与形状信息能够融入生成新特征图，此时生成新的特征图用作接下来的分类与回归；
4-4)将步骤4-2)与步骤4-3)统称为引导锚点框GA anchor，GA anchor生成的GARPN建议框送入到ROI池化层，通过ROI pooling层使每个ROI生成固定尺寸的特征图，最后可采用全连接操作来进行目标识别与定位；
5)DIE_GA网络对候选框进行分类与回归：如图4所示包括：
采用Softmax Loss和Smooth L1 Loss对分类概率和边框回归即Bounding box regression联合训练，得到检测的目标的正确边框位置和类别数值。
步骤1)中所述的低照度图像Low-picture、正常照度图像Reg-picture,属于同源不同光照条件的图像对，每一类场景每种类型图像对数不少于60对，图像中包含所需检测目标，检测目标的边框和类别信息包含图像中每个待检测物体的边框的坐标数值、边框长度和高度和所属类别，而且还要包含检测难度评估并且跟其它物体有重叠的物体检测难度设置为1，除此之外检测难度设置为0。
步骤2-1)中所述的预处理为：
1)将宽度和高度都缩放为416*416像素，因为如果尺寸太小，图像信息丢失太严重，如果尺寸太大，信息的抽象层次不够高，计算量会更大，会加大数据占用内存，下采样中经历了五次卷积模块，每次卷积后图像都有相应的缩小即2的5次方即缩小为原来的32倍，这时得到13*13的特征图，经过多次卷积可以充分进行特征提取；
2)将图像序列随机排布，使得连续图像中所存在的目标和位置不完全一样。
4.根据权利要求1所述的基于DIE_GA的低照度目标检测方法，其特征在于，步骤2-2)中所述的下采样操作为：首先进行卷积操作，在第一次卷积过程中，进行两次卷积操作，此时Kernel＝(3，3，32)，Padding＝1，Stride＝1，输入416*416*3的图像，每次卷积后都经过一个Relu，之后图像尺寸变为416*416*32，再进行第二次卷积操作，此时Kernel＝(3，3，64)，Padding＝1，Stride＝2，输入416*416*32的图像尺寸减半为208*208*64，随之进行一次Residual block，在残差网络中，卷积核大小分别是1*1与3*3，此时两次Stride＝1，得到的特征图尺寸变为208*208*64；第二个卷积过程中先进行一次卷积操作，Kernel＝(3，3，128)，Padding＝1，Stride＝2，输入为上一层输出208*208*64，每次卷积后都经过一个Relu，之后图像尺寸变成104*104*128，再进行两次相同的Residual block，此时Kernel＝(1，1，64)与Kernel＝(3，3，128)，残差块后得到的特征图尺寸未变仍为104*104*128；进行卷积操作，此时Kernel＝(3，3，256)，Padding＝1，Stride＝2，得到的特征图大小为52*52*256,随之进行三次的残差块连接，每个残差块中卷积核大小及数量为Kernel＝(1，1，128)与Kernel＝(3，3，256)这样得到的特征图尺寸为52*52*256；接着进行卷积操作，此时，Kernel＝(3，3，512)，Padding＝1，Stride＝2，得到的特征图大小为26*26*512再进行三次的残差块连接，在残差块中，Kernel＝(1，1，256)与Kernel＝(3，3，512)此时得到的特征图大小为26*26*512；最后再进行一次卷积，卷积核的尺寸跟大小为Kernel＝(3，3，1024)Padding＝1，Stride＝2，得到的特征图大小为13*13*1024，随后再进行2次残差块的连接，在残差快中用到的卷积核大小Kernel＝(1，1，512)与Kernel＝(3，3，1024)最后得到特征图尺寸为13*13*1024为此时通道数多，层数也更深，最后得到的特征图先进行一次全局平均池化两次1*1的全连接操作，这样不仅可以降低计算量也可以更好地拟合通道间复杂的相关性，再进行Sigmoid函数归一化到(0，1)范围，将归一化后的权重加权到每个通道的特征上，采用注意力机制，把重要的特征给予更多的关注，从而提取的特征指定性更强，特征提取更加充分；
2)如步骤2-3)对特征图进行全局特征提取与局部特征提取，在提取图像局部特征时,采用6个卷积层,卷积核为3×3,stride＝1,第一个卷积层采用Batchnorm处理，提取全局特征时,采用共12个卷积层,卷积核为3×3,stride＝2,卷积层之后用三个全连接层，Kernel＝(7，7，256)的卷积，经过Relu后再进行一次1*1的卷积，最后得到1*1*512的特征图，目的是使其降维，最后将局部特征与全局特征进行叠加，使其能够充分提取出低照度图像的特征；
3)如步骤2-5)采用亮通道先验估计，暗通道先验在无雾图像中趋近于0，亮通道先验首先定义亮通道图像为：
其中
表示一定区域中的所有颜色通道，
代表颜色通道最高值，在图像中的局部范围内，总会存在某个像素点的颜色通道反射率接近100％，由于光照在图像中大部分区域是均匀传播的，因此，这个像素点的像素值，近似于这个局部区域的光照强度，两边的亮通道公式如下：
入射光传输可以表示公式如下：
在公式(6)中，引入一个常数参数来修正透射，使增强弱光区域的时候看起来比较自然，w的值设为0.8，光照补偿在整体上获得了明显的效果；
4)自适应环境光照估计，采用一个局部补丁来估计中心像素的环境光，采用如下表2所示7×7块滤波器来实现：
表2：
| 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | 4 | 4 | 4 | 4 | 4 | 1 |
| 1 | 4 | 16 | 16 | 16 | 4 | 1 |
| 1 | 4 | 16 | 64 | 16 | 4 | 1 |
| 1 | 4 | 16 | 16 | 16 | 4 | 1 |
| 1 | 4 | 4 | 4 | 4 | 4 | 1 |
| 1 | 1 | 1 | 1 | 1 | 1 | 1 |
经过滤波和归一化后，得到了环境光E(x)，此时亮通道先验估计与自适应环境光的估计相融合后将得到的图像再进行上采样；
5)利用反卷积进行上采样，目的是还原图像尺寸以变进行后面的目标检测，首先将下采样与环境光照估计后的特征图作为此时反卷积的输入，此时特征图大小为13*13*1024、反卷积核大小为(3，3，1024)、Padding＝1、Stride＝1，经过第一次反卷积后得到的特征图扩大一半，此时特征图为26*26*512，再进行反卷积、反卷积核大小为(3，3，512)、Padding＝1、Stride＝1，得到的特征图为52*52*256，接着进行反卷积，反卷积核的大小为(3，3，256)、Padding＝1、Stride＝1，这是特征图为104*104*128，最后进行一次反卷积操作，反卷积核大小为(3，3，64)，得到的特征图为413*413*32，此时再将特征图进行STN过程；
步骤3)中所述的STN过程对特征图进行旋转剪切以及缩放具体为：
Localisation net输入为一张Feature map:U∈RH*W*C，经过两次卷积操作后输出变换参数θ，参数θ这个参数用来映射U与V的坐标关系，Grid generator采用localisationnet层输出的参数θ,根据V中的坐标点和变化参数θ计算出U中的坐标点，设输入Featuremap U每个像素位置的坐标为
Feature map V每个像素位置的坐标为
那么输入和输出Feature map的映射关系便为公式：
其中Aθ是仿射变换矩阵，通过矩阵运算，计算出目标特征图V中的每个位置对应原特征图U中的坐标位置，即生成T(G)，Sampler像素采集，可以根据V的坐标点取得对应到U中的坐标点像素值来进行填充，用双线性差值法，公式如下(10)所示：
其中
为输出特征图上第c个通道某一点的灰度值，
为输入特征图上第c个通道点(n，m)的灰度，
为特征图U的坐标，中有(xi,yi)周围四个点的灰度值决定整体像素的灰度值，并且当
与
越小，即离点(n,m)越近，权重越大。
步骤4-4)中所述引导锚点框GA anchor具体为：
1)分为两条支路，一路通过Softmax分类anchors获得前景和背景；
2)另外一条支路用于计算对于anchors的边界框回归的偏移量，以获得精确的目标候选区；
3)变化的anchor：a_wh＝{(x0,y0,w,h)|w＞0,h＞0}和ground truth的框gt:(xg,yg,wg,hg)之间的IoU，公式如下又称为vIoU：
提高IoU阈值，这样使得模型性能更好。
Claims (6)
1.一种基于DIE_GA的低照度目标检测方法，其特征在于，包括如下步骤：
1)采集数据源、整合数据集：分别采集正常光照条件的图像和低照度环境下的图像作为数据对，将正常光照下获取的正常照度图像Reg-picture、低照度环境下获取的低照度图像Low-picture和图像标签数据Images_Label_data进行整合构造成一个Low-Reg-Data数据集，数据集的分组情况如下表1所示：
表1：
2)进行低照度图像的特征提取以及光照环境预测：
2-1)将所有低照度图像Low-picture和正常照度图像Reg-picture进行预处理、缩放到统一的宽度和高度；
2-2)对输入图像进行下采样使输入图像增大感受野；
2-3)局部特征提取与全局特征提取：在提取图像局部特征时,采用6个卷积层,卷积核为3×3,stride＝1,第一个卷积层采用Batch norm处理，在提取全局图像特征时,采用共12个卷积层,卷积核为3×3,stride＝2,卷积层之后采用三个全连接层即FC层，然后将局部特征与全局特征进行叠加；
2-4)将低照度图像进行下采样得到的特征图跟正常光照图像经过卷积下采样得到的特征图进行逐像素的内容损失函数的计算，损失函数采用L1 norm损失函数即MAE，L1 Norm损失函数是预测值与目标值之间差值取平方和的均值，具体为公式(1)：
其中N为统计的数据量总数，其中F(Xi,θ)表示低照度下的像素值，Yi表示真实正常光照的可见光图像特征图的像素值；
2-5)将生成的低照度特征图经过亮通道先验估计与自适应环境光的估计，亮通道定义为一个被包围区域中所有颜色通道的最高值，如公式(2)所示：
其中
表示一定区域中的所有颜色通道，
代表颜色通道最高值，亮通道先验估计是基于在无阴影的阳光条件下对室外图像的观测，对于自然室外图像，在没有阴影的图像块中，三个通道中的最高值接近1，像素值被标准化为范围[0，1]，如果图像中有阴影则该区域的亮通道变暗，因此正常阳光下图像正则化为公式(3)、公式(4)：
假设入射光t(x)与环境光照E(x)在小范围内是恒定的，I(y)为颜色通道，定义他们为
两边的亮通道为公式(5)：
入射光传输可以表示为公式(6)：
引入一个常数参数w来修正透射为公式(7)所示，w的值设为0.8，
2-6)自适应环境光照估计：采用局部补丁来估计中心像素的环境光，亮通道先验估计与自适应环境光的估计相融合后将得到的特征图经过反卷积进行上采样，再进行后面的STN过程，使经过反卷积进行上采样后的特征图进行仿射变换，包括平移、缩放、翻转和剪切，得到最佳适宜的图像，再进行后续的候选框的生成以及分类与回归操作；
3)DIE_GA网络中空间变换网络STN过程：对得到的特征图做进一步训练与筛选，STN过程中包含三个部分：参数预测Localisation net、坐标映射Grid generator和像素采集Sampler，对特征图进行旋转剪切以及缩放，过程包括：
3-1)参数预测Localisation net用来输入特征图U，输出变换参数θ，参数θ用来映射原特征图U与目的特征图V的映射关系，将输入时的特征图像经过一次1*1与两个3*3的卷积输出空间变换参数，θ是一个多维向量输出，大小依赖于变换类型公式(8)：
θ＝floc(U) (8)，
其中floc是卷积形式，U是输入特征图，θ是输出的变换参数；
3-2)坐标映射Grid Generator结构是实现坐标映射，得到一种映射关系Tθ,特征图U每个像素的坐标为
特征图V的每个像素坐标为
空间变换函数Tθ为二维仿射变换函数，
对应关系为公式(9)：
其中Aθ是仿射变换矩阵，得到变换后的输出特征图每个位置的坐标在输入特征图上的对应坐标点；
3-3)像素采集Sampler，在步骤3-2)中计算出了特征图V中每个点对应到特征图U的坐标点，根据特征图V的坐标点取得对应到特征图U中的坐标点像素值来进行填充，用双线性差值法，公式如下(10)所示：
其中
为输出特征图上第c个通道某一点的灰度值，
为输入特征图上第c个通道点(n，m)的灰度，
为特征图U的坐标；
3-4)双线性采样机制对损失进行反向传播，偏导数为公式(11)：
其中
为输出特征图上第c个通道某一点的灰度值，
为输入特征图上第c个通道点(n，m)的灰度，
为特征图U的坐标，
为求偏导符号；
4)进行目标检测网络的候选框提取，过程包括：
4-1)分别使用一个带有两个分支的锚生成模块来预测锚的位置和形状：一个物体的位置和形状用一个四元组来表示，它的形式是(x,y,w,h)，其中(x,y)是中心的空间坐标，w是宽度，h是高度，位置和形状被认为遵循一个以I为条件的概率分布公式(12)如下：
p(x,y,w,h|I)＝P(x,y|I)p(w,h|x,y,I) (12)，
4-2)Anchor Location Prediction：Anchor位置预测分支产生一个与输入特征图Fi相同尺寸大小的概率图P(·|Fi),特征图I在(i,j)上的概率P(i,j|Fi)的大小与原图I上对应坐标位置
相关，s代表特征图的步长,概率值代表目标物的中心位于该位置的概率，P(i,j|Fi)是由子网络NL产生，子网络通过1*1的卷积在特征图I上获得目标物的scores map,通过sigmoid函数来得到概率值，基于生成的概率图，选择相应概率值高于预定义阈值的位置来确定对象可能存在的活动区域；
4-3)Anchor Shape Prediction在完成位置预测后进行形状预测，预测物体的宽w与高h，采用子网络NS进行形状预测，子网络NS包设有一个1*1的卷积层，产生一个包含dw与dh值的两通道映射，即输入Fi，输出和Fi尺寸相同的两通道的特征图，采用公式(13)：
w＝σ·s·edw,h＝σ·s·edh (13)，
s为stride,σ为尺度系数，子网络NS只需要预测dw与dh，进而目标范围从[0，1000]缩小到了[-1，1]，在得到位置预测与形状预测后将两者特征融合再经过一次1*1的卷积，将锚点框的位置信息与形状信息融入生成新特征图，生成新的特征图用作接下来的分类与回归；
4-4)将步骤4-2)与步骤4-3)统称为引导锚点框GA anchor，GA anchor生成的GA RPN建议框送入到ROI池化层，通过ROI pooling层使每个ROI生成固定尺寸的特征图，最后采用全连接操作来进行目标识别与定位；
5)DIE_GA网络对候选框进行分类与回归：包括：
采用Softmax Loss和Smooth L1 Loss对分类概率和边框回归即Bounding box regression联合训练，得到检测的目标的正确边框位置和类别数值。
2.根据权利要求1所述的基于DIE_GA的低照度目标检测方法，其特征在于，步骤1)中所述的低照度图像Low-picture、正常照度图像Reg-picture,属于同源不同光照条件的图像对，每一类场景每种类型图像对数不少于60对，图像中包含所需检测目标，检测目标的边框和类别信息包含图像中每个待检测物体的边框的坐标数值、边框长度和高度和所属类别，而且还要包含检测难度评估并且跟其它物体有重叠的物体检测难度设置为1，除此之外检测难度设置为0。
3.根据权利要求1所述的基于DIE_GA的低照度目标检测方法，其特征在于，步骤2-1)中所述的预处理为：
1)将宽度和高度都缩放为416*416像素，下采样中经历了五次卷积模块，每次卷积后图像都有相应的缩小即2的5次方即缩小为原来的32倍，这时得到13*13的特征图；
2)将图像序列随机排布，使得连续图像中所存在的目标和位置不完全一样。
4.根据权利要求1所述的基于DIE_GA的低照度目标检测方法，其特征在于，步骤2-2)中所述的下采样操作为：首先进行卷积操作，在第一次卷积过程中，进行两次卷积操作，此时Kernel＝(3，3，32)，Padding＝1，Stride＝1，输入416*416*3的图像，每次卷积后都经过一个Relu，之后图像尺寸变为416*416*32，再进行第二次卷积操作，此时Kernel＝(3，3，64)，Padding＝1，Stride＝2，输入416*416*32的图像尺寸减半为208*208*64，随之进行一次Residual block，在残差网络中，卷积核大小分别是1*1与3*3，此时两次Stride＝1，得到的特征图尺寸变为208*208*64；第二个卷积过程中先进行一次卷积操作，Kernel＝(3，3，128)，Padding＝1，Stride＝2，输入为上一层输出208*208*64，每次卷积后都经过一个Relu，之后图像尺寸变成104*104*128，再进行两次相同的Residual block，此时Kernel＝(1，1，64)与Kernel＝(3，3，128)，残差块后得到的特征图尺寸未变仍为104*104*128；进行卷积操作，此时Kernel＝(3，3，256)，Padding＝1，Stride＝2，得到的特征图大小为52*52*256,随之进行三次的残差块连接，每个残差块中卷积核大小及数量为Kernel＝(1，1，128)与Kernel＝(3，3，256)这样得到的特征图尺寸为52*52*256；接着进行卷积操作，此时，Kernel＝(3，3，512)，Padding＝1，Stride＝2，得到的特征图大小为26*26*512再进行三次的残差块连接，在残差块中，Kernel＝(1，1，256)与Kernel＝(3，3，512)此时得到的特征图大小为26*26*512；最后再进行一次卷积，卷积核的尺寸跟大小为Kernel＝(3，3，1024)Padding＝1，Stride＝2，得到的特征图大小为13*13*1024，随后再进行2次残差块的连接，在残差快中用到的卷积核大小Kernel＝(1，1，512)与Kernel＝(3，3，1024)最后得到特征图尺寸为13*13*1024为此时通道数多，层数也更深，最后得到的特征图先进行一次全局平均池化两次1*1的全连接操作，再进行Sigmoid函数归一化到(0，1)范围，将归一化后的权重加权到每个通道的特征上，采用注意力机制，把重要的特征给予更多的关注，提取的特征指定性更强；
2)如步骤2-3)对特征图进行全局特征提取与局部特征提取，在提取图像局部特征时,采用6个卷积层,卷积核为3×3,stride＝1,第一个卷积层采用Batchnorm处理，提取全局特征时,采用共12个卷积层,卷积核为3×3,stride＝2,卷积层之后用三个全连接层，Kernel＝(7，7，256)的卷积，经过Relu后再进行一次1*1的卷积，最后得到1*1*512的特征图，最后将局部特征与全局特征进行叠加；
3)如步骤2-5)采用亮通道先验估计，暗通道先验在无雾图像中趋近于0，亮通道先验首先定义亮通道图像为：
其中
表示一定区域中的所有颜色通道，
代表颜色通道最高值，在图像中的局部范围内，存在某个像素点的颜色通道反射率接近100％，像素点的像素值，近似于这个局部区域的光照强度，两边的亮通道公式如下：
入射光传输表示公式如下：
在公式(6)中，引入一个常数参数来修正透射，使增强弱光区域的时候比较自然，w的值设为0.8；
4)自适应环境光照估计，采用局部补丁来估计中心像素的环境光，采用如下表2所示7×7块滤波器来实现：
表2：
经过滤波和归一化后，得到环境光E(x)，亮通道先验估计与自适应环境光的估计相融合后将得到的图像再进行上采样；
5)利用反卷积进行上采样，首先将下采样与环境光照估计后的特征图作为此时反卷积的输入，此时特征图大小为13*13*1024、反卷积核大小为(3，3，1024)、Padding＝1、Stride＝1，经过第一次反卷积后得到的特征图扩大一半，此时特征图为26*26*512，再进行反卷积、反卷积核大小为(3，3，512)、Padding＝1、Stride＝1，得到的特征图为52*52*256，接着进行反卷积，反卷积核的大小为(3，3，256)、Padding＝1、Stride＝1，这是特征图为104*104*128，最后进行一次反卷积操作，反卷积核大小为(3，3，64)，得到的特征图为413*413*32，此时再将特征图进行STN过程。
5.根据权利要求1所述的基于DIE_GA的低照度目标检测方法，其特征在于，
步骤3)中所述的STN过程对特征图进行旋转剪切以及缩放具体为Localisation net输入为一张Feature map:U∈RH*W*C，经过两次卷积操作后输出变换参数θ，参数θ这个参数用来映射U与V的坐标关系，Grid generator采用localisation net层输出的参数θ,根据V中的坐标点和变化参数θ计算出U中的坐标点，设输入Feature map U每个像素位置的坐标为
Feature map V每个像素位置的坐标为
那么输入和输出Feature map的映射关系便为公式：
其中Aθ是仿射变换矩阵，通过矩阵运算，计算出目标特征图V中的每个位置对应原特征图U中的坐标位置，即生成T(G)，Sampler像素采集，根据V的坐标点取得对应到U中的坐标点像素值来进行填充，用双线性差值法，公式如下(10)所示：
其中
为输出特征图上第c个通道某一点的灰度值，
为输入特征图上第c个通道点(n，m)的灰度，
为特征图U的坐标，中有(xi,yi)周围四个点的灰度值决定整体像素的灰度值，并且当
与
越小，即离点(n,m)越近，权重越大。
6.根据权利要求1所述的基于DIE_GA的低照度目标检测方法，其特征在于，步骤4-4)中所述GA anchor具体为：
1)分为两条支路，一路通过Softmax分类anchors获得前景和背景；
2)另外一条支路用于计算对于anchors的边界框回归的偏移量，以获得精确的目标候选区；
3)变化的anchor：a_wh＝{(x0,y0,w,h)|w＞0,h＞0}和ground truth的框gt:(xg,yg,wg,hg)之间的IoU，公式如下又称为vIoU：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010703090.6A CN111832508B (zh) | 2020-07-21 | 2020-07-21 | 基于die_ga的低照度目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010703090.6A CN111832508B (zh) | 2020-07-21 | 2020-07-21 | 基于die_ga的低照度目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111832508A true CN111832508A (zh) | 2020-10-27 |
| CN111832508B CN111832508B (zh) | 2022-04-05 |
Family
ID=72923758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010703090.6A Active CN111832508B (zh) | 2020-07-21 | 2020-07-21 | 基于die_ga的低照度目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832508B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114202529A (zh) * | 2021-12-14 | 2022-03-18 | 四川大学 | 一种全局特征引导的多任务篡改图像检测方法 |
| CN117408925A (zh) * | 2023-11-02 | 2024-01-16 | 沐曦科技(成都)有限公司 | 一种基于神经网络模型的图像增强方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292830A (zh) * | 2016-12-28 | 2017-10-24 | 首都师范大学 | 低照度图像增强及评价方法 |
| CN108765279A (zh) * | 2018-03-19 | 2018-11-06 | 北京工业大学 | 一种面向监控场景的行人人脸超分辨率重建方法 |
| CN109902710A (zh) * | 2019-01-07 | 2019-06-18 | 南京热信软件科技有限公司 | 一种文本图像的快速匹配方法和装置 |
| CN110059760A (zh) * | 2019-04-25 | 2019-07-26 | 北京工业大学 | 基于拓扑结构和cnn的几何图形识别方法 |
| CN110163818A (zh) * | 2019-04-28 | 2019-08-23 | 武汉理工大学 | 一种用于海事无人机的低照度视频图像增强方法 |
| CN110490155A (zh) * | 2019-08-23 | 2019-11-22 | 电子科技大学 | 一种禁飞空域无人机检测方法 |
| CN111027547A (zh) * | 2019-12-06 | 2020-04-17 | 南京大学 | 一种针对二维图像中的多尺度多形态目标的自动检测方法 |
-
2020
- 2020-07-21 CN CN202010703090.6A patent/CN111832508B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292830A (zh) * | 2016-12-28 | 2017-10-24 | 首都师范大学 | 低照度图像增强及评价方法 |
| CN108765279A (zh) * | 2018-03-19 | 2018-11-06 | 北京工业大学 | 一种面向监控场景的行人人脸超分辨率重建方法 |
| CN109902710A (zh) * | 2019-01-07 | 2019-06-18 | 南京热信软件科技有限公司 | 一种文本图像的快速匹配方法和装置 |
| CN110059760A (zh) * | 2019-04-25 | 2019-07-26 | 北京工业大学 | 基于拓扑结构和cnn的几何图形识别方法 |
| CN110163818A (zh) * | 2019-04-28 | 2019-08-23 | 武汉理工大学 | 一种用于海事无人机的低照度视频图像增强方法 |
| CN110490155A (zh) * | 2019-08-23 | 2019-11-22 | 电子科技大学 | 一种禁飞空域无人机检测方法 |
| CN111027547A (zh) * | 2019-12-06 | 2020-04-17 | 南京大学 | 一种针对二维图像中的多尺度多形态目标的自动检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| HUIMIN LU: ""Low illumination underwater light field images reconstruction using deep convolutional neural networks"", 《FUTURE GENERATION COMPUTER SYSTEMS》 * |
| 杨欢: ""红外与低照度图像配准研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114202529A (zh) * | 2021-12-14 | 2022-03-18 | 四川大学 | 一种全局特征引导的多任务篡改图像检测方法 |
| CN114202529B (zh) * | 2021-12-14 | 2023-04-25 | 四川大学 | 一种全局特征引导的多任务篡改图像检测方法 |
| CN117408925A (zh) * | 2023-11-02 | 2024-01-16 | 沐曦科技(成都)有限公司 | 一种基于神经网络模型的图像增强方法 |
| CN117408925B (zh) * | 2023-11-02 | 2024-05-31 | 沐曦科技(成都)有限公司 | 一种基于神经网络模型的图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111832508B (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN110929578B (zh) | 一种基于注意力机制的抗遮挡行人检测方法 | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN110059586B (zh) | 一种基于空洞残差注意力结构的虹膜定位分割系统 | |
| CN111695633B (zh) | 基于rpf-cam的低照度目标检测方法 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN111640125A (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
| CN110443763B (zh) | 一种基于卷积神经网络的图像阴影去除方法 | |
| CN111783523A (zh) | 一种遥感影像旋转目标检测方法 | |
| CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN113052170B (zh) | 一种无约束场景下的小目标车牌识别方法 | |
| CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
| CN112561899A (zh) | 电力巡检图像识别方法 | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
| CN114943893B (zh) | 一种土地覆盖分类的特征增强方法 | |
| CN112233173A (zh) | 一种视力障碍人士室内物品寻找与定位的方法 | |
| CN109064444B (zh) | 基于显著性分析的轨道板病害检测方法 | |
| CN111881924A (zh) | 结合光照不变性与短曝光光照增强的暗光车照识别方法 | |
| CN114972711B (zh) | 一种基于语义信息候选框的改进弱监督目标检测方法 | |
| CN114219757B (zh) | 一种基于改进Mask R-CNN的车辆智能定损方法 | |
| CN115578364A (zh) | 基于混合注意力与调和因子的微弱目标检测方法及系统 | |
| CN106934344B (zh) | 一种基于神经网络的快速行人检测方法 | |
| CN113963265A (zh) | 一种复杂遥感陆地环境小样本小目标快速检测识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201027 Assignee: Guangxi pinri Electronic Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980045442 Denomination of invention: Based on DIE_ Low Illumination Target Detection Method Based on GA Granted publication date: 20220405 License type: Common License Record date: 20231101 |
|
| EE01 | Entry into force of recordation of patent licensing contract |