CN113642500B - 一种基于多阶段域自适应的低照度目标检测方法 - Google Patents

一种基于多阶段域自适应的低照度目标检测方法 Download PDF

Info

Publication number
CN113642500B
CN113642500B CN202110966894.XA CN202110966894A CN113642500B CN 113642500 B CN113642500 B CN 113642500B CN 202110966894 A CN202110966894 A CN 202110966894A CN 113642500 B CN113642500 B CN 113642500B
Authority
CN
China
Prior art keywords
domain
loss
image
network
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110966894.XA
Other languages
English (en)
Other versions
CN113642500A (zh
Inventor
江泽涛
杨爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110966894.XA priority Critical patent/CN113642500B/zh
Publication of CN113642500A publication Critical patent/CN113642500A/zh
Application granted granted Critical
Publication of CN113642500B publication Critical patent/CN113642500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多阶段域自适应的低照度目标检测方法，所述方法包括：1）训练检测器；2）训练用于增强低照度图像的增强器；3）训练用于风格迁移的生成器；4）借助生成器对检测器进行初步微调；5）借助增强器对初步微调后的检测器进行再次微调；6）利用微调后的检测器检测增强后的低照度图像。这种方法检测精度更高，且无需有标注的低照度图像数据，与基于Faster R‑CNN的域自适应方法相比检测速度更快。

Description

一种基于多阶段域自适应的低照度目标检测方法
技术领域
本发明涉及计算机视觉和人工智能技术领域，具体涉及图像增强以及跨域目标检测方法，尤其涉及一种基于多阶段域自适应的低照度目标检测方法。
背景技术
目标检测作为计算机视觉领域的基础任务之一，在实践中得到了广泛的应用。传统的目标检测在训练过程中十分依赖对于目标位置和目标类别的标注信息。为了获得更好的检测效果，需要收集大量带有精准标注的图像数据，具体会达到成千上万张，但大量数据的标注需要耗费时间和经济成本且效率低下，在实践中并不是实用的方法。
所幸前人对正常光照下数据的收集与标注做出了大量工作，这为目标检测任务的扩展做出了有利贡献，我们可以通过使用公开的、可获取的、标注质量高的图像数据集进行训练。但由于此类图像与真正在工程应用中的图像分布有所不同，即训练模型的图像与真正在工程应用中的图像分布不一样，会导致检测性能大幅下降。在缺乏图像标注信息的情境下，检测器想要准确检测物体并对其进行精准定位的难度极大，因此，域自适应物体检测方法的研究对于物体检测器进行工程化应用具有重要意义。
而低照度下的目标检测作为一项亟需解决的问题，面临着数据标注精度不佳以及在通用检测框架下检测效果差的问题，低照度图片的低对比度以及存在大量噪声的特性使得低照度下的目标检测成为一项较为困难的任务。对低照度图片进行增强后再检测的方法看似可行，但在实际中效果却不如使用低照度图像直接对网络进行训练的效果，这是因为增强后的图像中存在着大量噪声以及色彩偏差，与正常照度图片的数据分布仍然存在较大差异，不属于同一域中。
基于对抗的域自适应物体检测方法是域自适应中最主要的研究方向，其训练过程涉及一个生成器和判别器，生成器是一个深度卷积神经网络，负责提取图像特征，输出图像的特征，判别器则需判断出特征是来自源域的图像还是来自目标域的图像，通过生成器和判别器的对抗，生成器可以实现对源域图像和目标域图像特征的对齐。
然而域自适应的方法在用于源域和目标域数据分布差别较小时才具有可观的效果，如晴天和雨天、雾天等相似度较高的场景。当网络试图将晴天和夜间，这种数据分布差异较大的特征对齐时，容易出现负迁移的现象，因此，单步的适应对于夜间图像的检测是一项挑战。
Han-Kai Hsu等人指出，可以在源域和目标域之间生成中间域，从而使得模型实现渐进的域自适应以达到更好的效果，然而，该方法直接地将两阶段的适应用同一种网络结构来处理，忽略了两阶段适应的差异性。因此，需要在域自适应的不同阶段对网络进行针对性的设计，从而增强图像特征的可迁移性，提升跨域物体检测的性能。
发明内容
本发明的目的是针对现有技术的不足，而提供一种基于多阶段域自适应的低照度目标检测方法。这种方法检测精度更高，且无需有标注的低照度图像数据，与基于FasterR-CNN的域自适应方法相比检测速度更快。
实现本发明目的的技术方案是：
一种基于多阶段域自适应的低照度目标检测方法，包括如下步骤：
1)训练检测器；采用CenterNet2作为基础检测器，利用大规模有标注的正常照度下的数据集H训练目标检测网络CenterNet2，得到可用于检测H的目标检测网络，包括：
1-1)准备正常照度的目标检测数据集：采用PASCAL VOC 2012数据集中的正常照度下有精准标注的图片构成数据集H，PASCAL VOC 2012数据集中包含多种场景下的20种目标类别以及对应的目标实例标注数据，即在图像上，每一个可识别的物体为一个实例，每一个实例对应的标注信息包括：该实例的类别、以及包围该实例的最小矩阵位置信息；
1-2)训练初步目标检测网络：将正常照度下图像数据H输入目标检测网络中进行训练，得到初步可用于检测正常照度图像的检测器，采用CenterNet2作为基础检测器，其中，CenterNet2在第一阶段引用CenterNet的网络结构，预测目标Ok的类别不可知似然性P(Ok)，第二阶段引用Cascade R-CNN中第二阶段的预测方法，得到Ok的条件类别分类P(Ck|Ok)，其中Ok＝0表示预测为背景，Ok＝1表示预测为前景，因此，两阶段模型的联合类别分布如公式(1)所示：
采用极大似然估计训练检测器，对于目标类，最大化目标类别预测概率，如公式(2)所示：
log P(Ck)＝log P(Ck|Ok＝1)+log P(Ok＝1) (2)，
对于背景类，最大似然背景类别预测概率，如公式(3)所示：
log P(bg)＝log(P(bg|Ok＝1)P(Ok＝1)+P(Ok＝0)) (3)；
2)训练用于增强低照度图像的增强器：采用正常照度下的数据集H和低照度数据集L训练低照度增强网络EnLightenGAN，得到增强网络E，包括：
2-1)准备低照度下的图像数据：采用ExDARK数据集中的低照度图像数据构成无标注的低照度图像数据L，ExDARK数据集中包含12个目标类别以及对应的标注数据；
2-2)训练增强网络：将正常照度下的图像H和低照度下的图像L输入到以VGG结构为骨干网络的U-Net网络中进行特征提取与损失计算，网络中所有卷积操作后都进行一次批量标准化Batch Normalization以及线性修正单元leaky RELU(Leaky RectifiedLinear Unit，简称leaky RELU)操作，并默认设置步长为1、填充为1，其中卷积核大小为3*3，由8个卷积层实现，在上采样阶段，将标准反卷积层替换为一个双线性插值上采样层和一个卷积层，经过训练，得到低照度增强网络E，其中，EnlightenGAN用不配对的低照度图像L和正常光照图像H进行训练，EnlightenGAN通过注意力引导的U-Net结构作为生成器，通过全局和局部的双判别器设计以及自特征保留损失结构，减少输入图片与生成图片间的信息丢失，生成与给出正常照度数据集尽可能接近的增强图片，其中，全局判别器损失使用到了相对判别器损失结构，xr和xf分别为从真实图片和生成图片中得到的特征，C表示判别器网络，则生成样本特征与真实样本特征之间相似性的标准函数如公式(4)、公式(5)所示：
全局判别器损失和全局生成器损失/>的损失函数分别为公式(6)、公式(7)所示：
局部判别器损失和生成器损失/>的损失函数分别为公式(8)、公式(9)所示：
定义特征保留损失为公式(10)所示：
其中，IL为输入的低照度图像，G(IL)为增强后得到的图像，φ为特征提取器，则，训练EnlightenGAN的总体损失函数为公式(11)所示：
3)训练用于风格迁移的生成器，包括：
3-1)获得风格迁移的目标数据：采用步骤2)中训练好的增强网络E处理低照度图像数据L，获得增强后的图像集E(L)；
3-2)训练生成网络：训练集由E(L)和正常光照图像数据H组成，在E(L)和正常光照数据集H中各选择N张图片，N为大于500的整数，图像裁剪为512*512大小，输入CycleGAN网络中进行对抗训练，最终得到风格迁移网络G，其中，将正常照度图像数据表示为H，低照度图像数据用L表示，增强后的图片表示为E(L)，则CycleGAN中的判别器分别表示为DH和DE(L)，H生成E(L)的生成器表示为G，E(L)生成H的生成器表示为F，则CycleGAN的优化目标可表示为如公式(12)所示：
通常增强后的图片与现实中捕获的图片相比，存在大量噪点以及色彩偏差的问题，会严重影响检测结果，为了检测器能更好的适应增强后的图片，采用CycleGAN网络生成介于真实图片和增强后图片中间状态的合成图片，从而可以逐步微调检测器，使得检测网络在增强后图片中有更好的检测效果；
4)利用生成器对检测器进行初步域自适应微调：包括：
4-1)获得训练数据：对正常光照图像H采用步骤3)中的生成器G进行风格迁移处理，得到G(H)，获得成对图片H-G(H)，即得到有标注的正常照度数据H作为源域、域标注为0，得到无标注的生成数据G(H)作为目标域、域标注为1；
4-2)在检测器中添加域自适应模块：CenterNet2的基础上，在16倍下采样和64倍下采样得到的特征图之后，分别串联局部域自适应注意力模块和全局域自适应模块，域自适应模块的结构包括梯度反转层、卷积层、softmax操作和域分类器，
所述梯度反转层在网络训练正向传播过程中传递的是正值，而在反向传播的过程中传播的是负值，该层的作用是将域判别损失反向传播，从而达到对抗训练的效果；
所述卷积层和softmax操作是将特征图映射到一个1*2的特征向量，表示该特征属于某个域的类别概率；
所述局部域自适应注意力模块对容易发生域混淆的区域赋予更高的权重，旨在增强后续全局域自适应模块对域的判别能力，在判别器中得分较低或较高的是易分辨的区域，赋予较低权重，而得分与0.5越接近，说明该区域越容易混淆，赋予更高权重；
所述全局域自适应模块对于具有高级语义的特征图进行域判别，通过GRL层反向传播使得生成器生成具有域不变性的特征，使得原检测器在目标域的数据中也具有较好的表现，从而达到域自适应检测的目的；
4-3)对检测器进行微调：将正常光照下有标签的图像H作为源域，将风格迁移后对应的无标签图像G(H)作为目标域，将H-G(H)图像对交替输入嵌入了域自适应模块的检测网络，计算判别器损失与检测损失，经过GRL反向传播，对检测器进行微调，对检测器进行微调采用Focal Loss对图像的全局判别器损失进行估计，图像判别器损失估计是指源域图像和目标域图像，在经过局部域自适应注意力模块处理之后，全局特征的判别器损失，利用有标注的正常照度H与对应的风格迁移后无标注的G(H)数据对嵌入了域自适应模块的目标检测网络重新进行训练，具体为：
将正常照度数据H作为源域、域标注为0，将风格迁移后无标注的G(H)作为目标域、域标注1；
训练时，需要同时将所述有标注的正常照度H与对应的风格迁移后无标注的G(H)数据以及图像所包含的域标注输入到嵌入了初步域自适应模块的目标检测网络中，如果图像数据的域标注不为0，则只需要通过域自适应模块，计算域分类损失，并将损失的梯度回传，更新网络的参数；如果数据的域标注为0，则不仅要通过域自适应模块，也要通过整个目标检测网络，同时计算域分类损失以及检测损失，并将损失的梯度回传，更新网络的参数，
其中，全局域判别器的Focal Loss损失如公式(13)所示：
公式(13)中，F为特征提取器，D为判别器，x为输入图像，在局部域自适应注意力模块中，像素级的对抗训练损失如公式(13)所示：
公式(14)中，Dl为局部特征像素级的判别器，在经过特征提取器F1之后，每个像素点所对应的原图区域宽为W，高为H，局部域自注意力模块通过将特征图与遮罩相乘，使得特征在信息丰富的区域具有更高的权值，如公式(15)所示：
公式(15)中，r表示特征区域，m为特征的权值遮罩，局部域自注意力模块遮罩m的计算如公式(16)所示：
其中，v表示特征所映射原图区域的不确定性，计算过程如公式(17)所示：
公式(17)中，d为特征区域经过判别器之后得到的域分类值，有标签的源域数据不仅要计算判别器损失，还要计算检测器损失，而无标签的目标域数据只需计算判别器损失，总损失函数由检测损失和全局域自适应模块损失之和获得，如公式(18)所示：
4-4)获得初步微调后的检测器：在完成训练并更新检测器参数之后，拆除域自适应模块，得到可用于检测合成的G(H)的检测网络；
5)对初步微调后的检测网络进行再次微调：包括：
5-1)将正常光照下数据的标签分配给由步骤3)中生成器进行风格迁移后生成的图像G(H)，作为有标签的源域，将通过步骤2)中增强器增强后的低照度数据E(L)作为无标签的目标域；
5-2)在检测器中添加域自适应模块：域自适应模块由全局域自适应模块和实例级域自适应模块两部分组成，在原网络的基础上，在64倍下采样得到的特征图后串联全局域自适应模块，在检测网络的第二阶段，在实例级的向量特征后串联域自适应模块，其中，实例级域自适应模块的损失如公式(19)所示：
其中D为所属域类别，p为实例级判别器所预测区域所属域的概率；
再次微调的嵌入域自适应模块，具体为：
在目标检测网络CenterNet2的基础上，在第一阶段64倍下采样得到的特征图和第二阶段的实例级特征向量之后，分别串联全局自适应模块和实例级自适应模块，同上，该自适应模块的结构包括梯度反转层、卷积层、softmax操作和域分类器；
所述实例级域自适应模块是对第一阶段筛选得到的实例区域进行特征提取，并对得到的特征进行域判别，通过GRL层反向传播，生成具有域不变性的特征，提高检测器对于不同域中实例的分类精度；
5-3)将源域和目标域数据交替输入嵌入了域自适应模块的检测网络中，通过判别器对检测器进行再次微调，对齐源域与目标域特征，总损失函数由检测损失、全局域自适应模块损失和实例级域自适应模块损失之和获得，如公式(20)所示：
L＝λLga+μLia+Ldetection (20)，
利用有标注的G(H)和无标注的E(L)数据对嵌入了域自适应模块的目标检测网络重新进行再次训练，具体为：
将H的标注分配给相对应的生成的G(H)，获得有标注的G(H),将有标注的G(H)作为源域，加上域标注为0；将无标注的E(L)作为目标域，加上域标注1；
训练时，需要同时将所述有标注的G(H)与无标注的E(L)以及图像所包含的域标注输入到嵌入了初步域自适应模块的目标检测网络中，如果图像数据的域标注不为0，则只需要通过域自适应模块，计算域分类损失，并将损失的梯度回传，更新网络的参数；如果数据的域标注为0，则不仅要通过域自适应模块，也要通过整个目标检测网络，同时计算域分类损失以及检测损失，并将损失的梯度回传，更新网络的参数，其中添加正则化模块，即在全局域自适应模块的判别器中提取一层特征，将其添加到实例级特征之后，对整体向量进行预测，使得全局语义信息对区域特征的分类起到正则化作用，抵消部分因为域不同带来的干扰，提高实例级特征的分类精度；
5-4)在完成训练，更新检测器参数之后，拆除域自适应模块，得到最终可用于检测增强处理后低照度数据的检测网络；
6)采用训练得到的网络对低照度图像进行检测：包括：
6-1)采用步骤2)得到的增强器E对低照度图像进行增强处理，得到E(L)；
6-1)将E(L)输入步骤5)得到的检测网络进行计算，输出预测结果。
本技术方案首先对目标域图片进行增强，拉近和源域之间距离，然后将源域向增强之后的图像进行风格迁移，在源域与增强的低照度图片中间生成中间域，在进行基于对抗的域自适应训练时，对于两阶段的适应提出了针对性的改进，第一阶段域间差别主要在于图像风格，因此在适应过程中着重于对齐全局特征，第二阶段域间差别在风格上差距较小，主要差别在于图片内容，因此添加了实例级的对齐，并在图像级进行弱对齐，将语义信息添加到实例级特征之后，对实例级的对齐起到正则化作用，本技术方案能够对于低照度图片增强后的降质图片进行目标检测，解决了低照度下目标检测精度不足的问题，采用CenterNet2检测模型作为检测的网络框架，能够在确保检测精度的前提下，实时对图像中的目标作出检测、采用自适应学习的方法，降低了正常照度图像与低照度图像增强后的降质图像的域间差异，使得目标检测能够同时在清晰图像以及降质图像上表现良好。
这种方法检测精度更高，且无需有标注的低照度图像据，与基于Faster R-CNN的域自适应方法相比检测速度更快。
附图说明
图1为实施例的方法流程示意图；
图2为实施例中第一阶段域自适应模块的原理示意图；
图3为实施例中第二阶段域自适应模块的原理示意图。
具体实施方式
下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。
实施例：
参照图1，一种基于多阶段域自适应的低照度目标检测方法，包括如下步骤：
1)训练检测器；采用CenterNet2作为基础检测器，利用大规模有标注的正常照度下的数据集H训练目标检测网络CenterNet2，得到可用于检测H的目标检测网络，包括：
1-1)准备正常照度的目标检测数据集：本例采用PASCAL VOC 2012数据集中的正常照度下有精准标注的图片构成数据集H，PASCAL VOC 2012数据集中包含多种场景下的20种目标类别以及对应的目标实例标注数据，即在图像上，每一个可识别的物体为一个实例，每一个实例对应的标注信息包括：该实例的类别、以及包围该实例的最小矩阵位置信息；
1-2)构建目标检测网络：本例采用pytorch平台搭建目标检测网络，其中，CenterNet2在第一阶段引用CenterNet的网络结构，预测类别不可知似然性P(Ok)，推断出准确性更高的目标，这也有助于更为精准的域对齐，第二阶段引用Cascade R-CNN中第二阶段的预测方法，得到条件类别分类P(Ck|Ok)，其中Ok＝0表示预测为背景，Ok＝1表示预测为前景；
因此，两阶段模型的联合类别分布如公式(1)所示：
采用极大似然估计训练检测器，对于目标类，最大化目标类别预测概率，如公式(2)所示：
log P(Ck)＝log P(Ck|Ok＝1)+log P(Ok＝1) (2)，
对于背景类，最大似然背景类别预测概率，如公式(3)所示：
log P(bg)＝log(P(bg|Ok＝1)P(Ok＝1)+P(Ok＝0)) (3)；
采用步骤1-1)中带有检测标注的通用目标检测图像数据构建训练集，并将数据制作成3*512*512大小的张量，其中，“3”表示彩色图片的三通道，“512*512”表示图像像素值；
将正常照度下图像数据H输入目标检测网络中进行训练，得到初步可用于检测正常照度图像的检测器。
2)训练用于增强低照度图像的增强器：采用正常照度下的数据集H和低照度数据集L训练低照度增强网络EnLightenGAN，得到增强网络E，包括：
2-1)准备低照度下的图像数据：本例采用ExDARK数据集中的低照度图像数据构成无标注的低照度图像数据L，ExDARK数据集中包含12个目标类别以及对应的标注数据，本例无需使用其中的标注数据；
2-2)训练增强网络：将正常照度下的图像H和低照度下的图像L输入到以VGG结构为骨干网络的U-Net网络中进行特征提取与损失计算，网络中所有卷积操作后都进行一次批量标准化Batch Normalization以及线性修正单元leaky RELU操作，并默认设置步长为1、填充为1，其中卷积核大小为3*3，由8个卷积层实现，在上采样阶段，将标准反卷积层替换为一个双线性插值上采样层和一个卷积层，经过训练，得到低照度增强网络E，其中，EnlightenGAN用不配对的低照度图像L和正常光照图像H进行训练，EnlightenGAN通过注意力引导的U-Net结构作为生成器，通过全局和局部的双判别器设计以及自特征保留损失结构，减少输入图片与生成图片间的信息丢失，生成与给出正常照度数据集尽可能接近的增强图片，其中，全局判别器损失使用到了相对判别器损失结构，xr和xf分别为从真实图片和生成图片中得到的特征，C表示判别器网络，则生成样本特征与真实样本特征之间相似性的标准函数如公式(4)、公式(5)所示：
其中，全局判别器损失和全局生成器损失/>的损失函数分别为公式(6)、公式(7)所示：
其中，局部判别器损失和生成器损失/>的损失函数分别为公式(8)、公式(9)所示：
定义特征保留损失为公式(10)所示：
其中，IL为输入的低照度图像，G(IL)为增强后得到的图像，φ为特征提取器，
则，训练EnlightenGAN的总体损失函数为公式(11)所示：
3)训练用于风格迁移的生成器，包括：
3-1)获得风格迁移的目标数据：采用步骤2)中训练好的增强网络E处理低照度图像数据L，获得增强后的图像集E(L)；
3-2)训练生成网络：在E(L)中选择1000张图片，在正常光照数据集H中选择1000张图片，图像裁剪为512*512大小，输入CycleGAN网络中进行对抗训练，最终得到风格迁移网络G，其中，将正常照度图像数据表示为H，低照度图像数据用L表示，增强后的图片表示为E(L)，则CycleGAN中的判别器分别表示为DH和DE(L)，H生成E(L)的生成器表示为G，E(L)生成H的生成器表示为F，则CycleGAN的优化目标可表示为如公式(12)所示：
通常增强后的图片与现实中捕获的图片相比，存在大量噪点以及色彩偏差的问题，会严重影响检测结果，为了检测器能更好的适应增强后的图片，采用CycleGAN网络生成介于真实图片和增强后图片中间状态的合成图片，从而可以逐步微调检测器，使得检测网络在增强后图片中有更好的检测效果；
4)利用生成器对检测器进行初步域自适应微调：包括：
4-1)获得训练数据：对正常光照图像H采用步骤3)中的生成器G进行风格迁移处理，得到G(H)，获得成对图片H-G(H)，即得到有标注的正常照度数据作为源域、域标注为0，得到无标注的生成数据作为目标域、域标注为1；
4-2)在检测器中添加域自适应模块：在检测器的浅层嵌入局部域自适应注意力模块，在检测器的深层嵌入全局域自适应模块，作为完整的嵌入了域自适应模块的目标检测网络，在目标检测网络CenterNet2的基础上，在16倍下采样和64倍下采样得到的特征图之后，分别串联局部域自适应注意力模块和全局域自适应模块，该域自适应模块的结构包括梯度反转层(GRL)、卷积层、softmax操作和域分类器，如图2所示，
所述梯度反转层在网络训练正向传播过程中传递的是正值，而在反向传播的过程中传播的是负值，梯度反转层的作用是将域判别损失反向传播，从而达到对抗训练的效果；
所述卷积层和softmax操作是将特征图映射到一个1*2的特征向量，表示该特征属于某个域的类别概率，
局部域自适应注意力模块对容易发生域混淆的区域赋予更高的权重，旨在增强后续全局域自适应模块对域的判别能力。在判别器中得分较低或较高的是易分辨的区域，赋予较低权重，而得分与0.5越接近，说明该区域越容易混淆，赋予更高权重，全局域自适应模块对于具有高级语义的特征图进行域判别，通过GRL层反向传播使得生成器生成具有域不变性的特征，使得原检测器在目标域的数据中也具有较好的表现，从而达到域自适应检测的目的，
其中，局部域自适应注意力模块在16倍下采样得到的特征图后面，串联添加域自适应模块，如图2所示，其中Dl为局部特征像素级的判别器，在经过特征提取器F1之后，每个像素点所对应的原图区域宽为W，高为H，因此，像素级的对抗训练损失如公式(13)所示：
将第k个像素所对应的原图中的区域表示为ri k，每个区域在经过判别器后所得到属于目标域的概率为因此每个区域的不确定性如公式(14)所示：
不确定性越小，则该区域包含的域信息量更加丰富，则应赋予该区域更大的权重，因此将每个区域的遮罩计算如公式(15)所示：
将遮罩值与原区域特征相乘得到重新权重的特征图，如公式(16)所示：
新的特征图在具有丰富域信息的区域具有更大的权重，有助于引导高层特征对齐更为关键的区域，其中，全局域自适应模块连接在64倍下采样得到的特征图后面，串联添加域自适应模块，如图2所示，其中Dg为全局特征判别器，对经过特征提取器F2提取得到的高层特征进行域判别，得到概率Dg(F2(xi))，全局域自适应对抗损失定义为：
对于源域，损失如公式(17)所示：
对于目标域，损失如公式(18)所示：
4-3)对检测器进行微调：将正常光照下有标签的图像H作为源域，将风格迁移后对应的无标签图像G(H)作为目标域，将H-G(H)图像对交替输入嵌入了域自适应模块的检测网络，计算判别器损失与检测损失，经过GRL反向传播，对检测器进行微调，本例对检测器进行微调采用Focal Loss对图像的判别器损失进行估计，图像判别器损失估计是指源域图像和目标域图像，在经过局部域自适应注意力模块处理之后，全局特征的判别器损失，
本例利用有标注的正常照度H与对应的风格迁移后无标注的G(H)数据对嵌入了域自适应模块的目标检测网络重新进行训练，具体为：
将正常照度数据H作为源域，加上域标注为0；将风格迁移后无标注的G(H)作为目标域，加上域标注1；
训练时，需要同时将所述有标注的正常照度H与对应的风格迁移后无标注的G(H)数据以及图像所包含的域标注输入到嵌入了初步域自适应模块的目标检测网络中，如果图像数据的域标注不为0，则只需要通过域自适应模块，计算域分类损失，并将损失的梯度回传，更新网络的参数；
总损失函数由检测损失和全局域自适应模块损失之和获得，如公式(19)所示：
其中全局域自适应损失由源域图像和目标域图像损失的均值计算得到，如公式(20)所示：
其中，总损失等于域分类损失误差Lga与目标检测损失Ldetection之和，λ为超参数，避免两部分损失误差相差太大，本例中设置为0.01；
4-4)获得初步微调后的检测器：在完成训练并更新检测器参数之后，拆除域自适应模块，得到可用于检测合成的G(H)的检测网络；
5)对初步微调后的检测网络进行再次微调：包括：
5-1)利用S3中得到的风格迁移网络对正常照度数据进行风格迁移，并将正常照度的数据的标注分配给对应生成的风格迁移后的图片，得到有标注的风格迁移数据G(H)作为源域，域标注为0；利用S2中的增强网络对低照度图片进行处理得到增强后的数据E(L)，作为目标域，域标注为1；
5-2)在经过微调之后的检测网络的基础上嵌入全局域自适应模块与实例级域自适应模块，另外还添加了语义向量正则化模块，作为完整的嵌入了域自适应模块的目标检测网络，图3为该网络结构的示意图，通过在原网络的基础上，在64倍下采样得到的特征图后串联全局域自适应模块，在检测网络的第二阶段，在实例级的向量特征后串联域自适应模块，
其中全局域自适应模块与S4中全局域自适应模块结构相同，
其中实例级域自适应模块对第一阶段预测得到实例的向量进行域分类，如图3所示，Di为实例所属域类别，实例级域自适应模块的结构不同于前，包括梯度反转层、全连接层、softmax操作和域分类器，实例级域自适应模块对第一阶段筛选得到的实例区域进行特征提取，并对得到的特征进行域判别，通过GRL层反向传播，生成具有域不变性的特征，提高检测器对于不同域中实例的分类精度，i为一批中的第i张图片，j为图片中预测的第j个实例，因此实例级域自适应的损失函数如公式(21)所示：
5-3)训练时，需要同时将图像数据以及域标注输入到网络中，如果数据的域标注不为0，则只需要通过域自适应模块，计算损失，并将损失梯度回传，更新网络参数，如果域标注为0，则不仅要通过域自适应模块，也要通过整个目标检测网络，同时计算域分类损失以及检测损失，并将损失的梯度回传，更新网络的参数，
总损失函数由检测损失、全局域自适应模块损失和实例级域自适应模块损失之和获得，如公式(22)所示：
L＝λLga+μLia+Ldetection (22)；
其中，总损失等于局部域分类损失和实例域分类损失以及检测损失之和，λ和μ为超参数，避免两部分损失误差相差太大，本例中均设置为0.01，
本例利用有标注的G(H)和无标注的E(L)数据对嵌入了域自适应模块的目标检测网络重新进行再次训练，具体为：
将H的标注分配给相对应的生成的G(H)，获得有标注的G(H),将有标注的G(H)作为源域，加上域标注0；将无标注的E(L)作为目标域，加上域标注1；
训练时，需要同时将所述有标注的G(H)与无标注的E(L)以及图像所包含的域标注输入到嵌入了初步域自适应模块的目标检测网络中，如果图像数据的域标注不为0，则只需要通过域自适应模块，计算域分类损失，并将损失的梯度回传，更新网络的参数；如果数据的域标注为0，则不仅要通过域自适应模块，也要通过整个目标检测网络，同时计算域分类损失以及检测损失，并将损失的梯度回传，更新网络的参数，其中添加了正则化模块，即在全局域自适应模块的判别器中提取一层特征，将此向量与实例特征向量相串联，将串联之后的向量送入网络中进行回归与分类，如图3所示，使得全局语义信息对区域特征的分类起到正则化作用，抵消部分因为域不同带来的干扰，提高实例级特征的分类精度；
5-4)在完成训练，更新检测器参数之后，拆除域自适应模块，得到最终可用于检测增强处理后低照度数据的检测网络；
6)通过训练得到的网络对低照度图像进行检测：包括：
6-1)采用步骤2)得到的增强器E对低照度图像进行增强处理，得到E(L)；
6-1)将E(L)输入步骤5)得到的检测网络进行计算，输出预测结果。

Claims (1)

1.一种基于多阶段域自适应的低照度目标检测方法，其特征在于，包括如下步骤：
1)训练初步的检测器：采用CenterNet2作为基础检测器，利用大规模有标注的正常照度下的数据集H训练目标检测网络CenterNet2，得到可用于检测正常照度下图像H的目标检测网络，包括：
1-1)准备正常照度的目标检测数据集：采用PASCAL VOC 2012数据集中的正常照度下有精准标注的图片构成数据集H，PASCAL VOC 2012数据集中包含多种场景下的20种目标类别以及对应的目标实例标注数据，即在图像上，每一个可识别的物体为一个实例，每一个实例对应的标注信息包括：该实例的类别、以及包围该实例的最小矩阵位置信息；
1-2)训练初步目标检测网络：将正常照度下图像数据H输入目标检测网络中进行训练，得到初步可用于检测正常照度图像的检测器，采用CenterNet2作为基础检测器，其中，CenterNet2在第一阶段引用CenterNet的网络结构，预测目标Ok的类别不可知似然性P(Ok)，第二阶段引用Cascade R-CNN中第二阶段的预测方法，得到Ok的条件类别分类P(Ck|Ok)，其中Ok＝0表示预测为背景，Ok＝1表示预测为前景，因此，两阶段模型的联合类别分布如公式(1)所示：
采用极大似然估计训练检测器，对于目标类Ok＝1，最大化目标类别预测概率，如公式(2)所示：
log P(Ck)＝log P(Ck|Ok＝1)+log P(Ok＝1) (2)，
对于背景类Ok＝0，最大似然背景类别预测概率，如公式(3)所示：
log P(bg)＝log(P(bg|Ok＝1)P(Ok＝1)+P(Ok＝0)) (3)；
2)训练用于增强低照度图像的增强器：采用正常照度下的图像数据集H和低照度图像数据集L训练低照度增强网络EnLightenGAN，得到增强网络E，包括：
2-1)准备低照度下的图像数据：采用ExDARK数据集中的低照度图像数据构成无标注的低照度图像数据L，ExDARK数据集中包含12个目标类别以及对应的标注数据；
2-2)训练增强网络：将正常照度下的图像H和低照度下的图像L输入到以VGG结构为骨干网络的U-Net网络中进行特征提取与损失计算，网络中所有卷积操作后都进行一次批量标准化Batch Normalization以及线性修正单元leaky RELU操作，并默认设置步长为1、填充为1，其中卷积核大小为3*3，由8个卷积层实现，在上采样阶段，将标准反卷积层替换为一个双线性插值上采样层和一个卷积层，经过训练，得到低照度增强网络E，其中，EnlightenGAN用不配对的低照度图像L和正常光照图像H进行训练，生成与给出正常照度数据集H风格接近的增强图片，其中，全局判别器损失采用相对判别器损失结构，xr和xf分别为从真实图片和生成图片中得到的特征，C表示判别器网络，则生成样本特征与真实样本特征之间相似性的标准函数如公式(4)、公式(5)所示：
全局判别器损失和全局生成器损失/>的损失函数分别为公式(6)、公式(7)所示：
局部判别器损失和生成器损失/>的损失函数分别为公式(8)、公式(9)所示：
定义特征保留损失为公式(10)所示：
其中，IL为输入的低照度图像，G(IL)为增强后得到的图像，φ为特征提取器，
则，训练EhlightenGAN的总体损失函数为公式(11)所示：
3)训练用于风格迁移的生成器，包括：
3-1)获得风格迁移的目标数据：采用步骤2)中训练好的增强网络E处理低照度图像数据L，获得增强后的图像数据E(L)；
3-2)训练生成网络：训练集由E(L)和正常光照图像数据H组成，在E(L)和正常光照数据集H中各选择N张图片，N为大于500的整数，图像裁剪为512*512大小，输入CycleGAN网络中进行对抗训练，最终得到风格迁移网络G，其中，将正常照度图像数据表示为H，低照度图像数据用L表示，增强后的图片表示为E(L)，则CycleGAN中的判别器分别表示为DH和DE(L)，H生成E(L)的生成器表示为G，E(L)生成H的生成器表示为F，则CycleGAN的优化目标可表示为如公式(12)所示：
4)利用生成器对检测器进行初步域自适应的微调：包括：
4-1)获得训练数据：对正常光照图像H采用步骤3)中的生成器G进行风格迁移处理，得到G(H)，获得成对图片H-G(H)，即得到有标注的正常照度数据H作为源域、域标注为0，得到无标注的生成数据G(H)作为目标域、域标注为1；
4-2)在检测器中添加域自适应模块：在目标检测网络CenterNet2的基础上，在16倍下采样和64倍下采样得到的特征图之后，分别串联局部域自适应注意力模块和全局域自适应模块，域自适应模块的结构包括梯度反转层、卷积层、softmax操作和域分类器，
所述梯度反转层在网络训练正向传播过程中传递的是正值，而在反向传播的过程中传播的是负值；
所述卷积层和softmax操作是将特征图映射到一个1*2的特征向量，表示该特征属于某个域的类别概率；
所述局部域自适应注意力模块对容易发生域混淆的区域赋予更高的权重，在判别器中得分较低或较高的是易分辨的区域，赋予较低权重，而得分与0.5越接近，说明该区域越容易混淆，赋予更高权重；
所述全局域自适应模块对于具有高级语义的特征图进行域判别，通过GRL层反向传播使得生成器生成具有域不变性的特征；
4-3)对检测器进行微调：将正常光照下有标签的图像H作为源域，将风格迁移后对应的无标签图像G(H)作为目标域，将H-G(H)图像对交替输入嵌入了域自适应模块的检测网络，计算判别器损失与检测损失，经过GRL反向传播，对检测器进行微调，对检测器进行微调采用Focal Loss对图像的全局判别器损失进行估计，图像判别器损失估计是指源域图像和目标域图像，在经过局部域自适应注意力模块处理之后，全局特征的判别器损失，利用有标注的正常照度H与对应的风格迁移后无标注的G(H)数据对嵌入了域自适应模块的目标检测网络重新进行训练，具体为：
将正常照度数据H作为源域、域标注为0，将风格迁移后无标注的G(H)作为目标域、域标注1；
训练时，需要同时将所述有标注的正常照度H与对应的风格迁移后无标注的G(H)数据以及图像所包含的域标注输入到嵌入了初步域自适应模块的目标检测网络中，如果图像数据的域标注不为0，则只需要通过域自适应模块，计算域分类损失，并将损失的梯度回传，更新网络的参数；如果数据的域标注为0，则不仅要通过域自适应模块，也要通过整个目标检测网络，同时计算域分类损失以及检测损失，并将损失的梯度回传，更新网络的参数；
其中，全局域判别器的Focal Loss损失如公式(13)所示：
公式(13)中，F为特征提取器，D为判别器，x为输入图像，在局部域自适应注意力模块中，像素级的对抗训练损失如公式(13)所示：
公式(14)中，Dl为局部特征像素级的判别器，在经过特征提取器F1之后，每个像素点所对应的原图区域宽为W，高为H，局部域自注意力模块通过将特征图与遮罩相乘，使得特征在信息丰富的区域具有更高的权值，如公式(15)所示：
公式(15)中，r表示特征区域，m为特征的权值遮罩，局部域自注意力模块遮罩m的计算如公式(16)所示：
其中，v表示特征所映射原图区域的不确定性，计算过程如公式(17)所示：
公式(17)中，d为特征区域经过判别器之后得到的域分类值，有标签的源域数据不仅要计算判别器损失，还要计算检测器损失，而无标签的目标域数据只需计算判别器损失，总损失函数由检测损失和全局域自适应模块损失之和获得，如公式(18)所示：
4-4)获得初步微调后的检测器：在完成训练并更新检测器参数之后，拆除域自适应模块，得到可用于检测合成的G(H)的检测网络；
5)对初步微调后的检测网络进行再次微调：包括：
5-1)将正常光照下数据的标签分配给由步骤3)中生成器进行风格迁移后生成的图像G(H)，作为有标签的源域，将通过步骤2)中增强器增强处理后的低照度数据E(L)作为无标签的目标域；
5-2)在检测器中添加域自适应模块：域自适应模块由全局域自适应模块和实例级域自适应模块两部分组成。
再次微调的嵌入域自适应模块，具体为：
在所述经过初步微调更新参数的目标检测网络CenterNet2的基础上，在第一阶段64倍下采样得到的特征图和第二阶段的实例级特征向量之后，分别串联全局自适应模块和实例级自适应模块，同上，该自适应模块的结构包括梯度反转层、卷积层、softmax操作和域分类器；
所述实例级域自适应模块是对第一阶段筛选得到的实例区域进行特征提取，并对得到的特征进行域判别，通过GRL层反向传播，生成具有域不变性的特征，提高检测器对于不同域中实例的分类精度；
其中，实例级域自适应模块的损失如公式(19)所示：
其中D为所属域类别，p为实例级判别器所预测区域所属域的概率；
5-3)将源域和目标域数据交替输入嵌入了域自适应模块的检测网络中，通过判别器对检测器进行再次微调，对齐源域与目标域特征，总损失函数由检测损失、全局域自适应模块损失和实例级域自适应模块损失之和获得，如公式(20)所示：
L＝λLga+μLia+Ldetection (20)，
利用有标注的G(H)和无标注的E(L)数据对嵌入了域自适应模块的目标检测网络重新进行再次训练，具体为：
将H的标注分配给相对应的生成的G(H)，获得有标注的G(H)，将有标注的G(H)作为源域，加上域标注为0；将无标注的E(L)作为目标域，加上域标注1；
训练时，需要同时将所述有标注的G(H)与无标注的E(L)以及图像所包含的域标注输入到嵌入了初步域自适应模块的目标检测网络中，如果图像数据的域标注不为0，则只需要通过域自适应模块，计算域分类损失，并将损失的梯度回传，更新网络的参数；如果数据的域标注为0，则不仅要通过域自适应模块，也要通过整个目标检测网络，同时计算域分类损失以及检测损失，并将损失的梯度回传，更新网络的参数；其中添加正则化模块，即在全局域自适应模块的判别器中提取一层特征，将其添加到实例级特征之后，对整体向量进行预测；
5-4)在完成训练，更新检测器参数之后，拆除域自适应模块，得到最终可用于检测增强处理后低照度数据的检测网络；
6)采用训练得到的网络对低照度图像进行检测：包括：
6-1)采用步骤2)得到的增强器E对低照度图像进行增强处理，得到E(L)；
6-1)将E(L)输入步骤5)得到的检测网络进行计算，输出预测结果。
CN202110966894.XA 2021-08-23 2021-08-23 一种基于多阶段域自适应的低照度目标检测方法 Active CN113642500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110966894.XA CN113642500B (zh) 2021-08-23 2021-08-23 一种基于多阶段域自适应的低照度目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110966894.XA CN113642500B (zh) 2021-08-23 2021-08-23 一种基于多阶段域自适应的低照度目标检测方法

Publications (2)

Publication Number Publication Date
CN113642500A CN113642500A (zh) 2021-11-12
CN113642500B true CN113642500B (zh) 2024-03-19

Family

ID=78423447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110966894.XA Active CN113642500B (zh) 2021-08-23 2021-08-23 一种基于多阶段域自适应的低照度目标检测方法

Country Status (1)

Country Link
CN (1) CN113642500B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882437A (zh) * 2022-05-23 2022-08-09 浙江大华技术股份有限公司 一种识别模型的训练方法、装置、电子设备和存储介质
CN118262227A (zh) * 2024-04-09 2024-06-28 江苏海洋大学 一种关注不变信息的跨域水下目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN111950608A (zh) * 2020-06-12 2020-11-17 中国科学院大学 一种基于对比损失的域自适应物体检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN111950608A (zh) * 2020-06-12 2020-11-17 中国科学院大学 一种基于对比损失的域自适应物体检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于域适应Faster RCNN的复杂背景目标检测;王露荻;解月江;;航天控制;20200215(01);全文 *

Also Published As

Publication number Publication date
CN113642500A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN110335319B (zh) 一种语义驱动的相机定位与地图重建方法和系统
CN109325952B (zh) 基于深度学习的时尚服装图像分割方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN111832443B (zh) 一种施工违规行为检测模型的构建方法及其应用
CN113642500B (zh) 一种基于多阶段域自适应的低照度目标检测方法
CN110032952B (zh) 一种基于深度学习的道路边界点检测方法
CN112801182B (zh) 一种基于困难样本感知的rgbt目标跟踪方法
CN112488229A (zh) 一种基于特征分离和对齐的域自适应无监督目标检测方法
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN113408584A (zh) Rgb-d多模态特征融合3d目标检测方法
CN111553414A (zh) 一种基于改进Faster R-CNN的车内遗失物体检测方法
CN111680739A (zh) 一种目标检测和语义分割的多任务并行方法及系统
CN112287906B (zh) 一种基于深度特征融合的模板匹配跟踪方法及系统
CN112801019B (zh) 基于合成数据消除无监督车辆再识别偏差的方法及系统
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN113888603A (zh) 基于光流跟踪和特征匹配的回环检测及视觉slam方法
CN117115616A (zh) 一种基于卷积神经网络的实时低照度图像目标检测方法
CN111612802A (zh) 一种基于现有图像语义分割模型的再优化训练方法及应用
Ruan et al. Deep learning-based method for PV panels segmentation and defects detection with infrared images
CN113592947A (zh) 一种半直接法的视觉里程计实现方法
CN109815790B (zh) 用于遥感目标检测的门控轴聚检测网络系统及方法
Li et al. Advanced multiple linear regression based dark channel prior applied on dehazing image and generating synthetic haze
Liu et al. HANA: hierarchical attention network assembling for semantic segmentation
Cui et al. Research on camera-based target detection enhancement method in complex environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant