CN114139616A - 一种基于不确定性感知的无监督域适应目标检测方法 - Google Patents

一种基于不确定性感知的无监督域适应目标检测方法 Download PDF

Info

Publication number
CN114139616A
CN114139616A CN202111391987.0A CN202111391987A CN114139616A CN 114139616 A CN114139616 A CN 114139616A CN 202111391987 A CN202111391987 A CN 202111391987A CN 114139616 A CN114139616 A CN 114139616A
Authority
CN
China
Prior art keywords
domain
level
target
alignment
uncertainty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111391987.0A
Other languages
English (en)
Inventor
孔万增
刘可
白云
刘栋军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111391987.0A priority Critical patent/CN114139616A/zh
Publication of CN114139616A publication Critical patent/CN114139616A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于不确定性感知的无监督域适应目标检测方法。该方法能够利用带标签的源域样本实现针对目标域样本的检测。相比于其他进行简单地全局对齐的域适应方法，本发明首先从可迁移性维度进行局部区域对齐，充分挖掘了可迁移性高的区域，避免强行对齐如背景这样无法迁移的区域，为进一步的全局图片级对齐提供更有侧重的语义信息指导。接着在进行图片级、实例级对齐时，充分考虑了域适应训练过程中，不同样本对齐程度存在差异的情况，充分挖掘了区域建议网络分类的不确定信息；最终避免了对那些对齐程度较高样本的过度对齐，防止越过决策边界造成分类错误引起域适应效果的下降。

Description

一种基于不确定性感知的无监督域适应目标检测方法
技术领域
本发明属于目标检测、迁移学习技术领域，具体涉及一种基于不确定性感知的无监督域适应目标检测方法，具体是一种基于判别器的不确定性衡量不同样本可迁移性和对齐程度，从而对域适应过程进行动态调整的机制，最终实现将从源域数据学习到的知识迁移到未标注的目标域进行目标检测的方法。
背景技术
目标检测在近几年取得了显著的成功，这得益于从大量已标注好的训练数据中学习到的具有表征性的特征。然而由于域偏移的存在，在源域数据下训练好的模型，在目标域数据下直接进行检测将会出现严重的性能下降，比如光照、镜头、物体外形等。这很大程度阻碍了模型在现实场景下的应用与部署，因为现实场景的数据分布明显与训练时的数据分布存在很显著的差异，并且标注数据需要花费巨大的时间和人力成本。因此，无监督域适应方法(UDA)近来愈加受到人们的关注，它可以从将有标注的源域数据学习到的知识，迁移到完全未标注的目标域。UDA通过在不同域之间学习域不变的表征来拉近域之间的偏移，而对抗性学习作为其中一种新的方法，它通过域分类器来衡量域之间的差异，然后用对抗的方式联合训练域分类器和特征提取器，最终使得特征提取器学习到域不变的表征。
然而如果只是简单地利用对抗学习来进行域适应的方式并不一定可靠，最终反而有可能损害检测性能。因为从每个样本的自然属性来看，不同样本的可迁移性并非完全相等；从整个训练过程的维度来看，不同样本之间对齐程度也并不相同，有些样本对齐程度已经很高，而有些则还很低。现有的方法并没有很好地考虑域适应过程中可能存在的可迁移性与对齐程度这两个因素的差异，可能会造成负迁移，进而影响到了最终的检测性能。
样本的可迁移性(transferbility)指的是其在域之间迁移过程中所学习到表征的不变性，例如汽车在真实环境的和水彩画中的特征是不同的，但是它们具有相似性，例如它们都具有四个轮子和两个车灯，这个表征在两个域之间都是不变的，这就是可迁移性的体现；反之，像城市数据集和雾天数据集图片的背景(background)，它们不具有相似性，无法从中学习到有用的、不变的表征，因此它们基本上是不可迁移的。
例如，如果对于检测器而言一个样本已经能够轻易地(即不确定程度很低)进行正确分类和回归，这说明此样本的对齐程度已经较高；而如果检测器给出的结果具有极高的不确定性，这说明其对齐程度还较低。在特征空间中，容易区分的目标样本距离源域样本非常远，而难以区分的目标样本距离源域样本很近。因此，我们可以认为，检测器对于结果的不确定性(uncertainty)反映了特征空间样本和决策边界的距离，因而一定程度可以体现该样本的对齐程度。
发明内容
本发明的目的是针对现有方法的不足，提出一种基于不确定性感知的无监督域适应目标检测方法。首先对于整张图片不同区域的可迁移性存在差异的现象，使用基于不确定性感知的局部区域重加权模块，通过域分类器的不确定性来衡量可迁移性的差异，捕获整张图片中信息量更高、可迁移性更强的局部区域。接着对于域适应对抗学习过程中，不同样本对齐程度存在差异的现象，在图片级对齐和实例级对齐阶段使用基于不确定性感知的对抗损失权重动态分配模块，基于区域建议网络(RPN)分类的不确定性来度量不同样本对齐程度的不同，并通过在对抗损失函数中赋予它们对齐程度相应的权重，从而对不同对齐程度样本的施加相应的对齐力度，避免了对那些对齐程度较高样本的过度对齐，防止越过决策边界造成分类错误引起域适应效果的下降。
一种基于不确定性感知的无监督域适应目标检测方法，具体步骤如下：
步骤1、分别获取有标签的源域数据和无标签的目标域数据。源域数据与目标域数据为包含相同类别的目标，且视角、纹理或背景有差异的图像。源域数据集表示为
Figure BDA0003364670630000021
其中
Figure BDA0003364670630000022
表示源域样本中的第i个样本。
Figure BDA0003364670630000023
为样本
Figure BDA0003364670630000024
的标签。Ns为源域样本数量；目标域数据集表示为
Figure BDA0003364670630000025
Figure BDA0003364670630000026
表示来自Nt个目标域样本中的第i个样本。Nt为目标域样本数量；
步骤2、将源域和目标域样本成对输入网络，进行局部区域对齐和基于不确定性的重加权。
将成对的两张图像依次输入特征提取器F1，分别获得浅层特征图f1。利用像素级域判别器D1和梯度反转层进行局部区域对齐。计算区域级域适应损失函数
Figure BDA0003364670630000027
如下所示：
Figure BDA0003364670630000028
其中，D1为像素级域判别器；下标k为特征图的像素序号。H、W分别为图像的高度和宽度。
针对像素级域判别器D1的每个输出
Figure BDA0003364670630000029
均使用区域信息熵图εi来衡量其不确定性。区域信息熵图εi中第k个位置的像素级信息熵
Figure BDA0003364670630000031
的表达式如下：
Figure BDA0003364670630000032
根据像素级信息熵
Figure BDA00033646706300000316
计算出局部区域特征注意力图mf第k个位置的值
Figure BDA0003364670630000034
将浅层特征图f1中各位置的特征向量
Figure BDA0003364670630000035
分别乘以
Figure BDA0003364670630000036
得到更新后的局部区域特征图f1′。
步骤3、进行图片级对齐和基于不确定性的对抗域适应权重分配。
局部区域特征图f1′送入特征提取器F2，获得特征图f2，经过梯度反转层和域判别器D2，进行图片级对齐，产生源域和目标域上域判别器D2在坐标(u，v)的输出结果
Figure BDA0003364670630000037
和
Figure BDA0003364670630000038
u＝1，2，...；v＝1，2，...。
根据Faster-RCNN的架构，将源域和目标域图像各自对应的特征图f2分别送入区域建议网络，产生区域建议图p。
建立图片级域适应损失
Figure BDA0003364670630000039
的表达式如下：
Figure BDA00033646706300000310
其中，
Figure BDA00033646706300000311
表示图片级域分类器的交叉熵损失，εp表示区域建议信息熵图，
Figure BDA00033646706300000312
分别表示源域、目标域样本位于区域建议图p的坐标(u，v)中的第r个分类结果，r表示区域建议图同一坐标点上具有不同大小尺度和长宽比例的各建议区域的序号。
建立域分类器D2的交叉熵损失
Figure BDA00033646706300000313
的表达式如下：
Figure BDA00033646706300000314
其中，l(u，v)表示输入域分类器D2的样本位于坐标(u，v)的像素级域标签。o(u，v)为域判别器D2在坐标(u，v)的输出结果。
分别计算源域、目标域样本在坐标(u，v)的区域建议信息熵图εp如下：
Figure BDA00033646706300000315
其中，p(r，u，v)为位于区域建议图p的坐标(u，v)中的第r个分类结果。
步骤4、进行实例级对齐和基于不确定性的对抗域适应权重分配。
基于Faster-RCNN的架构，区域建议网络RPN排序、筛选出分数最高的多个候选区域，经过ROI pooling操作以后，得到实例级特征fins，最后输入两个全连接层进行分类和回归，得到最终的检测结果d。
实例级特征fins通过梯度反转层和域判别器D3，实现实例级对齐。域判别器D3的输出记为oins。
建立实例级域适应损失函数
Figure BDA0003364670630000041
的表达式如下：
Figure BDA0003364670630000042
其中，
Figure BDA0003364670630000043
表示实例级域分类器的交叉熵损失，εd表示检测结果熵函数，d(c，k)分别表示第k个检测结果中对于第c个分类的预测概率，
Figure BDA0003364670630000044
表示实例级域分类器D3的预测向量的第k个结果，l(k)表示第k个实例级域标签。下标s、t分别表示样本来自源域、目标域。
实例级交叉熵损失
Figure BDA0003364670630000045
的表达式如下：
Figure BDA0003364670630000046
检测结果熵函数εd的表达式如下：
Figure BDA0003364670630000047
建立网络的总体损失函数Loverall的表达式如下：
Loverall＝Ldet+λLadv
Figure BDA0003364670630000048
其中，λ为平衡因子；Ldet为Faster-RCNN部分的损失函数；Ladv为对抗域适应部分的损失函数。
步骤5、利用总体损失函数Loverall训练目标检测网络，使用所得网络识别目标域样本。
作为优选，在步骤5的训练过程中，使用反向传播以及随机梯度下降法来调整网络，动量设置为0.9，权值衰减设置为5e-4，初始学习率设置为0.001，迭代50k次以后调整为0.0001，然后再迭代20k次至训练结束。每次迭代都输入一张来自源域数据集的图片和一张来自目标域数据集的图片。
作为优选，所述的源域数据为晴朗天气下的图像；目标域数据为非晴朗天气下的图像；非晴朗天气包括雾天、雨天。
作为优选，所述的源域数据为真实图像；目标域数据为合成图像。
作为优选，所述的源域数据和目标域数据为不同视角下的图像。
作为优选，目标检测网络使用Faster R-CNN作为基本框架，采用在ImageNet进行预训练的VGG16网络作为骨干网络。
与现有方法相比，本发明的优点在于：
本发明充分考虑了不同样本可迁移性和对齐程度的不同，相比于其他进行简单地全局对齐的域适应方法，首先从可迁移性维度进行局部区域对齐，主要利用了域判别器分类结果的不确定性来度量可迁移性的不同，进而对信息量、可迁移性不同的局部区域进行重加权，充分挖掘了可迁移性高的区域，避免强行对齐如背景这样无法迁移的区域，为进一步的全局图片级对齐提供更有侧重的语义信息指导。接着在进行图片级、实例级对齐时，充分考虑了域适应训练过程中，不同样本对齐程度存在差异的情况，充分挖掘了区域建议网络分类的不确定信息，使得对于不同对齐程度的样本，在对抗性域适应训练过程中被分配相应的对抗域适应损失权重，即相当于通过对不同样本调节不同的对齐力度，从而实现在域适应过程中对那些对齐程度较低的样本施加更高的对抗损失权重，而对那些对齐程度已经较高的样本施加较低的对抗损失权重，最终避免了对那些对齐程度较高样本的过度对齐，防止越过决策边界造成分类错误引起域适应效果的下降。
附图说明
图1为本发明的流程图；
图2为本发明中所用网络的结构图。
具体实施方式
下面结合附图，对本发明方法做详细描述：
实施例1
本实施中，使用Faster R-CNN作为目标检测的基本框架，并采用在ImageNet进行预训练的VGG16网络作为骨干网络。
该基于不确定性感知的无监督域适应目标检测方法，具体步骤为：
步骤1、分别获取有标签的源域数据和无标签的目标域数据。源域数据与目标域数据为包含相同类别的目标，且视角、纹理或背景具有相似性的图像；本实施例中，源域数据为晴朗天气下的图像；目标域数据为非晴朗天气下的图像；非晴朗天气包括雾天、雨天。
源域数据集表示为
Figure BDA0003364670630000051
其中
Figure BDA0003364670630000052
表示来自Ns个源域样本中的第i个样本。
Figure BDA0003364670630000053
为样本
Figure BDA0003364670630000054
的标签。目标域数据集表示为
Figure BDA0003364670630000055
表示来自Nt个目标域样本中的第i个样本。H、W分别为图像的高度和宽度。
步骤2、将源域和目标域样本成对输入网络，进行局部区域对齐和基于不确定性的重加权。
将成对的两张图像依次输入特征提取器F1，获得浅层特征图f1。利用像素级域判别器D1和梯度反转层(GRL)进行局部区域对齐。计算区域级域适应损失函数
Figure BDA0003364670630000061
如下所示：
Figure BDA0003364670630000062
其中，像素级域判别器D1对特征图f1中每个像素进行判别其来自源域还是目标域(例如：小于0.5代表来自源域，大于0.5代表来自目标域)；下标k为浅层特征图f1的像素序号。特征图f1的每个像素都对应了原图中相应的感受野所在的局部区域。log是以10为底的对数计算。
对于整张图片来说，其每个局部区域蕴含的信息量和可迁移性各不相同。用
Figure BDA0003364670630000063
表示f1中的第k个位置的特征向量，那么D1的输出可以表示为
Figure BDA0003364670630000064
。其值越接近0或者1，则代表域判别器的不确定性越低，这类样本的可迁移性一般较差，信息量也越低，例如不可迁移的背景；反之，其值越接近0.5，则代表域判别器的不确定性越高，可迁移性越好，信息量也越高；对于第i对图像各自得到的特征图的像素域判别器结果
Figure BDA0003364670630000065
，我们均使用区域信息熵图εi来衡量其不确定性，并对具有不同可迁移性的局部区域进行重加权，增强可迁移性高的区域，并抑制可迁移性差的区域。区域信息熵图εi中第k个位置
Figure BDA0003364670630000066
的计算公式定义为：
Figure BDA0003364670630000067
根据像素级信息熵
Figure BDA0003364670630000068
，我们可以计算出局部区域特征注意力图mf第k个位置的值
Figure BDA00033646706300000618
计算公式被定义为
Figure BDA00033646706300000617
最后利用公式
Figure BDA00033646706300000611
计算出新的局部区域特征图f1′中第k个位置的特征向量
Figure BDA00033646706300000615
从而得到重加权后的的局部区域特征图f1′，送入特征提取器F2。
步骤3、进行图片级对齐和基于不确定性的对抗域适应权重分配。
特征提取器F2获得特征图f2，经过梯度反转层(GRL)和域判别器D2，进行图片级对齐，产生
Figure BDA00033646706300000613
和
Figure BDA00033646706300000616
其分别表示在源域和目标域上域判别器D2在坐标(u，v)的输出结果。u＝1，2，...；v＝1，2，...。
根据Faster-RCNN的架构，将特征图f2送入区域建议网络(RPN)产生区域建议图p，区域建议图p是RPN网络对特征图f2所有像素上、所有锚框关于前景、背景的分类结果。我们使用信息熵εp表示RPN网络对于前景、背景分类的不确定性信息，并根据信息熵动态调整相应区域对抗性损失的权重。图片级域适应损失
Figure BDA0003364670630000071
公式可表示为：
Figure BDA0003364670630000072
其中，
Figure BDA0003364670630000073
表示图片级域分类器的交叉熵损失，εp表示区域建议信息熵图，
Figure BDA0003364670630000074
分别表示源域、目标域样本位于区域建议图p的坐标(u，v)中的第r个分类结果，r表示区域建议图同一坐标点上具有不同大小尺度和长宽比例的多个建议区域的序号。
Figure BDA0003364670630000075
和
Figure BDA0003364670630000076
分别表示位于坐标(u，v)的像素级域标签，则域分类器D2的交叉熵损失
Figure BDA0003364670630000077
定义为：
Figure BDA0003364670630000078
基于区域建议网络rpn的分类结果p，生成区域建议信息熵图εp。为了计算方便，我们选择了区域建议图p中每个坐标信息熵最低的值作为区域建议信息熵图相应坐标的结果。源域或目标域在坐标(u，v)的区域建议信息熵图εp的计算过程表示为：
Figure BDA0003364670630000079
其中，p(r，u，v)为位于区域建议图p的坐标(u，v)中的第r个分类结果。
最后，通过计算出的区域建议信息熵图εp为损失函数分配基于不确定性的对抗损失权重。对齐程度较高的特征往往产生较为确定的预测结果，伴随着较低的信息熵；而对齐程度较低的特征往往产生不确定性较高的预测结果，也同时包含着更高的信息熵。基于信息熵的动态权重调整避免了对齐程度较高的特征进行错误的重对齐，并使得对齐过程更加关注那些对齐程度较低的特征。
步骤4、进行实例级对齐和基于不确定性的对抗域适应权重分配。
基于Faster-RCNN的架构，区域建议网络RPN排序、筛选出分数最高的多个候选区域，经过ROI pooling操作以后，得到实例级特征fins，最后输入两个全连接层进行分类和回归，得到最终的检测结果d。
实例级特征fins通过梯度反转层和域判别器D3，以实现实例级对齐。域判别器D3的输出记为oins。
实例级域适应损失函数表示为：
Figure BDA0003364670630000081
其中，
Figure BDA0003364670630000082
表示实例级域分类器的交叉熵损失，εd表示检测结果熵函数，d(c，k)表示第k个检测结果中对于第c个分类的预测概率，
Figure BDA0003364670630000083
表示实例级域分类器D3的预测向量的第k个结果，l(k)表示第k个实例级域标签。
实例级交叉熵损失定义为：
Figure BDA0003364670630000084
在实例级对齐过程中，利用Faster-RCNN网络最终的检测结果d的不确定性来实现对抗损失函数权重的动态调整，具体地，我们与之前步骤一样使用检测结果信息熵εd来度量这种不确定性并进行对抗损失函数权重的动态分配。
检测结果熵函数εd(d(c，k))定义为：
Figure BDA0003364670630000085
所以训练阶段，网络的总体损失函数Loverall可以表示为：
Loverall＝Ldet+λLadv
Figure BDA0003364670630000086
其中，λ为平衡因子；Ldet为Faster-RCNN部分的损失函数；Ladv为对抗域适应部分的损失函数。
步骤5、网络调整阶段。
训练过程我们使用反向传播以及随机梯度下降法(SGD)来调整网络，动量设置为0.9，权值衰减设置为5e-4，初始学习率设置为0.001，迭代50k次以后调整为0.0001，然后再迭代20k次至训练结束。每次迭代都输入一张来自源域数据集的图片和一张来自目标域数据集的图片。
其中在网络结构中每个梯度反转层GRL都位于原本的目标检测网络和每个域判别器之间，通过在反向传播时改变了梯度的符号，使得特征提取网络向着使域分类器无法分辨特征来自源域还是目标域的方向进行网络更新，即使得网络能够学习如何提取域不变的特征，最终实现不同域之间的对齐。
步骤6、推理阶段，对训练好的网络，直接输入目标域数据进行检测。
如表1所示，本发明与四种域适应目标检测方法同时在Cityscapes数据集到FoggyCityscapes数据集这两个域之间进行训练并测试，表中结果分别为本发明和其余四种方法的检测结果，并同时对比了只在源域数据集进行训练，然后直接在目标域上进行测试的检测结果(source-only)。比较多个现有域适应目标检测方法可知，本发明的结果都优于现有模型，证明了本发明所提出方法的有效性。
表1结果对比表
Figure BDA0003364670630000091
实施例2
一种基于不确定性感知的无监督域适应目标检测方法，本实施例与实施例1的区别在于：源域数据为真实图像；目标域数据为合成图像。
实施例3
一种基于不确定性感知的无监督域适应目标检测方法，本实施例与实施例1的区别在于：源域数据和目标域数据为不同视角下的图像。

Claims (6)

1.一种基于不确定性感知的无监督域适应目标检测方法，其特征在于：步骤1、分别获取有标签的源域数据和无标签的目标域数据；源域数据与目标域数据为包含相同类别的目标，且视角、纹理或背景有差异的图像；源域数据集表示为
Figure FDA0003364670620000011
其中
Figure FDA0003364670620000012
表示源域样本中的第i个样本；
Figure FDA0003364670620000013
为样本
Figure FDA0003364670620000014
的标签；Ns为源域样本数量；目标域数据集表示为
Figure FDA0003364670620000015
Figure FDA0003364670620000016
表示来自Nt个目标域样本中的第i个样本；Nt为目标域样本数量；
步骤2、将源域和目标域样本成对输入网络，进行局部区域对齐和基于不确定性的重加权；
将成对的两张图像依次输入特征提取器F1，分别获得浅层特征图f1；利用像素级域判别器D1和梯度反转层进行局部区域对齐；计算区域级域适应损失函数
Figure FDA0003364670620000017
如下所示：
Figure FDA0003364670620000018
其中，D1为像素级域判别器；下标k为特征图的像素序号；H、W分别为图像的高度和宽度；
针对像素级域判别器D1的每个输出
Figure FDA0003364670620000019
均使用区域信息熵图εi来衡量其不确定性；区域信息熵图εi中第k个位置的像素级信息熵
Figure FDA00033646706200000110
的表达式如下：
Figure FDA00033646706200000111
根据像素级信息熵
Figure FDA00033646706200000112
计算出局部区域特征注意力图mf第k个位置的值
Figure FDA00033646706200000113
将浅层特征图f1中各位置的特征向量
Figure FDA00033646706200000114
分别乘以
Figure FDA00033646706200000115
得到更新后的局部区域特征图f1′；
步骤3、进行图片级对齐和基于不确定性的对抗域适应权重分配；
局部区域特征图f1′送入特征提取器F2，获得特征图f2，经过梯度反转层和域判别器D2，进行图片级对齐，产生源域和目标域上域判别器D2在坐标(u，v)的输出结果
Figure FDA00033646706200000116
和
Figure FDA00033646706200000117
u＝1，2，...；v＝1，2，...；
根据Faster-RCNN的架构，将源域和目标域图像各自对应的特征图f2分别送入区域建议网络，产生区域建议图p；
建立图片级域适应损失
Figure FDA00033646706200000118
的表达式如下：
Figure FDA0003364670620000021
其中，
Figure FDA0003364670620000022
表示图片级域分类器的交叉熵损失，εp表示区域建议信息熵图，
Figure FDA0003364670620000023
分别表示源域、目标域样本位于区域建议图p的坐标(u，v)中的第r个分类结果，r表示区域建议图同一坐标点上具有不同大小尺度和长宽比例的各建议区域的序号；
建立域分类器D2的交叉熵损失
Figure FDA0003364670620000024
的表达式如下：
Figure FDA0003364670620000025
其中，l(u，v)表示输入域分类器D2的样本位于坐标(u，v)的像素级域标签；o(u，v)为域判别器D2在坐标(u，v)的输出结果；
分别计算源域、目标域样本在坐标(u，v)的区域建议信息熵图εp如下：
Figure FDA0003364670620000026
其中，p(r，u，v)为位于区域建议图p的坐标(u，v)中的第r个分类结果；
步骤4、进行实例级对齐和基于不确定性的对抗域适应权重分配；
基于Faster-RCNN的架构，区域建议网络RPN排序、筛选出分数最高的多个候选区域，经过ROI pooling操作以后，得到实例级特征fins，最后输入两个全连接层进行分类和回归，得到最终的检测结果d；
实例级特征fins通过梯度反转层和域判别器D3，实现实例级对齐；域判别器D3的输出记为oins；
建立实例级域适应损失函数
Figure FDA0003364670620000027
的表达式如下：
Figure FDA0003364670620000028
其中，
Figure FDA0003364670620000029
表示实例级域分类器的交叉熵损失，εd表示检测结果熵函数，d(c，k)分别表示第k个检测结果中对于第c个分类的预测概率，
Figure FDA00033646706200000210
表示实例级域分类器D3的预测向量的第k个结果，l(k)表示第k个实例级域标签；下标s、t分别表示样本来自源域、目标域；
实例级交叉熵损失
Figure FDA00033646706200000211
的表达式如下：
Figure FDA00033646706200000212
检测结果熵函数εd的表达式如下：
Figure FDA0003364670620000031
建立网络的总体损失函数Loverall的表达式如下：
Loverall＝Ldet+λLadv
Figure FDA0003364670620000032
其中，λ为平衡因子；Ldet为Faster-RCNN部分的损失函数；Ladv为对抗域适应部分的损失函数；
步骤5、利用总体损失函数Loverall训练目标检测网络，使用所得网络识别目标域样本。
2.根据权利要求1所述的一种基于不确定性感知的无监督域适应目标检测方法，其特征在于：在步骤5的训练过程中，使用反向传播以及随机梯度下降法来调整网络，动量设置为0.9，权值衰减设置为5e-4，初始学习率设置为0.001，迭代50k次以后调整为0.0001，然后再迭代20k次至训练结束；每次迭代都输入一张来自源域数据集的图片和一张来自目标域数据集的图片。
3.根据权利要求1所述的一种基于不确定性感知的无监督域适应目标检测方法，其特征在于：所述的源域数据为晴朗天气下的图像；目标域数据为非晴朗天气下的图像；非晴朗天气包括雾天、雨天。
4.根据权利要求1所述的一种基于不确定性感知的无监督域适应目标检测方法，其特征在于：所述的源域数据为真实图像；目标域数据为合成图像。
5.根据权利要求1所述的一种基于不确定性感知的无监督域适应目标检测方法，其特征在于：所述的源域数据和目标域数据为不同视角下的图像。
6.根据权利要求1所述的一种基于不确定性感知的无监督域适应目标检测方法，其特征在于：目标检测网络使用Faster R-CNN作为基本框架，采用在ImageNet进行预训练的VGG16网络作为骨干网络。
CN202111391987.0A 2021-11-19 2021-11-19 一种基于不确定性感知的无监督域适应目标检测方法 Pending CN114139616A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111391987.0A CN114139616A (zh) 2021-11-19 2021-11-19 一种基于不确定性感知的无监督域适应目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111391987.0A CN114139616A (zh) 2021-11-19 2021-11-19 一种基于不确定性感知的无监督域适应目标检测方法

Publications (1)

Publication Number Publication Date
CN114139616A true CN114139616A (zh) 2022-03-04

Family

ID=80390845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111391987.0A Pending CN114139616A (zh) 2021-11-19 2021-11-19 一种基于不确定性感知的无监督域适应目标检测方法

Country Status (1)

Country Link
CN (1) CN114139616A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399640A (zh) * 2022-03-24 2022-04-26 之江实验室 一种不确定区域发现与模型改进的道路分割方法及装置
CN114648683A (zh) * 2022-05-23 2022-06-21 天津所托瑞安汽车科技有限公司 基于不确定性分析的神经网络性能提升方法和设备
CN114821152A (zh) * 2022-03-23 2022-07-29 湖南大学 基于前景-类别感知对齐的域自适应目标检测方法及系统
CN115147639A (zh) * 2022-05-20 2022-10-04 东南大学 一种基于域自适应机制的复杂背景下目标检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821152A (zh) * 2022-03-23 2022-07-29 湖南大学 基于前景-类别感知对齐的域自适应目标检测方法及系统
CN114399640A (zh) * 2022-03-24 2022-04-26 之江实验室 一种不确定区域发现与模型改进的道路分割方法及装置
CN114399640B (zh) * 2022-03-24 2022-07-15 之江实验室 一种不确定区域发现与模型改进的道路分割方法及装置
CN115147639A (zh) * 2022-05-20 2022-10-04 东南大学 一种基于域自适应机制的复杂背景下目标检测方法
CN114648683A (zh) * 2022-05-23 2022-06-21 天津所托瑞安汽车科技有限公司 基于不确定性分析的神经网络性能提升方法和设备

Similar Documents

Publication Publication Date Title
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN112861720B (zh) 基于原型卷积神经网络的遥感图像小样本目标检测方法
CN110569886B (zh) 一种双向通道注意力元学习的图像分类方法
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN114139616A (zh) 一种基于不确定性感知的无监督域适应目标检测方法
CN108596055B (zh) 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
CN110132263B (zh) 一种基于表示学习的星图识别方法
CN108492298B (zh) 基于生成对抗网络的多光谱图像变化检测方法
EP3690741A2 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN103761531A (zh) 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN112488229B (zh) 一种基于特征分离和对齐的域自适应无监督目标检测方法
CN111753787A (zh) 一种分离式的交通标志检测与识别方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN112837315A (zh) 一种基于深度学习的输电线路绝缘子缺陷检测方法
CN104598916B (zh) 一种火车识别系统的构建方法和火车识别的方法
CN112364791B (zh) 一种基于生成对抗网络的行人重识别方法和系统
CN111160553A (zh) 一种新的领域自适应学习方法
CN110826411A (zh) 一种基于无人机图像的车辆目标快速识别方法
CN113392930A (zh) 基于多层次分治网络的交通标志目标检测方法
CN112819837A (zh) 一种基于多源异构遥感影像的语义分割方法
CN112084897A (zh) 一种gs-ssd的交通大场景车辆目标快速检测方法
CN108491828A (zh) 一种基于层次的成对相似性PVAnet的停车位检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination