CN112861616B - 一种无源领域自适应目标检测方法 - Google Patents

Abstract

本发明公开一种无源领域自适应目标检测方法，应用于目标检测领域，针对现有的跨域目标检测效果较差的问题；本发明首先将预训练的源域模型加载到学生模型和教师模型，然后将从目标域场景中获取的无标签目标域图像输入到教师模型，该目标域图像对应的超级目标域图像被输入到学生模型；本发明在图像级和实例级分别利用域判别器来对齐超级目标域和目标域的特征并最小化学生模型和教师模型的类别一致性损失；最后学生模型通过反向传播更新，而教师模型根据学生模型来更新；很好地克服了跨域目标检测问题。

Description

一种无源领域自适应目标检测方法

技术领域

本发明属于目标检测领域，特别涉及一种无监督领域自适应目标检测技术。

背景技术

目标检测作为计算机视觉领域最重要的问题之一，在近年来随着卷积神经网络的出现取得了巨大的进步。目标检测方法的实时性和准确率也在不断刷新。尽管这些目标检测方法在许多数据集上表现出了越来越快越来越准确的性能，但是它们都假设训练集和测试集来自同一个数据集，即源域和目标域处于同一个特征分布。在实际应用中，源域和目标域通常会存在域偏移，源域训练的模型直接应用到目标域性能会急剧下降。为了解决源域和目标域的域偏移问题，一种跨域的目标检测问题被提出。

领域自适应目标检测问题具有非常重要的研究意义。在一般的目标检测问题中，针对新的目标域场景，往往需要重新获取该场景的图像和标签来训练模型，而打标签是非常耗费人力的。领域自适应目标检测问题只需要基于已有的源域数据和无标签的目标域图像即可训练出在目标域工作的模型。

相关现有技术及其存在的问题：

南京邮电大学吴晓富、程磊的发明《一种基于熵最小化的迁移学习方法及系统》，公开号为：CN 110443372A；提出基于熵最小化的方法来构建损失函数，从而学习迁移学习网络。但是熵最小化往往会使正确的预测更准确，错误的预测更错误。这种方法只适用于更容易的迁移场景，即要求源域模型在目标域上有较高的效果，无法在更复杂的目标检测任务或者在更难的迁移场景下发挥出较好的效果。

深圳天海宸光科技有限公司段立新、何宜兵、宋博然、张神力、蔡忠鹏的发明《一种基于迁移学习的车牌识别系统及方法》，公开号为：CN 110443372A；该专利根据输入的车牌图片或视频数据，通过迁移学习生成新的带标注的车牌图片数据，并发送给车牌识别设备。但是生成的带标注车牌图片数据实际是从旧的数据拼接得来，难以保证生成的数据质量且无法针对性地来适应目标域场景。

发明内容

为解决上述技术问题，本发明提出一种无源领域自适应目标检测方法，考虑硬件资源和数据隐私问题，使用训练好的源域模型来代替源域数据，仅利用无标签的目标域数据进行优化。

本发明采用的技术方案为：一种无源领域自适应目标检测方法，包括：

S1、训练源域模型；

S2、基于大数定律构建超级目标域；

S3、将超级目标域输入到学生模型，超级目标域对应的目标域图像输入到教师模型；

S4、利用判别器来对齐教师模型与学生模型的图像级特征和实例级特征；

S5、对教师模型与学生模型的预测结果做类别一致性，具体为：将学生模型的分类结果与教师模型的分类结果做交叉熵损失；

S6、通过最小化交叉熵损失函数来更新学生模型的参数，加权学生模型和上一代教师模型的参数来更新当前教师模型的参数。

本发明的有益效果：本发明的方法考虑硬件资源和数据隐私问题，使用训练好的源域模型来代替源域数据，仅利用无标签的目标域数据进行优化；无源领域自适应问题无需访问源域样本，能有效保护源域数据的隐私；由于只需利用无标签的目标域数据优化源域模型，无需每次面对新的目标域场景就从头训练一个模型，因此这能大大节省训练时间，降低对硬件资源的要求，采用本发明的方法有效地解决了跨域的目标检测难题。

附图说明

图1为本发明的一种无源领域自适应目标检测方法的原理图；

其中，图1(a)为使用源数据进行域自适应；图1(b)为源数据自由域适配；图1(c)为采用本发明的方法进行域自适应；

图2为本发明的一种无源领域自适应目标检测方法的流程图；

图3为本发明实施例提供的提出的域噪声和超级目标域的可视化结果；

图4为本发明实施例提供的预训练的源域模型在四个迁移场景下的检测结果；

图5为本发明实施例提供的本发明与源域模型对应的检测结果。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

CNN的底层网络是域特定的，可以直接用于在不同的域训练得到的域不可分的高层网络。这说明底层网络能提取出域不变特征，才能直接用于另一个域训练的高层网络。所以理论上，预训练的源域模型会尽可能将源域空间往域不变空间映射从而更好地提取源域的有用特征，源域模型的分类网络也是基于域不变空间进行分类的。那么如果我们能将目标域映射至域不变空间，并对应调整分类网络来适应实际训练中的源偏问题，就能实现在源域模型上的适应。

如图1所示，其中横轴和纵轴分别表示域强度和检测性能；在坐标原点处，区域强度为零，这意味着特征没有任何域信息。基于这种特征训练的模型具有较强的泛化能力和较好的性能。图1(a)使用源数据进行域自适应，目标域(T)到域不变特征空间(I)的路径是由目标域(T)到源域(S)和源域到域不变特征空间(I)的组合；图1(b)源数据自由域适配；图1(c)为采用本发明的方法，通过构造超目标域来估计从目标域到域不变特征空间的正确方向。

如图1(c)所示，若视目标域和源域是域不变空间由各自不同的域噪声干扰而得，通过对目标域进一步增加相关域噪声的方法可以构造一个新域称为超级目标域。沿着超级目标域往目标域的优化对齐方向，其实是目标域空间向域不变空间的映射方向。由此，本发明构造基于平均教师(Mean Teacher)的无源领域自适应方法，学生模型负责超级目标域向目标域学习，教师网络沿着学生网络优化方向学习。具体地，通过对齐超级目标域和目标域来实现目标域空间与域不变空间的对齐，同时我们使超级目标域的分类结果学习更准确的目标域的分类结果来保证学生模型和教师模型的一致性使模型能够沿着一个更准确分类的方向学习。

如图2所示，本发明首先将预训练的源域模型加载到学生模型和教师模型，然后将从目标域场景中获取的无标签目标域图像输入到教师模型，该目标域图像对应的超级目标域图像被输入到学生模型。本发明在图像级和实例级分别利用域判别器来对齐超级目标域和目标域的特征并最小化学生模型和教师模型的类别一致性损失。最后学生模型通过反向传播更新，而教师模型根据学生模型来更新。

本发明的方法具体包括以下步骤：

1、训练源域模型

本发明采用更快的基于区域的卷积神经网络(Faster R-CNN)来训练源域模型，并以此为对比基线。Faster R-CNN是一个稳定的两步目标检测器，包括特征提取网络、区域提取网络和分类网络，简化版的网络结构图见图2，包括：超级目标域构造示意图，从对应的目标域图像中逐个构造超目标域图像以及Mean Teacher模型，主干是相同的Faster RCNN模型，学生模型采用教师模型的区域提取方法，增加了三个一致性，即图像级一致性(MA)、实例级一致性(NA)和类别一致性(CC)，图像和实例对齐是通过梯度反转层(GRL)实现，类别一致性是指目标图像与其对应的超目标图像的预测结果相同。

本发明将源域数据输入Faster R-CNN，首先经过特征提取网络得到图像的特征。然后将提取的特征输入区域提取网络提取出候选区域并计算区域提取网络的前背景损失与预测框的粗略回归损失之和L_rpn，每个候选区域的特征被输入分类网络来计算分类损失和预测框的精确回归损失之和L_roi。最后通过最小化L_FR来训练源域模型，

L_FR＝L_rpn+L_roi。 (1)

预训练的源域模型将加载至学生模型和教师模型。

2、合成超级目标域

本步骤基于大数定律来构建超级目标域。若视源域和目标域的图像是域不变部分由各自不同的域噪声干扰而得。所以第i张经零均值处理后的目标域图像

可以表示为零均值域不变图像

和零均值“域噪声”N_T的加权求和，其中权重

表示第i张图像目标域噪声的相对比例，取决于每张图像自身的风格：

由于域噪声对于同一个域的图像来说是相同的。那么其实域噪声的估计

可以通过对n个零均值化的目标域图像求平均得来，n表示该域图像的数量，当数量很大时，下式可满足。

将式(2)代入式(3)可得：

其中

且

是一列独立同分布变量。那么根据辛钦大数定律，可得

所以可得

因此

其中

可以看到，对域噪声的估计是一个关于域噪声的表达式。

本发明求取域噪声并非是为了强行把目标域图像从域噪声中剥离从而解出纯净图像，这可能会丢失大量有用信息。相反本发明是要利用域噪声构造比目标域更具有目标域风格的超级目标域(即目标域是有雾图像，本发明是构造雾更多的超级目标域图像)。

将得到域噪声加到目标域上，如公式(8)，得到新的目标域

值得注意的是这个新的目标域的纯净图像占比下降，对应地，域噪声部分增加，所以称作超级目标域。域噪声和超级目标域的可视化图像如图3所示，图3中左栏显示了三个目标域图像，中间栏是相应的域扰动，右边栏是相应的超级目标域图像。

其中β表示所构造的超级目标域中原图和域噪声的比例，一般取值为0.8。

用于训练的目标域图像有几千张，每次输入几张进行训练，叫做一个批次(具体可以根据总的目标域图像数量进行均分为若干批次)，本实施例中每批次输入4张目标域图像进行训练；由于目标域图像每次按批次(batch)输入至网络进行训练，所以域噪声是迭代更新的。具体地，我们首先构建每个批次(batch)的局部域噪声LN，这由当前批次(batch)的图像平均得来，比如本实施例中的LN则由当前批次的4个零均值化的目标域图像求平均得到；然后更新至该批次对应的全局域噪声N^(k)，其中k表示第k个批次(batch)

N^(k)＝(N^(k-1)+LN^(k))/2 (9)

由于图像数量的限制域噪声依然存在一些随机噪声而不是理想中完全干净的。本发明并不打算去掉这个随机噪声，因为采用的Mean Teacher结构可以有效利用这种带噪声的图像以增加学生模型的难度，从而增强模型的稳定性。

3、超级目标域与目标域的图像级特征对齐

我们将所得的超级目标域直接输入到学生模型，对应的目标域图像输入到教师模型，并对齐超级目标域和目标域的特征。具体地，我们基于H散度利用域判别器使两个域的图像级特征无法被区分。为了反转判别器对特征的影响，我们在判别器前面增加了一个梯度反转层。所以图像级对齐损失函数L_MA可由下式定义

其中，i表示第i张图像，h和w表示在特征图中的位置，p是该特征属于目标域的概率，D是域标签，对于目标域D＝1，超级目标域D＝0。

4、超级目标域与目标域的实例特征对齐

与图像级对齐类似，在实例级特征上构造域判别器来对齐两个域的实例级特征。下式是实例级对齐损失函数L_NA的定义

其中，r表示第r个候选区域，

是第i张图像的第r个区域属于目标域的概率。由于超级目标域的域噪声总是更多，比目标域更具有目标域风格。那么学生模型就会过滤掉多余的域噪声，来达到超级目标域和目标域的对齐。然后后面教师模型会根据学生模型更新，也能逐渐过滤域噪声。由于超级目标域的域噪声总比目标域多，所以最终两个模型将会完全过滤掉域噪声。

5、对教师模型与学生模型的预测结构做类别一致性

由于两个模型的输入图像的目标是完全相同的，只是学生模型的输入是超级目标域，任务更困难，那么我们可以用教师模型的预测结果来监督更差的学生模型的预测结果，即将两个模型的预测概率做交叉熵损失L_CC。

其中，r和c表示第r个候选区域和第c个类别，N_r是候选区域的个数。p⁺表示超级目标域的预测结果。输入超级目标域的更差的学生模型向输入目标域教师模型学习，这有助于学习一个能更好适应目标域的模型。教师模型根据学生模型更新，两个模型互相学习，共同进步。

6、教师模型参数更新优化过程

本发明的方法总loss定义如下。学生模型的参数通过最小化L来反向传播更新。

L＝λ_MAL_MA+λ_NAL_NA+λ_CCL_CC (13)

其中，λ_MA,λ_NA,λ_CC是平衡参数。教师模型沿着学生模型的优化方向学习。第k个批次(batch)教师模型的参数由k-1批次(batch)教师模型参数和第k个批次(batch)学生模型的参数加权求和，即教师模型是学生模型的历史指数平均，如下方程所示，

其中，θ_st是学生模型的参数，θ_te是教师模型的参数，α是用于控制教师模型更新的系数。

如图4所示是直接用预训练的源域模型得到的检测结果，图4中从上到下的四行图像是从城市景观到雾城市景观、kitty到城市景观、SIM10k到城市景观、Pascal VOC到水彩2K四个域的自适应性场景。图5是本发明的检测结果，本发明的检测结果，图5中从上到下的四行图像是从城市景观到雾城市景观、kitty到城市景观、SIM10k到城市景观、Pascal VOC到水彩2K四个域的自适应性场景。

图4、图5中的英文标注，例如car、rider、bicycle、person等为检测目标，英文标注后面的数据为检测结果的置信度，通过对比图4与图5，可知，采用本发明的方法可以检测到更多目标，并且置信水平也更高。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (2)

1.一种无源领域自适应目标检测方法，其特征在于，包括：

S1、训练源域模型；步骤S1具体为：采用基于区域的卷积神经网络来训练源域模型，所述基于区域的卷积神经网络包括：特征提取网络、区域提取网络和分类网络；将源域数据输入基于区域的卷积神经网络，首先经过特征提取网络得到图像的特征，然后将提取的图像的特征输入区域提取网络提取出候选区域特征并计算区域提取网络的前背景损失与预测框的粗略回归损失之和L_rpn，每个候选区域的特征被输入分类网络来计算分类损失和预测框的精确回归损失之和L_roi；最后通过最小化L_FR来训练源域模型；

S2、基于大数定律构建超级目标域；步骤S2具体为：

视源域和目标域的图像是域不变部分由各自不同的域噪声干扰而得；

则第i张经零均值处理后的目标域图像

表示为零均值域不变图像

和零均值域噪声的加权求和；

估计域噪声：根据域噪声对于同一个域的图像是相同的，通过对n个零均值化的目标域图像求平均得到域噪声的估计；

通过将域噪声的估计加到目标域上，得到超级目标域；

S3、将超级目标域输入到学生模型，超级目标域对应的目标域图像输入到教师模型；

S4、利用判别器来对齐教师模型与学生模型的图像级特征和实例级特征；步骤S4图像级对齐损失函数L_MA定义为：

其中，i表示第i张图像，h、w表示在特征图中的位置，p是特征属于目标域的概率，D是域标签，D＝1表示目标域，D＝0表示超级目标域；

实例级对齐损失函数L_NA定义为：

其中，r表示第r个候选区域，

是i张图像的第r个区域属于目标域的概率；

S5、对教师模型与学生模型的预测结果做类别一致性，具体为：将学生模型的分类结果与教师模型的分类结果做交叉熵损失；

S6、通过最小化交叉熵损失函数来更新学生模型的参数，加权学生模型和上一代教师模型的参数来更新当前教师模型的参数；教师模型参数更新表达式为：

其中，θ_st是学生模型的参数，θ_te是教师模型的参数，α是用于控制教师模型更新的系数，k表示批次序号。

2.根据权利要求1所述的一种无源领域自适应目标检测方法，其特征在于，将目标域图像均分为若干批次，按批次输入基于区域的卷积神经网络进行训练，域噪声根据当前批次的局部噪声与上一批次的域噪声求和的平均值进行更新。

Images