CN111209935A - 基于自适应域转移的无监督目标检测方法及系统 - Google Patents

Abstract

本发明提供了基于自适应域转移的无监督目标检测方法及系统，包括：准备一个包含不同场景的有标签图片样本集的源域，采用源域对YOLO检测器进行训练，得到通用检测器；采用通用检测器在目标域场景进行目标检测，根据通用检测器的检测置信度收集不同场景下的困难样本集，作为目标域的无标签图片样本集；对源域进行知识迁移，以实现源域的自适应过程，对目标域的无标签图片样本进行分类，以对无标签图片样本添加标签，用分类后的目标域样本对通用检测器进行训练，得到目标域的专用检测器以用来进行无监督目标的检测。

Description

基于自适应域转移的无监督目标检测方法及系统

技术领域

本发明属于图像处理、模式识别技术领域，具体涉及基于自适应域转移的无监督目标检测方法及系统。

背景技术

目标检测是计算机视觉中的核心研究课题。一个良好的目标检测系统，能识别输入图片中的各类目标，并确定其在图中的位置。通常目标检测系统的输出结果，又是后续目标跟踪、目标行为分析、异常事件处理等多种系统的输入。因而目标检测算法的好坏，直接影响了后续其他系统的工作性能。此外，目标检测在日常生活中同样有着重要的应用价值。

现有的目标检测算法对场景有很强的依赖性。人们需针对具体场景，精心设计目标的特征提取器，或人工标注大量的训练样本，这样才能使检测器在当前场景下发挥出最好的性能。另一方面，自动获得某一个监控场景中的目标具体形态是比较困难的，而使用人工采集和标注是需要消耗巨大的人力物力的。因此，训练一个适合具体场景的检测器是比较困难的。实际应用中，经常使用通用检测器来检测不同监控场景下的目标。由于目标在不同场景下的姿态、光照、拍摄角度等不尽相同，因而使用通用检测器很难在目标场景获得较好的检测性能，这种现象称为目标的域漂移问题。当前，目标域漂移问题极大的影响了目标检测算法在实际系统中的应用。所以如何训练一个适合具体场景的检测器应用于实际的目标检测系统中是目标检测中需要研究解决的主要问题。

发明内容

本发明要解决的技术问题在于，针对上述目前通用检测器很难在目标场景获得较好的检测性能的技术问题，提供基于自适应域转移的无监督目标检测方法及系统解决上述技术缺陷。

基于自适应域转移的无监督目标检测方法，包括：

S1、准备一个包含不同场景的有标签图片样本集的源域S，采用源域对YOLO检测器进行训练，得到通用检测器；

S2、采用通用检测器在目标域场景进行目标检测，根据通用检测器的检测置信度收集不同场景下的困难样本集，作为目标域T的无标签图片样本集；

S3、对源域进行知识迁移，以实现源域的自适应过程，具体包括：

S31、通过通用检测器的损失函数训练一个基于全连接层的二分类分类器，即域分类器 d＝D(f)，以判断待输入特征来自源域还是目标域，所述损失函数是交叉熵损失，具体为：

式中J(.，.)表示交叉熵损失函数，E_x∈X[f(x)]表示随机变量f(X)的数学期望，domain(x) 表示的是样本图片x来自源域还是目标域，具体定义为：

最小化上述损失函数，以得到一个训练好的域分类器D(f)；

S32、根据训练好的域分类器D(f)，通过最小化域混淆损失：

以得到特征提取器f＝G(x)，再训练特征提取器f＝G(x)，使域分类器D(f)不能正确的得出域分类结果，通过多次的“训练D(f)-训练G(x)”的对抗学习步骤，得到一个域不变的特征提取器f＝G(x)，此时源域的自适应过程完成；

S4、对目标域的无标签图片样本进行分类，以对无标签图片样本添加标签，具体包括：

S41、源域的自适应过程完成后，来自源域的特征提取结果f^S＝G(x^S)与来自目标域的特征提取结果f^T＝G(x^T)的分布相同，通过源域有标签样本的监督信息训练一个特征分类器F(f)，并使用所述特征分类器F(f)预测目标域中无标签样本的类标签；使用K近邻聚类算法将步骤S32提取的若干图片的特征自动分为若干个子类，对图片的特征向量使用：

y＝F_kNN[G(x)]，

F_kNN表示K近邻聚类算法对输入图片样本集x的分类结果；

S42、使用子类特征的质心与现有源域的若干类别的质心间的距离作为判断标准，用公式表示为：

式中

表示源域中类别为k的图片的特征的质心，

表示源域和目标域中所有被kNN 分类算法分为同一个类k₀的图片的特征的质心，综合上述内容，无监督的子类分类器可表示为：

当S_s(x)＞θ_S时将图片x分类为源域现有的类，否则将其分类为一个全新的类。

S5、用分类后的目标域样本对通用检测器进行训练，得到目标域的专用检测器以用来进行无监督目标的检测。

进一步的，步骤S5具体包括：

S51、使用通用检测器训练目标域图片样本集，使用阈值β和阈值θ得到通用检测器的检测结果得分，其中阈值β是划分困难样本区域的中心值，阈值θ表示困难样本区域的长度，

是困难样本划分的上、下边界，根据检测结果得分将目标域图片样本集划分为三个部分：正样本集合X₊、困难样本集合X_h与负样本集合X_{_}，当检测得分

时加入正样本集合X₊，正样本集合X₊直接用于之后的检测器训练；当检测得分

时加入负样本集合X_{_}，负样本集合X_{_}不做任何处理；当

时加入困难样本的集合X_h中；

S52、通过使用Logistic分类器F_h(x)，即：

将目标域中的样本将被二次判断，分类器F_h(x)把困难样本分为“正确”与“错误”两个类别，使用“+1”与“-1”分别表示，若F_h(x)与H(x)的判断结果具有一致性，即样本x满足：

此时认为困难样本得到了正确的分类结果；

S53、上述S51和S52两个部分均是在同一次训练步骤中进行的，多次迭代进行上述两个步骤即可完成通用检测器的训练，得到目标域的专用检测器。

基于自适应域转移的无监督目标检测系统，包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现所述的任意基于自适应域转移的无监督目标检测方法。

与现有技术相比，本发明优势在于：本发明不需要进行人工标注或设计目标特征提取器，整个自学习过程不需要任何人为干预，从而节省了人力物力消耗；不存在检测器的目标域漂移问题影响了实际应用效果。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明基于自适应域转移的无监督目标检测方法流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

基于自适应域转移的无监督目标检测方法，如图1所示，包括：

S1、准备一个包含不同场景的有标签图片样本集的源域S，采用源域对YOLO检测器进行训练，得到通用检测器。

S2、采用通用检测器在目标域场景进行目标检测，根据通用检测器的检测置信度收集不同场景下的困难样本集，作为目标域T的无标签图片样本集。

S3、对源域进行知识迁移，即实现源域的自适应过程，具体包括：

S31、通过通用检测器的损失函数训练一个基于全连接层的二分类分类器，即域分类器 d＝D(f)，以判断待输入特征来自源域还是目标域，所述损失函数是交叉熵损失，具体如下所示：

式中J(.，.)表示交叉熵损失函数，E_x∈X[f(x)]表示随机变量f(X)的数学期望，domain(x) 表示的是样本图片x来自源域还是目标域，具体定义为：

最小化上述损失函数，以得到一个训练好的域分类器D(f)；

S32、根据训练好的域分类器D(f)，通过最小化域混淆损失：

以得到特征提取器f＝G(x)，再训练特征提取器f＝G(x)，使域分类器D(f)不能正确的得出域分类结果，通过多次的“训练D(f)-训练G(x)”的对抗学习步骤，得到一个域不变的特征提取器f＝G(x)，即认为来自源域的图片的特征提取器的提取结果f^S＝G(x^S)与来自目标域的特征提取器提取结果f^T＝G(x^T)的分布是几乎相同的，此时源域的自适应过程完成。

S4、对目标域的无标签图片样本进行分类，即对无标签图片样本添加标签，具体包括：

S41、源域的自适应过程完成后，来自源域的特征提取结果f^S＝G(x^S)与来自目标域的特征提取结果f^T＝G(x^T)的分布相同，通过源域有标签样本的监督信息来训练一个特征分类器F(f)，并使用所述特征分类器F(f)预测目标域中无标签样本的类标签；使用K近邻聚类算法(k-nearest-neighbor，KNN)将步骤S32提取的若干图片的特征自动分为若干个子类，对图片的特征向量使用：

y＝F_kNN[G(x)]，

F_kNN表示K近邻聚类算法对输入图片样本集x的分类结果；

S42、使用子类特征的质心与现有源域的若干类别的质心间的距离作为判断标准，需要对得到的每一个子类分别判断，确定其真实类别，认为距离该子类特征的质心最近的一类源域类别为它的真实源域类别，用公式表示为：

式中

表示源域中类别为k的图片的特征的质心，

表示源域和目标域中所有被kNN 分类算法分为同一个类k₀的图片的特征的质心，综合上述内容，无监督的子类分类器可表示为：

概括来说，当S_s(x)＞θ_s时将图片x分类为源域现有的类，否则将其分类为一个全新的类。

S5、用分类后的目标域样本对通用检测器进行训练，得到目标域的专用检测器，具体包括：

S51、使用通用检测器训练目标域图片样本集，使用阈值β和阈值θ得到通用检测器的检测结果得分，其中阈值β是划分困难样本区域的中心值，阈值θ表示困难样本区域的长度，

是困难样本划分的上、下边界，根据检测结果得分将目标域图片样本集划分为三个部分：正样本集合X₊、困难样本集合X_h与负样本集合X_-，当检测得分

时，虽然训练检测器的数据的分布和测试数据的分布不同，样本x仍然得到了较高的检测得分，将其加入正样本集合X₊中，这些样本是可直接用于之后检测器训练的；当检测得分

时，样本x得到的检测得分是相当低的，且在目标域漂移问题的影响下，这些样本为待检测物体的概率是比较低的，可将其加入负样本集合X_-中，这部分负样本暂时不做任何处理；当

时，样本x得到的检测得分不高也不低。对于这些样本，我们将其加入困难样本的集合X_h中。

S52、通过使用Logistic分类器F_h(x)，即：

将目标域中的样本将被二次判断，分类器F_h(x)将会把困难样本分为“正确”与“错误”两个类别，使用“+1”与“-1”分别表示。若F_h(x)与H(x)的判断结果具有较好的一致性，即大多数样本x满足：

此时认为检测器已经有了比较好的困难样本辨认能力，即大部分的困难样本分类结果是正确的。

若困难样本集合X_h中的大部分样本x不能满足S52中的要求，将困难样本区域的长度θ做适当的增加，从而找到更多的困难样本使检测器能够得到更好的自学习结果。

S53、上述S51和S52两个部分均是在同一次训练步骤中进行的，多次迭代进行上述两个步骤即可完成通用检测器的训练，得到目标域的专用检测器。

本发明提出基于自适应域转移的无监督目标检测方法及系统，通过此方法针对特定监控场景无监督训练通用检测器，从而提高该检测器在当前场景下的检测性能。本方法不需要进行人工标注或设计目标特征提取器，整个自学习过程不需要任何人为干预，从而节省了人力物力消耗，并且不存在检测器的目标域漂移影响了实际应用效果的问题。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (3)

1.基于自适应域转移的无监督目标检测方法，其特征在于，包括：

S1、准备一个包含不同场景的有标签图片样本集的源域S，采用源域对YOLO检测器进行训练，得到通用检测器；

S2、采用通用检测器在目标域场景进行目标检测，根据通用检测器的检测置信度收集不同场景下的困难样本集，作为目标域T的无标签图片样本集；

S3、对源域进行知识迁移，以实现源域的自适应过程，具体包括：

S31、通过通用检测器的损失函数训练一个基于全连接层的二分类分类器，即域分类器d＝D(f)，以判断待输入特征来自源域还是目标域，所述损失函数是交叉熵损失，具体为：

式中J(.,.)表示交叉熵损失函数，E_x∈X[f(x)表示随机变量f(X)的数学期望，domain(x)表示的是样本图片x来自源域还是目标域，具体定义为：

最小化上述损失函数，以得到一个训练好的域分类器D(f)；

S32、根据训练好的域分类器D(f)，通过最小化域混淆损失：

以得到特征提取器f＝G(x)，再训练特征提取器f＝G(x)，使域分类器D(f)不能正确的得出域分类结果，通过多次的“训练D(f)-训练G(x)”的对抗学习步骤，得到一个域不变的特征提取器f＝G(x)，此时源域的自适应过程完成；

S4、对目标域的无标签图片样本进行分类，以对无标签图片样本添加标签，具体包括：

S41、源域的自适应过程完成后，来自源域的特征提取结果f^S＝G(x^S)与来自目标域的特征提取结果f^T＝G(x^T)的分布相同，通过源域有标签样本的监督信息训练一个特征分类器F(f)，并使用所述特征分类器F(f)预测目标域中无标签样本的类标签；使用K近邻聚类算法将步骤S32提取的若干图片的特征自动分为若干个子类，对图片的特征向量使用：

y＝F_kNN[G(x)]，

F_kNN表示K近邻聚类算法对输入图片样本集x的分类结果；

S42、使用子类特征的质心与现有源域的若干类别的质心间的距离作为判断标准，用公式表示为：

式中

表示源域中类别为k的图片的特征的质心，

表示源域和目标域中所有被kNN分类算法分为同一个类k₀的图片的特征的质心，综合上述内容，无监督的子类分类器可表示为：

当S_s(x)>θ_S时将图片x分类为源域现有的类，否则将其分类为一个全新的类。

S5、用分类后的目标域样本对通用检测器进行训练，得到目标域的专用检测器以用来进行无监督目标的检测。

2.根据权利要求1所述的基于自适应域转移的无监督目标检测方法，其特征在于，步骤S5具体包括：

S51、使用通用检测器训练目标域图片样本集，使用阈值β和阈值θ得到通用检测器的检测结果得分，其中阈值β是划分困难样本区域的中心值，阈值θ表示困难样本区域的长度，

是困难样本划分的上、下边界，根据检测结果得分将目标域图片样本集划分为三个部分：正样本集合X₊、困难样本集合X_h与负样本集合X_-，当检测得分

时加入正样本集合X₊，正样本集合X₊直接用于之后的检测器训练；当检测得分

时加入负样本集合X_-，负样本集合X_-不做任何处理；当

时加入困难样本的集合X_h中；

S52、通过使用Logistic分类器F_h(x)，即：

将目标域中的样本将被二次判断，分类器F_h(x)把困难样本分为“正确”与“错误”两个类别，使用“+1”与“-1”分别表示，若F_h(x)与H(x)的判断结果具有一致性，即样本x满足：

此时认为困难样本得到了正确的分类结果；

S53、上述S51和S52两个部分均是在同一次训练步骤中进行的，多次迭代进行上述两个步骤即可完成通用检测器的训练，得到目标域的专用检测器。

3.基于自适应域转移的无监督目标检测系统，其特征在于，包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1～2所述的任意基于自适应域转移的无监督目标检测方法。

Images