CN113469190A - 基于域适应的单阶段目标检测算法 - Google Patents

Abstract

本发明公开了一种基于域适应的单阶段目标检测算法，属于计算机视觉领域。本发明将基于深度学习的域适应方法应用在单阶段目标检测算法中的模型SW‑RFB‑SSD，以单阶段目标检测算法SSD为基本框架，结合了将全局特征进行弱对齐以及将局部特征进行强对齐的思想，使得在不大量标注数据集的情况下，依然可以在目标域数据集上有较好的检测精度。并且为了保证检测效率的同时，进一步提高物体检测的精度，还利用了不同尺度的感受野，使模型可以从训练集中学习到更丰富的特征。

Description

基于域适应的单阶段目标检测算法

技术领域

本发明涉及计算机视觉领域，具体涉及一种目标检测方法以及域适应方法。

背景技术

在目标检测技术中，深度卷积神经网络已经极大的提高了物体检测的准确率，如Liu等人提出的单阶段目标检测算法SSD(Liu W,Anguelov D,Erhan D,Szegedy C,Reed S,Fu C Y and Berg A C.2016.SSD:single shot MultiBox detector//Proceedings ofthe 14th European Conference on Computer Vision.Amsterdam:Springer:21-37)，该算法直接用卷积检测物体，同时采用深层网络输出的特征图检测小物体，浅层网络输出的特征图检测大物体，并且设置了尺度不同以及长宽比不同的先验框，以此作为预测的边界框的基准，使图像中的每个目标都可以选取到形状和大小最匹配的先验框进行预测，降低了训练难度。但目标检测任务如果要达到较高的准确率，仍然需要依赖于大量带标签的训练数据，由于在给数据制作标签时，需要为每张图像的每个物体都注释一个精确的边界框，因此制作目标检测数据集尤为繁琐，需要耗费大量的时间成本与人力成本。为了解决这个问题，已经有大量的无监督域适应方法被提出，其中大多数都是基于特征或图像的域不变对齐分布。

近些年来，使用对抗损失来对齐源域图像和目标域图像特征的无监督域适应方法已经被证明可以有效地适用于图像分类任务。对于物体检测任务，因其不仅包含了物体的定位任务，还增加了物体的分类任务，所以比图像分类任务更加复杂且要求更高。在分类任务中，物体通常处于图像的中心显著位置，且通常为单一物体，而目标检测任务通常存在物体数量众多，且物体位置与大小不一的问题。因此，目前被认可的方法为分别在局部的个体实例层面以及全局图像层面进行域适应。然而，由于源域图像和目标域图像通常有着不同的场景布局和目标组合，对局部个体实例和全局图像特征都进行强匹配会降低物体检测的精度。但是如果只是对源域图像和目标域图像局部特征比如纹理和颜色的强匹配是有意义的，因为它不会改变物体类别的语义信息。

目标检测算法已经得到了快速的发展，但它仍然有很大的提升空间，是一个非常具有挑战性的课题。如何在检测速度较快并且不大量标注数据的前提下，可以较准确的检测物体，是本发明要解决的问题。

发明内容

针对上述问题，本发明在背景技术中的单阶段目标检测算法的基础上进行改进，提出了一种无监督域适应目标检测算法。该算法以单阶段目标检测算法SSD为基本框架，结合强局部对齐和弱全局对齐组件，分别对源域以及目标域数据的局部像素特征以及整体图像水平的特征进行对齐。同时，添加了轻量级的感受野模块，利用不同尺度的感受野，进一步提高物体检测的精度。

本发明采用的技术方案如下：

一种基于域适应的单阶段目标检测算法，包括以下步骤：

S1)建立目标检测网络结构

所述目标检测网络结构，在单阶段目标检测算法SSD的基础上，将原先的Conv8、Conv9网络层替换为卷积步长为2的第二RFB感受野模块，用于增大感受野，进而增强网络特征提取能力；还添加了强局部对齐域适应组件v1、弱全局对齐的域适应组件v2、以及两个卷积步长为1的第一感受野模块RFB。

具体的：

所述强局部对齐域适应组件v1连接在基础特征提取网络VGG-16的第三个阶段的最后一个卷积层后；所述强局部对齐域适应组件v1包含顺序连接的一个梯度反转层GRL以及一个特征提取网络层Dl。

所述第一梯度反转层GRL，用于自动取反源域以及目标域数据的最小平方损失的梯度，使得网络更新的参数令源域以及目标域数据在通过该强局部对齐组件v1后，对齐输出的特征图上的每一个像素点。

所述特征提取网络层Dl，包括多个1×1的卷积层以及sigmoid网络层，sigmoid网络层用于对特征图的像素值进行归一化处理，以便于计算损失。

所述弱全局对齐组件v2连接在VGG-16第四个阶段的最后一个卷积层后；所述弱全局对齐组件v2包含依次连接的第二梯度反转层GRL以及一个特征提取网络层Dg。

所述第二梯度反转层GRL，用于自动取反源域以及目标域数据的域分类器损失的梯度，使得域分类器能够分辨出该特征属于源域还是目标域数据。

所述所述特征提取网络层Dg，包括多个3×3卷积层、一个平均池化层、以及全连接层，用于将提取的特征图转换成一个1×2的特征向量，输入到域分类器中。

所述第一感受野模块RFB分别连接在特征提取网络VGG-16的第四个阶段的最后一个卷积层，以及由VGG-16网络FC7转化而来的卷积层之后。

两个第一感受野模块RFB、两个第二感受野模块、以及Conv10-2、Conv11-2网络层的输出均输入到检测器中，得到物体边框坐标以及类别置信度；再通过非极大值抑制得到最终的物体边框坐标以及类别置信度。

所述第一、第二感受野模块RFB，均包括并列的四个分支，第一个分支由1×1卷积层和膨胀率为1的3×3卷积层组成，第二个分支由依次连接的1×1卷积层、3×3卷积层、膨胀率为3的3×3卷积层组成，第三个分支由依次连接的1×1卷积层、5×5卷积层、膨胀率为5的3×3卷积层组成，第四个分支为无具体的网络层的短接分支，最终合并所有分支输出的特征图到同一个特征空间。

其中第三个分支和第四个分支的1×1卷积层用于减少特征通道的数量，降低网络参数。

S2)计算源域数据的损失

将带标签的源域数据输入目标检测网络，分别计算单阶段目标检测算法SSD的损失、强局部对齐域适应组件v1的损失、以及弱全局对齐的域适应组件v2的损失，其中单阶段目标检测算法SSD的损失包括预测物体所属类别的损失和物体边框坐标的损失，然后将损失总和计算梯度，反向传播更新目标检测网络参数。

S3)计算目标域数据的损失

将无标签的目标域数据输入目标检测网络，仅计算强局部对齐域适应组件v1的损失和弱全局对齐的域适应组件v2的损失，然后将损失总和计算梯度，反向传播更新目标检测网络参数。

S4)重复步骤S2)和步骤S3)，直到总的损失不在下降，目标检测网络收敛，完成目标检测网络的训练。

本发明的有益效果：

本发明提出了将基于深度学习的域适应方法应用在单阶段目标检测算法中的模型SW-RFB-SSD，以单阶段目标检测算法SSD为基本框架，结合了将全局特征进行弱对齐以及将局部特征进行强对齐的思想，使得在不大量标注数据集的情况下，依然可以在目标域数据集上有较好的检测精度。并且为了保证检测效率的同时，进一步提高物体检测的精度，还利用了不同尺度的感受野，使模型可以从训练集中学习到更丰富的特征。

附图说明

图1为本发明实施例SW-RFB-SSD模型的结构示意图。

图2为本发明实施例SW组件模型的结构示意图。

图3为本发明实施例RFB模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行进一步地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本实施例中所使用的数据集分为源域数据集和目标域数据集，其中源域数据集记为D_s，D_s中的每张图片及其所对应的标签记为

目标域数据集记为D_t，D_t中的每张图片记为

本实施例由两个阶段、4个步骤组成，其中第一阶段包括步骤1，第二阶段包括步骤2至步骤4。具体地：

步骤1：建立SW-RFB-SSD目标检测网络结构；

步骤2：计算源域数据的损失；

步骤3：计算目标域数据的损失；

步骤4：重复步骤2和步骤3，直到总的损失不在下降，网络收敛。

其中步骤1建立SW-RFB-SSD网络结构的具体方法为：

步骤1.1：在单阶段目标检测算法SSD的基础上，将原有的Conv8、Conv9网络层替换为卷积步长为2的第二RFB感受野模块，用于增大感受野，进而增强网络特征提取能力。还添加了SW域适应组件，该SW域适应组件包括一个强局部对齐域适应组件v1和弱全局对齐的域适应组件一个v2。

所述v1主要用于分别对齐源域和目标域的局部像素特征，比如纹理和颜色特征。由于强局部对齐组件v1不应该改变类别的语义信息，而较低层网络提取的特征较为简单，没有特别多的语义信息，因此将v1接在基础特征提取网络VGG-16的较低层网络即第三个阶段的最后一个卷积层后。从图2中可以看出，v1的结构具体包含一个梯度反转层GRL以及一个特征提取网络层D_l，其中GRL层借鉴了对抗网络GAN的思想，用于在共享的基础特征提取网络VGG-16的参数更新之前，自动取反源域以及目标域数据的最小平方损失的梯度，使得网络更新的参数可以令源域以及目标域图片在通过该强局部对齐组件后，尽可能对齐输出的特征图上的每一个像素点。该组件中的特征提取网络层D_l为一个简单的特征提取网络，图2的(a)给出了一种D_l的具体结构，由三个依次连接的1×1卷积层和一个sigmoid网络层组成，用于提取输入特征图的特征。

所述弱全局对齐组件v2连接在VGG-16第四个阶段的最后一个卷积层后；所述弱全局对齐组件v2包含依次连接的第二梯度反转层GRL以及一个特征提取网络层Dg。

弱全局对齐组件v2主要用于对齐源域和目标域的全局图像水平的特征，由于v2的目标是根据输入到该组件的语义特征，判断该特征是属于源域还是目标域，而较高层的网络提取的特征更为抽象，含有更多的语义信息，同时添加的域适应组件需放在预测目标类别以及位置坐标的网络之前，才可以使基础特征提取网络VGG-16学习到源域和目标域数据共有的特征，因此将v2接在基础特征提取网络VGG-16的较高层网络即第四个阶段的最后一个卷积层后。从图2中可以看出，v2的结构也包含一个梯度反转层GRL以及一个特征提取网络层Dg。相似的，GRL层借鉴了对抗网络GAN的思想，主要用于在共享的特征提取网络的参数更新之前，自动取反源域以及目标域数据的域分类器损失的梯度，使得域分类器能更准确的分辨出该特征属于源域还是目标域数据。该组件中的特征提取网络层Dg也为一个简单的特征提取网络，图2的(b)给出了一种Dg的具体结构，由三个依次连接的3×3卷积层、一个平均池化层、以及一个全连接层组成，用于提取输入特征图的特征，同时将提取的特征图转换成一个1×2的特征向量，输入到域分类器中。

步骤1.2：以SSD为基本框架，添加感受野模块RFB：

感受野模块RFB利用膨胀卷积来模拟人类视网膜图中的偏心率，利用不同尺寸的卷积核模拟群智感受野pRF，同时整合它们的输出，融合各分支输出的特征图，生成最终的表示。本发明将卷积步长为1的第一感受野模块RFB添加在基础特征提取网络VGG-16的第四个阶段的最后一个卷积层以及由VGG-16网络FC7转化而来的卷积层之后。两个第一感受野模块RFB、两个第二感受野模块、以及Conv10-2、Conv11-2网络层的输出均输入到检测器中，得到物体边框坐标以及类别置信度；再通过非极大值抑制得到最终的物体边框坐标以及类别置信度。

本实施例的第一感受野模块RFB、第二感受野模块RFB的具体结构如图3所示，包括并列的四个分支，第一个分支由1×1卷积层和膨胀率为1的3×3卷积层组成，第二个分支由依次连接的1×1卷积层、3×3卷积层、膨胀率为3的3×3卷积层组成，第三个分支由依次连接的1×1卷积层、5×5卷积层、膨胀率为5的3×3卷积层组成，第四个分支为无具体的网络层的短接分支，最终合并所有分支输出的特征图到同一个特征空间。其中的1×1卷积层用于减少特征通道的数量，从而达到降低网络参数量的目的。

其中步骤2计算源域数据损失的具体做法为：

步骤2.1：计算单阶段目标检测算法SSD的损失，其计算公式如下：

其中F表示基础的特征提取网络；SR表示SSD除了特征提取网络以外的网络结构以及RFB模块；L_det表示目标检测损失的总和，包括分类的损失以及边框定位的损失；n_s表示源域样本的数量。

步骤2.2：计算强局部对齐域适应组件v1的损失

其计算公式如下：

其中x_i ^s表示源域数据的第i个样本；i的取值范围为1-n_s；h和w分别表示特征图的高和宽；F₁表示VGG-16前三个阶段的网络层。

步骤2.3：计算弱全局对齐域适应组件v2的损失

其计算公式如下：

其中γ表示调制系数，作用是通过减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本，在本实施例中将其设置为2。

步骤2.4：计算源域数据总的损失

并反向传播，更新目标检测网络参数，其计算公式如下：

其中λ表示总的域适应组件损失的权重，在本实施例中将其设置为1；D表示D_l和D_g网络层。

其中步骤3计算目标域数据损失的具体做法为：

步骤3.1：计算强局部对齐域适应组件v1的损失

其计算公式如下：

其中x_j ^t表示目标域数据的第j个样本；j的取值范围为1-n_t；n_t表示目标域样本的数量。

步骤3.2：计算弱全局对齐域适应组件v2的损失

其计算公式如下：

步骤3.3：计算目标域数据总的损失，并反向传播，更新网络参数，其计算公式如下：

由于目标域数据无目标检测任务的标签，所以目标域总的损失即为总的对抗损失。

本发明提出了将基于深度学习的域适应方法应用在单阶段目标检测算法SSD中的模型，以单阶段目标检测算法SSD为基本框架，添加了强局部对齐组件以及弱全局对齐组件，使得在不大量标注数据集的情况下，依然可以有较好的检测精度。同时为了保证检测效率的同时，进一步提高物体检测的精度，还添加了轻量级的感受野模块，使模型可以从训练集中学习到更多的特征。

Claims (4)

1.一种基于域适应的单阶段目标检测算法，其特征在于，在单阶段目标检测算法SSD的基础上，添加强局部对齐域适应组件v1、弱全局对齐的域适应组件v2，分别对源域以及目标域数据的局部像素特征以及整体图像水平的特征进行对齐。

2.如权利要求1所述的一种基于域适应的单阶段目标检测算法，其特征在于，该算法包括以下步骤：

S1)建立目标检测网络结构

所述目标检测网络结构，在单阶段目标检测算法SSD的基础上，添加强局部对齐域适应组件v1、弱全局对齐的域适应组件v2；

具体的：

所述强局部对齐域适应组件v1连接在基础特征提取网络VGG-16的第三个阶段的最后一个卷积层后；所述强局部对齐域适应组件v1包含顺序连接的一个梯度反转层GRL以及一个特征提取网络层D_l；

所述第一梯度反转层GRL，用于自动取反源域以及目标域数据的最小平方损失的梯度，使得网络更新的参数令源域以及目标域数据在通过该强局部对齐组件v1后，对齐输出的特征图上的每一个像素点；

所述特征提取网络层D_l，包括多个1×1的卷积层以及sigmoid网络层，sigmoid网络层用于对特征图的像素值进行归一化处理；

所述弱全局对齐组件v2连接在VGG-16第四个阶段的最后一个卷积层后；所述弱全局对齐组件v2包含依次连接的第二梯度反转层GRL以及一个特征提取网络层D_g；

所述第二梯度反转层GRL，用于自动取反源域以及目标域数据的域分类器损失的梯度，使得域分类器能够分辨出该特征属于源域还是目标域数据；

所述所述特征提取网络层D_g，包括多个3×3卷积层、一个平均池化层、以及全连接层，用于将提取的特征图转换成一个1×2的特征向量，输入到域分类器中；

S2)计算源域数据的损失

将带标签的源域数据输入目标检测网络，分别计算单阶段目标检测算法SSD的损失、强局部对齐域适应组件v1的损失、以及弱全局对齐的域适应组件v2的损失；其中单阶段目标检测算法SSD的损失包括预测物体所属类别的损失和物体边框坐标的损失，然后将损失总和计算梯度，反向传播更新目标检测网络参数；

S3)计算目标域数据的损失

将无标签的目标域数据输入目标检测网络，仅计算强局部对齐域适应组件v1的损失和弱全局对齐的域适应组件v2的损失，然后将损失总和计算梯度，反向传播更新目标检测网络参数；

S4)重复步骤S2)和步骤S3)，直到总的损失不在下降，目标检测网络收敛，完成目标检测网络的训练。

3.如权利要求2所述的一种基于域适应的单阶段目标检测算法，其特征在于，在所述单阶段目标检测算法SSD的基础上，将所述单阶段目标检测算法SSD中的Conv8、Conv9网络层替换为卷积步长为2的第二RFB感受野模块；还在基础特征提取网络VGG-16的第四个阶段的最后一个卷积层、以及由VGG-16网络FC7转化而来的卷积层之后，分别添加一个卷积步长为1的第一感受野模块RFB；

所述第一感受野模块RFB、第二感受野模块、以及Conv10-2、Conv11-2网络层的输出均输入到检测器中，得到物体边框坐标以及类别置信度；再通过非极大值抑制得到最终的物体边框坐标以及类别置信度。

4.如权利要求3所述的一种基于域适应的单阶段目标检测算法，其特征在于，所述第一、第二感受野模块RFB，均包括并列的四个分支，第一个分支由1×1卷积层和膨胀率为1的3×3卷积层组成，第二个分支由依次连接的1×1卷积层、3×3卷积层、膨胀率为3的3×3卷积层组成，第三个分支由依次连接的1×1卷积层、5×5卷积层、膨胀率为5的3×3卷积层组成，第四个分支为无具体的网络层的短接分支，最终合并所有分支输出的特征图到同一个特征空间。

Images