CN114419395A - 基于中间位置编码的在线目标检测模型训练方法 - Google Patents

Abstract

本发明公开了一种基于中间位置编码的在线目标检测模型训练方法。该方法首先引入中间位置编码器对输入的标签进行重编码，采用线性衰减的方式由中心点到边界点逐渐降低编码权重。然后，将需要训练的图像批次输入主干网络提取特征。通过共享检测头输出预测结果，计算预测结果与真实值之间的损失，分别反向传播到特征空间和标签空间，使空间中的参数进行梯度优化。该方法利用联合优化的方式同时更新不同空间的参数。最后，通过中间距离度量损失，减少特征空间和标签空间的差异，使模型参数趋向于稳定的分布。本发明公开的目标检测模型方法解决随机初始化网络权重带来的参数不易收敛的问题。

Description

基于中间位置编码的在线目标检测模型训练方法

技术领域

本发明涉及计算机视觉、模式识别等技术领域，主要涉及的是基于深度学习的目标检测模型训练方法，它在科研实验、智慧城市和工业检测等方面具有广泛的应用。

背景技术

目标检测是计算机视觉领域三大基础应用任务之一，目前广泛使用在安防监控、自动驾驶和工业产品检测等领域。但是目标检测模型具有参数量大、模型复杂和大模型训练时难以收敛的问题。因此一种合理的目标检测模型训练方法具有较高的实用价值和广阔的应用前景。

在过去的十几年里，深度学习模型训练方法的研究取得了一系列的进展，但是对于目标检测模型训练方法的研究仍然停留在添加预训练模型初始化模型权重的阶段，针对在线目标检测训练方法的研究领域仍然属于空白。目前，目标检测模型训练方法主要可以分为两类：基于预训练模型的方法和基于知识蒸馏的方法。基于预训练模型的方法通过在其他训练集上已经训练好的模型权重，使用初始化网络参数的方式来加快模型的训练。一些早期的基于预训练模型的方法通过图像分类模型来初始化目标检测模型参数。由于任务目标和数据集图像分布不同，参数初始化方法可能会导致负优化问题。后来随着参数初始化技术的发展，He等人在2019年提出了基于高斯分布的参数初始化方法取得了巨大的进展。

基于知识蒸馏的方法通常使用一个相较与原始模型更加复杂和有着更多参数的教师模型，目标检测模型作为学生模型，通过知识蒸馏的在线学习相关知识，完成模型训练。教师-学生网络通过迁移学习的方式，让学生网络以参数较少的模型通过知识蒸馏，学习到教师网络模型学到的知识。这种方法目前是业界一种主流的在线模型训练方法。但是这种方法仍然有较大的弊端，因为教师网络和学生网络需要特征匹配，不合适的教师网络可能训练过程不稳定，并且庞大的网络模型需要更多的超参，这对模型优化来说是不被允许的。最近，一些研究人员采用循环教师学生网络，用来解决模型的特征匹配问题。Li等人在2020年将网络设计视为特征空间搜索问题，使用NAS的方式构建整体的网络模型。通过实验证明，通过在线学习的方式，可以更好的实现迁移学习中特征对齐。

网络模型预训练技术已经取得了巨大的进展，但是在真实的应用场景下，数据集规模可能无法满足模型训练的需求，因此为了解决这种问题，提出了一种基于中间位置编码的在线目标检测模型训练方法。

发明内容

发明目的：在实际应用场景下，目标检测模型的训练不仅受到数据集大小的限制，还受制知识蒸馏教师网络的选取问题。因此本发明希望通过在线学习的方式，利用中间位置编码作为特征对齐方式，解决随机初始化网络权重带来的参数不易收敛的问题，从而使得目标检测技术能够真正落到实处，为社会发展方面节省更多的资源。

1、基于中间位置编码的在线目标检测模型训练方法，其特征在于，包括以下步骤：

步骤1.1：将训练图像数据和真实的图像标签分别输入到主干网络和自动编码器模块，在自动编码器模块进行数据编码。通过定义的自动编码器优化标签编码函数，完成标签空间的特征对齐；

步骤1.2：使用编码器得到的标签特征作为真实值与检测头预测出的结果进行检测损失的计算，同时将预测结果传入标签空间，得到标签空间损失；

步骤1.3：通过检测损失、标签空间损失的损失函数联合优化，利用深度学习反向传播策略更新参数，完成神经网络权重学习；

步骤1.4：使用训练完成的标签编码函数将标签映射到特征空间，通过中间监督损失辅助目标检测模型训练；

步骤1.5：在标签空间损失稳定后，将检测头到标签编码的反向传播部分去除，整体网络结构只通过检测损失进行参数的更新迭代；

2、根据权利要求1所述的一种基于中间位置编码的在线目标检测模型训练方法，其特征在于，所述步骤1.1中训练数据处理编码方法如下：

步骤2.1：输入图像和对应的真实标签文件；

步骤2.2：在每个图像中都包含不同数量的实例，每个实例可能有不同的类标签和边界框。对于不同尺寸的边界框，采用形状为CxHxW的张量表示，其中C代表实例所属种类，H代表特征图的长，W代表特征图的宽；

步骤2.3：对于总量含有N类物品的数据集，对于第C类的对象，将C维度的通道中包围框区域填充为正值，包围框的中心点位置的值为1，边界位置的值为0.5，权值的衰减采用线性衰减的方式；

步骤2.4：在训练中，包围框的通过乘以一个0到1之间的距离权重来增加。如果同类的两个边界框相互重叠，则计算包围框的较大值用来填充交界区域。

3、根据权利要求1中所述的一种基于中间位置编码的在线目标检测模型训练方法，其特征在于，步骤1.2中定义自动编码器标签空间损失函数的方法为：

步骤3.1：使用预训练的权重初始化编码器；

步骤3.2：定义辅助的自编码器需要一个编码函数，将真实标签映射到潜在空间中，整个的优化过程需要同时存在目标和约束中，可以看作一个层次优化问题，可以通过二次凸优化将其转化为联合优化方案，目标函数为：

其中，θ_d表示标签空间，θ_f表示特征空间，L_det表示生成的标签和真实标签之间的损失函数，λ代表权重超参，L_dis表示检测损失。

步骤3.3：通过反向传播更新编码器模块参数，包括生成位置编码和真实标签之间的距离损失L_det和检测头差异损失L_dis，分别为：

其中，X_r代表真实标签值，X_f代表生成的位置编码值，N表示样本的总数量。

其中，X_p代表预测的值，X_r表示真实值。

4、根据权利要求1中所述的基于中间位置编码的在线目标检测模型训练方法，其特征在于，步骤1.4中定义三个阶段的损失函数联合优化的方法为：

步骤4.1：要求3中学习标签编码函数后，这一部分是中间监督用来改进目标检测的训练；

步骤4.2：为了学习到真实场景包含的信息，将检测头设置为共享检测头，同时检测标签空间和特征空间的结果，其中这一部分的损失函数为检测损失，损失函数为：

其中，

表示真实样本的标签值包括真实包围框中心点坐标和真实框对应的宽高的集合，x表示预测出的包围框中心点坐标和框对应的宽高的集合。

步骤4.3：标签自动编码器需要作用在检测器网络，作用方式是通过共享检测头进行信息交互，为最小化标签空间和，信息交互的损失函数为：

其中，BN表示批量归一化，A表示特征自适应网络，x_f代表预测的值，x_r表示真实值。

步骤4.4：利用平衡系数α，β和γ平衡三个损失项的多任务范式，最终整体的损失函数为：

L＝αL_det+βL_IOU+γL_message

5、根据权利要求3所述的编码器中间监督模型，其特征在于，步骤4.3中自标签编码器的中间监督方法为：

步骤5.1：通过自标签编码器输出特征空间的编码映射，这一部分作为中间监督量辅助目标检测器的训练。为保证中间监督效果，平衡标签编码空间和特征空间的引入中间辅助损失L_message；

步骤5.2：相较于主干网络较为简单，收敛较快。当L_det趋于稳定时，可以认为此时标签自动编码器已经学习到了预定的标签编码函数，无需继续学习。为减少网络复杂度，标签自动编码器损失函数趋于稳定时，需要阻止梯度流反向传播到标签自动编码器。此时整体的损失函数为：

L＝L_IOU+0.5xL_message

当检测器损失函数趋于稳定时，目标检测网络训练完成。

本发明的有益结果：

在基础上，结合迁移学习和知识蒸馏的相关技术，提出了一种目标检测模型在线训练的解决方案，极大地提高了目标检测技术落实到实际应用中的可能性。

附图说明

图1是本发明所述的基于中间位置编码的在线目标检测模型训练方法的核心结构示意图；

图2是在线目标检测模型结构及组成示意图；

图3是带中间监督的检测器结构示意图；

图4是自编码器结构示意图；

图5是自编码器网络组成模块示意图；

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，本发明所述的基于中间位置编码的在线目标检测训练方法，具体过程如下：

步骤1：输入图像和对应的真实标签，通过自动编码器模块对标签进行自动编码结果。其中自动编码器模块模型结构如图4所示：

步骤1.1：为增强编码器模块感受野，利用1个卷积层对原始图像进行特征提取，其中卷积核大小为7x7,步幅为2。随后采用线性整流函数作为激活函数，输出通道数为128；

步骤1.2：采用6个残差网络块，进一步提取图像特征，具体结构如图2所示。第1、2个残差网络块采用两个卷积核大小为1x1，步幅为1和一个卷积核大小为3x3的卷积，步幅为2。第3个残差网络块卷积核大小同以上两个卷积核，不同点是3x3的卷积核步长为1。第四、六残差块大小同残差块1，2，第五残差块大小同残差块3，其中残差块结构如图5所示，编码器模块最终输出为2048通道的特征向量。

步骤2：将步骤1获得标签位置编码和主干网络输出的特征一起输入检测头，通过反向传播更新参数，使标签位置编码模块学习到标签编码函数，其中联合标签编码结构如图2所示；

步骤2.1：将训练图片输入主干网络，真实标签输入编码器模块，基本思想是通过定义的辅助自动编码模块学习得到一个最优化标签编码函数。标签编码函数的最小化需要同时联合目标和损失函数，属于一种层次优化问题。结合联合优化思想，定义标签的自动编码器损失函数为L1，检测头的分类损失和位置损失简化定义为L2，L3为最小化标签编码空间和特征空间之间的差值；

步骤2.2：在第一步训练编码的前提下，自动编码模块和主干网络同时共享检测头。检测头检测的结果划分为标签预测和图像预测两个部分，其中标签预测部分通过L1损失函数监督传播到标签自编码模块，图像预测部分通过L2损失监督传播到主干网络部分。标签位置编码模块和特征空间差值采用L3监督损失，为保证整体网络结构的训练，L3损失反向传播只向主干网络，不向目标编码器模块；

步骤3：选择训练完成的标签位置编码模块，将其作为中间监督来改进目标检测器的训练，其中检测模型训练结构如图4所示：

步骤3.1：取消检测头标签空间预测部分，使检测头只检测主干网络提取出的空间特征。使用一个L_d辅助损失来直接监督检测主干网络；

步骤3.2：使用训练好的标签编码器输出特征空间的编码映射，这一部分作为中间监督来改进整体的目标检测器的训练。为保证中间监督的效果，引入一个辅助损失L_a来直接监督主干网络。此时自动编码器已经学习到了预定的标签编码函数，所以需要阻止梯度流反向传播到自动标签编码器。在目标检测网络训练完成后，目标编码器可以移除；

总体而言，目标检测模型对目标数据集COCO进行训练，输入的是图像和标签，尺寸大小为448x448。自动编码器训练轮数为10，训练中的轮廓基数设置为32，对于每一个批次选择自适应矩估计作为优化器，交叉熵损失和中心损失作为损失函数。学习率设置为1e^-4。训练进行8000次迭代。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (5)

1.基于中间位置编码的在线目标检测模型训练方法，其特征在于，包括以下步骤：

步骤1.1：将训练图像数据和真实的图像标签分别输入到主干网络和自动编码器模块，在自动编码器模块进行数据编码。通过定义的自动编码器优化标签编码函数，完成标签空间的特征对齐；

步骤1.2：使用编码器得到的标签特征作为真实值与检测头预测出的结果进行检测损失的计算，同时将预测结果传入标签空间，得到标签空间损失；

步骤1.3：通过检测损失、标签空间损失的损失函数联合优化，利用深度学习反向传播策略更新参数，完成神经网络权重学习；

步骤1.4：使用训练完成的标签编码函数将标签映射到特征空间，通过中间监督损失辅助目标检测模型训练；

步骤1.5：在标签空间损失稳定后，将检测头到标签编码的反向传播部分去除，整体网络结构只通过检测损失更新迭代。

2.根据权利要求1所述的一种基于中间位置编码的在线目标检测模型训练方法，其特征在于，所述步骤1.1中训练数据处理编码方法如下：

步骤2.1：输入图像和对应的真实标签文件，在每个图像中都包含不同数量的实例，每个实例可能有不同的类标签和边界框。对于不同尺寸的边界框，采用形状为CxHxW的张量表示，其中C代表实例所属种类，H代表特征图的长，W代表特征图的宽；

步骤2.2：对于总量含有N类物品的数据集，其中第C类的对象，将C维度的通道中包围框区域填充为正值，包围框的中心点位置的值为1，边界位置的值为0.5，值的衰减采用线性衰减的方式；

步骤2.3：在训练中，包围框的通过乘以一个0到1之间的距离权重来加权。如果同类的两个边界框相互重叠，则计算包围框的较大值用来填充交界区域。

步骤2.4：编码器的组成可以分为6个残差网络块，其中自动编码器模块模型结构如图4所示，为增强编码器模块感受野，利用1个卷积层对原始图像进行特征提取，其中卷积核大小为7x7,步幅为2。随后采用线性整流函数作为激活函数，输出通道数为128。采用6个残差网络块，进一步提取图像特征，具体结构如图2所示。第1、2个残差网络块采用两个卷积核大小为1x1，步幅为1和一个卷积核大小为3x3的卷积，步幅为2。第3个残差网络块卷积核大小同以上两个卷积核，不同点是3x3的卷积核步长为1。第四、六残差块大小同残差块1，2，第五残差块大小同残差块3，其中残差块结构如图5所示，编码器模块最终输出为2048通道的特征向量。

3.根据权利要求1中所述的一种基于中间位置编码的在线目标检测模型训练方法，其特征在于，步骤1.2中定义自动编码器优化标签编码函数的方法为：

步骤3.1：使用带有预训练的权重初始化编码器；

步骤3.2：定义辅助的自编码器需要一个编码函数，将真实标签映射到潜在空间中，整个的优化过程需要同时存在目标和约束中，可以看作一个层次优化问题，可以通过二次凸优化将其转化为联合优化方案，目标函数为：

其中，θ_d表示标签空间，θ_f表示特征空间，L_det表示生成的标签和真实标签之间的损失函数，λ代表权重超参，L_dis表示检测损失。

步骤3.3：通过反向传播更新编码器模块参数，包括生成位置编码和真实标签之间的损失L_det和检测头损失L_dis，分别为：

其中，X_r代表真实标签值，X_f代表生成的位置编码值，N表示样本的总数量。

其中，X_p代表预测的值，X_r表示真实值。

4.根据权利要求1中所述的基于中间位置编码的在线目标检测模型训练方法，其特征在于，步骤1.4中定义三个阶段的损失函数联合优化的方法为：

步骤4.1：要求3中学习标签编码函数后，这一部分是中间监督用来改进目标检测的训练。为了学习到真实场景包含的信息，将检测头设置为共享检测头，同时检测标签空间和特征空间的结果，其中这一部分的损失函数为检测损失，损失函数为：

步骤4.2：为了学习到真实场景包含的信息，将检测头设置为共享检测头，同时检测标签空间和特征空间的结果，其中这一部分的损失函数为检测损失，损失函数为：

其中，

表示真实样本的标签值包括真实包围框中心点坐标和真实框对应的宽高的集合，x表示预测出的包围框中心点坐标和框对应的宽高的集合。

步骤4.3：标签自动编码器需要作用在检测器网络，作用方式是通过共享检测头进行信息交互，为最小化标签空间和，信息交互的损失函数为：

其中，BN表示批量归一化，A表示特征自适应网络，x_f代表预测的值，x_r表示真实值。

步骤4.4：利用平衡系数α，β和γ平衡三个损失项的多任务范式，最终整体的损失函数为：

L＝αL_det+βL_IOU+γL_message

5.根据权利要求3所述的编码器中间监督模型，其特征在于，步骤4.3中标签自动编码器的中间监督方法为：

步骤5.1：通过标签自动编码器输出特征空间的编码映射，这一部分作为中间监督量辅助目标检测器的训练。为保证中间监督效果，平衡标签编码空间和特征空间的引入中间辅助损失L_message；

步骤5.2：相较于主干网络较为简单，收敛较快。当L_det趋于稳定时，可以认为此时标签自动编码器已经学习到了预定的标签编码函数，无需继续学习。为减少网络复杂度，标签自动编码器损失函数趋于稳定时，需要阻止梯度流反向传播到标签自动编码器。此时整体的损失函数为：

L＝L_IOU+0.5xL_message

当检测器损失函数趋于稳定时，目标检测网络训练完成。

Images