CN113781404A - 基于自监督预训练的道路病害检测方法和系统 - Google Patents

Abstract

本发明公开了一种基于自监督预训练的道路病害检测方法，其中，方法包括：充分利用所有数据，根据其数据变换的方式形成伪标签，利用伪标签对特征提取器进行预训练，然后将特征提取器参数迁移到有监督模型中，利用带真实标注的病害数据对模型的参数进行更新，最后用于道路病害分类。该方法可以根据不同的场景使用不同的特征提取器和分类器。本发明还包括实施一种基于自监督预训练的道路病害检测方法的系统。本发明将自监督预训练的框架引入到交通道路检测领域，解决了道路病害样本稀缺带来的监督信息不足问题，从而能够提升病害检测准确率。

Description

基于自监督预训练的道路病害检测方法和系统

技术领域

本发明涉及交通病害检测领域，具体涉及一种基于自监督预训练的道路病害检测方法和系统。

背景技术

随着道路交通的高速发展，大量的道路在使用过程中会受到各种自然环境的影响，例如雨雪，高温，冰冻等等影响；同时也存在道路的超载以及未进行定期维护的问题，导致道路经常出现各种病害，例如在路表出现横裂，龟裂。为了保障道路车辆的安全运行以及延长道路的使用寿命，道路病害检测与识别技术起到了十分重要的作用。而基于人工判别的病害检测非常依赖于个人的经验水平，同时无法长时间保持较高的分类准确率，另外也无法做到实时性。

随着目前深度学习的发展，采用基于深度学习算法的自动检测手段最近都开始逐步应用到道路病害检测领域当中。深度学习方法其优异的性能非常依赖于大量带标注的样本进行训练，但在交通领域，由于存在数据采集困难，标注成本较高的问题，使得可用的标记数据少。因此面对交通领域常见的标注数据不足，深度学习模型中的大量参数由于得到不充分的监督信息，非常容易对小样本数据产生的过拟合现象，使在进行病害预测时性能严重下降。

发明内容

本发明针对上述交通小样本带来的监督信息缺乏而导致深度学习模型表现不足的问题，提出的一种基于自监督预训练的道路病害检测方法和系统。

本发明通过设计自监督任务来充分利用所有数据(无论是否带有人工标注)，学习所有交通样本本身中更多的有用特征,包括语义信息。再将自监督任务训练的特征提取器参数迁移到有监督模型中，利用带标注的交通数据进行模型的微调，最终可以提高小样本情景下交通病害预测的性能。

本发明所采用的技术方案如下：

基于自监督预训练的道路病害检测方法，包括如下步骤：

1、构造自监督辅助任务：给定所有的样本集合为{X}，在一系列的数据变换操作集合中选取C_self种变换，记为{T}。将选取的数据变换操作应用于所有的样本，得到了变换操作后的样本集合{X'}，其中X'＝T_i(X),i＝{0,1,2,…,(C_self-1)}。同时将根据变换操作的类型设置样本集合{X'}对应的伪标签{Y'}，其中某一个样本对应的伪标签y_j'＝i,i＝{0,1,2,…,(C_self-1)}；

2、预训练模型：利用步骤1中得到的数据集对给定的特征提取器和分类器进行训练，使用如下的目标函数来更新其中的参数：

其中，F(x_j；θ)表示特征提取器，x_j为数据变换后的样本，G_self(w)表示使用的分类器，loss()表示损失函数，y_j'为样本使用的数据变换方式，即伪标签。

3、参数保存：保存步骤(2)中得到的预训练参数；

4、训练有监督模型：直接加载步骤(3)中保存的参数，对于按照病害类别分类的原始数据集进行特征提取，根据真实病害标注对特征提取器参数进行训练，使用如下的目标函数来更新其中的参数：

其中，

表示特征提取器，

为给定带病害类别标记的样本，G_sup(w)表示使用的分类器，loss()表示损失函数，y_j为样本所属真实病害类别。

5、预测病害：利用上述训练好的模型对病害样本进行分类，通过如下的公式预测病害类别：

可选地，步骤(1)中的数据变换包括但不限于旋转、翻转、裁剪、亮度对比度变换等操作；

可选地，步骤(2)、(4)中，使用的分类器包括但不限于全连接分类器，原型网络分类器和余弦相似度分类器。

可选地，步骤(2)、(4)中，使用的特征提取器是相同的，分类器可以进行更换。

可选地，步骤(2)、(4)中，使用的损失函数包括但不限于交叉熵损失。

可选地，步骤(2)、(4)中，进行梯度反向传播，对特征提取器和分类器中可学习参数进行更新。

可选地，步骤(4)中，在训练结束后如有新的标注样本，能继续进行训练，更新参数。

实施本发明的一种基于自监督预训练的道路病害检测方法的系统，其特征在于：包括依次连接的自监督辅助任务构造模块、模型预训练模块、参数保存模块、有监督模型训练模块、病害预测模块。

本发明的有益效果是，相比使用原始数据集直接训练，本发明提出的基于自监督预训练的道路病害检测方法的系统能够在标注样本缺乏情况下，补充监督信息，从而提升病害检测准确率。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明实施例所提供的基于自监督预训练的道路病害检测方法的流程图。

图2是本发明实施例所提供的基于自监督预训练的道路病害检测方法的总体框架图。

图3是本发明实施例所提供的基于自监督预训练的道路病害检测方法在有监督训练阶段验证数据集上的分类准确率对比折线图。

具体实施方式

下面详细描述本发明的实施案例，所述实施例的示例在附图中示出。参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

图1为根据本发明一个实施例的总体流程图；

如图1所示，该基于自监督预训练的道路病害检测方法包括以下步骤：

S110：对于使用的整个无标注的表观病害数据集，对每个样本分别进行数据变换操作：旋转0°，90°，180°和270°，根据旋转角度不同，形成相应的伪标签，得到分为四类的新数据集。按照比例划分数据集，其中训练集占90％，验证集占10％；

S120：利用S110中得到的新数据集对特征提取器和分类器进行训练，使用全连接层作为分类器，预测验证集样本的旋转角度，根据预测结果，更新参数。分别使用不同的特征提取器，包括但不限于：GoogLeNet，ResNet，DenseNet；

具体来说，以上自监督预训练阶段，包括：

若给定一个特征提取器F(θ)，其中θ是该特征提取器参数，则自监督预训练的任务即是训练特征提取器F(θ)来预测样本数据变换的方式。假设经过特征提取后，其使用的分类器记为G_self(w)，其中w是该分类器参数。自监督通过优化如下的目标函数来对特征提取器F(θ)进行预训练：

式中，F(x_j；θ)表示特征提取器，其中θ为该特征提取器参数，x_j为数据变换后的样本，G_self(w)表示使用的分类器，其中w是该分类器参数，loss()表示损失函数，y_j'为样本使用的数据变换方式，即伪标签。

S130：保存S120中在验证集上效果最好模型的参数，得到的预训练参数；

S140：对于有病害类别标注的表观病害数据集，将按照比例划分数据集，其中训练集占90％，验证集占10％，同时加载在S130中保存的特征提取器参数，利用训练集上真实的病害标签对特征提取器和分类器参数进行更新，保存其在验证集上效果最好的参数；

S150：分别使用不同的分类器，包括但不限于：原型网络，余弦距离和全连接层，对于S140中得到的参数对于未知样本进行分类，预测其病害类别。

具体来说，以上有监督微调阶段，包括：

将在自监督预训练得到的特征提取器参数θ进行迁移，同时由于自监督分类与有监督分类的类别经常会存在着不同，使用新的分类器G_sup(w)代替原来的分类器G_self(w)。若给定带标记的样本集合为{x^L}，其对应的真实病害标签为{Y_L}，则有监督训练过该优化如下的目标函数来对特征提取器F(θ)进行微调：

式中，

表示特征提取器，其中θ为该特征提取器参数，

为给定带病害类别标记的样本，G_sup(w)表示使用的分类器，其中w是该分类器参数，loss()表示损失函数，y_j为样本所属真实病害类别。

对于给定某输入样本为x_j，通过特征提取器F(θ)得到了一个特征向量为：x_j＝F(x_j；θ)∈R^d×1，d为输出维度，

表示通过分类器预测出的标签。经过特征提取器提取病害特征后，使用的分类器G(w)包括但不限于以下的分类器：

对于全连接分类器，有：

式中，W∈R^C×d表示全连接分类器中的可学习参数，C为需要预测的类别数。

对于原型网络分类器，有：

式中，

表示第i个类数据对应的原型(即类中心)，#(y_j＝i)表示标签为i的样本数量，W∈R^C×d表示原型网络分类器中的可学习参数，Dis(,)表示欧式距离。

对于余弦相似度分类器，有：

式中，w_i∈W＝{w₀，w₁，…，w_C}∈R^C×d表示余弦相似度分类器中的可学习参数，cos(,)表示余弦相似度。

在设定好特征提取器F(θ)后和分类器G后，可以得到预测的病害类别：

在训练过程中，设定好损失函数后，进行梯度反向传播，对特征提取器和分类器中可学习参数进行更新。例如采用交叉熵作为损失，其具体计算如下：

本发明可以根据不同的场景使用不同的特征提取器和分类器。本发明将自监督预训练的框架引入到交通道路检测领域，解决了道路病害样本稀缺带来的监督信息不足问题，从而能够提升病害检测准确率。

实施本发明的一种基于自监督预训练的道路病害检测方法和系统，包括依次连接的自监督辅助任务构造模块、模型预训练模块、参数保存模块、有监督模型训练模块、病害预测模块，上述5个模块分别对应步骤S110～S150的内容。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。例如使用其他的数据变换方式、特征提取器、分类器、损失函数等等。

Claims (8)

1.一种基于自监督预训练的道路病害检测方法，其特征在于，在进行公路表观病害图像识别过程中，依次含有以下步骤：

步骤(1)、构造自监督辅助任务：给定所有的样本集合为{X}，在一系列的数据变换操作集合中选取C_self种变换，记为{T}；将选取的数据变换操作应用于所有的样本，得到了变换操作后的样本集合{X'}，其中X'＝T_i(X),i＝{0,1,2,…,(C_self-1)}；同时将根据变换操作的类型设置样本集合{X'}对应的伪标签{Y'}，其中某一个样本对应的伪标签y′_j＝i,i＝{0，1，2，…，(C_self-1)}；

步骤(2)、预训练模型：利用步骤(1)中得到的数据集对给定的特征提取器和分类器进行训练，使用如下的目标函数来更新其中的参数：

其中，F(x_j；θ)表示特征提取器，x_j为数据变换后的样本，G_self(w)表示使用的分类器，loss()表示损失函数，y′_j为样本使用的数据变换方式，即伪标签；

步骤(3)、参数保存：保存步骤(2)中得到的预训练参数；

步骤(4)、训练有监督模型：直接加载步骤(3)中保存的参数，对于按照病害类别分类的原始数据集进行特征提取，根据真实病害标注对特征提取器参数进行训练，使用如下的目标函数来更新其中的参数：

其中，

表示特征提取器，

为给定带病害类别标记的样本，G_sup(w)表示使用的分类器，loss()表示损失函数，y_j为样本所属真实病害类别；

步骤(5)、预测病害：利用上述训练好的模型对病害样本进行分类，通过如下的公式预测病害类别：

2.根据权利要求1所述的基于自监督预训练的道路病害检测方法，其特征在于，步骤(1)中的数据变换包括旋转、翻转、裁剪、亮度和对比度变换操作。

3.根据权利要求1所述的基于自监督预训练的小样本道路病害检测方法，其特征在于，步骤(2)、步骤(4)中，使用的分类器包括全连接分类器，原型网络分类器和余弦相似度分类器。

4.根据权利要求1所述的基于自监督预训练的小样本道路病害检测方法，其特征在于，步骤(2)、步骤(4)中，使用的特征提取器是相同的。

5.根据权利要求1所述的基于自监督预训练的小样本道路病害检测方法，其特征在于，步骤(2)、步骤(4)中，损失函数使用交叉熵损失。

6.根据权利要求1所述的基于自监督预训练的小样本道路病害检测方法，其特征在于，步骤(2)、步骤(4)中，进行梯度反向传播，对特征提取器和分类器中可学习参数进行更新。

7.根据权利要求1所述的基于自监督预训练的小样本道路病害检测方法，其特征在于，步骤(4)中，在训练结束后如有新的标注样本，能继续进行训练，更新其中的参数。

8.实施如权利要求1所述的一种基于自监督预训练的道路病害检测方法的系统，其特征在于：包括依次连接的自监督辅助任务构造模块、模型预训练模块、参数保存模块、有监督模型训练模块、病害预测模块。

Images