CN113256594B - 基于区域特征度量学习的小样本模型生成及焊缝检测方法 - Google Patents

Abstract

本发明公开了基于区域特征度量学习的小样本模型生成及焊缝检测方法，包括离线阶段和在线阶段，离线阶段，即小样本模型生成方法包括：S1：将焊缝样本图像数据集构造为小样本任务集合；S2：使用小样本任务集合训练目标检测模型；所述在线阶段包括：S3：加载训练后的目标检测模型；S4：将待测焊缝画面输入目标检测模型；S5：使用目标检测模型预测画面中的焊缝；本发明利用距离度量和元学习方法，通过改变目标检测模型及训练阶段参数优化策略，使模型可基于少量焊缝样本更快地完成训练，提高了目标检测方法在小样本焊缝上的检测准确率。

Description

基于区域特征度量学习的小样本模型生成及焊缝检测方法

技术领域

本发明涉及计算机视觉领域，尤其是涉及基于区域特征度量学习的小样本模型生成及焊缝检测方法。

背景技术

焊缝广泛存在于储罐、船舶等工业设备的钢结构中，为了保持这类设备的结构稳定可靠，需要定期进行焊缝探伤作业，及时发现焊缝缺陷并进行维护。现有的焊缝探伤作业通常由人工完成，人工作业精度较为依赖相关人员的操作经验，且易因重复探测或漏测降低作业效率。

因此，使用机器人替代人工进行无人焊缝探伤作业，可以提高作业精度与效率，并可将作业拓展至高空、高温、狭小空间等极端环境。为了实现无人焊缝探伤作业，需使机器人具备对焊缝目标的视觉检测功能。

目前，类似的目标检测任务通常使用基于深度学习的目标检测算法，通过卷积神经网络提取图像特征并对其中的目标进行分类，如Faster R-CNN、SSD等。这类目标检测算法通常需要大规模的训练数据，常见训练深度神经网络的数据集，如PASCAL VOC、COCO等，各类待测目标均有超过1000张训练样本。随着训练数据数量减少，算法的性能也会显著下降。在焊缝检测任务中，存在部分焊缝较为少见、样本不足的现象，且随着设备的日常使用，焊缝表面形态也会发生变化，因此需要使目标检测算法具备基于少量焊缝样本训练并检测待测焊缝的功能。

发明内容

为解决现有技术的不足，实现提升焊缝检测准确率的目的，本发明采用如下的技术方案：

基于区域特征度量学习的小样本模型生成方法，包括如下步骤：

S1：将焊缝样本图像数据集构造为小样本任务集合，包括如下步骤：

S11：从焊缝样本图像数据集中获取基类；

S12：将一组基类图像及其标签输入目标检测模型，作为模板图像；

S13：将剩余的基类图像及其标签输入目标检测模型，作为支持集；

S14：从支持集的各类中，抽取1张图像作为问题集，计算目标检测模型在问题集上的损失函数值；

S2：使用小样本任务集合训练目标检测模型，包括如下步骤：

S21：输入：任务分布，训练步长超参数α、β，随机初始化模型参数θ；

S22：开始外循环，根据任务分布，采集任务，初始化问题集，在任务中，输入模板图像和支持集；

S23：开始任务内循环，根据模板图像、支持集和训练步长超参数α，优化模型参数θ，并在任务中，采样用于元学习的数据点，加入问题集，结束任务内循环，元学习的好处是模型更关注在新任务中的学习速度，而不是针对某一任务的精度；

S24：基于问题集与训练步长超参数β，更新模型参数θ，结束外循环。

进一步地，所述S22中，从任务分布p(T)中采样任务T _n ，n∈[1,N]表示任务编号，N表示任务总数，初始化问题集D _n ’={x ^(m),y ^(m)}，在任务T _n 中，输入一批图像样本D=D ₁ +D ₂ ，其中D ₁ ={x ⁽ⁱ⁾,y ⁽ⁱ⁾}，i∈[1,p]表示模板图像，即包含所有待预测目标类别的样本，D ₂ ={x ^(j),y ^(j)}，j∈[1,q]表示支持集，即不包含所有待预测目标类别的样本。

进一步地，所述S23包括如下步骤：

S231：开始任务T _n 内循环；

S232：开始第一内循环，将x ⁽ⁱ⁾输入网络，并映射到嵌入空间中成为嵌入向量v _i,k ，k=y ⁽ⁱ⁾表示x ⁽ⁱ⁾所属类别，x表示焊缝样本图像，y表示焊缝样本图像的类别标签，i∈[1,p]；

S233：取同一类样本中对应的嵌入向量，平均嵌入向量为标准向量v _k =v _1,k +···+v _α,k ，结束第一内循环；

S234：开始第二内循环，将特征向量x ^(j)输入网络，并通过嵌入向量映射到嵌入空 间中，计算待预测目标o _j,k 对应的嵌入向量v _j,k 与各类的标准向量v _k 间的距离d _j,k =Similarity{v _k ,v _j,k }，令

作为嵌入向量v _j,k 对应类别k的得分，对于所有的类别，s _v,k =min(s _k ) k∈[1,K]即为嵌入向量v _j,k 的分类得分，若s _v,k ≤s _threshold ，则将嵌入向量v _j,k 对应的特征区域标记为s _v,k 对应的类别k，s _threshold 为得分阈值，o _j,k 是类别标签y ⁽ⁱ⁾的具体待 预测目标，如果v _k 与v _j,k 的距离不是最近，v _j,k 会被分错类，但这也是可接受的，反映到损失 函数就是损失函数变大了，在模型参数更新时，会根据损失函数减小的方向来更新；

S235：基于d _j,k 、预测结果、真实结果，计算损失函数

；

S236：基于损失函数

和训练步长超参数α，优化模型参数θ；

S237：在任务T _n 中，采样用于元学习的数据点，加入问题集D _n ’={x ^(m),y ^(m)}，结束第二内循环；

S238：结束任务T _n 内循环。

进一步地，所述S235中，对于任务T _n ，计算损失函数

，其中

表示分类损失函数，

表示边界框回归损失函 数，λ ₁ 、λ ₂ 分别表示分类损失函数与边界框回归损失函数的权重系数，t _o 与t _o ’分别表示预测 结果与真实结果，c _x 、c _y 、w、h、a分别表示预测结果的中心横坐标、纵坐标、宽度、长度与角度 值。

进一步地，所述S236中，基于梯度下降法，计算优化后的模型参数

，f _θ 表示参数为θ时模型的输出，▽ _θ 表示

的梯度。

进一步地，所述S24：基于问题集D _i ’与训练步长超参数β，更新模型参数

，结束外循环。

进一步地，所述S1中的焊缝样本图像数据集，是通过焊缝样本图像，并标注样板图像中的待预测焊缝目标位置，构建的焊缝样本数据集。

进一步地，所述S11，将焊缝样本图像数据集分为基类和新类，基类用于训练，新类用于测试。

进一步地，所述S2中，训练并更新目标检测模型参数，并阶段性保存模型。

基于区域特征度量学习的小样本焊缝检测方法，包括离线阶段和在线阶段，所述离线阶段，包括如下步骤：

S1：将焊缝样本图像数据集构造为小样本任务集合，包括如下步骤：

S11：从焊缝样本图像数据集中获取基类；

S12：将一组基类图像及其标签输入目标检测模型，作为模板图像；

S13：将剩余的基类图像及其标签输入目标检测模型，作为支持集；

S14：从支持集的各类中，抽取1张图像作为问题集，计算目标检测模型在问题集上的损失函数值；

S2：使用小样本任务集合训练目标检测模型，包括如下步骤：

S21：输入：任务分布，训练步长超参数α、β，随机初始化模型参数θ；

S22：开始外循环，根据任务分布，采集任务，初始化问题集，在任务中，输入模板图像和支持集；

S23：开始任务内循环，根据模板图像、支持集和训练步长超参数α，优化模型参数θ，并在任务中，采样用于元学习的数据点，加入问题集，结束任务内循环，元学习的好处是模型更关注在新任务中的学习速度，而不是针对某一任务的精度；

S24：基于问题集与训练步长超参数β，更新模型参数θ，结束外循环；

所述在线阶段，包括如下步骤：

S3：加载训练后的目标检测模型；

S4：使用摄像设备将捕捉的待测焊缝画面，并输入目标检测模型；

S5：使用目标检测模型预测画面中的焊缝，并将焊缝位置信息发送至机器人等设备。

本发明的优势和有益效果在于：

本发明在焊缝样本数量较少时，改善基于深度学习的目标检测算法训练效果，以避免自动化设备在焊缝样本不足时检测准确率较低的问题；本发明降低目标检测模型在少量焊缝样本上过拟合的程度，提升在线检测阶段的准确率；本发明有效降低操作人员的任务难度与工作量，人工仅需采集样本并标注焊缝位置标签，程序自动完成离线训练与在线检测任务。

附图说明

图1为本发明的目标检测模型生成方法流程图。

图2为本发明中小样本任务集合构造示意图。

图3a为本发明的小样本焊缝检测效果图（一）。

图3b为本发明的小样本焊缝检测效果图（二）。

图3c为本发明的小样本焊缝检测效果图（三）。

图3d为本发明的小样本焊缝检测效果图（四）。

图3e为本发明的小样本焊缝检测效果图（五）。

图3f为本发明的小样本焊缝检测效果图（六）。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明的基于区域特征度量学习的小样本焊缝检测方法，包括离线训练阶段和在线检测阶段，所述的离线训练阶段包括以下步骤：

S1：利用摄像设备拍摄焊缝图像，并标注图像中的焊缝位置，制作焊缝数据集；

S2：初始化目标检测模型参数，设置学习率；

S3：将焊缝样本构造为小样本任务集合；

S4：使用小样本任务集合训练目标检测模型；

S5：训练模型并更新模型参数，阶段性保存模型；

所述的在线检测阶段包括以下步骤：

S6：加载训练后的目标检测模型；

S7：使用摄像设备捕捉待测焊缝画面，并输入目标检测模型；

S8：使用目标检测模型预测画面中的焊缝，如图3a-图3f所示，并将焊缝位置信息发送至机器人等设备；

具体地，所述的步骤S3包括以下子步骤，如图2所示：

S3-1：区分（焊缝样本）基类与新类，例如，在VOC数据集的20个目标种类中，随机选择5个类别作为新类，将剩下15个类别作为基类；

S3-2：将基类对应的基类数据集按照为15张一批输入目标检测模型，作为模板图像；

S3-3：将剩余的基类图像及其标签作为支持集输入目标检测模型；

S3-4：对支持集的各类抽取1张图像作为问题集，计算目标检测模型在问题集上的损失函数值。

具体地，所述的步骤S4包括以下子步骤，如图1所示：

S4-1：输入：任务分布p(T)，训练步长超参数α、β，随机初始化模型参数θ；

S4-2：开始外循环，i∈[1,n]：

S4-3：从任务分布p(T)中采样任务T _n ，初始化集合D _n ’={x ^(m),y ^(m)}，在任务T _n 中，输入一批图像样本D=D ₁ +D ₂ ，其中D ₁ ={x ⁽ⁱ⁾,y ⁽ⁱ⁾}，i∈[1,p]，D ₂ ={x ^(j),y ^(j)}，j∈[1,q]，D ₁ 需包含所有待预测目标类别的样本，D ₂ 不需包含所有待预测目标类别的样本；

S4-4：开始任务T _n 内循环：

S4-5：开始第一内循环，将x ⁽ⁱ⁾输入网络，并映射到嵌入空间中成为嵌入向量v _i,k ，k=y ⁽ⁱ⁾表示x ⁽ⁱ⁾所属类别；

S4-6：取同一类样本中对应的嵌入向量平均向量为标准向量v _k =v _1,k +···+v _α,k ，结束第一内循环；

S4-7：开始第二内循环，j∈[1,q]：

S4-8：将x ^(j)输入网络，并通过嵌入向量映射到嵌入空间中，计算目标o _j,k 对应的嵌 入向量v _j,k 与各类的标准向量v _k 间的距离d _j,k =Similarity{v _k ,v _j,k }，令

作为嵌 入向量v _j,k 对应类别k的得分，对于所有的类别，s _v,k =min(s _k ) k∈[1,K]即为嵌入向量v _j,k 的 分类得分，若s _v,k ≤s _threshold ，，则将嵌入向量v _j,k 对应的特征区域标记为s _v,k 对应的类别k，s _threshold 为得分阈值，o _j,k 是类别标签y ⁽ⁱ⁾的具体待预测目标，如果v _k 与v _j,k 的距离不是最近，v _j,k 会被分错类，但这也是可接受的，反映到损失函数就是损失函数变大了，在模型参数更 新时，会根据损失函数减小的方向来更新；

S4-9：对于任务T _n ，计算损失函数

，其中

表示 分类损失函数，

表示边界框回归损失函数，λ ₁ 、λ ₂ 分别表示分类 损失函数与边界框回归损失函数的权重系数，t _o 与t _o ’分别表示预测结果与真实结果，c _x 、c _y 、w、h、a分别表示预测结果的中心横坐标、纵坐标、宽度、长度与角度值；

S4-10：基于梯度下降法计算优化后的模型参数：

；

S4-11：在任务T _n 中，采样用于元学习的数据点，加入集合D _n ’={x ^(m),y ^(m)}，结束第二内循环；

S4-12：结束任务T _n 内循环；

S4-13：基于数据集D _i ’与训练步长超参数β，更新模型参数

；

S4-14：结束外循环。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.基于区域特征度量学习的小样本模型生成方法，其特征在于包括如下步骤：

S1：将样本图像数据集构造为小样本任务集合，包括如下步骤：

S11：从样本图像数据集中获取基类；

S12：将一组基类图像及其标签输入目标检测模型，作为模板图像；

S13：将剩余的基类图像及其标签输入目标检测模型，作为支持集；

S14：从支持集的各类中，抽取图像作为问题集；

S2：使用小样本任务集合训练目标检测模型，包括如下步骤：

S21：输入：任务分布，训练步长超参数α、β，随机初始化模型参数θ；

S22：开始外循环，根据任务分布，采集任务，初始化问题集，在任务中，输入模板图像和支持集；

S23：开始任务内循环，根据模板图像、支持集和训练步长超参数α，优化模型参数θ，并在任务中，加入问题集，结束任务内循环；

S24：基于问题集与训练步长超参数β，更新模型参数θ，结束外循环。

2.根据权利要求1所述的基于区域特征度量学习的小样本模型生成方法，其特征在于所述S22中，从任务分布p(T)中采样任务T _n ，n∈[1,N]表示任务编号，N表示任务总数，初始化问题集D _n ’={x ^(m),y ^(m)}，在任务T _n 中，输入D=D ₁ +D ₂ ，其中D ₁ ={x ⁽ⁱ⁾,y ⁽ⁱ⁾}，i∈[1,p]表示模板图像，即包含待预测目标类别的样本，D ₂ ={x ^(j),y ^(j)}，j∈[1,q]表示支持集，即不包含待预测目标类别的样本。

3.根据权利要求2所述的基于区域特征度量学习的小样本模型生成方法，其特征在于所述S23包括如下步骤：

S231：开始任务T _n 内循环；

S232：开始第一内循环，将x ⁽ⁱ⁾输入网络，并映射到嵌入空间中成为嵌入向量v _i,k ，k=y ⁽ⁱ⁾表示x ⁽ⁱ⁾所属类别，x表示样本图像，y表示样本图像的类别标签，i∈[1,p]；

S233：取同一类样本中对应的嵌入向量，平均嵌入向量为标准向量v _k =v _1,k +···+v _α,k ，结束第一内循环；

S234：开始第二内循环，将x ^(j)输入网络，并通过嵌入向量映射到嵌入空间中，计算待预 测目标o _j,k 对应的嵌入向量v _j,k 与各类的标准向量v _k 间的距离d _j,k =Similarity{v _k ,v _j,k }，令

作为嵌入向量v _j,k 对应类别k的得分，对于所有的类别，s _v,k =min(s _k ) k∈[1,K]， 若s _v,k ≤s _threshold ，则将嵌入向量v _j,k 对应的特征区域标记为s _v,k 对应的类别k，s _threshold 为得 分阈值，o _j,k 是类别标签y ⁽ⁱ⁾的具体待预测目标；

S235：基于d _j,k 、预测结果、真实结果，计算损失函数L _Tn ；

S236：基于损失函数L _Tn 和训练步长超参数α，优化模型参数θ；

S237：在任务T _n 中，加入问题集D _n ’={x ^(m),y ^(m)}，结束第二内循环；

S238：结束任务T _n 内循环。

4.根据权利要求3所述的基于区域特征度量学习的小样本模型生成方法，其特征在于 所述S235中，对于任务T _n ，计算损失函数

，其中

表示 分类损失函数，

表示边界框回归损失函数，λ ₁ 、λ ₂ 分别表示分类 损失函数与边界框回归损失函数的权重系数，t _o 与t _o ’分别表示预测结果与真实结果，c _x 、c _y 、w、h、a分别表示预测结果的中心横坐标、纵坐标、宽度、长度与角度值。

5.根据权利要求3所述的基于区域特征度量学习的小样本模型生成方法，其特征在于 所述S236中，基于梯度下降法，计算优化后的模型参数

，f _θ 表示参数为θ时 模型的输出，▽ _θ 表示L _Tn 的梯度。

6.根据权利要求2所述的基于区域特征度量学习的小样本模型生成方法，其特征在于 所述S24：基于问题集D _i ’与训练步长超参数β，更新模型参数

，结束外 循环。

7.根据权利要求1所述的基于区域特征度量学习的小样本模型生成方法，其特征在于所述S1中的样本图像数据集，是通过样本图像，并标注样板图像中的待预测目标位置，构建的焊缝样本数据集。

8.根据权利要求1所述的基于区域特征度量学习的小样本模型生成方法，其特征在于所述S11，将样本图像数据集分为基类和新类，基类用于训练，新类用于测试。

9.根据权利要求1所述的基于区域特征度量学习的小样本模型生成方法，其特征在于所述S2中，训练并更新目标检测模型参数，并保存模型。

10.基于区域特征度量学习的小样本焊缝检测方法，包括离线阶段和在线阶段，其特征在于所述离线阶段，包括如下步骤：

S1：将焊缝样本图像数据集构造为小样本任务集合，包括如下步骤：

S11：从焊缝样本图像数据集中获取基类；

S12：将一组基类图像及其标签输入目标检测模型，作为模板图像；

S13：将剩余的基类图像及其标签输入目标检测模型，作为支持集；

S14：从支持集的各类中，抽取图像作为问题集；

S2：使用小样本任务集合训练目标检测模型，包括如下步骤：

S21：输入：任务分布，训练步长超参数α、β，随机初始化模型参数θ；

S22：开始外循环，根据任务分布，采集任务，初始化问题集，在任务中，输入模板图像和支持集；

S23：开始任务内循环，根据模板图像、支持集和训练步长超参数α，优化模型参数θ，并在任务中，加入问题集，结束任务内循环；

S24：基于问题集与训练步长超参数β，更新模型参数θ，结束外循环；

所述在线阶段，包括如下步骤：

S3：加载训练后的目标检测模型；

S4：将待测焊缝画面输入目标检测模型；

S5：使用目标检测模型预测画面中的焊缝。

Images