CN115100542A - 基于半监督学习和可变形卷积的输电塔遥感目标检测方法 - Google Patents

Abstract

本发明公开基于半监督学习和可变形卷积的输电塔遥感目标检测方法，所述方法包括：采集输电塔卫星遥感图片,构建已标注数据集和未标注数据集；构建基于可变形卷积的输电塔遥感目标检测模型；通过训练和验证得到基于已标注数据集的输电塔遥感目标检测模型；基于已标注数据集的输电塔遥感目标检测模型，对未标记数据集中的图片进行检测，得到未标记数据集的伪标签；针对已标注数据集和带伪标签的未标注数据集进行共同训练和验证，获得最优的输电塔遥感目标检测模型；基于最优的输电塔遥感目标检测模型，对卫星遥感图片中输电塔进行检测，并计算目标检测精度。本方法更准确地检测出输电塔目标，提高了输电塔勘测效率。

Description

基于半监督学习和可变形卷积的输电塔遥感目标检测方法

技术领域

本发明属于电力勘测和输变电技术领域，尤其涉及一种基于半监督学习和可变形卷积的输电塔遥感目标检测方法。

背景技术

输电塔分布地区广泛且地貌复杂，传统的输电塔勘测耗费大量人力物力，卫星遥感技术的快速发展为实现输电塔的高效稳定勘测提供了新的途径。通过遥感技术可以快速获取一定区域内包含输电塔的大量图片，这可以满足输电塔快速勘测的要求，但是由于遥感图片的成像特点以及输电塔目标本身稀疏的结构特点，造成从输电塔遥感图片中定位并识别输电塔类别非常困难，亟需研究提高输电塔遥感目标定位和识别精度的方法。因此，本发明提出一种基于半监督学习和可变形卷积的输电塔遥感目标检测方法，克服遥感图片进行定位识别输电塔类别的困难，提高输电塔遥感目标检测精度。

发明内容

为了提高输电塔遥感目标定位和识别的精度，本发明提出一种基于半监督学习和可变形卷积的输电塔遥感目标检测方法，提高输电塔遥感目标检测精度。

基于半监督学习和可变形卷积的输电塔遥感目标检测方法，所述检测方法包括以下步骤：

步骤1、采集待检测区域范围内的输电塔卫星遥感图片，将卫星遥感图片进行分割，构建输电塔遥感图片的已标注数据集和未标注数据集；

步骤2、构建基于可变形卷积的输电塔遥感目标检测模型；

步骤3、通过训练和验证得到基于已标注数据集的输电塔遥感目标检测模型；

步骤4、基于已标注数据集的输电塔遥感目标检测模型，对未标记数据集中的图片进行检测，得到未标记数据集的伪标签；

步骤5、将已标注数据集和带伪标签的未标注数据集进行合并进行共同训练和验证，对基于已标注数据集的输电塔遥感目标检测模型进行优化，获得最优的输电塔遥感目标检测模型；

步骤6、基于最优的输电塔遥感目标检测模型，将卫星遥感图片经过尺寸缩放和像素归一化后输入到最优的输电塔遥感目标检测模型中获得每张图片中的输电塔位置以及类别信息，并对最优的输电塔遥感目标检测模型检测结果计算平均精度均值mAP分数和准确率进而获取目标检测精度。

进一步地，所述步骤1构建输电塔遥感图片的已标注数据集和未标注数据集的方法为：

步骤11、采集待检测空间区域范围内的卫星遥感原始图片；

步骤12、将卫星遥感原始图片分割成W×H像素的小尺寸图片，得到汇总的图片集D；

步骤13、通过专家系统确定待检测空间区域范围内输电塔的种类及典型图片；

步骤14、将图片集D中专家能够明确判别种类的输电塔目标使用矩形框标注位置并标注输电塔塔形类别，汇总形成已标注数据集D₁，将已标注数据集D₁内的数据按照n:1的比例划分为训练集T₁和验证集V₁，剩余专家无法判别种类的输电塔目标图片不标注，直接汇总形成未标注数据集D₂；

步骤15，对T₁和V₁使用数据增强方法进行数据增强，得到增强后的增强训练集T₁₁和增强验证集V₁₁，T₁₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_i,y_i)}、V₁₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_j,y_j)}，其中x_i∈R^3×600×600代表第i张输入图片，R代表实数，R^3×600×600表示大小为3×600×600的实数空间，y_i＝{(c_i1,l_i1,t_i1,w_i1,h_i1)₁，(c_i2,l_i2,t_i2,w_i2,h_i2)₂，…，(c_iN,l_iN,t_iN,w_iN,h_iN)_N}是标签，N代表第i张输入图片中输电塔目标的个数，c_ij∈Z代表第i张输入图片中第j个输电塔的种类对应的编号，l_ij,t_ij,w_ij,h_ij∈R分别代表第i张输入图片中第j个输电塔的矩形标注框的左上角横坐标、左上角纵坐标、矩形框的宽、矩形框的高,增强训练集T₁₁和增强验证集V₁₁共同组合得到增强后的已标注数据集D₁₁。

进一步地，所述步骤2中所述构建基于可变形卷积的输电塔遥感目标检测模型，具体包括以下步骤：

步骤21、构建目标检测模型的输入模块，输入模块中包括图片尺寸缩放和像素值归一化；

步骤22、构建目标检测模型的特征提取模块，特征提取模块包括主干特征提取网络和使用可变形卷积构建的加强特征提取网络；

步骤23、构建目标检测模型的输出模块，输出模块包括分类网络、位置回归网络和非极大抑制操作。

进一步地，所述步骤3中已标注数据集的输电塔遥感目标检测模型的获取方法具体为：

使用增强训练集T₁₁和增强验证集V₁₁训练步骤2中的基于可变形卷积的输电塔遥感目标检测模型，训练中使用迁移学习的方法，使用预训练权重初始化模型权重，在开始的p轮先冻结主干特征提取模块的权重，然后再解冻所有权重继续训练q轮结束，获得基于已标注数据集的输电塔遥感目标检测模型。

进一步地，步骤4中未标记数据集的伪标签的获取方式包括以下步骤：

步骤41、将步骤1中未标注数据集D₂送入步骤3中得到的基于已标注数据集的输电塔遥感目标检测模型中进行检测得到相应伪标签；

步骤42、对带有伪标签的未标注数据集D₂使用离线数据增强方法得到扩充后的带有伪标签的未标注数据集D₂₂。

进一步地，步骤5中最优的输电塔遥感目标检测模型的具体获取方式为：

步骤51：将步骤3中的增强训练集T₁₁和步骤4得到的扩充后的带有伪标签的未标注数据集D₂₂合并为T₁₂，将T₁₂作为训练最优模型的训练集，验证集仍为增强验证集V₁₁；

步骤52：使用T₁₂作为训练集，V₁₁作为验证集，训练中使用迁移学习的方法，使用预训练权重初始化模型权重，在开始的e轮先冻结主干特征提取模块的权重，然后再解冻所有权重继续训练f轮结束，获得最优的输电塔遥感目标检测模型。

进一步地，步骤12中所述W×H为600×600。

进一步地，所述步骤14中所述n:1的比例为3:1的比例。

进一步地，步骤15中所述数据增强方法包括使用了平移、剪切、亮度变换、加噪声、随机旋转、随机镜像6种数据增强方法。

进一步地，所述mAP分数及准确率的计算过程如下：

Precision表示计算精度和Recall表示召回率，其中TP代表真阳性(样本的真实类别是正类，并且模型识别的结果也是正类)，FP代表假阳性(样本的真实类别是负类，但是模型将其识别为正类)，FN代表假阴性(样本的真实类别是正类，但是模型将其识别为负类)；

式(3)计算一类的AP平均精度，式(4)对所有类的AP取均值得到平均精度均值mAP，准确率计算如式(5)，其中TN代表真阴性：

Accuracy表示准确率。

其中，mAP分数为Mean Average Precision，平均精度均值。

有益效果：本发明的输电塔遥感目标检测方法，综合考虑了遥感图片的成像特点，将半监督学习和可变形卷积应用于输电塔遥感目标的检测，更准确地检测出遥感图片中的输电塔目标，提高了输电塔勘测效率。

附图说明

图1是本发明输电塔遥感目标检测方法步骤流程图；

图2是本发明可变形卷积的结构；

图3是本发明输电塔遥感目标检测模型的结构；

图4、本发明实施例2中的铁塔类型；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1

如图1所示的基于半监督学习和可变形卷积的输电塔遥感目标检测方法，具体步骤包括：

步骤1：采集既定空间区域范围内的卫星遥感图片，将图片分割成600×600像素的小尺寸图片，得到汇总的图片集D。通过专家系统确定输电塔的种类及典型图片，图片集D中只包含专家能够明确判别种类的输电塔目标的图片标注完成后放入已标注数据集D₁中，将D₁按照3：1的比例划分为训练集T₁和验证集V₁，其余包含专家无法判别种类的输电塔目标图片无须标注直接放入未标注数据集D₂中。对T₁和V₁使用数据增强方法，得到增强后的训练集T₁₁和增强后的验证集V₁₁。T₁₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_i,y_i)}、V₁₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_j,y_j)}，其中x_i∈R^3×600×600代表第i张输入图片，y_i＝{(c_i1,l_i1,t_i1,w_i1,h_i1)₁，(c_i2,l_i2,t_i2,w_i2,h_i2)₂，…，(c_iN,l_iN,t_iN,w_iN,h_iN)_N}是标签，N的取值是自然数代表第i张图片中输电塔目标的个数，c_ij∈Z代表第i张输入图片中第j个输电塔的种类对应的编号，l_ij,t_ij,w_ij,h_ij∈R分别代表第i张输入图片中第j个输电塔的矩形标注框的左上角横坐标、左上角纵坐标、矩形框的宽、矩形框的高,增强训练集T₁₁和增强验证集V₁₁共同组合得到增强后的已标注数据集D₁₁。

步骤2：构建目标检测模型的输入模块，其中包括图片尺寸缩放和像素值归一化。构建目标检测模型的特征提取模块，其中包括主干特征提取网络EfficientNet-b1和使用可变形卷积构建的加强特征提取网络(GD-BiFPN)。构建目标检测模型的输出模块，其中包括分类网络、位置回归网络以及非极大抑制操作。

步骤3：使用增强训练集T₁₁和增强验证集V₁₁训练模型，训练使用了迁移学习的方法，使用预训练权重初始化模型权重，在开始的50轮先冻结主干特征提取模块的权重，然后再解冻所有权重继续训练100轮结束，得到基于已标注数据集的输电塔遥感目标检测模型。

步骤4：将未标注数据集D₂送入基于已标注数据集的输电塔遥感目标检测模型中进行推理得到相应伪标签。对带有伪标签的未标注数据集D₂使用离线数据增强方法得到扩充后的带有伪标签的未标注数据集D₂₂。

步骤5：将步骤3中的训练集T₁₁和步骤4得到的扩充后的带有伪标签的未标注数据集D₂₂合并为T₁₂作为训练最终模型的训练集，验证集仍为V₁₁。使用V₁₁作为训练集，V₁₁作为验证集，同样使用迁移学习的方法，使用预训练权重初始化模型权重，在开始的50轮先冻结主干特征提取模块的权重，然后再解冻所有权重继续训练100轮结束，获得最终的输电塔遥感目标检测模型。

步骤6：将测试图片经过尺寸缩放和像素归一化后输入到最终的输电塔遥感目标检测模型中，即可获得每张图片中的输电塔位置以及类别信息。对各个模型的检测结果计算mAP分数和准确率。

mAP分数计算过程如下：

式(1)和式(2)分别是计算精度和召回率，其中TP代表真阳性，FP代表假阳性，FN代表假阴性。

式(3)计算一类的AP分数，式(4)对所有类的AP取均值得到mAP分数

准确率计算如式(5)，其中TN代表真阴性。

实施例2

将本发明所提出的检测方法运用到具体实验中，数据来源于电网提供的某区域的卫星遥感图片，分割后获得的图片集中总共有1000张图片，其中包含5种类型的输电塔，其中一种塔仅在15张图片中出现，数量太少，不够训练模型，因此将这15张图片剔除，模型只检测4种主要类型的输电塔，这4种塔如下图所示，编号分别为tower-1、tower-2、tower-3、tower-4。

实例验证具体为：

步骤1：采集待检测空间区域范围内的卫星遥感图片，将图片分割成600×600像素的小尺寸图片。通过专家系统确定输电塔的种类及典型图片，将图片集D中只包含专家能够明确判别种类的输电塔目标图片标注完成后放入已标注数据集D₁中，从D₁中随机抽取183张图片作为测试集R后，D₁中一共还有758张图片，其余包含专家无法判别种类的输电塔目标图片无须标注直接放入未标注数据集D₂中，D₂中一共有44张图片。将D₁按照3：1的比例划分为训练集T₁和验证集V₁，T₁包含603张图片，V₁包含155张图片。对T₁和V₁使用平移、剪切、亮度变换、加噪声、随机旋转、随机镜像6种数据增强方法，加上原图，数据集扩充为原来7倍，得到增强训练集T₁₁和增强验证集V₁₁，其中T₁₁包含4221张图片，V₁₁包含1085张图片。

步骤2：构建目标检测模型的输入模块，其中包括图片尺寸缩放和像素值归一化，图片尺寸缩放是将图片从600×600放大到640×640。构建目标检测模型的特征提取模块，其中包括主干特征提取网络和使用可变形卷积构建的加强特征提取网络(GD-BiFPN)，主干特征提取网络使用EfficientNet-b1网络。构建目标检测模型的输出模块，其中包括分类网络、位置回归网络以及非极大抑制操作。

步骤3：使用增强训练集T₁₁和增强验证集V₁₁训练模型，训练使用了迁移学习的方法，使用预训练权重初始化模型权重，在开始的50轮先冻结主干特征提取模块的权重，然后再解冻所有权重继续训练100轮结束，得到基于已标注数据集的输电塔遥感目标检测模型。

步骤4：将未标注数据集D₂送入基于已标注数据集的输电塔遥感目标检测模型中进行检测得到相应伪标签，这一过程可以适当的修正模型给出的检测结果。对带有伪标签的未标注数据集D₂使用离线数据增强方法得到扩充后的带有伪标签的未标注数据集D₂₂。

步骤5：将步骤3中的增强训练集T₁₁和步骤4得到的扩充后的带有伪标签的未标注数据集D₂₂合并为T₁₂作为训练最终模型的训练集，验证集仍为V₁₁。使用T₁₂作为训练集，V₁₁作为验证集，同样使用迁移学习的方法，使用预训练权重初始化模型权重，在开始的50轮先冻结主干特征提取模块的权重，然后再解冻所有权重继续训练100轮结束，获得最优输电塔遥感目标检测模型。

步骤6：将测试集R经过尺寸缩放到模型需要的尺寸和像素值归一化后输入到最优输电塔遥感目标检测模型中，即可输出检测结果。如下图所示：其中蓝色代表真实位置和种类，红色代表检测出的位置和种类以及置信度。可以看出，对于tower-1、tower-2、tower-3类型的输电塔，其影子特征比较明显，检测结果的置信度都比较高，而tower-4特征比较单调，因此比较难检测，不过也有较高置信度。

通过对比YOLOV4以及Faster-rcnn模型可以说明ENGD-BiFPN(EfficientNetGrouped Deformable BiFPN)模型的优势。表1是ENGD-BiFPN、YOLOV4以及Faster-rcnn三种模型检测性能的对比，可以看出ENGD-BiFPN模型在mAP分数和准确率指标上表现都很好。

表1模型结果对比

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (10)

1.基于半监督学习和可变形卷积的输电塔遥感目标检测方法，其特征在于，所述检测方法包括以下步骤：

步骤1、采集待检测区域范围内的输电塔卫星遥感图片，将卫星遥感图片进行分割，构建输电塔遥感图片的已标注数据集和未标注数据集；

步骤2、构建基于可变形卷积的输电塔遥感目标检测模型；

步骤3、通过训练和验证得到基于已标注数据集的输电塔遥感目标检测模型；

步骤4、基于已标注数据集的输电塔遥感目标检测模型，对未标记数据集中的图片进行检测，得到未标记数据集的伪标签；

步骤5、将已标注数据集和带伪标签的未标注数据集进行合并进行共同训练和验证，对基于已标注数据集的输电塔遥感目标检测模型进行优化，获得最优的输电塔遥感目标检测模型；

步骤6、基于最优的输电塔遥感目标检测模型，将卫星遥感图片经过尺寸缩放和像素归一化后输入到最优的输电塔遥感目标检测模型中获得每张图片中的输电塔位置以及类别信息，并对最优的输电塔遥感目标检测模型检测结果计算平均精度均值mAP分数和准确率进而获取目标检测精度。

2.根据权利要求1所述的基于半监督学习和可变形卷积的输电塔遥感目标检测方法，其特征在于，所述步骤1构建输电塔遥感图片的已标注数据集和未标注数据集的方法为：

步骤11、采集待检测空间区域范围内的卫星遥感原始图片；

步骤12、将卫星遥感原始图片分割成W×H像素的小尺寸图片，得到汇总的图片集D；

步骤13、通过专家系统确定待检测空间区域范围内输电塔的种类及典型图片；

步骤14、将图片集D中专家能够明确判别种类的输电塔目标使用矩形框标注位置并标注输电塔塔形类别，汇总形成已标注数据集D₁，将已标注数据集D₁内的数据按照n:1的比例划分为训练集T₁和验证集V₁，剩余专家无法判别种类的输电塔目标图片不标注，直接汇总形成未标注数据集D₂；

步骤15，对T₁和V₁使用数据增强方法进行数据增强，得到增强后的增强训练集T₁₁和增强验证集V₁₁，T₁₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_i,y_i)}、V₁₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_j,y_j)}，其中x_i∈R^3×600×600代表第i张输入图片，R代表实数，R^3×600×600表示大小为3×600×600的实数空间，y_i＝{(c_i1,l_i1,t_i1,w_i1,h_i1)₁，(c_i2,l_i2,t_i2,w_i2,h_i2)₂，…，(c_iN,l_iN,t_iN,w_iN,h_iN)_N}是标签，N代表第i张输入图片中输电塔目标的个数，c_ij∈Z代表第i张输入图片中第j个输电塔的种类对应的编号，l_ij,t_ij,w_ij,h_ij∈R分别代表第i张输入图片中第j个输电塔的矩形标注框的左上角横坐标、左上角纵坐标、矩形框的宽、矩形框的高,增强训练集T₁₁和增强验证集V₁₁共同组合得到增强后的已标注数据集D₁₁。

3.根据权利要求1所述的基于半监督学习和可变形卷积的输电塔遥感目标检测方法，其特征在于，所述步骤2中所述构建基于可变形卷积的输电塔遥感目标检测模型，具体包括以下步骤：

步骤21、构建目标检测模型的输入模块，输入模块中包括图片尺寸缩放和像素值归一化；

步骤22、构建目标检测模型的特征提取模块，特征提取模块包括主干特征提取网络和使用可变形卷积构建的加强特征提取网络；

步骤23、构建目标检测模型的输出模块，输出模块包括分类网络、位置回归网络和非极大抑制操作。

4.根据权利要求1所述的基于半监督学习和可变形卷积的输电塔遥感目标检测方法，其特征在于，所述步骤3中已标注数据集的输电塔遥感目标检测模型的获取方法具体为：

使用增强训练集T₁₁和增强验证集V₁₁训练步骤2中的基于可变形卷积的输电塔遥感目标检测模型，训练中使用迁移学习的方法，使用预训练权重初始化模型权重，在开始的p轮先冻结主干特征提取模块的权重，然后再解冻所有权重继续训练q轮结束，获得基于已标注数据集的输电塔遥感目标检测模型。

5.根据权利要求1所述的基于半监督学习和可变形卷积的输电塔遥感目标检测方法，其特征在于，步骤4中未标记数据集的伪标签的获取方式包括以下步骤：

步骤41、将步骤1中未标注数据集D₂送入步骤3中得到的基于已标注数据集的输电塔遥感目标检测模型中进行检测得到相应伪标签；

步骤42、对带有伪标签的未标注数据集D₂使用离线数据增强方法得到扩充后的带有伪标签的未标注数据集D₂₂。

6.根据权利要求1所述的基于半监督学习和可变形卷积的输电塔遥感目标检测方法，其特征在于，步骤5中最优的输电塔遥感目标检测模型的具体获取方式为：

步骤51：将步骤3中的增强训练集T₁₁和步骤4得到的扩充后的带有伪标签的未标注数据集D₂₂合并为T₁₂，将T₁₂作为训练最优模型的训练集，验证集仍为增强验证集V₁₁；

步骤52：使用T₁₂作为训练集，V₁₁作为验证集，训练中使用迁移学习的方法，使用预训练权重初始化模型权重，在开始的e轮先冻结主干特征提取模块的权重，然后再解冻所有权重继续训练f轮结束，获得最优的输电塔遥感目标检测模型。

7.根据权利要求2所述的基于半监督学习和可变形卷积的输电塔遥感目标检测方法，其特征在于，步骤12中所述W×H为600×600。

8.根据权利要求2所述的基于半监督学习和可变形卷积的输电塔遥感目标检测方法，其特征在于，所述步骤14中所述n:1的比例为3:1的比例。

9.根据权利要求2所述的基于半监督学习和可变形卷积的输电塔遥感目标检测方法，其特征在于，步骤15中所述数据增强方法包括使用了平移、剪切、亮度变换、加噪声、随机旋转、随机镜像6种数据增强方法。

10.根据权利要求1-9任一所述的基于半监督学习和可变形卷积的输电塔遥感目标检测方法，其特征在于，所述mAP分数及准确率的计算过程如下：

Precision表示计算精度和Recall表示召回率，其中TP代表真阳性，FP代表假阳性，FN代表假阴性；

式(3)计算一类的AP平均精度，式(4)对所有类的AP取均值得到平均精度均值mAP，

准确率计算如式(5)，其中TN代表真阴性：

Accuracy表示准确率。

Images