CN114266971A - 一种基于关键点的弱监督遥感图像飞机检测方法 - Google Patents

一种基于关键点的弱监督遥感图像飞机检测方法 Download PDF

Info

Publication number
CN114266971A
CN114266971A CN202111562488.3A CN202111562488A CN114266971A CN 114266971 A CN114266971 A CN 114266971A CN 202111562488 A CN202111562488 A CN 202111562488A CN 114266971 A CN114266971 A CN 114266971A
Authority
CN
China
Prior art keywords
remote sensing
detection
sensing image
airplane
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111562488.3A
Other languages
English (en)
Inventor
方舟
罗子娟
李雪松
缪伟鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202111562488.3A priority Critical patent/CN114266971A/zh
Publication of CN114266971A publication Critical patent/CN114266971A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种基于关键点的弱监督遥感图像飞机检测方法,包括,基于关键点构建飞机的分割掩码标注,再将原始遥感影像切割成小幅影像,将分割掩码标注映射至小幅影像;联合飞机检测框标注与分割掩码标注,训练目标检测模型;测试阶段,采用相同方法,将原始遥感影像切割成小幅影像,将小幅影像依次送入训练后的检测模型,得到检测结果;将检测结果坐标还原至原始遥感影像,基于置信度排序,通过非最大值抑制过滤重复检测结果,形成最终检测结果。本发明大幅度减少了标注工作量,且具有更好的检测F1值,同时在测试中,可以预测飞机的分割掩码。

Description

一种基于关键点的弱监督遥感图像飞机检测方法
技术领域
本发明涉及一种遥感图像飞机检测方法,特别是一种基于关键点的弱监督遥感图像飞机检测方法。
背景技术
通过遥感图像对机场中飞机进行准确的检测识别,在机场实时监控、管理方面有着重要的作用。近年来,深度学习技术在计算机视觉领域迅速发展,目标检测问题更是其中最重要的任务之一,并且在一些自然图像数据集上已经达到了极高的准确率、召回率和F1值(F1 score即:
Figure RE-GDA0003517395140000011
),因此深度学习算法也常被用于检测遥感影像中的飞机等目标。
目前,基于深度学习的目标检测算法主要分为以区域卷积神经网络 Region-Convolutional Neural Network(R-CNN)系列为代表的双阶段目标检测算法例如FasterRCNN,Mask RCNN和以单次图像多目标检测器Single Shot Multibox Detector(SSD)、单次图像You Only Look Once(YOLO)系列为代表的单阶段目标检测算法。双阶段检测算法先通过区域生成网络RPN产生大量候选区域,再将候选区域送入神经网络预测其目标的位置信息和类别概率,其目标检测的精确率较高,因此在背景复杂,且画幅较大的遥感图像中双阶段模型通常具有更好的检测效果。另一方面,随着Mask RCNN的提出,在训练过程中采用检测框标注与实例分割掩码标注的方法被各种检测模型采用,例如折叠掩码区域卷积神经网络Cascade Mask RCNN,混合任务卷积神经网络Hybrid Task RCNN等等,并被证明可以显著提升目标检测准确率。然而由于分割掩码标注极其昂贵,大部分自构建数据集并不包含分割掩码标注,因此这类方法难以使用。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种基于关键点的弱监督遥感图像飞机检测方法。
为了解决上述技术问题,本发明公开了一种基于关键点的弱监督遥感图像飞机检测方法。
一种基于关键点的弱监督遥感图像飞机检测方法,包括以下步骤:
步骤1,根据原始遥感图像上的飞机关键点坐标标注,构建飞机分割掩码标注;
步骤2,将原始宽幅遥感图像切割成小幅统一尺寸的遥感图像,形成小幅遥感影像集,将步骤1中所述飞机分割掩码标注的坐标映射至小幅统一尺寸遥感图像;
步骤3,采用基于检测框标注与分割掩码标注的遥感图像飞机检测模型,基于上述检测框标注与分割掩码标注,训练遥感图像飞机检测模型;
步骤4,将待检测的遥感图像切割成小幅遥感图像集输入步骤3中所述训练后的遥感图像飞机检测模型,得到飞机检测结果,即检测框坐标,将检测框坐标还原至原始遥感图像,基于置信度,采用非最大值抑制的方法过滤重复检测的检测框,得到最终的检测框坐标信息。
本发明中步骤1包括:
步骤1-1,所述飞机关键点坐标包括:飞机头部关键点坐标(x1,y1)、右机翼端关键点坐标(x2,y2)、飞机尾部关键点坐标(x3,y3)、左机翼端关键点坐标(x4,y4)和机翼连接处关键点坐标(x5,y5);连接飞机头部关键点与尾部关键点,生成头尾线段,连接左机翼端关键点与机翼连接处关键点,生成左翼线段,连接右机翼端关键点与机翼连接处关键点,生成右翼线段;
步骤1-2,将步骤1-1中所述头尾线段,左翼线段,右翼线段拓展成矩形,分别对应于机身含机尾部分、左机翼部分和右机翼部分,拓展方向垂直于上述线段;
步骤1-3,将机身含机尾部分、左机翼部分和右机翼部分合并,生成飞机分割掩码,提取分割掩码边界轮廓关键点,得到分割掩码边界轮廓关键点坐标。
本发明步骤2中,将原始遥感图像以滑框的方式,切割成尺寸统一的小幅图像,小幅图像长x与宽y相等,重叠区域长度为z。
本发明步骤1-3中飞机分割掩码边界轮廓关键点坐标映射至小幅图像,作为遥感图像飞机检测模型的训练标注。
本发明步骤3中,采用基于检测框标注与分割掩码标注的目标检测模型,推断过程中,模型同时预测目标的检测框坐标,以及目标的分割掩码。
本发明中步骤3所述训练过程中,遥感图像飞机检测模型同时预测图像中所有飞机目标的检测框位置坐标与分割结果,分别计算坐标损失函数与分割损失函数后相加,再进行反向传播,更新模型参数。
本发明中步骤4包括:
步骤4-1,将待检测图像按滑框方式切割成小幅图像集,尺寸归一化,获得归一化图像;
步骤4-2,将所述归一化图像依次送入遥感图像飞机检测模型,得到飞机检测结果,即检测框坐标与分割掩码;
步骤4-3,将所述飞机检测框坐标还原至原始遥感图像,基于置信度,采用非最大值抑制的方法过滤重复检测的检测框,即当检测框重叠面积超过阈值时,保留置信度最高的,得到最终飞机检测结果。
本发明步骤4-3中,将飞机检测结果坐标(x,y,w,h),还原至原始遥感图像坐标,其中(xi,yi)为第i个小幅影像起始点在原始遥感图像的坐标(x,y)是飞机检测框在小幅图像中的坐标,(w,h)是检测框的长宽,(x′,y′)是还原后,飞机检测框在原图中的坐标;
(x′,y′,w,h)=(x+xi,y+yi,w,h)。
本发明步骤4-3中,将坐标还原的检测框按置信度大小从高到底排序,形成检测框列表,并对检测框列表进行筛选。对检测框列表进行筛选的方法为:选取置信度最高的检测框box0,计算其与剩余检测框覆盖区域面积大小Intersectioni,以及覆盖区域占比Ioui
Figure RE-GDA0003517395140000031
Figure RE-GDA0003517395140000032
占比大于预设定阈值θ时,将该检测框从检测框列表中移除,依次对检测框列表中的检测框筛选,得到最终检测结果。
有益效果:
(1)本发明提出的一种基于关键点的弱监督遥感图像飞机检测方法采用关键点生成分割掩码标注,相比于基于检测框标注与分割掩码标注的检测模型,此方法为弱监督学习,大幅度减少了标注工作量。相比于基于单检测框标注的检测模型,此方法提升多尺度飞机目标检测的F1值,同时在推断过程中,模型可以提供检测飞机的分割掩码。
(2)本方法具有通用性,在其他图像、视频刚体目标检测任务中,采用此方法进行目标检测就可以在标注受限的情况下,选取现有最好的(StateofTheArt)基于检测框标注与分割掩码标注的检测模型架构,并使用预训练模型。相比于基于单检测框标注的检测模型,基于检测框标注与分割掩码标注的检测模型通常具有更好的检测准确率,并且采用预训练模型后,准确率会进一步提升。
(3)本发明提出的基于关键点的弱监督遥感图像飞机检测方法具有强泛化能力,能处理多分辨率的遥感图像;
(4)本发明提出的基于关键点的弱监督遥感图像飞机检测方法鲁棒性提高,可以处理遥感图像中的云雾遮挡,低分辨率等噪声干扰。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/ 或其他方面的优点将会变得更加清楚。
图1为工作流程框架示意图。
图2为具体工作流程示意图。
图3为滑框切割示意图。
图4为飞机分割掩码标注生成示意图。
图5为目标检测模型架构示意图。
图6为检测结果筛选过滤示意图。
具体实施方式
首先基于关键点构建飞机的分割掩码标注,再将原始遥感图像切割成小幅影像,将检测框标注与分割掩码标注映射至小幅影像;联合飞机标注框与分割掩码标注,训练目标检测模型;测试阶段,采用同样的方式,将宽幅图像切割成小幅影像,将小幅影像依次送入训练后的检测模型,得到检测结果;将检测框坐标还原至原始图像,通过非最大值抑制,根据检测框置信度与重叠面积大小过滤重复检测结果,形成最终检测结果。
本发明提供了一种基于关键点的弱监督遥感图像飞机检测方法,包括如下步骤:
步骤1,根据飞机关键点标注,构建飞机分割掩码标注;
步骤2,将原始宽幅遥感图像切割成小幅统一尺寸的遥感图像,形成小幅影像集,将所述飞机分割掩码标注坐标映射至小幅统一尺寸遥感图像;
步骤3,采用基于检测框标注与分割掩码标注的遥感图像飞机检测模型,基于上述检测框标注与分割掩码标注,训练遥感图像飞机检测模型分割掩码标注;
步骤4,将待检测的遥感图像切割成小幅遥感图像集输入步骤3中所述训练后的遥感图像飞机检测模型,得到飞机检测结果,即检测框坐标,将检测框坐标还原至原始遥感图像,基于置信度,采用非最大值抑制的方法过滤重复检测的检测框,得到最终的检测框坐标信息。
进一步地,在一种实现方式中,所述步骤1包括:
步骤1-1,所述关键点包括:飞机头部(x1,y1)、右机翼端(x2,y2)、飞机尾部(x3,y3)、左机翼端(x4,y4)和机翼连接处(x5,y5);连接飞机头部与尾部关键点,生成线段1,连接左机翼端与机翼连接处关键点,生成线段2,连接右机翼端与机翼连接处关键点,生成线段3;
步骤1-2,将线段1,线段2,线段3拓展成矩形,分别对应于机身部分(包含机尾)、左机翼部分、右机翼部分,拓展方向垂直于线段,矩形宽度由数据集决定;
步骤1-3,将机身部分、左机翼部分、右机翼部分合并,生成飞机分割模板,提取分割模板边界轮廓关键点(a0,b0,………,ai,bi,………)作为分割掩码标注。
进一步地,在一种实现方式中,所述步骤2中包括:
步骤2-1,由于原始遥感图像通常画幅较大,通常在10000ⅹ10000以上,难以匹配现有检测模型架构,因此将原始遥感图像以滑框的方式,切割成尺寸统一的小幅切割图像集,每张小幅图像长宽相等(x=y),常用的遥感影像目标检测模型输入图像的大小为512ⅹ512或1000ⅹ1000左右。由于小幅图像尺寸固定,部分目标会被切割成两部分,因此设定相邻两张小幅切割图像具有一定的重叠区域,重叠区域长度为z,保证完整的目标会出现在至少一张小幅切割图像中。
步骤2-2,将飞机检测框标注与分割掩码标注坐标映射至小幅图像,作为目标检测模型训练标注。
进一步地,在一种实现方式中,所述步骤3包括:
步骤3-1,采用现有基于检测框标注与分割掩码标注的目标检测模型,推断过程中模型同时输出预测目标的检测框坐标以及目标的分割掩码;
步骤3-2,训练过程中,模型同时预测图像中所有飞机目标检测框坐标与分割结果,检测框位置坐标预测为回归问题,采用L1或者L2损失函数,分割预测为分类问题,采用交叉熵损失函数,分别计算坐标损失函数与分割损失函数后相加,再进行反向传播更新模型参数。
进一步地,在一种实现方式中,所述步骤4包括:
步骤4-1,将测试遥感图像按上述滑框方式切割成小幅影像,小幅影像长宽相等且与训练时一样,获得归一化图像;
步骤4-2,将所述归一化图像依次送入遥感图像目标检测模型,得到飞机检测结果包括检测框坐标与分割掩码;
步骤4-3,将所述飞机检测结果坐标还原至原始图像,基于置信度,采用非最大值抑制的方法过滤重复检测的检测框,即当检测框重叠面积超过阈值时,保留置信度最高的,得到最终飞机检测结果;
进一步地,在一种实现方式中,所述步骤4-3包括:
步骤4-3-1,将飞机检测结果(x,y,w,h),还原至原始遥感图像坐标,如下所示,(xi,yi)为第i个小幅影像起始点在原始遥感图像的坐标。
(x′,y′,w,h)=(x+xi,y+yi,w,h)
步骤4-3-2,将坐标还原的检测框按置信度大小从高到底排序,形成检测框列表,首先选取列表中置信度最高的检测框box0,计算其与剩余检测框覆盖区域面积大小Intersectioni,以及覆盖区域占比IoUi
Figure RE-GDA0003517395140000061
Figure RE-GDA0003517395140000062
如果占比大于设定阈值θ,即将该检测框从检测框列表中移除。依次类推对列表中的检测框进行过滤筛选,得到检测结果,即为遥感影像最终检测结果。
实施例
实施例公开一种基于关键点的弱监督遥感图像飞机检测方法,本方法应用于遥感图像中的多尺度飞机目标检测任务。
如图1所示,为本实施例提供的一种基于关键点的弱监督遥感图像飞机检测方法的工作流程框架示意图。本实施例提供的一种基于关键点的弱监督遥感图像飞机检测方法,包括如下步骤:
步骤1,根据飞机关键点标注,构建飞机分割掩码标注;
步骤2,将原始宽幅遥感图像切割成小幅统一尺寸的遥感图像,形成小幅影像集,将所述飞机分割掩码标注坐标映射至小幅统一尺寸遥感图像;
步骤3,构建采用基于检测框标注与分割掩码标注的遥感图像飞机检测模型,基于上述检测框标注与分割掩码标注,训练遥感图像飞机检测模型分割掩码标注;
步骤4,将待检测的遥感图像切割成小幅遥感图像集输入步骤3中所述训练后的遥感图像飞机检测模型,得到飞机检测结果,即检测框坐标,将检测框坐标还原至原始遥感图像,基于置信度,采用非最大值抑制的方法过滤重复检测的检测框,得到最终的检测框坐标信息。
图2为本实施例提供的一种基于关键点的弱监督遥感图像飞机检测方法的具体工作流程示意图;其中,每个具体工作流程示意图与图1中的工作流程框架示意图一一对应,即对应了本方法中通过步骤1至步骤4对原始图像的处理。
本实施例所述的一种基于关键点的弱监督遥感图像飞机检测方法中,所述步骤1包括:
步骤1-1,如图3中(a)所示,所述关键点包括:飞机头部(x1,y1)、右机翼端(x2,y2)、飞机尾部(x3,y3)、左机翼端(x4,y4)和机翼连接处(x5,y5);如图3中(b)所示,连接飞机头部与尾部关键点,生成线段1,连接左机翼端与机翼连接处关键点,生成线段2,连接右机翼端与机翼连接处关键点,生成线段3;
步骤1-2,如图3中(c)所示,将线段1,线段2,线段3拓展成矩形,分别对应于机身部分(包含机尾)、左机翼部分、右机翼部分,拓展方向垂直于线段,矩形宽度由数据集决定,本样例中,矩形机身矩形宽度选择为7,机翼矩形宽度选择为5;
步骤1-3,如图3中(d)(e)所示,将机身部分、左机翼部分、右机翼部分合并,生成飞机分割模板,提取分割模板边界轮廓关键点(a0,b0,………,ai,bi,………)作为模型训练标注,本样例中训练集标注采用MicrosoftCOCO(MSCOCO)格式,标注包含目标类别、检测框(左上方点坐标,长,宽),以及分割掩码轮廓关键点。
本实施例所述的一种基于关键点的弱监督遥感图像飞机检测方法中,所述步骤2包括:
步骤2-1,由于原始遥感图像通常画幅较大,难以匹配现有检测模型架构,因此将原始遥感图像以滑框的方式,切割成尺寸统一的小幅切割图像集,每张小幅图像长宽相等(x=y)。由于小幅图像尺寸固定,部分目标会被切割成两部分,因此设定相邻两张小幅切割图像具有一定的重叠区域,重叠区域长度为z,保证完整的目标会出现在至少一张小幅切割图像中。如图4所示,本样例中,小幅切割图像尺寸为x=1024,y=1024,重叠区域长度设定为z=256。
步骤2-2,将飞机检测框标注与分割掩码标注映射至小幅图像,作为目标检测模型训练标注。
本实施例所述的一种基于关键点的弱监督遥感图像飞机检测方法中,所述步骤3包括:
步骤3-1,如图5所示,构建采用基于检测框标注与分割掩码标注的遥感图像飞机检测模型。本实验中选取了FasterRCNN作为基础检测模型(基于单检测框标注),加入目标分割模块后即为MaskRCNN(基于检测框标注与分割掩码标注),基础特征提取网络都为ResNet50;
步骤3-2,训练过程中,模型同时预测所有目标检测框位置坐标与目标分割结果,检测框位置坐标预测为回归问题,采用L1或者L2损失函数,分割预测为分类问题,采用交叉熵损失函数CrossEntropyLoss(Lossce),如下所示。
L1=|p(Ii)-yi|
L2=|p(Ii)-yi|2
Figure RE-GDA0003517395140000081
其中p(Ii)是第i张图像的检测结果输出,yi是第i张图像的标注,p(Iij)是第i张图像第j个像素点分类的预测输出,yij是第i张图像第j个像素点类别标注。
本实施例所述的一种基于关键点的弱监督遥感图像飞机检测方法中,所述步骤4包括:
步骤4-1,将测试遥感图像按上述滑框方式切割成小幅影像,小幅影像为归一化图像,长宽与训练时一样;
步骤4-2,将所述归一化图像依次送入遥感图像目标检测模型,得到飞机检测结果;
步骤4-3,将所述飞机检测结果坐标还原至原始图像,基于飞机检测框的置信度过滤重复的检测框,当检测框重叠面积超过阈值时,保留置信度最高的,得到最终飞机检测结果;
进一步地,在一种实现方式中,所述步骤4-3包括:
步骤4-3-1,将飞机检测结果(x,y,w,h),还原至原始遥感图像坐标,如下所示,(xi,yi)为第i个小幅影像起始点在原始遥感图像的坐标。
(x′,y′,w,h)=(x+xi,y+yi,w,h)
步骤4-3-2,将坐标还原的检测框按置信度大小从高到底排序,形成检测框列表,首先选取列表中置信度最高的检测框box0,计算其与剩余检测框覆盖区域面积大小Intersectioni,以及覆盖区域占比IoUi
Figure RE-GDA0003517395140000091
Figure RE-GDA0003517395140000092
如果占比大于设定阈值θ,即将该检测框移除检测框列表。依次类推对列表中的检测框筛选,得到最终检测结果,即为最终检测结果。如图6示例所示,由于滑窗检测,对同一目标得到检测框1,2,3,按置信度大小排序为2,1,3,分别计算检测框2与1, 3的IoU1,IoU2,实验中我们设定阈值θ为0.1,因此检测框1,3被滤除,保留检测框 2。
具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(random access memory,RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本发明提供了一种基于关键点的弱监督遥感图像飞机检测方法的思路及方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于关键点的弱监督遥感图像飞机检测方法,其特征在于,包括以下步骤:
步骤1,根据原始遥感图像上的飞机关键点坐标标注,构建飞机分割掩码标注;
步骤2,将原始宽幅遥感图像切割成小幅统一尺寸的遥感图像,形成小幅影像集,将步骤1中所述飞机分割掩码标注的坐标映射至小幅统一尺寸遥感图像;
步骤3,采用基于检测框标注与分割掩码标注的遥感图像飞机检测模型,基于上述检测框标注与分割掩码标注,训练遥感图像飞机检测模型;
步骤4,将待检测的遥感图像切割成小幅遥感图像集输入步骤3中所述训练后的遥感图像飞机检测模型,得到飞机检测结果,即检测框坐标与分割掩码,将检测框坐标还原至原始遥感图像,基于置信度,采用非最大值抑制的方法过滤重复检测的检测框,得到最终的检测框坐标信息。
2.根据权利要求1所述的一种基于关键点的弱监督遥感图像飞机检测方法,其特征在于,步骤1包括:
步骤1-1,所述飞机关键点坐标包括:飞机头部关键点坐标(x1,y1)、右机翼端关键点坐标(x2,y2)、飞机尾部关键点坐标(x3,y3)、左机翼端关键点坐标(x4,y4)和机翼连接处关键点坐标(x5,y5);连接飞机头部关键点与尾部关键点,生成头尾线段,连接左机翼端关键点与机翼连接处关键点,生成左翼线段,连接右机翼端关键点与机翼连接处关键点,生成右翼线段;
步骤1-2,将步骤1-1中所述头尾线段,左翼线段,右翼线段拓展成矩形,分别对应于机身含机尾部分、左机翼部分和右机翼部分,拓展方向垂直于上述线段;
步骤1-3,将机身含机尾部分、左机翼部分和右机翼部分合并,生成飞机分割掩码,提取分割掩码边界轮廓关键点,得到分割掩码边界轮廓关键点坐标。
3.根据权利要求2所述的一种基于关键点的弱监督遥感图像飞机检测方法,其特征在于,步骤2中,将原始遥感图像以滑框的方式,切割成尺寸统一的小幅图像,小幅图像长x与宽y相等,重叠区域长度为z。
4.根据权利要求3所述的一种基于关键点的弱监督遥感图像飞机检测方法,其特征在于,将所述步骤1-3中飞机分割掩码边界轮廓关键点坐标映射至小幅图像,作为遥感图像飞机检测模型的训练标注。
5.根据权利要求4所述的一种基于关键点的弱监督遥感图像飞机检测方法,其特征在于,步骤3中,采用基于检测框标注与分割掩码标注的目标检测模型,推断过程中,模型同时预测目标的检测框坐标,以及目标的分割掩码。
6.根据权利要求5所述的一种基于关键点的弱监督遥感图像飞机检测方法,其特征在于,步骤3所述训练过程中,遥感图像飞机检测模型同时预测图像中所有飞机目标的检测框位置坐标与分割结果,分别计算坐标损失函数与分割损失函数后相加,再进行反向传播,更新模型参数。
7.根据权利要求6所述的一种基于关键点的弱监督遥感图像飞机检测方法,其特征在于,步骤4包括:
步骤4-1,将待检测图像按滑框方式切割成小幅图像集,尺寸与训练时相同,获得归一化图像;
步骤4-2,将所述归一化图像依次送入遥感图像飞机检测模型,得到飞机检测结果,即检测框坐标与分割掩码;
步骤4-3,将所述飞机检测框坐标还原至原始遥感图像,基于置信度,采用非最大值抑制的方法过滤重复检测的检测框,即当检测框重叠面积超过阈值时,保留置信度最高的,得到最终飞机检测结果。
8.根据权利要求7所述的一种基于关键点的弱监督遥感图像飞机检测方法,其特征在于,步骤4-3中,将飞机检测结果坐标(x,y,w,h),还原至原始遥感图像坐标,其中(xi,yi)为第i个小幅影像起始点在原始遥感图像的坐标(x,y)是飞机检测框在小幅图像中的坐标,(w,h)是检测框的长宽,(x′,y′)是还原后,飞机检测框在原图中的坐标;
(x′,y′,w,h)=(x+xi,y+yi,w,h)。
9.根据权利要求8所述的一种基于关键点的弱监督遥感图像飞机检测方法,其特征在于,步骤4-3中,将坐标还原的检测框按置信度大小从高到底排序,形成检测框列表,并对检测框列表进行筛选。
10.根据权利要求9所述的一种基于关键点的弱监督遥感图像飞机检测方法,其特征在于,步骤4-3中,对检测框列表进行筛选的方法为:选取置信度最高的检测框box0,计算其与剩余检测框覆盖区域面积大小Intersectioni,以及覆盖区域占比IoUi
Figure FDA0003420655160000021
Figure FDA0003420655160000031
占比大于预设定阈值θ时,将该检测框从检测框列表中移除,依次对检测框列表中的检测框筛选,得到最终检测结果。
CN202111562488.3A 2021-12-20 2021-12-20 一种基于关键点的弱监督遥感图像飞机检测方法 Pending CN114266971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111562488.3A CN114266971A (zh) 2021-12-20 2021-12-20 一种基于关键点的弱监督遥感图像飞机检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111562488.3A CN114266971A (zh) 2021-12-20 2021-12-20 一种基于关键点的弱监督遥感图像飞机检测方法

Publications (1)

Publication Number Publication Date
CN114266971A true CN114266971A (zh) 2022-04-01

Family

ID=80828083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111562488.3A Pending CN114266971A (zh) 2021-12-20 2021-12-20 一种基于关键点的弱监督遥感图像飞机检测方法

Country Status (1)

Country Link
CN (1) CN114266971A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456187A (zh) * 2023-11-10 2024-01-26 中国科学院空天信息创新研究院 基于基础模型的弱监督遥感图像语义分割方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456187A (zh) * 2023-11-10 2024-01-26 中国科学院空天信息创新研究院 基于基础模型的弱监督遥感图像语义分割方法及系统
CN117456187B (zh) * 2023-11-10 2024-06-21 中国科学院空天信息创新研究院 基于基础模型的弱监督遥感图像语义分割方法及系统

Similar Documents

Publication Publication Date Title
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
KR102382693B1 (ko) 이미지 분석 기반으로 환경에 영향 받지 않는 감시를 위한 보행자 검출기의 학습 방법 및 학습 장치, 그리고, 이를 이용하여 테스트 방법 및 테스트장치
US8379994B2 (en) Digital image analysis utilizing multiple human labels
CN111369572B (zh) 一种基于图像修复技术的弱监督语义分割方法和装置
US20110158535A1 (en) Image processing apparatus and image processing method
CN110348437B (zh) 一种基于弱监督学习与遮挡感知的目标检测方法
CN106709475B (zh) 障碍物识别方法及装置、计算机设备及可读存储介质
CN103971091B (zh) 飞机机号自动识别方法
CN109685065B (zh) 试卷内容自动分类的版面分析方法、系统
Peng et al. Handwritten text separation from annotated machine printed documents using Markov Random Fields
CN112149491A (zh) 用于确定探测到的对象的信任值的方法
CN115239644B (zh) 混凝土缺陷识别方法、装置、计算机设备和存储介质
CN112861785B (zh) 一种基于实例分割和图像修复的带遮挡行人重识别方法
KR20210020065A (ko) 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
CN115393598A (zh) 一种基于非显著区域对象挖掘的弱监督语义分割方法
CN114627339B (zh) 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质
CN114266971A (zh) 一种基于关键点的弱监督遥感图像飞机检测方法
Anwer et al. Accident vehicle types classification: a comparative study between different deep learning models
Karunakaran Deep learning based object detection using mask RCNN
CN116844143B (zh) 基于边缘增强的胚胎发育阶段预测与质量评估系统
US20230186478A1 (en) Segment recognition method, segment recognition device and program
CN104616034A (zh) 一种烟雾检测方法
CN112150344A (zh) 用于确定一类别的对象的置信值的方法
Skuratov et al. Application of a convolutional neural network and a kohonen network for accelerated detection and recognition of objects in images
EP3923192A1 (en) Device and method for training and testing a classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination