CN110765951B - 基于边界框修正算法的遥感图像飞机目标检测方法 - Google Patents

基于边界框修正算法的遥感图像飞机目标检测方法 Download PDF

Info

Publication number
CN110765951B
CN110765951B CN201911017055.2A CN201911017055A CN110765951B CN 110765951 B CN110765951 B CN 110765951B CN 201911017055 A CN201911017055 A CN 201911017055A CN 110765951 B CN110765951 B CN 110765951B
Authority
CN
China
Prior art keywords
boundary
remote sensing
sensing image
correction
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911017055.2A
Other languages
English (en)
Other versions
CN110765951A (zh
Inventor
侯彪
周育榕
焦李成
马文萍
马晶晶
杨淑媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201911017055.2A priority Critical patent/CN110765951B/zh
Publication of CN110765951A publication Critical patent/CN110765951A/zh
Application granted granted Critical
Publication of CN110765951B publication Critical patent/CN110765951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于边界框修正算法的遥感图像飞机目标检测方法，解决了传统非极大值抑制算法直接选择得分最高边界框而造成的检测边界框不精确和被切分的飞机在检测时被多框标注引起的虚警问题。包括以下步骤：生成训练和测试样本集；训练样本预处理；测试样本重叠切片，得到预处理后的测试样本；训练飞机目标检测模型；检测切片中的飞机目标；用边界框修正法对测试样本中的检测结果进行边界框修正；生成飞机目标检测结果图。本发明对同一目标上的相交边界框，用相叠修正法相叠修正，获得更加精准的检测框；对同一目标上的平行相邻边界框用相邻融合法融合改进，在检测结果中去除同一目标上的多框虚警。本发明用于遥感图像飞机目标检测。

Description

基于边界框修正算法的遥感图像飞机目标检测方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像目标检测技术领域中的飞机目标检测，具体是一种基于边界框修正算法的遥感图像的飞机目标检测方法。本发明可用于对遥感图像中的飞机目标进行检测。
背景技术
近年来，以目标检测识别为代表的计算机视觉技术取得了较为瞩目的进展，将目标检测技术应用于光学遥感图像中，成为遥感科学和计算机视觉技术的研究热点之一。
飞机是一种价值较高的军事装备和交通工具，利用目标检测技术自动检测遥感图像上的地面飞机目标，在军事和民用领域都意义重大。在军事领域，及时有效地发现敌方地面飞机目标，利用光学制导武器歼敌于未动之时，可以赢得战争的主动性；在民用领域，通过遥感图像地面飞机检测技术对机场飞机目标进行监测，可以帮助机场实现自动化管理。
传统的对遥感图像进行检测时，由于图像尺寸巨大，需要对待检测图像进行重叠切分，为了解决重叠切分带来的重叠部分检测目标会有多框标注的问题，采用的后处理方法为非极大值抑制算法(Non-Maximum Suppression，NMS)。非极大值算法首次在RCNN和微软的SPP-net中所涉及，非极大值抑制算法就是需要根据得分(score)矩阵和区域(region)的坐标信息，从中找到置信度比较高的边界框。首先，NMS计算出每一个边界框的面积，然后根据score进行排序，把score最高的边界框作为首个要比较的对象；接着，计算其余边界框与当前最大得分边界框的IoU，去除IoU大于设定的阈值的边界框，保留小的IoU的边界框；然后重复上面的过程，直至候选边界框为空。最终，检测边界框的过程中有两个阈值，一个就是IoU，另一个是在过程之后，从候选的边界框中剔除score小于得分阈值的边界框。非极大值抑制算法NMS一次处理一个类别，如果有N个类别，NMS就需要执行N次。
传统的非极大值抑制算法NMS方法是基于分类分数的，只有最高分数的预测框能留下来，但是大多数情况下交并比IoU和分类分数不是强相关，很多分类标签置信度高的框都位置都不是很准。
另外，由于对遥感图像进行的切分，处于切分边缘位置的飞机目标就可能被分割，破环了飞机目标的完整性。此时，目标检测结果中就会对同一个目标的不同位置标上检测框，由于这些框是不相交的即Iou(交并比)为零，传统的非极大值抑制方法无法对这些同一目标上不相交的边界框进行处理，无法解决此种情况引起的多框虚警问题。
发明内容
本发明的目的在于克服上述缺陷，提出了一种检测框精度更高，降低虚警的基于边界框修正算法的遥感图像飞机目标检测方法。
本发明是一种基于边界框修正算法的遥感图像飞机目标检测方法，其特征在于，包括有如下步骤：
(1)生成训练样本集和测试样本集：从遥感图像数据集中选取含有飞机目标的遥感图像作为源数据；选取源数据中的80％作为训练样本，剩余的20％作为测试样本；
(2)对训练样本进行预处理：首先对训练样本集中每张遥感图像进行重叠切片预处理，然后对训练样本集中未含有label的遥感图像中的飞机目标类别、目标位置信息进行标注，得到xml格式的标注文件，并将其转化为适用于YOLO v3模型训练的文本格式的标注文件；
(3)对测试样本进行重叠切片预处理，得到预处理后的测试样本：对测试样本集中每张遥感图像进行重叠切片预处理，得到的每个切片为重叠切片，保存每个重叠切片的左上角顶点处在相应测试样本中的坐标(x1,y1)和右下角顶点处在相应测试样本中的坐标(x2,y2)，得到的所有重叠切片组成预处理后的测试样本集；
(4)训练飞机目标检测模型：将预处理后的所有训练样本输入到YOLO v3模型中进行迭代训练，当模型测试集误差下降到一定程度后趋于不变时，则认为模型训练完成，得到训练好的YOLO v3网络模型；
(5)检测重叠切片中的飞机目标：将测试样本集中的每个测试样本输入到训练好的YOLO v3网络模型中，输出每个重叠切片中的飞机目标检测结果；
(6)用边界框修正算法对测试样本中的飞机目标检测结果进行边界框修正：边界框修正算法包含相叠修正法和相邻融合法两部分，首先针对基于切分小图的飞机检测的坐标结果进行坐标转换，获得基于完整遥感图像的边界框检测结果；然后在基于完整遥感图像的边界框检测结果中，对位于同一目标上的相交边界框使用相叠修正法进行相叠修正；接着在基于完整遥感图像的边界框检测结果中，对同一目标上的平行相邻边界框使用相邻融合法进行融合改进；得到相交边界框和平行相邻边界框的边界框修正结果；
(7)生成飞机目标检测结果图：将边界框修正结果作用于原始遥感图像上得到最终检测结果。
本发明首先对测试样本集中每张遥感图像进行重叠切片处理，将预处理后的每个测试样本输入到训练好的YOLO v3网络中，得到每个重叠切片中的飞机目标的边界框检测结果数据集，对该结果集使用边界框修正算法，修正其中同一个飞机目标上的边界框，最后将修正结果作用于原始遥感图像上得到最终检测结果。
本发明与现有技术相比，具有以下优点：
对飞机目标的检测框进行更精准的定位：本发明所提出的边界框修正算法改进了原始非极大值抑制算法中认为IoU和置信度分数是强相关，直接选择置信度得分最高的框的缺陷。利用了得分第二高的边界框的坐标信息，修正了飞机目标检测框的结果，对飞机目标的检测框进行更精准的定位，能够更加精准地获得检测结果，并降低虚警。
去除同一飞机目标上的多框虚警：本发明所提出的边界框修正算法解决了遥感图像飞机检测中由切片导致的处在边缘目标被切分使得检测结果产生虚警的问题。由于切分，飞机目标在检测时会被分为两块或多块在不同的小图中进行检测，最后造成在同一目标上产生两个或多个相邻框的虚警问题。使用本发明提出的边界框修正算法，能成功融合同一个目标的两个或多个相邻框，去除同一飞机目标上的多框虚警。
减少飞机目标的漏检：本发明对测试样本进行重叠切片预处理，解决了原始方法中由于大图的切割成小图进行检验，在边缘处会破坏飞机目标的完整性，导致边缘处飞机目标的漏检，并产生较多虚警的问题。使得切片边缘处的飞机信息能够保留下来，从而降低了飞机目标检测的漏检。
附图说明
图1是本发明的流程图；
图2是本发明仿真实验的使用相叠修正法修正前与修正后的结果示意图，其中图2(a)为模型产生的修正前的原始检测边界框，图2(b)是图2(a)经过本发明相叠修正法后产生的结果图；
图3是本发明仿真实验的使用相邻融合法修正前与修正后的结果示意图，其中图3(a)为模型产生的未修正的原始检测边界框，图3(b)是图3(a)经过本发明相邻融合法修正后产生的结果图。
具体实施方式
下面结合附图和实施例对本发明做详细描述。
实施例1
遥感图像飞机目标检测是遥感图像中目标检测的一个重要应用，能够对飞机目标进行准确的定位在军用领域和民用领域都具有极大的价值。在军事领域，能够及时有效地发现并打击敌方地面飞机目标，赢得战争的主动性；在民用领域，具有实现机场自动化管理等功能。
遥感图像中飞机目标检测重叠切分后处理采用的传统的非极大值抑制NMS方法是基于分类分数的，只有最高得分的预测框能留下来，但是大多数情况下IoU和得分不是强相关，如果在飞机目标检测重叠切分后处理简单地选择得分最高的框，很多得分最高的框的位置都不是很准确。
另外，遥感图像的图像尺度的巨大，对其进行目标检测必须进行切分处理。由于切分，处于切分边缘位置的飞机目标就可能被分割，破环了飞机目标的完整性。此时，目标检测结果中就会对同一个目标的不同位置出现不相交的检测框，即平行相邻框。针对上述问题，本发明本着提高飞机目标检测边界框精度，降低虚警的目的，提出一种基于边界框修正算法的遥感图像飞机目标检测方法，参照附图1，包括有如下步骤：
(1)生成训练样本集和测试样本集：从遥感图像数据集中选取含有飞机目标的遥感图像作为源数据；选取源数据中的80％作为训练样本，剩余的20％作为测试样本。
生成训练样本集和测试样本集的过程，具体步骤如下：
(1a)从开源RSOD-Dataset、NWPU VHR-10及高分二号遥感图像数据集中选取含有飞机目标的遥感图像作为源数据。
(1b)对含有大型机场的较大遥感图像中截取机场部分；对含有明显飞机目标的较小遥感图像则直接使用。
(1c)选取上述目标检测源数据中的80％作为训练样本，剩余的20％作为测试样本。训练样本与测试样本比例选择取决于源数据的多少，当源数据较少时，可以降低测试集的比例，提高训练集的比例。
(2)对训练样本进行预处理：首先对训练样本集中每张遥感图像进行重叠切片预处理，重叠切片过程中，需要用到一个大小为m×m像素的滑窗，滑框大小选取由所采用的模型决定，本发明采用的是YOLO v3模型，滑窗大小选取YOLO v3模型中输入的416×416像素大小，然后将此滑框从测试样本集中每张遥感图像的左上角顶点起分别向横轴方向和纵轴方向进行滑动，每次滑窗的移动需保证与前一个滑窗具有一定的重叠部分，以保证对训练样本实现充足的利用，当训练样本数不足时可减小滑动步长即增加滑窗之间的重叠部分来获得更多的训练样本数。
然后对训练样本集中未含有label的遥感图像中的飞机目标类别、目标位置信息进行标注，得到xml格式的标注文件，并将其转化为适用于YOLO v3模型训练的文本格式的标注文件。
(3)对测试样本进行重叠切片预处理，得到预处理后的测试样本：对测试样本集中每张遥感图像进行重叠切片预处理：采用训练YOLO v3模型时选定的416×416像素大小的滑窗进行滑动选取，每个相邻滑窗之间会有一定部分的重叠，可以保护边缘处目标的完整性，该相邻滑窗的重叠部分最小应确保能覆盖一个完整的飞机目标大小。然后，保存每个重叠切片的左上角顶点处在相应测试样本中的坐标(x1,y1)和右下角顶点处在相应测试样本中的坐标(x2,y2)，用于检测完毕后拼接得到完整的遥感图像。
(4)训练飞机目标检测模型：将预处理后的所有训练样本输入到深度学习神经网络目标检测模型中进行迭代训练，深度学习神经网络目标检测模型以YOLO v3模型为例，当模型测试集误差下降到一定程度后趋于不变时，则认为模型训练完成，得到训练好的YOLOv3网络模型。
(5)检测重叠切片中的飞机目标：将预处理后的每个测试样本输入到训练好的YOLO v3网络模型中，输出每个重叠切片中的飞机目标检测结果。
(6)用边界框修正算法对测试样本中的飞机目标检测结果进行边界框修正：边界框修正算法包含相叠修正法和相邻融合法两部分，首先针对基于切分小图的飞机检测的坐标结果进行坐标转换，获得基于完整遥感图像的边界框检测结果；然后在基于完整遥感图像的边界框检测结果中，对位于同一目标上的相交边界框使用相叠修正法进行相叠修正。接着在基于完整遥感图像的边界框检测结果中，对同一目标上的平行相邻边界框使用相邻融合法进行融合改进；得到相交边界框和平行相邻边界框的边界框修正结果。
(7)生成飞机目标检测结果图：最后将修正完成的相交边界框和平行相邻边界框结果作用于原始遥感图像上得到本发明基于边界框修正算法的遥感图像飞机目标检测最终检测结果。
本发明给出了一个基于边界框修正算法的遥感图像飞机目标检测方法的整体技术方案。
本发明的技术思路是：首先对测试样本集中每张遥感图像进行重叠切片处理，将预处理后的每个测试样本输入到训练好的YOLO v3网络中，得到每个重叠切片中的飞机目标的边界框检测结果集，对该结果集使用边界框修正算法，修正检测结果集中同一个飞机目标上的边界框，最后将修正结果作用于原始遥感图像上得到最终检测结果。
本发明提出的基于边界框修正算法遥感图像飞机目标检测方法中的边界框修正算法首先对检测结果中同一目标上的相交边界框进行相叠修正；再对同一目标上的相邻边界框进行融合改进。总体改进了传统的非极大值抑制算法，能够在遥感图像重叠切分检测后处理中对飞机目标的检测框进行更精准的定位并且去除同一飞机目标上的多框虚警，修正了飞机目标检测框的结果，提升了检测框的坐标精度，降低了虚警。
实施例2
基于边界框修正算法的遥感图像飞机目标检测方法同实施例1，步骤(6)中的对测试样本中的飞机目标检测结果进行边界框修正，包括有如下步骤：
(6a)坐标转换：将重叠切分小图中的坐标转换为完整遥感大图中的坐标，将每个重叠切片的目标检测结果中边界框左上角顶点处在切分小图坐标系中的坐标、边界框右下角顶点处在切分小图坐标系中的坐标分别转换为在对应的完整遥感图像测试样本中的边界框位置坐标，完成坐标转换，获得基于完整遥感图像的边界框检测结果。
(6b)使用相叠修正法进行相交边界框修正：使用边界框修正算法中的相叠修正法，对获得的基于完整遥感图像的边界框检测结果中同一目标上的相交边界框，使用偏移因子Δ参与进行相叠修正，获得最合适的边界框，即最终修正框；
(6c)使用相邻融合法进行相邻边界框修正：使用边界框修正算法中的相邻融合法，对获得的基于完整遥感图像的边界框坐标检测结果中同一目标上的平行相邻边界框，使用融合公式参与进行融合改进，去除冗余边界框，获得最终的生成框。
在(6a)中进行坐标转换后会获得基于完整遥感图像的边界框检测结果，在原来完整遥感图像的重叠切分位置处，一个飞机目标会有多个边界框的标注，这多个边界框中包括飞机目标上的相交边界框，还可能有平行相邻边界框，需要对这些多个边界框进行修正。修正方法即为(6b)的相叠修正法和(6c)中相邻融合法。最终在飞机目标上得到一个最优的边界框，消除了检测时重叠切分造成的影响。
本发明的边界框修正算法主要分为相叠修正法和相邻融合法两部分，是对传统非极大值抑制算法改进，也是应用于遥感图像重叠切分的后处理方法。本发明解决了对重叠切分后的遥感图像进行检测时，遥感图像重叠部分中飞机目标的检测结果上边界框位置不精确以及同一目标上的边界框检测虚警问题。相比用传统的非极大值抑制算法，本发明检测结果中的边界框能更精确地包围目标，为后续进一步对边界框内完整的飞机目标操作提供了基础。
实施例3
基于边界框修正算法的遥感图像飞机目标检测方法同实施例1-2，步骤(6b)中所述的相叠修正法是指：首先设定了一个上限阈值T和一个下限阈值K；如果得分最高的框与一个框的交并比iou大于设定的下限阈值K，则认为该框与得分最高的框是同一个目标上的标记；然后从由下限阈值K所筛选得到的框中找到得分最好的框，也就是总的得分第二好的框，如果此框与最高得分框的交并比iou又小于本发明设定的上限阈值T，则认为需要对一开始得分最高的框进行修正，即结合得分第二好的框进行修正，具体方法为：从所选择的框的重叠的最小区域开始扩展直至所有框所形成的最大边界为止，即上限为所有框的并集边界，下限为所有框的交集边界，这交集之外，并集之内中间的区域是进行操作的部分，也是本发明的处理部分，将并集边界减去交集边界的差值乘上偏移因子Δ即为从交集边界向并集边界扩出的距离，得到最终修正框的坐标结果。具体步骤为：
(6b1)在基于完整遥感图像的边界框检测结果中，计算出每一个边界框的面积，然后根据边界框的得分将所有边界框进行降序排序，并将排序好的边界框存入集合Q中。
(6b2)在集合Q中选择具有最大得分的边界框M,将其从集合Q中移除并加入到最终的检测结果集D中。
(6b3)设定一个下限阈值K，计算Q中其余边界框和最大得分的边界框M的交并比IoU，如果其中某边界框的IoU大于设定的下限阈值K，则说明该框与M是对同一个目标的标记，将其放入临时集合Qm中；下限阈值K选择范围一般限定在0到0.5之间，具体情况依据临时集合Qm中的边界框的数量决定，数量较少时，可减小K的值来获取更多的边界框。
(6b4)对临时集合Qm中的边界框按照得分进行降序排序，找到其中得分最高的边界框M2。
(6b5)设定一个上限阈值T，如果M2与M的IoU大于所设定的上限阈值T，则直接将边界框M放入最终的结果集D中；否则，利用偏移因子Δ结合M2的坐标信息对M进行修正，将最终修正好的边界框M3放入结果集D中；上限阈值T的取值范围在0.8与1之间，具体取值根据最终修正结果精度确定，可通过增大或减小上限阈值T的取值获取最优修正结果。
在步骤(6b5)中利用偏移因子Δ进行修正的方法为：首先计算得分最高边界框M与得分第二高边界框M2的交集与并集边界，然后计算交集边界与并集边界的之间的间隔和偏移因子Δ的乘积；最后，将交集边界加上此乘积获得最终的修正框。
(6b6)重复步骤(6b2)、(6b3)、(6b4)和(6b5),直到集合Q为空，获得最终的检测结果集D。
本发明的相叠修正算法通过上限阈值T、下限阈值K以及偏移因子Δ的使用，结合了得分第二高的边界框的坐标信息，改进了原始非极大值抑制算法中认为IoU和置信度分数是强相关，直接选择得分最高的框的缺陷。利用得分第二高的边界框的信息，修正了飞机目标检测框的结果，能够在重叠切分后的图像中获得更精准的边界框。
实施例4
基于边界框修正算法的遥感图像飞机目标检测方法同实施例1-3，本发明步骤(6b)中所述的偏移因子Δ计算公式为：
Figure BDA0002246036880000091
其中S1为得分最大的框的得分，这里S2为得分第二大的框的得分，iou为得分最高的边界框M与得分第二高的边界框M2的交并比。
本发明不仅给出了可以更精确进行飞机目标检测的整体方案，还创新性地给出了偏移因子的计算公式。该偏移因子由两个目标检测框S1,S2的得分和iou决定：将iou作为主要变量，将得分信息作为次要变量进行微调。考虑iou信息，两个框的iou越小，表明所需进行的修正越多，偏移因子越大。同时使用max函数设定约束，当iou大于0.5时，认为得分第二高的框的准确度是可信的，此时iou越小，修正量越大；当iou小于0.5时，得分第二高的框的准确性可信度随着iou的减小而逐渐下降，iou越小，修正量越小，即得分第二高的框的影响越小。
该偏移因子能有效地将得分最高的两个框的坐标信息结合起来，修正了得分高但是位置不准确的边界框，从而获得遥感图像飞机目标最优的检测框。
实施例5
基于边界框修正算法的遥感图像飞机目标检测方法同实施例1-4，步骤(6c)中所述的相邻融合法是指：由于遥感图像的重叠切分，若一个目标刚好处于切分边界上，此时它的检测结果中就会出现多个检测框标注，如果检测框之间存在相交部分，则使用相叠修正法即可。如果检测框之间没有重叠，说明检测框是平行相邻边界框，参加图3(a)，则此时就要进行相邻融合；首先，设定一个得分阈值S，取值为0.45，然后在基于完整遥感图像的边界框坐标检测结果中,找到其中得分高于设定阈值S并且处于同一目标上的平行相邻的边界框，如果存在多个平行相邻的边界框，采用两两融合的方法；同时，为了避免将两个属于不同目标的可能存在的平行相邻框进行融合，设定平行相邻框的特征为：第一，两个平行相邻框中框的长宽比大于阈值α；第二，两个框各自的与相邻边垂直的边界之差的绝对值小于阈值β；使用融合公式通过获取两个框的最大边界进行融合，最终融合结果即为最终的生成框。
本发明的相邻融合法解决了在对处于切分边界的目标进行检测时，检测结果产生虚警的问题，也就是当切分边界处在目标上而引起的虚警问题。由于切分，飞机目标在检测时会被分为两块在不同的小图中进行检测，最后造成在同一目标上产生两个相邻框的虚警问题。使用本发明提出的相邻融合法，能成功融合同一个目标上的多个相邻框，去除此类虚警。
实施例6
基于边界框修正算法的遥感图像飞机目标检测方法同实施例1-5，步骤(6c)中所述的融合公式为：
x1new＝min(x11,x21)
y1new＝min(y11,y21)
x2new＝max(x12,x22)
y2new＝max(y12,y22)
其中(x11,y11)为第一个框的左上角坐标，(x12,y12)为第一个框的右下角坐标；(x21,y21)为第二个框的左上角坐标，(x22,y22)为第二个框的右下角坐标。最终生成的融合边界框的左上角坐标为(x1new,y1new)，右下角坐标为(x2new,y2new)。
融合公式能够将同一飞机目标上的两个平行相邻框进行融合，当同一个飞机目标上存在两个以上平行相邻边界框时，采取两两融合的方法。融合公式处理的平行相邻框都是经过得分阈值筛选的，具有足够高的置信度。将选择的两个平行相邻边界框通过该融合公式进行融合，可得到较优的融合结果，去除飞机目标上的虚警。
本发明首先完成数据集的制作，对训练集和测试集进行预处理和重叠切分等准备工作。接着将准备好的训练集输入YOLO v3检测模型中训练获得训练好的模型，并使用该模型对测试集进行飞机目标检测获得检测结果。然后，对获得的检测结果进行边界框修正算法的处理，最后将所获得的修正后的边界框作用于完整遥感图像获得最终结果。
以下结合仿真试验，对本发明的技术效果作进一步说明：
实施例7
基于边界框修正算法的遥感图像飞机目标检测方法同实施例1-6。
仿真条件：
本发明的仿真实验是在处理器为
Figure BDA0002246036880000111
Xeon(R)Gold 5118CPU@2.30GHz×46，显卡为GeForce GTX 1080Ti/PCIe/SSE2，内存为125.6GB的硬件环境和Tensorflow/Keras的软件环境下进行的。
仿真内容与结果分析：
采用本发明，在上述仿真条件下，按照本发明的步骤进行实验，首先从RSOD-Dataset、NWPU VHR-10数据集中分别选取446张大小为1044×915的遥感图像，80张大小约为958×808的遥感图像，从高分二号遥感图像数据集中选取含有机场的两张大小为29200×27620的遥感图像截取出相应机场大小的图像，将以上三种数据集作为训练源数据，选取上述目标检测源数据中的80％作为训练样本，剩余的20％作为测试样本。对样本集中未含有label的遥感图像中的飞机目标类别、目标位置信息进行标注，得到xml格式的标注文件，并将其转化为适用与模型训练的文本格式的标注文件。
接着对训练样本和测试集样本进行重叠切片预处理，裁取大小为416×416的切片，具体方法为：用一个大小为416×416像素的滑窗，从测试样本集中每张遥感图像的左上角顶点起，沿横轴方向滑动，滑动间隔为208像素，得到横轴方向的重叠切片；从测试样本集中每张遥感图像的左上角顶点起，沿纵轴方向，以208像素为间隔，作为每行滑窗起点，在横轴方向上滑动滑窗，滑动间隔为208像素，得到横轴方向的重叠切片；每个横轴方向相邻切片的重叠区域大小为208×416像素，每个纵轴方向相邻切片的重叠区域大小为416×208像素；得到的每个大小为416×416像素的切片称为重叠切片；将预处理后的所有训练样本输入到YOLO v3模型中进行迭代训练200轮，利用训练好的模型检测重叠切片中的飞机目标，得到检测结果。
对该结果使用边界框修正法：首先针对基于切分小图的飞机目标检测结果获得基于完整遥感图像测试样本的边界框位置坐标，然后对获得的检测结果中同一目标上的相交边界框使用相叠修正法进行相叠修正得到图2(b)所示结果。本例中上限阈值取值T为0.9，下限取值K为0.2。
对获得的检测结果中同一目标上的相邻边界框使用相邻融合法进行融合改进，得到图3所示结果，其中得分阈值S取值为0.45，α取值为1.5，β取值为0.8。
最后将所有修正处理过的边界框结果作用于原始遥感图像上，即可得到最终的检测结果。
图2是本发明仿真实验的使用相叠修正法修正前与修正后的结果示意图，其中图2(a)为模型产生的修正前的原始检测边界框，图2(b)是图2(a)经过本发明相叠修正法后产生的结果图。如果使用传统的非极大值抑制算法，将直接舍弃图2(a)中得分为0.86的边界框，获得的得分为0.99的边界框，而恰恰得分为0.86边界框的位置是更加精确的。经过本发明的相叠修正法处理后，综合了0.99和0.86边界框的位置信息，可以看到本发明最终获得的边界框位置精度的获得了明显的提升。
实施例8
基于边界框修正算法的遥感图像飞机目标检测方法同实施例1-6。仿真条件与仿真内容同实施例7
仿真结果分析：
对获得的检测结果中同一目标上的相邻边界框使用相邻融合法进行融合改进，得到图3所示结果，其中得分阈值S取值为0.45，α取值为1.5，β取值为0.8。
图3是本发明仿真实验的使用相邻融合法修正前与修正后的结果示意图，其中图3(a)为模型产生的未修正的原始检测边界框，图3(b)是图3(a)经过本发明相邻融合法修正后产生的结果图。在图3(a)中，同一个飞机上存在两个平行相邻的边界框，存在一个虚警并且飞机目标上的边界框位置不精确，传统的非极大值抑制算法无法对这两个平行相邻边界框进行处理。经过本发明的相邻融合法处理后，将图3(a)中的两个平行相邻边界框进行了融合，获得了如图3(b)所示的最终结果，成功去除了虚警。
最后将所有修正处理过的边界框结果作用于原始遥感图像上，即可得到最终的检测结果。
综上所述，本发明提出的一种基于边界框修正算法的遥感图像飞机目标检测方法，解决了传统非极大值抑制算法直接选择得分最高边界框而造成的检测边界框不精确的问题和被切分的飞机在检测时可能会被多框标注而引起的虚警问题。本发明包括以下步骤：(1)生成训练样本集和测试样本集；(2)对训练样本进行预处理；(3)对测试样本进行重叠切片预处理，得到预处理后的测试样本；(4)训练飞机目标检测模型；(5)检测重叠切片中的飞机目标；(6)用边界框修正算法对测试样本中的飞机目标检测结果进行边界框修正；(7)生成飞机目标检测结果图。本发明在飞机目标的检测结果中对位于同一目标上的相交边界框，使用相叠修正法进行相叠修正，能够获得更加精准定位的检测框；对同一目标上的平行相邻边界框使用相邻融合法进行融合改进，能够在检测结果中去除同一飞机目标上的多框虚警。本发明用于遥感图像飞机目标检测。

Claims (6)

1.基于边界框修正算法的遥感图像飞机目标检测方法，其特征在于，包括有如下步骤：
(1)生成训练样本集和测试样本集：从遥感图像数据集中选取含有飞机目标的遥感图像作为源数据；选取源数据中的80％作为训练样本，剩余的20％作为测试样本；
(2)对训练样本进行预处理：首先对训练样本集中每张遥感图像进行重叠切片预处理，然后对训练样本集中未含有label的遥感图像中的飞机目标类别、目标位置信息进行标注，得到xml格式的标注文件，并将其转化为适用于YOLO v3模型训练的文本格式的标注文件；
(3)对测试样本进行重叠切片预处理，得到预处理后的测试样本：对测试样本集中每张遥感图像进行重叠切片预处理，得到的每个切片为重叠切片，保存每个重叠切片的左上角顶点处在相应测试样本中的坐标(x1,y1)和右下角顶点处在相应测试样本中的坐标(x2,y2)，得到的所有重叠切片组成预处理后的测试样本集；
(4)训练飞机目标检测模型：将预处理后的所有训练样本输入到YOLO v3模型中进行迭代训练，当模型测试集误差下降到一定程度后趋于不变时，则认为模型训练完成，得到训练好的YOLO v3网络模型；
(5)检测重叠切片中的飞机目标：将测试样本集中的每个测试样本输入到训练好的YOLO v3网络模型中，输出每个重叠切片中的飞机目标检测结果；
(6)用边界框修正算法对测试样本中的飞机目标检测结果进行边界框修正：边界框修正算法包含相叠修正法和相邻融合法两部分，首先针对基于切分小图的飞机检测的坐标结果进行坐标转换，获得基于完整遥感图像的边界框检测结果；然后在基于完整遥感图像的边界框检测结果中，对位于同一目标上的相交边界框使用相叠修正法进行相叠修正；接着在基于完整遥感图像的边界框检测结果中，对同一目标上的平行相邻边界框使用相邻融合法进行融合改进；得到相交边界框和平行相邻边界框的边界框修正结果；
(7)生成飞机目标检测结果图：将边界框修正结果作用于原始遥感图像上得到最终检测结果。
2.根据权利要求1所述的基于边界框修正算法的遥感图像飞机目标检测方法，其特征在于，步骤(6)中所述的对测试样本中的飞机目标检测结果进行边界框修正，包括有如下步骤：
(6a)坐标转换：将重叠切分小图中的坐标转换为完整遥感大图中的坐标，将每个重叠切片的目标检测结果中边界框左上角顶点处在切分小图坐标系中的坐标、边界框右下角顶点处在切分小图坐标系中的坐标分别转换为在对应的完整遥感图像测试样本中的边界框位置坐标，完成坐标转换，获得基于完整遥感图像的边界框检测结果；
(6b)使用相叠修正法进行相交边界框修正：使用边界框修正算法中的相叠修正法，对获得的基于完整遥感图像的边界框检测结果中同一目标上的相交边界框，使用偏移因子Δ参与进行相叠修正，获得最合适的边界框，即最终修正框；
(6c)使用相邻融合法进行相邻边界框修正：使用边界框修正算法中的相邻融合法，对获得的基于完整遥感图像的边界框坐标检测结果中同一目标上的平行相邻边界框，使用融合公式参与进行融合改进，去除冗余边界框，获得最终的生成框。
3.根据权利要求2所述的基于边界框修正算法的遥感图像飞机目标检测方法，其特征在于，步骤(6b)中所述的相叠修正法的具体步骤是指：
(6b1)在基于完整遥感图像的边界框检测结果中，计算出每一个边界框的面积，然后根据边界框的得分将所有边界框进行降序排序，并将排序好的边界框存入集合Q中；
(6b2)在集合Q中选择具有最大得分的边界框M,将其从集合Q中移除并加入到最终的检测结果集D中；
(6b3)设定一个下限阈值K，计算Q中其余边界框和最大得分的边界框M的交并比IoU，如果其中某边界框的IoU大于设定的下限阈值K，则说明该框与M是对同一个目标的标记，将其放入临时集合Qm中；
(6b4)对临时集合Qm中的边界框按照得分进行降序排序，找到其中得分最高的边界框M2；
(6b5)设定一个上限阈值T，如果M2与M的IoU大于所设定的上限阈值T，则直接将边界框M放入最终的结果集D中；否则，利用偏移因子Δ结合M2的坐标信息对M进行修正，将最终修正好的边界框M3放入结果集D中；利用偏移因子Δ进行修正的方法为：首先计算得分最高边界框M与得分第二高边界框M2的交集与并集边界，然后计算交集边界与并集边界的之间的间隔和偏移因子Δ的乘积，将交集边界加上此乘积获得最终的修正框；
(6b6)重复步骤(6b2)(6b3)(6b4)(6b5),直到集合Q为空，获得最终的检测结果集D。
4.根据权利要求3所述的基于边界框修正算法的遥感图像飞机目标检测方法，其特征在于，步骤(6b)中所述的偏移因子Δ，该偏移因子Δ计算公式为：
Figure FDA0002246036870000031
其中S1为得分最高的框M的得分，S2为得分第二高的框M2的得分，iou为得分最高的边界框M与得分第二高的边界框M2的交并比。
5.根据权利要求2所述的基于边界框修正算法的遥感图像飞机目标检测方法，其特征在于，步骤(6c)中所述的相邻融合算法是指：设定一个得分阈值S，针对基于完整遥感图像的边界框坐标检测结果中的边界框,找到其中得分高于设定阈值S并且处于同一目标上的平行相邻的边界框，平行相邻框的特征为：第一，两个平行相邻框中框的长宽比大于阈值α；第二，两个框各自的与相邻边垂直的边界之差的绝对值小于阈值β；使用融合公式通过获取两个框的最大边界进行融合，最终融合结果即为最终的生成框。
6.根据权利要求5所述的基于边界框修正算法的遥感图像飞机目标检测方法，其特征在于，步骤(6c)中所述的融合公式，该融合公式为：
x1new＝min(x11,x21)
y1new＝min(y11,y21)
x2new＝max(x12,x22)
y2new＝max(y12,y22)
其中(x11,y11)为第一个框的左上角坐标，(x12,y12)为第一个框的右下角坐标；(x21,y21)为第二个框的左上角坐标，(x22,y22)为第二个框的右下角坐标；最终生成的融合边界框的左上角坐标为(x1new,y1new)，右下角坐标为(x2new,y2new)。
CN201911017055.2A 2019-10-24 2019-10-24 基于边界框修正算法的遥感图像飞机目标检测方法 Active CN110765951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911017055.2A CN110765951B (zh) 2019-10-24 2019-10-24 基于边界框修正算法的遥感图像飞机目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911017055.2A CN110765951B (zh) 2019-10-24 2019-10-24 基于边界框修正算法的遥感图像飞机目标检测方法

Publications (2)

Publication Number Publication Date
CN110765951A CN110765951A (zh) 2020-02-07
CN110765951B true CN110765951B (zh) 2023-03-10

Family

ID=69333868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911017055.2A Active CN110765951B (zh) 2019-10-24 2019-10-24 基于边界框修正算法的遥感图像飞机目标检测方法

Country Status (1)

Country Link
CN (1) CN110765951B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462050B (zh) * 2020-03-12 2022-10-11 上海理工大学 改进YOLOv3的极小遥感图像目标检测方法、装置及存储介质
CN111539271B (zh) * 2020-04-10 2023-05-02 哈尔滨新光光电科技股份有限公司 基于可穿戴设备的人脸识别方法及用于边防的可穿戴人脸检测设备
CN111797993B (zh) * 2020-06-16 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 深度学习模型的评价方法、装置、电子设备及存储介质
CN112364685B (zh) * 2020-09-22 2024-10-18 深圳数联天下智能科技有限公司 痤疮检测方法、痤疮检测模型训练方法及相关装置
CN112487916B (zh) * 2020-11-25 2022-08-23 上海电力大学 一种电力设备双目三维立体识别系统
CN112580450B (zh) * 2020-12-03 2022-11-18 天津大学 一种基于快进策略的视频中动物状态快速检测方法
US20220222477A1 (en) * 2021-01-14 2022-07-14 Nvidia Corporation Performing non-maximum suppression in parallel
KR102602401B1 (ko) * 2021-03-17 2023-11-16 고려대학교 세종산학협력단 Pp-yolo 기법의 iou-예측 값과 탐지 상자의 크기 및 비율을 사용한 비최대값 억제 방법 및 장치
CN113221773B (zh) * 2021-05-19 2022-09-13 中国电子科技集团公司第二十八研究所 基于遥感影像快速构建飞机分类数据集的方法
CN113705640B (zh) * 2021-08-16 2024-03-01 中国电子科技集团公司第二十八研究所 基于遥感影像快速构建飞机检测数据集的方法
CN113449702B (zh) * 2021-08-31 2021-12-03 天津联图科技有限公司 遥感图像的目标检测方法、装置、存储介质及电子设备
CN114332794B (zh) * 2021-12-14 2024-09-10 江苏集萃智能光电系统研究所有限公司 用于列车线阵图像的目标检测方法、系统、装置及介质
CN114049488A (zh) * 2022-01-07 2022-02-15 济南和普威视光电技术有限公司 一种多维信息融合的远距离弱小目标检测方法和终端
CN116486077B (zh) * 2023-04-04 2024-04-30 中国科学院地理科学与资源研究所 遥感影像语义分割模型样本集生成方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233205A1 (zh) * 2017-06-21 2018-12-27 北京大学深圳研究生院 使用高斯惩罚检测图像中行人的方法
CN109409285A (zh) * 2018-10-24 2019-03-01 西安电子科技大学 基于重叠切片的遥感视频目标检测方法
CN110189304A (zh) * 2019-05-07 2019-08-30 南京理工大学 基于人工智能的光学遥感图像目标在线快速检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233205A1 (zh) * 2017-06-21 2018-12-27 北京大学深圳研究生院 使用高斯惩罚检测图像中行人的方法
CN109409285A (zh) * 2018-10-24 2019-03-01 西安电子科技大学 基于重叠切片的遥感视频目标检测方法
CN110189304A (zh) * 2019-05-07 2019-08-30 南京理工大学 基于人工智能的光学遥感图像目标在线快速检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种高分辨率遥感图像视感知目标检测算法;李策等;《西安交通大学学报》;20180315(第06期);全文 *
基于卷积神经网络的高分辨率SAR图像飞机目标检测方法;王思雨等;《雷达学报》;20170228(第02期);全文 *

Also Published As

Publication number Publication date
CN110765951A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110765951B (zh) 基于边界框修正算法的遥感图像飞机目标检测方法
CN113269073B (zh) 一种基于yolo v5算法的船舶多目标追踪方法
CN109635666B (zh) 一种基于深度学习的图像目标快速检测方法
CN111507335B (zh) 自动标注利用于深度学习网络的训练图像的方法和装置
CN110135522B (zh) 一种检测与标注遥感图像小目标一体化的智能方法
CN110703800A (zh) 基于无人机的电力设施智能识别方法及系统
CN109948415A (zh) 基于背景过滤和尺度预测的光学遥感图像目标检测方法
CN112884791B (zh) 一种构建大规模遥感影像语义分割模型训练样本集的方法
CN112365491A (zh) 容器焊缝检测的方法、电子设备及存储介质
CN107729843B (zh) 基于雷达与视觉信息融合的低地板有轨电车行人识别方法
WO2013183758A1 (ja) 欠陥判定装置、放射線撮像システム、及び欠陥判定方法
EP3605453A1 (en) Convolutional neural network based inspection of blade-defects of a wind turbine
CN113095444A (zh) 图像标注方法、装置及存储介质
CN112699888A (zh) 图像识别方法、目标对象的提取方法、装置、介质及设备
US20220317055A1 (en) Inspection apparatus, control method, and program
CN112396582B (zh) 一种基于Mask RCNN的均压环歪斜检测方法
CN112562419B (zh) 一种基于离线多目标跟踪的天气规避区划设方法
Wang et al. Insulator defect detection based on improved YOLOv5 algorithm
CN113537017A (zh) 基于级联型回归修正的光学遥感图像飞机检测方法和装置
CN112446884A (zh) 一种激光点云中输电线的定位方法、装置及终端设备
CN114078106A (zh) 基于改进Faster R-CNN的疵点检测方法
CN109657577B (zh) 一种基于熵和运动偏移量的动物检测方法
JP4796535B2 (ja) 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
CN114841980A (zh) 基于巡线航拍图像的绝缘子缺陷检测方法及系统
CN112308010B (zh) 一种基于yolo-v3算法的船只遮挡检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant