CN111160065A - 遥感图像舰船检测方法、装置、设备及其存储介质 - Google Patents

遥感图像舰船检测方法、装置、设备及其存储介质 Download PDF

Info

Publication number
CN111160065A
CN111160065A CN201811316955.2A CN201811316955A CN111160065A CN 111160065 A CN111160065 A CN 111160065A CN 201811316955 A CN201811316955 A CN 201811316955A CN 111160065 A CN111160065 A CN 111160065A
Authority
CN
China
Prior art keywords
image
remote sensing
sensing image
candidate frame
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811316955.2A
Other languages
English (en)
Inventor
梁新
王淑艳
李淑敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cetc Ocean Co ltd
Original Assignee
Cetc Ocean Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cetc Ocean Co ltd filed Critical Cetc Ocean Co ltd
Priority to CN201811316955.2A priority Critical patent/CN111160065A/zh
Publication of CN111160065A publication Critical patent/CN111160065A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了遥感图像舰船检测方法、装置、设备及其存储介质。该方法包括：获取待检测的遥感图像；对遥感图像进行处理得到输入图像；将输入图像输入到预先构建的目标检测模型得到目标检测结果，目标检测模型是基于深度学习算法训练得到的，目标检测结果至少包括预测目标物为舰船的条件概率和预测目标物为舰船的置信度。根据本申请实施例的技术方案，提高遥感图像中舰船目标的检测准确率。

Description

遥感图像舰船检测方法、装置、设备及其存储介质
技术领域
本申请一般涉及计算机计算领域，尤其涉及遥感图像舰船检测方法、装置、设备及其存储介质。
背景技术
随着我国经济的迅猛发展，海上舰船数量与日俱增，准确的舰船检测有助于监测管理海上的舰船活动，保障国家合法的海洋权益。
基于遥感图像检测舰船目标的方向一直是研究的热点和难点。现有技术中传统的遥感图像舰船检测方法，主要是采用机器学习算法来实现的，这类算法的鲁棒性较低。
其次，传统的遥感图像舰船检测方法，常常需要利用舰船自身的灰度、尺寸、纹理等特征，并基于这些特征作为目标分类识别的参考因素，但是遥感图像在采集过程中难以避免地存在天气等影响因素，导致目标干扰的存在，例如云、海浪、海岛等疑似干扰。这些目标干扰的存在导致现有的遥感图像舰船检测的结果准确性不高。
因此，亟待提出一种新的检测方法。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种基于深度学习的遥感图像舰船检测方法、装置、设备及存储介质，来改善舰船检测的准确性。
第一方面，本申请实施例提供了一种基于深度学习的遥感图像舰船检测方法，该方法包括：
获取待检测的遥感图像；
对遥感图像进行处理得到输入图像；
将输入图像输入到预先构建的目标检测模型得到目标检测结果，目标检测模型是基于深度学习算法训练得到的，目标检测结果至少包括预测目标物为舰船的条件概率和预测目标物为舰船的置信度。
第二方面，本申请实施例提供一种基于深度学习的遥感图像舰船检测装置，该装置包括：
图像获取单元，用于获取待检测的遥感图像；
图像处理单元，用于对遥感图像进行处理得到输入图像；
目标检测单元，用于将输入图像输入到预先构建的目标检测模型得到目标检测结果，目标检测模型是基于深度学习算法训练得到的，目标检测结果至少包括预测目标物为舰船的条件概率和预测目标物为舰船的置信度。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本申请实施例描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于：
该计算机程序被处理器执行时实现如本申请实施例描述的方法。
本申请实施例提供的基于深度学习对遥感图像的舰船目标进行检测的方法，通过深度学习算法构建的目标检测模型，来改善现有技术中机器学习算法检测结果准确度不高的问题，提高遥感图像中舰船目标的检测准确率。
进一步地，通过滑窗处理和二次非极大值抑制处理，进一步提高遥感图像中舰船目标的检测准确率。
进一步地，通过图像旋转处理，降低了人工收集样本的工作量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请实施例提供的遥感图像舰船检测方法的流程示意图；
图2示出了本申请又一实施例提供的遥感图像舰船检测方法的流程示意图；
图3示出了本申请实施例提供的构建目标检测模型方法的流程示意图；
图4示出了本申请实施例提供的用于遥感图像舰船检测的装置400的示例性结构框图；
图5示出了本申请又一实施例提供的用于遥感图像舰船检测装置500的示意性结构框图；
图6示出了本申请实施例提供的用于构建目标检测模型的单元的示意性结构框图
图7示出了适于用来实现本申请实施例的终端设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请实施例描述遥感图像检测方法、装置适用的系统例如可以包括终端设备、网络、服务器等。其中终端设备，例如可以是航拍设备等。网络用于连接终端设备与服务器之间的通信。其可以是无线、有线或者光纤等等传输介质。
请参考图1，图1示出了本申请实施例提供的遥感图像舰船检测方法的流程示意图。该方法可以在服务器侧执行，相应的装置可以设置在服务器中，例如可以是服务器的中央处理器CPU或图形处理器GPU(Graphics Processing Unit)来执行。
如图1所示，该方法包括：
步骤110，获取待检测的遥感图像。
本申请实施例中，从终端设备搭载的遥感器获取遥感图像。
步骤120，对遥感图像进行处理得到输入图像。
本申请实施例，在获取遥感图像之后，需要对遥感图像进行图像处理，例如可以是滑动窗口处理等。
步骤130，将输入图像输入到预先构建的目标检测模型得到目标检测结果，目标检测模型是基于深度学习算法训练得到的，其中，目标检测结果至少包括预测目标物为舰船的条件概率和预测目标物为舰船的置信度。
现有技术传统的机器学习算法对包含舰船的遥感图像进行检测，其检测结果的准确率有待提高。本申请实施例为进一步提高遥感图像的舰船检测结果的准确率，利用深度学习算法在目标识别领域的特点，结合传统图像处理方法来实现。
其中，深度学习算法，例如可以是YOLO算法、YOLOv2算法等。YOLOv2算法是在YOLO算法的基础上改进产生的。YOLOv2的优势在于，其具有一个新的分类网络Darknet-19作为网络的基础模型，只包含卷积层和池化层。以Darknet-19为基础模型进行特征提取，去掉最后一个卷积层，增加3个尺寸为3×3、通道数为1024的卷积层，并且每一个卷积层后加入一个尺寸为1×1卷积层。YOLOv2算法还引入多尺度输入的方法，在目标检测网络训练过程中通过改变输入图像的尺寸，使得训练得到的模型能够适用于不同的输入分辨率。
本申请实施例中，将输入图像预先建立的目标检测模型可以得到目标检测结果，例如预测目标物为舰船的条件概率(也可以称为类别概率)和预测目标物为舰船的置信度，预设目标物为舰船的候选框等。其中，候选框例如可以根据中心位置的坐标和候选框的宽度和高度，或者根据候选框的下边框位置坐标以及候选框的高度等信息确定。
本申请实施例中，通过引入YOLO或YOLOv2算法构建的目标检测模型对卫星遥感影像(简称为遥感图像)进行目标识别，其能够有效地提升遥感图像舰船检测的准确率。
请参考图2，图2示出了本申请又一实施例提供的遥感图像舰船检测方法的流程示意图该方法可以在服务器侧执行，相应的装置可以设置在服务器中，例如可以是服务器的中央处理器CPU或图形处理器GPU(Graphics Processing Unit)来执行。
如图2所示，该方法包括：
步骤210，对遥感图像进行滑动窗口处理得到输入图像集合，其中输入图像集合包括滑动窗口与遥感图像具有重叠区域的所有子图像。
本申请实施例中，考虑到遥感图像的篇幅较大的问题，导致直接采用YOLOv2算法构建的目标检测模型的检测速度受到影响，为进一步改善检测速度，本申请实施例中采用滑动窗口处理，将原有的遥感图像切分为一系列相同大小的子图像，利用预先训练好的目标检测模型对这些子图像逐一识别。
步骤210还可以包括：
将滑动窗口按照预设步长在遥感图像上移动，其中预设步长满足小于滑动窗口的条件；
截取滑动窗口与遥感图像具有重叠区域的图像部分作为子图像。
利用滑动窗口方法对遥感图像进行切割时，需要注意滑动窗口的步长，如果滑动步长等于滑动窗口的长宽时，则获取的滑动窗口内的图像之间无交集。当待检测目标处于图像边缘时，则容易被滑动窗口截断，从而导致识别过程中会出现漏检或错捡的问题。
本申请实施例中，通过设置滑动步长满足小于滑动窗口的条件，来克服上述问题。当然步长越小，则生成的图片数量越多，计算量越大。为了平衡计算量和解决问题的效果，滑动步长的选取可以根据具体计算能力和遥感图像中目标物自身大小等因素综合考虑。
进一步地，为保证遥感图像的所有区域都可以被输入目标检测模型进行识别操作，对现有的滑动时窗算法也进行相应的改进来实现。即在滑动窗口移动到遥感图像的边缘位置时，现有技术中，由于滑动窗口内的图像大小小于滑动窗口大小，则舍弃滑动窗口内的图像区域。本申请实施例中，在遇到现有技术的相同问题时，则保留滑动窗口与遥感图像的重叠区域，将该部分重叠区域的图像也通过目标检测模型进行识别操作，从而降低了漏检概率。
在具体实施过程中，例如可以通过确定滑动窗口的横向和纵向步长，滑动窗口的长宽大小，滑动窗口的移动顺序；
再按照设定的滑动窗口的步长移动滑动窗口，检测滑动窗口内图像的大小，将滑动窗口内的图像输出。
步骤220，将输入图像输入到预先构建的目标检测模型得到预测目标物为舰船的条件概率和预测目标物为舰船的置信度。
步骤230，根据上述置信度与第一预设阈值的比较结果，输出预测目标物为舰船的第一候选框集合。
步骤240，对第一候选框集合进行第一非极大值抑制处理，得到第二候选框集合。
步骤250，对第二候选框集合进行第二非极大值抑制处理，得到最后的检测结果。
本申请实施例中，将输入图像输入预先构建的目标检测模型之后，至少输出预测目标物为舰船的条件概率和预测目标物为舰船的置信度。还可以输出预测目标物为舰船的候选框的信息。
其中，预测目标物为舰船的置信度可以根据预测目标物为舰船的概率与预测目标物为舰船的候选框的面积与舰船真实区域的面积的交并比IOU(Intersection OverUnion)的乘积。
根据置信度与第一预设阈值进行比较，如果大于第一预设阈值，则对满足条件的一类候选框进行第一非极大值抑制NMS(Non-maximum Suppression)处理，去除冗余第一类冗余窗口。这类冗余窗口是由于目标检测过程产生的。
本申请实施例中，将滑窗处理后得到的图像，输入到目标检测模型后，将识别出来的候选框、目标类型及置信度进行汇总。由于滑动窗口的步长小于遥感图像，通过滑窗处理得到的图像之间可能存在重叠的区域。若重叠区域中存在目标物(例如舰船)，那么利用目标检测模型对不同滑窗处理后得到的图像进行识别，则均会检测到目标物，在将检测得到目标物信息汇总之后，在同一目标物上则会出现多个边框。
为了进一步解决由于滑动窗口处理产生的冗余边框信息，本申请实施例通过第二非极大值抑制NMS处理，来对相邻紧密的两个候选框进行修正运算，修改检测出的候选框的位置和大小，从而得到更准确的候选框的位置，作为最后的检测结果。
其中，对第二候选框集合进行第二非极大值抑制处理，包括：
确定第二候选框集合中置信度的最大值所对应的候选框为比较对象。
选择第二候选框集合中任一个其他候选框作为第二候选框，其中其他候选框不包括比较对象。
计算第二候选框与比较对象的交集面积和并集面积的比值；
将比值与第二预设阈值进行比较；
若比值超过第二预设阈值，则删除第二候选框；
若比值低于第二预设阈值，则保留第二候选框；
重复上述步骤直到确定第二候选框集合中唯一的最佳候选框，作为最终的检测结果。
本申请实施例中，通过两次非极大值抑制处理提升了目标候选框检测的准确率，确保了舰船检测的准确性，有效地克服了现有技术检测准确度较低的问题。该方法可以在服务器侧执行，相应的装置可以设置在服务器中。
请参考图3，图3示出了本申请实施例提供的构建目标检测模型方法的流程示意图。
如图3所示，该方法包括：
步骤310，获取预设数值的历史遥感图像。
步骤320，对遥感图像进行预处理。
步骤330，将预处理后的结果划分为训练集和验证集。
步骤340，按照YOLOv2算法对训练集进行训练学习得到目标检测模型；以及
步骤350，利用验证集确定目标检测模型的参数。
本申请实施例中，通过收集大量的历史遥感图像，并对遥感图像数据集合进行预处理。其中预处理包括采样、标注、样本扩充等处理，还可以包括其他图像预处理等操作。
其中，预处理至少包括：
基于历史遥感图像确定样本图像集合。
对样本图像集合中每一张样本图像进行标注，生成标签文件。
对样本图像集合中的每一张样本图像进行角度旋转处理。
对标签文件中每一张图像按照变换公式进行角度旋转处理。
其中，对样本图像进行标注，例如可以采用人工标注，或者利用深度神经网络模型提取未标注图像中的特征，根据未标注图像的特征确定属于目标物的概率，从而提升标注效率。
本申请实施例中，为了扩充样本量，将样本图像旋转的同时，考虑到旋转角度和边框坐标的对应关系，在将样本图像旋转的同时，修改标签文件中边框的位置，其中，边框坐标变换过程如下：
假设标签文件中目标物边框位置的左上角坐标为
Figure BDA0001856548060000081
绕样本图像的左上角(0,0)顺时针旋转90°、180°、270°后的新坐标分别为
Figure BDA0001856548060000082
Figure BDA0001856548060000083
Figure BDA0001856548060000084
Figure BDA0001856548060000085
Figure BDA0001856548060000086
Figure BDA0001856548060000087
Figure BDA0001856548060000088
同理，可计算标签文件中目标物边框位置的右下角坐标
Figure BDA0001856548060000089
绕样本图像左上角(0,0)顺时针旋转90°、180°、270°后的新坐标
Figure BDA00018565480600000810
Figure BDA00018565480600000811
Figure BDA00018565480600000812
Figure BDA00018565480600000813
Figure BDA00018565480600000814
Figure BDA00018565480600000815
Figure BDA0001856548060000091
通过上述旋转处理扩大样本图像的数量，有效地降低了人工搜集样本的工作量。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
进一步参考图4，图4示出了本申请实施例提供的用于遥感图像舰船检测的装置400的示例性结构框图。该装置可以设置在服务器中，例如可以是服务器的中央处理器CPU或图形处理器GPU(Graphics Processing Unit)来执行。
如图4所示，该装置400包括：
图像获取单元410，用于获取待检测的遥感图像。
本申请实施例中，从终端设备搭载的遥感器获取遥感图像。
图像处理单元420，用于对遥感图像进行处理得到输入图像。
本申请实施例，在获取遥感图像之后，需要对遥感图像进行图像处理，例如可以是滑动窗口处理等。
目标检测单元430，用于将输入图像输入到预先构建的目标检测模型得到目标检测结果，目标检测模型是基于深度学习算法训练得到的，其中，目标检测结果至少包括预测目标物为舰船的条件概率和预测目标物为舰船的置信度。
现有技术传统的机器学习算法对包含舰船的遥感图像进行检测，其检测结果的准确率有待提高。本申请实施例为进一步提高遥感图像的舰船检测结果的准确率，利用深度学习算法在目标识别领域的特点，结合传统图像处理方法来实现。
其中，深度学习算法，例如可以是YOLO算法、YOLOv2算法等。YOLOv2算法是在YOLO算法的基础上改进产生的。YOLOv2的优势在于，其具有一个新的分类网络Darknet-19作为网络的基础模型，只包含卷积层和池化层。以Darknet-19为基础模型进行特征提取，去掉最后一个卷积层，增加3个尺寸为3×3、通道数为1024的卷积层，并且每一个卷积层后加入一个尺寸为1×1卷积层。YOLOv2算法还引入多尺度输入的方法，在目标检测网络训练过程中通过改变输入图像的尺寸，使得训练得到的模型能够适用于不同的输入分辨率。
本申请实施例中，将输入图像预先建立的目标检测模型可以得到目标检测结果，例如预测目标物为舰船的条件概率(也可以称为类别概率)和预测目标物为舰船的置信度，预设目标物为舰船的候选框等。其中，候选框例如可以根据中心位置的坐标和候选框的宽度和高度，或者根据候选框的下边框位置坐标以及候选框的高度等信息确定。
本申请实施例中，通过引入YOLO或YOLOv2算法构建的目标检测模型对卫星遥感影像(简称为遥感图像)进行目标识别，其能够有效地提升遥感图像舰船检测的准确率。
请参考图5，图5示出了本申请又一实施例提供的用于遥感图像舰船检测装置500的示意性结构框图。该装置可以设置在服务器中，例如可以是服务器的中央处理器CPU或图形处理器GPU(Graphics Processing Unit)来执行。
如图5所示，装置500包括：
滑动处理子单元510，用于对遥感图像进行滑动窗口处理得到输入图像集合，其中输入图像集合包括滑动窗口与遥感图像具有重叠区域的所有子图像。
本申请实施例中，考虑到遥感图像的篇幅较大的问题，导致直接采用YOLOv2算法构建的目标检测模型的检测速度受到影响，为进一步改善检测速度，本申请实施例中采用滑动窗口处理，将原有的遥感图像切分为一系列相同大小的子图像，利用预先训练好的目标检测模型对这些子图像逐一识别。
滑动处理子单元510还可以包括：
移动模块，用于将滑动窗口按照预设步长在遥感图像上移动，其中预设步长满足小于滑动窗口的条件；
截取模块，用于截取滑动窗口与遥感图像具有重叠区域的图像部分作为子图像。
利用滑动窗口方法对遥感图像进行切割时，需要注意滑动窗口的步长，如果滑动步长等于滑动窗口的长宽时，则获取的滑动窗口内的图像之间无交集。当待检测目标处于图像边缘时，则容易被滑动窗口截断，从而导致识别过程中会出现漏检或错捡的问题。
本申请实施例中，通过设置滑动步长满足小于滑动窗口的条件，来克服上述问题。当然步长越小，则生成的图片数量越多，计算量越大。为了平衡计算量和解决问题的效果，滑动步长的选取可以根据具体计算能力和遥感图像中目标物自身大小等因素综合考虑。
进一步地，为保证遥感图像的所有区域都可以被输入目标检测模型进行识别操作，对现有的滑动时窗算法也进行相应的改进来实现。即在滑动窗口移动到遥感图像的边缘位置时，现有技术中，由于滑动窗口内的图像大小小于滑动窗口大小，则舍弃滑动窗口内的图像区域。本申请实施例中，在遇到现有技术的相同问题时，则保留滑动窗口与遥感图像的重叠区域，将该部分重叠区域的图像也通过目标检测模型进行识别操作，从而降低了漏检概率。
在具体实施过程中，例如可以通过确定滑动窗口的横向和纵向步长，滑动窗口的长宽大小，滑动窗口的移动顺序；
再按照设定的滑动窗口的步长移动滑动窗口，检测滑动窗口内图像的大小，将滑动窗口内的图像输出。
目标检测单元520，用于将输入图像输入到预先构建的目标检测模型得到预测目标物为舰船的条件概率和预测目标物为舰船的置信度。
比较子单元530，用于根据上述置信度与第一预设阈值的比较结果，输出预测目标物为舰船的第一候选框集合。
第一NMS处理单元540，用于对第一候选框集合进行第一非极大值抑制处理，得到第二候选框集合。
第一NMS处理单元550，用于对第二候选框集合进行第二非极大值抑制处理，得到最后的检测结果。
本申请实施例中，将输入图像输入预先构建的目标检测模型之后，至少输出预测目标物为舰船的条件概率和预测目标物为舰船的置信度。还可以输出预测目标物为舰船的候选框的信息。
其中，预测目标物为舰船的置信度可以根据预测目标物为舰船的概率与预测目标物为舰船的候选框的面积与舰船真实区域的面积的交并比IOU(Intersection OverUnion)的乘积。
根据置信度与第一预设阈值进行比较，如果大于第一预设阈值，则对满足条件的一类候选框进行第一非极大值抑制NMS(Non-maximum Suppression)处理，去除冗余第一类冗余窗口。这类冗余窗口是由于目标检测过程产生的。
本申请实施例中，将滑窗处理后得到的图像，输入到目标检测模型后，将识别出来的候选框、目标类型及置信度进行汇总。由于滑动窗口的步长小于遥感图像，通过滑窗处理得到的图像之间可能存在重叠的区域。若重叠区域中存在目标物(例如舰船)，那么利用目标检测模型对不同滑窗处理后得到的图像进行识别，则均会检测到目标物，在将检测得到目标物信息汇总之后，在同一目标物上则会出现多个边框。
为了进一步解决由于滑动窗口处理产生的冗余边框信息，本申请实施例通过第二非极大值抑制NMS处理，来对相邻紧密的两个候选框进行修正运算，修改检测出的候选框的位置和大小，从而得到更准确的候选框的位置，作为最后的检测结果。
其中，对第二候选框集合进行第二非极大值抑制处理，包括：
确定子单元，确定第二候选框集合中置信度的最大值所对应的候选框为比较对象。
选择子单元，选择第二候选框集合中任一个其他候选框作为第二候选框，其中其他候选框不包括比较对象。
计算子单元，计算第二候选框与比较对象的交集面积和并集面积的比值；
比较子单元，将比值与第二预设阈值进行比较；
若比值超过第二预设阈值，则删除第二候选框；
若比值低于第二预设阈值，则保留第二候选框；
重复确定子单元，重复上述步骤直到确定第二候选框集合中唯一的最佳候选框，作为最终的检测结果。
本申请实施例中，通过两次非极大值抑制处理提升了目标候选框检测的准确率，确保了舰船检测的准确性，有效地克服了现有技术检测准确度较低的问题。
请参考图6，图6示出了本申请实施例提供的用于构建目标检测模型的单元的示意性结构框图。
如图6所示，用于构建目标检测模型的单元包括：
历史图像获取子单元610，用于获取预设数值的历史遥感图像。
预处理子单元620，用于对遥感图像进行预处理。
划分子单元630，用于将预处理后的结果划分为训练集和验证集。
训练子单元640，用于按照YOLOv2算法对训练集进行训练学习得到目标检测模型；
以及验证子单元650，用于利用验证集确定目标检测模型的参数。
本申请实施例中，通过收集大量的历史遥感图像，并对遥感图像数据集合进行预处理。其中预处理包括采样、标注、样本扩充等处理，还可以包括其他图像预处理等操作。
其中，预处理子单元至少包括：
样本确定模块，用于基于历史遥感图像确定样本图像集合。
标注模块，用于对样本图像集合中每一张样本图像进行标注，生成标签文件。
第一角度处理模块，用于对样本图像集合中的每一张样本图像进行角度旋转处理。
第二角度处理模块，用于对标签文件中每一张图像按照变换公式进行角度旋转处理。
其中，对样本图像进行标注，例如可以采用人工标注，或者利用深度神经网络模型提取未标注图像中的特征，根据未标注图像的特征确定属于目标物的概率，从而提升标注效率。
本申请实施例中，为了扩充样本量，将样本图像旋转的同时，考虑到旋转角度和边框坐标的对应关系，在将样本图像旋转的同时，修改标签文件中边框的位置，其中，边框坐标变换过程如下：
假设标签文件中目标物边框位置的左上角坐标为
Figure BDA0001856548060000141
绕样本图像的左上角(0,0)顺时针旋转90°、180°、270°后的新坐标分别为
Figure BDA0001856548060000142
Figure BDA0001856548060000143
Figure BDA0001856548060000144
Figure BDA0001856548060000145
Figure BDA0001856548060000146
Figure BDA0001856548060000147
Figure BDA0001856548060000148
同理，可计算标签文件中目标物边框位置的右下角坐标
Figure BDA0001856548060000149
绕样本图像左上角(0,0)顺时针旋转90°、180°、270°后的新坐标
Figure BDA00018565480600001410
Figure BDA00018565480600001411
Figure BDA00018565480600001412
Figure BDA00018565480600001413
Figure BDA00018565480600001414
Figure BDA00018565480600001415
Figure BDA00018565480600001416
通过上述旋转处理扩大样本图像的数量，有效地降低了人工搜集样本的工作量。
应当理解，装置400-600中记载的诸单元或模块与参考图1-3描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置400-600及其中包含的单元，在此不再赘述。装置400-600可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。装置400-600中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。
下面参考图7，其示出了适于用来实现本申请实施例的服务器的计算机系统700的结构示意图。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。该系统700还可以包括图形处理器GPU(Graphics Processing Unit)(图中未示出)。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考图1-3描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，上述计算机程序包含用于执行图1-3的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取单元、图像处理单元以及目标检测单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，图像获取单元还可以被描述为“用于获取待检测的遥感图像的单元”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本申请的基于深度学习的遥感图像舰船检测方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种基于深度学习的遥感图像舰船检测方法，其特征在于，该方法包括：
获取待检测的遥感图像；
对所述遥感图像进行处理得到输入图像；
将所述输入图像输入到预先构建的目标检测模型得到目标检测结果，所述目标检测模型是基于深度学习算法训练得到的，所述目标检测结果至少包括预测目标物为舰船的条件概率和所述预测目标物为舰船的置信度。
2.根据权利要求1所述的方法，其特征在于，所述对所述遥感图像进行处理至少包括：
对所述遥感图像进行滑动窗口处理得到输入图像集合，所述输入图像集合包括所述滑动窗口与所述遥感图像具有重叠区域的所有子图像。
3.根据权利要求2所述的方法，其特征在于，对所述遥感图像进行滑动窗口处理得到输入图像集合，包括：
将所述滑动窗口按照预设步长在所述遥感图像上移动，所述预设步长满足小于所述滑动窗口的条件；
截取所述滑动窗口与所述遥感图像具有重叠区域的图像部分作为所述子图像。
4.根据权利要求3所述的方法，其特征在于，该方法还包括：
根据所述置信度与第一预设阈值的比较结果，输出所述预测目标物为舰船的第一候选框集合；
对所述第一候选框集合进行第一非极大值抑制处理，得到第二候选框集合。
5.根据权利要求4所述的方法，其特征在于，在得到第二候选框集合之后，该方法还包括：
对所述第二候选框集合进行第二非极大值抑制处理，得到最后的检测结果。
6.根据权利要求5所述的方法，其特征在于，对所述第二候选框集合进行第二非极大值抑制处理，包括：
确定所述第二候选框集合中所述置信度的最大值所对应的候选框为比较对象；
选择所述第二候选框集合中任一个其他候选框作为第二候选框，所述其他候选框不包括所述比较对象；
计算所述第二候选框与所述比较对象的交集面积和并集面积的比值；
将所述比值与第二预设阈值进行比较；
若所述比值超过所述第二预设阈值，则删除所述第二候选框；
若所述比值低于所述第二预设阈值，则保留所述第二候选框；
重复上述步骤直到确定所述第二候选框集合中唯一的最佳候选框，作为最终的检测结果。
7.根据权利要求6所述的方法，其特征在于，该方法还包括构建目标检测模型的步骤，该步骤包括：
获取预设数值的历史遥感图像；
对所述历史遥感图像进行预处理；
将预处理后的结果划分为训练集和验证集；
按照YOLOv2算法对所述训练集进行训练学习得到所述目标检测模型；以及
利用所述验证集确定所述目标检测模型的参数。
8.根据权利要求7所述的方法，其特征在于，所述预处理至少包括：
基于所述历史遥感图像确定样本图像集合；
对所述样本图像集合中每一张样本图像进行标注，生成标签文件；
对所述样本图像集合中的每一张样本图像进行角度旋转处理；
对所述标签文件中每一张图像按照变换公式进行角度旋转处理。
9.一种基于深度学习的遥感图像舰船检测装置，其特征在于，该装置包括：
图像获取单元，用于获取待检测的遥感图像；
图像处理单元，用于对所述遥感图像进行处理得到输入图像；
目标检测单元，用于将所述输入图像输入到预先构建的目标检测模型得到目标检测结果，所述目标检测模型是基于深度学习算法训练得到的，所述目标检测结果至少包括预测目标物为舰船的条件概率和所述预测目标物为舰船的置信度。
10.根据权利要求9所述的装置，其特征在于，所述图像处理单元至少包括：
滑动处理子单元，用于对所述遥感图像进行滑动窗口处理得到输入图像集合，所述输入图像集合包括所述滑动窗口与所述遥感图像具有重叠区域的所有子图像。
11.根据权利要求10所述的装置，其特征在于，所述滑动处理子单元包括：
移动模块，用于将所述滑动窗口按照预设步长在所述遥感图像上移动，所述预设步长满足小于所述滑动窗口的条件；
截取模块，用于截取所述滑动窗口与所述遥感图像具有重叠区域的图像部分作为所述子图像。
12.根据权利要求11所述的装置，其特征在于，该装置还包括：
比较子单元，用于根据所述置信度与第一预设阈值的比较结果，输出所述预测目标物为舰船的第一候选框集合；
第一NMS处理单元，用于对所述第一候选框集合进行第一非极大值抑制NMS处理，得到第二候选框集合。
13.根据权利要求12所述的装置，其特征在于，在得到第二候选框集合之后，该装置还包括：
第二NMS处理单元，用于对所述第二候选框集合进行第二非极大值抑制处理，得到最后的检测结果。
14.根据权利要求13所述的装置，其特征在于，所述第二NMS处理单元，包括：
确定子单元，用于确定所述第二候选框集合中所述置信度的最大值所对应的候选框为比较对象；
选择子单元，用于选择所述第二候选框集合中任一个其他候选框作为第二候选框，所述其他候选框不包括所述比较对象；
计算子单元，用于计算所述第二候选框与所述比较对象的交集面积和并集面积的比值；
比较子单元，用于将所述比值与第二预设阈值进行比较；
若所述比值超过所述预设阈值，则删除所述第二候选框；
若所述比值低于所述预设阈值，则保留所述第二候选框；
重复确定子单元，用于重复上述子单元执行的步骤直到确定所述第二候选框集合中唯一的最佳候选框，作为最终的检测结果。
15.根据权利要求14所述的装置，其特征在于，该装置还包括：用于构建目标检测模型的单元，其包括：
历史图像获取子单元，用于获取预设数值的历史遥感图像；
预处理子单元，用于对所述历史遥感图像进行预处理；
划分子单元，用于将预处理后的结果划分为训练集和验证集；
训练子单元，用于按照YOLOv2算法对所述训练集进行训练学习得到所述目标检测模型；以及
验证子单元，用于利用所述验证集确定所述目标检测模型的参数。
16.根据权利要求15所述的装置，其特征在于，所述预处理子单元至少包括：
样本确定模块，用于基于所述历史遥感图像确定样本图像集合；
标注模块，用于对所述样本图像集合中每一张样本图像进行标注，生成标签文件；
第一角度处理模块，用于对所述样本图像集合中的每一张样本图像进行角度旋转处理；
第二角度处理模块，用于对所述标签文件中每一张图像按照变换公式进行角度旋转处理。
17.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：
所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201811316955.2A 2018-11-07 2018-11-07 遥感图像舰船检测方法、装置、设备及其存储介质 Pending CN111160065A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811316955.2A CN111160065A (zh) 2018-11-07 2018-11-07 遥感图像舰船检测方法、装置、设备及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811316955.2A CN111160065A (zh) 2018-11-07 2018-11-07 遥感图像舰船检测方法、装置、设备及其存储介质

Publications (1)

Publication Number Publication Date
CN111160065A true CN111160065A (zh) 2020-05-15

Family

ID=70554455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811316955.2A Pending CN111160065A (zh) 2018-11-07 2018-11-07 遥感图像舰船检测方法、装置、设备及其存储介质

Country Status (1)

Country Link
CN (1) CN111160065A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833329A (zh) * 2020-07-14 2020-10-27 中国电子科技集团公司第五十四研究所 一种大型遥感影像的人工判证辅助方法
CN112800915A (zh) * 2021-01-20 2021-05-14 北京百度网讯科技有限公司 建筑物变化检测方法、装置、电子设备以及存储介质
CN113095210A (zh) * 2021-04-08 2021-07-09 北京一起教育科技有限责任公司 一种练习册页面检测的方法、装置及电子设备
CN113505627A (zh) * 2021-03-31 2021-10-15 北京苍灵科技有限公司 遥感数据处理方法、装置、电子设备和存储介质
WO2021254205A1 (zh) * 2020-06-17 2021-12-23 苏宁易购集团股份有限公司 一种目标检测方法及装置
CN114550009A (zh) * 2022-04-01 2022-05-27 中国科学院空天信息创新研究院 星载遥感图像的轻量化目标检测方法、装置、设备及介质
CN116051985A (zh) * 2022-12-20 2023-05-02 中国科学院空天信息创新研究院 一种基于多模型互馈学习的半监督遥感目标检测方法
CN117557788A (zh) * 2024-01-12 2024-02-13 国研软件股份有限公司 一种基于运动预测的海上目标检测方法及系统
CN118366051A (zh) * 2024-04-07 2024-07-19 中科云遥(深圳)科技有限公司 基于重叠块的遥感影像对象融合与过滤的优化方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009554A (zh) * 2017-12-01 2018-05-08 国信优易数据有限公司 一种图像处理方法以及装置
CN108268869A (zh) * 2018-02-13 2018-07-10 北京旷视科技有限公司 目标检测方法、装置及系统
CN108629354A (zh) * 2017-03-17 2018-10-09 杭州海康威视数字技术股份有限公司 目标检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629354A (zh) * 2017-03-17 2018-10-09 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN108009554A (zh) * 2017-12-01 2018-05-08 国信优易数据有限公司 一种图像处理方法以及装置
CN108268869A (zh) * 2018-02-13 2018-07-10 北京旷视科技有限公司 目标检测方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卢艺帆等: "基于卷积神经网络的光学遥感图像目标检测", 中国科技论文, pages 1583 - 1633 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021254205A1 (zh) * 2020-06-17 2021-12-23 苏宁易购集团股份有限公司 一种目标检测方法及装置
CN111833329A (zh) * 2020-07-14 2020-10-27 中国电子科技集团公司第五十四研究所 一种大型遥感影像的人工判证辅助方法
CN112800915A (zh) * 2021-01-20 2021-05-14 北京百度网讯科技有限公司 建筑物变化检测方法、装置、电子设备以及存储介质
CN112800915B (zh) * 2021-01-20 2023-06-27 北京百度网讯科技有限公司 建筑物变化检测方法、装置、电子设备以及存储介质
CN113505627A (zh) * 2021-03-31 2021-10-15 北京苍灵科技有限公司 遥感数据处理方法、装置、电子设备和存储介质
CN113095210A (zh) * 2021-04-08 2021-07-09 北京一起教育科技有限责任公司 一种练习册页面检测的方法、装置及电子设备
CN114550009A (zh) * 2022-04-01 2022-05-27 中国科学院空天信息创新研究院 星载遥感图像的轻量化目标检测方法、装置、设备及介质
CN116051985A (zh) * 2022-12-20 2023-05-02 中国科学院空天信息创新研究院 一种基于多模型互馈学习的半监督遥感目标检测方法
CN116051985B (zh) * 2022-12-20 2023-06-23 中国科学院空天信息创新研究院 一种基于多模型互馈学习的半监督遥感目标检测方法
CN117557788A (zh) * 2024-01-12 2024-02-13 国研软件股份有限公司 一种基于运动预测的海上目标检测方法及系统
CN117557788B (zh) * 2024-01-12 2024-03-26 国研软件股份有限公司 一种基于运动预测的海上目标检测方法及系统
CN118366051A (zh) * 2024-04-07 2024-07-19 中科云遥(深圳)科技有限公司 基于重叠块的遥感影像对象融合与过滤的优化方法和装置

Similar Documents

Publication Publication Date Title
CN111160065A (zh) 遥感图像舰船检测方法、装置、设备及其存储介质
CN110310264B (zh) 一种基于dcnn的大尺度目标检测方法、装置
US10607362B2 (en) Remote determination of containers in geographical region
CN110458095B (zh) 一种有效手势的识别方法、控制方法、装置和电子设备
CN110781885A (zh) 基于图像处理的文本检测方法、装置、介质及电子设备
US20170293800A1 (en) Remote determination of containers in geographical region
Hormese et al. Automated road extraction from high resolution satellite images
CN110222641B (zh) 用于识别图像的方法和装置
CN112800955A (zh) 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统
EP3553700A2 (en) Remote determination of containers in geographical region
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN111275040A (zh) 定位方法及装置、电子设备、计算机可读存储介质
KR20190059083A (ko) 영상 분할 기반의 해양 상황 인식 장치 및 그 방법
CN113627299A (zh) 一种基于深度学习的导线漂浮物智能识别方法及装置
CN116704324A (zh) 基于水下图像的目标检测方法、系统、设备以及存储介质
CN113971728B (zh) 图像识别方法、模型的训练方法、装置、设备及介质
CN109242882B (zh) 视觉跟踪方法、装置、介质及设备
CN114445697A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN115131826B (zh) 物品检测识别方法、网络模型的训练方法和装置
WO2014016234A1 (en) Biological unit segmentation with ranking based on similarity applying a shape and scale descriptor
CN115223173A (zh) 对象识别方法、装置、电子设备及存储介质
CN115471755A (zh) 基于分割的图像目标快速检测方法
CN114511862A (zh) 表格识别方法、装置及电子设备
Sun et al. Contextual models for automatic building extraction in high resolution remote sensing image using object-based boosting method
CN114581365B (zh) 一种螺栓检测模型构建及螺栓松动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination