CN113449702A - 遥感图像的目标检测方法、装置、存储介质及电子设备 - Google Patents

遥感图像的目标检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113449702A
CN113449702A CN202111007529.2A CN202111007529A CN113449702A CN 113449702 A CN113449702 A CN 113449702A CN 202111007529 A CN202111007529 A CN 202111007529A CN 113449702 A CN113449702 A CN 113449702A
Authority
CN
China
Prior art keywords
target
detection
frame
image
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111007529.2A
Other languages
English (en)
Other versions
CN113449702B (zh
Inventor
季明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou liantu Technology Co., Ltd
TIANJIN LIANTU TECHNOLOGY Co.,Ltd.
Original Assignee
Tianjin Liantu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Liantu Technology Co ltd filed Critical Tianjin Liantu Technology Co ltd
Priority to CN202111007529.2A priority Critical patent/CN113449702B/zh
Publication of CN113449702A publication Critical patent/CN113449702A/zh
Application granted granted Critical
Publication of CN113449702B publication Critical patent/CN113449702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种遥感图像的目标检测方法、装置、存储介质及电子设备,该方法包括:对原始遥感图像进行图像裁剪,得到多个图像切片;根据检测框对各个图像切片中的目标进行目标标注,并根据所述检测框对应的外接框对得到的目标标注数据进行编码,得到检测数据集;将所述检测数据集输入到预先训练的无预设框检测网络进行目标检测,得到目标在图像切片上的边界目标坐标、目标类别信息以及当前检测结果的置信度;对各个图像切片的目标检测结果进行合并。本发明采用无预设框的目标检测算法,可以避免预设框对目标形态的限制,解决检测目标长宽比悬殊、密集分布造成的检测难度高问题,能够有效提高检测准确率。

Description

遥感图像的目标检测方法、装置、存储介质及电子设备
技术领域
本发明涉及人工智能技术领域,尤其涉及一种遥感图像的目标检测方法、装置、存储介质及电子设备。
背景技术
随着遥感技术向高空间、高光谱、高时相分辨率,以及多卫星、多平台,多角度,全方位观测的趋势发展,遥感技术为地球资源环境的研究提供了海量数据。遥感数据获取手段的增强,使需要处理的遥感信息量急剧增加。在这种情况下,如何满足应用人员对于大区域遥感资料进行快速处理与分析的需求,成为遥感信息处理面临的一大难题。
近年来,人工智能技术快速发展,深度学习在寻常场景的图像解译领域实现了长足的进步。深度学习也逐渐被用于遥感图像解译,其通过数据样本训练,生成卷积神经网络模型,实现对目标的智能感知,显著提高了遥感信息处理效率。
但是,不同场景的图像具有不同特点,对图像解译而言,遥感图像具有无遮挡的优点,但分辨率过高,俯视视角下物体特征不明显,物体小而密集都带来了巨大的挑战。上述原因使得在寻常场景中表现优异的目标检测算法在遥感领域效果不够理想,难以为遥感分析提供强有力的智能分析处理依据。
发明内容
鉴于上述问题,本发明提出了一种遥感图像的目标检测方法、装置、存储介质及电子设备,能够避免预设框对目标形态的限制,解决检测目标长宽比悬殊、密集分布造成的目标检测难度高的问题。
本发明的一个方面,提供了一种遥感图像的目标检测方法,所述方法包括:
对原始遥感图像进行图像裁剪,得到多个图像切片;
根据检测框对各个图像切片中的目标进行目标标注,并根据所述检测框对应的外接框对得到的目标标注数据进行编码,得到检测数据集;
将所述检测数据集输入到预先训练的无预设框检测网络进行目标检测,得到目标在图像切片上的边界目标坐标、目标类别信息以及当前检测结果的置信度;
对各个图像切片的目标检测结果进行合并。
可选地,所述根据检测框对各个图像切片中的目标进行目标标注,包括:
根据检测到目标时检测框的位置坐标对图像切片中的目标进行目标标注,得到原始标注信息[x1,y1,x2,y2,x3,y3,x4,y4],其中,(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别为检测到目标时检测框的顶点坐标。
可选地,所述根据所述检测框对应的外接框对得到的目标标注数据进行编码,包括:
根据所述检测框对应的外接框的位置坐标确定对原始标注信息[x1,y1,x2,y2, x3,y3,x4,y4]进行编码,得到编码的标注数据(x, y, w, h,
Figure 64505DEST_PATH_IMAGE001
,
Figure 498635DEST_PATH_IMAGE002
),其中:
Figure 613222DEST_PATH_IMAGE003
P,Q分别表示检测框左顶点和上顶点到外接框左上角的距离,
Figure 394096DEST_PATH_IMAGE004
表示
Figure 910528DEST_PATH_IMAGE005
对应的 坐标点中x坐标取值最小的坐标点对应的y坐标取值;
Figure 17024DEST_PATH_IMAGE006
表示
Figure 618907DEST_PATH_IMAGE007
对应的坐标点中y坐标取 值最小的坐标点对应的x坐标取值。
可选地,所述将所述检测数据集输入到预先训练的无预设框检测网络进行目标检测,包括:
配置参数通道为[x, y, w, h,
Figure 469051DEST_PATH_IMAGE001
,
Figure 607034DEST_PATH_IMAGE002
]六参数,并将
Figure 618852DEST_PATH_IMAGE002
转化为[0,1]范围的浮 点型变量;
在检测网络中通过[x, y, w, h,
Figure 442452DEST_PATH_IMAGE001
,
Figure 96287DEST_PATH_IMAGE002
]六参数的回归进行检测框的预测;
根据预设阈值对预测结果进行二值化,得到边界目标坐标;
对所述边界目标坐标内部的图像数据进行目标预测,得到目标类别信息以及当前检测结果的置信度。
可选地,在所述对各个图像切片的目标检测结果进行合并之前,所述方法还包括:
对预测结果中边界目标坐标进行坐标矫正,并根据当前目标在当前图像切片内部的比重,对其预测置信度进行惩罚。
可选地,在所述对各个图像切片的目标检测结果进行合并之后,所述方法还包括对边界目标坐标修正的步骤;
所述对边界目标坐标修正的步骤,具体包括:对位于合并后的整图边界的边界目标进行矫正,切除图外的部位,生成与保留部分交并比最大的外接四边形。
本发明的另一个方面,提供了一种遥感图像的目标检测装置,包括:
裁剪模块,用于对原始遥感图像进行图像裁剪,得到多个图像切片;
标注编码模块,用于根据检测框对各个图像切片中的目标进行目标标注,并根据所述检测框对应的外接框对得到的目标标注数据进行编码,得到检测数据集;
预测模块,用于将所述检测数据集输入到预先训练的无预设框检测网络进行目标检测,得到目标在图像切片上的边界目标坐标、目标类别信息以及当前检测结果的置信度;
合并模块,用于对各个图像切片的目标检测结果进行合并。
可选地,所述标注编码模块,包括:
标注单元,用于根据检测到目标时检测框的位置坐标对图像切片中的目标进行目标标注,得到原始标注信息[x1,y1,x2,y2,x3,y3,x4,y4],其中,(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别为检测到目标时检测框的顶点坐标;
编码单元,用于根据所述检测框对应的外接框的位置坐标确定对原始标注信息 [x1,y1,x2,y2,x3,y3,x4,y4]进行编码,得到编码的标注数据(x, y, w, h,
Figure 321732DEST_PATH_IMAGE001
,
Figure 504451DEST_PATH_IMAGE002
),其 中:
Figure 850900DEST_PATH_IMAGE003
P,Q分别表示检测框左顶点和上顶点到外接框左上角的距离,
Figure 777268DEST_PATH_IMAGE004
表示
Figure 857219DEST_PATH_IMAGE005
对应的 坐标点中x坐标取值最小的坐标点对应的y坐标取值;
Figure 476419DEST_PATH_IMAGE006
表示
Figure 540190DEST_PATH_IMAGE007
对应的坐标点中y坐标取 值最小的坐标点对应的x坐标取值。
可选地,所述预测模块,包括:
配置单元,用于配置参数通道为[x, y, w, h,
Figure 270249DEST_PATH_IMAGE001
,
Figure 204707DEST_PATH_IMAGE002
]六参数,并将
Figure 994808DEST_PATH_IMAGE002
转化为 [0,1]范围的浮点型变量;
预测单元,用于在检测网络中通过[x, y, w, h,
Figure 781761DEST_PATH_IMAGE001
,
Figure 49931DEST_PATH_IMAGE002
]六参数的回归进行检 测框的预测;
二值化单元,用于根据预设阈值对预测结果进行二值化,得到边界目标坐标;
所述预测单元,还用于对所述边界目标坐标内部的图像数据进行目标预测,得到目标类别信息以及当前检测结果的置信度。
可选地,所述装置还包括:优化模块,用于在所述合并模块对各个图像切片的目标检测结果进行合并之前,对预测结果中边界目标坐标进行坐标矫正,并根据当前目标在当前图像切片内部的比重,对其预测置信度进行惩罚。
可选地,所述装置还包括:修正模块,用于在所述合并模块对各个图像切片的目标检测结果进行合并之后,对边界目标坐标修正,具体用于对位于合并后的整图边界的边界目标进行矫正,切除图外的部位,生成与保留部分交并比最大的外接四边形。
此外,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述方法的步骤。
此外,本发明还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述方法的步骤。
本发明实施例提供的遥感图像的目标检测方法、装置、存储介质及电子设备,采用无预设框的目标检测算法,可以避免预设框对目标形态的限制,解决检测目标长宽比悬殊、密集分布造成的检测难度高问题,能够有效提高检测准确率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例的一种遥感图像的目标检测方法的流程示意图;
图2为本发明实施例中提出的原始标注信息的实现原理图;
图3为本发明实施例中提出的标注信息的编码格式的实现原理图;
图4为本发明实施例中提出的实现边界目标坐标修正的原理图;
图5为本发明实施例的一种遥感图像的目标检测装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非被特定定义,否则不会用理想化或过于正式的含义来解释。
图1示意性示出了本发明一个实施例的遥感图像的目标检测方法的流程图。参照图1,本发明实施例提出的遥感图像的目标检测方法具体包括以下步骤:
步骤S11、对原始遥感图像进行图像裁剪,得到多个图像切片。
具体的,图像裁剪按照一定的交叠进行,通过目标在裁剪后图像中保留的比例,决定目标的标注归属于哪个图像切片。对于目标被截断的情况,设置一个保留比例的阈值,当保留比例大于此值时,认为目标属于当前切片。当矩形边框水平时,截断后仍为4顶点,取截断产生的顶点为新顶点。当矩形边框倾斜时,截断后成为5个顶点,取最短边的中点作为最短边的两个顶点的合并结果。
步骤S12、根据检测框对各个图像切片中的目标进行目标标注,并根据所述检测框对应的外接框对得到的目标标注数据进行编码,得到检测数据集。
其中,检测框不规则四边形,本发明能够实现从采集到的遥感图像中进行目标的不规则四边形检测框的预测。
步骤S13、将所述检测数据集输入到预先训练的无预设框检测网络进行目标检测,得到目标在图像切片上的边界目标坐标、目标类别信息以及当前检测结果的置信度。
本实施例中,无预设框检测网络具体为带修正功能的无预设框检测网络,通过将编码后的数据集输入到带修正功能的无预设框检测网络实现后续的特征提取、目标提议、边框矫正,并最终给出遥感图像中带检测目标的初步推断结果。
步骤S14、对各个图像切片的目标检测结果进行合并。
本发明实施例提供的遥感图像的目标检测方法,采用无预设框的目标检测算法,可以避免预设框对目标形态的限制,解决检测目标长宽比悬殊、密集分布造成的检测难度高问题,能够有效提高检测准确率。
本实施例中,步骤S12中的根据检测框对各个图像切片中的目标进行目标标注,具体包括:根据检测到目标时检测框的位置坐标对图像切片中的目标进行目标标注,得到原始标注信息[x1,y1,x2,y2,x3,y3,x4,y4],其中,(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别为检测到目标时检测框的顶点坐标。
如图2所示,可根据检测到目标时检测框的位置坐标进行目标标注,得到原始标注信息[x1,y1,x2,y2,x3,y3,x4,y4]。
本实施例中,步骤S12中的根据所述检测框对应的外接框对得到的目标标注数据 进行编码,包括:根据所述检测框对应的外接框的位置坐标确定对原始标注信息[x1,y1, x2,y2,x3,y3,x4,y4]进行编码,得到编码的标注数据(x, y, w, h,
Figure 370054DEST_PATH_IMAGE001
,
Figure 331057DEST_PATH_IMAGE002
),其中:
Figure 838262DEST_PATH_IMAGE008
本发明实施例,P,Q分别表示检测框左顶点和上顶点到外接框左上角(x,y)的距 离,
Figure 175702DEST_PATH_IMAGE004
表示
Figure 350331DEST_PATH_IMAGE005
对应的坐标点中x坐标值取值最小的坐标点对应的y坐标取值;
Figure 715191DEST_PATH_IMAGE006
表示
Figure 240851DEST_PATH_IMAGE007
对应的坐标点中y坐标值取值最小的坐标点对应的x坐标取值。通过外接框和检测框的 左顶点最多能够在外接框内表达出图3所示的两个内接矩形,其中,虚线内接矩形是外接框 中唯一和实线内接矩形(即检测框)有共同左端点的旋转框,与实线内接矩形相比,其长宽 比例相差更大,形状更狭长一些。本实施例中,通过参数Tα对虚线内接矩形进行区分,具体 的,当虚线内接矩形为狭长型的窄矩形时,即
Figure 850824DEST_PATH_IMAGE009
时, Tα为True,否则,Tα为False。
本发明实施例中,提出引入比例因子的检测框编码格式,方法新颖、算法计算量需求少、无量化误差,能很好的解决遥感中的目标检测问题。
在本发明实施例中,步骤S13中的将所述检测数据集输入到预先训练的无预设框检测网络进行目标检测,具体包括以下附图中未示出的步骤:
步骤S131、配置参数通道为[x, y, w, h,
Figure 879960DEST_PATH_IMAGE001
,
Figure 917186DEST_PATH_IMAGE002
]六参数,并将
Figure 930141DEST_PATH_IMAGE002
转化为[0,1] 范围的浮点型变量;
步骤S132、在检测网络中通过[x, y, w, h,
Figure 343805DEST_PATH_IMAGE001
,
Figure 994491DEST_PATH_IMAGE002
]六参数的回归进行检测框 的预测;
步骤S133、根据预设阈值对预测结果进行二值化,得到边界目标坐标;
步骤S134、对所述边界目标坐标内部的图像数据进行目标预测,得到目标类别信息以及当前检测结果的置信度。
本发明实施例,通过配置参数通道,扩充为[x, y, w, h,
Figure 468198DEST_PATH_IMAGE001
,
Figure 437291DEST_PATH_IMAGE002
]六参数的回归 任务,并将
Figure 389066DEST_PATH_IMAGE002
转化为[0,1]范围的浮点型变量,方便变量在检测网络中的回归量计算,最终 通过判定是否大于0.5,进行二值化,得到边界目标坐标。
如图4所示,本发明实施例中,在所述对各个图像切片的目标检测结果进行合并之后,所述方法还包括对边界目标坐标修正的步骤。其中,对边界目标坐标修正的步骤,具体包括:对位于合并后的整图边界的边界目标进行矫正,切除图外的部位,生成与保留部分交并比最大的外接四边形。
本实施例中,边界目标坐标修正,主要针对检测结果合并后,位于整图边界的目标。通过将提议框进行矫正,切除图外的部位,生成与保留部分交并比最大的外接四边形实现。
本发明实施例中,在对各个图像切片的目标检测结果进行合并之前,对预测结果中边界目标坐标进行坐标矫正,并根据当前目标在当前图像切片内部的比重,对其预测置信度进行惩罚。
本发明实施例中提出的置信度惩罚算法,主要计算检测结果合并前位于子图边缘的目标在图像内部的比重,基于该比重对其预测置信度进行惩罚,防止在合并时,在非极大值抑制操作时,将相邻子图中该目标的完整检测框过滤掉。
本发明通过对越界目标的坐标矫正与置信度惩罚算法,有效的缓解大尺度图像因裁剪造成的上下文信息缺失和目标信息不完整问题,减少网络的假阳性检测。
本发明实施例,对原始遥感图像进行裁剪、标注数据进行编码,保证送入的数据符合检测网络要求;然后通过将编码后的数据集输入到带修正功能的无预设框检测网络,通过特征提取、目标提议、边框矫正最终给出遥感图像中带检测目标的初步推断结果;之后进行结果的处理,在完成数据解码、图像合并的同时,通过算法处理实现推断结果中边界目标的坐标矫正和置信度惩罚,最终输出目标在原始遥感图像上的不规则四边形坐标和其类别信息。
进一步地,本发明实施例选择VOC格式的平均准确度mean average precision(mAP)作为检测结果的评价指标,以此进行对目标检测算法测试精度的评估。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
图5示意性示出了本发明一个实施例的遥感图像的目标检测装置的结构示意图。参照图5,本发明实施例提出的遥感图像的目标检测装置具体包括裁剪模块201、标注编码模块202、预测模块203以及合并模块204,其中:
裁剪模块201,用于对原始遥感图像进行图像裁剪,得到多个图像切片;
标注编码模块202,用于根据检测框对各个图像切片中的目标进行目标标注,并根据所述检测框对应的外接框对得到的目标标注数据进行编码,得到检测数据集;
预测模块203,用于将所述检测数据集输入到预先训练的无预设框检测网络进行目标检测,得到目标在图像切片上的边界目标坐标、目标类别信息以及当前检测结果的置信度;
合并模块204,用于对各个图像切片的目标检测结果进行合并。
本发明实施例中,所述标注编码模块202,具体包括标注单元和编码单元,其中:
标注单元,用于根据检测到目标时检测框的位置坐标对图像切片中的目标进行目标标注,得到原始标注信息[x1,y1,x2,y2,x3,y3,x4,y4],其中,(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别为检测到目标时检测框的顶点坐标。
编码单元,用于根据所述检测框对应的外接框的位置坐标确定对原始标注信息 [x1,y1,x2,y2,x3,y3,x4,y4]进行编码,得到编码的标注数据(x, y, w, h,
Figure 658374DEST_PATH_IMAGE001
,
Figure 37403DEST_PATH_IMAGE002
),其 中:
Figure 493792DEST_PATH_IMAGE010
P,Q分别表示检测框左顶点和上顶点到外接框左上角的距离,
Figure 741934DEST_PATH_IMAGE004
表示
Figure 865748DEST_PATH_IMAGE005
对应的 坐标点中x坐标取值最小的坐标点对应的y坐标取值;
Figure 681257DEST_PATH_IMAGE006
表示
Figure 624942DEST_PATH_IMAGE007
对应的坐标点中y坐标取 值最小的坐标点对应的x坐标取值。
进一步地,所述预测模块203,具体包括配置单元、预测单元和二值化单元,其中:
配置单元,用于配置参数通道为[x, y, w, h,
Figure 918520DEST_PATH_IMAGE001
,
Figure 896841DEST_PATH_IMAGE002
]六参数,并将T
Figure 883251DEST_PATH_IMAGE011
转化为 [0,1]范围的浮点型变量;
预测单元,用于在检测网络中通过[x, y, w, h,
Figure 81276DEST_PATH_IMAGE001
,
Figure 178545DEST_PATH_IMAGE002
]六参数的回归进行检测 框的预测;
二值化单元,用于根据预设阈值对预测结果进行二值化,得到边界目标坐标;
所述预测单元,还用于对所述边界目标坐标内部的图像数据进行目标预测,得到目标类别信息以及当前检测结果的置信度。
本发明实施例中,所述装置还包括附图中未示出的优化模块,所述的优化模块,用于在所述合并模块对各个图像切片的目标检测结果进行合并之前,对预测结果中边界目标坐标进行坐标矫正,并根据当前目标在当前图像切片内部的比重,对其预测置信度进行惩罚。
本发明实施例中,所述装置还包括附图中未示出的优化模块,所述的修正模块,用于在所述合并模块对各个图像切片的目标检测结果进行合并之后,对边界目标坐标修正,具体用于对位于合并后的整图边界的边界目标进行矫正,切除图外的部位,生成与保留部分交并比最大的外接四边形。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
本发明实施例提供的遥感图像的目标检测方法、装置,采用无预设框的检测算法与边框修正模块相结合的目标检测算法,可以避免预设框对目标形态的限制,有效解决检测目标长宽比悬殊、密集分布造成的检测难度高问题,能够有效提高检测准确率。而且,通过引入比例因子的检测框编码格式,不仅新颖、算法计算量需求少、无量化误差,还能很好的解决遥感中的目标检测问题。
此外,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述方法的步骤。
本实施例中,所述遥感图像的目标检测装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
本发明实施例提供的电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述各个遥感图像的目标检测方法实施例中的步骤,例如图1所示的步骤S11~步骤S14。或者,所述处理器执行所述计算机程序时实现上述各遥感图像的目标检测装置实施例中各模块/单元的功能,例如图5所示的裁剪模块201、标注编码模块202、预测模块203以及合并模块204。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述遥感图像的目标检测装置中的执行过程。例如,所述计算机程序可以被分割成裁剪模块201、标注编码模块202、预测模块203以及合并模块204。
所述电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,本实施例中的电子设备可以包括更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述电子设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种遥感图像的目标检测方法,其特征在于,所述方法包括:
对原始遥感图像进行图像裁剪,得到多个图像切片;
根据检测框对各个图像切片中的目标进行目标标注,并根据所述检测框对应的外接框对得到的目标标注数据进行编码,得到检测数据集;
将所述检测数据集输入到预先训练的无预设框检测网络进行目标检测,得到目标在图像切片上的边界目标坐标、目标类别信息以及当前检测结果的置信度;
对各个图像切片的目标检测结果进行合并。
2.根据权利要求1所述的方法,其特征在于,所述根据检测框对各个图像切片中的目标进行目标标注,包括:
根据检测到目标时检测框的位置坐标对图像切片中的目标进行目标标注,得到原始标注信息[x1,y1,x2,y2,x3,y3,x4,y4],其中,(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别为检测到目标时检测框的顶点坐标。
3.根据权利要求2所述的方法,其特征在于,所述根据所述检测框对应的外接框对得到的目标标注数据进行编码,包括:
根据所述检测框对应的外接框的位置坐标确定对原始标注信息[x1,y1,x2,y2,x3,y3, x4,y4]进行编码,得到编码的标注数据(x, y, w, h,
Figure 816823DEST_PATH_IMAGE001
,
Figure 239714DEST_PATH_IMAGE002
),其中:
Figure 157991DEST_PATH_IMAGE003
P,Q分别表示检测框左顶点和上顶点到外接框左上角的距离,
Figure 58951DEST_PATH_IMAGE004
表示
Figure 746284DEST_PATH_IMAGE005
对应的坐标 点中x坐标取值最小的坐标点对应的y坐标取值;
Figure 340077DEST_PATH_IMAGE006
表示
Figure 984466DEST_PATH_IMAGE007
对应的坐标点中y坐标取值最 小的坐标点对应的x坐标取值。
4.根据权利要求3所述的方法,其特征在于,所述将所述检测数据集输入到预先训练的无预设框检测网络进行目标检测,包括:
配置参数通道为[x, y, w, h,
Figure 220275DEST_PATH_IMAGE001
,
Figure 762115DEST_PATH_IMAGE002
]六参数,并将
Figure 261229DEST_PATH_IMAGE002
转化为[0,1]范围的浮点型变 量;
在检测网络中通过[x, y, w, h,
Figure 888520DEST_PATH_IMAGE001
,
Figure 865703DEST_PATH_IMAGE002
]六参数的回归进行检测框的预测;
根据预设阈值对预测结果进行二值化,得到边界目标坐标;
对所述边界目标坐标内部的图像数据进行目标预测,得到目标类别信息以及当前检测结果的置信度。
5.根据权利要求1-4任一项所述的方法,其特征在于,在所述对各个图像切片的目标检测结果进行合并之前,所述方法还包括:
对预测结果中边界目标坐标进行坐标矫正,并根据当前目标在当前图像切片内部的比重,对其预测置信度进行惩罚。
6.根据权利要求1-4任一项所述的方法,其特征在于,在所述对各个图像切片的目标检测结果进行合并之后,所述方法还包括对边界目标坐标修正的步骤;
所述对边界目标坐标修正的步骤,具体包括:对位于合并后的整图边界的边界目标进行矫正,切除图外的部位,生成与保留部分交并比最大的外接四边形。
7.一种遥感图像的目标检测装置,其特征在于,包括:
裁剪模块,用于对原始遥感图像进行图像裁剪,得到多个图像切片;
标注编码模块,用于根据检测框对各个图像切片中的目标进行目标标注,并根据所述检测框对应的外接框对得到的目标标注数据进行编码,得到检测数据集;
预测模块,用于将所述检测数据集输入到预先训练的无预设框检测网络进行目标检测,得到目标在图像切片上的边界目标坐标、目标类别信息以及当前检测结果的置信度;
合并模块,用于对各个图像切片的目标检测结果进行合并。
8.根据权利要求7所述的装置,其特征在于,所述标注编码模块,包括:
标注单元,用于根据检测到目标时检测框的位置坐标对图像切片中的目标进行目标标注,得到原始标注信息[x1,y1,x2,y2,x3,y3,x4,y4],其中,(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别为检测到目标时检测框的顶点坐标;
编码单元,用于根据所述检测框对应的外接框的位置坐标确定对原始标注信息[x1, y1,x2,y2,x3,y3,x4,y4]进行编码,得到编码的标注数据(x, y, w, h,
Figure 527628DEST_PATH_IMAGE001
,
Figure 699109DEST_PATH_IMAGE002
),其中:
Figure 79275DEST_PATH_IMAGE008
P,Q分别表示检测框左顶点和上顶点到外接框左上角的距离,
Figure 860149DEST_PATH_IMAGE004
表示
Figure 376581DEST_PATH_IMAGE005
对应的坐标 点中x坐标取值最小的坐标点对应的y坐标取值;
Figure 217498DEST_PATH_IMAGE006
表示
Figure 819381DEST_PATH_IMAGE007
对应的坐标点中y坐标取值最 小的坐标点对应的x坐标取值。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-6任一项所述方法的步骤。
CN202111007529.2A 2021-08-31 2021-08-31 遥感图像的目标检测方法、装置、存储介质及电子设备 Active CN113449702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111007529.2A CN113449702B (zh) 2021-08-31 2021-08-31 遥感图像的目标检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111007529.2A CN113449702B (zh) 2021-08-31 2021-08-31 遥感图像的目标检测方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113449702A true CN113449702A (zh) 2021-09-28
CN113449702B CN113449702B (zh) 2021-12-03

Family

ID=77819010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111007529.2A Active CN113449702B (zh) 2021-08-31 2021-08-31 遥感图像的目标检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113449702B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457119A (zh) * 2022-09-21 2022-12-09 正泰集团研发中心(上海)有限公司 汇流条的标注方法、装置、计算机设备及可读存储介质
CN115880672A (zh) * 2023-02-08 2023-03-31 中国第一汽车股份有限公司 目标检测方法、装置、存储介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223302A (zh) * 2019-05-08 2019-09-10 华中科技大学 一种基于旋转区域提取的舰船多目标检测方法
CN110765951A (zh) * 2019-10-24 2020-02-07 西安电子科技大学 基于边界框修正算法的遥感图像飞机目标检测方法
CN112395975A (zh) * 2020-11-17 2021-02-23 南京泓图人工智能技术研究院有限公司 一种基于旋转区域生成网络的遥感图像目标检测方法
CN112446327A (zh) * 2020-11-27 2021-03-05 中国地质大学(武汉) 一种基于无锚框的遥感图像目标检测方法
CN112560852A (zh) * 2020-12-15 2021-03-26 三峡大学 基于YOLOv3网络具有旋转适应能力的单阶段目标检测方法
CN112966587A (zh) * 2021-03-02 2021-06-15 北京百度网讯科技有限公司 目标检测模型的训练方法、目标检测方法及相关设备
CN113191296A (zh) * 2021-05-13 2021-07-30 中国人民解放军陆军炮兵防空兵学院 一种基于yolov5的任意朝向目标五参数检测方法
CN113221775A (zh) * 2021-05-19 2021-08-06 哈尔滨工程大学 单阶段任意四边形回归框大长宽比目标遥感图像检测算法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223302A (zh) * 2019-05-08 2019-09-10 华中科技大学 一种基于旋转区域提取的舰船多目标检测方法
CN110765951A (zh) * 2019-10-24 2020-02-07 西安电子科技大学 基于边界框修正算法的遥感图像飞机目标检测方法
CN112395975A (zh) * 2020-11-17 2021-02-23 南京泓图人工智能技术研究院有限公司 一种基于旋转区域生成网络的遥感图像目标检测方法
CN112446327A (zh) * 2020-11-27 2021-03-05 中国地质大学(武汉) 一种基于无锚框的遥感图像目标检测方法
CN112560852A (zh) * 2020-12-15 2021-03-26 三峡大学 基于YOLOv3网络具有旋转适应能力的单阶段目标检测方法
CN112966587A (zh) * 2021-03-02 2021-06-15 北京百度网讯科技有限公司 目标检测模型的训练方法、目标检测方法及相关设备
CN113191296A (zh) * 2021-05-13 2021-07-30 中国人民解放军陆军炮兵防空兵学院 一种基于yolov5的任意朝向目标五参数检测方法
CN113221775A (zh) * 2021-05-19 2021-08-06 哈尔滨工程大学 单阶段任意四边形回归框大长宽比目标遥感图像检测算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI LIU 等: "Center and Scale Prediction:A Box-free Approach for Pedestrian and Face Detection", 《ARXIV》 *
仲伟峰 等: "旋转矩形区域的遥感图像舰船目标检测模型", 《计算机辅助设计与图形学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457119A (zh) * 2022-09-21 2022-12-09 正泰集团研发中心(上海)有限公司 汇流条的标注方法、装置、计算机设备及可读存储介质
CN115457119B (zh) * 2022-09-21 2023-10-27 正泰集团研发中心(上海)有限公司 汇流条的标注方法、装置、计算机设备及可读存储介质
CN115880672A (zh) * 2023-02-08 2023-03-31 中国第一汽车股份有限公司 目标检测方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN113449702B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN108121986B (zh) 目标检测方法及装置、计算机装置和计算机可读存储介质
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN109918969B (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN109165538B (zh) 基于深度神经网络的条形码检测方法及装置
CN113449702B (zh) 遥感图像的目标检测方法、装置、存储介质及电子设备
CN110705583A (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
CN111259846B (zh) 文本定位方法和系统以及文本定位模型训练方法和系统
CN110443242B (zh) 读数框检测方法、目标识别模型训练方法及相关装置
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
CN113780201B (zh) 手部图像的处理方法及装置、设备和介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
KR102421604B1 (ko) 이미지 처리 방법, 장치 및 전자 기기
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN115187530A (zh) 超声自动乳腺全容积图像的识别方法、装置、终端及介质
CN110110697B (zh) 基于方向矫正的多指纹分割提取方法、系统、设备及介质
CN113870196B (zh) 一种基于锚点切图的图像处理方法、装置、设备和介质
CN114005120A (zh) 一种车牌字符切割方法、车牌识别方法、装置、设备及存储介质
CN116227573B (zh) 分割模型训练方法、图像分割方法、装置及相关介质
CN115345895B (zh) 用于视觉检测的图像分割方法、装置、计算机设备及介质
CN115908363B (zh) 肿瘤细胞统计方法、装置、设备和存储介质
US10115195B2 (en) Method and apparatus for processing block to be processed of urine sediment image
CN112101139B (zh) 人形检测方法、装置、设备及存储介质
CN113077469B (zh) 草图图像语义分割方法、装置、终端设备及存储介质
CN114549884A (zh) 一种异常图像检测方法、装置、设备及介质
CN114494302A (zh) 图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211208

Address after: 300203 area b2-6f-074, animation building, No. 126, animation Middle Road, ecological city, Binhai New Area, Tianjin

Patentee after: TIANJIN LIANTU TECHNOLOGY Co.,Ltd.

Patentee after: Hangzhou liantu Technology Co., Ltd

Address before: 300203 area b2-6f-074, animation building, No. 126, animation Middle Road, ecological city, Binhai New Area, Tianjin

Patentee before: TIANJIN LIANTU TECHNOLOGY Co.,Ltd.