CN116310875A - 卫星遥感影像的目标检测方法及装置 - Google Patents
卫星遥感影像的目标检测方法及装置 Download PDFInfo
- Publication number
- CN116310875A CN116310875A CN202310298393.8A CN202310298393A CN116310875A CN 116310875 A CN116310875 A CN 116310875A CN 202310298393 A CN202310298393 A CN 202310298393A CN 116310875 A CN116310875 A CN 116310875A
- Authority
- CN
- China
- Prior art keywords
- image
- remote sensing
- satellite remote
- target
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000003709 image segmentation Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 23
- 238000005520 cutting process Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 230000011218 segmentation Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000000717 retained effect Effects 0.000 description 8
- 239000000872 buffer Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供一种卫星遥感影像的目标检测方法及装置，涉及卫星遥感领域，方法包括：对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像；本申请能够有效提高卫星遥感影像目标检测的准确率和效率。
Description
技术领域
本申请涉及卫星遥感领域，具体涉及一种卫星遥感影像的目标检测方法及装置。
背景技术
传统卫星遥感影像的目标检测的方法一般分为三个阶段:首先在给定的图像上选择一些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。下面我们对这三个阶段分别进行介绍。
(1)区域选择：这一步是为了对目标的位置进行定位。由于目标可能出现在图像的任何位置，而且目标的大小、长宽比例也不确定，所以最初采用滑动窗口的策略对整幅图像进行遍历，而且需要设置不同的尺度，不同的长宽比。这种穷举的策略虽然包含了目标所有可能出现的位置，但是缺点也是显而易见的:时间复杂度太高，产生冗余窗口太多，这也严重影响后续特征提取和分类的速度和性能。
(2)特征提取：由于目标的形态多样性，光照变化多样性，背景多样性等因素使得设计一个鲁棒的特征并不是那么容易。然而提取特征的好坏直接影响到分类的准确性。其中，这个阶段常用的特征有SIFT(局部特征描述子)、HOG(方向梯度直方图)等。
(3)分类：根据第二步提取到的特征对目标进行分类，分类器主要有SVM(支持向量机)，AdaBoost(迭代训练的分类器)等。
目前主流的目标检测算法主要是基于深度学习模型，大概可以分成两大类别：(1)One-Stage目标检测算法，这类检测算法不需要图像区域选择阶段，可以直接产生物体的类别概率和位置坐标值，比较典型的算法有YOLO、SSD和CornerNet；(2)Two-Stage目标检测算法，这类检测算法将检测问题划分为两个阶段，第一个阶段首先产生候选区域(RegionProposals)，包含目标大概的位置信息，然后第二个阶段对候选区域进行分类和位置精修，这类算法的典型代表有R-CNN，Fast R-CNN，Faster R-CNN等。目标检测模型的主要性能指标是检测准确度和速度，其中准确度主要考虑物体的定位以及分类准确度。一般情况下，Two-Stage算法在准确度上有优势，而One-Stage算法在速度上有优势。
不过，针对卫星遥感影像这种大尺寸的图像，图像中的目标会非常小，现有技术中的目标检测算法可能会漏检很多目标，均不能在准确度以及速度上取得较好的结果。
发明内容
针对现有技术中的问题，本申请提供一种卫星遥感影像的目标检测方法及装置，能够有效提高卫星遥感影像目标检测的准确率和效率。
为了解决上述问题中的至少一个，本申请提供以下技术方案：
第一方面，本申请提供一种卫星遥感影像的目标检测方法，包括：
对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；
将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像。
进一步地，所述对卫星遥感影像进行图像切分，包括：
对卫星遥感影像的原始图像尺寸若干等分后增加一重叠间距，得到切割尺寸；
根据所述切割尺寸对所述卫星遥感影像进行图像切分，得到多个子图像，其中，经过切分后的相邻子图像之间具有重叠区域。
进一步地，所述对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，包括：
根据所述图像识别模型识别结果中的目标物位置信息和所述子图像的裁剪位置信息，确定目标物在所述卫星遥感影像中的位置信息，其中，所述子图像的裁剪位置信息包含对卫星遥感影像进行图像切分时子图像在卫星遥感影像中的相对位置。
进一步地，在所述确定所述卫星遥感影像中目标物的位置信息之后，还包括：
根据所述目标物位置信息中的平面坐标与预设经纬度坐标的对应关系，确定与所述目标物对应的经纬度坐标，并根据所述经纬度坐标确定所述目标物的实际面积。
进一步地，在对图像识别模型进行模型训练时，包括：
若模型训练数据中的历史卫星遥感影像经图像切分后的子图像截断了所述子图像中预先标注的目标物边框，则在该目标物边框被截断后的端点数量和/或面积占比超过阈值时，从所述模型训练数据中移除该子图像。
进一步地，在所述对所述图像识别模型的识别结果进行坐标转换之前，包括：
根据所述图像识别模型识别结果中属于同一目标物类别的目标物边框的分类概率和相互之间的重叠度，对该些目标物边框进行筛选。
第二方面，本申请提供一种卫星遥感影像的目标检测装置，包括：
卫星遥感影像切分模块，用于对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；
目标物图像识别模块，用于将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像。
进一步地，所述卫星遥感影像切分模块包括：
切割尺寸确定单元，用于对卫星遥感影像的原始图像尺寸若干等分后增加一重叠间距，得到切割尺寸；
图像切割单元，用于根据所述切割尺寸对所述卫星遥感影像进行图像切分，得到多个子图像，其中，经过切分后的相邻子图像之间具有重叠区域。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的卫星遥感影像的目标检测方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的卫星遥感影像的目标检测方法的步骤。
第五方面，本申请提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的卫星遥感影像的目标检测方法的步骤。
由上述技术方案可知，本申请提供一种卫星遥感影像的目标检测方法及装置，通过对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像，由此能够有效提高卫星遥感影像目标检测的准确率和效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的卫星遥感影像的目标检测方法的流程示意图之一；
图2为本申请实施例中的卫星遥感影像的目标检测方法的流程示意图之二；
图3为本申请实施例中的卫星遥感影像的目标检测装置的结构图之一；
图4为本申请实施例中的卫星遥感影像的目标检测装置的结构图之二；
图5为本申请一具体实施例中的图像切分示意图；
图6为本申请一具体实施例中的坐标变换示意图；
图7为本申请一具体实施例中的目标切分示意图之一；
图8为本申请一具体实施例中的目标切分示意图之二；
图9为本申请一具体实施例中的目标切分示意图之三；
图10为本申请一具体实施例中的目标切分示意图之四；
图11为本申请一具体实施例中的坐标合并示意图；
图12为本申请一具体实施例中的重叠过滤示意图；
图13为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
考虑到现有技术中存在的问题，本申请提供一种卫星遥感影像的目标检测方法及装置，通过对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像，由此能够有效提高卫星遥感影像目标检测的准确率和效率。
为了能够有效提高卫星遥感影像目标检测的准确率和效率，本申请提供一种卫星遥感影像的目标检测方法的实施例，参见图1，所述卫星遥感影像的目标检测方法具体包含有如下内容：
步骤S101：对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域。
可选的，本申请中对卫星遥感影像进行图像切分并不是简单的将图像等分，等分的切分方法虽然会降低图像的大小，由于切割时常会导致部分处于切割边缘部分的目标信息缺失，因此通常会确保切割后的图像之间有重叠区域(gap)，一般gap(间距)设为切割图像size(尺寸)的20％-50％为宜，gap可以是一个经验值，也可以根据场景中的目标大小进行相应调整。
举例来说，尺寸为1111*1182的原始图像，gap＝200，切分后图像尺寸为1024，切分处理后的结果为4张(红色、蓝色、黑色、绿色区域)size大小为1024*1024的图片。可以发现在这种切分方式下重叠区域达到937，占原始图像的84％。这是因为原始图像的尺寸(1111*1182)并没有远远大于1024。这时候就以1024*1024的尺寸优先进行切分。如果原图像尺寸远大于1024，这时候需要在保证切分后图像尺寸为1024的前提下重叠区域也要满足200。对于切分后最后一块小于1024使用黑色进行填充。
参见图5，裁剪时可以将裁剪的位置信息保留在裁剪后的图片名称中，如P0706__1__0__624.png图片是将原图P0706.png resize(调整尺寸)为原来的1倍，在width＝0，height＝624处进行裁剪。(0，624)这个位置信息是根据重叠区域大小和切分后图像尺寸计算得到的。例如gap＝400，切分后图像尺寸为1024。
步骤S102：将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像。
可选的，本申请的图像识别模型在训练过程中由于经过了切分操作，源图像和图像中目标的坐标发生了变化，根据裁剪前后的关系可以计算出裁剪后图像中目标的新坐标，该坐标信息在合成检测结果这一步骤中至关重要。在测试过程中原始图像切分后进入Yolov5(现有目标检测模型)对裁剪后的图像进行目标检测，获得裁剪后目标的预测坐标，然后将坐标还原到原始图像中。坐标变化的过程如图6所示。
具体的，在训练过程中目标物体的四边形边框在裁剪图像过程中有概率会被截断，是否保留该目标参考以下几种情况：
1.被截断后的物体框顶点数小于4，该目标不保留，参见图7。
2.被截断后的物体框顶点数大于5，该目标不保留，参见图8。
3.被截断后的物体框与原始目标边框重叠区域占比超过0.7时，正常保留目标，参见图9。
4.第3种情况中重叠区域占比低于0.7时，该目标不保留，参见图10。
完成图像切分后使用yolov5进行目标检测，将图像输入到网络中经过Neck网络和基础网络进行特征提取，接下来在head输出端进行边界框和置信度的预测。
参见图11，与裁剪作用相反，合并利用被分割图像检测出的目标位置信息和图像名称中的裁剪位置信息，还原目标在原始未分割图像中的位置。
参见图12，考虑到了由于裁剪图像之间的重叠区域的存在,所以合并后会有一个目标被多个框标记，为了滤掉重复的标记框使用非极大值抑制方法(NMS)进行处理。就像图12一样，定位一个车辆，最后算法就找出了一堆的方框，我们需要判别哪些矩形框是没用的。非极大值抑制的方法是：先假设有6个矩形框，根据分类器的类别分类概率做排序，假设从小到大属于某一目标的概率分别为A、B、C、D、E、F。
(1)从最大概率矩形框F开始，分别判断A～E与F的重叠度IOU是否大于某个设定的阈值(0.5)。
(2)假设B、D与F的重叠度超过阈值(0.5)，那么就扔掉B、D；并标记第一个矩形框F，是我们保留下来的。
(3)从剩下的矩形框A、C、E中，选择概率最大的E，然后判断E与F的重叠度，重叠度小于的阈值，那么就保留；并标记E是我们保留下来的第二个矩形框。
就这样一直重复，找到所有被保留下来的矩形框。
可选的，原始卫星遥感图像是带有经纬度信息的.GIF的文件，将其转换为png或者jpg图片格式后通过目前检测算法检测出图像中的目标物体的坐标，通过平面坐标和经纬度坐标的对应关系，将目标检测框的坐标转换为经纬度坐标，进而根据经纬度坐标计算出实际目标的长宽面积信息。
可选的，在一应用场景中，本申请可以将这些信息提供给贷款评估人员可以用于辅助分析风电场，光伏电厂，水电厂的资产信息。
从上述描述可知，本申请实施例提供的卫星遥感影像的目标检测方法，能够通过对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像，由此能够有效提高卫星遥感影像目标检测的准确率和效率。
在本申请的卫星遥感影像的目标检测方法的一实施例中，参见图2，上述步骤S101还可以具体包含如下内容：
步骤S201：对卫星遥感影像的原始图像尺寸若干等分后增加一重叠间距，得到切割尺寸。
步骤S202：根据所述切割尺寸对所述卫星遥感影像进行图像切分，得到多个子图像，其中，经过切分后的相邻子图像之间具有重叠区域。
可选的，本申请中对卫星遥感影像进行图像切分并不是简单的将图像等分，等分的切分方法虽然会降低图像的大小，由于切割时常会导致部分处于切割边缘部分的目标信息缺失，因此通常会确保切割后的图像之间有重叠区域(gap)，一般gap(间距)设为切割图像size(尺寸)的20％-50％为宜，gap可以是一个经验值，也可以根据场景中的目标大小进行相应调整。
举例来说，尺寸为1111*1182的原始图像，gap＝200，切分后图像尺寸为1024，切分处理后的结果为4张(红色、蓝色、黑色、绿色区域)size大小为1024*1024的图片。可以发现在这种切分方式下重叠区域达到937，占原始图像的84％。这是因为原始图像的尺寸(1111*1182)并没有远远大于1024。这时候就以1024*1024的尺寸优先进行切分。如果原图像尺寸远大于1024，这时候需要在保证切分后图像尺寸为1024的前提下重叠区域也要满足200。对于切分后最后一块小于1024使用黑色进行填充。
在本申请的卫星遥感影像的目标检测方法的一实施例中，还可以具体包含如下内容：
根据所述图像识别模型识别结果中的目标物位置信息和所述子图像的裁剪位置信息，确定目标物在所述卫星遥感影像中的位置信息，其中，所述子图像的裁剪位置信息包含对卫星遥感影像进行图像切分时子图像在卫星遥感影像中的相对位置。
参见图5，裁剪时可以将裁剪的位置信息保留在裁剪后的图片名称中，如P0706__1__0__624.png图片是将原图P0706.png resize(调整尺寸)为原来的1倍，在width＝0，height＝624处进行裁剪。(0，624)这个位置信息是根据重叠区域大小和切分后图像尺寸计算得到的。例如gap＝400，切分后图像尺寸为1024。
在本申请的卫星遥感影像的目标检测方法的一实施例中，还可以具体包含如下内容：
根据所述目标物位置信息中的平面坐标与预设经纬度坐标的对应关系，确定与所述目标物对应的经纬度坐标，并根据所述经纬度坐标确定所述目标物的实际面积。
可选的，原始卫星遥感图像是带有经纬度信息的.GIF的文件，将其转换为png或者jpg图片格式后通过目前检测算法检测出图像中的目标物体的坐标，通过平面坐标和经纬度坐标的对应关系，将目标检测框的坐标转换为经纬度坐标，进而根据经纬度坐标计算出实际目标的长宽面积信息。
在本申请的卫星遥感影像的目标检测方法的一实施例中，还可以具体包含如下内容：
若模型训练数据中的历史卫星遥感影像经图像切分后的子图像截断了所述子图像中预先标注的目标物边框，则在该目标物边框被截断后的端点数量和/或面积占比超过阈值时，从所述模型训练数据中移除该子图像。
可选的，本申请的图像识别模型在训练过程中由于经过了切分操作，源图像和图像中目标的坐标发生了变化，根据裁剪前后的关系可以计算出裁剪后图像中目标的新坐标，该坐标信息在合成检测结果这一步骤中至关重要。在测试过程中原始图像切分后进入Yolov5对裁剪后的图像进行目标检测，获得裁剪后目标的预测坐标，然后将坐标还原到原始图像中。坐标变化的过程如图6所示。
具体的，在训练过程中目标物体的四边形边框在裁剪图像过程中有概率会被截断，是否保留该目标参考以下几种情况：
1.被截断后的物体框顶点数小于4，该目标不保留，参见图7。
2.被截断后的物体框顶点数大于5，该目标不保留，参见图8。
3.被截断后的物体框与原始目标边框重叠区域占比超过0.7时，正常保留目标，参见图9。
4.第3种情况中重叠区域占比低于0.7时，该目标不保留，参见图10。
完成图像切分后使用yolov5进行目标检测，将图像输入到网络中经过Neck网络和基础网络进行特征提取，接下来在head输出端进行边界框和置信度的预测。
在本申请的卫星遥感影像的目标检测方法的一实施例中，还可以具体包含如下内容：
根据所述图像识别模型识别结果中属于同一目标物类别的目标物边框的分类概率和相互之间的重叠度，对该些目标物边框进行筛选。
参见图12，考虑到了由于裁剪图像之间的重叠区域的存在,所以合并后会有一个目标被多个框标记，为了滤掉重复的标记框使用非极大值抑制方法(NMS)进行处理。就像图12一样，定位一个车辆，最后算法就找出了一堆的方框，我们需要判别哪些矩形框是没用的。非极大值抑制的方法是：先假设有6个矩形框，根据分类器的类别分类概率做排序，假设从小到大属于某一目标的概率分别为A、B、C、D、E、F。
(1)从最大概率矩形框F开始，分别判断A～E与F的重叠度IOU是否大于某个设定的阈值(0.5)。
(2)假设B、D与F的重叠度超过阈值(0.5)，那么就扔掉B、D；并标记第一个矩形框F，是我们保留下来的。
(3)从剩下的矩形框A、C、E中，选择概率最大的E，然后判断E与F的重叠度，重叠度小于的阈值，那么就保留；并标记E是我们保留下来的第二个矩形框。
就这样一直重复，找到所有被保留下来的矩形框。
为了能够有效提高卫星遥感影像目标检测的准确率和效率，本申请提供一种用于实现所述卫星遥感影像的目标检测方法的全部或部分内容的卫星遥感影像的目标检测装置的实施例，参见图3，所述卫星遥感影像的目标检测装置具体包含有如下内容：
卫星遥感影像切分模块10，用于对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域。
目标物图像识别模块20，用于将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像。
从上述描述可知，本申请实施例提供的卫星遥感影像的目标检测装置，能够通过对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像，由此能够有效提高卫星遥感影像目标检测的准确率和效率。
在本申请的卫星遥感影像的目标检测装置的一实施例中，参见图4，所述卫星遥感影像切分模块10包括：
切割尺寸确定单元11，用于对卫星遥感影像的原始图像尺寸若干等分后增加一重叠间距，得到切割尺寸。
图像切割单元12，用于根据所述切割尺寸对所述卫星遥感影像进行图像切分，得到多个子图像，其中，经过切分后的相邻子图像之间具有重叠区域。
从硬件层面来说，为了能够有效提高卫星遥感影像目标检测的准确率和效率，本申请提供一种用于实现所述卫星遥感影像的目标检测方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现卫星遥感影像的目标检测装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的卫星遥感影像的目标检测方法的实施例，以及卫星遥感影像的目标检测装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，卫星遥感影像的目标检测方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图13为本申请实施例的电子设备9600的系统构成的示意框图。如图13所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图13是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，卫星遥感影像的目标检测方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤S101：对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域。
步骤S102：将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像。
从上述描述可知，本申请实施例提供的电子设备，通过对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像，由此能够有效提高卫星遥感影像目标检测的准确率和效率。
在另一个实施方式中，卫星遥感影像的目标检测装置可以与中央处理器9100分开配置，例如可以将卫星遥感影像的目标检测装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现卫星遥感影像的目标检测方法功能。
如图13所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图13中所示的所有部件；此外，电子设备9600还可以包括图13中没有示出的部件，可以参考现有技术。
如图13所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的卫星遥感影像的目标检测方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的卫星遥感影像的目标检测方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤S101：对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域。
步骤S102：将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像，由此能够有效提高卫星遥感影像目标检测的准确率和效率。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的卫星遥感影像的目标检测方法中全部步骤的一种计算机程序产品，该计算机程序/指令被处理器执行时实现所述的卫星遥感影像的目标检测方法的步骤，例如，所述计算机程序/指令实现下述步骤：
步骤S101：对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域。
步骤S102：将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像。
从上述描述可知，本申请实施例提供的计算机程序产品，通过对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像，由此能够有效提高卫星遥感影像目标检测的准确率和效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种卫星遥感影像的目标检测方法，其特征在于，所述方法包括：
对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；
将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像。
2.根据权利要求1所述的卫星遥感影像的目标检测方法，其特征在于，所述对卫星遥感影像进行图像切分，包括：
对卫星遥感影像的原始图像尺寸若干等分后增加一重叠间距，得到切割尺寸；
根据所述切割尺寸对所述卫星遥感影像进行图像切分，得到多个子图像，其中，经过切分后的相邻子图像之间具有重叠区域。
3.根据权利要求1所述的卫星遥感影像的目标检测方法，其特征在于，所述对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，包括：
根据所述图像识别模型识别结果中的目标物位置信息和所述子图像的裁剪位置信息，确定目标物在所述卫星遥感影像中的位置信息，其中，所述子图像的裁剪位置信息包含对卫星遥感影像进行图像切分时子图像在卫星遥感影像中的相对位置。
4.根据权利要求1所述的卫星遥感影像的目标检测方法，其特征在于，在所述确定所述卫星遥感影像中目标物的位置信息之后，还包括：
根据所述目标物位置信息中的平面坐标与预设经纬度坐标的对应关系，确定与所述目标物对应的经纬度坐标，并根据所述经纬度坐标确定所述目标物的实际面积。
5.根据权利要求1所述的卫星遥感影像的目标检测方法，其特征在于，在对图像识别模型进行模型训练时，包括：
若模型训练数据中的历史卫星遥感影像经图像切分后的子图像截断了所述子图像中预先标注的目标物边框，则在该目标物边框被截断后的端点数量和/或面积占比超过阈值时，从所述模型训练数据中移除该子图像。
6.根据权利要求1所述的卫星遥感影像的目标检测方法，其特征在于，在所述对所述图像识别模型的识别结果进行坐标转换之前，包括：
根据所述图像识别模型识别结果中属于同一目标物类别的目标物边框的分类概率和相互之间的重叠度，对该些目标物边框进行筛选。
7.一种卫星遥感影像的目标检测装置，其特征在于，包括：
卫星遥感影像切分模块，用于对卫星遥感影像进行图像切分，其中，经过切分后的相邻子图像之间具有重叠区域；
目标物图像识别模块，用于将经过切分后的子图像输入图像识别模型，对所述图像识别模型的识别结果进行坐标转换，确定所述卫星遥感影像中目标物的位置信息，其中，所述图像识别模型的模型训练数据包含经过图像切分后的历史卫星遥感影像。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的卫星遥感影像的目标检测方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的卫星遥感影像的目标检测方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6任一项所述的卫星遥感影像的目标检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310298393.8A CN116310875A (zh) | 2023-03-24 | 2023-03-24 | 卫星遥感影像的目标检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310298393.8A CN116310875A (zh) | 2023-03-24 | 2023-03-24 | 卫星遥感影像的目标检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116310875A true CN116310875A (zh) | 2023-06-23 |
Family
ID=86820074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310298393.8A Pending CN116310875A (zh) | 2023-03-24 | 2023-03-24 | 卫星遥感影像的目标检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310875A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292337A (zh) * | 2023-11-24 | 2023-12-26 | 中国科学院空天信息创新研究院 | 遥感图像目标检测方法 |
| CN118072183A (zh) * | 2024-04-22 | 2024-05-24 | 中国科学院空天信息创新研究院 | 遥感目标检测方法以及使用该方法的移动终端 |
| CN118172683A (zh) * | 2024-05-08 | 2024-06-11 | 吉林大学 | 一种基于遥感卫星图像识别道路中车辆的方法 |
| CN118379504A (zh) * | 2024-06-25 | 2024-07-23 | 自然资源部第三地理信息制图院 | 一种基于ArcGIS的卫星遥感影像选裁方法及系统 |
-
2023
- 2023-03-24 CN CN202310298393.8A patent/CN116310875A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292337A (zh) * | 2023-11-24 | 2023-12-26 | 中国科学院空天信息创新研究院 | 遥感图像目标检测方法 |
| CN118072183A (zh) * | 2024-04-22 | 2024-05-24 | 中国科学院空天信息创新研究院 | 遥感目标检测方法以及使用该方法的移动终端 |
| CN118072183B (zh) * | 2024-04-22 | 2024-09-03 | 中国科学院空天信息创新研究院 | 遥感目标检测方法以及使用该方法的移动终端 |
| CN118172683A (zh) * | 2024-05-08 | 2024-06-11 | 吉林大学 | 一种基于遥感卫星图像识别道路中车辆的方法 |
| CN118379504A (zh) * | 2024-06-25 | 2024-07-23 | 自然资源部第三地理信息制图院 | 一种基于ArcGIS的卫星遥感影像选裁方法及系统 |
| CN118379504B (zh) * | 2024-06-25 | 2024-08-30 | 自然资源部第三地理信息制图院 | 一种基于ArcGIS的卫星遥感影像选裁方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116310875A (zh) | 卫星遥感影像的目标检测方法及装置 | |
| CN111368893B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN111368934B (zh) | 图像识别模型训练方法、图像识别方法以及相关装置 | |
| US20200380263A1 (en) | Detecting key frames in video compression in an artificial intelligence semiconductor solution | |
| CN106156711B (zh) | 文本行的定位方法及装置 | |
| US11893767B2 (en) | Text recognition method and apparatus | |
| WO2014014687A1 (en) | Identifying a maximally stable extremal region by skipping comparison of pixels in the region | |
| CN108764051B (zh) | 图像处理方法、装置及移动终端 | |
| CN112613348B (zh) | 一种字符识别方法及电子设备 | |
| CN111930622A (zh) | 基于深度学习的界面控件测试方法及系统 | |
| US20240193923A1 (en) | Method of training target object detection model, method of detecting target object, electronic device and storage medium | |
| CN105224409A (zh) | 一种内存的管理方法及装置 | |
| CN110211195B (zh) | 生成图像集合的方法、装置、电子设备和计算机可读存储介质 | |
| US20150348276A1 (en) | Method and apparatus for processing a video frame in a video file | |
| CN114429637B (zh) | 一种文档分类方法、装置、设备及存储介质 | |
| CN110866900A (zh) | 水体颜色识别方法及装置 | |
| CN112990197A (zh) | 车牌识别方法及装置、电子设备和存储介质 | |
| CN111046746A (zh) | 一种车牌检测方法及装置 | |
| US10180782B2 (en) | Fast image object detector | |
| CN113378857A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN112016502A (zh) | 安全带检测方法、装置、计算机设备及存储介质 | |
| CN115937039A (zh) | 数据扩充方法、装置、电子设备及可读存储介质 | |
| CN115188000A (zh) | 基于ocr的文本识别方法、装置、存储介质及电子设备 | |
| CN113313098B (zh) | 视频处理方法、设备、系统及存储介质 | |
| CN112541489A (zh) | 图像检测方法、装置、移动终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |