CN115631426A - 一种遥感图像中基于关键点定位的目标检测方法 - Google Patents

一种遥感图像中基于关键点定位的目标检测方法 Download PDF

Info

Publication number
CN115631426A
CN115631426A CN202211244126.4A CN202211244126A CN115631426A CN 115631426 A CN115631426 A CN 115631426A CN 202211244126 A CN202211244126 A CN 202211244126A CN 115631426 A CN115631426 A CN 115631426A
Authority
CN
China
Prior art keywords
remote sensing
target
sensing image
key point
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211244126.4A
Other languages
English (en)
Inventor
刘晶红
朱圣杰
田阳
刘成龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202211244126.4A priority Critical patent/CN115631426A/zh
Publication of CN115631426A publication Critical patent/CN115631426A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供一种遥感图像中基于关键点定位的目标检测方法、装置、电子设备以及可读存储介质，通过基于特征点的标签来定义旋转包围框，相比于现有方法，避免了角度周期性问题和长宽互换问题，节约了训练成本，并且可以表示目标的朝向信息。本发明提出的模型采用无锚框设计，对中心关键点、方向边界点以及横向宽度进行识别，引入热力图二维泰勒展开方法、引导偏移模块等改进，减少量化误差的同时提升模型的检测精度，降低了识别的错误率。本发明提出的算法模型有效增强了大视场遥感图像的目标检测能力，准确快速的获取感兴趣目标的坐标与旋转朝向信息，有效提升了模型的检测效率。

Description

一种遥感图像中基于关键点定位的目标检测方法
技术领域
本发明涉及图像识别领域，特别涉及一种遥感图像中基于关键点定位的目标检测方法、装置、电子设备以及可读存储介质。
背景技术
遥感技术通常是通过飞机、气球、卫星等飞行器上装载各类图像传感器，飞行高度从数百米到数千公里之间，按技术要求对测区有关地物信息的采集，从而为生产、科研所应用的技术。随着图像传感技术和航空航天技术的飞速发展，遥感图像的获取变得更加方便。感兴趣目标的检测是遥感图像应用的重要方向之一，研究如何快速准确地提取遥感图像中的有效信息并加以利用在民用领域和军用领域都具有重要意义，例如军事侦察、灾害管理、城市发展分析。由于遥感图像通常具有极大的数据量，通过人工判读的方式进行目标识别，数据利用率低且情报时效性差，且易受身体状况、精神和主观意识的影响。因此，采用计算机视觉技术减少人力成本的消耗，实现高效的自动化检测具有重要意义。
对比地面水平视角的图像，遥感影像的难点在于：(1)遥感图像由高空高分辨率成像设备拍摄，得到的遥感图像像素尺寸大，成像范围广。(2)遥感图像中存在目标分布不均匀的特点，局部易出现密集场景，例如车辆、船只等。(3)遥感图像中，目标的朝向角度是任意的，目标具有旋转不变性。
目前传统的目标检测算法主要基于滑动窗口的区域，存在选择策略冗余且时间复杂度高的问题，且手工设计的特征对于多样性的变化没有很好的鲁棒性。使用场景较窄无法满足目前遥感图像中目标检测的要求，而基于浅层机器学习的目标检测算法也因为其特征学习能力较弱，不擅长处理较大规模的数据也正在被逐步淘汰。
随着深度学习特别是深度卷积神经网络在图像处理领域的巨大发展，利用深度卷积神经网络在光学遥感图像中进行目标检测相比于传统手工提取特征的方法具有巨大优势。但在遥感图像任务中，现有的深度学习模型无法很好的应对旋转的密集目标的检测需求。目前的深度学习模型的旋转目标检测设计存在长宽互换问题和角度周期性问题，不利于模型的训练。
因此，针对遥感图像的特点，设计一个避免长宽互换问题和角度周期性问题的深度学习模型，提升遥感图像密集旋转目标的检测能力是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明实施例中提供一种遥感图像中基于关键点定位的目标检测方法，有效增强了大视场遥感图像的目标检测能力，准确快速的获取感兴趣目标的坐标与旋转朝向信息，有效提升了模型的检测效率。
第一方面，本发明提供一种遥感图像中基于关键点定位的目标检测方法，包括：
获取光学遥感图像，并根据目标像素尺寸对所述光学遥感图像进行预处理得到多个子遥感图像；
将所述子遥感图像输入预训练的目标检测模型，通过网络颈部得到包围框的参数信息，得到所述子遥感图像的子目标识别结果；
将多个所述子目标识别结果进行拼接处理后得到所述光学遥感图像的目标检测结果。
作为一种可选的方案，所述将所述子遥感图像输入预训练的目标检测模型，通过网络颈部得到包围框的参数信息，得到所述子遥感图像的子目标识别结果之前，还包括：
利用训练集对待训练检测模型进行训练得到模型参数优化后的目标检测模型。
作为一种可选的方案，所述利用训练集对待训练检测模型进行训练得到模型参数优化后的目标检测模型之前，还包括：
获得已标注好感兴趣目标的光学遥感训练图像，并根据目标像素尺寸将所述光学遥感训练图像进行裁剪分割得到多个子遥感训练图像；
对所述多个子遥感训练图像进行数据增强处理得到训练集。
作为一种可选的方案，所述目标检测模型采用深度特征融合网络，浅层特征信息与深层特征信息相互连接计算，采用特征金字塔的结构对不同像素尺寸目标的进行检测。
作为一种可选的方案，所述目标检测模型模型分为关键点检测模块、横向宽度检测模块、引导偏移模块，所述关键点检测模块输出的热力图通过计算响应极值点的方式得到关键点的相对坐标信息，坐标数值是通过泰勒展开计算得到的浮点型数；
所述横向宽度检测模块用于预测目标包围框的横向宽度，横向宽度为垂直于中心点坐标和方向边界点连线方向的包围框尺寸信息；
所述引导偏移模块通过计算中心点坐标和方向边界点的位置偏差，用于匹配两个关键点，通过引导偏移量得到目标的关键点对，并结合横向宽度信息，组成旋转包围框所有的标签参数信息。
作为一种可选的方案，所述数据增强的方式包括仿射变换、增加噪声、人工少数类过采样法SMOTE(Synthetic Minority Over-sampling Technique)、遮挡中至少一种。
作为一种可选的方案，所述包围框的参数信息可表示为带有7个元组的数据
Figure BDA0003885696540000031
其中，
Figure BDA0003885696540000032
表示目标包围框的中心，wk是目标的x’-axis方向尺寸，
Figure BDA0003885696540000033
是方向边界点，中心点与方向边界点的向量为目标的朝向信息。
第二方面，本发明提供一种遥感图像中基于关键点定位的目标检测装置，包括：
获取单元，用于获取光学遥感图像，并根据目标像素尺寸对所述光学遥感图像进行预处理得到多个子遥感图像；
识别单元，用于将所述子遥感图像输入预训练的目标检测模型，通过网络颈部得到包围框的参数信息，得到所述子遥感图像的子目标识别结果；
拼接单元，用于将多个所述子目标识别结果进行拼接处理后得到所述光学遥感图像的目标检测结果。
第三方面，本发明提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的遥感图像中基于关键点定位的目标检测方法。
第四方面，本发明提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的遥感图像中基于关键点定位的目标检测方法。
本发明实施例中还提供的一种遥感图像中基于关键点定位的目标检测方法、装置、电子设备以及可读存储介质，通过基于特征点的标签来定义旋转包围框，相比于现有方法，避免了角度周期性问题和长宽互换问题，节约了训练成本，并且可以表示目标的朝向信息。本发明提出的模型采用无锚框设计，对中心关键点、方向边界点以及横向宽度进行识别，引入热力图二维泰勒展开方法、引导偏移模块等改进，减少量化误差的同时提升模型的检测精度，降低了识别的错误率。本发明提出的算法模型有效增强了大视场遥感图像的目标检测能力，准确快速的获取感兴趣目标的坐标与旋转朝向信息，有效提升了模型的检测效率。
附图说明
图1为本发明实施例中提供一种遥感图像中基于关键点定位的目标检测方法的流程图；
图2为现有技术中长宽互换问题及角度周期性问题示意图；
图3为本发明实施例中提供一种遥感图像中基于关键点定位的目标检测方法中基于关键点的旋转包围框参数示意图；
图4为本发明实施例中提供一种遥感图像中基于关键点定位的目标检测方法中的基于关键点的旋转包围框检测模型的结构示意图；
图5为本发明实施例中提供一种遥感图像中基于关键点定位的目标检测方法中目标检测模型引导偏移模块示意图；
图6为本发明实施例中提供一种遥感图像中基于关键点定位的目标检测装置的结构示意图；
图7为本发明实施例中提供一种电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
结合图1所示，本发明提供一种遥感图像中基于关键点定位的目标检测方法，包括：
S101、获取光学遥感图像，并根据目标像素尺寸对所述光学遥感图像进行预处理得到多个子遥感图像。
S102、将所述子遥感图像输入预训练的目标检测模型，通过网络颈部得到包围框的参数信息，得到所述子遥感图像的子目标识别结果。
S103、将多个所述子目标识别结果进行拼接处理后得到所述光学遥感图像的目标检测结果。
需要说明的是，目标检测模型可以提前训练好，即预训练的目标检测模型，不需要每次检测中都进行模型的训练。
在一些实施例中，所述将所述子遥感图像输入预训练的目标检测模型，通过网络颈部得到包围框的参数信息，得到所述子遥感图像的子目标识别结果之前，还包括：
利用训练集对待训练检测模型进行训练得到模型参数优化后的目标检测模型。
在一些实施例中，所述利用训练集对待训练检测模型进行训练得到模型参数优化后的目标检测模型之前，还包括：
获得已标注好感兴趣目标的光学遥感训练图像，并根据目标像素尺寸将所述光学遥感训练图像进行裁剪分割得到多个子遥感训练图像；
对所述多个子遥感训练图像进行数据增强处理得到训练集。
在一些实施例中，所述目标检测模型采用深度特征融合网络，浅层特征信息与深层特征信息相互连接计算，采用特征金字塔的结构对不同像素尺寸目标的进行检测。
在一些实施例中，所述目标检测模型模型分为关键点检测模块、横向宽度检测模块、引导偏移模块，所述关键点检测模块输出的热力图通过计算响应极值点的方式得到关键点的相对坐标信息，坐标数值是通过泰勒展开计算得到的浮点型数；
所述横向宽度检测模块用于预测目标包围框的横向宽度，横向宽度为垂直于中心点坐标和方向边界点连线方向的包围框尺寸信息；
所述引导偏移模块通过计算中心点坐标和方向边界点的位置偏差，用于匹配两个关键点，通过引导偏移量得到目标的关键点对，并结合横向宽度信息，组成旋转包围框所有的标签参数信息。
在一些实施例中，所述数据增强的方式包括仿射变换、增加噪声、人工少数类过采样法SMOTE(Synthetic Minority Over-sampling Technique)、遮挡中至少一种。
在一些实施例中，所述包围框的参数信息可表示为带有7个元组的数据
Figure BDA0003885696540000071
其中，
Figure BDA0003885696540000072
表示目标包围框的中心，wk是目标的x’-axis方向尺寸，
Figure BDA0003885696540000073
是方向边界点，中心点与方向边界点的向量为目标的朝向信息。
本发明实施例中还提供的一种遥感图像中基于关键点定位的目标检测方法，通过基于特征点的标签来定义旋转包围框，相比于现有方法，避免了角度周期性问题和长宽互换问题，节约了训练成本，并且可以表示目标的朝向信息。本发明提出的模型采用无锚框设计，对中心关键点、方向边界点以及横向宽度进行识别，引入热力图二维泰勒展开方法、引导偏移模块等改进，减少量化误差的同时提升模型的检测精度，降低了识别的错误率。本发明提出的算法模型有效增强了大视场遥感图像的目标检测能力，准确快速的获取感兴趣目标的坐标与旋转朝向信息，有效提升了模型的检测效率。
本发明实施例中还提供的一种遥感图像中基于关键点定位的目标检测方法，包括：
S201、将导入的大像素尺寸的遥感图像进行裁剪得到多个裁剪切片，使裁剪切片符合模型的输入尺寸。
S202、构建主干网络，利用构建主干网络提取遥感图像的特征，并对深层特征和浅层特征进行特征融合；
S203、将主干网络输出的特征图分别导入到网络颈部，进一步通过不同卷积层计算构成旋转包围框的参数信息。
S204、将检测结果融合后送入预测头，获得遥感图像的裁剪切片的检测结果。
S205、将裁剪切片拼接为原始图像，剔除多余目标，获得最终检测结果。
需要说明的是，裁剪切片即对应S101中的子遥感图像。
S201中为防止目标由于裁剪而割裂，裁剪时边缘存在重叠像素，采用合适的尺寸进行裁剪后，对图像缩放至模型的输入像素尺寸。
S202中主干网络采用U形结构的网络设计，特征信息通过压缩路径凝练，再通过扩展路径解析，网络将浅层网络与深层网络相互连接，充分提取目标的特征信息。
S203中网络颈部包括关键点检测模块、横向宽度检测模块、引导偏移模块，分别得到目标关键点坐标信息、横向宽度信息、关键点匹配信息。
关键点检测模块以热力图的方式进行输出，输出经过sigmoid函数归一化成0到1之间，响应值的极值点即为对应关键点的坐标位置。由于存在中心点和方向边界点两个关键坐标，因此对于输入图像尺寸为(W,H,3)，需要检测C类感兴趣物体的任务，对应的热力图输出尺寸为
Figure BDA0003885696540000081
其中S为对应原图的步长。
关键点检测模块在模型训练时，真值是通过2D高斯函数计算得到，方差σ与真实包围框的长宽信息相关，得到的二维高斯信息通过图像的仿射变换使其旋转角度与真实包围框一致。关键点检测模块输出的热力图通过计算响应极值点的方式得到关键点的相对坐标信息，坐标数值是通过泰勒展开计算得到的浮点型数。
横向宽度检测模块负责预测目标包围框的横向宽度，横向宽度是指垂直于中心点坐标和方向边界点连线方向的包围框尺寸信息。
引导偏移模块是通过计算中心点坐标和方向边界点的位置偏差，用于匹配两个关键点，防止出现不同目标之间关键点的错误匹配问题发生。通过引导偏移量最终得到目标的关键点对，进一步结合横向宽度信息，组成了旋转包围框所有的标签参数信息。
S204中预测头采用关键点对(中心点坐标、方向边界点坐标)和横向尺寸的联合编码方式进行输出，采用的包围框编码方法不仅可以很好的描述旋转目标的角度情况，还可以很好的标明目标的朝向信息。
包围框编码方法采用关键点对和横向尺寸的方式，采用关键点回归的方式避免了现有编码方法存在的角度周期性问题和长宽互换性问题，有效提升了模型训练时的效率，提升了识别的准确率。
S205中遥感图像过程由于存在重叠边缘，会出现目标重复识别现象，本发明通过非极大值抑制方法NMS对边缘目标进行抑制，降低由于图像拼接而导致的目标重复检测问题。
本发明还提供了一种遥感图像中基于关键点定位的目标检测方法，提供了全新的旋转包围框表示方法，避免了现在旋转包围框表示方法存在的长宽互换问题以及角度周期性问题。
如图2所示，其中示出了现有技术中存在长宽互换性问题及角度周期性问题旋转包围框的OpenCV表示法、长边表示法、角点定义法均难以使得提案框按照最优的方向学习真实旋转框的情况，不利于遥感图像的目标检测任务的训练与预测。
本发明实施例中提供的模型首先通过已标注好的训练集对模型进行训练，得到模型的参数，然后输入待检测数据检测，得到感兴趣目标的定位。
本发明提供的遥感图像中基于关键点定位的目标检测方法采用目标检测模型对遥感图像进行目标检测任务，主要由包括如下步骤：
S1：将导入的大像素尺寸的遥感图像进行目标自适应尺寸裁剪，缩放图像尺寸使其符合模型的输入尺寸。
S2：对训练图像，首先进行预处理，包括去噪、去畸变以及数据增强，构建训练集。
S3-1：构建主干网络(BackBone)提取输入图像不同深度的特征信息，并对深层特征和浅层特征进行特征融合，进而得到感兴趣目标的信息。
S3-2：将所述的主干网络输出的特征图分别导入到网络颈部，进一步通过不同卷积层计算构成旋转包围框的横向尺寸信息、关键点坐标信息、关键点匹配信息。
S3-3：将检测结果融合后送入预测头，组合数据获得该图像裁剪切片的检测结果。
S4：计算裁剪图像的损失函数，采用随机梯度下降法(SGD)优化，得到模型参数。
S5：对于需要预测的图像，采用S1步骤对待检测图像进行裁剪，采用S3顺序对裁剪图像进行目标检测。
S6：整理模型输出的裁剪图像检测结果，将裁剪图像拼接为原始图像，剔除多余目标，获得最终检测结果。
本发明的旋转框标注方法如图3所示，对于目标k的bounding box，可表示为带有7个元组的旋转边界框
Figure BDA0003885696540000101
其中，
Figure BDA0003885696540000102
是目标包围框的中心，为通过热图输出的目标中心坐标，wk是目标的x’-axis方向尺寸，
Figure BDA0003885696540000103
是方向边界点(Orientation Boundary Point)，中心点与方向边界点的向量即为对应目标的朝向信息。本发明规定，平行于y’-axis的边为宽(wk)，平行于x’-axis的边为高(hk)。
如图4所示，步骤S3-2中所述的网络颈部包括关键点检测模块、横向宽度检测模块、引导偏移模块，分别得到目标关键点坐标信息、横向宽度信息、关键点匹配信息。
步骤S3-2中所述的关键点检测模块采用热力图的方式进行检测。
所述的关键点检测模块训练时，对于输入可见光遥感图像
Figure BDA0003885696540000104
中第k类目标的第m个标注框，对应关键点首先会被线性映射到预测网络的输出特征平面的尺度
Figure BDA0003885696540000105
上，其中s是尺寸缩放比例(stride)。
热力图在训练时为避免量化误差，在生成heatmap图过程中取消在编码的量化过程，对于映射后的特征点
Figure BDA0003885696540000106
本发明采用2D高斯核：
Figure BDA0003885696540000107
其中σw为x’-axis方向的方差，σh为y’-axis方向的方差。本发明引入角度自适应对高斯核函数进行了拓展，更好的适配旋转边界框：
Figure BDA0003885696540000108
其中θ为旋转角度。最终生成的关键点热力图为
Figure BDA0003885696540000109
C为待检测目标类型class的数量。
所述的热力图损失函数，计算过程可描述为：
Figure BDA0003885696540000111
关键点检测模块在预测时，首先采用3阶先调整热度图使其近似高斯分布，热图h(x，y)的滤波过程可以表示为：
Figure BDA0003885696540000112
Figure BDA0003885696540000113
Figure BDA0003885696540000114
其中M是归一化参数，
Figure BDA0003885696540000115
为在(x，y)位置的可变高斯滤波核，方差
Figure BDA0003885696540000116
决定了特征融合的权重分布。
然后，本发明采用在热力图最大激活点m(mx，my)泰勒展开的方法计算出高斯极值点(μx，μv)，计算公式如下：
Figure BDA0003885696540000117
一阶偏导和二阶偏导均可通过热图中得到有效计算，本发明可以精确的计算得到关键点坐标的信息。
步骤S3-2中所述的引导偏移模块如图5所示，是通过计算中心点坐标和方向边界点的位置偏差，用于匹配两个关键点，防止出现不同目标之间关键点的错误匹配问题发生。通过引导偏移量最终得到目标的关键点对，进一步结合横向宽度信息，组成了旋转包围框所有的标签参数信息。
所述的引导偏移值是指方向边界点与中心点的向量，对于标签值为
Figure BDA0003885696540000118
的旋转包围框，我们定义该包围框相关点(xk，yk)的引导偏移标签的真实值
Figure BDA0003885696540000119
为：
Figure BDA00038856965400001110
其中s是当前层的尺寸缩放比例。
本发明通过包围方向边界点的四个格点坐标间接进行计算：
Figure BDA0003885696540000121
Figure BDA0003885696540000122
通过4个格点，
Figure BDA0003885696540000123
可表示为：
Figure BDA0003885696540000124
Figure BDA0003885696540000125
所述的引导偏移模块的损失值应用Smooth L1损失：
Figure BDA0003885696540000126
其中N是训练样本中真实方向边界点
Figure BDA0003885696540000127
的数量。
步骤S3-2中所述的横向尺寸信息负责预测目标包围框的横向宽度，横向宽度是指垂直于中心点坐标和方向边界点连线方向的包围框尺寸信息。
所述的横向尺寸信息直接通过模型网络学习得到，标签真值的宽度
Figure BDA0003885696540000129
采用SmoothL1损失：
Figure BDA0003885696540000128
其中N为训练样本中包围框的数量，系数(1-w)促进小尺寸目标的训练。
本发明的总损失Ltotal由尺寸回归损失Lw、关键点定位损失Lm和偏移损失Lo组成，由3个标量加权：
Ltotal＝ww·Lw+wm·Lm+wo·LO。
本发明实施例中提供了一套完整的遥感图像中基于关键点定位的旋转目标检测方法。本发明设计的旋转包围框标注方法克服了角度周期问题和长宽互换问题，可以有效提升了模型训练的效率，降低边界问题。结合遥感图像中感兴趣目标不存在重叠问题的特点而设计的无锚框检测模型，摆脱了预测锚框而带来的计算量，使得模型检测进一步实时高精度。模型的计算过程中采用泰勒展开的方式避免量化误差，进一步提升了模型的检测精度。
仿真表明，本发明实用有效，达到预计效果，检测效率与检测精度高于现有检测方法，鲁棒性更强。
结合图6所示，相应地，本发明实施例中提供一种遥感图像中基于关键点定位的目标检测装置，包括：
获取单元601，用于获取光学遥感图像，并根据目标像素尺寸对所述光学遥感图像进行预处理得到多个子遥感图像；
识别单元602，用于将所述子遥感图像输入预训练的目标检测模型，通过网络颈部得到包围框的参数信息，得到所述子遥感图像的子目标识别结果；
拼接单元603，用于将多个所述子目标识别结果进行拼接处理后得到所述光学遥感图像的目标检测结果。
本发明实施例中提供的遥感图像中基于关键点定位的目标检测装置，通过基于特征点的标签来定义旋转包围框，相比于现有方法，避免了角度周期性问题和长宽互换问题，节约了训练成本，并且可以表示目标的朝向信息。本发明提出的模型采用无锚框设计，对中心关键点、方向边界点以及横向宽度进行识别，引入热力图二维泰勒展开方法、引导偏移模块等改进，减少量化误差的同时提升模型的检测精度，降低了识别的错误率。本发明提出的算法模型有效增强了大视场遥感图像的目标检测能力，准确快速的获取感兴趣目标的坐标与旋转朝向信息，有效提升了模型的检测效率。
相应地，根据本发明的实施例，本发明还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7为本发明实施例中提供的一种电子设备12的结构示意图。图7示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图7显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备12以通用计算设备的形式表现。电子设备12旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM、DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的遥感图像中基于关键点定位的目标检测方法。
本发明实施例中还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时本申请所有发明实施例提供的遥感图像中基于关键点定位的目标检测方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述的遥感图像中基于关键点定位的目标检测方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种遥感图像中基于关键点定位的目标检测方法，其特征在于，包括：
获取光学遥感图像，并根据目标像素尺寸对所述光学遥感图像进行预处理得到多个子遥感图像；
将所述子遥感图像输入预训练的目标检测模型，通过网络颈部得到包围框的参数信息，得到所述子遥感图像的子目标识别结果；
将多个所述子目标识别结果进行拼接处理后得到所述光学遥感图像的目标检测结果。
2.根据权利要求1所述的遥感图像中基于关键点定位的目标检测方法，其特征在于，所述将所述子遥感图像输入预训练的目标检测模型，通过网络颈部得到包围框的参数信息，得到所述子遥感图像的子目标识别结果之前，还包括：
利用训练集对待训练检测模型进行训练得到模型参数优化后的目标检测模型。
3.根据权利要求1所述的遥感图像中基于关键点定位的目标检测方法，其特征在于，所述利用训练集对待训练检测模型进行训练得到模型参数优化后的目标检测模型之前，还包括：
获得已标注好感兴趣目标的光学遥感训练图像，并根据目标像素尺寸将所述光学遥感训练图像进行裁剪分割得到多个子遥感训练图像；
对所述多个子遥感训练图像进行数据增强处理得到训练集。
4.根据权利要求1所述的遥感图像中基于关键点定位的目标检测方法，其特征在于，所述目标检测模型采用深度特征融合网络，浅层特征信息与深层特征信息相互连接计算，采用特征金字塔的结构对不同像素尺寸目标的进行检测。
5.根据权利要求1所述的遥感图像中基于关键点定位的目标检测方法，其特征在于，所述目标检测模型模型分为关键点检测模块、横向宽度检测模块、引导偏移模块，所述关键点检测模块输出的热力图通过计算响应极值点的方式得到关键点的相对坐标信息，坐标数值是通过泰勒展开计算得到的浮点型数；
所述横向宽度检测模块用于预测目标包围框的横向宽度，横向宽度为垂直于中心点坐标和方向边界点连线方向的包围框尺寸信息；
所述引导偏移模块通过计算中心点坐标和方向边界点的位置偏差，用于匹配两个关键点，通过引导偏移量得到目标的关键点对，并结合横向宽度信息，组成旋转包围框所有的标签参数信息。
6.根据权利要求1所述的遥感图像中基于关键点定位的目标检测方法，其特征在于，所述数据增强的方式包括仿射变换、增加噪声、人工少数类过采样法SMOTE(SyntheticMinority Over-sampling Technique)、遮挡中至少一种。
7.根据权利要求1所述的遥感图像中基于关键点定位的目标检测方法，其特征在于，所述包围框的参数信息可表示为带有7个元组的数据
Figure FDA0003885696530000021
其中，
Figure FDA0003885696530000022
表示目标包围框的中心，wk是目标的x’-axis方向尺寸，
Figure FDA0003885696530000023
是方向边界点，中心点与方向边界点的向量为目标的朝向信息。
8.一种遥感图像中基于关键点定位的目标检测装置，其特征在于，包括：
获取单元，用于获取光学遥感图像，并根据目标像素尺寸对所述光学遥感图像进行预处理得到多个子遥感图像；
识别单元，用于将所述子遥感图像输入预训练的目标检测模型，通过网络颈部得到包围框的参数信息，得到所述子遥感图像的子目标识别结果；
拼接单元，用于将多个所述子目标识别结果进行拼接处理后得到所述光学遥感图像的目标检测结果。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的遥感图像中基于关键点定位的目标检测方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至7中任一项所述的遥感图像中基于关键点定位的目标检测方法。
CN202211244126.4A 2022-10-12 2022-10-12 一种遥感图像中基于关键点定位的目标检测方法 Pending CN115631426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211244126.4A CN115631426A (zh) 2022-10-12 2022-10-12 一种遥感图像中基于关键点定位的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211244126.4A CN115631426A (zh) 2022-10-12 2022-10-12 一种遥感图像中基于关键点定位的目标检测方法

Publications (1)

Publication Number Publication Date
CN115631426A true CN115631426A (zh) 2023-01-20

Family

ID=84905230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211244126.4A Pending CN115631426A (zh) 2022-10-12 2022-10-12 一种遥感图像中基于关键点定位的目标检测方法

Country Status (1)

Country Link
CN (1) CN115631426A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503733A (zh) * 2023-04-25 2023-07-28 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503733A (zh) * 2023-04-25 2023-07-28 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质
CN116503733B (zh) * 2023-04-25 2024-02-06 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108764048B (zh) 人脸关键点检测方法及装置
CN107067003B (zh) 感兴趣区域边界的提取方法、装置、设备和计算机存储介质
CN108229303B (zh) 检测识别和检测识别网络的训练方法及装置、设备、介质
AU2015404580B2 (en) Condition detection using image processing
CN112016638B (zh) 一种钢筋簇的识别方法、装置、设备及存储介质
Hormese et al. Automated road extraction from high resolution satellite images
CN110363054B (zh) 道路标识线识别方法、装置和系统
CN115797350B (zh) 桥梁病害检测方法、装置、计算机设备和存储介质
US20220004740A1 (en) Apparatus and Method For Three-Dimensional Object Recognition
CN111160065A (zh) 遥感图像舰船检测方法、装置、设备及其存储介质
CN109345460B (zh) 用于矫正图像的方法和装置
CN111680678A (zh) 目标区域识别方法、装置、设备及可读存储介质
US8467607B1 (en) Segmentation-based feature pooling for object models
CN112699888A (zh) 图像识别方法、目标对象的提取方法、装置、介质及设备
CN115631426A (zh) 一种遥感图像中基于关键点定位的目标检测方法
Yildirim et al. Ship detection in optical remote sensing images using YOLOv4 and Tiny YOLOv4
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
Li et al. Research and Application of U 2-NetP Network Incorporating Coordinate Attention for Ship Draft Reading in Complex Situations
Wang et al. Geometric consistency enhanced deep convolutional encoder-decoder for urban seismic damage assessment by UAV images
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN114627438A (zh) 目标检测模型生成方法、目标检测方法、设备及介质
CN111753736A (zh) 基于分组卷积的人体姿态识别方法、装置、设备和介质
CN114881763B (zh) 养殖业贷后监管方法、装置、设备和介质
Guili et al. A man-made object detection algorithm based on contour complexity evaluation
CN109815307B (zh) 位置确定方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination