CN116109936B - 基于光学遥感的目标检测与识别方法 - Google Patents

基于光学遥感的目标检测与识别方法 Download PDF

Info

Publication number
CN116109936B
CN116109936B CN202211296453.4A CN202211296453A CN116109936B CN 116109936 B CN116109936 B CN 116109936B CN 202211296453 A CN202211296453 A CN 202211296453A CN 116109936 B CN116109936 B CN 116109936B
Authority
CN
China
Prior art keywords
remote sensing
target
representing
optical remote
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211296453.4A
Other languages
English (en)
Other versions
CN116109936A (zh
Inventor
刘晶红
田阳
朱圣杰
王宣
孙辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202211296453.4A priority Critical patent/CN116109936B/zh
Publication of CN116109936A publication Critical patent/CN116109936A/zh
Application granted granted Critical
Publication of CN116109936B publication Critical patent/CN116109936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于光学遥感的目标检测与识别方法，包括：S1、依据光学遥感图像的目标亮度和边缘梯度提取协方差特征，利用上下文区域的显著性度量获得度量显著性得分，设计区域稀疏能效系数函数得到稀疏显著性得分，获得所需显著图并提取候选区域；S2、建立通道特征集用于学习分类，通过特征学习分类对候选区域进行目标识别和剔除虚警，计算已识别的真实目标的主方向，设计旋转框表示法对真实目标进行标记。本发明采用创新的显著性分割模型能快速提取较少且高质量的候选区域，在目标识别阶段的特征提取只需要在粗检测的小范围候选区域提取特征，能够降低检测时间并节省硬件消耗，且设计的主方向提取和旋转框表示法，可完成任意方向目标的检测。

Description

基于光学遥感的目标检测与识别方法
技术领域
本发明涉及遥感图像的处理与分析领域，具体提供一种基于光学遥感的目标检测与识别方法。
背景技术
随着遥感信息科学的飞速发展，目标舰船检测作为海洋遥感的重要组成部分，在军事和民用领域得到了广泛的应用，就军事侦察而言，舰船目标是现代海战探测的重要目标，舰船目标的准确检测，有利于指挥员和作战人员获取军事情报，调整火力部署，维护海上权益，实现海军战略。在民用领域，在特定海域和海湾进行船舶探测和海域监视，可以提高海防预警能力，管理水上运输、非法捕鱼、非法走私和非法倾倒石油。
在现有技术中，通常将各类传感器用于舰船目标检测与识别，例如自动识别系统(AIS)、船舶交通系统(VTS)、合成孔径雷达(SAR)以及可见光谱内的遥感图像。AIS和VTS用于通过甚高频(VHF)、全球定位系统(GPS)和电子海图显示和信息系统(ECDIS)确定船舶的当前位置。然而，并非所有船舶都携带转发器，例如低于国际海事组织（IMO）制定的标准吨位的船舶。除了吨位限制外，其他一些有特殊用途的船舶也经常故意关闭收发器，以躲避雷达探测。
目前，海面舰船目标的检测主要分为以下四类：
1、基于目标属性的方法；
2、基于传统的监督学习的方法；
3、基于深度学习的方法；
4、基于人类视觉快速搜索的方法。
基于目标属性的方法，通常根据舰船目标的轮廓设计模板进行匹配，比如使用Hit-or-Miss变换，但是，当船的方向不同时，模板匹配可能会失败，为此，使用特征角度约束来选择真实目标能够完成不同方向的模板匹配。但对于更复杂的背景，选择机制无法准确定位船舶轮廓。事实上，基于属性的检测方法往往受到许多方面的限制和干扰，例如船舶类型、船舶方位、船舶大小和背景复杂性。
基于传统的监督学习的方法，是将目标检测转化为目标和非目标的分类问题，而这类方法高度依赖于特征提取。但在海上宽幅遥感图像中，目标分布稀疏，且中小型目标较为常见，因此，如果直接在全图海域进行特征提取和计算，硬件和时间消耗会急剧增加。除此以外，目标的大小和方向也影响着检测的效果，对于尺度不一的目标的检测，往往存在着速度与精度的制约关系，这一类方法还不利于精确快速的识别工作。当目标的方向多变时，只有提取旋转不变性特征才能更好的识别真实目标。上述均为传统的基于监督学习的方法需要解决的问题。
在近年来，基于深度学习的方法被引入到光学遥感图像分析中，用于目标检测和识别，这类方法因对深层特征的挖掘，逐渐成为研究的主流。但是现存的深度学习方法中，几乎所有的方法都是数据驱动，如果没有足够的数据去训练模型，那么检测效果将无法满足需求。从应用的角度来说，这一类方法的实现依赖于图形处理单元(GPU)和并行计算的支持，对于目前的小型平台，如无人机（UAV）使用GPU会增加负载能力、能耗和经济成本。此外，如果检测基于深度学习的模型在机载设备上运行，会占用大量内存，影响机载设备的稳定性。
基于人类视觉快速搜索的方法主要是设计和人类视觉系统相似的视觉显著性方法，用来快速定位感兴趣区域。通常情况海上遥感图片中，主要的感兴趣区域不仅包括舰船目标，也包括显著的海岛以及尾迹波。因此，单独使用这类方法容易误检到真实目标以外的虚警。
对于显著性分割和特征学习结合的“粗-细”检测框架在近些年也有少量的研究工作，但未有对于任意方向目标的检测模型。
目前获取的海上遥感图像存在如下特点：
海上遥感图像的背景包括具有高度相似性的海面，具有分布随机性和混沌性的云雾，具有轮廓随机性和颜色相似性的岛屿，而海上的舰船目标的外形具有规则性、对称性、轮廓清晰等特点，且舰船目标具有三维空间中的闭合边界，绝大部分情况下具有唯一性。海上的舰船本身方向随机，不同用途的舰船具有尺度不一的特点，一些特殊海域往往也存在着和近岸停泊相似的舰船密集排列的问题。
由于成像传感器的因素和部分光学图像存在目标几何畸变，如何在复杂的海面背景、不同的天气条件、低照明度的情况下，快速且准确地检测不同方向、不同尺度的舰船目标，成为了当前急需解决的问题。
发明内容
本发明为解决上述问题，提供了一种基于光学遥感的目标检测与识别方法，主要建立视觉显著性分割模型，对所述光学遥感图像进行候选区域提取，通过特征学习分类对候选区域进行目标识别和剔除虚警，并设计旋转框表示法对真实目标进行标记。
本发明提供的基于光学遥感的目标检测与识别方法，包括以下步骤：
S1、建立显著性分割模型，用于对光学遥感图像进行候选区域提取，具体过程如下：
S11、依据光学遥感图像的目标亮度和边缘提取协方差特征；
S12、基于协方差特征，利用上下文区域的显著性度量检测光学遥感图像，获得度量显著性得分；
S13、设计区域稀疏能效系数函数，将度量显著性得分优化为稀疏显著性得分；
S14、对光学遥感图像的所有区域的稀疏显著性得分进行空间分配，获得第一显著图；
设计融合策略将第一显著图扩展为至少三个尺度的第二显著图；
S15、依据第二显著图的灰度计算全局阈值，并设计阈值函数划分第二显著图；
基于全局阈值函数获取自适应分割阈值，依据自适应分割阈值对第二显著图二值化后，建立连通区域用以提取目标的候选区域；
S2、通过特征学习分类对候选区域进行目标识别和剔除虚警，具体过程如下：
S21、标准化候选区域的尺寸，并建立通道特征集用于学习分类，生成二分类模型；
S22、将候选区域输入二分类模型进行目标预测，并设定交并比和置信度阈值对目标进行真伪判别；
S23、计算已识别的真实目标的主方向，设计旋转框表示法对真实目标进行标记，完成目标识别。
优选的，协方差特征的提取过程如下：
获取光学遥感图像的像素m的亮度值，提取水平方向和垂直方向的梯度特征以及二阶梯度特征，将光学遥感图像转换为Lab颜色空间，像素m的七维特征向量表示为：
；
其中，L m表示像素m的颜色维度，a m 、b m表示一对相反颜色的维度，表示水平方向的梯度特征，/>表示垂直方向的梯度特征，/>表示水平方向的二阶梯度特征，/>表示垂直方向的二阶梯度特征；
将光学遥感图像划分为分辨率为的区域R，计算像素m的特征均值/>如下式：
；
计算区域R的协方差特征作为区域描述符C R，区域描述符C R的表达式如下式：
。
优选的，度量显著性得分的表达式如下式：
；
；
其中，表示区域R和其周围区域R i的显著性度量距离。
优选的，稀疏显著性得分的计算过程如下：
计算区域R的灰度概率p i如下式：
；
其中，m i表示灰度值为i的像素数；
计算区域R的图像熵H R如下式：
；
将区域R的稀疏能效系数定义为图像熵/>的反函数如下式：
；
其中，表示区域R的稀疏能效系数函数；
计算稀疏显著性得分如下式：
。
优选的，第一显著图的获取过程为：定义稀疏显著性得分，将其分配给对应像素的空间排列映射/>，单一尺度/>的第一显著图由空间排列映射/>和稀疏显著性得分归一化操作/>得到：
。
优选的，第二显著图的尺度数为3，且将第一显著图采用融合策略得到第二显著图S如下：
。
优选的，通过OTSU方法获取全局阈值T 1，且阈值函数如下式：
；
其中，v表示像素（x,y）处的灰度值，v max表示全局最大阈值。
优选的，通过OTSU方法获取自适应分割阈值T 2，且将第二显著图二值化为：
。
优选的，空域和频域联合的通道特征集的表达式为：
；
其中，表示颜色通道，/>表示RGB特征归一化通道，/>表示旋转不变性通道。
优选的，依据已识别的真实目标的主方向，设计旋转框表示法H-MD对真实目标进行标记的过程如下：
已识别的真实目标的主方向为：
；
其中，表示梯度方向脉冲曲线；
将S22中目标预测得到的预测框的坐标记为[x 1 ，y 1 ，x 2 ，y 2]，将预测框绕其中心点旋转至与主方向角度相同的位置并定义为旋转框，将旋转框的长边设置为：与预测框的对角线长度相同，旋转框的短边设置为：作过预测框的中心点且与主方向垂直的直线，该直线被预测框截得线段的长度即为短边长，预测框变换为旋转框的坐标变化过程如下式：
；
其中，h和w分别表示预测框的高和宽，x’1，y’1，x’2，y’2表示旋转框的坐标。
与现有技术相比，本发明能够取得如下有益效果：
1、本发明在候选区域提取阶段采用创新的显著性分割模型而非传统的滑窗法，相比于滑窗法，显著性分割能够快速提取较少且高质量的候选区域。
2、本发明在目标识别阶段的特征提取只需要在粗检测的小范围候选区域提取特征，能够大大地降低检测时间并节省硬件消耗。与深度学习方法相比，本发明不需要大量的数据和训练过程，在小样本数据的情况下，设计高效的特征依然能够完成目标识别任务，本发明对硬件的内存和显存的要求较低，可移植性强。
3、本发明设计了主方向提取和旋转框表示法，可完成任意方向目标的检测。
附图说明
图1是根据本发明实施例提供的基于光学遥感的目标检测与识别方法的流程图；
图2是根据本发明实施例提供的第一显著图的生成流程图；
图3是根据本发明实施例提供的第一显著图融合生成第而显著图的流程图；
图4是根据本发明实施例提供的对光学遥感图像进行Fourier分析的系数图；
图5是根据本发明实施例提供的舰船识别流程图；
图6是根据本发明实施例提供的旋转框表示法对真实目标进行标记的示意图；
图7是根据本发明实施例提供的舰船检测结果图。
其中的附图标记包括：
(a)表示候选区域；
(b)表示候选区域提取结果；
(c)表示目标识别旋转框结果。
具体实施方式
在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
图1示出了根据本发明实施例提供的基于光学遥感的目标检测与识别方法的流程。
如图1所示，针对现有技术应对海上多重挑战和旋转目标检测的局限性，将本发明应用于光学遥感图像中海上旋转舰船的快速检测与识别，具体的步骤如下：
S1、建立显著性分割模型，用于对光学遥感图像进行候选区域提取，具体过程如下：
图2示出了根据本发明实施例提供的第一显著图的生成流程。
如图1所示，S11、输入空间分别率为N×N的光学遥感图像f(x,y)，图像中存在舰船、海雾、厚重云层和岛屿等因素。舰船目标的大小和颜色极性各不相同，舰船在海面上也为随机分布，海面具有极高的相似性，云雾具有分布随机性和混沌性，岛屿具有轮廓随机性和颜色相似性，本实施例依据光学遥感图像的舰船目标的亮度和边缘提取协方差特征，协方差特征是一种对目标的特征表述的数学方式，属于一种统计特征，协方差特征的具体提取过程如下：
获取光学遥感图像的某一像素m的亮度值，提取舰船目标的水平方向和垂直方向的梯度特征以及其二阶导数梯度特征，将光学遥感图像由RGB颜色空间转换为接近人类视觉的Lab颜色空间，像素m的七维特征向量表示为：
；
其中，L m表示像素m的颜色维度，a m 、b m表示一对相反颜色的维度，表示水平方向的梯度特征，/>表示垂直方向的梯度特征，/>表示水平方向的二阶梯度特征，/>表示垂直方向的二阶梯度特征。
对单个像素的特征进行空间区域聚集，将光学遥感图像划分为数个分辨率为的且大小均匀的正方形区域R，计算区域R中每个像素m的特征均值/>如下式：
；
计算区域R的协方差特征作为区域特征的描述符C R，区域特征的描述符C R的表达式如下式：
。
S12、基于协方差特征，利用多特征上下文区域的显著性度量对光学遥感图像进行全局检测，获得度量显著性得分，具体过程如下：
将区域特征的描述符C R进行向量化，对区域R的描述符C R进行Cholesky分解，得到上三角矩阵中的每一行向量L i，描述符C R等价于欧式空间的一组包含向量L i的点集S：
；
将征均值和点集合成一个向量，即解耦的区域描述符：
。
将区域R作为局部中心，设定局部中心区域R的上下文半径r本实施例中将r设定为3，r表示上下文区域为划分单元长度的r倍，即区域R长度的3倍，区域R的周围区域R i的编号范围为，且不包括R自身的编号，中心区域R与第i个周围区域的相似性度量由欧式空间度量给出，获得相似性度量显著图，寻取最相似的T个度量表示区域的显著性，本发明实施例中设定T=5，度量显著性得分的表达式如下：
；
；
其中，表示区域R和其周围区域R i的显著性度量距离。
S13、为增强局部区域的对比度显著性，在度量显著性得分的基础上设计区域稀疏能效系数函数，将度量显著性得分优化为稀疏显著性得分，具体过程如下：
在分辨率为的区域R中，统计灰度值为i的像素数量m i,计算灰度概率p i如下式：
；
计算区域R的图像熵H R如下式：
；
根据熵的定义，稀疏映射的判别能力越强，图像熵H越小，因此将区域R的稀疏能效系数定义为图像熵/>的反函数，具体表达式如下：
；
其中，表示区域R的稀疏能效系数函数。
基于上述推导，计算稀疏显著性得分如下式：
。
S14、将局部运算扩展到全局运算，对光学遥感图像的所有区域的稀疏显著性得分进行空间分配，定义区域稀疏显著性得分分配给显著图对应像素的空间排列映射/>，获得稀疏显著图，即第一显著图。单一尺度/>的第一显著图由空间排列映射/>和稀疏显著性得分归一化操作/>得到：
。
图3示出了根据本发明实施例提供的第一显著图融合生成第而显著图的流程。
如图3所示，设计融合策略将第一显著图扩展为三个尺度的第二显著图，在本发明实施例中，中心区域的尺寸选定细、中和粗三个尺度，。根据实际的显著效果，中心区域越小细节保留较多，有利于突出小目标，中心区域越大，去除云雾海浪等干扰的效果较好，依据这种区域表征能力和细节描述的对抗关系，设计了如下的融合策略：
对不同空间分辨率的第一显著图进行线性插值操作，使其和输入图像相同大小：/>。
考虑不同尺度的补充关系，进行加法归一化组合操作保留细节信息；为突出潜在目标的显著性，进行乘法归一化组合操作使稀疏显著值得分高的区域更加显著，将第一显著图采用融合策略得到第二显著图S如下：
。
S15、根据第二显著图的不同灰度值，计算出潜在海面舰船目标的检测阈值，并使用该阈值对第二显著图进行分割，通过标记回光学遥感图像，找出每个目标的区域，分离潜在目标和海面背景，具体过程如下：
由于光学遥感图像中，船舶尾迹的亮度逐渐变化，通常情况传播附近的尾迹比远处的尾迹更明亮，通过OTSU方法获取全局阈值T 1，在此基础上设计阈值函数A建立更细化的显著图，阈值函数如下式：
；
其中，v表示像素（x,y）处的灰度值，v max表示全局最大阈值。
再通过OTSU方法获取自适应分割阈值T 2，且将第二显著图二值化为：
；
依据二值化后的第二显著图，建立连通区域提取潜在目标的候选区域。
在实际过程中，还需要建立训练集和测试集，标准大小为56*56，正负样本采用1：4的比例，正样本包括不同背景下的各种舰船，各种舰船的尺寸为6~20个像素不等，负样本来自于海上可能存在的背景干扰，比如海浪、尾迹波、薄云雾、岛屿等。
S2、通过特征学习分类对候选区域进行目标识别和剔除虚警，具体过程如下：
图5示出了根据本发明实施例提供的舰船识别流程。
如图5所示，S21、标准化候选区域的尺寸，并建立通道特征集用于学习分类，生成二分类模型，本发明实施例中的使用三种通道特征，即LUV颜色通道、RGB特征归一化通道/>和旋转不变性通道/>，空域和频域联合的通道特征集的表达式为：
。
LUV颜色通道特征的计算过程如下：
计算RGB像素空间特征：。
将RGB空间变换为CIE-XYZ空间：
；
再将CIE-XYZ空间变换为CIE-LUV空间：
；
；
；
LUV颜色通道特征表述为：。
根据特征标准化，得到RGB特征归一化通道特征为：
。
图4示出了根据本发明实施例提供的对光学遥感图像进行Fourier分析的系数。
如图4所示，光学遥感图像I（x，y）在像素（x，y）处的梯度表示为，连续的梯度方向脉冲曲线计算为：
；
对梯度方向脉冲曲线进行Fourier分析得到下式：
；
系数对应的Fourier域系数图像如图4。
矢量场内旋转图像并寻找旋转不变性的条件和设计的自导向性核函数的卷积建模过程如下：
/>
。
采用上述核函数卷积建模，根据上述旋转不变性的条件，Fourier HOG旋转不变性描述符表示如下：
；
在提取出三种通道特征后，将最终的通道特征集进行向量化后，送入分类器学习生成一个二分类模型，即SVM学习模型。
图7示出了根据本发明实施例提供的舰船检测结果。
如图7中的(a)和(b)所示，S22、将候选区域的尺寸设置为像素56*56，将候选区域(a)输入二分类模型进行目标预测，并设定交并比和置信度阈值对目标进行真伪判别，目标四周生成预测框，结果如图7中的(b)表示候选区域提取结果。
图6示出了根据本发明实施例提供的旋转框表示法对真实目标进行标记结果。
如图6和图7中的(c)所示，S23、对梯度方向脉冲曲线使用Fourier分析后获得梯度方向直方图可平滑为连续的梯度方向曲线，曲线中的最大值所在的角度即为目标的主方向，已识别的真实目标的主方向为：
；
将S22中目标预测得到的预测框的坐标记为[x 1 ，y 1 ，x 2 ，y 2]，将预测框绕其中心点旋转至与主方向角度相同的位置并定义为旋转框，将旋转框的长边设置为：与预测框的对角线长度相同，旋转框的短板边设置为：与预测框被过预测框的中心点且与主方向垂直的直线截出的线段的长度相同，预测框变换为旋转框的坐标变化过程如下式：
；
其中，h和w分别表示预测框的高和宽，x’1，y’1，x’2，y’2表示旋转框的坐标。
依据上述处理，将最终的检测结果进行输出。
本发明在具体应用中无需诸多复杂的参数设置，也不依赖海面背景及目标分布特性的先验知识，首先针对海面背景下舰船目标的特点，提出了适应于海上舰船检测的图像线索：多尺度显著性、亮度显著性和边缘梯度显著性。在单一尺度上，提出了基于上下文度量的协方差多视觉显著性检测的方法，将信息论的知识应用到显著区域稀疏能效加权，从而增强了整体稀疏显著性；在多尺度显著性方面，通过设计“加归”和“乘归”结合的融合策略，获得最终的第二显著图，该视觉显著性模型不论是凸显潜在目标，还是抑制海面背景干扰，均具有良好的效果和实际意义，再通过调整后的阈值分割就可高效地提取候选区域，对候选区域中可能出现的厚重云层和岛屿等虚警，使用多通道特征描述器进一步地二分类鉴别，判断其是否为舰船，这种双阶段的检测能够大大地降低虚警率，在保证检测速度的同时提高检测准确率。
另外，本发明的检测和鉴别时间都为秒级，实时性良好，在自动化程度上有了明显提升，能实现大范围海域、多重背景干扰下舰船目标快速发现定位和数量确定，检测鲁棒性好，本发明可用于结合无人机平台或卫星姿态数据计算出各个舰船的位置和航向等情报信息以及舰船目标的分类和识别。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (9)

1.一种基于光学遥感的目标检测与识别方法，其特征在于，包括：
S1、建立显著性分割模型，用于对所述光学遥感图像进行候选区域提取，具体过程如下：
S11、依据所述光学遥感图像的目标亮度和边缘梯度提取协方差特征；
S12、基于所述协方差特征，利用上下文区域的显著性度量检测所述光学遥感图像，获得度量显著性得分；
S13、设计区域稀疏能效系数函数，将所述度量显著性得分优化为稀疏显著性得分；
S14、对所述光学遥感图像的所有区域的所述稀疏显著性得分进行空间分配，获得第一显著图；
设计融合策略将所述第一显著图扩展为至少三个尺度的第二显著图；
S15、依据所述第二显著图的灰度计算全局阈值，并设计阈值函数划分所述第二显著图；
基于所述全局阈值函数获取自适应分割阈值，依据所述自适应分割阈值对所述第二显著图二值化后，建立连通区域用以提取目标的候选区域；
S2、通过特征学习分类对候选区域进行目标识别和剔除虚警，具体过程如下：
S21、标准化候选区域的尺寸，并建立通道特征集用于学习分类，生成二分类模型；
S22、将候选区域输入所述二分类模型进行目标预测，并设定交并比和置信度阈值对目标进行真伪判别；
S23、计算已识别的真实目标的主方向，设计旋转框表示法对真实目标进行标记，完成目标识别；
依据已识别的真实目标的主方向，设计旋转框表示法H-MD对真实目标进行标记的过程如下：
已识别的真实目标的主方向为：
；
其中，表示梯度方向脉冲曲线；
将S22中目标预测得到的预测框的坐标记为[x 1 ，y 1 ，x 2 ，y 2]，将预测框绕其中心点旋转至与主方向角度相同的位置并定义为旋转框，将旋转框的长边设置为：与预测框的对角线长度相同，旋转框的短边设置为：作过预测框的中心点且与主方向垂直的直线，该直线被预测框截得线段的长度即为短边长，预测框变换为旋转框的坐标变化过程如下式：
；
其中，h和w分别表示预测框的高和宽，x’1，y’1，x’2，y’2表示旋转框的坐标。
2.如权利要求1所述的基于光学遥感的目标检测与识别方法，其特征在于，所述协方差特征的提取过程如下：
获取所述光学遥感图像的像素m的亮度值，提取水平方向和垂直方向的梯度特征以及二阶梯度特征，将所述光学遥感图像转换为Lab颜色空间，像素m的七维特征向量表示为：
；
其中，L m表示像素m的颜色维度，a m 、b m表示一对相反颜色的维度，表示水平方向的梯度特征，/>表示垂直方向的梯度特征，/>表示水平方向的二阶梯度特征，/>表示垂直方向的二阶梯度特征；
将所述光学遥感图像划分为分辨率为的区域R，计算像素m的特征均值/>如下式：
；
计算区域R的所述协方差特征作为区域描述符C R，所述区域描述符C R的表达式如下式：
。
3.如权利要求2所述的基于光学遥感的目标检测与识别方法，其特征在于，所述度量显著性得分的表达式如下式：
；
；
其中，表示区域R和其周围区域R i的显著性度量距离。
4.如权利要求1所述的基于光学遥感的目标检测与识别方法，其特征在于，所述稀疏显著性得分的计算过程如下：
计算区域R的灰度概率p i如下式：
；
其中，m i表示灰度值为i的像素数；
计算区域R的图像熵H R如下式：
；
将区域R的稀疏能效系数定义为图像熵/>的反函数如下式：
；
其中，表示区域R的稀疏能效系数函数；
计算所述稀疏显著性得分如下式：
。
5.如权利要求4所述的基于光学遥感的目标检测与识别方法，其特征在于，所述第一显著图的获取过程为：定义所述稀疏显著性得分 ，将其分配给对应像素的空间排列映射/>，单一尺度/>的所述第一显著图由空间排列映射/>和所述稀疏显著性得分归一化操作/>得到：
。
6.如权利要求5所述的基于光学遥感的目标检测与识别方法，其特征在于，所述第二显著图的尺度数为3，且将所述第一显著图采用融合策略得到所述第二显著图S如下：
。
7.如权利要求1所述的基于光学遥感的目标检测与识别方法，其特征在于，通过OTSU方法获取所述全局阈值T 1，且阈值函数 如下式：
；
其中，v表示像素（x,y）处的灰度值，v max表示全局最大阈值。
8.如权利要求7所述的基于光学遥感的目标检测与识别方法，其特征在于，通过OTSU方法获取所述自适应分割阈值T 2，且将所述第二显著图二值化为：
。
9.如权利要求1所述的基于光学遥感的目标检测与识别方法，其特征在于，空域和频域联合的所述通道特征集的表达式为：
；
其中，表示颜色通道，/>表示RGB特征归一化通道，/>表示旋转不变性通道。
CN202211296453.4A 2022-10-21 2022-10-21 基于光学遥感的目标检测与识别方法 Active CN116109936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211296453.4A CN116109936B (zh) 2022-10-21 2022-10-21 基于光学遥感的目标检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211296453.4A CN116109936B (zh) 2022-10-21 2022-10-21 基于光学遥感的目标检测与识别方法

Publications (2)

Publication Number Publication Date
CN116109936A CN116109936A (zh) 2023-05-12
CN116109936B true CN116109936B (zh) 2023-08-29

Family

ID=86266312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211296453.4A Active CN116109936B (zh) 2022-10-21 2022-10-21 基于光学遥感的目标检测与识别方法

Country Status (1)

Country Link
CN (1) CN116109936B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862980B (zh) * 2023-06-12 2024-01-23 上海玉贲智能科技有限公司 图像边缘的目标检测框位置优化校正方法、系统、介质及终端
CN117710756B (zh) * 2024-02-04 2024-04-26 成都数之联科技股份有限公司 一种目标检测及模型训练方法、装置、设备、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681711A (zh) * 2018-05-17 2018-10-19 常州信息职业技术学院 一种面向移动机器人的自然路标提取方法
CN109427055A (zh) * 2017-09-04 2019-03-05 长春长光精密仪器集团有限公司 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法
CN110414411A (zh) * 2019-07-24 2019-11-05 中国人民解放军战略支援部队航天工程大学 基于视觉显著性的海面船只候选区域检测方法
CN114821358A (zh) * 2022-04-29 2022-07-29 中国科学院长春光学精密机械与物理研究所 光学遥感图像海上舰船目标提取与识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427055A (zh) * 2017-09-04 2019-03-05 长春长光精密仪器集团有限公司 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法
CN108681711A (zh) * 2018-05-17 2018-10-19 常州信息职业技术学院 一种面向移动机器人的自然路标提取方法
CN110414411A (zh) * 2019-07-24 2019-11-05 中国人民解放军战略支援部队航天工程大学 基于视觉显著性的海面船只候选区域检测方法
CN114821358A (zh) * 2022-04-29 2022-07-29 中国科学院长春光学精密机械与物理研究所 光学遥感图像海上舰船目标提取与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Ship Detection in Optical Remote Sensing Images Based on Saliency and a Rotation-Invariant Descriptor";Chao Dong等;《remote sensing》;第1-19页 *

Also Published As

Publication number Publication date
CN116109936A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
Zhang et al. Ship detection for visual maritime surveillance from non-stationary platforms
CN116109936B (zh) 基于光学遥感的目标检测与识别方法
CN109598241B (zh) 基于Faster R-CNN的卫星图像海上舰船识别方法
CN107767400B (zh) 基于层次化显著性分析的遥感图像序列动目标检测方法
CN111160120A (zh) 基于迁移学习的Faster R-CNN物品检测方法
CN109427055B (zh) 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法
CN107729843B (zh) 基于雷达与视觉信息融合的低地板有轨电车行人识别方法
CN105427342B (zh) 一种水下小目标声呐图像目标检测跟踪方法和系统
CN103514448A (zh) 船形识别方法和系统
CN110443201B (zh) 基于多源影像联合形状分析与多属性融合的目标识别方法
CN103020975A (zh) 一种结合多源遥感图像特征的码头和船舶分割方法
CN108830224B (zh) 一种基于深度学习的高分辨率遥感影像舰船目标检测方法
Zhao et al. SAR ship detection based on end-to-end morphological feature pyramid network
CN112784757B (zh) 海上sar舰船目标显著性检测与识别方法
CN107704865A (zh) 基于结构森林边缘候选区域提取的舰船目标检测算法
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
CN109063669B (zh) 一种基于图像识别的桥区船舶航行态势分析方法及装置
CN108573280B (zh) 一种无人船自主通过桥梁的方法
Xie et al. Fast ship detection from optical satellite images based on ship distribution probability analysis
CN108073940A (zh) 一种非结构化环境中的3d目标实例物体检测的方法
AU2007257324A1 (en) Target recognition method
Yong et al. Real-time traffic cone detection for autonomous vehicle
CN111666811A (zh) 一种提取交通场景图像中交通标志牌区域方法及系统
Sun et al. Ship detection in SAR images based on multi-level superpixel segmentation and fuzzy fusion
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant