CN111582089A - 基于卫星红外与可见光图像的海上目标信息融合方法 - Google Patents

基于卫星红外与可见光图像的海上目标信息融合方法 Download PDF

Info

Publication number
CN111582089A
CN111582089A CN202010342704.2A CN202010342704A CN111582089A CN 111582089 A CN111582089 A CN 111582089A CN 202010342704 A CN202010342704 A CN 202010342704A CN 111582089 A CN111582089 A CN 111582089A
Authority
CN
China
Prior art keywords
target
visible light
image
infrared
ship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010342704.2A
Other languages
English (en)
Other versions
CN111582089B (zh
Inventor
刘勇
曹璐
郭鹏宇
张飞
季明江
姜志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN202010342704.2A priority Critical patent/CN111582089B/zh
Publication of CN111582089A publication Critical patent/CN111582089A/zh
Application granted granted Critical
Publication of CN111582089B publication Critical patent/CN111582089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于卫星红外与可见光图像的海上目标信息融合方法，该方法包括：卫星红外相机和可见光相机开机，对重点海域成像并向地面站下传图像；利用深度学习算法对可见光图像进行舰船目标检测，利用峰值信噪比阈值分割算法对红外图像进行舰船目标检测。根据可见光图像和红外图像的舰船目标检测点集，利用点模式匹配算法进行点集匹配，对点集进行筛选并根据筛选后的点集进行可见光图像和红外图像的配准。利用配准图像检测区域的交互比进行目标关联，综合目标切片，利用深度学习算法对舰船目标进行类型识别。本发明的基于卫星红外与可见光图像的海上目标信息融合方法，可以实现舰船目标的有效发现与识别。

Description

基于卫星红外与可见光图像的海上目标信息融合方法
技术领域
本发明涉及卫星探测技术领域，尤其涉及一种基于卫星红外与可见光图像的海上目标信息融合方法。
背景技术
在海洋监视中，基于卫星遥感影像的舰船目标检测与识别一直都是热门的研究问题。目前，用于舰船目标检测与识别的方法已经很多，特别是深度学习检测与识别框架的出现，使得舰船目标检测与识别系统更加实用化，但主要还是针对高分辨率的可见光与合成孔径雷达(SAR)图像。单一的卫星成像传感器不能适应复杂的海洋环境，在良好的气象环境下，卫星可见光相机可以获得海上目标丰富的纹理信息，但是在复杂的气象条件下，可见光图像中目标特征信息可能区分度不强，检测时出现很多漏警与虚警目标。与可见光图像相比，卫星红外图像抗干扰能力强，海上目标的红外辐射特性与海水、云雾等干扰具有很好的区分性，利用红外成像传感器很容易探测到舰船目标。另一方面，红外图像的分辨率一般低于可见光图像，在舰船目标类型识别能力上较弱。因此，在卫星上集成可见光相机与红外相机载荷，通过两种载荷对舰船目标的联合探测与信息融合，可以实现多源信息的优势互补，有效提高舰船目标的检测与识别能力。
发明内容
为实现上述目的，本发明提供了一种基于卫星红外与可见光图像的海上目标信息融合方法。具体技术方案如下：
一种基于卫星红外与可见光图像的海上目标信息融合方法，所述方法包括：
卫星红外相机和可见光相机开机，对重点海域成像并向地面站下传图像；
利用深度学习算法对可见光图像进行舰船目标检测，利用峰值信噪比阈值分割算法对红外图像进行舰船目标检测；
根据可见光图像和红外图像的舰船目标检测点集，利用点模式匹配算法进行点集匹配，对点集进行筛选并根据筛选后的点集进行可见光图像和红外图像的配准；
利用配准图像检测区域的交互比进行目标关联，综合目标切片，利用深度学习算法对舰船目标进行类型识别。
可选地，所述利用深度学习算法对可见光图像进行舰船目标检测，包括：
选定训练集；
对训练集进行人工标注后训练Mask RCNN检测框架；
将可见光图像输入Mask RCNN检测框架，输出可见光目标位置。
可选地，所述利用峰值信噪比阈值分割算法对红外图像进行舰船目标检测，包括：
采用滑窗形式检测目标，滑窗形态包括目标区、保护区和杂波区；
峰值信噪比PSNR定义为：PSNR＝(μT-μB)/σB，μT,μB分别为目标区和杂波区的均值，σB为杂波区的标准差；
若峰值信噪比大于设置的阈值，则检测为目标；
红外图像经检测分割后转化为二值图像，通过形态学处理对检测到的亮点区域进行8连通域标记，提取目标像素区域，计算每个目标像素区域内目标的质心作为红外目标位置。
可选地，点集匹配时采用刚性变换配准关系，配准算法采用迭代加权最小二乘ICP算法。
可选地，所述对点集进行筛选并根据筛选后的点集进行可见光图像和红外图像的配准，包括：
每次随机选取3对匹配点，根据选取的匹配点计算当前仿射变换参数，再求得其它点对在当前仿射变换参数下的误差，误差小于某一阈值的点对作为内点，保存内点集合；
重复多次随机采样，得到最大内点集合；
对最大内点集合采用最小二乘算法求解出仿射变换参数；
根据仿射变换参数将红外图像仿射变换与重采样，与可见光图像对齐，用于后续目标关联。
可选地，所述利用配准图像检测区域的交互比进行目标关联，包括：
通过下述公式计算交互比：
Figure BDA0002469052440000021
其中，RIR RVIS分别为任意的红外图像与可见光图像的检测区域；
若舰船目标切片的IOU大于设置的阈值时，判定为可关联，否则判定为无法关联。
可选地，关联结果包括：
红外目标与可见光目标关联上，判定舰船目标真是存在；
无可见光目标关联的红外目标，若对应可见光区域内无图像，判定为疑似目标，若对应可见光区域有图像无目标切片，判定为漏检目标；
无红外目标关联的可见光目标，若对应红外区域内无图像，判断为疑似目标，并根据目标大小给出置信概率，若对应红外区域内有图像无目标，判断为虚假目标。
可选地，所述综合目标切片，利用深度学习算法对舰船目标进行类型识别，包括：
利用训练集训练CNN网络模型；
将可见光目标切片输入CNN网络模型，输出舰船目标类型，舰船目标类型包括：集装箱船、航母和驱逐舰。
可选地，所述综合目标切片，利用深度学习算法对舰船目标进行类型识别，进一步包括：
输出的舰船目标类型经人工确认后，用输入的可见光目标切片图像构建目标多源图像库；
随着红外与可见光同一目标图像切片的积累，将红外与可将光同一目标图像切片用作多源融合识别的训练样本，挖掘红外图像辅助可见光图像的目标识别能力。
本发明技术方案的主要优点如下：
本发明的基于卫星红外与可见光图像的海上目标信息融合方法，采集卫星红外与可见光图像后，分别进行舰船目标的检测与特征提取；利用点集匹配算法进行红外图像与可见光图像的目标检测点集匹配与图像配准；联合红外与可见光图像切片对检测结果进行目标关联，以及对舰船目标进行类型识别，最终实现舰船目标的有效发现与识别。利用卫星多源图像融合提高海上目标的综合感知能力，得到目标信息容错性强、融合结果可信度高。且，本发明中的相关算法优化后可用于在轨海上目标的实时检测与融合，进一步提高海上目标监视性能。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一实施例提供的基于卫星红外与可见光图像的海上目标信息融合方法流程图；
图2为本发明一实施例提供的基于卫星红外与可见光图像的海上目标信息融合方法中滑窗形态结构图；
图3为本发明一实施例提供的基于卫星红外与可见光图像的海上目标信息融合过程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明实施例提供的技术方案。
本发明实施例提供了一种基于卫星红外与可见光图像的海上目标信息融合方法，如附图1所示，该方法包括：
S1，卫星红外相机和可见光相机开机，对重点海域成像并向地面站下传图像。
S2，利用深度学习算法对可见光图像进行舰船目标检测，利用峰值信噪比阈值分割算法对红外图像进行舰船目标检测。
S3，根据可见光图像和红外图像的舰船目标检测点集，利用点模式匹配算法进行点集匹配，对点集进行筛选并根据筛选后的点集进行可见光图像和红外图像的配准。
S4，利用配准图像检测区域的交互比进行目标关联，综合目标切片，利用深度学习算法对舰船目标进行类型识别。
本发明实施例提供的基于卫星红外与可见光图像的海上目标信息融合方法，采集卫星红外与可见光图像后，分别进行舰船目标的检测与特征提取；利用点集匹配算法进行红外图像与可见光图像的目标检测点集匹配与图像配准；联合红外与可见光图像切片对检测结果进行目标关联，以及对舰船目标进行类型识别，最终实现舰船目标的有效发现与识别。利用卫星多源图像融合提高海上目标的综合感知能力，得到目标信息容错性强、融合结果可信度高。且，本发明中的相关算法优化后可用于在轨海上目标的实时检测与融合，进一步提高海上目标监视性能。
具体地，以下对本发明实施例提供的基于卫星与可见光图像的海上目标信息融合方法进行详细阐述：
步骤S1，卫星红外相机和可见光相机开机，对重点海域成像并向地面站下传图像。
可以理解的是，为了能够完成后续红外图像与可见光图像的信息融合，卫星搭载的可见光相机与红外相机需要对同一重点海域同时成像，获得同时相的多源卫星图像。在实际工程应用中，考虑卫星整星功耗以及海洋监视效率等因素影响，也可以间隔较短时间分时成像，由于舰船目标运动速度较慢，获得的图像可以近似看成同时相的多源图像。
步骤S2划分为两部分，包括下述S201和S202。
S201：利用深度学习算法对可见光图像进行舰船目标检测：选定训练集；对训练集进行人工标注后训练Mask RCNN检测框架；将可见光图像输入Mask RCNN检测框架，输出可见光目标位置。
具体地，对于卫星可见光图像，由于其分辨率一般较高(例如，本发明一实施例中采用的可见光图像分辨率优于10m)，采用深度学习检测框架在复杂海洋环境下具有很好的检测性能，因此本发明实施例采用Mask RCNN检测框架来检测海上舰船目标。Mask RCNN具有目标像素级检测的能力，对于舰船目标检测任务具有很好的适应性。其中，训练样本的标签可以制作为矩形坐标，也可以做成目标的掩膜，能很好适应多级标注。训练样本主要采用网上公开数据集(如空客公司发布的舰船检测比赛的数据集，图像大小为768×768像素，舰船目标个数大于4万个)，以及收集的我国高分系统卫星的影像数据，进行人工标注后用于检测网络训练。训练完成后，输入可见光图像进行海上目标检测，输出每个目标的矩形坐标位置，目标位置以中心坐标为准。
可选地，该步骤中，还可以选用Faster RCNN、SSD、YOLO等深度学习检测框架完成可见光图像舰船目标的检测。
S202，利用峰值信噪比阈值分割算法对红外图像进行舰船目标检测，包括：
采用滑窗形式检测目标，滑窗形态包括目标区、保护区和杂波区；
峰值信噪比PSNR定义为：PSNR＝(μT-μB)/σB，μT,μB分别为目标区和杂波区的均值，σB为杂波区的标准差；
若峰值信噪比大于设置的阈值，则检测为目标；
红外图像经检测分割后转化为二值图像，通过形态学处理对检测到的亮点区域进行8连通域标记，提取目标像素区域，计算每个目标像素区域内目标的质心作为红外目标位置。
进一步地，提取目标像素区域后，为了进一步剔除虚警目标，可以通过像素大小去除过大以及过小的目标。
具体地，对于卫星红外图像，其分辨率低于可见光图像，例如，本发明一实施例采用的红外图像分辨率为20～30m，属于中分辨率图像，图像中舰船目标属于弱小目标。同时，海杂波特性分布不均匀，红外图像中不同区域的海面背景亮度有时变化较大，如果采用单一阈值分割的方法会造成大量虚警或漏警存在。本发明实施例利用峰值信噪比进行检测，采用滑窗形式检测目标，滑窗形态结构包含目标区、保护区与杂波区。滑窗形态示意图可以参见附图2。其中，保护区是为了防止目标的部分像素泄露到杂波区中，导致杂波的统计不准确。各区域大小可以根据实际图像分辨率进行选择，其中，目标区长度一般设为最小舰船目标所占像素边长的2倍，保护区的大小一般取最大舰船目标所占像素边长的2倍，而杂波区的大小需要足够大从而保证背景估计不受其它目标和非背景等因素的影响。
由于积分图可以在图像中快速计算矩形区域和，因此本发明实施例中的峰值信噪比检测采用积分图进行快速求解，从而提高舰船目标检测的效率。假设图像表示为I，任意位置(x,y)的积分图表示为该点左上角所有像素之和，即：
Figure BDA0002469052440000061
积分图通过迭代的方式求解，即：
II(x,y)＝I(x,y)+II(x-1,y)+II(x,y-1)-II(x-1,y-1)
由积分图可得，图像中任意矩形区域和为：
Figure BDA0002469052440000062
其中，矩形区域由位置(x2,y2)与(x1,y1)所围成。在峰值信噪比检测中，关键是计算杂波的μB与σB。如附图2所示，杂波区域由矩形区域ABCD与EFGH的差集组成，μB可以通过两个矩形区域和相减，再除以像素个数即可得到，即：
Figure BDA0002469052440000063
其中，NAD与NEH分别为两个矩形的像素大小。为了计算σB，设II2(x,y)为I平方后的积分图，即
Figure BDA0002469052440000064
则有：
Figure BDA0002469052440000065
步骤S3包括下述S301和S302。
S301，根据可见光图像和红外图像的舰船目标检测点集，利用点模式匹配算法进行点集匹配。
具体地，由于红外图像与可见光图像成像差异较大，同时海面上除了舰船目标以外，大面积为海水，无显著地物，传统的SIFT、SURF算子难以有效提取特征点。因此，本发明实施例利用检测的舰船目标位置作为特征点进行特征点匹配，用于图像配准。以可见光图像为参照，将红外图像进行配准。当目标个数较少时，可以适当增加特征点的个数，如取船头与船尾作为特征点，进一步提高点集匹配性能。本发明实施例中多源卫星图像间的配准关系采用仿射模型，点集匹配时配准关系采用刚体变换(旋转和平移)来近似仿射模型。为了增强点集匹配抗噪性，本发明实施例采用迭代加权最小二乘ICP进行点集匹配。设待匹配的红外与可见光点集分别为X与Y，
Figure BDA0002469052440000071
其中，NVIS与NIR分别为可见光和红外集合中数据点的个数，匹配的具体步骤如下：
1)将点集X作为初始点集，X(1)＝X；
2)由X(k-1)中的点
Figure BDA0002469052440000072
在Y搜索出其最近点
Figure BDA0002469052440000073
组成一个点对，找出两个点集中所有的点对，组成点对集合；
3)根据点对集合，计算出加权最小二乘下的旋转矩阵
Figure BDA0002469052440000074
和平移向量
Figure BDA0002469052440000075
即
Figure BDA0002469052440000076
其中，
Figure BDA0002469052440000077
w(·)为加权函数。
4)由
Figure BDA0002469052440000078
计算
Figure BDA0002469052440000079
得到点集X(k-1)经过刚体变换之后的新点集X(k)；
5)重复步骤2)～4)的迭代过程，直到满足收敛条件或达到预设的迭代次数。收敛条件为：
Figure BDA00024690524400000710
即连续两次加权距离平方和之差绝对值小于阈值ε，就停止迭代。ICP旋转矩阵的计算可以采用奇异值分解、四元数等方法。
S302，对点集进行筛选并根据筛选后的点集进行可见光图像和红外图像的配准。
如果直接利用步骤S301得到的同名点对求解仿射变换参数，往往有较大的参数估计误差，需要在同名点对中进一步选取适合估计仿射变换的点集。为了稳健估计可见光图像与红外图像间的变换参数，采用RANSAC算法进一步剔除低精度匹配点，再通过最小二乘算法由多个匹配点对解算出变换参数，其步骤如下：
每次随机选取3对匹配点，根据选取的匹配点计算当前仿射变换参数，再求得其他点对在当前仿射变换参数下的误差，误差小于某一阈值的点对作为内点，保存内点集合；
重复多次随机采样，得到最大内点集合；
对最大内点集合采用最小二乘算法求解出仿射变换参数；
根据仿射变换参数将红外图像仿射变换与重采样，与可见光图像对齐，用于后续目标关联。
步骤S4包括下述S401和S402，
S401，利用配准图像检测区域的交互比进行目标关联。
本发明实施例利用图像检测区域的交并比(IOU)进行目标关联：
Figure BDA0002469052440000081
其中，RIR RVIS分别为任意的红外图像与可见光图像的检测区域，当对应目标切片的IOU大于设置的阈值时(如设置为0.5)，则认为可以关联，否则无法关联。通过可见光与红外图像中的目标关联，可以生成一个综合态势感知图。关联结果如下：
红外目标与可见光目标关联上，判定舰船目标真是存在。
无可见光目标关联的红外目标，若对应可见光区域内无图像，判定为疑似目标，若对应可见光区域有图像无目标切片，判定为漏检目标，可能是云雾造成的部分遮挡导致可见光漏检。
无红外目标关联的可见光目标，若对应红外区域内无图像，判断为疑似目标，并根据目标大小给出置信概率，目标越大，置信度越高。若对应红外区域内有图像无目标，判断为虚假目标，可能是云雾干扰造成的可见光检测错误。
S402，综合目标切片，利用深度学习算法对舰船目标进行类型识别。
利用训练集训练CNN网络模型；将可见光目标切片输入CNN网络模型，输出舰船目标类型，舰船目标类型包括：集装箱船、航母和驱逐舰。输出的舰船目标类型经人工确认后，用输入的可见光目标切片图像构建目标多源图像库；随着红外与可见光同一目标图像切片的积累，将红外与可将光同一目标图像切片用作多源融合识别的训练样本，挖掘红外图像辅助可见光图像的目标识别能力。
具体地，本发明实施例提取目标的切片用于后续舰船目标的类型识别，由于红外图像分辨率低，对于舰船目标纹理信息反演较差，目标识别的粒度较粗，因此在识别初期主要依据可见光目标切片，采用CNN的迁移学习进行识别，对主流深度CNN网络进行微调，识别的训练样本来源于S201可见光图像舰船目标检测中所用的样本数据，主要识别为集装箱船、航母、驱逐舰等类型，具体的识别类型、CNN网络结构等依据训练样本种类与图像分辨率而确定。识别后的图像，经过人工确认后，用来构建舰船目标多源的图像库。随着红外与可见光同一目标图像切片的积累，可以最终用作多源融合识别的训练样本，挖掘红外图像辅助可见光图像的目标识别能力。
综上所述，本发明实施例提供的基于卫星红外与可见光图像的海上目标信息融合方法的过程可以参见附图3。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，本文中“前”、“后”、“左”、“右”、“上”、“下”均以附图中表示的放置状态为参照。
最后应说明的是：以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，所述方法包括：
卫星红外相机和可见光相机开机，对重点海域成像并向地面站下传图像；
利用深度学习算法对可见光图像进行舰船目标检测，利用峰值信噪比阈值分割算法对红外图像进行舰船目标检测；
根据可见光图像和红外图像的舰船目标检测点集，利用点模式匹配算法进行点集匹配，对点集进行筛选并根据筛选后的点集进行可见光图像和红外图像的配准；
利用配准图像检测区域的交互比进行目标关联，综合目标切片，利用深度学习算法对舰船目标进行类型识别。
2.根据权利要求1所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，所述利用深度学习算法对可见光图像进行舰船目标检测，包括：
选定训练集；
对训练集进行人工标注后训练Mask RCNN检测框架；
将可见光图像输入Mask RCNN检测框架，输出可见光目标位置。
3.根据权利要求1所述的基于卫星红外与可将光图像的海上目标信息融合方法吗，其特征在于，所述利用峰值信噪比阈值分割算法对红外图像进行舰船目标检测，包括：
采用滑窗形式检测目标，滑窗形态包括目标区、保护区和杂波区，
峰值信噪比PSNR定义为：PSNR＝(μT-μB)/σB，μT,μB分别为目标区和杂波区的均值，σB为杂波区的标准差；
若峰值信噪比大于设置的阈值，则检测为目标；
红外图像经检测分割后转化为二值图像，通过形态学处理对检测到的亮点区域进行8连通域标记，提取目标像素区域，计算每个目标像素区域内目标的质心作为红外目标位置。
4.根据权利要求1-3任一项所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，点集匹配时采用刚性变换配准关系，配准算法采用迭代加权最小二乘ICP算法。
5.根据权利要求4所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，所述对点集进行筛选并根据筛选后的点集进行可见光图像和红外图像的配准，包括：
每次随机选取3对匹配点，根据选取的匹配点计算当前仿射变换参数，再求得其它点对在当前仿射变换参数下的误差，误差小于某一阈值的点对作为内点，保存内点集合；
重复多次随机采样，得到最大内点集合；
对最大内点集合采用最小二乘算法求解出仿射变换参数；
根据仿射变换参数将红外图像仿射变换与重采样，与可见光图像对齐，用于后续目标关联。
6.根据权利要求5所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，所述利用配准图像检测区域的交互比进行目标关联，包括：
通过下述公式计算交互比：
Figure FDA0002469052430000021
其中，RIRRVIS分别为任意的红外图像与可见光图像的检测区域；
若舰船目标切片的IOU大于设置的阈值时，判定为可关联，否则判定为无法关联。
7.根据权利要求6所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，关联结果包括：
红外目标与可见光目标关联上，判定舰船目标真是存在；
无可见光目标关联的红外目标，若对应可见光区域内无图像，判定为疑似目标，若对应可见光区域有图像无目标切片，判定为漏检目标；
无红外目标关联的可见光目标，若对应红外区域内无图像，判断为疑似目标，并根据目标大小给出置信概率，若对应红外区域内有图像无目标，判断为虚假目标。
8.根据权利要求7所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，所述综合目标切片，利用深度学习算法对舰船目标进行类型识别，包括：
利用训练集训练CNN网络模型；
将可见光目标切片输入CNN网络模型，输出舰船目标类型，舰船目标类型包括：集装箱船、航母和驱逐舰。
9.根据权利要求8所述的基于卫星红外与可见光图像的海上目标信息融合方法，其特征在于，所述综合目标切片，利用深度学习算法对舰船目标进行类型识别，进一步包括：
输出的舰船目标类型经人工确认后，用输入的可见光目标切片图像构建目标多源图像库；
随着红外与可见光同一目标图像切片的积累，将红外与可将光同一目标图像切片用作多源融合识别的训练样本，挖掘红外图像辅助可见光图像的目标识别能力。
CN202010342704.2A 2020-04-27 2020-04-27 基于卫星红外与可见光图像的海上目标信息融合方法 Active CN111582089B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010342704.2A CN111582089B (zh) 2020-04-27 2020-04-27 基于卫星红外与可见光图像的海上目标信息融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010342704.2A CN111582089B (zh) 2020-04-27 2020-04-27 基于卫星红外与可见光图像的海上目标信息融合方法

Publications (2)

Publication Number Publication Date
CN111582089A true CN111582089A (zh) 2020-08-25
CN111582089B CN111582089B (zh) 2021-07-09

Family

ID=72116869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010342704.2A Active CN111582089B (zh) 2020-04-27 2020-04-27 基于卫星红外与可见光图像的海上目标信息融合方法

Country Status (1)

Country Link
CN (1) CN111582089B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177582A (zh) * 2021-04-16 2021-07-27 江西航天鄱湖云科技有限公司 一种目标的卫星电子信息和光学图像信息关联方法
CN113298713A (zh) * 2021-05-24 2021-08-24 北京市遥感信息研究所 一种抗云干扰的在轨快速配准方法
CN113325379A (zh) * 2021-04-16 2021-08-31 江西航天鄱湖云科技有限公司 一种基于目标属性与拓扑特征的舰船雷达匹配方法
CN113822279A (zh) * 2021-11-22 2021-12-21 中国空气动力研究与发展中心计算空气动力研究所 基于多特征融合的红外目标检测方法、装置、设备及介质
CN113963240A (zh) * 2021-09-30 2022-01-21 西南电子技术研究所（中国电子科技集团公司第十研究所） 多源遥感图像融合目标综合检测方法
CN114048800A (zh) * 2021-10-21 2022-02-15 哈尔滨工程大学 一种视觉信息海上目标识别多源混合数据集构建方法
CN114623822A (zh) * 2022-05-12 2022-06-14 东南大学 基于惯性约束的多波束水下地形组合匹配方法
CN114820738A (zh) * 2022-06-30 2022-07-29 中国人民解放军国防科技大学 一种星图精确配准方法、装置、计算机设备和存储介质
CN115019187A (zh) * 2022-08-09 2022-09-06 中国科学院空天信息创新研究院 针对sar图像船舶目标的检测方法、装置、设备及介质
CN115100193A (zh) * 2022-08-23 2022-09-23 南京天朗防务科技有限公司 基于红外和可见光影像的弱小目标检测识别方法、装置
CN115661434A (zh) * 2022-10-17 2023-01-31 中国人民解放军61540部队 一种夜间海上舰船自动识别方法、系统、电子设备及介质
CN115880292A (zh) * 2023-02-22 2023-03-31 和普威视光电股份有限公司 一种海湖面目标探测方法、装置、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
CN103927751A (zh) * 2014-04-18 2014-07-16 哈尔滨工程大学 基于梯度信息融合的水面光视觉图像目标区域检测方法
US8989447B2 (en) * 2012-08-13 2015-03-24 Texas Instruments Incorporated Dynamic focus for computational imaging
CN107609601A (zh) * 2017-09-28 2018-01-19 北京计算机技术及应用研究所 一种基于多层卷积神经网络的舰船目标识别方法
CN108614996A (zh) * 2018-04-04 2018-10-02 杭州电子科技大学 一种基于深度学习的军船、民船自动识别方法
CN109001780A (zh) * 2018-06-22 2018-12-14 航天恒星科技有限公司 一种自适应的sar卫星海面舰船目标在轨检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
US8989447B2 (en) * 2012-08-13 2015-03-24 Texas Instruments Incorporated Dynamic focus for computational imaging
CN103927751A (zh) * 2014-04-18 2014-07-16 哈尔滨工程大学 基于梯度信息融合的水面光视觉图像目标区域检测方法
CN107609601A (zh) * 2017-09-28 2018-01-19 北京计算机技术及应用研究所 一种基于多层卷积神经网络的舰船目标识别方法
CN108614996A (zh) * 2018-04-04 2018-10-02 杭州电子科技大学 一种基于深度学习的军船、民船自动识别方法
CN109001780A (zh) * 2018-06-22 2018-12-14 航天恒星科技有限公司 一种自适应的sar卫星海面舰船目标在轨检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUCHAO WANG 等: "Ship Detection Based on Deep Learning", 《PROCEEDINGS OF 2019 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION》 *
刘勇 等: "基于高低轨卫星联合监视的海上目标信息融合", 《第六届高分辨率对地观测学术年会论文集》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113325379A (zh) * 2021-04-16 2021-08-31 江西航天鄱湖云科技有限公司 一种基于目标属性与拓扑特征的舰船雷达匹配方法
CN113177582A (zh) * 2021-04-16 2021-07-27 江西航天鄱湖云科技有限公司 一种目标的卫星电子信息和光学图像信息关联方法
CN113177582B (zh) * 2021-04-16 2024-03-15 江西航天鄱湖云科技有限公司 一种目标位置的卫星电子信息和光学图像信息关联方法
CN113298713A (zh) * 2021-05-24 2021-08-24 北京市遥感信息研究所 一种抗云干扰的在轨快速配准方法
CN113963240B (zh) * 2021-09-30 2022-12-16 西南电子技术研究所（中国电子科技集团公司第十研究所） 多源遥感图像融合目标综合检测方法
CN113963240A (zh) * 2021-09-30 2022-01-21 西南电子技术研究所（中国电子科技集团公司第十研究所） 多源遥感图像融合目标综合检测方法
CN114048800A (zh) * 2021-10-21 2022-02-15 哈尔滨工程大学 一种视觉信息海上目标识别多源混合数据集构建方法
CN113822279A (zh) * 2021-11-22 2021-12-21 中国空气动力研究与发展中心计算空气动力研究所 基于多特征融合的红外目标检测方法、装置、设备及介质
CN113822279B (zh) * 2021-11-22 2022-02-11 中国空气动力研究与发展中心计算空气动力研究所 基于多特征融合的红外目标检测方法、装置、设备及介质
CN114623822A (zh) * 2022-05-12 2022-06-14 东南大学 基于惯性约束的多波束水下地形组合匹配方法
CN114623822B (zh) * 2022-05-12 2022-08-02 东南大学 基于惯性约束的多波束水下地形组合匹配方法
CN114820738A (zh) * 2022-06-30 2022-07-29 中国人民解放军国防科技大学 一种星图精确配准方法、装置、计算机设备和存储介质
CN114820738B (zh) * 2022-06-30 2022-09-23 中国人民解放军国防科技大学 一种星图精确配准方法、装置、计算机设备和存储介质
CN115019187B (zh) * 2022-08-09 2022-11-22 中国科学院空天信息创新研究院 针对sar图像船舶目标的检测方法、装置、设备及介质
CN115019187A (zh) * 2022-08-09 2022-09-06 中国科学院空天信息创新研究院 针对sar图像船舶目标的检测方法、装置、设备及介质
CN115100193B (zh) * 2022-08-23 2022-11-25 南京天朗防务科技有限公司 基于红外和可见光影像的弱小目标检测识别方法、装置
CN115100193A (zh) * 2022-08-23 2022-09-23 南京天朗防务科技有限公司 基于红外和可见光影像的弱小目标检测识别方法、装置
CN115661434A (zh) * 2022-10-17 2023-01-31 中国人民解放军61540部队 一种夜间海上舰船自动识别方法、系统、电子设备及介质
CN115880292A (zh) * 2023-02-22 2023-03-31 和普威视光电股份有限公司 一种海湖面目标探测方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN111582089B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN111582089B (zh) 基于卫星红外与可见光图像的海上目标信息融合方法
Kang et al. A modified faster R-CNN based on CFAR algorithm for SAR ship detection
Wang et al. An intensity-space domain CFAR method for ship detection in HR SAR images
Yang et al. Ship detection from optical satellite images based on saliency segmentation and structure-LBP feature
CN109427055B (zh) 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法
CN109583293A (zh) 星载sar图像中的飞机目标检测与鉴别方法
Sun et al. Oriented ship detection based on strong scattering points network in large-scale SAR images
CN108021890B (zh) 一种基于plsa和bow的高分遥感影像港口检测方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
Wang et al. Superpixel-based LCM detector for faint ships hidden in strong noise background SAR imagery
Wang et al. Fast and automatic ship detection for SAR imagery based on multiscale contrast measure
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
Lyu et al. Sea-surface object detection based on electro-optical sensors: A review
CN115439497A (zh) 基于改进hou模型的红外图像舰船目标快速识别方法
CN111428573A (zh) 一种复杂背景下的红外弱小目标检测虚警抑制方法
Albrecht et al. Visual maritime attention using multiple low-level features and Naive Bayes classification
CN111428624B (zh) 一种光学遥感图像在轨舰船目标检测方法
Fei et al. Change detection in remote sensing images of damage areas with complex terrain using texture information and SVM
Kovacs et al. Orientation based building outline extraction in aerial images
Li et al. An improved CFAR scheme for man-made target detection in high resolution SAR images
CN111260624A (zh) 一种基于特征匹配和尺度选择策略的多尺度红外小目标的探测方法
Xi et al. Multitarget detection algorithms for multitemporal remote sensing data
CN111950549B (zh) 一种基于海天线与视觉显著性融合的海面障碍物检测方法
Zheng et al. The on-orbit noncloud-covered water region extraction for ship detection based on relative spectral reflectance
Hou et al. Inshore ship detection based on multi-aspect information in high-resolution SAR images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant