CN110443201B - 基于多源影像联合形状分析与多属性融合的目标识别方法 - Google Patents

基于多源影像联合形状分析与多属性融合的目标识别方法 Download PDF

Info

Publication number
CN110443201B
CN110443201B CN201910722047.1A CN201910722047A CN110443201B CN 110443201 B CN110443201 B CN 110443201B CN 201910722047 A CN201910722047 A CN 201910722047A CN 110443201 B CN110443201 B CN 110443201B
Authority
CN
China
Prior art keywords
ship
target
slices
ships
bow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910722047.1A
Other languages
English (en)
Other versions
CN110443201A (zh
Inventor
陈浩
陈稳
高通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201910722047.1A priority Critical patent/CN110443201B/zh
Publication of CN110443201A publication Critical patent/CN110443201A/zh
Application granted granted Critical
Publication of CN110443201B publication Critical patent/CN110443201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

基于多源影像联合形状分析与多属性融合的目标识别方法，本发明涉及多源影像目标识别方法。本发明的目的是为了解决现有舰船目标识别准确率低的问题。过程为：一、获取大量疑似舰船停靠码头的切片，并根据直线角度，旋转码头切片至水平；二、获取疑似舰船坐标，提取对应坐标的疑似舰船切片；三、将疑似舰船分类为舰船目标和非舰船目标；四、对分类为舰船的目标，提取光学切片，分别进行飞行甲板类型、船头尖角位置、船头轮廓类型、垂直发射装置位置检测，提取SAR切片，进行舰桥位置检测；五、进行多属性融合的舰船型号识别；六、基于五取投票结果最大的一类作为舰船型号识别结果。本发明用于遥感影像目标检测识别技术领域。

Description

基于多源影像联合形状分析与多属性融合的目标识别方法
技术领域
本发明属于遥感影像目标检测识别技术领域，具体涉及多源影像目标识别方法。
背景技术
随着近年来传感器技术、无线通信技术和航空航天技术等相关学科的快速发展和创新，世界范围内已经成功发射并运行着大量的光学遥感卫星和合成孔径雷达(SyntheticAperture Radar,SAR)卫星。目前全球共有438颗地球遥感卫星在轨，中国拥有最多的大型遥感卫星，合计有84颗，例如高分系列、资源系列、高景1号、吉林1号等；而美国和欧盟分别有50颗和49颗大型遥感卫星以及约150颗小型遥感卫星，例如Quickbird、Ikonos、WorldView、TerraSAR-X系列。
光学数据与SAR数据是卫星遥感领域最常见的两种数据类型，由于各自的成像原理不同，两者在对地观测上各有千秋。SAR传感器具备全天时、全天候探测能力，能够穿透云层、雾气且不受阴影遮挡、光照时间的影响，但其纹理和地物辐射信息量不够，解译难度也较大。光学遥感影像能够直观的将纹理、颜色与形状等方面的信息反映给使用者，但由于光照和天气的限制，数据获取的能力有限。简而言之，SAR遥感影像在几何特性上具有明显优势，光学遥感影像在辐射特性上能够提取丰富的光谱信息，对于分类、解译更有利。
综上所述，面对现有的海量光学与SAR数据，遥感影像目标识别的主要问题在于如何充分利用各自源的优势，协同处理，实现信息利用最大化。开展多源遥感影像融合的目标解译，不仅对于多源遥感影像融合与目标解译处理理论发展具有重要意义，而且有利于充分挖掘海量遥感数据，实现目标层面多源信息解译，为航天侦察、军事打击、情报分析等军用领域，城市规划、航空管制、交通导航等民用领域提供目标信息支持。
因此，研究一种能利用SAR与光学数据融合处理与应用，进而能准确检测并识别出目标的方法就显得很有必要。
发明内容
本发明的目的是为了解决现有舰船目标识别准确率低的问题，而提出基于多源影像联合形状分析与多属性融合的目标识别方法。
基于多源影像联合形状分析与多属性融合的目标识别方法具体过程为：
步骤一、手动配准好光学遥感影像和SAR遥感影像，仅利用光学遥感影像进行直线检测，获取大量疑似舰船停靠码头的切片，并根据直线角度，旋转码头切片至水平；
步骤二、对水平码头切片的光学遥感影像和SAR遥感影像进行联合形状分析，获取疑似舰船坐标，即得到舰船长度、宽度信息，提取对应坐标的疑似舰船切片；
步骤三、提取疑似舰船切片的多源组合特征，经由预先训练好的单分类支持向量机，从而将疑似舰船分类为舰船目标和非舰船目标；
步骤四、对分类为舰船的目标，提取舰船目标的光学切片，分别进行飞行甲板类型、船头尖角位置、船头轮廓类型、垂直发射装置位置共4个部位的检测，提取舰船目标的SAR切片，进行舰桥位置共1个部位的检测；
步骤五、根据获取的舰船长度、宽度信息，与检测得到的5个部位检测结果进行多属性融合的舰船型号识别；
步骤六、基于步骤五取投票结果最大的一类作为舰船型号识别结果。
本发明的有益效果为：
本发明主要利用同时相、已配准的光学和SAR多源遥感影像，实现舰船目标的检测识别。首先，利用区域生长与直线检测，快速获取码头切片；在码头切片内，针对光学影像码头环境复杂、舰船目标阴影干扰严重造成的舰船检测错误，基于联合形状分析与多特征分类的舰船目标检测方法，成功检测到场景中的舰船目标；最终利用基于特征点匹配、轮廓提取、亮度显著性的舰船部位检测方法，检测到7组部位信息，并根据多属性融合信息投票结果，实现舰船目标型号识别；本发明设计的基于多源影像联合形状分析与多属性融合的目标识别方法的舰船检测的召回率为91.43％，准确率为94.12％，舰船型号识别率为91.43％，具有较高的检测率和识别率；
而且与传统方法相比，本发明所设计的基于多源影像联合形状分析与多属性融合的目标识别方法可以显著提高识别准确率。
附图说明
图1是本发明的所述的基于多源影像联合形状分析与多属性融合的目标识别的方法流程图；
图2a为本发明具体实施方式二所述的配准好的光学遥感影像图；
图2b为本发明具体实施方式二所述的配准好的SAR遥感影像图；
图3为本发明具体实施方式二所述的海陆交界地带进行直线检测结果图；
图4a为本发明具体实施方式三所述的某泊船区域光学影像图；
图4b为本发明具体实施方式三所述的某泊船区域SAR影像图；
图4c为本发明具体实施方式三所述的SAR影像显著图；
图4d为本发明具体实施方式三所述的SAR影像定位结果图；
图5a为本发明具体实施方式三所述的某泊船区域二值影像图；
图5b为本发明具体实施方式三所述的某显著性点所在x方向分布图；
图5c为本发明具体实施方式三所述的某显著性点周围SAR影像图；
图5d为本发明具体实施方式三所述的图上方舰船y方向亮度分布图；
图5e为本发明具体实施方式三所述的图下方舰船y方向亮度分布图；
图6为本发明具体实施方式三所述的疑似舰船目标图；
图7a为本发明具体实施方式四所述的舰船检测结果图；
图7b为本发明具体实施方式四所述的舰船检测结果局部放大图；
图8为本发明具体实施方式五所述的不同型号舰船的部位分析图；
图9a为本发明具体实施方式五所述的舰船飞行甲板部位SIFT特征点提取结果图；图9b为本发明具体实施方式五所述的舰船其他部位SIFT特征点提取结果图；
图10a为本发明具体实施方式五所述的驱逐舰飞行甲板识别结果图；
图10b为本发明具体实施方式五所述的巡洋舰飞行甲板识别结果图；
图10c为本发明具体实施方式五所述的其它型号舰船飞行甲板识别结果图；
图11a为本发明具体实施方式五所述的舰船目标灰度影像图；
图11b为本发明具体实施方式五所述的舰船目标边缘影像图；
图11c为本发明具体实施方式五所述的舰船目标二值影像图；
图11d为本发明具体实施方式五所述的舰船目标边缘轮廓图；
图12a为本发明具体实施方式五所述的驱逐舰船头模板图；
图12b为本发明具体实施方式五所述的巡洋舰船头模板图；
图12c为本发明具体实施方式五所述的巡洋舰船头轮廓响应图；
图13a为本发明具体实施方式五所述的部分舰船SAR影像图；
图13b为本发明具体实施方式五所述的部分舰船舰桥检测结果图；
图14a为本发明具体实施方式五所述的部分舰船灰度图；
图14b为本发明具体实施方式五所述的部分舰船垂直发射系统检测结果图；
图15a为实施例的港口1舰船型号识别结果图；
图15b为实施例的港口1舰船型号识别结果局部放大图；
图16a为实施例的港口2舰船型号识别结果图；
图16b为实施例的港口2舰船型号识别结果局部放大图。
具体实施方式
具体实施方式一：结合图1说明本实施方式，本实施方式基于多源影像联合形状分析与多属性融合的目标识别方法具体过程为：
步骤一、手动配准好(为了让获取的光学遥感影像和SAR遥感影像的目标位置一致)光学遥感影像和SAR遥感影像，仅利用光学遥感影像进行直线检测，获取大量疑似舰船停靠码头的切片，并根据直线角度，旋转码头切片至水平；
步骤二、对水平码头切片的光学遥感影像和SAR遥感影像进行联合形状分析，获取疑似舰船坐标，即得到舰船长度、宽度信息，提取对应坐标的疑似舰船切片；
步骤三、提取疑似舰船切片的多源组合特征，经由预先训练好的单分类支持向量机，从而将疑似舰船分类为舰船目标和非舰船目标；
步骤四、对分类为舰船的目标，提取舰船目标的光学切片，分别进行飞行甲板类型、船头尖角位置、船头轮廓类型、垂直发射装置位置共4个部位的检测，提取舰船目标的SAR切片，进行舰桥位置共1个部位的检测；
步骤五、根据获取的舰船长度、宽度信息，与检测得到的5个部位检测结果进行多属性融合的舰船型号识别；
步骤六、基于步骤五取投票结果最大的一类作为舰船型号识别结果。
具体实施方式二：结合图2a、2b说明本实施方式，本实施方式与具体实施方式一不同的是，所述步骤一中手动配准好光学遥感影像和SAR遥感影像，仅利用光学影像进行直线检测，获取大量疑似舰船停靠码头的切片，并根据直线角度，旋转码头切片至水平；具体过程为：
步骤一一、手动配准好光学遥感影像和SAR遥感影像，在光学遥感影像上根据任意点周围灰度分布信息均匀的原则，选取海面上的种子点，种子点选取应满足下式：
Figure BDA0002157556280000041
满足属性P(x,y)的点即为种子点，其中U代表邻域，I为图像灰度，(x,y)为海面上的任一点，(xq,yq)为(x,y)的周围八邻域点，a为海水的灰度阈值，可以通过计算图像Otsu阈值选取；
步骤一二、根据选取的种子点进行区域生长，获取整个海面区域，取反则可获得整个陆地区域，取两者的交界线，即可获得海陆交界线，将海陆交界线进行形态学膨胀，从而获取海陆交界地带；
步骤一三、在海陆交界地带进行直线检测，如图3所示，可以认为该直线为舰船本身或舰船所停靠的码头，从而根据该直线角度旋转码头切片至水平，即可获得包含水平停放舰船的码头切片。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤二中对水平码头切片的光学遥感影像和SAR遥感影像进行联合形状分析，获取疑似舰船坐标，提取对应坐标的疑似舰船切片；具体过程为：
步骤二一、在旋转至水平的光学和SAR码头切片(如图4a、4b)上进行舰船目标检测，首先利用SAR影像经由非极大值抑制来快速确定显著性点(如图4c、4d)，然后对光学影像每个显著性点的x方向进行灰度分析，来寻找船头、船尾与海水的交界点(如图5a、5b)，从而获得舰船的横坐标；
步骤二二、再利用对SAR影像每个显著性点x方向左右各100个像素(以每个显著性点为中心，x方向左右各100个像素)(如图5c)对应的y方向的亮度值进行统计，从而获得y方向亮度曲线(如图5d、5e)，可以明显发现两艘并排紧密停靠的船只间隙有明显的亮度突变，在计算出海面平均亮度后，得到舰船与海水在y方向上的分界线，从而获得船身上下的纵坐标；
步骤二三、根据上述横纵坐标，标记回旋转至水平的光学和SAR码头切片即可提取出大量疑似舰船目标，如图6所述。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤三中提取疑似舰船切片的多源组合特征，经由预先训练好的单分类支持向量机，从而将疑似舰船分类为舰船目标和非舰船目标；具体过程为：
针对大量疑似舰船目标的光学与SAR切片，分别提取光学切片的几何特征、不变矩特征、梯度直方图特征以及SAR切片的几何特征、不变矩特征、散射特征，从而构造一个多特征融合向量，经由训练好的单分类支持向量机，实现舰船目标的检测。舰船检测结果如图7a、7b所示。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤四中对分类为舰船的目标，提取舰船的目标的光学切片，分别进行飞行甲板类型、船头尖角位置、船头轮廓类型、垂直发射装置位置共4个部位的检测，提取舰船的目标的SAR切片，进行舰桥位置共1个部位的检测；具体过程为：
为进一步区分形状、颜色各异的不同舰船型号，本发明针对光学和SAR影像的舰船切片，利用多种检测方法用于检测舰船的不同部位，最终结合飞行甲板、船头轮廓、垂直发射装置、舰桥的检测结果实现舰船型号识别的方法。不同型号舰船的部位分析图如图8所示；
步骤四一、基于特征点匹配方法实现对飞行甲板的检测；
步骤四二、基于轮廓提取方法获取船头轮廓类型、船头尖角位置；
步骤四三、基于亮度显著性方法获取舰桥、垂直发射装置位置。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤四一中基于特征点匹配方法实现对飞行甲板的检测；具体过程为：
考虑到各国舰船的飞行甲板形状、涂装各异，为此本发明研究针对驱逐舰及巡洋舰飞行甲板的识别。这两类美式军舰的飞行甲板位于舰船的尾部，外轮廓形状虽为梯形，但接近矩形状，梯形内部有圆形标识与两条线段，一条斜线穿过圆心，另一条直线则与圆形相切。
考虑到飞行甲板的独特形状，为此利用尺度不变特征变换(Scale-invariantfeature transform,SIFT)提取舰船目标的SIFT特征点；对飞行甲板正负样本切片，进行SIFT特征点提取如图9a、9b所示；
利用提取到的SIFT特征点，再基于词袋技术构建每个正负训练样本的特征向量，用来描述飞行甲板，然后将特征向量输入支持向量机(Support Vector Machine,SVM)分类器进行训练，得到训练好的SVM分类器；
在舰船目标上滑动窗口提取小切片，构建SIFT词袋特征，经由训练好的SVM分类器实现对飞行甲板的检测。部分舰船飞行甲板的检测结果如图10a、10b、10c所示。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述步骤四二中基于轮廓提取方法获取船头轮廓类型、船头尖角位置；具体过程为：
不同型号舰船的船头轮廓，有明显的形状和角度差异，为此本发明利用卷积滤波实现船头类型的识别。
首先需要获得舰船船头的轮廓，考虑到舰船目标甲板上的复杂建筑(如图11a所示)，可以通过Canny算子对舰船目标提取边缘影像(如图11b所示)，而该边缘影像能够覆盖整个舰船，对提取的边缘影像进行形态学处理(膨胀、腐蚀、孔洞填充)即获得舰船目标的二值影像(如图11c所示)，在对二值影像进行轮廓提取，获得舰船目标的外轮廓(如图11d所示)；
即使该方法无法完全消除船身处的阴影干扰，但可以比较完整的提取出船头外轮廓，并且使船身处大量的轮廓与陆地连接在一起，从而降低了舰船甲板上复杂建筑及其阴影所产生的轮廓对船头识别带来的影响。
利用预先训练好的不同型号的真实船头轮廓图(如图12a、12b所示)作为卷积算子，对获得舰船目标的外轮廓图进行卷积滤波，形成船头轮廓响应图(如图12c所示)，再经由阈值判断即可区分不同类型船头弧度的舰船，并且同时获得船头尖角的位置；
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述步骤四三中基于亮度显著性方法获取舰桥、垂直发射装置位置；具体过程为：
SAR影像中的舰船目标的像素亮度一般分为两类，由舰船的上层建筑(如舰桥等)角反射或点反射所引起的高亮度的像素点，以及由甲板等漫反射所引起的低亮度的像素点。因此舰船目标的表面结构由强峰和弱峰构成，其中强峰由亮度高的像素点组成，弱峰由亮度低的像素点组成。反应到在舰船目标的SAR切片中，即舰桥部位的亮度较高，因此本发明通过亮度显著图，实现SAR影像舰船舰桥部位的检测。亮度显著图的设计思想是整体影像中亮度分布少同时亮度大的像素，对应的显著值高。
步骤四三一、设I为输入的遥感影像的灰度图，尺寸为M×N，对于I中的像素
Figure BDA0002157556280000073
亮度显著图中任意一像素点的亮度显著值BBSMij的值为
Figure BDA0002157556280000071
其中，D(Iij,Imn)是像素Iij和像素Imn的绝对差值；
Figure BDA0002157556280000072
m、n、i、j为灰度图中某一点坐标值；
D(Iij,Imn)＝|Iij-Imn| (3)
最后得到的BBSMij即为每一像素点的亮度显著值，从而构成亮度显著图；
步骤四三二、对于SAR遥感影像先经过步骤四三一处理，获得亮度显著图，在经过阈值分割，从而得到显著性目标的二值影像，再筛选满足舰桥几何约束条件的连通域，取连通域中心坐标即获得亮度显著目标的中心坐标，即舰桥中心位置；
舰桥几何约束条件包括：阈值分割后得到的连通域紧凑度(即阈值分割后得到的连通域面积与阈值分割后得到的连通域最小外接矩形之比)小于0.8，阈值分割后得到的连通域面积大于500像素，小于2000像素，长宽比大于2；
在舰船的SAR影像切片上进行舰桥检测的实验结果如图13a、13b所示；
步骤四三三、对光学遥感影像先经过步骤四三一处理，获得亮度显著图，在经过阈值分割，从而得到显著性目标的二值影像，再筛选满足垂直发射装置几何约束条件的连通域，取连通域中心坐标即获得亮度显著目标的中心坐标，即垂直发射装置中心位置：
垂直发射装置几何约束条件包括：阈值分割后得到的连通域紧凑度(即阈值分割后得到的连通域面积与阈值分割后得到的连通域最小外接矩形之比)大于0.7，阈值分割后得到的连通域面积大于85像素，小于350像素，长宽比小于2.5。
在光学影像中，垂直发射系统的亮度与舰船甲板存在明显的差异，加之其形状成矩形状且大小基本一致，因此本发明也通过亮度显著性检测结合几何特征实现垂直发射系统的检测。利用该方法在舰船的光学影像切片上进行垂直发射系统检测的实验结果如图14a、14b所示。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述步骤五中根据获取的舰船长度、宽度信息，与检测得到的5个部位检测结果进行多属性融合的舰船型号识别；具体过程为：
本发明利用光学影像切片获得舰船的长度信息、飞行甲板类型、船头尖角位置、船头轮廓类型、垂直发射装置位置，利用SAR影像切片获得了舰船宽度信息、舰桥位置。根据上述7组部位检测结果，对每个部位的检测结果进行识别投票，将舰船分为驱逐舰、巡洋舰以及其它舰船总共三类，取投票结果累加值最大的一类作为舰船识别结果，实现型号识别。
针对长宽信息，考虑到驱逐舰的实际长度为153.7米，宽度为20.4米；巡洋舰长度为172.8米，宽度为16.8米，以及输入的光学和SAR遥感影像分辨率为0.5米。因此对于舰船长度，规定长度在285-325像素的舰船类型为驱逐舰，长度在326-366像素的舰船类型为巡洋舰，其它长度则为其它舰船；
对于舰船宽度，规定宽度在38-45像素的舰船类型为驱逐舰，宽度在30-37像素的舰船类型为巡洋舰，其它宽度则为其它舰船；
针对飞行甲板类型，检测到美式类型飞行甲板的舰船认为是驱逐舰或者巡洋舰，其他类型飞行甲板的舰船为其它舰船；
针对船头轮廓类型，根据预先训练的驱逐舰和巡洋舰的真实船头轮廓图，能够检测出驱逐舰船头轮廓的舰船认为是驱逐舰，能够检测出巡洋舰船头轮廓的舰船认为是巡洋舰，都不能检测出的认为是其它舰船；
针对船头尖角位置，利用对轮廓响应点进行非极大值抑制，获得轮廓响应的极大值点，即船头的中心点，从而获得船头尖角位置的坐标；由于之前舰船检测时已经获取船只前后端的横纵坐标，因此船头尖角位置的坐标和舰船前端的坐标若一致，则认为该舰船类型与船头轮廓类型一致，否则认为是其它舰船；
针对舰桥位置，根据它与船头的距离作为分类标准，其中舰桥与船头(舰船前端)的距离在115-160像素内认为是驱逐舰，在161-210像素内认为是巡洋舰，其它情况则认为是其它舰船；
针对垂直发射装置位置，也是根据它与船头的距离作为分类标准，前端垂直发射装置与船头的距离在60-80像素内认为是驱逐舰，在81-100像素内认为是巡洋舰，其它情况则认为是其它舰船；后端垂直发射装置与船头的距离在205-265像素内认为是驱逐舰，在266-325像素内认为是巡洋舰，其它情况则认为是其它舰船；其中前后端任取一个作为判断标准即可，这是由于部分舰船受阴影遮挡，只能检测出一个垂直发射装置，可根据检测出的坐标，判断是前端还是后端垂直发射装置。
表1舰船部位检测结果多属性融合投票准则
Figure BDA0002157556280000091
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，所述步骤六中基于步骤五取投票结果最大的一类作为舰船型号识别结果；具体过程为：
每个部位的检测结果都可以根据表1设定的准则，将舰船实现型号识别。但单一部位可能存在检测误差，造成类型识别结果出错，为此，根据表1本发明将舰船的部位检测结果分七次进行投票，取投票结果的最大值作为舰船类型识别结果。
其它步骤及参数与具体实施方式一至九之一相同。
采用以下实施例验证本发明的有益效果：
实验影像是从Google Earth上获取的光学影像以及从TerraSAR-X获取的SAR影像，异源影像的获取时刻相近，分辨率都是0.5米。共包含两个场景，港口1(影像共14988×12980像素)以及港口2(影像共11729×7865像素)。实验结果表明，舰船检测的召回率为91.43％，准确率为94.12％，舰船型号识别率为91.43％，具有较高的检测率和识别率。实验结果如图15a、15b和图16a、16b所示。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (1)

1.基于多源影像联合形状分析与多属性融合的目标识别方法，其特征在于：所述方法具体过程为：
步骤一、手动配准好光学遥感影像和SAR遥感影像，仅利用光学遥感影像进行直线检测，获取大量疑似舰船停靠码头的切片，并根据直线角度，旋转码头切片至水平；
步骤二、对水平码头切片的光学遥感影像和SAR遥感影像进行联合形状分析，获取疑似舰船坐标，即得到舰船长度、宽度信息，提取对应坐标的疑似舰船切片；
步骤三、提取疑似舰船切片的多源组合特征，经由预先训练好的单分类支持向量机，从而将疑似舰船分类为舰船目标和非舰船目标；
步骤四、对分类为舰船的目标，提取舰船目标的光学切片，分别进行飞行甲板类型、船头尖角位置、船头轮廓类型、垂直发射装置位置共4个部位的检测，提取舰船目标的SAR切片，进行舰桥位置共1个部位的检测；
步骤五、根据获取的舰船长度、宽度信息，与检测得到的5个部位检测结果进行多属性融合的舰船型号识别；
步骤六、基于步骤五取投票结果最大的一类作为舰船型号识别结果；
所述步骤一中手动配准好光学遥感影像和SAR遥感影像，仅利用光学影像进行直线检测，获取大量疑似舰船停靠码头的切片，并根据直线角度，旋转码头切片至水平；具体过程为：
步骤一一、手动配准好光学遥感影像和SAR遥感影像，在光学遥感影像上根据任意点周围灰度分布信息均匀的原则，选取海面上的种子点，种子点选取应满足下式：
Figure FDA0003924828900000011
满足属性P(x,y)的点即为种子点，其中U代表邻域，I为图像灰度，(x,y)为海面上的任一点，(xq,yq)为(x,y)的周围八邻域点，a为海水的灰度阈值；
步骤一二、根据选取的种子点进行区域生长，获取整个海面区域，取反则获得整个陆地区域，取两者的交界线，即可获得海陆交界线，将海陆交界线进行形态学膨胀，从而获取海陆交界地带；
步骤一三、在海陆交界地带进行直线检测，认为该直线为舰船本身或舰船所停靠的码头，从而根据该直线角度旋转码头切片至水平，即获得包含水平停放舰船的码头切片；
所述步骤二中对水平码头切片的光学遥感影像和SAR遥感影像进行联合形状分析，获取疑似舰船坐标，提取对应坐标的疑似舰船切片；具体过程为：
步骤二一、在旋转至水平的光学和SAR码头切片上进行舰船目标检测，首先利用SAR影像经由非极大值抑制确定显著性点，然后对光学影像每个显著性点的x方向进行灰度分析，来寻找船头、船尾与海水的交界点，从而获得舰船的横坐标；
步骤二二、再利用对SAR影像每个显著性点x方向左右各100个像素对应的y方向的亮度值进行统计，从而获得y方向亮度曲线，在计算出海面平均亮度后，得到舰船与海水在y方向上的分界线，从而获得船身上下的纵坐标；
步骤二三、根据横纵坐标，标记回旋转至水平的光学和SAR码头切片即提取出疑似舰船目标；
所述步骤三中提取疑似舰船切片的多源组合特征，经由预先训练好的单分类支持向量机，从而将疑似舰船分类为舰船目标和非舰船目标；具体过程为：
针对疑似舰船目标的光学与SAR切片，分别提取光学切片的几何特征、不变矩特征、梯度直方图特征以及SAR切片的几何特征、不变矩特征、散射特征，从而构造一个多特征融合向量，经由训练好的单分类支持向量机，实现舰船目标的检测；
所述步骤四中对分类为舰船的目标，提取舰船的目标的光学切片，分别进行飞行甲板类型、船头尖角位置、船头轮廓类型、垂直发射装置位置共4个部位的检测，提取舰船的目标的SAR切片，进行舰桥位置共1个部位的检测；具体过程为：
步骤四一、基于特征点匹配方法实现对飞行甲板的检测；
步骤四二、基于轮廓提取方法获取船头轮廓类型、船头尖角位置；
步骤四三、基于亮度显著性方法获取舰桥、垂直发射装置位置；
所述步骤四一中基于特征点匹配方法实现对飞行甲板的检测；具体过程为：
利用尺度不变特征变换提取舰船目标的SIFT特征点；
利用提取到的SIFT特征点，再基于词袋技术构建每个正负训练样本的特征向量，然后将特征向量输入支持向量机分类器进行训练，得到训练好的SVM分类器；
在舰船目标上滑动窗口提取小切片，构建SIFT词袋特征，经由训练好的SVM分类器实现对飞行甲板的检测；
所述步骤四二中基于轮廓提取方法获取船头轮廓类型、船头尖角位置；具体过程为：
通过Canny算子对舰船目标提取边缘影像，对提取的边缘影像进行形态学处理即获得舰船目标的二值影像，在对二值影像进行轮廓提取，获得舰船目标的外轮廓；
利用预先训练好的不同型号的真实船头轮廓图作为卷积算子，对获得舰船目标的外轮廓图进行卷积滤波，形成船头轮廓响应图，再经由阈值判断区分不同类型船头弧度的舰船，并且同时获得船头尖角的位置；
所述步骤四三中基于亮度显著性方法获取舰桥、垂直发射装置位置；具体过程为：
步骤四三一、设I为输入的遥感影像的灰度图，尺寸为M×N，对于I中的像素
Figure FDA0003924828900000033
亮度显著图中任意一像素点的亮度显著值BBSMij的值为
Figure FDA0003924828900000031
其中，D(Iij,Imn)是像素Iij和像素Imn的绝对差值；
Figure FDA0003924828900000032
m、n、i、j为灰度图中某一点坐标值；
D(Iij,Imn)＝|Iij-Imn| (3)
BBSMij为每一像素点的亮度显著值，从而构成亮度显著图；
步骤四三二、对于SAR遥感影像先经过步骤四三一处理，获得亮度显著图，在经过阈值分割，从而得到显著性目标的二值影像，再筛选满足舰桥几何约束条件的连通域，取连通域中心坐标即获得亮度显著目标的中心坐标，即舰桥中心位置；
舰桥几何约束条件包括：阈值分割后得到的连通域紧凑度小于0.8，阈值分割后得到的连通域面积大于500像素，小于2000像素，长宽比大于2；
步骤四三三、对光学遥感影像先经过步骤四三一处理，获得亮度显著图，在经过阈值分割，从而得到显著性目标的二值影像，再筛选满足垂直发射装置几何约束条件的连通域，取连通域中心坐标即获得亮度显著目标的中心坐标，即垂直发射装置中心位置：
垂直发射装置几何约束条件包括：阈值分割后得到的连通域紧凑度大于0.7，阈值分割后得到的连通域面积大于85像素，小于350像素，长宽比小于2.5；
所述步骤五中根据获取的舰船长度、宽度信息，与检测得到的5个部位检测结果进行多属性融合的舰船型号识别；具体过程为：
对于舰船长度，规定长度在285-325像素的舰船类型为驱逐舰，长度在326-366像素的舰船类型为巡洋舰，其它长度则为其它舰船；
对于舰船宽度，规定宽度在38-45像素的舰船类型为驱逐舰，宽度在30-37像素的舰船类型为巡洋舰，其它宽度则为其它舰船；
针对飞行甲板类型，检测到美式类型飞行甲板的舰船认为是驱逐舰或者巡洋舰，其他类型飞行甲板的舰船为其它舰船；
针对船头轮廓类型，根据预先训练的驱逐舰和巡洋舰的真实船头轮廓图，能够检测出驱逐舰船头轮廓的舰船认为是驱逐舰，能够检测出巡洋舰船头轮廓的舰船认为是巡洋舰，都不能检测出的认为是其它舰船；
针对船头尖角位置，利用对轮廓响应点进行非极大值抑制，获得轮廓响应的极大值点，即船头的中心点，从而获得船头尖角位置的坐标；船头尖角位置的坐标和舰船前端的坐标若一致，则认为该舰船类型与船头轮廓类型一致，否则认为是其它舰船；
针对舰桥位置，舰桥与船头的距离在115-160像素内认为是驱逐舰，在161-210像素内认为是巡洋舰，其它情况则认为是其它舰船；
针对垂直发射装置位置，前端垂直发射装置与船头的距离在60-80像素内认为是驱逐舰，在81-100像素内认为是巡洋舰，其它情况则认为是其它舰船；后端垂直发射装置与船头的距离在205-265像素内认为是驱逐舰，在266-325像素内认为是巡洋舰，其它情况则认为是其它舰船；其中前后端任取一个作为判断标准即可；
所述步骤六中基于步骤五取投票结果最大的一类作为舰船型号识别结果；具体过程为：
将舰船的部位检测结果分七次进行投票，取投票结果的最大值作为舰船类型识别结果。
CN201910722047.1A 2019-08-06 2019-08-06 基于多源影像联合形状分析与多属性融合的目标识别方法 Active CN110443201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910722047.1A CN110443201B (zh) 2019-08-06 2019-08-06 基于多源影像联合形状分析与多属性融合的目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910722047.1A CN110443201B (zh) 2019-08-06 2019-08-06 基于多源影像联合形状分析与多属性融合的目标识别方法

Publications (2)

Publication Number Publication Date
CN110443201A CN110443201A (zh) 2019-11-12
CN110443201B true CN110443201B (zh) 2023-01-10

Family

ID=68433485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910722047.1A Active CN110443201B (zh) 2019-08-06 2019-08-06 基于多源影像联合形状分析与多属性融合的目标识别方法

Country Status (1)

Country Link
CN (1) CN110443201B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666801A (zh) * 2020-01-17 2020-09-15 电子科技大学 一种大场景sar图像舰船目标检测方法
CN111931833B (zh) * 2020-07-30 2022-08-12 上海卫星工程研究所 一种基于多源数据驱动的天基多维信息融合方法及系统
CN113538536B (zh) * 2021-07-21 2022-06-07 中国人民解放军国防科技大学 一种sar图像信息辅助的遥感光学图像浓云检测方法及系统
CN115620172B (zh) * 2022-12-21 2023-04-11 中国电子科技集团公司第十四研究所 一种基于跨域多特征海上舰船目标智能化综合识别方法
CN117788808B (zh) * 2024-02-28 2024-05-03 南京航空航天大学 弱小目标移动舰船尾迹与舰船分离的定位检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
US8437509B1 (en) * 2011-11-16 2013-05-07 The United States Of America As Represented By The Secretary Of The Navy System and method for inferring vessel speed from overhead images
CN105427304A (zh) * 2015-11-19 2016-03-23 北京航空航天大学 基于多种特征联合的目标sar图像和光学图像配准方法
CN106485722A (zh) * 2016-09-21 2017-03-08 北京航天宏图信息技术股份有限公司 一种遥感影像中靠港舰船检测方法
CN108764016A (zh) * 2018-03-31 2018-11-06 中国人民解放军国防科技大学 基于旋转域特征与cnn的极化sar图像舰船检测方法
CN108957453A (zh) * 2018-07-23 2018-12-07 航天恒星科技有限公司 一种基于多目标跟踪的高精度动目标成像及识别方法
CN109359557A (zh) * 2018-09-25 2019-02-19 东北大学 一种基于迁移学习的sar遥感图像舰船检测方法
CN109766811A (zh) * 2018-12-31 2019-05-17 复旦大学 一种星载sar图像中海面船只的端到端检测与识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760634B2 (en) * 2011-10-28 2014-06-24 Lockheed Martin Corporation Optical synthetic aperture radar

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8437509B1 (en) * 2011-11-16 2013-05-07 The United States Of America As Represented By The Secretary Of The Navy System and method for inferring vessel speed from overhead images
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
CN105427304A (zh) * 2015-11-19 2016-03-23 北京航空航天大学 基于多种特征联合的目标sar图像和光学图像配准方法
CN106485722A (zh) * 2016-09-21 2017-03-08 北京航天宏图信息技术股份有限公司 一种遥感影像中靠港舰船检测方法
CN108764016A (zh) * 2018-03-31 2018-11-06 中国人民解放军国防科技大学 基于旋转域特征与cnn的极化sar图像舰船检测方法
CN108957453A (zh) * 2018-07-23 2018-12-07 航天恒星科技有限公司 一种基于多目标跟踪的高精度动目标成像及识别方法
CN109359557A (zh) * 2018-09-25 2019-02-19 东北大学 一种基于迁移学习的sar遥感图像舰船检测方法
CN109766811A (zh) * 2018-12-31 2019-05-17 复旦大学 一种星载sar图像中海面船只的端到端检测与识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
中低分辨率遥感影像舰船目标识别方法;刘星璇等;《舰船电子工程》;20180620(第06期);21-25 *
基于Faster-RCNN和多分辨率SAR的海上舰船目标检测;胡炎等;《无线电工程》;20180205(第02期);96-100 *
高分辨率SAR与光学图像中目标融合检测方法;雷琳等;《系统工程与电子技术》;20070615(第06期);844-847 *

Also Published As

Publication number Publication date
CN110443201A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110443201B (zh) 基于多源影像联合形状分析与多属性融合的目标识别方法
Zhang et al. S-CNN-based ship detection from high-resolution remote sensing images
CN109583293B (zh) 星载sar图像中的飞机目标检测与鉴别方法
Musman et al. Automatic recognition of ISAR ship images
CN109815807B (zh) 一种基于边缘线分析和聚合通道特征的靠岸船舶检测方法
CN111626290A (zh) 一种复杂海面环境下的红外舰船目标检测识别方法
CN110287898B (zh) 一种光学卫星遥感影像云检测方法
Mattyus Near real-time automatic marine vessel detection on optical satellite images
CN108229433B (zh) 一种基于直线段检测和形状特征的靠岸舰船检测方法
CN103020975A (zh) 一种结合多源遥感图像特征的码头和船舶分割方法
CN105022990A (zh) 一种基于无人艇应用的水面目标快速检测方法
CN108021890B (zh) 一种基于plsa和bow的高分遥感影像港口检测方法
CN108830224B (zh) 一种基于深度学习的高分辨率遥感影像舰船目标检测方法
CN110428425B (zh) 一种基于海岸线矢量数据的sar图像海陆分离方法
CN103606154B (zh) 基于jseg和谱聚类的多尺度海面溢油sar图像分割方法
CN107862271B (zh) 一种舰船目标的检测方法
CN107909002B (zh) 基于海岸线匹配的红外遥感图像海陆分割方法
CN108229342A (zh) 一种海面舰船目标自动检测方法
CN110807424B (zh) 一种基于航拍图像的港口船舶比对方法
CN106803078B (zh) 一种sar图像舰船目标分割方法
CN116109936B (zh) 基于光学遥感的目标检测与识别方法
CN106815553A (zh) 一种基于边缘匹配的红外前视图像舰船检测方法
CN110298855B (zh) 一种基于高斯混合模型和纹理分析的海天线检测方法
CN106709523B (zh) 一种基于s-hog特征的光学遥感图像船识别方法
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant