CN113781386A - 一种基于多源遥感图像显著度模糊融合的舰船检测方法 - Google Patents

一种基于多源遥感图像显著度模糊融合的舰船检测方法 Download PDF

Info

Publication number
CN113781386A
CN113781386A CN202110488733.4A CN202110488733A CN113781386A CN 113781386 A CN113781386 A CN 113781386A CN 202110488733 A CN202110488733 A CN 202110488733A CN 113781386 A CN113781386 A CN 113781386A
Authority
CN
China
Prior art keywords
image
pixel
fuzzy
remote sensing
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110488733.4A
Other languages
English (en)
Other versions
CN113781386B (zh
Inventor
李刚
朱冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110488733.4A priority Critical patent/CN113781386B/zh
Publication of CN113781386A publication Critical patent/CN113781386A/zh
Application granted granted Critical
Publication of CN113781386B publication Critical patent/CN113781386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于多源遥感图像显著度模糊融合的舰船检测方法，属于图像处理方法与多源传感器融合应用领域。该方法首先从多源传感器获取多张遥感图像，对每张遥感图像通过计算该图像的多阶超像素级显著度特征生成对应的全局区域对比度图像；然后利用基于区域特征的模糊逻辑方法对每张全局区域对比度图像进行处理，实现多源遥感图像的多阶超像素级显著度特征融合，生成一张融合图像；对该融合图像进行取阈值操作，通过阈值判定生成该融合图像对应的二值图像，得到舰船目标检测的最终结果。本发明有效增强了目标区域并减小了误警概率，提高了融合图像的信杂比和目标检测性能，对实际的舰船目标检测任务具有重要意义。

Description

一种基于多源遥感图像显著度模糊融合的舰船检测方法
技术领域
本发明属于图像处理方法与多源传感器融合应用领域，具体地，涉及一种基于多源遥感图像显著度模糊融合的舰船检测方法。
背景技术
舰船目标检测是图像处理的重要应用之一，精确的舰船检测对于海洋安全、渔业监控、海事交通等领域具有重要意义。目前基于单传感器图像的舰船目标检测具有其自身的局限性，特别是在处理近岸干扰严重、目标结构复杂等场景时，这些单传感器图像处理方法的目标检测性能将出现明显的恶化。一种有效的方案是利用多源传感器图像进行融合处理，以提高图像质量和检测性能，但是针对具体的舰船检测应用，现有多源传感器图像融合方法的效果并不理想。因此，基于多源遥感图像融合的思路，有必要研究能够同时实现舰船目标增强和背景(包括海杂波、近岸干扰等)抑制的舰船检测方法，提高图像融合质量和舰船目标检测性能。
发明内容
本发明的目的是为克服已有技术的不足之处，提出一种基于多源遥感图像显著度模糊融合的舰船检测方法。本发明可同时实现舰船目标增强和背景(包括海杂波、近岸干扰等) 抑制，以提高图像融合质量和舰船目标检测性能。
本发明提出一种基于多源遥感图像显著度模糊融合的舰船检测方法，其特征在于，该方法首先从多源传感器获取多张遥感图像，对每张遥感图像通过计算该图像的多阶超像素级显著度特征生成对应的全局区域对比度图像；然后利用基于区域特征的模糊逻辑方法对每张全局区域对比度图像进行处理，实现多源遥感图像的多阶超像素级显著度特征融合，生成一张融合图像；对该融合图像进行取阈值操作，通过阈值判定生成该融合图像对应的二值图像，得到舰船目标检测的最终结果。该方法包括以下步骤：
(1)获取多源遥感图像，通过挖掘多源遥感图像的多阶超像素级显著度特征，生成对应的全局区域对比度图像；具体步骤如下：
(1-1)通过多源传感器获取多幅遥感图像，对每幅遥感图像提取兴趣区域并配准后得到该遥感图像对应的原始图像，将第s张遥感图像对应的原始图像记为Is，其中下标s∈{1，2，…，S}，S≥2表示多源传感器获取的遥感图像的数量；
(1-2)利用基于边缘信息的形态学对各原始图像进行处理生成对应的候选图像：
Figure RE-GDA0003322768160000021
式中，ε(Is)为原始图像Is的二值边缘图像；
Figure RE-GDA0003322768160000022
为形态学闭操作；SEs为对ε(Is)进行形学闭操作的结构元素；
(1-3)对每张候选图像进行超像素分割，根据分割的结果将对应的原始图像分成多个超像素，得到该候选图像对应的原始图像的各超像素区域；
记对任一候选图像Cs进行超像素分割后，根据分割结果得到的原始图像Is超像素区域表示为rl，l＝1，2，…，L，，其中，L为候选图像Cs超像素分割的个数；
(1-4)生成每张原始图像对应的全局区域对比度图像；
对于原始图像Is，其对应的全局区域对比度图像生成方法如下：
(1-4-1)根据每一个超像素区域rl，l＝1，2，…，L，计算对应的一阶显著度值P1(rl)和二阶显著度值P2(rl)，表达式如下：
Figure RE-GDA0003322768160000023
式中下标u表示显著度的阶数；wsize(rl′)表示第l′个超像素rl′的尺寸权重：
Figure RE-GDA0003322768160000024
式中，
Figure RE-GDA0003322768160000025
表示超像素rl′中的像素数量，
Figure RE-GDA0003322768160000026
表示超像素rl中的像素数量；wspatial(rl′，rl)表示空间距离权重：
Figure RE-GDA0003322768160000027
式中，dspatial(rl′，rl)表示超像素rl′和超像素rl几何中心之间的欧氏距离，σspatial表示空间距离权重强度的控制参数；Du(rl′，rl)表示超像素rl′和超像素rl之间的第u阶颜色距离，u＝1，2；
D1(rl′，rl)＝|mean(I(rl′))-mean(I(rl))|
D2(rl′，rl)＝|std(I(rl′))-std(I(rl))|
式中，mean(I(rl))表示超像素区域rl中的像素强度均值，std(I(rl))表示超像素区域rl中的像素强度标准差；
(1-4-2)利用步骤(1-4-1)得到的一阶显著度值P1(rl)和二阶显著度值P2(rl)生成各超像素区域最终的显著度值：
P(rl)＝max{P1(rl)，P2(rl)}
(1-4-3)生成原始图像Is对应的全局区域对比度图像Ps；Ps中各位置的像素强度值计算方法如下：
Ps(m，n)＝P(rl)，if(m，n)∈rl
式中，(m，n)表示像素坐标，m＝1，2，…，M，n＝1，2，…，N，Ps(m，n)代表Ps中坐标(m，n) 处的像素强度值；M表示Ps中长边的像素个数，N表示Ps中宽边的像素个数，M×N代表Ps中像素的总数量；
(2)利用基于区域特征的模糊逻辑方法对步骤(1)生成的全局区域对比度图像进行处理，实现多源遥感图像的多阶超像素级显著度特征融合；具体步骤如下：
(2-1)基于每张全局区域对比度图像Ps的强度直方图分布特征定义对应的三个模糊集合表示为：
Figure RE-GDA0003322768160000031
其中，
Figure RE-GDA0003322768160000032
表示该Ps中高显著度对应的模糊集合，
Figure RE-GDA0003322768160000033
表示该Ps中中显著度对应的模糊集合，
Figure RE-GDA0003322768160000034
表示该Ps中低显著度对应的模糊集合；
构造输入模糊隶属度函数：
Figure RE-GDA0003322768160000035
Figure RE-GDA0003322768160000036
Figure RE-GDA0003322768160000037
式中
Figure RE-GDA0003322768160000038
表示模糊集合
Figure RE-GDA00033227681600000313
的隶属度函数，
Figure RE-GDA0003322768160000039
表示模糊集合
Figure RE-GDA00033227681600000310
的隶属度函数，
Figure RE-GDA00033227681600000311
表示模糊集合
Figure RE-GDA00033227681600000312
的隶属度函数，x表示Ps中的任一像素强度值，{lin，l′in，m′in，h′in，hin} 表示输入模糊隶属度函数的参数；
其中输入模糊隶属度函数的参数{lin，l′in，m′in，h′in，hin}设置为：
Figure RE-GDA0003322768160000041
式中c1，c2，c3分别表示该Ps的低显著度范围中心、中等显著度范围中心和高显著度范围中心；Δlin和Δhin为正数；
(2-2)利用多源遥感图像的观测特点构造模糊融合规则：
Figure RE-GDA0003322768160000042
式中Rq表示第q条模糊准则，q＝1，2，…，Q，Q＝3S表示模糊准则的数量；
Figure RE-GDA0003322768160000043
表示输出模糊集合，k∈{L，M，H}，H代表高显著度、M代表中等显著度、L代表低显著度；
Figure RE-GDA0003322768160000044
包含图像Ps对应的
Figure RE-GDA0003322768160000045
三个模糊集合；
构造输出模糊隶属度函数：
Figure RE-GDA0003322768160000046
Figure RE-GDA0003322768160000047
Figure RE-GDA0003322768160000048
式中，
Figure RE-GDA0003322768160000049
为低显著度输出模糊隶属度函数，
Figure RE-GDA00033227681600000410
为中等显著度输出模糊隶属度函数，
Figure RE-GDA00033227681600000411
为高显著度输出模糊隶属度函数，
Figure RE-GDA00033227681600000412
表示输出模糊隶属度函数的参数；
(2-3)根据构造的模糊隶属度函数和模糊融合准则，对每张全局区域对比度图像Ps进行处理，选取聚合算子和解模糊算子，实现多源遥感图像的多阶超像素级显著度特征融合，最终生成一张融合图像Pf：
Pf(m，n)＝ymn
式中，Pf(m，n)代表Pf中该坐标(m，n)处的像素值，ymn表示模糊融合后(m，n)处的像素强度值，m＝1，2，…，M，n＝1，2，…，N；
(3)利用步骤(2)得到的融合图像进行取阈值操作，实现舰船目标检测；具体步骤如下：
(3-1)基于融合图像Pf的强度直方图分布特征选取分割阈值th；
(3-2)根据选取的分割阈值th对融合图像Pf进行二值分割：当Pf中任一位置的像素强度值大于th时，判定该位置在二值图像中像素强度值为1；否则判定为0；
对Pf中所有位置的像素强度值判定完毕后，最终得到的二值图像即为最终的目标检测图像，实现舰船目标的检测。
本发明的特点及有益效果在于：
本发明提出的一种基于多源遥感图像显著度模糊融合的舰船检测方法，首先通过挖掘多源遥感图像的多阶超像素级显著度特征，生成对应的全局区域对比度图像，以提取舰船目标区域并抑制杂波、近岸干扰等背景区域；然后，利用基于区域特征的模糊逻辑方法对生成的全局区域对比度图像进行处理，实现多源遥感图像的多阶超像素级显著度特征融合，以进一步增强舰船目标区域并滤除近岸干扰区域；最后，利用得到的融合图像进行取阈值操作，实现舰船目标检测。该舰船检测方法有效增强了目标区域并减小了误警概率，提高了融合图像的信杂比和目标检测性能，对实际的舰船目标检测任务具有重要意义。
附图说明
图1是本发明提出的一种基于多源遥感图像显著度模糊融合的舰船检测方法的流程图；
图2是本发明实施例中星载合成孔径雷达图像和机载合成孔径雷达图像；
图3是本发明实施例中星载合成孔径雷达图像和机载合成孔径雷达图像对应的候选图像；
图4是本发明实施例中星载合成孔径雷达图像和机载合成孔径雷达图像的超像素分割示意图；
图5是本发明实施例中星载合成孔径雷达图像和机载合成孔径雷达图像的全局区域对比度图像；
图6是本发明实施例中多源遥感图像的融合图像；
图7是本发明实施例中融合图像的像素强度直方图；
图8是本发明实施例中舰船目标的检测图像。
具体实施方式
为了有效增强目标区域并减小误警概率，提高融合图像质量和目标检测性能，本发明提出了一种基于多源遥感图像显著度模糊融合的舰船检测方法。为了使本发明的目的、技术方案及优点更加清楚明白，接下来结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提出一种基于多源遥感图像显著度模糊融合的舰船检测方法，该方法首先从多源传感器获取多张遥感图像，对每张遥感图像通过计算该图像的多阶超像素级显著度特征生成对应的全局区域对比度图像；然后利用基于区域特征的模糊逻辑方法对每张全局区域对比度图像进行处理，实现多源遥感图像的多阶超像素级显著度特征融合，生成一张融合图像；对该融合图像进行取阈值操作，通过阈值判定生成该融合图像对应的二值图像，得到舰船目标检测的最终结果。该方法整体流程如图1所示，包括以下步骤：
(1)获取多源遥感图像，通过挖掘多源遥感图像的多阶超像素级显著度特征，生成对应的全局对比度图像，以提取舰船目标区域并抑制杂波、近岸干扰等背景区域。具体步骤如下：
(1-1)通过多源传感器获取多幅遥感图像，对每幅遥感图像提取兴趣区域并配准后得到该遥感图像对应的原始图像，将第s张遥感图像对应的原始图像记为Is，其中下标 s∈{1，2，…，S}，S≥2表示多源传感器获取的遥感图像的数量；
(1-2)利用基于边缘信息的形态学对各原始图像进行处理生成对应的候选图像：
Figure RE-GDA0003322768160000061
式中，Is为第s张原始图像，下标s∈{1，2，…，S}，S表示多源遥感图像的数量；ε(Is)为原始图像Is的二值边缘图像；
Figure RE-GDA0003322768160000062
为形态学闭操作；SEs为对ε(Is)进行形态学闭操作的结构元素；
(1-3)对每张候选图像进行超像素分割，根据分割的结果将对应的原始图像分成多个超像素，得到该候选图像对应的原始图像的各超像素区域；
记对任一候选图像Cs进行超像素分割后，根据分割结果得到的原始图像Is超像素区域表示为rl，l＝1，2，…，L，，其中，L为候选图像Cs超像素分割的个数；对于不同的Cs，L取值可不同。
(1-4)生成每张原始图像对应的全局区域对比度图像；
对于原始图像Is，其对应的全局区域对比度图像生成方法如下：
(1-4-1)根据每一个超像素区域rl(l＝1，2，…，L)，计算对应的一阶显著度值P1(rl)和二阶显著度值P2(rl)，表达式如下：
Figure RE-GDA0003322768160000071
式中下标u表示显著度的阶数；wsize(rl′)表示第l′个超像素rl′(l′＝1，2，…，L)的尺寸权重：
Figure RE-GDA0003322768160000072
式中，
Figure RE-GDA0003322768160000073
表示超像素rl′中的像素数量，
Figure RE-GDA0003322768160000074
表示超像素rl中的像素数量；wspatial(rl′，rl)表示空间具体权重：
Figure RE-GDA0003322768160000075
式中，dspatial(rl′，rl)表示超像素rl′和超像素rl几何中心之间的欧氏距离，σspatial表示空间距离权重强度的控制参数；Du(rl′，rl)(u＝1，2)表示超像素rl′和超像素rl之间的第u阶颜色距离(或对比度)：
D1(rl′，rl)＝|mean(I(rl′))-mean(I(rl))|
D2(rl′，rl)＝|std(I(rl′))-std(I(rl))|
式中，mean(I(rl))表示超像素区域rl中的像素强度均值，std(I(rl))表示超像素区域rl中的像素强度标准差；
(1-4-2)利用步骤(1-4-1)得到的一阶显著度值P1(rl)和二阶显著度值P2(rl)生成各超像素区域最终的显著度值：
P(rl)＝max{P1(rl)，P2(rl)}
(1-4-3)生成原始图像Is对应的全局区域对比度图像Ps；Ps中各位置的像素强度值计算方法如下：
Ps(m，n)＝P(rl)，if(m，n)∈rl
式中，(m，n)表示像素坐标，m＝1，2，…，M，n＝1，2，…，N，Ps(m，n)代表Ps中坐标(m，n) 处的像素强度值；M表示Ps中长边的像素个数，N表示Ps中宽边的像素个数，M×N代表 Ps中像素的总数量；
(2)利用基于区域特征的模糊逻辑方法对步骤(1)生成的全局区域对比度图像进行处理，实现多源遥感图像的多阶超像素级显著度特征融合，以进一步增强舰船目标区域并滤除近岸干扰区域。具体步骤如下：
(2-1)基于每张全局区域对比度图像Ps(s＝1，2，…，S)的强度直方图分布特征定义三个语义变量：“高显著度”H、“中等显著度”M、“低显著度”L，以表示该Ps中像素强度的范围，对应的模糊集合可以表示为：
Figure RE-GDA0003322768160000081
其中，
Figure RE-GDA0003322768160000082
表示该Ps中“高显著度”对应的模糊集合，
Figure RE-GDA0003322768160000083
表示该Ps中“中显著度”对应的模糊集合，
Figure RE-GDA0003322768160000084
表示该Ps中“低显著度”对应的模糊集合。对每一张Ps均要划分出该三个模糊集合。
构造输入模糊隶属度函数：
Figure RE-GDA0003322768160000085
Figure RE-GDA0003322768160000086
Figure RE-GDA0003322768160000087
式中
Figure RE-GDA0003322768160000088
表示模糊集合
Figure RE-GDA0003322768160000089
(或“低显著度”范围)的隶属度函数，
Figure RE-GDA00033227681600000810
表示模糊集合
Figure RE-GDA00033227681600000811
(或“中等显著度”范围)的隶属度函数，
Figure RE-GDA00033227681600000812
表示模糊集合
Figure RE-GDA00033227681600000813
(或“高显著度”范围)的隶属度函数，x表示每张Ps的任一像素强度值，{lin，l′in，m′in，h′in，hin}表示输入模糊隶属度函数的参数，lin＞l′in，hin＜h′in，l′in＜m′in＜h′in；(其中，每张Ps取值都有自己对应的一组参数值。)
其中输入模糊隶属度函数的参数{lin，l′in，m′in，h′in，hin}设置为：
Figure RE-GDA00033227681600000814
式中c1，c2，c3分别表示该Ps的低显著度范围中心、中等显著度范围中心和高显著度范围中心，其值可以通过对该Ps的像素强度值进行K-means聚类算法确定；Δlin和Δhin表示两个数值较小的正数，以保证的输入模糊隶属度函数之间的相互覆盖特性。
(2-2)利用多源遥感图像的观测特点构造模糊融合规则：
Figure RE-GDA00033227681600000815
式中Rq表示第q条模糊准则，q＝1，2，…，Q，
Figure RE-GDA00033227681600000816
表示输出模糊集合，k∈{L，M，H}， Q＝3S表示模糊准则的数量，S表示多源遥感图像的数量；
Figure RE-GDA00033227681600000817
包含图像Ps对应的
Figure RE-GDA00033227681600000818
三个模糊集合；
构造输出模糊隶属度函数：
Figure RE-GDA0003322768160000091
Figure RE-GDA0003322768160000092
Figure RE-GDA0003322768160000093
式中，
Figure RE-GDA0003322768160000094
为低显著度输出模糊隶属度函数，
Figure RE-GDA0003322768160000095
为中等显著度输出模糊隶属度函数，
Figure RE-GDA0003322768160000096
为高显著度输出模糊隶属度函数，
Figure RE-GDA0003322768160000097
表示输出模糊隶属度函数的参数；
(2-3)根据构造的模糊隶属度函数和模糊融合准则，对每张全局区域对比度图像Ps(s＝1，2，…，S)进行处理，选取合适的聚合算子和解模糊算子，实现多源遥感图像的多阶超像素级显著度特征融合，最终生成一张融合图像Pf：
Pf(m，n)＝ymn
式中，Pf(m，n)代表Pf中该坐标(m，n)处的像素值，ymn表示模糊融合后(m，n)处的像素强度值，m＝1，2，…，M，n＝1，2，…，N。
(3)利用步骤(2)得到的融合图像进行取阈值操作，实现舰船目标检测。具体步骤如下：
(3-1)基于融合图像Pf的强度直方图分布特征选取合适的分割阈值th(可通过最优全局阈值处理或其他方法获得该阈值)；
(3-2)根据选取的分割阈值th对融合图像Pf进行二值分割：当Pf中任一位置的像素强度值大于th时，判定该位置在二值图像中像素强度值为1；否则判定为0；
对Pf中所有位置的像素强度值判定完毕后，最终得到的二值图像即为最终的目标检测图像，实现舰船目标的检测。
本发明通过首先挖掘多源遥感图像的多阶超像素级显著度特征，生成对应的全局区域对比度图像，以提取舰船目标区域并抑制杂波、近岸干扰等背景区域；然后，利用基于区域特征的模糊逻辑方法对生成的全局区域对比度图像进行处理，实现多源遥感图像的多阶超像素级显著度特征融合，以进一步增强舰船目标区域并滤除近岸干扰区域；最后，利用得到的融合图像进行取阈值操作，实现舰船目标检测。
下面结合一个具体实施例对本发明进一步详细说明如下：
本实施例提出一种基于多源遥感图像显著度模糊融合的舰船检测方法，具体实施步骤如下：
(1)获取多源遥感图像，挖掘多源遥感图像的多阶超像素级显著度特征，生成对应的全局区域对比度图像，以提取舰船目标区域并抑制杂波、近岸干扰等背景区域。
(1-1)本实施例利用高分3号卫星采集的星载合成孔径雷达图像和无人机采集的机载合成孔径雷达图像作为多源遥感图像，对两幅图像提取兴趣区域并配准后，分别生成对应的原始图像记为I1和I2，该两幅原始图像分别如图2(a)和图2(b)所示。
(1-2)利用基于边缘信息的形态学对各原始图像进行处理生成对应的候选图像：
Figure RE-GDA0003322768160000101
式中Is为第s张原始遥感图像，本实施例下标s∈{1，2}，ε(Is)为原始图像Is的二值边缘图像；
Figure RE-GDA0003322768160000102
为形态学闭操作，SEs为为对ε(Is)形态学闭操作
Figure RE-GDA0003322768160000103
的结构元素。本实施例原始图像I1和I2对应的候选图像表示为C1和C2，分别如图3(a)和图3(b)所示。
(1-3)对候选图像C1和C2进行超像素分割，根据分割的结果将原始图像I1和I2分成多个超像素，本实施例分割结果分别如图4(a)和图4(b)所示。
(1-4)计算每个超像素区域的多阶显著度值，获得多源遥感图像的全局区域对比度图像P1和P2，分别如图5(a)和图5(b)所示。
(2)利用基于区域特征的模糊逻辑方法对生成的全局区域对比度图像P1和P2进行处理，实现多源遥感图像的多阶超像素级显著度特征融合，以进一步增强舰船目标区域并滤除近岸干扰区域。具体步骤如下：
(2-1)基于每张全局区域对比度图像Ps(s＝1，2)的强度直方图分布特征构造输入模糊隶属度函数，其中输入模糊隶属度函数的参数{lin，l′in，m′in，h′in，hin}设置为：
Figure RE-GDA0003322768160000104
式中c1，c2，c3分别表示低显著度范围中心、中等显著度范围中心和高显著度范围中心，其值可以通过K-means聚类算法确定；Δlin和Δhin表示两个数值较小的正数，以保证的输入模糊隶属度函数之间的相互覆盖特性。
(2-2)利用星载和机载遥感图像的观测特点构造模糊融合规则：
Figure RE-GDA0003322768160000111
式中Rq表示第q条模糊准则，q＝1，2，…，Q，
Figure RE-GDA0003322768160000112
表示输出模糊集合，k∈{L，M，H}，Q＝9 表示模糊准则的数量。在本实施例中，考虑到机载遥感图像比星载遥感图像具有更高的空间分辨率，且其获取时间晚于星载遥感图像(表明机载遥感图像中的目标信息更加可靠)，构造的模糊融合准则如下表所示，其中
Figure RE-GDA0003322768160000113
分别对应机载遥感图像和星载遥感图像。
表1本实施例中模糊融合准则表
Figure RE-GDA0003322768160000114
构造输出模糊隶属度函数，其中输出模糊隶属度函数的参数
Figure RE-GDA0003322768160000116
设置为：
Figure RE-GDA0003322768160000115
上述设置的参数能够保证输出模糊隶属度函数之间的相互覆盖特性。
(2-3)根据构造的模糊隶属度函数和模糊融合准则，对全局区域对比度图像 Ps(s＝1，2)进行处理，选取合适的聚合算子(例如最大-最小算子)和解模糊算子(例如质心解模糊算子)，实现多源遥感图像的多阶超像素级显著度特征融合，生成最后的融合图像Pf：
Pf(m，n)＝ymn
式中，Pf(m，n)代表Pf中该坐标(m，n)处的像素值，ymn表示模糊融合后(m，n)处的像素强度值，m＝1，2，…，M，n＝1，2，…，N。在本实施例中，获得的融合图像Pf如图6所示。
(3)利用步骤(2)得到的融合图像Pf进行取阈值操作，实现舰船目标检测。
(3-1)基于融合图像Pf的强度直方图(如图7所示)分布特征选取合适的分割阈值th ＝0.2。
(3-2)根据选取的分割阈值th对融合图像Pf进行二值分割：当Pf中任一位置的像素强度值大于th时，判定该位置在二值图像中像素强度值为1；否则判定为0；对Pf中所有位置的像素强度值判定完毕后，最终得到的二值图像即为最终的目标检测图像，如图8所示，最终实现舰船目标的检测。
本发明提供的实施例中，获得的融合图像Pf很好地增强了舰船目标区域并抑制了海杂波、近岸干扰等背景区域，将融合图像Pf用于舰船目标检测任务，能够提高目标检测性能。
本领域的技术人员容易理解，以上所述仅为本发明的一个实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于多源遥感图像显著度模糊融合的舰船检测方法，其特征在于，该方法首先从多源传感器获取多张遥感图像，对每张遥感图像通过计算该图像的多阶超像素级显著度特征生成对应的全局区域对比度图像；然后利用基于区域特征的模糊逻辑方法对每张全局区域对比度图像进行处理，实现多源遥感图像的多阶超像素级显著度特征融合，生成一张融合图像；对该融合图像进行取阈值操作，通过阈值判定生成该融合图像对应的二值图像，得到舰船目标检测的最终结果。
2.如权利要求1所述的方法，其特征在于，该方法包括以下步骤：
(1)获取多源遥感图像，通过挖掘多源遥感图像的多阶超像素级显著度特征，生成对应的全局区域对比度图像；具体步骤如下：
(1-1)通过多源传感器获取多幅遥感图像，对每幅遥感图像提取兴趣区域并配准后得到该遥感图像对应的原始图像，将第s张遥感图像对应的原始图像记为Is，其中下标s∈{1,2,…,S}，S≥2表示多源传感器获取的遥感图像的数量；
(1-2)利用基于边缘信息的形态学对各原始图像进行处理生成对应的候选图像：
Figure FDA0003051488110000011
式中，ε(Is)为原始图像Is的二值边缘图像；
Figure FDA0003051488110000012
为形态学闭操作；SEs为对ε(Is)进行形学闭操作的结构元素；
(1-3)对每张候选图像进行超像素分割，根据分割的结果将对应的原始图像分成多个超像素，得到该候选图像对应的原始图像的各超像素区域；
记对任一候选图像Cs进行超像素分割后，根据分割结果得到的原始图像Is超像素区域表示为rl，l＝1,2,…,L，，其中，L为候选图像Cs超像素分割的个数；
(1-4)生成每张原始图像对应的全局区域对比度图像；
对于原始图像Is，其对应的全局区域对比度图像生成方法如下：
(1-4-1)根据每一个超像素区域rl，l＝1，2，…,L，计算对应的一阶显著度值P1(rl)和二阶显著度值P2(rl)，表达式如下：
Figure FDA0003051488110000013
式中下标u表示显著度的阶数；wsize(rl')表示第l'个超像素rl'的尺寸权重：
Figure FDA0003051488110000021
式中，
Figure FDA0003051488110000022
表示超像素rl'中的像素数量，
Figure FDA0003051488110000023
表示超像素rl中的像素数量；wspatial(rl',rl)表示空间距离权重：
Figure FDA0003051488110000024
式中，dspatial(rl',rl)表示超像素rl'和超像素rl几何中心之间的欧氏距离，σspatial表示空间距离权重强度的控制参数；Du(rl',rl)表示超像素rl'和超像素rl之间的第u阶颜色距离，u＝1，2；
D1(rl',rl)＝|mean(I(rl'))-mean(I(rl))|
D2(rl',rl)＝|std(I(rl'))-std(I(rl))|
式中，mean(I(rl))表示超像素区域rl中的像素强度均值，std(I(rl))表示超像素区域rl中的像素强度标准差；
(1-4-2)利用步骤(1-4-1)得到的一阶显著度值P1(rl)和二阶显著度值P2(rl)生成各超像素区域最终的显著度值：
P(rl)＝max{P1(rl),P2(rl)}
(1-4-3)生成原始图像Is对应的全局区域对比度图像Ps；Ps中各位置的像素强度值计算方法如下：
Ps(m,n)＝P(rl),if(m，n)∈rl
式中，(m，n)表示像素坐标，m＝1,2，…，M，n＝1,2，…,N，Ps(m,n)代表Ps中坐标(m，n)处的像素强度值；M表示Ps中长边的像素个数，N表示Ps中宽边的像素个数，M×N代表Ps中像素的总数量；
(2)利用基于区域特征的模糊逻辑方法对步骤(1)生成的全局区域对比度图像进行处理，实现多源遥感图像的多阶超像素级显著度特征融合；具体步骤如下：
(2-1)基于每张全局区域对比度图像Ps的强度直方图分布特征定义对应的三个模糊集合表示为：
Figure FDA0003051488110000025
其中，
Figure FDA0003051488110000026
表示该Ps中高显著度对应的模糊集合，
Figure FDA0003051488110000027
表示该Ps中中显著度对应的模糊集合，
Figure FDA0003051488110000028
表示该Ps中低显著度对应的模糊集合；
构造输入模糊隶属度函数：
Figure FDA0003051488110000031
Figure FDA0003051488110000032
Figure FDA0003051488110000033
式中
Figure FDA0003051488110000034
表示模糊集合
Figure FDA0003051488110000035
的隶属度函数，
Figure FDA0003051488110000036
表示模糊集合
Figure FDA0003051488110000037
的隶属度函数，
Figure FDA0003051488110000038
表示模糊集合
Figure FDA0003051488110000039
的隶属度函数，x表示Ps中的任一像素强度值，{lin，l'in，m'in，h'in，hin}表示输入模糊隶属度函数的参数；
其中输入模糊隶属度函数的参数{lin，l'in，m'in，h'in，hin}设置为：
Figure FDA00030514881100000310
式中c1,c2,c3分别表示该Ps的低显著度范围中心、中等显著度范围中心和高显著度范围中心；Δlin和Δhin为正数；
(2-2)利用多源遥感图像的观测特点构造模糊融合规则：
Figure FDA00030514881100000311
式中Rq表示第q条模糊准则，q＝1,2,…,Q，Q＝3S表示模糊准则的数量；gk表示输出模糊集合，k∈{L,M,H}，H代表高显著度、M代表中等显著度、L代表低显著度；
Figure FDA00030514881100000312
包含图像Ps对应的
Figure FDA00030514881100000313
三个模糊集合；
构造输出模糊隶属度函数：
Figure FDA00030514881100000314
Figure FDA00030514881100000315
Figure FDA0003051488110000041
式中，
Figure FDA0003051488110000042
为低显著度输出模糊隶属度函数，
Figure FDA0003051488110000043
为中等显著度输出模糊隶属度函数，
Figure FDA0003051488110000044
为高显著度输出模糊隶属度函数，
Figure FDA0003051488110000045
表示输出模糊隶属度函数的参数；
(2-3)根据构造的模糊隶属度函数和模糊融合准则，对每张全局区域对比度图像Ps进行处理，选取聚合算子和解模糊算子，实现多源遥感图像的多阶超像素级显著度特征融合，最终生成一张融合图像Pf：
Pf(m，n)＝ymn
式中，Pf(m，n)代表Pf中该坐标(m，n)处的像素值，ymn表示模糊融合后(m，n)处的像素强度值，m＝1，2，…，N，n＝1，2，…，N；
(3)利用步骤(2)得到的融合图像进行取阈值操作，实现舰船目标检测；具体步骤如下：
(3-1)基于融合图像Pf的强度直方图分布特征选取分割阈值th；
(3-2)根据选取的分割阈值th对融合图像Pf进行二值分割：当Pf中任一位置的像素强度值大于th时，判定该位置在二值图像中像素强度值为1；否则判定为0；
对Pf中所有位置的像素强度值判定完毕后，最终得到的二值图像即为最终的目标检测图像，实现舰船目标的检测。
CN202110488733.4A 2021-05-06 2021-05-06 一种基于多源遥感图像显著度模糊融合的舰船检测方法 Active CN113781386B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110488733.4A CN113781386B (zh) 2021-05-06 2021-05-06 一种基于多源遥感图像显著度模糊融合的舰船检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488733.4A CN113781386B (zh) 2021-05-06 2021-05-06 一种基于多源遥感图像显著度模糊融合的舰船检测方法

Publications (2)

Publication Number Publication Date
CN113781386A true CN113781386A (zh) 2021-12-10
CN113781386B CN113781386B (zh) 2024-04-16

Family

ID=78835730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488733.4A Active CN113781386B (zh) 2021-05-06 2021-05-06 一种基于多源遥感图像显著度模糊融合的舰船检测方法

Country Status (1)

Country Link
CN (1) CN113781386B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1443460A1 (en) * 2003-02-03 2004-08-04 C.F.D. Elettronica S.P.A. A process for digital image processing, in particular in the video monitoring field
CN106778495A (zh) * 2016-11-21 2017-05-31 北京航天宏图信息技术股份有限公司 遥感影像中复杂海面背景下的舰船检测方法
CN109427055A (zh) * 2017-09-04 2019-03-05 长春长光精密仪器集团有限公司 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法
CN109886218A (zh) * 2019-02-26 2019-06-14 西安电子科技大学 基于超像素统计相异性的sar图像舰船目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1443460A1 (en) * 2003-02-03 2004-08-04 C.F.D. Elettronica S.P.A. A process for digital image processing, in particular in the video monitoring field
CN106778495A (zh) * 2016-11-21 2017-05-31 北京航天宏图信息技术股份有限公司 遥感影像中复杂海面背景下的舰船检测方法
CN109427055A (zh) * 2017-09-04 2019-03-05 长春长光精密仪器集团有限公司 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法
CN109886218A (zh) * 2019-02-26 2019-06-14 西安电子科技大学 基于超像素统计相异性的sar图像舰船目标检测方法

Also Published As

Publication number Publication date
CN113781386B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
Kang et al. A modified faster R-CNN based on CFAR algorithm for SAR ship detection
Wang et al. An improved faster R-CNN based on MSER decision criterion for SAR image ship detection in harbor
Asokan et al. Machine learning based image processing techniques for satellite image analysis-a survey
CN110660065B (zh) 一种红外故障检测识别算法
Wang et al. An overview of 3d object detection
CN111666854B (zh) 融合统计显著性的高分辨率sar影像车辆目标检测方法
Zhao et al. SAR ship detection based on end-to-end morphological feature pyramid network
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
Zhang et al. Contextual squeeze-and-excitation mask r-cnn for sar ship instance segmentation
Wang et al. Global and local context-aware ship detector for high-resolution SAR images
Petković et al. An overview on horizon detection methods in maritime video surveillance
Yang et al. A review of intelligent ship marine object detection based on RGB camera
CN112906564B (zh) 用于无人机载sar图像自动目标识别的智能决策支持系统设计及实现方法
Zou et al. Sonar Image Target Detection for Underwater Communication System Based on Deep Neural Network.
Fu et al. Real-time infrared horizon detection in maritime and land environments based on hyper-laplace filter and convolutional neural network
Chan Maritime filtering for images and videos
CN106971402A (zh) 一种基于光学辅助的sar图像变化检测方法
Shao et al. A robust method for multi object tracking in autonomous ship navigation systems
CN116778145A (zh) 一种基于三模态数据源融合的自动驾驶三维目标检测方法
CN113781386B (zh) 一种基于多源遥感图像显著度模糊融合的舰船检测方法
Shen et al. Cropland extraction from very high spatial resolution satellite imagery by object-based classification using improved mean shift and one-class support vector machines
Schöller et al. Object detection at sea using ensemble methods across spectral ranges
Medellin et al. Real-Time Semantic Segmentation using Hyperspectral Images for Mapping Unstructured and Unknown Environments
Chen et al. AdapTrack: An adaptive FairMOT tracking method applicable to marine ship targets
CN113963178A (zh) 地空背景下红外弱小目标检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant