CN114764801A - 基于多视觉显著特征的弱小舰船目标融合检测方法及装置 - Google Patents
基于多视觉显著特征的弱小舰船目标融合检测方法及装置 Download PDFInfo
- Publication number
- CN114764801A CN114764801A CN202210545770.9A CN202210545770A CN114764801A CN 114764801 A CN114764801 A CN 114764801A CN 202210545770 A CN202210545770 A CN 202210545770A CN 114764801 A CN114764801 A CN 114764801A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- sea
- weak
- sea area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 230000004927 fusion Effects 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000009826 distribution Methods 0.000 claims abstract description 39
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 230000003287 optical effect Effects 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 238000003709 image segmentation Methods 0.000 claims abstract description 10
- 230000008030 elimination Effects 0.000 claims abstract description 9
- 238000003379 elimination reaction Methods 0.000 claims abstract description 9
- 230000000877 morphologic effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 22
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 230000001629 suppression Effects 0.000 claims description 14
- 230000005764 inhibitory process Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 description 8
- 210000000746 body region Anatomy 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于多视觉显著特征的弱小舰船目标融合检测方法及装置，包括以下步骤：对光学遥感凝视卫星所获取的海域序列影像进行海陆分割、云层剔除和形态学滤波，得到海域近红外影像；基于所述海域近红外影像，通过均值漂移算法获得目标灰度特征显著图；基于所述海域近红外影像，通过人类视觉系统模型，得到目标点位分布显著图；以所述目标点位分布显著图作为引导，对所述灰度特征显著图进行基于区域生长的图像分割，并结合舰船目标尺寸特征提取所述海域近红外影像中存在的舰船目标。解决了现有技术的弱小目标检测方法存在较高的漏警率和虚警率、及较低的鲁棒性和精确度，且不适用于低信噪比和较大海杂波情形下弱小多目标检测的问题。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于多视觉显著特征的弱小舰船目标融合检测方法及装置。
背景技术
海洋监测要求监测手段可以满足对海洋目标的整体分布、运动势态感知等监测能力。光学遥感卫星突破了传统海陆空海洋监测手段的局限性，实现了对于海洋与陆地大范围内目标的连续、实时监控，对交通管控和安全保障有着重要意义。我国地球静止轨道光学遥感卫星高分四号(GF-4)，通过凝视成像能够获取分辨率为50m、幅宽为500km范围内的海域影像，可以满足对海上大型舰船目标的监视。根据国际光学工程学会(Society ofPhoto-optical Instrumentation Engineers,SPIE)的定义，在大小为256×256像素的图像中，成像尺寸为总像素的0.1％(即小于81像素)的低对比度目标称为弱小目标。在GF-4卫星影像中，舰船目标大多只占几个像素点，且受海杂波和云层等干扰较大、信噪比较低，属于弱小目标。此外，舰船在海上分布广泛、不均匀，尤其在海岸附近海域内，存在多种类型、不同尺寸的舰船目标，这些因素导致此类弱小目标检测难度很大。弱小目标检测方法主要分为基于滤波的检测算法、基于图像数据结构的检测算法、基于深度学习的智能检测算法和基于人类视觉系统(Human Visual System,HVS)的检测算法。其中：
滤波算法分为空域滤波算法和变换域滤波算法两大类。但是由于弱小目标的纹理、大小等特征信息较少，因此目标与背景的差异是目标检测使用的主要特征，滤波的作用是突出小目标而抑制背景噪声。图10(b)是图10(a)框选区域的近红外波段放大图，其中的白色亮点即为GF-4光学遥感卫星所拍摄的海洋影像中的部分舰船目标，从图中可以看到舰船目标受陆地和浅海区域的影响很大，因此对于传统的空域滤波算法处理后的图像，依然存在较大的背景噪声，无法直接进行分割。
基于图像结构的检测算法利用目标的稀疏性和背景的低秩性等特点实现目标检测。然而这类方法需要通过许多次矩阵分解的迭代，对于图10所示的图像，高维奇异值分解效率较低，迭代不易收敛，所以会产生较长的运算时间。
深度学习方法用于目标检测时，首先需要通过训练集去训练权重，为了增强目标检测的鲁棒性，需要足够大的训练集。由于弱小目标的特征信息较少，数据集制作复杂，同时也会影响深度学习方法的收敛时间。
基于HVS模型的目标检测方法是近些年出现的一种新的目标检测方法，利用视觉注意机制，产生大小、形状、灰度和对比度等特征的显著图，通过特征对比和融合的方法实现弱小目标检测；但现有算法对背景噪声的抑制能力有限，鲁棒性不高，不适用于复杂背景中多个弱小目标检测。
此外，对于多个弱小舰船目标检测，往往背景复杂，杂波干扰较大；现有的检测方法无法满足检测精度和鲁棒性要求。
发明内容
鉴于上述的分析，本发明旨在提供一种基于多视觉显著特征的弱小舰船目标融合检测方法及装置，用于解决现有技术中弱小舰船目标检测方法存在较高的漏警率和虚警率、及较低的鲁棒性和精确度，且不适用于低信噪比和较大海杂波情形下弱小多目标检测的问题。
本发明的目的主要是通过以下技术方案实现的：
一方面，本发明提供一种基于多视觉显著特征的弱小舰船目标融合检测方法及装置，包括以下步骤；
对光学遥感凝视卫星所获取的海域序列影像进行海陆分割、云层剔除和形态学滤波，得到海域近红外影像；
基于所述海域近红外影像，通过均值漂移算法获得目标灰度特征显著图；
基于所述海域近红外影像，通过人类视觉系统模型方法，得到目标点位分布显著图；
以所述目标点位分布显著图作为引导，对所述灰度特征显著图进行基于区域生长的图像分割，并结合舰船目标尺寸特征提取所述海域近红外影像中存在的舰船目标。
进一步的，所述通过人类视觉系统模型，得到目标点位分布显著图，包括：通过侧抑制网络算法获取所述海域近红外影像的对比度特征图，将对比度特征图进行阈值化得到所述目标点位分布显著图。
所述通过侧抑制网络算法获取所述海域近红外影像的对比度特征图包括：通过侧抑制网络的系数矩阵对所述海域近红外影像作卷积操作，对卷积处理后的像素点灰度取绝对值，得到对比度特征图。
进一步的，所述将对比度特征图进行阈值化得到所述目标点位分布显著图包括：基于所述对比度特征图的舰船目标灰度值分布，设置阈值，对所述对比度特征图进行灰度阈值的二值化，得到目标点位分布显著图。
所述侧抑制系数采用如下矩阵形式：
进一步的，所述对光学遥感凝视卫星所获取的海域序列影像进行海陆分割、云层剔除和形态学滤波，包括：
使用NDWI方法对所述海域序列影像进行阈值分割，得到粗略海洋与云陆分割二值图；
根据舰船目标、云层、陆地的大小尺寸特征，确定滑窗尺寸，使用所述滑窗遍历所述粗略海洋与云陆分割二值图，将滑窗中0值占比小于阈值的区域判定为水体区域，得到海洋与云陆分割后的海面区域影像；
将所述海域序列影像的近红外波段图与所述海面区域影像做点乘运算，得到海域近红外影像。
进一步的，所述均值漂移算法包括：依次选择所述海域近红外影像的一个待处理像素点，以所述待处理像素点为中心设置样本区域；设置空间与像素灰度值联合域权重核函数，在样本区域中利用空间与像素灰度值联合域权重核函数进行Mean Shift迭代，将迭代终止后的样本中心点的灰度值赋给所述待处理像素点；
基于所述均值漂移算法遍历所述海域近红外影像的所有像素点，得到目标灰度特征显著图。
进一步的，所述提取所述海域近红外影像中存在的舰船目标，包括：设置灰度阈值Tcluster，以所述目标点位分布显著图中的目标点位为引导点，将所述引导点的四邻域内与其灰度差值小于所述阈值Tcluster的点归为一类，并把此类的所有像素点的灰度值赋为该类所有像素点灰度值的均值；将不同的目标点位分割成不同类别Ai；基于所述海域近红外影像中舰船目标的尺寸参数，从Ai中筛选出符合舰船尺寸特征的目标点位，即为所述海域近红外影像中存在的舰船目标。
在进行所述基于区域生长的图像分割时，所述引导点的四邻域内与所述引导点的灰度差值的阈值设为Tcluster＝5。
另一方面，还公开了一种弱小舰船目标检测装置，其特征在于，包括至少一个处理器，以及至少一个与所述处理器通信连接的存储器；
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现前述的基于多视觉显著特征的弱小舰船目标融合检测方法。
本技术方案的有益效果：
1、本发明的舰船目标检测方法在进行海陆分割、去除云陆干扰、形态学滤波处理后，利用均值漂移方法滤除海面背景杂波，获取目标灰度显著图，使得本方法在海杂波较大的情况下仍能精确的识别到弱小舰船目标，解决了现有算法对背景噪声的抑制能力有限的问题。
2、本发明基于人类视觉系统模型方法得到目标对比度特征图，并阈值化获得目标点位分布显著图；很好的实现了多个弱小目标检测的目的。
3、本发明通过对弱小目标的灰度特征、对比度特征和尺寸特征进行目标显著性特征融合，降低了虚警率和漏警率，保存了准确的目标位置信息，具有很高的鲁棒性和检测精度。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例的基于均值漂移和视觉显著性的检测方法流程图。
图2基于多视觉显著特征的弱小舰船目标融合检测方法示意图。
图3是侧抑制网络模型；其中，图3(a)为非循环侧抑制网络模型，图(b)为循环侧抑制网络模型。
图4是本发明实施例的图像预处理过程中的图形；其中，图4(a)为NWDI处理后的影像，图4为(b)海陆分割后的影像，图4(c)为滤除舰船和碎云斑块的二值图像，图4(d)为剔除陆地和云层的水体部分。
图5是本发明实施例的目标灰度显著图的提取图像；其中，图5(a)为近红外波段的水体区域影像，图5(b)为MS处理后的灰度特征显著图。
图6是本发明实施例的目标点位分布显著图的提取过程中的图像；其中，图6(a)为近红外波段的水体区域影像，图6(b)为对比度特征图，图6(c)为OLI的三维灰度直方图，图6(d)为目标点位分布显著图B。
图7是本发明实施例的最终目标检测二值图；其中，图7(a)为近红外波段的水体区域影像I1′，图7(b)为最终的目标检测结果O。
图8是本发明实施例的检测算法与五种弱小目标检测算法对于影像区域I1′处理的结果对比图；其中，图8(a)为近红外波段的水体区域影像I1′，图8(b)为自适应阈值边缘检测算法处理结果图，图8(c)为LCM算法处理结果图，图8(d)为CFAR算法处理结果图，图8(e)为GCF-SB算法处理结果图，图8(f)为本文算法处理结果图。
图9是本发明实施例的检测算法与五种弱小目标检测算法对于影像区域I1″处理的结果对比图；其中，图9(a)为近红外波段的水体区域影像图9(b)为自适应阈值边缘检测算法处理结果图，图9(c)为LCM算法处理结果图，图9(d)为CFAR算法处理结果图，图9(e)为GCF-SB算法处理结果图，图9(f)为本文算法处理结果图。
图10是GF-4光学遥感卫星拍摄的海洋影像；其中，图10(a)为海洋影像多波段图，图10(b)为图10(a)中选中区域内的近红外波段图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施案例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明提供一种基于多视觉显著特征的弱小舰船目标融合检测方法，如图1所示，包括以下步骤：
对光学遥感凝视卫星所获取的海域序列影像进行海陆分割、云层剔除和形态学滤波处理，得到海域近红外影像；
基于所述海域近红外影像，通过均值漂移算法获得目标灰度特征显著图；
基于所述海域近红外影像，通过人类视觉系统模型方法，得到目标点位分布显著图；
以所述目标点位分布显著图作为引导，对所述灰度特征显著图进行基于区域生长的图像分割，并结合目标尺寸特征提取所述海域近红外影像中存在的舰船目标。
由于GF-4所拍摄的影像中，舰船属于弱小目标，且受海杂波和云层干扰较大，所以现有的目标检测方法不能满足对精度和鲁棒性的检测要求。虽然近些年对于弱小目标检测的研究越来越深入，但是用于舰船这样的弱小目标检测的方法依然很少，大多数方法仅适用于海杂波强度较弱的单个舰船目标检测。为了提升复杂海杂波噪声干扰下的多个舰船目标检测精度，本发明提出基于均值漂移和视觉显著性的光学影像弱小舰船目标检测方法，如图2所示，主要分为图像预处理、灰度特征显著图的提取、目标点位分布显著图的提取、融合灰度和对比度以及尺寸特征的显著图的目标检测4个步骤；首先利用归一化水体指数(Normalized Difference Water Index,NDWI)进行海陆分割，剔除陆地和云层干扰；其次对均值漂移算法获得目标灰度特征显著图；然后通过人类视觉系统模型(HVS)原理的经典算法侧抑制网络(Lateral Inhibitory network,LI)获取影像的对比度特征图，再将对比度特征图进行阈值化得到滤除舰船轨迹和海杂波的点位分布显著图；最后通过目标点位分布显著图来引导对灰度特征显著图进行区域生长的图像分割，并结合舰船目标尺寸特征进行筛选和判断，进而实现光学影像中的弱小舰船多目标检测。
本发明的一个具体实施例：
步骤S1：对光学遥感凝视卫星所获取的海域序列影像进行海陆分割、云层剔除和形态学滤波处理，得到海域近红外影像；
具体的，可使用NDWI方法对所述海域序列影像进行阈值分割，得到粗略海洋与云陆分割二值图；
根据舰船目标、云层、陆地的大小尺寸特征，确定滑窗尺寸，使用所述滑窗遍历所述粗略海洋与云陆分割二值图，将滑窗中0值占比小于阈值的区域判定为水体区域，得到海洋与云陆分割后的海面区域影像；
将所述海域序列影像的近红外波段图与所述海面区域影像做点乘运算，得到海域近红外影像。
作为一个具体的实施例，在GF-4号遥感卫星的影像中，陆地和云层干扰会导致舰船目标检测精度降低，因此需要进行陆地和云层剔除。本文使用NDWI方法进行海陆分割和大面积云层剔除，提取海洋区域。对于多波段遥感影像，利用水体对近红外波段反射率弱，绿光波段反射率强的特点，增强水体与陆地和云层的差异，便于进行阈值分割。方法如下，设：
其中，ρg为绿波段反射率，ρNIR为近红外反射率；设置固定阈值Tw，当NDWI≥Tw时，将该点的值置1；当NDWI＜Tw时，将该点的值置0，以此遍历整个图像作二值分割，得到粗略的海洋与云陆分割二值图。由于舰船可能与陆地的波谱特性相似，所以此时的图像中得到的非水体区域可能包含舰船目标，因此需要将舰船所在位置也视为水体区域。本实施例通过统计舰船目标大小与云层、陆地大小特征作对比，确定出滑窗的尺寸及步长，即通过边长为lH，步长为lstep的滑窗Wl对整个图像作遍历，计算滑窗中0值所占比例；设置0值所占比例阈值Tratio，Tratio为占比阈值；当0值占比比例小于阈值Tratio时判定为舰船目标，并将此时滑窗中所有值置为1；否则为陆地或者云层，将滑窗中所有值置为0。滑窗遍历得到的图像为F，即为海陆分割及云剔除后的海面区域影像。由于海洋对近红外波段吸收较强，反射较弱，所以将所述光学遥感凝视卫星所获取的海域序列影像的近红外波段图与海洋与云陆分割后的海面区域影像做点乘运算，得到的影像即为海域近红外影像；具体的，将光学遥感凝视卫星所获取的海域序列影像的近红外波段图I0与海洋与云陆分割后的海面区域影像F做点乘运算，得到预处理之后的图像I1即为剔除陆地和云层的海域近红外影像，即：
I1(x,y)＝I0(x,y)·F(x,y) (2)
步骤S2：基于所述海域近红外影像，通过均值漂移算法获得目标灰度特征显著图。
优选的，采用如下方法进行均值漂移：依次选择所述海域近红外影像的一个待处理像素点，以所述待处理像素点为中心设置样本区域；设置空间与像素灰度值联合域权重核函数Ks,g利用空间与像素灰度值联合域权重核函数在样本区域中进行Mean Shift迭代，将迭代终止后的样本中心点的灰度值赋给所述待处理像素点；
基于所述均值漂移算法遍历所述海域近红外影像的所有像素点，得到目标灰度特征显著图；
作为一个具体的实施例，根据图像噪声的特点，选择权重核函数为高斯核函数，由于图像具有分辨率和灰度等属性，用一种核函数并不能达到理想的处理结果，因此本实施例设置联合空间-像素灰度值域的核函数进行均值漂移迭代，以此滤除影像中存在的干扰和噪声，使目标或背景区域纹理变得均匀一致平滑，便于后续目标检测、分割。
以海域近红外影像左上角的像素点为起点，按从左到右的顺序，逐行依次选择待处理像素点，以待处理像素点为中心，设置边长为4Hspatial的方形区域作为样本区域,做Mean Shift迭代，直到满足迭代终止条件。具体的，当相邻两次迭代结果的中心点满足灰度值差值小于阈值Tgray，且位置的距离小于阈值Tspatial时，迭代终止。即：
其中，
分别表示第k、k+1次迭代之后的样本中心点的灰度值，
分别表示第k、k+1次迭代之后的样本中心点的位置。迭代终止后，将此时的样本中心点(xc,yc)的灰度值Cg(xc,yc)赋给待处理像素点(x,y)，按此方式依次遍历图像得到处理后的灰度图像OMS，则有：
OMS(x,y)＝Cg(xc,yc) (4)
优选的，以海域近红外影像左上角的像素为起点，按从左到右的顺序，逐行依次选择待处理像素点，遍历海域近红外影像，得到处理后的目标灰度特征显著图。
本发明通过空间与像素灰度值联合域权重核函数在样本点集中进行Mean Shift迭代，充分结合了目标点位的灰度和尺寸特征，得到的目标灰度特征显著图在滤除杂波的同时能够更加准确的识别到舰船目标，且很好的保留了目标点位的位置信息。
具体的，Mean Shift算法是一种非参数密度估计方法，假设图像中任意的一个像素点(x,y)对应的像素的灰度值为r，则该点对应的三维向量表示为(x,y,r)。设点z＝(x,y,r)是联合空间-像素灰度值域中的一个样本点，引入核函数K(*)，样本点z＝(x,y,r)的概率密度函数为：
其中N是核函数K(*)的归一化因子，h为核半径。求导得，
其中，定义g(*)＝-K(*)，令M(z)为均值漂移向量，且满足：
当
时，概率密度函数取得最大值，此时有均值漂移向量M(z)＝0，求得新的中心点z′为：
将新的中心点z′作为样本点，重复上述过程，计算其均值漂移向量，直到满足迭代停止的条件。
特别地，当引入空间与像素灰度值联合域权重核函数时，(5)式变为：
其中，zs表示待处理像素点z的位置(x,y)，zg表示待处理像素点z的灰度r。则，(9)式求得的中心点z′为：
均值漂移算法步骤和迭代过程如下：
(1)设{zi|i＝1,...,N}为一个d维的独立同分布序列，{θj|j＝1,2,...}为均值漂移向量点的联系位置。给定任意一个待处理像素点z＝(x,y,r)，且令z＝θj,通过式(11)可以得到θj+1:
(2)利用公式(8)、(11)和(12)，可以得到第j次的均值漂移向量为：
Mj＝θj+1-θj (13)
(3)当均值漂移向量满足关系式：|Mj|＜ε时，迭代结束，否则继续往下执行；
(4)令z＝θj+1，继续执行步骤(1)，直到结束。
通过以上迭代搜索过程取得概率密度极值点，也是最大值点。
步骤S3：基于预处理后的所述海域近红外影像，通过人类视觉系统模型方法，得到目标点位分布显著图。
人类视觉系统存在侧抑制现象，此现象被称为马赫带效应。利用侧抑制网络，可以突出图像边缘，增强对比度的效果。侧抑制网络模型分为非循环型和循环型两种，网络结构如图3(a)和图3(b)所示。
非循环型侧抑制网络模型拥有明确的输入输出对应关系，具有较高的稳定性，因此使用广泛。此外，非循环侧抑制网络模型又分为减法非循环侧抑制网络和分流非循环侧抑制网络两种模型。而两者相比，减法非循环侧抑制网络效果好，且算法复杂度低，更适用于光学影像。减法非循环侧抑制网络的表达式为：
其中，I(x,y)为输入神经元(x,y)，O(x,y)为输出神经元(x,y)，Li,j(x,y)为神经元抑制系数，l为神经感受范围宽度，ei,j为表示i行j列的元素为1。
具体的，本实施例通过侧抑制网络的系数矩阵对所述海域近红外影像作卷积操作，对卷积处理后的像素点灰度取绝对值，得到对比度特征图。基于所述对比度特征图的灰度直方图统计舰船目标灰度值分布，设置阈值，对所述比度特征图进行阈值化，得到目标点位分布显著图。
本实施例选择的侧抑制系数采用如下矩阵形式：
通过L对于海域近红外影像I1作卷积操作，可得：
OLI＝L*I1 (16)
为了获取对比度特征显著图，需要执行以下操作：
OL′I(x,y)＝|OLI(x,y)|； (17)
其中，OLI(x,y)为点(x,y)的灰度。
由于所检测的目标为舰船弱小目标，根据GF-4卫星影像特点和舰船目标尺寸参数可知，舰船目标仅包含几个像素点，边缘信息可以视为舰船目标点位信息。当设置灰度阈值TLI，对其对比度特征显著图进行灰度阈值TLI的二值分割，所得到的结果为目标点位分布显著图B。
步骤S4：以所述目标点位分布显著图作为引导，对所述灰度特征显著图进行基于区域生长的图像分割，并结合目标尺寸特征提取所述海域近红外影像中存在的舰船目标。
作为一个具体的实施例，以前述的目标点位分布显著图B作为引导，在经过MeanShift算法处理后的图像中进行基于区域生长的图像分割，设置灰度阈值Tcluster，把每一个引导点的上下左右四个方向上相邻的像素点,即四邻域内的像素点与所述引导点差值小于阈值Tcluster的点归为一类，并把此类所有元素的灰度值赋为该类所有像素点灰度的均值，将不同目标分割成不同类别Ai，其中第i类的第n个元素对应的灰度值为
再基于GF-4卫星影像中的舰船目标的尺寸参数，从Ai中筛选出符合舰船尺寸特征的点目标，即为图像中存在的舰船目标，记为Si。二值化后所得的输出图像O即为最终的目标检测结果。
本文所做的显著图融合是基于目标灰度特征显著图、目标点位分布特征显著图和目标尺寸特征的融合，即该算法融合了目标灰度特征、对比度特征和尺寸特征三个显著性特征，使得目标检测的鲁棒性和精确度更高。
本发明的另一个实施例，选取GF-4拍摄的我国东海海域的一帧影像进行处理。该影像有5个波段，图像大小为10240×10240像素,分辨率为50m。
为了方便结果展示，本实施例截取了具有代表性的方形区域I1′作为待处理影像，如图7(a)所示。
首先选择绿光和近红外波段，使用NDWI方法去除陆地和云层，得到图4(a)所示的结果，然后设置固定阈值Tw＝0.1，得到粗略的海洋与云陆分割二值图，如图4(b)所示。从图4(b)中可以看到，黑色区域包含除云层和陆地之外，还有一些舰船目标被分割出来，因此需要将舰船所在位置也设置成水体。根据舰船目标、云层、陆地的大小尺寸特征先验知识，本实施例选用的滑动窗口Wl的边长为lH＝4，步长为lstep＝4，设置滑窗中0值所占比例阈值Tratio＝0.5，得到海洋与云陆分割后的去除舰船影响的二值图像，如图4(c)所示。然而对比近红外、绿、蓝三个波段的图像发现，近红外波段舰船与背景对比度较高，海杂波较小，因此考虑图4(c)所示的二值图像与近红外图像融合，得到预处理之后的图像I1，即为剔除陆地和云层的水体区域图像，如图4(d)所示。
基于剔除陆地和云层的水体区域图像，取具有代表性的存在多个舰船目标的近海区域I′1作为目标检测的试验区影像，如图5(a)所示。根据舰船目标先验知识，可知舰船目标不超过3×5个像素，本实施例设置空域权重核半径Hspatial＝2，设置灰度值权重核半径Hgray＝7，迭代停止时，得到图5(b)，即为处理后的目标灰度特征显著图OMS。
另一方面，对近红外波段的海域影像I1′，如图6(a)所示，做点位分布显著图提取。首先通过侧抑制网络的系数矩阵L对于I1′作卷积操作，对所有卷积处理过后的像素点灰度取绝对值，可得图6(b)所示的对比度特征显著图的图OLI。通过图6(c)所示三维灰度直方图的灰度值分布，阈值化后得到目标区域的显著图B(图6(d)所示)。
最后，以目标点位分布显著图B作为引导，在经过MS算法处理后的图像OMS中进行基于区域生长的图像分割，设置像素点的四邻域内与其灰度差值的阈值Tcluster＝5，将不同目标分割成不同类别Ai。再基于目标的尺寸特征，在Ai中做筛选，进而得到输出图像O即为最终的目标检测结果，如图7(b)所示。
本发明的第三个实施例：
为了验证本发明的算法对于弱小目标检测的性能，与基于Otsu的自适应阈值边缘检测算法、恒虚警率(CFAR)算法、基于GCF-SB视觉注意模型的弱小目标检测算法和基于局部对比度(LCM)的算法进行对比实验；取前述的本发明所处理的近红外波段影像I1′作为待检测图像。处理结果如图8所示。
结合图8和表1数据可知：
图8(b)的基于Otsu的自适应阈值边缘检测算法和图8(c)的LCM算法所得的结果左下角出现误检测区域，其原因在于自适应阈值边缘检测算法原理是通过迭代选择最优全局阈值进行二值分割；本实施例中所选择的待检测影像I1′是靠近海岸的浅海区域，其海杂波反射强度与部分舰船目标反射强度相当，因此会出现误检的背景区域；此方法的虚警数为1，漏警数为16。
图8(c)的LCM算法的检测原理是将图像切割成个相同大小的区域，粗定位每一个目标所在区域，然后将目标所在区域按照目标大小分成若干块，计算每一个区域的灰度均值，得到灰度均值最大的区域即为目标所在区域，使用合适的阈值分割之后实现目标检测。其分割原理与自适应阈值边缘检测算法相似，因此依然会导致漏警和误检测，此方法的虚警数为0，漏警数为21。
图8(d)的CFAR算法使用滑窗遍历的方法，计算目标判别条件。当滑窗边缘在目标之内时，会将此目标误检测为两个目标；对于背景杂波突变的情况，会增加虚警率，此方法的虚警数为7，漏警数为3。
图8(e)的GCF-SB算法利用均值漂移算法做平滑，然而平滑会导致边缘轮廓变大，部分目标丢失的情况；提取的边缘特征存在舰船行驶轨迹和激起的海浪干扰，因此灰度对比度特征融合后，检测的目标会变大失真，并且平滑也会导致部分漏警，此方法的虚警数为4，漏警数为5。
本发明所使用的检测方法使用较少的平滑迭代次数，尽可能保留全部目标信息，通过聚类方法进一步滤除背景杂波干扰，并通过合适的阈值提取边缘特征，尽可能保留舰船的真实大小，并通过最终的匹配融合方法达到较好的目标检测效果，如图8(f)所示。
表1五种弱小目标检测算法对于影像I1′处理的结果的数据分析
为了进一步验证本发明算法的普适性和可靠性，截取图像中另一个区域I″1作为待检测图像，比较五种算法的实验结果，如图9所示，其中，图9(a)为近红外波段的水体区域影像，图9(b)为自适应阈值边缘检测算法处理结果图，图9(c)为LCM算法处理结果图，图9(d)为CFAR算法处理结果图，图9(e)为GCF-SB算法处理结果图，图9(f)为本文算法处理结果图。
结合图9和表2数据可知，选择的待检测图像左边存在小块的复杂背景，分析五种算法的检测结果，由于图像海杂波干扰较小，所以四种对比算法的检测效果有所提升，但是依然存在虚警和漏警，而本发明的算法依然有较好的目标检测效果。对比数据汇总如下表2所示：
表2五种弱小目标检测算法对于影像I″1处理的结果的数据分析
综上所述，本发明为针对光学遥感影像的弱小舰船多目标检测，提出了一种基于均值漂移和人类视觉系统原理的视觉显著性目标分割检测方法。该方法分为四部分：使用MS算法平滑去除背景点噪声，并得到目标的灰度显著图；然后基于HVS原理使用侧抑制网络算法得到目标对比度特征显著图，阈值化得到目标点位分布显著图；再通过目标点位分布显著图为引导对目标灰度显著图进行目标分割、提取，并结合目标尺寸特征进行筛选和判断，最终达到性能较好的目标检测效果。实验结果表明，本文算法对于多个弱小目标的检测优势非常显著，适用于背景复杂、信噪比较低的光学影像中的多个弱小目标检测。本发明以光学遥感影像海面弱小舰船目标的检测作为应用案例，整体方案解决了现有技术中弱小目标检测方法存在较高的漏警虚警率，及较低鲁棒性和精确度，且不适用于低信噪比和较大海杂波情形下弱小目标检测的问题，同时本方法也可用于空、天、地、海等背景下弱小目标的检测问题，具有较高的鲁棒性、准确度和普适性。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于多视觉显著特征的弱小舰船目标融合检测方法，其特征在于，包括以下步骤；
对光学遥感凝视卫星所获取的海域序列影像进行海陆分割、云层剔除和形态学滤波，得到海域近红外影像；
基于所述海域近红外影像，通过均值漂移算法获得目标灰度特征显著图；
基于所述海域近红外影像，通过人类视觉系统模型，得到目标点位分布显著图；
以所述目标点位分布显著图作为引导，对所述灰度特征显著图进行基于区域生长的图像分割，并结合舰船目标尺寸特征提取所述海域近红外影像中存在的舰船目标。
2.根据权利要求1所述的弱小舰船目标检测方法，其特征在于，所述通过人类视觉系统模型，得到目标点位分布显著图，包括：通过侧抑制网络算法获取所述海域近红外影像的对比度特征图，将对比度特征图进行阈值化得到所述目标点位分布显著图。
3.根据权利要求2所述的弱小舰船目标检测方法，其特征在于，所述通过侧抑制网络算法获取所述海域近红外影像的对比度特征图包括：通过侧抑制网络的系数矩阵对所述海域近红外影像作卷积操作，对卷积处理后的像素点灰度取绝对值，得到对比度特征图。
4.根据权利要求2所述的弱小舰船目标检测方法，其特征在于，所述将对比度特征图进行阈值化得到所述目标点位分布显著图包括：基于所述对比度特征图的舰船目标灰度值分布，设置阈值，对所述对比度特征图进行灰度阈值的二值化，得到目标点位分布显著图。
5.根据权利要求3所述的弱小舰船目标检测方法，其特征在于，所述侧抑制系数采用如下矩阵形式：
6.根据权利要求1所述的弱小舰船目标检测方法，其特征在于，所述对光学遥感凝视卫星所获取的海域序列影像进行海陆分割、云层剔除和形态学滤波，包括：
使用NDWI方法对所述海域序列影像进行阈值分割，得到粗略海洋与云陆分割二值图；
根据舰船目标、云层、陆地的大小尺寸特征，确定滑窗尺寸，使用所述滑窗遍历所述粗略海洋与云陆分割二值图，将滑窗中0值占比小于阈值的区域判定为水体区域，得到海洋与云陆分割后的海面区域影像；
将所述海域序列影像的近红外波段图与所述海面区域影像做点乘运算，得到海域近红外影像。
7.根据权利要求1所述的弱小舰船目标检测方法，其特征在于，所述均值漂移算法包括：依次选择所述海域近红外影像的一个待处理像素点，以所述待处理像素点为中心设置样本区域；设置空间与像素灰度值联合域权重核函数，在样本区域中利用空间与像素灰度值联合域权重核函数进行Mean Shift迭代，将迭代终止后的样本中心点的灰度值赋给所述待处理像素点；
基于所述均值漂移算法遍历所述海域近红外影像的所有像素点，得到目标灰度特征显著图。
8.根据权利要求1所述的弱小舰船目标检测方法，其特征在于，所述提取所述海域近红外影像中存在的舰船目标，包括：设置灰度阈值Tcluster，以所述目标点位分布显著图中的目标点位为引导点，将所述引导点的四邻域内与其灰度差值小于所述阈值Tcluster的点归为一类，并把此类的所有像素点的灰度值赋为该类所有像素点灰度值的均值；将不同的目标点位分割成不同类别Ai；基于所述海域近红外影像中舰船目标的尺寸参数，从Ai中筛选出符合舰船尺寸特征的目标点位，即为所述海域近红外影像中存在的舰船目标。
9.根据权利要求8所述的弱小舰船目标检测方法，其特征在于，在进行所述基于区域生长的图像分割时，所述引导点的四邻域内与所述引导点的灰度差值的阈值设为Tcluster＝5。
10.一种弱小舰船目标检测装置，其特征在于，包括至少一个处理器，以及至少一个与所述处理器通信连接的存储器；
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-9任一项所述的基于多视觉显著特征的弱小舰船目标融合检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210545770.9A CN114764801A (zh) | 2022-05-19 | 2022-05-19 | 基于多视觉显著特征的弱小舰船目标融合检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210545770.9A CN114764801A (zh) | 2022-05-19 | 2022-05-19 | 基于多视觉显著特征的弱小舰船目标融合检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114764801A true CN114764801A (zh) | 2022-07-19 |
Family
ID=82365161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210545770.9A Pending CN114764801A (zh) | 2022-05-19 | 2022-05-19 | 基于多视觉显著特征的弱小舰船目标融合检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114764801A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294439A (zh) * | 2022-08-02 | 2022-11-04 | 北京卫星信息工程研究所 | 空中弱小运动目标检测方法、系统、设备及存储介质 |
| CN115861359A (zh) * | 2022-12-16 | 2023-03-28 | 兰州交通大学 | 一种水面漂浮垃圾图像自适应分割提取方法 |
| CN117152576A (zh) * | 2023-10-27 | 2023-12-01 | 北京观微科技有限公司 | 遥感图像的舰船检测方法、装置、电子设备及存储介质 |
-
2022
- 2022-05-19 CN CN202210545770.9A patent/CN114764801A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294439A (zh) * | 2022-08-02 | 2022-11-04 | 北京卫星信息工程研究所 | 空中弱小运动目标检测方法、系统、设备及存储介质 |
| CN115861359A (zh) * | 2022-12-16 | 2023-03-28 | 兰州交通大学 | 一种水面漂浮垃圾图像自适应分割提取方法 |
| CN117152576A (zh) * | 2023-10-27 | 2023-12-01 | 北京观微科技有限公司 | 遥感图像的舰船检测方法、装置、电子设备及存储介质 |
| CN117152576B (zh) * | 2023-10-27 | 2023-12-29 | 北京观微科技有限公司 | 遥感图像的舰船检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414411B (zh) | 基于视觉显著性的海面船只候选区域检测方法 | |
| CN111626290B (zh) | 一种复杂海面环境下的红外舰船目标检测识别方法 | |
| CN109740460B (zh) | 基于深度残差密集网络的光学遥感图像舰船检测方法 | |
| CN109427055B (zh) | 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法 | |
| CN114764801A (zh) | 基于多视觉显著特征的弱小舰船目标融合检测方法及装置 | |
| CN108229342B (zh) | 一种海面舰船目标自动检测方法 | |
| CN116110053B (zh) | 基于图像识别的集装箱表面信息检测方法 | |
| CN110766689A (zh) | 基于卷积神经网络进行物品图像缺陷检测的方法及装置 | |
| CN111046772A (zh) | 多时相卫星遥感岛礁岸线及开发利用信息提取方法 | |
| CN111368658B (zh) | 一种自主航行中智能船舶外部目标的自动检测方法及系统 | |
| CN111079596A (zh) | 高分辨率遥感影像的海上典型人造目标识别系统及方法 | |
| CN113191979B (zh) | 一种分区域sar图像非局部均值去噪方法 | |
| CN116152115B (zh) | 基于计算机视觉的垃圾图像去噪处理方法 | |
| CN110991257A (zh) | 基于特征融合与svm的极化sar溢油检测方法 | |
| Zhang et al. | Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image | |
| CN115861359A (zh) | 一种水面漂浮垃圾图像自适应分割提取方法 | |
| CN115393734A (zh) | 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法 | |
| CN113205494B (zh) | 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统 | |
| CN111105390B (zh) | 一种改进的海天线检测和评估方法 | |
| CN110211106B (zh) | 基于分段Sigmoid带宽的均值漂移SAR图像海岸线检测方法 | |
| CN116797941A (zh) | 一种高分辨率遥感影像的海上溢油风险源快速智能识别分类方法 | |
| CN111860534A (zh) | 一种基于图像显著性分析的sar图像溢油检测方法 | |
| CN116863293A (zh) | 一种基于改进YOLOv7算法的可见光下海上目标检测方法 | |
| CN111222470A (zh) | 基于多元高斯分布与PCANet的可见光遥感图像舰船检测方法 | |
| CN112686222B (zh) | 星载可见光探测器对船舶目标检测的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |