CN111881725A - 一种融合空频域特征的光学遥感图像船舶目标检测方法 - Google Patents
一种融合空频域特征的光学遥感图像船舶目标检测方法 Download PDFInfo
- Publication number
- CN111881725A CN111881725A CN202010539531.3A CN202010539531A CN111881725A CN 111881725 A CN111881725 A CN 111881725A CN 202010539531 A CN202010539531 A CN 202010539531A CN 111881725 A CN111881725 A CN 111881725A
- Authority
- CN
- China
- Prior art keywords
- image
- remote sensing
- characteristic
- optical remote
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 85
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 44
- 238000010586 diagram Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000001228 spectrum Methods 0.000 claims abstract description 16
- 230000001413 cellular effect Effects 0.000 claims abstract description 10
- 230000000903 blocking effect Effects 0.000 claims abstract description 7
- 230000014509 gene expression Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 241000488484 Craugastor andi Species 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000000576 coating method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种融合空频域特征的光学遥感图像船舶目标检测方法。首先，利用图像的亮度特征图、颜色特征图、亮度特征的一阶梯度组合构建图像特征图，将图像进行非重叠分块得到多个图像块，计算各图像块的特征协方差矩阵，并计算各图像块特征协方差矩阵和整幅图像特征协方差矩阵之间的特征值，得到归一化的特征值图作为图像的空域特征图。其次构造图像的四元数特征并对其进行傅里叶变换，将变换后的振幅谱设定为1以留下相位信息，并对其傅里叶反变换，将反变换结果利用高斯滤波器进行平滑得到频域特征图。最后利用元胞自动机融合空域和频域的特征图，得到最终的检测结果。本发明可从具有复杂海面地貌、云雾背景的遥感图像中快速准确地检测出船舶目标，解决复杂背景对船舶检测的严重干扰问题，针对不同复杂背景下的船舶检测效果较好且适用范围大。
Description
技术领域
本发明属于遥感图像目标检测领域，更具体地，涉及一种融合空频域特征的光学遥感图像船舶目标检测方法。
背景技术
船舶作为海上航运的重要载体，对其进行有效的监测更便于了解海域的航运状况。近年来遥感技术水平的不断提高使得光学遥感图像有着越来越广阔的应用场景，光学遥感图像包含大量的可视化信息，不仅可以在船舶检测领域用于探测非金属材质的船舶和利用表面涂层与特殊结构设计对雷达进行隐身的船舶，完成以往合成孔径雷达不能完成的船舶探测任务；还可以提供大量和视觉感知相近的图像细节信息，便于人工解译。开展光学遥感图像船舶目标检测识别技术对发挥光学遥感卫星在监视海运交通、维护海洋权益、海上救援、提高海防预警能力的作用方面有着重要意义。
对于光学遥感图像下的船舶检测技术，由于光学遥感图像获取的图像地理覆盖范围大，图像中会同时具备复杂的陆地场景和海洋场景，且船舶目标在图像中所占据的图像区间较小。对于一张地理覆盖范围大的遥感图像，单个船舶目标所占据的区间不及图像总尺寸的百分之一，且受到复杂海面地貌、云雾背景的干扰，故基于光学遥感图像的船舶检测需要在检测出船舶目标的同时要抑制复杂背景的干扰。
针对光学遥感图像船舶目标的检测主要可分为：基于灰度统计特征的方法；基于形状和纹理特征的方法；基于模板匹配的方法；基于分形模型与模糊理论的方法；基于深度学习的方法；基于视觉显著性检测的方法。
大尺度低分辨率光学遥感图像船舶目标一方面缺失精细的纹理特征，这使得基于形状和纹理特征、模板匹配、分形模型与模糊理论、深度学习的方法在这样的环境条件下，不具备优势，专利CN201811500340-一种利用卷积神经网络进行船舶检测的训练方法及其船舶检测方法利用卷积神经网络训练具有较多细节纹理特征的船舶并进行检测识别，必须要依赖分辨率较高的遥感图像；
另一方面弱小船舶目标容易受到海面阴影、噪声的影响，使得基于灰度统计特征的方法容易受到海杂波、噪声的影响。专利CN201810967927-基于Canny算子和高斯形态学的船舶检测方法使用Canny算子提取船舶轮廓，并利用高斯形态学算子进行平滑，对复杂背景适应性较差。基于视觉显著性的方法由于可以快速找到与当前场景和任务相关的信息，近些年已成为船舶检测的研究热点。目前，视觉显著性检测方法可以分为基于空间域模型的方法和基于频域模型的方法，这些视觉显著性检测方法主要不足包括：
(1)基于空间域模型的方法主要构建像素强度、边缘等空域特征进行显著性检测，用于突出船舶目标的特征，但在突出目标特征的同时也突出了复杂背景的干扰，无法在突出船舶目标特征的同时，抑制复杂背景的干扰。专利CN201410216050-一种基于显著性区域检测的红外船舶目标分割方法利用对比度、边缘强度等空域特征进行船舶检测，只考虑到图像目标的空域特征。
(2)基于频域模型的方法在PQFT、HFT等频域显著性检测方法的基础上进行改进，对复杂背景的抑制有较好的效果。但在抑制复杂背景干扰的同时也抑制了船舶目标特征。专利CN20131040846-基于频谱奇异值分解的海上目标显著性检测方法利用图像CIELab空间的亮度和颜色通道，对其分别进行傅里叶变换，并根据设定的阈值选择其幅度谱的非主要分量，与原相位谱结合进行傅里叶逆变换，得到各特征的显著图，只考虑图像目标的频域特征。
发明内容
针对现有视觉显著性技术在检测复杂背景下船舶目标时只考虑空间域或频域特征，不能在突出船舶目标特征的同时抑制复杂背景的干扰，本发明提出一种融合空频域特征的光学遥感图像船舶目标检测方法来解决这些问题。
本发明所采用的技术方案是，所述融合空频域特征的光学遥感图像船舶目标检测方法，包括：
步骤1，利用原始光学遥感图像的亮度特征图、颜色特征图、亮度特征的一阶梯度组合构建图像特征图，将原始光学遥感图像进行非重叠分块得到多个图像块，计算各图像块的特征协方差矩阵，之后计算各图像块特征协方差矩阵和整幅图像特征协方差矩阵之间的特征值，得到归一化的特征值图作为原始光学遥感图像的空域特征图；
步骤2，构造原始光学遥感图像的四元数特征并对其进行傅里叶变换，将变换后的振幅谱设定为1以留下相位信息，之后对其进行傅里叶反变换，将反变换结果利用高斯滤波器进行平滑得到原始光学遥感图像的频域特征图；
步骤3，利用元胞自动机融合空域和频域的特征图得到最终的检测结果；
总而言之，通过本发明构思的技术方案与现有技术相比，具有下列优点：
(1)本发明提出的融合空频域特征的光学遥感图像船舶目标检测方法充分结合空间域特征和频域特征，在检测船舶目标时能在凸显船舶目标特征的同时抑制复杂背景的干扰。
(2)本发明提出的融合空频域特征的光学遥感图像船舶目标检测方法能抑制云雾、复杂地貌、海杂波等多种复杂背景，算法能适应较多的复杂检测场景。
附图说明
图1是本发明实施例提供的融合空频域特征的光学遥感图像船舶目标检测方法流程图。
图2是本发明实施例提供的原始光学遥感图像。
图3是本发明实施例提供的图像分块图。
图4是本发明实施例提供的原始光学遥感图像对应的空域特征图。
图5是本发明实施例提供的原始光学遥感图像对应频域特征图。
图6是本发明实施例提供的船舶检测结果图。
图7是本发明实施例提供的船舶检测结果与其它算法结果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及实施例对本发明提供的融合空频域特征的光学遥感图像船舶目标检测方法进行详细说明。应当说明，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
本发明实施例，融合空频域特征的光学遥感图像船舶目标检测方法，如图1所示，包括：
步骤1，利用原始光学遥感图像的亮度特征图、颜色特征图、亮度特征的一阶梯度组合构建图像特征图，将原始光学遥感图像进行非重叠分块得到多个图像块，计算各图像块的特征协方差矩阵，之后计算各图像块特征协方差矩阵和整幅图像特征协方差矩阵之间的特征值，得到归一化的特征值图作为原始光学遥感图像的空域特征图；
步骤2，构造原始光学遥感图像的四元数特征并对其进行傅里叶变换，将变换后的振幅谱设定为1以留下相位信息，之后对其进行傅里叶反变换，将反变换结果利用高斯滤波器进行平滑得到原始光学遥感图像的频域特征图；
步骤3，利用元胞自动机融合空域和频域的特征图得到最终的检测结果；
进一步的，所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，所述利用原始光学遥感图像的亮度特征图、颜色特征图、亮度特征的一阶梯度组合构建图像特征图的具体实现方式为：
对于原始光学遥感图像f(x,y),其亮度特征图和颜色特征图的实现如(1)-(7)式所示；其中，(x,y)表示图像坐标，r(x,y)、g(x,y)、b(x,y)为图像中对应坐标点(x,y)的RGB三个颜色的通道值，RG(x,y)和BY(x,y)为图像的颜色特征图，I(x,y)为图像的亮度特征图；
R(x,y)＝r(x,y)-(g(x,y)+b(x,y))/2 (1)
G(x,y)＝g(x,y)-(r(x,y)+b(x,y))/2 (2)
B(x,y)＝b(x,y)-(r(x,y)+g(x,y))/2 (3)
Y(x,y)＝(r(x,y)+g(x,y))/2-|r(x,y)-g(x,y)|/2-b(x,y) (4)
RG(x,y)＝R(x,y)-G(x,y) (5)
BY(x,y)＝B(x,y)-Y(x,y) (6)
I(x,y)＝(r(x,y)+g(x,y)+b(x,y))/3 (7)
对于原始光学遥感图像f(x,y)，其图像亮度特征的一阶梯度的具体实现为：
对于图像的亮度特征图I(x,y)，
和
为I(x,y)在x和y方向的一阶梯度，即
和
为图像亮度特征的一阶梯度，如式(8)(9)所示，xi和yj表示第(i,j)的像素点坐标；
最终的图像特征图可由式(10)表示：
根据以上所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，所述将原始光学遥感图像进行非重叠分块得到多个图像块，计算各图像块的特征协方差矩阵的具体实现为：
对于M*N的原始光学遥感图像f(x,y)，将图像非重叠地分为K*K块，其中，K为大于等于1，小于等于M和N，且能被M和N整除的正整数；这样得到每一个图像块大小为
对于每一个
的图像区域块R，其特征协方差矩阵计算如式(11)所示，其中，fi表示每一个
的图像区域R内各像素点的特征向量，n表示区域R内像素点总数，z表示每一个
的图像区域块R内像素点的均值特征向量，CR为每一个
的图像区域块R的特征协方差矩阵。
进一步的，所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，所述计算各图像块特征协方差矩阵和整幅图像特征协方差矩阵之间的特征值，得到归一化的特征值图作为原始光学遥感图像的空域特征图的具体实现为：
图像块特征协方差矩阵和整幅图像特征协方差矩阵之间的特征值计算如式(12)所示，其中，CR和CT分别表示图像块特征协方差矩阵和整幅图像特征协方差矩阵，由式(11)计算得到；xi为特征值λi对应的特征向量，λi表示每一个
的图像区域块R的特征值，其中i取1,2,3,4,5；
λiCRxi-CTxi＝0,i＝1,2,3,4,5 (12)
将式(12)求得的每个图像区域块Ri(i＝1…K*K)特征值
从大到小排序，得到的特征值显著图Si(i＝1,2,3,4,5)，并利用公式(13)对其进行归一化，得到最终的5幅空域特征图；
其中，min(Si)和max(Si)分别表示每一幅特征值显著图Si(i＝1,2,3,4,5)的最小值和最大值，normal(Si)表示每一幅进行归一化后的特征值显著图Si(i＝1,2,3,4,5)。
进一步的，所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，所述构造原始光学遥感图像的四元数特征并对其进行傅里叶变换的具体实现方式为，
对图像f(x,y)建立四元数特征q(x,y):
q(x,y)＝M(x,y)+RG(x,y)μ1+BY(x,y)μ2+I(x,y)μ3 (14)
其中，M(x,y)为运动特征，RG(x,y),BY(x,y),I(x,y)分别由式(5)(6)(7)得到,
μ1,μ2,μ3互相正交且μ3＝μ1μ2,由于本发明讨论的是静态图像,故M(x,y)＝0,四元数特征表达式(14)可化简如下：
q(x,y)＝f1(x,y)+f2(x,y)μ2 (15)
f1(x,y)＝M(x,y)+RG(x,y)μ1 (16)
f2(x,y)＝BY(x,y)+I(x,y)μ2 (17)
对四元数特征进行傅里叶变换：
Q[u,v]＝F1[u,v]+F2[u,v]μ2 (18)
其中，式(18)为式(15)的傅里叶变换表达式，式(19)为式(16)(17)的傅里叶变换表达式，其中M、N分别为图像f(x,y)的宽和高，u、v分别为频域图像的横坐标和纵坐标，0<＝u<M,0<＝v<N；Q[u,v]为四元数特征的傅里叶变换结果，其指数形式可表示为：
Q[u,v]＝||Q[u,v]||eφ (20)
其中，
表示相位。
进一步的，所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，所述将变换后的振幅谱设定为1以留下相位信息，之后对其傅里叶反变换的具体实现方式为：
对于式(20)得到四元数傅里叶变换结果Q[u,v]，将其振幅谱‖Q[u,v]‖设定为1，剩下相位信息，并对其进行反傅里叶变换：
其中，q2(x,y)为四元数特征反傅里叶变换结果，式(22)为反傅里叶变换表达式，
为Q[u,v]将振幅谱‖Q[u,v]‖设定为1后的频域分量，
为频域分量的反傅里叶变换结果。
进一步的，所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，所述将反变换结果利用高斯滤波器进行平滑得到原始光学遥感图像的频域特征图的具体实现方式为：
对于式(21)得到的反变换结果q2(x,y)，最终的频域特征图S(x,y)由式(23)得到，其中，g(x,y)为高斯滤波器。
S(x,y)＝g(x,y)*||q2(x,y)||2 (23)
进一步的，所述的一种融合空频域特征的光学遥感图像船舶目标检测方法,所述利用元胞自动机融合空域和频域的特征图得到最终的检测结果的具体实现方式为：
对于式(13)得到的空域特征图和式(23)得到的频域特征图，利用元胞自动机机制融合，融合公式为如式(24)所示：
其中
表示t时刻(1<＝t<＝P),第m幅特征图所有像素点(元胞)的显著值图，其中矩阵l为单位矩阵，γi表示应用Ostu阈值分割法对第i幅显著图产生的自适应阈值，
经过P个时间步之后，通过下式最终的显著图：
其中，Y为全部的特征图幅数，最终的显著图作为最终的检测结果输出。
根据以上内容，其中步骤1包括：
步骤1-1，对于如图2所示宽和高均为512个像素点的原始光学遥感图像，利用亮度特征图、颜色特征图、亮度特征的一阶梯度组合构建图像特征图。
进一步的，对于如图2所示的原始光学遥感图像f(x,y),由于图像是RGB图像，用r(x,y)、g(x,y)、b(x,y)表示图像对应的RGB三个颜色的通道值，图像的亮度特征图可由公式(7)求得，图像的颜色特征图RG(x,y)和BY(x,y)可分别由公式(5)(6)求得；
进一步的，得到图像的亮度特征图I(x,y)后，依据公式(8)(9)可以计算得到图像亮度特征I(x,y)在x和y方向的一阶梯度
和
公式(8)(9)中xi和yj表示第(i,j)的像素点坐标；
所以基于(如图2所示)原始光学遥感图像f(x,y)的RGB三个通道值r(x,y)、g(x,y)、b(x,y),可以计算得到原始光学遥感图像的亮度特征图I(x,y)、颜色特征图RG(x,y)和BY(x,y)、亮度特征的一阶梯度
和
利用这5个特征图依据式(10)构建最终的图像特征图。
步骤1-2，将原始光学遥感图像进行非重叠分块得到多个图像块，计算各图像块的特征协方差矩阵；
进一步的，对于如图2所示的512*512原始光学遥感图像，将其按照图3的方式非重叠地分为64*64块，每一个图像块大小为8*8。对于每一个8*8图像区域块R，依据公式(11)计算得到其特征协方差矩阵，公式(11)中，fi表示区域R内各像素点的5维特征向量(如式(10)所示)，n表示8*8区域R内的像素点总数，即n为64，z为8*8区域R内像素点的均值特征向量。
具体的，对于一幅512*512的原始光学遥感图像可得到64*64个图像块对应的特征协方差矩形。
步骤1-3，计算各图像块特征协方差矩阵和整幅图像特征协方差矩阵之间的特征值，得到归一化的特征值图作为原始光学遥感图像的空域特征图。
进一步的，对于一幅512*512的原始光学遥感图像得到的每一个8*8的图像块，依据公式(12)计算得到特征协方差矩阵和整幅图像特征协方差矩阵之间的特征值。公式(12)中，CR和CT分别表示图像块特征协方差矩阵和整幅图像特征协方差矩阵，xi为特征值λi对应的特征向量；
将式(12)求得的每一个8*8图像区域块Ri(i＝1…64*64)特征值
从大到小排序，得到的特征值显著图Si(i＝1,2,3,4,5)。并利用公式(13)对其进行归一化，得到最终的5幅空域特征图，如图4所示，对于每一幅遥感图像，可得到5幅特征值显著图，这5幅特征显著图中，有些特征显著图可以突出船舶目标。
进一步的，步骤2包括：
步骤2-1，构造原始光学遥感图像的四元数特征并对其进行傅里叶变换；
进一步的，根据式14对如图2所示的原始光学遥感图像f(x,y)建立四元数特征q(x,y)。
式14中，M(x,y)为运动特征，RG(x,y),BY(x,y),I(x,y)分别由式(5)(6)(7)得到,
μ1,μ2,μ3互相正交且μ3＝μ1μ2，其中考虑到本发明讨论的是静态图像,故M(x,y)＝0，将所述原始光学遥感图像的四元数特征表达式(14)化简得到式子如公式(15)(16)(17)所示。
更进一步的，对化简得到的四元数特征表达式进行傅里叶变换得到式子(18)和(19)
其中，式(18)为式(15)的傅里叶变换表达式，式(19)为式(16)(17)的傅里叶变换表达式。其中M、N分别为如图2所示的图像f(x,y)的宽和高，即M为512，N为512，u、v分别为频域图像Fi[u,v](i＝1,2)的横坐标和纵坐标，0<＝u<512,0<＝v<512；最后四元数特征的傅里叶变换结果Q[u,v]的指数形式可表示用式20表示。
步骤2-2，将变换后如式(20)所示的振幅谱设定为1以留下相位信息，之后对其进行傅里叶反变换；
进一步的，对于得到的如式(20)所示的四元数傅里叶变换结果Q[u,v]，将其振幅谱‖Q[u,v]‖设定为1，剩下相位信息，并依据式(21)(22)对其进行反傅里叶变换得到反变换结果q2(x,y)：。其中，q2(x,y)为四元数特征反傅里叶变换结果，式(22)为反傅里叶变换表达式，
为Q[u,v]将振幅谱‖Q[u,v]‖设定为1后的频域分量，
为频域分量的反傅里叶变换结果。
步骤2-3，反变换结果q2(x,y)利用高斯滤波器进行平滑得到频域特征图。
进一步的，对于式(21)得到的反变换结果q2(x,y)，利用窗口大小为5*5、标准差为8的高斯滤波器进行平滑滤波得到最终的频域特征图S(x,y)。
图5为图2所示的原始光学遥感图像的对应的频域特征图S(x,y)，可以看到对于每一幅遥感图像，可得到1幅频域特征图，且频域特征图可以较好抑制复杂背景。
进一步的，步骤3所述的利用元胞自动机融合空域和频域的特征图得到最终的检测结果；
对于式(13)得到的空域特征图(如图4所示)和式(23)得到的频域特征图(如图5所示)，即原始光学遥感图像的6幅特征图，利用元胞自动机进行融合，融合公式为如式(24)所示。
其中
表示t时刻(0<t<P＝12)，第m(1<＝m<＝6)幅特征图所有像素点(元胞)的显著值图。其中矩阵l为512*512的单位矩阵，γi表示应用Ostu阈值分割法对第i(1<＝i<＝6)幅显著图产生的自适应阈值。
经过12个时间步之后，通过式(25)得到最终的显著图，式(25)中Y＝6。
最终的显著图作为最终的检测结果输出。图6为图2所示原始光学遥感图像对应的检测结果图。图7为本发明算法和其它算法的实验对比效果，其中从左到右分别为原始图像、ITTI方法结果、CovSal方法结果、PQFT方法结果以及本发明算法结果，针对具有复杂海面地貌、云雾背景的低分辨率遥感图像，从图7可以看出，ITTI算法得到的视觉显著图不能检测出目标，显著图受到严重的干扰；而CovSal算法虽然可以检测出目标，但同时检测出大面积的背景，不能很好的区分目标和背景区域；PQFT算法虽然可以较好的抑制背景，但得到的目标区域不连续，有较多的断点，不能较好地检测出完整的舰船目标区域；本发明提出的算法一方面可以较好地抑制复杂地貌、云层等背景的干扰，同时可以较为完整的检测出舰船目标区域。
本发明实施例的方法，对比现有技术，能充分结合空间域特征和频域特征，在检测船舶目标时能在凸显船舶目标特征的同时抑制复杂背景的干扰。同时能抑制云雾、复杂地貌、海杂波等多种复杂背景，适应较多的复杂检测场景。
本发明实施例所示的附图说明，可使本发明的目的、技术方案及优点介绍得更加清楚明白。应当说明，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。凡在本发明提供的方法思路和原则之内所作的等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种融合空频域特征的光学遥感图像船舶目标检测方法，其特征在于，包括：
(1)利用原始光学遥感图像的亮度特征图、颜色特征图、亮度特征的一阶梯度组合构建图像特征图，将原始光学遥感图像进行非重叠分块得到多个图像块，计算各图像块的特征协方差矩阵，之后计算各图像块特征协方差矩阵和整幅图像特征协方差矩阵之间的特征值，得到归一化的特征值图作为原始光学遥感图像的空域特征图。
(2)构造原始光学遥感图像的四元数特征并对其进行傅里叶变换，将变换后的振幅谱设定为1以留下相位信息，之后对其进行傅里叶反变换，将反变换结果利用高斯滤波器进行平滑得到原始光学遥感图像的频域特征图。
(3)利用元胞自动机融合空域和频域的特征图得到最终的检测结果。
2.根据权利要求1所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，其特征在于，所述利用原始光学遥感图像的亮度特征图、颜色特征图、亮度特征的一阶梯度组合构建图像特征图的具体实现方式为：
对于原始光学遥感图像f(x,y),其亮度特征图和颜色特征图的实现如(1)-(7)式所示；其中，(x,y)表示图像坐标，r(x,y)、g(x,y)、b(x,y)为图像中对应坐标点(x,y)的RGB三个颜色的通道值，RG(x,y)和BY(x,y)为图像的颜色特征图，I(x,y)为图像的亮度特征图；
R(x,y)＝r(x,y)-(g(x,y)+b(x,y))/2 (1)
G(x,y)＝g(x,y)-(r(x,y)+b(x,y))/2 (2)
B(x,y)＝b(x,y)-(r(x,y)+g(x,y))/2 (3)
Y(x,y)＝(r(x,y)+g(x,y))/2-|r(x,y)-g(x,y)|/2-b(x,y) (4)
RG(x,y)＝R(x,y)-G(x,y) (5)
BY(x,y)＝B(x,y)-Y(x,y) (6)
I(x,y)＝(r(x,y)+g(x,y)+b(x,y))/3 (7)
优选的，对于原始光学遥感图像f(x,y)，其图像亮度特征的一阶梯度的具体实现为：
对于图像的亮度特征图I(x,y)，
和
为I(x,y)在x和y方向的一阶梯度，即
和
为图像亮度特征的一阶梯度，如式(8)(9)所示，xi和yj表示第(i,j)的像素点坐标；
最终的图像特征图可由式(10)表示：
3.根据权利要求1或2所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，其特征在于，所述将原始光学遥感图像进行非重叠分块得到多个图像块，计算各图像块的特征协方差矩阵的具体实现为：
对于M*N的原始光学遥感图像f(x,y)，将图像非重叠地分为K*K块，其中，K为大于等于1，小于等于M和N，且能被M和N整除的正整数；这样得到每一个图像块大小为
对于每一个
的图像区域块R，其特征协方差矩阵计算如式(11)所示，其中，fi表示每一个
的图像区域R内各像素点的特征向量，n表示区域R内像素点总数，z表示每一个
的图像区域块R内像素点的均值特征向量，CR为每一个
的图像区域块R的特征协方差矩阵。
4.根据权利要求1-3任一项所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，其特征在于，所述计算各图像块特征协方差矩阵和整幅图像特征协方差矩阵之间的特征值，得到归一化的特征值图作为原始光学遥感图像的空域特征图的具体实现为：
图像块特征协方差矩阵和整幅图像特征协方差矩阵之间的特征值计算如式(12)所示，其中，CR和CT分别表示图像块特征协方差矩阵和整幅图像特征协方差矩阵，由式(11)计算得到；xi为特征值λi对应的特征向量，λi表示每一个
的图像区域块R的特征值，其中i取1,2,3,4,5；
λiCRxi-CTxi＝0,i＝1,2,3,4,5 (12)
将式(12)求得的每个图像区域块Ri(i＝1....K*K)特征值
从大到小排序，得到的特征值显著图Si(i＝1,2,3,4,5)，并利用公式(13)对其进行归一化，得到最终的5幅空域特征图；
其中，min(Si)和max(Si)分别表示每一幅特征值显著图Si(i＝1,2,3,4,5)的最小值和最大值，normal(Si)表示每一幅进行归一化后的特征值显著图Si(i＝1,2,3,4,5)。
5.根据权利要求1-4任一项所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，其特征在于，所述构造原始光学遥感图像的四元数特征并对其进行傅里叶变换的具体实现方式为，
对图像f(x,y)建立四元数特征q(x,y):
q(x,y)＝M(x,y)+RG(x,y)μ1+BY(x,y)μ2+I(x,y)μ3 (14)
其中，M(x,y)为运动特征，RG(x,y),BY(x,y),I(x,y)分别由式(5)(6)(7)得到,
μ1,μ2,μ3互相正交且μ3＝μ1μ2,由于本发明讨论的是静态图像,故M(x,y)＝0,四元数特征表达式(14)可化简如下：
q(x,y)＝f1(x,y)+f2(x,y)μ2 (15)
f1(x,y)＝M(x,y)+RG(x,y)μ1 (16)
f2(x,y)＝BY(x,y)+I(x,y)μ2 (17)
对四元数特征进行傅里叶变换：
Q[u,v]＝F1[u,v]+F2[u,v]μ2 (18)
其中，式(18)为式(15)的傅里叶变换表达式，式(19)为式(16)(17)的傅里叶变换表达式，其中M、N分别为图像f(x,y)的宽和高，u、v分别为频域图像的横坐标和纵坐标，0<＝u<M,0<＝v<N；Q[u,v]为四元数特征的傅里叶变换结果，其指数形式可表示为：
Q[u,v]＝||Q[u,v]||eφ (20)
其中，
表示相位。
6.根据权利要求1-5任一项所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，其特征在于，所述将变换后的振幅谱设定为1以留下相位信息，之后对其傅里叶反变换的具体实现方式为：
对于式(20)得到四元数傅里叶变换结果Q[u,v]，将其振幅谱‖Q[u,v]‖设定为1，剩下相位信息，并对其进行反傅里叶变换：
其中，q2(x,y)为四元数特征反傅里叶变换结果，式(22)为反傅里叶变换表达式，
为Q[u,v]将振幅谱‖Q[u,v]‖设定为1后的频域分量，
为频域分量的反傅里叶变换结果。
7.根据权利要求1-6任一项所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，其特征在于，所述将反变换结果利用高斯滤波器进行平滑得到原始光学遥感图像的频域特征图的具体实现方式为：
对于式(21)得到的反变换结果q2(x,y)，最终的频域特征图S(x,y)由式(23)得到，其中，g(x,y)为高斯滤波器。
S(x,y)＝g(x,y)*||q2(x,y)||2 (23)。
8.根据权利要求1-7任一项所述的一种融合空频域特征的光学遥感图像船舶目标检测方法，其特征在于,所述利用元胞自动机融合空域和频域的特征图得到最终的检测结果的具体实现方式为：
对于式(13)得到的空域特征图和式(23)得到的频域特征图，利用元胞自动机机制融合，融合公式为如式(24)所示：
其中
表示t时刻(1<＝t<＝P),第m幅特征图所有像素点(元胞)的显著值图，其中矩阵l为单位矩阵，γi表示应用Ostu阈值分割法对第i幅显著图产生的自适应阈值，
经过P个时间步之后，通过下式最终的显著图：
其中，Y为全部的特征图幅数，最终的显著图作为最终的检测结果输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010539531.3A CN111881725B (zh) | 2020-06-14 | 2020-06-14 | 一种融合空频域特征的光学遥感图像船舶目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010539531.3A CN111881725B (zh) | 2020-06-14 | 2020-06-14 | 一种融合空频域特征的光学遥感图像船舶目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111881725A true CN111881725A (zh) | 2020-11-03 |
| CN111881725B CN111881725B (zh) | 2024-01-12 |
Family
ID=73158320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010539531.3A Active CN111881725B (zh) | 2020-06-14 | 2020-06-14 | 一种融合空频域特征的光学遥感图像船舶目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111881725B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112946684A (zh) * | 2021-01-28 | 2021-06-11 | 浙江大学 | 基于光学目标信息辅助的电磁遥感智能成像系统与方法 |
| CN114202705A (zh) * | 2022-02-16 | 2022-03-18 | 清华大学 | 光谱特征时间序列构建方法及系统 |
| CN114240935A (zh) * | 2022-02-24 | 2022-03-25 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种空频域特征融合的医学影像特征识别方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065136A (zh) * | 2013-01-29 | 2013-04-24 | 中国电子科技集团公司第二十八研究所 | 一种基于视觉注意机制的sar图像协同目标识别方法 |
| CN103413127A (zh) * | 2013-09-10 | 2013-11-27 | 上海海事大学 | 基于频谱奇异值分解的海上目标显著性检测方法 |
| CN106384344A (zh) * | 2016-08-30 | 2017-02-08 | 中国科学院长春光学精密机械与物理研究所 | 一种光学遥感图像海面舰船目标检测与提取方法 |
| CN109934802A (zh) * | 2019-02-02 | 2019-06-25 | 浙江工业大学 | 一种基于傅里叶变换和图像形态学的布匹疵点检测方法 |
| CN110414411A (zh) * | 2019-07-24 | 2019-11-05 | 中国人民解放军战略支援部队航天工程大学 | 基于视觉显著性的海面船只候选区域检测方法 |
-
2020
- 2020-06-14 CN CN202010539531.3A patent/CN111881725B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065136A (zh) * | 2013-01-29 | 2013-04-24 | 中国电子科技集团公司第二十八研究所 | 一种基于视觉注意机制的sar图像协同目标识别方法 |
| CN103413127A (zh) * | 2013-09-10 | 2013-11-27 | 上海海事大学 | 基于频谱奇异值分解的海上目标显著性检测方法 |
| CN106384344A (zh) * | 2016-08-30 | 2017-02-08 | 中国科学院长春光学精密机械与物理研究所 | 一种光学遥感图像海面舰船目标检测与提取方法 |
| CN109934802A (zh) * | 2019-02-02 | 2019-06-25 | 浙江工业大学 | 一种基于傅里叶变换和图像形态学的布匹疵点检测方法 |
| CN110414411A (zh) * | 2019-07-24 | 2019-11-05 | 中国人民解放军战略支援部队航天工程大学 | 基于视觉显著性的海面船只候选区域检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHONG YAN 等: "Space-time Joint Anti-jamming Research Based on Pseudo-covariance Matrix", IEEE * |
| 黎经元 等: "基于边缘线分析与聚合通道特征的港口舰船检测", 光学学报, vol. 39, no. 8 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112946684A (zh) * | 2021-01-28 | 2021-06-11 | 浙江大学 | 基于光学目标信息辅助的电磁遥感智能成像系统与方法 |
| CN112946684B (zh) * | 2021-01-28 | 2023-08-11 | 浙江大学 | 基于光学目标信息辅助的电磁遥感智能成像系统与方法 |
| CN114202705A (zh) * | 2022-02-16 | 2022-03-18 | 清华大学 | 光谱特征时间序列构建方法及系统 |
| CN114202705B (zh) * | 2022-02-16 | 2022-05-20 | 清华大学 | 光谱特征时间序列构建方法及系统 |
| CN114240935A (zh) * | 2022-02-24 | 2022-03-25 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种空频域特征融合的医学影像特征识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111881725B (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111881725B (zh) | 一种融合空频域特征的光学遥感图像船舶目标检测方法 | |
| CN106023257B (zh) | 一种基于旋翼无人机平台的目标跟踪方法 | |
| CN109740445B (zh) | 一种变尺寸的红外弱小目标检测方法 | |
| US9971944B2 (en) | Unstructured road boundary detection | |
| CN108876723A (zh) | 一种灰度目标图像的彩色背景的构建方法 | |
| Zhou et al. | Background modeling in the Fourier domain for maritime infrared target detection | |
| CN108647693B (zh) | 一种基于二元显著性特征的海面红外目标检测方法 | |
| CN112633274A (zh) | 一种声呐图像目标检测方法、装置、电子设备 | |
| CN114764801A (zh) | 基于多视觉显著特征的弱小舰船目标融合检测方法及装置 | |
| CN107609537B (zh) | 一种基于hsv空间水面图像特征的水岸线检测方法 | |
| CN111311503A (zh) | 一种夜晚低亮度图像增强系统 | |
| CN113205494B (zh) | 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统 | |
| Shiting et al. | Clustering-based shadow edge detection in a single color image | |
| Kovacs et al. | Orientation based building outline extraction in aerial images | |
| Wang et al. | Hard shadows removal using an approximate illumination invariant | |
| CN110874599A (zh) | 一种基于图像识别的舰船检测方法 | |
| CN109087334B (zh) | 基于显著语境稀疏表示的目标追踪方法 | |
| Liu et al. | Infrared and visible image fusion for shipborne electro-optical pod in maritime environment | |
| Fan et al. | Edge detection of color road image based on lab model | |
| Xie et al. | UAV cluster detection algorithm based on weighted tri-layer window local contrast | |
| CN104732503B (zh) | 图像去雾增强方法和装置 | |
| CN113408615A (zh) | 一种基于光学卫星遥感影像的船只自动匹配方法 | |
| CN105787961B (zh) | 基于背景颜色信息加权的目标直方图的Camshift运动目标跟踪方法 | |
| CN110363777A (zh) | 一种基于可简化的空间约束混合模型的海面图像语义分割方法 | |
| Nair et al. | Single Image Dehazing Using Multi-Scale DCP-BCP Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |