CN115222758A - 一种低分辨广域序列遥感影像船动目标实时检测算法 - Google Patents

一种低分辨广域序列遥感影像船动目标实时检测算法 Download PDF

Info

Publication number
CN115222758A
CN115222758A CN202211148081.0A CN202211148081A CN115222758A CN 115222758 A CN115222758 A CN 115222758A CN 202211148081 A CN202211148081 A CN 202211148081A CN 115222758 A CN115222758 A CN 115222758A
Authority
CN
China
Prior art keywords
target
area
image
low
suspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211148081.0A
Other languages
English (en)
Other versions
CN115222758B (zh
Inventor
黄丹
禹霁阳
沈平生
李金洋
罗华军
张顺利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing High Tech Zone Feima Innovation Research Institute
Beijing Jiuzhang Xingtu Technology Co ltd
Original Assignee
Chongqing High Tech Zone Feima Innovation Research Institute
Beijing Jiuzhang Xingtu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing High Tech Zone Feima Innovation Research Institute, Beijing Jiuzhang Xingtu Technology Co ltd filed Critical Chongqing High Tech Zone Feima Innovation Research Institute
Priority to CN202211148081.0A priority Critical patent/CN115222758B/zh
Publication of CN115222758A publication Critical patent/CN115222758A/zh
Application granted granted Critical
Publication of CN115222758B publication Critical patent/CN115222758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种低分辨广域序列遥感影像船动目标实时检测算法,属于光学遥感影像数据处理技术领域。主要包括获取低分辨广域图像数据,并利用形态学重构算法进行图像增强;对图像增强后的图像数据进行自适应阈值分割;对分割后的二值图像进行连通域标记,根据连通域标记结果,获取一级疑似目标集合;对一级疑似目标集合,进行灰度特征计算,进行基于SVM的二分类计算,获取二级疑似目标集合;根据二级疑似目标集合中船动目标前后帧的相关性,获取三级疑似目标集合;针对三级疑似目标集合,采用S‑Yolo算法,进行进一步特征识别,获取四级疑似目标集合。本发明通过船动目标的多级鉴别,提高了船动目标检查的准确率。

Description

一种低分辨广域序列遥感影像船动目标实时检测算法
技术领域
本发明涉及光学遥感影像数据处理技术领域,更具体的说是涉及一种低分辨广域序列遥感影像船动目标实时检测算法。
背景技术
以海上船目标检测识别为代表的光学遥感影像数据处理技术,已经成为当前星地一体化智能应用的核心关键,在渔业管理、海上救援、区域监测得到了广泛的应用。长期以来,船目标实时检测主要依赖于高分系列遥感卫星,但存在任务需求单位多、成像位置时间差异大、卫星任务规划难的问题,成像过程受到昼夜、云层、晨昏光暗因素干扰,一些实时观测需求难以满足。
近些年涌现出的一批民用遥感小卫星,有效填补了成像应用任务的缺口。相比于大平台高分系列卫星,小卫星成像分辨率较低、平均清晰度不高、平台稳定度性能一般,导致了所产生的原始图像产品质量不高。但考虑到时间-空间覆盖率,以及紧急情况下的应用需求,低分辨广域海域的遥感影像能够有效展示目标周边状态,且序列图像能够展现目标自身运动信息,在实时应用场景中受到了广泛关注。
米级/十米级分辨率图像中,中小型船只呈现出楔形高斯状灰度分布,目标纹理细节消失只保留船体外观轮廓,从细节特征及目标周边上下文难以具体确认是否为船只。低分辨场景下,海况趋于平缓、船只拖尾痕迹难以识别,碎云所形成的类似船体形状对降低虚警造成了极大的影响。图像序列能够根据运动信息对虚警进行剔除,但需要考虑前后帧稀疏配准信息下的低置信度帧间目标关联如何处理,结合目标自身运动特征形成轨迹信息。
以往的遥感船动目标检测算法主要集中于基于机器学习、深度学习的识别分类,然而低分辨率数据难以形成准确的特征或纹理细节训练数据集,同时由于传动目标与虚警统计特性基本趋于一致导致部分虚警很难通过积累数据的方法实现剔除。深度卷积网络能够有效完成遥感图像的目标检测、语义分割及补全生成,但也面临着大幅宽数据无法实时处理、低分辨数据难以准确识别的问题。特别是面临背景碎云较多的场景,低分辨数据仅能依靠轮廓和目标灰度大致分布来区分目标,传统CNN算法往往会得到大量疑似船目标的虚警。
因此,如何提高遥感影像船动目标检测效率,有效剔除船只疑似目标虚警是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种低分辨广域序列遥感影像船动目标实时检测算法,通过船动目标在大数据中的关联以及船只运动状态剔除虚警。
为了实现上述目的,本发明采用如下技术方案:
一种低分辨广域序列遥感影像船动目标实时检测算法,包括以下步骤:
S1、获取低分辨广域图像数据,并对所述低分辨广域图像数据利用形态学重构算法进行图像增强;
S2、对图像增强后的低分辨广域图像数据进行自适应阈值分割,获取分割后的二值图像;
S3、对二值图像进行连通域标记,根据连通域标记结果,获取一级疑似目标集合;
S4、对一级疑似目标集合中的所有目标,进行灰度特征计算,并根据灰度特征进行基于SVM的二分类计算,获取二级疑似目标集合;
S5、根据二级疑似目标集合中船动目标前后帧的相关性,获取三级疑似目标集合;
S6、针对三级疑似目标集合,采用S-Yolo算法,进行进一步特征识别,获取四级疑似目标集合,得到最终的遥感影像船动目标。
优选的,步骤S1中利用形态学重构算法进行图像增强,具体包括,
根据低分辨广域图像数据,获取大小为M×N的图像矩阵I并进行迭代Top-Hat变换:
I m+1 = (OTH β (x,y)μ 1 +CTH β (x,y)μ 2
其中,
OTH β (x,y)=( I m - (I m Θβ )⊕β)(x,y);
CTH β (x,y)=((I m ββ- I m )(x,y);
式中,β代表正方形全1结构元素,x,y分别表示图像矩阵中像素点的横纵坐标,x∈[0, M - 1],y∈[0, N - 1],m表示当前迭代次数,m∈[0, R - 1],R代表迭代总次数,OTHCTH分别代表正Top-Hat变换和逆Top-Hat变换,⊕代表膨胀操作,Θ代表腐蚀操作,μ 1 μ 2 分别代表正Top-Hat变换的权重参数和逆Top-Hat变换的权重参数。
优选的,步骤S2,具体包括,
S21、针对图像增强后的低分辨广域图像数据,获取目标窗口T b 、保护窗口P和背景窗口B,其中,所述目标窗口T b 包括待检测目标的灰度信息;所述保护窗口P包括待检测目标与背景过度之间的灰度信息,用于保护待检测目标弥散部分不被统计到背景窗口;所述背景窗口涵盖海面噪声信息;
S22、根据目标窗口T b 的均值μ Tb 和背景窗口B的均值μ B 进行阈值分割,获取二值图像:
Figure 807914DEST_PATH_IMAGE001
,式中,T Thr 为二值化比较阈值。
优选的,步骤S21中,目标窗口T b 检测到目标的判断依据是目标区域重构增强结果的均值信噪比δ e 满足:
Figure 798742DEST_PATH_IMAGE002
优选的,步骤S3具体包括:
S31、对二值图像Y b (x,y)进行连通域标记得到连通域集合
Figure 151226DEST_PATH_IMAGE003
其中,G表示连通域集合中的区域个数,
Figure 906823DEST_PATH_IMAGE004
表示第i个区域x坐标的序列集合,
Figure 656342DEST_PATH_IMAGE005
表示第i个区域y坐标的序列集合;
S32、根据连通域集合中每个连通区域的面积大小进行筛选,获取一级疑似目标集合
Figure 76959DEST_PATH_IMAGE006
Figure 610183DEST_PATH_IMAGE007
其中,φ表示空,S low =5和S high =100分别表示面积阈值的下限和上限,Area i 代表一级疑似目标集合中第i个目标区域A i 的面积大小。
优选的,步骤S4中对一级疑似目标集合中的所有目标,进行灰度特征计算,具体包括:
S411、对任一一级疑似目标集合中的目标区域,以区域质心为中心,提取长度为52像素的正方形切片,进行S-HOG特征计算;
S412:将每个正方形切片分割成若干大小为13*13像素Cell,将分割的每个Cell的梯度方向分为8个方向,计算每个Cell位于同一方向梯度的梯度幅值,获取8维的Cell特征向量;
S413:将每相邻4个Cell的特征向量组合成一个Block的特征向量;
S414:将每个Block的特征向量进行合并获取每个正方形切片的特征向量,并获取每个正方形切片的特征向量对应的特征值
Figure 159850DEST_PATH_IMAGE008
优选的,步骤S4中根据灰度特征进行基于SVM的二分类计算,获取二级疑似目标集合,具体包括:
S421、输入待训练的特征值
Figure 927824DEST_PATH_IMAGE009
,及类别集合v i ={0,1},0代表干扰目标,1代表船目标;
S422、构造求解最优化公式
Figure 683290DEST_PATH_IMAGE010
,及约束条件:
Figure 275946DEST_PATH_IMAGE011
,式中,G'表示一级疑似目标集合中目标区域的个数,c是损失参数,a i a j 是拉格朗日乘子,K(u i , u j )为径向基核函数
Figure 638925DEST_PATH_IMAGE012
γ>0,u i 为每个正方形切片的特征向量中第i个特征值,u j 为每个正方形切片的特征向量中第j个特征值,γ为核参数;
S423、根据求解最优化公式及约束条件,求解拉格朗日乘子最优解a * ,并计算阈值b
Figure 785873DEST_PATH_IMAGE013
S424、根据阈值b获取最终决策函数:
Figure 345030DEST_PATH_IMAGE014
并根据最终决策函数得到二级疑似目标集合
Figure 323350DEST_PATH_IMAGE015
u表示决策函数中的变量,则二级疑似目标集合使用公式
Figure 247444DEST_PATH_IMAGE016
进行表示;
优选的,步骤S5具体包括:
定义连续拍摄的序列图像中第q帧图像为f q ,第q帧中的目标标记为D q,g ,其中g∈[0,G''-1],G''表示二级疑似目标集合
Figure 933552DEST_PATH_IMAGE015
中目标区域的个数;第q+1帧图像为f q+1 ,以第q帧的目标D q,g 的坐标为圆心,以r为半径在第q+1帧图像进行搜索,搜索圆内区域的目标,获取第q帧三级疑似目标集合
Figure 296401DEST_PATH_IMAGE017
,其中,r∈[5,30],rZ + Z + 表示正整数。
优选的,步骤S6具体包括:
S61、根据三级疑似目标集合
Figure 332490DEST_PATH_IMAGE017
获取序列图像中目标obj的S个序列集合
Figure 489802DEST_PATH_IMAGE018
S62、利用S-Yolo网络对序列集合中的目标进行鉴别,所述S-Yolo网络包括三个卷积层、三个Maxpool层以及一个Yolo预测层,如果序列集合中有效目标判断结果超过判别阈值Thr Y ,则认为所述序列集合中的目标为有效目标,得到第四级疑似目标集合,具体公式如下:
Figure 408079DEST_PATH_IMAGE019
式中,φ表示空集合,Y()表示Yolo预测层计算函数,
Figure 512301DEST_PATH_IMAGE020
表示需要计算求取累加值的三级疑似目标集合中第i个子集。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种低分辨广域序列遥感影像船动目标实时检测算法,首先,针对低分辨广域图像数据(低分辨暗弱目标)进行显著性增强计算,经过形态学迭代重建处理提高目标灰度与周边背景的对比度,去除小像素干扰灰度噪声及边缘弥散造成的特征不平滑,提升目标提取的完整性;然后,采用目标与周边噪声的对比度实现前后景的自适应分割计算,获取疑似目标像素级对应位置(一级疑似目标);再根据简化HOG特征结合支持向量机,剔除大部分虚警目标得到二级疑似目标结果,并根据序列图像的局部预测搜索获得目标序列并剔除非序列虚警目标(包括静止船目标,得到三级疑似目标结果);最后,采用轻量化CNN网络S-Yolo对目标序列进行识别,实现剩余目标的最终鉴别(获取四级疑似目标结果)。由于采用了多级鉴别,计算量较大的目标随着疑似目标逐渐减少总计算量依次降低,在有效满足准确率的同时保障了计算的实时性。同时相比于传统Yolo Tiny V2/V3系列网络,本方法具有更快的计算速度和更好的检测性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的方法步骤流程示意图;
图2 为本发明提供的切片D i 中S-HOG特征值及集合示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例公开了一种低分辨广域序列遥感影像船动目标实时检测算法,包括以下步骤:
S1、获取低分辨广域图像数据,并对所述低分辨广域图像数据利用形态学重构算法进行图像增强;
这一步的主要目的在于针对采集到的低分辨广域图像数据(低分辨暗弱目标)进行显著性增强计算,经过形态学迭代重建处理提高船动目标灰度与周边背景的对比度,去除小像素干扰灰度噪声及边缘弥散造成的特征不平滑,提升船动目标提取的完整性。
具体可采用以下步骤:
针对采集到的低分辨广域图像数据,获取大小为M×N的图像矩阵I并进行迭代Top-Hat变换:
I m+1 = (OTH β (x,y)μ 1 +CTH β (x,y)μ 2 ) (1)
其中,
OTH β (x,y)=( I m - (I m Θβ )⊕β)(x,y);
CTH β (x,y)=((I m ββ- I m )(x,y);
其中,β代表正方形全1结构元素,x,y分别表示图像矩阵中像素点的横纵坐标,x∈[0, M - 1],y∈[0, N - 1],m表示当前迭代次数,m∈[0, R - 1],R代表迭代总次数,OTHCTH分别代表正Top-Hat变换和逆Top-Hat变换,⊕代表膨胀操作,Θ代表腐蚀操作,μ 1 μ 2 分别代表正Top-Hat变换的权重参数和逆Top-Hat变换的权重参数(默认μ 1 μ 2 均为1)
迭代Top-Hat变换,采用较小的结构元素β(比如3*3)进行Top-Hat变换(包括正Top-Hat变换和逆Top-Hat变换)计算,计算结果作为输入图像再次进行Top-Hat变换,经过多次迭代变换计算之后,相当于采用了较大的结构元素进行直接计算。由于此过程采用较小的结构元素,能够减小在工程实现过程中的缓存大小,例如3*3结构元素下,只需要开辟3行图像缓存,如果是15*15的结构元素,需要开辟15行图像缓存,因此有5倍缓存资源差异,同时也节省了并行流水比较过程比较起和寄存器的占用,提高了数字逻辑设计中最大可执行频率。
形态学重构结果为I R ,重构前后船目标的灰度分布以及重构前后碎云目标的灰度分布中,重构后船目标能量更加集中,轮廓边缘相对于背景噪声更加容易区分,同时有效抑制了背景干扰噪声。碎云目标在经过重构后,其外围轮廓同样更加清晰,能够通过轮廓剔除掉大部分虚警目标。重构过程中,需要根据目标的大小进行重构迭代次数设置,如果迭代次数太小起不到增强效果,次数太多会增加计算量。
S2、对图像增强后的低分辨广域图像数据进行自适应阈值分割,获取分割后的二值图像;
这一步的目的在于采用目标与周边噪声的对比度实现前后景的自适应分割计算,得到二值图像。
具体包括以下步骤:
S21、针对图像增强后的低分辨广域图像数据,获取目标窗口T b 、保护窗口P和背景窗口B,(目标窗口T b 、保护窗口P和背景窗口B所对应的长度参数分别为r Tb r P r B )其中,所述目标窗口T b 包括待检测目标的灰度信息;所述保护窗口P包括待检测目标与背景过度之间的灰度信息,用于保护待检测目标弥散部分不被统计到背景窗口;所述背景窗口涵盖海面噪声信息;
目标窗口T b 检测到待检测目标的判断依据是目标区域重构增强结果的均值信噪比δ e 满足:
Figure 950367DEST_PATH_IMAGE002
(2)
S22、根据目标窗口T b 的均值μ Tb 和背景窗口B的均值μ B 进行阈值分割,获取二值图像:
Figure 278580DEST_PATH_IMAGE001
(3)
式中,T Thr 为二值化比较阈值。
步骤S2的自适应分割计算过程体现在公式(2)和(3),公式(3)是自适应分割的过程,就是在整个图像范围内进行以公式(3)为判断标准的滑窗判断,如果超过阈值则像素置为1,否则为0。由于在不同区域,采用目标区域与周边噪声区域比较的方式,而且在不同区域比较的数值只跟该区域有关,而且最终生成了二值图像,所以是自适应分割计算,经过自适应阈值分割后,根据对比度提取暗弱目标,既降低了后续需要处理的图像数据量,又消除了背景噪声对疑似暗弱目标的干扰。
S3、对二值图像进行连通域标记,根据连通域标记结果,获取一级疑似目标集合;
这一步的目的在于对二值图像进行连通域标记,获取一级疑似目标集合。
具体包括:
S31、对二值图像进行连通域标记得到连通域集合
Figure 621837DEST_PATH_IMAGE003
,其中,G表示连通域集合中的区域个数,
Figure 293864DEST_PATH_IMAGE004
表示第i个区域x坐标的序列集合,
Figure 835704DEST_PATH_IMAGE005
表示第i个区域y坐标的序列集合;
S32、根据连通域集合中每个连通区域的面积大小进行筛选,获取一级疑似目标集合
Figure 380824DEST_PATH_IMAGE006
Figure 8114DEST_PATH_IMAGE007
(4)
其中,φ表示空,S low =5和S high =100分别表示面积阈值的下限和上限,Area i 代表一级疑似目标集合
Figure 250877DEST_PATH_IMAGE021
中第i个目标区域A i 的面积大小。
在步骤S1-S3过程中,考虑船目标宽度在3个像素左右,形态学重构采用的正方形全1结构元素β大小为3×3,即
Figure 850485DEST_PATH_IMAGE022
;重构迭代次数R与目标区域重构结果的均值信噪比δ e 相关,与光照条件、成像侧摆角、目标海况等条件相关,在实际应用中考虑工作模式往往在同一时间段观测相同区域,因此对区域内大量目标进行处理后的均值信噪比δ e 观察,在一个具体实施例中,对80组数据进行统计,迭代次数为3时δ e 达到最优,得到最优重构迭代次数R optimal =3;自适应阈值分割中的阈值T Thr ,主要与成像区域海况、海面背景灰度均值/方差相关,考虑到在低分辨率下经过重构后海面灰度分布趋于统一,对80组数据进行统计,得到T Thr =1.2;连通域标记并计算疑似目标面积,通过面积剔除较大、较小目标,面积上下限数值分别为S low =5和S high =100。
S4、对一级疑似目标集合中的所有目标,进行灰度特征计算,并根据灰度特征进行基于SVM的二分类计算,获取二级疑似目标集合;
这一步骤主要包括灰度特征计算和基于SVM的二分类计算两个步骤;
经过步骤S1-S3之后已经对船目标的边缘及灰度分布实现了增强,伽马增强反而会增加噪声对目标的干扰,因此灰度特征计算主要包括以下步骤:
S411、对任一一级疑似目标集合中的目标区域(也就是一级疑似目标集合A' i的任意一个),以区域质心为中心,提取长度为52像素的正方形切片D i ,进行S-HOG特征计算。
区域质心可表示为
Figure 786080DEST_PATH_IMAGE023
S412:将每个正方形切片分割成若干大小为13*13像素Cell,将分割的每个Cell的梯度方向分为8个方向(0°、45°、90°、135°、180°、225°、270°、315°),计算每个Cell位于同一方向梯度的梯度幅值,获取8维的Cell特征向量;
S413:将每相邻4个Cell的特征向量组合成一个Block的特征向量;
S414:将每个Block的特征向量进行合并获取每个正方形切片的特征向量,并获取每个正方形切片的特征向量对应的特征值
Figure 103929DEST_PATH_IMAGE008
如图2所示,每个合成的Block的特征值可表示为:
Figure 901115DEST_PATH_IMAGE024
每个正方形切片切片共计有9个Block,每个Block有32个特征值,每个正方形切片共计有288个特征值。如此设计能够提高特征值对图像区域的覆盖,防止边缘处特征不够强导致特征量较小的现象出现。
基于SVM的二分类计算,获取二级疑似目标集合主要包括:
对单个正方形切片图像D i 的特征值进行基于SVM的二分类计算,考虑特征维度较高,采用非线性SVM,训练及决策计算分为以下几个步骤:
S421、输入待训练的特征值
Figure 417547DEST_PATH_IMAGE009
,及类别集合v i ={0,1},0代表干扰目标,1代表船目标;
S422、构造求解最优化公式
Figure 461726DEST_PATH_IMAGE010
,及约束条件:
Figure 329188DEST_PATH_IMAGE011
,式中,G'表示一级疑似目标集合中目标区域的个数,c是损失参数,a i a j 是拉格朗日乘子,K(u i , u j )为径向基核函数
Figure 117016DEST_PATH_IMAGE012
γ>0,u i 为每个正方形切片的特征向量中第i个特征值,u j 为每个正方形切片的特征向量中第j个特征值,γ为核参数,K函数就是对特征向量中的任意两个特征值进行计算;
S423、根据求解最优化公式及约束条件,求解拉格朗日乘子最优解a * ,并计算阈值b
Figure 956796DEST_PATH_IMAGE013
S424、根据阈值b获取最终决策函数:
Figure 437456DEST_PATH_IMAGE014
并根据最终决策函数得到二级疑似目标集合
Figure 729897DEST_PATH_IMAGE015
u表示决策函数中的变量,则二级疑似目标集合使用公式
Figure 689457DEST_PATH_IMAGE016
进行表示。
即将特征向量中的每个特征值带入最终决策函数f(u),按照公式即可得到二级疑似目标集合
Figure 383743DEST_PATH_IMAGE025
S5、根据二级疑似目标集合中船动目标前后帧的相关性,获取三级疑似目标集合;
这一步骤目的在于根据序列图像的局部预测搜索获得目标序列并剔除非序列虚警目标。通过前后帧中目标的相关性排除干扰虚警目标,假设前提是认为在短观测时间内认为目标匀速运动,相邻帧之间目标位置差等于移动距离与帧间姿轨误差之和。考虑到在轨相邻帧之间像素级误差的随机性,在帧间搜索过程中采用保守的圆搜索方法,搜索半径r与移动距离与帧间姿轨误差之和成正比。因此步骤S5主要包括:
定义连续拍摄的序列图像中第q帧图像为f q ,第q帧中的目标标记为D q,g ,其中g∈[0,G''-1],G''表示二级疑似目标集合中目标区域的个数;第q+1帧图像为f q+1 ,以第q帧的目标D q,g 的坐标为圆心,以r为半径在第q+1帧图像进行搜索,搜索圆内区域的目标,获取第q帧三级疑似目标集合
Figure 35305DEST_PATH_IMAGE026
,其中,r∈[5,30]rZ + Z + 表示正整数,即第q帧三级疑似目标集合
Figure 80621DEST_PATH_IMAGE026
可表示为:
Figure 538147DEST_PATH_IMAGE027
(5)
其中, i,j,k∈[0,P''-1],| | m 表示两个坐标点的马氏距离。D q,i 表示第q帧第 i个目标的坐标,D q+1,j 表示第q+1帧第 j个目标的坐标,D q+2,k 表示第q+2帧第 k个目标的坐标,φ表示空集合,半径r可在取值范围内根据实际情况进行调整。
当连续三帧都出现半径范围内目标时认为目标存在,否则认为该目标不存在。在实际应用中,可以根据实时性需求增加三级疑似目标集合公式中的多帧关联序列个数,用以提高目标鉴别的置信度。经过关联鉴别后,干扰目标特别是碎云造成的虚警得到了较好剔除,但也要考虑到序列关联过程中目标收到云层遮挡、海况干扰造成某一帧漏检,适当增加容忍度以提高关联鉴别的适应性。
S6、针对三级疑似目标集合,采用S-Yolo算法,进行进一步特征识别,获取四级疑似目标集合,得到最终的遥感影像船动目标。
经过三次鉴别虚警剔除,仍然会有碎云干扰具有类似船目标的移动关联特征,此时需要考虑采用图像的细节特征进行进一步虚警剔除。同时,此时数据以切片形式保留,目标及虚警数据量急剧下降,可以考虑采用CNN方法进行目标精细化特征识别。
步骤S1-S3过程中前后景分割造成目标质心定位精度不够,HOG特征对于低分辨率云船边缘、拖尾痕迹等精细化特征很难有效描述,因此本发明采用简化版Yolo算法(S-Yolo),以Yolo v2 tiny[10]为基线设计轻小化网络,用以对三级疑似目标集合A''' q,i进行进一步特征识别。
本发明实施例中S6具体包括以下步骤:
S61、根据三级疑似目标集合
Figure 86940DEST_PATH_IMAGE017
获取序列图像中目标obj的S个序列集合
Figure 361933DEST_PATH_IMAGE028
S62、利用S-Yolo网络对序列集合中的目标进行鉴别,所述S-Yolo网络包括三个卷积层、三个Maxpool层以及一个Yolo预测层,如果序列集合中有效目标判断结果超过判别阈值Thr Y ,则认为所述序列集合中的目标为有效目标,得到第四级疑似目标集合,具体公式如下:
Figure 628966DEST_PATH_IMAGE019
式中,φ表示空集合,Y()表示Yolo预测层计算函数,
Figure 172074DEST_PATH_IMAGE020
表示需要计算求取累加值的三级疑似目标集合中第i个子集。
本实施例中S-Yolo网络如表1所示
Figure 188090DEST_PATH_IMAGE030
表1 用于船目标切片检测识别的S-Yolo网络
表中S-Yolo网络输入为52´52的图像数据,总的参数为23296个,S-Yolo输出目标为52´52的切片图像上的位置、类别及长宽。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种低分辨广域序列遥感影像船动目标实时检测算法,其特征在于,所述算法包括以下步骤:
S1、获取低分辨广域图像数据,并对所述低分辨广域图像数据利用形态学重构算法进行图像增强;
S2、对图像增强后的低分辨广域图像数据进行自适应阈值分割,获取分割后的二值图像;
S3、对二值图像进行连通域标记,根据连通域标记结果,获取一级疑似目标集合;
S4、对一级疑似目标集合中的所有目标,进行灰度特征计算,并根据灰度特征进行基于SVM的二分类计算,获取二级疑似目标集合;
S5、根据二级疑似目标集合中船动目标前后帧的相关性,获取三级疑似目标集合;
S6、针对三级疑似目标集合,采用S-Yolo算法,进行进一步特征识别,获取四级疑似目标集合,得到最终的遥感影像船动目标。
2.根据权利要求1所述的低分辨广域序列遥感影像船动目标实时检测算法,其特征在于,步骤S1中利用形态学重构算法进行图像增强,具体包括,
根据低分辨广域图像数据,获取大小为M×N的图像矩阵I并进行迭代Top-Hat变换:
I m+1 = (OTH β (x,y)μ 1 +CTH β (x,y)μ 2
其中,
OTH β (x,y)=( I m - (I m Θβ )⊕β)(x,y);
CTH β (x,y)=((I m ββ- I m )(x,y);
式中,β代表正方形全1结构元素,x,y分别表示图像矩阵中像素点的横纵坐标,x∈[0,M - 1],y∈[0, N - 1],m表示当前迭代次数,m∈[0, R - 1],R代表迭代总次数,OTHCTH分别代表正Top-Hat变换和逆Top-Hat变换,⊕代表膨胀操作,Θ代表腐蚀操作,μ 1 μ 2 分别代表正Top-Hat变换的权重参数和逆Top-Hat变换的权重参数。
3.根据权利要求2所述的低分辨广域序列遥感影像船动目标实时检测算法,其特征在于,步骤S2,具体包括,
S21、针对图像增强后的低分辨广域图像数据,获取目标窗口T b 、保护窗口P和背景窗口B,其中,所述目标窗口T b 包括待检测目标的灰度信息;所述保护窗口P包括待检测目标与背景过度之间的灰度信息,用于保护待检测目标弥散部分不被统计到背景窗口;所述背景窗口涵盖海面噪声信息;
S22、根据目标窗口T b 的均值μ Tb 和背景窗口B的均值μ B 进行阈值分割,获取二值图像:
Figure DEST_PATH_IMAGE001
,式中,T Thr 为二值化比较阈值。
4.根据权利要求3所述的低分辨广域序列遥感影像船动目标实时检测算法,其特征在于,步骤S21中,目标窗口T b 检测到目标的判断依据是目标区域重构增强结果的均值信噪比δ e 满足:
Figure DEST_PATH_IMAGE002
5.根据权利要求4所述的低分辨广域序列遥感影像船动目标实时检测算法,其特征在于,步骤S3具体包括:
S31、对二值图像Y b (x,y)进行连通域标记得到连通域集合
Figure DEST_PATH_IMAGE003
其中,G表示连通域集合中的区域个数,
Figure DEST_PATH_IMAGE004
表示第i个区域x坐标的序列集合,
Figure DEST_PATH_IMAGE005
表示第i个区域y坐标的序列集合;
S32、根据连通域集合中每个连通区域的面积大小进行筛选,获取一级疑似目标集合
Figure DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
其中,φ表示空,S low =5和S high =100分别表示面积阈值的下限和上限,Area i 代表一级疑似目标集合中第i个目标区域A i 的面积大小。
6.根据权利要求5所述的低分辨广域序列遥感影像船动目标实时检测算法,其特征在于,步骤S4中对一级疑似目标集合中的所有目标,进行灰度特征计算,具体包括:
S411、对任一一级疑似目标集合中的目标区域,以区域质心为中心,提取长度为52像素的正方形切片,进行S-HOG特征计算;
S412:将每个正方形切片分割成若干大小为13*13像素Cell,将分割的每个Cell的梯度方向分为8个方向,计算每个Cell位于同一方向梯度的梯度幅值,获取8维的Cell特征向量;
S413:将每相邻4个Cell的特征向量组合成一个Block的特征向量;
S414:将每个Block的特征向量进行合并获取每个正方形切片的特征向量,并获取每个正方形切片的特征向量对应的特征值
Figure DEST_PATH_IMAGE008
7.根据权利要求6所述的低分辨广域序列遥感影像船动目标实时检测算法,其特征在于,步骤S4中根据灰度特征进行基于SVM的二分类计算,获取二级疑似目标集合,具体包括:
S421、输入待训练的特征值
Figure DEST_PATH_IMAGE009
,及类别集合v i ={0,1},0代表干扰目标,1代表船目标;
S422、构造求解最优化公式
Figure DEST_PATH_IMAGE010
,及约束条件:
Figure DEST_PATH_IMAGE011
,式中,G'表示一级疑似目标集合中目标区域的个数,c是损失参数,a i a j 是拉格朗日乘子,K(u i , u j )为径向基核函数
Figure DEST_PATH_IMAGE012
γ>0,u i 为每个正方形切片的特征向量中第i个特征值,u j 为每个正方形切片的特征向量中第j个特征值,γ为核参数;
S423、根据求解最优化公式及约束条件,求解拉格朗日乘子最优解a * ,并计算阈值b
Figure DEST_PATH_IMAGE013
S424、根据阈值b获取最终决策函数:
Figure DEST_PATH_IMAGE014
并根据最终决策函数得到二级疑似目标集合
Figure DEST_PATH_IMAGE015
u表示决策函数中的变量,则二级疑似目标集合使用公式
Figure DEST_PATH_IMAGE016
进行表示。
8.根据权利要求7所述的低分辨广域序列遥感影像船动目标实时检测算法,其特征在于,步骤S5具体包括:
定义连续拍摄的序列图像中第q帧图像为f q ,第q帧中的目标标记为D q,g ,其中g∈[0,G''-1],G''表示二级疑似目标集合
Figure 221386DEST_PATH_IMAGE015
中目标区域的个数;第q+1帧图像为f q+1 ,以第q帧的目标D q,g 的坐标为圆心,以r为半径在第q+1帧图像进行搜索,搜索圆内区域的目标,获取第q帧三级疑似目标集合
Figure DEST_PATH_IMAGE017
,其中,r∈[5,30],rZ + Z + 表示正整数。
9.根据权利要求8所述的低分辨广域序列遥感影像船动目标实时检测算法,其特征在于,步骤S6具体包括:
S61、根据三级疑似目标集合
Figure 293159DEST_PATH_IMAGE017
获取序列图像中目标obj的S个序列集合
Figure DEST_PATH_IMAGE018
S62、利用S-Yolo网络对序列集合中的目标进行鉴别,所述S-Yolo网络包括三个卷积层、三个Maxpool层以及一个Yolo预测层,如果序列集合中有效目标判断结果超过判别阈值Thr Y ,则认为所述序列集合中的目标为有效目标,得到第四级疑似目标集合,具体公式如下:
Figure DEST_PATH_IMAGE019
式中,φ表示空集合,Y()表示Yolo预测层计算函数,
Figure DEST_PATH_IMAGE020
表示需要计算求取累加值的三级疑似目标集合中第i个子集。
CN202211148081.0A 2022-09-21 2022-09-21 一种低分辨广域序列遥感影像船动目标实时检测方法 Active CN115222758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211148081.0A CN115222758B (zh) 2022-09-21 2022-09-21 一种低分辨广域序列遥感影像船动目标实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211148081.0A CN115222758B (zh) 2022-09-21 2022-09-21 一种低分辨广域序列遥感影像船动目标实时检测方法

Publications (2)

Publication Number Publication Date
CN115222758A true CN115222758A (zh) 2022-10-21
CN115222758B CN115222758B (zh) 2023-01-10

Family

ID=83617018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211148081.0A Active CN115222758B (zh) 2022-09-21 2022-09-21 一种低分辨广域序列遥感影像船动目标实时检测方法

Country Status (1)

Country Link
CN (1) CN115222758B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101214851A (zh) * 2008-01-10 2008-07-09 黄席樾 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN103996017A (zh) * 2014-02-24 2014-08-20 航天恒星科技有限公司 一种基于Hu不变矩和支持向量机的舰船检测方法
WO2016101279A1 (zh) * 2014-12-26 2016-06-30 中国海洋大学 一种合成孔径雷达图像舰船目标快速检测方法
CN106682631A (zh) * 2016-12-30 2017-05-17 广东华中科技大学工业技术研究院 一种基于偏振特性的水面目标检测方法
CN106709426A (zh) * 2016-11-29 2017-05-24 上海航天测控通信研究所 基于红外遥感图像的舰船目标检测方法
CN107862262A (zh) * 2017-10-27 2018-03-30 中国航空无线电电子研究所 一种适用于高空侦察的快速可见光图像舰船检测方法
CN110517280A (zh) * 2019-08-14 2019-11-29 武汉理工大学 基于红外识别船舶尾气监测系统
CN110532842A (zh) * 2019-04-19 2019-12-03 北京空间飞行器总体设计部 一种应用于遥感图像的在轨检测识别装置及方法
CN110796687A (zh) * 2019-10-30 2020-02-14 电子科技大学 天空背景红外成像多目标跟踪方法
CN111797737A (zh) * 2020-06-22 2020-10-20 重庆高新区飞马创新研究院 遥感目标检测方法及装置
CN113192059A (zh) * 2021-05-24 2021-07-30 北京市遥感信息研究所 一种红外遥感图像在轨舰船检测方法
CN114998350A (zh) * 2022-08-04 2022-09-02 山东泗水泰和石材有限公司 基于图像处理的石材缺陷检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101214851A (zh) * 2008-01-10 2008-07-09 黄席樾 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN103996017A (zh) * 2014-02-24 2014-08-20 航天恒星科技有限公司 一种基于Hu不变矩和支持向量机的舰船检测方法
WO2016101279A1 (zh) * 2014-12-26 2016-06-30 中国海洋大学 一种合成孔径雷达图像舰船目标快速检测方法
CN106709426A (zh) * 2016-11-29 2017-05-24 上海航天测控通信研究所 基于红外遥感图像的舰船目标检测方法
CN106682631A (zh) * 2016-12-30 2017-05-17 广东华中科技大学工业技术研究院 一种基于偏振特性的水面目标检测方法
CN107862262A (zh) * 2017-10-27 2018-03-30 中国航空无线电电子研究所 一种适用于高空侦察的快速可见光图像舰船检测方法
CN110532842A (zh) * 2019-04-19 2019-12-03 北京空间飞行器总体设计部 一种应用于遥感图像的在轨检测识别装置及方法
CN110517280A (zh) * 2019-08-14 2019-11-29 武汉理工大学 基于红外识别船舶尾气监测系统
CN110796687A (zh) * 2019-10-30 2020-02-14 电子科技大学 天空背景红外成像多目标跟踪方法
CN111797737A (zh) * 2020-06-22 2020-10-20 重庆高新区飞马创新研究院 遥感目标检测方法及装置
CN113192059A (zh) * 2021-05-24 2021-07-30 北京市遥感信息研究所 一种红外遥感图像在轨舰船检测方法
CN114998350A (zh) * 2022-08-04 2022-09-02 山东泗水泰和石材有限公司 基于图像处理的石材缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李宗凌: "《遥感舰船目标检测识别方法》", 《遥感信息》 *

Also Published As

Publication number Publication date
CN115222758B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
Cheng et al. FusionNet: Edge aware deep convolutional networks for semantic segmentation of remote sensing harbor images
Cao et al. Ship recognition method combined with image segmentation and deep learning feature extraction in video surveillance
CN110264448B (zh) 一种基于机器视觉的绝缘子故障检测方法
CN104361582B (zh) 一种对象级高分辨率sar影像洪水灾害变化检测方法
CN108198193B (zh) 一种利用改进直觉模糊聚类算法分割红外舰船图像的方法
CN109086824A (zh) 一种基于卷积神经网络的海底底质声呐图像分类方法
CN108154519A (zh) 眼底图像中血管的分割方法、装置及存储介质
CN106170819A (zh) 一种合成孔径雷达图像舰船目标快速检测方法
CN111046772A (zh) 多时相卫星遥感岛礁岸线及开发利用信息提取方法
CN107992818B (zh) 一种光学遥感图像海面船只目标的检测方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
Xue et al. Rethinking automatic ship wake detection: state-of-the-art CNN-based wake detection via optical images
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
Yaohua et al. A SAR oil spill image recognition method based on densenet convolutional neural network
CN110276747B (zh) 一种基于图像分析的绝缘子故障检测和故障评级方法
CN108765440B (zh) 一种单极化sar图像的线引导超像素海岸线提取方法
Jiang et al. Ship contour extraction from SAR images based on faster R-CNN and chan–vese model
CN117253150A (zh) 一种基于高分辨率遥感图像的船舶轮廓提取方法及系统
CN115222758B (zh) 一种低分辨广域序列遥感影像船动目标实时检测方法
CN108447045B (zh) 一种基于sat积分图的sar遥感图像水域检测方法
CN111127506A (zh) 一种基于序列图像的海上运动目标综合检测方法
CN114332144A (zh) 样本粒度检测方法、系统、电子设备及存储介质
Wang et al. Sonar Objective Detection Based on Dilated Separable Densely Connected CNNs and Quantum‐Behaved PSO Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant