CN113887652A - 基于形态和多示例学习的遥感图像弱小目标检测方法 - Google Patents

基于形态和多示例学习的遥感图像弱小目标检测方法 Download PDF

Info

Publication number
CN113887652A
CN113887652A CN202111221508.0A CN202111221508A CN113887652A CN 113887652 A CN113887652 A CN 113887652A CN 202111221508 A CN202111221508 A CN 202111221508A CN 113887652 A CN113887652 A CN 113887652A
Authority
CN
China
Prior art keywords
target
remote sensing
representing
packet
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111221508.0A
Other languages
English (en)
Other versions
CN113887652B (zh
Inventor
吴金建
王国真
杨波
焦昶哲
石光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111221508.0A priority Critical patent/CN113887652B/zh
Publication of CN113887652A publication Critical patent/CN113887652A/zh
Application granted granted Critical
Publication of CN113887652B publication Critical patent/CN113887652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Abstract

本发明公开了一种基于形态和多示例学习的遥感图像弱小目标检测方法，步骤如下：(1)生成训练集；(2)更新每个包的像素；(3)利用多示例概率模型构建目标函数；(4)求目标函数值最大时对应的标准特征向量；(5)基于形态学检测遥感图像中的疑似目标；(6)基于疑似目标与标准特征向量的响应值检测遥感图像中的目标。本发明通过建立多示例模型并进行优化得到标准特征向量，基于形态学与标准特征向量对弱小目标进行检测，具有不需要大量精确标记的数据、能检测各个方向的目标、速度快、精度高的优点。

Description

基于形态和多示例学习的遥感图像弱小目标检测方法
技术领域
本发明属于图像处理领域，更进一步涉及目标检测技术领域中的一种基于形态和多示例学习的光学遥感图像弱小目标检测方法。本发明可用于对背景为海洋、陆地、森林的卫星遥感图像中像素占比少，对比度弱的目标进行检测。
技术背景
卫星遥感图像是重要的图像信息来源，实用性极高，目前广泛应用于勘查资源、检测环境灾害检测、军事侦察等许多领域，对国民经济、国防与社会发展有重大的影响。近年来我国边境、南海等地时局复杂，对高性能航天侦察需求不断提高。基于光学遥感成像的目标侦察直观、准确、抗电子干扰能力强，常被作为航天侦察的重要手段。目前，国内外对遥感图像中弱小目标的检测主要分为经典机器学习方法与深度学习方法，如特征提取加SVM的方法，深度残差网络等。经典机器学习的方法对噪声较为敏感，检测效果往往不好；深度学习针对大尺寸的目标效果较好，但对弱小目标难以有效提取出深层特征，且弱小目标往往难以精确标记，不利于网络进行学习，同时，以上两种方法在对3万*3万像素的遥感图像进行检测时，检测速度难以达标。
北京航天泰坦科技股份有限公司在其申请的专利文献“基于高分辨率光学遥感影像的弱小目标快速检测方法”(申请号：CN201911338926.0，申请公布号：CN110889399A，公布日期：2019.12.23)中提出了一种基于深度学习的高分辨率遥感影像弱小目标检测方法。该方法的主要步骤是：(1)获取待处理遥感影像，将其输入预先训练得到的卷积神经网络中,通过所述卷积神经网络对所述待处理遥感影像分别进行4倍下采样、8倍下采样、和16倍下采样(2)得到所述待处理遥感影像对应的不同大小的先验框，每个所述先验框包含坐标信息和目标类别置信度(3)识别目标类别置信度大于预设阈值的目标先验框，并根据每个所述目标先验框的坐标信息，通过预设聚类算法确定所述待处理遥感影像中包括的目标的坐标信息；其中,所述卷积神经网络的第一层包括一个残差组件,第二层、第三层、和第四层均包括四个残差组件,每个所述残差组件均包括两个卷积层和一个快捷链路；所述卷积神经网络为根据对各样本图像进行真值边界框和真值类别标注后的目标样本图像训练得到的。但是，该方法仍然存在的不足之处是：网络层数很深，需要对影像进行大量的精确标记，而遥感影像中的弱小目标所占像素很少，往往只有十几个像素点，且样本数量较少，难以大规模精确标记，网络无法收敛，对于弱小目标的检测效果很差。
何泽民等人在其发表的论文“基于低分辨率舰船遥感图像的弱小目标识别算法”(舰船科学技术，2020,11：58-60，公开日期2020.11)中提出了一种基于低分辨率舰船遥感图像的弱小目标识别方法。该方法的实现步骤是：(1)将待识别图像划分为等大小的单元块；(2)计算每个单元块的梯度方向和梯度幅值；(3)定义每个单元格编码，计算梯度强度，获得待识别图像特征。(4)依据特征的可分性配置特征，适应不同分辨率的遥感图像，利用样本训练的分类器实现弱小目标识别。但是，该方法仍然存在的不足之处是：将提取出的方向梯度特征直接用于检测，只能检测固定方向的弱小目标，无法用于场景、目标多样的遥感图像中的弱小目标检测。
刘万军等人在其发表的论文“多尺度特征增强的遥感图像舰船目标检测”(自然资源遥感，2021,33(3)：97-106，公开日期2021.9)中提出了一种多尺度特征增强的遥感图像舰船目标检测方法。该方法的步骤是：(1)在特征提取阶段，利用密集连接感受野模块改进特征金字塔网络，选用不同空洞率的卷积获取多尺度感受野特征，增强高层语义信息的表达；为了抑制噪声并突出目标特征(2)在特征提取后设计基于注意力机制的特征融合结构，根据各层在空间上的权重值融合所有层，得到兼顾语义信息和位置信息的特征层(3)再对该层特征进行注意力增强，将增强后的特征融入原金字塔特征层；(4)在分类和回归损失基础上，增加注意力损失，优化注意力网络，得到目标位置。但是，该方法仍然存在的不足之处是：由于该方法需要对提取后的特征进行多种增强，因此速度较慢，在遥感图像进行弱小目标检测时，速度太慢。
西安电子科技大学在其申请的专利文献“基于高分辨率光学遥感影像的弱小目标快速检测方法”(申请号：CN201911298224.4，申请公布号：CN111027497A，公布日期：2019.12.17)中提出了一种基于高分辨率光学遥感影像的弱小目标快速检测方法。该方法的主要步骤是：(1)将待测多光谱图像先转为8位RGB彩色图像,再转为灰度图像I；(2)对二维灰度图像I用不同滤波核进行扩展小波变换,得到扩展小波变换后的灰度图像W；(3)使用基于加速分割测试的fast9算法对扩展小波变换后的灰度图像W进行角点检测,得到角点检测结果c,再根据空间位置关系过滤掉密集的角点,保留分布较为分散的角点；(4)以每一个保留的角点为中心,切取其固定尺寸大小的区域,并对每个区域进行先膨胀后腐蚀的形态学闭操作,得到形态学闭操作后的切片区域；(5)对形态学闭操作后的切片区域进行如下处理：(5a)对形态学闭操作后的切片区域进行像素联合概率密度统计,并对概率进行归一化,得到灰度共生矩阵P,再计算P的对比度S和相关性R；(5b)使用canny边缘检测算子对每个切片区域进行边缘检测,再对边缘检测的结果进行连通区域标记,并选取面积最大的连通域；(6)使用区域属性统计函数regionprops获取面积最大的连通区域的属性,并根据属性提取形状参数,即连通区域的长宽差h、紧致度t和矩形度g；(7)利用(6)提取的形状参数与(5b)计算灰度共生矩阵P的对比度S和相关性R的联合特征来筛选角点,保留的每个角点所在的局部区域即为目标区域。但是，该方法仍然存在的不足之处是：只使用简单形态学来筛选图像中的角点，在检测弱小目标时，容易出现漏检与误检，检测精确度较低。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于形态和多示例学习的遥感图像弱小目标检测方法，用于解决需要大量精确标记，只能检测固定方向目标，检测速度慢，检测精确度低的问题。
实现本发明目的的思路是：本发明通过使用少量不精确标记数据建立多示例概率模型，解决了工程应用中对弱小目标进行大量精确标记十分困难的问题。本发明通过对建立的多示例概率模型进行优化得到所有弱小目标方向梯度特征的集成表示，解决了工程应用中只能检测固定方向弱小目标的问题。本发明通过形态学筛选角点快速得到疑似目标，解决了工程应用中检测速度慢的问题。本发明计算疑似目标特征与多示例学习所得特征的余弦相似度响应，目标计算得到的响应高，非目标计算得到的响应低，通过响应值定位目标，解决了工程应用中检测精确度低的问题。
为实现上述目的，本发明的步骤包括如下：
步骤1，生成训练集：
选取至少1张遥感图像，每张遥感图像包含至少2个目标，将图像中大于目标的区域作为正包，不含目标的背景区域作为负包，提取出正包与负包组成训练集；
步骤2，更新每个包的像素：
从每个包中的每个像素提取30*30个像素邻域144维的方向梯度特征向量x，使用该像素所对应的x更新该像素所在的包；若该像素中包含目标，则x＝saS+D-a-+ε；否则，x＝D-a-+ε；其中，s表示所有目标方向梯度特征向量的集成表示，aS表示目标方向梯度特征向量的丰度值，D-＝[d1,…,de]表示背景方向梯度特征向量的集合，de表示第e个背景方向梯度特征向量，e表示背景种类的总数，a-＝[a1，…，ae]表示背景方向梯度特征向量的丰度矩阵，ε表示随机高斯噪声；
步骤3，利用多示例概率模型构建目标函数J如下：
Figure BDA0003312818970000041
其中，K+表示更新后正包的总数，∑表示求和操作，m表示更新后正包的序号，R(s，rm)表示rm与s的余弦相似度响应，rm表示第m个正包中与s余弦相似度响应最大的向量的目标残差，rm＝xm-D-a-，xm表示第m个正包中与s余弦相似度响应最大的向量；K-表示更新后负包的总数，n表示更新后负包的序号，γ表示防止正负样本不平衡的比例因子，
Figure BDA0003312818970000042
Figure BDA0003312818970000043
表示更新后第n个负包中向量的总数，j表示更新后负包中向量的序号，rjn表示第n个负包中第j个向量的目标残差，rjn＝xjn-D-a-，xjn表示第n个负包中第j个向量；β表示平衡重构误差对结果影响的比例因子，β＝0.5，N-表示更新后所有负包中向量的总数，pjn表示xjn对应的丰度值，U和P表示更新后负包中向量的协方差矩阵V的特征向量和特征值；
步骤4，求目标函数值最大时对应的标准特征向量：
(4a)使用
Figure BDA0003312818970000044
与D-迭代更新目标函数；
(4b)对正包与负包中的所有向量进行完全约束最小二乘分解，得到丰度矩阵a；在D-条件下，对负包中的所有向量进行完全约束最小二乘分解，得到丰度矩阵a-，利用拉格朗日乘数法对目标函数进行优化，得到
Figure BDA0003312818970000045
(4c)利用优化后的
Figure BDA0003312818970000046
对目标函数进行梯度上升优化，得到D-；
Figure BDA0003312818970000047
其中，am表示xm对应的丰度值，*表示相乘操作，||·||表示求模值操作，
Figure BDA0003312818970000048
表示rm在白化空间的投影，
Figure BDA0003312818970000049
Figure BDA00033128189700000410
表示标准化后的s在白化空间的投影，
Figure BDA00033128189700000411
T表示转置操作，
Figure BDA00033128189700000412
表示标准化后的
Figure BDA00033128189700000413
Figure BDA00033128189700000414
ajn表示xjn对应的丰度值，
Figure BDA00033128189700000415
表示rjn在白化空间的投影，
Figure BDA00033128189700000416
Figure BDA00033128189700000417
表示标准化后的
Figure BDA00033128189700000418
Figure BDA00033128189700000419
(4d)判断优化后的目标函数值的变化是否大于或等于变化量阈值，若是，则执行步骤(4b)；否则，执行步骤(4e)；
(4e)按照下式，计算集成表示所有目标方向梯度特征向量的标准特征向量sd：
Figure BDA0003312818970000051
其中，sd表示标准特征向量；
步骤5，基于形态学检测遥感图像中的疑似目标：
(5a)将待检测的遥感图像转为灰度图进行预处理，得到每个角点的邻域切片；
(5b)使用canny边缘检测算子，对每个切片进行边缘检测；
(5c)将存在边缘连通域满足形态学条件的切片对应的角点30*30个像素大小的邻域作为一个疑似目标；舍弃不满足形态学条件其余切片对应的角点30*30个像素大小的邻域；
步骤6，基于疑似目标与标准特征向量的响应值检测遥感图像中的目标：
(6a)使用方向梯度特征提取算法从每个疑似目标中提取一个方向梯度特征向量；
(6b)判断每个疑似目标提取的方向梯度特征向量与标准特征向量的余弦相似度响应是否大于或等于检测阈值，若是，则将该疑似目标标记为目标；否则，舍弃该疑似目标。
本发明与现有技术相比具有以下优点：
第一，由于本发明利用多示例概率模型构建目标函数，只需要标记数个大于目标的区域，克服了现有技术需要对遥感图像中的弱小目标进行大量的手工精确标记导致的大量的人力、物力成本消耗，使得本发明提高了遥感图像中弱小目标的检测效率。
第二，由于本发明通过对目标函数进行优化，得到集成表示所有训练集中弱小目标方向梯度特征的标准特征向量，克服了现有技术只能检测固定方向弱小目标的问题，使得本发明提高了遥感图像中弱小目标检测的方向鲁棒性。
第三，由于本发明通过形态学检测遥感图像中的疑似目标，再提取疑似目标的特征，克服了现有技术需要对待测遥感图像进行全局特征提取而导致的检测时间过长的问题，使得本发明提高了遥感图像中中弱小目标的检测速度。
第四，由于本发明计算疑似目标与标准特征向量的响应值，根据响应值筛选疑似目标来检测遥感图像中的目标，克服了现有技术对弱小目标进行检测时容易出现漏检与误检的问题，使得本发明提高了遥感图像中弱小目标的检测精度。
附图说明
图1是本发明的流程图；
图2是本发明的仿真图。
具体实施方式
下面结合附图和实施例对本发明做进一步的详细描述。
参照图1对本发明的实现步骤做进一步的详细描述。
步骤1，生成训练集。
选取至少1张遥感图像，每张遥感图像包含至少2个目标，将图像中大于目标的区域作为正包，不含目标的背景区域作为负包，提取出正包与负包组成训练集。
步骤2，更新每个包的像素。
从每个包中的每个像素提取30*30个像素邻域144维的方向梯度特征向量x，使用该像素所对应的x更新该像素所在的包；若该像素中包含目标，则x＝saS+D-a-+ε；否则，x＝D-a-+ε；其中，s表示所有目标方向梯度特征向量的集成表示，aS表示目标方向梯度特征向量的丰度值，D-＝[d1，…，de]表示背景方向梯度特征向量的集合，de表示第e个背景方向梯度特征向量，e表示背景种类的总数，a-表示背景的丰度矩阵，ε表示随机高斯噪声。
所述的rm与s的余弦相似度响应R(s，rm)如下：
Figure BDA0003312818970000061
其中，-1表示方阵求逆操作。
步骤3，利用多示例概率模型构建目标函数如下：
Figure BDA0003312818970000062
其中，K+表示更新后正包的总数，∑表示求和操作，m表示更新后正包的序号，R(s，rm)表示rm与s的余弦相似度响应，rm表示第m个正包中与s余弦相似度响应最大的向量的目标残差，rm＝xm-D-a-，xm表示第m个正包中与s余弦相似度响应最大的向量；K-表示更新后负包的总数，n表示更新后负包的序号，γ表示防止正负样本不平衡的比例因子，
Figure BDA0003312818970000063
Figure BDA0003312818970000064
表示更新后第n个负包中向量的总数，j表示更新后负包中向量的序号，rjn表示第n个负包中第j个向量的目标残差，rjn＝xjn-D-a-，xjn表示第n个负包中第j个向量；β表示平衡重构误差对结果影响的比例因子，β＝0.5，N-表示更新后所有负包中向量的总数，pjn表示xjn对应的丰度值，U和P表示更新后负包中向量的协方差矩阵V的特征向量和特征值所述的完全约束最小二乘分解算法如下：
第一步，构建x与D的关系式F：
F＝((x-Da)T(x-Da))
式中，x表示待分解的所有向量，D表示目标与背景向量的集合，D＝[s，D-]，a表示丰度矩阵，a＝[aS，a-]。
第二步，求满足as≥0，a-≥0，
Figure BDA0003312818970000071
且使分解函数值最小的丰度矩阵a。
步骤4，求目标函数值最大时对应的标准特征向量。
(4.1)使用
Figure BDA00033128189700000710
与D-迭代更新目标函数。
(4.2)对正包与负包中的所有向量进行完全约束最小二乘分解，得到丰度矩阵a；在D-条件下，对负包中的所有向量进行完全约束最小二乘分解，得到丰度矩阵a-，利用拉格朗日乘数法对目标函数进行优化，得到
Figure BDA0003312818970000072
所述利用拉格朗日乘数法对目标函数进行优化的步骤如下：
第一步，构建目标函数与尺度不变条件的拉格朗日关系式
Figure BDA0003312818970000073
Figure BDA0003312818970000074
其中，λ表示拉格朗日乘子。
第二步，求使拉格朗日关系式对其偏导数为0的向量：
Figure BDA0003312818970000075
其中，
Figure BDA0003312818970000076
表示使拉格朗日关系式对其偏导数为0的向量。
(4.3)利用优化后的
Figure BDA0003312818970000077
对目标函数进行梯度上升优化，得到D-。
Figure BDA0003312818970000078
其中，am表示xm对应的丰度值，*表示相乘操作，||·||表示求模值操作，
Figure BDA0003312818970000079
表示rm在白化空间的投影，
Figure BDA0003312818970000081
Figure BDA0003312818970000082
表示标准化后的s在白化空间的投影，
Figure BDA0003312818970000083
T表示转置操作，
Figure BDA0003312818970000084
表示标准化后的
Figure BDA0003312818970000085
Figure BDA0003312818970000086
ajn表示xjn对应的丰度值，
Figure BDA0003312818970000087
表示rjn在白化空间的投影，
Figure BDA0003312818970000088
Figure BDA0003312818970000089
表示标准化后的
Figure BDA00033128189700000810
Figure BDA00033128189700000811
(4.4)判断优化后的目标函数值的变化是否大于或等于变化量阈值，若是，则执行步骤(4.2)；否则，执行步骤(4.5)。
(4.5)按照下式，计算所有目标方向梯度特征的标准特征向量：
Figure BDA00033128189700000812
其中，sd表示所有目标方向梯度特征的标准特征向量。
步骤5，基于形态学检测遥感图像中的疑似目标。
将待检测的遥感图像转为灰度图进行预处理，得到每个角点的邻域切片。
所述的预处理步骤如下：
第1步，使用阈值为15的FAST-9算法，得到灰度图中所有角点的位置。
第2步，对每个角点15*15像素大小的邻域进行切片，对切片结果进行形态学闭操作。
所述的FAST-9算法是指，在以待测像素点为中心，半径为3个像素点的圆上取16个像素点，与待测点像素值做差，若存在连续9个满足差值的绝对值大于15的点，则将待测像素点视为候选角点，将这9个点与待测点差值的绝对值之和作为待测点强度；根据待测点强度对候选角点进行非极大值抑制，得到角点。
使用canny边缘检测算子，对每个切片进行边缘检测。
判断是否存在边缘连通域满足形态学条件的切片，若是，则保留该切片对应的角点；否则，舍弃该切片对应的角点。
所述的形态学条件是指同时满足下述两个条件的情形：
条件1，切片的边缘连通域面积为10～30个像素点。
条件2，切片的边缘连通域最小外接矩形的长度减去宽度为5～35个像素点。
将存在边缘连通域满足形态学条件的切片对应的角点30*30个像素大小的邻域作为一个疑似目标；舍弃不满足形态学条件其余切片对应的角点30*30个像素大小的邻域。
步骤6，基于疑似目标与标准特征向量的响应值检测遥感图像中的目标。
使用方向梯度特征提取算法从每个疑似目标中提取一个方向梯度特征向量。
所述方向梯度特征提取算法步骤如下：
第1步，若图像通道数不为1，则将图像转为灰度图I(x，y)，其中，(x，y)为像素坐标。
第2步，按照下式，对输入图像进行Gamma校正：
I(x，y)＝I(x，y)Gamma
其中，Gamma取值为0.5。
第3步，计算图像每个像素的梯度大小和梯度方向：
Figure BDA0003312818970000091
Ang(x，y)＝arccos((I(x+1，y)-I(x-1，y))/R(x，y))
其中，R(x，y)表示梯度大小，Ang(x，y)表示梯度方向。
第4步，计算每个网格的方向梯度直方图。
网格取8*8个像素大小，直方图取9个方向，将梯度大小按照方向逐一累加到方向梯度直方图上。
第5步，在区块中归一化方向梯度直方图。
区块取2*2个网格大小，一个区块有4个直方图，将这4个直方图拼接成长度为36的向量，然后对这个向量进行归一化。
第6步，在图像区域滑动区块，拼接得到最终的方向梯度特征向量。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel i7 10700F CPU，主频为2.90GHz，内存16GB。
本发明的仿真实验的软件平台为：Windows 10操作系统、python3.8、PyTorch1.8.0和matlab2020a。
本发明仿真实验所使用的输入图像为高分6号卫星拍摄的50张遥感图像，该遥感数据采集自马六甲海峡，成像时间为2020年2月，每张图像大小为1000×1000×3个像素，图像格式为tif。
2.仿真内容及其结果分析：
本发明仿真实验是采用本发明和两个现有技术(方向梯度直方图检测方法、卫星图像中多尺度目标的快速检测方法)分别对输入的遥感图像进行检测。
在仿真实验中，采用的两个现有技术是指：
现有方向梯度直方图检测方法是指，Dalal N等人在“Histograms of OrientedGradients for Human Detection,International Conference on Computer Vision&Pattern Recognition pp.886–893,Jun.2005,”中提出的目标检测方法，简称方向梯度直方图检测方法。
现有卫星图像中多尺度目标的快速检测方法是指，Etten A等人在“You OnlyLook Twice:Rapid Multi-Scale Object Detection In Satellite Imagery,arXiv:1805.09512,May.2018”中提出的遥感图像目标检测方法，简称卫星图像中多尺度目标的快速检测方法。
下面结合仿真图对本发明的效果做进一步的描述。
图2(a)为本发明仿真实验中用于检测的遥感图像。图2(b)为本发明仿真实验中采用现有技术的方向梯度直方图检测方法，对遥感图像进行检测的结果图。图2(c)为本发明仿真实验中采用现有技术的卫星图像中多尺度目标的快速检测方法，对遥感图像进行检测的结果图。图2(d)为本发明仿真实验中利用本发明的方法，对遥感图像进行检测的结果图。
由图2(b)可以看出，现有技术的方向梯度直方图检测结果与卫星图像中多尺度目标的快速检测方法检测结果相比，对于方向相同的目标检测效果较好，但对于方向差异性较大的目标则漏检较多，主要因为不同方向目标的方向梯度差异很大，很难用一个检测器全部检测出来，导致没有检测多种方向弱小目标的能力，检测率不高。
由图2(c)可以看出，现有技术的卫星图像中多尺度目标的快速检测方法检测结果，相比于方向梯度直方图检测方法检测结果，具有检测不同方向目标的能力，但是对于弱小目标，网络无法学习到高维特征，会把形态与目标相似的背景区域检测为目标，导致虚警较高且目标框不准确。
由图2(d)可以看出，本发明的检测结果相比于两个现有技术的分类结果，检测出的目标更多，且虚警更少，证明本发明的检测效果优于前两种现有技术检测方法，检测效果较理想。
利用三个评价指标(检测率、虚警率、检测一张图所需时间)分别对三种方法的检测结果进行评价。利用下面公式，计算检测率，虚警率，将所有计算结果绘制成表1：
Figure BDA0003312818970000111
Figure BDA0003312818970000112
表1.仿真实验中本发明和现有技术检测结果的定量分析表
Figure BDA0003312818970000113
结合表1可以看出，本发明的检测率为92.57％，虚警率为92.57％，这两个指标均高于2种现有技术方法，证明本发明可以得到更高的遥感图像检测精度。本发明检测一张图所需时间少于2种现有技术方法，证明本发明可以得到更快的遥感图像检测速度。
以上仿真实验表明：本发明方法建立了能够全面表达正包与负包中信息的多示例概率模型，对建立的多示例概率模型进行优化，学习到能准确描述所有弱小目标方向梯度特征的集成表示，在检测时先使用形态学筛选角点，再使用所有弱小目标方向梯度特征的集成表示精确定位目标，解决了现有技术需要对弱小目标进行大量精确标记，且在检测时需要对全局进行特征提取，而提取到的特征只能用于检测特定方向目标，导致的检测效率低、速度慢、精度低的问题，是一种非常实用的遥感弱小目标检测方法。

Claims (8)

1.一种基于形态和多示例学习的遥感图像弱小目标检测方法，其特征在于，利用多示例概率模型，构建目标函数，求使目标函数值最大的标准特征向量，用于对形态学筛选后的角点进行精确检测；该方法具体步骤包括如下：
步骤1，生成训练集：
选取至少1张遥感图像，每张遥感图像包含至少2个目标，将图像中大于目标的区域作为正包，不含目标的背景区域作为负包，提取出正包与负包组成训练集；
步骤2，更新每个包的像素：
从每个包中的每个像素提取30*30个像素邻域144维的方向梯度特征向量x，使用该像素所对应的x更新该像素所在的包；若该像素中包含目标，则x＝saS+D-a-+ε；否则，x＝D-a-+ε；其中，s表示所有目标方向梯度特征向量的集成表示，aS表示目标方向梯度特征向量的丰度值，D-＝[d1，…，de]表示背景方向梯度特征向量的集合，de表示第e个背景方向梯度特征向量，e表示背景种类的总数，a-＝[a1，…，ae]表示背景方向梯度特征向量的丰度矩阵，ε表示随机高斯噪声；
步骤3，利用多示例概率模型构建目标函数J如下：
Figure FDA0003312818960000011
其中，K+表示更新后正包的总数，∑表示求和操作，m表示更新后正包的序号，R(s，rm)表示rm与s的余弦相似度响应，rm表示第m个正包中与s余弦相似度响应最大的向量的目标残差，rm＝xm-D-a-，xm表示第m个正包中与s余弦相似度响应最大的向量；K-表示更新后负包的总数，n表示更新后负包的序号，γ表示防止正负样本不平衡的比例因子，
Figure FDA0003312818960000012
Figure FDA0003312818960000013
表示更新后第n个负包中向量的总数，j表示更新后负包中向量的序号，rjn表示第n个负包中第j个向量的目标残差，rjn＝xjn-D-a-，xjn表示第n个负包中第j个向量；β表示平衡重构误差对结果影响的比例因子，β＝0.5，N-表示更新后所有负包中向量的总数，pjn表示xjn对应的丰度值，U和P表示更新后负包中向量的协方差矩阵V的特征向量和特征值；
步骤4，求目标函数值最大时对应的标准特征向量：
(4a)使用
Figure FDA0003312818960000021
与D-迭代更新目标函数；
(4b)对正包与负包中的所有向量进行完全约束最小二乘分解，得到丰度矩阵a；在D-条件下，对负包中的所有向量进行完全约束最小二乘分解，得到丰度矩阵a-，利用拉格朗日乘数法对目标函数进行优化，得到
Figure FDA0003312818960000022
(4c)利用优化后的
Figure FDA0003312818960000023
对目标函数进行梯度上升优化，得到D-；
Figure FDA0003312818960000024
其中，am表示xm对应的丰度值，*表示相乘操作，||·||表示求模值操作，
Figure FDA0003312818960000025
表示rm在白化空间的投影，
Figure FDA0003312818960000026
Figure FDA0003312818960000027
表示标准化后的s在白化空间的投影，
Figure FDA0003312818960000028
T表示转置操作，
Figure FDA0003312818960000029
表示标准化后的
Figure FDA00033128189600000210
Figure FDA00033128189600000211
ajn表示xjn对应的丰度值，
Figure FDA00033128189600000212
表示rjn在白化空间的投影，
Figure FDA00033128189600000213
Figure FDA00033128189600000214
表示标准化后的
Figure FDA00033128189600000215
Figure FDA00033128189600000216
(4d)判断优化后的目标函数值的变化是否大于或等于变化量阈值，若是，则执行步骤(4b)；否则，执行步骤(4e)；
(4e)按照下式，计算集成表示所有目标方向梯度特征向量的标准特征向量sd：
Figure FDA00033128189600000217
其中，sd表示标准特征向量；
步骤5，基于形态学检测遥感图像中的疑似目标：
(5a)将待检测的遥感图像转为灰度图进行预处理，得到每个角点的邻域切片；
(5b)使用canny边缘检测算子，对每个切片进行边缘检测；
(5c)将存在边缘连通域满足形态学条件的切片对应的角点30*30个像素大小的邻域作为一个疑似目标；舍弃不满足形态学条件其余切片对应的角点30*30个像素大小的邻域；
步骤6，基于疑似目标与标准特征向量的响应值检测遥感图像中的目标：
(6a)使用方向梯度特征提取算法从每个疑似目标中提取一个方向梯度特征向量；
(6b)判断每个疑似目标提取的方向梯度特征向量与标准特征向量的余弦相似度响应是否大于或等于检测阈值，若是，则将该疑似目标标记为目标；否则，舍弃该疑似目标。
2.根据权利要求1所述的基于形态和多示例学习的遥感图像弱小目标检测方法，其特征在于，步骤3中所述的rm与s的余弦相似度响应R(s，rm)的表达式如下：
Figure FDA0003312818960000031
其中，-1表示方阵求逆操作。
3.根据权利要求1所述的基于形态和多示例学习的遥感图像弱小目标检测方法，其特征在于，步骤(4b)中所述的完全约束最小二乘分解步骤如下：
第一步，构建x与D的关系式F：
F＝((x-Da)T(x-Da))
式中，x表示待分解的所有向量，D表示目标与背景向量的集合，D＝[s，D-]，a表示丰度矩阵，a＝[aS，a-]；
第二步，求满足as≥0，a-≥0，
Figure FDA0003312818960000032
且使分解函数值最小的丰度矩阵a。
4.根据权利要求1所述的基于形态和多示例学习的遥感影像弱小目标检测方法，其特征在于，步骤(4b)中所述利用拉格朗日乘数法对目标函数进行优化的步骤如下：
第一步，构建目标函数与尺度不变条件的拉格朗日关系式
Figure FDA0003312818960000041
Figure FDA0003312818960000042
其中，λ表示拉格朗日乘子；
第二步，求使拉格朗日关系式对其偏导数为0的向量：
Figure FDA0003312818960000043
其中，
Figure FDA0003312818960000044
表示使拉格朗日关系式对其偏导数为0的向量。
5.根据权利要求1所述的基于形态和多示例学习的遥感影像弱小目标检测方法，其特征在于，步骤(4d)中所述的变化量阈值是指在[0.1，0.8]范围内根据检测时精确度的要求选取的小数值。
6.根据权利要求1所述的基于形态和多示例学习的遥感影像弱小目标检测方法，其特征在于，步骤(5a)中所述的预处理步骤如下：
第一步，使用阈值为15的FAST-9算法，得到灰度图中所有角点的位置；
第二步，对每个角点15*15像素大小的邻域进行切片，对切片结果进行形态学闭操作；
所述的FAST-9算法是指，在以待测像素点为中心，半径为3个像素点的圆上取16个像素点，与待测点像素值做差，若存在连续9个满足差值的绝对值大于15的点，则将待测像素点视为候选角点，将这9个点与待测点差值的绝对值之和作为待测点强度；根据待测点强度对候选角点进行非极大值抑制，得到角点。
7.根据权利要求5所述的基于形态和多示例学习的遥感影像弱小目标检测方法，其特征在于，步骤(5c)中所述的形态学条件是指同时满足下述两个条件的情形：
条件一，切片的边缘连通域面积为10～30个像素点；
条件二，切片的边缘连通域最小外接矩形的长度减去宽度为5～35个像素点。
8.根据权利要求1所述的基于形态和多示例学习的遥感影像弱小目标检测方法，其特征在于，步骤(5c)中所述的检测阈值是指在[0.2，0.9]范围内根据检测时精确度的要求选取的小数值。
CN202111221508.0A 2021-10-20 2021-10-20 基于形态和多示例学习的遥感图像弱小目标检测方法 Active CN113887652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111221508.0A CN113887652B (zh) 2021-10-20 2021-10-20 基于形态和多示例学习的遥感图像弱小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111221508.0A CN113887652B (zh) 2021-10-20 2021-10-20 基于形态和多示例学习的遥感图像弱小目标检测方法

Publications (2)

Publication Number Publication Date
CN113887652A true CN113887652A (zh) 2022-01-04
CN113887652B CN113887652B (zh) 2023-04-28

Family

ID=79003676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111221508.0A Active CN113887652B (zh) 2021-10-20 2021-10-20 基于形态和多示例学习的遥感图像弱小目标检测方法

Country Status (1)

Country Link
CN (1) CN113887652B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854011A (zh) * 2024-03-07 2024-04-09 福建南亿智能科技有限公司 一种智能ai摄像头识别对比方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156888A (zh) * 2011-04-27 2011-08-17 西安电子科技大学 基于特征点局部颜色及分布特征的图像拣出方法
CN105224915A (zh) * 2015-09-07 2016-01-06 河海大学 一种高光谱图像混合像元分解方法
CN105678309A (zh) * 2016-02-03 2016-06-15 山东工商学院 一种基于多示例包特征学习的图像多标签标注算法
CN108491757A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于多尺度特征学习的光学遥感图像目标检测方法
CN108664939A (zh) * 2018-05-16 2018-10-16 东南大学 一种基于hog特征与深度学习的遥感图像飞机识别方法
CN110827262A (zh) * 2019-11-06 2020-02-21 西北工业大学 一种基于连续有限帧红外图像的弱小目标检测方法
CN112733661A (zh) * 2020-12-31 2021-04-30 西安电子科技大学 多示例能量约束最小化的高光谱目标描述与检测方法
CN112766161A (zh) * 2021-01-20 2021-05-07 西安电子科技大学 基于集成约束多示例学习的高光谱目标检测方法
CN113239924A (zh) * 2021-05-21 2021-08-10 上海交通大学 一种基于迁移学习的弱监督目标检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156888A (zh) * 2011-04-27 2011-08-17 西安电子科技大学 基于特征点局部颜色及分布特征的图像拣出方法
CN105224915A (zh) * 2015-09-07 2016-01-06 河海大学 一种高光谱图像混合像元分解方法
CN105678309A (zh) * 2016-02-03 2016-06-15 山东工商学院 一种基于多示例包特征学习的图像多标签标注算法
CN108491757A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于多尺度特征学习的光学遥感图像目标检测方法
CN108664939A (zh) * 2018-05-16 2018-10-16 东南大学 一种基于hog特征与深度学习的遥感图像飞机识别方法
CN110827262A (zh) * 2019-11-06 2020-02-21 西北工业大学 一种基于连续有限帧红外图像的弱小目标检测方法
CN112733661A (zh) * 2020-12-31 2021-04-30 西安电子科技大学 多示例能量约束最小化的高光谱目标描述与检测方法
CN112766161A (zh) * 2021-01-20 2021-05-07 西安电子科技大学 基于集成约束多示例学习的高光谱目标检测方法
CN113239924A (zh) * 2021-05-21 2021-08-10 上海交通大学 一种基于迁移学习的弱监督目标检测方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHANGZHE JIAO 等: "MULTIPLE INSTANCE CONSTRAINED ENERGY MINIMIZATION FOR DISCRIMINATIVE HYPERSPECTRAL TARGET CHARACTERIZATION" *
DINGWEN ZHANG 等: "A Self-paced Multiple-instance Learning Framework for Co-saliency Detection" *
刘占文;赵祥模;王姣姣;高涛;李淑英;: "基于视觉注意机制的弱对比度下车辆目标分割方法" *
单嘉欣: "面向高光谱遥感图像目标表述的多示例学习方法" *
陈春芳 等: "弱监督多示例子概念学习的遥感场景分类" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854011A (zh) * 2024-03-07 2024-04-09 福建南亿智能科技有限公司 一种智能ai摄像头识别对比方法及系统
CN117854011B (zh) * 2024-03-07 2024-05-03 福建南亿智能科技有限公司 一种智能ai摄像头识别对比方法及系统

Also Published As

Publication number Publication date
CN113887652B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Zhang et al. Airport detection and aircraft recognition based on two-layer saliency model in high spatial resolution remote-sensing images
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN106408030B (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN113361495B (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
Zhao et al. Multi-scale image block-level F-CNN for remote sensing images object detection
Zhang et al. Region of interest extraction in remote sensing images by saliency analysis with the normal directional lifting wavelet transform
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN111027497A (zh) 基于高分辨率光学遥感影像的弱小目标快速检测方法
Ju et al. Classification of jujube defects in small data sets based on transfer learning
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
CN113887652B (zh) 基于形态和多示例学习的遥感图像弱小目标检测方法
CN105844299B (zh) 一种基于词袋模型的图像分类方法
Akanksha et al. A Feature Extraction Approach for Multi-Object Detection Using HoG and LTP.
Singh et al. Wavelet based histogram of oriented gradients feature descriptors for classification of partially occluded objects
CN111046861B (zh) 识别红外影像的方法、构建识别模型的方法及应用
CN107392225A (zh) 基于椭圆傅立叶描述符和加权稀疏表示的植物识别方法
Rani et al. Object Detection in Natural Scene Images Using Thresholding Techniques
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
Sahoo et al. Moving Object Detection Using Deep Learning Method
Hutchinson et al. Optimized estimated ground truth for object-based urban damage estimation using satellite images from the 2003 Bam, Iran, earthquake
CN113076877B (zh) 基于地面采样距离的遥感图像目标检测方法、系统和介质
Murthy et al. A Novel method for efficient text extraction from real time images with diversified background using haar discrete wavelet transform and k-means clustering
Tang et al. Open set domain adaptation based on multi-classifier adversarial network for hyperspectral image classification
Subhashini et al. A hybrid optimal technique for road extraction using entropy rate super-pixel segmentation and probabilistic neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant