CN115690418B - 一种无监督的图像航路点自动检测方法 - Google Patents

一种无监督的图像航路点自动检测方法 Download PDF

Info

Publication number
CN115690418B
CN115690418B CN202211346475.7A CN202211346475A CN115690418B CN 115690418 B CN115690418 B CN 115690418B CN 202211346475 A CN202211346475 A CN 202211346475A CN 115690418 B CN115690418 B CN 115690418B
Authority
CN
China
Prior art keywords
image
sparse
component
adaptive
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211346475.7A
Other languages
English (en)
Other versions
CN115690418A (zh
Inventor
程翔
周伟
段延松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202211346475.7A priority Critical patent/CN115690418B/zh
Publication of CN115690418A publication Critical patent/CN115690418A/zh
Application granted granted Critical
Publication of CN115690418B publication Critical patent/CN115690418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种无监督的图像航路点自动检测方法,包括步骤一、获取全成分图像并获得稀疏成分图像,步骤二、利用多尺度Log‑Gabor滤波获取两种图像的结构密度图,步骤三、获取两组图像的适配图,步骤四、融合两组图像的适配图获得合成适配图,步骤五、基于合成适配图筛选并结合非极大值抑制获得图像航路点;本发明利用Log‑Gabor滤波能有效模拟视皮层感受野响应来提取图像中具有稳定性的结构信息,同时具有良好的辐射变化抗性,通过稀疏表示过程实现了对图像适配性的自动检测,并进一步完成了对航路点图像的自动分割提取,实现参考图像航路点自动提取为高效、高精度的景象匹配导航建立了良好的数据基础,有效减少人工工作量。

Description

一种无监督的图像航路点自动检测方法
技术领域
本发明涉及无人机导航技术领域,尤其涉及一种无监督的图像航路点自动检测方法。
背景技术
图像航路点的选择是景象匹配导航数据预处理的环节,在参考图像上选择适合匹配的图像子块,一方面通过数据筛选有利于减少数据存储量,降低机载存储负担,另一方面通过数据优选,有助于降低对图像场景理解的复杂性,弱化景象匹配过程中无效信息的干扰,集合基于航路点的景象匹配策略共同提升匹配检索效率和匹配定位精度,因此,航路点提取也是景象匹配导航过程中十分重要的一环;
在传统的景象匹配导航过程中,参考图航路点的选择通常是通过人工筛选完成,结合自身对各种匹配算法数据需求的认知和经验,从视觉注意的角度出发,手动选择图像中具有一定特异属性的区域,这种方法费时费力,且容易受到主观因素的影响,稳定性难以控制,存在工作效率低及提取标准和质量不统一的问题,因此,本发明提出一种无监督的图像航路点自动检测方法以解决现有技术中存在的问题。
发明内容
针对上述问题,本发明的目的在于提出一种无监督的图像航路点自动检测方法,该无监督的图像航路点自动检测方法利用Log-Gabor滤波能有效模拟视皮层感受野响应来提取图像中具有稳定性的结构信息,同时具有良好的辐射变化抗性,通过稀疏表示过程实现了对图像适配性的自动检测,并进一步完成了对航路点图像的自动分割提取,全自动化的处理流程有助于降低人为主观因素的影响,提升景象匹配导航系统工作的稳健性,实现参考图像航路点自动提取为高效、高精度的景象匹配导航建立了良好的数据基础。
为实现本发明的目的,本发明通过以下技术方案实现:一种无监督的图像航路点自动检测方法,包括以下步骤:
步骤一、获取全成分图像,并基于全成分图像利用稀疏低秩分解方法获得稀疏成分图像;
步骤二、利用多尺度Log-Gabor滤波挖掘两种成分图像的结构信息并构建成结构密度图,获得全成分图像结构密度图和稀疏成分图像结构密度图;
步骤三、根据两组结构密度图并利用迭代双重稀疏表示方法提取图像中结构信息丰富的区域,并分别生成全成分图像适配图MSAa和稀疏成分图像适配图MSAs
步骤四、将获得的两组成分适配图进行融合,并对图像区域结构信息丰富度和显著特异性进行综合权衡优化,得到合成适配图;
步骤五、从得到的合成适配图中筛选出高适配性的像素点构成像素集合,再结合非极大值抑制自动分割获得图像航路点。
进一步改进在于:所述步骤一中稀疏成分图像获得方法具体为给定一个全成分图像I,以下式为目标函数,利用鲁棒主成分分析模型对图像进行稀疏低秩分解,提取具备结构显著特性的稀疏成分,即获得稀疏成分图像,
其中L和S分别表示低秩成分和稀疏成分;||·||*表示核范数,刻画L的低秩特性;||·||1表示L1范数;λ为权衡参数,权衡低秩成分L和稀疏成分S的稀疏性之间的关系。
进一步改进在于:所述步骤二中结构密度图构建方法具体包括
第一步、图像结构信息提取,使用不同中心频率的Log-Gabor滤波提取图像的多尺度结构信息,将多张滤波结果图叠加在一起生成一张包含所有结构信息的滤波总图;
第二步、结构特征点稀疏化,使用SLIC超像素分割法将生成的滤波总图分割获得超像素区域集合,并使用超像素的区域限制对结构特征点进行稀疏处理,构成稀疏结构特征点集合PS
第三步、基于稀疏结构特征点集合,并以超像素为基本单元,利用下式计算获得超像素结构密度,再遵循超像素内图像像素属性一致的原则生成结构密度图
其中X、Y为待评估超像素中心坐标,n为稀疏特征点集合PS中元素的个数,Xi、Yi为稀疏特征点坐标,Zi为稀疏特征点强度,σ为距离权重调控因子。
进一步改进在于:所述步骤三中具体是将两组结构密度图分别作为初级信息,用以引导迭代双重稀疏表示方法,利用导迭代双重稀疏表示方法提取图像中结构信息丰富的区域。
进一步改进在于:所述步骤三中全成分图像适配图MSAa和稀疏成分图像适配图MSAs生成方法具体为使用SLIC超像素分割法生成稀疏表示处理基本单元,再利用结构密度图作为筛选依据,提取结构密度高的超像素制成适配字典,提取结构密度低的超像素制成非适配字典,然后基于迭代双重稀疏表示方法结合稀疏重构残差的适配因子,对图像的适配性自动检测并生成适配图。
进一步改进在于:所述迭代双重稀疏表示方法具体为
A、将输入图像进行多尺度超像素分割后获得每一个单一尺度的超像素区域特征;
B、利用视觉注意焦点预测方法获得视觉注意结果并生成初始显著图;
C、根据初始显著图的显著性程度的大小提取图像中的前景区域和背景区域构建获得前景字典和背景字典;
D、分别以两组字典对输入图像的所有超像素进行双重稀疏表示,并计算获得重构残差作为显著性因子计算显著性水平值对初始显著图进行迭代计算。
进一步改进在于:所述步骤四中两组成分适配图进行融合时参照下式进行融合
MSAf=MSAa×MSAs
其中MSAf表示合成适配图,MSAa表示全成分图像适配图,MSAs表示稀疏成分图像适配图。
进一步改进在于:所述步骤五具体为基于合成适配图设定一个阈值t,筛选出具有高适配性的像素点构成集合M={P1,P2,…,PN},再结合非极大值抑制,根据给定的子块大小w×h,以适配图中的极大值为中心分割获得图像航路点,其中N为合成适配图中大于阈值t的像素点个数。
本发明的有益效果为:本发明利用Log-Gabor滤波能有效模拟视皮层感受野响应来提取图像中具有稳定性的结构信息,同时具有良好的辐射变化抗性,通过稀疏表示过程实现了对图像适配性的自动检测,并进一步完成了对航路点图像的自动分割提取,全自动化的处理流程有助于降低人为主观因素的影响,提升景象匹配导航系统工作的稳健性,实现参考图像航路点自动提取为高效、高精度的景象匹配导航建立了良好的数据基础,有效减少人工工作量。
附图说明
图1为本发明方法流程图。
图2为本发明合成适配图的合成方法流程图。
图3为本发明结构密度图生成方法流程图。
图4为本发明迭代双重稀疏表示方法流程图。
图5为本发明迭代双重稀疏表示方法框架图。
图6为本发明步骤二的第三步中加权投票结果图。
具体实施方式
为了加深对本发明的理解,下面将结合实施例对本发明做进一步详述,本实施例仅用于解释本发明,并不构成对本发明保护范围的限定。
根据图1-图6所示,本实施例提供了一种无监督的图像航路点自动检测方法,包括以下步骤:
步骤一、获取全成分图像,并基于全成分图像利用稀疏低秩分解方法获得稀疏成分图像;
图像视觉显著的区域区别于周围背景,表现为图像中的前景信息。在局部范围内,显著区域的周边邻域子块通常表现为低秩特性,故通过稀疏低秩分解对图像中的前景和背景进行分离,提取与背景差异明显的显著性区域(稀疏成分),表示图像的独特结构信息;
稀疏成分图像获得方法具体为给定一个全成分图像I,以下式为目标函数,利用鲁棒主成分分析模型对图像进行稀疏低秩分解,提取具备结构显著特性的稀疏成分,即获得稀疏成分图像,
其中L和S分别表示低秩成分和稀疏成分;||·||*表示核范数,刻画L的低秩特性;||·||1表示L1范数;λ为权衡参数,权衡低秩成分L和稀疏成分S的稀疏性之间的关系;
可通过半正定规划法、加速迫近梯度法或增广拉格朗日乘子法进行解算;在实际问题中,通过下式计算,获得合适的平衡参数λ是进行有效分解的前提保证;
其中m和n分别为输入图像的长度和宽度。
步骤二、利用多尺度Log-Gabor滤波提取图像像素的结构强度信息,并通过二值化处理筛选结构特征点;然后借助SLIC超像素分割方法对图像进行超像素分割获取具有结构相似性的图像区域集合作为基本处理单元;进一步在超像素的基础上,通过距离加权投票计算区域结构特征强度,生成全成分图像结构密度图和稀疏成分图像结构密度图;
具体构建方法包括:
第一步、图像结构信息提取,使用不同中心频率的Log-Gabor滤波提取图像的多尺度结构信息,将多张滤波结果图叠加在一起生成一张包含所有结构信息的滤波总图,其中,中心频率越小,提取出来的图像结构信息越稀疏,对应于更大尺度的结构特征;
第二步、结构特征点稀疏化,使用SLIC超像素分割法将生成的滤波总图分割成一组具有近似大小的超像素区域集合,并使用超像素的区域限制对结构特征点进行稀疏处理,构成稀疏结构特征点集合PS
第三步、基于稀疏结构特征点集合,并以超像素为基本单元,利用下式计算获得超像素结构密度,再遵循超像素内图像像素属性一致的原则生成结构密度图,加权投票结果图说明书附图6所示
其中X、Y为待评估超像素中心坐标,n为稀疏特征点集合PS中元素的个数,Xi、Yi为稀疏特征点坐标,Zi为稀疏特征点强度,σ为距离权重调控因子。
步骤三、将两组结构密度图分别作为初级信息引导迭代双重稀疏表示方法提取图像中结构信息丰富的区域,并分别生成全成分图像适配图MSAa和稀疏成分图像适配图MSAs
生成方法具体为使用SLIC超像素分割法生成稀疏表示处理基本单元,再利用结构密度图作为筛选依据,提取结构密度高的超像素制成适配字典,提取结构密度低的超像素制成非适配字典,然后基于迭代双重稀疏表示方法结合稀疏重构残差的适配因子,对图像的适配性自动检测并生成适配图;
迭代双重稀疏表示方法具体为:
A、将输入图像进行多尺度超像素分割后获得每一个单一尺度的超像素区域特征;
B、利用视觉注意焦点预测方法获得视觉注意结果并生成初始显著图;
C、根据初始显著图的显著性程度的大小提取图像中的前景区域和背景区域构建获得前景字典和背景字典;
D、分别以两组字典对输入图像的所有超像素进行双重稀疏表示,并计算获得重构残差作为显著性因子计算显著性水平值对初始显著图进行迭代计算;
具体流程如说明书附图5所示。
步骤四、将获得的两组成分适配图进行融合,并对图像区域结构信息丰富度和显著特异性进行综合权衡,借此对提取出的两组成分适配图作进一步优化,得到合成适配图,在合成适配图中,像素值越大,表示以该位置为中心所代表的图像区域结构信息更丰富,且具有明显的特异性,更利于景象匹配;
两组成分适配图进行融合时参照下式进行融合
MSAf=MSAa×MSAs
其中MSAf表示合成适配图,MSAa表示全成分图像适配图,MSAs表示稀疏成分图像适配图。
步骤五、从得到的合成适配图中筛选出高适配性的像素点构成像素集合,再结合非极大值抑制自动分割获得图像航路点;
具体为基于合成适配图设定一个阈值t,筛选出具有高适配性的像素点构成集合M={P1,P2,…,PN},再结合非极大值抑制,根据给定的子块大小w×h,以适配图中的极大值为中心分割获得图像航路点供景象匹配导航使用,其中N为合成适配图中大于阈值t的像素点个数。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种无监督的图像航路点自动检测方法,其特征在于:包括以下步骤:
步骤一、获取全成分图像,并基于全成分图像利用稀疏低秩分解方法获得稀疏成分图像,图像视觉显著的区域区别于周围背景,表现为图像中的前景信息,在局部范围内,显著区域的周边邻域子块表现为低秩特性,故通过稀疏低秩分解对图像中的前景和背景进行分离,提取与背景差异明显的显著性区域,即稀疏成分,表示图像的独特结构信息;
步骤二、利用多尺度Log-Gabor滤波挖掘两种成分图像的结构信息并构建成结构密度图,获得全成分图像结构密度图和稀疏成分图像结构密度图;
步骤三、根据两组结构密度图并利用迭代双重稀疏表示方法提取图像中结构信息丰富的区域,并分别生成全成分图像适配图MSAa和稀疏成分图像适配图MSAs
步骤四、将获得的两组成分适配图进行融合,并对图像区域结构信息丰富度和显著特异性进行综合权衡优化,得到合成适配图;
步骤五、从得到的合成适配图中筛选出高适配性的像素点构成像素集合,再结合非极大值抑制自动分割获得图像航路点;
所述步骤二中结构密度图构建方法具体包括:
第一步、图像结构信息提取,使用不同中心频率的Log-Gabor滤波提取图像的多尺度结构信息,将多张滤波结果图叠加在一起生成一张包含所有结构信息的滤波总图;
第二步、结构特征点稀疏化,使用SLIC超像素分割法将生成的滤波总图分割获得超像素区域集合,并使用超像素的区域限制对结构特征点进行稀疏处理,构成稀疏结构特征点集合PS
第三步、基于稀疏结构特征点集合,并以超像素为基本单元,利用下式计算获得超像素结构密度,再遵循超像素内图像像素属性一致的原则生成结构密度图
其中X、Y为待评估超像素中心坐标,n为稀疏特征点集合PS中元素的个数,Xi、Yi为稀疏特征点坐标,Zi为稀疏特征点强度,σ为距离权重调控因子。
2.根据权利要求1所述的一种无监督的图像航路点自动检测方法,其特征在于:所述步骤一中稀疏成分图像获得方法具体为给定一个全成分图像I,以下式为目标函数,利用鲁棒主成分分析模型对图像进行稀疏低秩分解,提取具备结构显著特性的稀疏成分,即获得稀疏成分图像,
其中L和S分别表示低秩成分和稀疏成分;||·||*表示核范数,刻画L的低秩特性;||·||1表示L1范数;λ为权衡参数,权衡低秩成分L和稀疏成分S的稀疏性之间的关系。
3.根据权利要求1所述的一种无监督的图像航路点自动检测方法,其特征在于:所述步骤三中具体是将两组结构密度图分别作为初级信息,用以引导迭代双重稀疏表示方法,利用导迭代双重稀疏表示方法提取图像中结构信息丰富的区域。
4.根据权利要求1所述的一种无监督的图像航路点自动检测方法,其特征在于:所述步骤三中全成分图像适配图MSAa和稀疏成分图像适配图MSAs生成方法具体为使用SLIC超像素分割法生成稀疏表示处理基本单元,再利用结构密度图作为筛选依据,提取结构密度高的超像素制成适配字典,提取结构密度低的超像素制成非适配字典,然后基于迭代双重稀疏表示方法结合稀疏重构残差的适配因子,对图像的适配性自动检测并生成适配图。
5.根据权利要求4所述的一种无监督的图像航路点自动检测方法,其特征在于:所述迭代双重稀疏表示方法具体为
A、将输入图像进行多尺度超像素分割后获得每一个单一尺度的超像素区域特征;
B、利用视觉注意焦点预测方法获得视觉注意结果并生成初始显著图;
C、根据初始显著图的显著性程度的大小提取图像中的前景区域和背景区域构建获得前景字典和背景字典;
D、分别以两组字典对输入图像的所有超像素进行双重稀疏表示,并计算获得重构残差作为显著性因子计算显著性水平值对初始显著图进行迭代计算。
6.根据权利要求1所述的一种无监督的图像航路点自动检测方法,其特征在于:所述步骤四中两组成分适配图进行融合时参照下式进行融合
MSAf=MSAa×MSAs
其中MSAf表示合成适配图,MSAa表示全成分图像适配图,MSAs表示稀疏成分图像适配图。
7.根据权利要求1所述的一种无监督的图像航路点自动检测方法,其特征在于:所述步骤五具体为基于合成适配图设定一个阈值t,筛选出具有高适配性的像素点构成集合M={P1,P2,…,PN},再结合非极大值抑制,根据给定的子块大小w×h,以适配图中的极大值为中心分割获得图像航路点,其中N为合成适配图中大于阈值t的像素点个数。
CN202211346475.7A 2022-10-31 2022-10-31 一种无监督的图像航路点自动检测方法 Active CN115690418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211346475.7A CN115690418B (zh) 2022-10-31 2022-10-31 一种无监督的图像航路点自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211346475.7A CN115690418B (zh) 2022-10-31 2022-10-31 一种无监督的图像航路点自动检测方法

Publications (2)

Publication Number Publication Date
CN115690418A CN115690418A (zh) 2023-02-03
CN115690418B true CN115690418B (zh) 2024-03-12

Family

ID=85045171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211346475.7A Active CN115690418B (zh) 2022-10-31 2022-10-31 一种无监督的图像航路点自动检测方法

Country Status (1)

Country Link
CN (1) CN115690418B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574534A (zh) * 2015-12-17 2016-05-11 西安电子科技大学 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN105654142A (zh) * 2016-01-06 2016-06-08 上海大学 基于自然场景统计的无参考立体图像质量评价方法
CN107992874A (zh) * 2017-12-20 2018-05-04 武汉大学 基于迭代稀疏表示的图像显著目标区域提取方法及系统
CN109117852A (zh) * 2018-07-10 2019-01-01 武汉大学 基于稀疏表示的无人机图像适配区自动提取方法及系统
CN111046868A (zh) * 2019-11-26 2020-04-21 广东石油化工学院 基于矩阵低秩稀疏分解的目标显著性检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717354B (zh) * 2018-07-11 2023-05-12 哈尔滨工业大学 基于半监督k-svd与多尺度稀疏表示的超像元分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574534A (zh) * 2015-12-17 2016-05-11 西安电子科技大学 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN105654142A (zh) * 2016-01-06 2016-06-08 上海大学 基于自然场景统计的无参考立体图像质量评价方法
CN107992874A (zh) * 2017-12-20 2018-05-04 武汉大学 基于迭代稀疏表示的图像显著目标区域提取方法及系统
CN109117852A (zh) * 2018-07-10 2019-01-01 武汉大学 基于稀疏表示的无人机图像适配区自动提取方法及系统
CN111046868A (zh) * 2019-11-26 2020-04-21 广东石油化工学院 基于矩阵低秩稀疏分解的目标显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图和稀疏主成分分析的多目标显著性检测;梁大川;李静;刘赛;李东民;;计算机研究与发展(05);全文 *

Also Published As

Publication number Publication date
CN115690418A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
Lin et al. Cascaded feature network for semantic segmentation of RGB-D images
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN109784283B (zh) 基于场景识别任务下的遥感图像目标提取方法
CN111126472A (zh) 一种基于ssd改进的目标检测方法
CN111898543A (zh) 一种融合几何感知与图像理解的建筑物自动提取方法
CN109241982A (zh) 基于深浅层卷积神经网络的目标检测方法
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN109712150A (zh) 基于稀疏表示的光学微波图像融合重建方法和装置
Yuan et al. Neighborloss: a loss function considering spatial correlation for semantic segmentation of remote sensing image
CN111797814A (zh) 基于通道融合和分类器对抗的无监督跨域动作识别方法
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN114937202A (zh) 一种双流Swin Transformer遥感场景分类方法
Wu et al. Style mixing and patchwise prototypical matching for one-shot unsupervised domain adaptive semantic segmentation
CN115330620A (zh) 一种基于循环生成对抗网络的图像去雾方法
CN113052108A (zh) 基于深度神经网络的多尺度级联航拍目标检测方法和系统
CN113838064A (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN113297959A (zh) 一种基于角点注意力孪生网络的目标跟踪方法及系统
CN114037891A (zh) 基于u型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN117496347A (zh) 遥感影像建筑物提取方法、装置及介质
Ning et al. Trap attention: Monocular depth estimation with manual traps
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN115690418B (zh) 一种无监督的图像航路点自动检测方法
CN116935226A (zh) 一种基于HRNet的改进型遥感图像道路提取方法、系统、设备及介质
CN117011515A (zh) 基于注意力机制的交互式图像分割模型及其分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant