CN109117852A - 基于稀疏表示的无人机图像适配区自动提取方法及系统 - Google Patents
基于稀疏表示的无人机图像适配区自动提取方法及系统 Download PDFInfo
- Publication number
- CN109117852A CN109117852A CN201810751318.1A CN201810751318A CN109117852A CN 109117852 A CN109117852 A CN 109117852A CN 201810751318 A CN201810751318 A CN 201810751318A CN 109117852 A CN109117852 A CN 109117852A
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- adaptation
- smam
- rarefaction representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于稀疏表示的无人机图像适配区自动提取方法及系统,首先利用多组不同像元数参数的SLIC分割方法对原始图像进行超像素分割,生成一组超像素区域大小不同的分割图像;然后针对每一种尺度的分割结果,结合经典的匹配能力强的SIFT特征和Hausdorff距离匹配识别出特异性高、点密度大的区域作为初始适配区样本,提取特异性差、特征点数少的区域作为非适配区样本;进而通过稀疏表示过程计算各超像素区域的重构残差作为适配性因子,并结合递归迭代运算对单一尺度下的适配区检测结果图进行优化,最后通过多尺度检测图融合获得最终的适配区检测结果。本发明改善了主观性强、人工成本高、工作效率低等问题,为景象匹配导航与定位提供了技术支持和参考。
Description
技术领域
本发明属于计算机视觉与图像处理领域,涉及一种基于稀疏表示的无人机图像适配区自动提取技术。
背景技术
无人机(Unmanned Aerial Vehicle,UAV)具有体积小、重量轻、灵活性高、隐蔽性强、成本低且不存在机组人员人身安全隐患等优点,在民用和军事领域,如灾害监测、地质勘探、地图测绘、军事侦察、目标攻击、战场态势监控等方面都有着十分广泛的应用。先进的导航系统在无人机应用中具有重要的作用,尤其是对远程和长时间运行等人工线控或遥控模式难以企及的工作环境,完善、高精度的自主导航技术是无人机提升生存能力并完成工作任务的关键保障。
目前,在无人机上采用的导航技术主要包括惯性导航(Inertial NavigationSystem,INS)、卫星导航(Global Navigation Satellite System,GNSS)、多普勒导航、地形辅助导航、地磁导航等。随着视觉传感器技术、计算机技术的迅速发展,基于计算机视觉的匹配定位技术作为一种重要的飞行器导航方式——景象匹配辅助导航(Scene MatchingAided Navigation,SMAN,简称景象匹配导航)得到研究人员的广泛关注,其自主性、可视性及智能化等特点使之迅速成为导航领域的研究热点,可为无人机长航时飞行中辅助INS导航提供新的方式和手段。景象匹配导航以摄像机为传感器,以图像匹配为技术基础,将无人机飞行过程中实时采集的图像与预存在设备中具有地理位置信息的记住图像进行匹配比较,从而高精度获取成像时刻无人机的位置信息,具有成本低、精度高、抗干扰能力强等显著特点。
适配区(Suitable Matching Area,SMA)提取是景象匹配应用中需要首要解决的问题。通过筛选地理参考图像中特征明显、稳定性强、特异性高的目标区域完成景象匹配,一方面有助于提升匹配精度,同时通过减小匹配搜索范围可以提升匹配效率;另外通过适配区提取能有效缩减无人机载荷面临的数据存储负担,提升导航系统适用性。图像适配区提取,从本质上讲是一个图像二分类过程,同时也属于特定目标区域检测的问题。当前,对于这一检测问题仍未建立成熟的自动化解决方案,大部分工作和应用都是通过人工完成,人工选择的结果受到主观因素的影响,同时工作效率也普遍受到限制。在应用需求的驱使下,国内外对适配区的自动提取技术进行了大量探索性研究。国外面向目标跟踪的技术背景,对适配区提取问题的研究主要关注在图像特征提取和特征选择上;国内则针对导航需求围绕景象匹配区域的提取展开研究。结合匹配特性,许多研究都通过建立区域综合特征和景象匹配适配性指标间的关系,利用决策或分类的方法进行适配性分析和适配区提取;在人工选择的引导下,基于支持向量机的图像分类方法及其他监督聚类方法也被应用于完成图像适配区划分。
基于单一或几个特定指标的筛选策略影响了自动提取方法的普适性,而监督聚类的方法则始终受制于人为因素的影响,自动化程度和普适性也受到抑制。如何改善上述方法中的不足,强化图像适配区提取的鲁棒性和自动化程度,仍旧是需要进一步研究和攻克的技术性难题,也是景象匹配导航技术发展所面临的基础问题之一。
发明内容
本发明的目的是提供一种无人机图像适配区自动提取方法的技术方案,它从适配区的本质特性出发,在匹配特性分析的基础上,结合图像中适配和非适配特征的综合差异,整合适配区域的固有联系,弱化传统人工提取过程对人为主观因素的依赖,实现图像适配区的全自动化提取。
为达到上述目的,本发明提供的技术方案为一种基于稀疏表示的无人机图像适配区自动提取方法,包括以下步骤:
步骤1,数据预处理,设定不同的SLIC超像素数,对原始图像进行多尺度超像素分割;
步骤2,构建超像素区域特征向量,提取原始图像每个像素的匹配性特征向量,即SIFT特征描述,取超像素内所有原始像素特征的均值作为其区域特征向量;
步骤3,构建超像素区域特征点集,使用经典的SIFT特征对原始图像进行点特征提取,对于每种尺度的超像素区域,其特征点集由区域内的SIFT特征点组成;
步骤4,对每种尺度的超像素区域特征点集进行两两匹配,获得超像素区域的匹配相关度值;
步骤5,构建每种尺度下的初始适配图SMAM0,对每个超像素区域,若所有匹配结果中最大的相关度值maxRV大于阈值T1,则其适配度值为0,否则其适配度值为1/maxRV;
步骤6,针对步骤1中每个单一尺度的分割结果,结合对应的初始适配图SMAM0,通过递归稀疏表示计算适配图;
步骤7,多尺度适配性检测结果融合,对各单一尺度下的适配性结果进行等权线性组合,计算最终的适配性检测结果。
进一步的,步骤4中采用基于Hausdorff距离对每种尺度的超像素区域特征点集进行两两匹配,并设定特征点数为0的区域与其他区域的匹配相关度为1,其中Hausdorff距离的计算公式如下;
H(A,B)=max[h(A,B),h(B,A)] (1)
其中A={a1,a2,...},B={b1,b2,...}为两个欧式空间点集,为点集间的单向Hausdorff距离。
进一步的,步骤6的具体实现包括以下子步骤,
步骤6.1,适配区样本提取,对超像素初始适配性水平进行降序排列,取前p1%个超像素作为适配区样本Df;
步骤6.2,非适配区样本提取,对超像素初始适配性水平进行升序排列,取前p2%个超像素作为备选非适配区样本Db1,提取特征点数少于阈值T2的超像素作为备选非适配区样本Db2,非适配区样本计算公式如下:
Db=Db1+Db2-Df (2)
步骤6.3,双重稀疏表示及稀疏残差计算,分别以适配区样本和非适配区样本作为字典对所有超像素进行稀疏表示并计算重构残差,公式如下:
其中i表示超像素编号;Fi是超像素区域的特征向量;λb,λf是正则参数;αbi,αfi分别为适配稀疏表示结果和非适配稀疏表示结果;εbi,εfi分别为适配稀疏重构残差和非适配稀疏重构残差;
步骤6.4,适配度计算,按照公式(7)对εbi和εfi进行融合并将超像素融合结果赋予其内所有原始图像像素,计算得到适配图SMAMi,
SMAMi=εbi/(εfi+σ2) (7)
其中σ2是非负调节参数;
步骤6.5,递归处理,按照公式(8)计算适配图SMAMi和初始适配图SMAM0之间的相关系数rela,若rela<K,则令SMAM0=SMAMi并重复执行步骤6全过程;若rela>K,则递归结束,输出当前SMAMi为该尺度下的适配性检测结果;其中,K是相似性判定阈值,
rela=corr2(A,B) (8)
其中corr2()为相关系数计算函数;A,B为待比较矩阵或图像;rela为A和B之间的相关系数,值越大,A和B越相似,反之差异越大。
进一步的,步骤2中所述SIFT特征为128维。
此外,本发明还提供一种基于稀疏表示的无人机图像适配区自动提取方法系统,包括如下模块:
预处理模块,用于数据预处理,设定不同的SLIC超像素数,对原始图像进行多尺度超像素分割;
超像素区域特征向量构建模块,用于对超像素区域内每一个像素进行SIFT特征描述,然后取区域内所有原始像素特征均值作为其区域特征向量;
超像素区域特征点集构建模块,用于对原始图像使用经典的SIFT算法进行特征提取,然后用区域内的SIFT点构建超像素区域特征点集;
单一尺度下适配性结果计算模块,用于针对单一尺度的分割结果,通过递归稀疏表示计算适配图,包括以下子模块:
第一子模块,用于超像素初始适配性计算,对每种尺度的超像素区域特征点集进行两两匹配,获得超像素区域的匹配相关度值;若所有匹配结果中最大的相关度值maxRV大于阈值T1,则其适配度值为0,否则其适配度值为1/maxRV,构建初始适配图SMAM0;
第二子模块,用于适配区样本提取,对超像素初始适配性水平进行降序排列,取前p1%个超像素作为适配样本Df;
第三子模块,用于非适配样本提取,对超像素初始适配性水平进行升序排列,取前p2%个超像素作为备选非适配样本Db1,提取特征点数少于阈值T2的超像素作为备选非适配区样本Db2,非适配区样本计算公式如下:
Db=Db1+Db2-Df (2)
第四子模块,用于双重稀疏表示及稀疏残差计算,分别以适配区样本和非适配区样本作为字典对所有超像素进行稀疏表示并计算重构残差,公式如下:
其中i表示超像素编号;Fi是超像素区域的特征向量;λb,λf是正则参数;αbi,αfi分别为适配稀疏表示结果和非适配稀疏表示结果;εbi,εfi分别为适配稀释重构残差和非适配稀疏重构残差;
第五子模块,用于适配性因子计算,按照公式(7)对εbi和εfi进行融合并将超像素融合结果赋予其内所有原始图像像素,计算得到适配性因子图SMAMi,
SMAMi=εbi/(εfi+σ2) (7)
其中σ2是非负调节参数;
第六子模块,用于递归处理,按照公式(8)计算适配性因子图AMAMi和初始适配图AMAM0之间的相关系数rela,若rela<K,则令AMAM0=AMAMi并重复执行步骤4全过程;若rela>K,则递归结束,输出当前SMAMi为该尺度下的适配性检测结果;其中,K是相似性判定阈值,
rela=corr2(A,B) (8)
其中corr2()为相关系数计算函数;A,B为待比较矩阵或图像;rela为A和B之间的相关系数,值越大,A和B越相似,反之差异越大;
检测结果融合模块,用于多尺度适配性检测结果融合,对各单一尺度下的适配性结果进行等权线性组合,计算最终的适配性检测结果。
进一步的,第一子模块中采用基于Hausdorff距离对每种尺度的超像素区域特征点集进行两两匹配,并设定特征点数为0的区域与其他区域的匹配相关度为1,其中Hausdorff距离的计算公式如下;
H(A,B)=max[h(A,B),h(B,A)] (1)
其中A={a1,a2,...},B={b1,b2,...}为两个欧式空间点集,为点集间的单向Hausdorff距离。
进一步的,超像素区域特征向量构建模块中SIFT特征为128维。
本发明的方法首先利用多组不同像元数参数的SLIC分割方法对原始图像进行超像素分割,生成一组超像素区域大小不同的分割图像,建立多尺度源数据。然后针对每一种尺度的分割结果,以经典的SIFT特征点数和SIFT匹配效力构建初始适配图约束适配和非适配样本区域的选择,进而通过稀疏表示过程计算各超像素区域的重构残差作为适配性因子,并结合递归迭代运算对单一尺度下的适配区检测结果图进行优化,最后通过多尺度适配图融合取得最终的适配区域检测结果。本发明实现对景象匹配导航工作流程中图像适配区域的自动检测,有助于改善传统人工提取所面临的主观性强、人工成本高、工作效率低等问题,可为更高自动化的景象匹配导航与定位提供技术支持和参考。本发明技术方案具有如下优点:
1)通过多组SLIC分割器将图像划分为多个尺度的超像素图像,一方面借助超像素分割减少处理基元个数,提升效率;另外通过多尺度分割,使得算法能在不同尺寸进行适配性分析,保障适配区检测的适应性和鲁棒性。
2)通过基于适配区字典和非适配区字典的双重稀疏表示过程计算像素(区域)适配性,一方面以重构过程残差作为适配性水平指标,从全局的角度自动判定像素间的匹配特性的相似性水平,不同于传统依赖人工提取的方法,能有效改善工作效率和自动化程度,弱化人为主观因素的影响;另外双重稀疏表示的计算过程也能对各像元的属性作更为全面的分析以判定其适配性水平,可进一步提升算法鲁棒性。
3)通过递归优化过程能一定程度上弱化算法对初值的依赖,有助于提升算法可靠性。
附图说明
图1为本发明实施例流程图。
具体实施方式
以下根据附图和实施例对本发明的具体技术方案进行说明。
本发明提出一种基于稀疏表示的无人机图像适配区自动提取方法,它从适配区的本质特性出发,在匹配特性分析的基础上,结合图像中适配和非适配特征的综合差异,整合适配区域的固有联系,弱化传统人工提取过程对人为主观因素的依赖,实现图像适配区的全自动化提取。如图1所示,实施例所提供的具体实现方法包含以下步骤:
步骤1,数据预处理,设定不同的SLIC超像素数,对原始图像进行多尺度超像素分割;
步骤2,构建超像素区域特征向量,提取原始图像每个像素的匹配性特征向量,即SIFT特征描述,取超像素内所有原始像素特征的均值作为其区域特征向量;
步骤3,构建超像素区域特征点集,使用经典的SIFT特征对原始图像进行点特征提取,对于每种尺度的超像素区域,其特征点集由区域内的SIFT特征点组成;
步骤4,对每种尺度的超像素区域特征点集,基于Hausdorff距离(公式1)进行两两匹配,特征点数为0的区域与其他区域的匹配相关度为1;
H(A,B)=max[h(A,B),h(B,A)] (1)
其中A={a1,a2,...},B={b1,b2,...}为两个欧式空间点集,为点集间的单向Hausdorff距离。匹配相关度越大,证明该区域在图像中特异性越差,不宜选作适配区,特征点为0区域不适配,因此其匹配相关度设为最大值1。
步骤5,构建每种尺度下的初始适配图SMAM0,对每个超像素区域,若所有匹配结果中最大的相关度值maxRV大于阈值T1(实例中T1=0.4),则其适配度值为0,否则其适配度值为1/maxRV;
步骤6,针对步骤1中每个单一尺度的分割结果,通过递归稀疏表示计算适配图,包括以下子步骤:
步骤6.1,适配区样本提取,对超像素初始适配性水平进行降序排列,取前p1%个超像素作为适配区样本Df(实例中p1=20);
步骤6.2,非适配区样本提取,对超像素初始适配性水平进行升序排列,取前p2%个超像素作为备选非适配区样本Db1,提取特征点数少于阈值T2(为凸显特征点特异性的作用而弱化特征点数目的影响,此处T2取较小值,实例中考虑超像素区域的大小,将T2取值为10)的超像素作为备选非适配区样本Db2(实例中p2=20),非适配区样本计算公式如下:
Db=Db1+Db2-Df (2)
步骤6.3,双重稀疏表示及稀疏残差计算,分别以适配区样本和非适配区样本作为字典对所有超像素进行稀疏表示并计算重构残差,公式如下:
其中i表示超像素编号;Fi是超像素区域的特征向量;λb,λf是正则参数(实例中λb=λf=0.01);αbi,αfi分别为适配稀疏表示结果和非适配稀疏表示结果;εbi,εfi分别为适配稀疏重构残差和非适配稀疏重构残差;
步骤6.4,适配度计算,按照公式(7)对εbi和εfi进行融合,并将超像素融合结果赋予其内所有原始图像像素,计算得到适配图SMAMi,
SMAMi=εbi/(εfi+σ2) (7)
其中σ2是非负调节参数(实例中σ2=0.1);
步骤6.5,递归处理,按照公式(8)计算适配图SMAMi和初始适配图SMAM0之间的相关系数rela,若rela<K,则令SMAM0=SMAMi并重复执行步骤6全过程;若rela>K,则递归结束,输出当前SMAMi为该尺度下的适配性检测结果;其中,K是相似性判定阈值(实例中K=0.999),
rela=corr2(A,B) (8)
其中corr2()为相关系数计算函数;A,B为待比较矩阵或图像;rela为A和B之间的相关系数,值越大,A和B越相似,反之差异越大;
步骤7,多尺度适配性检测结果融合,对各单一尺度下的适配性结果进行等权线性组合,计算最终的适配性检测结果。
从理论上分析,本发明整个技术方案实施中,在稀疏表示原理的支撑下实现无人机图像适配区域的自动提取。不同于传统手动提取适配区的方法,本发明从适配的本质特性出发,在匹配特性分析的基础上,结合图像中适配和非适配特征的综合差异,整合适配区域的固有联系,弱化传统人工提取过程对人为主观因素的依赖,实现图像适配区的全自动化提取。
具体实施时,本发明技术方案可基于计算机软件技术实现自动运行流程,也可采用模块化方式实现相应系统。本发明实施例提供一种基于稀疏表示的无人机图像适配区域提取系统,包括以下模块:
预处理模块,用于数据预处理,设定不同的SLIC超像素数,对原始图像进行多尺度超像素分割;
超像素区域特征向量构建模块,用于对超像素区域内每一个像素进行SIFT特征描述,然后取区域内所有原始像素特征均值作为其区域特征向量;
超像素区域特征点集构建模块,用于对原始图像使用经典的SIFT算法进行特征提取,然后用区域内的SIFT点构建超像素区域特征点集;
单一尺度下适配性结果计算模块,用于针对单一尺度的分割结果,通过递归稀疏表示计算适配图,包括以下子模块:
第一子模块,用于超像素初始适配性计算,对超像素区域特征点集,基于Hausdorff距离(公式1)进行两两匹配,特征点数为0的区域与其他区域的匹配相关度为1,若所有匹配结果中最大的相关度值maxRV大于阈值T1,则其适配度值为0,否则其适配度值为1/maxRV,构建初始适配图SMAM0;
H(A,B)=max[h(A,B),h(B,A)] (1)
其中A={a1,a2,...},B={b1,b2,...}为两个欧式空间点集,为点集间的单向Hausdorff距离。第二子模块,用于适配区样本提取,对超像素初始适配性水平进行降序排列,取前p1%个超像素作为适配样本Df;
第三子模块,用于非适配样本提取,对超像素初始适配性水平进行升序排列,取前p2%个超像素作为备选非适配样本Db1,提取特征点数少于阈值T2的超像素作为备选非适配区样本Db2,非适配区样本计算公式如下:
Db=Db1+Db2-Df (2)
第四子模块,用于双重稀疏表示及稀疏残差计算,分别以适配区样本和非适配区样本作为字典对所有超像素进行稀疏表示并计算重构残差,公式如下:
其中i表示超像素编号;Fi是超像素区域的特征向量;λb,λf是正则参数;αbi,αfi分别为适配稀疏表示结果和非适配稀疏表示结果;εbi,εfi分别为适配稀释重构残差和非适配稀疏重构残差;
第五子模块,用于适配性因子计算,按照公式(7)对εbi和εfi进行融合并将超像素融合结果赋予其内所有原始图像像素,计算得到适配性因子图SMAMi,
SMAMi=εbi/(εfi+σ2) (7)
其中σ2是非负调节参数;
第六子模块,用于递归处理,按照公式(8)计算适配性因子图SMAMi和初始适配图SMAM0之间的相关系数rela,若rela<K,则令SMAM0=SMAMi并重复执行步骤4全过程;若rela>K,则递归结束,输出当前SMAMi为该尺度下的适配性检测结果;其中,K是相似性判定阈值,
rela=corr2(A,B) (8)
其中corr2()为相关系数计算函数;A,B为待比较矩阵或图像;rela为A和B之间的相关系数,值越大,A和B越相似,反之差异越大;
检测结果融合模块,用于多尺度适配性检测结果融合,对各单一尺度下的适配性结果进行等权线性组合,计算最终的适配性检测结果。
超像素区域特征向量构建模块中SIFT特征为128维。SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性,在图像匹配中应用十分广泛。
各模块具体实现可参见相应步骤,本发明不予撰述。
上述实施例描述仅对本发明的基本技术方案予以说明,且并不仅限于上述实施例。本发明所属领域的技术人员或团队可以对所描述的具体实施例进行任何简单的修改、补充、同等变化或修饰,但并不会偏离本发明的基本精神或超越权利要求书所定义的范围。
Claims (7)
1.基于稀疏表示的无人机图像适配区自动提取方法,其特征在于,包括如下步骤:
步骤1,数据预处理,设定不同的SLIC超像素数,对原始图像进行多尺度超像素分割;
步骤2,构建超像素区域特征向量,提取原始图像每个像素的匹配性特征向量,即SIFT特征描述,取超像素内所有原始像素特征的均值作为其区域特征向量;
步骤3,构建超像素区域特征点集,使用经典的SIFT特征对原始图像进行点特征提取,对于每种尺度的超像素区域,其特征点集由区域内的SIFT特征点组成;
步骤4,对每种尺度的超像素区域特征点集进行两两匹配,获得超像素区域的匹配相关度值;
步骤5,构建每种尺度下的初始适配图SMAM0,对每个超像素区域,若所有匹配结果中最大的相关度值maxRV大于阈值T1,则其适配度值为0,否则其适配度值为1/maxRV;
步骤6,针对步骤1中每个单一尺度的分割结果,结合对应的初始适配图SMAM0,通过递归稀疏表示计算适配图;
步骤7,多尺度适配性检测结果融合,对各单一尺度下的适配性结果进行等权线性组合,计算最终的适配性检测结果。
2.如权利要求1所述的基于稀疏表示的无人机图像适配区自动提取方法,其特征在于:步骤4中采用基于Hausdorff距离对每种尺度的超像素区域特征点集进行两两匹配,并设定特征点数为0的区域与其他区域的匹配相关度为1,其中Hausdorff距离的计算公式如下;
H(A,B)=max[h(A,B),h(B,A)] (1)
其中A={a1,a2,...},B={b1,b2,...}为两个欧式空间点集,为点集间的单向Hausdorff距离。
3.如权利要求1所述的基于稀疏表示的无人机图像适配区自动提取方法,其特征在于:步骤6的具体实现包括以下子步骤,
步骤6.1,适配区样本提取,对超像素初始适配性水平进行降序排列,取前p1%个超像素作为适配区样本Df;
步骤6.2,非适配区样本提取,对超像素初始适配性水平进行升序排列,取前p2%个超像素作为备选非适配区样本Db1,提取特征点数少于阈值T2的超像素作为备选非适配区样本Db2,非适配区样本计算公式如下:
Db=Db1+Db2-Df (2)
步骤6.3,双重稀疏表示及稀疏残差计算,分别以适配区样本和非适配区样本作为字典对所有超像素进行稀疏表示并计算重构残差,公式如下:
其中i表示超像素编号;Fi是超像素区域的特征向量;λb,λf是正则参数;αbi,αfi分别为适配稀疏表示结果和非适配稀疏表示结果;εbi,εfi分别为适配稀疏重构残差和非适配稀疏重构残差;
步骤6.4,适配度计算,按照公式(7)对εbi和εfi进行融合并将超像素融合结果赋予其内所有原始图像像素,计算得到适配图SMAMi,
SMAMi=εbi/(εfi+σ2) (7)
其中σ2是非负调节参数;
步骤6.5,递归处理,按照公式(8)计算适配图SMAMi和初始适配图SMAM0之间的相关系数rela,若rela<K,则令SMAM0=SMAMi并重复执行步骤6全过程;若rela>K,则递归结束,输出当前SMAMi为该尺度下的适配性检测结果;其中,K是相似性判定阈值,
rela=corr2(A,B) (8)
其中corr2()为相关系数计算函数;A,B为待比较矩阵或图像;rela为A和B之间的相关系数,值越大,A和B越相似,反之差异越大。
4.如权利要求1所述的基于稀疏表示的无人机图像适配区自动提取方法,其特征在于:步骤2中SIFT特征为128维。
5.基于稀疏表示的无人机图像适配区自动提取方法系统,其特征在于,包括如下模块:
预处理模块,用于数据预处理,设定不同的SLIC超像素数,对原始图像进行多尺度超像素分割;
超像素区域特征向量构建模块,用于对超像素区域内每一个像素进行SIFT特征描述,然后取区域内所有原始像素特征均值作为其区域特征向量;
超像素区域特征点集构建模块,用于对原始图像使用经典的SIFT算法进行特征提取,然后用区域内的SIFT点构建超像素区域特征点集;
单一尺度下适配性结果计算模块,用于针对单一尺度的分割结果,通过递归稀疏表示计算适配图,包括以下子模块:
第一子模块,用于超像素初始适配性计算,对每种尺度的超像素区域特征点集进行两两匹配,获得超像素区域的匹配相关度值;若所有匹配结果中最大的相关度值maxRV大于阈值T1,则其适配度值为0,否则其适配度值为1/maxRV,构建初始适配图SMAM0;
第二子模块,用于适配区样本提取,对超像素初始适配性水平进行降序排列,取前p1%个超像素作为适配样本Df;
第三子模块,用于非适配样本提取,对超像素初始适配性水平进行升序排列,取前p2%个超像素作为备选非适配样本Db1,提取特征点数少于阈值T2的超像素作为备选非适配区样本Db2,非适配区样本计算公式如下:
Db=Db1+Db2-Df (2)
第四子模块,用于双重稀疏表示及稀疏残差计算,分别以适配区样本和非适配区样本作为字典对所有超像素进行稀疏表示并计算重构残差,公式如下:
其中i表示超像素编号;Fi是超像素区域的特征向量;λb,λf是正则参数;αbi,αfi分别为适配稀疏表示结果和非适配稀疏表示结果;εbi,εfi分别为适配稀释重构残差和非适配稀疏重构残差;
第五子模块,用于适配性因子计算,按照公式(7)对εbi和εfi进行融合并将超像素融合结果赋予其内所有原始图像像素,计算得到适配性因子图SMAMi,
SMAMi=εbi/(εfi+σ2) (7)
其中σ2是非负调节参数;
第六子模块,用于递归处理,按照公式(8)计算适配性因子图SMAMi和初始适配图SMAM0之间的相关系数rela,若rela<K,则令SMAM0=SMAMi并重复执行步骤4全过程;若rela>K,则递归结束,输出当前SMAMi为该尺度下的适配性检测结果;其中,K是相似性判定阈值,
rela=corr2(A,B) (8)
其中corr2()为相关系数计算函数;A,B为待比较矩阵或图像;rela为A和B之间的相关系数,值越大,A和B越相似,反之差异越大;
检测结果融合模块,用于多尺度适配性检测结果融合,对各单一尺度下的适配性结果进行等权线性组合,计算最终的适配性检测结果。
6.如权利要求5所述的基于稀疏表示的无人机图像适配区自动提取系统,其特征在于:第一子模块中采用基于Hausdorff距离对每种尺度的超像素区域特征点集进行两两匹配,并设定特征点数为0的区域与其他区域的匹配相关度为1,其中Hausdorff距离的计算公式如下;
H(A,B)=max[h(A,B),h(B,A)] (1)
其中A={a1,a2,...},B={b1,b2,...}为两个欧式空间点集,为点集间的单向Hausdorff距离。
7.如权利要求5所述的基于稀疏表示的无人机图像适配区自动提取系统,其特征在于:超像素区域特征向量构建模块中SIFT特征为128维。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810751318.1A CN109117852B (zh) | 2018-07-10 | 2018-07-10 | 基于稀疏表示的无人机图像适配区自动提取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810751318.1A CN109117852B (zh) | 2018-07-10 | 2018-07-10 | 基于稀疏表示的无人机图像适配区自动提取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109117852A true CN109117852A (zh) | 2019-01-01 |
CN109117852B CN109117852B (zh) | 2021-08-17 |
Family
ID=64862470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810751318.1A Active CN109117852B (zh) | 2018-07-10 | 2018-07-10 | 基于稀疏表示的无人机图像适配区自动提取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109117852B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115424037A (zh) * | 2022-10-12 | 2022-12-02 | 武汉大学 | 一种基于多尺度稀疏表示的显著目标区域提取方法 |
CN115690418A (zh) * | 2022-10-31 | 2023-02-03 | 武汉大学 | 一种无监督的图像航路点自动检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060115158A1 (en) * | 2001-07-11 | 2006-06-01 | Science Applications International Corporation | Method for selecting representative endmember components from spectral data |
CN103824079A (zh) * | 2014-02-08 | 2014-05-28 | 重庆市国土资源和房屋勘测规划院 | 基于多层次模式子块划分的图像分类方法 |
CN104318569A (zh) * | 2014-10-27 | 2015-01-28 | 北京工业大学 | 基于深度变分模型的空间显著性区域提取方法 |
CN106651937A (zh) * | 2016-10-19 | 2017-05-10 | 成都电科智达科技有限公司 | 一种基于超像素和场景预测的小型无人机目标检测方法 |
CN107992874A (zh) * | 2017-12-20 | 2018-05-04 | 武汉大学 | 基于迭代稀疏表示的图像显著目标区域提取方法及系统 |
-
2018
- 2018-07-10 CN CN201810751318.1A patent/CN109117852B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060115158A1 (en) * | 2001-07-11 | 2006-06-01 | Science Applications International Corporation | Method for selecting representative endmember components from spectral data |
CN103824079A (zh) * | 2014-02-08 | 2014-05-28 | 重庆市国土资源和房屋勘测规划院 | 基于多层次模式子块划分的图像分类方法 |
CN104318569A (zh) * | 2014-10-27 | 2015-01-28 | 北京工业大学 | 基于深度变分模型的空间显著性区域提取方法 |
CN106651937A (zh) * | 2016-10-19 | 2017-05-10 | 成都电科智达科技有限公司 | 一种基于超像素和场景预测的小型无人机目标检测方法 |
CN107992874A (zh) * | 2017-12-20 | 2018-05-04 | 武汉大学 | 基于迭代稀疏表示的图像显著目标区域提取方法及系统 |
Non-Patent Citations (2)
Title |
---|
BODIS-SZOMORU A 等: "Fast, Approximate Piecewise-Planar Modeling Based on Sparse Structure-from-Motion and Superpixels", 《 IEEE CONFERENCE ON COMPUTER VISION & PATTERN RECOGNITION》 * |
罗威林 等: "基于超像素显著性的无人机引导区域提取", 《吉林大学学报(信息科学版)》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115424037A (zh) * | 2022-10-12 | 2022-12-02 | 武汉大学 | 一种基于多尺度稀疏表示的显著目标区域提取方法 |
CN115690418A (zh) * | 2022-10-31 | 2023-02-03 | 武汉大学 | 一种无监督的图像航路点自动检测方法 |
CN115690418B (zh) * | 2022-10-31 | 2024-03-12 | 武汉大学 | 一种无监督的图像航路点自动检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109117852B (zh) | 2021-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111862126B (zh) | 深度学习与几何算法结合的非合作目标相对位姿估计方法 | |
US20230184927A1 (en) | Contextual visual-based sar target detection method and apparatus, and storage medium | |
CN111626217B (zh) | 一种基于二维图片和三维点云融合的目标检测和追踪方法 | |
CN113359810B (zh) | 一种基于多传感器的无人机着陆区域识别方法 | |
CN102426019B (zh) | 一种无人机景象匹配辅助导航方法及系统 | |
Majdik et al. | Mav urban localization from google street view data | |
Verykokou et al. | 3D reconstruction of disaster scenes for urban search and rescue | |
CN106595659A (zh) | 城市复杂环境下多无人机视觉slam的地图融合方法 | |
CN114266891A (zh) | 基于图像与激光数据融合的铁路运行环境异常辨识方法 | |
Zhang et al. | Aerial orthoimage generation for UAV remote sensing | |
CN112883850A (zh) | 一种基于卷积神经网络的多视角空天遥感图像匹配方法 | |
CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
CN111723747A (zh) | 一种应用于嵌入式平台轻量型高效率的目标检测方法 | |
CN117496312A (zh) | 基于多模态融合算法的三维多目标检测方法 | |
CN109117852A (zh) | 基于稀疏表示的无人机图像适配区自动提取方法及系统 | |
Vakalopoulou et al. | Simultaneous registration, segmentation and change detection from multisensor, multitemporal satellite image pairs | |
CN117315441A (zh) | 基于改进yolox的道路井盖状态检测方法 | |
CN111950476A (zh) | 基于深度学习的复杂环境下河道船舶自动识别方法 | |
CN116485894A (zh) | 视频场景建图与定位方法、装置、电子设备及存储介质 | |
Lu et al. | Autonomous vision-based safe area selection algorithm for UAV emergency forced landing | |
Suo et al. | E 3-UAV: An Edge-Based Energy-Efficient Object Detection System for Unmanned Aerial Vehicles | |
Yu et al. | YOLOv5-Based Dense Small Target Detection Algorithm for Aerial Images Using DIOU-NMS. | |
Huan et al. | Visual recognition method of drone formation based on monocular camera | |
Yu et al. | Context and Geometry Aware Voxel Transformer for Semantic Scene Completion | |
CN117671022B (zh) | 一种室内弱纹理环境的移动机器人视觉定位系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |