CN114067130B - 用于机载光电图像模板匹配的特征点提取方法及系统 - Google Patents

用于机载光电图像模板匹配的特征点提取方法及系统 Download PDF

Info

Publication number
CN114067130B
CN114067130B CN202111338334.6A CN202111338334A CN114067130B CN 114067130 B CN114067130 B CN 114067130B CN 202111338334 A CN202111338334 A CN 202111338334A CN 114067130 B CN114067130 B CN 114067130B
Authority
CN
China
Prior art keywords
feature
point
angle
calculating
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111338334.6A
Other languages
English (en)
Other versions
CN114067130A (zh
Inventor
吴涛
朱程涛
陈曦
孙晓晖
刘浩
高晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 38 Research Institute
Original Assignee
CETC 38 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 38 Research Institute filed Critical CETC 38 Research Institute
Priority to CN202111338334.6A priority Critical patent/CN114067130B/zh
Publication of CN114067130A publication Critical patent/CN114067130A/zh
Application granted granted Critical
Publication of CN114067130B publication Critical patent/CN114067130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于机载光电图像模板匹配的特征点提取方法,包括:首先对输入的图像,根据原始图像透视成像参数,进行反透视变换处理和透视变换处理,得到新的不同视角下的图像;然后,遍历每一幅变换图,进行点特征计算。依次计算SIFT特征点和特征矢量,计算FAST特征点和特征矢量;同时,将梯度角度图的角度值加π后,进行特征点矢量计算;最后,将所有循环的特征点进行合并输出,供后续匹配使用。本发明能够很好解决大视角差图像变换导致点特征不匹配、不同纹理场景的特征点提取数量不均、因灰度反转导致特征点方向和特征矢量提取不匹配等问题。

Description

用于机载光电图像模板匹配的特征点提取方法及系统
技术领域
本发明涉及图像匹配、目标识别技术领域,特别是一种用于机载光电图像模板匹配的点特征提取方法。
背景技术
图像匹配属于传统图像处理研究范畴,在遥感影像配准、影像融合、精确制导等领域广泛应用,根据图像匹配中利用的图像信息,可将现有的图像匹配方法大致分为两类:基于灰度的配准方法和基于特征的配准方法。基于点特征的匹配方法一种重要的特征匹配方法。SIFT和FAST特征算子是两种常用的点特征匹配算法。其中SIFT算法考虑高斯尺度空间的极值点作为特征点,并计算这些特征点的方向梯度特征作为特征矢量;FAST算法主要是一种特征点定位方法,考虑满足一定条件的灰度变化的角点作为特征点。SIFT特征点一般在灰度变化平坦区域,FAST特征点则一般在灰度变化剧烈区域。
如公开号为CN110210491A公开的基于FAST与SIFT的快速图像特征提取方法,该方法适用FAST角点探测方法,对图像的特征点进行快速高效提取。之后结合SIFT方法对特征点进行主方向的计算并生成SIFT描述符,在保证旋转不变性、特征点描述符稳定可靠的同时,实现图像特征点的快速、高效提取与描述。但是,在机载光电图像模板匹配应用中,模板图像一般来源于某个视角方向拍摄的图像,或者星载卫星正下视图。实际飞机平台的观测视角与模板图不同,光电图像与模板图像会存在着大视角差、缩放、灰度反转等现象,采用SIFT或FAST点特征匹配技术能够较好的适应旋转、缩放等图像变换的情况,但对于大视角图像变换、灰度反转的情况适应性差。点特征的稳定性和匹配点对的数量决定了最终匹配定位的准确性。单独考虑SIFT或FAST提取特征点时,不同纹理的场景下特征点数差异大,容易导致失配。因此,非常有必要针对机载光电图像模板匹配设计更具适应性的点特征提取方法。
发明内容
本发明所要解决的技术问题在于对机载光电图像模板匹配的点特征进行提取,并解决大视角差图像变换、不同纹理的场景特征点提取数量不均、因灰度反转导致特征点方向和特征矢量提取不匹配等问题,。
本发明通过以下技术手段实现解决上述技术问题的:
用于机载光电图像模板匹配的特征点提取方法,包括以下步骤:
S1、透视变换处理:针对输入的图像,根据原始图像透视成像参数,进行反透视变换处理和透视变换处理,得到新的不同视角下的图像;点特征匹配时,选择与待匹配图像成像参数最接近的变换图;
S2、变换图循环:遍历每一幅变换图,进行点特征计算;
S3、计算SIFT特征点和特征矢量:按照SIFT算法进行特征点位置计算和特征矢量计算,同时,增加灰度反转时的特征点矢量;
S4、计算FAST特征点和特征矢量:按照FAST算法进行特征点位置计算,在每个特征点位置上,按照SIFT算法进行特征矢量计算,同时,增加灰度反转时的特征点矢量;
S5、合并特征点:将所有的SIFT和FAST特征点合并;
S6、循环结束判断:迭代执行步骤S2~S5,直到所有变换图的点特征计算完成;
S7、输出特征点:输出所有循环提取的特征点。
本发明的目的是对机载光电图像模板匹配的点特征进行提取,并解决大视角差图像变换、不同纹理的场景特征点提取数量不均、因灰度反转导致特征点方向和特征矢量提取不匹配等问题,为匹配过程保证足够的特征点数量。提出了一种用于机载光电图像模板匹配的点特征提取方法,方法中采用了透视变换处理、融合SIFT特征点和FAST特征点、梯度角度图加π后提取特征矢量等处理。
进一步的,在步骤S1中透视变换具体为:
S11、设置光轴参数:设置输入图像的相机光轴参数,主要包括光轴方位角、光轴入射角;
S12、设置透视参数:为了模拟在其他相近视角下的图像,以原图成像光轴参数为中心,设置一定的视角差范围,对方位角和入射角分别设置采样间隔,如方位角度间隔20°,入射角间隔10°等,间隔越小,仿真越精细;
S13、设置尺度参数:在原图基础上,设置一定的尺度变换范围,S1~S2,则尺度参数按照2倍间隔,从S1遍历到S2
S14、逆透视变换处理:逆透视变化处理就是根据方位角和入射角,将图像反向变换到正下视状态;
根据摄影测量坐标转换矩阵,已知地面物点在像空间直角坐标系下的像点坐标(x,y,-f),求其地理直角坐标(X,Y,Z),有如下公式:
Figure BDA0003351353710000031
其中,f为相机焦距,A为方位角,α入射角,κ滚动角,RA方位角旋转矩阵,Rα入射角旋转矩阵,Rκ滚动角旋转矩阵;
S15、透视变换处理:遍历新的透视方位角和入射角组合,生成一组新的透视变换图像;
按照透视投影方程,已知地面点坐标(X,Y,Z),求其在像平面直角坐标系下的坐标(x,y,-f)
Figure BDA0003351353710000032
S16、尺度变换处理:从小到大遍历尺度变换范围,生成不同分辨率尺度的透视变换图像。
进一步的,在步骤S2中,所述变换图循环具体为:遍历每一幅变换图,进行点特征计算。
进一步的,在步骤S3中,所述计算SIFT特征点和特征矢量具体为:
S31、按照SIFT算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
S32、计算特征点位置。按照SIFT算法原理,查找在尺度空间中的极值点作为特征点;
S33、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
S34、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
S35、将所有特征点合并。
进一步的,在步骤S4中,所述计算FAST特征点和特征矢量具体为:
S41、按照FAST算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
S42、计算特征点位置。按照FAST算法原理,查找合适的角点作为特征点;
S43、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
S44、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
S45、将所有特征点合并。
与上述方法对应的,本发明还提供一种用于机载光电图像模板匹配的特征点提取系统,包括:
透视变换处理模块:用以针对输入的图像,根据原始图像透视成像参数,进行反透视变换处理和透视变换处理,得到新的不同视角下的图像;点特征匹配时,选择与待匹配图像成像参数最接近的变换图;
变换图循环模块:用以遍历每一幅变换图,进行点特征计算;
计算SIFT特征点和特征矢量模块:用以按照SIFT算法进行特征点位置计算和特征矢量计算,同时,增加灰度反转时的特征点矢量;
计算FAST特征点和特征矢量模块:用以按照FAST算法进行特征点位置计算,在每个特征点位置上,按照SIFT算法进行特征矢量计算,同时,增加灰度反转时的特征点矢量;
合并特征点模块:用以将所有的SIFT和FAST特征点合并;
循环结束判断模块:用以迭代执行步骤S2~S5,直到所有变换图的点特征计算完成;
输出特征点模块:用以输出所有循环提取的特征点。
进一步的,在透视变换处理模块中透视变换具体为:
S11、设置光轴参数:设置输入图像的相机光轴参数,主要包括光轴方位角、光轴入射角;
S12、设置透视参数:为了模拟在其他相近视角下的图像,以原图成像光轴参数为中心,设置一定的视角差范围,对方位角和入射角分别设置采样间隔,如方位角度间隔20°,入射角间隔10°等,间隔越小,仿真越精细;
S13、设置尺度参数:在原图基础上,设置一定的尺度变换范围,S1~S2,则尺度参数按照2倍间隔,从S1遍历到S2
S14、逆透视变换处理:逆透视变化处理就是根据方位角和入射角,将图像反向变换到正下视状态;
根据摄影测量坐标转换矩阵,已知地面物点在像空间直角坐标系下的像点坐标(x,y,-f),求其地理直角坐标(X,Y,Z),有如下公式:
Figure BDA0003351353710000051
其中,f为相机焦距,A为方位角,α入射角,κ滚动角,RA方位角旋转矩阵,Rα入射角旋转矩阵,Rκ滚动角旋转矩阵;
S15、透视变换处理:遍历新的透视方位角和入射角组合,生成一组新的透视变换图像;
按照透视投影方程,已知地面点坐标(X,Y,Z),求其在像平面直角坐标系下的坐标(x,y,-f)
Figure BDA0003351353710000052
S16、尺度变换处理:从小到大遍历尺度变换范围,生成不同分辨率尺度的透视变换图像。
进一步的,在变换图循环模块中,所述变换图循环具体为:遍历每一幅变换图,进行点特征计算。
进一步的,在计算SIFT特征点和特征矢量模块中,所述计算SIFT特征点和特征矢量具体为:
S31、按照SIFT算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
S32、计算特征点位置。按照SIFT算法原理,查找在尺度空间中的极值点作为特征点;
S33、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
S34、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
S35、将所有特征点合并。
进一步的,在计算FAST特征点和特征矢量模块中,所述计算FAST特征点和特征矢量具体为:
S41、按照FAST算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
S42、计算特征点位置。按照FAST算法原理,查找合适的角点作为特征点;
S43、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
S44、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
S45、将所有特征点合并。
本发明的优点在于:
1、对图像进行了透视变换处理,根据待匹配图像的视角和方位角选择透视角度最接近的模拟变换图的点特征,进行模板匹配处理,保证匹配处理适应更大的视角差;
2、结合SIFT和FAST两种特征点,同时保留平坦区域和灰度变化剧烈区域的稳定点,增加了模板匹配的稳定性;
3、对图像进行了梯度角度图加π处理,使模板匹配适应适应光电图像的灰度反转现象。
附图说明
图1为本发明实施例中用于机载光电图像模板匹配的特征点提取方法流程图;
图2为本发明实施例中用于机载光电图像模板匹配的特征点提取方法中的透视变换处理流程图;
图3为本发明实施例中用于机载光电图像模板匹配的特征点提取方法中计算SIFT特征点和特征矢量流程图;
图4为本发明实施例中用于机载光电图像模板匹配的特征点提取方法中计算FAST特征点和特征矢量流程图;
图5为本发明实施例中用于机载光电图像模板匹配的特征点提取方法的试验数据;
图6为本发明实施例中用于机载光电图像模板匹配的特征点提取方法的匹配试验结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例公开一种用于机载光电图像模板匹配的特征点提取方法,包括以下步骤:
步骤1、透视变换处理:针对输入的图像,根据原始图像透视成像参数,进行反透视变换处理和透视变换处理,得到新的不同视角下的图像;点特征匹配时,选择与待匹配图像成像参数最接近的变换图;
步骤2、变换图循环:遍历每一幅变换图,进行点特征计算;
步骤3、计算SIFT特征点和特征矢量:按照SIFT算法进行特征点位置计算和特征矢量计算,同时,增加灰度反转时的特征点矢量;
步骤4、计算FAST特征点和特征矢量:按照FAST算法进行特征点位置计算,在每个特征点位置上,按照SIFT算法进行特征矢量计算,同时,增加灰度反转时的特征点矢量;
步骤5、合并特征点:将所有的SIFT和FAST特征点合并;
步骤6、循环结束判断:迭代执行步骤2~步骤5,直到所有变换图的点特征计算完成;
步骤7、输出特征点:输出所有循环提取的特征点。
在步骤1中透视变换具体为:
步骤11、设置光轴参数:设置输入图像的相机光轴参数,主要包括光轴方位角、光轴入射角;
步骤12、设置透视参数:为了模拟在其他相近视角下的图像,以原图成像光轴参数为中心,设置一定的视角差范围,对方位角和入射角分别设置采样间隔,如方位角度间隔20°,入射角间隔10°等,间隔越小,仿真越精细;
步骤13、设置尺度参数:在原图基础上,设置一定的尺度变换范围,步骤1~步骤2,则尺度参数按照2倍间隔,从步骤1遍历到步骤2
步骤14、逆透视变换处理:逆透视变化处理就是根据方位角和入射角,将图像反向变换到正下视状态;
根据摄影测量坐标转换矩阵,已知地面物点在像空间直角坐标系下的像点坐标(x,y,-f),求其地理直角坐标(X,Y,Z),有如下公式:
Figure BDA0003351353710000081
其中,f为相机焦距,A为方位角,α入射角,κ滚动角,RA方位角旋转矩阵,Rα入射角旋转矩阵,Rκ滚动角旋转矩阵;
步骤15、透视变换处理:遍历新的透视方位角和入射角组合,生成一组新的透视变换图像;
按照透视投影方程,已知地面点坐标(X,Y,Z),求其在像平面直角坐标系下的坐标(x,y,-f)
Figure BDA0003351353710000082
步骤16、尺度变换处理:从小到大遍历尺度变换范围,生成不同分辨率尺度的透视变换图像。
在步骤2中,所述变换图循环具体为:遍历每一幅变换图,进行点特征计算。
在步骤3中,所述计算SIFT特征点和特征矢量具体为:
步骤31、按照SIFT算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
步骤32、计算特征点位置。按照SIFT算法原理,查找在尺度空间中的极值点作为特征点;
步骤33、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
步骤34、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
步骤35、将所有特征点合并。
在步骤4中,所述计算FAST特征点和特征矢量具体为:
步骤41、按照FAST算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
步骤42、计算特征点位置。按照FAST算法原理,查找合适的角点作为特征点;
步骤43、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
步骤44、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
步骤45、将所有特征点合并。
如图5所示,模板图的光轴方位角36°,入射角69°,待匹配图方位角345°,入射角66°。两者方位视角差较大,为51°。试验中,透视变换处理时,视角范围为60°,方位角间隔30°,入射角间隔20°,能够生成一组透视图。图6为特征点匹配效果,其中图(a)左为与待匹配图视角接近的透视图,右为待匹配图,矩形框为目标定位。图(b)左为与待匹配图视角接近的透视图,右为待匹配图反色图,矩形框为目标定位。(a)结果表明本方法在平台区域和纹理复杂区域都保留了大量的匹配点对,保证了目标的准确定位,(b)结果表示本文方法在图像灰度反转情况下具有同样的适应性。
与上述方法对应的,本发明还提供一种用于机载光电图像模板匹配的特征点提取系统,包括:
透视变换处理模块:用以针对输入的图像,根据原始图像透视成像参数,进行反透视变换处理和透视变换处理,得到新的不同视角下的图像;点特征匹配时,选择与待匹配图像成像参数最接近的变换图;
变换图循环模块:用以遍历每一幅变换图,进行点特征计算;
计算SIFT特征点和特征矢量模块:用以按照SIFT算法进行特征点位置计算和特征矢量计算,同时,增加灰度反转时的特征点矢量;
计算FAST特征点和特征矢量模块:用以按照FAST算法进行特征点位置计算,在每个特征点位置上,按照SIFT算法进行特征矢量计算,同时,增加灰度反转时的特征点矢量;
合并特征点模块:用以将所有的SIFT和FAST特征点合并;
循环结束判断模块:用以迭代执行步骤2~步骤5,直到所有变换图的点特征计算完成;
输出特征点模块:用以输出所有循环提取的特征点。
在透视变换处理模块中透视变换具体为:
步骤11、设置光轴参数:设置输入图像的相机光轴参数,主要包括光轴方位角、光轴入射角;
步骤12、设置透视参数:为了模拟在其他相近视角下的图像,以原图成像光轴参数为中心,设置一定的视角差范围,对方位角和入射角分别设置采样间隔,如方位角度间隔20°,入射角间隔10°等,间隔越小,仿真越精细;
步骤13、设置尺度参数:在原图基础上,设置一定的尺度变换范围,步骤1~步骤2,则尺度参数按照2倍间隔,从步骤1遍历到步骤2
步骤14、逆透视变换处理:逆透视变化处理就是根据方位角和入射角,将图像反向变换到正下视状态;
根据摄影测量坐标转换矩阵,已知地面物点在像空间直角坐标系下的像点坐标(x,y,-f),求其地理直角坐标(X,Y,Z),有如下公式:
Figure BDA0003351353710000111
其中,f为相机焦距,A为方位角,α入射角,κ滚动角,RA方位角旋转矩阵,Rα入射角旋转矩阵,Rκ滚动角旋转矩阵;
步骤15、透视变换处理:遍历新的透视方位角和入射角组合,生成一组新的透视变换图像;
按照透视投影方程,已知地面点坐标(X,Y,Z),求其在像平面直角坐标系下的坐标(x,y,-f)
Figure BDA0003351353710000112
步骤16、尺度变换处理:从小到大遍历尺度变换范围,生成不同分辨率尺度的透视变换图像。
在变换图循环模块中,所述变换图循环具体为:遍历每一幅变换图,进行点特征计算。
在计算SIFT特征点和特征矢量模块中,所述计算SIFT特征点和特征矢量具体为:
步骤31、按照SIFT算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
步骤32、计算特征点位置。按照SIFT算法原理,查找在尺度空间中的极值点作为特征点;
步骤33、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
步骤34、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
步骤35、将所有特征点合并。
在计算FAST特征点和特征矢量模块中,所述计算FAST特征点和特征矢量具体为:
步骤41、按照FAST算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
步骤42、计算特征点位置。按照FAST算法原理,查找合适的角点作为特征点;
步骤43、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
步骤44、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
步骤45、将所有特征点合并。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.用于机载光电图像模板匹配的特征点提取方法,其特征在于,包括以下步骤:
S1、透视变换处理:针对输入的图像,根据原始图像透视成像参数,进行反透视变换处理和透视变换处理,得到新的不同视角下的图像;点特征匹配时,选择与待匹配图像成像参数最接近的变换图;
S2、变换图循环:遍历每一幅变换图,进行点特征计算;
S3、计算SIFT特征点和特征矢量:按照SIFT算法进行特征点位置计算和特征矢量计算,同时,增加灰度反转时的特征点矢量;
S4、计算FAST特征点和特征矢量:按照FAST算法进行特征点位置计算,在每个特征点位置上,按照SIFT算法进行特征矢量计算,同时,增加灰度反转时的特征点矢量;
S5、合并特征点:将所有的SIFT和FAST特征点合并;
S6、循环结束判断:迭代执行步骤S2~S5,直到所有变换图的点特征计算完成;
S7、输出特征点:输出所有循环提取的特征点。
2.根据权利要求1所述的用于机载光电图像模板匹配的特征点提取方法,其特征在于,在步骤S1中透视变换具体为:
S11、设置光轴参数:设置输入图像的相机光轴参数,主要包括光轴方位角、光轴入射角;
S12、设置透视参数:为了模拟在其他相近视角下的图像,以原图成像光轴参数为中心,设置一定的视角差范围,对方位角和入射角分别设置采样间隔,如方位角度间隔20°,入射角间隔10°等,间隔越小,仿真越精细;
S13、设置尺度参数:在原图基础上,设置一定的尺度变换范围,S1~S2,则尺度参数按照2倍间隔,从S1遍历到S2
S14、逆透视变换处理:逆透视变化处理就是根据方位角和入射角,将图像反向变换到正下视状态;
根据摄影测量坐标转换矩阵,已知地面物点在像空间直角坐标系下的像点坐标(x,y,-f),求其地理直角坐标(X,Y,Z),有如下公式:
Figure FDA0003351353700000021
其中,f为相机焦距,A为方位角,α入射角,κ滚动角,RA方位角旋转矩阵,Rα入射角旋转矩阵,Rκ滚动角旋转矩阵;
S15、透视变换处理:遍历新的透视方位角和入射角组合,生成一组新的透视变换图像;
按照透视投影方程,已知地面点坐标(X,Y,Z),求其在像平面直角坐标系下的坐标(x,y,-f)
Figure FDA0003351353700000022
S16、尺度变换处理:从小到大遍历尺度变换范围,生成不同分辨率尺度的透视变换图像。
3.根据权利要求1所述的用于机载光电图像模板匹配的特征点提取方法,其特征在于,在步骤S2中,所述变换图循环具体为:遍历每一幅变换图,进行点特征计算。
4.根据权利要求1所述的用于机载光电图像模板匹配的特征点提取方法,其特征在于,在步骤S3中,所述计算SIFT特征点和特征矢量具体为:
S31、按照SIFT算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
S32、计算特征点位置。按照SIFT算法原理,查找在尺度空间中的极值点作为特征点;
S33、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
S34、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
S35、将所有特征点合并。
5.根据权利要求1所述的用于机载光电图像模板匹配的特征点提取方法,其特征在于,在步骤S4中,所述计算FAST特征点和特征矢量具体为:
S41、按照FAST算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
S42、计算特征点位置。按照FAST算法原理,查找合适的角点作为特征点;
S43、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
S44、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
S45、将所有特征点合并。
6.用于机载光电图像模板匹配的特征点提取系统,其特征在于,包括:
透视变换处理模块:用以针对输入的图像,根据原始图像透视成像参数,进行反透视变换处理和透视变换处理,得到新的不同视角下的图像;点特征匹配时,选择与待匹配图像成像参数最接近的变换图;
变换图循环模块:用以遍历每一幅变换图,进行点特征计算;
计算SIFT特征点和特征矢量模块:用以按照SIFT算法进行特征点位置计算和特征矢量计算,同时,增加灰度反转时的特征点矢量;
计算FAST特征点和特征矢量模块:用以按照FAST算法进行特征点位置计算,在每个特征点位置上,按照SIFT算法进行特征矢量计算,同时,增加灰度反转时的特征点矢量;
合并特征点模块:用以将所有的SIFT和FAST特征点合并;
循环结束判断模块:用以迭代执行步骤S2~S5,直到所有变换图的点特征计算完成;
输出特征点模块:用以输出所有循环提取的特征点。
7.根据权利要求6所述的用于机载光电图像模板匹配的特征点提取系统,其特征在于,在透视变换处理模块中透视变换具体为:
S11、设置光轴参数:设置输入图像的相机光轴参数,主要包括光轴方位角、光轴入射角;
S12、设置透视参数:为了模拟在其他相近视角下的图像,以原图成像光轴参数为中心,设置一定的视角差范围,对方位角和入射角分别设置采样间隔,如方位角度间隔20°,入射角间隔10°等,间隔越小,仿真越精细;
S13、设置尺度参数:在原图基础上,设置一定的尺度变换范围,S1~S2,则尺度参数按照2倍间隔,从S1遍历到S2
S14、逆透视变换处理:逆透视变化处理就是根据方位角和入射角,将图像反向变换到正下视状态;
根据摄影测量坐标转换矩阵,已知地面物点在像空间直角坐标系下的像点坐标(x,y,-f),求其地理直角坐标(X,Y,Z),有如下公式:
Figure FDA0003351353700000041
其中,f为相机焦距,A为方位角,α入射角,κ滚动角,RA方位角旋转矩阵,Rα入射角旋转矩阵,Rκ滚动角旋转矩阵;
S15、透视变换处理:遍历新的透视方位角和入射角组合,生成一组新的透视变换图像;
按照透视投影方程,已知地面点坐标(X,Y,Z),求其在像平面直角坐标系下的坐标(x,y,-f)
Figure FDA0003351353700000042
S16、尺度变换处理:从小到大遍历尺度变换范围,生成不同分辨率尺度的透视变换图像。
8.根据权利要求6所述的用于机载光电图像模板匹配的特征点提取系统,其特征在于,在变换图循环模块中,所述变换图循环具体为:遍历每一幅变换图,进行点特征计算。
9.根据权利要求6所述的用于机载光电图像模板匹配的特征点提取系统,其特征在于,在计算SIFT特征点和特征矢量模块中,所述计算SIFT特征点和特征矢量具体为:
S31、按照SIFT算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
S32、计算特征点位置。按照SIFT算法原理,查找在尺度空间中的极值点作为特征点;
S33、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
S34、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
S35、将所有特征点合并。
10.根据权利要求6所述的用于机载光电图像模板匹配的特征点提取系统,其特征在于,在计算FAST特征点和特征矢量模块中,所述计算FAST特征点和特征矢量具体为:
S41、按照FAST算法进行预处理,得到计算特征点特征矢量的两个输入:梯度角度图和梯度幅度图;
S42、计算特征点位置。按照FAST算法原理,查找合适的角点作为特征点;
S43、遍历每一个特征点,按照SIFT算法原理,利用梯度角度图直接计算特征点的主方向,利用梯度角度图和梯度幅度图计算特征点特征矢量;
S44、将梯度角度图的角度值加π,得到新梯度角度图,遍历每一个特征点,按照SIFT算法原理,利用新梯度角度图计算特征点主方向,利用新梯度角度图和梯度幅度图计算特征点特征矢量;
S45、将所有特征点合并。
CN202111338334.6A 2021-11-12 2021-11-12 用于机载光电图像模板匹配的特征点提取方法及系统 Active CN114067130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111338334.6A CN114067130B (zh) 2021-11-12 2021-11-12 用于机载光电图像模板匹配的特征点提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111338334.6A CN114067130B (zh) 2021-11-12 2021-11-12 用于机载光电图像模板匹配的特征点提取方法及系统

Publications (2)

Publication Number Publication Date
CN114067130A CN114067130A (zh) 2022-02-18
CN114067130B true CN114067130B (zh) 2023-01-31

Family

ID=80275330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111338334.6A Active CN114067130B (zh) 2021-11-12 2021-11-12 用于机载光电图像模板匹配的特征点提取方法及系统

Country Status (1)

Country Link
CN (1) CN114067130B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919944B (zh) * 2017-01-20 2020-03-24 南京航空航天大学 一种基于orb算法的大视角图像快速识别方法
CN108805812A (zh) * 2018-06-04 2018-11-13 东北林业大学 用于图像拼接的多尺度不变orb算法
CN109003307B (zh) * 2018-06-11 2021-10-22 西北工业大学 基于水下双目视觉测量的捕鱼网目尺寸设计方法

Also Published As

Publication number Publication date
CN114067130A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
Caruso et al. Large-scale direct SLAM for omnidirectional cameras
CN109671109B (zh) 密集点云生成方法及系统
CN110569861A (zh) 一种基于点特征和轮廓特征融合的图像匹配定位方法
AliAkbarpour et al. Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies
CN105550994A (zh) 一种基于卫星影像的无人机影像快速概略拼接方法
CN106780309A (zh) 一种合成孔径雷达图像拼接方法
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
CN110580715B (zh) 一种基于照度约束和格网变形的图像对齐方法
Nguyen et al. Coarse-to-fine registration of airborne LiDAR data and optical imagery on urban scenes
Wang et al. Multi-features visual odometry for indoor mapping of UAV
CN114067130B (zh) 用于机载光电图像模板匹配的特征点提取方法及系统
Feng et al. Registration of multitemporal GF-1 remote sensing images with weighting perspective transformation model
Nguyen et al. CalibBD: Extrinsic calibration of the LiDAR and camera using a bidirectional neural network
CN104484647B (zh) 一种高分辨率遥感图像云高度检测方法
Panigrahi et al. Pre-processing algorithm for rectification of geometric distortions in satellite images
Liu et al. Th SIFT features matching for spherical panoramic images
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN106709942A (zh) 一种基于特征方位角的全景图像误匹配消除方法
Xie et al. Real-time reconstruction of unstructured scenes based on binocular vision depth
CN108830781A (zh) 一种透视变换模型下的宽基线影像直线匹配方法
Krock et al. A down-to-earth approach for camera to world map georeferencing using SfM
CN109029365B (zh) 电力走廊异侧影像连接点提取方法、系统、介质及设备
Wang et al. Research on omnidirectional ORB-SLAM2 for mobile robots
WO2022253043A1 (zh) 人脸深度图像的面部变形补偿方法、成像装置和存储介质
Xia et al. Robust alignment for UAV images based on adaptive adjustment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant