CN112396642B - 耦合点线特征的多模态亚米/米级卫星影像配准技术 - Google Patents

耦合点线特征的多模态亚米/米级卫星影像配准技术 Download PDF

Info

Publication number
CN112396642B
CN112396642B CN202011440885.9A CN202011440885A CN112396642B CN 112396642 B CN112396642 B CN 112396642B CN 202011440885 A CN202011440885 A CN 202011440885A CN 112396642 B CN112396642 B CN 112396642B
Authority
CN
China
Prior art keywords
line
meter
point
feature
image registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011440885.9A
Other languages
English (en)
Other versions
CN112396642A (zh
Inventor
杨树文
闫恒
薛庆
苏航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou Jiaotong University
Original Assignee
Lanzhou Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou Jiaotong University filed Critical Lanzhou Jiaotong University
Priority to CN202011440885.9A priority Critical patent/CN112396642B/zh
Publication of CN112396642A publication Critical patent/CN112396642A/zh
Application granted granted Critical
Publication of CN112396642B publication Critical patent/CN112396642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种耦合点线特征的多模态亚米/米级卫星影像配准技术，包括:采用Bhattacharyya距离和特征斜率约束优化SIFT算法以获取更多优质同名点；其次，在多尺度空间下使用CannyLines算法提取多尺度线特征；然后，通过每条线特征与由SIFT同名点构建的Delaunay三角网的空间几何信息构建一种可以抵抗多源影像间非线性辐射差异和尺度差异的全局线特征描述符，并且利用设计的成本函数获取正确的线匹配对；最后，使用多种约束条件获取定位准确的线特征交点，并采用耦合SIFT同名点和线特征交点的方式迭代求解高精度的配准模型参数。该技术能够促进亚米/米级多模态卫星影像全自动处理的效率和质量，且具有良好的普适性和鲁棒性。

Description

耦合点线特征的多模态亚米/米级卫星影像配准技术
技术领域
本发明涉及遥感图像处理领域，更具体的说是涉及耦合点线特征的多模态亚米/米级卫星影像配准技术。
背景技术
随着航天技术、计算机技术、传感器技术的快速发展，高空间分辨率以及广覆盖的卫星遥感数据层出不穷。利用多模态(多源多尺度多时相等)高空间分辨率卫星影像实现协同对地观测的研究已成为当前遥感学界的研究热点。在实际应用中，由于天气状况的多变性、地形的复杂性以及应用的多样性，单一传感器类型的遥感数据往往不能提供足够的信息以满足应用的需求，综合利用不同源遥感卫星获取的数据，可以较为全面地刻画观测对象的几何和物理特性，因此需要将多种传感器获取的多角度、多尺度、多时相的卫星影像融合在一起，得到更加丰富完整的信息，提取更为精确的信息指数，从而快速地制定出更为合理的决策方案。
遥感数据应用是遥感的最终目的，为了提高对海量遥感数据的处理速度和精度，研究和开发高效的遥感影像处理技术显得尤为重要。由于遥感卫星搭载的各种传感器之间的物理特性和成像方式不同，而且成像位置和成像角度可能存在差异，因此，其拍摄的影像存在灰度、分辨率、位移和旋转角度等的不同。然而，多模态影像综合利用是发展趋势，如多传感器信息融合、变化检测、影像镶嵌及信息验证分析等，应用中需要对多模态影像的位置进行对齐，因此，影像配准是其中必不可少的关键技术。但是，随着影像空间分辨率的提高，影像配准的干扰因素增多，尤其是亚米/米级影像的全自动配准成为行业的难题。
针对多模态高分辨率卫星影像间非线性辐射及尺度差异较大造成配准精度较低的问题，本发明公开一种耦合点线特征的多模态亚米/米级卫星影像高精度配准技术。首先，该技术采用Bhattacharyya距离和特征斜率约束优化SIFT算法以获取更多优质同名点；其次，在多尺度空间下使用CannyLines算法提取多尺度线特征；然后，通过每条线特征与由SIFT同名点构建的Delaunay三角网的空间几何信息构建一种可以抵抗多源影像间非线性辐射差异和尺度差异的全局线特征描述符，并且利用设计的成本函数获取正确的线匹配对；最后，使用多种约束条件获取定位准确的线特征交点，并采用耦合SIFT同名点和线特征交点的方式迭代求解高精度的配准模型参数。
发明内容
有鉴于此，本发明提出一种耦合点线特征的多模态亚米/米级卫星影像配准技术，图1为本发明多模态亚米/米级卫星影像配准技术的总体流程，包括基于改进SIFT的点特征获取、线特征提取与描述、特征耦合和影像配准四部分。
为了实现上述目的，本发明采用如下技术方案：
耦合点线特征的多模态亚米/米级卫星影像配准技术，包括：基于改进SIFT的点特征获取、线特征提取与描述、特征耦合和影像配准四部分；
1.基于改进SIFT的点特征获取步骤如下：
S1：首先采用双线性插值的方式对原始影像进行降采样以构建影像金字塔，利用SIFT在不同尺度的影像上提取稳定的点特征，然后对这些稳定的点特征进行描述；
S2：以Bhattacharyya距离为相似性度量，使用FLANN方法进行特征粗匹配，获取初始匹配点集；
S3：计算初始匹配结果的斜率以求得置信区间，并保留位于该置信区间内的匹配点，等待下一步检验；
S4：利用以单应矩阵为几何约束模型的PROSAC方法对上一步得到的匹配点集进行检验，进一步剔除外点，从而获取可靠度较高的优质匹配点集；
2.线特征提取与描述步骤如下：
S5：利用CannyLines检测器提取多尺度线特征；
S6：基于空间几何信息构建线特征描述符；
S7：基于定义的匹配代价函数进行线特征匹配，得到同名线特征；
3.特征耦合步骤如下：
S8：利用得到的同名线特征进行交点拟合；
S9：将拟合得到的同名交点与SIFT同名点特征合并为一个同名特征集；
4.影像配准步骤如下：
S10：利用同名特征集迭代求解影像的配准模型参数，得到配准结果；
S11：结束。
本发明技术先进、科学，可以很好地抵抗多模态高分卫星影像间较大的非线性辐射及尺度差异，且能够实现多模态亚米/米级卫星影像的高精度自动配准。通过实验表明，该技术具有很好的普适性，计算速度很快，效率很高，配准误差优于1个像素，具有较好的使用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施示例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的示意图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的耦合点线特征的多模态亚米/米级卫星影像配准技术的流程图；
图2为本发明提出的一种基于空间几何信息的线特征描述符；
图3为本发明提出的线特征交点拟合方法；
图4为本发明提供的实验所用的多模态亚米/米级高分卫星影像数据；
图5为本发明提供的配准结果图；
表1为本发明提供的实验所用影像数据说明。
表2为本发明提供的实验结果。
表1
组别 影像大小(像素) 分辨率(米) 数据来源
第一组 1000×1000/2150×2150 1.0/0.6 GF-2/Google Earth
第二组 1400×1400/1300×1300 1.0/1.2 GF-2/Google Earth
第三组 1200×1200/1400×1400 2.1/2.0 ZY-3/GF-1
第四组 1400×1400/950×950 2.1/4.8 ZY-3/Google Earth
第五组 1000×1000/1500×1500 2.0/2.3 GF-1/Google Earth
第六组 500×500/1600×1600 2.0/1.0 GF-1/GF-2
表2
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下步骤为基于改进SIFT算法的点特征获取部分：
Step 1：首先采用双线性插值的方式对原始影像进行降采样以构建影像金字塔，利用SIFT在不同尺度的影像上提取稳定的点特征，然后对这些稳定的点特征进行描述；
Step 2：以Bhattacharyya距离为相似性度量，使用FLANN方法进行特征粗匹配，获取初始匹配点集。Bhattacharyya距离定义如下：
其中，X和Y为两个L1归一化的特征向量。
Step 3：计算初始匹配结果的斜率以求得置信区间，并保留位于该置信区间内的匹配点，等待下一步检验。特征斜率的定义如下：
其中，(xi1,yi1)和(xi2,yi2)表示第i对匹配点的坐标，xi为水平距离，yi为垂直距离，dx为水平位移距离，一般等于参考影像的宽度。
Step 4：利用以单应矩阵为几何约束模型的PROSAC方法对上一步得到的匹配点集进行检验，进一步剔除外点，从而获取可靠度较高的优质SIFT匹配点集。
以下步骤为线特征提取和描述部分：
Step 5：利用CannyLines检测器提取多尺度线特征。为了确保提取稳定的多尺度线特征，通过不同尺度下线特征的梯度方向是否一致进行稳定性判定，线特征上每个像素的梯度方向的定义如下：
其中，L(i，j，σ)为像素(i，j)在图像高斯尺度空间的取值。
Step 6：基于空间几何信息构建线特征描述符。线要素li的空间几何信息可以表示为DLO(i，j)，它由三个分量组成：①ej和li的两个端点之间的距离之比，其中ej代表Delaunay三角网的一条边；②ej和li的长度之比；③ej和li之间的夹角。空间几何信息DLO(i，j)的定义如下：
DLO(i，j)＝{D(i，j)，L(i，j)，O(i，j)}
其中，dj1 1和dj2分别表示ej和li的两个端点之间的距离；|li|和|ej|分别表示li和ej的长度；θi，j表示ej和li之间的角度。
Step 7：基于定义的匹配代价函数进行线特征匹配，得到同名线特征。匹配代价函数计算公式如下：
式中，其中，hi(k)和h′j(k)分别表示线特征li和l′j的归一化描述符向量，而N表示线特征描述符的维数。
以下步骤为特征耦合部分：
Step 8：通过多种约束条件，利用得到的同名线特征进行交点拟合。约束条件包括：①区域约束：交点必须位于线特征的搜索区域内；②夹角约束：两线特征的夹角必须大于θT。其中，θT为经验阈值；③距离约束：交点与两线特征之间的最短距离dmin和长度最短的线特征ldmin需要满足dmin≤b·|ldmin|。其中，b为经验阈值。④交叉约束：基准影像中的交点和待配准影像中的对应交点都必须满足上述三个约束。
Step 9：将拟合得到的同名交点与SIFT同名点特征合并为一个同名特征集；
以下步骤为影像配准部分：
Step 10：利用同名特征集迭代求解影像的配准模型参数，得到配准结果。配准模型定义如下：
其中，其中(x,y)和(x′＝u/w′,y′＝v/w′)分别表示两个影像上同名点的坐标，aij(i＝1,2,3；j＝1,2,3)是配准模型的参数。
Step 11：结束。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，该方案所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于该方案所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.耦合点线特征的多模态亚米/米级卫星影像配准方法，包括：基于改进SIFT算法的点特征获取、线特征提取与描述、特征耦合和影像配准四部分；
基于改进SIFT算法的点特征获取步骤如下：
S1：首先采用双线性插值的方式对原始影像进行降采样以构建影像金字塔，利用SIFT算法在不同尺度的影像上提取稳定的点特征，然后对这些稳定的点特征进行描述；
S2：以Bhattacharyya距离为相似性度量，使用FLANN算法进行特征粗匹配，获取初始匹配点集；
S3：计算初始匹配结果的斜率以求得置信区间，并保留位于该置信区间内的匹配点，等待下一步检验；
S4：利用以单应矩阵为几何约束模型的PROSAC算法对上一步得到的匹配点集进行检验，进一步剔除外点，从而获取可靠度较高的优质匹配点集；
线特征提取与描述步骤如下：
S5：利用CannyLines算法提取多尺度线特征；
S6：基于线特征的端点距离比、长度比及夹角三种空间几何信息构建线特征描述符；
S7：以线特征描述符之间的L1误差为匹配代价函数，并使用KNN匹配方法进行线特征匹配，得到同名线特征；
特征耦合步骤如下：
S8：计算同名线特征的交点，并通过区域、夹角、距离和交叉四种约束方式剔除离群点；
S9：将拟合得到的同名交点与SIFT同名点特征合并为一个同名特征集；
影像配准步骤如下：
S10：利用同名特征集迭代求解影像的配准模型参数，得到配准结果；
S11：结束。
2.根据权利要求1所述的一种耦合点线特征的多模态亚米/米级卫星影像配准方法，在步骤S1-S4中，获取优化后的SIFT点特征。
3.根据权利要求1-2任一项所述的一种耦合点线特征的多模态亚米/米级卫星影像配准方法，在步骤S5-S7中，完成线特征的描述和匹配。
4.根据权利要求1-3任一项所述的一种耦合点线特征的多模态亚米/米级卫星影像配准方法，在步骤S8-S9中，完成特征耦合。
5.根据权利要求1-4任一项所述的一种耦合点线特征的多模态亚米/米级卫星影像配准方法，在步骤S10中，完成影像配准。
CN202011440885.9A 2020-12-08 2020-12-08 耦合点线特征的多模态亚米/米级卫星影像配准技术 Active CN112396642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011440885.9A CN112396642B (zh) 2020-12-08 2020-12-08 耦合点线特征的多模态亚米/米级卫星影像配准技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011440885.9A CN112396642B (zh) 2020-12-08 2020-12-08 耦合点线特征的多模态亚米/米级卫星影像配准技术

Publications (2)

Publication Number Publication Date
CN112396642A CN112396642A (zh) 2021-02-23
CN112396642B true CN112396642B (zh) 2024-04-05

Family

ID=74625219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011440885.9A Active CN112396642B (zh) 2020-12-08 2020-12-08 耦合点线特征的多模态亚米/米级卫星影像配准技术

Country Status (1)

Country Link
CN (1) CN112396642B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345757A (zh) * 2013-07-19 2013-10-09 武汉大学 多层次多特征约束下的光学和sar影像自动配准方法
CN103514606A (zh) * 2013-10-14 2014-01-15 武汉大学 一种异源遥感影像配准方法
CN105180811A (zh) * 2015-09-21 2015-12-23 武汉海达数云技术有限公司 基于同名特征地物的移动测量系统激光扫描仪标定方法
CN105184801A (zh) * 2015-09-28 2015-12-23 武汉大学 一种基于多层次策略的光学与sar影像高精度配准方法
CN109308715A (zh) * 2018-09-19 2019-02-05 电子科技大学 一种基于点特征和线特征结合的光学图像配准方法
CN109598750A (zh) * 2018-12-07 2019-04-09 中国地质大学（武汉） 一种基于变形空间金字塔的大尺度差异图像特征点匹配方法
CN111145228A (zh) * 2019-12-23 2020-05-12 西安电子科技大学 基于局部轮廓点与形状特征融合的异源图像配准方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2751742A1 (en) * 2011-08-31 2014-07-09 metaio GmbH Method of matching image features with reference features
US9159164B2 (en) * 2013-01-31 2015-10-13 Eagle View Technologies, Inc. Statistical point pattern matching technique

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345757A (zh) * 2013-07-19 2013-10-09 武汉大学 多层次多特征约束下的光学和sar影像自动配准方法
CN103514606A (zh) * 2013-10-14 2014-01-15 武汉大学 一种异源遥感影像配准方法
CN105180811A (zh) * 2015-09-21 2015-12-23 武汉海达数云技术有限公司 基于同名特征地物的移动测量系统激光扫描仪标定方法
CN105184801A (zh) * 2015-09-28 2015-12-23 武汉大学 一种基于多层次策略的光学与sar影像高精度配准方法
CN109308715A (zh) * 2018-09-19 2019-02-05 电子科技大学 一种基于点特征和线特征结合的光学图像配准方法
CN109598750A (zh) * 2018-12-07 2019-04-09 中国地质大学（武汉） 一种基于变形空间金字塔的大尺度差异图像特征点匹配方法
CN111145228A (zh) * 2019-12-23 2020-05-12 西安电子科技大学 基于局部轮廓点与形状特征融合的异源图像配准方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种基于亚像素匹配的高精度视觉定位方法;高嘉瑜;袁苏哲;李斌;;导航定位与授时(第03期);第60-67页 *
利用线特征和SIFT点特征进行多源遥感影像配准;李芳芳;贾永红;肖本林;张谦;;武汉大学学报(信息科学版)(第02期);第111-114页 *
基于SIFT点特征和Canny边缘特征匹配的多源遥感影像配准研究;王万同;韩志刚;刘鹏飞;;计算机科学(第07期);第293-295页 *

Also Published As

Publication number Publication date
CN112396642A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN111028277B (zh) 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
US11244197B2 (en) Fast and robust multimodal remote sensing image matching method and system
Fan et al. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT
Feng et al. Advances and opportunities in remote sensing image geometric registration: A systematic review of state-of-the-art approaches and future research directions
Yang et al. Automated registration of dense terrestrial laser-scanning point clouds using curves
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
CN105701827A (zh) 可见光相机与红外相机的参数联合标定方法及装置
CN105354841A (zh) 一种快速遥感影像匹配方法及系统
CN104200463A (zh) 基于傅立叶梅林变换和最大互信息理论的图像配准方法
CN107909018B (zh) 一种稳健的多模态遥感影像匹配方法和系统
KR20100008886A (ko) 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법
CN111462198B (zh) 一种尺度、旋转和辐射不变性的多模态影像配准方法
CN109523585A (zh) 一种基于方向相位一致性的多源遥感影像特征匹配方法
Gao et al. Multi-scale PIIFD for registration of multi-source remote sensing images
Zhu et al. Advances and challenges in multimodal remote sensing image registration
Yao et al. Robust Harris corner matching based on the quasi-homography transform and self-adaptive window for wide-baseline stereo images
Min et al. Non-rigid registration for infrared and visible images via gaussian weighted shape context and enhanced affine transformation
CN116518864A (zh) 一种基于三维点云对比分析的工程结构全场变形检测方法
Li et al. SARPointNet: An automated feature learning framework for spaceborne SAR image registration
Xia et al. A table method for coded target decoding with application to 3-D reconstruction of soil specimens during triaxial testing
Lu et al. A lightweight real-time 3D LiDAR SLAM for autonomous vehicles in large-scale urban environment
CN112149728B (zh) 一种快速的多模态图像模板匹配方法
CN112396642B (zh) 耦合点线特征的多模态亚米/米级卫星影像配准技术
Ye et al. Ec-sfm: Efficient covisibility-based structure-from-motion for both sequential and unordered images
Wu et al. Point-matching algorithm based on local neighborhood information for remote sensing image registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant