CN116485858A - 基于多尺度跨模态邻域描述子的异源图像配准方法及装置 - Google Patents

基于多尺度跨模态邻域描述子的异源图像配准方法及装置 Download PDF

Info

Publication number
CN116485858A
CN116485858A CN202310746982.8A CN202310746982A CN116485858A CN 116485858 A CN116485858 A CN 116485858A CN 202310746982 A CN202310746982 A CN 202310746982A CN 116485858 A CN116485858 A CN 116485858A
Authority
CN
China
Prior art keywords
image
feature
neighborhood
scale
heterologous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310746982.8A
Other languages
English (en)
Other versions
CN116485858B (zh
Inventor
刘学聪
滕锡超
李璋
苏昂
王靖皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310746982.8A priority Critical patent/CN116485858B/zh
Publication of CN116485858A publication Critical patent/CN116485858A/zh
Application granted granted Critical
Publication of CN116485858B publication Critical patent/CN116485858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于多尺度跨模态邻域描述子的异源图像配准方法及装置，通过将需要进行配准的两张异源图像中每一个像素点的领域划分为8个区域，并分别建立这个8个区域的多层邻域尺度金字塔，进而计算这8个区域的多尺度特征，将其中最大的多尺度特征作为该像素点的方向特征度量，接着获取异源图像中的FAST特征点，根据各FAST特征点的方向特征度量得到对应FAST特征点的多尺度跨模态邻域描述子，最后可根据各多尺度跨模态邻域描述子对两张异源图像中的FAST特征点的进行匹配。采用本方法可有效提升异源图像配准的精度及鲁棒性及适用性。

Description

基于多尺度跨模态邻域描述子的异源图像配准方法及装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种基于多尺度跨模态邻域描述子的异源图像配准方法及装置。
背景技术
当处理异源图像配准问题时，由于不同模态的图像受到非线性辐射畸变和几何畸变等因素的影响，其特征点匹配存在一定困难。目前，已有许多图像匹配技术被提出，例如基于尺度不变特征变换（Scale-invariant feature transform，SIFT）、加速稳健特征（Speeded Up Robust Feature，SURF）、辐射变换不敏感特征变换（Radiation-VariationInsensitive Feature Transform，RIFT）等方法，基于直方图的颜色分布匹配方法，基于深度学习的卷积神经网络方法等。然而，这些方法在处理异源图像匹配问题时存在一定的局限性，如对非线性辐射畸变、几何畸变等影响的不鲁棒性、对噪声的不敏感性等。因此，需要提出一种新的对多模态图像鲁棒的方法来解决这些问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高匹配的精度以及鲁棒性的基于多尺度跨模态邻域描述子的异源图像配准方法及装置。
一种基于多尺度跨模态邻域描述子的异源图像配准方法，所述方法包括：
获取两张需要进行配准的异源图像，并分别作为参考图像以及实时图像；
分别将所述参考图像以及实时图像中每一个像素点的邻域划分为八个特征方向区域，并在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔；
对各特征方向区域上的所述多层邻域尺度金字塔各层所表示的不同尺度特征进行求和，得到对应像素点在八个特征方向上的多尺度特征值；
对比八个特征方向上的多尺度特征值，选取其中最大值作为对应像素点的方向特征度量，即得到两张异源图像中所有像素点的方向特征度量；
在所述参考图像以及实时图像中分别提取数量相同的多个FAST特征点；
将各所述FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块，根据各所述网络块中所有像素点对应的方向特征度量构建直方图，将各网络块对应得到的直方图进行连接得到对应FAST特征点的多尺度跨模态邻域描述子；
根据各所述FAST特征点的多尺度跨模态邻域描述子，利用基于欧式距离的相似性度量方法进行FAST特征点匹配，得到所述参考图像与实时图像上各FAST特征点之间的对应关系；
利用最小二乘法和RANSAC法对各所述对应关系进行处理得到所述参考图像和实时图像之间的单应性矩阵，以实现对异源图像配准。
在其中一实施例中，所述参考图像以及实时图像分别为可见光图像、合成孔径雷达图像、多光谱图像、红外图像或二维矢量中的任意两种图像。
在其中一实施例中，在将所述异源图像中各像素点的邻域进行划分时，分别按照对应像素点的0°方向、45°方向、90°方向、135°方向、180°方向、225°方向、270°方向以及315°方向进行所述特征方向区域的划分，且各所述特征方向区域中的像素点数量相同。
在其中一实施例中，在将所述异源图像中各像素点的邻域进行划分时，以当前像素点为中心，对其所在的异源图像进行九宫格划分，所述八个特征方向区域分别为围绕在所述当前像素点所处的中心区域的八个矩形区域；
当所述特征方向区域超出所述异源图像时，则将图像边缘进行延拓。
在其中一实施例中，所述在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔包括：
根据不同尺寸的高斯核以及在所述特征方向区域上提取对应尺寸的区域块对所述多层邻域尺度金字塔的每一层进行构建。
在其中一实施例中，构建所述多层邻域尺度金字塔的每一层采用以下公式：
；
在上式中，表示当前处理的异源图像，/>表示不同尺度，/>表示不同特征方向区域，/>表示当前像素点第/>特征方向区域/>尺度对应的像素集，/>表示当前像素点在/>中的坐标位置，/>表示与/>尺度大小相对应的尺寸的高斯滤波卷积核，表示第/>特征方向区域中对应像素点。
在其中一实施例中，所述多层邻域尺度金字塔的层数根据异源图像中的纹理丰富度确定。
在其中一实施例中，所述将各所述FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块中，所述预设范围为96×96邻域，所述预设数量为16×16的像素点块。
在其中一实施例中，所述根据各所述网络块中所有像素点对应的方向特征度量构建直方图包括：
所述直方图的纵轴对应八个特征方向区域，所述直方图的横轴对应所述网络块中，属于各所述特征方向区域内像素点的数量。
一种基于多尺度跨模态邻域描述子的异源图像配准装置，所述装置包括：
异源图像获取模块，用于获取两张需要进行配准的异源图像，并分别作为参考图像以及实时图像；
多层邻域尺度金字塔构建模块，用于分别将所述参考图像以及实时图像中每一个像素点的邻域划分为八个特征方向区域，并在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔；
多尺度特征值得到模块，用于对各特征方向区域上的所述多层邻域尺度金字塔各层所表示的不同尺度特征进行求和，得到对应像素点在八个特征方向上的多尺度特征值；
方向特征度量得到模块，用于对比八个特征方向上的多尺度特征值，选取其中最大值作为对应像素点的方向特征度量，即得到两张异源图像中所有像素点的方向特征度量；
FAST特征点提取模块，用于在所述参考图像以及实时图像中分别提取数量相同的多个FAST特征点；
多尺度跨模态邻域描述子构建模块，用于将各所述FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块，根据各所述网络块中所有像素点对应的方向特征度量构建直方图，将各网络块对应得到的直方图进行连接得到对应FAST特征点的多尺度跨模态邻域描述子；
FAST特征点之间的对应关系得到模块，用于根据各所述FAST特征点的多尺度跨模态邻域描述子，利用基于欧式距离的相似性度量方法进行FAST特征点匹配，得到所述参考图像与实时图像上各FAST特征点之间的对应关系；
异源图像配准模块，用于利用最小二乘法和RANSAC法对各所述对应关系进行处理得到所述参考图像和实时图像之间的单应性矩阵，以实现对异源图像配准。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取两张需要进行配准的异源图像，并分别作为参考图像以及实时图像；
分别将所述参考图像以及实时图像中每一个像素点的邻域划分为八个特征方向区域，并在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔；
对各特征方向区域上的所述多层邻域尺度金字塔各层所表示的不同尺度特征进行求和，得到对应像素点在八个特征方向上的多尺度特征值；
对比八个特征方向上的多尺度特征值，选取其中最大值作为对应像素点的方向特征度量，即得到两张异源图像中所有像素点的方向特征度量；
在所述参考图像以及实时图像中分别提取数量相同的多个FAST特征点；
将各所述FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块，根据各所述网络块中所有像素点对应的方向特征度量构建直方图，将各网络块对应得到的直方图进行连接得到对应FAST特征点的多尺度跨模态邻域描述子；
根据各所述FAST特征点的多尺度跨模态邻域描述子，利用基于欧式距离的相似性度量方法进行FAST特征点匹配，得到所述参考图像与实时图像上各FAST特征点之间的对应关系；
利用最小二乘法和RANSAC法对各所述对应关系进行处理得到所述参考图像和实时图像之间的单应性矩阵，以实现对异源图像配准。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取两张需要进行配准的异源图像，并分别作为参考图像以及实时图像；
分别将所述参考图像以及实时图像中每一个像素点的邻域划分为八个特征方向区域，并在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔；
对各特征方向区域上的所述多层邻域尺度金字塔各层所表示的不同尺度特征进行求和，得到对应像素点在八个特征方向上的多尺度特征值；
对比八个特征方向上的多尺度特征值，选取其中最大值作为对应像素点的方向特征度量，即得到两张异源图像中所有像素点的方向特征度量；
在所述参考图像以及实时图像中分别提取数量相同的多个FAST特征点；
将各所述FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块，根据各所述网络块中所有像素点对应的方向特征度量构建直方图，将各网络块对应得到的直方图进行连接得到对应FAST特征点的多尺度跨模态邻域描述子；
根据各所述FAST特征点的多尺度跨模态邻域描述子，利用基于欧式距离的相似性度量方法进行FAST特征点匹配，得到所述参考图像与实时图像上各FAST特征点之间的对应关系；
利用最小二乘法和RANSAC法对各所述对应关系进行处理得到所述参考图像和实时图像之间的单应性矩阵，以实现对异源图像配准。
上述基于多尺度跨模态邻域描述子的异源图像配准方法及装置，通过将需要进行配准的两张异源图像中每一个像素点的领域划分为8个区域，并分别建立这个8个区域的多层邻域尺度金字塔，进而计算这8个区域的多尺度特征，将其中最大的多尺度特征作为该像素点的方向特征度量，接着获取异源图像中的FAST特征点，根据各FAST特征点的方向特征度量得到对应FAST特征点的多尺度跨模态邻域描述子，最后可根据各多尺度跨模态邻域描述子对两张异源图像中的FAST特征点的进行匹配。采用本方法可有效提升异源图像配准的精度及鲁棒性及适用性。
附图说明
图1为一个实施例中基于多尺度跨模态邻域描述子的异源图像配准方法的流程示意图；
图2为一个实施例中八个特征方向区域的多层邻域尺度金字塔示意图；
图3为一个实施例中构建各FAST特征点的多尺度跨模态邻域描述子示意图；
图4为一个实施例中基于多尺度跨模态邻域描述子的异源图像配准装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
针对现有技术中，在对异源图像进行配准时，由于不同类型图像的成像原理导致的非线性辐射畸变、几何畸变、不同噪声类型等鲁棒性差，难以完成高精度鲁棒性的异源图像配准任务，如图1所示，提出了一种基于多尺度跨模态邻域描述子的异源图像配准方法，具体包括一下步骤：
步骤S100，获取两张需要进行配准的异源图像，并分别作为参考图像以及实时图像；
步骤S110，分别将参考图像以及实时图像中每一个像素点的邻域划分为八个特征方向区域，并在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔；
步骤S120，对各特征方向区域上的多层邻域尺度金字塔各层所表示的不同尺度特征进行求和，得到对应像素点在八个特征方向上的多尺度特征值；
步骤S130，对比八个特征方向上的多尺度特征值，选取其中最大值作为对应像素点的方向特征度量，即得到两张异源图像中所有像素点的方向特征度量；
步骤S140，在参考图像以及实时图像中分别提取数量相同的多个FAST特征点；
步骤S150，将各FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块，根据各网络块中所有像素点对应的方向特征度量构建直方图，将各网络块对应得到的直方图进行连接得到对应FAST特征点的多尺度跨模态邻域描述子；
步骤S160，根据各FAST特征点的多尺度跨模态邻域描述子，利用基于欧式距离的相似性度量方法进行FAST特征点匹配，得到参考图像与实时图像上各FAST特征点之间的对应关系；
步骤S170，利用最小二乘法和RANSAC法对各对应关系进行处理得到参考图像和实时图像之间的单应性矩阵，以实现对异源图像配准。
在本方法中，设计了在异源图像匹配中有优秀性能的跨模态领域描述子，同时，通过采用RANSAC算法，能够有效地解决匹配误差和异常点问题，提高了匹配的精度和鲁棒性，使得本方法可以适用于多种异源图像。
在步骤S100中，获取的参考图像以及实时图像分别为可见光图像、合成孔径雷达图像、多光谱图像、红外图像或二维矢量中的任意两种图像。这也说明本方法可适用于多种场景中。且获取的异源图像可能具有非线性辐射畸变、几何畸变、尺度变换、不同类型的噪声和旋转等变换等。
接着，本方法利用如图2所示的模板对各异源图像进行逐像素处理。在步骤S110中，对于异源图像中的各像素点的邻域进行划分时，分别按照对应像素点的0°方向、45°方向、90°方向、135°方向、180°方向、225°方向、270°方向以及315°方向进行所述特征方向区域的划分，且各特征方向区域中的像素点数量相同。
具体的，将异源图像中各像素点的邻域进行划分时，以当前像素点为中心，对其所在的异源图像进行九宫格划分，八个特征方向区域分别为围绕在所述当前像素点所处的中心区域的八个矩形区域。当特征方向区域超出所述异源图像时，则将其进行填补。
在本实施例中，在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔包括：根据不同尺寸的高斯核以及在特征方向区域上提取对应尺寸的区域块对多层邻域尺度金字塔的每一层进行构建。其中，金字塔邻域模板大小分别为3×3，5×5，7×7，9×9等，如图2所示。这样处理可以捕捉图像中的不同尺度和方向的局部特征，并为每个特征点提供具有较高判别力的描述子。
具体的，对于每个像素点，首先将其邻域分为8个方向的像素块。然后，在每个方向上，使用邻域块与当前像素块进行逐像素作差，求得特征的距离度量。在每8个不同的方向、多个模板尺度上分别计算特征点的局部距离度量特征。构建多层邻域尺度金字塔的每一层采用以下公式：
（1）
在公式（1）中，表示当前处理的异源图像，/>表示不同尺度，表示不同特征方向区域，/>表示当前像素点第/>特征方向区域/>尺度对应的像素集，/>表示当前像素点在/>中的坐标位置，/>表示与/>尺度大小相对应的尺寸的高斯滤波卷积核，/>表示第/>特征方向区域中对应像素点，也就是像素集/>中的像素点。
在本实施例中，多层邻域尺度金字塔的层数根据异源图像中的纹理特征数量确定。例如，图像中有三个元素，则相应的构建三层领域尺度金字塔。
在步骤S120以及步骤S130中，将异源图像中各像素点每个方向上的多层邻域尺度金字塔中不同的尺度特征进行求和，分别得到八个特征方向上的多尺度特征值，采用以下公式：
（2）
在公式（2）中，为尺度s的定义域，可视情况确定。并将其中最大值作为该像素点的方向特征度量，采用以下公式：
（3）
在公式（3）中，表示/>点处最终形成的方向特征度量，也就是图像描述子。
至此，得到两张异源图像中每一个像素点的方向特征度量。
在步骤S140中，对于两张异源图像，采用空间域操作的方式进行特征点提取和打分。
具体得，首先在两张异源图像中分别提取5000个FAST特征点，然后通过Harris角点的测度模式对这些特征点进行打分。计算异源图像中每个像素点的梯度幅值和方向，并根据梯度幅值和方向计算Harris响应函数值。其计算公式如下：
（4）
其中，；
；
在公式（4）中，表示位置/>处表示窗口内各像素的权重的窗口函数，为窗口在各个方向上滑动的像素数。k是一个经验常数，在范围 (0.04, 0.06) 之间。
在本实施例中，采用Harris角点方式计算参数R，R数值越大该点越趋近于角点，并记录它们的位置。对所得像素点的Harris响应函数值进行非极大值抑制，得到极值点。筛选出每张图像中R分值最高的1000个特征点，即为目标特征点。
在步骤S150中，分别根据参考图像以及实时图像中提取出的FAST特征点以及各特征点对应的方向特征度量构建跨模态领域描述子。
具体的，对于每个特征点，如图3所示，将其96×96像素邻域划分为6×6个网格块，每个网格块为16×16像素。对于每个网格块，统计其8维的方向特征度量，并构建一个直方图。最后，将6×6个网格块的直方图连接在一起，形成一个长度为6×6×8=288的跨模态邻域描述子。
其中，根据各网络块中所有像素点对应的方向特征度量构建直方图包括：直方图的纵轴对应八个特征方向区域，直方图的横轴对应网络块中，属于各特征方向区域内像素点的数量，如图3所示。
接着，在步骤S160中，根据参考图像中的每一个特征点的跨模态领域描述子逐一与实时图像中的每一个特征点的跨模态领域描述子进行匹配，具体的，通过采用欧式距离计算两个特征点的相似程度。欧式距离度量可以衡量两个特征点的特征向量之间的差异程度，从而判断他们是否匹配。在进行匹配过程中，若两个来自于不同异源图像的两个特征点的相似性度量小于一定的阈值，则判定他们匹配成功，确定他们在两张异源图像中的对应关系。
在将两张异源图像中所有特征点进行匹配后可得到这两张异源图像特征点之间的对应关系。
在步骤S170中，利用最小二乘法根据和对应关系求解两张异源图像之间的单应性矩阵，并将该矩阵应用于所有特征点，以进行配准。
由于图像噪声和误匹配等因素的存在，在本实施例中采用RANSAC算法来排除这些错误的配准结果。
具体的，RANSAC算法通过多次随机采样和局部最小二乘拟合，得到最优的单应性矩阵，并将其应用于所有特征点。通过这种方式，可以显著提高配准的准确性和鲁棒性，从而在实际应用中取得更好的效果。
在其他实施例中，在对异源图像进行配准之后还可利用步骤S160得到的最优的单应性矩阵将两者进行融合。
上述基于多尺度跨模态邻域描述子的异源图像配准方法，通过将需要进行配准的两张异源图像中每一个像素点的领域划分为8个区域，并分别建立这个8个区域的多层邻域尺度金字塔，进而计算这8个区域的多尺度特征，将其中最大的多尺度特征作为该像素点的方向特征度量，接着获取异源图像中的FAST特征点，根据各FAST特征点的方向特征度量得到对应FAST特征点的多尺度跨模态邻域描述子，最后可根据各多尺度跨模态邻域描述子对两张异源图像中的FAST特征点的进行匹配。采用本方法可有效提升异源图像配准的精度及鲁棒性及适用性。本方法可应用于可见光图像、合成孔径雷达（SAR）、多光谱、红外图像、二维矢量地图等异源图像的匹配和融合领域，具有广泛的应用前景和经济价值。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种基于多尺度跨模态邻域描述子的异源图像配准装置，包括：异源图像获取模块200、多层邻域尺度金字塔构建模块210、多尺度特征值得到模块220、方向特征度量得到模块230、FAST特征点提取模块240、多尺度跨模态邻域描述子构建模块250、FAST特征点之间的对应关系得到模块260和异源图像配准模块270，其中：
异源图像获取模块200，用于获取两张需要进行配准的异源图像，并分别作为参考图像以及实时图像；
多层邻域尺度金字塔构建模块210，用于分别将所述参考图像以及实时图像中每一个像素点的邻域划分为八个特征方向区域，并在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔；
多尺度特征值得到模块220，用于对各特征方向区域上的所述多层邻域尺度金字塔各层所表示的不同尺度特征进行求和，得到对应像素点在八个特征方向上的多尺度特征值；
方向特征度量得到模块230，用于对比八个特征方向上的多尺度特征值，选取其中最大值作为对应像素点的方向特征度量，即得到两张异源图像中所有像素点的方向特征度量；
FAST特征点提取模块240，用于在所述参考图像以及实时图像中分别提取数量相同的多个FAST特征点；
多尺度跨模态邻域描述子构建模块250，用于将各所述FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块，根据各所述网络块中所有像素点对应的方向特征度量构建直方图，将各网络块对应得到的直方图进行连接得到对应FAST特征点的多尺度跨模态邻域描述子；
FAST特征点之间的对应关系得到模块260，用于根据各所述FAST特征点的多尺度跨模态邻域描述子，利用基于欧式距离的相似性度量方法进行FAST特征点匹配，得到所述参考图像与实时图像上各FAST特征点之间的对应关系；
异源图像配准模块270，用于利用最小二乘法和RANSAC法对各所述对应关系进行处理得到所述参考图像和实时图像之间的单应性矩阵，以实现对异源图像配准。
关于基于多尺度跨模态邻域描述子的异源图像配准装置的具体限定可以参见上文中对于基于多尺度跨模态邻域描述子的异源图像配准方法的限定，在此不再赘述。上述基于多尺度跨模态邻域描述子的异源图像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多尺度跨模态邻域描述子的异源图像配准方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取两张需要进行配准的异源图像，并分别作为参考图像以及实时图像；
分别将所述参考图像以及实时图像中每一个像素点的邻域划分为八个特征方向区域，并在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔；
对各特征方向区域上的所述多层邻域尺度金字塔各层所表示的不同尺度特征进行求和，得到对应像素点在八个特征方向上的多尺度特征值；
对比八个特征方向上的多尺度特征值，选取其中最大值作为对应像素点的方向特征度量，即得到两张异源图像中所有像素点的方向特征度量；
在所述参考图像以及实时图像中分别提取数量相同的多个FAST特征点；
将各所述FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块，根据各所述网络块中所有像素点对应的方向特征度量构建直方图，将各网络块对应得到的直方图进行连接得到对应FAST特征点的多尺度跨模态邻域描述子；
根据各所述FAST特征点的多尺度跨模态邻域描述子，利用基于欧式距离的相似性度量方法进行FAST特征点匹配，得到所述参考图像与实时图像上各FAST特征点之间的对应关系；
利用最小二乘法和RANSAC法对各所述对应关系进行处理得到所述参考图像和实时图像之间的单应性矩阵，以实现对异源图像配准。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取两张需要进行配准的异源图像，并分别作为参考图像以及实时图像；
分别将所述参考图像以及实时图像中每一个像素点的邻域划分为八个特征方向区域，并在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔；
对各特征方向区域上的所述多层邻域尺度金字塔各层所表示的不同尺度特征进行求和，得到对应像素点在八个特征方向上的多尺度特征值；
对比八个特征方向上的多尺度特征值，选取其中最大值作为对应像素点的方向特征度量，即得到两张异源图像中所有像素点的方向特征度量；
在所述参考图像以及实时图像中分别提取数量相同的多个FAST特征点；
将各所述FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块，根据各所述网络块中所有像素点对应的方向特征度量构建直方图，将各网络块对应得到的直方图进行连接得到对应FAST特征点的多尺度跨模态邻域描述子；
根据各所述FAST特征点的多尺度跨模态邻域描述子，利用基于欧式距离的相似性度量方法进行FAST特征点匹配，得到所述参考图像与实时图像上各FAST特征点之间的对应关系；
利用最小二乘法和RANSAC法对各所述对应关系进行处理得到所述参考图像和实时图像之间的单应性矩阵，以实现对异源图像配准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.基于多尺度跨模态邻域描述子的异源图像配准方法，其特征在于，所述方法包括：
获取两张需要进行配准的异源图像，并分别作为参考图像以及实时图像；
分别将所述参考图像以及实时图像中每一个像素点的邻域划分为八个特征方向区域，并在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔；
对各特征方向区域上的所述多层邻域尺度金字塔各层所表示的不同尺度特征进行求和，得到对应像素点在八个特征方向上的多尺度特征值；
对比八个特征方向上的多尺度特征值，选取其中最大值作为对应像素点的方向特征度量，即得到两张异源图像中所有像素点的方向特征度量；
在所述参考图像以及实时图像中分别提取数量相同的多个FAST特征点；
将各所述FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块，根据各所述网络块中所有像素点对应的方向特征度量构建直方图，将各网络块对应得到的直方图进行连接得到对应FAST特征点的多尺度跨模态邻域描述子；
根据各所述FAST特征点的多尺度跨模态邻域描述子，利用基于欧式距离的相似性度量方法进行FAST特征点匹配，得到所述参考图像与实时图像上各FAST特征点之间的对应关系；
利用最小二乘法和RANSAC法对各所述对应关系进行处理得到所述参考图像和实时图像之间的单应性矩阵，以实现对异源图像配准。
2.根据权利要求1所述的异源图像配准方法，其特征在于，所述参考图像以及实时图像分别为可见光图像、合成孔径雷达图像、多光谱图像、红外图像或二维矢量中的任意两种图像。
3.根据权利要求2所述的异源图像配准方法，其特征在于，在将所述异源图像中各像素点的邻域进行划分时，分别按照对应像素点的0°方向、45°方向、90°方向、135°方向、180°方向、225°方向、270°方向以及315°方向进行所述特征方向区域的划分，且各所述特征方向区域中的像素点数量相同。
4.根据权利要求3所述的异源图像配准方法，其特征在于，在将所述异源图像中各像素点的邻域进行划分时，以当前像素点为中心，对其所在的异源图像进行九宫格划分，所述八个特征方向区域分别为围绕在所述当前像素点所处的中心区域的八个矩形区域；
当所述特征方向区域超出所述异源图像时，则将其图像边缘进行延拓。
5.根据权利要求4所述的异源图像配准方法，其特征在于，所述在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔包括：
根据不同尺寸的高斯核以及在所述特征方向区域上提取对应尺寸的区域块对所述多层邻域尺度金字塔的每一层进行构建。
6.根据权利要求5所述的异源图像配准方法，其特征在于，构建所述多层邻域尺度金字塔的每一层采用以下公式：
；
在上式中，表示当前处理的异源图像，/>表示不同尺度，/>表示不同特征方向区域，/>表示当前像素点第/>特征方向区域/>尺度对应的像素集，/>表示当前像素点在/>中的坐标位置，/>表示与/>尺度大小相对应的尺寸的高斯滤波卷积核，/>表示第/>特征方向区域中对应像素点。
7.根据权利要求6所述的异源图像配准方法，其特征在于，所述多层邻域尺度金字塔的层数根据异源图像中的纹理丰富度确定。
8.根据权利要求7所述的异源图像配准方法，其特征在于，所述将各所述FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块中，所述预设范围为96×96邻域，所述预设数量为16×16的像素点块。
9.根据权利要求8所述的异源图像配准方法，其特征在于，所述根据各所述网络块中所有像素点对应的方向特征度量构建直方图包括：
所述直方图的纵轴对应八个特征方向区域，所述直方图的横轴对应所述网络块中，属于各所述特征方向区域内像素点的数量。
10.基于多尺度跨模态邻域描述子的异源图像配准装置，其特征在于，所述装置包括：
异源图像获取模块，用于获取两张需要进行配准的异源图像，并分别作为参考图像以及实时图像；
多层邻域尺度金字塔构建模块，用于分别将所述参考图像以及实时图像中每一个像素点的邻域划分为八个特征方向区域，并在每个特征方向区域上构建与对应像素点相关的多层邻域尺度金字塔；
多尺度特征值得到模块，用于对各特征方向区域上的所述多层邻域尺度金字塔各层所表示的不同尺度特征进行求和，得到对应像素点在八个特征方向上的多尺度特征值；
方向特征度量得到模块，用于对比八个特征方向上的多尺度特征值，选取其中最大值作为对应像素点的方向特征度量，即得到两张异源图像中所有像素点的方向特征度量；
FAST特征点提取模块，用于在所述参考图像以及实时图像中分别提取数量相同的多个FAST特征点；
多尺度跨模态邻域描述子构建模块，用于将各所述FAST特征点预设范围的邻域按照预设数量进行划分，得到多个包括预设数量像素点的网络块，根据各所述网络块中所有像素点对应的方向特征度量构建直方图，将各网络块对应得到的直方图进行连接得到对应FAST特征点的多尺度跨模态邻域描述子；
FAST特征点之间的对应关系得到模块，用于根据各所述FAST特征点的多尺度跨模态邻域描述子，利用基于欧式距离的相似性度量方法进行FAST特征点匹配，得到所述参考图像与实时图像上各FAST特征点之间的对应关系；
异源图像配准模块，用于利用最小二乘法和RANSAC法对各所述对应关系进行处理得到所述参考图像和实时图像之间的单应性矩阵，以实现对异源图像配准。
CN202310746982.8A 2023-06-25 2023-06-25 基于多尺度跨模态邻域描述子的异源图像配准方法及装置 Active CN116485858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310746982.8A CN116485858B (zh) 2023-06-25 2023-06-25 基于多尺度跨模态邻域描述子的异源图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310746982.8A CN116485858B (zh) 2023-06-25 2023-06-25 基于多尺度跨模态邻域描述子的异源图像配准方法及装置

Publications (2)

Publication Number Publication Date
CN116485858A true CN116485858A (zh) 2023-07-25
CN116485858B CN116485858B (zh) 2023-09-01

Family

ID=87212315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310746982.8A Active CN116485858B (zh) 2023-06-25 2023-06-25 基于多尺度跨模态邻域描述子的异源图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN116485858B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974730A (zh) * 2024-01-29 2024-05-03 浙江像质科技有限公司 基于深度多尺度相关与外点剔除的跨模态图像配准方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729654A (zh) * 2014-01-22 2014-04-16 青岛新比特电子科技有限公司 基于改进sift算法的图像匹配检索系统
CN104240231A (zh) * 2014-07-08 2014-12-24 大连民族学院 基于局部结构二进制模式的多源图像配准
CN108921175A (zh) * 2018-06-06 2018-11-30 西南石油大学 一种基于fast改进的sift图像配准方法
CN110009670A (zh) * 2019-03-28 2019-07-12 上海交通大学 基于fast特征提取和piifd特征描述的异源图像配准方法
CN111009001A (zh) * 2019-09-17 2020-04-14 哈工大机器人(中山)无人装备与人工智能研究院 一种图像配准方法、装置、设备及存储介质
CN113643334A (zh) * 2021-07-09 2021-11-12 西安电子科技大学 基于结构相似性的异源遥感图像配准方法
WO2022028595A1 (zh) * 2020-08-06 2022-02-10 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN114494371A (zh) * 2021-12-31 2022-05-13 西安电子科技大学 基于多尺度相位一致性的光学图像和sar图像配准方法
CN115187798A (zh) * 2022-06-15 2022-10-14 中国人民解放军32146部队 一种多无人机高精度匹配定位方法
WO2022267939A1 (zh) * 2021-06-23 2022-12-29 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729654A (zh) * 2014-01-22 2014-04-16 青岛新比特电子科技有限公司 基于改进sift算法的图像匹配检索系统
CN104240231A (zh) * 2014-07-08 2014-12-24 大连民族学院 基于局部结构二进制模式的多源图像配准
CN108921175A (zh) * 2018-06-06 2018-11-30 西南石油大学 一种基于fast改进的sift图像配准方法
CN110009670A (zh) * 2019-03-28 2019-07-12 上海交通大学 基于fast特征提取和piifd特征描述的异源图像配准方法
CN111009001A (zh) * 2019-09-17 2020-04-14 哈工大机器人(中山)无人装备与人工智能研究院 一种图像配准方法、装置、设备及存储介质
WO2022028595A1 (zh) * 2020-08-06 2022-02-10 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
WO2022267939A1 (zh) * 2021-06-23 2022-12-29 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质
CN113643334A (zh) * 2021-07-09 2021-11-12 西安电子科技大学 基于结构相似性的异源遥感图像配准方法
CN114494371A (zh) * 2021-12-31 2022-05-13 西安电子科技大学 基于多尺度相位一致性的光学图像和sar图像配准方法
CN115187798A (zh) * 2022-06-15 2022-10-14 中国人民解放军32146部队 一种多无人机高精度匹配定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIANGZHI LI, ET AL.: "Cross-Modal Feature description for remote sensing image matching", 《INTERNATIONAL JOURNAL OF APPLIED EARTH OBSERVATION AND GEOINFORMATION》, vol. 112 *
李为华;苏辉;: "一种基于特征点的图像匹配新方法", 《湖北第二师范学院学报》, no. 8 *
李俊山;朱英宏;赵怀勋;杨威;徐攀;: "异步多特征红外与可见光图像匹配算法", 《微电子学与计算机》, no. 7 *
滕锡超: "图像特征尺度研究及其在景象匹配中的应用", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974730A (zh) * 2024-01-29 2024-05-03 浙江像质科技有限公司 基于深度多尺度相关与外点剔除的跨模态图像配准方法

Also Published As

Publication number Publication date
CN116485858B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN109753838B (zh) 二维码识别方法、装置、计算机设备及存储介质
Jiang et al. Multiscale locality and rank preservation for robust feature matching of remote sensing images
Chen et al. Iterative scale-invariant feature transform for remote sensing image registration
US8417060B2 (en) Methods for multi-point descriptors for image registrations
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
JP5289412B2 (ja) 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法
CN107749071B (zh) 大畸变棋盘格图像角点检测方法及装置
CN116485858B (zh) 基于多尺度跨模态邻域描述子的异源图像配准方法及装置
CN101650784A (zh) 一种利用结构上下文特征进行图像匹配的方法
CN114155365A (zh) 模型训练方法、图像处理方法及相关装置
Lee et al. Accurate registration using adaptive block processing for multispectral images
CN110738222A (zh) 图像匹配方法、装置、计算机设备和存储介质
CN112686919A (zh) 物体边界线确定方法、装置、电子设备及存储介质
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
CN116091998A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111445513A (zh) 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
CN117036490B (zh) 摄像机预置位偏移检测方法、装置、计算机设备与介质
CN117291790B (zh) 一种sar图像配准方法、装置、设备及介质
CN111951211B (zh) 一种目标检测方法、装置及计算机可读存储介质
CN114820738B (zh) 一种星图精确配准方法、装置、计算机设备和存储介质
CN116206139A (zh) 一种基于局部自卷积的无人机图像升尺度匹配方法
Wu et al. An accurate feature point matching algorithm for automatic remote sensing image registration
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
Ren et al. SAR image matching method based on improved SIFT for navigation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant