CN104992400A - 多光谱图像配准方法和装置 - Google Patents

多光谱图像配准方法和装置 Download PDF

Info

Publication number
CN104992400A
CN104992400A CN201510346942.XA CN201510346942A CN104992400A CN 104992400 A CN104992400 A CN 104992400A CN 201510346942 A CN201510346942 A CN 201510346942A CN 104992400 A CN104992400 A CN 104992400A
Authority
CN
China
Prior art keywords
image
registration
subject
reference picture
unique point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510346942.XA
Other languages
English (en)
Other versions
CN104992400B (zh
Inventor
李永
温志刚
吴岳辛
施翔
魏丽君
王林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201510346942.XA priority Critical patent/CN104992400B/zh
Publication of CN104992400A publication Critical patent/CN104992400A/zh
Application granted granted Critical
Publication of CN104992400B publication Critical patent/CN104992400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多光谱图像配准方法和装置，该方法包括：确定参考图像A和待配准图像B中的特征点；计算参考图像A和待配准图像B各自的主方向；将参考图像A和待配准图像B沿着各自的主方向进行旋转；提取旋转后的特征点；对旋转后的特征点进行滤波；计算每个特征点的边缘区域EOH描述符；将参考图像A中与待配准图像B中待匹配特征点之间EOH描述符的欧氏距离最小的特征点与待配准的特征点相匹配；根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准。本发明提供的多光谱图像配准方法和装置，改善了多光谱图像在旋转情况下的配准效果，提高了多光谱图像配准的精度。

Description

多光谱图像配准方法和装置
技术领域
本发明涉及图像处理技术，尤其涉及一种多光谱图像配准方法和装置。
背景技术
图像配准(Image registration)是对两幅或者多幅来自不同时间、不同传感器、不同照度或不同视角的同一场景的图像进行匹配的过程，用来实现有偏移、旋转图像间的正确拼接。多光谱图像配准是指从多光谱探测器上得到的同一个场景的多幅图像信息组合在一起，利用多幅图像在时空上的相关性和信息上的互补性，得到对景物的全面、清晰的描述。然而，多光谱图像中加入了多个波段间的光谱信息，由于图像检测器不同，生成的图像性质各有差异，比如像素值没有对应关系，图像纹理结构不一致等，容易造成梯度方向反转等问题。
目前，基于特征的配准是图像配准中最常见的方法，基于特征的配准是在检测完特征点之后，需要对检测完的特征点建立描述符。采用描述符可以获取配准图像中的边缘部分，进而可以获取配准图像的特征点，实现配准图像基于特征的配准。其中，描述符主要用来描述图像中的特征点，作为图像匹配的依据。描述符一般是一组向量，包括特征点位置和尺度等信息。
然而，由于目前的描述符主要用来描述图像的特征点的位置和尺度等信息，在多光谱图像具有旋转时，描述符中特征点主方向不能对应上，对旋转变换的鲁棒性差，使得多光谱图像配准的精度较低。
发明内容
本发明提供一种多光谱图像配准方法和装置，改善了多光谱图像在旋转情况下的配准效果，提高了多光谱图像配准的精度。
本发明一方面提供的多光谱图像配准方法，包括：
分别确定参考图像A和待配准图像B中的特征点；
计算参考图像A和待配准图像B各自的主方向；
分别将参考图像A和待配准图像B沿着各自的主方向进行旋转；
分别提取旋转后的参考图像A和待配准图像B中的特征点；
分别对参考图像A和待配准图像B中的特征点进行滤波；
根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符；
对于待配准图像B中每一个待配准的特征点，在参考图像A中遍历所有特征点，计算参考图像A中所有特征点与一个待匹配特征点之间EOH描述符的欧氏距离，将参考图像A中与待匹配特征点之间EOH描述符的欧氏距离最小的特征点与待配准的特征点相匹配；
根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准。
本发明另一方面提供的多光谱图像配准装置，包括：
确定特征点模块，用于分别确定参考图像A和待配准图像B中的特征点；
第一计算模块，用于计算参考图像A和待配准图像B各自的主方向；
旋转模块，用于分别将参考图像A和待配准图像B沿着各自的主方向进行旋转；
提取模块，用于分别提取旋转后的参考图像A和待配准图像B中的特征点；
滤波模块，用于分别对参考图像A和待配准图像B中的特征点进行滤波；
第二计算模块，用于根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符；
第一匹配模块，用于对于待配准图像B中每一个待配准的特征点，在参考图像A中遍历所有特征点，计算参考图像A中所有特征点与一个待匹配特征点之间EOH描述符的欧氏距离，将参考图像A中与待匹配特征点之间EOH描述符的欧氏距离最小的特征点与待配准的特征点相匹配；
第二匹配模块，用于根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准。
本发明提供的多光谱图像配准方法和装置，通过计算参考图像A和待配准图像B各自的主方向，将参考图像A和待配准图像B沿着各自的主方向进行旋转，减少了参考图像A和待配准图像B的相对的旋转角度，提高了配准精度；以及提取旋转后的参考图像A和待配准图像B中的特征点，根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符，将参考图像A中与待配准图像B中待配准特征点之间描述符欧氏距离最小的特征点与待配准的特征点相匹配，确保了EOH描述符中带有特征点的主方向，加强了对旋转变换的鲁棒性差，改善了多光谱图像在旋转情况下的配准效果，进一步提高了多光谱图像配准的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的多光谱图像配准方法流程图；
图2为本发明实施例二提供的多光谱图像配准方法流程图；
图3为本发明实施例三提供的多光谱图像配准方法流程图；
图4为本发明实施例一提供的多光谱图像配准装置结构示意图；
图5为本发明实施例提供的第二计算模块结构示意图；
图6为本发明实施例二提供的多光谱图像配准装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例一提供的多光谱图像配准方法流程图。如图1所示，本发明实施例提供的多光谱图像配准方法，包括：
S101：分别确定参考图像A和待配准图像B中的特征点。
具体的，采用不同传感器、不同视角和/或不同时间可以在同一场景获取两幅或多幅图像，从需要配准的两幅或多幅待配准多光谱图像中获取其中两幅图像，其中一幅作为参考图像，标记为A，另一幅作为待配准图像，标记为B。对获取的参考图像A和待配准图像B分别进行特征分析，确定参考图像A和待配准图像B中的特征点。
其中，特征点是在图像中比较稳定的点，一般可以是图像中的边缘点或局部极值点，也可以是图像中直线的交点，本实施在此不进行限定。
S102：计算参考图像A和待配准图像B各自的主方向。
S103：分别将参考图像A和待配准图像B沿着各自的主方向进行旋转。
具体的，不同传感器、不同视角和/或不同时间在同一场景获取两幅或多幅图像之间容易存在旋转，因此，需要给待配准的两幅或多幅图像定义一个各自的主方向，沿着各自的主方向对待配准的两幅或多幅图像进行旋转，使待配准的两幅或多幅图像等同于在无旋转的情况下进行的配准，减少待配准两幅或多幅图像的相对的旋转角度，使其更有利于配准，提高配准准确率。
举例来说，获取的参考图像A旋转了3度(3°)，获取的待配准图像B旋转了15度(15°)，假如计算得出参考图像A和待配准图像B各自的主方向分别为20和5度，则将参考图像A沿着其主方向20度旋转为23度，将待配准图像B沿着其主方向5度旋转为20度，旋转后的参考图像A和待配准的图像B的相对旋转角度非常小，则参考图像A和待配准的图像B等同于在无旋转的情况下进行的配准。
可选的，根据局部灰度特征不变特征主方向(Part Intensity Invariant FeatureDirection，简称PIIFD)原理计算参考图像A和待配准图像B各自的主方向。
其中，采用PIIFD原理计算出参考图像A或待配准图像B各自的主方向。
具体的，采用PIIFD原理计算的主方向是基于图像局部的灰度梯度值来计算的。通过计算参考图像A或待配准图像B平均梯度的平方值，并经过一系列变换，把参考图像A或待配准图像B平均梯度的角度值从[0°,360°]限制在[0°,180°]之间，得到参考图像A或待配准图像B的平均梯度值，将参考图像A或待配准图像B的平均梯度值经过高斯窗口进行去噪声处理，得出参考图像A或待配准图像B的主方向。
需要说明的是，图像的平均梯度值来衡量图像的清晰度，还同时反映出图像中微小细节反差和纹理变换特征，从而解决了多光谱图像中梯度方向反转和像素值不对应的问题。
S104：分别提取旋转后的参考图像A和待配准图像B中的特征点。
具体的，分别提取旋转后S101中确定的参考图像A和待配准图像B中的特征点，确保图像旋转后能够准确地确定需要选择的特征点。
S105：分别对参考图像A和待配准图像B中的特征点进行滤波。
具体的，采用滤波器分别对参考图像A和待配准图像B中的特征点进行滤波，去除特征点中的干扰和噪声。
S106：根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符。
其中，对于多光谱图像来说，相对于图像中的全局区域，图像中的边缘区域对于多光谱图像更加稳定。边缘方向直方图(Edge Orientation Histogram，简称EOH)描述符描述的是图像的边缘信息，由于EOH描述符采用的是图像中较为稳定的边缘区域，对多光谱图像的配准效果更好。
具体的，根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点，采用边缘分割(canny)算子检测到参考图像A和待配准图像B中每一个特征点的边缘邻域，将检测到的边缘邻域进行分割等分为块，采用滤波器分别对参考图像A和待配准图像B进行滤波卷积，从而计算得到分别表示参考图像A和待配准图像B中特征点的向量EOH描述符。
需要说明的是，canny算子是一个最优的多级边缘检测算法，具体的canny算子采用的原理与现有技术中canny算子原理相同，本实施例在此不进行赘述。
S107：对于待配准图像B中每一个待配准的特征点，在参考图像A中遍历所有特征点，计算参考图像A中所有特征点与一个待匹配特征点之间EOH描述符的欧氏距离，将参考图像A中与待匹配特征点之间EOH描述符的欧氏距离最小的特征点与待配准的特征点相匹配。
具体的，参考图像A和待配准图像B中每个特征点的EOH描述符都是一个向量。其中，欧氏距离是指欧几里得距离，可采用如下公式计算欧氏距离d：
d = Σ ( x i 1 - x i 2 ) 2    公式(1)
其中，i＝1，2…n，n为正整数，n表示欧氏空间的维数，xi1表示第一个特征点的第i维坐标，xi2表示第二个特征点的第i维坐标。
需要说明的是，在二维和三维空间中的欧氏距离的就是两点之间的距离。
举例来说，假设参考图像A中有3个特征点a1、a2和a3，待配准图像B中其中一个待配准的特征点为b1，采用公式(1)分别计算得到a1与b1、a2与b1以及a3与b1之间描述符的欧氏距离分别为d1、d2和d3，取d1、d2和d3中最小值对应的特征点与待配准的特征点b1相匹配。比如d1、d2和d3中最小值为d1，则将a1与b1相匹配。
S108：根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准。
本发明实施例提供的多光谱图像配准方法，通过计算参考图像A和待配准图像B各自的主方向，将参考图像A和待配准图像B沿着各自的主方向进行旋转，减少了参考图像A和待配准图像B的相对的旋转角度，提高了配准精度；以及提取旋转后的参考图像A和待配准图像B中的特征点，根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符，将参考图像A中与待配准图像B中待配准特征点之间描述符欧氏距离最小的特征点与待配准的特征点相匹配，确保了EOH描述符中带有特征点的主方向，加强了对旋转变换的鲁棒性差，改善了多光谱图像在旋转情况下的配准效果，进一步提高了多光谱图像配准的精度。
图2为本发明实施例二提供的多光谱图像配准方法流程图。如图2所示，本发明实施例提供的多光谱图像配准方法，包括：
S201：分别确定参考图像A和待配准图像B中的尺度和旋转不变的关键点，将关键点分别作为参考图像A和待配准图像B中的特征点。
具体的，采用尺度不变特征转换(Scale-Invariant Feature Transform，简称SIFT)算法确定参考图像A和待配准图像B中的尺度和旋转不变的关键点。
需要说明的是，SIFT算法一种检测局部特征的算法，SIFT算法不只具有尺度不变性，同时即使改变图像旋转角度、图像亮度或拍摄视角，仍然能够得到好的检测效果。SIFT算法具体采用的原理与现有技术中SIFT算法采用的原理相同，本实施例在此不进行赘述。
S202：计算参考图像A和待配准图像B各自的主方向。
S203：分别将参考图像A和待配准图像B沿着各自的主方向进行旋转。
S204：分别提取旋转后的参考图像A和待配准图像B中的特征点。
S205：分别对参考图像A和待配准图像B中的特征点进行滤波。
可选的，分别对参考图像A和待配准图像B中的特征点进行滤波，包括：
采用M个不同方向的滤波器分别对参考图像A和待配准图像B进行滤波，使参考图像A和待配准B分别得到M个不同的直方图。
其中，M为正整数，M的取值根据实际中需要滤波的图像的特点进行确定，本实施例在此不再赘述。举例来说，采用五个不同方向的滤波器可以分别对参考图像A和待配准图像B进行滤波，则此时M＝5，每个滤波器采用不同的方向对图像进行滤波，比如，一个滤波器采用15度对图像滤波，另一个滤波器采用10度对图像进行滤波等等。
需要说明的是，同一个滤波器对参考图像A和待配准图像B采用同一方向进行滤波，比如，一个滤波器采用15度对参考图像A滤波，则同时采用15度对待配准图像B滤波。
S206：根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符。
可选的，根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符，包括：
根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点，提取参考图像A和待配准图像B中每一个特征点的边缘邻域。
分别将参考图像A和待配准图像B中每一个特征点的边缘邻域进行N*N分割，等分为N*N块。
其中，N为正整数，N的取值根据实际中图像中特征点的边缘邻域的大小进行确定，本实施例在此不再赘述。举例来说，根据图像中特征点的边缘邻域的大小，可以将特征点的边缘邻域进行4*4分割，等分为16块。
采用M个不同方向的滤波器分别对参考图像A和待配准图像B进行滤波卷积，计算得到分别表示参考图像A和待配准图像B中特征点的N*N*M维向量EOH描述符。
具体的，比如将特征点的边缘邻域进行4*4分割，等分为16块，以及采用五个不同方向的分别对参考图像A和待配准图像B进行滤波卷积，则可以得到一个4*4*5＝80维向量EOH描述符。
S207：对于待配准图像B中每一个待配准的特征点，在参考图像A中遍历所有特征点，计算参考图像A中所有特征点与一个待匹配特征点之间EOH描述符的欧氏距离，将参考图像A中与待匹配特征点之间EOH描述符的欧氏距离最小的特征点与待配准的特征点相匹配。
S208：根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准。
可选的，根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准，包括：
根据相匹配的特征点坐标间的关系计算出图像的变换矩阵，根据变换矩阵对参考图像A和待配准图像B进行配准；
其中，采用P＝CD-1公式计算出图像的变换矩阵P，公式中，C为参考图像A中的特征点组成的矩阵，D为待配准图像B中与参考图像A中的特征点相匹配的特征点组成的矩阵，D-1为矩阵D的逆。
本发明实施例提供的多光谱图像配准方法，在上述实施例的基础上，通过分别确定参考图像A和待配准图像B中的尺度和旋转不变的关键点，将关键点分别作为参考图像A和待配准图像B中的特征点，提高了提取的多光谱图像中特征点的可靠性，进一步提高了多光谱图像配准的精度。
图3为本发明实施例三提供的多光谱图像配准方法流程图。如图3所示，本发明实施例提供的多光谱图像配准方法，包括：
S301：分别确定参考图像A和待配准图像B中所有相交的直线；
S302：分别找出在参考图像A和待配准图像B中所有相交的直线的交点，将所有相交的直线的交点分别作为参考图像A和待配准图像B中的特征点。
具体的，多光谱图像中的直线特征比关键点特征更为稳定，因此可以选取多光谱图像中相交直线的交点作为特征点。
S303：计算参考图像A和待配准图像B各自的主方向。
S304：分别将参考图像A和待配准图像B沿着各自的主方向进行旋转。
S305：分别提取旋转后的参考图像A和待配准图像B中的特征点。
S306：分别对参考图像A和待配准图像B中的特征点进行滤波。
S307：根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符。
S308：对于待配准图像B中每一个待配准的特征点，在参考图像A中遍历所有特征点，计算参考图像A中所有特征点与一个待匹配特征点之间EOH描述符的欧氏距离，将参考图像A中与待匹配特征点之间EOH描述符的欧氏距离最小的特征点与待配准的特征点相匹配。
S309：根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准。
本发明实施例提供的多光谱图像配准方法，在上述实施例的基础上，通过分别找出在参考图像A和待配准图像B中所有相交的直线的交点，将所有相交的直线的交点分别作为参考图像A和待配准图像B中的特征点，提高了提取的多光谱图像中特征点的可靠性，进一步提高了多光谱图像配准的精度。
进一步地，在本发明一实施例中，在图1至图3的基础上，根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准之前，还包括：
对参考图像A与待配准图像B相匹配的特征点进行随机抽样一致RANSAC排错。
其中，随机抽样一致(RANdom SAmple Consensus，简称RANSAC)排错是为配准的结果数据进行排错处理，根据一组包含异常数据的样本数据集中，通过迭代方式估计出数据的数学模型参数，选取数学模型参数内的样本数据点，排出数学模型参数外的样本数据点，从而得到有效配准样本数据，提高多光谱图像配准的精度。
需要说明的是，RANSAC排错具体采用的原理和数学模型与现有技术中RANSAC排错采用的原理和数学模型一样，本实施例在此不进行赘述。
图4为本发明实施例一提供的多光谱图像配准装置结构示意图。如图4所示，本发明实施例提供的多光谱图像配准装置，包括：
确定特征点模块41，用于分别确定参考图像A和待配准图像B中的特征点。
第一计算模块42，用于计算参考图像A和待配准图像B各自的主方向。
可选的，第一计算模块42具体用于根据局部灰度特征不变特征主方向PIIFD原理计算参考图像A和待配准图像B的主方向。
旋转模块43，用于分别将参考图像A和待配准图像B沿着各自的主方向进行旋转。
提取模块44，用于分别提取旋转后的参考图像A和待配准图像B中的特征点。
滤波模块45，用于分别对参考图像A和待配准图像B中的特征点进行滤波。
第二计算模块46，用于根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符。
第一匹配模块47，用于对于待配准图像B中每一个待配准的特征点，在参考图像A中遍历所有特征点，计算参考图像A中所有特征点与一个待匹配特征点之间EOH描述符的欧氏距离，将参考图像A中与待匹配特征点之间EOH描述符的欧氏距离最小的特征点与待配准的特征点相匹配。
第二匹配模块48，用于根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准。
本实施例的多光谱图像配准装置用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
进一步地，在本发明一实施例中，确定特征点模块41具体用于：分别确定参考图像A和待配准图像B中的尺度和旋转不变的关键点，将关键点分别作为参考图像A和待配准图像B中的特征点；
或者，分别确定参考图像A和待配准图像B中所有相交的直线；
分别找出在参考图像A和待配准图像B中所有相交的直线的交点，把所有相交的直线的交点分别作为参考图像A和待配准图像B中的特征点。
进一步地，在本发明一实施例中，滤波模块45具体用于采用M个不同方向的滤波器分别对参考图像A和待配准图像B进行滤波，使参考图像A和待配准图像B分别得到M个不同的直方图。
进一步地，图5为本发明实施例提供的第二计算模块结构示意图。如图5所示，第二计算模块46包括：提取单元461、分割单元462和计算单元463。
提取单元461，用于根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点，提取参考图像A和待配准图像B中每一个特征点的边缘邻域。
分割单元462，用于分别将参考图像A和待配准图像B中每一个特征点的边缘邻域进行N*N分割，等分为N*N块。
计算单元463，用于采用M个不同方向的滤波器分别对参考图像A和待配准图像B进行滤波卷积，计算得到分别表示参考图像A和待配准图像B中特征点的N*N*M维向量EOH描述符。
进一步地，在本发明一实施例中，第二匹配模块48具体用于根据相匹配的特征点坐标间的关系计算出图像的变换矩阵，根据变换矩阵对参考图像A和待配准图像B进行配准。
其中，采用P＝CD-1公式计算出图像的变换矩阵P，公式中，C为参考图像A中的特征点组成的矩阵，D为待配准图像B中与参考图像A中的特征点相匹配的特征点组成的矩阵，D-1为矩阵D的逆。
图6为本发明实施例二提供的多光谱图像配准装置结构示意图。如图6所示，本发明实施例提供的多光谱图像配准装置，还包括：
排错模块49，用于根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准之前，对参考图像A与待配准图像B相匹配的特征点进行随机抽样一致RANSAC排错。
本实施例提供的多光谱图像配准装置，在上述实施例的基础上，通过排错模块49，在参考图像A和待配准图像B进行配准之前，对参考图像A与待配准图像B相匹配的特征点进行随机抽样一致RANSAC排错，提高了多光谱图像配准的精度。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种多光谱图像配准方法，其特征在于，包括：
分别确定参考图像A和待配准图像B中的特征点；
计算参考图像A和待配准图像B各自的主方向；
分别将参考图像A和待配准图像B沿着各自的主方向进行旋转；
分别提取旋转后的参考图像A和待配准图像B中的特征点；
分别对参考图像A和待配准图像B中的特征点进行滤波；
根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符；
对于待配准图像B中每一个待配准的特征点，在参考图像A中遍历所有特征点，计算参考图像A中所有特征点与一个待匹配特征点之间EOH描述符的欧氏距离，将参考图像A中与所述待匹配特征点之间EOH描述符的欧氏距离最小的特征点与所述待配准的特征点相匹配；
根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准。
2.根据权利要求1所述的多光谱图像配准方法，其特征在于，所述分别确定参考图像A和待配准图像B中的特征点，包括：
分别确定参考图像A和待配准图像B中的尺度和旋转不变的关键点，将所述关键点分别作为参考图像A和待配准图像B中的特征点；
或者，分别确定参考图像A和待配准图像B中所有相交的直线；
分别找出在参考图像A和待配准图像B中所有相交的直线的交点，将所有相交的直线的交点分别作为参考图像A和待配准图像B中的特征点。
3.根据权利要求1所述的多光谱图像配准方法，其特征在于，所述分别对参考图像A和待配准图像B中的特征点进行滤波，包括：
采用M个不同方向的滤波器分别对参考图像A和待配准图像B进行滤波，使参考图像A和待配准B分别得到M个不同的直方图；
所述根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符，包括：
根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点，提取参考图像A和待配准图像B中每一个特征点的边缘邻域；
分别将参考图像A和待配准图像B中每一个特征点的边缘邻域进行N*N分割，等分为N*N块；
采用M个不同方向的滤波器分别对参考图像A和待配准图像B进行滤波卷积，计算得到分别表示参考图像A和待配准图像B中特征点的N*N*M维向量EOH描述符。
所述根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准，包括：
根据相匹配的特征点坐标间的关系计算出图像的变换矩阵，根据所述变换矩阵对参考图像A和待配准图像B进行配准；
其中，采用P＝CD-1公式计算出图像的变换矩阵P，公式中，C为参考图像A中的特征点组成的矩阵，D为待配准图像B中与参考图像A中的特征点相匹配的特征点组成的矩阵，D-1为矩阵D的逆。
4.根据权利要求1所述的多光谱图像配准方法，其特征在于，所述计算参考图像A和待配准图像B各自的主方向，包括：
根据局部灰度特征不变特征主方向PIIFD原理计算参考图像A和待配准图像B各自的主方向。
5.根据权利要求1-4任一项所述的多光谱图像配准方法，其特征在于，所述根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准之前，还包括：
对参考图像A与待配准图像B相匹配的特征点进行随机抽样一致RANSAC排错。
6.一种多光谱图像配准装置，其特征在于，包括：
确定特征点模块，用于分别确定参考图像A和待配准图像B中的特征点；
第一计算模块，用于计算参考图像A和待配准图像B各自的主方向；
旋转模块，用于分别将参考图像A和待配准图像B沿着各自的主方向进行旋转；
提取模块，用于分别提取旋转后的参考图像A和待配准图像B中的特征点；
滤波模块，用于分别对参考图像A和待配准图像B中的特征点进行滤波；
第二计算模块，用于根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点计算参考图像A和待配准图像B中每个特征点的边缘区域EOH描述符；
第一匹配模块，用于对于待配准图像B中每一个待配准的特征点，在参考图像A中遍历所有特征点，计算参考图像A中所有特征点与一个待匹配特征点之间EOH描述符的欧氏距离，将参考图像A中与所述待匹配特征点之间EOH描述符的欧氏距离最小的特征点与所述待配准的特征点相匹配；
第二匹配模块，用于根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准。
7.根据权利要求6所述的多光谱图像配准装置，其特征在于，所述确定特征点模块具体用于：
分别确定参考图像A和待配准图像B中的尺度和旋转不变的关键点，将所述关键点分别作为参考图像A和待配准图像B中的特征点；
或者，分别确定参考图像A和待配准图像B中所有相交的直线；
分别找出在参考图像A和待配准图像B中所有相交的直线的交点，把所有相交的直线的交点分别作为参考图像A和待配准图像B中的特征点。
8.根据权利要求6所述的多光谱图像配准装置，其特征在于，所述滤波模块具体用于采用M个不同方向的滤波器分别对参考图像A和待配准图像B进行滤波，使参考图像A和待配准图像B分别得到M个不同的直方图；
所述第二计算模块包括：提取单元、分割单元和计算单元；
所述提取单元，用于根据沿着各自的主方向进行旋转和滤波后的参考图像A和待配准图像B中的特征点，提取参考图像A和待配准图像B中每一个特征点的边缘邻域；
所述分割单元，用于分别将参考图像A和待配准图像B中每一个特征点的边缘邻域进行N*N分割，等分为N*N块；
所述计算单元，用于采用M个不同方向的滤波器分别对参考图像A和待配准图像B进行滤波卷积，计算得到分别表示参考图像A和待配准图像B中特征点的N*N*M维向量EOH描述符；
所述第二匹配模块具体用于根据相匹配的特征点坐标间的关系计算出图像的变换矩阵，根据所述变换矩阵对参考图像A和待配准图像B进行配准；
其中，采用P＝CD-1公式计算出图像的变换矩阵P，公式中，C为参考图像A中的特征点组成的矩阵，D为待配准图像B中与参考图像A中的特征点相匹配的特征点组成的矩阵，D-1为矩阵D的逆。
9.根据权利要求6所述的多光谱图像配准装置，其特征在于，所述第一计算模块具体用于根据局部灰度特征不变特征主方向PIIFD原理计算参考图像A和待配准图像B各自的主方向。
10.根据权利要求6-9任一项所述的多光谱图像配准装置，其特征在于，还包括：
排错模块，用于根据参考图像A与待配准图像B中相匹配的特征点对参考图像A和待配准图像B进行配准之前，对参考图像A与待配准图像B相匹配的特征点进行随机抽样一致RANSAC排错。
CN201510346942.XA 2015-06-19 2015-06-19 多光谱图像配准方法和装置 Active CN104992400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510346942.XA CN104992400B (zh) 2015-06-19 2015-06-19 多光谱图像配准方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510346942.XA CN104992400B (zh) 2015-06-19 2015-06-19 多光谱图像配准方法和装置

Publications (2)

Publication Number Publication Date
CN104992400A true CN104992400A (zh) 2015-10-21
CN104992400B CN104992400B (zh) 2018-05-25

Family

ID=54304208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510346942.XA Active CN104992400B (zh) 2015-06-19 2015-06-19 多光谱图像配准方法和装置

Country Status (1)

Country Link
CN (1) CN104992400B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654479A (zh) * 2015-12-28 2016-06-08 北京邮电大学 多光谱图像配准方法和装置
CN106157306A (zh) * 2016-06-30 2016-11-23 北京理工大学 一种基于多个光谱图像的配准方法以及装置
CN106898019A (zh) * 2017-02-21 2017-06-27 广西大学 基于尺度不变Harris特征的图像配准方法和装置
CN107169921A (zh) * 2017-04-26 2017-09-15 国网上海市电力公司 一种双光谱的图像配准系统和方法
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN110009670A (zh) * 2019-03-28 2019-07-12 上海交通大学 基于fast特征提取和piifd特征描述的异源图像配准方法
CN113095385A (zh) * 2021-03-31 2021-07-09 安徽工业大学 一种基于全局和局部特征描述的多模图像匹配方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593832A (zh) * 2013-09-25 2014-02-19 重庆邮电大学 一种基于高斯二阶差分特征检测算子的图像拼接方法
CN104574347A (zh) * 2013-10-24 2015-04-29 南京理工大学 基于多源遥感数据的在轨卫星图像几何定位精度评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593832A (zh) * 2013-09-25 2014-02-19 重庆邮电大学 一种基于高斯二阶差分特征检测算子的图像拼接方法
CN104574347A (zh) * 2013-10-24 2015-04-29 南京理工大学 基于多源遥感数据的在轨卫星图像几何定位精度评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Z GHASSABI_ET AL: "An efficient approach for robust multimodal retinal image registration based on UR-SIFT features and PIIFD descriptors", 《EURASIP JOURNAL ON IMAGE & VIDEO PROCESSING》 *
徐丽燕 等: "基于特征点的多光谱遥感图像配准", 《计算机科学》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654479A (zh) * 2015-12-28 2016-06-08 北京邮电大学 多光谱图像配准方法和装置
CN106157306A (zh) * 2016-06-30 2016-11-23 北京理工大学 一种基于多个光谱图像的配准方法以及装置
CN106157306B (zh) * 2016-06-30 2019-05-07 北京理工大学 一种基于多个光谱图像的配准方法以及装置
CN106898019A (zh) * 2017-02-21 2017-06-27 广西大学 基于尺度不变Harris特征的图像配准方法和装置
CN107169921A (zh) * 2017-04-26 2017-09-15 国网上海市电力公司 一种双光谱的图像配准系统和方法
CN107169921B (zh) * 2017-04-26 2020-04-28 国网上海市电力公司 一种双光谱的图像配准系统和方法
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN110009670A (zh) * 2019-03-28 2019-07-12 上海交通大学 基于fast特征提取和piifd特征描述的异源图像配准方法
CN113095385A (zh) * 2021-03-31 2021-07-09 安徽工业大学 一种基于全局和局部特征描述的多模图像匹配方法
CN113095385B (zh) * 2021-03-31 2023-04-18 安徽工业大学 一种基于全局和局部特征描述的多模图像匹配方法

Also Published As

Publication number Publication date
CN104992400B (zh) 2018-05-25

Similar Documents

Publication Publication Date Title
CN104992400A (zh) 多光谱图像配准方法和装置
CN105261014B (zh) 一种多传感器遥感影像匹配方法
CN102722731A (zh) 一种基于改进sift算法的高效图像匹配方法
Kumar Mishra et al. A review of optical imagery and airborne lidar data registration methods
Ok et al. Matching of straight line segments from aerial stereo images of urban areas
Verhagen et al. Scale-invariant line descriptors for wide baseline matching
Fabijańska Variance filter for edge detection and edge-based image segmentation
CN106558072A (zh) 一种基于改进sift特征在遥感图像上配准的方法
CN103065135A (zh) 基于数字图像处理的车牌号码匹配算法
Chen et al. Robust affine-invariant line matching for high resolution remote sensing images
Han et al. Automatic registration of high-resolution images using local properties of features
CN104268853A (zh) 一种红外图像与可见光图像配准方法
Tarsha Kurdi et al. Automatic filtering and 2D modeling of airborne laser scanning building point cloud
Huang et al. SAR and optical images registration using shape context
Adu-Gyamfi et al. Functional evaluation of pavement condition using a complete vision system
Kalantar et al. Uav and lidar image registration: A surf-based approach for ground control points selection
Manandhar et al. Segmentation based building detection in high resolution satellite images
JP2011107878A (ja) 位置検出装置、位置検出方法
CN102679871B (zh) 亚像素精度工业物体快速检测方法
CN106682672A (zh) 一种高光谱图像特征描述子的获取方法及装置
JP5305366B2 (ja) 画像特徴抽出装置、画像特徴抽出方法、画像認識装置、及び画像認識方法
Maurya et al. Building extraction from very high resolution multispectral images using NDVI based segmentation and morphological operators
Yuan et al. Image driven GPS trace analysis for road map inference
Wang et al. Application of improved SURF algorithm in real scene matching and recognition
Zhang et al. Automatic registration method of sar and optical image based on line features and spectral graph theory

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant