CN107240130B - 遥感影像配准方法、装置及系统 - Google Patents
遥感影像配准方法、装置及系统 Download PDFInfo
- Publication number
- CN107240130B CN107240130B CN201710416344.4A CN201710416344A CN107240130B CN 107240130 B CN107240130 B CN 107240130B CN 201710416344 A CN201710416344 A CN 201710416344A CN 107240130 B CN107240130 B CN 107240130B
- Authority
- CN
- China
- Prior art keywords
- image
- registered
- matching
- reference image
- pyramid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及多源遥感影像配准的方法、装置和系统。本发明的影像配准技术方案的实现流程包括:接收待配准的影像和基准影像;对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;在待配准影像上通过特征提取选取种子点;在基准影像上从粗到精逐级匹配以确定种子点的同名点;以及基于种子点及其对应的同名点实现待配准影像和基准影像的配准。
Description
技术领域
本发明涉及遥感影像处理技术领域,特别涉及多源遥感影像配准的方法、装置和系统。
背景技术
图像配准是指将不同时间、不同传感器或者不同条件下获取的有重叠区域的两幅图像进行几何校准的过程。图像配准技术是遥感图像处理、图像拼接、变化监测、多传感器影像融合等领域的基础。图像配准的方法大致可以分为两类:基于灰度信息的图像配准方法和基于特征信息的图像配准方法。
基于灰度的图像配准方法容易实现,只需要获取其灰度信息,建立待配准影像和基准影像之间的相似性度量函数,利用某一种搜索算法,寻找出使得相似性度量函数达到最优值。但这种算法具有以下局限性:1、灰度匹配不具有旋转不变的特性;2、在最优值搜索过程中需要巨大的计算量;3、对于重纹理和弱纹理区域,灰度匹配不具有抗干扰的能力。
基于特征的图像配准方法首先从图像中提取边缘、角点、轮廓和区域中心等特征,然后对特征点进行描述并找到他们之间的对应关系。这种方法所提取的特征是图像的局部特征,在局部区域进行分析,从而大大减少了图像处理过程的运算量。而且特征对于旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性。但是,特征匹配容易出现同名点在影像上分布不均匀的情况,使得影像配准的精度分布不均匀。
发明内容
本发明申请的目的在于针对现有的影像配准技术的不足,将全局配准和局部配准、灰度配准和特征配准的优势结起来,提出一种影像配准方法、装置、系统和计算机可读存储介质,以高时效、高精度的配准效果实现多源遥感影像配准。
为实现上述目的,本发明申请提出一种影像配准方法,包括:
接收待配准影像和基准影像;
对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;
在待配准影像上提取种子点;
根据所获得的种子点和所确定的仿射变换关系,在基准影像上寻找匹配点作为种子点的同名点;
将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
本发明申请提出一种影像配准装置,包括:影像接收单元、粗匹配单元、种子点提取单元、同名点确定单元和配准单元,其中,
影像接收单元设置成接收待配准影像和基准影像;
粗匹配单元设置成对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;
种子点提取单元设置成在待配准影像上提取种子点;
同名点匹配单元设置成根据所获得的种子点和所确定的仿射变换关系,在基准影像上获得匹配点作为种子点的同名点;
配准单元设置成将匹配的种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
本发明申请提出一种影像配准系统,包括:
处理器;
存储有计算机可读指令的计算机可读存储介质,所述计算机可读存储介质连接到所述处理器;
所述处理器配置为执行从计算机可读存储介质加载的所述计算机可读指令以执行以下操作:
接收待配准影像和基准影像;
对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;
在待配准影像上提取的种子点;
根据所获得的种子点和所确定的仿射变换关系,在基准影像上获得匹配点作为种子点的同名点;
将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
本发明申请还提出一种计算机可读存储介质,所述计算机可读存储介质存储有指令,所述指令在一个或多个处理器上运行时执行以下操作:
接收待配准影像和基准影像;
对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;
在待配准影像上提取种子点;
根据所获得的种子点和所确定的仿射变换关系,在基准影像上获得匹配点作为种子点的同名点;
将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
本发明的技术方案与现有技术相比具有如下优点:
1、利用特征匹配算法进行全局快速匹配,从而缩小了局部匹配的搜索范围,大大提高了影像间的匹配效率。
2、通过全局匹配获得待配准影像与基准影像间的仿射变换关系后,可保持旋转不变性,再进行灰度匹配,克服了灰度匹配不具有旋转不变性的弊端。
3、利用特征点提取算子在待配准影像上寻找的种子点时,首先对待配准影像进行格网划分,在每个格网内进行特征点提取,有效避免特征匹配中特征点分布不均匀的弊端。而后对种子点进行灰度匹配,有效规避了重纹理和弱纹理区的情况。
4、金字塔由粗到细逐层匹配,减小了搜索范围和计算量,因此提高了影像间匹配效率。
附图说明
图1示出本发明实施例的影像配准技术方案的实现流程。
图2示出根据本发明实施方式的遥感影像配准方法的流程图。
图3示出了图2中确定待配准影像和基准影像之间的仿射变换关系的流程图。
图4示出了图2中根据所获得的种子点和所确定的仿射变换关系,在基准影像上寻找种子点的同名点的流程图。
图5示出了根据本发明实施方式的遥感影像配准装置的框图。
图6示出了根据本发明实施方式的遥感影像配准系统的框图。
图7示出了接收的待配准影像和基准影像。
图8示出了待配准影像局部的金字塔分解示意图。
图9示出在待配准影像上提取的种子点的示意图以及在基准图像确定的同名点的示意图。
图10(a)示出了由种子点和搜索半径确定的待配准影像上的区域;图10(b)示出了种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域;图10(c)示出了已变换到待配准影像坐标系下的感兴趣区域的示意图。
图11示出了根据本发明实施方式的遥感影像配准结果的示意图。
具体实施方式
下面结合附图将结合附图对本发明的实施方式做进一步详细描述。
影像配准是指将不同时间、不同传感器或者不同条件下获取的有重叠区域的两幅影像进行几何校准的过程。图1示出本发明实施例的影像配准技术方案的实现流程。本发明的影像配准技术方案的实现流程包括:确定待配准影像和基准影像的坐标变换关系;在待配准影像上提取种子点;在基准影像上确定种子点的对应同名点;以及基于种子点和对应的同名点进行高精度配准。在确定待配准影像和基准影像的坐标变换关系的环节中,对待配准影像和基准影像分别进行金字塔分解,在金字塔的顶层通过进行全局匹配获得待配准影像和基准影像的仿射变换关系。在基准影像上确定种子点的对应同名点的环节中,对待配准影像进行特征提取,并从特征点中选取种子点。在确定同名点的环节中,基于所确定的仿射变换关系和提取的种子点,在金字塔分解的各层上,进行从粗到精的匹配,以在基准影像上获得匹配点作为种子点的同名点。最后,基于种子点和对应的同名点对进行高精度配准。
图2示出根据本发明实施方式的遥感影像配准方法的流程图。该方法包括:100、接收待配准影像和基准影像;200、对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;300、在待配准影像上提取种子点;400、根据所获得的种子点和所确定的仿射变换关系,在基准影像上寻找匹配点作为种子点的同名点;500、将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
图3示出了确定待配准影像和基准影像之间的仿射变换关系的实施例。可选地,在步骤200中,对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系包括:
210、对接收的待配准影像和基准影像分别进行金字塔分解。
金字塔分解是本领域内已有的图像处理方法,因此本发明不再对此进行详细的描述。本发明也不旨在对具体的金字塔分解算法作出限定,例如,可以使用高斯金字塔、小波金字塔或者其他合适的金字塔分解算法对待配准影像和基准影像分别进行金字塔分解。
220、在金字塔的顶层,利用SIFT特征匹配算法进行全局快速匹配,得到多对全局匹配的同名点对。
在进行SIFT特征匹配时,SIFT算法首先在尺度空间进行极值关键点检测,并精确计算关键点的位置和所处的尺度,然后将关键点邻域梯度的主方向定义为关键点的特征方向,以实现算子对尺度和方向的无关性,生成特征描述向量,形成特征描述符。
其次,利用关键点的SIFT特征向量中描述符的欧氏距离作为基准影像和待配准影像的相似性测度来进行特征匹配,即针对基准影像中的每个关键点的SIFT特征描述符,计算其与待配准影像的所有关键点的SIFT特征描述符的欧式距离,找到其中的最邻近欧式距离d1 与次最邻近欧式距离d2,并将满足下式的关键点对定义为一个正确的匹配关键点对。
其中,d是小于1的阈值。优选地,d取0.49。
应注意的是,利用SIFT特征匹配算法进行全局快速匹配仅是本发明申请的一个优选的实施例。其他的特征提取和匹配算法同样可以被应用来在金字塔分解的顶层上进行全局快速匹配来获得全局匹配的同名点对。
230,利用所述多对全局匹配的同名点对,计算待配准影像和基准影像之间的坐标变换关系。
坐标变换关系即两幅图像之间的变换矩阵。变换矩阵包括两幅图像间的平移、旋转和缩放关系,即仿射变换关系。通过变换矩阵能够找到一幅图像中的点在另一幅图像中的位置,即
其中,X'=(x',y')T和X=(x,y)T是一对SIFT匹配点对的像素坐标, H为变换矩阵。H矩阵有8个未知参数,所以至少需4对匹配点对才能估计H矩阵。将SIFT匹配的特征点集代入到方程中,利用最小二乘原理求解H矩阵,从而得到待配准影像和基准影像之间的仿射变换关系。
可选地,在步骤300中,在待配准影像上提取的种子点包括:综合考虑影像大小和设定的种子点的数量两个因素,对待配准影像进行格网划分;并在待配准影像的每个格网内利用Harris算子提取一个特征点作为种子点。
可选地,本发明申请可以通过对待配准影像进行均匀的格网划分使得同名点在影像上的分布更加均匀。
本发明申请利用Harris算子在待配准影像上选取种子点。Harris 算子是由C.Harris和M.J.Stephens在1988年提出的一种点特征算子。 Harris角点提取主要包括以下几个步骤:
(1)计算每个像素的相关矩阵M
(2)计算每个像素的Harris角点响应:
R=(M11M22-M12M21)2-k(M11+M22)2 (4)
其中,k=0.04。
(3)在划分的格网范围内寻找极大值点,若Hariss角点响应大于阈值,则视为特征点。
同样,应注意的是,利用Hariss算子提取种子点仅仅是本发明申请的一个优选的实施例。其他的角点提取算子同样可以被应用来提取种子点。
图4示出了根据所获得的种子点和所确定的仿射变换关系,在基准影像上寻找的种子点的同名点的流程图。可选地,在步骤400中,根据所获得的种子点和所确定的仿射变换关系,在基准影像上寻找种子点的同名点包括:
410,根据设定的搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系,确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域,并读取金字塔层上的感兴趣区的灰度值。
420,将基准影像中的所述感兴趣区域通过所确定的仿射变换关系,变换到待配准影像坐标系下,进而保持其旋转不变性。
430,根据匹配半径,确定种子点在待配准金字塔层上的匹配区域,并读取金字塔层上的所述匹配区域的灰度值。
440,根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围,并以待配准影像的所述匹配区域作为模板,利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配。
450,将灰度模板匹配的结果作为下一层金字塔匹配的初始值,直到在金字塔底层的原始图像上找到种子点的精确的同名点。
可选地,搜索半径和匹配半径都是由用户可设置的参数。
本发明还提供一种影像配准装置,如图5所示。所述装置包括影像接收单元、粗匹配单元、种子点提取单元、同名点确定单元和配准单元。影像接收单元设置成接收待配准影像和基准影像。粗匹配单元设置成对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系。种子点提取单元设置成在待配准影像上提取种子点。同名点匹配单元设置成根据所获得的种子点和所确定的仿射变换关系,在基准影像上寻找匹配点作为种子点的同名点。配准单元设置成将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
可选地,粗匹配单元设置成通过下述方式对待配准影像和基准影像进行全局粗匹配,以来确定待配准影像和基准影像之间的仿射变换关系:
对接收的待配准影像和基准影像分别进行金字塔分解;
在金字塔的顶层,利用SIFT特征匹配算法进行全局快速匹配,得到多对全局匹配的同名点对;
利用所述多对全局匹配的同名点对,计算待配准影像和基准影像之间的仿射变换关系。
可选地,种子点提取单元设置成通过下述方式在待配准影像上提取种子点:综合考虑影像大小和设定的种子点的数量两个因素,对待配准影像进行格网划分;并在待配准影像的每个格网内利用Harris算子提取一个特征点作为种子点。
可选地,同名点确定单元设置成通过下述方式在基准影像上寻找种子点的同名点:
根据设定的搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系,确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域,并读取金字塔层上的所述感兴趣区域的灰度值;
将基准影像中的所述感兴趣区域通过所确定的仿射变换关系,变换到待配准影像坐标系下,进而保持其旋转不变性;
根据匹配半径,确定种子点在待配准影像金字塔层上的匹配,并读取该金字塔层上的所述匹配区域的灰度值;
根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围,并以待配准影像的所述匹配区域作为模板,利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配;
将灰度模板匹配的结果作为下一层金字塔匹配的初始值,直到在金字塔底层的原始图像上找到种子点的精确的同名点。
本发明还提供一种影像配准系统,如图6所示。所述系统包括处理器和存储有计算机可读指令的计算机可读存储介质,所述计算机可读存储介质连接到所述处理器;所述处理器配置为执行从计算机可读存储介质读入所述计算机可读指令来执行以下操作:
接收待配准影像和基准影像;对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;在待配准影像上提取的种子点;根据所获得的种子点和所确定的仿射变换关系,在基准影像上获得匹配点作为种子点的同名点;将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
可选地,对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系包括:
对接收的待配准影像和基准影像分别进行金字塔分解;
在金字塔的顶层,利用SIFT特征匹配算法进行全局快速匹配,得到多对全局匹配的同名点对;
利用所述多对全局匹配的同名点对,计算待配准影像和基准影像之间的仿射变换关系。
可选地,在待配准影像上提取的种子点的操作包括:综合考虑影像大小和设定的种子点的数量两个因素,对待配准影像进行格网划分;以及在待配准影像的每个格网内利用Harris算子提取一个特征点作为种子点。
可选地,根据所获得的种子点和所确定的仿射变换关系,在基准影像上寻找种子点的同名点的操作包括:
根据搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系,确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域,并读取金字塔层上的所述感兴趣区域的灰度值;
将基准影像中的所述感兴趣区域通过所确定的仿射变换关系,变换到待配准影像坐标系下,进而保持其旋转不变性;
根据匹配半径,确定种子点在待配准影像金字塔层上的匹配区域,并读取金字塔层上的灰度值;
根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围,并以待配准影像的所述匹配区域作为模板,利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配;
将灰度模板匹配的结果作为下一层金字塔匹配的初始值,直到在金字塔底层的原始图像上找到种子点的精确的同名点。
本发明申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有用于执行影像配准的指令,所述指令在一个或多个处理器上运行时执行以下操作:
接收待配准影像和基准影像;
对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;
在待配准影像上提取种子点;
根据所获得的种子点和所确定的仿射变换关系,在基准影像上获得匹配点作为种子点的同名点;
将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
可选地,对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系的操作包括:
对接收的待配准影像和基准影像分别进行金字塔分解;
在金字塔的顶层,利用SIFT特征匹配算法进行全局快速匹配,得到多对全局匹配的同名点对;
利用所述多对全局匹配的同名点对,计算待配准影像和基准影像之间的坐标变换关系。
可选地,在待配准影像上提取种子点的操作包括:
综合考虑影像大小和设定的种子点的数量两个因素,对待配准影像进行格网划分;并
在待配准影像的每个格网内利用Harris算子提取一个特征点作为种子点。
可选地,根据所获得的种子点和所确定的仿射变换关系,在基准影像上寻找种子点的同名点的操作包括:
根据设定的搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系,确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域,并读取金字塔层上的所述感兴趣区域的灰度值;
将基准影像中的所述感兴趣区域通过所确定的仿射变换关系,变换到待配准影像坐标系下,进而保持其旋转不变性;
根据设定的匹配半径,确定种子点在待配准影像金字塔层上的匹配区域,并读取该金字塔层上的所述匹配区域的灰度值;
根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围,并以待配准影像的所述匹配区域作为模板,利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配;
将灰度模板匹配的结果作为下一层金字塔匹配的初始值,直到在金字塔底层的原始图像上找到种子点的精确的同名点。
配准过程实现示例说明
下面通过示例的方式说明本发明的配准方法实现的流程以及相应的中间结果。
在配准处理的开始,即在步骤100处,接收待配准影像和基准影像,如图7所示,其中图7(a)为待配准图像,该待配准影像是多光谱影像的实验数据;图7(b)为基准图像,该基准影像是全色影像的实验数据。
在步骤200处,对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系。在该步骤中,首先,对接收待配准影像和基准影像进行金字塔分解,如图8所示,其中图8(a)中的方框示出了待配准影像的一个局部。图8(b)示出了该局部的金字塔分解示意图,基准影像的金字塔分解类似,因此未示出;然后,在金字塔的顶层,利用SIFT特征匹配算法进行全局快速匹配,得到多对全局匹配的同名点对;最后,有利用所述多对全局匹配的同名点对,计算待配准影像和基准影像之间的坐标变换关系。
在步骤300处,在待配准影像上提取种子点。具体地,通过对待配准影像进行格网划分;并在待配准影像的每个格网内利用Harris算子提取一个特征点作为种子点。如图9(a)所示为在待配准的影像上提取的种子点的示意图。
在步骤400处,根据所获得的种子点和所确定的仿射变换关系,在基准影像上寻找匹配点作为种子点的同名点。如图9(b)示出了在基准影像上确定的同名点的示意图。
如前所描述的,步骤400具体包括步骤410、420、430、440、以及步骤450。在步骤410中,根据设定的搜索半径R以及所确定的待配准影像和基准影像之间的仿射变换关系,确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域,并读取金字塔层上的感兴趣区的灰度值,如图10所示,其中图10(a)中的正方形区域中心的“+”为种子点,长箭头表示搜索半径R,图10(b) 中的方框对应的基准影像区域是搜索半径对应的感兴趣区域,将该感兴趣区域保存到处理器的存储器中。
在步骤420中,将基准影像中的所述感兴趣区域通过所确定的仿射变换关系,变换到待配准影像坐标系下,进而保持其旋转不变性。图10(c)所示为将图10(b)的方框内的感兴趣区域已变换到待配准影像坐标系下的示意图。
在步骤430中,根据匹配半径r,确定种子点在待配准影像的金字塔层上的匹配区域,并读取金字塔层上的所述匹配区域的灰度值,如图10(a)所示,其中图10(a)中的短箭头表示匹配半径r,且匹配半径r小于搜索半径R。
在步骤440中,根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围,并以待配准影像的所述匹配区域作为模板,利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配,如图10的(c)中示出的图像区域为所述感兴趣区域的对应搜索范围,而由红线围成的区域对应于模板。
在步骤450中,将灰度模板匹配的结果作为下一层金字塔匹配的初始值,直到在金字塔底层的原始图像上找到种子点的精确的同名点。
在步骤500处,将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
图11示出了配准结果的示意图,其中图11(a)示出了校正后的待配准图像与基准影像的卷帘图;图11(b)示出了图11(a)中的卷帘图的局部放大图。
本发明申请采用的影像配准方法,结合全局配准和局部配准的优势,结合区域配准和特征配准的特点,达到可见光近红外谱段间配准精度(1σ)<0.3个像元,可见光近红外谱段与中波红外谱段间配准精度(1σ)<1个像元,配准时间<1分钟(在多核CPU/GPU环境下)。
本发明申请支持多源遥感影像配准,如航空影像与航天影像之间的自动配准、可见光近红外谱段间的自动配准以及可见光近红外谱段与热红外谱段异源波段间的自动配准。
虽然本发明的技术方案以多源遥感影像的配准作为实施例,但是上述实施例并不旨在限制本发明的保护范围,本发明的技术方案同样适用于一般的图像配准。
本领域技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或者部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块或单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限于任何特定形式的硬件或软件的结合。
当然,本发明还可以有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明做出各种相应地改变和变形,但这些改变和变形都应属于本发明的保护范围。
Claims (12)
1.一种影像配准方法,包括:
接收待配准影像和基准影像;
对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;
在待配准影像上提取种子点,综合考虑影像大小和设定的种子点的数量两个因素,对待配准影像进行格网划分;以及
在待配准影像的每个格网内提取一个特征点作为种子点;
根据设定的搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系,确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域,并读取金字塔层上的所述感兴趣区域的灰度值;
将基准影像上的所述感兴趣区域通过所述仿射变换关系,变换到待配准影像坐标系下,进而保持其旋转不变性;
根据匹配半径,确定种子点在待配准影像金字塔层上的匹配区域,并读取该金字塔层上的所述匹配区域的灰度值;
根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围,并以待配准影像的所述匹配区域作为模板,利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配;
将灰度模板匹配的结果作为下一层金字塔匹配的初始值,直到在金字塔底层的原始图像上找到种子点的精确的同名点;
将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
2.根据权利要求1所述的方法,其中,对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系包括:
对接收的待配准影像和基准影像分别进行金字塔分解;
在金字塔的顶层,利用SIFT特征匹配算法进行全局快速匹配,得到多对全局匹配的同名点对;以及
利用所述多对全局匹配的同名点对,计算待配准影像和基准影像之间的仿射变换关系。
3.根据权利要求1所述的方法,其中在待配准影像上提取种子点包括:
在待配准影像的每个格网内利用Harris算子提取一个特征点作为种子点。
4.一种影像配准装置,包括:包括影像接收单元、粗匹配单元、种子点提取单元、同名点确定单元和配准单元,其中
影像接收单元设置成接收待配准影像和基准影像;
粗匹配单元设置成对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;
种子点提取单元设置成在待配准影像上提取种子点,综合考虑影像大小和设定的种子点的数量两个因素,对待配准影像进行格网划分;
同名点匹配单元设置成在待配准影像的每个格网内提取一个特征点作为种子点;
根据设定的搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系,确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域,并读取金字塔层上的所述感兴趣区域的灰度值;
将基准影像中的所述感兴趣区域通过所述仿射变换关系,变换到待配准影像坐标系下,进而保持其旋转不变性;
根据匹配半径,确定种子点在待配准影像金字塔层上的匹配区域,并读取该金字塔层上的所述匹配区域的灰度值;
根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围,并以待配准影像的所述匹配区域作为模板,利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配;
将灰度模板匹配的结果作为下一层金字塔匹配的初始值,直到在金字塔底层的原始图像上找到种子点的精确的同名点;
配准单元设置成将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
5.根据权利要求4所述的装置,其中,粗匹配单元设置成通过下述方式对待配准影像和基准影像进行全局粗匹配,以来确定待配准影像和基准影像之间的仿射变换关系:
对接收的待配准影像和基准影像分别进行金字塔分解;
在金字塔的顶层,利用SIFT特征匹配算法进行全局快速匹配,得到多对全局匹配的同名点对;
利用所述多对全局匹配的同名点对,计算待配准影像和基准影像之间的仿射变换关系。
6.根据权利要求4所述的装置,其中,种子点提取单元设置成通过下述方式在待配准影像上提取种子点:
在待配准影像的每个格网内利用Harris算子提取一个特征点作为种子点。
7.一种影像配准系统,包括:
处理器;
存储有计算机可读指令的计算机可读存储介质,所述计算机可读存储介质连接到所述处理器;
所述处理器配置为执行从计算机可读存储介质读入的所述计算机可读指令来执行以下操作:
接收待配准影像和基准影像;
对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;
在待配准影像上提取种子点,综合考虑影像大小和设定的种子点的数量两个因素,对待配准影像进行格网划分;以及
在待配准影像的每个格网内提取一个特征点作为种子点;
根据搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系,确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域,并读取金字塔层上的所述感兴趣区域的灰度值;
将基准影像中的所述感兴趣区域通过所述仿射变换关系,变换到待配准影像坐标系下,进而保持其旋转不变性;
根据匹配半径,确定种子点在待配准影像金字塔层上的匹配区域,并读取金字塔层上的所述匹配区域的灰度值;
根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围,并以待配准影像的所述匹配区域作为模板,利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配;
将灰度模板匹配的结果作为下一层金字塔匹配的初始值,直到在金字塔底层的原始图像上找到种子点的精确的同名点;
将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
8.根据权利要求7所述的系统,其中,对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系包括:
对接收的待配准影像和基准影像分别进行金字塔分解;
在金字塔的顶层,利用SIFT特征匹配算法进行全局快速匹配,得到多对全局匹配的同名点对;
利用所述多对全局匹配的同名点对,计算待配准影像和基准影像之间的仿射变换关系。
9.根据权利要求7所述的系统,在待配准影像上提取种子点的操作包括:
在待配准影像的每个格网内利用Harris算子提取一个特征点作为种子点。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有指令,所述指令在一个或多个处理器上运行时执行以下操作:
接收待配准影像和基准影像;
对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系;
在待配准影像上提取种子点,综合考虑影像大小和设定的种子点的数量两个因素,对待配准影像进行格网划分;并
在待配准影像的每个格网内提取一个特征点作为种子点;
根据设定的搜索半径以及所确定的待配准影像和基准影像之间的仿射变换关系,确定所提取的种子点的对应同名点在基准影像相应金字塔层上可能存在的感兴趣区域,并读取金字塔层上的所述感兴趣区域的灰度值;
将基准影像中的所述感兴趣区域通过所述仿射变换关系,变换到待配准影像坐标系下,进而保持其旋转不变性;
根据设定的匹配半径,确定种子点在待配准影像金字塔层上的匹配区域,并读取该金字塔层上的所述匹配区域的灰度值;
根据搜索半径确定已变换到待配准影像坐标系下的所述感兴趣区域的对应搜索范围,并以待配准影像的所述匹配区域作为模板,利用相似性系数作为衡量指标在金字塔层上的所述对应搜索范围内进行灰度模板匹配;
将灰度模板匹配的结果作为下一层金字塔匹配的初始值,直到在金字塔底层的原始图像上找到种子点的精确的同名点;
将种子点和对应的同名点作为影像配准的控制点数据,以实现待配准影像和基准影像的配准。
11.根据权利要求10所述的计算机可读存储介质,其中,对待配准影像和基准影像进行全局粗匹配,以确定待配准影像和基准影像之间的仿射变换关系的操作包括:
对接收的待配准影像和基准影像分别进行金字塔分解;
在金字塔的顶层,利用SIFT特征匹配算法进行全局快速匹配,得到多对全局匹配的同名点对;
利用所述多对全局匹配的同名点对,计算待配准影像和基准影像之间的仿射变换关系。
12.根据权利要求10所述的计算机可读存储介质,其中,在待配准影像上提取种子点的操作包括:
在待配准影像的每个格网内利用Harris算子提取一个特征点作为种子点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710416344.4A CN107240130B (zh) | 2017-06-06 | 2017-06-06 | 遥感影像配准方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710416344.4A CN107240130B (zh) | 2017-06-06 | 2017-06-06 | 遥感影像配准方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107240130A CN107240130A (zh) | 2017-10-10 |
CN107240130B true CN107240130B (zh) | 2020-12-04 |
Family
ID=59984836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710416344.4A Active CN107240130B (zh) | 2017-06-06 | 2017-06-06 | 遥感影像配准方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107240130B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108731686B (zh) * | 2018-05-30 | 2019-06-14 | 淮阴工学院 | 一种基于大数据分析的无人机导航控制方法及系统 |
CN109712121B (zh) * | 2018-12-14 | 2023-05-23 | 复旦大学附属华山医院 | 一种医学影像图片处理的方法、设备及装置 |
CN111292364B (zh) * | 2020-01-21 | 2021-02-02 | 天目爱视(北京)科技有限公司 | 一种三维模型构建过程中图像快速匹配的方法 |
CN112288009A (zh) * | 2020-10-29 | 2021-01-29 | 西安电子科技大学 | 一种基于模板匹配的r-sift芯片硬件木马图像配准方法 |
CN113378865B (zh) * | 2021-08-16 | 2021-11-05 | 航天宏图信息技术股份有限公司 | 一种影像金字塔的匹配方法和装置 |
CN114926659B (zh) * | 2022-05-16 | 2023-08-08 | 上海贝特威自动化科技有限公司 | 一种基于sift和cm的变形目标定位算法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101915913A (zh) * | 2010-07-30 | 2010-12-15 | 中交第二公路勘察设计研究院有限公司 | 一种稳健的高分辨率卫星影像连接点自动匹配方法 |
CN103077527A (zh) * | 2013-02-05 | 2013-05-01 | 湖北工业大学 | 一种稳健的多源卫星遥感影像配准方法 |
CN103115614A (zh) * | 2013-01-21 | 2013-05-22 | 武汉大学 | 多源多轨长条带卫星遥感影像联合并行匹配方法 |
CN103544711A (zh) * | 2013-11-08 | 2014-01-29 | 国家测绘地理信息局卫星测绘应用中心 | 遥感影像的自动配准方法 |
CN103595791A (zh) * | 2013-11-14 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 一种海量遥感数据的云存取方法 |
US8842036B2 (en) * | 2011-04-27 | 2014-09-23 | Lockheed Martin Corporation | Automated registration of synthetic aperture radar imagery with high resolution digital elevation models |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667293A (zh) * | 2009-09-24 | 2010-03-10 | 哈尔滨工业大学 | 对多种传感器遥感图像进行高精度稳健配准的方法 |
CN101840517B (zh) * | 2010-04-27 | 2014-04-30 | 武汉大学 | 一种基于影像配准的控制点影像库匹配方法 |
KR101747220B1 (ko) * | 2012-08-30 | 2017-06-15 | 한화테크윈 주식회사 | 이미지 피라미드의 적응적 이미지 처리 장치 및 방법 |
CN104167003B (zh) * | 2014-08-29 | 2017-01-18 | 福州大学 | 一种遥感影像的快速配准方法 |
CN104331899B (zh) * | 2014-11-24 | 2018-06-19 | 中国科学院电子学研究所 | 一种sar图像配准方法及装置 |
-
2017
- 2017-06-06 CN CN201710416344.4A patent/CN107240130B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101915913A (zh) * | 2010-07-30 | 2010-12-15 | 中交第二公路勘察设计研究院有限公司 | 一种稳健的高分辨率卫星影像连接点自动匹配方法 |
US8842036B2 (en) * | 2011-04-27 | 2014-09-23 | Lockheed Martin Corporation | Automated registration of synthetic aperture radar imagery with high resolution digital elevation models |
CN103115614A (zh) * | 2013-01-21 | 2013-05-22 | 武汉大学 | 多源多轨长条带卫星遥感影像联合并行匹配方法 |
CN103077527A (zh) * | 2013-02-05 | 2013-05-01 | 湖北工业大学 | 一种稳健的多源卫星遥感影像配准方法 |
CN103544711A (zh) * | 2013-11-08 | 2014-01-29 | 国家测绘地理信息局卫星测绘应用中心 | 遥感影像的自动配准方法 |
CN103595791A (zh) * | 2013-11-14 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 一种海量遥感数据的云存取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107240130A (zh) | 2017-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107240130B (zh) | 遥感影像配准方法、装置及系统 | |
CN110097093B (zh) | 一种异源图像精确匹配方法 | |
Fan et al. | Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT | |
CN109903313B (zh) | 一种基于目标三维模型的实时位姿跟踪方法 | |
WO2019042232A1 (zh) | 一种快速鲁棒的多模态遥感影像匹配方法和系统 | |
CN107993258B (zh) | 一种图像配准方法及装置 | |
Bouchiha et al. | Automatic remote-sensing image registration using SURF | |
CN112085772B (zh) | 一种遥感图像配准方法及装置 | |
CN112883850B (zh) | 一种基于卷积神经网络的多视角空天遥感图像匹配方法 | |
CN107909018B (zh) | 一种稳健的多模态遥感影像匹配方法和系统 | |
CN107862319B (zh) | 一种基于邻域投票的异源高分光学影像匹配误差剔除方法 | |
Zhang | Combination of SIFT and Canny edge detection for registration between SAR and optical images | |
CN110569861A (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
CN111932582A (zh) | 一种视频图像中的目标跟踪方法及装置 | |
Lee et al. | Accurate registration using adaptive block processing for multispectral images | |
CN114897705A (zh) | 一种基于特征优化的无人机遥感图像拼接方法 | |
Xia et al. | A table method for coded target decoding with application to 3-D reconstruction of soil specimens during triaxial testing | |
Shao et al. | Feature matching for illumination variation images | |
CN110738098A (zh) | 一种目标的识别定位与锁定跟踪方法 | |
Wu et al. | Point-matching algorithm based on local neighborhood information for remote sensing image registration | |
CN111626325B (zh) | 一种基于特征的图像匹配方法 | |
Hou et al. | Navigation landmark recognition and matching algorithm based on the improved SURF | |
CN114255398A (zh) | 一种卫星视频图像的特征提取与匹配的方法及装置 | |
Berveglieri et al. | Multi-scale matching for the automatic location of control points in large scale aerial images using terrestrial scenes | |
Lu et al. | A Sar Image registration method based on SIFT Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |