CN106898019A - 基于尺度不变Harris特征的图像配准方法和装置 - Google Patents
基于尺度不变Harris特征的图像配准方法和装置 Download PDFInfo
- Publication number
- CN106898019A CN106898019A CN201710094580.9A CN201710094580A CN106898019A CN 106898019 A CN106898019 A CN 106898019A CN 201710094580 A CN201710094580 A CN 201710094580A CN 106898019 A CN106898019 A CN 106898019A
- Authority
- CN
- China
- Prior art keywords
- layer
- characteristic point
- harr
- point
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 230000006641 stabilisation Effects 0.000 claims description 8
- 238000011105 stabilization Methods 0.000 claims description 8
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 241000239290 Araneae Species 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种基于尺度不变Harris特征的图像配准方法和装置。该方法包括如下步骤：分别将参考图像以及待配准图像与高斯核进行卷积操作，构建若干层高斯金字塔；使用拉普拉斯算子对金字塔的每一层进行滤波，锐化图像边缘；对金字塔的每一层进行Harris角点检测，从金字塔顶层向下找到各层相互对应的Harris角点作为特征点；为两个金字塔底层对应的特征点确定主方向，并生成特征向量；对特征点对进行粗匹配，得到特征点对；剔除特征点对中的误匹配点对，并利用特征点对计算参考图像和待配准图像之间的单应变换矩阵H；将参考图像和待配准图像转换到同一坐标系下，然后对坐标变换后的参考图像和待配准图像进行融合、拼接。本发明提升了图像配准的实时性和配准精度。
Description
技术领域
本申请涉及图像处理领域，尤其是一种基于尺度不变Harris特征的图像配准方法和装置。
背景技术
图像配准是指针对在不同的时段、从不同视角、使用相同或不同的成像系统、对同一场景拍摄的有重叠区域的图像进行几何校准的过程。图像配准技术主要用于军事、遥感、测绘、医学、计算机视觉等领域。随着无人机技术的快速发展，无人机以高分辨率、高灵活性、高效率和低成本的优势被广泛应用于自然灾害区域评估、资源勘查、遥感测绘、环境保护等多个方面，因此无人机遥感图像的配准与拼接受到了广泛的重视，许多国家和单位都开展了无人机图像配准相关技术的研究。
现在常用的无人机遥感图像配准方法主要有基于SIFT特征(尺度不变特征转换，Scale-invariant feature transform)的方法和基于SURF特征(加速稳健特征，SpeededUp Robust Features)的方法。基于SIFT特征的方法利用高斯差分金字塔来检测特征点，使用邻域像素的梯度分布来确定特征点的主方向和生成特征向量；基于SURF特征的方法利用积分图像近似计算Hessian响应来检测特征点，使用邻域像素的Haar小波响应来确定特征点的主方向和生成特征向量。但是基于SIFT特征的方法计算复杂，实时性较差；基于SURF特征的方法检测到的特征点数目较少，配准精度不高，尤其在无人机遥感图像重叠不规律、重叠区域较小的情况下，配准精度严重下降。
发明内容
本申请提供一种基于尺度不变Harris特征的图像配准方法和装置，解决现有图像配准方法实时性差、配准精度低的问题。
根据本申请的第一方面，本申请提供一种基于尺度不变Harris特征的图像配准方法，包括如下步骤：
步骤一，分别将参考图像以及待配准图像与具有多个不同尺度的高斯核进行卷积操作，滤除高频噪声并构建若干层高斯金字塔；
步骤二，使用拉普拉斯算子对步骤一中生成的高斯金字塔的每一层进行滤波，锐化图像边缘；
步骤三，对步骤二中滤波后的高斯金字塔的每一层进行Harris角点检测，从金字塔顶层向下找到各层相互对应的Harris角点作为特征点，其具体包括以下过程：
对步骤二中滤波后的金字塔的顶层进行Harris角点检测，得到顶层的Harris角点，其中，设定顶层为第k层；
依据第k层的Harris角点Pk(xk,yk)，在第k-1层设定一个圆形搜索范围，范围中心点位置为(2xk,2yk)，半径r＝σ，σ是第k-1层的模糊尺度；在该搜索范围内查找Harris角点，找到与第k层的角点Pk(xk,yk)的Harris响应值最接近的Harris角点Pk-1(xk-1,yk-1)，则Harris角点Pk-1(xk-1,yk-1)就是第k-1层中与第k层Harris角点Pk(xk,yk)相对应的特征点；
按照上述方法遍历至高斯金字塔的底层，逐层寻找与上一层相互对应的Harris角点，并形成特征点链，直至遍历顶层所有的Harris角点；每条特征点链中底层对应的Harris角点就是稳定的尺度不变特征点；
步骤四，为两个金字塔底层对应的尺度不变特征点确定主方向，并生成特征向量；
步骤五，对步骤四中已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对；
步骤六，剔除步骤五中匹配后的特征点对中的误匹配点对，并利用剔除误匹配点后的特征点对计算参考图像和待配准图像之间的单应变换矩阵H；
步骤七，利用步骤六中求取的单应变换矩阵H将参考图像和待配准图像转换到同一坐标系下，然后对坐标变换后的参考图像和待配准图像进行融合、拼接，完成图像配准。
优选的，所述的步骤四中，利用特征点邻域像素的梯度方向分布特性，为两个金字塔底层对应的尺度不变特征点确定主方向，并使用SIFT特征描述生成特征向量。
优选的，所述的步骤五中，使用基于欧氏距离的最近邻双向匹配方法和k-d树搜索策略，对步骤四中已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对。
优选的，所述的步骤六中，使用RANSAC算法剔除误匹配点。
优选的，所述步骤七中，利用加权平滑算法对坐标变换后的图像进行融合、拼接。
根据本申请的第二方面，本申请提供一种基于尺度不变Harris特征的图像配准装置，包括：
构建模块，用于分别将参考图像以及待配准图像与具有多个不同尺度的高斯核进行卷积操作，滤除高频噪声并构建若干层高斯金字塔；
滤波模块，用于使用拉普拉斯算子对步骤一中生成的高斯金字塔的每一层进行滤波，锐化图像边缘；
查找模块，用于对滤波后的高斯金字塔的每一层进行Harris角点检测，从金字塔顶层向下找到各层相互对应的Harris角点作为特征点；所述查找模块具体包括：
角点检测模块，用于对滤波后的金字塔的顶层进行Harris角点检测，得到顶层的Harris角点，其中，设定顶层为第k层；
特征点确定模块，用于依据第k层的Harris角点Pk(xk,yk)，在第k-1层设定一个圆形搜索范围，范围中心点位置为(2xk,2yk)，半径r＝σ，σ是第k-1层的模糊尺度；在该搜索范围内查找Harris角点，找到与第k层的角点Pk(xk,yk)的Harris响应值最接近的Harris角点Pk-1(xk-1,yk-1)，则Harris角点Pk-1(xk-1,yk-1)就是第k-1层中与第k层Harris角点Pk(xk,yk)相对应的特征点；
角点遍历模块，用于按照上述方法遍历至高斯金字塔的底层，逐层寻找与上一层相互对应的Harris角点，并形成特征点链，直至遍历顶层所有的Harris角点；每条特征点链中底层对应的Harris角点就是稳定的尺度不变特征点；
生成模块，用于为两个金字塔底层对应的尺度不变特征点确定主方向，并生成特征向量；
匹配模块，用于对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对；
变换模块，用于剔除步骤五中匹配后的特征点对中的误匹配点对，并利用剔除误匹配点后的特征点对计算参考图像和待配准图像之间的单应变换矩阵H；
拼接模块，用于利用所述单应变换矩阵H将参考图像和待配准图像转换到同一坐标系下，然后对坐标变换后的参考图像和待配准图像进行融合、拼接，完成图像配准。
优选的，所述生成模块用于利用特征点邻域像素的梯度方向分布特性，为两个金字塔底层对应的尺度不变特征点确定主方向，并使用SIFT特征描述生成特征向量。
优选的，所述匹配模块用于使用基于欧氏距离的最近邻双向匹配装置和k-d树搜索策略，对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对。
优选的，所述变换模块用于使用RANSAC算法剔除误匹配点。
优选的，所述拼接模块用于利用加权平滑算法对坐标变换后的图像进行融合、拼接。
相对于现有技术，本发明建立高斯金字塔，在高斯金字塔上检测Harris角点作为特征点，使得Harris角点具备一定尺度不变性。并且在检测Harris角点前先用拉普拉斯算子对图像边缘进行锐化，提高了Harris角点检测的精度和效率，降低了算法的运算时间，同时可以得到大量分布均匀的特征点，使用基于欧氏距离的最近邻双向匹配方法可以有效地减小特征点的误匹配，提高配准精度。本发明能够提高图像配准的精度，降低配准时间，尤其在遥感图像重叠率较小的情况下，相比于现有配准算法优势更佳明显。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一种实施例的基于尺度不变Harris特征的图像配准方法的流程图；
图2为本发明一种实施例在步骤三中寻找各层对应Harris角点的示意图；
图3为本发明一种实施例的基于尺度不变Harris特征的图像配准装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
一种基于尺度不变Harris特征的图像配准方法，该方法应用于无人机遥感图像的配准，也可以扩展应用到其他图像，如卫星图像、医学图像等图像的配准。如图1所示，其包括如下步骤：
S101：分别将参考图像以及待配准图像与具有多个不同尺度的高斯核进行卷积操作，滤除高频噪声并构建若干层高斯金字塔；
为了便于说明，可将参考图像标注为Ir，待配准图像标注为Is。分别将参考图像、待配准图像与模糊尺度σ＝0.6的高斯核进行卷积，将卷积后的图像作为各自金字塔的底层(第1层)图像，对底层(第1层)图像进行降采样，将采样结果与模糊尺度σ＝1.2的高斯核进行卷积，卷积后生成的图像作为金字塔的第2层，对第2层图像进行降采样，将采样结果与模糊尺度σ＝2.4的高斯核进行卷积，卷积后生成的图像作为金字塔的第3层，同理，可以得到金字塔的第4层、第5层……第n层。例如，一共建立4层高斯金字塔。
上述高斯核函数的尺度以及高斯金字塔的层数需要结合实际需要合理确认，不限于上述示例中的数值。
S102：使用拉普拉斯算子对生成的高斯金字塔的每一层进行滤波，锐化图像边缘；
对于图像I(x,y)，拉普拉斯算子可表示为：
可以近似为：
则可以使用如下拉普拉斯模板：
S103：对滤波后的高斯金字塔的每一层进行Harris角点检测，从金字塔顶层向下找到各层相互对应的Harris角点作为特征点，其具体包括以下过程：
S113：对步骤二中滤波后的金字塔的顶层进行Harris角点检测，得到顶层的Harris角点，其中，设定顶层为第k层；
S123：依据第k层的Harris角点Pk(xk,yk)，在第k-1层设定一个圆形搜索范围，范围中心点位置为(2xk,2yk)，半径r＝σ，σ是第k-1层的模糊尺度；在该搜索范围内查找Harris角点，找到与第k层的角点Pk(xk,yk)的Harris响应值最接近的Harris角点Pk-1(xk-1,yk-1)，则Harris角点Pk-1(xk-1,yk-1)就是第k-1层中与第k层Harris角点Pk(xk,yk)相对应的特征点；
S133：按照上述方法遍历至高斯金字塔的底层，逐层寻找与上一层相互对应的Harris角点，并形成特征点链，直至遍历顶层所有的Harris角点；每条特征点链中底层对应的Harris角点就是稳定的尺度不变特征点。
如图2所示，从金字塔的顶层开始，对第4层的每个Harris角点P4(x4,y4)，在第3层设定一个圆形搜索范围，范围中心点位置为(2x4,2y4)，半径r＝σ，σ是第3层的模糊尺度等于2.4。搜索范围中的Harris角点，找到与第4层Harris角点P4(x4,y4)的Harris响应值最接近的Harris角点P3(x3,y3)，Harris角点P3(x3,y3)就是第3层中与第4层Harris角点Pk(xk,yk)相对应的特征点。
最后，按照上述方法在第2层、第1层，逐层寻找各层相互对应的Harris角点，形成特征点链，直至遍历顶层(第4层)所有的Harris角点。底层(第1层)对应的Harris角点就是稳定的尺度不变特征点。
S104：为两个金字塔底层对应的尺度不变特征点确定主方向，并生成特征向量。
利用特征点邻域像素的梯度方向分布特性，为S103中得到的尺度不变特征点确定主方向，并使用SIFT描述符生成特征向量，本实施例可以使用128维的SIFT特征向量。
S105：对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对。
对确定了主方向和生成了特征向量的特征点，使用基于欧氏距离的最近邻双向匹配方法和k-d树搜索策略对特征点进行匹配，得到粗匹配的特征点对。
假设特征点的特征向量为N维，步骤四中本例特征向量为128维，则N＝128，两个特征点的特征向量di和dj之间的欧氏距离可表示为：
取参考图像中的特征点，在待配准图像中找出与该特征点的欧氏距离最小的两个特征点，如果最近的距离除次近的距离小于比例阈值，例如0.5，则认为距离最近的这对特征点是匹配的特征点。同理，可以在参考图像中寻找与待配准图像中特征点相匹配的特征点，只有满足双向匹配的特征点对才是最终的匹配特征点对。
S106：剔除匹配后的特征点对中的误匹配点对，并利用剔除误匹配点后的特征点对计算参考图像和待配准图像之间的单应变换矩阵H。
对于S105中生成的特征点对，使用RANSAC算法剔除误匹配点，并迭代求取变换矩阵H，算法流程如下：
1.随机选取4组匹配特征点组成一个随机样本，利用该样本计算变换矩阵H的初值H0；
2.使用Leven-berg-Marquardt算法最小化代价函数，迭代精炼变换矩阵H；
3.使用2中求取的H去适配对极线附近的区域，进一步精炼特征点对；
4.反复迭代过程2和3，直到对应的特征点对数目稳定，便可以得到精炼后的变换矩阵H和特征点对。
S107：利用所求取的单应变换矩阵H将参考图像和待配准图像转换到同一坐标系下，然后对坐标变换后的参考图像和待配准图像进行融合、拼接，完成图像配准。
在计算出参考图像Ir和待配准图像Is之间的单应变换矩阵H后，便可将参考图像Ir和待配准图像Is转换到同一坐标系下，从而完成图像拼接。加权平滑算法具有计算量小，融合效果好的优点，可以使用加权平均算法完成图像的拼接。
本发明实施例还提供一种基于尺度不变Harris特征的图像配准装置，如图3所示，其包括：
构建模块201，用于分别将参考图像以及待配准图像与具有多个不同尺度的高斯核进行卷积操作，滤除高频噪声并构建若干层高斯金字塔；
滤波模块202，用于使用拉普拉斯算子对步骤一中生成的高斯金字塔的每一层进行滤波，锐化图像边缘；
查找模块203，用于对滤波后的高斯金字塔的每一层进行Harris角点检测，从金字塔顶层向下找到各层相互对应的Harris角点作为特征点；所述查找模块203具体包括：
角点检测模块，用于对滤波后的金字塔的顶层进行Harris角点检测，得到顶层的Harris角点，其中，设定顶层为第k层；
特征点确定模块，用于依据第k层的Harris角点Pk(xk,yk)，在第k-1层设定一个圆形搜索范围，范围中心点位置为(2xk,2yk)，半径r＝σ，σ是第k-1层的模糊尺度；在该搜索范围内查找Harris角点，找到与第k层的角点Pk(xk,yk)的Harris响应值最接近的Harris角点Pk-1(xk-1,yk-1)，则Harris角点Pk-1(xk-1,yk-1)就是第k-1层中与第k层Harris角点Pk(xk,yk)相对应的特征点；
角点遍历模块，用于按照上述方法遍历至高斯金字塔的底层，逐层寻找与上一层相互对应的Harris角点，并形成特征点链，直至遍历顶层所有的Harris角点；每条特征点链中底层对应的Harris角点就是稳定的尺度不变特征点；
生成模块204，用于为两个金字塔底层对应的尺度不变特征点确定主方向，并生成特征向量；
匹配模块205，用于对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对；
变换模块206，用于剔除步骤五中匹配后的特征点对中的误匹配点对，并利用剔除误匹配点后的特征点对计算参考图像和待配准图像之间的单应变换矩阵H；
拼接模块207，用于利用所述单应变换矩阵H将参考图像和待配准图像转换到同一坐标系下，然后对坐标变换后的参考图像和待配准图像进行融合、拼接，完成图像配准。
在一种实施例中，所述生成模块204用于利用特征点邻域像素的梯度方向分布特性，为两个金字塔底层对应的尺度不变特征点确定主方向，并使用SIFT特征描述生成特征向量。
在一种实施例中，所述匹配模块205用于使用基于欧氏距离的最近邻双向匹配装置和k-d树搜索策略，对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对。
在一种实施例中，所述变换模块206用于使用RANSAC算法剔除误匹配点。
在一种实施例中，所述拼接模块207用于利用加权平滑算法对坐标变换后的图像进行融合、拼接。
上述基于尺度不变Harris特征的图像配准装置的实施例的具体说明，可以参见基于尺度不变Harris特征的图像配准方法部分的实施例，在此不再赘述。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于尺度不变Harris特征的图像配准方法，其特征在于，包括如下步骤：
步骤一，分别将参考图像以及待配准图像与具有多个不同尺度的高斯核进行卷积操作，滤除高频噪声并构建若干层高斯金字塔；
步骤二，使用拉普拉斯算子对步骤一中生成的高斯金字塔的每一层进行滤波，锐化图像边缘；
步骤三，对步骤二中滤波后的高斯金字塔的每一层进行Harr is角点检测，从金字塔顶层向下找到各层相互对应的Harr is角点作为特征点，其具体包括以下过程：
对步骤二中滤波后的金字塔的顶层进行Harr is角点检测，得到顶层的Harr is角点，其中，设定顶层为第k层；
依据第k层的Harr is角点Pk(xk,yk)，在第k-1层设定一个圆形搜索范围，范围中心点位置为(2xk,2yk)，半径r＝σ，σ是第k-1层的模糊尺度；在该搜索范围内查找Harr is角点，找到与第k层的角点Pk(xk,yk)的Harr is响应值最接近的Harr is角点Pk-1(xk-1,yk-1)，则Harr is角点Pk-1(xk-1,yk-1)就是第k-1层中与第k层Harr is角点Pk(xk,yk)相对应的特征点；
按照上述方法遍历至高斯金字塔的底层，逐层寻找与上一层相互对应的Harr is角点，并形成特征点链，直至遍历顶层所有的Harr is角点；每条特征点链中底层对应的Harr is角点就是稳定的尺度不变特征点；
步骤四，为两个金字塔底层对应的尺度不变特征点确定主方向，并生成特征向量；
步骤五，对步骤四中已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对；
步骤六，剔除步骤五中匹配后的特征点对中的误匹配点对，并利用剔除误匹配点后的特征点对计算参考图像和待配准图像之间的单应变换矩阵H；
步骤七，利用步骤六中求取的单应变换矩阵H将参考图像和待配准图像转换到同一坐标系下，然后对坐标变换后的参考图像和待配准图像进行融合、拼接，完成图像配准。
2.根据权利要求1所述的方法，其特征在于：
所述的步骤四中，利用特征点邻域像素的梯度方向分布特性，为两个金字塔底层对应的尺度不变特征点确定主方向，并使用SIFT特征描述生成特征向量。
3.根据权利要求1所述的方法，其特征在于：
所述的步骤五中，使用基于欧氏距离的最近邻双向匹配方法和k-d树搜索策略，对步骤四中已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对。
4.根据权利要求1所述的方法，其特征在于：
所述的步骤六中，使用RANSAC算法剔除误匹配点。
5.根据权利要求1所述的方法，其特征在于：
所述步骤七中，利用加权平滑算法对坐标变换后的图像进行融合、拼接。
6.一种基于尺度不变Harris特征的图像配准装置，其特征在于，包括：
构建模块，用于分别将参考图像以及待配准图像与具有多个不同尺度的高斯核进行卷积操作，滤除高频噪声并构建若干层高斯金字塔；
滤波模块，用于使用拉普拉斯算子对步骤一中生成的高斯金字塔的每一层进行滤波，锐化图像边缘；
查找模块，用于对滤波后的高斯金字塔的每一层进行Harr is角点检测，从金字塔顶层向下找到各层相互对应的Harr is角点作为特征点；所述查找模块具体包括：
角点检测模块，用于对滤波后的金字塔的顶层进行Harr is角点检测，得到顶层的Harris角点，其中，设定顶层为第k层；
特征点确定模块，用于依据第k层的Harr is角点Pk(xk,yk)，在第k-1层设定一个圆形搜索范围，范围中心点位置为(2xk,2yk)，半径r＝σ，σ是第k-1层的模糊尺度；在该搜索范围内查找Harr is角点，找到与第k层的角点Pk(xk,yk)的Harr is响应值最接近的Harr is角点Pk-1(xk-1,yk-1)，则Harr is角点Pk-1(xk-1,yk-1)就是第k-1层中与第k层Harr is角点Pk(xk,yk)相对应的特征点；
角点遍历模块，用于按照上述方法遍历至高斯金字塔的底层，逐层寻找与上一层相互对应的Harr is角点，并形成特征点链，直至遍历顶层所有的Harr is角点；每条特征点链中底层对应的Harr is角点就是稳定的尺度不变特征点；
生成模块，用于为两个金字塔底层对应的尺度不变特征点确定主方向，并生成特征向量；
匹配模块，用于对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对；
变换模块，用于剔除步骤五中匹配后的特征点对中的误匹配点对，并利用剔除误匹配点后的特征点对计算参考图像和待配准图像之间的单应变换矩阵H；
拼接模块，用于利用所述单应变换矩阵H将参考图像和待配准图像转换到同一坐标系下，然后对坐标变换后的参考图像和待配准图像进行融合、拼接，完成图像配准。
7.根据权利要求6所述的装置，其特征在于：
所述生成模块用于利用特征点邻域像素的梯度方向分布特性，为两个金字塔底层对应的尺度不变特征点确定主方向，并使用S I FT特征描述生成特征向量。
8.根据权利要求6所述的装置，其特征在于：
所述匹配模块用于使用基于欧氏距离的最近邻双向匹配装置和k-d树搜索策略，对已生成特征向量的特征点对进行粗匹配，得到匹配后的特征点对。
9.根据权利要求6所述的装置，其特征在于：
所述变换模块用于使用RANSAC算法剔除误匹配点。
10.根据权利要求6所述的装置，其特征在于：
所述拼接模块用于利用加权平滑算法对坐标变换后的图像进行融合、拼接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710094580.9A CN106898019A (zh) | 2017-02-21 | 2017-02-21 | 基于尺度不变Harris特征的图像配准方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710094580.9A CN106898019A (zh) | 2017-02-21 | 2017-02-21 | 基于尺度不变Harris特征的图像配准方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106898019A true CN106898019A (zh) | 2017-06-27 |
Family
ID=59184244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710094580.9A Pending CN106898019A (zh) | 2017-02-21 | 2017-02-21 | 基于尺度不变Harris特征的图像配准方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106898019A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392946A (zh) * | 2017-07-18 | 2017-11-24 | 宁波永新光学股份有限公司 | 一种面向三维形状重建的显微多焦距图像序列处理方法 |
| CN107506688A (zh) * | 2017-07-18 | 2017-12-22 | 西安电子科技大学 | Harris角点检测影像金字塔掌纹ROI识别方法 |
| CN109146935A (zh) * | 2018-07-13 | 2019-01-04 | 中国科学院深圳先进技术研究院 | 一种点云配准方法、装置、电子设备及可读存储介质 |
| CN109285140A (zh) * | 2018-07-27 | 2019-01-29 | 广东工业大学 | 一种印刷电路板图像配准评估方法 |
| CN109344846A (zh) * | 2018-09-26 | 2019-02-15 | 联想(北京)有限公司 | 图像特征提取方法和装置 |
| CN110111372A (zh) * | 2019-04-16 | 2019-08-09 | 昆明理工大学 | 基于sift+ransac算法的医学图像配准和融合方法 |
| CN111739073A (zh) * | 2020-06-24 | 2020-10-02 | 刘秀萍 | 高效快速的手持装置的影像配准优化方法 |
| CN112000225A (zh) * | 2020-08-25 | 2020-11-27 | 唯羲科技有限公司 | 一种定位建图优化方法、装置及定位建图优化芯片 |
| CN112258437A (zh) * | 2020-10-22 | 2021-01-22 | 广东电网有限责任公司 | 一种投影图像融合方法、装置、设备和存储介质 |
| CN114926668A (zh) * | 2022-05-16 | 2022-08-19 | 上海贝特威自动化科技有限公司 | 一种基于sift的变形目标定位算法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102202164A (zh) * | 2011-05-20 | 2011-09-28 | 长安大学 | 基于运动估计的道路视频稳定方法 |
| CN102819839A (zh) * | 2012-07-19 | 2012-12-12 | 北京市遥感信息研究所 | 多特征多级别的红外与高光谱图像的高精度配准方法 |
| CN103456022A (zh) * | 2013-09-24 | 2013-12-18 | 中国科学院自动化研究所 | 一种高分辨率遥感图像特征匹配方法 |
| CN104077782A (zh) * | 2014-07-11 | 2014-10-01 | 中国科学院自动化研究所 | 一种星载遥感图像匹配方法 |
| US20150242703A1 (en) * | 2014-02-24 | 2015-08-27 | Electronics And Telecommunications Research Institute | Method and apparatus for extracting image feature |
| CN104992400A (zh) * | 2015-06-19 | 2015-10-21 | 北京邮电大学 | 多光谱图像配准方法和装置 |
-
2017
- 2017-02-21 CN CN201710094580.9A patent/CN106898019A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102202164A (zh) * | 2011-05-20 | 2011-09-28 | 长安大学 | 基于运动估计的道路视频稳定方法 |
| CN102819839A (zh) * | 2012-07-19 | 2012-12-12 | 北京市遥感信息研究所 | 多特征多级别的红外与高光谱图像的高精度配准方法 |
| CN103456022A (zh) * | 2013-09-24 | 2013-12-18 | 中国科学院自动化研究所 | 一种高分辨率遥感图像特征匹配方法 |
| US20150242703A1 (en) * | 2014-02-24 | 2015-08-27 | Electronics And Telecommunications Research Institute | Method and apparatus for extracting image feature |
| CN104077782A (zh) * | 2014-07-11 | 2014-10-01 | 中国科学院自动化研究所 | 一种星载遥感图像匹配方法 |
| CN104992400A (zh) * | 2015-06-19 | 2015-10-21 | 北京邮电大学 | 多光谱图像配准方法和装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392946B (zh) * | 2017-07-18 | 2020-06-16 | 宁波永新光学股份有限公司 | 一种面向三维形状重建的显微多焦距图像序列处理方法 |
| CN107506688A (zh) * | 2017-07-18 | 2017-12-22 | 西安电子科技大学 | Harris角点检测影像金字塔掌纹ROI识别方法 |
| CN107392946A (zh) * | 2017-07-18 | 2017-11-24 | 宁波永新光学股份有限公司 | 一种面向三维形状重建的显微多焦距图像序列处理方法 |
| CN109146935A (zh) * | 2018-07-13 | 2019-01-04 | 中国科学院深圳先进技术研究院 | 一种点云配准方法、装置、电子设备及可读存储介质 |
| CN109285140A (zh) * | 2018-07-27 | 2019-01-29 | 广东工业大学 | 一种印刷电路板图像配准评估方法 |
| CN109344846A (zh) * | 2018-09-26 | 2019-02-15 | 联想(北京)有限公司 | 图像特征提取方法和装置 |
| CN109344846B (zh) * | 2018-09-26 | 2022-03-25 | 联想(北京)有限公司 | 图像特征提取方法和装置 |
| CN110111372A (zh) * | 2019-04-16 | 2019-08-09 | 昆明理工大学 | 基于sift+ransac算法的医学图像配准和融合方法 |
| CN111739073A (zh) * | 2020-06-24 | 2020-10-02 | 刘秀萍 | 高效快速的手持装置的影像配准优化方法 |
| CN112000225A (zh) * | 2020-08-25 | 2020-11-27 | 唯羲科技有限公司 | 一种定位建图优化方法、装置及定位建图优化芯片 |
| CN112258437A (zh) * | 2020-10-22 | 2021-01-22 | 广东电网有限责任公司 | 一种投影图像融合方法、装置、设备和存储介质 |
| CN114926668A (zh) * | 2022-05-16 | 2022-08-19 | 上海贝特威自动化科技有限公司 | 一种基于sift的变形目标定位算法 |
| CN114926668B (zh) * | 2022-05-16 | 2023-12-08 | 上海贝特威自动化科技有限公司 | 一种基于sift的变形目标定位算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106898019A (zh) | 基于尺度不变Harris特征的图像配准方法和装置 | |
| CN110148162B (zh) | 一种基于复合算子的异源图像匹配方法 | |
| CN107063228A (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN105205781B (zh) | 输电线路航拍图像拼接方法 | |
| CN102567979B (zh) | 车载红外夜视系统及其多源图像融合方法 | |
| Maltezos et al. | Deep convolutional neural networks for building extraction from orthoimages and dense image matching point clouds | |
| CN109961399B (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
| CN110287869A (zh) | 基于深度学习的高分辨率遥感影像农作物分类方法 | |
| CN101794439B (zh) | 基于边缘分类信息的图像拼接方法 | |
| CN107424181A (zh) | 一种改进的图像拼接关键帧快速提取方法 | |
| CN106951840A (zh) | 一种人脸特征点检测方法 | |
| CN112465880B (zh) | 基于多源异构数据认知融合的目标检测方法 | |
| CN105004337B (zh) | 基于直线匹配的农用无人机自主导航方法 | |
| US20080260274A1 (en) | Local image descriptors | |
| CN111985502A (zh) | 具有尺度与旋转不变性的多模态影像特征匹配方法 | |
| CN108474661A (zh) | 用于多光谱数据的几何参照的方法和系统 | |
| CN112712589A (zh) | 一种基于激光雷达和深度学习的植株3d建模的方法和系统 | |
| Kemker et al. | High-resolution multispectral dataset for semantic segmentation | |
| CN108898070A (zh) | 一种基于无人机平台的高光谱遥感提取薇甘菊装置及方法 | |
| CN112669249A (zh) | 结合改进nsct变换和深度学习的红外与可见光图像融合方法 | |
| CN114694043A (zh) | 复杂场景下机载多光谱多域优选特征的地面伤员识别方法、装置及介质 | |
| CN106250898A (zh) | 一种基于尺度预测的图像局部区域特征提取方法 | |
| Vayssade et al. | Two-step multi-spectral registration via key-point detector and gradient similarity. Application to agronomic scenes for proxy-sensing | |
| Zhao et al. | Gabor-modulated grouped separable convolutional network for hyperspectral image classification | |
| CN111881965A (zh) | 药材产地等级的高光谱图形分类识别方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170627 |