CN116128945B - 一种改进的akaze图像配准方法 - Google Patents

Abstract

本发明公开了一种改进的AKAZE图像配准方法包括：获取模板图像和待配准图像，分别对所述模板图像和所述待配准图像进行预处理；对所述模板图像和所述待配准图像进行特征检测；将所述模板图像和所述待配准图像分块成局部图像，并对所述局部图像进行特征描述和特征匹配；统计全部局部匹配点，计算变换矩阵，完成所述待配准图像的转换；本发明实现规律性重复特征图像的配准操作，提高了配准精度；本发明可以缩减特征匹配的时间，使得匹配的用时比原有方法快了一个数量级;将匹配的过程控制在局部图像中，避免了规律性特征图像的特征匹配相对位置错误的问题，剔除了大部分的错误匹配对;在特征匹配阶段就保证了极高的正确内点概率。

Description

一种改进的AKAZE图像配准方法

技术领域

本发明涉及图像处理技术检测技术领域，具体为一种改进的AKAZE图像配准方法。

背景技术

数字化、信息化的发展，使得数字图像处理技术也蓬勃发展。图像配准技术是图像处理、计算机视觉的一大领域，广泛应用于航空遥感、医疗卫生、无人驾驶、军事等领域。

图像配准算法主要分为基于区域的配准方法和基于特征的配准方法两类。图像配准就是将具有相同信息的两幅或者多幅图像进行特征点提取、特征描述、特征匹配以及图像转换的过程。一般算法是针对整体图像来进行操作或者使用。但是由于某些工业场景的要求，对应的工业图像可能具有规律性的特征信息。在理想条件下，重复规律性的图像在不同位置会具有相同的特征信息，因此在配准时，可能会出现空间位置错误、特征点成功匹配的现象，造成错误的配准结果。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述存在的问题，提出了本发明。

因此，本发明解决的技术问题是：解决具有规律性特征图像的配准工作，对不同时期、同一物体的两幅或者多幅图片进行配准。

为解决上述技术问题，本发明提供如下技术方案：一种改进的AKAZE图像配准方法，包括：

获取模板图像和待配准图像，分别对所述模板图像和所述待配准图像进行预处理；

对所述模板图像和所述待配准图像进行特征检测；

将所述模板图像和所述待配准图像分块成局部图像，并对所述局部图像进行特征描述和特征匹配；

统计全部局部匹配对，计算变换矩阵，完成所述待配准图像的转换。

作为本发明所述的一种改进的AKAZE图像配准方法的一种优选方案，其中：分别对所述模板图像和所述待配准图像进行预处理包括：计算所述模板图像和所述待配准图像的偏移量，平移所述待配准图像以消除两幅图像之间的偏移误差，得到偏移待配准图像。

作为本发明所述的一种改进的AKAZE图像配准方法的一种优选方案，其中：所述模板图像和所述待配准图像分块成局部图像包括：对全局的所述模板图像和全局的所述待配准图像进行缩放处理，再经过缩放处理变成相同尺寸的缩放模板图像和缩放待配准图像。

作为本发明所述的一种改进的AKAZE图像配准方法的一种优选方案，其中：所述模板图像和所述待配准图像分块成局部图像还包括：将所述缩放模板图像和所述缩放待配准图像，按照缩放规则中的行数和列数划分为局部缩放模板图像和局部缩放偏移待配准图像，所述局部缩放模板图像和所述局部缩放偏移待配准图像的个数均为所述行数和所述列数的积。

作为本发明所述的一种改进的AKAZE图像配准方法的一种优选方案，其中：所述局部缩放模板图像和所述局部缩放偏移待配准图像的特征描述和特征匹配包括：选择全部的所述局部缩放模板图像和所述局部缩放偏移待配准图像的某一组对应的所述局部缩放模板图像和所述局部缩放偏移待配准图像，在检测到的全局关键点中提取出每个所述局部缩放模板图像和所述局部缩放偏移待配准图像包含的关键点，对这一组局部缩放模板图像和这一组局部缩放偏移待配准图像的关键点特征进行描述，得到这组局部缩放模板图像特征描述信息和所述局部缩放偏移待配准图像特征描述信息。

作为本发明所述的一种改进的AKAZE图像配准方法的一种优选方案，其中：将所述局部缩放模板图像和所述局部缩放偏移待配准图像特征描述信息进行特征匹配包括：

计算所述局部缩放模板图像和所述局部缩放偏移待配准图像特征点之间的距离，利用公式：

；

其中，s为所述局部缩放偏移待配准图像的特征点的数量，n为这一组局部缩放模板图像特征描述点和所述局部缩放偏移待配准图像特征描述点的维数，i的取值范围是1~n，j是所述这一组局部缩放偏移待配准图像中第j个特征描述点，范围从1~s；然后将s个距离从大到小排序，取前两个距离为最大距离 和次最大距离 />。

作为本发明所述的一种改进的AKAZE图像配准方法的一种优选方案，其中：所述局部缩放模板图像和所述局部缩放偏移待配准图像关键点特征进行特征匹配还包括：判断是否为特征点P的匹配点，利用公式：

；

其中，ratio为比值的阈值；

若符合上述判断条件，则所述这一组局部缩放模板图像中P特征点在所述这一组局部缩放偏移待配准图像中的匹配点是Q1，否则P没有匹配点。

作为本发明所述的一种改进的AKAZE图像配准方法的一种优选方案，其中：所述统计全局局部匹配点包括：将全部所述缩放模板图像和所述缩放偏移待配准图像的所述匹配点利用随机抽样一致算法计算变换矩阵；

所述待配准图像的转换包括：利用所述变换矩阵完成所述缩放偏移待配准图像的转换完成配准操作。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明一个实施例提供的一种改进的AKAZE图像配准方法的整体流程图；

图2为本发明第一个实施例提供的一种改进的AKAZE图像配准方法中的对所述模板图像和所述待配准图像进行预处理的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1，为本发明的一个实施例，提供了一种改进的AKAZE图像配准方法，包括：

S1：获取模板图像和待配准图像，分别对所述模板图像和所述待配准图像进行预处理。

应该说明的是，位于工业场景中的线阵相机在运行工作过程中按照一定速率采集目标图像制作成数据集，并将不同时间采集的图像保存在不同的数据集中；在相机获取的数据集中获取不同时间、同一目标的两幅图像分别做模板图像和待配准图像。先将模板图像和待配准图像转换为灰度图像ImageA1、ImageB1；将模板图像ImageA1和待配准图像ImageB1分别进行垂直投影，投影后的结果是一组1*n的数组，行数等于1、列数等于图像的宽度记为n，分别记为dataA、dataB，利用公式：

；

计算dataA与dataB的互相关系数，其中n为数组的长度，为数组dataA中第i个数据， />是dataA的平均值，/>是数组dataB中第i个数据， />是dataB的平均值，然后利用公式/> 计算参考图像与待配准图像之间的偏移量offset。

进一步地，垂直投影是指将图像中每一列的像素点灰度值相加，组成只有一行的一组数据；互相关系数是指研究两个变量之间的线性相关程度的量；偏移量是指待配准图像相对参考图像的偏移的位置，将待配准图像ImageB1按照水平方向平移偏移量个像素，使得平移后的参考图像与待配准图像之间的偏移量为0，输出图像记为分别ImageA1、ImageB2。

对图像ImageA1和ImageB2分别使用对比度限制阈值=2，直方图均衡的网格大小为8*8的自适应均衡化方法进行图像增强处理，得到对比度增强后的图像，分别记为ImageA2、ImageB3。

更进一步地，图像增强是改善图像质量使结果更适合于人的视觉特性或机器可识别的过程；对比度就是图像中最大的亮度与最小的亮度的比值。

S2：对所述模板图像和所述待配准图像进行特征检测；分别获取预处理增强后的全局参考图像ImageA2和待配准图像ImageB3；对图像ImageA2使用快速显示扩散算法构建非线性的尺度空间，尺度空间一共有O组，每一组分为S层。

应该说明的是，获取特征点包括：获取某一尺度空间的某一像素点Q，获取Q所在空间及紧邻上下空间的3×3窗口区域，与获取的除Q外的26个像素进行比较，若该点的值为极大值，则将该点Q认为是当前空间的特征点；重复获取特征点，直至确定模板图像ImageA2的所有特征点，记为keyA；重复获取特征点确定待配准图像ImageB3的所有特征点，记为keyB。

S3：将所述模板图像和所述待配准图像分块成局部图像，并对所述局部图像进行特征描述和特征匹配。

更进一步的，按照缩放规则中的行数和列数划分为局部缩放模板图像和局部缩放偏移待配准图像，所述局部缩放模板图像和所述局部缩放偏移待配准图像的个数均为所述行数和所述列数的积。

将图像ImageA2和ImageB3进行缩放处理。设置参考图像与待配准图像上相邻的两个相同特征之间的距离为dis、图像需要划分的列数为col，计算参考图像和待配准图像的均值高和均值宽 /> ；利用公式：/>；

计算图像需要划分的行数row，行数取整数，然后使用公式：

；

计算划分成的每个局部区域图像的高和宽，高和宽也进行取整处理，最后使用公式：

；

计算缩放处理后的高H和宽W；然后将模板图像和待配准图像重置成H*W的大小，输出图像分别记为ImageA3、ImageB4。

对全局图像ImageA3和ImageB4分别进行分块。以计算的行数row，列数col为基数，将图像划分成row行、col列，分别得到row*col个局部图像，局部图像分别记为ImageA3_m，ImageB4_m，其中，m指全局图像中的第m个局部图像，m的取值范围是1~row*col。

应该说明的是，提取局部图像包含的关键点。针对每一组对应的局部图像ImageA3_m和ImageB4_m，均从所属的全部关键点keyA和keyB中提取出该局部图像ImageA3_m和ImageB4_m包含的关键点，分别记为keyA_m和keyB_m。

分别对局部图像的关键点keyA_m和keyB_m利用AKAZE描述器描述特征信息，特征信息也称为描述子，分别记为desA_m、desB_m。

进一步地，特征匹配是指通过计算特征点之间的某种信息来得到参考图像与待配准图像之间的相似像素点的过程。

局部特征匹配；对局部图像ImageA3_m和ImageB4_m使用快速近似最近邻匹配算法对描述子desA_m和desB_m进行特征匹配运算，匹配过程用到K最近邻分类算法，利用公式：

；

计算局部图像ImageA3_m中P特征点和局部图像ImageB4_m中的所有特征点之间的距离，其中，其中，s是局部图像ImageB4_m的特征点的数量，n是特征描述子的维数（二者的维数是相等的），i的取值范围是1~n，局部图像ImageA3_m中P特征点的描述子是 ，局部图像ImageB4_m中某个特征点的描述子向量是，j是局部图像ImageB4_m中第j个特征点，范围从1~s。然后将s个距离从大到小排序，取前两个距离为最大距离 />和次最大距离 />，对应的特征点分别记为Q1和Q2。

判断是否为特征点P的匹配点利用公式：

；

其中，ratio是比值的阈值；若符合上述判断条件，则局部图像ImageA3_m中P特征点在局部图像ImageB4_m中的匹配点是Q1（即P与Q1是一对匹配对），否则，P没有匹配点。对局部图像ImageA3_m中的每个特征点均执行以上操作，得到局部图像ImageA3_m和ImageB4_m的所有匹配对match_m。

S4：统计全部局部匹配点，计算变换矩阵，完成待配准图像的转换；具体按照以下步骤：

将全局图像ImageA3和ImageB4划分成的所有row*col个局部图像均一一进行局部特征匹配操作，得到每一对局部图像的所有局部匹配对match_m;统计所有的局部匹配对match_m，统计在一起即为全局图像ImageA3和ImageB4的特征匹配对，记为Matches；使用随机抽样一致算法计算变换矩阵。随机选取匹配对Matches中的4对样本点 和，i的取值范围是1~4，计算出初步变换矩阵，利用公式：

；

其中

；

更进一步的，Matches中其余的匹配对初步的变换矩阵进行验证更新，当足够多的匹配对均符合模型时，就停止迭代计算，不符合则重复进行上述计算直至满足，输出的模型即为最优的变换矩阵H，使用估计出的最优变换矩阵H对待配准图像ImageB4利用公式进行图像变换，其中，X表示待配准图像ImageB4中的每个像素点， />表示转换后的图像的每个像素点，转换后的图像即为最终的配准图像，记为ImageB5。

计算机设备可以是服务器。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种改进的AKAZE图像配准方法。

实施例2

使用本发明提出的一种改进的AKAZE图像配准方法与原有方法对比，对以上所涉及的应用实例图像选择4组图像进行实验得出的实验结果如表1所示，其余超参数

如上，表中精度 = good/matches：

表1原方法与本方法对比数据

根据实验结果可知，本方法尽管在提取的关键点数量和匹配对数上数量减少了，但是最后的配准精度提高了。

本方法的一个应用实例是针对具有规律性重复特征的图像实现图像配准，实验结果表明本方法可以实现规律性重复特征图像的配准操作，提高了原算法的配准精度。与现有技术相比，本发明具有以下优点：

（1） 与原有的AKAZE配准算法相比，本发明可以缩减特征匹配的时间，使得匹配的用时比原有方法快了一个数量级。

（2）对比原有的配准方法，本发明将匹配的过程控制在局部图像中，避免了规律性特征图像的特征匹配相对位置错误的问题，剔除了大部分的错误匹配对。

（3）与原有配准方法相比，本发明在特征匹配阶段就保证了极高的正确内点概率，进一步节省了计算变换矩阵时的迭代时间的耗费。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种改进的AKAZE图像配准方法，其特征在于，包括：

获取模板图像和待配准图像，分别对所述模板图像和所述待配准图像进行预处理；

对所述模板图像和所述待配准图像进行特征检测；

将所述模板图像和所述待配准图像分块成局部图像，并对所述局部图像进行特征描述和特征匹配；

统计全部局部匹配点，计算变换矩阵，完成所述待配准图像的转换；

分别对所述模板图像和所述待配准图像进行预处理包括：计算所述模板图像和所述待配准图像的偏移量，平移所述待配准图像以消除两幅图像之间的偏移误差，得到偏移待配准图像；

所述模板图像和所述待配准图像分块成局部图像包括：对全局的所述模板图像和全局的所述待配准图像进行缩放处理，再经过缩放处理变成相同尺寸的缩放模板图像和缩放待配准图像；

所述模板图像和所述待配准图像分块成局部图像还包括：将所述缩放模板图像和所述缩放待配准图像，按照缩放规则中的行数和列数划分为局部缩放模板图像和局部缩放偏移待配准图像，所述局部缩放模板图像和所述局部缩放偏移待配准图像的个数均为所述行数和所述列数的积；

所述局部缩放模板图像和所述局部缩放偏移待配准图像的特征描述和特征匹配包括：选择全部的所述局部缩放模板图像和所述局部缩放偏移待配准图像的某一组对应的所述局部缩放模板图像和所述局部缩放偏移待配准图像，在检测到的全局关键点中提取出每个所述局部缩放模板图像和所述局部缩放偏移待配准图像包含的关键点，对这一组局部缩放模板图像和这一组局部缩放偏移待配准图像的关键点特征进行描述，得到这组局部缩放模板图像特征描述信息和所述局部缩放偏移待配准图像特征描述信息；

将所述局部缩放模板图像和所述局部缩放偏移待配准图像特征描述信息进行特征匹配包括：

计算所述局部缩放模板图像和所述局部缩放偏移待配准图像特征点之间的距离，利用公式：

其中，s为所述局部缩放偏移待配准图像的特征点的数量，n为这一组局部缩放模板图像特征描述点和所述局部缩放偏移待配准图像特征描述点的维数，i的取值范围是1～n，j是所述这一组局部缩放偏移待配准图像中第j个特征描述点，范围从1～s；然后将s个距离从大到小排序，取前两个距离为最大距离d_fir和次最大距离d_sec；

所述局部缩放模板图像和所述局部缩放偏移待配准图像关键点特征进行特征匹配还包括：判断是否为特征点P的匹配点，利用公式：

其中，ratio为比值的阈值；

若符合上述判断条件，则所述这一组局部缩放模板图像中P特征点在所述这一组局部缩放偏移待配准图像中的匹配点是Q1，否则P没有匹配点。

2.根据权利要求1所述的一种改进的AKAZE图像配准方法，其特征在于：所述统计全部局部匹配点的步骤包括：将全部所述缩放模板图像和所述缩放偏移待配准图像的所述匹配点利用随机抽样一致算法计算变换矩阵；

所述待配准图像的转换包括：利用所述变换矩阵完成所述缩放偏移待配准图像的转换完成配准操作。

3.一种用于如权利要求1所述的改进的AKAZE图像配准方法的计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至2中任一项所述的方法的步骤。

4.一种用于如权利要求1所述的改进的AKAZE图像配准方法的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述的方法的步骤。