CN111898589A - 一种基于gpu+特征识别的无人机影像快速配准方法 - Google Patents

Abstract

本发明提出一种基于GPU+特征识别的无人机影像快速配准方法，包括如下步骤：步骤1、实时接受无人机航拍采集的影像数据；步骤2、对相邻的影像使用GPU加速的KAZE算法，在GPU中完成特征点的提取、特征点描述符计算、特征匹配过程；步骤3、步骤对相邻影像提取出来的特征点使用GPU加速特征点匹配，匹配方法采用基于最近邻和次近邻距离比值的方法进行特征匹配；步骤4、使用PROSAC算法，选取前n个匹配质量较高的点，作为优质匹配点对；步骤5、根据两幅影像保存的优质匹配点，使用GPU加速特征点匹配；步骤6、采用PROSAC算法估计影像单应矩阵,步骤7、根据影像之间的单应矩阵，实现影像快速配准。

Description

一种基于GPU+特征识别的无人机影像快速配准方法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于GPU+特征识别的无人机影像快速配准方法。

背景技术

我国自然灾害频发，采用常规的航天摄影测量手段周期长、费用高，无法及时有效地满足应急测绘、小面积高分辨率地理信息数据更新的要求，而轻小型无人机系统作为传统航空摄影测量手段的有力补充，通过无人机搭载的相机获取航摄影像，既可以对获取的数据进行实时查看，获取研究区实时情况，又可以同时对接收的影像同步进行快速的影像配准，广泛应用于环境监测、监督执法、边境安全控制、农田作物监测、日标检测、施工现场评估和灾害应急管理等领域，由于航拍图像存在数据量大、数据处理时间长及作业强度高等问题，如何高效的实现无人机航拍序列图像的配准已经成为了一个热点研究问题

为了得到大视场、高分辨率、高清晰度的无人机影像,需要将多幅小视场的序列图像进行配准融合。目前应用最广泛的图像配准方法为基于尺度不变换特征(s ift)。王书民等人对航拍序列图像配准前后进行批量预处理,然后基于SIFT特征点航拍序列图像的快速配准,实现航拍图像的自动化配准；王玉环通过预设影像重叠区域，重叠区域内实现特征点提取、配准后续操作；何宾等提出一种基于子图像块的F-SIFT算法,提高了系统运算速度和和实时性；文颖等提出来一种无人机影像降采样方式，先进行所有图像缩小分辨率，在实现快速配准。

目前应用最广泛的图像配准方法为基于尺度不变换特征(sift)及其改进方法。该方法对图像旋转、缩放、尺度变换及光照差异等都具有很强的鲁棒性,但也存在原理复杂、计算量大、耗时长等缺点。现有的无人机影像配准方法运算效率较低，耗费大量时间，无法满足实时性的要求，或者丢失大量影像细节信息，不利于后续的实际应用。现有技术中的配准方法都或多或少的存在配准效果不理想、配准效率低的缺点。鉴于此，如何提供一种稳定性和配准效果好、配准效率高的无人机航拍序列图像快速配准方法是本领域技术人员需要解决的技术问题。

发明内容

鉴于SIFT及其改进算法存在计算效率较慢的情况，为了解决上述技术问题，本发明使用更高计算效率的KAZE算法,分别对临近影像使用GPU加速的KAZE算法进行特征点提取，随后对提取出的特征点使用GPU加速特征点匹配过程，在使用PROSAC算法对特征匹配点进行质量排序，挑选出优质匹配点对，再对PROSAC保留的优质匹配点集使用GPU进行特征点匹配，最后在使用PROSAC算法估算最优匹配模型。本发明的技术方案如下：一种基于GPU+特征识别的无人机影像快速配准方法，包括如下步骤：

步骤1、实时接受无人机航拍采集的影像数据；

步骤2、对相邻的影像使用GPU加速的KAZE算法，在GPU中完成特征点的提取、特征点描述符计算、特征匹配过程，所述GPU启动足够多的线程，每个线程完成简单的计算任务；

步骤3、对相邻影像提取出来的特征点使用GPU加速特征点匹配，匹配方法采用基于最近邻和次近邻距离比值的方法进行特征匹配,具体包括:在匹配的过程中,设I1，I2为两幅输入图像,ti为图像I1上第i个特征点,在图像I2中寻找与该特征点之间距离最近的特征点t0和次近距离的特征点t1，分别计算其欧氏距离平方和d1，d2,当最近距离和次近距离的比值小于0.6时认为是正确匹配的特征点,即d1≤0.6*d2，否则认为是错误匹配的特征点，遍历图像I1中所有特征点,找出I2中所有匹配的特征点；

步骤4、使用PROSAC算法，对特征点对依据匹配质量，从高到低排序匹配点对，选取前n个匹配点对，作为优质匹配点对；

步骤5、根据两幅影像保存的优质匹配点对，使用GPU加速特征点匹配，匹配方法采用基于最近邻和次近邻距离比值的方法进行特征匹配；

步骤6、采用PROSAC算法估计影像单应矩阵,具体包括:

(6.1)设置迭代次数N；

(6.2)在迭代次数范围内，再依据匹配质量，从高到低排序匹配点对，选取前n个匹配质量较高的点，再从n个高质量的点中随机挑选4对特征匹配点对用于算出单应矩阵模型和计算对应模型误差，若模型误差小于内点误差阈值，则将此点判定为内点；

(6.3)判定当前内点数量：若当前内点数量大于设定数量阈值，则返回该内点点集，若不符合，则使迭代次数加一，重复运行上一步骤(6.2)；最终选出内点数最多的变换矩阵即为单应矩阵；

步骤7、根据影像之间的单应矩阵，实现影像快速配准。

进一步的，所述步骤2具体包括：

(2.1)将输入的遥感影像从主机存储器传输到GPU显示存储器；

(2.2)在GPU中，构建非线性尺度空间：

尺度空间通过将原始图像进行平滑，从而得到多尺度下的图像结构，图像结构取决于尺度参数,通过指数步长的系列组合来离散化尺度空间的，包括M个组，S个层，各个层之间的尺度关系如下公式(1)所示:

其中m∈[0,M-1],s∈[0,S-1],i∈[0,N],其中σ₀是基本尺度，M表示组序号，S表示所在组的层序号，N表示总的层数；

(2.3)使用GPU加速特征点快速检测，单个特征点检测方式如下：

尺度空间构造完毕开始检测极值点，首先将不同尺度归一化，然后计算Hessian局部极大值点，具体计算公式如公式(2)所示：

L_Hessian＝σ²(L_xxL_yy-L² _xy) (2)

其中L_xx、L_yy、L_xy分别表示x方向2阶导数，y方向2阶导数，xy方向混合导数，σ是尺度参数，设定σ为3，则比较的范围是个3×3×3的立方体，当前检测点需要和26个点比较，包括它同尺度的8个相邻点，以及上下相邻尺度对应的18个点，确保在尺度域和图像域都能检测到极值点，比较得出局部极大值判定该点就是KAZE特征关键点；

(2.4)对每个特征点均调用一次GPU函数计算特征点主方向，单个特征点主方向计算如下：

为了实现图像旋转不变性，需要根据特征点的局部图像结构来确定其主方向，即若特征点的尺度参数为σ_i，则搜索半径设为6σ_i；对搜索圈内所有邻点的一阶微分值L_x和L_y通过高斯加权，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小；将这些微分值视作向量空间中的点集，在一个角度为60°的扇形滑动窗口内对点集进行向量叠加，遍历整个圆形区域，获得最长向量的角度就是主方向；

(2.5)对每个特征点均调用一次GPU函数计算特征描述符，单个特征描述符计算方式如下：

KAZE算法是使用M-SURF方法来描述特征点，对于尺度参数为σ_i的特征点，在梯度图像上以特征点为中心取一个24σ_i×24σ_i的窗口，并将窗口划分为4×4个子区域，每个子区域大小为9σ_i×9σ_i，相邻的子区域有宽度为2σ_i的交叠带。每个子区域都用一个高斯核进行加权，高斯核σ₁＝2.5σ_i，然后计算出长度为4的子区域描述向量，如公式(3)所示：

d_v＝(∑L_x，∑L_y，∑|L_x|，∑|L_y|) (3)

再通过另一个大小为4×4的高斯窗口对每个子区域的向量d_v进行加权，所述4×4的高斯窗口σ₂＝1.5σ_i，最后进行归一化处理，得到了4×4×4＝64维的描述向量；

(2.6)将经过上述步骤处理后的数据从GPU下载到CPU主机内存。

有益效果

本发明采用GPU加速的KAZE特征点提取及匹配的方法，能大幅度提高运算速度，并且本发明第一次采取的PROSAC算法能事先剔除大量质量不好的匹配点对，在质量较好的匹配点中第二次采用PROSAC算法进行模型变换，能进一步提高影像配准的效率，最终实现精度和速度的双重提高。

附图说明

图1：本发明的一种基于KAZE的无人机影像快速配准方法流程图。

具体实施方式

下面将结合附图，对本发明的技术方案进行详细说明。

如图1所示，为本发明的方法流程图。本发明提出一种基于KAZE的无人机影像快速配准方法，因此本发明首先使用GPU加速的KAZE算法对实验影像进行特征点提取，随后对提取出的特征点使用GPU加速特征点匹配，在使用PROSAC算法对特征匹配点进行质量排序，挑选出优质匹配点对，在对PROSAC保留的优质匹配点集使用GPU加速特征点匹配，最后使用PROSAC计算影像变换模型，实现影像快速配准。该方法采用GPU加速的KAZE特征点提取及匹配的过程，能大幅度提高运算速度，并且本发明第一次采取的PROSAC算法能事先剔除大量质量不好的匹配点对，在质量较好的匹配点中进行模型变换，能进一步提高影像配准的效率，最终实现精度和速度的双重提高。本发明所述一种基于KAZE的无人机影像快速配准方法包括如下步骤：

步骤1.实时接受无人机航拍采集的影像数据；

步骤2.对相邻的影像使用GPU加速的KAZE算法进行特征提取，针对无人机遥感影像分辨率高的特点，传统的KAZE算法只在CPU中完成特征点的提取和特征点的描述，计算量大，处理速度不能满足实时性要求。因此，基于GPU并行加速改进的KAZE算法可以在GPU中完成特征点的提取、特征点描述符计算、特征匹配过程。GPU可以启动足够多的线程，每个线程完成简单的计算任务，有效地提高无人机遥感影像配准的效率：

①将输入的遥感影像从主机存储器传输到GPU显示存储器；

②在GPU中，构建非线性尺度空间：

尺度空间是在计算机视觉理论里面发展出来的的一个用来表示多尺度信号的理论。它通过将原始图像进行平滑，从而得到多尺度下的图像结构，图像结构取决于尺度参数。通过指数步长的系列组合(M个组，S个层)来离散化尺度空间的，各个层之间的尺度关系如下公式(1)所示:

其中m∈[0,M-1],s∈[0,S-1],i∈[0,N],其中σ₀是基本尺度，M表示组序号，S表示所在组的层序号，N表示总的层数。

③使用GPU加速特征点快速检测，鉴于特征点的检测存在大量重复的步骤，启动足够多的线程，每个线程完成一个特征点的检测，能有效提高数据处理的效率，单个特征点检测方式如下：

尺度空间构造完毕开始检测极值点，首先将不同尺度归一化，然后计算Hessian局部极大值点。具体计算公式如公式(2)所示：

L_Hessian＝σ²(L_xxL_yy-L² _xy) (2)

其中L_xx、L_yy、L_xy分别表示x方向2阶导数，y方向2阶导数，xy方向混合导数，σ是尺度参数，我们设定σ为3，则比较的范围是个3×3×3的立方体。当前检测点需要和26个点比较，包括它同尺度的8个相邻点，以及上下相邻尺度对应的18个点，这样可以确保在尺度域和图像域都能检测到极值点，比较得出局部极大值判定该点就是KAZE特征关键点。

④对每个特征点均调用一次GPU函数计算特征点主方向，单个特征点主方向计算如下：

为了实现图像旋转不变性，需要根据特征点的局部图像结构来确定其主方向，即若特征点的尺度参数为σ_i，则搜索半径设为6σ_i。对搜索圈内所有邻点的一阶微分值L_x和L_y通过高斯加权，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小；将这些微分值视作向量空间中的点集，在一个角度为60°的扇形滑动窗口内对点集进行向量叠加，遍历整个圆形区域，获得最长向量的角度就是主方向。

⑤对每个特征点均调用一次GPU函数计算特征描述符，单个特征描述符计算方式如下：

KAZE算法是使用M-SURF方法来描述特征点，对于尺度参数为σ_i的特征点，在梯度图像上以特征点为中心取一个24σ_i×24σ_i的窗口，并将窗口划分为4×4个子区域，每个子区域大小为9σ_i×9σ_i，相邻的子区域有宽度为2σ_i的交叠带。每个子区域都用一个高斯核(σ₁＝2.5σ_i)进行加权，然后计算出长度为4的子区域描述向量，如公式(3)所示：

d_v＝(∑L_x，∑L_y，∑|L_x|，∑|L_y|) (3)

再通过另一个大小为4×4的高斯窗口(σ₂＝1.5σ_i)对每个子区域的向量d_v进行加权，最后进行归一化处理，就得到了4×4×4＝64维的描述向量。

⑥将经过上述步骤处理后的数据从GPU下载到CPU主机内存。

步骤3.对相邻影像提取出来的特征点使用GPU加速特征点匹配，匹配方法采用基于最近邻和次近邻距离比值的方法进行特征匹配,具体包括:在匹配的过程中,设I1，I2为两幅输入图像,ti为图像I1上第i个特征点,在图像I2中寻找与该特征点之间距离最近的特征点t0和次近距离的特征点t1，分别计算其欧氏距离平方和d1，d2,当最近距离和次近距离的比值小于0.6时认为是正确匹配的特征点,即d1≤0.6*d2，否则认为是错误匹配的特征点，遍历图像I1中所有特征点,找出I2中所有匹配的特征点

步骤4.使用PROSAC算法，对特征匹配点对依据匹配质量，从高到低排序特征点对，选取前n个匹配质量较高的点，作为优质匹配点对

步骤5.根据两幅影像保存的优质匹配点，使用GPU加速特征点匹配，匹配方法采用基于最近邻和次近邻距离比值的方法进行特征匹配，同步骤3

步骤6.采用PROSAC算法估计影像单应矩阵,具体包括:

(1)设置迭代次数N；

(2)在迭代次数范围内，在依据匹配质量，从高到低排序特征点对，选取前n个匹配质量较高的点，在从n个高质量的点中随机挑选4对匹配点对用于算出单应矩阵模型和计算对应模型误差，若模型误差小于内点误差阈值，则将此点判定为内点：

(3)判定当前内点数量：若当前内点数量大于设定数量阈值，则返回该内点点集，若不符合，则使迭代次数加一，重复运行上一步。最终选出内点数最多的变换矩阵即为单应矩阵。

步骤7.根据影像之间的单应矩阵，实现影像快速配准。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于GPU+特征识别的无人机影像快速配准方法，其特征在于包括如下步骤：

步骤1、实时接受无人机航拍采集的影像数据；

步骤2、对相邻的影像使用GPU加速的KAZE算法，在GPU中完成特征点的提取、特征点描述符计算、特征匹配过程，所述GPU启动足够多的线程，每个线程完成简单的计算任务；

步骤3、对相邻影像提取出来的特征点使用GPU加速特征点匹配，匹配方法采用基于最近邻和次近邻距离比值的方法进行特征匹配,具体包括:在匹配的过程中,设I1，I2为两幅输入图像,ti为图像I1上第i个特征点,在图像I2中寻找与该特征点之间距离最近的特征点t0和次近距离的特征点t1，分别计算其欧氏距离平方和d1，d2,当最近距离和次近距离的比值小于0.6时认为是正确匹配的特征点,即d1≤0.6*d2，否则认为是错误匹配的特征点，遍历图像I1中所有特征点,找出I2中所有匹配的特征点；

步骤4、使用PROSAC算法，对特征点对依据匹配质量，从高到低排序匹配点对，选取前n个匹配点对，作为优质匹配点对；

步骤5、根据两幅影像保存的优质匹配点对，使用GPU加速特征点匹配，匹配方法采用基于最近邻和次近邻距离比值的方法进行特征匹配；

步骤6、采用PROSAC算法估计影像单应矩阵,具体包括:

(6.1)设置迭代次数N；

(6.2)在迭代次数范围内，再依据匹配质量，从高到低排序匹配点对，选取前n个匹配质量较高的点，再从n个高质量的点中随机挑选4对特征匹配点对用于算出单应矩阵模型和计算对应模型误差，若模型误差小于内点误差阈值，则将此点判定为内点；

(6.3)判定当前内点数量：若当前内点数量大于设定数量阈值，则返回该内点点集，若不符合，则使迭代次数加一，重复运行上一步步骤(6.2)；最终，选出内点数最多的变换矩阵即为单应矩阵；

步骤7、根据影像之间的单应矩阵，实现影像快速配准。

2.根据权利要求1所述的一种基于GPU+特征识别的无人机影像快速配准方法，其特征在于，所述步骤2具体包括：

(2.1)将输入的遥感影像从主机存储器传输到GPU显示存储器；

(2.2)在GPU中，构建非线性尺度空间：

尺度空间通过将原始图像进行平滑，从而得到多尺度下的图像结构，图像结构取决于尺度参数,通过指数步长的系列组合来离散化尺度空间的，包括M个组，S个层，各个层之间的尺度关系如下公式(1)所示:

其中m∈[0,M-1],s∈[0,S-1],i∈[0,N],其中σ₀是基本尺度，M表示组序号，S表示所在组的层序号，N表示总的层数；

(2.3)使用GPU加速特征点快速检测，单个特征点检测方式如下：

尺度空间构造完毕开始检测极值点，首先将不同尺度归一化，然后计算Hessian局部极大值点，具体计算公式如公式(2)所示：

L_Hessian＝σ²(L_xxL_yy-L² _xy) (2)

其中L_xx、L_yy、L_xy分别表示x方向2阶导数，y方向2阶导数，xy方向混合导数，σ是尺度参数，设定σ为3，则比较的范围是个3×3×3的立方体，当前检测点需要和26个点比较，包括它同尺度的8个相邻点，以及上下相邻尺度对应的18个点，确保在尺度域和图像域都能检测到极值点，比较得出局部极大值判定该点就是KAZE特征关键点；

(2.4)对每个特征点均调用一次GPU函数计算特征点主方向，单个特征点主方向计算如下：

为了实现图像旋转不变性，需要根据特征点的局部图像结构来确定其主方向，即若特征点的尺度参数为σ_i，则搜索半径设为6σ_i；对搜索圈内所有邻点的一阶微分值L_x和L_y通过高斯加权，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小；将这些微分值视作向量空间中的点集，在一个角度为60°的扇形滑动窗口内对点集进行向量叠加，遍历整个圆形区域，获得最长向量的角度就是主方向；

(2.5)对每个特征点均调用一次GPU函数计算特征描述符；

(2.6)将经过上述步骤处理后的数据从GPU下载到CPU主机内存。

3.根据权利要求2所述的一种基于GPU+特征识别的无人机影像快速配准方法，其特征在于，所述步骤2.5单个特征描述符计算方式如下：

KAZE算法是使用M-SURF方法来描述特征点，对于尺度参数为σ_i的特征点，在梯度图像上以特征点为中心取一个24σ_i×24σ_i的窗口，并将窗口划分为4×4个子区域，每个子区域大小为9σ_i×9σ_i，相邻的子区域有宽度为2σ_i的交叠带；每个子区域都用一个高斯核进行加权，高斯核σ₁＝2.5σ_i，然后计算出长度为4的子区域描述向量，如公式(3)所示：

d_v＝(∑L_x，∑L_y，∑|L_x|，∑|L_y|) (3)

再通过另一个大小为4×4的高斯窗口对每个子区域的向量d_v进行加权，所述4×4的高斯窗口σ₂＝1.5σ_i，最后进行归一化处理，得到4×4×4＝64维的描述向量。

Images