CN110991501A - 一种基于Hessian矩阵的改进ORB特征点匹配方法 - Google Patents

Abstract

本发明公开了一种基于Hessian矩阵的改进ORB特征点匹配方法，包括如下步骤：首先采用FAST算法对图像进行特征点初步提取，并对其进行非极大值抑制处理。然后采用SURF特征点提取中用到的Hessian矩阵对特征点进行优化提取，具体过程分为：对图像进行高斯滤波；分别计算每个初步提取特征点的Hessian矩阵判别式，若满足判别式取得局部最大值则保留；将该特征点的Hessian矩阵判别式与领域内的点Hessian矩阵判别式差值之和与设定的阈值进行比较，若大于设定阈值，则保留为最终的特征点，并通过灰度质心法确定特征点的方向。再通过改进BRIEF算法得到特征点的二进制特征描述符。最后根据汉明距离匹配来实现特征匹配。本发明能够寻找出更稳定的特征点，也一定程度提升了ORB算法的匹配精度。

Description

一种基于Hessian矩阵的改进ORB特征点匹配方法

技术领域：

本发明涉及属于数字图像处理领域；尤其涉及一种基于Hessian矩阵的改进ORB特征点匹配方法。

背景技术：

图像匹配是一种通过对影像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析，寻求相似影像目标的方法。而特征匹配作为图像匹配最为关键的方法之一，是利用图像的灰度信息，优先找出图像的特征点再进行图像匹配的一种方法。

ORB特征匹配算法是将FAST特征点检测与BRIEF特征描述相结合并进行了改进，是oFAST和rBRIRF的结合，不仅保留了FAST算法速度快的特性，同时具有较稳定的旋转不变性。ORB算法比SIFT算法效率高两个数量级，但是匹配精度却不及SIFT算法。而SURF算法中运用Hessian矩阵可以提取更稳定的特征点。因此，考虑在ORB算法的特征提取步骤，结合Hessian矩阵优化特征点的提取，提出一种基于Hessian矩阵的改进ORB特征点匹配方法。

发明内容

本发明公开了一种基于Hessian矩阵的改进ORB特征点匹配方法。首先采用FAST算法对图像进行特征点粗提取，并对其进行非极大值抑制处理；然后利用SURF算法中运用到Hessian矩阵对特征点进行优选；再通过改进BRIEF算法得到特征点的二进制特征描述符；最后通过汉明距离实现特征匹配。

本发明的技术方案分为四个阶段，包括以下步骤：

S1:输入待配准图像和参考图像，采用FAST特征点判别方法对图像进行特征点粗提取，然后对提取到的特征点进行非极大值抑制处理，去除局部较密集的特征点；

S2:对选取的特征点进行特征点优选，首先对图像进行高斯滤波，然后利用Hessian判别式判断该特征点处的响应是否为局部最大值，若是，则进入下一步判断，若否，则舍弃该特征点，再判断该特征点的Hessian矩阵判别式与相邻领域内的点的差值是否大于所设定的阈值，若是，则保留该特征点，若否，则舍弃该特征点，最后利用灰度质心法确定剩余特征点的特征方向；

S3：计算特征点的特征描述符，通过rBRIEF算法计算特征点的二进制特征描述符；

S4：根据待配准图像和参考图像得到的特征描述符，利用汉明距离进行特征匹配。

进一步的，所述步骤S1具体包括如下步骤：

S1-1：利用FAST特征判别算法进行特征点粗提取；

以点P为圆心画一个半径为3pixel的圆，若圆周上存在连续N个像素点的灰度值都比P点的灰度值大或者都比P点的灰度值小，则认为P点为特征点，一般N取12。同时为了尽快找出特征点，优先检测圆周上位置为1、5、9、13的灰度值，若满足4个位置中至少有3个满足上述条件，则继续进行判断，否则直接排除该点。

S1-2：对特征点进行非极大值抑制处理；

将特征点P与以其为圆心的圆上的16个点的灰度值偏差的绝对值和作为响应值，若响应值大于所设定的阈值，则保留该特征点，否则舍弃该特征点，以此来去除局部较密集的特征点。

其中G_P表示P点的灰度值，G_i表示圆上第i个点的灰度值，G_th表示预先设定的阈值。

进一步的，所述步骤S2具体包括如下步骤：

S2-1：对图像进行高斯滤波；

对图像进行高斯滤波需要运用二维的高斯函数，零均值的二维高斯函数表达式为：

其中x、y表示像素点的横纵坐标，σ表示正态分布的标准差，r表示模糊半径(r²＝x²+y²)。

理论上来说，图像中每点的分布都不为零，但是为了简化计算，对算法进行近似处理。在实际应用中，采用5×5大小的高斯模板，假设距离在5σ以外的像素都可以忽略，则每个像素的值就是距离该点5σ以内的像素值的加权平均。这样的模糊处理比其他的均衡模糊滤波器更好的保留了图像的边缘效果。

S2-2：利用Hessian判别式判断特征点P处的响应是否为局部最大值

计算特征点的Hessian矩阵，Hessian矩阵是一个多元函数的二阶偏导数构成的方阵，对于图像f(x，y)，其Hessian矩阵如下：

其中f(x，y)表示坐标为(x，y)处像素的灰度值，H(f(x，y))表示坐标(x，y)处像素的Hessian矩阵。

假设经过高斯滤波后，求得的特征点的Hessian矩阵表达式如下：

在离散数字图像中，一阶导数是相邻像素的灰度差值，则有：

L_x＝g(x+1，y)-g(x，y)

其中g(x，y)表示经过高斯滤波后坐标为(x，y)处像素的灰度值。

二阶导数是对一阶导数的再次求导，则有：

L_xx＝[g(x+1，y)-g(x，y)]-[g(x，y)-g(x-1，y)]

同理可以求得L_xy和L_yy，则可进一步求得H(x，y，σ)，已知Hessian矩阵的判别式如下：

det(H)＝L_xx*L_yy-L_xy*L_xy

计算特征点的Hessian矩阵判别式，若特征点P的Hessian矩阵判别式的值大于其相邻8个点的Hessian矩阵判别式的值，则保留该特征点，否则舍弃该特征点；

det(H_P)＞det(H_i)i＝1，2，3，...，8

其中det(H_P)表示特征点P的Hessian矩阵判别式的值，det(H_i)表示与点P相邻的第i个点的Hessian矩阵判别式的值。

S2-3：判断特征点P的Hessian矩阵判别式与相邻领域内的点的差值是否大于所设定的阈值

计算特征点P的Hessian矩阵判别式与相邻领域内的8个点的差值之和，将结果与预设的阈值进行比较，若大于阈值，则保留该特征点，否则舍弃该特征点。

其中det_th为预先设置的阈值。

S2-4：利用灰度质心法确定剩余特征点的特征方向

通过矩来计算特征点以r为半径范围内的质心，以特征点P的坐标到质心的向量作为特征点P的方向，矩的定义如下：

其中p、q为矩的阶数，f(x，y)表示坐标为(x，y)处像素的灰度值，m_pq表示图像关于点(x，y)的p+q阶矩。

特征点P的质心C表达式为：

假设特征点P的坐标为O，则可以用向量的角度θ_P来表示特征点P的特征方向。

进一步的，所述步骤S3具体如下：

在特征点P的S×S的区域内，选取N对像素点p_i、q_i(i＝1，2，...，N)，并将这N对点对按照角度θ_P进行旋转得到新的点对p′_i、q′_i(i＝1，2，...，N)，然后比较每个点对的灰度值大小，若满足I(p′_i)＞I(q′_i)，则用二进制1来表示，否则为0。将所有点对比较完之后的结果用长度为N二进制串来表示，作为特征点P的特征描述符。

进一步的，所述步骤S4具体如下：

通过rBRIEF算法计算带配准图像的特征描述符T₁和参考图像的特征描述符T₂，计算T₁和T₂之间的汉明距离Hdis₁₂，具体公式如下：

将Hdis₁₂与预设定的阈值H_th进行比较，若大于预设阈值，则表示匹配成功，否则匹配失败，最后显示匹配成功的特征点对。

本发明与现有技术相比具有以下有益效果：

1、本发明在保持ORB算法特性不变的前提下，优化了ORB算法的特征提取，提取出了更稳定的特征点，提升算法的鲁棒性。

2、本发明一定程度上提升ORB算法的匹配精度。

附图说明

图1是本发明所述一种基于Hessian矩阵的改进ORB特征点匹配方法流程图。

图2是本发明所述算法与ORB算法匹配结果对比。

图3是ORB算法实现的图片Tree的匹配结果。

图4是本发明所述算法实现的图片Tree的匹配结果。

图5是ORB算法实现的图片Box的匹配结果。

图6是本发明所述算法实现的图片Box的匹配结果。

图7是ORB算法实现的图片Pencil Case的匹配结果。

图8是本发明所述算法实现的图片Pencil Case的匹配结果。

图9是ORB算法实现的图片Glasses Case的匹配结果。

图10是本发明所述算法实现的图片Glasses Case的匹配结果。

具体实施方式

下面结合具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

如图1所示：本实施例提供一种基于Hessian矩阵的改进ORB特征点匹配方法，包括如下具体步骤：

S1:输入待配准图像和参考图像，采用FAST特征点判别方法对图像进行特征点粗提取，然后对提取到的特征点进行非极大值抑制处理，去除局部较密集的特征点；

S1-1：利用FAST特征判别算法进行特征点粗提取

以点P为圆心画一个半径为3pixel的圆，若圆周上存在连续N个像素点的灰度值都比P点的灰度值大或者都比P点的灰度值小，则认为P点为特征点，一般N取12。同时为了尽快找出特征点，优先检测圆周上位置为1、5、9、13的灰度值，若满足4个位置中至少有3个满足上述条件，则继续进行判断，否则直接排除该点。

S1-2：对特征点进行非极大值抑制处理

将特征点P与以其为圆心的圆上的16个点的灰度值偏差的绝对值和作为响应值，若响应值大于所设定的阈值，则保留该特征点，否则舍弃该特征点，以此来去除局部较密集的特征点。

其中G_P表示P点的灰度值，G_i表示圆上第i个点的灰度值，G_th表示预先设定的阈值。

S2:对选取的特征点进行特征点优选，首先对图像进行高斯滤波，然后利用Hessian判别式判断该特征点处的响应是否为局部最大值，若是，则进入下一步判断，若否，则舍弃该特征点，再判断该特征点的Hessian矩阵判别式与相邻领域内的点的差值是否大于所设定的阈值，若是，则保留该特征点，若否，则舍弃该特征点，最后利用灰度质心法确定剩余特征点的特征方向；

S2-1：对图像进行高斯滤波

对图像进行高斯滤波需要运用二维的高斯函数，零均值的二维高斯函数表达式为：

其中x、y表示像素点的横纵坐标，σ表示正态分布的标准差，r表示模糊半径(r²＝x²+y²)。

理论上来说，图像中每点的分布都不为零，但是为了简化计算，对算法进行近似处理。在实际应用中，采用5×5大小的高斯模板，假设距离在5σ以外的像素都可以忽略，则每个像素的值就是距离该点5σ以内的像素值的加权平均。这样的模糊处理比其他的均衡模糊滤波器更好的保留了图像的边缘效果。

S2-2：利用Hessian判别式判断特征点P处的响应是否为局部最大值

计算特征点的Hessian矩阵，Hessian矩阵是一个多元函数的二阶偏导数构成的方阵，对于图像f(x，y)，其Hessian矩阵如下：

其中f(x，y)表示坐标为(x，y)处像素的灰度值，H(f(x，y))表示坐标(x，y)处像素的Hessian矩阵。

假设经过高斯滤波后，求得的特征点的Hessian矩阵表达式如下：

在离散数字图像中，一阶导数是相邻像素的灰度差值，则有：

L_x＝g(x+1，y)-g(x，y)

其中g(x，y)表示经过高斯滤波后坐标为(x，y)处像素的灰度值。

二阶导数是对一阶导数的再次求导，则有：

L_xx＝[g(x+1，y)-g(x，y)]-[g(x，y)-g(x-1，y)]

同理可以求得L_xy和L_yy，则可进一步求得H(x，y，σ)，已知Hessian矩阵的判别式如下：

det(H)＝L_xx*L_yy-L_xy*L_xy

计算特征点的Hessian矩阵判别式，若特征点P的Hessian矩阵判别式的值大于其相邻8个点的Hessian矩阵判别式的值，则保留该特征点，否则舍弃该特征点。

det(H_P)＞det(H_i)i＝1，2，3，...，8

其中det(H_P)表示特征点P的Hessian矩阵判别式的值，det(H_i)表示与点P相邻的第i个点的Hessian矩阵判别式的值。

S2-3：判断特征点P的Hessian矩阵判别式与相邻领域内的点的差值是否大于所设定的阈值

计算特征点P的Hessian矩阵判别式与相邻领域内的8个点的差值之和，将结果与预设的阈值进行比较，若大于阈值，则保留该特征点，否则舍弃该特征点。

其中det_th为预先设置的阈值。

S2-4：利用灰度质心法确定剩余特征点的特征方向

通过矩来计算特征点以r为半径范围内的质心，以特征点P的坐标到质心的向量作为特征点P的方向，矩的定义如下：

其中p、q为矩的阶数，f(x，y)表示坐标为(x，y)处像素的灰度值，m_pq表示图像关于点(x，y)的p+q阶矩。

特征点P的质心C表达式为：

假设特征点P的坐标为O，则可以用向量的角度θ_P来表示特征点P的特征方向。

S3：计算特征点的特征描述符，通过rBRIEF算法计算特征点的二进制特征描述符；

在特征点P的S×S的区域内，选取N对像素点p_i、q_i(i＝1，2，...，N)，并将这N对点对按照角度θ_P进行旋转得到新的点对p′_i、q′_i(i＝1，2，...，N)，然后比较每个点对的灰度值大小，若满足I(p′_i)＞I(q′_i)，则用二进制1来表示，否则为0。将所有点对比较完之后的结果用长度为N二进制串来表示，作为特征点P的特征描述符。

S4：根据待配准图像和参考图像得到的特征描述符，利用汉明距离进行特征匹配。

通过rBRIEF算法计算带配准图像的特征描述符T₁和参考图像的特征描述符T₂，计算T₁和T₂之间的汉明距离Hdis₁₂，具体公式如下：

将Hdis₁₂与预设定的阈值H_th进行比较，若大于预设阈值，则表示匹配成功，否则匹配失败，最后显示匹配成功的特征点对。

为了让一般技术人员更好的理解本发明的技术方案，以下结合附图对本发明进行详细介绍。

本发明考虑实施4组图像作为匹配率比较的实验图像，分别是Tree图像对、Box图像对、Pencil Case图像对和Glasses Case图像对。

分别对四组图像用ORB特征检测算法和本文发明所述算法进行特征匹配实验，如图2所示。针对以上四组实验，可以看出存在旋转变化、光照变化和噪声干扰的情况下进行匹配；将匹配结果数据记录并计算匹配成功率。

匹配结果如图3至图10所示：本发明所述的改进ORB算法相比ORB算法在算法匹配成功率上都有一定程度的提高。本发明所述的一种基于Hessian矩阵的改进ORB特征点匹配方法成功的筛选出稳定的特征点，舍弃了性质不稳定的特征点，提升了算法的鲁棒性，同时也一定程度上提升了ORB算法的匹配精度。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属于本发明的涵盖范围。

Claims (5)

1.一种基于Hessian矩阵的改进ORB特征点匹配方法，其特征在于：该方法包括如下步骤：

S1:输入待配准图像和参考图像，采用FAST特征点判别方法对图像进行特征点粗提取，然后对提取到的特征点进行非极大值抑制处理，去除局部较密集的特征点；

S2:对选取的特征点进行特征点优选，首先对图像进行高斯滤波，然后利用Hessian判别式判断该特征点处的响应是否为局部最大值，若是，则进入下一步判断，若否，则舍弃该特征点，再判断该特征点的Hessian矩阵判别式与相邻领域内的点的差值是否大于所设定的阈值，若是，则保留该特征点，若否，则舍弃该特征点，最后利用灰度质心法确定剩余特征点的特征方向；

S3：计算特征点的特征描述符，通过rBRIEF算法计算特征点的二进制特征描述符；

S4：根据待配准图像和参考图像得到的特征描述符，利用汉明距离进行特征匹配。

2.根据权利要求1所述的一种基于Hessian矩阵的改进ORB特征点匹配方法，其特征在于：所述步骤S1具体包括如下步骤：

S1-1：利用FAST特征判别算法进行特征点粗提取

以点P为圆心画一个半径为3pixel的圆，若圆周上存在连续N个像素点的灰度值都比P点的灰度值大或者都比P点的灰度值小，则认为P点为特征点，一般N取12；同时为了尽快找出特征点，优先检测圆周上位置为1、5、9、13的灰度值，若满足4个位置中至少有3 个满足上述条件，则继续进行判断，否则直接排除该点。

S1-2：对特征点进行非极大值抑制处理；

将特征点P与以其为圆心的圆上的16个点的灰度值偏差的绝对值和作为响应值，若响应值大于所设定的阈值，则保留该特征点，否则舍弃该特征点，以此来去除局部较密集的特征点；

其中G_P表示P点的灰度值，G_i表示圆上第i个点的灰度值。G_th表示预先设定的阈值。

3.根据权利要求1所述的一种基于Hessian矩阵的改进ORB特征点匹配方法，其特征在于：所述步骤S2具体包括如下步骤：

S2-1：对图像进行高斯滤波

对图像进行高斯滤波需要运用二维的高斯函数，零均值的二维高斯函数表达式为：

其中x、y表示像素点的横纵坐标，σ表示正态分布的标准差，r表示模糊半径(r²＝x²+y²)；

S2-2：利用Hessian判别式判断特征点P处的响应是否为局部最大值；

计算特征点的Hessian矩阵，Hessian矩阵是一个多元函数的二阶偏导数构成的方阵，对于图像f(x，y)，其Hessian矩阵如下：

其中f(x，y)表示坐标为(x，y)处像素的灰度值，H(f(x，y))表示坐标(x，y)处像素的Hessian矩阵；

假设经过高斯滤波后，求得的特征点的Hessian矩阵表达式如下：

在离散数字图像中，一阶导数是相邻像素的灰度差值，则有：

L_x＝g(x+1，y)-g(x，y)

其中g(x，y)表示经过高斯滤波后坐标为(x，y)处像素的灰度值；

二阶导数是对一阶导数的再次求导，则有：

L_xx＝[g(x+1，y)-g(x，y)]-[g(x，y)-g(x-1，y)]

同理可以求得L_xy和L_yy，则可进一步求得H(x，y，σ)，已知Hessian矩阵的判别式如下：

det(H)＝L_xx*L_yy-L_xy*L_xy

计算特征点的Hessian矩阵判别式，若特征点P的Hessian矩阵判别式的值大于其相邻8个点的Hessian矩阵判别式的值，则保留该特征点，否则舍弃该特征点；

det(H_P)＞det(H_i) i＝1，2，3，…，8

其中det(H_P)表示特征点P的Hessian矩阵判别式的值，det(H_i)表示与点P相邻的第i个点的Hessian矩阵判别式的值；

S2-3：判断特征点P的Hessian矩阵判别式与相邻领域内的点的差值是否大于所设定的阈值；

计算特征点P的Hessian矩阵判别式与相邻领域内的8个点的差值之和，将结果与预设的阈值进行比较，若大于阈值，则保留该特征点，否则舍弃该特征点；

其中det_th为预先设置的阈值；

S2-4：利用灰度质心法确定剩余特征点的特征方向；

通过矩来计算特征点以r为半径范围内的质心，以特征点P的坐标到质心的向量作为特征点P的方向，矩的定义如下：

其中p、q为矩的阶数，f(x，y)表示坐标为(x，y)处像素的灰度值，m_pq表示图像关于点(x，y)的p+q阶矩；

特征点P的质心C表达式为：

假设特征点P的坐标为O，则可以用向量的角度θ_P来表示特征点P的特征方向；

。

4.根据权利要求1所述的一种基于Hessian矩阵的改进ORB特征点匹配方法，其特征在于：所述步骤S3具体如下：

S3：通过rBRIEF算法计算特征描述符

在特征点P的S×S的区域内，选取N对像素点p_i、q_i(i＝1，2，...，N)，并将这N对点对按照角度θ_P进行旋转得到新的点对p′_i、q′_i(i＝1，2，...，N)，然后比较每个点对的灰度值大小，若满足I(p′_i)＞I(q′_i)，则用二进制1来表示，否则为0。将所有点对比较完之后的结果用长度为N二进制串来表示，作为特征点P的特征描述符。

5.根据权利要求1所述的一种基于Hessian矩阵的改进ORB特征点匹配方法，其特征在于：所述步骤S4具体如下：

S4：利用汉明距离进行特征匹配；通过rBRIEF算法计算带配准图像的特征描述符T₁和参考图像的特征描述符T₂，计算T₁和T₂之间的汉明距离Hdis₁₂，具体公式如下：

将Hdis₁₂与预设定的阈值H_th进行比较，若大于预设阈值，则表示匹配成功，否则匹配失败，最后显示匹配成功的特征点对。

Images