CN110097496A - 基于局部稳定区域的鱼眼图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于局部稳定区域的鱼眼图像匹配方法，首先根据鱼眼图像像素灰度值的梯度变化率得到图像的稳定区域，通过图像块内部特征点之间关系与图像块的颜色信息对稳定区域的图像块进行区域匹配；然后根据鱼眼成像模型与鱼眼图像畸变原理推导出适用于D‑nets算法的鱼眼立体系统半球模型；最后在推导出鱼眼模型的基础上对相似度高的图像块内部点使用D‑nets算法进行特征点匹配，得到图像的特征点匹配图。本发明算法使用局部网络状描述子对鱼眼图像上特征点进行匹配，在畸变严重区域具有匹配速度快、匹配精度高等优点。

Description

基于局部稳定区域的鱼眼图像匹配方法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于局部稳定区域的鱼眼图像匹配方法。

背景技术

近年来鱼眼相机被广泛应用在全景图像摄影、机器视觉、虚拟现实等领域。其主要原因是鱼眼图像具有大广角特征，视角可以达到180°，甚至更大。在机器视觉领域对同一场景的不同图像上进行特征点匹配是极其重要任务，在传统的图像分类，目标检测，目标跟踪，三维重建等领域都需要特征点的正确匹配。

目前，针对鱼眼图像的特征点匹配存在以下问题。单独使用SIFT、ORB等经典匹配算法并不能解决鱼眼图像畸变问题，对鱼眼图像匹配效果不佳；最常见的方法是事先通过插值方法对鱼眼图像进行校正，在校正后的图像上进行匹配，但是在插值过程中引入大量估计值，使得鱼眼图像上很多细节信息丢失，导致鱼眼图像匹配精度低；有的方法是通过在D-nets算法上加入鱼眼模型，通过构建特征点的网络结构使用全局特征点描述子代替特征点的局部描述子，这种方法极大的克制了鱼眼图像带来的畸变影响，但是这种算法需要给图像中每个特征点都建立网络结构，导致匹配速度缓慢。综上所述，现在鱼眼图像特征点匹配技术并没有一个切实可行，快速精准的解决方案。因此，期望提出一种既要保证匹配精度，又要保证匹配速度的鱼眼图像特征点匹配技术。

发明内容

本发明的目的在于提出一种基于局部稳定区域的鱼眼图像匹配方法，其为具有高精度、高鲁棒性、匹配速度快的鱼眼图像特征点匹配方法，其能够解决鱼眼图像在畸变情况下的特征点匹配精准度问题以及鲁棒性差的问题。通过引入局部稳定性区域匹配解决D-nets算法匹配速度慢问题；通过引入鱼眼半球模型解决鱼眼图像中径向畸变与偏心畸变问题。

本发明的技术方案如下：

一种基于局部稳定区域的鱼眼图像匹配方法，其具体包括如下步骤：

步骤1，根据鱼眼图像像素灰度值的梯度变化率得到图像的稳定区域，通过稳定区域的图像块的内部特征点之间关系以及稳定区域的图像块的颜色信息共同对稳定区域的图像块进行区域匹配；

步骤2，通过在鱼眼多项式畸变模型中引入偏心畸变与薄棱镜畸变，建立鱼眼成像模型，基于鱼眼图像畸变原理，从所述鱼眼成像模型中推导出适用于D-nets算法的鱼眼立体系统半球模型；以及

步骤3，在所推导出的适用于D-nets算法的鱼眼立体系统半球模型的基础上，对匹配代价满足阈值的稳定区域内的图像块内部点使用D-nets算法进行匹配，得到图像稀疏点匹配图。

优选地，所述步骤1的匹配方法为基于局部仿射不变性的鱼眼图像匹配方法，其具体步骤如下：

在各个鱼眼图像中将所选定的物体与其周围物体进行区分，所选定的物体的灰度与其周围物体的灰度存在差异，将两张鱼眼图像中像素灰度值与周围像素有明显差异的联通区域提取出来作为各自的稳定区域，通过这些稳定区域内部所选定的特征点与稳定区域内部的其他特征点之间的关系，来判别两个稳定区域中是否存在同一物体，其计算函数如下：

式中，m为m(·)函数，其是从两张图像中，找出代价最小的稳定区域；其中，U为左图内部稳定区域特征点集、V是右图内部稳定区域特征点集；c(P_i,P_j)为两目标特征点的匹配代价函数；{P_i,N_Pi}表示目标特征点P_i于其周围源特征点的几何关系；g(·)表示对稳定区域内部{P_i,N_Pi}与{P_j,N_Pj}的几何结构匹配代价函数；λ控制特征点代价与几何代价的相对权重；

当上式m(·)的值越小时，两个稳定区域相似度越高，进而将各鱼眼图像中相应的稳定区域的颜色信息作为辅助条件，从而判断所选定的稳定区域是否匹配。

优选地，所述步骤2的具体过程如下：

在图像匹配过程中，将鱼眼图像投影在鱼眼立体系统半球模型上，通过稳定区域内部的特征点两两相连来构建网络，通过鱼眼立体系统半球模型对所构建的网络中每条弧线进行采样，具体采样过程为均分这条弧线，通过将均分后的弧线上的节点反投影回鱼眼图像上以构造描述子；鱼眼图像使用D-nets算法；

所述鱼眼多项式畸变模型为第一畸变模型，第一畸变模型为高阶齐次多项式模型，即：

r(θ)＝k₁θ+k₂θ³+k₃θ⁵+k₄θ⁷

r(θ)是在鱼眼图像上点到世界坐标系原点的距离；k₁、k₂、k₃、k₄为鱼眼畸变参数；θ表示在鱼眼半球模型上投影点与z轴对应的角度；

鱼眼镜头是由多组镜片相结合构成，其中引入鱼眼畸变模型，所述鱼眼畸变模型中包括偏心畸变与薄棱镜畸变，即：

式中，Δr、Δt分别表示径向畸变与切向畸变；i₁、i₂、j₁、j₂、为畸变模型参数；表示在鱼眼半球模型上投影点与x轴对应的角度；根据偏心畸变的思想，提出鱼眼立体系统半球模型；所述鱼眼立体系统半球模型为第二畸变模型，通过鱼眼畸变模型将鱼眼图像上的点投影在半球模型上；

使用θ、变量表示鱼眼图像上的物理坐标，得到：

式中，x_d、y_d分别在鱼眼图像上的物理坐标；Δr、Δt分别表示径向畸变与切向畸变；表示在鱼眼半球模型上投影点与x轴对应的角度；θ表示在鱼眼半球模型上投影点与z轴对应的角度，其中鱼眼半球模型为鱼眼立体半球模型。

优选地，所述步骤3中对相似度高的图像块内部点使用D-nets算法进行匹配，得到图像稀疏点匹配图，其具体步骤如下：

S1：鱼眼图像局部使用D-nets算法：

在稳定区域内部单独使用D-nets算法进行局部特征匹配，并且在需要匹配的这两张鱼眼图像上的所有对应的稳定区域内均可同时使用局部匹配的方法进行并行操作；

S2：局部匹配结束后，统一剔除局部匹配中错误匹配的特征点对；

S3：将稳定区域之外的特征点与误匹配特征点进行第二次D-nets匹配；以及

S4：得到最终稀疏匹配图像。

优选地，匹配的具体过程如下：首先将鱼眼图像上的特征点投影在半球模型上，使用两点之间最短弧线将半球模型上的投影点两两相连，任选两点与其均分弧线，得到均分后的采样点，并反投影到鱼眼图像上，根据反投影点的灰度值进行一维傅里叶变换与基于小波的采样量化，将这条量化后的一维字符串作为这两点的描述子；通过以上过程将稳定区域内所有特征点的描述子均存放在哈希表中，最后使用票决算法从哈希表中找到二维一致的对应关系，得到两幅图像上特征点的匹配。

本发明的有益效果如下：

1、在图像稳定区域内部进行局部D-nets算法匹配比传统插点去畸变匹配精度高，与直接使用D-nets算法相比，这种匹配方法速度快。

2、在鱼眼畸变模型上加入径向畸变矫正与偏心畸变矫正，可以更精确的处理在边缘畸变严重区域的特征点匹配。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。

图1根据本发明的基于局部稳定区域的鱼眼图像匹配方法的流程图；

图2是根据本发明的基于局部稳定区域的鱼眼图像匹配方法的实施例的视图组的左视图；

图3是根据本发明的基于局部稳定区域的鱼眼图像匹配方法的实施例的视图组的右视图；

图4是根据本发明的基于局部稳定区域的鱼眼图像匹配方法的鱼眼相机投影模型；

图5是根据本发明的基于局部稳定区域的鱼眼图像匹配方法的鱼眼半球模型上特征点连线描述子；以及

图6是根据本发明的基于局部稳定区域的鱼眼图像匹配方法的采用本发明算法应用于实施例的视图组中的特征点匹配图。

具体实施方式

以下将参照附图更详细地描述本公开的优选实施方式。

结合图1，本发明的基于局部稳定区域的鱼眼图像匹配方法的步骤如下：

步骤1，确定图像稳定区域，对稳定区域进行区域匹配。

在图像中每个物体与周围物体都存在灰度差异，将两张图像中像素灰度值与周围像素有明显差异的联通区域提取出来，通过这些稳定区域内部特征点与稳定区域内部其他特征点之间的关系，来判别两个稳定区域中是否存在同一物体，即：

式中，m(·)函数是从两张图像中，找出代价最小的稳定区域；其中，U、V分别为是左右两图内部稳定区域特征点集；c(P_i,P_j)为两目标特征点的匹配代价函数；{P_i,N_Pi}表示目标特征点P_i于其周围源特征点的几何关系；g(·)表示对稳定区域内部{P_i,N_Pi}与{P_j,N_Pj}的几何结构匹配代价函数；λ控制特征点代价与几何代价的相对权重。

当上式m(·)越小时，说明两个稳定区域相似度最高，通过两个区域的颜色信息作为辅助条件，从而判断两个区域是否匹配。

步骤2，适用于D-nets算法的鱼眼立体系统半球模型。

在图像匹配过程中，D-nets算法通过特征点来构建网络，同时通过采样网络中每条边线的信息来构造描述子，在鱼眼图像上使用D-nets算法就需要加入鱼眼模型。使用高阶齐次多项式模型，即：

r(θ)＝k₁θ+k₂θ³+k₃θ⁵+k₄θ⁷

r(θ)是在鱼眼图像上点到世界坐标系原点的距离；k₁、k₂、k₃、k₄为鱼眼畸变参数；θ表示在鱼眼半球模型上投影点与z轴对应的角度。

鱼眼镜头是由多组镜片相结合构成，其中会引入偏心畸变与薄棱镜畸变，根据偏心畸变的思想，提出一种新的畸变模型，即：

式中，Δr、Δt分别表示径向畸变与切向畸变；i₁、i₂、j₁、j₂、为畸变模型参数表示在鱼眼半球模型上投影点与x轴对应的角度。

通过鱼眼半球模型可以将鱼眼图像上的点投影在半球模型上。

由上式可以使用θ、变量表示鱼眼图像上的物理坐标，即：

式中，x_d、y_d分别在鱼眼图像上的物理坐标；Δr、Δt分别表示径向畸变与切向畸变；表示在鱼眼半球模型上投影点与x轴对应的角度；θ表示在鱼眼半球模型上投影点与z轴对应的角度。

对于鱼眼图像使用D-nets算法，将鱼眼图像投影在半球模型上并建立网络结构，通过半球模型采样网络中每条弧线的信息来构造描述子，通过均分这条弧线，将均分后的节点反投影回鱼眼图像上，在图像上的反投影节点为这条弧线的描述子。

步骤3，鱼眼图像局部使用D-nets算法。

nets算法需要将图像上所有特征点两两相连构成网络，如果直接对整张图像进行匹配，会出现匹配时间过长现象；因此提出在一对稳定的区域内部单独使用D-nets算法进行局部特征匹配，并且在需要匹配的这两张图像上所有对应的稳定区域均可使用局部匹配的方法进行并行操作；局部匹配结束后，统一剔除局部匹配中错误匹配的特征点对；然后，将稳定区域之外的特征点与误匹配特征点进行第二次D-nets匹配，得到最终稀疏匹配图像。

这种方法主要思想就是将大量特征点分成几部分，对每部分特征点单独进行D-nets匹配，就D-nets算法而言，可以避免一次处理大量特征点，解决计算量大，匹配速度缓慢问题。

下面以图2和图3为实施例作进一步说明：

图2和图3分别为视图组中的左视图和右视图。

图6是采用本发明算法应用于实施例试图组中的特征点匹配图。通过直观的观察，可以看出该算法在畸变严重区域可以做到精确匹配，匹配效率高，匹配特征点多，匹配速度快等特点。究其原因，首先是因为本算法使用的鱼眼畸变模型，如图4所示。在模型中加入了径向畸变与偏心畸变。

式中，Δr、Δt分别表示径向畸变与切向畸变；i₁、i₂、j₁、j₂、为畸变模型参数；表示在鱼眼半球模型上投影点与x轴对应的角度。

这样将鱼眼图像a、b两点投影在鱼眼半球模型上A、B两点。使用A、B两点在半球面上最短弧线的均分点作为这条弧线的描述子，如图5所示。通过以下公式可以求得弧线的描述子。

其中，是半球模型上A、B两点间最短弧长；k为这段弧线上描述子对应节点；a、b、θ₁、θ₂、为畸变模型参数。每个节点均为这段弧长的均分点。最后通过这个条弧线上的节点作为这条弧线的描述子。在每个稳定区域内部任意两个点均通过这样一条弧线相联，并且用这条弧线上的均分点作为这条弧线的描述子。在图中每一个点都由除这个点之外的所有特征点与这个点的连线作为这个点的描述子，最后将所有描述子统计在哈希表中，通过对左右稳定区域中比较两个点的描述子，找出两个区域中所有对应的匹配点。

在图2提取的众多特诊点中选择三个点，分别为a1(-84,-75),a2(-91,68),a3(90，2)。通过下式，可以求得三点对应的θ。

通过计算得到θ₁＝61°；θ₂＝63°；θ₃＝54°；先将三个点投影到半球模型上，得到三个空间点A1(-0.65,-0.59,0.48)、A2(-0.68,0.57,0.46)、A3(0.81，0.02，0.58)。通过两点之间最短的弧线将其半球模型上的三个点相连分别得到三条弧线，通过均分每条弧线的弧长可以得到均分点作为样本点，在这里的实验中，将每段弧线均分10段，得到9个采样点，通过反投影可以在鱼眼图像上得到这9个点的反投影点。如A1、A2弧线上的反投影采样点为[(-88,-61)、(-91,-46)、(-94,-32)、(-95,-18)、(-96,-5)、(-97,9)、(-96,23)、(-96,37)、(-94,52)]。分别对这9个点的灰度值进行采样，通过二进制编码对每个灰度值进行量化。在实验中对每个采样点通过两位二进制码进行量化，最后得到一个18位的二进制码表示a1(-84,-75),a2(-91,68)之间的曲线。同理，A1、A3之间的弧线反投影采样点为[(-60，-65)、(-39，-58)、(-21,-51)、(-5,-45)、(9,-39)、(23,-33)、(38,-26)、(53,-19)、(71,-10)]。同时也分别对这9个点的灰度值进行采样，通过二进制编码对每个灰度值进行量化。在实验中对每个采样点通过两位二进制码进行量化，最后又得到一个18位的二进制码表示a1(-84,-75),a3(90，2)之间的曲线。A2(-91,68),a3(90，2)之间的曲线描述子同理，此处不再赘述。最后将左右两图曲线描述子分别存放在两个哈希表中，其哈希表关键字相同，共有2¹⁸个关键字，每个关键字均为这18位二进制代码所有可能出现的情况，(a1,a2)与(a1,a3)两条描述子也存放在哈希表中。最后通过票决算法从左右哈希表中找到二进制码相同的对应点，最后将两张图像上对应点均找到后，通过RANSC算法剔除误匹配。

通过以上过程将两张图像中所有对应稳定区域进行局部特征点匹配，初步匹配后均使用RANSC算法剔除误匹配，然后将两张图片中所有稳定区域之外的特征点和误匹配特征点独立进行特征点匹配，匹配方法同上。最后得到稀疏匹配图像，如图6。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于局部稳定区域的鱼眼图像匹配方法，其特征在于，其具体包括如下步骤：

步骤1，根据鱼眼图像像素灰度值的梯度变化率得到图像的稳定区域，通过稳定区域的图像块的内部特征点之间关系以及稳定区域的图像块的颜色信息共同对稳定区域的图像块进行区域匹配；

步骤2，通过在鱼眼多项式畸变模型中引入偏心畸变与薄棱镜畸变，建立鱼眼成像模型，基于鱼眼图像畸变原理，从所述鱼眼成像模型中推导出适用于D-nets算法的鱼眼立体系统半球模型；以及

步骤3，在所推导出的适用于D-nets算法的鱼眼立体系统半球模型的基础上，对匹配代价满足阈值的稳定区域内的图像块内部点使用D-nets算法进行匹配，得到图像稀疏点匹配图。

2.如权利要求1所述的基于局部稳定区域的鱼眼图像匹配方法，其特征在于，所述步骤1的匹配方法为基于局部仿射不变性的鱼眼图像匹配方法，其具体步骤如下：

在各个鱼眼图像中将所选定的物体与其周围物体进行区分，所选定的物体的灰度与其周围物体的灰度存在差异，将两张鱼眼图像中像素灰度值与周围像素有明显差异的联通区域提取出来作为各自的稳定区域，通过这些稳定区域内部所选定的特征点与稳定区域内部的其他特征点之间的关系，来判别两个稳定区域中是否存在同一物体，其计算函数如下：

式中，m为m(·)函数，其是从两张图像中，找出代价最小的稳定区域；其中，U为左图内部稳定区域特征点集、V是右图内部稳定区域特征点集；c(P_i,P_j)为两目标特征点的匹配代价函数；{P_i,N_Pi}表示目标特征点P_i于其周围源特征点的几何关系；g(·)表示对稳定区域内部{P_i,N_Pi}与{P_j,N_Pj}的几何结构匹配代价函数；λ控制特征点代价与几何代价的相对权重；

当上式m(·)的值越小时，两个稳定区域相似度越高，进而将各鱼眼图像中相应的稳定区域的颜色信息作为辅助条件，从而判断所选定的稳定区域是否匹配。

3.根据权利要求1所述的基于局部稳定区域的鱼眼图像匹配方法，其特征在于，所述步骤2的具体过程如下：

在图像匹配过程中，将鱼眼图像投影在鱼眼立体系统半球模型上，通过稳定区域内部的特征点两两相连来构建网络，通过鱼眼立体系统半球模型对所构建的网络中每条弧线进行采样，具体采样过程为均分这条弧线，通过将均分后的弧线上的节点反投影回鱼眼图像上以构造描述子；鱼眼图像使用D-nets算法；

所述鱼眼多项式畸变模型为第一畸变模型，第一畸变模型为高阶齐次多项式模型，即：

r(θ)＝k₁θ+k₂θ³+k₃θ⁵+k₄θ⁷

r(θ)是在鱼眼图像上点到世界坐标系原点的距离；k₁、k₂、k₃、k₄为鱼眼畸变参数；θ表示在鱼眼半球模型上投影点与z轴对应的角度；

鱼眼镜头是由多组镜片相结合构成，其中引入鱼眼畸变模型，所述鱼眼畸变模型中包括偏心畸变与薄棱镜畸变，即：

式中，Δr、Δt分别表示径向畸变与切向畸变；i₁、i₂、j₁、j₂、为畸变模型参数；表示在鱼眼半球模型上投影点与x轴对应的角度；根据偏心畸变的思想，提出鱼眼立体系统半球模型；所述鱼眼立体系统半球模型为第二畸变模型，通过鱼眼畸变模型将鱼眼图像上的点投影在半球模型上；

使用θ、变量表示鱼眼图像上的物理坐标，得到：

式中，x_d、y_d分别在鱼眼图像上的物理坐标；Δr、Δt分别表示径向畸变与切向畸变；表示在鱼眼半球模型上投影点与x轴对应的角度；θ表示在鱼眼半球模型上投影点与z轴对应的角度，其中鱼眼半球模型为鱼眼立体半球模型。

4.根据权利要求1所述的基于局部稳定区域的鱼眼图像匹配方法，其特征在于，所述步骤3中对相似度高的图像块内部点使用D-nets算法进行匹配，得到图像稀疏点匹配图，其具体步骤如下：

S1：鱼眼图像局部使用D-nets算法：

在稳定区域内部单独使用D-nets算法进行局部特征匹配，并且在需要匹配的这两张鱼眼图像上的所有对应的稳定区域内均可同时使用局部匹配的方法进行并行操作；

S2：局部匹配结束后，统一剔除局部匹配中错误匹配的特征点对；

S3：将稳定区域之外的特征点与误匹配特征点进行第二次D-nets匹配；以及

S4：得到最终稀疏匹配图像。

5.如权利要求1所述的基于局部稳定区域的鱼眼图像匹配方法，其特征在于，匹配的具体过程如下：首先将鱼眼图像上的特征点投影在半球模型上，使用两点之间最短弧线将半球模型上的投影点两两相连，任选两点与其均分弧线，得到均分后的采样点，并反投影到鱼眼图像上，根据反投影点的灰度值进行一维傅里叶变换与基于小波的采样量化，将这条量化后的一维字符串作为这两点的描述子；通过以上过程将稳定区域内所有特征点的描述子均存放在哈希表中，最后使用票决算法从哈希表中找到二维一致的对应关系，得到两幅图像上特征点的匹配。