CN112001954B - 一种基于极曲线约束的水下pca-sift图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于极曲线约束的水下PCA‑SIFT图像匹配方法，属于计算机视觉领域，该方法包括以下步骤：利用高斯函数分别对双目相机在水下采集的图像Ⅰ和图像Ⅱ进行模糊处理及降采样处理，分别由图像Ⅰ的极值点组和图像Ⅱ的极值点组得到图像Ⅰ的关键点组Ⅰ和图像Ⅱ的关键点组Ⅰ；分别为图像Ⅰ的关键点组Ⅱ和图像Ⅱ的关键点组Ⅱ里的每一个关键点分配一个基准方向和建立一个描述符采用PCA‑SIFT算法构建描述子对剔除边缘位置的图像Ⅰ和图像Ⅱ进行匹配，同时结合改进的极曲线约束方法得到极曲线对匹配过程中进行约束，剔除误匹配点，完成图像Ⅰ和图像Ⅱ的匹配，该方法利用算法本身的快速性以及水下成像的极曲线约束条件，提高水下双目立体匹配的精度与效率。

Description

一种基于极曲线约束的水下PCA-SIFT图像匹配方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于极曲线约束的水下PCA-SIFT图像匹配方法。

背景技术

双目立体匹配问题，即根据在基准图像中提取的关键点信息，在其他图像中寻找具有相同信息的像素点的问题；目前双目立体匹配方法可以分为基于区域的匹配方法与基于特征的匹配方法，其中，前者计算图像中每块像素的视差，引用匹配约束作为约束条件，生成稠密视差图，计算简单。基于特征的匹配方法则需要先对图像的特征点进行检测，之后进行双目图像的特征点配对，常用的算法包括SIFT，SURF，ORB等。

陆地双目视觉系统和水下双目视觉系统的最大区别在光线的传播介质发生了变化。由于空气与水中的相机成像模型不同，区域匹配方法利用的极线约束条件不再适用于水下环境。基于特征的sift匹配方法需要128维向量描述待匹配的关键点，复杂且耗时，ORB算法采用FAST算子与Brief描述子，计算速度虽快，但精度较sift算法稍有下降，且算法本身对尺度变换的应对能力较低。因此后续的水下双目立体匹配方法不仅要考虑到算法本身优劣性，还要考虑水下相机成像特点。

发明内容

针对水下环境中基于区域的立体匹配算法约束条件失效的问题，本发明公开了一种基于极曲线约束的水下PCA-SIFT图像匹配方法，包括以下步骤：

S1:利用高斯函数分别对双目相机在水下采集的图像Ⅰ和图像Ⅱ进行模糊处理及降采样处理，得到图像Ⅰ的高斯金字塔和图像Ⅱ的高斯金字塔；

S2:分别对图像Ⅰ的高斯金字塔和图像Ⅱ的高斯金字塔中每组图像的相邻两层进行作差运算，得到图像Ⅰ的高斯差分金字塔和图像Ⅱ的差分高斯金字塔；

S3:分别对图像Ⅰ的高斯差分金字塔和图像Ⅱ的差分高斯金字塔中同一组图像相邻两层之间图像作差计算，得到图像Ⅰ的极值点组和图像Ⅱ的极值点组；

S4:分别由图像Ⅰ的极值点组和图像Ⅱ的极值点组得到图像Ⅰ的关键点组Ⅰ和图像Ⅱ的关键点组Ⅰ；

S5:分别对图像Ⅰ的关键点组Ⅰ和图像Ⅱ的关键点组Ⅰ里位于边缘位置的关键点进行剔除，得到图像Ⅰ的关键点组Ⅱ和图像Ⅱ的关键点组Ⅱ；

S6:分别为图像Ⅰ的关键点组Ⅱ和图像Ⅱ的关键点组Ⅱ里的每一个关键点分配一个基准方向和建立一个描述符；

S7:获取图像Ⅰ和图像Ⅱ的里剔除边缘位置关键点后的关键点的位置和描述符，采用PCA-SIFT算法构建描述子对剔除边缘位置的图像Ⅰ和图像Ⅱ进行匹配，同时结合改进的极曲线约束方法得到极曲线对匹配过程中进行约束，剔除误匹配点，完成图像Ⅰ和图像Ⅱ的匹配。

进一步地，所述分别对图像Ⅰ的关键点组Ⅰ和图像Ⅱ的关键点组Ⅰ里位于边缘位置的关键点进行剔除，其中边缘位置的关键点进行剔除方法，包括步骤如下：

S5-1:获取关键点处的Hessian矩阵；

S5-2:通过Hessian矩阵特征值构建评价函数，当评价函数的值＜阈值，则保留该关键点，当评价函数的值≥阈值，则剔除该关键点。

进一步地，所述评价函数的表达式如下:

λ₁，λ₂表示Hessian矩阵的特征值，Trace(H)表示H矩阵的迹，Det(H)表示矩阵H的行列式，t表示λ₁，λ₂的倍数关系。

进一步地，所述改进的极曲线约束方法得到极曲线过程如下：

设水下目标点Q在相机坐标系下的坐标为(x₂,y₂,z₂)，投影到左右成像面上的投影点分别为P_l、P_r，投影到折射平面上的投影点分别为P_l'、P_r'，

根据相似三角形原理可得P_l点坐标(x₁,y₁,z₁)为：

根据d，h以及折射点之间的位置关系，得到出水下目标点Q的坐标(x₂,y₂,z₂)为：

式(8)中n为空气与水的相对折射率，设基线距离O_lO_r＝b，则根据折射定律可求得右折射点P_r′(x₃,y₃,z₃)与水下目标点Q的关系式为：

利用Q，P_r′，O_r三点的坐标求得该三点所在平面方程，将P_r′坐标带入得：

[y₂h-y₃h-y₃d+bd]x₃+[h(x₃-x₂)+x₃d](y₃

+[x₂y₃-x₃y₂+b(x₃-x₂)]h (12)

利用P_r′，P_r坐标求得直线P_r′P_r的方程为：

由于P_r纵坐标z＝f，带入(11)式可得P_r的坐标方程为：

其中：f为双目相机焦距，h为光心到水面的距离,d为目标点到水面的距离，θ为左成像点与相机坐标系下y轴的夹角，分别为左右折射面对应的入射角，/>分别为左右折射面对应的折射角。

进一步地，所述PCA-SIFT算法构建描述子的过程如下：

S7-1:构建特征点附近n*n的邻域，选取基准方向；

S7-2:计算n*n邻域内每个像素点的水平梯度与垂直梯度，进而确定特征描述子；

S7-3:在同一类图像中采集m个特征点，构成原始特征矩阵M；

S7-4:计算出M矩阵的协方差矩阵N的特征向量，根据特征根的大小排列出前n个特征向量；

S7-5:n个特征向量构成投影矩阵T，将特征描述子向量与投影矩阵T相乘，得到了的n维特征向量描述子。

由于采用了上述技术方案，本发明提供的一种基于极曲线约束的水下PCA-SIFT图像匹配方法，本发明采用PCA-SIFT特征匹配算法，PCA-SIFT特征匹配算法称为主成分分析方法，是一种标准的降维技术，通过数据的变换达到分类或者压缩数据的作用；PCA-SIFT算法将SIFT128维描述子数据进行压缩，增加匹配效率的同时满足了算法本身对尺度变换的要求；针对水下相机成像变形的问题，考虑实际拍摄因素，相机位于玻璃罩内空气中，拍摄物体位于水下，且在水下拍摄成像的过程中摄像机的光轴垂直于分界面，并且二者平行放置，对水下双目成像原理进行分析，经PCA-SIFT方法匹配后，结合极曲线约束条件，对匹配后的数组进行误配点剔除操作，进一步获取高精度水下匹配结果，该方法利用算法本身的快速性以及水下成像的极曲线约束条件，提高水下双目立体匹配的精度与效率，为后续的双目立体视觉三维重建及测距工作带来便利。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为高斯差分金字塔提取特征点原理图；

图2为空气中双目成像极线约束原理图；

图3为水下双目成像极曲线约束原理图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

一种基于极曲线约束的水下PCA-SIFT图像匹配方法，包括以下步骤：

S1:利用高斯函数分别对双目相机在水下采集的图像Ⅰ和图像Ⅱ进行模糊处理及降采样处理，得到图像Ⅰ的高斯金字塔和图像Ⅱ的高斯金字塔；

具体地，高斯金字塔的计算公式(1)(2)如下：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

其中，L(x,y,σ)为图像的尺度空间，G(x,y,σ)为高斯函数，σ为模糊系数。构建的高斯金字塔中，每组图像通过降采样产生，同一组的图像中，每层图像通过连续的σ产生。

S2:分别对图像Ⅰ的高斯金字塔和图像Ⅱ的高斯金字塔中每组图像的相邻两层进行作差运算，得到图像Ⅰ的高斯差分金字塔和图像Ⅱ的差分高斯金字塔；

具体地，高斯差分函数D(x,y,σ)计算公式如式(3)所示：

D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]*I(x,y)

＝L(x,y,kσ)-L(x,y,σ) (3)

式(3)中，L(x,y,kσ)、L(x,y,σ)分别为高斯金字塔中上下两层图像的尺度空间函数。

S3:分别对图像Ⅰ的高斯差分金字塔和图像Ⅱ的差分高斯金字塔中同一组图像相邻两层之间图像作差计算，得到图像Ⅰ的极值点组和图像Ⅱ的极值点组；

S4:分别由图像Ⅰ的极值点组和图像Ⅱ的极值点组得到图像Ⅰ的关键点组Ⅰ和图像Ⅱ的关键点组Ⅰ；

图1为高斯差分金字塔提取特征点原理图；图像Ⅰ的高斯差分金字塔和图像Ⅱ的差分高斯金字塔图层中的每一个像素点都要与周围8邻域和上下两层18个像素值进行比较，如果该像素点的位置的像素值大于或小于全部26个像素值，那么记录当前位置的像素点为极值点，即初步检测到的关键点。

S5:分别对图像Ⅰ的关键点组Ⅰ和图像Ⅱ的关键点组Ⅰ里位于边缘位置的关键点进行剔除，得到图像Ⅰ的关键点组Ⅱ和图像Ⅱ的关键点组Ⅱ；

对检测到的关键点进行边缘关键点信息剔除，具体方法为获关键点处的Hessian矩阵，通过Hessian矩阵特征值构建评价函数，判断是否超出阈值来选择是否剔除该像素点信息。Hessian矩阵表达式如下所示：

式(4)中D_xxD_xyD_yy为像素信息在该位置x和y方向的二阶偏导，假设H矩阵的特征值为λ₁，λ₂，令λ₁＝tλ₂，则使用如下函数进行边缘信息度量：

Trace(H)＝λ₁+λ₂ (5)

Det(H)＝λ₁λ₂ (6)

为了剔除比边缘响应点，只需检测即可；即当评价函数的值＜阈值，则保留该关键点，当评价函数的值≥阈值，则剔除该关键点，如此完成关键点检测，确定极点就得到双目两幅图像的特征点位置。

S6:分别为图像Ⅰ的关键点组Ⅱ和图像Ⅱ的关键点组Ⅱ里的每一个关键点分配一个基准方向和建立一个描述符；

(1)由于关键点具有尺度不变性，为了使关键点的描述子具有旋转不变性，需要为每一个关键点分配一个基准方向，每一个关键点基准方向的选取需要考虑邻域内其他像素(x,y)的信息，包括像素的梯度模值m(x,y)和梯度方向θ(x,y)，梯度信息表达式如下式(6)所示，之后通过构建的直方图选取峰值的方向作为关键点的主方向。

式(8)中L(x+1,y)、L(x-1,y)、L(x,y+1)、L(x,y-1)为像素点(x,y)在其邻域内其他像素点的尺度空间函数。

如此通过上述步骤获取了具有尺度、旋转不变性的待匹配关键点。

(2)接下来为每个关键点建立一个描述符；对于传统的SIFT算法来说，通常采用关键点尺度空间4*4窗口内的向量信息来表征描述子，计算8个方向的梯度信息，因此描述子信息共128维，计算量大。

S7:获取图像Ⅰ和图像Ⅱ的里关键点位置和描述符，采用PCA-SIFT算法构建描述子对剔除边缘位置的图像Ⅰ和图像Ⅱ进行匹配，同时结合改进的极曲线约束方法得到极曲线对匹配过程中进行约束，剔除误匹配点，完成图像Ⅰ和图像Ⅱ的匹配。

本发明采用PCA-SIFT算法，将高维描述子信息进行压缩，在最大程度保持原有数据的基础上达到降维的目的；PCA-SIFT构建描述子的具体方法为：

S7-1:首先构建特征点附近41*41的邻域，选取基准方向；

S7-2:计算邻域内每个像素点的水平梯度与垂直梯度这两个信息，如此确定39*39*2维的特征描述子；

S7-3：在同一类图像中采集m个特征点，构成3042*m大小的原始特征矩阵M；

S7-4:计算出M矩阵的协方差矩阵N的特征向量，根据特征根的大小排列出前n个特征向量；

S7-5:由n个向量构成投影矩阵T，将3042维特征描述子向量与投影矩阵T相乘，得到了最终的n维特征向量描述子。

具体地，空气中常用极线约束方法对最终匹配结果进行筛选，如图2所示，三维空间中一点Q投影到左右成像面的投影点分别为P_L和P_R，则点Q与点P_L、P_R构成的平面与左右成像平面的交线分别为左右平面的极线，当图像的投影点P_L的位置已知时，那么P_R点一定在P_L所对应的极线上。但在水下环境中，由于光的折射作用导致成像点偏移，极线约束不再适用，因此本发明采用PCA-SIFT算法与极曲线约束结合的方法，剔除误匹配点，增加匹配正确率。极曲线约束原理如图3所示。

水下目标点Q在相机坐标系下的坐标为(x₂,y₂,z₂)，投影到左右成像面上的投影点分别为P_l、P_r，投影到折射平面上的投影点分别为P_l'、P_r'，双目相机焦距为f，光心到水面的距离为h,目标点到水面的距离为d，θ为左成像点与相机坐标系下y轴的夹角，分别为左右折射面对应的入射角，/>分别为左右折射面对应的折射角。根据相似三角形原理可知P_l点坐标(x₁,y₁,z₁)为：

根据d，h以及折射点之间的位置关系，可以推导出水下目标点Q的坐标(x₂,y₂,z₂)为：

式(10)中n为空气与水的相对折射率，设基线距离O_lO_r＝b，则根据折射定律可求得右折射点P_r'(x₃,y₃,z₃)与水下目标点Q的关系式为：

利用Q，P_r′，O_r三点的坐标求得该三点所在平面方程，将P_r′坐标带入得：

利用P_r′，P_r坐标求得直线P_r′P_r的方程为：

由于P_r纵坐标z＝f，带入(11)式可得P_r的坐标方程为：

结合式(11)(12)解得P_r'坐标，将坐标带入式(14)中，解得最终的P_r坐标。当物体在不同的点q₁、q₂时，就有不同的深度d，即会得到不同的P_r坐标，不同于空气中的成像模式，这些不同的成像点会拟合成一条曲线，以此条曲线替代极线对匹配结果进行约束，剔除误匹配点，如此，结合PCA-SIFT算法，提高水下匹配的正确率与速度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于极曲线约束的水下PCA-SIFT图像匹配方法，其特征在于：包括以下步骤：

S1:利用高斯函数分别对双目相机在水下采集的图像Ⅰ和图像Ⅱ进行模糊处理及降采样处理，得到图像Ⅰ的高斯金字塔和图像Ⅱ的高斯金字塔；

S2:分别对图像Ⅰ的高斯金字塔和图像Ⅱ的高斯金字塔中每组图像的相邻两层进行作差运算，得到图像Ⅰ的高斯差分金字塔和图像Ⅱ的差分高斯金字塔；

S3:分别对图像Ⅰ的高斯差分金字塔和图像Ⅱ的差分高斯金字塔中同一组图像相邻两层之间图像作差计算，得到图像Ⅰ的极值点组和图像Ⅱ的极值点组；

S4:分别由图像Ⅰ的极值点组和图像Ⅱ的极值点组得到图像Ⅰ的关键点组Ⅰ和图像Ⅱ的关键点组Ⅰ；

S5:分别对图像Ⅰ的关键点组Ⅰ和图像Ⅱ的关键点组Ⅰ里位于边缘位置的关键点进行剔除，得到图像Ⅰ的关键点组Ⅱ和图像Ⅱ的关键点组Ⅱ；

S6:分别为图像Ⅰ的关键点组Ⅱ和图像Ⅱ的关键点组Ⅱ里的每一个关键点分配一个基准方向和建立一个描述符；

S7:获取图像Ⅰ和图像Ⅱ的里剔除边缘位置关键点后的关键点的位置和描述符，采用PCA-SIFT算法构建描述子对剔除边缘位置的图像Ⅰ和图像Ⅱ进行匹配，同时结合改进的极曲线约束方法得到极曲线对匹配过程中进行约束，剔除误匹配点，完成图像Ⅰ和图像Ⅱ的匹配。

2.根据权利要求1所述的一种基于极曲线约束的水下PCA-SIFT图像匹配方法，其特征在于：所述分别对图像Ⅰ的关键点组Ⅰ和图像Ⅱ的关键点组Ⅰ里位于边缘位置的关键点进行剔除，其中边缘位置的关键点进行剔除方法，包括步骤如下：

S5-1:获取关键点处的Hessian矩阵；

S5-2:通过Hessian矩阵特征值构建评价函数，当评价函数的值＜阈值，则保留该关键点，当评价函数的值≥阈值，则剔除该关键点。

3.根据权利要求2所述的一种基于极曲线约束的水下PCA-SIFT图像匹配方法，其特征在于：所述评价函数的表达式如下:

λ₁，λ₂表示Hessian矩阵的特征值，Trace(H)表示H矩阵的迹，Det(H)表示矩阵H的行列式；t表示λ₁和λ₂的倍数关系。

4.根据权利要求1所述的一种基于极曲线约束的水下PCA-SIFT图像匹配方法，其特征在于：所述改进的极曲线约束方法得到极曲线过程如下：

设水下目标点Q在相机坐标系下的坐标为(x₂,y₂,z₂)，投影到左右成像面上的投影点分别为P_l、P_r，投影到折射平面上的投影点分别为P_l'、P_r'，

根据相似三角形原理可得P_l点坐标(x₁,y₁,z₁)为：

根据d，h以及折射点之间的位置关系，得到出水下目标点Q的坐标(x₂,y₂,z₂)为：

式中n为空气与水的相对折射率，设基线距离O_lO_r＝b，则根据折射定律可求得右折射点P'_r(x₃,y₃,z₃)与水下目标点Q的关系式为：

利用Q，P_r'，O_r三点的坐标求得该三点所在平面方程，将P_r'坐标带入得：

利用P_r'，P_r坐标求得直线P_r'P_r的方程为：

由于P_r纵坐标z＝f，带入(11)式可得P_r的坐标方程为：

其中：f为双目相机焦距，h为光心到水面的距离,d为目标点到水面的距离，θ为左成像点与相机坐标系下y轴的夹角，分别为左右折射面对应的入射角，/>分别为左右折射面对应的折射角。

5.根据权利要求1所述的一种基于极曲线约束的水下PCA-SIFT图像匹配方法，其特征在于：所述PCA-SIFT算法构建描述子的过程如下：

S7-1:构建特征点附近n*n的邻域，选取基准方向；

S7-2:计算n*n邻域内每个像素点的水平梯度与垂直梯度，进而确定特征描述子；

S7-3:在同一类图像中采集m个特征点，构成原始特征矩阵M；

S7-4:计算出M矩阵的协方差矩阵N的特征向量，根据特征根的大小排列出前n个特征向量；

S7-5:n个特征向量构成投影矩阵T，将特征描述子向量与投影矩阵T相乘，得到了的n维特征向量描述子。