CN105279522A - 一种基于sift的场景物体实时配准方法 - Google Patents

Abstract

本发明公开了一种基于SIFT的场景物体实时配准方法，包括以下步骤：步骤1：提取出视频中的帧图像并进行图像预处理；步骤2：提取出步骤1中某一图像的特征点以及目标图像的特征点；步骤3：构造步骤2中两幅图像的SIFT特征；步骤4：利用RANSAC优化算法和轮廓排除法得到优化后的匹配结果；步骤5：重复步骤2～4，直到得到实时匹配结果为止。本发明通过提取视频中的图像数据，对图像提取SIFT特征，然后利用RANSAC优化算法和轮廓排除法优化匹配结果，得到匹配的特征点对，并采用SIFT算子来提取特征点，然后利用RANSAC优化算法和轮廓排除法来得到优化的匹配结果，具有匹配效果好等优点。

Description

一种基于SIFT的场景物体实时配准方法

技术领域

本发明涉及一种计算机视觉领域中的物体识别技术，特别涉及一种基于SIFT的场景物体实时配准方法，主要应用于视频物体的实时识别。

背景技术

图像匹配是计算机视觉领域之中的一项重要技术，同时也是其它许多图像分析技术，如运动数据分析和融合、立体3d视觉等技术领域的基础。提取特征的技术是图像匹配技术中最重要的组成部分，一幅图像中可以检测得到很多关键点，但是我们需要消除其中部分不重要的点，留下具有较强的特征性的点，这些点可以用来进行图像的匹配。最后只要合理地消除匹配错误点，就能得到比较好的匹配结果。另一方面，采用合适的优化以及筛选技术，可以使得匹配效果更好。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于SIFT的场景物体实时配准方法，该场景物体实时配准方法采用SIFT算子来提取特征点，然后利用RANSAC优化算法和轮廓排除法来得到优化的匹配结果，匹配效果更好。

本发明的目的通过下述技术方案实现：一种基于SIFT的场景物体实时配准方法，包括以下步骤：

步骤1：提取出视频中的帧图像并进行图像预处理；

步骤2：提取出步骤1中某一图像的特征点以及目标图像的特征点；

步骤3：构造步骤2中两幅图像的SIFT特征；

步骤4：利用RANSAC优化算法和轮廓排除法得到优化后的匹配结果；

步骤5：重复步骤2～4，直到得到实时匹配结果为止。

本发明相对于现有技术具有如下的优点及效果：

本发明通过提取视频中的图像数据，对图像提取SIFT特征，然后利用RANSAC优化算法和轮廓排除法优化匹配结果，得到匹配的特征点对，并采用SIFT算子来提取特征点，然后利用RANSAC优化算法和轮廓排除法来得到优化的匹配结果，匹配效果更好。

附图说明

图1是本发明的方法流程图。

图2是本发明的特征构造图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，一种基于SIFT的场景物体实时配准方法，包括以下步骤：

步骤1、提取出视频中的帧图像并进行图像预处理；所述图像预处理的具体做法是：图像转换成灰度图像；调整图像大小；最后利用高斯平滑的方法简单平滑图像。

步骤2、提取出步骤1中某一图像的特征点以及目标图像的特征点；步骤2具体包括以下步骤：

步骤2.1、构造高斯尺度空间。按照下式对图像进行卷积：

$\begin{array}{c}D(x,y,\mathrm{\σ})=\[G(x,y,k\mathrm{\σ})-G(x,y,\mathrm{\σ})\]*I(x,y)\\ =L\left(x,y,k\mathrm{\σ}\right)-L\left(x,y,\mathrm{\σ}\right)\end{array},---\left(1\right)$

其中，k为相邻两个尺度空间倍数的常数，K分别取不同的值，得到不同的尺度空间，I(x,y)表示输入的图像，*是的卷积运算符，G(x,y,σ)表示高斯核，G(x,y,kσ)表示尺度变化后的高斯核，L(x,y,σ)表示高斯核同图像卷积后产生的图像尺度空间的函数，L(x,y,kσ)表示尺度变化后的高斯核同图像卷积后产生的图像尺度空间的函数。

步骤2.2、找到尺度空间的极值点。在尺度空间中，若某像素点和它同尺度的8个相邻点和上下两层相邻尺度对应的9个点比较，大于(或小于)其他点，则该像素点为初始极值点。

步骤2.3、关键点的精确定位。为了选出更稳定更可靠的关键点，我们需要对尺度空间的DOG函数进行曲线拟合。通过拟合三维二次函数，可以精确定位关键点的位置，同时可以去除对比度比较低的关键点和对边缘响应比较大的点，达到增强特征点的稳定性、提高抗噪能力的效果。

获取关键点处拟合函数，

$D\left(X\right)=D+\frac{\∂D^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{\∂X^2}X,---\left(2\right)$

上式为DOG函数在空间尺度的泰勒展开式，D(X)为DOG函数，表示D矩阵的转置对X求偏导，X^T表示X的转置，表示D对X求二阶偏导。

求导并让方程等于零，可以得到极值点：

$X^{\′}=-\frac{{\∂}^2{D}^{-1}}{\∂X^2}\frac{\∂D}{\∂X},---\left(3\right)$

X’为(2)式求得的极值点的X的值。

对应极值点，方程的值为：

$D\left(X^{\′}\right)=D+\frac{1}{2}\frac{\∂D^T}{\∂X}{X}^{\′},---\left(4\right)$

其中，D(X’)为(3)式中求得的极值点X’，带入(2)式取前两项得到的方程的值。

式(4)的作用是剔除对比度较低、不够稳定的关键点。实验显示，|D(X′)|<0.04的极值点都可以剔除掉。剔除对比度较低的关键点后，得到的是稳定性较好的特征点集。

步骤2.4、去除边界响应。主曲率可以通过计算在该点位置尺度的2×2的黑塞(Hessian)矩阵得到，导数由采样点相邻差来估计：

$H=\left[\begin{array}{cc}{D}_{xx}& D_{xy}\\ D_{xy}& D_{yy}\end{array}\right]---,\left(5\right)$

式中，D_xx表示DOG金字塔中某一尺度的图像x方向求导两次，D_xy表示DOG金字塔中某一尺度的图像先x方向求导后再y方向求导，D_yy表示DOG金字塔中某一尺度的图像y方向求导两次，H的特征值α和β分别代表x和y方向的梯度。

Tr(H)＝D_xx+D_yy＝α+β，(6)

Det(H)＝D_xxD_yy-(D_xy)²＝αβ，(7)

式中Tr(H)表示矩阵H对角线元素之和，Det(H)表示矩阵H的行列式，D_xx表示DOG金字塔中某一尺度的图像x方向求导两次，D_xy表示DOG金字塔中某一尺度的图像先x方向求导再y方向求导，D_yy表示DOG金字塔中某一尺度的图像y方向求导两次，H的特征值α和β分别代表x和y方向的梯度；假设α是较大的梯度值，而β是较小的梯度值，令α＝rβ,则

$\frac{Tr{\left(H\right)}^2}{Det\left(H\right)}=\frac{{(\mathrm{\&alpha;}+\mathrm{\&beta;})}^2}{\mathrm{\&alpha;}\mathrm{\&beta;}}=\frac{{(r\mathrm{\&beta;}+\mathrm{\&beta;})}^2}{{\mathrm{r\&beta;}}^2}=\frac{{(r+1)}^2}{r},---\left(8\right)$

式中，Tr(H)表示矩阵H对角线元素之和，Det(H)表示矩阵H的行列式，α和β分别代表x和y方向的梯度，r表示α于β之比。

式8中，D的主曲率和H的特征值成正比，令α为梯度最大值，β为提梯度最小值，则公式(r+1)²/r的值在两个梯度值相等时最小，与r成正比例增长。为了去除边缘效应，我们需要确定(r+1)²/r的有效阀值，剔除值大于阀值的点。这里我们让r值取10。所以我们只需检测

$\frac{Tr{\left(H\right)}^2}{Det\left(H\right)}<\frac{{(r+1)}^2}{r},$

式中，Tr(H)表示矩阵H对角线元素之和，Det(H)表示矩阵H的行列式，r表示α与β之比。

可以让式子成立的关键点保留下来，去除不符合公式的关键点。

步骤3、构造步骤2中两幅图像的SIFT特征；步骤3具体包括以下步骤：

步骤3.1、确定特征点的主方向，按照下列公式计算梯度幅度和梯度方向，梯度幅值：

$m\left(x,y\right)=\sqrt{{\left(L\left(x+1,y\right)-L\left(x-1,y\right)\right)}^2+{\left(L\left(x,y+1\right)-L\left(x,y-1\right)\right)}^2},---\left(9\right)$

式中，m(x，y)表示在像素点(x，y)处的梯度幅值，L代表二维图像的尺度空间，在L所用的尺度为每个关键点各自所在的尺度，(x+1，y)表示在原像素点(x，y)在x方向上增加一个单位，(x‐1，y)表示在原像素点(x，y)在x方向上减少一个单位，(x，y+1)表示在原像素点(x，y)在y方向上增加一个单位，(x，y‐1)表示在原像素点(x，y)在y方向上减少一个单位。

梯度方向：

$\mathrm{\&theta;}\left(x,y\right)={\tan }^{-1}\&lsqb;\frac{L\left(x,y+1\right)-L\left(x,y-1\right)}{L\left(x+1,y\right)-L\left(x-1,y\right)}\&rsqb;,---\left(10\right)$

式中，θ(x，y)表示在点(x，y)处的梯度方向，L代表二维图像的尺度空间，L所用的尺度为每个关键点各自所在的尺度，(x+1，y)表示在原像素点(x，y)在x方向上增加一个单位，(x‐1，y)表示在原像素点(x，y)在x方向上减少一个单位，(x，y+1)表示在原像素点(x，y)在y方向上增加一个单位，(x，y‐1)表示在原像素点(x，y)在y方向上减少一个单位。。

步骤3.2、构造特征。对关键点的图像邻域分成4x4个子区域，算出每个子区域的梯度直方图，然后把每个子区域内的梯度向量分解并累加在8个方向向量上，得到了抽象出该区域的独一无二的向量，如图2所示。

步骤4、利用RANSAC优化算法和轮廓排除法得到优化后的匹配结果；步骤4具体包括以下步骤：

步骤4.1、RANSAC算法获得优化匹配结果。利用该方法确定在空间中的点投影到一个图像转换为一组已知位置的坐标。

步骤4.2、根据物体的轮廓在场景中生成其投影范围，落在投影范围内的配对分类为好的配对。根据点与轮廓的距离划分阵营，其中与轮廓的距离大于0的点的配对可以丢弃，剩下的配对基本都是优化后的配对。

步骤5、重复上述步骤2～4，直到达到实时配准的效果为止。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于SIFT的场景物体实时配准方法，其特征在于，包括以下步骤：

步骤1：提取出视频中的帧图像并进行图像预处理；

步骤2：提取出步骤1中某一图像的特征点以及目标图像的特征点；

步骤3：构造步骤2中两幅图像的SIFT特征；

步骤4：利用RANSAC优化算法和轮廓排除法得到优化后的匹配结果；

步骤5：重复步骤2～4，直到得到实时匹配结果为止。

2.如权利要求1所述的基于SIFT的场景物体实时配准方法，其特征在于，所述步骤2包括以下步骤：

步骤2.1、构造高斯尺度空间，按照下式对图像进行卷积：

D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]*I(x,y)，(1)

＝L(x,y,kσ)-L(x,y,σ)

其中，k为相邻两个尺度空间倍数的常数，I(x,y)表示输入的图像，*是的卷积运算符，G(x,y,σ)表示高斯核，G(x,y,kσ)表示尺度变化后的高斯核，L(x,y,σ)表示高斯核同图像卷积后产生的图像尺度空间的函数，L(x,y,kσ)表示尺度变化后的高斯核同图像卷积后产生的图像尺度空间的函数；

K分别取不同的值，得到不同的尺度空间；

步骤2.2、找到尺度空间的极值点，在尺度空间中，若某像素点和它同尺度的8个相邻点和上下两层相邻尺度对应的9个点比较，大于(或小于)其他点，则该像素点为初始极值点；

步骤2.3、关键点的精确定位，为了选出更稳定更可靠的关键点，我们需要对尺度空间的DOG函数进行曲线拟合；通过拟合三维二次函数，可以精确定位关键点的位置，同时可以去除对比度比较低的关键点和对边缘响应比较大的点，达到增强特征点的稳定性、提高抗噪能力的效果；

获取关键点处拟合函数，

$D\left(X\right)=D+\frac{\&part;D^T}{\&part;X}X+\frac{1}{2}{X}^T\frac{{\&part;}^{2}D}{\&part;X^2}X,---\left(2\right)$

上式为DOG函数在空间尺度的泰勒展开式，D(X)为DOG函数；

求导并让方程等于零，可以得到极值点：

$X^{,}=-\frac{{\&part;}^2{D}^{-1}}{\&part;X^2}\frac{\&part;D}{\&part;X},---\left(3\right)$

X’为(2)式求得的极值点的X的值；

对应极值点，方程的值为：

$D\left(X^{\&prime;}\right)=D+\frac{1}{2}\frac{\&part;D^T}{\&part;X}{X}^{\&prime;},---\left(4\right)$

其中，D(X’)为(3)式中求得的极值点X’，带入(2)式取前两项得到的方程的值；

剔除对比度较低的关键点后，得到的是稳定性较好的特征点集；

步骤2.4、去除边界响应；主曲率可以通过计算在该点位置尺度的2×2的黑塞(Hessian)矩阵得到，导数由采样点相邻差来估计：

$H=\left[\begin{array}{cc}{D}_{xx}& D_{xy}\\ D_{xy}& D_{yy}\end{array}\right],---\left(5\right)$

D_xx表示DOG金字塔中某一尺度的图像x方向求导两次，H的特征值α和β分别代表x和y方向的梯度，D_xy表示DOG金字塔中某一尺度的图像先x方向求导后再y方向求导，D_yy表示DOG金字塔中某一尺度的图像y方向求导两次，H的特征值α和β分别代表x和y方向的梯度；

Tr(H)＝D_xx+D_yy＝α+β，(6)

Det(H)＝D_xxD_yy-(D_xy)²＝αβ，(7)

Tr(H)表示矩阵H对角线元素之和，Det(H)表示矩阵H的行列式；假设α是较大的梯度值，而β是较小的梯度值，令α＝rβ,则

$\frac{Tr{\left(H\right)}^2}{Det\left(H\right)}=\frac{{(\mathrm{\&alpha;}+\mathrm{\&beta;})}^2}{\mathrm{\&alpha;}\mathrm{\&beta;}}=\frac{{(r\mathrm{\&beta;}+\mathrm{\&beta;})}^2}{{\mathrm{r\&beta;}}^2}=\frac{{(r+1)}^2}{r},---\left(8\right)$

式中，Tr(H)表示矩阵H对角线元素之和，Det(H)表示矩阵H的行列式，α和β分别代表x和y方向的梯度，r表示α于β之比；

式8中，D的主曲率和H的特征值成正比，令α为梯度最大值，β为梯度最小值，则公式(r+1)²/r的值在两个梯度值相等时最小，与r成正比例增长；为了去除边缘效应，我们需要确定(r+1)²/r的有效阀值，剔除值大于阀值的点；r的值取10，只需检测：

$\frac{Tr{\left(H\right)}^2}{Det\left(H\right)}<\frac{{(r+1)}^2}{r},$

式中，Tr(H)表示矩阵H对角线元素之和，Det(H)表示矩阵H的行列式，r表示α于β之比；让式子成立的关键点保留下来，去除不符合公式的关键点。

3.如权利要求1所述的基于SIFT的场景物体实时配准方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1、确定特征点的主方向，按照下列公式计算梯度幅度和梯度方向，梯度幅值：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2},---\left(9\right)$

式中，m(x，y)表示在像素点(x，y)处的梯度幅值，L代表二维图像的尺度空间，L所用的尺度为每个关键点各自所在的尺度，(x+1，y)表示在原像素点(x，y)在x方向上增加一个单位，(x‐1，y)表示在原像素点(x，y)在x方向上减少一个单位，(x，y+1)表示在原像素点(x，y)在y方向上增加一个单位，(x，y‐1)表示在原像素点(x，y)在y方向上减少一个单位；

梯度方向：

$\mathrm{\&theta;}(x,y)={\tan }^{-1}\&lsqb;\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\&rsqb;,---\left(10\right)$

式中，θ(x，y)表示在点(x，y)处的梯度方向，L代表二维图像的尺度空间，L所用的尺度为每个关键点各自所在的尺度，(x+1，y)表示在原像素点(x，y)在x方向上增加一个单位，(x‐1，y)表示在原像素点(x，y)在x方向上减少一个单位，(x，y+1)表示在原像素点(x，y)在y方向上增加一个单位，(x，y‐1)表示在原像素点(x，y)在y方向上减少一个单位；

步骤3.2、构造特征；对关键点的图像邻域分成4x4个子区域，算出每个子区域的梯度直方图，然后把每个子区域内的梯度向量分解并累加在8个方向向量上，得到了抽象出该区域的独一无二的向量。

4.如权利要求1所述的基于SIFT的场景物体实时配准方法，其特征在于，所述步骤4包括以下步骤：

步骤4.1、RANSAC算法获得优化匹配结果；利用该方法确定在空间中的点投影到一个图像转换为一组已知位置的坐标；

步骤4.2、根据物体的轮廓在场景中生成其投影范围，落在投影范围内的配对分类为好的配对，根据点与轮廓的距离划分阵营，其中与轮廓的距离大于0的点的配对可以丢弃，剩下的配对基本都是优化后的配对。