CN100550054C - 一种图像立体匹配方法及其装置 - Google Patents

Abstract

本发明涉及一种图像立体匹配方法及其装置，其特征在于，包括如下步骤：采用图形识别器提取检测图像一和候选匹配图像二的特征点；多维向量识别器对上述特征点列的特征点进行多种参数描述，获得特征点参数描述的多维向量；数据优化器约简图像一的显著特征点列的每个特征点参数描述的多维向量，计算约简后的图像一的特征点列的每个特征点与图像二的特征点列的特征点的相似性，获得图像一的候选匹配点集；分类器，用于对以上比较结果进行分类，判断图像一与图像二的匹配结果。本发明对立体图像匹配具有较高的匹配精度和效率。

Description

一种图像立体匹配方法及其装置

技术领域

本发明涉及一种图像立体匹配方法及其装置。

背景技术

立体视觉是计算机测距方法中最重要的距离感知技术，它模拟人类视觉处理景物的方式，可以在多种条件下灵活地测量景物的立体信息，其作用是其它计算机视觉方法所不能取代的。立体视觉中最关键的部分是进行多幅视觉图像的对应点匹配问题，即立体视觉匹配，简称立体匹配。其中，双目立体匹配算法就是在两幅图像的匹配点之间建立对应关系的过程，它是双目立体视觉系统的关键。实际上，任何基于计算机视觉的三维重建系统中都包含一个作为其核心的匹配算法，基于相位匹配的算法能够避免计算基本矩阵，但算法的效率较低。基于区域的立体匹配算法难以设定窗口大小，且搜索范围大，算法效率较低。现有的基于特征立体匹配算法，虽然算法效率高，但其匹配精度还有待提高。现有的特征点提取方法不鲁棒，一幅图像的某些特种点，在另一幅图像与其相对应的特征点可能不存在。因此，匹配的精度不高，导致立体匹配点对更加稀疏，需进一步处理才能进行三维重建，如一些方法通过立体匹配点的插值技术解决匹配点对的稀疏问题。虽然插值技术能够在一定程度解决立体匹配点稀疏问题，但插值得到新的匹配点对是建立在插值数据上，插值数据的误差导致许多点对的误匹配。

发明内容

本发明的目的是：提供一种匹配精度和匹配效率高的图像立体匹配方法；

本发明的还一目的是：提供一种匹配精度和匹配效率高的图像立体匹配装置。

本发明的目的是通过实施下述技术方案来实现的：

一种图像立体匹配方法，其特征在于，包括如下步骤：

步骤1、提取上述图像中检测图像一和候选匹配图像二的特征点，分别组成图像一、图像二的特征点列，对图像一的特征点列的特征点按特征点值进行降序排序，排位在前面的特征点组成一个显著特征点列；

步骤2、对上述特征点列的特征点使用多种参数描述，计算图像一和图像二的特征参数描述信息，获得特征点参数描述的多维向量，每一维向量代表特征点的一个特征；

步骤3、按以下步骤对图像一的显著特征点列的每个特征点参数描述的多维向量进行约简：

步骤31、计算图像一中显著特征点列的每个特征点与图像二的特征点的相似性；

步骤32、根据指定一阈值获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集1；

步骤33、对图像一中显著特征点列的其中一个特征点的多维向量特征任意去掉一个特征；重复步骤31、32，计算约简后的特征点与图像二的特征点列的特征点相似性；指定一阈值，获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集2；

步骤34、将候选匹配点集1与候选匹配点集2进行比较，如果二者差异较大，表明所去掉的特征点的特征显著，不能去掉该特征，如果差异较小，去掉该特征；

步骤35、重复以上步骤33、34，直到不能再对图像一的显著特征点列的每个特征点的特征进行约简为止；

步骤4、重复步骤31、32，计算多维向量约简后的图像一的特征点列的特征点与图像二的特征点列的特征点的相似性；指定一阈值，获得图像一的特征点列的每个特征点在图像二中的候选匹配点集；

步骤5、根据以上比较步骤的结果，判定检测图像一和候选匹配图像二是否匹配。

上述步骤2所述的特征点列的特征点的多种参数描述至少包括灰度信息、多阶梯度信息、曲率变化函数。

上述步骤3的对图像一的显著特征点列的每个特征点参数描述的多维向量进行约简的方法是使用粗糙集约简方法对特征点参数描述的多维向量进行约简，得到约简后的特征点参数描述的多维向量。

上述步骤1所述的图像一和图像二的特征点是采用如下步骤提取的：(4-1)计算图像中每个象素的平均梯度平方矩阵如下：

$N(x,y)=\left[\begin{array}{cc}{\left(\frac{\∂I}{\∂x}\right)}^2& \frac{\∂I}{\∂x}\frac{\∂I}{\∂y}\\ \frac{\∂I}{\∂x}\frac{\∂I}{\∂y}& {\left(\frac{\∂I}{\∂x}\right)}^2\end{array}\right],$

其中I为图像中位置(x，y)处的灰度值，当某点对应的平均梯度平方矩阵的两个特征值较大，那么该点附近有较大的灰度级变化，选取该点作为一个特征点，特征点响应函数为：

R＝det(N)-k(trace(N))²，

其中det(N)为矩阵的行列式值，trace(N)为矩阵N的迹，k为0.04；

按R值对图像中的象素点进行降序排序，构成一个数列，确定一个所需特征点个数F，然后取数列中前F个象素点为特征点，通过匹配结果可以不断调整F。

(4-2)对图像中的象素点(i，j)，分别计算在水平、垂直、左对角和右对角方向上与相邻像素象素值的差的平方和，并取最小值作为该像点特征的初值；

H＝(f(i，j)-f(i，j-1))²+(f(i，j)-f(i，j+1))²，

V＝(f(i，j)-f(i-1，j))²+(f(i，j)-f(i+1，j))²，

L＝(f(i，j)-f(i-1，j-1))²+(f(i，j)-f(i+1，j+1))²，

R＝(f(i，j)-f(i-1，j+1))²+(f(i，j)-f(i+1，j-1))²，

令F(i，j)＝min{H，V，L，R}，将图像划分为大小为n×m的互不重叠的区域Wp，q，计算坐标(x，y)，其计算公式如下：

$(x,y)=\underset{(i,j)\∈W_{p,q}}{\arg \max }\left(F(i,j)\right),$

并定义坐标(x，y)上的特征图像值为：

$F(x,y)=\underset{(i,j)\∈W_{p,q}}{\max }\left(F(i,j)\right),$

为进一步消除噪声，指定一阈值d，重新设计特征图像值如下：

$G(x,y)=\left\{\begin{array}{cc}F(x,y),& F(x,y)>d\\ 0,& F(x,y)\≤d\end{array}\right.,$

当G(x，y)大于0，则(x，y)就是对应的特征点。

(4-3)对图像一或图像二，根据以上步骤(4-1)得到特征点列T1中每个特征点对应的R值，由步骤(4-2)，得到另一特征点列T2和每个特征点对应的G值；对在T1中而不在T2中的特征点，根据步骤(4-2)获得其G值；对在T2中而不在T1中的特征点，根据步骤(4-1)获得其R值，使T1和T2中的所有特征点都具有G和R值；

将T1和T2中的所有特征点作为图像一或图像二的特征点，分别组成图像一和图像二的特征点列T_S和Tr；

对图像一的特征点按(G+R)的和值进行降序排列，排在前面的特征点其特征显著，取图像一前m个显著特征点组成图像一的显著特征点列，记为T_l。

上述图像一的特征点列T_S和图像二的特征点列Tr中的特征点采用如下步骤进行参数描述和计算：

(5-1)计算特征点及相邻点的象素点值

设特征点位置为(i，j)，以(i，j)为中心，3×3象素区域，直接可得特征点及相邻点的象素值向量如下：

WF(i，j)＝(I(i，j)，I(i-1，j)，I(i+1，j)，I(i-1，j-1)，I(i-1，j)，I(i-1，j+1)，I(i+1，j-1)，I(i+1，j)，I(i+1，j+1))，

即W(i，j)为3×3区域中象素点值

(5-2)计算特征点一阶梯度信息

设特征点位置为(i，j)，该点在x方向和y方向的导数gx(i，j)，gy(i，j)分别计算如下：

$g_x(i,j)=\frac{1}{2}((f(i,j)-f(i-1,j))+(f(i+1,j)-f(i,j))),$

$g_y(i,j)=\frac{1}{2}((f(i,j)-f(i,j-1))+(f(i,j+1)-f(i,j))),$

计算梯度权值D(i，j)和方向θ(i，j)，其计算如下：

$D(i,j)=\sqrt{g_x{(i,j)}^2+g_y{(i,j)}^2},$

$\mathrm{\θ}(i,j)=\frac{g_y(i,j)}{g_x(i,j)},$

这样就获得特征点(i，j)的梯度信息向量如下：

DF(i，j)＝(g_x(i，j)，g_y(i，j)，D(i，j)，θ(i，j))，

(5-3)根据步骤(5-1)和步骤(5-2)获得特征点(i，j)参数描述多维向量如下：

DS(i，j)＝(WF(i，j)，DF(i，j))，

DS(i，j)是一个13维向量，为方便描述，记为

DS(i，j)＝(w1，w2，…，w13)。

(5-4)对图像一、图像二中的特征点列中的特征点，根据步骤(5-1)、步骤(5-2)和步骤(5-3)，计算所有特征点的参数描述的多维向量

DF(i，j)＝(g_x(i，j)，g_y(i，j)，D(i，j)，θ(i，j))。

上述步骤31所述的图像一中显著特征点列T_l的每个特征点与图像二的特征点列Tr的特征点按以下步骤进行相似性计算：

(6-1)取图像一的显著特征点列T_l，即T_l[1，2，…，m]，设T_l中特征点t的参数化描述向量为(t₁，t₂，....，t₁₃)，图像二的特征点列Tr中的特征点s的参数化描述向量为((s₁，s₂，...，s₁₃))，则t与s之间的相似性计算如下：

$S(t,s)=1-\frac{\underset{i=1}{\overset{13}{\mathrm{\Σ}}}{t}_i{s}_i}{\sqrt{\underset{i=1}{\overset{13}{\mathrm{\Σ}}}{t_i}^2}\sqrt{\underset{i=1}{\overset{13}{\mathrm{\Σ}}}{s_i}^2}}$

(6-2)按步骤(6-1)计算T_l[1，2，…，m]中每个特征点与图像二中所有特征点的相似度，图像二特征点列Tr的长度为l，由此可得到m×l的相似性矩阵如下：

MS＝(S(t，s))_m×l。

上述步骤32、33、34、35的具体步骤如下：

(7-1)根据一指定阈值GH，来获取T_l[1，2，…，m]中每个特征点t的候选匹配点集1，即SP(t)：

SP(t)＝{s|S(t，s)＞GH，s∈T_r}，

SP(t)表示与t相似度大于GH的图像二中的特征点，也表示了与t可能匹配的特征点集；根据相似矩阵MS的定义，计算SP(t)；{SP(t)}_{t∈T[1，2，...，m]}看作是粗糙领域关系系统；

(7-2)图像一的显著特征点t的描述参数是一个13维向量，将13维看作是13个特征，记为{1，2，…，13}，设F＝{1，2，…，13}，从F中去掉任意一个特征i，让F＝F-{i}，再按照步骤(6-1)计算t与图像二的特征点列的特征点相似性，其公式如下：

$S(t,s)=1-\frac{\underset{i\∈F}{\mathrm{\Σ}}{t}_i{s}_i}{\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{t_i}^2}\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{s_i}^2}}$

(7-3)按步骤(7-2)计算的t的相似性，根据步骤(7-1)再次计算T_l[1，2，…，m]中每个特征点t的候选匹配点集2，记为

对

和{SP(t)}_{t∈T[1，2，...，m]}，定义：

$W=\frac{1}{2m}\×\underset{t\∈T_l[\mathrm{1,2},...,m]}{\mathrm{\Σ}}(\frac{|\mathrm{SP}\left(t\right)\∩S{P}^{*}\left(t\right)|}{\left|\mathrm{SP}\left(t\right)\right|}+\frac{|\mathrm{SP}\left(t\right)\∩{\mathrm{SP}}^{*}\left(t\right)|}{\left|S{P}^{*}\left(t\right)\right|}),$

其中W描述了与{SP(t)}_{t∈T[1，2，...，m]}之间的差异程度，其值越大，差异越小。

如果W小于某指定的阈值，让F＝F∪{i}，即不能去掉特征i，否则去掉特征i。

(7-4)重复步骤(7-2)和步骤(7-3)，直到F中不能再去掉特征为至，得到约简后的特征F。

所述步骤4的候选匹配点集获取方法如下：

在约简后的特征F上计算图像一的特征点列T_S的所有特征点与图像二的特征点列Tr的所有特征点的相似性：

$S(t,s)=1-\frac{\underset{i\∈F}{\mathrm{\Σ}}{t}_i{s}_i}{\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{t_i}^2}\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{s_i}^2}}$

由此相似性及步骤(7-1)计算出经过特征约简后的图像一的显著特征点列的每个特征点的候选匹配点集，记为SP(t)。

所述步骤5按如下方法对检测图像一和候选匹配图像二是否匹配进行判定：

所述图像二中的候选匹配点集的基数等于1，则其为图像一的特征点的匹配点；如果图像二中的候选匹配点集基数大于1，则选择候选匹配点集中与图像一的特征点最相似的特征点为匹配点；如果候选匹配点集的基数等于0，则图像二中没有与图像一的特征点匹配的特征点。

本发明还提供了一种图像立体匹配装置，其特征在于，包括：

图形识别器，用于识别检测图像一和候选匹配图像二的特征点；识别出来的特征点分别组成图像一、图像二的特征点列T_S、Tr，对图像一特征点列的特征点按特征点值进行降序排序，排位在前面的特征点组成一个显著特征点列T_l；

多维向量识别器，用于对上述特征点列的特征点使用灰度信息、多阶梯度信息、曲率变化函数进行描述，计算图像一和图像二的特征参数描述信息，获得特征点参数描述的多维向量特征，每一维向量代表特征点的一个特征；

数据优化器，用于约简图像一的显著特征点列的每个特征点参数描述的多维向量特征，具体如下：

步骤1-1比较上述图像一的显著特征点列的特征点的参数描述的多维向量特征与图像二的特征点的参数描述的多维向量特征的相似性，获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集1；

步骤1-2将图像一中显著特征点列的其中一个特征点的多维向量特征任意去掉一个特征；比较约简后的图像一的特征点的参数描述的多维向量特征与图像二的特征点的参数描述的多维向量特征的相似性，获得约简后图像一的显著特征点列的每个特征点在图像二中的候选匹配点集2；

步骤1-3将所述匹配点集1和2进行比较，如果二者差异较大，表明所去掉的特征点的特征显著，不能去掉该特征，如果差异较小，去掉该特征；

重复以上所述步骤1-2、1-3，直到不能再去掉图像一的显著特征点列的每个特征点的多维向量特征为止，得到约简后的特征F；

在约简后的特征F上计算图像一的特征点列T_S的所有特征点与图像二的特征点列Tr的所有特征点的相似性；获得图像一的特征点列的每个特征点在图像二中的候选匹配点集；

分类器，用于对以上比较结果进行分类，所述图像二中的候选匹配点集的基数等于1，则其为图像一的特征点的匹配点；如果图像二中的候选匹配点集基数大于1，则选择候选匹配点集中与图像一的特征点最相似的特征点为匹配点；如果候选匹配点集的基数等于0，则图像二中没有与图像一的特征点匹配的特征点。

本发明在特征提取阶段，集成多种特征提取算法从图像中得到大量稠密特征点，避免由单一特征提取算法特征点少而导致匹配点稀疏问题。在特征点的参数描述方面，提供特征点的多种参数信息，如灰度信息，多阶梯度信息，曲率变化函数等多种参数描述，从多方面准确描述特征点，得到特征点更多信息。最后，在特征点匹配方面，选取检测图像的显著特征点与匹配图像的特征点利用粗糙模糊技术进行相似度计算，使用一个参数来控制相似度的精度，通过调节这种参数来控制匹配的精度，对检测图像的特征点的多维向量特征进行约简，得到约简后的特征，从而得到更加适宜的参数描述，在约简后的特征上计算检测图像的所有特征点与匹配图像的所有特征点的相似性，得到候选匹配点集，通过对候选匹配点集的判定，最终获得较高的匹配精度和效率。

附图说明

图1是本发明立体图像匹配方法的流程图；

图2是本发明获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集1的流程图；

图3是本发明对图像一的显著特征点列的每个特征点的多维向量特征进行约简的流程图；

图4是本发明立体图像匹配装置的示意图。

具体实施方式

下面结合附图对本发明作进一步详细的描述：

图1是本发明的图像立体匹配方法的流程图，

步骤1、提取上述图像中检测图像一和候选匹配图像二的特征点，分别组成图像一、图像二的特征点列，对图像一的特征点列的特征点按特征点值进行降序排序，排位在前面的特征点组成一个显著特征点列；

步骤2、对上述特征点列的特征点使用多种参数描述，计算图像一和图像二的特征参数描述信息，获得特征点参数描述的多维向量，每一维向量代表特征点的一个特征；

步骤3、按以下步骤对图像一的显著特征点列的每个特征点参数描述的多维向量进行约简：

步骤31、计算图像一中显著特征点列的每个特征点与图像二的特征点的相似性；

步骤32、根据指定一阈值获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集1；

步骤33、对图像一中显著特征点列的其中一个特征点的多维向量特征任意去掉一个特征；重复步骤31、32，计算约简后的特征点与图像二的特征点列的特征点相似性；指定一阈值，获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集2；

步骤34、将候选匹配点集1与候选匹配点集2进行比较，如果二者差异较大，表明所去掉的特征点的特征显著，不能去掉该特征，如果差异较小，去掉该特征；

步骤35、重复以上步骤33、34，直到不能再对图像一的显著特征点列的每个特征点的特征进行约简为止；

步骤4、重复步骤31、32，计算多维向量约简后的图像一的特征点列的特征点与图像二的特征点列的特征点的相似性；指定一阈值，获得图像一的特征点列的每个特征点在图像二中的候选匹配点集；

步骤5、根据以上比较步骤的结果，判定检测图像一和候选匹配图像二是否匹配。

更进一步的说，上述步骤3的对图像一的显著特征点列的每个特征点参数描述的多维向量进行约简的方法是使用粗糙集约简方法对特征点参数描述的多维向量进行约简，得到约简后的特征点参数描述的多维向量，其具体步骤如图2和图3所示：

步骤31、计算图像一中显著特征点列的每个特征点与图像二的特征点的相似性；

步骤32、判定步骤31得到的相似性是否大于指定的一阈值，如果步骤32的结果为否，则进入步骤33’，放弃该候选匹配点，否则进入步骤33；

步骤33、获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集1；该候选匹配点集表示与图像一的特征点相似度大于指定阙值的图像二中的特征点，也表示了与图像一的特征点可能匹配的特征点集；

步骤34、对图像一中显著特征点列的其中一个特征点的多维向量特征任意去掉一个特征；

步骤35、同步骤31，计算约简后的特征点与图像二的特征点列的特征点相似性；

步骤36、同步骤32，判定步骤35得到的相似性是否大于指定的阈值，如果步骤36的结果为否，则进入步骤37，放弃该候选匹配点，否则进入步骤38

步骤38、同步骤33，获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集2；

步骤39、将候选匹配点集1与候选匹配点集2进行比较，如果二者差异较大，表明所去掉的特征点的特征显著，进入步骤40，不能去掉该特征，如果差异较小，进入步骤41，去掉该特征；

步骤42、对图像一中显著特征点列的特征点的其他多维向量特征重复以上步骤34-41进行约简计算，全部特征约简计算完毕，进入步骤43；

步骤43、获得多维向量特征全部经过约简后的图像一的特征点的特征。

上述图1中步骤1所述的图像一和图像二的特征点是采用如下步骤提取的：

步骤11、计算图像中每个象素的平均梯度平方矩阵如下：

$N(x,y)=\left[\begin{array}{cc}{\left(\frac{\∂I}{\∂x}\right)}^2& \frac{\∂I}{\∂x}\frac{\∂I}{\∂y}\\ \frac{\∂I}{\∂x}\frac{\∂I}{\∂y}& {\left(\frac{\∂I}{\∂x}\right)}^2\end{array}\right],$

其中I为图像中位置(x，y)处的灰度值，当某点对应的平均梯度平方矩阵的两个特征值较大，那么该点附近有较大的灰度级变化，选取该点作为一个特征点，特征点响应函数为：

R＝det(N)-k(trace(N))²，

其中det(N)为矩阵的行列式值，trace(N)为矩阵N的迹，k为0.04；

按R值对图像中的象素点进行降序排序，构成一个数列，确定一个所需特征点个数F，然后取数列中前F个象素点为特征点，通过匹配结果可以不断调整F。

步骤12、对图像中的象素点(i，j)，分别计算在水平、垂直、左对角和右对角方向上与相邻像素象素值的差的平方和，并取最小值作为该像点特征的初值；

H＝(f(i，j)-f(i，j-1))²+(f(i，j)-f(i，j+1))²，

V＝(f(i，j)-f(i-1，j))²+(f(i，j)-f(i+1，j))²，

L＝(f(i，j)-f(i-1，j-1))²+(f(i，j)-f(i+1，j+1))²，

R＝(f(i，j)-f(i-1，j+1))²+(f(i，j)-f(i+1，j-1))²，

令F(i，j)＝min{H，V，L，R}，将图像划分为大小为n×m的互不重叠的区域Wp，q，计算坐标(x，y)，其计算公式如下：

$(x,y)=\underset{(i,j)\∈W_{p,q}}{\arg \max }\left(F(i,j)\right),$

并定义坐标(x，y)上的特征图像值为：

$F(x,y)=\underset{(i,j)\∈W_{p,q}}{\max }\left(F(i,j)\right),$

为进一步消除噪声，指定一阈值d，重新设计特征图像值如下：

$G(x,y)=\left\{\begin{array}{cc}F(x,y),& F(x,y)>d\\ 0,& F(x,y)\≤d\end{array}\right.,$

当G(x，y)大于0，则(x，y)就是对应的特征点。

步骤13、对图像一或图像二，根据以上步骤11得到特征点列T1中每个特征点对应的R值，由步骤12，得到另一特征点列T2和每个特征点对应的G值；对在T1中而不在T2中的特征点，根据步骤12获得其G值；对在T2中而不在T1中的特征点，根据步骤11获得其R值，使T1和T2中的所有特征点都具有G和R值；

将T1和T2中的所有特征点作为图像一或图像二的特征点，分别组成图像一和图像二的特征点列T_S和Tr；

对图像一的特征点按(G+R)的和值进行降序排列，排在前面的特征点其特征显著，取图像一前m个显著特征点组成图像一的显著特征点列，记为T_l。

对于上述图像一的特征点列T_S和图像二的特征点列Tr中的特征点采用如下步骤进行参数描述和计算，其步骤如下：

步骤14、计算特征点及相邻点的象素点值

设特征点位置为(i，j)，以(i，j)为中心，3×3象素区域，直接可得特征点及相邻点的象素值向量如下：

WF(i，j)＝(I(i，j)，I(i-1，j)，I(i+1，j)，I(i-1，j-1)，I(i-1，j)，I(i-1，j+1)，I(i+1，j-1)，I(i+1，j)，I(i+1，j+1))，

即W(i，j)为3×3区域中象素点值

步骤15、计算特征点一阶梯度信息

设特征点位置为(i，j)，该点在x方向和y方向的导数gx(i，j)，gy(i，j)分别计算如下：

$g_x(i,j)=\frac{1}{2}((f(i,j)-f(i-1,j))+(f(i+1,j)-f(i,j))),$

$g_y(i,j)=\frac{1}{2}((f(i,j)-f(i,j-1))+(f(i,j+1)-f(i,j))),$

计算梯度权值D(i，j)和方向θ(i，j)，其计算如下：

$D(i,j)=\sqrt{g_x{(i,j)}^2+g_y{(i,j)}^2},$

$\mathrm{\θ}(i,j)=\frac{g_y(i,j)}{g_x(i,j)},$

这样就获得特征点(i，j)的梯度信息向量如下：

DF(i，j)＝(g_x(i，j)，g_y(i，j)，D(i，j)，θ(i，j))，

步骤16、根据步骤14和步骤15获得特征点(i，j)参数描述多维向量如下：

DS(i，j)＝(WF(i，j)，DF(i，j))，

DS(i，j)是一个13维向量，为方便描述，记为

DS(i，j)＝(w1，w2，…，w13)。

步骤17、对图像一、图像二中的特征点列中的特征点，根据步骤14-16，计算所有特征点的参数描述的多维向量

DF(i，j)＝(g_x(i，j)，g_y(i，j)，D(i，j)，θ(i，j))

步骤18、取图像一的显著特征点列T_l，即T_l[1，2，…，m]，设T_l中特征点t的参数化描述向量为(t₁，t₂，....，t₁₃)，图像二的特征点列Tr中的特征点s的参数化描述向量为(s₁，s₂，...，s₁₃)，则t与s之间的相似性计算如下：

$S(t,s)=1-\frac{\underset{i=1}{\overset{13}{\mathrm{\Σ}}}{t}_i{s}_i}{\sqrt{\underset{i=1}{\overset{13}{\mathrm{\Σ}}}{t_i}^2}\sqrt{\underset{i=1}{\overset{13}{\mathrm{\Σ}}}{s_i}^2}}$

步骤19、按步骤18计算T_l[1，2，…，m]中每个特征点与图像二中所有特征点的相似度，图像二特征点列Tr的长度为l，由此可得到m×l的相似性矩阵如下：

MS＝(S(t，s))_m×l。

步骤20、根据一指定阈值GH，来获取T_l[1，2，…，m]中每个特征点t的候选匹配点集1，即SP(t)：

SP(t)＝{s|S(t，s)＞GH，s∈T_r}，

SP(t)表示与t相似度大于GH的图像二中的特征点，也表示了与t可能匹配的特征点集；根据相似矩阵MS的定义，计算SP(t)；{SP(t)}_{t∈T[1，2，...，m]}看作是粗糙领域关系系统；

步骤21、图像一的显著特征点t的描述参数是一个13维向量，将13维看作是13个特征，记为{1，2，…，13}，设F＝{1，2，…，13}，13个特征中在相似性计算方面存在冗余，冗余会导致相似性计算精度降低且执行效率低。为此，采用粗糙集理论中的约简方法对{1，2，…，13}进行约简，采用自上而下的约简方法，其具体步骤如下：从F中去掉任意一个特征i，让F＝F-{i}，再按照步骤18计算t与图像二的特征点列的特征点相似性，其公式如下：

$S(t,s)=1-\frac{\underset{i\∈F}{\mathrm{\Σ}}{t}_i{s}_i}{\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{t_i}^2}\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{s_i}^2}}$

步骤22、按步骤21计算的t的相似性，根据步骤20再次计算T_l[1，2，…，m]中每个特征点t的候选匹配点集2，记为

对

和{SP(t)}_{t∈T[1，2，...，m]}，定义：

$W=\frac{1}{2m}\×\underset{t\∈T_l[\mathrm{1,2},...,m]}{\mathrm{\Σ}}(\frac{|\mathrm{SP}\left(t\right)\∩S{P}^{*}\left(t\right)|}{\left|\mathrm{SP}\left(t\right)\right|}+\frac{|\mathrm{SP}\left(t\right)\∩{\mathrm{SP}}^{*}\left(t\right)|}{\left|S{P}^{*}\left(t\right)\right|}),$

其中W描述了

与{SP(t)}_{t∈T[1，2，...，m]}之间的差异程度，其值越大，差异越小。

如果W小于某指定的阈值，即差异大，让F＝F∪{i}，即不能去掉特征i，否则去掉特征i。

步骤23、重复步骤21、22，直到F中不能再去掉特征为止，得到约简后的特征F。

步骤24、在约简后的特征F上计算图像一的特征点列T_S的所有特征点与图像二的特征点列Tr的所有特征点的相似性：：

$S(t,s)=1-\frac{\underset{i\∈F}{\mathrm{\Σ}}{t}_i{s}_i}{\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{t_i}^2}\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{s_i}^2}}$

由此相似性及步骤20计算出经过特征约简后的图像一的特征点列的每个特征点在图像二的候选匹配点集，记为SP(t)。

根据以上比较步骤的结果，再按如下方法对检测图像一和候选匹配图像二是否匹配进行判定：

所述图像二中的候选匹配点集的基数等于1，则其为图像一的特征点的匹配点；如果图像二中的候选匹配点集基数大于1，则选择候选匹配点集中与图像一的特征点最相似的特征点为匹配点；如果候选匹配点集的基数等于0，则图像二中没有与图像一的特征点匹配的特征点。

图4是本发明的一种图像立体匹配装置示意图，包括：

图形识别器，用于识别检测图像一和候选匹配图像二的特征点；识别出来的特征点分别组成图像一、图像二的特征点列T_S、Tr，对图像一特征点列的特征点按特征点值进行降序排序，排位在前面的特征点组成一个显著特征点列T_l；

多维向量识别器，用于对上述特征点列的特征点使用灰度信息、多阶梯度信息、曲率变化函数进行描述，计算图像一和图像二的特征参数描述信息，获得特征点参数描述的多维向量特征，每一维向量代表特征点的一个特征；

数据优化器，用于约简图像一的显著特征点列的每个特征点参数描述的多维向量特征，具体如下：

步骤1-1比较上述图像一的显著特征点列的特征点的参数描述的多维向量特征与图像二的特征点的参数描述的多维向量特征的相似性，获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集1；

步骤1-2将图像一中显著特征点列的其中一个特征点的多维向量特征任意去掉一个特征；比较约简后的图像一的特征点的参数描述的多维向量特征与图像二的特征点的参数描述的多维向量特征的相似性，获得约简后图像一的显著特征点列的每个特征点在图像二中的候选匹配点集2；

步骤1-3将所述匹配点集1和2进行比较，如果二者差异较大，表明所去掉的特征点的特征显著，不能去掉该特征，如果差异较小，去掉该特征；

重复以上所述步骤1-2、1-3，直到不能再去掉图像一的显著特征点列的每个特征点的多维向量特征为止，得到约简后的特征F；

在约简后的特征F上计算图像一的特征点列T_S的所有特征点与图像二的特征点列Tr的所有特征点的相似性；获得图像一的特征点列的每个特征点在图像二中的候选匹配点集；

分类器，用于对以上比较结果进行分类，所述图像二中的候选匹配点集的基数等于1，则其为图像一的特征点的匹配点；如果图像二中的候选匹配点集基数大于1，则选择候选匹配点集中与图像一的特征点最相似的特征点为匹配点；如果候选匹配点集的基数等于0，则图像二中没有与图像一的特征点匹配的特征点。

和现有技术比较，本发明对立体图像匹配具有较高的匹配精度和效率。

Claims (10)

1、一种图像立体匹配方法，其特征在于，包括如下步骤：

步骤1、提取图像中检测图像一和候选匹配图像二的特征点，分别组成图像一、图像二的特征点列，对图像一的特征点列的特征点按特征点值进行降序排序，排位在前面的特征点组成一个显著特征点列；

步骤2、对上述特征点列的特征点使用多种参数描述，计算图像一和图像二的特征参数描述信息，获得特征点参数描述的多维向量，每一维向量代表特征点的一个特征；

步骤3、按以下步骤对图像一的显著特征点列的每个特征点参数描述的多维向量进行约简：

步骤31、计算图像一中显著特征点列的每个特征点与图像二的特征点的相似性；

步骤32、根据指定一阈值获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集1；

步骤33、对图像一中显著特征点列的其中一个特征点的多维向量特征任意去掉一个特征；重复步骤31、32，计算约简后的特征点与图像二的特征点列的特征点相似性；指定一阈值，获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集2；

步骤34、将候选匹配点集1与候选匹配点集2进行比较，如果二者差异较大，表明所去掉的特征点的特征显著，不能去掉该特征，如果差异较小，去掉该特征；

步骤35、重复以上步骤33、34，直到不能再对图像一的显著特征点列的每个特征点的特征进行约简为止；

步骤4、重复步骤31、32，计算多维向量约简后的图像一的特征点列的特征点与图像二的特征点列的特征点的相似性；指定一阈值，获得图像一的特征点列的每个特征点在图像二中的候选匹配点集；

步骤5、根据以上比较步骤的结果，判定检测图像一和候选匹配图像二是否匹配。

2、根据权利要求1所述的图像立体匹配方法，其特征在于，上述步骤2所述的特征点列的特征点的多种参数描述至少包括灰度信息、多阶梯度信息、曲率变化函数。

3、根据权利要求2所述的图像立体匹配方法，其特征在于，上述步骤3的对图像一的显著特征点列的每个特征点参数描述的多维向量进行约简的方法是使用粗糙集约简方法对特征点参数描述的多维向量进行约简，得到约简后的特征点参数描述的多维向量。

4、根据权利要求1、2或3所述的图像立体匹配方法，其特征在于，上述步骤1所述的图像一和图像二的特征点是采用如下步骤提取的：

(4-1)计算图像中每个象素的平均梯度平方矩阵如下：

$N(x,y)=\left[\begin{array}{cc}{\left(\frac{\∂I}{\∂x}\right)}^2& \frac{\∂I}{\∂x}\frac{\∂I}{\∂y}\\ \frac{\∂I}{\∂x}\frac{\∂I}{\∂y}& {\left(\frac{\∂I}{\∂x}\right)}^2\end{array}\right],$

其中I为图像中位置(x，y)处的灰度值，当某点对应的平均梯度平方矩阵的两个特征值较大，那么该点附近有较大的灰度级变化，选取该点作为一个特征点，特征点响应函数为：

R＝det(N)-k(trace(N))².

其中det(N)为矩阵的行列式值，trace(N)为矩阵N的迹，k为0.04；

按R值对图像中的象素点进行降序排序，构成一个数列，确定一个所需特征点个数F，然后取数列中前F个象素点为特征点，通过匹配结果不断调整F；(4-2)对图像中的象素点(i，j)，分别计算在水平、垂直、左对角和右对角方向上与相邻像素象素值的差的平方和，并取最小值作为该像点特征的初值；

H＝(f(i，j)-f(i，j-1))²+(f(i，j)-f(i，j+1))².

V＝(f(i，j)-f(i-1，j))²+(f(i，j)-f(i+1，j))².

L＝(f(i，j)-f(i-1，j-1))²+(f(i，j)-f(i+1，j+1))².

R＝(f(i，j)-f(i-1，j+1))²+(f(i，j)-f(i+1，j-1))².

令F(i，j)＝min{H，V，L，R}，将图像划分为大小为n×m的互不重叠的区域Wp，q，计算坐标(x，y)，其计算公式如下：

$(x,y)=\underset{(i,j)\∈W_{p,q}}{\arg \max }\left(F(i,j)\right),$

并定义坐标(x，y)上的特征图像值为：

$F(x,y)=\underset{(i,j)\∈W_{p,q}}{\max }\left(F(i,j)\right),$

为进一步消除噪声，指定一阈值d，重新设计特征图像值如下：

$G(x,y)=\left\{\begin{array}{cc}F(x,y),& F(x,y)>d\\ 0,& F(x,y)\≤d\end{array}\right.,$

当G(x，y)大于0，则(x，y)就是对应的特征点；

(4-3)对图像一或图像二，根据以上步骤(4-1)得到特征点列T1中每个特征点对应的R值，由步骤(4-2)，得到另一特征点列T2和每个特征点对应的G值；对在T1中而不在T2中的特征点，根据步骤(4-2)获得其G值；对在T2中而不在T1中的特征点，根据步骤(4-1)获得其R值，使T1和T2中的所有特征点都具有G和R值；

将T1和T2中的所有特征点作为图像一或图像二的特征点，分别组成图像一和图像二的特征点列T_S和Tr；

对图像一的特征点按(G+R)的和值进行降序排列，排在前面的特征点其特征显著，取图像一前m个显著特征点组成图像一的显著特征点列，记为T_l。

5、根据权利要求4所述的图像立体匹配方法，其特征在于，对于上述图像一的特征点列T_S和图像二的特征点列Tr中的特征点采用如下步骤进行参数描述和计算：

(5-1)计算特征点及相邻点的象素点值

设特征点位置为(i，j)，以(i，j)为中心，3×3象素区域，直接可得特征点及相邻点的象素值向量如下：

WF(i，j)＝(I(i，j)，I(i-1，j)，I(i+1，j)，I(i-1，j-1)，I(i-1，j)，I(i-1，j+1)，I(i+1，j-1)，I(i+1，j)，I(i+1，j+1))，

即W(i，j)为3×3区域中象素点值；

(5-2)计算特征点一阶梯度信息

设特征点位置为(i，j)，该点在x方向和y方向的导数gx(i，j)，gy(i，j)分别计算如下：

$g_x(i,j)=\frac{1}{2}((f(i,j)-f(i-1,j))+(f(i+1,j)-f(i,j))),$

$g_y(i,j)=\frac{1}{2}((f(i,j)-f(i,j-1))+(f(i,j+1)-f(i,j))),$

计算梯度权值D(i，j)和方向θ(i，j)，其计算如下：

$D(i,j)=\sqrt{g_x{(i,j)}^2+g_y{(i,j)}^2},$

$\mathrm{\θ}(i,j)=\frac{g_y(i,j)}{g_x(i,j)},$

这样就获得特征点(i，j)的梯度信息向量如下：

DF(i，j)＝(g_x(i，j)，g_y(i，j)，D(i，j)，θ(i，j))；

(5-3)根据步骤(5-1)和步骤(5-2)获得特征点(i，j)参数描述多维向量如下：

DS(i，j)＝(WF(i，j)，DF(i，j))，

DS(i，j)是一个13维向量，为方便描述，记为

DS(i，j)＝(w1，w2，…，w13)；

(5-4)对图像一、图像二中的特征点列中的特征点，根据步骤(5-1)、步骤(5-2)和步骤(5-3)，计算所有特征点的参数描述的多维向量

DF(i，j)＝(g_x(i，j)，g_y(i，j)，D(i，j)，θ(i，j))。

6、根据权利要求5所述的图像立体匹配方法，其特征在于，上述步骤31所述的图像一中显著特征点列T_l的每个特征点与图像二的特征点列Tr的特征点按以下步骤进行相似性计算：

(6-1)取图像一的显著特征点列T_l，即T_l[1，2，…，m]，设T_l中特征点t的参数化描述向量为(t₁，t₂，....，t₁₃)，图像二的特征点列Tr中的特征点s的参数化描述向量为(s₁，s₂，...，s₁₃)，则t与s之间的相似性计算如下：

$S(t,s)=1-\frac{\underset{i=1}{\overset{13}{\mathrm{\Σ}}}{t}_i{s}_i}{\sqrt{\underset{i=1}{\overset{13}{\mathrm{\Σ}}}{t_i}^2}\sqrt{\underset{i=1}{\overset{13}{\mathrm{\Σ}}}{s_i}^2}};$

(6-2)按步骤(6-1)计算T_l[1，2，…，m]中每个特征点与图像二中所有特征点的相似度，图像二特征点列Tr的长度为1，由此可得到m×1的相似性矩阵如下：

MS＝(S(t，s))_m×l。

7、根据权利要求5所述的图像立体匹配方法，其特征在于，上述步骤32、33、34、35的具体步骤如下：

(7-1)根据一指定阈值GH，来获取T_l[1，2，…，m]中每个特征点t在图像二中的候选匹配点集1，即SP(t)：

SP(t)＝{s|S(t，s)＞GH，s∈T_r}

SP(t)表示与t相似度大于GH的图像二中的特征点，也表示了与t可能匹配的特征点集；根据相似矩阵MS的定义，计算SP(t)；{SP(t)}_{t∈T[1，2，...，m]}看作是粗糙领域关系系统；

(7-2)图像一的显著特征点t的描述参数是一个13维向量，将13维看作是13个特征，记为{1，2，…，13}，设F＝{1，2，…，13}，从F中去掉任意一个特征i，让F＝F-{i}，再按照步骤(6-1)计算t与图像二的特征点列的特征点相似性，其公式如下：

$S(t,s)=1-\frac{\underset{i\∈F}{\mathrm{\Σ}}{t}_i{s}_i}{\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{t_i}^2}\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{s_i}^2}};$

(7-3)按步骤(7-2)计算的t的相似性，根据步骤(7-1)再次计算T_l[1，2，…，m]中每个特征点t的候选匹配点集2，记为 ${\left\{S{P}^{*}\left(t\right)\right\}}_{t\∈T_l[\mathrm{1,2},...,m]};$

对 ${\left\{S{P}^{*}\left(t\right)\right\}}_{t\∈T_l[\mathrm{1,2},...,m]}$ 和{SP(t)}_{t∈T[1，2，...，m]}，定义：

$W=\frac{1}{2m}\×\underset{t\∈T_l[\mathrm{1,2},...,m]}{\mathrm{\Σ}}(\frac{|\mathrm{SP}\left(t\right)\∩{\mathrm{SP}}^{*}\left(t\right)|}{\left|\mathrm{SP}\left(t\right)\right|}+\frac{|\mathrm{SP}\left(t\right)\∩{\mathrm{SP}}^{*}\left(t\right)|}{\left|{\mathrm{SP}}^{*}\left(t\right)\right|}),$

其中W描述了 ${\left\{S{P}^{*}\left(t\right)\right\}}_{t\∈T_l[\mathrm{1,2},...,m]}$ 与{SP(t)}_{t∈T[1，2，...，m]}之间的差异程度，其值越大，差异越小；

如果W小于某指定的阈值，让F＝F∪{i}，即不能去掉特征i，否则去掉特征i；

(7-4)重复步骤(7-2)和步骤(7-3)，直到F中不能再去掉特征为至，得到约简后的特征F。

8、根据权利要求7所述的图像立体匹配方法，其特征在于，所述步骤4的候选匹配点集获取方法如下：

在约简后的特征F上计算图像一的特征点列T_S的所有特征点与图像二的特征点列Tr的所有特征点的相似性：

$S(t,s)=1-\frac{\underset{i\∈F}{\mathrm{\Σ}}{t}_i{s}_i}{\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{t_i}^2}\sqrt{\underset{i\∈F}{\mathrm{\Σ}}{s_i}^2}}$

由此相似性及步骤(7-1)计算出经过特征约简后的图像一的特征点列的每个特征点在图像二的候选匹配点集，记为SP(t)。

9、根据权利要求8所述的图像立体匹配方法，其特征在于，所述步骤5按如下方法对检测图像一和候选匹配图像二是否匹配进行判定：

所述图像二中的候选匹配点集的基数等于1，则其为图像一的特征点的匹配点；如果图像二中的候选匹配点集基数大于1，则选择候选匹配点集中与图像一的特征点最相似的特征点为匹配点；如果候选匹配点集的基数等于0，则图像二中没有与图像一的特征点匹配的特征点。

10、一种图像立体匹配装置，其特征在于，包括：

图形识别器，用于识别检测图像一和候选匹配图像二的特征点；识别出来的特征点分别组成图像一、图像二的特征点列T_S、Tr，对图像一特征点列的特征点按特征点值进行降序排序，排位在前面的特征点组成一个显著特征点列T_l；

多维向量识别器，用于对上述特征点列的特征点使用灰度信息、多阶梯度信息、曲率变化函数进行描述，计算图像一和图像二的特征参数描述信息，获得特征点参数描述的多维向量特征，每一维向量代表特征点的一个特征；

数据优化器，用于约简图像一的显著特征点列的每个特征点参数描述的多维向量特征，具体如下：

步骤1-1比较上述图像一的显著特征点列的特征点的参数描述的多维向量特征与图像二的特征点的参数描述的多维向量特征的相似性，获得图像一的显著特征点列的每个特征点在图像二中的候选匹配点集1；

步骤1-2将图像一中显著特征点列的其中一个特征点的多维向量特征任意去掉一个特征；比较约简后的图像一的特征点的参数描述的多维向量特征与图像二的特征点的参数描述的多维向量特征的相似性，获得约简后图像一的显著特征点列的每个特征点在图像二中的候选匹配点集2；

步骤1-3将所述匹配点集1和2进行比较，如果二者差异较大，表明所去掉的特征点的特征显著，不能去掉该特征，如果差异较小，去掉该特征；

重复以上所述步骤1-2、1-3，直到不能再去掉图像一的显著特征点列的每个特征点的多维向量特征为止，得到约简后的特征F；

在约简后的特征F上计算图像一的特征点列T_S的所有特征点与图像二的特征点列Tr的所有特征点的相似性；获得图像一的特征点列的每个特征点在图像二中的候选匹配点集；

分类器，用于对以上比较结果进行分类，所述图像二中的候选匹配点集的基数等于1，则其为图像一的特征点的匹配点；如果图像二中的候选匹配点集基数大于1，则选择候选匹配点集中与图像一的特征点最相似的特征点为匹配点；如果候选匹配点集的基数等于0，则图像二中没有与图像一的特征点匹配的特征点。

Images