CN101639895A - 基于Similarity-Pictorial结构模型的计算机视觉图像特征提取和匹配方法 - Google Patents

Abstract

一种基于Similarity－Pictorial结构模型的计算机视觉图像特征提取和匹配方法，包括以下步骤：1)将待提取的计算机视觉图像建立PS模型，PS模型的代价函数包appearance代价函数和结构代价函数；2)在待提取的计算机视觉图像中，用顶点的绝对坐标lⁱ来表示顶点，并随机的选择其中的一个点作为原点，其他所有点和原点之间的相对关系是确定的；一旦m和D确定下来，PS模型中的结构代价函数t_ij(v_i，v_j)也就随之确定；3)将基于自相似描述子的模板匹配算法引入PS模型，4)找出代价函数L^*的最小值，即确定计算机视觉图像的匹配点。本发明能够适应不同的光照变化、具有良好的提取效果。

Description

基于Similarity-Pictorial结构模型的计算机视觉图像特征提取和匹配方法

技术领域

本发明涉及图像处理、生物医学、计算机视觉、计算方法，尤其是一种生计算机视觉图像特征提取和匹配方法。

背景技术

基于体视显微镜(Stereo Light Microscope，SLM)的显微立体视觉系统通过视觉反馈实现二维或三维的高精度自动定位、导航，挖掘微观领域的三维信息用于三维空间尺度的测量，在视觉引导、微操作、微装配及生物工程等领域有着广泛的应用前景。因此，对显微视觉的研究具有非常重要的意义。一般的图片处理包括以下内容：图像预处理，特征提取和匹配，三维重建。而特征提取和匹配是其中的重点和难点。本文中，我们对具有微结构的显微图像进行特征点的提取和匹配。由于本文研究的显微图像是有一些线结构和面结构组成，所以在特征的提取时具有一定的针对性。显微图像跟一般尺度的图像相比具有一些特征，比如说显微图像一般存在着边缘模糊、几何畸变、受噪声(一般受到光照的影响比较严重)污染严重的问题。这些都会给特征的提取和匹配带来一系列的问题，很多常见的特征点的提取算法对正常尺度的图像中能够进行很好的处理，而不能够应用在我们的显微图像中。

至今为止，已经有很多特征点提取和匹配的算法了，如harris，1988，哈里斯和斯蒂芬在艾尔文视觉会议上第189-192页发表的文章“一种角点和边界点的检测子”(Acombined comer and edge detector)；SUSAN，1997年，斯密斯和布瑞德在计算机视觉国际期刊上第23卷第1期的45-78页发表的文章“SUSAN——一种新的低层次的图像处理方法”(SUSAN-a new approach to low level imageprocessing)和SIFT在2004年，罗威在计算机国际期刊第60卷第2期的第91-110页发表的文章“一种基于尺度不变关键点的独特的图像特征”(Distinctive ImageFeatures from Scale-Invariant Keypoints)。在2004，C.Schmid等人对以往的很多特征检测子和局部描述子进行了对比实验，并且对它们的提取匹配效果进行了大量的实验，并找出了各自的适用图片和效果。这些检测子和描述子有：invariantfeatures 2005年，米克来和斯密特在IEEE模式分析与机器智能汇刊第27卷10期的1615-1630页发表的文章“局部描述子的性能评估”(A performance evaluationof local descriptors)，Harris-Affine detector 2004年，米克来和斯密特在计算机视觉国际期刊第60卷第1期的63-86页发表的文章“尺度和仿射不变的兴趣点检测子”(Scale and affine invariant interest point detectors)，shape context 2002年，Belongie等人在IEEE模式分析与机器智能汇刊的24卷第4期的509-522页发表的论文“基于shape contexts的形状匹配的对象识别”(Shape matching and objectrecognition using shape contexts)，complex filters 1991年，弗里曼等人在IEEE模式分析与机器智能汇刊的13卷第9期的891-906页发表的论文“可调滤波器的设计和应用”(The design and use of steerable filters)，PCA-SIFT在2004年，肯尼亚等人CVPR第506-513页发表的论文“在PCA-SIFT：一种独特用来表示局部图像的描述子”(PCA-SIFT：a More Distinctive Representation for Local ImageDescriptors)，differential invariants在1987年，Koenderink等人在生物控制论的第367-375页发表的论文“视觉系统中局部几何的表示法”(Representation of localgeometry in the visual system)，spin images 2003年，Lazebnik等人在CVPR的第319-324页发表的文章“基于仿射不变领域的稀疏纹理表示法”(Sparse texturerepresentation using afine-invariant neighborhoods)，SIFT在2004年，罗威在计算机国际期刊第60卷第2期的第91-110页发表的文章“一种基于尺度不变关键点的独特的图像特征”(Distinctive Image Features from Scale-Invariant Keypoints)，complex filters[11]2002年，Schaffalitzky和Zisserman在第七届ECCV上第414-431页发表的文章“无序图集的多视角匹配”(Multi-view matching for unordered imagesets)，moment invariants在1996年，Van Gool等人在ECCV′96的第642-651页发表的论文“平面灰度模式的仿射/光度不变性”(Affine/photometric invariants forplanar intensity patterns)。首先，本人已经对所有这些算法进行了测试，但是无法很好的得到我们需要的特征点的检测和匹配。因为这些算法找到的点都是杂乱无章的，不能够正好找到所有反映结构信息的特征点。

既然传统的特征点提取匹配算法不能够有效的达到目的，我们就考虑应用Pictorial Structure(PS)算法2005年，Pedro等人在计算机国际期刊的61卷6期的第55-79页发表的论文“基于图形结构的对象识别”(Pictorial Structures forObject Recognition)，PS(Pictorial structure)算法有一系列的区域组成，这些区域之间的空间关系构成一些空间结构。PS模型可以有一个图表公式G＝(V，E)来表示，其中V＝{v₁，v₂，v₃...，v_n}表示相应的区域，而{v_i，v_j}∈E表示两个相连的区域v_i和v_j的关系。一个目标物可以由结构L＝(l₁，l₂...，l_n)来表示，这里的l_i表示每个区域v_i的位置，在PS的匹配过程中，有两个方面需要考虑，一个是appearance匹配代价函数a_i(I，l)，它表示当区域定位在位置l时与图像I的匹配度。在2005年，Pedro等人在计算机国际期刊的61卷6期的第55-79页发表的论文“基于图形结构的对象识别”(Pictorial Structures for Object Recognition)中，仅仅用了简单的像素匹配。另一个需要考虑的代价函数是结构匹配代价函数，这个表示不同区域定位在不同位置时，相互连接的区域间的代价函数t_ij(v_i，v_j)表示当区域v_i定位在l_i和区域v_j定位在l_j时，它们和原模型的匹配度。因此，PS的代价函数包括两个部分(appearance代价函数和structure代价函数)：

$L^{*}=\arg \min (\underset{v_i\∈V}{\mathrm{\Σ}}{a}_i(I,l_j)+\underset{(v_i,v_j)\∈E}{\mathrm{\Σ}}{t}_{\mathrm{ij}}(l_i,l_j))---\left(1\right)$

如果我们找出了这个代价函数L×的最小值，最佳的匹配点也就确定了。

因为微结构显微图像结构上的点与点之间具有一定的空间关系。当我们刚刚应用PS算法对我们的显微图像(很小的光照变化)进行特征点的提取时，得到了非常完美的结果，图1显示了特征点检测和匹配的结果，从图中我们看到，图像中我们需要检测的6个特征点都得到了检测，而且这种匹配能够适应较小的光照变化和旋转。但是，图像的光照变化非常严重时，PS算法就不能够得到很好的结果了。图2左右两幅图的光照变化非常严重，当我们能够对左图进行很好的特征点提取时，右图的特征点提取效果非常差。

发明内容

为了克服已有的图像特征提取和匹配方法的无法适应光照变化、提取效果差的不足，本发明提供一种能够适应不同的光照变化、具有良好的提取效果的基于Similarity-Pictorial结构模型的计算机视觉图像特征提取和匹配方法。

本发明解决其技术问题所采用的技术方案是：

一种基于Similarity-Pictorial结构模型的计算机视觉图像特征提取和匹配方法，包括以下步骤：

1)、将待提取的计算机视觉图像建立PS模型，PS模型的代价函数L^*包括appearance代价函数和结构代价函数，参照计算式(1)：

$L^{*}=\arg \min (\underset{v_i\∈V}{\mathrm{\Σ}}{a}_i(I,l_j)+\underset{(v_i,v_j)\∈E}{\mathrm{\Σ}}{t}_{\mathrm{ij}}(l_i,l_j))---\left(1\right);$

其中，a_i(I，l_j)表示appearance代价函数，是指当区域v_i定位在位置l时与图像I的匹配度，t_ij(l_i，l_j)表示结构代价函数，是指区域v_i定位在l_i和区域v_j定位在l_j时与图像I的匹配度；

2)在待提取的计算机视觉图像中，用顶点的绝对坐标l_i来表示顶点，并随机的选择其中的一个点作为原点，其他所有点和原点之间的相对关系是确定的，与它们原点的关系用以下向量表示：

m_i(x)＝x_i-x₀                                    (3)

m_i(y)＝y_i-y₀                                    (4)

$m\left(x\right)=1/n*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{m}_i\left(x\right)---\left(5\right)$

$m\left(y\right)=1/n*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{m}_i\left(y\right)---\left(6\right)$

$D_{\mathrm{xi}}=1/(n-1)*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(m_i\left(x\right)-m\left(x\right))}^2---\left(7\right)$

$D_{\mathrm{yi}}=1/(n-1)*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(m_i\left(y\right)-m\left(y\right))}^2---\left(8\right)$

其中，x₀，y₀表示原点的x，y坐标，x_i，y_i表示其他点的坐标，n表示被训练的对象的个数，m就表示离原点的距离均值，D表示离原点的距离方差；

一旦m和D确定下来，PS模型中的结构代价函数t_ij(l_i，l_j)也随之确定；所述的结构代价函数t_ij(l_i，l_j)简化为t_i(v_i)；结构代价函数t_i(v_i)通过对测试对象和训练对象进行比较得到：

$t_i\left(v_i\right)=-\log (2*\mathrm{\π}*D_{\mathrm{xi}}*D_{\mathrm{yi}})+0.5*(x_{\mathrm{di}}^2+y_{\mathrm{di}}^2)/\log (D_{\mathrm{xi}}+D_{\mathrm{yi}})---\left(9\right)$

其中，x_di＝m_i(x)-m’_i(x)，m’_i(x)表示测试图片中相应特征点的离原点的距离；m_i(x))；同理，y_di＝m_iy-m’_iy；

3)、将基于自相似描述子的模板匹配算法引入PS模型，具体有：

3.1)、对每个需要检测的特征点建立模板描述子T_i；先训练模板，既在每幅被训练的图片上标记需要找的结构上的特征点q_ij，简写q；对每个被标记的特征点做自相似描述子d_ij计算，转化为相关性平面相S_q(x，y)：

$S_q(x,y)\exp (-\frac{{\mathrm{SSD}}_q(x,y)}{\max ({\mathrm{var}}_{\mathrm{noise}},{\mathrm{var}}_{\mathrm{auto}}\left(q\right))})---\left(2\right)$

其中，SSD_q(x，y)是归一化的相关性平面，而var_noise是一个常数，对应于可接受的光度变化；var_auto(q)表示以q为中心的附近区域中与A的最大的方差值；

相关性平面SSD_q(x，y)转化到以q为中心的极坐标中，并且分成预设数量的位数，旋转每个位中的最大值，将旋转所有的最大值组成一个m×n的矩阵，即以q为中心的自相似描述子；

在计算完所有的被训练图片的特征点后，对所有相应的特征点的描述子，做平均值运算，得到每个特征的模板描述子为：

$T_i=1/n\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}---\left(10\right)$

其中，n表示被训练的图片数量，i表示每幅被训练图片上的第i个特征点，d_ij表示第j幅图上的第i个特征点的描述子；

T_i就是所有特征点的模板描述子；

3.2)、对所有测试图片做模板匹配算法：在模板匹配过程中，采用每个1个像素点对测试图片进行描述子运算；

3.3)、在被测试图片上寻找与模板描述子较相似的所有点：通过对被测试描述子和T_i进行欧式距离计算，距离最小的描述子是相似区域，其中心点就是候选特征点，把中心点的坐标记录下来，并且把它与模板描述子之间的欧式距离也记录下来，记为a_i(I，I_j)，然后对它归一化，确定appearance代价函数a_i(I，l_j)；

4)、找出代价函数L^*的最小值，即确定计算机视觉图像的匹配点。

本发明的技术构思为：自相似描述子由Shechtman和Irani在2007提出，2007年，Shechtman等人在CVPR2007的1744-1751页发表的论文“在图像和视频中匹配局部自相似子”(Matching Local Self-Similarities across Images and Videos)。

局部自相似描述子d_q的具体表示方法如下。d_q表示用点q周围的图像区域(这个图像区域可以根据我们的需要来确定，本文采用了半径30个像素点的区域)来表示点q。图3表示了一个自相似描述子产生的全过程，q是一幅图像上的一个像素点，自相似描述子以像素点q为中心，其中小正方形区域表示以q为中心的一个很小的图像区域A(一般为5×5，3×3)。而大正方形区域表示以q为中心的一个较大的图像区域B(一般为30×30，40×40)。首先，小的图像区域A对大的像素区域B做差的平方和(SSD)。当输入的图像为彩色图像是，我们首先用CIE把图像转化到L×a×b空间。然后，对相关平面correlation surface归一化以消除光照的影响。最终，把归一化的相关平面correlation surface转化为一个“相关性平面”S_q(x，y)：

$S_q(x,y)\exp (-\frac{{\mathrm{SSD}}_q(x,y)}{\max ({\mathrm{var}}_{\mathrm{noise}},{\mathrm{var}}_{\mathrm{auto}}\left(q\right))})---\left(2\right)$

其中的SSD_q(x，y)是一个归一化的相关性平面，而var_noise是一个常数，对应于可接受的光度变化(颜色，光照或者噪声)，本文中我们采用150。var_auto(q)表示以q为中心的附近区域中与A的最大的方差值。

相关性平面SSD_q(x，y)可以转化到以q为中心的极坐标中，并且分成20×4位(m＝20角度，n＝4半径)。我们旋转每个位中的最大值(这样可以使描述子很好的适应柔性扭曲)。我们旋转所有的最大值组成一个m×n的矩阵，这就是以q为中心的自相似描述子。最终，对这个描述子中的所有值进行归一化。

本发明的有益效果主要表现在：能够适应不同的光照变化、具有良好的提取效果。

附图说明

图1是现有技术中用PS算法对光照变化小的图像提取匹配特征点的示意图。

图2是现有技术中PS算法对光照变化大的图像提取匹配特征点的示意图。

图3是自详细描述子提取的示意图。

图4是字母“3”上需要提取的特征点示意图。

图5是关键点之间的空间关系示意图。

图6是以q为中心的模板示意图。

图7是用现有的PS算法找到的结构上的特征点示意图。

图8是用本发明的Similarity-Pictorial结构模型找到的结构上的特征点示意图。

图9是每个特征点偏离实际检测点的距离示意图，横坐标表示第几个关键点，横坐标上总共500个关键点，纵坐标表示用本文方法找到的点远离实际点的距离，单位是像素个数。

图10是累积误差的示意图，横坐标表示第几个关键点，横坐标上总共500个关键点，纵坐标表示前面所有点偏离实际点距离的累积值，单位是像素个数。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图4～图8，一种基于Similarity-Pictorial结构模型的计算机视觉图像特征提取和匹配方法，包括以下步骤：

1)、将待提取的计算机视觉图像建立PS模型，PS模型的代价函数L^*包括appearance代价函数和结构代价函数，参照计算式(1)：

$L^{*}=\arg \min (\underset{v_i\∈V}{\mathrm{\Σ}}{a}_i(I,l_j)+\underset{(v_i,v_j)}{\mathrm{\Σ}}{t}_{\mathrm{ij}}(l_i,l_j))---\left(1\right);$

其中，a_i(I，l_j)表示appearance代价函数，是指当区域v_i定位在位置l时与图像I的匹配度，t_ij(l_i，l_j)表示结构代价函数，是指区域v_i定位在l_i和区域v_j定位在l_j时与图像I的匹配度；

2)在待提取的计算机视觉图像中，用顶点的绝对坐标l_i来表示顶点，并随机的选择其中的一个点作为原点，其他所有点和原点之间的相对关系是确定的，与它们原点的关系用以下向量表示：

m_i(x)＝x_i-x₀                                    (3)

m_i(y)＝y_i-y₀                                (4)

$m\left(x\right)=1/n*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{m}_i\left(x\right)---\left(5\right)$

$m\left(y\right)=1/n*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{m}_i\left(y\right)---\left(6\right)$

$D_{\mathrm{xi}}=1/(n-1)*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(m_i\left(x\right)-m\left(x\right))}^2---\left(7\right)$

$D_{\mathrm{yi}}=1/(n-1)*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(m_i\left(y\right)-m\left(y\right))}^2---\left(8\right)$

其中，x₀，y₀表示原点的x，y坐标，x_i，y_i表示其他点的坐标，n表示被训练的对象的个数，m就表示离原点的距离均值，D表示离原点的距离方差；

一旦m和D确定下来，PS模型中的结构代价函数t_ij(l_i，l_j)也随之确定；所述的结构代价函数t_ij(l_i，l_j)简化为t_i(v_i)；结构代价函数t_i(v_i)通过对测试对象和训练对象进行比较得到：

$t_i\left(v_i\right)=-\log (2*\mathrm{\π}*D_{\mathrm{xi}}*D_{\mathrm{yi}})+0.5*(x_{\mathrm{di}}^2+y_{\mathrm{di}}^2)/\log (D_{\mathrm{xi}}+D_{\mathrm{yi}})---\left(9\right)$

其中，x_di＝m_i(x)-m’_i(x)，m’_i(x)表示测试图片中相应特征点的离原点的距离；m_i(x))；同理，y_di＝m_iy-m’_iy；

3)、将基于自相似描述子的模板匹配算法引入PS模型，具体有：

3.1)、对每个需要检测的特征点建立模板描述子T_i；先训练模板，既在每幅被训练的图片上标记需要找的结构上的特征点q_ij，简写q；对每个被标记的特征点做自相似描述子d_ij计算，转化为相关性平面相S_q(x，y)：

$S_q(x,y)=\exp (-\frac{{\mathrm{SSD}}_q(x,y)}{\max ({\mathrm{var}}_{\mathrm{noise}},{\mathrm{var}}_{\mathrm{auto}}\left(q\right))})---\left(2\right)$

其中，SSD_q(x，y)是归一化的相关性平面，而var_noise是一个常数，对应于可接受的光度变化；var_auto(q)表示以q为中心的附近区域中与A的最大的方差值；

相关性平面SSD_q(x，y)转化到以q为中心的极坐标中，并且分成预设数量的位数，旋转每个位中的最大值，将旋转所有的最大值组成一个m×n的矩阵，即以q为中心的自相似描述子；

在计算完所有的被训练图片的特征点后，对所有相应的特征点的描述子，做平均值运算，得到每个特征的模板描述子为：

$T_i=1/n\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}---\left(10\right)$

其中，n表示被训练的图片数量，i表示每幅被训练图片上的第i个特征点，d_ij表示第j幅图上的第i个特征点的描述子；

T_i就是所有特征点的模板描述子；

3.2)、对所有测试图片做模板匹配算法：在模板匹配过程中，采用每个1个像素点对测试图片进行描述子运算；

3.3)、在被测试图片上寻找与模板描述子较相似的所有点：通过对被测试描述子和Ti进行欧式距离计算，距离最小的描述子是相似区域，其中心点就是候选特征点，把中心点的坐标记录下来，并且把它与模板描述子之间的欧式距离也记录下来，记为a_i(I，l_j)，然后对它归一化，确定appearance代价函数a_i(I，l_j)；

4)、找出代价函数L^*的最小值，即确定计算机视觉图像的匹配点。

本实施例应用到微结构的图片中，用于结构上的特征点的提取和匹配。这些图片都在体视显微镜下拍摄而得，光源使用了CCS公司的环形光源。

实验1：对字母“3”结构上的6个特征点(其中4个在上表面，2个在右侧底面上)进行提取和匹配。我们共拍摄了50幅图片，这50幅图片可以分为两小组，第一小组是在比较好的光照情况下的图片效果，第二小组是在光照发生严重变化后的图片效果。所有图片都只进行了平移变换，几乎没有旋转变换，尺度也没有改变。

测试过程如下：1、在50幅图片中随机抽取3幅图片作为训练图片；2、从训练图片中得到shape代价函数和appearance代价函数；3、对50幅图片进行测试。结果用PS算法得到的特征点检测匹配结果如图7第一行所示，一般只有一组图片中的特征点能够得到很好的检测匹配(如图7第一行的左边两幅图)，而在另一组图片上几乎没法得到正确的结果(如图7第一行的右边两幅图)，而且错误特征点远远在误差范围内。PS算法在本次测试中比较不稳定，在多次测试后，发现PS方法只能在其中一组图中能得到好的效果，甚至两组都得不到好的结果，所以一般正确率在50％以下。而改进好的PS算法能够很好的解决上面的缺点，通过我们的算法，能够在两组图片上都得到较好的结果，如图8所示，测试结果平均正确率在80％以上，而且剩下的20％所检测到的特征点也在正确位置的附近，不会有很大的偏离。(需要做进一步的算法改进)。表1为正确率分析表。

实验序号	PS算法特征点检测匹配的平均正确率	我们算法特征点检测匹配的平均正确率	正确率提高率
				字母‘3’	25/50	40/50	30％
字母‘0’	52.8％	93.2％	40.4％

表1

图8第一行显示了改进后PS算法的结果，其中左边两幅图来自一种光照，右边两幅图在光照发生严重改变后拍摄所得。

实验2：本实验用以上方法对含有字母“O”的显微图像做了相同的实验。本实验中，共要检测和匹配10结构上的特征点，其中8个在字母“O”的上表面，另外2个在右侧面的底面上。获得的结果非常相似。见图7和图8的下面一行图。图7显示了PS算法的结果，其中左侧两幅图来自一种光照情况，PS算法能够非常精确的检测和匹配到特征点；而右侧幅图是在光照发生很大变化后的检测结果，特征点的检测匹配结果非常差。图8下面一行图片显示了改进的PS的实验结果，两组不同光照条件下的图片都能够得到很好的实验结果。

最后，我们对这两种算法的实验结果做了一个对比，如表1所示，两次实验的正确率分析，在本实验中，如果检测到的特征点跟实际点的距离超过3个像素点就认为是错误的特征点，实验结果表明，改进后的PS算法在特征点的检测上正确率大大的提高。实验一的正确率比PS算法提高了30％，第二次实验正确率提高了40.4％。这说明本文算法确实能够更好的适应光照变化非常严重的特征点提取匹配。本文算法能够在光照不变性上有如此的提高，主要得益于局部自相似描述子能够很好的描述图像中的局部结构，即使在光照变化很大的情况下，图像的局部结构还是没有发生什么变化的。因此，把局部自相似描述子引入PS算法，能够非常好的满足我们的需求。

接下来，我们进一步分析特征点定位的精确性，这里我们仅仅对实验二的精度做了分析。实验2中，进行测试的实验图片一共有50幅，每幅图片需要检测10个特征点，所以一共需要检测的特征点有500个。表2对两组图片的所有特征点做了精度分析，PS算法的精度非常低，本文的算法精度相对较高。表2.500个点精度分析表：

算法	检测点与实际点的距离(平均值±标准差，单位：像素)
		PS算法	18.1501±19.3713
改进的PS	1.6837±0.8319

表2

下面是对前25幅图250个特征点的检测结果的精度分析。表3(a)给出了检测点和实际点的偏差距离，前250个点精度分析，表3(b)给出了检测点和实际点在x，y坐标上偏离实际点的距离，前250个点精度分析。本文的算法比PS算法误差稍微大点(原因：我们在模板匹配时，是每隔1点匹配的，如果对每个点进行匹配，误差会大大减小。)

算法	检测点与实际点的距离(平均值±标准差，单位：像素)

PS算法	1.1484±0.6942
		改进的PS	1.5835±0.8650

表3(a)

算法	X坐标	Y坐标
			PS算法	0.7990±0.7038	0.6600±0.4820
改进的PS	1.1110±0.8416	0.9200±0.6845

表3(b)

下面是对后25幅图(与前25幅图像在光照条件不同)250个特征点的检测结果的精度分析。本实施例的算法跟PS算法相比，精度大大提高。PS算法在此几乎没有找到正确的特征点，而本实施例的算法点的平均误差距离为：1.7838±0.7864与1.5835±0.8650(前面25幅图像上的特征点的误差)几乎相同。

主要原因是：

传统的PS算法对光照变化不稳定，而本实施例的算法具有较好的光照不变性。表4(a)给出了检测点和实际点的偏差距离，后250个点精度分析，表3(b)给出了检测点和实际点在x，y坐标上偏离实际点的距离，后250个点精度分析。

表4.为后250个点精度分析(a)

算法	检测点与实际点的距离(平均值±标准差，单位：像素)
		PS算法	35.1518±13.0799
改进的PS	1.7838±0.7864

表4(a)

算法	X坐标	Y坐标
			PS算法	26.6530±10.8373	20.3310±12.8843
改进的PS	1.1530±0.8416	1.1570±0.7678

表4(b)

图9给出了每个特征点远离实际点的距离值，从图中能够非常直观的看出，本文的方法非常稳定，几乎每个的偏离标准位置都很稳定。而PS算法在前250个特征点的检测时非常稳定，而且精度也很高，但是在后250个点的检测时，远远的偏离了实际点坐标位置。图10给出了所有点的累计误差，从图中可以看出，在前250个特征点的检测时，PS算法略微优于本文算法，但是在后面250个特征点的检测时，远远的偏离的实际点。从这些数据的分析中，不难看出本文算法对光照变化的稳定性。

本实施例的改进的PS算法Similarity-Pictorial，用于微结构显微图像的结构特征点的提取和匹配。本文的方法能够非常好的提取到所有能够反映对象结构的特征点。由于微结构显微图像没有很多的纹理信息，一般的特征点检测匹配算法不能够满足本文的特征点检测需求。而传统的PS算法虽然能够很好的完成微结构显微图像对象结构上特征点的检测，但是它对光照变化非常敏感，因此，大量的错误检测结果会影响到匹配结果。为了解决这个问题，本文通过自相似描述子模板匹配算法先检测出特征候选点，再通过appearance和shape代价函数对特征候选点进行筛选，得到最佳特征点。实验结果显示，本文提出的算法能够很好的检测匹配微结构显微图像上的结构特征点，并且对尺度、光照变化和小幅度的旋转、仿射变化具有稳定性。

第一次进行结构特征点检测匹配算法的研究，本文还有许多不足之处需要改进。本文最主要的确定是：找到的特征点精度不是非常高，有一定的漂移。如何精确定位是本文迫切需要解决的问题。另一不足之处：本文算法不能够对所有角度图片试用(尽管它能够适应小角度的旋转和仿射变换)。这个问题在很多其他算法中同样存在，可以通过训练不同角度的图片解决。

Claims (1)

1、一种基于Similarity-Pictorial结构模型的计算机视觉图像特征提取和匹配方法，其特征在于：所述计算机视觉图像特征提取和匹配方法包括以下步骤：

1)、将待提取的计算机视觉图像建立PS模型，PS模型的代价函数L^*包括appearance代价函数和结构代价函数，参照计算式(1)：

$L^{*}=\arg \min (\underset{v_i\∈V}{\mathrm{\Σ}}{a}_i(I,l_j)+\underset{(v_i,v_j)\∈E}{\mathrm{\Σ}}{t}_{\mathrm{ij}}(l_i,l_j))---\left(1\right);$

其中，a_i(I，l_j)表示appearance代价函数，是指当区域v_i定位在位置1时与图像I的匹配度，t_ij(l_i，l_j)表示结构代价函数，是指区域v_i定位在l_i和区域v_j定位在l_j时与图像I的匹配度；

2)在待提取的计算机视觉图像中，用顶点的绝对坐标l_i来表示顶点，并随机的选择其中的一个点作为原点，其他所有点和原点之间的相对关系是确定的，与它们原点的关系用以下向量表示：

m_i(x)＝x_i-x₀                            (3)

m_i(y)＝y_i-y₀                            (4)

$m\left(x\right)=1/n*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{m}_i\left(x\right)---\left(5\right)$

$m\left(y\right)=1/n*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{m}_i\left(y\right)---\left(6\right)$

$D_{\mathrm{xi}}=1/(n-1)*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(m_i\left(x\right)-m\left(x\right))}^2---\left(7\right)$

$D_{\mathrm{yi}}=1/(n-1)*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(m_i\left(y\right)-m\left(y\right))}^2---\left(8\right)$

其中，x₀，y₀表示原点的x，y坐标，x_i，y_i表示其他点的坐标，n表示被训练的对象的个数，m就表示离原点的距离均值，D表示离原点的距离方差；

一旦m和D确定下来，PS模型中的结构代价函数t_ij(v_i，v_j)就随之确定；结构代价函数t_ij(l_i，l_j)简化为t_i(v_i)；结构代价函数t_i(v_i)通过对测试对象和训练对象进行比较得到：

$t_i\left(v_i\right)=-\log (2*\mathrm{\π}*D_{\mathrm{xi}}*D_{\mathrm{yi}})+0.5*(x_{\mathrm{di}}^2+y_{\mathrm{di}}^2)/\log (D_{\mathrm{xi}}+D_{\mathrm{yi}})---\left(9\right)$

其中，x_di＝m_i(x)-m’_i(x)，m’_i(x)表示测试图片中相应特征点的离原点的距离；m_i(x))；同理，y_di＝m_iy-m’_iy；

3)、将基于自相似描述子的模板匹配算法引入PS模型，具体有：

3.1)、对每个需要检测的特征点建立模板描述子T_i；先训练模板，既在每幅被训练的图片上标记需要找的结构上的特征点q_ij，简写q；对每个被标记的特征点做自相似描述子d_ij计算，转化为相关性平面相S_q(x，y)：

$S_q(x,y)=\exp (-\frac{{\mathrm{SSD}}_q(x,y)}{\max ({\mathrm{var}}_{\mathrm{noise}},{\mathrm{var}}_{\mathrm{auto}}\left(q\right))})---\left(2\right)$

其中，SSD_q(x，y)是归一化的相关性平面，而var_noise是一个常数，对应于可接受的光度变化；var_auto(q)表示以q为中心的附近区域中与A的最大的方差值；

相关性平面SSD_q(x，y)转化到以q为中心的极坐标中，并且分成预设数量的位数，旋转每个位中的最大值，将旋转所有的最大值组成一个m×n的矩阵，即以q为中心的自相似描述子；

在计算完所有的被训练图片的特征点后，对所有相应的特征点的描述子，做平均值运算，得到每个特征的模板描述子为：

$T_i=1/n\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}---\left(10\right)$

其中，n表示被训练的图片数量，i表示每幅被训练图片上的第i个特征点，d_ij表示第j幅图上的第i个特征点的描述子；

T_i就是所有特征点的模板描述子；

3.2)、对所有测试图片做模板匹配算法：在模板匹配过程中，采用每个2个像素点对测试图片进行描述子运算；

3.3)、在被测试图片上寻找与模板描述子较相似的所有点：通过对被测试描述子和T_i进行欧式距离计算，距离最小的描述子是相似区域，其中心点就是候选特征点，把中心点的坐标记录下来，并且把它与模板描述子之间的欧式距离也记录下来，记为a_i(I，l_j)，然后对它归一化，确定appearance代价函数a_i(I，l_j)；

4)、找出代价函数L^*的最小值，即确定计算机视觉图像的匹配点。

Images