CN106203342A - 基于多角度局部特征匹配的目标识别方法 - Google Patents

Abstract

本发明提出一种基于多角度局部特征匹配的目标识别方法，所述方法包括以下步骤：S1，获取不同角度的多张目标物体图像作为模板，并提取出模板图像中的兴趣点；S2，对所述模板图像中的兴趣点，采用特征描述方法计算兴趣点周围区域的局部特征；S3，对于要识别的目标图像，提取出图像的局部特征，与每一个模板图像中的局部特征两两进行匹配，得到粗略匹配的局部特征对；S4，对所述的粗略匹配的局部特征对，用随机抽样一致性(RANSAC)算法计算目标图像与模板图像之间的基础矩阵，并根据基础矩阵构建对极几何约束实现局部特征对的过滤，得到精确匹配的局部特征点对；S5，计算目标图像中的匹配局部特征点个数，如找到的特征点个数大于设定阈值，则识别成功，否则认为该目标物体与模板不匹配。

Description

基于多角度局部特征匹配的目标识别方法

技术领域

本发明涉及目标物体识别领域。

背景技术

基于局部特征匹配的目标识别方法已经广泛地应用于具有实时响应的机器视觉和人工智能领域，例如无人驾驶汽车、工业机器人定位以及商标图像检索等。其通过摄像头采集目标物体的图像，通过局部特征匹配方法，对图像中的目标物体进行识别和定位，将识别信号转换为操作信号，反馈给用户或终端。该技术在智能监控、人机接口、基于内容的视频检索和图像压缩等领域有着广阔的应用前景和潜在的经济价值和社会价值。因为目标物体在不同条件下变化差异较大，因此实现实时目标识别困难很大。

目前常用的实时目标识别方法大致可以划分为以下几种技术手段：

(1)基于模板匹配的目标识别方法：将目标物体的正面图像作为模板，使用与模板大小一致的滑动窗口，在要识别的视频帧图像中从上至下进行滑动，将滑动窗口内的图像与模板进行匹配，如果匹配结果小于阈值，则认为该目标物体在视频帧的位置出现。该方法难以应对物体发生尺寸形变、角度旋转等情况，因此其实际应用效果较差。

(2)基于局部特征匹配的目标识别方法：将目标物体的图像采用兴趣点或者分割的方法，分为多个局部特征表示，识别时将提取识别的视频帧图像的局部特征，与目标图像的局部特征进行表示，当匹配的局部特征个数到达一定阈值时，认为目标物体出现。该方法可以应对目标物体发生尺寸形变和角度旋转等情况。然而，该方法的识别准确率依赖于局部特征匹配的准确率，对于多目标识别的问题，不同目标的局部特征匹配阈值难以界定，很难得到令人满意的局部特征匹配准确率。

专利“基于稀疏表示的SAR图像目标识别方法，申请号CN201410234328.X”主要解决现有SAR图像识别方法预处理复杂、方位角估计困难的问题。该方法通过提取图像的局部特征，利用密度函数学习特征词典，并根据此获得各个图像子区域的特征向量表示，将加权后的子区域特征向量用稀疏表示方法对图像进行识别。本发明与该方法不同，图像识别并非建立在特征向量的稀疏表示基础上，而是直接使用局部特征的精确匹配结果。此外，特征向量的稀疏表示同样也依赖于局部特征的精确匹配结果。

专利“基于轮廓弦角特征的遮挡目标识别方法，申请号CN201510246005.7”，首先建立物体模板轮廓的特征库，提取物体模板的特征点和中心点，利用特征点和中心点对轮廓进行描述；对待检测图像进行提取轮廓特征描述，将待检测图像的特征描述与物体模板轮廓特征库中的特征进行匹配。该发明解决了在轮廓匹配过程中的尺度变化问题。

专利“一种基于局部拷贝检测的多视角视频对象检索系统及方法，申请号CN201310657435.9”提取多视角的视频对象，通过局部拷贝检测的方式进行对象的搜索与匹配；该发明将视频中的对象提取出来，通过局部拷贝检测的方式进行多视角视频中对象的搜索，有效地保证对象搜索的准确性和全面性。

专利“一种基于显著性检测和颜色直方图模型的车辆识别方法，申请号CN201510108662.5”，采用基于局部特征的显著性检测方法从场景图像中提取显著性区域作为候选区域，将候选区域的颜色空间由RGB空间转换到HSV空间，统计HSV中H分量的直方图分布情况，将含有两个主要颜色等级分量的候选区确定为车辆区域。

上述发明均是使用单一目标模板与要识别的图像进行局部特征匹配，没有有效地使用多视角目标模板提高局部特征匹配的效果，此外，本发明提出使用对极几何约束过滤错误匹配的局部特征，与上述发明专利仅使用颜色距离匹配局部特征不同，本发明同时使用几何变换约束和颜色距离匹配局部特征，进一步提高了局部特征的匹配准确率，保证了目标识别的准确性。

发明内容

本发明目的在于克服现有基于局部特征匹配的目标识别方法的不足，尤其是待识别目标物体旋转角度、尺寸变化、光照变化过大时，局部特征匹配效果不佳的问题。提供一种基于多视觉局部特征精确匹配的目标识别技术，该技术同时使用对极几何约束和灰度相似性对局部特征进行精确匹配，保证了目标识别的准确率。

为解决上述技术问题，本发明采用如下的技术方案：一种基于多角度局部特征匹配的目标识别方法，包括以下步骤：

S1，获取不同角度的多张目标物体图像作为模板，并提取出模板图像中的兴趣点；

S2，对所述模板图像中的兴趣点，采用特征描述方法计算兴趣点周围区域的局部特征；

S3，对于要识别的目标图像，提取出图像的局部特征，与每一个模板图像中的局部特征两两进行匹配，得到粗略匹配的局部特征对；

S4，对所述的粗略匹配的局部特征对，用随机抽样一致性(RANSAC)算法计算目标图像与模板图像之间的基础矩阵，并根据基础矩阵构建对极几何约束实现局部特征对的过滤，得到精确匹配的局部特征点对；

S5，计算目标图像中的匹配局部特征点个数，如找到的特征点个数大于设定阈值，则识别成功，否则认为该目标物体与模板不匹配。

进一步地，本发明的步骤S1中，所述的目标模板可通过2D摄像头从不同角度、不同距离进行采集，将不同角度、不同尺度的同一目标物体图像作为目标物体模板，多个目标模板构成目标物体数据库。

进一步地，本发明的步骤S1中，所述兴趣点提取可使用角点、边缘点以及交叉点等方法，其目的是获取到图像中灰度和纹理突出的部分，该突出部分更容易引起人的视觉注意，直观来说是在水平和竖直方向上灰度或纹理变化较大的点，即所谓的兴趣点。

进一步地，本发明的步骤S2中，所述的局部特征提取方法包括颜色直方图、SIFT特征、SURF特征等局部特征描述方法。局部特征就是指一些能够稳定出现并且具有良好的可区分性的特征。这样在物体不完全受到遮挡的情况下，一些局部特征依然稳定存在，以代表这个目标物体。其做主要作用如下：一方面，用局部特征来代替整幅图像，可以大大降低图像原有的大量信息，起到减少计算量的作用。另一方面，当物体受到干扰时，一些冗余的信息(比如颜色变化平缓的部分和直线)即使被遮挡了，依然能够从未被遮挡的局部特征上还原重要的信息。

进一步地，本发明的步骤S3中，采用的局部特征匹配方法包括直方图匹配、直方图相交等匹配方式。

进一步地，本发明的步骤S4中，具体过程描述如下：

(1)从匹配的局部特征集合中选取任意一对局部特征，用于计算该模板图像与目标图像的基础矩阵F；

(2)将集合中剩余的局部特征对用于校验基础矩阵，如能满足的将该局部特征对作为内点保留，同时计算模板图像与目标图像的能量函数；

(3)从匹配的局部特征集合中重新选取任意多对局部特征，重复上述流程(1)和(2)并计算基础矩阵；

(4)多次循环后，比较每次循环的基础矩阵能量函数和内点个数，保留最优基础矩阵F，并用该最优基础矩阵过滤匹配的局部特征集合，实现局部特征的精确匹配。

进一步地，本发明的步骤S5中，可使用判断阈值T，如检测到的精确匹配局部特征对个数大于判断阈值，则认为该目标物体在视频帧图像中出现；目标物体所在区域可粗略判断为各个兴趣点所在的位置的最大边界。

附图说明

图1是本发明的一种实施例的方法流程图。

图2是提取图像兴趣点的方法流程图

图3是提取局部特征的方法流程图

图4是局部特征精确匹配的方法流程图

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

如图1所示，本发明的基于多角度局部特征匹配的目标识别方法，包括以下步骤：

S1：如图2所示，获取不同角度的多张目标物体图像作为模板，并提取出模板图像中的兴趣点，具体包括以下过程：

(1)通过2D摄像头从不同角度、不同距离对目标物体进行采集，将不同角度、不同尺度的同一目标物体图像作为目标物体模板，多个目标模板构成目标物体数据库。

(2)对所述模板图像提取兴趣点，兴趣点提取可使用Harris角点，其具体过程描述如下：

1)、利用水平、垂直差分算子对图像每个像素点(x，y)进行滤波以求取水平梯度I_x和垂直梯度I_y，如公式1所示。

$\begin{array}{c}{I}_x=|I(x+1,y)-I(x,y)|\\ I_y=|I(x,y+1)-I(x,y)|\end{array}---\left(1\right)$

2)、每个像素点(x，y)的Harris角点值c(x，y)如公式2所示。

$c(x,y)=\frac{I_x^2*I_y^2-{\left(I_x{I}_y\right)}^2}{I_x^2+I_y^2}---\left(2\right)$

当c(x，y)的值大于给定的阈值时，则认为该像素点是一个Harris角点。

S2：如图3所示，对所述模板图像中的兴趣点，采用SIFT特征描述方法计算兴趣点周围区域的局部特征，具体描述如下：

1)、构建多尺度图像空间，对于一副图像，通过下采样得到不同尺寸的子图像，将子图像与高斯卷积核相乘进行卷积计算，从而得到多尺度图像空间。

2)、寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。采样点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和图像空间都检测到极值点。一个采样点如果在多尺度图像空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。

3)、利用特征点邻域像素的梯度方向分布特性为每个关键点指定方向参数，计算该特征点梯度的模值和方向。在特征点邻域4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个4×4×8＝128维的直方图，即SIFT特征描述。

S3：对所述的SIFT局部特征进行匹配，采用的局部特征匹配方法包括直方图匹配、直方图相交等匹配方式。具体描述如下：

给定两幅图像P和Q，H_P(k)和H_Q(k)，k＝0，1，2，...，L-1分别表示图像P和Q的局部特征，L表示直方图的维度。则直方图匹配D₁(P，Q)和直方图相交D₂(P，Q)分别由公式3和公式4表示。

$D_1(P,Q)=\frac{\underset{k=0}{\overset{L-1}{\Σ}}\min \[H_P\left(k\right),H_Q\left(k\right)\]}{\underset{k=0}{\overset{L-1}{\Σ}}{H}_Q\left(k\right)}---\left(3\right)$

$D_2(P,Q)=\sqrt{\underset{k=0}{\overset{L-1}{\Σ}}{\[H_P\left(k\right)-H_Q\left(k\right)\]}^2}---\left(4\right)$

S4：如图4所示，对SIFT特征进行精确匹配，具体过程描述如下：

1)、从匹配的局部特征集合中选取任意一对局部特征，用于计算该模板图像与目标图像的基础矩阵F，具体做法如下：

设M为三维空间中一点，在左右两幅图像上的投影分别为m₁和m₂，C₁和C₂为两相机的光心，C₁C₂连线与左右两幅图像分别交于点e₁和e₂，称为对极点。其中投影点m₁和m₂与基础矩阵F满足下面的关系。在代数上，这一几何关系可以表示为公式5所示：

$\begin{array}{c}{m_2}^T{\mathrm{Fm}}_1=0\\ Fe=0\end{array}---\left(5\right)$

根据上述描述，两个匹配的局部特征相当于m₁和m₂，则可以根据公式5计算出基础矩阵F。

2)、将集合中剩余的局部特征对用于校验基础矩阵，如能满足的将该局部特征对作为内点保留，同时计算模板图像与目标图像的能量函数，具体做法如下：

如果剩余的局部特征对与所述基础矩阵相匹配，则满足对极几何约束关系，约束关系描述为：一幅图像上的点m₁，在另一幅图像上的匹配点m₂位于该点的对极线Fm₁上；相反的，一幅图像上的点m₂，在另一幅图像上的匹配点m₁位于该点的对极线F^Tm₂上。这个描述可以形式化为公式6，其中d²表示空间中点到直线的欧式距离。

$\{\begin{array}{c}{d}^2(m_1,{\mathrm{Fm}}_2)=0\\ d^2(m_2,F^T{m}_1)=0\end{array}---\left(6\right)$

根据上述描述，将剩余的局部特征对代入公式6，如能满足则将该局部特征对作为内点保留。过滤完所有的局部特征对后，将所有的内点用于计算模板图像与目标图像的能量函数，如公式7所示：

$E(I_1,I_2)=\frac{1}{\frac{1}{2K}\underset{i=1}{\overset{K}{\Σ}}\left(d^2\right(m_{1i},{\mathrm{Fm}}_{2i})+d^2(m_{2i},F^T{m}_{1i}\left)\right)+\mathrm{\β}}---\left(7\right)$

参数β是归一化能量函数的值，能量函数E(I₁，I₂)表示两幅图像I₁和I₂的兴趣点对应集合与估计的基础矩阵F之间的一致程度。当能量函数最大时，表示两幅图像的兴趣点对应的几何约束程度最高。

3)、从匹配的局部特征集合中重新选取任意多对局部特征，重复上述流程1)和2)并计算基础矩阵；

4)、多次循环后，比较每次循环的基础矩阵能量函数和内点个数，保留最优基础矩阵F，并用该最优基础矩阵过滤匹配的局部特征集合，实现局部特征的精确匹配。

S5：根据SIFT局部特征匹配结果进行目标识别，使用判断阈值T，如检测到的精确匹配局部特征对个数大于判断阈值，则认为该目标物体在视频帧图像中出现；目标物体所在区域可粗略判断为各个兴趣点所在的位置的最大边界。

上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多角度局部特征匹配的目标识别方法，其特征在于，包括以下步骤：

S1，获取不同角度的多张目标物体图像作为模板，并提取出模板图像中的兴趣点；

S2，对所述模板图像中的兴趣点，采用特征描述方法计算兴趣点周围区域的局部特征；

S3，对于要识别的目标图像，提取出图像的局部特征，与每一个模板图像中的局部特征两两进行匹配，得到粗略匹配的局部特征对；

S4，对所述的粗略匹配的局部特征对，用随机抽样一致性(RANSAC)算法计算目标图像与模板图像之间的基础矩阵，并根据基础矩阵构建对极几何约束实现局部特征对的过滤，得到精确匹配的局部特征点对；

S5，计算目标图像中的匹配局部特征点个数，如找到的特征点个数大于设定阈值，则识别成功，否则认为该目标物体与模板不匹配。

2.根据权利要求1所述的一种基于多角度局部特征匹配的目标识别方法，其特征在于，所述步骤S1采用的兴趣点检测方法包括角点、边缘点以及交叉点等兴趣点检测方法。

3.根据权利要求1所述的一种基于多角度局部特征匹配的目标识别方法，其特征在于，所述步骤S2采用的局部特征提取方法包括颜色直方图、SIFT特征、SURF特征等局部特征描述方法；所述步骤S3采用的局部特征匹配方法包括直方图距离匹配、欧式距离匹配等距离匹配方式。

4.根据权利要求1所述的一种基于多角度局部特征匹配的目标识别方法，其特征在于，所述步骤S4具体包括：

从匹配的局部特征集合中选取任意一对局部特征，用于计算该模板图像与目标图像的基础矩阵F；将集合中剩余的局部特征对用于校验基础矩阵，如能满足的将该局部特征对作为内点保留，同时计算模板图像与目标图像的能量函数；从匹配的局部特征集合中重新选取任意多对局部特征，重复上述流程并计算基础矩阵；多次循环后，比较每次循环的基础矩阵能量函数和内点个数，保留最优基础矩阵F`，并用该最优基础矩阵过滤匹配的局部特征集合，实现局部特征的精确匹配。