CN106056575A - 一种基于似物性推荐算法的图像匹配方法 - Google Patents

Abstract

一种基于似物性推荐算法的图像匹配方法，包括预处理部分和检索匹配部分，利用似物性推荐算法得到原始图像中的候选框，再分别计算模板图像和每个候选框的颜色方向直方图，其中候选框的直方图利用事先计算好的积分图来快速得到，然后比较各候选框与模板图像直方图之间的相似度，相似度高于给定阈值，则匹配成功。本发明整幅图像的匹配可以在0.3秒左右完成，在实时性上远高于现有技术方法，同时方向直方图与颜色直方图是适应旋转和尺度变化的，所以本发明方法对旋转和尺度变化是鲁棒的。

Description

一种基于似物性推荐算法的图像匹配方法

技术领域

本发明涉及图像处理领域，尤其是涉及一种基于似物性推荐算法的快速图像匹配方法。

背景技术

人们通过眼睛，耳朵等各种各样的器官与外界接触，接受信息，其中视觉信息占了80％以上。与此同时，随着计算机技术的提升以及图像处理领域的成熟，图像作为信息传递的重要载体之一，在人们的日常生活中越来越常见。每天都有以TB容量计算的图像产生。怎样快速准确地在这些图像中找到指定的物体是目前亟需解决的一大问题。

模板匹配是解决该问题的一种思路。模板匹配计算模板图像与要搜索图像中子图像的相似度，当相似度高于一定阈值时，匹配成功。常见的计算相似度的方法有平均绝对差值MAD，绝对误差和SAD，差值的平方和SSD等，其复杂度与模板图像大小成正比。然而一般情况下模板图像与要搜索图像之间存在位置、尺度、旋转等不同。这导致要搜索的子图像空间非常大，即使采用多步长的方法来缩小搜索空间，算法的复杂度仍远不能支持实时性要求。

另外一种方法是局部特征点匹配。常见的有尺度不变特征变换SIFT(ScaleInvariant Feature Transform)、快速鲁棒算法SURF(Speeded Up Robust Features)等。局部特征点匹配方法首先得到在尺度、旋转以及轻微的形变下仍然相对稳定的特征点，然后对每个特征点附加若干维的向量来描述该特征点的邻域信息，通过计算两幅图像的特征点并进行特征点匹配来寻找相似的部分。相比于模板匹配，局部特征点匹配不用涉及在庞大的子图像空间中搜索的问题，而只需要在源自两幅图像的两个特征点集合中进行搜索，找到相似的子集。但由于特征点数量通常很多，所以该方法速度也不快。

发明内容

本发明要解决的问题是：现有的图相匹配方法计算速度不能满足实时性的要求，需要研究新的匹配方法来满足快速准确地在图像中找到指定的物体的技术需求。

本发明的技术方案为：一种基于似物性推荐算法的图像匹配方法，包括预处理部分和检索匹配部分，预处理部分对模板图像和原始图像分别进行边缘提取，并对模板图像计算其边缘和颜色的直方图信息，对原始图像计算方向积分图与颜色积分图，

检索匹配部分步骤如下：

P1)通过似物性推荐算法，得到原始图像的候选框集合；

P2)根据原始图像方向积分图，计算候选框集合中每一个候选框的方向直方图；

P3)根据原始图像颜色积分图，计算候选框集合中每一个候选框的颜色直方图；

P4)计算各候选框和模板图像的颜色与方向直方图的相似度，相似度达到设定值则匹配成功。

预处理部分步骤为：

Y1)对模板图像和原始图像分别进行边缘提取，得到对应的概率图和方向图；

Y2)对模板图像计算其边缘和颜色的直方图信息，包括对于颜色空间和边缘方向的任意划分下的直方图：首先将边缘方向等分为若干份，根据每个边缘点方向，计算整幅模板图像的边缘直方图；其次将颜色空间中每一维等分为若干份，根据模板图像上每个像素颜色对应区间，分别计算每一维上的颜色直方图；

Y3)计算原始图像的方向积分图与颜色积分图。

进一步的，步骤Y3)的方向积分图与颜色积分图计算时，采用与步骤Y2)一致的空间划分方式。

步骤P4)中利用向量相似性计算方式计量相似度，向量相似性计算方式包括欧式距离、余弦值和巴氏距离。

本发明提出一种新的匹配方法，利用似物性推荐算法来缩小搜索范围，似物性推荐算法认为一个图像是否恰好包含了一个物体是有共性的，因而可以用一种通用的算法对输入图像进行预处理，得到可能包含物体的候选框，其数量远远小于整个子图像空间的大小。似物性推荐算法筛选出图像中可能包含物体的候选框，输入一幅图片，输出2000+的候选框，例如似物性推荐算法中的基于边缘定位物体(Edge Boxes)算法，在保证高召回率的情况下，处理一副图像只需要0.2-0.3秒，得到2000到5000个候选框。似物性推荐算法可以快速缩小图像匹配的范围，但如果通过现有的模板匹配的方式结合似物性推荐算法，通过计算每个候选框与模板图像的MAD来进行匹配，仍然要耗费数秒到十秒不等。本发明通过积分图方法快速计算每个候选框的直方图，并比较候选框和模板图像的直方图相似度来匹配图像，整幅图像的匹配可以在0.3秒左右完成，在实时性上远高于现有技术方法。由于事先计算了积分图，所以每个候选框只需要若干次加减法就能得到相应的直方图，因而计算效率是得到保障的。同时方向直方图与颜色直方图是适应旋转和尺度变化的，所以本发明方法对旋转和尺度变化是鲁棒的。

附图说明

图1为本发明实施例原始图像边缘处理图。

图2为本发明实施例模板图像边缘处理图。

图3为本发明实施例处理结果图。

图4为本发明的流程图。

具体实施方式

本发明提出一种基于似物性推荐算法的快速图像匹配方法。在保证高效率的同时，还能处理尺度以及旋转角度的变化。本发明利用似物性推荐算法得到原始图像中的候选框，再分别计算模板图像和每个候选框的颜色方向直方图，其中候选框的直方图利用事先计算好的积分图来快速得到，然后比较各候选框与模板图像直方图之间的相似度，相似度高于给定阈值，则匹配成功。

为了使本发明实现的技术手段、技术特征、达成目的与功效易于明白和理解，下面结合具体图示，进一步阐述本发明。

本发明的目的在于提供一种新的快速准确的图像匹配方法，本发明通过似物性推荐算法缩小搜索空间，并且在此基础上设计了一种快速筛选的方法，从而提升匹配的速度，同时能处理旋转和尺度变换。本发明的具体实施如下：

参见图4，为本发明的流程示意图。包括预处理部分和检索匹配部分；

其中，预处理部分通过以下步骤来完成：

第1步，提取模板图像和原始图像的边缘图，得到的结果包括一个概率图和一个方向图，概率图对应点是边缘的概率，如果点是边缘上的点，方向图中显示边缘在该点的切线方向。图2为模板图像处理得到的边缘图，其中模板图像大小为148*132像素，图1为原始图像的边缘图，原始图像大小为353*500像素。

第2步，对模板图像，将边缘点方向等分为8份，根据每个边缘点方向，计算模板图像的方向直方图，得到1*8维特征，记为o1^T；

第3步，对模板图像，将颜色空间(RGB)中每一维等分为8个区域，计算模板图像每一维上的颜色直方图，得到3*8维特征，按照RGB分别记r1^T，g1^T，b1^T；

第4步，计算原始图像的颜色积分图{I}和方向积分图{O}。以方向积分图为例简述其计算过程：首先建立8个矩阵O[i]，对应对于方向范围的8个划分，自左向右，自上而下的遍历图像中每一点，对于某一点(x，y)，作如下处理：

O[i](x+1,y+1)＝e+O[i](x,y+1)+O[i](x+1,y)-O[i](x,y)，i∈{0…7}；

对于每个i，若该点的方向属于i所在的划分区间，则e为该点的边缘强度，否则e为0。

检索匹配部分通过以下步骤完成：

第5步，通过似物性推荐算法，得到原始图像中可能为物体的候选框集合。下面以edgeboxes为例简述其步骤。

1).采用极大值抑制(NMS)方法，抑制边缘中的非极大值点，之后根据边缘点的连续性将点聚合成若干集合以提升计算效率。具体方式如下：

对每个边缘点沿着其8邻点向外扩散，直到扩散点有如下情况时停止：该点不是边缘点，或者改点的方向与初始点方向相差90度以上(包含90度)。这样就把零散的边缘点聚合成若干集合，以加快计算速度。

2).设定步长筛选子图像空间，根据越过框边缘的边的数量对每一个框打分。打分策略为每一个框划过其边界的边缘数量，数量多分数低，反之则分数高。

3).保留分数大于给定阈值的框供下一步处理，本实例中选取分数阈值为0.01，最后筛选得到2257个候选框。

Edgeboxes为现有技术算法，上述描述对本领域技术人员是清楚的，不再详述。

第6步，对第5步得到的每一个候选框，基于第4步计算得到的方向积分图，计算得到该候选框的方向直方图，记为o2^T，o2^T＝{o2[i]}。具体步骤如下：

o2[i]＝O[i](x0,y0)+O[i](x1,y1)-O[i](x0,y1)-O[i](x1,y0)；

(x0,y0)、(x1,y1)分别代表候选框左上角和右下角顶点在图像中的坐标。

由上述公式可知，对一个框计算其方向直方图只需要3*8＝24次加减法。

第7步，对第5步得到的每一个候选框，基于第4步计算得到的颜色积分图，计算得到该候选框的颜色直方图，分别记为r2^T，g2^T，b2^T,r2^T＝{r2[i]},g2^T＝{g2[i]},b2^T＝{b2[i]}。具体如下：

r2[i]＝R[i](x0,y0)+R[i](x1,y1)-R[i](x0,y1)-R[i](x1,y0)；

g2[i]＝G[i](x0,y0)+G[i](x1,y1)-G[i](x0,y1)-g[i](x1,y0)；

b2[i]＝B[i](x0,y0)+B[i](x1,y1)-b[i](x0,y1)-b[i](x1,y0)；

每一个框计算颜色直方图的开销是3*3*8＝72次加减法。

第8步，对每一个候选框比较其特征与模板图像计算得到的特征的相似度，若相似度高于给定阈值则匹配成功。相似度可以利用各种向量相似性计算方式计量，包括但不限于欧式距离，余弦值，巴氏距离等，本实施例采用巴氏距离。在计算相似度时，计算各候选框和模板图像的颜色与方向直方图的相似度，颜色直方图是对三个通道各自求的,加上一个边缘方向的，一共有4个特征，对这四个特征分别求相似度，再求四个相似度的平均值。巴氏距离的计算公式为：

$Bhattacharwa=\underset{j=1}{\overset{n}{\Σ}}\sqrt{a_j*b_j}$

将a_j，b_j用相应的模板图像和候选框直方图o1^T，o2^T，r1^T，g1^T，b1^T，r2^T，g2^T，b2^T替代，对应计算得到四个距离，取其平均值作为最终相似度，其范围在0到1之间。公式中的n对应颜色与方向直方图的空间划分数，本实施例中为8，相似度高于预设阈值则匹配成功，反之匹配失败。最终识别成功，匹配结果见图3。实施例中预处理部分耗时0.043314秒，匹配部分耗时0.282478秒，总耗时0.3秒左右，满足图相匹配对实时性的要求，且从实施例可见，本发明方法也同时能够对应尺度以及旋转角度的变化。

Claims (4)

1.一种基于似物性推荐算法的图像匹配方法，其特征是包括预处理部分和检索匹配部分，预处理部分对模板图像和原始图像分别进行边缘提取，并对模板图像计算其边缘和颜色的直方图信息，对原始图像计算方向积分图与颜色积分图，

检索匹配部分步骤如下：

P1)通过似物性推荐算法，得到原始图像的候选框集合；

P2)根据原始图像方向积分图，计算候选框集合中每一个候选框的方向直方图；

P3)根据原始图像颜色积分图，计算候选框集合中每一个候选框的颜色直方图；

P4)计算各候选框和模板图像的颜色与方向直方图的相似度，相似度达到设定值则匹配成功。

2.根据权利要求1所述的一种基于似物性推荐算法的图像匹配方法，其特征是预处理部分步骤为：

Y1)对模板图像和原始图像分别进行边缘提取，得到对应的概率图和方向图；

Y2)对模板图像计算其边缘和颜色的直方图信息，包括对于颜色空间和边缘方向的任意划分下的直方图：首先将边缘方向等分为若干份，根据每个边缘点方向，计算整幅模板图像的边缘直方图；其次将颜色空间中每一维等分为若干份，根据模板图像上每个像素颜色对应区间，分别计算每一维上的颜色直方图；

Y3)计算原始图像的方向积分图与颜色积分图。

3.根据权利要求2所述的一种基于似物性推荐算法的图像匹配方法，其特征是步骤Y3)的方向积分图与颜色积分图计算时，采用与步骤Y2)一致的空间划分方式。

4.根据权利要求1或2或3所述的一种基于似物性推荐算法的图像匹配方法，其特征是步骤P4)中利用向量相似性计算方式计量相似度，向量相似性计算方式包括欧式距离、余弦值和巴氏距离。