CN105513038A - 图像匹配方法及手机应用测试平台 - Google Patents

Abstract

本发明公开了一种图像匹配的方法，包括：将模板图像在源图像中进行全局模板匹配，控制所述模板图像在所述源图像中滑动查找出最佳匹配区域；计算出所述模板图像与所述源图像的特征点及特征向量；根据所述特征点及特征向量，计算出所述最佳匹配区域与所述模板图像的视觉相似度；若所述视觉相似度为零，则判定所述最佳匹配区域与所述模板图像不匹配；若所述视觉相似度不为零，则获得所述模板图像与所述源图像的特征匹配点对；根据所述特征匹配点对，计算出最佳匹配图像的定位坐标。本发明还提供了一种基于图像匹配的手机应用测试平台。本发明降低匹配算法的复杂度，从而提高图像匹配以及基于图像匹配的手机应用测试的效率。

Description

图像匹配方法及手机应用测试平台

技术领域

本发明涉及手机测试技术领域，尤其涉及一种图像匹配方法手机应用测试平台。

背景技术

图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。

为了实现基于图像的自动测试功能，首要解决的就是在给定图像的情况下，如何从测试图像(如从手机游戏中截取的图像)中精确得识别出相同或者相似的图像，即图像匹配问题。通过识别出来的图像位置之后，再传送至各种终端上进行自动测试。如根据识别出的图像位置，传送至手机上实现模拟点击，以实现手机游戏的模拟操作。

现有技术主要提供了两种较为通用的图像匹配方法：基于灰度的图像匹配方法和基于特征的图像匹配方法。

其中，基于灰度的图像匹配方法将图像看成是二维信号，采用统计相关的方法(如相关函数、协方差函数、差平方和等)寻找信号间的相关匹配。最经典的灰度匹配法是归一化的灰度匹配，其基本原理是逐像素地将一个大小一定的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法。基于灰度的图像匹配方法具有计算简单、直接的优点，但是其也具有明显的缺陷，即其不具有旋转不变性和不具有尺度不变性，要求模板图像与目标图像的尺寸大小以及方向均相同。

而基于特征的图像匹配方法是指通过分别提取两个或多个图像的特征(点、线、面等特征)，对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。首先对图像进行预处理来提取其高层次的特征，然后建立两幅图像之间特征的匹配对应关系，通常使用的特征基元为点特征、边缘特征和区域特征。基于特征的图像匹配方法可以克服利用图像灰度信息进行匹配的缺点，而且，特征点的提取过程可以减少噪声的影响，对灰度变化，图像形变以及遮挡等都有较好的适应能力。但是其也存在一些缺点：1)实时性不高，计算特征点比较耗时；2)对于有些图像，可能提取的特征点很少；3)对边缘光滑的目标无法准确提取特征点。

而图像匹配的效率对手机应用(Application，简称APP)的测试效果产生直接的影响。尤其是在测试手机游戏测试过程中，如手机游戏的开始或进攻按钮图像在不同的分辨率的手机上位置会有变化，但是其图像的显示图像是不会变的。因此正确、快速地利用图像匹配技术识别到这些按钮图像，便可以完成游戏中对这些按钮的模拟点击，相应的游戏操作也可以自动完成。

发明内容

本发明所要解决的技术问题是，提供一种图像匹配的方法以及基于图像匹配的手机应用测试方法，提高图像匹配的准确度与灵活性，降低匹配算法的复杂度，从而提高图像匹配以及基于图像匹配的手机应用测试的效率。

为解决以上技术问题，一方面，本发明实施例提供一种图像匹配的方法，包括：

将模板图像在源图像中进行全局模板匹配，控制所述模板图像在所述源图像中滑动查找出最佳匹配区域；

计算出所述模板图像与所述源图像的特征点及特征向量；

根据所述特征点及特征向量，计算出所述最佳匹配区域与所述模板图像的视觉相似度；

若所述视觉相似度为零，则判定所述最佳匹配区域与所述模板图像不匹配；

若所述视觉相似度不为零，则获得所述模板图像与所述源图像的特征匹配点对；

根据所述特征匹配点对，计算出最佳匹配图像的定位坐标。

进一步地，所述将模板图像在源图像中进行全局模板匹配，控制所述模板图像在所述源图像中滑动查找出最佳匹配区域，具体为：

分别获取所述模板图像与所述源图像的高度和宽度；

若所述模板图像的高度大于所述源图像的高度，或者，所述模板图像的宽度大于所述源图像的宽度，则判定所述源图像中不存在匹配区域；

若所述模板图像的高度小于或等于所述源图像的高度，并且，所述模板图像的宽度小于或等于所述源图像的宽度，则：

将所述模板图像在所述源图像中以单位长度进行滑动，逐一计算出所述模板图像与所述源图像的标准相关系数，获得标准相关系数矩阵；

查找出所述标准相关系数矩阵中的最大系数值，以及所述最大系数值所对应的坐标位置；

根据所述最大系数值所对应的坐标位置以及所述模板图像的高度与宽度，确定所述最佳匹配区域的位置。

优选地，所述最大系数值所对应的坐标位置为(m，n)，所述模板图像的高度为h1，宽度为w1；

则所述最佳匹配区域的位置为：在所述源图像上的、以坐标位置(m，n)为左上角，长为h1，高为w1的矩形区域。

进一步地，所述计算出所述模板图像与所述源图像的特征点及特征向量，具体包括：

在待检测图像上搜索所有尺度的图像位置，通过高斯微分函数检测出对于尺度和旋转不变的极值点；

依据所述极值点的稳定程度，通过建立一个拟合模型来确定特征点的位置和尺度；

基于图像局部的梯度方向，为每个特征点的位置分配一个或多个方向；

在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，将所述梯度变换为表示局部形状变形和光照变化的特征向量；

当所述待检测图像为所述模板图像时，所述特征点为所述模板图像的SIFT特征点；所述特征向量为所述模板图像的SIFT特征向量；当所述待检测图像为所述源图像时，所述特征点为所述源图像的SIFT特征点；所述特征向量为所述源图像的SIFT特征向量。

进一步地，根据所述特征点及特征向量，计算出所述最佳匹配区域与所述模板图像的视觉相似度，具体为：

计算出所述模板图像的SIFT特征点的长度和所述最佳匹配区域的SIFT特征点的长度；

若所述模板图像的SIFT特征点的长度为零，或者，所述最佳匹配区域的SIFT特征点的长度为零，则确定所述最佳匹配区域与所述模板图像的视觉相似度为零；

若所述模板图像的SIFT特征点的长度不为零，并且，所述最佳匹配区域的SIFT特征点的长度不为零，则，计算出所述模板图像与所述最佳匹配区域的特征匹配点对的数目；将所述特征匹配点对的数目除以所述模板图像的SIFT特征点的长度的商作为所述视觉相似度。

优选地，若所述视觉相似度不为零，则获得所述模板图像与所述源图像的特征匹配点对，具体包括：

计算出所述模板图像的SIFT特征向量与所述最佳匹配区域的SIFT特征向量的最小欧氏距离和次小欧氏距离；

在所述最小欧氏距离除以所述次小欧氏距离的商小于第一阈值时，将所述模板图像与所述源图像的特征点作为所述特征匹配点对，并对所述特征匹配点对的数目进行叠加。

进一步地，当所述特征匹配点对的数目高于最小匹配数目时，所述根据所述特征匹配点对，计算出最佳匹配图像的定位坐标，包括：

利用单映射函数查找出与所述特征匹配点对相对应的单映射矩阵；

根据所述单映射矩阵，利用向量数组的透视变换函数计算出所述模板图像在所述源图像上的最佳匹配区域的多个坐标点；

计算出最佳匹配区域的中心点坐标，将所述中心点坐标作为所述最佳匹配图像的定位坐标。

在一种可实现的方式中，所述根据所述单映射矩阵，利用向量数组的透视变换函数计算出所述模板图像在所述源图像上的最佳匹配区域的多个坐标点，具体包括：

根据所述特征匹配点对，获取所述模板图像上的SIFT特征点的坐标及其一一匹配的、在所述源图像上的SIFT特征点的坐标；

随机筛选出N对匹配点对的坐标，在所述模板图像和所述源图像之间进行映射，获得第一方程：

$\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right]~H*\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]$

并且获得对应的映射系数，将所述映射系数组建为系数矩阵H，获得第二方程：

$H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]$

其中，N≥4；[x’_i,y’_i]是所述源图像上的SIFT特征点的坐标；[x_i,y_i]是所述模板图像上的SIFT特征点的坐标；H是从所述模板图像上的SIFT特征点映射到所述源图像上的SIFT特征点的系数矩阵；

利用所述系数矩阵计算出所述模板图像上的SIFT特征点映射到所述源图像上的实时坐标；

在所述源图像上的SIFT特征点的坐标与所述实时坐标的之间的距离小于第二阈值时，利用第一方程和第二方程对所述系数矩阵H进行更新，直到所述系数矩阵H不再变化，并将不再变化的系数矩阵H作为所述单映射矩阵；

根据所述单映射矩阵和第一方程，通过以下第三方程逐一计算出所述模板图像在所述最佳匹配区域的N个匹配点的坐标(x’,y’)：

$(x^{\′},y^{\′})=(\frac{h_{11}x+h_{12}y+h_{13}}{h_{31}x+h_{32}y+h_{33}},\frac{h_{21}x+h_{22}y+h_{23}}{h_{31}x+h_{32}y+h_{33}})$

将所述N个匹配点的坐标的中心点坐标作为所述最佳匹配图像的定位坐标。

进一步地，当所述特征匹配点对的数目低于所述最小匹配数目，并且大于指定倍率系数时，其中，所述指定倍率系数小于所述最小匹配数目；

则所述根据所述特征匹配点，计算出最佳匹配图像的定位坐标，具体为：

对所述模板图像进行SIFT强匹配，包括：根据所述特征匹配点对，获取所述模板图像上的SIFT特征点的坐标及其一一匹配的、在所述源图像上的SIFT特征点的坐标；

对所述源图像上的SIFT特征点的坐标求均值处理，并将获得的均值坐标值作为所述最佳匹配图像的定位坐标。

进一步地，当所述特征匹配点对的数目小于指定倍率系数时，其中，所述指定倍率系数小于所述最小匹配数目；

则选定所述最佳匹配区域中的特征点的邻近区域与所述模板图像进行局部模板匹配，包括：

计算出所述特征点的邻近区域与所述模板图像的局部视觉相似度；

若所述局部视觉相似度高于第三阈值，则判定匹配成功，根据局部模板匹配获得的坐标计算出所述最佳匹配图像的定位坐标；

若所述局部视觉相似度低于所述第三阈值，则对所述模板图像与所述源图像进行全局多尺度模板匹配。

进一步地，若所述局部视觉相似度低于所述第三阈值，则对所述模板图像与所述源图像进行全局多尺度模板匹配，具体包括：

建立尺度列表；所述尺度列表包括多个尺度系数；

根据所述尺度列表中的尺度系数，对所述模板图像进行放缩；

对进行放缩后的模板图像在所述源图像中进行全局模板匹配，记录每一次匹配获得的匹配值和匹配区域，形成最佳匹配集合；

计算完所有尺度的全局模板匹配后，将所述最佳匹配集合中的最大匹配值所对应的区域作为最佳匹配图像，并计算出所述最佳匹配图像的中心坐标值作为所述最佳匹配图像的定位坐标。

另一方面，本发明实施例还提供了一种手机应用测试平台，所述手机应用测试平台上包括待测试手机应用的测试脚本及测试所需图像资源，还包括：

测试资源下载单元，用于下载待测试手机应用的测试脚本及所述图像资源至被测试手机中；

截图单元，用于对被测试手机屏幕上显示的待测试手机应用的测试图像进行截图和上传；

图像匹配单元，用于采用以上任一项所述的图像匹配的方法，将所述测试图像作为模板图像在相应的图像资源上进行图像匹配，查找出所述测试图像的最佳匹配图像的定位坐标；以及，

测试单元，用于根据所述图像匹配单元查找的最佳匹配图像的定位坐标，启动对所述测试图像所关联的测试代码的测试，将所述定位坐标和测试结果数据反馈至被测试手机。

进一步地，所述手机应用测试平台上设有多种通用接口，并针对所述通用接口在所述手机应用测试平台上设有相应的驱动层。

优选地，所述待测试手机应用为手机游戏应用；则所述手机应用测试平台为手机游戏测试平台。

进一步地，所述手机应用测试平台还包括测试中心；所述测试单元还用于将测试数据结果数据传输至所述测试中心；

所述测试结果数据包括待测试的手机型号信息、测试过程所产生的截图、CPU信息、内存信息、耗电信息和网卡流量信息。

本发明实施例提供的图像匹配的方法，首先利用模板匹配的方法将模板图像在源图像中进行全局模板匹配，优选利用SIFT(Scale-InvariantFeatureTransform，尺度不变特征转换)特征匹配算法判断模板图像与最佳匹配区域的相似度，最终根据所述特征匹配点对，计算出最佳匹配图像的定位坐标，可以将基于灰度的模板匹配方法和基于SIFT特征匹配的方法相结合，扬长避短，兼有基于灰度的图像匹配方法的计算简单、直接与基于特征的图像匹配方法的旋转不变性和尺度不变性的优点，因此提高了图像匹配的准确度和灵活性。将本发明提供的图像匹配方法应用在手机应用测试时，可以快速准确地识别出目标图像，从而提高手机应用测试的效率。

附图说明

图1是本发明提供的图像匹配的方法的一个实施例的步骤流程图。

图2是本发明提供的将模板图像在源图像中进行全局模板匹配的示意图。

图3是本发明提供的计算模板图像与源图像的特征点及特征向量一种可实现方式的步骤流程图。

图4是本发明提供的手机应用测试平台的一个实施例的步骤流程图。

图5是本发明提供的手机应用测试平台进行手机应用测试的一种架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

参见图1，是本发明提供的图像匹配的方法的一个实施例的步骤流程图。

在本实施例中，所述的图像匹配的方法，包括以下步骤：

步骤S101：将模板图像T在源图像S中进行全局模板匹配，控制所述模板图像T在所述源图像S中滑动查找出最佳匹配区域。

如图2所示，是本发明提供的将模板图像在源图像中进行全局模板匹配的示意图。其中，源图像S中包含有多个控件或按键的图像，分别为图像1～图像6。控制模板图像T从源图像S的左上角开始滑动，以在源图像S中找到目标图像4，在每滑动一次匹配窗口(模板图像T的大小)时，计算模板图像T与该窗口对应的图像区域之间的相似度。

具体实施时，在一种可实现的方式中，所述步骤S101具体为：

a.分别获取所述模板图像T与所述源图像S的高度和宽度；

b.若所述模板图像T的高度大于所述源图像S的高度，或者，所述模板图像T的宽度大于所述源图像S的宽度，则判定所述源图像S中不存在匹配区域；

c.若所述模板图像T的高度小于或等于所述源图像S的高度，并且，所述模板图像T的宽度小于或等于所述源图像S的宽度，则：

c1.将所述模板图像T在所述源图像S中以单位长度进行滑动，逐一计算出所述模板图像T与所述源图像S的标准相关系数，获得标准相关系数矩阵A；

c2.查找出所述标准相关系数矩阵A中的最大系数值，以及所述最大系数值所对应的坐标位置；

c3.根据所述最大系数值所对应的坐标位置以及所述模板图像T的高度h1与宽度w1，确定所述最佳匹配区域的位置。

在一种可实现的方式中，所述最大系数值所对应的坐标位置为(m，n)，所述模板图像的高度为h1，宽度为w1；则所述最佳匹配区域的位置为：在所述源图像上的、以坐标位置(m，n)为左上角，长为h1，高为w1的矩形区域。具体地，可以设计一内部函数template_match()实现以上所述步骤S101，其伪代码实现过程如下：

在进行模板匹配的过程中，由于模板图像T与源图像S中的目标图像4的尺寸大小和/或方向有可能不一致，因此，该步骤查找得到的最佳匹配区域并不一定是有效匹配(即最佳匹配区域有可能不是目标图像4)，还需要通过进一步对源图像S进行处理分析。

步骤S102：计算出所述模板图像T与所述源图像S的特征点及特征向量。在本实施例中，优选采用SIFT(Scale-InvariantFeatureTransform，尺度不变特征转换)特征匹配算法对所述模板图像T与所述源图像S的特征点及特征向量进行计算。SIFT特征匹配算法是一种用来侦测与描述影像中的局部性特征的计算机视觉算法，主要通过分别求两幅图中的特征点(InterestPointsorCornerPoints)及其有关尺寸(scale)和方向(orientation)的描述子得到特征，在尺度空间中寻找极值点，并提取出其位置、尺度、旋转不变量，然后进行两幅图像的特征点匹配。SIFT算法的实质是在不同尺度空间上查找特征点，并计算出特征点的方向，其所查找到的特征点是一些十分突出，不会因光照、仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等，因而SIFT特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换和噪音等也保持一定程度的稳定性。

通过以上步骤计算获得模板图像T与源图像S的特征点及特征向量后，可以进一步通过步骤S103对两者的视觉相似度进行比较。

步骤S103：根据所述特征点及特征向量，计算出所述最佳匹配区域与所述模板图像T的视觉相似度；对所述视觉相似度是否为零进行判断，若所述视觉相似度为零，则执行步骤S104；若所述视觉相似度不为零，则执行步骤S105；

步骤S104：判定所述最佳匹配区域与所述模板图像T不匹配。

步骤S105：获得所述模板图像T与所述源图像S的特征匹配点对，并执行步骤S106。

步骤S106：根据所述特征匹配点对，计算出最佳匹配图像的定位坐标。

参看图3，是本发明提供的计算模板图像与源图像的特征点及特征向量一种可实现方式的步骤流程图。

具体实施时，所述步骤S102具体可以通过以下步骤进行实现，包括：

步骤S201：尺度空间极值检测。在待检测图像上搜索所有尺度的图像位置，通过高斯微分函数检测出对于尺度和旋转不变的极值点(又称为潜在的对于尺度和旋转不变的兴趣点)。

步骤S202：特征点定位。依据所述极值点的稳定程度，通过建立一个拟合模型来确定特征点的位置和尺度。

步骤S203：特征点方向确定。基于图像局部的梯度方向，为每个特征点的位置分配一个或多个方向。

步骤S204：特征点特征描述。在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，将所述梯度变换为表示局部形状变形和光照变化的特征向量。

具体地，在所述步骤S201～步骤S204中，当所述待检测图像为所述模板图像T时，所述特征点为所述模板图像T的SIFT特征点；所述特征向量为所述模板图像T的SIFT特征向量；当所述待检测图像为所述源图像S时，所述特征点为所述源图像S的SIFT特征点；所述特征向量为所述源图像S的SIFT特征向量。

进一步地，在一种可实现的方式中，所述步骤S103可以通过以下步骤实现，具体为：

步骤S301：计算出所述模板图像T的SIFT特征点的长度len(keypoint1)和所述最佳匹配区域的SIFT特征点的长度len(keypoint2)。根据模板图像T的SIFT特征点的长度和最佳匹配区域的SIFT特征点的长度的大小，判断最佳匹配区域与模板图像T的视觉相似度是否为零。

若所述模板图像T的SIFT特征点的长度为零，或者，所述最佳匹配区域的SIFT特征点的长度为零，则执行步骤S302；若所述模板图像T的SIFT特征点的长度不为零，并且，所述最佳匹配区域的SIFT特征点的长度不为零，则执行步骤S303。

步骤S302：确定所述最佳匹配区域与所述模板图像T的视觉相似度为零。

步骤S303：计算出所述模板图像T与所述最佳匹配区域的特征匹配点对的数目Good_Match；将所述特征匹配点对的数目Good_Match除以所述模板图像T的SIFT特征点的长度len(keypoint1)的商作为所述视觉相似度，即，视觉相似度的值＝Good_Match/len(keypoint1)。

在本实施例中，上述步骤S103计算获得的视觉相似度，是通过步骤S101将模板图像T在整个源图像S中进行全局模板匹配获得的“全局视觉相似度”，其目的是实现对源图像的粗过滤，排除那些必然不存在匹配区域的源图像(测试图片)，提高图像匹配过程的运行效率。

具体实施时，若所述视觉相似度不为零，则在所述步骤S105中，获得所述模板图像T与所述源图像S的特征匹配点对的过程，具体包括：

计算出所述模板图像T的SIFT特征向量与所述最佳匹配区域的SIFT特征向量的最小欧氏距离min_E和次小欧氏距离nextmin_E；在所述最小欧氏距离min_E除以所述次小欧氏距离nextmin_E的商小于第一阈值时，将所述模板图像T与所述源图像S的特征点作为所述特征匹配点对，并对所述特征匹配点对的数目Good_Match进行叠加。例如，假设第一阈值TH1为0.75，则当所述模板图像T的SIFT特征向量与所述最佳匹配区域的SIFT特征向量的最小欧氏距离min_E小于次小欧氏距离nextmin_E与第一阈值TH1的乘积，即min_E＜0.75*nextmin_E时，对特征匹配点对的数目Good_Match进行叠加：Good_Match＝Good_Match+1。

以上步骤S103～步骤S105可以通过构造一函数feature_similarity()进行实现，其伪代码可表示为：

具体实施时，计算获得的SIFT特征点描述子即为其相应的特征向量。构造函数cv2.SIFT.detectAndCompute()计算出模板图像T和源图像S的SIFT特征点及其SIFT特征点描述子(即特征向量)：

其次利用cv2.FlannBasedMatcher()进行特征点匹配，接着按照最近邻距离除以次近邻距离低于某一阈值(即第一阈值TH1)准则，计算SIFT特征匹配点对。其中，“距离”指模板图像T中一个SIFT特征向量与源图像S中的一个SIFT特征向量间的欧氏距离：

保留SIFT特征匹配点对，记作Good_Match。

在获得所述模板图像T与所述源图像S的特征匹配点对的数目Good_Match后，根据该特征匹配点对的数目Good_Match的大小选择执行不同的策略来实现最优匹配图像的定位。

进一步地，在进行全局模板匹配后获得的所述最佳匹配区域与所述模板图像T的视觉相似度不为零时，本实施例提供更加详细的查找出最佳的匹配区域的实施方式。

具体实施时，可以设定最小匹配数目(MIN_MATCH_COUNT)，来界定所述特征匹配点对的数目Good_Match的大小。通过所述特征匹配点对的数目Good_Match与最小匹配数目的比较，选定不同的计算策略。

一方面，当所述特征匹配点对的数目Good_Match高于最小匹配数目(MIN_MATCH_COUNT)时，所述根据所述特征匹配点对，计算出最佳匹配图像的定位坐标，包括：利用单映射(homography，也称为单应性)函数查找出与所述特征匹配点对相对应的单映射矩阵(HomographyMatrix)。进一步，根据所述单映射矩阵，利用向量数组的透视变换函数计算出所述模板图像T在所述源图像S上的最佳匹配区域的多个坐标点；计算出最佳匹配区域的中心点坐标，将所述中心点坐标作为所述最佳匹配图像的定位坐标。

具体地，假设最小匹配数目MIN_MATCH_COUNT为5，若特征匹配点对的数目Good_Match高于5，则用homography映射找出匹配区域，构建cv2.findHomography()函数，利用匹配的关键点找出相应的单映射矩阵，再用cv2.perspectiveTransfrom()函数映射点群，得到模板图像T在源图像S上匹配映射区域的四个坐标点，接着就利用得到的坐标点计算出匹配区域的中心点坐标，实现了定位功能；反之，若特征匹配点对的数目Good_Match低于5，则需要进行进一步的判断。

在本实施例中，在一种可实现的方式中，所述根据所述单映射矩阵，利用向量数组的透视变换函数计算出所述模板图像T在所述源图像S上的最佳匹配区域的多个坐标点，具体包括以下步骤：

步骤S401：根据所述特征匹配点对，获取所述模板图像T上的SIFT特征点的坐标及其一一匹配的、在所述源图像S上的SIFT特征点的坐标。

步骤S402：随机筛选出N对匹配点对的坐标，在所述模板图像T和所述源图像S之间进行映射，获得第一方程：

$\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right]~H*\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]---\left(1\right)$

并且获得对应的映射系数，将所述映射系数组建为系数矩阵H，获得第二方程：

$H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]---\left(2\right)$

其中，N≥4；[x’_i,y’_i]是所述源图像S上的SIFT特征点的坐标；[x_i,y_i]是所述模板图像T上的SIFT特征点的坐标；H是从所述模板图像T上的SIFT特征点映射到所述源图像S上的SIFT特征点的系数矩阵，其中h₁₁～h₃₃是系数矩阵H的各个元素。

步骤S403：利用所述系数矩阵H计算出所述模板图像T上的SIFT特征点映射到所述源图像S上的实时坐标。

步骤S404：在所述源图像S上的SIFT特征点的坐标与所述实时坐标的之间的距离小于第二阈值TH2时，利用第一方程(1)和第二方程(2)对所述系数矩阵H进行更新，直到所述系数矩阵H不再变化，并将不再变化的系数矩阵H作为所述单映射矩阵。

步骤S405：根据所述单映射矩阵和第一方程(1)，通过以下第三方程(3)逐一计算出所述模板图像T在所述最佳匹配区域的N个匹配点的坐标(x’,y’)：

$(x^{\′},y^{\′})=(\frac{h_{11}x+h_{12}y+h_{13}}{h_{31}x+h_{32}y+h_{33}},\frac{h_{21}x+h_{22}y+h_{23}}{h_{31}x+h_{32}y+h_{33}})---\left(3\right)$

步骤S406：将所述N个匹配点的坐标的中心点坐标作为所述最佳匹配图像的定位坐标。

另一方面，当所述特征匹配点对的数目Good_Match低于所述最小匹配数目MIN_MATCH_COUNT，并且大于指定倍率系数ratio_num(例如，系数ratio_num可优选为模板图像T的SIFT特征点数的0.1倍)时，则所述步骤S106具体为：对所述模板图像T进行SIFT强匹配，包括以下步骤：

步骤61：根据所述特征匹配点对，获取所述模板图像T上的SIFT特征点的坐标及其一一匹配的、在所述源图像S上的SIFT特征点的坐标；

步骤62：对所述源图像S上的SIFT特征点的坐标求均值处理，并将获得的均值坐标值作为所述最佳匹配图像的定位坐标。其中，所述指定倍率系数ratio_num小于所述最小匹配数目MIN_MATCH_COUNT。

在所述步骤S106中执行强匹配的目的是：防止遗漏能够匹配上的图像对。具体实施时，有些模板图像T本身只能提取几个SIFT特征点，但是实际上这些模板图像T刚好又与源图像S匹配，而传统的SIFT算法无法为这些只有少数特征点的模板图像T查找到匹配区域。而本发明实施例进行强匹配后，可以克服传统SIFT特征提取方法的这一缺陷，提高图像匹配的能力。

进一步地，当所述特征匹配点对的数目Good_Match小于指定倍率系数ratio_num时，或者，特征匹配点对的数目Good_Match小于零，即可以提取的特征匹配点对的数目Good_Match非常少时，(其中，所述指定倍率系数小于所述最小匹配数目)，则所述步骤S106包括：选定所述最佳匹配区域中的特征点的邻近区域与所述模板图像T进行局部模板匹配，具体可以通过以下步骤进行实现：

步骤S601：计算出所述特征点的邻近区域与所述模板图像T的局部视觉相似度；若所述局部视觉相似度高于第三阈值TH3，则执行步骤S602；若所述局部视觉相似度低于所述第三阈值TH3，则执行步骤S603。

步骤S602：判定匹配成功，根据局部模板匹配获得的坐标计算出所述最佳匹配图像的定位坐标；

步骤S603：对所述模板图像T与所述源图像S进行全局多尺度模板匹配。

其中，步骤S601中的局部视觉相似度是通过最佳匹配区域中的特征点的邻近区域与所述模板图像T进行局部模板匹配来获得的。

具体实施时，在计算局部视觉相似度时，可以采用前文所述的feature_similarity()函数进行实现；还可以采用颜色直方图的相似度来计算。具体地，可以分别计算模板图像T的颜色直方图H1(i)和源图像S中的邻近区域的颜色直方图H2(i)，然后采用第四方程(4)解算出局部视觉相似度：

而步骤S601中的特征点的邻近区域，可选择为：以特征点所在坐标为中心，长、宽分别为模板图像T高度和宽度两倍的矩形区域，通过在该矩形区域上对模板图像T进行匹配，选出最好的匹配区域，如果其与模板图像T的视觉相似度高于某一阈值(TH3)，则认为匹配成功，否则执行步骤S603。

在一种可实现的方式中，若所述局部视觉相似度低于所述第三阈值TH3，则所述步骤S603，具体包括：

步骤S6031：建立尺度列表；所述尺度列表包括多个尺度系数；

步骤S6032：根据所述尺度列表中的尺度系数，对所述模板图像T进行放缩；

步骤S6033：对进行放缩后的模板图像T在所述源图像S中进行全局模板匹配，记录每一次匹配获得的匹配值和匹配区域，形成最佳匹配集合；

步骤S6034：计算完所有尺度的全局模板匹配后，将所述最佳匹配集合中的最大匹配值所对应的区域作为最佳匹配图像，并计算出所述最佳匹配图像的中心坐标值作为所述最佳匹配图像的定位坐标。

可以采用将以上过程采用函数multi_scale_match()实现，并通过伪代码将以上过程表示如下：

在本实施例中，主要计算模板T与源图像S多尺度匹配相似度，对模板T实现了多尺度放缩，在一定程度上解决模板匹配存在的对尺度变换敏感的问题，如果匹配值(放缩后的模板图像与源图像S的匹配值)低于一定阈值，则认为匹配失败，否则计算最佳匹配区域与模板T的视觉相识度。

步骤S6031～S6034采用的是多尺度模板匹配方法，其作用是细过滤，排除那些容易匹配错误的源图像S的干扰，因而比前文所述步骤S101的模板匹配过程更加丰富。

本发明实施例提供的图像匹配的方法，具体实施时可以采用Python语言实现，其具有高效和易读性的特点，实现对图像匹配方法的快速应用开发。

本发明实施例提供的图像匹配的方法，利用模板匹配的方法将模板图像在源图像中进行全局模板匹配，利用SIFT特征匹配算法判断模板图像与最佳匹配区域的相似度，最终根据所述特征匹配点对，计算出最佳匹配图像的定位坐标。并根据匹配特征点对的数量而采用不同的匹配过程，降低了算法复杂度的同时提高了图像匹配的准确度。本发明实施例可以将基于灰度的模板匹配方法和基于SIFT特征匹配的方法相结合，扬长避短，兼有基于灰度的图像匹配方法的计算简单、直接与基于特征的图像匹配方法的旋转不变性和尺度不变性的优点，因此提高了图像匹配的准确度和灵活性。

本发明还提供了一种将以上图像匹配的方法应用在对手机应用(Application，APP)进行测试的手机应用测试平台。

如图4所示，是本发明提供的手机应用测试平台的一个实施例的结构示意图。

本实施例提供的手机应用测试平台可以实现基于图像匹配的手机应用APP的自动测试功能，首要解决的就是图像匹配问题，在识别正确的图像位置之后，传送到待测试手机中实现模拟点击，实现手机应用(如手机游戏)的模拟操作。

所述手机应用测试平台包括：

测试资源下载单元401，用于下载待测试手机应用的测试脚本及所述图像资源至被测试手机中。

截图单元402，用于对被测试手机屏幕上显示的待测试手机应用的测试图像进行截图和上传；

图像匹配单元403，用于采用以上任一项所述的图像匹配的方法，将所述测试图像作为模板图像在相应的图像资源上进行图像匹配，查找出所述测试图像的最佳匹配图像的定位坐标；以及，

测试单元404，用于根据所述图像匹配单元403查找的最佳匹配图像的定位坐标，启动对所述测试图像所关联的测试代码的测试，将所述定位坐标和测试结果数据反馈至被测试手机。

具体实施时，所述手机应用测试平台上还设有存储有待测试手机应用的测试脚本及测试所需图像资源的存储单元405；测试资源下载单元401从存储单元405下载待测试应用相对应的测试脚本和图像资源。将所述待测试图像作为模板图像在所述手机应用测试平台上进行图像匹配，查找出所述待测试图像的最佳匹配图像的定位坐标，判别所述被测试手机的响应状态；在给定模板图像的情况下，利用前文所述的图像匹配方法，从测试图片(如从手机游戏中截取的图片)中精确得识别出相同或者相似的图像。进一步地，所述手机应用测试平台上设有多种通用接口406，并针对所述通用接口406在所述手机应用测试平台上设有相应的驱动层。

在一种可实现的方式中，如图5所示，所述手机应用测试平台可以安装在服务器502中，服务器502可以通过多种通信接口与待测试手机501通信连接。

所述手机应用测试平台上设有多种通用接口，并针对所述通用接口在所述手机应用测试平台上设有相应的驱动层；所述手机501与所述手机应用测试平台之间通过所述通用接口和所述驱动层进行数据传输。具体地，针对服务器502的各种接口，分别在待测试手机501的操作系统(Ios系统或Android系统等)，以及服务器502操作系统(windows平台)实现相应的驱动层。其中，针对Ios系统可以采用开源的Appium工具实现所述通信接口；对于Android系统，可以采用Google提供的ADB(AndroidDebugBridge，安卓调试桥)工具实现所述通信接口；对于windows系统，可以直接使用的系统底层的API(ApplicationProgrammingInterface，应用程序编程接口)进行通信。

通过该手机应用测试平台对手机应用APP进行自动化测试时：首先，准备好测试代码和测试脚本中需要用到的图像资源；并通过驱动层将待测试手机501上的屏幕截图传递到服务器502上；第二，采在服务器502上识别出图像(如图5中的太阳图标)的位置，用前文所述的任一项图像匹配方法，进行图像的定位查找出目标图像所在的位置，即其横坐标x值和纵坐标y值，构成目标图像位置(x,y)；然后，通过所述通信接口将(x,y)坐标传递到待测试手机501上，完成手机应用APP(如手机游戏)中的模拟点击操作。具体实施时，所述手机应用方法还包括：将测试结果数据回程至测试中心；所述测试结果数据包括待测试的手机型号信息、测试过程所产生的截图，CPU信息，内存信息，耗电信息和网卡流量信息。

在优选的实施方式中，所述待测试手机应用APP为手机游戏应用；则所述手机应用测试平台为手机游戏测试平台。将改进后的图像匹配方法和手机应用测试方法应用在手机游戏测试领域，可以有效提高现有的手机游戏测试效率，降低手机游戏测试的门槛，提高手机游戏测试的便捷性，实现对手机游戏的远程测试。

本实施例提供的手机应用测试平台，利用改进后的图像匹配方法的优点，减少了不同分辨率手机需要重复编写测试代码的缺陷，实现对智能手机应用的自动化测试，减少了人工测试手机应用的成本，并提高了测试效率和测试准确度。手机应用测试平台上的测试代码可以同时支持多种智能手机操作系统上运行的程序，提高了兼容性。在将手机应用测试平台集成在手机应用上时，更可以有助于对手机中的应用APP进行随时随地的测试，尤其适用于普通用户，提高了手机应用测试的适用范围。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (16)

1.一种图像匹配的方法，其特征在于，所述方法包括：

将模板图像在源图像中进行全局模板匹配，控制所述模板图像在所述源图像中滑动查找出最佳匹配区域；

计算出所述模板图像与所述源图像的特征点及特征向量；

根据所述特征点及特征向量，计算出所述最佳匹配区域与所述模板图像的视觉相似度；

若所述视觉相似度为零，则判定所述最佳匹配区域与所述模板图像不匹配；

若所述视觉相似度不为零，则获得所述模板图像与所述源图像的特征匹配点对；

根据所述特征匹配点对，计算出最佳匹配图像的定位坐标。

2.如权利要求1所述的图像匹配的方法，其特征在于，所述将模板图像在源图像中进行全局模板匹配，控制所述模板图像在所述源图像中滑动查找出最佳匹配区域，具体为：

分别获取所述模板图像与所述源图像的高度和宽度；

若所述模板图像的高度大于所述源图像的高度，或者，所述模板图像的宽度大于所述源图像的宽度，则判定所述源图像中不存在匹配区域；

若所述模板图像的高度小于或等于所述源图像的高度，并且，所述模板图像的宽度小于或等于所述源图像的宽度，则：

将所述模板图像在所述源图像中以单位长度进行滑动，逐一计算出所述模板图像与所述源图像的标准相关系数，获得标准相关系数矩阵；

查找出所述标准相关系数矩阵中的最大系数值，以及所述最大系数值所对应的坐标位置；

根据所述最大系数值所对应的坐标位置以及所述模板图像的高度与宽度，确定所述最佳匹配区域的位置。

3.如权利要求2所述的图像匹配的方法，其特征在于，所述最大系数值所对应的坐标位置为(m，n)，所述模板图像的高度为h1，宽度为w1；

则所述最佳匹配区域的位置为：在所述源图像上的、以坐标位置(m，n)为左上角，长为h1，高为w1的矩形区域。

4.如权利要求2所述的图像匹配的方法，其特征在于，所述计算出所述模板图像与所述源图像的特征点及特征向量，具体包括：

在待检测图像上搜索所有尺度的图像位置，通过高斯微分函数检测出对于尺度和旋转不变的极值点；

依据所述极值点的稳定程度，通过建立一个拟合模型来确定特征点的位置和尺度；

基于图像局部的梯度方向，为每个特征点的位置分配一个或多个方向；

在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，将所述梯度变换为表示局部形状变形和光照变化的特征向量；

当所述待检测图像为所述模板图像时，所述特征点为所述模板图像的SIFT特征点；所述特征向量为所述模板图像的SIFT特征向量；当所述待检测图像为所述源图像时，所述特征点为所述源图像的SIFT特征点；所述特征向量为所述源图像的SIFT特征向量。

5.如权利要求4所述的图像匹配的方法，其特征在于，根据所述特征点及特征向量，计算出所述最佳匹配区域与所述模板图像的视觉相似度，具体为：

计算出所述模板图像的SIFT特征点的长度和所述最佳匹配区域的SIFT特征点的长度；

若所述模板图像的SIFT特征点的长度为零，或者，所述最佳匹配区域的SIFT特征点的长度为零，则确定所述最佳匹配区域与所述模板图像的视觉相似度为零；

若所述模板图像的SIFT特征点的长度不为零，并且，所述最佳匹配区域的SIFT特征点的长度不为零，则，计算出所述模板图像与所述最佳匹配区域的特征匹配点对的数目；将所述特征匹配点对的数目除以所述模板图像的SIFT特征点的长度的商作为所述视觉相似度。

6.如权利要求5所述的图像匹配的方法，其特征在于，若所述视觉相似度不为零，则获得所述模板图像与所述源图像的特征匹配点对，具体包括：

计算出所述模板图像的SIFT特征向量与所述最佳匹配区域的SIFT特征向量的最小欧氏距离和次小欧氏距离；

在所述最小欧氏距离除以所述次小欧氏距离的商小于第一阈值时，将所述模板图像与所述源图像的特征点作为所述特征匹配点对，并对所述特征匹配点对的数目进行叠加。

7.如权利要求6所述的图像匹配的方法，其特征在于，当所述特征匹配点对的数目高于最小匹配数目时，所述根据所述特征匹配点对，计算出最佳匹配图像的定位坐标，包括：

利用单映射函数查找出与所述特征匹配点对相对应的单映射矩阵；

根据所述单映射矩阵，利用向量数组的透视变换函数计算出所述模板图像在所述源图像上的最佳匹配区域的多个坐标点；

计算出最佳匹配区域的中心点坐标，将所述中心点坐标作为所述最佳匹配图像的定位坐标。

8.如权利要求7所述的图像匹配的方法，其特征在于，所述根据所述单映射矩阵，利用向量数组的透视变换函数计算出所述模板图像在所述源图像上的最佳匹配区域的多个坐标点，具体包括：

根据所述特征匹配点对，获取所述模板图像上的SIFT特征点的坐标及其一一匹配的、在所述源图像上的SIFT特征点的坐标；

随机筛选出N对匹配点对的坐标，在所述模板图像和所述源图像之间进行映射，获得第一方程：

$\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right]~H*\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]$

并且获得对应的映射系数，将所述映射系数组建为系数矩阵H，获得第二方程：

$H=\begin{array}{}\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\end{array}$

其中，N≥4；[x’_i,y’_i]是所述源图像上的SIFT特征点的坐标；[x_i,y_i]是所述模板图像上的SIFT特征点的坐标；H是从所述模板图像上的SIFT特征点映射到所述源图像上的SIFT特征点的系数矩阵；

利用所述系数矩阵计算出所述模板图像上的SIFT特征点映射到所述源图像上的实时坐标；

在所述源图像上的SIFT特征点的坐标与所述实时坐标的之间的距离小于第二阈值时，利用第一方程和第二方程对所述系数矩阵H进行更新，直到所述系数矩阵H不再变化，并将不再变化的系数矩阵H作为所述单映射矩阵；

根据所述单映射矩阵和第一方程，通过以下第三方程逐一计算出所述模板图像在所述最佳匹配区域的N个匹配点的坐标(x’,y’)：

$(x^{\′},y^{\′})=(\frac{h_{11}x+h_{12}y+h_{13}}{h_{31}x+h_{32}y+h_{33}},\frac{h_{21}x+h_{22}y+h_{23}}{h_{31}x+h_{32}y+h_{33}})$

将所述N个匹配点的坐标的中心点坐标作为所述最佳匹配图像的定位坐标。

9.如权利要求6所述的图像匹配的方法，其特征在于，当所述特征匹配点对的数目低于所述最小匹配数目，并且大于指定倍率系数时，其中，所述指定倍率系数小于所述最小匹配数目；

则所述根据所述特征匹配点，计算出最佳匹配图像的定位坐标，具体为：

对所述模板图像进行SIFT强匹配，包括：根据所述特征匹配点对，获取所述模板图像上的SIFT特征点的坐标及其一一匹配的、在所述源图像上的SIFT特征点的坐标；

对所述源图像上的SIFT特征点的坐标求均值处理，并将获得的均值坐标值作为所述最佳匹配图像的定位坐标。

10.如权利要求6所述的图像匹配的方法，其特征在于，当所述特征匹配点对的数目小于指定倍率系数时，其中，所述指定倍率系数小于所述最小匹配数目；

则所述根据所述特征匹配点，计算出最佳匹配图像的定位坐标，包括：选定所述最佳匹配区域中的特征点的邻近区域与所述模板图像进行局部模板匹配。

11.如权利要求10所述的图像匹配的方法，其特征在于，选定所述最佳匹配区域中的特征点的邻近区域与所述模板图像进行局部模板匹配，包括：

计算出所述特征点的邻近区域与所述模板图像的局部视觉相似度；

若所述局部视觉相似度高于第三阈值，则判定匹配成功，根据局部模板匹配获得的坐标计算出所述最佳匹配图像的定位坐标；

若所述局部视觉相似度低于所述第三阈值，则对所述模板图像与所述源图像进行全局多尺度模板匹配。

12.如权利要求11所述的图像匹配的方法，其特征在于，若所述局部视觉相似度低于所述第三阈值，则对所述模板图像与所述源图像进行全局多尺度模板匹配，具体包括：

建立尺度列表；所述尺度列表包括多个尺度系数；

根据所述尺度列表中的尺度系数，对所述模板图像进行放缩；

对进行放缩后的模板图像在所述源图像中进行全局模板匹配，记录每一次匹配获得的匹配值和匹配区域，形成最佳匹配集合；

计算完所有尺度的全局模板匹配后，将所述最佳匹配集合中的最大匹配值所对应的区域作为最佳匹配图像，并计算出所述最佳匹配图像的中心坐标值作为所述最佳匹配图像的定位坐标。

13.一种手机应用测试平台，所述手机应用测试平台上包括待测试手机应用的测试脚本及测试所需图像资源，其特征在于，包括：

测试资源下载单元，用于下载待测试手机应用的测试脚本及所述图像资源至被测试手机中；

截图单元，用于对被测试手机屏幕上显示的待测试手机应用的测试图像进行截图和上传；

图像匹配单元，用于采用如权利要求1～12任一项所述的图像匹配的方法，将所述测试图像作为模板图像在相应的图像资源上进行图像匹配，查找出所述测试图像的最佳匹配图像的定位坐标；以及，

测试单元，用于根据所述图像匹配单元查找的最佳匹配图像的定位坐标，启动对所述测试图像所关联的测试代码的测试，将所述定位坐标和测试结果数据反馈至被测试手机。

14.如权利要求13所述的手机应用测试平台，其特征在于，所述手机应用测试平台上设有多种通用接口，并针对所述通用接口上设有相应的驱动层。

15.如权利要求13或14所述的手机应用测试平台，其特征在于，所述待测试手机应用为手机游戏应用；则所述手机应用测试平台为手机游戏测试平台。

16.如权利要求15所述的手机应用测试平台，其特征在于，所述平台还包括测试中心；所述测试单元还用于将测试数据结果数据传输至所述测试中心；所述测试结果数据包括待测试的手机型号信息、测试过程所产生的截图、CPU信息、内存信息、耗电信息和网卡流量信息。