CN105701766A - 图形匹配方法和装置 - Google Patents

Abstract

本发明提供一种图像匹配方法和装置，通过计算待匹配截图和源图像的SIFT特征点和SIFT特征向量，根据待匹配截图和所述源图像的SIFT特征点和SIFT特征向量，计算待匹配截图和所述源图像的特征匹配点对，进而根据待匹配截图和源图像的特征匹配点对，确定确定特征匹配点对的映射关系，根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域，通过SIFT算法进行图像匹配，并且在识别目标区域时只将待匹配截图的各个角点映射到源图像中，避免引入错误的匹配点对，可以提高图像匹配的准确度。

Description

图形匹配方法和装置

技术领域

本发明涉及手机测试技术领域，尤其涉及一种图像匹配方法和装置。

背景技术

Airtest软件主要用于手机应用的回归测试，它可以将手机屏幕同步投射到个人计算机(personalcomputer，简称PC)屏幕上，操作者能够通过鼠标的交互达到操作手机的目的。Airtest软件的功能：将人对手机的操作过程脚本化并可重复执行。脚本录制：伴随用户的每一步鼠标模拟操作，Airtest同步地自动生成相应脚本，记录操作位置(以及对应的操作截图)以及操作类型(点击、滑动等)。脚本回放：连接安卓手机(任何分辨率手机)，载入脚本，点击回放即可。

脚本回放过程中，软件后台通过将脚本中的截图和手机屏幕中的源图像进行匹配，识别出与待匹配截图相同或相似的目标区域，进而在目标区域所在的位置执行脚本记录的操作。目标区域识别的正确性，直接决定着软件是否能在正确位置进行操作。并且脚本中的截图和截图在手机实时屏幕中的对应区域可能有所不同。例如，软件使用手机1进行脚本录制，使用手机2进行脚本回放，手机1中的截图和截图在手机2的对应区域可能因为分辨率不同而有很大区别，不光有图标大小的差异，还可能有一些背景性的差别。

现有技术中常用的图像匹配方法由模板匹配和基于尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)的图形匹配方法，但是现有的基于SIFT的图像匹配方法的准确率不高，并且在特征点数很少的情况下，无法基于SIFT实现。

发明内容

本发明实施例提供一种图像匹配方法和装置，提高了图像匹配的准确度。

本发明第一方面提供一种图像匹配方法，包括：

计算待匹配截图和源图像的SIFT特征点和SIFT特征向量；

根据所述待匹配截图和所述源图像的SIFT特征点和SIFT特征向量，确定所述待匹配截图和所述源图像的特征匹配点对；

根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系；

根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域。

可选的，所述根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域之后，所述方法还包括：

计算所述待匹配截图和所述目标区域的相似度；

根据所述相似度确定所述目标区域的可信度，当所述目标区域的可信度大于预设的第二阈值时，确定所述目标区域有效。

可选的，所述根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系，包括：

当所述待匹配截图和所述源图像的特征匹配点对的数目大于或等于4时，根据所述待匹配截图和所述源图像的特征匹配点对，计算所述待匹配截图和所述源图像的单映射矩阵；

所述根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域，包括：

根据所述单映射矩阵计算所述待匹配截图的N个角点映射到所述源图像上的N个角点的坐标，所述待匹配截图的N个角点映射到所述源图像上的N个角点为所述目标区域的角点，N为大于或等于4的正整数。

可选的，所述根据所述待匹配截图和所述源图像的特征匹配点对，计算所述待匹配截图和所述源图像的单映射矩阵，包括：

根据所述待匹配截图和所述源图像的特征匹配点对，确定所述待匹配截图的所有匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标；

根据所述待匹配截图和所述源图像的每个特征匹配点对的坐标，计算所述待匹配截图和所述源图像的单映射矩阵；

根据所述单映射矩阵计算所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第二SIFT特征点的坐标；

计算所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离；

按照所述待匹配截图的所有匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离从小到大对所述待匹配截图的所有匹配SIFT特征点进行排序；

计算所述待匹配截图的所有匹配SIFT特征点中前一半的匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离的平均值；

比较所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离与所述平均值的大小；

剔除所述待匹配截图和所述源图像中第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离大于x倍的所述平均值的错误特征匹配点对，2≤x≤3；

根据所述待匹配截图和所述源图像剔除错误特征匹配点对后剩余的特征匹配点对更新所述待匹配截图和所述源图像的单映射矩阵，直至所述待匹配截图和所述源图像中的所有错误特征匹配点对都被剔除，得到所述待匹配截图和所述源图像的准确特征匹配点对，将根据所述待匹配截图和所述源图像的准确特征匹配点对计算得到精确单映射矩阵作为所述待匹配截图和所述源图像的单映射矩阵。

可选的，所述根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系，包括：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于2时，判断所述两个特征匹配点对是否共x轴或共y轴；

当所述两个特征匹配点对不共x轴也不共y轴时，根据所述两个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比；

所述根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域，包括：

根据所述x轴的缩放比、所述y轴的缩放比和所述待匹配截图的中心点坐标，计算所述待匹配截图的中心点在所述源图像中的映射点的坐标，所述待匹配截图的中心点在所述源图像中的映射点为所述目标区域的中心点；

当所述两个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，则确定所述两个特征匹配点对在源图像上的两个点的中点为所述目标区域的中心点；

根据所述待匹配截图的长度、宽度和所述目标区域的中心点的坐标，确定所述目标区域的各角点的坐标。

可选的，所述根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系，包括：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于3时，从所述3个特征匹配点对中选择两个特征匹配点对；

确定选择的两个特征匹配点对的中点；

判断选择的两个特征匹配点对的中点与剩余的一个特征匹配点对是否共x轴或共y轴；

当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对不共x轴也不共y轴时，根据选择的两个特征匹配点对的中点的坐标与剩余的一个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比；

所述根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域，包括：

根据所述x轴的缩放比、所述y轴的缩放比和所述待匹配截图的中心点坐标，计算所述待匹配截图的中心点在所述源图像中的映射点的坐标，所述待匹配截图的中心点在所述源图像中的映射点为所述目标区域的中心点；

当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，则确定选择的两个特征匹配点对的中点与剩余的一个特征匹配点对在源图像上的两个点的中点为所述目标区域的中心点；

根据所述待匹配截图的长度、宽度和所述目标区域的中心点的坐标，确定所述目标区域的各角点的坐标。

可选的，所述根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系，包括：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于1时，确定所述特征匹配点对在源图像中的特征点为所述目标区域的中心点；

所述根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域，包括：

根据所述待匹配截图的长度、宽度和所述目标区域的中心点的坐标，确定所述目标区域的各角点的坐标。

可选的，所述计算所述待匹配截图和所述目标区域的相似度，包括：

对所述待匹配截图和所述目标区域进行归一化处理，归一化为所述待匹配截图和所述目标区域中像素较小的图像的像素；

根据所述待匹配截图归一化后的像素和所述目标区域归一化后的像素计算所述待匹配截图和所述目标区域的相似度。

可选的，所述待匹配截图和所述目标区域的相似度为标准相关系数。

可选的，所述计算待匹配截图和源图像的SIFT特征点和SIFT特征向量，包括：

在待检测图像中搜索所有尺度的图像位置，通过高斯微分函数检测出尺度和旋转不变的极值点；

根据所述极值点的稳定程度，通过建立一个拟合模型来确定特征点的位置和尺度；

基于图像局部的梯度方向，为每个特征点的位置分配一个或多个方向；

在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，将所述梯度变换为表示局部形状变形和光照变化的特征向量；

当所述待检测图像为所述待匹配截图时，所述特征点为所述待匹配截图的SIFT特征点，所述特征向量为所述待匹配截图的SIFT特征向量，当所述待检测图像为所述源图像时，所述特征点为所述源图像的SIFT特征点，所述特征向量为所述源图像的SIFT特征向量。

可选的，所述根据所述待匹配截图和所述源图像的SIFT特征点和SIFT特征向量，计算所述待匹配截图和所述源图像的特征匹配点对，包括：

计算所述待匹配截图的SIFT特征向量与所述SIFT源图像的特征向量的最小欧式距离和次小欧式距离；

当所述最小欧式距离与所述次小欧式距离的比值小于预设的第一阈值时，将所述待匹配截图的SIFT特征向量对应的SIFT特征点和所述源图像的SIFT特征向量对应的SIFT特征点作为特征匹配点对。

本发明第二方面提供一种图像匹配装置，包括：

特征计算模块，用于计算待匹配截图和源图像的SIFT特征点和SIFT特征向量；

第一确定模块，用于根据所述待匹配截图和所述源图像的SIFT特征点和SIFT特征向量，确定所述待匹配截图和所述源图像的特征匹配点对；

第二确定模块，用于根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系；

第三确定模块，用于根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域。

可选的，所述图像匹配装置还包括：

相似度计算模块，用于计算所述待匹配截图和所述目标区域的相似度；

可信度确定模块，用于根据所述相似度确定所述目标区域的可信度，当所述目标区域的可信度大于预设的第二阈值时，确定所述目标区域有效。

可选的，所述第二确定模块具体用于：

当所述待匹配截图和所述源图像的特征匹配点对的数目大于或等于4时，根据所述待匹配截图和所述源图像的特征匹配点对，计算所述待匹配截图和所述源图像的单映射矩阵；

所述第三确定模块具体用于：根据所述单映射矩阵计算所述待匹配截图的N个角点映射到所述源图像上的N个角点的坐标，所述待匹配截图的N个角点映射到所述源图像上的N个角点为所述目标区域的角点，N为大于或等于4的正整数。

可选的，所述第二确定模块具体用于：

根据所述待匹配截图和所述源图像的特征匹配点对，确定所述待匹配截图的所有匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标；

根据所述待匹配截图和所述源图像的每个特征匹配点对的坐标，计算所述待匹配截图和所述源图像的单映射矩阵；

根据所述单映射矩阵计算所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第二SIFT特征点的坐标；

计算所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离；

按照所述待匹配截图的所有匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离从小到大对所述待匹配截图的所有匹配SIFT特征点进行排序；

计算所述待匹配截图的所有匹配SIFT特征点中前一半的匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离的平均值；

比较所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离与所述平均值的大小；

剔除所述待匹配截图和所述源图像中第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离大于x倍的所述平均值的错误特征匹配点对，2≤x≤3；

根据所述待匹配截图和所述源图像剔除错误特征匹配点对后剩余的特征匹配点对更新所述待匹配截图和所述源图像的单映射矩阵，直至所述待匹配截图和所述源图像中的所有错误特征匹配点对都被剔除，得到所述待匹配截图和所述源图像的准确特征匹配点对，将根据所述待匹配截图和所述源图像的准确特征匹配点对计算得到精确单映射矩阵作为所述待匹配截图和所述源图像的单映射矩阵。

可选的，所述第二确定模块具体用于：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于2时，判断所述两个特征匹配点对是否共x轴或共y轴；

当所述两个特征匹配点对不共x轴也不共y轴时，根据所述两个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比；

所述第三确定模块具体用于：根据所述x轴的缩放比、所述y轴的缩放比和所述待匹配截图的中心点坐标，计算所述待匹配截图的中心点在所述源图像中的映射点的坐标，所述待匹配截图的中心点在所述源图像中的映射点为所述目标区域的中心点；

当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，则确定选择的两个特征匹配点对的中点与剩余的一个特征匹配点对在源图像上的两个点的中点为所述目标区域的中心点；

根据所述待匹配截图的长度、宽度和所述目标区域的中点的坐标，确定所述目标区域的各角点的坐标。

可选的，所述第二确定模块具体用于：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于3时，从所述3个特征匹配点对中选择两个特征匹配点对；

确定选择的两个特征匹配点对的中点；

判断选择的两个特征匹配点对的中点与剩余的一个特征匹配点对是否共x轴或共y轴；

当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对不共x轴也不共y轴时，根据选择的两个特征匹配点对的中点的坐标与剩余的一个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比；

所述第三确定模块具体用于：

根据所述x轴的缩放比、所述y轴的缩放比和所述待匹配截图的中心点坐标，计算所述待匹配截图的中心点在所述源图像中的映射点的坐标，所述待匹配截图的中心点在所述源图像中的映射点为所述目标区域的中心点；

当选择的两个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，则确定选择的两个特征匹配点对在源图像上的两个点的中点为所述目标区域的中心点；

根据所述待匹配截图的长度、宽度和所述目标区域的中点的坐标，确定所述目标区域的各角点的坐标。

可选的，所述第二确定模块具体用于：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于1时，确定所述特征匹配点对在源图像中的特征点为所述目标区域的中心点；

所述第三确定模块具体用于：根据所述待匹配截图的长度、宽度和所述目标区域的中点的坐标，确定所述目标区域的各角点的坐标。

可选的，所述相似度计算模块具体用于：

对所述待匹配截图和所述目标区域进行归一化处理，归一化为所述待匹配截图和所述目标区域中像素较小的图像的像素；

根据所述待匹配截图归一化后的像素和所述目标区域归一化后的像素计算所述待匹配截图和所述目标区域的相似度。

其中，所述待匹配截图和所述目标区域的相似度为标准相关系数。

可选的，所述特征计算模块具体用于：

在待检测图像中搜索所有尺度的图像位置，通过高斯微分函数检测出尺度和旋转不变的极值点；

根据所述极值点的稳定程度，通过建立一个拟合模型来确定特征点的位置和尺度；

基于图像局部的梯度方向，为每个特征点的位置分配一个或多个方向；

在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，将所述梯度变换为表示局部形状变形和光照变化的特征向量；

当所述待检测图像为所述待匹配截图时，所述特征点为所述待匹配截图的SIFT特征点，所述特征向量为所述待匹配截图的SIFT特征向量，当所述待检测图像为所述源图像时，所述特征点为所述源图像的SIFT特征点，所述特征向量为所述源图像的SIFT特征向量。

可选的，所述第一确定模块具体用于：

计算所述待匹配截图的SIFT特征向量与所述SIFT源图像的特征向量的最小欧式距离和次小欧式距离；

当所述最小欧式距离与所述次小欧式距离的比值小于预设的第一阈值时，将所述待匹配截图的SIFT特征向量对应的SIFT特征点和所述源图像的SIFT特征向量对应的SIFT特征点作为特征匹配点对。

本实施例的图像匹配方法和装置，通过计算待匹配截图和源图像的SIFT特征点和SIFT特征向量，根据待匹配截图和所述源图像的SIFT特征点和SIFT特征向量，计算待匹配截图和所述源图像的特征匹配点对，进而根据待匹配截图和源图像的特征匹配点对，确定特征匹配点对的映射关系，根据映射关系确定待匹配截图各个角点在源图像中的对应位置，以此识别出目标区域。通过SIFT算法进行图像匹配，并且在识别目标区域时只将待匹配截图的各个角点映射到源图像中，避免引入错误的匹配点对，可以提高图像匹配的准确度。

附图说明

图1为本发明实施例一提供的图像匹配方法的流程图；

图2为本发明实施例二提供的图像匹配方法的流程图；

图3为本发明实施例三提供的SIFT特征点和SIFT特征向量的计算方法的流程图；

图4为本发明实施例四提供的目标区域的确定方法的流程图；

图5为待匹配截图和目标区域的对比示意图；

图6为本发明实施例五提供的目标区域的确定方法的流程图；

图7为待匹配截图和源图像的特征匹配点对的示意图；

图8为本发明实施例六提供的图像匹配装置的结构示意图；

图9为本发明实施例七提供的图像匹配装置的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行详细描述。

图1为本发明实施例一提供的图像匹配方法的流程图，如图1所示，本实施例提供的方法可以包括以下步骤：

步骤101、计算待匹配截图和源图像的SIFT特征点和SIFT特征向量。

其中，待匹配截图为脚本中的图像，源图像为手机屏幕上实时显示的图像，在手机测试阶段，用户通过鼠标点击操作选中脚本中的待匹配截图，然后计算待匹配截图和源图像的SIFT特征点和SIFT特征向量。

SIFT是一种用于图像处理领域的一种描述，这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。SIFT特征匹配算法主要通过求取两幅图像中的特征点(InterestPointsorCornerPoints)及其有关尺寸(scale)和方向(orientation)的描述子得到特征，在尺度空间中寻找极值点，并提取出其位置、尺度、旋转不变量，然后进行两幅图像的特征点匹配，SIFT算法的实质是在不同尺度空间上查找特征点，并计算出特征点的方法，其所查找到的特征点是一些十分突出，不会因光照、仿射变换和噪音等因素而变换的点，如角点、边缘点、暗区的亮点及亮区的暗点等，因而SIFT特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换和噪音等也保持一定程度的稳定性。

SIFT算法在处理一幅图像时，得到的是N个特征点和对应的N个特征向量，即每个特征点对应一个特征向量。特征点即为一个像素的坐标，特征向量是此像素的特征描述子，是一个128维的向量，描述了该像素位置上的8个方向上的特征。本实施例中需要分别提取待匹配截图和源图像的SIFT特征点、特征向量。

步骤102、根据待匹配截图和源图像的SIFT特征点和SIFT特征向量，计算待匹配截图和源图像的特征匹配点对。

本实施例中可以采用现有的任意一种计算特征匹配点对的方法，计算待匹配截图和源图像的特征匹配点对。一种具体实现方式中，先计算待匹配截图的SIFT特征向量与SIFT源图像的特征向量的最小欧式距离和次小欧式距离，然后，计算最小欧式距离和次小欧式距离的比值，比较最小欧式距离和次小欧式距离的比值与预设的第一阈值的大小，当最小欧式距离与次小欧式距离的比值小于该第一阈值时，将待匹配截图的SIFT特征向量对应的SIFT特征点和源图像的SIFT特征向量对应的SIFT特征点作为特征匹配点对。对于待匹配截图中的每个SIFT特征点，都采用上述方法确定是否存在特征匹配点对。

第一阈值的取值会影响特征匹配点对的精确性，第一阈值越小，说明最优特征点比次优特征点好的越多，特征匹配点对的准确度越高，但是特征匹配点对的数量也会越少。第一阈值的范围为大于等于0小于等于1，针对海量图片的匹配发现，第一阈值的范围为0.4-0.6时，匹配结果比较精确，第一阈值的范围小于0.4时，匹配得到的特征匹配点对的数量过少(甚至0对)。优选的，本实施例中第一阈值的取值为0.6，可以降低匹配结果中错误的特征匹配点对的数量。

步骤103、根据待匹配截图和源图像的特征匹配点对，确定特征匹配点对的映射关系。

步骤104、根据映射关系确定待匹配截图各个角点在源图像中的对应位置，以此识别出目标区域。

本实施例中，在确定特征匹配点对的映射关系时，分为以下几种情况：

(1)当特征匹配点对的数量大于或等于4个时，根据特征匹配点对计算单映射矩阵，单映射矩阵即为特征匹配点对的映射关系。在根据特征匹配点对计算单映射矩阵时，由于特征匹配点对中可能存在一些错误的特征匹配点对，错误的特征匹配点对可能导致计算得到的单映射矩阵存在误差，因此，本实施例中还可以进一步剔除错误的特征匹配，得到精确化的单映射矩阵。

(2)当特征匹配点对的数量为2个或3个时，由于特征匹配点对数量较少无法计算单映射矩阵，根据特征匹配点的坐标确定特征匹配点对在二维坐标中的映射关系。

(3)当特征匹配点对的数量为1个时，由于特征匹配点对数量较少，即无法计算单映射矩阵，也无法计算特征匹配点对在二维坐标中的映射关系，此时，源图像中只有一个特征匹配点，将该特征匹配点作为目标区域的中心点，此时求出的目标区域为无效区域。

本实施例的方法，在计算出特征匹配点对的映射关系后，根据映射关系确定待匹配截图各个角点在源图像中的映射点。其中，待匹配截图的角点，即待匹配截图的外边缘上不在同一直线上的至少三个点，例如，待匹配截图通常为矩形，那么待匹配截图的角点可以是矩形的四个顶点。当然，本发明并比对待匹配截图的具体形状进行限定，例如，当待匹配截图为三角形时，待匹配截图的角点为三角形的各顶点。甚至当待匹配截图为圆形时,待匹配截图的角点为圆周上不在同一直线三个点。在已知待匹配截图的角点和映射关系的前提下，可以确定待匹配截图的各角点在源图像中的映射点，待匹配截图的各个角点在源图像中的映射点就是目标区域的角点，将目标区域的各个角点连接起来，得到的就是目标区域。一般来说，待匹配截图为矩形时，目标区域也是矩形；待匹配截图为三角形时，目标区域也是三角形；待匹配截图为圆形时，目标区域也是圆形。

本实施例中利用上文中求出的精确化的映射关系，从待匹配截图中的角点得到源图像中对应的识别区域的角点，进而得到识别目标区域，目标区域的几何中心点即为识别最佳位置。

之所以强调识别位置的精确性，因为本发明的实际应用场景为Airtest软件提供精确的操作位置点，在该位置点进行Airtest脚本所记录的操作。如果位置点有偏差，有可能造成在错误位置(可能是手机屏幕上的另一个图标或按键)执行操作，从而进入错误的逻辑，不能正确进行Airtest脚本所记录的操作过程。

本实施例的方法，通过计算待匹配截图和源图像的SIFT特征点和SIFT特征向量，根据待匹配截图和所述源图像的SIFT特征点和SIFT特征向量，计算待匹配截图和所述源图像的特征匹配点对，进而根据待匹配截图和源图像的特征匹配点对，确定特征匹配点对的映射关系，根据映射关系确定待匹配截图各个角点在源图像中的对应位置，以此识别出目标区域。通过SIFT算法进行图像匹配，并且在识别目标区域时只将待匹配截图的各个角点映射到源图像中，避免引入错误的匹配点对，可以提高图像匹配的准确度。

在上述实施例一的基础上，本发明实施例二提供一种图像匹配方法，在确定目标区域之后，会进一步识别目标区域的有效性，图2为本发明实施例二提供的图像匹配方法的流程图，如图2所示，在图1所示流程图的基础上，本实施例的方法还包括以下步骤：

步骤105、计算待匹配截图和目标区域的相似度。

常用的相似度计算的方法：①经典模板匹配的6种度量方法；②结构相似度指数的测量(structuralsimilarityindexmeasurement，简称SSIM)。但是，对于这几种方法来说，需要同像素大小的图像才能处理。此处，待匹配截图和目标区域的大小可能相同，也可能不同。待匹配截图和目标区域中，将像素大小较大的图像记为图a，像素大小较小的图像记为图b，需要将两幅图像素大小归一化。如果归一化为较大的图a大小，则图需要对图b进行插值，即需要生成额外的像素，让生成的像素参与相似度计算显然并不合理。本实施例中选择统一归一化为图b的大小，图a通过相应比例的平均抽样，得到与图b同大小的图c。

本实施例中，对待匹配截图和目标区域进行归一化处理，归一化为待匹配截图和目标区域中像素较小的图像的像素，然后根据待匹配截图归一化后的像素和目标区域归一化后的像素计算待匹配截图和目标区域的相似度。

其中，待匹配截图和目标区域的相似度可以为标准相关系数，本实施例中，标准相关系数具体可以通过以下公式计算：

$A=\frac{{\mathrm{\Σ}}_{x,y}T(x,y)*s(x,y)}{\sqrt{{\mathrm{\Σ}}_{x,y}{\left(T\right(x,y\left)\right)}^2*{\mathrm{\Σ}}_{x,y}{\left(S\right(x,y\left)\right)}^2}}$

其中，T(x,y)是待匹配截图中(x,y)坐标归一化后像素灰度值，S(x,y)是源图像中(x,y)坐标归一化后的像素灰度值，A表示待匹配截图和目标区域的标准相关系数,待匹配截图和目标区域的标准相关系数即是待匹配截图和目标区域的相似度。

步骤106、根据相似度确定目标区域的可信度，当目标区域的可信度大于预设的第二阈值时，确定目标区域有效。

相似度的取值范围为[-1，1]，假设相似度用result表示，可信度用confidence表示，通过confidence＝(result+1)/2公式，将相似度映射至[0，1]区间得到可信度。在实际使用中，目标区域的可信度是否有效则取决于是否满足了第二阈值threshold，即是否满足confidence>threshold，threshold是根据经验值预先设置好的，软件中所设经验值threshold＝0.7。

在用Airtest软件进行手机测试时，如果确定目标区域有效，测试人员在点击目标区域的中心位置时，会打开相应的应用，如果确定目标区域无效，测试人员在点击目标区域的中心位置时，不会打开相应的应用。

本实施例的方法，在计算出目标区域后，计算待匹配截图和目标区域的相似度，根据相似度确定目标区域的有效性，当目标区域的可信度大于预设的第二阈值时，确定目标区域有效，进一步了提高了匹配结果的准确度。根据目标区域，求出其与待匹配截图的相似度作为客观可信度，具备理想的区分度。

在上述实施例一和实施例二的基础上，本发明实施例三提供一种SIFT特征点和特征向量的计算方法，即本实施例是对实施例一中的步骤101的详细描述，图3为本发明实施例三提供的SIFT特征点和SIFT特征向量的计算方法的流程图，如图3所示，本实施例提供的方法可以包括以下步骤：

步骤201、在待检测图像中搜索所有尺度的图像位置，通过高斯微分函数检测出尺度和旋转不变的极值点。

本实施例中，待检测图像可以为待匹配截图或源图像，极值点又称为潜在的对于尺度和旋转不变的兴趣点。先为待检测图像建立了尺度空间，然后寻找尺度空间的极值点，为了寻找尺度空间的极值点，待检测图像中的每个采样点都要和它所有的相邻点比较，通常将一个检测点和它同尺度的8个相邻点以及上下相邻尺度对应的18点进行比较，以确保在尺度空间和二维图像空间都检测到极值点，如果一个检测点通过比较为最大值或最小值时，确定该检测点是待检测图像在该尺度下的一个特征点。

步骤202、根据极值点的稳定程度，通过建立一个拟合模型来确定SIFT特征点的位置和尺度。

在步骤201的基础上，本步骤中通过拟合模型来精确定位极值点，可以去掉低对比度的极值点和不稳定的边缘响应点。

步骤203、基于图像局部的梯度方向，为每个特征点的位置分配一个或多个方向。

本步骤的目的是为每个特征点指定方向参数，具体是根据每个特征点的相邻像素的梯度方向分布特性为每个特征点指定方向参数，使算子具备旋转不变性。对于每个特征点其共有三个信息：位置、所处尺度和方向。

步骤204、在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，将梯度变换为表示局部形状变形和光照变化的特征向量。

本步骤的目的是生成特征点的特征向量，特征向量即描述子。

在步骤201-204中，当待检测图像为待匹配截图时，上述的特征点为待匹配截图的SIFT特征点，特征向量为待匹配截图的SIFT特征向量。当待检测图像为源图像时，上述的特征点为源图像的SIFT特征点，特征向量为源图像的SIFT特征向量。

实施例二只是提供了SIFT特征点和SIFT特征向量的一种计算方法，当然，还可以通过其他方法计算待匹配截图、源图像的SIFT特征点和SIFT特征向量。

在上述实施例一至实施例三的基础上，本发明实施例四提供一种目标区域的确定方法，即本实施例是对实施例一中的步骤103和104的详细描述，本实施例适用于当待匹配截图和源图像的特征匹配点对的数目大于或等于4的情况，图4为本发明实施例四提供的目标区域的确定方法的流程图，如图4所示，本实施例提供的方法可以包括以下步骤：

步骤301、根据待匹配截图和源图像的特征匹配点对，计算待匹配截图和源图像的单映射矩阵。

一种可行的实现方式中，首先根据待匹配截图和源图像的特征匹配点对，确定待匹配截图的每个匹配SIFT特征点在源图像上对应的第一SIFT特征点的坐标，每个特征匹配点对都包括两个SIFT特征点，其中一个SIFT特征点在待匹配截图上，另一个SIFT特征点在源图像上。这里的待匹配截图的匹配SIFT特征点是指特征匹配点对中位于待匹配截图上的SIFT特征点，待匹配截图的匹配SIFT特征点在源图像上对应的第一SIFT特征点是指特征匹配点对中位于源图像上的SIFT特征点。然后根据待匹配截图和源图像的所有特征匹配点对的坐标，计算待匹配截图和源图像的单映射矩阵，这两个步骤在执行上并没有先后顺序。

具体可通过如下方程(1)在待匹配截图和源图像之间进行映射，得到映射系数：

$\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\\ 1\end{array}\right]~H^{*}\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]$

其中，[x_i',y_i']表示源图像上的第i个匹配SIFT特征点的坐标，[x_i,y_i]表示待匹配截图上的第i个匹配SIFT特征点的坐标，i的取值范围为1,2，……，N，N≥4，H^*表示映射系数，N个映射系数对应N个三元一次方程，将N个三元一次方程组成一个方程组，求解方程组的公共解(例如采用牛顿迭代法)，公共解即是单映射矩阵H的各个数值，单映射矩阵H是一个3行3列的矩阵，H可以表示为：

$H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]$

其中，h₁₁～h₃₃表示映射系数。

在计算得到单映射矩阵后，根据单映射矩阵计算待匹配截图的每个匹配SIFT特征点在源图像上对应的第二SIFT特征点的坐标。然后，计算待匹配截图的每个匹配SIFT特征点在源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离，该距离可以采用欧式距离。假设特征匹配点对A，B为正确的特征匹配点对，则将点A的坐标带入单映射矩阵映射得到C点，理论上如果单映射矩阵是绝对精确的，那么C点刚好与B点位置相同，即使单映射矩阵不是精确的，C点也与B点非常接近，即C点与B点之间的距离非常小。假设特征匹配点对X、Y为错误的特征匹配点对，将点X的坐标带入单映射矩阵得到Z点，Z点将距离Y点较远，即Z点与Y点的距离较大。

在求出待匹配截图的所有匹配SIFT特征点在源图像上对应的第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离之后，按照待匹配截图的所有匹配SIFT特征点在源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离从小到大对待匹配截图的所有匹配SIFT特征点进行排序。对于某个匹配SIFT特征点来说，对应于源图像中的第一SIFT特征点的坐标和第二SIFT特征点的坐标之间的距离越小，匹配SIFT特征点所属的特征匹配点对误差越小，第一SIFT特征点的坐标和第二SIFT特征点的坐标之间的距离越大，匹配SIFT特征点所属的特征匹配点对误差越大，本实施例中按照距离从小到达排序，排在越前边的特征匹配点对误差越小。因此，计算待匹配截图的所有匹配SIFT特征点中前一半的匹配SIFT特征点在源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离的平均值，待匹配截图的所有匹配SIFT特征点中前一半的匹配SIFT特征点一定都是准确的，因此计算得到的平均值也是准确的。然后，比较待匹配截图的每个匹配SIFT特征点在源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离与平均值的大小，剔除待匹配截图和源图像中第一SIFT特征点的坐标与第二特征点的坐标之间的距离大于x倍的所述平均值的错误特征匹配点对，2≤x≤3。

剔除错误特征匹配点对之后，根据剩余的特征匹配点对更新待匹配截图和源图像的单映射矩阵，即根据剩余的特征匹配点对按照上述方法重新计算单映射矩阵，进一步剔除误差匹配点对，在特征匹配点对较多的情况下，通过多次循环更新单映射矩阵，直至待匹配截图和源图像中的所有错误特征匹配点对都被剔除，得到待匹配截图和源图像的准确特征匹配点对，然后根据待匹配截图和源图像的准确特征匹配点对计算单映射矩阵，将根据待匹配截图和源图像的准确特征匹配点对计算得到精确单映射矩阵作为待匹配截图和源图像的单映射矩阵。

在将第一阈值的取值设置为0.6时，特征匹配点对中的错误特征匹配点对的数量较少，通过一次剔除通常可以剔除全部的错误特征匹配点对。本实施例的方法通过剔除错误特征匹配点对，根据精确的特征匹配点对计算单映射矩阵，可以得到准确的单映射矩阵。

步骤302、根据单映射矩阵计算待匹配截图的N个角点映射到源图像上的N个角点的坐标，待匹配截图的N个角点映射到源图像上的N个角点为目标区域的角点,N为大于或等于4的正整数。

把待匹配截图中求出的所有SIFT特征点逐个映射到源图像中，如果存在错误的SIFT特征点，则错误信息将再次被掺杂进来。另外，SIFT特征点很可能不是平均分布，得到的匹配位置也不会是待匹配截图的几何中心，也就是说即使得到的SIFT特征点对全部正确，得到的结果仍可能存在偏差，偏差大小与图像中的SIFT特征点分布的具体情况有关。因此，本实施例中，只将待匹配截图的N个角点映射到源图像中，例如，当待匹配截图为矩形时，将待匹配截图的4个角点映射到源图像后，得到目标区域的4个角点的坐标。

在确定目标区域的N个角点后，将N个角点连接得到的区域的就是目标区域。当单映射矩阵绝对正确时，目标区域与待匹配截图就是严格的缩放关系，图5为待匹配截图和目标区域的对比示意图，如图5所示，待匹配截图和目标区域的分辨率存在很大差异，根据精确的单映射矩阵得到的目标区域与待匹配截图有效内容的关系是简单的中心缩放关系，待匹配截图的中心准确对应着目标区域的几何中心，这意味着通过本实施例的方法识别出的目标区域是准确的。

本实施例中，之所以强调识别出的目标区域的精确性，因为当实际应用场景为Airtest软件时，需要提供精确的操作位置点，在该位置点进行Airtest脚本所记录的操作。如果位置点有偏差，有可能造成在错误位置(可能是手机屏幕上的另一个图标或按键)执行操作，从而进入错误的逻辑，不能正确进行Airtest脚本所记录的操作过程。

本实施例中，当待匹配截图和源图像的特征匹配点对的数目大于或等于4时，根据待匹配截图和源图像的特征匹配点对，计算待匹配截图和源图像的单映射矩阵，并且在计算单映射矩阵的过程中剔除了错误的特征匹配点对，使得计算得到的单映射矩阵十分精确，从而提高了识别出的目标区域的准确性。另外，本实施例中是根据单映射矩阵计算待匹配截图的N个角点映射到源图像上的N个角点的坐标，映射到源图像上的N个角点为目标区域的角点，进一步提高了识别出的目标区域的准确性。

在上述实施例一至实施例三的基础上，本发明实施例四提供一种目标区域的确定方法，即本实施例是对实施例一中的步骤103和104的详细描述，本实施例适用于当待匹配截图和源图像的特征匹配点对的数目等于2的情况，图6为本发明实施例五提供的目标区域的确定方法的流程图，如图6所示，本实施例提供的方法可以包括以下步骤：

步骤401、判断两个特征匹配点对是否共x轴或共y轴。

当两个特征匹配点对不共x轴也不共y轴时，执行步骤402，当两个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，执行步骤405。

步骤402、根据两个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比。

图7为待匹配截图和源图像的特征匹配点对的示意图，如图7所示，左边图像为待匹配截图，右边的大图为源图像，待匹配截图和源图像共有两个特征匹配点对[(x1,y1)-(x3,y3)]和[(x2,y2)-(x4,y4)]，已知的还有待匹配截图的中心点坐标(a,b)。图7所示例子中，两个特征匹配点对不共x轴也不共y轴，根据两个特征匹配点对的坐标可以得到x轴的缩放比x_scale＝(|x4-x3|)/(|x2-x1|)，y轴的缩放比y_scale＝(|y4-y3|)/(|x4-x3|)。

步骤403、根据x轴的缩放比、y轴的缩放比和待匹配截图的中心点坐标，计算待匹配截图的中心点在源图像中的映射点的坐标，待匹配截图的中心点在源图像中的映射点为目标区域的中心点。

如图7所示，待匹配截图的中心点在源图像中的映射点的坐标为(x,y)，待匹配截图中的点(x1,y1)到(a,b)的横向x轴距离，与源图像中的点(x3,y3)到(x,y)的横向x轴距离必然符合x轴缩放比：x_scale＝(x-x3)/(a-x1)，上面公式只有x是未知数，很容易就能得出：x＝x3+x_scale*(a-x1)。同理对于y轴有：y_scale＝(y-y3)/(b-y1)，可得出：y＝y3+y_scale*(b-y1)。也就得到了(x,y)。

步骤404、根据待匹配截图的长度、宽度以及目标区域的中心点的坐标，确定目标区域的各角点的坐标。

假设待匹配截图的宽、高分别为W1、H1，那么源图像中识别区域的宽、高分别为W2＝W1*x_scale和H2＝H1*y_scale，再由目标区域的中心点进行扩张即可得到目标区域的四个角点的坐标：左上角点：(x-0.5*W2，y-0.5*H2)、右上角点：(x+0.5*W2，y-0.5*H2)、左下角点：(x-0.5*W2，y+0.5*H2)、右下角点：(x+0.5*W2，y+0.5*H2)，根据四个角点的坐标可以确定出目标区域的位置。

步骤405、确定两个特征匹配点对在源图像上的两个点的中点为目标区域的中心点。

当两个特征匹配点对共X轴或共Y轴时或同时共X轴和Y轴时，无法利用上述步骤403-404的方法得到目标区域的中心点。在步骤405之后执行步骤404。

需要说明的是，当两个特征匹配点对共X轴或共Y轴时或同时共X轴和Y轴时，通过步骤405和404计算得到的目标区域的位置不正确，因此，后续在确定目标区域的可信度时，将目标区域可信度设置为小于第二阈值。

当待匹配截图和源图像的特征匹配点对的数目等于3时，可以将3个特征匹配点对直接简化为2个特征匹配点对的情况，简化方案：例如，根据待匹配截图中的点A、点B、点C，求出点B和点C的中点D，将点A和点D作为两个特征点对代入上述N＝2的处理情形中去处理。具体的，先从3个特征匹配点对中选择两个特征匹配点对，可以任意选取两个特征匹配点对，然后确定选择的两个特征匹配点对的中点，判断选择的两个特征匹配点对的中点与剩余的一个特征匹配点对是否共x轴或共y轴。当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对不共x轴也不共y轴时，根据选择的两个特征匹配点对的中点的坐标与剩余的一个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比，根据x轴的缩放比、y轴的缩放比和待匹配截图的中心点坐标，计算待匹配截图的中心点在源图像中的映射点的坐标，待匹配截图的中心点在源图像中的映射点为目标区域的中心点。当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，则确定选择的两个特征匹配点对的中点与剩余的一个特征匹配点对在源图像上的两个点的中点为目标区域的中心点。然后根据待匹配截图的长度、宽度和目标区域的中心点的坐标，确定目标区域的各角点的坐标。

当待匹配截图和源图像的特征匹配点对的数目等于1时，确定特征匹配点对在源图像中的特征点为目标区域的中心点，根据待匹配截图的长度、宽度和目标区域的中心点的坐标，确定目标区域的各角点的坐标。这种情况下后续在确定目标区域的可信度时，将目标区域可信度设置为小于第二阈值。

而待匹配截图和源图像的特征匹配点对的数目等于0时，干脆就得不到任何的关联信息，此时不得不放弃基于SIFT的识别方法，改用其他方法。

图8为本发明实施例六提供的图像匹配装置的结构示意图，如图8所示，本实施例的图像匹配装置包括：特征计算模块11、第一确定模块12、第二确定模块13、和第三确定模块14。

特征计算模块11，用于计算待匹配截图和源图像的SIFT特征点和SIFT特征向量。

第一确定模块12，用于根据所述待匹配截图和所述源图像的SIFT特征点和SIFT特征向量，确定所述待匹配截图和所述源图像的特征匹配点对。

第二确定模块13，用于根据所述待匹配截图和所述源图像的特征匹配点对，确定确定特征匹配点对的映射关系。

第三确定模块14，用于根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域。

图9为本发明实施例七提供的图像匹配装置的结构示意图，如图9所示，本实施例提供的图像匹配装置在图8所示的结构的基础上还包括：相似度计算模块15和可信度确定模块16。

相似度计算模块15，用于计算所述待匹配截图和所述目标区域的相似度；

可信度确定模块16，用于根据所述相似度确定所述目标区域的可信度，当所述目标区域的可信度大于预设的第二阈值时，确定所述目标区域有效。

本发明实施例八提供一种图像匹配装置，本实施例的图像匹配装置的结构与图9所示的图像匹配装置的结构相同，本实施例中所述特征计算模块11具体用于：在待检测图像中搜索所有尺度的图像位置，通过高斯微分函数检测出尺度和旋转不变的极值点，根据所述极值点的稳定程度，通过建立一个拟合模型来确定特征点的位置和尺度，基于图像局部的梯度方向，为每个特征点的位置分配一个或多个方向，在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，将所述梯度变换为表示局部形状变形和光照变化的特征向量，当所述待检测图像为所述待匹配截图时，所述特征点为所述待匹配截图的SIFT特征点，所述特征向量为所述待匹配截图的SIFT特征向量，当所述待检测图像为所述源图像时，所述特征点为所述源图像的SIFT特征点，所述特征向量为所述源图像的SIFT特征向量。

可选的，第一确定模块12具体用于：计算所述待匹配截图的SIFT特征向量与所述SIFT源图像的特征向量的最小欧式距离和次小欧式距离，当所述最小欧式距离与所述次小欧式距离的比值小于预设的第一阈值时，将所述待匹配截图的SIFT特征向量对应的SIFT特征点和所述源图像的SIFT特征向量对应的SIFT特征点作为特征匹配点对。

可选的，所述相似度计算模块14具体用于：对所述待匹配截图和所述目标区域进行归一化处理，归一化为所述待匹配截图和所述目标区域中像素较小的图像的像素，根据所述待匹配截图归一化后的像素和所述目标区域归一化后的像素计算标准相关系数。

当所述待匹配截图和所述源图像的特征匹配点对的数目大于或等于4时，所述第二确定模块13具体用于：根据所述待匹配截图和所述源图像的特征匹配点对，计算所述待匹配截图和所述源图像的单映射矩阵。第三确定模块14具体用于：根据所述单映射矩阵计算所述待匹配截图的N个角点映射到所述源图像上的N个角点的坐标，所述待匹配截图的N个角点映射到所述源图像上的N个角点为所述目标区域的角点，N为大于或等于4的正整数。

所述第二确定模块13在计算单映射矩阵时，具体用于：

首先，根据所述待匹配截图和所述源图像的特征匹配点对，确定所述待匹配截图的所有匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标，其次，根据所述待匹配截图和所述源图像的每个特征匹配点对的坐标，计算所述待匹配截图和所述源图像的单映射矩阵，根据所述单映射矩阵计算所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第二SIFT特征点的坐标，然后，计算所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离，按照所述待匹配截图的所有匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离从小到大对所述待匹配截图的所有匹配SIFT特征点进行排序。

根据排序计算所述待匹配截图的所有匹配SIFT特征点中前一半的匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离的平均值，比较所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离与所述平均值的大小，剔除所述待匹配截图和所述源图像中第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离大于x倍的所述平均值的错误特征匹配点对，2≤x≤3，根据所述待匹配截图和所述源图像剔除错误特征匹配点对后剩余的特征匹配点对更新所述待匹配截图和所述源图像的单映射矩阵，直至所述待匹配截图和所述源图像中的所有错误特征匹配点对都被剔除，得到所述待匹配截图和所述源图像的准确特征匹配点对，将根据所述待匹配截图和所述源图像的准确特征匹配点对计算得到精确单映射矩阵作为所述待匹配截图和所述源图像的单映射矩阵。

当所述待匹配截图和所述源图像的特征匹配点对的数目等于2时，所述第二确定模块13具体用于：判断所述两个特征匹配点对是否共x轴或共y轴，当所述两个特征匹配点对不共x轴也不共y轴时，根据所述两个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比。所述第三确定模块14具体用于：根据所述x轴的缩放比、所述y轴的缩放比和所述待匹配截图的中心点坐标，计算所述待匹配截图的中心点在所述源图像中的映射点的坐标，所述待匹配截图的中心点在所述源图像中的映射点为所述目标区域的中心点。当所述两个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，则确定所述两个特征匹配点对在源图像上的两个点的中点为所述目标区域的中心点。然后根据所述待匹配截图的长度、宽度和所述目标区域的中心点的坐标，确定所述目标区域的各角点的坐标。

当所述待匹配截图和所述源图像的特征匹配点对的数目等于3时，所述第二确定模块13具体用于：从所述3个特征匹配点对中选择两个特征匹配点对，确定选择的两个特征匹配点对的中点，判断选择的两个特征匹配点对的中点与剩余的一个特征匹配点对是否共x轴或共y轴，当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对不共x轴也不共y轴时，根据选择的两个特征匹配点对的中点的坐标与剩余的一个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比。所述第三确定模块14具体用于：根据所述x轴的缩放比、所述y轴的缩放比和所述待匹配截图的中心点坐标，计算所述待匹配截图的中心点在所述源图像中的映射点的坐标，所述待匹配截图的中心点在所述源图像中的映射点为所述目标区域的中心点。当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，则确定选择的两个特征匹配点对的中点与剩余的一个特征匹配点对在源图像上的两个点的中点为所述目标区域的中心点。然后根据所述待匹配截图的长度、宽度和所述目标区域的中点的坐标，确定所述目标区域的各角点的坐标。

当所述待匹配截图和所述源图像的特征匹配点对的数目等于1时，所述第二确定模块13具体用于：确定所述特征匹配点对在源图像中的特征点为所述目标区域的中心点。所述第三确定模块14具体用于：根据所述待匹配截图的长度、宽度和所述目标区域的中心点的坐标，确定所述目标区域的各角点的坐标。

实施例六至实施例八提供的图像匹配装置的各功能模块作用已在方法实施例中进行了详细描述，这里不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (22)

1.一种图像匹配方法，其特征在于，包括：

计算待匹配截图和源图像的SIFT特征点和SIFT特征向量；

根据所述待匹配截图和所述源图像的SIFT特征点和SIFT特征向量，确定所述待匹配截图和所述源图像的特征匹配点对；

根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系；

根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域。

2.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域之后，所述方法还包括：

计算所述待匹配截图和所述目标区域的相似度；

根据所述相似度确定所述目标区域的可信度，当所述目标区域的可信度大于预设的第二阈值时，确定所述目标区域有效。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系，包括：

当所述待匹配截图和所述源图像的特征匹配点对的数目大于或等于4时，根据所述待匹配截图和所述源图像的特征匹配点对，计算所述待匹配截图和所述源图像的单映射矩阵；

所述根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域，包括：

根据所述单映射矩阵计算所述待匹配截图的N个角点映射到所述源图像上的N个角点的坐标，所述待匹配截图的N个角点映射到所述源图像上的N个角点为所述目标区域的角点，N为大于或等于4的正整数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述待匹配截图和所述源图像的特征匹配点对，计算所述待匹配截图和所述源图像的单映射矩阵，包括：

根据所述待匹配截图和所述源图像的特征匹配点对，确定所述待匹配截图的所有匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标；

根据所述待匹配截图和所述源图像的每个特征匹配点对的坐标，计算所述待匹配截图和所述源图像的单映射矩阵；

根据所述单映射矩阵计算所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第二SIFT特征点的坐标；

计算所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离；

按照所述待匹配截图的所有匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离从小到大对所述待匹配截图的所有匹配SIFT特征点进行排序；

计算所述待匹配截图的所有匹配SIFT特征点中前一半的匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离的平均值；

比较所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离与所述平均值的大小；

剔除所述待匹配截图和所述源图像中第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离大于x倍的所述平均值的错误特征匹配点对，2≤x≤3；

根据所述待匹配截图和所述源图像剔除错误特征匹配点对后剩余的特征匹配点对更新所述待匹配截图和所述源图像的单映射矩阵，直至所述待匹配截图和所述源图像中的所有错误特征匹配点对都被剔除，得到所述待匹配截图和所述源图像的准确特征匹配点对，将根据所述待匹配截图和所述源图像的准确特征匹配点对计算得到精确单映射矩阵作为所述待匹配截图和所述源图像的单映射矩阵。

5.根据权利要求1或2所述的方法，其特征在于，所述根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系，包括：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于2时，判断所述两个特征匹配点对是否共x轴或共y轴；

当所述两个特征匹配点对不共x轴也不共y轴时，根据所述两个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比；

所述根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域，包括：

根据所述x轴的缩放比、所述y轴的缩放比和所述待匹配截图的中心点坐标，计算所述待匹配截图的中心点在所述源图像中的映射点的坐标，所述待匹配截图的中心点在所述源图像中的映射点为所述目标区域的中心点；

当所述两个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，则确定所述两个特征匹配点对在源图像上的两个点的中点为所述目标区域的中心点；

根据所述待匹配截图的长度、宽度以及所述目标区域的中心点的坐标，确定所述目标区域的各角点的坐标。

6.根据权利要求1或2所述的方法，其特征在于，所述根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系，包括：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于3时，从所述3个特征匹配点对中选择两个特征匹配点对；

确定选择的两个特征匹配点对的中点；

判断选择的两个特征匹配点对的中点与剩余的一个特征匹配点对是否共x轴或共y轴；

当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对不共x轴也不共y轴时，根据选择的两个特征匹配点对的中点的坐标与剩余的一个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比；

所述根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域，包括：

根据所述x轴的缩放比、所述y轴的缩放比和所述待匹配截图的中点坐标，计算所述待匹配截图的中心点在所述源图像中的映射点的坐标，所述待匹配截图的中心点在所述源图像中的映射点为所述目标区域的中心点；

当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，则确定选择的两个特征匹配点对的中点与剩余的一个特征匹配点对在源图像上的两个点的中点为所述目标区域的中心点；

根据所述待匹配截图的长度、宽度以及所述目标区域的中心点的坐标，确定所述目标区域的各角点的坐标。

7.根据权利要求1或2所述的方法，其特征在于，所述根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系，包括：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于1时，确定所述特征匹配点对在源图像中的特征点为所述目标区域的中心点；

所述根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域，包括：

根据所述待匹配截图的长度、宽度以及所述目标区域的中心点的坐标，确定所述目标区域的各角点的坐标。

8.根据权利要求2所述的方法，其特征在于，所述计算所述待匹配截图和所述目标区域的相似度，包括：

对所述待匹配截图和所述目标区域进行归一化处理，归一化为所述待匹配截图和所述目标区域中像素较小的图像的像素；

根据所述待匹配截图归一化后的像素和所述目标区域归一化后的像素计算所述待匹配截图和所述目标区域的相似度。

9.根据权利要求8所述的方法，其特征在于，所述待匹配截图和所述目标区域的相似度为标准相关系数。

10.根据权利要求1所述的方法，其特征在于，所述计算待匹配截图和源图像的SIFT特征点和SIFT特征向量，包括：

在待检测图像中搜索所有尺度的图像位置，通过高斯微分函数检测出尺度和旋转不变的极值点；

根据所述极值点的稳定程度，通过建立一个拟合模型来确定特征点的位置和尺度；

基于图像局部的梯度方向，为每个特征点的位置分配一个或多个方向；

在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，将所述梯度变换为表示局部形状变形和光照变化的特征向量；

当所述待检测图像为所述待匹配截图时，所述特征点为所述待匹配截图的SIFT特征点，所述特征向量为所述待匹配截图的SIFT特征向量，当所述待检测图像为所述源图像时，所述特征点为所述源图像的SIFT特征点，所述特征向量为所述源图像的SIFT特征向量。

11.根据权利要求10所述的方法，其特征在于，所述根据所述待匹配截图和所述源图像的SIFT特征点和SIFT特征向量，计算所述待匹配截图和所述源图像的特征匹配点对，包括：

计算所述待匹配截图的SIFT特征向量与所述SIFT源图像的特征向量的最小欧式距离和次小欧式距离；

当所述最小欧式距离与所述次小欧式距离的比值小于预设的第一阈值时，将所述待匹配截图的SIFT特征向量对应的SIFT特征点和所述源图像的SIFT特征向量对应的SIFT特征点作为特征匹配点对。

12.一种图像匹配装置，其特征在于，包括：

特征计算模块，用于计算待匹配截图和源图像的SIFT特征点和SIFT特征向量；

第一确定模块，用于根据所述待匹配截图和所述源图像的SIFT特征点和SIFT特征向量，确定所述待匹配截图和所述源图像的特征匹配点对；

第二确定模块，用于根据所述待匹配截图和所述源图像的特征匹配点对，确定特征匹配点对的映射关系；

第三确定模块，用于根据所述映射关系确定所述待匹配截图各个角点在所述源图像中的对应位置，以此识别出目标区域。

13.根据权利要求12所述的装置，其特征在于，还包括：

相似度计算模块，用于计算所述待匹配截图和所述目标区域的相似度；

可信度确定模块，用于根据所述相似度确定所述目标区域的可信度，当所述目标区域的可信度大于预设的第二阈值时，确定所述目标区域有效。

14.根据权利要求12或13所述的装置，其特征在于，所述第二确定模块具体用于：

当所述待匹配截图和所述源图像的特征匹配点对的数目大于或等于4时，根据所述待匹配截图和所述源图像的特征匹配点对，计算所述待匹配截图和所述源图像的单映射矩阵；

所述第三确定模块具体用于：根据所述单映射矩阵计算所述待匹配截图的N个角点映射到所述源图像上的N个角点的坐标，所述待匹配截图的N个角点映射到所述源图像上的N个角点为所述目标区域的角点，N为大于或等于4的正整数。

15.根据权利要求14所述的装置，其特征在于，所述第二确定模块具体用于：

根据所述待匹配截图和所述源图像的特征匹配点对，确定所述待匹配截图的所有匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标；

根据所述待匹配截图和所述源图像的每个特征匹配点对的坐标，计算所述待匹配截图和所述源图像的单映射矩阵；

根据所述单映射矩阵计算所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第二SIFT特征点的坐标；

计算所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离；

按照所述待匹配截图的所有匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离从小到大对所述待匹配截图的所有匹配SIFT特征点进行排序；

计算所述待匹配截图的所有匹配SIFT特征点中前一半的匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离的平均值；

比较所述待匹配截图的每个匹配SIFT特征点在所述源图像上对应的第一SIFT特征点的坐标与第二特征点的坐标之间的距离与所述平均值的大小；

剔除所述待匹配截图和所述源图像中第一SIFT特征点的坐标与第二SIFT特征点的坐标之间的距离大于x倍的所述平均值的错误特征匹配点对，2≤x≤3；

根据所述待匹配截图和所述源图像剔除错误特征匹配点对后剩余的特征匹配点对更新所述待匹配截图和所述源图像的单映射矩阵，直至所述待匹配截图和所述源图像中的所有错误特征匹配点对都被剔除，得到所述待匹配截图和所述源图像的准确特征匹配点对，将根据所述待匹配截图和所述源图像的准确特征匹配点对计算得到精确单映射矩阵作为所述待匹配截图和所述源图像的单映射矩阵。

16.根据权利要求12或13所述的装置，其特征在于，所述第二确定模块具体用于：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于2时，判断所述两个特征匹配点对是否共x轴或共y轴；

当所述两个特征匹配点对不共x轴也不共y轴时，根据所述两个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比；

所述第三确定模块具体用于：根据所述x轴的缩放比、所述y轴的缩放比和所述待匹配截图的中心点坐标，计算所述待匹配截图的中心点在所述源图像中的映射点的坐标，所述待匹配截图的中心点在所述源图像中的映射点为所述目标区域的中心点；

当所述两个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，则确定所述两个特征匹配点对在源图像上的两个点的中点为所述目标区域的中心点；

根据所述待匹配截图的长度、宽度和所述目标区域的中心点的坐标，确定所述目标区域的各角点的坐标。

17.根据权利要求12或13所述的装置，其特征在于，所述第二确定模块具体用于：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于3时，从所述3个特征匹配点对中选择两个特征匹配点对；

确定选择的两个特征匹配点对的中点；

判断选择的两个特征匹配点对的中点与剩余的一个特征匹配点对是否共x轴或共y轴；

当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对不共x轴也不共y轴时，根据选择的两个特征匹配点对的中点的坐标与剩余的一个特征匹配点对的坐标计算x轴的缩放比以及y轴的缩放比；

所述第三确定模块具体用于：

根据所述x轴的缩放比、所述y轴的缩放比和所述待匹配截图的中心点坐标，计算所述待匹配截图的中心点在所述源图像中的映射点的坐标，所述待匹配截图的中心点在所述源图像中的映射点为所述目标区域的中心点；

当选择的两个特征匹配点对的中点与剩余的一个特征匹配点对共x轴或共y轴或同时共x轴和共y轴时，则确定选择的两个特征匹配点对的中点与剩余的一个特征匹配点对在源图像上的两个点的中点为所述目标区域的中心点；

根据所述待匹配截图的长度、宽度和所述目标区域的中心点的坐标，确定所述目标区域的各角点的坐标。

18.根据权利要求12或13所述的装置，其特征在于，所述第二确定模块具体用于：

当所述待匹配截图和所述源图像的特征匹配点对的数目等于1时，确定所述特征匹配点对在源图像中的特征点为所述目标区域的中心点；

所述第三确定模块具体用于：根据所述待匹配截图的长度、宽度和所述目标区域的中心点的坐标，确定所述目标区域的各角点的坐标。

19.根据权利要求13所述的装置，其特征在于，所述相似度计算模块具体用于：

对所述待匹配截图和所述目标区域进行归一化处理，归一化为所述待匹配截图和所述目标区域中像素较小的图像的像素；

根据所述待匹配截图归一化后的像素和所述目标区域归一化后的像素计算所述待匹配截图和所述目标区域的相似度。

20.根据权利要求19所述的装置，其特征在于，所述待匹配截图和所述目标区域的相似度为标准相关系数。

21.根据权利要求12所述的装置，其特征在于，所述特征计算模块具体用于：

在待检测图像中搜索所有尺度的图像位置，通过高斯微分函数检测出尺度和旋转不变的极值点；

根据所述极值点的稳定程度，通过建立一个拟合模型来确定特征点的位置和尺度；

基于图像局部的梯度方向，为每个特征点的位置分配一个或多个方向；

在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，将所述梯度变换为表示局部形状变形和光照变化的特征向量；

当所述待检测图像为所述待匹配截图时，所述特征点为所述待匹配截图的SIFT特征点，所述特征向量为所述待匹配截图的SIFT特征向量，当所述待检测图像为所述源图像时，所述特征点为所述源图像的SIFT特征点，所述特征向量为所述源图像的SIFT特征向量。

22.根据权利要求21所述的装置，其特征在于，所述第一确定模块具体用于：

计算所述待匹配截图的SIFT特征向量与所述SIFT源图像的特征向量的最小欧式距离和次小欧式距离；

当所述最小欧式距离与所述次小欧式距离的比值小于预设的第一阈值时，将所述待匹配截图的SIFT特征向量对应的SIFT特征点和所述源图像的SIFT特征向量对应的SIFT特征点作为特征匹配点对。