CN113128543B - 图像匹配方法、应用测试方法及装置和系统 - Google Patents
图像匹配方法、应用测试方法及装置和系统 Download PDFInfo
- Publication number
- CN113128543B CN113128543B CN202010041219.1A CN202010041219A CN113128543B CN 113128543 B CN113128543 B CN 113128543B CN 202010041219 A CN202010041219 A CN 202010041219A CN 113128543 B CN113128543 B CN 113128543B
- Authority
- CN
- China
- Prior art keywords
- matching
- template
- image
- determining
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012360 testing method Methods 0.000 title claims abstract description 41
- 238000010586 diagram Methods 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000002265 prevention Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了图像匹配方法、应用测试方法及装置和系统。所述图像匹配方法包括：获取屏幕截图的多个缩放比例的缩放图；针对每张缩放图，确定该缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和备选匹配区域与模板图的相似度；根据备选匹配区域与模板图的相似度，确定最相似的备选匹配区域作为模板图的匹配区域。针对各种分辨率的屏幕截图都能够准确确定模板图的匹配区域。
Description
技术领域
本发明涉及应用开发技术领域，特别涉及图像匹配方法、应用测试方法及装置和系统。
背景技术
每个应用在发布之前，或者是应用的更新版本发布之前，往往需要走查调研其性能，而人工走查耗时耗力，故需要一款能验证到图像展示层、多终端兼容性好的自动化测试工具。
在自动化测试过程中需要进行图像识别的工作，例如在各测试终端的截屏大图中匹配模板小图，进而对匹配到的截屏大图中的区域小图进行对应的自动化操作。由于各测试终端的分辨率各异，故图像匹配准确度低，容易出现误匹配现象。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的图像匹配方法、应用测试方法及装置和系统。
第一方面，本发明实施例提供一种图像匹配方法，包括：
获取屏幕截图的多个缩放比例的缩放图；
针对每张缩放图，确定所述缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和所述备选匹配区域与所述模板图的相似度；
根据所述备选匹配区域与所述模板图的相似度，确定最相似的备选匹配区域作为所述模板图的匹配区域。
在一些可选的实施例中，所述确定最相似的备选匹配区域作为所述模板图的匹配区域之后，还包括：
确定所述匹配区域和所述模板图的综合相似度；
判断所述综合相似度是否大于相似度阈值；
若否，确定匹配失败。
在一些可选的实施例中，所述确定所述匹配区域和所述模板图的综合相似度，具体包括：
确定匹配区域轮廓和模板图轮廓的轮廓相似度；
确定匹配区域的哈希指纹和模板图的哈希指纹之间的汉明距离；
确定二值化后的匹配区域和二值化后的模板图的结构相似度；
根据所述轮廓相似度、汉明距离和结构相似度，确定匹配区域和模板图的综合相似度。
在一些可选的实施例中，所述确定匹配区域的哈希指纹和模板图的哈希指纹之间的汉明距离，具体包括：
确定匹配区域的感知哈希指纹和模板图的感知哈希指纹之间的汉明距离；
或，确定匹配区域的梯度散列哈希指纹和模板图的梯度散列哈希指纹之间的汉明距离。
在一些可选的实施例中，所述针对每张缩放图，确定所述缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和所述备选匹配区域与所述模板图的相似度，具体包括：
针对每张缩放图，利用opencv的模板匹配函数确定所述缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和所述备选匹配区域与所述模板图的相似度。
在一些可选的实施例中，所述获取屏幕截图的多个缩放比例的缩放图之前，还包括：
将屏幕截图和待匹配的模板图做灰度化处理。
在一些可选的实施例中，所述获取屏幕截图的多个缩放比例的缩放图之后，还包括：
去除各所述缩放图的噪点和/或边缘。
第二方面，本发明实施例提供一种图像匹配方法，包括：
确定屏幕截图的哈希指纹和待匹配的模板图的哈希指纹的组合值；
判断历史数据中是否存在所述组合值，所述历史数据包括屏幕截图的哈希指纹和模板图的哈希指纹的组合值，及该组合值对应的模板图在屏幕截图中的匹配区域；
若是，确定历史数据中的对应匹配区域为待匹配的模板图的匹配区域；
若否，执行上述第一方面所述的图像匹配方法，将截屏大图的哈希指纹和待匹配的模板图的哈希指纹的组合值，及确定的匹配区域存入所述历史数据。
第三方面，本发明实施例提供一种应用测试方法，包括：
获取应用在指定终端中的用户界面的仅包含一个功能组件的截图，作为待匹配的模板图，获取所述应用在待检测终端中对应用户界面的屏幕截图；
按照上述第一方面所述的图像匹配方法或第二方面所述的图像匹配方法，确定所述模板图在所述屏幕截图中的匹配区域；
在所述匹配区域中执行相应的操作测试所述匹配区域中的功能组件是否正常。
第四方面，本发明实施例提供一种图像匹配装置，包括：
获取模块，用于获取屏幕截图的多个缩放比例的缩放图；
第一确定模块，用于针对所述获取模块获取的每张缩放图，确定所述缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和所述备选匹配区域与所述模板图的相似度；
第二确定模块，用于根据所述第一确定模块确定的备选匹配区域与所述模板图的相似度，确定最相似的备选匹配区域作为所述模板图的匹配区域。
第五方面，本发明实施例提供另一种图像匹配装置，包括：
获取模块，用于获取应用在指定终端中的用户界面的仅包含一个功能组件的截图，作为待匹配的模板图，获取所述应用在待检测终端中对应用户界面的屏幕截图；
匹配模块，用于按照第一方面所述的图像匹配方法或第二方面所述的图像匹配方法，确定所述模板图在所述屏幕截图中的匹配区域；
测试模块，用于在所述匹配模块确定的匹配区域中执行相应的操作测试所述匹配区域中的功能组件是否正常。
第六方面，本发明实施例提供一种应用测试系统，包括：指定终端、多个待检测终端、检测设备和匹配设备；
所述匹配设备用于获取应用在所述指定终端中的用户界面的仅包含一个功能组件的截图，作为待匹配的模板图，获取所述应用在多个所述待检测终端中对应用户界面的屏幕截图；按照上述第一方面所述的图像匹配方法或第二方面所述的图像匹配方法，确定所述模板图在所述屏幕截图中的匹配区域；
所述检测设备，用于控制所述待检测终端在所述匹配设备确定的匹配区域中执行相应的操作测试所述匹配区域中的功能组件是否正常。
第七方面，本发明实施例提供一种信息发布系统，包括：服务器和终端设备；
所述终端设备上设有信息发布客户端，所述客户端截取展示页面的屏幕截图提供给服务器；
所述服务器按照上述图像匹配方法，确定预设模板图在所述屏幕截图中的匹配区域，将所述匹配区域及对应的发布信息发送给所述客户端；
所述客户端在所述匹配区域内更新显示所述发布信息。
第八方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机指令，当该指令被处理器执行时实现上述任一图像匹配方法或上述应用测试方法。
本发明实施例提供的上述技术方案的有益效果至少包括：
(1)本发明实施例提供的图像匹配方法，先获取屏幕截图的不同比例的放大图和缩小图，得到多个缩放比例的缩放图，即得到多个分辨率的缩放图，针对每个缩放图分别确定与模板图的备选匹配区域，及备选匹配区域与模板图的相似度，最终根据相似度在备选匹配区域中确定最相似的备选匹配区域作为模板图的匹配区域。与直接根据屏幕截图确定与模板图的匹配区域相比，避免了因屏幕截图的分辨率问题导致匹配错误或者匹配失败，提高了匹配的准确度。
(2)本发明实施例提供的应用测试方法，在图像匹配过程中采用多分辨率的分组匹配法能达到"模糊、缩放"查找的效果，同时防误匹配能减少模糊匹配引起的误匹配，最终达到跨分辨率下图像识别准确度高的效果，使得应用在多终端自动化测试成为可能，且保证了应用测试的可靠性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例一中图像匹配方法的流程图；
图2为本发明实施例二中图像匹配方法的具体实现流程图；
图3为图2中步骤S210的具体实现流程图；
图4为本发明实施例三中一种应用测试方法的流程图；
图5为本发明实施例中一种图像匹配装置的结构示意图；
图6为本发明实施例中另一种图像匹配装置的结构示意图；
图7为本发明实施例一种应用测试装置的结构示意图；
图8为本发明实施例中一种应用测试系统的结构示意图；
图9为本发明实施例中一种信息发布系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的多分辨率图像匹配准确度低的问题，本发明实施例提供图像匹配方法、应用测试方法及装置和系统，针对各种分辨率的屏幕截图都能够准确确定模板图的匹配区域。
实施例一
本发明实施例一提供一种图像匹配方法，参照图1所示，包括如下步骤：
步骤S11：获取屏幕截图的多个缩放比例的缩放图。
具体的，可以从预设的最小缩放比例开始，获取屏幕截图的按照预设间隔的多个缩放图，直至获取到预设的最大缩放比例的缩放图。例如，预设最小缩放比例为50％，最大缩放比例为150％，预设间隔为1％，则依次获取屏幕截图的50％、51％、52％、……、100％、……、149％和150％的缩放比例的缩放图。
步骤S12：针对每张缩放图，确定缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和备选匹配区域与模板图的相似度。
在一个实施例中，可以是，执行步骤S12之前，先将各缩放图和待匹配的模板图做灰度化处理。一般情况下，屏幕截图和待匹配的模板图都是彩图，色彩信息使得图像的匹配工作更为复杂，加大了计算量，甚至会对图像的匹配造成干扰，导致匹配错误；而且一般的图像匹配工作也无需对色彩进行匹配。故，在匹配工作之前先对各图像进行灰度化处理，简化了计算量，且使得匹配结果更为准确。
针对每张缩放图，确定缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和备选匹配区域与模板图的相似度，具体的，可以是通过开源软件opencv的模板匹配函数进行匹配，得到该缩放图与模板图的一个或多个备选匹配区域，和备选匹配区域与模板图的相似度；可选的，也可以是通过其他的匹配函数进行匹配，具体匹配方法本实施不做限定。
步骤S13：根据备选匹配区域与模板图的相似度，确定最相似的备选匹配区域作为模板图的匹配区域。
可以是，先确定每张缩放图的各个备选匹配区域与模板图的相似度中的最大相似度，再在确定出的最大相似度中确定出最大值，将最大值对应的备选匹配区域确定为模板图的匹配区域；也可以是，直接将在所有缩放图的各个备选匹配区域与模板图的相似度中确定的最大值，作为模板图的匹配区域。
本发明实施例一提供的上述技术方案，先获取屏幕截图的不同比例的放大图和缩小图，得到多个缩放比例的缩放图，即得到多个分辨率的缩放图，针对每个缩放图分别确定与模板图的备选匹配区域，及备选匹配区域与模板图的相似度，最终根据相似度在备选匹配区域中确定最相似的备选匹配区域作为模板图的匹配区域。与直接根据屏幕截图确定与模板图的匹配区域相比，避免了因屏幕截图的分辨率问题导致匹配错误或者匹配失败，提高了匹配的准确度。
实施例二
本发明实施例二提供一种图像匹配方法的具体实现，其流程如图2所示，包括如下步骤：
步骤S201：将屏幕截图和待匹配的模板图做灰度化处理。
步骤S202：确定处理后的屏幕截图的哈希指纹和处理后的模板图的哈希指纹的组合值。
具体的，可以是利用感知哈希(perception hash，phash)算法分别确定屏幕截图和模板图的哈希指纹；可选的，也可以是利用梯度散列哈希(difference hash，phash)算法分别确定屏幕截图和模板图的哈希指纹，也可以利用其他的哈希指纹算法，具体算法本实施例不做限定，只要与下述步骤S23中的历史数据库中的哈希指纹的确定算法一致即可。
步骤S203：判断历史数据中是否存在确定出的组合值。
历史数据包括屏幕截图的哈希指纹和模板图的哈希指纹的组合值，及该组合值对应的模板图在屏幕截图中的匹配区域。
若判断为是，直接利用历史数据记录的之前的匹配结果即可，执行步骤S204；若判断为否，则需要进行后续步骤S205～步骤S214。
步骤S204：确定历史数据中的对应匹配区域为待匹配的模板图的匹配区域。
步骤S205：获取屏幕截图的多个缩放比例的缩放图。
例如，可以是依次获取屏幕截图的50％、51％、52％、……、100％、……、149％和150％的缩放比例的缩放图。
步骤S206：去除各缩放图的噪点和边缘。
去边缘处理，例如可以是去除缩略图的背景。具体可以是，先确定包含了缩略图内所有图标的最小内切圆，根据最小内切圆确定最小长方体，将最小长方体外的信息去除。
去除各缩放图的噪点和边缘后，再确定各缩放图与模板图相匹配的至少一个备选匹配区域，和备选匹配区域与模板图的相似度，可以减少计算量，降低计算误差，使得最终的匹配更快速更准确。
步骤S207：针对每张缩放图，确定缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和备选匹配区域与模板图的相似度。
步骤S208：针对每张缩放图，确定与模板图的相似度最大的备选匹配区域及对应的最大相似度。
步骤S209：确定最大相似度中的最大值对应的备选匹配区域为莫版图的匹配区域。
步骤S210：确定匹配区域和模板图的综合相似度。
在一个实施例中，参照图3所示，可以包括下述步骤：
步骤S2101：确定匹配区域轮廓和模板图轮廓的轮廓相似度。
提取匹配区域的轮廓和模板图的轮廓，确定二者的轮廓相似度。
步骤S2102：确定匹配区域的哈希指纹和模板图的哈希指纹之间的汉明距离。
汉明距离表示两个(相同长度)字符串的对应位不同的数量。对两个字符串的对应位进行异或运算，并统计结果为1的个数，这个数就是汉明距离。例如1011101与1001001之间的汉明距离是2，2143896与2233796之间的汉明距离是3。
具体的，可以是确定匹配区域的感知哈希指纹和模板图的感知哈希指纹之间的汉明距离；也可以是，确定匹配区域的梯度散列哈希指纹和模板图的梯度散列哈希指纹之间的汉明距离。可选的，也可以是确定匹配区域和模板图的其他类型的哈希指纹之间的汉明距离。
步骤S2103：确定二值化后的匹配区域和二值化后的模板图的结构相似度。
图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像设置成只有黑和白的视觉效果。
结构相似度即为structural similarity index，SSIM相似度。
上述步骤S2101～步骤S2103没有先后顺序，可以先执行其中任何一步或两步，也可以同时执行。
步骤S2104：根据轮廓相似度、汉明距离和结构相似度，确定匹配区域和模板图的综合相似度。
具体的，先将汉明距离转换成相似度参数，再按照各相似度对应的权重值，确定综合相似度。
步骤S211：判断综合相似度是否大于相似度阈值。
若否，执行步骤S214，确定匹配失败；若是，执行步骤S212，确定匹配成功。
步骤S212：确定匹配成功。
步骤S213：将截屏大图的哈希指纹和待匹配的模板图的哈希指纹的组合值，及确定的匹配区域存入历史数据。
步骤S214：确定匹配失败。
本发明实施例二提供的上述技术方案，获取屏幕截图的多个缩放比例的缩放图，将单组匹配，扩展为基于一定策略的多组匹配，可以对抗“模糊、变形”，即避免了因截屏图片的“模糊、变形”导致匹配错误或匹配失败；同时增加防误匹配步骤(步骤S210～步骤S214)，可以对抗“误匹配”，即通过综合相似度的进一步校验，保证了最终匹配结果的准确性。
实施例三
每个应用在发布之前，或者是应用的更新版本发布之前，需要在不同类型的终端一一测试，可以是，获取应用在指定终端中的用户界面的仅包含一个功能组件的截图，作为待匹配的模板图；在待检测的终端截取对应的用户界面的屏幕截图；确定模板图在截取的屏幕截图中的匹配区域，在匹配区域内执行预设的操作以检测匹配区域内的组件是否正常；按照上述方法完成应用包含的所有组件的检测。
本发明实施例三提供一种应用测试方法的具体实现，其流程如图4所示，包括如下步骤：
步骤S41：获取应用在指定终端中的用户界面的仅包含一个功能组件的截图，作为待匹配的模板图。
步骤S42：获取应用在待检测终端中对应用户界面的屏幕截图。
步骤S43：确定模板图在屏幕截图中的匹配区域。
按照上述实施例一或实施例二中的图像匹配方法，确定模板图在屏幕截图中的匹配区域。
步骤S44：在匹配区域中执行相应的操作测试匹配区域中的功能组件是否正常。
若获取应用在指定终端中的各个用户界面的各个截图，确定在待检测终端中对应用户界面的屏幕截图中的匹配区域，在匹配区域中执行相应的操作测试匹配区域中的功能组件都正常，则确定应用在待检测终端测试成功。
跨分辨率下的图像识别难点在于同一个用户界面在不同手机上可能会引起模糊、缩放，从而导致匹配失败和误匹配。通过本发明方案的分组匹配法能达到"模糊、缩放"查找的效果，同时通过本发明方案的防误匹配能减少模糊匹配引起的误匹配，最终达到跨分辨率下图像识别准确度高的效果。使得应用在多终端自动化测试成为可能，且保证了应用的测试可靠性。
基于同一发明构思，本发明实施例还提供一种图像匹配装置，其结构如图5所示，包括：
获取模块51，用于获取屏幕截图的多个缩放比例的缩放图；
第一确定模块52，用于针对获取模块51获取的每张缩放图，确定所述缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和所述备选匹配区域与所述模板图的相似度；
第二确定模块53，用于根据第一确定模块52确定的备选匹配区域与所述模板图的相似度，确定最相似的备选匹配区域作为所述模板图的匹配区域。
在一些实施例中，上述装置还包括，校验模块54，在第二确定模块53确定最相似的备选匹配区域作为所述模板图的匹配区域之后，用于：
确定所述匹配区域和所述模板图的综合相似度；判断所述综合相似度是否大于相似度阈值；若否，确定匹配失败。
在一些实施例中，校验模块54，具体用于：确定匹配区域轮廓和模板图轮廓的轮廓相似度；确定匹配区域的哈希指纹和模板图的哈希指纹之间的汉明距离；确定二值化后的匹配区域和二值化后的模板图的结构相似度；根据所述轮廓相似度、汉明距离和结构相似度，确定匹配区域和模板图的综合相似度。
在一些实施例中，校验模块54，具体用于：
确定匹配区域的感知哈希指纹和模板图的感知哈希指纹之间的汉明距离；或，确定匹配区域的梯度散列哈希指纹和模板图的梯度散列哈希指纹之间的汉明距离。
在一些实施例中，第一确定模块52，具体用于：
针对每张缩放图，利用opencv的模板匹配函数确定所述缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和所述备选匹配区域与所述模板图的相似度。
在一些实施例中，上述装置还包括，第一处理模块55，在获取模块51获取屏幕截图的多个缩放比例的缩放图之前，用于：
将屏幕截图和待匹配的模板图做灰度化处理。
在一些实施例中，上述装置还包括，第二处理模块56，在获取模块51获取屏幕截图的多个缩放比例的缩放图之后，用于：
去除各所述缩放图的噪点和/或边缘。
基于同一发明构思，本发明实施例还提供另一种图像匹配装置，其结构如图6所示，包括：
第一确定模块61，用于确定屏幕截图的哈希指纹和待匹配的模板图的哈希指纹的组合值；
判断模块62，用于判断历史数据中是否存在所述第一确定模块61确定的组合值，所述历史数据包括屏幕截图的哈希指纹和模板图的哈希指纹的组合值，及该组合值对应的模板图在屏幕截图中的匹配区域；
第二确定模块63，当所述判断模块62判断为是时，用于确定历史数据中的对应匹配区域为待匹配的模板图的匹配区域；
匹配模块64，当所述判断模块62判断为否时，用于执行上述的图像匹配方法；
保存模块65，用于将所述匹配模块64确定的截屏大图的哈希指纹和待匹配的模板图的哈希指纹的组合值，及确定的匹配区域存入所述历史数据。
基于同一发明构思，本发明实施例还提供一种应用测试装置，其结构如图7所示，包括：
获取模块71，用于获取应用在指定终端中的用户界面的仅包含一个功能组件的截图，作为待匹配的模板图，获取所述应用在待检测终端中对应用户界面的屏幕截图；
匹配模块72，用于按照上述的图像匹配方法，确定所述模板图在所述屏幕截图中的匹配区域；
测试模块73，用于在所述匹配模块72确定的匹配区域中执行相应的操作测试所述匹配区域中的功能组件是否正常。
基于同一发明构思，本发明实施例还提供一种应用测试系统，其结构如图8所示，包括指定终端81、多个待检测终端82、检测设备83和匹配设备84；
所述匹配设备84，用于获取应用在所述指定终端81中的用户界面的仅包含一个功能组件的截图，作为待匹配的模板图，获取所述应用在多个所述待检测终端82中对应用户界面的屏幕截图；按照上述的图像匹配方法，确定所述模板图在所述屏幕截图中的匹配区域；
所述检测设备83，用于控制所述待检测终端82在所述匹配设备84确定的匹配区域中执行相应的操作测试所述匹配区域中的功能组件是否正常。
基于同一发明构思，本发明实施例还提供一种信息发布系统，其结构如图9所示，包括：服务器91和终端设备92；
所述终端设备92上设有信息发布客户端921，所述客户端921截取展示页面的屏幕截图提供给服务器；
所述服务器91按照上述图像匹配方法，确定预设模板图在所述屏幕截图中的匹配区域，将所述匹配区域及对应的发布信息发送给所述客户端921；
所述客户端921在所述匹配区域内更新显示所述发布信息。
具体的，上述信息发布系统具体是何种本实施例不做限定，例如可以是公众号系统，也可以是信息流发布系统等。
关于上述实施例中的装置和系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，当该指令被处理器执行时实现上述图像匹配方法或上述应用测试方法。
除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
Claims (15)
1.一种图像匹配方法，包括：
获取屏幕截图的多个缩放比例的缩放图；
针对每张缩放图，确定所述缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和所述备选匹配区域与所述模板图的相似度；
根据所述备选匹配区域与所述模板图的相似度，确定最相似的备选匹配区域作为所述模板图的匹配区域。
2.如权利要求1所述的方法，所述确定最相似的备选匹配区域作为所述模板图的匹配区域之后，还包括：
确定所述匹配区域和所述模板图的综合相似度；
判断所述综合相似度是否大于相似度阈值；
若否，确定匹配失败。
3.如权利要求2所述的方法，所述确定所述匹配区域和所述模板图的综合相似度，具体包括：
确定匹配区域轮廓和模板图轮廓的轮廓相似度；
确定匹配区域的哈希指纹和模板图的哈希指纹之间的汉明距离；
确定二值化后的匹配区域和二值化后的模板图的结构相似度；
根据所述轮廓相似度、汉明距离和结构相似度，确定匹配区域和模板图的综合相似度。
4.如权利要求3所述的方法，所述确定匹配区域的哈希指纹和模板图的哈希指纹之间的汉明距离，具体包括：
确定匹配区域的感知哈希指纹和模板图的感知哈希指纹之间的汉明距离；
或，确定匹配区域的梯度散列哈希指纹和模板图的梯度散列哈希指纹之间的汉明距离。
5.如权利要求1所述的方法，所述针对每张缩放图，确定所述缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和所述备选匹配区域与所述模板图的相似度，具体包括：
针对每张缩放图，利用opencv的模板匹配函数确定所述缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和所述备选匹配区域与所述模板图的相似度。
6.如权利要求1所述的方法，所述获取屏幕截图的多个缩放比例的缩放图之前，还包括：
将屏幕截图和待匹配的模板图做灰度化处理。
7.如权利要求6所述的方法，所述获取屏幕截图的多个缩放比例的缩放图之后，还包括：
去除各所述缩放图的噪点和/或边缘。
8.一种图像匹配方法，包括：
确定屏幕截图的哈希指纹和待匹配的模板图的哈希指纹的组合值；
判断历史数据中是否存在所述组合值，所述历史数据包括屏幕截图的哈希指纹和模板图的哈希指纹的组合值，及该组合值对应的模板图在屏幕截图中的匹配区域；
若是，确定历史数据中的对应匹配区域为待匹配的模板图的匹配区域；
若否，执行权利要求1～7任一所述的图像匹配方法，将截屏大图的哈希指纹和待匹配的模板图的哈希指纹的组合值，及确定的匹配区域存入所述历史数据。
9.一种应用测试方法，包括：
获取应用在指定终端中的用户界面的仅包含一个功能组件的截图，作为待匹配的模板图，获取所述应用在待检测终端中对应用户界面的屏幕截图；
按照权利要求1～7任一所述的图像匹配方法或权利要求8所述的图像匹配方法，确定所述模板图在所述屏幕截图中的匹配区域；
在所述匹配区域中执行相应的操作测试所述匹配区域中的功能组件是否正常。
10.一种图像匹配装置，包括：
获取模块，用于获取屏幕截图的多个缩放比例的缩放图；
第一确定模块，用于针对所述获取模块获取的每张缩放图，确定所述缩放图中与待匹配的模板图相匹配的至少一个备选匹配区域，和所述备选匹配区域与所述模板图的相似度；
第二确定模块，用于根据所述第一确定模块确定的备选匹配区域与所述模板图的相似度，确定最相似的备选匹配区域作为所述模板图的匹配区域。
11.一种图像匹配装置，包括：
第一确定模块，用于确定屏幕截图的哈希指纹和待匹配的模板图的哈希指纹的组合值；
判断模块，用于判断历史数据中是否存在所述第一确定模块确定的组合值，所述历史数据包括屏幕截图的哈希指纹和模板图的哈希指纹的组合值，及该组合值对应的模板图在屏幕截图中的匹配区域；
第二确定模块，当所述判断模块判断为是时，用于确定历史数据中的对应匹配区域为待匹配的模板图的匹配区域；
匹配模块，当所述判断模块判断为否时，用于执行权利要求1～7任一所述的图像匹配方法；
保存模块，用于将所述匹配模块确定的截屏大图的哈希指纹和待匹配的模板图的哈希指纹的组合值，及确定的匹配区域存入所述历史数据。
12.一种应用测试装置，包括：
获取模块，用于获取应用在指定终端中的用户界面的仅包含一个功能组件的截图，作为待匹配的模板图，获取所述应用在待检测终端中对应用户界面的屏幕截图；
匹配模块，用于按照权利要求1～7任一所述的图像匹配方法或权利要求8所述的图像匹配方法，确定所述模板图在所述屏幕截图中的匹配区域；
测试模块，用于在所述匹配模块确定的匹配区域中执行相应的操作测试所述匹配区域中的功能组件是否正常。
13.一种应用测试系统，包括：指定终端、多个待检测终端、检测设备和匹配设备；
所述匹配设备用于获取应用在所述指定终端中的用户界面的仅包含一个功能组件的截图，作为待匹配的模板图，获取所述应用在多个所述待检测终端中对应用户界面的屏幕截图；按照权利要求1～7任一所述的图像匹配方法或权利要求8所述的图像匹配方法，确定所述模板图在所述屏幕截图中的匹配区域；
所述检测设备，用于控制所述待检测终端在所述匹配设备确定的匹配区域中执行相应的操作测试所述匹配区域中的功能组件是否正常。
14.一种信息发布系统，包括：服务器和终端设备；
所述终端设备上设有信息发布客户端，所述客户端截取展示页面的屏幕截图提供给服务器；
所述服务器按照权利要求1～7任一所述的图像匹配方法或权利要求8所述的图像匹配方法，确定预设模板图在所述屏幕截图中的匹配区域，将所述匹配区域及对应的发布信息发送给所述客户端；
所述客户端在所述匹配区域内更新显示所述发布信息。
15.一种计算机可读存储介质，其上存储有计算机指令，当该指令被处理器执行时实现权利要求1～7任一所述的图像匹配方法，或实现权利要求8所述的图像匹配方法，或实现权利要求9所述的应用测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010041219.1A CN113128543B (zh) | 2020-01-15 | 2020-01-15 | 图像匹配方法、应用测试方法及装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010041219.1A CN113128543B (zh) | 2020-01-15 | 2020-01-15 | 图像匹配方法、应用测试方法及装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113128543A CN113128543A (zh) | 2021-07-16 |
| CN113128543B true CN113128543B (zh) | 2024-02-13 |
Family
ID=76771309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010041219.1A Active CN113128543B (zh) | 2020-01-15 | 2020-01-15 | 图像匹配方法、应用测试方法及装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113128543B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538606B (zh) * | 2021-08-17 | 2022-07-22 | 数坤(北京)网络科技股份有限公司 | 图像关联方法、装置、计算机可读存储介质及电子设备 |
| CN114003162A (zh) * | 2021-11-04 | 2022-02-01 | 上海智臻智能网络科技股份有限公司 | 一种rpa系统截图定位方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710340A (zh) * | 2009-12-15 | 2010-05-19 | 北京锐安科技有限公司 | 一种相似图像检索方法 |
| CN104866616A (zh) * | 2015-06-07 | 2015-08-26 | 中科院成都信息技术股份有限公司 | 监控视频目标搜索方法 |
| CN105678778A (zh) * | 2016-01-13 | 2016-06-15 | 北京大学深圳研究生院 | 一种图像匹配方法和装置 |
| CN109117358A (zh) * | 2017-06-23 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 用于电子设备的测试方法和测试装置 |
| CN109858504A (zh) * | 2017-11-30 | 2019-06-07 | 阿里巴巴集团控股有限公司 | 一种图像识别方法、装置、系统以及计算设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3846851B2 (ja) * | 2001-02-01 | 2006-11-15 | 松下電器産業株式会社 | 画像のマッチング処理方法及びその装置 |
-
2020
- 2020-01-15 CN CN202010041219.1A patent/CN113128543B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710340A (zh) * | 2009-12-15 | 2010-05-19 | 北京锐安科技有限公司 | 一种相似图像检索方法 |
| CN104866616A (zh) * | 2015-06-07 | 2015-08-26 | 中科院成都信息技术股份有限公司 | 监控视频目标搜索方法 |
| CN105678778A (zh) * | 2016-01-13 | 2016-06-15 | 北京大学深圳研究生院 | 一种图像匹配方法和装置 |
| CN109117358A (zh) * | 2017-06-23 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 用于电子设备的测试方法和测试装置 |
| CN109858504A (zh) * | 2017-11-30 | 2019-06-07 | 阿里巴巴集团控股有限公司 | 一种图像识别方法、装置、系统以及计算设备 |
Non-Patent Citations (1)
| Title |
|---|
| 一种多视角自适应的模板匹配目标检测方法;袁伟;;电讯技术(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113128543A (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8019164B2 (en) | Apparatus, method and program product for matching with a template | |
| CN106326887B (zh) | 一种光学字符识别结果的校验方法及装置 | |
| CN113128543B (zh) | 图像匹配方法、应用测试方法及装置和系统 | |
| US11657644B2 (en) | Automatic ruler detection | |
| CN113505781B (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
| US20230401691A1 (en) | Image defect detection method, electronic device and readable storage medium | |
| CN116416190A (zh) | 瑕疵检测方法及装置、电子设备及存储介质 | |
| CN112559341A (zh) | 一种画面测试方法、装置、设备及存储介质 | |
| CN111008635A (zh) | 一种基于ocr的多票据自动识别方法及识别系统 | |
| CN113326749B (zh) | 目标检测方法、装置以及存储介质、电子设备 | |
| CN112261402B (zh) | 图像检测方法与系统以及摄像头遮挡监控方法与系统 | |
| CN110084157B (zh) | 图像重识别的数据处理方法及装置 | |
| CN115661131B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN112287905A (zh) | 车辆损伤识别方法、装置、设备及存储介质 | |
| CN112150508A (zh) | 一种目标追踪方法、装置及相关设备 | |
| CN115588196A (zh) | 基于机器视觉的指针型仪表读数方法和装置 | |
| Mo et al. | Digital multimeter reading recognition for automation verification | |
| CN115512189A (zh) | 图像识别模型评估方法、装置以及存储介质 | |
| CN109389595A (zh) | 一种表格线交点检测方法、电子设备及可读存储介质 | |
| CN115222017A (zh) | 对确定图像中的预定点的机器学习方法进行训练的方法和系统 | |
| CN111599080B (zh) | 拼接纸币的检测方法、装置、金融机具设备及存储介质 | |
| CN112559342A (zh) | 一种画面测试图像的获取方法、装置、设备及存储介质 | |
| CN108629788B (zh) | 一种图像边缘检测方法、装置、设备及可读存储介质 | |
| JP2009098867A (ja) | 文字列認識方法、コンピュータプログラム、記憶媒体 | |
| CN111238829A (zh) | 移动状态的确定方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |