CN113111713A - 一种图像检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开公开了一种图像检测方法、装置、电子设备及存储介质，用于解决样式显示完整性检测效果较差的问题。该方法为：针对待检测图像，确定与所述待检测图像对应的模板图像；其中，所述模板图像为包含单个完整样式子元素的图像；将所述模板图像与所述待检测图像进行特征点匹配处理，当确定所述待检测图像和所述模板图像匹配时，从所述待检测图像中确定与所述模板图像对应的裁剪图像；对所述裁剪图像进行文字识别处理，获得第一文字信息，并将所述第一文字信息与所述模板图像对应的目标文字信息进行匹配；基于所述第一文字信息与所述目标文字信息的匹配结果，确定所述待检测图像的检测结果。

Description

一种图像检测方法、装置、电子设备及存储介质

技术领域

本公开涉及互联网技术领域，尤其涉及一种图像检测方法、装置、电子设备及存储介质。

背景技术

在目前的显示测试流程中，我们经常需要对网页或是客户端样式的显示进行检查。目前大部分的检查工具只支持判断图片中对应的功能性按钮在控件树上是否存在，但并未对样式显示的效果是否完整以及准确进行检测。

可见，相关技术中亟需一种对样式显示是否完整进行准确地检测的方案。

发明内容

本公开提供一种图像检测方法、装置、电子设备及存储介质，用于解决相关技术中样式显示完整性检测效果较差的技术问题。本公开的技术方案如下：

本公开实施例的第一方面，提供一种图像检测方法，所述方法包括：

针对待检测图像，确定与所述待检测图像对应的模板图像；其中，所述模板图像为包含单个完整样式子元素的图像；

将所述模板图像与所述待检测图像进行特征点匹配处理，当确定所述待检测图像和所述模板图像匹配时，从所述待检测图像中确定与所述模板图像对应的裁剪图像；

对所述裁剪图像进行文字识别处理，获得第一文字信息，并将所述第一文字信息与所述模板图像对应的目标文字信息进行匹配；

基于所述第一文字信息与所述目标文字信息的匹配结果，确定所述待检测图像的检测结果。

在一种可能的实施方式中，所述将所述模板图像与所述待检测图像进行特征点匹配处理，包括：

确定所述模板图像的第一特征点；

确定所述待检测图像中的多个待检测特征点；

将所述多个待检测特征点分别与所述第一特征点进行欧式距离计算处理，确定与所述第一特征点匹配的特征点。

在一种可能的实施方式中，所述将所述多个待检测特征点分别与所述第一特征点进行欧式距离计算处理，确定与所述第一特征点匹配的特征点，包括：

获得所述多个待检测特征点分别与所述第一特征点进行欧式距离计算处理的多个处理值；

确定所述多个处理值是否大于第一阈值，当所述多个处理值中存在任一处理值大于所述第一阈值时，将所述任一处理值所对应的待检测特征点确定为与所述第一特征点匹配的特征点。

在一种可能的实施方式中，所述方法还包括：

当确定所述多个处理值均小于所述第一阈值时，从所述多个处理值中筛选大于第二阈值的第一处理值；所述第一阈值大于所述第二阈值；

将所述第一处理值所对应的待检测特征点确定为与所述第一特征点匹配的特征点。

在一种可能的实施方式中，所述当确定所述待检测图像和所述模板图像匹配时，从所述待检测图像中确定与所述模板图像对应的裁剪图像，包括：

对所述待检测图像和所述模板图像的匹配结果进行去噪处理，获得所述待检测图像与所述模板图像的匹配映射关系；

基于所述匹配映射关系，确定所述模板图像在所述待检测图像中的目标区域；

从所述待检测图像中，确定与所述目标区域对应的区域图像，并将所述区域图像确定为与所述模板图像对应的裁剪图像。

在一种可能的实施方式中，所述确定与所述待检测图像对应的模板图像，包括：

确定与所述待检测图像对应的显示样式类型的模板图像集；

确定所述模板图像集中各个模板图像的排序信息，所述排序信息基于各个模板图像对应的样式子元素在样式显示完整的图像中显示位置关系确定；

从所述模板图像集中，筛选排序次序满足预设条件的第一模板图像，并依次将所述第一模板图像作为与所述待检测图像对应的模板图像。

在一种可能的实施方式中，所述基于所述第一文字信息与所述目标文字信息的匹配结果，确定所述待检测图像的检测结果，包括：

若确定所述第一文字信息与所述目标文字信息匹配，则确定所述待检测图像中与所述模板图像对应的样式子元素显示完整。

在一种可能的实施方式中，所述基于所述第一文字信息与所述目标文字信息的匹配结果，确定所述待检测图像的检测结果，包括：

若确定所述第一文字信息与所述目标文字信息不匹配，则确定所述待检测图像中与所述模板图像对应的样式子元素显示不完整；

基于所述待检测图像中与所述模板图像对应的所述裁剪图像对应的测试结果生成测试报告，并向预设设备发送所述测试报告。

本公开实施例的第二方面，提供一种图像检测装置，所述装置包括：

第一确定单元，被配置为执行针对待检测图像，确定与所述待检测图像对应的模板图像；其中，所述模板图像为包含单个完整样式子元素的图像；

特征点匹配单元，被配置为执行将所述模板图像与所述待检测图像进行特征点匹配处理，当确定所述待检测图像和所述模板图像匹配时，从所述待检测图像中确定与所述模板图像对应的裁剪图像；

文字匹配单元，被配置为执行对所述裁剪图像进行文字识别处理，获得第一文字信息，并将所述第一文字信息与所述模板图像对应的目标文字信息进行匹配；

第二确定单元，被配置为执行基于所述第一文字信息与所述目标文字信息的匹配结果，确定所述待检测图像的检测结果。

在一种可能的实施方式中，所述特征点匹配单元，被配置为执行：

确定所述模板图像的第一特征点；

确定所述待检测图像中的多个待检测特征点；

将所述多个待检测特征点分别与所述第一特征点进行欧式距离计算处理，确定与所述第一特征点匹配的特征点。

在一种可能的实施方式中，所述特征点匹配单元，被配置为执行：

获得所述多个待检测特征点分别与所述第一特征点进行欧式距离计算处理的多个处理值；

确定所述多个处理值是否大于第一阈值，当所述多个处理值中存在任一处理值大于所述第一阈值时，将所述任一处理值所对应的待检测特征点确定为与所述第一特征点匹配的特征点。

在一种可能的实施方式中，所述特征点匹配单元，被配置为执行：

当确定所述多个处理值均小于所述第一阈值时，从所述多个处理值中筛选大于第二阈值的第一处理值；所述第一阈值大于所述第二阈值；

将所述第一处理值所对应的待检测特征点确定为与所述第一特征点匹配的特征点。

在一种可能的实施方式中，所述特征点匹配单元，被配置为执行：

对所述待检测图像和所述模板图像的匹配结果进行去噪处理，获得所述待检测图像与所述模板图像的匹配映射关系；

基于所述匹配映射关系，确定所述模板图像在所述待检测图像中的目标区域；

从所述待检测图像中，确定与所述目标区域对应的区域图像，并将所述区域图像确定为与所述模板图像对应的裁剪图像。

在一种可能的实施方式中，所述第一确定单元，被配置为执行：

确定与所述待检测图像对应的显示样式类型的模板图像集；

确定所述模板图像集中各个模板图像的排序信息，所述排序信息基于各个模板图像对应的样式子元素在样式显示完整的图像中显示位置关系确定；

从所述模板图像集中，筛选排序次序满足预设条件的第一模板图像，并依次将所述第一模板图像作为与所述待检测图像对应的模板图像。

在一种可能的实施方式中，所述第二确定单元，被配置为执行：

若确定所述第一文字信息与所述目标文字信息匹配，则确定所述待检测图像中与所述模板图像对应的样式子元素显示完整。

在一种可能的实施方式中，所述第二确定单元，被配置为执行：

若确定所述第一文字信息与所述目标文字信息不匹配，则确定所述待检测图像中与所述模板图像对应的样式子元素显示不完整；

基于所述待检测图像中与所述模板图像对应的所述裁剪图像对应的测试结果，生成测试报告，并向预设设备发送所述测试报告。

本公开实施例的第三方面，提供一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为执行指令，以实现本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。

本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。

本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序被处理器执行实现本公开实施例上述第一方面以及第一方面任一可能涉及的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

在本公开实施例，可以将模板图像和待检测图像进行特征点匹配处理，即将包含单个完整样式子元素的图像与待检测图像进行特征点匹配处理，进行特征点匹配处理之后，还可以进行文字匹配处理，即在特征点匹配检测的基础上，还增加了文字匹配的检测步骤，提高了待检测图像显示样式完整性检测的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种应用场景的示意图；

图2是根据一示例性实施例示出的一种图像检测方法的流程示意图；

图3是根据一示例性实施例示出的一个显示样式类型对应的显示完整的图像的示意图；

图4是根据一示例性实施例示出的一种图像检测装置的结构框图；

图5为根据一示例性实施例示出的电子设备的结构示意图；

图6为根据一示例性实施例示出的电子设备的另一结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的图像在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

为便于理解本公开实施例提供的技术方案，这里先对本公开实施例使用的一些关键名词进行解释：

1、SIFT(Scale Invariant Feature Transform，尺度不变特征变化)：是在图像处理领域的一种能获取到图片中的特征点，并且构建特征描述子的算法。

2、ORC(Optical Character Recognition，光学字符识别)：是用电子设备如计算机，检查在图片上打印出的字符，然后识别出字符，并且输出识别出的字符的技术。

3、显示样式：是指与软件的人机交互、操作逻辑、界面美观的相关的整体设计在显示时所呈现的样式。

4、终端：包括手机、计算机、平板电脑、智能终端、多媒体设备、智能穿戴设备等。

5、电子设备：可以理解为服务器，该服务器例如是个人计算机、大中型计算机、计算机集群，等等。

下面对本公开实施例的设计思想进行简要介绍：

在目前的测试流程中，我们经常需要对网页或是客户端的显示样式进行检查。目前大部分的检查工具只支持判断图片中功能性按钮在控件树上是否存在，但并未对显示的样式子元素是否显示完整进行检测。

在相关技术中，对功能性按钮进行检查时，一般采用的是将预设图像在待检测的样式图像中进行移动，完成一次遍历，且每一次移动的时候会计算一个置信度，然后将置信度大于预设阀值的区域作为结果输出。也就是说，预设图像可以在待检测的样式图像中对应的任意一个位置，会计算一遍在该位置的置信度，若置信度大于预设阈值，则认为预设图像对应的特征在样式图像中显示，但这样的方式，在设备A上获取的预设图像在分辨率不同的B设备使用时，可能导致显示正常的样式图像被检测为显示错误样式图像，即出现误检测的问题。

鉴于此，本公开提供一种图像检测方法，通过该方法可以对样式显示的完整性和准确性进行检测，提升了用户的使用体验。

介绍完本公开实施例的设计思想之后，下面对本公开实施例中的图像检测技术方案适用的应用场景做一些简单介绍，需要说明的是，本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。

在本公开实施例中，请参见图1所示的一种应用场景示意图，应用场景图中包括一个终端101和一个电子设备102，可以通过终端101获取实时的显示样式，并将显示样式发送给电子设备102。需要说明的是，图1中仅以一个终端101和一个电子设备102进行交互为例进行示出，在具体实施过程中，可以是多个终端101与一个电子设备102之间进行交互，也可以是多个终端101和多个电子设备102之间进行交互，本公开实施例中不做限制。也就是说，可以是一个电子设备102对多个终端101发送的显示样式进行图像检测处理，也可以是一个电子设备102对一个终端101发送的显示样式进行图像检测处理。

在具体的实施过程中，终端101和电子设备102之间可以通过一个或者多个通信网络103进行通信连接。该通信网络103可以是有线网络，也可以是无线网络，例如无线网络可以是移动蜂窝网络，或者可以是无线保真(WIreless-Fidelity，WIFI)网络，当然还可以是其他可能的网络，本公开实施例对此不做限定。

在本公开实施例中，终端101可以获取实时样式显示时对应的图像，然后将该图像发送给电子设备102，从而电子设备102可以对该图像进行检测，确定该图像对应的样式显示是否完整以及准确。此外，电子设备102还可以将检测结果发送给其它电子设备，以对样式显示的效果进行调整。

为进一步说明本公开实施例提供的图像检测方法的方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本公开实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本公开实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的应用环境)。

以下结合图2所示的方法流程图对本公开实施例中图像检测方法进行说明，图2所示的各步骤可以由如图1所示的电子设备执行。

下面对本公开实施例的方法流程进行介绍。

步骤201：确定待检测图像。

在本公开实施例中，电子设备可以接收终端发送的当前时刻样式显示的图像，并将该图像作为待检测图像。

在具体的实施过程中，电子设备可以接收终端周期性发送的当前时刻样式显示的图像，以将该图像作为待检测图像，电子设备还可以接收终端基于某个触发操作发送的当前时刻样式显示的图像，以将该图像作为待检测图像。具体的，前述的触发操作可以是用户点击启动某一网页的启动功能键，还可以是点击其它与网页显示、功能跳转相关的功能键对应的点击操作，当然，触发还可以是拖拽、长按等操作，此外，还可以是通过使用电子设备控制，实现模拟点击拖拽等的操作实现触发操作，本公开实施例中不做限制。

步骤202：针对待检测图像，确定与待检测图像对应的模板图像；其中，模板图像为包含单个完整样式子元素的图像。

在本公开实施例中，当确定待检测图像之后，可以对待检测图像进行初始识别处理，从而可以确定待检测图像对应的显示样式类型。当然，还可以是基于待检测图像的附属信息，该附属信息至少包括网页地址、图像类型以及类型标识中的至少一种，从而可以基于待检测图像的附属信息，确定待检测图像对应的显示样式类型。

在本公开实施例中，显示样式类型至少包括购物相关显示样式对应的多种显示类型，浏览相关样式对应的多种显示类型以及启动相关样式对应的显示类型中的至少一种。具体的，购物相关显示样式对应的多种显示类型，浏览相关显示样式对应的多种显示类型以及启动相关显示样式对应的显示类型中均包括多个子显示类型。在具体的实施过程中，每个子显示类型可以对应理解为一个完整显示样式时的图像所对应的类型。

具体的，购物相关显示类型中的样式子元素例如为“加入购物车”、“立即购买”、或者是“订单编号”；浏览相关显示类型中的样式子元素例如为“快进”、“后退”、“倍速”“标清”“超清”或者是“蓝光”；启动相关显示类型中的样式子元素例如为“跳过”。需要说明的是，样式子元素包括符号以及符号的显示样式，具体的，该符号可以是汉字、英文或者其它语言的字体或者是前述字体的变形体；当然，该字符还可以是数字或者其它字符，本公开实施例中不做限制。

需要说明的是，在具体实施过程中，显示样式类型以及显示样式类型对应的样式子元素可以基于实际实施过程中的需求和变更进行同步更新，以对待检测图像进行更精准的检测，提高检测的准确性。

在本公开实施例中，当确定待检测图像对应的显示样式类型之后，可以再确定显示样式类型的模板图像集，从而确定与待检测图像对应的显示样式类型对应的至少一个模板图像。具体的，模板图像可以理解为包含单个完整样式子元素的图像。在本公开实施例中，可以从预定存储区域中获取该显示样式类型的模板图像集。在具体的实施过程中，可以将每一种显示样式类型对应的模板图像集分别存储在预定存储区域的子区域中，也可以将多种显示样式类型对应的模板图像集一起存储在预定存储区域，本公开实施例中不做限制。需要说明的是，前述的预定存储区域可以是执行图像检测处理的电子设备的存储区域，还可以是其它可以进行交互的电子设备的存储区域，本公开实施例中不做限制。

在本公开实施例中，可以确定与待检测图像对应的显示样式类型的模板图像集，然后确定模板图像集中各个模板图像的排序信息。

在具体的实施过程中，该排序信息可以基于各个模板图像对应的样式子元素，在样式显示完整的图像中的显示位置关系所确定。具体的，可以是按照样式子元素在样式显示完整的图像中从左到右和/或从上到下的位置关系，以从小到大的排序方式对模板图像进行排序。这样的方式，可以更快速简单的确定各个模板图像对应的排序顺序。

例如，请参见图3，图3为一个显示样式类型对应的显示完整的图像的示意图。具体的，该显示样式类型包括样式子元素1对应的A模板图像、样式子元素2对应的B模板图像、样式子元素3对应的C模板图像以及样式子元素4对应的D模板图像，按照从S侧-N侧以小到大的排序方式，则可以确定各个模板图像对应的排序信息为A模板图像排序为1、C模板图像排序为4、B模板图像排序为3以及D模板图像排序为2。

在本公开实施例中，当确定与待检测图像对应的显示样式类型的模板图像集中各个模板图像的排序信息之后，可以从模板图像集中，筛选模板图像对应的排序次序满足预设条件的第一模板图像，并依次将第一模板图像作为与待检测图像对应的模板图像。

在具体的实施过程中，预设条件可以为筛选出排序信息最靠前的模板图像的筛选条件，例如前述例子中的A模板图像。当然，预设条件还可以为筛选出排序信息最靠后的模板图像的筛选条件，例如前述例子中的C模板图像，本公开实施例中不做限制。

可见，在本公开实施例中，可以将待检测图像与模板图像集中的单个模板图像进行比对检测之后，再将待检测图像与模板图像集中的另一单个模板图像进行比对检测，直至将待检测图像与模板图像集中的所有模板图像依次进行检测处理。这样的方式，可以减少单次检测的运算量，提高检测速率。

在本公开实施例中，还可以确定与待检测图像对应的显示样式类型的模板图像集，在确定与待检测图像对应的显示样式类型的模板图像集之后，可以将模板图像集中的所有模板图像确定为与待检测图像对应的显示样式类型对应的模板图像。

可见，在本公开实施例中，还可以将待检测图像与模板图像集中的所有模板图像进行并行检测处理，从而提升对待检测图像的检测效率。

步骤203：将模板图像与待检测图像进行特征点匹配处理，若模板图像与待检测图像匹配，则执行步骤204；若模板图像与待检测图像不匹配，则执行步骤205。

在本公开实施例中，可以确定模板图像的多个特征点，还可以确定待检测图像中的多个待检测特征点。需要说明的是，在本公开实施例中，可以确定模板图像的多个特征点，其中，为了便于描述，将使用第一特征点对模板图像中多个特征点确定待检测图像中对应的特征点的过程进行说明，即第一特征点可以理解为模板图像的多个特征点中的任一特征点。

在本公开实施例中，当获得模板图像的第一特征点以及待检测图像中的多个待检测特征点之后，可以将多个待检测特征点分别与第一特征点进行欧式距离计算处理，从而确定与第一特征点匹配的特征点。具体的，可以采用相关技术中的SIFT算法或者KAZE算法对确定模板图像的第一特征点和待检测图像中的待检测特征点，并对模板图像和待检测图像进行特征点匹配处理。

在本公开实施例中，使用SIFT算法进行特征点匹配处理时，可以先对模板图像进行特征点检测，然后再对检测出的特征点进行描述子的构建。

在具体的实施过程中，可以将模板图像进行灰度处理，获得模板图像对应的第二灰度图。然后对第二灰度图使不同的sigma的高斯核进行卷积，构成一个高斯金字塔，其中，金字塔中的每一层都会依照上一层进行构建。然后再对高斯金字塔进行一次高斯差分处理，获得一个高斯差分金字塔。进一步地，从高斯差分金字塔中确定极值点，该极值点在其相邻点中值最大或最小，再使用子像素差值法来对极值点进行定位处理，从而获得模板图像的第一特征点。

在具体的实施过程中，可以先将待检测图像进行灰度处理，获得待检测图像对应的第一灰度图。然后对第一灰度图使不同的sigma的高斯核进行卷积，构成一个高斯金字塔，其中，金字塔中的每一层都会依照上一层进行构建。然后再对高斯金字塔进行一次高斯差分处理，获得一个高斯差分金字塔。进一步地，从高斯差分金字塔中确定极值点，该极值点在其相邻点中值最大或最小，再使用子像素差值法来对极值点进行定位处理，从而获得待检测图像对应的待检测特征点。

在本公开实施例中，可以确定待检测图像对应的待检测特征点和模板图像对应的第一特征点，然后可以对待检测特征点和第一特征点进行描述子的构建。

在具体的实施过程中，可以获取待检测图像中任一个待检测特征点周围8*8的区域，然后将这个区域差分成16个2*2的小方格，并基于每一个方格构建一个梯度直方图，共同组成该待检测特征点的描述子。

在具体的实施过程中，可以获取模板图像中第一特征点周围8*8的区域，然后将这个区域差分成16个2*2的小方格，并基于每一个方格构建一个梯度直方图，共同组成该第一特征点的描述子。

进一步地，当获得待检测图像的待检测特征点对应的描述子和模板图像的第一特征点对应的描述子之后，可以以主方向为基准，然后进行对第一特征点和待检测特征点的聚类的计算，具体的，是通过待检测特征点与第一特征点之间的欧式距离的计算来确定的。具体的，可以将模板图像中的第一特征点的描述子写作(s1，s2，s3，………，s128)，将待检测图像中的任一待检测特征点的描述子写作(t1，t2，t3，……，t128)，然后使用如下公式一去计算第一特征点和任一待检测特征点之间的距离：

在本公开实施例中，可以通过上述公式一获得多个待检测特征点分别与第一特征点之间的多个处理值即多个L，然后确定多个处理值是否大于第一阈值，当多个处理值中存在任一处理值大于第一阈值时，则可以将任一处理值所对应的待检测特征点确定为与第一特征点匹配的特征点。

在具体的实施过程中，可以将多个处理值中，远大于其它处理值的处理值减少预定值的值确定为第一阈值，即第一阈值可以根据处理值进行实时更新，其中，预定值可以为极小的数值例如为0.00001。当然，处理值也可以基于实际实施情况或历史测试经验确定，本公开实施例中不做限制。需要说明的是，在本公开实施例中，不同的模板图像对应的第一阈值可以是相同的也可以是不同的，本公开实施例中不做限制。

可见，在本公开实施例中，若多个处理值中有远大于其它处理值的处理值，则可以将该处理值对应的待检测特征点作为第一特征点匹配的特征点。即本公开实施例中，可以实现模板图像任一特征点与待检测图像中任一待检测特征点匹配的检测，快速准确的实现模板图像与待检测图像的匹配。

在本公开实施例中，还可以通过修改阈值和预期的匹配点的数量，实现模板图像一个特征点和待检测图像中多个待检测特征点的匹配，即避免由于未出现远大于其它处理值的处理值时，直接判定为未匹配到特征点，导致出现匹配失误的结果出现。

在本公开实施例中，当确定多个处理值均小于第一阈值时，则可以从多个处理值中筛选大于第二阈值的第一处理值，其中，第一阈值大于第二阈值；然后，可以将第一处理值所对应的待检测特征点确定为与第一特征点匹配的特征点。具体的，可以通过实际实施情况确定第一阈值和第二阈值，即第一阈值和第二阈值可以实时更新，尽量保证特征点匹配的准确性。

可见，在本公开实施例中，当确定模板图像中的特征点与待检测图像中对应的检测点较近时，则认为待检测的图像与模板图像中的特征点匹配。

步骤204：当确定待检测图像与模板图像匹配时，从待检测图像中确定与模板图像对应的裁剪图像。

在本公开实施例中，当确定待检测图像与模板图像匹配时，可以对待检测图像和模板图像的匹配结果进行去噪处理，例如，可以使用RANSAC算法(RANdom SAmpleConsensus，随机抽样一致算法)待检测图像和模板图像的匹配结果进行去噪处理，从而可以获得待检测图像与模板图像的匹配映射关系。这样的方式，可以剔除掉一个特征点对应多个待检测特征点中匹配度较低的特征点，从而确定一个特征点对应的一个待检测特征点，从而获得较为准确的待检测图像与模板图像的匹配映射关系，进而为后续确定裁剪图像提供良好的实施基础。

进一步地，可以基于匹配映射关系，确定模板图像在待检测图像中的目标区域。然后可以从待检测图像中，确定与目标区域对应的区域图像，并将区域图像确定为与模板图像对应的裁剪图像。

可见，在公开实施例中，基于匹配映射关系，可以准确的确定模板图像在待检测图像中的目标区域，即可以准确快速的确定裁剪图像，为后续进行裁剪图像显示是否完整的二次验证提供良好的实施基础。

步骤205：输出第一提示信息，以提示与模板图像对应的样式子元素显示不完整。

在本公开实施例中，当确定模板图像与待检测图像不匹配时，可以输出第一提示信息，从而提示测试人员与模板图像对应的样式子元素显示不完整，进而测试人员可以进行相应检测，以克服样式子元素显示不完整的缺陷。具体的，输出第一提示信息的方式可以是语音也可以是在电子设备上弹出信息提示框，当然，还可以是其它方式，本公开实施例不做限制。

步骤206：对裁剪图像进行文字识别处理，获得第一文字信息，并将第一文字信息与模板图像对应的目标文字信息进行匹配。

在本公开实施例中，可以对裁剪图像进行文字识别处理，获得第一文字信息，具体的，对裁剪图像进行文字识别处理时，可以使用OCR技术进行文字识别处理，这样的方式即通过ORC技术识别找到的第一文字信息的方式，可以自动的定位到样式子元素，避免在写自动化检测时，要依照控件树逐个去找资源标识的繁琐的情况，通过本公开提供的方案仅根据待检测图像可以直接确定文字信息。

在本公开实施例中，当获得第一文字信息之后，还可以将第一文字信息和模板图像对应的目标文字信息进行匹配。

步骤207：基于第一文字信息与目标文字信息的匹配结果，确定待检测图像的检测结果。

在本公开实施例中，可以将第一文字信息和目标文字信息进行比对，若确定第一文字信息和目标文字信息相同，则认为第一文字信息和目标文字信息匹配，进一步地，若确定第一文字信息与目标文字信息匹配，则可以确定待检测图像的检测结果为待检测图像中与模板图像对应的样式子元素显示完整。

在本公开实施例中，当确定第一文字信息与目标文字信息匹配后，可以输出第二提示信息，提示待检测图像中与模板图像对应的样式子元素显示完整，从而可以触发进行下一个模板图像与待检测图像进行检测，直到将待检测图像对应的所有模板图像均检测完成。具体的，下一个模板图像与待检测图像进行检测的方式可以参见前述步骤202-步骤207执行，这里不再赘述。在本公开实施例中，若确定第一文字信息与目标文字信息不匹配，则确定待检测图像中与模板图像对应的样式子元素显示不完整。然后可以基于待检测图像中与模板图像对应的裁剪图像对应的测试结果，生成测试报告，并向预设设备发送测试报告。

在本公开实施例中，向预设设备发送测试报告的方式，可以为开发者或者测试人员提供匹配失败的运行参数等数据，以便进行后续的改进，进而提升检测的效率和准确度。

基于同一发明构思，本公开实施例提供了一种图像检测装置，该图像检测装置能够实现前述的图像检测方法对应的功能。该图像检测装置可以是硬件结构、软件模块、或硬件结构加软件模块。该图像检测装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图4所示，该图像检测装置包括第一确定单元401、特征点匹配单元402、文字匹配单元403以及第二确定单元404。其中：

第一确定单元401，被配置为执行针对待检测图像，确定与所述待检测图像对应的模板图像；其中，所述模板图像为包含单个完整样式子元素的图像；

特征点匹配单元402，被配置为执行将所述模板图像与所述待检测图像进行特征点匹配处理，当确定所述待检测图像和所述模板图像匹配时，从所述待检测图像中确定与所述模板图像对应的裁剪图像；

文字匹配单元403，被配置为执行对所述裁剪图像进行文字识别处理，获得第一文字信息，并将所述第一文字信息与所述模板图像对应的目标文字信息进行匹配；

第二确定单元404，被配置为执行基于所述第一文字信息与所述目标文字信息的匹配结果，确定所述待检测图像的检测结果。

在一种可能的实施方式中，所述特征点匹配单元402，被配置为执行：

确定所述模板图像的第一特征点；

确定所述待检测图像中的多个待检测特征点；

将所述多个待检测特征点分别与所述第一特征点进行欧式距离计算处理，确定与所述第一特征点匹配的特征点。

在一种可能的实施方式中，所述特征点匹配单元402，被配置为执行：

获得所述多个待检测特征点分别与所述第一特征点进行欧式距离计算处理的多个处理值；

确定所述多个处理值是否大于第一阈值，当所述多个处理值中存在任一处理值大于所述第一阈值时，将所述任一处理值所对应的待检测特征点确定为与所述第一特征点匹配的特征点。

在一种可能的实施方式中，所述特征点匹配单元402，被配置为执行：

当确定所述多个处理值均小于所述第一阈值时，从所述多个处理值中筛选大于第二阈值的第一处理值；所述第一阈值大于所述第二阈值；

将所述第一处理值所对应的待检测特征点确定为与所述第一特征点匹配的特征点。

在一种可能的实施方式中，所述特征点匹配单元402，被配置为执行：

对所述待检测图像和所述模板图像的匹配结果进行去噪处理，获得所述待检测图像与所述模板图像的匹配映射关系；

基于所述匹配映射关系，确定所述模板图像在所述待检测图像中的目标区域；

从所述待检测图像中，确定与所述目标区域对应的区域图像，并将所述区域图像确定为与所述模板图像对应的裁剪图像。

在一种可能的实施方式中，所述第一确定单元401，被配置为执行：

确定与所述待检测图像对应的显示样式类型的模板图像集；

确定所述模板图像集中各个模板图像的排序信息，所述排序信息基于各个模板图像对应的样式子元素在样式显示完整的图像中显示位置关系确定；

从所述模板图像集中，筛选排序次序满足预设条件的第一模板图像，并依次将所述第一模板图像作为与所述待检测图像对应的模板图像。

在一种可能的实施方式中，所述第二确定单元404，被配置为执行：

若确定所述第一文字信息与所述目标文字信息匹配，则确定所述待检测图像中与所述模板图像对应的样式子元素显示完整。

在一种可能的实施方式中，所述第二确定单元404，被配置为执行：

若确定所述第一文字信息与所述目标文字信息不匹配，则确定所述待检测图像中与所述模板图像对应的样式子元素显示不完整；

基于所述待检测图像中与所述模板图像对应的所述裁剪图像对应的测试结果，生成测试报告，并向预设设备发送所述测试报告。

前述如图2的图像检测方法的实施例涉及的各步骤的所有相关内容均可以援引到本公开实施例中的图像检测装置所对应的功能单元的功能描述，在此不再赘述。

本公开实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本公开各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

基于同一发明构思，本公开实施例还提供一种电子设备，如图5所示，本公开实施例中的电子设备包括至少一个处理器501，以及与至少一个处理器501连接的存储器502和通信接口503，本公开实施例中不限定处理器501与存储器502之间的具体连接介质，图5中是以处理器501和存储器502之间通过总线500连接为例，总线500在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线500可以分为地址总线、数据总线、控制总线等，为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本公开实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以执行前述的图像检测方法中所包括的步骤。

其中，处理器501是电子设备的控制中心，可以利用各种接口和线路连接整个故障检测设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据，计算设备的各种功能和处理数据，从而对计算设备进行整体监控。可选的，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，处理器501主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本公开实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本公开实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通信接口503是能够用于进行通信的传输接口，可以通过通信接口503接收数据或者发送数据。

参见图6所示的电子设备的进一步地的结构示意图，该电子设备还包括帮助电子设备内的各个器件之间传输信息的基本输入/输出系统(I/O系统)601、用于存储操作系统602、应用程序603和其他程序模块604的大容量存储设备606。

基本输入/输出系统601包括有用于显示信息的显示器606和用于用户输入信息的诸如鼠标、键盘之类的输入设备607。其中显示器606和输入设备607都通过连接到系统总线500的基本输入/输出系统601连接到处理器501。基本输入/输出系统601还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备605通过连接到系统总线500的大容量存储控制器(未示出)连接到处理器501。大容量存储设备605及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说，大容量存储设备605可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

根据本公开的各种实施例，该计算设备包还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该计算设备可以通过连接在系统总线500上的通信接口503连接到网络608，或者说，也可以使用通信接口503来连接到其他类型的网络或远程计算机系统(未示出)。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器502，上述指令可由装置的处理器501执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本公开各种示例性实施方式的图像检测方法中的步骤。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质，且计算机可用存储介质包括但不限于磁盘存储器和光学存储器等上述实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种图像检测方法，其特征在于，所述方法包括：

针对待检测图像，确定与所述待检测图像对应的模板图像；其中，所述模板图像为包含单个完整样式子元素的图像；

将所述模板图像与所述待检测图像进行特征点匹配处理，当确定所述待检测图像和所述模板图像匹配时，从所述待检测图像中确定与所述模板图像对应的裁剪图像；

对所述裁剪图像进行文字识别处理，获得第一文字信息，并将所述第一文字信息与所述模板图像对应的目标文字信息进行匹配；

基于所述第一文字信息与所述目标文字信息的匹配结果，确定所述待检测图像的检测结果。

2.如权利要求1所述的方法，其特征在于，所述将所述模板图像与所述待检测图像进行特征点匹配处理，包括：

确定所述模板图像的第一特征点；

确定所述待检测图像中的多个待检测特征点；

将所述多个待检测特征点分别与所述第一特征点进行欧式距离计算处理，确定与所述第一特征点匹配的特征点。

3.如权利要求2所述的方法，其特征在于，所述将所述多个待检测特征点分别与所述第一特征点进行欧式距离计算处理，确定与所述第一特征点匹配的特征点，包括：

获得所述多个待检测特征点分别与所述第一特征点进行欧式距离计算处理的多个处理值；

确定所述多个处理值是否大于第一阈值，当所述多个处理值中存在任一处理值大于所述第一阈值时，将所述任一处理值所对应的待检测特征点确定为与所述第一特征点匹配的特征点。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

当确定所述多个处理值均小于所述第一阈值时，从所述多个处理值中筛选大于第二阈值的第一处理值；所述第一阈值大于所述第二阈值；

将所述第一处理值所对应的待检测特征点确定为与所述第一特征点匹配的特征点。

5.如权利要求1所述的方法，其特征在于，所述当确定所述待检测图像和所述模板图像匹配时，从所述待检测图像中确定与所述模板图像对应的裁剪图像，包括：

对所述待检测图像和所述模板图像的匹配结果进行去噪处理，获得所述待检测图像与所述模板图像的匹配映射关系；

基于所述匹配映射关系，确定所述模板图像在所述待检测图像中的目标区域；

从所述待检测图像中，确定与所述目标区域对应的区域图像，并将所述区域图像确定为与所述模板图像对应的裁剪图像。

6.如权利要求1所述的方法，其特征在于，所述确定与所述待检测图像对应的模板图像，包括：

确定与所述待检测图像对应的显示样式类型的模板图像集；

确定所述模板图像集中各个模板图像的排序信息，所述排序信息基于各个模板图像对应的样式子元素在样式显示完整的图像中显示位置关系确定；

从所述模板图像集中，筛选排序次序满足预设条件的第一模板图像，并依次将所述第一模板图像作为与所述待检测图像对应的模板图像。

7.一种图像检测装置，其特征在于，所述装置包括：

第一确定单元，被配置为执行针对待检测图像，确定与所述待检测图像对应的模板图像；其中，所述模板图像为包含单个完整样式子元素的图像；

特征点匹配单元，被配置为执行将所述模板图像与所述待检测图像进行特征点匹配处理，当确定所述待检测图像和所述模板图像匹配时，从所述待检测图像中确定与所述模板图像对应的裁剪图像；

文字匹配单元，被配置为执行对所述裁剪图像进行文字识别处理，获得第一文字信息，并将所述第一文字信息与所述模板图像对应的目标文字信息进行匹配；

第二确定单元，被配置为执行基于所述第一文字信息与所述目标文字信息的匹配结果，确定所述待检测图像的检测结果。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至权利要求6中任一项所述的图像检测方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至权利要求6中任一项所述的图像检测方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行实现如权利要求1至权利要求6中任一项所述的图像检测方法。

Images