CN106096574A - 屏幕图像的识别方法及装置 - Google Patents

Abstract

本申请公开了屏幕图像的识别方法及装置。所述方法的一具体实施方式包括：获取终端屏幕的截屏图像；获取截屏图像中的待识别区域的位置指示信息，并根据位置指示信息从截屏图像中选取待识别区域图像；将待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；通过支持第三方图像识别应用的调用接口来调用第三方图像识别应用来识别图像格式转换后的待识别区域图像；根据第三方图像识别应用返回的图像识别结果信息确定待识别区域图像包含的图像。该实施方式将屏幕图像的截屏图像的图像格式转换为第三方图像识别应用支持的图像格式，通过调用接口直接调用第三方图像识别应用，能够实现对屏幕图像的快速准确识别。

Description

屏幕图像的识别方法及装置

技术领域

本申请涉及图像处理技术领域，具体涉及图像识别技术领域，尤其涉及屏幕图像的识别方法及装置。

背景技术

随着科技的发展，各种智能电子设备为人们的工作和生活带来了极大便利。智能电子设备通过软件来实现各种功能，软件通常包括大量的图片信息和文字信息，为了实现指定的功能，需要软件开发人员对软件验证，以保证软件的正常工作。

然而，现有的验证软件的方法还存在一些不足。例如，在软件验证的过程中，需要对软件包含的大量图片信息、图标信息和文字信息进行验证，现有的方法多是采用人工的方法验证，这就导致在验证软件的过程中出现验证错误率较高的问题；同时，智能设备上的不同软件之间存在很多相似的图片和文字，因此，在智能电子设备的屏幕上验证图片信息或文字信息时，验证的错误率更高。

发明内容

本申请提供了屏幕图像的识别方法及装置，以解决背景技术中提到的技术问题。

第一方面，本申请提供了一种屏幕图像的识别方法，所述方法包括：获取终端屏幕的截屏图像；获取所述截屏图像中的待识别区域的位置指示信息，并根据所述位置指示信息从所述截屏图像中选取待识别区域图像；将所述待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像；根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像。

在一些实施例中，所述根据所述位置指示信息从所述截屏图像中选取待识别区域图像包括：从所述位置指示信息中解析出待识别区域图像在所述截屏图像中的起始坐标信息和区域大小信息；根据所述起始坐标信息和区域大小信息选取待识别区域图像。

在一些实施例中，所述通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像包括：通过所述调用接口将图像格式转换后的待识别区域图像导入所述第三方图像识别应用；接收所述第三方图像识别应用发来的与所述待识别区域图像对应的识别图像。

在一些实施例中，所述图像识别结果信息包括所述第三方图像识别应用识别出的与所述待识别区域图像对应的识别图像。

在一些实施例中，所述根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像包括：当所述识别图像为多个时，按所述识别图像与待识别区域图像之间的相似度来确定所述待识别区域图像包含的图像。

在一些实施例中，所述方法还包括：获取调用接口的步骤，包括：获取第三方图像识别应用的应用程序编程接口信息；将用于识别图像的应用程序编程接口封装成调用接口。

第二方面，本申请提供了一种屏幕图像的识别装置，所述装置包括：截屏图像获取单元，用于获取终端屏幕的截屏图像；待识别区域图像获取单元，用于获取所述截屏图像中的待识别区域的位置指示信息，并根据所述位置指示信息从所述截屏图像中选取待识别区域图像；图像格式转换单元，用于将所述待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；待识别区域图像识别单元，用于通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像；待识别区域图像确定单元，用于根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像。

在一些实施例中，所述待识别区域图像获取单元包括：位置指示信息解析子单元，用于从所述位置指示信息中解析出待识别区域图像在所述截屏图像中的起始坐标信息和区域大小信息；待识别区域图像获取子单元，用于根据所述起始坐标信息和区域大小信息选取待识别区域图像。

在一些实施例中，所述待识别区域图像识别单元包括：图像导入子单元，用于通过所述调用接口将图像格式转换后的待识别区域图像导入所述第三方图像识别应用；图像接收子单元，用于接收所述第三方图像识别应用发来的与所述待识别区域图像对应的识别图像。

在一些实施例中，所述图像识别结果信息包括所述第三方图像识别应用识别出的与所述待识别区域图像对应的识别图像。

在一些实施例中，所述待识别区域图像确定单元包括：待识别区域图像确定子单元，用于在所述识别图像为多个时，按所述识别图像与待识别区域图像之间的相似度来确定所述待识别区域图像包含的图像。

在一些实施例中，所述装置还包括：调用接口获取单元，用于获取调用接口，包括：接口信息获取子单元，用于获取第三方图像识别应用的应用程序编程接口信息；调用接口获取子单元，用于将用于识别图像的应用程序编程接口封装成调用接口。

本申请提供的屏幕图像的识别方法及装置，将屏幕图像的截屏图像的图像格式转换为第三方图像识别应用支持的图像格式，通过调用接口直接调用第三方图像识别应用，能够实现对屏幕图像的快速准确识别。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2a是根据本申请的屏幕图像的识别方法一个实施例的流程图；

图2b是根据本申请的调用第三方图像识别应用识别图像的流程图；

图3是根据本申请的屏幕图像的识别方法一个实施例的应用场景的一个示意图；

图4是根据本申请的屏幕图像的识别装置的一个实施例的结构示意图；

图5是根据本申请的服务器的一个实施例的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的屏幕图像的识别方法或屏幕图像的识别装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括测试设备101、终端设备102、服务器103和网络104。网络104用以在测试设备101、终端设备102和服务器103之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用测试设备101通过网络104与终端设备102交互，以发送或接收信息等。测试设备101上可以安装有各种通讯客户端应用，例如网页浏览器应用、搜索类应用、即时通信工具、截图应用等。

测试设备101可以是具有显示屏并且支持信息传递的各种电子设备，包括但不限于平板电脑、膝上型便携计算机和台式计算机等等。

服务器103可以是提供各种服务的服务器，例如对测试设备101发来的图像提供支持的图像识别应用服务器。图像识别应用服务器可以对接收到图像等数据进行分析等处理，并将处理结果(例如图像识别结果信息)反馈给测试设备101。

需要说明的是，本申请实施例所提供的屏幕图像的识别方法一般由测试设备101执行，相应地，屏幕图像的识别装置一般设置于测试设备101中。

应该理解，图1中的测试设备、终端设备和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的测试设备、终端设备和服务器。

图2a，其示出了一种屏幕图像的识别方法的一个实施例的流程图200，该屏幕图像的识别方法包括：

步骤201，获取终端屏幕的截屏图像。

在本实施例中，用户所使用的电子设备(例如图1所示的测试设备)可以通过有线或无线的方式获取终端屏幕的截屏图像。对屏幕图像进行识别前，需要测试设备先获取屏幕的截屏图像。通常，测试设备可以通过指令获取终端屏幕的某个截屏图像。获取的方式可以是获取某一时刻的截屏图像(如软件启动时的截屏图像或软件推出时的截屏图像)、间隔设定时间的截屏图像；还可以在软件中设置截屏出发命令，当满足某一条件时自动获取截屏图像，例如，当检测到软件播放音乐时获取截屏图像。

步骤202，获取上述截屏图像中的待识别区域的位置指示信息，并根据上述位置指示信息从上述截屏图像中选取待识别区域图像。

截屏图像通常会包含多个具体的图标，例如，在智能手机的应用显示界面上获取截屏图像时，截屏图像会包含多个应用的图标，例如：视频应用的图标、阅读应用的图标、地图应用的图标和游戏应用的图标；在某一应用打开后获取截屏图像时，截屏图像会包含多个应用中的图标，例如，游戏应用的人物图标、物品图标、路线图标，其中，人物图标、物品图标还可能是动图。在应用显示界面上或软件设计中，这些图标都应该出现在一定的位置，因此，需要获取位置指示信息，并根据位置指示信息获取待识别区域图像，其中，待识别区域图像应该包含有特定的图标，即应该出现在待识别区域图像的图标。

在本实施例的一些可选的实现方式中，根据上述位置指示信息从上述截屏图像中选取待识别区域图像可以包括以下步骤：

第一步，从上述位置指示信息中解析出待识别区域图像在上述截屏图像中的起始坐标信息和区域大小信息。其中，起始坐标信息通常是平面坐标系的(x,y)坐标，区域大小信息通常包括长度信息和宽度信息。

通常，截屏图像为一矩形图像，从截屏图像上获取待识别区域图像就需要对待识别区域图像进行定位。实际中，可以将截屏图像的特定位置作为参考位置，例如，将截屏图像转换为像素矩阵，将像素矩阵的第一行第一列的像素作为坐标原点。以距离坐标原点的另一个坐标点作为待识别区域图像的起始点，在该起始点处获取设定大小的待识别区域图像。

位置指示信息用于表明待识别区域图像在截屏图像中的位置信息(对应起始坐标信息)和区域大小信息。需要说明的是，在软件测试的过程中，软件中的某一图像或图标的位置可能随屏幕的大小或长宽比例发生，待识别区域图像在截屏图像中的位置信息和区域大小信息会对应的发生变化。

第二步，根据上述起始坐标信息和区域大小信息选取待识别区域图像。

解析出起始坐标信息和区域大小信息后，以起始坐标信息对应的点为起始点，从截屏图像中划分出以长度信息和宽度信息对应的长和宽的待识别区域图像。

步骤203，将上述待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式。

截屏图像的格式跟截屏软件相关，截屏图像的图像格式通常包括：PNG(PortableNetwork Graphic Format，可移植网络图形格式)、JPEG(Joint Photographic ExpertsGROUP)、BMP(Bitmap，Windows操作系统中的标准图像文件格式)等。截屏图像的图像格式通常与第三方图像识别应用能够识别的图像格式不同，因此，需要将截屏图像的图像格式转换为预定的第三方图像识别应用支持的图像格式。待识别区域图像的图像格式与图像格式转换后的截屏图像的图像格式相同，可以直接应用到第三方图像识别应用。

步骤204，通过支持上述第三方图像识别应用的调用接口来调用上述第三方图像识别应用来识别图像格式转换后的待识别区域图像。

第三方图像识别应用很多个数据接口，每个数据接口的功能都不尽相同，各自完成不同的数据处理功能。因此，需要首先对每个数据接口的功能和使用方式进行解析；然后，将用于识别图像的数据接口封装为调用接口，这样可以直接调用第三方图像识别应用的图像识别功能，加快了图像识别的速度，减少了图像识别过程中的数据处理量。

在本实施例的一些可选的实现方式中，上述通过支持上述第三方图像识别应用的调用接口来调用上述第三方图像识别应用来识别图像格式转换后的待识别区域图像如图2b所示，可以包括以下步骤：

步骤2041，通过上述调用接口将图像格式转换后的待识别区域图像导入上述第三方图像识别应用。

将待识别区域图像通过调用接口导入第三方图像识别应用，第三方图像识别应用会自动对待识别区域图像进行识别。需要说明的是，第三方图像识别应用的图像库包含待识别区域图像的图标。例如，待识别区域图像中包含某一游戏应用的图标，那么，第三方图像识别应用的图像库也需要包含该游戏应用的图标，否则将无法识别出待识别区域图像中的图标。

步骤2042，接收上述第三方图像识别应用发来的与上述待识别区域图像对应的识别图像。

第三方图像识别应用对待识别区域图像进行识别后，会将待识别区域图像包含的图标等信息反馈回来。

需要说明的是，如果实际中待识别区域图像内包含的图像是动态的(例如，游戏应用中某些360度旋转的图像)，则需要截取该动态图像的多个角度的待识别区域图像，然后将这些多个角度的待识别区域图像导入第三方图像识别应用，使得第三方图像识别应用能够从多个角度对动态图像进行识别。

在本实施例的一些可选的实现方式中，本实施例方法还包括：获取调用接口的步骤，包括以下步骤：

第一步，获取第三方图像识别应用的应用程序编程接口信息。

第三方图像识别应用包含数据庞大的应用程序编程接口，每个应用程序编程接口对应不同的功能，要想对调用第三方图像识别应用的图像识别功能，就要首先获取到应用程序编程接口信息。

第二步，将用于识别图像的应用程序编程接口封装成调用接口。

获取到应用程序编程接口信息后，从应用程序编程接口信息中找出用于图像识别的应用程序编程接口，将用于识别图像的应用程序编程接口封装成调用接口，以便直接调用图像识别功能。

步骤205，根据上述第三方图像识别应用返回的图像识别结果信息确定上述待识别区域图像包含的图像。

第三方图像识别应用对待识别区域图像进行识别后，会反馈回待识别区域图像包含的图像，即图像识别结果信息，图像识别结果信息包括第三方图像识别应用识别出的与上述待识别区域图像对应的识别图像。例如，待识别区域图像中包含某一游戏应用的图标，图像识别结果信息就会包含该游戏应用的图标在第三方图像识别应用的图像库中的游戏应用的图标(此处的图标即为图像识别结果信息内包含的图像)。图像库中游戏应用的图标可以视为游戏应用的原始图标，待识别区域图像中的游戏应用的图标可以视为游戏应用的原始图标在屏幕上的显示图标。

在本实施例的一些可选的实现方式中，上述根据上述第三方图像识别应用返回的图像识别结果信息确定上述待识别区域图像包含的图像还可以包括：当上述识别图像为多个时，按上述识别图像与待识别区域图像之间的相似度来确定上述待识别区域图像包含的图像。

当前，应用程序的数量巨大，应用程序的图标或应用程序内的图标与其他应用程序的图标和其他应用程序内的图标会存在相似的图标，这就增加了图像识别的难度。当待识别区域图像包含的图像与多个其他图标近似时，为了保证图像识别的结果，第三方图像识别应用会将所有相似的图标都返回。第三方图像识别应用在对待识别区域图像进行识别时，会对所有与待识别区域图像中相同或近似的图像设置相似度值，这些相似度值会随图像识别结果信息一同反馈回来，用户可以根据相似度值从多个近似的图像中确定待识别区域图像包含的图像。

此外，本实施例方法还可以通过文字识别应用对待识别区域图像的文字进行识别，从而实现对图像和文字的双重识别。

继续参见图3，图3是根据本实施例的屏幕图像的识别方法的应用场景的一个示意图。以对手机屏幕图像的识别为例，在图3的应用场景中，首先获取手机301的截屏图像302；然后从截屏图像302中选取待识别区域图像303，图3中是对手机301上某一界面的图像截屏后选取的待识别区域图像303，该待识别区域图像303中包含了多个具体的图标，并且该待识别区域图像303包含的图标之间的相似度也较大；将待识别区域图像303导入第三方图像识别应用304后，得到对应的图像305如图3所示。

本申请提供的屏幕图像的识别方法将屏幕图像的截屏图像的图像格式转换为第三方图像识别应用支持的图像格式，通过调用接口直接调用第三方图像识别应用，能够实现对屏幕图像的快速准确识别。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种屏幕图像的识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例上述的屏幕图像的识别装置400可以包括：截屏图像获取单元401、待识别区域图像获取单元402、图像格式转换单元403、待识别区域图像识别单元404和待识别区域图像确定单元405。其中，截屏图像获取单元401用于获取终端屏幕的截屏图像；待识别区域图像获取单元402用于获取上述截屏图像中的待识别区域的位置指示信息，并根据上述位置指示信息从上述截屏图像中选取待识别区域图像；图像格式转换单元403用于将上述待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；待识别区域图像识别单元404用于通过支持上述第三方图像识别应用的调用接口来调用上述第三方图像识别应用来识别图像格式转换后的待识别区域图像；待识别区域图像确定单元405用于根据上述第三方图像识别应用返回的图像识别结果信息确定上述待识别区域图像包含的图像。

在本实施例的一些可选的实现方式中，待识别区域图像获取单元402可以包括：位置指示信息解析子单元(图中未示出)和待识别区域图像获取子单元(图中未示出)。其中，位置指示信息解析子单元用于从上述位置指示信息中解析出待识别区域图像在上述截屏图像中的起始坐标信息和区域大小信息；待识别区域图像获取子单元用于根据上述起始坐标信息和区域大小信息选取待识别区域图像。

在本实施例的一些可选的实现方式中，待识别区域图像识别单元404包括：图像导入子单元(图中未示出)和图像接收子单元(图中未示出)，其中，图像导入子单元用于通过上述调用接口将图像格式转换后的待识别区域图像导入上述第三方图像识别应用；图像接收子单元用于接收上述第三方图像识别应用发来的与上述待识别区域图像对应的识别图像。

在本实施例的一些可选的实现方式中，图像识别结果信息包括上述第三方图像识别应用识别出的与上述待识别区域图像对应的识别图像。

在本实施例的一些可选的实现方式中，待识别区域图像确定单元405包括：待识别区域图像确定子单元(图中未示出)，用于在上述识别图像为多个时，按上述识别图像与待识别区域图像之间的相似度来确定上述待识别区域图像包含的图像。

在本实施例的一些可选的实现方式中，屏幕图像的识别装置400还包括：调用接口获取单元(图中未示出)，用于获取调用接口，包括：接口信息获取子单元(图中未示出)和调用接口获取子单元(图中未示出)。其中，接口信息获取子单元用于获取第三方图像识别应用的应用程序编程接口信息；调用接口获取子单元用于将用于识别图像的应用程序编程接口封装成调用接口。

下面参考图5，其示出了适于用来实现本申请实施例的测试设备的计算机系统500的结构示意图。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有系统500操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括截屏图像获取单元、待识别区域图像获取单元、图像格式转换单元、待识别区域图像识别单元和待识别区域图像确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。例如，待识别区域图像确定单元还可以被描述为“用于确定待识别区域图像的单元”。

作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：获取终端屏幕的截屏图像；获取上述截屏图像中的待识别区域的位置指示信息，并根据上述位置指示信息从上述截屏图像中选取待识别区域图像；将上述待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；通过支持上述第三方图像识别应用的调用接口来调用上述第三方图像识别应用来识别图像格式转换后的待识别区域图像；根据上述第三方图像识别应用返回的图像识别结果信息确定上述待识别区域图像包含的图像。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种屏幕图像的识别方法，其特征在于，所述方法包括：

获取终端屏幕的截屏图像；

获取所述截屏图像中的待识别区域的位置指示信息，并根据所述位置指示信息从所述截屏图像中选取待识别区域图像；

将所述待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；

通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像；

根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述位置指示信息从所述截屏图像中选取待识别区域图像包括：

从所述位置指示信息中解析出待识别区域图像在所述截屏图像中的起始坐标信息和区域大小信息；

根据所述起始坐标信息和区域大小信息选取待识别区域图像。

3.根据权利要求1所述的方法，其特征在于，所述通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像包括：

通过所述调用接口将图像格式转换后的待识别区域图像导入所述第三方图像识别应用；

接收所述第三方图像识别应用发来的与所述待识别区域图像对应的识别图像。

4.根据权利要求1所述的方法，其特征在于，所述图像识别结果信息包括所述第三方图像识别应用识别出的与所述待识别区域图像对应的识别图像。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像包括：

当所述识别图像为多个时，按所述识别图像与待识别区域图像之间的相似度来确定所述待识别区域图像包含的图像。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取调用接口的步骤，包括：

获取第三方图像识别应用的应用程序编程接口信息；

将用于识别图像的应用程序编程接口封装成调用接口。

7.一种屏幕图像的识别装置，其特征在于，所述装置包括：

截屏图像获取单元，用于获取终端屏幕的截屏图像；

待识别区域图像获取单元，用于获取所述截屏图像中的待识别区域的位置指示信息，并根据所述位置指示信息从所述截屏图像中选取待识别区域图像；

图像格式转换单元，用于将所述待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；

待识别区域图像识别单元，用于通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像；

待识别区域图像确定单元，用于根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像。

8.根据权利要求7所述的装置，其特征在于，所述待识别区域图像获取单元包括：

位置指示信息解析子单元，用于从所述位置指示信息中解析出待识别区域图像在所述截屏图像中的起始坐标信息和区域大小信息；

待识别区域图像获取子单元，用于根据所述起始坐标信息和区域大小信息选取待识别区域图像。

9.根据权利要求7所述的装置，其特征在于，所述待识别区域图像识别单元包括：

图像导入子单元，用于通过所述调用接口将图像格式转换后的待识别区域图像导入所述第三方图像识别应用；

图像接收子单元，用于接收所述第三方图像识别应用发来的与所述待识别区域图像对应的识别图像。

10.根据权利要求7所述的装置，其特征在于，所述图像识别结果信息包括所述第三方图像识别应用识别出的与所述待识别区域图像对应的识别图像。

11.根据权利要求1所述的方法，其特征在于，所述待识别区域图像确定单元包括：

待识别区域图像确定子单元，用于在所述识别图像为多个时，按所述识别图像与待识别区域图像之间的相似度来确定所述待识别区域图像包含的图像。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：

调用接口获取单元，用于获取调用接口，包括：

接口信息获取子单元，用于获取第三方图像识别应用的应用程序编程接口信息；

调用接口获取子单元，用于将用于识别图像的应用程序编程接口封装成调用接口。