CN113238972B

CN113238972B - 一种图像检测方法、装置、设备及存储介质

Info

Publication number: CN113238972B
Application number: CN202110784933.4A
Authority: CN
Inventors: 黄超
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-07-12
Filing date: 2021-07-12
Publication date: 2021-10-29
Anticipated expiration: 2041-07-12
Also published as: CN113238972A

Abstract

本申请实施例公开了一种图像检测方法、装置、设备及存储介质，其中该方法包括：获取参考图像和参考图像对应的参考操作数据；基于参考操作数据操控测试应用程序，根据测试应用程序的待检测界面生成待检测图像；确定待检测图像中的待检测界面与参考图像中的参考界面间的对应关系；针对具有对应关系的待检测界面和参考界面，按照预设图像划分方式对待检测界面和参考界面进行图像划分处理，得到待检测界面中多个区域位置对应的待检测区域图像和参考界面中多个区域位置对应的参考区域图像；通过图像检测模型，根据目标区域位置对应的待检测区域图像和参考区域图像，确定目标区域位置对应的待检测区域图像是否正常。该方法能够提高异常界面的检测精度。

Description

一种图像检测方法、装置、设备及存储介质

技术领域

本申请涉及人工智能（Artificial Intelligence，AI）技术领域，尤其涉及一种图像检测方法、装置、设备及存储介质。

背景技术

新版本的应用程序（Application，APP）上线前，测试人员通常需要对该应用程序的显示界面进行检测，以判断该应用程序是否存在显示异常的问题。以游戏应用程序为例，新版本的游戏应用程序上线前，测试人员需要检测该游戏应用程序中的游戏画面是否存在异常，例如，检测是否存在画面黑屏或花屏、虚拟元素显示异常、技能特效的显示效果异常等问题。

相关技术中，目前主要通过以下方式对应用程序的显示界面进行检测：获取应用程序运行过程中的显示界面，然后通过预先训练好的图像检测模型，检测该显示界面中是否存在异常。

然而，上述图像检测方法在实际应用中的检测效果并不理想，很多情况下，上述图像检测方法只能针对布局简单的显示界面中存在的大面积明显异常区域进行有效地检测，对于布局复杂的显示界面或者异常区域面积较小的情况，上述图像检测方法均难以有效地检测出来。

发明内容

本申请实施例提供了一种图像检测方法、装置、设备及存储介质，能够针对各种显示界面有效地检测其中存在的异常显示区域。

有鉴于此，本申请第一方面提供了一种图像检测方法，所述方法包括：

获取参考图像和所述参考图像对应的参考操作数据；所述参考图像包括参考应用程序上的参考界面，所述参考界面是基于所述参考操作数据操控所述参考应用程序时显示的界面，所述参考界面中不包括异常显示区域；

基于所述参考操作数据操控与所述参考应用程序对应的测试应用程序，根据所述测试应用程序上的待检测界面生成待检测图像；

确定所述待检测图像中的待检测界面与所述参考图像中的参考界面之间的对应关系；

针对具有对应关系的待检测界面和参考界面，按照预设的图像划分方式，对所述待检测界面和所述参考界面分别进行图像划分处理，得到所述待检测界面中多个区域位置各自对应的待检测区域图像、以及所述参考界面中所述多个区域位置各自对应的参考区域图像；

针对具有对应关系的待检测界面和参考界面，通过图像检测模型，根据所述待检测界面中目标区域位置对应的待检测区域图像、以及所述参考界面中所述目标区域位置对应的参考区域图像，确定所述目标区域位置对应的待检测区域图像是否正常。

本申请第二方面提供了一种图像检测装置，所述装置包括：

参考数据获取模块，用于获取参考图像和所述参考图像对应的参考操作数据；所述参考图像包括参考应用程序上的参考界面，所述参考界面是基于所述参考操作数据操控参考应用程序时显示的界面，所述参考界面中不包括异常显示区域；

待检测数据获取模块，用于基于所述参考操作数据操控与所述参考应用程序对应的测试应用程序，根据所述测试应用程序上的待检测界面生成待检测图像；

对应关系确定模块，用于确定所述待检测图像中的待检测界面与所述参考图像中的参考界面之间的对应关系；

图像划分模块，用于针对具有对应关系的待检测界面和参考界面，按照预设的图像划分方式，对所述待检测界面和所述参考界面分别进行图像划分处理，得到所述待检测界面中多个区域位置各自对应的待检测区域图像、以及所述参考界面中所述多个区域位置各自对应的参考区域图像；

图像检测模块，用于针对具有对应关系的待检测界面和参考界面，通过图像检测模型，根据所述待检测界面中目标区域位置对应的待检测区域图像、以及所述参考界面中所述目标区域位置对应的参考区域图像，确定所述目标区域位置对应的待检测区域图像是否正常。

本申请第三方面提供了一种电子设备，所述电子设备包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序，执行上述第一方面所述的图像检测方法的步骤。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的图像检测方法的步骤。

本申请第五方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面所述的图像检测方法的步骤。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供了一种图像检测方法，通过该方法检测测试应用程序的显示界面上是否存在异常显示区域时，需要先获取参考图像和该参考图像对应的参考操作数据，该参考图像包括基于参考操作数据操控参考应用程序时该参考应用程序上显示的、不包括异常显示区域的参考界面；然后，基于参考操作数据操控与参考应用程序对应的测试应用程序，并根据该测试应用程序上显示的待检测界面生成待检测图像；进而，确定待检测图像中的待检测界面与参考图像中的参考界面之间的对应关系。针对具有对应关系的待检测界面和参考界面，可以先按照预设的图像划分方式对二者分别进行图像划分处理，得到待检测界面中多个区域位置各自对应的待检测区域图像、以及参考界面中这多个区域位置各自对应的参考区域图像；然后，通过图像检测模型，根据该待检测界面和该参考界面中对应于同一区域位置的待检测区域图像和参考区域图像，确定该区域位置对应的待检测区域图像是否正常。相比基于整个显示界面的图像特征来检测该显示界面中是否存在异常显示区域的方式，本申请实施例提供的方法将待检测界面以及与其具有对应关系的参考界面均划分成了多个区域，并以区域为单位，通过图像检测模型，从待检测界面中某区域对应的待检测区域图像和参考界面中该区域对应的参考区域图像提取区域特征，由于区域特征相比整个显示界面的图像特征更具辨别力，能够更精细地反映对应区域的图像特征，因此，基于所提取的区域特征能够更准确地检测出该区域对应的待检测区域图像是否存在异常，提高了异常显示区域的检测精度和准确度，对于界面布局复杂、异常显示区域较小、异常显示区域不明显等情况也可以有效地检测出来。

附图说明

图1为本申请实施例提供的图像检测方法的应用场景示意图；

图2为本申请实施例提供的图像检测方法的流程示意图；

图3为本申请实施例提供的具有对应关系的待检测界面和参考界面；

图4为本申请实施例提供的候选异常区域位置筛选原理示意图；

图5为本申请实施例提供的示例性的图像检测模型的工作原理示意图；

图6为本申请实施例提供的图像检测模型的训练方法的流程示意图；

图7为本申请实施例提供的第一种图像检测装置的结构示意图；

图8为本申请实施例提供的第二种图像检测装置的结构示意图；

图9为本申请实施例提供的第三种图像检测装置的结构示意图；

图10为本申请实施例提供的终端设备的结构示意图；

图11为本申请实施例提供的服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术（Computer Vision，CV）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供的方案涉及人工智能技术中的计算机视觉技术，具体通过如下实施例进行说明：

相关技术中，通过图像检测模型检测应用程序的显示界面是否存在异常时，图像检测模型通常直接提取整张显示界面的图像特征，进而基于该图像特征来判断该显示界面中是否存在异常。然而这种方式的检测精度通常很低，只能针对布局简单的显示界面中存在的大面积明显的异常区域进行有效检测，对于布局复杂的显示界面、异常区域面积较小或者不明显等情况，难以有效的检测出来。

针对上述相关技术存在的问题，本申请实施例提供了一种图像检测方法，该方法能够有效地提高对于显示界面的检测精度。

具体的，在本申请实施例提供的图像检测方法中，先获取参考图像和该参考图像对应的参考操作数据，该参考图像包括基于参考操作数据操控参考应用程序时该参考应用程序上显示的、不包括异常显示区域的参考界面。然后，基于参考操作数据操控与参考应用程序对应的测试应用程序，并根据该测试应用程序上显示的待检测界面生成待检测图像。进而，确定待检测图像中的待检测界面与参考图像中的参考界面之间的对应关系。针对具有对应关系的待检测界面和参考界面，可以先按照预设的图像划分方式，对该待检测界面和该参考界面分别进行图像划分处理，得到该待检测界面中多个区域位置各自对应的待检测区域图像、以及该参考界面中这多个区域位置各自对应的参考区域图像；然后，通过图像检测模型，根据该待检测界面中目标区域位置对应的待检测区域图像、以及参考界面中目标区域位置对应的参考区域图像，确定该目标区域位置对应的待检测区域图像是否正常。

相比相关技术中基于整个显示界面的图像特征来检测该显示界面中是否存在异常显示区域的方式，本申请实施例提供的方法将待检测界面以及与其具有对应关系的参考界面均划分成了多个区域，并以区域为单位，通过图像检测模型，从待检测界面中某区域对应的待检测区域图像和参考界面中该区域对应的参考区域图像提取区域特征，由于区域特征相比整个显示界面的图像特征更具辨别力，能够更精细地反映对应区域的图像特征，因此，基于所提取的区域特征能够更准确地检测出该区域对应的待检测区域图像是否存在异常，提高了异常显示区域的检测精度和准确度，对于界面布局复杂、异常显示区域较小、异常显示区域不明显等情况也可以有效地检测出来。

应理解，本申请实施例提供的图像检测方法可以应用于具备图像处理能力的电子设备，如终端设备或服务器。其中，终端设备具体可以为计算机、智能手机、平板电脑、个人数字助理（Personal Digital Assistant，PDA）、智能音箱、车载终端等；服务器具体可以为应用服务器或Web服务器，实际部署时，可以为独立服务器，也可以为集群服务器或云服务器。如本申请所公开的图像检测方法，其中涉及的参考图像、参考操作数据、待检测图像等数据可保存于区块链上。

为了便于理解本申请实施例提供的图像检测方法，下面以本申请实施例提供的图像检测方法的执行主体为服务器为例，对该图像检测方法的应用场景进行示例性介绍。

参见图1，图1为本申请实施例提供的图像检测方法的应用场景示意图。如图1所示，该应用场景中包括服务器110、终端设备120和终端设备130，服务器110可以通过网络与终端设备120和终端设备130进行通信。

其中，服务器110用于执行本申请实施例提供的图像检测方法，以检测测试应用程序的显示界面是否存在异常。终端设备120用于承载参考应用程序运行，终端设备130用于承载与该参考应用程序对应的测试应用程序运行；示例性的，参考应用程序和测试应用程序可以为同一应用程序的不同版本，例如，参考应用程序为已上线的旧版本应用程序，测试应用程序为未上线的新版本应用程序，参考应用程序上的显示界面均成熟完善，不存在异常显示的情况，而测试应用程序上的显示界面尚未完善，可能存在异常显示的情况；本申请旨在将参考应用程序上的显示界面作为对照基础，利用测试应用程序上的显示界面与其进行对比，从而检测测试应用程序上的显示界面是否存在异常显示区域。

在实际应用中，服务器110可以从终端设备120处获取参考图像和参考图像对应的参考操作数据。示例性的，终端设备120可以基于任意操作数据对参考应用程序进行操控，并在操控该参考应用程序的过程中，根据该参考应用程序上的显示界面（本申请中又称参考界面）生成参考图像，同时记录操控该参考应用程序时使用的操作数据作为参考图像对应的参考操作数据；进而，将该参考图像和该参考图像对应的参考操作数据发送给服务器110。

服务器110获取到参考图像和参考操作数据后，可以将该参考操作数据发送给终端设备130，以使终端设备130可以基于该参考操作数据，操控其上运行的与参考应用程序对应的测试应用程序；终端设备130基于该参考操作数据操控测试应用程序时，需要根据该测试应用程序上的显示界面（本申请中又称待检测界面）生成待检测图像，并将待检测图像发送给服务器110。

由于待检测图像和参考图像均是基于参考操作数据生成的，因此，该待检测图像中包括的待检测界面与该参考图像中包括的参考界面之间应当具有对应关系。示例性的，假设参考图像是在基于参考操作数据操控参考应用程序时对该参考应用程序的显示界面进行录屏得到的参考视频，待检测图像是基于参考操作数据操控测试应用程序时对该测试应用程序的显示界面进行录屏得到的待检测视频，在参考视频和待检测视频中基于相同的操作数据产生的参考界面与待检测界面之间应当具有对应关系。服务器110获取到待检测图像和参考图像后，即需要确定出待检测图像中的待检测界面与参考图像中的参考界面之间的对应关系。

应理解，从理论上来说，具有对应关系的待检测界面与参考界面应当具有相同的显示效果，但是由于测试应用程序的界面开发尚未完善，可能发生测试应用程序上的待检测界面与其应当达到的显示效果存在差异的情况；本申请实施例通过对比具有对应关系的待检测界面与参考界面，来检测该待检测界面是否存在异常显示区域。

具体的，服务器110可以针对具有对应关系的待检测界面和参考界面，按照预设的图像划分方式，对该待检测界面和该参考界面分别进行图像划分处理，得到该待检测界面中多个区域位置各自对应的待检测区域图像、以及该参考界面中多个区域位置各自对应的参考区域图像。进而，通过图像检测模型，根据该待检测界面中某个区域位置对应的待检测区域图像、以及该参考界面中该区域位置对应的参考区域图像，确定该区域位置对应的待检测区域图像是否正常；即通过图像检测模型，从该区域位置对应的待检测区域图像和该区域位置对应的参考区域图像中提取区域特征，基于该待检测区域图像与该参考区域图像之间的区域特征差异，评判确定该区域位置对应的待检测区域。

应理解，图1所示的应用场景仅为示例，在实际应用中，本申请实施例提供的图像检测方法还可以应用于其它场景；例如，可以利用一台终端设备同时承载参考应用程序和测试应用程序；又例如，可以从数据库中调取参考图像和参考图像对应的参考操作数据，无需额外配置终端设备运行参考应用程序；在此不对本申请实施例提供的图像检测方法的应用场景做任何限定。

下面通过方法实施例对本申请提供的图像检测方法进行详细介绍。

参见图2，图2为本申请实施例提供的图像检测方法的流程示意图。为了便于描述，下述实施例仍以该图像检测方法的执行主体为服务器为例进行介绍。如图2所示，该图像检测方法包括以下步骤：

步骤201：获取参考图像和所述参考图像对应的参考操作数据；所述参考图像包括参考应用程序上的参考界面，所述参考界面是基于所述参考操作数据操控所述参考应用程序时显示的界面，所述参考界面中不包括异常显示区域。

服务器针对测试应用程序的显示界面检测其中是否存在显示异常区域时，需要先获取基于参考应用程序的显示界面生成的参考图像、以及该参考图像对应的参考操作数据，以便利用该参考图像作为后续对测试应用程序的显示界面进行检测时的对照基础，以及利用该参考操作数据操控测试应用程序，使其产生可供比对检测的显示界面。

需要说明的是，参考应用程序与测试应用程序之间具有对应关系。作为一种示例，参考应用程序与测试应用程序可以为同一应用程序的不同版本，其中参考应用程序为旧版本的应用程序，测试应用程序为需要测试的新版本的应用程序；参考应用程序的显示界面是成熟完善的，其中不存在显示异常区域，而测试应用程序的显示界面可能是尚未成熟完善的，其中可能存在显示异常区域；理论上，基于相同的操作数据对参考应用程序和测试应用程序进行操控，两个应用程序产生的显示界面应当相同；在参考应用程序和测试应用程序为第一人称射击游戏（First-person shooting game，FPS）的情况下，除了需要保证操控参考应用程序和测试应用程序时使用的操作数据相同以外，还需要保证通过参考应用程序和测试应用程序控制的虚拟角色的位置信息和视角信息相同。作为另一种示例，参考应用程序与测试应用程序也可以为同一应用程序的同一版本，一些情况下，应用程序可以在人工干预其显示效果的情况下保证其显示界面不存在异常显示区域，此时受人工干预其显示效果的应用程序可以被视为参考应用程序，相对应地，未受人工干预其显示效果的该应用程序可以被视为测试应用程序。总之，本申请实施例需要保证参考应用程序上的显示界面不存在显示异常区域，而对于测试应用程序上的显示界面的显示效果本申请不做限定。

本申请实施例中的参考界面即是参考应用程序上的显示界面，参考界面中不存在异常显示区域。本申请实施例中的参考图像包括基于参考操作数据操控参考应用程序时该参考应用程序上显示的参考界面；示例性的，该参考图像可以是在基于参考操作数据操控参考应用程序时，对该参考应用程序的显示界面进行录屏得到的参考视频；示例性的，该参考图像也可以是在基于参考操作数据操控参考应用程序时，对该参考应用程序的显示界面进行截屏得到的一张或多张参考界面截图；本申请在此不对该参考图像的形式做任何限定。本申请实施例中的参考操作数据用于指示参考应用程序和测试应用程序可以支持的用户操作，以参考应用程序和测试应用程序为射击类游戏应用程序为例，该参考操作数据可以用于指示射击类游戏应用程序支持的任一种用于操控虚拟角色的用户操作，如控制虚拟角色跑动、跳跃、蹲下、射击等用户操作；应理解，不同的应用程序支持的用户操作可能不同，因此本申请在此不对该参考操作数据具体指示的用户操作做任何限定。

作为一种示例，上述参考图像可以是基于参考操作数据序列操控参考应用程序时，对该参考应用程序上显示的参考界面进行录屏得到的参考视频；此处的参考操作数据序列中包括按照时间顺序排列的若干参考操作数据，且该参考操作数据序列中的参考操作数据与参考视频中的参考视频帧之间具有对应关系。例如，可以使用A操作、B操作和C操作先后操控参考应用程序，并在此过程中，对该参考应用程序上显示的参考界面进行录屏得到参考视频，并且记录A操作、B操作和C操作各自在参考视频中对应的参考视频帧，假设A操作是在录制参考视频的第5个视频帧时触发的，则A操作与参考视频中第5个参考视频帧之间具有对应关系。

需要说明的是，当参考应用程序和测试应用程序为第一人称的游戏应用程序时，为了保证基于参考操作数据操控测试应用程序产生的待检测界面与基于该参考操作数据操控参考应用程序产生的参考界面尽量一致，服务器除了需要获取参考视频对应的参考操作数据外，还需要获取该参考视频包括的每个参考视频帧中目标虚拟角色的位置信息和视角信息。

具体的，在对参考应用程序显示的参考界面进行录屏以生成参考视频时，可以通过游戏接口，获取所录制的每个参考视频帧中目标虚拟角色在游戏场景中的位置信息（如在游戏地图中的x坐标、y坐标和z坐标）、以及该目标虚拟角色在游戏场景中的视角信息（如目标虚拟角色的朝向，通常利用三维向量表示），如此得到参考视频中每个参考视频帧对应的位置信息和视角信息，应理解，此处的目标虚拟角色是当前通过参考应用程序控制的虚拟角色。在录制参考视频的同时，还可以通过游戏接口获取操控目标虚拟角色时使用的参考操作数据，如控制目标虚拟角色执行跳跃、射击等动作的参考操作数据，并记录参考操作数据与所录制的参考视频帧之间的对应关系。

考虑到游戏应用程序中通常还包括敌人等随机干扰因素，为了避免此类随机干扰因素对于参考应用程序上显示的参考界面产生过大的影响，导致该参考界面无法作为后续检测待检测界面是否存在异常的对照基础，本申请实施例提供的方法还可以在录制参考视频的过程中，设置辅助虚拟角色辅助处理参考应用程序中的干扰因素，即使得参考视频是在设置有辅助虚拟角色辅助处理参考应用程序中的干扰因素的情况下得到的。

示例性的，通过参考应用程序操控目标虚拟角色参加目标游戏对局时，可以同时通过运行在其它设备上的参考应用程序操控辅助虚拟角色也参加该目标游戏对局，在该目标游戏对局的过程中，可以操控辅助虚拟角色对可能导致目标虚拟角色视野范围内的画面产生变化的干扰因素进行处理，例如，可以操控辅助虚拟角色处理可能干扰目标虚拟角色的敌人。如此从目标虚拟角色的视角对该目标游戏对局进行录屏得到的参考视频中，可以尽量地避免干扰因素的存在。

在一种可能的实现方式中，服务器可以从用于承载参考应用程序的终端设备处获取上述参考图像和参考图像对应的参考操作数据，当参考应用程序为第一人称的游戏应用程序时，服务器还可以从该终端设备处获取参考图像中各参考视频帧各自对应的位置信息和视角信息。

例如，服务器可以在需要对测试应用程序的显示界面进行异常检测时，向承载有参考应用程序的终端设备下发参考视频录制指令，该终端设备接收到该参考视频录制指令后，将自动操控参考应用程序，并在操控参考应用程序的过程中对该参考应用程序的显示界面进行录屏得到参考视频，同时记录参考视频中的参考视频帧与操控参考应用程序时使用的参考操作数据之间的对应关系；当参考应用程序为第一人称的游戏应用程序时，还会同时记录参考视频中各参考视频帧各自对应的位置信息和视角信息；进而，将所录制的参考视频、以及所记录的参考视频中参考视频帧与参考操作数据之间的对应关系、和参考视频中各参考视频帧各自对应的位置信息和视角信息，反馈给服务器。

当然，在实际应用中，终端设备也可以预先录制好参考视频，并且记录好参考视频中参考视频帧与参考操作数据之间的对应关系、和参考视频中各参考视频帧各自对应的位置信息和视角信息，进而在接收到服务器发送的参考信息获取指令时，将该参考视频、参考视频中参考视频帧与参考操作数据之间的对应关系、以及参考视频中各参考视频帧各自对应的位置信息和视角信息发送给服务器。本申请在此不对参考视频的录制时机做任何限定。

在另一种可能的实现方式中，服务器也可以从数据库中获取上述参考图像和参考图像对应的参考操作数据，当参考应用程序为第一人称的游戏应用程序时，服务器还可以从该数据库中获取参考图像中各参考视频帧各自对应的位置信息和视角信息。

具体的，可以预先构建用于承载不同应用程序对应的参考图像的数据库，当服务器对测试应用程序的显示界面进行异常检测时，可以先确定该测试应用程序对应的参考应用程序，进而从该数据库中调取该参考应用程序对应的参考图像以及该参考图像对应的参考操作数据，当参考应用程序为第一人称的游戏应用程序时，还可以从该数据库中调取出该参考图像中各参考视频帧各自对应的位置信息和视角信息。

应理解，在实际应用中，服务器也可以通过其它方式获取参考图像和该参考图像对应的参考操作数据，本申请在此不对服务器获取参考图像和参考操作数据的实现方式做任何限定。

步骤202：基于所述参考操作数据操控与所述参考应用程序对应的测试应用程序，根据所述测试应用程序上的待检测界面生成待检测图像。

服务器获取到参考操作数据后，可以基于该参考操作数据操控参考应用程序对应的测试应用程序，并根据该测试应用程序上显示的待检测界面生成待检测图像，该待检测图像中包括的待检测界面即是服务器所要检测的对象，即本申请实施例旨在检测该待检测图像包括的待检测界面中是否存在异常显示区域。

本申请实施例中的测试应用程序是与参考应用程序具有对应关系的应用程序，测试应用程序与参考应用程序之间的对应关系已在上文中介绍，此处不再赘述。本申请实施例中的待检测界面即是测试应用程序上的显示界面，由于测试应用程序的界面开发可能尚未完善，因此待检测界面可能存在显示异常的情况，例如存在部分显示区域花屏或黑屏、虚拟元素显示异常、技能的显示效果异常等情况。本申请实施例中的待检测图像包括基于参考操作数据操控测试应用程序时该测试应用程序上显示的待检测界面；示例性的，该待检测图像可以是基于参考操作数据操控测试应用程序时，对该测试应用程序的显示界面进行录屏得到的待检测视频；示例性的，该待检测图像也可以是在基于参考操作数据操控测试应用程序时，对该测试应用程序的显示界面进行截屏得到的一张或多张待检测界面截图；本申请在此不对该待检测图像的形式做任何限定，该待检测图像的形式与参考图像的形式可以相同，也可以不同。

在一种可能的实现方式中，服务器获取到参考图像和该参考图像对应的参考操作数据后，可以将该参考操作数据添加到测试指令中发送给用于承载测试应用程序的终端设备；该终端设备接收到该测试指令后，可以从中提取参考操作数据，然后基于该参考操作数据操控测试应用程序，并在操控该测试应用程序的过程中，对该测试应用程序上显示的待检测界面进行录屏得到待检测视频作为待检测图像，或者也可以对该测试应用程序上显示的待检测界面进行截屏，将所得到的界面截屏作为待检测图像；进而，将该待检测图像发送给服务器。

在参考图像是基于参考操作数据序列操控参考应用程序时，对该参考应用程序上显示的参考界面进行录屏得到的参考视频，且记录有参考操作数据序列中的参考操作数据与参考视频中的参考视频帧之间的对应关系的情况下，本申请实施例可以通过以下方式生成待检测图像：根据参考操作数据与参考视频帧之间的对应关系，基于参考操作数据序列操控该测试应用程序；并在基于参考操作数据序列操控该测试应用程序时，对测试应用程序上的待检测界面进行录屏得到待检测视频，作为待检测图像。

具体的，服务器获取到参考视频、该参考视频对应的参考操作数据序列、以及该参考操作数据序列中的参考操作数据与参考视频中的参考视频帧之间的对应关系后，可以将参考操作数据序列、以及该参考操作数据序列中的参考操作数据与参考视频中的参考视频帧之间的对应关系，发送给承载有测试应用程序的终端设备，此处参考操作数据与参考视频帧之间的对应关系具体可以表现为参考操作数据与参考视频帧的帧编号之间的对应关系，例如，若在录制第5帧参考视频帧时通过参考应用程序触发了操作A，则操作A对应的参考操作数据与参考视频帧之间的对应关系，可以表示为操作A对应的参考操作数据对应于帧编号5。

终端设备接收到参考操作数据序列、以及该参考操作数据序列中的参考操作数据与参考视频帧之间的对应关系后，可以调用测试应用程序的操作接口，按照参考视频帧在参考视频中的时间顺序，依次读取参考操作数据序列中与参考视频帧对应的参考操作数据，以使测试应用程序可以在特定的录制时机执行参考操作数据对应的操作。

例如，假设参考操作数据序列包括操作A、操作B和操作C各自对应的参考操作数据，且操作A、操作B和操作C各自对应的参考操作数据分别对应于第5个参考视频帧、第8个参考视频帧和第12个参考视频帧；用于承载测试应用程序的终端设备基于上述参考操作数据序列操控测试应用程序，并对该测试应用程序的显示界面进行录屏时，可以在录制到第5个待检测视频帧时，调用测试应用程序的接口读取操作A对应的参考操作数据，达到在测试应用程序上触发操作A的效果，可以在录制到第8个待检测视频帧时，调用测试应用程序的接口读取操作B对应的参考操作数据，达到在测试应用程序上触发操作B的效果，以及可以在录制到第12个待检测视频帧时，调用测试应用程序的接口读取操作C对应的参考操作数据，达到在测试应用程序上触发操作C的效果。如此，使得录制得到的待检测视频中包括的待检测视频帧与参考视频中包括的参考视频帧之间具有对应关系，即使得待检测图像中的待检测界面与参考图像中的参考界面之间具有对应关系。

应理解，在实际应用中，用于承载测试应用程序的终端设备基于参考操作数据序列操控测试应用程序，并且对该测试应用程序的显示界面进行录屏时，也可以不保证参考操作数据对应的待检测视频帧的帧编号与该参考操作数据对应的参考视频帧的帧编号完全相同，例如，也可以使得对应于同一参考操作数据的待检测视频帧的帧编号与参考视频帧的帧编号之间相差特定的帧数，本申请在此不对根据参考操作数据与参考视频帧之间的对应关系操控测试应用程序的具体方式做任何限定。

正如上文所提及的，当参考应用程序和测试应用程序为第一人称的游戏应用程序时，为了保证参考视频中包括的参考界面与待检测视频中包括的待检测界面之间能够较好地对应上，服务器除了需要获取参考视频、参考操作数据序列、以及参考操作数据序列中的参考操作数据与参考视频帧间的对应关系外，还需要获取参考视频包括的各个参考视频帧各自对应的位置信息和视角信息，参考视频帧对应的位置信息和视角信息分别是该参考视频帧中的通过参考应用程序操控的目标虚拟角色的位置信息和视角信息。在该种情况下，基于参考操作数据序列操控测试应用程序时，可以根据参考操作数据与参考视频帧之间的对应关系、以及各参考视频帧各自对应的位置信息和视角信息，基于参考操作数据序列操控测试应用程序。

具体的，用于承载测试应用程序的终端设备操控测试应用程序，并且对该测试应用程序的显示界面进行录屏时，可以根据参考视频中的参考视频帧对应的位置信息和视角信息以及该参考视频帧对应的参考操作数据，相应地使通过测试应用程序操控的目标虚拟角色处于该位置信息指示的位置，使该目标虚拟角色的视角为该视角信息指示的视角，以及使该目标虚拟角色执行的动作为该参考操作数据对应的操控动作，这样该测试应用程序此时显示的待检测界面可以与该参考视频帧较好地对应上，从而有利于后续通过对二者进行比对处理来检测待检测界面中是否存在异常显示区域。

为了使得待检测视频中的待检测视频帧与参考视频中的参考视频帧能够更准确地对应上，也即使得待检测图像中的待检测界面与参考图像中的参考界面能够更准确地对应上，尽量保持二者之间的一致性，本申请实施例基于参考操作数据序列对测试应用程序进行操控时，可以调用该测试应用程序底层的函数及操作接口。具体的，用于承载测试应用程序的终端设备操控测试应用程序时，可以调用该测试应用程序的位置设置函数以及视角设置函数，按照参考视频中各参考视频帧的时序，分别依次读取各参考视频帧各自对应的位置信息和视角信息，并且调用该测试应用程序的游戏操作接口，按照参考视频中各参考视频帧的时序，依次读取各参考视频帧各自对应的参考操作数据。

例如，假设参考视频中包括10个参考视频帧，用于承载测试应用程序的终端设备获取到10个参考视频帧各自对应的位置信息和视角信息、参考操作数据序列、以及参考操作数据序列中的参考操作数据与参考视频帧间的对应关系后，可以启用测试应用程序，基于上述获取的信息操控该测试应用程序，并在操控该测试应用程序的过程中，对该测试应用程序上显示的待检测界面进行录屏。具体的，录制待检测视频中的第一个待检测视频帧时，可以调用测试应用程序的位置设置函数和视角设置函数，分别读取第一个参考视频帧对应的位置信息和视角信息，若第一个参考视频帧存在对应的参考操作数据，则还需要调用测试应用程序的游戏操作接口，读取第一个参考视频帧对应的参考操作数据，如此，使得所录制的第一个待检测视频帧与第一个参考视频帧具有一致性；相类似的，录制待检测视频中后续的第二个待检测视频帧至第十个待检测视频帧时，均可通过类似的方式设置该待检测视频帧中的目标虚拟角色的位置和视角以及所执行的操作。

可选的，为了避免游戏应用程序中存在的随机干扰因素（如敌人等），对测试应用程序上显示的待检测界面产生过大的影响，本申请实施例在基于参考操作数据操控测试应用程序时，也可以额外设置辅助虚拟角色辅助处理该测试应用程序中的干扰因素。

与基于参考操作数据序列操控参考应用程序，同时录制参考视频的实现过程相类似，通过测试应用程序操控目标虚拟角色参加目标游戏对局时，可以同时通过运行在其它设备上的测试应用程序操控辅助虚拟角色也参加该目标游戏对局，在该目标游戏对局的过程中，可以操控辅助虚拟角色对可能导致目标虚拟角色视野范围内的画面产生变化的干扰因素进行处理，例如，可以操控辅助虚拟角色处理可能干扰目标虚拟角色的敌人。如此从目标虚拟角色的视角对该目标游戏对局进行录屏得到的待检测视频中，可以尽量地避免干扰因素的存在，从而使得录制得到的待检测视频中的待检测界面与参考视频中的参考界面更具一致性。

步骤203：确定所述待检测图像中的待检测界面与所述参考图像中的参考界面之间的对应关系。

服务器获取到参考图像和待检测图像后，可以进一步确定待检测图像中包括的待检测界面与参考图像中包括的参考界面之间的对应关系。

以参考应用程序和测试应用程序均为第一人称的游戏应用程序为例，本申请实施例基于参考操作数据操控测试应用程序，并对测试应用程序上显示的待检测界面进行录屏时，通过使测试应用程序显示的待检测界面中的目标虚拟角色的位置和视角与某参考界面中目标虚拟角色的位置和视角分别相同，以及使该待检测界面中的目标虚拟角色的动作与该参考界面中目标虚拟角色执行的动作相同，来使得待检测界面与参考界面具有对应性。基于此，服务器获取到参考图像和待检测图像后，即可以从该参考图像和该待检测图像中找到具有此种对应性的参考界面和待检测界面，图3所示即为示例性的具有对应关系的待检测界面和参考界面，其中（a）表示的是参考界面，（b）表示的是待检测界面。

例如，假设录制待检测视频时，使该待检测视频中的第一个待检测视频帧对应的位置信息和视角信息分别与第一个参考视频帧中的位置信息和视角信息相同，并且使该第一个待检测视频帧对应的参考操作数据与第一个参考视频帧的参考操作数据相同，则服务器可以确定该第一个待检测视频帧中的待检测界面与第一个参考视频帧中的参考界面之间具有对应关系。很多情况下，对于具有对应关系的待检测视频帧和参考视频帧，可以在录制该待检测视频帧时相应地记录其对应的参考视频帧，以上述情况为例，由于第一个待检测视频帧与第一个参考视频帧对应的位置信息、视角信息和参考操作数据均相同，因此，可以记录该第一个待检测视频帧对应于第一个参考视频帧。相应地，服务器基于录制待检测视频时记录的待检测视频帧与参考视频帧之间的对应关系，相应地确定待检测界面与参考界面之间的对应关系。

应理解，在实际应用中，服务器也可以采用其它方式确定待检测图像中的待检测界面与参考图像中的参考界面之间的对应关系，例如，服务器可以通过检测待检测图像中的待检测界面与参考图像中的参考界面之间的相似度，来确定具有对应关系的待检测界面和参考界面，本申请在此不对服务器确定待检测界面与参考界面之间的对应关系的实现方式做任何限定。

步骤204：针对具有对应关系的待检测界面和参考界面，按照预设的图像划分方式，对所述待检测界面和所述参考界面分别进行图像划分处理，得到所述待检测界面中多个区域位置各自对应的待检测区域图像、以及所述参考界面中所述多个区域位置各自对应的参考区域图像。

服务器确定出待检测图像中的待检测界面与参考图像中的参考界面之间的对应关系后，可以针对具有对应关系的待检测界面和参考界面，按照预设的图像划分方式对二者分别进行图像划分处理，从而得到待检测界面中多个区域位置各自对应的待检测区域图像、以及参考界面中多个区域位置各自对应的参考区域图像。应理解，此处区域位置对应的待检测区域图像即是指待检测界面中所属于该区域位置的图像块，区域位置对应的参考区域图像即是指参考界面中所属于该区域位置的图像块。

示例性的，服务器针对具有对应关系的待检测界面和参考界面，可以将二者均划分为10*10的网格，即得到待检测界面中100个区域位置各自对应的待检测区域图像、以及参考界面中这100个区域位置各自对应的参考区域图像。

应理解，上述图像划分方式可以根据实际需求设定，示例性的，该图像划分方式可以用于将待检测界面和参考界面均等分为若干个区域，也可以用于根据待检测界面和参考界面的界面布局，将二者均不等分为若干个区域，本申请在此不对该图像划分方式做任何限定。

步骤205：针对具有对应关系的待检测界面和参考界面，通过图像检测模型，根据所述待检测界面中目标区域位置对应的待检测区域图像、以及所述参考界面中所述目标区域位置对应的参考区域图像，确定所述目标区域位置对应的待检测区域图像是否正常。

服务器针对具有对应关系的待检测界面以及参考界面完成上述图像划分处理后，可以将待检测界面和参考界面中对应于同一目标区域位置的待检测区域图像和参考区域图像，均输入预先训练好的图像检测模型，该图像检测模型对所输入的待检测区域图像和参考区域图像进行分析处理后，将相应地输出检测结果，该检测结果用于表征该目标区域位置对应的待检测区域图像是否正常，即用于表征该待检测区域图像是否存在显示异常的问题。

考虑到经图像划分处理后会得到大量的待检测区域图像和参考区域图像，若利用图像检测模型，对每对对应于同一区域位置的待检测区域图像和参考区域图像均进行检测处理，对于服务器来说将耗费大量的处理资源，且图像检测效率也比较低。为了降低服务器所耗费的处理资源，并且提高图像检测效率，本申请实施例可以在利用图像检测模型进行图像检测前，对所需检测的区域图像进行初步筛选。

具体的，服务器可以针对具有对应关系的待检测界面和参考界面包括的多个区域位置中的每个区域位置，根据该区域位置对应的待检测区域图像和该区域位置对应的参考区域图像之间的像素差异，判断该区域位置是否为候选异常区域位置，若是，则将该区域位置确定为需要通过图像检测模型检测的目标区域位置。

示例性的，服务器可以通过式（1），计算某区域位置对应的待检测区域图像和该区域位置对应的参考区域图像之间的像素差异：

（1）

其中，score表示区域位置对应的平均像素差异，r _n表示该区域位置对应的参考区域图像中第n个像素的红色通道值，r’ _n表示该区域位置对应的待检测区域图像中第n个像素的红色通道值，g _n表示该区域位置对应的参考区域图像中第n个像素的绿色通道值，g’ _n表示该区域位置对应的待检测区域图像中第n个像素的绿色通道值，b _n表示该区域位置对应的参考区域图像中第n个像素的蓝色通道值，b’ _n表示该区域位置对应的待检测区域图像中第n个像素的蓝色通道值，N表示该区域位置对应的参考区域图像和待检测区域图像中包括的像素个数。

若通过式（1）计算出的某区域位置对应的待检测区域图像与该区域位置对应的参考区域图像之间的平均像素差异超过预设差异阈值，则可以确定该区域位置为候选异常区域位置，如图4所示，可以将候选异常区域位置添加到候选区域位置集合中。服务器此后通过图像检测模型进行图像检测时，可以从该候选区域位置集合中调取候选异常区域位置，进而，通过图像检测模型根据对应于该候选异常区域位置的待检测区域图像和参考区域图像，检测该候选异常区域位置对应的待检测区域图像是否正常。

为了减轻服务器的运行压力，减少图像检测过程中所需耗费的服务器的处理资源，本申请实施例可以设计轻量化的深度神经网络模型作为上述图像检测模型，由于轻量化的深度神经网络模型具有参数量小、适用于中央处理器（Central Processing Unit，CPU）等特点，因此，在服务器上运行该种图像检测模型，可以大幅减轻服务器的运行处理压力。

在一种可能的实现方式中，服务器通过该图像检测模型对待检测区域图像和参考区域图像进行处理时，可以先计算待检测区域图像与参考区域图像之间的红通道差值、绿通道差值和蓝通道差值，进而，通过该图像检测模型，根据该待检测区域图像对应的红通道值、绿通道值和蓝通道值、该参考区域图像对应的红通道值、绿通道值和蓝通道值、以及该待检测区域图像与该参考区域图像之间的红通道差值、绿通道差值和蓝通道差值，确定待检测区域图像是否正常。

具体的，服务器可以针对待检测区域图像和参考区域图像中处于同一位置的像素，计算二者之间的红通道差值、绿通道差值和蓝通道差值各自的绝对值，得到该位置对应的红通道差值、绿通道差值和蓝通道差值。进而，服务器可以将待检测区域图像各位置各自对应的红通道值、绿通道值和蓝通道值、参考区域图像各位置各自对应的红通道值、绿通道值和蓝通道值、以及各位置各自对应的红通道差值、绿通道差值和蓝通道差值，输入预先训练好的图像检测模型，该图像检测模型将基于这些输入数据，相应地检测待检测区域图像是否正常。

如此可以在保留两个区域图像原有的信息的同时，综合考虑两个区域图像之间的差异，有利于该图像检测模型根据区域图像自身的信息和区域图像之间的差异，来判断待检测区域图像是否存在异常。

示例性的，上述图像检测模型可以由级联的多个卷积层和全连接层组成。该图像检测模型检测待检测区域图像是否正常时，可以先通过其中级联的多个卷积层，对待检测区域图像对应的红通道值、绿通道值和蓝通道值、参考区域图像对应的红通道值、绿通道值和蓝通道值、以及待检测区域图像与参考区域图像之间的红通道差值、绿通道差值和蓝通道差值进行处理，得到区域图像差异特征；然后，再通过其中的全连接层，根据该区域图像差异特征，确定该待检测区域图像属于正常区域图像的概率、以及该待检测区域图像属于异常区域图像的概率；若该待检测区域图像属于异常区域图像的概率超过预设的概率阈值（如0.5），则可以确定该待检测区域图像存在异常。

图5所示为一种示例性的图像检测模型的工作原理示意图。该图像检测模型中包括4个卷积层和2个全连接层，以待检测区域图像和参考区域图像均包括32*32个像素为例，利用该图像检测模型处理待检测区域图像和参考区域图像时，该图像检测模型的输入为32*32*9维的向量，其中32*32表示待检测区域图像和参考区域图像的大小，9表示每个像素对应的输入通道数，即针对每个像素位置，需要输入待检测区域图像中该像素位置处的RGB通道值、参考区域图像中该像素位置处的RGB通道值、以及该像素位置对应的RGB通道差值；图像检测模型中的4个级联的卷积层依次对输入的数据进行分析处理，将相应地输出256维的区域图像差异特征；图像检测模型中的2个全连接层对这256维的区域图像差异特征依次进行处理，最终将得到2维的检测结果，其中一维参数用于表示该待检测区域图像正常的概率，另一维参数用于表示该待检测区域图像异常的概率。

应理解，图5所示的图像检测模型的工作原理仅为示例，在实际应用中，还可以根据实际需求部署其它结构的图像检测模型，本申请在此不对所使用的图像检测模型的结构做任何限定。

本申请实施例提供的方法将待检测界面以及与其具有对应关系的参考界面均划分成了多个区域，并以区域为单位，通过图像检测模型，从待检测界面中某区域对应的待检测区域图像和参考界面中该区域对应的参考区域图像提取区域特征，由于区域特征相比整个显示界面的图像特征更具辨别力，能够更精细地反映对应区域的图像特征，因此，基于所提取的区域特征能够更准确地检测出该区域对应的待检测区域图像是否存在异常，提高了异常显示区域的检测精度和准确度，对于界面布局复杂、异常显示区域较小、异常显示区域不明显等情况也可以有效地检测出来。

针对图2所示实施例中使用的图像检测模型，本申请实施例还提供了一种该图像检测模型的训练方法，下面通过方法实施例对该图像检测模型的训练方法进行详细介绍。

参见图6，图6为本申请实施例提供的图像检测模型的训练方法的流程示意图。为了便于描述，下述实施例以该图像检测模型的训练方法的执行主体为服务器为例进行介绍；应理解，在实际应用中，该图像检测模型的训练方法也可以由终端设备执行。如图6所示，该图像检测模型的训练方法包括以下步骤：

步骤601：获取对应于相同的训练操作数据的训练参考图像和训练检测图像；所述训练参考图像包括训练参考应用程序上的训练参考界面，所述训练参考界面是基于所述训练操作数据操控训练参考应用程序时显示的界面，所述训练检测图像包括训练测试应用程序上的训练检测界面，所述训练检测界面是基于所述训练操作数据操控所述训练测试应用程序时显示的界面，所述训练参考图像中的训练参考界面与所述训练检测图像中的训练检测界面间具有对应关系。

服务器对初始图像检测模型进行训练前，需要先获取对应于相同的训练操作数据的训练参考图像和训练检测图像，其中，训练参考图像包括基于该训练操作数据操控训练参考应用程序时该训练参考应用程序显示的训练参考界面，训练检测图像包括基于该训练操作数据操控训练测试应用程序时该训练测试应用程序显示的训练检测界面，此处训练参考图像中的训练参考界面与训练检测图像中的训练检测界面之间具有对应关系。

应理解，训练参考应用程序即是构建训练样本时使用的参考应用程序，训练测试应用程序即是构建训练样本时使用的测试应用程序。训练参考应用程序与训练测试应用程序之间的关系，与图2所示实施例中参考应用程序与测试应用程序之间的关系相类似；即训练参考应用程序与训练测试应用程序之间具有对应关系，训练参考应用程序和训练测试应用程序可以是同一应用程序的不同版本，如训练参考应用程序是旧版本的应用程序，训练测试应用程序是新版本的应用程序；训练参考应用程序和训练测试应用程序也可以是同一应用程序的同一版本，只不过需要保证训练参考应用程序的显示界面不存在异常显示区域。

训练参考界面是训练参考应用程序上的显示界面，其中不存在异常显示区域；训练检测界面是训练测试应用程序上的显示界面，其中是否存在异常显示区域本申请不做限定。训练参考图像是基于训练操作数据操控训练参考应用程序时，根据该训练参考应用程序的显示界面生成的，该训练参考图像可以是对训练参考应用程序的显示界面进行录屏得到的训练参考视频，也可以是对训练参考应用程序的显示界面进行截屏得到的一张或多张训练参考界面截图。相类似的，训练检测图像是基于训练操作数据操控训练测试应用程序时，根据该训练测试应用程序的显示界面生成的，该训练检测图像可以是对训练测试应用程序的显示界面进行录屏得到的训练检测视频，也可以是对训练测试应用程序的显示界面进行截屏得到的一张或多张训练检测界面截图。训练操作数据用于指示训练参考应用程序和训练测试应用程序均可以支持的用户操作。

本申请实施例中获取对应于相同的训练操作数据的训练参考图像和训练检测图像的实现方式，与图2所示实施例中通过步骤201和步骤202获取参考图像和待检测图像的实现方式相类似；并且本申请实施例中确定训练参考图像中的训练参考界面与训练检测图像中的训练检测界面之间的对应关系的实现方式，与图2所示实施例中通过步骤203确定待检测界面与参考界面之间的对应关系的实现方式相类似。详细可参见图2所示实施例中的相关描述，此处不再赘述。

步骤602：针对具有对应关系的训练检测界面和训练参考界面，按照预设的图像划分方式，对所述训练检测界面和所述训练参考界面分别进行图像划分处理，得到所述训练检测界面中多个区域位置各自对应的训练检测区域图像、以及所述训练参考界面中所述多个区域位置各自对应的训练参考区域图像。

服务器获取到训练参考图像和训练检测图像，并确定出训练参考图像中的训练参考界面与训练检测图像中的训练检测界面之间的对应关系后，可以针对具有对应关系的训练参考界面和训练检测界面，按照预设的图像划分方式，对该训练参考界面和训练检测界面分别进行图像划分处理，从而得到该训练参考界面多个区域位置各自对应的训练参考区域图像、以及该训练检测界面中多个区域位置各自对应的训练检测区域位置。

此处对训练参考界面和训练检测界面进行图像划分处理的实现方式，与图2所示实施例中对参考界面和待检测界面进行图像划分处理的实现方式相类似，详细可参见图2所示实施例中的相关描述，此处不再赘述。

步骤603：针对具有对应关系的训练检测界面和训练参考界面，利用所述训练检测界面和所述训练参考界面中对应于同一区域位置的训练检测区域图像和训练参考区域图像，组成训练样本；并获取所述训练样本对应的标签，所述标签用于表征所述训练样本中的训练检测区域图像是否正常。

针对具有对应关系的训练检测界面和训练参考界面完成图像划分处理后，可以利用该训练检测界面和该训练参考界面中对应于同一区域位置的训练检测区域图像和训练参考区域图像，组成训练样本，并且获取该训练样本对应的标签，该标签可以表征该训练样本中的训练检测区域图像是否正常。

示例性的，完成对于具有对应关系的训练检测界面和训练参考界面的图像划分处理后，可以针对图像划分处理后得到的每个区域位置，将训练检测界面中该区域位置处的训练检测区域图像和训练参考界面中该区域位置处的训练参考区域图像，组成一个训练样本，并且人工识别该训练样本中包括的训练检测区域图像是否正常，并为该训练样本标注对应的标签。

考虑到经过图像划分处理后会得到大量的训练检测区域图像和训练参考区域图像，若将各个区域位置对应的训练检测区域图像和训练参考区域图像均作为训练样本，所构建的训练样本的数量会很大，相应地人工标注的成本也会增加；并且构建的大部分训练样本中包括的训练检测区域可能均是正常的，这对于训练图像检测模型学习检测异常区域图像的能力所起的帮助作用较弱。为了降低人工标注成本，同时提高所构建的训练样本的质量，使得所构建的训练样本能较好地帮助所训练的图像检测模型学习异常区域识别能力，本申请实施例在构建训练样本之前，对所划分出的区域图像进行了初步筛选。

具体的，服务器针对具有对应关系的训练检测界面和训练参考界面包括的多个区域位置中的每个区域位置，根据该区域位置对应的训练检测区域图像与该区域位置对应的训练参考区域图像之间的像素差异，确定该区域位置是否为候选异常训练区域位置。进而，服务器构建训练样本时，可以利用训练检测界面和训练参考界面中对应于同一候选异常训练区域位置的训练检测区域图像和训练参考区域图像，组成训练样本。

示例性的，服务器可以通过式（2），计算某区域位置对应的训练检测区域图像和该区域位置对应的训练参考区域图像之间的像素差异：

（2）

其中，score表示区域位置对应的平均像素差异，r _n表示该区域位置对应的训练参考区域图像中第n个像素的红色通道值，r’ _n表示该区域位置对应的训练检测区域图像中第n个像素的红色通道值，g _n表示该区域位置对应的训练参考区域图像中第n个像素的绿色通道值，g’ _n表示该区域位置对应的训练检测区域图像中第n个像素的绿色通道值，b _n表示该区域位置对应的训练参考区域图像中第n个像素的蓝色通道值，b’ _n表示该区域位置对应的训练检测区域图像中第n个像素的蓝色通道值，N表示该区域位置对应的训练参考区域图像和训练检测区域图像中包括的像素个数。

若通过式（1）计算出某区域位置对应的训练检测区域图像与该区域位置对应的训练参考区域图像之间的平均像素差异超过预设差异阈值，则可以确定该区域位置为候选异常训练区域位置，可以将候选异常训练区域位置添加到候选训练区域位置集合中。服务器此后构建训练样本时，可以从该候选训练区域位置集合中调取候选异常训练区域位置，然后，利用该候选异常训练区域位置对应的训练检测区域图像和训练参考区域图像组成训练样本，进而人工检测该训练样本中训练检测区域图像是否正常，并根据该检测结果标注该训练样本对应的标签。

步骤604：基于所述训练样本以及所述训练样本对应的标签，对初始图像检测模型进行训练，直至所述初始图像检测模型满足训练结束条件，得到所述图像检测模型。

服务器通过步骤603，利用经图像划分处理得到的训练检测区域图像以及训练参考区域图像组成多个训练样本，并获取到多个训练样本各自对应的标签后，可以利用这些训练样本及其对应的标签，对所要训练的初始图像检测模型进行迭代训练，直至该初始图像检测模型满足训练结束条件为止，此时满足训练结束条件的初始图像检测模型即是可以应用至图2所示实施例中的图像检测模型。

示例性的，服务器针对每个训练样本，可以先计算该训练样本中包括的训练检测区域图像与训练参考区域图像之间的红通道差值、绿通道差值以及蓝通道差值；然后，将该训练样本中包括的训练检测区域图像对应的红通道值、绿通道值和蓝通道值、训练参考图像对应的红通道值、绿通道值和蓝通道值、以及训练检测区域图像与训练参考区域图像之间的红通道差值、绿通道差值以及蓝通道差值，输入该初始图像检测模型中，该初始图像检测模型通过对输入的数据进行分析处理后，将相应地输出该训练样本中的训练检测区域图像正常的概率、以及该训练检测区域图像异常的概率。进而，服务器可以基于该初始图像检测模型的输出结果和该训练样本对应的标签构建损失函数，并以最小化该损失函数为目的，通过梯度下降算法迭代调整初始图像检测模型的模型参数。

作为一种示例，可以构建类别交叉熵损失函数，训练初始图像检测模型，该损失函数具体表现如式（3）所示：

（3）

其中，n对应于训练样本的编号，N是训练样本的总数目。c是类别编号，在本申请实施例中模型所需识别的类别有两种，分别是正常和异常，这两种类别分别对应不同的类别编号。y_n,c表示第n个训练样本对应的标签，即表示第n个训练样本中的训练检测区域图像是否属于第c个类别，若是，y_n,c为1，若否，y_n,c为0。D_c(x_n)用于表示初始图像检测模型输出的第n个训练样本中的训练检测区域图像属于第c个类别的概率。

示例性的，本申请实施例中的训练结束条件可以是迭代训练次数达到预设的迭代训练次数阈值，即对于初始图像检测模型的迭代训练次数达到该迭代训练次数阈值时，可以认为该初始图像检测模型已满足训练结束条件。本申请实施例中的训练结束条件也可以是所训练的初始图像检测模型的模型性能达到预设标准，即可以利用测试样本对初始图像检测模型的模型性能进行测试，以确定该图像检测模型的检测准确度，若该检测准确度达到预设的准确度阈值，则可以确定该初始图像检测模型已满足训练结束条件。当然，在实际应用中，该训练结束条件还可以为其它条件，本申请在此不对该训练结束条件做任何限定。

通过上述方式训练得到的图像检测模型，可以针对小面积的区域图像，准确地检测其与标准的区域图像之间的差异，进而判断该区域图像是否正常。通过该图像检测模型，可以准确地检测出应用程序的显示界面中存在的小面积异常区域或者不明显的异常区域。

为了便于进一步理解本申请实施例提供的技术方案，下面以本申请实施例提供的图像检测方法应用于检测第一人称射击游戏的游戏画面中是否存在显示异常的场景为例，对本申请实施例提供的图像检测方法进行整体示例性介绍。

针对新版本的射击游戏应用程序检测其游戏画面是否存在异常时，可以先在旧版本的该射击游戏应用程序上进行游戏对局，并在进行游戏对局时，对该射击游戏应用程序上显示的游戏画面进行录屏得到参考视频。在录制该游戏对局的过程中，可以通过游戏接口获取每帧中目标虚拟角色的位置信息（即目标虚拟角色在地图中的x坐标、y坐标和z坐标）以及该目标虚拟角色的视角信息（即目标虚拟角色的朝向，通常也是用3维向量表示），同时，在玩家控制该目标虚拟角色执行跳跃、射击等动作时，相应地记录对应的操作数据与所录制的视频帧之间的对应关系。由于需要确保后续基于新版本的该射击游戏应用程序录制的视频与本次录制的视频的一致性，本申请还需要尽量去除游戏场景中的随机干扰因素，具体的，可以在录制过程中设置另一个辅助虚拟角色进入该游戏场景，去除可能对目标虚拟角色的视野范围内的画面产生影响的敌人，如此避免游戏中敌方所带来的干扰。

基于旧版本的射击游戏应用程序完成上述录制后，可以基于录制过程中记录的目标虚拟角色的位置信息和视角信息、以及操控目标虚拟角色时使用的操作数据，在需要测试的新版本的射击游戏应用程序上再次录制游戏对局。在本次录制过程中，需要尽量保证录制的游戏画面与此前录制的游戏画面相一致，为了实现该目的，在录制游戏对局的过程中，本申请可以调用该射击游戏应用程序中的位置设置函数和视角设置函数，按照时序依次读取此前录制的视频中各视频帧中目标虚拟角色的位置信息和视角信息，从而直接设置游戏对局中目标虚拟角色的位置和视角，若此前录制的某视频帧中目标虚拟角色存在跳跃、射击等动作，在此次录制过程中，还可以调用游戏操作接口控制目标虚拟角色执行对应的动作。例如，在录制第十个视频帧时，可以读取此前录制的第十个视频帧中目标虚拟角色的位置信息、视角信息和对于该目标虚拟角色的操作数据，进而通过位置设置函数和视角设置函数直接设置该目标虚拟角色的位置和视角，通过游戏操作接口直接控制该目标虚拟角色执行操作数据对应的动作。如此保证本次录制与上次录制具有较高的一致性。

完成两次录制，得到回放视频（即第二次录制得到的视频）和录制视频（即第一次录制得到的视频）后，可以将回放视频中的回放游戏画面与录制视频中的录制游戏画面进行对比。具体的，本申请可以通过帧对齐的方式，针对回放视频中的回放游戏画面在录制视频中找到与其对应的录制游戏画面，例如，可以确定回放视频和录制视频中对应于同一时间戳的回放游戏画面和录制游戏画面之间具有对应关系，如确定回放视频中第10帧回放游戏画面与录制视频中第10帧录制游戏画面具有对应关系，可以将这二者进行对比。

具体对比时，可以将具有对应关系的回放游戏画面和录制游戏画面均划分为10*10的网格，即使得回放游戏画面和录制游戏画面均包括100个区域图像；然后，针对每个区域位置，计算回放游戏画面中该区域位置处的区域图像与录制游戏画面中该区域位置处的区域图像之间的平均像素差异，计算公式具体如下：

其中，score表示区域位置对应的平均像素差异，r _n表示录制游戏画面中该区域位置内第n个像素的红色通道值，r’ _n表示回放游戏画面中该区域位置内第n个像素的红色通道值，g _n表示录制游戏画面中该区域位置内第n个像素的绿色通道值，g’ _n表示回放游戏画面中该区域位置内第n个像素的绿色通道值，b _n表示录制游戏画面中该区域位置内第n个像素的蓝色通道值，b’ _n表示回放游戏画面中该区域位置内第n个像素的蓝色通道值，N表示该区域位置内包括的像素的数目。

如果区域位置对应的平均像素差异超过预设像素差异阈值，则可以将其作为候选异常区域，并将回放游戏画面和录制游戏画面中该候选异常区域处的区域图像均添加至候选异常区域图像集合中，即将对应于同一候选异常区域的区域图像对添加至候选异常区域图像集合中。通过上述筛选处理可以大幅度降低所需处理的区域图像的数量，有利于检测小范围的显示异常（如枪械攻击特效丢失等）。

在上述候选异常区域图像集合中，部分区域图像对中两个区域图像之间的差异可能是游戏场景中的随机效果引起的，部分区域图像对中两个区域图像之间的差异可能是因游戏画面存在异常而导致的，本申请在此需要针对候选异常区域图像集合中的区域图像对进行标注，即人工标注区域图像对中回放游戏画面中的区域图像是否正常。如此，构建出用于训练图像检测模型的训练数据集。

构建好训练数据集后，可以利用该训练数据集对所构建的轻量化的图像检测模型进行训练。该图像检测模型的输入包括区域图像对中属于录制游戏画面的区域图像的RGB通道值、属于回放游戏画面的区域图像的RGB通道值、以及这两个区域图像之间的RGB通道差值，假设区域图像的大小为32*32像素，每个像素对应的输入通道数均为9，如此可以在保留两个区域图像原有的信息的同时，综合考虑两个区域图像之间的差异，有利于该图像检测模型根据区域图像自身的信息和区域图像之间的差异，来判断回放游戏画面中的区域图像是否存在异常。示例性的，该图像检测模型可以包括4个卷积层和2个全连接层，该图像检测模型的工作原理如图5所示。

该图像检测模型可以采用类别交叉熵损失函数来训练，对应的计算公式如下：

其中，n对应训练样本的编号，N是训练样本的总数目。c是类别编号，在本申请实施例中模型所需识别的类别有两种，分别是正常和异常，这两种类别分别对应不同的类别编号。y_n,c表示第n个训练样本对应的标签，即表示第n个训练样本中属于回放游戏画面的区域图像是否属于第c个类别，若是，y_n,c为1，若否，y_n,c为0。D_c(x_n)用于表示图像检测模型输出的第n个训练样本中属于回放游戏画面的区域图像属于第c个类别的概率。

通过梯度下降算法迭代更新图像检测模型的参数，直至对于该图像检测模型的训练次数达到预设的训练次数，停止对于该图像检测模型的训练。

在应用阶段，本申请实施例可以先在旧版本的射击游戏应用程序上录制一场游戏对局，并记录所录制的每帧中目标虚拟角色的位置、视角和操作；随后，基于所记录的目标虚拟角色在每帧中的位置、视角和操作，在新版本的射击游戏应用程序上再录制一场游戏对局。然后，对这两次录制的视频中具有对应关系的游戏画面进行图像划分处理，并从两个游戏画面包括的区域图像中筛选出候选的异常区域图像对。进而，通过此前训练得到的图像检测模型，根据该异常区域图像对中的两个区域图像，检测该异常区域图像对中属于新版本的射击游戏应用程序的游戏画面中的区域图像是否存在异常。

针对上文描述的图像检测方法，本申请还提供了对应的图像检测装置，以使上述图像检测方法在实际中得以应用及实现。

参见图7，图7是与上文图2所示的图像检测方法对应的一种图像检测装置700的结构示意图。如图7所示，该图像检测装置700包括：

参考数据获取模块701，用于获取参考图像和所述参考图像对应的参考操作数据；所述参考图像包括参考应用程序上的参考界面，所述参考界面是基于所述参考操作数据操控所述参考应用程序时显示的界面，所述参考界面中不包括异常显示区域；

待检测数据获取模块702，用于基于所述参考操作数据操控与所述参考应用程序对应的测试应用程序，根据所述测试应用程序上的待检测界面生成待检测图像；

对应关系确定模块703，用于确定所述待检测图像中的待检测界面与所述参考图像中的参考界面之间的对应关系；

图像划分模块704，用于针对具有对应关系的待检测界面和参考界面，按照预设的图像划分方式，对所述待检测界面和所述参考界面分别进行图像划分处理，得到所述待检测界面中多个区域位置各自对应的待检测区域图像、以及所述参考界面中所述多个区域位置各自对应的参考区域图像；

图像检测模块705，用于针对具有对应关系的待检测界面和参考界面，通过图像检测模型，根据所述待检测界面中目标区域位置对应的待检测区域图像、以及所述参考界面中所述目标区域位置对应的参考区域图像，确定所述目标区域位置对应的待检测区域图像是否正常。

可选的，在图7所示的图像检测装置的基础上，参见图8，图8为本申请实施例提供的另一种图像检测装置800的结构示意图。如图8所示，该装置还包括：

区域筛选模块801，用于针对具有对应关系的待检测界面和参考界面包括的所述多个区域位置中的每个区域位置，根据所述区域位置对应的待检测区域图像与所述区域位置对应的参考区域图像之间的像素差异，判断所述区域位置是否为候选异常区域位置；若是，则将所述区域位置确定为所述目标区域位置。

可选的，在图7所示的图像检测装置的基础上，所述参考图像是基于参考操作数据序列操控所述参考应用程序时，对所述参考应用程序上的参考界面进行录屏得到的参考视频；所述参考操作数据序列包括按时间顺序排列的所述参考操作数据，所述参考操作数据序列中的参考操作数据与所述参考视频中的参考视频帧之间具有对应关系；

则所述待检测数据获取模块702具体用于：

根据所述参考操作数据与所述参考视频帧之间的对应关系，基于所述参考操作数据序列操控所述测试应用程序；

基于所述参考操作数据序列操控所述测试应用程序时，对所述测试应用程序上的待检测界面进行录屏得到待检测视频，作为所述待检测图像。

可选的，在图7所示的图像检测装置的基础上，当所述参考应用程序为第一人称的游戏应用程序时，所述参考数据获取模块701还用于：

获取所述参考视频包括的每个参考视频帧中目标虚拟角色的位置信息和视角信息，作为所述参考视频帧对应的位置信息和视角信息；

则所述待检测数据获取模块702具体用于：

根据所述参考操作数据与所述参考视频帧之间的对应关系、以及各参考视频帧各自对应的位置信息和视角信息，基于所述参考操作数据序列操控所述测试应用程序。

可选的，在图7所示的图像检测装置的基础上，所述待检测数据获取模块702具体用于：

操控所述测试应用程序时，调用所述测试应用程序的位置设置函数以及视角设置函数，按照所述参考视频中各参考视频帧的时序，分别依次读取各参考视频帧各自对应的位置信息和视角信息；以及，调用所述测试应用程序的游戏操作接口，按照所述参考视频中各参考视频帧的时序，依次读取各参考视频帧各自对应的参考操作数据。

可选的，在图7所示的图像检测装置的基础上，所述参考视频是在设置有辅助虚拟角色辅助处理所述参考应用程序中的干扰因素的情况下得到的；则所述待检测数据获取模块702还用于：

基于所述参考操作数据序列操控所述测试应用程序时，设置辅助虚拟角色辅助处理所述测试应用程序中的干扰因素。

可选的，在图7所示的图像检测装置的基础上，所述图像检测模块705具体用于：

计算所述待检测区域图像与所述参考区域图像之间的红通道差值、绿通道差值和蓝通道差值；

通过所述图像检测模型，根据所述待检测区域图像对应的红通道值、绿通道值和蓝通道值、所述参考区域图像对应的红通道值、绿通道值和蓝通道值、以及所述待检测区域图像与所述参考区域图像之间的红通道差值、绿通道差值和蓝通道差值，确定所述待检测区域图像是否正常。

通过所述图像检测模型中级联的多个卷积层，对所述待检测区域图像对应的红通道值、绿通道值和蓝通道值、所述参考区域图像对应的红通道值、绿通道值和蓝通道值、以及所述待检测区域图像与所述参考区域图像之间的红通道差值、绿通道差值和蓝通道差值进行处理，得到区域图像差异特征；

通过所述图像检测模型中的全连接层，根据所述区域图像差异特征，确定所述待检测区域图像属于正常区域图像的概率、以及所述待检测区域图像属于异常区域图像的概率。

可选的，在图7所示的图像检测装置的基础上，参见图9，图9为本申请实施例提供的另一种图像检测装置900的结构示意图。如图9所示，该装置还包括：模型训练模块901；所述模型训练模块901包括：

训练图像获取单元，用于获取对应于相同的训练操作数据的训练参考图像和训练检测图像；所述训练参考图像包括训练参考应用程序上的训练参考界面，所述训练参考界面是基于所述训练操作数据操控所述训练参考应用程序时显示的界面，所述训练检测图像包括训练测试应用程序上的训练检测界面，所述训练检测界面是基于所述训练操作数据操控所述训练测试应用程序时显示的界面，所述训练参考图像中的训练参考界面与所述训练检测图像中的训练检测界面间具有对应关系；

训练图像划分单元，用于针对具有对应关系的训练检测界面和训练参考界面，按照预设的图像划分方式，对所述训练检测界面和所述训练参考界面分别进行图像划分处理，得到所述训练检测界面中多个区域位置各自对应的训练检测区域图像、以及所述训练参考界面中所述多个区域位置各自对应的训练参考区域图像；

训练样本构建单元，用于针对具有对应关系的训练检测界面和训练参考界面，利用所述训练检测界面和所述训练参考界面中对应于同一区域位置的训练检测区域图像和训练参考区域图像，组成训练样本；并获取所述训练样本对应的标签，所述标签用于表征所述训练样本中的训练检测区域图像是否正常；

模型训练单元，用于基于所述训练样本以及所述训练样本对应的标签，对初始图像检测模型进行训练，直至所述初始图像检测模型满足训练结束条件，得到所述图像检测模型。

可选的，在图9所示的图像检测装置的基础上，所述模型训练模块901还包括：

训练区域位置确定单元，用于针对具有对应关系的训练检测界面和训练参考界面包括的所述多个区域位置中的每个区域位置，根据所述区域位置对应的训练检测区域图像与所述区域位置对应的训练参考区域图像之间的像素差异，确定所述区域位置是否为候选异常训练区域位置；

则所述训练样本构建单元具体用于：

针对具有对应关系的训练检测界面和训练参考界面，利用所述训练检测界面和所述训练参考界面中对应于同一所述候选异常训练区域位置的训练检测区域图像和训练参考区域图像，组成训练样本。

本申请实施例提供的装置将待检测界面以及与其具有对应关系的参考界面均划分成了多个区域，并以区域为单位，通过图像检测模型，从待检测界面中某区域对应的待检测区域图像和参考界面中该区域对应的参考区域图像提取区域特征，由于区域特征相比整个显示界面的图像特征更具辨别力，能够更精细地反映对应区域的图像特征，因此，基于所提取的区域特征能够更准确地检测出该区域对应的待检测区域图像是否存在异常，提高了异常显示区域的检测精度和准确度，对于界面布局复杂、异常显示区域较小、异常显示区域不明显等情况也可以有效地检测出来。

本申请实施例还提供了一种用于检测图像的设备，该设备具体可以是终端设备或者服务器，下面将从硬件实体化的角度对本申请实施例提供的终端设备和服务器进行介绍。

参见图10，图10是本申请实施例提供的终端设备的结构示意图。如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理（英文全称：PersonalDigital Assistant，英文缩写：PDA）、销售终端（英文全称：Point of Sales，英文缩写：POS）、车载电脑等任意终端设备，以终端为计算机为例：

图10示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图10，计算机包括：射频（英文全称：Radio Frequency，英文缩写：RF）电路1010、存储器1020、输入单元1030（其中包括触控面板1031和其他输入设备1032）、显示单元1040（其中包括显示面板1041）、传感器1050、音频电路1060（其可以连接扬声器1061和传声器1062）、无线保真（英文全称：wireless fidelity，英文缩写：WiFi）模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图10中示出的计算机结构并不构成对计算机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1080是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。

在本申请实施例中，该终端所包括的处理器1080还具有以下功能：

可选的，所述处理器1080还用于执行本申请实施例提供的图像检测方法的任意一种实现方式的步骤。

参见图11，图11为本申请实施例提供的一种服务器1100的结构示意图。该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（central processing units，CPU）1122（例如，一个或一个以上处理器）和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130（例如一个或一个以上海量存储设备）。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。

服务器1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图11所示的服务器结构。

其中，CPU 1122用于执行如下步骤：

获取参考图像和所述参考图像对应的参考操作数据；所述参考图像包括参考应用程序上的参考界面，所述参考界面是基于所述参考操作数据操控参考应用程序时显示的界面，所述参考界面中不包括异常显示区域；

可选的，CPU 1122还可以用于执行本申请实施例提供的图像检测方法的任意一种实现方式的步骤。

本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的一种图像检测方法中的任意一种实施方式。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述各个实施例所述的一种图像检测方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储计算机程序的介质。

应当理解，在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。。

Claims

1.一种图像检测方法，其特征在于，所述方法包括：

针对具有对应关系的待检测界面和参考界面，通过图像检测模型，根据所述待检测界面中目标区域位置对应的待检测区域图像、以及所述参考界面中所述目标区域位置对应的参考区域图像，确定所述目标区域位置对应的待检测区域图像是否正常；所述图像检测模型为轻量化的深度神经网络模型；

所述参考图像是基于参考操作数据序列操控所述参考应用程序时，对所述参考应用程序上的参考界面进行录屏得到的参考视频；所述参考操作数据序列包括按时间顺序排列的所述参考操作数据，所述参考操作数据序列中的参考操作数据与所述参考视频中的参考视频帧之间具有对应关系；

所述基于所述参考操作数据操控与所述参考应用程序对应的测试应用程序，根据所述测试应用程序上的待检测界面生成待检测图像，包括：

基于所述参考操作数据序列操控所述测试应用程序时，对所述测试应用程序上的待检测界面进行录屏得到待检测视频，作为所述待检测图像；

当所述参考应用程序为第一人称的游戏应用程序时，所述方法还包括：

所述根据所述参考操作数据与所述参考视频帧之间的对应关系，基于所述参考操作数据序列操控所述测试应用程序，包括：

根据所述参考操作数据与所述参考视频帧之间的对应关系、以及各参考视频帧各自对应的位置信息和视角信息，基于所述参考操作数据序列操控所述测试应用程序，以使通过所述测试应用程序操控的目标虚拟角色执行所述参考操作数据对应的动作、处于所述位置信息指示的位置、以及视角为所述视角信息指示的视角。

2.根据权利要求1所述的方法，其特征在于，在所述通过图像检测模型，根据所述待检测界面中目标区域位置对应的待检测区域图像、以及所述参考界面中所述目标区域位置对应的参考区域图像，确定所述目标区域位置对应的待检测区域图像是否正常之前，所述方法还包括：

针对具有对应关系的待检测界面和参考界面包括的所述多个区域位置中的每个区域位置，根据所述区域位置对应的待检测区域图像与所述区域位置对应的参考区域图像之间的像素差异，判断所述区域位置是否为候选异常区域位置；若是，则将所述区域位置确定为所述目标区域位置。

3.根据权利要求1所述的方法，其特征在于，所述根据所述参考操作数据与所述参考视频帧之间的对应关系、以及各参考视频帧各自对应的位置信息和视角信息，基于所述参考操作数据序列操控所述测试应用程序，包括：

4.根据权利要求1所述的方法，其特征在于，所述参考视频是在设置有辅助虚拟角色辅助处理所述参考应用程序中的干扰因素的情况下得到的；所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述通过图像检测模型，根据所述待检测界面中目标区域位置对应的待检测区域图像、以及所述参考界面中所述目标区域位置对应的参考区域图像，确定所述目标区域位置对应的待检测区域图像是否正常，包括：

6.根据权利要求5所述的方法，其特征在于，所述通过所述图像检测模型，根据所述待检测区域图像对应的红通道值、绿通道值和蓝通道值、所述参考区域图像对应的红通道值、绿通道值和蓝通道值、以及所述待检测区域图像与所述参考区域图像之间的红通道差值、绿通道差值和蓝通道差值，确定所述待检测区域图像是否正常，包括：

7.根据权利要求1所述的方法，其特征在于，所述图像检测模型是通过以下方式训练得到的：

获取对应于相同的训练操作数据的训练参考图像和训练检测图像；所述训练参考图像包括训练参考应用程序上的训练参考界面，所述训练参考界面是基于所述训练操作数据操控所述训练参考应用程序时显示的界面，所述训练检测图像包括训练测试应用程序上的训练检测界面，所述训练检测界面是基于所述训练操作数据操控所述训练测试应用程序时显示的界面，所述训练参考图像中的训练参考界面与所述训练检测图像中的训练检测界面间具有对应关系；

针对具有对应关系的训练检测界面和训练参考界面，按照预设的图像划分方式，对所述训练检测界面和所述训练参考界面分别进行图像划分处理，得到所述训练检测界面中多个区域位置各自对应的训练检测区域图像、以及所述训练参考界面中所述多个区域位置各自对应的训练参考区域图像；

针对具有对应关系的训练检测界面和训练参考界面，利用所述训练检测界面和所述训练参考界面中对应于同一区域位置的训练检测区域图像和训练参考区域图像，组成训练样本；并获取所述训练样本对应的标签，所述标签用于表征所述训练样本中的训练检测区域图像是否正常；

基于所述训练样本以及所述训练样本对应的标签，对初始图像检测模型进行训练，直至所述初始图像检测模型满足训练结束条件，得到所述图像检测模型。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

针对具有对应关系的训练检测界面和训练参考界面包括的所述多个区域位置中的每个区域位置，根据所述区域位置对应的训练检测区域图像与所述区域位置对应的训练参考区域图像之间的像素差异，确定所述区域位置是否为候选异常训练区域位置；

所述针对具有对应关系的训练检测界面和训练参考界面，利用所述训练检测界面和所述训练参考界面中对应于同一区域位置的训练检测区域图像和训练参考区域图像，组成训练样本，包括：

9.一种图像检测装置，其特征在于，所述装置包括：

图像检测模块，用于针对具有对应关系的待检测界面和参考界面，通过图像检测模型，根据所述待检测界面中目标区域位置对应的待检测区域图像、以及所述参考界面中所述目标区域位置对应的参考区域图像，确定所述目标区域位置对应的待检测区域图像是否正常；所述图像检测模型为轻量化的深度神经网络模型；

所述参考图像是基于参考操作数据序列操控所述参考应用程序时，对所述参考应用程序上的参考界面进行录屏得到的参考视频；所述参考操作数据序列包括按时间顺序排列的所述参考操作数据，所述参考操作数据序列中的参考操作数据与所述参考视频中的参考视频帧之间具有对应关系；所述待检测数据获取模块具体用于：

当所述参考应用程序为第一人称的游戏应用程序时，所述参考数据获取模块还用于：

则所述待检测数据获取模块具体用于：

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

区域筛选模块，用于针对具有对应关系的待检测界面和参考界面包括的所述多个区域位置中的每个区域位置，根据所述区域位置对应的待检测区域图像与所述区域位置对应的参考区域图像之间的像素差异，判断所述区域位置是否为候选异常区域位置；若是，则将所述区域位置确定为所述目标区域位置。

11.一种电子设备，其特征在于，所述电子设备包括处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行权利要求1至8中任一项所述的图像检测方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至8中任一项所述的图像检测方法。