CN110597593B - 用户引导任务的处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及用户引导任务的处理方法、装置、计算机设备及存储介质，属于信息处理技术领域。该方法包括：当识别到开始场景的标识对象时，进入用户引导任务的处理程序；通过所述处理程序，将所述开始场景切换为第一场景，并识别所述第一场景中的引导对象；根据所识别的引导对象，执行至少一次的场景切换操作；当所述场景切换操作得到的第二场景中存在结束场景的标识对象时，退出所述处理程序。上述技术方案，解决了用户任务的自动化处理效率低下的问题。不需要逐一标记用户引导任务中的所有场景，就可以自动完成用户引导任务，能有效提高用户任务的自动化处理效率。

Description

用户引导任务的处理方法、装置、计算机设备及存储介质

技术领域

本发明涉及信息处理技术领域，特别是涉及用户引导任务的处理方法、装置、计算机设备及存储介质。

背景技术

应用程序在被使用时，往往会根据用户的操作在界面上逐步显示应用程序的用户引导任务(可以简称为用户任务)，以指示用户接下来如何进行应用程序的操作。在应用程序上市前，为保证用户任务的正常完成，应用程序开发商需要预先处理该用户任务，以对其进行测试。而在用户任务处理过程中，往往通过标记UI对象(应用程序中用于与用户进行交互的对象)来标识场景，识别到应用程序场景后，操作特定的UI对象。

在实现本发明过程中，发明人发现传统方式中至少存在如下问题：现有处理用户任务的方法中，需要测试人员对用户任务的每一个应用程序场景都进行标记。这种方法只适合完成简单任务，当应用程序的用户任务较长、逻辑复杂、场景较多或者用户任务的场景之间相似性高时，标记和处理的难度会加大，这就使得用户任务的自动化处理效率低下。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

基于此，本发明实施例提供了用户引导任务的处理方法、装置、计算机设备及存储介质，能有效提高用户任务的自动化处理效率。

本发明实施例的内容如下：

第一方面，本发明实施例提供一种用户引导任务的处理方法，包括以下步骤：当识别到开始场景的标识对象时，进入用户引导任务的处理程序；通过所述处理程序，将所述开始场景切换为第一场景，并识别所述第一场景中的引导对象；根据所识别的引导对象，执行至少一次的场景切换操作；当所述场景切换操作得到的第二场景中存在结束场景的标识对象时，退出所述处理程序。

第二方面，本发明实施例提供一种用户引导任务的处理装置，包括：处理程序进入模块，用于当识别到开始场景的标识对象时，进入用户引导任务的处理程序；引导对象识别模块，用于通过所述处理程序，将所述开始场景切换为第一场景，并识别所述第一场景中的引导对象；场景切换模块，用于根据所识别的引导对象，执行至少一次的场景切换操作；处理程序退出模块，用于当所述场景切换操作得到的第二场景中存在结束场景的标识对象时，退出所述处理程序。

第三方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：当识别到开始场景的标识对象时，进入用户引导任务的处理程序；通过所述处理程序，将所述开始场景切换为第一场景，并识别所述第一场景中的引导对象；根据所识别的引导对象，执行至少一次的场景切换操作；当所述场景切换操作得到的第二场景中存在结束场景的标识对象时，退出所述处理程序。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：当识别到开始场景的标识对象时，进入用户引导任务的处理程序；通过所述处理程序，将所述开始场景切换为第一场景，并识别所述第一场景中的引导对象；根据所识别的引导对象，执行至少一次的场景切换操作；当所述场景切换操作得到的第二场景中存在结束场景的标识对象时，退出所述处理程序。

上述技术方案中的一个技术方案具有如下优点或有益效果：当识别到开始场景的标识对象时，进入用户引导任务的处理程序；将开始场景切换为第一场景，并识别第一场景中的引导对象；根据所识别的引导对象，执行至少一次的场景切换操作；当场景切换操作得到的第二场景中存在结束场景的标识对象时，退出处理程序。不需要标记用户引导任务中的所有场景，就可以自动完成用户引导任务，能有效提高用户任务的自动化处理效率。

附图说明

图1为一个实施例中用户引导任务的处理方法的应用环境图；

图2为一个实施例中用户引导任务的处理方法的流程示意图；

图3为一个实施例中场景标识的示意图；

图4为一个实施例中引导对象的示意图；

图5为一个实施例中批量同步操作设备的界面示意图；

图6为一个实施例中标识对象的标识界面示意图；

图7为一个实施例中手势引导偏移点击的界面示意图；

图8为一个实施例中手势引导方式的方向微调示意图；

图9为一个实施例中高亮引导偏移点击的界面示意图；

图10为一个实施例中高亮引导方式的方向微调示意图；

图11为另一个实施例中用户引导任务的处理方法的流程示意图；

图12为再一个实施例中用户引导任务的处理方法的流程示意图；

图13为又一个实施例中用户引导任务的处理方法的流程示意图；

图14为一个实施例中用户引导任务的处理装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请提供的用户引导任务的处理方法可以应用于如图1所示的计算机设备中。该计算机设备可以是服务器，也可以是终端设备，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置等。其中，处理器用于提供计算和控制能力；存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统、计算机程序(该计算机程序被处理器执行时实现一种用户引导任务的处理方法)和数据库，该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境；数据库用于存储用户引导任务的处理方法执行过程中涉及到的数据，例如该数据库中可以存储开始场景的标识对象和结束场景的标识对象等数据；网络接口用于与外部的终端通过网络连接通信；显示屏可以是液晶显示屏或者电子墨水显示屏，输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。进一步的，终端设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明实施例提供一种用户引导任务的处理方法、装置、计算机设备及存储介质。以下分别进行详细说明。

在一个实施例中，如图2所示，提供了一种用户引导任务的处理方法。

用户在第一次使用某一应用程序(可以是手游、微信小程序、短视频app等等)、第一次使用升级后的应用程序、第一次使用应用程序的某一个功能时，应用程序往往会通过用户引导任务(对于新用户使用应用程序的情况，也可以将用户引导任务称为新用户引导任务、新手引导任务或者新手任务)的方式指示用户该如果操作该应用程序或者对应的新功能。换句话说，用户引导任务指的是以某种特定方式引导用户完成的任务。这个用户引导任务对应的场景会在用户打开应用程序或者触发某个控件时显示在用户所使用的计算机设备的界面上，并根据用户的点击逐步进行场景切换(这些场景中显示了对用户进行应用程序操作的指示信息以及需要用户点击或者操作的信息)，直到完成用户引导任务。而本发明实施例可以理解为对用户引导任务的处理过程的测试，即在应用程序上市之前通过模拟用户引导任务的处理过程(自动识别操作对象并执行对应的操作，以逐步完成场景的切换)，逐步完成用户引导任务，进而得到对该用户引导任务的测试结果。

以该方法应用于图1中的计算机设备为例进行说明，以下对该方法进行详细说明，该方法包括以下步骤：

S201、当识别到开始场景的标识对象时，进入用户引导任务的处理程序。

本步骤中，在识别到标识开始场景的标识对象时，计算机设备判定当前场景为开始场景，此时，计算机设备触发进入用户引导任务的处理程序。

在游戏、网络视频、小程序等应用程序中，往往会包括许多场景，这些场景由多种符号、文字、图片组成，可以是动态的，也可以是静态的。为方便描述，本发明实施例中的场景以截取的某一帧场景图像(即，静态场景)为例进行描述，例如，可以是手机截取的整张应用程序画面。

在对某一应用程序进行测试的过程中，计算机设备往往是逐步显示应用程序的场景，针对各个场景进行相应的操作，并得到对应的测试结果。而在逐步显示场景的过程中，可能会遇到用户引导任务对应的场景，此时，计算机设备可以触发用户引导任务的处理程序，以对用户引导任务进行处理，在处理完后退出用户引导任务，并进一步得到用户引导任务的测试结果。

其中，开始场景指的是用户引导任务中的第一个场景，对应的，结束场景指的是用户引导任务的最后一个场景。进一步地，一个应用程序中可能会有多个用户引导任务，可以在处理这些用户引导任务之前，分别标识各个用户引导任务中的开始场景和结束场景，这样，计算机设备就能在识别到开始场景时自动进入用户引导任务的处理程序，并在识别到结束场景时自动退出用户引导任务的处理程序。更进一步地，可以将开始场景和结束场景中特殊的、有代表性的对象，作为标识对象标识出来，并为各个标识对象带上标识信息，据此，计算机设备在识别到某一标识对象时，就能获知当前场景所属的用户引导任务以及所属的场景类型。处理人员可以在标识工具中确定开始场景和结束场景的标识对象。

进一步地，一个场景(包括开始场景和结束场景)中可以对应有一个、两个甚至多个标识对象，本发明实施例对标识对象的数量不做限制，能实现对场景的识别即可。开始场景和结束场景可以分别如图3(a)和(b)所示，其对应的标识对象可以分别如301和302所示，由图3所示，计算机设备在识别到场景1的人物躯干部分为“双手下放”时，认为场景1为开始场景，在识别到场景2的人物躯干部分为“双手上举”时，认为场景2为结束场景。

S202、通过所述处理程序，将所述开始场景切换为第一场景，并识别所述第一场景中的引导对象。

用户引导任务的处理程序开始执行后，该处理程序根据场景切换操作对开始场景进行场景切换，可以切换到用户引导任务的下一场景(即第一场景)中。此时所切换到的场景中没有预先标识的标识对象，因此，需要计算机设备自动识别对该场景进行识别。本发明实施例通过识别场景中的引导对象的方式来实现(由于用户引导任务是对用户进行操作引导的任务，其中必然包含有引导对象)。

其中，引导对象可以指在完成用户引导任务的过程中，逐步指示用户进行下一步操作的对象。不同场景中采用的引导方式可能不同，而不同引导方式对应的引导对象也可能不同。用户引导任务的引导方式大致可以分为手势引导类和高亮引导类，对应的引导对象为引导手势和引导高亮区域。

其中，引导手势通过某种特殊的手势UI对象进行引导，可以是手、箭头等【可以如图4(a)中的手势401、图4(b)中的箭头402所示】；高亮引导区域通过高亮的UI对象进行引导，通过较高的亮度吸引注意力，给出明确提示，【可以如图4(c)中的圆形高亮区域403、图4(d)中的方形404、图4(d)中的三角形高亮区域405所示】。当然，引导对象也可以是其他的形式，例如：字体加粗、颜色变化、区域跳动等方式，本发明对引导对象的具体形式不做限制，能起到对用户进行引导的作用即可，进一步地，引导对象所在的区域(该区域可以用户确定目标操作位置)可以根据引导对象的形式具体调整。

S203、根据所识别的引导对象，执行至少一次的场景切换操作。

在实际的用户引导任务的执行过程中，用户在看到终端设备的界面上显示的引导对象以及引导文字时，会针对性地在界面上(或者通过鼠标等)进行操作，该终端设备接收操作信息，并在操作信息满足条件时在界面上进行场景切换。因此，在测试过程中，也需要模拟用户的操作过程，本步骤通过场景切换操作来进行模拟，如果场景切换操作有效，计算机设备完成场景切换，以逐步完成用户引导任务的处理过程。

进一步地，场景切换操作可以通过点击屏幕、点击鼠标、滑动屏幕、输入特定的文字等触发操作来实现。更进一步地，场景切换操作的实现过程可以为：在第一场景中确定一个进行操作的目标操作位置，在该目标操作位置上进行场景切换操作。

由于用户引导任务的场景往往不止一个(至少包括开始场景和结束场景)，因此，可以根据具体情况进行至少一次的场景切换操作。在某些特殊情况下，如果只有一个场景，则该场景中应该既有开始场景的标识对象，又有结束场景的标识对象，则计算机设备可以在到达该场景后，回到正常场景的处理流程中。

S204、当所述场景切换操作得到的第二场景中存在结束场景的标识对象时，退出所述处理程序。

本步骤中，当计算机设备识别到结束场景的标识对象时，认为用户引导任务已经执行到最后一步了，因此，可以退出用户引导任务的执行程序，回到正常场景的处理流程。

进一步地，在用户引导任务的处理过程中，计算机设备每切换到一个场景后都将该场景中的特征信息与结束场景的标识对象的特征信息进行比对，看是否一致，如果一致，则判定所到达的场景为结束场景。

在另一个实施例中，也可以设置任务超时时长，当超时时长到达时，自动停止任务处理逻辑(即退出用户引导任务的执行程序)，回到正常的场景识别和操作。这个任务超时时长可以根据实际情况具体确定，本发明实施例对此不做限制。

传统技术的用户引导任务测试过程中，往往是将用户引导任务的场景当作普通场景，其处理方式和其他场景一样，大致分为以下三种：

1)人工逐个进行场景标记

人工操作单台设备，测试效率很低。使用标记、识别和操作场景的方式，逐一标记所有任务的场景，但是，这种情况下，少则几个，多则几十个场景，标记工作量非常大，同时，某些场景之间高相似性，使得标记难度大大提高，测试时间变长。

2)批量控制，直接操作设备

人工使用操作工具，实现一人控制多台设备，完成引导任务。批量控制的方式如图5所示，假设需要点击图中圆圈的中心位置(即图中的“+”字)，此时测试人员在测试设备上点击501，如图5(a)所示501正对圆圈中心位置。操作工具同步获取到人工控制的点击位置(如图中实心圆点)，按照比例，将点击位置投影到其他设备上批量进行操作，可以看到，因为分辨率不同的原因，点击的位置会发生偏差，点击位置可以如图5(b)、(c)、(d)中的502、503、504所示，导致最终点击的不是圆圈的圆心，甚至点击到其他UI对象，导致设备无法同步测试，以致场景切换操作失败。另外，引导任务可能为动态引导的方式，这使同步操作设备更加困难，如果要保证准确率，可使用人工测试替代，但是这样的效率低，人工和时间成本高。

3)基于图像处理技术标记、识别和操作场景

在游戏UI自动化测试中，可以通过标记UI对象来标识场景，识别到场景的标识对象后，表示应用程序当前到达了对应场景，然后识别该场景的操作对象，执行相应的操作即可。使用这种方法完成的用户引导任务，就需要将用户引导任务中的每一个场景都进行录制和标记，比如需要逐一标记所有游戏场景中的标识对象和操作对象，并且标识对象需要具备区分场景的能力，但是由于场景相似，录制时选择标识对象也会比较困难，如果导致场景识别错误，对应的操作就会失败。因此，这种方法只适合完成简单任务，当引导任务较长、逻辑复杂、场景较多、场景之间的相似性高时，标记的难度会成倍加大，时间效率和准确率会大大降低，不能很好地完成自动化测试。

本实施例提供的用户引导任务的处理方法，主要是解决用户引导任务自动化测试困难的问题，将用户引导任务定义为一个阶段性的任务，即从一个场景A开始到另一个场景B结束，A和B场景之间的场景均为引导场景(而这些引导场景可以由计算机设备通过所识别的标识对象来进行区分)，因此引导任务只需要录制和标记两个场景，分别表示引导任务的开始和结束。不需要逐一标记用户引导任务中的所有场景，尽可能少地录制和标记游戏场景，就可以自动完成用户引导任务，能有效提高用户任务的自动化处理效率，还可以适配不同的设备，具体的游戏领域中，还可以适应多种游戏。

在一些实施例中，用户引导场景可以包括开始场景、结束场景以及这两个场景之间的场景。

在一个实施例中，处理人员可以通过如图6所示的界面来进行对象的标识(图6以游戏新手引导任务为例)。图6左侧界面中显示了某一游戏模块四个新手引导任务对应的场景(进入游戏、创建角色、新手开始、新手结束)，测试人员点击新手开始场景，此时，右侧界面显示该新手开始场景，此时测试人员通过一个选择框601选中该新手开始场景中的某一个区域，将“对象类型”确定为“标识”，添加上其他内容，就完成了开始场景标识对象的标识过程。当然，标识对象的标识过程也可以由计算机设备自动完成，继续以开始场景为例，计算机设备可以将开始场景中的场景特征与其他场景的场景特征进行比较，将其中与其他场景不同的场景特征确定出来，作为标识对象。

上述实施例，在自动化标识框架中，预先标定场景以及识别场景的UI对象，在测试过程中，识别当前场景属于脚本中哪一个场景，执行对应的操作，就可以跳转到下一场景，这就实现了应用程序的自动化测试，将本发明实施例的用户引导任务自动处理模块引入自动化测试框架中，可以让应用程序的测试任务变得简单容易，使测试工具功能更强大，应用范围更广，测试效率更高。

在一个实施例中，除了对开始场景和结束场景进行标识，对于用户引导任务较长、场景间相似度较高的情况，对其他场景也可以进行标识，这样能保证场景识别的准确性，以提高用户引导任务的处理准确性。

进一步地，除了录制标识对象，对于操作对象也可以进行预先录制，即，在每一个场景中预先确定该场景中的操作所需满足的条件，在接收到场景切换操作时，将场景切换操作与操作对象进行比对，如果相互匹配，则完成场景切换的动作。

在一个实施例中，所述根据所识别的引导对象，执行至少一次的场景切换操作的步骤，包括：在所述第一场景中，根据位置偏移方式确定目标操作位置；所述位置偏移方式与预先确定的引导方式对应，所述位置偏移方式中包含有所述目标操作位置相对于所述所识别的引导对象的偏移信息；对所述目标操作位置执行场景切换操作。位置偏移方式也可以称为是微调模型，即确定一个偏移信息，从所识别的引导对象出发，偏移一定的距离，所到达的位置确定为目标操作位置，因此，根据位置偏移方式逐步确定目标操作位置的过程可以理解为偏移微调的过程。

在某些情况下，可以将所识别的引导对象确定为初始目标操作位置，对初始目标操作位置执行场景切换操作，如果该场景切换操作无效，再根据位置偏移方式确定新的目标操作位置。

计算机设备识别到引导对象后，判定到达某一场景，此时需要对该场景进行对应的操作，而具体的操作位置往往与所识别的引导对象存在一定的位置偏移，因此，需要基于引导对象偏移一定的位置得到目标操作位置，并在目标操作位置上执行对应的操作。

不同引导方式对象的操作位置可能会不同，例如：手势引导方式对应的操作位置可能是手势所指向的位置，而高亮引导方式对应的操作位置可能是高亮区域周围的某个位置或者屏幕上的任意位置。因此，在执行用户引导任务的处理程序之前，有必要确定引导方式，并根据所确定的引导方式针对性地进行场景切换操作等。

进一步地，根据同款应用程序的用户引导任务中，不同场景往往采用相似用户引导方式的特点，可以在进行用户引导任务的处理过程之前，将该应用程序主要使用的用户引导方式确定为本次用户引导任务的处理程序的目标引导方式。进一步地，某些应用程序同时采用了手势引导和高亮引导的方式，如图4中的404和405，对于这些情况，测试人员(也可以由计算机设备自动选择)可以自行选择任意一种引导方式。对于多次对某一应用程序进行测试的情况，可以在不同测试过程中采用不同的引导方式，并综合这些测试结果得到最终的测试结果。

上述实施例，根据引导方式获取预先确定的位置偏移方式，根据位置偏移方式中的偏移信息，从所识别的引导对象出发确定目标操作位置，并在目标操作位置执行场景切换操作，不需要人工标记标识对象和操作对象，能自动完成场景的识别以及场景的切换操作，能有效提高用户引导任务的处理效率。

进一步地，场景切换操作如果正常执行，实现的应该是正常的场景切换，而有些情况下，会存在操作无效的情况(即场景切换操作没能成功触发计算机设备中的场景切换程序)。如果操作无效，则需要重新进行场景切换操作。因此，在对目标操作位置执行场景切换操作之后，需要确定有效性验证结果，如果有效性验证结果表示无效，说明场景切换失败，则需要确定新的目标操作位置，以进一步完成场景切换操作。更进一步地，如果此时有效性验证结果依旧表示无效，则可以再次确定新的目标操作位置，直到场景切换成功。即，所述对所述目标操作位置执行场景切换操作的步骤之后，还包括：确定所述场景切换操作的有效性验证结果；当所述有效性验证结果表示无效时，在所述第一场景中，根据所述位置偏移方式确定新的目标操作位置；对所述新的目标操作位置执行场景切换操作，以将所述第一场景切换为下一场景，得到所述第二场景。

当有效性验证结果表示有效时，则可以识别所切换到的第二场景中的引导对象，并对第二场景执行场景切换操作，以此类推。

由于不同引导对象对应的形态以及需要进行的操作可能不同，另外，引导对象可能是动态的，比如位置移动、亮度变化等，因此，对应的目标操作位置可能也不同，因此，需要针对性地确定目标操作位置，而不能采用固定的偏移方式来确定目标操作位置。基于此，本发明实施例采用动态调整位置(也可以称为动态微调)的方式来确定目标操作位置，在某一次的目标操作位置无效时，从该目标操作位置出发(也可以从所识别的引导对象出发)，确定新的目标操作位置，在新的目标操作位置上执行场景切换操作。这种处理方式能有效保证场景切换操作的正常进行，进一步保证用户引导任务的正常完成。

在一个实施例中，所述确定所述场景切换操作的有效性验证结果的步骤，包括：判断经过所述场景切换操作之后所述第一场景是否发生变化；当所述第一场景发生变化时，判定所述场景切换操作有效。

对于手势引导方式和高亮引导方式的情况，都可以采用这种方式来确定场景切换操作是否有效。即，如果执行场景切换操作后，场景发生了切换，则停止确定目标操作位置的过程，自动停止微调，以进入下一个场景的处理流程，如果判断下一个场景不是结束场景，则重复以上引导对象识别和操作的步骤，直到结束场景的出现。

在某些用户引导任务的不同场景中，其背景画面可能相同，不同的是手势位置或者高亮区域的位置，因此，可以通过所识别的引导手势或者高亮区域是否发生变化来确定场景切换操作是否有效。

进一步地，在一个实施例中，所述确定所述场景切换操作的有效性验证结果的步骤，包括：当所述引导对象为引导手势时(即引导方式为手势引导方式)；判断经过所述场景切换操作之后所识别的引导手势是否发生变化；当所识别的引导手势发生变化时，判定所述场景切换操作有效。具体的，如果发现所识别的引导手势位置发生变化(例如：引导手势位置的变化程度大于某一阈值)，或者所识别的引导手势消失，则可以判定场景切换操作有效。

在另一个实施例中，所述确定所述场景切换操作的有效性验证结果的步骤，包括：当所述引导对象为引导高亮区域时(即引导方式为高亮引导方式)；判断经过所述场景切换操作之后所识别的引导高亮区域是否发生变化；当所识别的引导高亮区域发生变化时，判定所述场景切换操作有效。具体的，如果发现所识别的引导高亮区域的位置发生变化，或者引导高亮区域的亮度发生明显变化，等，则可以判定场景切换操作有效。对于识别引导高亮区域的亮度是否发生明显变化的情况，可以通过亮度的变化率是否超过一定的判断阈值，如果超过，则判定引导高亮区域发生明显变化。具体的，这个判断阈值可以为20％，即如果操作前后区域亮度均值差大于20％时，认为场景切换操作有效。

进一步的，也可将场景是否切换与引导手势、高亮区域是否发生变化结合起来判断场景切换操作是否有效，例如，对于引导方式为手势引导方式的情况，只有在场景发生切换且引导手势发生变化时才认为场景切换操作有效。

在一些实施例中，判断操作是否有效并不限于根据场景变化和操作位置的亮度变化实现，也可以根据其他变化进行判断。

上述实施例通过多种方式来确定场景切换操作的有效性，判断过程简单快速，能进一步提高用户引导任务的处理效率以及准确性。

在一个实施例中，所述引导方式为手势引导方式；所述引导对象为引导手势；所述识别所述第一场景中的引导对象的步骤，包括：识别所述第一场景中的交互手势；当根据特征匹配方法确定某一交互手势的特征满足特定的条件时，将所述某一交互手势确定为所述引导手势。

可以直接使用特征匹配或者模板匹配的方式完成交互手势的识别；在某些情况下，如果直接使用特征匹配或者模板匹配的方式完成交互手势识别的准确率低，适应不同分辨率的能力差，则可以结合特征匹配、多尺度模板匹配等内容，确定一个优化的特征匹配算法来识别引导手势。

进一步地，优化的特征匹配算法可以使用SIFT、SURF、ORB、Harris等特征来实现。

上述实施例提供的用户引导任务的处理方法，通过特征匹配的方式进行标识对象的识别，能保证所识别的引导手势的准确性。

在一个实施例中，所述当识别到开始场景的标识对象时，进入用户引导任务的处理程序的步骤之前，还包括：在处于待识别场景时，通过特征匹配方法，确定在所述待识别场景中是否识别到开始场景的标识对象；当在所述待识别场景中识别到开始场景的标识对象时，将所述待识别场景确定为开始场景。

本实施例中的特征匹配方法参数上一实施例中的特征匹配方法。

本实施例在待识别场景中识别到开始场景的标识对象时，判定到达开始场景，在开始场景到达时，可以进入用户引导任务的处理程序，能自动启动用户引导任务的处理程序，有效提高用户引导任务的处理效率。

在一个实施例中，所述位置偏移方式中的偏移信息包括偏移方向和偏移距离；所述在所述第一场景中，根据位置偏移方式确定目标操作位置的步骤，包括：在所述第一场景中，根据所述位置偏移方式，从所识别的引导手势出发，向所述偏移方向移动所述偏移距离，将移动后所到达的位置确定为所述目标操作位置。

进一步地，所述从所识别的引导手势出发，向所述偏移方向移动所述偏移距离的步骤，包括：从所识别的引导手势出发(具体可以指从引导手势对应区域上的某个点出发)，向横轴方向、纵轴方向、主对角线方向和/或负对角线方向偏移至少一个像素点。其中，偏移距离可以通过最大偏移调整范围(超过最大偏移调整范围则不再进一步偏移)、调整步长(每一次偏移所移动的距离)这两个参数来限定。更进一步地，所移动的像素点的个数可以根据实际情况所要求的精细化程度具体确定，例如，可以为5像素、10像素、20像素等；最大偏移调整范围max_offset和调整步长every_offset，默认值分别为30像素和10像素。

在一个实施例中，可以按照横轴方向、纵轴方向、主对角线方向和负对角线方向的顺序，分别进行偏移操作，也可以按照其他的顺序进行偏移操作。

在一些实施例中，除了横轴方向、纵轴方向、主对角线方向和负对角线方向，还可以向其他方向进行偏移操作，例如：相对于横轴方向呈20°、30°角的方向。

从图7可知，手势引导方式的引导手势和需要操作的对象(最终的目标操作位置)之间通常存在一定的偏移量(真正点击的空白位置与引导手势不在同一位置上)，可以将x轴和y轴的偏移量分别记为x_offset和y_offset。本发明实施例支持偏移点击的操作。如图7所示，假设目标操作位置为A位置，如果x_offset＝0且y_offset＝0，则表示直接点击手势对象，无偏移量，而如果x_offset≠0或y_offset≠0，则标识目标操作位置与引导手势存在一定的偏移。其中，x轴和y轴可以是相对于计算机设备屏幕而言，以矩形屏幕为例，可以将屏幕的横向边框所在的方向确定为x轴，将屏幕的纵向边框所在的方向确定为y轴，而对于其他形状的屏幕(如曲面屏等)，可以根据实际情况确定。

基于此，需要结合一些策略来动态确定目标操作位置并进行操作，具体的步骤可以如下：

a.计算偏移的主方向，记为offset_direction，分为四种情况：

a1、无偏移，记为offset_direction＝0，即x_offset＝0，y_offset＝0；

a2、y轴(纵轴方向)方向偏移，记为offset_direction＝1，即x_offset＝0，y_offset≠0；

a3、x轴方向(横轴方向)偏移，offset_direction＝2，即x_offset0≠0，y_offset＝0；

a4、x、y轴均偏移，offset_direction＝3，即x_offset≠0，y_offset≠0。

b.各个方向的微调划分如图8所示，其中801可以指所识别的引导手势对应的位置，也可以是其中一个目标操作位置。按照从上到下，从左往右的顺序(可以按照图中1-2-3-4-5-6的顺序逐步进行微调)，逐点进行微调操作，调整后到达的位置即为目标操作位置，此时可以对该目标操作位置进行场景切换操作，即移动一个位置，对应一个x_offset、y_offset以及offset_direction，据此进行场景切换操作。当然，也可以选择图8中的部分微调方式进行偏移，另外，不同方向的max_offset和every_offset可以相同也可以不同。

根据计算的偏移主方向，可以采用不同的策略进行微调，效率比较高，具体可以如下：

1、无偏移，先进行y轴偏移，再进行x轴偏移，主要解决本身无偏移却因为分辨率产生差异的问题；

2、y轴方向偏移，只进行y轴方向偏移调整；

3、x轴方向偏移，只进行x轴方向偏移调整；

4、x、y轴均偏移，按照y轴、x轴、主对角线、负对角线的顺序，依次进行调整。

手势引导方式主要是通过识别场景中标记的手势引导UI对象(即手势对象)来进行操作，往往手势对象是动态的，另外，不同用户的电脑分辨率也会不同，因此有时候可能会导致场景切换操作无效。上述实施例通过动态微调方法确定目标操作位置，对点击无效的位置进行了校准，解决了动态引导手势和不同设备分辨率不同导致的无效切换问题，能有效保证用户引导任务的正常完成。

在一个实施例中，所述引导方式为高亮引导方式；所述引导对象为引导高亮区域；有时需要任意点击屏幕一次，才会出现高亮引导，因此，本发明实施例支持用户自定义是否进行点击以唤醒屏幕高亮引导操作，如果配置了该项，此时就可以先点击一次屏幕中心，计算机设备根据用户的点击操作唤醒高亮引导区域的显示。

在一些实施例中，所述引导方式为高亮引导方式；所述引导对象为引导高亮区域；所述识别所述第一场景中的引导对象的步骤，包括：将所述第一场景对应的第一图像转化到预先设定的颜色空间；若所述第一图像对应的目标通道的均值满足预设条件，对所述目标通道对应的第二图像进行二值化处理；所述目标通道包括所述预先设定的颜色空间中的任意颜色通道；对经过二值化处理的第二图像进行轮廓检测，将检测得到的第一轮廓对应的区域确定为所述引导高亮区域。

其中，预先设定的颜色空间可以是HSV、HSL、RGB、CMY等颜色空间，而目标通道可以是其中的全部颜色通道，也可以是部分颜色通道。

进一步地，当所述预先设定的颜色空间为HSV颜色空间时，所述识别所述第一场景中的引导对象的步骤，包括：将所述第一场景对应的第一图像转化到HSV颜色空间；若所述第一图像对应的V通道的均值满足预设条件，对所述V通道对应的第二图像进行二值化处理；对经过二值化处理的第二图像进行轮廓检测，将检测得到的第一轮廓对应的区域确定为所述引导高亮区域。其中，第一图像的V通道的均值所需满足的条件可以根据实际情况确定，例如，如果V<150，则满足条件，否则不可以直接进行高亮检测。

需要说明的是，上述高亮引导类的高亮检测使用HSV颜色空间的V通道，但本发明实施例不限于此，可采用其他亮度通道替代；微调过程中本方案采用的微调模型可以根据实际情况进行微调，减少或者增加微调点。

进一步地，所述将检测得到的第一轮廓对应的区域确定为所述引导高亮区域的步骤，包括：确定所述第一轮廓的周长和面积；根据所述周长和/或所述面积对所述第一轮廓进行筛选，得到第二轮廓；对所述第二轮廓对应的外接矩阵按照面积大小进行排序，将排序在前的外接矩阵确定为所述引导高亮区域。所确定的引导高亮区域的数量可以为一个、两个、甚至多个。进一步地，可以为各个场景设置引导高亮区域的数量上限，例如：每个场景中最多确定N(N的具体数值可以根据实际情况确定)个引导高亮区域。另外，不同场景中引导高亮区域的数量可以不同，也可以相同。其中，对外接矩阵按照面积大小进行排序，可以是按照面积从小到达排序，也可以是按照面积从大到小排序，还可以是其他的排序方式。

更进一步地，对于引导高亮区域为多个的情况，可以将排序在前的多个外接矩阵对应的区域确定为引导高亮区域。此时可以按照一定的顺序分别确定各个引导高亮区域对应的多个目标操作位置，如果第一个目标操作位置上的场景切换操作无效，则按顺序在第二个目标操作位置上进行场景切换操作，以此类推，直到场景切换成功。

高亮引导类主要是通过检测场景中高亮度值的区域寻找操作对象(即，目标操作位置)，检测过程中可能动态变化或者存在多个高亮区域，因此需要结合一些策略来提高操作的准确性，具体步骤可以如下：

1、判断场景是否满足高亮检测的条件，如果满足条件则执行下一步骤，否则不可以直接进行高亮检测。

2、满足高亮检测的条件后，就开始场景处理：

a.将V通道的图像进行二值化、形态学处理；

b.进行轮廓检测，然后根据轮廓的周长和面积对所检测的轮廓进行过滤筛选(周长和面积所需满足的筛选条件可以根据实际情况确定)，对剩余的轮廓确定外接矩形得到高亮区域，高亮区域使用左上角和右下角来标记，记为res＝[x1,y1,x2,y2]，然后按照矩形区域的面积进行排序，按照从大到小的原则，如图4(d)所示，存在2个引导高亮区域。

c.操作引导高亮区域。按照高亮引导区域面积从小到大的原则，本方案依次针对每一个高亮区域进行操作，具体包括以下步骤：

c1、首次操作。点击高亮区域的中心位置以进行场景切换操作，即点击坐标为x＝(x1+x2)/2，y＝(y1+y2)/2。

c1、检查场景切换操作是否有效。通过检查操作后场景是否发生变化，或者原来高亮区域的亮度是否发生明显变化，确定场景切换操作是否有效，如果有效，则对下一个场景继续进行标识对象识别以及场景切换操作，如果无效，则重新确定操作位置已进行点击操作。

上述实施例，结合颜色通道检测、轮廓检测以及外接矩阵分析等，确定引导亮度区域，所确定的区域具有较高的准确性，据此能得到准确的目标操作位置，以便进行准确的场景切换操作。

在一个实施例中，可以对应用程序多次执行处理程序，处理程序结束后，可以根据处理过程得到多个测试结果，根据这几个测试结果得到一个总的测试结果，将这个总的测试结果最为最终的测试结果。进一步地，下一次的测试可以根据上一次的用户引导任务的处理状态进行调整，例如：在手势引导方式中，在多个场景微调过程都发现，在第一个目标操作位置F1无效时进行偏移微调，如果往该第一个目标操作位置F1的左下角偏移一定的像素点到达的第二个目标操作位置F2，在第二个目标操作位置F2的场景切换操作往往都是有效的，因此，在第二次的测试过程中，如果需要进行偏移微调，则可以先向左下角进行偏移微调，如果微调后操作无效，再向其他方向进行微调，这样的处理方式能有效提高场景切换的效率，进而提高用户引导任务的测试效率。

在一个实施例中，所述在所述第一场景中，根据位置偏移方式确定目标操作位置的步骤，包括：在所述第一场景中，根据所述位置偏移方式，确定所识别的引导高亮区域中的目标点；将所述目标点对应的位置确定为所述目标操作位置。

进一步地，所述根据所述位置偏移方式，确定所识别的引导高亮区域中的目标点的步骤，包括：根据所述位置偏移方式中的偏移信息确定分割线；通过所述分割线，将所述所识别的引导高亮区域分割成至少两个小区域；将所述分割线上的设定点和/或所述至少两个小区域的中心点，确定为所述目标点。

其中，分割线的数量可以一条、两条、甚至多条，进一步地，分割线的方向可以为横向、纵向甚至是其他方向。根据所述位置偏移方式中的偏移信息确定分割线的具体过程可以为：根据高亮区域所要偏移的方向，确定分割线，例如：需要向上方和下方分别偏移，则可以确定一条分割线，将高亮区域分割为上下两部分，而需要向上下左右方向分别偏移，则可以确定两条相互垂直的分割线，将高亮区域分割为上下左右四部分。还可以进一步根据所要偏移的距离确定分割线，例如：需要向左侧移动进行多次偏移，每次偏移对应不同的距离，则可以对应确定多条分割线，以将不同距离对应的位置分割到不同的区域中。

在操作引导高亮区域的操作过程中，会存在操作无效的情况，这可能由于高亮引导是动态的，或者需要点击的精确度要求比较高，导致无法点击到有效位置，具体如图9所示，实心圆S为高亮区域的中心位置，而正确有效的点击位置为空心圆H，如果直接点击实心圆S，则可能无法触发场景切换程序，导致场景切换操作无效。

在一个实施例中根据所述位置偏移方式，确定所识别的引导高亮区域中的目标点；将所述目标点对应的位置确定为所述目标操作位置的具体实现过程可以为：如图10所示，从引导高亮区域的中心位置(可以认为是引导高亮区域所在的位置)开始，将引导高亮区域平均分为四个小区域，每个小区域的中心作为微调点(目标操作位置)，另外高亮区域x和y方向的对称轴上的四等分点也作为微调点，按照图10中的标号顺序，从小到达，依次操作各个微调点。本实施例针对高亮引导方式的情况，对点击无效的位置进行了校准，能够解决高亮引导操作中无效操作问题。

在一个实施例中，如图11所示，提供一种用户引导任务的处理方法，该方法中用户引导任务为新手引导任务，包括以下几个步骤：

S1101、标记开始场景和结束场景。

S1102、选择引导方式。

S1103、开始新手引导。

S1104、自动操作新手引导对象。

S1105、结束新手引导任务。

进一步地，在一个实施例中，提供一种用户引导任务的处理方法，如图12所示，当引导方式为手势引导，用户引导任务为新用户引导任务时，该方法包括以下几个步骤：

S1201、在处于待识别场景时，通过特征匹配方法，确定在待识别场景中是否识别到开始场景的标识对象。

S1202、当在待识别场景中识别到开始场景的标识对象时，将待识别场景确定为开始场景，并进入新用户引导任务的处理程序。

S1203、通过所述新用户引导任务的处理程序，将所述开始场景切换为第一场景。

S1204、识别所述第一场景中的交互手势；当根据特征匹配方法确定某一交互手势的特征满足特定的条件时，将所述某一交互手势确定为引导手势。

S1205、在所述第一场景中，从所识别的引导手势出发，分别向横轴方向、纵轴方向、主对角线方向和负对角线方向偏移至少一个像素点，将移动后所到达的位置确定为目标操作位置。

S1206、对各个目标操作位置执行场景切换操作，每经过一次场景切换操作，判断所述第一场景是否发生变化。

S1207、当经过某次场景切换操作后第一场景发生变化，判定该次场景切换操作有效；执行S1209。

S1208、当经过某次场景切换操作后第一场景未发生变化时，判定该次场景切换操作无效，对下一个目标操作位置执行场景切换操作，以将所述第一场景切换为下一场景，得到第二场景。

S1209、当第二场景中存在结束场景的标识对象时，退出新用户引导任务的处理程序；当所述场景切换操作得到的第二场景中不存在结束场景的标识对象时，将所述第二场景作为所述第一场景并执行1204(图12中未示出这部分内容)。

进一步地，在一个实施例中，提供一种用户引导任务的处理方法，如图13所示，当引导方式为高亮引导，用户引导任务为新用户引导任务时，该方法将上述S1204和S1205替换为S1304和S1305，具体包括以下几个步骤：

S1201、在处于待识别场景时，通过特征匹配方法，确定在待识别场景中是否识别到开始场景的标识对象。

S1202、当在待识别场景中识别到开始场景的标识对象时，将待识别场景确定为开始场景，并进入新用户引导任务的处理程序。

S1203、通过所述新用户引导任务的处理程序，将所述开始场景切换为第一场景。

S1304、将所述第一场景对应的第一图像转化到HSV颜色空间；若所述第一图像对应的V通道的均值满足预设条件，对所述V通道对应的第二图像进行二值化处理；对经过二值化处理的第二图像进行轮廓检测，将检测得到的轮廓对应的区域确定为引导高亮区域。

S1305、在所述第一场景中，通过分割线将所述所识别的引导高亮区域分割成至少两个小区域；将所述分割线上的设定点和所述至少两个小区域的中心点，确定为目标点；将所述目标点对应的位置确定为目标操作位置。

S1206、对各个目标操作位置执行场景切换操作，每经过一次场景切换操作，判断所述第一场景是否发生变化。

S1207、当经过某次场景切换操作后第一场景发生变化，判定该次场景切换操作有效；执行S1209。

S1208、当经过某次场景切换操作后第一场景未发生变化时，判定该次场景切换操作无效，对下一个目标操作位置执行场景切换操作，以将所述第一场景切换为下一场景，得到第二场景。

S1209、当第二场景中存在结束场景的标识对象时，退出新用户引导任务的处理程序；当所述场景切换操作得到的第二场景中不存在结束场景的标识对象时，将所述第二场景作为所述第一场景并执行S1304(图13中未示出这部分内容)。

上述两个实施例的新手引导任务实现方法，只需录制少量游戏场景，不需要逐一标记新用户引导任务中的所有场景，就可自动完成整个新用户引导任务，降低了游戏新手任务在UI自动化测试中的难度，能有效提高新用户任务的自动化处理效率，大大提高了时间效率，可以适应不同游戏新手任务的多样性，兼容不同分辨率，有较高的准确率。

在一个实施例中，为了更好地理解上述方法，以下详细阐述一个本发明用户引导任务的处理方法的应用实例，该应用实例以游戏新手引导任务为例进行描述。

S1、标记场景

将新手任务定义为一个阶段性的任务，录制和标记新手任务的开始和结束，标记方法为使用UI对象作为场景的标识对象。

S2、选择游戏引导方式

新手任务大致分为以下两类以供选择：

a)手势引导类。游戏新手任务中，有某种明确的UI对象作为引导，提示玩家应该操作的地方，比如手、箭头等。

b)高亮引导类。游戏新手任务中，为了提示和引导玩家操作，除了选择某种具体的对象进行引导，通常还可以采用高亮的方式，通过较高的亮度吸引注意力，给出明确提示。

对于某些同时采用了手势引导和高亮引导的游戏，可以选择任意一种引导方式。

S3、新手引导任务的触发

逐步显示游戏中的各个场景，并基于图像识别的方法识别场景中的标识对象，当识别到开始场景对应的标识对象，则表示到达开始场景，自动触发新手引导任务，并将开始场景切换为第一场景。

S4、自动操作新手引导对象

根据所选择的游戏引导方式，采用不同的策略处理每一个新手场景，具体如下：

对于手势引导类

手势引导类主要是通过识别场景中标记的手势引导UI对象来进行操作，往往引导对象是动态的，因此需要结合一些策略，识别和操作步骤如下：

S4.1.1、使用特征匹配方法，从第一场景中识别到引导手势。

S4.1.2、首次操作对象。根据微调模型中的信息确定x_offset和y_offset，将x_offset和y_offset对应的位置确定为目标操作位置并进行场景切换操作。

S4.1.3、检查操作是否有效。检查操作后场景是否发生变化，引导对象是否还在原有位置进行判断。

S4.1.4、如果引导手势消失，且场景发生变化，说明操作有效，场景切换到第二场景，对第二场景继续执行标识对象识别和场景切换操作。

S4.1.5、如果引导对象未消失，场景也未变化，则说明操作无效，需要进行下一步的偏移微调操作，每微调一次，都要进行一次操作有效性的判断，如果操作有效，场景发生了切换，则自动停止微调，进入下一个场景的处理流程，如果判断场景不是结束场景，则重复以上手势引导类新手识别和处理的步骤。

对于高亮引导类

高亮引导类主要是通过检测场景中高亮度值的区域寻找操作对象，检测过程中可能是动态变化的或者存在多个高亮区域，因此需要结合一些策略，识别和操作步骤如下：

S4.2.1判断场景是否满足高亮检测的条件，将第一场景对应的第一图像转化到HSV颜色空间，计算V亮度通道的均值，如果V<150，则满足高亮检测的条件(即执行S4.2.2)，否则不可以直接进行高亮检测。

S4.2.2满足高亮检测的条件后，就开始新手场景的处理，具体的步骤如下：

S4.2.2.1将V通道对应的第二图像进行二值化。

S4.2.2.2对经过二值化处理的第二图像进行轮廓检测，然后根据轮廓的周长和面积进行过滤筛选，对剩余的轮廓计算外接矩形得到高亮区域，按照外接矩形区域的面积进行排序，将排序在前的多个外接矩阵确定为引导高亮区域。

S4.2.2.3操作高亮区域。按照区域面积从小到大的原则，依次针对每一个引导高亮区域进行操作，具体操作步骤包括以下几步：

S4.2.2.3.1首次操作。点击第一个引导高亮区域的中心位置，即点击坐标为x＝(x1+x2)/2，y＝(y1+y2)/2。

S4.2.2.3.2检查操作是否有效。如果操作后场景发生变化，且原来引导高亮区域的亮度发生明显变化，则说明操作有效，否则，需要进行下一步的微调操作。

S4.2.2.3.3微调。从中心位置开始，将引导高亮区域平均分为四个小区域，每个小区域的中心作为一个微调点，另外高亮区域x和y方向的对称轴(分割线)上的四等分点也作为微调点，按照一定的顺序依次操作各个微调点。

S4.2.2.3.4微调有效性判断。每微调一次，都要进行一次操作有效性的判断，如果操作有效，场景发生了切换，则自动停止微调，进入下一个场景的处理流程，如果操作无效，则处理该场景中的下一个引导高亮区域，处理过程同S4.2.2.3.3中的步骤，重复高亮引导类新手识别和处理的步骤。

S5、结束新手引导任务

在满足以下两个条件中的任意一个时，结束新手引导任务：

1)任务超时。新手引导任务可以设置任务超时时长，当时间超时，自动停止新手引导任务，回到正常的场景识别和操作。

2)识别到结束场景。与S3的开始新手引导类似，在新手引导任务处理程序中，监测结束场景，每次操作后进行识别，当使用优化的特征匹配方法在场景图中匹配到S1中标记的结束场景的标识对象，则自动停止新手任务，回到正常场景处理流程。

S6、根据新手引导任务的处理过程生成该新手引导任务测试结果，并根据测试结果对新手引导任务进行调整，以满足不同用户使用新手引导任务的要求。

本发明实施例提供的用户引导任务的处理方法，具有以下有效效果：

1)将新手任务定义为一个阶段性任务，只需要使用UI对象标识两个游戏场景，基于图像识别的方法，当识别到场景对应的标识对象，自动触发或者停止新手引导任务，减少了场景的录制。

2)将新手任务分为手势引导类和高亮引导类，针对不同的引导方式采用了不同的策略；对于手势引导类的新手，一旦识别到开始场景就点击引导对象，过程中支持偏移点击和微调操作，根据初始偏移方向和偏移量设置了最大偏移调整范围和调整步长，解决了动态引导手势和不同设备分辨率导致的操作无效问题；对于高亮引导类的新手，一旦识别到开始场景就对场景图进行亮度检测，检测到高亮区域后，对高亮区域进行筛选，优先级排序，依次进行操作，过程中支持区域细化的微调操作，提高了准确率。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

基于与上述实施例中的用户引导任务的处理方法相同的思想，本发明还提供用户引导任务的处理装置，该装置可用于执行上述用户引导任务的处理方法。为了便于说明，用户引导任务的处理装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

在一个实施例中，如图14所示，用户引导任务的处理装置1400包括处理程序进入模块1401、引导对象识别模块1402、场景切换模块1403和处理程序退出模块1404，详细说明如下：

处理程序进入模块1401，用于当识别到开始场景的标识对象时，进入用户引导任务的处理程序。

引导对象识别模块1402，用于通过所述处理程序，将所述开始场景切换为第一场景，并识别所述第一场景中的引导对象。

场景切换模块1403，用于根据所识别的引导对象，执行至少一次的场景切换操作。

处理程序退出模块1404，用于当所述场景切换操作得到的第二场景中存在结束场景的标识对象时，退出所述处理程序。

本实施例，不需要逐一标记用户引导任务中的所有场景，就可以自动完成用户引导任务，能有效提高用户任务的自动化处理效率。

在一个实施例中，场景切换模块1403，包括：操作位置确定子模块，用于在所述第一场景中，根据位置偏移方式确定目标操作位置；所述位置偏移方式与预先确定的引导方式对应，所述位置偏移方式中包含有所述目标操作位置相对于所述所识别的引导对象的偏移信息；切换操作执行子模块，用于对所述目标操作位置执行场景切换操作。

在一个实施例中，用户引导任务的处理装置1400，还包括：验证结果确定模块，用于确定所述场景切换操作的有效性验证结果；新操作位置确定模块，用于当所述有效性验证结果表示无效时，在所述第一场景中，根据所述位置偏移方式确定新的目标操作位置；对所述新的目标操作位置执行场景切换操作，以将所述第一场景切换为下一场景，得到所述第二场景。

在一个实施例中，验证结果确定模块，还用于判断经过所述场景切换操作之后所述第一场景是否发生变化；当所述第一场景发生变化时，判定所述场景切换操作有效。

在一个实施例中，验证结果确定模块，还用于当所述引导对象为引导手势时；判断经过所述场景切换操作之后所识别的引导手势是否发生变化；当所识别的引导手势发生变化时，判定所述场景切换操作有效。

在一个实施例中，验证结果确定模块，还用于当所述引导对象为引导高亮区域时；判断经过所述场景切换操作之后所识别的引导高亮区域是否发生变化；当所识别的引导高亮区域发生变化时，判定所述场景切换操作有效。

在一个实施例中，所述引导方式为手势引导方式；所述引导对象为引导手势；引导对象识别模块1402，包括：交互手势识别子模块，用于识别所述第一场景中的交互手势；引导手势确定子模块，用于当根据特征匹配方法确定某一交互手势的特征满足特定的条件时，将所述某一交互手势确定为所述引导手势。

在一个实施例中，所述位置偏移方式中的偏移信息包括偏移方向和偏移距离；操作位置确定子模块，还用于在所述第一场景中，根据所述位置偏移方式，从所识别的引导手势出发，向所述偏移方向移动所述偏移距离，将移动后所到达的位置确定为所述目标操作位置。

在一个实施例中，操作位置确定子模块，还用于从所识别的引导手势出发，向横轴方向、纵轴方向、主对角线方向和/或负对角线方向偏移至少一个像素点。

在一个实施例中，所述引导方式为高亮引导方式；所述引导对象为引导高亮区域；引导对象识别模块1402，包括：空间转换子模块，用于将所述第一场景对应的第一图像转化到预先设定的颜色空间；二值化处理子模块，用于若所述第一图像对应的目标通道的均值满足预设条件，对所述目标通道对应的第二图像进行二值化处理；所述目标通道包括所述预先设定的颜色空间中的任意颜色通道；轮廓检测子模块，用于对经过二值化处理的第二图像进行轮廓检测，将检测得到的第一轮廓对应的区域确定为所述引导高亮区域。

在一个实施例中，轮廓检测子模块，包括：周长面积确定单元，用于确定所述第一轮廓的周长和面积；轮廓筛选单元，用于根据所述周长和/或所述面积对所述第一轮廓进行筛选，得到第二轮廓；矩阵排序单元，用于对所述第二轮廓对应的外接矩阵按照面积大小进行排序，将排序在前的外接矩阵确定为所述引导高亮区域。

在一个实施例中，操作位置确定子模块，包括：目标点确定单元，用于在所述第一场景中，根据所述位置偏移方式，确定所识别的引导高亮区域中的目标点；操作位置确定单元，用于将所述目标点对应的位置确定为所述目标操作位置。

在一个实施例中，目标点确定单元，包括：分割线确定子单元，用于根据所述位置偏移方式中的偏移信息确定分割线；区域分割子单元，用于通过所述分割线，将所述所识别的引导高亮区域分割成至少两个小区域；目标点确定子单元，用于将所述分割线上的设定点和/或所述至少两个小区域的中心点，确定为所述目标点。

在一个实施例中，用户引导任务的处理装置1400，还包括：标识对象识别模块，用于在处于待识别场景时，通过特征匹配方法，确定在所述待识别场景中是否识别到开始场景的标识对象；开始场景确定模块，用于当在所述待识别场景中识别到开始场景的标识对象时，将所述待识别场景确定为开始场景。

需要说明的是，本发明的用户引导任务的处理装置与本发明的用户引导任务的处理方法一一对应，在上述用户引导任务的处理方法的实施例阐述的技术特征及其有益效果均适用于用户引导任务的处理装置的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。

此外，上述示例的用户引导任务的处理装置的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述用户引导任务的处理装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。

在一个实施例中，本申请提供的用户引导任务的处理装置可以实现为一种计算机程序的形式，计算机程序可在如图1所示的计算机设备上运行。计算机设备的存储器中可存储组成该用户引导任务的处理装置的各个程序模块，比如，图14所示的处理程序进入模块1401、引导对象识别模块1402、场景切换模块1403和处理程序退出模块1404。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的用户引导任务的处理方法中的步骤。

例如，图1所示的计算机设备可以通过如图14所示的用户引导任务的处理装置中的处理程序进入模块1401执行S201，可通过引导对象识别模块1402执行S202，可通过场景切换模块1403执行S203，可通过处理程序退出模块1404执行S204。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述用户引导任务的处理方法的步骤。此处用户引导任务的处理方法的步骤可以是上述各个实施例的用户引导任务的处理方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述用户引导任务的处理方法的步骤。此处用户引导任务的处理方法的步骤可以是上述各个实施例的用户引导任务的处理方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (24)

1.一种用户引导任务的处理方法，其特征在于，包括：

当识别到开始场景的标识对象时，进入用户引导任务的处理程序；

通过所述处理程序，将所述开始场景切换为第一场景，并识别所述第一场景中的引导对象；

在所述第一场景中，根据位置偏移方式确定目标操作位置；所述位置偏移方式与预先确定的引导方式对应，所述位置偏移方式中包含有所述目标操作位置相对于所述所识别的引导对象的偏移信息；

对所述目标操作位置执行场景切换操作；

当所述场景切换操作得到的第二场景中存在结束场景的标识对象时，退出所述处理程序。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标操作位置执行场景切换操作的步骤之后，还包括：

确定所述场景切换操作的有效性验证结果；

当所述有效性验证结果表示无效时，在所述第一场景中，根据所述位置偏移方式确定新的目标操作位置；对所述新的目标操作位置执行场景切换操作，以将所述第一场景切换为下一场景，得到所述第二场景。

3.根据权利要求2所述的方法，其特征在于，所述确定所述场景切换操作的有效性验证结果的步骤，包括：

判断经过所述场景切换操作之后所述第一场景是否发生变化；当所述第一场景发生变化时，判定所述场景切换操作有效；

和/或，

当所述引导对象为引导手势时；判断经过所述场景切换操作之后所识别的引导手势是否发生变化；当所识别的引导手势发生变化时，判定所述场景切换操作有效；

和/或，

当所述引导对象为引导高亮区域时；判断经过所述场景切换操作之后所识别的引导高亮区域是否发生变化；当所识别的引导高亮区域发生变化时，判定所述场景切换操作有效。

4.根据权利要求1所述的方法，其特征在于，所述引导方式为手势引导方式；所述引导对象为引导手势；

所述识别所述第一场景中的引导对象的步骤，包括：

识别所述第一场景中的交互手势；

当根据特征匹配方法确定某一交互手势的特征满足特定的条件时，将所述某一交互手势确定为所述引导手势。

5.根据权利要求4所述的方法，其特征在于，所述位置偏移方式中的偏移信息包括偏移方向和偏移距离；

所述在所述第一场景中，根据位置偏移方式确定目标操作位置的步骤，包括：

在所述第一场景中，根据所述位置偏移方式，从所识别的引导手势出发，向所述偏移方向移动所述偏移距离，将移动后所到达的位置确定为所述目标操作位置。

6.根据权利要求5所述的方法，其特征在于，所述从所识别的引导手势出发，向所述偏移方向移动所述偏移距离的步骤，包括：

从所识别的引导手势出发，向横轴方向、纵轴方向、主对角线方向和/或负对角线方向偏移至少一个像素点。

7.根据权利要求1所述的方法，其特征在于，所述引导方式为高亮引导方式；所述引导对象为引导高亮区域；

所述识别所述第一场景中的引导对象的步骤，包括：

将所述第一场景对应的第一图像转化到预先设定的颜色空间；

若所述第一图像对应的目标通道的均值满足预设条件，对所述目标通道对应的第二图像进行二值化处理；所述目标通道包括所述预先设定的颜色空间中的任意颜色通道；

对经过二值化处理的第二图像进行轮廓检测，将检测得到的第一轮廓对应的区域确定为所述引导高亮区域。

8.根据权利要求7所述的方法，其特征在于，所述将检测得到的第一轮廓对应的区域确定为所述引导高亮区域的步骤，包括：

确定所述第一轮廓的周长和面积；

根据所述周长和/或所述面积对所述第一轮廓进行筛选，得到第二轮廓；

对所述第二轮廓对应的外接矩阵按照面积大小进行排序，将排序在前的外接矩阵确定为所述引导高亮区域。

9.根据权利要求7所述的方法，其特征在于，所述在所述第一场景中，根据位置偏移方式确定目标操作位置的步骤，包括：

在所述第一场景中，根据所述位置偏移方式，确定所识别的引导高亮区域中的目标点；

将所述目标点对应的位置确定为所述目标操作位置。

10.根据权利要求9所述的方法，其特征在于，所述根据所述位置偏移方式，确定所识别的引导高亮区域中的目标点的步骤，包括：

根据所述位置偏移方式中的偏移信息确定分割线；

通过所述分割线，将所述所识别的引导高亮区域分割成至少两个小区域；

将所述分割线上的设定点和/或所述至少两个小区域的中心点，确定为所述目标点。

11.根据权利要求1所述的方法，其特征在于，所述当识别到开始场景的标识对象时，进入用户引导任务的处理程序的步骤之前，还包括：

在处于待识别场景时，通过特征匹配方法，确定在所述待识别场景中是否识别到开始场景的标识对象；

当在所述待识别场景中识别到开始场景的标识对象时，将所述待识别场景确定为开始场景。

12.一种用户引导任务的处理装置，其特征在于，包括：

处理程序进入模块，用于当识别到开始场景的标识对象时，进入用户引导任务的处理程序；

引导对象识别模块，用于通过所述处理程序，将所述开始场景切换为第一场景，并识别所述第一场景中的引导对象；

场景切换模块，包括操作位置确定子模块和切换操作执行子模块，所述操作位置确定子模块用于在所述第一场景中，根据位置偏移方式确定目标操作位置；所述位置偏移方式与预先确定的引导方式对应，所述位置偏移方式中包含有所述目标操作位置相对于所述所识别的引导对象的偏移信息；所述切换操作执行子模块用于对所述目标操作位置执行场景切换操作；

处理程序退出模块，用于当所述场景切换操作得到的第二场景中存在结束场景的标识对象时，退出所述处理程序。

13.根据权利要求12所述的装置，其特征在于，还包括：

验证结果确定模块，用于确定所述场景切换操作的有效性验证结果；

新操作位置确定模块，用于当所述有效性验证结果表示无效时，在所述第一场景中，根据所述位置偏移方式确定新的目标操作位置；对所述新的目标操作位置执行场景切换操作，以将所述第一场景切换为下一场景，得到所述第二场景。

14.根据权利要求13所述的装置，其特征在于，所述验证结果确定模块还用于判断经过所述场景切换操作之后所述第一场景是否发生变化；当所述第一场景发生变化时，判定所述场景切换操作有效；和/或，当所述引导对象为引导手势时；判断经过所述场景切换操作之后所识别的引导手势是否发生变化；当所识别的引导手势发生变化时，判定所述场景切换操作有效；和/或，当所述引导对象为引导高亮区域时；判断经过所述场景切换操作之后所识别的引导高亮区域是否发生变化；当所识别的引导高亮区域发生变化时，判定所述场景切换操作有效。

15.根据权利要求12所述的装置，其特征在于，所述引导方式为手势引导方式；所述引导对象为引导手势；

所述引导对象识别模块，包括：

交互手势识别子模块，用于识别所述第一场景中的交互手势；

引导手势确定子模块，用于当根据特征匹配装置确定某一交互手势的特征满足特定的条件时，将所述某一交互手势确定为所述引导手势。

16.根据权利要求15所述的装置，其特征在于，所述位置偏移方式中的偏移信息包括偏移方向和偏移距离；

所述操作位置确定子模块，还用于在所述第一场景中，根据所述位置偏移方式，从所识别的引导手势出发，向所述偏移方向移动所述偏移距离，将移动后所到达的位置确定为所述目标操作位置。

17.根据权利要求16所述的装置，其特征在于，所述操作位置确定子模块还用于从所识别的引导手势出发，向横轴方向、纵轴方向、主对角线方向和/或负对角线方向偏移至少一个像素点。

18.根据权利要求12所述的装置，其特征在于，所述引导方式为高亮引导方式；所述引导对象为引导高亮区域；

所述引导对象识别模块，包括：

空间转换子模块，用于将所述第一场景对应的第一图像转化到预先设定的颜色空间；

二值化处理子模块，用于若所述第一图像对应的目标通道的均值满足预设条件，对所述目标通道对应的第二图像进行二值化处理；所述目标通道包括所述预先设定的颜色空间中的任意颜色通道；

轮廓检测子模块，用于对经过二值化处理的第二图像进行轮廓检测，将检测得到的第一轮廓对应的区域确定为所述引导高亮区域。

19.根据权利要求18所述的装置，其特征在于，所述轮廓检测子模块，包括：

周长面积确定单元，用于确定所述第一轮廓的周长和面积；

轮廓筛选单元，用于根据所述周长和/或所述面积对所述第一轮廓进行筛选，得到第二轮廓；

矩阵排序单元，用于对所述第二轮廓对应的外接矩阵按照面积大小进行排序，将排序在前的外接矩阵确定为所述引导高亮区域。

20.根据权利要求18所述的装置，其特征在于，所述操作位置确定子模块，包括：

目标点确定单元，用于在所述第一场景中，根据所述位置偏移方式，确定所识别的引导高亮区域中的目标点；

操作位置确定单元，用于将所述目标点对应的位置确定为所述目标操作位置。

21.根据权利要求20所述的装置，其特征在于，所述目标点确定单元，包括：

分割线确定子单元，用于根据所述位置偏移方式中的偏移信息确定分割线；

区域分割子单元，用于通过所述分割线，将所述所识别的引导高亮区域分割成至少两个小区域；

目标点确定子单元，用于将所述分割线上的设定点和/或所述至少两个小区域的中心点，确定为所述目标点。

22.根据权利要求12所述的装置，其特征在于，还包括：

标识对象识别模块，用于在处于待识别场景时，通过特征匹配装置，确定在所述待识别场景中是否识别到开始场景的标识对象；

开始场景确定模块，用于当在所述待识别场景中识别到开始场景的标识对象时，将所述待识别场景确定为开始场景。

23.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11任一项所述的方法的步骤。

24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任一项所述的方法的步骤。