CN117149266A - 任务处理方法、装置、存储介质以及电子设备 - Google Patents

Abstract

本申请公开了一种任务处理方法、装置、存储介质以及电子设备。涉及人工智能领域。该方法包括：解析用户发送的任务执行指令，得到目标任务和用户的用户信息；在存在用于执行目标任务的目标脚本的情况下，将目标任务和用户信息发送至目标脚本中，检测目标脚本执行的操作；在检测到目标脚本对目标页面下发的操作指令的情况下，暂停目标脚本对目标任务的执行，生成目标页面的页面图像，将页面图像输入目标识别模型中，得到目标页面中的页面信息；根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本，通过更新后的脚本继续执行目标任务。通过本申请，解决了相关技术中在页面发生变化的时候，需要人工对自动化工具脚本进行修改的问题。

Description

任务处理方法、装置、存储介质以及电子设备

技术领域

本申请涉及人工智能领域，具体而言，涉及一种任务处理方法、装置、存储介质以及电子设备。

背景技术

在金融机构的业务流程中，RPA(Robotic Process Automation，自动化工具)已经广泛应用，尤其是在金融、保险和服务行业中。RPA可以提高效率，减少错误，并释放工作人员从重复性劳动中解放出来，从而处理更重要以及更困难的任务。

然而，当前使用的RPA技术依赖于固定的、预先定义的规则和脚本，并且对于页面的更改非常敏感，当网页更新或调整页面元素位置时，可能需要重新编写或调整RPA脚本。这种需要人工参与的过程不仅成本高昂，而且易出错，限制了RPA在动态环境中的应用。

针对相关技术中在页面发生变化的时候，需要人工对自动化工具脚本进行修改的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供一种任务处理方法、装置、存储介质以及电子设备，以解决相关技术中在页面发生变化的时候，需要人工对自动化工具脚本进行修改的问题。

根据本申请的一个方面，提供了一种任务处理方法。该方法包括：解析用户发送的任务执行指令，得到目标任务和用户的用户信息；判断脚本库中是否存在用于执行目标任务的目标脚本，在脚本库中存在目标脚本的情况下，获取目标脚本，将目标任务和用户信息发送至目标脚本中，并检测目标脚本执行的操作，其中，目标脚本用于根据用户信息执行目标任务；在检测到目标脚本对目标页面下发的操作指令的情况下，暂停目标脚本对目标任务的执行，获取操作指令，生成目标页面的页面图像，并将页面图像输入目标识别模型中，得到目标页面中的页面信息；根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本，并通过更新后的脚本继续执行目标任务。

可选地，在脚本库中不存在目标脚本的情况下，该方法还包括：在显示界面显示第一提示信息，其中，第一提示信息用于告知用户目标脚本不存在；响应用户基于第一提示信息反馈的指令信息，在显示界面中显示脚本配置界面，并在脚本配置界面显示目标任务关联的配置指引信息，其中，配置指引信息用于指导用户配置目标脚本。

可选地，根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本包括：确定操作指令指示的操作对象，并从页面信息中获取操作对象在目标页面中的属性信息，其中，属性信息包括位置信息；将属性信息添加至操作指令中，得到更新后的脚本。

可选地，目标识别模型通过以下方式训练得到：获取多个历史页面图像以及每个历史页面图像中的历史页面信息；将多个历史页面图像以及每个历史页面图像中的历史页面信息确定为训练样本，并通过训练样本对初始神经网络模型进行训练，得到目标识别模型。

可选地，在检测目标脚本执行的操作之后，该方法还包括：在检测到目标脚本下发信息填写指令的情况下，接收目标脚本发送的信息获取请求，根据信息获取请求从用户信息中获取执行信息填写操作所需的目标信息，并通过目标信息执行信息填写操作；在用户信息中不存在目标信息的情况下，在显示界面显示第二提示信息，其中，第二提示信息用于指示用户补充用户信息。

可选地，根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本之后，该方法还包括：在目标脚本更新失败的情况下，在显示界面显示告警信息，其中，告警信息指示更新后的脚本更新失败；识别更新后的脚本更新失败的原因，得到异常原因，并分析异常原因对应的解决策略，其中，解决策略用于解决更新失败的问题；响应用户的指令信息，并将异常原因和解决策略显示在显示界面。

可选地，该方法还包括：获取目标识别模型执行多次识别操作的识别速度和识别结果，并通过识别速度和识别结果计算目标识别模型的平均识别速度和识别准确率；在平均识别速度低于预设速度，或识别准确率低于预设准确率的情况下，通过识别结果为识别错误的历史页面以及历史页面中的历史页面信息对目标识别模型进行更新，得到更新后的目标识别模型。

根据本申请的另一方面，提供了一种任务处理装置。该装置包括：解析单元，用于解析用户发送的任务执行指令，得到目标任务和用户的用户信息；检测单元，用于检测判断脚本库中是否存在用于执行目标任务的目标脚本，在脚本库中存在目标脚本的情况下，获取目标脚本，将目标任务和用户信息发送至目标脚本中，并检测目标脚本执行的操作，其中，目标脚本用于根据用户信息执行目标任务；识别单元，用于在检测到目标脚本对目标页面下发的操作指令的情况下，暂停目标脚本对目标任务的执行，获取操作指令，生成目标页面的页面图像，并将页面图像输入目标识别模型中，得到目标页面中的页面信息；第一更新单元，用于根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本，并通过更新后的脚本继续执行目标任务。

根据本发明的另一方面，还提供了一种计算机存储介质，计算机存储介质用于存储程序，其中，程序运行时控制计算机存储介质所在的设备执行一种任务处理方法。

根据本发明的另一方面，还提供了一种电子设备，包含一个或多个处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种任务处理方法。

通过本申请，采用以下步骤：解析用户发送的任务执行指令，得到目标任务和用户的用户信息；判断脚本库中是否存在用于执行目标任务的目标脚本，在脚本库中存在目标脚本的情况下，获取目标脚本，将目标任务和用户信息发送至目标脚本中，并检测目标脚本执行的操作，其中，目标脚本用于根据用户信息执行目标任务；在检测到目标脚本对目标页面下发的操作指令的情况下，暂停目标脚本对目标任务的执行，获取操作指令，生成目标页面的页面图像，并将页面图像输入目标识别模型中，得到目标页面中的页面信息；根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本，并通过更新后的脚本继续执行目标任务。解决了相关技术中在页面发生变化的时候，需要人工对自动化工具脚本进行修改的问题。在进行任务执行的时候，获取与任务相关的执行脚本，并在检测到目标脚本对目标页面下发的操作指令的时候，将目标页面的图像输入模型中，通过模型对页面中的信息进行识别，并通过识别后的页面信息对脚本进行修改，也即将参数输入至脚本中，从而使得目标脚本可以根据页面信息确定操作内容，并继续进行后续操作，进而达到了通过模型识别页面的方法自动对脚本中的内容进行修改，从而无需人工介入修改脚本的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的任务处理方法的流程图；

图2是根据本申请实施例提供的可选的脚本更新方法的流程图；

图3是根据本申请实施例提供的任务处理装置的示意图；

图4为根据本申请实施例提供的一种电子设备的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。

需要说明的是，本公开所确定的任务处理方法、装置、存储介质以及电子设备可用于人工智能领域，也可用于除人工智能领域之外的任意领域，本公开所确定的任务处理方法、装置、存储介质以及电子设备的应用领域不做限定。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关规定和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：

RPA：Robotic Process Automation，自动化工具，用于模拟人类用户的行为，自动执行预定义的任务，如点击按钮、填写表单等。

多模态大模型：一种人工智能模型，具有处理和理解多种数据类型(如文本、图像、音频等)的能力。

页面元素：在网页上的可交互对象，如按钮、输入框、链接等。

根据本申请的实施例，提供了一种任务处理方法。

图1是根据本申请实施例的任务处理方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，解析用户发送的任务执行指令，得到目标任务和用户的用户信息。

具体的，目标任务可以为用户使用自动化工具执行的某个业务，例如在某个系统中完成登录操作，在用户需要使用RPA脚本执行某个任务的时候，需要向RPA脚本管理系统发送任务执行指令，RPA脚本管理系统在接收到任务执行指令后，需要解析任务执行指令，得到目标任务以及发送该指令的目标用户的用户信息。

需要说明的是，在RPA脚本执行到某个步骤，例如登录步骤的时候，可能存在填写用户信息的步骤，此时，可以将用户信息填写至运行登录步骤的设备的登录界面，从而完成登录步骤，其中，用户信息可以为用户账户名称、姓名、密码等信息。

进一步的，由于本申请中执行的任务可以为金融机构中的相关业务，因此，金融机构，例如银行中执行的业务大多涉及到大量的敏感信息，如用户个人信息、账户信息等。因此，在进行用户信息的获取和传输的时候，需要在设计和实施RPA脚本时充分考虑安全性和隐私保护。例如，可以使用数据加密、访问控制等技术来保护数据安全。同时，需要确保模型在处理敏感信息时符合相关的数据保护规定，从而保证用户数据的安全性以及业务执行的安全性。

步骤S102，判断脚本库中是否存在用于执行目标任务的目标脚本，在脚本库中存在目标脚本的情况下，获取目标脚本，将目标任务和用户信息发送至目标脚本中，并检测目标脚本执行的操作，其中，目标脚本用于根据用户信息执行目标任务。

具体的，RPA脚本管理系统在接收到任务执行指令后，需要判断脚本库中是否存在用于执行目标任务的目标脚本，从而可以确定能否通过目标脚本执行该任务，在脚本库中存在目标脚本的情况下，获取目标脚本，同时需要将目标任务，以及与目标任务相关的用户信息发送至目标脚本中，从而使得目标脚本可以执行目标任务，并在目标任务执行到需要输入用户信息的步骤的情况下，可以直接使用用户信息进行步骤的执行，从而保证目标任务可以顺利的执行。

进一步的，在目标脚本执行目标任务的时候，可以监控目标脚本的任务执行情况以及执行的步骤，例如，可以通过检测目标脚本运行日志的方式检测目标脚本正在执行的操作，从而可以确定脚本的执行状态。

步骤S103，在检测到目标脚本对目标页面下发的操作指令的情况下，暂停目标脚本对目标任务的执行，获取操作指令，生成目标页面的页面图像，并将页面图像输入目标识别模型中，得到目标页面中的页面信息。

具体的，操作指令可以为点击指令，在检测到目标脚本对目标页面下发操作指令的情况下，由于目标页面可能存在更新操作，使得目标脚本中记载的操作指令对应的操作对象的位置信息发生变化，导致无法正确的下发操作指令，因此，为了准确的确定需要进行的操作指令的对象的位置信息，则可以先暂停目标脚本对目标任务的执行，并获取操作指令，从而确定操作指令指示的操作对象，同时生成目标页面的页面图像，例如，可以通过截图的方式获取页面图像，并在获取到页面图像后，将页面图像输入目标识别模型中，通过目标识别模型对目标页面中的页面元素进行识别，得到页面信息，其中，页面信息中可以包括页面元素以及页面元素的位置信息，从而确定操作指令对应的操作对象的位置信息。

例如，在目标任务为登录某个业务系统，并在业务系统办理贷款业务的情况下，目标脚本中设置的即将进行的操作指令为：点击目标页面中的贷款按键，但是，由于贷款按键在目标页面中的位置可能发生变更，因此需要获取目标页面的页面图像，并将页面图像发送至目标识别模型中，从而识别页面中的元素，以及每个元素的位置，从而可以通过识别结果对目标脚本进行修改，进而正确的下发操作指令。

例如，贷款按键的位置为(10，10)，则可以将(10，10)添加至目标脚本中，使得目标脚本在进行点击操作的时候，点击的位置为(10，10)，从而保证目标脚本可以正确的点击到对应的按键。

步骤S104，根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本，并通过更新后的脚本继续执行目标任务。

具体的，在得到页面信息后，可以通过页面信息对目标脚本进行更新，使得目标脚本中执行点击操作的代码中的点击坐标更新为最新坐标位置，从而使用更新后的目标脚本执行点击操作，从而保证点击操作能够点击到正确的位置，并且在完成更新后，由于目标脚本的其余代码并未发生改动，因此，可以继续通过更新后的目标脚本继续完成目标任务的后续操作步骤，从而完成目标任务。

例如，在得到点击对象的位置信息后，可将点击对象的位置信息添加至目标脚本中，使得目标脚本在对点击对象进行点击的时候，可以点击到准确的位置，从而保证点击操作的正常执行。

本申请实施例提供的任务处理方法，通过解析用户发送的任务执行指令，得到目标任务和用户的用户信息；判断脚本库中是否存在用于执行目标任务的目标脚本，在脚本库中存在目标脚本的情况下，获取目标脚本，将目标任务和用户信息发送至目标脚本中，并检测目标脚本执行的操作，其中，目标脚本用于根据用户信息执行目标任务；在检测到目标脚本对目标页面下发的操作指令的情况下，暂停目标脚本对目标任务的执行，获取操作指令，生成目标页面的页面图像，并将页面图像输入目标识别模型中，得到目标页面中的页面信息；根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本，并通过更新后的脚本继续执行目标任务。解决了相关技术中在页面发生变化的时候，需要人工对自动化工具脚本进行修改的问题。在进行任务执行的时候，获取与任务相关的执行脚本，并在检测到目标脚本对目标页面下发的操作指令的时候，将目标页面的图像输入模型中，通过模型对页面中的信息进行识别，并通过识别后的页面信息对脚本进行修改，也即将参数输入至脚本中，从而使得目标脚本可以根据页面信息确定操作内容，并继续进行后续操作，进而达到了通过模型识别页面的方法自动对脚本中的内容进行修改，从而无需人工介入修改脚本的效果。

为了协助用户更便捷的配置脚本，可选地，在本申请实施例提供的任务处理方法中，在脚本库中不存在目标脚本的情况下，该方法还包括：在显示界面显示第一提示信息，其中，第一提示信息用于告知用户目标脚本不存在；响应用户基于第一提示信息反馈的指令信息，在显示界面中显示脚本配置界面，并在脚本配置界面显示目标任务关联的配置指引信息，其中，配置指引信息用于指导用户配置目标脚本。

具体的，在脚本库中不存在目标脚本的情况下，需要通过人工的方式配置对应的目标脚本，首先，需要向用户发送提示信息，从而告知用户不存在目标脚本，在响应用户基于第一提示信息反馈的指令信息后，表征用户需要开始进行目标脚本配置操作，此时，需要在显示界面中显示脚本配置界面，同时需要根据目标任务显示相关的指引信息，从而帮助用户完成目标脚本的配置操作。

例如，在接收到用户反馈的指令信息后，需要提供一个简洁、直观的配置界面，使非技术人员也能轻松地创建和修改RPA脚本。用户可以在配置界面中指定任务的基本流程和模型参数，如页面元素类型、操作顺序等。脚本配置界面可以包含位于页面右侧的对话栏，用户可通过自然语言询问模型如何配置某一任务或场景下的RPA脚本，可通过语言指引用户完成RPA脚本配置，并提供一键使用能力，将模型提供的实现路径复制进当前用户的脚本配置页面，降低用户配置脚本的操作步骤。

同样的，在执行自动化任务的过程中，模型可能会遇到困难或出现错误。在这种情况下，可以在配置界面中设置模型解释性工具，模型解释性工具可以帮助开发人员理解模型的决策过程，找出问题并进行修复。此外，模型解释性工具也可以增强用户对自动化流程的信任，因为他们可以看到模型是如何做出决策的。

可选地，图2是根据本申请实施例提供的可选的脚本更新方法的流程图，如图2所示，在本申请实施例提供的任务处理方法中，步骤S104中，根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本包括：

步骤S201，确定操作指令指示的操作对象，并从页面信息中获取操作对象在目标页面中的属性信息，其中，属性信息包括位置信息。

步骤S202，将属性信息添加至操作指令中，得到更新后的脚本。

具体的，在对目标脚本进行更新的时候，页面信息可以为操作对象的位置信息，在通过模型获取到页面信息后，可以从页面信息中获取到操作对象的相关信息，并从相关信息中获取位置信息，并将位置信息添加至目标脚本中，从而使得目标脚本在执行操作的时候，可以根据位置信息确定需要执行操作的操作对象的位置，并正确的完成相应的操作。

例如，操作指令为：点击目标界面中的“跳过”按钮，此时，需要先通过识别模型识别目标页面，得到页面信息，并在页面信息中获取“跳过”按钮所在的位置，例如(A，B)，并将位置信息添加至目标脚本中，使得目标脚本可根据位置信息点击“跳过”按钮。

为了提高模型的准确度，可选地，在本申请实施例提供的任务处理方法中，目标识别模型通过以下方式训练得到：获取多个历史页面图像以及每个历史页面图像中的历史页面信息；将多个历史页面图像以及每个历史页面图像中的历史页面信息确定为训练样本，并通过训练样本对初始神经网络模型进行训练，得到目标识别模型。

具体的，目标识别模型可以为多模态大模型，在进行模型训练的时候，可以使用多个页面的图像，以及每个页面图像中的信息作为训练样本对模型进行训练，从而使得模型可根据页面图像获取到页面信息。

需要说明的是，随着业务和任务的数量不断增多，需要定期更新目标识别模型，以适应新的网页设计和技术变化。此外，收集用户反馈，不断优化模型性能和准确性。

例如，在金融机构中，业务流程可能会经常变化。因此，需要定期更新多模态大模型以适应这些变化。模型更新可以包括添加新的页面元素识别功能、更新金融术语库、调整模型以适应新的业务流程等。此外，金融机构可以建立一个反馈机制，让员工报告RPA脚本在执行过程中遇到的问题，以便不断优化模型性能和准确性。

可选地，在本申请实施例提供的任务处理方法中，在检测目标脚本执行的操作之后，该方法还包括：在检测到目标脚本下发信息填写指令的情况下，接收目标脚本发送的信息获取请求，根据信息获取请求从用户信息中获取执行信息填写操作所需的目标信息，并通过目标信息执行信息填写操作；在用户信息中不存在目标信息的情况下，在显示界面显示第二提示信息，其中，第二提示信息用于指示用户补充用户信息。

具体的，在检测到目标脚本下发信息填写指令的情况下，表征目标脚本需要将用户信息填入执行业务流程中的某个步骤环节中，此时，需要接收目标脚本发送的信息获取请求，根据信息获取请求从用户信息中获取执行信息填写操作所需的目标信息，并将目标信息发送至目标脚本中，使得目标脚本可以通过目标信息执行信息填写操作，从而完成信息填写操作。

需要说明的是，在用户信息中不存在目标信息的情况下，表征用户信息不完整，因此需要在显示界面显示第二提示信息，使得用户可以根据提示信息中显示的内容对用户信息进行补充，从而完成信息填写操作。

可选地，在本申请实施例提供的任务处理方法中，根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本之后，该方法还包括：在目标脚本更新失败的情况下，在显示界面显示告警信息，其中，告警信息指示更新后的脚本更新失败；识别更新后的脚本更新失败的原因，得到异常原因，并分析异常原因对应的解决策略，其中，解决策略用于解决更新失败的问题；响应用户的指令信息，并将异常原因和解决策略显示在显示界面。

具体的，在对目标脚本进行更新后，可能会出现更新失败的情况，此时，需要确定更新失败的原因，并将失败原因以及解决策略显示在显示界面中，使得用户可以获取到失败原因以及解决策略，并在将问题解决后，重新对目标脚本进行更新，使得目标脚本可以完成目标任务的执行。

可选地，在本申请实施例提供的任务处理方法中，该方法还包括：获取目标识别模型执行多次识别操作的识别速度和识别结果，并通过识别速度和识别结果计算目标识别模型的平均识别速度和识别准确率；在平均识别速度低于预设速度，或识别准确率低于预设准确率的情况下，通过识别结果为识别错误的历史页面以及历史页面中的历史页面信息对目标识别模型进行更新，得到更新后的目标识别模型。

具体的，在使用目标识别模型的时候，可以统计每次使用目标识别模型时的识别速度和识别结果，并根据识别速度和识别结果确定模型的性能，并根据模型性能对模型进行优化更新，从而提高模型的运行效率以及识别准确率，进而保证目标脚本能够正常的运行，保证目标任务的正常执行。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种任务处理装置，需要说明的是，本申请实施例的任务处理装置可以用于执行本申请实施例所提供的用于任务处理方法。以下对本申请实施例提供的任务处理装置进行介绍。

图3是根据本申请实施例提供的任务处理装置的示意图。如图3所示，该装置包括：解析单元31，检测单元32，识别单元33，第一更新单元34。

解析单元31，用于解析用户发送的任务执行指令，得到目标任务和用户的用户信息。

检测单元32，用于检测判断脚本库中是否存在用于执行目标任务的目标脚本，在脚本库中存在目标脚本的情况下，获取目标脚本，将目标任务和用户信息发送至目标脚本中，并检测目标脚本执行的操作，其中，目标脚本用于根据用户信息执行目标任务。

识别单元33，用于在检测到目标脚本对目标页面下发的操作指令的情况下，暂停目标脚本对目标任务的执行，获取操作指令，生成目标页面的页面图像，并将页面图像输入目标识别模型中，得到目标页面中的页面信息。

第一更新单元34，用于根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本，并通过更新后的脚本继续执行目标任务。

本申请实施例提供的任务处理装置，通过解析单元31解析用户发送的任务执行指令，得到目标任务和用户的用户信息；检测单元32检测判断脚本库中是否存在用于执行目标任务的目标脚本，在脚本库中存在目标脚本的情况下，获取目标脚本，将目标任务和用户信息发送至目标脚本中，并检测目标脚本执行的操作，其中，目标脚本用于根据用户信息执行目标任务；识别单元33在检测到目标脚本对目标页面下发的操作指令的情况下，暂停目标脚本对目标任务的执行，获取操作指令，生成目标页面的页面图像，并将页面图像输入目标识别模型中，得到目标页面中的页面信息；第一更新单元34根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本，并通过更新后的脚本继续执行目标任务。解决了相关技术中在页面发生变化的时候，需要人工对自动化工具脚本进行修改的问题。在进行任务执行的时候，获取与任务相关的执行脚本，并在检测到目标脚本对目标页面下发的操作指令的时候，将目标页面的图像输入模型中，通过模型对页面中的信息进行识别，并通过识别后的页面信息对脚本进行修改，也即将参数输入至脚本中，从而使得目标脚本可以根据页面信息确定操作内容，并继续进行后续操作，进而达到了通过模型识别页面的方法自动对脚本中的内容进行修改，从而无需人工介入修改脚本的效果。

可选地，在本申请实施例提供的任务处理装置中，在脚本库中不存在目标脚本的情况下，该装置还包括：第一显示单元，用于在显示界面显示第一提示信息，其中，第一提示信息用于告知用户目标脚本不存在；响应单元，用于响应用户基于第一提示信息反馈的指令信息，在显示界面中显示脚本配置界面，并在脚本配置界面显示目标任务关联的配置指引信息，其中，配置指引信息用于指导用户配置目标脚本。

可选地，在本申请实施例提供的任务处理装置中，第一更新单元34包括：确定模块，用于确定操作指令指示的操作对象，并从页面信息中获取操作对象在目标页面中的属性信息，其中，属性信息包括位置信息；添加模块，用于将属性信息添加至操作指令中，得到更新后的脚本。

可选地，在本申请实施例提供的任务处理装置中，目标识别模型通过以下方式训练得到：第一获取单元，用于获取多个历史页面图像以及每个历史页面图像中的历史页面信息；训练单元，用于将多个历史页面图像以及每个历史页面图像中的历史页面信息确定为训练样本，并通过训练样本对初始神经网络模型进行训练，得到目标识别模型。

可选地，在本申请实施例提供的任务处理装置中，该装置还包括：第二获取单元，用于在检测到目标脚本下发信息填写指令的情况下，接收目标脚本发送的信息获取请求，根据信息获取请求从用户信息中获取执行信息填写操作所需的目标信息，并通过目标信息执行信息填写操作；第二显示单元，用于在用户信息中不存在目标信息的情况下，在显示界面显示第二提示信息，其中，第二提示信息用于指示用户补充用户信息。

可选地，在本申请实施例提供的任务处理装置中，该装置还包括：第三显示单元，用于在目标脚本更新失败的情况下，在显示界面显示告警信息，其中，告警信息指示更新后的脚本更新失败；分析单元，用于识别更新后的脚本更新失败的原因，得到异常原因，并分析异常原因对应的解决策略，其中，解决策略用于解决更新失败的问题；第四显示单元，用于响应用户的指令信息，并将异常原因和解决策略显示在显示界面。

可选地，在本申请实施例提供的任务处理装置中，该装置还包括：第三获取单元，用于获取目标识别模型执行多次识别操作的识别速度和识别结果，并通过识别速度和识别结果计算目标识别模型的平均识别速度和识别准确率；第二更新单元，用于在平均识别速度低于预设速度，或识别准确率低于预设准确率的情况下，通过识别结果为识别错误的历史页面以及历史页面中的历史页面信息对目标识别模型进行更新，得到更新后的目标识别模型。

上述任务处理装置包括处理器和存储器，上述解析单元31，检测单元32，识别单元33，第一更新单元34等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决了相关技术中在页面发生变化的时候，需要人工对自动化工具脚本进行修改的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述任务处理方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述任务处理方法。

图4为根据本申请实施例提供的一种电子设备的示意图，如图4所示，本发明实施例提供了一种电子设备，电子设备40包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：解析用户发送的任务执行指令，得到目标任务和用户的用户信息；判断脚本库中是否存在用于执行目标任务的目标脚本，在脚本库中存在目标脚本的情况下，获取目标脚本，将目标任务和用户信息发送至目标脚本中，并检测目标脚本执行的操作，其中，目标脚本用于根据用户信息执行目标任务；在检测到目标脚本对目标页面下发的操作指令的情况下，暂停目标脚本对目标任务的执行，获取操作指令，生成目标页面的页面图像，并将页面图像输入目标识别模型中，得到目标页面中的页面信息；根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本，并通过更新后的脚本继续执行目标任务。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：解析用户发送的任务执行指令，得到目标任务和用户的用户信息；判断脚本库中是否存在用于执行目标任务的目标脚本，在脚本库中存在目标脚本的情况下，获取目标脚本，将目标任务和用户信息发送至目标脚本中，并检测目标脚本执行的操作，其中，目标脚本用于根据用户信息执行目标任务；在检测到目标脚本对目标页面下发的操作指令的情况下，暂停目标脚本对目标任务的执行，获取操作指令，生成目标页面的页面图像，并将页面图像输入目标识别模型中，得到目标页面中的页面信息；根据操作指令和页面信息对目标脚本进行更新，得到更新后的脚本，并通过更新后的脚本继续执行目标任务。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种任务处理方法，其特征在于，包括：

解析用户发送的任务执行指令，得到目标任务和所述用户的用户信息；

判断脚本库中是否存在用于执行所述目标任务的目标脚本，在所述脚本库中存在所述目标脚本的情况下，获取所述目标脚本，将所述目标任务和所述用户信息发送至所述目标脚本中，并检测所述目标脚本执行的操作，其中，所述目标脚本用于根据所述用户信息执行所述目标任务；

在检测到所述目标脚本对目标页面下发的操作指令的情况下，暂停所述目标脚本对所述目标任务的执行，获取所述操作指令，生成所述目标页面的页面图像，并将所述页面图像输入目标识别模型中，得到所述目标页面中的页面信息；

根据所述操作指令和所述页面信息对所述目标脚本进行更新，得到更新后的脚本，并通过所述更新后的脚本继续执行所述目标任务。

2.根据权利要求1所述的方法，其特征在于，在所述脚本库中不存在所述目标脚本的情况下，所述方法还包括：

在显示界面显示第一提示信息，其中，所述第一提示信息用于告知所述用户所述目标脚本不存在；

响应所述用户基于所述第一提示信息反馈的指令信息，在所述显示界面中显示脚本配置界面，并在所述脚本配置界面显示所述目标任务关联的配置指引信息，其中，所述配置指引信息用于指导所述用户配置所述目标脚本。

3.根据权利要求1所述的方法，其特征在于，根据所述操作指令和所述页面信息对所述目标脚本进行更新，得到更新后的脚本包括：

确定所述操作指令指示的操作对象，并从所述页面信息中获取所述操作对象在所述目标页面中的属性信息，其中，所述属性信息包括位置信息；

将所述属性信息添加至所述操作指令中，得到所述更新后的脚本。

4.根据权利要求1所述的方法，其特征在于，所述目标识别模型通过以下方式训练得到：

获取多个历史页面图像以及每个历史页面图像中的历史页面信息；

将所述多个历史页面图像以及每个历史页面图像中的历史页面信息确定为训练样本，并通过所述训练样本对初始神经网络模型进行训练，得到所述目标识别模型。

5.根据权利要求1所述的方法，其特征在于，在检测所述目标脚本执行的操作之后，所述方法还包括：

在检测到所述目标脚本下发信息填写指令的情况下，接收所述目标脚本发送的信息获取请求，根据所述信息获取请求从所述用户信息中获取执行信息填写操作所需的目标信息，并通过所述目标信息执行所述信息填写操作；

在所述用户信息中不存在所述目标信息的情况下，在显示界面显示第二提示信息，其中，所述第二提示信息用于指示所述用户补充用户信息。

6.根据权利要求1所述的方法，其特征在于，根据所述操作指令和所述页面信息对所述目标脚本进行更新，得到更新后的脚本之后，所述方法还包括：

在所述目标脚本更新失败的情况下，在显示界面显示告警信息，其中，所述告警信息指示所述更新后的脚本更新失败；

识别更新后的脚本更新失败的原因，得到异常原因，并分析所述异常原因对应的解决策略，其中，所述解决策略用于解决更新失败的问题；

响应所述用户的指令信息，并将所述异常原因和所述解决策略显示在所述显示界面。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标识别模型执行多次识别操作的识别速度和识别结果，并通过所述识别速度和所述识别结果计算所述目标识别模型的平均识别速度和识别准确率；

在所述平均识别速度低于预设速度，或所述识别准确率低于预设准确率的情况下，通过所述识别结果为识别错误的历史页面以及所述历史页面中的历史页面信息对所述目标识别模型进行更新，得到更新后的目标识别模型。

8.一种任务处理装置，其特征在于，包括：

解析单元，用于解析用户发送的任务执行指令，得到目标任务和所述用户的用户信息；

检测单元，用于检测判断脚本库中是否存在用于执行所述目标任务的目标脚本，在所述脚本库中存在所述目标脚本的情况下，获取所述目标脚本，将所述目标任务和所述用户信息发送至所述目标脚本中，并检测所述目标脚本执行的操作，其中，所述目标脚本用于根据所述用户信息执行所述目标任务；

识别单元，用于在检测到所述目标脚本对目标页面下发的操作指令的情况下，暂停所述目标脚本对所述目标任务的执行，获取所述操作指令，生成所述目标页面的页面图像，并将所述页面图像输入目标识别模型中，得到所述目标页面中的页面信息；

第一更新单元，用于根据所述操作指令和所述页面信息对所述目标脚本进行更新，得到更新后的脚本，并通过所述更新后的脚本继续执行所述目标任务。

9.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序，其中，所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的任务处理方法。

10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的任务处理方法。