CN116680245A - 任务处理方法、数据补充方法以及任务处理系统 - Google Patents

Abstract

本说明书实施例提供任务处理方法、数据补充方法以及任务处理系统，其中所述任务处理方法包括：响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。利用任务处理模型更好地适应数据湖中不同的任务，减少重复的流程开发，通过数据检索提升了模型处理性能，进一步提高了任务处理效率，减少了计算量的消耗。

Description

任务处理方法、数据补充方法以及任务处理系统

技术领域

本说明书实施例涉及计算机技术领域，特别涉及任务处理方法。本说明书一个或者多个实施例同时涉及一种数据补充方法，一种任务处理系统，任务处理装置，一种数据补充装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序。

背景技术

随着计算机技术的发展，企业和个人用户产生的数据呈爆炸式增长。数据湖(DataLake)是一个以原始格式存储数据的存储系统，可以按原样存储数据，无需事先对数据进行结构化处理。如何对数据湖中的大量数据进行高效处理，逐渐成为研究重点。

目前，用户可以通过控制台搜索和浏览数据湖中的数据集，然而，面对数据湖中大量未知结构、内容和数据质量的数据集，用户自行搜索和浏览数据效率极低，因此，亟需一种高效的数据处理方案。

发明内容

有鉴于此，本说明书实施例提供了任务处理方法。本说明书一个或者多个实施例同时涉及一种数据补充方法，一种任务处理系统，任务处理装置，一种数据补充装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种任务处理方法，包括：

响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；

将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；

将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；

将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。

根据本说明书实施例的第二方面，提供了一种任务处理方法，应用于云侧设备，该方法包括：

响应于端侧设备发送的针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；

将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；

将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；

将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果；

向端侧设备发送任务处理请求对应的任务处理结果。

根据本说明书实施例的第三方面，提供了一种数据补充方法，包括：

响应于针对数据湖的数据补充请求，获取数据补充请求对应的任务处理数据，其中，数据补充请求携带目标数据补充任务的任务属性信息；

将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标数据补充任务的参考数据；

将任务属性信息和参考数据输入任务处理模型中的转换单元，获得数据补充请求对应的目标处理数据；

将目标处理数据输入任务处理模型中的处理单元，获得数据补充请求对应的数据补充结果。

根据本说明书实施例的第四方面，提供了一种任务处理系统，包括数据处理组件和任务处理组件；

数据处理组件，被配置为响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；将目标任务的参考数据发送至任务处理组件；

任务处理组件，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。

根据本说明书实施例的第五方面，提供了一种任务处理装置，包括：

第一获取模块，被配置为响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；

第一输入模块，被配置为将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；

第二输入模块，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；

第三输入模块，被配置为将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。

根据本说明书实施例的第六方面，提供了一种任务处理装置，应用于云侧设备，该装置包括：

第二获取模块，被配置为响应于端侧设备发送的针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；

第四输入模块，被配置为将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；

第五输入模块，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；

第六输入模块，被配置为将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果；

发送模块，被配置为向端侧设备发送任务处理请求对应的任务处理结果。

根据本说明书实施例的第七方面，提供了一种数据补充装置，包括：

第三获取模块，被配置为响应于针对数据湖的数据补充请求，获取数据补充请求对应的任务处理数据，其中，数据补充请求携带目标数据补充任务的任务属性信息；

第七输入模块，被配置为将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标数据补充任务的参考数据；

第八输入模块，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得数据补充请求对应的目标处理数据；

第九输入模块，被配置为将目标处理数据输入任务处理模型中的处理单元，获得数据补充请求对应的数据补充结果。

根据本说明书实施例的第八方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。

根据本说明书实施例的第九方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。

根据本说明书实施例的第十方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述第一方面或者第二方面或者第三方面所提供方法的步骤。

本说明书一个实施例提供的任务处理方法，响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。通过利用任务处理模型的语言理解能力和跨任务能力，更好地适应数据湖中不同的任务，减少重复的流程开发，并且，在任务处理过程中充分考虑了数据湖下的各种数据组织结构，通过利用任务处理模型进行数据检索，一方面提取了与目标任务相关的信息，提升了模型处理性能，进一步提高了任务处理效率，另一方面过滤了无效信息，减少了计算量的消耗，降低了任务处理模型的使用成本。

附图说明

图1是本说明书一个实施例提供的一种任务处理系统的架构图；

图2是本说明书一个实施例提供的另一种任务处理系统的架构图；

图3是本说明书一个实施例提供的一种任务处理方法的流程图；

图4是本说明书一个实施例提供的另一种任务处理方法的流程图；

图5是本说明书一个实施例提供的一种数据补充方法的流程图；

图6是本说明书一个实施例提供的一种任务处理系统的框架图；

图7是本说明书一个实施例提供的一种任务处理方法的处理过程流程图；

图8是本说明书一个实施例提供的一种数据补充方法的处理过程流程图；

图9是本说明书一个实施例提供的一种任务处理界面的界面示意图；

图10是本说明书一个实施例提供的一种任务处理装置的结构示意图；

图11是本说明书一个实施例提供的另一种任务处理装置的结构示意图；

图12是本说明书一个实施例提供的一种数据补充装置的结构示意图；

图13是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

此外，需要说明的是，本说明书一个或多个实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

数据湖：数据湖是一个集中存储区，用于存储、处理和保护大量结构化、半结构化和非结构化数据。数据湖可以非常快速地摄取数据，然后在用户访问时动态准备数据。

大语言模型：大语言模型(LLM，Large Language Mode l)是一种人工智能系统，它在大量文本数据上进行训练以学习语言结构。在自然语言处理领域预先训练得到大规模的语言模型，在下游任务中通过参数微调或者提示学习可以取得优秀的表现效果。下游任务可以是多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的一条重要途径。

提示学习：基于提示的学习是可以用来使用大语言模型的一种策略，提示学习的方法无需对模型进行参数更新，因此同一模型可以用于不同的任务而无需重新训练。

数据湖是一个以原始格式存储数据的存储系统，它可以按原样存储数据，无需事先对数据进行结构化处理。数据湖可以存储结构化数据、半结构化数据、非结构化数据以及二进制数据等。随着企业和个人用户产生的数据呈爆炸式增长，数据湖面临如何支持对具有未知结构、内容和数据质量的大量数据集合进行数据发现、提取、清理和集成的问题。

目前，通常可以通过以下几种方式进行数据处理：第一种，通过部署一个可以管理特定数据子集的控制台，用户可以访问该控制台来搜索和浏览满足其项目需求的可用数据集。第二种，部署基于分析和机器学习优化工作负载、使用户能够查看跨云和瞬态集群的数据沿袭、具有跨混合和多云环境的单一管理平台。第三种，提供无服务器的托管的企业数据仓，使组织能够通过在托管、列式存储以及来自对象存储和电子表格的数据上创建逻辑数据仓库来分析数据。第四种，提供专为云环境而设计的可以使用户存储任何大小、形状和速度的数据的方案，该方案还可以跨平台和语言进行数据处理和分析。

然而，上述方案在数据处理过程中，面对数据湖中大量未知结构、内容和数据质量的数据集，用户自行处理的效率极低，机器学习模型的效果和性能都受到限制。并且，基于机器学习模型的方案通常需要为特定场景和特定任务设计相应的模型，使得通过机器学习模型推理的成本也会很高。

为了解决上述问题，本方案基于大语言模型的跨任务泛化能力，提出了一个针对数据湖场景，通过数据检索增强性能的基于大语言模型的跨任务统一解决框架，适用于数据湖中的各种数据任务。具体地，响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。通过利用任务处理模型的语言理解能力和跨任务能力，更好地适应数据湖中不同的任务，减少重复的流程开发，并且，在任务处理过程中充分考虑了数据湖下的各种数据组织结构，通过利用任务处理模型进行数据检索，一方面提取了与目标任务相关的信息，提升了模型处理性能，进一步提高了任务处理效率，另一方面过滤了无效信息，减少了计算量的消耗，降低了任务处理模型的使用成本。

在本说明书中，提供了任务处理方法，本说明书同时涉及一种数据补充方法，一种任务处理系统，任务处理装置，一种数据补充装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。

参见图1，图1示出了本说明书一个实施例提供的一种任务处理系统的架构图，任务处理系统，包括客户端100和服务端200；

客户端100，被配置为向服务端200发送针对数据湖的任务处理请求，其中，任务处理请求携带目标任务的任务属性信息；

服务端200，被配置为响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据；将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果；将所述任务处理结果发送至客户端100；

客户端100还被配置为接收服务端200发送的任务处理结果。

应用本说明书实施例的方案，通过利用任务处理模型的语言理解能力和跨任务能力，更好地适应数据湖中不同的任务，减少重复的流程开发，并且，在任务处理过程中充分考虑了数据湖下的各种数据组织结构，通过利用任务处理模型进行数据检索，一方面提取了与目标任务相关的信息，提升了模型处理性能，进一步提高了任务处理效率，另一方面过滤了无效信息，减少了计算量的消耗，降低了任务处理模型的使用成本。

参见图2，图2示出了本说明书一个实施例提供的另一种任务处理系统的架构图，任务处理系统可以包括多个客户端100以及服务端200，其中，客户端100可以称为端侧设备，服务端200可以称为云侧设备。多个客户端100之间通过服务端200可以建立通信连接，在任务处理场景中，服务端200即用来在多个客户端100之间提供任务处理服务，多个客户端100可以分别作为发送端或接收端，通过服务端200实现通信。

用户通过客户端100可与服务端200进行交互以接收其它客户端100发送的数据，或将数据发送至其它客户端100等。在任务处理场景中，可以是用户通过客户端100向服务端200发布数据流，服务端200根据该数据流生成任务处理结果，并将任务处理结果推送至其他建立通信的客户端中。

其中，客户端100与服务端200之间通过网络建立连接。网络为客户端100与服务端200之间提供了通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。客户端100所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至服务端200。

客户端100可以为浏览器、APP(Application，应用程序)、或网页应用如H5(HyperText Markup Language5，超文本标记语言第5版)应用、或轻应用(也被称为小程序，一种轻量级应用程序)或云应用等，客户端100可以基于服务端200提供的相应服务的软件开发工具包(SDK，Software Development Kit)，如基于实时通信(RTC，Real TimeCommunication)SDK开发获得等。客户端100可以部署在电子设备中，需要依赖设备运行或者设备中的某些APP而运行等。电子设备例如可以具有显示屏并支持信息浏览等，如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用，例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

服务端200可以包括提供各种服务的服务器，例如为多个客户端提供通信服务的服务器，又如为客户端上使用的模型提供支持的用于后台训练的服务器，又如对客户端发送的数据进行处理的服务器等。需要说明的是，服务端200可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，Content DeliveryNetwork)以及大数据和人工智能平台等基础云计算服务的云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。

值得说明的是，本说明书实施例中提供的任务处理方法一般由服务端执行，但是，在本说明书的其它实施例中，客户端也可以与服务端具有相似的功能，从而执行本说明书实施例所提供的任务处理方法。在其它实施例中，本说明书实施例所提供的任务处理方法还可以是由客户端与服务端共同执行。

参见图3，图3示出了本说明书一个实施例提供的一种任务处理方法的流程图，具体包括以下步骤：

步骤302：响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息。

本说明书一个或多个实施例中，可以接收用户发送的针对数据湖的任务处理请求，从而响应于数据处理请求，获取任务处理请求对应的任务处理数据，基于任务处理数据和任务处理请求携带的目标任务的任务属性信息进行任务处理。

具体地，数据湖可以存储结构化数据、半结构化数据、非结构化数据以及二进制数据等，结构化数据如关系型数据库中的表。半结构化数据如逗号分隔值(CSV，Comma-Separated Values)、日志、可扩展标记语言(XML，Extensible Markup Language)、JS对象简谱(JSON，JavaScript Object Notation)。非结构化数据如电子邮件、文档、可携带文件格式(PDF，Portab le Document Format)。二进制数据如图形、音频、视频。

任务处理请求的请求处理对象是针对数据湖的目标任务。目标任务包括数据发现任务、数据清洗任务、数据补充任务、数据整合任务中的至少一种，其中，数据发现任务如关系发现任务，数据补充任务如缺失值填补任务，目标任务还可以包括数据格式转换任务等。并且，目标任务可以是不同任务场景的任务，任务场景包括但不限于翻译场景、商品识别场景、文章主旨提取场景，目标任务具体根据实际情况进行选择，本说明书实施例对此不作任何限定。

任务处理数据是指目标任务处理过程需要用到的数据，用于辅助、引导任务处理过程。任务属性信息是指目标任务自身的信息，任务属性信息的数据源也可以是数据湖。任务属性信息包括但不限于目标任务的任务名称、任务类型、目标任务内容、任务描述信息，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。

需要说明的是，在任务处理请求中不携带具体的目标任务，而是携带目标任务的任务描述信息时，可以利用任务处理模型的理解任务描述信息，适配目标任务。例如，任务描述信息为“填补表格数据中的缺失值”，任务处理模型就可以理解任务并自动适配目标任务为“数据填补”。

实际应用中，接收针对数据湖的任务处理请求之后，响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据的方式有多种，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。本说明书一种可能的实现方式中，可以直接接收用户输入的任务处理数据。

本说明书另一种可能的实现方式中，可以从数据湖中获取任务处理请求对应的任务处理数据，也即，上述响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，可以包括以下步骤：

响应于针对数据湖的任务处理请求，根据目标任务的任务属性信息从数据湖中获取任务处理请求对应的任务处理数据。

需要说明的是，从数据湖中获取的任务处理数据可以是结构化数据，可以是非结构化数据，可以是半结构化数据，还可以是多种不同结构的数据。并且，任务处理数据的数据格式与任务属性信息的数据格式可以相同，也可以不同，任务处理数据具体根据实际情况进行选择，本说明书实施例对此不作任何限定。

示例性地，假设任务属性信息为“目标任务为数据填补，目标任务内容为城市：M市；时区：？；国家：m；人口：875437；邮编：xxxxx”，则根据任务属性信息从数据湖中获取的任务处理数据可以如下表1所示，其中，“？”为数据填补任务对应的填补对象。

表1任务处理数据示例表

应用本说明书实施例的方案，响应于针对数据湖的任务处理请求，根据目标任务的任务属性信息从数据湖中获取任务处理请求对应的任务处理数据，使得后续可以对任务处理数据进行检索，为任务处理模型的处理过程提供参考，使得任务处理模型可以对数据湖中的数据组织结构进行判别，实现跨任务统一处理。

步骤304：将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据。

本说明书一个或多个实施例中，响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据之后，进一步地，可以将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据。

具体地，任务处理模型是大语言模型，任务处理模型可以在大量文本数据上进行训练，从而执行广泛的任务，包括文本总结、翻译、情感分析等等。任务处理模型包括但不限于生成式预训练语言模型(GPT，Generative Pre-trained Transformer)、双向编码语言模型(BERT，Bidirectional Encoder Representations from Transformers)、文本到文本转换模型(T5，Transfer Text-to-Text Transformer)，任务处理模型具体根据实际情况进行选择，本说明书实施例对此不作任何限定。任务处理模型中的检索单元用于对输入任务处理模型的数据进行检索并进行信息抽取，从而过滤无效信息，获得目标任务的参考数据。参考数据用于提示任务处理模型的处理过程，实现任务处理模型的提示学习。

实际应用中，检索单元对任务属性信息和任务处理数据进行检索，获得目标任务的参考数据的方式有多种，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。

本说明书一种可能的实现方式中，可以利用规则匹配的方式从任务属性信息和任务处理数据中检索得到目标任务的参考数据，其中，匹配规则根据实际情况进行设置，如关键词匹配。

本说明书另一种可能的实现方式中，可以检索单元可以利用预设检索模板进行信息抽取，也即，上述将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据，可以包括以下步骤：

根据预设检索模板对任务属性信息和任务处理数据进行信息抽取，获得任务填充数据和候选填充数据；

将任务填充数据和候选填充数据填充至预设检索模板，获得目标检索数据；

将目标检索数据输入任务处理模型中的检索单元，获得目标任务的参考数据。

具体地，预设检索模板是指预先设置的用于检索参考数据的模板，包括但不限于元信息检索模板、实例检索模板。任务填充数据是检索单元的检索目标，候选填充数据是检索单元的检索对象。

示例性地，假设任务属性信息为“目标任务为数据填补，目标任务内容为城市：M市；时区：？；国家：m；人口：875437；邮编：xxxxx”，任务处理信息如上述表1所示。根据预设检索模板对任务属性信息和任务处理数据进行信息抽取，获得任务填充数据为“数据填补；M市；时区”，候选填充数据为“城市；国家；人口；邮编”。

需要说明的是，根据预设检索模板对任务属性信息和任务处理数据进行信息抽取时，可以获取预设检索模板中的填充位，根据填充位之前的填充提示信息从任务属性信息和任务处理数据中抽取对应的填充数据。进一步地，将任务填充数据和候选填充数据填充至预设检索模板时，可以按照对应的填充位填充，保证目标检索数据的准确性和逻辑连贯性。

应用本说明书实施例的方案，根据预设检索模板对任务属性信息和任务处理数据进行信息抽取，获得任务填充数据和候选填充数据；将任务填充数据和候选填充数据填充至预设检索模板，获得目标检索数据；将目标检索数据输入任务处理模型中的检索单元，获得目标任务的参考数据。通过任务填充数据使得任务处理模型可以确定处理目标，通过候选填充数据给任务处理模型的处理过程进行提示，提高了任务处理效率。

实际应用中，将目标检索数据输入任务处理模型中的检索单元，获得目标任务的参考数据的方式有多种，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。

本说明书一种可能的实现方式中，检索单元可以利用自身的语义理解能力，将目标检索数据作为问答任务，根据目标检索数据生成目标任务的参考数据。

本说明书另一种可能的实现方式中，检索单元可以确定任务参考数据和候选参考数据的关联指标，进一步根据关联指标确定参考数据，也即，上述将目标检索数据输入任务处理模型中的检索单元，获得目标任务的参考数据，可以包括以下步骤：

将目标检索数据输入任务处理模型中的检索单元，在检索单元中，计算任务填充数据和候选填充数据之间的关联指标；

根据关联指标，从候选填充数据中筛选出目标任务的参考数据。

具体地，关联指标是对任务填充数据和候选填充数据进行相关性评分得到的指标。在检索单元中，计算任务填充数据和候选填充数据之间的关联指标的方式有多种，包括但不限于余弦相似度、欧氏距离等。

需要说明的是，计算任务填充数据和候选填充数据之间的关联指标之后，可以对关联指标进行排序，从而根据排序后的关联指标，从候选填充数据中筛选预设数量的候选填充数据作为目标任务的参考数据。

应用本说明书实施例的方案，将目标检索数据输入任务处理模型中的检索单元，在检索单元中，计算任务填充数据和候选填充数据之间的关联指标；根据关联指标，从候选填充数据中筛选出目标任务的参考数据，提高了参考数据的准确性。

本说明书一种可选的实施例中，预设检索模板包括元信息检索模板；上述根据预设检索模板对任务属性信息和任务处理数据进行信息抽取，获得任务填充数据和候选填充数据，可以包括以下步骤：

根据元信息检索模板对任务属性信息进行信息抽取，获得任务填充元信息；

根据元信息检索模板对任务处理数据进行信息抽取，获得候选填充元信息。

具体地，元信息是指描述信息，元信息包括但不限于数据湖的摘要、表格每一列的名称。根据元信息检索模板对任务属性信息和任务处理数据进行信息抽取的目的是分别获得任务属性信息中的任务填充元信息、任务处理数据中的候选填充元信息。获得任务填充元信息和候选填充元信息之后，可以在检索单元中进行元信息检索，衡量候选填充元信息中与任务填充元信息相关的元信息，并提取相关的元信息。

示例性地，假设任务属性信息为“目标任务为数据填补，目标任务内容为城市：M市；时区：？；国家：m；人口：875437；邮编：xxxxx”，任务处理信息如上述表1所示。元信息检索模板为“关于[s1]的特征是[s2，s3，...，sn]，任务是[T]，目标任务内容是[Y]，哪些特征与任务和目标任务内容相关？”，其中，元信息检索模板中的[]用于标识填充位，T是目标任务，sn是元信息的特征，sk是需要填补的缺失特征。根据元信息检索模板对任务属性信息进行信息抽取，获得任务填充元信息为“数据填补；时区”；候选填充元信息为“城市；国家；人口；邮编”。

进一步地，将任务填充元信息和候选填充元信息填充至元信息检索模板，获得目标检索数据为“关于[城市]的特征是[国家，人口，邮编]，任务是[数据填补]，目标任务内容是[时区]，哪些特征与任务和目标任务内容相关？”。将目标检索数据“关于[城市]的特征是[国家，人口，邮编]，任务是[数据填补]，目标任务内容是[时区]，哪些特征与任务和目标任务内容相关？”输入任务处理模型中的检索单元，获得目标任务的参考元信息为“国家”。

应用本说明书实施例的方案，根据元信息检索模板对任务属性信息进行信息抽取，获得任务填充元信息；根据元信息检索模板对任务处理数据进行信息抽取，获得候选填充元信息，提高了候选填充元信息和任务填充元信息的准确性。

本说明书另一种可选的实施例中，预设检索模板包括实例检索模板；上述根据预设检索模板对任务属性信息和任务处理数据进行信息抽取，获得任务填充数据和候选填充数据，可以包括以下步骤：

根据实例检索模板对任务属性信息进行信息抽取，获得任务填充实例；

根据实例检索模板对任务处理数据进行信息抽取，获得候选填充实例。

具体地，实例是指具体的数据，如数据湖中的某条数据。根据实例检索模板对任务属性信息和任务处理数据进行信息抽取的目的是分别获得任务属性信息中的任务填充实例、任务处理数据中的候选填充实例。获得任务填充实例和候选填充实例之后，可以在检索单元中进行实例检索，衡量候选填充实例中与任务填充实例之间的关联性，并提取相关的实例。

示例性地，假设任务属性信息为“目标任务为数据填补，目标任务内容为城市：M市；时区：？；国家：m；人口：875437；邮编：xxxxx”，任务处理信息如上述表1所示。实例检索模板为“任务是[T]，目标任务内容是[Y]，对下列实例的相关性进行评分(1至5分)：[r1，r3，...，rn]”，其中，实例检索模板中的[]用于标识填充位，T是目标任务，目标任务内容是具有特征的一条数据实例。根据实例检索模板对任务属性信息进行信息抽取，获得任务填充实例为“数据填补；M市”；候选填充实例为“A市；B市；C市；D市；E市”。

进一步地，将任务填充实例和候选填充实例填充至实例检索模板，获得目标检索数据为“任务是[数据填补]，目标任务内容是[M市]，对下列实例的相关性进行评分(1至5分)：[A市；B市；C市；D市；E市]”。将目标检索数据“任务是[数据填补]，目标任务内容是[M市]，对下列实例的相关性进行评分(1至5分)：[A市；B市；C市；D市；E市]”输入任务处理模型中的检索单元，检索单元输出各候选填充实例的关联指标，根据关联指标经过排序后筛选出与目标任务内容关联指标靠前的两个候选实例作为参考实例，获得参考实例为“A市；B市；C市”。

应用本说明书实施例的方案，根据实例检索模板对任务属性信息进行信息抽取，获得任务填充实例；根据实例检索模板对任务处理数据进行信息抽取，获得候选填充实例，提高了候选填充实例和任务填充实例的准确性。

步骤306：将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据。

本说明书一个或多个实施例中，响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据之后，进一步地，可以将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据。

具体地，目标处理数据的数据格式为更利于任务处理模型处理的格式，如自然描述语言的格式。转换单元用于转换任务属性信息和参考数据的数据格式，从而将任务属性信息和参考数据的数据格式统一为更利于任务处理模型处理的格式，如自然描述语言的格式。需要说明的是，以转换之前的数据为表格数据为例，转换单元可以利用任务处理模型的语言理解能力，从表格数据中提取出离散的有效数据，并将有效数据组织成一段自然描述语言。

实际应用中，将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据的方式有多种，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。

本说明书一种可能的实现方式中，任务属性信息和参考数据的数据格式可能相同，则可以直接对任务属性信息和参考数据进行拼接，获得拼接处理数据，并将拼接处理数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据。

本说明书另一种可能的实现方式中，任务属性信息和参考数据的数据格式可能不同，因此，需要将参考数据的数据格式与任务属性信息的数据格式进行格式统一。以根据任务属性信息的数据格式对参考数据的数据格式进行转换为例，在获得转换后的参考数据之后，可以将任务属性信息和转换后的参考数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据。其中，根据任务属性信息的数据格式对参考数据的数据格式进行转换时，可以利用任务处理模型的转换单元实现格式转换，还可以利用其他数据格式转换方式，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。

本说明书一种可选的实施例中，上述将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据，可以包括以下步骤：

对参考数据进行数据分解，并对数据分解后的参考数据进行序列化处理，获得参考数据序列；

将参考数据序列输入任务处理模型中的转换单元，获得转换后的参考数据；

将任务属性信息和转换后的参考数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据。

需要说明的是，数据分解是指将原始数据格式的参考数据转换为其他数据格式的参考数据，只有数据格式发生变化，数据内容不作改变。任务处理模型中包括的转换单元可以是一个，也可以是多个。例如任务处理模型中包括第一转换单元和第二转换单元，对参考数据进行数据分解，并对数据分解后的参考数据进行序列化处理，获得参考数据序列之后，可以将参考数据序列输入任务处理模型中的第一转换单元，获得转换后的参考数据；将任务属性信息和转换后的参考数据输入任务处理模型中的第二转换单元，生成任务处理请求对应的目标处理数据。

示例性地，假设任务属性信息为“目标任务为数据填补，目标任务内容为城市：M市；时区：？；国家：m；人口：875437；邮编：xxxxx”，参考元信息为“国家”，参考实例为“A市；B市；C市”，确定的参考数据如下表2所示：

表2参考数据示例表

城市	国家	时区
			A市	a	XX中部时区
B市	b	XX中部时区
			C市	c	XX东部时区

对参考数据进行数据分解，获得数据分解后的参考数据为“城市、国家、时区、A市、a、XX中部时区、B市、b、XX中部时区、C市、c、XX东部时区”，对数据分解后的参考数据进行序列化处理获得参考数据序列为“城市：A市，国家：a，时区：XX中部时区；城市：B市，国家：b，时区：XX中部时区；城市：C市，国家：c，时区：XX东部时区”。将参考数据序列输入任务处理模型中的转换单元，获得转换后的参考数据为“A市是a国家的一个城市，其时区为XX中部时区；B市是b国家的一个城市，其时区为XX中部时区；C市是c国家的一个城市，其时区为XX东部时区”。

实际应用中，将参考数据序列输入任务处理模型中的转换单元，获得转换后的参考数据的方式有多种，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。

本说明书一种可能的实现方式中，可以直接将参考数据序列输入任务处理模型中的转换单元，获得转换后的参考数据。

本说明书另一种可能的实现方式中，可以获取转换提示信息，将参考数据序列和转换提示信息输入任务处理模型中，利用转换提示信息辅助任务处理模型，获得转换后的参考数据。

示例性地，假设转换提示信息为“将信息转换为文本格式，以逻辑顺序包含所有相关信息”，将转换提示信息和参考数据序列“城市：A市，国家：a，时区：XX中部时区；城市：B市，国家：b，时区：XX中部时区；城市：C市，国家：c，时区：XX东部时区”输入任务处理模型的转换单元，获得转换后的参考数据为“A市是a国家的一个城市，其时区为XX中部时区；B市是b国家的一个城市，其时区为XX中部时区；C市是c国家的一个城市，其时区为XX东部时区”。

应用本说明书实施例的方案，对参考数据进行数据分解，并对数据分解后的参考数据进行序列化处理，获得参考数据序列；将参考数据序列输入任务处理模型中的转换单元，获得转换后的参考数据；将任务属性信息和转换后的参考数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据。通过任务处理模型中的转换单元，将参考数据和任务属性信息的数据格式转换为更利于任务处理模型处理的格式，实现了将任务处理模型应用到数据湖场景下，使得任务处理模型能够更好自适应数据湖中不同的任务，减少重复的流程开发。

实际应用中，将任务属性信息和转换后的参考数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据的方式有多种，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。

本说明书一种可能的实现方式中，可以直接对任务属性信息和转换后的参考数据进行合并，将合并后的数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据。

本说明书另一种可能的实现方式中，在将任务属性信息和转换后的参考数据输入任务处理模型之前，还可以利用用于引导任务处理模型中转换单元进行数据格式的转换预设处理模板对任务属性信息和转换后的参考数据进行处理，也即，上述将任务属性信息和转换后的参考数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据，可以包括以下步骤：

获取预设处理模板；

将任务属性信息和转换后的参考数据填充至预设处理模板，获得待处理数据；

将待处理数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据。

示例性地，假设任务属性信息为“目标任务为数据填补，目标任务内容为城市：M市；时区：？；国家：m；人口：875437；邮编：xxxxx”，预设处理模板为“上下文内容为[d]，任务为[T]，目标任务内容为[Y]”，其中，上下文内容也即转换后的参考数据。转换后的参考数据为“A市是a国家的一个城市，其时区为XX中部时区；B市是b国家的一个城市，其时区为XX中部时区；C市是c国家的一个城市，其时区为XX东部时区”。

将任务属性信息和转换后的参考数据填充至预设处理模板，获得待处理数据为“上下文内容为[A市是a国家的一个城市，其时区为XX中部时区；B市是b国家的一个城市，其时区为XX中部时区；C市是c国家的一个城市，其时区为XX东部时区]，任务为[数据填补]，目标任务内容为[M市；时区]”；将待处理数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据“任务是填补数据中的缺失值。上下文内容为A市是a国家的一个城市，其时区为XX中部时区；B市是b国家的一个城市，其时区为XX中部时区；C市是c国家的一个城市，其时区为XX东部时区。M市是m国家的一个城市，它属于哪个时区？”。

本说明书一种可选的实施例中，为了提高转换单元生成任务处理请求对应的目标处理数据的准确性，可以在转换单元中预先设置预设转换策略，或者直接将预设转换策略、任务属性信息和转换后的参考数据输入任务处理模型中的转换单元，转换单元可以从预设转换策略中学习转换规则，从而生成任务处理请求对应的目标处理数据。

示例性地，预设转换策略可以是“将声明描述转换为处理数据。声明：上下文内容为“城市是人类居住的区域...智慧城市...”，任务为“数据发现”。目标内容为“智慧城市”。处理数据：任务是从上下文内容中发现数据...城市是人类居住的区域...什么是智慧城市？”，因此，转换单元可以将待处理数据确定为声明，基于预设转换策略生成任务处理请求对应的目标处理数据“任务是填补数据中的缺失值。上下文内容为A市是a国家的一个城市，其时区为XX中部时区；B市是b国家的一个城市，其时区为XX中部时区；C市是c国家的一个城市，其时区为XX东部时区。M市是m国家的一个城市，它属于哪个时区？”。

应用本说明书实施例的方案，获取预设处理模板；将任务属性信息和转换后的参考数据填充至预设处理模板，获得待处理数据；将待处理数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据。通过预设处理模板提高了目标处理数据的准确性，实现了将数据湖中位置结构的数据转换为更利于任务处理模型处理的目标处理数据。将任务处理模型应用到数据湖场景下，使得任务处理模型能够更好自适应数据湖中不同的任务，减少重复的流程开发。

步骤308：将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。

本说明书一个或多个实施例中，响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据，将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据之后，进一步地，可以将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。

示例性地，将目标处理数据“任务是填补数据中的缺失值。上下文内容为A市是a国家的一个城市，其时区为XX中部时区；B市是b国家的一个城市，其时区为XX中部时区；C市是c国家的一个城市，其时区为XX东部时区。M市是m国家的一个城市，它属于哪个时区？”输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果为“xx中部时区”。

应用本说明书实施例的方案，通过利用任务处理模型的语言理解能力和跨任务能力，更好地适应数据湖中不同的任务，减少重复的流程开发，并且，在任务处理过程中充分考虑了数据湖下的各种数据组织结构，通过利用任务处理模型进行数据检索，一方面提取了与目标任务相关的信息，提升了模型处理性能，进一步提高了任务处理效率，另一方面过滤了无效信息，减少了计算量的消耗，降低了任务处理模型的使用成本。

参见图4，图4示出了本说明书一个实施例提供的另一种任务处理方法的流程图，该任务处理方法应用于云侧设备，具体包括以下步骤：

步骤402：响应于端侧设备发送的针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息。

步骤404：将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据。

步骤406：将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据。

步骤408：将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。

步骤410：向端侧设备发送任务处理请求对应的任务处理结果。

需要说明的是，步骤402至步骤408的实现方式与上述步骤302至步骤308的实现方式相同，本说明书实施例便不再进行赘述。

应用本说明书实施例的方案，端侧设备向云侧设备发送针对数据湖的任务处理请求，云侧设备通过利用任务处理模型的语言理解能力和跨任务能力，更好地适应数据湖中不同的任务，减少云侧设备重复的流程开发，并且，在任务处理过程中充分考虑了数据湖下的各种数据组织结构，通过利用任务处理模型进行数据检索，一方面提取了与目标任务相关的信息，提升了模型处理性能，进一步提高了任务处理效率，另一方面过滤了无效信息，减少了云侧设备计算量的消耗，降低了任务处理模型的使用成本。并且，在云侧设备生成任务处理请求对应的任务处理结果，无需消耗端侧设备的计算资源，减轻了端侧设备的资源消耗。

参见图5，图5示出了本说明书一个实施例提供的一种数据补充方法的流程图，具体包括以下步骤：

步骤502：响应于针对数据湖的数据补充请求，获取数据补充请求对应的任务处理数据，其中，数据补充请求携带目标数据补充任务的任务属性信息。

步骤504：将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标数据补充任务的参考数据。

步骤506：将任务属性信息和参考数据输入任务处理模型中的转换单元，获得数据补充请求对应的目标处理数据。

步骤508：将目标处理数据输入任务处理模型中的处理单元，获得数据补充请求对应的数据补充结果。

需要说明的是，步骤502至步骤508的实现方式与上述步骤302至步骤308的实现方式相同，本说明书实施例便不再进行赘述。

应用本说明书实施例的方案，通过利用任务处理模型的语言理解能力和跨任务能力，更好地适应数据湖中的数据补充任务，减少重复的流程开发，并且，在目标数据补充任务处理过程中利用任务处理模型进行数据检索，一方面提取了与目标数据补充任务相关的信息，提升了模型处理性能，进一步提高了任务处理效率，另一方面过滤了无效信息，减少了计算量的消耗，降低了任务处理模型的使用成本。

参见图6，图6示出了本说明书一个实施例提供的一种任务处理系统的框架图，任务处理系统包括数据处理组件和任务处理组件；

数据处理组件，被配置为响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；将目标任务的参考数据发送至任务处理组件；

任务处理组件，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。

值得说明的是，如图6所示，本说明书实施例中，可以基于任务处理模型的语义理解能力、通义知识贮备、跨域能力、跨任务能力，搭建基于任务处理模型的针对数据湖场景的任务处理系统。任务处理系统中的数据处理组件可以应对数据湖中大量的、格式不统一的数据(如数据库、表格、文本)，对数据进行检索，进一步基于格式不统一的数据进行下游任务。任务处理组件可以应对数据湖中的工具问题，可以利用任务处理模型解决数据湖中的不同任务(如数据发现任务、数据清洗任务、数据整合任务)。

参见图7，图7示出了本说明书一个实施例提供的一种任务处理方法的处理过程流程图，具体包括：

数据检索：从数据源获取数据后，任务处理模型可以根据目标任务检索提取出目标任务所需要的数据。数据检索可以分为元信息检索和实例检索，数据源可以是包括非结构化数据、半结构化数据和结构化数据的数据湖，目标任务可以是数据管理、数据发现、数据提取、数据清洗、数据整合。

数据分解：对检索提取得到的数据进行数据分解，获得分解数据。利用任务处理模型对分解数据进行格式转换，将分解数据转化为更利于大模型处理的格式。

自动问题整合：将目标任务属性信息和格式转换后的分解数据自动整合，将整合后的数据转换成针对任务处理模型的问题格式，也即目标处理数据。

输出：将自动问题整合获得的数据输入到任务处理模型中，得到最后的任务处理结果。

需要说明的是，在自动问题整合过程中可以利用提示方法工程提高任务处理模型的效率。针对不同的数据源和数据任务，本说明书实施例提供的任务处理方法可以利用任务处理模型的能力自适应地进行调整模型，基于任务处理模型自动进行数据检索，根据具体任务自动地关联相关数据，在提升方法效果的同时能够减少使用模型的成本。

下述结合附图8，以本说明书提供的数据补充方法在数据湖场景的应用为例，对所述数据补充方法进行进一步说明。其中，图8示出了本说明书一个实施例提供的一种数据补充方法的处理过程流程图，具体包括以下步骤：

数据输入：响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息。

自动检索：根据预设检索模板对任务属性信息和任务处理数据进行信息抽取，获得任务填充数据和候选填充数据；将任务填充数据和候选填充数据填充至预设检索模板，获得目标检索数据；将目标检索数据输入任务处理模型中的检索单元，在检索单元中，计算任务填充数据和候选填充数据之间的关联指标；根据关联指标，从候选填充数据中筛选出目标任务的参考数据。

数据分解：对参考数据进行数据分解，并对数据分解后的参考数据进行序列化处理，获得参考数据序列；将参考数据序列输入任务处理模型中的转换单元，获得转换后的参考数据。

目标处理数据整合：获取预设处理模板；将任务属性信息和转换后的参考数据填充至预设处理模板，获得待处理数据；将待处理数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据。

输出：将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。

应用本说明书实施例的方案，充分利用了任务处理模型的语言理解能力和跨任务能力，针对数据湖下多流程的场景设计了任务处理模型的使用流程，使得任务处理框架能够更好自适应不同的任务，减少重复的流程开发。另外，针对数据湖下的数据场景，充分考虑了数据湖下的数据组织结构，用任务处理模型对数据组织结构进行判别，从元信息和实例两个角度进行检索。通过数据检索，一方面提取相关信息，提升了模型的性能，另一方面过滤了无效信息，减少了计算量的消耗。

参见图9，图9示出了本说明书一个实施例提供的一种任务处理界面的界面示意图。任务处理界面分为任务处理请求输入界面和任务处理结果展示界面。任务处理请求输入界面中包括任务处理请求输入框、“确定”控件以及“取消”控件。任务处理结果展示界面中包括任务处理结果展示框。

用户通过客户端显示的任务处理请求输入框输入任务处理请求，点选“确定”控件，客户端将任务处理请求发送至服务端；服务端响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果，并将任务处理结果发送至客户端。客户端在任务处理结果展示框中显示任务处理结果。

实际应用中，用户对控件进行操作的方式包括点击、双击、触控、鼠标悬停、滑动、长按、语音控制或摇一摇等任一方式，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。

与上述方法实施例相对应，本说明书还提供了任务处理装置实施例，图10示出了本说明书一个实施例提供的一种任务处理装置的结构示意图。如图10所示，该装置包括：

第一获取模块1002，被配置为响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；

第一输入模块1004，被配置为将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；

第二输入模块1006，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；

第三输入模块1008，被配置为将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。

可选地，第一输入模块1004，进一步被配置为根据预设检索模板对任务属性信息和任务处理数据进行信息抽取，获得任务填充数据和候选填充数据；将任务填充数据和候选填充数据填充至预设检索模板，获得目标检索数据；将目标检索数据输入任务处理模型中的检索单元，获得目标任务的参考数据。

可选地，第一输入模块1004，进一步被配置为将目标检索数据输入任务处理模型中的检索单元，在检索单元中，计算任务填充数据和候选填充数据之间的关联指标；根据关联指标，从候选填充数据中筛选出目标任务的参考数据。

可选地，预设检索模板包括元信息检索模板；第一输入模块1004，进一步被配置为根据元信息检索模板对任务属性信息进行信息抽取，获得任务填充元信息；根据元信息检索模板对任务处理数据进行信息抽取，获得候选填充元信息。

可选地，预设检索模板包括实例检索模板；第一输入模块1004，进一步被配置为根据实例检索模板对任务属性信息进行信息抽取，获得任务填充实例；根据实例检索模板对任务处理数据进行信息抽取，获得候选填充实例。

可选地，第二输入模块1006，进一步被配置为对参考数据进行数据分解，并对数据分解后的参考数据进行序列化处理，获得参考数据序列；将参考数据序列输入任务处理模型中的转换单元，获得转换后的参考数据；将任务属性信息和转换后的参考数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据。

可选地，第二输入模块1006，进一步被配置为获取预设处理模板；将任务属性信息和转换后的参考数据填充至预设处理模板，获得待处理数据；将待处理数据输入任务处理模型中的转换单元，生成任务处理请求对应的目标处理数据。

可选地，第一获取模块1002，进一步被配置为响应于针对数据湖的任务处理请求，根据目标任务的任务属性信息从数据湖中获取任务处理请求对应的任务处理数据。

可选地，目标任务包括数据发现任务、数据清洗任务、数据补充任务、数据整合任务中的至少一种。

应用本说明书实施例的方案，响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。通过利用任务处理模型的语言理解能力和跨任务能力，更好地适应数据湖中不同的任务，减少重复的流程开发，并且，在任务处理过程中充分考虑了数据湖下的各种数据组织结构，通过利用任务处理模型进行数据检索，一方面提取了与目标任务相关的信息，提升了模型处理性能，进一步提高了任务处理效率，另一方面过滤了无效信息，减少了计算量的消耗，降低了任务处理模型的使用成本。

上述为本实施例的一种任务处理装置的示意性方案。需要说明的是，该任务处理装置的技术方案与上述的任务处理方法的技术方案属于同一构思，任务处理装置的技术方案未详细描述的细节内容，均可以参见上述任务处理方法的技术方案的描述。

与上述方法实施例相对应，本说明书还提供了应用于云侧设备的任务处理装置实施例，图11示出了本说明书一个实施例提供的另一种任务处理装置的结构示意图，该任务处理装置应用于云侧设备，如图11所示，该装置包括：

第二获取模块1102，被配置为响应于端侧设备发送的针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；

第四输入模块1104，被配置为将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；

第五输入模块1106，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；

第六输入模块1108，被配置为将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果；

发送模块1110，被配置为向端侧设备发送任务处理请求对应的任务处理结果。

应用本说明书实施例的方案，端侧设备向云侧设备发送针对数据湖的任务处理请求，云侧设备通过利用任务处理模型的语言理解能力和跨任务能力，更好地适应数据湖中不同的任务，减少云侧设备重复的流程开发，并且，在任务处理过程中充分考虑了数据湖下的各种数据组织结构，通过利用任务处理模型进行数据检索，一方面提取了与目标任务相关的信息，提升了模型处理性能，进一步提高了任务处理效率，另一方面过滤了无效信息，减少了云侧设备计算量的消耗，降低了任务处理模型的使用成本。并且，在云侧设备生成任务处理请求对应的任务处理结果，无需消耗端侧设备的计算资源，减轻了端侧设备的资源消耗。

上述为本实施例的一种应用于云侧设备的任务处理装置的示意性方案。需要说明的是，该任务处理装置的技术方案与上述的应用于云侧设备的任务处理方法的技术方案属于同一构思，应用于云侧设备的任务处理装置的技术方案未详细描述的细节内容，均可以参见上述应用于云侧设备的任务处理方法的技术方案的描述。

与上述方法实施例相对应，本说明书还提供了数据补充装置实施例，图12示出了本说明书一个实施例提供的一种数据补充装置的结构示意图。如图12所示，该装置包括：

第三获取模块1202，被配置为响应于针对数据湖的数据补充请求，获取数据补充请求对应的任务处理数据，其中，数据补充请求携带目标数据补充任务的任务属性信息；

第七输入模块1204，被配置为将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标数据补充任务的参考数据；

第八输入模块1206，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得数据补充请求对应的目标处理数据；

第九输入模块1208，被配置为将目标处理数据输入任务处理模型中的处理单元，获得数据补充请求对应的数据补充结果。

应用本说明书实施例的方案，通过利用任务处理模型的语言理解能力和跨任务能力，更好地适应数据湖中的数据补充任务，减少重复的流程开发，并且，在目标数据补充任务处理过程中通过利用任务处理模型进行数据检索，一方面提取了与目标数据补充任务相关的信息，提升了模型处理性能，进一步提高了任务处理效率，另一方面过滤了无效信息，减少了计算量的消耗，降低了任务处理模型的使用成本。

上述为本实施例的一种数据补充装置的示意性方案。需要说明的是，该数据补充装置的技术方案与上述的数据补充方法的技术方案属于同一构思，数据补充装置的技术方案未详细描述的细节内容，均可以参见上述数据补充方法的技术方案的描述。

图13示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备1300的部件包括但不限于存储器1310和处理器1320。处理器1320与存储器1310通过总线1330相连接，数据库1350用于保存数据。

计算设备1300还包括接入设备1340，接入设备1340使得计算设备1300能够经由一个或多个网络1360通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备1340可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，NetworkInterface Card))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，Wireless LocalArea Networks)无线接口、全球微波互联接入(Wi-MAX，World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near Field Communication)接口，等等。

在本说明书的一个实施例中，计算设备1300的上述部件以及图13中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图13所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备1300可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或个人计算机(PC，Personal Computer)的静止计算设备。计算设备1300还可以是移动式或静止式的服务器。

其中，处理器1320用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述任务处理方法或者数据补充方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的任务处理方法和数据补充方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述任务处理方法或者数据补充方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述任务处理方法或者数据补充方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的任务处理方法和数据补充方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述任务处理方法或者数据补充方法的技术方案的描述。

本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述任务处理方法或者数据补充方法的步骤。

上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的任务处理方法和数据补充方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述任务处理方法或者数据补充方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-On ly Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种任务处理方法，包括：

响应于针对数据湖的任务处理请求，获取所述任务处理请求对应的任务处理数据，其中，所述任务处理请求携带目标任务的任务属性信息；

将所述任务属性信息和所述任务处理数据输入任务处理模型中的检索单元，获得所述目标任务的参考数据；

将所述任务属性信息和所述参考数据输入所述任务处理模型中的转换单元，获得所述任务处理请求对应的目标处理数据；

将所述目标处理数据输入所述任务处理模型中的处理单元，获得所述任务处理请求对应的任务处理结果。

2.根据权利要求1所述的方法，所述将所述任务属性信息和所述任务处理数据输入任务处理模型中的检索单元，获得所述目标任务的参考数据，包括：

根据预设检索模板对所述任务属性信息和所述任务处理数据进行信息抽取，获得任务填充数据和候选填充数据；

将所述任务填充数据和所述候选填充数据填充至所述预设检索模板，获得目标检索数据；

将所述目标检索数据输入任务处理模型中的检索单元，获得所述目标任务的参考数据。

3.根据权利要求2所述的方法，所述将所述目标检索数据输入任务处理模型中的检索单元，获得所述目标任务的参考数据，包括：

将所述目标检索数据输入任务处理模型中的检索单元，在所述检索单元中，计算所述任务填充数据和所述候选填充数据之间的关联指标；

根据所述关联指标，从所述候选填充数据中筛选出所述目标任务的参考数据。

4.根据权利要求2所述的方法，所述预设检索模板包括元信息检索模板；

所述根据预设检索模板对所述任务属性信息和所述任务处理数据进行信息抽取，获得任务填充数据和候选填充数据，包括：

根据所述元信息检索模板对所述任务属性信息进行信息抽取，获得任务填充元信息；

根据所述元信息检索模板对所述任务处理数据进行信息抽取，获得候选填充元信息。

5.根据权利要求2所述的方法，所述预设检索模板包括实例检索模板；

所述根据预设检索模板对所述任务属性信息和所述任务处理数据进行信息抽取，获得任务填充数据和候选填充数据，包括：

根据所述实例检索模板对所述任务属性信息进行信息抽取，获得任务填充实例；

根据所述实例检索模板对所述任务处理数据进行信息抽取，获得候选填充实例。

6.根据权利要求1所述的方法，所述将所述任务属性信息和所述参考数据输入所述任务处理模型中的转换单元，获得所述任务处理请求对应的目标处理数据，包括：

对所述参考数据进行数据分解，并对数据分解后的所述参考数据进行序列化处理，获得参考数据序列；

将所述参考数据序列输入所述任务处理模型中的转换单元，获得转换后的参考数据；

将所述任务属性信息和所述转换后的参考数据输入所述任务处理模型中的转换单元，生成所述任务处理请求对应的目标处理数据。

7.根据权利要求6所述的方法，所述将所述任务属性信息和所述转换后的参考数据输入所述任务处理模型中的转换单元，生成所述任务处理请求对应的目标处理数据，包括：

获取预设处理模板；

将所述任务属性信息和所述转换后的参考数据填充至预设处理模板，获得待处理数据；

将所述待处理数据输入所述任务处理模型中的转换单元，生成所述任务处理请求对应的目标处理数据。

8.根据权利要求1所述的方法，所述响应于针对数据湖的任务处理请求，获取所述任务处理请求对应的任务处理数据，包括：

响应于针对数据湖的任务处理请求，根据目标任务的任务属性信息从数据湖中获取所述任务处理请求对应的任务处理数据。

9.根据权利要求1所述的方法，所述目标任务包括数据发现任务、数据清洗任务、数据补充任务、数据整合任务中的至少一种。

10.一种任务处理方法，应用于云侧设备，所述方法包括：

响应于端侧设备发送的针对数据湖的任务处理请求，获取所述任务处理请求对应的任务处理数据，其中，所述任务处理请求携带目标任务的任务属性信息；

将所述任务属性信息和所述任务处理数据输入任务处理模型中的检索单元，获得所述目标任务的参考数据；

将所述任务属性信息和所述参考数据输入所述任务处理模型中的转换单元，获得所述任务处理请求对应的目标处理数据；

将所述目标处理数据输入所述任务处理模型中的处理单元，获得所述任务处理请求对应的任务处理结果；

向所述端侧设备发送所述任务处理请求对应的任务处理结果。

11.一种数据补充方法，包括：

响应于针对数据湖的数据补充请求，获取所述数据补充请求对应的任务处理数据，其中，所述数据补充请求携带目标数据补充任务的任务属性信息；

将所述任务属性信息和所述任务处理数据输入任务处理模型中的检索单元，获得所述目标数据补充任务的参考数据；

将所述任务属性信息和所述参考数据输入所述任务处理模型中的转换单元，获得所述数据补充请求对应的目标处理数据；

将所述目标处理数据输入所述任务处理模型中的处理单元，获得所述数据补充请求对应的数据补充结果。

12.一种任务处理系统，包括数据处理组件和任务处理组件；

所述数据处理组件，被配置为响应于针对数据湖的任务处理请求，获取所述任务处理请求对应的任务处理数据，其中，所述任务处理请求携带目标任务的任务属性信息；将所述任务属性信息和所述任务处理数据输入任务处理模型中的检索单元，获得所述目标任务的参考数据；将所述目标任务的参考数据发送至所述任务处理组件；

所述任务处理组件，被配置为将所述任务属性信息和所述参考数据输入所述任务处理模型中的转换单元，获得所述任务处理请求对应的目标处理数据；将所述目标处理数据输入所述任务处理模型中的处理单元，获得所述任务处理请求对应的任务处理结果。

13.一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至9任意一项或者权利要求10或者权利要求11所述方法的步骤。

14.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至9任意一项或者权利要求10或者权利要求11所述方法的步骤。