CN111562982B - 请求数据的处理方法及装置、计算机可读存储介质、电子设备 - Google Patents

Abstract

本发明提供了一种请求数据的处理方法及装置、计算机可读存储介质、电子设备，该方法包括：创建初始任务；获取请求对应的数据；对配置后的任务的处理流程进行校验，若校验结果为处理流程正常，则基于校验后的任务对所获取的数据进行处理，得到实时请求对应的数据的处理结果。本申请提供的方案可有效提升请求数据的处理效率。

Description

请求数据的处理方法及装置、计算机可读存储介质、电子设备

技术领域

本发明涉及大数据技术领域，尤其涉及一种请求数据的处理方法及装置、计算机可读存储介质、电子设备。

背景技术

随着互联网技术的快速发展，大数据和云计算的时代的到来，加速了海量数据处理技术的发展。虽大数据管理平台技术已日趋成熟，然而，由于日常对大数据的请求多为实时请求，因此开发时间越短，用户体验也就越好，导致这类请求对反馈时间的要求较高，而且由于处理结果只有在数据处理任务完成之后才能知晓，若处理结果无法到达预想结果，就需要开发人员重新开发，使得开发的人力成本也随之增加。

综上所述，现有的大数据管理平台对时限有较高要求的请求数据的处理效率，已无法达到用户的需求，亟需高效的任务处理方案。

发明内容

本发明实施例提供了一种请求数据的处理方法及装置、计算机可读存储介质、电子设备，可提升请求数据的处理效率。

本发明实施例提供的一种请求数据的处理方法，该方法包括：

创建初始任务；

获取请求对应的数据；

对所述初始任务进行配置，得到配置后任务；对所述配置后任务的处理流程进行校验，若校验结果为处理流程正常，则将所述配置后任务确定为校验后任务；其中，所述用户为触发所述请求的用户；

基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果。

较佳地，所述基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果的步骤，包括：

基于所述校验后任务，对所获取的数据进行处理，得到处理后的数据；

按照预设的数据分类策略，对所述处理后的数据进行分类，得到所述请求对应的数据的处理结果。

较佳地，在所述基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果的步骤之后，该方法还包括：

按照预设统计标准，对所述处理结果进行分类统计，并对统计结果进行可视化展示。

较佳地，该方法还包括：

获取用户设置的筛选策略，以及所述筛选策略对应的处理策略；

基于所述筛选策略，对展示的统计结果进行筛选；

基于所述筛选策略对应的处理策略，处理筛选得到的统计结果对应的数据。

较佳地，该方法还包括：

按照所述校验后任务的输入数据的格式，对所述请求对应的数据进行解析，得到所述校验后任务的输入数据；

此时，所述基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果的步骤，包括：

将所述输入数据加载到所述校验后任务中，将输出数据确定为所述请求对应的数据的处理结果。

较佳地，该方法还包括：

将所述请求对应的数据的处理结果发送给所述用户。

较佳地，所述创建初始任务的步骤，包括：

在大数据管理平台上创建初始任务。

较佳地，所述获取请求对应的数据的步骤，包括：

实时获取请求对应的数据。

本发明实施例提供的一种请求数据的处理装置，该装置包括：

第一模块，用于创建初始任务；

第二模块，用于获取请求对应的数据；

第三模块，用于对所述初始任务进行配置，得到配置后任务；对所述配置后任务的处理流程进行校验，若校验结果为处理流程正常，则将所述配置后任务确定为校验后任务；其中，所述用户为触发所述请求的用户，用户设置的数据处理策略为对所获取的数据进行处理的策略；

第四模块，用于基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果。

较佳地，所述第四模块具体用于：

基于所述校验后任务，对所获取的数据进行处理，得到处理后的数据；

按照预设的数据分类策略，对所述处理后的数据进行分类，得到所述请求对应的数据的处理结果。

较佳地，所述第四模块执行在所述基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果的步骤之后，还用于：

按照预设统计标准，对所述处理结果进行分类统计，并对统计结果进行可视化展示。

较佳地，所述第四模块还用于：

获取用户设置的筛选策略，以及所述筛选策略对应的处理策略；

基于所述筛选策略，对展示的统计结果进行筛选；

基于所述筛选策略对应的处理策略，处理筛选得到的统计结果对应的数据。

较佳地，所述第三模块还用于：

按照所述校验后任务的输入数据的格式，对所述请求对应的数据进行解析，得到所述校验后任务的输入数据；

所述第三模块在执行所述基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果的步骤时，具体用于：

将所述输入数据加载到所述校验后任务中，将输出数据确定为所述请求对应的数据的处理结果。

较佳地，所述第四模块还用于：

将所述请求对应的数据的处理结果发送给所述用户。

较佳地，所述第一模块具体用于：

在大数据管理平台上创建初始任务。

较佳地，所述第二模块具体用于：

实时获取请求对应的数据。

本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述一种请求数据的处理方法的步骤。

本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述一种请求数据的处理方法的步骤。

本发明实施例提供了一种请求数据的处理方法及装置、计算机可读存储介质、电子设备，本发明基于用户选取的数据处理策略对任务进行配置，并利用该任务处理请求对应的数据，从而将重复的任务开发流程抽象成标准流程，提升请求数据的处理效率，也降低了开发人员的开发负担。

附图说明

图1为本发明实施例提供的一种请求数据的处理方法的流程示意图；

图2为本发明实施例提供的一种请求数据的处理装置的结构示意图。

具体实施方式

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一：

本发明实施例提供的一种请求数据的处理方法，通过该方法基于用户选取的数据处理策略对任务进行配置，并利用该任务处理请求对应的数据，从而将重复的任务开发流程抽象成标准流程，提升数据的处理效率，该方法具体包括下述步骤：

步骤一、创建初始任务；

步骤二、获取请求对应的数据；

步骤三、获取用户设置的数据处理策略，并基于该数据处理策略，对初始任务进行配置，得到配置后任务；对配置后任务的处理流程进行校验，若校验结果为处理流程正常，则将配置后任务确定为校验后任务；

步骤四、基于校验后任务，对所获取的数据进行处理，得到请求对应的数据的处理结果。

实施例二：

参见图1，图1为本发明实施例提供的一种请求数据的处理方法的流程示意图，如图所示，该方法包括步骤S110～140：

S110、在大数据管理平台上创建初始任务。

S120、获取实时请求对应的数据。

S130、对所述初始任务进行配置，得到配置后任务；对所述配置后任务的处理流程进行校验，若校验结果为处理流程正常，则将所述配置后任务确定为校验后任务。其中，所述用户为触发所述实时请求的用户。

S140、基于所述校验后任务，对所获取的数据进行处理，得到所述实时请求对应的数据的处理结果。

其中，本实施例中对任务的处理流程的校验方法为，随机抽查若干条数据，将数据输入待校验的任务，根据任务输出的结果对任务的整体流程进行测试，以确定任务处理的流程是否正常。若正常，则将所述配置后任务确定为校验后任务；若不正常，则需要进一步对任务的配置进行检查和更改。

此外，本实施例在创建初始任务时，需录入任务名称、创建者、任务ID(Identity，标识)等创建任务所需的信息。此外，获取实时请求对应的数据的方法既可以从用户上传的数据文件中获取，也可以从用户配置的数据源接口中获取。例如从数据库中的某张数据表中获取。数据处理策略可以是任务核心代码文件，例如用户上传的python代码文件、或者java代码文件、或者脚本代码文件。

本申请提出一种请求数据的处理方法，本发明基于用户选取的数据处理策略，对任务进行配置，并利用该任务处理实时请求对应的数据，得以将重复的任务开发流程抽象成标准流程，提升大数据管理平台对实时请求数据的处理效率。

实施例三：

为了进一步减少开发人员的开发任务，提升任务的配置效率，本实施例在实施例一的基础上，预先将迭代后的任务核心代码打包成通用的算法包，并将算法包预先设置在数据处理策略中。数据处理策略为用户预先设置的策略，数据处理策略的中的匹配信息及处理信息可以是根据需要自行设定。在获取到用户预先设置的数据处理策略后，对所述初始任务进行配置，得到配置后任务。这样，用户就可以直接从预设的数据处理策略中选取满足需求的策略，避免了开发人员进行不必要的开发，而且由于算法包经过多次迭代，因此策略是从预设的数据处理策略中选取的，则无需对该选取策略再次校验。

此外，若预先设置的策略无法满足需求，预设策略中的算法包还提供了继承和改写的权限，开发人员可以在算法包的基础上拓展功能，从而在保证满足需求的基础上，尽可能降低开发人员的开发成本。

实施例四：

倘若实施例一中获取的请求对应的数据的格式不是任务所需的格式，则需按照任务的输入数据的格式，将请求对应的数据进行解析，即将请求对应的数据转化成任务所需的输入数据的数据格式，也就获取了任务的输入数据。

具体来说，解析操作可以调用数据处理策略中的解析模块执行，具体预先将解析代码集成到数据处理策略中。此外，为了降低开发人员的开发负担，也为了方便不了解开发的人员使用，此处可以根据常用的解析操作开发成独立的解析模块，并将该解析模块内置到数据管理平台中，当需要执行解析操作时，直接从选取所需的解析模块即可，无需重新开发。

实施例五：

本实施例在上述实施例的基础上，提供了数据分类的功能。本实施例提供的方法，应用于大数据管理平台，具体包括如下步骤S210～250：

S210、创建初始任务。

S220、获取请求对应的数据。

S230、获取用户设置的数据处理策略和数据分类策略。

S240、基于所获取的数据处理策略和数据分类策略，对所述初始任务进行配置，得到配置后任务；并对所述配置后任务的处理流程进行校验，若校验结果为处理流程正常，则将配置后任务确定为校验后任务。

S240、基于所获取的数据处理策略，采用校验后任务对所获取的数据进行处理，得到处理后的数据；

S250、按照所获取的数据分类策略，对所述处理后的数据进行分类，得到所述请求对应的数据的处理结果。

其中，数据分类策略可以是两态度量，例如请求对应的数据的处理结果为数据通过处理、或者数据未通过处理；还可以是多态度量，例如对处理后的请求对应的数据进行打分或评级。

实施例六：

本实施例在上述实施例的基础上，又增加了数据导出功能。具体地，本实施例在配置任务的步骤之前，还包括下述步骤：

获取用户设置的数据导出策略；

并在配置任务的时候，需基于所获取的数据处理策略、数据分类策略以及数据导出策略，对初始任务进行配置，最终得到配置后任务；

最后在得到请求对应的数据的处理结果之后，按照数据导出策略中的显示策略来显示处理结果或按照数据导出策略中的推送策略来推送处理结果。

具体地，数据导出策略中的显示策略可以为列表展示。此外，本实施例的步骤还包括：按照预设统计标准，对处理结果进行分类统计，并对统计结果进行可视化展示。其中，为了体现数据的处理数量，可视化图表可以由统计图表展示，例如直方图或饼图；为了体现数据的处理进度，可视化图表可以由条状进度表展示。

具体地，数据导出策略中的推送策略可以为，为每条请求数据的处理结果提供导出接口，通过该导出接口将处理结果发送给对应的用户，例如通过短信或邮件的方式发送给用户；推送策略还可以为，为上述所说的可视化图表提供导出接口，通过该导出接口显示处理结果。

此外，在得到请求对应的数据的处理结果之后，保存该处理结果，以便后续调取。

实施例七：

本实施例在上述实施例的基础上，对请求对应的数据的处理结果再次筛选，并采用该筛选策略对应的处理策略，对筛选得到的处理结果对应的数据再次针对性的处理，以提升处理结果的准确度，优化任务核心代码的准确率。具体地，该方法包括如下步骤：

获取用户设置的筛选策略，以及该筛选策略对应的处理策略；

基于所获取的筛选策略，对展示的统计结果进行筛选，确定筛选出的统计结果对应的数据，并将所确定的数据转发到另外一个通道中；

利用所获取的筛选策略对应的处理策略，对通道中的数据进行处理。

具体地，本实施例的方案可以为，从统计结果中将badcase即评分较低的数据，放到通道A中，并利用badcase对应算法A进行处理；再从统计结果中将overfitting即过拟合的数据，放到通道B中，并利用overfitting对应的算法B进行处理；由此可见，本实施例的方案可将统计结果不符合要求的数据进行循环处理，并自我吸收，从而在数据处理过程中无需额外创造新的数据处理策略，提供了容错处理能力。

本实施例可以运用在数据清洗的场景中，即从统计结果中将满足数据清洗的数据筛选出来，并写入数据库，从而完成了数据清洗；还可以运用在数据构造的场景中，即从统计结果中将满足预期分布的训练数据筛选处理，并输入到待训练的算法模型中，从而完成了数据构造。由于本实施例的方案提供了数据导出的接口，因此开发者可以利用该接口进行二次开发，以适应不同的业务场景。

实施例八：

参见图2，本发明实施例提供了一种请求数据的处理装置，该装置包括：

第一模块310，用于创建初始任务；

第二模块320，用于获取请求对应的数据；

第三模块330，用于获取用户设置的数据处理策略，并基于所述用户设置的数据处理策略，对所述初始任务进行配置，得到配置后任务；对所述配置后任务的处理流程进行校验，若校验结果为处理流程正常，则将所述配置后任务确定为校验后任务；其中，所述用户为触发所述请求的用户，用户设置的数据处理策略为对所获取的数据进行处理的策略；

第四模块340，用于基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果。

具体地，第四模块340具体用于：

基于所述校验后任务，对所获取的数据进行处理，得到处理后的数据；

按照预设的数据分类策略，对所述处理后的数据进行分类，得到所述请求对应的数据的处理结果。

具体地，第四模块340执行在所述基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果的步骤之后，还用于：

按照预设统计标准，对所述处理结果进行分类统计，并对统计结果进行可视化展示。

具体地，第四模块340还用于：

获取用户设置的筛选策略，以及所述筛选策略对应的处理策略；

基于所述筛选策略，对展示的统计结果进行筛选；

基于所述筛选策略对应的处理策略，处理筛选得到的统计结果对应的数据。

具体地，第三模块330还用于：

按照所述校验后任务的输入数据的格式，对所述请求对应的数据进行解析，得到所述校验后任务的输入数据；

第三模块330在执行所述基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果的步骤时，具体用于：

将所述输入数据加载到所述校验后任务中，将输出数据确定为所述请求对应的数据的处理结果。

具体地，第四模块340还用于：

将所述请求对应的数据的处理结果发送给所述用户。

具体地，第一模块301具体用于：

在大数据管理平台上创建初始任务

具体地，第二模块302具体用于：

实时获取请求对应的数据。

本发明实施例还提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现本发明实施例提供的请求数据的处理方法。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现本发明实施例提供的请求数据的处理方法中的步骤。

综上所述，本发明实施例提供了一种请求数据的处理方法及装置、计算机可读存储介质、电子设备，本发明基于用户选取的数据处理策略对任务进行配置，并利用该任务处理请求对应的数据，从而将重复的任务开发流程抽象成标准流程，提升请求数据的处理效率，也降低了开发人员的开发负担。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种请求数据的处理方法，其特征在于，该方法包括：

创建初始任务；

获取请求对应的数据；

对所述初始任务进行配置，得到配置后任务；对所述配置后任务的处理流程进行校验，若校验结果为处理流程正常，则将所述配置后任务确定为校验后任务；

按照所述校验后任务的输入数据的格式，对所述请求对应的数据进行解析，得到所述校验后任务的输入数据；

基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果，包括：

将所述输入数据加载到所述校验后任务中，将输出数据确定为所述请求对应的数据的处理结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果的步骤，包括：

基于所述校验后任务，对所获取的数据进行处理，得到处理后的数据；

按照预设的数据分类策略，对所述处理后的数据进行分类，得到所述请求对应的数据的处理结果。

3.根据权利要求1或2所述的方法，其特征在于，在所述基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果的步骤之后，该方法还包括：

按照预设统计标准，对所述处理结果进行分类统计，并对统计结果进行可视化展示。

4.根据权利要求3所述的方法，其特征在于，该方法还包括：

获取用户设置的筛选策略，以及所述筛选策略对应的处理策略，其中，所述用户为触发所述请求的用户；

基于所述筛选策略，对展示的统计结果进行筛选；

基于所述筛选策略对应的处理策略，处理筛选得到的统计结果对应的数据。

5.根据权利要求4所述的方法，其特征在于，该方法还包括：

将所述请求对应的数据的处理结果发送给所述用户。

6.根据权利要求1所述的方法，其特征在于，所述创建初始任务的步骤，包括：

在大数据管理平台上创建初始任务。

7.根据权利要求1所述的方法，其特征在于，所述获取请求对应的数据的步骤，包括：

实时获取请求对应的数据。

8.一种请求数据的处理装置，其特征在于，该装置包括：

第一模块，用于创建初始任务；

第二模块，用于获取请求对应的数据；

第三模块，用于对所述初始任务进行配置，得到配置后任务；对所述配置后任务的处理流程进行校验，若校验结果为处理流程正常，则将所述配置后任务确定为校验后任务；按照所述校验后任务的输入数据的格式，对所述请求对应的数据进行解析，得到所述校验后任务的输入数据；

第四模块，用于基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果，包括：

将所述输入数据加载到所述校验后任务中，将输出数据确定为所述请求对应的数据的处理结果。

9.根据权利要求8所述的装置，其特征在于，所述第四模块具体用于：

基于所述校验后任务，对所获取的数据进行处理，得到处理后的数据；

按照预设的数据分类策略，对所述处理后的数据进行分类，得到所述请求对应的数据的处理结果。

10.根据权利要求8或9所述的装置，其特征在于，所述第四模块执行在所述基于所述校验后任务，对所获取的数据进行处理，得到所述请求对应的数据的处理结果的步骤之后，还用于：

按照预设统计标准，对所述处理结果进行分类统计，并对统计结果进行可视化展示。

11.根据权利要求10所述的装置，其特征在于，所述第四模块还用于：

获取用户设置的筛选策略，以及所述筛选策略对应的处理策略，其中，所述用户为触发所述请求的用户；

基于所述筛选策略，对展示的统计结果进行筛选；

基于所述筛选策略对应的处理策略，处理筛选得到的统计结果对应的数据。

12.根据权利要求11所述的装置，其特征在于，所述第四模块还用于：

将所述请求对应的数据的处理结果发送给所述用户。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。

14.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。