CN114416779A - 一种数据处理方法、装置及系统 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置及系统，属于数据处理领域。在获取待处理数据以及用户对待处理数据的操作需求后，在Web页面选取已配置的功能单元进行构建数据处理模型。这样到接收到处理指令时，将数据处理模型中功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并执行该目标查询语句，得到数据处理模型的输出结果，并存储在存储目录中。本申请技术方案在处理数据时，根据Web页面已配置的功能单元构建数据处理模型，无需用户自己编写代码，对用户的技术基础要求低，降低了数据处理的成本。

Description

一种数据处理方法、装置及系统

技术领域

本发明涉及数据处理领域，特别地，涉及一种数据处理方法、装置及系统。

背景技术

随着大数据技术的快速发展，企业对大数据技术的应用已经越来越普及，然而大数据作为一门技术含量比较高的应用，往往需要使用大数据的企业拥有自己的技术基础，这显然会阻碍大数据技术大范围的普及应用。而现在市面上的一些数据分析产品，更多的是为用户提供一种工具，例如ETL工具，用户在使用ETL工具去做数据分析时，需要进行一定的代码编写或者SQL逻辑的处理，对使用用户有较高的技术基础要求，从而增加了使用大数据技术的成本。

发明内容

为了克服现有技术的不足，本发明提供一种数据处理方法、装置及系统，以解决现有技术进行数据处理时，需要用户编写代码，对用户技术基础要求较高的问题。

本发明解决其技术问题所采用的技术方案是：

第一方面，

一种数据处理方法，包括以下步骤：

获取待处理数据以及用户对所述待处理数据的操作需求；

根据所述操作需求在Web页面中选取已配置的功能单元构建数据处理模型；

当接收到处理指令时，将所述数据处理模型中任一功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并对所述待处理数据执行所述目标查询语句；

将执行所述目标查询语句后所述数据处理模型输出的结果存储到存储目录，以供用户使用。

进一步地，所述获取待处理数据，包括：

接收用户数据选择指令，所述数据选择指令用于选择数据库中的一个或多个数据集，将所述数据集中的数据作为待处理数据；

与所述数据集建立链接，以便当接收到处理指令时，直接对所述数据集中待处理数据进行处理。

进一步地，所述根据所述操作需求在Web页面中选取已配置的功能单元构建数据处理模型，包括：

根据所述操作需求在所述Web页面中选择已配置的功能单元；所述功能单元包括：过滤、分组聚合、抽取字段、新增字段和上下合并以及左右合并；

接收所述用户对选择的所述功能单元的参数设置指令，以完成所述模型的构建。

进一步地，还包括：

当选择的功能单元中包括过滤时，判断所述过滤的功能单元过滤的内容是否是新增字段；

若不是，则将所述过滤功能单元设置为数据处理模型首个功能单元；若是，则将所述过滤功能单元设置为新增字段功能单元后的首个功能单元。

进一步地，还包括：

接收所述用户在所述Web页面设置的任务执行方式，所述任务执行方式包括执行周期以及执行开始时间；

将所述任务执行方式与构建完成的数据处理模型关联。

进一步地，还包括：

获取当前时间与所述数据处理模型上次执行时间的间隔时长；

当所述间隔时长等于所述执行周期时，调用所述数据处理模型在所述执行开始时间执行任务。

第二方面，

一种数据处理装置，包括：

数据获取模块，用于获取待处理数据以及用户对所述待处理数据的操作需求；

模型构建模块，用于根据所述操作需求在Web页面中选取已配置的功能单元构建数据处理模型；

语句转换模块，用于当接收到处理指令时，将所述数据处理模型中任一功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并对所述待处理数据执行所述目标查询语句；

结果存储模块，用于将执行所述目标查询语句后所述数据处理模型输出的结果存储到存储目录，以供用户使用。

第三方面，

一种数据处理系统，包括：

Web页面，用于提供已配置的功能单元，以构建数据处理模型，所述数据处理模型包括任务执行方式；

数据处理层，用于将构建的数据处理模型中的功能单元中的queryDsl语句转换为存储目录支持的目标查询语句，并执行所述目标查询语句；

存储目录，用于存储数据处理模型执行所述目标查询语句后得到的结果；

任务调度层，用于解析所述任务执行方式，并生成所述数据处理单元的执行任务。

有益效果：

本申请技术方案提供一种数据处理方法、装置及系统，在获取待处理数据以及用户对待处理数据的操作需求后，在Web页面选取已配置的功能单元进行构建数据处理模型。这样到接收到处理指令时，将数据处理模型中功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并执行该目标查询语句，得到数据处理模型的输出结果，并存储在存储目录中。本申请技术方案在处理数据时，根据Web页面已配置的功能单元构建数据处理模型，无需用户自己编写代码，对用户的技术基础要求低，降低了数据处理的成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据处理方法流程图；

图2是本发明实施例提供的一种数据处理装置结构示意图；

图3是本发明实施例提供的一种数据处理系统结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明的技术方案进行详细的描述说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

参照图1，本发明实施例提供了一种数据处理方法，包括以下步骤：

获取待处理数据以及用户对待处理数据的操作需求；

根据操作需求在Web页面中选取已配置的功能单元构建数据处理模型；

当接收到处理指令时，将数据处理模型中任一功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并对待处理数据执行目标查询语句；

将执行目标查询语句后数据处理模型输出的结果存储到存储目录，以供用户使用。

本发明实施例提供一种数据处理方法，在获取待处理数据以及用户对待处理数据的操作需求后，在Web页面选取已配置的功能单元进行构建数据处理模型。这样到接收到处理指令时，将数据处理模型中功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并执行该目标查询语句，得到数据处理模型的输出结果，并存储在存储目录中。本申请技术方案在处理数据时，根据Web页面已配置的功能单元构建数据处理模型，无需用户自己编写代码，对用户的技术基础要求低，降低了数据处理的成本。

作为对上述发明实施例一种补充说明，获取待处理数据，包括：接收用户数据选择指令，数据选择指令用于选择数据库中的一个或多个数据集，将数据集中的数据作为待处理数据；与数据集建立链接，以便当接收到处理指令时，直接对数据集中待处理数据进行处理。可以理解的是，需要数据处理操作并不是一次处理，而是需要进行多次数据处理操作，而每次数据处理时，其待处理的数据和上次数据处理的数据来源相同，但是数据的内容或数量等很大可能与上次数据处理时不同，因此与数据集间链接，每次数据处理时，从数据集获取待处理数据即可。

可选地，根据操作需求在Web页面中选取已配置的功能单元构建数据处理模型，包括：根据操作需求在Web页面中选择已配置的功能单元；功能单元包括：过滤、分组聚合、抽取字段、新增字段和上下合并以及左右合并；接收用户对选择的功能单元的参数设置指令，以完成模型的构建。需要说明的是，根据操作需求在Web页面中选取已配置的功能单元构建数据处理模型可以为根据用户与Web页面的交互指令，在Web页面中选取已配置的功能单元构建数据处理模型，具体地，用户之间在Web页面拖取需要的功能单元。也可以根据用户输出的用户需求命令，自动选取功能单元，示例性的，用户输入需要过滤、分组聚合和抽取字段功能单元的需求命令，根据用户输入的需求命令自动在Web页面选取过滤、分组聚合和抽取字段。

优选地，当选择的功能单元中包括过滤时，判断过滤的功能单元过滤的内容是否是新增字段；若不是，则将过滤功能单元设置为数据处理模型首个功能单元；若是，则将过滤功能单元设置为新增字段功能单元后的首个功能单元。将过滤功能单元设为数据处理模型首个功能单元或新增字段功能单元后的首个功能单元，可以在减少后续其他功能单元需要处理的数据，大大提高数据处理模型的数据处理速度。

作为本发明实施例一种可选的实现方式，还包括：接收用户在Web页面设置的任务执行方式，任务执行方式包括执行周期以及执行开始时间；将任务执行方式与构建完成的数据处理模型关联。获取当前时间与数据处理模型上次执行时间的间隔时长；当间隔时长等于执行周期时，调用数据处理模型在执行开始时间执行任务。示例性的，执行周期为1个月，执行开始时间为每月1号0点。本发明实施例提供的数据处理方法，在处理数据时，根据Web页面已配置的功能单元构建数据处理模型，无需用户自己编写代码，对用户的技术基础要求低，降低了数据处理的成本。

一个实施例中，本发明提供一种数据处理装置，如图2所示，包括：

数据获取模块21，用于获取待处理数据以及用户对待处理数据的操作需求；具体地，数据获取模块21接收用户数据选择指令，数据选择指令用于选择数据库中的一个或多个数据集，将数据集中的数据作为待处理数据；与数据集建立链接，以便当接收到处理指令时，直接对数据集中待处理数据进行处理。

模型构建模块22，用于根据操作需求在Web页面中选取已配置的功能单元构建数据处理模型；具体地，模型构建模块22根据操作需求在Web页面中选择已配置的功能单元；功能单元包括：过滤、分组聚合、抽取字段、新增字段和上下合并以及左右合并；接收用户对选择的功能单元的参数设置指令，以完成模型的构建。

进一步地，当选择的功能单元中包括过滤时，判断过滤的功能单元过滤的内容是否是新增字段；若不是，则将过滤功能单元设置为数据处理模型首个功能单元；若是，则将过滤功能单元设置为新增字段功能单元后的首个功能单元。

语句转换模块23，用于当接收到处理指令时，将数据处理模型中任一功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并对待处理数据执行目标查询语句。

结果存储模块24，用于将执行目标查询语句后数据处理模型输出的结果存储到存储目录，以供用户使用。

可选地，还包括：任务执行模块25，用于接收用户在Web页面设置的任务执行方式，任务执行方式包括执行周期以及执行开始时间；将任务执行方式与构建完成的数据处理模型关联。并且获取当前时间与数据处理模型上次执行时间的间隔时长；当间隔时长等于执行周期时，调用数据处理模型在执行开始时间执行任务。

本发明实施例提供的数据处理装置，数据获取模块获取待处理数据以及用户对待处理数据的操作需求；模型构建模块根据操作需求在Web页面中选取已配置的功能单元构建数据处理模型；任务执行模块用于设置任务周期并判断是否执行任务；当接收到处理指令时，语句转换模块将数据处理模型中任一功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并对待处理数据执行目标查询语句；结果存储模块将执行目标查询语句后数据处理模型输出的结果存储到存储目录，以供用户使用。本发明实施例提供的装置在处理数据时，根据Web页面已配置的功能单元构建数据处理模型，无需用户自己编写代码，对用户的技术基础要求低，降低了数据处理的成本。

一个实施例中，本发明实施例提供一种数据处理系统，如图3所示，包括：

Web页面31，用于提供已配置的功能单元，以构建数据处理模型，数据处理模型包括任务执行方式。其中功能单元包括但不限于

(1)过滤：对数据进行过滤，过滤条件支持多级与、或判断，并自动区分字段类型，选择不同的判断条件，方便用户筛选出需要的数据。

(2)分组聚合：根据要分析的维度，对维度字段进行分组，对度量字段进行聚合计算。本技术提供了多种分组方式，如文本类型的相同值为一组、自定义分组，数值类型根据区间分组，日期型的按年、月、日等时段分组等；提供了多种度量值聚合统计方式，如求和，平均值，最大值、最小值，记数，去重记数，同期，环期等。

(3)抽取/新增字段:

抽取字段：选择数据建模所需要的数据字段，未勾选的数据字段被抛弃。

新增字段：新增字段是对已有数据字段经过计算后得到一个新的数据字段。比如数据格式的转化、时间差、分组赋值等等，对于高级用户，提供脚本编辑计算规则的方式。

(4)上下合并：将两张结构相同的表进行拼接，然后对合并后的数据进行整体的分析。对于结构存在差异的数据表，可通过手工映射的方法调成一致结构。

(5)左右合并：通过左右合并的功能将多个数据表进行关联分析。左右合并的方法包括：左合并、右合并、交集合并和并集合并。

数据处理层32，用于将构建的数据处理模型中的功能单元中的queryDsl语句转换为存储目录支持的目标查询语句，并执行目标查询语句；

存储目录33，用于存储数据处理模型执行目标查询语句后得到的结果；

任务调度层34，用于解析任务执行方式，并生成数据处理单元的执行任务。

工作流程和原理如下：

Web页面提供可视化托拉拽的方式，首先选择一个数据源，按照需求配置各种建模步骤，每个步骤保存为后端数据处理层查询语句分析工具可转化的queryDsl语句，以及该数据处理模型的任务执行方式,最终生成数据处理模型。

数据处理层分析Web页面配置的建模步骤，通过语句分析工具将配置的queryDsl语句转换为Elasticsearch（即存储目录）支持的查询语法，提交给后台查询组件执行查询操作，每个步骤的查询结果保存到临时索引中，作为下一步骤的数据源，后续步骤以此类推不在赘述，最终步骤的查询结果作为数据处理模型的最终分析结果，并保存到Elasticsearch中，供Web端分析指标、分析图表等展示使用，也可以作为其他数据处理模型的数据源进行二次分析。

任务调度层可选择周期执行，周期执行由Web页面配置的任务执行方式，由任务调度层解析生成Cron表达式，并将数据处理模型运行任务提交到任务调度中心，任务调度中心按照Cron表达式周期运行该数据处理模型。

示例性的，现在有两组原始采集数据：

部门主营收入数据：包含列序号、合同时间、执行部门、负责人ID、区域、客户名称、合同类型、合同编号、合同金额、会计金额、项目成本。

负责人信息数据：包含列负责人ID、负责人名称、负责人手机号、负责人邮件、负责人职位。

业务需求为过滤出执行部门为“A”的数据，并按照合同时间对会计金额进行汇总求和，对求和金额进行转换显示单位为：万，并展示负责人名称。

针对这种场景的配置步骤为：

(1)配置过滤步骤，过滤出部门为“A”的数据。

(2)配置抽取/增加字段步骤，排除无关字段。

(3)配置分组聚合步骤，按照执行部门、负责人ID、会计时间（按照年月）对会计金额做求和聚合。

(4)再次配置抽取/增加字段步骤，对求和后的会计金额做单位转换。

(5)配置左右合并步骤，合并负责人信息表中负责人名称字段。

(6)运行并查看状态日志。

(7)运行完成查看最终表数据。

本发明实施例提供的系统，采用过滤、分组聚合、抽取/新增字段、上下合并、左右合并等建模方法，让用户以极低的学习成本将数据加工、处理成自己需要的结果。本发明实施例提供的系统使用简单，易于上手，通过托拉拽方式即可实现复杂业务逻辑才可实现的功能。每一个步骤的执行结果可单独实时查看，便于数据的分析、校验。每一个步骤都可以重复添加，使配置更加灵活。提供每一个步骤的执行日志，包括步骤的开始、结束时间，执行异常提供日志进行查看分析，便于及时发现问题。提供原始数据源的依赖查看，直观展示数据的血缘关系。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种数据处理方法，其特征在于，包括以下步骤：

获取待处理数据以及用户对所述待处理数据的操作需求；

根据所述操作需求在Web页面中选取已配置的功能单元构建数据处理模型；

当接收到处理指令时，将所述数据处理模型中任一功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并对所述待处理数据执行所述目标查询语句；

将执行所述目标查询语句后所述数据处理模型输出的结果存储到存储目录，以供用户使用。

2.根据权利要求1所述的方法，其特征在于：所述获取待处理数据，包括：

接收用户数据选择指令，所述数据选择指令用于选择数据库中的一个或多个数据集，将所述数据集中的数据作为待处理数据；

与所述数据集建立链接，以便当接收到处理指令时，直接对所述数据集中待处理数据进行处理。

3.根据权利要求1所述的方法，其特征在于：所述根据所述操作需求在Web页面中选取已配置的功能单元构建数据处理模型，包括：

根据所述操作需求在所述Web页面中选择已配置的功能单元；所述功能单元包括：过滤、分组聚合、抽取字段、新增字段和上下合并以及左右合并；

接收所述用户对选择的所述功能单元的参数设置指令，以完成所述模型的构建。

4.根据权利要求3所述的方法，其特征在于，还包括：

当选择的功能单元中包括过滤时，判断所述过滤的功能单元过滤的内容是否是新增字段；

若不是，则将所述过滤功能单元设置为数据处理模型首个功能单元；若是，则将所述过滤功能单元设置为新增字段功能单元后的首个功能单元。

5.根据权利要求1所述的方法，其特征在于，还包括：

接收所述用户在所述Web页面设置的任务执行方式，所述任务执行方式包括执行周期以及执行开始时间；

将所述任务执行方式与构建完成的数据处理模型关联。

6.根据权利要求5所述的方法，其特征在于，还包括：

获取当前时间与所述数据处理模型上次执行时间的间隔时长；

当所述间隔时长等于所述执行周期时，调用所述数据处理模型在所述执行开始时间执行任务。

7.一种数据处理装置，其特征在于：包括：

数据获取模块，用于获取待处理数据以及用户对所述待处理数据的操作需求；

模型构建模块，用于根据所述操作需求在Web页面中选取已配置的功能单元构建数据处理模型；

语句转换模块，用于当接收到处理指令时，将所述数据处理模型中任一功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并对所述待处理数据执行所述目标查询语句；

结果存储模块，用于将执行所述目标查询语句后所述数据处理模型输出的结果存储到存储目录，以供用户使用。

8.一种数据处理系统，其特征在于，包括：

Web页面，用于提供已配置的功能单元，以构建数据处理模型，所述数据处理模型包括任务执行方式；

数据处理层，用于将构建的数据处理模型中的功能单元中的queryDsl语句转换为存储目录支持的目标查询语句，并执行所述目标查询语句；

存储目录，用于存储数据处理模型执行所述目标查询语句后得到的结果；

任务调度层，用于解析所述任务执行方式，并生成所述数据处理单元的执行任务。

Images