CN113448951B

CN113448951B - 数据处理方法、装置、设备及计算机可读存储介质

Info

Publication number: CN113448951B
Application number: CN202111024100.4A
Authority: CN
Inventors: 刘小双; 杨欢; 罗启铭; 王宗强; 吴育校; 陈军; 赵一波; 许琦枫; 冯建设
Original assignee: Shenzhen Xinrun Fulian Digital Technology Co Ltd
Current assignee: Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority date: 2021-09-02
Filing date: 2021-09-02
Publication date: 2021-12-21
Anticipated expiration: 2041-09-02
Also published as: CN113448951A

Abstract

本发明公开了一种数据处理方法、装置、设备及计算机可读存储介质，包括：获取用户所拖拽的节点，并基于各节点对应的拖拽位置，在画布上设置各节点，其中，节点包括规则节点和数据节点；接收用户对规则节点配置的节点属性以及对数据节点设置的第一数据表；在接收到预览指令时，遍历画布上的各节点，以确定各节点对应的父节点，并连线各节点与其对应的父节点；在接收到执行指令时，基于规则节点对应的节点属性，对第一数据表进行处理，生成第二数据表。本发明简化了数据处理的操作，无需撰写代码即可实现数据处理，提升了数据处理的便捷性，减低了操作步骤及时长，降低了操作用户的专业要求，能够直观地了解到数据的走向。

Description

数据处理方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术

在目前的数据库中台数据流转换操作中，数据分析师需要操作不同的系统对不同的表进行收集、过滤、整合等，这些处理过程需要代码执行处理或者手动记录，不直观且专业需求较高。

在目前数据中台应用程序中，大部分程序是通过手动书写数据库代码来驱动数据流，从而获得想要的信息。但是，这种手动书写数据库代码来驱动数据流的方式，存在操作繁杂，专业要求高，且无法直观了解到数据流的流向等问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据处理方法、装置、设备及计算机可读存储介质，旨在解决现有的手动书写数据库代码来驱动数据流的方式，存在操作繁杂的技术问题。

为实现上述目的，本发明提供一种数据处理方法，所述数据处理方法包括以下步骤：

获取用户所拖拽的节点，并基于各节点对应的拖拽位置，在画布上设置各节点，其中，所述节点包括规则节点和数据节点；

接收用户对所述规则节点配置的节点属性以及对所述数据节点设置的第一数据表；

在接收到预览指令时，遍历所述画布上的各节点，以确定各节点对应的父节点，并连线各节点与其对应的父节点；

在接收到执行指令时，基于所述规则节点对应的节点属性，对所述第一数据表进行处理，生成第二数据表。

可选地，所述基于所述规则节点对应的节点属性，对所述第一数据表进行处理，生成第二数据表的步骤包括：

基于所述规则节点对应的节点属性，确定所述规则节点对应的父节点，并获取所述规则节点对应的父节点的第三数据表，其中，所述第三数据表来源于第一数据表，所述规则节点对应的父节点包括其它规则节点和/或数据节点；

基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表。

可选地，所述规则节点包括筛选节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

基于所述筛选节点对应的节点属性，确定所述筛选节点对应的筛选条件；

根据所述筛选条件对所述第三数据表进行筛选处理，生成第二数据表。

可选地，所述规则节点包括组合节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

基于所述组合节点对应的节点属性，确定所述组合节点对应的组合条件；

根据所述组合条件，组合所述第三数据表，生成第二数据表。

可选地，所述规则节点包括联接节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

基于所述联接节点对应的节点属性，确定所述联接节点对应的联接条件，其中，所述联接条件包括联接顺序、联接类型和关联字段；

根据所述联接条件，关联所述第三数据表，生成第二数据表。

可选地，所述规则节点包括列修改节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

基于所述列修改节点对应的节点属性，确定所述列修改节点对应的修改操作；

根据所述修改操作，对所述第三数据表中的数据列进行修改，生成第二数据表，其中，所述修改操作包括删除操作和/或改名操作。

可选地，所述在接收到预览指令时，遍历所述画布上的各节点，以确定各节点对应的父节点，并连线各节点与其对应的父节点的步骤包括：

在接收到预览指令时，遍历所述画布上的各节点，以获取各节点对应节点属性；

根据各节点对应的节点属性，确定各节点对应的父节点，并连线各节点与其对应的父节点。

此外，为实现上述目的，本发明还提供一种数据处理装置，所述数据处理装置包括：

获取模块，用于获取用户所拖拽的节点，并基于各节点对应的拖拽位置，在画布上设置各节点，其中，所述节点包括规则节点和数据节点；

接收模块，用于接收用户对所述规则节点配置的节点属性以及对所述数据节点设置的第一数据表；

遍历模块，用于在接收到预览指令时，遍历所述画布上的各节点，以确定各节点对应的父节点，并连线各节点与其对应的父节点；

处理模块，用于在接收到执行指令时，基于所述规则节点对应的节点属性，对所述第一数据表进行处理，生成第二数据表。

此外，为实现上述目的，本发明还提供一种数据处理设备，所述数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如上述的数据处理方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上述的数据处理方法的步骤。

本发明所能实现的有益效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的数据处理设备结构示意图；

图2为本发明数据处理方法第一实施例的流程示意图；

图3为本发明数据处理方法第二实施例的流程示意图；

图4为本发明数据处理装置一实施例的系统结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的数据处理设备结构示意图。

本发明实施例数据处理设备可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）播放器、MP4（Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该数据处理设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，数据处理设备还可以包括摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。

本领域技术人员可以理解，图1中示出的数据处理设备结构并不构成对数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据处理程序。

在图1所示的数据处理设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据处理程序。

在本实施例中，数据处理设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的数据处理程序，其中，处理器1001调用存储器1005中存储的数据处理程序时，并执行以下操作：

进一步地，处理器1001可以调用存储器1005中存储的数据处理程序，还执行以下操作：

本发明还提供一种数据处理方法，参照图2，图2为本发明数据处理方法第一实施例的流程示意图。

在本实施例中，该数据处理方法包括以下步骤：

步骤S10，获取用户所拖拽的节点，并基于各节点对应的拖拽位置，在画布上设置各节点，其中，所述节点包括规则节点和数据节点；

步骤S20，接收用户对所述规则节点配置的节点属性以及对所述数据节点设置的第一数据表；

本发明提出的数据处理方法应用于数据处理平台，数据处理平台设置有可视化界面供用户进行编辑，可视化界面提供有节点栏，节点栏中包括有数据节点和规则节点，用户可以通过节点栏选择所需的节点。数据节点为数据源节点，数据节点用于设置数据源，即用户可以通过数据节点从数据库中选择所要处理的数据源；规则节点为数据处理节点，用户可以通过规则节点选择所要处理的父节点以及设置在该规则节点的数据处理规则。

在本实施例中，用户可以通过在可视化界面的节点栏上选择所需要的选择的节点，并将节点拖拽至画布上进行画图，具体地，通过拖拽的方式，拖拽规则节点和/或数据节点放置于画布上。数据处理平台识别并获取用户所拖拽的节点，并按照用户对各节点所拖拽的位置，在画布对应的位置上设置各节点。

在设置好节点后，用户需要对规则节点进行配置节点的节点属性，包括：根据规则节点，对规则节点配置规则节点的节点属性，以及根据数据节点从数据库中选择数据源。用户通过规则节点输入对规则节点配置的节点属性以及通过数据节点选择对数据节点设置的第一数据表后，接收对规则节点配置的节点属性以及对数据节点设置的第一数据表。其中，设置规则节点的节点属性包括设置规则节点的父节点以及规则节点的规则条件，规则条件为规则节点的数据处理条件，决定了规则节点的处理规则，通过设置规则节点的规则条件，能够设置规则节点对父节点数据的数据处理规则。例如，当规则节点是筛选节点时，筛选节点的筛选条件则为规则节点对应的数据处理条件。

步骤S30，在接收到预览指令时，遍历所述画布上的各节点，以确定各节点对应的父节点，并连线各节点与其对应的父节点；

具体地，步骤S30包括：

在本实施例中，用户在设置好规则节点的节点属性和数据节点的数据来源后，用户通过触发可视化界面上的预览指令来自动连线画布上的各节点。具体地，在接收到预览指令时，遍历画布上用户放置的各节点，来获取各节点的节点属性，并根据各节点对应的节点属性，确定各节点对应的父节点，并连线各节点与其对应的父节点。本实施例中，通过触发预览指令，自动将节点与对应的父节点连接起来，只需要设置各节点的节点属性即可，无需用户手动连接。

步骤S40，在接收到执行指令时，基于所述规则节点对应的节点属性，对所述第一数据表进行处理，生成第二数据表。

在本实施例中，用户可以通过触发可视化界面上的执行指令，来从数据库中获取数据表来对数据表进行处理。在接收到执行指令时，获取数据节点对应的第一数据表，根据规则节点对应的节点属性，即根据规则节点对应的数据处理规则，对第一数据表进行处理，生成了按照规则节点设置的数据处理规则对第一数据表处理后对应的第二数据表。

本实施例提出的数据处理方法，通过获取用户所拖拽的节点，并基于各节点对应的拖拽位置，在画布上设置各节点，其中，所述节点包括规则节点和数据节点；接收用户对所述规则节点配置的节点属性以及对所述数据节点设置的第一数据表；在接收到预览指令时，遍历所述画布上的各节点，以确定各节点对应的父节点，并连线各节点与其对应的父节点；在接收到执行指令时，基于所述规则节点对应的节点属性，对所述第一数据表进行处理，生成第二数据表。在本实施例中，用户可以通过拖拽的方式在画布上设置各节点，通过触发预览指令，将节点进行连线，得到直观的流程图，以及通过触发执行指令，自动处理数据表，简化了数据处理的操作，无需撰写代码即可实现数据处理，提升了数据处理的便捷性，用户通过拖拽数据节点及选择对应的节点属性，自动生成数据转换流程图，大大减低了操作步骤及时长，无需书写代码，大大降低了操作用户的专业要求，并且通过数据转换流程图能够直观地了解到数据的走向。

基于第一实施例，提出本发明数据处理方法的第二实施例，参照图3，在本实施例中，步骤S40包括：

步骤S41，基于所述规则节点对应的节点属性，确定所述规则节点对应的父节点，并获取所述规则节点对应的父节点的第三数据表，其中，所述第三数据表来源于第一数据表，所述规则节点对应的父节点包括其它规则节点和/或数据节点；

步骤S42，基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表。

在本实施例中，规则节点的父节点包括其它的规则节点和/或数据节点，且数据节点的数量在本实施例中是不作限制的，可以是多个或者单个。通过规则节点对应的节点属性，确定规则节点对应的父节点，并获取该规则节点对应的父节点的第三数据表；之后，根据该规则节点对应的节点属性，对第三数据表进行处理，生成第二数据表。需要说明的是，第三数据表来源于第一数据表，第三数据表可以是对第一数据表进行若干规则节点处理后得到的数据表，也可以是第一数据表。具体地，当规则节点对应的父节点为其它规则节点时，第三数据表为对第一数据表进行若干规则节点处理后得到的数据表；当规则节点对应的父节点为数据节点时，第三数据表为第一数据表。

本实施例中，规则节点包括其它的规则节点和/或数据节点，在数据处理的过程中，也就是说，规则节点的父节点可以是其它的规则节点和/或数据节点，提升数据处理的多样性，用户可以直观地看到数据处理的流向。

进一步地，所述规则节点包括筛选节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

步骤S4201，基于所述筛选节点对应的节点属性，确定所述筛选节点对应的筛选条件；

步骤S4202，根据所述筛选条件对所述第三数据表进行筛选处理，生成第二数据表。

在本实施例中，规则节点可以是筛选节点，需要说明的是，当规则节点为筛选节点时，对其对应的父节点的数据表的处理操作为筛选操作，能够按照一定的筛选条件筛选出所需要的数据，且用户通过设置筛选节点对应的节点属性设置筛选节点对应的筛选条件，即筛选节点的筛选条件是用户设置的，也就是说，用户还可以自行设置筛选条件，提升数据处理的便捷性。

进一步地，所述规则节点包括组合节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

步骤S4211，基于所述组合节点对应的节点属性，确定所述组合节点对应的组合条件；

步骤S4212，根据所述组合条件，组合所述第三数据表，生成第二数据表。

在本实施例中，规则节点可以是组合节点，需要说明的是，当规则节点为组合节点时，对其对应的父节点的数据表的处理操作为组合操作，能够按照一定的组合条件将数据表进行组合，且用户通过设置组合节点对应的节点属性设置组合节点对应的组合条件，即组合节点的组合条件是用户设置的，也就是说，用户还可以自行设置组合条件，提升数据处理的便捷性。

进一步地，所述规则节点包括联接节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

步骤S4221，基于所述联接节点对应的节点属性，确定所述联接节点对应的联接条件，其中，所述联接条件包括联接顺序、联接类型和关联字段；

步骤S4222，根据所述联接条件，关联所述第三数据表，生成第二数据表。

在本实施例中，规则节点可以是联接节点，需要说明的是，当规则节点为联接节点时，对其对应的父节点的数据表的处理操作为联接操作，能够按照一定的联接条件将数据表进行联接，且用户通过设置联接节点对应的节点属性设置联接节点对应的联接条件，即联接节点的联接条件是用户设置的，也就是说，用户还可以自行设置联接条件，提升数据处理的便捷性。

其中，联接条件包括联接顺序、联接类型和关联字段。联接顺序决定了数据表联接的顺序，联接类型决定了数据联接的类型，联接类型包括左联接和右联接。

进一步地，所述规则节点包括列修改节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

步骤S4231，基于所述列修改节点对应的节点属性，确定所述列修改节点对应的修改操作；

步骤S4232，根据所述修改操作，对所述第三数据表中的数据列进行修改，生成第二数据表，其中，所述修改操作包括删除操作和/或改名操作。

在本实施例中，规则节点还可以是列修改节点，需要说明的是，当规则节点为列修改节点时，对其对应的父节点的数据表的处理操作为列修改操作，列修改操作包括删除操作和/或改名操作，能够按照所设置的修改操作将数据表进行列修改，且用户通过设置列修改节点对应的节点属性设置列修改节点对应的列修改操作，即列修改节点的列修改操作是用户设置的，也就是说，用户还可以自行设置列修改操作，提升数据处理的便捷性。

此外，本发明实施例还提出一种数据处理装置，参照图4，所述数据处理装置包括：

进一步地，所述处理模块，还用于：

进一步地，所述规则节点包括组合节点，所述处理模块，还用于：

进一步地，所述规则节点包括联接节点，所述处理模块，还用于：

进一步地，所述规则节点包括列修改节点，所述处理模块，还用于：

进一步地，所述遍历模块，还用于：

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上述中任一项所述的数据处理方法的步骤。

本发明计算机可读存储介质具体实施例与上述数据处理方法的各实施例基本相同，在此不再详细赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：

获取用户所拖拽的节点，并基于各节点对应的拖拽位置，在画布上设置各节点，其中，所述节点包括规则节点和数据节点，所述数据节点为数据源节点，所述数据节点用于设置数据源，所述规则节点为数据处理节点；

在接收到执行指令时，基于所述规则节点对应的节点属性，对所述第一数据表进行处理，生成第二数据表；

其中，所述基于所述规则节点对应的节点属性，对所述第一数据表进行处理，生成第二数据表的步骤包括：

2.如权利要求1所述的数据处理方法，其特征在于，所述规则节点包括筛选节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

3.如权利要求1所述的数据处理方法，其特征在于，所述规则节点包括组合节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

4.如权利要求1所述的数据处理方法，其特征在于，所述规则节点包括联接节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

5.如权利要求1所述的数据处理方法，其特征在于，所述规则节点包括列修改节点，所述基于所述规则节点对应的节点属性，对所述第三数据表进行处理，生成第二数据表的步骤包括：

6.如权利要求1至5任一项所述的数据处理方法，其特征在于，所述在接收到预览指令时，遍历所述画布上的各节点，以确定各节点对应的父节点，并连线各节点与其对应的父节点的步骤包括：

7.一种数据处理装置，其特征在于，所述数据处理装置包括：

获取模块，用于获取用户所拖拽的节点，并基于各节点对应的拖拽位置，在画布上设置各节点，其中，所述节点包括规则节点和数据节点，所述数据节点为数据源节点，所述数据节点用于设置数据源，所述规则节点为数据处理节点；

处理模块，用于在接收到执行指令时，基于所述规则节点对应的节点属性，对所述第一数据表进行处理，生成第二数据表；

其中，所述处理模块，还用于：

8.一种数据处理设备，其特征在于，所述数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。