CN112764721A - 数据处理方法、装置、系统及计算机可读存储介质 - Google Patents
数据处理方法、装置、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112764721A CN112764721A CN202110060908.1A CN202110060908A CN112764721A CN 112764721 A CN112764721 A CN 112764721A CN 202110060908 A CN202110060908 A CN 202110060908A CN 112764721 A CN112764721 A CN 112764721A
- Authority
- CN
- China
- Prior art keywords
- data processing
- type
- data
- node
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 408
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 36
- 230000002452 interceptive effect Effects 0.000 claims abstract description 27
- 230000001960 triggered effect Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 50
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 40
- 238000001914 filtration Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005111 flow chemistry technique Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/31—Programming languages or programming paradigms
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种数据处理方法、装置、系统及计算机可读存储介质，所述数据处理方法包括：检测拖动至工作空间的源节点，其中，所述源节点为具备数据处理功能的节点，所述工作空间用于设置数据处理规则；根据所述源节点的数据源类型，确定对应的处理类型选择页面；当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型；根据所述数据处理类型确定数据处理规则，以使基于所述数据处理规则对所述数据源类型对应的数据进行处理。本发明提高了数据处理功能的开发效率，并降低了数据处理功能的开发复杂度。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、系统及计算机可读存储介质。
背景技术
随着互联网的迅速发展，社交数据、电商数据、人类基因数据等数据量大的数据充斥在网络中。而如何从海量的数据中进行数据的汇聚、清洗、统计等数据处理，以分析该海量数据的数据结构和关联关系等。
通常，对于海量的数据而言需要通过计算机软件进行处理。而对于数据分析师而言，比较熟悉业务流程和数据处理流程，对于计算机软件的开发工程师而言，比较熟悉如何与计算机指令交互。因此，开发工程师需要开发给数据分析师一种数据处理工具，以使数据分析师可通过简单的界面操作对数据进行处理，例如通过拖拉拽、零代码编程的方式，以使数据分析师可设置相应的数据处理规则。
目前，存在的处理流程框架大多为重量级框架，例如activity(工作流)框架，该activity更侧重于流程本身，而每一步的节点本身功能体现较少，只是表明了流程处理的方向和节点的基本信息，并且，重量级框架二次开发较为困难，降低了开发效率。同时，由于数据源类型多样，例如mysql、oracle、sqlserver等，不同的数据源有不同的处理方式，导致需要针对不同数据源进行多次开发，降低了开发效率。因此，如何提高数据处理功能的开发效率、如何降低数据处理功能的开发复杂度，是目前亟需解决的问题。
发明内容
本发明的主要目的在于提供一种数据处理方法、装置、系统及计算机可读存储介质，旨在提高数据处理功能的开发效率，并降低数据处理功能的开发复杂度。
为实现上述目的，本发明提供一种数据处理方法，所述数据处理方法包括以下步骤：
检测拖动至工作空间的源节点，其中，所述源节点为具备数据处理功能的节点，所述工作空间用于设置数据处理规则；
根据所述源节点的数据源类型，确定对应的处理类型选择页面；
当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型；
根据所述数据处理类型确定数据处理规则，以使基于所述数据处理规则对所述数据源类型对应的数据进行处理。
可选地，所述根据所述源节点的数据源类型，确定对应的处理类型选择页面的步骤包括：
获取所述源节点的数据源类型，其中，所述数据源类型在所述源节点开发时确定；
根据所述数据源类型，确定操作权限；
根据所述操作权限，显示对应的处理类型选择页面。
可选地，所述当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型的步骤之后，还包括：
根据所述数据处理类型确定参数设置页面，以使基于所述参数设置页面设置所述数据处理类型对应的操作参数；
其中，所述根据所述数据处理类型确定数据处理规则的步骤包括：
根据已设置操作参数的数据处理类型确定数据处理规则。
可选地，所述根据所述数据处理类型确定数据处理规则的步骤之前，还包括：
获取所述源节点的节点类型，并判断所述节点类型对应的逻辑处理对象是否初始化，其中，所述节点类型包括数据源类型及数据处理类型；
若所述逻辑处理对象未初始化，则初始化所述逻辑处理对象，并加载初始化后的逻辑处理对象；
若所述逻辑处理对象已初始化，则加载初始化后的逻辑处理对象。
可选地，所述根据所述数据处理类型确定数据处理规则的步骤包括：
根据所述数据处理类型，确定已加载后的逻辑处理对象的数据处理接口，其中，所述数据处理接口用于对所述数据源类型对应的数据进行处理；
根据所述数据处理接口，确定数据处理规则。
可选地，所述检测拖动至工作空间的源节点的步骤之后，还包括：
判断所述工作空间是否还存在与所述源节点关联的另一节点；
若所述工作空间还存在所述另一节点，则根据所述源节点的节点类型确定执行引擎，并将所述源节点的配置引擎选项进行置灰显示；
根据所述执行引擎，判断所述源节点和所述另一节点是否兼容；
若所述源节点和所述另一节点不兼容，则生成提示信息，以提示修改所述执行引擎；
若所述工作空间不存在所述另一节点，则将所述源节点的配置引擎选项进行光亮显示，以供配置所述源节点的执行引擎。
可选地，所述检测拖动至工作空间的源节点的步骤之前，还包括：
设置不同数据源类型的源节点，以使可拖动不同数据源类型的源节点至工作空间；
在所述源节点对应的逻辑处理模块中，定义所述源节点的节点类型，并设置数据处理接口，以调用所述数据处理接口对数据进行处理。
此外，为实现上述目的，本发明还提供一种数据处理装置，所述数据处理装置包括：
节点检测模块，用于检测拖动至工作空间的源节点，其中，所述源节点为具备数据处理功能的节点，所述工作空间用于设置数据处理规则；
页面确定模块，用于根据所述源节点的数据源类型，确定对应的处理类型选择页面；
类型确定模块，用于当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型；
规则确定模块，用于根据所述数据处理类型确定数据处理规则，以使基于所述数据处理规则对所述数据源类型对应的数据进行处理。
此外，为实现上述目的，本发明还提供一种数据处理系统，所述数据处理系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如上所述的数据处理方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述的数据处理方法的步骤。
本发明提供一种数据处理方法、装置、系统及计算机可读存储介质，检测拖动至工作空间的源节点，其中，所述源节点为具备数据处理功能的节点，所述工作空间用于设置数据处理规则；根据所述源节点的数据源类型，确定对应的处理类型选择页面；当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型；根据所述数据处理类型确定数据处理规则，以使基于所述数据处理规则对所述数据源类型对应的数据进行处理。通过上述方式，确定源节点的数据源类型，以根据数据源类型确定处理类型选择页面，即确定该数据源类型支持的数据处理类型，对于开发而言只需设定源节点的数据源类型及数据处理类型即可，从而实现不同数据源类型的数据处理功能的开发，提高了数据处理功能的开发效率。同时，通过上述方式，无需引入其他重要级的流程处理框架，可实现轻量级的开发，从而降低数据处理功能的开发复杂度。综上所述，本发明提高了数据处理功能的开发效率，并降低了数据处理功能的开发复杂度。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明数据处理方法第一实施例的流程示意图；
图3为本发明实施例涉及的系统结构图；
图4为本发明数据处理方法第二实施例的流程示意图；
图5为本发明数据处理方法第五实施例的流程示意图；
图6为本发明数据处理装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为数据处理设备，该数据处理设备可以为PC(personalcomputer，个人计算机)、微型计算机、笔记本电脑、服务器等具有处理功能的终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU(Central Processing Unit，中央处理器)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据处理程序。
在图1所示的终端中，处理器1001可以用于调用存储器1005中存储的数据处理程序，并执行以下操作：
检测拖动至工作空间的源节点，其中，所述源节点为具备数据处理功能的节点，所述工作空间用于设置数据处理规则；
根据所述源节点的数据源类型，确定对应的处理类型选择页面；
当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型；
根据所述数据处理类型确定数据处理规则，以使基于所述数据处理规则对所述数据源类型对应的数据进行处理。
进一步地，处理器1001可以用于调用存储器1005中存储的数据处理程序，还执行以下操作：
获取所述源节点的数据源类型，其中，所述数据源类型在所述源节点开发时确定；
根据所述数据源类型，确定操作权限；
根据所述操作权限，显示对应的处理类型选择页面。
进一步地，处理器1001可以用于调用存储器1005中存储的数据处理程序，还执行以下操作：
根据所述数据处理类型确定参数设置页面，以使基于所述参数设置页面设置所述数据处理类型对应的操作参数；
其中，所述根据所述数据处理类型确定数据处理规则的步骤包括：
根据已设置操作参数的数据处理类型确定数据处理规则。
进一步地，处理器1001可以用于调用存储器1005中存储的数据处理程序，还执行以下操作：
获取所述源节点的节点类型，并判断所述节点类型对应的逻辑处理对象是否初始化，其中，所述节点类型包括数据源类型及数据处理类型；
若所述逻辑处理对象未初始化，则初始化所述逻辑处理对象，并加载初始化后的逻辑处理对象；
若所述逻辑处理对象已初始化，则加载初始化后的逻辑处理对象。
进一步地，处理器1001可以用于调用存储器1005中存储的数据处理程序，还执行以下操作：
根据所述数据处理类型，确定已加载后的逻辑处理对象的数据处理接口，其中，所述数据处理接口用于对所述数据源类型对应的数据进行处理；
根据所述数据处理接口，确定数据处理规则。
进一步地，处理器1001可以用于调用存储器1005中存储的数据处理程序，还执行以下操作：
判断所述工作空间是否还存在与所述源节点关联的另一节点；
若所述工作空间还存在所述另一节点，则根据所述源节点的节点类型确定执行引擎，并将所述源节点的配置引擎选项进行置灰显示；
根据所述执行引擎，判断所述源节点和所述另一节点是否兼容；
若所述源节点和所述另一节点不兼容，则生成提示信息，以提示修改所述执行引擎；
若所述工作空间不存在所述另一节点，则将所述源节点的配置引擎选项进行光亮显示，以供配置所述源节点的执行引擎。
进一步地，处理器1001可以用于调用存储器1005中存储的数据处理程序，还执行以下操作：
设置不同数据源类型的源节点，以使可拖动不同数据源类型的源节点至工作空间；
在所述源节点对应的逻辑处理模块中，定义所述源节点的节点类型，并设置数据处理接口，以调用所述数据处理接口对数据进行处理。
基于上述硬件结构，提出本发明数据处理方法的各个实施例。
本发明提供一种数据处理方法。
参照图2，图2为本发明数据处理方法第一实施例的流程示意图。
在本实施例中，该数据处理方法包括以下步骤S10-S40：
步骤S10，检测拖动至工作空间的源节点，其中，所述源节点为具备数据处理功能的节点，所述工作空间用于设置数据处理规则；
在本实施例中，数据分析师通过计算机软件进行数据处理，该计算机软件为可视化的操作软件，该操作软件包括工作空间、菜单栏、可拖动的源节点等。具体的，数据分析师拖动源节点至工作空间，以检测拖动至工作空间的源节点，其中，该源节点为具备数据处理功能的节点，该工作空间用于设置数据处理规则，即数据分析师设置数据处理逻辑、规则等的空间。
需要说明的是，源节点在开发工程师进行开发时，便确定了其节点类型，该节点类型包括数据源类型及数据处理类型等，该数据源类型为数据来源的类型或数据输出处的类型，该数据处理类型包括不同数据处理方式，例如分组、过滤、排序、交集、并集等操作。
在一实施例中，开发工程师基于MVC(Model-View-Controller，模型-视图-控制器)软件设计模式，开发本实施例数据处理方法应用的数据处理系统，该数据处理系统包括控制模块、显示模块、逻辑处理模块。其中，逻辑处理模块侧重于业务本身，在启动时会自动将逻辑处理模块和显示模块加载到控制模块中。此外，不需要在主模块中通过修改代码的方式添加逻辑处理模块的逻辑业务和显示模块的显示业务，只需将逻辑业务和显示业务按照命名规范放在指定的位置即可，即将逻辑业务的代码文件和显示业务的代码文件按照命名规范放在指定的位置即可。具体的，利用自动加载、自动注册机制，将逻辑业务和显示业务进行分离，并交由控制模块进行中心控制，以使开发架构更为清晰，从而提高数据处理功能的开发效率。并且，基于本实施例的三层架构，在出现问题时，只需修改其中一层架构即可，从而降低维护成本。在其他实施方式中，开发工程师可基于其他架构进行数据处理功能的开发，此处不作限定。
在一实施例中，开发工程师使用原生的JS(JavaScript，脚本语言)语言和前端显示框架开发数据处理功能，无需引入其他的流程处理框架或插件，可实现轻量级的开发，即降低开发复杂度。在其他实施方式中，还可以使用JQuery和前端显示框架开发数据处理功能。
步骤S20，根据所述源节点的数据源类型，确定对应的处理类型选择页面；
在检测到源节点拖动至工作空间后，根据源节点的数据源类型，确定对应的处理类型选择页面。其中，不同源节点的数据源类型不同，该数据源类型在开发源节点的数据处理功能时便进行设定。
需要说明的是，不同数据源类型有不同的数据处理方式。例如，对于数据源为mysql而言，数据处理方式有分组、过滤、添加常量列、函数操作、交集、并集、差集、行列转换等数据处理类型。而对于相同的数据处理类型，例如，不同数据源的过滤处理，其对应的处理流程也是完全不同的。同时，数据处理可以采用不同的执行引擎执行，不同执行引擎支持的功能和处理的方式也不同。因此，需要确定数据源类型对应的处理类型选择页面，即不同数据源类型的处理类型选择页面可能不同，不同数据源类型包括的数据处理类型可能不同。
此外，还需要说明的是，该处理类型选择页面为与用户交互的显示部分，该显示部分的弹出框大小、样式、输入框等可根据实际需要进行设定，此处不作限定。在一实施例中，显示部分由显示模块处理确定，具体的，参照图3，图3为本发明实施例涉及的系统结构图，显示模块交由显示组件注册加载模块注册加载，而用于进行数据处理的逻辑处理模块交由逻辑文件加载模块加载，最后交由主模块(控制模块)。
步骤S30，当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型；
在得到处理类型选择页面之后，数据分析师可基于该处理类型选择页面选择数据处理类型。之后，当检测到基于处理类型选择页面触发的交互操作时，根据该交互操作确定数据处理类型。其中，交互操作为选择数据处理类型的点击操作。
在一实施例中，基于上述的数据处理系统，由控制模块根据提交的数据处理类型，调度对应的显示界面弹出，以基于该显示界面设置操作参数，并针对操作参数进行保存、修改、删除等操作。例如，数据处理类型为分组处理，则需设置分组处理的分组字段等参数。当然，对于某些无需操作参数的数据处理类型而言，无需弹出显示界面以输入操作参数，或者弹出显示界面以供数据分析师进行保存、修改、删除等操作即可。
步骤S40，根据所述数据处理类型确定数据处理规则，以使基于所述数据处理规则对所述数据源类型对应的数据进行处理。
最后，根据数据处理类型确定数据处理规则，以使基于该数据处理规则对同一数据源类型对应的数据进行处理。其中，数据处理规则包括数据运算规则、数据源类型等。
在一实施例中，可根据多个数据处理类型及其前后顺序确定数据处理规则，也就是说工作空间中存在多个关联的节点，不同节点可对数据做不同的处理。例如，根据过滤、分组的数据处理类型，确定数据处理规则为对数据先进行过滤再分组。
需要说明的是，确定数据处理规则之后，在对数据进行处理时，可根据数据处理规则中各个节点的节点类型，调用对应逻辑处理模块中的数据处理接口对数据进行处理。其中，节点类型包括数据源类型及数据处理类型。
本发明实施例提供一种数据处理方法，检测拖动至工作空间的源节点，其中，所述源节点为具备数据处理功能的节点，所述工作空间用于设置数据处理规则；根据所述源节点的数据源类型，确定对应的处理类型选择页面；当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型；根据所述数据处理类型确定数据处理规则，以使基于所述数据处理规则对所述数据源类型对应的数据进行处理。通过上述方式，确定源节点的数据源类型，以根据数据源类型确定处理类型选择页面，即确定该数据源类型支持的数据处理类型，对于开发而言只需设定源节点的数据源类型及数据处理类型即可，从而实现不同数据源类型的数据处理功能的开发，提高了数据处理功能的开发效率。同时，通过上述方式，无需引入其他重要级的流程处理框架，可实现轻量级的开发，从而降低数据处理功能的开发复杂度。综上所述，本发明实施例提高了数据处理功能的开发效率，并降低了数据处理功能的开发复杂度。
进一步地，基于上述第一实施例，提出本发明数据处理方法的第二实施例。
参照图4，图4为本发明数据处理方法第二实施例的流程示意图。
在本实施例中，上述步骤S20包括以下步骤S21-S23：
步骤S21，获取所述源节点的数据源类型，其中，所述数据源类型在所述源节点开发时确定；
步骤S22，根据所述数据源类型，确定操作权限；
首先，获取源节点的数据源类型，然后，根据数据源类型确定操作权限。其中，数据源类型在该源节点开发时确定。需要说明的是，开发工程师只需在该源节点对应的逻辑处理模块设定数据源类型即可。
其中，不同源节点可能有不同的数据源类型，不同数据源类型有不同的数据处理方式。例如，对于数据源为mysql而言，数据处理方式有分组、过滤、添加常量列、函数操作、交集、并集、差集、行列转换等数据处理类型。因此，需要确定源节点的数据源类型，以确定操作权限，即确定是否支持各种数据处理功能。
步骤S23，根据所述操作权限，显示对应的处理类型选择页面。
最后，根据操作权限，显示对应的处理类型选择页面，以供数据分析师选择所需要的数据处理类型。其中，处理类型选择页面为源节点的功能菜单，不同数据源类型的源节点由于操作权限不一样，所对应的功能菜单也不一样。
本实施例中，通过获取源节点的数据源类型，以根据数据源类型确认对应的处理类型选择页面，从而实现不同数据源类型的数据处理功能的开发。
进一步地，基于上述第一实施例，提出本发明数据处理方法的第三实施例。
在本实施例中，在上述步骤S30之后，该数据处理方法还包括以下步骤A：
步骤A，根据所述数据处理类型确定参数设置页面，以使基于所述参数设置页面设置所述数据处理类型对应的操作参数；
在数据处理类型确定之后，根据数据处理类型确定参数设置页面，以使基于该参数设置页面设置数据处理类型对应的操作参数。其中，不同数据处理类型对应的操作参数不一样，所以不同数据处理类型对应的参数设置页面不一样。
需要说明的是，参数设置页面可包括多个操作参数的输入框，还可以包括保存、删除、添加等操作选项，以及其他相关的处理，此处不作限定。
其中，所述根据所述数据处理类型确定数据处理规则的步骤包括：
步骤a41，根据已设置操作参数的数据处理类型确定数据处理规则。
在本实施例中，根据已设置操作参数的数据处理类型确定数据处理规则，以使后续在对数据进行处理时，可根据数据处理规则中各个节点的数据处理类型及其对应的操作参数，调用对应逻辑处理模块中的数据处理接口对数据进行处理。
本实施例中，通过数据处理类型确定参数设置页面，以使数据分析师按照需求设置该数据处理类型对应的操作参数。
进一步地，基于上述第一实施例，提出本发明数据处理方法的第四实施例。
在本实施例中，在上述步骤S30之前，该数据处理方法还包括以下步骤B－D：
步骤B，获取所述源节点的节点类型，并判断所述节点类型对应的逻辑处理对象是否初始化，其中，所述节点类型包括数据源类型及数据处理类型；
若还未使用过源节点的节点类型对应的逻辑处理功能时，源节点的节点类型对应的逻辑处理对象还未初始化，而如果已使用过该源节点的节点类型对应的逻辑处理功能时，源节点的节点类型对应的逻辑处理对象已初始化过，则后续再使用时，无需再对该逻辑处理对象进行初始化。
为确保源节点的节点类型对应的逻辑处理对象初始化，首先，获取源节点的节点类型，并判断该节点类型对应的逻辑处理对象是否初始化，其中，节点类型包括数据源类型及数据处理类型。
需要说明的是，数据源类型在开发源节点的数据处理功能时便进行设定，该数据源类型包括mysql、oracle、sqlserver、es、kafka、neo4j、RestfulApI、excel、csv、spark、MonetDB等。此外，数据处理类型包括分组、过滤、添加常量列、函数操作、交集、并集、差集、行列转换等处理类型，不同的数据处理类型采用不同的执行引擎执行，不同执行引擎支持的功能和处理的方式也不同。
在一实施例中，若该节点类型对应的逻辑处理对象在存放对象的堆中存在时，则判定逻辑处理对象已初始化，否则判定逻辑处理对象未初始化。在其他实施方式中，还可以通过其他判断方式进行判断，此处不作限定。
步骤C，若所述逻辑处理对象未初始化，则初始化所述逻辑处理对象，并加载初始化后的逻辑处理对象；
步骤D，若所述逻辑处理对象已初始化，则加载初始化后的逻辑处理对象。
在本实施例中，若逻辑处理对象未初始化，则初始化逻辑处理对象，并加载初始化后的逻辑处理对象；若逻辑处理对象已初始化，则加载初始化后的逻辑处理对象。
在一实施例中，在数据处理系统的控制模块中，初始化逻辑处理对象为在存放对象的堆中创建逻辑处理对象。然后，在逻辑处理对象已初始化后，将该初始化后的逻辑处理对象加载至栈中，以调用该逻辑处理对象进行数据处理。
进一步地，上述步骤S40包括以下步骤a42-a43：
步骤a42，根据所述数据处理类型，确定已加载后的逻辑处理对象的数据处理接口，其中，所述数据处理接口用于对所述数据源类型对应的数据进行处理；
步骤a43，根据所述数据处理接口，确定数据处理规则。
在本实施例中，根据数据处理类型，确定已加载后的逻辑处理对象的数据处理接口，其中，数据处理接口用于对数据源类型对应的数据进行处理，然后，根据数据处理接口，确定数据处理规则。其中，数据处理规则包括数据运算规则、数据源类型等。
需要说明的是，确定数据处理规则之后，在对数据进行处理时，可根据数据处理规则中各个节点的节点类型，调用对应逻辑处理模块中的数据处理接口对数据进行处理。其中，节点类型包括数据源类型及数据处理类型。
在一实施例中，可根据多个数据处理类型及其前后顺序确定数据处理规则，也就是说工作空间中存在多个关联的节点，不同节点可对数据做不同的处理。例如，根据过滤、分组的数据处理类型，确定数据处理规则为对数据先进行过滤再分组。
本实施例中，通过判断源节点的节点类型对应的逻辑处理对象是否已初始化，并将未初始化的逻辑处理对象进行初始化，以确保源节点对应的逻辑处理对象在使用前进行初始化，避免数据处理系统出现错误，从而提高数据处理功能的健壮性。
进一步地，基于上述第一实施例，提出本发明数据处理方法的第五实施例。
参照图5，图5为本发明数据处理方法第五实施例的流程示意图。
在本实施例中，上述步骤S10之后，该数据处理方法还包括以下步骤S50-S90：
步骤S50，判断所述工作空间是否还存在与所述源节点关联的另一节点；
首先，判断工作空间中是否还存在与源节点关联的另一节点，也就是判断该源节点是否还有与其他节点进行共同的操作。例如，源节点与另一节点进行并操作、交操作、差操作等，则该源节点与另一节点关联。
步骤S60，若所述工作空间还存在所述另一节点，则根据所述源节点的节点类型确定执行引擎，并将所述源节点的配置引擎选项进行置灰显示；
在本实施例中，若工作空间还存在与源节点关联的另一节点，则根据源节点的节点类型确定执行引擎，并将源节点的配置引擎选项进行置灰显示，以使数据分析师无法修改源节点的执行引擎。其中，节点类型包括数据源类型及数据处理类型。
需要说明的是，执行引擎用于对数据进行处理。不同的数据源类型执行引擎不同。而源节点的配置引擎选项用于配置源节点的执行引擎。
步骤S70，根据所述执行引擎，判断所述源节点和所述另一节点是否兼容；
在本实施例中，根据源节点的执行引擎，判断源节点和另一节点是否兼容，即判断源节点和另一节点是否同时支持该执行引擎。
步骤S80，若所述源节点和所述另一节点不兼容，则生成提示信息，以提示修改所述执行引擎；
在本实施例中，若源节点和另一节点不兼容，则生成提示信息，以提示数据分析师修改源节点的执行引擎，直至源节点和另一节点兼容。此外，若源节点和另一节点兼容，则进行后续的操作。
步骤S90，若所述工作空间不存在所述另一节点，则将所述源节点的配置引擎选项进行光亮显示，以供配置所述源节点的执行引擎。
在本实施例中，若工作空间中不存在与源节点关联的另一节点，则将源节点的配置引擎选项进行光亮显示，以供配置源节点的执行引擎。其中，配置引擎选项包括多种执行引擎，数据分析师可根据实际需要选择执行引擎。
可以理解，若工作空间中不存在与源节点关联的另一节点，则源节点的执行引擎不会因存在其他引擎而产生冲突，从而可由数据分析师自主选择执行引擎。
本实施例中，若工作空间还存在与源节点关联的另一节点，则根据源节点的节点类型确定执行引擎，以对源节点的执行引擎进行检测与管理，从而确保各个节点之间的兼容性。同时，在确保兼容性的基础上，通过源节点的配置引擎选项，提供给数据分析师更灵活的执行引擎选择。
进一步地，基于上述第一实施例，提出本发明数据处理方法的第六实施例。
在本实施例中，上述步骤S10之前，该数据处理方法还包括以下步骤E-F：
步骤E，设置不同数据源类型的源节点，以使可拖动不同数据源类型的源节点至工作空间；
本实施例中，对于开发工程师而言，在开发数据处理功能对应的计算机软件时，需开发不同数据源类型的源节点，以实现对不同数据源类型均可进行数据处理。所以，在该计算机软件上，即工作空间的周围设置不同数据源类型的源节点，以使数据分析师可拖动不同数据源类型的源节点至工作空间。
步骤F，在所述源节点对应的逻辑处理模块中，定义所述源节点的节点类型，并设置数据处理接口，以调用所述数据处理接口对数据进行处理。
然后，在源节点对应的逻辑处理模块中，定义源节点的节点类型，并设置对应的数据处理接口，以使后续可调用数据处理接口对数据进行处理。其中，节点类型包括数据源类型及数据处理类型。
需要说明的是，不同节点类型对应的数据处理接口不同，即数据处理的执行流程不同，因此需针对每一节点类型设定数据处理接口。
本实施例中，通过设置不同数据源类型的源节点，以使后续可拖动不同数据源类型的源节点至工作空间，以实现不同数据源类型的数据处理功能的开发。
本发明还提供一种数据处理装置。
参照图6，图6为本发明数据处理装置第一实施例的功能模块示意图。
在本实施例中，所述数据处理装置包括：
节点检测模块10，用于检测拖动至工作空间的源节点，其中，所述源节点为具备数据处理功能的节点，所述工作空间用于设置数据处理规则；
页面确定模块20，用于根据所述源节点的数据源类型，确定对应的处理类型选择页面；
类型确定模块30，用于当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型；
规则确定模块40，用于根据所述数据处理类型确定数据处理规则，以使基于所述数据处理规则对所述数据源类型对应的数据进行处理。
其中，上述数据处理装置的各虚拟功能模块存储于图1所示数据处理设备的存储器1005中，用于实现数据处理程序的所有功能；各模块被处理器1001执行时，可实现数据处理功能。
进一步地，所述页面确定模块20包括：
类型获取单元，用于获取所述源节点的数据源类型，其中，所述数据源类型在所述源节点开发时确定；
权限确定单元，用于根据所述数据源类型，确定操作权限；
页面显示单元，用于根据所述操作权限，显示对应的处理类型选择页面。
进一步地，所述数据处理装置还包括：
参数确定模块，用于根据所述数据处理类型确定参数设置页面，以使基于所述参数设置页面设置所述数据处理类型对应的操作参数；
其中，所述规则确定模块40包括：
规则确定单元，用于根据已设置操作参数的数据处理类型确定数据处理规则。
进一步地，所述数据处理装置还包括：
类型获取模块，用于获取所述源节点的节点类型，并判断所述节点类型对应的逻辑处理对象是否初始化，其中，所述节点类型包括数据源类型及数据处理类型；
对象初始化模块，用于若所述逻辑处理对象未初始化，则初始化所述逻辑处理对象，并加载初始化后的逻辑处理对象；
对象加载模块，用于若所述逻辑处理对象已初始化，则加载初始化后的逻辑处理对象。
进一步地，所述规则确定模块40包括：
接口确定单元，用于根据所述数据处理类型，确定已加载后的逻辑处理对象的数据处理接口，其中，所述数据处理接口用于对所述数据源类型对应的数据进行处理；
规则确定单元，还用于根据所述数据处理接口，确定数据处理规则。
进一步地，所述数据处理装置还包括：
节点判断模块，用于判断所述工作空间是否还存在与所述源节点关联的另一节点；
引擎确定模块，用于若所述工作空间还存在所述另一节点，则根据所述源节点的节点类型确定执行引擎，并将所述源节点的配置引擎选项进行置灰显示；
兼容判断模块，用于根据所述执行引擎，判断所述源节点和所述另一节点是否兼容；
信息提示模块，用于若所述源节点和所述另一节点不兼容，则生成提示信息，以提示修改所述执行引擎；
选项显示模块，用于若所述工作空间不存在所述另一节点，则将所述源节点的配置引擎选项进行光亮显示，以供配置所述源节点的执行引擎。
进一步地，所述数据处理装置还包括：
节点设置模块，用于设置不同数据源类型的源节点，以使可拖动不同数据源类型的源节点至工作空间；
类型定义模块，用于在所述源节点对应的逻辑处理模块中，定义所述源节点的节点类型，并设置数据处理接口，以调用所述数据处理接口对数据进行处理。
其中，上述数据处理装置中各个模块的功能实现与上述数据处理方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如以上任一项实施例所述的数据处理方法的步骤。
本发明计算机可读存储介质的具体实施例与上述数据处理方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：
检测拖动至工作空间的源节点，其中，所述源节点为具备数据处理功能的节点，所述工作空间用于设置数据处理规则；
根据所述源节点的数据源类型，确定对应的处理类型选择页面；
当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型；
根据所述数据处理类型确定数据处理规则，以使基于所述数据处理规则对所述数据源类型对应的数据进行处理。
2.如权利要求1所述的数据处理方法，其特征在于，所述根据所述源节点的数据源类型，确定对应的处理类型选择页面的步骤包括：
获取所述源节点的数据源类型，其中，所述数据源类型在所述源节点开发时确定；
根据所述数据源类型，确定操作权限；
根据所述操作权限，显示对应的处理类型选择页面。
3.如权利要求1所述的数据处理方法，其特征在于，所述当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型的步骤之后，还包括：
根据所述数据处理类型确定参数设置页面，以使基于所述参数设置页面设置所述数据处理类型对应的操作参数；
其中，所述根据所述数据处理类型确定数据处理规则的步骤包括：
根据已设置操作参数的数据处理类型确定数据处理规则。
4.如权利要求1所述的数据处理方法，其特征在于，所述根据所述数据处理类型确定数据处理规则的步骤之前，还包括：
获取所述源节点的节点类型，并判断所述节点类型对应的逻辑处理对象是否初始化，其中，所述节点类型包括数据源类型及数据处理类型；
若所述逻辑处理对象未初始化，则初始化所述逻辑处理对象，并加载初始化后的逻辑处理对象；
若所述逻辑处理对象已初始化，则加载初始化后的逻辑处理对象。
5.如权利要求4所述的数据处理方法，其特征在于，所述根据所述数据处理类型确定数据处理规则的步骤包括：
根据所述数据处理类型，确定已加载后的逻辑处理对象的数据处理接口，其中，所述数据处理接口用于对所述数据源类型对应的数据进行处理；
根据所述数据处理接口，确定数据处理规则。
6.如权利要求1所述的数据处理方法，其特征在于，所述检测拖动至工作空间的源节点的步骤之后，还包括：
判断所述工作空间是否还存在与所述源节点关联的另一节点；
若所述工作空间还存在所述另一节点，则根据所述源节点的节点类型确定执行引擎，并将所述源节点的配置引擎选项进行置灰显示；
根据所述执行引擎，判断所述源节点和所述另一节点是否兼容；
若所述源节点和所述另一节点不兼容，则生成提示信息，以提示修改所述执行引擎；
若所述工作空间不存在所述另一节点，则将所述源节点的配置引擎选项进行光亮显示，以供配置所述源节点的执行引擎。
7.如权利要求1至6中任一项所述的数据处理方法，其特征在于，所述检测拖动至工作空间的源节点的步骤之前，还包括：
设置不同数据源类型的源节点，以使可拖动不同数据源类型的源节点至工作空间；
在所述源节点对应的逻辑处理模块中，定义所述源节点的节点类型，并设置数据处理接口，以调用所述数据处理接口对数据进行处理。
8.一种数据处理装置，其特征在于，所述数据处理装置包括：
节点检测模块，用于检测拖动至工作空间的源节点，其中，所述源节点为具备数据处理功能的节点，所述工作空间用于设置数据处理规则；
页面确定模块，用于根据所述源节点的数据源类型，确定对应的处理类型选择页面；
类型确定模块，用于当检测到基于所述处理类型选择页面触发的交互操作时，根据所述交互操作确定数据处理类型；
规则确定模块，用于根据所述数据处理类型确定数据处理规则，以使基于所述数据处理规则对所述数据源类型对应的数据进行处理。
9.一种数据处理系统，其特征在于，所述数据处理系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110060908.1A CN112764721A (zh) | 2021-01-15 | 2021-01-15 | 数据处理方法、装置、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110060908.1A CN112764721A (zh) | 2021-01-15 | 2021-01-15 | 数据处理方法、装置、系统及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112764721A true CN112764721A (zh) | 2021-05-07 |
Family
ID=75702488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110060908.1A Pending CN112764721A (zh) | 2021-01-15 | 2021-01-15 | 数据处理方法、装置、系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112764721A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107621934A (zh) * | 2017-07-28 | 2018-01-23 | 中国人民解放军国防信息学院 | 基于组件化、图形化算子的评估指标计算方法及装置 |
| CN109343856A (zh) * | 2018-10-24 | 2019-02-15 | 北京奇虎科技有限公司 | 自定义算法组件的生成方法及装置 |
| CN109445774A (zh) * | 2018-10-24 | 2019-03-08 | 北京奇虎科技有限公司 | 基于图元化操作的业务处理方法及装置 |
| CN109635162A (zh) * | 2018-12-18 | 2019-04-16 | 北京九章云极科技有限公司 | 一种数据处理系统及方法 |
| CN110168518A (zh) * | 2016-11-07 | 2019-08-23 | 塔谱软件公司 | 准备和整理用于后续分析的数据的用户界面 |
| CN110704479A (zh) * | 2019-09-12 | 2020-01-17 | 新华三大数据技术有限公司 | 任务处理方法、装置、电子设备及存储介质 |
| US10691304B1 (en) * | 2018-10-22 | 2020-06-23 | Tableau Software, Inc. | Data preparation user interface with conglomerate heterogeneous process flow elements |
| CN111949680A (zh) * | 2019-05-17 | 2020-11-17 | 杭州海康威视数字技术股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN111966705A (zh) * | 2020-08-12 | 2020-11-20 | 北京海致网聚信息技术有限公司 | 交互式数据建模方法 |
| US10891041B1 (en) * | 2019-08-14 | 2021-01-12 | Tableau Software, Inc. | Data preparation user interface for aggregate comparison of datasets at different nodes in a process flow |
-
2021
- 2021-01-15 CN CN202110060908.1A patent/CN112764721A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110168518A (zh) * | 2016-11-07 | 2019-08-23 | 塔谱软件公司 | 准备和整理用于后续分析的数据的用户界面 |
| CN107621934A (zh) * | 2017-07-28 | 2018-01-23 | 中国人民解放军国防信息学院 | 基于组件化、图形化算子的评估指标计算方法及装置 |
| US10691304B1 (en) * | 2018-10-22 | 2020-06-23 | Tableau Software, Inc. | Data preparation user interface with conglomerate heterogeneous process flow elements |
| CN109343856A (zh) * | 2018-10-24 | 2019-02-15 | 北京奇虎科技有限公司 | 自定义算法组件的生成方法及装置 |
| CN109445774A (zh) * | 2018-10-24 | 2019-03-08 | 北京奇虎科技有限公司 | 基于图元化操作的业务处理方法及装置 |
| CN109635162A (zh) * | 2018-12-18 | 2019-04-16 | 北京九章云极科技有限公司 | 一种数据处理系统及方法 |
| CN111949680A (zh) * | 2019-05-17 | 2020-11-17 | 杭州海康威视数字技术股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| US10891041B1 (en) * | 2019-08-14 | 2021-01-12 | Tableau Software, Inc. | Data preparation user interface for aggregate comparison of datasets at different nodes in a process flow |
| CN110704479A (zh) * | 2019-09-12 | 2020-01-17 | 新华三大数据技术有限公司 | 任务处理方法、装置、电子设备及存储介质 |
| CN111966705A (zh) * | 2020-08-12 | 2020-11-20 | 北京海致网聚信息技术有限公司 | 交互式数据建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7624349B2 (en) | Declarative definition enabling graphical designer reuse | |
| US11681507B2 (en) | Composable context menus | |
| CN109325195A (zh) | 浏览器的渲染方法和系统、计算机设备、计算机存储介质 | |
| JP6750124B2 (ja) | 端末装置、ｕｉ拡張方法及びｕｉ拡張プログラム | |
| EP1715411A1 (en) | A data processing system and method | |
| RU2639667C2 (ru) | Контекстное приглашение в пробной версии приложения | |
| CN111736818A (zh) | 基于容器云的应用创建方法、装置及电子设备和存储介质 | |
| CN114089986A (zh) | 低代码开发平台函数表达式配置方法、系统、设备及介质 | |
| EP2610745A1 (en) | Optimizing source code | |
| US10387124B2 (en) | System and method for creating domain specific language | |
| CN107341106A (zh) | 应用程序兼容性检测方法、开发终端及存储介质 | |
| US20090031226A1 (en) | Method and System for Extending Task Models for Use In User-Interface Design | |
| CA3149711A1 (en) | Method of and device for tracing logical node in automation testing, program and medium | |
| CN113296760A (zh) | 模型代码的生成方法、计算机设备及可读存储介质 | |
| CN112764721A (zh) | 数据处理方法、装置、系统及计算机可读存储介质 | |
| CN112783483B (zh) | 基于悬浮按钮组件的功能创建方法、装置、设备及介质 | |
| JP2015148925A (ja) | プログラム生成装置および方法 | |
| JP2014532223A (ja) | 第１のコンピュータ・プログラムが第２のコンピュータ・プログラムのアプリケーション・ロジックを実行することを可能にするための方法および装置、第１のコンピュータ・プログラムと第２のコンピュータ・プログラムとのインターフェースをとるためのコンピュータ・プログラム・コードを生成するための方法および装置、コンピュータ・プログラム、ならびに第１のコンピュータ・プログラムが第２のコンピュータ・プログラムのアプリケーション・ロジックを実行することを可能にするためのソフトウェア・インターフェースを提供するための方法（コンピュータ・プログラム・インターフェース） | |
| CN112395028B (zh) | 页面检验方法、装置、终端以及存储介质 | |
| KR101732922B1 (ko) | Gui 기반의 비동기 방식 코딩 시스템 및 방법 | |
| CN106934555B (zh) | 工作流的组织方法及装置、计算机设备及存储介质 | |
| US20170068523A1 (en) | Modular Computer Application Development and Usage | |
| CN113742807B (zh) | 交互处理方法、装置及电子设备 | |
| US20240231838A1 (en) | Methods for generating configuration data packet and file, processing method, device and medium | |
| CN109634857B (zh) | 测试页面对象的方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |