CN113127061A - 数据处理方法及系统 - Google Patents
数据处理方法及系统 Download PDFInfo
- Publication number
- CN113127061A CN113127061A CN201911418966.6A CN201911418966A CN113127061A CN 113127061 A CN113127061 A CN 113127061A CN 201911418966 A CN201911418966 A CN 201911418966A CN 113127061 A CN113127061 A CN 113127061A
- Authority
- CN
- China
- Prior art keywords
- work task
- data
- data processing
- node
- workflow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 227
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 12
- 240000003450 Mallotus philippensis Species 0.000 description 8
- 239000009355 kamala Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 101000603420 Homo sapiens Nuclear pore complex-interacting protein family member A1 Proteins 0.000 description 4
- 102100038845 Nuclear pore complex-interacting protein family member A1 Human genes 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供一种数据处理方法，包括：获取数据处理指令对应的处理工作流，所述处理工作流包括多个工作任务节点任务，所述工作任务节点至少一个数据输入节点、至少一个数据中间节点和至少一个数据输出节点；根据所述处理工作流的工作任务节点生成拓扑图；获取待处理数据，基于所述拓扑图执行所述工作任务节点任务对应的工作任务，以对所述待处理数据进行处理。本发明解决了数据处理过程中由于数据处理需要的程序较多，数据处理难以追踪的问题；同时根据数据处理逻辑对工作任务节点进行组装即可得到数据处理的处理工作流，降低了运维人员的工作难度。
Description
技术领域
本发明实施例涉及信息安全及互联网技术领域，尤其涉及一种数据处理方法及系统。
背景技术
现有的技术中，数据的处理，例如样本的流式处理等数据处理是由消息队列串联的多个程序组成，在业务复杂的场景下，串联程序较多，业务链条冗长，很难知道进行到哪个流程，是由哪个程序在进行处理，运维人员要理解业务流程、追踪数据处理任务的状态成本非常高，这样就会产生数据处理进度难以把控的问题，且维护数据处理业务流程困难。因此，需要一种业务链条清晰，流程管理清楚，业务流程易于维护的数据处理方法。
发明内容
有鉴于此，本发明实施例提供了一种数据处理方法、系统、计算机设备及计算机可读存储介质，用于解决数据处理过程中数据处理进度难以把控，且维护数据处理业务流程困难的问题。
本发明实施例是通过下述技术方案来解决上述技术问题：
一种数据处理方法，包括：
获取数据处理指令对应的处理工作流，所述处理工作流包括多个工作任务节点，所述工作任务节点至少一个数据输入节点、至少一个数据中间节点和至少一个数据输出节点；
根据所述处理工作流的所述工作任务节点生成拓扑图；
获取待处理数据，基于所述拓扑图执行所述工作任务节点对应的工作任务，以对所述待处理数据进行处理。
进一步地，所述方法还包括：
预设数据处理指令的触发时间；
在满足所述触发时间时触发所述数据处理指令。
进一步地，配置所述数据处理指令与所述处理工作流的映射关系；
对应的，所述获取数据处理指令对应的处理工作流具体包括：
根据所述映射关系获取所述数据处理指令对应的处理工作流。
进一步地，所述数据处理方法还包括：
接收新的数据处理指令；
获取所述新的数据处理指令的新处理工作流；
对比新处理工作流的工作任务节点与所述处理工作流的所述工作任务节点，以对所述拓扑图进行第一更新，生成新的拓扑图。
进一步地，所述对比新处理工作流的工作任务节点与所述处理工作流的所述工作任务节点，以对所述拓扑图进行第一更新，生成新的拓扑图包括：
根据所述新处理工作流的工作任务节点与所述处理工作流的所述工作任务节点，确定所述拓扑图中待处理的目标工作任务节点；
通过所述新处理工作流对所述目标工作任务节点进行修改操作，确定所述目标工作任务节点之间的连接关系，以生成新的拓扑图。
进一步地，所述获取待处理数据，基于所述拓扑图执行所述工作任务节点对应的工作任务，以对所述待处理数据进行处理包括：
接收所述工作任务节点在执行对应的工作任务过程中产生的业务数据；
根据所述业务数据，获取所述工作任务节点的执行状态；
根据所述工作任务节点的执行状态对所述拓扑图进行第二更新。
进一步地，所述根据所述处理工作流的所述工作任务节点生成拓扑图包括：
基于所述工作任务节点之间的数据处理逻辑关系生成拓扑图；
将所述拓扑图展示在工作任务节点管理界面上。
为了实现上述目的，本发明实施例还提供一种数据处理系统，包括：
工作流获取模块，用于获取数据处理指令对应的处理工作流，所述处理工作流包括多个工作任务节点，所述工作任务节点至少一个数据输入节点、至少一个数据中间节点和至少一个数据输出节点；
拓扑图生成模块，用于根据所述处理工作流的所述工作任务节点生成拓扑图；
工作任务节点执行模块，用于获取待处理数据，基于所述拓扑图执行所述工作任务节点对应的工作任务，以对所述待处理数据进行处理。
为了实现上述目的，本发明实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述数据处理方法的步骤。
为了实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的数据处理方法的步骤。
本发明实施例提供的数据处理方法、系统、计算机设备及计算机可读存储介质，本发明实施例首先通过工作流确定工作任务节点，再根据工作流的中的数据逻辑处理关系将工作流变为由工作任务节点构成的拓扑图，解决了数据处理工程中由于数据处理需要的程序较多，数据处理难以追踪的问题；同时，不需要关注工作任务节点内部的数据处理逻辑，只需要了解工作任务节点的配置，根据数据处理逻辑对工作任务节点进行组装即可得到数据处理的处理工作流，降低了运维人员的工作难度。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为本发明实施例的应用环境示意图；
图2为本发明实施例之根据所述处理工作流的所述工作任务节点生成的拓扑图；
图3为本发明实施例一之数据处理方法的步骤流程图；
图4为生成数据处理指令的具体流程示意图；
图5为获取数据处理指令对应的处理工作流的具体流程示意图；
图6为根据所述处理工作流的所述工作任务节点生成拓扑图的具体流程示意图；
图7为步骤更新拓扑图的具体流程示意图；
图8为步骤所述对比新处理工作流与处理工作流的工作任务节点，以对拓扑图进行第一更新，生成新的拓扑图的具体流程示意图；
图9为样本鉴定的数据处理流程图；
图10为样本回扫的数据处理流程图；
图11为获取待处理数据，基于所述拓扑图执行所述工作任务节点对应的工作任务，以对所述待处理数据进行处理的具体流程示意图；
图12为本发明数据处理系统之实施例二的程序模块示意图；
图13为本发明计算机设备之实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
图1为根据本申请实施例的数据处理系统20的环境应用示意图。该数据处理系统20用于将来自外部的数据源10的数据进行数据处理，得到结果数据，然后将结果数据传输给数据使用方进行使用或者存储。
数据源10用于产生数据。数据源10包括本地文件源、JDBC源(用JDBC从数据库mysql、DB中读取数据)、http源(从http端点接收数据)。
如图2所示，数据处理系统20包括：工作任务节点20A，其中工作任务节点20A包括至少一个数据输入节点、至少一个数据中间节点和至少一个数据输出节点。所述数据输入节点用于向所述处理工作流输入数据，所述数据中间节点用于对输入的数据进行处理，所述数据输出节点用于输出结果数据。
多个工作任务节点20A之间通过有线网络、无线网络或者专用的硬件接口连接。
可以理解的是，在虚拟化的场景下，数据处理系统20的工作任务节点20A也可以由运行在通用硬件上的虚拟机来实现。本申请实施例不限定工作任务节点20A是物理实体还是逻辑实体。
数据使用方设备30是用于对输出结果数据进行存储或者使用的设备。
可选的，所述数据处理系统20还包括终端20C，终端20C包括任何类型的计算设备，诸如移动设备，平板设备，膝上型计算机之类的电子设备，本方案对终端的硬件形式不加以限定。终端20C中运行有应用程序20D，应用程序20D用于提供用户与数据处理系统20之间的人机交互入口。应用程序20D具有接收用户点击，根据用户点击获取用户指令的能力。
实施例一
请参阅图3，示出了本发明实施例之数据处理方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，具体如下：
步骤S100：获取数据处理指令对应的处理工作流，所述处理工作流包括多个工作任务节点，所述工作任务节点至少一个数据输入节点、至少一个数据中间节点和至少一个数据输出节点。
在示例性的实施例中，请参阅图4，步骤S100还包括：
S120：预设数据处理指令的触发时间；
具体的，所述触发事件的设置可以是用户根据需求进行预设，也可以是基于电脑的性能参数自动生成，或者是基于服务器下载的配置表进行预设，本方案在此不做限制。
S122：在满足所述触发时间时触发所述数据处理指令。
具体的，一些数据处理任务需要按照一定的处理周期进行处理，例如，每天处理一次或者每个月处理一次，用户可以配置一个定时发送的事件处理指令，当到达预设时间时，则发出数据处理指令。
请参阅图5，所述获取数据处理指令对应的处理工作流还包括：
S100A：配置所述数据处理指令与所述处理工作流的映射关系；
S100B：根据所述映射关系获取所述数据处理指令对应的处理工作流。
具体的，在处理数据的过程中，一个或多个不同的数据，对应不同的数据处理指令，会涉及到不同的数据处理工作流，其中所述处理工作流包括一个或多个数据处理步骤，所述一个或多个步骤即为所述工作任务节点。开发人员首先根据数据的处理需求确定该处理工作流确定工作任务节点的类型及工作任务节点的配置参数。其中，所述配置参数时开发人员根据数据处理需求确定，因为不同的工作任务节点代表的数据处理逻辑不同，因此不同数据节点的参数配置也不相同。
本实施例中涉及到的工作任务节点为业务人员在数据处理的过程中，将与数据处理相关的逻辑操作抽象为已有的工作任务节点。拓扑图中的每一个工作任务节点是业务处理逻辑节点，使用方只需要实现每一个逻辑节点的代码逻辑即可。在使用时，开发人员可以直接调用工作任务节点，无需再了解工作任务节点的开发参数以及计算细节，降低了数据处理的开发难度。
对所述工作任务节点进行配置时，包括但不限于以下的参数：工作任务节点的名称、描述信息、输出字段结构以及参数配置。
所述数据输入节点的输入数据可以包括以下至少一项：本地文件源、JDBC源(用JDBC从数据库mysql、DB中读取数据)、http源(从http端点接收数据)。
所述数据中间节点对数据的处理可以包括以下至少一项：排重操作、聚合操作、序列化操作等。
所述数据输出节点的输出结果数据可以包括以下至少一项：Redis输出、Kafka输出、IBM MQ输出、基于Http操作的Http输出、基于数据源的Socket输出以及基于数据源的本地文件输出。
步骤S102：根据所述处理工作流的所述工作任务节点生成拓扑图。
在示例性的实施例中，如图6所示，步骤S102还进一步包括：
步骤S102A：基于所述工作任务节点之间的数据处理逻辑关系生成拓扑图；
步骤S102B：将所述拓扑图展示在工作任务节点管理界面上。
具体的，所述拓扑图用于定义所述处理工作流处理数据的逻辑处理关系，即所述工作流处理数据时的运算逻辑。所述数据输入节点用于向所述处理工作流输入数据，所述数据中间节点用于对输入的数据进行处理，所述数据输出节点用于输出结果数据。
在示例性的实施例中，具体的，基于所述数据输入节点、数据中间节点、数据输出节点之间的逻辑关系，生成拓扑图，所述拓扑图所在的界面为工作任务节点管理界面。
在示例性的实施例中，用户通过点击工作任务节点管理界面发出某种数据处理指令，计算机接收所述工作处理指令之后，在工作任务节点管理界面上会展开数据处理指令对应的完整的拓扑图，所述拓扑图基于所述数据处理指令预先设置。
示例性的，所述生成拓扑图的方法还包括，从所述数据输入节点开始，响应工作任务节点管理界面上的点击，逐级展开所述拓扑图。
在另外的实施例中，接收用户通过在搜索框中搜索工作任务节点的名称或者输出字段或者配置或者，获取对应的工作任务节点后，响应用户的点击操作，将获取到的工作任务节点加入到拓扑图中，继续响应对所述工作任务节点的连接操作，使用带箭头的连接线将所述工作任务节点连接，生成拓扑图。
在示例性的实施例中，请参阅图7，所述数据处理方法还可以进一步包括：更新拓扑图。
所述更新拓扑图进一步包括：
S110：接收新的数据处理指令；
S112：获取所述新的数据处理指令的新处理工作流；
S114：对比新处理工作流的工作任务节点与处理工作流的工作任务节点，以对拓扑图进行第一更新，生成新的拓扑图。
具体的，当出现新的数据需要处理，但是新数据的处理工作流与原有的处理工作流相比，处理的数据的逻辑相似，只是细微的改动时，可以直接在拓扑图上更改，生成新的拓扑图。
在示例性的实施例中，请参照图8，所述对比新处理工作流的工作任务节点与处理工作流的工作任务节点，以对拓扑图进行第一更新，生成新的拓扑图进一步包括：
S114A：根据所述新处理工作流的工作任务节点与所述处理工作流的工作任务节点，确定所述拓扑图中待处理的目标工作任务节点；
具体的，所述目标工作任务节点为所述新处理工作流的工作任务节点与所述处理工作流的工作任务节点对比后，需要改动的工作任务节点。所述目标工作任务节点为拓扑图中已有的工作任务节点，所述工作任务节点的选择操作可以是对一个或多个工作任务节点的点击操作，本方案对此不作限定。在其他实施例中，对所述工作任务节点的选择操作可以是对工作任务节点的框选操作。
S114B：通过所述新处理工作流对所述目标工作任务节点进行修改操作，确定所述目标工作任务节点之间的连接关系，以生成新的拓扑图。
具体的，所述修改操作包括对所述目标工作任务节点的特定指令的点击操作和对所述连接所述目标工作任务节点的连接线的拖曳操作，本申请在此不做限定。在示例性的实施例中，特定指令的点击操作对可以包括页面右击操作以及从页面右击后显示选择操作指令的点击操作，对所述目标工作任务节点的特定指令的点击操作和对所述连接所述目标工作任务节点的连接线的拖曳操作，包括对目标工作任务节点的增加和/或删除，以及所述目标工作任务节点的增加和/或删除后，对所述连接线的拖曳。
在示例性的实施例中，响应点击增加目标工作任务节点的操作指令，将增加相同的目标工作任务节点，同时拖曳所述连接线使所述工作任务节点的连接符合数据处理逻辑；响应点击删除目标工作任务节点的操作指令，则删除该目标工作任务节点，同时拖曳所述连接线使所述目标工作任务节点的连接符合数据处理逻辑。
在示例性的实施例中，工作任务节点与工作任务节点之间并非全部都可以用连接线连接，例如，数据输入节点的数据只能流入，因此数据输入节点与数据输入节点之间不可连接，数据输出节点的数据只能流出，因此数据输出节点与数据输出节点不可连接，数据中间节点的数据可以流入也可以流出，因此，一个处理工作流对应的拓扑图可以按照数据的逻辑处理顺序连接多个数据中间节点，同时一个数据输入节点不能直接连接一个数据输出节点，当工作任务节点之间可以通过连接线连接时，称为工作任务节点可连接，当工作任务节点之间不能通过连接线连接时，称为工作任务节点不可连接。在本实施例中，可以预先保存工作任务节点的连接规则，当对工作任务节点的增加和/或删除，以及所述目标工作任务节点的增加和/或删除后，对所述连接线的拖曳时，当用户使用连接线错误的连接所述工作任务节点时，对用户进行提醒。例如，当用户使用连接线连接数据输出节点和数据输出节点时，则不响应用户的连接指令，同时发出连接错误的警报。
进一步地，在示例性的实施例中，所述操作指令还包括响应同时选择多个所述目标工作任务节点的指令，同时删除或增加多个目标工作任务节点。
通过响应于对所述工作任务节点的选择操作，确定待处理的目标工作任务节点，响应于对所述目标工作任务节点的操作，确定所述目标工作任务节点之间的连接关系的设置，当运维人员需要处理新的数据时，因为数据处理逻辑不同，因此需要根据数据处理逻辑重新设置工作任务节点管理界面，但是一些新数据的处理，只是需要在之前已有的工作任务节点管理界面上进行删改或者增加工作任务节点即可获得。
在示例性的实施例中，所述拓扑图可以为有向无环图。
具体的，所述有向无环图是指任一条边有方向，且不存在环路的图。所述工作任务节点通过有向边连接，用于表示数据的流动方向。
一个完整的处理工作流对应的有向无环图应包括一个数据输入节点、至少一个数据中间节点和数据输出节点。在另外的实施例中，一个完整的处理工作流对应的有向无环图可以包括多个数据输入节点和多个数据输出节点。
在所述有向无环图中，所述有向边将所述数据输入节点获取的数据输入至所述数据中间节点，并把所述中间数据节点处理后的数据输入所述数据输出节点以输出结果数据。
步骤S104：获取待处理数据，基于所述拓扑图执行所述工作任务节点对应的工作任务，以对所述待处理数据进行处理。
具体的，生成所述拓扑图后，可以根据所述拓扑图上工作任务节点的顺序，对所述待处理数据进行处理。
下面结合一个样本鉴定场景来说明对数据处理过程，样本鉴定的过程是对一个样本进行各种鉴定器的扫描，通过鉴定结果分析判定样本是否具有威胁及其他属性，并将中间数据和最终结果进行存储，样本鉴定的数据处理过程即为样本扫描的数据处理过程。参阅图9，执行样本鉴定的数据处理过程包括JOB模块、TASK模块、EXECUTER模块、KAMALA模块和MORPHEUS模块，所述JOB模块接收样本鉴定指令后，获取样本鉴定指令的样本鉴定处理工作流，所述TASK模块根据样本鉴定处理工作流，新创建样本鉴定处理工作流对应的工作任务节点，同时生成对应的拓扑图，用户通过拓扑图(在本实施例中，所述拓扑图为有向无环图)配置可以清晰的看到业务流程的组织方式，每创建完成一个任务节点后，将创建完成消息反馈给JOB模块，样本鉴定的工作任务节点(TASK)包括依次新创建的样本下载工作任务节点、样本收到下载工作任务节点、发起鉴定工作任务节点、收到鉴定结果工作任务节点、更新样本鉴定结果工作任务节点。其中样本鉴定的每一个工作任务节点对应的工作任务的完成步骤包括新创建、工作中、等待回调和状态接收。TASK模块将各个样本鉴定的工作任务节点对应的工作任务发送至EXECUTER模块，所述EXECUTER模块用于管控各个样本鉴定的工作任务节点对应的工作任务，推进样本鉴定的数据处理过程。根据样本鉴定的工作任务节点调取KAMALA模块和MORPHEUS模块，EXECUTER模块发送扫描任务至KAMALA模块，KAMALA模块基于样本下载工作任务节点下载样本任务，KAMALA模块基于样本收到下载工作任务节点生成样本任务下载完成信号，并将样本任务下载完成信号发送至TASK模块相应的工作任务节点进行记录，KAMALA模块基于发起鉴定工作任务节点执行样本鉴定，KAMALA模块基于收到鉴定结果工作任务节点输出样本鉴定结果并将样本鉴定结果发送至TASK模块相应的工作任务节点进行记录，当KAMALA模块输出样本鉴定结果并将样本鉴定结果发送至TASK模块相应的工作任务节点进行记录后，EXECUTER模块发送样本鉴定完成信号到MORPHEUS模块，MORPHEUS模块基于更新样本鉴定结果工作任务节点，响应样本鉴定完成信号，即MORPHEUS模块基于更新样本鉴定结果工作任务节点记录样本鉴定任务完成状态。TASK模块将所有样本鉴定的工作任务节点对应的执行结果反馈给JOB模块。用户通过JOB模块和TASK模块的管理接口可以清晰的追踪数据和任务的处理状态。
在另外一个实施例中，当样本鉴定的工作任务节点执行完成的时间超过预设时间后，则发起回调步骤。
在另外一个实施例中，参阅图10，图10为图9的基础上的样本回扫的数据处理流程图，样本回扫流程包含黑样本回扫、白样本回扫等，图10与图9的差别点在于，图10包括CONFIG模块、EVENT模块和TIMER模块，所述TIMER模块为定时器模块，供定时器的管理和定时触发功能，用于支持业务中定时触发任务，CONFIG模块首先在TIMER模块设置定时时间，到达定时时间后，发出到达定时时间的信号，EVENT模块接收定时时间的信号，发起对应的样本回扫事件后，触发样本回扫指令，样本回扫的数据处理流程类似样本鉴定的数据处理流程，但会根据具体的回扫事件有不同的逻辑行为，另外，执行样本回扫的数据处理流程还包括MONITOR模块，用于提供系统运行的各项指标数据，方便运维人员获取系统运行情况，并在异常发生时提供报警，使运维人员及时介入。
在示例性的实施例中，请参阅图11，步骤S104可以进一步包括：
S104A：接收所述工作任务节点在执行对应的工作任务过程中产生的业务数据；
具体的，所述工作任务节点在执行对应的工作任务过程中，会产生多项业务数据。在示例性的实施例中，所述业务数据包括业务状态数据，所述业务状态数据用于指明当前工作任务节点的业务执行状态。在一实施方式中，所述业务状态可以基于工作任务节点对应的任务的完成情况分为新创建、执行中、已完成和处理异常，不同的业务状态数据基于其任务的完成情况不同携带不同的状态标识，例如，当工作任务节点对应的任务的完成情况为已完成时，可以携带表明其状态为“已完成”的状态标识；当工作任务节点对应的任务的完成情况为执行中时，可以携带表明其状态为“执行中”的状态标识；当工作任务节点对应的任务的完成情况为新创建时，可以携带表明其状态为“新创建”的状态标识；当工作任务节点对应的任务的完成情况为处理异常时，可以携带表明其状态为“异常”的状态标识。在本实施例中，具体的状态标识可以预先设定，例如，设定“0”代表该工作任务节点对应的任务为新创建状态，设定“1”代表该工作任务节点对应的任务为执行中状态，设定“2”代表该工作任务节点对应的任务为已完成状态，设定“4”代表改工作任务节点对应的任务为异常状态，所述异常状态可以包括“超时、崩溃、错误”等异常状态。
在另外一个实施例中，所述业务数据除了业务状态数据以外，还包括业务信息数据，所述业务信息数据是指在执行过程中产生的各项指标数据，例如，工作任务节点执行对应任务的花费的时间，当所述指标数据超过预设阈值时，则发出报警信号，使运维人员及时介入。
S104B：根据所述业务数据，获取工作任务节点的执行状态。
具体的，当接收到所述业务数据时，根据所述状态标识确定所述工作任务节点对应的任务的执行状态，以对任务的执行状态进行获取。
S104C：根据所述工作任务节点的执行状态对所述拓扑图进行第二更新。
具体的，获取到所述工作任务节点对应的任务的执行状态后，对拓扑图上的各个工作任务节点的状态进行第二更新，通过响应对工作任务节点的点击操作，展示当前工作任务节点对应任务的执行状态，实现数据的和任务管理状态的追踪。
示例性的，以预设频率获取工作任务节点的执行状态，例如，以每小时一次的频率，对工作任务节点的执行状态进行获取，所述预设频率可以根据数据的处理类型确定。
在另外的实施例中，也可以基于用户点击工作任务节点管理界面上的更新指令进行更新。
本实施例首先通过工作流确定工作任务节点，再根据工作流的中的数据逻辑处理关系将工作流变为由工作任务节点构成的拓扑图，以及对拓扑图的各个工作任务节点的状态进行第一更新，解决了数据处理工程中由于数据处理需要的程序较多，数据处理难以追踪的问题；同时，不需要关注工作任务节点内部的数据处理逻辑，只需要了解工作任务节点的配置，根据数据处理逻辑对工作任务节点进行组装即可得到数据处理的处理工作流，降低了运维人员的工作难度；同时提供了可视化的拓扑图，使运维人员可以更加直观的获取整个数据处理流程；通过提供一个统一的业务处理流程，支持流程和批量处理业务；另外，通过工作任务节点可变，工作任务节点与工作任务节点的连接关系可变的设置，使运维人员可以根据数据的变化更改数据处理工作流，提高数据处理效率。
实施例二
请继续参阅图12，示出了本发明数据处理系统的程序模块示意图。在本实施例中，数据处理系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述数据处理方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述数据处理系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
工作流获取模块200：获取数据处理指令对应的处理工作流，所述处理工作流包括多个工作任务节点，所述工作任务节点至少一个数据输入节点、至少一个数据中间节点和至少一个数据输出节点。
进一步地，工作流获取模块200还用于：
预设数据处理指令的触发时间；
在满足所述触发时间时触发所述数据处理指令。
进一步地，工作流获取模块200还用于：
配置所述数据处理指令与所述处理工作流的映射关系；
根据所述映射关系获取所述数据处理指令对应的处理工作流。
拓扑图生成模块202：用于根据所述处理工作流的所述工作任务节点生成拓扑图。
进一步地，拓扑图生成模块202还用于：
基于所述工作任务节点之间的数据处理逻辑关系生成拓扑图；
将所述拓扑图展示在工作任务节点管理界面上。
进一步地，拓扑图生成模块202还用于：
接收新的数据处理指令；
获取所述新的数据处理指令的新处理工作流；
对比新处理工作流的工作任务节点与处理工作流的工作任务节点，以对拓扑图进行第一更新，生成新的拓扑图。
进一步地，拓扑图生成模块202还用于：
根据所述新处理工作流的工作任务节点与所述处理工作流的工作任务节点，确定所述拓扑图中待处理的目标工作任务节点；
通过所述新处理工作流对所述目标工作任务节点进行修改操作，确定所述目标工作任务节点之间的连接关系，以生成新的拓扑图。
工作任务节点执行模块204：用于获取待处理数据，基于所述拓扑图执行所述工作任务节点对应的工作任务，以对所述待处理数据进行处理。
进一步地，工作任务节点执行模块204还用于：
接收所述工作任务节点在执行对应的工作任务过程中产生的业务数据；
根据所述业务数据，获取所述工作任务节点的执行状态；
根据所述工作任务节点的执行状态对所述拓扑图进行第二更新。
实施例三
参阅图13，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图13所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及数据处理系统20。其中：
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例5的数据处理系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行数据处理系统20，以实现上述实施例的数据处理方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图13仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的所述数据处理系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图12示出了所述实现数据处理系统20实施例二的程序模块示意图，该实施例中，所述基于数据处理系统20可以被划分为工作流获取模块200、拓扑图生成模块202和工作任务节点执行模块204。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述数据处理系统20在所述计算机设备2中的执行过程。所述程序模块工作流获取模块200-工作任务节点执行模块204的具体功能在上述实施例中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储数据处理系统20，被处理器执行时实现上述实施例的数据处理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
获取数据处理指令对应的处理工作流，所述处理工作流包括多个工作任务节点，所述工作任务节点包括至少一个数据输入节点、至少一个数据中间节点和至少一个数据输出节点；
根据所述处理工作流的所述工作任务节点生成拓扑图；
获取待处理数据，基于所述拓扑图执行所述工作任务节点对应的工作任务，以对所述待处理数据进行处理。
2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
预设数据处理指令的触发时间；
在满足所述触发时间时触发所述数据处理指令。
3.根据权利要求2所述的数据处理方法，其特征在于：配置所述数据处理指令与所述处理工作流的映射关系；
对应的，所述获取数据处理指令对应的处理工作流具体包括：
根据所述映射关系获取所述数据处理指令对应的处理工作流。
4.根据权利要求1或2所述的数据处理方法，其特征在于，所述数据处理方法还包括：
接收新的数据处理指令；
获取所述新的数据处理指令的新处理工作流；
对比所述新处理工作流的工作任务节点与所述处理工作流的所述工作任务节点，以对所述拓扑图进行第一更新，生成新的拓扑图。
5.根据权利要求4所述的数据处理方法，其特征在于，所述对比新处理工作流与所述处理工作流的所述工作任务节点，以对所述拓扑图进行第一更新，生成新的拓扑图包括：
根据所述新处理工作流的工作任务节点与所述处理工作流的所述工作任务节点，确定所述拓扑图中待处理的目标工作任务节点；
通过所述新处理工作流对所述目标工作任务节点进行修改操作，确定所述目标工作任务节点之间的连接关系，以生成新的拓扑图。
6.根据权利要求5所述的数据处理方法，其特征在于，所述获取待处理数据，基于所述拓扑图执行所述工作任务节点对应的工作任务，以对所述待处理数据进行处理包括：
接收所述工作任务节点在执行对应的工作任务过程中产生的业务数据；
根据所述业务数据，获取所述工作任务节点的执行状态；
根据所述工作任务节点的执行状态对所述拓扑图进行第二更新。
7.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述处理工作流的所述工作任务节点生成拓扑图包括：
基于所述工作任务节点之间的数据处理逻辑关系生成所述拓扑图；
将所述拓扑图展示在工作任务节点管理界面上。
8.一种数据处理系统，其特征在于，包括：
工作流获取模块，用于获取数据处理指令对应的处理工作流，所述处理工作流包括多个工作任务节点，所述工作任务节点至少一个数据输入节点、至少一个数据中间节点和至少一个数据输出节点；
拓扑图生成模块，用于根据所述处理工作流的所述工作任务节点生成拓扑图；
工作任务节点执行模块，用于获取待处理数据，基于所述拓扑图执行所述工作任务节点对应的工作任务，以对所述待处理数据进行处理。
9.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至7中任一项所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911418966.6A CN113127061A (zh) | 2019-12-31 | 2019-12-31 | 数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911418966.6A CN113127061A (zh) | 2019-12-31 | 2019-12-31 | 数据处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113127061A true CN113127061A (zh) | 2021-07-16 |
Family
ID=76769291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911418966.6A Pending CN113127061A (zh) | 2019-12-31 | 2019-12-31 | 数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113127061A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017125146A1 (en) * | 2016-01-20 | 2017-07-27 | Nec Europe Ltd. | Method and system for supporting stream processing framework functionality |
| CN108171468A (zh) * | 2017-12-15 | 2018-06-15 | 东软集团股份有限公司 | 数据处理的方法、装置和存储介质以及电子设备 |
| CN109345377A (zh) * | 2018-09-28 | 2019-02-15 | 北京九章云极科技有限公司 | 一种数据实时处理系统及数据实时处理方法 |
| CN109725916A (zh) * | 2017-10-31 | 2019-05-07 | 北京国双科技有限公司 | 流处理的拓扑结构更新系统和方法 |
| CN110245914A (zh) * | 2019-05-22 | 2019-09-17 | 深圳壹账通智能科技有限公司 | 一种跨系统业务办理方法、装置、计算机设备和存储介质 |
| CN110399208A (zh) * | 2019-07-15 | 2019-11-01 | 阿里巴巴集团控股有限公司 | 分布式任务调度拓扑图的展示方法、装置及设备 |
-
2019
- 2019-12-31 CN CN201911418966.6A patent/CN113127061A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017125146A1 (en) * | 2016-01-20 | 2017-07-27 | Nec Europe Ltd. | Method and system for supporting stream processing framework functionality |
| CN109725916A (zh) * | 2017-10-31 | 2019-05-07 | 北京国双科技有限公司 | 流处理的拓扑结构更新系统和方法 |
| CN108171468A (zh) * | 2017-12-15 | 2018-06-15 | 东软集团股份有限公司 | 数据处理的方法、装置和存储介质以及电子设备 |
| CN109345377A (zh) * | 2018-09-28 | 2019-02-15 | 北京九章云极科技有限公司 | 一种数据实时处理系统及数据实时处理方法 |
| CN110245914A (zh) * | 2019-05-22 | 2019-09-17 | 深圳壹账通智能科技有限公司 | 一种跨系统业务办理方法、装置、计算机设备和存储介质 |
| CN110399208A (zh) * | 2019-07-15 | 2019-11-01 | 阿里巴巴集团控股有限公司 | 分布式任务调度拓扑图的展示方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108205442B (zh) | 边缘计算平台 | |
| CN108566290B (zh) | 服务配置管理方法、系统、存储介质和服务器 | |
| CN107733708B (zh) | 设备参数配置方法、装置、计算机设备和存储介质 | |
| CN107992537B (zh) | 业务属性传递方法、装置、计算机设备及存储介质 | |
| CN115292026A (zh) | 容器集群的管理方法、装置、设备及计算机可读存储介质 | |
| CN109828830B (zh) | 用于管理容器的方法和装置 | |
| CN111580869A (zh) | 基于opc ua的数据通信方法及系统 | |
| WO2019075845A1 (zh) | 链路调用关系的构建方法、装置、计算机设备及存储介质 | |
| CN113867600A (zh) | 处理流式数据的开发方法、装置和计算机设备 | |
| CN111679888A (zh) | 一种代理容器的部署方法及装置 | |
| CN109814957B (zh) | 一种用于ios系统的标签添加方法和装置 | |
| US20190140894A1 (en) | System and method for enabling hybrid integration platform through runtime auto-scalable deployment model for varying integration | |
| CN113741923A (zh) | 一种应用更新方法、装置、设备及介质 | |
| CN110109684B (zh) | 区块链节点管理代理服务安装方法、电子装置及存储介质 | |
| CN114721686A (zh) | 配置数据更新方法、装置、电子设备和存储介质 | |
| CN114546588A (zh) | 任务的部署方法、装置、存储介质及电子装置 | |
| US12073268B2 (en) | Dynamically adjusting objects monitored by an operator in a distributed computer environment | |
| CN112905306A (zh) | 多集群容器管理方法、装置、电子设备和存储介质 | |
| CN109302336B (zh) | 邮件生成方法、装置、计算机设备及存储介质 | |
| US11720476B2 (en) | Automated end-to-end testing platform with dynamic container configuration | |
| CN108073450B (zh) | 一种任务调度方法、装置及系统 | |
| CN111240998A (zh) | 测试用例处理方法和装置 | |
| CN113127061A (zh) | 数据处理方法及系统 | |
| CN114564249A (zh) | 推荐调度引擎、推荐调度方法及计算机可读存储介质 | |
| CN115102948A (zh) | 地图瓦片的自动下载方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088 Applicant after: QAX Technology Group Inc. Applicant after: Qianxin Wangshen information technology (Beijing) Co.,Ltd. Address before: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088 Applicant before: QAX Technology Group Inc. Country or region before: China Applicant before: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc. |