CN111915279A - 作业数据流审核方法、装置及系统 - Google Patents
作业数据流审核方法、装置及系统 Download PDFInfo
- Publication number
- CN111915279A CN111915279A CN202010812906.9A CN202010812906A CN111915279A CN 111915279 A CN111915279 A CN 111915279A CN 202010812906 A CN202010812906 A CN 202010812906A CN 111915279 A CN111915279 A CN 111915279A
- Authority
- CN
- China
- Prior art keywords
- job data
- resource set
- elements
- data stream
- ending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
Abstract
本发明提供一种作业数据流审核方法、装置及系统,属于信息安全技术领域。该作业数据流审核方法包括:从存储服务器获取开始资源集合、作业数据流集合和结束资源集合;根据作业数据流集合中的依赖关系信息标识分别位于开始资源集合、作业数据流集合和结束资源集合的元素;根据开始资源集合、作业数据流集合、结束资源集合和标识后的元素生成错误信息后发出。本发明可以有效避免作业数据流依赖关系错误,提高数据准确性和工作效率。
Description
技术领域
本发明涉及信息安全技术领域,具体地,涉及一种作业数据流审核方法、装置及系统。
背景技术
银行后台系统在晚间批量需要运行大量的处理作业,用于银行业务系统对帐、生成各类业务报表以及更新系统状态信息等。在运行成千上万个处理作业的银行系统复杂环境中,目前主要采用人工方式对作业数据流进行核对,缺少自动化审核机制,不但增加技术人员的负担,也容易出现部分处理作业提前运行或系统存在孤立点的情况,这将导致作业数据流依赖关系错误,严重影响银行系统批量对账和生成各类业务报表,降低银行系统数据的正确性。
发明内容
本发明实施例的主要目的在于提供一种作业数据流审核方法、装置及系统,以有效避免作业数据流依赖关系错误,提高数据准确性和工作效率。
为了实现上述目的,本发明实施例提供一种作业数据流审核方法,包括:
从存储服务器获取开始资源集合、作业数据流集合和结束资源集合;
根据作业数据流集合中的依赖关系信息标识分别位于开始资源集合、作业数据流集合和结束资源集合的元素;
根据开始资源集合、作业数据流集合、结束资源集合和标识后的元素生成错误信息后发出。
本发明实施例还提供一种作业数据流审核装置,包括:
第一获取单元,用于从存储服务器获取开始资源集合、作业数据流集合和结束资源集合;
标识单元,用于根据作业数据流集合中的依赖关系信息标识分别位于开始资源集合、作业数据流集合和结束资源集合的元素;
错误信息单元,用于根据开始资源集合、作业数据流集合、结束资源集合和标识后的元素生成错误信息后发出。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,处理器执行计算机程序时实现所述的作业数据流审核方法的步骤。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现所述的作业数据流审核方法的步骤。
本发明实施例还提供一种作业数据流审核系统,包括:
终端,用于发送作业数据流;
存储服务器,用于存储开始资源集合、作业数据流集合和结束资源集合;以及
如上所述的作业数据流审核装置。
本发明实施例的作业数据流审核方法、装置及系统先根据作业数据流集合中的依赖关系信息标识集合中的元素,再根据集合和标识后的元素生成错误信息后发出,可以有效避免作业数据流依赖关系错误,提高数据准确性和工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中作业数据流审核方法的流程图;
图2是本发明实施例中S102的流程图;
图3是本发明实施例中集合的示意图;
图4是本发明另一实施例中作业数据流审核方法的流程图;
图5是本发明实施例中作业数据流审核装置的结构框图;
图6是本发明另一实施例中作业数据流审核装置的示意图;
图7是本发明实施例中作业数据流审核系统的示意图;
图8是本发明实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
鉴于目前缺少自动化审核机制,容易导致作业数据流依赖关系错误,降低银行系统数据的正确性,本发明实施例提供一种作业数据流审核方法,以有效避免作业数据流依赖关系错误,提高数据准确性和工作效率。以下结合附图对本发明进行详细说明。
图1是本发明实施例中作业数据流审核方法的流程图。图3是本发明实施例中集合的示意图。图4是本发明另一实施例中作业数据流审核方法的流程图。如图1、图3和图4所示,作业数据流审核方法包括:
S101:从存储服务器获取开始资源集合、作业数据流集合和结束资源集合。
如图3所示,开始资源集合{S}是指控制作业数据流集合{M}开始运行的集合,开始资源集合{S}可以是一个作业或开关{S0},也可以是一组作业或开关的集合{S1,S2,...,Sn}。开始资源集合{S}可以是来自终端的开始资源集合(增量版本),也可以是从存储服务器读取的开始资源集合(存量版本),还可以是这两种开始资源集合的更新集合。
作业数据流集合{M}是作业数据流的核心集合,它必须开始于资源集合{S},结束于结束资源集合{E}。作业数据流集合{M}可以是单个作业{M0},也可以是一组作业数据流集合{M1,M2,...,Mn,Mx,...,My},集合{M1,M2,...,Mn,Mx,...,My}中的每个元素可以独立存在,例如M1、M2、Mn、Mx和My各个元素之间不存在依赖关系,可以并行执行;或元素存在一对一的依赖关系,例如执行元素M1之后就能立即执行元素Mx,不需等待其它元素运行结束再执行,那么对于元素Mx,只有一个依赖的前项M1,即Mx->M1;或元素存在一对多的依赖关系,例如元素M1、M2和Mn执行完之后,才能执行元素Mx,那么对于元素Mx,有多个依赖的前项元素M1、M2和Mn,则在存在一对三的依赖关系,即Mx->M1、Mx->M2和Mx->Mn。集合{M1,M2,...,Mn,Mx,...,My}还可以存在多层依赖关系,例如元素M1是元素Mx的间接前项,元素Mx需要经过多层依赖关系搜索之后,找到间接前项M1,即元素Mx与M1之间存在多个间接关联的元素。同时集合{M1,M2,...,Mn,Mx,...,My}也可以视为一个元素,作为集合{M1,M2,...,Mn,Mx,...,My}中的一个子集,采用这种机制可以构建复杂的作业数据流集合,适用银行系统不同的应用场景。
结束资源集合{E}是作业数据流集合{M}结束的集合,可以是一个作业或开关{E0},也可以是一组作业或开关的集合{E1,E2,...,En}。结束资源集合{E}可以是来自终端的结束资源集合(增量版本),也可以是从存储服务器读取的结束资源集合(存量版本),还可以是这两种结束资源集合的更新集合。
其中,S101为执行存量版本。当处理增量版本时,还包括:
1、获取来自终端的作业数据流。
其中,作业数据流主要包含加密的环境配置信息、开始资源名称、结束资源名称、运行作业名称、开始资源与运行作业关系信息、运行作业与结束资源关系信息和运行作业之间依赖关系信息。
2、根据作业数据流生成临时开始资源集合、临时作业数据流集合和临时结束资源集合。
其中,可以使用密钥对加密数据进行解密,并根据环境配置信息、开始资源名称、运行作业名称和开始资源与运行作业关系信息生成临时开始资源集合;根据环境配置信息、运行作业名称和运行作业之间依赖关系信息生成临时作业数据流集合;根据环境配置信息、结束资源名称、运行作业名称和运行作业与结束资源关系信息生成临时结束资源集合。三种集合可使用数组、链表和集合等变量临时保存在内存中。
在实际应用中,版本的环境配置信息可以存在多种,如下选择其中一种版本进行说明。
表1
表1是作业数据流表。如表1所示,从记录1开始检查,判断开始资源属性,当前版本为新增,若开始资源名称为null,则记录1格式存在错误,否则继续检查其它字段属性,若开始资源与运行作业关系信息不为null,则说明元素Sk是其它元素的前项,当前版本为Mk->Sk。再判断运行作业属性,当前版本为新增,且运行作业名称不为null,则记录元素Mk的状态信息,判断其它字段属性为null的不再进一步处理;继续检查记录2,判断结束资源属性,当前版本为新增且结束资源名称不为null,则继续判断运行作业与结束资源关系信息,不为null时表示元素Ek和Mp存在依赖关系,当前版本依赖关系为Ek->Mp;继续判断运行作业之间依赖关系信息,不为null时表示元素Ek存在前项,当前版本依赖关系为Mp->Mk;当运行作业属性为新增,且运行作业名称不为null,则记录元素Mp的状态信息,其它字段属性被判断为null,不再进一步处理。最后检查记录3,运行作业属性为修改,且运行作业名称不为null,当前版本为元素M1,则检查元素M1是否存在前项的依赖关系,当前版本依赖关系为M1->Mk,其它字段属性被判断为null的,不再进一步处理。至此,环境配置信息为V1.1.0的作业数据流版本已完成检查。若检查成功,则生成临时开始资源集合{Sk}、临时作业数据流集合{Mk、Mp}和临时结束资源集合{Ek}。
3、根据临时开始资源集合更新开始资源集合,根据临时作业数据流集合更新作业数据流集合,根据临时结束资源集合更新结束资源集合。
具体实施时,可以根据环境配置信息V1.1.0从存储服务器获取历史版本的开始资源集合{S1,S2,...,Sn},与临时开始资源集合{Sk}通过新增、修改和删除等操作,生成当前版本的开始资源集合{S1,S2,Sk,...,Sn}。对于增量版本,需使用当前版本的开始资源集合{S1,S2,Sk,...,Sn}。对于存量版本,不需要处理终端发送的V1.1.0版本,只需要获取历史版本的开始资源集合{S1,S2,...,Sn},存量版本包括基于本发明实施例构建的数据或以其它版本为基础构建的数据。若在检查过程中存在作业数据流依赖关系错误的问题,则将错误信息返回给用户。历史版本的开始资源集合可为空或非空,若为空,表示存储服务器未有历史版本记录,当前版本为第一个版本。
根据环境配置信息V1.1.0从存储服务器获取历史版本的结束资源集合{E1,E2,...,En},与临时结束资源集合{Ek}通过新增、修改和删除等操作,生成当前版本的结束资源集合{E1,E2,Ek,...,En}。对于增量版本,需使用当前版本的结束资源集合{E1,E2,Ek,...,En}。对于存量版本,不需要处理终端发送的V1.1.0版本,只需要获取历史版本的结束资源集合{E1,E2,...,En}。历史版本的结束资源集合可为空或非空,若为空,表示存储服务器未有历史版本记录,当前版本为第一个版本。
临时作业数据流集合{Mk、Mp}包括Mk->Sk、Ek->Mp、Mp->Mk和M1->Mk的依赖关系信息。根据环境配置信息V1.1.0从存储服务器3获取历史版本的作业数据流集合{M1,M2,...,Mn,Mx,...,My},与临时作业数据流集合{Mk、Mp}通过新增、修改和删除等操作,生成当前版本的作业数据流集合{M1,M2,...,Mn,Mx,...,My,Mk,Mp}。对于增量版本,需使用当前版本的作业数据流集合{M1,M2,...,Mn,Mx,...,My,Mk,Mp}。对于存量版本,不需要处理终端发送的V1.1.0版本,只需要获取历史版本的作业数据流集合{M1,M2,...,Mn,Mx,...,My}。历史版本的作业数据流集合可为空或非空,若为空,表示存储服务器未有历史版本记录,当前版本为第一个版本。
S102:根据作业数据流集合中的依赖关系信息标识分别位于开始资源集合、作业数据流集合和结束资源集合的元素。
图2是本发明实施例中S102的流程图。如图2所示,S102包括:
S201:根据依赖关系信息从结束资源集合的元素开始依次标识结束资源集合的元素、作业数据流集合的元素和开始资源集合的元素。
其中,依赖关系信息为元素链,元素链包括依次连接的元素。S201包括:从结束资源集合的元素开始按照元素链依次标识结束资源集合、作业数据流集合和开始资源集合中存在于元素链中的元素。
S202:确定作业数据流集合中未标识的元素。
S203:根据依赖关系信息从作业数据流集合中未标识的元素开始依次标识作业数据流集合的元素和开始资源集合的元素。
一实施例中,S203包括:从作业数据流集合中未标识的元素开始按照元素链依次标识作业数据流集合和开始资源集合中存在于元素链中的元素。
例如,从结束资源集合{E}中随机选择一个元素(假设为元素E1),使用元素E1的名称在作业数据流集合{M}中通过运行作业与结束资源关系信息检查元素E1是否存在一个或多个依赖关系,若不存在,说明元素E1为多余元素,需要记录到错误信息中;若存在(假设为E1->Mx和E1->My),则在作业数据流集合{M}中继续检查元素Mx是否存在依赖关系,若不存在,说明元素Mx可能缺少运行作业之间依赖关系信息或开始资源,元素Mx需记录到错误信息中;若存在(假设为Mx->M1、Mx->M2和Mx->Mn),则继续检查元素M1是否存在依赖关系,若不存在,说明元素M1缺少运行作业之间依赖关系信息或开始资源,元素M1需记录到错误信息中;若存在(假设为M1->S1),则表示存在正确的依赖关系E1->Mx->M1->S1;下一步以成功找到元素的依赖关系进行说明,继续检查元素M2是否存在依赖关系,若存在(假设为M2->S2),则表示存在正确的依赖关系E1->Mx->M2->S2,继续检查元素Mn是否存在依赖关系,若存在(假设为Mn->Sn),则表示存在正确的依赖关系E1->Mx->Mn->Sn。当完成元素Mx全部依赖关系的检查后,继续在作业数据流集合{M}中检查元素My的依赖关系,与检查元素Mx依赖关系类似,直到元素My所有依赖关系被检查完成,假设生成依赖关系有E1->My->M1->S1、E1->My->M2->S2和E1->My->Mn->Sn。此时结束资源集合{E}中当前的元素(E1)所有依赖关系被全部检查完成。
在实际应用中,元素Mn的前项不一定是元素Sn,有可能为S1或S2或其它元素,当元素Mn的前项为元素S1时,存在E1->My->Mn->S1的依赖关系。当元素M1是元素Mx的间接前项时,元素E1至元素S1之间存在多层依赖关系,即元素E1至S1检查的依赖路径会增加。依次类推,直到结束资源集合{E}的全部元素审核完成。当结束资源集合{E}的全部元素审核完成时,确定作业数据流集合中未标识的元素,根据依赖关系信息从作业数据流集合中未标识的元素开始依次标识作业数据流集合中未标识的元素和开始资源集合的元素,以确定是否存在标识后的依赖关系缺少位于结束资源集合的元素的情况。
在检查过程中,对每条检查过的作业数据流依赖关系的进行标识,采用对作业数据流依赖关系进行标识的机制,有利于避免相同的依赖关系重复检查,提升搜索效率,也有利于检查出作业数据流依赖关系是否存在死循环、运行作业是否存在孤立点等问题。
S103:根据开始资源集合、作业数据流集合、结束资源集合和标识后的元素生成错误信息后发出。
其中,错误信息为按格式生成的审核失败分析报告,包括失败信息和警告信息。若所有的依赖关系都审核通过,则将生成检查成功的信息后发出,并将审核通过的环境配置信息、开始资源名称、结束资源名称、运行作业名称、开始资源与运行作业关系信息、运行作业与结束资源关系信息、运行作业之间依赖关系信息等更新到存储服务器。本发明也会将错误信息更新至存储服务器,用于自动化分析版本审核失败的原因。
一实施例中,S103包括:根据开始资源集合、作业数据流集合、结束资源集合和标识后的元素确定标识后的依赖关系和未标识的元素;
当标识后的依赖关系为循环关系,或标识后的依赖关系缺少位于开始资源集合的元素,或标识后的依赖关系缺少位于结束资源集合的元素,或作业数据流集合中存在未标识的元素时,生成失败信息后发出;
当开始资源集合中存在未标识的元素或结束资源集合中存在未标识的元素时,生成警告信息后发出。
具体实施时,错误信息被发送至终端,或通过短信、APP通知用户。用户可根据审核失败分析报告修改当前版本,并重新提交再次进行审核。
图1所示的作业数据流审核方法的执行主体为应用服务器,能够根据银行应用的实际情况进行灵活配置,适用于大型主机、Linux和Windows等多种环境,自动化完成作业数据流审核流程的迭代运行。由图1所示的流程可知,本发明实施例的作业数据流审核方法根据作业数据流集合中的依赖关系信息标识集合中的元素,根据集合和标识后的元素生成错误信息后发出,可以有效避免作业数据流依赖关系错误,提高数据准确性和工作效率。
本发明实施例的具体流程如下:
1、从存储服务器获取开始资源集合、作业数据流集合和结束资源集合。
2、获取来自终端的作业数据流,根据作业数据流生成临时开始资源集合、临时作业数据流集合和临时结束资源集合。
3、根据临时开始资源集合更新开始资源集合,根据临时作业数据流集合更新作业数据流集合,根据临时结束资源集合更新结束资源集合。
4、根据依赖关系信息从结束资源集合的元素开始依次标识结束资源集合的元素、作业数据流集合的元素和开始资源集合的元素。
5、确定作业数据流集合中未标识的元素,根据依赖关系信息从作业数据流集合中未标识的元素开始依次标识作业数据流集合的元素和开始资源集合的元素。
6、当标识后的依赖关系为循环关系,或标识后的依赖关系缺少位于开始资源集合的元素,或标识后的依赖关系缺少位于结束资源集合的元素,或作业数据流集合中存在未标识的元素时,生成失败信息后发出;
当开始资源集合中存在未标识的元素或结束资源集合中存在未标识的元素时,生成警告信息后发出。
综上,本发明可根据银行应用的需求灵活配置作业数据流的开始资源、作业数据流依赖关系和结束资源等信息,自动化完成作业数据流审核流程的迭代运行,可以自动化完成作业数据流增量版本和存量版本的缺陷分析,并生成相应的风险提示信息。同时在审核流程采用加密机制,增强系统的安全性。
基于同一发明构思,本发明实施例还提供了一种作业数据流审核装置,由于该装置解决问题的原理与作业数据流审核方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
图5是本发明实施例中作业数据流审核装置的结构框图。图6是本发明另一实施例中作业数据流审核装置的示意图。如图5-图6所示,作业数据流审核装置包括:
第一获取单元,用于从存储服务器获取开始资源集合、作业数据流集合和结束资源集合;
标识单元,用于根据作业数据流集合中的依赖关系信息标识分别位于开始资源集合、作业数据流集合和结束资源集合的元素;
错误信息单元,用于根据开始资源集合、作业数据流集合、结束资源集合和标识后的元素生成错误信息后发出。
在其中一种实施例中,标识单元具体用于:
根据依赖关系信息从结束资源集合的元素开始依次标识结束资源集合的元素、作业数据流集合的元素和开始资源集合的元素;
确定作业数据流集合中未标识的元素;
根据依赖关系信息从作业数据流集合中未标识的元素开始依次标识作业数据流集合的元素和开始资源集合的元素。
在其中一种实施例中,依赖关系信息为元素链,所素链包括依次连接的元素;
标识单元具体用于:
从结束资源集合的元素开始按照元素链依次标识结束资源集合、作业数据流集合和开始资源集合中存在于元素链中的元素;
从作业数据流集合中未标识的元素开始按照元素链依次标识作业数据流集合和开始资源集合中存在于元素链中的元素。
在其中一种实施例中,错误信息包括失败信息和警告信息;
错误信息单元具体用于:
根据开始资源集合、作业数据流集合、结束资源集合和标识后的元素确定标识后的依赖关系和未标识的元素;
当标识后的依赖关系为循环关系,或标识后的依赖关系缺少位于开始资源集合的元素,或标识后的依赖关系缺少位于结束资源集合的元素,或作业数据流集合中存在未标识的元素时,生成失败信息后发出;
当开始资源集合中存在未标识的元素或结束资源集合中存在未标识的元素时,生成警告信息后发出。
在其中一种实施例中,还包括:
第二获取单元,用于获取来自终端的作业数据流;
临时集合生成单元,用于根据作业数据流生成临时开始资源集合、临时作业数据流集合和临时结束资源集合;
集合更新单元,用于根据临时开始资源集合更新开始资源集合,根据临时作业数据流集合更新作业数据流集合,根据临时结束资源集合更新结束资源集合。
如图6所示,在实际应用中,作业数据流审核装置包括作业数据流信息预处理单元、作业数据流开始资源生成单元、作业数据流结束资源生成单元、作业数据流依赖关系自动化生成模块、自动化审核模块、作业数据流审核风险信息提示模块和审核结束单元。
其中,作业数据流信息预处理单元包括第一获取单元和第二获取单元;
作业数据流开始资源生成单元、作业数据流结束资源生成单元和作业数据流依赖关系自动化生成模块均包括临时集合生成单元和集合更新单元。
作业数据流开始资源生成单元用于根据来自终端的作业数据流生成临时开始资源集合,根据临时开始资源集合更新开始资源集合。
作业数据流结束资源生成单元用于根据来自终端的作业数据流生成临时结束资源集合,根据临时结束资源集合更新结束资源集合。
作业数据流依赖关系自动化生成模块用于根据来自终端的作业数据流生成临时作业数据流集合,根据临时作业数据流集合更新作业数据流集合。
自动化审核模块包括标识单元,作业数据流审核风险信息提示模块包括错误信息单元。
审核结束单元将审核通过的环境配置信息、开始资源名称、结束资源名称、运行作业名称、开始资源与运行作业关系信息、运行作业与结束资源关系信息、运行作业之间依赖关系信息等更新到存储服务器;将错误信息更新至存储服务器,用于自动化分析版本审核失败的原因。
综上,本发明实施例的作业数据流审核装置根据作业数据流集合中的依赖关系信息标识集合中的元素,根据集合和标识后的元素生成错误信息后发出,可以有效避免作业数据流依赖关系错误,提高数据准确性和工作效率。
基于同一发明构思,本发明实施例还提供了一种作业数据流审核系统,由于该系统解决问题的原理与作业数据流审核方法相似,因此该系统的实施可以参见方法的实施,重复之处不再赘述。
图7是本发明实施例中作业数据流审核系统的示意图。如图7所示,作业数据流审核装置应用于应用服务器,作业数据流审核系统包括:应用服务器、存储服务器和终端。终端用于发送作业数据流;存储服务器用于存储开始资源集合、作业数据流集合和结束资源集合。
终端包括银行系统使用的PC电脑、移动电脑或服务器等设备,通过银行内部网络或互联网与应用服务器进行数据交互,终端发送的数据包括文本、xml和excel等形式的配置文件,也可以是银行内部定制的交互报文,交互报文还可以是通过其它版本服务器读取作业数据流相关数据生成,配置文件或交互报文的作业数据流关键信息主要包括环境配置信息、开始资源名称、结束资源名称、运行作业名称、开始资源与运行作业关系信息、运行作业与结束资源关系信息以及运行作业之间依赖关系信息。终端发送数据需对配置文件或交互报文进行加密,可采用自定义的算法集中的一种或多种算法对其进行加密。算法集可使用对称算法和非对称算法,对称算法包括3DES、SM4和AES等,非对称算法包括SM2和RSA等。算法涉及的密钥可以根据需求配置,密钥可使用数组、密钥文件存储或系统自动生成。
应用服务器接收终端发送的数据,使用匹配的密钥对作业数据流资源数据进行解密,并将处理结果返回给终端,同步将处理结果发送至用户注册的手机、APP或关注的公众号。应用服务器处理的作业数据流资源。
存储服务器主要用于存储作业数据流的环境配置信息、开始资源名称、结束资源名称、运行作业名称、开始资源与运行作业关系信息、运行作业与结束资源关系信息、运行作业之间依赖关系信息、运行作业依赖关系状态、风险提示信息和运行日志等数据记录。数据记录可根据用户提交的环境配置信息进行保存,环境配置信息包括生产环境、模拟环境、测试环境、开发环境和灰度发布环境。数据记录可保存为文本文件或保存到数据库等存储介质中,数据记录支持应用版本的回退。
综上,本发明实施例的作业数据流审核系统根据作业数据流集合中的依赖关系信息标识集合中的元素,根据集合和标识后的元素生成错误信息后发出,可以有效避免作业数据流依赖关系错误,提高数据准确性和工作效率。
本发明实施例还提供能够实现上述实施例中的作业数据流审核方法中全部步骤的一种计算机设备的具体实施方式。图8是本发明实施例中计算机设备的结构框图,参见图8,所述计算机设备具体包括如下内容:
处理器(processor)801和存储器(memory)802。
所述处理器801用于调用所述存储器802中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的作业数据流审核方法中的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
从存储服务器获取开始资源集合、作业数据流集合和结束资源集合;
根据作业数据流集合中的依赖关系信息标识分别位于开始资源集合、作业数据流集合和结束资源集合的元素;
根据开始资源集合、作业数据流集合、结束资源集合和标识后的元素生成错误信息后发出。
综上,本发明实施例的计算机设备根据作业数据流集合中的依赖关系信息标识集合中的元素,根据集合和标识后的元素生成错误信息后发出,可以有效避免作业数据流依赖关系错误,提高数据准确性和工作效率。
本发明实施例还提供能够实现上述实施例中的作业数据流审核方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的作业数据流审核方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
从存储服务器获取开始资源集合、作业数据流集合和结束资源集合;
根据作业数据流集合中的依赖关系信息标识分别位于开始资源集合、作业数据流集合和结束资源集合的元素;
根据开始资源集合、作业数据流集合、结束资源集合和标识后的元素生成错误信息后发出。
综上,本发明实施例的计算机可读存储介质根据作业数据流集合中的依赖关系信息标识集合中的元素,根据集合和标识后的元素生成错误信息后发出,可以有效避免作业数据流依赖关系错误,提高数据准确性和工作效率。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块,或单元,或装置都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
Claims (11)
1.一种作业数据流审核方法,其特征在于,包括:
从存储服务器获取开始资源集合、作业数据流集合和结束资源集合;
根据所述作业数据流集合中的依赖关系信息标识分别位于所述开始资源集合、所述作业数据流集合和所述结束资源集合的元素;
根据所述开始资源集合、所述作业数据流集合、所述结束资源集合和标识后的元素生成错误信息后发出。
2.根据权利要求1所述的作业数据流审核方法,其特征在于,根据所述作业数据流集合中的依赖关系信息标识位于所述开始资源集合、所述作业数据流集合和所述结束资源集合的元素包括:
根据所述依赖关系信息从所述结束资源集合的元素开始依次标识所述结束资源集合的元素、所述作业数据流集合的元素和所述开始资源集合的元素;
确定所述作业数据流集合中未标识的元素;
根据所述依赖关系信息从所述作业数据流集合中未标识的元素开始依次标识所述作业数据流集合的元素和所述开始资源集合的元素。
3.根据权利要求2所述的作业数据流审核方法,其特征在于,
所述依赖关系信息为元素链,所述元素链包括依次连接的元素;
根据所述依赖关系信息从所述结束资源集合的元素开始依次标识所述结束资源集合的元素、所述作业数据流集合的元素和所述开始资源集合的元素包括;
从所述结束资源集合的元素开始按照所述元素链依次标识所述结束资源集合、所述作业数据流集合和所述开始资源集合中存在于所述元素链中的元素;
根据所述依赖关系信息从所述作业数据流集合中未标识的元素开始依次标识所述作业数据流集合的元素和所述开始资源集合的元素包括:
从所述作业数据流集合中未标识的元素开始按照所述元素链依次标识所述作业数据流集合和所述开始资源集合中存在于所述元素链中的元素。
4.根据权利要求2所述的作业数据流审核方法,其特征在于,所述错误信息包括失败信息和警告信息;
根据所述开始资源集合、所述作业数据流集合、所述结束资源集合和标识后的元素生成错误信息后发出包括:
根据所述开始资源集合、所述作业数据流集合、所述结束资源集合和标识后的元素确定标识后的依赖关系和未标识的元素;
当所述标识后的依赖关系为循环关系,或所述标识后的依赖关系缺少位于所述开始资源集合的元素,或所述标识后的依赖关系缺少位于所述结束资源集合的元素,或所述作业数据流集合中存在未标识的元素时,生成失败信息后发出;
当所述开始资源集合中存在未标识的元素或所述结束资源集合中存在未标识的元素时,生成警告信息后发出。
5.根据权利要求1所述的作业数据流审核方法,其特征在于,还包括:
获取来自终端的作业数据流;
根据所述作业数据流生成临时开始资源集合、临时作业数据流集合和临时结束资源集合;
根据所述临时开始资源集合更新所述开始资源集合,根据所述临时作业数据流集合更新所述作业数据流集合,根据所述临时结束资源集合更新所述结束资源集合。
6.一种作业数据流审核装置,其特征在于,包括:
第一获取单元,用于从存储服务器获取开始资源集合、作业数据流集合和结束资源集合;
标识单元,用于根据所述作业数据流集合中的依赖关系信息标识分别位于所述开始资源集合、所述作业数据流集合和所述结束资源集合的元素;
错误信息单元,用于根据所述开始资源集合、所述作业数据流集合、所述结束资源集合和标识后的元素生成错误信息后发出。
7.根据权利要求6所述的作业数据流审核装置,其特征在于,所述标识单元具体用于:
根据所述依赖关系信息从所述结束资源集合的元素开始依次标识所述结束资源集合的元素、所述作业数据流集合的元素和所述开始资源集合的元素;
确定所述作业数据流集合中未标识的元素;
根据所述依赖关系信息从所述作业数据流集合中未标识的元素开始依次标识所述作业数据流集合的元素和所述开始资源集合的元素。
8.根据权利要求6所述的作业数据流审核装置,其特征在于,还包括:
第二获取单元,用于获取来自终端的作业数据流;
临时集合生成单元,用于根据所述作业数据流生成临时开始资源集合、临时作业数据流集合和临时结束资源集合;
集合更新单元,用于根据所述临时开始资源集合更新所述开始资源集合,根据所述临时作业数据流集合更新所述作业数据流集合,根据所述临时结束资源集合更新所述结束资源集合。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的作业数据流审核方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5任一项所述的作业数据流审核方法的步骤。
11.一种作业数据流审核系统,其特征在于,包括:
终端,用于发送作业数据流;
存储服务器,用于存储开始资源集合、作业数据流集合和结束资源集合;以及
权利要求6-8任一权利要求所述的作业数据流审核装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010812906.9A CN111915279A (zh) | 2020-08-13 | 2020-08-13 | 作业数据流审核方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010812906.9A CN111915279A (zh) | 2020-08-13 | 2020-08-13 | 作业数据流审核方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111915279A true CN111915279A (zh) | 2020-11-10 |
Family
ID=73283910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010812906.9A Pending CN111915279A (zh) | 2020-08-13 | 2020-08-13 | 作业数据流审核方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111915279A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101477543A (zh) * | 2008-01-03 | 2009-07-08 | 埃森哲环球服务有限公司 | 用于自动化etl应用的系统和方法 |
CN101515249A (zh) * | 2009-03-26 | 2009-08-26 | 华亚微电子(上海)有限公司 | 错误检查方法 |
CN107870949A (zh) * | 2016-09-28 | 2018-04-03 | 腾讯科技(深圳)有限公司 | 数据分析作业依赖关系生成方法和系统 |
CN108037991A (zh) * | 2017-12-26 | 2018-05-15 | 中山大学 | 一种支持作业依赖关系的定时作业调度方法及系统 |
CN108459887A (zh) * | 2018-01-02 | 2018-08-28 | 中汇信息技术(上海)有限公司 | 一种业务流管理方法、引擎和计算机可读存储介质 |
-
2020
- 2020-08-13 CN CN202010812906.9A patent/CN111915279A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101477543A (zh) * | 2008-01-03 | 2009-07-08 | 埃森哲环球服务有限公司 | 用于自动化etl应用的系统和方法 |
CN101515249A (zh) * | 2009-03-26 | 2009-08-26 | 华亚微电子(上海)有限公司 | 错误检查方法 |
CN107870949A (zh) * | 2016-09-28 | 2018-04-03 | 腾讯科技(深圳)有限公司 | 数据分析作业依赖关系生成方法和系统 |
CN108037991A (zh) * | 2017-12-26 | 2018-05-15 | 中山大学 | 一种支持作业依赖关系的定时作业调度方法及系统 |
CN108459887A (zh) * | 2018-01-02 | 2018-08-28 | 中汇信息技术(上海)有限公司 | 一种业务流管理方法、引擎和计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11386351B2 (en) | Machine learning service | |
US9886670B2 (en) | Feature processing recipes for machine learning | |
KR101755365B1 (ko) | 레코드 포맷 정보의 관리 | |
CN111142899B (zh) | 数据库脚本执行方法、装置、存储介质及电子设备 | |
CN110275861B (zh) | 数据存储方法及装置、存储介质、电子装置 | |
CN108446223B (zh) | 一种基于动态编译的业务场景自动化测试方法 | |
CN108647357B (zh) | 数据查询的方法及装置 | |
CN111638908A (zh) | 接口文档生成方法、装置、电子设备及介质 | |
CN111309586A (zh) | 一种命令测试方法、装置及其存储介质 | |
EP3416069A1 (en) | Propagated deletion of database records and derived data | |
US11544050B1 (en) | Software patch automation | |
CN109542496B (zh) | 增量代码确定方法、装置及系统 | |
CN111915279A (zh) | 作业数据流审核方法、装置及系统 | |
CN115345600A (zh) | 一种rpa流程的生成方法和装置 | |
CN115048359A (zh) | 一种多类型接入数据源的通用数据处理架构设计方法 | |
CN114879985A (zh) | 一种证书文件的安装方法、装置、设备及存储介质 | |
CN113641523A (zh) | 一种日志处理方法及装置 | |
CN112015463A (zh) | 一种配置版本管理装置及其工作方法 | |
CN112181485A (zh) | 脚本执行方法、装置、电子设备及存储介质 | |
CN111241191A (zh) | 一种数据库的同步方法及装置 | |
CN110609790A (zh) | 解析程序测试方法、装置、介质和计算机设备 | |
US20230418792A1 (en) | Method to track and clone data artifacts associated with distributed data processing pipelines | |
CN109165208A (zh) | 一种用于将数据加载到数据库中的方法及系统 | |
CN112035358B (zh) | 一种确定检测信息的方法、装置、设备 | |
CN112416983B (zh) | 一种数据处理方法及装置、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |