CN112463344B - 一种数据分析方法及装置 - Google Patents
一种数据分析方法及装置 Download PDFInfo
- Publication number
- CN112463344B CN112463344B CN202011492780.8A CN202011492780A CN112463344B CN 112463344 B CN112463344 B CN 112463344B CN 202011492780 A CN202011492780 A CN 202011492780A CN 112463344 B CN112463344 B CN 112463344B
- Authority
- CN
- China
- Prior art keywords
- information
- system information
- batch
- job
- tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000007405 data analysis Methods 0.000 title claims abstract description 48
- 238000013508 migration Methods 0.000 claims abstract description 63
- 230000005012 migration Effects 0.000 claims abstract description 51
- 238000010586 diagram Methods 0.000 claims description 127
- 230000004927 fusion Effects 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 claims description 16
- 230000008676 import Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供一种数据分析方法及装置,包括获取迁移前第一调度环境的第一批量系统信息;在第二调度环境运行前,获取迁移后第二调度环境对应第一批量系统信息的第二批量系统信息;基于第一批量系统信息,确定第二批量系统信息是否存在差异;若存在差异,基于第一批量系统信息和第二批量系统信息,生成差异信息,并显示;若不存在差异,确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。在方案中,通过第一批量系统信息,确定在第二调度环境运行前获取的第二批量系统信息是否存在差异。能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据分析方法及装置。
背景技术
在对数据进行批量加工的过程中,需要利用调度环境批量调度作业,使整个批量系统有序、高效地对数据进行批量加工。在当前的调度环境出现故障时,需要切换至新的调度环境。在更换调度环境的过程中,需要将旧的调度环境内存储的应用系统信息迁移至新的调度环境中,为了使整个批量系统有序、高效地对数据进行批量加工,保证迁移前后应用系统信息的一致性尤为重要。
目前,需要分别确定旧的调度环境下整个批量系统对应用系统信息进行批量加工的运行结果,以及新的调度环境下整个批量系统对应用系统信息进行批量加工的运行结果,并进行比较。在确定调度环境切换前后的运行结果存在差异,无法确定差异信息的位置,因此需要技术人员根据经验在新的批量系统中不断调整应用系统信息直至旧的调度环境下整个批量系统的运行结果与新的调度环境下整个批量系统的运行结果一致。从而导致迁移前后应用系统信息的比对需要耗费大量的时间和精力,且无法在新的调度环境启用前确定迁移前后应用系统信息的一致性。
发明内容
有鉴于此,本发明实施例提供一种数据分析方法,以解决现有技术中移前后应用系统信息的比对需要耗费大量的时间和精力,且无法在新的调度环境启用前确定迁移前后应用系统信息的一致性的问题。
为实现上述目的,本发明实施例提供如下技术方案:
本发明实施例第一方面公开了一种数据分析方法,该方法包括:获取迁移前第一调度环境的第一批量系统信息,其中,所述第一批量系统信息包括第一作业信息和与所述第一作业信息对应的第一作业关系信息,所述第一作业信息的数量至少为一个;
在第二调度环境运行前,获取迁移后第二调度环境对应所述第一批量系统信息的第二批量系统信息,其中,所述第二批量系统信息包括第二作业信息和与所述第二作业信息对应的第二作业关系信息,所述第二作业信息的数量至少为一个;
基于所述第一批量系统信息,确定所述第二批量系统信息是否存在差异;
若存在差异,基于所述第一批量系统信息和所述第二批量系统信息,生成差异信息,并显示;
若不存在差异,确定所述第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。
可选的,在获取图数据库中存储的迁移前第一调度环境的第一批量系统信息之后,还包括:
将所述第一批量系统信息转换为树的结构,得到第一树状图,并存储至图数据库,其中,每一第一作业信息是一个结点,通过与所述第一作业信息对应的所述第一作业关系信息连接各个结点;
相应的,在获取图数据库中存储的第二调度环境的第二批量系统信息之后,还包括:
将所述第二批量系统信息转换为树的结构,得到第二树状图,并存储至图数据库,其中,每一第二作业信息是一个结点,通过与所述第二作业信息对应的所述第二作业关系信息连接各个结点。
可选的,所述基于所述第一批量系统信息,确定所述第二批量系统信息是否存在差异,包括:
遍历所述第一树状图和所述第二树状图,利用图融合技术对所述第一树状图和所述第二树状图的图结构进行比较;
若所述第一树状图和所述第二树状图的图结构一致,确定所述第二批量系统信息不存在差异;
若所述第一树状图和所述第二树状图的图结构不一致,确定所述第二批量系统信息存在差异。
可选的,还包括:
利用图融合技术将所述第一树状图和所述第二树状图进行融合,输出作业概览图。
可选的,在基于所述第一批量系统信息和所述第二批量系统信息,生成差异信息,并显示之后,还包括:
获取用户基于所述差异信息修改的所述第二批量系统信息,并执行基于所述第一批量系统信息,确定所述第二批量系统信息是否存在差异的步骤。
本发明实施例第二方面公开了一种数据分析装置,该装置包括:数据导入模块,用于获取迁移前第一调度环境的第一批量系统信息,其中,所述第一批量系统信息包括第一作业信息和与所述第一作业信息对应的第一作业关系信息,所述第一作业信息的数量至少为一个;以及在第二调度环境运行前,获取迁移后第二调度环境对应所述第一批量系统信息的第二批量系统信息,其中,所述第二批量系统信息包括第二作业信息和与所述第二作业信息对应的第二作业关系信息,所述第二作业信息的数量至少为一个;
数据分析模块,用于基于所述第一批量系统信息,确定所述第二批量系统信息是否存在差异,若存在差异,则执行差异展示单元,若不存在差异,则执行确定单元;
差异展示模块,用于基于所述第一批量系统信息和所述第二批量系统信息,生成差异信息,并显示;
确定模块,用于确定所述第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。
可选的,所述数据导入模块,还用于:显示所述差异信息之后,获取用户基于所述差异信息修改的所述第二批量系统信息,并执行数据分析模块。
可选的,还包括:图数据库;
所述图数据库,用于在获取图数据库中存储的迁移前第一调度环境的第一批量系统信息之后,将所述第一批量系统信息转换为树的结构,得到第一树状图,并存储至图数据库,其中,每一第一作业信息是一个结点,通过与所述第一作业信息对应的所述第一作业关系信息连接各个结点;以及在获取图数据库中存储的第二调度环境的第二批量系统信息之后,将所述第二批量系统信息转换为树的结构,得到第二树状图,并存储至图数据库,其中,每一第二作业信息是一个结点,通过与所述第二作业信息对应的所述第二作业关系信息连接各个结点。
可选的,所述数据分析模块,具体用于遍历所述第一树状图和所述第二树状图,利用图融合技术对所述第一树状图和所述第二树状图的图结构进行比较;若所述第一树状图和所述第二树状图的图结构一致,确定所述第二批量系统信息不存在差异;若所述第一树状图和所述第二树状图的图结构不一致,确定所述第二批量系统信息存在差异。
可选的,作业概览模块;
所述作业概览模块,用于利用图融合技术将所述第一树状图和所述第二树状图进行融合,输出作业概览图。
基于上述本发明实施例提供的一种数据分析方法及装置,包括获取迁移前第一调度环境的第一批量系统信息,其中,第一批量系统信息包括第一作业信息和与第一作业信息对应的第一作业关系信息,第一作业信息的数量至少为一个;在第二调度环境运行前,获取迁移后第二调度环境对应第一批量系统信息的第二批量系统信息,其中,第二批量系统信息包括第二作业信息和与第二作业信息对应的第二作业关系信息,第二作业信息的数量至少为一个;基于第一批量系统信息,确定第二批量系统信息是否存在差异;若存在差异,基于第一批量系统信息和第二批量系统信息,生成差异信息,并显示;若不存在差异,确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。在本发明实施例中,通过第一批量系统信息,确定在第二调度环境运行前获取的第二批量系统信息是否存在差异,以确定第一调度环境下的批量系统信息与第二调度环境下的批量系统信息是否一致,在确定不存在差异时,确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的第一调度环境、第二调度环境和数据分析装置的应用结构示意图;
图2为本发明实施例提供的一种数据分析方法的流程示意图;
图3为本发明实施例提供的另一种数据分析方法的流程示意图;
图4为本发明实施例提供的又一种数据分析方法的流程示意图;
图5为本发明实施例提供的作业概览图的示意图;
图6为本发明实施例提供的一种数据分析装置的结构示意图;
图7为本发明实施例提供的另一种数据分析装置的结构示意图;
图8为本发明实施例提供的又一种数据分析装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例中,通过第一批量系统信息,确定在第二调度环境运行前获取的第二批量系统信息是否存在差异,以确定第一调度环境下的批量系统信息与第二调度环境下的批量系统信息是否一致,在确定不存在差异时,确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
参见图1,为本发明实施例示出的第一调度环境10、第二调度环境20和数据分析装置30的应用结构示意图。
第一调度环境10和第二调度环境20分别与数据分析装置30连接。
需要说明的是,第一调度环境10用于指示批量系统切换前的调度环境,第二调度环境20用于指示批量系统切换后的调度环境。
需要说明的是,在批量系统切换前,批量系统设置在第一调度环境10下。
其中,批量系统在第一调度环境10下包括多个应用模块,具体的,多个应用模块包括应用模块1、应用模块2......应用模块n共n个应用模块;每一应用模块下有多个程序,具体的,多个程序包括程序1、程序2......程序m;每一应用模块下有多个作业,每一作业对应一个第一作业信息和一个第一作业关系信息,多个第一作业信息和第二作业关系信息形成了第一批量系统信息。
在批量系统切换后,批量系统设置在第二调度环境20下,将所有的第一作业关系信息和第一作业信息均迁移至第二调度环境20下,此时迁移后的第一作业信息为第二作业信息,迁移后的第一作业关系信息为第二作业关系信息,以便于第二调度环境20在确定迁移前后作业信息和作业批量信息一致时,为批量系统提供批量计算服务。
需要说明的是,批量系统在第二调度环境20下包括的多个应用模块与第一调度环境10下包括的多个应用模块相同。
批量系统用于指示由一个计算机程序对一份批量的企业数据执行一系列计算得出批量计算结果供企业内部和外部使用的应用系统。
第一调度环境10和第二调度环境20用于指示企业内部为了满足多种批量系统实现批量计算的功能而搭建的环境,调度环境为批量系统提供批量计算服务。
基于该应用结构实现针对数据分析的过程包括:
数据分析装置30导入第一调度环境10下各个应用模块对应的第一作业信息和第一作业关系信息;以及在第二调度环境20运行前,导入第二调度环境20下与第一作业信息对应的第二作业信息,和与第一作业关系信息对应的第二作业关系信息。以通过基于第一作业信息和与第一作业信息对应的第一作业关系信息,确定第二批量系统信息是否存在差异,若确定第二批量系统信息存在差异时,基于存在差异的第二批量系统信息和第一批量系统信息生成差异信息,并显示,若确定第二批量系统信息不存在差异时,确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。
需要说明的是,第一作业信息和第二作业信息用于指示批量系统中实现数据拼接、裁剪、转换、整合等不同功能的数据加工程序。
第一作业关系信息和第二关系信息用于指示调度环境中用于保存批量系统不同程序执行顺序的一种方法,通常用于保存作业信息关系为父子关系或者前后关系。
在本发明实施例中,通过第一批量系统信息,确定在第二调度环境运行前获取的第二批量系统信息是否存在差异,以确定第一调度环境下的批量系统信息与第二调度环境下的批量系统信息是否一致,在确定不存在差异时,确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
基于上述本发明实施例公开的处理架构,参见图2,为本发明实施例示出的一种数据分析方法的流程示意图,该方法适用于数据校验装置,该方法包括:
步骤S201:获取迁移前第一调度环境的第一批量系统信息。
在步骤S201中,第一批量系统信息包括第一作业信息和与第一作业信息对应的第一作业关系信息,第一作业信息的数量至少为一个。
在具体实现步骤S201的过程中,获取迁移前第一调度环境下的应用系统对应的所有第一作业信息和与第一作业信息对应的第一作业关系信息。
步骤S202:在第二调度环境运行前,获取迁移后第二调度环境对应第一批量系统信息的第二批量系统信息。
在步骤S202中,第二批量系统信息包括第二作业信息和与第二作业信息对应的第二作业关系信息,第二作业信息的数量至少为一个。
在具体实现步骤S202的过程中,为了保证第一调度环境和第二调度环境下批量系统运行的一致性,需要确保第一批量系统信息正确迁移,在第二调度环境运行前,获取第二调度环境对应第一批量系统信息的所有第二作业信息和第二作业关系信息。
第一调度环境用于存储迁移前的作业信息和作业关系信息,第二调度环境用于存储迁移后的作业信息和作业关系信息。具体的,第一调度环境中的作业信息与第二调度环境中的作业信息一一对应,第一调度环境中的作业关系信息和第二调度环境中的作业关系信息一一对应。
步骤S203:基于第一批量系统信息,确定第二批量系统信息是否存在差异,若存在差异,则执行步骤S204,若不存在差异,则执行步骤S205。
在具体实现步骤S203的过程中,将第一批量系统信息和与第一批量系统信息对应的第二批量系统信息进行比较,当确定存在任意一个第一作业信息和第二作业信息不一致,或任意一个第一作业关系信息和第二作业关系信息不一致时,说明第二批量系统信息存在差异,并执行步骤S204,当确定第一批量系统信息和第二批量系统信息均一致时,执行步骤S205。
步骤S204:基于第一批量系统信息和第二批量系统信息,生成差异信息,并显示。
在具体实现步骤S204的过程中,将第二批量系统信息中与第一批量系统信息存在差异的数据,生产差异信息,并显示,以便于用户基于差异信息修改与差异信息对应的第二批量系统信息。
需要说明的是,差异信息包括新增差异信息和缺失差异信息。
步骤S205:确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。
在具体实现步骤S205的过程中,确定第一调度环境的第一批量系统信息迁移至第二调度环境后,第一批量系统信息和第二批量系统信息一致。
在本发明实施例中,通过第一批量系统信息,确定在第二调度环境运行前获取的第二批量系统信息是否存在差异,以确定第一调度环境下的批量系统信息与第二调度环境下的批量系统信息是否一致,在确定不存在差异时,确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
基于上述图2示出的数据分析方法,在执行步骤S204基于第一批量系统信息和第二批量系统信息,生成差异信息,并显示的具体实现过程之后,结合图2,参见图3,该数据分析方法包括:
步骤S206:获取用户基于差异信息修改的第二批量系统信息。
在具体实现步骤S206的过程中,获取用户预计差异信息调整后的所有第二作业信息和第二作业关系信息,并执行步骤S203,基于第一批量信息判断修改后的第二批量系统信息是否存在差异。
在本发名实施例中,通过第一批量系统信息,确定在第二调度环境运行前获取的第二批量系统信息是否存在差异,以确定第一调度环境下的批量系统信息与第二调度环境下的批量系统信息是否一致,在确定存在差异时,基于第一批量系统信息和第二批量系统信息,生成差异信息。以获取用户基于差异信息修改的第二批量系统信息。以验证修改后的第二批量系统信息与第一批量系统信息一致。通过上述方式让用户根据差异信息一次性修改第二批量系统信息,能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
基于上述图2示出的数据分析方法,本发明实施例还对应公开了另一种数据分析方法的流程示意图,如图4所示,该方法包括:
步骤S401:获取迁移前第一调度环境的第一批量系统信息。
在步骤S401中,第一批量系统信息包括第一作业信息和与第一作业信息对应的第一作业关系信息。
需要说明的是,步骤S401的具体实现过程与上述步骤S201的具体实现过程相同,可相互参见。
步骤S402:将第一批量系统信息转换为树的结构,得到第一树状图,并存储至图数据库。
在步骤S402中,每一第一作业信息是一个结点,通过与第一作业信息对应的第一作业关系信息连接各个结点。
在具体实现步骤S402的过程中,将第一批量系统信息中的每一第一作业信息作为一个结点,在利用与第一作业信息对应的第一作业关系信息连接各个结点,形成第一树状图,并存储至图数据库。
步骤S403:在第二调度环境运行前,获取迁移后第二调度环境对应第一批量系统信息的第二批量系统信息。
在步骤S403中,第二批量系统信息包括第二作业信息和与第二作业信息对应的第二作业关系信息,第二作业信息的数量至少为一个。
需要说明的是,步骤S403的具体实现过程与上述实施例示出的步骤S202的具体实现过程相同,可相互参见。
步骤S404:将第二批量系统信息转换为树的结构,得到第二树状图,并存储至图数据库。
在步骤S404中,每一第二作业信息是一个结点,通过与第二作业信息对应的第二作业关系信息连接各个结点。
在具体实现步骤S404的过程中,将第二批量系统信息中的每一第二作业信息作为一个结点,在利用与第二作业信息对应的第二作业关系信息连接各个结点,形成第二树状图,并存储至图数据库。
步骤S405:遍历第一树状图和第二树状图,利用图融合技术对第一树状图和第二树状图的图结构进行比较,若第一树状图和第二树状图的图结构不一致,说明第二批量系统信息存在差异,并执行步骤S406,若第一树状图和第二树状图的图结构一致,说明第二批量系统信息不存在差异,并执行步骤S407。
在具体实现步骤S405的过程中,遍历第一树状图和第二树状图,通过图融合技术将第一树状图和第二树状图进行融合,判断融合后的第一树状图和第二树状图是否一致,若第一树状图和第二树状图的图结构不一致,说明第二批量系统信息存在差异,并执行步骤S406,若第一树状图和第二树状图的图结构一致,说明第二批量系统信息不存在差异,并执行步骤S407。
需要说明的是,图融合技术是指将第一树状图和第二树状图经过图像处理和计算机技术处理提取各自中的异常的信息。
第一树状图和第二树状图的图结构一致是指树状图的结点数量,每一结点中存储的作业信息,以及连接各个结点的作业关系信息均一致。
步骤S406:基于第一批量系统信息和第二批量系统信息,生成差异信息,并显示。
步骤S407:确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。
需要说明的是,步骤S406至步骤S407的具体实现过程与上述步骤S204至步骤S205的具体实现过程相同可相互参见。
在本发明实施例中,利用图融合技术对第一树状图和第二树状图的图结构进行比较,以确定在第二调度环境运行前获取的第二批量系统信息是否存在差异,在确定不存在差异时,确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
基于上述图4示出的数据分析方法,该数据分析方法还包括下述步骤:
步骤S11:在确定第一树状图和第二树状图的图结构不一致时,利用图融合技术将第一树状图和第二树状图进行融合,输出作业概览图。
为了用户更加直观的了解第一树状图和第二树状图的差异,在具体实现步骤S11的过程中,首先,通过图融合技术将第一树状图和第二树状图进行融合。当第一树状图和第二树状图的作业信息或作业关系信息一致时,得到以第一形式展示的一致性信息;与第一树状图中的第一批量系统信息相比,当第二树状图中的第二批量系统信息中某一作业信息或作业关系信息缺失时,得到以第二形式展示的缺失差异信息;与第一树状图中的第一批量系统信息相比,当第二树状图中的第二批量系统信息中某一作业信息或作业关系信息增加了,或者是,某一作业信息或作业关系信息中数据增多了时,得到以第三形式展示的新增差异信息。然后,按照第一树状图和第二树状图中的结点顺序将第一形式展示的一致性信息、第二形式展示的缺失差异信息、第三形式展示的新增差异信息组合,形成作业概览图,并输出。以便于用户根据作业概览图对第二批量系统信息进行修改。
需要说明的是,第一形式、第二形式、第三形式可以用不同的颜色表示,比如:第一形式用于指示将一致性的作业信息或作业关系信息标记成白色;第二形式用于指示将缺失作业信息或作业关系信息标记为红色;第三形式用于指示将新增作业信息或作业关系信息标记为绿色。
可选的,用户可根据上述实施例显示的差异信息或本实施例输出的作业概览图对第二批量系统信息进行修改。
为了更好的解释上述示出作业概览图,下面通过图5示出的作业概览图进行举例说明,具体内容详见以下过程。
如图5所示,例如:第一树状图A1的结点为第一作业1信息、第一作业2信息和第一作业3信息,第一树状图A1的结点通过第一作业关系信息1和第一作业关系信息2连接;第二树状图B1的结点为第二作业1信息、第二作业2信息和第二作业3信息,第二树状图B2的结点通过第二作业关系信息1和第二作业关系信息2连接。
通过图融合技术将第一树状图A1和第二树状图B1进行融合,确定第二作业1信息比第一作业1信息增多时,基于增加的作业信息生成以绿色展示的新增差异信息a1,及确定第二作业关系信息1比第一作业关系信息1时,基于增加的作业信息生成以绿色展示新增差异信息a2;确定第一作业2信息和第二作业2信息一致时,生成以白色展示一致性信息b1;确定第二作业3信息比第一作业3信息少时,生成以红色展示的缺失差异信息c1,及确定第二作业关系信息2比第二作业关系信息2少时,生成以红色展示的缺失差异信息c2。然后按照第一树状图和第二树状图中的结点顺序形成作业概览图,并输出。
需要说明的是,字母a表示绿色,b表示白色,c表示红色。
在本发明实施例中,将第一树状图和第二树状图进行融合,生成作业概览图。以便于用户基于作业概览图修改的第二批量系统信息。通过上述方式让用户通过作业概览图快速确定新增差异信息和缺失差异信息。能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
与上述本发明实施例公开的一种数据分析方法相对应,本发明实施例还对应公开了一种数据分析装置的结构示意图,如图6所示,该装置包括:
数据导入模块601,用于获取迁移前第一调度环境的第一批量系统信息;以及在第二调度环境运行前,获取迁移后第二调度环境对应第一批量系统信息的第二批量系统信息。
其中,第一批量系统信息包括第一作业信息和与第一作业信息对应的第一作业关系信息,第一作业信息的数量至少为一个。第二批量系统信息包括第二作业信息和与第二作业信息对应的第二作业关系信息,第二作业信息的数量至少为一个。
数据分析模块602,用于基于第一批量系统信息,确定第二批量系统信息是否存在差异,若存在差异,则执行差异展示单元603,若不存在差异,则执行确定单元604。
差异展示单元603,用于基于第一批量系统信息和第二批量系统信息,生成差异信息,并显示。
确定单元604,用于确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。
需要说明的是,上述本申请实施例公开的数据分析装置中的各个单元具体的原理和执行过程,与上述本申请实施示出的数据分析方法相同,可参见上述本申请实施例公开的数据分析方法中相应的部分,这里不再进行赘述。
在本发明实施例中,通过第一批量系统信息,确定在第二调度环境运行前获取的第二批量系统信息是否存在差异,以确定第一调度环境下的批量系统信息与第二调度环境下的批量系统信息是否一致,在确定不存在差异时,确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
可选的,基于上述示出的数据分析装置,该数据导入模块601,还用于:在显示差异信息之后,获取用户基于差异信息修改的第二批量系统信息,并执行数据分析模块602。
在本发明实施例中,通过第一批量系统信息,确定在第二调度环境运行前获取的第二批量系统信息是否存在差异,以确定第一调度环境下的批量系统信息与第二调度环境下的批量系统信息是否一致,在确定存在差异时,基于第一批量系统信息和第二批量系统信息,生成差异信息。以获取用户基于差异信息修改的第二批量系统信息。以验证修改后的第二批量系统信息与第一批量系统信息一致。通过上述方式让用户根据差异信息一次性修改第二批量系统信息,能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
可选的,基于上述示出的数据分析装置,结合图6,参见图7,还包括:图数据库605。
图数据库,用于在获取图数据库中存储的迁移前第一调度环境的第一批量系统信息之后,将第一批量系统信息转换为树的结构,得到第一树状图,并存储至图数据库;以及在获取图数据库中存储的第二调度环境的第二批量系统信息之后,将第二批量系统信息转换为树的结构,得到第二树状图,并存储至图数据库。
其中,每一第一作业信息是一个结点,通过与第一作业信息对应的所述第一作业关系信息连接各个结点;每一第二作业信息是一个结点,通过与第二作业信息对应的所述第二作业关系信息连接各个结点。
在本发明实施例中,通过第一批量系统信息,确定在第二调度环境运行前获取的第二批量系统信息是否存在差异,以确定第一调度环境下的批量系统信息与第二调度环境下的批量系统信息是否一致,在确定存在差异时,基于第一批量系统信息和第二批量系统信息,生成差异信息。以获取用户基于差异信息修改的第二批量系统信息。以验证修改后的第二批量系统信息与第一批量系统信息一致。通过上述方式让用户根据差异信息一次性修改第二批量系统信息,能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
可选的,基于上述示出的数据分析装置,数据分析模块602,具体用于遍历第一树状图和第二树状图,利用图融合技术对第一树状图和第二树状图的图结构进行比较;若第一树状图和所述第二树状图的图结构一致,确定第二批量系统信息不存在差异;若第一树状图和第二树状图的图结构不一致,确定第二批量系统信息存在差异。
在本发明实施例中,利用图融合技术对第一树状图和第二树状图的图结构进行比较,以确定在第二调度环境运行前获取的第二批量系统信息是否存在差异,在确定不存在差异时,确定第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
可选的,基于上述示出的数据分析装置,如图8所示,在确定第二批量系统信息存在差异时,该数据分析装置还进一步设置有作业概览模块606。
作业概览模块606,用于利用图融合技术将第一树状图和第二树状图进行融合,输出作业概览图。
在本发明实施例中,将第一树状图和第二树状图进行融合,生成作业概览图。以便于用户基于作业概览图修改的第二批量系统信息。通过上述方式让用户通过作业概览图快速确定新增差异信息和缺失差异信息。能够减少迁移前后应用系统信息比对的时间,以在新的调度环境启用前确保迁移前后应用系统信息的一致性。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种数据分析方法,其特征在于,所述方法包括:
获取迁移前第一调度环境的第一批量系统信息,其中,所述第一批量系统信息包括第一作业信息和与所述第一作业信息对应的第一作业关系信息,所述第一作业信息的数量至少为一个;
将所述第一批量系统信息转换为树的结构,得到第一树状图,并存储至图数据库,其中,每一第一作业信息是一个结点,通过与所述第一作业信息对应的所述第一作业关系信息连接各个结点;
在第二调度环境运行前,获取迁移后第二调度环境对应所述第一批量系统信息的第二批量系统信息,其中,所述第二批量系统信息包括第二作业信息和与所述第二作业信息对应的第二作业关系信息,所述第二作业信息的数量至少为一个;
将所述第二批量系统信息转换为树的结构,得到第二树状图,并存储至图数据库,其中,每一第二作业信息是一个结点,通过与所述第二作业信息对应的所述第二作业关系信息连接各个结点;
遍历所述第一树状图和所述第二树状图,利用图融合技术对所述第一树状图和所述第二树状图的图结构进行比较;
若所述第一树状图和所述第二树状图的图结构不一致,确定所述第二批量系统信息存在差异;
基于所述第一批量系统信息和所述第二批量系统信息,生成差异信息,并显示;
若所述第一树状图和所述第二树状图的图结构一致,确定所述第二批量系统信息不存在差异;
确定所述第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。
2.根据权利要求1所述的方法,其特征在于,还包括:
利用图融合技术将所述第一树状图和所述第二树状图进行融合,输出作业概览图。
3.根据权利要求1所述的方法,其特征在于,在基于所述第一批量系统信息和所述第二批量系统信息,生成差异信息,并显示之后,还包括:
获取用户基于所述差异信息修改的所述第二批量系统信息,并执行基于所述第一批量系统信息,确定所述第二批量系统信息是否存在差异的步骤。
4.一种数据分析装置,其特征在于,所述装置包括:
数据导入模块,用于获取迁移前第一调度环境的第一批量系统信息,其中,所述第一批量系统信息包括第一作业信息和与所述第一作业信息对应的第一作业关系信息,所述第一作业信息的数量至少为一个;以及在第二调度环境运行前,获取迁移后第二调度环境对应所述第一批量系统信息的第二批量系统信息,其中,所述第二批量系统信息包括第二作业信息和与所述第二作业信息对应的第二作业关系信息,所述第二作业信息的数量至少为一个;
图数据库,用于在获取图数据库中存储的迁移前第一调度环境的第一批量系统信息之后,将所述第一批量系统信息转换为树的结构,得到第一树状图,并存储至图数据库,其中,每一第一作业信息是一个结点,通过与所述第一作业信息对应的所述第一作业关系信息连接各个结点;以及在获取图数据库中存储的第二调度环境的第二批量系统信息之后,将所述第二批量系统信息转换为树的结构,得到第二树状图,并存储至图数据库,其中,每一第二作业信息是一个结点,通过与所述第二作业信息对应的所述第二作业关系信息连接各个结点;
数据分析模块,用于遍历所述第一树状图和所述第二树状图,利用图融合技术对所述第一树状图和所述第二树状图的图结构进行比较;若所述第一树状图和所述第二树状图的图结构不一致,确定所述第二批量系统信息存在差异,则执行差异展示单元,若所述第一树状图和所述第二树状图的图结构一致,确定所述第二批量系统信息不存在差异,则执行确定单元;
差异展示模块,用于基于所述第一批量系统信息和所述第二批量系统信息,生成差异信息,并显示;
确定模块,用于确定所述第一调度环境的第一批量系统信息和第二调度环境的第二批量系统信息一致。
5.根据权利要求4所述的装置,其特征在于,所述数据导入模块,还用于:显示所述差异信息之后,获取用户基于所述差异信息修改的所述第二批量系统信息,并执行数据分析模块。
6.根据权利要求4所述的装置,其特征在于,还包括:作业概览模块;
所述作业概览模块,用于利用图融合技术将所述第一树状图和所述第二树状图进行融合,输出作业概览图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011492780.8A CN112463344B (zh) | 2020-12-17 | 2020-12-17 | 一种数据分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011492780.8A CN112463344B (zh) | 2020-12-17 | 2020-12-17 | 一种数据分析方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112463344A CN112463344A (zh) | 2021-03-09 |
CN112463344B true CN112463344B (zh) | 2023-12-08 |
Family
ID=74803046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011492780.8A Active CN112463344B (zh) | 2020-12-17 | 2020-12-17 | 一种数据分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112463344B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107870949A (zh) * | 2016-09-28 | 2018-04-03 | 腾讯科技(深圳)有限公司 | 数据分析作业依赖关系生成方法和系统 |
CN108763419A (zh) * | 2018-05-24 | 2018-11-06 | 郑州云海信息技术有限公司 | 一种迁移处理的方法、装置及计算机存储介质 |
WO2020075532A1 (ja) * | 2018-10-09 | 2020-04-16 | 日本電信電話株式会社 | システム移行支援装置、システム移行支援方法及びプログラム |
-
2020
- 2020-12-17 CN CN202011492780.8A patent/CN112463344B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107870949A (zh) * | 2016-09-28 | 2018-04-03 | 腾讯科技(深圳)有限公司 | 数据分析作业依赖关系生成方法和系统 |
CN108763419A (zh) * | 2018-05-24 | 2018-11-06 | 郑州云海信息技术有限公司 | 一种迁移处理的方法、装置及计算机存储介质 |
WO2020075532A1 (ja) * | 2018-10-09 | 2020-04-16 | 日本電信電話株式会社 | システム移行支援装置、システム移行支援方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN112463344A (zh) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104714827B (zh) | 插件更新方法及装置 | |
US8869111B2 (en) | Method and system for generating test cases for a software application | |
CN110738389A (zh) | 工作流处理方法、装置、计算机设备和存储介质 | |
US10091123B2 (en) | System and user interface for coordinating distributed workflow between multiple computing systems | |
US8701079B2 (en) | Procedure and development environment for generation of an executable overall control program | |
WO2019051937A1 (zh) | 测试机自动配置方法、装置、设备及存储介质 | |
CN110447206A (zh) | 自动故障恢复系统、控制设备、程序创建设备及计算机可读存储介质 | |
US9380001B2 (en) | Deploying and modifying a service-oriented architecture deployment environment model | |
CN111651365B (zh) | 接口自动化测试方法及装置 | |
CN111506358A (zh) | 更新容器配置的方法及装置 | |
CN112463344B (zh) | 一种数据分析方法及装置 | |
CN109885580A (zh) | 一种热点账户批量更新方法、装置、服务器和存储介质 | |
EP3244313B1 (en) | Systems and methods of subject state change notification | |
JP5206268B2 (ja) | ルール作成プログラム、ルール作成方法及びルール作成装置 | |
CN112035579A (zh) | 图管理、数据存储、数据查询方法、装置及存储介质 | |
CN110928672B (zh) | 一种任务编排方法、装置、设备及存储介质 | |
JP2000181933A (ja) | 階層構造作成方法及び装置 | |
CN114185557A (zh) | 软件产品部署方法、装置、介质及电子设备 | |
CN103761247B (zh) | 一种出错文件的处理方法及装置 | |
CN111581042B (zh) | 一种集群部署方法、部署平台及待部署服务器 | |
CN106484866B (zh) | 一种批量数据处理方法及装置 | |
CN112598323B (zh) | 跨业务域流程监控方法、装置、计算机设备和存储介质 | |
Yu et al. | From goal models to feature models: A rule-based approach for software product lines | |
US20220398113A1 (en) | Systems and methods for implementing rehydration automation of virtual machine instances | |
CN113950652A (zh) | 技术系统的计算机辅助配置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |