CN112148459A - 节点关联数据的处理方法、装置、可读介质以及设备 - Google Patents

节点关联数据的处理方法、装置、可读介质以及设备 Download PDF

Info

Publication number
CN112148459A
CN112148459A CN202011084663.8A CN202011084663A CN112148459A CN 112148459 A CN112148459 A CN 112148459A CN 202011084663 A CN202011084663 A CN 202011084663A CN 112148459 A CN112148459 A CN 112148459A
Authority
CN
China
Prior art keywords
batch
node
cluster
batch program
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011084663.8A
Other languages
English (en)
Other versions
CN112148459B (zh
Inventor
耿鹏
王灿
陈文建
徐加江
徐龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202011084663.8A priority Critical patent/CN112148459B/zh
Publication of CN112148459A publication Critical patent/CN112148459A/zh
Application granted granted Critical
Publication of CN112148459B publication Critical patent/CN112148459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种节点关联数据的处理方法、装置、可读介质以及设备,该方法通过采集多个平台中的多个批量程序节点的平台内部关联信息。针对每一个所述批量程序节点,对所述批量程序节点的跨调度平台的外部关联信息进行配置;对每一个批量程序节点的平台内部关联信息进行标准化处理;将批量程序节点标准化处理后的平台内部关联信息以及对应的外部关联信息进行聚合,得到批量程序节点的聚合关联文件。由于聚合关联文件中既有平台内部的关联关系,也有批量程序节点的跨调度平台的外部关联关系,因此能够通过查看批量程序节点的聚合关联文件的方式,对外部关联关系及内部关联关系进行查看分析,更容易精准定位出造成运行故障的节点。

Description

节点关联数据的处理方法、装置、可读介质以及设备
技术领域
本申请涉及数据处理技术领域,尤其涉及一种节点关联数据的处理方法、装置、可读介质以及设备。
背景技术
随着业务规模的不断扩大,后台的批量程序数量也在日益增加,系统对批量程序进行调用时,所涉及到的调度平台也越来越多,调度关联关系也越来越复杂。现有技术中,当批量程序运行出现故障时,往往需要通过查看批量程序节点的关联关系,来定位出实际造成运行故障的批量程序节点,评估运行故障的影响范围。
然而,现有技术中,可查看到的批量程序节点的关联关系中,仅涵盖了批量程序节点在所在平台内部的关联关系,进而无法通过批量程序节点的关联关系,对该批量程序节点涉及到其他平台时的关联关系进行分析。因此,若实际造成运行故障的批量程序节点位于其他平台中的时候,就难以通过查看批量程序节点的关联关系的方式,分析定位出实际造成运行故障的批量程序节点。
发明内容
基于上述现有技术的不足,本申请提出了一种节点关联数据的处理方法、装置、可读介质以及设备,以实现通过批量程序节点的平台内部关联关系以及跨调度平台的关联关系,准确分析定位出实际造成运行故障的批量程序节点。
本申请第一方面公开了一种节点关联数据的处理方法,包括:
采集多个平台中的多个批量程序节点的平台内部关联信息;其中,所述批量程序节点的平台内部关联信息,包括:所述批量程序节点的标识信息、所述批量程序节点所在调度平台的标识信息、以及所述批量程序节点所在调度平台内的内部关联数据;
针对每一个所述批量程序节点,对所述批量程序节点的跨调度平台的外部关联信息进行配置;其中,所述批量程序节点的跨调度平台的外部关联信息,包括:所述批量程序节点与跨调度平台的前序节点之间的关联关系类型、以及所述批量程序节点与跨调度平台的前序节点之间进行关联时所依赖的关联因子;
对所述每一个批量程序节点的平台内部关联信息进行标准化处理;
针对每一个所述批量程序节点,将所述批量程序节点标准化处理后的平台内部关联信息以及对应的所述跨调度平台的外部关联信息进行聚合,得到所述批量程序节点的聚合关联文件;其中,所述批量程序节点的聚合关联文件用于对所述批量程序节点的跨调度平台的关联关系、以及平台内部的关联关系进行查看分析。
可选地,在上述节点关联数据的处理方法中,所述批量程序节点的标识信息,包括:所述批量程序节点的标识、所述批量程序节点对应的批量作业计划的标识、以及所述批量程序节点对应的批量应用的标识;所述批量程序节点所在调度平台内的内部关联数据,包括:所述批量程序节点的前序节点的标识、所述前序节点对应的批量作业计划的标识、所述前序节点对应的批量应用的标识、所述批量程序节点的标识、所述批量程序节点对应的批量作业计划的标识、以及所述批量程序节点对应的批量应用的标识;其中,所述批量应用包括多个批量作业计划;所述批量作业计划包括多个批量程序节点。
可选地,在上述节点关联数据的处理方法中,所述针对每一个所述批量程序节点,将所述批量程序节点标准化处理后的平台内部关联信息以及对应的所述跨调度平台的外部关联信息进行聚合,得到所述批量程序节点的聚合关联文件之后,还包括:
从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量应用,对与所述批量应用具有关联关系的批量应用进行聚簇,得到所述批量应用对应的应用簇;并针对每一个所述批量应用对应的应用簇,将所述应用簇的标识信息与所述应用簇对应的簇关联信息表对应存储;其中,所述应用簇对应的簇关联信息表,包括:所述应用簇中的每一个批量应用的标识,每一个用于说明所述应用簇中的两个批量应用的关联关系的边;所述批量应用对应的应用簇的簇关联信息表,用于查看分析所述批量应用的关联关系;
从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量作业计划,对与所述批量作业计划具有关联关系的批量作业计划进行聚簇,得到所述批量作业计划对应的作业计划簇;并针对每一个所述批量作业计划对应的作业计划簇,将所述作业计划簇的标识信息与所述作业计划簇对应的簇关联信息表对应存储;其中,所述作业计划簇对应的簇关联信息表,包括:所述作业计划簇中的每一个批量作业计划的标识、每一个用于说明所述作业计划簇中的两个批量作业计划的关联关系的边;所述批量作业计划对应的作业计划簇的簇关联信息表,用于查看分析所述批量作业计划的关联关系;
从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量程序节点,对于所述批量程序节点具有关联关系的批量程序节点进行聚簇,得到所述批量程序节点对应的节点簇;并针对每一个所述批量程序节点对应的节点簇,将所述节点簇的标识信息与所述节点簇对应的簇关联信息表对应存储;其中,所述节点簇对应的簇关联信息表,包括:所述节点簇中的每一个批量程序节点的标识、每一个用于说明所述节点簇中的两个批量程序节点的关联关系的边;所述批量程序节点对应的节点簇的簇关联信息表,用于查看分析所述批量程序节点的关联关系。
可选地,在上述节点关联数据的处理方法中,所述批量程序节点与跨调度平台的前序节点之间的关联关系类型,包括:调度关联关系类型、文件关联关系类型、数据库关联关系类型、或者程序关联关系类型;所述调度关联关系类型为所述批量程序节点与对应的前序节点之间存在调度依赖时所属的关联关系类型;所述文件关联关系类型为所述批量程序节点与对应的前序节点之间存在文件依赖时所属的关联关系类型;所述数据库关联关系类型为所述批量程序节点与对应的前序节点之间存在数据库依赖时所属的关联关系类型;所述程序关联关系类型为所述批量程序节点与对应的前序节点之间存在程序逻辑依赖时所属的关联关系类型。
本申请第二方面公开了一种节点关联数据的处理装置,包括:
采集单元,用于采集多个平台中的多个批量程序节点的平台内部关联信息;其中,所述批量程序节点的平台内部关联信息,包括:所述批量程序节点的标识信息、所述批量程序节点所在调度平台的标识信息、以及所述批量程序节点所在调度平台内的内部关联数据;
配置单元,用于针对每一个所述批量程序节点,对所述批量程序节点的跨调度平台的外部关联信息进行配置;其中,所述批量程序节点的跨调度平台的外部关联信息,包括:所述批量程序节点与跨调度平台的前序节点之间的关联关系类型、以及所述批量程序节点与跨调度平台的前序节点之间进行关联时所依赖的关联因子;
处理单元,用于对所述每一个批量程序节点的平台内部关联信息进行标准化处理;
聚合单元,用于针对每一个所述批量程序节点,将所述批量程序节点标准化处理后的平台内部关联信息以及对应的所述跨调度平台的外部关联信息进行聚合,得到所述批量程序节点的聚合关联文件;其中,所述批量程序节点的聚合关联文件用于对所述批量程序节点的跨调度平台的关联关系、以及平台内部的关联关系进行查看分析。
可选地,在上述节点关联数据的处理装置,所述批量程序节点的标识信息,包括:所述批量程序节点的标识、所述批量程序节点对应的批量作业计划的标识、以及所述批量程序节点对应的批量应用的标识;所述批量程序节点所在调度平台内的内部关联数据,包括:所述批量程序节点的前序节点的标识、所述前序节点对应的批量作业计划的标识、所述前序节点对应的批量应用的标识、所述批量程序节点的标识、所述批量程序节点对应的批量作业计划的标识、以及所述批量程序节点对应的批量应用的标识;其中,所述批量应用包括多个批量作业计划;所述批量作业计划包括多个批量程序节点。
可选地,在上述节点关联数据的处理装置,还包括:
第一聚簇单元,用于从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量应用,对与所述批量应用具有关联关系的批量应用进行聚簇,得到所述批量应用对应的应用簇;并针对每一个所述批量应用对应的应用簇,将所述应用簇的标识信息与所述应用簇对应的簇关联信息表对应存储;其中,所述应用簇对应的簇关联信息表,包括:所述应用簇中的每一个批量应用的标识,每一个用于说明所述应用簇中的两个批量应用的关联关系的边;所述批量应用对应的应用簇的簇关联信息表,用于查看分析所述批量应用的关联关系;
第二聚簇单元,用于从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量作业计划,对与所述批量作业计划具有关联关系的批量作业计划进行聚簇,得到所述批量作业计划对应的作业计划簇;并针对每一个所述批量作业计划对应的作业计划簇,将所述作业计划簇的标识信息与所述作业计划簇对应的簇关联信息表对应存储;其中,所述作业计划簇对应的簇关联信息表,包括:所述作业计划簇中的每一个批量作业计划的标识、每一个用于说明所述作业计划簇中的两个批量作业计划的关联关系的边;所述批量作业计划对应的作业计划簇的簇关联信息表,用于查看分析所述批量作业计划的关联关系;
第三聚簇单元,用于从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量程序节点,对于所述批量程序节点具有关联关系的批量程序节点进行聚簇,得到所述批量程序节点对应的节点簇;并针对每一个所述批量程序节点对应的节点簇,将所述节点簇的标识信息与所述节点簇对应的簇关联信息表对应存储;其中,所述节点簇对应的簇关联信息表,包括:所述节点簇中的每一个批量程序节点的标识、每一个用于说明所述节点簇中的两个批量程序节点的关联关系的边;所述批量程序节点对应的节点簇的簇关联信息表,用于查看分析所述批量程序节点的关联关系。
可选地,在上述节点关联数据的处理装置,所述批量程序节点与跨调度平台的前序节点之间的关联关系类型,包括:调度关联关系类型、文件关联关系类型、数据库关联关系类型、或者程序关联关系类型;所述调度关联关系类型为所述批量程序节点与对应的前序节点之间存在调度依赖时所属的关联关系类型;所述文件关联关系类型为所述批量程序节点与对应的前序节点之间存在文件依赖时所属的关联关系类型;所述数据库关联关系类型为所述批量程序节点与对应的前序节点之间存在数据库依赖时所属的关联关系类型;所述程序关联关系类型为所述批量程序节点与对应的前序节点之间存在程序逻辑依赖时所属的关联关系类型。
本申请第三方面公开了一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如上述第一方面中任一所述的方法。
本申请第四方面公开了一种设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述第一方面中任一所述的方法。
从上述技术方案可以看出,本申请实施例提出的节点关联数据的处理方法中,通过采集多个平台中的多个批量程序节点的平台内部关联信息,然后针对每一个批量程序节点,对批量程序节点的跨调度平台的外部关联信息进行配置。其中,批量程序节点的跨调度平台的外部关联信息,包括:批量程序节点与跨调度平台的批量程序节点之间的关联关系类型、以及批量程序节点与跨调度平台的批量程序节点之间进行关联时所依赖的关联因子。对每一个批量程序节点的平台内部关联信息进行标准化处理后,将每一个批量程序节点标准化处理后的平台内部关联信息以及对应的跨调度平台的外部关联信息聚合,得到每一个批量程序节点的聚合关联文件。由于聚合关联文件中既有平台内部的关联关系,也有批量程序节点的跨调度平台的外部关联关系,因此能够通过查看批量程序节点的聚合关联文件的方式,对批量程序节点的跨调度平台的关联关系、以及平台内部的关联关系进行查看分析,更容易精准定位出造成运行故障的批量程序节点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提出的一种节点关联数据的处理方法的流程示意图;
图2为本申请实施例提出的一种应用簇、作业计划簇以及节点簇的构建方法的流程示意图;
图3为本申请实施例提出的一种节点关联数据的处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1,本申请实施例公开了一种节点关联数据的处理方法,具体包括以下步骤:
S101、采集多个平台中的多个批量程序节点的平台内部关联信息,其中,批量程序节点的平台内部关联信息,包括:批量程序节点的标识信息、批量程序节点所在调度平台的标识信息、以及批量程序节点所在调度平台内的内部关联数据。
具体的,针对每一个平台,对该平台中的每一个批量程序节点在平台内部的平台内部关联信息进行采集。在实际应用场景中,可以是将需要处理的业务所涉及到的每一个平台中的所有批量程序节点的平台内部关联信息进行采集。
批量程序节点的平台内部关联信息指的是该批量程序节点在自身所在的平台内部所涉及到的关联信息。批量程序节点的平台内部关联信息,包括:批量程序节点的标识信息、批量程序节点所在调度平台的标识信息、以及批量程序节点所在调度平台内的内部关联数据。批量程序节点的标识信息为批量程序节点所特有的信息,例如批量程序节点的具体存储地址、批量程序节点的编号等等。批量程序节点所在调度平台的标识信息为批量程序节点所在调度平台所特有的信息,例如调度平台的地址等。批量程序节点所在调度平台内的内部关联数据为用于说明批量程序节点在所在调度平台内的关联关系相关数据。例如批量程序节点的前序节点、批量程序节点与前序节点之间的关联逻辑关系数据等等。可选地,可以将批量程序节点所在调度平台内的内部关联数据以关联表的形式存储,在关联表中存储该批量节点在平台内部的所有前序节点以及各自对应的关联逻辑关系。
可选地,在本申请一具体实施例中,批量程序节点的平台内部关联信息还可以包括有批量程序节点的部署地点、采集平台内部关联信息的时间、增全量标记等等。
可选地,采集到的批量程序节点的平台内部关联信息可以以文件形式存储起来。在执行步骤S101的过程中,通过文件、接口等方式,从各个平台中采集到每一个平台中的多个批量程序节点的平台内部关联信息,并将采集到的信息以文件形式进行存储,以便后续进行处理。
可选地,由于企业所处理的业务在不断变化,处理业务时所需要调用的各个平台内的批量程序节点也是不断的在更新变化,因此为了保证用户能查看到最新的批量程序节点的平台内部关联信息,执行步骤S101时,可以按照预设的周期,对多个平台中的多个批量程序节点的平台内部关联信息进行采集。
可选地,在本申请一具体实施例中,批量程序节点的标识信息,包括:批量程序节点的标识、批量程序节点对应的批量作业计划的标识、以及批量程序节点对应的批量应用的标识。
其中,批量应用包括多个批量作业计划,批量作业计划包括多个批量程序节点。批量应用是用于处理某类批处理业务的计算机应用,一个批量应用包含一个或多个批量作业计划。而批量作业计划是某个批量应用中用于执行某个特定任务的作业计划,一个作业计划包括一个或多个批量程序结点。批量程序节点的标识信息用批量程序节点的标识、批量程序节点对应的批量作业计划的标识、以及批量程序节点对应的批量应用的标识组合表示。批量程序节点的标识具体可以是批量程序节点在对应的批量作业计划中的编号、又或者是批量程序节点在平台内特有的编号、而批量程序节点对应的批量作业计划的标识可以是批量作业计划在平台内特有的编号,也可以是批量作业计划在对应的批量应用中特有的编号。批量应用的标识可以批量应用特有的编号。通过批量程序节点的标识、批量程序节点对应的批量作业计划的标识、以及批量程序节点对应的批量应用的标识即可明确批量程序节点的标识信息具体指代的是哪一个批量程序节点。
可选地,在本申请一具体实施例中,批量程序节点所在调度平台内的内部关联数据,包括:批量程序节点的前序节点的标识、前序节点对应的批量作业计划的标识、前序节点对应的批量应用的标识、批量程序节点的标识、批量程序节点对应的批量作业计划的标识、以及批量程序节点对应的批量应用的标识。
批量程序节点的前序节点与批量程序节点存在执行顺序的关系,若想执行批量程序节点,则需先执行调用前序节点的程序。因此,为了描述清楚批量程序节点在平台内部的的关联信息,批量程序节点所在调度平台内的内部关联数据需要包括有涉及到该批量程序节点的信息、以及该批量程序节点的前序节点的信息。具体的,该批量程序节点的信息可以是批量程序节点的标识、批量程序节点对应的批量作业计划的标识、以及批量程序节点对应的批量应用的标识。通过这些信息,即可知道与批量程序节点相关的批量程序应用、以及批量作业计划具体是哪个。后续运行出现故障时,可通过查询批量程序节点对应的批量作业计划、以及批量程序节点对应的批量应用来分析定位出造成运行故障的具体位置。而批量程序节点的前序节点的信息可以是批量程序节点的前序节点的标识、前序节点对应的批量作业计划的标识、以及前序节点对应的批量应用的标识。后续运行出现故障时,可通过查询批量程序节点的前序节点、前序节点对应的批量作业计划、以及前序节点对应的批量应用来分析定位出造成运行故障的具体位置。
可选地,在本申请一具体实施例中,批量程序节点所在调度平台内的内部关联数据还可以包括批量程序节点与批量程序节点对应前序节点之间的逻辑关联关系。例如,调度关联关系类型的关联、文件关联关系类型的关联、程序关联类型、或者数据库关联关系类型等类型的逻辑关联关系。
S102、针对每一个批量程序节点,对批量程序节点的跨调度平台的外部关联信息进行配置,其中,批量程序节点的跨调度平台的外部关联信息,包括:批量程序节点与跨调度平台的前序节点之间的关联关系类型、以及批量程序节点与跨调度平台的前序节点之间进行关联时所依赖的关联因子。
批量程序节点的跨调度平台的外部关联信息指的是在需要执行批量程序节点时,所需涉及到的除该批量程序节点所在平台之外的平台的关联信息。例如,某一个批量程序节点A所在的平台A,该批量程序节点A的前序节点B所在平台B,若想要调度执行节点A,则需通过调用平台B的节点B,才可实现调用平台A的节点A,批量程序节点A与批量程序节点B之间的关联信息就属于跨调度平台的外部关联信息。
批量程序节点与跨调度平台的前序节点之间的关联关系类型指的是批量程序节点与跨调度平台的前序节点之间的逻辑关联关系所属类型。批量程序节点与跨调度平台的前序节点之间进行关联时所依赖的关联因子指的是批量程序节点与前序节点之间实现逻辑关联时所需依赖的文件、数据库、程序等等关联因子。需要说明的是,并不是所有批量程序节点与前序节点之间实现逻辑关联时均需依赖关联因子的,进行配置时需要依据实际应用场景进行配置。
可选地,在本申请一具体实施例中,执行步骤S102的一种实施方式,包括:通过配置工具对每一个程序批量节点的跨调度平台的外部关联信息进行配置。具体的,可以将每一个程序批量节点的跨调度平台的外部关联内容输入到配置工具中,配置工具从中提取出关联关系类型、以及关联因子,完成对批量程序节点的跨调度平台的外部关联信息的配置。可选地,也可以直接人工配置外部关联信息,对外部关联信息的具体配置方式的不同不影响本申请实施例的实现。
现有技术中,可查看到的批量程序节点的关联关系中,仅涵盖了批量程序节点在所在平台内部的关联关系,而本申请中由于还对批量程序节点的跨调度平台的外部关联关系进行了配置,因此在查看批量程序节点的关联关系时,能够结合步骤S101得到的平台内部关联信息、以及外部关联信息,更为准确的定位出造成运行故障的批量程序节点。
可选地,在本申请一具体实施例中,批量程序节点与跨调度平台的前序节点之间的关联关系类型,包括:调度关联关系类型、文件关联关系类型、数据库关联关系类型或者程序关联关系类型。
调度关联关系类型为批量程序节点与对应的前序节点之间存在调度依赖时所属的关联关系类型。例如批量程序节点A与节点A的前序节点B之间,需要在批量程序节点B执行完毕之后,才会由平台调度对批量程序节点A进行调起,因此,批量程序节点A与批量程序节点B之间的关联关系类型即为调度关联关系类型。而调度关联关系类型不需要依赖任何关联因子。因此若批量程序节点与跨调度平台的前序节点之间的关联关系类型为调度关联关系类型,则无需对关联因子进行配置,或者关联因子为空白。
文件关联关系类型为批量程序节点与对应的前序节点之间存在文件依赖时所属的关联关系类型。例如批量程序节点A与节点A的前序节点B之间,需要在前序节点B执行完毕之后生成了文件,然后将文件发送给批量程序节点A后,才能执行批量程序节点A。因此,批量程序节点A与批量程序节点B之间的关联关系类型即为文件关联关系类型。而文件关联关系类型需要依赖的关联因子为文件,因此若批量程序节点与跨调度平台的前序节点之间的关联关系类型为文件关联关系类型,则对该批量程序节点配置跨调度平台的外部关联信息时,还需要配置关联因子,具体的,该关联因子可以是关联关系逻辑所依赖的文件名、文件地址等等。
数据库关联关系类型为批量程序节点与对应的前序节点之间存在数据库依赖时所属的关联关系类型。举例说明,如果批量程序节点A的前序节点为批量程序节点B,而批量程序节点A需等待批量程序节点B运行完毕后修改数据库某校验位之后才能执行,就认为批量程序节点A和前序节点B之间的关联关系类型为数据库关联关系类型。若批量程序节点与跨调度平台的前序节点之间的关联关系类型为数据库关联关系类型,则对该批量程序节点配置跨调度平台的外部关联信息时,还需要配置关联因子,具体的,该关联因子可以是关联关系逻辑所依赖的数据库的标识信息、数据库的校验位等等,具体依照实际情况中所依赖的数据库的信息来配置关联因子。
程序关联关系类型为批量程序节点与对应的前序节点之间存在程序逻辑依赖时所属的关联关系类型。例如,批量程序节点A的前序节点为批量程序节点B,批量程序节点A需要在逻辑上判断批量程序节点B是否执行完毕后,才能运行。因此,批量程序节点A与批量程序节点B之间存在程序逻辑依赖,关联关系类型为程序关联关系类型。而此时配置批量程序节点A和批量程序节点B之间的关联因子时,则为批量程序节点A与批量程序B之间具体依赖的程序逻辑。
需要说明的是,关联因子是依据具体的关联逻辑的依赖信息进行配置的。
现有技术中,批量程序节点之间的关联关系类型仅配置有调度关联关系类型。没有对其他的文件关联关系类型、数据库关联关系类型或者程序关联关系类型进行配置。因此,在通过查看批量程序节点的关联关系来分析故障原因时,不能够准确定位得到造成故障的节点。
而本申请实施例中,对每一个批量程序节点的跨调度平台的外部关联信息进行配置时,除了配置有调度关联关系类型,还可配置有文件关联关系类型、数据库关联关系类型或者程序关联关系类型,同时还对关联因子进行了配置,通过更为详细的外部关联信息,能够提高定位造成故障的节点的准确度。
S103、对每一个批量程序节点的平台内部关联信息进行标准化处理。
具体的,按照统一的标准,使得每一个批量程序节点的平台内部关联信息中具体包括的信息类型一致、格式一致、命名时采用统一的命名规则等。由于不同平台中对于批量程序节点的平台内部关联信息进行记录的方式、命名的方式是不一致的。因此需要对所有平台中采集到的每一个批量程序节点的平台内部关联信息进行统一的标准化处理,避免出现不同平台命名重复、平台内部关联信息记录方式不一致等问题,造成后续查看批量程序节点的平台内部关联信息时不够清楚。
可选地,对每一个批量程序节点的平台内部关联信息中涉及到的命名进行标准化处理。例如,针对每一个批量程序节点,采取根据批量程序节点对应的批量应用的部署地点、批量程序节点所在平台的名称、批量程序节点的名称等关键因素进行消息摘要算法的方式,实现命名标准化。如某批量程序节点对应的批量应用部署地点在北京,批量程序节点所在平台为BJS,批量应用名称为A,批量计划名称为B,批量程序节点名称为C,则将其统一标识记录为md5(BJ_BJS_A_B_C),其他情况进行类似处理。可选地,对批量程序节点的平台内部关联信息中的内部关联数据进行统一标准化处理,例如将其统一处理为6个字段,包括批量程序节点对应的批量应用的编号、批量程序节点对应的批量作业计划的编号、批量程序节点的编号、批量程序节点的前序节点对应的批量应用的编号、前序节点对应的批量作业计划的编号、以及前序节点的编号,一条记录同时标识应用、作业、节点这三层关联关系。
S104、针对每一个批量程序节点,将批量程序节点标准化处理后的平台内部关联信息以及对应的跨调度平台的外部关联信息进行聚合,得到批量程序节点的聚合关联文件,其中批量程序节点的聚合关联文件用于对批量程序节点的跨调度平台的关联关系、以及平台内部的关联关系进行查看分析。
将批量程序节点标准化处理后的平台内部关联信息以及对应的跨调度平台的外部关联信息进行聚合,得到批量程序节点的聚合关联文件后,进行存储。聚合关联文件中包括有批量程序节点相关的所有关联信息。因此,通过批量程序节点的聚合关联文件可以查看批量程序节点的跨调度平台的关联关系、以及平台内部的关联关系。现有技术中,由于仅能够对批量程序节点的内部关联关系进行分析,导致分析故障原因时不能够准确找到造成故障的节点。而本申请实施例中,批量程序节点的聚合关联文件可以查看批量程序节点的跨调度平台的关联关系、以及平台内部的关联关系,对批量程序节点的关联关系分析更为全面,能够准确定位出造成故障的批量程序节点。
可选地,参阅图2,在本申请一具体实施例中,执行步骤S104之后,还包括:
S201、从每一个批量程序节点的聚合关联文件中,针对每一个批量应用,对与批量应用具有关联关系的批量应用进行聚簇,得到批量应用对应的应用簇,并针对每一个批量应用对应的应用簇,将应用簇的标识信息与应用簇对应的簇关联信息表对应存储。
其中,应用簇对应的簇关联信息表,包括:应用簇中的每一个批量应用的标识,每一个用于说明应用簇中的两个批量应用的关联关系的边。批量应用对应的应用簇的簇关联信息表,用于查看分析批量应用的关联关系。
由于批量程序节点的聚合关联文件中包括有批量程序节点的前序节点的标识、前序节点对应的批量作业计划的标识、前序节点对应的批量应用的标识、批量程序节点的标识、批量程序节点对应的批量作业计划的标识、以及批量程序节点对应的批量应用的标识。因此,可以从每一个批量程序节点的聚合关联文件中,针对每一个批量应用,对与批量应用具有关联关系的批量应用进行聚簇。举例说明,如果针对批量应用A进行聚簇,则将批量应用A的前序批量应用进行聚簇。前序批量应用为批量应用A中的批量程序节点的前序节点对应的批量应用。如果批量应用A的前序批量应用为批量应用B,则将批量应用A和批量应用B聚合到批量应用A对应的应用簇中,而批量应用B的前序应用为批量应用C,则也将批量应用C聚合到批量应用A对应的应用簇中,而批量应用A如果是批量应用D的前序应用,则也将批量应用D加入到批量应用A对应的应用簇中。依次依据前序、后序应用的关联关系,进行应用聚簇,即可得到批量应用对应的应用簇。
通过聚簇得到应用簇后,将应用簇的信息通过应用簇对应的簇关联信息表的形式进行存储。其中,关联信息表中的边可以说明两个批量应用的传导方向,即可以说明两个批量应用的前后序关系。
通过查看批量应用对应的应用簇的簇关联信息表,即可分析所有与该批量应用有关联的批量应用,进而实现快速定位出造成故障的批量应用。
现有技术中,当出现运行故障时,需要对某个批量应用的关联关系进行查看分析。由于现有技术中通过批量应用的标识只能够找到批量应用的前序应用,而通过前序应用的标识也只能找到前序应用的前序应用……依次递归查看,才能将所有与该批量应用有关联关系的批量应用全部查看分析,效率较低、速度较慢。
而本申请实施例中,通过批量应用的标识,能够找到对应的应用簇的簇关联信息表,当中涵盖了所有与该批量应用具有关联关系的批量应用,可快速对应用簇中的所有批量应用进行查看分析,效率较高,速度较快。
S202、从每一个批量程序节点的聚合关联文件中,针对每一个批量作业计划,对与批量作业计划具有关联关系的批量作业计划进行聚簇,得到批量作业计划对应的作业计划簇,并针对每一个批量作业计划对应的作业计划簇,将作业计划簇的标识信息与作业计划簇对应的簇关联信息表对应存储。
其中,作业计划簇对应的簇关联信息表,包括:作业计划簇中的每一个批量作业计划的标识、每一个用于说明作业计划簇中的两个批量作业计划的关联关系的边。批量作业计划对应的作业计划簇的簇关联信息表,用于查看分析批量作业计划的关联关系。
由于批量程序节点的聚合关联文件中包括有批量程序节点的前序节点的标识、前序节点对应的批量作业计划的标识、前序节点对应的批量应用的标识、批量程序节点的标识、批量程序节点对应的批量作业计划的标识、以及批量程序节点对应的批量应用的标识。因此,可以从每一个批量程序节点的聚合关联文件中,针对每一个批量作业计划,对与批量作业计划具有关联关系的批量作业计划进行聚簇。举例说明,如果针对批量作业计划A进行聚簇,则将批量作业计划A的前序批量作业计划进行聚簇。前序批量作业计划为批量作业计划A中的批量程序节点的前序节点对应的批量作业计划。如果批量作业计划A的前序批量作业计划为批量作业计划B,则将批量作业计划A和批量作业计划B聚合到批量作业计划A对应的作业计划簇中,而批量作业计划B的前序作业计划为批量作业计划C,则也将批量作业计划C聚合到批量作业计划A对应的作业计划簇中,而批量作业计划A如果是批量作业计划D的前序批量作业计划,则也将批量作业计划D加入到批量应用A对应的作业计划簇中。依次依据前序、后序应用的关联关系,进行应用聚簇,即可得到批量作业计划对应的作业计划簇。
通过聚簇得到作业计划簇后,将作业计划簇的信息通过作业计划簇对应的簇关联信息表的形式进行存储。其中,关联信息表中的边可以说明两个批量作业计划的传导方向,即可以说明两个批量作业计划的前后序关系。
通过查看批量作业计划对应的作业计划簇的簇关联信息表,即可分析所有与该批量作业计划簇有关联的批量作业计划,进而实现快速定位出造成故障的批量作业计划。
现有技术中,当出现运行故障时,需要对某个批量作业计划的关联关系进行查看分析。由于现有技术中通过批量作业计划的标识只能够找到批量作业计划的前序作业计划,而通过前序作业计划的标识也只能找到前序作业计划的前序作业计划……依次递归查看,才能将所有与该批量作业计划有关联关系的批量作业计划全部查看分析,效率较低、速度较慢。
而本申请实施例中,通过批量作业计划的标识,能够找到对应的作业计划簇的簇关联信息表,当中涵盖了所有与该批量作业计划具有关联关系的批量作业计划,可快速对作业计划簇中的所有批量作业计划进行查看分析,效率较高,速度较快。
S203、从每一个批量程序节点的聚合关联文件中,针对每一个批量程序节点,对于批量程序节点具有关联关系的批量程序节点进行聚簇,得到批量程序节点对应的节点簇,并针对每一个批量程序节点对应的节点簇,将节点簇的标识信息与节点簇对应的簇关联信息表对应存储。
其中,节点簇对应的簇关联信息表,包括:节点簇中的每一个批量程序节点的标识、每一个用于说明节点簇中的两个批量程序节点的关联关系的边,批量程序节点对应的节点簇的簇关联信息表,用于查看分析批量程序节点的关联关系。
由于批量程序节点的聚合关联文件中包括有批量程序节点的前序节点的标识、前序节点对应的批量作业计划的标识、前序节点对应的批量应用的标识、批量程序节点的标识、批量程序节点对应的批量作业计划的标识、以及批量程序节点对应的批量应用的标识。因此,可以从每一个批量程序节点的聚合关联文件中,针对每一个批量程序节点,对与批量程序节点具有关联关系的批量程序节点进行聚簇。举例说明,如果针对批量程序节点A进行聚簇,则将批量程序节点A的前序节点进行聚簇。如果批量程序节点A的前序批量程序节点为批量程序节点B,则将批量程序节点A和批量程序节点B聚合到批量程序节点A对应的节点簇中,而批量程序节点B的前序批量程序节点为批量程序节点C,则也将批量程序节点C聚合到批量程序节点A对应的节点簇中,而批量程序节点A如果是批量程序节点D的前序批量程序节点,则也将批量程序节点D加入到批量程序节点A对应的节点簇中。依次依据前序、后序节点的关联关系,进行节点聚簇,即可得到批量程序节点对应的节点簇。其中,前序节点即为前序批量程序节点。
通过聚簇得到节点簇后,将节点簇的信息通过节点簇对应的簇关联信息表的形式进行存储。其中,关联信息表中的边可以说明两个批量程序节点的传导方向,即可以说明两个批量程序节点的前后序关系。
通过查看批量程序节点对应的节点簇的簇关联信息表,即可分析所有与该批量程序节点有关联的批量程序节点,进而实现快速定位出造成故障的批量程序节点。
现有技术中,当出现运行故障时,需要对某个批量程序节点的关联关系进行查看分析。由于现有技术中通过批量程序节点的标识只能够找到批量程序节点的前序批量程序节点,而通过前序批量程序节点的标识也只能找到前序批量程序节点的前序批量程序节点……依次递归查看,才能将所有与该批量程序节点有关联关系的批量程序节点全部查看分析,效率较低、速度较慢。
而本申请实施例中,通过批量程序节点的标识,能够找到对应的节点簇的簇关联信息表,当中涵盖了所有与该批量程序节点具有关联关系的批量程序节点,可快速对节点簇中的所有批量程序节点进行查看分析,效率较高,速度较快。
需要说明的是,执行步骤S201、S202以及S203的先后顺序不影响本申请实施例的实现。
本申请实施例提出的节点关联数据的处理方法中,通过采集多个平台中的多个批量程序节点的平台内部关联信息,然后针对每一个批量程序节点,对批量程序节点的跨调度平台的外部关联信息进行配置。其中,批量程序节点的跨调度平台的外部关联信息,包括:批量程序节点与跨调度平台的批量程序节点之间的关联关系类型、以及批量程序节点与跨调度平台的批量程序节点之间进行关联时所依赖的关联因子。对每一个批量程序节点的平台内部关联信息进行标准化处理后,将每一个批量程序节点标准化处理后的平台内部关联信息以及对应的跨调度平台的外部关联信息聚合,得到每一个批量程序节点的聚合关联文件。由于聚合关联文件中既有平台内部的关联关系,也有批量程序节点的跨调度平台的外部关联关系,因此能够通过查看批量程序节点的聚合关联文件的方式,对批量程序节点的跨调度平台的关联关系、以及平台内部的关联关系进行查看分析,更容易精准定位出造成运行故障的批量程序节点。
参阅图3,基于上述本申请实施例提出的节点关联数据的处理方法,本申请实施例对应公开了一种节点关联数据的处理装置,包括:采集单元301、配置单元302、处理单元303以及聚合单元304。
采集单元301,用于采集多个平台中的多个批量程序节点的平台内部关联信息。其中,批量程序节点的平台内部关联信息,包括:批量程序节点的标识信息、批量程序节点所在调度平台的标识信息、以及批量程序节点所在调度平台内的内部关联数据。
可选地,在本申请一具体实施例中,批量程序节点的标识信息,包括:批量程序节点的标识、批量程序节点对应的批量作业计划的标识、以及批量程序节点对应的批量应用的标识。批量程序节点所在调度平台内的内部关联数据,包括:批量程序节点的前序节点的标识、前序节点对应的批量作业计划的标识、前序节点对应的批量应用的标识、批量程序节点的标识、批量程序节点对应的批量作业计划的标识、以及批量程序节点对应的批量应用的标识。其中,批量应用包括多个批量作业计划,批量作业计划包括多个批量程序节点。
配置单元302,用于针对每一个批量程序节点,对批量程序节点的跨调度平台的外部关联信息进行配置。其中,批量程序节点的跨调度平台的外部关联信息,包括:批量程序节点与跨调度平台的前序节点之间的关联关系类型、以及批量程序节点与跨调度平台的前序节点之间进行关联时所依赖的关联因子。
可选地,在本申请一具体实施例中,批量程序节点与跨调度平台的前序节点之间的关联关系类型,包括:调度关联关系类型、文件关联关系类型、数据库关联关系类型、或者程序关联关系类型。调度关联关系类型为批量程序节点与对应的前序节点之间存在调度依赖时所属的关联关系类型。文件关联关系类型为批量程序节点与对应的前序节点之间存在文件依赖时所属的关联关系类型。数据库关联关系类型为批量程序节点与对应的前序节点之间存在数据库依赖时所属的关联关系类型。程序关联关系类型为批量程序节点与对应的前序节点之间存在程序逻辑依赖时所属的关联关系类型。
处理单元303,用于对每一个批量程序节点的平台内部关联信息进行标准化处理。
聚合单元304,用于针对每一个批量程序节点,将批量程序节点标准化处理后的平台内部关联信息以及对应的所述跨调度平台的外部关联信息进行聚合,得到批量程序节点的聚合关联文件。其中,批量程序节点的聚合关联文件用于对批量程序节点的跨调度平台的关联关系、以及平台内部的关联关系进行查看分析。
可选地,在本申请一具体实施例中,还包括:第一聚簇单元、第二聚簇单元以及第三聚簇单元。
第一聚簇单元,用于从每一个批量程序节点的聚合关联文件中,针对每一个批量应用,对与批量应用具有关联关系的批量应用进行聚簇,得到批量应用对应的应用簇,并针对每一个批量应用对应的应用簇,将应用簇的标识信息与应用簇对应的簇关联信息表对应存储。其中,应用簇对应的簇关联信息表,包括:应用簇中的每一个批量应用的标识,每一个用于说明应用簇中的两个批量应用的关联关系的边,批量应用对应的应用簇的簇关联信息表,用于查看分析批量应用的关联关系。
第二聚簇单元,用于从每一个批量程序节点的聚合关联文件中,针对每一个批量作业计划,对与批量作业计划具有关联关系的批量作业计划进行聚簇,得到批量作业计划对应的作业计划簇,并针对每一个批量作业计划对应的作业计划簇,将作业计划簇的标识信息与作业计划簇对应的簇关联信息表对应存储。其中,作业计划簇对应的簇关联信息表,包括:作业计划簇中的每一个批量作业计划的标识、每一个用于说明作业计划簇中的两个批量作业计划的关联关系的边,批量作业计划对应的作业计划簇的簇关联信息表,用于查看分析批量作业计划的关联关系。
第三聚簇单元,用于从每一个批量程序节点的聚合关联文件中,针对每一个批量程序节点,对于批量程序节点具有关联关系的批量程序节点进行聚簇,得到批量程序节点对应的节点簇,并针对每一个批量程序节点对应的节点簇,将节点簇的标识信息与节点簇对应的簇关联信息表对应存储。其中,节点簇对应的簇关联信息表,包括:节点簇中的每一个批量程序节点的标识、每一个用于说明节点簇中的两个批量程序节点的关联关系的边,批量程序节点对应的节点簇的簇关联信息表,用于查看分析批量程序节点的关联关系。
上述本申请实施例公开的节点关联数据的处理装置中的具体的原理和执行过程,与上述本申请实施例公开的节点关联数据的处理方法相同,可参见上述本申请实施例公开的节点关联数据的处理方法中相应的部分,这里不再进行赘述。
本申请实施例提出的节点关联数据的处理装置中,通过采集单元301采集多个平台中的多个批量程序节点的平台内部关联信息,然后配置单元302针对每一个批量程序节点,对批量程序节点的跨调度平台的外部关联信息进行配置。其中,批量程序节点的跨调度平台的外部关联信息,包括:批量程序节点与跨调度平台的批量程序节点之间的关联关系类型、以及批量程序节点与跨调度平台的批量程序节点之间进行关联时所依赖的关联因子。处理单元303对每一个批量程序节点的平台内部关联信息进行标准化处理后,聚合单元304将每一个批量程序节点标准化处理后的平台内部关联信息以及对应的跨调度平台的外部关联信息聚合,得到每一个批量程序节点的聚合关联文件。由于聚合关联文件中既有平台内部的关联关系,也有批量程序节点的跨调度平台的外部关联关系,因此能够通过查看批量程序节点的聚合关联文件的方式,对批量程序节点的跨调度平台的关联关系、以及平台内部的关联关系进行查看分析,更容易精准定位出造成运行故障的批量程序节点。
本申请实施例还提供一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如上述各实施例所述节点关联数据的处理方法。
本申请实施例还提供一种设备,包括:一个或多个处理器,存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现如各实施例所述节点关联数据的处理方法。
专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种节点关联数据的处理方法,其特征在于,包括:
采集多个平台中的多个批量程序节点的平台内部关联信息;其中,所述批量程序节点的平台内部关联信息,包括:所述批量程序节点的标识信息、所述批量程序节点所在调度平台的标识信息、以及所述批量程序节点所在调度平台内的内部关联数据;
针对每一个所述批量程序节点,对所述批量程序节点的跨调度平台的外部关联信息进行配置;其中,所述批量程序节点的跨调度平台的外部关联信息,包括:所述批量程序节点与跨调度平台的前序节点之间的关联关系类型、以及所述批量程序节点与跨调度平台的前序节点之间进行关联时所依赖的关联因子;
对所述每一个批量程序节点的平台内部关联信息进行标准化处理;
针对每一个所述批量程序节点,将所述批量程序节点标准化处理后的平台内部关联信息以及对应的所述跨调度平台的外部关联信息进行聚合,得到所述批量程序节点的聚合关联文件;其中,所述批量程序节点的聚合关联文件用于对所述批量程序节点的跨调度平台的关联关系、以及平台内部的关联关系进行查看分析。
2.根据权利要求1所述的方法,其特征在于,所述批量程序节点的标识信息,包括:所述批量程序节点的标识、所述批量程序节点对应的批量作业计划的标识、以及所述批量程序节点对应的批量应用的标识;所述批量程序节点所在调度平台内的内部关联数据,包括:所述批量程序节点的前序节点的标识、所述前序节点对应的批量作业计划的标识、所述前序节点对应的批量应用的标识、所述批量程序节点的标识、所述批量程序节点对应的批量作业计划的标识、以及所述批量程序节点对应的批量应用的标识;其中,所述批量应用包括多个批量作业计划;所述批量作业计划包括多个批量程序节点。
3.根据权利要求2所述的方法,其特征在于,所述针对每一个所述批量程序节点,将所述批量程序节点标准化处理后的平台内部关联信息以及对应的所述跨调度平台的外部关联信息进行聚合,得到所述批量程序节点的聚合关联文件之后,还包括:
从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量应用,对与所述批量应用具有关联关系的批量应用进行聚簇,得到所述批量应用对应的应用簇;并针对每一个所述批量应用对应的应用簇,将所述应用簇的标识信息与所述应用簇对应的簇关联信息表对应存储;其中,所述应用簇对应的簇关联信息表,包括:所述应用簇中的每一个批量应用的标识,每一个用于说明所述应用簇中的两个批量应用的关联关系的边;所述批量应用对应的应用簇的簇关联信息表,用于查看分析所述批量应用的关联关系;
从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量作业计划,对与所述批量作业计划具有关联关系的批量作业计划进行聚簇,得到所述批量作业计划对应的作业计划簇;并针对每一个所述批量作业计划对应的作业计划簇,将所述作业计划簇的标识信息与所述作业计划簇对应的簇关联信息表对应存储;其中,所述作业计划簇对应的簇关联信息表,包括:所述作业计划簇中的每一个批量作业计划的标识、每一个用于说明所述作业计划簇中的两个批量作业计划的关联关系的边;所述批量作业计划对应的作业计划簇的簇关联信息表,用于查看分析所述批量作业计划的关联关系;
从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量程序节点,对于所述批量程序节点具有关联关系的批量程序节点进行聚簇,得到所述批量程序节点对应的节点簇;并针对每一个所述批量程序节点对应的节点簇,将所述节点簇的标识信息与所述节点簇对应的簇关联信息表对应存储;其中,所述节点簇对应的簇关联信息表,包括:所述节点簇中的每一个批量程序节点的标识、每一个用于说明所述节点簇中的两个批量程序节点的关联关系的边;所述批量程序节点对应的节点簇的簇关联信息表,用于查看分析所述批量程序节点的关联关系。
4.根据权利要求1所述的方法,其特征在于,所述批量程序节点与跨调度平台的前序节点之间的关联关系类型,包括:调度关联关系类型、文件关联关系类型、数据库关联关系类型、或者程序关联关系类型;所述调度关联关系类型为所述批量程序节点与对应的前序节点之间存在调度依赖时所属的关联关系类型;所述文件关联关系类型为所述批量程序节点与对应的前序节点之间存在文件依赖时所属的关联关系类型;所述数据库关联关系类型为所述批量程序节点与对应的前序节点之间存在数据库依赖时所属的关联关系类型;所述程序关联关系类型为所述批量程序节点与对应的前序节点之间存在程序逻辑依赖时所属的关联关系类型。
5.一种节点关联数据的处理装置,其特征在于,包括:
采集单元,用于采集多个平台中的多个批量程序节点的平台内部关联信息;其中,所述批量程序节点的平台内部关联信息,包括:所述批量程序节点的标识信息、所述批量程序节点所在调度平台的标识信息、以及所述批量程序节点所在调度平台内的内部关联数据;
配置单元,用于针对每一个所述批量程序节点,对所述批量程序节点的跨调度平台的外部关联信息进行配置;其中,所述批量程序节点的跨调度平台的外部关联信息,包括:所述批量程序节点与跨调度平台的前序节点之间的关联关系类型、以及所述批量程序节点与跨调度平台的前序节点之间进行关联时所依赖的关联因子;
处理单元,用于对所述每一个批量程序节点的平台内部关联信息进行标准化处理;
聚合单元,用于针对每一个所述批量程序节点,将所述批量程序节点标准化处理后的平台内部关联信息以及对应的所述跨调度平台的外部关联信息进行聚合,得到所述批量程序节点的聚合关联文件;其中,所述批量程序节点的聚合关联文件用于对所述批量程序节点的跨调度平台的关联关系、以及平台内部的关联关系进行查看分析。
6.根据权利要求5所述的装置,其特征在于,所述批量程序节点的标识信息,包括:所述批量程序节点的标识、所述批量程序节点对应的批量作业计划的标识、以及所述批量程序节点对应的批量应用的标识;所述批量程序节点所在调度平台内的内部关联数据,包括:所述批量程序节点的前序节点的标识、所述前序节点对应的批量作业计划的标识、所述前序节点对应的批量应用的标识、所述批量程序节点的标识、所述批量程序节点对应的批量作业计划的标识、以及所述批量程序节点对应的批量应用的标识;其中,所述批量应用包括多个批量作业计划;所述批量作业计划包括多个批量程序节点。
7.根据权利要求6所述的装置,其特征在于,还包括:
第一聚簇单元,用于从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量应用,对与所述批量应用具有关联关系的批量应用进行聚簇,得到所述批量应用对应的应用簇;并针对每一个所述批量应用对应的应用簇,将所述应用簇的标识信息与所述应用簇对应的簇关联信息表对应存储;其中,所述应用簇对应的簇关联信息表,包括:所述应用簇中的每一个批量应用的标识,每一个用于说明所述应用簇中的两个批量应用的关联关系的边;所述批量应用对应的应用簇的簇关联信息表,用于查看分析所述批量应用的关联关系;
第二聚簇单元,用于从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量作业计划,对与所述批量作业计划具有关联关系的批量作业计划进行聚簇,得到所述批量作业计划对应的作业计划簇;并针对每一个所述批量作业计划对应的作业计划簇,将所述作业计划簇的标识信息与所述作业计划簇对应的簇关联信息表对应存储;其中,所述作业计划簇对应的簇关联信息表,包括:所述作业计划簇中的每一个批量作业计划的标识、每一个用于说明所述作业计划簇中的两个批量作业计划的关联关系的边;所述批量作业计划对应的作业计划簇的簇关联信息表,用于查看分析所述批量作业计划的关联关系;
第三聚簇单元,用于从每一个所述批量程序节点的聚合关联文件中,针对每一个所述批量程序节点,对于所述批量程序节点具有关联关系的批量程序节点进行聚簇,得到所述批量程序节点对应的节点簇;并针对每一个所述批量程序节点对应的节点簇,将所述节点簇的标识信息与所述节点簇对应的簇关联信息表对应存储;其中,所述节点簇对应的簇关联信息表,包括:所述节点簇中的每一个批量程序节点的标识、每一个用于说明所述节点簇中的两个批量程序节点的关联关系的边;所述批量程序节点对应的节点簇的簇关联信息表,用于查看分析所述批量程序节点的关联关系。
8.根据权利要求5所述的装置,其特征在于,所述批量程序节点与跨调度平台的前序节点之间的关联关系类型,包括:调度关联关系类型、文件关联关系类型、数据库关联关系类型、或者程序关联关系类型;所述调度关联关系类型为所述批量程序节点与对应的前序节点之间存在调度依赖时所属的关联关系类型;所述文件关联关系类型为所述批量程序节点与对应的前序节点之间存在文件依赖时所属的关联关系类型;所述数据库关联关系类型为所述批量程序节点与对应的前序节点之间存在数据库依赖时所属的关联关系类型;所述程序关联关系类型为所述批量程序节点与对应的前序节点之间存在程序逻辑依赖时所属的关联关系类型。
9.一种计算机可读介质,其特征在于,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1至4中任一所述的方法。
10.一种设备,其特征在于,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至4中任一所述的方法。
CN202011084663.8A 2020-10-12 2020-10-12 节点关联数据的处理方法、装置、可读介质以及设备 Active CN112148459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011084663.8A CN112148459B (zh) 2020-10-12 2020-10-12 节点关联数据的处理方法、装置、可读介质以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011084663.8A CN112148459B (zh) 2020-10-12 2020-10-12 节点关联数据的处理方法、装置、可读介质以及设备

Publications (2)

Publication Number Publication Date
CN112148459A true CN112148459A (zh) 2020-12-29
CN112148459B CN112148459B (zh) 2023-11-03

Family

ID=73951427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011084663.8A Active CN112148459B (zh) 2020-10-12 2020-10-12 节点关联数据的处理方法、装置、可读介质以及设备

Country Status (1)

Country Link
CN (1) CN112148459B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090217272A1 (en) * 2008-02-26 2009-08-27 Vita Bortnikov Method and Computer Program Product for Batch Processing
CN104793994A (zh) * 2015-04-27 2015-07-22 中国农业银行股份有限公司 批量作业处理方法、装置及系统
CN107688605A (zh) * 2017-07-26 2018-02-13 平安科技(深圳)有限公司 跨平台数据匹配方法、装置、计算机设备和存储介质
US10310896B1 (en) * 2018-03-15 2019-06-04 Sas Institute Inc. Techniques for job flow processing
CN110413483A (zh) * 2019-07-30 2019-11-05 中国工商银行股份有限公司 批量作业数据的监控方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090217272A1 (en) * 2008-02-26 2009-08-27 Vita Bortnikov Method and Computer Program Product for Batch Processing
CN104793994A (zh) * 2015-04-27 2015-07-22 中国农业银行股份有限公司 批量作业处理方法、装置及系统
CN107688605A (zh) * 2017-07-26 2018-02-13 平安科技(深圳)有限公司 跨平台数据匹配方法、装置、计算机设备和存储介质
US10310896B1 (en) * 2018-03-15 2019-06-04 Sas Institute Inc. Techniques for job flow processing
CN110413483A (zh) * 2019-07-30 2019-11-05 中国工商银行股份有限公司 批量作业数据的监控方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张乾尊 等: "基于网络链接的应用系统关联性展示工具设计", 中国金融电脑, no. 12 *

Also Published As

Publication number Publication date
CN112148459B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN109947746B (zh) 一种基于etl流程的数据质量管控方法和系统
US8151248B1 (en) Method and system for software defect management
US8453014B2 (en) Method and computer for designing fault cause analysis rules in accordance with acquirable machine information
US8140565B2 (en) Autonomic information management system (IMS) mainframe database pointer error diagnostic data extraction
US8938421B2 (en) Method and a system for synchronizing data
US9356966B2 (en) System and method to provide management of test data at various lifecycle stages
US7870169B2 (en) Method for enabling traceability and recovery from errors during migration of software applications
CN102143008A (zh) 用于数据中心的诊断故障事件的方法及装置
US9164759B2 (en) Test management domain asset discovery and analysis
CN110489317B (zh) 基于工作流的云系统任务运行故障诊断方法与系统
CN112306877B (zh) 一种电力系统故障运维方法及系统
CN112711496A (zh) 日志信息全链路追踪方法、装置、计算机设备和存储介质
CN110674231A (zh) 一种面向数据湖的用户id集成方法和系统
CN111460232A (zh) 功能模块的查找方法、装置、终端和计算机可读存储介质
CN111061802B (zh) 一种电力数据管理处理方法、装置及存储介质
CN110471912B (zh) 一种员工属性信息校验方法、装置及终端设备
CN112068979B (zh) 一种业务故障确定方法及装置
CN106095511A (zh) 一种服务器升级方法和装置
CN112148459B (zh) 节点关联数据的处理方法、装置、可读介质以及设备
CN113157528A (zh) 一种基于大数据服务云的作业变动监控方法及装置
CN110442370B (zh) 一种测试用例查询方法及装置
CN112925856B (zh) 实体关系分析方法、装置、分析设备及计算机存储介质
CN117421337B (zh) 数据采集方法、装置、设备及计算机可读介质
CN114666231B (zh) 一种多云环境下可视化运维管理方法、系统及存储介质
CN117909392A (zh) 一种智能化数据资产盘点的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant