CN111913706A - 一种调度自动化系统拓扑构建方法、存储介质和计算设备 - Google Patents

Abstract

本发明公开了一种调度自动化系统拓扑构建方法、存储介质和计算设备，根据调度自动化系统软件拓扑实体对象的运行环境根目录及抽取规则生成对象实例列表文件；根据对象实例列表文件和调度自动化系统源码生成实体对象实例间的静态关联关系和对象实例标签；根据调度自动化系统服务调用链日志生成实体对象实例间的动态关联关系；将对象实例、对象实例标签及实例间静态和动态关联关系存储到图数据库中，形成调度自动化系统软件的拓扑。本发明通过自动提取可执行程序、动态库、配置文件实例以及实例间依赖关系，为动态生成调度自动化系统软件拓扑结构提供了可行方案，为后续系统在线故障诊断等运维场景提供数据基础。

Description

一种调度自动化系统拓扑构建方法、存储介质和计算设备

技术领域

本发明涉及电力系统自动化技术领域，具体涉及一种调度自动化系统拓扑构建方法、存储介质和计算设备。

背景技术

随着调度自动化系统架构的变化以及大量云计算、人工智能以及大数据分析等新技术的应用，使得系统各个应用关联性增强，应用软件结构复杂度加大，大大增加了在线系统模块升级以及故障排查难度，迫切需要提升系统软件拓扑的可观察性，全面准确地描述系统各模块的依赖关系，为系统升级、故障排查提供数据基础。

目前，调度自动化系统软件拓扑关系零散分布在系统源码、安装使用文档以及专家经验中，在系统升级以及故障诊断的场景下，通常是由运维人员或者研发人员根据系统运维经验自主分析形成临时系统局部软件拓扑关系，软件拓扑关系没有有效保存。

这种人工生成方式无法适应系统的不断变化，在时效性、完整性以及准确性上无法满足系统升级以及在线故障排除的需求。因此亟需提出一种调度自动化系统软件拓扑构建方法，实现系统软件拓扑的快速自动创建及有效存储。

发明内容

为解决现有技术中的不足，本发明提供一种基于图数据库的调度自动化系统拓扑构建方法和存储介质，解决了人工拓扑生成方式无法适应系统的不断变化，在时效性、完整性以及准确性上无法满足系统升级以及在线故障排除的需求问题。

为了实现上述目标，本发明采用如下技术方案：一种调度自动化系统拓扑构建方法、存储介质和计算设备，包括：

根据调度自动化系统软件拓扑实体对象的运行环境根目录及抽取规则生成对象实例列表文件；

根据对象实例列表文件和调度自动化系统源码生成实体对象实例间的静态关联关系和对象实例标签；

根据调度自动化系统服务调用链日志生成实体对象实例间的动态关联关系；

将对象实例、对象实例标签及实例间静态和动态关联关系存储到图数据库中，形成调度自动化系统软件的拓扑。

进一步的，调度自动化系统软件拓扑实体对象的对象类型包括可执行程序

对象、动态库对象以及配置文件对象。

进一步的，生成对象实例列表文件，包括步骤：

按照可执行程序、动态库、配置文件类型分别查找满足抽取规则的实体对象实例名称，并根据对象实例名称分别生成对应的对象实例列表文件。

进一步的，生成实体对象实例间的静态关联关系，包括步骤：

对动态库实例列表中的每个对象执行共享库依赖查看ldd命令，解析ldd命令执行结果，提取动态库间的link关系，以第一三元组<对象1,对象2,link>表示；

对可执行程序实例列表中的每个对象执行ldd命令，解析ldd命令执行结果，提取可执行程序和动态库的link关系，以第二三元组<对象1,对象2,link>表示；

根据调度自动化系统源码中可执行程序/动态库的查找规则，提取可执行程序/动态库源码路径、可执行程序名/动态库名、程序类型，以第三三元组<对象,程序类型,源码路径>表示；

对配置文件实例列表中的每个对象在源码中进行查找，提取使用该配置文件源码所在目录路径和配置文件名称，以第一二元组表示<配置文件,源码路径>；

根据第三三元组和第一二元组，通过源码路径进行匹配，生成可执行程序/动态库和配置文件的read关系，以第四三元组<对象1，对象2，read>表示；

最终生成link关系文件、read关系文件以及实例标签信息文件；实例标签信息文件中包括，实例标签信息，实例标签包括：对象名称和程序类型。

进一步的，程序类型获取方法为：

通过程序名称，判断程序是可执行程序还是动态库；

通过源码编译文件类型，判断程序是否是图形程序；

程序类型包括：可执行图形程序、可执行非图形程序、图形界面动态库、非图形界面动态库。

进一步的，生成实体对象实例间的动态关联关系，方法为：

根据给定的调度自动化系统服务调用链日志查询时间段，分析调用链日志抽取程序间call关系，以第五三元组<对象1,对象2,call>表示，并生成call关系文件。

进一步的，将对象实例、对象实例标签及实体间静态和动态关联关系存储到图数据库中，方法为：

使用图数据库存储调度自动化系统拓扑中的对象实例、对象实例标签和对象实例间关系，对象实例标签信息使用图数据库的属性表示，对象实例用图数据库的节点表示，对象实例间的关联关系用图数据库中的关系表示。

一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据前述的基于图数据库的调度自动化系统拓扑构建方法中的任一方法。

一种计算设备，包括，一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行前述的基于图数据库的调度自动化系统拓扑构建方法中的任一方法的指令。

本发明所达到的有益效果：本发明通过自动提取调度自动化系统可执行程序、动态库、配置文件实例以及实例间关联关系，为动态生成调度自动化系统软件拓扑提供构建方法，可适配多种不同版本调度自动化产品，减少手动维护软件拓扑工作量，提高软件拓扑与在运系统的匹配度和时效性，为后续系统升级以及故障诊断等运维场景提供准确的数据支持。

附图说明

图1是本发明的方法示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1：

一种基于图数据库的调度自动化系统软件拓扑构建方法，包括步骤：

步骤1，根据调度自动化系统软件拓扑实体对象的运行环境根目录及抽取规则生成对象实例列表文件；

调度自动化系统软件拓扑实体对象类型包括可执行程序对象、动态库对象以及配置文件对象，定义可执行程序对象类型为EXE、动态库对象类型为LIB、配置文件对象类型为CONFIG。

通过实例生成工具生成调度自动化系统软件拓扑实体对象类型实例，其过程包括：

1)指定调度自动化系统可执行程序运行路径以及可执行程序对象名称抽取规则，规则采用正则表达式描述；抽取规则为从路径中查找实体对象的规则；

2)指定调度自动化系统动态库统一存储路径以及动态库对象名称抽取规则，规则采用正则表达式描述；

3)指定调度自动化系统配置文件统一存储路径以及配置文件对象名称抽取规则，规则采用正则表达式描述；

4)按照可执行程序、动态库、配置文件顺序抽取满足抽取规则的实体对象实例名称，并根据对象实例名称分别生成对应的对象实例列表文件EXE_case.txt、LIB_case.txt、CONFIG_case.txt，对象实例列表文件存储在相同目录下，目录格式为topology_YYYYMMDDHHMMSS。

步骤2，根据对象实例列表文件和调度自动化系统源码生成实体对象实例间的静态关联关系和对象实例标签；

实体对象间静态关联关系包括动态库间的链接(link)关系，可执行程序与动态库间的link关系、动态库与配置文件间的读取(read)关系、可执行程序与配置文件间的read关系。

首先配置调度自动化系统源码根路径以及步骤1生成的实例列表文件存储目录；然后，指定在源码中可执行程序、动态库和配置文件的查找规则。静态关系生成工具按以下流程运行：

生成实体对象实例间的静态关联关系，具体步骤包括：

1)根据动态库实例列表，对列表中的每个对象执行共享库依赖查看命令(ldd命令)，解析ldd命令执行结果，提取动态库间的link关系，以三元组<对象1,对象2,link>表示。

2)根据可执行程序实例列表，对列表中的每个对象执行ldd命令，解析ldd命令执行结果，提取可执行程序和动态库的link关系，以三元组<对象1,对象2,link>表示。

3)根据调度自动化系统源码中可执行程序/动态库的查找规则，提取可执行程序/动态库源码路径、可执行程序名/动态库名、程序类型，以三元组<对象,程序类型,源码路径>表示。通过程序名称，可判断当前程序是可执行程序还是动态库；通过源码编译文件类型，可判断当前程序是否是图形程序。定义图形程序为GUI，非图形程序为NOGUI，即程序类型包括以下四类：可执行图形程序EXE-GUI，可执行非图形程序EXE-NOGUI、图形界面动态库LIB-GUI、非图形界面动态库LIB-NOGUI。

4)根据配置文件实例列表，对列表中的每个对象在源码中进行查找，提取使用该配置文件源码所在目录路径和配置文件名称，以二元组表示<配置文件,源码路径>；

5)根据上述步骤3)、4)的三元组和二元组，通过源码路径进行匹配，生成可执行程序/动态库和配置文件的read关系，以三元组<对象1，对象2，read>表示。

6)最终生成link关系文件link_relation.txt、read关系文件read_relation.txt以及实例标签信息文件case_type.txt。实例标签信息文件中包括，实例标签信息，实例标签包括：对象名称和程序类型，实例标签信息以三元组<对象,EXE(|LIB|CONFIG),GUI(|NOGUI|NONE)>表示。NONE表示配置文件无程序类型。

步骤3，根据调度自动化系统服务调用链日志生成实体对象实例间的动态关联关系；

实体对象间动态关联关系指可执行程序间的服务调用关系，即call关系。指定调度自动化系统服务调用链日志查询时间段，分析调用链日志抽取程序间call关系，以三元组<对象1,对象2,call>表示，并生成call关系文件call_realition.txt。

步骤4，将对象实例、对象实例标签及实体间静态和动态关联关系存储到图数据库中。

使用图数据库存储调度自动化系统软件拓扑中的对象实例、对象实例标签和对象实例间关系，对象实例标签信息使用图数据库的属性表示，对象实例用图数据库的节点表示，对象实例间的关联关系用图数据库中的关系表示。

最终支持根据实例名称搜索软件拓扑关系以及根据实例标签搜索软件拓扑关系功能。

实施例2：

一种基于图数据库的调度自动化系统软件拓扑构建方法，包括步骤：

步骤1，根据调度自动化系统软件拓扑实体对象的运行环境根目录及抽取规则生成对象实例列表文件；

在调度自动化系统源码服务器上，分别配置可执行程序、动态库、配置文件运行环境根目录，例如“/home/sx/bin”，“/home/sx/lib”,“/home/sx/conf”，配置正则匹配规则为空(表示所有，不过滤)，对根目录及其子目录进行文件扫描，提取满足正则表达式规则的可执行程序、动态库、配置文件对象，并按对象类型分别生成对象实例列表文件EXE_case.txt、LIB_case.txt、CONFIG_case.txt。在当前运行路径下创建目录topology_20200601105300，上述生成的对象实例列表文件均存储在该目录下。

步骤2，根据对象实例列表文件和调度自动化系统源码生成实体对象实例间的静态关联关系；

在调度自动化系统源码服务器上，配置源码根目录，例如“/home/sx/src”；配置配置文件查找命令，例如“find.-name"*.cpp"|xargs grep-n'@1'”、“find.-name"*.h"|xargs grep-n'@1'”，其中@1为配置文件名占位符；配置可执行程序/动态库查找命令，例如“find.-name"makefile"|xargs grep-n'^PROGRAM'”、“find.-name"*.pro"|xargs grep-n'^TEMPLATE'”、“find.-name"*.pro"|xargsgrep-n'^TARGET'”，其中从源码编译文件makefile中查找非图形程序，从源码编译文件*.pro文件中查找图形程序；

从实例对象列表中提取可执行程序及动态库，对每个对象执行ldd命令，解析ldd命令结果生成link关系三元组，例如<priv_server,libid_tool.so,link>、<libprivapi.so,libid_tool.so,link>；

从配置文件实例列表中提取配置文件，对每个配置文件执行配置文件查找命令，例如配置文件centers.ini则其查找命令为“find.-name"*.cpp"|xargs grep-n'centers.ini'”、“find.-name"*.h"|xargs grep-n'centers.ini'”，解析查找命令结果生成配置文件和源码目录对应关系,例如“centers.ini,/home/src/testPriv”；

执行可执行程序及动态库查找命令，解析查找结果生成可执行程序/动态库与源码目录对应关系以及程序类型，例如可执行程序结果testPriv,EXE-NOGUI,/home/sx/src/testPriv、动态库结果libLoginApi.so,LIB-GUI,/home/sx/src/LoginDialog；

通过源码路径进行匹配生成read关系三元组，例如根据/home/sx/src/testPriv路径匹配生成<testPriv,centers.ini,read>三元组。

整合上述中间过程数据，最终生成link关系文件link_relation.txt、read关系文件read_relation.txt以及实例标签信息文件case_type.txt。文件样例如下所示：

link_relation.txt样例：

priv_server,libid_tool.so,link

libprivapi.so,libid_tool.so,link

read_relation.txt样例：

testPriv,centers.ini,read

priv_server,system.ini,read

case_type.txt样例：

priv_server,EXE,NOGUI

lib_tool.so,LIB,NOGUI

centers.ini.CONGIG,NONE

libLoginApi.so,LIB,GUI

步骤3，根据调度自动化系统服务调用链日志生成实体对象实例间的动态关联关系；

通过动态关系生成工具，分析调度自动化系统服务调用链日志，导出可执行程序间服务调用关系，例如<dbi,priv_server,call>、<priv_server,rtdb_server,call>，生成call_relation.txt文件。

call_relation.txt样例：

dbi,priv_server,call

priv_server,rtdb_server,call

步骤4，将对象实例、对象实例标签及实体间静态和动态关联关系存储到图数据库中；

采用Neo4j图数据库存储实体对象实例及其之间关联关系。支持根据实例名称搜索软件拓扑关系以及根据实例标签搜索软件拓扑关系功能。

实施例3：

一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据前述的基于图数据库的调度自动化系统拓扑构建方法中的任一方法。

一种计算设备，包括，一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行前述的基于图数据库的调度自动化系统拓扑构建方法中的任一方法的指令。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于图数据库的调度自动化系统拓扑构建方法，其特征在于，包括：

根据调度自动化系统软件拓扑实体对象的运行环境根目录及抽取规则生成对象实例列表文件；

根据对象实例列表文件和调度自动化系统源码生成实体对象实例间的静态关联关系和对象实例标签；

根据调度自动化系统服务调用链日志生成实体对象实例间的动态关联关系；

将对象实例、对象实例标签及实例间静态和动态关联关系存储到图数据库中，形成调度自动化系统软件的拓扑。

2.根据权限要求1所述的一种基于图数据库的调度自动化系统拓扑构建方法，其特征在于：所述调度自动化系统软件拓扑实体对象的对象类型包括可执行程序对象、动态库对象以及配置文件对象。

3.根据权限要求2所述的一种基于图数据库的调度自动化系统拓扑构建方法，其特征在于：所述生成对象实例列表文件，包括步骤：

按照可执行程序、动态库、配置文件类型分别查找满足抽取规则的实体对象实例名称，并根据对象实例名称分别生成对应的对象实例列表文件。

4.根据权限要求3所述的一种基于图数据库的调度自动化系统拓扑构建方法，其特征在于：所述生成实体对象实例间的静态关联关系，包括步骤：

对动态库实例列表中的每个对象执行共享库依赖查看ldd命令，解析ldd命令执行结果，提取动态库间的link关系，以第一三元组<对象1,对象2,link>表示；

对可执行程序实例列表中的每个对象执行ldd命令，解析ldd命令执行结果，提取可执行程序和动态库的link关系，以第二三元组<对象1,对象2,link>表示；

根据调度自动化系统源码中可执行程序/动态库的查找规则，提取可执行程序/动态库源码路径、可执行程序名/动态库名、程序类型，以第三三元组<对象,程序类型,源码路径>表示；

对配置文件实例列表中的每个对象在源码中进行查找，提取使用该配置文件源码所在目录路径和配置文件名称，以第一二元组表示<配置文件,源码路径>；

根据第三三元组和第一二元组，通过源码路径进行匹配，生成可执行程序/动态库和配置文件的read关系，以第四三元组<对象1，对象2，read>表示；

最终生成link关系文件、read关系文件以及实例标签信息文件；实例标签信息文件中包括，实例标签信息，实例标签包括：对象名称和程序类型。

5.根据权限要求4所述的一种基于图数据库的调度自动化系统拓扑构建方法，其特征在于：所述程序类型的获取方法为：

通过程序名称，判断程序是可执行程序还是动态库；

通过源码编译文件类型，判断程序是否是图形程序；

程序类型包括：可执行图形程序、可执行非图形程序、图形界面动态库、非图形界面动态库。

6.根据权限要求1所述的一种基于图数据库的调度自动化系统拓扑构建方法，其特征在于：所述生成实体对象实例间的动态关联关系，方法为：

根据给定的调度自动化系统服务调用链日志查询时间段，分析调用链日志抽取程序间call关系，以第五三元组<对象1,对象2,call>表示，并生成call关系文件。

7.根据权限要求4所述的一种基于图数据库的调度自动化系统拓扑构建方法，其特征在于：所述将对象实例、对象实例标签及实体间静态和动态关联关系存储到图数据库中，方法为：

使用图数据库存储调度自动化系统拓扑中的对象实例、对象实例标签和对象实例间关系，对象实例标签信息使用图数据库的属性表示，对象实例用图数据库的节点表示，对象实例间的关联关系用图数据库中的关系表示。

8.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至7所述的基于图数据库的调度自动化系统拓扑构建方法中的任一方法。

9.一种计算设备，其特征在于：包括，一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至7所述的基于图数据库的调度自动化系统拓扑构建方法中的任一方法的指令。

Images