CN112817826A - 一种数据整合方法及装置 - Google Patents

一种数据整合方法及装置 Download PDF

Info

Publication number
CN112817826A
CN112817826A CN202110074882.6A CN202110074882A CN112817826A CN 112817826 A CN112817826 A CN 112817826A CN 202110074882 A CN202110074882 A CN 202110074882A CN 112817826 A CN112817826 A CN 112817826A
Authority
CN
China
Prior art keywords
link establishment
servers
information
server
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110074882.6A
Other languages
English (en)
Inventor
殷宪亮
徐景良
王文强
刘震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN202110074882.6A priority Critical patent/CN112817826A/zh
Publication of CN112817826A publication Critical patent/CN112817826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/328Computer systems status display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种数据整合方法及装置,该方法包括:获取从各服务器采集的服务器间的持久建链信息;所述持久建链信息用于指示服务器间存在超过设定时长的连接;获取配置管理数据库中的配置信息;所述配置信息记载有服务器上配置的系统信息;根据所述持久建链信息和所述配置信息,确定位于所述各服务器上的各系统之间的关联关系;根据所述各系统之间的关联关系生成系统关联图。上述方法可以用于系统关联图的自动化绘制,降低系统关联图的绘制周期和工作量,提高系统关联图的实时性。

Description

一种数据整合方法及装置
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据整合方法及装置。
背景技术
系统关联图可以反应各系统以及各系统和各系统的各子系统之间的拓扑关系,因此,用户可以根据系统关联图清晰的获取各系统和各系统的各子系统之间信息的传递关系,即,系统关联图是日常系统维护和故障分析,以及系统中相关信息变更的影响性分析的主要依据。
现有技术中,系统关联图的生成一般需要人工收集各系统和各系统的各子系统之间的访问信息,并需要对该访问信息中系统内部发生的访问信息和系统与外部系统发生的访问信息进行标记,以对该访问信息进行分析,以绘制系统关联图。因此,使得系统关联图的绘制周期长,工作量大,且若各系统和各系统的各子系统之间的访问信息发生变化时,不能实时对系统关联图进行更新。
因此,现在亟需一种数据整合方法及装置,用于系统关联图的自动化绘制,降低系统关联图的绘制周期和工作量,提高系统关联图的实时性。
发明内容
本发明实施例提供一种数据整合方法及装置,用于系统关联图的自动化绘制,降低系统关联图的绘制周期和工作量,提高系统关联图的实时性。
第一方面,本发明实施例提供一种数据整合方法,该方法包括:
获取从各服务器采集的服务器间的持久建链信息;所述持久建链信息用于指示服务器间存在超过设定时长的连接;获取配置管理数据库中的配置信息;所述配置信息记载有服务器上配置的系统信息;根据所述持久建链信息和所述配置信息,确定位于所述各服务器上的各系统之间的关联关系;根据所述各系统之间的关联关系生成系统关联图。
上述方法中,通过获取各服务器的持久建链信息,并获取配置管理数据库中的配置信息,以确定各系统之间的关联关系,生成系统关联图。如此,可以保证实时采集服务器中的监控信息,更新系统关联图中各系统和/或各子系统之间的关联关系。相比于现有技术中人工采集各系统和/或各子系统之间的访问信息等绘制系统关联图来说,本申请可以基于获取服务器上传的监控信息获取系统关联图,大大降低用户的工作量,且保证系统关联图的实时性和准确性;另外,现有技术中,当各系统和/或各子系统之间的信息产生较大变动导致各系统和/或各子系统之间的关联关系变动,则需要用户重新绘制系统关联图;而本申请可以动态更新系统关联图。
可选的,获取从各服务器采集的服务器间的持久建链信息,包括:确定在第一预设时长内第一服务器与第二服务器之间同一类型的建链信息的数量,所述第一服务器和所述第二服务器为任意两个服务器,根据所述数量确定为所述建链信息是否为持久建链信息。
上述方法中,确定在第一预设时长内第一服务器与第二服务器之间同一类型的建链信息的数量。则可以针对同一类型的建链信息发生的数量确定该类型的建链时长,进一步确定该类型的建链信息是否为持久建链信息。如此,可以过滤掉临时的建链信息,保证分析系统的关联关系时,所基于的建链信息的可靠性,增加系统关联图的准确性。
可选的,确定位于所述各服务器上的各系统之间的关联关系,包括:
根据所述配置信息确定与所述第一服务器具有相同的第一系统的服务器的第一数量,及与所述第二服务器具有相同的第二系统的服务器的第二数量;根据所述第一数量和所述第二数量确定所述第一系统与所述第二系统之间的持久建链理论值;确定所述第一预设时长内所述第一系统与所述第二系统之间的持久建链信息的类型数量;根据所述类型数量和所述持久建链理论值确定所述第一系统和所述第二系统是否存在关联关系。
上述方法中,获取配置信息确定与第一服务器具有相同的第一系统的服务器的第一数量,及与第二服务器具有相同的第二系统的服务器的第二数量;确定第一系统与第二系统之间的持久建链理论值;进一步,根据该持久建链理论值和第一系统与第二系统之间的持久建链信息的真实类型数量,确定第一系统和第二系统是否存在关联关系。如此,既考虑到第一系统和第二系统之间的配置对应的持久建链理论值,又考虑到第一系统和第二系统之间的持久建链真实值,使得获取的关联结果更加准确。
可选的,根据所述类型数量和所述持久建链理论值确定所述第一系统和所述第二系统是否存在关联关系,包括:
Figure BDA0002907233430000031
S=m*n
若所述β大于等于第一预设数值,则所述第一系统和所述第二系统存在关联关系;
若所述β小于所述第一预设数值,则所述第一系统和所述第二系统不存在关联关系;
其中,所述S为所述持久建链理论值,所述Z为所述类型数量,所述m为所述第一数量,所述n为所述第二数量。
上述方法中,通过获取类型数量和持久建链理论值的比值,也就是持久建链真实值和持久建链理论值的比值,可以根据该比值确定系统之间的关联关系。如此,可以直观获取真实建链和理论建链的关系,增加系统关联图的准确性。
可选的,还包括:针对任意两个服务器,若确定在第一预设时长内服务器间未采集到建链信息,则获取所述服务器间的历史建链信息;根据所述历史建链信息和所述配置信息,确定位于所述两个服务器上的系统之间的关联关系。
上述方法中,若针对任意两个服务器,未采集到建链信息,则可以获取该两个服务器之间的历史建链信息,进一步根据历史建链信息和配置信息补全系统关联图,保证系统关联图的准确性;且可以针对未采集到建链信息的服务器进行故障检测等操作,可以对系统进行运行维护。
可选的,根据所述历史建链信息和所述配置信息,确定位于所述两个服务器上的系统之间的关联关系,包括:
所述理论值获取公式如下:
Figure BDA0002907233430000041
V=i*j*k
若所述δ大于等于第二预设数值,则所述系统之间存在关联关系;
若所述δ小于所述第二预设数值,则所述系统之间不存在关联关系;
其中,所述V为所述系统之间的持久建链理论值;所述X为所述历史建链信息中历史持久建链信息的类型数量;λ为经验值,用于调节根据所述历史建链信息确定所述系统之间关联关系的误差;所述i为根据所述配置信息确定的与所述两个服务器中一个服务器,具有相同的第三系统的第三服务器的第三数量,所述j为根据所述配置信息确定的与所述两个服务器中另一个服务器,具有相同的第四系统的第四服务器的第四数量;所述k为第二预设时长和所述第一预设时长的比值,所述第二预设时长对应所述历史建链信息发生时间。
上述方法中,通过获取历史类型数量和持久建链理论值的比值,也就是历史持久建链真实值和持久建链理论值的比值,可以根据该比值确定系统之间的关联关系。如此,可以直观获取历史真实建链和理论建链的关系,增加系统关联图的准确性。
可选的,还包括:获取各系统的告警信息;将所述告警信息展示在所述系统关联图中。
上述方法中,可以获取告警信息,将告警信息展示在系统关联图中。如此,使得用户可以在系统关联图中直观获取告警信息与告警信息所在系统,并且可以根据该系统与各系统的关联关系确定告警信息的影响,便于对系统进行运行维护。
第二方面,本发明实施例提供一种数据整合装置,该装置包括:
获取模块,用于获取从各服务器采集的服务器间的持久建链信息;所述持久建链信息用于指示服务器间存在超过设定时长的连接;
所述获取模块还用于,获取配置管理数据库中的配置信息;所述配置信息记载有服务器上配置的系统信息;
处理模块,用于根据所述持久建链信息和所述配置信息,确定位于所述各服务器上的各系统之间的关联关系;
所述处理模块还用于,根据所述各系统之间的关联关系生成系统关联图。
第三方面,本申请实施例还提供一种计算设备,包括:存储器,用于存储程序;处理器,用于调用所述存储器中存储的程序,按照获得的程序执行如第一方面的各种可能的设计中所述的方法。
第四方面,本申请实施例还提供一种计算机可读非易失性存储介质,包括计算机可读程序,当计算机读取并执行所述计算机可读程序时,使得计算机执行如第一方面的各种可能的设计中所述的方法。
本申请的这些实现方式或其他实现方式在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据整合的架构示意图;
图2为本发明实施例提供的一种数据整合方法的流程示意图;
图3为本发明实施例提供的一种系统之间服务器的理想建链示意图;
图4为本发明实施例提供的一种数据整合方法的流程示意图;
图5为本发明实施例提供的一种系统关联图;
图6为本发明实施例提供的一种数据整合装置示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种数据整合的系统架构,服务器集群102中包含至少一个服务器,该至少一个服务器中可以安装监控程序,用于监控该服务器的告警信息和与其它服务器之间的建链信息等。服务器集群102中又可以包含多个服务器集群;其中,每个服务器集群用于支持一个系统的运作,且这每个服务器集群之间可以产生对应的建链信息;这每个服务器集群之中又可以进一步分为多个子服务器集群,用于运行该服务器集群上的系统对应的子系统。配置管理数据库103用于存储服务器集群102中的各服务器对应的系统、系统的功能、系统对应的数据库、系统的属性、各系统包含的子系统、系统与系统之间的关系、各服务器的内存等配置信息。数据整合系统用于根据服务器集群102上报的监控信息(该监控信息中可以包括持久建链信息、临时建链信息、服务器已占用内存和告警信息等),和配置管理数据库103中的配置信息确定服务器集群102中位于各服务器上的各系统之间的关联关系、各系统对应的数据库规模和容量等信息;并根据各系统之间的关联关系生成系统关联图。可以通过配置系统关联图的生成,将获取的告警信息、服务器占用内存、系统对应数据库容量等相关信息展示于系统关联图对应界面。
基于此,本申请实施例提供了一种数据整合方法的流程,如图2所示,包括:
步骤201、获取从各服务器采集的服务器间的持久建链信息;所述持久建链信息用于指示服务器间存在超过设定时长的连接;
此处,可以通过在各服务器中安装用于数据监控的相关程序采集服务器间的持久建链信息;例如,通过在服务器中部署agent,以采集服务器的持久建链信息和告警信息等,然后将采集到的建链数据进行保存,保存时间可以通过可用性的经验设置。
步骤202、获取配置管理数据库中的配置信息;所述配置信息记载有服务器上配置的系统信息;
此处,系统信息可以包括服务器所属的系统名称,该服务器上运行的该系统的功能模块名称、该服务器的已占用内存、该服务器对应的数据库等等。
步骤203、根据所述持久建链信息和所述配置信息,确定位于所述各服务器上的各系统之间的关联关系;
步骤204、根据所述各系统之间的关联关系生成系统关联图。
上述方法中,通过获取各服务器的持久建链信息,并获取配置管理数据库中的配置信息,以确定各系统之间的关联关系,生成系统关联图。如此,可以保证实时采集服务器中的监控信息,更新系统关联图中各系统和/或各子系统之间的关联关系。相比于现有技术中人工采集各系统和/或各子系统之间的访问信息等绘制系统关联图来说,本申请可以基于获取服务器上传的监控信息自动获取系统关联图,大大降低用户的工作量,且保证系统关联图的实时性和准确性;另外,现有技术中,当各系统和/或各子系统之间的信息产生较大变动导致各系统和/或各子系统之间的关联关系变动,则需要用户重新绘制系统关联图;而本申请可以动态更新系统关联图。
本申请实施例提供了一种持久建链信息获取方法,获取从各服务器采集的服务器间的持久建链信息,包括:确定在第一预设时长内第一服务器与第二服务器之间同一类型的建链信息的数量,所述第一服务器和所述第二服务器为任意两个服务器,根据所述数量确定为所述建链信息是否为持久建链信息。也就是说,可以根据历史经验设定一个数量阈值,若是第一服务器与第二服务器之间同一类型的建链信息超过预设的数量阈值,则可以认为该类型的建链信息为持久建链信息。例如,一种类型的建链信息在第一服务器与第二服务器之间传输1次可以保证第一服务器与第二服务器连接1s,而在一分钟内该类型的建链信息在第一服务器与第二服务器之间传输60次,则认为该类型的建链信息为持久建链信息。若一种类型的建链信息在第一服务器与第二服务器之间传输1次可以保证第一服务器与第二服务器连接10s,而在一分钟内该类型的建链信息在第一服务器与第二服务器之间传输1次,则可以认为该类型的建链信息为临时建链信息。还有一种可能,即为,可以直接通过建链信息的类型直接确定该建链信息是否为持久建链信息,例如,ping、telnet等命令,可以使得两个服务器临时建链,但这种临时建链并不代表两个系统之间存在关联关系,因此可以直接认为该建链信息为非持久建链信息的临时建链信息,可以将该临时建链信息滤除。其中,每种类型的建链信息对应的数量阈值可以不同。
本申请实施例提供了一种关联关系确定方法,确定位于所述各服务器上的各系统之间的关联关系,包括:根据所述配置信息确定与所述第一服务器具有相同的第一系统的服务器的第一数量,及与所述第二服务器具有相同的第二系统的服务器的第二数量;根据所述第一数量和所述第二数量确定所述第一系统与所述第二系统之间的持久建链理论值;确定所述第一预设时长内所述第一系统与所述第二系统之间的持久建链信息的类型数量;根据所述类型数量和所述持久建链理论值确定所述第一系统和所述第二系统是否存在关联关系。也就是说,若存在两个系统A、B,系统A对应包含的服务器为[a1,…,am],系统B对应包含的服务器为[b1,…,bn]。当获取到服务器a1-am中的任意一个第一服务器时,可以根据配置信息确定与该第一服务器具有相同的第一系统A的服务器的第一数量m;当获取到服务器b1-bn中的任意一个第二服务器时,根据配置信息确定与该第二服务器具有相同的第二系统B的服务器的第二数量n。如此,可以根据m和n确定系统A和系统B之间的持久建链理论值。进一步,根据第一预设时长内该系统A和系统B之间的所有持久建链信息中包含的持久建链信息的类型数量和该持久建链理论值确定系统A和系统B之间是否存在关联关系。
本申请实施例提供了一种关联关系确定方法,根据所述类型数量和所述持久建链理论值确定所述第一系统和所述第二系统是否存在关联关系,包括:
Figure BDA0002907233430000091
S=m*n
若所述β大于等于等于第一预设数值,则所述第一系统和所述第二系统存在关联关系;
若所述β小于所述第一预设数值,则所述第一系统和所述第二系统不存在关联关系;
其中,所述S为所述持久建链理论值,所述Z为所述类型数量,所述m为所述第一数量,所述n为所述第二数量。也就是说,基于上述示例中,如图3所示,在理想情况下,这里可以认为若服务器a1和服务器b1存在建链信息,那么a1和b2-bn也应该存在相同目的的建链信息。因此,可以认为系统A到系统B的持久建链理论值,为系统A到系统B的不重复建链数量:S=m*n。第一预设时长内系统A和系统B之间的持久建链信息的类型数量为Z,可以得出比例β=z/s,因此,当β大于等于一定值,可以认为系统A和系统B存在关联关系。如此,可以通过比值消除临时建链信息的影响,提高系统关联图的精度。
本申请实施例提供了一种关联关系确定方法,还包括:针对任意两个服务器,若确定在第一预设时长内服务器间未采集到建链信息,则获取所述服务器间的历史建链信息;根据所述历史建链信息和所述配置信息,确定位于所述两个服务器上的系统之间的关联关系。也就是说,针对任意两个服务器,该任意两个服务器中的一个或两个服务器出现故障,或者该任意两个服务器对应的系统出现故障,又或者该任意两个服务器没有发生任何建链信息,而导致没有采集到在第一预设时长内该任意两个服务器之间的建链信息,为防止系统关联图丢失该两个服务器上的系统之间的关联关系。这里可以通过获取该任意两个服务器在第二预设时长内产生的历史建链信息,根据历史建链信息和配置信息确定该两个服务器上的系统之间的关联关系。这里的历史建链信息可以是包括该两个服务器上的第三系统和第四系统对应的第三服务器和第四服务器之间的在第二预设时长内产生的所有的历史建链信息;根据该历史建链信息和配置信息确定该两个服务器上的第三系统和第四系统之间的关联关系。在一种可能的情况下,可以在获取第三服务器和/或第四服务器的告警信息时,获取第三服务器和第四服务器之间的在第二预设时长内产生的所有的历史建链信息,根据该历史建链信息和配置信息确定该两个服务器上的第三系统和第四系统之间的关联关系。在一种可能的情况下,确定未采集到在第一预设时长内该任意两个服务器之间的建链信息时,或者采集到在第一预设时长内该任意两个服务器的告警信息时。这里可以通过获取该任意两个服务器在第二预设时长内产生的历史建链信息,根据历史建链信息和配置信息确定该两个服务器上的系统之间的关联关系。这里对确定获取历史建链信息的方法具体不做限定。
本申请实施例提供了一种关联关系确定方法,根据所述历史建链信息和所述配置信息,确定位于所述两个服务器上的系统之间的关联关系,包括:
所述理论值获取公式如下:
Figure BDA0002907233430000101
V=i*j*k
若所述δ大于等于第二预设数值,则所述系统之间存在关联关系;
若所述δ小于所述第二预设数值,则所述系统之间不存在关联关系;
其中,所述X为所述历史建链信息中历史持久建链信息的类型数量;所述V为所述系统之间的持久建链理论值;所述i为根据所述配置信息确定的与所述两个服务器中一个服务器,具有相同的第三系统的服务器的第三数量,所述j为根据所述配置信息确定的与所述两个服务器中另一个服务器,具有相同的第四系统的服务器的第四数量;所述k为第二预设时长和所述第一预设时长的比值,所述第二预设时长对应所述历史建链信息发生时间;λ为经验值,用于调节根据所述历史建链信息确定所述系统之间关联关系的误差。也就是说,发生未采集到在第一预设时长内该任意两个服务器之间的建链信息,或者采集到在第一预设时长内该任意两个服务器的告警信息等情况时。获取该任意两个服务器对应的第三系统和第四系统的在第二预设时长内的历史建链信息;确定该历史建链信息中的历史持久建链信息的类型数量X。并根据配置信息确定的与该两个服务器中一个服务器,具有相同的第三系统的服务器的第三数量i;根据所述配置信息确定的与该两个服务器中另一个服务器,具有相同的第四系统的服务器的第四数量j;并确定第二预设时长和第一预设时长的比值k,例如,若第二预设时长为1h,第一预设时长为0.1h,则k为10;确定该系统之间的持久建链理论值V。进一步,根据持久建链理论值和真实历史持久建链信息的类型数量X确定该系统之间的关联关系。可以设置经验值λ,以消除由于根据历史建链信息确定系统之间关联关系的误差。即,当δ大于等于一定值,可以认为系统之间存在关联关系。如此,可以通过比值消除历史建链信息和历史临时建链信息的影响,提高系统关联图的精度。
基于上述流程,本申请实施例提供了一种数据整合方法的流程,如图4所示,包括:
步骤401、获取各服务器在第一预设时长内采集的服务器之间的包括建链信息和告警信息的监控信息。
步骤402、获取配置管理数据库中的配置信息。
步骤403、当发生所述告警信息和/或任意两个服务器之间未采集到建链信息的情况时,获取发生该告警信息的第三系统和其它第四系统之间,在第二预设时长内发生的历史建链信息;和/或该任意两个服务器对应的第三系统和第四系统之间的在第二预设时长内发生的历史建链信息。
步骤404、根据各服务器对应的系统之间的建链信息和第三系统和第四系统之间的历史建链信息的同一类型的建链信息的数量,确定各系统之间的持久建链信息和第三系统和第四系统之间的历史持久建链信息。
步骤405、根据该配置信息确定各服务器对应的系统之间的持久建链理论值和第三系统和第四系统之间的持久建链理论值。
步骤406、根据各系统之间的持久建链信息确定各系统之间的持久建链信息的类型数量;和根据第三系统和第四系统之间的历史持久建链信息确定第三系统和第四系统之间的历史持久建链信息的类型数量。
步骤407、分别根据各系统之间的持久建链信息的类型数量和持久建链理论值,以及第三系统和第四系统之间的历史持久建链信息的类型数量和持久建链理论值确定各系统之间的关联关系,以及第三系统和第四系统之间的关联关系。
步骤408、生成系统关联图。
这里需要说明的是,上述流程步骤并不唯一,如,步骤403可以发生也可以不发生,上述流程只是对本方案的一种解释说明,并不对本方案的具体实施做限制。此处,本申请实施例提供了一种系统关联图,如图5所示,可以通过特殊标记显示发生告警信息或未采集到建链信息的系统,例如图中标记阴影的系统B中的子系统1为故障系统。其中,还可以根据配置信息对应用的前端系统、后端系统、系统内部分层和系统功能进行标记,还可以将系统或系统对应的服务器等属性信息进行标记。以使得该系统关联图不止可以实时更新系统间的拓扑关系和系统的健康状况,还可以显示系统对应的配置等相关信息,实现系统的高可用性。这里的系统关联图只是一种简单的,用于展示系统间的关联关系的示例,并不对系统关联图的具体展示方式做限定。
基于同样的构思,本发明实施例提供一种数据整合装置,图6为本申请实施例提供的一种数据整合装置示意图,如图6示,包括:
获取模块601,用于获取从各服务器采集的服务器间的持久建链信息;所述持久建链信息用于指示服务器间存在超过设定时长的连接;
所述获取模块601还用于,获取配置管理数据库中的配置信息;所述配置信息记载有服务器上配置的系统信息;
处理模块602,用于根据所述持久建链信息和所述配置信息,确定位于所述各服务器上的各系统之间的关联关系;
所述处理模块602还用于,根据所述各系统之间的关联关系生成系统关联图。
可选的,所述获取模块601具体用于,确定在第一预设时长内第一服务器与第二服务器之间同一类型的建链信息的数量,所述第一服务器和所述第二服务器为任意两个服务器,根据所述数量确定为所述建链信息是否为持久建链信息。
可选的,所述处理模块602具体用于,根据所述配置信息确定与所述第一服务器具有相同的第一系统的服务器的第一数量,及与所述第二服务器具有相同的第二系统的服务器的第二数量;根据所述第一数量和所述第二数量确定所述第一系统与所述第二系统之间的持久建链理论值;确定所述第一预设时长内所述第一系统与所述第二系统之间的持久建链信息的类型数量;根据所述类型数量和所述持久建链理论值确定所述第一系统和所述第二系统是否存在关联关系。
可选的,根据所述类型数量和所述持久建链理论值确定所述第一系统和所述第二系统是否存在关联关系,包括:
Figure BDA0002907233430000131
S=m*n
若所述β大于等于第一预设数值,则所述第一系统和所述第二系统存在关联关系;若所述β小于所述第一预设数值,则所述第一系统和所述第二系统不存在关联关系;其中,所述S为所述持久建链理论值,所述Z为所述类型数量,所述m为所述第一数量,所述n为所述第二数量。
可选的,所述获取模块601还用于,针对任意两个服务器,若确定在第一预设时长内服务器间未采集到建链信息,则获取所述服务器间的历史建链信息;所述处理模块602还用于,根据所述历史建链信息和所述配置信息,确定位于所述两个服务器上的系统之间的关联关系。
可选的,根据所述历史建链信息和所述配置信息,确定位于所述两个服务器上的系统之间的关联关系,包括:所述理论值获取公式如下:
Figure BDA0002907233430000141
V=i*j*k
若所述δ大于等于第二预设数值,则所述系统之间存在关联关系;若所述δ小于所述第二预设数值,则所述系统之间不存在关联关系;其中,所述X为所述历史建链信息中历史持久建链信息的类型数量;所述V为所述系统之间的持久建链理论值;所述i为根据所述配置信息确定的与所述两个服务器中一个服务器,具有相同的第三系统的第三服务器的第三数量,所述j为根据所述配置信息确定的与所述两个服务器中另一个服务器,具有相同的第四系统的第四服务器的第四数量;所述k为第二预设时长和所述第一预设时长的比值,所述第二预设时长对应所述历史建链信息发生时间;λ为经验值,用于调节根据所述历史建链信息确定所述系统之间关联关系的误差。
可选的,所述获取模块601还用于,获取各系统的告警信息;所述处理模块602还用于,将所述告警信息展示在所述系统关联图中。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据整合方法,其特征在于,所述方法包括:
获取从各服务器采集的服务器间的持久建链信息;所述持久建链信息用于指示服务器间存在超过设定时长的连接;
获取配置管理数据库中的配置信息;所述配置信息记载有服务器上配置的系统信息;
根据所述持久建链信息和所述配置信息,确定位于所述各服务器上的各系统之间的关联关系;
根据所述各系统之间的关联关系生成系统关联图。
2.如权利要求1中所述的方法,其特征在于,获取从各服务器采集的服务器间的持久建链信息,包括:
确定在第一预设时长内第一服务器与第二服务器之间同一类型的建链信息的数量,所述第一服务器和所述第二服务器为任意两个服务器,
根据所述数量确定为所述建链信息是否为持久建链信息。
3.如权利要求2中所述的方法,其特征在于,确定位于所述各服务器上的各系统之间的关联关系,包括:
根据所述配置信息确定与所述第一服务器具有相同的第一系统的服务器的第一数量,及与所述第二服务器具有相同的第二系统的服务器的第二数量;
根据所述第一数量和所述第二数量确定所述第一系统与所述第二系统之间的持久建链理论值;
确定所述第一预设时长内所述第一系统与所述第二系统之间的持久建链信息的类型数量;
根据所述类型数量和所述持久建链理论值确定所述第一系统和所述第二系统是否存在关联关系。
4.如权利要求3中所述的方法,其特征在于,根据所述类型数量和所述持久建链理论值确定所述第一系统和所述第二系统是否存在关联关系,包括:
Figure FDA0002907233420000021
S=m*n
若所述β大于等于第一预设数值,则所述第一系统和所述第二系统存在关联关系;
若所述β小于所述第一预设数值,则所述第一系统和所述第二系统不存在关联关系;
其中,所述S为所述持久建链理论值,所述Z为所述类型数量,所述m为所述第一数量,所述n为所述第二数量。
5.如权利要求1-4中任一所述的方法,其特征在于,还包括:
针对任意两个服务器,若确定在第一预设时长内服务器间未采集到建链信息,则获取所述服务器间的历史建链信息;
根据所述历史建链信息和所述配置信息,确定位于所述两个服务器上的系统之间的关联关系。
6.如权利要求5中所述的方法,其特征在于,根据所述历史建链信息和所述配置信息,确定位于所述两个服务器上的系统之间的关联关系,包括:
所述理论值获取公式如下:
Figure FDA0002907233420000022
V=i*j*k
若所述δ大于等于第二预设数值,则所述系统之间存在关联关系;
若所述δ小于所述第二预设数值,则所述系统之间不存在关联关系;
其中,所述X为所述历史建链信息中历史持久建链信息的类型数量;所述V为所述系统之间的持久建链理论值;所述i为根据所述配置信息确定的与所述两个服务器中一个服务器,具有相同的第三系统的第三服务器的第三数量,所述j为根据所述配置信息确定的与所述两个服务器中另一个服务器,具有相同的第四系统的第四服务器的第四数量;所述k为第二预设时长和所述第一预设时长的比值,所述第二预设时长对应所述历史建链信息发生时间;λ为经验值,用于调节根据所述历史建链信息确定所述系统之间关联关系的误差。
7.如权利要求5中所述的方法,其特征在于,还包括:
获取各系统的告警信息;
将所述告警信息展示在所述系统关联图中。
8.一种数据整合装置,其特征在于,所述装置包括:
获取模块,用于获取从各服务器采集的服务器间的持久建链信息;所述持久建链信息用于指示服务器间存在超过设定时长的连接;
所述获取模块还用于,获取配置管理数据库中的配置信息;所述配置信息记载有服务器上配置的系统信息;
处理模块,用于根据所述持久建链信息和所述配置信息,确定位于所述各服务器上的各系统之间的关联关系;
所述处理模块还用于,根据所述各系统之间的关联关系生成系统关联图。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序,当所述程序在计算机上运行时,使得计算机实现执行权利要求1至7中任一项所述的方法。
10.一种计算机设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行如权利要求1至7任一权利要求所述的方法。
CN202110074882.6A 2021-01-20 2021-01-20 一种数据整合方法及装置 Pending CN112817826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110074882.6A CN112817826A (zh) 2021-01-20 2021-01-20 一种数据整合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110074882.6A CN112817826A (zh) 2021-01-20 2021-01-20 一种数据整合方法及装置

Publications (1)

Publication Number Publication Date
CN112817826A true CN112817826A (zh) 2021-05-18

Family

ID=75858399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110074882.6A Pending CN112817826A (zh) 2021-01-20 2021-01-20 一种数据整合方法及装置

Country Status (1)

Country Link
CN (1) CN112817826A (zh)

Similar Documents

Publication Publication Date Title
US9323651B2 (en) Bottleneck detector for executing applications
CN111077870A (zh) 一种基于流计算的opc数据实时采集监控智能系统及方法
US20120089384A1 (en) Historic storage of dual layer power grid connectivity model
CN101876938A (zh) 一种基于消息队列的应用软件响应时间测量方法
CN112307057A (zh) 数据的处理方法及装置、电子设备、计算机存储介质
EP4020218B1 (en) Analyzing large-scale data processing jobs
CN111314158B (zh) 大数据平台监控方法、装置及设备、介质
CN112463807A (zh) 一种数据处理方法、装置、服务器及存储介质
JP2008108154A (ja) 稼働性能情報の管理システム
CN110928750B (zh) 数据处理方法、装置及设备
CN109491882B (zh) 一种机箱数据处理方法、系统、设备机箱及可读存储介质
CN105446707B (zh) 一种数据转换方法
CN112817826A (zh) 一种数据整合方法及装置
US20130124670A1 (en) Systems and methods for recording data associated with the operation of foundation fieldbus devices
CN107908728B (zh) 一种在线监测数据历史值的储存及访问方法
CN116340095A (zh) 一种高效简洁的微服务监控告警方法及系统
CN112965791B (zh) 定时任务检测方法、装置、设备及存储介质
CN115269519A (zh) 一种日志检测方法、装置及电子设备
CN112115025B (zh) 一种分布式设备的能耗确定方法及装置
CN115225470A (zh) 一种业务异常监测方法、装置、电子设备及存储介质
CN113568769B (zh) 异常处理方法、装置、服务器及存储介质
CN110971483B (zh) 一种压力测试的方法、装置及计算机系统
CN109829016B (zh) 一种数据同步方法及装置
CN113220551A (zh) 指标趋势预测及预警方法、装置、电子设备及存储介质
CN117743473B (zh) 一种数据管理同步性能监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination