CN117614840A - 一种基于图数据库的拓扑管理系统、方法及计算设备 - Google Patents
一种基于图数据库的拓扑管理系统、方法及计算设备 Download PDFInfo
- Publication number
- CN117614840A CN117614840A CN202311544278.0A CN202311544278A CN117614840A CN 117614840 A CN117614840 A CN 117614840A CN 202311544278 A CN202311544278 A CN 202311544278A CN 117614840 A CN117614840 A CN 117614840A
- Authority
- CN
- China
- Prior art keywords
- data
- topology
- equipment
- module
- graph database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 106
- 238000004891 communication Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000007726 management method Methods 0.000 claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 24
- 230000008676 import Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000013523 data management Methods 0.000 claims description 4
- 230000010076 replication Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 30
- 230000008569 process Effects 0.000 abstract description 14
- 238000013499 data model Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 239000000835 fiber Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
- H04L41/0273—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using web services for network management, e.g. simple object access protocol [SOAP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明提供了一种基于图数据库的拓扑管理系统、方法及计算设备,其系统包括:通过HTTP协议相互通讯传输数据的总控处理模块、分控处理模块和客户端,其中,在相应的监控对象附近设置相应监控点且通过相应的分控处理模块将相应数据上传至总控处理模块。总控处理模块包括数据源采集模块、数据源预处理模块、图数据库和设备通信模块。本发明一方面减少了大量的人工现场操作,从而实现通信机房少人或无人值守。另一方面,本发明基于图数据库的数据模型,将动环网络以拓扑图的方式呈现,使得监控人员可以高效地实时监视通信机房的运行参数及查询网络拓扑信息,监测和处理故障,记录和处理相关数据等,从而实现通信机房的集中维护。
Description
技术领域
本申请涉及拓扑领域,特别地,涉及一种拓扑管理系统、方法及计算设备。
背景技术
拓扑管理用于构造并管理整个网络的拓扑结构,以反映网元的组网情况和运行状态。用户通过浏览拓扑视图可以实时直观地了解和监控整个网络的运行情况。拓扑管理的应用场景主要包括网络构建、网络监控以及网络维护。拓扑对象包括网元、连接和子网,其中网元和子网统称为拓扑节点。
现有的拓扑系统,所有的网元、关系都存储在关系型数据库中,一方面遇到相对比较大或是连接关系比较复杂的拓扑图,一个拓扑存在几百上千个网元时,渲染拓扑比较耗时间,查询效率比较低。并且,呈现的拓扑图无法表示拓扑方向,现有技术监控人员对现场动环设备连接情况、运行数据不直观清晰,不利于用户的直观了解。在一些使用场景中,需要对拓扑图上的关系进行方向标注,传统的存储方式不是很灵活。
现有的动环监控系统接入告警数据,分析模块对告警数据进行清洗分析,数据以流水窗列表的方式呈现在页面上,然后根据规则对告警进行派发工单,现场代维人员接收到工单后,根据工单内容,前往机房现场,对故障设备进行调试,操作,维修,完成后闭环工单。该方案需要大量代维人员前往现场进行设备操作,这样派遣大量人工前往现场对通信机房进行排班值守或巡视,耗费大量人力。同时监控人员对故障设备没有直观的概念,只能看到一行行的列表数据。
为此,亟需一种拓扑管理方案来解决现有技术之缺陷。
发明内容
本发明之目的在于提供一种基于图数据库的拓扑管理系统、方法及计算设备,基于图数据库的数据模型,通过建立节点及边之间的关系,进而实现复杂网络拓扑的表示,以高效地查询网络拓扑信息。
为实现上述目的,本发明提供一种基于图数据库的拓扑管理系统包括通过HTTP协议相互通讯传输数据的总控处理模块、分控处理模块和客户端,其中,在相应的监控对象附近设置相应监控点且通过相应的分控处理模块将相应数据上传至总控处理模块。其中,总控处理模块包括:数据源采集模块,用以实时传输及更新相应资源、告警和性能数据,且提供相应接口分别用来控制分控处理模块采集相应的资源、告警和性能数据。数据源预处理模块,用以将上报的资源数据标准化成图数据库模型及提供拓扑查询接口来输出告警和性能数据至相应客户端。图数据库,用以将告警和性能数据作为资源的附加属性,及将附加属性和图数据库模型入库。设备通信模块,用以将遥控和遥调信号通过相应接口下发给分控处理模块,且反馈相应遥控和遥调结果至相应客户端。
可选地,在根据本申请的系统中,分控处理模块包括:机房动环设备,用以实时采集资源、告警和性能数据。现场监控单元,用以发送数据传输请求至机房动环设备及实时接收相应机房动环设备上报的采集的资源、告警和性能数据。
可选地,在根据本申请的系统中,客户端包括展现层。展现层包括:动环拓扑呈现窗口,用以实时呈现告警和性能数据生成的动环拓扑监控数据。设备管理模块,用以收发相应遥控和遥调信号,进而对相应设备进行遥控和遥调操作。
可选地,在根据本申请的系统中,数据源预处理模块包括:图库创建模块,用以创建多组设备节点、机房节点和光缆节点。其中,设备节点对应电信网络中的各个通信设备,采用标签来表示相应设备的类型,节点属性来存储相应设备的详细信息。机房节点用以表示电信网络中的机房或数据中心。光缆节点用以表示电信网络中的光缆。节点关系创建模块,包括建立连接关系边和上下级关系边。其中,建立连接关系边包括确定建立连接的类型,及确定连接的带宽的大小。建立上下级关系边包括确定上下级关系的类型为父子关系或主从关系。动态更新模块,用以对数据来源进行数据解析和转换及将转换后的数据导入到图数据库中,并且,通过监听与拓扑相关的事件或者数据源的变化,实时地捕获变化并将其反映到图数据库中。拓扑查询模块,用以执行图数据库的路径查询,根据任意一个网元进行拓扑查看,检测拓扑中是否存在环路,以及进行性能分析。
可选地,在根据本申请的系统中,动态更新模块包括:数据来源导入模块,用以从设备配置文件、监控系统或数据库中读取相应拓扑服务的配置数据及数据库初始化导入信息,从而对源数据进行初始化。数据解析转换模块,用以使用编程语言和相应的解析库,对源数据进行解析和转换成相应图数据库的适配形式。数据后处理模块,用以通过使用驱动程序,将转换后的数据导入到图数据库中,其采用事务机制来确保数据的一致性和完整性。实时更新模块,通过监听与拓扑相关的事件或者数据源的变化,实时地捕获变化并将其反映到图数据库中。增量更新模块,对于大规模数据的更新,采用增量更新的方式,根据变化的数据进行部分更新。批量更新模块,对于定期更新的需求,通过定时任务或批处理作业来执行数据的批量更新。数据同步模块,若数据存在多个来源为确保数据在不同数据源之间的同步,则通过数据定时复制、数据自动同步或集成数据管理来实现。
可选地,在根据本申请的系统中,拓扑查询模块包括:路径查询模块,根据起始设备和目标设备之间的路径,找到所有可能的路径,其中,通过路径查询语言来执行图数据库的路径查询操作。邻居查询模块,通过查询设备的关联边得到设备及其相连的设备的数据,从而根据给定设备,找到与之直接相连的设备。环路检测模块,采用深度优先搜索或递归算法来检测拓扑中是否存在环路。性能分析模块,通过查询边的属性得到拓扑结构和连接属性的相关信息,及根据拓扑结构和连接属性来计算和分析网络性能。
本发明提供一种基于图数据库的拓扑管理方法,该方法用于即时通讯的云端服务器一侧,其包括:云端服务器实时接收客户端发送的遥控和遥调信号,并通过相应接口下发给相应监控点的机房动环设备,且反馈相应监控点的机房动环设备的遥控和遥调结果至相应客户端。云端服务器建立图数据库及建立节点关系。云端服务器向相应的监控对象周围的各个监控点的相应机房动环设备发送进行数据采集的请求,进而远程控制监控点的机房动环设备进行数据采集。其中,建立图数据库为创建多组设备节点、机房节点和光缆节点。建立节点关系为建立连接关系边和上下级关系边。其中,连接关系边为设备之间的连接关系,且上下级关系边为设备之间的上下级关系。云端服务器将上报的资源数据标准化成图数据库模型,输出告警和性能数据并开放拓扑路径查询接口,进而实时应答相应客户端的拓扑路径查询请求及传输相关数据。实时上报相应监控点的机房动环设备采集到的资源、告警和性能数据,将相应监控点的机房动环设备采集到的数据上传至云端服务器进行动态更新数据。其中,动态更新数据包括对数据来源进行数据解析和转换及将转换后的数据导入到图数据库中,且通过监听与拓扑相关的事件或者数据源的变化来实时地捕获变化并将其反映到相应图数据库中。并且,云端服务器将告警和性能数据作为资源的附加属性,及将附加属性和图数据库模型入库。
本发明提供一种基于图数据库的拓扑管理方法,该方法用于与云端服务器即时通讯的客户端一侧,其包括:客户端向云端服务器发送遥控和遥调信号,且实时监听云端服务器应答的相应监控点的机房动环设备的遥控和遥调结果。客户端向云端服务器发送数据库的拓扑路径查询请求,并实时监控云端服务器应答的相应数据,且实时显示拓扑路径查询结果。
本发明提供了一种计算设备,包括:一个或多个处理器存储器。一个或多个程序,其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序包括用于执行如上任一方法的指令。
本发明提供了一种存储一个或多个程序的计算机可读存储介质,一个或多个程序包括指令,指令在被计算设备执行时,使得计算设备执行如上的任一方法。
本发明提供的一种基于图数据库的拓扑管理系统和方法,一方面通过设备通信模块直接操作现场监控单元FSU来对现场动环设备进行遥控、遥调操作,进而大量减少人工现场操作,从而实现通信机房少人或无人值守。另一方面,本发明通过建立节点及边之间的关系,进而实现复杂网络拓扑的表示,以将动环网络以拓扑图的方式呈现,使得监控人员可以高效地实时监视通信机房的运行参数及查询网络拓扑信息,监测和处理故障,记录和处理相关数据等,从而实现通信机房的集中维护。
与现有技术相比,本发明的系统、方法及计算设备具有以下优点:
1、本发明采用图数据库技术,不仅能够高效地管理和查询复杂网络拓扑。而且,本发明采用图数据库技术存储拓扑数据(节点、关系、方向),有效解决现有技术中拓扑图呈现时无法表示方向的问题,并且,无需对拓扑图上的关系进行方向标注,存储方式灵活且易于维护。
2、本发明有效节省了人工成本,现有技术方案需要代维人员在接收到故障工单后,前往故障现场进行设备操作,维护,距离比较远的机房大概需要4-6个小时,1-2名代维人员一同前往处理,本发明设计由监控人员发现故障,直接在监控系统上进行操作指令,即可立即完成设备参数的调整,节省了大量的人工成本。
3、现有技术监控人员只是可以看到一个列表形式的故障流水窗,对通信机房的网络连接部署情况没有一个直观的概念。通过实施本发明的方案,则可以使得监控人员对现场机房的布局情况一目了解,故障点情况非常明确。
附图说明
图1为本发明的机房动环设备驱动配置流程示意图;
图2为本发明的告警数据上报流程示意图;
图3为本发明的监控点采集数据上报流程示意图;
图4为本发明的机房动环设备布设示意图;
图5为本发明的软件通信多层架构示意图;
图6为本发明的总控分控监控设备通信布控结构示意图;
图7为本发明的软硬件通信架构示意图;
图8为本发明的云端服务器一侧的详细工作流程示意图;
图9为本发明的客户端一侧的详细工作流程示意图;
图10为本发明的客户端一侧的渲染呈现示意图。
图11为本发明的上报的资源数据标准化成图数据库模型流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。在此记载的实施方式为本发明的特定的具体实施方式,用于说明本发明的构思,均是解释性和示例性的,不应解释为对本发明实施方式及本发明范围的限制。除在此记载的实施方式外,本领域技术人员还能够基于本申请权利要求书和说明书所公开的内容采用显而易见的其它技术方案,这些技术方案包括采用对在此记载的实施方式的做出任何显而易见的替换和修改的技术方案。
本说明书的附图为示意图,辅助说明本发明的构思,示意性地表示各部分的相互关系。
首先,对本发明涉及的术语含义解释如下:
现场监控单元:FSU一般设置在相应动环设备的机房里,用以上报和下发数据到相应动环设备。
监控中心-Supervision Center(SC):面向多FSU管理的高级监控层次,即监控中心,将FSU的信息汇集、处理、共享,监控管理人员可在此对系统进行集中管理、控制,对监控信息进行使用、处置。在上面的术语解释中也补充了SC的解释。
需要注意的是,在本发明的实施例中,上报动环设备配置数据等同于上报资源数据,上报告警信息等同于上报告警数据,上报监控点信息等同于上报性能数据。
设备ID:DeviceID是指唯一标识一个设备的字符串或数字,它可以用于区别不同的设备并进行跟踪和管理,是一个设备在网络空间中的身份证。
设备名称:DeviceName是指用户或运维人员给设备起的名称。
设备所在的站点名称:SiteName设备所在的站点名称是指相应设备所在的网络站点的标识。站点名称是指某个网络站点的标识,用于在众多站点中识别自己的网站。
设备所在的机房名称:RoomName是指用户或运维人员给设备所在的机房起的名称。
设备类型:DeviceType是指用户或运维人员给设备定义的类型。
设备子类型:DeviceSubType是指用户或运维人员给设备定义的子类型。
设备型号:Model通常指设备的出厂型号。
设备品牌:Brand通常指设备的出厂品牌。
额定容量:RatedCapacity通常指设备的出厂额定容量。
版本:Version通常指设备当前的硬件或软件版本。
启用时间:BeginRunTime是指用户或运维人员对相应设备的启用时间。
设备描述信息:DevDescribe是指用户或运维人员对相应设备添加的描述。
网元:拓扑结构最基本的组成单元,用来标识被管理的设备。根据是否被系统管理可以将网元分为物理网元和虚拟网元。
物理网元:系统所管理的实际网络中的设备。物理网元中存在一种特殊的网元叫容器网元,能够包含多个物理网元。容器网元与其所包含的物理网元有逻辑管理关系或物理挂接关系。
虚拟网元:系统管辖之外的或网络中非真实存在的设备。通过将现有虚拟网元添加到拓扑视图,可以更清楚地了解网络全貌。
连接:两个拓扑节点之间真实存在或标识逻辑关系的连线。连接分类包括物理连接和虚拟连接。
物理连接:表示两个拓扑节点之间真实存在且在系统管辖范围之内的连接。
虚拟连接:表示两个拓扑节点之间存在逻辑关系或在系统管辖范围之外的连接。
子网:按照某种划分方法(如按地域或按设备类型划分)将一个比较大的网络结构分解为几个相对较小的网络结构,以便用户进行网络管理。在拓扑管理中,把这种相对较小的网络结构称为子网。
物理拓扑:由网元、连接和子网组成的拓扑视图,真实地展现了全网的网络结构。
自定义拓扑:由网元和连接组成的跨子网拓扑视图,真实地展示了局部的网络结构。通常,运维人员可以根据自身需要,选择其管辖范围内的网元添加到自定义拓扑,以便看到这些网元的跨子网全貌,进行精确监控。
拓扑管理以拓扑视图的形式展示网络信息,帮助用户实时可视化监控整个网络,以便用户实时掌握整个网络的运行状况。同时支持用户将自己重点关注或管辖范围内的网元添加到自定义拓扑,以进行精确监控,实现高效运维。
拓扑管理的应用场景主要包括网络构建、网络监控以及网络维护。
在网络构建初期,用户可以通过合理规划网络的层次结构来创建对应的子网,以提高网络的可视性,方便管理。
在日常的网络监控场景下,用户可以根据拓扑视图中呈现的设备颜色快速了解该设备对应告警的紧急情况,并根据告警详情解决故障,提高运维效率。
在日常的网络维护场景下,当网络结构发生变化时,用户可以调整拓扑视图以匹配实际网络结构,方便及时查看与管理。
现有技术方案中,一方面,动环监控系统接入告警数据,分析模块对告警数据进行清洗分析,数据以流水窗列表的方式呈现在页面上,然后根据规则对告警进行派发工单,现场代维人员接收到工单后,根据工单内容,前往机房现场,对故障设备进行调试,操作,维修,完成后闭环工单。该方案需要大量代维人员对通信机房进行排班值守或巡视,耗费大量人力。同时监控人员对故障设备没有直观的概念,只能看到一行行的列表数据。
另一方面,现有技术方案中,所有的网元、关系都存储在关系型数据库中,遇到相对比较大或是连接关系比较复杂的拓扑图,一个拓扑存在几百上千个网元时,渲染拓扑比较耗时间,查询效率比较低。并且,呈现的拓扑图无法表示拓扑方向,不利于用户的直观了解。此外,在一些使用场景中,需要对拓扑图上的关系进行方向标注,传统的存储方式不是很灵活。
本发明的技术核心就是基于图数据库的数据模型,通过建立节点及边之间的关系,进而实现复杂网络拓扑的表示,以高效地查询网络拓扑信息。在动环拓扑监控系统中,当动力设备或环境出现故障时,监控系统自动派发工单,代维人员根据工单信息,前往现场对故障进行处理。本发明在发现机房中设备故障预警时,可以在系统上操作设备,对通信机房的动力设备及环境进行遥测、遥信、遥控和遥调,实时监视其运行参数,监测和处理故障,记录和处理相关数据,从而实现通信机房少人或无人值守和集中维护。遥控和遥调是配置设备的过程,比如监测到通信机房中温度过高,这时就可以通过遥调命令,对机房内空调进行温度的调节操作。
动环系统由于其天生的网络化特征可以快速的表示为图,而图数据库技术可帮助简化复杂动环监控系统的拓扑连接关系,图论中的许多研究成果还可以作为分析动环系统结构、寻求动环系统优化算法的重要理论依据和研究方法。
图5示出了本发明的软件通信多层架构,图7示出了本发明的软硬件通信架构。如图5和图7所示,本发明提供一种基于图数据库的拓扑管理系统包括通过HTTP协议相互通讯传输数据的总控处理模块、分控处理模块和客户端,其中,在相应的监控对象附近设置相应监控点且通过相应的分控处理模块将相应数据上传至总控处理模块。
本发明的总控处理模块包括数据源采集模块、数据源预处理模块、图数据库和设备通信模块。
本发明通过监控系统和现场监控单元(FSU)直接网络通信,操作现场动环设备,减少了人工前往现场的成本。本发明基于图数据库的研究成果,将动环设备、机房、运行参数等信息以拓扑图的的形式呈现出来,使得监控人员对现场分布情况更清晰明确。
数据源采集模块实时传输及更新相应资源、告警和性能数据,且提供相应接口分别用来控制分控处理模块采集相应的资源、告警和性能数据。
数据源预处理模块将上报的资源数据标准化成图数据库模型及提供拓扑查询接口来输出告警和性能数据至相应客户端。
具体而言,如图11所示,将上报的资源数据标准化成图数据库模型的示例如下:上报的资源数据可以是XML格式的,数据源预处理模块来解析XML数据,映射成模块内部的结构体,最终转化成类JSON格式的。这样保存到图数据库中的一条数据,一个典型的保存到图数据库中的网元资源模型描述如下:
(:Device{deviceName:"Switch1",ipAddress:"192.168.1.1",location:"Building A,3rd Floor",deviceType:"Switch",status:"Online"})
标准化实现的流程如图11所示:首先,应用层的数据源预处理模块通过HTTP协议通过网络收到现场监控单元上报的XML格式的资源数据。然后,数据源预处理模块解析相应XML数据且转换成模块内部结构。最后,应用层通过JDBC协议将模块内部结构数据入库到JSON图数据库中,且图数据库更新后同步在展示层进行数据呈现内容如拓扑图等窗口及页面的更新。如图10所示,动环拓扑图是一个拓扑展示的示意图,每个节点代表一个设备或机房,如这个设备或机房出现告警,就会根据严重级别、数量对节点进行渲染,以提醒监控人员。
本发明中,展示层的监控页面可以设置在客户端而处理运算APP是在服务器或者监控总中心,FSU和监控点的动环设备应该是在分控中心。客户是通过浏览器登陆站点来访问监控页面的,处理运算部署在服务器上面,FSU部署分散在地市各个基站里面,一般一个机房只有一个FSU,特别大的机房会存在2-3个FSU的情况。如图6所示,监控中心也就是动环监控系统的总控处理模块。总控处理模块通常可以设置在监控中心的云服务器上,该服务器可以直接和FSU通信。FSU即现场最小监控单元,它可以通过MOBUDS、TCP/IP、SNMP等协议与机房设备连接,采集设备上的信息,这些设备就是下图中的监控对象,如机房中的空调、配电柜、温湿度传感器等,监控对象下面的性能数据是指设备的一个个性能指标,如空调的A相电流、B相电流、C相电流、机油压差等指标。
图数据库将告警和性能数据作为资源的附加属性,及将附加属性和图数据库模型入库。
设备通信模块将遥控和遥调信号通过相应接口下发给分控处理模块,且反馈相应遥控和遥调结果至相应客户端。本发明的接口可以分为2种类型:FSU设备主动向监控中心上报数据,属于上行接口,例如采集接口等。监控中心发现异常,需要下发指令控制FSU设备,属于下行接口,如配置接口等。需要说明的是,本领域技术人员可以根据实际需要添加更多上下行接口,各实施例中的采集接口和配置接口只是用于说明本发明,而不构成对本发明的限制。FSU则控制所有机房动环设备,图4示出了本发明的机房动环设备布设层,其可以包括机房业务层、电源层、机房低压配电层和供电线层。
具体而言,本发明系统主要由3个模块组成,分别是数据源采集模块用于采集动环系统资源、告警、性能数据。数据源预处理模块用于根据拓扑模型将数据数据源数据转换为标准数据格式。设备通信模块用于监控系统和现场监控单元(FSU)直接网络通信,操作现场动环设备。本发明的系统需要搭建好基础环境(x86服务器或k8s容器),分别部署数据源采集模块、数据源预处理、设备通信模块。
系统外置或者内置通信连接图数据库,上述数据源采集模块、数据源预处理模块和设备通信模块模块均能够与图数据库进行通信,进行监控数据、状态、配置数据等信息的交互。
更进一步地,如图5和图7所示,展现层可以设置在客户端、监控中心或是分控中心等等,在需要的位置设置机房和监控点通过展现层和其它层的通信从云端获取采集的监控数据。展现层作为输入窗口向其它模块下发控制指令和采集数据,并且图数据库将相应控制数据及采集数据通过JDBC协议进行入库、出库及更新到展现层上。
图数据库可以设置在总控中心的云端服务器的存储介质上,也可以设置在云存储介质上。
应用层作为远程通信和采集的桥梁,负责将采集层的配置数据、控制数据和采集数据等全部入库到图数据库中,及下发相应的指令到采集层。应用层的设备通信模块通过相应的配置接口下发控制指令来远程控制相应的现场监控单元。应用层的数据源采集模块和数据源预处理模块则通过相应的采集接口自现场监控单元上报采集的数据。
采集层包括配置接口和采集接口。采集层通过配置接口来配置相应的现场监控单元及通过采集接口上报现场监控单元的数据到采集层。
如图1所示,数据源采集模块提供3个REST接口分别用来采集资源、告警、性能数据,现场监控单元FSU分别通过上报动环设备配置数据接口、上报告警信息接口、上报监控点数据接口上报资源、告警、性能数据。
如图2和3所示,数据源预处理模块将上报的资源数据标准化成图数据库模型,入库到图数据库中,并提供拓扑查询接口客户端呈现。
一个典型的资源模型描述如下:
如图2和3所示,数据源预处理模块将上报的告警数据和性能数据作为资源的附加属性维护到图数据库中,作为资源的附加属性,供给客户端页面上做一些醒目的渲染呈现。
一个典型的告警模型描述如下:
一个典型的性能模型描述如下:
/>
监控人员通过系统页面上的动环拓扑图页面渲染的告警和性能信息,实时监视其运行参数,并根据运行数据对设备进行遥控和遥调操作。设备通信模块将用户操作的遥控、遥调信号通过写监控点设置接口下发给现场监控单元FSU,并得到反馈。至此,一个需要由人工根据派发的工单信息去现场操作的工作,就由本发明的方法得到了解决,从而减少了人工成本。
一个典型的写监控点描述如下:
/>
如图6所示,在根据本发明的实施例中,分控处理模块可以包括机房动环设备和现场监控单元。机房动环设备实时采集资源、告警和性能数据。现场监控单元发送数据传输请求至机房动环设备及实时接收相应机房动环设备上报的采集的资源、告警和性能数据,以及将相应资源、告警和性能数据通过HTTP协议上报给总控中心的云服务器。
在根据本发明的实施例中,客户端包括展现层,其中,展现层包括:动环拓扑呈现窗口实时呈现告警和性能数据生成的动环拓扑监控数据。设备管理模块收发相应遥控和遥调信号,进而对相应设备进行遥控和遥调操作。
在根据本发明的实施例中,数据源预处理模块包括图库创建模块、节点关系创建模块、动态更新模块和拓扑查询模块。
图库创建模块创建多组设备节点、机房节点和光缆节点。图库创建模块通过创建设备节点、机房节点和光缆节点构建物理拓扑,进而创建相应子网、网元和连接。图库创建模块可支持自动发现网元。具体而言,图库创建模块可支持查看、修改和删除相应网元、子网和连接及调整拓扑对象的位置。
设备节点对应电信网络中的各个通信设备,采用标签来表示相应设备的类型,节点属性来存储相应设备的详细信息。设备节点包括:设备名称,设备的名称或标识符。IP地址,设备的IP地址。位置,设备的物理位置信息。设备类型,包括交换机或路由器。设备的状态,包括在线或离线。机房节点用以表示电信网络中的机房或数据中心。
机房节点包括:机柜数量,机房内的机柜数量。机房位置,机房的物理位置信息。光缆节点用以表示电信网络中的光缆。
光缆节点包括:光缆名称,光缆的名称或标识符。纤芯数量,光缆中的纤芯数量。
节点关系创建模块包括建立连接关系边和上下级关系边。建立连接关系边包括确定建立连接的类型,及确定连接的带宽的大小。建立上下级关系边包括确定上下级关系的类型为父子关系或主从关系。
具体而言,连接关系边表示设备之间的连接关系,上下级关系边表示设备之间的上下级关系。建立连接关系边包括确定建立连接的类型及确定连接的带宽的大小,其中,连接的类型包括光纤连接、网线连接。建立上下级关系边包括确定上下级关系的类型为父子关系或主从关系。
动态更新模块对数据来源进行数据解析和转换及将转换后的数据导入到图数据库中,并且,通过监听与拓扑相关的事件或者数据源的变化,实时地捕获变化并将其反映到图数据库中。动态更新模块解析相应子网、网元和连接且将子网、网元和连接添加到相应拓扑中,转换拓扑相应数据且导入到图数据库,以进行精确监控,实现高效运维,并且,当拓扑相应数据发生变化时自动更新相应数据,实现拓扑数据的精确同步展示。
拓扑查询模块执行图数据库的路径查询,根据任意一个网元进行拓扑查看,检测拓扑中是否存在环路,以及进行性能分析。
具体而言,拓扑查询模块可以支持实时将拓扑视图呈现给用户,方便用户高效监控所关注的拓扑对象和了解拓扑视图全貌。并且该模块能自动检测拓扑中是否存在环路,以及进行性能分析。若检测到拓扑中存在环路,系统可报警通知用户。用户可通过拓扑查询模块放大、缩小、锁定、解锁、移动查询到的拓扑视图,以及获取拓扑对象的最新状态、位置等属性及性能相关信息,且该模块对网络性能进行评估,可判断拓扑的网络性能是否满足用户预设要求,实现拓扑变化情况的可视化管理。
在根据本发明的实施例中,动态更新模块包括数据来源导入模块、数据解析转换模块、数据后处理模块、实时更新模块、增量更新模块、批量更新模块和数据同步模块。
数据来源导入模块从设备配置文件、监控系统或数据库中读取相应拓扑服务的配置数据及数据库初始化导入信息,从而对源数据进行初始化。优选地,数据来源导入模块可读取拓扑服务的配置文件和数据库初始化导入文件来获取配置数据及导入信息,且根据相应数据来源和其格式从而进行数据解析。
数据解析转换模块使用编程语言和相应的解析库,对源数据进行解析和转换成相应图数据库的适配形式。优选地,数据解析转换模块可以使用Java编程语言和相应的解析库,对源数据进行解析和转换成Neo4j图数据库的适配形式。
数据后处理模块通过使用驱动程序,将转换后的数据导入到图数据库中,其采用事务机制来确保数据的一致性和完整性。优选地,可以通过使用Neo4j的Java驱动程序,将转换后的数据导入到Neo4j图数据库中。可以使用事务机制来确保数据的一致性和完整性。
实时更新模块通过监听与拓扑相关的事件或者数据源的变化,实时地捕获变化并将其反映到图数据库中。优选地,当新增或删除设备时,实时地捕获变化并将其反映到Neo4j图数据库中,进而即时更新数据库中的节点和边。
对于大规模数据的更新,增量更新模块采用增量更新的方式,根据变化的数据进行部分更新,而不是重新导入整个数据集。
对于定期更新的需求,批量更新模块通过定时任务或批处理作业来执行数据的批量更新。优选地,批量更新模块可根据预定的时间间隔或者特定的更新策略,对数据进行更新操作。
若数据存在多个来源为确保数据在不同数据源之间的同步,则数据同步模块通过数据定时复制、数据自动同步或集成数据管理来实现。具体地,数据存在多个来源例如存在多个分支机构等。
在根据本发明的实施例中,拓扑查询模块包括路径查询模块、邻居查询模块、环路检测模块和性能分析模块。
路径查询模块根据起始设备和目标设备之间的路径,找到所有可能的路径,其中,通过Neo4j路径查询语言Cypher来执行图数据库的路径查询操作。
邻居查询模块通过查询设备的关联边得到设备及其相连的设备的数据,从而根据给定设备,找到与之直接相连的设备。具体地,邻居查询模块可以实现目前拓扑服务不具备的根据任意一个网元进行拓扑查看的功能。
环路检测模块采用深度优先搜索或递归算法来检测拓扑中是否存在环路。具体地,环路检测模块通过检测拓扑中是否存在环路,从而有效避免网络环路带来的问题。
性能分析模块通过查询边的属性得到拓扑结构和连接属性的相关信息,及根据拓扑结构和连接属性来计算和分析网络性能。具体地,性能分析模块根据拓扑结构和连接属性,进行性能分析,如计算网络吞吐量、延迟等。
本发明按照建立图数据库,包括节点、边和数据属性等信息。基于图数据库的数据模型,通过建立节点和边之间的关系,实现复杂网络拓扑的表示。通过网络协议或API接口,不断地采集网络拓扑信息,并实时更新到图数据库中。基于图数据库的查询语言,能够高效地查询网络拓扑信息。
更进一步地,在Neo4j图数据库中,可以使用标签(Label)来表示节点的类型,通过节点标签可以方便地索引和查询特定类型的节点。例如,为设备节点添加"Device"标签,为机房节点添加"Room"标签。
设备节点示例:
(:Device{deviceName:"Switch1",ipAddress:"192.168.1.1",location:"Building A,3rd Floor",deviceType:"Switch",status:"Online"})
(:Device{deviceName:"Router1",ipAddress:"192.168.0.1",location:"Building B,2nd Floor",deviceType:"Router",status:"Online"})
机房几点示例:
(:Room{rackCount:10,location:"Building A"})
(:Room{rackCount:5,location:"Building B"})
光缆节点示例:
(:Fiber{fiberName:"Fiber1",fiberCount:24})
(:Fiber{fiberName:"Fiber2",fiberCount:48})
连接关系示例:
(device1)-[:CONNECTED_TO{connectionType:"Fiber",bandwidth:1G}]->(device2)
(device3)-[:CONNECTED_TO{connectionType:"Ethernet",bandwidth:100Mbps}]->(device4)
上下级关系示例:
(device5)-[:PARENT_OF{relationshipType:"Master-Slave"}]->(device6)
(device7)-[:PARENT_OF{relationshipType:"Parent-Child"}]->(device8)
本发明提供的一种基于图数据库的拓扑管理系统,基于图数据库的数据模型,通过建立节点及边之间的关系,进而实现复杂网络拓扑的表示,以高效地查询网络拓扑信息。
与现有技术相比,本发明的系统具有以下优点:
1.采用图数据库技术,能够高效地管理和查询复杂网络拓扑,从而大幅提高了存储和查询效率。相比于传统的关系型数据库,图数据库更适合存储和查询具有复杂关系的数据。使用图数据库,可以快速查询节点之间的关系,提高查询效率和响应速度。
2.本发明采用图数据库技术存储拓扑数据(节点、关系、方向),能有效解决现有技术中拓扑图呈现时无法表示方向的问题。利用图数据库的灵活性,能够更加直观地展示网络拓扑结构,并进行相关的拓扑分析和表示,大幅提高了拓扑分析和表示能力,可方便地查找拓扑中的环路或瓶颈节点,进行路径优化和负载均衡等。并且,无需对拓扑图上的关系进行方向标注,存储方式灵活且易于维护。
与现有技术相比,本发明的系统具有以下优点:
1.灵活性高:图数据库具有很强的灵活性,支持数据结构和查询语言的灵活配置,能够适应不同领域和场景的实际应用需求。
2.数据处理能力强:图数据库能够处理大规模的网络拓扑结构,并支持高效的数据查询和更新,有效降低对系统资源的占用和开销。
3.可扩展性好:图数据库可以轻松地添加和移除节点和边,适用于企业级应用,且不受硬件设备的限制。
如图8所示,本发明提供一种基于图数据库的拓扑管理方法,该方法在用于即时通讯的云端服务器一侧时,其包括:
云端服务器实时接收客户端发送的遥控和遥调信号,并通过相应接口下发给相应监控点的机房动环设备,且反馈相应监控点的机房动环设备的遥控和遥调结果至相应客户端。
步骤S11:云端服务器建立图数据库及建立节点关系。
步骤S12:云端服务器向相应的监控对象周围的各个监控点的相应机房动环设备发送进行数据采集的请求,进而远程控制监控点的机房动环设备进行数据采集。其中,建立图数据库为创建多组设备节点、机房节点和光缆节点。建立节点关系为建立连接关系边和上下级关系边。其中,连接关系边为设备之间的连接关系,且上下级关系边为设备之间的上下级关系。
步骤S13:云端服务器将上报的资源数据标准化成图数据库模型,输出告警和性能数据并开放拓扑路径查询接口,进而实时应答相应客户端的拓扑路径查询请求及传输相关数据。实时应答相应客户端的拓扑路径查询请求具体包括:执行图数据库的路径查询,根据任意一个网元进行拓扑查看,检测拓扑中是否存在环路,以及进行性能分析。
具体而言,拓扑查询可以支持实时将拓扑视图呈现给用户,方便用户高效监控所关注的拓扑对象和了解拓扑视图全貌。并且拓扑查询可以支持自动检测拓扑中是否存在环路,以及进行性能分析。若检测到拓扑中存在环路,可报警通知用户。用户可放大、缩小、锁定、解锁、移动查询到的拓扑视图,以及获取拓扑对象的最新状态、位置等属性及性能相关信息,且对网络性能进行评估,可判断拓扑的网络性能是否满足用户预设要求,实现拓扑变化情况的可视化管理。
步骤S14:实时上报相应监控点的机房动环设备采集到的资源、告警和性能数据,将相应监控点的机房动环设备采集到的数据上传至云端服务器进行动态更新数据。其中,
步骤S15:动态更新数据包括对数据来源进行数据解析和转换及将转换后的数据导入到图数据库中,且通过监听与拓扑相关的事件或者数据源的变化来实时地捕获变化并将其反映到相应图数据库中。并且,云端服务器将告警和性能数据作为资源的附加属性,及将附加属性和图数据库模型入库。
本发明按照建立图数据库,包括节点、边和数据属性等信息。基于图数据库的数据模型,通过建立节点和边之间的关系,实现复杂网络拓扑的表示。通过网络协议或API接口,不断地采集网络拓扑信息,并实时更新到图数据库中。基于图数据库的查询语言,能够高效地查询网络拓扑信息。
更进一步地,在Neo4j图数据库中,可以使用标签(Label)来表示节点的类型,通过节点标签可以方便地索引和查询特定类型的节点。例如,为设备节点添加"Device"标签,为机房节点添加"Room"标签。
本发明的实施例进一步优选地,步骤S11的云端服务器建立图数据库及建立节点关系具体包括:
S111:建立图数据库,创建多组设备节点、机房节点和光缆节点。
设备节点对应电信网络中的各个通信设备,采用标签来表示相应设备的类型,节点属性来存储相应设备的详细信息。设备节点包括:设备名称,设备的名称或标识符。IP地址,设备的IP地址。位置,设备的物理位置信息。设备类型,包括交换机或路由器。设备的状态,包括在线或离线。机房节点用以表示电信网络中的机房或数据中心。机房节点包括:机柜数量,机房内的机柜数量。机房位置,机房的物理位置信息。光缆节点用以表示电信网络中的光缆。光缆节点包括:光缆名称,光缆的名称或标识符。纤芯数量,光缆中的纤芯数量。
S112:建立节点关系,建立连接关系边和上下级关系边。连接关系边表示设备之间的连接关系,上下级关系边表示设备之间的上下级关系。建立连接关系边包括确定建立连接的类型及确定连接的带宽的大小,其中,连接的类型包括光纤连接、网线连接。建立上下级关系边包括确定上下级关系的类型为父子关系或主从关系。
通过创建设备节点、机房节点和光缆节点构建物理拓扑,进而创建相应子网、网元和连接,从而建立节点关系。具体而言,本发明可支持查看、修改和删除相应网元、子网和连接及调整拓扑对象的位置,并且,可支持自动发现网元。
本发明的实施例进一步优选地,步骤S13的实时应答相应客户端的拓扑路径查询请求的拓扑查询具体包括:
路径查询,根据起始设备和目标设备之间的路径,找到所有可能的路径,其中,通过Neo4j路径查询语言Cypher来执行图数据库的路径查询操作。
邻居查询,通过查询设备的关联边得到设备及其相连的设备的数据,从而根据给定设备,找到与之直接相连的设备。具体地,可以实现目前拓扑服务不具备的根据任意一个网元进行拓扑查看的功能。
环路检测,采用深度优先搜索或递归算法来检测拓扑中是否存在环路。具体地,通过检测拓扑中是否存在环路,从而有效避免网络环路带来的问题。
性能分析,通过查询边的属性得到拓扑结构和连接属性的相关信息,及根据拓扑结构和连接属性来计算和分析网络性能。具体地,根据拓扑结构和连接属性,进行性能分析,如计算网络吞吐量、延迟等。
本发明的实施例进一步优选地,步骤S14的动态更新数据,具体包括:对数据来源进行数据解析和转换及将转换后的数据导入到图数据库中,并且,通过监听与拓扑相关的事件或者数据源的变化,实时地捕获变化并将其反映到图数据库中。动态更新数据可以支持解析相应子网、网元和连接且将子网、网元和连接添加到相应拓扑中,转换拓扑相应数据且导入到图数据库,以进行精确监控,实现高效运维,并且,当拓扑相应数据发生变化时自动更新相应数据,实现拓扑数据的精确同步展示。
本发明的实施例进一步优选地,步骤S14的动态更新数据包括:
数据来源导入,从设备配置文件、监控系统或数据库中读取相应拓扑服务的配置数据及数据库初始化导入信息,从而对源数据进行初始化。优选地,数据来源导入功能可读取拓扑服务的配置文件和数据库初始化导入文件来获取配置数据及导入信息,且根据相应数据来源和其格式从而进行数据解析。
数据解析转换,使用编程语言和相应的解析库,对源数据进行解析和转换成相应图数据库的适配形式。优选地,可以使用Java编程语言和相应的解析库,对源数据进行解析和转换成Neo4j图数据库的适配形式。
数据后处理,通过使用驱动程序,将转换后的数据导入到图数据库中,其采用事务机制来确保数据的一致性和完整性。优选地,可以通过使用Neo4j的Java驱动程序,将转换后的数据导入到Neo4j图数据库中。可以使用事务机制来确保数据的一致性和完整性。
实时更新,通过监听与拓扑相关的事件或者数据源的变化,实时地捕获变化并将其反映到图数据库中。优选地,当新增或删除设备时,实时地捕获变化并将其反映到Neo4j图数据库中,进而即时更新数据库中的节点和边。
增量更新,对于大规模数据的更新,采用增量更新的方式,根据变化的数据进行部分更新,而不是重新导入整个数据集。
批量更新,对于定期更新的需求,通过定时任务或批处理作业来执行数据的批量更新。优选地,可根据预定的时间间隔或者特定的更新策略,对数据进行更新操作。
数据同步,若数据存在多个来源为确保数据在不同数据源之间的同步,则通过数据定时复制、数据自动同步或集成数据管理来实现。具体地,数据存在多个来源例如存在多个分支机构等。
如图9所示,本发明提供一种基于图数据库的拓扑管理方法,该方法在用于与云端服务器即时通讯的客户端一侧时,其包括:
步骤S21:客户端向云端服务器发送遥控和遥调信号,且实时监听云端服务器应答的相应监控点的机房动环设备的遥控和遥调结果。
步骤S22:客户端向云端服务器发送数据库的拓扑路径查询请求,并实时监控云端服务器应答的相应数据,且实时显示拓扑路径查询结果。
本发明提供的一种基于图数据库的拓扑管理系统和方法,基于图数据库的数据模型,通过建立节点及边之间的关系,进而实现复杂网络拓扑的表示,以高效地查询网络拓扑信息。
与现有技术相比,本发明的方法具有以下优点:
1.采用图数据库技术,能够高效地管理和查询复杂网络拓扑,从而大幅提高了存储和查询效率。相比于传统的关系型数据库,图数据库更适合存储和查询具有复杂关系的数据。使用图数据库,可以快速查询节点之间的关系,提高查询效率和响应速度。
2.本发明采用图数据库技术存储拓扑数据(节点、关系、方向),能有效解决现有技术中拓扑图呈现时无法表示方向的问题。利用图数据库的灵活性,能够更加直观地展示网络拓扑结构,并进行相关的拓扑分析和表示,大幅提高了拓扑分析和表示能力,可方便地查找拓扑中的环路或瓶颈节点,进行路径优化和负载均衡等。并且,无需对拓扑图上的关系进行方向标注,存储方式灵活且易于维护。
与现有技术相比,本发明的方法具有以下优点:
1.灵活性高:图数据库具有很强的灵活性,支持数据结构和查询语言的灵活配置,能够适应不同领域和场景的实际应用需求。
2.数据处理能力强:图数据库能够处理大规模的网络拓扑结构,并支持高效的数据查询和更新,有效降低对系统资源的占用和开销。
3.可扩展性好:图数据库可以轻松地添加和移除节点和边,适用于企业级应用,且不受硬件设备的限制。
根据本申请的图数据库系统和方法可以通过一台或多台计算设备实现。需要说明的是,在实践中,用于实施本申请的计算设备可以是任意型号的设备,本申请对计算设备的具体硬件配置情况不做限制。计算设备优选地可以包括系统存储器和一个或者多个处理器。存储器总线可以用于在处理器和系统存储器之间的通信。
取决于期望的配置,处理器可以是任何类型的处理器,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器可以包括诸如一级高速缓存和二级高速缓存之类的一个或者多个级别的高速缓存、处理器核心和寄存器。处理器核心可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理(DSP)核心或者它们的任何组合。示例的存储器控制器可以与处理器一起使用,或者在一些实现中,存储器控制器可以是处理器的一个内部部分。
取决于期望的配置,系统存储器可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM,磁盘中的数据需要加载至物理内存中才能够被处理器读取。系统存储器可以包括操作系统、一个或者多个应用以及程序数据。在一些实施方式中,应用可以布置为在操作系统上由一个或多个处理器利用程序数据执行指令。操作系统例如可以是Linux、Windows等,其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用包括用于实现各种用户期望的功能的程序指令,应用例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境IDE、编译器等)等,但不限于此。当应用被安装到计算设备中时,可以向操作系统添加驱动模块。
在计算设备启动运行时,处理器会从系统存储器中读取操作系统的程序指令并执行。应用运行在操作系统之上,利用操作系统以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用时,应用会加载至系统存储器中,处理器从系统存储器中读取并执行应用的程序指令。
计算设备还包括储存设备,储存设备包括可移除储存器(例如CD、DVD、U盘、可移动硬盘等)和不可移除储存器(例如硬盘驱动器HDD等),可移除储存器和不可移除储存器均与储存接口总线连接。
计算设备还可以包括储存接口总线。储存接口总线实现了从储存设备(例如,可移除储存器和不可移除储存器)经由总线/接口控制器到基本配置的通信。操作系统、应用以及程序数据的至少一部分可以存储在可移除储存器和/或不可移除储存器上,并且在计算设备上电或者要执行应用时,经由储存接口总线而加载到系统存储器中,并由一个或者多个处理器来执行。
计算设备还可以包括有助于从各种接口设备(例如,输出设备、外设接口和通信设备)到基本配置经由总线/接口控制器的通信的接口总线。示例的输出设备包括图像处理单元和音频处理单元。它们可以被配置为有助于经由一个或者多个A/V端口与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口可以包括串行接口控制器和并行接口控制器,它们可以被配置为有助于经由一个或者多个I/O端口和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备可以包括网络控制器,其可以被布置为便于经由一个或者多个通信端口与一个或者多个其他计算设备通过网络通信链路的通信。
计算设备可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然,计算设备也可以实现为小尺寸便携(或者移动)电子设备的一部分,这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。甚至可以被实现为服务器,如文件服务器、数据库服务器、应用程序服务器和WEB服务器等。本申请的实施例对此均不做限制。
在根据本申请的实施例中,计算设备被配置为执行根据本申请的拓扑管理方法。其中,布置在操作系统上的应用中包含用于执行方法的多条程序指令,这些程序指令可以指示处理器执行本申请的方法。
此外,本申请的方法和装置的某些方面或部分可采取嵌入有形媒介,例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本申请的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本申请的非矢量数据的处理方法。
以示例而非限制的方式,可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中,算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本申请的示例一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的优选实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
本发明提供的一种基于图数据库的拓扑管理系统、方法及计算设备,一方面通过设备通信模块直接操作现场监控单元FSU来对现场动环设备进行遥控、遥调操作,进而大量减少人工现场操作,从而实现通信机房少人或无人值守。另一方面,本发明通过建立节点及边之间的关系,进而实现复杂网络拓扑的表示,以将动环网络以拓扑图的方式呈现,使得监控人员可以高效地实时监视通信机房的运行参数及查询网络拓扑信息,监测和处理故障,记录和处理相关数据等,从而实现通信机房的集中维护。
本发明的图数据库的拓扑管理系统、方法及计算设备采用图数据库的拓扑管理的方式来监控现场,其还具备以下优点:
1.灵活性高:图数据库具有很强的灵活性,支持数据结构和查询语言的灵活配置,能够适应不同领域和场景的实际应用需求。
2.数据处理能力强:图数据库能够处理大规模的网络拓扑结构,并支持高效的数据查询和更新,有效降低对系统资源的占用和开销。
3.可扩展性好:图数据库可以轻松地添加和移除节点和边,适用于企业级应用,且不受硬件设备的限制。
与现有技术相比,本发明的系统、方法及计算设备具有以下优点:
1、本发明采用图数据库技术,不仅能够高效地管理和查询复杂网络拓扑。而且,本发明采用图数据库技术存储拓扑数据(节点、关系、方向),有效解决现有技术中拓扑图呈现时无法表示方向的问题,并且,无需对拓扑图上的关系进行方向标注,存储方式灵活且易于维护。
2、本发明有效节省了人工成本,现有技术方案需要代维人员在接收到故障工单后,前往故障现场进行设备操作,维护,距离比较远的机房大概需要4-6个小时,1-2名代维人员一同前往处理,本发明设计由监控人员发现故障,直接在监控系统上进行操作指令,即可立即完成设备参数的调整,节省了大量的人工成本。
3、现有技术监控人员只是可以看到一个列表形式的故障流水窗,对通信机房的网络连接部署情况没有一个直观的概念。通过实施本发明的方案,则可以使得监控人员对现场机房的布局情况一目了解,故障点情况非常明确。
采用本发明后由监控人员在监控系统上点击操作时间几乎忽略不计,现有一个省一天的人工处理工单的总耗时约等于本发明的节约时长。本发明能较现有一个省一天的人工处理工单的总耗时节约1600小时,大幅提高了工单处理的效率。以某省联通的动环监控系统为例,一天的派单量在2000条左右,按10%的工单是遥控遥调类计算,每条工单处理需要2名代维人员,4个小时处理完成,即:2000*10%*2*4=1600小时。
以上对本发明的一种基于图数据库的拓扑管理系统、方法及计算设备的实施方式进行了说明,其目的在于解释本发明之精神。请注意,本领域技术人员可以在不脱离本发明的精神的情况下对上述各实施方式的特征进行修改和组合,因此,本发明并不限于上述各实施方式。对于本发明的一种基于图数据库的拓扑管理系统及计算设备的具体特征如形状、尺寸和位置可以上述披露的特征的作用进行具体设计,这些设计均是本领域技术人员能够实现的。而且,上述披露的各技术特征并不限于已披露的与其它特征的组合,本领域技术人员还可根据发明之目的进行各技术特征之间的其它组合,以实现本发明之目的为准。
Claims (10)
1.一种基于图数据库的拓扑管理系统,其特征在于,包括通过HTTP协议相互通讯传输数据的总控处理模块、分控处理模块和客户端,其中,在相应的监控对象附近设置相应监控点且通过相应的分控处理模块将相应数据上传至所述总控处理模块;其中,
所述总控处理模块包括:
数据源采集模块,用以实时传输及更新相应资源、告警和性能数据,且提供相应接口分别用来控制所述分控处理模块采集相应的资源、告警和性能数据;
数据源预处理模块,用以将上报的资源数据标准化成图数据库模型及提供拓扑查询接口来输出告警和性能数据至相应客户端;
图数据库,用以将告警和性能数据作为资源的附加属性,及将所述附加属性和所述图数据库模型入库;
设备通信模块,用以将遥控和遥调信号通过相应接口下发给所述分控处理模块,且反馈相应遥控和遥调结果至相应客户端。
2.根据权利要求1所述的系统,其特征在于,所述分控处理模块包括:
机房动环设备,用以实时采集资源、告警和性能数据;
现场监控单元,用以发送数据传输请求至所述机房动环设备及实时接收相应所述机房动环设备上报的采集的资源、告警和性能数据。
3.根据权利要求1所述的系统,其特征在于,所述客户端包括展现层,其中,展现层包括:
动环拓扑呈现窗口,用以实时呈现告警和性能数据生成的动环拓扑监控数据;
设备管理模块,用以收发相应遥控和遥调信号,进而对相应设备进行遥控和遥调操作。
4.根据权利要求1-3中任一项所述的系统,其特征在于,所述数据源预处理模块包括:
图库创建模块,用以创建多组设备节点、机房节点和光缆节点;其中,所述设备节点对应电信网络中的各个通信设备,采用标签来表示相应设备的类型,节点属性来存储相应设备的详细信息;所述机房节点用以表示电信网络中的机房或数据中心;所述光缆节点用以表示电信网络中的光缆;
节点关系创建模块,包括建立连接关系边和上下级关系边;其中,所述建立连接关系边包括确定建立连接的类型,及确定连接的带宽的大小;所述建立上下级关系边包括确定上下级关系的类型为父子关系或主从关系;
动态更新模块,用以对数据来源进行数据解析和转换及将转换后的数据导入到图数据库中,并且,通过监听与拓扑相关的事件或者数据源的变化,实时地捕获变化并将其反映到图数据库中;
拓扑查询模块,用以执行图数据库的路径查询,根据任意一个网元进行拓扑查看,检测拓扑中是否存在环路,以及进行性能分析。
5.根据权利要求4所述的系统,其特征在于,所述动态更新模块包括:
数据来源导入模块,用以从设备配置文件、监控系统或数据库中读取相应拓扑服务的配置数据及数据库初始化导入信息,从而对源数据进行初始化;
数据解析转换模块,用以使用编程语言和相应的解析库,对源数据进行解析和转换成相应图数据库的适配形式;
数据后处理模块,用以通过使用驱动程序,将转换后的数据导入到图数据库中,其采用事务机制来确保数据的一致性和完整性;
实时更新模块,通过监听与拓扑相关的事件或者数据源的变化,实时地捕获变化并将其反映到图数据库中;
增量更新模块,对于大规模数据的更新,采用增量更新的方式,根据变化的数据进行部分更新;
批量更新模块,对于定期更新的需求,通过定时任务或批处理作业来执行数据的批量更新;
数据同步模块,若数据存在多个来源为确保数据在不同数据源之间的同步,则通过数据定时复制、数据自动同步或集成数据管理来实现。
6.根据权利要求4所述的系统,其特征在于,所述拓扑查询模块包括:
路径查询模块,根据起始设备和目标设备之间的路径,找到所有可能的路径,其中,通过路径查询语言来执行图数据库的路径查询操作;
邻居查询模块,通过查询设备的关联边得到设备及其相连的设备的数据,从而根据给定设备,找到与之直接相连的设备;
环路检测模块,采用深度优先搜索或递归算法来检测拓扑中是否存在环路;
性能分析模块,通过查询边的属性得到拓扑结构和连接属性的相关信息,及根据拓扑结构和连接属性来计算和分析网络性能。
7.一种基于图数据库的拓扑管理方法,该方法用于即时通讯的云端服务器一侧,其特征在于,包括:
云端服务器实时接收客户端发送的遥控和遥调信号,并通过相应接口下发给相应监控点的机房动环设备,且反馈相应监控点的机房动环设备的遥控和遥调结果至相应客户端;
云端服务器建立图数据库及建立节点关系;云端服务器向相应的监控对象周围的各个监控点的相应机房动环设备发送进行数据采集的请求,进而远程控制监控点的机房动环设备进行数据采集;其中,
建立图数据库为创建多组设备节点、机房节点和光缆节点;建立节点关系为建立连接关系边和上下级关系边;其中,所述连接关系边为设备之间的连接关系,且所述上下级关系边为设备之间的上下级关系;
云端服务器将上报的资源数据标准化成图数据库模型,输出告警和性能数据并开放拓扑路径查询接口,进而实时应答相应客户端的拓扑路径查询请求及传输相关数据;
实时上报相应监控点的机房动环设备采集到的资源、告警和性能数据,将相应监控点的机房动环设备采集到的数据上传至云端服务器进行动态更新数据;其中,
动态更新数据包括对数据来源进行数据解析和转换及将转换后的数据导入到图数据库中,且通过监听与拓扑相关的事件或者数据源的变化来实时地捕获变化并将其反映到相应图数据库中;并且,
云端服务器将告警和性能数据作为资源的附加属性,及将所述附加属性和所述图数据库模型入库。
8.一种基于图数据库的拓扑管理方法,该方法用于与权利要求7所述的云端服务器即时通讯的客户端一侧,其特征在于,包括:
客户端向云端服务器发送遥控和遥调信号,且实时监听云端服务器应答的相应监控点的机房动环设备的遥控和遥调结果;
客户端向云端服务器发送数据库的拓扑路径查询请求,并实时监控云端服务器应答的相应数据,且实时显示拓扑路径查询结果。
9.一种计算设备,包括:
一个或多个处理器;
存储器;
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行如权利要求7-8中任一项所述方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令在被计算设备执行时,使得所述计算设备执行如权利要求7-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311544278.0A CN117614840A (zh) | 2023-11-17 | 2023-11-17 | 一种基于图数据库的拓扑管理系统、方法及计算设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311544278.0A CN117614840A (zh) | 2023-11-17 | 2023-11-17 | 一种基于图数据库的拓扑管理系统、方法及计算设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117614840A true CN117614840A (zh) | 2024-02-27 |
Family
ID=89948855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311544278.0A Pending CN117614840A (zh) | 2023-11-17 | 2023-11-17 | 一种基于图数据库的拓扑管理系统、方法及计算设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117614840A (zh) |
-
2023
- 2023-11-17 CN CN202311544278.0A patent/CN117614840A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105578659B (zh) | 一种应用于路灯照明领域的智能照明控制系统 | |
El Kaed et al. | Building management insights driven by a multi-system semantic representation approach | |
CN102449567B (zh) | 作为用于装备健康状况监视服务的基础的云计算 | |
CN100456687C (zh) | 网络故障实时相关性分析方法及系统 | |
CN109863484B (zh) | 用于分布式数据系统的语义搜索系统和方法 | |
US11916749B2 (en) | System and method for the collection, generation, and distribution of synthetic metrics for computer system management | |
US11526510B2 (en) | Semantic search method for a distributed data system with numerical time series data | |
CN112804362B (zh) | 分散数据微服务自动化运维体系 | |
EP1993016B1 (en) | Embedded historians with data aggregator | |
US20210182307A1 (en) | System and methods for autonomous monitoring and recovery in hybrid energy management | |
US20220035431A1 (en) | Method for auto-discovery and categorization of a plants power and energy smart devices for analytics | |
CN114745409A (zh) | 一种智慧物联网设备远程控制方法 | |
CN117614840A (zh) | 一种基于图数据库的拓扑管理系统、方法及计算设备 | |
Stack et al. | A service oriented architecture for building performance monitoring | |
CN101123533A (zh) | 通信电源运维管理装置 | |
WO2020264079A1 (en) | A system and method for the collection, generation, and distribution of synthetic metrics for computer system management | |
Li et al. | An AI Model Automatic Training and Deployment Platform Based on Cloud Edge Architecture for DC Energy-Saving | |
CN114244684A (zh) | 一种sdt一站式运营管理系统 | |
CN117112459A (zh) | 一种多设备分布式数据采集系统构建及方法 | |
CN116743586A (zh) | 基于机器学习的交换机命令解析性能管理方法及设备 | |
WO2023137074A1 (en) | Systems and methods for connecting, remotely monitoring and controlling entity systems | |
CN112631786A (zh) | 一种异构负载均衡设备的统一管理自动处理系统 | |
CN117094696A (zh) | 面向智能故障诊断的可伸缩微服务自适应弹性架构方法 | |
CN117010598A (zh) | 一种基于物联网的生产管理系统 | |
CN116431277A (zh) | 多地运维容器化方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |