CN117640432B - 分布式数据中心运维监控方法 - Google Patents
分布式数据中心运维监控方法 Download PDFInfo
- Publication number
- CN117640432B CN117640432B CN202410107291.8A CN202410107291A CN117640432B CN 117640432 B CN117640432 B CN 117640432B CN 202410107291 A CN202410107291 A CN 202410107291A CN 117640432 B CN117640432 B CN 117640432B
- Authority
- CN
- China
- Prior art keywords
- data
- data center
- monitoring
- headquarter
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012423 maintenance Methods 0.000 title claims abstract description 41
- 230000006870 function Effects 0.000 claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 238000005206 flow analysis Methods 0.000 claims abstract description 7
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 238000007726 management method Methods 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 10
- 230000001419 dependent effect Effects 0.000 claims description 9
- 238000013144 data compression Methods 0.000 claims description 7
- 238000012417 linear regression Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 3
- 238000013398 bayesian method Methods 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones
- H04L63/0218—Distributed architectures, e.g. distributed firewalls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
- H04L63/205—Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及运维监控技术领域，提供一种分布式数据中心运维监控方法，包括以下步骤：设计总部数据中心和分部数据中心之间的网络连接、安全策略、数据同步架构；部署集中式管理平台，对分布式数据中心网络设备的统一策略下发；部署可视化监控工具，对广域网链路和应用进行实时监控，利用仪表盘、报表和告警功能，快速发现和解决网络故障和应用问题；部署安全流量分析工具，对广域网的流量进行监控和分析；建立总部数据中心和分部数据中心之间的业务协同和数据协同机制；将非云化数据迁移到云平台上；本发明快速发现和解决网络故障和应用问题，及时发现潜在的安全威胁和异常流量，提高网络安全性；提高运维效率，并降低运维成本。
Description
技术领域
本发明涉及运维监控技术领域，具体地说是一种分布式数据中心运维监控方法。
背景技术
分布式数据中心是一种将计算、存储和网络资源分布在多个地理位置的数据中心系统；相对于传统的集中式数据中心，分布式数据中心提供更高的可靠性、可扩展性和可用性。
运维监控是指对分布式数据中心的各个组件和系统的运行状态进行实时监控和管理的过程；通过收集、分析和报告有关数据中心各方面的数据，帮助管理员及时发现和解决潜在问题。
中国专利申请号为：202210381950.8，分布式数据中心运维监控系统及方法，包括数据采集模块、数据中心模块、数据分析模块、系统运维模块和绩效评价模块；所述数据采集模块用于实现数据信息的采集、汇聚与存储，得到监控数据和异常数据，并将监控数据和异常数据输出至所述数据中心模块；所述数据中心模块用于接收所述数据采集模块传输的监控数据和异常数据，并将监控数据和异常数据传递至所述数据分析模块；所述数据分析模块用于对监控数据和异常数据进行分析，得出系统故障原因；上述发明通过设置数据采集模块，方便实现对数据信息的采集、汇聚与存储，通过设置数据分析模块，能够对监控数据和异常数据进行分析，得出系统故障原因，有利于进行运维工作；但在实际应用中，分布式数据中心还存在网络设备远程运维复杂，难以统一策略下发，广域网链路、应用难以可视化监控的问题；此外广域网安全流量无法可视分析，分支容易被潜伏威胁当做跳板攻击总部，且难以发现和处置；同时分布式数据中心业务和数据之间存在孤岛，导致其与总部数据中心无法形成业务协同和数据协同；并且非云化数据中心更新难，不能有效保障应用、漏洞、补丁的上传下达。
综上，因此本发明提供了一种分布式数据中心运维监控方法，以解决上述问题。
发明内容
本发明提供了一种分布式数据中心运维监控方法，通过建立一套统一的运维管理体系，以解决现有技术中分布式数据中心组网方式运维复杂、缺乏统一的业务支撑架构的问题。
本发明具体的技术方案如下：
一种分布式数据中心运维监控方法，所述分布式数据中心包括总部数据中心和分部数据中心，所述分布式数据中心运维监控方法包括以下步骤：
S1，设计总部数据中心和分部数据中心之间的网络连接、安全策略、数据同步架构，构建监控系统，使用正则表达式对原始日志数据进行预处理，提取原始日志数据中的时间戳，使用Spark大数据处理框架，以时间戳为主键，对日志数据进行数据合并，将总部数据中心和分部数据中心的日志数据合并为一个整体数据集，使用朴素贝叶斯法对数据集进行分类标记，使用Spark Streaming技术将新产生的日志数据实时接入到监控系统中，从而将总部数据中心和分部数据中心的日志数据进行统一标准化处理；
S2，在总部数据中心部署集中式管理平台，使用SPF算法，分析和匹配检索场景，在分部数据中心部署独立计算引擎和存储引擎，进行本地化计算分析和存储，降低各个数据中心的网络带宽消耗；
S3，在总部数据中心和分部数据中心设计分级存储方案，部署SSD磁盘和普通磁盘，使用热数据识别算法，根据访问频率、数据关联性和业务需求，识别高频率访问的重要数据，将重要数据保存在SSD磁盘中，使用数据迁移算法，将3天以上未检索的数据迁移至普通磁盘，使用数据压缩算法，将15天以上未检索的数据进行压缩处理，并部署可视化监控工具，对广域网链路和应用进行实时监控，利用仪表盘、报表和告警功能，发现和解决网络故障和应用问题；
S4，基于布隆过滤器，使用哈希函数对日志进行去重，使用线性归一化法对同类别日志进行归一化处理，使用K-means算法对日志进行分类，并部署安全流量分析工具，对广域网的流量进行监控和分析；
S5，建立总部数据中心和分部数据中心之间的业务协同和数据协同机制；
S6，将非云化数据迁移到云平台上。
优选的一种技术方案，步骤S1中，所述日志数据进行数据合并中，使用线性插值法，基于时间戳填补缺失的日志数据，线性插值公式如下：
;
式中，t1和t2是时间戳，y1和y2是对应的数据值，y(t)表示在时间戳t处的插值结果；
所述日志数据进行数据合并中，使用时间窗口法，将指定时间间隔内的日志数据，聚合为一个窗口，计算窗口内数据的方差和标准差，评估窗口内数据的波动性和分散程度，方差公式如下：
;
标准差公式如下：
;
式中，Xi是窗口内的数据点，i是窗口内数据点的顺序号，μ是窗口内数据的均值，N是窗口内数据点的数量；
所述日志数据进行数据合并中，使用线性回归法，基于日志数据拟合出线性模型，预测日志数据的趋势，线性回归公式如下：
;
式中，表示因变量，/>表示自变量，β0和β1表示回归系数，ε表示误差项；其中β0和β1使用最小二乘法计算估计值，估计值计算公式如下：
;
式中，是自变量的观测值，/>是因变量的观测值，/>_mean是自变量的均值，/>_mean是因变量的均值；
所述数据集进行分类标记中，朴素贝叶斯公式如下：
;
式中，P(c|x)表示给定特征e的情况下类别c的概率，P(x|c)表示在类别c下特征e的概率，P(c)表示类别c的先验概率，P(e)表示特征e的先验概率；
所述总部数据中心与分部数据中心之间的网络连接方式是专线连接，所述总部数据中心与分部数据中心之间部署IDS入侵检测系统和Packet Filtering Firewall包过滤防火墙，所述总部数据中心与分部数据中心之间的数据同步方式是实时同步；
所述总部数据中心与分部数据中心之间的网络连接使用IPSec加密协议，保护数据在传输过程中的安全性，防止被未经授权的人员访问或篡改；
所述总部数据中心和分部数据中心通过使用强密码、双因素认证、访问权限管理和身份验证来实确保只有授权人员能够访问敏感数据；所述总部数据中心和分部数据中心通过使用对称加密对敏感数据进行加密，确保即使在数据泄露的情况下，攻击者也无法轻易获取其中的内容；所述总部数据中心和分部数据中心定期更新和修复系统和应用程序中的漏洞，以确保数据不会因为已知的安全漏洞而受到攻击；所述总部数据中心和分部数据中心采取物理访问控制措施，以防止未经授权的人员接触到敏感数据。
优选的一种技术方案，步骤S2中，所述分部数据中心在部署独立计算引擎和存储引擎时，使用最短作业优先法，分析历史数据和趋势，对分部数据中心的计算进行规划，最短作业优先公式如下：
;
式中，执行时间是指作业需要的时间量，执行时间越短的作业优先级越高；
所述集中式管理平台是Cisco DNA Center管理平台，所述集中式管理平台部署在总部数据中心的节点上，所述节点包括物理服务器、虚拟机和云平台，所述总部数据中心和分部数据中心配置网络设备的管理接口与集中式管理平台进行连接，所述集中式管理平台配置设备采集功能，用于收集网络设备的状态、配置和性能信息；
Cisco DNA Center管理平台可以提供设备状态监控、配置管理、策略下发等功能，方便管理员对网络设备进行统一管理。
优选的一种技术方案，步骤S3中，所述访问频率计算公式如下：
;
所述数据关联性计算公式如下：
;
所述数据压缩算法是gzip压缩算法，所述可视化监控工具是Grafana可视化工具，所述可视化监控工具使用仪表盘和报表功能，创建可视化的监控界面，所述可视化监控工具配置的监控项包括链路的延迟、带宽利用率和应用的响应时间。
优选的一种技术方案，步骤S4中，所述布隆过滤器首先创建一个位数组，随后将日志数据的ID作为元素插入布隆过滤器中，利用哈希函数将元素映射到位数组中，再将新的日志数据的ID作为元素插入布隆过滤器，利用相同的哈希函数映射到位数组中，对两次映射的位置进行判断，确定两个日志数据的相似度；其中位数组大小计算公式如下：
;
式中，m表示位数组大小，n表示元素数量，表示误判率；
哈希函数个数计算公式如下：
;
式中，k表示哈希函数个数；
所述线性归一化公式如下：
;
式中，R是原始数据，R_min是该类别日志的最小值，R_max是该类别日志的最大值，R'是归一化后的数据；
所述K-means算法使用欧氏距离作为距离度量公式，公式如下：
;
式中，a和b表示两个数据点的特征向量，w表示特征的维度；
所述安全流量分析工具是Wireshark工具，所述安全流量分析工具设置有警报机制，对流量阈值进行警报。
优选的一种技术方案，步骤S5中，所述总部数据中心和分部数据中心之间设置有虚拟专用网络和文件传输协议，所述总部数据中心和分部数据中心之间设置有统一的数据命名规则、数据格式和数据字典，所述总部数据中心和分部数据中心部署Trello项目管理工具。
优选的一种技术方案，步骤S6中，所述云平台是Microsoft Azure平台，所述非云化数据使用Azure Migrate工具将数据迁移至云平台。
优选的一种技术方案，所述分布式数据中心运维监控方法设置有监控指标，所述监控指标包括硬件监控和系统监控，所述硬件监控包括CPU温度、物理磁盘、虚拟磁盘、主板温度和磁盘阵列，所述系统监控包括CPU整体使用百分比、用户态使用百分比、内核态使用百分比、每个CPU使用情况、磁盘读写吞吐、磁盘读写次数、内存使用量、内存剩余量、网卡出入带宽、网卡出入包量、TCP状态监控和进程端口监控。
优选的一种技术方案，所述总部数据中心和分部数据中心使用Logstash工具收集日志，所述总部数据中心和分部数据中心使用ElasticSearch工具存储和搜索日志，所述总部数据中心和分部数据中心使用Kibana工具展示日志。
与现有技术相比，本发明具有如下有益效果：
1.本发明设计总部数据中心和分部数据中心之间的网络连接和安全策略，确保数据的安全传输和访问控制，减少潜在的网络攻击和数据泄露风险；部署可视化监控工具可以对广域网链路和应用进行实时监控，通过仪表盘、报表和告警功能，快速发现和解决网络故障和应用问题，减少停机时间和业务中断；部署安全流量分析工具对广域网的流量进行监控和分析，及时发现潜在的安全威胁和异常流量，提高网络安全性。
2.本发明通过集中式管理平台，对分布式数据中心网络设备的统一策略下发，网络设备和应用更加集中地进行管理和监控，提高运维效率；将非云化数据迁移到云平台上，提高数据的可扩展性和可用性，并降低运维成本，云平台提供更多的自动化和弹性资源，提高整体的数据中心运维效率。
附图说明
图1是本发明整体结构示意图。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
如图1所示，本发明提供一种分布式数据中心运维监控方法，所述分布式数据中心包括总部数据中心和分部数据中心，所述分布式数据中心运维监控方法包括以下步骤：
S1，设计总部数据中心和分部数据中心之间的网络连接、安全策略、数据同步架构，构建监控系统，使用正则表达式对原始日志数据进行预处理，提取原始日志数据中的时间戳，使用Spark大数据处理框架，以时间戳为主键，对日志数据进行数据合并，将总部数据中心和分部数据中心的日志数据合并为一个整体数据集，使用朴素贝叶斯法对数据集进行分类标记，使用Spark Streaming技术将新产生的日志数据实时接入到监控系统中，从而将总部数据中心和分部数据中心的日志数据进行统一标准化处理；
S2，在总部数据中心部署集中式管理平台，使用SPF算法，分析和匹配检索场景，在分部数据中心部署独立计算引擎和存储引擎，进行本地化计算分析和存储，降低各个数据中心的网络带宽消耗；
S3，在总部数据中心和分部数据中心设计分级存储方案，部署SSD磁盘和普通磁盘，使用热数据识别算法，根据访问频率、数据关联性和业务需求，识别高频率访问的重要数据，将重要数据保存在SSD磁盘中，使用数据迁移算法，将3天以上未检索的数据迁移至普通磁盘，使用数据压缩算法，将15天以上未检索的数据进行压缩处理，并部署可视化监控工具，对广域网链路和应用进行实时监控，利用仪表盘、报表和告警功能，发现和解决网络故障和应用问题；
S4，基于布隆过滤器，使用哈希函数对日志进行去重，使用线性归一化法对同类别日志进行归一化处理，使用K-means算法对日志进行分类，并部署安全流量分析工具，对广域网的流量进行监控和分析；
S5，建立总部数据中心和分部数据中心之间的业务协同和数据协同机制；
S6，将非云化数据迁移到云平台上。
作为本发明的一种实施方式，步骤S1中，所述日志数据进行数据合并中，使用线性插值法，基于时间戳填补缺失的日志数据，线性插值公式如下：
;
式中，t1和t2是时间戳，y1和y2是对应的数据值，y(t)表示在时间戳t处的插值结果；
所述日志数据进行数据合并中，使用时间窗口法，将指定时间间隔内的日志数据，聚合为一个窗口，计算窗口内数据的方差和标准差，评估窗口内数据的波动性和分散程度，方差公式如下：
;
标准差公式如下：
;
式中，Xi是窗口内的数据点，i是窗口内数据点的顺序号，μ是窗口内数据的均值，N是窗口内数据点的数量；
所述日志数据进行数据合并中，使用线性回归法，基于日志数据拟合出线性模型，预测日志数据的趋势，线性回归公式如下：
;
式中，表示因变量，/>表示自变量，β0和β1表示回归系数，ε表示误差项；其中β0和β1使用最小二乘法计算估计值，估计值计算公式如下：
;
式中，是自变量的观测值，/>是因变量的观测值，/>_mean是自变量的均值，/>_mean是因变量的均值；
所述数据集进行分类标记中，朴素贝叶斯公式如下：
;
式中，P(c|x)表示给定特征e的情况下类别c的概率，P(x|c)表示在类别c下特征e的概率，P(c)表示类别c的先验概率，P(e)表示特征e的先验概率；
所述总部数据中心与分部数据中心之间的网络连接方式是专线连接，所述总部数据中心与分部数据中心之间部署IDS入侵检测系统和Packet Filtering Firewall包过滤防火墙，所述总部数据中心与分部数据中心之间的数据同步方式是实时同步；
所述总部数据中心与分部数据中心之间的网络连接使用IPSec加密协议，保护数据在传输过程中的安全性，防止被未经授权的人员访问或篡改；
所述总部数据中心和分部数据中心通过使用强密码、双因素认证、访问权限管理和身份验证来实确保只有授权人员能够访问敏感数据；所述总部数据中心和分部数据中心通过使用对称加密对敏感数据进行加密，确保即使在数据泄露的情况下，攻击者也无法轻易获取其中的内容；所述总部数据中心和分部数据中心定期更新和修复系统和应用程序中的漏洞，以确保数据不会因为已知的安全漏洞而受到攻击；所述总部数据中心和分部数据中心采取物理访问控制措施，以防止未经授权的人员接触到敏感数据。
作为本发明的一种实施方式，步骤S2中，所述分部数据中心在部署独立计算引擎和存储引擎时，使用最短作业优先法，分析历史数据和趋势，对分部数据中心的计算进行规划，最短作业优先公式如下：
;
式中，执行时间是指作业需要的时间量，执行时间越短的作业优先级越高；
所述集中式管理平台是Cisco DNA Center管理平台，所述集中式管理平台部署在总部数据中心的节点上，所述节点包括物理服务器、虚拟机和云平台，所述总部数据中心和分部数据中心配置网络设备的管理接口与集中式管理平台进行连接，所述集中式管理平台配置设备采集功能，用于收集网络设备的状态、配置和性能信息；
Cisco DNA Center管理平台可以提供设备状态监控、配置管理、策略下发等功能，方便管理员对网络设备进行统一管理。
作为本发明的一种实施方式，步骤S3中，所述访问频率计算公式如下：
;
所述数据关联性计算公式如下：
;
所述数据压缩算法是gzip压缩算法，所述可视化监控工具是Grafana可视化工具，所述可视化监控工具使用仪表盘和报表功能，创建可视化的监控界面，所述可视化监控工具配置的监控项包括链路的延迟、带宽利用率和应用的响应时间。
作为本发明的一种实施方式，步骤S4中，所述布隆过滤器首先创建一个位数组，随后将日志数据的ID作为元素插入布隆过滤器中，利用哈希函数将元素映射到位数组中，再将新的日志数据的ID作为元素插入布隆过滤器，利用相同的哈希函数映射到位数组中，对两次映射的位置进行判断，确定两个日志数据的相似度；其中位数组大小计算公式如下：
;
式中，m表示位数组大小，n表示元素数量，表示误判率；
哈希函数个数计算公式如下：
;
式中，k表示哈希函数个数；
所述线性归一化公式如下：
;
式中，R是原始数据，R_min是该类别日志的最小值，R_max是该类别日志的最大值，R'是归一化后的数据；
所述K-means算法使用欧氏距离作为距离度量公式，公式如下：
;
式中，a和b表示两个数据点的特征向量，w表示特征的维度；
所述安全流量分析工具是Wireshark工具，所述安全流量分析工具设置有警报机制，对流量阈值进行警报。
作为本发明的一种实施方式，步骤S5中，所述总部数据中心和分部数据中心之间设置有虚拟专用网络和文件传输协议，所述总部数据中心和分部数据中心之间设置有统一的数据命名规则、数据格式和数据字典，所述总部数据中心和分部数据中心部署Trello项目管理工具。
作为本发明的一种实施方式，步骤S6中，所述云平台是Microsoft Azure平台，所述非云化数据使用Azure Migrate工具将数据迁移至云平台。
作为本发明的一种实施方式，所述分布式数据中心运维监控方法设置有监控指标，所述监控指标包括硬件监控和系统监控，所述硬件监控包括CPU温度、物理磁盘、虚拟磁盘、主板温度和磁盘阵列，所述系统监控包括CPU整体使用百分比、用户态使用百分比、内核态使用百分比、每个CPU使用情况、磁盘读写吞吐、磁盘读写次数、内存使用量、内存剩余量、网卡出入带宽、网卡出入包量、TCP状态监控和进程端口监控。
作为本发明的一种实施方式，所述总部数据中心和分部数据中心使用Logstash工具收集日志，所述总部数据中心和分部数据中心使用ElasticSearch工具存储和搜索日志，所述总部数据中心和分部数据中心使用Kibana工具展示日志。
实施例1：
如图1所示，本实施例以某品牌服装公司分布式数据中心的运维监控为例；该品牌服装公司面临的问题的是多中心分布式场景下，操作系统、中间件、数据库、网络设备、应用系统、安全设备等日志数据量庞大、来源复杂。
该品牌服装公司首先构建监控系统，使用正则表达式对原始日志数据进行预处理，提取原始日志数据中的时间戳，使用Spark大数据处理框架，以时间戳为主键，对日志数据进行数据合并；其中使用公式（1）计算插值，基于时间戳填补缺失的日志数据；基于时间窗口法，使用公式（2）和公式（3）计算方差和标准差，评估日志数据的分布情况，从而判断各个数据中心的性能和异常情况；使用公式（4）拟合线性模型，并使用公式（5）和公式（6）估算回归系数，从而预测未来日志数据的趋势，对各个数据中心的运维情况进行优化。
最终该品牌服装公司将总部数据中心和分部数据中心的日志数据合并为一个整体数据集；随后使用公式（7）对数据集进行分类标记，使用Spark Streaming技术将新产生的日志数据实时接入到监控系统中，从而将总部数据中和分部数据中心的日志数据进行统一标准化处理，解决了分布式数据中心的日志数据量庞大、来源复杂的问题。
实施例2：
如图1所示，本实施例中，该品牌服装公司面临的问题是多个数据中心互联通信时，采用企业专线网络的带宽有限、资源昂贵，跨中心专网进行集中汇聚、计算、查询将造成大量网络资源浪费。
该品牌服装公司首先在总部数据中心部署Cisco DNA Center管理平台，收集网络设备的状态、配置和性能信息，并使用SPF算法，将各个数据中心的网络图像表示，图中节点表示设备，边表示设备之间的连接关系，计算网络中各个节点之间的最短路径，将网络中的数据流优化分配到最短路径上，以最大程度地提高数据传输效率和系统性能。
同时基于最短路径，分析和匹配检索场景，确定检索场景聚焦单个中心或跨多个中心；并在分部数据中心，使用最短作业优先法，部署独立计算引擎和存储引擎，进行本地化计算分析和存储，充分利用分部数据中心的计算资源。
该品牌服装公司经过上述优化，使分部数据中心能够在本地进行独立计算，有效减少了非必要场景下，跨中心数据传输产生的带宽浪费，为该品牌公司节省了大量带宽费用，计算公式如下：
;
式中，单位带宽费率为每个单位带宽的费用。
实施例3：
如图1所示，本实施例中，该品牌服装公司面临的问题是多中心分布场景下，海量的日志数据带来巨大的存储成本。
该品牌服装公司首先在总部数据中心和分部数据中心设计分级存储方案，部署SSD磁盘和普通磁盘；随后使用热数据识别算法，根据访问频率、数据关联性和业务需求，识别高频率访问的重要数据，将重要数据保存在SSD磁盘中，这使得重要数据能够得到最好的保存效果。
对于3天以上未检索的数据，将数据视为非重要数据，使用数据迁移算法，迁移至普通磁盘，在普通磁盘中保存15天；对于15天以上未检索的数据，使用gzip数据压缩算法，将数据压缩为原先的12分之1，进一步减少数据的存储成本，并继续保存1年，从而达到数据监管需求。
该品牌服装公司经过上述优化，极大减少了海量日志数据的存储成本，计算公式如下：
;
式中，单位存储成本为每个单位数据的存储费用。
实施例4：
如图1所示，本实施例中，该品牌服装公司面临的问题是海量的日志事件会产生的海量告警事件，大量消耗该品牌服装公司的运维资源。
该品牌服装公司首先基于布隆过滤器，首先创建一个位数组，使用公式（8）计算确定位数组的大小，并使用公式（9）计算哈希函数的个数；此时位数组中所有位置的数值均为0。
随后将日志数据的ID作为元素插入布隆过滤器中，利用哈希函数将元素映射到位数组中，该元素映射的位置数值变为1；再将新的日志数据的ID作为元素插入布隆过滤器，利用相同的哈希函数映射到位数组中，判断该元素映射的位置数值是否为1，从而确定两个日志数据的相似度。
进一步，使用公式（10）对同类别日志进行归一化处理，将数据按照线性比例转换到0到1的区间内，使得数据在同一量纲下进行比较，提高数据处理的效果。
此外，该品牌服装公司使用K-means算法，从数据集中选择K个随机的数据点作为初始的聚类中心，使用公式（11）计算数据集中每个数据点与每个聚类中心之间的距离，并将每个数据点分配到距离最近的簇中，形成新的簇，再根据分配到每个簇的数据点，重新计算每个簇的聚类中心，进行多次迭代计算后，输出最终的簇分配结果，每个簇即代表一类日志；该品牌服装公司使用上述方法，能够快速对海量的日志事件进行分类，减少重复日志对运维资源的消耗，提高应对日志事件的运维效率。
本发明的实施方式是为了示例和描述起见而给出的，尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种分布式数据中心运维监控方法，其特征在于，所述分布式数据中心包括总部数据中心和分部数据中心，所述分布式数据中心运维监控方法包括以下步骤：
S1，设计总部数据中心和分部数据中心之间的网络连接、安全策略、数据同步架构，构建监控系统，使用正则表达式对原始日志数据进行预处理，提取原始日志数据中的时间戳，使用Spark大数据处理框架，以时间戳为主键，对日志数据进行数据合并，将总部数据中心和分部数据中心的日志数据合并为一个整体数据集，使用朴素贝叶斯法对数据集进行分类标记，使用Spark Streaming技术将新产生的日志数据实时接入到监控系统中，从而将总部数据中心和分部数据中心的日志数据进行统一标准化处理；
S2，在总部数据中心部署集中式管理平台，使用SPF算法，分析和匹配检索场景，在分部数据中心部署独立计算引擎和存储引擎，进行本地化计算分析和存储，降低各个数据中心的网络带宽消耗；
S3，在总部数据中心和分部数据中心设计分级存储方案，部署SSD磁盘和普通磁盘，使用热数据识别算法，根据访问频率、数据关联性和业务需求，识别高频率访问的重要数据，将重要数据保存在SSD磁盘中，使用数据迁移算法，将3天以上未检索的数据迁移至普通磁盘，使用数据压缩算法，将15天以上未检索的数据进行压缩处理，并部署可视化监控工具，对广域网链路和应用进行实时监控；
S4，基于布隆过滤器，使用哈希函数对日志进行去重，使用线性归一化法对同类别日志进行归一化处理，使用K-means算法对日志进行分类，并部署安全流量分析工具，对广域网的流量进行监控和分析；
S5，建立总部数据中心和分部数据中心之间的业务协同和数据协同机制；
S6，将非云化数据迁移到云平台上。
2.如权利要求1所述一种分布式数据中心运维监控方法，其特征在于，步骤S1中，所述日志数据进行数据合并中，使用线性插值法，基于时间戳填补缺失的日志数据，线性插值公式如下：
；
式中，t1和t2是时间戳，y1和y2是对应的数据值，y(t)表示在时间戳t处的插值结果；
所述日志数据进行数据合并中，使用时间窗口法，将指定时间间隔内的日志数据，聚合为一个窗口，计算窗口内数据的方差和标准差，评估窗口内数据的波动性和分散程度，方差公式如下：
；
标准差公式如下：
；
式中，Xi是窗口内的数据点，i是窗口内数据点的顺序号，μ是窗口内数据的均值，N是窗口内数据点的数量；
所述日志数据进行数据合并中，使用线性回归法，基于日志数据拟合出线性模型，预测日志数据的趋势，线性回归公式如下：
；
式中，表示因变量，/>表示自变量，β0和β1表示回归系数，ε表示误差项；其中β0和β1使用最小二乘法计算估计值，估计值计算公式如下：
；
式中，是自变量的观测值，/>是因变量的观测值，/>_mean是自变量的均值，/>_mean是因变量的均值；
所述数据集进行分类标记中，朴素贝叶斯公式如下：
；
式中，P(c|x)表示给定特征e的情况下类别c的概率，P(x|c)表示在类别c下特征e的概率，P(c)表示类别c的先验概率，P(e)表示特征e的先验概率。
3.如权利要求1所述一种分布式数据中心运维监控方法，其特征在于，步骤S2中，所述分部数据中心在部署独立计算引擎和存储引擎时，使用最短作业优先法，分析历史数据和趋势，对分部数据中心的计算进行规划，最短作业优先公式如下：
；
式中，执行时间是指作业需要的时间量。
4.如权利要求1所述一种分布式数据中心运维监控方法，其特征在于，步骤S3中，所述访问频率计算公式如下：
；
所述数据关联性计算公式如下：
；
所述数据压缩算法是gzip压缩算法。
5.如权利要求1所述一种分布式数据中心运维监控方法，其特征在于，步骤S4中，所述布隆过滤器首先创建一个位数组，将日志数据的ID作为元素插入布隆过滤器中，利用哈希函数将元素映射到位数组中，再将新的日志数据的ID作为元素插入布隆过滤器，利用相同的哈希函数映射到位数组中，对两次映射的位置进行判断，确定两个日志数据的相似度；其中位数组大小计算公式如下：
；
式中，m表示位数组大小，n表示元素数量，表示误判率；
哈希函数个数计算公式如下：
；
式中，k表示哈希函数个数；
所述线性归一化公式如下：
；
式中，R是原始数据，R_min是该类别日志的最小值，R_max是该类别日志的最大值，R'是归一化后的数据；
所述K-means算法使用欧氏距离作为距离度量公式，公式如下：
；
式中，a和b表示两个数据点的特征向量，w表示特征的维度。
6.如权利要求1所述一种分布式数据中心运维监控方法，其特征在于，步骤S5中，所述总部数据中心和分部数据中心之间设置有虚拟专用网络和文件传输协议，所述总部数据中心和分部数据中心之间设置有统一的数据命名规则、数据格式和数据字典，所述总部数据中心和分部数据中心部署Trello项目管理工具。
7.如权利要求1所述一种分布式数据中心运维监控方法，其特征在于，步骤S6中，所述云平台是Microsoft Azure平台，所述非云化数据使用Azure Migrate工具将数据迁移至云平台。
8.如权利要求1所述一种分布式数据中心运维监控方法，其特征在于，所述分布式数据中心运维监控方法设置有监控指标，所述监控指标包括硬件监控和系统监控，所述硬件监控包括CPU温度、物理磁盘、虚拟磁盘、主板温度和磁盘阵列，所述系统监控包括CPU整体使用百分比、用户态使用百分比、内核态使用百分比、每个CPU使用情况、磁盘读写吞吐、磁盘读写次数、内存使用量、内存剩余量、网卡出入带宽、网卡出入包量、TCP状态监控和进程端口监控。
9.如权利要求1所述一种分布式数据中心运维监控方法，其特征在于，所述总部数据中心和分部数据中心使用Logstash工具收集日志，所述总部数据中心和分部数据中心使用ElasticSearch工具存储和搜索日志，所述总部数据中心和分部数据中心使用Kibana工具展示日志。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107291.8A CN117640432B (zh) | 2024-01-26 | 2024-01-26 | 分布式数据中心运维监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107291.8A CN117640432B (zh) | 2024-01-26 | 2024-01-26 | 分布式数据中心运维监控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117640432A CN117640432A (zh) | 2024-03-01 |
| CN117640432B true CN117640432B (zh) | 2024-04-12 |
Family
ID=90021963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410107291.8A Active CN117640432B (zh) | 2024-01-26 | 2024-01-26 | 分布式数据中心运维监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117640432B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
| US11736513B1 (en) * | 2022-07-12 | 2023-08-22 | Netskope, Inc. | Detecting malicious command and control cloud traffic |
| WO2023225037A1 (en) * | 2022-05-17 | 2023-11-23 | Pisner Derek | Connectome ensemble transfer learning |
| CN117313078A (zh) * | 2023-09-14 | 2023-12-29 | 北京计算机技术及应用研究所 | 一种安全可控的数据协同开发环境构建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230395253A1 (en) * | 2018-05-16 | 2023-12-07 | Shanghai Svm Medical Technology Co., Ltd. | Cloud-edge collaborative processing system and method for icu data based on third-party business |
-
2024
- 2024-01-26 CN CN202410107291.8A patent/CN117640432B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
| WO2023225037A1 (en) * | 2022-05-17 | 2023-11-23 | Pisner Derek | Connectome ensemble transfer learning |
| US11736513B1 (en) * | 2022-07-12 | 2023-08-22 | Netskope, Inc. | Detecting malicious command and control cloud traffic |
| CN117313078A (zh) * | 2023-09-14 | 2023-12-29 | 北京计算机技术及应用研究所 | 一种安全可控的数据协同开发环境构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 分布式云数据中心探索与研究;杨利进;;中国金融电脑;20180207(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117640432A (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12047396B2 (en) | System and method for monitoring security attack chains | |
| US10140453B1 (en) | Vulnerability management using taxonomy-based normalization | |
| Kholidy | Detecting impersonation attacks in cloud computing environments using a centric user profiling approach | |
| EP3465515B1 (en) | Classifying transactions at network accessible storage | |
| CN113612763B (zh) | 基于网络安全恶意行为知识库的网络攻击检测装置和方法 | |
| CN116680704B (zh) | 一种用于客户端的数据安全防护方法及系统 | |
| CN105681298A (zh) | 公共信息平台中的数据安全异常监测方法及系统 | |
| Zhe et al. | DoS attack detection model of smart grid based on machine learning method | |
| EP3329640B1 (en) | Network operation | |
| CN117833464A (zh) | 一种用电信息采集终端在线运行状态安全监测方法 | |
| CN117827788B (zh) | 一种智能3d打印工厂数据处理方法和系统 | |
| CN113364745A (zh) | 一种日志收集与分析处理方法 | |
| CN116974490A (zh) | 一种基于多端云计算集群的大数据存储方法及系统 | |
| CN116232770B (zh) | 一种基于sdn控制器的企业网络安全防护系统及方法 | |
| US10389641B2 (en) | Network operation | |
| Zuo et al. | Power information network intrusion detection based on data mining algorithm | |
| CN116030943A (zh) | 一种大数据智慧运维控制系统及方法 | |
| CN118074979A (zh) | 一种基于区块链的安全监控系统 | |
| RU180789U1 (ru) | Устройство аудита информационной безопасности в автоматизированных системах | |
| CN111339050A (zh) | 一种基于大数据平台集中安全审计的方法及系统 | |
| CN117640432B (zh) | 分布式数据中心运维监控方法 | |
| CN116859804A (zh) | 一种面向船舶制造车间的安全态势监测预警系统 | |
| Liu et al. | Prism: Revealing hidden functional clusters from massive instances in cloud systems | |
| Yeshwanth et al. | Adoption and Assessment of Machine Learning Algorithms in Security Operations Centre for Critical Infrastructure | |
| Folino et al. | A scalable architecture exploiting elastic stack and meta ensemble of classifiers for profiling user behaviour |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |