CN117014331A - 基于dci的质量可视化传输性能监控系统 - Google Patents

基于dci的质量可视化传输性能监控系统 Download PDF

Info

Publication number
CN117014331A
CN117014331A CN202311235373.2A CN202311235373A CN117014331A CN 117014331 A CN117014331 A CN 117014331A CN 202311235373 A CN202311235373 A CN 202311235373A CN 117014331 A CN117014331 A CN 117014331A
Authority
CN
China
Prior art keywords
network
data
dci
transmission
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311235373.2A
Other languages
English (en)
Inventor
杨超见
姚秋芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Sintai Communication Technology Co ltd
Original Assignee
Guangzhou Sintai Communication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Sintai Communication Technology Co ltd filed Critical Guangzhou Sintai Communication Technology Co ltd
Priority to CN202311235373.2A priority Critical patent/CN117014331A/zh
Publication of CN117014331A publication Critical patent/CN117014331A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/07—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
    • H04B10/075—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
    • H04B10/079—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
    • H04B10/0795—Performance monitoring; Measurement of transmission parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/07—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
    • H04B10/075—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
    • H04B10/079—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
    • H04B10/0795—Performance monitoring; Measurement of transmission parameters
    • H04B10/07953—Monitoring or measuring OSNR, BER or Q
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/07—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
    • H04B10/075—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
    • H04B10/079—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
    • H04B10/0795—Performance monitoring; Measurement of transmission parameters
    • H04B10/07955—Monitoring or measuring power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0882—Utilisation of link capacity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Environmental & Geological Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了基于DCI的质量可视化传输性能监控系统，属于监控技术领域，包括监控端、监控服务器和客户端。本发明支持DCI的质量可视化传输性能监控，以满足日益增长的数据中心互联需求。该系统通过不同类型的图表分别将DCI传输性能监控数据更直观、易于理解地展示给用户端；进行操作运行的事件记录，便于管理员进行云平台的维护和异常溯源；可以发送网络故障和异常情况的警报和分析并通过可视化的方式呈现实时监控结果，以便系统管理员或网络运维人员能够及时发现和解决潜在的问题；对每个连接网络进行评级排名处理，帮助用户比较不同连接网络的传输性能表现，能有针对性地改进优化自身的网络架构，提高了数据中心的整体效率和可靠性。

Description

基于DCI的质量可视化传输性能监控系统
技术领域
本发明属于监控技术领域，具体涉及基于DCI的质量可视化传输性能监控系统。
背景技术
随着云计算和大数据的快速发展，数据中心之间的互联变得越来越重要。数据中心互联技术可以实现多个数据中心之间的高速数据传输，确保数据的可靠性、低延迟和高带宽。对于大多数公司而言，信息就是业务，必须对其进行存储，保护和轻松访问。数据中心互联技术对于应用程序和服务的访问，对改善用户和客户体验至关重要。并可以在提高效率的同时降低成本。DCI数据中心的使用场景广泛：帮助内容和云服务提供商为用户更快地的传输服务；提供了银行所需的网络基础设施，以支持从数字货币转账到实时支付的全部数字产品；在不同的园区，城市内部建立DCI网络,来进行无障碍访问和传输数字信息；帮助医院备份患者病情信息，在不同医院实时共享数据信息等场景。
在数据中心互联中，传输性能是一个关键指标。DCI业务层、OTN层、光层的传输性能包括带宽、延迟、吞吐量等方面的指标，通过对这些指标进行监控和可视化，可以及时发现性能问题并采取相应的措施进行优化。因此，基于DCI的质量可视化传输性能监控系统是数据中心互联的重要性和对传输性能实时监控的需求。该系统通过监测数据中心之间的传输性能指标，并将其可视化展示帮助运维人员及时发现和解决性能问题，提高数据中心之间的传输效率和可靠性。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供基于DCI的质量可视化传输性能监控系统，能够解决现有技术中缺乏DCI传输性能监控、可视化展示、故障定位与排查功能于一体的监控系统的技术问题。
为了实现上述目的，本发明采用了如下技术方案：
基于DCI的质量可视化传输性能监控系统，包括：监控端、监控服务器和客户端；其中监控服务器包括数据处理模块、图表生成模块和异常检测模块；客户端包括实时监控模块、可视化模块和日志存储模块；监控端与监控服务器信号连接，监控服务器与客户端信号连接；
监控端：用于分类采集DCI传输性能监控数据，并将分类采集的DCI传输性能监控数据传输至监控服务器；
监控服务器：用于将采集的DCI传输性能监控数据进行处理，并将处理后的DCI传输性能监控数据分别传输至图表生成模块和异常检测模块；
客户端：用于接收监控服务器传输的DCI传输性能监控数据，并绘制、显示可视化图表，同时存储DCI传输性能监控系统的运行日志；
数据处理模块：用于将分类采集的DCI传输性能监控数据进行分析与风险判定、清洗与整合；并将处理后的DCI传输性能监控数据分别传输至图表生成模块和异常检测模块；
图表生成模块：用于根据数据处理模块处理后的DCI传输性能监控数据生成图表；
异常检测模块：用于在接收到风险信号时，产生异常报警信号，并将具体位置和编号发送至图表生成模块；将专网传输因子、光网传输因子、密网传输因子分别与其阈值进行比较；
实时监控模块：用于接收监控服务器传输的DCI传输性能监控数据，再分别传输至可视化模块和日志存储模块；并实时显示可视化图表，实现实时监控功能；
可视化模块：用于接手实时监控模块传输的DCI传输性能监控数据，通过图表形式对DCI传输性能监控数据进行可视化的分析及图表绘制，并通过实时监控模块进行显示；
日志存储模块：用于进行操作运行的事件记录。
作为优选，监控端的工作流程如下：
S1、依据DCI的传输方式不同将数据中心内的互连网络分类成专线连接网络、光纤连接网络和加密连接网络；
S2、采集专线连接网络的宽带利用率、延迟和丢包率；采集光纤连接网络的光功率、光链路状态和误码率；采集加密连接网络的加密算法状态和安全性事件发生频率；光链路状态包括正常、断开或损坏；
作为优选，数据处理模块的工作流程包括如下步骤：
步骤一，数据分析与风险判定：
当宽带利用率小于等于30%时，或者当丢包率大于等于5%时，或者延迟大于等于10毫秒时，判定专线连接网络存在一级专网风险，产生一级专网风险信号并将其发送至异常检测模块；当光纤连接网络的光链路状态为断开或损坏时，或者误码率大于等于5%时，或者发送端光功率不在 1 dBm~+10dBm范围内，接收端光功率不在 -30dBm~-10 dBm范围内，判定光纤连接网络存在一级光网风险，产生一级光网风险信号并将其发送至异常检测模块；当加密连接网络的安全性事件发生频率大于2次/月时，或者当加密算法状态为非安全状态，判定加密连接网络存在一级密网风险，产生一级密网风险信号并将其发送至异常检测模块；
步骤二，数据清洗与整合：
当专项连接网络的宽带利用率大于30%时，丢包率小于5%时且延迟小于10毫秒时，将专线连接网络的宽带利用率、丢包率和延迟经过最小化损失函数的处理产生每个专线连接网络的专网传输因子；
产生专网传输因子的最小化损失函数的定义为：
Z(w) = Σ(max(0, 1 - x* (w * a))) + λ * ||w||^2，其中w为模型参数，a=a1时表示宽带利用率，a=a2时表示丢包率，a=a3时表示延迟，x=x1时表示宽度利用率的真实类别标签，x=x2时表示丢包率的真实类别标签，x=x3时表示延迟的真实类别标签，其中xi为1表示正样本，-1表示负样本，λ为正则化参数；
当光纤连接网络的光链路状态为正常时，误码率小于5%时，光功率发送端光功率在 1 dBm~+10dBm范围内，接收端光功率在 -30dBm~-10 dBm范围内，将光纤连接网络的光功率和误码率经过最小化损失函数的处理产生每个光纤连接网络的光网传输因子；
产生光网传输因子的最小化损失函数的定义为：
G(w) = Σ(max(0, 1 - x* (w * a))) + λ * ||w||^2，其中w为模型参数，b=b1时表示光功率，b=b2时表示误码率，y=y1时表示光功率的真实类别标签，y=y2时表示误码率的真实类别标签,其中yi为1表示正样本，-1表示负样本，λ为正则化参数；
当加密连接网络的安全性事件发生频率小于等于2次/月时，将加密连接网络的加密算法状态经过最小化损失函数的处理产生每个加密连接网络的密网传输因子；
产生专网传输因子的最小化损失函数的定义为：
M(w) = Σ(max(0, 1 - z* (w * c))) + λ * ||w||^2，其中w为模型参数，c表示加密算法状态，z表示加密算法的真实类别标签，其中z为1表示正样本，-1表示负样本，λ为正则化参数。
作为优选，图表生成模块的工作流程包括如下步骤：
S21、图表类型选择：使用折线图展示一级专网风险信号、一级光网风险信号和一级密网风险信号的发送频率随时间的变化趋势，以时间作为横坐标，以发送频率作为纵坐标；使用柱状图来比较不同时间段的专网传输因子、光网传输因子和密网传输因子数值大小,综合考虑时间段优选为每六个小时；使用表格来记录一级专网风险信号、一级光网风险信号和一级密网风险信号的具体位置和编号；
S22、设计布局：确定图表的整体布局，包括标题、坐标轴标签、图例；
S23、绘制图表：根据选定的图表类型和设计布局，设置相应的参数和样式，将处理好的数据转化为图表；
S24、图表交互：添加图表交互功能，通过鼠标悬停显示具体数值、放大缩小图表、选择时间范围。
作为优选，异常检测模块的工作流程如下：
在接收到一级专网风险信号或一级光网风险信号或一级密网风险信号时，产生异常报警信号，并将对应的专线连接网络、光纤连接网络或加密连接网络的具体位置和编号发送至图表生成模块；
将专网传输因子、光网传输因子、密网传输因子分别与其阈值进行比较：
当专网传输因子低于其阈值，将专网传输因子数据传输至可视化模块；当专网传输因子低于其阈值时，将专网传输因子数据传输至图表生成模块；
当光网传输因子低于其阈值，将光网传输因子数据传输至可视化模块；当光网传输因子低于其阈值时，将光网传输因子数据传输至图表生成模块；
当密网传输因子低于其阈值，将密网传输因子数据传输至可视化模块；当密网传输因子低于其阈值时，将密网传输因子数据传输至图表生成模块。
作为优选，实时监控模块的工作流程包括如下步骤：
S31、客户端发起HTTP请求：客户端通过HTTP协议向监控服务器发送请求，请求获取DCI传输性能监控数据；
S32、服务器响应请求：监控服务器接收到客户端的请求后，根据请求的DCI传输性能监控数据和参数，生成对应的响应数据，响应数据包括HTTP状态码、头部信息和实际的数据内容；
S33、数据传输：在HTTP响应中，监控服务器将DCI传输性能监控数据作为响应的主体部分进行传输，数据以JSON格式进行编码和封装；
S34、客户端接收响应：客户端接收到监控服务器的响应后，通过解析HTTP响应，提取出DCI传输性能监控数据，根据数据的格式和编码方式，客户端对数据进行解码和处理，以获取具体的监控信息；
S35、监控服务器提供相应的API接口。
作为优选，可视化模块的工作流程包括如下步骤：
可视化模块针对单位时间内风险信号产生的频率以及传输因子的大小，综合处理生成每个网络的传输质量系数与单位时间的关系的图表；
对每个网络进行评级排名处理：
网络的传输质量系数与单位时间的关系函数组定义为：T=t*[1-Klog(υ/β)]，其中k为比例系数，k的取值为0.1024，且υ>0，β>0，且υ/β>1,υ为单位时间内风险信号产生的频率，β为传输因子的大小，经过该公式，分别得到单位时间内专网传输质量系数Z(T)、光网传输质量系数G(T)和密网传输质量系数M(T)；当T数值大小在0.85~1范围内时，判定为甲级传输质量系数，当T数值大小在0.7~0.85范围内时，判定为乙级传输质量系数，当T数值大小小于0.7时，判定为丙级传输质量系数；同一时间段内，根据专网传输质量系数Z(T)、光网传输质量系数G(T)和密网传输质量系数M(T)的数值大小进行评级和排名处理。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明对DCI传输性能数据进行分类采集、分析与风险判定、清洗与整合，使得数据更易于比较和分析，减少数据转换和处理的复杂性，提高DCI传输性能监控数据的可用性、可解释性和数据的可读性。
2、通过实时监控，可以随时了解连接网络内的多种关键指标，提供及时的警报和分析，快速检测到连接网络故障和异常情况，采取措施进行处理，以保证数据传输的安全性和可靠性，提高DCI传输效率。
3、通过不同类型的图表分别将DCI传输性能监控数据更直观、易于理解地展示给用户端，实现质量可视化功能。
4、日志存储模块用于进行操作运行的事件记录，便于管理员进行云平台的维护和异常溯源，让系统变得更健全，以应对各种错误并且方便用户管理员从错误中较快恢复。
5、对每个连接网络进行评级排名处理，帮助用户比较不同连接网络的传输性能表现，能有针对性地改进优化自身的网络架构；帮助网络服务提供商了解用户对网络服务的需求和偏好，从而更好地进行资源配置，通过合理分配网络资源，避免出现某些地区网络拥堵、带宽不足等问题，提高整体网络的可用性和稳定性。
附图说明
图1示出了本发明基于DCI的质量可视化传输性能监控系统的原理框图；
图2示出了本发明的数据处理模块流程图；
图3示出了本发明的实时监控模块通过HTTP完整请求过程流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
参阅图1所示，本实施例的基于DCI的质量可视化传输性能监控系统，包括监控端、监控服务器和客户端；其中监控服务器包括数据处理模块、图表生成模块和异常检测模块；客户端包括实时监控模块、可视化模块和日志存储模块；监控端与监控服务器信号连接，监控服务器与客户端信号连接。监控端用于分类采集DCI传输性能监控数据，并将分类采集的DCI传输性能监控数据传输至监控服务器。
监控端的工作流程如下：
S11、依据DCI的传输方式不同将数据中心内的互连网络分类成专线连接网络、光纤连接网络和加密连接网络；
S12、采集专线连接网络的宽带利用率、延迟和丢包率；采集光纤连接网络的光功率、光链路状态和误码率；采集加密连接网络的加密算法状态和安全性事件发生频率；光链路状态包括正常、断开或损坏；安全性事件包括未经授权的访问、恶意软件攻击、数据泄漏DDoS攻击和帐号劫持。
本发明实施例中，监控端基于DCI的传输方式不同来对数据中心内的互联网络传输性能数据进行实时监测分类采集，通过监控端，管理员可以随时了解各分类连接网络内的多种关键指标，及时发现和解决潜在问题，保证网络的高效稳定运行；帮助管理员及时采取相应的安全防护措施，保障数据中心网络的安全性和可靠性，为数据中心网络的稳定运行和高效管理提供了重要的支持和保障。
实施例2
参阅图1和图2所示，本实施例的基于DCI的质量可视化传输性能监控系统，在实施例1的基础上，监控服务器包括数据处理模块、图表生成模块和异常检测模块。
数据处理模块用于将分类采集的DCI传输性能监控数据进行分析与风险判定、清洗与整合；并将处理后的DCI传输性能监控数据分别传输至图表生成模块和异常检测模块。
数据处理模块的工作流程包括如下步骤：
步骤一，数据分析与风险判定：
当宽带利用率小于等于30%时，或者当丢包率大于等于5%时，或者延迟大于等于10毫秒时，判定专线连接网络存在一级专网风险，产生一级专网风险信号并将其发送至异常检测模块；当光纤连接网络的光链路状态为断开或损坏时，或者误码率大于等于5%时，或者发送端光功率不在 1 dBm~+10dBm范围内，接收端光功率不在 -30dBm~-10 dBm范围内，判定光纤连接网络存在一级光网风险，产生一级光网风险信号并将其发送至异常检测模块；当加密连接网络的安全性事件发生频率大于2次/月时，或者当加密算法状态为非安全状态，判定加密连接网络存在一级密网风险，产生一级密网风险信号并将其发送至异常检测模块；
步骤二，数据清洗与整合：
当专项连接网络的宽带利用率大于30%时，丢包率小于5%时且延迟小于10毫秒时，将专线连接网络的宽带利用率、丢包率和延迟经过最小化损失函数的处理产生每个专线连接网络的专网传输因子；
产生专网传输因子的最小化损失函数的定义为：
Z(w) = Σ(max(0, 1 - x* (w * a))) + λ * ||w||^2其中，w为模型参数，a=a1时表示宽带利用率，a=a2时表示丢包率，a=a3时表示延迟，x=x1时表示宽度利用率的真实类别标签，x=x2时表示丢包率的真实类别标签，x=x3时表示延迟的真实类别标签，其中，xi为1表示正样本，-1表示负样本，λ为正则化参数。在训练过程中，使用梯度下降优化算法来求解最优的参数w，使得损失函数最小化。具体的训练步骤如下：
1.初始化参数w为一个随机向量；
2.对于每个样本i，i=1,2,3,计算预测值xi_pred = w * ai；
3.如果xi * xi_pred>= 1，说明该样本被正确分类，不需要进行更新；
4.如果xi * xi_pred<1，说明该样本被错误分类，需要更新参数w；更新公式为：w= w + α * (xi * ai)，其中α为学习率；同时，如果使用正则化项，还需要进行额外的更新：w = w - 2 * α * λ * w；
5.重复步骤2-4，直到达到损失函数收敛。
当光纤连接网络的光链路状态为正常时，误码率小于5%时，光功率发送端光功率在 1 dBm~+10dBm范围内，接收端光功率在 -30dBm~-10 dBm范围内，将光纤连接网络的光功率和误码率经过最小化损失函数的处理产生每个光纤连接网络的光网传输因子。
产生光网传输因子的最小化损失函数的定义为：
G(w) = Σ(max(0, 1 - x* (w * a))) + λ * ||w||^2其中，w为模型参数，b=b1时表示光功率，b=b2时表示误码率，y=y1时表示光功率的真实类别标签，y=y2时表示误码率的真实类别标签,其中，yi为1表示正样本，-1表示负样本，λ为正则化参数。在训练过程中，使用梯度下降优化算法来求解最优的参数w，使得损失函数最小化。具体的训练步骤如下：
1.初始化参数w为一个随机向量；
2.对于每个样本i，i=1,2,计算预测值yi_pred = w * bi；
3.如果yi * yi_pred>= 1，说明该样本被正确分类，不需要进行更新；
4.如果yi * yi_pred<1，说明该样本被错误分类，需要更新参数w；更新公式为：w= w + α * (yi * bi)，其中α为学习率；同时，如果使用正则化项，还需要进行额外的更新：w = w - 2 * α * λ * w；
5.重复步骤2-4，直到达到停止损失函数收敛。
当加密连接网络的安全性事件发生频率小于等于2次/月时，将加密连接网络的加密算法状态经过最小化损失函数的处理产生每个加密连接网络的密网传输因子。使用密网传输因子最小化损失函数的定义为：
M(w) = Σ(max(0, 1 - z* (w * c))) + λ * ||w||^2其中，w为模型参数，c表示加密算法状态，z表示加密算法的真实类别标签，其中，z为1表示正样本，-1表示负样本，λ为正则化参数。在训练过程中，使用梯度下降优化算法来求解最优的参数w，使得损失函数最小化。具体的训练步骤如下：
1.初始化参数w为一个随机向量；
2.对于每个样本z,z=1,计算预测值z_pred = w * c；
3.如果z * z_pred>= 1，说明该样本被正确分类，不需要进行更新；
4.如果z * z_pred<1，说明该样本被错误分类，需要更新参数w；更新公式为：w =w + α * (z * c)，其中α为学习率；同时，如果使用正则化项，还需要进行额外的更新：w =w- 2 * α * λ * w；
5.重复步骤2-4，直到达到停止条件损失函数收敛。
异常检测模块用于在接收到一级专网风险信号或一级光网风险信号或一级密网风险信号时，产生异常报警信号，并将对应的专线连接网络、光纤连接网络或加密连接网络的具体位置和编号发送至图表生成模块；风险信号对应的连接网络的具体位置通过红外感应器采集得到，编号由人为自定义得到，得到异常警报信号对应网络的具体位置和编号。
异常检测模块还用于将专网传输因子、光网传输因子、密网传输因子分别与其阈值进行比较：
当专网传输因子低于其阈值，将专网传输因子数据传输至可视化模块；当专网传输因子低于其阈值时，将专网传输因子数据传输至图表生成模块。
当光网传输因子低于其阈值，将光网传输因子数据传输至可视化模块；当光网传输因子低于其阈值时，将光网传输因子数据传输至图表生成模块。
当密网传输因子低于其阈值，将密网传输因子数据传输至可视化模块；当密网传输因子低于其阈值时，将密网传输因子数据传输至图表生成模块。
图表生成模块用于对专网传输因子数据、光网传输因子数据和密网传输因子进行处理生成图表；
具体流程如下：
S21、图表类型选择：使用折线图展示一级专网风险信号、一级光网风险信号和一级密网风险信号的发送频率随时间的变化趋势，以时间作为横坐标，以发送频率作为纵坐标；使用柱状图来比较不同时间段的专网传输因子、光网传输因子和密网传输因子数值大小,综合考虑时间段优选为每六个小时；使用表格来记录一级专网风险信号、一级光网风险信号和一级密网风险信号的具体位置和编号；
S22、设计布局：确定图表的整体布局，包括标题、坐标轴标签、图例。合理布局设计使图表更加易读和直观，方便用户端对DCI传输性能进行分析和判断；
S23、绘制图表：根据选定的图表类型和设计布局，设置相应的参数和样式，使用常见的数据可视化工具包括Tableau、Power BI、matplotlib和ggplot，将处理好的数据转化为图表；
S24、图表交互：添加图表交互功能，通过鼠标悬停显示具体数值、放大缩小图表、选择时间范围，提供更多的交互方式，方便用户深入分析和挖掘数据。
本发明实施例中，监控服务器中的数据处理模块通过对监控端分类采集的DCI传输性能监控数据分别进行数据分析与风险判定、数据清洗与整合得到三种网络风险信号和三种网络传输因子，将不同数据源、不同格式的数据进行统一分类和命名，使得数据更易于比较和分析，统一的数据格式可以减少数据转换和处理的复杂性，提高DCI传输性能监控数据的可用性和可解释性；数据处理模块将分类采集的DCI传输性能监控数据进行分析与风险判定、清洗与整合得到三种连接网络风险信号和三种连接网络因子，提高数据的可读性；异常检测模块检测到异常信号之后，将其具体位置编号发送到图表生成模块，并将三种传输因子分别与其阈值进行比较，异常检测模块可以提供及时的警报和分析，帮助用户端及早发现和解决连接网络风险问题，从而提高DCI传输效率和安全性；图表生成模块通过不同类型的图表分别将DCI传输性能监控数据更直观、易于理解地展示给用户端，这有助于用户端更好地理解DCI传输性能监控数据之间的关系、趋势和模式，从而更准确地做出决策。
实施例3
参阅图1和图3所示，本实施例的基于DCI的质量可视化传输性能监控系统，在实施例1和实施例2的基础上，客户端包括实时监控模块、可视化模块和日志存储模块。
实时监控模块通过HTTP协议与监控服务器建立连接，用于接收监控服务器传输的DCI传输性能监控数据，将DCI传输性能监控数据分别传输至可视化模块和日志存储模块，并实时显示可视化模块绘制的可视化图表；将图表与后台数据连接，实现实时监控功能，使图表在数据变化时自动更新，保持实时性。通过HTTP协议与监控服务器建立连接，用于接收监控服务器传输的DCI传输性能监控数据的过程如下：
S31、客户端发起HTTP请求：客户端通过HTTP协议向监控服务器发送请求，请求获取DCI传输性能监控数据。使用GET和POST方法，请求的URL是监控服务器的地址；
S32、服务器响应请求：监控服务器接收到客户端的请求后，根据请求的DCI传输性能监控数据和参数，生成对应的响应数据，响应数据包括HTTP状态码、头部信息和实际的数据内容；
S33、数据传输：在HTTP响应中，监控服务器将DCI传输性能监控数据作为响应的主体部分进行传输，数据以JSON格式进行编码和封装；
S34、客户端接收响应：客户端接收到监控服务器的响应后，通过解析HTTP响应，提取出DCI传输性能监控数据，根据数据的格式和编码方式，客户端对数据进行解码和处理，以获取具体的监控信息；
S35、监控服务器提供相应的API接口，以便客户端能够与其进行通信和数据交互。
可视化模块用于接收实时监控模块传输的DCI传输性能监控数据，通过图表形式对DCI传输性能监控数据进行可视化的分析及图表的绘制，并通过实时监控模块进行实时显示，具体的步骤：
1.可视化模块对单位时间内风险信号产生的频率以及传输因子的大小，综合处理生成每个网络的传输质量系数与单位时间的关系的图表，综合考虑，单位时间优选为每月；
2.对每个网络进行评级排名处理：
网络的传输质量系数与单位时间的关系函数组定义为：T=t*[1-Klog(υ/β)]，其中k为比例系数，且υ>0，β>0，且υ/β>1,υ为单位时间内风险信号产生的频率，β为传输因子的大小，由本领域技术人员采集多样本数据并对每一组样本数据设定对应的评级系数，将设定的评级系数和采集的样本数据代入公式，任意两个公式构成二元一次方程组，将计算得到的系数进行筛选并取均值，得到k的取值为0.1024，经过该公式，分别得到单位时间内专网传输质量系数Z(T)、光网传输质量系数G(T)和密网传输质量系数M(T)；当T数值大小在0.85~1范围内时，判定为甲级传输质量系数，当T数值大小在0.7~0.85范围内时，判定为乙级传输质量系数，当T数值大小小于0.7时，判定为丙级传输质量系数。同一时间段内，根据专网传输质量系数Z(T)、光网传输质量系数G(T)和密网传输质量系数M(T)的数值大小进行评级和排名处理。
日志存储模块用于进行操作运行的事件记录；日志存储模块是基于Etcd目录，目录下面以事件IP地址为格式进行命名；实时监控模块不断对日志存储模块进行数据库式的存储操作进行事件日志的记录，旨在对事件日志能进行存储便于以后管理员进行云平台的维护和异常溯源，让系统变得更健壮，以应对各种错误并且方便用户管理员从错误中较快恢复。
本发明实施例中，实时监控模块通过HTTP协议与监控服务器建立连接，接收监控服务器传输的DCI传输性能监控数据，并实时显示可视化模块的绘制的可视化图表，能够及时获取信息，通过实时监控，系统可以快速检测到连接网络故障或异常情况，并及时采取措施进行处理，以保证数据传输的稳定性和可靠性；可视化模块生成每个网络的传输质量系数与单位时间的关系的图表并对每个连接网络进行评级排名处理，可以帮助用户比较不同连接网络的传输性能表现，并有针对性地改进自身的网络架构、优化DCI传输性能数据，网络性能评级排名可以帮助网络服务提供商了解用户对网络服务的需求和偏好，从而更好地进行资源配置，通过合理分配网络资源，可以避免出现某些地区网络拥堵、带宽不足等问题，提高整体网络的可用性和稳定性；日志存储模块用于进行操作运行的事件记录，便于管理员进行云平台的维护和异常溯源，让系统变得更健壮，以应对各种错误并且方便用户管理员从错误中较快恢复。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.基于DCI的质量可视化传输性能监控系统，其特征在于：包括监控端、监控服务器和客户端；其中客户端包括实时监控模块、可视化模块和日志存储模块；监控端与监控服务器信号连接，监控服务器与客户端信号连接；
监控端：用于分类采集DCI传输性能监控数据，并将分类采集的DCI传输性能监控数据传输至监控服务器；
监控服务器：用于将采集的DCI传输性能监控数据进行处理，并将处理后的DCI传输性能监控数据分别传输至图表生成模块和异常检测模块；
客户端：用于接收监控服务器传输的DCI传输性能监控数据，并绘制、显示可视化图表，同时存储DCI传输性能监控系统的运行日志；
实时监控模块：用于接收监控服务器传输的DCI传输性能监控数据，再分别传输至可视化模块和日志存储模块；并实时显示可视化图表，实现实时监控功能；
可视化模块：用于接手实时监控模块传输的DCI传输性能监控数据，通过图表形式对DCI传输性能监控数据进行可视化的分析及图表绘制，并通过实时监控模块进行显示；
日志存储模块：用于进行操作运行的事件记录。
2.根据权利要求1所述的基于DCI的质量可视化传输性能监控系统，其特征在于，监控服务器包括数据处理模块、图表生成模块和异常检测模块；
数据处理模块：用于将分类采集的DCI传输性能监控数据进行分析与风险判定、清洗与整合；并将处理后的DCI传输性能监控数据分别传输至图表生成模块和异常检测模块；
图表生成模块：用于根据数据处理模块处理后的DCI传输性能监控数据生成图表；
异常检测模块：用于在接收到风险信号时，产生异常报警信号，并将具体位置和编号发送至图表生成模块；将专网传输因子、光网传输因子、密网传输因子分别与其阈值进行比较。
3.根据权利要求2所述的基于DCI的质量可视化传输性能监控系统，其特征在于，数据处理模块的工作流程包括如下步骤：
步骤一，数据分析与风险判定：
当宽带利用率小于等于30%时，或者当丢包率大于等于5%时，或者延迟大于等于10毫秒时，判定专线连接网络存在一级专网风险，产生一级专网风险信号并将其发送至异常检测模块；当光纤连接网络的光链路状态为断开或损坏时，或者误码率大于等于5%时，或者发送端光功率不在 1 dBm~+10dBm范围内，接收端光功率不在 -30dBm~-10 dBm范围内，判定光纤连接网络存在一级光网风险，产生一级光网风险信号并将其发送至异常检测模块；当加密连接网络的安全性事件发生频率大于2次/月时，或者当加密算法状态为非安全状态，判定加密连接网络存在一级密网风险，产生一级密网风险信号并将其发送至异常检测模块；
步骤二，数据清洗与整合：
当专项连接网络的宽带利用率大于30%时，丢包率小于5%时且延迟小于10毫秒时，将专线连接网络的宽带利用率、丢包率和延迟经过最小化损失函数的处理产生每个专线连接网络的专网传输因子；
产生专网传输因子的最小化损失函数的定义为：
Z(w) = Σ(max(0, 1 - x* (w * a))) + λ * ||w||^2，其中w为模型参数，a=a1时表示宽带利用率，a=a2时表示丢包率，a=a3时表示延迟，x=x1时表示宽度利用率的真实类别标签，x=x2时表示丢包率的真实类别标签，x=x3时表示延迟的真实类别标签，其中xi为1表示正样本，-1表示负样本，λ为正则化参数；
当光纤连接网络的光链路状态为正常时，误码率小于5%时，光功率发送端光功率在 1dBm~+10dBm范围内，接收端光功率在 -30dBm~-10 dBm范围内，将光纤连接网络的光功率和误码率经过最小化损失函数的处理产生每个光纤连接网络的光网传输因子；
产生光网传输因子的最小化损失函数的定义为：
G(w) = Σ(max(0, 1 - x* (w * a))) + λ * ||w||^2，其中w为模型参数，b=b1时表示光功率，b=b2时表示误码率，y=y1时表示光功率的真实类别标签，y=y2时表示误码率的真实类别标签,其中yi为1表示正样本，-1表示负样本，λ为正则化参数；
当加密连接网络的安全性事件发生频率小于等于2次/月时，将加密连接网络的加密算法状态经过最小化损失函数的处理产生每个加密连接网络的密网传输因子；
产生专网传输因子的最小化损失函数的定义为：
M(w) = Σ(max(0, 1 - z* (w * c))) + λ * ||w||^2，其中w为模型参数，c表示加密算法状态，z表示加密算法的真实类别标签，其中z为1表示正样本，-1表示负样本，λ为正则化参数。
4.根据权利要求2所述的基于DCI的质量可视化传输性能监控系统，其特征在于，图表生成模块的工作流程包括如下步骤：
S21、图表类型选择：使用折线图展示一级专网风险信号、一级光网风险信号和一级密网风险信号的发送频率随时间的变化趋势，以时间作为横坐标，以发送频率作为纵坐标；使用柱状图来比较不同时间段的专网传输因子、光网传输因子和密网传输因子数值大小,综合考虑时间段优选为每六个小时；使用表格来记录一级专网风险信号、一级光网风险信号和一级密网风险信号的具体位置和编号；
S22、设计布局：确定图表的整体布局，包括标题、坐标轴标签、图例；
S23、绘制图表：根据选定的图表类型和设计布局，设置相应的参数和样式，将处理好的数据转化为图表；
S24、图表交互：添加图表交互功能，通过鼠标悬停显示具体数值、放大缩小图表、选择时间范围。
5.根据权利要求2所述的基于DCI的质量可视化传输性能监控系统，其特征在于，异常检测模块的工作流程如下：
在接收到一级专网风险信号或一级光网风险信号或一级密网风险信号时，产生异常报警信号，并将对应的专线连接网络、光纤连接网络或加密连接网络的具体位置和编号发送至图表生成模块；
将专网传输因子、光网传输因子、密网传输因子分别与其阈值进行比较：
当专网传输因子低于其阈值，将专网传输因子数据传输至可视化模块；当专网传输因子低于其阈值时，将专网传输因子数据传输至图表生成模块；
当光网传输因子低于其阈值，将光网传输因子数据传输至可视化模块；当光网传输因子低于其阈值时，将光网传输因子数据传输至图表生成模块；
当密网传输因子低于其阈值，将密网传输因子数据传输至可视化模块；当密网传输因子低于其阈值时，将密网传输因子数据传输至图表生成模块。
6.根据权利要求1所述的基于DCI的质量可视化传输性能监控系统，其特征在于，实时监控模块的工作流程包括如下步骤：
S31、客户端发起HTTP请求：客户端通过HTTP协议向监控服务器发送请求，请求获取DCI传输性能监控数据；
S32、服务器响应请求：监控服务器接收到客户端的请求后，根据请求的DCI传输性能监控数据和参数，生成对应的响应数据，响应数据包括HTTP状态码、头部信息和实际的数据内容；
S33、数据传输：在HTTP响应中，监控服务器将DCI传输性能监控数据作为响应的主体部分进行传输，数据以JSON格式进行编码和封装；
S34、客户端接收响应：客户端接收到监控服务器的响应后，通过解析HTTP响应，提取出DCI传输性能监控数据，根据数据的格式和编码方式，客户端对数据进行解码和处理，以获取具体的监控信息；
S35、监控服务器提供相应的API接口。
7.根据权利要求1所述的基于DCI的质量可视化传输性能监控系统，其特征在于，可视化模块的工作流程包括如下步骤：
可视化模块针对单位时间内风险信号产生的频率以及传输因子的大小，综合处理生成每个网络的传输质量系数与单位时间的关系的图表；
对每个网络进行评级排名处理：
网络的传输质量系数与单位时间的关系函数组定义为：T=t*[1-Klog(υ/β)]，其中k为比例系数，k的取值为0.1024，且υ>0，β>0，且υ/β>1,υ为单位时间内风险信号产生的频率，β为传输因子的大小，经过该公式，分别得到单位时间内专网传输质量系数Z(T)、光网传输质量系数G(T)和密网传输质量系数M(T)；当T数值大小在0.85~1范围内时，判定为甲级传输质量系数，当T数值大小在0.7~0.85范围内时，判定为乙级传输质量系数，当T数值大小小于0.7时，判定为丙级传输质量系数；同一时间段内，根据专网传输质量系数Z(T)、光网传输质量系数G(T)和密网传输质量系数M(T)的数值大小进行评级和排名处理。
8.根据权利要求1所述的基于DCI的质量可视化传输性能监控系统，其特征在于，监控端的工作流程如下：
S1、依据DCI的传输方式不同将数据中心内的互连网络分类成专线连接网络、光纤连接网络和加密连接网络；
S2、采集专线连接网络的宽带利用率、延迟和丢包率；采集光纤连接网络的光功率、光链路状态和误码率；采集加密连接网络的加密算法状态和安全性事件发生频率；光链路状态包括正常、断开或损坏。
CN202311235373.2A 2023-09-25 2023-09-25 基于dci的质量可视化传输性能监控系统 Pending CN117014331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311235373.2A CN117014331A (zh) 2023-09-25 2023-09-25 基于dci的质量可视化传输性能监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311235373.2A CN117014331A (zh) 2023-09-25 2023-09-25 基于dci的质量可视化传输性能监控系统

Publications (1)

Publication Number Publication Date
CN117014331A true CN117014331A (zh) 2023-11-07

Family

ID=88569338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311235373.2A Pending CN117014331A (zh) 2023-09-25 2023-09-25 基于dci的质量可视化传输性能监控系统

Country Status (1)

Country Link
CN (1) CN117014331A (zh)

Similar Documents

Publication Publication Date Title
US11012461B2 (en) Network device vulnerability prediction
US7804787B2 (en) Methods and apparatus for analyzing and management of application traffic on networks
CN110036600A (zh) 网络健康数据汇聚服务
US20050052998A1 (en) Management of peer-to-peer networks using reputation data
US20050216241A1 (en) Method and apparatus for gathering statistical measures
CN108763957A (zh) 一种数据库的安全审计系统、方法及服务器
KR20010101075A (ko) 통신 데이터를 수집하여 분석하는 장치 및 방법
CN109783552A (zh) 一种数据清洗修复方法
CN114978568A (zh) 使用机器学习进行数据中心管理
CN112130999A (zh) 一种基于边缘计算的电力异构数据处理方法
CN109997337B (zh) 网络健康信息的可视化
CN112463892A (zh) 一种基于风险态势的预警方法及系统
CN116155581A (zh) 一种基于图神经网络的网络入侵检测方法与装置
CN102195791A (zh) 一种告警的分析方法、装置及系统
CN114726708A (zh) 一种基于人工智能的网元设备故障预测方法及系统
CN108234435A (zh) 一种基于ip分类的自动检测方法
CN116204386B (zh) 应用服务关系自动识别及监控方法、系统、介质和设备
CN118018229A (zh) 基于大数据的网络威胁检测方法
Nishio et al. Anomaly traffic detection with federated learning toward network-based malware detection in iot
CN115766471B (zh) 一种基于组播流量的网络业务质量分析方法
CN117014331A (zh) 基于dci的质量可视化传输性能监控系统
CN104283703A (zh) 一种用户登录提醒方法及系统
CN115765153A (zh) 电力一次设备物联网与在线监测数据融合监测方法及系统
CN114257414A (zh) 一种网络安全智能值班方法及系统
CN117640748B (zh) 跨平台设备信息采集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination