CN111930599A - 一种云服务系统的运维数据处理方法、装置及存储介质 - Google Patents

一种云服务系统的运维数据处理方法、装置及存储介质 Download PDF

Info

Publication number
CN111930599A
CN111930599A CN202011047134.0A CN202011047134A CN111930599A CN 111930599 A CN111930599 A CN 111930599A CN 202011047134 A CN202011047134 A CN 202011047134A CN 111930599 A CN111930599 A CN 111930599A
Authority
CN
China
Prior art keywords
maintenance data
data
disk storage
cloud
cloud server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011047134.0A
Other languages
English (en)
Other versions
CN111930599B (zh
Inventor
陈春丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING MT-HIRISUN INFORMATION TECHNOLOGY DEVELOPMENT CO LTD
Original Assignee
BEIJING MT-HIRISUN INFORMATION TECHNOLOGY DEVELOPMENT CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING MT-HIRISUN INFORMATION TECHNOLOGY DEVELOPMENT CO LTD filed Critical BEIJING MT-HIRISUN INFORMATION TECHNOLOGY DEVELOPMENT CO LTD
Priority to CN202011047134.0A priority Critical patent/CN111930599B/zh
Publication of CN111930599A publication Critical patent/CN111930599A/zh
Application granted granted Critical
Publication of CN111930599B publication Critical patent/CN111930599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3096—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents wherein the means or processing minimize the use of computing system or of computing system component resources, e.g. non-intrusive monitoring which minimizes the probe effect: sniffing, intercepting, indirectly deriving the monitored data from other directly available data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/875—Monitoring of systems including the internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种云服务系统的运维数据处理方法、装置及存储介质，根据多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列的空间分布关系设置对应的运维数据管理服务器；实时采集多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列的运维数据，将所述运维数据传输至对应的运维数据管理服务器；所述运维数据管理服务器对所述运维数据进行处理，判断对应的云服务器、用户端、网络交换机及磁盘存储阵列是否存在故障，如果是，则向用户发出警报。本发明根据空间分布关系，设置对应的运维数据管理服务器，在计算f（bi）时，在计算时可将bi 2的计算后，保存在寄存器中，提高了计算速度，由于采用椭圆加密计算，安全性大为提高。

Description

一种云服务系统的运维数据处理方法、装置及存储介质
技术领域
本发明涉及数据处理技术领域，特别是一种云服务系统的运维数据处理方法、装置及存储介质。
背景技术
云平台(cloud platforms)可以分为按需平台(on-demand platform)、平台即服务(platform as a service，PaaS)等等。云服务系统一般由云服务器、交换机、磁盘存储阵列及用户端组成。
由于云服务器系统的分散性，各个装置之间产生的运维数据也大量存在，如何将大量的运维数据进行安全可靠的传输及存储面临着巨大的挑战，如何采用最快速且全面的方式的进行故障的诊断是大数据领域的一个重要课题。
此外，现有技术中运维数据的传输要么是明文传输，要么采用复杂的加密算法，影响了用户体验，亟需集中适合运维数据的加密算法。
发明内容
本发明针对上述现有技术中的缺陷，提出了如下技术方案。
一种云服务系统的运维数据处理方法，所述云服务系统包括多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列，所述多个用户端通过所述多个网络交换机的至少之一与所述多个云服务器相连接，所述云服务器通过所述多个网络交换机的至少之一与所述多个磁盘存储阵列相连接，所述云服务系统还包括至少3个运维数据管理服务器，所述至少3个运维数据管理服务器通过所述多个网络交换机的至少之一与所述多个云服务器进行数据交换，该方法包括：
设置步骤，根据多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列的空间分布关系设置对应的运维数据管理服务器；
运维数据采集步骤，实时采集多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列的运维数据，当满足一触发条件时，将所述运维数据传输至对应的运维数据管理服务器；
运维数据处理步骤，所述运维数据管理服务器对所述运维数据进行处理，判断对应的云服务器、用户端、网络交换机及磁盘存储阵列是否存在故障，如果是，则向用户发出警报。
更进一步地，所述至少3个运维数据管理服务器定时或实时地将获取的运维数据互相备份以防止在一运维数据管理服务器故障时运维数据丢失。
更进一步地，所述运维数据采集步骤包括：
用户端每隔第一时间将自己的运维数据发送至与其相连的云服务器，云服务器每隔第二时间将接收到的来自至少一个用户端的运维数据与自己的运维数据进行打包得到该云服务器ID为标识的数据包SpackID，所述数据包SpackID包括用户端数据目录和云服务器数据目录，所述用户端数据目录包括多个子目录，每个子目录用以存储一个用户端的运维数据，所述子目录以用户端的ID为标识；
每个网络交换机每隔第三时间获取自己的运维数据进行打包得到该网络交换机ID为标识的数据包SWpackID，每个磁盘存储阵列每隔第四时间获取自己的运维数据进行打包得到该磁盘存储阵列ID为标识的数据包RpackID；
所述触发条件为一时间间隔，当达到该时间间隔时，所述云服务器、网络交换机及磁盘存储阵列分别将数据包SpackID、SWpackID及RpackID进行加密后传输至对应的运维数据管理服务器。
更进一步地，对SpackID、SWpackID及RpackID的加密操作为：
获取发送SpackID、SWpackID及RpackID对应的云服务器、网络交换机及磁盘存储阵列的IP地址IPs、IPsw及IPr；
使用哈希函数将IPs、IPsw及IPr转换为密钥keys、keysw及keyr；
将SpackID、SWpackID及RpackID的每一个拆分为n个数据块bi，其中，1≤i≤n，并令b0=0；
使用对应的密钥对每个数据块bi进行加密映射计算：f（bi）= bi 2/keyx+ bi-1 2/IPx，其中，keyx为keys、keysw或keyr，IPx为IPs、IPsw或IPr；
将每个数据包的n数据块进行加密映射计算完毕后得到的n个加密数据块发送至对应的运维数据管理服务器。
更进一步地，对数据包的解密操作为：所述运维数据管理服务器获取发送数据方的IP地址IPx，使用哈希函数将其转换为对应的密钥keyx，对所述n个加密数据块进行逆运算f’（bi）得到解密后的数据块后组成SpackID、SWpackID或RpackID进行存储。
更进一步地，所述运维数据管理服务器判断云服务器是否存在故障的操作为：
对接收到的每个云服务器的SpackID按照时间进行排序得到数据包序列SpackID ti，ti为时间；
从每个数据包中获取云服务器对应时间ti的数据访问量及连接用户端的个数形成数据访问量-用户端个数二元组（datati，Uti）；
基于历史时间的多个二元组（datati，Uti）与云服务器故障的关系构建预测函数F （data,U）=
Figure 799903DEST_PATH_IMAGE001
，
Figure 278158DEST_PATH_IMAGE002
；
从最近接收的数据包SpackID中获取云服务器的访问量及用户端个数，使用预测函数F（data,U）计算云服务器故障的概率，如果所述概率值大于第一阈值，则向用户发出警报。
更进一步地，所述网络交换机的SWpackID至少包括交换机的实时接收数据量、实时发送数据量、连接数及交换机温度，使用历史获取的网络交换机的SWpackID对第一神经网络进行训练得到训练后的第一神经网络，使用训练后的第一神经网络基于接收的交换机的SWpackID进行故障预测，如果预测存在故障，则向用户发出警报。
更进一步地，所述磁盘存储阵列的RpackID至少包括磁盘存储阵列的实时读出速度、实时写入速度、磁盘损坏数目及磁盘温度，使用历史获取的磁盘存储阵列的RpackID对第二神经网络进行训练得到训练后的第二神经网络，使用训练后的第二神经网络基于接收的磁盘存储阵列的RpackID进行故障预测，如果预测存在故障，则向用户发出警报。
本发明还提出了一种云服务系统的运维数据处理装置，所述装置包括存储器和处理器，所述处理器和存储器通过总线相连接，所述存储器上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
本发明的一种云服务系统的运维数据处理方法，所述云服务系统包括多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列，所述多个用户端通过所述多个网络交换机的至少之一与所述多个云服务器相连接，所述云服务器通过所述多个网络交换机的至少之一与所述多个磁盘存储阵列相连接，所述云服务系统还包括至少3个运维数据管理服务器，所述至少3个运维数据管理服务器通过所述多个网络交换机的至少之一与所述多个云服务器进行数据交换，该方法包括：设置步骤S101，根据多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列的空间分布关系设置对应的运维数据管理服务器；运维数据采集步骤S102，实时采集多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列的运维数据，当满足一触发条件时，将所述运维数据传输至对应的运维数据管理服务器；运维数据处理步骤S103，所述运维数据管理服务器对所述运维数据进行处理，判断对应的云服务器、用户端、网络交换机及磁盘存储阵列是否存在故障，如果是，则向用户发出警报。本发明根据空间分布关系，将位于某个地域的多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列设置至少一个对应的运维数据管理服务器，本发明使用时间间隔作为触发条件，即每隔一段时间将运维数据发送至运维数据管理服务器，避免了实时传输占用较多的带宽，影响网络性能，在计算f（bi）时，其为椭圆加密，且在计算时可将bi 2的计算后，保存在寄存器中，用于后面的计算，从而提高了加密计算的速度，由于采用椭圆加密计算，安全性较线性大为提高，确保了运维数据的安全，本发明在采集云服务器运维数据时，采集了与之相连接的用户端的运维数据，并将其作为云服务器运维数据的一部分，从而可以基于二者进行云服务的故障分析，本发明提出了基于二者进行云服务的故障分析的具体方式，对云服务器的故障分析，没有采用神经网络，而采用基于历史数据构建预测函数进行预测，其预测速度快。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例的一种云服务系统的运维数据处理方法的流程图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种云服务系统的运维数据处理方法，所述云服务系统包括多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列，所述多个用户端通过所述多个网络交换机的至少之一与所述多个云服务器相连接，所述云服务器通过所述多个网络交换机的至少之一与所述多个磁盘存储阵列相连接，所述云服务系统还包括至少3个运维数据管理服务器，所述至少3个运维数据管理服务器通过所述多个网络交换机的至少之一与所述多个云服务器进行数据交换，该方法包括：
设置步骤S101，根据多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列的空间分布关系设置对应的运维数据管理服务器；本发明所述的用户端可以是各种智能设备，比如智能手机、平板电脑、IPAD等等，其具有联网功能，使用各种APP与云服务器进行连接，为了提高运维数据的传输速度，根据空间分布关系设置多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列对应的运维数据管理服务器，比如，根据地域关系，将位于某个地域的多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列设置至少一个对应的运维数据管理服务器，这是本发明的重要发明点之一。
运维数据采集步骤S102，实时采集多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列的运维数据，当满足一触发条件时，将所述运维数据传输至对应的运维数据管理服务器；本发明所述的触发条件是一时间间隔，即每隔一段时间将运维数据发送至运维数据管理服务器，避免了实时传输占用较多的带宽，影响网络性能，这是本发明的重要发明点之一。
运维数据处理步骤S103，所述运维数据管理服务器对所述运维数据进行处理，判断对应的云服务器、用户端、网络交换机及磁盘存储阵列是否存在故障，如果是，则向用户发出警报。
在一个实施例中，所述至少3个运维数据管理服务器定时或实时地将获取的运维数据互相备份以防止在一运维数据管理服务器故障时运维数据丢失。本发明中，至少3个运维数据管理服务器数据相互备份，以提高运维数据保存咋安全性，提高了用户体验。
在一个实施例中，所述运维数据采集步骤S102包括：用户端每隔第一时间将自己的运维数据发送至与其相连的云服务器，云服务器每隔第二时间将接收到的来自至少一个用户端的运维数据与自己的运维数据进行打包得到该云服务器ID为标识的数据包SpackID，所述数据包SpackID包括用户端数据目录和云服务器数据目录，所述用户端数据目录包括多个子目录，每个子目录用以存储一个用户端的运维数据，所述子目录以用户端的ID为标识；
每个网络交换机每隔第三时间获取自己的运维数据进行打包得到该网络交换机ID为标识的数据包SWpackID，每个磁盘存储阵列每隔第四时间获取自己的运维数据进行打包得到该磁盘存储阵列ID为标识的数据包RpackID；
所述触发条件为一时间间隔，当达到该时间间隔时，所述云服务器、网络交换机及磁盘存储阵列分别将数据包SpackID、SWpackID及RpackID进行加密后传输至对应的运维数据管理服务器。
本发明中，在采集云服务器运维数据时，采集了与之相连接的用户端的运维数据，并将其作为云服务器运维数据的一部分，从而可以基于二者进行云服务的故障分析，这是现有技术不曾出现，属于本发明的重要发明点。
针对现有技术中，运维数据的传输要么是明文传输，要么采用复杂的加密算法，影响了用户体验的技术缺陷，提出了对SpackID、SWpackID及RpackID的加密的具体方式，该方式基于云服务器、网络交换机及磁盘存储阵列的IP地址进行椭圆加密，提高了加密计算的速度，具体操作为：
获取发送SpackID、SWpackID及RpackID对应的云服务器、网络交换机及磁盘存储阵列的IP地址IPs、IPsw及IPr；
使用哈希函数将IPs、IPsw及IPr转换为密钥keys、keysw及keyr；
将SpackID、SWpackID及RpackID的每一个拆分为n个数据块bi，其中，1≤i≤n，并令b0=0；
使用对应的密钥对每个数据块bi进行加密映射计算：f（bi）= bi 2/keyx+ bi-1 2/IPx，其中，keyx为keys、keysw或keyr，IPx为IPs、IPsw或IPr；在计算f（bi）时，其为椭圆加密，且在计算时可将bi 2的计算后，保存在寄存器中，用于后面的计算，从而提高了加密计算的速度，由于采用椭圆加密计算，安全性较线性大为提高，确保了运维数据的安全，这是本发明的重要发明点之另一。
将每个数据包的n数据块进行加密映射计算完毕后得到的n个加密数据块发送至对应的运维数据管理服务器。
在一个实施例中，对数据包的解密操作为：所述运维数据管理服务器获取发送数据方的IP地址IPx，使用哈希函数将其转换为对应的密钥keyx，对所述n个加密数据块进行逆运算f’（bi）得到解密后的数据块后组成SpackID、SWpackID或RpackID进行存储。
本发明创造性的使用IP地址哈希变换后的数据作为密钥，因为运维数据管理服务器可以直接获得发送运维数据各设备的IP地址，将其哈希变换后即可获取密钥，从而避免了现有的加密算法中采用对称密钥易被破解，非对称密钥加密算法复杂的缺陷，提高了运维数据解密的速度，这是本发明的另一个重要发明点。
在一个实施例中，所述运维数据管理服务器判断云服务器是否存在故障的操作为：
对接收到的每个云服务器的SpackID按照时间进行排序得到数据包序列SpackID ti，ti为时间；
从每个数据包中获取云服务器对应时间ti的数据访问量及连接用户端的个数形成访问量-用户端个数二元组（datati，Uti）；
基于历史时间的多个数据二元组（datati，Uti）与云服务器故障的关系构建预测函数F （data,U）=
Figure 748454DEST_PATH_IMAGE003
，
Figure 868725DEST_PATH_IMAGE004
，k为历史时间的二元组的个数；
从最近接收的数据包SpackID中获取云服务器的访问量及用户端个数，使用预测函数F（data,U）计算云服务器故障的概率，如果所述概率值大于第一阈值，则向用户发出警报。
基于上面所述，本发明在采集云服务器运维数据时，采集了与之相连接的用户端的运维数据，并将其作为云服务器运维数据的一部分，从而可以基于二者进行云服务的故障分析，本发明提出了基于二者进行云服务的故障分析的具体方式，对云服务器的故障分析，没有采用神经网络，而采用基于历史数据构建预测函数进行预测，其预测速度快，这是本发明的重要发明点之另一。
在一个实施例中，所述网络交换机的SWpackID至少包括交换机的实时接收数据量、实时发送数据量、连接数及交换机温度，使用历史获取的网络交换机的SWpackID对第一神经网络进行训练得到训练后的第一神经网络，使用训练后的第一神经网络基于接收的交换机的SWpackID进行故障预测，如果预测存在故障，则向用户发出警报，所采用的神经网络可以是CNN、DNN等等。
在一个实施例中，所述磁盘存储阵列的RpackID至少包括磁盘存储阵列的实时读出速度、实时写入速度、磁盘损坏数目及磁盘温度，使用历史获取的磁盘存储阵列的RpackID对第二神经网络进行训练得到训练后的第二神经网络，使用训练后的第二神经网络基于接收的磁盘存储阵列的RpackID进行故障预测，如果预测存在故障，则向用户发出警报，所采用的神经网络可以是CNN、DNN等等。
本发明还提出了一种云服务系统的运维数据处理装置，所述装置包括存储器和处理器，所述处理器和存储器通过总线相连接，所述存储器上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然， 在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质 中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种云服务系统的运维数据处理方法，其特征在于，所述云服务系统包括多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列，所述多个用户端通过所述多个网络交换机的至少之一与所述多个云服务器相连接，所述云服务器通过所述多个网络交换机的至少之一与所述多个磁盘存储阵列相连接，所述云服务系统还包括至少3个运维数据管理服务器，所述至少3个运维数据管理服务器通过所述多个网络交换机的至少之一与所述多个云服务器进行数据交换，该方法包括：
设置步骤，根据多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列的空间分布关系设置对应的运维数据管理服务器；
运维数据采集步骤，实时采集多个云服务器、多个用户端、多个网络交换机及多个磁盘存储阵列的运维数据，当满足一触发条件时，将所述运维数据传输至对应的运维数据管理服务器；
运维数据处理步骤，所述运维数据管理服务器对所述运维数据进行处理，判断对应的云服务器、用户端、网络交换机及磁盘存储阵列是否存在故障，如果是，则向用户发出警报。
2.根据权利要求1所述的方法，其特征在于，所述至少3个运维数据管理服务器定时或实时地将获取的运维数据互相备份以防止在一运维数据管理服务器故障时运维数据丢失。
3.根据权利要求1所述的方法，其特征在于，所述运维数据采集步骤包括：
用户端每隔第一时间将自己的运维数据发送至与其相连的云服务器，云服务器每隔第二时间将接收到的来自至少一个用户端的运维数据与自己的运维数据进行打包得到该云服务器的ID为标识的数据包SpackID，所述数据包SpackID包括用户端数据目录和云服务器数据目录，所述用户端数据目录包括多个子目录，每个子目录用以存储一个用户端的运维数据，所述子目录以用户端的ID为标识；
每个网络交换机每隔第三时间获取自己的运维数据进行打包得到该网络交换机的ID为标识的数据包SWpackID，每个磁盘存储阵列每隔第四时间获取自己的运维数据进行打包得到该磁盘存储阵列的ID为标识的数据包RpackID；
所述触发条件为一时间间隔，当达到该时间间隔时，所述云服务器、网络交换机及磁盘存储阵列分别将数据包SpackID、SWpackID及RpackID进行加密后传输至对应的运维数据管理服务器。
4.根据权利要求3所述的方法，其特征在于，对SpackID、SWpackID及RpackID的加密操作为：
获取发送SpackID、SWpackID及RpackID对应的云服务器、网络交换机及磁盘存储阵列的IP地址IPs、IPsw及IPr；
使用哈希函数将IPs、IPsw及IPr转换为密钥keys、keysw及keyr；
将SpackID、SWpackID及RpackID的每一个拆分为n个数据块bi，其中，1≤i≤n，并令b0=0；
使用对应的密钥对每个数据块bi进行加密映射计算：f（bi）= bi 2/keyx+ bi-1 2/IPx，其中，keyx为keys、keysw或keyr，IPx为IPs、IPsw或IPr；
将每个数据包的n数据块进行加密映射计算完毕后得到的n个加密数据块发送至对应的运维数据管理服务器。
5.根据权利要求4所述的方法，其特征在于，对数据包的解密操作为：所述运维数据管理服务器获取发送数据方的IP地址IPx，使用哈希函数将其转换为对应的密钥keyx，对所述n个加密数据块进行逆运算f’（bi）得到解密后的数据块后组成SpackID、SWpackID或RpackID进行存储。
6.根据权利要求5所述的方法，其特征在于，所述运维数据管理服务器判断云服务器是否存在故障的操作为：
对接收到的每个云服务器的SpackID按照时间进行排序得到数据包序列SpackID ti，ti为时间；
从每个数据包中获取云服务器对应时间ti的数据访问量及连接用户端的个数形成数据访问量-用户端个数二元组（datati，Uti）；
基于历史时间的多个二元组（datati，Uti）与云服务器故障的关系构建预测函数F（data, U）=
Figure 482418DEST_PATH_IMAGE001
，
Figure 608375DEST_PATH_IMAGE002
；
从最近接收的数据包SpackID中获取云服务器的访问量及用户端个数，使用预测函数F（data,U）计算云服务器故障的概率，如果所述概率值大于第一阈值，则向用户发出警报。
7.根据权利要求5所述的方法，其特征在于，所述网络交换机的SWpackID至少包括交换机的实时接收数据量、实时发送数据量、连接数及交换机温度，使用历史获取的网络交换机的SWpackID对第一神经网络进行训练得到训练后的第一神经网络，使用训练后的第一神经网络基于接收的交换机的SWpackID进行故障预测，如果预测存在故障，则向用户发出警报。
8.根据权利要求5所述的方法，其特征在于，所述磁盘存储阵列的RpackID至少包括磁盘存储阵列的实时读出速度、实时写入速度、磁盘损坏数目及磁盘温度，使用历史获取的磁盘存储阵列的RpackID对第二神经网络进行训练得到训练后的第二神经网络，使用训练后的第二神经网络基于接收的磁盘存储阵列的RpackID进行故障预测，如果预测存在故障，则向用户发出警报。
9.一种云服务系统的运维数据处理装置，其特征在于，所述装置包括存储器和处理器，所述处理器和存储器通过总线相连接，所述存储器上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行权利要求1-8之任一的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行权利要求1-8之任一的方法。
CN202011047134.0A 2020-09-29 2020-09-29 一种云服务系统的运维数据处理方法、装置及存储介质 Active CN111930599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011047134.0A CN111930599B (zh) 2020-09-29 2020-09-29 一种云服务系统的运维数据处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011047134.0A CN111930599B (zh) 2020-09-29 2020-09-29 一种云服务系统的运维数据处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111930599A true CN111930599A (zh) 2020-11-13
CN111930599B CN111930599B (zh) 2021-02-26

Family

ID=73334677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011047134.0A Active CN111930599B (zh) 2020-09-29 2020-09-29 一种云服务系统的运维数据处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111930599B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860189A (zh) * 2021-02-19 2021-05-28 山东大学 一种成本驱动的冷热分层云存储冗余存储方法与系统
CN115314412A (zh) * 2022-06-22 2022-11-08 北京邮电大学 一种面向运维的类型自适应的指标预测预警方法及装置
CN116910793A (zh) * 2023-09-12 2023-10-20 厦门泛卓信息科技有限公司 一种基于神经网络的数据加密方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104092730A (zh) * 2014-06-20 2014-10-08 裴兆欣 一种云计算系统
US9076314B2 (en) * 2007-08-13 2015-07-07 International Business Machines Corporation Emergent information pattern driven sensor networks
CN105024851A (zh) * 2015-06-25 2015-11-04 四川理工学院 一种基于云计算的监控管理系统
CN105871581A (zh) * 2015-11-13 2016-08-17 乐视云计算有限公司 云计算中报警信息的处理方法及装置
CN206894667U (zh) * 2017-06-01 2018-01-16 湖南商学院 网络系统监控报表系统
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控系统集成有限公司 一种人工智能预警系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076314B2 (en) * 2007-08-13 2015-07-07 International Business Machines Corporation Emergent information pattern driven sensor networks
CN104092730A (zh) * 2014-06-20 2014-10-08 裴兆欣 一种云计算系统
CN105024851A (zh) * 2015-06-25 2015-11-04 四川理工学院 一种基于云计算的监控管理系统
CN105871581A (zh) * 2015-11-13 2016-08-17 乐视云计算有限公司 云计算中报警信息的处理方法及装置
CN206894667U (zh) * 2017-06-01 2018-01-16 湖南商学院 网络系统监控报表系统
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控系统集成有限公司 一种人工智能预警系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860189A (zh) * 2021-02-19 2021-05-28 山东大学 一种成本驱动的冷热分层云存储冗余存储方法与系统
CN112860189B (zh) * 2021-02-19 2022-12-30 山东大学 一种成本驱动的冷热分层云存储冗余存储方法与系统
CN115314412A (zh) * 2022-06-22 2022-11-08 北京邮电大学 一种面向运维的类型自适应的指标预测预警方法及装置
CN115314412B (zh) * 2022-06-22 2023-09-05 北京邮电大学 一种面向运维的类型自适应的指标预测预警方法及装置
CN116910793A (zh) * 2023-09-12 2023-10-20 厦门泛卓信息科技有限公司 一种基于神经网络的数据加密方法、装置及存储介质
CN116910793B (zh) * 2023-09-12 2023-12-08 厦门泛卓信息科技有限公司 一种基于神经网络的数据加密方法、装置及存储介质

Also Published As

Publication number Publication date
CN111930599B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN111930599B (zh) 一种云服务系统的运维数据处理方法、装置及存储介质
CN111209334B (zh) 基于区块链的电力终端数据安全管理方法
CN110995513B (zh) 物联网系统中的数据发送、接收方法、物联网设备及平台
CN111277570A (zh) 数据的安全监测方法和装置、电子设备、可读介质
CN107770132B (zh) 一种对算法生成域名进行检测的方法及装置
CN112866185B (zh) 网络流量监控设备和异常流量检测方法
CN113489619B (zh) 一种基于时间序列分析的网络拓扑推断方法及装置
CN103179132A (zh) 一种检测和防御cc攻击的方法及装置
CN110839028B (zh) 一种雾协助工业物联网的隐私保护方法
CN114390051A (zh) 一种基于物流边缘网关的数据管理设备及其控制方法
CN112688822A (zh) 基于多点协同的边缘计算故障或安全威胁监测系统与方法
CN112788047A (zh) 基于工业互联网的网络流量异常检测方法及大数据平台
CN114448660B (zh) 一种物联网数据接入方法
CN102447707A (zh) 一种基于映射请求的DDoS检测与响应方法
CN110944016A (zh) DDoS攻击检测方法、装置、网络设备及存储介质
US10567399B2 (en) Fragmented malware hash lookup in cloud repository
CN112995130B (zh) 一种电力物联网数据传输系统
CN113839925A (zh) 基于数据挖掘技术的IPv6网络入侵检测方法及系统
CN111294553B (zh) 处理视频监控业务信令的方法、装置、设备和存储介质
CN114422227B (zh) 一种基于网络安全的数据采集分析系统
CN114785805B (zh) 一种数据传输方法、装置、电子设备以及存储介质
Priya et al. The Effect of Packet Redundancy Elimination Technique in Sensor Networks.
CN115150204A (zh) 一种数据传输系统
CN115174561A (zh) 一种文件分段传输方法及系统
CN113515491A (zh) 一种基于双层Bloom过滤器的云存储文件级去重方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant