CN203933662U - 一种云存储服务器集群的运维装置及系统 - Google Patents

Abstract

本实用新型适用于计算机领域，提供了一种云存储服务器集群的运维装置，包括用于采集被运维节点的资源数据的资源监控服务器、用于将采集到的资源数据进行格式转换的数据转换服务器、用于对经过格式转换的资源数据进行分析的数据处理服务器、以及用于将格式转换的资源数据和经数据处理服务器分析得到的数据进行传输的数据传输服务器。本实用新型将数据采集、数据处理、数据传输相分离，提高了系统的扩展性；资源数据格式集中转换数据格式后，分类处理和传输，减少了数据传输的中间环节以及等待时间，解决了现有技术存在的，数据传输、展示的延时，以及扩展性差的问题。另外，本实用新型还提供一种云存储服务器集群的运维系统。

Description

一种云存储服务器集群的运维装置及系统

技术领域

本实用新型属于计算机领域，尤其涉及一种云存储服务器集群的运维装置及系统。

背景技术

随着云计算、云存储技术的广泛发展和应用，如何高效的检测、管理、维护大规模计算机集群成为难题。运维系统具备资源检测、管理等功能，是解决这一难题的重要手段。

运维系统是一个包括系统资源检测、业务可用性检测、分布式文件管理、报警于一体的综合管理系统。它可以提供可视化的操作界面，辅助系统管理员及时了解云存储集群的运行状态，并且针对集群节点的异常情况提前做出预警，保障云存储集群的稳定与安全。在应用于大规模计算机集群运维时，如何快速的获取和处理集群中每台计算机的实时资源利用率，并在终端上实时刷新展示，成为一大挑战。

现有的运维系统通常采用单机的架构对计算机集群进行检测、管理、维护，数据传输的中间环节比较多，等待时间比较长，容易造成数据传输、展示的延时，不利于实时展示被运维节点的动态信息。另外，现有的运维系统往往使用消息队列的方式接收被运维节点的数据，需要所有被运维节点上使用对应的消息队列开 发库，而数据需要存储在内存或者磁盘中，扩展性差。

发明内容

本实用新型的目的在于提供一种云存储服务器集群的运维装置及系统，以解决现有技术存在的数据传输、展示的延时，以及扩展性差的问题。

本实用新型是这样实现的,一种云存储服务器集群的运维装置，包括：

用于采集被运维节点的资源数据的资源监控服务器；

用于将采集到的资源数据进行格式转换的数据转换服务器；

用于对经过格式转换的资源数据进行分析的数据处理服务器；

用于将格式转换的资源数据和经所述数据处理服务器分析得到的数据进行传输的数据传输服务器；

所述数据转换服务器分别与所述资源监控服务器、所述数据处理服务器、所述数据传输服务器连接，所述数据传输服务器与所述数据处理服务器连接。

在优选的实施例中，所述运维装置还包括：

用于存储格式转换的资源数据和经所述数据处理服务器分析得到的数据的数据库；

所述数据库分别与所述数据转换服务器、所述数据处理服务器、所述数据传输服务器连接。

在优选的实施例中，所述运维装置还包括：

用于根据所述数据库中所存储的数据产生拓扑结构数据的网络服务器；

所述网络服务器与所述数据库连接。

在优选的实施例中，所述资源数据包括硬件静态配置数据、软件静态配置数据、硬件动态数据和软件动态数据；所述网络服务器根据所述硬件静态配置数据 和软件静态配置数据产生拓扑结构数据。

在优选的实施例中，所述的数据转换服务器包括：

用于接收所述资源监控服务器采集的资源数据的数据接收模块；

用于将接收到的资源数据转换为统一数据格式的数据的数据转换模块；

用于输出统一数据格式的数据的数据转发模块；

所述数据转换模块分别与所述数据接收模块、所述数据转发模块连接。

在优选的实施例中，所述的数据处理服务器包括：

用于从所述格式转换的资源数据获取指标数据，分析云存储服务器集群的资源负载的数据分析模块。

在优选的实施例中，所述的数据处理服务器还包括：

用于配置处置策略的配置模块；

用于根据配置的处置策略和获取的指标数据，做出处置措施的数据处理模块；

所述数据处理模块分别与所述数据分析模块、所述配置模块连接。

在优选的实施例中，所述资源监控服务器还用于根据接收的运维指令，对被运维节点做出运维措施。

本实用新型还提供了一种云存储服务器集群的运维系统，包括云存储服务器集群的运维装置，以及至少一个用于接收所述运维装置传输的数据，并进行展示的客户端。

本实用新型的云存储服务器集群的运维装置级系统，通过将数据采集、数据格式转换、数据处理、数据传输相分离，提高整个运维装置的扩展性，通过数据转换服务器集中处理数据格式，提高数据处理的效率；而采集的资源数据一方面 经过格式转换后直接传输到客户端，减少了数据传输的中间流程以及等待时间，实现了实时的采集、处理与传输运维系统资源数据；另一方面通过数据处理服务器进行处理后再传输到客户端，通过分类处理和传输数据的方式，解决了现有技术存在的，数据处理和展示延时的问题。

附图说明

为了更清楚地说明本实用新型实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是实施例一的云存储服务器集群的运维装置的结构图；

图2是实施例二的云存储服务器集群的运维装置的结构图；

图3是数据转换服务器的内部结构图；

图4是数据处理服务器的内部结构图；

图5是云存储服务器集群的运维系统的结构图。

具体实施方式

为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。

实施例一

如图1所示，本实施例的云存储服务器集群的运维装置，包括资源监控服务器100、数据转换服务器200、数据处理服务器300、数据传输服务器400。

资源监控服务器100，包括采集模块101，用于采集被运维节点的资源数据。此处的被运维节点是指云存储服务器集群中的各个服务器。其中，资源数据包括硬件静态配置数据、软件静态配置数据、硬件动态数据和软件动态数据。硬件静态配置数据包括：CPU、内存、硬盘、网卡等硬件配置描述；软件静态配置数据包括：节点名称、节点IP、节点的拓扑位置、节点权重等；硬件动态数据包括：CPU、内存、网络IO、硬盘存储容量、硬盘IO的占用情况对应的数值等；软件动态数据包括：正在读/写的文件数量、存储的文件总数量、正在恢复的文件数量、正在补全的文件数量等。

数据转换服务器200，用于将采集到的资源数据进行数据格式转换。经过转换后的数据格式，根据运维装置的设置或者需要，可以是键值对的数据格式；也可以是其他的对象化数据格式。

如图3所示，数据转换服务器200，包括数据接收模块201、数据转换模块202和数据转发模块203。

数据接收模块201，用于接收资源监控服务器100采集的资源数据。数据接收模块201支持多种数据格式，包括基于普通文本、protobuf(google提供的一种开源序列化框架)、json(Java Script Object Notation，一种轻量级的数据交换格式)、xml(可扩展标记语言)、yaml、SNMP(简单网络管理协议)等格式的数据。通过修改数据接收模块201，数据转换服务器200可以支持由资源监控服务器100传输的至少两种格式的数据。

数据转换模块202，用于将接收的资源数据转换为统一格式的数据。在本实施例中，数据转换模块202输出键值对的数据格式，将键名与键值对应存储。通过修改数据转换模块202，本实用新型的运维装置可以支持多种的数据格式，具 有良好的兼容性。

数据转发模块203，用于输出统一数据格式的数据。

数据转换模块202分别与数据接收模块201、数据转发模块203连接。数据接收模块201接收到资源数据后，传输到数据转换模块202进行格式转换，然后由数据转发模块203输出结果数据到与数据转发模块203连接的数据处理服务器300、数据传输服务器400。

数据处理服务器300，用于对经过数据格式转换后的资源数据进行分析，得到云存储服务器集群的资源负载数据。

数据处理服务器300包括数据分析模块301，如图4所示。数据分析模块301，用于从格式转换的资源数据获取指标数据，分析被运维节点资源负载。指标数据是指能够表征被运维节点的资源总量与资源利用等情况的数据，包括CPU、内存、硬盘、网络、文件等资源的总量和利用数据。数据分析模块301获取指标数据之后，对各个被运维节点的相同项指标数据按照时间序列进行求和、平均、最大和最小运算，得到整个被运维的服务器集群的指标数据和负载情况。

优选的，本实用新型的云存储服务器集群的运维装置的数据处理服务器还包括配置模块302和数据处理模块303(参阅图4)。

配置模块302，用于配置处置策略。处置策略包括指标数据的阀值、违例幅度阀值、违例时间阀值、违例次数阀值等阀值，短信、邮件或者网页等提醒方式，以及服务降级、降权等维护指令。根据云存储服务器集群的实际情况以及用户的需要，可以配置不同风险偏好的处置策略，选择效率与安全的不同平衡点。

数据处理模块303，用于根据配置的处置策略和获取的指标数据，做出处置措施，包括做出提示、发出运维指令等。具体的，数据处理模块303的处理过程 如下所示：

数据处理模块303判断获取的指标数据是否违反阀值、违例的幅度，以决定是否忽略，或者进一步处置。如果指标数据没有违反阀值，或者违例幅度未超过配置的违例幅度阀值，或者违例次数未超过违例次数阀值，或者违例时间大于违例时间阀值，则忽略该指标数据，不做处置。

如果指标数据违例，并且违例幅度超过违例幅度阀值，违例次数超过违例次数阀值，违例时间小于违例时间阀值，则进行进一步的处置。根据设置的违例权重，综合评价违例幅度、违例次数、违例时间，得到违例风险值。当违例风险值较低时，可以择一选择网页、邮件或者短信等方式，提示用户存在的违例情况；当违例风险值较高时，可以通过短信、邮件或者网页等所有方式，提示违例情况，并可以发出服务降级等维护指令；当违例风险非常高时，通过短信、邮件或者网页等所有方式，提示违例情况，并采取服务降级、降权或者停止等维护指令。

数据处理模块302分别与数据分析模块301、配置模块303连接。通过在数据处理服务器300中设置配置模块302和数据处理模块303，判断资源负载情况，并根据用户或者系统设置，做出提示或者发出运维指令，使本实用新型能够自主的维护云存储服务器集群。

数据传输服务器400，用于格式转换的资源数据和经数据处理服务器分析得到的数据进行传输。数据传输服务器400采用WebSocket协议或者面向连接的socket协议进行数据的传输。WebSocket协议或者面向连接的socket协议。只需一个握手动作，即可在数据传输服务器400与后续服务器或者终端之间形成一条快速通道，直接传输数据，实现数据传输的实时性。

数据转换服务器200分别与资源监控服务器100、数据处理服务器300连接， 数据传输服务器400与数据转换服务器200、数据处理服务器300连接。

资源监控服务器100将采集到的被运维节点的资源数据，传输到数据转换服务器200进行数据格式转换，得到统一数据格式的资源数据。此时，资源数据的传输路径有两条，一条是直接传输到数据传输服务器400；另一条是传输到数据处理服务器300进行分析，得到资源负载数据，再传输到数据传输服务器400进行传输。

本实施例的云存储服务器集群的运维装置，将数据转换服务器200、数据分析服务器300与数据传输服务器400相分离，数据转换服务器200与数据传输服务器400直接连接。采集的资源数据并不需要等待完成数据分析，经过数据格式的转换之后，即可进行数据的传输，减少了数据传输的中间流程以及等待时间，实现了实时的采集、处理与传输资源数据。并且，由数据转换服务器200集中处理数据格式，而不是由资源监控服务器100在采集资源数据时进行数据格式转换，提高了数据处理的效率。通过修改数据接收模块201与数据转换模块202，可以支持多种数据格式的数据，具有良好的兼容性和可维护性。设置数据处理服务器300进一步的分析资源数据，可以得到各个被运维节点以及整个被运维集群的资源负载情况。

实施例二

如图2所示，为本实用新型第二实施例的云存储服务器集群的运维装置。与实施例一相比，本实施例的运维装置，还包括数据库500。

数据库500，用于存储格式转换的资源数据和经数据处理服务器分析得到的数据。

数据库500分别与数据转换服务器200、数据处理服务器300、数据传输服 务器400连接。数据转换服务器200转换格式后的数据、数据处理服务器300分析得到的数据传输到数据库500中进行存储，数据库500根据数据传输服务器400的请求传输存储的数据，提供数据检索、数据更新服务。本实施例中的数据库可以是单一的具有大容量存储空间的数据库，也可以是分布式的数据库。

通过设置数据库500，存储采集以及分析的数据，可以提供数据查询、数据更新的功能，可以有效的反映被运维节点以及整个服务器集群的资源负载历史，为现有的资源负载判断、处置提供的参考数据。

优选的，本实用新型的云存储服务器集群的运维装置，还包括网络服务器600。

网络服务器600，用于根据数据库中所存储的数据产生拓扑结构数据。此处的数据，主要是指硬件静态配置数据和软件静态配置数据。与此相对的是动态数据，包括硬件动态数据和软件动态数据。

网络服务器600与数据库500连接。

本实用新型实施方式中，网络服务器600根据数据库500中的静态配置数据产生的拓扑结构数据，能够表征各个被运维节点在服务器集群中的拓扑结构中的位置以及资源总量等情况。由于静态配置数据表征被运维节点的资源总量以及拓扑位置等信息，并不需要实时的采集与更新。根据需要，可以较长周期，或者在变动时触发采集静态配置数据。因此，通过设置网络服务器600，在传输中区分资源数据中的静态配置数据和动态数据，在保证数据有效性的同时，降低实时采集、传输、处理的数据总量，提高了装置的效率。

优选的，本实用新型的云存储服务器集群的运维装置，资源监控服务器100还用于根据接收的运维指令，对被运维节点做出运维措施。

资源监控服务器100接收经由数据传输服务器400传输的运维指令，此处的运维指令包括重启被运维节点、回收垃圾、升级模块等。根据接收的运维指令，资源监控服务器100执行相应措施，对被运维节点进行运维，以保障云存储服务器集群的稳定与正常工作。

如图5所示，本实用新型还提供了一种云存储服务器集群的运维系统，包括运维装置以及至少一个客户端700。

客户端700，用于接收运维装置中数据传输服务器400以及网络服务器600传输的数据，并进行展示。客户端700分别与数据传输服务器400、网络服务器600连接。

客户端700，根据网络服务器600产生的拓扑结构数据，生成拓扑结构图，直观的展示云存储服务器集群中各个被运维节点及其资源总量情况。根据数据传输服务器400传输的动态数据和分析处理的结果数据，客户端700动态的显示被运维节点实时的资源负载情况以及提示信息、处置数据。

客户端700采用曲线图表、柱状图表、数值变化、颜色变化等方式展示被运维节点的资源数据。在本实施例中，客户端采用html5canvas技术绘制图表。html5canvas技术在实现局部细粒度绘制的同时，占用资源更低，处理速度更快，不需要使用缓存，实现了数据的实时展示。

用户通过客户端700，采取设置关键词、条件或者选择拓扑节点等方式选择重点关注的被运维节点或者被运维节点集合，向数据传输服务器400提出数据传输请求。数据传输服务器400根据请求，读取数据库500中存储的相应数据，或者传输数据转换服务器200、数据处理服务器300输出的相应数据，实现对重点关注的被运维节点或者被运维节点集合资源负载的实时展示。

同时，根据客户端700展示的被运维节点的资源负载情况，或者根据实际需要，用户可以通过客户端700发出运维指令，包括重启被运维节点、回收垃圾、升级模块等，实现对被运维节点的主动运维，保障集群的稳定性和安全性。

本实用新型云存储服务器集群的运维装置及系统，通过将数据采集、数据格式转换、数据处理、数据传输相分离，提高整个运维系统的扩展性，通过数据转换服务器集中处理数据格式，提高数据处理的效率；而采集的资源数据一方面经过格式转换后直接传输到客户端，另一方面通过数据处理服务器进行处理后再传输到客户端，通过分类处理和传输数据的方式，减少了数据传输的中间流程以及等待时间，实现了实时的采集、处理与传输运维系统资源数据；数据传输服务器采用WebSocket协议或者面向连接的socket协议进行数据的推送，实现了数据实时传输。本实用新型还提供了一种云存储服务器集群的运维系统，通过客户端进行运维操作；并采用html5canvas技术进行数据的图表展示，在实现高质量的绘图时，占用资源更低，保证了数据展示的实时性。

以上所述仅为本实用新型的较佳实施例而已，并不用以限制本实用新型，凡在本实用新型的精神和原则之内的任何修改、等同替换和改进等，均应包含在本实用新型的保护范围之内。

Claims (9)

1.一种云存储服务器集群的运维装置，其特征在于，包括：

用于采集被运维节点的资源数据的资源监控服务器；

用于将采集到的资源数据进行格式转换的数据转换服务器；

用于对经过格式转换的资源数据进行分析的数据处理服务器；

用于将格式转换的资源数据和经所述数据处理服务器分析得到的数据进行传输的数据传输服务器；

所述数据转换服务器分别与所述资源监控服务器、所述数据处理服务器、所述数据传输服务器连接，所述数据传输服务器与所述数据处理服务器连接。

2.根据权利要求1所述的云存储服务器集群的运维装置，其特征在于，所述运维装置还包括：

用于存储格式转换的资源数据和经所述数据处理服务器分析得到的数据的数据库；

所述数据库分别与所述数据转换服务器、所述数据处理服务器、所述数据传输服务器连接。

3.根据权利要求2所述的云存储服务器集群的运维装置，其特征在于，所述运维装置还包括：

用于根据所述数据库中所存储的数据产生拓扑结构数据的网络服务器；

所述网络服务器与所述数据库连接。

4.根据权利要求3所述的云存储服务器集群的运维装置，其特征在于，所述资源数据包括硬件静态配置数据、软件静态配置数据、硬件动态数据和软件动态数据；所述网络服务器根据所述硬件静态配置数据和软件静态配置数据产生拓 扑结构数据。

5.根据权利要求1所述的云存储服务器集群的运维装置，其特征在于，所述的数据转换服务器包括：

用于接收所述资源监控服务器采集的资源数据的数据接收模块；

用于将接收到的资源数据转换为统一数据格式的数据的数据转换模块；

用于输出统一数据格式的数据的数据转发模块；

所述数据转换模块分别与所述数据接收模块、所述数据转发模块连接。

6.根据权利要求1所述的云存储服务器集群的运维装置，其特征在于，所述的数据处理服务器包括：

用于从所述格式转换的资源数据获取指标数据，分析云存储服务器集群的资源负载的数据分析模块。

7.根据权利要求5所述的云存储服务器集群的运维装置，其特征在于，所述的数据处理服务器还包括：

用于配置处置策略的配置模块；

用于根据配置的处置策略和获取的指标数据，做出处置措施的数据处理模块；

所述数据处理模块分别与所述数据分析模块、所述配置模块连接。

8.根据权利要求1所述的云存储服务器集群的运维装置，其特征在于，所述资源监控服务器还用于根据接收的运维指令，对被运维节点做出运维措施。

9.一种云存储服务器集群的运维系统，其特征在于，包括如权利要求1至8任意一项所述的云存储服务器集群的运维装置，以及至少一个用于接收所述运维装置传输的数据，并进行展示的客户端。