CN111586043B - 一种计算机设备运维管理系统 - Google Patents

Abstract

本公开涉及一种计算机设备运维管理系统，包括：客户端，所述客户端至少包括一配置监听模块和一任务执行模块；服务端，所述服务端至少包括一WEB管理界面、一配置管理模块及任务调度模块；分布式存储，其配置为存储可注册系统服务，将所述新配置文件传送至所述客户端并置为当下配置文件；数据库，所述数据库配置为存储所述WEB管理界面对应文件及所述计划任务对应的任务列表。本发明可使得运维人员能够随时对任务调度的配置文件进行调整及掌握警报信息。

Description

一种计算机设备运维管理系统

技术领域

本发明涉及一种管理系统，特别是一种计算机设备运维管理系统。

背景技术

移动互联网时代与大数据时代的来临，正在不断颠覆各行各业。运维人员同样面临各种挑战与机会。一款软件产品的发布离不开两类人的支持，即开发和运维。人们常常会把他们提到一起，如今DevOps开发模式的盛行也正是对他们的重新定义。目前软件环境的变化可以说是开发者的黄金时代，而对于运维来说，这些变化正给他们带来新的挑战和期望。过去的十年给软件开发环境带来了翻天覆地的变化，其中最大的变化是通过开源和云来生产基础设施。就产品的灵活性和生产力而言，这绝对是对开发者利好的消息，但也给运维人员带来了一些新的挑战和期望。在过去，开发者的工具箱里仅有几个大型软件供应商提供的单片式解决方案，比如Oracle、IBM、HP等。这些解决方案一般都比较昂贵，并且还会伴随整合和更新较慢等特点。一旦公司购买了它们，无论它们是否适合你，你都必须好好地利用它们。如今，丰富的开源和云解决方案的出现彻底把开发者从传统的工具依赖中解放出来，开发者可以在过去同等的条件下享受更好的基础设施。开发者也可以根据自己的工作需求选择合适的工具，并且它们是免费廉价的，这些工具能够更好更快的进行整合，根据需求进行规模化扩展。现在，一个公司使用多种数据库(Redis用于缓存、Elasticsearch用来搜索、MySQL等等)已经变的非常普遍，这些工具分工明确，兼容多个平台。与此类似的各种分工工具还有：监控工具、计算环境、应用框架等。开发者可以因时制宜地选择各种工具，提高产品的开发灵活性、生产力、性能等。但是大量的产品问题都是来自内部的代码部署和架构变更。当进行持续部署(更不用提虚拟化和基础设施即代码了)，变更的速度会大幅提升，速度地提升也很容易导致产品出错。由此可以得出一个论点，即持续部署可以减少潜在的、灾难性的错误，因为变化的周期变短、增量变少。现代基础设施之间的最佳组合给运维人员带来了不少灾难。可移动的部分越来越多、依赖关系更加复杂以及更多的监控工具会时不时地发出各种警报。在这样的环境中，故障排除已经成为一个永无止境地分类过程：过滤报警内容、优先考虑和应对潜在的事故，可以简称为报警疲劳。这已经是一个很常见的现象了，运维人员抱怨到：他们有50％—70％的时间都消耗在了响应报警上，以至于影响到了他们的核心工作：构建业务支持的基础设施架构。运维人员迫切需要一个高效的平台来处理这些告警和任务调度。一个很好的出发点就是利用定时任务系统来实现任务调度，例如在中国专利申请公开CN105872073A中公开了一种基于ETCD集群的分布式定时任务系统的设计方法，在该方法中，包括以下步骤：S1、根据业务需求准备定时任务的配置文件；S2、定时任务配置服务将所述配置文件存入ETCD 集群中的第一服务器，再由所述ETCD集群将所述配置文件的存储路径传送至执行服务集群中的第二服务器；S3、所述第二服务器按照所述存储路径从第一服务器中读取配置文件，并应用所述配置文件；S4、需要更新配置文件时，直接用新的配置文件替换ETCD集群中的配置文件；S5、所述第二服务器监听配置文件的更新；S6、所述第二服务器申请执行定时任务；S7、当所述第二服务器申请到定时任务时，开始执行所述定时任务，并更新定时任务的申请状态至ETCD集群中，增加当前定时任务的描述信息至新的配置文件中；否则，重复步骤S5。可以看到，在该申请中，服务集群中的第二服务器通过共享同一个配置文件，采用竞争方式来完成一个定时任务，对于不同的定时任务，可以根据业务需求随时更新配置文件，并且直接用新的配置文件替换ETCD集群中的配置文件。但整个环节不具备告警环节，因此在系统出现错误时，运维人员对错误的排查是非常困难的。

发明内容

鉴于现有技术存在的上述问题，本发明的目的是提供一种使得运维人员能够随时对任务调度的配置文件进行调整及掌握警报信息的计算机设备运维管理系统。

为了实现上述目的，本发明一个方面提供的一种计算机设备运维管理系统，包括：

客户端，所述客户端至少包括一配置监听模块和一任务执行模块，所述配置监听模块配置为获取当下配置文件，所述任务执行模块配置为根据所述配置文件将计划任务注册为系统服务并根据所述系统服务执行所述计划任务；

服务端，所述服务端至少包括一WEB管理界面、一配置管理模块及任务调度模块，所述WEB管理界面配置为向一管理终端提供基于C/S架构的 WEB服务，并接收配置更改指令或任务调度指令，所述配置管理模块配置为根据所述配置更改指令生成新配置文件，所述任务调度模块配置为根据所述任务调度指令向所述客户端发出调度指令；

分布式存储，其配置为存储可注册系统服务，将所述新配置文件传送至所述客户端并置为当下配置文件；

数据库，所述数据库配置为存储所述WEB管理界面对应文件及所述计划任务对应的任务列表。

作为优选，所述分布式存储还存储有多个所述客户端对应的IP地址，所述任务调度模块包括：

RPC连接池，其配置为根据多个所述客户端的IP地址，保存多个所述客户端与所述服务端的已建立的通信连接；

定时模块，其配置为从所述数据库获取所述任务列表并生成定时信息；

调度模块，其配置为根据所述定时信息及已建立的通信连接对应向所述客户端发送调度指令。

作为优选，所述任务调度模块还包括告警模块，所述告警模块配置为根据所述定时模块及所述调度模块的错误日志生成报警信息，所述WEB管理界面还配置为向所述管理终端推送所述报警信息。

作为优选，所述分布式存储为基于键-值的存储系统。

作为优选，所述分布式存储包括：

HTTP服务模块，其配置为接收数据存储或变更请求并传送配置文件、客户端IP地址及客户端的负载信息，且以客户端IP地址为键，以配置文件及负载信息为值；

存储模块，其配置为根据所述HTTP服务模块存储所述配置文件、客户端IP地址及客户端的负载信息。

作为优选，所述分布式存储还包括一致性校验模块，其配置为对所述配置文件、客户端IP地址及客户端的负载信息进行一致性校验。

作为优选，所述分布式存储还包括数据预写模块，其配置为在所述一致性校验模块的校验通过之前进行数据预写。

作为优选，所述数据预写模块包括对数据预写操作进行记录的日志模块以及对在数据校验通过后进行数据存储快照的快照模块。

作为优选，所述任务执行模块在将计划任务注册为系统服务时，向所述分布式存储发送所述客户端的负载信息，所述调度模块还配置为获取所述客户端的所述负载信息，并根据所述负载信息及已建立的通信连接选择负载较低的所述客户端执行所述计划任务。

本发明提供的一种计算机设备运维管理系统，可使运维人员通过笔记本、 PC或智能移动终端，通过WEB管理界面对客户端的计划任务对应的配置文件进行创建、更新，同时还可由管理终端接收告警模块的各种告警信息，便于运维操作。

附图说明

图1为本发明的一种计算机设备运维管理系统的结构框图。

图2为本发明的一种计算机设备运维管理系统中的分布式存储的结构框图。

主要附图标记：

10-服务端，20-客户端，30-分布式存储，40-数据库，50-管理终端，11-WEB 管理界面，12-配置管理模块，13-任务调度模块，131-告警模块，132-RPC 连接池，133-定时模块，134-调度模块，21-配置监听模块，22-任务执行模块。

具体实施方式

为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。

此处参考附图描述本发明的各种方案以及特征。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本发明的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本发明的具体实施例；然而，应当理解，所发明的实施例仅仅是本发明的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以根据用户的历史的操作，判明真实的意图，避免不必要或多余的细节使得本发明模糊不清。因此，本文所发明的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本发明。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本发明的相同或不同实施例中的一个或多个。

如图1所示，本发明实施例一个方面提供的一种计算机设备运维管理系统，包括：

客户端20，所述客户端20至少包括一配置监听模块21和一任务执行模块22，所述配置监听模块21配置为获取当下配置文件，所述任务执行模块 22配置为根据所述配置文件将计划任务注册为系统服务并根据所述系统服务执行所述计划任务；

服务端10，所述服务端10至少包括一WEB管理界面11、一配置管理模块12及任务调度模块13，所述WEB管理界面11配置为向一管理终端50 提供基于C/S架构的WEB服务，并接收配置更改指令或任务调度指令，所述配置管理模块12配置为根据所述配置更改指令生成新配置文件，所述任务调度模块13配置为根据所述任务调度指令向所述客户端20发出调度指令；

分布式存储30，其配置为存储可注册系统服务，将所述新配置文件传送至所述客户端20并置为当下配置文件；

数据库40，所述数据库40配置为存储所述WEB管理界面11对应文件及所述计划任务对应的任务列表。

在一些优选实施方式中，所述分布式存储优选为基于键-值(Key-Value) 的存储系统。且该分布式存储优选还存储有多个所述客户端20对应的IP地址，所述任务调度模块包括：RPC连接池132，其配置为根据多个所述客户端20的IP地址，保存多个所述客户端20与所述服务端10的已建立的通信连接；定时模块133，其配置为从所述数据库40获取所述任务列表并生成定时信息；调度模块134，其配置为根据所述定时信息及已建立的通信连接对应向所述客户端20发送调度指令。具体地，如图2所示，所述分布式存储优选包括：HTTP服务模块31，其配置为接收数据存储或变更请求并传送配置文件、客户端IP地址及客户端的负载信息，且以客户端IP地址为键(Key)，以配置文件及负载信息为值(Value)；存储模块32，其配置为根据所述HTTP 服务模块31存储所述配置文件、客户端IP地址及客户端的负载信息。

再进一步地，作为优选，所述分布式存储30还包括一致性校验模块33，其配置为对所述配置文件、客户端IP地址及客户端的负载信息进行一致性校验。在本发明中，进行一次性校验时，优选采用CRC32算法对所述客户端 IP进行计算，并以计算结果作为附加信息，该附加信息与配置文件、客户端 IP地址及客户端的负载信息一起作为值存储，并在数据发生更改时作为一致性校验时的参考值。另外，所述分布式存储30还包括数据预写模块34，其配置为在所述一致性校验模块的校验通过之前进行数据预写。所述数据预写模块34包括对数据预写操作进行记录的日志模块342以及对在数据校验通过后进行数据存储快照的快照模块341。快照模块341的主要作用在于保证数据多次修改后仍能在错误修改后返回之前的存储值。

在另一些实施例中，作为优选，所述任务调度模块13还包括告警模块 131，所述告警模块131配置为根据所述定时模块133及所述调度模块134 的错误日志生成报警信息，所述WEB管理界面11还配置为向所述管理终端 50推送所述报警信息。管理终端50在本发明中，可示例性的为笔记本、PC 或智能终端。

另外，所述任务执行模块22在将计划任务注册为系统服务时，向所述分布式存储30发送所述客户端20的负载信息，所述调度模块134还配置为获取所述客户端20的所述负载信息，并根据所述负载信息及已建立的通信连接选择负载较低的所述客户端20执行所述计划任务。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的集群组件安装方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等) 或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC) 等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA) 总线、外部设备互连(Peripheral Component，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器 (EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (6)

1.一种计算机设备运维管理系统，包括：

客户端，所述客户端至少包括一配置监听模块和一任务执行模块，所述配置监听模块配置为获取当下配置文件，所述任务执行模块配置为根据所述配置文件将计划任务注册为系统服务并根据所述系统服务执行所述计划任务；

服务端，所述服务端至少包括一WEB管理界面、一配置管理模块及任务调度模块，所述WEB管理界面配置为向一管理终端提供基于C/S架构的WEB服务，并接收配置更改指令或任务调度指令，所述配置管理模块配置为根据所述配置更改指令生成新配置文件，所述任务调度模块配置为根据所述任务调度指令向所述客户端发出调度指令；

分布式存储，其配置为存储可注册系统服务，将所述新配置文件传送至所述客户端并置为当下配置文件；所述分布式存储为基于键-值的存储系统，且所述分布式存储包括：HTTP服务模块，其配置为接收数据存储或变更请求并传送配置文件、客户端IP地址及客户端的负载信息，且以客户端IP地址为键，以配置文件及负载信息为值；存储模块，其配置为根据所述HTTP服务模块存储所述配置文件、客户端IP地址及客户端的负载信息；所述分布式存储还包括一致性校验模块，其配置为对所述配置文件、客户端IP地址及客户端的负载信息进行一致性校验；在进行一次性校验时，采用CRC32算法对所述客户端IP进行计算，并以计算结果作为附加信息，该附加信息与配置文件、客户端IP地址及客户端的负载信息一起作为值存储，并在数据发生更改时作为一致性校验时的参考值；

数据库，所述数据库配置为存储所述WEB管理界面对应文件及所述计划任务对应的任务列表。

2.如权利要求1所述的系统，所述分布式存储还存储有多个所述客户端对应的IP地址，所述任务调度模块包括：

RPC连接池，其配置为根据多个所述客户端的IP地址，保存多个所述客户端与所述服务端的已建立的通信连接；

定时模块，其配置为从所述数据库获取所述任务列表并生成定时信息；

调度模块，其配置为根据所述定时信息及已建立的通信连接对应向所述客户端发送调度指令。

3.如权利要求2所述的系统，所述任务调度模块还包括告警模块，所述告警模块配置为根据所述定时模块及所述调度模块的错误日志生成报警信息，所述WEB管理界面还配置为向所述管理终端推送所述报警信息。

4.如权利要求1所述的系统，所述分布式存储还包括数据预写模块，其配置为在所述一致性校验模块的校验通过之前进行数据预写。

5.如权利要求4所述的系统，所述数据预写模块包括对数据预写操作进行记录的日志模块以及对在数据校验通过后进行数据存储快照的快照模块。

6.如权利要求1所述的系统，所述任务执行模块在将计划任务注册为系统服务时，向所述分布式存储发送所述客户端的负载信息，所述调度模块还配置为获取所述客户端的所述负载信息，并根据所述负载信息及已建立的通信连接选择负载较低的所述客户端执行所述计划任务。

Images