CN108733693A - 数据管理方法、装置、存储介质及处理器 - Google Patents

Abstract

本发明提供了一种数据管理方法、装置、存储介质及处理器，上述方法包括：确定与预定指标对应的参数组，其中，参数组包括用于描述预定指标的性能的阈值；确定与参数组对应的主机集合；对预定指标、参数组以及主机集合的对应关系进行管理。通过本发明，解决了相关技术中集群管理中的数据维护困难的问题，进而达到了简化数据管理的效果。

Description

数据管理方法、装置、存储介质及处理器

技术领域

本发明涉及通信领域，具体而言，涉及一种数据管理方法、装置、存储介质及处理器。

背景技术

随着大数据时代的到来，服务种类越来越多，业务规模越来越大，开发运行环境越来越复杂，集群管理引起了很多大型和中型公司的关注，在节省成本、提升可用性，简化运维等方面都意义重大。相关技术中对大数据都投入了大量的研究。由于集群内部的松耦合方式以及资源分布的特点，对其日常维护管理提出了较高的要求。

为使大数据集群对外呈现单一的入口，添加、删除、维护节点的动态配置对用户透明，需要大数据集群管理可以自动调度和管控资源，需要管理大量的资源数据，如主机的名称、IP地址、中央处理器(Central Processing Unit，简称为CPU)使用率、内存使用率、硬盘使用率等等。

一方面大数据集群管理的指标非常多，另一方面集群的主机节点非常多，维护数据成几何级增长，使集群管理中的数据维护异常困难。

针对上述技术问题，相关技术中并未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据管理方法、装置、存储介质及处理器，以至少解决相关技术中集群管理中的数据维护困难的问题。

根据本发明的一个实施例，提供了一种数据管理方法，包括：确定与预定指标对应的参数组，其中，所述参数组包括用于描述所述预定指标的性能的阈值；确定与所述参数组对应的主机集合；对所述预定指标、所述参数组以及所述主机集合的对应关系进行管理。

可选地，确定与所述预定指标对应的所述参数组包括：确定与所述预定指标对应的参数组数值；按照数值大小对所述参数组数值进行分类；根据分类结果确定与所述预定指标对应的一个或多个所述参数组。

可选地，确定与所述参数组对应的主机集合包括：确定一个或多个中配置的与所述预定指标对应的参数组数值；将具有相同参数组数值的主机确定为同一组主机集合，并将具备与所述参数组相同的参数组数值的主机集合确定为与所述参数组对应的主机集合。

可选地，对所述预定指标、所述参数组以及所述主机集合的对应关系进行管理包括：对所述参数组进行第一处理，其中，所述第一处理包括如下至少之一：新建参数组、修改参数组、对修改后的参数组进行恢复；重新确定与进行了所述第一处理后的参数组对应的主机集合；对所述预定指标、进行了所述第一处理后的参数组以及重新确定的主机集合的对应关系进行管理。

可选地，对所述预定指标、所述参数组以及所述主机集合的对应关系进行管理包括：对所述主机集合中的主机进行第二处理，其中，所述第二处理包括如下至少之一：在所述主机集合中增加一个或多个主机、删除所述主机集合中的一个或多个主机；对所述预定指标、所述参数组以及进行了所述第二处理后的主机集合的对应关系进行管理。

根据本发明另一个实施例，还提供一种数据管理装置，包括：第一确定模块，用于确定与预定指标对应的参数组，其中，所述参数组包括用于描述所述预定指标的性能的阈值；第二确定模块，用于确定与所述参数组对应的主机集合；管理模块，用于对所述预定指标、所述参数组以及所述主机集合的对应关系进行管理。

可选地，所述第一确定模块包括：第一确定单元，用于确定与所述预定指标对应的参数组数值；分类单元，用于按照数值大小对所述参数组数值进行分类；第二确定单元，根据分类结果确定与所述预定指标对应的一个或多个所述参数组。

可选地，所述第二确定模块包括：第三确定单元，用于确定一个或多个中配置的与所述预定指标对应的参数组数值；第四确定单元，用于将具有相同参数组数值的主机确定为同一组主机集合，并将具备与所述参数组相同的参数组数值的主机集合确定为与所述参数组对应的主机集合。

可选地，所述管理模块包括：第一处理单元，用于对所述参数组进行第一处理，其中，所述第一处理包括如下至少之一：新建参数组、修改参数组、对修改后的参数组进行恢复；第二处理单元，用于重新确定与进行了所述第一处理后的参数组对应的主机集合；第一管理单元，用于对所述预定指标、进行了所述第一处理后的参数组以及重新确定的主机集合的对应关系进行管理。

可选地，所述管理模块包括：第三处理单元，用于对所述主机集合中的主机进行第二处理，其中，所述第二处理包括如下至少之一：在所述主机集合中增加一个或多个主机、删除所述主机集合中的一个或多个主机；第二管理单元，用于对所述预定指标、所述参数组以及进行了所述第二处理后的主机集合的对应关系进行管理。

根据本发明的另一个实施例，还提供一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行数据管理方法中的任一项所述的方法。

根据本发明的另一个实施例，还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行数据管理方法中任一项所述的方法。

通过本发明，由于确定了与预定指标对应的参数组，确定了与参数组对应的主机集合；其中，参数组包括用于描述预定指标的性能的阈值；并对预定指标、参数组以及主机集合的对应关系进行管理。使得预定指标中相同数值的参数组数量会远远少于主机数量。树形结构的改变、分步骤数据管理的方式大大缩减了数据维护量。因此，可以解决相关技术中集群管理中的数据维护困难的问题，达到简化数据管理的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种数据管理方法的移动终端的硬件结构框图；

图2是根据本发明实施例的数据管理方法的流程图；

图3是根据本发明实施例的告警阈值的数据库存储示意图；

图4是相关技术中的集群数据管理树形结构示意图；

图5是根据本发明实施例的集群数据管理树形结构示意图；

图6是根据本发明实施例的步骤流程图；

图7是根据本发明实施例的告警阈值的数据库存储示意图；

图8是相关技术中告警阈值的界面示意图；

图9是根据本发明实施例的告警阈值的界面示意图；

图10是根据本发明实施例的告警阈值新增参数组示意图；

图11是根据本发明实施例的告警阈值主机集合管理示意图；

图12是根据本发明实施例的数据管理装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种数据管理方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的数据管理方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种数据管理方法，图2是根据本发明实施例的数据管理方法的流程图，如图2所示，该流程可以包括如下步骤：

步骤S202，确定与预定指标对应的参数组，其中，上述参数组包括用于描述上述预定指标的性能的阈值；

步骤S204，确定与上述参数组对应的主机集合；

步骤S206，对上述预定指标、上述参数组以及上述主机集合的对应关系进行管理。

通过上述步骤，由于确定了与预定指标对应的参数组，确定了与参数组对应的主机集合；其中，参数组包括用于描述预定指标的性能的阈值；并对预定指标、参数组以及主机集合的对应关系进行管理。使得预定指标中相同数值的参数组数量会远远少于主机数量。通过树形结构的改变、分步骤数据管理的方式能够大大缩减数据维护量。因此，可以解决相关技术中集群管理中的数据维护困难的问题，达到简化数据管理的效果。

可选地，上述步骤的执行主体可以为终端，但不限于此，上述的预定指标的种类可以为多种，可以为CPU使用率，可以为内存使用率，可以为硬盘使用率等等，并且，与一个预定指标对应的参数组可为一组或多组。

在一个可选的实施例中，确定与上述预定指标对应的上述参数组可以包括：确定与上述预定指标对应的参数组数值；按照数值大小对上述参数组数值进行分类；根据分类结果确定与上述预定指标对应的一个或多个上述参数组。在本实施例中，上述预定指标可以是如上述所述的CPU使用率、内存使用率、硬盘使用率或者是计算机的其他指标。上述参数组数值中包括一个或者多个数值。

在一个可选的实施例中，确定与上述参数组对应的主机集合可以包括：确定一个或多个中配置的与上述预定指标对应的参数组数值；将具有相同参数组数值的主机确定为同一组主机集合，并将具备与上述参数组相同的参数组数值的主机集合确定为与上述参数组对应的主机集合。在本实施例中，根据预定指标、参数组数值与主机集合构建集群数据管理树形结构。

在一个可选的实施例中，对上述预定指标、上述参数组以及上述主机集合的对应关系进行管理可以包括：对上述参数组进行第一处理，其中，上述第一处理包括如下至少之一：新建参数组、修改参数组、对修改后的参数组进行恢复；重新确定与进行了上述第一处理后的参数组对应的主机集合；对上述预定指标、进行了上述第一处理后的参数组以及重新确定的主机集合的对应关系进行管理。在本实施例中，将上述预定指标、上述参数组以及上述主机集合集成在一个系统中，通过系统对新建参数组、修改参数组、对修改后的参数组进行恢复进行操作。

在一个可选的实施例中，对上述预定指标、上述参数组以及上述主机集合的对应关系进行管理可以包括：对上述主机集合中的主机进行第二处理，其中，上述第二处理包括如下至少之一：在上述主机集合中增加一个或多个主机、删除上述主机集合中的一个或多个主机；对上述预定指标、上述参数组以及进行了上述第二处理后的主机集合的对应关系进行管理。

下面结合具体实施例对本发明进行详细说明：

具体实施例1：

大数据集群管理中有一类数据，它是主机相关的配置数据，因集群的每台主机都有一套这样的数据，导致这类数据非常多。如图3中告警阈值的参数配置表。一项指标，每台主机都有一组阈值数据，事例中只是列举了10台主机的情况。如集群中有上百台，上千台的主机，仅一项指标，就有成百上千的阈值数值。大数据集群中，指标项非常多，从而导致主机相关的配置数据非常多，达到上万、几十万、上百万的数据量。这些大批量的数据在日常维护中展示、查找、修改都异常困难。

鉴于大数据集群管理中主机数量比较多，指标参数组成几何级成倍增长，给数据的管理与维护带来很大的困难，针对此问题，提出本发明以便提供一种易用的、易于维护的新型数据管理方法。

常规的集群数据管理树形结构如图4所示，指标(对应上述中的预定指标)/主机/参数组。指标是根节点，其下是主机节点，最后一级是参数组节点。当主机数量非常多时，参数组随主机数量成倍增长。

大数据集群主机数量虽然多，但各主机节点上的参数组数值并非完全不同。图3中10台主机的CPU使用率指标采用了相同的阈值数据。通常一批主机因机器性能、配置等，参数组采用相同的数值，以便主机运行有相同的效能，以及方便维护。一台主机一套数值的情况非常少。

因此，根据大数据集群主机的这一特点，本发明将集群数据管理的树形结构改变为如图5，指标/参数组/主机集合。根节点仍然是指标，其下是同值参数组，最后一级是配有同值数据的主机集合。

根据树形结构的改变本发明需要如图6的实施步骤：

步骤602，指标参数组数值分类；

首先对指标的参数组数值进行分类，汇总出不同数值的参数组，如图7第二列是对告警阈值事例的两项指标数值的分类，每项指标只有一个参数组数值。

为实现对数值分类的维护，系统必须同时提供三个功能：

新建参数组：可以在指标下新建新的参数组；

修改参数组：可以快速修改整组的数值，而不需要主机信息的参与；

恢复默认值：可以将一组数值快速恢复至默认值，以及可以将该指标下所有数值一次性恢复至默认值。这些操作均不需要主机信息的参与。

步骤604，同值参数组主机集合；参数值数值分类步骤完成后，需要将配置该数值的主机进行集合，如图7第三列是对告警阈值事例的主机集合。

在该步骤中，需要提供单个的或多个的增删主机的功能，可以对该参数组下的主机进行快速的操作。

本具体实施例的有益效果如下：

因指标中相同数值的参数组数量会远远少于主机数量。本实施例中的树形结构改变、分步骤数据管理的方式将大大缩减数据维护量。以一个200台主机的大数据集群为例，如有200个指标项，常规的维护数据量将达到40000个参数组，而采用本发明后，假设每个指标平均有4种数值的参数组，数据量仅800个，大大压缩了数据，再配合搜索、筛选等功能，这类数据的管理将大为简化。

具体实施例2：

以图3的告警阈值为例，每项指标每台主机都有一套告警阈值的参数组，包括了警告告警、次要告警、主要告警、严重告警。

常规的界面实现方法简单，直接把数据库中的字段直译在界面上，如图8所示，一条记录一行。同一个指标，每台主机展现一行，记录条数非常多。对于主机数量成百上千的集群，数据量非常庞大。维护相当困难。

采用本实施例对数据树形结构进行调整，并进行指标参数组数值分类及同值参数组主机集合两步骤。将事例的告警阈值参数组调整到主机前，相同数值的参数组为一个组，其下是该组值的主机地址集合。改进后的界面如图9所示，页面呈现的数据量有很大的压缩，且信息量比之前的页面多很多，可维护性大大提升。

图9中每列数值均可以直接修改，满足对整组数值的快速修改。左侧的加号，右侧及上部的恢复按钮，满足新增参数组和恢复默认值的功能。新增参数组弹框界面如图10。

主机集合可在如图11的弹窗中以组的概念来呈现，可以做到对单个或批量主机的增加、删除，维护非常方便。

综上所述，借助于本实施例的技术方案，可以解决大数据集群管理中主机相关数据管理困难的问题。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种数据管理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图12是根据本发明实施例的数据管理装置的结构框图，如图12所示，该装置可以包括：第一确定模块1202、第二确定模块1204和管理模块1206，下面对该装置进行详细说明：

第一确定模块1202，用于确定与预定指标对应的参数组，其中，上述参数组包括用于描述上述预定指标的性能的阈值；第二确定模块1204，连接至上述第一确定模块1202，用于确定与上述参数组对应的主机集合；管理模块1206，连接至上述第二确定模块1204，用于对上述预定指标、上述参数组以及上述主机集合的对应关系进行管理。

在一个可选的实施例中，上述第一确定模块1202可以包括：第一确定单元，用于确定与上述预定指标对应的参数组数值；分类单元，用于按照数值大小对上述参数组数值进行分类；第二确定单元，根据分类结果确定与上述预定指标对应的一个或多个上述参数组。

在一个可选的实施例中，上述第二确定模块1204可以包括：第三确定单元，用于确定一个或多个中配置的与上述预定指标对应的参数组数值；第四确定单元，用于将具有相同参数组数值的主机确定为同一组主机集合，并将具备与上述参数组相同的参数组数值的主机集合确定为与上述参数组对应的主机集合。

在一个可选的实施例中，上述管理模块1206可以包括：第一处理单元，用于对上述参数组进行第一处理，其中，上述第一处理包括如下至少之一：新建参数组、修改参数组、对修改后的参数组进行恢复；第二处理单元，用于重新确定与进行了上述第一处理后的参数组对应的主机集合；第一管理单元，用于对上述预定指标、进行了上述第一处理后的参数组以及重新确定的主机集合的对应关系进行管理。

在一个可选的实施例中，上述管理模块1206可以包括：第三处理单元，用于对上述主机集合中的主机进行第二处理，其中，上述第二处理包括如下至少之一：在上述主机集合中增加一个或多个主机、删除上述主机集合中的一个或多个主机；第二管理单元，用于对上述预定指标、上述参数组以及进行了上述第二处理后的主机集合的对应关系进行管理。

根据本发明的另一个实施例，还提供一种存储介质，上述存储介质包括存储的程序，其中，上述程序运行时执行数据管理方法中的任一项上述的方法。

根据本发明的另一个实施例，还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行数据管理方法中任一项所述的方法。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的实施例还提供了一种处理器，该处理器用于运行程序，其中，该程序运行时执行上述任一项方法中的步骤。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种数据管理方法，其特征在于，包括：

确定与预定指标对应的参数组，其中，所述参数组包括用于描述所述预定指标的性能的阈值；

确定与所述参数组对应的主机集合；

对所述预定指标、所述参数组以及所述主机集合的对应关系进行管理。

2.根据权利要求1所述的方法，其特征在于，确定与所述预定指标对应的所述参数组包括：

确定与所述预定指标对应的参数组数值；

按照数值大小对所述参数组数值进行分类；

根据分类结果确定与所述预定指标对应的一个或多个所述参数组。

3.根据权利要求1所述的方法，其特征在于，确定与所述参数组对应的主机集合包括：

确定一个或多个主机中配置的与所述预定指标对应的参数组数值；

将具有相同参数组数值的主机确定为同一组主机集合，并将具备与所述参数组相同的参数组数值的主机集合确定为与所述参数组对应的主机集合。

4.根据权利要求1所述的方法，其特征在于，对所述预定指标、所述参数组以及所述主机集合的对应关系进行管理包括：

对所述参数组进行第一处理，其中，所述第一处理包括如下至少之一：新建参数组、修改参数组、对修改后的参数组进行恢复；

重新确定与进行了所述第一处理后的参数组对应的主机集合；

对所述预定指标、进行了所述第一处理后的参数组以及重新确定的主机集合的对应关系进行管理。

5.根据权利要求1所述的方法，其特征在于，对所述预定指标、所述参数组以及所述主机集合的对应关系进行管理包括：

对所述主机集合中的主机进行第二处理，其中，所述第二处理包括如下至少之一：在所述主机集合中增加一个或多个主机、删除所述主机集合中的一个或多个主机；

对所述预定指标、所述参数组以及进行了所述第二处理后的主机集合的对应关系进行管理。

6.一种数据管理装置，其特征在于，包括：

第一确定模块，用于确定与预定指标对应的参数组，其中，所述参数组包括用于描述所述预定指标的性能的阈值；

第二确定模块，用于确定与所述参数组对应的主机集合；

管理模块，用于对所述预定指标、所述参数组以及所述主机集合的对应关系进行管理。

7.根据权利要求6所述的装置，其特征在于，所述第一确定模块包括：

第一确定单元，用于确定与所述预定指标对应的参数组数值；

分类单元，用于按照数值大小对所述参数组数值进行分类；

第二确定单元，根据分类结果确定与所述预定指标对应的一个或多个所述参数组。

8.根据权利要求6所述的装置，其特征在于，所述第二确定模块包括：

第三确定单元，用于确定一个或多个主机中配置的与所述预定指标对应的参数组数值；

第四确定单元，用于将具有相同参数组数值的主机确定为同一组主机集合，并将具备与所述参数组相同的参数组数值的主机集合确定为与所述参数组对应的主机集合。

9.根据权利要求6所述的装置，其特征在于，所述管理模块包括：

第一处理单元，用于对所述参数组进行第一处理，其中，所述第一处理包括如下至少之一：新建参数组、修改参数组、对修改后的参数组进行恢复；

第二处理单元，用于重新确定与进行了所述第一处理后的参数组对应的主机集合；

第一管理单元，用于对所述预定指标、进行了所述第一处理后的参数组以及重新确定的主机集合的对应关系进行管理。

10.根据权利要求6所述的装置，其特征在于，所述管理模块包括：

第三处理单元，用于对所述主机集合中的主机进行第二处理，其中，所述第二处理包括如下至少之一：在所述主机集合中增加一个或多个主机、删除所述主机集合中的一个或多个主机；

第二管理单元，用于对所述预定指标、所述参数组以及进行了所述第二处理后的主机集合的对应关系进行管理。

11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至5中任一项所述的方法。

12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任一项所述的方法。