CN112162896A - 一种基于InfluxDB的集群数据监控方法 - Google Patents

Abstract

本发明公开了一种基于InfluxDB的集群数据监控方法，涉及数据监控领域，本发明会配置Telegraf插件来对多个数据源进行数据的采集，并将相关数据传输至InfluxDB进行保存，并通过Grafana数据源配合语句来对保存的数据进行查询与报警，可以直观的查看数集群的各种信息，可以配置Grafana中的dashboard将数据通过图表形式进行展示，也可通过API接口将数据转化为csv或pdf文件对数据进行直观的显示，本发明科学合理，使用安全方便，利用InfluxDB可对数据进行保存，可方便下次进行查看，利用Telegraf插件可对相关数据进行采集，可将数据进行保存并在InfluxDB内数据共享，利用Grafana可对存储的数据进行测试和监控，使得数据能够正确输出并通过图表展示。

Description

一种基于InfluxDB的集群数据监控方法

技术领域

本发明涉及数据监控技术领域，具体为一种基于InfluxDB的集群数据监控方法。

背景技术

随着物联网技术的发展，一种以时间戳为主键的数据模型越来越流行，简言之就是时序数据库，时序数据库会将数据带上时间戳保存起来，随着时序数据库的成熟，各个IT公司以及涉及其他领域的大型公司都会使用时序数据库，其中最为流行的莫过于InfluxDB,只要在物联网上显示的数据都可以通过InfluxDB进行存储，随着数据的逐渐增多，磁盘的读写速度会很慢，传统的数据库存储B tree不适用于大耗量的磁盘寻道上，所以业界主流通常使用LSM tree来替代B tree，它可避免数据在写入和更新时进行丢失，还可定时的将积攒的文件进行合并，消除冗余数据，从而减少文件数量，但是在数据读取过中却不尽人意，在大型公司中，不仅使用数据库对数据保存还使用插件对数据进行监控报警，进行并且使用相关插件对数据进行监视，能够使得数据在管理人员的要求下进行展示，当数据不在管理人员所设的预设值范围内，就可以进行警报以提醒管理人员，其中数据监控系统使用的较为广泛的有Grafana、Zabbix和Nagios，Zabbix是一款能够对多种数据进行采集的方式，能够支持多条件告警，但是它的实现过程较为复杂，需要进行定制开发时难度较大，Nagios能够对数据当前状态进行查看，能够将数据转化为文件形式和图表形式以供管理人员观察，但是不能提供多功能的数据监控，配置差，难以理解，开发的成本也较大，是所以人们需要一种基于InfluxDB的集群数据监控方法来解决上述问题。

发明内容

本发明的目的在于提供一种基于InfluxDB的集群数据监控方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种基于InfluxDB的集群数据监控方法，该数据监控方法包括以下步骤：

S1：根据节点配置hosts文件和config文件来搭建InfluxDB集群；

S2：根据Telegraf插件来对数据进行采集；

S3：根据Grafana数据源来对数据进行测试与监控；

S4：根据Grafana将数据根据指定的文件形式进行导出阅读。

所述步骤S1中，所述InfluxDB集群可以从任意节点配置并查询数据源，可以在每个节点处看到InfluxDB的数据结果，使得数据查看更为方便。

所述步骤S2中，所述Telegraf插件可根据采集到的数据属性来设计InfluxDB的表结构，Telegraf会根据用户的需要定时去收集数据，数据经过处理和集中之后，将大批量数据输出保存到InfluxDB中，InfluxDB会通过添加数据的方式来建表。

所述步骤S3中，Grafana接收到测试与监控的请求查询时，需实时对保存在InfluxDB里的数据进行刷新，以便于Grafana能够对InfluxDB里的数据进行实时监控。

所述步骤S4中，Grafana可通过API接口将数据转化成csv或pdf文件来进行数据分析，使得数据观察能够更加直观。

所述Grafana对于Telegraf所采集的数据监控时间和数据结构属性均显示在监控上，可以更加直观的在监控上面看到数据的所有属性信息。

所述Grafana数据源在收到监控的请求时，用户需要配置Grafana监控数据的指标和时间参数,设置好Grafana的数据指标能够使得数据在监控上更加快速的显示，使得能在远程设备上进行监控资源的性能数据。

所述Grafana可将相关数据进行报警并将报警信息通过邮件进行发送，当数据发出报警声音时，及时将超过预警值的数据保存通过邮件发送给用户，使得用户对报警的数据进行分析处理。

在对Grafana进行配置时，Grafana所包含的Dashboard连接InfluxDB，将数据通过web页面以图表的形式进行显示，使得实时数据的展示能够更加形象化，能够突出的看到数据的变化。

在所述Grafana中的数据监控中，可以将接受到的数据按照结构和时间顺序进行排序并处理，可以根据用户需要，将数据的最大值、最小值、平均值等数据计算过后将数据保存在InfluxDB中，并通过数据的传输将数据直观的体现在数据监控来进行分析。

与现有技术相比，本发明所达到的有益效果是：本发明利用Telegraf插件对需要采集的数据进行收集，并利用采集到的数据来设置表结构保存在InfluxDB中，Telegraf插件可根据用户需要的数据属性和类型来进行采集，不会将海量的数据直接采集来浪费存储单位，配置Grafana可以将保存在InfluxDB中的海量数据进行同时监控，可以通过图表的形式进行数据分析，可以将数据通过API接口将数据转化成用户指定的文件形式进行分析，使得数据能够多元化的体现，利用Grafana插件可以将不在用户指定预设值范围内的数据进行警报，并将数据通过邮件或者其他方式发送给用户，使得用户能够对数据进行及时处理，极大地提高了用户的体验，并且采用了分布式存储，使得数据能够及时的进行存储和数据读取。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明一种基于InfluxDB的集群数据监控方法的流程示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供技术方案：一种基于InfluxDB的集群数据监控方法，该数据监控方法包括以下步骤：

S1：根据节点配置hosts文件和config文件来搭建InfluxDB集群；

S2：根据Telegraf插件来对数据进行采集；

S3：根据Grafana数据源来对数据进行测试与监控；

S4：根据Grafana将数据根据指定的文件形式进行导出阅读；

所述InfluxDB是时序性数据库，它可以将海量的数据进行存储并进行实时分析，InfluxDB使用简单方便，充分体现了GO语言的特性，在存储的过程中，可以设置数据的保留时间并且记录数据属性，数据库可根据不同的数据属性进行分类并保存，及时删除过期数据，从而释放存储空间，InfluxDB使用了类SQL语句来查询语句的操作接口，使得用户上手简单易学，上手十分方便；

所述Telegraf插件是用于采集和上报指标的服务器程序，可以实时采集数据，所述Telegraf插件是通过配置telegraf.conf来采集数据的属性，并根据采集到的数据属性来设计InfluxDB的表结构，当Telegraf收到需要采集数据的信号时，会根据用户所给与的数据特征进行采集；

所述Grafana插件是用于可视化数据和应用分析的时间序列数据，它能够适用于很多领域，包括工业传感器、家庭自动化、天气过程和外卖等领域，它可以通过API接口将数据转化成用户指定的文件形式，如：pdf、csv等，可以将数据转化为图表进行直观的显示与分析，可以配合InfluxDB的SQL语句进行数据查询和报警。

所述步骤S1中，所述InfluxDB集群可以从任意节点配置并查询数据源，实际上的InfluxDB数据库中，会设置多个节点来保存并监测数据，单个节点的设置往往会使得InfluxDB读写数据较为频繁，从而造成运行节点的机器内存不足，服务器产生异常。

所述步骤S2中，所述Telegraf插件可根据采集到的数据属性来设计InfluxDB的表结构，Telegraf插件所包含的主要配置采集器，采集器在进行数据采集时，会分为全局标签、采集频率、输出设置、输入设置等全局性设置，其中，全局标签是根据不同的数据类型来输入数据的不同格式设置，所述采集频率会要求配置数据刷新的时间间隔、最小时间单位、采集指标的个数限制等，所述输出设置会将采集到的数据保存在InfluxDB集群中，输出设置会要求配置数据库的用户名、密码和采集器名称和InfluxDB的地址等，所述输入设置主要采集采集器的插件配合，例如Telegraf.conf，例如设置的全局标签：当要采集的数据标签为“华为手机MATE30”，Telegraf会根据数据的特征进行分类，分类为：此数据的第一标签是由华为公司生产，就会将华为公司名下的所有产品陈列出来，此数据的第二标签为手机，即排列出华为名下的所有手机，此数据的第三标签是型号为MATE30，将华为手机型号为MATE30排列出来，同时会对于Telegraf采集器的频率、时间、数据输出进行设置，使得Telegraf插件能够正确、快速的采集数据。

所述步骤S3中，Grafana接收到测试与监控的请求查询时，需实时对保存在InfluxDB里的数据进行刷新，使得数据在进行检测时不会因为数据刚保存在InfluxDB中而产生遗漏。

所述步骤S4中，Grafana可通过API接口将数据转化成csv或pdf文件进行数据分析，使得数据能够在csv或pdf文件中观察的更加直观。

所述Grafana对于Telegraf所采集的数据监控时间和数据结构属性均显示在监控上，使得用户在读取数据的过程中能够充分了解数据的属性。

所述Grafana数据源在进行监控的请求时，用户需要配置Grafana监控数据的指标和时间参数，通过监控数据的指标能够更加了解数据信息，需要对数据的地址端口、用户名和密码、InfluxDB中的数据源进行设置。

所述Grafana可将相关数据进行报警并将报警信息通过邮件进行发送，设置Grafana进行报警并将报警信息发送到邮件中的步骤如下：

1.先创建容器，此容器是使用了docker file生成，并且容器进程grafana-server的服务启动脚本；

2.修改容器内的run.sh文件，run.sh文件是容器进程grafana-server的服务启动脚本，可以在grafana-server启动后自行指定文件路径。

3.添加smpt的相关配置并重启容器

4.登陆grafana界面，添加报警Notifications，可以添加多个报警使得报警能够及时

5.引入InfluxDB数据集群中的数据

6.编辑Graph来定义报警规则，设定数据的预设值，当数据超过预设值时进行报警

7.插入报警邮件，将报警的数据通过邮件发送给用户以此来提醒用户修改数据，

在对Grafana进行配置时，Grafana所包含的Dashboard连接InfluxDB，将数据通过web页面以图表的形式进行显示，使得数据的结果表示更加突出和形象，在设置图标时，会对多个数据进行采样，将采样的数据形成多条线，并将线上的数据进行聚合，将聚合的数据全部相加后对数据结果进行排名，从而使得结果能够在图表当中清晰显示，所述dashboard是Grafana的一个展示界面，能够将数据在dashboard上面进行动态展示，就不用经常切换Grafana结构。

在所述Grafana中的数据监控中，可以将接受到的数据按照结构和时间顺序进行排序并处理，将数据按照一定的方式进行排序，使得用户能够更加了解数据的特征。

实施例1：美团公司的数据管理平台提供了一个集中、可视化的管理平台(InfluxDB)，它能够将不同区域的数据作统一集中式管理，能够将外卖、酒店、休闲、演出、打车、超市、机票等功能所包含的数据进行集中管理，可以根据实时的数据进行分析并比较各功能在不同区域的所占比例，利用此管理方案可以降低管理成本，提高了数据管理的效率，InfluxDB可以将实时的数据进行保存，并添加上数据的属性，例如：数据的时间等，并将采样的间隔时间定为30s，当数据低于预设值时进行报警，第一时间将数据通过邮件等方式发送给管理人员，以便于管理人员能够及时对数据进行分析；

针对上述美团公司的集中、可视化的管理平台(InfluxDB)，可以采用Telegraf进行采集数据，并将数据通过grafana界面进行监控、预警，利用Telegraf来采集数据的过程为：

1.将外卖、酒店、休闲、演出、打车、超市、机票中的数据进行分类，在全局标签中设置第一标签，使得管理人员能够根据标签快速的寻找相关数据；

2.设置数据的属性，输入数据的采集间隔时间、最小时间单位、指标的个数限制等；

3.输出设置，登陆管理人员的用户名、密码和Telegraf的采集器的名称以及保存在InfluxDB中的地址；

4.输入采集器的频率、时间；

将采集到的实时数据分类保存在InfluxDB的集群中，利用grafana对保存在InfluxDB集群中的数据的监控报警步骤如下：

1.登陆grafana界面，对于外卖、酒店、休闲、演出、打车、超市和机票中的数据分别设置报警，并根据每个省、县的使用程度设置报警，根据每个省、县的使用情况来设置报警预设值；

2.引入InfluxDB中的数据源，根据步骤1所设的预设值进行实时监控并报警

3.根据管理人员的需要，可以将部分数据进行提取，使得数据能够通过InfluxDB中的API接口以文件的形式进行输出，也可以将数据转化为图标的形式供给管理人员观察，可以通过数据的计算将平均值、最大值、最小值的结果呈现在面前，管理人员可以通过实时数据和历史数据的比较来调整版块内容。

实施例2：某大型制造公司名下有很多小公司，所涉及的领域也不尽相同，使用了如上的管理平台，能够在每次的总结会上将数据结果利用图表和文件的综合形式表现出来，使得其它管理人员能够对结果一目了然；

在此管理平台中，因涉及领域不同，可以利用Telegraf来设置采样间隔的时间、每次采集的数据个数并根据管理人员的用户名和密码来采集不同领域的数据，并将数据传输到InfluxDB中，可以利用可以将不同公司所涉及的不同领域设置多个节点以保证InfluxDB能够分类读取数据，其优点是总公司的领导能够在一个节点处观察到所有数据内容，不用一个又一个的进行点击，提高了工作效率，利用grafana插件，将数据引入到InfluxDB集群中，销售领导可以通过数据监控了解到何种时间段的数据最佳，以便于在这个时间段推出更多产品，制造部门领导可以通过数据对机器的操作情况进行了解，制造部领导可以根据机器的反馈情况提起发现故障，并在第一时间内通过邮件等其他联系方式通知技术部门人员去维修机器，从而使得生产效率得到提高。

从上述两组实施例中，在不同行业中的使用效果都不尽相同，但是都提高了该行业的效率，根据数据的显示情况，使得管理人员能够针对不同的数据和数据时间来提高销售，因地制宜，销售情况更加良好，还可以根据数据的显示来实时监测机器的动态，判断机器有无出现问题，不仅提高了生产效率还增加了员工的安全。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于InfluxDB的集群数据监控方法，其特征在于：该数据监控方法包括以下步骤：

S1：根据节点配置hosts文件和config文件来搭建InfluxDB集群；

S2：根据Telegraf插件来对数据进行采集；

S3：根据Grafana数据源来对数据进行测试与监控；

S4：根据Grafana将数据根据指定的文件形式进行导出阅读。

2.根据权利要求1所述的一种基于InfluxDB的集群数据监控方法，其特征在于：所述步骤S1中，所述InfluxDB集群可以从任意节点配置并查询数据源。

3.根据权利要求1所述的一种基于InfluxDB的集群数据监控方法，其特征在于：所述步骤S2中，所述Telegraf插件可根据采集到的数据属性来设计InfluxDB的表结构。

4.根据权利要求1所述的一种基于InfluxDB的集群数据监控方法，其特征在于：所述步骤S3中，Grafana接收到测试与监控的请求查询时，需实时对保存在InfluxDB里的数据进行刷新。

5.根据权利要求1所述的一种基于InfluxDB的集群数据监控方法，其特征在于：所述步骤S4中，Grafana可通过API接口将数据转化成csv或pdf文件来进行数据分析。

6.根据权利要求1所述的一种基于InfluxDB的集群数据监控方法，其特征在于：所述Grafana对于Telegraf所采集的数据监控时间和数据结构属性均显示在监控上。

7.根据权利要求1所述的一种基于InfluxDB的集群数据监控方法，其特征在于：所述Grafana数据源在进行监控的请求时，用户需要配置Grafana监控数据的指标和时间参数。

8.根据权利要求1所述的一种基于InfluxDB的集群数据监控方法，其特征在于：所述Grafana可将相关数据进行报警并将报警信息通过邮件进行发送。

9.根据权利要求1所述的一种基于InfluxDB的集群数据监控方法，其特征在于：在对Grafana进行配置时，Grafana所包含的Dashboard连接InfluxDB，将数据通过web页面以图表的形式进行显示。

10.根据权利要求1所述的一种基于InfluxDB的集群数据监控方法，其特征在于：在所述Grafana中的数据监控中，可以将接受到的数据按照结构和时间顺序进行排序并处理。

Images