CN114238027A - 一种基于海量请求数据的多维度分析系统 - Google Patents

Abstract

本发明公开了一种基于海量请求数据的多维度分析系统，属于数据分析技术领域；系统包括：质量显示模块、全链路日志模块、Zabbix模块、云监控模块、监控模块；本发明主要针对于各种海量数据监控领域的场景，主要适用于混合数据源的流量监控、性能监控等于一体的多维度分析监控系统；本发明通过对混合数据源的海量请求数据进行多维度分析，并对采集数据进行有效提取，形成信息的互相关联，建立了平台监控与上层业务之间的映射关系，实现了多种数据源大规模数据展现、告警等数据的可视化，推动各系统有针对性地进行优化处理，优化监控覆盖范围，从单一层面到多纬度的监控的提升，进一步保障整个链路请求生命周期的稳定性及提升服务稳定性。

Description

一种基于海量请求数据的多维度分析系统

技术领域

本发明属于数据分析技术领域，特别涉及一种基于海量请求数据的多维度分析系统。

背景技术

在平台营销、热点新闻、在线教育平台、社交平台、微信抖音小程序、交通平台、公共卫生安全等环境中，瞬时QPS剧增场景比比皆是。UV迅速上涨到百万量级以上，对系统运行和故障研判提出了严峻挑战，但传统监控方式只是简单地进行数据采集及无差别化记录，系统根据预期QPS峰值，通过扩容来适应剧增的流量，但并未从监控数据中提取规律性的有效信息，同时监控手段上也无法直观体现出系统物理层和业务层上的拓扑，需要剖析更深层次的错误信息：涉及到排错、剖析、依赖分析等。

现有技术1：CN201410606547.6公开了一种用于对海量DNS日志进行多维统计分析的方法及系统。所述系统包括DNS数据采集模块、DNS数据汇总中心、云服务器、DNS日志处理中心、DNS日志统计分析中心及数据库。其中该发明专利所述DNS日志统计分析中心用于基于给定的多个维度对经处理的DNS日志数据进行统计及分析，生成多维度的DNS日志数据统计及分析结果，并将所得DNS日志数据统计及分析结果存入所述数据库。该发明专利的目的在于解决数据处理效率下降的问题(参阅该发明专利说明书0052)；所揭示的系统并未对如何告警以及如何基于处理结果进行下一步计划进行进一步说的说明。

现有技术2：CN201611052099.5公开一种海量数据的多维度处理方法，其能够在分钟级别内得到最新业务数据的分析结果，可以实时反映业务变化。其实施数据处理模块也仅仅只是用于聚合数据(请参阅该发明专利说明书0014)；所揭示的系统并未对如何告警以及如何基于处理结果进行下一步计划进行进一步说的说明。

现有技术3：CN201510004956.3提供了一种基于实时日志的网站威胁检测系统，该系统包括日志数据实时采集单元、日志数据实时转换与分发单元、日志数据实时处理与检测单元及日志数据实时监控单元。该发明的目的是提高日志数据的处理能力及时效性，提高网站威胁检测与反应的及时性，降低网站运行的风险，为网络的信息安全提供有力的保障(请参阅该发明专利说明书0046)。

现有技术4：CN201510812126.3集成分布式数据处理系统的方法、相应系统及其数据处理方法；其公开了一种集成的分布式处理系统，包括：Hadoop集群、配置于所述集群中的分布式数据库Hbase、全文搜索服务器Solr和分布式实时计算系统Storm、以及配置于所述集群的数据访问层上的统一数据访问接口；其中，所述分布式数据库Hbase、全文搜索服务器Solr以及分布式实时计算系统Storm通过配置于所述集群的数据访问层上的第一配置文件和第二配置文件进行数据处理(请参阅说明书0051)；该发明的目的在于多元化处理、集成成本低等优点，本质上的目的是为了提高效率。

综上四个现有技术可以发现，现有技术的问题集中在：

1、简单地进行数据采集及无差别化记录，系统根据预期QPS峰值，通过扩容来适应剧增的流量；其原因在于现有技术的研究都集中在如何提高海量请求数据的处理效率。

2、并未从监控数据中提取规律性的有效信息，同时监控手段上也无法直观体现出系统物理层和业务层上的拓扑，需要剖析更深层次的错误信息：涉及到排错、剖析、依赖分析等。现有技术往往是利用高效率的分布式集群来解决海量信息的处理来保证最后结果的时效性，但对于如何应对结果并未进一步的研究分析；如网站遇到异常、威胁或者攻击时，网站能够及时的将情况进行反应，但仅仅只是反馈，无法依据机制进行自动化的反击。

发明内容

(一)技术方案

本发明通过如下技术方案实现：一种基于海量请求数据的多维度分析系统，所述系统包括：

质量显示模块：用于数据接入及显示；

全链路日志模块：用于收集、解析日志；

Zabbix模块：用于监控硬件进程状态；

云监控模块：用于站点、服务、主机、日志及自定义的监控；

所述系统还包括：

监控模块：用于多集源采集、业务指标监控、异常分析及处理；

所述监控模块包括：

告警子模块：用于数据告警；包括：monitor告警单元、zabbix告警单元、综合告警单元；

处理子模块：用于依据告警级别发送告警信息、自动处理告警事件以及告警处理可视化；包括跟进自动化单元、分析自动化单元、可观测性单元；

所述分析自动化单元包括故障模拟子单元、故障学习子单元。

作为上述方案的进一步说明，所述质量显示模块用于显示接入层的核心指标及业务层的核心指标。

作为上述方案的进一步说明，所述全链路日志模块从接入层、业务层通过filebeat收集日志，通过logstash解析日志，汇总到ELK，最终由基于Kibana构建的全链路日志进行展示和查询。

作为上述方案的进一步说明，所述云监控模块监控指标包括连接数、内存使用率、CPU使用率、主备同步、慢查询数。

作为上述方案的进一步说明，所述monitor告警单元具体的如下：

依据样本数据选取告警阈值策略；

依据告警阈值策略设置至少一个阈值；

触发阈值后进行告警；

所述告警阈值策略包括业务指标策略、样本比对策略、预测趋势策略；

所述阈值包括累计值、平均值、最大值、最小值。

作为上述方案的进一步说明，所述zabbix告警单元包括系统层告警子单元、服务层告警子单元；

所述系统层告警子单元告警指标包括：CPU使用率、load负载、磁盘使用率、内存使用率；

所述服务层告警子单元告警指标包括：连接数、业务进程及端口存活告警。

作为上述方案的进一步说明，所述综合告警单元包括：Sentry告警子单元、拨测告警子单元、模调告警子单元、个性化告警子单元；

所述拨测告警子单元用于通过定时任务触发与定时回放接入层的历史请求，检验接入层链路是否通畅；

所述模调告警子单元用于逻辑层和存储层质量监控告警；

所述个性化告警子单元用于根据具体领域知识强耦合的个性化告警。

作为上述方案的进一步说明，所述告警级别发送告警信息具体的：

根据设定的告警级别或者未响应时间，启动警报；

依据预设时间发送告警通知；

将告警通知历史进行保存形成汇报信息。

作为上述方案的进一步说明，所述自动处理告警事件以及告警处理可视化具体的：

收到告警事件；

系统自动分析并进行分类；

依据执行告警事件处理策略；

所述分类包括可自动化解决的告警事件和需要用户执行某种操作的告警事件。

作为上述方案的进一步说明，所述可自动化解决的告警事件具体的如下：

所述可自动化解决的告警事件具体的如下：

故障模拟子单元导入预设故障信息及预设故障处理解决方案数据；

故障学习子单元建立故障学习模型；

接收实际故障信息导入故障学习子单元，分析获得故障处理结果；

将结果进行可视化处理。

(三)有益效果

本发明相对于现有技术，具有以下有益效果：

1、本发明提供成本低的追踪埋点，构造友好的浏览查询体验、保证数据读写的高可靠，完善包括集中式日志系统(Logging)，集中式度量系统(Metrics)和分布式追踪系统(Tracing)之间的易用性和有效性。

2、通过分析告警事件信息，由系统自动分析并进行初判，分为可自动化解决的告警事件和需要用户执行某种操作的告警事件。进一步释放人力，提升系统稳定性。

3、通过引入故障模拟，故障学习；故障模拟以某种预想方式破坏系统，而整个故障发生到故障处理解决的过程记录到故障学习形成一种模式记录保存。在实际故障发生的同时可将告警事件传递给故障学习进行识别，故障学习可模拟故障解决，也可将故障解决的过程展示提供运维侧或开发侧参考。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例1系统框架示意图。

具体实施方式

实施例

一种基于海量请求数据的多维度分析系统，所述系统包括：

质量显示模块：用于数据接入及显示；所述质量显示模块用于显示接入层的核心指标及业务层的核心指标。需要进一步说明的是质量显示，对压测、监控、提前发现问题起到了非常大的作用,从流量入口到接入层的QPS，是重点关注的QPS指标；接入层包含对服务的连接等待时长、状态码等核心指标。业务层面的实时数据展示，根据业务口径进行查询，观察业务增长量，对比历史7天样本值，对库存、订单状态等业务核心指标进行重点关注。

全链路日志模块：用于收集、解析日志；所述全链路日志模块从接入层、业务层通过filebeat收集日志，通过logstash解析日志，汇总到ELK，最终由基于Kibana构建的全链路日志进行展示和查询。需要进一步说明的是除接入层访问日志以外，考虑到业务层流量剧增后日志量过大导致ES查询慢的情况，所以按一定比例抽样保存到ES中，提供给全链路日志系统查询。

Zabbix模块：用于监控硬件进程状态；需要进一说明的是，该模块的用处在于通过Zabbix网络发现，自动发现并注册设备，配合自动发现规则模版及过滤器，可以精准化实现自动发现业务服务进程，并自动添加监控项及触发器。

云监控模块：用于站点、服务、主机、日志及自定义的监控；所述云监控模块监控指标包括连接数、内存使用率、CPU使用率、主备同步、慢查询数。需要进一步说明的是，常用的关注指标有连接数、内存使用率、CPU使用率、主备同步、慢查询数等，结合质量看板的数据层监控，能全面掌握数据层运行状态。

所述系统还包括：

监控模块：用于多集源采集、业务指标监控、异常分析及处理；需要进一步说明的是，监控系统作为集实时业务监控、智能告警、故障分析于一体的监控系统，采用monitor多集源采集，将监控数据定时采集存入InfluxDB，通过monitor配置监控面板，可配置历史7天样本值对比展示，并且键同步至质量显示。基于样本数据的对比策略与预测趋势的对比策略，当产生接入层业务异常的情况下，可通过状态码查询异常访问日志且获取到trace_id，通过trace_id查询异常链路，进行异常分析。通过Zabbix监控主机CPU、内存、硬盘、IO、连接数、服务进程状态等。

所述监控模块包括：

告警子模块：用于数据告警；包括：monitor告警单元、zabbix告警单元、综合告警单元；

所述monitor告警单元运行步骤如下：

依据样本数据选取告警阈值策略；

依据告警阈值策略设置至少一个阈值；

触发阈值后进行告警；

所述告警阈值策略包括业务指标策略、样本比对策略、预测趋势策略；

所述阈值包括累计值、平均值、最大值、最小值。

具体的monitor从累计、平均值、最大或最小值等不同视角进行设置，触发阈值后告警。monitor设置基于样本数据对比或者基于预测趋势对比的告警阈值策略，根据采集源的不同可设置不同的纬度的告警。

zabbix告警单元包括系统层告警子单元、服务层告警子单元；

所述系统层告警子单元告警指标包括：CPU使用率、load负载、磁盘使用率、内存使用率；

所述服务层告警子单元高净值表包括：连接数、业务进程及端口存活告警。

zabbix告警分为系统层、服务层。系统层包含基础指标告警：CPU使用率、load负载、磁盘使用率、内存使用率等，皆是系统主机层面的监控告警。服务层的告警包含连接数、业务进程及端口存活告警。采用zabbix自动发现规则，绑定模版自动发现业务进程及端口，并创建监控项和触发器。针对于业务OOM、僵尸进程、进程死锁等情况进行全面高效监控告警。

综合告警单元包括：Sentry告警子单元、拨测告警子单元、模调告警子单元、个性化告警子单元；

所述拨测告警子单元用于通过定时任务触发与定时回放接入层的历史请求，检验接入层链路是否通畅；拨测告警通过定时任务触发与定时回放接入层的历史请求，检验接入层链路是否通畅。因环境、网络等不确定因素，可能存在解析异常、网络堵塞请求超时等情况，故增加拨测机制来保证全链路的通畅。

所述模调告警子单元用于逻辑层和存储层质量监控告警；模调告警主要用于逻辑层和存储层这些后台服务的质量监控告警，拨测告警以及zabbix服务存活检测只关注网络畅通，不关注业务成功率，通过过滤拨测及存活检测的请求提高模调告警的可信度。

所述个性化告警子单元用于根据具体领域知识强耦合的个性化告警。个性化告警根据具体领域知识强耦合的个性化告警，例如订单库存告警、数据层的慢查询超时SQL自动Kill告警等。

处理子模块：用于依据告警级别发送告警信息；自动处理告警事件以及告警处理可视化；包括跟进自动化单元、分析自动化单元、可观测性单元；

所述分析自动化单元包括故障模拟子单元、故障学习子单元。

需要进一步说明的是，所述告警级别发送告警信息具体的：

根据设定的告警级别或者未响应时间，启动警报；

依据预设时间发送告警通知；

将告警通知历史进行保存形成汇报信息。

根据告警级别或者长时间未响应，启动一级警报，短信、电话通知，间隔5～10分钟一次。每天发送告警事件日报，每周发送告警事件统计汇总。优化人员调度，提高效率与准确度。

所述自动处理告警事件以及告警处理可视化步骤如下：

收到告警事件；

系统自动分析并进行分类；

依据执行告警事件处理策略；

具体的系统自动分析并进行初判，分为可自动化解决的告警事件和需要用户执行某种操作的告警事件。通过分类选择是自动化解决还是需要用户执行动作的告警事件。

所述可自动化解决的告警事件步骤如下：

故障模拟子单元导入预设故障信息及预设故障处理解决方案数据；

故障学习子单元建立故障学习模型；

接收实际故障信息导入故障学习子单元，分析获得故障处理结果；

将结果进行可视化处理。

具体的故障模拟子单元以某种预想方式破坏系统，而整个故障发生到故障处理解决的过程记录到故障学习子单元形成一种模式记录保存。在实际故障发生的同时可将告警事件传递给故障学习子单元进行识别，故障学习子单元可模拟故障解决，也可将故障解决的过程展示提供运维侧或开发侧参考。

该模块的标准描述如下：

When(Event)

IF(Condition1)故障学习子单元进行识别并分类；

THEN(Action1)可自动化解决的告警事件进行自动化解决；

ELSE(Action2)OR(NULL)需要用户执行某种操作的告警事件传递给用户进行进一步处理。；

本发明的优点在于：

1、本发明提供成本低的追踪埋点，构造友好的浏览查询体验、保证数据读写的高可靠，完善包括集中式日志系统(Logging)，集中式度量系统(Metrics)和分布式追踪系统(Tracing)之间的易用性和有效性。

2、通过分析告警事件信息，由系统自动分析并进行初判，分为可自动化解决的告警事件和需要用户执行某种操作的告警事件。进一步释放人力，提升系统稳定性。

3、通过引入故障模拟，故障学习；故障模拟以某种预想方式破坏系统，而整个故障发生到故障处理解决的过程记录到故障学习形成一种模式记录保存。在实际故障发生的同时可将告警事件传递给故障学习进行识别，故障学习可模拟故障解决，也可将故障解决的过程展示提供运维侧或开发侧参考。

本发明的控制方式是通过人工启动和关闭开关来控制，动力元件的接线图与电源的提供属于本领域的公知常识，并且本发明主要用来保护机械装置，所以本发明不再详细解释控制方式和接线布置。

本发明的控制方式是通过控制器来自动控制，控制器的控制电路通过本领域的技术人员简单编程即可实现，电源的提供也属于本领域的公知常识，并且本发明主要用来保护机械装置，所以本发明不再详细解释控制方式和电路连接。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于海量请求数据的多维度分析系统，其特征在于，所述系统包括：

质量显示模块：用于数据接入及显示；

全链路日志模块：用于收集、解析日志；

Zabbix模块：用于监控硬件进程状态；

云监控模块：用于站点、服务、主机、日志及自定义的监控；

所述系统还包括：

监控模块：用于多集源采集、业务指标监控、异常分析及处理；

所述监控模块包括：

告警子模块：用于数据告警；包括：monitor告警单元、zabbix告警单元、综合告警单元；

处理子模块：用于依据告警级别发送告警信息、自动处理告警事件以及告警处理可视化；包括跟进自动化单元、分析自动化单元、可观测性单元；

所述分析自动化单元包括故障模拟子单元、故障学习子单元。

2.根据权利要求1所述的一种基于海量请求数据的多维度分析系统，其特征在于，

所述质量显示模块用于显示接入层的核心指标及业务层的核心指标。

3.根据权利要求1所述的一种基于海量请求数据的多维度分析系统，其特征在于，

所述全链路日志模块从接入层、业务层通过filebeat收集日志，通过logstash解析日志，汇总到ELK，最终由基于Kibana构建的全链路日志进行展示和查询。

4.根据权利要求1所述的一种基于海量请求数据的多维度分析系统，其特征在于，

所述云监控模块监控指标包括连接数、内存使用率、CPU使用率、主备同步、慢查询数。

5.根据权利要求1所述的一种基于海量请求数据的多维度分析系统，其特征在于：

所述monitor告警单元具体的如下：

依据样本数据选取告警阈值策略；

依据告警阈值策略设置至少一个阈值；

触发阈值后进行告警；

所述告警阈值策略包括业务指标策略、样本比对策略、预测趋势策略；

所述阈值包括累计值、平均值、最大值、最小值。

6.根据权利要求1所述的一种基于海量请求数据的多维度分析系统，其特征在于，

所述zabbix告警单元包括系统层告警子单元、服务层告警子单元；

所述系统层告警子单元告警指标包括：CPU使用率、load负载、磁盘使用率、内存使用率；

所述服务层告警子单元告警指标包括：连接数、业务进程及端口存活告警。

7.根据权利要求1所述的一种基于海量请求数据的多维度分析系统，其特征在于：

所述综合告警单元包括：Sentry告警子单元、拨测告警子单元、模调告警子单元、个性化告警子单元；

所述拨测告警子单元用于通过定时任务触发与定时回放接入层的历史请求，检验接入层链路是否通畅；

所述模调告警子单元用于逻辑层和存储层质量监控告警；

所述个性化告警子单元用于根据具体领域知识强耦合的个性化告警。

8.根据权利要求1所述的一种基于海量请求数据的多维度分析系统，其特征在于，

所述告警级别发送告警信息具体的：

根据设定的告警级别或者未响应时间，启动警报；

依据预设时间发送告警通知；

将告警通知历史进行保存形成汇报信息。

9.根据权利要求1所述的一种基于海量请求数据的多维度分析系统，其特征在于：

所述自动处理告警事件以及告警处理可视化具体的：

收到告警事件；

系统自动分析并进行分类；

依据执行告警事件处理策略；

所述分类包括可自动化解决的告警事件和需要用户执行某种操作的告警事件。

10.根据权利要求9所述的一种基于海量请求数据的多维度分析系统，其特征在于：

所述可自动化解决的告警事件具体的如下：

故障模拟子单元导入预设故障信息及预设故障处理解决方案数据；

故障学习子单元建立故障学习模型；

接收实际故障信息导入故障学习子单元，分析获得故障处理结果；

将结果进行可视化处理。

Images