CN112506735B - 服务质量监控方法、系统、服务器和存储介质 - Google Patents

Abstract

本发明实施例涉及互联网应用领域，公开了一种服务质量监控方法、系统、服务器和存储介质。本发明中，服务质量监控方法包括：通过数据采集层获取服务状态指标数据；根据数据类型将所述服务状态指标数据存储至缓存型数据库和时间序列数据库，其中，所述时间序列数据库包括内存型时间序列数据库、闪存型时间序列数据库和大规模集群型时间序列数据库；根据数据应用层的监控应用类型将缓存型数据库或时间序列数据库中数据发送至所述监控应用。通过设置了保留数据时间不同的数据库，使服务状态指标数据的应用效率更高，提高了数据的响应速度。

Description

服务质量监控方法、系统、服务器和存储介质

技术领域

本发明实施例涉及互联网应用领域，特别涉及服务质量监控方法、系统、服务器和存储介质。

背景技术

内容分发网络(CDN，Content Delivery Network)通过部署在各地的边缘服务器及中心平台的调度分发服务，实现用户就近获取网络资源，从而提高用户访问速度，同时提高服务站点的稳定性。CDN服务一般涉及几千上万甚至数十万台边缘服务器，同时涉及几百上千甚至数万台管理CDN服务的支撑系统使用的服务器。要实现对CDN服务质量的有效监控，需要从系统层、设备层、业务层三方面全方位地进行监控。系统层比如CPU、内存、磁盘存储、网卡流量等指标的使用率；设备层比如设备可用性情况；业务层比如各个域名的流量带宽、回源情况、请求数、各个状态码请求数等各类业务指标情况。

然而，随着CDN服务规模的不断扩展，中央服务器集群压力会越来越大，作为支撑CDN业务的中央服务器集群很难同时支撑复杂多样的应用场景。如果不管理好服务状态指标数据的存取，将可能出现资源利用率低，指标数据获取响应延迟严重，甚至出现异常检测，告警服务等功能无法正常进行的情况。

发明内容

本发明实施方式的目的在于提供一种服务质量监控方法、系统、服务器和存储介质，通过设定保留数据时间不同的数据库使服务状态指标数据的应用效率更高，提高了数据的响应速度。

为解决上述技术问题，本发明的实施方式提供了一种服务质量监控方法，包括以下步骤：

通过数据采集层获取服务状态指标数据；

根据数据类型将所述服务状态指标数据存储至缓存型数据库和时间序列数据库，其中，所述时间序列数据库包括内存型时间序列数据库、闪存型时间序列数据库和大规模集群型时间序列数据库；

根据数据应用层的监控应用类型将缓存型数据库或时间序列数据库中数据发送至所述监控应用。

本发明的实施方式还提供了一种服务质量监控系统，包括：

数据采集层，用于通过数据采集层获取服务状态指标数据；

数据中转和存储层，用于根据数据类型将所述服务状态指标数据存储至缓存型数据库和时间序列数据库，其中，所述时间序列数据库根据数据库内所述指标数据保留时间的不同划分为内存型时间序列数据库、闪存型时间序列数据库和大规模集群型时间序列数据库；

数据应用层，用于根据数据应用层的监控应用类型将缓存型数据库或时间序列数据库中数据发送至所述监控应用。

本发明实施方式相对于现有技术而言，在数据存储部分按时延的不同划分出不同的数据库，可以根据应用需求从不同的数据库获取数据，区别于以往的不同响应需求的应用使用同一个数据库，加快了数据应用层应用的数据请求的响应速度，提高了数据库中数据资源的利用率。

另外，本发明实施方式提供的服务质量监控方法，所述根据数据类型将所述数据队列中数据发送至所述缓存型数据库和时间序列数据库后，还包括：所述数据队列根据预设时长保留所述服务状态指标；超过所述预设时长后所述数据队列中数据自动进行清除。在数据队列中的数据被发送至数据库中还会在数据队列中保留预设时长，这段时长了可以进行本发明实施方式提供的其他功能，如对数据进行预聚合计算。

另外，本发明实施方式提供的服务质量监控方法，在所述根据数据类型将所述数据队列中数据发送至所述缓存型数据库和时间序列数据库前，包括：对有聚合需求的所述服务状态指标数据进行聚合计算生成聚合计算结果；将所述聚合计算结果储存至所述时间序列数据库。对有聚合需求的数据在发送至数据库前就进行聚合处理，区别于以往的需要读取数据库中数据再进行分析，直接将聚合后的数据保存在数据库中，提高了应用层获取数据的速度。

另外，本发明实施方式提供的服务质量监控方法，在所述根据数据类型将所述数据队列中数据发送至所述缓存型数据库和时间序列数据库中，包括：当所述数据队列中数据发送至所述缓存型数据库和时间序列数据库时发送失败，将所述发送失败的数据发送到重写队列，其中，所述重写队列为所述数据队列中接收所述发送失败的数据的队列。在数据队列中设置重写队列，使发送失败的数据无需在原有的数据队列中再次排队，使发送失败的数据可以进行实时的重新发送。

另外，本发明实施方式提供的服务质量监控方法，在所述通过数据采集层获取服务状态指标数据中，包括：通过低时延告警模块对达到最低时延的数据进行告警，其中，所述最低时延为预先设置的进行所述告警的时限值。通过设置低时延警告模块可以在数据没有进行存储前就对实时性要求高的数据进行了检测，对需要警告的数据进行告警，减少了告警流程，加快了告警的速度，更有利于低时延数据的告警。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明的第一实施方式提供的服务质量监控方法的流程图；

图2是本发明的第一实施方式提供的服务质量监控方法的结构示意图；

图3是本发明的第二实施方式提供的服务质量监控系统的结构示意图；

图4是本发明的第三实施方式提供的服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明的第一实施方式涉及一种服务质量监控方法。具体流程如图1所示。

步骤101，通过数据采集层获取服务状态指标数据。

在本实施方式中，数据采集层获取的数据类型包括：系统类指标数据、业务类指标数据、设备类指标数据等。

采集方式可以为通过部署在边缘服务器上的agent应用采集边缘服务的各类状态指标，或大数据平台计算的各类服务状态指标数据。采集方式不限于以上两种，此处仅为举例，对采集的方式不做限制。

将数据采集层采集的数据通过http请求的形式发送至数据中转层。

步骤102，根据数据类型将所述服务状态指标数据存储至缓存型数据库和时间序列数据库，其中，所述时间序列数据库根据数据库内所述指标数据保留时间的不同划分为内存型时间序列数据库、闪存型时间序列数据库和大规模集群型时间序列数据库。

在本实施方式中，数据中转层接收数据采集层的数据，并将数据经过数据中转层处理发送至数据存储层的缓存型数据库和时间序列数据库。

具体地，数据中转层包括数据接收模块、低时延告警模块数据队列模块、反垃圾数据模块、预聚合计算模块和转发数据模块。

进一步地，数据中转层各模块的关系如图2所示。

数据接收模块201，用于接收数据采集层发送的http数据，将接收到的数据按照数据类型以socket请求的形式发送给数据队列模块，并将需要实时监控的指标数据发送至低时延模块202。

具体地，对需要实时监控的指标数据的划定规则为预先设定，按照设定将符合要求的指标数据发送至低时延告警模块。

低时延告警模块202，用于接收数据接收模块201发送的需要实时监控的数据，对接收的数据进行实时监控，对达到最低时延的指标数据进行告警的操作。

数据队列模块203，用于数据队列模块203中的数据队列按照接收的数据指标的类型不同有不同的队列的划分，并对接收的数据的格式进行变更。数据采集层采集的指标数据由于采集方式的不同，采集的数据可能具有不同的格式，通过数据队列模块将接收到的数据变更成合适的格式，方便后续的数据库的存储和数据应用层的读取处理。将通过数据队列模块的指标数据通过转发数据模块206发送到数据存储层的数据库中。

具体地，数据队列模块中队列还包括重写队列，用于专门接收发送到数据存储层失败的指标数据，由于重写队列是为发送失败的数据设置专门的队列，使这些数据无须在原来的数据队列中再次排队，减少了发送失败的数据重新发送的流程，使这些数据达到了实时重写的效果。

进一步地，发送失败的数据可以来自于预聚合模块205或转发数据模块206。

反垃圾模块204，用于对发送到数据队列中的数据进行实时的分析，允许符合预设规则的指标数据进入到数据队列模块，并对不符合预设规则的指标数据进行标记，可以在后续对这些不符合预设规则的垃圾数据进行分析，确定不合理数据产生的原因，并对这些不合理的地方进行调整，以减少垃圾数据的产生。

预聚合模块205，用于对有聚合需求的所述服务状态指标数据进行聚合计算生成聚合计算结果；将所述聚合计算结果储存至所述缓存数据库或所述时间序列数据库。使这些有聚合需求的数据在发送至数据库前就预先进行聚合，区别于传统的从数据库中读取数据再进行聚合分析的过程，使数据应用层应用获取聚合数据的速度显著的提升。例如可以将以10秒为粒度的数据聚合成以1分钟为粒度的数据进行分析。将聚合后的数据发送至数据存储层数据库中。

需要说明的是，聚合后的指标数据一般需要保留较长时间，建议将此类数据发送至时间序列数据库中，尤其是大规模集群型时间序列数据库。

转发数据模块206，用于转发数据队列中的指标数据至数据存储层。根据指标数据的响应要求将数据队列中的数据发送到相应的数据库中。

具体地，将需要快速响应且并发要求高的数据发送至缓存型数据库中。

在本实施方式中，数据存储层中包括缓存型数据库、内存型时间序列数据库、闪存型时间序列数据库和大规模集群型时间序列数据库。

具体地，缓存型数据库中指标数据的保留时长一般不超过1小时；内存型时间序列数据库中的数据保留时长一般不超过24小时；闪存型时间序列数据库中的数据保留时长一般不超过15天；大规模集群型时间序列数据库中的数据保留时长一般超过15天或者永久保留。

步骤103，根据数据应用层的监控应用类型将缓存型数据库或时间序列数据库中数据发送至所述监控应用。

在本实施方式中，数据应用层的应用根据自身需求获取不同数据库中指标数据。例如调度服务要求低时延，且并发要求较高，因此在获取数据存储层的数据时，可以优先选择缓存型数据库。通用告警服务要求时延比较低，且一般只需要查最近一天的数据，可以优先选择内存型时间序列数据库。运营平台服务在展示周报时可以优先选择闪存型时间序列数据库。运维平台服务在定位异常过程中需要查询历史指标数据时，可以优先选择大规模集群型时间序列数据库。其他应用类似，都可以根据自己业务的特点选择不同的数据库来获取需要的数据。通过数据存储层中数据库的划分，使得数据应用层的应用在获取数据时速度更快，响应时间更短，效率更高。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第二实施方式涉及一种服务质量监控系统，如图3所示，包括：

数据采集层301，用于获取服务状态指标数据。

数据中转和存储层302，用于根据数据类型将所述服务状态指标数据存储至缓存型数据库和时间序列数据库，其中，所述时间序列数据库包括内存型时间序列数据库、闪存型时间序列数据库和大规模集群型时间序列数据库；

数据应用层303，用于根据数据应用层的监控应用类型将缓存型数据库或时间序列数据库中数据发送至所述监控应用。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第五实施方式涉及一种服务器，如图4所示，包括：

至少一个处理器401；以及，

与所述至少一个处理器401通信连接的存储器402；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行服务质量监控方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种服务质量监控方法，其特征在于，包括：

通过数据采集层获取服务状态指标数据；

根据数据类型将所述服务状态指标数据存储至缓存型数据库和时间序列数据库，其中，所述时间序列数据库根据数据库内所述指标数据保留时间的不同划分为内存型时间序列数据库、闪存型时间序列数据库和大规模集群型时间序列数据库；

根据数据应用层的监控应用类型将缓存型数据库或时间序列数据库中数据发送至所述监控应用；

在所述通过数据采集层获取服务状态指标数据中，包括：通过低时延告警模块对达到最低时延的数据进行告警，其中，所述最低时延为预先设置的进行所述告警的时限值。

2.根据权利要求1所述的服务质量监控方法，其特征在于，在所述根据数据类型将所述服务状态指标数据存储至缓存型数据库和时间序列数据库中，具体包括：

将所述服务状态指标数据转发至数据队列中；

根据数据类型将所述数据队列中数据发送至所述缓存型数据库和时间序列数据库。

3.根据权利要求2所述的服务质量监控方法，其特征在于，所述根据数据类型将所述数据队列中数据发送至所述缓存型数据库和时间序列数据库后，还包括：

所述数据队列根据预设时长保留所述服务状态指标；

超过所述预设时长后所述数据队列中数据自动进行清除。

4.根据权利要求2所述的服务质量监控方法，其特征在于，在所述根据数据类型将所述数据队列中数据发送至所述缓存型数据库和时间序列数据库前，包括：

对有聚合需求的所述服务状态指标数据进行聚合计算生成聚合计算结果；

将所述聚合计算结果储存至所述缓存型数据库或所述时间序列数据库。

5.根据权利要求2所述的服务质量监控方法，其特征在于，在所述根据数据类型将所述数据队列中数据发送至所述缓存型数据库和时间序列数据库中，包括：

当所述数据队列中数据发送至所述缓存型数据库和时间序列数据库时发送失败，将所述发送失败的数据发送到重写队列，其中，所述重写队列为所述数据队列中接收所述发送失败的数据的队列。

6.根据权利要求1所述的服务质量监控方法，其特征在于，所述通过低时延告警模块对达到最低时延的数据进行告警，包括：

将待实时监控的数据发送至所述低时延告警模块；

通过所述低时延告警模块判断是否达到所述最低时延；

达到所述最低时延时发出告警信息。

7.一种服务质量监控系统，其特征在于，包括：

数据采集层，用于获取服务状态指标数据；所述服务状态指标数据中，包括：通过低时延告警模块对达到最低时延的数据进行告警，其中，所述最低时延为预先设置的进行所述告警的时限值；

数据中转和存储层，用于根据数据类型将所述服务状态指标数据存储至缓存型数据库和时间序列数据库，其中，所述时间序列数据库包括内存型时间序列数据库、闪存型时间序列数据库和大规模集群型时间序列数据库；

数据应用层，用于根据数据应用层的监控应用类型将缓存型数据库或时间序列数据库中数据发送至所述监控应用。

8.一种服务器，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任一所述的服务质量监控方法。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的服务质量监控方法。

Images