CN109995555B

CN109995555B - 监控方法、装置、设备及介质

Info

Publication number: CN109995555B
Application number: CN201711485194.9A
Authority: CN
Inventors: 董刚刚; 杨波; 李斌
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Group Shanxi Co Ltd
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Group Shanxi Co Ltd
Priority date: 2017-12-29
Filing date: 2017-12-29
Publication date: 2022-06-03
Anticipated expiration: 2037-12-29
Also published as: CN109995555A

Abstract

本发明公开了监控方法、装置、设备及介质。该方法包括：镜像获取网络中包含业务标记的网络流量；根据获取到的网络流量对业务进行监控。根据本发明的技术方案，能够对同一项业务在多个设备处进行监控，有利于快速定位故障。

Description

监控方法、装置、设备及介质

技术领域

本发明涉及通信领域，尤其涉及一种监控方法、装置、设备及介质。

背景技术

目前的IT(Information Technology，信息科技)运维，各司其职，IT基础架构监控，只针对硬件设备或者服务器操作系统进行维护和监控，参见图1。网络部门，只针对网络健康度和是否丢包进行监控。应用部门，只对应用服务器之间的健康度进行监控，例如web服务器、各中间件、数据库服务器之间的监控。

现有的技术方案有如下不足：例如，无法快速排障，当业务出现问题时，各部门都对自己负责的内容进行排查，追溯问题出现的时段，发现各自都没有问题，问题不了了之，给业务造成了安全隐患。可以发现网络问题，但无法进行业务分析和消息分析。发现网络出现问题，不知道该问题会影响哪些业务和应用，缺少有效的串联手段对问题进行关联。问题前后端无法快速串联反应。当前端或后端出现问题时，无法明确的告知问题点，进行快速的解决问题。

发明内容

本发明实施例提供了一种监控方法、装置、设备及介质，能够对同一项业务在多个设备处进行监控，有利于快速定位故障。

第一方面，本发明实施例提供了一种监控方法，包括：

镜像获取网络中包含业务标记的网络流量；

根据获取到的网络流量对业务进行监控。

第二方面，本发明实施例提供了一种监控装置，包括：

获取模块，用于镜像获取网络中包含业务标记的网络流量；

监控模块，用于根据获取到的网络流量对业务进行监控。

第三方面，本发明实施例提供了一种监控设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如第一方面所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现如第一方面所述的方法。

本发明实施例提供的监控方法、装置、设备及介质，在相应的业务请求中添加业务标记，并通过镜像的方式获取包含有相应业务标记的网络流量进行监控。这样就能够对同一项业务在多个设备处进行监控，有利于快速定位故障。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了现有技术中一种监控架构的示意图；

图2和图3示出了本发明的实施例提供的监控方法的场景的示例；

图4示出了本发明的实施例提供的监控方法的主要流程；

图5示出了本发明的实施例提供的监控方法的主要流程；

图6示出了本发明的实施例提供的监控方法的部分流程的实施方式；

图7示出了本发明的实施例提供的监控方法的部分流程的实施方式；

图8示出了本发明的实施例提供的监控装置的主要结构；

图9示出了本发明的实施例提供的监控设备的主要结构。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

参见图2和图3示出了本发明第一方面的实施例提供的监控方法所应用的场景。如图2所示，该场景中，终端用户通过局域网WAN连接到内网交换机，经内网交换机连接到应用服务器。如图3所示，终端用户通过局域网WAN连接到防火墙，然后经过防火墙连接到交换机，并最终连接到相应的服务器。本发明实施例中，终端发起的业务请求中会加入业务标记。本发明第一方面的实施例提供的监控方法主要应用图2和图3中所表示的监控设备，该监控设备主要用于对WAN与后端服务器之间的网络进行监控。

首先介绍在业务请求中添加业务标记的过程。参见图4，相应的流程可以主要包括：

步骤S41，检测终端发起的业务请求。

这里的终端可以是指手机、平板电脑、笔记本电脑等便携电子设备，或者也可以为台式计算机等非便携设备。“终端发起的业务请求”的过程可以参见相关的现有技术，这里不再进行详细说明。

步骤S42，在所述业务请求中添加业务标记。

可以在终端中加入SDK实现这样的功能，通过SDK的内置addheader()方法，每次客户端操作开始发送请求，请求到后端服务器的同时，addheader()方法会自动的在请求的header头信息中加入业务标记，这样增加的业务标记在网络传输的过程中，不容易被过滤掉。进一步的，可以针对每一笔交易所对应的业务请求，添加对应的唯一的业务标记。这样在后续过程中，能够针对每一笔交易实现相应的监控，提高监控的精度。

具体实施时，业务标记可以表现为多种形式，在能够唯一标记业务请求的情况下，业务标记的具体形式不会影响本实施例的方案的实施。在一些实施例中，上述的终端可以是指手机，业务标记可以具体包括用户识别UID和事件识别TID。

TID和UID的生成规则：确保每次请求都产生唯一的UID和TID

TID：M+当前时间+手机唯一标识+网络请求次数。其中，M代表mobile。为方便后续扩展，例如增加浏览器web端，可以定义为B。网络请求次数具体是指打开APP后，每一个请求被访问的次数。

UID：手机唯一标识

最后对TID和UID进行base64加密，产生唯一的业务标记。

进行加密的优点是能够避免其他设备窃取相应的TID和UID，增强网络的安全性。

由于在业务请求中加入了业务标记，这样在网络设备以及各后端服务器处，就可以识别该业务请求，进而实现对该业务请求所对应的业务的监控。

本发明第一方面的实施例提供的监控方法，参见图5，该方法可以主要包括：

步骤S51，镜像获取网络中包含业务标记的网络流量。

在具体实施时，这里获取的网络流量可以是指在某一个网络设备或者服务器设备处的、具有业务标记的网络流量，也可以是指全网中各个设备处的网络流量。在对全网中的各个设备处的流量进行监控时，可以对各个设备处的流量进行镜像，然后通过流量汇聚设备汇聚到相应的监控设备。

这里的业务标记可以为如以上任一项所介绍的业务标记，相关的描述参见第一方面，这里不再详细说明。不难理解的是，在本步骤中，可以通过解析(3-7层)相应的网络流量，确定其中是否包含相应的业务标记，之后对该网络流量进行镜像。采用镜像的方式获取网络流量不会影响正常的业务。

步骤S52，根据获取到的网络流量对业务进行监控。

在实施时，如以上所述的：当每一笔交易对应于不同的业务标记时，这里的步骤S52可以具体是指：针对待分析的交易，获取网络中包含该交易对应的业务标记的网络流量。这样能够实现对具体的交易的分析，监控的精度更高。

在具体实施时，这里的监控的形式有多种，比如可以是根据预设的规则对网络流量进行一定的统计，根据统计结果判断是否发生故障，并在故障时输出告警信息。或者也可以基于网络流量监控某一特定事件。下面对本发明一些实施例提供的监控的方式进行说明。一种监控方式中，是对URL请求对应的业务转化率的监控，即监控有多少URL请求转换成了业务转化率。具体实现时，可以建模的方式建立相应的分析模型，根据该分析模型计算URL请求对应的业务转换率。

参见图6，具体可以包括：

第一步，建立规则建模仓库，所述规则建模仓库包括多个URL请求；

在具体实施时，每次用户终端从前端访问业务系统，将访问的URL请求进入规则建模仓库。规则建模仓库可以通过SDK自动采集，也可以手动创建。

第二步，对所述规则建模仓库进行业务规则梳理和业务正确性判断完善规则建模仓库。这里所指的业务规则梳理和业务正确性判断可以是根据分析人员录入的分析结果进行的，使得规则建模仓库能够对新的URL请求进行正确性的判断。

第三步，根据所述规则建模仓库统计所接收到的多个URL请求所对应的业务转化率。在有心的大量的URL请求过来，可以通过该规则建模仓库进行自动匹配，得到业务数据和性能数据，最后转化成业务转化率。

通过这种方式，若应用出现了问题，能够分析出是业务中的什么业务出现了问题，在哪里出现了问题。通过建模规则，可以精确的将业务、性能、业务转化率相结合。便于运维和运营人员对系统进行统计和分析。

再一种监控方式是：为分析人员提供基础数据，使得分析人员能够根据基础数据进行分析。

具体可以包括：

(1)根据前端请求标记的UID和TID进行查询，精确的定位数据包，将问题定位到该请求包中。这样分析人员仅需对所定位的请求包进行分析即可，大大节省了排查时间。

另外，还可以将业务走过的网络节点、网络时延、响应时间以及网络错误返回给分析人员，分析人员据此进行分析。

(2)数据包解码分析：将精确定位的数据包，下载，解码分析；然后呈现给分析人员，分析人员通过查看包的内容，得出结论，快速排障。

比如当在前端监控发现某一时刻业务出现了非常慢的访问，用户通过此节业务标记，关联到同一时刻的网络端和应用服务器端，然后深入分析该数据包，解码数据包，分析数据库SQL语句，定位链接数据库失败。

再一种监控方式中，当上述的网络流量是指全网中的网络流量时，可以根据在检测到针对所述业务的第一告警时，根据获取到的网络流量进行故障定位；并根据定位的故障输出第二告警。比如在前端出现了告警，会自动关联到网络端是否丢包，关联到后端应用服务器是否健康，做出明确的告警信息，旨在帮助运维人员快速的排查和解决问题。告警策略和触发规则可以由分析人员进行设置，参见图7，可以包括：

用户设置告警策略，填写联系人信息；

联系客户；告知客户告警时间、告警类别、告警持续时间、告警级别、告警内容、联系组；

告警发生时快照，存储告警表；

告警信息存入告警表；

所有告警信息列表可以在告警页面根据时间、类别、级别和联系组筛选；

另外分析人员可以根据实际观察到的数据进行报警；或者数据库进行自动分析之后，进行报警；报警的内容写入到告警策略中。

在具体实施时，相应的故障排查和告警的过程可以按照如下列举的方式进行：

第一种是周期性的告警：具体包括：

对于待排查设备，确定当前第二周期内的当前时间段所对应的第一周期平均值；所述第一周期平均值根据当前时段在之前的第二周期内对应的同一时段内，流经所述待排查设备且具有所述业务标记的流量的数据值确定，用于表示在第一周期内流经所述待排查设备的数据值的平均值；

在当前第一周期所对应的数据值与所述第一周期平均值的差值大于设定值时，确定待排查设备故障。

举例来说，上述的周期性告警的方式可以包括如下的步骤：

(1)计算每10分钟(可配置，对应于以上的时间段)的平均值，一天总共有60*24/10＝144个平均值。

(2)一天中每一个10分钟的平均(总共有144个)，又和上一周(对应于第二周期)同一天的同一个时段的10分钟平均值进行平均，得到第一周期平均值，总共回溯4周(可配置)。

譬如：今天(周一)10:00to 10:09的平均值，和上周一10:00to 10:09的平均值，再和上上周(周一)10:00to 10:09的平均值做一个平均值。

(3)把这个平均值作为基线的判断标准，将每一分钟的值和这一分钟所属的10分钟的平均值进行对比，如果高于x％，就产生超基线告警；如果低于y％，就产生低于基线的告警。

(4)基线的平均值的计算，建议在每天凌晨的时候计算前一天的基线值。

(5)基线需要至少等一周才能生效。

(6)基线触发条件，对于落在10:00-10:09的数据，每分钟的数据都和基线的平均值进行比较。如果超过x％(规则定义时指定的阀值)，则产生高于基线告警；如果低于y(规则定义时指定的阀值)，则产生低于基线告警。

(7)在设置的时候可以变更基线触发条件(一旦告警，清除之前所存的触发信息，重新进入触发流程)(a与b互斥，只能选择一种触发方式)：

a)连续N次超过基线阀值，则告警；

b)在M分钟(5的倍数内，N次超过基线阀值，则告警。

第二种方式是非周期性的告警，具体包括：对于待排查设备，计算距离当前时刻的预设时长内，流经所述待排查设备且具有所述业务标记的流量的第四周期平均值；所述第四周期平均值是指距离当前时刻的预设时长内，一个第四周期所流经流量的数据值的平均值；

在当前的第四周期的数据值与所述第四周期平均值的差值大于设定值时，判断所述待排查设备不健康。

举例来说，上述的非周期性告警的方式可以具体包括如下步骤：

(1)每天凌晨(固定时间：0:00)计算昨天的基线。

(2)简单地把昨天每一分钟(对应于一个第四周期)的数据做一个平均。

(3)然后再和之前14天(可配置)，的每一天的平均做一个平均，得到第四周期平均值。

(4)基线触发条件，每分钟的数据都和基线的平均值进行比较。如果超过x％(规则定义时指定的阀值)，则产生高于基线告警，如果低于y％(规则定义时指定的阀值)，则产生低于基线告警。

以上所列举的两种方式都能够基于大数据技术动态的调整基线，使得基线能够更好的反映实际的情况。

以上任意实施例提供的监控方法中，在相应的业务请求中添加业务标记，并在镜像的方式抓取包含有相应业务标记的网络流量进行监控。这样就能够对一项业务，在至少两端处实现统一的监控，有利于快速定位故障。

第二方面，本发明的实施例还提供了一种监控装置，可以用以执行如第一方面的实施例任一项所述的方法，参见图8，该装置包括：

获取模块81，用于镜像获取网络中包含业务标记的网络流量；

监控模块82，用于根据获取到的网络流量对业务进行监控。

在一些实施例中，获取模块81，用于镜像获取网络中包含业务标记的网络流量，包括：

在全网中镜像获取网络中包含业务标记的网络流量；

所述根据获取到的网络流量对业务进行监控，包括：

在检测到针对所述业务的第一告警时，根据获取到的网络流量进行故障定位；并根据定位的故障输出第二告警。

在一些实施例中，获取模块81，用于在检测到针对所述业务的第一告警时，根据获取到的网络流量进行故障定位；并根据定位的故障输出第二告警，包括：

在当前第一周期所对应的数据值与所述第一周期平均值的差值大于设定值时，确定待排查设备故障；并输出用于指示所述待排查设备故障的第二告警。

对于待排查设备，计算距离当前时刻的预设时长内，流经所述待排查设备且具有所述业务标记的流量的第四周期平均值；所述第四周期平均值是指距离当前时刻的预设时长内，一个第四周期所流经流量的数据值的平均值；

在当前的第四周期的数据值与所述第四周期平均值的差值大于设定值时，确定待排查设备故障；并输出用于指示所述待排查设备故障的第二告警。

在一些实施例中，所述网络流量包括：URL请求；

所述装置还包括：

规则建模仓库建立模块，用于建立规则建模仓库，所述规则建模仓库包括多个URL请求；对所述规则建模仓库进行业务规则梳理和业务正确性判断；

所述监控模块82，用于根据获取到的网络流量对业务进行监控，包括：

根据所述规则建模仓库统计所接收到的多个URL请求所对应的业务转化率。

在一些实施例中，所述网络流量为手机端发起的网络流量；

所述业务标记事件识别TID和手机唯一标识UID；所述TID包括手机指示标识、当前时间、UID和网络请求次数。

在一些实施例中，每一笔交易对应于不同的业务标记；

所述获取模块81具体用于针对待分析的交易，获取网络中包含该交易对应的业务标记的网络流量。

另外，结合图5述的本发明实施例的监控方法可以由监控设备来实现。该监控设备的软件和硬件结构可以参考图9中关于监控设备的描述，这里不再详细说明。

另外，结合图2-4描述的本发明实施例的监控方法可以由监控设备设备来实现。图9示出了本发明实施例提供的监控设备的硬件结构示意图。

监控设备可以包括处理器901以及存储有计算机程序指令的存储器902。

具体地，上述处理器901可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器902可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器902可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器902可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器902可在数据处理装置的内部或外部。在特定实施例中，存储器902是非易失性固态存储器。在特定实施例中，存储器902包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器901通过读取并执行存储器902中存储的计算机程序指令，以实现上述第一方面的实施例中的任意一种监控方法。

在一个示例中，监控设备还可包括通信接口903和总线910。其中，如图6所示，处理器901、存储器902、通信接口903通过总线910连接并完成相互间的通信。

通信接口903，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线910包括硬件、软件或两者，将监控设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线910可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

另外，结合上述实施例中的监控方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现第一方面实施例中的任意一种监控方法。另外，结合上述第四方面的实施例中的监控方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种监控方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims

1.一种监控方法，其特征在于，包括：

镜像获取网络中包含业务标记的网络流量；

根据获取到的网络流量对业务进行监控；

所述镜像获取网络中包含业务标记的网络流量，包括：

在全网中镜像获取网络中包含业务标记的网络流量；

所述根据获取到的网络流量对业务进行监控，包括：

在检测到针对所述业务的第一告警时，根据获取到的网络流量进行故障定位；并根据定位的故障输出第二告警；

所述在检测到针对所述业务的第一告警时，根据获取到的网络流量进行故障定位；并根据定位的故障输出第二告警，包括：

2.根据权利要求1所述的方法，其特征在于，所述在检测到针对所述业务的第一告警时，根据获取到的网络流量进行故障定位；并根据定位的故障输出第二告警，包括：

3.根据权利要求1所述的方法，其特征在于，所述网络流量包括：URL请求；

所述方法还包括：

建立规则建模仓库，所述规则建模仓库包括多个URL请求；

对所述规则建模仓库进行业务规则梳理和业务正确性判断；

所述根据获取到的网络流量对业务进行监控，包括：

4.根据权利要求1所述的方法，其特征在于，所述网络流量为手机端发起的网络流量；

5.根据权利要求1所述的方法，其特征在于，每一笔交易对应于不同的业务标记；

所述镜像获取网络中包含业务标记的网络流量，包括：

针对待分析的交易，获取网络中包含该交易对应的业务标记的网络流量。

6.一种监控装置，其特征在于，包括：

获取模块，用于镜像获取网络中包含业务标记的网络流量；

监控模块，用于根据获取到的网络流量对业务进行监控；

所述镜像获取网络中包含业务标记的网络流量，包括：

在全网中镜像获取网络中包含业务标记的网络流量；

所述根据获取到的网络流量对业务进行监控，包括：

7.一种监控设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-5中任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-5中任一项所述的方法。