CN109873734B - 一种底层数据监控方法、介质、设备及装置 - Google Patents

Abstract

本文公开了一种底层数据监控方法、介质、设备及装置，此方法包括：识别用户端向边缘服务器发起的建立连接请求；在所述建立连接请求对应的连接建立成功后，采集所述连接上的数据包传输参数数据；将采集到所述连接上的数据包传输参数数据发送至应用层处理模块；在应用层对所述采集到的数据包传输参数数据进行分析。本发明可根据用户需求针对请求进行切割，进行数据采集与分析，在边缘服务器进行全部分析处理，可有效提高处理速度、时效性和及时性。本发明利用分布式计算的原理，将数据处理分散至所有需采集数据的设备上，减少了对中心处理服务器的计算性能需求，使架构布局更灵活。

Description

一种底层数据监控方法、介质、设备及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种底层数据监控方法、介质、设备及装置。

背景技术

随着网络的应用越来越广泛，规模也随之增长，网络中承载的业务内容也越来越丰富。为了给网络用户提供更好的网络服务，优化网络性能，对各种网络参数的检测和配置也日渐受到重视，以对网络流量的监控最为典型。网络流量表示网络上传输的数据量，通过对网络流量的检测和分析，有助于网络管理者进行网络规则、网络优化、网络监控、流量趋势分析等，为网络的正常、稳定、可靠运行提供保障。并且，通过及时掌握网络流量的特征，能够实现优化网络带宽配置及时解决网络性能问题。

目前，在内容分发网络上，现有的检测支持S/C模式的数据库能够将服务器端与客户端衔接，对数据库中的网络流量规则的进行所需的配置，改变网络流量检测规则，检测需要检测的网络数据包，获得网络流量，对网络流量进行检测的实际需求的问题，实现了网络流量检测规则的灵活配置。

现有客户服务监控大部分基于用户访问日志生成，而通过网络日志进行监控存在以下几个缺点：

1.记录的生成时间滞后、由于日志的记录方式的是一个数据包或者按文件的大小进行传输的，所以记录时间会滞后。

2.记录数据不准确；由于日志主要是在应用层上进行实现的，没有涉及到网络的传输，但是网络传输会有延迟、抖动等没有记录，所以该记录的数据不够准确。

3.另外通过日志进行监控没有办法针对单个请求进行记录，正常都是一个请求一个记录，而无法细化一个请求多个记录进行统计。

发明内容

为了解决上述技术问题，本发明提供了一种底层数据监控方法、介质、设备及装置。

本发明提供的底层数据监控方法，包括：

识别用户端向边缘服务器发起的建立连接请求；在建立连接请求对应的连接建立成功后，采集连接上的数据包传输参数数据；将采集到连接上的数据包传输参数数据发送至应用层处理模块；

在应用层对采集到的数据包传输参数数据进行分析。

上述底层数据监控方法还具有以下特点：

采集连接上的数据包传输参数包括：采集预设采集周期内的数据包传输参数或者采集传输预设数据量过程中的数据包传输参数；

数据包传输参数包括以下参数中的至少一种：用户端接收数据的速度、连接的服务端发送数据的速度、用户端接收数据的数据量、连接的服务端发送数据的数据量、数据包往返延时、重传数据的数据量。

上述底层数据监控方法还具有以下特点：

采集连接上的数据包传输参数包括：在连接的数据响应函数中设置传输参数钩子函数，在接收到数据响应消息后，调用传输参数钩子函数获取相应传输参数。

上述底层数据监控方法还具有以下特点：

识别用户端向边缘服务器发起的建立连接请求后，方法还包括：记录客户端地址和/或访问目标地址，在建立连接请求对应的连接建立成功后获取此连接对应的域名，记录客户端地址和/或访问目标地址对应于域名的对应关系，将采集到连接上的数据包传输参数数据发送至应用层处理模块的同时将对应关系发送至应用层处理模块；

在应用层对采集到的数据包传输参数数据进行分析包括：根据客户端地址和域名的对应关系对采集到的数据包传输参数数据进行分析。

上述底层数据监控方法还具有以下特点：

在建立连接请求对应的连接建立成功后，方法还包括：采集建连数据，对建连数据和数据包传输参数数据进行数据聚合。

本发明提供的计算机可读存储介质上存储有计算机程序，程序被处理器执行时实现上述方法的步骤。

本发明提供的种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述方法的步骤。

本发明提供的底层数据监控装置，包括：底层处理模块和应用层处理模块；底层处理模块包括识别模块、采集模块和发送模块；应用层处理模块包括分析模块；

识别模块，用于识别用户端向边缘服务器发起的建立连接请求；

采集模块，用于在建立连接请求对应的连接建立成功后，采集连接上的数据包传输参数数据；

发送模块，用于将采集到连接上的数据包传输参数数据发送至应用层处理模块；

分析模块，用于对采集到的数据包传输参数数据进行分析。

上述底层数据监控装置还具有以下特点：

采集模块，还用于使用以下方法采集连接上的数据包传输参数数据：采集预设采集周期内的数据包传输参数或者采集传输预设数据量过程中的数据包传输参数；

数据包传输参数包括以下参数中的至少一种：用户端接收数据的速度、连接的服务端发送数据的速度、用户端接收数据的数据量、连接的服务端发送数据的数据量、数据包往返延时、重传数据的数据量。

上述底层数据监控装置还具有以下特点：

采集模块，还用于使用以下方法采集连接上的数据包传输参数数据：在连接的数据响应函数中设置传输参数钩子函数，在接收到数据响应消息后，调用传输参数钩子函数获取相应传输参数。

上述底层数据监控装置还具有以下特点：

装置还包括记录模块，用于记录客户端地址和/或访问目标地址，在建立连接请求对应的连接建立成功后获取此连接对应的域名，记录客户端地址和/或访问目标地址对应于域名的对应关系；

发送模块，用于将采集到连接上的数据包传输参数数据发送至应用层处理模块的同时将对应关系发送至应用层处理模块；

分析模块，用于根据客户端地址和域名的对应关系对采集到的数据包传输参数数据进行分析。

上述底层数据监控装置还具有以下特点：

采集模块，还用于采集建连数据；

装置还包括聚合模块，用于对建连数据和数据包传输参数数据进行数据聚合。

本发明的优点包括：

一，针对现有技术中所有数据需要等待用户请求完毕并写入日志并且日志被收集到中心数据处理服务器后才能进行分析的缺点，本发明可根据用户需求针对请求进行切割，进行数据采集与分析，在边缘服务器进行全部分析处理，可有效提高处理速度、时效性和及时性。

二，利用分布式计算的原理，将数据处理分散至所有需采集数据的设备上，减少了对中心处理服务器的计算性能需求，使架构布局更灵活。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是实施例中底层数据监控方法的流程图；

图2是实施例中底层数据监控装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1是实施例中底层数据监控方法的流程图，此方法包括：

步骤1，识别用户端向边缘服务器发起的建立连接请求；在建立连接请求对应的连接建立成功后，采集连接上的数据包传输参数数据；将采集到连接上的数据包传输参数数据发送至应用层处理模块；

步骤2，在应用层对采集到的数据包传输参数数据进行分析。

本方法中的底层是相对于应用层而言的，步骤1中在底层执行下述步骤：识别用户端向边缘服务器发起的建立连接请求；在建立连接请求对应的连接建立成功后，采集连接上的数据包传输参数数据。此底层的概念中包括内核的概念，步骤1中在内核执行上述步骤为较优选的方式。

其中，步骤1中采集连接上的数据包传输参数包括：采集预设采集周期(例如10秒或1分钟)内的数据包传输参数或者采集传输预设数据量(例如100KB或1MB)过程中的数据包传输参数，数据包传输参数包括以下参数中的至少一种：用户端接收数据的速度、连接的服务端发送数据的速度、用户端接收数据的数据量、连接的服务端发送数据的数据量、数据包往返延时、重传数据的数据量。

具体的，采集连接上的数据包传输参数包括：在连接的数据响应函数中设置传输参数钩子函数，在接收到数据响应消息后，调用传输参数钩子函数获取相应传输参数。

此方法还包括：步骤1中识别用户端向边缘服务器发起的建立连接请求后，记录客户端地址(客户端IP地址和/或客户端端口地址)和/或访问目标地址(目的IP地址和/或目的端口地址)，在建立连接请求对应的连接建立成功后获取此连接对应的域名，记录客户端地址和/或访问目标地址对应于域名的对应关系，将采集到连接上的数据包传输参数数据发送至应用层处理模块的同时将对应关系发送至应用层处理模块；步骤2根据对应关系对采集到的数据包传输参数数据进行分析。此方法中，记录客户端地址、访问目标地址和域名后，还可以用于相同客户端地址再次发起相同的建立连接请求时进行确认。

对采集到的数据包传输参数数据进行分析时，可以单独分析某一连接请求中的数据，可以针对客户端地址分析此客户端地址发起的所有连接中的数据，也可以针对域名分析以此域名为访问目标的所有连接中的数据。

步骤1中向应用层处理模块发送数据时可以采用netlink软件实现。

步骤1中还记录从收到建立连接请求到连接建立成功之间的信息，将记录的此信息和采集到的数据包传输参数发送至应用层处理模块，便于应用层处理模块针对建立连接过程的信息进行单独分析，并且对建立连接成功后数据包传输参数进行单独分析。

步骤2中还存储采集到的所有数据，可以存储在本地或存储在云端。

在步骤2后还包括一可选步骤：在建立连接请求对应的连接建立成功后，采集建连数据，对建连数据和数据包传输参数数据进行数据聚合。建连数据包括连接标识和建连耗时。

本方法中，分析完成后，显示分析结果显示，相关人员根据分析结果判断服务质量情况，进行后续处理。

图2是实施例中底层数据监控装置的结构图，此装置包括：底层处理模块和应用层处理模块；底层处理模块包括识别模块、采集模块和发送模块；应用层处理模块包括分析模块；

识别模块，用于识别用户端向边缘服务器发起的建立连接请求；

采集模块，用于在建立连接请求对应的连接建立成功后，采集连接上的数据包传输参数数据；

发送模块，用于将采集到连接上的数据包传输参数数据发送至应用层处理模块；

分析模块，用于对采集到的数据包传输参数数据进行分析。

其中，

采集模块还用于使用以下方法采集所述连接上的数据包传输参数数据：采集预设采集周期内的数据包传输参数或者采集传输预设数据量过程中的数据包传输参数。数据包传输参数包括以下参数中的至少一种：用户端接收数据的速度、所述连接的服务端发送数据的速度、用户端接收数据的数据量、所述连接的服务端发送数据的数据量、数据包往返延时、重传数据的数据量。

采集模块还用于使用以下方法采集所述连接上的数据包传输参数数据：在所述连接的数据响应函数中设置传输参数钩子函数，在接收到数据响应消息后，调用所述传输参数钩子函数获取相应传输参数。

本装置还包括记录模块用于记录客户端地址和/或访问目标地址，在建立连接请求对应的连接建立成功后获取此连接对应的域名，记录客户端地址和/或访问目标地址对应于域名的对应关系。发送模块用于将采集到所述连接上的数据包传输参数数据发送至应用层处理模块的同时将对应关系发送至应用层处理模块。分析模块用于根据客户端地址和域名的对应关系对采集到的数据包传输参数数据进行分析。

此装置中采集模块还用于采集建连数据；此装置还包括聚合模块，用于对建连数据和数据包传输参数数据进行数据聚合，可以减少最终存储数据量。

本发明的优点包括：

一，针对现有技术中所有数据需要等待用户请求完毕并写入日志并且日志被收集到中心数据处理服务器后才能进行分析的缺点，本发明可根据用户需求针对请求进行切割，进行数据采集与分析，在边缘服务器进行全部分析处理，可有效提高处理速度、时效性和及时性。

二，利用分布式计算的原理，将数据处理分散至所有需采集数据的设备上，减少了对中心处理服务器的计算性能需求，使架构布局更灵活。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种底层数据监控方法，包括：

识别用户端向边缘服务器发起的建立连接请求；在所述建立连接请求对应的连接建立成功后，采集所述连接上的数据包传输参数数据；所述数据包传输参数包括以下参数中的至少一种：用户端接收数据的速度、所述连接的服务端发送数据的速度、用户端接收数据的数据量、所述连接的服务端发送数据的数据量、数据包往返延时、重传数据的数据量；

所述采集所述连接上的数据包传输参数包括：采集预设采集周期内的数据包传输参数或者采集传输预设数据量过程中的数据包传输参数；

将采集到所述连接上的数据包传输参数数据发送至应用层处理模块；其中，上述步骤在底层执行，底层是相对于应用层而言的；

在应用层对所述采集到的数据包传输参数数据进行分析。

2.如权利要求1所述的底层数据监控方法，其特征在于，

所述采集所述连接上的数据包传输参数包括：在所述连接的数据响应函数中设置传输参数钩子函数，在接收到数据响应消息后，调用所述传输参数钩子函数获取相应传输参数。

3.如权利要求1所述的底层数据监控方法，其特征在于，

所述识别用户端向边缘服务器发起的建立连接请求后，所述方法还包括：记录客户端地址和/或访问目标地址，在所述建立连接请求对应的连接建立成功后获取此连接对应的域名，记录客户端地址和/或访问目标地址对应于域名的对应关系，将采集到所述连接上的数据包传输参数数据发送至应用层处理模块的同时将所述对应关系发送至应用层处理模块；

所述在应用层对所述采集到的数据包传输参数数据进行分析包括：根据客户端地址和所述域名的对应关系对所述采集到的数据包传输参数数据进行分析。

4.如权利要求1所述的底层数据监控方法，其特征在于，

在所述建立连接请求对应的连接建立成功后，所述方法还包括：采集建连数据，对所述建连数据和所述数据包传输参数数据进行数据聚合。

5.一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1至4中任意一项所述方法的步骤。

6.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至4中任意一项所述方法的步骤。

7.一种底层数据监控装置，包括：底层处理模块和应用层处理模块；

所述底层处理模块包括识别模块、采集模块和发送模块；应用层处理模块包括分析模块；

所述识别模块，用于识别用户端向边缘服务器发起的建立连接请求；

所述采集模块，用于在所述建立连接请求对应的连接建立成功后，采集所述连接上的数据包传输参数数据；

所述发送模块，用于将采集到所述连接上的数据包传输参数数据发送至应用层处理模块；

所述分析模块，用于对所述采集到的数据包传输参数数据进行分析；所述采集模块，还用于使用以下方法采集所述连接上的数据包传输参数数据：采集预设采集周期内的数据包传输参数或者采集传输预设数据量过程中的数据包传输参数；

所述数据包传输参数包括以下参数中的至少一种：用户端接收数据的速度、所述连接的服务端发送数据的速度、用户端接收数据的数据量、所述连接的服务端发送数据的数据量、数据包往返延时、重传数据的数据量。

8.如权利要求7所述的底层数据监控装置，其特征在于，

所述采集模块，还用于使用以下方法采集所述连接上的数据包传输参数数据：在所述连接的数据响应函数中设置传输参数钩子函数，在接收到数据响应消息后，调用所述传输参数钩子函数获取相应传输参数。

9.如权利要求7所述的底层数据监控装置，其特征在于，

所述装置还包括记录模块，用于记录客户端地址和/或访问目标地址，在所述建立连接请求对应的连接建立成功后获取此连接对应的域名，记录客户端地址和/或访问目标地址对应于域名的对应关系；

所述发送模块，用于将采集到所述连接上的数据包传输参数数据发送至应用层处理模块的同时将所述对应关系发送至应用层处理模块；

所述分析模块，用于根据客户端地址和所述域名的对应关系对所述采集到的数据包传输参数数据进行分析。

10.如权利要求7所述的底层数据监控装置，其特征在于，

所述采集模块，还用于采集建连数据；

所述装置还包括聚合模块，用于对所述建连数据和所述数据包传输参数数据进行数据聚合。

Images