CN108768779B - 网络资源的统计方法及装置 - Google Patents

Abstract

本申请提供一种网络资源的统计方法及装置，该方法应用于网关设备，该网关设备用于转发服务端与各个客户端之间进行交互的数据；该方法可以包括：按照预设周期获取所述服务端向所述各个客户端返回的网络资源；按照预设维度分析所述网络资源，以提取出所述网络资源的资源信息；根据提取出的资源信息统计出针对所述预设维度的下载量信息。通过由网关设备获取服务端与各个客户端之间传输的网络资源，并按照预设维度对该网络资源进行分析以最终统计得到下载量信息，可以确定服务端与各个客户端之间网络资源的传输情况，有助于对该传输情况进行管控。同时，上述统计操作无需由服务端执行，可减少对服务端运行资源的占用，以及降低服务端的开发成本。

Description

网络资源的统计方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种网络资源的统计方法及装置。

背景技术

随着互联网技术的发展，人们可通过互联网获取各种想要的网络资源。比如，学校的老师、学生等在学习过程中，可通过WEB客户端向服务器请求下载论文，服务器在接收到请求后，向WEB客户端返回相应的论文。

发明内容

有鉴于此，本申请提供一种网络资源的统计方法及装置，可以按照预设维度对各个客户端向服务端请求下载的网络资源进行统计，从而有助于对服务端与各个客户端之间网络资源的传输进行管控。

为实现上述目的，本申请提供技术方案如下：

根据本申请的第一方面，提出了一种网络资源的统计方法，应用于网关设备，所述网关设备用于转发服务端与各个客户端之间进行交互的数据；所述方法包括：

按照预设周期获取所述服务端向所述各个客户端返回的网络资源；

按照预设维度分析所述网络资源，以提取出所述网络资源的资源信息；

根据提取出的资源信息统计出针对所述预设维度的下载量信息。

根据本申请的第二方面，提出了一种网络资源的统计装置，应用于网关设备，所述网关设备用于转发服务端与各个客户端之间进行交互的数据；所述装置包括：

获取单元，按照预设周期获取所述服务端向所述各个客户端返回的网络资源；

分析单元，按照预设维度分析所述网络资源，以提取出所述网络资源的资源信息；

统计单元，根据提取出的资源信息统计出针对所述预设维度的下载量信息

由以上技术方案可见，本申请通过由网关设备获取服务端与各个客户端之间传输的网络资源，并按照预设维度对获取到的网络资源进行分析以最终统计得到下载量信息，从而可以确定服务端与各个客户端之间网络资源的传输情况，有助于对该传输情况进行管控。同时，上述统计操作由网关设备执行，而无需由服务端执行，可减少对服务端运行资源的占用，以及降低服务端的开发成本。

附图说明

图1是本申请一示例性实施例示出的网络资源的统计系统的架构图。

图2是本申请一示例性实施例示出的一种网络资源的统计方法的流程图。

图3是本申请一示例性实施例示出的另一种网络资源的统计方法的流程图。

图4是本申请一示例性实施例示出的另一种网络资源的统计方法的流程图。

图5是本申请一示例性实施例示出的一种电子设备的结构示意图。

图6是本申请一示例性实施例示出的一种网络资源的统计装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

请参见图1，图1是本申请一示例性实施例示出的网络资源的统计系统的架构图。如图1所示，该系统可以包括多个客户端(比如客户端10A、10B、10C等)、服务端20和网关设备30。其中，客户端10A-10C等可以是WEB客户端；服务端20可以是任意存储有网络资源的服务器；网关设备30可以是路由器、防火墙等，用于转发服务端30与各个客户端之间进行交互的数据。

以请求下载论文的场景为例，客户端10A可通过向服务端30发送HTTP(HyperTextTransfer Protocol，超文本传输协议)请求报文来下载论文，服务端20在接收到网关设备30转发的HTTP请求报文后，向网关设备返回相应的论文(存储于HTTP响应报文中)，以由网关设备将该论文转发至客户端10A。

下面从网关设备侧对本申请的网络资源的统计方案进行说明。请参见图2，图2是本申请一示例性实施例示出的一种网络资源的统计方法的流程图。如图2所示，该统计方法应用于网关设备，所述网关设备用于转发服务端与各个客户端之间进行交互的数据；该统计方法可以包括以下步骤：

步骤202，按照预设周期获取所述服务端向所述各个客户端返回的网络资源。

在一实施例中，网关设备可在接收到所述服务端向所述各个客户端返回的所述网络资源时，在本地存储所述网络资源。基于上述存储操作，那么所述网关设备在需要按照预设周期获取所述网络资源时，按照所述预设周期在本地读取所述网络资源即可。

在另一实施例中，由上述对架构系统的描述可知，所述网关设备可接收到各个客户端向服务端发送的下载请求报文(比如，HTTP请求报文)；那么，所述网关设备可解析所述各个客户端向所述服务端发送的下载请求报文，以生成针对所述各个客户端的下载日志。基于上述生成下载日志的操作，所述网关设备在需要按照预设周期获取所述网络资源时，可按照所述预设周期，根据所述下载日志记录的资源地址下载所述网络资源。

步骤204，按照预设维度分析所述网络资源，以提取出所述网络资源的资源信息。

在本实施例中，所述网络资源可包括论文，所述预设维度可包括以下至少之一：论文名称、论文作者、请求方客户端。当然，所述网络资源还可以包括其他任意类型的网络资源，比如，视频、图片、音频等，本申请并不对此进行限制。类似的，本申请对预设维度的具体形式也不进行限制。

步骤206，根据提取出的资源信息统计出针对所述预设维度的下载量信息。

在本实施例中，可基于统计出的下载量信息，对服务端与各个客户端之间网络资源的传输进行管控。作为一示例性实施例，所述网关设备可预配置限制条件，所述限制条件基于同一客户端请求下载的频率生成。那么网关设备可在所述下载量信息满足所述限制条件时，禁止相应的客户端向所述服务端请求下载网络资源。

由以上技术方案可见，本申请通过由网关设备获取服务端与各个客户端之间传输的网络资源，并按照预设维度对获取到的网络资源进行分析以最终统计得到下载量信息，从而可以确定服务端与各个客户端之间网络资源的传输情况，有助于对该传输情况进行管控。同时，上述统计操作由网关设备执行，而无需由服务端执行，可减少对服务端运行资源的占用，以及降低服务端的开发成本。

为了便于理解，下面以客户端请求下载论文的场景为例，对本申请的技术方案进行详细描述。

请参见图3，图3是本申请一示例性实施例示出的另一种网络资源的统计方法的流程图。如图3所示，该方法应用于网管设备中，该网关设备用于转发服务端与各个客户端之间进行交互的数据；该方法可以包括以下步骤：

步骤302，解析HTTP请求报文。

在本实施例中，由上述对架构系统的描述可知，网关设备可接收到各个客户端向服务端发送的HTTP请求报文(用于向服务器请求下载论文)；那么，网关设备可解析各个客户端向服务端发送的HTTP请求报文，以生成针对各个客户端的下载日志。

举例而言，网管设备可解析各个客户端发送的HTTP请求报文，提取其中包含的URL(Uniform Resource Locator，统一资源定位符)地址、客户端的IP地址(即源IP地址)、下载时间等。

步骤304，生成下载日志。

在本实施例中，承接于上述举例，比如论文网站服务器(即服务端)中包含论文A、B，URL地址分别为url1、url2，IP地址为1.1.1.1的客户端1分别在8:00和18：00请求下载论文A，IP地址为2.2.2.2的客户端2在12:00请求下载论文A和论文B，那么可生成如表1所示的下载日志：

客户端IP地址	URL地址	时间
			1.1.1.1	url1	8:00
2.2.2.2	url1	12:00
			2.2.2.2	url2	12:00
1.1.1.1	url1	18:00

表1

步骤306，定时读取下载日志中的URL地址。

在本实施例中，定时读取的周期可根据实际需求灵活设定，本申请并不对此进行限制。比如，可按照周期为30s读取下载日志中的URL地址。

步骤308，根据读取到的URL地址下载相应的论文。

步骤310，按照预设维度分析论文。

在本实施例中，预设维度可以包括论文名称、论文作者、请求方客户端等。当然，还可以包括其他任意与论文相关的维度，本申请并不对此进行限制。

步骤312，提取资源信息。

举例而言，承接于上述表1的举例，可统计得到表2所示的资源信息：

客户端IP地址	URL地址	时间	论文名称	论文作者
					1.1.1.1	url1	8:00	论文1	作者1
2.2.2.2	url1	12:00	论文1	作者1
					2.2.2.2	url2	12:00	论文2	作者2
1.1.1.1	url1	18:00	论文1	作者1

表2

步骤314，统计下载量信息。

在本实施例中，根据提取出的资源信息统计出针对预设维度的下载量信息，其中，可对下载量信息进行排序。

举例而言，针对论文名称的下载量信息如表3所示：

排名	论文名称	下载量
			1	论文1	3
2	论文2	1

表3

针对论文作者的下载量信息如表4所示：

排名	论文作者	下载量
			1	作者1	3
2	作者2	1

表4

针对客户端IP地址的下载量信息如表5所示：

排名	客户端IP地址	下载量
			1	1.1.1.1	2
2	2.2.2.2	2

表5

步骤316，判断下载量信息是否满足限制条件，若满足，则转入步骤318，否则返回步骤306。

步骤318，禁止下载论文。

在本实施例中，限制条件可基于同一客户端请求下载的频率生成。例如，限制条件可设定为5次/min。那么，当同一客户端向服务端请求下载论文的频率超过5次/min时，禁止该客户端继续请求下载论文，从而可有效避免一些异常下载(例如，利用客户端频繁向服务端请求数据，占用服务端大量处理资源)，提升服务端的性能。当然，限制条件中的频率可根据实际情况灵活设定，本申请并不对此进行限制。

而针对禁止客户端请求下载论文的方式，作为一示例性实施例，网关设备可在接收到该客户端的HTTP请求报文后，直接丢弃该HTTP请求报文，直到该客户单请求下载论文的频率低于限制条件为止。

当然，限制条件还可基于总下载量生成。例如，限制条件可设定为总下载量1000次。那么，当所有客户端请求下载论文的次数超过1000次时，禁止任何客户端继续请求下载论文，直到到达更新(记录的总下载量清零)该总下载量的时刻。

需要说明的是，步骤306-318与步骤302-304为“异步”过程。

在本申请的技术方案中，网管设备还可在转发服务端返回客户端的论文时，在本地存储(比如，可复制一份该论文)该论文。基于上述存储操作，网关设备在需要分析各个客户端请求下载的论文时，直接在本地读取即可。下面结合图4进行详细描述。请参见图4，图4是本申请一示例性实施例示出的另一种网络资源的统计方法的流程图。如图4所示，该方法应用于网管设备中，该网关设备用于转发服务端与各个客户端之间进行交互的数据；该方法可以包括以下步骤：

步骤402，存储客户端请求下载的论文。

在本实施例中，服务端向各个客户端返回的论文都需经网管设备转发，因此，网管设备可在本地存储服务端向各个客户端返回的论文，以用于后续分析。

步骤404，定时读取本地存储的论文。

步骤406，按照预设维度分析论文。

步骤408，提取资源信息。

步骤410，统计下载量信息。

步骤412，判断下载量信息是否满足限制条件，若满足，则转入步骤414，否则返回步骤404。

步骤414，禁止下载论文。

在本实施例中，上述步骤404-414的详细过程可参考图3所示的实施例，在此不再赘述。

由以上技术方案可见，本申请通过由网关设备获取服务端与各个客户端之间传输的网络资源，并按照预设维度对获取到的网络资源进行分析以最终统计得到下载量信息，从而可以确定服务端与各个客户端之间网络资源的传输情况，有助于对该传输情况进行管控。同时，上述统计操作由网关设备执行，而无需由服务端执行，可减少对服务端运行资源的占用，以及降低服务端的开发成本

图5示出了根据本申请的一示例性实施例的电子设备的示意结构图。请参考图5，在硬件层面，该电子设备包括处理器502、内部总线504、网络接口506、内存508以及非易失性存储器510，当然还可能包括其他业务所需要的硬件。处理器502从非易失性存储器510中读取对应的计算机程序到内存508中然后运行，在逻辑层面上形成网络资源的统计装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图6，在软件实施方式中，该网络资源的统计装置应用于网关设备，所述网关设备用于转发服务端与各个客户端之间进行交互的数据；该网络资源的统计装置可以包括：

获取单元61，按照预设周期获取所述服务端向所述各个客户端返回的网络资源；

分析单元62，按照预设维度分析所述网络资源，以提取出所述网络资源的资源信息；

统计单元63，根据提取出的资源信息统计出针对所述预设维度的下载量信息。

可选的，

还包括：存储单元64，在接收到所述服务端向所述各个客户端返回的所述网络资源时，在本地存储所述网络资源；

所述获取单元61具体用于：

按照所述预设周期在本地读取所述网络资源。

可选的，

还包括：解析单元65，解析所述各个客户端向所述服务端发送的下载请求报文，以生成针对所述各个客户端的下载日志；

所述获取单元61具体用于：

按照所述预设周期，根据所述下载日志记录的资源地址下载所述网络资源。

可选的，所述网关设备预配置有限制条件，所述限制条件基于同一客户端请求下载的频率生成；所述方法还包括：

禁止单元66，当所述下载量信息满足所述限制条件时，禁止相应的客户端向所述服务端请求下载网络资源。

可选的，

所述网络资源包括论文；

所述预设维度包括以下至少之一：论文名称、论文作者、请求方客户端

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由上述网络资源的统计装置装置的处理器执行以完成上述方法，该方法可以包括：

按照预设周期获取所述服务端向所述各个客户端返回的网络资源；

按照预设维度分析所述网络资源，以提取出所述网络资源的资源信息；

根据提取出的资源信息统计出针对所述预设维度的下载量信息。

可选的，

还包括：在接收到所述服务端向所述各个客户端返回的所述网络资源时，在本地存储所述网络资源；

所述按照预设周期获取所述服务端向各个客户端返回的网络资源，包括：

按照所述预设周期在本地读取所述网络资源。

可选的，

还包括：解析所述各个客户端向所述服务端发送的下载请求报文，以生成针对所述各个客户端的下载日志；

所述按照预设周期获取所述服务端向各个客户端返回的网络资源，包括：

按照所述预设周期，根据所述下载日志记录的资源地址下载所述网络资源。

可选的，所述网关设备预配置有限制条件，所述限制条件基于同一客户端请求下载的频率生成；所述方法还包括：

当所述下载量信息满足所述限制条件时，禁止相应的客户端向所述服务端请求下载网络资源。

可选的，

所述网络资源包括论文；

所述预设维度包括以下至少之一：论文名称、论文作者、请求方客户端。

其中，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等，本申请并不对此进行限制。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (8)

1.一种网络资源的统计方法，其特征在于，应用于网关设备，所述网关设备用于转发服务端与各个客户端之间进行交互的数据；所述方法包括：

解析所述各个客户端向所述服务端发送的下载请求报文，以生成针对所述各个客户端的下载日志；

按照预设周期获取所述服务端向所述各个客户端返回的网络资源，包括：按照所述预设周期，根据所述下载日志记录的资源地址下载所述网络资源；

按照预设维度分析所述网络资源，以提取出所述网络资源的资源信息；

根据提取出的资源信息统计出针对所述预设维度的下载量信息。

2.根据权利要求1所述的方法，其特征在于，

还包括：在接收到所述服务端向所述各个客户端返回的所述网络资源时，在本地存储所述网络资源；

所述按照预设周期获取所述服务端向各个客户端返回的网络资源，包括：

按照所述预设周期在本地读取所述网络资源。

3.根据权利要求1所述的方法，其特征在于，所述网关设备预配置有限制条件，所述限制条件基于同一客户端请求下载的频率生成；所述方法还包括：

当所述下载量信息满足所述限制条件时，禁止相应的客户端向所述服务端请求下载网络资源。

4.根据权利要求1所述的方法，其特征在于，

所述网络资源包括论文；

所述预设维度包括以下至少之一：论文名称、论文作者、请求方客户端。

5.一种网络资源的统计装置，其特征在于，应用于网关设备，所述网关设备用于转发服务端与各个客户端之间进行交互的数据；所述装置包括：

解析单元，解析所述各个客户端向所述服务端发送的下载请求报文，以生成针对所述各个客户端的下载日志；

获取单元，按照预设周期获取所述服务端向所述各个客户端返回的网络资源，包括：按照所述预设周期，根据所述下载日志记录的资源地址下载所述网络资源；

分析单元，按照预设维度分析所述网络资源，以提取出所述网络资源的资源信息；

统计单元，根据提取出的资源信息统计出针对所述预设维度的下载量信息。

6.根据权利要求5所述的装置，其特征在于，

还包括：存储单元，在接收到所述服务端向所述各个客户端返回的所述网络资源时，在本地存储所述网络资源；

所述获取单元具体用于：

按照所述预设周期在本地读取所述网络资源。

7.根据权利要求5所述的装置，其特征在于，所述网关设备预配置有限制条件，所述限制条件基于同一客户端请求下载的频率生成；所述方法还包括：

禁止单元，当所述下载量信息满足所述限制条件时，禁止相应的客户端向所述服务端请求下载网络资源。

8.根据权利要求5所述的装置，其特征在于，

所述网络资源包括论文；

所述预设维度包括以下至少之一：论文名称、论文作者、请求方客户端。

Images