CN105610969B - 一种统计终端用户到Web服务器的数据请求的方法 - Google Patents

Abstract

本发明涉及网络通信技术领域，尤其涉及一种统计终端用户到Web服务器的数据请求的方法，充分利用现有通信协议数据结构中的保留区域来存储统计功能数据，根据指示位来判断用户请求的数据信息是否需要统计，若需要，无需解析用户数据，也不需要改变现有的通信协议，直接统计终端用户请求的存储在保留区域中的数据，并将终端用户请求的数据反馈给终端用户，本技术方案直接将统计数据包及用户发送的数据请求的数据信息存储在通信协议的保留区域，该保留区域中同时保存一请求统计量，有效完成了用户到Web服务器的数据请求的统计。

Description

一种统计终端用户到Web服务器的数据请求的方法

技术领域

本发明涉及网络通信技术领域，尤其涉及一种统计终端用户到Web服务器的数据请求的方法。

背景技术

数据信息时代，互联网已成为人们日常生活中不可缺少的一部分，互联网应用种类繁多，包括Facebook、MySpace、QQ为代表的社会关系网络、Youtube为代表的视频共享应用以及以Google、Yahoo、Baidu为代表的搜索引擎应用等。不断增长的互联网用户带来了爆炸式增长的数据(视频、图片、blog等)。大数据分析和统计就是为了从这些海量数据中提取有用的信息进而创造价值。但传统的统计与分析方法都是在某个服务器端进行的，例如在Google服务器中或者百度服务器中统计用户的搜索热点，但是这种大数据分析和统计只能在各自的服务器内部完成，统计集单一。另外一种统计方法是在通信网络中进行大数据的分析和统计，利用通信网络中的交换设备(路由器或交换机)来实现大数据的统计与分析，如图1所示，这种统计方法相较于传统服务器内统计方法，统计范围更广，数据更全面，成本也更低。

此类方法要解决的技术问题就是通信网络中的交换设备如何获取或解析用户和服务器之间的请求或数据信息。然而，通信网络中的数据传输是按照一定通信协议进行传输的，例如TCP/IP协议。参见图2所示结构，TCP/IP参考模型分为四个层次：应用层、传输层、网络互连层和网络层，不同的协议层对数据包有不同的称谓，参见图3所示，数据在传输过程中的封装过程，在传输层叫做段(segment)，在网络层叫做数据报(datagram)，在链路层叫做帧(frame)，数据封装成帧后发到传输介质上。通信网络中的交换设备(交换机或者路由器等)就是对传输的数据包进行解包，处理数据包头后与用户数据重新封装后再转发至下一个交换设备直至到达目的主机，该过程参见图4所示结构。数据包到达目的主机后每层协议再剥掉相应的首部，最后将应用层数据交给应用程序处理。通信网络中的交换设备很难直接检测数据包中的用户数据。首先，这是不合法的，会侵犯到用户隐私。其次，有些数据会通过加密的形式传输，因而无法解析出用户数据。最后，就算交换设备能够读取用户数据，但不同的应用程序对数据的传输编码形式都是不一样的，因此交换设备很难从比特流传输的用户数据中解析出用户的请求。

因此，如何在现有的通信协议中在比解析数据包中的用户数据的情况下统计终端用户到Web服务器的数据请求成为本领域技术人员面临的一大难题。

发明内容

鉴于上述问题，本发明提供一种终端用户到Web服务器的数据请求的方法，充分利用现有通信协议数据结构中的保留区域来存储统计功能数据，在通信协议的保留区域保存统计功能的数据包，将终端用户请求最频繁的数据存储至本地存储设备，若本地存储设备中保存有用户请求的数据，则直接将用户发送的数据请求的数据信息反馈给用户，该技术方案具体为：

一种统计终端用户到Web服务器的数据请求的方法，应用于通信协议数据结构中具有保留区域的通信网络，所述终端用户经客户端应用程序利用所述通信网络与所述Web服务器进行通信连接，且所述通信网络包括交换设备，所述方法包括：

终端用户发送数据请求至所述客户端应用程序；

所述客户端应用程序将所述数据请求转化为用户数据及包括指示位的统计功能数据，再通过不同通信协议层封装以数据包的形式在通信网络中传输；

所述交换设备接收并转发所述数据包至所述Web服务器；以及

所述交换设备根据所述数据包中的统计功能数据对所述数据请求进行统计；

其中，所述保留区位于任一通信协议层数据结构中，并且所述保留区域保存所述统计功能数据。

优选的，所述方法中，所述交换设备根据所述数据包中的统计功能数据对所述数据请求进行统计前的步骤还包括：

根据所述指示位决定是否需要对所述用户请求进行统计。

优选的，所述本地存储设备与一交换设备连接。

优选的，所述方法中，判断所述数据请求是否需要进行统计的步骤还包括：

判断终端用户请求最频繁的数据；

将所述请求最频繁的数据保存至本地存储设备。

优选的，所述交换设备中还存储所述数据请求的请求量。

优选的，根据所述请求量判断请求最频繁的数据。

优选的，所述交换设备为路由器和/或交换机。

优选的，所述保留区域位于OSI协议层中。

优选的，所述保留区域位于TCP/IP协议层中。

上述技术方案具有如下优点或有益效果：

本技术方案，直接将统计数据包及用户发送的数据请求的数据信息存储在通信协议的保留区域，同时保存一请求统计量，无需解析用户数据，亦无需添加额外的存储设备，有效完成了用户到Web服务器的数据请求的统计。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1在通信网络中进行数据统计的方法示意图；

图2TCP/IP参考模型示意图；

图3不同协议层对用户数据的封装过程示意图；

图4在通信网络中对数据包的处理过程示意图；

图5是本发明中统计终端用户到Web服务器的数据请求的方法流程图；

图6TCP协议数据封装结构示意图；

图7IP协议数据封装结构示意图；

图8本发明一实施例中用户发送数据请求的数据包示意图；

图9本发明一具体实施例中通信网络中统计终端用户到Web服务器的请求流程示意图。

具体实施方式

参见图5所示结构，本发明提供的一种统计终端用户到Web服务器的数据请求的方法的流程图，该方法具体包括：

首先，终端用户发送数据请求至客户端应用程序；

之后，客户端应用程序将数据请求转化为用户数据及包括指示位的统计功能数据，再通过不同通信协议层封装以数据包的形式在通信网络中传输；

最后，交换设备接收并转发数据包至Web服务器，交换设备根据数据包中的统计功能数据对数据请求进行统计；

本实施例中，保留区位于任一通信协议层数据结构中，并且保留区域保存数据包。

优选的，本地存储设备与一交换设备连接。

优选的，方法中，判断数据请求是否需要进行统计的步骤还包括：

判断终端用户请求最频繁的数据；

将请求最频繁的数据保存至本地存储设备。

进一步的，交换设备中还存储数据请求的请求量。

进一步的，根据请求量判断请求最频繁的数据。

进一步的，方法中，当本地存储设备中存储有数据包时，本地存储设备中还存储数据请求所请求的数据信息。

进一步的，交换设备为路由器和/或交换机。

进一步的，若干服务器及若干用户通过互联网构成通讯网络，若干服务器与若干用户是多对多的连接关系。

进一步的，保留区域位于OSI协议层中。

进一步的，保留区域位于TCP/IP协议层中。

具体实施例一：

例如图6所示的是TCP数据封装结构示意图，包括了源、目标端口号字段、顺序号字段、确认号字段等等信息。此外，TCP协议中包含保留数据位和可选项，以满足后续版本的功能扩展和兼容性。再例如图7所示的是IP数据封装结构示意图，包括了IP协议实现的版本号、报头长度、源IP地址、目的IP地址等信息，此外也包括可选项以满足其他功能。从上面可以看出，每一层协议结构标准都会预留保留数据位和/或可选项，以实现其他功能或者用于将来版本的扩展和兼容等。本发明有效利用这些保留的数据位和/或可选项来实现在通信网络中统计终端用户到Web服务器的请求。保留区域也就是这里所谓的每一层通信协议数据结构中的保留数据位和/或可选项。

如图8所示，统计功能数据就是将用户的特定请求转化为至少能够被Web服务器或网络设备供应商识别的比特流数据。所述统计功能数据可以保存在任一通信协议层数据结构中的保留区域中，例如OSI参考模型或TCP/IP参考模型中的任一通信协议层。所述统计功能数据还应满足当不同用户对同一Web服务器中的同一资源请求或者同一用户多次对同一Web服务器中的同一资源请求时，所述统计功能数据表征的用户希望从Web服务器或者网络设备供应商得到的资源内容应该是一致的。如此一来，当通信网络中的交换设备接收到此数据包并对其进行处理时，就可以通过检测保留区域内的所述统计功能数据进而对用户请求进行统计和分析，从而得知哪些数据资源是最频繁被用户访问的。此外，所述统计功能数据还应包括由n比特数据流(n≥1)构成的指示位，用于表征通信网络中的交换设备(交换机或者路由器等)是否有需要检查和统计在所述保留区域中的用户请求数据，换言之，在保留区域中的用户数据是否是有效的。也就是说，通信网络中的交换设备通过指示位来区分哪一些数据包需要检查保留区域中的用户请求数据并进行统计，哪一些数据包无需检查和统计。因此通过指示位能够放弃那些无需统计的数据包，而只检查和统计那些真正需要被统计的用户请求，因此可加快数据包在通信网络中交换设备之间的传输。

通过以上设定，本发明在通信网络中统计终端用户到Web服务器的请求的具体实现流程如图9所示。

(1)终端用户发送一个数据请求；

(2)客户端应用程序将用户的请求一方面转化为用户数据，另一方面转化为比特流的统计功能数据并包含指示位，保存于任一通信协议层数据结构中的保留区域，用户数据再通过不同协议层封装并以数据包的形式在通信网络中传输；

(3)所述数据包达到通信网络中的某个交换设备，在处理过程中通过设定的指示位进行判断，是否需要对所述数据包中所述保留区域的统计功能数据进行检测和统计：如果是，那么所述转换设备读取所述保留区域中的统计功能数据，并按照一定方式进行统计。同时，所述转换设备对所述数据包进行常规处理后继续转发至下一个指定的交换设备或者目的主机；如果否，那么所述交换设备以传统方式对数据包进行常规处理后转发至下一个指定的转换设备或者目的主机，对保留区域中的所述统计功能数据不予以检测和统计。

本发明通过任一通信协议层数据结构中的保留区域来存储统计功能数据，从而实现了在通信网络中统计终端用户到Web服务器的请求。所述统计功能数据至少应包括用户所请求的数据信息(例如某个视频文件，某个音乐文件，亦或者某个游戏软件等)。一段时间内，通信网络中的交换设备对不同用户的不同请求进行统计，用户请求数据信息来自于保留区域的统计功能数据，目的IP地址可以通过解析数据包头以获得，不断检测通信网络中的数据包以获得不同用户对不同资源的请求次数。通过统计进而对不同用户的不同请求数据进行排名，从而知晓哪些最经常被用户请求的数据以及数据来源。如果所述交换设备本地有大容量存储器，那么所述交换设备就可以向那些最经常被用户请求的数据来源(目的IP地址)的Web服务器请求那些最经常被用户请求的数据，然后保存在本地存储设备中。比如，在某一段时间内，用户对百度服务器上的一个视频文件的请求特别频繁，视频文件容量大，很容易造成网络传输拥堵，从而造成用户体验感非常差。应用本发明这种方法用户对该视频的频繁请求就能够在通信网络中的交换设备中统计，包括请求的视频信息，以及该视频的目标来源。一旦该视频请求频率达到一阈值或者排名非常靠前，那么交换设备就可向百度服务器请求该视频资源并存储在其本地大容量存储设备中。当下一次交换设备再检测到相同的视频请求时，交换设备就可以直接响应用户请求，将用户所请求的视频从本地大容量存储设备中返回给该用户，大大降低了通信网络中的数据传输量，缓解了当前的网络拥挤现象，而且用户也能更快的获得其请求数据，用户体验感大大提升。此外，百度服务器还可以通过通信网络中的本地存储设备向定向客户群投放一定广告以获取商业价值。

综上所述，本发明充分利用现有通信协议数据结构中的保留区域来存储统计功能数据，若保留区域未保存过用户请求的数据信息，则自动保存至保留区域，若保留区中保存有用户请求的数据，则直接将用户发送的数据请求的数据信息反馈给用户，本技术方案直接将统计数据包及用户发送的数据请求的数据信息存储在交换设备的保留区域，同时保存一请求统计量，无需解析用户数据，亦无需添加额外的存储设备，有效完成了用户到Web服务器的数据请求的统计。

应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。在附图中，为了清楚，层和区的尺寸以及相对尺寸可能被夸大。自始至终相同附图标记表示相同的元件。

以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (9)

1.一种统计终端用户到Web服务器的数据请求的方法，其特征在于，应用于通信协议层数据结构中具有保留区域的通信网络，所述终端用户经客户端应用程序利用所述通信网络与所述Web服务器进行通信连接，且所述通信网络包括交换设备，所述方法包括：

终端用户发送数据请求至所述客户端应用程序；

所述客户端应用程序将所述数据请求转化为用户数据及包括指示位的统计功能数据，再通过不同通信协议层封装以数据包的形式在通信网络中传输；

所述交换设备接收并转发所述数据包至所述Web服务器；以及

所述交换设备根据所述数据包中的统计功能数据对所述数据请求进行统计；

其中，所述保留区域为任一通信协议层数据结构中的保留数据位和/或可选项，并且所述保留区域保存所述统计功能数据。

2.如权利要求1所述的统计终端用户到Web服务器的数据请求的方法，其特征在于，所述方法中，所述交换设备根据所述数据包中的统计功能数据对所述数据请求进行统计前还包括：

根据所述指示位决定是否需要对所述数据请求进行统计。

3.如权利要求1所述的统计终端用户到Web服务器的数据请求的方法，其特征在于，本地存储设备与所述交换设备连接。

4.如权利要求3所述的统计终端用户到Web服务器的数据请求的方法，其特征在于，所述方法还包括：

判断终端用户请求最频繁的数据；

将所述请求最频繁的数据保存至本地存储设备。

5.如权利要求4所述的统计终端用户到Web服务器的数据请求的方法，其特征在于，所述交换设备中还存储所述数据请求的请求量。

6.如权利要求5所述的统计终端用户到Web服务器的数据请求的方法，其特征在于，根据所述请求量判断请求最频繁的数据。

7.如权利要求1所述的统计终端用户到Web服务器的数据请求的方法，其特征在于，所述交换设备为路由器和/或交换机。

8.如权利要求1所述的统计终端用户到Web服务器的数据请求的方法，其特征在于，所述保留区域位于OSI协议层中。

9.如权利要求1所述的统计终端用户到Web服务器的数据请求的方法，其特征在于，所述保留区域位于TCP/IP协议层中。