CN106302797B - 一种cookie访问去重方法和装置 - Google Patents

Abstract

本发明公开了一种cookie访问去重方法和装置，该方法包括：读取配置信息，根据所述配置信息构建映射链表K；抓取网卡数据包，并解析出所述网卡数据包中的cookie字段；通过所述配置信息对所述cookie字段进行过滤，并生成节点N；依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点。本方案可在数据包传输的同时进行cookie数据过滤，减少了去重过程中的比对字段，极大的提高了cookie去重的效率，降低了内存的使用率。

Description

一种cookie访问去重方法和装置

技术领域

本发明实施例涉及计算机技术，尤其涉及一种cookie访问去重方法和装置。

背景技术

cookie指网站为了辨别用户身份而存储在用户本地终端上的数据。通常，cookie由Web站点保存在用户浏览器上，它包含有用户的相关信息，无论何时当用户通过客户端的浏览器链接到服务器时，Web站点都可以访问cookie信息。

当web站点需要进行流量的分析统计时，需要对cookie的访问进行去重，以此避免同一用户多次访问该站点而被误统计为不同用户造成统计结果的不准确。现有技术中，在对访问的cookie进行去重时，主要采用对cookie中的字段逐一进行比较的方式，由于不同会话中cookie只有部分关键字段是一致的，且不同网站的cookie关键字段可能不同，由此导致了该处理方式的无效数据较多，处理效率低下，效果不够理想。

发明内容

本发明提供一种cookie访问去重方法和装置，以实现对cookie访问的高效去重，同时去重效果较理想。

第一方面，本发明实施例提供了一种cookie访问去重方法，包括：

读取配置信息，根据所述配置信息构建映射链表K；

抓取网卡数据包，并解析出所述网卡数据包中的cookie字段；

通过所述配置信息对所述cookie字段进行过滤，并生成节点N；

依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点。

可选的是，抓取网卡数据包，并解析出所述数据包中的cookie字段包括：

抓取网卡数据包，过滤出所述网卡数据包中的上行数据，并解析出所述上行数据中的cookie字段。

在上述任一方案中可选的是，依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点包括：

将所述节点N的时间戳和所述映射链表K中节点的时间戳进行比对，以删除所述映射链表K中的过期节点；

若所述映射链表K中节点不存在所述节点N中的值，则将所述节点N插入到所述映射链表K中。

在上述任一方案中可选的是，在读取配置信息，根据所述配置信息构建映射链表K之前，还包括：

构建包含有预设cookie关键字段的配置信息。

在上述任一方案中可选的是，通过所述配置信息对所述cookie字段进行过滤包括：

将所述cookie字段拆分为key-value字段，依据所述配置信息中的预设coolie关键字段对所述cookie字段进行过滤，并将过滤结果保存至内存中。

第二方面，本发明实施例还提供了一种cookie访问去重装置，包括：

读取模块，用于读取配置信息；

映射链表构建模块，用于根据所述配置信息构建映射链表K；

解析模块，用于抓取网卡数据包，并解析出所述网卡数据包中的cookie字段；

过滤模块，用于通过所述配置信息对所述cookie字段进行过滤，并生成节点N；

更新模块，用于依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点。

可选的是，所述解析模块具体用于：

抓取网卡数据包，过滤出所述网卡数据包中的上行数据，并解析出所述上行数据中的cookie字段。

在上述任一方案中可选的是，所述更新模块具体用于：

将所述节点N的时间戳和所述映射链表K中节点的时间戳进行比对，以删除所述映射链表K中的过期节点；

若所述映射链表K中节点不存在所述节点N中的值，则将所述节点N插入到所述映射链表K中。

在上述任一方案中可选的是，还包括：

配置信息构建模块，用于构建包含有预设cookie关键字段的配置信息。

在上述任一方案中可选的是，所述过滤模块具体用于：

将所述cookie字段拆分为key-value字段，依据所述配置信息中的预设coolie关键字段对所述cookie字段进行过滤，并将过滤结果保存至内存中。

本发明通过读取配置信息，根据所述配置信息构建映射链表K，抓取网卡数据包，并解析出所述网卡数据包中的cookie字段，通过所述配置信息对所述cookie字段进行过滤，并生成节点N，依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点，解决了在对访问的cookie进行去重时，主要采用对cookie中的字段进行比较的方式导致的需要处理的无效数据较多，处理效率低下，效果不够理想问题，实现了对cookie访问的高效去重，同时去重效果较理想效果。

附图说明

图1为本发明实施例一提供的cookie访问去重方法的流程图；

图2为本发明实施例二提供的cookie访问去重方法的流程图；

图3为本发明实施例三提供的cookie访问去重方法的流程图；

图4为本发明实施例四提供的cookie访问去重装置的结构图；

图5为本发明实施例五提供的cookie访问去重方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的cookie访问去重方法的流程图，本实施例可适用于网站站点对用户访问情况进行统计的场景，该方法可以由计算设备如服务器来执行，具体包括如下步骤：

步骤101、读取配置信息，根据所述配置信息构建映射链表K。

其中，该配置信息用来对web应用的属性进行配置。示例性的，该配置信息可以是xml配置文件，可以包括如下内容：环境参数初始化、Servlet配置、过滤器配置、监听器配置、JNDI配置、Session配置、JSP网页相关配置、MIME TYPE配置、welcome文件清单和错误处理等。其中，该映射链表K主要用于后续的查询操作，该映射链表K保存数据的原理可以是将key值做hash再取余，余数落在数组的不同索引中，利用数组的索引获取元素，时间复杂度为O(1)，该映射链表K的引入提高了后续cookie访问信息查询去重的效率。示例性的，该映射链表K中的各个节点保存有cookie关键字段信息以及对应的时间戳。

步骤102、抓取网卡数据包，并解析出所述网卡数据包中的cookie字段。

本步骤中，对网卡发送的数据包进行抓取，并通过对数据包的分析确定出cookie的字段。示例性的，当用户访问站点浏览网页时，首先需要发送对网页的请求至服务器，该请求可通过数据包的形式发送，此时cookie也将伴随该请求被一起发送至服务器。

步骤103、通过所述配置信息对所述cookie字段进行过滤，并生成节点N。

其中，该配置信息包含有预设cookie关键字段，该预设cookie关键字段可由不同的网站索引规则确定，当通过所述配置信息对所述cookie字段进行过滤后，仅保留下了需要比对查询的字段，并相应的生成节点N。本步骤中，可通过一份配置信息来满足不同网站对cookie过滤的需求，解决了各个网站之间过滤规则不统一的问题，具备良好的兼容性。

步骤104、依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点。

本步骤中，将节点N和映射链表K中的节点进行比对。示例性的，当映射链表K中有节点M的值和节点N中对应的值相等时，则比较M节点的时间戳和N节点的时间戳，若M节点的时间戳早于N节点的时间戳，则相应删除过期的节点M，以此完成cookie访问的去重。相应的，若映射链表K中的节点的值并不存在和节点N中值一致的情况，则将节点N插入到映射链表K中，并同时写入到cookie文件中。

本实施例的技术方案，通过读取配置信息，根据所述配置信息构建映射链表K，抓取网卡数据包，并解析出所述网卡数据包中的cookie字段，通过所述配置信息对所述cookie字段进行过滤，并生成节点N，依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点，解决了在对访问的cookie进行去重时，主要采用对cookie中的字段进行比较的方式导致的需要处理的无效数据较多，处理效率低下，效果不够理想问题，实现了对cookie访问的高效去重，同时去重效果较理想效果。

在上述技术方案的基础上，抓取网卡数据包，并解析出所述数据包中的cookie字段包括：抓取网卡数据包，过滤出所述网卡数据包中的上行数据，并解析出所述上行数据中的cookie字段。其中该上行数据指各个客户端发送至服务器的数据。具体的，当客户端的浏览器访问了服务器站点的页面时，服务器站点则设置一cookie，并将这个cookie和页面一起返回给客户端浏览器，客户端浏览器接到cookie之后对其进行保存，当客户端浏览器再访问其他页面时会同时带上该cookie文件，服务器站点接到请求时则读出cookie的值，根据cookie值的内容就可以判断和恢复一些用户的信息状态。

示例性的，cookie本身由名称、内容、作用路径、作用域、协议和生存周期等组成。本步骤中，在接收到网卡数据包时，通过过滤出网卡的上行数据后解析出cookie字段可直接用于后续cookie的去重，提高了去重效率。

实施例二

图2为本发明实施例二提供的cookie访问去重方法的流程图，本实施例在实施例一的基础上，给出了一种具体的依据节点N和映射链表K进行去重的方式，具体包括如下：

步骤201、读取配置信息，根据所述配置信息构建映射链表K。

步骤202、抓取网卡数据包，并解析出所述网卡数据包中的cookie字段。

步骤203、通过所述配置信息对所述cookie字段进行过滤，并生成节点N。

步骤204、判断所述映射链表K中节点是否存在所述节点N中的值，若存在则执行步骤205，否则执行步骤206。

步骤205、将所述节点N的时间戳和所述映射链表K中节点的时间戳进行比对，以删除所述映射链表K中的过期节点。其中，时间戳为一字符序列，可对某一时刻进行唯一标识。

步骤206、将所述节点N插入到所述映射链表K中。

本实施例的技术方案，通过读取配置信息，根据所述配置信息构建映射链表K，抓取网卡数据包，并解析出所述网卡数据包中的cookie字段，通过所述配置信息对所述cookie字段进行过滤，并生成节点N，若所述映射链表K中节点存在所述节点N中的值，则将所述节点N的时间戳和所述映射链表K中节点的时间戳进行比对，以删除所述映射链表K中的过期节点，若所述映射链表K中节点不存在所述节点N中的值，则将所述节点N插入到所述映射链表K中，通过将节点N和映射链表K中的节点进行比对以完成过期节点的删除，提高了cookie的去重效率。

在上述技术方案的基础上，在读取配置信息，根据所述配置信息构建映射链表K之前，还包括：构建包含有预设cookie关键字段的配置信息。其中，不同门类的网站如搜狐、新浪、百度等，其各自的cookie字段内容的设置均不相同，本方案中，可根据不同门类网站的cookie字段设置相应的构建包含预设cookie关键字段的配置信息，该预设关键字段即由不同门类网站自身的设置规则确定。本方案中，可通过一份编码的配置信息来解决不同门类网站的cookie过滤去重，提高了cookie去重的适应性及应用范围。

实施例三

图3所示为本发明实施例三提供的cookie访问去重的流程图，本实施例在上述各实施例的基础上，给出了一种具体的通过配置信息对cookie字段进行过滤的方式，具体包括如下：

步骤301、读取配置信息，根据所述配置信息构建映射链表K。

步骤302、抓取网卡数据包，并解析出所述网卡数据包中的cookie字段。

步骤303、将所述cookie字段拆分为key-value字段，依据所述配置信息中的预设cookie关键字段对所述cookie字段进行过滤，并将过滤结果保存至内存中，并生成节点N。

其中，key-value字段即为键-值字段，key代表主键，value为对应该主键的值。本步骤中，在步骤302解析出cookie字段后直接进行cookie字段的过滤，即解码同时进行过滤，减少了后续需要比对的字段数量，提高了cookie的去重效率。

步骤304、依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点。

本实施例的技术方案，通过读取配置信息，根据所述配置信息构建映射链表K，抓取网卡数据包，并解析出所述网卡数据包中的cookie字段，将所述cookie字段拆分为key-value字段，依据所述配置信息中的预设cookie关键字段对所述cookie字段进行过滤，并将过滤结果保存至内存中，并生成节点N，依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点，减少了去重过程中的比对字段，极大的提高了cookie去重的效率，降低了内存的使用率。

实施例四

图4为本发明实施例四提供的cookie访问去重装置的结构图，具体包括：

读取模块1，用于读取配置信息；

映射链表构建模块2，用于根据所述配置信息构建映射链表K；

解析模块3，用于抓取网卡数据包，并解析出所述网卡数据包中的cookie字段；

过滤模块4，用于通过所述配置信息对所述cookie字段进行过滤，并生成节点N；

更新模块5，用于依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点。

本实施例的技术方案，通过读取配置信息，根据所述配置信息构建映射链表K，抓取网卡数据包，并解析出所述网卡数据包中的cookie字段，通过所述配置信息对所述cookie字段进行过滤，并生成节点N，依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点，解决了在对访问的cookie进行去重时，主要采用对cookie中的字段进行比较的方式导致的需要处理的无效数据较多，处理效率低下，效果不够理想问题，实现了对cookie访问的高效去重，同时去重效果较理想效果。

在上述技术方案的基础上，所述解析模块3具体用于：

抓取网卡数据包，过滤出所述网卡数据包中的上行数据，并解析出所述上行数据中的cookie字段。

在上述技术方案的基础上，所述更新模块5具体用于：

将所述节点N的时间戳和所述映射链表K中节点的时间戳进行比对，以删除所述映射链表K中的过期节点；

若所述映射链表K中节点不存在所述节点N中的值，则将所述节点N插入到所述映射链表K中。

在上述技术方案的基础上，还包括：

配置信息构建模块，用于构建包含有预设cookie关键字段的配置信息。

在上述技术方案的基础上，所述过滤模块4具体用于：

将所述cookie字段拆分为key-value字段，依据所述配置信息中的预设coolie关键字段对所述cookie字段进行过滤，并将过滤结果保存至内存中。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的cookie访问去重方法的流程图。本实施例可以以上述实施例为基础，提供了一种优选实例，具体包括如下：

步骤501、启动程序，读取xml配置信息，构建map-list表K。

步骤502、抓取网卡数据包，过滤出http上行数据，解析出其中的cookie字段。

步骤503、依据xml配置信息过滤cookie，若失败则执行步骤502，若成功则相应生成节点N，执行步骤504。

步骤504、在列表K中查询节点N，若查找成功则执行步骤505，查找失败则执行步骤506。

步骤505、将所述节点N中的时间戳和列表K中节点的时间戳进行比对，删除过期节点。

步骤506、将所述节点N插入到列表K中，并写入cookie文件中。

本实施例的技术方案中，可通过配置的xml文件实现一份代码对多个不同网站cookie的过滤，解码同时进行数据过滤，减少了cookie字段的比对，提高了cookie的去重效率，降低了内存占用率。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种cookie访问去重方法，其特征在于，包括：

根据不同门类网站的cookie字段设置相应的构建包含预设cookie关键字段的配置信息，该预设关键字段即由不同门类网站自身的设置规则确定；

读取配置信息，根据所述配置信息构建映射链表K；

抓取网卡数据包，并解析出所述网卡数据包中的cookie字段；

通过所述配置信息对所述cookie字段进行过滤，并生成节点N；

依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点。

2.根据权利要求1所述的方法，其特征在于，抓取网卡数据包，并解析出所述数据包中的cookie字段包括：

抓取网卡数据包，过滤出所述网卡数据包中的上行数据，并解析出所述上行数据中的cookie字段。

3.根据权利要求1所述的方法，其特征在于，依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点包括：

将所述节点N的时间戳和所述映射链表K中节点的时间戳进行比对，以删除所述映射链表K中的过期节点；

若所述映射链表K中节点不存在所述节点N中的值，则将所述节点N插入到所述映射链表K中。

4.根据权利要求1所述的方法，其特征在于，通过所述配置信息对所述cookie字段进行过滤包括：

将所述cookie字段拆分为key-value字段，依据所述配置信息中的预设coolie关键字段对所述cookie字段进行过滤，并将过滤结果保存至内存中。

5.一种cookie访问去重装置，其特征在于，包括：

配置信息构建模块，用于根据不同门类网站的cookie字段设置相应的构建包含预设cookie关键字段的配置信息，该预设关键字段即由不同门类网站自身的设置规则确定；

读取模块，用于读取配置信息；

映射链表构建模块，用于根据所述配置信息构建映射链表K；

解析模块，用于抓取网卡数据包，并解析出所述网卡数据包中的cookie字段；

过滤模块，用于通过所述配置信息对所述cookie字段进行过滤，并生成节点N；

更新模块，用于依据所述节点N和所述映射链表K，删除所述映射链表K中的过期节点。

6.根据权利要求5所述的装置，其特征在于，所述解析模块具体用于：

抓取网卡数据包，过滤出所述网卡数据包中的上行数据，并解析出所述上行数据中的cookie字段。

7.根据权利要求5所述的装置，其特征在于，所述更新模块具体用于：

将所述节点N的时间戳和所述映射链表K中节点的时间戳进行比对，以删除所述映射链表K中的过期节点；

若所述映射链表K中节点不存在所述节点N中的值，则将所述节点N插入到所述映射链表K中。

8.根据权利要求5所述的装置，其特征在于，所述过滤模块具体用于：

将所述cookie字段拆分为key-value字段，依据所述配置信息中的预设coolie关键字段对所述cookie字段进行过滤，并将过滤结果保存至内存中。