CN104104717A - 投放渠道数据统计方法及装置 - Google Patents

Abstract

本发明涉及投放渠道数据统计方法及装置。该方法包括：响应用户终端发起的链接请求；识别出所述链接请求中的渠道信息；根据所述渠道信息指定一Redis服务器；根据所述用户终端在所述目标网站的操作事件，生成对应的操作记录，并将所述操作记录发送至所述Redis服务器中，以使所述Redis服务器根据所述操作记录对上一次记录的各项操作的累计值进行累加得到本次累加后的各项操作的累计值，其中，所述累计值与所述渠道信息关联并形成一条统计记录，并对更新后的统计记录设置未同步标记，所述统计记录分配有一与创建时间及渠道信息关联的唯一ID；将所述操作记录和统计记录同步至数据库。本发明具有结构简单，运行效率高和统计速度快的优点。

Description

投放渠道数据统计方法及装置

技术领域

本发明涉及计算机程序，具体涉及电子商务网站的数据统计技术。

背景技术

随着互联网技术的迅速发展，带动了网购的发展。目前，电子商务网站为了做宣传推广，需要将其链接投放到第三方平台上。为了与第三方平台进行利益分成，需要对用户通过第三方平台进入电子商务网站的数据进行记录，以所述记录作为利益分成的基础数据。具体操作是，电子商务网站的市场部会在各个平台投放网站的链接，平台用户点击回到网站，不同平台投放的链接会带有渠道信息以区分来源.网站需要对渠道进行详细记录和统计，比如记录具体渠道在确定时间的访问数量、注册数量、订单的金额等。这些信息最后会作为市场部与平台分成的依据。因为要记录的数据数量可能非常的巨大(以百万计)，统计的数据又很重要。市场部还要求能够快速看到详细统计报告，延时不超过五分钟，而且统计过程不能太耗时而影响到对网站的访问。

鉴于上述需求，最初的实现手段是将渠道的数据直接写入数据库的方式。随着业务量的增长，数据库很快成了瓶颈，于是给数据库做了主从的配置，主库只负责写入，从库负责读取。由于业务增长太快,主从数据库很快再次成为瓶颈。

发明内容

本发明的目的在于提出一种投放渠道数据统计方法，其能解决统计速度慢的问题。

为了达到上述目的，本发明所采用的技术方案如下：

投放渠道数据统计方法，其应用于WEB服务器中，其包括以下步骤：

步骤1、响应用户终端发起的链接请求，以使所述用户终端接入目标网站；

步骤2、识别出所述链接请求中的渠道信息，将所述渠道信息和用户终端的身份标识进行关联并保存至Cookie中；

步骤3、根据所述渠道信息指定一Redis服务器；

步骤4、根据所述用户终端在所述目标网站的操作事件，生成对应的操作记录，并将所述操作记录发送至所述Redis服务器中，以使所述Redis服务器根据所述操作记录对上一次记录的各项操作的累计值进行累加得到本次累加后的各项操作的累计值，其中，所述累计值与所述渠道信息关联并形成一条统计记录，并对更新后的统计记录设置未同步标记,所述统计记录分配有一与创建时间及渠道信息关联的唯一ID；

步骤5、将所述操作记录和统计记录同步至数据库后，删除已同步的操作记录，将已同步的统计记录的未同步标记设置为已同步标记。

优选的，在步骤1和步骤2之间还有以下步骤：

步骤11、判断所述链接请求是否具有渠道信息，若是，则执行步骤2，若否，则执行步骤12；

步骤12、进一步判断所述用户终端的身份标识是否存在Cookie中，若是，则执行步骤13，若否，则结束流程；

步骤13、再进一步判断所述用户终端的身份标识在所述Cookie中是否与一渠道信息关联，若是，则执行步骤2，若否，则结束流程。

优选的，所述步骤3具体包括如下子步骤：

步骤31、对所述渠道信息进行哈希运算，以得到一哈希值；

步骤32、根据Redis服务器的数量对所述哈希值进行取模运算，以得到一数值；

步骤33、根据所述数值指定一Redis服务器；

其中，所述数值与Redis服务器具有映射关系。

优选的，步骤4与步骤5之间还有以下步骤：

步骤41、判断是否满足同步条件，若是，则执行步骤42，若否，则返回步骤4；

所述同步条件包括条件一或条件二；

所述条件一为：操作记录的总数量大于或等于一预设阈值；

所述条件二为：当前系统时间与上一次完成步骤5的系统时间之差大于或等于一预设时间；

步骤42、判断是否有其他WEB服务器正在将Redis服务器中的操作记录和统计记录同步至数据库中，若是，则结束流程；若否，则执行步骤5。

优选的，步骤4中，所述统计记录设置有一有效期，当当前系统时间与创建时间之差大于或等于所述有效期，则需新建一条统计记录。

优选的，在步骤5中，根据统计记录的唯一ID，选择插入和更新中的一种方式将所述统计记录同步至数据库。

优选的，在步骤5中，根据操作记录的用户终端的身份标识，选择插入和更新中的一种方式将所述操作记录同步至数据库。

本发明还提出了一种投放渠道数据统计装置，其应用于WEB服务器中，其包括以下模块：

响应模块，用于响应用户终端发起的链接请求，以使所述用户终端接入目标网站；

识别模块，用于识别出所述链接请求中的渠道信息，将所述渠道信息和用户终端的身份标识进行关联并保存至Cookie中；

分配模块，用于根据所述渠道信息指定一Redis服务器；

记录模块，用于根据所述用户终端在所述目标网站的操作事件，生成对应的操作记录，并将所述操作记录发送至所述Redis服务器中，以使所述Redis服务器根据所述操作记录对上一次记录的各项操作的累计值进行累加得到本次累加后的各项操作的累计值，其中，所述累计值与所述渠道信息关联并形成一条统计记录，并对更新后的统计记录设置未同步标记,所述统计记录分配有一与创建时间及渠道信息关联的唯一ID；

同步模块，用于将所述操作记录和统计记录同步至数据库后，删除已同步的操作记录，将已同步的统计记录的未同步标记设置为已同步标记。

本发明具有如下有益效果：

利用分布式架构、写入缓存技术和批量处理技术，解决了海量数据的获取、统计、存储和快速查看的问题，具有结构简单，对硬件要求不高，容易使用，容易扩展，运行效率高和统计速度快的优点。

附图说明

图1为本发明较佳实施例的投放渠道数据统计方法的流程图；

图2为实现本发明较佳实施例的系统架构图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述。

如图2所示，运营一个电子商务网站，一般需要多个WEB服务器协同工作才能完成。本实施例的核心思想是将用户点击链接后产生的数据记录保存至Redis服务器，然后再从Redis服务器将所述数据记录同步至数据库中。本实施例的数据运算基本在WEB服务器中完成，Redis服务器起到缓存数据的作用。Redis是一个开源的高性能key-value存储系统，与Memcached比较，它支持存储的value类型相对更多，行效率非常高，非常适合本实施例的应用场景，本实施例充分利用了Redis支持多类型数据的特点，最大限度的保证了运行的效率。

如图1所示，一种投放渠道数据统计方法，其应用于WEB服务器中，其包括以下步骤：

步骤S1、响应用户终端发起的链接请求，以使所述用户终端接入目标网站。例如，用户点击百度平台提供的链接，进入电子商务网站，用户也可以是自己输入网址进入电子商务网站。所述用户终端可以是智能手机、平板电脑、笔记本电脑、台式电脑等。

步骤S2、判断所述链接请求是否具有渠道信息，若是，则执行步骤S5，若否，则执行步骤S3。例如，投放的链接为http://m.vip.com？f＝baidu，则f参数是便于机器识别渠道信息的渠道标记，“baidu”则为渠道信息。

步骤S3、进一步判断所述用户终端的身份标识是否存在Cookie中，若是，则执行步骤S4，若否，则结束流程。用户终端的身份标识是指设备的硬件码。

步骤S4、再进一步判断所述用户终端的身份标识在所述Cookie中是否与一渠道信息关联，若是，则执行步骤S5，若否，则结束流程。

步骤S5、识别出所述链接请求中的渠道信息，将所述渠道信息和用户终端的身份标识进行关联并保存至Cookie中。

步骤S6、根据所述渠道信息指定一Redis服务器。

具体的过程为：对所述渠道信息进行哈希运算，以得到一哈希值；

根据Redis服务器的数量对所述哈希值进行取模运算，以得到一数值；

根据所述数值指定一Redis服务器。

WEB服务器中存储有数值与Redis服务器的映射关系，也保存有Redis服务器的IP地址。

例如，对渠道信息(baidu)做哈希:$crc＝abs(crc32($key))＝1436301001；

根据Redis服务器的数量对哈希值取模，假设Redis服务器的数量为3台:$mod＝$crc％(3)＝1；

这说明“baidu”这个渠道的数据都要发送到第1台Redis服务器上做处理。这样就达到了将数据的处理分配到多台Redis服务器的目的,提高了系统的负载能力。

步骤S7、根据所述用户终端在所述目标网站的操作事件，生成对应的操作记录，并将所述操作记录发送至所述Redis服务器中，以使所述Redis服务器根据所述操作记录对上一次记录的各项操作的累计值进行累加得到本次累加后的各项操作的累计值，其中，所述累计值与所述渠道信息关联并形成一条统计记录，并对更新后的统计记录设置未同步标记,所述统计记录分配有一与创建时间及渠道信息关联的唯一ID。

例如，所述操作记录包括三类：

1、访问记录，主要记录用户的访问站点的情况，如访问IP、访问时间等；

2、登录信息，主要记录用户登录名，登录时间，IP地址等；

3、订单信息，主要记录订单编号、订单金额、是否是新用户等。

例如，用户通过baidu渠道访问了电子商务网站，则统计记录中的访问量累加，登录了，则用户登录量累加，下单了，则下单量累加，以及订单金额累加，由于统计记录是在Redis服务器完成的，因此，当完成步骤S10后，管理员通过SQL语句查询数据库，即可马上看到统计结果，十分快速，方便。

此外，所述统计记录设置有一有效期，当当前系统时间与创建时间之差大于或等于所述有效期，则需新建一条统计记录。例如，有效期为25小时，这样就可以每天进行新的统计记录的创建，明晰每天每个渠道的统计结果。

步骤S8、判断是否满足同步条件，若是，则执行步骤S9，若否，则返回步骤S7；

所述同步条件包括条件一或条件二；

所述条件一为：操作记录的总数量大于或等于一预设阈值(如5000)；

所述条件二为：当前系统时间与上一次完成步骤5的系统时间之差大于或等于一预设时间(如5分钟)；

步骤S9、判断是否有其他WEB服务器正在将Redis服务器中的操作记录和统计记录同步至数据库中，若是，则结束流程；若否，则执行步骤S10。本步骤可采用竞争令牌的方式实现，这样就可以避免多个WEB服务器重复同步数据至数据库的情况出现，从而进一步提高了同步效率。

步骤5、将所述操作记录和统计记录同步至数据库后，删除已同步的操作记录，将已同步的统计记录的未同步标记设置为已同步标记。本步骤可采用Redis管道技术，对操作记录和统计记录进行批量同步，对操作记录进行批量删除，可对Redis服务器的内存进行有效释放，提高Redis服务器的运行效率及稳定性。

同步的方式有两种包括插入和更新，即插入新数据和更新原有数据。具体而言，根据统计记录的唯一ID，选择插入和更新中的一种方式将所述统计记录同步至数据库，以及根据操作记录的用户终端的身份标识，选择插入和更新中的一种方式将所述操作记录同步至数据库。

当管理员在后台从数据库中查询统计结果，因为在每添加一条统计记录都已经将总数累加，因此统计结果只需将统计记录的唯一ID查询出来，简单加工就能得到统计报表。

本实施例还提出了一种实现上述投放渠道数据统计方法的虚拟装置，其包括以下模块：

响应模块，用于响应用户终端发起的链接请求，以使所述用户终端接入目标网站；

识别模块，用于识别出所述链接请求中的渠道信息，将所述渠道信息和用户终端的身份标识进行关联并保存至Cookie中；

分配模块，用于根据所述渠道信息指定一Redis服务器；

记录模块，用于根据所述用户终端在所述目标网站的操作事件，生成对应的操作记录，并将所述操作记录发送至所述Redis服务器中，以使所述Redis服务器根据所述操作记录对上一次记录的各项操作的累计值进行累加得到本次累加后的各项操作的累计值，其中，所述累计值与所述渠道信息关联并形成一条统计记录，并对更新后的统计记录设置未同步标记,所述统计记录分配有一与创建时间及渠道信息关联的唯一ID；

同步模块，用于将所述操作记录和统计记录同步至数据库后，删除已同步的操作记录，将已同步的统计记录的未同步标记设置为已同步标记。

通过本实施例的详细描述，本发明就是在有限的条件下用比较简单的方式完成解决数据统计的问题。

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (8)

1.投放渠道数据统计方法，其应用于WEB服务器中，其特征在于，包括以下步骤：

步骤1、响应用户终端发起的链接请求，以使所述用户终端接入目标网站；

步骤2、识别出所述链接请求中的渠道信息，将所述渠道信息和用户终端的身份标识进行关联并保存至Cookie中；

步骤3、根据所述渠道信息指定一Redis服务器；

步骤4、根据所述用户终端在所述目标网站的操作事件，生成对应的操作记录，并将所述操作记录发送至所述Redis服务器中，以使所述Redis服务器根据所述操作记录对上一次记录的各项操作的累计值进行累加得到本次累加后的各项操作的累计值，其中，所述累计值与所述渠道信息关联并形成一条统计记录，并对更新后的统计记录设置未同步标记,所述统计记录分配有一与创建时间及渠道信息关联的唯一ID；

步骤5、将所述操作记录和统计记录同步至数据库后，删除已同步的操作记录，将已同步的统计记录的未同步标记设置为已同步标记。

2.如权利要求1所述的投放渠道数据统计方法，其特征在于，在步骤1和步骤2之间还有以下步骤：

步骤11、判断所述链接请求是否具有渠道信息，若是，则执行步骤2，若否，则执行步骤12；

步骤12、进一步判断所述用户终端的身份标识是否存在Cookie中，若是，则执行步骤13，若否，则结束流程；

步骤13、再进一步判断所述用户终端的身份标识在所述Cookie中是否与一渠道信息关联，若是，则执行步骤2，若否，则结束流程。

3.如权利要求1所述的投放渠道数据统计方法，其特征在于，所述步骤3具体包括如下子步骤：

步骤31、对所述渠道信息进行哈希运算，以得到一哈希值；

步骤32、根据Redis服务器的数量对所述哈希值进行取模运算，以得到一数值；

步骤33、根据所述数值指定一Redis服务器；

其中，所述数值与Redis服务器具有映射关系。

4.如权利要求1所述的投放渠道数据统计方法，其特征在于，步骤4与步骤5之间还有以下步骤：

步骤41、判断是否满足同步条件，若是，则执行步骤42，若否，则返回步骤4；

所述同步条件包括条件一或条件二；

所述条件一为：操作记录的总数量大于或等于一预设阈值；

所述条件二为：当前系统时间与上一次完成步骤5的系统时间之差大于或等于一预设时间；

步骤42、判断是否有其他WEB服务器正在将Redis服务器中的操作记录和统计记录同步至数据库中，若是，则结束流程；若否，则执行步骤5。

5.如权利要求1所述的投放渠道数据统计方法，其特征在于，步骤4中，所述统计记录设置有一有效期，当当前系统时间与创建时间之差大于或等于所述有效期，则需新建一条统计记录。

6.如权利要求1所述的投放渠道数据统计方法，其特征在于，在步骤5中，根据统计记录的唯一ID，选择插入和更新中的一种方式将所述统计记录同步至数据库。

7.如权利要求1所述的投放渠道数据统计方法，其特征在于，在步骤5中，根据操作记录的用户终端的身份标识，选择插入和更新中的一种方式将所述操作记录同步至数据库。

8.投放渠道数据统计装置，其应用于WEB服务器中，其特征在于，包括以下模块：

响应模块，用于响应用户终端发起的链接请求，以使所述用户终端接入目标网站；

识别模块，用于识别出所述链接请求中的渠道信息，将所述渠道信息和用户终端的身份标识进行关联并保存至Cookie中；

分配模块，用于根据所述渠道信息指定一Redis服务器；

记录模块，用于根据所述用户终端在所述目标网站的操作事件，生成对应的操作记录，并将所述操作记录发送至所述Redis服务器中，以使所述Redis服务器根据所述操作记录对上一次记录的各项操作的累计值进行累加得到本次累加后的各项操作的累计值，其中，所述累计值与所述渠道信息关联并形成一条统计记录，并对更新后的统计记录设置未同步标记,所述统计记录分配有一与创建时间及渠道信息关联的唯一ID；

同步模块，用于将所述操作记录和统计记录同步至数据库后，删除已同步的操作记录，将已同步的统计记录的未同步标记设置为已同步标记。