CN106649679A - 一种基于HBase的网页日访问次数获得方法及装置 - Google Patents

Abstract

本发明公开了一种基于HBase的网页日访问次数获得方法，包括：将网页日访问记录存储在HBase的存储区域中，所述存储区域保存的网页日访问记录每超过一次预设值增加一个存储区域；接收到网页日访问次数获取请求后，将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加，获得总体网页日访问次数。本发明还公开了一种基于HBase的网页日访次数获得装置。

Description

一种基于HBase的网页日访问次数获得方法及装置

技术领域

本发明涉及互联网信息技术领域，尤其涉及一种基于HBase的网页日访问次数获得方法及装置。

背景技术

目前，在互联网公司一般有如下需求：希望快速得到网页日访问次数的累加和排序，比如：得到公司所有产品页面的近90天的网页日访问次数累加和排序，并得到top500。由于公司所有的网页页面的数量比较多，并且每个网页页面每天的访问时间不是固定的，因此，不能用离线处理的方式计算网页日访问次数，只能针对每一个网页页面只能处理该网页页面在一天内有多少网页日访问次数，并依次计算这90天内每天该网页页面的网页日访问次数，通过将这90天内每天该网页页面的网页日访问次数累加起来，计算得到该网页页面这90天内的页面网页日访问次数累加并排序。

由于目前互联网公司所拥有的网页页面数量十分巨大，一般往往在10亿数量级，而这些网页页面每天的访问量又十分巨大，每天每个网页页面的访问次数往往也是几亿数量级，以统计90天范围内所有产品页面网页页面的网页日访问次数为例，往往需要查询几百亿条记录，以计算得到90天内所有产品页面网页页面的日访问次数，由于在大数据场景下，需要查询与计算的数据量十分庞大，而依靠传统的关系型数据库，在实现如此超大规模的数据的查询时，需要耗费大量的时间，无法满足互联网公司要求对数据进行快速累加与排序的目的。

发明内容

有鉴于此，本发明实施例期望提供一种基于HBase的网页日访问次数获得方法及装置，能够快速将大规模网页日访问记录进行统计，提高统计效率。

为达到上述目的，本发明实施例提供了一种基于HBase的网页日访问次数获得方法，所述方法包括：

将网页日访问记录存储在HBase的存储区域中，所述存储区域保存的网页日访问记录每超过一次预设值增加一个存储区域；

接收到网页日访问次数获取请求后，将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加，获得总体网页日访问次数。

上述方案中，所述将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加之后，所述方法还包括：将各个存储区域中保存的网页日访问记录进行排序，得到总体网页日访问次数排名。

上述方案中，将各个存储区域中保存的网页日访问记录进行排序，得到总体网页日访问次数排名，包括：将各个存储区域保存在各个节点上的网页日访问记录进行排序，得到各个存储区域的网页日访问次数排名；将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问排名。

本发明实施例还提供了一种基于HBase的网页日访次数获得装置，所述装置包括：

存储模块，用于将网页日访问记录存储在HBase的存储区域中，所述存储区域保存的网页日访问记录每超过一次预设值增加一个存储区域；

处理模块，用于接收到网页日访问次数获取请求后，将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加，获得总体网页日访问次数。

上述方案中，所述处理模块还用于：将各个存储区域保存在各个节点上的网页日访问记录进行排序，得到各个存储区域的网页日访问次数排名；将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问排名。

上述方案中，所述处理模块具体用于：将各个存储区域保存在各个节点上的网页日访问记录进行排序，得到各个存储区域的网页日访问次数排名；将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问排名。

本发明实施例提供的一种基于HBase的网页日访问次数获得方法及装置，将网页日访问记录依次存储在HBase的存储区域中，所述存储区域包括至少一个存储子区域；接收到网页日访问次数获取请求后，将存储有网页日访问记录的各个存储子区域中保存的网页日访问记录进行累加，得到网页日访问次数；进一步的，将网页日访问记录进行累加后还可以排序，获得总体网页日访问次数排名。如此，通过将网页访问记录存储在分散的存储区域中，同时对分散的存储区域中的网页访问记录进行累加排序，能够快速的将大规模网页日访问记录进行累加和排序获得网页日访问次数排名，从而提高效率。

附图说明

图1为本发明实施例基于HBase的网页日访问次数获得方法流程示意图；

图2为本发明实施例基于HBase的网页日访问次数获得装置结构示意图；

图3为本发明实施例基于HBase的网页日访问次数获得方法详细流程示意图；

具体实施方式

为了能够更加详细的了解本发明实施例的特点与技术内容，下面对本发明实施例的实现进行详细阐述。

图1为本发明实施例基于HBase的网页日访问次数获得方法流程示意图，如图1所示，本发明实施例基于HBase的网页日访问次数获得方法包括：

步骤101：将网页日访问记录存储在HBase的存储区域中，所述存储区域保存的网页日访问记录每超过一次预设值增加一个存储区域；

在实际应用中，通过上述方法，将网页日访问记录存储在HBase的存储区域中，如：HBase的地区Region上；当存储区域中保存的数据量超过预设值后，为了防止对单个读取存储区域访问带来的压力，选择对当前存储区域进行分裂，后续的保存网页日访问记录操作会分配到分裂出的存储区域中，从而达到减轻单个存储区域访问的负载，提升访问扫描速度。

步骤102：接收到网页日访问次数获取请求后，将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加，获得总体网页日访问次数；

其中，上述步骤还包括：将各个存储区域上保存在各个节点上的网页日访问记录进行累加，得到各个存储区域网页日访问次数排名；

将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问排名；

在实际应用中，为了保证数据扫描读取的高效性，对存储区域网页访问记录进行排序的过程中，只对网页日访问记录这个值进行索引构建，如此，就可以减少扫描读取的工作量，缩短排序时间。

图2为本发明实施例基于HBase的网页日访问次数获得装置结构示意图，如图2所示，本发明实施例基于HBase的网页日访问次数获得装置结构包括:

存储模块201，用于将网页日访问记录存储在HBase的存储区域中，所述存储区域保存的网页日访问记录每超过一次预设值增加一个存储区域；

处理模块202，用于接收到网页日访问次数获取请求后，将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加，获得总体网页日访问次数；

这里，处理模块202，还用于将各个存储区域上保存在各个节点上的网页日访问记录进行累加，得到各个存储区域网页日访问次数排名；将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问次数排名。

进一步的，所述处理模块具体用于：将各个存储区域保存在各个节点上的网页日访问记录进行排序，得到各个存储区域的网页日访问次数排名；

将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问排名。

图3为本发明实施例基于HBase的网页日访问次数获得方法详细流程示意图，如图3所示，本发明实施例基于HBase的网页日访问次数获得方法详细流程包括：

步骤301：分别计算存储区域上每个节点上保存网页访问记录对应的网页日访问次数；

在步骤301之前，针对于某个公司所有产品的网页，将每个网页每天的访问记录保存在HBase下的存储区域上，并将所述保存的网页访问记录按照访问时间的先后顺序进行排序，当收到针对于没有产品网页访问记录查询请求后，执行步骤301，将各个存储区域上保存在各个节点上的网页日访问记录进行累加，得到各个存储区域网页日访问次数排名；

在实际应用中，为了保证存储区域不会变得太大，需要一个检测程序每天晚上对存储区域进行扫描，当存储区域上保存网页访问记录超过一定大小时(例如：10G)，则对当前存储区域按照一个网页索引进行有序分裂，保证一个网页不同天数的数据会落到一个值中；同时，为了保证数据扫描的高校性，在对存储区域进行排序时，只对网页日访问记录这个值进行索引构建，这样可以扫描读取的工作量，缩短排序时间。

步骤302：累加排序获得每个存储区域上网页日访问记录排名；

其中，根据每个存储区域上保存的网页访问记录，分别计算存储区域每个节点上保存访问记录对用网页的日访问次数，再对同一个存储区域下各个节点上的网页日访问次数进行累加排序，得到每个存储区域上网页日访问记录排名。

步骤303：将每个存储区域上网页日访问记录排名进行累加排序，得到总体网页日访问记录排名。

通过上述步骤，将每个网页的访问记录存储在一个HBase的存储区域中，并按照时间的顺序进行排序，在需要进行查询时，可以针对HBase上的各个存储区域分别查询网页访问记录，分别计算每个节点上保存网页访问记录对应的网页日访问次数，对同一个存储区域下各个节点上的网页日访问次数进行累加排序，得到每个存储区域上网页日访问次数的排名，最后，将各个存储区域中网页日访问次数排名进行累加排序，得到总体网页日访问次数排名。如此，通过将网页访问记录存储在分散的存储区域中，同时对分散的存储区域中的网页访问记录进行累加排序，能够快速的将大规模网页日访问记录进行累加和排序获得网页日访问次数排名，从而提高效率。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (6)

1.一种基于HBase的网页日访问次数获得方法，其特征在于，所述方法包括：

将网页日访问记录存储在HBase的存储区域中，所述存储区域保存的网页日访问记录每超过一次预设值增加一个存储区域；

接收到网页日访问次数获取请求后，将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加，获得总体网页日访问次数。

2.根据权利要求1所述的方法，其特征在于，所述将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加之后，所述方法还包括：

将各个存储区域中保存的网页日访问记录进行排序，得到总体网页日访问次数排名。

3.根据权利要求2所述的方法，其特征在于，将各个存储区域中保存的网页日访问记录进行排序，得到总体网页日访问次数排名，包括：

将各个存储区域保存在各个节点上的网页日访问记录进行排序，得到各个存储区域的网页日访问次数排名；

将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问排名。

4.一种基于HBase的网页日访次数获得装置，其特征在于，所述装置包括：

存储模块，用于将网页日访问记录存储在HBase的存储区域中，所述存储区域保存的网页日访问记录每超过一次预设值增加一个存储区域；

处理模块，用于接收到网页日访问次数获取请求后，将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加，获得总体网页日访问次数。

5.根据权利要求4所述的装置，其特征在于，所述处理模块还用于：

将各个存储区域保存在各个节点上的网页日访问记录进行排序，得到各个存储区域的网页日访问次数排名；

将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问排名。

6.根据权利要求4或5所述的装置，其特征在于，所述处理模块具体用于：将各个存储区域保存在各个节点上的网页日访问记录进行排序，得到各个存储区域的网页日访问次数排名；

将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问排名。