CN101187949B

CN101187949B - 一种大容量访问数据的统计方法及系统

Info

Publication number: CN101187949B
Application number: CN2007103050604A
Authority: CN
Inventors: 吴双; 谢建东; 黄明生; 林志亮; 徐盎; 谢明; 沈丽莉; 祁洪辉
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Cloud Computing Beijing Co Ltd
Priority date: 2007-12-26
Filing date: 2007-12-26
Publication date: 2011-09-21
Anticipated expiration: 2027-12-26
Also published as: CN101187949A

Abstract

本发明适用于数据处理领域，提供了一种大容量访问数据的统计方法及系统，所述方法包括下述步骤：将大容量访问数据分配至一台或者多台分片服务器；分片服务器对所述大容量访问数据进行分片处理，得到由关键字部分和值部分组成的访问数据，并根据所述由关键字部分和值部分组成的访问数据的关键字部分，将分片处理后的访问数据分配至规约服务器；规约服务器对所述分片处理后的访问数据进行规约和统计，得到所述分片处理后的访问数据的统计数据。本发明实施例通过采用分布式处理环境，可以充分利用大量空闲的网络资源，轻易的对大容量访问数据进行统计，而且充分发挥了数据处理的并行性，提高了处理效率。

Description

一种大容量访问数据的统计方法及系统

技术领域

本发明属于数据处理领域，尤其涉及一种大容量访问数据的统计方法及系统。

背景技术

随着计算机和网络通信技术的发展，网络也成为人们工作、生活中沟通交流的主要工具。网络上也出现了许多大容量的访问数据需要统计，如网页的浏览数据、网站的浏览数据或者注册数据、网络广告的浏览数据等。由于这些访问数据的数据量巨大，对用于存储这些大容量访问数据的数据库管理系统以及用于统计这些大容量访问数据的统计设备(如计算机)的性能的要求都很高，甚至随着网页、网站、网络广告的浏览量的增加，单一的数据统计设备的性能无法满足对这些大容量访问数据的统计需求。

现有技术提供了一种数据库存储方案的数据统计方法来对上述大容量访问数据进行统计，其具体流程如下：对于用户的每一次访问操作，如网页浏览操作、网站访问操作、广告浏览操作等，均生成一条访问数据，该访问数据至少记录了用户的该次访问操作的访问类型标识，为了更精确的记录用户的该次访问操作，便于后续对访问数据进行统计，该访问数据还记录了用户的该次访问操作的详细信息，如用户标识、用户性别、用户年龄、用户地域、访问时间等。对访问数据进行遍历和统计，得到访问数据的统计数据，删除该访问数据中记录的用户该次访问操作的详细信息，并将得到的访问数据的统计数据存储至数据库。由于服务器的处理能力有限，因此，即使采用上述方法，一台服务器依然难以对如此巨大的访问数据进行统计。同时由于该方法在将得到的访问数据的统计数据存储至数据库时，删除了访问数据中记录的用户该次访问操作的详

细信息，因而无法统计访问数据的唯一数据量。

发明内容

本发明实施例的目的在于提供一种大容量访问数据的统计方法，旨在解决现有技术由于受设备性能的限制，难以对大容量访问数据进行统计的问题。

本发明实施例是这样实现的，一种大容量访问数据的统计方法，所述方法包括下述步骤：

将大容量访问数据分配至一台或者多台分片服务器；

分片服务器对所述大容量访问数据进行分片处理，得到由关键字部分和值部分组成的访问数据，并根据所述由关键字部分和值部分组成的访问数据的关键字部分，将分片处理后的访问数据分配至规约服务器；

规约服务器对所述分片处理后的访问数据进行规约和统计，得到所述分片处理后的访问数据的统计数据。

本发明实施例的另一目的在于提供大容量访问数据的统计系统，所述系统包括：

调度服务器，用于将大容量访问数据分配至一台或者多台分片服务器；

分片服务器，用于对所述大容量访问数据进行分片处理，得到由关键字部分和值部分组成的访问数据，并根据所述由关键字部分和值部分组成的访问数据的关键字部分，将分片处理后的访问数据分配至规约服务器；

规约服务器，用于对所述分片处理后的访问数据进行规约和统计，得到所述分片处理后的访问数据的统计数据。

在本发明实施例中，通过采用分布式处理环境，将大容量访问数据随机分配至一台或者多台分片服务器，从而可以充分利用大量空闲的网络资源，轻易的对大容量访问数据进行统计；同时分片服务器将分片处理后的访问数据分配至规约服务器进行规约和统计，从而充分发挥了数据处理的并行性，提高了效率。

附图说明

图1是本发明实施例提供的大容量访问数据的统计方法的实现流程图；

图2是本发明实施例提供的大容量广告浏览数据的统计方法的实现流程图；

图3是本发明实施例提供的大容量访问数据的统计系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，根据用户对网络提供的某种服务的访问操作，生成与该访问操作相应的访问数据，将生成的访问数据随机的分配至多台分片服务器，分片服务器对访问数据进行分片处理，得到由关键字和值组成的访问数据，并根据访问数据的关键字，将访问数据分配至规约服务器，规约服务器对访问数据进行规约和统计，得到访问数据的统计数据，从而完成大容量访问数据的统计。

图1示出了本发明实施例提供的大容量访问数据的统计方法的实现流程，详述如下：

在步骤S101中，根据用户对网络提供的某种服务的访问操作，生成相应的访问数据，并将生成的多条访问数据随机分配至一台或者多台分片服务器，以将大容量访问数据分散处理。

其中网络提供的服务包括网页、网站、网络广告等。当用户打开网页浏览时，或者注册成为某网站的会员时，或者点击某网络广告浏览时，根据用户进行的该访问操作，生成相应的访问数据。该访问数据可以是网页浏览数据，网站浏览数据或者注册数据，或者广告浏览数据。该访问数据记录了用户进行的该次访问操作的详细信息，主要包括用户标识、服务标识、访问时间、用户性别、用户年龄、地域、场景等。其中地域还可以包括国家、省、市等。该访问数据的输入格式如下所示：

用户标识

服务标识

访问时间

用户性别

用户年龄

地域

场景

在将生成的访问数据随机分配至多台分片服务器时，其分配的依据是，检测当前空闲的分片服务器，并将生成的访问数据分配至检测到的空闲的分片服务器，不仅可以利用大量空闲的网络资源，同时采用了分布式环境，将大容量的访问数据分散至多台分片服务器进行处理，从而可以轻易的对大容量的访问数据进行统计。

在步骤S102中，分片服务器对接收到的访问数据进行分片处理，得到由关键字部分和值部分组成的访问数据，根据访问数据的关键字部分将分片处理后的访问数据分配至相应的规约服务器。

分片服务器对接收到的访问数据按照数据统计种类进行分片，得到由关键字部分和值部分组成的访问数据。其中数据统计种类包括性别、年龄、地域、场景等，也可以根据用户对访问数据的统计需要，增加数据统计种类。在本发明实施例中，采用统计种类标识唯一标识每种数据统计种类。对于每一种数据统计种类，其具有不同的统计种类的值，如对于性别，其统计种类的值包括男、女，对于场景，其统计种类的值包括家、办公室、网吧等。其中关键字部分主要包括统计种类标识、服务标识以及统计种类的值，值部分主要包括用户标识、访问时间等。经分片处理后的访问数据的格式如下表所示：

在本发明实施例中，当用户只需要统计某种数据统计种类对应的访问数据时，如只需要统计浏览广告2005的地域为北京的用户的数量等时，为了既满足用户的统计需水，同时减少资源的浪费，分片服务器对接收到的访问数据进行分片处理的步骤具体为：

接收用户选择的数据统计种类；

根据用户选择的数据统计种类，对接收到的访问数据进行分片处理。如当用户选择的数据统计种类为性别时，则分片服务器在对接收到的访问数据进行分片处理时，只根据性别进行分片处理。

在步骤S103中，规约服务器对分片后的访问数据进行规约和统计，得到访问数据的统计数据。

在对访问数据进行规约和统计时，可以统计访问数据的总数据量，也可以统计访问数据的唯一数据量。其中访问数据的唯一数据量是指如果同一用户在一定时间内对同一服务进行了多次访问，则将生成的多条访问数据作为一条访问数据进行统计，从而得到访问数据的唯一数据量。为了更方便的对访问数据的唯一数据量进行统计，在规约服务器对分片后的访问数据进行规约和统计之前，规约服务器根据分片后的访问数据的值部分对分片后的访问数据进行排序。在本发明实施例中，为了便于统计访问数据的唯一数据量，规约服务器在对分片后的访问数据进行排序时，按照分片后的访问数据的值部分的用户标识进行排序。

规约服务器对分片后的访问数据进行规约和统计后，得到的访问数据的统计数据包括关键字部分和值部分，其中关键字部分主要包括统计种类标识、服务标识、统计种类的值，值部分主要包括总数据量和唯一数据量。得到的访问数据的统计数据的格式如下所示：

在步骤S104中，存储并输出统计得到的访问数据的统计数据。

由于将大容量的访问数据分散至多台分片服务器，即采用了分布式处理环境，从而可以利用大量空闲的网络资源，如办公网络环境，轻易的对大容量访问数据进行统计；由于在存储统计得到的访问数据的统计数据时，未删除访问数据的详细信息，因此可以对历史访问数据进行统计，同时可以统计访问数据的唯一数据量。在分片服务器对访问数据进行分片处理时，规约服务器对分片处理后的访问数据进行规约和统计，从而充分发挥了系统的并行性。本发明实施例中的访问数据可以是广告浏览数据、网页访问数据、网站访问数据或者注册数据等。为了更清楚、明白的说明本发明实施例提供的大容量访问数据的统计方法，以下以广告浏览数据为例，详细说明本发明实施例的流程。

图2示出了本发明实施例提供的大容量广告浏览数据的统计方法的实现流程，详述如下：

在步骤S201中，根据用户的每次广告浏览操作，生成一条相应的广告浏览数据，并将生成的多条广告浏览数据随机分配至一台或者多台分片服务器。

当用户浏览广告时，生成一条与用户当前的广告浏览操作相应的广告浏览数据，该广告浏览数据记录了用户进行的该次广告浏览操作的详细信息，主要包括用户标识、广告标识、广告浏览时间，还可以包括浏览该广告的用户的性别、年龄、地域，或者浏览该广告时该用户所在的场景。其中用户标识用以唯一标识进行该次广告浏览操作的用户，广告标识用以唯一标识某个网络广告。地域还可以细分为国家、省、市等。该广告浏览数据的输入格式如下表所示：

用户标识

广告标识

浏览时间

性别

年龄

地域

场景

A

2005

12:45

女

22

湖南

家

B

2005

12:45

女

23

湖北

网吧

C

2004

12:46

男

22

湖南

办公室

C

2004

12:55

男

23

湖南

家

在将广告浏览数据随机分配至多台分片服务器时，先检测当前空闲的分片服务器，再将广告浏览数据分配至检测到的空闲的分片服务器。由于采用分布式环境，将大容量的广告浏览数据分散至多台分片服务器进行统计，因此，可以轻易的对大容量的广告浏览数据进行统计。

在步骤S202中，分片服务器对接收到的广告浏览数据进行分片处理，得到由关键字部分和值部分组成的广告浏览数据，根据广告浏览数据的关键字部分将分片处理后的广告浏览数据分配至相应的规约服务器。

分片处理是指将广告浏览数据按照广告统计种类进行分片，得到由关键字部分和值部分组成的广告浏览数据。其中广告统计种类包括性别、年龄、地域、场景等，也可以根据用户对广告浏览数据的统计需要，增加广告统计种类。其中关键字部分主要包括统计种类标识、广告标识以及统计种类的值，值部分只要包括用户标识、时间等。选取广告统计种类中的性别为例，上述广告浏览数据经分片服务器进行分片处理后得到的广告浏览数据的格式如下表所示：

分片服务器根据上述分片处理后的广告浏览数据的关键字部分，将分片处理后的广告浏览数据，分配至相应的规约服务器时，将关键字为(性别，2005，男)的广告浏览数据分配至与该关键字相应的规约服务器，同理，分别将关键字为(性别，2005，女)、(性别，2005，女和男)、(性别，2004，男)、(性别，2004，女)、(性别，2004，女和男)等广告浏览数据分配至相应的规约服务器。

在本发明实施例中，当统计种类标识对应的统计种类的值有多个时，如果需要统计种类标识对应的各个统计种类的值的所有或者部分广告浏览数据时，可以将统计出来的各个统计种类的值对应的广告浏览数据的统计数据相加，作为该统计种类标识对应的各个统计种类的值的所有或者部分广告浏览数据的统计数据。如统计种类标识为性别的统计种类的值包括男和女，如果在统计广告浏览数据时，需要统计性别为男和女的广告浏览数据时，可以将统计出的性别为男的广告浏览数据的统计数据加上统计出的性别为女的广告浏览数据的统计数据作为性别为男和女的广告浏览数据的统计数据。

在步骤S203中，规约服务器对分片后的广告浏览数据进行规约和统计，得到广告浏览数据的统计数据。

为了更方便的统计广告浏览数据的唯一数据量，规约服务器在对分片后的广告浏览数据进行规约和统计之前，根据分片后的广告浏览数据的值部分对分片后的广告浏览数据进行排序。

如当规约服务器接收到的关键字为(性别，2004，男)的广告浏览数据时，规约服务器根据分片后的广告浏览数据的值部分的用户标识，对分片后的广告浏览数据排序后的广告浏览数据的格式如下：

规约服务器对上述排序后的广告浏览数据进行规约和统计时，分别对广告浏览数据的总的访问量和唯一数据量进行统计，统计得到的广告浏览数据的统计数据如下表所示：

在步骤S204中，存储并输出统计得到的广告浏览数据的统计数据。

图3示出了本发明实施例提供的大容量访问数据的统计系统的结构，为了便于说明，仅示出了与分发明实施例相关的部分。

调度服务器31将存储在存储器32中的访问数据随机分配至一台或者多台分片服务器33。其中存储器32中的访问数据的来源是根据用户对网络提供的某种服务的访问操作，生成的相应的访问数据。该访问数据可以是网页浏览数据、网站浏览数据或者注册数据，或者广告浏览数据。该访问数据记录了用户进行的此次访问操作的详细信息，主要包括用户标识、服务标识、访问时间、用户性别、用户年龄、地域、场景等。其中地域还可以包括国家、省、市等。该访问数据的格式如上所述，在此不再赘述。为了便于对历史访问数据进行统计，同时为了便于统计访问数据的唯一数据量。将生成的访问数据存储至存储器32中。这样，通过采用分布式环境，将大容量的访问数据分散至多台分配服务器34进行统计，从而可以利用大量空闲的网络资源，轻易的处理大容量的访问数据。

分片服务器33对接收到的访问数据进行分片处理，得到由关键字部分和值部分组成的访问数据，根据访问数据的关键字部分将分片处理后的访问数据分配至相应的规约服务器34。在本发明实施例中，当用户只需要统计某种数据统计种类对应的访问数据时，如只需要统计浏览广告2005的地域为北京的用户的数量等时，为了既满足用户的统计需求，同时减少资源的浪费，分片服务器33包括用于接收用户选择的数据统计种类的数据统计种类接收模块331，此时分片服务器33根据数据统计种类接收模块331接收的数据统计种类，对接收到的访问数据进行分片处理。如当用户选择的数据统计种类为性别时，则分片服务器33在对接收到的访问数据进行分片处理时，只根据性别进行分片处理。其中分片服务器33对接收到的访问数据进行分片处理的具体过程如上所述，在此不再赘述。

规约服务器34对分片后的访问数据进行规约和统计，得到访问数据的统计数据。在对访问数据进行规约和统计时，可以统计访问数据的总数据量，也可以统计访问数据的唯一数据量。其中访问数据的唯一数据量是指如果同一用户在一定时间内对同一服务进行了多次访问，则将生成的多条访问数据作为一条访问数据进行统计，从而得到访问数据的唯一数据量。为了更方便的对访问数据的唯一数据量进行统计，在规约服务器34对分片后的访问数据进行规约和统计之前，内置于规约服务器34的排序模块341根据分片后的访问数据的值部分对分片后的访问数据进行排序。内置于规约服务器34的统计数据存储模块342将规约服务器34统计得到的访问数据的统计数据输出并存储至存储器32。

在本发明实施例中，通过将根据网络提供的某种服务的访问操作生成的大容量访问数据随机的分配至多台分片服务器，采用了分布式数据处理方式，从而可以充分利用大量空闲的网络资源，轻易的对大容量访问数据进行统计；由每台分片服务器根据分片处理后得到访问数据的关键字，将访问数据分配至规约服务器，由规约服务器对访问数据进行规约和统计，由于分片服务器和规约服务器分别对访问数据进行分片处理和统计处理，从而充分发挥了系统的并行性，提高了效率；通过将生成的大容量访问数据的详细信息以及访问数据的统计数据存储至存储器，从而可以对历史访问数据进行统计，同时可以统计访问数据的唯一数据量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种大容量访问数据的统计方法，其特征在于，所述方法包括下述步骤：

将大容量访问数据分配至一台或者多台分片服务器；

2.如权利要求1所述的方法，其特征在于，在分片服务器对所述大容量访问数据进行分片处理之前，接收用户选择的数据统计种类，此时，分片服务器根据所述数据统计种类，对所述大容量访问数据进行分片处理。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述分片处理后的访问数据的值部分对所述分片处理后的访问数据进行排序。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

存储并输出所述分片处理后的访问数据的统计数据。

5.如权利要求1至4任一权利要求所述的方法，其特征在于，所述大容量访问数据为网页浏览数据、网站浏览数据、网站注册数据或者广告浏览数据。

6.如权利要求1至4任一权利要求所述的方法，其特征在于，所述分片处理后的访问数据的统计数据包括分片处理后的访问数据的总数据量，和/或分片处理后的访问数据的唯一数据量。

7.一种大容量访问数据的统计系统，其特征在于，所述系统包括：

8.如权利要求7所述的系统，其特征在于，所述分片服务器包括：

数据统计种类接收模块，用于接收用户选择的数据统计种类；此时所述分片服务器根据所述数据统计种类，对所述大容量访问数据进行分片处理。

9.如权利要求7所述的系统，其特征在于，所述系统还包括：

存储器，用于存储根据用户对网络提供的某种服务的访问操作生成的访问数据或者所述规约服务器得到的分片处理后的访问数据的统计数据。

10.如权利要求9所述的系统，其特征在于，所述规约服务器包括：

排序模块，用于根据所述分片处理后的访问数据的值部分对所述分片处理后的访问数据进行排序；

统计数据存储模块，用于将所述规约服务器得到的分片处理后的访问数据的统计数据存储至所述存储器。

11.如权利要求7至10任一权利要求所述的系统，其特征在于，所述大容量访问数据为网页浏览数据、网站浏览数据、网站注册数据或者广告浏览数据。

12.如权利要求7至10任一权利要求所述的系统，其特征在于，所述分片处理后的访问数据的统计数据包括分片处理后的访问数据的总数据量，和/或分片处理后的访问数据的唯一数据量。