CN105512223A

CN105512223A - 一种用户数据统计方法及系统

Info

Publication number: CN105512223A
Application number: CN201510856722.1A
Authority: CN
Inventors: 林伟
Original assignee: Nubia Technology Co Ltd
Current assignee: Nubia Technology Co Ltd
Priority date: 2015-11-30
Filing date: 2015-11-30
Publication date: 2016-04-20

Abstract

本发明涉及大数据处理技术领域，尤其涉及一种用户数据统计方法及系统。本发明提出的一种用户数据统计方法，包括：客户端对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器；统计服务器对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给数据库服务器，以使数据库服务器将所述二次统计数据写入数据库。本发明对用户数据进行两次统计，将经过两次统计后的二次统计数据作为整体发送给数据库服务器，减少了与数据库服务器的交互，使得数据库服务器能够接收更多的二次统计数据，从而提高了用户数据统计系统的数据吞吐量和数据记录效率。

Description

一种用户数据统计方法及系统

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种用户数据统计方法及系统。

背景技术

进入2012年，大数据(bigdata)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据。截止到2012年，数据量已经从TB(1024GB＝1TB)级别跃升到PB(1024TB＝1PB)、EB(1024PB＝1EB)乃至ZB(1024EB＝1ZB)级别。国际数据公司(IDC)的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数据量更是高达1.82ZB，相当于全球每人产生200GB以上的数据量。

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。行业/企业大数据动辄达到数百TB甚至数十至数百PB，如此数量级的大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此寻求有效的大数据处理技术已经成为现实世界的迫切需求。

随着客户端功能的丰富，各种APP应用越来越多，每一种APP都涉及到了用户相关行为的统计分析功能，即所谓的大数据统计分析需求。而为了实现大数据的统计分析，首先必须能够在大范围内收集用户在客户端的行为日志数据，即用户数据记录。现有技术中，用户数据记录技术主要分为两种，一种为客户端记录用户数据，该用户数据实时入数据库；另一种为客户端记录用户数据后，该用户数据存入消息队列或者缓存服务器中，实现异步入数据库。当用户数据数量较大时，第一种方式会对数据库以及数据库服务器造成很大的压力；第二种方式能减小数据库和数据库服务器的压力，但会在消息队列或者缓存服务器中存在瓶颈，最终限制数据库以及数据库服务器的数据吞吐量，整体上降低用户数据的记录效率。

发明内容

本发明的主要目的在于提出一种能够提高数据吞吐量，能够提高数据记录效率的用户数据统计方法及用户数据统计系统。

为实现上述目的，本发明提供一种用户数据统计方法。

一种用户数据统计方法，包括：

客户端对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器；

统计服务器对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给数据库服务器，以使数据库服务器将所述二次统计数据写入数据库。

一种用户数据统计方法，包括：

统计服务器对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给缓存服务器；

缓存服务器将接收到的所述二次统计数据发送给数据库服务器，以使数据库服务器将所述二次统计数据写入数据库。

一种用户数据统计方法，包括：

统计服务器对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给缓存服务器：

应用服务器查询缓存服务器是否接收到所述二次统计数据，若是，则应用服务器从缓存服务器获取所述二次统计数据并将该二次统计数据发送给数据库服务器，以使数据库服务器将所述二次统计数据写入数据库。

进一步地，缓存服务器接收所述二次统计数据，并在缓存服务器本地备份所述二次统计数据。

此外，为实现上述目的，本发明还提出一种用户数据统计系统。

一种用户数据统计系统，包括：

客户端，用于对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器；

统计服务器，用于对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给数据库服务器；

数据库服务器，用于将所述二次统计数据写入数据库。

一种用户数据统计系统，包括：

统计服务器，用于对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给缓存服务器；

缓存服务器，用于接收所述二次统计数据进行缓存并将所述二次统计数据发送给数据库服务器。

数据库服务器，用于将接收到的所述二次统计数据写入数据库。

一种用户数据统计系统，包括：

应用服务器，用于查询缓存服务器是否接收到所述二次统计数据，若是，则从缓存服务器获取所述二次统计数据并将该二次统计数据发送给数据库服务器，以使数据库服务器将所述二次统计数据写入数据库；

缓存服务器，用于接收所述二次统计数据进行缓存并将所述二次统计数据发送给应用服务器。

本发明提出的一种用户数据统计方法，包括：客户端对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器；统计服务器对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给数据库服务器，以使数据库服务器将所述二次统计数据写入数据库。本发明对用户数据进行两次统计，将经过两次统计后的二次统计数据作为整体发送给数据库服务器，减少了与数据库服务器的交互，使得数据库服务器能够接收更多的二次统计数据，从而提高了用户数据统计系统的数据吞吐量和数据记录效率。

附图说明

图1是本发明一种用户数据统计方法实施例一的流程图；

图2是本发明一种用户数据统计方法实施例二的流程图；

图3是本发明一种用户数据统计方法实施例三的流程图；

图4是本发明一种用户数据统计系统实施例四的框图；

图5是本发明一种用户数据统计系统实施例五的框图；

图6是本发明一种用户数据统计系统实施例六的框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

图1是本发明一种用户数据统计方法实施例一的流程图。

参见图1，一种用户数据统计方法，包括：

S10、客户端对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器。

步骤S10中的客户端为能与别的网络设备进行通信的网络设备，如客户端、IPAD、笔记本电脑等。

用户在客户端使用APP的过程中，客户端会记录用户相关的操作行为。例如，用户在客户端上进行以下操作：

在2015-11-28-AM9:00点击“财经新闻”-“国际原油”；

在2015-11-28-AM10:30点击“亲宝宝”-“嘟嘟宝贝”；

在2015-11-28-AM10:40点击“天天动听”-“本地音乐”；

则，用户每在客户端上进行一次操作，客户端便记录用户的相关操作，即客户端实时记录用户数据。

本发明，客户端记录用户数据，并对所述用户数据进行第一次统计。客户端对记录的用户数据进行第一次统计的方式，包括：客户端按照预设时长对记录的用户数据进行第一次统计的方式，或者客户端按照预设存储空间对记录的用户数据进行第一次统计的方式。

例如，客户端以2小时为一个统计时段，对2小时内记录的用户数据进行一次统计。如上所述，客户端上记录以下用户数据：

在2015-11-28-AM9:00点击“财经新闻”-“国际原油”；此项用户数据用a1表示。

在2015-11-28-AM10:30点击“亲宝宝”-“嘟嘟宝贝”；此项用户数据用a2表示。

在2015-11-28-AM10:40点击“天天动听”-“本地音乐”；此项用户数据用a3表示。

则客户端对AM9:00-AM11:00这2小时内的a1-a3三项用户数据进行一次统计，以得到一次统计数据，该一次统计数据用a表示，即“一次统计数据a”包含(a1、a2、a3)。

客户端通过对多项用户数据a1、a2和a3进行一次统计，得到一项一次统计数据a，将该一次统计数据a作为整体发送给统计服务器。

再例如，客户端以800K为一个统计，客户端将记录的用户数据存储在客户端的存储器(该存储器可以为客户端的缓存、内存或者外存)，划分出存储器的1024K用来存放客户端记录的用户操作数据，且设定，当用户的操作数据越到800K，则将对该达到800K的用户数据进行一次统计。

假如：客户端上记录以下用户数据：

在2015-11-28-AM9:00--点击“财经新闻”-“国际原油”--300K；此项用户数据用a1表示。

在2015-11-28-AM10:30点击“亲宝宝”-“嘟嘟宝贝”--300K；此项用户数据用a2表示。

在2015-11-28-AM10:40点击“天天动听”-“本地音乐”--300K；此项用户数据用a3表示。

由于用户数据a1、用户数据a2和用户数据a3均被存储在客户端的存储器，且用户数据a1+用户数据a2+用户数据a3＝900K，900K越过800K，则客户端对用户数据a1、用户数据a2和用户数据a3进行一次统计，得到一次统计数据，该一次统计数据用a表示，即“一次统计数据a”包含(a1、a2、a3)。

现有技术中，客户端每记录一项用户数据，便向数据库服务器或者缓存服务器发该项用户数据；即，如果如上所述，则客户端记录a1，向数据库服务器或者缓存服务器发送a1；客户端记录a2，向数据库服务器或者缓存服务器发送a2；客户端记录a3，向数据库服务器或者缓存服务器发送a3。客户端需要与数据库服务器或者缓存服务器交互3次，才能将a1、a2、a3发送。

本发明中，客户端将用户数据a1、a2、a3统计为“一次统计数据a”，将“一次统计数据a”整体发送给统计服务器，以进行第二次统计；将经过两次统计后的二次统计数据作为整体发送给数据库服务器，减少了与数据库服务器的交互，使得数据库服务器能够接收更多的二次统计数据，从而提高了用户数据统计系统的数据吞吐量和数据记录效率。

S11、统计服务器对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给数据库服务器，以使数据库服务器将所述二次统计数据写入数据库。

步骤S11中，统计服务器接收到多个诸如“一次统计数据a(a1、a2、a3)”的一次统计数据，对多个一次统计数据进行二次统计。

与统计服务器通信的客户端有多个，例如客户端A、客户端B和客户端C；客户端A、客户端B和客户端C各自将自己统计的一次统计数据，均发送给统计服务器；

例如，客户端A的“一次统计数据a”，其中“一次统计数据a”包含用户数据a1、用户数据a2和用户数据a3；

客户端B的“一次统计数据b”，其中“一次统计数据b”包含用户数据b1、用户数据b2和用户数据b3；

客户端C的“一次统计数据c”，其中“一次统计数据c”包含用户数据c1、用户数据c2和用户数据c3；

统计服务器接收到“一次统计数据a”、“一次统计数据b”和“一次统计数据c”，并对该三项一次统计数据进行二次统计，得到“二次统计数据A”，即“二次统计数据A”包含“一次统计数据a”、“一次统计数据b”和“一次统计数据c”。

统计服务器将“二次统计数据A”作为整体，与数据库服务器交互1次，发送给数据库服务器。

以上述例子，如果按现有技术，客户端A不对用户数据做统计，直接将用户数据a1、用户数据a2和用户数据a3发送给数据库服务器，即客户端A需要与数据库服务器交互3次；同样地，客户端B需要与数据库服务器交互3次，客户端C需要与数据库服务器交互3次。即数据库服务器需要与客户端交互9次，才能获得用户数据a1、用户数据a2、用户数据a3、用户数据b1、用户数据b2、用户数据b3、用户数据c1、用户数据c2和用户数据c3。

而在本发明中，客户端增加一次统计的功能，再引入用于二次统计的统计服务器，统计服务器将最终的二次统计数据整体发送给数据库服务器，大大减少了与数据库服务器的交互次数，数据库服务器能处理更多的其他请求，提高了数据库服务器的数据吞吐量，从而整体上提高系统的数据记录效率。例如，以上述例子，按本发明的方案，客户端通过一次统计，将9个“用户数据”分别统计为3个“一次统计数据”；统计服务器通过二次统计，再将3个“一次统计数据”统计为1个“二次统计数据”；将该1个“二次统计数据”作为整体，与数据库服务器只交互1次，便可将包含9个“用户数据”的“二次统计数据”发送给数据库服务器。

显然，数据库服务器获得相同的数据，按现有技术，数据库服务器需要与网络设备(客户端或者缓存服务器)交互9次，按本发明的方案，数据库服务器只需要与网络设备(统计服务器或者缓存服务器)交互1次。

实施例二

图2是本发明一种用户数据统计方法实施例二的流程图。

参见图2，一种用户数据统计方法，包括：

S20、客户端对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器；

步骤S20同实施例一种的S10,此处不再赘述。

S21、统计服务器对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给缓存服务器。

S22、缓存服务器将接收到的所述二次统计数据发送给数据库服务器，以使数据库服务器将所述二次统计数据写入数据库。

步骤S21-S22与实施例一种的S11的区别在于，二次统计数据通过缓存服务器的缓存，再由缓存服务器发送至数据库服务器。

增加缓存服务器的作用有：

1、缓存服务器对接收到的二次统计数据，在缓存服务器本地进行备份。可以以文件或者以数据库的方式进行备份。备份能防止因为停电或者宕机造成的二次统计数据丢失。

2、缓存服务器可对二次统计数据进行缓存，再采用异步线程接口提交所述二次统计数据给数据库服务器，实现数据的异步入库，能够在数据库服务器的请求量较大时，缓解数据库服务器的压力。

实施例三

图3是本发明一种用户数据统计方法实施例三的流程图。

参见图3，一种用户数据统计方法，包括：

S30、客户端对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器。

S31、统计服务器对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给缓存服务器。

S32、应用服务器查询缓存服务器是否接收到所述二次统计数据，若是，执行S33。

步骤S32中，应用服务器实时或者定时地查询缓存服务器是否接收到所述二次统计数据。

S33、应用服务器从缓存服务器获取所述二次统计数据并将该二次统计数据发送给数据库服务器，以使数据库服务器将所述二次统计数据写入数据库。

本实施例与实施例二的区别在于，本实施例中增加了具有查询功能的应用服务器；实施例二中，缓存服务器将接收到的所述二次统计数据发送给数据库服务器，具体的实现可以有两种情况：1、缓存服务器查询自己是否接收到所述二次统计数据，若是，则向数据库服务器发送请求，请求发送所述二次统计数据给数据库服务器；2、数据库服务器查询缓存服务器是否接收到所述二次统计数据，若是，则请求缓存服务器发送所述二次统计数据。

应用服务器将该项查询功能单独出来。简化了缓存服务器或者数据库服务器的功能，缓存服务器单一地用于缓存二次统计数据，数据库服务器单一地用于存储数据，从而使得该用户数据统计系统中的每个设备的功能都单一化，便于系统后期的维护。

实施例四

图4是本发明一种用户数据统计系统实施例四的框图。

与统计服务器20通信的客户端可以有多个，本实施例以3个客户端为例进行说明。

参见图4，一种用户数据统计系统，包括：

客户端A10，用于对客户端A记录的用户数据进行一次统计并将一次统计数据发送给统计服务器。

客户端B11，用于对客户端B记录的用户数据进行一次统计并将一次统计数据发送给统计服务器。

客户端C12，用于对客户端C记录的用户数据进行一次统计并将一次统计数据发送给统计服务器。

在2015-11-28-AM9:00点击“财经新闻”-“国际原油”；

在2015-11-28-AM10:30点击“亲宝宝”-“嘟嘟宝贝”；

在2015-11-28-AM10:40点击“天天动听”-“本地音乐”；

则客户端对AM9:00-AM11:00这2小时内的a1-a3三项用户数据进行一次统计，得到一次统计数据，该一次统计数据用a表示，即“一次统计数据a”包含(a1、a2、a3)。

客户端通过对多项用户数据a1、a2和a3进行一次统计，得到一项“一次统计数据a”，将该“一次统计数据a”作为整体发送给统计服务器。

假如：客户端上记录以下用户数据：

假设：

客户端A：将客户端A记录的用户数据a1、用户数据a2和用户数据a3，进行一次统计，得到“一次统计数据a(a1、a2、a3)”，并发送给统计服务器；

客户端B：将客户端B记录的用户数据b1、用户数据b2和用户数据b3，进行一次统计，得到“一次统计数据b(b1、b2、b3)”，并发送给统计服务器；

客户端C：将客户端C记录的用户数据c1、用户数据c2和用户数据c3，进行一次统计，得到“一次统计数据c(c1、c2、c3)”，并发送给统计服务器。

统计服务器20，用于对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给数据库服务器。

统计服务器20接收到三项数据，分别为：“一次统计数据a(a1、a2、a3)”、“一次统计数据b(b1、b2、b3)”和“一次统计数据c(c1、c2、c3)”。

统计服务器20对这三项一次统计数据进行二次统计，得到“二次统计数据A”，该“二次统计数据A”包含“一次统计数据a”、“一次统计数据b”和“一次统计数据c”；即“二次统计数据A(a、b、c)”。

统计服务器将“二次统计数据A(a、b、c)”作为整体，与数据库服务器交互1次，发送给数据库服务器。

数据库服务器获得包含a1、a2、a3、b1、b2、b3、c1、c2、c3的“二次统计数据A{a(a1、a2、a3)、b(b1、b2、b3)、c(c1、c2、c3)}”只需与统计服务器交互1次。

数据库服务器50，用于将所述二次统计数据写入数据库。

在本系统中，客户端增加一次统计的功能，再引入用于二次统计的统计服务器，统计服务器将最终的二次统计数据整体发送给数据库服务器，大大减少了与数据库服务器的交互次数，数据库服务器能处理更多的其他请求，提高了数据库服务器的数据吞吐量，从而整体上提高系统的数据记录效率。例如，实施例四所述的具体方案中，客户端通过一次统计，将9个“用户数据”分别统计为3个“一次统计数据”；统计服务器通过二次统计，再将3个“一次统计数据”统计为1个“二次统计数据”；将该1个“二次统计数据”作为整体，与数据库服务器只交互1次，便可将包含9个“用户数据”的“二次统计数据”发送给数据库服务器。

实施例五

图5是本发明一种用户数据统计系统实施例五的框图。

参见图5，一种用户数据统计系统，包括：

统计服务器20，用于对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给缓存服务器。

缓存服务器30，用于接收所述二次统计数据进行缓存并将所述二次统计数据发送给数据库服务器。

数据库服务器50，用于将接收到的所述二次统计数据写入数据库。

本实施例与实施例四的区别在于，实施例五的系统中增加了缓存服务器30。二次统计数据通过缓存服务器的缓存，再由缓存服务器发送至数据库服务器。

增加缓存服务器30的作用有：

实施例六

图6是本发明一种用户数据统计系统实施例六的框图。

参见图6，一种用户数据统计系统，包括：

应用服务器40，用于查询缓存服务器是否接收到所述二次统计数据，若是，则从缓存服务器获取所述二次统计数据并将该二次统计数据发送给数据库服务器，以使数据库服务器将所述二次统计数据写入数据库。

缓存服务器30，用于接收所述二次统计数据进行缓存并将所述二次统计数据发送给应用服务器。

本实施例与实施例五的区别在于，本实施例中增加了具有查询功能的应用服务器40；实施例五中，缓存服务器30将接收到的所述二次统计数据发送给数据库服务器50，具体的实现可以有两种情况：1、缓存服务器30查询自己是否接收到所述二次统计数据，若是，则向数据库服务器50发送请求，请求发送所述二次统计数据给数据库服务器50；2、数据库服务器50查询缓存服务器30是否接收到所述二次统计数据，若是，则请求缓存服务器30发送所述二次统计数据给自己。

应用服务器40将该项查询功能单独出来。简化了缓存服务器30或者数据库服务器50的功能，缓存服务器30单一地用于缓存二次统计数据，数据库服务器50单一地用于存储数据，从而使得该用户数据统计系统中的每个设备的功能都单一化，便于系统后期的维护。

图4-图6中，设备之间的箭头线代表数据流的方向。

综上，本发明对用户数据进行两次统计，将经过两次统计后的二次统计数据作为整体发送给数据库服务器，减少了与数据库服务器的交互，使得数据库服务器能够接收更多的二次统计数据，从而提高了用户数据统计系统的数据吞吐量和数据记录效率。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括多个指令用以使得一台终端设备(可以是客户端，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种用户数据统计方法，其特征在于，包括：

统计服务器对接收到的所述一次统计数据进行二次统计，并将二次统计数据发送给数据库服务器以使数据库服务器将所述二次统计数据写入数据库。

2.根据权利要求1所述的方法，其特征在于，所述统计服务器对接收到的所述一次统计数据进行二次统计，并将二次统计数据发送给数据库服务器以使数据库服务器将所述二次统计数据写入数据库，包括：

统计服务器对接收到的所述一次统计数据进行二次统计，并将二次统计数据发送给缓存服务器；

缓存服务器将接收到的所述二次统计数据发送给数据库服务器以使数据库服务器将所述二次统计数据写入数据库。

3.根据权利要求2所述的方法，其特征在于，所述缓存服务器将接收到的所述二次统计数据发送给数据库服务器以使数据库服务器将所述二次统计数据写入数据库，包括：

4.根据权利要求2或3所述的方法，其特征在于，缓存服务器接收所述二次统计数据，并在缓存服务器本地备份所述二次统计数据。

5.根据权利要求1所述的方法，其特征在于，所述客户端对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器，包括：

客户端按照预设时长对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器；或客户端按照预设存储空间对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器。

6.一种用户数据统计系统，其特征在于，包括：

数据库服务器，用于将所述二次统计数据写入数据库。

7.根据权利要求6所述的系统，其特征在于，所述统计服务器，用于对接收到的所述一次统计数据进行二次统计并将二次统计数据发送给缓存服务器；

所述系统还包括：

缓存服务器，用于用于接收所述二次统计数据进行缓存并将所述二次统计数据发送给数据库服务器。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括：

所述缓存服务器，用于接收所述二次统计数据进行缓存并将所述二次统计数据发送给应用服务器。

9.根据权利要求7或8所述的系统，其特征在于，缓存服务器接收所述二次统计数据，并在缓存服务器本地备份所述二次统计数据。

10.根据权利要求6所述的系统，其特征在于，所述客户端，具体用于按照预设时长对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器；或按照预设存储空间对记录的用户数据进行一次统计并将一次统计数据发送给统计服务器。