CN102880676A - 统计用户行为数据的方法及用户行为数据统计系统 - Google Patents

统计用户行为数据的方法及用户行为数据统计系统 Download PDF

Info

Publication number
CN102880676A
CN102880676A CN201210333472XA CN201210333472A CN102880676A CN 102880676 A CN102880676 A CN 102880676A CN 201210333472X A CN201210333472X A CN 201210333472XA CN 201210333472 A CN201210333472 A CN 201210333472A CN 102880676 A CN102880676 A CN 102880676A
Authority
CN
China
Prior art keywords
behavior data
user behavior
user
statistics
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210333472XA
Other languages
English (en)
Inventor
王璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sina Technology China Co Ltd
Original Assignee
Sina Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sina Technology China Co Ltd filed Critical Sina Technology China Co Ltd
Priority to CN201210333472XA priority Critical patent/CN102880676A/zh
Publication of CN102880676A publication Critical patent/CN102880676A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种统计用户行为数据的方法及用户行为数据统计系统。该方法包括:在映射存储服务器中预先设置用户行为数据统计映射关系表;接收网站服务器按照预先设置的统计策略实时上报的用户行为数据,更新预先设置的用户行为数据统计映射关系表。应用本发明,可以提高用户行为数据统计的实时性、提升资源利用效率。

Description

统计用户行为数据的方法及用户行为数据统计系统
技术领域
本发明涉及数据统计技术,尤其涉及一种统计用户行为数据的方法及用户行为数据统计系统。
背景技术
随着互联网的发展,使用互联网的用户数急速增多,为用户提供服务的互联网网站数量也越来越多,为了更好地运营互联网网站以及服务互联网网站的用户,互联网网站运营者需要对大量的用户访问互联网网站的行为数据进行分析、统计,以获取用户访问互联网网站的趋势行为,以及,基于用户访问互联网网站的趋势行为,对用户访问的互联网网站进行排行,并根据处理、统计出的用户行为数据结果趋势、排行进行深入分析,以进一步提升互联网网站的影响力,例如,根据用户行为数据结果趋势、排行,调整互联网网站的运营策略。其中,用于执行用户行为数据统计的统计时间段与互联网网站的运营调整策略密切相关:统计时间段越短,互联网网站根据统计结果做出的反馈就越及时,运营策略调整也就越及时,就越能提升互联网网站的影响力。
目前,用户行为数据统计主要是二维度统计,分别是用户行为数据发展趋势维度统计以及用户行为数据集的排行榜维度统计。具体来说,互联网网站在自身所属的网站服务器上,通过追加写入格式统一的日志文件,用以记录用户行为数据,各网站服务器以天或月为单位存储记录有用户行为数据的日志文件,在设置的时间(一天或一月)到时,将存储的、通过追加写入的日志文件发送到统计服务器,统计服务器对接收的日志文件进行合并,分析合并的日志文件的脚本,以进行后台处理,通过后台处理,计算出时间单位内的用户行为数据统计结果,例如,用户行为数据发展趋势统计结果以及用户行为数据集的排行榜统计结果,并且录入到相应的数据库中,以方便相应互联网网站运营者进行查询。
由上述可见,现有的用户行为数据统计方法,由于以天或月为单位进行用户行为数据统计,使得用于统计的用户行为数据具有一定的时间滞后性,造成用户行为数据统计的滞后性,导致统计结果的实时性较差;进一步地,统计服务器集中处理各网站服务器按日或月记录的日志文件,使得统计服务器实时资源压力较大,需要增大统计服务器进行数据处理的资源量,而在进行统计处理后至下一次进行统计处理之前,统计服务器的资源又处于闲置状态,使得资源利用效率较低。
发明内容
本发明的实施例提供一种统计用户行为数据的方法,提高用户行为数据统计的实时性、提升资源利用效率。
本发明的实施例还提供一种用户行为数据统计系统,提高用户行为数据统计的实时性、提升资源利用效率。
为达到上述目的,本发明实施例提供的一种统计用户行为数据的方法,包括:
在映射存储服务器中预先设置用户行为数据统计映射关系表;
接收网站服务器按照预先设置的统计策略实时上报的用户行为数据,更新预先设置的用户行为数据统计映射关系表。
其中,所述用户行为数据统计映射关系表包括:用户标识信息、时间轴信息、时间轴单位信息以及用户行为数据属性信息。
其中,所述用户行为数据中包含用户标识信息以及时间信息。
其中,所述更新预先设置的用户行为数据统计映射关系表包括:
获取用户行为数据中携带的用户标识信息以及时间信息;
以用户标识以及时间信息为索引,索引用户行为数据统计映射关系表,判断是否索引成功;
如果索引成功,获取与用户标识以及时间信息相匹配的用户行为数据统计映射关系,对用户行为数据统计映射关系中的用户行为数据属性信息进行相应更新;
如果索引不成功,将接收的用户行为数据存储至用户行为数据统计映射关系表。
进一步包括:
将更新的用户行为数据统计映射关系表输出至网站服务器。
进一步包括:
根据更新的用户行为数据统计映射关系表,按照预先设置的排序策略,对用户行为数据统计映射关系表中的用户行为数据属性信息进行排行。
一种用户行为数据统计系统,该系统包括:网站服务器、数据趋势统计服务器以及映射存储服务器,其中,
网站服务器,用于监测用户行为,按照预先设置的统计策略,将监测到的用户行为数据进行实时上报;
数据趋势统计服务器,用于接收网站服务器实时上报的用户行为数据,更新映射存储服务器中预先设置的用户行为数据统计映射关系表;
映射存储服务器,用于预先设置用户行为数据统计映射关系表,根据数据趋势统计服务器的更新,对用户行为数据统计映射关系表进行相应更新。
所述映射存储服务器采用Redis存储服务器。
进一步包括:
统计数据输出服务器,用于接收网站服务器输出的统计数据输出请求,根据统计数据输出请求中携带的用户标识以及时间轴信息,查询映射存储服务器,从用户行为数据统计映射关系表中获取与所述用户标识以及时间轴相匹配的用户行为数据统计值,输出至网站服务器。
进一步包括:
通用数据排行统计服务器,用于根据预先设置的排序策略,基于时间段的数据累加,根据接收的用户行为数据,对映射存储服务器中的用户行为数据统计映射关系表进行实时排行。
所述统计数据输出服务器进一步用于接收网站服务器提交的排行榜分类,根据排行榜分类,从Redis排行存储服务器中,查找出相应的榜单数据,然后将查询得到的数据输出给网站服务器。
由上述技术方案可见,本发明实施例提供的一种统计用户行为数据的方法及用户行为数据统计系统,在映射存储服务器中预先设置用户行为数据统计映射关系表;接收网站服务器按照预先设置的统计策略实时上报的用户行为数据,更新预先设置的用户行为数据统计映射关系表。这样,基于时间轴对用户行为数据进行实时趋势统计以及排行统计,可以提升统计结果的实时性;进一步地,基于时间轴进行用户行为数据统计,可以使得统计服务器能够较为平均地处理接收的日志文件,从而提升统计服务器的资源利用效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,以下描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员而言,还可以根据这些附图所示实施例得到其它的实施例及其附图。
图1为本发明实施例统计用户行为数据的方法流程示意图。
图2为本发明实施例的用户行为数据统计系统结构示意图。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
现有统计用户行为数据的方法,由于以天或月为单位进行用户行为数据统计,统计具有一定的时间滞后性,造成统计结果的实时性较差;进一步地,由于涉及较长时间段内日志文件合并以及统计服务器数据库的性能问题,导致统计性能不高,统计所需时间较长;而且,在统计时,统计服务器所需资源开销大,造成统计服务器资源压力过大,统计后,统计服务器资源又大量闲置,使得统计服务器的资源利用效率较低。本发明实施例中,考虑基于时间轴,对用户行为数据进行实时趋势统计以及排行统计,并使用高性能的Redis存储服务器存储基于时间轴的统计结果,以降低以天或月为单位进行用户行为数据统计导致的数据结果滞后的技术问题,提升统计结果的实时性;进一步地,基于时间轴进行用户行为数据统计,可以使得统计服务器能够较为平均地处理接收的日志文件,使得统计服务器所需的实时资源较为均衡,降低统计服务器进行实时处理所需的资源量,从而提升统计服务器的资源利用效率。
本发明实施例中,用户行为数据统计分为两部分,一部分是通用的实时数据趋势统计,对应于现有的用户行为数据发展趋势维度统计;另一部分是通用的实时排行榜统计,对应于现有用户行为数据集的排行榜维度统计。对于通用的实时排行榜统计,可以在通用的实时数据趋势统计的基础上,再次进行统计、处理得到。
图1为本发明实施例统计用户行为数据的方法流程示意图。参见图1,该流程包括:
步骤101,在映射存储服务器中预先设置用户行为数据统计映射关系表;
本步骤中,用户行为数据统计映射关系表包括:用户标识信息、时间轴信息、时间轴单位信息以及用户行为数据属性信息。其中,用户行为数据属性信息可以是用户访问各网站服务器的次数信息,也可以是用户访问每一网站服务器的次数信息,还可以是访问时长信息等;用户标识信息以及时间轴信息也称为用户配置信息。
本发明实施例中,根据用户行为数据统计的不同类型,基于时间轴,可以建立不同的用户行为数据统计映射关系表。例如,如果针对网站服务器的不同用户访问次数进行统计,则建立的用户行为数据统计映射关系表为该网站服务器下,各用户在不同时间段内访问的次数信息;如果针对各网站服务器,分别统计用户访问次数,则建立的用户行为数据统计映射关系表为各网站服务器下,不同时间段内分别访问网站服务器的各用户总访问次数信息。
时间轴单位信息可以是小时,也可以是分钟,当然,实际应用中,还可以是日。
以网站服务器的不同用户访问次数进行统计为例,表1为本发明实施例示意性的用户行为数据统计映射关系表。
表1
  用户标识   时间轴   时间轴单位   访问次数
  123   14:00-18:00   小时   5
  456   12:00-18:00   小时   10
  789   10:00-18:00   小时   2
实际应用中,对于表1,还可以根据时间轴单位,对时间轴进行拆分,形成不同的时间段,并根据拆分形成的时间段,写入相应的用户行为数据属性信息,以用户标识为123的用户为例,用户行为数据统计映射关系表中该用户的相关信息可以如表2所示。
表2
Figure BDA00002120683200051
表2中,用户123的时间轴被拆分为4个时间段。
步骤102,接收网站服务器按照预先设置的统计策略实时上报的用户行为数据,更新预先设置的用户行为数据统计映射关系表。
本步骤中,用户行为数据是反应用户行为的数据,例如,访问网站服务器的次数数据、访问网站服务器的时长数据、浏览网站服务器中预设内容的浏览次数数据等。
预先设置的统计策略可以是统计服务器根据统计类型的需要,将对应的统计策略下发至网站服务器。
用户行为数据包含用户标识信息、时间信息等。
对于不同的统计策略,实时上报的用户行为数据中,包含的具体内容也有所不同,例如,对于统计策略为用户访问各网站服务器的次数信息,在上报的用户行为数据中,还包含有互联网网站信息。
更新预先设置的用户行为数据统计映射关系表包括:
A11,获取用户行为数据中携带的用户标识信息以及时间信息;
A12,以用户标识以及时间信息为索引,索引用户行为数据统计映射关系表,判断是否索引成功,如果成功,执行步骤A13,否则,执行步骤A14;
本步骤中,首先根据用户标识查询用户行为数据统计映射关系表,确定是否存在与该用户标识相同的用户标识,如果有,再根据时间信息确定所在时间轴的时间段信息。如果用户行为数据统计映射关系表中不存在与该用户标识相同的用户标识,或者,所在时间轴的时间段信息中不包含时间信息,则索引不成功。
A13,获取与用户标识以及时间信息相匹配的用户行为数据统计映射关系,对用户行为数据统计映射关系中的用户行为数据属性信息进行相应更新;
本步骤中,如果索引成功,表明用户行为数据统计映射关系表中已存储有该用户相关的用户行为数据统计,则对用户行为数据属性信息进行更新,例如,如果实时上报的用户行为数据为123_20120813142006,其中,123为用户标识,20120813142006为用户访问网站服务器的时间信息,则在本步骤中,索引用户行为数据统计映射关系表成功,将表1中用户标识为123的用户的访问次数从5次更新为6次,以及,将表2中时间段为14:00-15:0对应的访问次数从1次更新为2次。
A14,将接收的用户行为数据存储至用户行为数据统计映射关系表。
本步骤中,如果索引未成功,表明用户行为数据统计映射关系表中还未存储有该用户相关的用户行为数据统计,则存储该用户行为数据。例如,如果实时上报的用户行为数据为1234_20120813142006,其中,1234为用户标识,20120813142006为用户访问网站服务器的时间信息,则在本步骤中,索引用户行为数据统计映射关系表未成功,在表1或表2中,添加用户标识为1234的用户标识,并将其访问次数设置为1次。
表3为本发明实施例更新的用户行为数据统计映射关系表。
表3
  用户标识   时间轴   统计单位   访问次数
  123   14:00-18:00   小时   5
  456   12:00-18:00   小时   10
  789   10:00-18:00   小时   2
  1234   14:00-18:00   小时   1
较佳地,该方法还可以进一步包括:
步骤103,将更新的用户行为数据统计映射关系表输出至网站服务器。
本步骤中,在更新用户行为数据统计映射关系表后,将更新的用户行为数据统计映射关系表输出给网站服务器的后台,以便于运营者进行相应监控。
当然,实际应用中,该方法还可以进一步包括:
步骤104,根据更新的用户行为数据统计映射关系表,按照预先设置的排序策略,对用户行为数据属性信息进行排行。
本步骤中,预先设置的排序策略可以根据实际需要确定,例如,可以是对同一榜单下的各用户访问次数的排序策略,也可以是对同一用户在不同榜单下访问次数的排序策略,还可以是对不同榜单下各用户访问次数的排序策略等。
图2为本发明实施例的用户行为数据统计系统结构示意图。参见图2,该系统包括:网站服务器、数据趋势统计服务器以及映射存储服务器,其中,
网站服务器,用于监测用户行为,按照预先设置的统计策略,将监测到的用户行为数据进行实时上报;
本发明实施例中,用户访问网站服务器,网站服务器根据预先设置的统计策略,获取相应的用户行为数据。例如,如果预先设置的统计策略为统计用户访问次数,则将该用户的访问信息实时上报至网站服务器;如果预先设置的统计策略为用户访问时长信息,则将包含该用户访问时长信息的用户行为数据上报至网站服务器。
实际应用中,预先设置的统计策略可以是数据趋势统计服务器设置并下发的。
数据趋势统计服务器,用于接收网站服务器实时上报的用户行为数据,更新映射存储服务器中预先设置的用户行为数据统计映射关系表;
映射存储服务器,用于预先设置用户行为数据统计映射关系表,根据数据趋势统计服务器的更新,对用户行为数据统计映射关系表进行相应更新。
较佳地,映射存储服务器采用Redis存储服务器,Redis存储服务器是一款开源、高性能的键-值存储(Key-Value Store)服务器,也被常被称作数据结构服务器(DSS,Data Structure Server)。
本发明实施例中,数据趋势统计服务器用于通用的实时数据趋势统计,收集各网站服务器实时上报的用户行为数据,基于映射存储服务器中的时间轴,进行时间轴内的用户行为数据统计。具体为:
网站服务器接收用户行为数据后,主动请求数据趋势统计服务器,数据趋势统计服务器根据请求中携带的用户行为数据,根据用户行为数据统计映射关系表中的用户配置信息,计算出用户行为数据处于时间轴的时间段信息。
本发明实施例中,用户行为数据统计映射关系表中的时间段,即时间轴单位可以精确到分钟,即以分钟为单位。
其中,用户配置信息包括:用户标识信息以及时间轴信息。
数据趋势统计服务器,在计算出用户行为数据处于时间轴的时间段信息后,以请求携带的用户标识以及计算得到的时间段为索引,在Redis存储服务器中存储的用户行为数据统计映射关系表中,进行索引,并获取该索引对应的值。例如,如果用户行为数据统计映射关系表中存储的用户配置信息为1418931265_2012081317-2012081318,其中,1418931265为用户标识,2012081317-2012081318为时间段信息,如果实时上报的该用户行为数据中,时间信息为201208131720,则计算得到的用户行为数据处于时间轴的时间段信息为2012081317-2012081318,数据趋势统计服务器以1418931265以及2012081317-2012081318为索引,在Redis存储服务器中存储的用户行为数据统计映射关系表中,进行索引,如果Redis存储服务器中不存在该索引(用户标识以及计算得到的时间段),则将该用户配置信息索引对应的索引值(例如,访问次数)设定为1,并将该索引值结果存储至Redis存储服务器;如果Redis存储服务器中存储有该用户配置信息,则将该配置信息索引对应的索引值进行加1操作,并将加1操作得到的索引值结果存储至Redis存储服务器,其中,索引值也可称作为用户行为数据统计值。
进一步地,该系统还可以包括:
统计数据输出服务器,用于接收网站服务器输出的统计数据输出请求,根据统计数据输出请求中携带的用户标识以及时间轴信息,查询映射存储服务器,从用户行为数据统计映射关系表中获取与所述用户标识以及时间轴相匹配的用户行为数据统计值,输出至网站服务器。
本发明实施例中,统计数据输出服务器用于提供统计数据输出接口。网站服务器提交携带用户标识以及时间轴信息的统计数据输出请求,根据用户行为数据统计映射关系表中用户配置信息的时间轴单位(频率)以及用户标识,进行查询。例如,提交的统计数据输出请求中携带的用户标识信息为:1418931265,时间轴信息为:2012081320-2012081323,在用户行为数据统计映射关系表中,用户配置信息中的统计频率为小时,则以统计频率为单位,计算出统计数据输出请求中时间轴区段内包含的所有区段对应的数据索引值,举例来说,对于1418931265_2012081320-2012081323的用户配置信息,以小时为单位,拆分为1418931265_2012081320、1418931265_2012081321、1418931265_2012081322以及1418931265_2012081323四个时间区段对应的数据索引值,再通过拆分得到的数据索引值,遍历(匹配)Redis数据存储服务器,获取各拆分得到的数据索引值对应的用户行为数据统计值,然后将遍历得到的用户行为数据统计值输出至网站服务器。例如,经过遍历,分别得到各拆分得到的数据索引值对应的用户行为数据统计值为:1418931265_2012081320→20、1418931265_2012081321→15、1418931265_2012081322→25、1418931265_2012081323→5,其中,1418931265_2012081323→5中,最后一次数字5表示用户1418931265在2012-08-1323-24的时间段内,访问互联网网站的次数为5次。
实际应用中,在对用户行为数据进行统计、分析后,还可以根据预先设置的排序策略,对映射存储服务器中的用户行为数据统计映射关系表进行排行。因而,该系统进一步包括:
通用数据排行统计服务器,用于根据预先设置的排序策略,基于时间段的数据累加,根据接收的用户行为数据,对映射存储服务器中的用户行为数据统计映射关系表进行实时排行。
本发明实施例中,预先设置的排序策略可以根据实际需要确定,例如,可以是对同一榜单下的各用户访问次数的排序策略,也可以是对同一用户在不同榜单下访问次数的排序策略,还可以是对不同榜单下各用户访问次数的排序策略等。在进行实时排行后,将实时排行结果输出至Redis排行存储服务器进行存储。
通用数据排行统计服务器基于时间段的数据累加,进行数据实时排行,具体为:
网站服务器在接收到用户行为数据后,主动请求通用数据排行统计服务器,通用数据排行统计服务器接收到请求后,根据请求中的用户配置信息以及用户行为数据统计映射关系表中的用户排序配置信息,计算出请求对应的用户行为数据所处的时间轴的时间段信息以及用户行为数据所属的榜单信息(排行分类信息)。计算出的该时间段信息可以精确到小时,即以小时为单位。
通用数据排行统计服务器,以请求携带的用户排序配置信息中的用户标识以及排行分类为索引,例如,用户配置信息为:1418931265_top1,其中,1418931265为用户标识,top1为排行榜名称,即榜单信息,从Redis排行存储服务器中,获取该索引(用户标识以及排行分类)下的值。如果Redis排行存储服务器中不存在该索引,则将该索引对应的索引值设定为1,并将该索引值结果存储至Redis排行存储服务器;如果Redis排行存储服务器中存在该索引,则将该索引对应的索引值进行加1操作,并将加1操作得到的索引值结果存储至Redis排行存储服务器。
然后,通用数据排行统计服务器,再以排行分类为索引,从存储有榜单数据的Redis排行存储服务器中,获取当前排行分类下的排行数据,根据用户配置信息,对当前排行分类下需要排行的排行数据,以用户标识为索引,并以索引值结果进行排序。具体为:
将当前接收的用户行为数据对应的索引值与排行榜中的数据索引值进行比对,遍历循环,如果排行榜内不存在用户标识的用户行为数据,则与排行榜最后一条用户行为数据进行比较,比较中找到新的排行名次,插入排行榜,并对插入的用户行为数据的排行名次执行加1操作;如果榜单(排行榜)中已存在用户标识的用户行为数据,则对用户标识的用户行为数据执行加1操作,然后,将加1操作后的用户行为数据(用户行为数据统计值)与前一名次的用户行为数据进行比对,如果用户行为数据统计值比前一名次的用户行为数据统计值数据高,则再从前一名次逐一向前比较,找到新的榜单名次,并插入加1操作后的用户行为数据,使得该插入的用户行为数据统计值大于或等于后一名次的用户行为数据统计值,而小于或等于前一名次的用户行为数据统计值。
例如,当前top1排行榜中,包含有榜单数据123_top1:30、456_top1:20、888_top1:20、789_top1:10,其中,123、456、888以及789均为用户标识,榜单数据123_top1:30中的数字30,表示用户123访问了该榜单数据30次,相应地,用户456访问了20次,用户789访问了10次,用户888访问了20次。如果此时,用户888又访问了榜单数据一次,则将用户888对应的用户数据执行加1操作,变为888_top1:21,然后,与榜单相邻的上一名次456_top1:20进行比较,如果该用户888的访问次数(21次)大于与榜单相邻的上一名次的用户456的访问次数(20次),则再与榜单相邻的上一名次的上一名次的用户进行比较,例如,与用户123进行比较,如果用户888的数据值小于或等于用户123的数据值,而大于用户456的数据值,说明用户888的名次由第三名上升为第二名,用户456的名次由第二名下降为第三名,则更新用户888上升一名次,而用户456下降一名次,形成新的榜单为123_top1:30、888_top1:21、456_top1:20、789_top1:10。同时,将新的榜单更新到Redis排行存储服务器。
较佳地,统计数据输出服务器进一步用于接收网站服务器提交的排行榜分类,根据排行榜分类,从Redis排行存储服务器中,查找出相应的榜单数据,然后将查询得到的数据输出给网站服务器。
本发明实施例中,如果网站服务器提交的排行榜分类为top1,则统计数据输出服务器将Redis排行存储服务器中更新的关于top1的榜单数据进行输出。
本发明实施例中,较佳地,数据趋势统计服务器与通用数据排行统计服务器可以集成在一个物理装置中,Redis存储服务器与Redis排行存储服务器可以集成在一个物理装置中,例如,集成在映射存储服务器中。当然,实际应用中,还可以将数据趋势统计服务器、通用数据排行统计服务器以及统计数据输出服务器集成在一个物理装置中。
由上述可见,本发明实施例的用户行为数据统计系统,基于时间轴对用户行为数据进行实时趋势统计以及排行统计,并使用高性能的Redis存储服务器存储基于时间轴的统计结果,可以进行实时趋势统计以及排行榜统计,有效降低了以天或月为单位进行用户行为数据统计导致的数据结果滞后的技术问题,提升统计结果的实时性;进一步地,基于时间轴进行用户行为数据统计,可以使得统计服务器能够较为平均地处理接收的日志文件,统计所需时间较短,使得统计服务器所需的实时资源较为均衡,降低统计服务器进行实时处理所需的资源量,从而提升统计服务器的资源利用效率。
显然,本领域技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也包含这些改动和变型在内。

Claims (11)

1.一种统计用户行为数据的方法,该方法包括:
在映射存储服务器中预先设置用户行为数据统计映射关系表;
接收网站服务器按照预先设置的统计策略实时上报的用户行为数据,更新预先设置的用户行为数据统计映射关系表。
2.根据权利要求1所述的方法,其中,所述用户行为数据统计映射关系表包括:用户标识信息、时间轴信息、时间轴单位信息以及用户行为数据属性信息。
3.根据权利要求2所述的方法,其中,所述用户行为数据中包含用户标识信息以及时间信息。
4.根据权利要求3所述的方法,其中,所述更新预先设置的用户行为数据统计映射关系表包括:
获取用户行为数据中携带的用户标识信息以及时间信息;
以用户标识以及时间信息为索引,索引用户行为数据统计映射关系表,判断是否索引成功;
如果索引成功,获取与用户标识以及时间信息相匹配的用户行为数据统计映射关系,对用户行为数据统计映射关系中的用户行为数据属性信息进行相应更新;
如果索引不成功,将接收的用户行为数据存储至用户行为数据统计映射关系表。
5.根据权利要求1至4任一项所述的方法,进一步包括:
将更新的用户行为数据统计映射关系表输出至网站服务器。
6.根据权利要求5所述的方法,进一步包括:
根据更新的用户行为数据统计映射关系表,按照预先设置的排序策略,对用户行为数据统计映射关系表中的用户行为数据属性信息进行排行。
7.一种用户行为数据统计系统,其特征在于,该系统包括:网站服务器、数据趋势统计服务器以及映射存储服务器,其中,
网站服务器,用于监测用户行为,按照预先设置的统计策略,将监测到的用户行为数据进行实时上报;
数据趋势统计服务器,用于接收网站服务器实时上报的用户行为数据,更新映射存储服务器中预先设置的用户行为数据统计映射关系表;
映射存储服务器,用于预先设置用户行为数据统计映射关系表,根据数据趋势统计服务器的更新,对用户行为数据统计映射关系表进行相应更新。
8.根据权利要求7所述的系统,其特征在于,所述映射存储服务器采用Redis存储服务器。
9.根据权利要求8所述的系统,其特征在于,进一步包括:
统计数据输出服务器,用于接收网站服务器输出的统计数据输出请求,根据统计数据输出请求中携带的用户标识以及时间轴信息,查询映射存储服务器,从用户行为数据统计映射关系表中获取与所述用户标识以及时间轴相匹配的用户行为数据统计值,输出至网站服务器。
10.根据权利要求7至9任一项所述的系统,其特征在于,进一步包括:
通用数据排行统计服务器,用于根据预先设置的排序策略,基于时间段的数据累加,根据接收的用户行为数据,对映射存储服务器中的用户行为数据统计映射关系表进行实时排行。
11.根据权利要求8所述的系统,其特征在于,所述统计数据输出服务器进一步用于接收网站服务器提交的排行榜分类,根据排行榜分类,从Redis排行存储服务器中,查找出相应的榜单数据,然后将查询得到的数据输出给网站服务器。
CN201210333472XA 2012-09-10 2012-09-10 统计用户行为数据的方法及用户行为数据统计系统 Pending CN102880676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210333472XA CN102880676A (zh) 2012-09-10 2012-09-10 统计用户行为数据的方法及用户行为数据统计系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210333472XA CN102880676A (zh) 2012-09-10 2012-09-10 统计用户行为数据的方法及用户行为数据统计系统

Publications (1)

Publication Number Publication Date
CN102880676A true CN102880676A (zh) 2013-01-16

Family

ID=47482002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210333472XA Pending CN102880676A (zh) 2012-09-10 2012-09-10 统计用户行为数据的方法及用户行为数据统计系统

Country Status (1)

Country Link
CN (1) CN102880676A (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236938A (zh) * 2013-03-27 2013-08-07 广东全通教育股份有限公司 一种基于缓存及异步处理技术的用户行为采集方法及系统
CN103500177A (zh) * 2013-09-06 2014-01-08 乐视致新电子科技(天津)有限公司 一种用户激活数的统计方法及装置
CN103605480A (zh) * 2013-10-29 2014-02-26 新浪网技术(中国)有限公司 Web服务器及其磁盘资源访问控制方法
CN104092556A (zh) * 2013-12-13 2014-10-08 腾讯数码(天津)有限公司 基于分布式系统的监控方法、装置及系统
CN104252458A (zh) * 2013-06-25 2014-12-31 博雅网络游戏开发(深圳)有限公司 数据分析方法和装置
CN104408188A (zh) * 2014-12-15 2015-03-11 北京国双科技有限公司 数据处理方法和装置
CN105893462A (zh) * 2016-03-20 2016-08-24 百势软件(北京)有限公司 一种用户网络行为分析方法及装置
CN106126539A (zh) * 2016-06-15 2016-11-16 百度在线网络技术(北京)有限公司 一种用户行为数据处理方法和装置
CN106202280A (zh) * 2016-06-29 2016-12-07 联想(北京)有限公司 一种信息处理方法及服务器
CN106354426A (zh) * 2016-08-18 2017-01-25 无锡天脉聚源传媒科技有限公司 一种数据处理方法及装置
CN106685680A (zh) * 2015-11-09 2017-05-17 北京国双科技有限公司 还原推介流量数据的方法和装置
CN106776935A (zh) * 2016-12-01 2017-05-31 携程旅游网络技术(上海)有限公司 一种多维综合关联数据查询方法
CN106817383A (zh) * 2015-11-27 2017-06-09 北京京东尚科信息技术有限公司 一种基于数据统计上报的访问周期管理方法及装置
CN106874316A (zh) * 2015-12-14 2017-06-20 广州爱九游信息技术有限公司 一种用户汇总数据的展示方法、装置及服务器
CN106921536A (zh) * 2015-12-25 2017-07-04 北京奇虎科技有限公司 基于客户端版本信息的数据处理方法及装置
CN103781101B (zh) * 2014-01-02 2017-07-21 浙江大学 一种蜂窝网络中基于用户行为驱动的人工频谱空洞获取方法及装置
CN107103490A (zh) * 2017-04-11 2017-08-29 华为机器有限公司 一种数据处理方法、网络服务器及终端
CN107749888A (zh) * 2017-10-30 2018-03-02 江西博瑞彤芸科技有限公司 一种用户行为数据的统计方法
CN107797907A (zh) * 2017-10-30 2018-03-13 江西博瑞彤芸科技有限公司 基于用户行为的行为数据的统计方法
CN107948738A (zh) * 2016-10-13 2018-04-20 北京国双科技有限公司 一种网络电视去重用户数的计算方法及装置
CN107948739A (zh) * 2016-10-13 2018-04-20 北京国双科技有限公司 一种网络电视去重用户数的计算方法及装置
CN108090794A (zh) * 2016-11-22 2018-05-29 阿里巴巴集团控股有限公司 一种基于动态滑动时间窗口的商品对象排序方法及装置
CN108090783A (zh) * 2016-11-23 2018-05-29 北京国双科技有限公司 一种基于网络电视的产品数据统计方法及装置
CN108153758A (zh) * 2016-12-02 2018-06-12 阿里巴巴集团控股有限公司 一种数据累计方法、装置及电子设备
CN108595530A (zh) * 2018-03-30 2018-09-28 武汉楚鼎信息技术有限公司 一种后台处理和存储用户消息的方法及系统装置
CN109766497A (zh) * 2019-01-22 2019-05-17 网易(杭州)网络有限公司 排行榜生成方法及装置、存储介质、电子设备
CN110019388A (zh) * 2017-09-30 2019-07-16 北京国双科技有限公司 账号数量统计方法及装置
CN110309141A (zh) * 2018-03-14 2019-10-08 武汉斗鱼网络科技有限公司 一种直播间数据量统计方法、存储介质、设备及系统
CN110321373A (zh) * 2019-07-12 2019-10-11 中国农业银行股份有限公司 一种查询统计方法、装置及系统
CN111967850A (zh) * 2020-08-19 2020-11-20 支付宝(杭州)信息技术有限公司 一种数据报送监测方法、装置及电子设备
CN113900920A (zh) * 2021-12-06 2022-01-07 腾讯科技(深圳)有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858685A (zh) * 2005-05-08 2006-11-08 联想(北京)有限公司 一种恢复用户操作的方法
CN101577866A (zh) * 2008-05-07 2009-11-11 中国移动通信集团公司 一种用户分类方法、广告投放方法及装置
CN102291251A (zh) * 2011-04-28 2011-12-21 大连亿创天地科技发展有限公司 一种用于互联网网站的用户状态跟踪方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858685A (zh) * 2005-05-08 2006-11-08 联想(北京)有限公司 一种恢复用户操作的方法
CN101577866A (zh) * 2008-05-07 2009-11-11 中国移动通信集团公司 一种用户分类方法、广告投放方法及装置
CN102291251A (zh) * 2011-04-28 2011-12-21 大连亿创天地科技发展有限公司 一种用于互联网网站的用户状态跟踪方法及系统

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236938A (zh) * 2013-03-27 2013-08-07 广东全通教育股份有限公司 一种基于缓存及异步处理技术的用户行为采集方法及系统
CN104252458B (zh) * 2013-06-25 2018-11-13 博雅网络游戏开发(深圳)有限公司 数据分析方法和装置
CN104252458A (zh) * 2013-06-25 2014-12-31 博雅网络游戏开发(深圳)有限公司 数据分析方法和装置
CN103500177A (zh) * 2013-09-06 2014-01-08 乐视致新电子科技(天津)有限公司 一种用户激活数的统计方法及装置
CN103605480A (zh) * 2013-10-29 2014-02-26 新浪网技术(中国)有限公司 Web服务器及其磁盘资源访问控制方法
CN103605480B (zh) * 2013-10-29 2016-08-17 新浪网技术(中国)有限公司 Web服务器及其磁盘资源访问控制方法
WO2015085963A1 (zh) * 2013-12-13 2015-06-18 腾讯科技(深圳)有限公司 基于分布式系统的监控方法、装置及系统
CN104092556A (zh) * 2013-12-13 2014-10-08 腾讯数码(天津)有限公司 基于分布式系统的监控方法、装置及系统
CN103781101B (zh) * 2014-01-02 2017-07-21 浙江大学 一种蜂窝网络中基于用户行为驱动的人工频谱空洞获取方法及装置
CN104408188A (zh) * 2014-12-15 2015-03-11 北京国双科技有限公司 数据处理方法和装置
CN104408188B (zh) * 2014-12-15 2018-07-13 北京国双科技有限公司 数据处理方法和装置
CN106685680B (zh) * 2015-11-09 2019-09-20 北京国双科技有限公司 还原推介流量数据的方法和装置
CN106685680A (zh) * 2015-11-09 2017-05-17 北京国双科技有限公司 还原推介流量数据的方法和装置
CN106817383A (zh) * 2015-11-27 2017-06-09 北京京东尚科信息技术有限公司 一种基于数据统计上报的访问周期管理方法及装置
CN106817383B (zh) * 2015-11-27 2020-09-29 北京京东尚科信息技术有限公司 一种基于数据统计上报的访问周期管理方法及装置
CN106874316A (zh) * 2015-12-14 2017-06-20 广州爱九游信息技术有限公司 一种用户汇总数据的展示方法、装置及服务器
CN106921536A (zh) * 2015-12-25 2017-07-04 北京奇虎科技有限公司 基于客户端版本信息的数据处理方法及装置
CN105893462A (zh) * 2016-03-20 2016-08-24 百势软件(北京)有限公司 一种用户网络行为分析方法及装置
CN106126539A (zh) * 2016-06-15 2016-11-16 百度在线网络技术(北京)有限公司 一种用户行为数据处理方法和装置
CN106202280A (zh) * 2016-06-29 2016-12-07 联想(北京)有限公司 一种信息处理方法及服务器
CN106354426A (zh) * 2016-08-18 2017-01-25 无锡天脉聚源传媒科技有限公司 一种数据处理方法及装置
CN107948738A (zh) * 2016-10-13 2018-04-20 北京国双科技有限公司 一种网络电视去重用户数的计算方法及装置
CN107948739A (zh) * 2016-10-13 2018-04-20 北京国双科技有限公司 一种网络电视去重用户数的计算方法及装置
CN107948738B (zh) * 2016-10-13 2020-10-20 北京国双科技有限公司 一种网络电视去重用户数的计算方法及装置
CN108090794A (zh) * 2016-11-22 2018-05-29 阿里巴巴集团控股有限公司 一种基于动态滑动时间窗口的商品对象排序方法及装置
CN108090783A (zh) * 2016-11-23 2018-05-29 北京国双科技有限公司 一种基于网络电视的产品数据统计方法及装置
CN106776935A (zh) * 2016-12-01 2017-05-31 携程旅游网络技术(上海)有限公司 一种多维综合关联数据查询方法
CN108153758A (zh) * 2016-12-02 2018-06-12 阿里巴巴集团控股有限公司 一种数据累计方法、装置及电子设备
CN107103490A (zh) * 2017-04-11 2017-08-29 华为机器有限公司 一种数据处理方法、网络服务器及终端
CN110019388A (zh) * 2017-09-30 2019-07-16 北京国双科技有限公司 账号数量统计方法及装置
CN110019388B (zh) * 2017-09-30 2021-02-26 北京国双科技有限公司 账号数量统计方法及装置
CN107797907A (zh) * 2017-10-30 2018-03-13 江西博瑞彤芸科技有限公司 基于用户行为的行为数据的统计方法
CN107749888A (zh) * 2017-10-30 2018-03-02 江西博瑞彤芸科技有限公司 一种用户行为数据的统计方法
CN110309141A (zh) * 2018-03-14 2019-10-08 武汉斗鱼网络科技有限公司 一种直播间数据量统计方法、存储介质、设备及系统
CN110309141B (zh) * 2018-03-14 2021-11-09 武汉斗鱼网络科技有限公司 一种直播间数据量统计方法、存储介质、设备及系统
CN108595530A (zh) * 2018-03-30 2018-09-28 武汉楚鼎信息技术有限公司 一种后台处理和存储用户消息的方法及系统装置
CN109766497A (zh) * 2019-01-22 2019-05-17 网易(杭州)网络有限公司 排行榜生成方法及装置、存储介质、电子设备
CN110321373A (zh) * 2019-07-12 2019-10-11 中国农业银行股份有限公司 一种查询统计方法、装置及系统
CN111967850A (zh) * 2020-08-19 2020-11-20 支付宝(杭州)信息技术有限公司 一种数据报送监测方法、装置及电子设备
CN113900920A (zh) * 2021-12-06 2022-01-07 腾讯科技(深圳)有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN102880676A (zh) 统计用户行为数据的方法及用户行为数据统计系统
US10572565B2 (en) User behavior models based on source domain
CN102769781B (zh) 推荐电视节目的方法及装置
US10754877B2 (en) System and method for providing big data analytics on dynamically-changing data models
US10216805B1 (en) Dynamically generating pre-aggregated datasets
US20200356563A1 (en) Query performance model generation and use in a hybrid multi-cloud database environment
US8249915B2 (en) Computer-implemented method and system for collaborative product evaluation
US10395271B2 (en) System and method for normalizing campaign data gathered from a plurality of advertising platforms
CN102377790B (zh) 一种推送数据的方法和装置
CN100442290C (zh) 访问标识索引系统及访问标识索引库生成方法
CN101409690A (zh) 一种互联网用户行为的获取方法和系统
CN103064933A (zh) 数据查询方法及系统
US8843436B2 (en) Systems and methods for performing direct reporting access to transaction databases
CN102955798A (zh) 一种基于搜索引擎的搜索方法及搜索服务器
CN104573065A (zh) 一种基于元数据的报表展示引擎
EP2599015A2 (en) Systems and methods for managing electronic content
CN102750334A (zh) 一种基于dm的农业信息精准推送的方法
CN102902775A (zh) 互联网实时计算的方法和系统
CN102915269A (zh) 一种b/s软件系统的通用日志分析方法
CN103309894A (zh) 基于用户属性的搜索实现方法及系统
CN105183809A (zh) 一种云平台数据查询方法
CN103970753A (zh) 关联知识的推送方法和装置
CN111488377A (zh) 数据查询方法、装置、电子设备及存储介质
CN111126852A (zh) 一种基于大数据建模的bi应用系统
CN103440302B (zh) 实时数据交换的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130116