操作行为数据的处理方法及装置
技术领域
本发明涉及信息处理技术领域,特别是涉及操作行为数据的处理方法、装置、存储介质及计算机设备。
背景技术
短信公众号系统中,通常会以活动页面的形式活跃在PC端或移动端,搭建人与人之间的信息传递平台。然而,用户操作行为数据的体现形式多种多样,却存在误操作,或者用户基于不同客户端的操作信息可能不同,导致传统的用户操作行为数据检测方法难以有效筛选出需要存储分析的有效数据,最终得到的操作行为数据存在数据不完整的缺陷。
发明内容
基于此,本发明提供了操作行为数据的处理方法及装置,自动采集并筛选出有效的操作行为数据。
本发明方案包括:
一种操作行为数据的处理方法,包括:
检测待采集队列,获取客户端的实时操作行为数据,所述待采集队列中按照时间顺序记录有用户基于客户端的操作信息;
根据客户端的历史操作数据确定当前过滤规则;
根据当前过滤规则对所述实时操作行为数据进行过滤,过滤掉无需存储的实时操作行为数据,得到过滤后的实时操作行为数据;
存储所述过滤后的实时操作行为数据。
一种操作行为数据的处理装置,包括:
数据获取模块,用于检测待采集队列,获取客户端的实时操作行为数据,所述待采集队列中按照时间顺序记录有用户基于客户端的操作信息;
规则确定模块,用于根据客户端的历史操作数据确定当前过滤规则;
数据提取模块,用于根据当前过滤规则对所述实时操作行为数据进行过滤,过滤掉无需存储的实时操作行为数据,得到过滤后的实时操作行为数据;
以及,存储模块,存储所述过滤后的实时操作行为数据。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述所述方法的步骤。
上述技术方案,检测待采集队列,获取客户端的实时操作行为数据,所述待采集队列中按照时间顺序记录有用户基于客户端的操作信息;根据客户端的历史操作数据确定当前过滤规则;根据当前过滤规则对所述实时操作行为数据进行过滤,过滤掉无需存储的实时操作行为数据,得到过滤后的实时操作行为数据;存储所述过滤后的实时操作行为数据。由此自动采集并筛选出有效的操作行为数据。
附图说明
图1为一实施例的操作行为数据的处理方法的示意性流程图;
图2为另一实施例的操作行为数据的处理方法的示意性流程图;
图3为一具体应用场景下的操作行为数据的处理方法的示意性流程图;
图4为一实施例的操作行为数据的处理装置的示意性结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明中的步骤虽然用标号进行了排列,但并不用于限定步骤的先后次序,除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础,否则步骤的相对次序是可以调整的。
图1为一实施例的操作行为数据的处理方法的示意性流程图;在该实施例中,是以该方法应用于业务系统服务器为例进行说明。
如图1所示,本实施例中的操作行为数据的处理方法包括步骤:
S11,检测待采集队列,获取客户端的实时操作行为数据,所述待采集队列中按照时间顺序记录有用户基于客户端的操作信息。
在一实施例中,所述操作行为数据的处理方法还包括预先建立待采集队列的步骤,该待采集队列用于按照时间顺序记录客户端的全部操作行为数据。可以理解的,所述待采集队列可以设置在客户端,例如电脑或者手机等智能终端,以记录本客户端的用户操作行为数据;业务系统服务器通过访问各客户端的所述待采集队列获取各客户端的实时操作行为数据。当然,也可以将所述待采集队列可以设置在服务器端,通过服务器端的待采集队列同一收集若干客户端的实时操作行为数据,并对收集到的数据进行以下步骤的处理。
可以理解的,不同的业务系统可能包含不同的操作行为数据,包括但不限于发表评论、分享/转载、留言等操作行为数据。
S12,根据客户端的历史操作数据确定当前过滤规则。
本步骤中,确定的过滤规则主要用于从获取到的客户端的实时操作行为数据中筛选出无效的操作数据,这部分操作数据被视为无需做进一步的数据分析或者无需进行存储备份的数据。
在一实施例中,所述操作行为数据的处理方法还包括,建立历史数据库,并存储客户端的有效操作数据到历史数据库的步骤。
S13,根据当前过滤规则对所述实时操作行为数据进行过滤,过滤掉无需存储的实时操作行为数据,得到过滤后的实时操作行为数据。
可以理解的,该历史数据库根据获取客户端的实时操作行为数据进行实时更新。例如,在一实施例中,将过滤后的实时操作行为数据存储到所述历史数据库中,以对上述历史数据库进行更新。
S14,存储所述过滤后的实时操作行为数据。
在一实施例中,本步骤中将所述过滤后的实时操作行为数据先存储到本地,之后再通过鉴权、加密和/或脱敏等处理后再传到云端系统进行存储,以保证数据存储和传输的安全性。
上述实施例的操作行为数据的处理方法,通过检测预先建立的待采集队列,获取客户端的实时操作行为数据,所述待采集队列中按照时间顺序记录有用户基于客户端的操作信息;根据客户端的历史操作数据确定当前过滤规则;根据当前过滤规则对所述实时操作行为数据进行过滤,过滤掉无需存储的实时操作行为数据,得到过滤后的实时操作行为数据;存储所述过滤后的实时操作行为数据。
图2为另一实施例的操作行为数据的处理方法的示意性流程图,在该实施例中,待采集队列设置在客户端,用户在网页/活动页面上进行操作后,前端采集客户端的操作信息,存储到待采集队列中。
业务系统服务器通过访问上述待采集队列,获取客户端的实时操作行为数据。
下载用户实时操作行为数据。可选地,业务系统服务器在检测待采集队列,获取客户端的实时操作行为数据之后,将从所述待采集队列中删除对应的实时操作行为数据,以防止所述待采集队列溢出,同时也保证所述待采集队列中的数据均为业务系统服务器为进行筛选和整理的数据。
在已下载的实时操作行为数据中根据相关的过滤规则提取相关信息进行存储。
具体地,业务系统服务器在获取客户端的实时操作行为数据之后,还会获取客户端的网络地址(例如IP),所述待采集队列中还记录有客户端的网络地址;然后根据网络地址查询业务系统服务器本地的历史数据库,得到所述客户端对应的历史操作数据,确定客户端无效的实时操作行为数据,以此建立所述客户端的当前过滤规则;然后根据所述客户端的当前过滤规则,从所述客户端的实时操作行为数据中剔除无效的实时操作行为数据,过滤掉不需存储的实时操作行为数据。
可选地,业务系统服务器获取所述客户端的网络地址之后,如果确认本地的历史数据库中没有与所述网络地址对应的数据记录,则新建一个与所述网络地址对应的数据记录,以存储所述网络地址相关的客户端实时操作行为数据。
进一步地,业务系统服务器对过滤后的实时操作行为数据进行加密,并按照网络地址将加密后的实时操作行为数据存储到对应的数据记录下。即对过滤得到的客户端的实时操作行为数据按照网络地址进行存储。
在一实施例中,业务系统服务器根据当前过滤规则对所述实时操作行为数据进行过滤之后,还将过滤后的实时操作行为数据存储到历史数据库中(即图2所示的“数据库存储”),同时将过滤前的实时操作行为数据进行缓存,形成缓存数据(即对本次参与过滤的实时操作行为数据全部进行缓存)。若确定当前过滤规则有改变时,根据变化后的过滤规则对缓存数据重新进行过滤。即将过已经参与过滤的实时操作行为数据重新抽取出来进行过滤,以对后期过滤规则变更实行自适应调整,如果过滤规则发生变化则从缓存中调出行为数据继续筛选。在以上基础上循环筛选客户端的实时操作行为数据,直到过滤规则变更前再没有行为数据在缓存中。可选地,如图2所示,将本次参与过滤的实时操作行为数据缓存到已采集队列中,当过滤规则有改变时,由于未采集队列中已经不包含本次参与过滤的实时操作行为数据,因此可能导致实际提取的数据并非需要关注的数据,本实施例可以从所述已采集队列中抽取出数据进行过滤,有效解决了这一问题。
在一实施例中,业务系统服务器检测待采集队列,先获取待采集队列中实时操作行为数据对应的用户账号信息,根据用户账号信息确定用户价值优先级;所述待采集队列中还记录有各操作行为数据对应的用户账号信息。若用户价值优先级大于预置优先级,才获取待采集队列中所述用户账号信息对应的实时操作行为数据。即将价值用户较高的客户端网站行为数据进行优先采集并分析,对于用户价值优先级较低的操作数据,可以不作进一步的关注,以此减轻业务系统服务器的负担,同时有利于提高对用户价值优先级较高用户的有效关注。
在一实施例中,业务系统服务器获取客户端的实时操作行为数据之后,还包括:根据预设的操作行为优先级对实时操作行为数据进行分类,同一类操作数据的优先级相同。例如设置发表评论的优先级高于分享链接的操作数据的优先级,操作行为数据的优先级的设定可根据不同的业务系统,例如可以将客户端的全部操作行为数据划分为5个优先级,1级优先级最低,5级优先级最高。即将及时性要求相对高的客户端网站行为数据进行优先采集并分析。
进一步地,根据客户端的历史操作数据确定当前过滤规则,以及根据当前过滤规则对所述实时操作行为数据进行过滤,过滤掉无需存储的实时操作行为数据,具体实施方式可包括:根据历史操作数据依次确定各类操作数据的当前过滤规则,按照优先级从高到低的顺序,根据各类操作数据的当前过滤规则对各类实时操作行为数据进行过滤。即对于获取到的实时操作行为数据,先处理优先级高的实时操作行为数据,再处理优先级较低的实时操作行为数据。
在另一实施例中,根据历史操作数据依次确定各类操作数据的当前过滤规则之前,还包括:检测出待采集队列中的实时操作行为数据的数量大于设定的数据阈值,或检测出服务器当前的系统资源占用率大于设定的占用率阈值,确定当前的处理优先级,选出优先级在处理优先级以上的类。根据历史操作数据依次确定各类操作数据的当前过滤规则,包括:对所述优先级在处理优先级以上的类,根据历史操作数据依次确定各类操作数据的当前过滤规则。例如,当服务器当前的系统资源占用率大于80%时,只处理优先级为5级的类。
参考图3所示,在一实施例中,可将所述过滤后的实时操作行为数据存储到本地的已采集队列中;之后还可将所述已采集队列中存储的数据通过鉴权、加密和/或脱敏处理后再传到云端系统。采用混合云保障业务系统私有化数据在本地,通过部署本地化系统服务器对企业私有化数据进行鉴权、加密、脱敏的方式再传到云端系统,达到企业数据私有化安全并且高可用的效果。
可以理解的,也可以将数据筛选的执行过程在云端实现,即系统服务器检测待采集队列,获取客户端的实时操作行为数据之后,通过鉴权、加密、脱敏的方式将私有数据传到云端系统,由云端系统对数据进行有效性筛选需要的数据,然后通过安全加密传输的方式再回传到本地系统服务器,该方式可提高数据有效性筛选的效率。
上述实施例的操作行为数据的处理方法,在实现客户端的实时操作行为数据自动化采集基础上,按对应的过滤规则,快速收集并存储客户端行为数据,并可以随过滤规则的变化进行自适应调整存储的客户端行为数据;此外,还解决了用户行为数据存储安全问题。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的操作行为数据的处理方法相同的思想,本发明还提供操作行为数据的处理装置,该装置可用于执行上述操作行为数据的处理方法。为了便于说明,操作行为数据的处理装置实施例的结构示意图中,仅仅示出了与本发明实施例相关的部分,本领域技术人员可以理解,图示结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
图4为本发明一实施例的操作行为数据的处理装置的示意性结构图,该装置可以应用于业务系统服务器,操作行为数据的处理装置包括如下程序模块:
数据获取模块410,用于检测待采集队列,获取客户端的实时操作行为数据,所述待采集队列中按照时间顺序记录有用户基于客户端的操作信息;
规则确定模块420,用于根据客户端的历史操作数据确定当前过滤规则;
数据提取模块430,用于根据当前过滤规则对所述实时操作行为数据进行过滤,过滤掉无需存储的实时操作行为数据,得到过滤后的实时操作行为数据;
以及,存储模块440,存储所述过滤后的实时操作行为数据。
上述各程序模块实现各自对应的功能的具体实施方式,可参照上述操作行为数据的处理方法的实施例。
上述示例的操作行为数据的处理装置,在实现客户端的实时操作行为数据自动化采集基础上,按对应的过滤规则,快速收集并存储客户端行为数据,并可以随过滤规则的变化进行自适应调整存储的客户端行为数据;此外,还解决了用户行为数据存储安全问题。
需要说明的是,上述示例的操作行为数据的处理装置的实施方式中,各模块之间的信息交互、执行过程等内容,由于与本发明前述方法实施例基于同一构思,其带来的技术效果与本发明前述方法实施例相同,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
此外,上述示例的操作行为数据的处理装置的实施方式中,各程序模块的逻辑划分仅是举例说明,实际应用中可以根据需要,例如出于相应硬件的配置要求或者软件的实现的便利考虑,将上述功能分配由不同的程序模块完成,即将所述操作行为数据的处理装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,作为独立的产品销售或使用。所述程序在执行时,可执行如上述各方法的实施例的全部或部分步骤。此外,所述存储介质还可设置于一种计算机设备中,所述计算机设备中还包括处理器,所述处理器执行所述存储介质中的程序时,能够实现上述各方法的实施例的全部或部分步骤。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。可以理解,其中所使用的术语“第一”、“第二”等在本文中用于区分对象,但这些对象不受这些术语限制。
以上所述实施例仅表达了本发明的几种实施方式,不能理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。