CN110909063B - 一种用户行为的分析方法、装置、应用服务器及存储介质 - Google Patents

一种用户行为的分析方法、装置、应用服务器及存储介质 Download PDF

Info

Publication number
CN110909063B
CN110909063B CN201911212323.6A CN201911212323A CN110909063B CN 110909063 B CN110909063 B CN 110909063B CN 201911212323 A CN201911212323 A CN 201911212323A CN 110909063 B CN110909063 B CN 110909063B
Authority
CN
China
Prior art keywords
user behavior
data
behavior information
message
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911212323.6A
Other languages
English (en)
Other versions
CN110909063A (zh
Inventor
曾健豪
罗洪鹏
蒋璐
缪敏杰
黄俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bee Assistant Co ltd
Original Assignee
Bee Assistant Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bee Assistant Co ltd filed Critical Bee Assistant Co ltd
Priority to CN201911212323.6A priority Critical patent/CN110909063B/zh
Publication of CN110909063A publication Critical patent/CN110909063A/zh
Application granted granted Critical
Publication of CN110909063B publication Critical patent/CN110909063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986Document structures and storage, e.g. HTML extensions

Abstract

本发明公开了一种用户行为的分析方法、装置、应用服务器以及计算机存储介质,方法包括:通过SDK埋点方式采集用户行为信息;对用户行为消息进行数据处理,并通过消息中间件将处理后的用户行为消息写入存储至数据库中;其中,所述数据处理包括分析以及消费;将所述处理后得到的用户行为信息经ETL抽取、转换以及加载后,以获得最终持久化于数据仓库的用户行为信息;对所述数据仓库的用户行为信息进行统计与分析,以得到用户行为可视化分析表。本发明能够对用户行为信息进行有效的整合,为企业提供报表层展现与分析,从而为企业领导提供决策依据。

Description

一种用户行为的分析方法、装置、应用服务器及存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种用户行为的分析方法、装置、应用服务器及存储介质。
背景技术
在互联网迅速发展的时代,存在大量用户使用应用终端的场景,例如:浏览网页、网上购物、业务办理等。在这个“客户至上”的互联网大环境,推动公司决策其中一个很重要的因素,往往是客户。正因如此,企业更需要深入地了解客户的需求与意向,从而为客户带来更好的用户体验。通过对用户行为的数据收集、统计与分析,以获得客户互动的洞察力,提高客户忠诚度,并最终为企业获得在同行中的竞争优势。
现有的用户行为收集的技术方案,通常需要在客户端或基于浏览器的HTML页面做javascript代码埋点,发送到后端的数据收集服务器,后端通过将用户行为信息写到日志。然后通过日志之收集工具,将数据实时或批量的传输到日志收集系统,通过一定的筛选和过滤,得出有价值的数据,再将其清洗、格式化,转存到数据库中,如数据仓库或分布式存储系统。接着进行数据统计、分析与挖掘,得出最终的数据可视化的图表、报表,为企业运营提供各数据指标。但是,1、在数据收集方面,需要在代码里做数据埋点,对现有业务代码的侵入性比较高,使用方需要投入比较大的对接成本。2、通过日志收集用户行为信息,涉及到磁盘IO的性能问题,如在正常业务里面收集,可能还会影响已有业务的性能与响应效率。当遇到业务量较大或者并发的场景,情况尤为明显。
发明内容
针对上述问题,本发明的目的在于提供一种用户行为的分析方法、装置、应用服务器以及计算机存储介质,能够对用户行为信息进行有效的整合,为企业提供报表层展现与分析,从而为企业领导提供决策依据。
本发明实施例提供了一种用户行为的分析方法,包括:
通过SDK埋点方式采集用户行为信息;
对用户行为消息进行数据处理,并通过消息中间件将处理后的用户行为消息写入存储至数据库中;其中,所述数据处理包括分析以及消费;
将所述处理后得到的用户行为信息经ETL抽取、转换以及加载后,以获得最终持久化于数据仓库的用户行为信息;
对所述数据仓库的用户行为信息进行统计与分析,以得到用户行为可视化分析表。
优选地,通过SDK埋点方式采集用户行为信息,具体为:
通过SDK方式进行数据埋点;其中,数据埋点包括在用户终端进行埋点的前端埋点以及在服务器端进行埋点的后端埋点;
打开Netty框架定义的通道服务端口,以采集所述用户终端以及服务端埋点记录的用户行为信息。
优选地,对用户行为消息进行数据处理,并通过消息中间件将处理后的用户行为消息写入存储至数据库中,具体为:
将所述用户行为信息组装成消息中间件所需的消息队列,以使得所述消息队列对所述用户行为信息进行消费,以获得消费后的用户行为信息;
对消费后的用户行为信息进行分析,以得到处理后的用户行为消息,并将处理后的用户行为信息存储至数据库中。
优选地,所述消息中间件为rabbitmq。
优选地,对消费后的用户行为信息进行分析,以得到处理后的用户行为消息,并将处理后的用户行为信息存储至数据库中,具体为:
通过HTTP头部的用户代理属性,对消费后的用户行为信息进行分析以及过滤,以得到用户使用的浏览器、设备型号以及IP、用户行为的时间戳的分析后的用户行为信息;
将所述分析后的用户行为信息转换为预先设计好的数据模型,并将所述数据模型存储到数据库中。
优选地,将所述分析后的用户行为信息经ETL抽取、转换以及加载后,以获得最终持久化于数据仓库的用户行为信息,具体为:
获取预先编写的数据转换SQL语句以及数据转换后的数据仓库;
将所述分析后的用户行为信息经ETL抽取、转换以及加载后,实现数据转换以生成最终持久化于数据仓库的用户行为信息。
本发明实施例还提供了一种用户行为的分析装置,包括:
采集单元,用于通过SDK埋点方式采集用户行为信息;
数据处理单元,用于对用户行为消息进行数据处理,并通过消息中间件将处理后的用户行为消息写入存储至数据库中;其中,所述数据处理包括分析以及消费;
获取单元,用于将所述处理后得到的用户行为信息经ETL抽取、转换以及加载后,以获得最终持久化于数据仓库的用户行为信息;
统计与分析单元,用于对所述数据仓库的用户行为信息进行统计与分析,以得到用户行为可视化分析表。
优选地,采集单元,具体包括:
数据埋点模块,用于通过SDK方式进行数据埋点;其中,数据埋点包括在用户终端进行埋点的前端埋点以及在服务器端进行埋点的后端埋点;
采集模块,用于打开Netty框架定义的通道服务端口,以采集所述用户终端以及服务端埋点记录的用户行为信息。
优选地,数据处理单元,具体包括:
消费模块,用于将所述用户行为信息组装成消息中间件所需的消息队列,以使得所述消息队列对所述用户行为信息进行消费,以获得消费后的用户行为信息;
分析模块,用于对消费后的用户行为信息进行分析,以得到处理后的用户行为消息,并将处理后的用户行为信息存储至数据库中。
优选地,所述消息中间件为rabbitmq。
优选地,分析模块,具体用于:
通过HTTP头部的用户代理属性,对消费后的用户行为信息进行分析以及过滤,以得到用户使用的浏览器、设备型号以及IP、用户行为的时间戳的分析后的用户行为信息;将所述分析后的用户行为信息转换为预先设计好的数据模型,并将所述数据模型存储到数据库中。
优选地,获取单元,具体包括:
获取模块,用于获取预先编写的数据转换SQL语句以及数据转换后的数据仓库;
生成模块,用于将所述分析后的用户行为信息经ETL抽取、转换以及加载后,实现数据转换以生成最终持久化于数据仓库的用户行为信息。
本发明实施例还提供一种应用服务器,包括存储器以及处理器,所述存储器内存储有可执行代码,所述可执行代码能够被所述处理器执行,以实现如上述实施例所述的用户行为的分析方法。
本发明实施例还提供一种计算机可读存储介质,存储有可执行代码,所述可执行代码能够被其所在的设备的处理器执行,以实现如上述实施例所述的用户行为的分析方法。
1、本发明通过SDK埋点方式采集用户行为信息,支持实时单次发送以及定量的批量发送技术,可以减少发送连接的数量,提高客户端的响应时间和节约了用户流量,以减少了研发成本,提高消息发送的效率。
2、本发明使用的Netty技术框架,会比传统的WEB服务器如TOMCAT、JETTY等更高效,其非阻塞事件驱动的线程模型,能够提供高吞吐量、低延时、高可靠性的网络传输功能。
3、本发明通过消息中间件将处理后的用户行为消息写入存储至数据库中,能够对大流量的场景进行流量削峰,以降低对服务器的过高负载,以及能够最大限度地确保用户行为信息不会丢失将所述处理后得到的用户行为信息。
4、本发明对处理后的用户行为信息经ETL抽取、转换以及加载后,以获得最终持久化于数据仓库的用户行为信息,然后所述数据仓库的用户行为信息进行统计与分析,以得到用户行为可视化分析表,能够对用户行为信息进行有效的整合,为企业提供报表层展现与分析,从而为企业领导提供决策依据。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的用户行为的分析方法的流程示意图。
图2是本发明第一实施例提供的用户行为的分析方法的数据模型的示意图。
图3是本发明第一实施例提供的用户行为的分析方法的数据仓库的数据模型结构示意图。
图4是本发明第二实施例提供的用户行为的分析装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1至3,本发明第一实施例提供了一种用户行为的分析方法,其可由应用服务器来执行,特别的,由应用服务器内的一个或多个处理器来执行,并至少包括如下步骤:
S101,通过SDK埋点方式采集用户行为信息。
在本实施例中,通过SDK方式进行数据埋点,以确定原始数据的采集时机与方式(是数据收集的前置条件),如某用户在什么时间,在什么场景下的操作行为,如下表一数据埋点事件以及表二数据埋点统计表。其中,所述数据埋点包括在用户终端进行埋点的前端埋点以及在服务器端进行埋点的后端埋点,前期埋点基于浏览器展示的H5页面、APP客户端、PC客户端的埋点,如用户事件行为,界面变化等,后期埋点是基于数据层以及业务逻辑层等的数据。采用前后端共同埋点的方案,适于多维数据分析的需求场景,同时采用SDK(Software Development Kit)的方式能够减少研发成本,统一化的实现方式省去了编写代码和基础代码框架的过程,能够快速适应敏捷型业务的扩展。
在本实施例中,由于用户操作的场景千变万化,一次用户行为可能会产生一条或多条的行为数据,假设用户在某页面频繁操作,那将会产生大量高并发的数据请求,因此,可通过打开Netty框架定义的通道服务端口,以接收所述用户终端以及服务端埋点记录的用户行为信息。具体地,所述应用服务器包括数据收集模块,其作用是接收各用户终端以及服务端传输过来的用户行为消息,因此,数据收集服务器通过采用Netty框架为基础,Netty框架能通过编程自定义各种协议,能够通过codec自己来编码/解码字节流,其非阻塞事件驱动的线程模型,能够提供高吞吐量、低延时、高可靠性的网络传输功能。
表一:
Figure BDA0002294342910000061
表二:
Figure BDA0002294342910000071
S102,对用户行为信息进行数据处理,并通过消息中间件将处理后的用户行为信息写入存储至数据库中;其中,所述数据处理包括分析以及消费。
在本实施例中,考虑到用户行为信息数据量大、并发高等特性,假设数据直接落到数据库层面,因受制于磁盘IO的性能限制,将大大影响数据存储的性能,因此有必要通过消息队列对大流量的场景进行流量削峰,以降低对服务器的过高负载,又因为其能够对传输的消息提供持久化的功能,能够最大限度地确保用户行为信息不会丢失。具体地,所述应用服务器将收集的用户信息转换特定的格式,发送到消息中间件的消息队列中,即将所述用户行为信息组装成消息中间件所需的消息队列,以使得所述消息队列对所述用户行为信息进行消费,以获得消费后的用户行为信息。优选地,所述消息中间件为rabbitmq,当然,也可以是kafka等,在此,本发明不再赘述。
在本实施例中,所述数据库为分布式文件存储数据库,由于用户行为信息属于网络实时数据,所述分布式文件存储数据库拥有持久化缓存层,因此非常适合数据的实时插入、更新与查询,也易于扩展,则实现数据存储前需要首先设计好数据模型(如图2),因此,需要消费后的用户行为信息进行分析与过滤,然后转换成设计好的数据模型,并存储到分布式文件存储数据库,即对消费后的用户行为信息进行分析,以得到处理后的用户行为消息,然后将处理后的用户行为信息存储至分布式文件存储数据库中。例如,通过HTTP头部的用户代理(userAgent)属性,可以分析出用户使用的浏览器、手机型号、IP地址等信息,而通过对IP的分析能够获得终端的网络运营商以及所处的位置。另外还能通过约定的参数格式,得到用户的行为事件,如点击了某个广告、选择了某个商品或支付方式等。
需要说明的是,用户行为信息除了可以存储在分布式文件存储数据库等内存数据库以外,还可以通过Flume-一个高可用、高可靠的分布式海量日志采集、聚合和传输的系统,将数据按照一定的日志格式写入日志文件中,在此,本发明不做具体限制,为了便于说明,以下以数据库为分布式文件存储数据库为例进行说明。
S103,将所述处理后得到的用户行为信息经ETL抽取、转换以及加载后,以获得最终持久化于数据仓库的用户行为信息。
在本实施例中,使用Kettle开源工具来管理来自分布式文件存储数据库的数据。首先设置好数据源以及各个表的输入,编写好适合的数据转换SQL语句,最后设置好数据转换后的输出-数据仓库,即可实现数据的自动转换,具体地,获取预先编写的数据转换SQL语句以及数据转换后的数据仓库;将所述分析后的用户行为信息经ETL抽取、转换以及加载后,实现数据转换以生成最终持久化于数据仓库的用户行为信息。由于使用了分布式文件存储数据库做数据存储的载体,受制于服务器的内存限制,数据不能一直占用着内存而不释放,因此,本发明使用Kettle工具对数据输出到数据仓库后,便清除当天存储在分布式文件存储数据库的内存数据,数据将最终持久化于数据仓库。
其中,本发明可以使用GreenPlum作为数据仓库,它能支持TB到PB级别的海量数据存储和处理,能够将不同源系统的数据集中存放,其线性扩展能够为数据分析系统的拓展带来技术上的保障,高效的查询速率确保了数据分析能够快速顺利地推展,如图3所示的存储在数据仓库的数据模型,当然,需要说明的是,也可以采用hive作为数据仓库,在此本发明不做具体限制。
S104,对所述数据仓库的用户行为信息进行统计与分析,以得到用户行为可视化分析表。
在本实施例中,可使用FindBI产品对数据仓库的数据进行统计与分析,得出最终的报表与图表,为企业制定策划提供依据。
综上,1、本发明通过SDK埋点方式采集用户行为信息,支持实时单次发送以及定量的批量发送技术,可以减少发送连接的数量,提高客户端的响应时间和节约了用户流量,以减少了研发成本,提高消息发送的效率。2、本发明使用的Netty技术框架,会比传统的WEB服务器如TOMCAT、JETTY等更高效,其非阻塞事件驱动的线程模型,能够提供高吞吐量、低延时、高可靠性的网络传输功能。3、本发明通过消息中间件将处理后的用户行为消息写入存储至数据库中,能够对大流量的场景进行流量削峰,以降低对服务器的过高负载,以及能够最大限度地确保用户行为信息不会丢失将所述处理后得到的用户行为信息。4、本发明对处理后的用户行为信息经ETL抽取、转换以及加载后,以获得最终持久化于数据仓库的用户行为信息,然后所述数据仓库的用户行为信息进行统计与分析,以得到用户行为可视化分析表,能够对用户行为信息进行有效的整合,为企业提供报表层展现与分析,从而为企业领导提供决策依据。
参见图4,本发明第二实施例还提供了一种用户行为的分析装置,包括:
采集单元100,用于通过SDK埋点方式采集用户行为信息;
数据处理单元200,用于对用户行为消息进行数据处理,并通过消息中间件将处理后的用户行为消息写入存储至数据库中;其中,所述数据处理包括分析以及消费;
获取单元300,用于将所述处理后得到的用户行为信息经ETL抽取、转换以及加载后,以获得最终持久化于数据仓库的用户行为信息;
统计与分析单元400,用于对所述数据仓库的用户行为信息进行统计与分析,以得到用户行为可视化分析表。
优选地,采集单元100,具体包括:
数据埋点模块,用于通过SDK方式进行数据埋点;其中,数据埋点包括在用户终端进行埋点的前端埋点以及在服务器端进行埋点的后端埋点;
采集模块,用于打开Netty框架定义的通道服务端口,以采集所述用户终端以及服务端埋点记录的用户行为信息。
优选地,数据处理单元200,具体包括:
消费模块,用于将所述用户行为信息组装成消息中间件所需的消息队列,以使得所述消息队列对所述用户行为信息进行消费,以获得消费后的用户行为信息;
分析模块,用于对消费后的用户行为信息进行分析,以得到处理后的用户行为消息,并将处理后的用户行为信息存储至数据库中。
优选地,所述消息中间件为rabbitmq。
优选地,分析模块,具体用于:
通过HTTP头部的用户代理属性,对消费后的用户行为信息进行分析以及过滤,以得到用户使用的浏览器、设备型号以及IP、用户行为的时间戳的分析后的用户行为信息;将所述分析后的用户行为信息转换为预先设计好的数据模型,并将所述数据模型存储到数据库中。
优选地,获取单元300,具体包括:
获取模块,用于获取预先编写的数据转换SQL语句以及数据转换后的数据仓库;
生成模块,用于将所述分析后的用户行为信息经ETL抽取、转换以及加载后,实现数据转换以生成最终持久化于数据仓库的用户行为信息。
本发明第三实施例还提供一种应用服务器,包括存储器以及处理器,所述存储器内存储有可执行代码,所述可执行代码能够被所述处理器执行,以实现如上述实施例所述的用户行为的分析方法。
本发明第四实施例还提供一种计算机可读存储介质,存储有可执行代码,所述可执行代码能够被其所在的设备的处理器执行,以实现如上述实施例所述的用户行为的分析方法。
需要说明的是,上述实施例中,各个服务器可以通过执行计算机程序来实现相应的功能,所述计算机程序可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所需的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,各个服务器集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一个计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种用户行为的分析方法,其特征在于,包括:
通过SDK埋点方式采集用户行为信息;具体为:通过SDK方式进行数据埋点;其中,数据埋点包括在用户终端进行埋点的前端埋点以及在服务器端进行埋点的后端埋点;打开Netty框架定义的通道服务端口,以采集所述用户终端以及服务端埋点记录的用户行为信息;通过定量的批量发送技术发送所述用户行为信息;
对用户行为消息进行数据处理,并通过消息中间件将处理后的用户行为消息写入存储至数据库中;其中,所述数据处理包括分析以及消费;
将所述处理后得到的用户行为信息经ETL抽取、转换以及加载后,以获得最终持久化于数据仓库的用户行为信息;其中,使用Kettle开源工具来管理来自分布式文件存储数据库的数据;首先设置好数据源以及各个表的输入,编写好适合的数据转换SQL语句,最后设置好数据转换后的输出数据仓库,即实现数据的自动转换,具体地,获取预先编写的数据转换SQL语句以及数据转换后的数据仓库;将所述分析后的用户行为信息经ETL抽取、转换以及加载后,实现数据转换以生成最终持久化于数据仓库的用户行为信息;其中,使用Kettle工具对数据输出到数据仓库后,便清除当天存储在分布式文件存储数据库的内存数据,数据将最终持久化于数据仓库;
对所述数据仓库的用户行为信息进行统计与分析,以得到用户行为可视化分析表。
2.根据权利要求1所述的用户行为的分析方法,其特征在于,对用户行为消息进行数据处理,并通过消息中间件将处理后的用户行为消息写入存储至数据库中,具体为:
将所述用户行为信息组装成消息中间件所需的消息队列,以使得所述消息队列对所述用户行为信息进行消费,以获得消费后的用户行为信息;
对消费后的用户行为信息进行分析,以得到处理后的用户行为消息,并将处理后的用户行为信息存储至数据库中。
3.根据权利要求2所述的用户行为的分析方法,其特征在于,所述消息中间件为rabbitmq。
4.根据权利要求2所述的用户行为的分析方法,其特征在于,对消费后的用户行为信息进行分析,以得到处理后的用户行为消息,并将处理后的用户行为信息存储至数据库中,具体为:
通过HTTP头部的用户代理属性,对消费后的用户行为信息进行分析以及过滤,以得到用户使用的浏览器、设备型号以及IP、用户行为的时间戳的分析后的用户行为信息;
将所述分析后的用户行为信息转换为预先设计好的数据模型,并将所述数据模型存储到数据库中。
5.一种用户行为的分析装置,其特征在于,包括:
采集单元,用于通过SDK埋点方式采集用户行为信息;其中,所述采集单元,具体包括:数据埋点模块,用于通过SDK方式进行数据埋点;其中,数据埋点包括在用户终端进行埋点的前端埋点以及在服务器端进行埋点的后端埋点;采集模块,用于打开Netty框架定义的通道服务端口,以采集所述用户终端以及服务端埋点记录的用户行为信息;且通过定量的批量发送技术发送所述用户行为信息;
数据处理单元,用于对用户行为消息进行数据处理,并通过消息中间件将处理后的用户行为消息写入存储至数据库中;其中,所述数据处理包括分析以及消费;
获取单元,用于将所述处理后得到的用户行为信息经ETL抽取、转换以及加载后,以获得最终持久化于数据仓库的用户行为信息;其中,使用Kettle开源工具来管理来自分布式文件存储数据库的数据;首先设置好数据源以及各个表的输入,编写好适合的数据转换SQL语句,最后设置好数据转换后的输出数据仓库,即实现数据的自动转换,具体地,获取预先编写的数据转换SQL语句以及数据转换后的数据仓库;将所述分析后的用户行为信息经ETL抽取、转换以及加载后,实现数据转换以生成最终持久化于数据仓库的用户行为信息;其中,使用Kettle工具对数据输出到数据仓库后,便清除当天存储在分布式文件存储数据库的内存数据,数据将最终持久化于数据仓库;
统计与分析单元,用于对所述数据仓库的用户行为信息进行统计与分析,以得到用户行为可视化分析表。
6.一种应用服务器,其特征在于,包括存储器以及处理器,所述存储器内存储有可执行代码,所述可执行代码能够被所述处理器执行,以实现如权利要求1至4任意一项所述的用户行为的分析方法。
7.一种计算机可读存储介质,其特征在于,存储有可执行代码,所述可执行代码能够被其所在的设备的处理器执行,以实现如权利要求1至4任意一项所述的用户行为的分析方法。
CN201911212323.6A 2019-11-28 2019-11-28 一种用户行为的分析方法、装置、应用服务器及存储介质 Active CN110909063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911212323.6A CN110909063B (zh) 2019-11-28 2019-11-28 一种用户行为的分析方法、装置、应用服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911212323.6A CN110909063B (zh) 2019-11-28 2019-11-28 一种用户行为的分析方法、装置、应用服务器及存储介质

Publications (2)

Publication Number Publication Date
CN110909063A CN110909063A (zh) 2020-03-24
CN110909063B true CN110909063B (zh) 2020-11-17

Family

ID=69821090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911212323.6A Active CN110909063B (zh) 2019-11-28 2019-11-28 一种用户行为的分析方法、装置、应用服务器及存储介质

Country Status (1)

Country Link
CN (1) CN110909063B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694874A (zh) * 2020-06-17 2020-09-22 科技谷(厦门)信息技术有限公司 一种基于大数据平台的用户行为分析系统
CN111708749B (zh) * 2020-07-24 2021-01-12 深圳市富之富信息科技有限公司 操作日志记录方法、装置、计算机设备及存储介质
CN111966508A (zh) * 2020-07-29 2020-11-20 广州海鹚网络科技有限公司 一种消息的批量发送方法、装置、计算机设备和存储介质
CN112035277A (zh) * 2020-08-14 2020-12-04 深圳市亿源通供应链管理有限公司 基于跨境电商平台的邮件处理方法、装置、设备及介质
CN112202761B (zh) * 2020-09-28 2024-02-09 三一智矿科技有限公司 一种叉车定位监控系统
CN112422445A (zh) * 2020-10-10 2021-02-26 四川新网银行股份有限公司 一种基于Kafka的埋点数据实时采集计算和存储的方法
CN112416974A (zh) * 2020-11-05 2021-02-26 上海幻电信息科技有限公司 一种数据处理方法、装置、设备及可读存储介质
CN112418941A (zh) * 2020-11-26 2021-02-26 欧冶云商股份有限公司 一种基于实时流的资源人气计算方法、系统及存储介质
CN112579412A (zh) * 2020-12-10 2021-03-30 上海艾融软件股份有限公司 一种用户行为采集方法、装置、系统与介质
CN112835969A (zh) * 2021-02-09 2021-05-25 浪潮云信息技术股份公司 一种对etl流转数据进行统计分析的方法
CN113282651A (zh) * 2021-04-25 2021-08-20 青岛海尔科技有限公司 数据处理方法及装置、存储介质及电子装置
CN113420099B (zh) * 2021-07-06 2022-11-04 广州方硅信息技术有限公司 埋点数据访问控制方法、装置以及计算机设备、存储介质
CN113779063A (zh) * 2021-08-03 2021-12-10 广州心娱网络科技有限公司 报表数据的处理、显示方法、系统、装置及存储介质
CN113486123B (zh) * 2021-09-08 2022-02-25 深圳高灯计算机科技有限公司 行为数据同步方法、装置、计算机设备和存储介质
CN116112579A (zh) * 2023-01-30 2023-05-12 中国联合网络通信集团有限公司 消息中间件生态兼容方法、装置、系统及可读存储介质
CN116521379A (zh) * 2023-07-04 2023-08-01 摩尔线程智能科技(北京)有限责任公司 一种gpu数据分析系统、电子设备和存储介质
CN117591381B (zh) * 2024-01-18 2024-04-09 南京研利科技有限公司 数据上报方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10061807B2 (en) * 2012-05-18 2018-08-28 Splunk Inc. Collection query driven generation of inverted index for raw machine data
CN102946319B (zh) * 2012-09-29 2015-12-16 焦点科技股份有限公司 网络用户行为信息分析系统及其分析方法
US9971794B2 (en) * 2014-07-08 2018-05-15 Sap Se Converting data objects from multi- to single-source database environment
CN105337941B (zh) * 2014-08-04 2019-01-15 阿里巴巴集团控股有限公司 一种设备标识提供方法及装置
CN106156212A (zh) * 2015-04-22 2016-11-23 阿里巴巴集团控股有限公司 一种数据采集方法和系统、及其终端和服务器
CN105610926B (zh) * 2015-12-22 2019-01-11 广州品唯软件有限公司 消息传递方法、系统和消息中间件系统
CN106408181A (zh) * 2016-09-09 2017-02-15 广州速鸿信息科技有限公司 一种基于大数据分析的智慧门店系统和方法
CN106934023A (zh) * 2017-03-13 2017-07-07 山东浪潮云服务信息科技有限公司 一种数据管理方法及装置
CN109960621A (zh) * 2017-12-22 2019-07-02 南京欣网互联网络科技有限公司 一种基于大数据可视化监控平台的数据抽取方法
CN109450983A (zh) * 2018-10-16 2019-03-08 北京趣拿软件科技有限公司 信息的处理方法和装置
CN109753531A (zh) * 2018-12-26 2019-05-14 深圳市麦谷科技有限公司 一种大数据统计方法、系统、计算机设备及存储介质
CN110489699B (zh) * 2019-08-16 2022-09-13 云帐房网络科技有限公司 一种异步数据采集方法及系统

Also Published As

Publication number Publication date
CN110909063A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110909063B (zh) 一种用户行为的分析方法、装置、应用服务器及存储介质
CN109271411B (zh) 报表生成方法、装置、计算机设备及存储介质
CN108920659B (zh) 数据处理系统及其数据处理方法、计算机可读存储介质
CN108847977B (zh) 一种业务数据的监控方法、存储介质和服务器
CN110362544B (zh) 日志处理系统、日志处理方法、终端及存储介质
CN111597257A (zh) 数据库的同步方法、装置、存储介质及终端
CN110347716B (zh) 日志数据处理方法、装置、终端设备及存储介质
CN103838867A (zh) 日志处理方法和装置
CN110675194A (zh) 一种漏斗分析方法、装置、设备及可读介质
CN112506743A (zh) 一种日志监控方法、装置和服务器
CN110798567A (zh) 短信分类显示方法及装置、存储介质、电子设备
CN110704484A (zh) 一种对海量实时数据流进行处理的方法及系统
CN105872731A (zh) 数据处理的方法和装置
CN114125015A (zh) 一种数据采集方法及系统
CN112764795B (zh) 一种面向服务的跨平台跨终端信息发布系统和方法
CN113934733A (zh) 问题定位方法、装置、系统、存储介质及电子设备
CN113468196A (zh) 用于处理数据的方法、装置、系统、服务器和介质
US9098863B2 (en) Compressed analytics data for multiple recurring time periods
CN116881277A (zh) 数据聚合方法、设备及计算机可读介质
CN114168624B (zh) 数据分析方法、计算设备及存储介质
US20230342369A1 (en) Data processing method and apparatus, and electronic device and storage medium
CN113360558A (zh) 数据处理方法、数据处理装置、电子设备及存储介质
CN111045983A (zh) 核电站电子文件管理方法、装置、终端设备及介质
CN116610531B (zh) 基于代码探针采集数据埋点及请求图片上传数据的方法
CN115268934A (zh) 一种基于Flink实现Binlog到Doris的实时采集方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An analysis method, device, application server and storage medium of user behavior

Effective date of registration: 20220406

Granted publication date: 20201117

Pledgee: Shanghai Pudong Development Bank Limited by Share Ltd. Guangzhou branch

Pledgor: Bee Assistant Co.,Ltd.

Registration number: Y2022440000064

PE01 Entry into force of the registration of the contract for pledge of patent right