CN105426478A - 用户行为分析的方法 - Google Patents

用户行为分析的方法 Download PDF

Info

Publication number
CN105426478A
CN105426478A CN201510797227.8A CN201510797227A CN105426478A CN 105426478 A CN105426478 A CN 105426478A CN 201510797227 A CN201510797227 A CN 201510797227A CN 105426478 A CN105426478 A CN 105426478A
Authority
CN
China
Prior art keywords
data
user
user behavior
behavior analysis
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510797227.8A
Other languages
English (en)
Inventor
滕娜娜
杜科
唐军
梁敏
罗弦
漆尧
唐永瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201510797227.8A priority Critical patent/CN105426478A/zh
Publication of CN105426478A publication Critical patent/CN105426478A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及信息技术领域，提供一种用户行为分析的方法，获取用户行为数据，并对用户进行分析，将分析结果展示给商家。本方法包括：采集用户的行为数据，并上传给数据处理系统；数据处理系统对上传的行为数据进行处理；周期性地从数据处理系统中抽取数据，并存储到数据仓库系统；依据数据仓库系统中的存储数据确定用户的行为分析维度，并依据所述行为分析维度在数据库管理系统中建立数据库模型；从数据仓库系统中抽取出目标数据，对目标数据进行清洗和转换，将清洗和转换后的数据进行汇总分析，并将汇总分析后的结果数据加载到数据库管理系统的对应数据表中；将所述结果数据进行各类图形展示。发明适用于智能电视。

Description

用户行为分析的方法
技术领域
本发明涉及信息技术，特别涉及用户行为分析的方法。
背景技术
用户行为分析在电子商务、智能营销等领域广泛应用，是收集用户的控制动作信息，分析用户在使用资源时表现出来的规律、个性化的习惯，并生成用户偏好信息。
智能电视的问世，改变了用户观看电视节目的传统，实现让用户通过移动端(手机、平板等)观看电视的功能。大数据对用户使用移动端产生的行为属性进行了采集和存储，利用大数据对用户行为进行分析，提取用户兴趣，了解其特点，一方面可以进行用户个性化定制和推送，另一方面可以优化完善移动端APP界面组织，提升界面交互能力，使用户操作更加简洁。
发明内容
本发明要解决的技术问题是：提供一种用户行为分析的方法，获取用户行为数据，并对用户进行分析，将分析结果展示给商家。
为解决上述问题，本发明采用的技术方案是：用户行为分析的方法，包括如下步骤：
a.采集用户的行为数据，并上传给数据处理系统；
b.数据处理系统对上传的行为数据进行处理；
c.周期性地从数据处理系统中抽取数据，并存储到数据仓库系统；
d.依据数据仓库系统中的存储数据确定用户的行为分析维度，并依据所述行为分析维度在数据库管理系统中建立数据库模型；
e.从数据仓库系统中抽取出目标数据，对目标数据进行清洗和转换，将清洗和转换后的数据进行汇总分析，并将汇总分析后的结果数据加载到数据库管理系统的对应数据表中；
f.将所述结果数据进行各类图形展示。
进一步的，步骤a中所述行为数据包括用户点播的内容及格式。
进一步的，步骤a中的行为数据以json格式上传给数据处理系统。
进一步的，步骤d中数据仓库系统的存储数据包括节目类型、节目名称、观看记录数、观看人数。
进一步的，在进行抽取目标数据时，以数据上报到的时间作为分区字段抽取数据。
进一步的，步骤e中的清洗指：剔除不完整的数据、卖场机以及测试机上报的干扰数据。
本发明的有益效果是：通过定期获取用户行为，经过清洗、转换、汇总分析后，最终按照预先定义好的数据库模型把汇总分析好的结果数据加载到对应表中去，商家能够有效精准的用户推送，优化移动端APP界面组织，提升用户体验，增加移动端APP及电视的使用量。
附图说明
图1为实施例方法的流程图
具体实施方式
下面结合附图和实施例对本发明进一步说明。
用户在点播过程中，行为数据量大，且用户喜好电视节目具有近期有效性，如一部电影，从上映到后续一段时间内受到用户关注度较大，我们在分析这类数据的时候不需要全量扫描所有行为数据，因此数据仓库系统可以选用hive。hive是一种基于Hadoop的数据仓库系统，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，同时hive的分区存储机制大大节省数据扫描分析时间。
本发明选用kafka对行为数据进行处理，kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有如下特性：i.通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能；ii.高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息；iii.支持通过kafka服务器和消费机集群来分区消息；iv.支持Hadoop并行数据加载。
数据库管理系统选用mysql，mysql具有用于存储不同数据的数据表，不同数据的数据表可以方便的存储不同数据，且还兼具体积小、速度快、总体拥有成本低、开放源码的特点。
如图1所示，本发明具体实现步骤如下：
1.采集用户点播的内容、格式等行为数据，并将行为数据以以json格式上传给kafka。其中，行为数据以json格式传送到kafka进行处理，json作为一种轻量级的数据格式，具有传输效率高的特点。
2.kafka对行为数据进行处理；
3.每天定时地从kafka中抽取数据，并加载到hive中。
4.依据hive中的节目类型、节目名称、观看记录数、观看人数等数据，确定用户的行为分析维度，并依据所述行为分析维度在mysql中建立数据仓库模型。
5.从hive中抽取出目标数据，并对目标数据进行清洗、转换。
在进行抽取目标数据时，我们可以数据上报到的时间p_log_date作为分区字段，抽取有效时间内用户行为数据，提高数据清洗分析效率。
上述清洗指剔除不完整的数据、卖场机以及测试机上报的干扰数据，以保证最后用户行为分析结果的准确性。清洗的具体步骤为：根据给卖场机用户机打的标记，剔除isprototype＝'1'orisprototype＝'true'代表的卖场机数据；测试机可根据电视软件版本排除，以及用IP定位，通过IP地址剔除公司(企业)内部测试机。
6.将清洗和转换后的数据进行汇总分析，并将汇总分析后的结果数据加载到数据库管理系统的对应数据表中。
7.对结果数据进行各类图形展示。可直观看出近段时间(近一个月)，每个节目类型下的节目观看排行情况，供业务查看及进行深度分析。商家根据深度分析的结果能够有效、精准地进行用户推送，优化移动端APP界面组织，提升用户体验，增加移动端APP及电视的使用量。
本发明通过对数据的精准分析，准确定位用户喜好，方便用户使用，提升用户体验，增加移动端APP及电视的使用量。
以上描述了本发明的基本原理和主要的特征，说明书的描述只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.用户行为分析的方法，其特征在于，包括如下步骤：
a.采集用户的行为数据，并上传给数据处理系统；
b.数据处理系统对上传的行为数据进行处理；
c.周期性地从数据处理系统中抽取数据，并存储到数据仓库系统；
d.依据数据仓库系统中的存储数据确定用户的行为分析维度，并依据所述行为分析维度在数据库管理系统中建立数据库模型；
e.从数据仓库系统中抽取出目标数据，对目标数据进行清洗和转换，将清洗和转换后的数据进行汇总分析，并将汇总分析后的结果数据加载到数据库管理系统的对应数据表中；
f.将所述结果数据进行各类图形展示。
2.根据权利要求1所述的用户行为分析的方法，其特征在于，步骤a中所述行为数据包括用户点播的内容及格式。
3.根据权利要求1所述的用户行为分析的方法，其特征在于，步骤a中的行为数据以json格式上传给数据处理系统。
4.根据权利要求1所述的用户行为分析的方法，其特征在于，步骤d中数据仓库系统的存储数据包括节目类型、节目名称、观看记录数、观看人数。
5.根据权利要求1所述的用户行为分析的方法，其特征在于，步骤e中，在进行抽取目标数据时，以数据上报到的时间作为分区字段抽取数据。
6.根据权利要求1所述的用户行为分析的方法，其特征在于，步骤e中的清洗指：剔除不完整的数据、卖场机以及测试机上报的干扰数据。
CN201510797227.8A 2015-11-18 2015-11-18 用户行为分析的方法 Pending CN105426478A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510797227.8A CN105426478A (zh) 2015-11-18 2015-11-18 用户行为分析的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510797227.8A CN105426478A (zh) 2015-11-18 2015-11-18 用户行为分析的方法

Publications (1)

Publication Number Publication Date
CN105426478A true CN105426478A (zh) 2016-03-23

Family

ID=55504690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510797227.8A Pending CN105426478A (zh) 2015-11-18 2015-11-18 用户行为分析的方法

Country Status (1)

Country Link
CN (1) CN105426478A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933920A (zh) * 2016-03-31 2016-09-07 浪潮通信信息系统有限公司 一种预测用户满意度的方法及装置
CN106168956A (zh) * 2016-06-24 2016-11-30 乐视控股（北京）有限公司 用于智能终端的数据统计分析方法及系统
CN106339899A (zh) * 2016-08-19 2017-01-18 上海宝尊电子商务有限公司 基于线上交易数据的线下Trade Zone设计的可视化决策支持方法
CN106341734A (zh) * 2016-09-23 2017-01-18 四川长虹电器股份有限公司 基于智能电视收视记录推荐体育赛事的方法及系统
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法
CN107391752A (zh) * 2017-08-16 2017-11-24 四川长虹电器股份有限公司 一种基于hadoop平台构建用户标签信息的方法
CN109033452A (zh) * 2018-08-23 2018-12-18 重庆富民银行股份有限公司 一种数据仓库智能构建装载方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050149566A1 (en) * 2003-10-31 2005-07-07 International Business Machines Corporation System, method and program product for management of life sciences data and related research
CN101944118A (zh) * 2010-09-21 2011-01-12 深圳市佳创视讯技术股份有限公司 一种收视行为分析系统
CN102521246A (zh) * 2011-11-11 2012-06-27 国网信息通信有限公司 一种云数据仓库系统
CN103036921A (zh) * 2011-09-29 2013-04-10 北京新媒传信科技有限公司 一种用户行为分析系统和方法
CN103714082A (zh) * 2012-10-09 2014-04-09 上海博路信息技术有限公司 一种基于移动动态数据引擎的互联网访问分析系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050149566A1 (en) * 2003-10-31 2005-07-07 International Business Machines Corporation System, method and program product for management of life sciences data and related research
CN101944118A (zh) * 2010-09-21 2011-01-12 深圳市佳创视讯技术股份有限公司 一种收视行为分析系统
CN103036921A (zh) * 2011-09-29 2013-04-10 北京新媒传信科技有限公司 一种用户行为分析系统和方法
CN102521246A (zh) * 2011-11-11 2012-06-27 国网信息通信有限公司 一种云数据仓库系统
CN103714082A (zh) * 2012-10-09 2014-04-09 上海博路信息技术有限公司 一种基于移动动态数据引擎的互联网访问分析系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933920A (zh) * 2016-03-31 2016-09-07 浪潮通信信息系统有限公司 一种预测用户满意度的方法及装置
CN105933920B (zh) * 2016-03-31 2019-04-09 浪潮天元通信信息系统有限公司 一种预测用户满意度的方法及装置
CN106168956A (zh) * 2016-06-24 2016-11-30 乐视控股（北京）有限公司 用于智能终端的数据统计分析方法及系统
WO2017219527A1 (zh) * 2016-06-24 2017-12-28 乐视控股（北京）有限公司 用于智能终端的数据统计分析方法及系统
CN106339899A (zh) * 2016-08-19 2017-01-18 上海宝尊电子商务有限公司 基于线上交易数据的线下Trade Zone设计的可视化决策支持方法
CN106341734A (zh) * 2016-09-23 2017-01-18 四川长虹电器股份有限公司 基于智能电视收视记录推荐体育赛事的方法及系统
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法
CN107391752A (zh) * 2017-08-16 2017-11-24 四川长虹电器股份有限公司 一种基于hadoop平台构建用户标签信息的方法
CN109033452A (zh) * 2018-08-23 2018-12-18 重庆富民银行股份有限公司 一种数据仓库智能构建装载方法及系统
CN109033452B (zh) * 2018-08-23 2021-09-07 重庆富民银行股份有限公司 一种数据仓库智能构建装载方法及系统

Similar Documents

Publication Publication Date Title
CN105426478A (zh) 用户行为分析的方法
US9607056B2 (en) Providing a multi-tenant knowledge network
US10948526B2 (en) Non-parametric statistical behavioral identification ecosystem for electricity fraud detection
KR102121361B1 (ko) 사용자가 위치되는 지리적 위치의 유형을 식별하기 위한 방법 및 디바이스
CN110647512B (zh) 一种数据存储和分析方法、装置、设备和可读介质
TWI752303B (zh) 營銷資訊投放平台建立方法及裝置
CN108268565B (zh) 基于数据仓库处理用户浏览行为数据的方法及系统
CN106165463A (zh) 选择与地理围栏相关的用户
CN110147821A (zh) 目标用户群体确定方法、装置、计算机设备及存储介质
CN202339542U (zh) 一种软件产品测试系统
CN108415964A (zh) 数据表查询方法、装置、终端设备及存储介质
KR101559719B1 (ko) 효과적인 마케팅을 도출하는 자동학습 시스템 및 방법
WO2018214301A1 (zh) 基于微信群的健康管理公众号推广系统及方法
CN102404240A (zh) 信息搜索系统及方法
CN103488655A (zh) 复合模型数据处理方法及系统
CN102402553B (zh) 一种用于对推广账户的运营质量进行分析的方法与设备
CN104021191A (zh) 一种提供移动终端相关问题解决方案的方法、系统及服务器
CN110147286B (zh) 一种基于消息队列的定制信息发送方法、装置、系统和记录介质
CN108664492A (zh) 一种向用户推送内容的方法、装置、电子设备和存储介质
CN107357919A (zh) 行为日志查询系统及方法
US9137193B2 (en) Increasing the relevance of digest emails to group members
CN110062112A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN109510859A (zh) 一种推送消息的到达量的统计方法和装置
CN110659960B (zh) 变革管理服务产品自动生成方法、服务器及变革管理系统
CN101355728B (zh) 短信生命力系统及其判断方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323