CN106372133A - 一种基于大数据的用户行为分析处理方法及系统 - Google Patents

一种基于大数据的用户行为分析处理方法及系统 Download PDF

Info

Publication number
CN106372133A
CN106372133A CN201610728481.7A CN201610728481A CN106372133A CN 106372133 A CN106372133 A CN 106372133A CN 201610728481 A CN201610728481 A CN 201610728481A CN 106372133 A CN106372133 A CN 106372133A
Authority
CN
China
Prior art keywords
data
user behavior
user
behavior data
analysis processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610728481.7A
Other languages
English (en)
Inventor
张凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Colorful Tribe Network Technology Co Ltd
Original Assignee
Suzhou Colorful Tribe Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Colorful Tribe Network Technology Co Ltd filed Critical Suzhou Colorful Tribe Network Technology Co Ltd
Priority to CN201610728481.7A priority Critical patent/CN106372133A/zh
Publication of CN106372133A publication Critical patent/CN106372133A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于大数据的用户行为分析处理方法及系统。其中该方法包括：A、实时采集用户行为数据，然后上传到服务器保存；B、对用户行为数据进行预处理与聚合；C、根据聚合后的用户行为数据，建立用户行为数据本体模型，并存储在数据库中；D、对用户行为数据本体模型进行推理，找出用户最新兴趣数据；E、根据所述用户最新兴趣数据，计算出每个用户间的兴趣相似度，构成兴趣相似度矩阵，基于协同过滤的推荐模型。本发明通过客户端实时采集用户行为数据，实现行为信息语的共享和重用，提高了模型互操作性和可靠性；将云计算技术实时分析海量用户行为数据，及时获取用户兴趣，从而实现有效与精准的用户推送。

Description

一种基于大数据的用户行为分析处理方法及系统
技术领域
本发明涉及一种大数据处理技术，具体地说，是一种基于大数据的用户行为分析处理方法及系统。
背景技术
用户行为分析是分析用户在使用网络资源时表现出来的规律、个性化的习惯，其目的在于收集、分析、预测用户行为，而用户兴趣是用户的个性化特点针对网络资源的具体表现。在互联网飞速发展的今天，对用户行为进行分析，提取用户兴趣，了解其特点，一方面可以进行用户个性化定制与推送，为用户使用者提供更加主动的、智能化的服务；另一方面，从用户行为的不同表现，发现其兴趣和偏好，可以优化小孩智力、动手能力，完善早期教育，使得更精细化，从而使小孩更全面的了解科技与生活的实践性。
对于用户行为的分析，国内外做过很多研究，但存在一些问题：首先，大多集中于挖掘WEB日志，但这些日志并不足以及时描述用户访问网站时的情景；其次，大型网站一般拥有庞大的在线用户，产生的实时行为和上下文信息量巨大，因此，系统的存储能力和计算速度更强，才能及时地将分析结果反馈给用户。而目前，大多数用户行为分析系统采用关系数据库技术与传统的数据处理方法，不能很好满足海量数据的高效分析。
发明内容
本发明要解决的技术问题是提供一种可以实时高效地对在线用户的实时行为进行分析的基于大数据的用户行为分析处理方法及系统，以实现有效与精准的推送。
为了解决上述技术问题，本发明提供了一种基于大数据的用户行为分析处理方法，包括：
A、实时采集用户行为数据，然后上传到服务器保存；
B、对用户行为数据进行预处理与聚合；
C、根据聚合后的用户行为数据，建立用户行为数据本体模型，并存储在数据库中；
D、对用户行为数据本体模型进行推理，找出用户最新兴趣数据；
E、根据所述用户最新兴趣数据，计算出每个用户间的兴趣相似度，构成兴趣相似度矩阵，基于协同过滤的推荐模型。
进一步地，所述步骤E之后，还包括：
F、继续采集用户下一步的用户行为数据与根据所述推荐模型推荐的下一步集进行比较，得到比较结果；根据所述比较结果实时评估该用户行为分析方法。
进一步地，所述步骤B中，对用户行为数据采用并行运算模型进行预处理与聚合。
进一步地，所述预处理包括：去除不完整数据；删除重复数据、图片；统计用户对使用不同产品的操作，在获取数据后，将其转换为对应的数据格式保存在数据库中。
进一步地，所述聚合包括：对正确但无效的用户行为信息，采用基于规则的用户行为聚合算法进行过滤和整合。
本发明还提供了一种基于大数据的用户行为分析处理系统，包括：
数据采集模块，用于实时采集用户行为数据，然后上传到服务器保存；
数据预处理与聚合模块，用于对用户行为数据进行预处理与聚合；
建模模块，用于根据聚合后的用户行为数据，建立用户行为数据本体模型，并存储在数据库中；
推理模块，用于对用户行为数据本体模型进行推理，找出用户最新兴趣数据；
推荐模块，用于根据所述用户最新兴趣数据，计算出每个用户间的兴趣相似度，构成兴趣相似度矩阵，基于协同过滤的推荐模型。
进一步地，还包括：
评估模块，用于继续采集用户下一步的用户行为数据与根据所述推荐模型推荐的下一步集进行比较，得到比较结果；并根据所述比较结果实时评估该用户行为分析方法。
进一步地，所述数据预处理与聚合模块对用户行为数据采用并行运算模型进行预处理与聚合。
进一步地，所述数据预处理与聚合模块对用户行为数据进行的预处理包括：去除不完整数据；删除重复数据、图片；统计用户对使用不同产品的操作，在获取数据后，将其转换为对应的数据格式保存在数据库中。
进一步地，所述数据预处理与聚合模块对用户行为数据进行的聚合包括：对正确但无效的用户行为信息，采用基于规则的用户行为聚合算法进行过滤和整合。
本发明的基于大数据的用户行为分析处理方法及系统，通过客户端实时采集用户行为数据，将用户行为和小孩生活兴趣爱好信息相结合，最大限度地重现用户体验真实场景，提取全面的用户行为轨迹，为分析用户行为提供有效的数据保障；利用用户行为数据本体模型对用户行为建模，实现行为信息语的共享和重用，提高了模型互操作性和可靠性；实时采集用户行为数据进行分析，使结果更可靠；以列存储数据库对本体和行为信息进行存储，为海量数据管理奠定基础；将云计算技术的强大处理能力和大规模数据存储能力、本体及其推理、知识发现方法相结合，实时分析海量用户行为数据，及时获取用户兴趣，从而实现有效与精准的用户推送。
附图说明
图1是本发明的基于大数据的用户行为分析处理方法的流程图。
图2是本发明的基于大数据的用户行为分析处理系统的原理框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1所示，本发明的基于大数据的用户行为分析处理方法，包括：
步骤101：实时采集用户行为数据，然后上传到服务器保存；
步骤102：对用户行为数据进行预处理与聚合；
步骤103：根据聚合后的用户行为数据，建立用户行为数据本体模型，并存储在数据库中；
步骤104：对用户行为数据本体模型进行推理，找出用户最新兴趣数据；
步骤105：根据所述用户最新兴趣数据，计算出每个用户间的兴趣相似度，构成兴趣相似度矩阵，基于协同过滤的推荐模型。
优选地，所述步骤105：之后，还包括：
步骤106：继续采集用户下一步的用户行为数据与根据所述推荐模型推荐的下一步集进行比较，得到比较结果；根据所述比较结果实时评估该用户行为分析方法。根据评估结果，可以对分析方法进行修正，以不断提高推荐模型的精准性。
其中，所述步骤102中，对用户行为数据采用并行运算模型进行预处理与聚合。具体地，所述预处理包括：去除不完整数据；删除重复数据、图片；统计用户对使用不同产品的操作，在获取数据后，将其转换为对应的数据格式保存在数据库中；所述聚合包括：对正确但无效的用户行为信息，采用基于规则的用户行为聚合算法进行过滤和整合。
如图2所示，本发明的基于大数据的用户行为分析处理系统，包括：
数据采集模块201，用于实时采集用户行为数据，然后上传到服务器保存；
数据预处理与聚合模块202，用于对用户行为数据进行预处理与聚合；
建模模块203，用于根据聚合后的用户行为数据，建立用户行为数据本体模型，并存储在数据库中；
推理模块204，用于对用户行为数据本体模型进行推理，找出用户最新兴趣数据；
推荐模块205，用于根据所述用户最新兴趣数据，计算出每个用户间的兴趣相似度，构成兴趣相似度矩阵，基于协同过滤的推荐模型。
优选地，所述基于大数据的用户行为分析处理系统还包括：
评估模块206，用于继续采集用户下一步的用户行为数据与根据所述推荐模型推荐的下一步集进行比较，得到比较结果；并根据所述比较结果实时评估该用户行为分析方法。
其中，所述数据预处理与聚合模块202对用户行为数据采用并行运算模型进行预处理与聚合。具体地，所述数据预处理与聚合模块202对用户行为数据进行的预处理包括：去除不完整数据；删除重复数据、图片；统计用户对使用不同产品的操作，在获取数据后，将其转换为对应的数据格式保存在数据库中；所述数据预处理与聚合模块202对用户行为数据进行的聚合包括：对正确但无效的用户行为信息，采用基于规则的用户行为聚合算法进行过滤和整合。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种基于大数据的用户行为分析处理方法，其特征在于，包括：
A、实时采集用户行为数据，然后上传到服务器保存；
B、对用户行为数据进行预处理与聚合；
C、根据聚合后的用户行为数据，建立用户行为数据本体模型，并存储在数据库中；
D、对用户行为数据本体模型进行推理，找出用户最新兴趣数据；
E、根据所述用户最新兴趣数据，计算出每个用户间的兴趣相似度，构成兴趣相似度矩阵，基于协同过滤的推荐模型。
2.如权利要求1所述的基于大数据的用户行为分析处理方法，其特征在于，所述步骤E之后，还包括：
F、继续采集用户下一步的用户行为数据与根据所述推荐模型推荐的下一步集进行比较，得到比较结果；根据所述比较结果实时评估该用户行为分析方法。
3.如权利要求1所述的基于大数据的用户行为分析处理方法，其特征在于，所述步骤B中，对用户行为数据采用并行运算模型进行预处理与聚合。
4.如权利要求3所述的基于大数据的用户行为分析处理方法，其特征在于，所述预处理包括：去除不完整数据；删除重复数据、图片；统计用户对使用不同产品的操作，在获取数据后，将其转换为对应的数据格式保存在数据库中。
5.如权利要求3所述的基于大数据的用户行为分析处理方法，其特征在于，所述聚合包括：对正确但无效的用户行为信息，采用基于规则的用户行为聚合算法进行过滤和整合。
6.一种基于大数据的用户行为分析处理系统，其特征在于，包括：
数据采集模块，用于实时采集用户行为数据，然后上传到服务器保存；
数据预处理与聚合模块，用于对用户行为数据进行预处理与聚合；
建模模块，用于根据聚合后的用户行为数据，建立用户行为数据本体模型，并存储在数据库中；
推理模块，用于对用户行为数据本体模型进行推理，找出用户最新兴趣数据；
推荐模块，用于根据所述用户最新兴趣数据，计算出每个用户间的兴趣相似度，构成兴趣相似度矩阵，基于协同过滤的推荐模型。
7.如权利要求6所述的基于大数据的用户行为分析处理系统，其特征在于，还包括：
评估模块，用于继续采集用户下一步的用户行为数据与根据所述推荐模型推荐的下一步集进行比较，得到比较结果；并根据所述比较结果实时评估该用户行为分析方法。
8.如权利要求6所述的基于大数据的用户行为分析处理系统，其特征在于，所述数据预处理与聚合模块对用户行为数据采用并行运算模型进行预处理与聚合。
9.如权利要求8所述的基于大数据的用户行为分析处理系统，其特征在于，所述数据预处理与聚合模块对用户行为数据进行的预处理包括：去除不完整数据；删除重复数据、图片；统计用户对使用不同产品的操作，在获取数据后，将其转换为对应的数据格式保存在数据库中。
10.如权利要求8所述的基于大数据的用户行为分析处理系统，其特征在于，所述数据预处理与聚合模块对用户行为数据进行的聚合包括：对正确但无效的用户行为信息，采用基于规则的用户行为聚合算法进行过滤和整合。
CN201610728481.7A 2016-08-19 2016-08-19 一种基于大数据的用户行为分析处理方法及系统 Pending CN106372133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610728481.7A CN106372133A (zh) 2016-08-19 2016-08-19 一种基于大数据的用户行为分析处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610728481.7A CN106372133A (zh) 2016-08-19 2016-08-19 一种基于大数据的用户行为分析处理方法及系统

Publications (1)

Publication Number Publication Date
CN106372133A true CN106372133A (zh) 2017-02-01

Family

ID=57879289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610728481.7A Pending CN106372133A (zh) 2016-08-19 2016-08-19 一种基于大数据的用户行为分析处理方法及系统

Country Status (1)

Country Link
CN (1) CN106372133A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103063A (zh) * 2017-04-17 2017-08-29 山东辰华科技信息有限公司 基于大数据的科技信息资源检索查询系统
CN109033281A (zh) * 2018-07-11 2018-12-18 国网技术学院 一种知识资源库的智能推送系统
CN109254990A (zh) * 2018-09-11 2019-01-22 北京唐冠天朗科技开发有限公司 一种信息源采集和动态分析的方法和系统
CN110019154A (zh) * 2017-09-28 2019-07-16 阿里巴巴集团控股有限公司 数据处理、数据质量评估、推荐产品确定方法及相关设备
CN110507997A (zh) * 2019-08-12 2019-11-29 广州小丑鱼信息科技有限公司 一种用户行为分析方法及系统
WO2020098156A1 (zh) * 2018-11-15 2020-05-22 平安科技（深圳）有限公司 产品数据推送方法及装置、计算机非易失性可读存储介质
CN113139822A (zh) * 2020-01-19 2021-07-20 苏州金龟子网络科技有限公司 一种基于用户行为分析的推广系统及方法
CN113781094A (zh) * 2021-07-09 2021-12-10 北京沃东天骏信息技术有限公司 数据处理方法及平台、数据处理端、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164474A (zh) * 2011-12-15 2013-06-19 中国移动通信集团贵州有限公司 一种对数据业务进行分析的方法
CN104462213A (zh) * 2014-12-05 2015-03-25 成都逸动无限网络科技有限公司 一种基于大数据的用户行为分析方法及系统
US20160140170A1 (en) * 2011-06-14 2016-05-19 Microsoft Technology Licensing, Llc Recommending Data Enrichments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140170A1 (en) * 2011-06-14 2016-05-19 Microsoft Technology Licensing, Llc Recommending Data Enrichments
CN103164474A (zh) * 2011-12-15 2013-06-19 中国移动通信集团贵州有限公司 一种对数据业务进行分析的方法
CN104462213A (zh) * 2014-12-05 2015-03-25 成都逸动无限网络科技有限公司 一种基于大数据的用户行为分析方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103063A (zh) * 2017-04-17 2017-08-29 山东辰华科技信息有限公司 基于大数据的科技信息资源检索查询系统
CN110019154A (zh) * 2017-09-28 2019-07-16 阿里巴巴集团控股有限公司 数据处理、数据质量评估、推荐产品确定方法及相关设备
CN109033281A (zh) * 2018-07-11 2018-12-18 国网技术学院 一种知识资源库的智能推送系统
CN109254990A (zh) * 2018-09-11 2019-01-22 北京唐冠天朗科技开发有限公司 一种信息源采集和动态分析的方法和系统
WO2020098156A1 (zh) * 2018-11-15 2020-05-22 平安科技（深圳）有限公司 产品数据推送方法及装置、计算机非易失性可读存储介质
CN110507997A (zh) * 2019-08-12 2019-11-29 广州小丑鱼信息科技有限公司 一种用户行为分析方法及系统
CN113139822A (zh) * 2020-01-19 2021-07-20 苏州金龟子网络科技有限公司 一种基于用户行为分析的推广系统及方法
CN113781094A (zh) * 2021-07-09 2021-12-10 北京沃东天骏信息技术有限公司 数据处理方法及平台、数据处理端、系统及存储介质

Similar Documents

Publication Publication Date Title
CN106372133A (zh) 一种基于大数据的用户行为分析处理方法及系统
CN103793465B (zh) 基于云计算的海量用户行为实时分析方法及系统
CN104462213A (zh) 一种基于大数据的用户行为分析方法及系统
Fernández-García et al. A recommender system for component-based applications using machine learning techniques
CN110442790A (zh) 推荐多媒体数据的方法、装置、服务器和存储介质
CN105956015A (zh) 一种基于大数据的服务平台整合方法
Penas et al. Collective knowledge ontology user profiling for Twitter--automatic user profiling
CN109271488B (zh) 一种结合行为序列和文本信息的社交网络用户间因果关系发现方法及系统
CN103258027A (zh) 基于智能终端的情境感知服务平台
US20190050435A1 (en) Object data association index system and methods for the construction and applications thereof
TW201800987A (zh) 問題推薦方法及設備
CN106844588A (zh) 一种基于网络爬虫的用户行为数据的分析方法及系统
CN107086925B (zh) 一种基于深度学习的互联网流量大数据分析方法
CN117978545B (zh) 基于大模型的网络安全风险评估方法、系统、设备及介质
Maheswari et al. A New Clustering and Preprocessing for web log mining
CN115238004A (zh) 一种去中心化的元宇宙应用监管方法
CN105589935A (zh) 社交群组识别方法
Acosta et al. City safety perception model based on visual content of street images
CN110019152A (zh) 一种大数据清洗方法
CN118115285A (zh) 基于人工智能的保险客户类型的识别方法及系统
Ng et al. Forecasting topic activity with exogenous and endogenous information signals in Twitter
CN109472115B (zh) 基于地理信息的大规模复杂网络建模方法及装置
Ma et al. Enhanced contrastive representation in network
Ren et al. [Retracted] A Study on Information Classification and Storage in Cloud Computing Data Centers Based on Group Collaborative Intelligent Clustering
Abdulrahman et al. Multi agent system for historical information retrieval from online social networks

Legal Events

Date Code Title Description
DD01 Delivery of document by public notice

Addressee: Zhu Zhende

Document name: Notification of Passing Examination on Formalities

C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170201

WD01 Invention patent application deemed withdrawn after publication