CN110489453A - 基于大数据日志分析的用户游戏实时推荐方法及系统 - Google Patents

基于大数据日志分析的用户游戏实时推荐方法及系统 Download PDF

Info

Publication number
CN110489453A
CN110489453A CN201910590060.6A CN201910590060A CN110489453A CN 110489453 A CN110489453 A CN 110489453A CN 201910590060 A CN201910590060 A CN 201910590060A CN 110489453 A CN110489453 A CN 110489453A
Authority
CN
China
Prior art keywords
game
user
real
time
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910590060.6A
Other languages
English (en)
Other versions
CN110489453B (zh
Inventor
肖明
廖泽恩
罗俊宇
詹明臻
张秋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910590060.6A priority Critical patent/CN110489453B/zh
Publication of CN110489453A publication Critical patent/CN110489453A/zh
Application granted granted Critical
Publication of CN110489453B publication Critical patent/CN110489453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提出一种基于大数据日志分析的用户游戏实时推荐方法，包括以下步骤：从游戏平台的日志服务器中获取用户行为日志数据，从用户行为日志数据中解析得到关键字段信息，并存储在数据库中；从数据库中调取关键字段信息，采用非实时分析方式对关键字段信息进行分析处理，生成用户的游戏情况报表、游戏关联画像、用户画像，并存储在数据库中；根据用户行为日志数据增量统计用户从今日登录至当前的所有实时游戏信息，并结合从数据库中调取游戏情况报表、游戏关联画像、用户画像，采用实时计算分析的大数据技术进行处理分析，输出游戏实时推荐结果。本发明还提出一种应用上述方法的系统，且本发明能够解决游戏实时推荐结果的局限性问题。

Description

基于大数据日志分析的用户游戏实时推荐方法及系统
技术领域
本发明涉及计算机应用技术领域，更具体地，涉及一种基于大数据日志分析的用户游戏实时推荐方法及系统。
背景技术
在线游戏平台一般都是根据游戏属性对游戏进行分类，用户可以根据自己的兴趣自行在各个类型模块中进行选择。然而，类型以及数量众多的游戏容易让用户产生视觉疲劳，给用户的选择带来不便。
目前，传统的游戏推荐方法主要通过根据用户的历史游戏行为日志进行分析和推荐，然而这种方法没有考虑用户当天的游戏情况，存在推荐结果准确率低的问题。中国专利文献201810926465.8公开了一种游戏推荐方法，通过利用游戏用户的基本信息进行聚类，然后针对某个类中的所有用户的游戏列表进行排序，再对类内的用户进行推荐，但是该方法只考虑类内用户之间的相关性，具有局部性，没有很好地考虑到所有游戏之间隐藏着的关联性；中国专利文献201110389602.7公开了一种个性化游戏推荐的系统、方法及游戏平台，然而该方法只关注用户历史的行为数据，没有考虑用户当前的游戏情况，同样具有局限性，导致游戏推荐结果不能满足用户的要求。
发明内容
本发明为克服上述现有技术所述的没有考虑游戏之间的相关性以及用户实时游戏情况导致游戏推荐结果具有局限性的缺陷，提供一种基于大数据日志分析的用户游戏实时推荐方法，以及一种基于大数据日志分析的用户游戏实时推荐系统，能够结合用户历史游戏情况以及用户实时游戏情况更新游戏推荐结果，有效提高用户的游戏体验。
为解决上述技术问题，本发明的技术方案如下：
基于大数据日志分析的用户游戏实时推荐方法，包括以下步骤：
S1：从游戏平台的日志服务器中获取用户行为日志数据，从所述用户行为日志数据中解析得到关键字段信息，并存储在数据库中；
S2：从数据库中调取所述关键字段信息，采用非实时分析方式对关键字段信息进行分析处理，生成用户的游戏情况报表、游戏关联画像、用户画像，并存储在数据库中；
S3：根据所述用户行为日志数据增量统计用户从今日登录至当前的所有实时游戏信息，结合从数据库中调取所述游戏情况报表、游戏关联画像、用户画像，采用实时计算分析的大数据技术进行处理分析，输出游戏实时推荐结果。
本技术方案中，通过利用实时计算与离线计算的大数据日志分析技术分别对用户的实时和历史日志数据进行分析，具体地，通过离线计算技术对历史日志数据进行处理分析并生成游戏关联画像与用户画像，再结合通过由实时计算技术分析用户实时日志所得出的用户当前游戏情况数据，生成游戏实时推荐结果。
优选地，S1步骤中的关键字段信息包括用户个人信息和用户游戏信息，其中，用户个人信息包括用户属性、用户设备信息、用户所处地理位置、用户账号ID，用户游戏信息包括游戏登陆时间、游戏类型、游戏名称、平均游戏时长。
优选地，S2步骤中的具体步骤包括：
S21：从数据库中调取所述关键字段信息，根据所述关键字段信息统计所有用户的每日游戏情况并生成报表，然后存储在数据库中；
S22：将所述关键字段信息中的用户游戏信息转换为频繁模式增长(FP-growth)算法所需要的数据格式，并输入到FP-growth算法模型中，生成游戏关联规则；
S23：将所述关键字段信息中的用户游戏信息，结合所述游戏关联规则生成游戏关联画像，并存储在数据库中；
S24：对所述报表中的数据信息进行预处理和特征工程处理，然后输入机器学习算法模型中，对用户生成对应的标签信息，根据所述标签信息建立用户画像，并存储在数据库中，其中，上述游戏关联画像和用户画像随着用户行为日志数据的更新而不断更新。
优选地，S21步骤中的报表包括用户每日游戏次数、游戏总时长、游戏胜率、游戏逃跑率以及游戏次数高于预设的阈值对应的游戏名称、游戏类型、游戏平均时长。
优选地，S23步骤中，具体包括以下步骤：
步骤a：从数据库中调取所述关键字段信息，建立一个用户历史游戏数据库，将用户游戏ID作为事务标识符TID，对应的每一行游戏名称列表作为事务T，以及所有的事务的集合表示为D；
步骤b：对所述用户历史游戏数据库进行扫描，计算每一个事务T中各款游戏的支持度，设置最小支持度阈值，将低于最小支持度阈值的事务T过滤，将保留的事务T组成频繁项集，然后对所述频繁项集根据分别的支持度作降序排列处理；
步骤c：对事务集合D进行扫描，当每读入一个事务T时，根据所述已排序的频繁项集创建频繁模式树(FP-tree)中的一条路径，直到所有事务T完成路径的映射，其中，FP-tree为一棵前缀树，它的根节点为null，不表示任何项，且FP-tree中的每条路径中，支持度越大的频繁项离根节点越近；
步骤d：从完成构建的FP-tree的每条路径中最后的节点开始向上递归，依次寻找该节点的条件模式基，然后通过所述最小支持度阈值挖掘出该节点的频繁项集A；
步骤e：设置最小置信度阈值，根据步骤d中挖掘得到的频繁项集A得到其对应的所有非空子集α，然后计算该频繁项集A的置信度并判断是否不小于最小置信度阈值，若是，则生成关联规则；
步骤f：将所述关联规则根据其置信度的大小进行降序排列并存储在数据库中，然后通过数据仓库工具组件将所述用户游戏信息与所述关联规则进行结合加工处理，生成游戏关联画像并存储在数据库中。
优选地，S24步骤中，对所述报表中的数据信息进行预处理和特征工程处理的步骤包括：对所述报表中的数据信息进行Z-score标准化处理和对枚举分类数据进行独热编码处理。
优选地，S3步骤中的具体步骤包括：
根据所述用户行为日志数据增量统计用户从今日登录至当前的所有实时游戏信息；从数据库中调取所述游戏情况报表、游戏关联画像、用户画像，根据所述实时游戏信息进行批流融合处理，以及对所述实时游戏信息进行特征工程，然后输入到完成训练的DNN推荐模型中，输出得游戏实时推荐结果。
优选地，实时游戏信息包括用户从今日登陆至当前为止的游戏名称、游戏类型、游戏总时长、游戏胜率。
本发明还提出一种基于大数据日志分析的用户游戏实时推荐系统，应用上述基于大数据日志分析的用户游戏实时推荐方法，包括日志源、采集模块、缓存模块、解析模块、离线计算模块、实时计算模块、数据库模块、可视化模块、推送服务模块，其中：
日志源的输出端与采集模块的输入端连接，采集模块的输出端与缓存模块的输入端连接，缓存模块的输出端与解析模块的输入端连接，解析模块的输出端分别于实时计算模块和数据库连接，实时计算模块的输出端与推送服务模块的输入端连接；
数据库分别与实时计算模块、离线计算模块进行双向数据交互；
离线计算模块的输出端与可视化模块的输入端连接。
本技术方案中，日志源用于生成用户行为日志；
采集模块用于实时地从日志源中获取大量的用户行为日志信息；
缓存模块用于缓存从采集模块发送过来的大量数据，并将接收的日志信息分发到日志解析模块，起到了解耦的作用；
解析模块用于根据预设的提取关键字段信息的模板，逐条地对日志信息进行解析并提取出关键字段所对应的的信息；
离线计算模块用于对完成解析的日志数据进行离线计算分析处理；
实时计算模块用于对完成解析的日志数据进行实时计算分析处理；
数据库模块用于存储报表统计的信息，以及存储用户画像和游戏关联画像等数据；
可视化模块用于对离线计算模块中的统计结果进行可视化，起信息的交互式分析的作用；
推送服务模块用于将上述生成的游戏实时推荐结果进行推送。
优选地，日志源为游戏平台的日志服务器；
采集模块由Flume集群组成；
缓存模块由Kafka集群组成；
离线计算模块还包括游戏报表统计模块、用户画像生成模块、游戏关联生成模块，且离线计算模块由Apache Hadoop集群和Apache Hive组件组成，其中Apache Hadoop集群主要由HDFS和MapReduce组件构成；
实时计算模块还包括用户游戏分析模块、推荐内容生成模块，且实时计算模块由Apache Spark集群组成；
数据库模块由MySQL数据库集群构成；
可视化模块由数据可视化框架Apache Zeepelin组成。
与现有技术相比，本发明技术方案的有益效果是：结合游戏用户历史游戏情况以及用户实时游戏情况对游戏实时推荐结果进行更新，从而解决了仅依靠用户历史日志数据进行分析导致的局限性问题，且能够有效提高用户的游戏体验。
附图说明
图1为本发明的基于大数据日志分析的用户游戏实时推荐方法的流程图。
图2为本发明的基于大数据日志分析的用户游戏实时推荐系统的结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，为本实施例的基于大数据日志分析的用户游戏实时推荐方法的流程图。
本实施例的基于大数据日志分析的用户游戏实时推荐方法包括以下步骤：
S1：通过从游戏平台的日志服务器中获取用户行为日志数据，从所述用户行为日志数据中解析得到关键字段信息，并存储在数据库中。
本实施例中，关键字段信息包括用户个人信息和用户游戏信息，其中所述用户个人信息包括用户属性、用户设备信息、用户所处地理位置、用户账号ID，所述用户游戏信息包括游戏登陆时间、游戏类型、游戏名称、平均游戏时长。
S2：从数据库中调取所述关键字段信息，采用非实时分析方式对关键字段信息进行分析处理，生成用户的游戏情况报表、游戏关联画像、用户画像，并存储在数据库中。其具体步骤如下：
S21：从数据库中调取所述关键字段信息，根据所述关键字段信息统计所有用户的每日游戏情况并生成报表，然后存储在数据库中，其中，报表包括用户每日游戏次数、游戏总时长、游戏胜率、游戏逃跑率以及游戏次数高于预设的阈值对应的游戏名称、游戏类型、游戏平均时长；
S22：将所述关键字段信息中的用户游戏信息转换为频繁模式增长算法所需要的数据格式，并输入到频繁模式增长算法模型中，生成游戏关联规则；
S23：将所述关键字段信息中的用户游戏信息，结合所述游戏关联规则生成游戏关联画像，并存储在数据库中；
该子步骤采用基于Hadoop的离线计算框架MapReduce，其通过FP-growth算法生成游戏关联画像的具体步骤如下：
步骤a：从数据库中调取所述关键字段信息，建立一个用户历史游戏数据库，将用户游戏ID作为事务标识符TID，对应的每一行游戏名称列表作为事务T，以及所有的事务的集合表示为D；
步骤b：对所述用户历史游戏数据库进行扫描，计算每一个事务T中各款游戏的支持度，设置最小支持度阈值，将低于最小支持度阈值的事务T过滤，将保留的事务T组成频繁项集，然后对所述频繁项集根据分别的支持度作降序排列处理；
步骤c：对事务集合D进行扫描，当每读入一个事务T时，根据所述已排序的频繁项集创建频繁模式树中的一条路径，直到所有事务T完成路径的映射；
步骤d：从所述频繁模式树的每条路径中最后的节点开始向上递归，依次寻找该节点的条件模式基，然后通过所述最小支持度阈值挖掘出该节点的频繁项集A；
步骤e：设置最小置信度阈值，根据步骤d中挖掘得到的频繁项集A得到其对应的所有非空子集α，然后计算该频繁项集A的置信度并判断是否不小于最小置信度阈值，若是，则生成关联规则；
步骤f：将所述关联规则根据其置信度的大小进行降序排列并存储在数据库中，然后通过数据仓库工具组件将所述用户游戏信息与所述关联规则进行结合加工处理，生成游戏关联画像并存储在数据库中。
S24：对所述报表中的数据信息进行Z-score标准化处理和对枚举分类数据进行独热编码处理，然后输入机器学习算法模型中，对用户生成对应的标签信息，根据所述标签信息建立用户画像，并存储在数据库中。
S3：根据所述用户行为日志数据增量统计用户从今日登录至当前的实时游戏信息，结合从数据库中调取所述游戏情况报表、游戏关联画像、用户画像，采用实时计算分析的大数据技术进行处理分析，输出游戏实时推荐结果。
具体地，首先，采用实时流框架StructedStreaming技术增量统计用户从今日登陆至当前为止的实时游戏信息，包括用户从今日登陆至当前为止的游戏名称、游戏类型、游戏总时长、游戏胜率，然后从数据库中调取所述游戏情况报表、游戏关联画像、用户画像，根据所述实时游戏信息进行批流融合处理，以及对所述实时游戏信息进行特征工程，然后输入到完成训练的DNN推荐模型中，最终输出得到游戏实时推荐结果。
本实施例中，通过离线计算技术对历史日志数据进行处理分析并生成游戏关联画像与用户画像，再结合通过由实时计算技术分析用户实时日志所得出的用户当前游戏情况数据，生成游戏实时推荐结果，能够结合游戏用户当前的游戏情况对游戏实时推荐结果进行更新，从而解决了仅依靠用户历史日志数据进行分析导致的局限性问题，能够有效提高用户的游戏体验。
实施例2
本实施例提出一种基于大数据日志分析的用户游戏实时推荐系统，应用实施例1中提出的一种基于大数据日志分析的用户游戏实时推荐方法。
如图2所示，为本实施例的基于大数据日志分析的用户游戏实时推荐系统的结构示意图。
本实施例中的基于大数据日志分析的用户游戏实时推荐系统，包括日志源1、采集模块2、缓存模块3、解析模块4、离线计算模块6、实时计算模块8、数据库模块5、可视化模块7、推送服务模块9，其中：
日志源1的输出端与采集模块2的输入端连接，采集模块2的输出端与缓存模块3的输入端连接，缓存模块3的输出端与解析模块4的输入端连接，解析模块4的输出端分别于实时计算模块8和数据库连接，实时计算模块8的输出端与推送服务模块9的输入端连接；
数据库分别与实时计算模块8、离线计算模块6进行双向数据交互；
离线计算模块6的输出端与可视化模块7的输入端连接。
本实施例中，日志源1为游戏平台的日志服务器，用于生成用户行为日志；
采集模块2由Flume集群组成，用于实时地从日志源1中获取大量的用户行为日志信息；
缓存模块3由Kafka集群组成，用于缓存从采集模块2发送过来的大量数据，并将接收的日志信息分发到日志解析模块4，起到了解耦的作用；
解析模块4用于消费Kafka集群中的数据，根据预设的提取关键字段信息的模板，逐条地对日志信息进行解析并提取出关键字段所对应的的信息；
离线计算模块6还包括游戏报表统计模块61、用户画像生成模块62、游戏关联生成模块63，且离线计算模块6由Apache Hadoop集群和Apache Hive组件组成，其中Hadoop主要由HDFS和MapReduce组件构成；该模块主要用于对完成解析的日志数据进行离线计算分析处理；
实时计算模块8还包括用户游戏分析模块81、推荐内容生成模块82，且实时计算模块8由Apache Spark集群组成，该模块用于对完成解析的日志数据进行实时计算分析处理；
数据库模块5由MySQL数据库集群构成，用于存储报表统计的信息，以及存储用户画像和游戏关联画像等数据；
可视化模块7由数据可视化框架Apache Zeepelin组成，用于对离线计算模块6中的统计结果进行可视化，起信息的交互式分析的作用；
推送服务模块9用于将上述生成的游戏实时推荐结果进行推送。
在具体实施过程中，采集模块2通过Flume集群从日志源1中实时获取用户行为日志数据，然后通过采集模块2传送到缓存模块3中的Kafka集群中进行缓存，解析模块4通过从Kafka集群中拉取数据进行消费，并对所接收的日志信息逐条进行解析处理，获得关键字段信息后复制为两份数据流分别传输到离线计算模块6和实时计算模块8中进行处理：
离线计算模块6将所接收的关键字段信息数据流存储在MySQL数据库中，然后采用非实时分析方式进行分析处理，具体地，将上述经过解析的关键字段信息数据保存在HDFS组件中供离线计算模块6中的子模块使用；游戏报表统计模块61对上述经过解析的关键字段信息数据进行统计分析，使用Hive组件统计每一位用户的每日游戏情况并生成报表，然后将统计结果保存在数据库模块5中的MySQL数据库中，然后通过可视化模块7中的Zeepelin组件进行可视化；用户画像生成模块62和游戏关联生成模块63根据上述生成的报表数据信息以及用户个人信息，通过MapReduce组件对日志数据进行离线计算，生成或更新用户画像和游戏关联画像，然后保存在数据库模块5中的MySQL数据库中；
实时计算模块8中，用户游戏分析模块81采用StructedStreaming技术，对上述解析得到的关键字段信息进行处理分析，然后将分析结果传输到推荐内容生成模块82中生成游戏实时推荐结果进行输出，具体地，用户游戏分析模块81采用实时流框架StructedStreaming技术增量统计用户从今日登陆至当前为止的实时游戏信息，然后从数据库模块5中的MySQL数据库中调取用户画像和游戏关联画像信息，与上述的实时游戏信息进行批流融合处理，以及对上述实时游戏信息进行特征工程，然后输入到推荐内容生成模块82中完成训练的DNN推荐模型中，生成游戏实时推荐结果，然后将该游戏实时推荐结果发送到推送服务模块9中对用户进行推送。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.基于大数据日志分析的用户游戏实时推荐方法，其特征在于，包括以下步骤：
S1：从游戏平台的日志服务器中实时获取用户行为日志数据，从所述用户行为日志数据中解析得到关键字段信息，并存储在数据库中；
S2：从数据库中调取所述关键字段信息，采用非实时分析方式对关键字段信息进行分析处理，生成用户的游戏情况报表、游戏关联画像、用户画像，并存储在数据库中；
S3：根据所述用户行为日志数据增量统计用户从今日登录至当前的所有实时游戏信息，结合从数据库中调取所述游戏情况报表、游戏关联画像、用户画像，采用实时计算分析的大数据技术进行处理分析，输出游戏实时推荐结果。
2.根据权利要求1所述的用户游戏实时推荐方法，其特征在于：所述S1步骤中的关键字段信息包括用户个人信息和用户游戏信息，其中所述用户个人信息包括用户属性、用户设备信息、用户所处地理位置、用户账号ID，所述用户游戏信息包括游戏登陆时间、游戏类型、游戏名称、平均游戏时长。
3.根据权利要求2所述的用户游戏实时推荐方法，其特征在于：所述S2步骤中的具体步骤包括：
S21：从数据库中调取所述关键字段信息，根据所述关键字段信息统计所有用户的每日游戏情况并生成报表，然后存储在数据库中；
S22：将所述关键字段信息中的用户游戏信息转换为频繁模式增长算法所需要的数据格式，并输入到频繁模式增长算法模型中，生成游戏关联规则；
S23：将所述关键字段信息中的用户游戏信息，结合所述游戏关联规则生成游戏关联画像，并存储在数据库中；
S24：对所述报表中的数据信息进行预处理和特征工程处理，然后输入机器学习算法模型中，对用户生成对应的标签信息，根据所述标签信息建立用户画像，并存储在数据库中。
4.根据权利要求3所述的用户游戏实时推荐方法，其特征在于：所述S21步骤中的报表包括用户每日游戏次数、游戏总时长、游戏胜率、游戏逃跑率以及游戏次数高于预设的阈值对应的游戏名称、游戏类型、游戏平均时长。
5.根据权利要求3所述的用户游戏实时推荐方法，其特征在于：所述S23步骤中，具体包括以下步骤：
步骤a：从数据库中调取所述关键字段信息，建立一个用户历史游戏数据库，将用户游戏ID作为事务标识符TID，对应的每一行游戏名称列表作为事务T，以及所有的事务的集合表示为D；
步骤b：对所述用户历史游戏数据库进行扫描，计算每一个事务T中各款游戏的支持度，设置最小支持度阈值，将低于最小支持度阈值的事务T过滤，将保留的事务T组成频繁项集，然后对所述频繁项集根据分别的支持度作降序排列处理；
步骤c：对事务集合D进行扫描，当每读入一个事务T时，根据所述已排序的频繁项集创建频繁模式树中的一条路径，直到所有事务T完成路径的映射；
步骤d：从所述频繁模式树的每条路径中最后的节点开始向上递归，依次寻找该节点的条件模式基，然后通过所述最小支持度阈值挖掘出该节点的频繁项集A；
步骤e：设置最小置信度阈值，根据步骤d中挖掘得到的频繁项集A得到其对应的所有非空子集α，然后计算该频繁项集A的置信度并判断是否不小于最小置信度阈值，若是，则生成关联规则；
步骤f：将所述关联规则根据其置信度的大小进行降序排列并存储在数据库中，然后通过数据仓库工具组件将所述用户游戏信息与所述关联规则进行结合加工处理，生成游戏关联画像并存储在数据库中。
6.根据权利要求3所述的用户游戏实时推荐方法，其特征在于：所述S24步骤中，对所述报表中的数据信息进行预处理和特征工程处理的步骤包括：对所述报表中的数据信息进行Z-score标准化处理和对枚举分类数据进行独热编码处理。
7.根据权利要求3所述的用户游戏实时推荐方法，其特征在于：所述S3步骤中的具体步骤包括：
根据所述用户行为日志数据增量统计用户从今日登录至当前的所有实时游戏信息；从数据库中调取所述游戏情况报表、游戏关联画像、用户画像，根据所述实时游戏信息进行批流融合处理，以及对所述实时游戏信息进行特征工程，然后输入到完成训练的DNN推荐模型中，输出得游戏实时推荐结果。
8.根据权利要求7所述的用户游戏实时推荐方法，其特征在于：所述实时游戏信息包括用户从今日登陆至当前为止的游戏名称、游戏类型、游戏总时长、游戏胜率。
9.一种基于大数据日志分析的用户游戏实时推荐系统，应用于权利要求1～8任一项基于大数据日志分析的用户游戏实时推荐方法，其特征在于：包括日志源、采集模块、缓存模块、解析模块、离线计算模块、实时计算模块、数据库模块、可视化模块、推送服务模块，其中：
所述日志源的输出端与采集模块的输入端连接，所述采集模块的输出端与缓存模块的输入端连接，所述缓存模块的输出端与解析模块的输入端连接，所述解析模块的输出端分别于实时计算模块和数据库连接，所述实时计算模块的输出端与推送服务模块的输入端连接；
所述数据库分别与实时计算模块、离线计算模块进行双向数据交互；
所述离线计算模块的输出端与可视化模块的输入端连接。
10.根据权利要求9所述的基于大数据日志分析的用户游戏实时推荐系统，其特征在于：
所述日志源为游戏平台的日志服务器；
所述采集模块由Flume集群组成；
所述缓存模块由Kafka集群组成；
所述离线计算模块还包括游戏报表统计模块、用户画像生成模块、游戏关联生成模块，且所述离线计算模块由Apache Hadoop集群和Apache Hive组件组成，其中Apache Hadoop集群主要由HDFS和MapReduce组件构成；
所述实时计算模块还包括用户游戏分析模块、推荐内容生成模块，且所述实时计算模块由Apache Spark集群组成；
所述数据库模块由MySQL数据库集群构成；
所述可视化模块由数据可视化框架Apache Zeepelin组成。
CN201910590060.6A 2019-07-02 2019-07-02 基于大数据日志分析的用户游戏实时推荐方法及系统 Active CN110489453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910590060.6A CN110489453B (zh) 2019-07-02 2019-07-02 基于大数据日志分析的用户游戏实时推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910590060.6A CN110489453B (zh) 2019-07-02 2019-07-02 基于大数据日志分析的用户游戏实时推荐方法及系统

Publications (2)

Publication Number Publication Date
CN110489453A true CN110489453A (zh) 2019-11-22
CN110489453B CN110489453B (zh) 2023-04-14

Family

ID=68546658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910590060.6A Active CN110489453B (zh) 2019-07-02 2019-07-02 基于大数据日志分析的用户游戏实时推荐方法及系统

Country Status (1)

Country Link
CN (1) CN110489453B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107072A (zh) * 2019-12-11 2020-05-05 中国科学院信息工程研究所 一种基于认证图嵌入的异常登录行为检测方法及系统
CN111488263A (zh) * 2020-04-14 2020-08-04 北京思特奇信息技术股份有限公司 一种解析MySQL数据库中日志的方法和装置
CN111672129A (zh) * 2020-05-18 2020-09-18 苏州思酷数字科技有限公司 基于在线时间识别的防沉迷定制化游戏推荐方法及系统
CN111858278A (zh) * 2020-07-08 2020-10-30 北京国联视讯信息技术股份有限公司 基于大数据处理的日志分析方法、系统及可读存储装置
CN111870959A (zh) * 2020-08-07 2020-11-03 网易（杭州）网络有限公司 一种游戏中的资源推荐方法及装置
CN111934914A (zh) * 2020-07-15 2020-11-13 北京思特奇信息技术股份有限公司 一种传输网络同路由分析的方法和系统
CN112232909A (zh) * 2020-10-13 2021-01-15 汉唐信通(北京)科技有限公司 一种基于企业画像的商机挖掘方法
CN112506406A (zh) * 2020-12-03 2021-03-16 中国地质大学（北京） 一种基于用户习惯自学习控制的目标控制方法与系统
CN112653908A (zh) * 2020-12-21 2021-04-13 四川长虹电器股份有限公司 一种智能电视媒资实时推荐方法
CN113268589A (zh) * 2020-02-14 2021-08-17 腾讯科技（深圳）有限公司 关键用户识别方法、装置、可读存储介质和计算机设备
WO2021203319A1 (zh) * 2020-04-08 2021-10-14 深圳市欢太科技有限公司 数据查询方法、装置及服务器
CN113546426A (zh) * 2021-07-21 2021-10-26 西安理工大学 一种针对游戏业务中数据访问事件的安全策略生成方法
CN113836431A (zh) * 2021-10-19 2021-12-24 中国平安人寿保险股份有限公司 基于用户时长的用户推荐方法、装置、设备及介质
CN113852864A (zh) * 2021-06-17 2021-12-28 天翼智慧家庭科技有限公司 一种面向iptv终端应用的用户定制化服务推荐方法及系统
CN115531886A (zh) * 2022-10-08 2022-12-30 广州易幻网络科技有限公司 一种用户和设备数据管理方法、系统及可存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028531A1 (en) * 2000-01-03 2003-02-06 Jiawei Han Methods and system for mining frequent patterns
CN102760163A (zh) * 2012-06-12 2012-10-31 奇智软件（北京）有限公司 一种特征信息的个性化推荐方法及装置
CN105049526A (zh) * 2015-08-19 2015-11-11 网易（杭州）网络有限公司 一种游戏礼包推送方法、装置及系统
CN105045916A (zh) * 2015-08-20 2015-11-11 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种手机游戏推荐系统及其推荐方法
CN105631749A (zh) * 2015-12-24 2016-06-01 成都陌云科技有限公司 基于统计数据的用户画像计算方法
CN106570128A (zh) * 2016-11-03 2017-04-19 南京邮电大学 一种基于关联规则分析的挖掘算法
CN107423442A (zh) * 2017-08-07 2017-12-01 火烈鸟网络(广州)股份有限公司 基于用户画像行为分析的应用推荐方法及系统，储存介质及计算机设备
CN107526754A (zh) * 2016-09-26 2017-12-29 广州速鸿信息科技有限公司 一种基于大数据的用户画像平台建立方法
CN107844514A (zh) * 2017-09-22 2018-03-27 深圳市易成自动驾驶技术有限公司 数据挖掘方法、装置及计算机可读存储介质
US20180107695A1 (en) * 2016-10-19 2018-04-19 Futurewei Technologies, Inc. Distributed fp-growth with node table for large-scale association rule mining
CN108182605A (zh) * 2018-01-11 2018-06-19 厦门快商通信息技术有限公司 一种基于用户画像的用户行为预测方法及系统
CN108197131A (zh) * 2017-10-09 2018-06-22 国网陕西省电力公司 一种电力资产画像的构建方法及装置
CN108228595A (zh) * 2016-12-14 2018-06-29 中国电信股份有限公司 推测获得用户属性的方法和系统
CN108694606A (zh) * 2018-05-11 2018-10-23 南京邮电大学 一种基于关联规则的客户画像及服务推送方法
CN109033352A (zh) * 2018-07-25 2018-12-18 中国联合网络通信集团有限公司 一种增值业务推荐方法及装置
CN109446816A (zh) * 2018-10-18 2019-03-08 中电科大数据研究院有限公司 一种基于大数据平台审计日志的用户行为分析方法
CN109635006A (zh) * 2018-12-17 2019-04-16 山大地纬软件股份有限公司 基于Apriori的社保业务关联规则挖掘和推荐装置及方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028531A1 (en) * 2000-01-03 2003-02-06 Jiawei Han Methods and system for mining frequent patterns
CN102760163A (zh) * 2012-06-12 2012-10-31 奇智软件（北京）有限公司 一种特征信息的个性化推荐方法及装置
CN105049526A (zh) * 2015-08-19 2015-11-11 网易（杭州）网络有限公司 一种游戏礼包推送方法、装置及系统
CN105045916A (zh) * 2015-08-20 2015-11-11 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种手机游戏推荐系统及其推荐方法
CN105631749A (zh) * 2015-12-24 2016-06-01 成都陌云科技有限公司 基于统计数据的用户画像计算方法
CN107526754A (zh) * 2016-09-26 2017-12-29 广州速鸿信息科技有限公司 一种基于大数据的用户画像平台建立方法
US20180107695A1 (en) * 2016-10-19 2018-04-19 Futurewei Technologies, Inc. Distributed fp-growth with node table for large-scale association rule mining
CN106570128A (zh) * 2016-11-03 2017-04-19 南京邮电大学 一种基于关联规则分析的挖掘算法
CN108228595A (zh) * 2016-12-14 2018-06-29 中国电信股份有限公司 推测获得用户属性的方法和系统
CN107423442A (zh) * 2017-08-07 2017-12-01 火烈鸟网络(广州)股份有限公司 基于用户画像行为分析的应用推荐方法及系统，储存介质及计算机设备
CN107844514A (zh) * 2017-09-22 2018-03-27 深圳市易成自动驾驶技术有限公司 数据挖掘方法、装置及计算机可读存储介质
CN108197131A (zh) * 2017-10-09 2018-06-22 国网陕西省电力公司 一种电力资产画像的构建方法及装置
CN108182605A (zh) * 2018-01-11 2018-06-19 厦门快商通信息技术有限公司 一种基于用户画像的用户行为预测方法及系统
CN108694606A (zh) * 2018-05-11 2018-10-23 南京邮电大学 一种基于关联规则的客户画像及服务推送方法
CN109033352A (zh) * 2018-07-25 2018-12-18 中国联合网络通信集团有限公司 一种增值业务推荐方法及装置
CN109446816A (zh) * 2018-10-18 2019-03-08 中电科大数据研究院有限公司 一种基于大数据平台审计日志的用户行为分析方法
CN109635006A (zh) * 2018-12-17 2019-04-16 山大地纬软件股份有限公司 基于Apriori的社保业务关联规则挖掘和推荐装置及方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107072A (zh) * 2019-12-11 2020-05-05 中国科学院信息工程研究所 一种基于认证图嵌入的异常登录行为检测方法及系统
CN113268589A (zh) * 2020-02-14 2021-08-17 腾讯科技（深圳）有限公司 关键用户识别方法、装置、可读存储介质和计算机设备
CN113268589B (zh) * 2020-02-14 2023-09-22 腾讯科技（深圳）有限公司 关键用户识别方法、装置、可读存储介质和计算机设备
WO2021203319A1 (zh) * 2020-04-08 2021-10-14 深圳市欢太科技有限公司 数据查询方法、装置及服务器
CN111488263A (zh) * 2020-04-14 2020-08-04 北京思特奇信息技术股份有限公司 一种解析MySQL数据库中日志的方法和装置
CN111672129A (zh) * 2020-05-18 2020-09-18 苏州思酷数字科技有限公司 基于在线时间识别的防沉迷定制化游戏推荐方法及系统
CN111858278A (zh) * 2020-07-08 2020-10-30 北京国联视讯信息技术股份有限公司 基于大数据处理的日志分析方法、系统及可读存储装置
CN111934914A (zh) * 2020-07-15 2020-11-13 北京思特奇信息技术股份有限公司 一种传输网络同路由分析的方法和系统
CN111934914B (zh) * 2020-07-15 2022-01-18 北京思特奇信息技术股份有限公司 一种传输网络同路由分析的方法和系统
CN111870959A (zh) * 2020-08-07 2020-11-03 网易（杭州）网络有限公司 一种游戏中的资源推荐方法及装置
CN111870959B (zh) * 2020-08-07 2023-10-27 网易（杭州）网络有限公司 一种游戏中的资源推荐方法及装置
CN112232909A (zh) * 2020-10-13 2021-01-15 汉唐信通(北京)科技有限公司 一种基于企业画像的商机挖掘方法
CN112506406A (zh) * 2020-12-03 2021-03-16 中国地质大学（北京） 一种基于用户习惯自学习控制的目标控制方法与系统
CN112653908A (zh) * 2020-12-21 2021-04-13 四川长虹电器股份有限公司 一种智能电视媒资实时推荐方法
CN112653908B (zh) * 2020-12-21 2022-02-01 四川长虹电器股份有限公司 一种智能电视媒资实时推荐方法
CN113852864A (zh) * 2021-06-17 2021-12-28 天翼智慧家庭科技有限公司 一种面向iptv终端应用的用户定制化服务推荐方法及系统
CN113546426A (zh) * 2021-07-21 2021-10-26 西安理工大学 一种针对游戏业务中数据访问事件的安全策略生成方法
CN113546426B (zh) * 2021-07-21 2023-08-22 西安理工大学 一种针对游戏业务中数据访问事件的安全策略生成方法
CN113836431A (zh) * 2021-10-19 2021-12-24 中国平安人寿保险股份有限公司 基于用户时长的用户推荐方法、装置、设备及介质
CN115531886A (zh) * 2022-10-08 2022-12-30 广州易幻网络科技有限公司 一种用户和设备数据管理方法、系统及可存储介质

Also Published As

Publication number Publication date
CN110489453B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN110489453A (zh) 基于大数据日志分析的用户游戏实时推荐方法及系统
Peng et al. Reinforced, incremental and cross-lingual event detection from social messages
CN109960726B (zh) 文本分类模型构建方法、装置、终端及存储介质
CN112104642B (zh) 一种异常账号确定方法和相关装置
CN110364146A (zh) 语音识别方法、装置、语音识别设备及存储介质
CN112749608A (zh) 视频审核方法、装置、计算机设备和存储介质
CN105573995A (zh) 一种兴趣识别方法、设备以及数据分析方法
CN111729310B (zh) 游戏道具的整理方法、装置和电子设备
CN113011884B (zh) 账户特征的提取方法、装置、设备及可读存储介质
CN110009416A (zh) 一种基于大数据清洗和ai精准营销的系统
CN107368499B (zh) 一种客户标签建模及推荐方法及装置
CN106559498A (zh) 风控数据收集平台及其收集方法
CN114238607B (zh) 深度交互式ai智能求职顾问方法、系统及存储介质
CN108446333A (zh) 一种大数据文本挖掘处理系统及其方法
CN111310918A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN116450982A (zh) 一种基于云服务推送的大数据分析方法及系统
CN114491093B (zh) 多媒体资源推荐、对象表征网络的生成方法及装置
JP2009187395A (ja) トピック分析装置、方法及びプログラム
CN114266352A (zh) 模型训练结果优化方法、装置、存储介质及设备
CN103645889B (zh) 软件自适应的动态生成方法
CN115130453A (zh) 互动信息生成方法和装置
CN112348257A (zh) 一种多源数据融合与时序分析驱动的选举预测方法
CN111143688A (zh) 一种基于移动新闻客户端的评估方法及其系统
CN110348958A (zh) 一种个性化推荐方法和系统
JP2009265908A (ja) 個人プロファイル抽出方法、人物検索方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant