CN111179048B - 基于spark的用户资讯个性化分析方法、装置及系统 - Google Patents

基于spark的用户资讯个性化分析方法、装置及系统 Download PDF

Info

Publication number
CN111179048B
CN111179048B CN201911418238.5A CN201911418238A CN111179048B CN 111179048 B CN111179048 B CN 111179048B CN 201911418238 A CN201911418238 A CN 201911418238A CN 111179048 B CN111179048 B CN 111179048B
Authority
CN
China
Prior art keywords
information
user
type
characteristic information
personalized analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911418238.5A
Other languages
English (en)
Other versions
CN111179048A (zh
Inventor
狄潇然
张静
张亚泽
王志恒
朱阿龙
郑小虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN201911418238.5A priority Critical patent/CN111179048B/zh
Publication of CN111179048A publication Critical patent/CN111179048A/zh
Application granted granted Critical
Publication of CN111179048B publication Critical patent/CN111179048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Technology Law (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种基于SPARK的用户资讯个性化分析方法、装置及系统，包括：第一服务器确定多维度的用户特征信息与资讯标签的关联程度、用户特征信息的类型，按照类型将用户特征信息、资讯标签、关联程度存入映射表中，将用户特征信息和类型标识存入特征标识表中并将其广播到SPARK平台的各个节点中，获取实际的多维度的用户特征信息并广播到SPARK平台的各个节点中；SPARK平台的各个节点将实际的多维度的用户特征信息转换为RDD，根据RDD、映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据输出至第一服务器。该方案可以在资讯服务上线时就为用户提供个性化服务，提高客户体验度。

Description

基于SPARK的用户资讯个性化分析方法、装置及系统
技术领域
本发明涉及数据分析技术领域，特别涉及一种基于SPARK的用户资讯个性化分析方法、装置及系统。
背景技术
在互联网时代，有效运用大数据开展针对用户的资讯个性化服务已经成为一种趋势，然而资讯服务(比如金融资讯服务)上线之前往往没有用户与资讯之间的交互行为数据，只能让资讯服务先上线，再采集用户-资讯交互数据或主观制定一些规则，强制完成个性化服务，这种方法具有如下缺点：
1)进行个性化服务之前，需要积累、分析用户行为数据，计算用户喜好。这样数据采集周期长、效率低下、时间成本高、数据量无保障；
2)往往只重视用户-资讯交互数据，忽略用户特征本身所隐藏的信息以及与资讯标签的关联性，数据维度单一、多样性差；
3)使用规则强制进行个性化服务过于主观、暴力；
这些因素直接导致无法做到资讯服务上线之时就为用户提供高质量个性化服务，严重影响客户体验。
发明内容
本发明实施例提供了一种基于SPARK的用户资讯个性化分析方法、装置及系统，解决了现有技术中法做到资讯服务上线之时就为用户提供高质量个性化服务，严重影响客户体验的技术问题。
本发明实施例提供了一种基于SPARK的用户资讯个性化分析方法，该方法包括：
第一服务器确定多维度的用户特征信息与资讯标签的关联程度；
第一服务器确定多维度的用户特征信息的类型；
第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，将多维度的用户特征信息和类型标识存入特征标识表中；
第一服务器将所述映射表和特征标识表广播到SPARK平台的各个节点中；
第一服务器获取实际的多维度的用户特征信息，并广播到SPARK平台的各个节点中；
SPARK平台的各个节点将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据输出至第一服务器。
本发明实施例提供了一种基于SPARK的用户资讯个性化分析方法，该方法包括：
确定多维度的用户特征信息与资讯标签的关联程度；
确定多维度的用户特征信息的类型；
按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，将多维度的用户特征信息和类型标识存入特征标识表中；
将所述映射表和特征标识表广播到SPARK平台的各个节点中；
获取实际的多维度的用户特征信息，并将实际的多维度的用户特征信息广播到SPARK平台的各个节点中；
接收SPARK平台的各个节点输出的个性化分析数据，所述个性化分析数据为SPARK平台的各个节点将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射后而生成的。
本发明实施例提供了一种基于SPARK的用户资讯个性化分析方法，该方法包括：
接收第一服务器广播的映射表和特征标识表，其中，映射表由第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、多维度的用户特征信息与资讯标签的关联程度存入而得；特征标识表由第一服务器多维度的用户特征信息的类型，将多维度的用户特征信息和类型标识存入而得；
接收第一服务器广播的实际的多维度的用户特征信息；
将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据并发送至第一服务器。
本发明实施例提供了一种基于SPARK的用户资讯个性化分析系统，该系统包括：第一服务器和SPARK平台的各个节点；
所述第一服务器和SPARK平台的各个节点用于：实现上述所述的基于SPARK的用户资讯个性化分析方法。
本发明实施例提供了一种基于SPARK的用户资讯个性化分析装置，该装置包括：
关联程度确定模块，用于确定多维度的用户特征信息与资讯标签的关联程度；
类型确定模块，用于确定多维度的用户特征信息的类型；
数据表生成模块，用于按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，将多维度的用户特征信息和类型标识存入特征标识表中；
广播模块，用于将所述映射表和特征标识表广播到SPARK平台的各个节点中；
用户特征信息获取模块，用于获取实际的多维度的用户特征信息；
所述广播模块还用于：将实际的多维度的用户特征信息广播到SPARK平台的各个节点中；
个性化分析数据接收模块，用于接收SPARK平台的各个节点输出的个性化分析数据，所述个性化分析数据为SPARK平台的各个节点将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射后而生成的。
本发明实施例提供了一种基于SPARK的用户资讯个性化分析装置，该装置包括：
数据表接收模块，用于接收第一服务器广播的映射表和特征标识表，其中，映射表由第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、多维度的用户特征信息与资讯标签的关联程度存入而得；特征标识表由第一服务器多维度的用户特征信息的类型，将多维度的用户特征信息和类型标识存入而得；
用户特征信息接收模块，用于接收第一服务器广播的实际的多维度的用户特征信息；
RDD算子模块，用于将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据并发送至第一服务器。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
在本发明实施例中，通过综合分析用户特征信息与资讯标签之间的关联程度，通过设计映射表、特征标识表，使得用户特征信息向资讯标签的映射计算过程适用于RDD的计算逻辑，从而构建RDD，基于RDD能高效地完成用户各特征向金融资讯标签的映射，以此为基础生成海量的个性化分析数据，这样就可以在资讯服务上线时就为用户提供个性化服务，提高了客户的体验度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于SPARK的用户资讯个性化分析方法流程图(系统角度)；
图2是本发明实施例提供的一种基于SPARK的用户资讯个性化分析方法流程图(第一服务器角度)；
图3是本发明实施例提供的一种基于SPARK的用户资讯个性化分析方法流程图(SPARK平台的各个节点角度)；
图4是本发明实施例提供的一种基于SPARK的用户资讯个性化分析装置结构框图(第一服务器角度)；
图5是本发明实施例提供的一种基于SPARK的用户资讯个性化分析装置结构框图(SPARK平台的各个节点角度)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
技术术语解释：
SPARK平台：Apache Spark是一种分布式计算框架，基于内存计算和并行计算，支持对数据集的多种操作，如：map,filter,flatmap,reduceByKey等，这些操作统称为算子。它将要计算的数据和中间计算结果缓存到内存中，这样可以减少读写磁盘的次数，降低了网络传输带来的代价。将数据预处理算法在Spark上运行实现既能够提升效率，又能有效地利用资源。
弹性分布式数据集(RDD)：RDD是Spark中的核心概念，叫弹性分布式数据集。首先，它是数据集，以HDFS上的数据文件为例，它在逻辑上抽象地代表了一个HDFS文件。其次，它实际上是被分区的，它被分为多个分区。多个分区散落在Spark集群中，不同的节点上。通常一个HDFS文件被分成多少个block，则对应RDD就会有多少个分区，这个分区数也是默认的最大并发度。这也是它叫分布式的缘由。
交互：即交流互动。通过某个具有交互功能的互联网平台，让用户不仅可以获取相关资讯、信息或服务，还能使用户与平台之间相互交流与互动。
HIVE数据仓库：HIVE是基于HADOOP的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。
在本发明实施例中，提供了一种基于SPARK的用户资讯个性化分析方法，如图1所示，该方法包括：
步骤101：第一服务器确定多维度的用户特征信息与资讯标签的关联程度；
步骤102：第一服务器确定多维度的用户特征信息的类型；
步骤103：第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，将多维度的用户特征信息和类型标识存入特征标识表中；
步骤104：第一服务器将所述映射表和特征标识表广播到SPARK平台的各个节点中；
步骤105：第一服务器获取实际的多维度的用户特征信息，并广播到SPARK平台的各个节点中；
步骤106：SPARK平台的各个节点将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据输出至第一服务器。
在本发明实施例中，第一服务器会将实际的多维度的用户特征信息存入HIVE中。对于金融资讯的服务上线，可以分析用户的基本信息、资产负债、持仓信息等三个维度的数据，使用HIVE-SQL对数据进行加工、清洗，将三个维度的数据按照主键(比如用户ID)进行关联，得到基础数据。对基础数据表进行加工，生成用户基本信息、资产负债、持仓三张表。梳理用户特征与金融资讯标签的关联程度表，其中每条数据记录了某特征取值为X时，对应金融资讯标签1的权重为w1，标签2的权重为w2，以此类推。权重取值为0-1，0标识不相关，1表示强相关。
每一个用户会有M个特征，每个特征根据取值参照“用户特征与金融资讯标签关联程度表”会关联出一条金融资讯标签权重数据，这条数据中每个标签的权重代表该用户对此标签的“感兴趣”程度。M个特征就会关联出M条金融资讯标签权重数据，这M条数据就是生成的个性化分析数据。权重在这里是根据人的先验知识提前确定的一个参考。
在本发明实施例中，用户特征信息的类型可以额包括离散型特征或连续型特征；
第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中(步骤103)，包括：
设定离散型特征的命名规则和连续型特征的命名规则；
按照离散型特征的命名规则、连续型特征的命名规则，将多维度的用户特征信息、资讯标签、关联程度存入映射表中。
第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息和类型标识存入特征标识表中(步骤103)，包括：
设定离散型特征的标识和连续型特征的标识；
按照离散型特征的标识、连续型特征的标识，将多维度的用户特征信息和类型标识存入特征标识表中。
具体的，用户特征信息与资讯标签的映射表A的结构：第一列是用户特征列，包含用户基本信息、资产负债、持仓这三张表的所有特征信息，其余各列分别是金融资讯标签。
用户特征列中离散型特征的命名规则为：原特征名+“_”+各取值；连续型特征的命名规则为：
1.最小区间：原特征名+“_”+第一个分割点；
2.中间区间：原特征名+“_”+左分割点+“_”+右分割点；
3.最大区间：原特征名+“_”+最后一个分割点；
其中，分割点需根据特征含义提前划定。
其次，设计特征连续、离散型标识表B结构。离散型特征使用discrete标识；连续型特征使用分割点1+“_”+分割点2+“_”+分割点N进行标识；表A、表B结构见表1、表2。
表1特征信息值与资讯标签的映射表(示例)
Figure BDA0002351722440000071
表2特征连续、离散型标识表(示例)
colName colType
sex discrete
tM 10000:1000000
在本发明实施例中，SPARK平台的各个节点根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据(步骤106)，包括：
根据特征标识表确定RDD中每条用户特征信息的特征类型；
根据每条用户特征信息的特征类型、每条用户特征信息的取值、所述映射表，确定每条用户特征信息对应的资讯标签及关联程度；
根据每条用户特征信息对应的资讯标签及关联程度生成个性化分析数据。
还包括：
SPARK平台的各个节点将个性化分析数据进行格式转换，获得格式转换后的个性化分析数据；
SPARK平台的各个节点将所述格式转换后的个性化分析数据输出至第一服务器。
还包括：第一服务器将格式转换后的个性化分析数据存入HIVE中。
具体的，构建数据转换算子转换用户基本信息、资产负债、持仓表数据为RDD；表A、表B的结构以及命名规则使得用户特征向金融资讯标签的映射适用于RDD的计算逻辑，也就是表A、表B的结构以及命名规则构建特征映射算子，加载广播变量表A、表B数据。运用spark集群分布式算力，完成用户各特征向金融资讯标签的映射，其中，RDD中的每一条数据的每一个特征根据表B确定特征类型，再根据特征具体取值与表A确定该条数据该特征对应的金融资讯标签数据，此时RDD中的数据量＝原始RDD数据量×特征数；构建拓展算子，将已完成的用户特征-金融资讯标签RDD进行格式转换，构建持久化算子，将最终的交互行为数据持久化到HIVE。
基于同一发明构思，本发明实施例中还提供了一种基于SPARK的用户资讯个性化分析方法，应用于第一服务器，如图2所示，包括：
步骤201：确定多维度的用户特征信息与资讯标签的关联程度；
步骤202：确定多维度的用户特征信息的类型；
步骤203：按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，将多维度的用户特征信息和类型标识存入特征标识表中；
步骤204：将所述映射表和特征标识表广播到SPARK平台的各个节点中；
步骤205：获取实际的多维度的用户特征信息，并将实际的多维度的用户特征信息广播到SPARK平台的各个节点中；
步骤206：接收SPARK平台的各个节点输出的个性化分析数据，所述个性化分析数据为SPARK平台的各个节点将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射后而生成的。
在本发明实施例中，所述用户特征信息的类型包括离散型特征或连续型特征；
按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，包括：
设定离散型特征的命名规则和连续型特征的命名规则；
按照离散型特征的命名规则、连续型特征的命名规则，将多维度的用户特征信息、资讯标签、关联程度存入映射表中。
在本发明实施例中，所述用户特征信息的类型包括离散型特征或连续型特征；
按照多维度的用户特征信息的类型，将多维度的用户特征信息和类型标识存入特征标识表中，包括：
设定离散型特征的标识和连续型特征的标识；
按照离散型特征的标识、连续型特征的标识，将多维度的用户特征信息和类型标识存入特征标识表中。
在本发明实施例中，还包括：
接收转换后的个性化分析数据，所述转换后的个性化分析数据由SPARK平台的各个节点将个性化分析数据进行格式转换而得。
在本发明实施例中，还包括：
将实际的多维度的用户特征信息、格式转换后的个性化分析数据存入HIVE中存入HIVE中。
基于同一发明构思，本发明实施例中还提供了一种基于SPARK的用户资讯个性化分析方法，应用于SPARK平台的各个节点中，如图3所示，包括：
步骤301：接收第一服务器广播的映射表和特征标识表，其中，映射表由第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、多维度的用户特征信息与资讯标签的关联程度存入而得；特征标识表由第一服务器多维度的用户特征信息的类型，将多维度的用户特征信息和类型标识存入而得；
步骤302：接收第一服务器广播的实际的多维度的用户特征信息；
步骤303：将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据并发送至第一服务器。
在本发明实施例中，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据，包括：
根据特征标识表确定RDD中每条用户特征信息的特征类型；
根据每条用户特征信息的特征类型、每条用户特征信息的取值、所述映射表，确定每条用户特征信息对应的资讯标签及关联程度；
根据每条用户特征信息对应的资讯标签及关联程度生成个性化分析数据。
在本发明实施例中，还包括：
将个性化分析数据进行格式转换，获得格式转换后的个性化分析数据；
将所述格式转换后的个性化分析数据输出至第一服务器。
基于同一发明构思，本发明实施例中还提供了一种基于SPARK的用户资讯个性化分析系统，包括：第一服务器和SPARK平台的各个节点；
所述第一服务器和SPARK平台的各个节点用于：实现上述所述的基于SPARK的用户资讯个性化分析方法。
基于同一发明构思，本发明实施例中还提供了一种基于SPARK的用户资讯个性化分析装置，如下面的实施例所述。由于基于SPARK的用户资讯个性化分析装置解决问题的原理与基于SPARK的用户资讯个性化分析方法相似，因此基于SPARK的用户资讯个性化分析装置的实施可以参见基于SPARK的用户资讯个性化分析方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是本发明实施例提供的一种基于SPARK的用户资讯个性化分析装置结构框图(第一服务器角度)，如图4所示，包括：
关联程度确定模块401，用于确定多维度的用户特征信息与资讯标签的关联程度；
类型确定模块402，用于确定多维度的用户特征信息的类型；
数据表生成模块403，用于按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，将多维度的用户特征信息和类型标识存入特征标识表中；
广播模块404，用于将所述映射表和特征标识表广播到SPARK平台的各个节点中；
用户特征信息获取模块405，用于获取实际的多维度的用户特征信息；
所述广播模块404还用于：将实际的多维度的用户特征信息广播到SPARK平台的各个节点中；
个性化分析数据接收模块406，用于接收SPARK平台的各个节点输出的个性化分析数据，所述个性化分析数据为SPARK平台的各个节点将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射后而生成的。
在本发明实施例中，所述用户特征信息的类型包括离散型特征或连续型特征；
所述数据表生成模块403具体用于：
设定离散型特征的命名规则和连续型特征的命名规则；
按照离散型特征的命名规则、连续型特征的命名规则，将多维度的用户特征信息、资讯标签、关联程度存入映射表中。
在本发明实施例中，所述用户特征信息的类型包括离散型特征或连续型特征；
所述数据表生成模块403具体用于：
设定离散型特征的标识和连续型特征的标识；
按照离散型特征的标识、连续型特征的标识，将多维度的用户特征信息和类型标识存入特征标识表中。
在本发明实施例中，所述个性化分析数据接收模块406具体用于：
接收转换后的个性化分析数据，所述转换后的个性化分析数据由SPARK平台的各个节点将个性化分析数据进行格式转换而得。
在本发明实施例中，还包括：
存入模块，用于将实际的多维度的用户特征信息、格式转换后的个性化分析数据存入HIVE中。
图5是本发明实施例提供的一种基于SPARK的用户资讯个性化分析装置结构框图(SPARK平台的各个节点角度)，如图5所示，包括：
数据表接收模块501，用于接收第一服务器广播的映射表和特征标识表，其中，映射表由第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、多维度的用户特征信息与资讯标签的关联程度存入而得；特征标识表由第一服务器多维度的用户特征信息的类型，将多维度的用户特征信息和类型标识存入而得；
用户特征信息接收模块502，用于接收第一服务器广播的实际的多维度的用户特征信息；
RDD算子模块503，用于将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据并发送至第一服务器。
在本发明实施例中，RDD算子模块503具体用于：
根据特征标识表确定RDD中每条用户特征信息的特征类型；
根据每条用户特征信息的特征类型、每条用户特征信息的取值、所述映射表，确定每条用户特征信息对应的资讯标签及关联程度；
根据每条用户特征信息对应的资讯标签及关联程度生成个性化分析数据。
在本发明实施例中，RDD算子模块503还用于：
将个性化分析数据进行格式转换，获得格式转换后的个性化分析数据；
将所述格式转换后的个性化分析数据输出至第一服务器。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
综上所述，本发明具有如下有益效果：
1)综合分析用户的多维度的数据，提高数据多样性，更加全面的分析确定影响客户对于资讯偏好的主、客观因素；
2)梳理用户特征与资讯标签的关联程度，设计合理的表结构及特征命名规则，使得用户特征向资讯标签的映射适用于RDD的计算逻辑，以此为基础，生成大规模的可以用于进行用户个性化分析的数据，从而使资讯服务上线之时就为用户提供高质量个性化服务成为可能；
3)构建高效的RDD算子，运用SPARK的强大算力在内存中完成大规模数据的生成，提高效率、降低磁盘读写损耗。
4)由数据驱动，基于用户特征生成可供用户个性化分析的数据，降低人为主观因素带来的风险。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (25)

1.一种基于SPARK的用户资讯个性化分析方法，其特征在于，包括：
第一服务器确定多维度的用户特征信息与资讯标签的关联程度；
第一服务器确定多维度的用户特征信息的类型；
第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，将多维度的用户特征信息和类型标识存入特征标识表中；
第一服务器将所述映射表和特征标识表广播到SPARK平台的各个节点中；
第一服务器获取实际的多维度的用户特征信息，并广播到SPARK平台的各个节点中；
SPARK平台的各个节点将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据输出至第一服务器。
2.如权利要求1所述的基于SPARK的用户资讯个性化分析方法，其特征在于，所述用户特征信息的类型包括离散型特征或连续型特征；
第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，包括：
设定离散型特征的命名规则和连续型特征的命名规则；
按照离散型特征的命名规则、连续型特征的命名规则，将多维度的用户特征信息、资讯标签、关联程度存入映射表中。
3.如权利要求1所述的基于SPARK的用户资讯个性化分析方法，其特征在于，所述用户特征信息的类型包括离散型特征或连续型特征；
第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息和类型标识存入特征标识表中，包括：
设定离散型特征的标识和连续型特征的标识；
按照离散型特征的标识、连续型特征的标识，将多维度的用户特征信息和类型标识存入特征标识表中。
4.如权利要求1所述的基于SPARK的用户资讯个性化分析方法，其特征在于，SPARK平台的各个节点根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据，包括：
根据特征标识表确定RDD中每条用户特征信息的特征类型；
根据每条用户特征信息的特征类型、每条用户特征信息的取值、所述映射表，确定每条用户特征信息对应的资讯标签及关联程度；
根据每条用户特征信息对应的资讯标签及关联程度生成个性化分析数据。
5.如权利要求1所述的基于SPARK的用户资讯个性化分析方法，其特征在于，还包括：
SPARK平台的各个节点将个性化分析数据进行格式转换，获得格式转换后的个性化分析数据；
SPARK平台的各个节点将所述格式转换后的个性化分析数据输出至第一服务器。
6.如权利要求5所述的基于SPARK的用户资讯个性化分析方法，其特征在于，还包括：
第一服务器将实际的多维度的用户特征信息存入HIVE中；
第一服务器将格式转换后的个性化分析数据存入HIVE中。
7.一种基于SPARK的用户资讯个性化分析方法，应用于第一服务器，其特征在于，包括：
确定多维度的用户特征信息与资讯标签的关联程度；
确定多维度的用户特征信息的类型；
按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，将多维度的用户特征信息和类型标识存入特征标识表中；
将所述映射表和特征标识表广播到SPARK平台的各个节点中；
获取实际的多维度的用户特征信息，并将实际的多维度的用户特征信息广播到SPARK平台的各个节点中；
接收SPARK平台的各个节点输出的个性化分析数据，所述个性化分析数据为SPARK平台的各个节点将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射后而生成的。
8.如权利要求7所述的基于SPARK的用户资讯个性化分析方法，其特征在于，所述用户特征信息的类型包括离散型特征或连续型特征；
按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，包括：
设定离散型特征的命名规则和连续型特征的命名规则；
按照离散型特征的命名规则、连续型特征的命名规则，将多维度的用户特征信息、资讯标签、关联程度存入映射表中。
9.如权利要求7所述的基于SPARK的用户资讯个性化分析方法，其特征在于，所述用户特征信息的类型包括离散型特征或连续型特征；
按照多维度的用户特征信息的类型，将多维度的用户特征信息和类型标识存入特征标识表中，包括：
设定离散型特征的标识和连续型特征的标识；
按照离散型特征的标识、连续型特征的标识，将多维度的用户特征信息和类型标识存入特征标识表中。
10.如权利要求7所述的基于SPARK的用户资讯个性化分析方法，其特征在于，还包括：
接收转换后的个性化分析数据，所述转换后的个性化分析数据由SPARK平台的各个节点将个性化分析数据进行格式转换而得。
11.如权利要求10所述的基于SPARK的用户资讯个性化分析方法，其特征在于，还包括：
将实际的多维度的用户特征信息、格式转换后的个性化分析数据存入HIVE中存入HIVE中。
12.一种基于SPARK的用户资讯个性化分析方法，应用于SPARK平台的各个节点中，其特征在于，包括：
接收第一服务器广播的映射表和特征标识表，其中，映射表由第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、多维度的用户特征信息与资讯标签的关联程度存入而得；特征标识表由第一服务器多维度的用户特征信息的类型，将多维度的用户特征信息和类型标识存入而得；
接收第一服务器广播的实际的多维度的用户特征信息；
将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据并发送至第一服务器。
13.如权利要求12所述的基于SPARK的用户资讯个性化分析方法，其特征在于，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据，包括：
根据特征标识表确定RDD中每条用户特征信息的特征类型；
根据每条用户特征信息的特征类型、每条用户特征信息的取值、所述映射表，确定每条用户特征信息对应的资讯标签及关联程度；
根据每条用户特征信息对应的资讯标签及关联程度生成个性化分析数据。
14.如权利要求12所述的基于SPARK的用户资讯个性化分析方法，其特征在于，还包括：
将个性化分析数据进行格式转换，获得格式转换后的个性化分析数据；
将所述格式转换后的个性化分析数据输出至第一服务器。
15.一种基于SPARK的用户资讯个性化分析系统，其特征在于，包括：第一服务器和SPARK平台的各个节点；
所述第一服务器和SPARK平台的各个节点用于：实现如权利要求1至6任一项所述的基于SPARK的用户资讯个性化分析方法。
16.一种基于SPARK的用户资讯个性化分析装置，其特征在于，包括：
关联程度确定模块，用于确定多维度的用户特征信息与资讯标签的关联程度；
类型确定模块，用于确定多维度的用户特征信息的类型；
数据表生成模块，用于按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、关联程度存入映射表中，将多维度的用户特征信息和类型标识存入特征标识表中；
广播模块，用于将所述映射表和特征标识表广播到SPARK平台的各个节点中；
用户特征信息获取模块，用于获取实际的多维度的用户特征信息；
所述广播模块还用于：将实际的多维度的用户特征信息广播到SPARK平台的各个节点中；
个性化分析数据接收模块，用于接收SPARK平台的各个节点输出的个性化分析数据，所述个性化分析数据为SPARK平台的各个节点将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射后而生成的。
17.如权利要求16所述的基于SPARK的用户资讯个性化分析装置，其特征在于，所述用户特征信息的类型包括离散型特征或连续型特征；
所述数据表生成模块具体用于：
设定离散型特征的命名规则和连续型特征的命名规则；
按照离散型特征的命名规则、连续型特征的命名规则，将多维度的用户特征信息、资讯标签、关联程度存入映射表中。
18.如权利要求16所述的基于SPARK的用户资讯个性化分析装置，其特征在于，所述用户特征信息的类型包括离散型特征或连续型特征；
所述数据表生成模块具体用于：
设定离散型特征的标识和连续型特征的标识；
按照离散型特征的标识、连续型特征的标识，将多维度的用户特征信息和类型标识存入特征标识表中。
19.如权利要求16所述的基于SPARK的用户资讯个性化分析装置，其特征在于，所述个性化分析数据接收模块具体用于：
接收转换后的个性化分析数据，所述转换后的个性化分析数据由SPARK平台的各个节点将个性化分析数据进行格式转换而得。
20.如权利要求16所述的基于SPARK的用户资讯个性化分析装置，其特征在于，还包括：
存入模块，用于将实际的多维度的用户特征信息、格式转换后的个性化分析数据存入HIVE中。
21.一种基于SPARK的用户资讯个性化分析装置，其特征在于，包括：
数据表接收模块，用于接收第一服务器广播的映射表和特征标识表，其中，映射表由第一服务器按照多维度的用户特征信息的类型，将多维度的用户特征信息、资讯标签、多维度的用户特征信息与资讯标签的关联程度存入而得；特征标识表由第一服务器多维度的用户特征信息的类型，将多维度的用户特征信息和类型标识存入而得；
用户特征信息接收模块，用于接收第一服务器广播的实际的多维度的用户特征信息；
RDD算子模块，用于将所述实际的多维度的用户特征信息转换为弹性分布式数据集RDD，根据RDD、所述映射表和特征标识表进行多维度的用户特征信息向资讯标签的映射，基于映射生成个性化分析数据并发送至第一服务器。
22.如权利要求21所述的基于SPARK的用户资讯个性化分析装置，其特征在于，RDD算子模块具体用于：
根据特征标识表确定RDD中每条用户特征信息的特征类型；
根据每条用户特征信息的特征类型、每条用户特征信息的取值、所述映射表，确定每条用户特征信息对应的资讯标签及关联程度；
根据每条用户特征信息对应的资讯标签及关联程度生成个性化分析数据。
23.如权利要求21所述的基于SPARK的用户资讯个性化分析装置，其特征在于，RDD算子模块还用于：
将个性化分析数据进行格式转换，获得格式转换后的个性化分析数据；
将所述格式转换后的个性化分析数据输出至第一服务器。
24.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至14任一项所述方法。
25.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至14任一项所述方法的计算机程序。
CN201911418238.5A 2019-12-31 2019-12-31 基于spark的用户资讯个性化分析方法、装置及系统 Active CN111179048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911418238.5A CN111179048B (zh) 2019-12-31 2019-12-31 基于spark的用户资讯个性化分析方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911418238.5A CN111179048B (zh) 2019-12-31 2019-12-31 基于spark的用户资讯个性化分析方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111179048A CN111179048A (zh) 2020-05-19
CN111179048B true CN111179048B (zh) 2023-05-02

Family

ID=70655915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911418238.5A Active CN111179048B (zh) 2019-12-31 2019-12-31 基于spark的用户资讯个性化分析方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111179048B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017096941A1 (zh) * 2015-12-11 2017-06-15 深圳市华讯方舟软件技术有限公司 一种基于Spark-SQL大数据处理平台的后台刷新方法
US10467201B1 (en) * 2015-12-23 2019-11-05 Massachusetts Mutual Life Insurance Company Systems and methods for integration and analysis of data records

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417273B2 (en) * 2017-01-05 2019-09-17 International Business Machines Corporation Multimedia analytics in spark using docker

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017096941A1 (zh) * 2015-12-11 2017-06-15 深圳市华讯方舟软件技术有限公司 一种基于Spark-SQL大数据处理平台的后台刷新方法
US10467201B1 (en) * 2015-12-23 2019-11-05 Massachusetts Mutual Life Insurance Company Systems and methods for integration and analysis of data records

Also Published As

Publication number Publication date
CN111179048A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
Lam et al. One button machine for automating feature engineering in relational databases
US20160162793A1 (en) Method and apparatus for decision tree based search result ranking
CN111258978B (zh) 一种数据存储的方法
US20080222634A1 (en) Parallel processing for etl processes
CN111881326A (zh) 一种图数据存储方法、装置、设备及可读存储介质
CN103309869A (zh) 数据对象的展示关键词推荐方法及系统
Elagib et al. Big data analysis solutions using MapReduce framework
CN105786941B (zh) 一种信息挖掘方法和装置
CN111967521A (zh) 跨境活跃用户识别方法及装置
CN106557483B (zh) 一种数据处理、数据查询方法及设备
CN111400301B (zh) 一种数据查询方法、装置及设备
US20140324861A1 (en) Block Partitioning For Efficient Record Processing In Parallel Computing Environment
CA3130648A1 (en) Data processing query method and device based on olap pre-calculation model
CN111179048B (zh) 基于spark的用户资讯个性化分析方法、装置及系统
CN110909072B (zh) 一种数据表建立方法、装置及设备
Gupta et al. An approach for optimizing the performance for apache spark applications
CN111400370A (zh) 数据流通中的数据监控方法及装置、存储介质、服务器
CN113220530B (zh) 数据质量监控方法及平台
CN106528849B (zh) 面向完整历史记录的图查询开销方法
CN115525696A (zh) 指标值查询方法及装置、介质、电子设备
CN110929207B (zh) 数据处理方法、装置和计算机可读存储介质
CN110427390A (zh) 数据查询方法及装置、存储介质、电子装置
KR101638048B1 (ko) 맵리듀스를 이용한 sql 질의처리방법
CN111552561B (zh) 一种任务处理方法及装置
CN111831425B (zh) 一种数据处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant