CN110442761A - 一种用户画像构建方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种用户画像构建方法，包括：获取包括用户行为信息的子数据表；将子数据表生成预设格式数据表，预设格式数据表包括若干条记录信息，每条记录信息对应一个用户标识；根据用户行为信息生成与记录信息对应的用户标签；将预设格式数据表和数据库的历史数据中用户标识相同的记录信息进行合并，将用户标签与合并后的用户标识进行关联并重新写入数据库；获取用户选择条件，用户选择条件包括与用户标签对应的标签信息；根据用户选择条件从数据库中选择出与标签信息对应的用户标识。本发明还公开一种电子设备及存储介质，本发明可以实现多数据源接入，可以更好的分析和挖掘数据，利于精准营销。

Description

一种用户画像构建方法、电子设备及存储介质

技术领域

本发明涉及大数据领域，尤其涉及一种用户画像构建方法、电子设备及存储介质。

背景技术

现有的用户画像构建方法一般都是从业务库中接入数据，没有对多种异构数据源进行接入的平台，数据来源单一，没有一套完整的数据仓库来存储数据，不能很好的分析和挖掘数据。且标签数据是基于业务数据进行标签的抽取，没有专门的标签生产系统，没有进行统一用户计算，标签不通用、扩展性差，数量少，不利于精准营销。

发明内容

为了克服现有的用户画像构建方法不能很好的分析和挖掘数据、不利于精准营销的问题，本发明的目的在于提供一种用户画像构建方法、电子设备及存储介质。

为了实现上述目的，本发明还提供一种用户画像构建方法，包括：

获取包括用户行为信息的子数据表；

将所述子数据表生成预设格式数据表，所述预设格式数据表包括若干条记录信息，每条所述记录信息对应一个用户标识；

根据所述用户行为信息生成与所述记录信息对应的用户标签；

将所述预设格式数据表和数据库的历史数据中用户标识相同的记录信息进行合并，将所述用户标签与合并后的所述用户标识进行关联并重新写入所述数据库；

获取用户选择条件，所述用户选择条件包括与所述用户标签对应的标签信息；

根据所述用户选择条件从所述数据库中选择出与所述标签信息对应的用户标识。

进一步地，所述将所述用户标签与合并后的所述用户标识进行关联并重新写入所述数据库之后，所述方法还包括：

根据所述用户标签生成的时间段和所述时间段所对应的预设衰减系数计算出所述用户标签的权重；

删除权重低于预设值的用户标签。

进一步地，所述用户标签包括事实标签、模型标签和预测标签，所述根据所述用户行为信息生成与所述记录信息对应的用户标签，具体包括：

生成与所述用户行为信息对应的事实标签；

对所述事实标签进行统计生成与所述用户行为信息对应的模型标签；

根据预设模型对所述模型标签进行预测生成预测标签。

进一步地，所述根据所述用户选择条件从所述数据库中选择出与所述标签信息对应的用户标识之后，所述方法还包括：

判断选择出的用户标识数量是否满足要求；

若选择出的用户标识数量不满足要求，将所述选择出的用户标识作为种子人群包，将所述选择出的用户标识对应的用户标签作为所述种子人群包的用户标签，从所述数据库中选择出与所述种子人群包的用户标签满足预设近似条件的用户标识。

进一步地，所述从所述数据库中选择出与所述种子人群包的用户标签满足预设近似条件的用户标识，具体包括：

将所述数据库中各用户标识对应的用户标签与所述种子人群包的用户标签进行对比，计算出各用户标识与所述种子人群包的相似度；

根据计算出的用户标识与种子人群包的相似度选择出满足预设相似度的用户标识。

进一步地，所述从所述数据库中选择出与所述种子人群包的用户标签满足预设近似条件的用户标识之后，所述方法还包括：

计算各用户标签对应的用户标识数量和各用户标签对应的用户标识数量在所述数据库中的比例。

进一步地，所述子数据表包括关系型数据表和日志文件。

进一步地，所述将所述子数据表生成预设格式数据表，具体包括：

将所述关系型数据表导入Hive数据表并进行逻辑处理；

将所述日志文件转换成预设格式；

根据逻辑处理后的Hive数据表和转换后的日志文件生成所述预设格式数据表。

本发明还提供一种电子设备，包括处理器和存储器，所述存储器中存储有用户画像构建程序，所述用户画像构建程序被配置成由所述处理器执行，所述用户画像构建程序被所述处理器执行时实现上述的方法。

本发明还提供一种计算机可读存储介质，其上存储有用户画像构建程序，所述用户画像构建程序被处理器执行时实现上述的方法。

相比现有技术，本发明的有益效果在于：通过将获取的子数据表生成预设格式数据表，根据用户行为信息生成与记录信息对应的用户标签，将预设格式数据表和数据库的历史数据中用户标识相同的记录信息进行合并；根据用户选择条件从数据库中选择出与标签信息对应的用户标识，从而实现多数据源接入，可以更好的分析和挖掘数据，利于精准营销。

附图说明

图1为本发明实施例提供的用户画像构建方法流程图；

图2为本发明实施例提供的用户画像构建方法中预设格式数据表的生成示意图；

图3为本发明实施例提供的电子设备的内部结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

如图1所示，本发明实施例提供的用户画像构建方法，包括：

步骤S101：获取包括用户行为信息的子数据表。

其中，子数据表包括关系型数据表和日志文件。关系型数据表可以是MySQL，Oracle，Postgres等数据库中的数据表，包括用户标识、用户行为、行为产生的时间等信息，日志文件可以是用户的账号和设备标识信息。以运动场馆为例，关系型数据表包括用户姓名、性别、加入会员时间、联系电话、进入篮球场馆的时间、进入羽毛球场馆的时间等信息。

步骤S102：将所述子数据表生成预设格式数据表，所述预设格式数据表包括若干条记录信息，每条所述记录信息对应一个用户标识。

具体的，将关系型数据表导入Hive数据表并进行逻辑处理，将日志文件转换成预设格式，根据逻辑处理后的Hive数据表和转换后的日志文件生成预设格式数据表。

如图2所示，在一种实施方式中，预设格式数据表为hive数据库中的数据表，将关系型数据表和日志文件生成预设格式数据表具体包括：首先将关系型数据表，例如MySQL数据库中的数据表通过ETL平台进行处理，以转换成与hive库对应的数据配置，再使用sqoop导入到hive库，再通过HQL对导入hive库的数据表进行逻辑运算，导入到另一个hive库。例如，将包括用户姓名、性别、联系电话的数据表和包括用户姓名、在篮球场馆的活动时间、在羽毛球场馆的活动时间进行逻辑运算，得到一个数据表并导入到hive库。日志文件通过Flume收集，先调用授权认证接口得到Token和Appid，通过Token和Appid向数据上报接口发送数据集，数据写入本地的日志文件，再将日志文件通过Spark转换成Parquet文件导入HDFS系统，再在HDFS上建立hive表。

步骤S103：根据所述用户行为信息生成与所述记录信息对应的用户标签。

其中，用户标签包括事实标签、模型标签和预测标签，事实标签包括目标对象的属性、行为、关系和轨迹，例如，用户姓名、性别、是否会员、进入场馆时间等。模型标签包括目标对象的人群定向标签、设备信息标签、场馆地点标签、区域标签、渠道标签、兴趣偏好标签和应用分类标签，例如，用户年龄段、场馆名称、场馆区域、加入会员方式、经常出入的场馆等。预测标签是根据用户的现有记录和已有的统计模型预测出的用户可能出现的场馆、出现在场馆的时间等信息。

在一种实施方式中，首先根据记录信息生成与用户行为信息对应的事实标签；对事实标签进行统计生成与用户行为信息对应的模型标签；根据预设模型对模型标签进行预测生成预测标签。其中，根据每天的记录信息统计出当天的用户标签，每个用户标识对应多个用户标签。

步骤S104：将所述预设格式数据表和数据库的历史数据中用户标识相同的记录信息进行合并，将所述用户标签与合并后的所述用户标识进行关联并重新写入所述数据库。

在一种实施方式中，预设格式数据表包括根据关系型数据表生成的用户信息表和根据日志文件生成的用户终端设备数据表，数据库是Hbase库，读入数据库中的历史数据，将当天生成的预设格式数据和历史数据通过spark的图计算，把具有具有相同手机号、身份证号、安卓设备号、IOS设备号、等身份标识其中一个的用户合并在一起，然后将当天生成的标签数据与每个用户关联在一起，然后写回到Hbase库中。

在一种实施方式中，将用户标签与用户标识关联后，根据用户标签生成的时间段和时间段所对应的预设衰减系数计算出用户标签的权重；删除权重低于预设值的用户标签。

例如，为每个时间段生成的标签设定衰减系数，用户标签生成的时间越早，衰减系数越大，用户标签的权重值每天进行衰减，最新权重值＝历史权重值*衰减系数+当天权重值。权重值低于阈值时，该标签将被删除。通过用户标签衰减的方式保证用户标签都是最新的，以保证数据的时效性。

步骤S105：获取用户选择条件，所述用户选择条件包括与所述用户标签对应的标签信息。

例如，用户通过选择界面输入用户选择条件，例如在性别选项中输入“女”，在年龄段选项输入“20-25”，在兴趣选项输入“羽毛球”和“篮球”。

步骤S106：根据所述用户选择条件从所述数据库中选择出与所述标签信息对应的用户标识。

在一种实施方式中，根据用户选择条件计算出对应的筛选条件。例如，((男∩25～30)∪(女∩20～25))∩(喜欢羽毛球∪喜欢篮球)，通过spark的交集、并集、差集计算，从Hbase库中提取出目标用户，保存用户标识到HDFS。

在一种实施方式中，若选择出的用户标识的数量满足用户需求，即种子人群包的数量满足用户的需求数量，则直接输出种子人群包的用户ID。若选择出的用户标识数量不满足要求，将选择出的用户标识作为种子人群包，将选择出的用户标识对应的用户标签作为所述种子人群包的用户标签，从数据库中选择出与种子人群包的用户标签满足预设近似条件的用户标识。具体包括：将数据库中各用户标识对应的用户标签与种子人群包的用户标签进行对比，计算出各用户标识与种子人群包的相似度；根据计算出的用户标识与种子人群包的相似度选择出满足预设相似度的用户标识。例如，将种子人群包作为一个虚拟人，种子人群包的所有用户标识对应的所用标签是虚拟人的用户标签。计算虚拟人和每个用户标识所对应的用户标签之间的相似度，例如，采用标准欧式距离算法计算相似度，根据每个用户标识拥有的与虚拟人相同的用户标签的数量作为相似度，若用户标识对应的用户标签包括虚拟人的所有标签，则相似度＝1。按照相似度取topN人群，如果设定相似度范围为1，则人群规模等于种子人群包的人群数，如果相似度小于1，则人群规模＝总人数*(1-相似度)。

在一种实施方式中，根据用户选择条件，读取用户已经选择的人群包，通过spark的交集、并集、差集计算，提取出最终的用户ID。

提取出用户标识后，计算各用户标签对应的用户标识数量和各用户标签对应的用户标识数量在所述数据库中的比例，便于用户统计数据。

上述实施例中，通过将子数据表生成预设格式数据表，根据用户行为信息生成与记录信息对应的用户标签，将预设格式数据表和历史数据中用过标识相同的记录信息进行合并，将用户标签与合并后的用户标识进行关联，根据用户选择条件从数据库中选择出与标签信息对应的用户标识，从而实现多数据源接入，可以更好的分析和挖掘数据，利于精准营销。

本发明还提供一种电子设备，图3为本发明提供的电子设备的内部结构图。

在本实施例中，电子设备可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。该电子设备至少包括存储器11、处理器12、通信总线13以及网络接口14。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的硬盘。存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如用户画像构建程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行用户画像构建程序01等。

该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，电子设备还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。

图3仅示出了具有组件11-14以及用户画像构建程序01的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。本发明还涉及一种计算机可读存储介质，如ROM/RAM、磁碟、光盘等，其上存储有计算机程序，计算机程序被处理器执行时实现用户画像构建方法。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种用户画像构建方法，其特征在于，包括：

获取包括用户行为信息的子数据表；

将所述子数据表生成预设格式数据表，所述预设格式数据表包括若干条记录信息，每条所述记录信息对应一个用户标识；

根据所述用户行为信息生成与所述记录信息对应的用户标签；

将所述预设格式数据表和数据库的历史数据中用户标识相同的记录信息进行合并，将所述用户标签与合并后的所述用户标识进行关联并重新写入所述数据库；

获取用户选择条件，所述用户选择条件包括与所述用户标签对应的标签信息；

根据所述用户选择条件从所述数据库中选择出与所述标签信息对应的用户标识。

2.如权利要求1所述的用户画像构建方法，其特征在于，所述将所述用户标签与合并后的所述用户标识进行关联并重新写入所述数据库之后，所述方法还包括：

根据所述用户标签生成的时间段和所述时间段所对应的预设衰减系数计算出所述用户标签的权重；

删除权重低于预设值的用户标签。

3.如权利要求1所述的用户画像构建方法，其特征在于，所述用户标签包括事实标签、模型标签和预测标签，所述根据所述用户行为信息生成与所述记录信息对应的用户标签，具体包括：

生成与所述用户行为信息对应的事实标签；

对所述事实标签进行统计生成与所述用户行为信息对应的模型标签；

根据预设模型对所述模型标签进行预测生成预测标签。

4.如权利要求1所述的用户画像构建方法，其特征在于，所述根据所述用户选择条件从所述数据库中选择出与所述标签信息对应的用户标识之后，所述方法还包括：

判断选择出的用户标识数量是否满足要求；

若选择出的用户标识数量不满足要求，将所述选择出的用户标识作为种子人群包，将所述选择出的用户标识对应的用户标签作为所述种子人群包的用户标签，从所述数据库中选择出与所述种子人群包的用户标签满足预设近似条件的用户标识。

5.如权利要求4所述的用户画像构建方法，其特征在于，所述从所述数据库中选择出与所述种子人群包的用户标签满足预设近似条件的用户标识，具体包括：

将所述数据库中各用户标识对应的用户标签与所述种子人群包的用户标签进行对比，计算出各用户标识与所述种子人群包的相似度；

根据计算出的用户标识与种子人群包的相似度选择出满足预设相似度的用户标识。

6.如权利要求4所述的用户画像构建方法，其特征在于，所述从所述数据库中选择出与所述种子人群包的用户标签满足预设近似条件的用户标识之后，所述方法还包括：

计算各用户标签对应的用户标识数量和各用户标签对应的用户标识数量在所述数据库中的比例。

7.如权利要求1所述的用户画像构建方法，其特征在于，所述子数据表包括关系型数据表和日志文件。

8.如权利要求7所述的用户画像构建方法，其特征在于，所述将所述子数据表生成预设格式数据表，具体包括：

将所述关系型数据表导入Hive数据表并进行逻辑处理；

将所述日志文件转换成预设格式；

根据逻辑处理后的Hive数据表和转换后的日志文件生成所述预设格式数据表。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有用户画像构建程序，所述用户画像构建程序被配置成由所述处理器执行，所述用户画像构建程序被所述处理器执行时实现如权利要求1-8任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有用户画像构建程序，其特征在于，所述用户画像构建程序被处理器执行时实现如权利要求1-8任意一项所述的方法。