CN114331512B - 一种可视化数据建模及大数据画像的方法 - Google Patents

Abstract

本发明涉及大数据分析技术领域，具体涉及一种可视化数据建模及大数据画像的方法。包括：获取用户信息，对获取到的用户信息进行预处理，Airflow工作平台对特征标签进行加工为推送策略，记录用户点击和阅读情况，构建用户画像模型，利用不同用户的阅读情况，进行归类，根据用户画像模型构建用户画像，实现用户画像的精准对应。增强用户画像的清晰程度，从而实现精准的推送。不同时间段的阅读情况，说明不同用户行为时间不同，能够根据不同消费时段进行精准的营销，不会造成用户的视觉疲劳，同时减小营销成本。用户的需求呈现多样化、层次化、随时化的特性，精准营销必须基于用户与系统场景的有机集合，深度洞察使用者的需求，实现精准化推送。

Description

一种可视化数据建模及大数据画像的方法

技术领域

本发明涉及大数据分析技术领域，具体涉及一种可视化数据建模及大数据画像的方法。

背景技术

移动互联网的进步，为人们的生活方式发生巨大转变，政务系统结合分析居民生活质量进行分析，监测分析用户画像。随着大数据技术的深入研究与应用，大数据精准推送深入挖掘潜系统价值上，因此，基于大数据技术的“用户画像”概念，也日渐被关注和提及。用户画像是一种能将定性与定量方法很好结合在一起的载体，通过定量化的前期调研能获得一个对于用户群较为精准的认识，在后期的用户角色的建立中能很好地对用户优先顺序进行排序，将核心的、规模较大的用户着重突出出来。具体来说用户画像，即用户信息标签化，就是通过收集与分析消费者社会属性、生活习惯、消费行为等主要信息的数据之后，完美地抽象出一个用户的全貌。

目前的用户画像，是以简单的数据统计和简单的算法模型作为支持，现基于Hadoop平台或者其他Airflow工作平台进行离线和部分实时据处理，通过HBase与Hive用于储存，同时Spark Streaming可以实现高吞吐量的、具备容错机制的实时流数据的处理。以满足报表的多样化功能要求，同时企业管理人员可以根据该用户画像的结果进行企业决策指导。同时政务系统后台监测分析用户画像，结合分析居民生活质量。

现有技术如公开号为CN107403335A的发明公开了一种基于深度用户画像进行精准营销的系统及实现方法。所述系统包括数据源层、数据处理层、数据平台层、数据响应层和数据展示层；数据源层用于储存各种数据源；数据处理层用于将数据源中的数据进行汇总处理后再将来源不同的数据进行拉通；数据平台层用于将数据处理层运行出来的数据进行数据处理形成用户初步的标签数据；数据响应层用于将数据平台层运行出来的标签数据进行储存；数据展示层用于深层用户画像展示以及用户的精准营销展示。解决了传统用户画像对标签数据挖掘不充分的问题，以及基于深度的用户画像解决传统推荐系统中的冷启动问题，帮助企业对用户进行精准营销。但是针对不同用户的不同行为，不同时间的营销成功的概率不同，例如一些用户偏向午间浏览购买，而有些偏向晚间浏览购买，若是一直都在推送，用户感受疲劳，同时减小营销的影响力。因此需要针对用户不同消费行为进行精准营销。

发明内容

本方案的目的在于提供一种可视化数据建模及大数据画像的方法，以达到不同时段对用户精准营销的目的。

为了达到上述目的，本方案提供一种可视化数据建模及大数据画像的方法，政务系统，所述政务系统内部设有大数据画像系统，其特征在于，所述大数据画像系统包括：

获取用户信息，其中用户信息包括：用户的基本账户和历史记录的静态信息、用户行为浏览的动态信息；

对获取到的用户信息进行预处理，利用贝叶斯模型提取特征数据，生成对应特征标签；

Airflow工作平台对特征标签进行加工为推送策略，且同步数据到业务系统中，调取对应特征推送信息，根据推送策略向用户推送特征标签对应的推送信息；

记录用户点击和阅读情况，归类记录用户点击和阅读成功的情况和时间段，形成正反馈信息；归类记录未阅读的情况和时间段，形成负反馈信息；

根据正反馈信息和所对应的特征标签进行数据建模，构建用户画像模型，并对用户画像模型进行评估；根据用户画像模型构建用户画像；

根据负反馈信息和所对应的特征标签，Airflow工作平台对特征标签进行再次加工，且同步数据到业务系统中，调取对应特征推送信息，调整推送时间段后再次向用户进行推送。

本方案有益效果：

（1）本方案利用不同用户的阅读情况，进行归类，根据用户画像模型构建用户画像，实现用户画像的精准对应。增强用户画像的清晰程度，从而实现精准的推送。

（2）根据不同时间段的阅读情况，说明不同用户行为时间不同，能够根据不同消费时段进行精准的营销，不会造成用户的视觉疲劳，同时减小营销成本。

（3）用户的需求呈现多样化、 层次化、随时化的特性，精准营销必须基于用户与系统场景的有机集合，深度洞察使用者的需求，实现精准化推送，提升推送效率。

进一步，所述获取到的用户信息进行预处理还包括：清除错误和异常的数据，过滤虚假信息，记录数据重复频率。保证在提取特征数据时，能够有效的提取正常的数据，减小操作的次数，同时减小错误数据对后续的影响。

进一步，所述数据建模包括：模型建立、模型训练、模型验证和模型预测。

进一步，所述获取用户信息至少循环一次。以保证用户获取的信息全面。

进一步，用户画像模型包括：用户建模和推荐用户建模；所述用户建模包括用户属性和用户行为；所述推荐用户建模包括特征标签、关键词和用户行为时长。通过用户建模和推荐用户建模共同构建用户画像，能够更精准的确定用户画像。

进一步，所述对获取到的用户信息进行预处理的方法包括：

步骤一：用户信息均通过数据源文件以文件传输协议方式上传到接口机指定目录，接口机的文件轮询模块每隔一段时间轮询指定目录，扫描指定目录中的用户数据源文件，获取用户的信息源文件列表，再传送至文件解析模块；

步骤二：文件解析模块用于解析数据文件，将解析的数据文件发送至数据缓存模块，通过分布式应用程序协调服务Zookeeper连接Kafka集群，并将数据批量写入指定的Kafka节点；

步骤三：指定Hadoop分布式文件系统的目录为Spark Streaming的检查点目录；

步骤四：Kafka集群通过分布式应用程序协调服务Zookeeper连接Spark主节点，Spark主节点可读取Kafka集群中的用户数据，并通过Spark Streaming控制模块向Spark工作节点数据预处理模块分发预处理任务，并同时控制预处理日志，写入Hadoop分布式文件系统；

步骤五：Spark工作节点数据预处理模块处理完数据后，数据结果最终保存在HBase与Hive中。

进一步，获取物品信息，用户使用智能手机进行拍一拍想要购买的商品，智能手机重力感应到两次拍打到物品，摄像头打开进行扫描物品，获得物品信息；对获取的物品信息进行预处理，识别物品信息，生成特征标签；Airflow工作平台对特征标签进行加工为推送策略请求；通过蓝牙或者无线网络的形式，对一定范围内的智能手机发送推送策略请求；一定范围内的智能手机接收推送策略请求，调取购买记录，并生成推送信息；若调取购买记录成功，则生成推送信息；若调取购买记录不成功，则不生成推送信息；根据推送信息进行锁定智能手机，锁定的智能手机与推送策略请求的智能手机匹配，向锁定的智能手机发送询问请求；锁定的智能手机接收询问请求，若收到询问请求回复是，则调取购买记录对应的链接通过蓝牙或者无线网络发送推送策略请求的智能手机；若接收询问请求回复否，则不调取；同时对调取购买记录对应的链接的产品生成基准标签，根据基准标签构建基准用户画像；根据推送策略请求的智能手机通过调取购买记录对应的链接进行购买物品，若成功，则生成特定标签，根据特征标签，进行数据建模，构建用户画像模型，并对用户画像模型进行评估；根据用户画像模型构建用户画像；用户画像与基准用户画像捆绑。

附图说明

图1为本发明实施例1的流程图。

图2为本发明实施例2的流程图。

图3为本发明实施例2对获取到的用户信息进行预处理的方法的流程图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例1

如图1所示：

一种可视化数据建模及大数据画像的方法，政务系统，所述政务系统内部设有大数据画像系统，其特征在于，所述大数据画像系统包括：

获取用户信息，其中用户信息包括：用户的基本账户和历史记录的静态信息、用户行为浏览的动态信息；

对获取到的用户信息进行预处理，利用贝叶斯模型提取特征数据，生成对应特征标签；

Airflow工作平台对特征标签进行加工为推送策略，且同步数据到业务系统中，调取对应特征推送信息，根据推送策略向用户推送特征标签对应的推送信息；

记录用户点击和阅读情况，归类记录用户点击和阅读成功的情况和时间段，形成正反馈信息；归类记录未阅读的情况和时间段，形成负反馈信息；

根据正反馈信息和所对应的特征标签进行数据建模，构建用户画像模型，并对用户画像模型进行评估；根据用户画像模型构建用户画像；

根据负反馈信息和所对应的特征标签，Airflow工作平台对特征标签进行再次加工，且同步数据到业务系统中，调取对应特征推送信息，调整推送时间段后再次向用户进行推送。

实施例2

如附图3所示：

本实施例同样能够应用在市场营销中，包括：

获取用户信息，其中用户信息包括：用户的基本账户和历史记录的静态信息、用户行为浏览的动态信息和用户消费商品的消耗信息；

用户信息至少获取一次，例如进行十次获取，以保证用户获取的信息全面；

对获取到的用户信息进行预处理，利用贝叶斯模型提取特征数据，生成对应特征标签；

预处理还包括清除错误和异常的数据，过滤虚假信息，记录数据重复频率，保证在提取特征数据时，能够有效的提取正常的数据，减小操作的次数，同时减小错误数据对后续的影响；

如图3所示：

对获取到的用户信息进行预处理的方法包括：

步骤一：用户信息均通过数据源文件以文件传输协议方式上传到接口机指定目录，接口机的文件轮询模块每隔一段时间轮询指定目录，扫描指定目录中的用户数据源文件，获取用户的信息源文件列表，再传送至文件解析模块；

步骤二：文件解析模块用于解析数据文件，将解析的数据文件发送至数据缓存模块，通过分布式应用程序协调服务Zookeeper连接Kafka集群，并将数据批量写入指定的Kafka节点；

步骤三：指定Hadoop分布式文件系统的目录为Spark Streaming的检查点目录；

步骤四：Kafka集群通过分布式应用程序协调服务Zookeeper连接Spark主节点，Spark主节点可读取Kafka集群中的用户数据，并通过Spark Streaming控制模块向Spark工作节点数据预处理模块分发预处理任务，并同时控制预处理日志，写入Hadoop分布式文件系统；

步骤五：Spark工作节点数据预处理模块处理完数据后，数据结果最终保存在HBase与Hive中；

Airflow工作平台对特征标签进行加工为推送策略，且同步数据到业务系统中，调取对应特征产品，根据推送策略向用户推送特征标签对应的产品；

记录用户点击和购买情况，归类记录用户点击和购买成功的情况和时间段，形成正反馈信息；归类记录未购买的情况和时间段，形成负反馈信息；

根据正反馈信息和所对应的特征标签进行数据建模，构建用户画像模型，并对用户画像模型进行评估；根据用户画像模型构建用户画像；

数据建模包括：模型建立、模型训练、模型验证和模型预测；用户画像模型包括：用户建模和推荐用户建模；所述用户建模包括用户属性和用户行为；所述推荐用户建模包括特征标签、关键词和用户行为时长；根据正反馈信息和所对应的特征标签，构建用户画像模型，后续能更方便、高效的进行精准营销。通过用户建模和推荐用户建模共同构建用户画像，能够更精准的确定用户画像；

根据负反馈信息和所对应的特征标签，Airflow工作平台对特征标签进行再次加工，且同步数据到业务系统中，调取对应特征产品，调整推送时间段后再次向用户进行推送。

例如现在用户小明，之前在购物平台购买日用商品某品牌牙膏，获取小明的基本信息和浏览的行为信息，以及在购物平台购买的历史信息；收集信息后经由贝叶斯模型，提取特征数据，生成特征标签，例如在特定时间段购买日用品牙膏、牙膏此类日用消耗品需要阶段性购买。

Airflow工作平台对特定标签进行加工，生成加工策略，例如日用品牙膏为生活必需品，且阶段性需购买需求，进而根据历史购买记录，阶段性，例如三到五个月左右推送一次。

在推送用户特定的商品时，若是小明第二次直接再次购买，则记录用户者小明购买的时间和点击推送的情况，生成正反馈信号。同时在下一次再次进行精准的营销。

若是小明未购买，则出现在情况比如小明对牙膏的购买需求不大，故而irflow工作平台对特征标签进行再次加工，且同步数据到业务系统中，调取对应特征产品，调整推送时间段后再次向用户进行推送。

实施例2

现如今许多人的购买欲望实在攀谈中产生，例如朋友之间交流，涉及商品推荐等用户行为，进而另一用户具有购买欲望，在交流中产生购买欲望，而推荐的用户需要调取自己购买记录发给想购买的用户，调取后再通过链接的方式发送给对方，过程麻烦，且链接有时会出现错误。

因此，与实施例1相比，不同之处仅在于，还包括如下步骤：

获取语音信息，智能手机获取用户语音信息，语音信息具体包括用户回答是或者否；

获取物品信息，用户使用智能手机进行拍一拍想要购买的商品，智能手机重力感应到两次拍打到物品，摄像头打开进行扫描物品，获得物品信息；

对获取的物品信息进行预处理，对获取的语音信息进行储存，生成基准语音；识别物品信息，生成特征标签；Airflow工作平台对特征标签进行加工为推送策略请求；智能手机识别语音信息；

通过蓝牙或者无线网络的形式（本实施例中选用的蓝牙通讯的方式），对一定范围内的智能手机发送推送策略请求；

一定范围内的智能手机接收推送策略请求，调取购买记录，并生成推送信息；若调取购买记录成功，则生成推送信息，同时调取记录成功的智能手机匹配基准语音；若调取购买记录不成功，则不生成推送信息；

根据推送信息进行锁定智能手机，锁定的智能手机与推送策略请求的智能手机匹配，

向锁定的智能手机发送询问请求；锁定的智能手机接收询问请求，若基准语音为是，则调取购买记录对应的链接通过蓝牙或者无线网络发送推送策略请求的智能手机；若基准语音为否，则不调取；同时对调取购买记录对应的链接的产品生成基准标签，根据基准标签构建基准用户画像；

根据推送策略请求的智能手机通过调取购买记录对应的链接进行购买物品，若成功，则生成特定标签，

根据特征标签，进行数据建模，构建用户画像模型，并对用户画像模型进行评估；根据用户画像模型构建用户画像；

用户画像与基准用户画像通过Airflow工作平台捆绑。

例如，现有小明和小王两个用户，在二者交谈中，小明对小王身上的衣服生成购买欲望，则询问小王时候可以拍照，小王回答是，则使用自己智能手机拍一拍小王的衣服，而后摄像头捕捉衣服的信息，在小明智能手机附近调取购买过这件衣服的购买记录，并非小明的智能手机的附近只有小王一个人购买过这件衣服，通过调整距离范围可缩小调取的范围，从而更加精准。小王的智能手机识别小王的“是”的语音，则调取小王的智能手机内的购买记录的连接。

同时对调取成功的智能手机，也就是小王的智能手机和小明的智能手机匹配，小明的智能手机发出询问请求，小王回复是，则小王智能手机中购买衣服的链接自动分享给小明的智能手机，通过小明购买情况，若是小明购买成功，则生成针对小明的用户画像，同时此前小王购买成功的产品生成基准标签，构建小王的基准用户画像，用户画像与基准用户画像捆绑。

该方式的有益效果在于，首先在链接的交互过程中，智能手机无需访问服务器，直接调取后台资料，在本实施例中，小王不需要打开购买网站打开自己的购买记录，而是后台直接调取，更加方便快捷。

同时相比普通拍照搜索更加精准，本实施例能够快速锁定所需物品，更加方便快捷。

在用户交谈过程，只需询问方问被问方是否能够拍照，手机拍两次进行商品的锁定，二被问方无需拿出手机，便可进行连接的交互，不影响双方的交谈，用户体验极佳。

不仅能够方便推送链接，而且在下一次小王购买的产品，向小明发送推送信息，以便增强推送的高效性和精准性。同时利用大数据画像便于同类产品以及使用者进行归类。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (5)

1.一种可视化数据建模及大数据画像的方法，包括；政务系统，所述政务系统内部设有大数据画像系统，其特征在于，所述大数据画像系统包括：

获取用户信息，其中用户信息包括：用户的基本账户和历史记录的静态信息、用户行为浏览的动态信息；

对获取到的用户信息进行预处理，利用贝叶斯模型提取特征数据，生成对应特征标签；Airflow工作平台对特征标签进行加工为推送策略，且同步数据到业务系统中，调取对应特征推送信息，根据推送策略向用户推送特征标签对应的推送信息；记录用户点击和阅读情况，归类记录用户点击和阅读成功的情况和时间段，形成正反馈信息；归类记录未阅读的情况和时间段，形成负反馈信息；根据正反馈信息和所对应的特征标签进行数据建模，构建用户画像模型，并对用户画像模型进行评估；根据用户画像模型构建用户画像；

根据负反馈信息和所对应的特征标签，Airflow工作平台对特征标签进行再次加工，且同步数据到业务系统中，调取对应特征推送信息，调整推送时间段后再次向用户进行推送；

所述获取用户信息至少循环一次；

获取语音信息，智能手机获取用户语音信息，语音信息具体包括用户回答是或者否；

获取物品信息，用户使用智能手机进行拍一拍想要购买的商品，智能手机重力感应到两次拍打到物品，摄像头打开进行扫描物品，获得物品信息；

对获取的物品信息进行预处理，对获取的语音信息进行储存，生成基准语音；识别物品信息，生成特征标签；Airflow工作平台对特征标签进行加工为推送策略请求；智能手机识别语音信息；

通过蓝牙的形式，对一定范围内的智能手机发送推送策略请求；

一定范围内的智能手机接收推送策略请求，调取购买记录，并生成推送信息；若调取购买记录成功，则生成推送信息，同时调取记录成功的智能手机匹配基准语音；若调取购买记录不成功，则不生成推送信息；

根据推送信息进行锁定智能手机，锁定的智能手机与推送策略请求的智能手机匹配，向锁定的智能手机发送询问请求；锁定的智能手机接收询问请求，若基准语音为是，则调取购买记录对应的链接通过蓝牙或者无线网络发送推送策略请求的智能手机；若基准语音为否，则不调取；同时对调取购买记录对应的链接的产品生成基准标签，根据基准标签构建基准用户画像；

根据推送策略请求的智能手机通过调取购买记录对应的链接进行购买物品，若成功，则生成特定标签，根据特征标签，进行数据建模，构建用户画像模型，并对用户画像模型进行评估；根据用户画像模型构建用户画像；

用户画像与基准用户画像通过Airflow工作平台捆绑。

2.根据权利要求1所述的一种可视化数据建模及大数据画像的方法，其特征在于，所述获取到的用户信息进行预处理还包括：清除错误和异常的数据，过滤虚假信息，记录数据重复频率。

3.根据权利要求1所述的一种可视化数据建模及大数据画像的方法，其特征在于，所述数据建模包括：模型建立、模型训练、模型验证和模型预测。

4.根据权利要求1所述的一种可视化数据建模及大数据画像的方法，其特征在于，用户画像模型包括：用户建模和推荐用户建模；所述用户建模包括用户属性和用户行为；所述推荐用户建模包括特征标签、关键词和用户行为时长。

5.根据权利要求1所述的一种可视化数据建模及大数据画像的方法，其特征在于，所述对获取到的用户信息进行预处理的方法包括：

步骤一：用户信息均通过数据源文件以文件传输协议方式上传到接口机指定目录，接口机的文件轮询模块每隔一段时间轮询指定目录，扫描指定目录中的用户数据源文件，获取用户的信息源文件列表，再传送至文件解析模块；

步骤二：文件解析模块用于解析数据文件，将解析的数据文件发送至数据缓存模块，通过分布式应用程序协调服务Zookeeper连接Kafka集群，并将数据批量写入指定的Kafka节点；

步骤三：指定Hadoop分布式文件系统的目录为Spark Streaming的检查点目录；

步骤四：Kafka集群通过分布式应用程序协调服务Zookeeper连接Spark主节点，Spark主节点可读取Kafka集群中的用户数据，并通过Spark Streaming控制模块向Spark工作节点数据预处理模块分发预处理任务，并同时控制预处理日志，写入Hadoop分布式文件系统；

步骤五：Spark工作节点数据预处理模块处理完数据后，数据结果最终保存在HBase与Hive中。