CN111461770B - 一种基于模型的用户画像系统 - Google Patents

Abstract

本发明公开了一种基于模型的用户画像系统，包括约束条件初始化模块、动态配置模块、自动建模模块、数据库写入模块、监控模块和控制节点模块；其中，所述约束条件初始化模块负责在系统启动前设定默认值，使用强规则对输入值进行判断、识别、划分；所述动态配置模块用于在系统运行阶段对默认值进行重定；所述自动建模模块用于对输入信息进行数据清洗、数据集成、数据变换、数据规约；所述数据库写入模块负责将模型输出数据进行数据库定向写入；所述监控模块能够在系统运行异常时及时通知相关人员，在系统运行正常状态下支持将简略日志进行邮件输出；所述控制节点模块负责系统异常宕机后自动重启。

Description

一种基于模型的用户画像系统

技术领域

本发明涉及一种基于模型的用户画像系统。

背景技术

用户画像是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化用户模型，构建用户画像的核心工作是给用户贴“标签”，而标签是通过对用户信息分析二来的高度精炼的特征标识。

传统的用户画像技术是基于人工制定规则将客户群体进行划分，随着数据量的增加，传统客群划分技术越来越不适用，综合看来，主要有以下不足：

1、为了生成合适的用户画像需要花费大量人力制定较多的规则；

2、随着特征维度的增加，大量特征无法被利用。

发明内容

本发明所要解决的技术问题是建立自动化用户画像生成，支持定时调度，支持强规则干预，提供数据服务的系统。

为了解决上述技术问题，本发明提供了一种基于模型的用户画像系统，包括约束条件初始化模块、动态配置模块、自动建模模块、数据库写入模块、监控模块和控制节点模块；

其中，所述约束条件初始化模块负责在系统启动前设定默认值，其中，所述默认值是指标签类预设为经验值或统计得到的均值/众数等(比如：根据电商针对人群类型，可将用户年龄阶段设定默认值为青年，系统首次启动时可将用户类型默认值设置为新用户)，建模类预设为统计值(比如：指定标签列将数据在5％频次下和95％频次上的以平均值代替)，组件类预设为经验值(比如：数据每1小时进行一次更新)，使用强规则对输入值进行判断、识别、划分，其中，所述强规则是指程序设定的必须满足的条件规则，输入值为用户属性(包括年龄、性别、职业、所处地理位置等)、行为(包括浏览、收藏、关注、加入购物车、下单等)和带有统计信息的特征(包括活跃时段、周/月/年登陆次数、关注前N个商品类型等)，根据是否符合强规则设定，对标签信息进行初始判断，并识别出与预设默认值不同的标签同时进行标签更新；

所述动态配置模块用于在系统运行阶段对默认值进行重定；

所述自动建模模块用于对输入值进行数据清洗(比如：对年龄维度的统计根据年龄集中情况会过滤掉年龄过低或过高的)、数据集成(将多个来源的数据进行整合，比如：数据来源可能分别来自MYSQL-关系型数据库管理系统、Oracle-数据库管理系统等)、数据变换(对数据进行规范化处理，将特征放缩在合适区间，将类别型数据One-Hot编码(又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都有独立的寄存器位，并且在任意时候只有一位有效)，便于使用简单模型拟合等)、数据规约(包括关联数据的过滤，低贡献度-弱相关维度的去除等)，根据处理后的数据进行建模(支持决策树模型、随机森林模型)，模型输出为多个标签的概率，其概率代表属于该标签的可能性，根据概率设定阈值筛选出大于阈值的标签作为最终输出标签(比如：将阈值设置为0.5，即超过0.5的视为具有该标签特征)；

所述数据库写入模块负责将自动建模模块最终生成的标签数据进行数据库定向写入；

所述监控模块能够在系统运行异常时及时通知工作人员，在系统运行正常状态下支持将简略日志进行邮件输出；

所述控制节点模块负责系统异常宕机后自动重启。

所述动态配置模块包括YAML(YAML Ain't Markup Language是一个可读性高、用来表达资料序列化的格式)配置、JSON(JavaScript Object Notation是一种轻量级数据交换格式)配置；

所述YAML配置用于以YAML格式进行初始值设定(比如针对标签属性将地理位置设定为-未知，年龄级别设置为：青少年)，包括组件的启停(比如：设置日期大于某一天时组件先停止，将数据更新后重新启动)、阈值的设定(针对建模初始值指定标签列将数据在5％频次下和95％频次上的以平均值代替)、输出的过滤与映射(比如输出原标签为20-35岁，可以在此配置映射到青年)，所有配置一经修改即能够在下一次调度中生效；

所述JSON配置用于对YAML配置的补充，当系统处于运行中时，通过引入JSON配置进行容错，当其YAML配置不可读时会尝试读JSON配置，并进行等待，等待完毕后重新对YAML配置进行再次读取。

当系统处于运行中时，此时对YAML或JSON配置进行修改时可能会导致读入错误，从而导致任务失败，因此，这里通过引入JSON配置进行容错，当YAML配置不可读时会尝试读JSON配置，并可进行等待，等待完毕后再次对YAML配置进行再次读取，减少因运行阶段配置修改导致的系统失败。

所述自动建模模块包括numpy&pandas(其中numpy&pandas均为python库，提供多维数组对象，各种派生对象/矩阵，一级用于数组快速操作的各种API)数据处理模块和scikit-learn(scikit-learn是一个开源的基于python预研的机器学习工具包)建模模块，

其中numpy&pandas数据处理模块通过pandas(是python的第三方库，提供高性能易用数据类型和分析工具)对数据输出和可视化操作，通过numpy对数据进行处理，削弱数据量增大导致的原生处理速度较慢的影响；

scikit-learn建模模块利用scikit-learn构建算法模型，scikit-learn内置了几乎所有主流机器学习算法，可以实现高效的算法应用。

所述数据库写入模块包括GreenPlum写入模块和MySQL写入模块，GreenPlum写入模块用于将数据写入GreenPlum数据库，MySQL写入模块用于将数据写入MySQL数据库。

所述监控模块包括Logger记录器和邮件发送模块，其中Logger记录器负责记录程序执行过程及运行状态，邮件发送模块用于程序执行异常时向运维人员发送邮件预警通知。

所述控制节点模块用于进程管理(可用于创建新进程，终止运行中的进程)、进程监控(通过命令行可以查看程序运行状态，即是否运行中或已终止运行，同时支持查看运行日志)、任务启停(支持对运行任务进行终止操作或对已终止任务进行一键式启动)、任务保活(当宿主系统异常重启时或宿主系统内存不足时，保障随着宿主的恢复程序也得到恢复)和任务异常自动重启(当程序出现异常或被非正常终止时会自动进行重启程序)

所述系统通过GreenPlum写入模块和MySQL写入模块完成对输出数据的定向写入，包括如下步骤：

步骤1，通过psycopg2/pymysql将存储在数据库中的数据批量抽取；其中psyconpg2为GreenPlum写入模块的驱动模块，用于连接GreenPlum数据库及执行增删该查操作，pymysql为MySQL写入模块的驱动模块，用于连接MySQL数据库及执行增删该查操作，所述存储在数据库中的数据包括业务日志，用户属性和行为信息；

步骤2，对抽取数据进行预处理，其中预处理是指根据动态配置模块对数据进行转换；

步骤3，根据自动建模模块产生的模型输出用户画像类别；

步骤4，如果GreenPlum/MySQL临时表尚未建立，则建立临时表，如果GreenPlum/MySQL目标表尚未建立，则建立目标表，建表语句如下：

步骤5，将由步骤3生成的用户画像类别插入到GreenPlum或者MySQL临时表中；

步骤6，将步骤5得到的临时表数据更新到目标表中。

所述控制节点模块具有进程管理，进程监控，任务启停，任务异常宕机后自动重启，任务保活功能，当系统出现异常时控制节点模块会记录日志并尝试重启，如重启成功则继续执行定时任务，当对系统进行修复时能够一键式停止任务。

本发明可以摒弃人工进行数据处理从而导致的重复性工作，以统一模型代替，不同数据输入即可得到差异化画像系统。

本发明具有以下控制优点：

1、可自定义初始强规则：用于全局配置，当模型异常时可以自动接替，保证系统可用性；

2、支持动态调整配置：当业务发生变化时，可以在不重启系统的情况下对系统进行热启动，配置在下一调度时即可生效，业务频繁变动时，通过备用配置进行互补，保证系统容错性；

3、支持动态建模：当数据量变动较大或时间跨度较长时自动对模型进行更新，使用新的历史数据生成特征；

4、可扩展的数据库写入模块：整合多个数据库插入引擎，支持自定义数据库写入方式；

5、监控模块：检测系统运行状态，当系统运行出现异常时及时发送邮件到相关人员；

6、控制节点：对系统调度进行保活，异常宕机时自动重启，支持一键式开启/关闭系统任务。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明系统架构图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本实施示例中，开发部署环境如下：

开发环境：

Python发行版：Anaconda3 Windows x86_64

Python版本：3.7.4

IDE：PyCharm

Python虚拟环境：Conda Environment

部署环境：

Python发行版：Linux x86_64-with-centos-7.6.1810-Core

Python版本：3.7.0

Supervisor：4.1.0

如图1所示，本发明公开了一种基于模型的用户画像系统，该系统包括约束条件初始化模块、动态配置模块、自动建模模块、数据库写入模块、监控模块和控制节点模块；

约束条件初始化模块：默认组件；

动态配置模块：YAML组件、JSON组件；

自动建模模块：Numpy&Pandas组件、Scikit-Learn组件；

数据库写入模块：GreenPlum写入组件、MySQL写入组件；

监控模块：Logger记录器、邮件发送器；

控制节点模块：Supervisor组件；

1、约束条件初始化模块

约束条件初始化模块负责在系统启动前设定默认值，使用强规则对输入值进行判断、识别、划分。

2、动态配置模块

动态配置模块由2个组件组成，分别为YAML配置组件和JSON配置组件，配置组件负责对全局阈值的配置。

2.1YAML配置组件

YAML配置可用于以YAML格式进行初始值设定，包括组件的启停，阈值的设定，输出的过滤与映射，所有配置一经修改即可在下一次调度中生效；

2.2JSON配置组件

JSON配置用于对YAML配置的补充，当系统处于运行中时，此时对YAML或JSON配置进行修改时可能会导致读入错误，从而导致任务失败，因此，这里通过引入JSON配置进行容错，当YAML配置不可读时会尝试读JSON配置，并可进行等待，等待完毕后再次对YAML主配置进行再次读取，减少因运行阶段配置修改导致的系统失败。

3、自动建模模块

自动建模模块用于自动对输入信息进行数据清洗、数据集成、数据变换、数据规约，根据处理后的数据进行聚合生成合适的特征，从而实现自动建模。

3.1pandas组件

pandas主要用于对数据输出、可视化等操作，通过带有标签的列和索引，pandas可以将数据以易理解的方式呈现出来，也可以通过pandas快速对数据进行复杂的转换和过滤等操作，同时，通过matplotlib(是Python编程语言及其数值数学扩展包NumPy的可视化操作界面)，seaborn(是一种基于matplotlib的图形可视化python库，提供了一种高度交互式界面，便于用户能够做出各种有吸引力的统计图表)等，可以将数据以图形的形式呈现，在用户画像系统中通过引入pandas，既方便又快捷，可以让我们更好的了解数据。

3.2numpy组件

numpy用于数据的处理，削弱数据量增大导致的原生处理速度较慢的影响，其支持多维数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。

3.3scikit-learn组件

scikit-learn是基于python语言的机器学习工具，是一种简单高效的数据挖掘和数据分析工具，通过scikit-learn可以建立各种模型，包括支持向量机、决策树等一系列模型，通过引入scikit-learn可以快速建模，并将模型用于保存再使用。

4、数据库写入模块

所述数据库写入模块完成对输出数据的定向写入，包括如下步骤：

步骤1，通过psycopg2/pymysql(其中psyconpg2为GreenPlum的驱动模块，用于连接GreenPlum数据库及执行增删该查操作，pymysql为MySQL的驱动模块，用于连接MySQL数据库及执行增删该查操作)将业务日志，用户属性、行为信息等存储在数据库中的数据批量抽取；

步骤2，对抽取数据进行预处理，其中预处理是指根据动态配置模块对数据进行转换；

步骤3，根据自动建模模块产生的模型输出用户画像类别；

步骤4，若GreenPlum/MySQL临时表尚未建立，则建立临时表，若GreenPlum/MySQL目标表尚未建立，则建立目标表，建表语句如下：

步骤5，将由步骤3生成的数据插入到GreenPlum/MySQL临时表中；

步骤6，将步骤5临时表数据更新到目标表中。

5、监控模块

监控模块对系统运行过程进行监控，当系统运行期间出现异常时，会触发邮件通知，从而快速引入技术人员进行修复。

6、控制节点模块

控制节点模块具有进程管理，进程监控，任务启停，任务异常宕机后自动重启，任务保活功能，当系统出现异常时控制节点模块会记录日志并尝试重启，如重启成功则继续执行定时任务，当对系统进行修复时可以一键式停止任务。

本发明提供了一种基于模型的用户画像系统，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种基于模型的用户画像系统，其特征在于，包括约束条件初始化模块、动态配置模块、自动建模模块、数据库写入模块、监控模块和控制节点模块；

其中，所述约束条件初始化模块负责在系统启动前设定默认值，建模类预设为统计值，组件类预设为经验值，使用强规则对输入值进行判断、识别、划分，其中，所述强规则是指程序设定的必须满足的条件规则，输入值为用户属性、行为和带有统计信息的特征，根据是否符合强规则设定，对标签信息进行初始判断，并识别出与预设默认值不同的标签同时进行标签更新；

所述动态配置模块用于在系统运行阶段对默认值进行重定；

所述自动建模模块用于对输入值进行数据清洗、数据集成、数据变换、数据规约，根据处理后的数据进行建模，模型输出为多个标签的概率，其概率代表属于该标签的可能性，根据概率设定阈值筛选出大于阈值的标签作为最终输出标签；

所述数据库写入模块负责将自动建模模块最终生成的标签数据进行数据库定向写入；

所述监控模块能够在系统运行异常时及时通知工作人员，在系统运行正常状态下支持将简略日志进行邮件输出；

所述控制节点模块负责系统异常宕机后自动重启；

所述动态配置模块包括YAML配置、JSON配置；

所述YAML配置用于以YAML格式进行初始值设定，包括组件的启停、阈值的设定、输出的过滤与映射，所有配置一经修改即能够在下一次调度中生效；

所述JSON配置用于对YAML配置的补充，当系统处于运行中时，通过引入JSON配置进行容错，当YAML配置不可读时会尝试读JSON配置，并进行等待，等待完毕后重新对YAML配置进行再次读取；

所述自动建模模块包括numpy&pandas数据处理模块和scikit-learn建模模块；

其中numpy&pandas数据处理模块通过pandas用于对数据输出和可视化操作，通过numpy对数据进行处理，削弱数据量增大导致的原生处理速度较慢的影响；

scikit-learn建模模块利用scikit-learn构建算法模型；

所述数据库写入模块包括GreenPlum写入模块和MySQL写入模块，GreenPlum写入模块用于将数据写入GreenPlum数据库，MySQL写入模块用于将数据写入MySQL数据库；

所述监控模块包括Logger记录器和邮件发送模块，其中Logger记录器负责记录程序执行过程及运行状态，邮件发送模块用于程序执行异常时向运维人员发送邮件预警通知；

所述控制节点模块用于进程管理、进程监控、任务启停、任务保活和任务异常自动重启；

所述系统通过GreenPlum写入模块和MySQL写入模块完成对输出数据的定向写入，包括如下步骤：

步骤1，通过psycopg2或者pymysql将存储在数据库中的数据批量抽取；其中psyconpg2为GreenPlum写入模块的驱动模块，用于连接GreenPlum数据库及执行增删改查操作，pymysql为MySQL写入模块的驱动模块，用于连接MySQL数据库及执行增删改查操作，所述存储在数据库中的数据包括业务日志，用户属性和行为信息；

步骤2，对抽取数据进行预处理，其中预处理是指根据动态配置模块对数据进行转换；

步骤3，根据自动建模模块产生的模型输出用户画像类别；

步骤4，如果GreenPlum或者MySQL临时表尚未建立，则建立临时表，如果GreenPlum或者MySQL目标表尚未建立，则建立目标表；

步骤5，将由步骤3生成的用户画像类别插入到GreenPlum或者MySQL临时表中；

步骤6，将步骤5得到的临时表数据更新到目标表中；

所述控制节点模块具有进程管理，进程监控，任务启停，任务异常宕机后自动重启，任务保活功能，当系统出现异常时控制节点模块会记录日志并尝试重启，如重启成功则继续执行定时任务，当对系统进行修复时能够一键式停止任务。

Images