CN107844634B

CN107844634B - 多元通用模型平台建模方法、电子设备及计算机可读存储介质

Info

Publication number: CN107844634B
Application number: CN201710940520.4A
Authority: CN
Inventors: 安欣; 王建明; 肖京
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2017-09-30
Filing date: 2017-09-30
Publication date: 2021-05-25
Anticipated expiration: 2037-09-30
Also published as: CN107844634A; WO2019061991A1

Abstract

本发明公开了一种多元通用模型平台建模方法，该方法包括步骤：建立数据处理通用流程，接入数据通用格式，根据所述数据处理通用流程和数据通用格式，针对预先存储的用户信息建立样本库和特征库；建立处理多元场景业务的模型算法库，提供给预设的配置文件调用；接收特定场景业务的建模指令，通过所述配置文件从模型算法库中调用该特定场景业务对应的模型算法，并根据所述样本库和特征库中符合该特定场景业务的用户信息，通过该特定场景业务对应的模型算法进行建模。本发明能够快速利用多元通用模型平台建模，实现了资源参数和模型参数的积累，并输出阶段性分析结果。

Description

多元通用模型平台建模方法、电子设备及计算机可读存储介质

技术领域

本发明涉及计算机信息技术领域，尤其涉及一种多元通用模型平台建模方法、电子设备及计算机可读存储介质。

背景技术

目前对于每个场景业务进行预测并没有通用的解决方案，加之Spark大数据学习成本高导致新项目或新业务的建模任务接入速度慢且代码重复利用率过低。故，现有技术中的建模方法设计不够合理，亟需改进。

发明内容

有鉴于此，本发明提出一种多元通用模型平台建模方法、电子设备及计算机可读存储介质，通过建立多元通用模型算法库，快速接入建模业务，节省成本，并将不同类型的模型算法加入统一的模型平台，可水平无限拓展。

首先，为实现上述目的，本发明提出一种电子设备，所述电子设备包括存储器及处理器，所述存储器上存储有可在所述处理器上运行的多元通用模型平台建模系统，所述多元通用模型平台建模系统被所述处理器执行时实现如下步骤：

建立数据处理通用流程，接入数据通用格式，根据所述数据处理通用流程和数据通用格式，针对预先存储的用户信息建立样本库和特征库；

建立处理多元场景业务的模型算法库，提供给预设的配置文件调用；及

接收特定场景业务的建模指令，通过所述配置文件从模型算法库中调用该特定场景业务对应的模型算法，并根据所述样本库和特征库中符合该特定场景业务的用户信息，通过该特定场景业务对应的模型算法进行建模。

优选地，所述数据处理通用流程包括：对数据进行标准化操作，使数据符合离线平台的使用规范；对数据进行脏数据清洗，去除数据中的空值和异常值；及将数据格式转化为离线平台所使用的特定格式。

优选地，所述数据通用格式为窄表格式，且所述样本库采用窄表格式；

所述样本库包括多元通用模型平台建模所需的用户样本信息，并且通过所述数据处理通用流程，将建模所需的用户样本信息按照所述数据通用格式输入至样本库中；及

所述特征库为符合所述数据通用格式的窄表集合，所述窄表集合存储有用户特征信息。

优选地，所述多元通用模型平台建模系统被所述处理器执行时还用于实现如下步骤：

判断样本库和特征库中的数据是否符合业务需求；及

所述判断样本库和特征库中的数据是否符合业务需求包括：

判断样本库中是否存储有符合该特定场景业务的样本，判断特征库中的特征是否符合该特定场景业务。

通过该特定场景业务对应的模型算法完成建模后，利用所述特征库中的用户特征信息进行模型训练和预测，从所述样本库中抽取符合特定特征的用户，并向抽取的用户推荐该特定场景业务。

此外，为实现上述目的，本发明还提供一种多元通用模型平台建模方法，该方法应用于电子设备，所述方法包括：

优选地，该方法还包括步骤：

判断样本库和特征库中的数据是否符合业务需求，所述判断样本库和特征库中的数据是否符合业务需求包括：判断样本库中是否存储有符合该特定场景业务的样本，判断特征库中的特征是否符合该特定场景业务；及

进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多元通用模型平台建模系统，所述多元通用模型平台建模系统可被至少一个处理器执行，以使所述至少一个处理器执行如上述的多元通用模型平台建模方法的步骤。

相较于现有技术，本发明所提出的电子设备、多元通用模型平台建模方法及计算机可读存储介质，通过建立多元通用模型算法库，快速接入建模业务，节省成本；另外，将不同类型的模型算法加入统一的模型平台，可水平无限拓展，使用者无需编码基础或Spark大数据基础，能够快速利用多元通用模型平台建模；进一步地，通过预设的参数配置文件，本发明实现了资源参数和模型参数的积累，并输出阶段性分析结果。

附图说明

图1是本发明电子设备一可选的硬件架构的示意图；

图2是本发明电子设备中多元通用模型平台建模系统一实施例的程序模块示意图；

图3为本发明多元通用模型平台建模方法一实施例的实施流程示意图。

附图标记：

电子设备	2
		存储器	21
处理器	22
		网络接口	23
多元通用模型平台建模系统	20
		第一创建模块	201
第二创建模块	202
		第三创建模块	203
流程步骤	S31-S33

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

首先，本发明提出一种电子设备2。

参阅图1所示，是本发明电子设备2一可选的硬件架构的示意图。本实施例中，所述电子设备2可包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23。需要指出的是，图1仅示出了具有组件21-23的电子设备2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

其中，所述电子设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等计算设备，该电子设备2可以是独立的服务器，也可以是多个服务器所组成的服务器集群。

所述存储器21至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器21可以是所述电子设备2的内部存储单元，例如该电子设备2的硬盘或内存。在另一些实施例中，所述存储器21也可以是所述电子设备2的外部存储设备，例如该电子设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器21还可以既包括所述电子设备2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器21通常用于存储安装于所述电子设备2的操作系统和各类应用软件，例如所述多元通用模型平台建模系统20的程序代码等。此外，所述存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制所述电子设备2的总体操作，例如执行与所述电子设备2进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器22用于运行所述存储器21中存储的程序代码或者处理数据，例如运行所述的多元通用模型平台建模系统20等。

所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述电子设备2与其他电子设备之间建立通信连接。例如，所述网络接口23用于通过网络将所述电子设备2与外部数据平台相连，在所述电子设备2与外部数据平台之间的建立数据传输通道和通信连接。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。

至此，己经详细介绍了本发明各个实施例的应用环境和相关设备的硬件结构和功能。下面，将基于上述应用环境和相关设备，提出本发明的各个实施例。

参阅图2所示，是本发明电子设备2中多元通用模型平台建模系统20一实施例的程序模块图。本实施例中，所述的多元通用模型平台建模系统20可以被分割成一个或多个程序模块，所述一个或者多个程序模块被存储于所述存储器21中，并由一个或多个处理器(本实施例中为所述处理器22)所执行，以完成本发明。例如，在图2中，所述的多元通用模型平台建模系统20可以被分割成第一创建模块201、第二创建模块202、以及第三创建模块203。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述多元通用模型平台建模系统20在所述电子设备2中的执行过程。以下将就各程序模块201-203的功能进行详细描述。

所述第一创建模块201，用于建立数据处理通用流程，接入数据通用格式，根据所述数据处理通用流程和数据通用格式，针对预先存储的用户信息建立样本库和特征库，以实现不同场景业务之间的特征共享。其中，所述不同场景业务可以是互联网场景业务与金融场景业务。

优选地，在本实施例中，所述数据处理通用流程包括，但不限于：对数据(如用户信息)进行标准化操作，使数据符合离线平台的使用规范；对数据进行脏数据清洗，去除数据中的空值和异常值；并且将数据格式转化为离线平台所使用的特定格式。其中，在本实施例中，所述离线平台所使用的特定格式可以采用窄表格式，如KV(Key-Value，键值)窄表格式，即KV数据库的表格形式。

优选地，在本实施例中，所述数据通用格式为窄表格式。目前通常使用的表格都是宽表格式，而宽表格式的表格数据共享性较差。为了数据共享以及方便管理，本实施例中采用一种通用的数据格式KV表(窄表格式)。

优选地，在本实施例中，所述样本库采用窄表格式(如KV表)，包括但不限于：多元通用模型平台建模所需的用户样本信息，如用户标签(Label)、用户名(User)、及业务类型或项目类型(Item)。其中，在本实施例中，通过所述数据处理通用流程，将建模所需的用户样本信息(如用户标签、用户名、及业务类型)按照所述数据通用格式输入至样本库中。所述用户样本信息可以是Spark大数据信息。

优选地，在本实施例中，所述特征库为符合所述数据通用格式的窄表集合(如KV表集合)，所述窄表集合存储有用户特征信息(如用户画像特征)。需要说明的是，某些业务场景无法采用标准特征库满足建模需求，本实施例针对多元场景制作不同场景业务下特定的用户画像特征(如年龄、身高、性别、地域、用户偏好等)。例如，在互联网场景业务中，需要用到广告画像，心跳特征等互联网用户画像特征，则可以将这些互联网场景业务下的用户画像特征设置为窄表集合的形式，存入特征库中实现共享。

所述第二创建模块202，用于建立处理多元场景业务的模型算法库，提供给预设的配置文件调用，从而实现快速建模。其中，所述模型算法库包括处理不同场景业务的模型算法。优选地，在本实施例中，所述模型算法库可以接入LR(Logistic Regression，逻辑回归)模型、GBDT(Gradient Boosting Decision Tree，梯度提升决策树)模型、随机森林模型、以及K-Means聚类算法等，以实现多场景业务的处理功能，如互联网场景下的CTR(Click-Through-Rate，点击通过率)点击预测功能，金融场景下用户群体分析功能等多元个性化业务分析需求。

所述第三创建模块203，用于接收特定场景业务的建模指令，通过所述配置文件(只需修改参数)从模型算法库中调用该特定场景业务对应的模型算法，并根据所述样本库和特征库中符合该特定场景业务的用户信息(如果所述样本库和特征库中的数据符合业务需求)，通过该特定场景业务对应的模型算法进行建模。所述用户信息包括用户样本信息和用户特征信息。

优选地，在本实施例中，通过修改配置文件中的参数，如所选择算法名称、所使用样本表名称和特征表名称等，使用者无需编码基础或Spark大数据基础，能够快速利用多元通用模型平台建模。

优选地，在本实施例中，所述第三创建模块203还用于：判断样本库和特征库中的数据是否符合业务需求。其中，所述判断样本库和特征库中的数据是否符合业务需求包括：判断样本库中是否存储有符合该特定场景业务的样本(如互联网场景下的CTR点击预测的样本)；判断特征库中的特征是否符合该特定场景业务，例如，判断特征库中是否存储有符合互联网场景下的CTR点击预测业务需求的用户广告画像特征，心跳特征等。

举例而言，如果接收的特定场景业务为：分析特定用户是否有意愿使用特定的业务(如平安寿险业务)。所述模型算法库中处理该特定场景业务对应的模型算法为LR模型算法，则利用所述配置文件直接调取所需的LR模型算法进行建模。

进一步地，在其它实施例中，所述第三创建模块203还用于：

优选地，所述模型训练是指：从已有用户的特征中学习新的知识，建立用户的新特征。所述模型预测是指：对于一个未知用户，通过模型预测该未知用户是否会使用该特定场景业务(如寿险业务)。

优选地，所述从所述样本库中抽取符合特定特征的用户包括：通过特征重要性分析，确定与该特定场景业务相关的特定特征(即重要特征，如年龄大于30岁、用户偏好有购买保险的记录、或电话咨询过寿险业务等)，并从所述样本库中抽取具有该特定特征的用户。

进一步地，在其它实施例中，所述第三创建模块203还用于：

对模型预测效果进行分析(如推荐反馈率和成功率等分析)，并将分析结果反馈至其它应用接口。

通过上述程序模块201-203，本发明所提出的多元通用模型平台建模系统20，通过建立多元通用模型算法库，快速接入建模业务，节省成本；另外，将不同类型的模型算法加入统一的模型平台，可水平无限拓展，使用者无需编码基础或Spark大数据基础，能够快速利用多元通用模型平台建模；进一步地，通过预设的参数配置文件，本发明实现了资源参数和模型参数的积累，并输出阶段性分析结果。

此外，本发明还提出一种多元通用模型平台建模方法。

参阅图3所示，是本发明多元通用模型平台建模方法一实施例的实施流程示意图。在本实施例中，根据不同的需求，图3所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。

步骤S31，建立数据处理通用流程，接入数据通用格式，根据所述数据处理通用流程和数据通用格式，针对预先存储的用户信息建立样本库和特征库，以实现不同场景业务之间的特征共享。其中，所述不同场景业务可以是互联网场景业务与金融场景业务。

步骤S32，建立处理多元场景业务的模型算法库，提供给预设的配置文件调用，从而实现快速建模。其中，所述模型算法库包括处理不同场景业务的模型算法。优选地，在本实施例中，所述模型算法库可以接入LR(Logistic Regression，逻辑回归)模型、GBDT(Gradient Boosting Decision Tree，梯度提升决策树)模型、随机森林模型、以及K-Means聚类算法等，以实现多场景业务的处理功能，如互联网场景下的CTR(Click-Through-Rate，点击通过率)点击预测功能，金融场景下用户群体分析功能等多元个性化业务分析需求。

步骤S33，接收特定场景业务的建模指令，通过所述配置文件(只需修改参数)从模型算法库中调用该特定场景业务对应的模型算法，并根据所述样本库和特征库中符合该特定场景业务的用户信息(如果所述样本库和特征库中的数据符合业务需求)，通过该特定场景业务对应的模型算法进行建模。所述用户信息包括用户样本信息和用户特征信息。

优选地，在本实施例中，还包括判断样本库和特征库中的数据是否符合业务需求的步骤。其中，所述判断样本库和特征库中的数据是否符合业务需求包括：判断样本库中是否存储有符合该特定场景业务的样本(如互联网场景下的CTR点击预测的样本)；判断特征库中的特征是否符合该特定场景业务，例如，判断特征库中是否存储有符合互联网场景下的CTR点击预测业务需求的用户广告画像特征，心跳特征等。

进一步地，在其它实施例中，所述多元通用模型平台建模方法还包括如下步骤：

通过上述步骤S31-S33及其它相关步骤，本发明所提出的多元通用模型平台建模方法，通过建立多元通用模型算法库，快速接入建模业务，节省成本；另外，将不同类型的模型算法加入统一的模型平台，可水平无限拓展，使用者无需编码基础或Spark大数据基础，能够快速利用多元通用模型平台建模；进一步地，通过预设的参数配置文件，本发明实现了资源参数和模型参数的积累，并输出阶段性分析结果。

进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质(如ROM/RAM、磁碟、光盘)，所述计算机可读存储介质存储有多元通用模型平台建模系统20，所述多元通用模型平台建模系统20可被至少一个处理器22执行，以使所述至少一个处理器22执行如上所述的多元通用模型平台建模方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种电子设备，其特征在于，所述电子设备包括存储器及处理器，所述存储器上存储有可在所述处理器上运行的多元通用模型平台建模系统，所述多元通用模型平台建模系统被所述处理器执行时实现如下步骤：

建立数据处理通用流程，接入数据通用格式，根据所述数据处理通用流程和数据通用格式，针对预先存储的用户信息建立样本库和特征库，所述数据通用格式为窄表格式，且所述样本库采用窄表格式；

所述特征库为符合所述数据通用格式的窄表集合，所述窄表集合存储有用户特征信息；

接收特定场景业务的建模指令，通过所述配置文件从模型算法库中调用该特定场景业务对应的模型算法，判断样本库和特征库中的数据是否符合业务需求，所述判断样本库和特征库中的数据是否符合业务需求包括：判断样本库中是否存储有符合该特定场景业务的样本，判断特征库中的特征是否符合该特定场景业务，并根据所述样本库和特征库中符合该特定场景业务的用户信息，通过该特定场景业务对应的模型算法进行建模，通过该特定场景业务对应的模型算法完成建模后，利用所述特征库中的用户特征信息进行模型训练和预测，从所述样本库中抽取符合特定特征的用户，并向抽取的用户推荐该特定场景业务，所述从所述样本库中抽取符合特定特征的用户包括：通过特征重要性分析，确定与该特定场景业务相关的特定特征，并从所述样本库中抽取具有该特定特征的用户。

2.如权利要求1所述的电子设备，其特征在于，所述数据处理通用流程包括：对数据进行标准化操作，使数据符合离线平台的使用规范；对数据进行脏数据清洗，去除数据中的空值和异常值；及将数据格式转化为离线平台所使用的特定格式。

3.一种多元通用模型平台建模方法，应用于电子设备，其特征在于，所述方法包括：

4.如权利要求3所述的多元通用模型平台建模方法，其特征在于，所述数据处理通用流程包括：对数据进行标准化操作，使数据符合离线平台的使用规范；对数据进行脏数据清洗，去除数据中的空值和异常值；及将数据格式转化为离线平台所使用的特定格式。

5.一种计算机可读存储介质，所述计算机可读存储介质存储有多元通用模型平台建模系统，所述多元通用模型平台建模系统可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求3或4所述的多元通用模型平台建模方法的步骤。