CN112069244B - 一种基于可视化web页面数据挖掘的方法和存储设备 - Google Patents

Abstract

本发明涉及模型建立领域，特别涉及一种基于可视化web页面数据挖掘的方法和存储设备。所述一种基于可视化web页面数据挖掘的方法，包括步骤：在模型开发环境中进行模型训练，得有效模型；将有效模型导出为预设类型文件；在生产环境的页面的预设区域选取预设类型文件建立算法库模型；对算法库模型进行发布；切换至生产环境的其它页面，在其它页面的第一预设区域显示数据挖掘模型组件；根据拖拽指令拖拽目标组件至其它页面的第二预设区域，对目标组件进行配置后生成数据挖掘模型，运行数据挖掘模型进行数据挖掘。整个操作过程直接在页面上操作，操作人员无需编写程序，无需专业的技术人员参与，大大降低了使用技术门槛，带来更好的用户体验。

Description

一种基于可视化web页面数据挖掘的方法和存储设备

技术领域

本发明涉及模型建立领域，特别涉及一种基于可视化web页面数据挖掘的方法和存储设备。

背景技术

智能分析平台需要使用数据挖掘技术(例如关联规则、神经网络、决策树、聚类等)完成数据分析。数据挖掘的开发环境一般采用Python、R等平台，生产环境使用Java平台，数据挖掘模型如何在两种平台间共享成为急需要解决的问题。

且数据挖掘模型在生产环境中应用时，常需要通过编写程序代码来对其进行应用，对使用人员的技术门槛较高。

发明内容

为此，需要提供一种基于可视化web页面数据挖掘的方法，用以解决数据挖掘模型无法在开发环境和生产环境两种平台间共享、及生产环境数据挖掘模型使用技术门槛高的问题。具体技术方案如下：

一种基于可视化web页面数据挖掘的方法，包括步骤：

在模型开发环境中进行模型训练，得有效模型；

将所述有效模型导出为预设类型文件；

响应新建算法库模型指令，在生产环境的页面的预设区域选取预设类型文件建立算法库模型；

对所述算法库模型进行发布；

切换至生产环境的其它页面，在所述其它页面的第一预设区域显示数据挖掘模型组件，所述组件包括：数据源、和发布的算法库模型，所述数据源包括以下中的一种或多种：数据库、输入表、输出表；

根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域，对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘。

进一步的，还包括步骤：

导出所述算法库模型，或更新所述算法库模型。

进一步的，所述“并对所述目标组件进行配置及参数调整后生成数据挖掘模型”，还包括步骤：

选定输入数据库及该输入数据库下的输入表；

对所述输入表内的字段与选定的算法库模型的参数建立对应关系。

进一步的，还包括步骤：

选择输出数据库和输出表，将所述数据挖掘结果保存至所述输出数据库下的输出表中。

进一步的，还包括步骤：

所述“将所述有效模型导出为预设类型文件”，还包括步骤：将所述有效模型导出为PKI文件；

所述“对所述算法库模型进行发布”，还包括步骤：将所述PKI文件部署至生产环境的Python模型池，以Restful API方式对外提供服务；

所述“根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域”，还包括步骤：通过调用Restful API来调用发布的算法库模型。

进一步的，所述“对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘”，还包括步骤：

RESTful API根据model id加载算法库模型，并根据参数加载预测数据、执行预测任务，并返回结果至生产环境。

进一步的，还包括步骤：

所述“将所述有效模型导出为预设类型文件”，还包括步骤：将所述有效模型导出为PMML文件；

所述“对所述算法库模型进行发布”，还包括步骤：将所述PMML文件注册在生产环境的PMML模型池；

所述“根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域”，还包括步骤：通过调用PMML Java引擎来调用发布的算法库模型。

进一步的，所述“对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘”，还包括步骤：

PMML Java引擎根据model id加载算法库模型，并根据参数加载预测数据执行预测任务，并返回结果至生产环境的应用程序。

为解决上述技术问题，还提供了一种存储设备，所述存储设备存储有指令集，所述指令集用于执行：上述任意步骤。

本发明的有益效果是：通过在模型开发环境中进行模型训练，得有效模型；将所述有效模型导出为预设类型文件；响应新建算法库模型指令，在生产环境的页面的预设区域选取预设类型文件建立算法库模型；对所述算法库模型进行发布；切换至生产环境的其它页面，在所述其它页面的第一预设区域显示数据挖掘模型组件，所述组件包括：数据源、和发布的算法库模型，所述数据源包括以下中的一种或多种：数据库、输入表、输出表；根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域，对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘。通过上述这些操作，开发环境的有效模型导出为预设类型文件后，生产环境即可调用，而在生产环境中可直接在其页面上，调用预设类型文件来建立算法库模型，并对所述算法库模型进行发布，发布后的算法库模型可被生产环境的其它程序所调用，可直接切换至生产环境的其它页面，在所述其它页面的第一预设区域显示数据挖掘模型组件，根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域，对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘。整个操作过程直接在页面上操作，操作人员无需编写程序，无需专业的技术人员参与，大大降低了使用技术门槛，带来更好的用户体验。

附图说明

图1为具体实施方式所述一种基于可视化web页面数据挖掘的方法的流程图；

图2为具体实施方式所述使用RESTful API跨平台模型共享的示意图；

图3为具体实施方式所述使用RESTful API方式的整体部署示意图；

图4为具体实施方式所述新建算法库模型界面示意图；

图5为具体实施方式所述发布算法库模型界面示意图；

图6为具体实施方式所述新建数据挖掘模型界面示意图；

图7为具体实施方式所述参数调整示意图；

图8为具体实施方式所述运行数据挖掘模型结果示意图；

图9为具体实施方式所述保存数据挖掘结果界面示意图；

图10为具体实施方式所述使用PMML文件实现跨平台的模型共享示意图；

图11为具体实施方式所述PMML 4.3版本支持的18类挖掘模型；

图12为具体实施方式所述一种存储设备的模块示意图。

附图标记说明：

120、存储设备。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，在本实施方式中，一种基于可视化web页面数据挖掘的方法可应用在存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备等。在本实施方式中，生产环境的应用程序以Java应用程序为例。实际应用场景中，生产环境的应用程序可以是多种多样的。具体实现如下：

步骤S101：在模型开发环境中进行模型训练，得有效模型。

步骤S102：将所述有效模型导出为预设类型文件。

步骤S103：响应新建算法库模型指令，在生产环境的页面的预设区域选取预设类型文件建立算法库模型。

步骤S104：对所述算法库模型进行发布。

步骤S105：切换至生产环境的其它页面，在所述其它页面的第一预设区域显示数据挖掘模型组件，所述组件包括：数据源、和发布的算法库模型，所述数据源包括以下中的一种或多种：数据库、输入表、输出表。

步骤S106：根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域，对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘。

通过在模型开发环境中进行模型训练，得有效模型；将所述有效模型导出为预设类型文件；响应新建算法库模型指令，在生产环境的页面的预设区域选取预设类型文件建立算法库模型；对所述算法库模型进行发布；切换至生产环境的其它页面，在所述其它页面的第一预设区域显示数据挖掘模型组件，所述组件包括：数据源、和发布的算法库模型，所述数据源包括以下中的一种或多种：数据库、输入表、输出表；根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域，对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘。通过上述这些操作，开发环境的有效模型导出为预设类型文件后，生产环境即可调用，而在生产环境中可直接在其页面上，调用预设类型文件来建立算法库模型，并对所述算法库模型进行发布，发布后的算法库模型可被生产环境的其它程序所调用，可直接切换至生产环境的其它页面，在所述其它页面的第一预设区域显示数据挖掘模型组件，根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域，对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘。整个操作过程直接在页面上操作，操作人员无需编写SQL语句，即无需懂得SQL语法，大大降低了使用技术门槛，带来更好的用户体验。

以下通过两种方式来进行模型共享，分别是RESTful API和PMML，以下分别展开具体说明：

以Python为例，生产环境中存在Python和Java两个平台。该模式将模型视作REST资源，Java和Python通过RESTful API实现跨平台的模型共享。

图2表述了如何将模型变为REST资源，以及如何使用模型进行预测。具体可如下：

1)训练：在模型开发环境中使用样本数据训练模型，得有效模型。训练过程，就是挑选样本数据，使用机器学习算法运算样本数据计算出结果，和真实结果比较。例如：预测国民生产总值，和多种经济指标相关，比如社会总投资额、失业率、社会平均工资等十多项指标，样本数据是包含这些指标和结果的历史数据，历史数据真实的，用这些历史的指标作为输入，经过机器学习算法运算，得出结果，和历史的结果比较，是否接近。通过调整指标的比重和公式，多次计算直至很接近。再拿其他历史数据进行验证，再调整，排除偶然性。整个过程叫训练。其中有效模型的判断也是模型训练的一个过程和环节，经过循环多次历史数据结果验证，和真实数据拟合度高的就是有效的，这个拟合度没有固定或标准值，跟行业和实际业务有关，比如85％还是99％都可能存在。获得有效模型后，执行导出操作。

2)导出：所述“将所述有效模型导出为预设类型文件”，还包括步骤：将所述有效模型导出为PKI文件。

3)注册：响应新建算法库模型指令，在生产环境的页面的预设区域选取预设类型文件建立算法库模型；对所述算法库模型进行发布。如图4所示，在生产环境的页面上直接点击新建按钮会弹出一个新建模型页面，选取预设类型文件，点击保存，即建立好算法库模型，建立好后，如图5所示，在页面上点击发布按钮，对所述算法库模型进行发布，其中所述“对所述算法库模型进行发布”即：包括步骤：将所述PKI文件部署至生产环境的Python模型池，以Restful API方式对外提供服务。

4)应用：切换至生产环境的其它页面，在所述其它页面的第一预设区域显示数据挖掘模型组件，所述组件包括：数据源、和发布的算法库模型，所述数据源包括以下中的一种或多种：数据库、输入表、输出表；根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域，对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘。

需要说明的是，生产环境的应用程序均可以调用发布好的算法库模型，在本实施方式中，优选为直接在页面上进行操作生成数据挖掘模型。如图6所示，切换至生产环境的其它页面，该页面包括第一预设区域和第二预设区域，第一预设区域用来显示用来建立数据挖掘模型的组件，根据要建立的数据挖掘模型将目标组件拖拽到所述第二预设区域，并对这些目标组件建立连接关系，而后一一配置这些目标组件，如选定输入数据库及该输入数据库下的输入表；对所述输入表内的字段与选定的算法库模型的参数建立对应关系。配置好这些组件的参数后，对这些组件的参数进行调整，如图7所示，可以选择调整最终用于参与数据挖掘模型建立的参数。生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘，如图8所示返回运行结果至生产环境。上述步骤在后端具体实现可为：RESTful API根据model id加载算法库模型，并根据参数加载预测数据、执行预测任务，并返回结果至生产环境。

进一步的，还包括步骤：选择输出数据库和输出表，将所述数据挖掘结果保存至所述输出数据库下的输出表中。如图9所示。其中上述整体部署模式如图3所示。

请参阅图10为使用PMML文件实现跨平台的模型共享。总体过程为：将模型导出为PMML文件，通过运行在生产环境的PMML应用引擎实现模型的共享。在模型开发过程中通过对数据的样本数据进行训练，构建出有效的PMML模型文档，将这个模型注册到生产环境中，通过应用引擎执行运算，产生预测结果。

首先对PMML进行简单介绍：PMML(Predictive Model Markup Language，预测模型标记语言)是一个基于XML Schema的挖掘模型定义语言；PMML语言的目标是共享和重用由不同建模工具生成的挖掘模型；经过二十多年的发展，PMML已成为描述数据挖掘模型的事实上的标准。PMML当前版本(PMML 4.3)支持18类挖掘模型，如图11所示。以下具体展开说明：

1)训练：在模型开发环境中使用样本数据训练模型。

2)导出：所述“将所述有效模型导出为预设类型文件”，还包括步骤：将所述有效模型导出为PMML文件。

3)注册：所述“对所述算法库模型进行发布”，还包括步骤：将所述PMML文件注册在生产环境的PMML模型池；所述“根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域”，还包括步骤：通过调用PMML Java引擎来调用发布的算法库模型。其中生产环境的PMML模型池可以是一个分布式文件系统。

4)应用：所述“对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘”，还包括步骤：PMML Java引擎根据model id加载算法库模型，并根据参数加载预测数据执行预测任务，并返回结果至生产环境的应用程序。

进一步的，还包括步骤：导出所述算法库模型，或更新所述算法库模型。可通过导出所述算法库模型来保存所述算法库模型，并使得算法库模型可以被重复利用。当算法库模型有更新时，可以对所述算法库模型进行更新。

请参阅图12，所述存储设备120存储有指令集，所述指令集用于执行上述一种基于可视化web页面数据挖掘的方法的任意步骤。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (4)

1.一种基于可视化web页面数据挖掘的方法，其特征在于，包括步骤：

在模型开发环境中进行模型训练，得有效模型；

将所述有效模型导出为预设类型文件；

响应新建算法库模型指令，在生产环境的页面的预设区域选取预设类型文件建立算法库模型；

对所述算法库模型进行发布；

切换至生产环境的其它页面，在所述其它页面的第一预设区域显示数据挖掘模型组件，所述组件包括：数据源和发布的算法库模型，所述数据源包括以下中的一种或多种：数据库、输入表、输出表；

根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域，对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘；

所述“并对所述目标组件进行配置及参数调整后生成数据挖掘模型”，还包括步骤：

选定输入数据库及该输入数据库下的输入表；

对所述输入表内的字段与选定的算法库模型的参数建立对应关系；

还包括步骤：

所述“将所述有效模型导出为预设类型文件”，还包括步骤：将所述有效模型导出为PKI文件；

所述“对所述算法库模型进行发布”，还包括步骤：将所述PKI文件部署至生产环境的Python模型池，以Restful API方式对外提供服务；

所述“根据拖拽指令拖拽目标组件至所述其它页面的第二预设区域”，还包括步骤：通过调用Restful API来调用发布的算法库模型；

所述“对所述目标组件建立连接关系，并对所述目标组件进行配置及参数调整后生成数据挖掘模型，运行所述数据挖掘模型进行数据挖掘”，还包括步骤：

RESTful API根据model id加载算法库模型，并根据参数加载预测数据、执行预测任务，并返回结果至生产环境。

2.根据权利要求1所述的一种基于可视化web页面数据挖掘的方法，其特征在于，还包括步骤：

导出所述算法库模型，或更新所述算法库模型。

3.根据权利要求1所述的一种基于可视化web页面数据挖掘的方法，其特征在于，还包括步骤：

选择输出数据库和输出表，将所述数据挖掘结果保存至所述输出数据库下的输出表中。

4.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：权利要求1至3任意方法的步骤。

Images