CN110942155A - 一种机器学习引擎的研究方法 - Google Patents

Abstract

本发明公开了一种机器学习引擎的研究方法，包括如下步骤：S1、向用户提供基于交互式学习技术的建模框架，支持图形化方式进行建模挖掘；S2、集成Spark等3种以上机器学习框架，内置分类、回归、聚类、关联规则等多种算法；S3、深度学习是机器学习中一种基于对数据进行表征学习的方法；S4、基于公司信息系统的运行数据，研究机器学习、深度学习算法在信息系统运行监测、信息设备故障诊断、系统安全风险预测、信息用户行为分析预测等方面的应用；本发明降低建模编程技术门槛，使公司业务部门轻松地获得模型训练能力，助力公司大数据的价值发现。研究并构建信息系统安全风险预测模型，实现信息系统运行风险快速实时预测的目的。

Description

一种机器学习引擎的研究方法

技术领域

本发明属于机器学习引擎的研究技术领域，更具体地说，尤其涉及一种机器学习引擎的研究方法。

背景技术

现有的机器学习引擎不具有统一建模框架，建模编程技术门槛，使得模型训练开展难度较大，且机器学习引擎的软件的信息系统安全风险无法进行快速实时预测，为此我们推出一种机器学习引擎的研究方法。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种机器学习引擎的研究方法。

为实现上述目的，本发明提供如下技术方案：

一种机器学习引擎的研究方法，包括如下步骤：

S1、研究交互式机器学习引擎，向用户提供基于交互式学习技术的建模框架，支持图形化方式进行建模挖掘，可以降低编程技术门槛，使用户轻松地获得模型训练能力，助力用户大数据的价值发现；

S2、集成Spark等3种以上机器学习框架，内置分类、回归、聚类、关联规则等多种算法；支持新增自定义算法；

S3、深度学习是机器学习中一种基于对数据进行表征学习的方法，其主要应用方式在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，如图像，声音和文本；

研究深度学习在电网运行监测、电力系统自动故障检测、电力设备故障诊断等方面的应用，通过深度学习的方式减少简单重复劳动力投入、自动检测和预测设备故障，助力公司的日常生产和运营；

S4、基于公司信息系统的运行数据，研究机器学习、深度学习算法在信息系统运行监测、信息设备故障诊断、系统安全风险预测、信息用户行为分析预测等方面的应用；研究并构建信息系统安全风险预测模型，并保证其可扩展性、精确性和客观性，实现信息系统运行风险快速实时预测的目的。

优选的，提供的软件应是确保系统正常运行所需的管理、运营、维护等有关的全部软件，并是成熟的最新版本的软件系统，应为模块化设计，保证任何软件模块的维护和更新都不影响其它软件模块，软件具有容错能力。

优选的，提供的软件支持各种硬件厂商机器和Linux系列操作系统平台，全面支持64位能力；开发客户端支持Web客户端，支持PC、手机终端展现；

软件的运行方式支持分布式环境，支持Hadoop和Spark环境，包括Spark、SparkSreaming、Python、R语言等计算组件；

软件支持业务不中断扩容。

优选的，软件的功能包括：

(1)支持拖拽式方式进行交互式探索分析、机器学习、深度学习；

(2)支持机器学习算法开发平台，集成Spark等3种以上机器学习框架；

(3)支持分类、回归、聚类、关联规则、数据预处理、推荐、特征提取、特征转换、特征选择等算法，数据挖掘算法应达到50种以上；

(4)支持新增自定义算法，平台易用性、扩展性较好；

(5)支持模型集成和自动建模功能，对算法结果准确性的分析功能；

(6)支持向导式的基础数据处理功能：过滤、排序、多表关联查询、转置、拆分、抽样、数据比较等；

(7)提供用户编写代码的方式进行复杂的数据处理；

(8)支持数据血缘分析管理；

基于完整的元数据管理能力，提供血缘分析功能，可以以某个元数据为终止节点，以图形化方式展示前端与其有关系的所有元数据，反应数据的来源与加工过程，从而可判断数据来源，定位数据质量问题；

(9)支持一站式运维平台；

(10)支持数据权限管理：支持对不同用户访问数据权限的限制、包括库表数据字典、数据血缘跟踪与追溯、热点数据分析；支持数据行级、列级、图表级别的用户访问权限控等功能；

(11)支持平台安全功能；

(12)支持用户管理：提供用户管理(包括用户、用户组、角色管理、权限管理)和统一访问策略体系功能；

(13)支持日志管理：提供完善的用户日志记录，用户审计操作，包括但不限于：用户登录/退出时间、用户访问模型记录、用户查询操作记录、用户数据导出记录以及操作时间等；

(14)帮助文档：有完整的帮助文档，案例介绍、实施方法论说明文档。

优选的，所述支持一站式运维平台具体包括：

(1)支持一键式集群部署、集中式后台管理控制台；

(2)支持组件热插拔设计、支持组件和主机扩缩容操作；

(3)支持存储、计算资源管控，以角色、用户、用户组、项目的进行权限管理；

(4)提供可视化的实时集群运维仪表盘，支持仪表盘自定义配置；

(5)支持自定义短信、邮件多渠道实时告警的服务异常告警。

优选的，所述支持平台安全功能具体包括：

(1)支持安全通信协议SSL；

(2)支持与其他第三方系统的统一认证集成；

(3)提供安全可靠的数据加密，确保数据在传输、存储过程中的安全管控；

(4)支持登录权限审批、数据隔离以及访问审计。

与现有技术相比，本发明的有益效果是：本发明提供的一种机器学习引擎的研究方法，与传统技术相比，研究交互式机器学习引擎，向公司用户提供基于交互式学习技术的统一建模框架，降低建模编程技术门槛，使公司业务部门轻松地获得模型训练能力，助力公司大数据的价值发现。

研究机器学习、深度学习算法在信息系统运行监测、信息设备故障诊断、系统安全风险预测等方面的应用；研究并构建信息系统安全风险预测模型，实现信息系统运行风险快速实时预测的目的。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种机器学习引擎的研究方法，包括如下步骤：

S1、研究交互式机器学习引擎，向用户提供基于交互式学习技术的建模框架，支持图形化方式进行建模挖掘，可以降低编程技术门槛，使用户轻松地获得模型训练能力，助力用户大数据的价值发现；

S2、集成Spark等3种以上机器学习框架，内置分类、回归、聚类、关联规则等多种算法；支持新增自定义算法；

S3、深度学习是机器学习中一种基于对数据进行表征学习的方法，其主要应用方式在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，如图像，声音和文本；

研究深度学习在电网运行监测、电力系统自动故障检测、电力设备故障诊断等方面的应用，通过深度学习的方式减少简单重复劳动力投入、自动检测和预测设备故障，助力公司的日常生产和运营；

S4、基于公司信息系统的运行数据，研究机器学习、深度学习算法在信息系统运行监测、信息设备故障诊断、系统安全风险预测、信息用户行为分析预测等方面的应用；研究并构建信息系统安全风险预测模型，并保证其可扩展性、精确性和客观性，实现信息系统运行风险快速实时预测的目的。

具体的，提供的软件应是确保系统正常运行所需的管理、运营、维护等有关的全部软件，并是成熟的最新版本的软件系统，应为模块化设计，保证任何软件模块的维护和更新都不影响其它软件模块，软件具有容错能力。

具体的，提供的软件支持各种硬件厂商机器和Linux系列操作系统平台，全面支持64位能力；开发客户端支持Web客户端，支持PC、手机终端展现；

软件的运行方式支持分布式环境，支持Hadoop和Spark环境，包括Spark、SparkSreaming、Python、R语言等计算组件；

软件支持业务不中断扩容。

具体的，软件的功能包括：

(1)支持拖拽式方式进行交互式探索分析、机器学习、深度学习；

(2)支持机器学习算法开发平台，集成Spark等3种以上机器学习框架；

(3)支持分类、回归、聚类、关联规则、数据预处理、推荐、特征提取、特征转换、特征选择等算法，数据挖掘算法应达到50种以上；

(4)支持新增自定义算法，平台易用性、扩展性较好；

(5)支持模型集成和自动建模功能，对算法结果准确性的分析功能；

(6)支持向导式的基础数据处理功能：过滤、排序、多表关联查询、转置、拆分、抽样、数据比较等；

(7)提供用户编写代码的方式进行复杂的数据处理；

(8)支持数据血缘分析管理；

基于完整的元数据管理能力，提供血缘分析功能，可以以某个元数据为终止节点，以图形化方式展示前端与其有关系的所有元数据，反应数据的来源与加工过程，从而可判断数据来源，定位数据质量问题；

(9)支持一站式运维平台；

(10)支持数据权限管理：支持对不同用户访问数据权限的限制、包括库表数据字典、数据血缘跟踪与追溯、热点数据分析；支持数据行级、列级、图表级别的用户访问权限控等功能；

(11)支持平台安全功能；

(12)支持用户管理：提供用户管理(包括用户、用户组、角色管理、权限管理)和统一访问策略体系功能；

(13)支持日志管理：提供完善的用户日志记录，用户审计操作，包括但不限于：用户登录/退出时间、用户访问模型记录、用户查询操作记录、用户数据导出记录以及操作时间等；

(14)帮助文档：有完整的帮助文档，案例介绍、实施方法论说明文档。

具体的，所述支持一站式运维平台具体包括：

(1)支持一键式集群部署、集中式后台管理控制台；

(2)支持组件热插拔设计、支持组件和主机扩缩容操作；

(3)支持存储、计算资源管控，以角色、用户、用户组、项目的进行权限管理；

(4)提供可视化的实时集群运维仪表盘，支持仪表盘自定义配置；

(5)支持自定义短信、邮件多渠道实时告警的服务异常告警。

优选的，所述支持平台安全功能具体包括：

(1)支持安全通信协议SSL；

(2)支持与其他第三方系统的统一认证集成；

(3)提供安全可靠的数据加密，确保数据在传输、存储过程中的安全管控；

(4)支持登录权限审批、数据隔离以及访问审计。

软件性能：

★系统性能优异，系统的整体导入/导出性能随节点数量的增加而线性增长。

★数据模型训练响应时间达到500ms以内。

★模型训练并发任务数达到30个以上。

软件可靠性与扩展性：

(1)支持充分扩展性，支持集群服务模式，可从单点服务器快速扩展到集群服务器模式，并支持服务器节点热插拔以及异构服务器集群，支持节点的无限扩展能力。

(2)支持数据在线冗余，双份以上数据存储；

(3)支持组网全冗余部署，任何网络节点故障，自动故障检测切换，业务不中断；

(4)支持服务器节点故障或磁盘故障，某个服务器节点或磁盘发生故障时，系统自动故障检测切换，业务不中断；

(5)支持数据库实例故障，自动故障检测切换，业务不中断；

(6)支持作业重跑：在网络异常、锁冲突等情况下能够保证作业自动重试；

(7)支持自适应负载：无需调整参数，高并发、高负载情况下能够保证作业运行；

(8)支持在线扩容：扩容过程中支持数据建模业务不中断。

软件易用性：

(1)支持图形化安装部署；

(2)支持图形化系统升级、扩容；

(3)支持图形化SQL编辑工具。

研制软件的技术要求

应达到的通用技术要求：

(1)应采用主流开发技术，包括开发语言、数据库、中间件、第三方组件等；

(2)所开发的软件系统应具有易用、易维护的特点，须具备界面化维护、故障自查自测等功能，须具备系统参数配置、管理的可视化界面；

(3)所开发的软件系统应具有可扩展的特点，须具备新接入终端、节点、模块、接口的可视化配置管理功能；

应公开的技术开发细节：

(1)应提供软件数据结构、算法的详细说明，以及与第三方接口的详细说明；

(2)应提供当次系统开发所使用的数据表结构、数据字典；

(3)应提供项目部署实施的网络拓扑、运行环境、作业步骤、全部程序文件清单等项目部署实施说明文档；

(4)提供的系统维护手册应明确程序功能操作说明、管理权限、应用程序和数据库备份及恢复方法、常见故障诊断处理步骤等；

(5)提供的系统软件安装文件须包括全部程序。

研制软件的其他要求：

(1)负责系统功能的方案设计、开发、集成、试验及测试，并根据招标人需求在现场细化；

(2)投标人需保证本研究项目产生的数据资料在今后招标人开发的或招标人委托第三方开发的其他应用系统集成时可提供技术接口和技术支持；

(3)负责招标人所享有的系统功能扩充升级的各种优惠服务；

(4)投标方应在项目验收前向招标方提供项目的系统操作手册和全部设计和技术文档(包括但不限于：需求分析报告、概要设计方案、详细设计方案、数据字典、测试大纲、测试报告)等纸质文档各四份，并提供电子版。全部应用软件及文档均需提供备份光盘。

综上所述：本发明提供的一种机器学习引擎的研究方法，与传统技术相比，研究交互式机器学习引擎，向公司用户提供基于交互式学习技术的统一建模框架，降低建模编程技术门槛，使公司业务部门轻松地获得模型训练能力，助力公司大数据的价值发现。

研究机器学习、深度学习算法在信息系统运行监测、信息设备故障诊断、系统安全风险预测等方面的应用；研究并构建信息系统安全风险预测模型，实现信息系统运行风险快速实时预测的目的。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种机器学习引擎的研究方法，其特征在于：包括如下步骤：

S1、研究交互式机器学习引擎，向用户提供基于交互式学习技术的建模框架，支持图形化方式进行建模挖掘，可以降低编程技术门槛，使用户轻松地获得模型训练能力，助力用户大数据的价值发现；

S2、集成Spark等3种以上机器学习框架，内置分类、回归、聚类、关联规则等多种算法；支持新增自定义算法；

S3、深度学习是机器学习中一种基于对数据进行表征学习的方法，其主要应用方式在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，如图像，声音和文本；

研究深度学习在电网运行监测、电力系统自动故障检测、电力设备故障诊断等方面的应用，通过深度学习的方式减少简单重复劳动力投入、自动检测和预测设备故障，助力公司的日常生产和运营；

S4、基于公司信息系统的运行数据，研究机器学习、深度学习算法在信息系统运行监测、信息设备故障诊断、系统安全风险预测、信息用户行为分析预测等方面的应用；研究并构建信息系统安全风险预测模型，并保证其可扩展性、精确性和客观性，实现信息系统运行风险快速实时预测的目的。

2.权利要求1所述的一种机器学习引擎的研究方法，其特征在于：提供的软件应是确保系统正常运行所需的管理、运营、维护等有关的全部软件，并是成熟的最新版本的软件系统，应为模块化设计，保证任何软件模块的维护和更新都不影响其它软件模块，软件具有容错能力。

3.权利要求1所述的一种机器学习引擎的研究方法，其特征在于：提供的软件支持各种硬件厂商机器和Linux系列操作系统平台，全面支持64位能力；开发客户端支持Web客户端，支持PC、手机终端展现；

软件的运行方式支持分布式环境，支持Hadoop和Spark环境，包括Spark、SparkSreaming、Python、R语言等计算组件；

软件支持业务不中断扩容。

4.权利要求1所述的一种机器学习引擎的研究方法，其特征在于：软件的功能包括：

(1)支持拖拽式方式进行交互式探索分析、机器学习、深度学习；

(2)支持机器学习算法开发平台，集成Spark等3种以上机器学习框架；

(3)支持分类、回归、聚类、关联规则、数据预处理、推荐、特征提取、特征转换、特征选择等算法，数据挖掘算法应达到50种以上；

(4)支持新增自定义算法，平台易用性、扩展性较好；

(5)支持模型集成和自动建模功能，对算法结果准确性的分析功能；

(6)支持向导式的基础数据处理功能：过滤、排序、多表关联查询、转置、拆分、抽样、数据比较等；

(7)提供用户编写代码的方式进行复杂的数据处理；

(8)支持数据血缘分析管理；

基于完整的元数据管理能力，提供血缘分析功能，可以以某个元数据为终止节点，以图形化方式展示前端与其有关系的所有元数据，反应数据的来源与加工过程，从而可判断数据来源，定位数据质量问题；

(9)支持一站式运维平台；

(10)支持数据权限管理：支持对不同用户访问数据权限的限制、包括库表数据字典、数据血缘跟踪与追溯、热点数据分析；支持数据行级、列级、图表级别的用户访问权限控等功能；

(11)支持平台安全功能；

(12)支持用户管理：提供用户管理(包括用户、用户组、角色管理、权限管理)和统一访问策略体系功能；

(13)支持日志管理：提供完善的用户日志记录，用户审计操作，包括但不限于：用户登录/退出时间、用户访问模型记录、用户查询操作记录、用户数据导出记录以及操作时间等；

(14)帮助文档：有完整的帮助文档，案例介绍、实施方法论说明文档。

5.权利要求4所述的一种机器学习引擎的研究方法，其特征在于：所述支持一站式运维平台具体包括：

(1)支持一键式集群部署、集中式后台管理控制台；

(2)支持组件热插拔设计、支持组件和主机扩缩容操作；

(3)支持存储、计算资源管控，以角色、用户、用户组、项目的进行权限管理；

(4)提供可视化的实时集群运维仪表盘，支持仪表盘自定义配置；

(5)支持自定义短信、邮件多渠道实时告警的服务异常告警。

6.权利要求4所述的一种机器学习引擎的研究方法，其特征在于：所述支持平台安全功能具体包括：

(1)支持安全通信协议SSL；

(2)支持与其他第三方系统的统一认证集成；

(3)提供安全可靠的数据加密，确保数据在传输、存储过程中的安全管控；

(4)支持登录权限审批、数据隔离以及访问审计。