CN112632146B - 多人协作的可视化数据挖掘系统 - Google Patents

Abstract

本发明提供一种多人协作的可视化数据挖掘系统，包括前端模块和后端模块；还包括用户权限管理模块、工作空间控制模块和共享机制控制模块，用于使得多个用户可以通过工作空间进行协作，用户能将数据一键分享给工作空间内的其他协作伙伴，并能够进行共享协作伙伴的数据建模逻辑，同时能够将数据和预测模型持久化到HDFS或将数据和建模逻辑下载到本地文件系统。该系统内置了近百种数据挖掘算法，涵盖回归、分类、关联规则分析、深度学习等经典类别，从而为用户提供数据探索、特征工程、模型建立、模型评估及模型发布的完整知识发现和应用流程；让用户无需编程、采用拖拉拽的操作方式，便可以在轻量级的浏览器图形界面里透视数据所蕴含的商业价值。

Description

多人协作的可视化数据挖掘系统

技术领域

本发明具体涉及一种多人协作的可视化数据挖掘系统。

背景技术

随着行业信息化建设不断深入，金融、医疗、政府等行业积累了大量内部 数据；企业内部数据量从TB级上升到PB级，构成大数据应用基础，同时物联 网、可穿戴设备、车联网、政府公开数据平台等渠道得到拓展开放，数据量急 剧增加。目前企业大数据主要来源于企业内部业务平台数据、企业客户相关数 据、内部管理平台数据、互联网上公开数据、外部购买数据、政府免费开放数 据。对传统企业而言，面对越来越常见的海量多源异构数据时，将这些数据进 行存储、处理并实现挖掘及分析，无疑是一个艰巨且亟待解决的问题。大部分 传统数据挖掘工具，只能针对少量单一类型的关系型数据进行存储和分析，并 且操作过程繁琐，无法胜任海量半结构化、非结构化数据的分析及挖掘任务。

在这样的背景下，大数据行业以企业为对象呈现以下特点：1、互联网企业： 基于海量业务数据及先进技术，为用户提供基于云平台的工具类产品。2、传统 行业企业：基于丰富的行业经验及成熟的软硬件基础服务，为用户提供工具类 产品和解决方案。3、大数据创新企业：基于开源大数据基础技术，为用户提供 行业定制化解决方案。

开源技术快速增加和高速迭代的特性，让一般企业难以跟进，大数据技术 和模式创新将继续由互联网公司主导。同时因国内大数据起步较晚，目前仍处 于概念落地阶段，无论互联网企业、传统行业企业还是大数据创新企业，在落 地应用过程中仍存在产品安装配置复杂、算法难以理解和应用、模型部署困难 等诸多情况，导致产品学习成本高、业务挖掘效率低等问题。

发明内容

本发明的目的在于针对现有技术的不足，提供一种多人协作的可视化数据 挖掘系统，该多人协作的可视化数据挖掘系统可以很好地解决上述问题。

为达到上述要求，本发明采取的技术方案是：提供一种多人协作的可视化 数据挖掘系统，该多人协作的可视化数据挖掘包括前端模块和后端模块；前端 模块用于实现人机交互功能；后端模块用于实现数据管理、算法管理，并提供 异构并行计算的算法流程调度引擎；前端模块通过RESTful风格的API与后端 模块交互。还包括用户权限管理模块、工作空间控制模块和共享机制控制模块， 用于使得多个用户可以通过工作空间进行协作，用户能将数据一键分享给工作 空间内的其他协作伙伴，并能够进行共享协作伙伴的数据建模逻辑，同时能够 将数据和预测模型持久化到HDFS或将数据和建模逻辑下载到本地文件系统。

该多人协作的可视化数据挖掘系统具有的优点如下：

内置了近百种数据挖掘算法，涵盖回归、聚类、分类、关联规则分析、深 度学习等经典类别，从而为用户提供数据探索、特征工程、模型建立、模型评 估及模型发布等完整知识发现和应用流程；界面化的数据源管理、可视化建模 和批量任务调度功能，让用户无需编程、采用拖拉拽的操作方式，便可以在轻 量级的浏览器图形界面里透视数据所蕴含的商业价值。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，对本申请作进一步地详细 说明。

在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等 的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、 元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性 质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可 能是指代相同实施例，但并非必然指代相同的实施例。

为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。

根据本申请的一个实施例，提供一种多人协作的可视化数据挖掘系统，该 系统包含两大模块，分别是后端模块和前端模块。前端提供人机交互界面。WEB 前端通过RESTful风格的API与后端交互，后端负责数据管理、算法管理，并 提供异构并行计算的算法流程调度引擎；现对两大模块进行具体的说明：

前端模块：

前端是基于React框架的组件化单页应用。它遵照RESTful标准，异步向后 端获取结构化数据，通过高性能渲染引擎生成可动态交互的视图界面。核心工 作流编辑器是基于React+Redux+D3开发的高性能强交互性应用，可以满足用户 拖拽算子、配置参数、可视化算子结果的需求。用户通过页面交互改变URL， React-Router检测URL的变化，自上而下渲染一棵虚拟DOM树呈现给用户，期 间利用React高效的diff算法以提升渲染性能。树中每个节点为一个组件，每个 组件读取父节点传入参数(Props)、维护自身状态(State)并维护一个关联样 式表(Styles)。组件间低耦合且可自由组合以满足不同的业务需要。WEB前端 的主要工作就集中在业务无关的高可复用性组件的开发和业务相关的复合组件 的实现上。前端组件一般会使用RESTful API向后端请求数据并更新视图，用户 和组件间的交互会改变组件状态，组件根据不同的状态呈现不同的视图。

后端模块：

系统的web service子模块使用Spring Boot搭建开发环境并结合Spring MVC、Spring Data、Spring Security、Hibernate、Flyway等开发框架，在此基础 上开发具体业务逻辑，前端通过RESTful风格的API和具体的路由表和后端交 互，后端和引擎之间通过MQ交互，持久化数据库使用MySQL。Spring Boot 是基于Java的应用脚手架，其设计目的是用来简化新Spring应用的初始搭建以 及开发过程。结合Spring Data、Spring MVC等框架可以快速构建一个具有较 好结构的项目。项目采用Spring Data作为数据操作层的框架，Hibernate作为 ORM实现，结合Flyway作为DB Migration工具。极大的降低了开发难度和数据挖掘的门槛，简化和规范化了开发流程。

系统的引擎子模块分离了工作流表现与执行，拥有统一的工作流与算子定 义，在执行上，通过编译将工作流转化成互相依赖的具体引擎的任务，如Spark 任务，深度学习任务，单机python任务等，调度交给引擎去执行。因此，该系 统在新增新的引擎的时候，会非常简单方便。

该系统引入的容器集群技术，既是分布式深度学习KubeFlow的基础依赖， 同时作为模型服务、NoteBook等功能的运行环境，可以非常方便地管控服务资 源，实现服务高可用。

根据本申请的一个实施例，该系统提供用户管理、数据管理和可视化、建 模可视化、多用户协作几大功能模块，让用户通过浏览器，无需编程，采用拖 拽算子的可视化操作方式，便可以在轻量级的浏览器图形界面里透视数据所蕴 含的商业价值。帮助企业客户提升数据价值发现的效率，进而达到数据变现的 目的，实现数据驱动的业务创新。该系统还包括用户权限管理模块、工作空间 控制模块和共享机制控制模块，用于使得多个用户可以通过工作空间进行协作， 用户能将数据一键分享给工作空间内的其他协作伙伴，并能够进行共享协作伙 伴的数据建模逻辑，同时能够将数据和预测模型持久化到HDFS或将数据和建模 逻辑下载到本地文件系统。

根据本申请的一个实施例，该系统支持从多种数据源导入数据，包括：分 布式文件系统(HDFS)、分布式数据仓库(Hive)、关系型数据库(RDBMS)、 本地文件系统(LocalFS)。在数据预处理和特征工程的环节生成的新数据还可以 持久化到该系统的存储子系统中，便于继续分析或复用。

根据本申请的一个实施例，该系统将数据或模型读入(Import)、预处理或转 换(Transfer)、写出(Export)操作、模型性能评估(Performance)、模型应用操作 (Predict)、模型可视化统一封装为算子，以保持工作流构建过程的简便和一致 性。平台以算子形式支持各类数据挖掘分析任务，包括特征选择(Attribute Selection Model)、分类(Classification Model)、聚类(ClusterModel)、关联 分析(Associate Model)、回归分析(RegressionModel)等。

根据本申请的一个实施例，软件提供的工作流，直观、有序地表达上述数 据挖掘过程中的各个环节。通过构建一个包含这些环节的数据分析挖掘工作流， 用户以拖拽、连线、参数配置的可视化方式完成数据探索和业务模型的构建。 工作流一旦构建完毕，用户可保存或运行工作流，在运行工作流的过程中查看 每个环节的运行进度，或预览运行成功后的结果。

根据本申请的一个实施例，多个用户可以进行协作，用户能将数据一键分 享给工作空间内的其他协作伙伴，也能轻松共享协作伙伴精心积累的数据建模 逻辑(工作流)。该系统提供的工作空间是一个组合、分析和挖掘数据的地方， 它兼顾数据挖掘项目的私密性和协作性。创建一个私有工作空间后，你可以向 该空间添加合作伙伴，让多个用户可在同一个工作空间下进行协作、共享和互 动。多个用户可在同一工作空间下共享数据和数据挖掘的成果，也可以共享数 据探索和业务建模过程。

根据本申请的一个实施例，该系统的任务管理和调度功能，使得用户在构 建好多个工作流作业后，只需配置作业列表及作业执行顺序，并设置起止时间 和调度周期，就能轻松实现不同周期粒度的批量自动任务调度。批量任务一旦 执行完成，该系统将自动根据用户设定，将任务执行状态通过邮件发送给同一 工作空间内用户指定的合作伙伴，使得用户无需值守平台，就能让作业自动开 始、完成，并在任务完成时及时了解作业完成报告。

根据本申请的一个实施例，该系统支持私有云部署，私有云模式下，客户 不必将数据转移至第三方分析机构，内建的数据访问控制机制加固了业务和数 据的私密性。每位用户在软件平台都有一份私有数据空间，用户私有数据区域 的数据只对自己可见，用户也可以随时取消共享给协作伙伴的数据，而用户持 久化到平台上的工作流或模型只对自己和协作伙伴可见。该系统平台支持接入 启用Kerberos安全认证的集群，数据和计算资源都遵循集群多租户管理策略。

以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细， 但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些 都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。

Claims (3)

1.一种多人协作的可视化数据挖掘系统，其特征在于：包括前端模块和后端模块；

所述前端模块用于实现人机交互功能；

所述后端模块用于实现数据管理、算法管理，并提供异构并行计算的算法流程调度引擎；

所述前端模块通过RESTful风格的API与后端模块交互；

还包括用户权限管理模块、工作空间控制模块和共享机制控制模块，用于使得多个用户可以通过工作空间进行协作，用户能将数据一键分享给工作空间内的其他协作伙伴，并能够进行共享协作伙伴的数据建模逻辑，同时能够将数据和预测模型持久化到HDFS或将数据和建模逻辑下载到本地文件系统；

前端模块为基于React框架的组件化单页应用，同时遵照RESTful标准，异步向后端获取结构化数据，通过高性能渲染引擎生成可动态交互的视图界面，其核心工作流编辑器是基于React+Redux+D3开发的高性能强交互性应用，可以满足用户拖拽算子、配置参数、可视化算子结果的需求；

后端模块包括web service子模块，所述web service子模块使用Spring Boot搭建开发环境结合Spring MVC、Spring Data、Spring Security、Hibernate、Flyway作为开发框架，在此基础上开发具体业务逻辑，所述前端模块通过RESTful风格的API和具体的路由表和所述后端模块交互，所述后端模块和引擎之间通过MQ交互，持久化数据库使用MySQL。

2.根据权利要求1所述的多人协作的可视化数据挖掘系统，其特征在于：所述后端模块包括引擎子模块，所述引擎子模块用于分离工作流表现与执行，拥有统一的工作流与算子定义，在执行上，通过编译将工作流转化成互相依赖的具体引擎的任务。

3.根据权利要求1所述的多人协作的可视化数据挖掘系统，其特征在于：该系统引入的容器集群技术，既是分布式深度学习KubeFlow的基础依赖，同时作为模型服务、NoteBook等功能的运行环境。