CN111507477A - 一种基于区块链的自动化机器学习平台 - Google Patents
一种基于区块链的自动化机器学习平台 Download PDFInfo
- Publication number
- CN111507477A CN111507477A CN201910124157.8A CN201910124157A CN111507477A CN 111507477 A CN111507477 A CN 111507477A CN 201910124157 A CN201910124157 A CN 201910124157A CN 111507477 A CN111507477 A CN 111507477A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- machine learning
- module
- preprocessing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于区块链的自动化机器学习平台，包括监测控制和数据采集模块、数据集预处理模块和模型，所述监测控制和数据采集模块的一端连接有数据预处理，所述监测控制和数据采集模块与原始数据位于数据预处理的同一端，所述原始数据与大数据位于数据预处理的同一端，其中，所述准备数据一端连接有特征选择，所述特征选择另一端连接有应用算法，所述应用算法另一端连接有学习算法机。该基于区块链的自动化机器学习平台，该平台支持数据分布式存储、检索，该平台降低了用户训练机器学习模型的门槛，方便了用户训练自己的机器学习模型，用户利用该平台可以更友好地对自己的数据集进行有效探索，发现一些规律与启示。
Description
技术领域
本发明涉及信息科学领域技术领域，具体为一种基于区块链的自动化机 器学习平台。
背景技术
自动化机器学习主要用于解决目前机器学习模型训练对开发者背景知识 要求高、训练过程繁琐、难以调参等问题，该平台旨在最大程度将机器学习 模型训练自动化，所谓共识机制是区块链系统中实现不同节点之间建立信任、 获取权益的数学算法。
目前市场上很多相关产品的设计都是基于单机版的，也有部分产品支持 分布式平台的模型训练，本发明主要在自动化机器学习平台的底层设计上进 行创新，提出了一种基于区块链技术的自动化机器学习平台，该平台具有数 据安全可信、算力资源稳定可扩展等优点，所谓区块链是分布式数据存储、 点对点传输、共识机制、加密算法等计算机技术的新型应用模式。
现有平台大都基于单个服务器设计，在训练数据获取没有考虑到数据可 靠性问题；在算力方面现有平台大多采用云计算平台的架构，没有很好的利 用分布在用户身边的各种终端设备。
发明内容
本发明的目的在于提供一种基于区块链的自动化机器学习平台，以解决 上述背景技术提出的目前市场上的平台大都基于单个服务器设计，在训练数 据获取没有考虑到数据可靠性问题；在算力方面现有平台大多采用云计算平 台的架构，没有很好的利用分布在用户身边的各种终端设备的问题。
为实现上述目的，本发明提供如下技术方案：一种基于区块链的自动化 机器学习平台，包括监测控制和数据采集模块、数据集预处理模块和模型， 所述监测控制和数据采集模块的一端连接有数据预处理，所述监测控制和数 据采集模块与原始数据位于数据预处理的同一端，所述原始数据与大数据位 于数据预处理的同一端，其中，
所述数据集预处理模块连接于数据预处理的一端，所述数据预处理另一 端连接有准备数据，所述准备数据一端连接有特征选择，所述特征选择另一 端连接有应用算法，所述应用算法另一端连接有学习算法机；
所述模型的一端连接有特征选择，所述模型另一端连接有选择模型，所 述选择模型一端连接有全套建筑模块，所述全套建筑模块另一端连接有预测 维护。
优选的，所述数据预处理设置为三端接口。
优选的，所述数据预处理与准备数据之间构成模型训练结构。
优选的，所述应用算法与模型之间构成模型选择结构。
优选的，所述模型自动化训练包括选择模型、模型训练和特征提取。
与现有技术相比，本发明的有益效果是：该基于区块链的自动化机器学 习平台：
1.该平台支持数据分布式存储、检索，该平台降低了用户训练机器学习 模型的门槛，方便了用户训练自己的机器学习模型，用户利用该平台可以更 友好地对自己的数据集进行有效探索，发现一些规律与启示；其中，分布式 数据存储模块是一种去中心化的区块链存储系统，该发明的平台上的数据从 该区块链存储平台获取，同时训练好的模型文件可以存储到分布式的区块链 存储网络中；
2.该区块链平台将各种IoT设备连接构成了一个强大的机器学习训练的 算力网络，同时该平台存在一种高效的管理、调度机制；
3.该平台通过自动化参数学习，不需要用户进行特征选择、选择模型和 参数调整，整个系统能加速中小型企业开发机器学习模型的效率以及降低开 发成本。
4.区别于传统的automl平台，该发明和区块链网络紧密结合，区块链网 络为本发明提供数据来源，同时区块链网络也成为其数据存储的网络。
5.通过这样的发明，可以确保训练的数据的不可篡改，唯一性，而且借 助区块链网络，保护训练的数据和模型的隐私和版权。
附图说明
图1为本发明控制方法程序流程结构示意图；
图2为本发明工作流程图结构示意图。
图中：1、监测控制和数据采集模块，2、原始数据，3、大数据，4、数 据预处理，5、数据集预处理模块，6、准备数据，7、特征提取，8、学习算 法机，9、应用算法，10、模型，11、选择模型，12全套建筑模块，13、预测 维护。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：一种基于区块链的自动化机器 学习平台，包括监测控制和数据采集模块1、原始数据2、大数据3、数据预 处理4、数据集预处理模块5、准备数据6、特征提取7、学习算法机8、应用 算法9、模型10、选择模型11、全套建筑模块12和预测维护13，所述监测 控制和数据采集模块1的一端连接有数据预处理4，所述监测控制和数据采集 模块1与原始数据2位于数据预处理4的同一端，所述原始数据2与大数据3位于数据预处理4的同一端，其中，
所述数据集预处理模块5连接于数据预处理4的一端，所述数据预处理4 设置为三端接口，可以同步接收监测控制和数据采集模块1、原始数据2和大 数据3的数据，所述数据预处理4另一端连接有准备数据6，所述数据预处理 4与准备数据6之间构成模型训练结构，不断迭代尝试能解决用户问题的机器 学习模型，所述准备数据6一端连接有特征选择7，所述特征选择7另一端连 接有应用算法9，算法可以自动化选出影响机器学习模型性能的特征，所述应 用算法9另一端连接有学习算法机8，所述应用算法9与模型10之间构成模 型选择结构，算法可以自动化选出最优的模型参数，所述模型自动化训练包 括选择模型、模型训练和特征提取7，可以筛选出最优的参数；
所述模型10的一端连接有特征选择7，所述模型10另一端连接有选择模 型11，所述选择模型11一端连接有全套建筑模块12，所述全套建筑模块12 另一端连接有预测维护13。
工作原理：在使用该基于区块链的自动化机器学习平台时，首先，用户 通过Web界面访问，该平台上通过可视化技术使得用户对监测控制和数据采 集模块1、原始数据2和大数据3构成的数据集有一个直观的了解，能够进行 有效探索，在此模块中，用户可以通过数据集预处理模块5对数据集进行预 处理、归一化等操作，该模块的设计主要帮助开发者对数据集进行了解，通 过特征提取7、选择模型11和应用算法9，明确要解决的问题，该模块对即 将输入训练的数据进行质量检测与管理，通过自动化检测可以检测出训练数 据中存在哪些异常点或者缺失值，本说明中未作详细描述的内容属于本领域 专业技术人员公知的现有技术。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人 员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何 修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于区块链的自动化机器学习平台，包括监测控制和数据采集模块(1)、数据集预处理模块(5)和模型(10)，其特征在于：所述监测控制和数据采集模块(1)的一端连接有数据预处理(4)，所述监测控制和数据采集模块(1)与原始数据(2)位于数据预处理(4)的同一端，所述原始数据(2)与大数据(3)位于数据预处理(4)的同一端，其中，
所述数据集预处理模块(5)连接于数据预处理(4)的一端，所述数据预处理(4)另一端连接有准备数据(6)，所述准备数据(6)一端连接有特征选择(7)，所述特征选择(7)另一端连接有应用算法(9)，所述应用算法(9)另一端连接有学习算法机(8)；
所述模型(10)的一端连接有特征选择(7)，所述模型(10)另一端连接有选择模型(11)，所述选择模型(11)一端连接有全套建筑模块(12)，所述全套建筑模块(12)另一端连接有预测维护(13)。
2.根据权利要求1所述的一种基于区块链的自动化机器学习平台，其特征在于：所述数据预处理(4)设置为三端接口。
3.根据权利要求1所述的一种基于区块链的自动化机器学习平台，其特征在于：所述数据预处理(4)与准备数据(6)之间构成模型训练结构。
4.根据权利要求1所述的一种基于区块链的自动化机器学习平台，其特征在于：所述应用算法(9)与模型(10)之间构成模型选择结构。
5.根据权利要求1所述的一种基于区块链的自动化机器学习平台，其特征在于：所述模型自动化训练包括模型选择、模型训练和特征提取(7)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910124157.8A CN111507477A (zh) | 2019-01-31 | 2019-01-31 | 一种基于区块链的自动化机器学习平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910124157.8A CN111507477A (zh) | 2019-01-31 | 2019-01-31 | 一种基于区块链的自动化机器学习平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111507477A true CN111507477A (zh) | 2020-08-07 |
Family
ID=71875845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910124157.8A Pending CN111507477A (zh) | 2019-01-31 | 2019-01-31 | 一种基于区块链的自动化机器学习平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507477A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990481A (zh) * | 2021-03-12 | 2021-06-18 | 北京航空航天大学 | 一种基于区块链的机器学习模型自动化评测方法 |
| CN116629098A (zh) * | 2023-04-23 | 2023-08-22 | 江苏高智电力设计咨询有限公司 | 一种电力设计的设计校验系统 |
-
2019
- 2019-01-31 CN CN201910124157.8A patent/CN111507477A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990481A (zh) * | 2021-03-12 | 2021-06-18 | 北京航空航天大学 | 一种基于区块链的机器学习模型自动化评测方法 |
| CN112990481B (zh) * | 2021-03-12 | 2022-10-28 | 北京航空航天大学 | 一种基于区块链的机器学习模型自动化评测方法 |
| CN116629098A (zh) * | 2023-04-23 | 2023-08-22 | 江苏高智电力设计咨询有限公司 | 一种电力设计的设计校验系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110825885B (zh) | 一种电力设备知识图谱应用系统 | |
| CN105868075A (zh) | 一种实时监控分析大量日志的系统及方法 | |
| CN104376365A (zh) | 一种基于关联规则挖掘的信息系统运行规则库的构造方法 | |
| CN113240289A (zh) | 一种电网调度控制系统运行状态评估方法及系统 | |
| CN111726421B (zh) | 一种实现网络靶场与工控设备互联的方法与装置 | |
| CN103439629A (zh) | 基于数据网格的配电网故障诊断系统 | |
| CN105391800A (zh) | 基于“互联网+”医疗设备故障自检与修复系统 | |
| CN106682702A (zh) | 深度学习方法和系统 | |
| CN111507477A (zh) | 一种基于区块链的自动化机器学习平台 | |
| CN110941421A (zh) | 一种开发机器学习装置及其使用方法 | |
| CN110300191A (zh) | 服务系统及数据处理方法 | |
| CN113054743A (zh) | 一种适用于配电云主站的物联终端数据接入系统及方法 | |
| CN115170344A (zh) | 调控系统运行事件智能处理方法及装置、介质及设备 | |
| CN112261045A (zh) | 一种基于攻击原理的网络攻击数据自动生成方法及系统 | |
| CN109215158A (zh) | 一种pon设备巡检方法、装置及存储介质 | |
| CN112216061A (zh) | 一种雨水情监测预警方法及系统 | |
| CN112882437B (zh) | 一种基于5g+大数据隧道掘进机智能掘进系统和控制方法 | |
| CN114913376A (zh) | 基于图像的缺陷自动识别方法、装置、系统及存储介质 | |
| CN112614002A (zh) | 数据采集系统、方法、装置、电子设备及计算机存储介质 | |
| CN110196857A (zh) | 一种工业物联网数据预测分析平台 | |
| CN117170724A (zh) | 用于检测业务异常的ai模型自动化更新方法、装置及设备 | |
| CN112488343B (zh) | 一种基于超启发式算法的智慧城市智能感知终端选址方法 | |
| CN112965810B (zh) | 一种基于共享网络通道的多内核浏览器数据整合方法 | |
| CN114884937B (zh) | 一种新能源集控系统数据断点续传方法 | |
| CN113899982B (zh) | 利用网络设备掉电复电数据研判低压电网停电复电的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200807 |