CN111949640A - 基于工业大数据的智能调参方法及系统 - Google Patents
基于工业大数据的智能调参方法及系统 Download PDFInfo
- Publication number
- CN111949640A CN111949640A CN202010772973.2A CN202010772973A CN111949640A CN 111949640 A CN111949640 A CN 111949640A CN 202010772973 A CN202010772973 A CN 202010772973A CN 111949640 A CN111949640 A CN 111949640A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- training
- selecting
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- General Factory Administration (AREA)
Abstract
本发明提供了一种基于工业大数据的智能调参方法及系统，包括数据清洗步骤：对数据进行清洗；数据标准化步骤：对清洗完的数据做标准化；选择模型步骤：对模型进行选择，并按设定比例拆分；模型训练步骤：通过标准化数据训练模型；测试选择步骤：测试训练的模型，根据测试结果选择最佳模型；求解步骤：计算模型最优解。本发明通过大数据的管理技术，人工智能学习算法，解决了工业参数自动调优的问题，提升了产品质量，降低生产成本的效果；通过缺失数据清洗、数据标准化、训练模型以及测试结果等系列操作，比对选择出最佳的数据模型，通过最优化方法求解工业参数的最佳设定值；通过数据的不断采集，进而不断更新模型，形成不断优化工艺参数的闭环。
Description
技术领域
本发明涉及大数据领域，具体地，涉及一种基于工业大数据的智能调参方法及系统。
背景技术
现有调参方法，需要人工手动调参，且只能对单一模型进行调参；本发明的方法可以对参数自动调参，自动比较不同模型之间的差异，自动选择最优模型。
申请号为CN201810528401.2的发明专利公开了一种涉及数据随机加密的神经网络模型加密保护系统及方法，包括加密模块，加密模块中的数据划分模块将原始输入数据转换为二维结构，并将其划分为多个待处理的子块，密码生成模块分别生成与该子块结构相同的密码，密码嵌入模块用于将各个密码以叠加的方式嵌入相应的子块，数据重组模块根据先前的子块划分方式，将各个嵌有密码的子块重构为二维结构，生成加密输入数据。与现有技术相比，本发明可以在计算量无显著增加且保持人工神经网络性能的情况下，对人工神经网络模型嵌入保护性密码，使得在人工神经网络模型发布后，任何的复制、二次开发或修改均无法影响该保护性密码。但是上述方案无法实现模型数据的选择。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于工业大数据的智能调参方法及系统。
根据本发明提供的一种基于工业大数据的智能调参方法，包括如下步骤：
数据清洗步骤：对数据进行清洗；
数据标准化步骤：对清洗完的数据做标准化；
选择模型步骤：对模型进行选择，并按设定比例拆分；
模型训练步骤：通过标准化数据训练模型；
测试选择步骤：测试训练的模型，根据测试结果选择最佳模型；
求解步骤：计算模型最优解。
优选地，所述数据清洗步骤包括：
缺失数据处理步骤：根据数据特征，对数据进行补全；根据数据缺失的严重度，对无效数据进行删除；
重复数据处理步骤：对重复的数据进行删除；
数据类型转换步骤：对字符型数据转换成数值类型，对因子类型变量做one-hot转换。
优选地，采用0-1或者均值中心对数据进行标准化。
优选地，模型训练步骤包括：按照设定参数，对模型训练。
优选地，选择的模型包括回归模型、决策树模型或者神经网络模型。
根据本发明提供的一种基于工业大数据的智能调参系统，包括如下模块：
数据清洗模块：对数据进行清洗；
数据标准化模块：对清洗完的数据做标准化；
选择模型模块：对模型进行选择，并按设定比例拆分；
模型训练模块：通过标准化数据训练模型；
测试选择模块：测试训练的模型，根据测试结果选择最佳模型；
求解模块：计算模型最优解。
优选地，所述数据清洗模块包括：
缺失数据处理模块：根据数据特征，对数据进行补全；根据数据缺失的严重度，对无效数据进行删除；
重复数据处理模块：对重复的数据进行删除；
数据类型转换模块：对字符型数据转换成数值类型，对因子类型变量做one-hot转换
优选地，采用0-1或者均值中心对数据进行标准化。
优选地，模型训练模块包括：按照设定参数，对模型训练。
优选地，选择的模型包括回归模型、决策树模型或者神经网络模型。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过大数据的管理技术，人工智能学习算法，解决了工业参数自动调优的问题，达到了提升产品质量，降低生产成本的效果；
2、本发明通过缺失数据清洗、数据标准化、训练模型以及测试结果等系列操作，比对选择出最佳的数据模型，通过最优化方法求解工业参数的最佳设定值；
3、本发明通过数据的不断采集，进而不断更新模型，形成不断优化工艺参数的闭环。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为质量因子挖掘与参数优化流程图；
图2为设备数据接入集群的流程图；
图3为数据清洗与加工流程图；
图4为测试数据样例示意图；
图5为质量因子影响示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明基于工业大数据，通过自动化的模型训练，选择最佳模型；通过最优化方法求解工业参数的最佳设定值。通过数据的不断采集，进而不断更新模型，形成不断优化工艺参数的闭环。
具体的，根据本发明提供的一种基于工业大数据的智能调参方法，包括：
数据清洗步骤：对数据进行清理，包括缺失数据的处理、重复数据的处理以及数据类型的转换，具体的，缺失数据处理包括数据补全：根据数据的特征，进行数据补全，数据补全的主要方法有：均值法、中值法、回归插值法、随机填补法、最近邻填补法等等。缺失数据处理还包括数据剔除：根据数据缺失的严重度，进行删除无效数据；对缺失数据较多的记录，进行删除操作；对数据缺失较为严重的特征进行删除操作。重复数据处理包括对主键重复的数据进行删除；完全重复的记录需要进行删除操作。转换数据类型包括对字符型数据转换成数值类型；对因子类型变量做one-hot转换。
数据标准化步骤：对数据做标准化，采用0-1标准化，或者均值中心标准化。
模型选择及数据拆分步骤：分成训练集和测试集，按照80-20比例进行拆分；模型选择从回归模型开始。
训练模型步骤：设定超参数，如迭代次数，迭代速率等，开始训练模型。
测试结果：使用测试集进行模型测试，计算准确率，精准率，召回率等指标，并存储计算结果。
模型调整步骤：选择新的模型，例如决策树模型，神经网络模型等，迭代训练模型步骤和测试结果。
最佳模型选择步骤：对比不同模型间的测试结果，选择最佳模型。
参数最优解求解步骤：采用牛顿法求解，得到模型最优解，即工业参数设定最佳值。
进一步说明，本发明需清理的数据包括成型设备参数和产品缺陷参数，成型设备参数包括温度、压力、电流等，产品缺陷参数包括裂纹、毛刺、划伤等。成型设备参数和产品缺陷参数均放入大数据平台上，作为数据清洗的基础数据。
本发明提供的一个实施例采用质量因子挖掘模型，具体实现方式为：
Y＝f(x)
其中：Y为响应变量，例如良品率，θ为参数权重，X为影响参数，j为样本数量索引，p为样本个数。RSS表示残差平方和。
通过附图4的具体的数据对应计算可知影响因子权重可参考附图5，其中一段温度的权重最大。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于工业大数据的智能调参方法，其特征在于，包括如下步骤：
数据清洗步骤：对数据进行清洗；
数据标准化步骤：对清洗完的数据做标准化；
选择模型步骤：对模型进行选择，并按设定比例拆分；
模型训练步骤：通过标准化数据训练模型；
测试选择步骤：测试训练的模型，根据测试结果选择最佳模型；
求解步骤：计算模型最优解。
2.根据权利要求1所述的基于工业大数据的智能调参方法，其特征在于，所述数据清洗步骤包括：
缺失数据处理步骤：根据数据特征，对数据进行补全；根据数据缺失的严重度，对无效数据进行删除；
重复数据处理步骤：对重复的数据进行删除；
数据类型转换步骤：对字符型数据转换成数值类型，对因子类型变量做one-hot转换。
3.根据权利要求1所述的基于工业大数据的智能调参方法，其特征在于，采用0-1或者均值中心对数据进行标准化。
4.根据权利要求1所述的基于工业大数据的智能调参方法，其特征在于，模型训练步骤包括：按照设定参数，对模型训练。
5.根据权利要求1所述的基于工业大数据的智能调参方法，其特征在于，选择的模型包括回归模型、决策树模型或者神经网络模型。
6.一种基于工业大数据的智能调参系统，其特征在于，包括如下模块：
数据清洗模块：对数据进行清洗；
数据标准化模块：对清洗完的数据做标准化；
选择模型模块：对模型进行选择，并按设定比例拆分；
模型训练模块：通过标准化数据训练模型；
测试选择模块：测试训练的模型，根据测试结果选择最佳模型；
求解模块：计算模型最优解。
7.根据权利要求6所述的基于工业大数据的智能调参系统，其特征在于，所述数据清洗模块包括：
缺失数据处理模块：根据数据特征，对数据进行补全；根据数据缺失的严重度，对无效数据进行删除；
重复数据处理模块：对重复的数据进行删除；
数据类型转换模块：对字符型数据转换成数值类型，对因子类型变量做one-hot转换。
8.根据权利要求6所述的基于工业大数据的智能调参系统，其特征在于，采用0-1或者均值中心对数据进行标准化。
9.根据权利要求6所述的基于工业大数据的智能调参系统，其特征在于，模型训练模块包括：按照设定参数，对模型训练。
10.根据权利要求6所述的基于工业大数据的智能调参系统，其特征在于，选择的模型包括回归模型、决策树模型或者神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010772973.2A CN111949640A (zh) | 2020-08-04 | 2020-08-04 | 基于工业大数据的智能调参方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010772973.2A CN111949640A (zh) | 2020-08-04 | 2020-08-04 | 基于工业大数据的智能调参方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111949640A true CN111949640A (zh) | 2020-11-17 |
Family
ID=73339387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010772973.2A Pending CN111949640A (zh) | 2020-08-04 | 2020-08-04 | 基于工业大数据的智能调参方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111949640A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801366A (zh) * | 2021-01-27 | 2021-05-14 | 上海微亿智造科技有限公司 | 工业质量数据指标智能预测方法、系统及介质 |
| CN113341883A (zh) * | 2021-08-05 | 2021-09-03 | 山东豪泉软件技术有限公司 | 一种用于机床加工工时预测的方法及设备 |
| CN113592017A (zh) * | 2021-08-10 | 2021-11-02 | 菲特（天津）检测技术有限公司 | 一种深度学习模型标准化训练方法、管理系统、处理终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682938A (zh) * | 2016-12-23 | 2017-05-17 | 广州帷策智能科技有限公司 | 大数据精准营销模型的构建方法及装置 |
| CN107103050A (zh) * | 2017-03-31 | 2017-08-29 | 海通安恒（大连）大数据科技有限公司 | 一种大数据建模平台及方法 |
| CN107633265A (zh) * | 2017-09-04 | 2018-01-26 | 深圳市华傲数据技术有限公司 | 用于优化信用评估模型的数据处理方法及装置 |
| CN110956277A (zh) * | 2019-11-27 | 2020-04-03 | 深圳市魔数智擎人工智能有限公司 | 一种交互式的迭代建模系统及方法 |
-
2020
- 2020-08-04 CN CN202010772973.2A patent/CN111949640A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682938A (zh) * | 2016-12-23 | 2017-05-17 | 广州帷策智能科技有限公司 | 大数据精准营销模型的构建方法及装置 |
| CN107103050A (zh) * | 2017-03-31 | 2017-08-29 | 海通安恒（大连）大数据科技有限公司 | 一种大数据建模平台及方法 |
| CN107633265A (zh) * | 2017-09-04 | 2018-01-26 | 深圳市华傲数据技术有限公司 | 用于优化信用评估模型的数据处理方法及装置 |
| CN110956277A (zh) * | 2019-11-27 | 2020-04-03 | 深圳市魔数智擎人工智能有限公司 | 一种交互式的迭代建模系统及方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801366A (zh) * | 2021-01-27 | 2021-05-14 | 上海微亿智造科技有限公司 | 工业质量数据指标智能预测方法、系统及介质 |
| CN113341883A (zh) * | 2021-08-05 | 2021-09-03 | 山东豪泉软件技术有限公司 | 一种用于机床加工工时预测的方法及设备 |
| CN113592017A (zh) * | 2021-08-10 | 2021-11-02 | 菲特（天津）检测技术有限公司 | 一种深度学习模型标准化训练方法、管理系统、处理终端 |
| CN113592017B (zh) * | 2021-08-10 | 2024-05-31 | 菲特（天津）检测技术有限公司 | 一种深度学习模型标准化训练方法、管理系统、处理终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111949640A (zh) | 基于工业大数据的智能调参方法及系统 | |
| CN116757534B (zh) | 一种基于神经训练网络的智能冰箱可靠性分析方法 | |
| CN110929918B (zh) | 一种基于CNN和LightGBM的10kV馈线故障预测方法 | |
| CN112766550B (zh) | 基于随机森林的停电敏感用户预测方法、系统、存储介质及计算机设备 | |
| CN110163429B (zh) | 一种基于相似日优化筛选的短期负荷预测方法 | |
| CN111563706A (zh) | 一种基于lstm网络的多变量物流货运量预测方法 | |
| CN108647807B (zh) | 河流流量的预测方法 | |
| US20050049913A1 (en) | Method and apparatus for automated feature selection | |
| CN110222830B (zh) | 一种基于自适应遗传算法优化的深度前馈网络故障诊断方法 | |
| CN115019510B (zh) | 一种基于动态自适应生成对抗网络的交通数据修复方法 | |
| CN113592144A (zh) | 一种中长期径流概率预报方法及系统 | |
| CN114492191A (zh) | 基于dbn-svr的热力站设备剩余寿命评估方法 | |
| CN114169434A (zh) | 一种负荷预测方法 | |
| CN107402859A (zh) | 软件功能验证系统及其验证方法 | |
| CN112070272A (zh) | 一种输电线路的覆冰厚度预测方法及装置 | |
| CN115049024A (zh) | 风速预测模型的训练方法、装置、电子设备和存储介质 | |
| CN117394529A (zh) | 基于scada的主配网合环倒供电控制条件辅助决策方法及系统 | |
| CN110852522A (zh) | 一种短期电力负荷预测方法及系统 | |
| CN117578440A (zh) | 一种基于神经网络的电网负荷预测方法 | |
| CN111400964B (zh) | 一种故障发生时间预测方法及装置 | |
| CN112801388B (zh) | 一种基于非线性时间序列算法的电力负荷预测方法及系统 | |
| CN117094782A (zh) | 基于大数据分析的农产品市场价格预警管理系统 | |
| CN116379360A (zh) | 一种基于知识迁移的掺氢天然气管道损伤预测方法及系统 | |
| CN116993548A (zh) | 基于增量学习的LightGBM-SVM的教育培训机构信用评估方法及系统 | |
| CN113076309B (zh) | 烟草生丝水分加水量预测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201117 |