CN116610690A - 一种模型自动化更新方法、装置、设备及存储介质 - Google Patents
一种模型自动化更新方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116610690A CN116610690A CN202310641106.9A CN202310641106A CN116610690A CN 116610690 A CN116610690 A CN 116610690A CN 202310641106 A CN202310641106 A CN 202310641106A CN 116610690 A CN116610690 A CN 116610690A
- Authority
- CN
- China
- Prior art keywords
- model
- data
- current
- trained
- newly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000004519 manufacturing process Methods 0.000 claims description 34
- 238000012544 monitoring process Methods 0.000 claims description 32
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请公开了一种模型自动化更新方法、装置、设备及存储介质，涉及计算机技术领域，包括：采集预设数据源当前的新增数据，并将所述新增数据保存至本地数据库；对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据；基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型；对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。这样一来，可以持续利用采集的新增数据对模型进行更新，避免利用历史数据对模型更新，造成模型效果的衰减。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种模型自动化更新方法、装置、设备及存储介质。
背景技术
现有技术中，传统的信用评分卡模型被广泛应用于金融行业的贷前、贷中和贷后流程中。但是传统的对信用评分卡模型更新的方法，需要使用历史时间点上的客户数据进行对信用评分卡模型进行更新。这样一来，随着时间推移和客群属性的变化，继续使用历史数据对信用评分卡模型进行更新，会使信用评分卡模型的效果逐渐衰减，甚至出现模型完全无法满足业务需求的情况，当模型无法满足业务需求时，又需要重新开发模型。这样一来，现有技术中的这种模型更新的方式无法满足实时业务需要，而且更新周期长，一旦模型无法满足业务需求，重新开发模型的人力成本、时间成本以及消耗的资源成本太高。
发明内容
有鉴于此，本发明的目的在于提供一种模型自动化更新方法、装置、设备及存储介质，可以持续采集数据源中的新增数据，并对采集的新增数据进行特征工程操作，然后利用得到的特征矩阵数据对模型进行更新，避免利用历史数据对模型更新，造成模型效果的衰减。其具体方案如下：
第一方面，本申请公开了一种模型自动化更新方法，包括：
采集预设数据源当前的新增数据，并将采集到的所述新增数据保存至本地数据库；
对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据；
基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型；
对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。
可选的，所述采集预设数据源当前的新增数据，包括：
基于预设数据采集规则对预设数据源的新增数据进行数据采集；所述预设数据采集规则为基于数据类型、数据格式以及数据量建立的规则；所述预设数据源包括本地数据库、第三方数据库以及网络数据库。
可选的，所述对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据，包括：
对所述本地数据库中保存的所述新增数据进行数据清洗操作，以去除所述新增数据中的异常数据以及重复数据，以得到清洗后数据；
对所述清洗后数据进行特征选择操作，以去除所述清洗后数据中的无关特征和/或冗余特征，以得到选择后特征；
对所述选择后特征进行特征变换操作，以将所述选择后特征转换为特征矩阵数据。
可选的，所述基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型，包括：
利用所述特征矩阵数据替换当前待训练模型中的模型参数，并通过预设更新方法以及更新后模型参数对当前待训练模型进行当前轮次的更新，以得到与所述当前轮次对应的更新后模型；所述预设更新方法包括梯度下降法、牛顿法和拟牛顿法。
可选的，所述对所述更新后模型进行预处理以得到新的当前待训练模型，包括：
通过预设模型优化方法对所述更新后模型进行模型优化、模型压缩以及模型保护，以得到新的当前待训练模型。
可选的，所述对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新，包括：
对所述更新后模型进行预处理以得到新的当前待训练模型；
将当前待训练模型部署至目标生产系统，以便所述目标生产系统利用当前待训练模型进行数据检测分析，并对当前所述预设数据源进行监测；
若监测到所述预设数据源中产生新增数据，则重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。
可选的，所述将当前待训练模型部署至目标生产系统之后，还包括：
通过预设监测方法对所述目标生产系统中部署的当前待训练模型进行监测，以得到与当前待训练模型相应的监测结果；所述预设监测方法包括性能指标分析、日志分析和异常检测；
基于所述监测结果对当前待训练模型进行调优操作。
第二方面，本申请公开了一种模型自动化更新装置，包括：
数据采集模块，用于采集预设数据源当前的新增数据，并将采集到的所述新增数据保存至本地数据库；
数据转换模块，用于对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据；
第一更新模块，用于基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型；
第二更新模块，用于对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现如前述的模型自动化更新方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现如前述的模型自动化更新方法。
本申请中，首先采集预设数据源当前的新增数据，并将采集到的所述新增数据保存至本地数据库，然后对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据，并基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型，最后对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。由此可见，通过本申请中所述模型自动化更新方法，可以持续采集数据源中的新增数据，并对采集到的新增数据进行特征工程处理，将采集到的新增数据转换为模型可以处理的特征矩阵数据，然后利用得到的所述特征矩阵数据对模型参数进行更新，以便通过更新后的模型参数对模型进行训练得到更新后模型，并在本轮模型更新结束后继续采集所述数据源的新增数据，以便进行下一轮的模型更新。这样一来，可以通过采集数据源中的新增数据实现对模型的实时更新，持续更新，并且避免利用历史数据对模型更新，造成模型效果的衰减，保证了模型的有效性以及时效性，并且避免了模型失效时，需要重新开发模型的弊端，节省了大量的人力成本以及时间成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1本申请提供的一种模型自动化更新方法流程图；
图2本申请提供的一种具体的模型自动化更新方法流程图；
图3本申请提供的一种具体的模型自动化更新方法流程图；
图4为本申请提供的一种模型自动化更新装置结构示意图；
图5为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1所示，本发明实施例公开了一种模型自动化更新方法，包括：
步骤S11、采集预设数据源当前的新增数据，并将采集到的所述新增数据保存至本地数据库。
本实施例中，采集预设数据源当前的新增数据，并将采集到的所述新增数据保存至本地数据库。也即，通过增量学习算法实现模型的自动更新主要分为数据采集、特征工程、增量学习、模型部署四个步骤，在数据采集步骤中需要根据预设数据源中的新增数据对模型进行更新，因此需要采集预设数据源中的新增数据，并且采集的新增数据并非预设数据源中的所有新增数据，需要根据需求确定需要采集的数据类型、数据格式以及数据量，并基于预先确定的所述数据类型、所述数据格式以及所述数据量对所述预设数据源中的新增数据进行采集，并将采集得到的新增数据保存至本地数据库，以便后续对本地数据库中的数据进行管理以及维护。
步骤S12、对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据。
本实施例中，对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据。也即，在特征工程步骤中，需要利用采集得到的保存在本地数据库中的新增数据对模型进行更新，但是所述新增数据中可能存在异常值、重复值以及缺失值等非可用数据，因此需要对采集到的所述新增数据进行特征工程处理，以保证数据的可用性以及一致性，对所述新增数据进行特征工程处理包括，对所述新增数据进行数据选择操作、特征选择操作以及特征变换操作，通过对所述新增数据进行特征工程操作，以将所述新增数据转换为可以被数据模型利用的特征矩阵数据。
步骤S13、基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型。
本实施例中，基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型，也即，在增量学习步骤中，需要通过增量学习算法对特征矩阵数据进行处理，以对当前待训练模型中的模型参数进行更新，需要进行说明的是所述增量学习算法包括但不限于梯度下降法，牛顿法以及拟牛顿法，并且在对模型参数进行更新之后，需要利用更新后模型参数对当前待训练模型进行当前轮次的更新，以完成对模型的更新，得到更新后模型。
进一步需要进行说明的是，在对当前待训练模型进行更新得到更新后模型之后，可以对所述更新后模型进行模型评估，以便验证更新后模型的性能以及准确性，并且对模型评估的方法包括但不限于交叉验证、ROC曲线以及精度。并且对模型进行评估之后，可以生成所述更新后模型的评估报告，以便基于所述评估报告对模型参数进行调整，或对增量学习算法进行改进，以便提高模型更新过程中，下一轮次更新后模型的模型性能以及准确性。
步骤S14、对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。
本实施例中，对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。也即，在模型部署步骤中，得到更新后模型后，将所述更新后模型部署至生产系统中，为保证所述更新后模型在所述生产系统中的性能以及准确性，并保证所述更新后模型在所述生产系统中的安全性，需要对所述更新后模型进行模型保护以及模型压缩的预处理操作，并在预处理完成后将预处理后的模型部署至生产系统中，然后重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。这样一来，可以实现对模型的自动化更新，避免了重新开发模型的人力成本、时间成本以及消耗的资源成本太高的弊端。
由此可见，本实施例中首先采集预设数据源当前的新增数据，并将采集到的所述新增数据保存至本地数据库，然后对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据，并基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型，最后对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。由此可见，通过本申请中所述模型自动化更新方法，可以持续采集数据源中的新增数据，并对采集到的新增数据进行特征工程处理，将采集到的新增数据转换为模型可以处理的特征矩阵数据，然后利用得到的所述特征矩阵数据对模型参数进行更新，以便通过更新后的模型参数对模型进行训练得到更新后模型，并在本轮模型更新结束后继续采集所述数据源的新增数据，以便进行下一轮的模型更新。这样一来，可以通过采集数据源中的新增数据实现对模型的实时更新，持续更新，并且避免利用历史数据对模型更新，造成模型效果的衰减，保证了模型的有效性以及时效性，并且避免了模型失效时，需要重新开发模型的弊端，节省了大量的人力成本以及时间成本。
基于前述实施例可知，本申请中在采集到数据源的新增数据后，需要对采集到的新增数据进行数据工程处理，并利用处理后得到的特征矩阵数据对模型参数进行更新，以对模型进行更新，为此本实施例对如何对数据进行特征工程处理做了详细的描述。参见图2所示，本发明实施例公开了一种模型自动化更新方法，包括：
步骤S21、基于预设数据采集规则对预设数据源的新增数据进行数据采集；所述预设数据采集规则为基于数据类型、数据格式以及数据量建立的规则；所述预设数据源包括本地数据库、第三方数据库以及网络数据库。
本实施例中，基于预设数据采集规则对预设数据源的新增数据进行数据采集。也即，采集预设数据源中的新增数据，并非对所述预设数据源中的所有新增数据均进行采集，需要基于预设的数据采集规则采集预设数据源中的新增数据，需要进行说明的是，所述数据采集规则是基于数据类型、数据格式以及数据量建立的规则，也即，采集所述预设数据源中的新增数据，是基于用户需求的数据类型、数据格式以及数据量对新增数据中满足所述数据类型、数据格式的数据，并按照所述数据量采集新增数据。进一步需要进行说明的是，所述预设数据源包括本地数据库、第三方数据库以及网络数据库，本实施例中，所述本地数据库为银行内部系统数据库。
步骤S22、将采集到的所述新增数据保存至本地数据库。
步骤S23、对所述本地数据库中保存的所述新增数据进行数据清洗操作，以去除所述新增数据中的异常数据以及重复数据，以得到清洗后数据。
本实施例中，对所述本地数据库中保存的所述新增数据进行数据清洗操作，以去除所述新增数据中的异常数据以及重复数据，以得到清洗后数据。也即，在将采集到的新增数据保存至本地数据库中后，需要对所述新增数据进行数据工程操作中的数据清洗操作，以去除所述新增数据中的缺失值、异常值以及重复值等不合理数据，以得到清洗后数据。这样一来，通过对采集到的所述新增数据进行数据清洗操作，可以保证对模型进行更新时数据的准确性，进而保证更新后模型的准确性以及稳定性，避免由于数据问题导致的模型精度不够以及稳定性不足的情况。
步骤S24、对所述清洗后数据进行特征选择操作，以去除所述清洗后数据中的无关特征和/或冗余特征，以得到选择后特征。
本实施例中，对所述清洗后数据进行特征选择操作，以去除所述清洗后数据中的无关特征和/或冗余特征，以得到选择后特征。也即，对清洗后数据进行特征工程操作中的特征选择操作，对所述清洗后数据中的所有特征及逆行筛选，去除所属清洗后数据中的无关特征和/或冗余特征，选择与预设待训练模型相关性高的特征。这样一来，通过对清洗后数据进行特征选择操作，可以去除清洗后数据中的无关特征和/或冗余特征，以便利用与预设待训练模型相关性高的特征对模型进行训练，以提高训练后模型的准确性以及泛化能力。
步骤S25、对所述选择后特征进行特征变换操作，以将所述选择后特征转换为特征矩阵数据。
本实施例中，对所述选择后特征进行特征变换操作，以将所述选择后特征转换为特征矩阵数据。也即，对清洗后数据进行特征选择操作得到选择后特征之后，需要通过对所述选择后特征进行特征变换，以见所述选择后特征转换为特征矩阵数据，并且需要进行说明的是，所述特征变换操作包括但不限于标准化、归一化、离散化以及编码。这样一来，通过对所述选择后特征进行特征变换，可以利用特征变换后得到的特征矩阵数据对待训练模型进行训练，以便更好的适应模型的需求以及数据分布特征。
步骤S26、利用所述特征矩阵数据替换当前待训练模型中的模型参数，并通过预设更新方法以及更新后模型参数对当前待训练模型进行当前轮次的更新，以得到与所述当前轮次对应的更新后模型；所述预设更新方法包括梯度下降法、牛顿法和拟牛顿法。
本实施例中，在得到特征矩阵数据后，需要进入增量学习阶段，首先需要对待训练模型进行初始化，也即利用得到的特征矩阵数据对待训练模型的模型参数进行替换，然后通过预设的更新方法以及更新后模型参数对待训练模型进行当前轮次的更新，需要进行说明的是，所述预设更新方法包括但不限于梯度下降法、牛顿法和拟牛顿法，并且所述梯度下降法、所述牛顿法以及所述拟牛顿法均为增量学习算法。本实施例中对利用梯度下降法对待训练模型进行更新，以及利用拟牛顿法对待训练模型进行更新进行详细的说明。
在一种实施情况中，需要利用梯度下降法对待训练模型进行更新，首先需要初始化待训练模型的模型参数，然后读取通过特征工程得到的特征矩阵数据，并基于当前模型参数计算损失函数的梯度，然后利用所述特征矩阵数据对模型参数进行更新，并利用更新后模型参数对模型进行训练。利用梯度下降法只需要保留当前梯度，而不需要保存所有的历史数据，可以极大地节约内存空间，但是利用梯度下降法每个样本都只更新一次，更新速度比较慢，需要更多的迭代次数才能达到收敛。
在另一种实施情况中，需要利用拟牛顿法对待训练模型进行更新，首先需要初始化待训练模型的模型参数，然后读取通过特征工程得到的特征矩阵数据，并基于当前模型参数计算损失函数的梯度，然后利用拟牛顿法计算海森矩阵，并更新模型参数并利用更新后模型参数对模型进行训练。利用拟牛顿法可以在每个样本更新模型参数时保留历史梯度信息，更快地使模型收敛，但需要计算近似的海森矩阵，因此需要更多的计算资源和内存空间。
步骤S27、通过预设模型优化方法对所述更新后模型进行模型优化、模型压缩以及模型保护，以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。
需要进行说明的是，本实施例中关于步骤S22以及步骤S27更加详细的描述可以参考前述实施例，在此不再进行赘述。
由此可见，本实施例中首先基于预设数据采集规则对预设数据源的新增数据进行数据采集，将采集到的所述新增数据保存至本地数据库，然后对所述本地数据库中保存的所述新增数据进行数据清洗操作，以去除所述新增数据中的异常数据以及重复数据，以得到清洗后数据，对所述清洗后数据进行特征选择操作，以去除所述清洗后数据中的无关特征和/或冗余特征，以得到选择后特征，对所述选择后特征进行特征变换操作，以将所述选择后特征转换为特征矩阵数据，最后利用所述特征矩阵数据替换当前待训练模型中的模型参数，并通过预设更新方法以及更新后模型参数对当前待训练模型进行当前轮次的更新，以得到与所述当前轮次对应的更新后模型，并通过预设模型优化方法对所述更新后模型进行模型优化、模型压缩以及模型保护，以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。由此可见，通过对采集到的新增数据进行特征工程处理，可以将得到的新增数据转换为特征矩阵数据，以便利用所述特征矩阵数据更新模型参数，以便对待训练模型进行更新。这样一来，通过特征工程中操作中的数据清洗可以保证对模型进行更新时数据的准确性，进而保证更新后模型的准确性以及稳定性，通过特征工程中操作中的特征选择可以去除清洗后数据中的无关特征和/或冗余特征，以便利用与预设待训练模型相关性高的特征对模型进行训练，以提高训练后模型的准确性以及泛化能力，通过特征工程中操作中的特征变换可以利用特征变换后得到的特征矩阵数据对待训练模型进行训练，以便更好的适应模型的需求以及数据分布特征。
基于前述实施例可知，对待训练模型更新后，需要把更新后模型部署至生产系统，并进行下一轮次的更新，为此本实施例对将更新后模型部署至生产系统以及如何对更新后模型进行下一轮次的更新进行了详细的说明，参见图3所示，本发明实施例公开了一种模型自动化更新方法，包括：
步骤S31、采集预设数据源当前的新增数据，并将采集到的所述新增数据保存至本地数据库。
步骤S32、对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据。
步骤S33、基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型。
步骤S34、对所述更新后模型进行预处理以得到新的当前待训练模型。
本实施例中，对所述更新后模型进行预处理以得到新的当前待训练模型。也即，为了保证模型在生产系统中的处理性能、准确性以及安全性，需要对模型进行模型优化、模型压缩以及模型保护的预处理，并且，需要进行说明的是，对模型进行优化的方法包括但不限于模型剪枝、模型量化、模型加速，对模型进行保护的方法包括但不限于加密、权限控制、漏洞扫描。
步骤S35、将当前待训练模型部署至目标生产系统，以便所述目标生产系统利用当前待训练模型进行数据检测分析，并对当前所述预设数据源进行监测。
本实施例中，将当前待训练模型部署至目标生产系统，以便所述目标生产系统利用当前待训练模型进行数据检测分析，并对当前所述预设数据源进行监测。也即，当把通过对更新后模型进行预处理得到的新的当前待训练模型部署至生产系统中后，目标生产系统可利用所述新的当前待训练模型进行数据检测分析，并且可以对当前所述预设数据源进行实时监测，以便进行数据采集。
步骤S36、如果监测到所述预设数据源中产生新增数据，则重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。
步骤S37、通过预设监测方法对所述目标生产系统中部署的当前待训练模型进行监测，以得到与当前待训练模型相应的监测结果；所述预设监测方法包括性能指标分析、日志分析和异常检测。
本实施例中，通过预设监测方法对所述目标生产系统中部署的当前新的待训练模型进行监测，以得到与当前待训练模型相应的监测结果。也即，在将得到的新的待训练模型部署至生产系统中后，可以通过预设监测方法对所述当前新的待训练模型进行监测，以便产生相应的监测报告。需要进行说明的是，所述预设监测方法包括但不限于性能指标分析、日志分析和异常检测。
步骤S38、基于所述监测结果对当前待训练模型进行调优操作。
本实施例中，在得到相应的监测结果，也即监测报告后，可以根据得到的检测报告对当前待训练模型进行调优操作。
由此可见，本实施例将模型部署至生产系统的过程中首先对所述更新后模型进行预处理以得到新的当前待训练模型，然后将当前待训练模型部署至目标生产系统，以便所述目标生产系统利用当前待训练模型进行数据检测分析，并对当前所述预设数据源进行监测，如果监测到所述预设数据源中产生新增数据，则重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新，最后通过预设监测方法对所述目标生产系统中部署的当前待训练模型进行监测，以得到与当前待训练模型相应的监测结果；所述预设监测方法包括性能指标分析、日志分析和异常检测，并基于所述监测结果对当前待训练模型进行调优操作。这样一来，将预处理后得到的新的当前待训练模型部署至生产系统中，可以保证模型在生产系统中运行的安全性以及准确性，并且保证了模型处理的性能。并且对部署至生产系统中的新的当前待训练模型进行监测，通过检测产生的监测报告对模型进行调优，可以进一步保证模型性能。
参见图4所示，本发明实施例公开了一种模型自动化更新装置，包括：
数据采集模块11，用于采集预设数据源当前的新增数据，并将采集到的所述新增数据保存至本地数据库；
数据转换模块12，用于对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据；
第一更新模块13，用于基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型；
第二更新模块14，用于对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。
本申请中，首先采集预设数据源当前的新增数据，并将采集到的所述新增数据保存至本地数据库，然后对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据，并基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型，最后对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。由此可见，通过本申请中所述模型自动化更新方法，可以持续采集数据源中的新增数据，并对采集到的新增数据进行特征工程处理，将采集到的新增数据转换为模型可以处理的特征矩阵数据，然后利用得到的所述特征矩阵数据对模型参数进行更新，以便通过更新后的模型参数对模型进行训练得到更新后模型，并在本轮模型更新结束后继续采集所述数据源的新增数据，以便进行下一轮的模型更新。这样一来，可以通过采集数据源中的新增数据实现对模型的实时更新，持续更新，并且避免利用历史数据对模型更新，造成模型效果的衰减，保证了模型的有效性以及时效性，并且避免了模型失效时，需要重新开发模型的弊端，节省了大量的人力成本以及时间成本。
在一些实施例中，所述数据采集模块11，具体可以包括：
数据采集单元，用于基于预设数据采集规则对预设数据源的新增数据进行数据采集；所述预设数据采集规则为基于数据类型、数据格式以及数据量建立的规则；所述预设数据源包括本地数据库、第三方数据库以及网络数据库。
在一些实施例中，所述数据转换模块12，具体可以包括：
数据清洗单元，用于对所述本地数据库中保存的所述新增数据进行数据清洗操作，以去除所述新增数据中的异常数据以及重复数据，以得到清洗后数据；
特征选择单元，用于对所述清洗后数据进行特征选择操作，以去除所述清洗后数据中的无关特征和/或冗余特征，以得到选择后特征；
特征变换单元，用于对所述选择后特征进行特征变换操作，以将所述选择后特征转换为特征矩阵数据。
在一些实施例中，所述第一更新模块13，具体可以包括：
第一模型更新单元，用于利用所述特征矩阵数据替换当前待训练模型中的模型参数，并通过预设更新方法以及更新后模型参数对当前待训练模型进行当前轮次的更新，以得到与所述当前轮次对应的更新后模型；所述预设更新方法包括梯度下降法、牛顿法和拟牛顿法。
在一些实施例中，所述第二更新模块14，具体可以包括：
第一模型预处理单元，用于通过预设模型优化方法对所述更新后模型进行模型优化、模型压缩以及模型保护，以得到新的当前待训练模型。
在一些实施例中，所述第二更新模块14，具体可以包括：
第二模型预处理单元，对所述更新后模型进行预处理以得到新的当前待训练模型；
模型部署单元，用于将当前待训练模型部署至目标生产系统，以便所述目标生产系统利用当前待训练模型进行数据检测分析，并对当前所述预设数据源进行监测；
第二模型更新单元若监测到所述预设数据源中产生新增数据，则重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。
在一些实施例中，所述自动化更新装置，还可以包括：
模型检测子模块，用于通过预设监测方法对所述目标生产系统中部署的当前待训练模型进行监测，以得到与当前待训练模型相应的监测结果；所述预设监测方法包括性能指标分析、日志分析和异常检测；
模型调优子模块，用于基于所述监测结果对当前待训练模型进行调优操作。
进一步的，本申请实施例还公开了一种电子设备，图5是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图5为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的模型自动化更新方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的模型自动化更新方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的模型自动化更新方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种模型自动化更新方法，其特征在于，包括：
采集预设数据源当前的新增数据，并将采集到的所述新增数据保存至本地数据库；
对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据；
基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型；
对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。
2.根据权利要求1所述的模型自动化更新方法，其特征在于，所述采集预设数据源当前的新增数据，包括：
基于预设数据采集规则对预设数据源的新增数据进行数据采集；所述预设数据采集规则为基于数据类型、数据格式以及数据量建立的规则；所述预设数据源包括本地数据库、第三方数据库以及网络数据库。
3.根据权利要求1所述的模型自动化更新方法，其特征在于，所述对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据，包括：
对所述本地数据库中保存的所述新增数据进行数据清洗操作，以去除所述新增数据中的异常数据以及重复数据，以得到清洗后数据；
对所述清洗后数据进行特征选择操作，以去除所述清洗后数据中的无关特征和/或冗余特征，以得到选择后特征；
对所述选择后特征进行特征变换操作，以将所述选择后特征转换为特征矩阵数据。
4.根据权利要求1所述的模型自动化更新方法，其特征在于，所述基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型，包括：
利用所述特征矩阵数据替换当前待训练模型中的模型参数，并通过预设更新方法以及更新后模型参数对当前待训练模型进行当前轮次的更新，以得到与所述当前轮次对应的更新后模型；所述预设更新方法包括梯度下降法、牛顿法和拟牛顿法。
5.根据权利要求1所述的模型自动化更新方法，其特征在于，所述对所述更新后模型进行预处理以得到新的当前待训练模型，包括：
通过预设模型优化方法对所述更新后模型进行模型优化、模型压缩以及模型保护，以得到新的当前待训练模型。
6.根据权利要求1至5任一项所述的模型自动化更新方法，其特征在于，所述对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新，包括：
对所述更新后模型进行预处理以得到新的当前待训练模型；
将当前待训练模型部署至目标生产系统，以便所述目标生产系统利用当前待训练模型进行数据检测分析，并对当前所述预设数据源进行监测；
若监测到所述预设数据源中产生新增数据，则重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。
7.根据权利要求6所述的模型自动化更新方法，其特征在于，所述将当前待训练模型部署至目标生产系统之后，还包括：
通过预设监测方法对所述目标生产系统中部署的当前待训练模型进行监测，以得到与当前待训练模型相应的监测结果；所述预设监测方法包括性能指标分析、日志分析和异常检测；
基于所述监测结果对当前待训练模型进行调优操作。
8.一种模型自动化更新装置，其特征在于，包括：
数据采集模块，用于采集预设数据源当前的新增数据，并将采集到的所述新增数据保存至本地数据库；
数据转换模块，用于对所述本地数据库中保存的所述新增数据进行特征工程处理，以将所述新增数据转换为特征矩阵数据；
第一更新模块，用于基于所述特征矩阵数据对当前待训练模型的模型参数进行更新，并利用更新后模型参数对当前待训练模型进行当前轮次的更新，以得到更新后模型；
第二更新模块，用于对所述更新后模型进行预处理以得到新的当前待训练模型，并重新跳转至所述采集预设数据源当前的新增数据的步骤，以便进行下一轮次的模型更新。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的模型自动化更新方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的模型自动化更新方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310641106.9A CN116610690A (zh) | 2023-06-01 | 2023-06-01 | 一种模型自动化更新方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310641106.9A CN116610690A (zh) | 2023-06-01 | 2023-06-01 | 一种模型自动化更新方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116610690A true CN116610690A (zh) | 2023-08-18 |
Family
ID=87676314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310641106.9A Pending CN116610690A (zh) | 2023-06-01 | 2023-06-01 | 一种模型自动化更新方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116610690A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117033160A (zh) * | 2023-10-10 | 2023-11-10 | 中国电子信息产业集团有限公司第六研究所 | 一种数据采集设备故障时间的预测方法 |
-
2023
- 2023-06-01 CN CN202310641106.9A patent/CN116610690A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117033160A (zh) * | 2023-10-10 | 2023-11-10 | 中国电子信息产业集团有限公司第六研究所 | 一种数据采集设备故障时间的预测方法 |
| CN117033160B (zh) * | 2023-10-10 | 2024-01-19 | 中国电子信息产业集团有限公司第六研究所 | 一种数据采集设备故障时间的预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107888397B (zh) | 确定故障类型的方法和装置 | |
| CN115497272B (zh) | 一种基于数字化建造的工期智能化预警系统及方法 | |
| CN103902816A (zh) | 基于数据挖掘技术的带电检测数据处理方法 | |
| CN116610690A (zh) | 一种模型自动化更新方法、装置、设备及存储介质 | |
| CN116316614B (zh) | 电网三维数字孪生系统、性能分析方法及相关装置 | |
| CN111459761A (zh) | 一种Redis配置的方法、装置、存储介质及设备 | |
| US20200097842A1 (en) | Method and system for predicting and preempting patching failures | |
| CN115529315B (zh) | 一种云边协同系统 | |
| CN108537243A (zh) | 一种违规告警方法及装置 | |
| CN113098888A (zh) | 异常行为预测方法、装置、设备及存储介质 | |
| CN117235524A (zh) | 自动估值模型的学习训练平台 | |
| CN117236788B (zh) | 基于人工智能的水资源调度优化方法及系统 | |
| CN116776006B (zh) | 用于企业融资的客户画像构建方法及系统 | |
| CN117519656A (zh) | 一种基于智能制造的软件开发系统 | |
| US11232381B2 (en) | Systems and methods for managing resources in an information technology (IT) infrastructure | |
| Friederich et al. | A Framework for Validating Data-Driven Discrete-Event Simulation Models of Cyber-Physical Production Systems | |
| CN116187932A (zh) | 一种信息系统工程监理项目风险自适应评估方法 | |
| CN113343577B (zh) | 一种基于机器学习的参数优化方法、装置、设备及介质 | |
| CN111737319B (zh) | 用户集群的预测方法、装置、计算机设备和存储介质 | |
| CN113610225A (zh) | 质量评估模型训练方法、装置、电子设备及存储介质 | |
| CN106919755A (zh) | 一种基于数据的云制造系统不确定性量化分析方法及装置 | |
| CN112580823A (zh) | 数据处理方法、装置、可读存储介质和电子设备 | |
| CN116150222B (zh) | 一种基于大数据的辅助决策方法 | |
| CN117076454B (zh) | 一种工程质量验收表单数据结构化存储方法及系统 | |
| CN115190023B (zh) | 组态管理策略处理方法、装置及通信设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |