CN113609779A - 分布式机器学习的建模方法、装置及设备 - Google Patents
分布式机器学习的建模方法、装置及设备 Download PDFInfo
- Publication number
- CN113609779A CN113609779A CN202110936432.3A CN202110936432A CN113609779A CN 113609779 A CN113609779 A CN 113609779A CN 202110936432 A CN202110936432 A CN 202110936432A CN 113609779 A CN113609779 A CN 113609779A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- modeling
- target
- initial
- regression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 293
- 238000012549 training Methods 0.000 claims abstract description 78
- 238000011156 evaluation Methods 0.000 claims abstract description 65
- 238000012795 verification Methods 0.000 claims abstract description 63
- 238000007635 classification algorithm Methods 0.000 claims description 55
- 238000003066 decision tree Methods 0.000 claims description 18
- 238000000638 solvent extraction Methods 0.000 claims description 16
- 238000002790 cross-validation Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 15
- 238000002922 simulated annealing Methods 0.000 claims description 15
- 238000012417 linear regression Methods 0.000 claims description 10
- 238000007637 random forest analysis Methods 0.000 claims description 10
- 238000003064 k means clustering Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000007477 logistic regression Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种分布式机器学习的建模方法、装置及设备，通过对获取的训练数据集设置对应的目标建模单元，目标建模单元为以下一项：分类建模单元、回归建模单元或聚类建模单元；为目标建模单元包括的各建模算法配置参数选择模式和验证模式，得到多个初始建模算法和多组训练子集和验证子集；将各组中的训练子集分别输入各初始建模算法中，并根据分布式任务调度策略得到各初始建模算法的预测模型；根据评价参数对各预测模型进行评估，得到满足预设条件的目标初始建模算法；根据训练数据集对目标初始建模算法进行训练得到目标预测模型，并通过目标预测模型对待预测数据进行预测，减少了自动建模的时间和降低了对分析人员的技能要求，使得机器学习更加智能。
Description
技术领域
本发明涉及自动化机器学习技术领域，具体涉及一种分布式机器学习的建模方法、装置及设备。
背景技术
随着大数据的发展，机器学习应用已经在和行业结合逐步落地，但在机器学习的研究及应用过程中，机器学习算法需要针对每个不同的现实场景进行配置和优化，数据分析人员通常需要将大量的时间和精力放在模型调参中，也增加了对数据分析人员的技能要求。如果可以自动的确定哪些模型结构会产生更好的效果，而无须使用人力去尝试不同的算法及针对算法进行调参，这无疑会增进研究的效率。基于这样的想法，自动化机器学习逐渐称为成为目前热点研究方向。如果算法选择和模型参数调优是自动化的，那么部署过程将更加高效，并且人们可以关注更重要的任务，例如模型可解释性、道德规范和业务结果。因此，机器学习模型构建过程的自动化具有重要的现实意义。
在当前大数据背景下，Apache Spark是专为大规模数据处理而设计的快速通用的分布式计算引擎，目前已经在业界广泛应用。当前主流厂家也提出很多成熟的自动机器学习技术，但都是针对特定的计算框架，并不适用于当前的分布式机器学习。
发明内容
本发明实施例提供一种分布式机器学习的建模方法、装置及设备，用以实现智能化的分布式机器学习。
根据第一方面，一种实施例中提供一种分布式机器学习的建模方法，包括：
获取训练数据集，并对所述训练数据集设置对应的目标建模单元，所述目标建模单元为以下一项：分类建模单元、回归建模单元或者聚类建模单元，每种建模单元包括多种建模算法、多种验证模式、多种参数选择模式和多种评价参数，其中，所述分类建模单元应用于分类预测场景，所述回归建模单元应用于回归预测场景以及所述聚类建模单元应用于聚类预测场景；
为所述目标建模单元包括的各所述建模算法，配置对应的参数选择模式和验证模式，得到多个具有不同算法参数组合的初始建模算法和各所述初始建模算法对应的多组训练子集和验证子集；
将各组中的所述训练子集分别输入对应的各所述初始建模算法中，并根据分布式任务调度策略，得到各所述初始建模算法的预测模型；
根据评价参数，通过各组中的所述验证子集对各所述初始建模算法的预测模型进行评估，得到满足预设条件的目标初始建模算法；
根据所述训练数据集，对所述目标初始建模算法进行训练，得到目标预测模型，并通过所述目标预测模型，对待预测数据进行预测。
可选的，所述根据评价参数，通过各组中的所述验证子集对各所述初始建模算法的预测模型进行评估，得到满足预设条件的目标初始建模算法，包括：
根据评价参数，得到各所述初始建模算法的预测模型的评价指标结果；
将所述评价指标结果位于预设排名的各所述初始建模算法，确定为目标初始建模算法；
所述对所述目标初始建模算法进行训练，得到目标预测模型，并通过所述目标预测模型，对待预测数据进行预测，包括：
分别对位于预设排名的各所述目标初始建模算法进行训练，得到对应数量的目标预测模型，并通过所述对应数量的目标预测模型，对待预测数据进行预测。
可选的，所述根据分布式任务调度策略，得到各所述初始建模算法的预测模型，包括：
通过spark计算框架，生成执行各训练任务的有向无环图DAG；
根据所述DAG，得到各所述初始建模算法的预测模型。
可选的，当所述目标建模单元为分类建模单元时，所述建模算法包括：逻辑回归分类算法、决策树分类算法、梯度提升树分类算法、极端梯度提升分类算法、随机森林分类算法、朴素贝叶斯分类算法、支持向量机分类算法、多层感知机分类算法、基于直方图的决策树分类算法LightGBM、因子分解机分类算法、自适应提升分类算法AdaBoost和最邻近分类算法；所述验证模式包括：固定划分和交叉验证；所述参数选择模式包括：网格搜索、随机搜索、贝叶斯优化、树状结构Parzen估计方法TPE和模拟退火算法；所述评价参数包括：F值、加权精确率、加权召回率和精度。
可选的，当所述目标建模单元为回归建模单元时，所述建模算法包括：线性回归算法、决策树回归算法、梯度提升树回归算法、保序回归算法、极端梯度提升回归算法、随机森林回归算法、广义线性回归算法、基于直方图的决策树回归算法LightGBM、因子分解机回归算法、自适应提升回归算法AdaBoost和最邻近回归算法；所述验证模式包括：固定划分和交叉验证；所述参数选择模式包括：网格搜索、随机搜索、贝叶斯优化、TPE和模拟退火算法；所述评价参数包括：平均绝对误差、均方误差、均方根差、和R平方值。
可选的，当所述目标建模单元为聚类建模单元时，所述建模算法包括：K均值聚类算法KMeans、二分K均值聚类算法、高斯混合模型算法、模糊C均值聚类算法、Canopy聚类算法、CanopyKmeans聚类算法和DBScan聚类算法；所述验证模式包括：固定划分和交叉验证；所述参数选择模式包括：网格搜索、随机搜索、贝叶斯优化、TPE和模拟退火算法；所述评价参数包括：轮廓系数。
根据第二方面，一种实施例中提供一种分布式机器学习的建模装置，包括：
设置模块，用于获取训练数据集，并对所述训练数据集设置对应的目标建模单元，所述目标建模单元为以下一项：分类建模单元、回归建模单元或者聚类建模单元，每种建模单元包括多种建模算法、多种验证模式、多种参数选择模式和多种评价参数，其中，所述分类建模单元应用于分类预测场景，所述回归建模单元应用于回归预测场景以及所述聚类建模单元应用于聚类预测场景；
配置模块，用于为所述目标建模单元包括的各所述建模算法，配置对应的参数选择模式和验证模式，得到多个具有不同算法参数组合的初始建模算法和各所述初始建模算法对应的多组训练子集和验证子集；
第一获取模块，用于将各组中的所述训练子集分别输入对应的各所述初始建模算法中，并根据分布式任务调度策略，得到各所述初始建模算法的预测模型；
第二获取模块，用于根据评价参数，通过各组中的所述验证子集对各所述初始建模算法的预测模型进行评估，得到满足预设条件的目标初始建模算法；
预测模块，用于根据所述训练数据集，对所述目标初始建模算法进行训练，得到目标预测模型，并通过所述目标预测模型，对待预测数据进行预测。
可选的，所述第二获取模块，具体用于根据评价参数，得到各所述初始建模算法的预测模型的评价指标结果；将所述评价指标结果位于预设排名的各所述初始建模算法，确定为目标初始建模算法；
所述预测模块，具体用于分别对位于预设排名的各所述目标初始建模算法进行训练，得到对应数量的目标预测模型，并通过所述对应数量的目标预测模型，对待预测数据进行预测。
可选的，所述第一获取模块，具体用于通过spark计算框架，生成执行各训练任务的有向无环图DAG；根据所述DAG，得到各所述初始建模算法的预测模型。
可选的，当所述目标建模单元为分类建模单元时，所述建模算法包括：逻辑回归分类算法、决策树分类算法、梯度提升树分类算法、极端梯度提升分类算法、随机森林分类算法、朴素贝叶斯分类算法、支持向量机分类算法、多层感知机分类算法、基于直方图的决策树分类算法LightGBM、因子分解机分类算法、自适应提升分类算法AdaBoost和最邻近分类算法；所述验证模式包括：固定划分和交叉验证；所述参数选择模式包括：网格搜索、随机搜索、贝叶斯优化、树状结构Parzen估计方法TPE和模拟退火算法；所述评价参数包括：F值、加权精确率、加权召回率和精度。
可选的，当所述目标建模单元为回归建模单元时，所述建模算法包括：线性回归算法、决策树回归算法、梯度提升树回归算法、保序回归算法、极端梯度提升回归算法、随机森林回归算法、广义线性回归算法、基于直方图的决策树回归算法LightGBM、因子分解机回归算法、自适应提升回归算法AdaBoost和最邻近回归算法；所述验证模式包括：固定划分和交叉验证；所述参数选择模式包括：网格搜索、随机搜索、贝叶斯优化、TPE和模拟退火算法；所述评价参数包括：平均绝对误差、均方误差、均方根差、和R平方值。
可选的，当所述目标建模单元为聚类建模单元时，所述建模算法包括：K均值聚类算法KMeans、二分K均值聚类算法、高斯混合模型算法、模糊C均值聚类算法、Canopy聚类算法、CanopyKmeans聚类算法和DBScan聚类算法；所述验证模式包括：固定划分和交叉验证；所述参数选择模式包括：网格搜索、随机搜索、贝叶斯优化、TPE和模拟退火算法；所述评价参数包括：轮廓系数。
根据第三方面，一种实施例中提供一种电子设备，包括：存储器，用于存储程序；处理器，用于通过执行所述存储器存储的程序以实现上述第一方面中任一项所述的分布式机器学习的建模方法。
根据第四方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述第一方面中任一项所述的分布式机器学习的建模方法。
本发明实施例提供一种分布式机器学习的建模方法、装置及设备，通过获取训练数据集，并对训练数据集设置对应的目标建模单元，目标建模单元为以下一项：分类建模单元、回归建模单元或者聚类建模单元，每种建模单元包括多种建模算法、多种验证模式、多种参数选择模式和多种评价参数；为目标建模单元包括的各建模算法，配置对应的参数选择模式和验证模式，得到多个具有不同算法参数组合的初始建模算法和各初始建模算法对应的多组训练子集和验证子集；将各组中的训练子集分别输入对应的各初始建模算法中，并根据分布式任务调度策略，得到各初始建模算法的预测模型；根据评价参数，通过各组中的验证子集对各初始建模算法的预测模型进行评估，得到满足预设条件的目标初始建模算法；根据训练数据集，对目标初始建模算法进行训练，得到目标预测模型，并通过目标预测模型，对待预测数据进行预测，无需分析人员了解机器学习算法及参数，就可以实现分布式的自动算法选择和自动模型调优，减少了自动建模的时间和降低了对分析人员的技能要求，使得机器学习更加智能。
附图说明
图1为本发明实施例提供的一种分布式机器学习的建模方法的实施例一的流程示意图；
图2为本发明实施例提供的一种自动分类参数设置的示意图；
图3为本发明实施例提供的一种自动回归参数设置的示意图；
图4为本发明实施例提供的一种自动聚类参数设置的示意图；
图5为本发明实施例提供的一种自动建模装置的结构示意图；
图6为本发明实施例提供的一种分布式机器学习的建模方法的实施例二的流程示意图；
图7为本发明实施例提供的一种分布式机器学习的建模方法的实施例三的流程示意图；
图8为本发明实施例提供的一种分布式机器学习的建模装置的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
由于现有技术中，当前主流厂家提出的很多成熟的自动机器学习技术，都是针对特定的计算框架，并不适用于当前的分布式机器学习。为了实现智能化的分布式机器学习，本发明实施例提供了一种分布式机器学习的建模方法、装置及设备，以下分别进行详细说明。
图1为本发明实施例提供的一种分布式机器学习的建模方法的实施例一的流程示意图，本发明实施例的执行主体为任意具有处理能力的设备。如图1所示，本实施例提供的分布式机器学习的建模方法可以包括：
S101，获取训练数据集，并对训练数据集设置对应的目标建模单元。
其中，目标建模单元可以为以下一项：分类建模单元、回归建模单元或者聚类建模单元，每种建模单元可以包括内置的多种建模算法、多种验证模式、多种参数选择模式和多种评价参数，其中，分类建模单元可以应用于分类预测场景，回归建模单元可以应用于回归预测场景以及聚类建模单元可以应用于聚类预测场景。
具体实现时，当目标建模单元为分类建模单元时，对应的建模算法可以包括：逻辑回归分类算法、决策树分类算法、梯度提升树分类算法、极端梯度提升分类算法(ExtremeGradient Boosting，XGBoost)、随机森林分类算法、朴素贝叶斯分类算法、支持向量机分类算法、多层感知机分类算法、基于直方图的决策树分类算法LightGBM、因子分解机分类算法、自适应提升分类算法AdaBoost和最邻近分类算法(K-Nearest Neighbor，KNN)；验证模式可以包括：固定划分和交叉验证；参数选择模式可以包括：网格搜索、随机搜索、贝叶斯优化、树状结构Parzen估计方法(Tree-structured Parzen Estimator，TPE)和模拟退火算法(Simulate Anneal Algorithm，SAA)；评价参数可以包括：F值、加权精确率、加权召回率和精度。
具体实现时，当目标建模单元为回归建模单元时，对应的建模算法可以包括：线性回归算法、决策树回归算法、梯度提升树回归算法、保序回归算法、极端梯度提升回归算法XGBoost、随机森林回归算法、广义线性回归算法、基于直方图的决策树回归算法LightGBM、因子分解机回归算法、自适应提升回归算法AdaBoost和最邻近回归算法KNN；验证模式可以包括：固定划分和交叉验证；参数选择模式可以包括：网格搜索、随机搜索、贝叶斯优化、TPE和模拟退火算法；评价参数可以包括：平均绝对误差(Mean Absolute Error，MAE)、均方误差(Mean-Squared_Error，MSE)、均方根差(Root-Mean-Square Error，RMSE)、和R平方值。
具体实现时，当目标建模单元为聚类建模单元时，对应的建模算法可以包括：K均值聚类算法KMeans、二分K均值聚类算法、高斯混合模型算法、模糊C均值聚类算法、Canopy聚类算法、CanopyKmeans聚类算法和DBSCAN(Density-Based Spatial Clustering ofApplications with Noise)聚类算法；验证模式可以包括：固定划分和交叉验证；参数选择模式可以包括：网格搜索、随机搜索、贝叶斯优化、TPE和模拟退火算法；评价参数可以包括：轮廓系数。
S102，为目标建模单元包括的各建模算法，配置对应的参数选择模式和验证模式，得到多个具有不同算法参数组合的初始建模算法和各初始建模算法对应的多组训练子集和验证子集。
具体实现时，可以从上述设置好的目标建模单元内置的多种验证模式、多种参数选择模式和多种评价参数中，针对每一个建模算法，选择出该建模算法对应的一种验证模式和一种参数选择模式，并为各建模算法设置一种统一的评价参数。
具体的，针对每一个建模算法，通过选择的参数选择模式，为该建模算法配置了多个不同算法参数组合，从而得到了多个初始建模算法。同时，针对每一个建模算法，通过选择的验证模式对训练数据集进行划分，得到多组训练子集和验证子集。例如，当验证模式为“固定划分”时，可以将训练数据集划分成两个互斥子集：训练子集和验证子集，可以将训练子集和验证子集的比例选取为7：3；当验证模式为“交叉验证”时，可以将训练数据集均分为K组，得到K个子集，将每个子集数据分别做一次验证子集，其余的K-1组子集数据作为训练子集，这样会得到K个模型，用这K个模型最终的验证子集的分类准确率的平均数作为该分类器的性能指标。
图2为本发明实施例提供的一种自动分类参数设置的示意图，如图2所示，当建模类型为分类时，可以设置并显示以下内容：算子名称为“自动分类”，评价参数为“f1”(即F值)，验证模式为“固定划分”，训练集占比为“0.7”，参数选择模式为“随机搜索”，迭代次数为“20”次。
图3为本发明实施例提供的一种自动回归参数设置的示意图，如图3所示，当建模类型为回归时，可以设置并显示以下内容：算子名称为“自动回归”，评价参数为“mse”(即均方误差)，验证模式为“固定划分”，训练集占比为“0.7”，参数选择模式为“随机搜索”，迭代次数为“20”次。
图4为本发明实施例提供的一种自动聚类参数设置的示意图，如图4所示，当建模类型为聚类时，可以设置并显示以下内容：算子名称为“自动聚类”，评价参数为“Silhouette”(即轮廓系数)，验证模式为“固定划分”，训练集占比为“0.7”，参数选择模式为“随机搜索”，迭代次数为“20”次。
S103，将各组中的训练子集分别输入对应的各初始建模算法中，并根据分布式任务调度策略，得到各初始建模算法的预测模型。
具体实现时，可以通过spark计算框架，生成执行各训练任务的有向无环图(Directed acyclic graph，DAG)；再根据该DAG图，得到各初始建模算法的预测模型。
S104，根据评价参数，通过各组中的验证子集对各初始建模算法的预测模型进行评估，得到满足预设条件的目标初始建模算法。
根据评价参数，通过各组中的验证子集对各预测模型进行评估后，可以得到各预测模型的评价指标结果。可选的，将最优评价结果的预测模型对应的初始建模算法作为目标初始建模算法。进一步地，为了增加模型的泛化能力和预测准确度，也可以将评价指标结果位于预设排名的各初始建模算法，确定为目标初始建模算法，例如，将排名在前三的各初始建模算法，确定为目标初始建模算法。此时，这些目标初始建模算法已经确定了建模算法和对应的算法参数(超参数)。
S105，根据训练数据集，对目标初始建模算法进行训练，得到目标预测模型，并通过目标预测模型，对待预测数据进行预测。
通过全量的训练数据集对目标初始建模算法进行训练，可以得到预测结果更加准确的目标预测模型，从而可以通过得到的目标预测模型，对待预测数据进行预测。具体实现时，可以将得到的目标预测模型，应用于生活中有关分类、回归或者聚类的预测场景。例如，当需要预测房价走势时，可以由分析人员选定回归建模单元后，通过上述目标预测模型进行自动预测，无需分析人员了解机器学习算法及参数，就可以实现房价的预测；或者，当需要对众多客户进行用户级别划分时，可以由分析人员选定聚类建模单元后，通过上述目标预测模型进行自动预测，得到众多客户中的VIP用户和非VIP用户，无需分析人员了解机器学习算法及参数，就可以实现不同级别用户的聚类；或者，当需要对鲜花进行分类时，可以由分析人员选定分类建模单元后，通过上述目标预测模型进行自动分类，无需分析人员了解机器学习算法及参数，就可以确定各个待预测鲜花的类别。本实施例提供的目标预测模型可以应用于通用的分类、回归和聚类预测场景，在此不做一一列举。
本发明实施例提供的分布式机器学习的建模方法，通过获取训练数据集，并对训练数据集设置对应的目标建模单元，目标建模单元为以下一项：分类建模单元、回归建模单元或者聚类建模单元，每种建模单元包括多种建模算法、多种验证模式、多种参数选择模式和多种评价参数；为目标建模单元包括的各建模算法，配置对应的参数选择模式和验证模式，得到多个具有不同算法参数组合的初始建模算法和各初始建模算法对应的多组训练子集和验证子集；将各组中的训练子集分别输入对应的各初始建模算法中，并根据分布式任务调度策略，得到各初始建模算法的预测模型；根据评价参数，通过各组中的验证子集对各初始建模算法的预测模型进行评估，得到满足预设条件的目标初始建模算法；根据训练数据集，对目标初始建模算法进行训练，得到目标预测模型，并通过目标预测模型，对待预测数据进行预测，无需分析人员了解机器学习算法及参数，就可以实现分布式的自动算法选择和自动模型调优，减少了自动建模的时间和降低了对分析人员的技能要求，使得机器学习更加智能。
作为一种可以实现的方式，图5为本发明实施例提供的一种自动建模装置的结构示意图，该自动建模装置可以包括：管理层、解析层、执行层和运行环境。其中，管理层包括自动分类子装置(即上述实施例中的分类建模单元)、自动回归子装置(即上述实施例中的回归建模单元)和自动聚类子装置(即上述实施例中的聚类建模单元)，具体实现时，预先分别为自动分类子装置、自动回归子装置和自动聚类子装置内置多种建模算法、多种验证模式、多种参数选择模式和多种评价参数。解析层包括一个调参系统。执行层可以包括：Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)和SPARK计算引擎。运行环境可以包括：服务器、服务器集群和云主机集群等。
具体的，可以通过上述图5所示的自动建模装置，实现图6所示的本发明实施例二提供的分布式机器学习的建模方法，如图6所示，本实施例提供的分布式机器学习的建模方法可以包括：
S601，用户根据业务类型选择管理层中的一个子装置。
S602，将预处理后的数据输入选择的子装置中。
S603，由自动建模装置加载内置的基分类器，设置调参算法类型、算法评估指标、需要调整的算法参数列表及算法参数范围。
基分类器即为建模算法对应的分类器。
S604，由自动建模装置解析算法类型，解析参数，划分训练数据集，并生成调参的模型训练的DAG图。
S605，由自动建模装置根据DAG图，调度和监控每批次训练任务的执行，获取执行结果。
其中，执行结果即为通过算法评估指标计算得到的各基分类器的算法评估结果，各基分类器即为上述实施例中的初始预测模型。例如，上述基分类器有十个，针对每一个基分类器的参数组合有十组，并且通过验证模式得到的训练子集有十个，那么经上述步骤的执行，可以得到500个执行结果。
S606，由自动建模装置在所有训练任务成功后，根据设置的算法评估指标，选择最优参数组合，使用最优参数组合在全量数据集上再次训练模型，得到复合最优模型。
上述复合最优模型为算法评估结果位于预设排名的多个独立的算法模型。例如，可以在全量数据集上对500个执行结果中位于前三的初始预测模型进行再次训练，得到复合最优模型。
S607，使用复合最优模型进行数据的预测任务。
图7为本发明实施例提供的一种分布式机器学习的建模方法的实施例三的流程示意图，如图7所示，由用户向管理层发送建模请求，管理层将数据和参数传递至参数选择客户端Client，参数选择客户端Client向参数选择服务端Server发送学习信息，参数选择服务端Server向Spark集群发送任务Job，待Spark集群分配好任务并行执行顺序后，执行各任务，并将得到的模型和对应指标返回给参数选择服务端Server，参数选择服务端Server将模型和对应指标返回给参数选择客户端Client，参数选择客户端Client将模型和对应指标返回至管理层，管理层将最优模型返回至用户。
图8为本发明实施例提供的一种分布式机器学习的建模装置的结构示意图，如图8所示，该建模装置80可以包括：
设置模块810，可以用于获取训练数据集，并对训练数据集设置对应的目标建模单元，目标建模单元为以下一项：分类建模单元、回归建模单元或者聚类建模单元，每种建模单元包括多种建模算法、多种验证模式、多种参数选择模式和多种评价参数，其中，分类建模单元可以应用于分类预测场景，回归建模单元可以应用于回归预测场景以及聚类建模单元可以应用于聚类预测场景。
配置模块820，可以用于为目标建模单元包括的各建模算法，配置对应的参数选择模式和验证模式，得到多个具有不同算法参数组合的初始建模算法和各初始建模算法对应的多组训练子集和验证子集。
第一获取模块830，可以用于将各组中的训练子集分别输入对应的各初始建模算法中，并根据分布式任务调度策略，得到各初始建模算法的预测模型。
第二获取模块840，可以用于根据评价参数，通过各组中的验证子集对各初始建模算法的预测模型进行评估，得到满足预设条件的目标初始建模算法。
预测模块850，可以用于根据训练数据集，对目标初始建模算法进行训练，得到目标预测模型，并通过目标预测模型，对待预测数据进行预测。
本发明实施例提供的分布式机器学习的建模装置，通过设置模块，获取训练数据集，并对训练数据集设置对应的目标建模单元，目标建模单元为以下一项：分类建模单元、回归建模单元或者聚类建模单元，每种建模单元包括多种建模算法、多种验证模式、多种参数选择模式和多种评价参数；通过配置模块，为目标建模单元包括的各建模算法，配置对应的参数选择模式和验证模式，得到多个具有不同算法参数组合的初始建模算法和各初始建模算法对应的多组训练子集和验证子集；通过第一获取模块，将各组中的训练子集分别输入对应的各初始建模算法中，并根据分布式任务调度策略，得到各初始建模算法的预测模型；通过第二获取模块根据评价参数，通过各组中的验证子集对各初始建模算法的预测模型进行评估，得到满足预设条件的目标初始建模算法；通过预测模块，根据训练数据集，对目标初始建模算法进行训练，得到目标预测模型，并通过目标预测模型，对待预测数据进行预测，无需分析人员了解机器学习算法及参数，就可以实现分布式的自动算法选择和自动模型调优，减少了自动建模的时间和降低了对分析人员的技能要求，使得机器学习更加智能。
可选的，上述第二获取模块840，可以具体用于根据评价参数，得到各初始建模算法的预测模型的评价指标结果；将评价指标结果位于预设排名的各初始建模算法，确定为目标初始建模算法；此时，上述预测模块850，可以具体用于分别对位于预设排名的各目标初始建模算法进行训练，得到对应数量的目标预测模型，并通过对应数量的目标预测模型，对待预测数据进行预测。
可选的，上述第一获取模块830，可以具体用于通过spark计算框架，生成执行各训练任务的有向无环图DAG；根据DAG，得到各初始建模算法的预测模型。
可选的，当目标建模单元为分类建模单元时，对应的建模算法可以包括：逻辑回归分类算法、决策树分类算法、梯度提升树分类算法、极端梯度提升分类算法、随机森林分类算法、朴素贝叶斯分类算法、支持向量机分类算法、多层感知机分类算法、LightGBM分类算法、因子分解机分类算法、AdaBoost分类算法和最邻近分类算法；验证模式可以包括：固定划分和交叉验证；参数选择模式可以包括：网格搜索、随机搜索、贝叶斯优化、TPE和模拟退火算法；评价参数可以包括：F值、加权精确率、加权召回率和精度。
可选的，当目标建模单元为回归建模单元时，对应的建模算法可以包括：线性回归算法、决策树回归算法、梯度提升树回归算法、保序回归算法、极端梯度提升回归算法、随机森林回归算法、广义线性回归算法、LightGBM回归算法、因子分解机回归算法、AdaBoost回归算法和最邻近回归算法；验证模式可以包括：固定划分和交叉验证；参数选择模式可以包括：网格搜索、随机搜索、贝叶斯优化、TPE和模拟退火算法；评价参数可以包括：平均绝对误差、均方误差、均方根差、和R平方值。
可选的，当目标建模单元为聚类建模单元时，对应的建模算法可以包括：KMeans聚类算法、二分K均值聚类算法、高斯混合模型算法、模糊C均值聚类算法、Canopy聚类算法、CanopyKmeans聚类算法和DBScan聚类算法；验证模式可以包括：固定划分和交叉验证；参数选择模式可以包括：网格搜索、随机搜索、贝叶斯优化、TPE和模拟退火算法；评价参数可以包括：轮廓系数。
另外，相应于上述实施例所提供的分布式机器学习的建模方法，本发明实施例还提供了一种电子设备，该电子设备可以包括：存储器，用于存储程序；处理器，用于通过执行存储器存储的程序以实现本发明实施例提供的分布式机器学习的建模方法的所有步骤。
另外，相应于上述实施例所提供的分布式机器学习的建模方法，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时实现本发明实施例的分布式机器学习的建模方法的所有步骤。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (10)
1.一种分布式机器学习的建模方法，其特征在于，包括：
获取训练数据集，并对所述训练数据集设置对应的目标建模单元，所述目标建模单元为以下一项：分类建模单元、回归建模单元或者聚类建模单元，每种建模单元包括多种建模算法、多种验证模式、多种参数选择模式和多种评价参数，其中，所述分类建模单元应用于分类预测场景，所述回归建模单元应用于回归预测场景以及所述聚类建模单元应用于聚类预测场景；
为所述目标建模单元包括的各所述建模算法，配置对应的参数选择模式和验证模式，得到多个具有不同算法参数组合的初始建模算法和各所述初始建模算法对应的多组训练子集和验证子集；
将各组中的所述训练子集分别输入对应的各所述初始建模算法中，并根据分布式任务调度策略，得到各所述初始建模算法的预测模型；
根据评价参数，通过各组中的所述验证子集对各所述初始建模算法的预测模型进行评估，得到满足预设条件的目标初始建模算法；
根据所述训练数据集，对所述目标初始建模算法进行训练，得到目标预测模型，并通过所述目标预测模型，对待预测数据进行预测。
2.如权利要求1所述的方法，其特征在于，所述根据评价参数，通过各组中的所述验证子集对各所述初始建模算法的预测模型进行评估，得到满足预设条件的目标初始建模算法，包括：
根据评价参数，得到各所述初始建模算法的预测模型的评价指标结果；
将所述评价指标结果位于预设排名的各所述初始建模算法，确定为目标初始建模算法；
所述对所述目标初始建模算法进行训练，得到目标预测模型，并通过所述目标预测模型，对待预测数据进行预测，包括：
分别对位于预设排名的各所述目标初始建模算法进行训练，得到对应数量的目标预测模型，并通过所述对应数量的目标预测模型，对待预测数据进行预测。
3.如权利要求1所述的方法，其特征在于，所述根据分布式任务调度策略，得到各所述初始建模算法的预测模型，包括：
通过spark计算框架，生成执行各训练任务的有向无环图DAG；
根据所述DAG，得到各所述初始建模算法的预测模型。
4.如权利要求1所述的方法，其特征在于，当所述目标建模单元为分类建模单元时，所述建模算法包括：逻辑回归分类算法、决策树分类算法、梯度提升树分类算法、极端梯度提升分类算法、随机森林分类算法、朴素贝叶斯分类算法、支持向量机分类算法、多层感知机分类算法、基于直方图的决策树分类算法LightGBM、因子分解机分类算法、自适应提升分类算法AdaBoost和最邻近分类算法；所述验证模式包括：固定划分和交叉验证；所述参数选择模式包括：网格搜索、随机搜索、贝叶斯优化、树状结构Parzen估计方法TPE和模拟退火算法；所述评价参数包括：F值、加权精确率、加权召回率和精度。
5.如权利要求1所述的方法，其特征在于，当所述目标建模单元为回归建模单元时，所述建模算法包括：线性回归算法、决策树回归算法、梯度提升树回归算法、保序回归算法、极端梯度提升回归算法、随机森林回归算法、广义线性回归算法、基于直方图的决策树回归算法LightGBM、因子分解机回归算法、自适应提升回归算法AdaBoost和最邻近回归算法；所述验证模式包括：固定划分和交叉验证；所述参数选择模式包括：网格搜索、随机搜索、贝叶斯优化、TPE和模拟退火算法；所述评价参数包括：平均绝对误差、均方误差、均方根差、和R平方值。
6.如权利要求1所述的方法，其特征在于，当所述目标建模单元为聚类建模单元时，所述建模算法包括：K均值聚类算法KMeans、二分K均值聚类算法、高斯混合模型算法、模糊C均值聚类算法、Canopy聚类算法、CanopyKmeans聚类算法和DBScan聚类算法；所述验证模式包括：固定划分和交叉验证；所述参数选择模式包括：网格搜索、随机搜索、贝叶斯优化、TPE和模拟退火算法；所述评价参数包括：轮廓系数。
7.一种分布式机器学习的建模装置，其特征在于，包括：
设置模块，用于获取训练数据集，并对所述训练数据集设置对应的目标建模单元，所述目标建模单元为以下一项：分类建模单元、回归建模单元和聚类建模单元，每种建模单元包括多种建模算法、多种验证模式、多种参数选择模式和多种评价参数，其中，所述分类建模单元应用于分类预测场景，所述回归建模单元应用于回归预测场景以及所述聚类建模单元应用于聚类预测场景；
配置模块，用于为所述目标建模单元包括的各所述建模算法，配置对应的参数选择模式和验证模式，得到多个具有不同算法参数组合的初始建模算法和各所述初始建模算法对应的多组训练子集和验证子集；
第一获取模块，用于将各组中的所述训练子集分别输入对应的各所述初始建模算法中，并根据分布式任务调度策略，得到各所述初始建模算法的预测模型；
第二获取模块，用于根据评价参数，通过各组中的所述验证子集对各所述初始建模算法的预测模型进行评估，得到满足预设条件的目标初始建模算法；
预测模块，用于根据所述训练数据集，对所述目标初始建模算法进行训练，得到目标预测模型，并通过所述目标预测模型，对待预测数据进行预测。
8.如权利要求7所述的装置，其特征在于，所述第二获取模块，具体用于根据评价参数，得到各所述初始建模算法的预测模型的评价指标结果；将所述评价指标结果位于预设排名的各所述初始建模算法，确定为目标初始建模算法；
所述预测模块，具体用于分别对位于预设排名的各所述目标初始建模算法进行训练，得到对应数量的目标预测模型，并通过所述对应数量的目标预测模型，对待预测数据进行预测。
9.一种电子设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110936432.3A CN113609779B (zh) | 2021-08-16 | 2021-08-16 | 分布式机器学习的建模方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110936432.3A CN113609779B (zh) | 2021-08-16 | 2021-08-16 | 分布式机器学习的建模方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113609779A true CN113609779A (zh) | 2021-11-05 |
| CN113609779B CN113609779B (zh) | 2024-04-09 |
Family
ID=78308613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110936432.3A Active CN113609779B (zh) | 2021-08-16 | 2021-08-16 | 分布式机器学习的建模方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113609779B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115508511A (zh) * | 2022-09-19 | 2022-12-23 | 中节能天融科技有限公司 | 基于网格化设备全参数特征分析的传感器自适应校准方法 |
| CN115600121A (zh) * | 2022-04-26 | 2023-01-13 | 南京天洑软件有限公司（Cn） | 数据分层分类方法及装置、电子设备、存储介质 |
| CN116307273A (zh) * | 2023-05-17 | 2023-06-23 | 华中科技大学 | 一种基于XGBoost算法的船舶运动实时预报方法及系统 |
| CN116719519A (zh) * | 2023-06-15 | 2023-09-08 | 天云融创数据科技（北京）有限公司 | 银行领域的广义线性模型训练方法、装置、设备和介质 |
| CN116956747A (zh) * | 2023-08-28 | 2023-10-27 | 西湾智慧(广东)信息科技有限公司 | 一种基于ai能力的机器学习建模平台的搭建方法 |
| CN117035125A (zh) * | 2023-10-09 | 2023-11-10 | 中电科大数据研究院有限公司 | 一种分布式人工智能模型的决策平台、方法及装置 |
| CN117315466A (zh) * | 2023-09-20 | 2023-12-29 | 北京佳格天地科技有限公司 | 一种生长监测管理方法及系统 |
| CN117476183A (zh) * | 2023-12-27 | 2024-01-30 | 深圳市一五零生命科技有限公司 | 自闭症儿童康复效果ai评估模型的构建系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9424074B1 (en) * | 2013-07-01 | 2016-08-23 | Google Inc. | Method for learning backup policies for large-scale distributed computing |
| US20170124501A1 (en) * | 2015-10-28 | 2017-05-04 | Fractal Industries, Inc. | System for automated capture and analysis of business information for security and client-facing infrastructure reliability |
| CN106779087A (zh) * | 2016-11-30 | 2017-05-31 | 福建亿榕信息技术有限公司 | 一种通用机器学习数据分析平台 |
| CN107169575A (zh) * | 2017-06-27 | 2017-09-15 | 北京天机数测数据科技有限公司 | 一种可视化机器学习训练模型的建模系统和方法 |
| CN107229976A (zh) * | 2017-06-08 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种基于spark的分布式机器学习系统 |
| CN109192310A (zh) * | 2018-07-25 | 2019-01-11 | 同济大学 | 一种基于大数据的大学生心理行为异动系统方案设计方法 |
| CN109716346A (zh) * | 2016-07-18 | 2019-05-03 | 河谷生物组学有限责任公司 | 分布式机器学习系统、装置和方法 |
| CN110942155A (zh) * | 2019-11-29 | 2020-03-31 | 广西电网有限责任公司 | 一种机器学习引擎的研究方法 |
| CN112085241A (zh) * | 2019-06-12 | 2020-12-15 | 江苏汇环环保科技有限公司 | 一种基于机器学习的环境大数据分析和决策平台 |
| CN112153650A (zh) * | 2020-08-31 | 2020-12-29 | 西北农林科技大学 | 一种无线网络中基于终端信誉的可靠联邦学习方法及系统 |
| CN112149884A (zh) * | 2020-09-07 | 2020-12-29 | 南京莱斯网信技术研究院有限公司 | 一种面向大规模学员的学业预警监测方法 |
| CN112287894A (zh) * | 2020-11-25 | 2021-01-29 | 深圳力维智联技术有限公司 | 基于深度学习的水域特征提取方法及系统 |
| CN112434462A (zh) * | 2020-10-21 | 2021-03-02 | 华为技术有限公司 | 一种模型的获取方法及设备 |
| CN112685457A (zh) * | 2020-12-31 | 2021-04-20 | 北京思特奇信息技术股份有限公司 | 一种套餐推荐机器学习模型的自动化训练系统及方法 |
-
2021
- 2021-08-16 CN CN202110936432.3A patent/CN113609779B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9424074B1 (en) * | 2013-07-01 | 2016-08-23 | Google Inc. | Method for learning backup policies for large-scale distributed computing |
| US20170124501A1 (en) * | 2015-10-28 | 2017-05-04 | Fractal Industries, Inc. | System for automated capture and analysis of business information for security and client-facing infrastructure reliability |
| CN109716346A (zh) * | 2016-07-18 | 2019-05-03 | 河谷生物组学有限责任公司 | 分布式机器学习系统、装置和方法 |
| CN106779087A (zh) * | 2016-11-30 | 2017-05-31 | 福建亿榕信息技术有限公司 | 一种通用机器学习数据分析平台 |
| CN107229976A (zh) * | 2017-06-08 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种基于spark的分布式机器学习系统 |
| CN107169575A (zh) * | 2017-06-27 | 2017-09-15 | 北京天机数测数据科技有限公司 | 一种可视化机器学习训练模型的建模系统和方法 |
| CN109192310A (zh) * | 2018-07-25 | 2019-01-11 | 同济大学 | 一种基于大数据的大学生心理行为异动系统方案设计方法 |
| CN112085241A (zh) * | 2019-06-12 | 2020-12-15 | 江苏汇环环保科技有限公司 | 一种基于机器学习的环境大数据分析和决策平台 |
| CN110942155A (zh) * | 2019-11-29 | 2020-03-31 | 广西电网有限责任公司 | 一种机器学习引擎的研究方法 |
| CN112153650A (zh) * | 2020-08-31 | 2020-12-29 | 西北农林科技大学 | 一种无线网络中基于终端信誉的可靠联邦学习方法及系统 |
| CN112149884A (zh) * | 2020-09-07 | 2020-12-29 | 南京莱斯网信技术研究院有限公司 | 一种面向大规模学员的学业预警监测方法 |
| CN112434462A (zh) * | 2020-10-21 | 2021-03-02 | 华为技术有限公司 | 一种模型的获取方法及设备 |
| CN112287894A (zh) * | 2020-11-25 | 2021-01-29 | 深圳力维智联技术有限公司 | 基于深度学习的水域特征提取方法及系统 |
| CN112685457A (zh) * | 2020-12-31 | 2021-04-20 | 北京思特奇信息技术股份有限公司 | 一种套餐推荐机器学习模型的自动化训练系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 平作为 等: "基于稀疏学习的微电网负载建模", 《自动化学报》, vol. 46, no. 9, pages 1798 - 1808 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115600121A (zh) * | 2022-04-26 | 2023-01-13 | 南京天洑软件有限公司（Cn） | 数据分层分类方法及装置、电子设备、存储介质 |
| CN115600121B (zh) * | 2022-04-26 | 2023-11-07 | 南京天洑软件有限公司 | 数据分层分类方法及装置、电子设备、存储介质 |
| CN115508511A (zh) * | 2022-09-19 | 2022-12-23 | 中节能天融科技有限公司 | 基于网格化设备全参数特征分析的传感器自适应校准方法 |
| CN116307273A (zh) * | 2023-05-17 | 2023-06-23 | 华中科技大学 | 一种基于XGBoost算法的船舶运动实时预报方法及系统 |
| CN116719519B (zh) * | 2023-06-15 | 2024-01-30 | 天云融创数据科技（北京）有限公司 | 银行领域的广义线性模型训练方法、装置、设备和介质 |
| CN116719519A (zh) * | 2023-06-15 | 2023-09-08 | 天云融创数据科技（北京）有限公司 | 银行领域的广义线性模型训练方法、装置、设备和介质 |
| CN116956747A (zh) * | 2023-08-28 | 2023-10-27 | 西湾智慧(广东)信息科技有限公司 | 一种基于ai能力的机器学习建模平台的搭建方法 |
| CN117315466A (zh) * | 2023-09-20 | 2023-12-29 | 北京佳格天地科技有限公司 | 一种生长监测管理方法及系统 |
| CN117315466B (zh) * | 2023-09-20 | 2024-04-09 | 北京佳格天地科技有限公司 | 一种生长监测管理方法及系统 |
| CN117035125A (zh) * | 2023-10-09 | 2023-11-10 | 中电科大数据研究院有限公司 | 一种分布式人工智能模型的决策平台、方法及装置 |
| CN117035125B (zh) * | 2023-10-09 | 2024-01-02 | 中电科大数据研究院有限公司 | 一种分布式人工智能模型的决策系统、方法及装置 |
| CN117476183A (zh) * | 2023-12-27 | 2024-01-30 | 深圳市一五零生命科技有限公司 | 自闭症儿童康复效果ai评估模型的构建系统 |
| CN117476183B (zh) * | 2023-12-27 | 2024-03-19 | 深圳市一五零生命科技有限公司 | 自闭症儿童康复效果ai评估模型的构建系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113609779B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113609779B (zh) | 分布式机器学习的建模方法、装置及设备 | |
| US10824959B1 (en) | Explainers for machine learning classifiers | |
| US9811781B2 (en) | Time-series data prediction device of observation value, time-series data prediction method of observation value, and program | |
| US20170330078A1 (en) | Method and system for automated model building | |
| US11513851B2 (en) | Job scheduler, job schedule control method, and storage medium | |
| CA3154784A1 (en) | Interactive machine learning | |
| WO2021072537A1 (en) | Interactive machine learning | |
| CN114463540A (zh) | 使用神经网络对图像进行分割 | |
| US20210192361A1 (en) | Intelligent data object generation and assignment using artificial intelligence techniques | |
| CN112529211A (zh) | 一种超参数确定方法、装置、计算机设备和存储介质 | |
| Derbel et al. | Automatic classification and analysis of multiple-criteria decision making | |
| Kaddoum et al. | Collective self-tuning for complex product design | |
| WO2016132683A1 (ja) | クラスタリングシステム、方法およびプログラム | |
| WO2022252694A1 (zh) | 神经网络优化方法及其装置 | |
| Wang et al. | Multi-criteria decision making based architecture selection for single-hidden layer feedforward neural networks | |
| Haghgu et al. | A novel data filtering for a modified cuckoo search based movie recommender | |
| Stefanowski | Multi-criteria Approaches to Explaining Black Box Machine Learning Models | |
| Limberg et al. | Improving active learning by avoiding ambiguous samples | |
| Vachkov et al. | Growing RBF Network Models For Solving Nonlinear Approximation And Classification Problems. | |
| CA3154982C (en) | Interactive machine learning | |
| US20240012881A1 (en) | Information processing method, information processing apparatus, and non-transitory computer-readable storage medium | |
| US20240013057A1 (en) | Information processing method, information processing apparatus, and non-transitory computer-readable storage medium | |
| Bemporad | Active Learning for Regression and Classification by Inverse Distance Weighting. | |
| US20240013058A1 (en) | Information processing method, information processing apparatus, and non-transitory computer-readable storage medium | |
| US11928562B2 (en) | Framework for providing improved predictive model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |