CN116701939A - 一种基于机器学习的分类器训练方法及装置 - Google Patents
一种基于机器学习的分类器训练方法及装置 Download PDFInfo
- Publication number
- CN116701939A CN116701939A CN202310684859.8A CN202310684859A CN116701939A CN 116701939 A CN116701939 A CN 116701939A CN 202310684859 A CN202310684859 A CN 202310684859A CN 116701939 A CN116701939 A CN 116701939A
- Authority
- CN
- China
- Prior art keywords
- classifier
- node
- tag
- data
- classifiers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000010801 machine learning Methods 0.000 title claims abstract description 56
- 238000013140 knowledge distillation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000011478 gradient descent method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013068 supply chain management Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书提供一种基于机器学习的分类器训练方法，应用于分布式机器学习系统的用例节点，系统还包括服务节点和多个工作节点，方法包括：经由服务节点，获取各个工作节点训练的各个第一分类器；分别利用各个第一分类器，对本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息；基于无标签数据集的标签信息集，确定用例节点的第二分类器，以及确定各个第一分类器的第一权重；将第二分类器以及各个第一权重发送到服务节点，使其确定第三分类器；第三分类器用于迭代更新各个工作节点的各个第一分类器，直至满足训练结束条件。如此实现了在训练过程中，通过设置权重弥合各个分类器之间的差异，提高了模型训练的性能。
Description
技术领域
本说明书一个或多个实施例涉及机器学习技术领域，特别涉及一种基于机器学习的分类器训练方法及装置。
背景技术
随着现代供应链管理的发展进步，供应链集成服务的管理方式逐步向数字化、集成化、自动化的方向转变，对应的从传统供应链转变为可以进行数据存储、数据价值挖掘，以及人工智能模型训练的智慧供应链。在大型供应链集成服务集团企业与其供应商和客户进行贸易的过程中，分属不同子企业的供应链数据库会存储本企业的客户数据，并利用这些数据训练分类器模型，从而构建客户画像，完成销量预测等任务。通过汇集大量数据及对应的标签，性能良好的机器学习分类器模型可以由监督训练得到。
但是，受到隐私保护政策的限制，往往要求供应链数据的存储与计算必须本地化与去中心化，即分类器模型的训练必须在本地完成，而数据中心只能获得训练过程中的模型参数。此外，在全球化趋势下，现代供应链的各环节合作伙伴分布广阔，因此供应链数据普遍存在数据品质良莠不一，且数据分布严重不一致的问题，用质量较差的训练数据会严重降低模型表现，而训练数据非独立同分布(non-i.i.d)也会导致模型泛化能力的下降。
分布式机器学习分类器训练技术，如联邦学习(Federated Learning)，通过联邦平均策略(Federated Average)进行模型的分布式训练，从而在去中心化的场景下利用多方数据，得到良好的机器学习分类器模型。但是，联邦学习方法假设所有数据来源的数据分布一致，且数据质量水平较高，因此无法简单应用于复杂的供应链数据。因此，如何同时利用多个分布的供应链数据，识别质量较低的数据源，并训练能够泛化到数据中心所期望场景的训练策略是智慧供应链建设过程中亟待解决的问题。
发明内容
为了解决上述技术问题之一，本说明书一个或多个实施例提供一种基于机器学习的分类器训练方法及装置。
根据第一方面，提供一种基于机器学习的分类器训练方法，应用于分布式机器学习系统的用例节点，学习系统还包括服务节点和多个工作节点，方法包括：经由服务节点，获取各个工作节点训练的各个第一分类器；分别利用各个第一分类器，对本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息；基于无标签数据集的标签信息集，确定用例节点的第二分类器，以及确定各个第一分类器的第一权重；第一权重分别对应各个第一分类器对得到标签信息集所做出的贡献；将第二分类器以及各个第一权重发送到服务节点，使其确定第三分类器；第三分类器用于迭代更新各个工作节点的各个第一分类器，直至满足训练结束条件。
在一种可能的实现方式中，分别利用各个第一分类器，对本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息，包括：对任一目标无标签数据，分别利用各个第一分类器预测目标无标签数据的类别，得到第一分类信息；对各个第一分类信息进行筛选，得到满足预设条件的第一分类信息；基于满足预设条件的第一分类信息，确定目标无标签数据的标签信息，其中，标签信息包括目标无标签数据所属的类别，以及在每个备选类别对应的概率。
在一种可能的实现方式中，确定用例节点的第二分类器，包括：基于无标签数据集和无标签数据集的标签信息集，通过知识蒸馏算法进行模型训练，得到用例节点的第二分类器。
在一种可能的实现方式中，确定各个第一分类器的第一权重，包括：确定所有第一分类器对得到标签信息集的第一贡献总值；对于各个第一分类器，确定排除该第一分类器后的分类器子集对得到标签信息集的第二贡献总值；基于第一贡献总值和各个第一分类器对应的第二贡献总值，确定各个第一分类器的第一权重。
在一种可能的实现方式中，标签信息包括每个无标签数据所属的类别，以及在每个备选类别对应的概率；确定所有第一分类器对得到标签信息集的第一贡献总值，包括：对于每一标签信息，确定各个第一分类器中其分类预测的类别与标签信息的类别相同的第一分类器的数量；根据第一分类器的数量和每个备选类别对应的概率，得到所有第一分类器对该标签信息的第三贡献总值；将标签信息集中各条标签信息对应的第三贡献总值加和，得到第一贡献总值。
在一种可能的实现方式中，确定排除该第一分类器后的分类器子集对得到标签信息集的第二贡献总值，包括：确定分类器子集对得到标签信息集中每一标签信息的第四贡献总值；将标签信息集中各条标签信息对应的第四贡献总值加和，得到第二贡献总值。
在一种可能的实现方式中，确定各个第一分类器的第一权重，包括：对于任意第一分类器，根据第一贡献总值和该第一分类器对应的第二贡献总值之差，确定该第一分类器的单独贡献值；根据该第一分类器的单独贡献值与贡献值总和的比例，确定该第一分类器的第一权重，其中贡献值总和为所有第一分类器的单独贡献值之和。
根据第二方面，提供一种基于机器学习的分类器训练装置，装置部署于分布式机器学习系统的用例节点，学习系统还包括服务节点和多个工作节点，装置包括：获取模块，用于经由服务节点，获取各个工作节点训练的各个第一分类器；分类模块，用于分别利用各个第一分类器，对本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息；处理模块，用于基于无标签数据集的标签信息集，确定用例节点的第二分类器，以及确定各个第一分类器的第一权重；第一权重分别对应各个第一分类器对得到标签信息集所做出的贡献；发送模块，用于将第二分类器以及各个第一权重发送到服务节点，使其确定第三分类器；第三分类器用于迭代更新各个工作节点的各个第一分类器，直至满足训练结束条件。
根据第三方面，提供一种基于机器学习的分类器训练方法，应用于分布式机器学习系统，学习系统包括服务节点、用例节点以及多个工作节点，方法包括：各个工作节点，将其训练的第一分类器经过服务节点转发到用例节点；用例节点，分别利用各个第一分类器，对本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息；用例节点，基于无标签数据集的标签信息集，确定用例节点的第二分类器，以及确定各个第一分类器的第一权重；第一权重分别对应各个第一分类器对得到标签信息集所做出的贡献；用例节点，将第二分类器以及各个第一权重发送到服务节点；服务节点，根据第二分类器以及各个第一权重，确定第三分类器；各个工作节点，根据第三分类器迭代更新其第一分类器，直至满足训练结束条件。
在一种可能的实现方式中，各个工作节点，根据第三分类器迭代更新其第一分类器，包括：各个工作节点，基于第三分类器的参数和各个工作节点包括的有标签数据集进行机器学习，得到更新后的各个工作节点的各个第一分类器。
本说明书的实施例提供的技术方案可以包括以下有益效果：
本说明书的实施例提供的一种基于机器学习的分类器训练方法和装置，通过利用各个工作节点的各个第一分类器，对用例节点的本地无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息。并根据标签信息集，建立用例节点对应的第二分类器，以及得到各个第一分类器在确定标签信息集时所占的第一权重。再基于上述各个分类器和各个分类器的权重信息，通过联邦平均策略进行模型训练得到全局模型，将全局模型的参数作为下一轮训练的第一分类器的参数，直到满足训练结束条件。上述训练方法可以通过设置权重弥合各个第一分类器之间的差异，提高了模型训练的性能，以及可以定位权重异常的第一分类器，并进一步在系统中排除或诊断该第一分类器对应的异常工作节点，提高系统的稳定性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本说明书根据一示例性实施例示出的一种基于机器学习的分类器训练场景示意图；
图2是本说明书根据一示例性实施例示出的一种基于机器学习的分类器训练的方法流程图；
图3是本说明书根据一示例性实施例示出的一种确定无标签数据的标签信息的方法流程图；
图4是本说明书根据一示例性实施例示出的一种确定无标签数据的标签信息的框架示意图；
图5是本说明书根据一示例性实施例示出的一种基于机器学习的分类器训练系统框图；
图6是本说明书根据一示例性实施例示出的一种基于机器学习的分类器训练装置框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本说明书和所附权利要求书中所使用的单数形式的“一种”“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
如图1所示，是根据一示例性实施例示出的一种基于机器学习的分类器训练场景示意图，该场景的系统架构为分布式机器学习系统架构。
在图1示出的分布式机器学习系统中，包括一个服务节点，一个用例节点以及N个工作节点。工作节点可以从服务节点获取本地分类器参数，并从本地存储的数据库中选取训练数据，这些训练数据具备分类标签。然后，基于本地参数以及训练数据，得到工作节点分类器，并将工作节点分类器的参数上传至服务节点。服务节点接收各个工作节点分类器的参数，进行汇总后发送到用例节点。
用例节点根据各个工作节点分类器的参数，建模各个工作节点分类器。一方面，用例节点根据各个工作节点分类器对用例节点本地的用例数据库中的无标签数据进行分类预测，并得到分类结果。基于各个工作节点分类器在分类过程中的贡献确定各个工作节点分类器的权重。另一方面，用例节点根据分类结果训练得到用例节点分类器，以及根据工作节点分类器的总数量设置用例节点分类器的权重。进一步的，用例节点将用例节点分类器、用例节点分类器的权重和各个工作节点分类器的权重发送到服务节点。
服务节点基于用例节点分类器的权重和各个工作节点分类器的权重，对用例节点分类器和各个工作节点分类器进行联邦平均得到全局模型。将全局模型的参数作为各个工作节点分类器的更新参数下发到各个工作节点，从而完成本次训练的迭代过程。
训练结束的条件是全局模型达到收敛。
本实施例提供的一种基于机器学习的分类器训练方法和装置，通过利用各个工作节点的各个第一分类器，对用例节点的本地无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息。并根据标签信息集，建立用例节点对应的第二分类器，以及得到各个第一分类器在确定标签信息集时所占的第一权重。再基于上述各个分类器和各个分类器的权重信息，通过联邦平均策略进行模型训练得到全局模型，将全局模型的参数作为下一轮训练的第一分类器的参数，直到满足训练结束条件。上述训练方法可以通过设置权重弥合各个第一分类器之间的差异，提高了模型训练的性能，以及可以定位权重异常的第一分类器，并进一步在系统中排除或诊断该第一分类器对应的异常工作节点，提高系统的稳定性。
接下来，基于图1中的内容结合具体的实施例对本说明书提供的方案进行详细描述。
如图2所示，图2是根据一示例性实施例示出的一种基于机器学习的分类器训练的方法流程图，该方法可以应用于分布式机器学习系统的用例节点，分布式机器学习系统还包括服务节点和多个工作节点。机器学习系统中用例节点、服务节点和多个工作节点的结构如图1所示。该分布式机器学习系统中的用例节点、服务节点和工作节点可以是任何具有计算、处理能力的设备、平台、或服务器。该训练方法包括以下步骤：
在步骤201中，经由服务节点，获取各个工作节点训练的各个第一分类器。
本实施例中的工作节点是具有不同供应链数据库的供应链站点，供应链数据库中包括多个有标签数据。这些数据库通常地理位置分布不同，或数据不能共享。比如，工作站点可以是一个超市，或者一个超市的不同部门。
在一个分布式机器学习系统中，包括一个服务节点、一个用例节点和N个工作节点，记工作节点包括的供应链数据库分别为D1，…，DN。服务节点负责对系统中所有其他节点进行管理和统筹调度。
各个工作节点需要对本地的供应链数据库进行预处理，并对供应链数据库中数据进行标注。标注的内容包括数据库中数据的分类类别。这些预处理包括对供应链数据库中的数据进行合并、去重以及正则化和中心化处理等。
在一个训练任务的首轮训练中，服务节点需要确认该训练任务所使用的分类器结构，并分发给系统中包括工作节点、用例节点在内的所有其他节点。在一个训练任务中，各个工作节点所使用的分类器结构是相同的。不同训练任务之间所使用的分类器结构可以不同，具体根据训练任务的特点和需求进行确定。可选的基于机器学习的分类器结构包括线性分类器，支持向量机，多层感知机分类器，深度学习分类器等。只需满足分类器的参数连续可导，可以通过梯度下降法进行训练即可。
此外，分类器的初始化可以采用零均值的正态分布进行一般初始化，对于深度学习模型要求采用泽维尔初始化方法。
在每次迭代训练过程中，服务节点将需要使用的分类器参数分发给各工作节点。在首轮训练中，服务节点下发的分类器参数是各工作节点分类器的初始化参数。
各个工作节点根据预处理得到的供应链数据库信息，以及服务节点下发的分类器参数进行机器学习得到第一分类器，分别记为f1，…，fN，这些第一分类器分别包括各自的第一分类器参数。
在上述机器学习过程中，采用模型推断与标签的交叉熵作为损失函数，采用带动量的随机梯度下降法进行训练，动量值为算法的超参数，可以选取为0.9。
本实施例中的各工作节点将训练得到的第一分类器参数或第一分类器上传到服务节点。服务节点进行汇总后，再将各工作节点对应的第一分类器参数或第一分类器发送到用例节点。
用例节点可以是相对于上轮训练任务新增的一个工作节点，也可以是相对于上个训练任务更新过本地供应链数据库的一个工作节点。
在上述过程中，服务节点充当数据汇总和转发的角色。在分布式机器学习系统中，各工作节点和用例节点相互之间数据的转发通过服务节点执行，可以提高各个供应链之间的独立性，方便分布式机器学习系统进行工作节点添加和删除。
在步骤202中，分别利用各个第一分类器，对本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息。
在本实施例中，用例节点可以直接接收各工作节点对应的第一分类器f1，…，fN。用例节点也可以接收各工作节点对应的第一分类器f1，…，fN的参数，并基于该参数和分类器结构进行建模得到各工作节点对应的第一分类器f1，…，fN，具体情况视服务节点的发送数据而定。
记用例节点中的用例数据库为DT，该数据库中包括M个用例数据X1，…，XM。用例数据库DT中的数据都是无标签数据，不具备具体分类信息。对于用例数据库DT中的每个无标签数据，可以分别利用每个工作节点对应的第一分类器进行分类判断，得到每个无标签数据的标签信息。标签信息包括每个无标签数据所属的类别，以及在每个备选类别对应的概率。
比如，对C分类问题，可以根据第一分类器确定C分类问题对应的C维向量。基于C维向量，对数据库DT中数据的类概率进行预测，并将具有最大概率的类别作为数据库DT中数据对应的分类结果。
具体的，用例节点使用N个第一分类器f1，…，fN对数据库DT中的M个用例数据X1，…，XM进行分类推断。记第n个工作节点对应的第一分类器fn对第m个数据Xm的分类推断为fn(Xm)，将此分类推断记为第一分类信息，其中，n＝1，…，N，m＝1，…，M，通过以下操作获得N个第一分类器对第m个数据的分类共识：
首先，采用一个较高的置信度p对推断fn(Xm)进行过滤，去除置信度不高的推断，即max(fn(Xm))＜p的情形，得到满足预设条件的第一分类信息；
其次，对于剩下的第一分类器的分类推断，采用投票的方式，将共识分类推断判定为拥有最多第一分类器支持置信度的分类；
最后，去除不支持该分类推断的第一分类器，将剩下第一分类器的推断进行平均，获得数据Xm所对应的共识知识，记作数据Xm的标签信息qm。标签信息qm包括第m个数据Xm所属的类别，以及在每个备选类别对应的概率。
此外，记录支持共识知识qm的第一分类器的个数，记作km，如果对于数据Xm，所有第一分类器皆被过滤，则记km＝0。
在步骤203中，基于无标签数据集的标签信息集，确定用例节点的第二分类器，以及确定各个第一分类器的第一权重；第一权重分别对应各个第一分类器对得到标签信息集所做出的贡献。
本实施例中，确定各个第一分类器对用例节点数据库DT中的数据进行分类判断所做出的贡献。以及根据该贡献，确定各个第一分类器f1，…，fN的第一权重wn(n＝1，…，N)。
具体的，定义N个第一分类器对于第m个数据Xm的第三贡献总值为C(Xm)＝km*max(qm)。为了确定N个第一分类器对得到标签信息集中每一标签信息的第三贡献总值，首先确定各个第一分类器中其分类预测的类别与标签信息的类别相同的第一分类器的数量km；再根据km和每个备选类别对应的概率qm，得到第三贡献总值。
对数据库DT的第一贡献总值为所有第三贡献总值的加和，即 基于C(DT)，采用去一法计算单个第一分类器的贡献。将第n个工作节点对应的第一分类器fn的贡献记为C(fn)。对第n个工作节点，利用贡献C(fn)计算对应的第一分类器fn的第一权重为/>
其中，去一法计算单个第一分类器的贡献，指将全部第一分类器的联合贡献，与去掉某一第一分类器后所计算的联合贡献作差，用得到的边际贡献作为单个第一分类器的贡献。具体的，对于各个第一分类器，确定排除该第一分类器后的分类器子集对得到标签信息集的第二贡献总值。包括确定分类器子集对得到标签信息集中每一标签信息的第四贡献总值，将标签信息集中各条标签信息对应的第四贡献总值加和，得到第二贡献总值。
进一步的，基于第一贡献总值和各个第一分类器对应的第二贡献总值，确定各个第一分类器的第一权重。具体包括：对于任意第一分类器，根据第一贡献总值和该第一分类器对应的第二贡献总值之差，确定该第一分类器fn的单独贡献值C(fn)。根据该第一分类器的单独贡献值C(fn)与贡献值总和的比例，确定该第一分类器的第一权重，其中贡献值总和为所有第一分类器的单独贡献值之和。
接下来，还需要基于无标签数据集和无标签数据集的标签信息集，通过知识蒸馏算法进行模型训练，得到用例节点的第二分类器fT。其中，知识蒸馏方法中的知识蒸馏损失指模型推断与共识知识的交叉熵损失。
在一种可能的实现方式中，可以根据第一分类器的总数量N设置第二分类器fT的权重为可以理解，第一分类器的总数量即为系统中工作节点的总数量。
在步骤204中，将第二分类器以及各个第一权重发送到服务节点，使其确定第三分类器。
其中，第二分类器fT、第二权重wT和各个第一分类器的第一权重wn(n＝1，…，N)，用于在服务节点中确定第三分类器fG。第三分类器fG即为全局模型，用于迭代更新各个工作节点的各个第一分类器，直至满足训练结束条件。在一种可能的方式中，也可以将第二分类器fT的参数发送到服务节点。在服务节点中，基于第二分类器fT的参数和分类器结构进行建模得到第二分类器fT。
具体的，服务节点基于上述权重信息、第二分类器fT和各个第一分类器f1，…，fN，通过联邦平均策略进行模型训练得到全局模型fG，将全局模型fG的参数作为下一轮训练的各个第一分类器的参数。各个工作节点基于全局模型fG的参数和各个工作节点包括的有标签数据集进行机器学习，得到更新后的各个工作节点的各个第一分类器。
迭代执行上述步骤201～204，直到全局模型收敛，将收敛时全局模型的参数作为各个工作节点中目标分类器的参数。
由此，通过上述训练方法可以通过设置权重弥合各个第一分类器之间的差异，提高了模型训练的性能，以及可以定位权重异常的第一分类器，并进一步在系统中排除或诊断该第一分类器对应的异常工作节点，提高系统的稳定性。另外，还可以保留并扩大具有较高权重的第一分类器对应的工作节点的影响，进一步提高系统性能。
下面结合一个应用实例，对上述步骤201～202中利用各个工作节点的第一分类器，对用例节点本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息的过程进行示意性说明。
如图3所示，是根据一示例性实施例示出的一种确定无标签数据的标签信息的方法示意图。如图4所示，是根据一示例性实施例示出的一种确定无标签数据的标签信息的框架示意图。下面将结合图4，以供应链图像二分类问题为例(将建材供应链数据库中的采集图像进行分类，判断输入的采集图像是楼梯还是地板)，对图3所示的方法进行详细说明，如图3所示，该方法包括以下步骤：
在步骤301中，采集供应链数据，并进行标注与标准化。
具体的，在供应链的运输、存储、装卸、加工、配送的等过程中，多家供应链企业都会产出不同的供应链数据库。将每家供应链公司理解为图1所示的一个工作节点，本地供应链理解为图1所示的服务节点。服务节点将N个工作节点对应的本地供应链数据库进行编号为D1，…，DN。N个工作节点分别将对应的本地供应链数据库中的数据进行预处理与标注。在分布式机器学习分类器训练中，允许来自不同数据库的数据分布不一，但要求同一数据库中数据满足独立同分布要求，因此，需要在N个工作节点中分别将对应的本地供应链数据库做以上标准化操作。
如图4所示，本地供应链需要管理4个去中心化的供应链数据库D1，…，D4。供应链数据库D1，…，D4中分别包括不同类型的标注数据。这些标注数据可以用作机器学习模型的训练样本。
在步骤302中，N个工作节点分别进行本地分类器训练，并用N个本地分类器对无标注数据库DT中的样本进行分类判断。
具体地，N个工作节点分别基于本地供应链数据库D1，…，DN进行本地分类器训练，得到第一分类器f1，…，fN，这些第一分类器分别包括各自的第一分类器参数。将某一特定的场景理解为图1所示的用例节点，该特定场景将采集到的若干无标注数据构成无标注数据库DT，即用例数据库DT，该数据库中DT包括M个无标注数据，即用例数据X1，…，XM。服务节点调度N个工作节点中的第一分类器参数，发送到用例节点，对数据库DT中的每一个数据Xm，将获得N个第一分类器的分类推断。记第n个工作节点对应的第一分类器fn对第m个数据Xm的分类推断结果为fn(Xm)，将此分类推断结果记为第一分类信息，其中，n＝1，…，N，m＝1，…，M。
注意到分类器模型推断指分类器模型对输入数据分类的概率预测，如图4所示，第一分类器模型推断结果f1(Xm)、f2(Xm)、f3(Xm)、f4(Xm)为二维向量，表示该模型认为输入应当被分为楼梯类或地板类的概率。
在步骤303中，对N个工作节点对应的第一分类信息进行置信度过滤、投票共识、推断平均，获得N个第一分类器对数据库DT中样本的分类共识，该分类共识即为样本的标签信息。
具体地，首先根据步骤302中获得N个本地第一分类器对无标注数据库DT中的样本Xm进行分类判断得到的分类判断结果f1(Xm)、f2(Xm)、f3(Xm)、f4(Xm)。然后根据三个连续的操作获得第一分类器模型的共识知识，如图4所示：首先，对于4个本地第一分类器的分类推断结果f1(Xm)、f2(Xm)、f3(Xm)、f4(Xm)，采用置信度p≥0.9对分类推断结果进行过滤，发现第4个第一分类器推断结果信心不足(如图4所示，0.6＜0.9)，因此过滤该模型推断结果f4(Xm)；然后，采用投票获得共识分类，发现第1、2个第一分类器模型共识分类为楼梯，第3个第一分类器模型的共识分类为地板，因此取楼梯作为共识分类，去除第3个不支持该分类的第一分类器模型。最后，将第1、2个第一分类器模型的推断进行平均，得到共识知识qm以及支持该共识的模型数km＝2。其中，共识知识qm即为样本Xm的标签信息，该标签信息包括样本Xm的2个分类类别，以及每个分类类别对应的概率。
如图5所示，是根据一示例性实施例示出的一种基于机器学习的分类器训练系统框图。该装置可以包括：本地模型模块501，用例模型模块502，全局模型模块503。
其中，本地模型模块501是一个本地机器学习分类器模型系统，由图1所示的N个工作节点组成。在图5中设置N＝4，4个工作节点分别包括去中心化的供应链数据库D1，…，D4，数据库中包括有标签的本地数据。每个工作节点采用本地的数据与标签作为训练样本，采用模型推断与标签的交叉熵作为损失函数，采用带动量的随机梯度下降法进行训练，动量值为算法的超参数，可以选取为0.9，所训练的机器学习分类器包括但不限于线性分类器，支持向量机，多层感知机分类器，深度学习分类器，但要求分类器的参数连续可导，可以通过梯度下降法进行训练。训练完毕后，所有本地数据库将本地第一分类器模型f1、f2、f3、f4上传到全局模型模块503(即为图1所示的服务节点)。
用例模型模块502是一个基于发明内容中执行图2中步骤201～203的训练系统，可以理解为图1所示的用例节点。具体地，在用例节点中包括用例数据库DT。用例节点获得4个本地第一分类器f1、f2、f3、f4模型参数后，重建第一分类器模型，并使用图2中步骤201～204所述流程，对数据库DT中的每一个无标注数据Xm，获得其共识知识qm，然后利用共识知识蒸馏损失训练本地第二分类器模型fT，根据第一分类器的总数量设置第二分类器模型权重wT，利用加权策略计算第一分类器模型权重w1，w2，w3，w4，并将上述数据上传到服务节点。
全局模型模块503在获得所有本地分类器模型与权重后，采用联邦平均算法得到全局模型fG，计算公式为：fG＝f1*w1+f2*w2+f3*w3+f4*w4+fT*wT，并将全局模型fG发还给各个工作节点，以进行下一轮迭代训练，直至全局模型收敛。将收敛时全局模型的参数作为各个工作节点中目标分类器的参数。其中，对于那些权重明显异常的本地模型，可以对模型进行进一步诊断，如对恶意模型进行鉴别，对质量较差的数据源进行过滤等。
如上所述，机器学习分类器在满足隐私保护的要求下，利用分布式供应链数据进行了一轮完整训练。经过多轮训练，全局模型达到收敛，训练目标即为完成。
与前述用于基于机器学习的分类器训练的方法实施例相对应，本说明书还提供了用于基于机器学习的分类器训练的装置的实施例。
如图6所示，图6是本说明书根据一示例性实施例示出的一种基于机器学习的分类器训练装置框图，该装置部署于分布式机器学习系统的用例节点，分布式机器学习系统还包括服务节点和多个工作节点，装置包括：
获取模块601，用于经由服务节点，获取各个工作节点训练的各个第一分类器。
分类模块602，用于分别利用各个第一分类器，对本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息。
处理模块603，用于基于无标签数据集的标签信息集，确定用例节点的第二分类器，以及确定各个第一分类器的第一权重；第一权重分别对应各个第一分类器对得到标签信息集所做出的贡献。
发送模块604，用于将第二分类器以及各个第一权重发送到服务节点，使其确定第三分类器；第三分类器用于迭代更新各个工作节点的各个第一分类器，直至满足训练结束条件。
应当理解，上述装置可以预先设置在用例节点中，也可以通过下载等方式而加载到用例节点中。上述装置中的相应模块可以与用例节点中的其他模块相互配合以实现基于机器学习的分类器训练的方案。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书一个或多个实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。其中，软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于机器学习的分类器训练方法，应用于分布式机器学习系统的用例节点，所述学习系统还包括服务节点和多个工作节点，所述方法包括：
经由所述服务节点，获取各个工作节点训练的各个第一分类器；
分别利用各个第一分类器，对本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息；
基于所述无标签数据集的标签信息集，确定所述用例节点的第二分类器，以及确定各个第一分类器的第一权重；所述第一权重分别对应各个第一分类器对得到所述标签信息集所做出的贡献；
将所述第二分类器以及各个第一权重发送到所述服务节点，使其确定第三分类器；所述第三分类器用于迭代更新各个工作节点的各个第一分类器，直至满足训练结束条件。
2.根据权利要求1所述的方法，其中，所述分别利用各个第一分类器，对本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息，包括：
对任一目标无标签数据，
分别利用各个第一分类器预测所述目标无标签数据的类别，得到第一分类信息；
对各个第一分类信息进行筛选，得到满足预设条件的第一分类信息；
基于所述满足预设条件的第一分类信息，确定所述目标无标签数据的标签信息，其中，所述标签信息包括所述目标无标签数据所属的类别，以及在每个备选类别对应的概率。
3.根据权利要求1所述的方法，其中，所述确定所述用例节点的第二分类器，包括：
基于所述无标签数据集和所述无标签数据集的标签信息集，通过知识蒸馏算法进行模型训练，得到所述用例节点的第二分类器。
4.根据权利要求1所述的方法，其中，所述确定各个第一分类器的第一权重，包括：
确定所有第一分类器对得到所述标签信息集的第一贡献总值；
对于各个第一分类器，确定排除该第一分类器后的分类器子集对得到所述标签信息集的第二贡献总值；
基于所述第一贡献总值和各个第一分类器对应的第二贡献总值，确定各个第一分类器的第一权重。
5.根据权利要求4，其中，所述标签信息包括每个无标签数据所属的类别，以及在每个备选类别对应的概率；
所述确定所有第一分类器对得到所述标签信息集的第一贡献总值，包括：
对于每一标签信息，确定各个第一分类器中其分类预测的类别与所述标签信息的类别相同的第一分类器的数量；
根据所述第一分类器的数量和所述每个备选类别对应的概率，得到所有第一分类器对该标签信息的第三贡献总值；
将标签信息集中各条标签信息对应的第三贡献总值加和，得到所述第一贡献总值。
6.根据权利要求4所述的方法，其中，所述确定排除该第一分类器后的分类器子集对得到所述标签信息集的第二贡献总值，包括：
确定所述分类器子集对得到所述标签信息集中每一标签信息的第四贡献总值；
将标签信息集中各条标签信息对应的第四贡献总值加和，得到所述第二贡献总值。
7.根据权利要求4所述的方法，其中，所述确定各个第一分类器的第一权重，包括：
对于任意第一分类器，根据所述第一贡献总值和该第一分类器对应的第二贡献总值之差，确定该第一分类器的单独贡献值；
根据该第一分类器的单独贡献值与贡献值总和的比例，确定该第一分类器的第一权重，其中所述贡献值总和为所有第一分类器的单独贡献值之和。
8.一种基于机器学习的分类器训练装置，所述装置部署于分布式机器学习系统的用例节点，所述学习系统还包括服务节点和多个工作节点，所述装置包括：
获取模块，用于经由所述服务节点，获取各个工作节点训练的各个第一分类器；
分类模块，用于分别利用各个第一分类器，对本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息；
处理模块，用于基于所述无标签数据集的标签信息集，确定所述用例节点的第二分类器，以及确定各个第一分类器的第一权重；所述第一权重分别对应各个第一分类器对得到所述标签信息集所做出的贡献；
发送模块，用于将所述第二分类器以及各个第一权重发送到所述服务节点，使其确定第三分类器；所述第三分类器用于迭代更新各个工作节点的各个第一分类器，直至满足训练结束条件。
9.一种基于机器学习的分类器训练方法，应用于分布式机器学习系统，所述学习系统包括服务节点、用例节点以及多个工作节点，所述方法包括：
各个工作节点，将其训练的第一分类器经过所述服务节点转发到所述用例节点；
所述用例节点，分别利用各个第一分类器，对本地的无标签数据集中的每个无标签数据进行分类预测，得到每个无标签数据的标签信息；
所述用例节点，基于所述无标签数据集的标签信息集，确定所述用例节点的第二分类器，以及确定各个第一分类器的第一权重；所述第一权重分别对应各个第一分类器对得到所述标签信息集所做出的贡献；
所述用例节点，将所述第二分类器以及各个第一权重发送到所述服务节点；
所述服务节点，根据所述第二分类器以及各个第一权重，确定第三分类器；
各个工作节点，根据所述第三分类器迭代更新其第一分类器，直至满足训练结束条件。
10.根据权利要求9所述的方法，其中，各个工作节点，根据所述第三分类器迭代更新其第一分类器，包括：
各个工作节点，基于所述第三分类器的参数和各个工作节点包括的有标签数据集进行机器学习，得到更新后的各个工作节点的各个第一分类器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310684859.8A CN116701939B (zh) | 2023-06-09 | 2023-06-09 | 一种基于机器学习的分类器训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310684859.8A CN116701939B (zh) | 2023-06-09 | 2023-06-09 | 一种基于机器学习的分类器训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116701939A true CN116701939A (zh) | 2023-09-05 |
| CN116701939B CN116701939B (zh) | 2023-12-15 |
Family
ID=87842811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310684859.8A Active CN116701939B (zh) | 2023-06-09 | 2023-06-09 | 一种基于机器学习的分类器训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116701939B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117828290A (zh) * | 2023-12-14 | 2024-04-05 | 广州番禺职业技术学院 | 一种施工数据可靠性的预测方法、系统、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420888A (zh) * | 2021-06-03 | 2021-09-21 | 中国石油大学(华东) | 一种基于泛化域自适应的无监督联邦学习方法 |
| CN113705712A (zh) * | 2021-09-02 | 2021-11-26 | 广州大学 | 一种基于联邦半监督学习的网络流量分类方法和系统 |
| CN114070775A (zh) * | 2021-10-15 | 2022-02-18 | 上海智能网联汽车技术中心有限公司 | 面向5g智能网联系统的区块链网络切片安全智能优化方法 |
| CN114429219A (zh) * | 2021-12-09 | 2022-05-03 | 之江实验室 | 一种面向长尾异构数据的联邦学习方法 |
| CN114881134A (zh) * | 2022-04-26 | 2022-08-09 | 上海工程技术大学 | 一种应用于数据异构的联邦域适应方法 |
| CN114943342A (zh) * | 2022-05-09 | 2022-08-26 | 北京邮电大学 | 一种联邦学习系统的优化方法 |
| CN115329387A (zh) * | 2022-10-17 | 2022-11-11 | 中国科学技术大学 | 基于差分隐私置乱模型的联邦协同蒸馏方法及系统 |
| CN115761408A (zh) * | 2022-11-23 | 2023-03-07 | 重庆邮电大学 | 一种基于知识蒸馏的联邦域适应方法及系统 |
| US20230087863A1 (en) * | 2020-01-30 | 2023-03-23 | Vision Semantics Limited | De-centralised learning for re-indentification |
-
2023
- 2023-06-09 CN CN202310684859.8A patent/CN116701939B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230087863A1 (en) * | 2020-01-30 | 2023-03-23 | Vision Semantics Limited | De-centralised learning for re-indentification |
| CN113420888A (zh) * | 2021-06-03 | 2021-09-21 | 中国石油大学(华东) | 一种基于泛化域自适应的无监督联邦学习方法 |
| CN113705712A (zh) * | 2021-09-02 | 2021-11-26 | 广州大学 | 一种基于联邦半监督学习的网络流量分类方法和系统 |
| CN114070775A (zh) * | 2021-10-15 | 2022-02-18 | 上海智能网联汽车技术中心有限公司 | 面向5g智能网联系统的区块链网络切片安全智能优化方法 |
| CN114429219A (zh) * | 2021-12-09 | 2022-05-03 | 之江实验室 | 一种面向长尾异构数据的联邦学习方法 |
| CN114881134A (zh) * | 2022-04-26 | 2022-08-09 | 上海工程技术大学 | 一种应用于数据异构的联邦域适应方法 |
| CN114943342A (zh) * | 2022-05-09 | 2022-08-26 | 北京邮电大学 | 一种联邦学习系统的优化方法 |
| CN115329387A (zh) * | 2022-10-17 | 2022-11-11 | 中国科学技术大学 | 基于差分隐私置乱模型的联邦协同蒸馏方法及系统 |
| CN115761408A (zh) * | 2022-11-23 | 2023-03-07 | 重庆邮电大学 | 一种基于知识蒸馏的联邦域适应方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| HAO-ZHE FENG 等: "KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation", 《ARXIV》, pages 1 - 15 * |
| HUANG FANG 等: "A Federated Domain Adaptation Algorithm Based on Knowledge Distillation and Contrastive Learning", 《WUHAN UNIVERSITY JOURNAL OF NATURAL SCIENCES》, vol. 27, no. 6, pages 499 - 507 * |
| YIKANG WEI: "Multi-Source Collaborative Contrastive Learning for Decentralized Domain Adaptation", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》, vol. 33, no. 5, pages 2202 - 2216, XP011939868, DOI: 10.1109/TCSVT.2022.3219893 * |
| 吴兰 等: "基于自监督任务的多源无监督域适应法", 《浙江大学学报（工学版）》, vol. 56, no. 4, pages 754 - 763 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117828290A (zh) * | 2023-12-14 | 2024-04-05 | 广州番禺职业技术学院 | 一种施工数据可靠性的预测方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116701939B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210357827A1 (en) | Populating digital twins for value chain networks | |
| WO2022121289A1 (en) | Methods and systems for mining minority-class data samples for training neural network | |
| US8473432B2 (en) | Issue resolution in expert networks | |
| AU2020379834A1 (en) | Control tower and enterprise management platform for value chain networks | |
| AU2020202909A1 (en) | Machine learning classification and prediction system | |
| JP2022549806A (ja) | 非集中型人工知能（ａｉ）／機械学習トレーニングシステム | |
| CN116701939B (zh) | 一种基于机器学习的分类器训练方法及装置 | |
| US20230316234A1 (en) | Multi-task deep learning of time record events | |
| Relich | A computational intelligence approach to predicting new product success | |
| CN114584406B (zh) | 一种联邦学习的工业大数据隐私保护系统及方法 | |
| Pitchforth et al. | Processing passengers efficiently: An analysis of airport processing times for international passengers | |
| Pete et al. | An overview of decision networks and organizations | |
| Svanberg et al. | Beyond AI Exposure: Which Tasks are Cost-Effective to Automate with Computer Vision? | |
| Kashani et al. | Designing a resilient medical laboratory service network under disruption and uncertainty: a case study | |
| US20220051133A1 (en) | Decentralized multi-task learning | |
| Dodin et al. | Bombardier aftermarket demand forecast with machine learning | |
| Haroon et al. | Application of machine learning in forensic science | |
| WO2023159117A1 (en) | System and method for enriching and normalizing data | |
| Hsu | Integrated data envelopment analysis and neural network model for forecasting performance of wafer fabrication operations | |
| Wang et al. | Multicriteria‐Based Crowd Selection Using Ant Colony Optimization | |
| CN114861936A (zh) | 一种基于特征原型的联邦增量学习方法 | |
| Abed et al. | Reduce the delivery time and relevant costs in a chaotic requests system via lean-Heijunka model to enhance the logistic Hamiltonian route | |
| CN113269432A (zh) | 一种基于要素聚合网络的服务承载能力评估方法 | |
| Andriyanov et al. | Development and Research of Intellectual Algorithms in Taxi Service Data Processing Based on Machine Learning and Modified K-means Method | |
| Sharifi Noorian et al. | Balanced allocation of multi-criteria geographic areas by a genetic algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |