CN113657501A - 模型自适应训练方法、装置、设备、介质及程序产品 - Google Patents

模型自适应训练方法、装置、设备、介质及程序产品 Download PDF

Info

Publication number
CN113657501A
CN113657501A CN202110945461.6A CN202110945461A CN113657501A CN 113657501 A CN113657501 A CN 113657501A CN 202110945461 A CN202110945461 A CN 202110945461A CN 113657501 A CN113657501 A CN 113657501A
Authority
CN
China
Prior art keywords
model
data
value
data set
concept drift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110945461.6A
Other languages
English (en)
Inventor
王小波
尹泽夏
林锋
张钧波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong City Beijing Digital Technology Co Ltd
Original Assignee
Jingdong City Beijing Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong City Beijing Digital Technology Co Ltd filed Critical Jingdong City Beijing Digital Technology Co Ltd
Priority to CN202110945461.6A priority Critical patent/CN113657501A/zh
Publication of CN113657501A publication Critical patent/CN113657501A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种模型自适应训练方法、装置、设备、介质及程序产品，通过获取原始模型在实际运行时的各个运行数据，并根据运行数据检测原始模型在实际运行时的第一概念漂移值；然后，根据价值模型以及第一概念漂移值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中，当带标签数据集的数据量大于或等于预设阈值时，利用自适应训练模型，根据带标签数据集以及无标签数据集，对原始模型进行自适应训练，以确定训练后的新模型。解决了如何让AI模型能够在尽可能少的人为干预的情况下，进行自适应训练的技术问题。达到了减少开发人员更新模型时需要的人工标注量，且通过集成多个模型的方式提高模型的性能稳定性的技术效果。

Description

模型自适应训练方法、装置、设备、介质及程序产品
技术领域
本申请涉及计算机数据处理领域，尤其涉及一种数模型自适应训练方法、装置、设备、介质及程序产品。
背景技术
目前，对于AI(Artificial Intelligence，人工智能)模型来说，一般是利用已有的历史数据进行训练后上线进行生产服务，对新的实际运行数据进行预测。
但是，随着时间的推移，由环境变化引起样本分布发生变化的现象是无法避免的，这种现象我们称为概念漂移。此时，AI模型的性能会逐渐降低。为此，我们需要定期使用最近的数据对AI模型进行重新训练，以对AI模型进行不断地更新，并实时监控模型表现，保证上线的AI模型性能稳定。
所以，对上线的AI模型的后期性能维护给算法工程师和运维人员带来了长期且繁重的工作量。因此，如何让AI模型能够在尽可能少的人为干预的情况下，进行自适应训练成为了亟待解决的技术问题。
发明内容
本申请提供一种模型自适应训练方法、装置、设备、介质及程序产品，解决了如何让AI模型能够在尽可能少的人为干预的情况下，进行自适应训练的技术问题。
第一个方面，本申请提供一种模型自适应训练方法，包括：
获取原始模型在实际运行时的各个运行数据，并根据运行数据检测原始模型在实际运行时的第一概念漂移值；
根据价值模型以及第一概念漂移值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中；
判断带标签数据集的数据量是否大于或等于预设阈值；
若是，则利用自适应训练模型，根据带标签数据集以及无标签数据集，对原始模型进行自适应训练，以确定训练后的新模型，新模型的第二概念漂移值小于第一概念漂移值。
在一种可能的设计中，根据价值模型以及第一概念漂移值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中，包括：
根据价值模型确定各个运行数据的综合价值；
根据第一概念漂移值以及综合价值，调整带标签数据集的数据积累速度；
根据数据积累速度以及综合价值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中。
在一种可能的设计中，根据数据积累速度以及综合价值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中，包括：
根据数据积累速度以及综合价值，从各个运行数据中筛选出待标注数据；
将待标注数据发送给用户端进行标注，以确定带标签数据，并将剩余的运行数据添加到无标签数据集中；
接收用户端返回的带标签数据，并将带标签数据添加到带标签数据集中。
在一种可能的设计中，根据第一概念漂移值以及综合价值，调整带标签数据集的数据积累速度，包括：
根据综合价值确定各个运行数据的排序序列；
当第一概念漂移值小于或等于预警门限值时，选取排序序列中前M位的运行数据作为待标注数据。
在一种可能的设计中，在根据综合价值确定各个运行数据的排序序列之后，还包括：
当第一概念漂移值大于或等于触发门限值时，选取排序序列中前N位的运行数据作为待标注数据，预警门限值小于触发门限值。
在一种可能的设计中，在根据综合价值确定各个运行数据的排序序列之后，还包括：
当第一概念漂移值大于预警门限值，且小于触发门限值时，选取排序序列中前K位的运行数据作为待标注数据，K与M和N存在预设对应关系。
在一种可能的设计中，利用自适应训练模型，根据带标签数据集以及无标签数据集，对原始模型进行自适应训练，以确定训练后的新模型，包括：
通过预设采样模型，对带标签数据集以及无标签数据集进行采样，以确定训练样本集；
利用半监督训练模型，根据训练样本集以及多个学习速率，对原始模型进行半监督训练后，确定多个子模型，子模型与学习速率相对应；
通过集成权重值将各个子模型组合成新模型。
在一种可能的设计中，在通过集成权重值将各个子模型组合成新模型之前，还包括：
利用动态更新算法，根据各个学习速率以及第一概念漂移值，确定更新后的集成权重值。
在一种可能的设计中，利用动态更新算法，根据各个学习速率以及第一概念漂移值，确定更新后的集成权重值，包括：
初始化每个子模型对应的集成权重值；
当第一概念漂移值小于或等于预警门限值时，根据第一更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
在一种可能的设计中，在初始化每个子模型对应的集成权重值之后，还包括：
当第一概念漂移值大于或等于触发门限值时，根据第二更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
在一种可能的设计中，在初始化每个子模型对应的集成权重值之后，还包括：
当第一概念漂移值大于预警门限值，且小于触发门限值时，根据第三更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
在一种可能的设计中，在确定更新后的集成权重值之后，还包括：
根据预设归一化模型，对集成权重值进行归一化操作，以确定各个目标集成权重值；
对应的，通过集成权重值将各个子模型组合成新模型，包括：
通过各个目标集成权重值，将各个子模型组合成新模型。
第二个方面，本申请提供一种模型自适应训练装置，包括：
获取模块，用于获取原始模型在实际运行时的各个运行数据；
处理模块，用于：
根据运行数据检测原始模型在实际运行时的第一概念漂移值；
根据价值模型以及第一概念漂移值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中；
判断带标签数据集的数据量是否大于或等于预设阈值；
若是，则利用自适应训练模型，根据带标签数据集以及无标签数据集，对原始模型进行自适应训练，以确定训练后的新模型，新模型的第二概念漂移值小于第一概念漂移值。
在一种可能的设计中，处理模块，用于：
根据价值模型确定各个运行数据的综合价值；
根据第一概念漂移值以及综合价值，调整带标签数据集的数据积累速度；
根据数据积累速度以及综合价值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中。
在一种可能的设计中，处理模块，用于：
根据数据积累速度以及综合价值，从各个运行数据中筛选出待标注数据；
将待标注数据发送给用户端进行标注，以确定带标签数据，并将剩余的运行数据添加到无标签数据集中；
获取模块，还用于接收用户端返回的带标签数据；
处理模块，还用于将带标签数据添加到带标签数据集中。
在一种可能的设计中，处理模块，用于：
根据综合价值确定各个运行数据的排序序列；
当第一概念漂移值小于或等于预警门限值时，选取排序序列中前M位的运行数据作为待标注数据。
在一种可能的设计中，处理模块，用于：
当第一概念漂移值大于或等于触发门限值时，选取排序序列中前N位的运行数据作为待标注数据，预警门限值小于触发门限值。
在一种可能的设计中，处理模块，用于：
当第一概念漂移值大于预警门限值，且小于触发门限值时，选取排序序列中前K位的运行数据作为待标注数据，K与M和N存在预设对应关系。
在一种可能的设计中，处理模块，用于：
通过预设采样模型，对带标签数据集以及无标签数据集进行采样，以确定训练样本集；
利用半监督训练模型，根据训练样本集以及多个学习速率，对原始模型进行半监督训练后，确定多个子模型，子模型与学习速率相对应；
通过集成权重值将各个子模型组合成新模型。
在一种可能的设计中，处理模块，用于：
利用动态更新算法，根据各个学习速率以及第一概念漂移值，确定更新后的集成权重值。
在一种可能的设计中，处理模块，用于：
初始化每个子模型对应的集成权重值；
当第一概念漂移值小于或等于预警门限值时，根据第一更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
在一种可能的设计中，处理模块，用于：
当第一概念漂移值大于或等于触发门限值时，根据第二更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
在一种可能的设计中，处理模块，用于：
当第一概念漂移值大于预警门限值，且小于触发门限值时，根据第三更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
在一种可能的设计中，处理模块，还用于：
根据预设归一化模型，对集成权重值进行归一化操作，以确定各个目标集成权重值；通过各个目标集成权重值，将各个子模型组合成新模型。
第三个方面，本申请提供一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行第一方面所提供的任意一种可能的模型自适应训练方法。
第四个方面，本申请提供一种存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行第一方面所提供的任意一种可能的模型自适应训练方法。
第五方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所提供的任意一种可能的模型自适应训练方法。
本申请提供了一种模型自适应训练方法、装置、设备、介质及程序产品，通过获取原始模型在实际运行时的各个运行数据，并根据运行数据检测原始模型在实际运行时的第一概念漂移值；然后，根据价值模型以及第一概念漂移值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中，再判断带标签数据集的数据量是否大于或等于预设阈值，若是，则利用自适应训练模型，根据带标签数据集以及无标签数据集，对原始模型进行自适应训练，以确定训练后的新模型，该新模型的第二概念漂移值小于第一概念漂移值。解决了如何让AI模型能够在尽可能少的人为干预的情况下，进行自适应训练的技术问题。达到了减少开发人员更新模型时需要的人工标注量，且通过集成多个模型的方式提高模型的性能稳定性的技术效果。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的模型自适应训练的场景示意图；
图2为本申请提供的一种模型自适应训练方法的流程示意图；
图3为本申请提供的另一种模型自适应训练方法的流程示意图；
图4为本申请提供的又一种模型自适应训练方法的流程示意图；
图5为本申请实施例提供的更新集成权重值的示意图；
图6为本申请实施例提供的对于突发概念漂移时线上学习的在线模型更新实验结果图；
图7为本申请实施例提供的对于突发概念漂移的主动学习的模型自适应更新实验结果图；
图8为本申请实施例提供的对于增量概念漂移时线上学习的在线模型更新实验结果图；
图9为本申请实施例提供的对于增量概念漂移的主动学习的模型自适应更新实验结果图；
图10为本申请提供的一种模型自适应训练装置的结构示意图；
图11为本申请提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，包括但不限于对多个实施例的组合，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前人工智能学习系统中，一般的模型的训练方式为：用一种预设的机器学习算法在给定的数据集上进行训练，以构建适用于某个场景的模型，并将这个模型上线应用在实际的任务上。
显然，这种机器学习模型训练方法本质上不适合概念漂移数据的处理。
为了保证线上模型(即已经上线应用的模型)的预测能力，需要针对概念漂移现象进行修正，以提高或改善模型的线上性能(即减小模型在实际应用时与建模训练时两种结果间的差异)。通常需要每隔一段时间，利用最新收集到的数据对模型进行更新(微调)，使用的方法可以有多种，如重新训练、在线训练、增量学习等。
但是，以上提到的方法均需要获取带标签数据(即经过人工标注后的数据)才能进行模型的训练更新。这就存在了以下缺陷：
1、在实际线上环境中，获取带标签数据往往非常困难，需要线上系统提供及时的反馈机制，或是要求人工数据标注。无论哪种方式都需要大量额外的经济和时间成本。若无法及时获取最新的带标签数据，线上模型可能会面临预测能力不断下降的情况；而即使获得了带标签数据，若数据量较少，现有模型更新方式对模型预测能力提升也有限，同样存在模型效果下降的风险。
2、由于概念漂移可以分为：增量式漂移，渐进式漂移，突发式漂移，循环式漂移，以及他们的组合。因此通过如重新训练、在线训练、增量学习等新得到的模型难以适应不同种类的概念漂移类型。
为解决上述问题，本申请的发明构思是：
首先，结合主动学习机制：选取最有价值的实际运行数据进行标注，并运用半监督学习方法，充分利用大量的无标签数据，对线上模型进行自动更新，保证线上模型的应用效果。
然后，结合集成推理机制：采用不同的学习率，在线学习得到多个模型，利用数据概念漂移程度，控制各个模型的权重，实现概念漂移的自适应，提升模型的稳定性与效果。
与传统方法相比，这些无标签数据存在广泛且容易收集，节省经济、人力和时间成本；通过少量的数据标注，可大大提升模型的预测效果；且集成推理机制的学习方法，可以增强模型在应对各种场景变化时的稳定性。
图1为本申请提供的模型自适应训练的场景示意图。如图1所示，实际任务或业务运行时产生的运行数据即在线数据流101，分别传输给概念漂移模块102以及无标签数据池103。概念漂移模块102计算出的概念漂移值给主动学习模块104作为人工标注数据量的参考指标。
主动学习模型104从无标签数据池103中检测各个数据的综合价值，如代表性、多样性、不确定性等指标来评价各个数据的综合价值，提取综合价值较大的前N个数据作为人工标注数据进行标注，N的具体大小参考当前模型的概念漂移值来决定。将人工标注后的数据放入有标签数据池105中，在有标签数据池105满后，触发对当前模型的更新训练。
数据采样模块106从无标签数据池103和有标签数据池105中收集训练数据，发送给模型在线更新模块107进行半监督学习训练。并将通过不同学习速率训练后所得到的各个模型存储到模型库108中。
然后，通过概念漂移值对模型库中的各个模型的集成权重进行更新，得到更新后的集成权重。然后通过各个集成权重将多个模型集成起来得到最终训练后的新模型，利用新模型来处理在线数据流101中的各个运行数据得到推理结果或预测结果，进行输出。
为了便于理解上述场景中的具体实施步骤，下面结合附图来对本申请提供的模型自适应训练方法的详细步骤进行介绍。
图2为本申请提供的一种模型自适应训练方法的流程示意图。如图2所示，该模型自适应训练方法的具体步骤，包括：
S201、获取原始模型在实际运行时的各个运行数据，并根据运行数据检测原始模型在实际运行时的第一概念漂移值。
在本步骤中，第一概念漂移值用于第一处理结果与第二处理结果的分布差异的大小。其中，第一处理结果表示原始模型在实际运行时，处理各项实际业务或服务的运行数据所得到的处理结果；第二处理结果表示元素模型在建模训练时，对训练样本数据的处理结果。
在本实施例中，原始模型的实际运行也称为模型上线，而实际任务或业务需要处理的运行数据也称为在线数据，原始模型也可以称为线上模型。
需要说明的是，概念漂移值的计算方式有很多，本领域技术人员可以根据具体场景的需要进行选用，本申请不作限定。
S202、根据价值模型以及第一概念漂移值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中。
在本步骤中，首先，根据价值模型确定各个运行数据的综合价值；然后，根据第一概念漂移值以及综合价值，调整带标签数据集的数据积累速度；接下来，根据数据积累速度以及综合价值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中。
具体的，通过主动学习机制，利用价值模型计算每个运行数据(或者称为在线数据)的综合价值，综合价值的组成指标包括：运行数据的代表性、多样性、不确定性等指标，然后将各项指标根据预设的联合模型进行综合，如各项指标乘以对应的权重后再求和，计算得到各个运行数据的综合价值。
需要说明的是，代表性、多样性和不确定性等指标可以参考已有的无标签数据集以及已经被人工标注好的带标签数据集中的各项数据。
比如，运行数据若与已经做了人工标注的带标签数据相似或者相同，那么它的代表性、多样性和不确定性将会下降，同时也代表着该运行数据不需要再次分入带标签数据集中，即不需要再对该数据进行人工标注，这样就可以减少人工标注的工作量。
在本实施例中，带标签数据集(例如图1中的有标签数据池105)的数据积累速度可以通过选择不同数量的运行数据进行人工标注来调节。即在选取综合价值排名前N位的运行数据进行人工标注时，不同的概念漂移值对应不同的N值，即N为概念漂移值的函数值。
选出了需要进行人工标注的前N个运行数据后，将剩余的运行数据分配到无标签数据集当中。
在人工标注了N个运行数据后，将带标签的数据添加到带标签数据集中，当带标签数据集的数据量达到预设阈值时，触发对原始模型的更新训练。
需要说明的是，每次更新后，可以将带标签数据集清空，这样预设阈值即为带标签数据集的大小。
可以理解的是，若不清空带标签数据集，则预设阈值表示的是上一次更新训练与本次更新训练前带标签数据集数据量的差值。
S203、判断带标签数据集的数据量是否大于或等于预设阈值。
在本步骤中，带标签数据集的实现方式包括以先进先出原则构建的数据栈，该数据栈的大小即为预设阈值，当该数据栈满时，就会触发一次自适应训练。
S204、若是，则利用自适应训练模型，根据带标签数据集以及无标签数据集，对原始模型进行自适应训练，以确定训练后的新模型。
在本步骤中，新模型的第二概念漂移值小于第一概念漂移值。
在本实施例中，通过预设采样模型，对带标签数据集以及无标签数据集进行采样，以确定训练样本集；
利用半监督训练模型，根据训练样本集以及多个学习速率，对原始模型进行半监督训练后，确定多个子模型，子模型与学习速率相对应；
通过集成权重值将各个子模型组合成新模型。
需要说明的是，采用半监督训练的模式可以大大减少需要人工标注的数据量。并且，通过设置不同的学习速率可以得到在实际环境变化的不同情况下，训练后的模型都能够输出一个较为合理的预测结果或推理结果，即通过集成推理的方式，保证了模型的稳定性，使其能够应对较宽的数据波动。
本实施例提供了一种模型自适应训练方法，通过获取原始模型在实际运行时的各个运行数据，并根据运行数据检测原始模型在实际运行时的第一概念漂移值；然后，根据价值模型以及第一概念漂移值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中，再判断带标签数据集的数据量是否大于或等于预设阈值，若是，则利用自适应训练模型，根据带标签数据集以及无标签数据集，对原始模型进行自适应训练，以确定训练后的新模型，该新模型的第二概念漂移值小于第一概念漂移值。解决了如何让AI模型能够在尽可能少的人为干预的情况下，进行自适应训练的技术问题。达到了减少开发人员更新模型时需要的人工标注量，且通过集成多个模型的方式提高模型的性能稳定性的技术效果。
为了便于理解下面通过图3和图5所示的实施例分别对S202和S204的各种实现方式做进一步的说明。
图3为本申请提供的另一种模型自适应训练方法的流程示意图。如图3所示，该模型自适应训练方法的具体步骤包括：
S301、获取原始模型在实际运行时的各个运行数据。
在本实施例中，收集如图1中在线数据流101的运行数据，并存储在无标签数据集对应的临时数据池中，临时数据池被设置为固定的大小，当临时数据池接收满数据时，则进入S303，否则持续收集在线数据即运行数据。
S302、根据运行数据检测原始模型在实际运行时的第一概念漂移值。
在本步骤中，通过原始模型处理实际运行数据时的预测结果或推理结果与处理训练数据的结果之间的分布差异，确定第一概念漂移值。例如，以能量距离作为第一概念漂移值的取值。
需要说明的是，S301和S302可以并行执行，并没有先后顺序的要求。
S303、根据价值模型确定各个运行数据的综合价值。
在本步骤中，利用主动学习机制即价值模型，计算临时样本的综合价值。
在本实施例中，具体的，结合无标签数据集中的数据、带标签数据集中的数据、临时数据池中的数据，计算临时数据池中数据的代表性、多样性、不确定性等指标，并多种指标联合，计算各个数据的标注价值即综合价值。
需要说明的是，对于主动学习机制的价值模型的具体实现方式，本领域技术人员可以根据实际情况进行选用，本申请不作限定。
S304、根据第一概念漂移值以及综合价值，调整带标签数据集的数据积累速度。
在本步骤中，首先，根据综合价值确定各个运行数据的排序序列。例如，对各个运行数据按照综合价值从大到小的顺序进行排列。
当第一概念漂移值小于或等于预警门限值时，选取排序序列中前M位的运行数据作为待标注数据。
在本实施例中，M的取值如公式(1)所示：
M＝Minlabel，(β≤βwarning) (1)
其中，Minlabel为预设的最小数据量，β为第一概念漂移值，βwarning为预警门限值。
在一种可能的设计中，当第一概念漂移值大于或等于触发门限值时，选取排序序列中前N位的运行数据作为待标注数据，预警门限值小于触发门限值。
具体的，N的取值如公式(2)所示：
N＝Maxlabel，(β≥βdetected) (2)
其中，Maxlabel为预设的最大数据量，βdetected为触发门限值。
在一种可能的设计中，当第一概念漂移值大于预警门限值，且小于触发门限值时，选取排序序列中前K位的运行数据作为待标注数据，K与M和N存在预设对应关系。
具体的，K的取值如公式(3)所示：
K＝Minlabel+(β-βwarning/βdetected-βwarning)*Maxlabel，(βwarning＜β＜βdetected) (3)
S305、根据数据积累速度以及综合价值，从各个运行数据中筛选出待标注数据。
S306、将待标注数据发送给用户端进行标注，以确定带标签数据，并将剩余的运行数据添加到无标签数据集中。
S307、接收用户端返回的带标签数据，并将带标签数据添加到带标签数据集中。
对于步骤S305～S307，在本实施例中，临时数据池中未被选中的数据，推送至无标签数据集；选中的数据，经过打标即人工标注后，推送至带标签数据集。如果带标签数据集的数据量大于触发门限即预设阈值时，则触发一次模型自适应更新训练，训练结束后，清空带标签数据集。
S308、当带标签数据集的数据量大于或等于预设阈值时，利用自适应训练模型，根据带标签数据集以及无标签数据集，对原始模型进行自适应训练，以确定训练后的新模型。
在本步骤中，新模型的第二概念漂移值小于原始模型的第一概念漂移值。
本步骤的具体实现方式参见S204以及图4所示的实施例中相关步骤介绍。
本实施例提供了一种模型自适应训练方法，通过获取原始模型在实际运行时的各个运行数据，并根据运行数据检测原始模型在实际运行时的第一概念漂移值；然后，根据价值模型以及第一概念漂移值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中，再判断带标签数据集的数据量是否大于或等于预设阈值，若是，则利用自适应训练模型，根据带标签数据集以及无标签数据集，对原始模型进行自适应训练，以确定训练后的新模型，该新模型的第二概念漂移值小于第一概念漂移值。解决了如何让AI模型能够在尽可能少的人为干预的情况下，进行自适应训练的技术问题。达到了减少开发人员更新模型时需要的人工标注量，且通过集成多个模型的方式提高模型的性能稳定性的技术效果。
为了便于理解，下面对S204以及S308的具体实现方式进行进一步解释说明。
图4为本申请提供的又一种模型自适应训练方法的流程示意图。如图4所示，该模型自适应训练方法的具体步骤包括：
S401、获取原始模型在实际运行时的各个运行数据，并根据运行数据检测原始模型在实际运行时的第一概念漂移值。
S402、根据价值模型以及第一概念漂移值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中。
对于步骤S401～S402的详细实现方式与原理可以参考图2和图3所示实施例的相关步骤，在此不再赘述。
S403、通过预设采样模型，对带标签数据集以及无标签数据集进行采样，以确定训练样本集。
在本实施例中，以bootstrap采样模型作为预设采样模型，对带标签数据集以及无标签数据集进行采样，得到用于自适应训练的训练样本集。
在本实施例中，为了自适应渐进概念漂移、突发概念漂移等多种概念漂移带来的影响，本申请引入集成推理(即将多个模型按预设权重进行组合)，并对集成权重进行动态更新，一般地，每隔一个预设时间，对集成权重进行一次更新。
S404、利用半监督训练模型，根据训练样本集以及多个学习速率，对原始模型进行半监督训练后，确定多个子模型。
在本实施例中，采用k个不同的学习速率，分别记为λ1,λ2…λk,且λ1＜λ2…＜λk。通过预设的半监督训练模型，根据训练样本集中的数据进行半监督训练，得到k个不同的模型即上述的子模型。每一个子模型集成推理的集成权重为Wi，则输入数据X的推理结果如公式(4)所示：
Figure BDA0003216517910000141
其中，k为大于2的整数，以利用集成学习的优点。
在一种可能的设计中，k小于10，以避免推理过程的资源消耗过大的问题。
在一种可能的设计中，λ1,λ2…λk可以设置为一个等比数列，用户首先根据自身经验设定最小学习速率λ1和最大学习速率λk的值，再根据等比数列的规律计算出其他学习速率。
S405、利用动态更新算法，根据各个学习速率以及第一概念漂移值，确定更新后的集成权重值。
图5为本申请实施例提供的更新集成权重值的示意图。如图5所示，初始化权重W即初始化集成权重值之后，根据概念漂移值即漂移监测计算结果，判断是否满足漂移预警条件，如概念漂移值大于或等于预警门限值，若否则增大慢速学习模型权重，若是则继续判断是否满足漂移触发条件，如概念漂移值大于或等于触发门限值，若否则进行权重平衡，如将各个集成权重值设置为相同的数值，若是则增大快速学习模型权重，最后进行集成权重值的归一化操作即权重归一化。
具体的：
首先，初始化每个子模型对应的集成权重值。
例如，初始化每一个子模型的集成权重为：Wi＝Winit＝1/k。
当第一概念漂移值小于或等于预警门限值时，根据第一更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
具体的，设更新因子为p，且p∈[0,1)，第一更新模型的数学表达式如公式(5)所示：
Figure BDA0003216517910000151
其中，Wn为更新后的集成权重值，βwarning为预警门限值，β为第一概念漂移值，Wi0为初始集成权重值。
log(λi/λ1)表示计算λi/λ1以10为底数的对数值。
在一种可能的设计中，当第一概念漂移值大于或等于触发门限值时，根据第二更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
具体的，第二更新模型的数学表达式如公式(6)所示：
Figure BDA0003216517910000152
其中，βdetected为触发门限值。
在一种可能的设计中，当第一概念漂移值大于预警门限值，且小于触发门限值时，根据第三更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
具体的，第三更新模型的数学表达式如公式(7)所示：
Figure BDA0003216517910000153
在发生概念漂移时，增大快速学习模型的权重，以应对突发概念漂移等带来的影响；在处于概念漂移预警状态，逐步将模型权重向初始化状态靠拢，以应对渐进概念漂移等带来的影响；在概念漂移值小于预警门限时，逐步增大慢学习速率模型的权重。
S406、根据预设归一化模型，对集成权重值进行归一化操作，以确定各个目标集成权重值。
在本步骤中，预设归一化模型如公式(8)所示：
Figure BDA0003216517910000161
S407、通过各个目标集成权重值，将各个子模型组合成新模型。
本实施例提供了一种模型自适应训练方法，通过获取原始模型在实际运行时的各个运行数据，并根据运行数据检测原始模型在实际运行时的第一概念漂移值；然后，根据价值模型以及第一概念漂移值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中，再判断带标签数据集的数据量是否大于或等于预设阈值，若是，则利用自适应训练模型，根据带标签数据集以及无标签数据集，对原始模型进行自适应训练，以确定训练后的新模型，该新模型的第二概念漂移值小于第一概念漂移值。解决了如何让AI模型能够在尽可能少的人为干预的情况下，进行自适应训练的技术问题。达到了减少开发人员更新模型时需要的人工标注量，且通过集成多个模型的方式提高模型的性能稳定性的技术效果。
下面以具体的数据验证展示本实施例的方法的技术效果：
以开源数据工作收入预测数据(‘http://mlr.cs.umass.edu/ml/machine-learning-databases/adult/adult.data’)为例，采用2层的深度神经网络对模型进行建模和预测。数据集共32561条数据，整体数据集，收入大于50K的样本占有率为24％。前50％的数据为初始的环境，后50％的数据为概念漂移之后的环境，后50％的数据，收入大于50K的样本占有率突升(概念漂移)为35％。初始模型使用前10000条数据进行模型初始化训练自适应更新发生了概念漂移的原始模型。
数据以流的方式输入模型，零时无标签数据池大小为N＝400，每400个数据点组成一个block模块，进行一次模型预测正确率的计算。实验参数选取如表一所示：
Figure BDA0003216517910000162
Figure BDA0003216517910000171
表一
需要说明的是，静态模型为刚建立完的未在实际环境运行过的模型。
然后，接入概念漂移检测、主动学习以及模型集成权重自动更新机制，实验参数设置如表二所示：
Figure BDA0003216517910000172
表二
其中漂移检测采用KS算法，历史数据样本大小为5000；对每一个block模块进行一次漂移检测，每一维特征的漂移度为1-P_vlaue，预警门限值βwarning＝0.8，触发门限值βdetected＝0.95，触发自适应更新训练的预设阈值Train_Num_Th＝64。
图6为本申请实施例提供的对于突发概念漂移时线上学习的在线模型更新实验结果图。如图6所示：
1)线上的持续学习，可以使模型自动适应概念漂移带来的影响，将模型自适应性能由静态模型的0.74提升到0.80左右；
2)不同的学习率，在概念漂移以后，适应环境的速度不通，适应速度和学习率呈正相关；
3)通过集成学习，降低了推理结果的方差，增加模型的线上稳定性。
图7为本申请实施例提供的对于突发概念漂移的主动学习的模型自适应更新实验结果图。如图7所示：
1)通过主动学习，降低了被标准数据的数据量，由原来的2万条降低到3520条左右，且性能与全量数据标注性能相近。与固定主动学习采样标签数相比，由引入漂移检测控制主动学习的样本数量，标注样本数由3520降低到了1380条，标注数量降低63％，且线上性能相当。
2)与固定集成模型的权重相比，权重的自动化更新，可以使模型在线上数据出现概念漂移之后，更快地适应新的环境。
图7中各个模型的自适应性能的实验结果如表三所示：
Figure BDA0003216517910000181
表三
图8为本申请实施例提供的对于增量概念漂移时线上学习的在线模型更新实验结果图。如图8所示：
1)通过线上学习，可以实现对增量漂移的自适应，相当于静态模型，在漂移结束时，自适应性能有3.5％的提升。
2)集成模型的效果与其他线上学习模型效果在数据漂移阶段大致相当，在漂移结束之后，其模型效果略好于其他线上模型。
图9为本申请实施例提供的对于增量概念漂移的主动学习的模型自适应更新实验结果图。如图9所示：
1)在环境变化停止后，自动更新权重的集成模型或者最大样本数的集成模型可以更快地适应新环境；而两外两种方法则需要一定的适应时间；
2)与最大样本数的集成模型相比，自动更新权重的集成模型降低了63％的标注数量，效果却略微提升。
图9中各个模型的自适应性能的实验结果如表四所示：
Figure BDA0003216517910000191
表四
图10为本申请提供的一种模型自适应训练装置的结构示意图。该模型自适应训练装置1000可以通过软件、硬件或者两者的结合实现。
如图10所示，该模型自适应训练装置1000包括：
获取模块1001，用于获取原始模型在实际运行时的各个运行数据；
处理模块1002，用于：
根据运行数据检测原始模型在实际运行时的第一概念漂移值；
根据价值模型以及第一概念漂移值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中；
判断带标签数据集的数据量是否大于或等于预设阈值；
若是，则利用自适应训练模型，根据带标签数据集以及无标签数据集，对原始模型进行自适应训练，以确定训练后的新模型，新模型的第二概念漂移值小于第一概念漂移值。
在一种可能的设计中，处理模块1002，用于：
根据价值模型确定各个运行数据的综合价值；
根据第一概念漂移值以及综合价值，调整带标签数据集的数据积累速度；
根据数据积累速度以及综合价值，将各个运行数据分别分配到带标签数据集和/或无标签数据集中。
在一种可能的设计中，处理模块1002，用于：
根据数据积累速度以及综合价值，从各个运行数据中筛选出待标注数据；
将待标注数据发送给用户端进行标注，以确定带标签数据，并将剩余的运行数据添加到无标签数据集中；
获取模块1001，还用于接收用户端返回的带标签数据；
处理模块1002，还用于将带标签数据添加到带标签数据集中。
在一种可能的设计中，处理模块1002，用于：
根据综合价值确定各个运行数据的排序序列；
当第一概念漂移值小于或等于预警门限值时，选取排序序列中前M位的运行数据作为待标注数据。
在一种可能的设计中，处理模块1002，用于：
当第一概念漂移值大于或等于触发门限值时，选取排序序列中前N位的运行数据作为待标注数据，预警门限值小于触发门限值。
在一种可能的设计中，处理模块1002，用于：
当第一概念漂移值大于预警门限值，且小于触发门限值时，选取排序序列中前K位的运行数据作为待标注数据，K与M和N存在预设对应关系。
在一种可能的设计中，处理模块1002，用于：
通过预设采样模型，对带标签数据集以及无标签数据集进行采样，以确定训练样本集；
利用半监督训练模型，根据训练样本集以及多个学习速率，对原始模型进行半监督训练后，确定多个子模型，子模型与学习速率相对应；
通过集成权重值将各个子模型组合成新模型。
在一种可能的设计中，处理模块1002，用于：
利用动态更新算法，根据各个学习速率以及第一概念漂移值，确定更新后的集成权重值。
在一种可能的设计中，处理模块1002，用于：
初始化每个子模型对应的集成权重值；
当第一概念漂移值小于或等于预警门限值时，根据第一更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
在一种可能的设计中，处理模块1002，用于：
当第一概念漂移值大于或等于触发门限值时，根据第二更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
在一种可能的设计中，处理模块1002，用于：
当第一概念漂移值大于预警门限值，且小于触发门限值时，根据第三更新模型、预设更新因子以及各个学习速率，确定更新后的集成权重值。
在一种可能的设计中，处理模块1002，还用于：
根据预设归一化模型，对集成权重值进行归一化操作，以确定各个目标集成权重值；通过各个目标集成权重值，将各个子模型组合成新模型。
值得说明的是，图10所示实施例提供的模型自适应训练装置，可以执行上述任一方法实施例中所提供的方法，其具体实现原理、技术特征、专业名词解释以及技术效果类似，在此不再赘述。
图11为本申请提供的一种电子设备的结构示意图。如图11所示，该电子设备1100，可以包括：至少一个处理器1101和存储器1102。图11示出的是以一个处理器为例的电子设备。
存储器1102，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器1102可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1101用于执行存储器1102存储的计算机执行指令，以实现以上各方法实施例所述的方法。
其中，处理器1101可能是一个中央处理器(central processing unit，简称为CPU)，或者是特定集成电路(application specific integrated circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选地，存储器1102既可以是独立的，也可以跟处理器1101集成在一起。当所述存储器1102是独立于处理器1101之外的器件时，所述电子设备1100，还可以包括：
总线1103，用于连接所述处理器1101以及所述存储器1102。总线可以是工业标准体系结构(industry standard architecture，简称为ISA)总线、外部设备互连(peripheral component，PCI)总线或扩展工业标准体系结构(extended industrystandard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1102和处理器1101集成在一块芯片上实现，则存储器1102和处理器1101可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于上述各方法实施例中的方法。
本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (16)

1.一种模型自适应训练方法，其特征在于，包括：
获取原始模型在实际运行时的各个运行数据，并根据所述运行数据检测所述原始模型在实际运行时的第一概念漂移值；
根据价值模型以及所述第一概念漂移值，将各个所述运行数据分别分配到带标签数据集和/或无标签数据集中；
判断所述带标签数据集的数据量是否大于或等于预设阈值；
若是，则利用自适应训练模型，根据所述带标签数据集以及所述无标签数据集，对所述原始模型进行自适应训练，以确定训练后的新模型，所述新模型的第二概念漂移值小于所述第一概念漂移值。
2.根据权利要求1所述的模型自适应训练方法，其特征在于，所述根据价值模型以及所述第一概念漂移值，将各个所述运行数据分别分配到带标签数据集和/或无标签数据集中，包括：
根据所述价值模型确定各个所述运行数据的综合价值；
根据所述第一概念漂移值以及所述综合价值，调整所述带标签数据集的数据积累速度；
根据所述数据积累速度以及所述综合价值，将各个所述运行数据分别分配到带标签数据集和/或无标签数据集中。
3.根据权利要求2所述的模型自适应训练方法，其特征在于，所述根据所述数据积累速度以及所述综合价值，将各个所述运行数据分别分配到带标签数据集和/或无标签数据集中，包括：
根据所述数据积累速度以及所述综合价值，从各个所述运行数据中筛选出待标注数据；
将所述待标注数据发送给用户端进行标注，以确定带标签数据，并将剩余的所述运行数据添加到所述无标签数据集中；
接收所述用户端返回的所述带标签数据，并将所述带标签数据添加到所述带标签数据集中。
4.根据权利要求2或3所述的模型自适应训练方法，其特征在于，所述根据所述第一概念漂移值以及所述综合价值，调整所述带标签数据集的数据积累速度，包括：
根据所述综合价值确定各个所述运行数据的排序序列；
当所述第一概念漂移值小于或等于预警门限值时，选取所述排序序列中前M位的所述运行数据作为待标注数据。
5.根据权利要求4所述的模型自适应训练方法，其特征在于，在所述根据所述综合价值确定各个所述运行数据的排序序列之后，还包括：
当所述第一概念漂移值大于或等于触发门限值时，选取所述排序序列中前N位的所述运行数据作为所述待标注数据，所述预警门限值小于所述触发门限值。
6.根据权利要求5所述的模型自适应训练方法，其特征在于，所述在所述根据所述综合价值确定各个所述运行数据的排序序列之后，还包括：
当所述第一概念漂移值大于所述预警门限值，且小于所述触发门限值时，选取所述排序序列中前K位的所述运行数据作为所述待标注数据，其中，K与M和N存在预设对应关系。
7.根据权利要求1所述的模型自适应训练方法，其特征在于，所述利用自适应训练模型，根据所述带标签数据集以及所述无标签数据集，对所述原始模型进行自适应训练，以确定训练后的新模型，包括：
通过预设采样模型，对所述带标签数据集以及所述无标签数据集进行采样，以确定训练样本集；
利用半监督训练模型，根据所述训练样本集以及多个学习速率，对所述原始模型进行半监督训练后，确定多个子模型，所述子模型与所述学习速率相对应；
通过集成权重值将各个所述子模型组合成所述新模型。
8.根据权利要求7所述的模型自适应训练方法，其特征在于，在所述通过集成权重值将各个所述子模型组合成所述新模型之前，还包括：
利用动态更新算法，根据各个所述学习速率以及所述第一概念漂移值，确定更新后的所述集成权重值。
9.根据权利要求8所述的模型自适应训练方法，其特征在于，所述利用动态更新算法，根据各个所述学习速率以及所述第一概念漂移值，确定更新后的所述集成权重值，包括：
初始化每个所述子模型对应的所述集成权重值；
当所述第一概念漂移值小于或等于预警门限值时，根据第一更新模型、预设更新因子以及各个所述学习速率，确定更新后的所述集成权重值。
10.根据权利要求9所述的模型自适应训练方法，其特征在于，在所述初始化每个所述子模型对应的所述集成权重值之后，还包括：
当所述第一概念漂移值大于或等于触发门限值时，根据第二更新模型、预设更新因子以及各个所述学习速率，确定更新后的所述集成权重值。
11.根据权利要求10所述的模型自适应训练方法，其特征在于，在所述初始化每个所述子模型对应的所述集成权重值之后，还包括：
当所述第一概念漂移值大于所述预警门限值，且小于所述触发门限值时，根据第三更新模型、预设更新因子以及各个所述学习速率，确定更新后的所述集成权重值。
12.根据权利要求9-11中任意一项所述的模型自适应训练方法，其特征在于，在所述确定更新后的所述集成权重值之后，还包括：
根据预设归一化模型，对所述集成权重值进行归一化操作，以确定各个目标集成权重值；
对应的，所述通过集成权重值将各个所述子模型组合成所述新模型，包括：
通过各个所述目标集成权重值，将各个所述子模型组合成所述新模型。
13.一种模型自适应训练装置，其特征在于，包括：
获取模块，用于获取原始模型在实际运行时的各个运行数据；
处理模块，用于：
根据所述运行数据检测所述原始模型在实际运行时的第一概念漂移值；
根据价值模型以及所述第一概念漂移值，将各个所述运行数据分别分配到带标签数据集和/或无标签数据集中；
判断所述带标签数据集的数据量是否大于或等于预设阈值；
若是，则利用自适应训练模型，根据所述带标签数据集以及所述无标签数据集，对所述原始模型进行自适应训练，以确定训练后的新模型，所述新模型的第二概念漂移值小于所述第一概念漂移值。
14.一种电子设备，其特征在于，包括：
处理器；以及，
存储器，用于存储所述处理器的计算机程序；
其中，所述处理器配置为经由执行所述计算机程序来执行权利要求1至11任一项所述的模型自适应训练方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任一项所述的模型自适应训练方法。
16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任一项所述的模型自适应训练方法。
CN202110945461.6A 2021-08-17 2021-08-17 模型自适应训练方法、装置、设备、介质及程序产品 Pending CN113657501A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110945461.6A CN113657501A (zh) 2021-08-17 2021-08-17 模型自适应训练方法、装置、设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110945461.6A CN113657501A (zh) 2021-08-17 2021-08-17 模型自适应训练方法、装置、设备、介质及程序产品

Publications (1)

Publication Number Publication Date
CN113657501A true CN113657501A (zh) 2021-11-16

Family

ID=78480728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110945461.6A Pending CN113657501A (zh) 2021-08-17 2021-08-17 模型自适应训练方法、装置、设备、介质及程序产品

Country Status (1)

Country Link
CN (1) CN113657501A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401205A (zh) * 2022-01-21 2022-04-26 中国人民解放军国防科技大学 无标注多源网络流量数据漂移检测方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401205A (zh) * 2022-01-21 2022-04-26 中国人民解放军国防科技大学 无标注多源网络流量数据漂移检测方法和装置
CN114401205B (zh) * 2022-01-21 2024-01-16 中国人民解放军国防科技大学 无标注多源网络流量数据漂移检测方法和装置

Similar Documents

Publication Publication Date Title
CN109816221B (zh) 项目风险决策方法、装置、计算机设备和存储介质
CN109587713B (zh) 一种基于arima模型的网络指标预测方法、装置及存储介质
US11915104B2 (en) Normalizing text attributes for machine learning models
CN110287477A (zh) 实体情感分析方法及相关装置
CN110428137B (zh) 一种风险防控策略的更新方法及装置
CN109816438B (zh) 信息推送方法及装置
CN109165081B (zh) 基于机器学习的Web应用自适应资源配置方法
CN110689368B (zh) 一种移动应用内广告点击率预测系统设计方法
KR20210032140A (ko) 뉴럴 네트워크에 대한 프루닝을 수행하는 방법 및 장치
CN108681751B (zh) 确定事件影响因素的方法及终端设备
CN107609583A (zh) 分类模型的参数优化方法、装置、计算机设备及存储介质
CN113032367A (zh) 面向动态负载场景的大数据系统跨层配置参数协同调优方法和系统
CN112182214A (zh) 一种数据分类方法、装置、设备及介质
CN111178537A (zh) 一种特征提取模型训练方法及设备
CN113642652A (zh) 生成融合模型的方法、装置和设备
CN113704389A (zh) 一种数据评估方法、装置、计算机设备及存储介质
CN116542701A (zh) 一种基于cnn-lstm组合模型的碳价预测方法及系统
CN111783843A (zh) 一种特征选择方法、装置及计算机系统
CN113657501A (zh) 模型自适应训练方法、装置、设备、介质及程序产品
CN112200208B (zh) 基于多维度特征融合的云工作流任务执行时间预测方法
CN111066562A (zh) 一种葡萄霜霉病预测方法及系统
CN111158732A (zh) 访问数据处理方法、装置、计算机设备及存储介质
CN115936184A (zh) 一种适应多用户类型的负荷预测匹配方法
CN109308565B (zh) 人群绩效等级识别方法、装置、存储介质及计算机设备
CN110928634B (zh) 数据处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination