CN114676839B - 基于随机敏感度的知识迁移方法 - Google Patents

基于随机敏感度的知识迁移方法 Download PDF

Info

Publication number
CN114676839B
CN114676839B CN202210202516.9A CN202210202516A CN114676839B CN 114676839 B CN114676839 B CN 114676839B CN 202210202516 A CN202210202516 A CN 202210202516A CN 114676839 B CN114676839 B CN 114676839B
Authority
CN
China
Prior art keywords
data
neural network
sub
knowledge
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210202516.9A
Other languages
English (en)
Other versions
CN114676839A (zh
Inventor
吴永贤
莫振尧
张建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210202516.9A priority Critical patent/CN114676839B/zh
Publication of CN114676839A publication Critical patent/CN114676839A/zh
Application granted granted Critical
Publication of CN114676839B publication Critical patent/CN114676839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于随机敏感度的知识迁移方法，包括：1)获取数据集和预处理；2)划分数据集得到Z份子数据集；3)用Z份子数据集逐份对选定的神经网络进行训练；利用神经网络和损失函数构建学习模型，在训练过程中加入随机敏感度损失提升学习模型的稳定性和性能，并进行知识迁移，即在训练第l个子数据集时利用知识蒸馏和训练第l‑1个子数据集得到的神经网络的权重对当前神经网络进行知识迁移，使其更好的保留前l‑1个子数据集的知识；当Z个子数据集训练完成后，神经网络学习不仅到了第Z个子数据集的知识，同时也通过知识迁移保留了前Z‑1个子数据集的知识。本发明可以解决在终生学习中大规模新数据持续性被送入神经网络，而旧数据无法保留导致的知识遗忘问题。

Description

基于随机敏感度的知识迁移方法
技术领域
本发明涉及增量学习的技术领域，尤其是指一种基于随机敏感度的知识迁移方法。
背景技术
增量学习通常也被称为连续学习或终身学习，旨在开发人工智能系统，该系统可以不断学习从新数据中处理新任务，同时保存从先前学习的任务中学到的知识。在大多数增量学习场景中，任务是以一系列确定的顺序向学习者呈现的，在此期间，只有来自单个任务的数据可用于学习。在每次训练后，学习者应该能够在看不见的数据上执行所有以前看到的任务。这种学习模式的生物学灵感是明确的，因为它反映了人类是如何获得和整合新知识的。
在主流的监督学习范式中，所有任务的标记数据都是在深度网络的单一训练中共同获得的。而增量学习者只能一次访问单个任务的数据，同时对迄今为止所有学习的任务进行评估。增量学习的主要挑战是从当前任务的数据中进行学习同时防止忘记以前学习过的任务。广泛用于领域迁移问题的简单方法微调(finetuning)，由于缺乏以前的任务数据，分类器无法对所有数据进行准确分类。这种在先前学习的任务上的表现急剧下降的现象被称为灾难性遗忘。增量学习的目的是防止灾难性的遗忘，同时避免阻碍模型适应新的任务的问题。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于随机敏感度的知识迁移方法，通过将随机敏感度加入学习模型中，提高模型的稳定性与泛化能力，同时利用随机敏感度改善知识蒸馏损失，进一步缓解增量学习中的灾难性遗忘问题。
为实现上述目的，本发明所提供的技术方案为：基于随机敏感度的知识迁移方法，包括以下步骤：
1)获取具有大量数据的数据集，每个数据由特征和类别组成，对数据集进行预处理，包括数据清洗和数据增强，还有对数据进行归一化；
2)将预处理后的数据集根据类别进行划分，得到Z份子数据集；
3)利用Z份子数据集逐份对选定的神经网络进行训练，并利用神经网络和损失函数构建学习模型，在训练过程中加入随机敏感度损失提升学习模型的稳定性和性能，并进行知识迁移，即在训练第l个子数据集时利用知识蒸馏损失和训练第l-1个子数据集得到的神经网络的权重对当前神经网络进行知识迁移，使其更好地保留前l-1个子数据集的知识；当Z个子数据集训练完成后，神经网络不仅学习到了第Z个子数据集的知识，同时也通过知识迁移保留了前Z-1个子数据集的知识。
进一步，在步骤1)中，数据集的每个数据表示为：
Xi＝(xi,yi),i＝1,2,...,N
式中，N是数据集中数据的数量，Xi是指第i个数据，xi和yi分别是第i个数据的特征和类别；
经过数据清洗和数据增强后，对数据进行归一化操作，具体是对数据的特征xi进行归一化，表示为：
式中，为归一化后的第i个数据的特征，μ和σ分别为所有数据的均值和标准差。
进一步，在步骤2)中，将数据集划分为Z份，令Ml表示第l个子数据集的数据数量，则：
式中，N为数据集中数据的数量；
令Cl表示第l个子数据集中的最大类别，Al表示第l个子数据集中的类别数，则：
Al＝Cl-Cl-1,l＝1,2,...,Z。
进一步，所述步骤3)包括以下步骤：
3.1)假定当前训练第l个子数据集，G(·)是当前的神经网络，G′(·)是训练第l-1个子数据集得到并固定权重的神经网络，在此用旧神经网络代指G′(·)；
3.2)构建学习模型，学习模型由神经网络和损失函数组成，神经网络已经选定，这里构建损失函数；首先构建交叉熵损失Lc，该损失是分类损失，主要帮助神经网络对数据进行分类，表示为：
式中，Ml为第l个数据集的数据数量，Cl和Cl-1分别是第l和第l-1个子数据集的最大类别，是归一化后的第i个数据的特征，yij是第i个数据的真实类别向量，若第i个数据属于第j个类别，则yij为1否则为0，/>指/>经当前神经网络计算后得到的在第j个类别上的输出，/>指/>经当前神经网络计算后得到的在第k个类别上的输出，qij为神经网络对第i个数据在第j个类别上的预测结果；
然后构建知识蒸馏损失Ld，该损失由交叉熵损失变种得到，能够帮助神经网络进行新旧权重的知识迁移，表示为：
式中，指/>经旧神经网络计算后得到的在第j个类别上的输出，/>指/>经旧神经网络计算后得到的在第k个类别上的输出，ρij和θij分别是旧神经网络对/>在第j个类别上的预测结果和当前的神经网络对/>在第j个类别上的预测结果；T是蒸馏系数用于控制神经网络输出的分布情况，当T>1时，输出小的类的重要性得到提高，神经网络能够通过该损失更好地学习到类之间的相似性；
接着构建随机敏感度损失Ls，该损失通过减少真实数据和隐藏数据在神经网络输出的差异达到提升神经网络稳定性和泛化能力的效果，表示为：
式中，xi′代表附近的隐藏数据特征，表示为/>其中Δx是xi′与/>之间的差值向量，sd代表Δx中第d维度的标量，D和Q分别为数据的维度和自定义的隐藏距离，E代表数学期望；
接着利用隐藏数据特征xi′构建知识蒸馏损失Lsd，进一步提高模型的知识迁移能力，表示为：
式中，和δij分别是旧神经网络对xi′在第j个类别上的预测结果和当前的神经网络对xi′在第j个类别上的预测结果；
最后构建整体损失L：
L＝(1-λ)Lc+λ(Ld+Lsd)+αLs+R
式中，标量λ用于平衡交叉熵损失和知识蒸馏损失；λ被设置为Cl-1/Cl；在第一批数据中，λ＝0，因为所有类别都是新的；随着新类别一批又一批地出现，λ变得越来越大，模型更加关注旧类别；α是控制随机敏感度损失的尺度因子；R表示L2正则化项，用于控制模型的复杂性；至此整个学习模型构建完毕；
3.3)利用第l个子数据集以及学习模型训练G(·)，更新其权重同时进行知识迁移；
3.4)判断l是否等于Z，是则训练结束，否则令l＝l+1并重复步骤3.1)；训练结束时，G(·)不仅学习了第Z个子数据集的知识，而且通过知识迁移保留了前Z-1个子数据集的知识。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明方法通过将随机敏感度加入学习模型，增加学习模型的稳定性和泛化能力，提高了学习模型的性能。
2、本发明方法在随机敏感度的基础上改善了知识蒸馏损失，进一步增强了学习模型解决增量学习中灾难性遗忘问题的能力。
3、本发明方法在人工智能领域中具有广泛的使用空间，适应性强，具有广阔的应用前景。
附图说明
图1为本发明方法的逻辑流程示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本实施例所提供的基于随机敏感度的知识迁移方法，其包括以下步骤：
1)获取具有大量数据的数据集，每个数据由特征和类别组成，对数据集进行预处理，包括数据清洗和数据增强，还有对数据进行归一化。数据集的每个数据表示为：
Xi＝(xi,yi),i＝1,2,...,N
式中，N是数据集中数据的数量，Xi是指第i个数据，xi和yi分别是第i个数据的特征和类别。
经过数据清洗和数据增强后，对数据进行归一化操作，具体是对数据的特征xi进行归一化，表示为：
式中，为归一化后的第i个数据的特征，μ和σ分别为所有数据的均值和标准差。
2)将预处理后的数据集根据类别进行划分，得到Z份子数据集，令Ml表示第l个子数据集的数据数量，则：
令Cl表示第l个子数据集中的最大类别，Al表示第l个子数据集中的类别数，则：
Al＝Cl-Cl-1,l＝1,2,...,Z
3)利用Z份子数据集逐份对选定的神经网络进行训练，并利用神经网络和损失函数构建学习模型，在训练过程中加入随机敏感度损失提升学习模型的稳定性和性能，并进行知识迁移，即在训练第l个子数据集时利用知识蒸馏损失和训练第l-1个子数据集得到的神经网络的权重对当前神经网络进行知识迁移，使其更好地保留前l-1个子数据集的知识；当Z个子数据集训练完成后，神经网络不仅学习到了第Z个子数据集的知识，同时也通过知识迁移保留了前Z-1个子数据集的知识；其包括以下步骤：
3.1)假定当前训练第l个子数据集，G(·)是当前的神经网络，G′(·)是训练第l-1个子数据集得到并固定权重的神经网络，为方便称呼用旧神经网络代指G′(·)。
3.2)构建学习模型，学习模型由神经网络和损失函数组成，神经网络已经选定，这里构建损失函数。首先构建交叉熵损失，该损失是分类损失，主要帮助神经网络对数据进行分类，表示为：
式中，Ml为第l个数据集的数据数量，Cl和Cl-1分别是是第l和第l-1个子数据集的最大类别。yij是第i个数据的真实类别向量，若第i个数据属于第j个类别，则yij为1否则为0。指/>经当前神经网络计算后得到的在第j个类别上的输出，同理/>指/>经当前神经网络计算后得到的在第k个类别上的输出。qij为神经网络对第i个数据在第j个类别上的预测结果。
然后构建知识蒸馏损失Ld，该损失由交叉熵损失变种得到，可帮助神经网络进行新旧权重的知识迁移，可表示为：
式中，指/>经旧神经网络计算后得到的在第j个类别上的输出，同理/>指/>经旧神经网络计算后得到的在第k个类别上的输出。ρij和θij分别是旧神经网络对/>在第j个类别上的预测结果和当前的神经网络对/>在第j个类别上的预测结果。T是蒸馏系数用于控制神经网络输出的分布情况，当T>1时，输出较小的类的重要性得到提高，神经网络可以通过该损失更好地学习到类之间的相似性。
接着构建随机敏感度损失Ls，该损失通过减少真实数据和隐藏数据在神经网络输出的差异达到提升神经网络稳定性和泛化能力的效果，可表示为：
式中，xi′代表附近的隐藏数据特征，可表示为/>其中Δx是xi′与/>之间的差值向量，sd代表Δx中第d维度的标量，D和Q分别为数据的维度和自定义的隐藏距离，E代表数学期望。
接着利用隐藏数据特征xi′构建知识蒸馏损失Lsd，进一步提高模型的知识迁移能力，可表示为：
式中，和δij分别是旧神经网络对xi′在第j个类别上的预测结果和当前的神经网络对xi′在第j个类别上的预测结果。
最后构建整体损失L：
L＝(1-λ)Lc+λ(Ld+Lsd)+αLs+R
式中，标量λ用于平衡交叉熵损失和知识蒸馏损失。λ被设置为Cl-1/Cl。在第一批数据中，λ＝0，因为所有类别都是新的。随着新类别一批又一批地出现，λ变得越来越大，模型更加关注旧类别。α是控制随机敏感度损失的尺度因子。R表示L2正则化项，用于控制模型的复杂性。
3.3)利用第l个子数据集以及学习模型训练G(•)，更新其权重同时进行知识迁移。
3.4)判断l是否等于Z，是则训练结束，否则令l＝l+1并重复步骤3.1)；训练结束时，G(·)不仅学习了第Z个子数据集的知识，而且通过知识迁移保留了前Z-1个子数据集的知识。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.基于随机敏感度的知识迁移方法，其特征在于，包括以下步骤：
1)获取具有大量数据的数据集，每个数据由特征和类别组成，对数据集进行预处理，包括数据清洗和数据增强，还有对数据进行归一化；
2)将预处理后的数据集根据类别进行划分，得到Z份子数据集；
3)利用Z份子数据集逐份对选定的神经网络进行训练，并利用神经网络和损失函数构建学习模型，在训练过程中加入随机敏感度损失提升学习模型的稳定性和性能，并进行知识迁移，即在训练第l个子数据集时利用知识蒸馏损失和训练第l-1个子数据集得到的神经网络的权重对当前神经网络进行知识迁移，使其更好地保留前l-1个子数据集的知识；当Z个子数据集训练完成后，神经网络不仅学习到了第Z个子数据集的知识，同时也通过知识迁移保留了前Z-1个子数据集的知识；包括以下步骤：
3.1)假定当前训练第l个子数据集，G(·)是当前的神经网络，G'(·)是训练第l-1个子数据集得到并固定权重的神经网络，在此用旧神经网络代指G'(·)；
3.2)构建学习模型，学习模型由神经网络和损失函数组成，神经网络已经选定，这里构建损失函数；首先构建交叉熵损失Lc，该损失是分类损失，主要帮助神经网络对数据进行分类，表示为：
式中，Ml为第l个数据集的数据数量，Cl和Cl-1分别是第l和第l-1个子数据集的最大类别，是归一化后的第i个数据的特征，yij是第i个数据的真实类别向量，若第i个数据属于第j个类别，则yij为1否则为0，/>指/>经当前神经网络计算后得到的在第j个类别上的输出，/>指/>经当前神经网络计算后得到的在第k个类别上的输出，qij为神经网络对第i个数据在第j个类别上的预测结果；
然后构建知识蒸馏损失Ld，该损失由交叉熵损失变种得到，能够帮助神经网络进行新旧权重的知识迁移，表示为：
式中，指/>经旧神经网络计算后得到的在第j个类别上的输出，/>指/>经旧神经网络计算后得到的在第k个类别上的输出，ρij和θij分别是旧神经网络对/>在第j个类别上的预测结果和当前的神经网络对/>在第j个类别上的预测结果；T是蒸馏系数用于控制神经网络输出的分布情况，当T>1时，输出小的类的重要性得到提高，神经网络能够通过该损失更好地学习到类之间的相似性；
接着构建随机敏感度损失Ls，该损失通过减少真实数据和隐藏数据在神经网络输出的差异达到提升神经网络稳定性和泛化能力的效果，表示为：
式中，x′i代表附近的隐藏数据特征，表示为/>其中Δx是x′i与/>之间的差值向量，sd代表Δx中第d维度的标量，D和Q分别为数据的维度和自定义的隐藏距离，E代表数学期望；
接着利用隐藏数据特征x′i构建知识蒸馏损失Lsd，进一步提高模型的知识迁移能力，表示为：
式中，和δij分别是旧神经网络对x′i在第j个类别上的预测结果和当前的神经网络对x′i在第j个类别上的预测结果；
最后构建整体损失L：
L＝(1-λ)Lc+λ(Ld+Lsd)+αLs+R
式中，标量λ用于平衡交叉熵损失和知识蒸馏损失；λ被设置为Cl-1/Cl；在第一批数据中，λ＝0，因为所有类别都是新的；随着新类别一批又一批地出现，λ变得越来越大，模型更加关注旧类别；α是控制随机敏感度损失的尺度因子；R表示L2正则化项，用于控制模型的复杂性；至此整个学习模型构建完毕；
3.3)利用第l个子数据集以及学习模型训练G(·)，更新其权重同时进行知识迁移；
3.4)判断l是否等于Z，是则训练结束，否则令l＝l+1并重复步骤3.1)；训练结束时，G(·)不仅学习了第Z个子数据集的知识，而且通过知识迁移保留了前Z-1个子数据集的知识。
2.根据权利要求1所述的基于随机敏感度的知识迁移方法，其特征在于，在步骤1)中，数据集的每个数据表示为：
Xi＝(xi,yi),i＝1,2,...,N
式中，N是数据集中数据的数量，Xi是指第i个数据，xi和yi分别是第i个数据的特征和类别；
经过数据清洗和数据增强后，对数据进行归一化操作，具体是对数据的特征xi进行归一化，表示为：
式中，为归一化后的第i个数据的特征，μ和σ分别为所有数据的均值和标准差。
3.根据权利要求1所述的基于随机敏感度的知识迁移方法，其特征在于，在步骤2)中，将数据集划分为Z份，令Ml表示第l个子数据集的数据数量，则：
式中，N为数据集中数据的数量；
令Cl表示第l个子数据集中的最大类别，Al表示第l个子数据集中的类别数，则：
Al＝Cl-Cl-1,l＝1,2,...,Z。
CN202210202516.9A 2022-03-02 2022-03-02 基于随机敏感度的知识迁移方法 Active CN114676839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210202516.9A CN114676839B (zh) 2022-03-02 2022-03-02 基于随机敏感度的知识迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210202516.9A CN114676839B (zh) 2022-03-02 2022-03-02 基于随机敏感度的知识迁移方法

Publications (2)

Publication Number Publication Date
CN114676839A CN114676839A (zh) 2022-06-28
CN114676839B true CN114676839B (zh) 2024-05-10

Family

ID=82073240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210202516.9A Active CN114676839B (zh) 2022-03-02 2022-03-02 基于随机敏感度的知识迁移方法

Country Status (1)

Country Link
CN (1) CN114676839B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199242A (zh) * 2019-12-18 2020-05-26 浙江工业大学 一种基于动态修正向量的图像增量学习方法
CN113011487A (zh) * 2021-03-16 2021-06-22 华南理工大学 一种基于联合学习与知识迁移的开放集图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080558B2 (en) * 2019-03-21 2021-08-03 International Business Machines Corporation System and method of incremental learning for object detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199242A (zh) * 2019-12-18 2020-05-26 浙江工业大学 一种基于动态修正向量的图像增量学习方法
CN113011487A (zh) * 2021-03-16 2021-06-22 华南理工大学 一种基于联合学习与知识迁移的开放集图像分类方法

Also Published As

Publication number Publication date
CN114676839A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN106503654A (zh) 一种基于深度稀疏自编码网络的人脸情感识别方法
US6119112A (en) Optimum cessation of training in neural networks
Lu et al. Generalized radial basis function neural network based on an improved dynamic particle swarm optimization and AdaBoost algorithm
CN108764540B (zh) 基于并行lstm串联dnn的供水管网压力预测方法
CN110084424A (zh) 一种基于lstm与lgbm的电力负荷预测方法
CN108846512B (zh) 基于择优分类的水质预测方法
CN109472088B (zh) 一种页岩气调产井生产压力动态预测方法
CN108647583A (zh) 一种基于多目标学习的人脸识别算法训练方法
CN110348608A (zh) 一种基于模糊聚类算法改进lstm的预测方法
CN108805257A (zh) 一种基于参数范数的神经网络量化方法
CN115510963A (zh) 一种增量式设备故障诊断方法
CN108734220A (zh) 基于k线聚类和强化学习的自适应金融时间序列预测方法
CN110363230A (zh) 基于加权基分类器的stacking集成污水处理故障诊断方法
CN116187835A (zh) 一种基于数据驱动的台区理论线损区间估算方法及系统
CN114880538A (zh) 基于自监督的属性图社团检测方法
Louhichi et al. Shapley values for explaining the black box nature of machine learning model clustering
CN114676839B (zh) 基于随机敏感度的知识迁移方法
CN117370766A (zh) 一种基于深度学习的卫星任务规划方案评估方法
CN117034060A (zh) 基于ae-rcnn的洪水分级智能预报方法
Qiao et al. SRS-DNN: a deep neural network with strengthening response sparsity
CN116415177A (zh) 一种基于极限学习机的分类器参数辨识方法
CN115422993A (zh) 跨城市兴趣点分布数据迁移预测方法及系统
CN113807005A (zh) 基于改进fpa-dbn的轴承剩余寿命预测方法
CN114444654A (zh) 一种面向nas的免训练神经网络性能评估方法、装置和设备
CN116405368B (zh) 一种高维不平衡数据条件下的网络故障诊断方法、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant