CN116508035A - 将经训练的人工智能模型转换为可信赖的人工智能模型 - Google Patents
将经训练的人工智能模型转换为可信赖的人工智能模型 Download PDFInfo
- Publication number
- CN116508035A CN116508035A CN202180076895.5A CN202180076895A CN116508035A CN 116508035 A CN116508035 A CN 116508035A CN 202180076895 A CN202180076895 A CN 202180076895A CN 116508035 A CN116508035 A CN 116508035A
- Authority
- CN
- China
- Prior art keywords
- model
- artificial intelligence
- intelligence model
- training
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000010200 validation analysis Methods 0.000 claims abstract description 51
- 238000012795 verification Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 23
- 238000012805 post-processing Methods 0.000 claims description 21
- 238000003066 decision tree Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 101100518501 Mus musculus Spp1 gene Proteins 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 15
- 238000005457 optimization Methods 0.000 abstract description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 206010068829 Overconfidence Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 235000019988 mead Nutrition 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000005003 heart tissue Anatomy 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
- G06N3/105—Shells for specifying net layout
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Machine Translation (AREA)
- Stored Programmes (AREA)
Abstract
本发明涉及一种用于将经训练的人工智能模型转换为可信赖的人工智能模型的计算机实现的方法和系统，具有：‑经由web服务平台的用户界面提供经训练的人工智能模型，‑提供基于经训练的人工智能模型的训练数据的验证数据集，‑由web服务平台的计算部件基于验证数据集生成通用样本，‑基于通用样本由优化校准来转换经训练的人工智能模型。由web服务平台的计算部件执行AI模型的转换。因此经由web服务平台的用户界面向计算部件提供输入，即经训练的人工智能模型以及验证数据集。这样的用户界面可以由任何可应用的前端、例如由web应用来实现。
Description
技术领域
本发明涉及一种用于将经训练的人工智能模型转换为可信赖的人工智能模型的计算机实现的方法和系统。
背景技术
用于促进在现实生活应用中引导决策的人工智能(AI)系统被广泛接受，被部署模型的可信赖性是关键。不仅在诸如自主驾驶或计算机辅助诊断系统(CDS)的安全关键应用中，而且在工业中的动态开放世界系统中，对于域内样本(“已知未知”)以及域外样本(“未知未知”)的预测而言，预测模型能够感知不确定并且产生良好校准，因此是可信赖的，这一点至关重要。特别地，在工业和物联网设置中，部署的模型可能在整个生命周期中遇到远离输入域的错误和不一致的输入。此外，例如由于资产的磨损、维护程序或使用模式的改变等，输入数据的分发可能逐渐远离训练数据的分发。欧盟委员会最近公布的“可信赖人工智能伦理准则”(https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustwor thy-ai)也强调了这种设置中技术稳健性和安全性的重要性，要求可信赖的AI应该是合法、合乎伦理和稳健-既从技术角度考虑，又考虑到其社会环境。
在传统方法中，为每个新资产或新环境训练新模型。然而，这是昂贵的，因为在获取新的训练数据的过程中必须停止生产，标记是昂贵的，并且训练模型的过程也以人力和IT资源的高成本来实现。
此外，基于输入数据检测域漂移的统计方法是已知的。这些方法对于单个数据集是高度特定的。由于已知的方法不能确定潜在的数据漂移对精度的影响，因此模型的再训练以及数据生成过程是必要的。
解决预测不确定性的常用方法包括训练神经网络(NN)的后处理步骤和训练概率模型，包括贝叶斯和非贝叶斯方法。然而，从头开始训练这种固有不确定性感知模型是以高计算成本实现的。此外，需要高度专业化的知识来实现和训练这种模型。
然而，虽然对于越来越强的域漂移或扰动的增加的预测熵可以是不确定性感知的指标，但是简单的高预测熵不足以进行可信赖的预测。例如，如果熵过高，则该模型将产生缺乏自信的预测，类似地，如果熵过低，则预测将是过自信的。
发明内容
考虑到现有技术中所描述的缺点，因此本发明的目的是提供一种用于提供可信赖的人工智能模型的方法和相应的计算机程序产品以及设备。
这些目的通过独立权利要求的主题来解决。在从属权利要求中提出了有利的实施例。
本发明涉及一种用于将经训练的人工智能模型转换为可信赖的人工智能模型的计算机实现的方法，
-经由web服务平台的用户界面提供经训练的人工智能模型，
-提供基于经训练的人工智能模型的训练数据的验证数据集，
-由web服务平台的计算部件基于验证数据集生成通用样本，
-通过基于通用样本来优化校准来转换经训练的人工智能模型。
提供一种传统的经训练人工智能(AI)模型作为所提出的方法的输入。可以使用任何经训练的AI模型，并且对模型的训练水平或成熟度水平或精度没有具体要求。经训练的模型的质量越高，该方法执行得越容易和越快。此外，提供的可信赖的人工智能模型具有相应的更好的质量。
作为AI模型，例如使用基于AI的分类器。例如，可以使用机器学习模型，例如可以根据AI模型要用于的应用使用基于深度学习的模型、神经网络、逻辑回归模型、随机森林模型、支持向量机模型，或者以决策树为基础的基于树的模型。
已经用于训练模型或者为了训练模型而生成或收集的任何训练数据集可以用于提取验证数据集。由此，验证数据集可以是训练数据或训练数据的子集或一部分，或者可以从训练数据导出。验证数据集尤其包括一组标记的样本对，也称为样本。
由web服务平台的计算部件执行AI模型的转换。因此，经由web服务平台的用户界面向计算部件提供输入，即经训练的人工智能模型以及验证数据集。这样的用户界面可以由任何可应用的前端来实现，例如由web应用来实现。
可以经由web服务平台的相同用户界面来提供验证数据集。此外，训练数据集可以由用户界面提供，并且验证数据集由计算部件从训练数据导出。
基于验证数据集，生成通用样本。这些通用样本反映域漂移，由此优选地生成多个通用样本，反映不同水平或不同程度的域漂移。换言之，生成表示不同扰动强度的多个通用样本。这些扰动可以反映对预期的域内样本的可预测的或可预见的或可能的影响，或者它们可以可替代地反映样本的纯随机修改，或者它们还可以可替代地反映在生成对抗性样本的意义上的特定预期修改。因此，优选地生成范围从域内样本到域外样本的频谱。更详细的样本是样本对。一对包括输入对象、尤其是矢量或矩阵以及期望的输出值或标签，也称为监督信号。据此，模型输入可以被等同地称为输入对象，并且模型输出可以被等同地称为输出值或标签。来自验证数据集的样本的输入适于反映域漂移。
基于生成的通用示例，优化校准。这可以例如在适配AI模型的步骤，特别是神经网络的权重内，或者在后处理AI模型的输出的步骤内实现。
基于通用样本优化校准产生AI模型，其确保不同类别的分类器的预测概率的可解释性。优化校准与其中精度被优化的传统方法相对。此外，与传统方法相比，不仅使用攻击方面的对抗性样本，而且使用基于域漂移(尤其是具有变化的扰动水平的域漂移)的样本。将通用样本的生成与基于那些通用样本的校准的优化相结合是优于传统方法的微分器，并导致本文所描述的优点。
校准经优化，使得所谓的置信度得分(意味着特定类别的概率)与精度相匹配。因此，从可信赖的AI模型导出的置信度对应于一定程度的确定性。
当借助于生成的通用样本执行校准时，置信度与通用样本中反映的所有扰动水平的精度相匹配。
因此，优化校准的步骤将置信度得分或概率与通用样本的整个范围上的精度联系起来。经过校准的可信赖的AI模型利用与模型的实际预测功率相匹配的置信度(例如熵)来预测经过良好校准的不确定性。
该方法使得能够通过使用不确定性感知校准优化方法将AI模型转换为可信赖的AI模型。可信赖的AI模型确定域内样本以及域外样本的可信赖的概率。
实施例中的可信赖的AI模型是基于AI模型的适配模型，并且例如根据神经网络内的节点权重来适配，或者在其他实施例中是包括后处理算法的扩展AI模型。
以有利的方式，使用利用所提出的方法获得的可信赖的AI模型来避免过自信预测。使用可信赖的AI模型，用户知道当置信度降低时精度也以协调的方式降低，使得用户可以对何时再训练或替换AI模型作出明智的决定。此外，通过分析现实生活场景中给定输入的可信赖的AI模型的精度，接收关于预测质量的即时反馈。以有利的方式，用户立即知道AI模型是否可以例如在新的环境(例如新的工厂)中使用，或者它是否需要被再训练，潜在地大大节省了不必要的数据收集和模型训练的努力。
提出了一种自动转换传统神经网络的方法。对于所提出的方法，不需要专业的科学家来提供修改的神经网络的定制实现。外行的用户能够在任何机器学习开发流水线中集成可信赖度。因此，可信赖的AI可以使大量没有专业知识的应用从业者可访问。
利用优化校准的转换方法，AI模型的体系结构或结构不受影响，使得可信赖的AI模型可以直接部署用于预期的用例或应用，而无需进一步的强制验证阶段。对于基于AI模型的再训练或AI模型的输出的后处理的转换方法，情况尤其如此。该方法的这些特征使得能够作为web服务来使用，从而从预先训练的AI模型开始，该转换尤其由云平台提供作为服务。
根据实施例，通过优化校准，在置信度水平上表示任何通用样本的不确定性感知。在AI模型实现了一定程度的不确定性的情况下，预测的分类在分类器的给定类别中均匀分布。这例如产生低且均匀分布的置信度得分。这例如通过在不确定分类结果的情况下分配高熵来实现，并且例如经由适配AI模型的目标函数或AI模型的后处理输出来实现。
取决于用于转换经训练的AI模型的具体方法，执行AI模型的再训练或AI模型的输出的后处理或任何进一步合适的转换方法。对于再训练方法，如果经训练的AI模型是基本上成熟的经训练的AI模型，则优选地仅需要小的验证数据集。在仅粗略预训练的AI模型的情况下，优选地执行基于更全面的验证数据集的再训练。对于后处理方法，在结构或体系结构方面对AI模型没有影响，尤其是没有调整权重，使得经训练的AI模型优选地以改进的水平提供，使得可以在转换之后直接应用校准的可信赖的AI模型。
根据实施例，为了生成通用样本，通过域漂移修改验证数据集。更具体地，通过表示域漂移的算法修改验证数据集。例如，可以通过添加噪声信号修改验证数据集的样本。优选地，以表示工业环境的典型漂移的方式修改验证数据集，例如由于受污染的摄像机镜头、振动等。
根据实施例，为了生成通用样本，根据扰动强度修改验证数据集。通过这种修改，实现了不同水平的扰动。优选地，生成反映从工业环境内的典型域漂移到真正反映域外样本的修改范围的扰动的通用样本。
根据实施例，转换包括应用基于熵的损失项，其激励不确定性感知。这种基于熵的损失项优选地用于基于神经网络的AI模型。优选地，除了方便的损失项之外还提供熵损失项，例如交叉熵损失项。利用这些组合的损失项，在不确定性的情况下，激励神经网络朝向均匀分布的softmax输出。
根据实施例，转换还包括通过应用校准损失项执行AI模型的再训练。通过将基于熵的损失项与校准损失项组合，对于接近或类似于验证数据或训练数据的输入，增加了模型的技术稳健性。
根据实施例，执行以下步骤：
-基于经训练的AI模型的当前输出和验证数据集的相应地面真值数据计算验证数据集的分类交叉熵损失；
-通过从当前输出中去除非误导证据并将剩余的当前输出分布在预定数量的类别上计算预测性熵损失；
-通过将用预定第一损失因子λs加权的预测性熵损失加到分类交叉熵损失计算组合损失，其中0≤λs≤1；
-检查再训练是否收敛到收敛速度的预定下限；
-在再训练不收敛的情况下，基于组合损失和预定训练速度η更新AI模型的权重，其中0<η≤1；以及
-在再训练收敛的情况下，停止AI模型的再训练。
在不确定性的情况下，用所提出的组合损失项激励高熵激励该模型朝向均匀分布的概率分布，例如softmax函数的输出。
根据实施例，还执行以下步骤：
-通过在AI模型中正向传播通用样本的通用输入数据生成通用样本的扰动输出；
-将校准损失计算为预期校准误差的欧几里德范数，其对被分组为预定数量的等间隔箱的扰动输出取得加权平均，每个箱具有相关联的平均置信度和精度；
-检查再训练是否收敛到收敛速度的预定下限；
-在训练不收敛的情况下，基于组合损失和预定训练速度η(其中0<η≤1)，第一次更新AI模型的权重；
-在训练不收敛的情况下，基于用预定的第二损失因子λadv(其中0≤λadv≤1)加权的校准损失和预定的训练速度η，第二次更新AI模型的权重；以及
-在训练收敛的情况下，停止训练。
利用所提出的校准损失项，AI模型的技术稳健性对于由验证数据集或验证数据集的训练样本以及潜在的各种扰动水平构建的输入而增加。
根据实施例，人工智能模型是神经网络。
更详细地描述具有组合损失项和校准损失项的一个实施例。一种再训练神经网络以便将经训练的神经网络转换为可信赖的神经网络的计算机实现的方法，包括以下步骤：接收针对预定数量C个类的验证输入数据X＝(X1…Xn)和相应地面真值数据Y＝(Y1…Yn)的验证数据集T。因此，n大于1(n>1)并且C大于或等于1(C≥1)。再训练神经网络的步骤包括迭代训练步骤：选择验证子集、生成当前输出、计算分类交叉熵损失、计算预测性熵损失、计算组合损失、提供扰动水平、生成通用样本集、生成扰动输出、计算校准损失、检查训练是否收敛、第一次更新权重、第二次更新权重并且停止训练。在选择验证子集的训练步骤中，从验证集T中选择验证输入数据XB和相应地面真值数据YB的验证子集B。因此，验证子集的基数大于零并且小于验证集的基数(0<|B|<|T|).
在生成当前输出的再训练步骤中，通过在神经网络中正向传播训练子集B的验证输入数据XB来生成针对子集B的神经网络当前输出。在计算分类交叉熵损失的再训练步骤中，基于训练子集B的当前输出和相应地面真值数据YB计算子集B的分类交叉熵损失LCCE。在计算预测性熵损失的再训练步骤中，通过从当前输出中去除非误导性证据并将剩余的当前输出分布在预定数量C个类上计算预测性熵损失LS。在计算组合损失的再训练步骤中，通过将用预定第一损失因子λS加权的预测性熵损失LS加到分类交叉熵损失LCCE计算组合损失L。由此，第一损失因数λS大于或等于零并且小于或等于1(0≤λS≤1)。
在提供或采样扰动水平的再训练步骤中，以从0到1的值随机采样扰动水平εB。在生成通用样本集的再训练步骤中，通过对验证子集B的验证输入数据XB应用从预定义扰动集中随机选择的并且用扰动水平εB加权的扰动来生成通用输入数据Xg的通用样本集Bg。因此，通用输入数据的基数等于验证子集的验证输入数据的基数(|Xadv|＝|XB|)。在生成扰动输出的再训练步骤中，通过在计算校准损失的训练步骤中在神经网络中正向传播通用样本集Bg的通用输入数据Xg生成通用样本集Bg的神经网络的扰动输出，校准损失Lg被计算为预期校准误差ECE的欧几里德范数(L2范数)。期望的校准误差ECE对被分组为预定数量M个等间隔的箱的扰动输出取得加权平均，每个箱具有相关联的平均置信度和精度。从而预定数量M大于1(M>1)。
在检查训练是否收敛的再训练步骤中，检查训练是否收敛到收敛速度的预定下限。在第一次更新权重的步骤中，在训练不收敛的情况下，基于组合损失L和预定训练速度η，其中预定训练速度η大于0且小于或等于1(0<η≤1)，第一次更新神经网络的权重。
在第二次更新权重的步骤中，在训练不收敛的情况下，基于用预定第二损失因子λg加权的校准损失Lg和预定训练速度η，其中预定第二损失因子λg大于或等于0且小于或等于1(0≤λadv≤1)，第二次更新神经网络的权重。在停止训练的步骤中，在训练收敛的情况下停止神经网络的训练。
所接收的验证数据集T还包括相应地面真值数据Y。地面真值数据Y包括地面真值数据Y1到Yn的多个样本，其对应于验证输入数据X1到Xn的各个样本。相应地面真值数据给出待由神经网络推导出的信息。
每对验证输入数据的样本和地面真值数据X1、Y1到Xn、Yn的相应的样本属于一个类别。
例如，验证输入数据X1到Xn的样本可以是示出手写数字的不同图像，而地面真值数据Y1到Yn的相应样本可以是将由神经网络推导出的相应数字。类可以是C＝10类，其中每个类代表一个数(0到9)。这里，C＝10类可以用以下方式进行独热编码：
0对应于1000000000
1对应于0100000000
2对应于0010000000
3对应于0001000000
4对应于0000100000
5对应于0000010000
6对应于0000001000
7对应于0000000100
8对应于0000000010
9对应于0000000001
作为另一示例，验证输入数据X1到Xn的样本可以是不同的医学图像数据，如磁共振图像、计算机断层摄影图像、声谱图像等，并且地面真值数据Y1到Yn的相应样本可以是其中医学图像数据的每个像素或体素被分配有将由NN推导出的不同类型的组织或器官的相应图。类可以是C＝3类，其中每个类代表一种类型的组织。这里，C＝3类可以用以下方式进行独热编码：
正常组织对应于100
肿瘤组织对应于010
纤维组织对应于001
可替代地，类可以是C＝4类，其中每个类代表一种类型的器官。这里，C＝4类可以用以下方式进行独热编码：
肺组织对应于1000
心脏组织对应于0100
骨对应于0010
其它组织对应于0001
作为另一示例，验证输入数据X1到Xn的样本可以是不同物理量(如力、温度、速度等)的变化过程的数据，并且地面真值数据Y1到Yn的相应样本可以是要由神经网络推导出的机器的各个状态。类可以是C＝3类，其中每个类代表机器的一个状态。这里，C＝3类可以用以下方式进行独热编码：
正常操作对应于100
启动阶段对应于010
故障对应于001
作为另一示例，验证输入数据X1到Xn的样本可以是关于不同主题(如政治、体育、经济、科学等)的文本，而地面真值数据Y1到Yn的相应样本可以是由神经网络推导出的各个主题。类可以是C＝4类，其中每个类代表一个主题。这里，C＝4类可以用以下方式进行独热编码：
政治对应于1000
体育对应于0100
经济对应于0010
科学对应于0001
根据实施例，转换包括后处理AI模型的输出。有利地，当执行后处理时，不必为了将AI模型转换为可信赖的AI模型而对AI模型进行再训练。因此，不必提供AI模型的详细结构信息。这意味着甚至可以用所提出的方法转换黑盒分类器。后处理步骤本身可以解释为学习后处理模型的步骤，并且不与web服务平台的用户提供的AI模型的训练混合。
后处理可以是参数的或非参数的。参数后处理方法的示例是普拉特方法，其应用将预测模型的输出映射到校准的概率输出的S形转换。使用最大似然估计框架学习S形转换函数的参数。最常见的非参数方法基于分箱(Zadrozny和Elkan 2001)或保序回归(Zadrozny和Elkan 2002)。例如，使用由Naeini，M.P.，Cooper，G.F.和Hauskrecht，M.(2015年1月)引入的直方图分箱用于使用贝叶斯分箱获得良好校准的概率。
对于后处理，再次生成通用样本并将其馈送到经训练的AI模型中。然后校准用通用样本影响的经训练的AI模型的输出。
在实施例中，以连续和代表性方式生成覆盖从域内样本到真正的域外样本的整个频谱的一组样本。例如，将快速梯度符号方法应用于验证数据集以生成具有变化扰动强度的通用样本。更具体地，对于验证集中的每个样本，计算相对于每个输入维度的损失的导数，并记录该梯度的符号。如果不能解析地计算梯度，例如对于决策树，则执行第0阶近似，使用有限差分计算梯度。然后将噪声ε在其梯度方向上加到每个输入维度。
优选地，对于每个样本，随机选取噪声水平，使得通用验证集包括来自域漂移的整个频谱的代表性样本。对于图像数据，应用仿射图像转换，例如旋转、平移等，以及图像破坏，如模糊、斑点噪声等。
根据实施例，在后处理步骤的过程中，通过基于通用样本优化校准度量确定用于转换未归一化logit的单调函数的参数。例如，使用严格单调函数，尤其是分段温度缩放函数或普拉特缩放函数或单调函数的其它相关参数化，将分类器的未归一化logit转换为分类器的后处理logit。然后通过基于通用样本优化校准度量确定函数的参数，例如温度。这种校准度量例如是对数似然度、Brier得分、Nelder Mead或预期校准误差。基于通用样本而不是基于验证数据集(或训练数据集)执行例如温度缩放(即，学习温度)导致良好校准的AI模型在域偏移下被扩展以包括后处理步骤。
另一优点是该方法对精度没有负面影响。该方法确保分类器不仅对于域内预测受到良好地校准，而且在域漂移下也产生良好校准的预测。
根据上述方法，其中人工智能模型是分类器，尤其是深度神经网络、梯度增强决策树、xgboost、支持向量机、随机森林和神经网络中的一个。
根据实施例，验证数据集是经训练的人工智能模型的训练数据的子集。优选地，用户只需要提供训练数据的这个子集，而不需要提供整个训练数据集。
根据实施例，通过修改经训练的人工智能模型的训练数据生成验证数据集。修改训练数据以生成验证数据的方法步骤可以是由web服务平台的计算单元执行的方法步骤的一部分，或者可以预先执行，使得用户仅经由用户界面提供验证数据集。
根据实施例，经由web服务平台的用户界面提供经过转换的人工智能模型，尤其是作为可下载文件。以有利的方式，用户输入不一定可信赖的AI模型并接收经过转换的可信赖的AI模型。
本发明还涉及一种包括指令的计算机程序产品，该指令在由计算部件执行时使计算部件执行根据前述权利要求中任一项的方法。计算部件例如是处理器，并且例如可连接到人机接口。计算机程序产品可被实施为函数、例程、程序代码或可执行对象，尤其是存储在存储设备上的函数、例程、程序代码或可执行对象。
本发明还涉及一种用于将经训练的人工智能模型转换为可信赖的人工智能模型的系统，包括：
-用户界面部件，其使得能够提供经训练的人工智能模型，
-存储器，其存储经训练的人工智能模型和用户分配信息，
-计算部件，其用于基于验证数据集生成通用样本，其中验证数据集是基于经训练的人工智能模型的训练数据确定的，并且用于通过基于通用样本优化校准转换经训练的人工智能模型。
例如，计算部件可以包括中央处理单元(CPU)和可操作地连接到CPU的存储器。
有利地，该系统使得外行的用户能够在可分离的步骤内将他们的预先训练的AI模型转换为可信赖的AI模型，包括随时使用该系统的选项，例如在具有校准的AI模型的信任的再训练阶段之后灵活地使用该系统，例如，由于使用AI模型的应用程序或场景发生变化，这是必要的。
根据实施例，该系统的用户界面可以经由web服务访问。这使得用户能够灵活地提供AI模型和相应的训练数据或验证数据。用户可以透明地概观关于AI模型和相应数据的数据和信息的提供程度。
根据实施例，存储器和计算部件在云平台上实现。这使得能够灵活地适应web服务被请求的程度，尤其是在计算能力方面。
此外，可以使用云计算平台灵活地处理关于服务器位置的客户特定要求。
本发明的其他可能的实现或可替代的解决方案还包括以上或以下关于实施例描述的特征的组合(本文并未明确提及)。本领域技术人员还可以将单独的或孤立的方面和特征加到本发明的最基本的形式中。
附图说明
下面将参照附图更详细地描述本发明的不同方面。
图1是根据第一实施例的系统的示意图；
图2是对应于第二实施例的方法的示意性流程图；
图3是根据现有技术的AI模型的输出的示意图；
图4是根据第三实施例的可信赖的AI模型的输出的示意图。
具体实施方式
第一实施例涉及所提出的方法的web服务细节。用于经训练的AI模型的转换方法被描述为可以经由网页访问的web服务的一部分。图1示出了该方法，下面将更详细地描述该方法。
例如，用户100访问网页。网页的前端20例如经由获取AWS EC2实例化的web应用(例如Elastic Beanstalk)实现。web应用促使用户100上传经训练的神经网络，例如具有以预定格式输出的权重，例如hdf5。此外，其要求提供代表性验证数据集。这些用户数据D10由用户100经由用户界面和前端20提供，前端将其转发到云平台200。
根据第一实施例，存在利用认证基础设施21实现的附加认证步骤，使得用户100被可靠地识别和认证。例如，在用户100可以上传数据之前，使用带密码的电子邮件地址进行注册。因此用户数据D10使用用户认证信息来增强。
在云平台200、存储器201(例如由AWS S3提供的存储器，基于web的云存储服务)内保存上传的用户数据D10。指示转换请求的AWS S3内的事件作为通知D21被发送到作为实际转换方法的触发器202的所谓的Lambda函数。
Lambda函数被配置为使得它调用适当的转换方法，这些转换方法被布置在容器中并且根据用户数据D10来调用。例如，用户数据D10还包括关于需要哪种转换方法的信息，例如后处理或再训练，或关于交付时间方面的要求等。
触发器202，在该实施例中为Lambda函数，利用触发器调用S32启动例如用于容器的数据处理引擎，例如AWS Fargate，并提供用户数据位置。然后，在后端203中执行AI模型转换，例如，利用类似AWS ECS的容器编排服务，其中执行Fargate容器。
作为该转换的结果，使用上述各种实施例中详细说明的方法生成可信赖的AI模型。
由于转换方法的特性，尤其是对所生成的通用样本的依赖性(其中仅需要验证数据集作为输入)，以及校准优化的使用(其不影响AI模型的体系结构或结构)，使得能够将AI模型转换为web服务，从而保证可信赖的AI模型在用户侧的部署。
可信赖的AI模型以及相应的处理协议作为转换结果D20被保存在存储器201中，并且最终被提供给用户100。这例如经由AWS S3事件进行，该事件将转换结果D20直接发送到已被保存在存储器201中的已认证用户100的电子邮件地址。
图2示出了方法的示意性流程图，该方法具有以下步骤：经由web服务平台的用户界面提供S1经训练的人工智能模型；提供S2基于经训练的人工智能模型的训练数据的验证数据集；由web服务平台的计算部件基于验证数据集生成S3通用样本；通过基于通用样本优化校准转换S4经训练的人工智能模型。
提供经训练的人工智能模型和验证数据集的步骤S1和S2可以彼此分离并以灵活的顺序执行，如图2中的可交换参考符号所示。在其它实施例中，它们可以在一个方法步骤内或同时组合和执行，如虚线箭头所示。
将更详细地说明对经训练的人工智能模型进行转换的步骤。
交叉熵损失项被定义为
以及均匀损失项被定义为
其中p是预测，y是标记，λt是退火系数，t是训练步骤的索引，i是样本的索引，j是类的索引，并且K是类的数量。在不确定的情况下，该项会激励模型朝向均匀分布的softmax输出。
校准损失项被定义为
ECCgen是通用样本上的ECE；Bm是预测置信度落入其相关联间隔Im的样本索引集；conf(Bm)和acc(Bm)分别是与Bm相关联的平均置信度和精度；n是数据集中样本的数量；M是箱的数量；m是箱的索引。利用该校准损失项(其可以被视为通用校准损失项)，增加了用于训练样本的ε-邻域周围的输入的AI模型的技术稳健性。
这三个损失项被组合用于再训练AI模型。作为再训练的结果，经训练的AI模型已经被转换为可信赖的AI模型，其产生与表示域漂移的样本的精度相匹配的置信度得分，尤其是从验证数据集的样本逐渐移位。
图3示出了根据现有技术的AI模型的结果，示出了分类器的输出的示意图。在图的垂直轴30上示出了置信度得分，在水平轴40上示出了离散输入数据。从左到右，输入数据的质量(这里以手写图形“6”的形式)由于一个方向上的失真而降低。这些失真反映了现实生活场景中数据输入的影响，妨碍了分类器的精确预测。
对应于图0-图9，训练分类器以将10个类中的一个分配给输入数据。
可以看到，从大约50的扰动范围开始，该扰动范围表示对组失真的灵活且任意的缩放，并且可以是已经在以上描述中引入的ε的值，分类器开始预测错误的分类结果，在这种情况下是“2”，但是具有超过60％的高置信度得分，甚至随着ε增加到几乎100％而增加。这说明了当要对具有域漂移的数据进行分类时的过自信分类器。
根据在图4中示出的第三实施例，使用相同的分类器，但是下面的AI分类模型已经利用以下方法被转换为可信赖的AI模型。
以连续和代表性的方式生成覆盖从域内样本到真正的域外样本的整个频谱的一组样本。据此，基于具有样本对的验证数据集使用快速梯度下降法(FGSM)生成具有变化的扰动强度的扰动样本。更具体地，对于验证数据集中的每个样本对，相对于每个输入维度确定损失的导数，并记录该梯度的符号。如果不能解析地确定梯度(例如对于决策树)，则可以将其归结为第0阶近似，并且可以使用有限差分确定梯度。然后，将噪声$epsilon$加到每个输入维度的梯度方向上。对于每个样本对，可以随机选择噪声水平，使得通用数据集包括来自域漂移的整个频谱的代表性样本，如算法1的伪码和说明所示。
算法1基于验证V生成通用数据集Vg，包括标记样本{(x，y)}的集合，其中x是模型输入，y是模型输出。N表示V中的样本数量，ε＝{0，0.05，0.1，0.15，0.2，.025，0.3，0.35，0.4，0.45}是扰动水平的集合。
要求：验证集V和空通用数据集Vg
1:for 1：N中的i do
2:从V读取样本对(xi，yi)
3:从ε中随机地采样εi
4:基于εi使用FGSM方法生成通用样本对(xg，y)
5:将(xg，y)加到Vg
6:end for
xg表示使用FGSM方法从x生成的通用输入。
根据可替代的实施例，算法1的建立的不同之处在于，每个样本对不仅生成一个通用样本；但是代替地，FGSM应用于所有可用的ε。因此，通用数据集的大小可以通过ε集合的大小而显著增加。换言之，例如基于图像扰动可以使用不同的扰动策略。优点在于根据本发明的方法可以应用于其中不可能计算梯度的黑盒模型。
接着，使用严格单调的参数化函数来转换分类器的未归一化logit。例如，可以使用普拉特缩放、温度缩放、单调函数的其它参数化，或非参数替换。在根据以下等式的实施例中，使用新颖的参数化，其通过引入范围自适应温度缩放而向已知函数添加附加的灵活性。虽然在传统的温度缩放中，使用单个温度来转换输出的整个频谱上的logit，但是对于不同的值范围使用范围特定的温度。
以下是优选实施例的公式：
用θ＝[θ0,…θ3]参数化温度T(zr；θ)和Zr＝max(z)-min(z)是未归一化logit元组z的范围。θ0可被解释为对zr的渐近依赖性。将使用以下函数exp_id:x->{x+1,x>0；exp(x),else}以确保正输出。然后该参数化温度被用于基于未归一化logit获得样本i的校准置信度得分
c
其中H:＝dim(T)
co:＝0,
cH:＝∞
σ_SM表示softmax函数。然后通过基于通用数据集来优化校准度量以确定函数(θ)的参数。校准度量可以是logit似然度，Brier得分或期望的校准误差，也参见算法2。
算法2拟合参数化后处理模型u＝∫(z,T)，其中∫是由参数T参数化的严格单调函数，并且将分类器C的未归一化的logit z＝C(x)映射到转换的(仍未归一化的)logit u。设g表示校准度量，该校准度量被用于基于连同地面真值标签的logit集合来计算标量校准度量w。
要求：通用集合Vg(来自算法1)，具有起始参数T，校准度量g的函数∫。
1:repeat
2:从Vg读取样本对{(xg，y)}。设Y是所有标签的集合。
3:计算所有z＝C(xadv)的后处理的logit u＝∫(z,T)，包括集合U。
4:执行优化步骤并且更新T以优化g(U，Y)
5:until优化收敛
6:return优化T
在其中logit不可用的黑盒分类器的可替代的实施例中，算法2可以被适配为使得通过计算z＝log(C(x))来生成未归一化的logit。根据度量的形式(例如，用于分段温度缩放的Nelder Mead)，可以以灵活的方式有利地选择优化器。
在用该方法转换经训练的AI分类模型之后，现在使用与图3的现有技术模型结合使用的相同输入数据来通过可信赖的AI分类模型进行分类。从图4中可以看出，直到20的扰动水平，正确的类“6”以与用现有技术方法预测的相同的高置信度预测。对于30的扰动水平，置信度水平从几乎100％略微降低到大约80％。对于40，对于预测类已经存在仅大约50％的置信度水平，因此存在明确的指示，即预测经受不确定性。从ε为50开始，可信赖的AI分类器对于基本上所有类na给出大约10％的预测率。这转化为“不能以足够的确定性进行分类”的结果，使得10个类中的所有类都可以是正确的预测，导致1/10或10％的置信度得分。
经过转换的可信赖的AI模型可以以有利的方式被使用为应用中的非专家用户，用于基于AI的分类，也用于安全关键应用中，其中关键是在域漂移下也用于输入数据的预测的精度降低的及时识别，并且必须避免过自信的估计。
尽管已经根据优选实施例描述了本发明，但是对于本领域技术人员来说显而易见的是，可以在所有实施例中进行修改。
Claims (18)
1.一种用于将经训练的人工智能模型转换为可信赖的人工智能模型的计算机实现的方法，
-经由web服务平台(200)的用户界面提供(S1)所述经训练的人工智能模型，
-基于所述经训练的人工智能模型的训练数据提供(S2)验证数据集，
-由所述web服务平台的计算部件基于所述验证数据集来生成(S3)通用样本，其中为了生成(S3)所述通用样本，通过域漂移修改所述验证数据集，
-通过基于所述通用样本来优化校准来转换(S4)所述经训练的人工智能模型。
2.根据前述权利要求中任一项所述的方法，其中，通过优化所述校准，以任意所述通用样本的置信度水平来表示不确定性感知。
3.根据前述权利要求中任一项所述的方法，其中，为了生成(S3)所述通用样本，根据扰动强度来修改所述验证数据集。
4.根据前述权利要求中任一项所述的方法，其中，转换(S4)包括通过应用激励不确定性感知的基于熵的损失项来执行AI模型的再训练。
5.根据权利要求4所述的方法，其中，转换(S4)还包括应用校准损失项。
6.根据权利要求4或5所述的方法，包括以下步骤：
-通过在所述AI模型中正向传播所述验证数据集的验证输入数据(XB)，为所述验证数据集生成所述AI模型的当前输出；
-基于所述当前输出和所述验证数据集的相应地面真值数据(YB)计算所述验证数据集的分类交叉熵损失LCCE；
-通过从所述当前输出中去除非误导证据并且将所剩余的当前输出分布在预定数量C的类上来计算预测性熵损失LS；
-通过将用预定第一损失因子λS加权的所述预测性熵损失LS加到所述分类交叉熵损失LCCE来计算组合损失L，其中0≤λS≤1；
-检查所述再训练是否收敛到收敛速度的预定下限；
-在所述再训练不收敛的情况下，基于所述组合损失L和预定训练速度η更新所述AI模型的权重，其中0<η≤1；以及
-在所述再训练收敛的情况下，停止所述AI模型的所述再训练。
7.根据权利要求6所述的方法，还包括以下步骤：
-通过在所述AI模型中正向传播所述通用样本的通用输入数据Xadv为所述通用样本生成所述AI模型的扰动输出；
-计算作为期望校准误差ECE的欧几里德范数L2范数的校准损失Ladv，其对被分组为预定数量M个等间隔的箱的所述扰动输出取得加权平均，每个箱具有相关联的平均置信度和精度，其中M>1；
-检查所述再训练是否收敛到收敛速度的预定下限；
-在训练不收敛的情况下，基于所述组合损失L和预定训练速度η，第一次更新所述AI模型的权重，其中0<η≤1；
-在训练不收敛的情况下，基于用预定的第二损失因子λadv和预定的训练速度η加权的所述校准损失Ladv，第二次更新所述AI模型的所述权重，其中0≤λadv≤1；以及
-在训练收敛的情况下，停止所述AI模型的训练。
8.根据权利要求4-6中任一项所述的方法，其中，所述人工智能模型是神经网络。
9.根据权利要求1-3中任一项所述的方法，其中，转换(S4)包括后处理AI模型的输出。
10.根据权利要求9所述的方法，其中，在所述后处理的步骤的过程中，通过基于所述通用样本来优化校准度量来确定用于转换未归一化logit的单调函数的参数。
11.根据权利要求9或10所述的方法，其中，所述人工智能模型是分类器，特别是深度神经网络、梯度增强决策树、xgboost、支持向量机、随机森林和神经网络中的一个。
12.根据前述权利要求中任一项所述的方法，其中，所述验证数据集是所述经训练的人工智能模型的训练数据的子集。
13.根据前述权利要求中任一项所述的方法，其中，通过修改所述经训练的人工智能模型的训练数据来生成所述验证数据集。
14.根据前述权利要求中任一项所述的方法，其中，经由所述web服务平台的所述用户界面提供经转换的人工智能模型，特别是作为可下载文件。
15.一种包括指令的计算机程序产品，所述指令在由计算部件执行时使所述计算部件执行根据前述权利要求中任一项所述的方法。
16.一种用于将经训练的人工智能模型转换为可信赖的人工智能模型的系统，包括：
-用户界面部件(20)，实现提供所述经训练的人工智能模型，
-存储器(201)，存储所述经训练的人工智能模型和用户分配信息，
-计算部件(203)，用于基于验证数据集来生成通用样本，其中，所述验证数据集是基于所述经训练的人工智能模型的训练数据来确定的，其中，为了生成(S3)所述通用样本，所述验证数据集通过域漂移来修改，并且用于通过基于所述通用样本来优化校准来转换所述经训练的人工智能模型。
17.根据权利要求16所述的系统，其中，经由web服务能够访问所述用户界面部件(20)。
18.根据权利要求16或17所述的系统，其中，在云平台(200)上实现所述存储器和所述计算部件。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20208211.1A EP4002222A1 (en) | 2020-11-17 | 2020-11-17 | Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model |
| EP20208211.1 | 2020-11-17 | ||
| PCT/EP2021/079215 WO2022106146A1 (en) | 2020-11-17 | 2021-10-21 | Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116508035A true CN116508035A (zh) | 2023-07-28 |
Family
ID=73475906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180076895.5A Pending CN116508035A (zh) | 2020-11-17 | 2021-10-21 | 将经训练的人工智能模型转换为可信赖的人工智能模型 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240020531A1 (zh) |
| EP (2) | EP4002222A1 (zh) |
| CN (1) | CN116508035A (zh) |
| WO (1) | WO2022106146A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115270848B (zh) * | 2022-06-17 | 2023-09-29 | 合肥心之声健康科技有限公司 | 一种ppg与ecg自动转换智能算法、存储介质和计算机系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3422262A1 (en) * | 2017-06-30 | 2019-01-02 | Royal Holloway And Bedford New College | Method of monitoring the performance of a machine learning algorithm |
-
2020
- 2020-11-17 EP EP20208211.1A patent/EP4002222A1/en not_active Withdrawn
-
2021
- 2021-10-21 WO PCT/EP2021/079215 patent/WO2022106146A1/en active Application Filing
- 2021-10-21 US US18/036,954 patent/US20240020531A1/en active Pending
- 2021-10-21 CN CN202180076895.5A patent/CN116508035A/zh active Pending
- 2021-10-21 EP EP21805385.8A patent/EP4217933A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4002222A1 (en) | 2022-05-25 |
| WO2022106146A1 (en) | 2022-05-27 |
| US20240020531A1 (en) | 2024-01-18 |
| EP4217933A1 (en) | 2023-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10713597B2 (en) | Systems and methods for preparing data for use by machine learning algorithms | |
| US11893781B2 (en) | Dual deep learning architecture for machine-learning systems | |
| US20220067588A1 (en) | Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model | |
| US11823013B2 (en) | Text data representation learning using random document embedding | |
| WO2020146028A1 (en) | Identifying and correcting label bias in machine learning | |
| CN111127364B (zh) | 图像数据增强策略选择方法及人脸识别图像数据增强方法 | |
| EP3916597B1 (en) | Detecting malware with deep generative models | |
| US20230049817A1 (en) | Performance-adaptive sampling strategy towards fast and accurate graph neural networks | |
| CN112883990A (zh) | 数据分类方法及装置、计算机存储介质、电子设备 | |
| Montesuma et al. | Recent advances in optimal transport for machine learning | |
| CN115080749A (zh) | 一种基于自监督训练的弱监督文本分类方法、系统和装置 | |
| CN116508035A (zh) | 将经训练的人工智能模型转换为可信赖的人工智能模型 | |
| EP4073713A1 (en) | Hyper-opinion classification using a neural network | |
| CN113591892A (zh) | 一种训练数据的处理方法及装置 | |
| Zheng et al. | Causally motivated multi-shortcut identification and removal | |
| CN113297385B (zh) | 基于改进GraphRNN的多标签文本分类系统及分类方法 | |
| CN115511104A (zh) | 用于训练对比学习模型的方法、装置、设备和介质 | |
| CN116992937A (zh) | 神经网络模型的修复方法和相关设备 | |
| CN114282684A (zh) | 训练用户相关的分类模型、进行用户分类的方法及装置 | |
| US11436529B1 (en) | Method, apparatus, and computer program product for natural language processing | |
| JP7103987B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| Kang et al. | Graph Attention Based Variational Adversarial Graph Generation Method | |
| Statuto et al. | A scalable and efficient iterative method for copying machine learning classifiers | |
| Liu et al. | Not All Tasks Are Equal: A Parameter-Efficient Task Reweighting Method for Few-Shot Learning | |
| CN116310639A (zh) | 一种图像识别模型训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |