CN112464965B - 估计模型的准确性和鲁棒性的方法及其装置 - Google Patents
估计模型的准确性和鲁棒性的方法及其装置 Download PDFInfo
- Publication number
- CN112464965B CN112464965B CN201910842132.1A CN201910842132A CN112464965B CN 112464965 B CN112464965 B CN 112464965B CN 201910842132 A CN201910842132 A CN 201910842132A CN 112464965 B CN112464965 B CN 112464965B
- Authority
- CN
- China
- Prior art keywords
- model
- accuracy
- data set
- dataset
- accuracy score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000004364 calculation method Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 21
- 230000000694 effects Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及估计模型的准确性和鲁棒性的方法及其装置。根据本公开内容的一个实施例，该方法包括以下步骤：计算表征第一数据集中的样本在第二数据集中出现的可能性的参数；计算模型的针对第一数据集中的样本的准确性得分；以参数为权重基于准确性得分计算模型的针对第一数据集中样本的加权准确性得分；以及根据加权准确性得分计算模型的针对第一数据集的经调整的准确性作为模型的针对第二数据集的估计准确性。本公开内容的方法、装置至少能有助于实现如下效果之一：方便、准确、有效地估计模型的准确性和鲁棒性。
Description
技术领域
本公开内容涉及用于人工智能的模型的评估，尤其涉及估计模型的准确性和鲁棒性的方法及其装置。
背景技术
随着深度学习技术的发展，人工智能(AI)模型被广泛地应用于诸如自动驾驶、人脸识别、手写字符识别、健康管理等的各种场景。当在实际场景中应用AI模型(在本公开内容中，也简称为“模型”)时，模型的质量是重要的。
模型的质量的表征参数包括模型的准确性。模型的准确性例如被定义为：针对对象数据集，模型输出结果中正确的输出结果数量与总输出结果数量的比值。
图1示出了一种常规的确定模型的准确性的示例性方法10的流程图。在步骤S101中，使用从源数据集中选择的训练集对模型进行训练。在步骤S103中，使用从源数据集中选择的测试集对模型进行测试。在步骤S105中，根据测试结果确定模型的准确性，其中，此处的模型是指训练后的模型，测试集中的样本已被分配标签，从而能够确定模型输出的测试结果相对于标签是否正确。优选，测试集中的数据是训练集中没有出现过的数据。源数据集中还可以包括验证集，其用于选择准确性最好的模型。
发明内容
在下文中将给出关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，此概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
发明人对于模型的准确性有以下构思。从图1的描述可知，严格来讲，上述模型的准确性实际是针对特定源数据集而言的。对于已经使用源数据集的数据训练后的模型，通常其会用于对待分析的目标数据集进行处理，例如输出目标数据集中的样本的分类结果。在实际应用场景中，源数据集与目标数据集通常存在数据偏差。这可以导致模型的针对源数据集的准确性和模型的针对目标数据集的准确性不同，通常，准确性会下降，例如，前一准确性为95％，后一准确性为80％。因此，以下是期望的：在使用模型对待分析的目标数据集进行处理前，估计各模型的针对目标数据集的准确性，以选择具有高准确性的模型。但是，由于目标数据集是待分析的对象，其并没有被打标签，因此直接确定模型的针对目标数据集的准确性是困难的，具有挑战性。
发明人经过研究，发现可以基于概率密度比使用源数据集来估计模型的针对目标数据集的准确性。相应的可以基于该准确性评估模型的鲁棒性。本公开内容中模型的鲁棒性是指模型的针对数据偏差的鲁棒性，即，模型的泛化能力。
根据本公开内容的一个方面，提供了一种估计使用第一数据集训练的用于分类的模型的针对第二数据集的估计准确性的方法，其特征在于，方法包括：计算表征第一数据集中的样本在第二数据集中出现的可能性的参数；计算模型的针对第一数据集中的样本的准确性得分；以参数为权重基于准确性得分计算模型的针对第一数据集中样本的加权准确性得分；以及根据加权准确性得分计算模型的针对第一数据集的经调整的准确性作为模型的针对第二数据集的估计准确性。
根据本公开内容的一个方面，提供了一种估计基于第一数据集训练的用于分类的模型的鲁棒性的方法，其特征在于，方法包括:计算表征第一数据集中的样本在第二数据集中出现的可能性的参数；计算模型的针对第一数据集中的样本的准确性得分；以参数为权重基于准确性得分计算模型的针对第一数据集中样本的加权准确性得分；根据加权准确性得分计算模型的针对第一数据集的经调整的准确性作为模型的针对第二数据集的估计准确性；以及根据模型的针对第一数据集的准确性和模型的针对第二数据集的估计准确性估计模型的鲁棒性。
根据本公开内容的一方面，提供了一种估计用于分类的模型的综合鲁棒性的方法，其特征在于，方法包括：提供多个第二数据集；针对多个第二数据集中的每个第二数据集，使用前述方法估计鲁棒性；以及确定该第二数据集与用于训练模型的第一数据集之间的分布偏差；以及基于所得到的多个鲁棒性和多个分布偏差确定综合鲁棒性。
根据本公开内容的一方面，提供了一种估计使用第一数据集训练的用于分类的模型的针对第二数据集的估计准确性的装置，其特征在于，装置包括：参数计算单元，被配置成计算表征第一数据集中的样本在第二数据集中出现的可能性的参数；准确性得分计算单元，被配置成计算模型的针对第一数据集中的样本的准确性得分；加权准确性得分计算单元，被配置成以参数为权重基于准确性得分计算模型的针对第一数据集中样本的加权准确性得分；以及估计准确性计算单元，被配置成根据加权准确性得分计算模型的针对第一数据集的经调整的准确性作为模型的针对第二数据集的估计准确性。
根据本公开内容的另一方面，提供了一种估计基于第一数据集训练的用于分类的模型的鲁棒性的装置，其特征在于，装置包括：参数计算单元，被配置成计算表征第一数据集中的样本在第二数据集中出现的可能性的参数；准确性得分计算单元，被配置成计算模型的针对第一数据集中的样本的准确性得分；加权准确性得分计算单元，被配置成以参数为权重基于准确性得分计算模型的针对第一数据集中样本的加权准确性得分；估计准确性计算单元，被配置成根据加权准确性得分计算模型的针对第一数据集的经调整的准确性作为模型的针对第二数据集的估计准确性；以及鲁棒性估计单元，被配置成根据模型的针对第一数据集的准确性和模型的针对第二数据集的估计准确性估计模型的鲁棒性。
根据本公开内容的又一方面，提供了一种其上存储有程序的计算机可读存储介质，在程序被计算机执行时，程序使得计算机实现上述方法。
本公开内容的方法、装置和存储介质至少能有助于实现如下效果之一：方便、准确、有效地估计模型的准确性和鲁棒性。
附图说明
参照附图下面说明本公开内容的实施例，这将有助于更加容易地理解本公开内容的以上和其他目的、特点和优点。附图只是为了示出本公开内容的原理。在附图中不必依照比例绘制出单元的尺寸和相对位置。相同的附图标记可以表示相同的特征。在附图中：
图1示出了一种常规的确定模型的准确性的示例性方法的流程图；
图2示出了根据本公开内容的一个实施例的评估使用源数据集训练的用于分类的模型的针对目标数据集的估计准确性的方法的流程图；
图3示出了根据本公开内容的一个实施例的示例性的改进的偏移补偿网络；
图4示出了根据本公开内容的一个实施例的改进的漂移补偿网络的训练过程的流程图；
图5示出了根据本公开内容的一个实施例的用于估计基于源数据集训练的用于分类的模型的鲁棒性的方法的流程图；
图6示出了根据本公开内容的一个实施例的估计用于分类的模型的综合鲁棒性的方法的流程图；
图7示出了根据本公开内容的一个实施例的估计准确性的装置的示例性结构框图；
图8示出了根据本公开内容的一个实施例的估计鲁棒性的装置的示例性结构框图；以及
图9是根据本公开内容的一个实施例的信息处理设备的示例性框图。
具体实施方式
在下文中将结合附图对本公开内容的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施例的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中可以做出很多特定于实施例的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施例的不同而有所改变。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开内容，在附图中仅仅示出了与根据本公开内容的方案密切相关的装置结构，而省略了与本公开内容关系不大的其他细节。
应理解的是，本公开内容并不会由于如下参照附图的描述而只限于所描述的实施形式。在本文中，在可行的情况下，实施例可以相互组合、不同实施例之间的特征替换或借用、在一个实施例中省略一个或多个特征。
为了说明本发明的原理，下面首先介绍准确性的表达式。
经过仔细研究，发明人认识到以下公式(1)。
其中，x为样本；用于分类的模型f对样本x执行处理，输出的分类结果为f(x)；y为样本x的标签(即样本x的真实分类)；DT为目标数据集；acctarget为模型f的针对目标数据集的估计准确性；DS为源数据集；r(x)概率密度比；E[]为期望(后面出现的E[]均为此含义)，即，括号内表达式的算术平均值。
其中，p(x)源数据集的输入样本的概率分布，q(x)目标数据集的输入样本的概率分布。
虽然，公式(3)将sign()的函数值设定为1或0，但是本领域技术人员能够理解，设置成其他值也是可以的，这可能会导致鲁棒性、准确性的计算公式作相应的常规调整。
除了准确性，本发明还涉及与准确性关联的鲁棒性。下面对本发明中的鲁棒性进行介绍。
根据体现泛化能力的鲁棒性的概念，本发明将针对目标数据集DT的鲁棒性R定义为公式(4)。
其中，min()为从括号中的数值中选择最小值的函数；accsource为模型f的针对源数据集DS的准确性。
模型f的针对源数据集DS的准确性accsource可以表示为公式(5)。
参考公式(1)、(4)，可以得到公式(6)。
可见，可以基于模型的针对源数据集的第一准确性accsource和估计准确性acctarget中的较小准确性与第一准确性的比确定模型的鲁棒性。
本公开内容的一个实施例提供了一种评估使用源数据集(即，第一数据集，更具体的为源数据集中选择的数据构成的训练集)训练的用于分类的模型的针对目标数据集(即，第二数据集)的估计准确性的方法。下面参照图2对该方法进行示例性描述。
图2示出了根据本公开内容的一个实施例的评估使用源数据集训练的用于分类的模型的针对目标数据集的估计准确性的方法20的流程图。在步骤S201，计算表征源数据集中的样本在目标数据集中出现的可能性的参数。在一个示例中，该参数为概率密度比r(x)。关于概率密度比将在描述了图2后再进行进一步的描述。
在步骤S203，计算模型的针对源数据集中的样本的准确性得分。在一个示例中，该准确性得分可以为sign(f(x),y)。
在步骤S205，以计算出的参数为权重基于计算出的准确性得分计算模型的针对源数据集中样本的加权准确性得分。在一个示例中，该加权准确性得分可以为r(x)·sign(f(x),y)。
在步骤S207，根据加权准确性得分计算模型的针对源数据集的经调整的准确性作为模型的针对目标数据集的估计准确性。在一个示例中，该估计准确性的表达式为需要说明的是，在方法20中，目标数据集的样本不具有标签。
方法20需要使用概率密度比r(x)。概率密度比r(x)越准确，则估计准确性也会越接近准确性真值。在本发明中，可以使用很多传统方法来估计r(x)，如核密度估计(kerneldensity estimation(KDE)),判别式估计(discriminative estimation),KL重要性估计(KL importance estimation),KMM(kernel mean matching),最小最大优化(minimaxoptimization)等。然而，因为它们需要一次性将所有数据加载然后处理，所以这些方法只适用于小数据集。而在深度学习和大数据时代，数据集通常非常大。传统方法处理这样的大数据集是困难的，甚至无法处理。
因此，在本发明的一个实施例中，使用基于偏移补偿网络(SCN)的概率密度比估计方法，来对数据集，尤其是大数据集，进行概率密度比估计。该方法之所以能够处理大数据集，是因为它是迭代进行的。在每次迭代中，只需要加载一批数据进行处理。
偏移补偿网络包括特征提取器G、判别器D和分类器C。特征提取器G用于从源数据集和目标数据集中的样本提取特征。判别器D用于最大程度地将源数据集样本和目标数据集样本区分开。分类器C用于对样本进行分类。特征提取器G、判别器D和分类器C都是基于神经网络。判别器D的损失被设定为公式(7)。
其中，D()是判别器D的输出，G()是特征提取器的输出。
可见，判别器D的损失LD被设计为能够区分源数据集DS的样本和目标数据集DT的样本的对数似然函数。可以证明，只要以最大化损失LD为目标，优化判别器D的网络参数，就可以使用训练后的判别器D确定概率密度比r(x),具体参见公式(8)。
需要说明的是：虽然偏移补偿网络是现有技术，并多用于得到对应分类器C的性能最优的模型。在优化分类器C的过程中，会确定概率密度比，该概率密度比也被称为偏移因子，但是，确定该偏移因子的目的是用于进一步优化分类器C，并没有被意识到其可以用于确定模型的准确度。分类器C的损失Lc被设定为公式(9)，即，加权交叉熵损失函数。
其中，L()是交叉熵损失函数。
偏移补偿网络优选被用于源数据集和目标数据集共享一个特征空间、且仅在样本的频率有所不同的情况。在大多数情况下，源数据集和目标数据集并不完全共享同一个特征空间。例如，手写文字识别的源数据集和目标数据集包含来自不同人写的文字，不同人的书写风格不同。在这些情况下，源数据集和目标数据集可能会共享一部分特征空间，但可能会有很大部分并不共享，这便意味着不仅仅发生了样本频率改变的协变量偏移，而且发生了特征改变的协变量偏移。常规的偏移补偿网络对于这样的情况适用性较差。
为此，本发明进一步构思了一种进行过改进的偏移补偿网络，以得到更为准确的概率密度比。下面参考图3进行描述。
图3示出了根据本公开内容的一个实施例的示例性的改进的偏移补偿网络30。偏移补偿网络30包括特征提取器G、第一判别器D、第二判别器D’和分类器C。特征提取器G用于从源数据集DS和目标数据集DT中的样本x提取特征。第一判别器D和第二判别器D’都用于最大程度地将源数据集样本和目标数据集样本区分开。分类器C用于对样本进行分类。特征提取器G、第一判别器D、第二判别器D’和分类器C都是基于神经网络。特征提取器G被训练成能够提取出源数据集和目标数据集之间领域不变(domain invariant)的特征。这样的特征可以是，例如，手写文字识别中的文字本身的特征，而非书写风格的特征。这样便可以使得源数据集和目标数据集共享同一个特征空间。
第一判别器D的损失同样被设定为公式(7)。分类器C的损失Lc同样被设定为公式(9)所示的加权交叉熵损失函数。为了得到准确的概率密度比r(x)，以彼此对抗的方式训练特征提取器G和第二判别器D’。在对抗训练中，特征提取器G努力提取使得第二判别器D’无法区分特征是来自源数据集还是目标数据集，而第二判别器D’则尽最大努力来根据这些提取的特征来区分样本是来自源数据集还是目标数据集。为了实现这样的对抗训练，第二判别器D’的损失被设定为公式(10)。
其中，D’()为第二判别器D’的输出，dx表示样本x的领域标签，即如果x来自源数据集(x～DS)，那么dx＝1，否则x来自目标数据集(x～DT)，那么dx＝0。公式(10)可以进一步简化为公式(11)。
基于以上改进后的神经网络(即，偏移补偿网络30)和损失，对偏移补偿网络30进行训练。该训练过程如图4所示。
训练过程40包括：预训练步骤S401和循环步骤S403。循环步骤S403包括：第一判别器更新步骤s31、分类器更新步骤s33、判断步骤s35和第二判别器更新步骤s37。
在预训练步骤对特征提取器G和分类器C进行预训练。预训练的目标是能够对源数据集上的样本进行正确分类。预训练步骤通过最小化柔性最大(softmax)交叉熵损失函数来进行。例如，本步骤目标函数可以如下。
预训练以迭代方式进行，直到分类器C收敛。收敛可以指损失函数的值小于阈值，也可以是指分类器C的针对源数据集的准确性在前后两次迭代之间的变化小于阈值，还可以是指分类器C的权值(亦称参数)两次迭代之间的变化小于阈值。
执行预训练步骤S401后，需要循环执行循环步骤S403，直到分类器C再次收敛，其中，在循环步骤中，第一判别器更新步骤、分类器更新步骤和第二判别器的执行顺序可以是任选顺序，但是，一旦选定顺序后，优选不再改变执行顺序。也就是说图4中的循环步骤S403示出的执行顺序仅为示例。
在第一判别器更新步骤s31，通过最大化第一判别器损失函数来更新第一判别器D和特征提取器G的参数。例如，本步骤的目标函数可以如下。
在分类器更新步骤s33，通过最小化分类器损失LC和第二判别器损失LD’的组合损失函数来更新分类器C和特征提取器G的参数。例如，本步骤的目标函数可以如下。
其中，λ是一个用于控制LC和LD’之间的权重的超参数。在此分类器更新步骤中，忽略来自r(x)的梯度，即将r(x)当作常数来处理。
在判断步骤s35，判断分类器C是否收敛。如果判断结果为“否”，则前进至步骤s37。如果判断结果为“是”，则循环步骤完成，训练过程40结束。
在第二判别器更新步骤s37，通过最小化第二判别损失LD’来更新第二判别器D’。例如，本步骤的目标函数可以如下。
完成训练过程40后，就可以利用得到的第一判别器D，根据公式(8)确定概率密度比r(x)。
本公开内容还提供估计基于第一数据集训练的用于分类的模型的鲁棒性的方法。
图5示出了根据本公开内容的一个实施例的用于估计基于源数据集训练的用于分类的模型的鲁棒性的方法50的流程图。方法50包括步骤S201、S203、S205、S207和S509，其中，步骤S201、S203、S205和S207的细节可以通过参考对2的描述来确定。在步骤S509中，按照公式(6)来估计模型的鲁棒性，即，根据模型的针对源数据集的准确性accsource和模型的针对目标数据集的估计准确性acctarget估计模型的鲁棒性R。
本公开内容还提供估计用于分类的模型的综合鲁棒性的方法。图6示出了根据本公开内容的一个实施例的估计用于分类的模型的综合鲁棒性的方法60的流程图。
在步骤S601，提供多个目标数据集
在步骤S603，针对多个目标数据集中每个目标数据集，使用方法50估计模型的针对该目标数据集的鲁棒性。
在步骤S605，针对多个目标数据集中每个数据集，确定该目标数据集与用于训练模型的源数据集之间的分布偏差。
在步骤S607，基于所得到的多个鲁棒性和多个分布偏差确定模型的综合鲁棒性Rc。综合鲁棒性的公式如下。
其中，它表示两个数据集(DTi和DS)的分布之间的差异。差异D(DS，DTi)可以利用现有的方法进行计算，例如MMD、KL散度等。
本公开内容还提供估计使用第一数据集训练的用于分类的模型的针对第二数据集的估计准确性的装置。下面将参考图7进行描述。
图7示出了根据本公开内容的一个实施例的估计准确性的装置70的示例性结构框图。装置70包括：参数计算单元71、准确性得分计算单元73、加权准确性得分计算单元75和估计准确性计算单元77。参数计算单元71被设置成计算表征第一数据集中的样本在第二数据集中出现的可能性的参数。准确性得分计算单元73被设置成计算模型的针对第一数据集中的样本的准确性得分。加权准确性得分计算单元75被设置成以参数为权重基于准确性得分计算模型的针对第一数据集中样本的加权准确性得分。估计准确性计算单元77被设置成根据加权准确性得分计算模型的针对第一数据集的经调整的准确性作为模型的针对第二数据集的估计准确性。装置70和方法20存在对应关系，因此，装置70进一步的细节可以参考对方法20的描述。
本公开内容还提估计基于第一数据集训练的用于分类的模型的鲁棒性的装置。下面将参考图8进行描述。
图8示出了根据本公开内容的一个实施例的估计鲁棒性的装置80的示例性结构框图。装置80包括：参数计算单元71、准确性得分计算单元73、加权准确性得分计算单元75、估计准确性计算单元77和鲁棒性估计单元89。参数计算单元71被设置成计算表征第一数据集中的样本在第二数据集中出现的可能性的参数。准确性得分计算单元73被设置成计算模型的针对第一数据集中的样本的准确性得分。加权准确性得分计算单元75被设置成以参数为权重基于准确性得分计算模型的针对第一数据集中样本的加权准确性得分。估计准确性计算单元77被设置成根据加权准确性得分计算模型的针对第一数据集的经调整的准确性作为模型的针对第二数据集的估计准确性。鲁棒性估计单元89被设置成根据模型的针对第一数据集的准确性和模型的针对第二数据集的估计准确性估计模型的鲁棒性。装置80和方法50存在对应关系，因此，装置80进一步的细节可以参考对方法50的描述。
本公开内容还提供一种其上存储有程序的计算机可读存储介质，在程序被计算机执行时，程序使得计算机实现上述方法。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。计算机包括至少一个处理器。计算机包括：台式计算机、平板计算机、便携式计算机、智能手机和服务器。
根据本公开内容一个方面，还提供一种信息处理设备。
图9是根据本公开内容的一个实施例的信息处理设备900的示例性框图。在图9中，中央处理单元(CPU)901根据存储在只读存储器(ROM)902中的程序或从存储部分908加载到随机存取存储器(RAM)903的程序来进行各种处理。在RAM 903中，也根据需要来存储在CPU901执行各种处理时所需的数据等。
CPU 901、ROM 902以及RAM 903经由总线904彼此连接。输入/输出接口905也连接至总线904。
下述部件连接至输入/输出接口905：包括软键盘等的输入部分906；包括诸如液晶显示器(LCD)等的显示器以及扬声器等的输出部分907；诸如硬盘的存储部分908；以及包括网络接口卡如LAN卡、调制解调器等的通信部分909。通信部分909经由诸如英特网、局域网、移动网络的网络或其组合执行通信处理。
驱动器910根据需要也连接至输入/输出接口905。可拆卸介质911如半导体存储器等根据需要安装在驱动器910上，使得从其中读取的程序根据需要被安装到存储部分908。
CPU 901可以运行本发明人的估计准确性或鲁棒性的方法的程序。
本公开内容的方法、装置、信息处理设备和存储介质至少能有助于实现如下效果之一：能够在不对目标数据集打标签的情况下(即，在目标数据集的标签未知的情况下)，基于概率密度比使用源数据集来估计模型的针对目标数据集的准确性、鲁棒性；减小评估模型质量的工作量；能够方便的估计模型的准确性、鲁棒性；有利于在选择对目标数据集进行处理的模型时，筛选出针对该目标数据集性能优秀的模型。即，本公开内容的方法、装置和存储介质至少能有助于实现如下效果之一：方便、准确、有效地估计模型的准确性和鲁棒性。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改(包括在行的情况下，各实施例之间特征的组合或替换)、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外，本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
附记
1.一种估计使用第一数据集训练的用于分类的模型的针对第二数据集的估计准确性的方法，其特征在于，所述方法包括：
计算表征所述第一数据集中的样本在第二数据集中出现的可能性的参数；
计算所述模型的针对所述第一数据集中的样本的准确性得分；
以所述参数为权重基于所述准确性得分计算所述模型的针对所述第一数据集中样本的加权准确性得分；以及
根据所述加权准确性得分计算所述模型的针对所述第一数据集的经调整的准确性作为所述模型的针对第二数据集的估计准确性。
2.根据附记1所述的方法，其中，所述参数为密度比；并且
所述密度比表示所述第二数据集中的样本的概率密度与所述第一数据集中的样本的概率密度的比。
3.根据附记2所述的方法，其中，基于漂移补偿网络确定所述密度比。
4.根据附记3所述的方法，其中，所述漂移补偿网络包括第一判别器和第二判别器；
所述第一判别器的训练条件为损失最大化；并且
所述第二判别器的训练条件为损失最小化。
5.根据附记4所述的方法，其中，所述漂移补偿网络还包括特征提取器；并且
以彼此对抗的方式训练所述特征提取器和所述第二判别器。
6.根据附记5所述的方法，其中，基于所述漂移补偿网络的第一判别器的输出确定所述密度比。
7.根据附记6所述的方法，其中，对于所述第一数据集中的某样本，如果所述模型的分类结果与所述某样本的标签相同，则所述准确性得分为一，否则为零。
8.根据附记5所述的方法，其中，所述漂移补偿网络还包括分类器；
通过最小化分类损失和第二判别损失的组合函数来更新所述分类器和所述特征提取器的参数。
9.根据附记8所述的方法，其中，使用所述第一数据集对所述特征提取器和所述分类器进行预训练直到所述分类器收敛。
10.根据附记9所述的方法，其中，使用所述组合函数训练所述分类器直到所述分类器再次收敛。
11.根据附记1所述的方法，其中，所述第二数据集的样本未被分配标签。
12.一种估计基于第一数据集训练的用于分类的模型的鲁棒性的方法，其特征在于，所述方法包括:
计算表征所述第一数据集中的样本在第二数据集中出现的可能性的参数；
计算所述模型的针对所述第一数据集中的样本的准确性得分；
以所述参数为权重基于所述准确性得分计算所述模型的针对所述第一数据集中样本的加权准确性得分；
根据所述加权准确性得分计算所述模型的针对所述第一数据集的经调整的准确性作为所述模型的针对第二数据集的估计准确性；以及
根据所述模型的针对所述第一数据集的准确性和所述模型的针对所述第二数据集的估计准确性估计所述模型的鲁棒性。
13.根据附记12所述的方法，其中，基于所述模型的针对所述第一数据集的第一准确性和所述估计准确性中的较小准确性与所述第一准确性的比确定所述模型的鲁棒性。
14.一种估计使用第一数据集训练的用于分类的模型的针对第二数据集的估计准确性的装置，其特征在于，所述装置包括：
参数计算单元，被配置成计算表征所述第一数据集中的样本在第二数据集中出现的可能性的参数；
准确性得分计算单元，被配置成计算所述模型的针对所述第一数据集中的样本的准确性得分；
加权准确性得分计算单元，被配置成以所述参数为权重基于所述准确性得分计算所述模型的针对所述第一数据集中样本的加权准确性得分；以及
估计准确性计算单元，被配置成根据所述加权准确性得分计算所述模型的针对所述第一数据集的经调整的准确性作为所述模型的针对第二数据集的估计准确性。
Claims (10)
1.一种估计使用第一数据集训练的用于分类的模型的针对第二数据集的估计准确性的方法，其特征在于，所述方法包括：
计算表征所述第一数据集中的样本在第二数据集中出现的可能性的参数；
计算所述模型的针对所述第一数据集中的样本的准确性得分；
以所述参数为权重基于所述准确性得分计算所述模型的针对所述第一数据集中样本的加权准确性得分；以及
根据所述加权准确性得分计算所述模型的针对所述第一数据集的经调整的准确性作为所述模型的针对第二数据集的估计准确性；
其中，所述模型为应用于以下场景中的一个的模型：人脸识别和手写字符识别。
2.根据权利要求1所述的方法，其中，所述参数为密度比；并且
所述密度比表示所述第二数据集中的样本的概率密度与所述第一数据集中的样本的概率密度的比。
3.根据权利要求2所述的方法，其中，基于漂移补偿网络确定所述密度比。
4.根据权利要求3所述的方法，其中，所述漂移补偿网络包括第一判别器和第二判别器；
所述第一判别器的训练条件为损失最大化；并且
所述第二判别器的训练条件为损失最小化。
5.根据权利要求4所述的方法，其中，所述漂移补偿网络还包括特征提取器；并且
以彼此对抗的方式训练所述特征提取器和所述第二判别器。
6.根据权利要求5所述的方法，其中，基于所述漂移补偿网络的第一判别器的输出确定所述密度比。
7.根据权利要求6所述的方法，其中，对于所述第一数据集中的某样本，如果所述模型的分类结果与所述某样本的标签相同，则所述准确性得分为一，否则为零。
8.根据权利要求5所述的方法，其中，所述漂移补偿网络还包括分类器；
通过最小化分类损失和第二判别损失的组合函数来更新所述分类器和所述特征提取器的参数。
9.一种估计基于第一数据集训练的用于分类的模型的鲁棒性的方法，其特征在于，所述方法包括:
计算表征所述第一数据集中的样本在第二数据集中出现的可能性的参数；
计算所述模型的针对所述第一数据集中的样本的准确性得分；
以所述参数为权重基于所述准确性得分计算所述模型的针对所述第一数据集中样本的加权准确性得分；
根据所述加权准确性得分计算所述模型的针对所述第一数据集的经调整的准确性作为所述模型的针对第二数据集的估计准确性；以及
根据所述模型的针对所述第一数据集的准确性和所述模型的针对所述第二数据集的估计准确性估计所述模型的鲁棒性；
其中，所述模型为应用于以下场景中的一个的模型：人脸识别和手写字符识别。
10.一种估计使用第一数据集训练的用于分类的模型的针对第二数据集的估计准确性的装置，其特征在于，所述装置包括：
参数计算单元，被配置成计算表征所述第一数据集中的样本在第二数据集中出现的可能性的参数；
准确性得分计算单元，被配置成计算所述模型的针对所述第一数据集中的样本的准确性得分；
加权准确性得分计算单元，被配置成以所述参数为权重基于所述准确性得分计算所述模型的针对所述第一数据集中样本的加权准确性得分；以及
估计准确性计算单元，被配置成根据所述加权准确性得分计算所述模型的针对所述第一数据集的经调整的准确性作为所述模型的针对第二数据集的估计准确性；
其中，所述模型为应用于以下场景中的一个的模型：人脸识别和手写字符识别。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910842132.1A CN112464965B (zh) | 2019-09-06 | 2019-09-06 | 估计模型的准确性和鲁棒性的方法及其装置 |
| US16/902,756 US11556824B2 (en) | 2019-09-06 | 2020-06-16 | Methods for estimating accuracy and robustness of model and devices thereof |
| JP2020109856A JP7501151B2 (ja) | 2019-09-06 | 2020-06-25 | モデルの正確性及びロバスト性の推定方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910842132.1A CN112464965B (zh) | 2019-09-06 | 2019-09-06 | 估计模型的准确性和鲁棒性的方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112464965A CN112464965A (zh) | 2021-03-09 |
| CN112464965B true CN112464965B (zh) | 2024-06-21 |
Family
ID=74807113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910842132.1A Active CN112464965B (zh) | 2019-09-06 | 2019-09-06 | 估计模型的准确性和鲁棒性的方法及其装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11556824B2 (zh) |
| JP (1) | JP7501151B2 (zh) |
| CN (1) | CN112464965B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108765A (zh) * | 2017-12-28 | 2018-06-01 | 北京理工大学 | 一种基于概率密度比的数据融合的设备故障诊断方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010092266A (ja) | 2008-10-08 | 2010-04-22 | Nec Corp | 学習装置、学習方法及びプログラム |
| US20120284212A1 (en) * | 2011-05-04 | 2012-11-08 | Google Inc. | Predictive Analytical Modeling Accuracy Assessment |
| WO2012151198A1 (en) * | 2011-05-04 | 2012-11-08 | Google Inc. | Predictive analytical modeling accuracy assessment |
| US9824296B2 (en) * | 2011-11-10 | 2017-11-21 | Canon Kabushiki Kaisha | Event detection apparatus and event detection method |
| JP6109037B2 (ja) * | 2013-10-23 | 2017-04-05 | 本田技研工業株式会社 | 時系列データ予測装置、時系列データ予測方法、及びプログラム |
| WO2017183548A1 (ja) | 2016-04-22 | 2017-10-26 | 日本電気株式会社 | 情報処理システム、情報処理方法、及び、記録媒体 |
| CN106203628B (zh) * | 2016-07-11 | 2018-12-14 | 深圳先进技术研究院 | 一种增强深度学习算法鲁棒性的优化方法和系统 |
| US11151221B2 (en) * | 2017-03-07 | 2021-10-19 | International Business Machines Corporation | Probability density ratio estimation |
| JP6767355B2 (ja) | 2017-03-29 | 2020-10-14 | 株式会社東芝 | モデル構築システムおよびモデル構築方法 |
| CN108182427B (zh) * | 2018-01-30 | 2021-12-14 | 电子科技大学 | 一种基于深度学习模型和迁移学习的人脸识别方法 |
| CN108985379B (zh) * | 2018-07-25 | 2021-04-30 | 北京京东尚科信息技术有限公司 | 分类器的性能评估方法、装置和计算机可读存储介质 |
| CN113196314B (zh) * | 2018-10-15 | 2023-09-01 | 皇家飞利浦有限公司 | 适配预测模型 |
-
2019
- 2019-09-06 CN CN201910842132.1A patent/CN112464965B/zh active Active
-
2020
- 2020-06-16 US US16/902,756 patent/US11556824B2/en active Active
- 2020-06-25 JP JP2020109856A patent/JP7501151B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108765A (zh) * | 2017-12-28 | 2018-06-01 | 北京理工大学 | 一种基于概率密度比的数据融合的设备故障诊断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112464965A (zh) | 2021-03-09 |
| JP2021043950A (ja) | 2021-03-18 |
| US11556824B2 (en) | 2023-01-17 |
| JP7501151B2 (ja) | 2024-06-18 |
| US20210073665A1 (en) | 2021-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11586988B2 (en) | Method of knowledge transferring, information processing apparatus and storage medium | |
| US10262233B2 (en) | Image processing apparatus, image processing method, program, and storage medium for using learning data | |
| Baştanlar et al. | Introduction to machine learning | |
| WO2018196760A1 (en) | Ensemble transfer learning | |
| US20190311258A1 (en) | Data dependent model initialization | |
| CN109960808B (zh) | 一种文本识别方法、装置、设备及计算机可读存储介质 | |
| US20120059788A1 (en) | Rating prediction device, rating prediction method, and program | |
| US11295240B2 (en) | Systems and methods for machine classification and learning that is robust to unknown inputs | |
| JP7276436B2 (ja) | 学習装置、学習方法、コンピュータプログラム及び記録媒体 | |
| Akrim et al. | Classification of Tajweed Al-Qur'an on Images Applied Varying Normalized Distance Formulas | |
| CN108133224B (zh) | 用于评估分类任务复杂度的方法 | |
| Wilson et al. | Identification of metallic objects using spectral magnetic polarizability tensor signatures: Object classification | |
| US10891559B2 (en) | Classifying test data based on a maximum margin classifier | |
| CN115527246A (zh) | 信息处理方法、信息处理装置和存储介质 | |
| CN107688822B (zh) | 基于深度学习的新增类别识别方法 | |
| US20210073591A1 (en) | Robustness estimation method, data processing method, and information processing apparatus | |
| CN112464965B (zh) | 估计模型的准确性和鲁棒性的方法及其装置 | |
| CN116245139B (zh) | 图神经网络模型训练方法和装置、事件检测方法和装置 | |
| Lim et al. | More powerful selective kernel tests for feature selection | |
| US11756319B2 (en) | Shift invariant loss for deep learning based image segmentation | |
| JP2022111993A (ja) | 情報処理装置及び情報処理方法 | |
| Wu et al. | MetaWCE: Learning to Weight for Weighted Cluster Ensemble | |
| CN113852629A (zh) | 基于自然邻的自适应加权核密度的网络连接异常识别方法及计算机存储介质 | |
| CN113052512A (zh) | 风险预测方法、装置和电子设备 | |
| CN112819098A (zh) | 一种基于三元组和差额度量的域自适应方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |