CN112464966A - 鲁棒性估计方法、数据处理方法和信息处理设备 - Google Patents

鲁棒性估计方法、数据处理方法和信息处理设备 Download PDF

Info

Publication number
CN112464966A
CN112464966A CN201910842524.8A CN201910842524A CN112464966A CN 112464966 A CN112464966 A CN 112464966A CN 201910842524 A CN201910842524 A CN 201910842524A CN 112464966 A CN112464966 A CN 112464966A
Authority
CN
China
Prior art keywords
classification
training
sample
data set
robustness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910842524.8A
Other languages
English (en)
Inventor
钟朝亮
石自强
夏文升
孙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910842524.8A priority Critical patent/CN112464966A/zh
Priority to JP2020111506A priority patent/JP2021043951A/ja
Priority to US17/012,357 priority patent/US20210073591A1/en
Publication of CN112464966A publication Critical patent/CN112464966A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了鲁棒性估计方法、数据处理方法和信息处理设备。鲁棒性估计方法用于估计基于训练数据集通过训练预先获得的分类模型的鲁棒性，并且包括：针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度；以及基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。

Description

鲁棒性估计方法、数据处理方法和信息处理设备
技术领域
本公开总体上涉及机器学习领域，具体而言，涉及用于估计通过训练获得的分类模型的鲁棒性的鲁棒性估计方法、能够实现该鲁棒性估计方法的信息处理设备、以及利用以该鲁棒性估计方法挑选的分类模型的数据处理方法。
背景技术
随着机器学习的发展，基于机器学习获得的分类模型也获得日益广泛的关注，并且在图像处理、文本处理、时序数据处理等各种领域获得越来越多的实际应用。
对于包括分类模型在内的通过训练获得的各种模型，可能存在用于训练模型的训练数据集与最终应用模型的目标数据集不是独立同分布、即二者之间存在偏差(bias)的情况。因此，可能存在分类模型对于训练数据集的性能较好、而对目标数据集的性能或鲁棒性不佳的问题。当将这样的模型应用于真实场景的目标数据集时，其处理性能可能会大幅下降。相应地，期望能够预先了解分类模型对于目标数据集的性能或鲁棒性。
然而，由于目标数据集中的样本的标签都是未知的，导致无法直接计算分类模型对目标数据集的鲁棒性。因此，期望提供一种能够估计分类模型对于目标数据集的鲁棒性的方法。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于预先了解分类模型对于目标数据集的鲁棒性的需求，本发明的目的之一是提供一种鲁棒性估计方法，其能够在不知晓目标数据集中的目标样本的标签的情况下，估计分类模型对目标数据集的鲁棒性。
根据本公开的一个方面，提供了一种鲁棒性估计方法，其用于估计基于训练数据集通过训练预先获得的分类模型的鲁棒性。该鲁棒性估计方法包括：针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内(即，满足预定阈值要求)的目标样本，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度；以及基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。
依据本公开的又一方面，还提供了一种数据处理方法，包括:将目标样本输入到分类模型中；以及利用分类模型，对目标样本进行分类，其中，该分类模型是利用训练数据集预先通过训练获得的，并且其中，利用根据本公开的一个方面的鲁棒性估计方法所估计的该分类模型针对目标样本所属于的目标数据集的分类鲁棒性超过预定的鲁棒性阈值。
根据本公开的另一方面，提供了一种信息处理设备，其包括处理器，所述处理器被配置为：针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度，其中，该分类模型是基于训练数据集通过训练预先获得的；以及基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。
依据本公开的其它方面，还提供了一种使得计算机实现如上所述的鲁棒性估计方法的程序。
依据本公开的又一方面，还提供了相应的存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得机器执行上述鲁棒性估计方法。
上述根据本公开实施例的各个方面，至少能够获得以下一项或多项益处：能够在不知晓目标数据集中的目标样本的标签的情况下，基于分类模型对训练数据集中的训练样本以及目标数据集中的相应(或相似)目标样本的分类结果之间的分类相似度，估计分类模型对目标数据集的鲁棒性。此外，利用根据本公开实施例的鲁棒性估计方法能够从预先训练好的多个候选分类模型中挑选出对于目标数据集具有良好鲁棒性的分类模型，并且将这样的分类模型应用于后续的数据处理可以提高后续处理的性能。
通过以下结合附图对本公开的最佳实施例的详细说明，本公开的这些以及其他优点将更加明显。
附图说明
本公开可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：
图1是示意性地示出根据本公开的一个实施例的鲁棒性估计方法的示例流程的流程图。
图2是用于说明在图1所示的鲁棒性估计方法中的用于计算分类相似度的步骤S101中执行的示例处理的说明图。
图3是示意性地示出根据本公开的另一实施例的鲁棒性估计方法的示例流程的流程图。
图4是示意性地示出根据本公开的又一实施例的鲁棒性估计方法的示例流程的流程图。
图5是示意性地示出在图4所示的鲁棒性估计方法中的用于确定基准鲁棒性的步骤S400中执行的示例处理的流程图。
图6是用于说明根据本公开实施例的鲁棒性估计方法的准确性的示例表格。
图7是示意性地示出根据本公开实施例的鲁棒性估计装置的一个示例结构的示意性框图。
图8是示意性地示出根据本公开实施例的鲁棒性估计装置的另一示例结构的示意性框图。
图9是示意性地示出根据本公开实施例的鲁棒性估计装置的又一示例结构的示意性框图。
图10是示意性地示出应用根据本公开实施例的鲁棒性估计方法确定具有良好鲁棒性的分类模型来进行数据处理的示例流程的流程图。
图11是示出了可用来实现根据本公开实施例的鲁棒性估计方法和装置以及信息处理设备的一种可能的硬件配置的结构简图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
根据本公开的一个方面，提供了一种鲁棒性估计方法。图1是示意性地示出根据本公开实施例的鲁棒性估计方法100的示例流程的流程图，该方法用于估计基于训练数据集通过训练预先获得的分类模型的鲁棒性。
如图1所示，鲁棒性估计方法100可以包括：步骤S101，针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本(即与该训练样本的样本相似度满足预定阈值要求的目标样本，在本文中，这样的目标样本也可以被称为该训练样本的相应或相似目标样本)，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度；以及步骤S103，基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。
利用本实施例的鲁棒性估计方法，能够在不知晓目标数据集中的目标样本的标签的情况下，基于分类模型对训练样本以及相应(或相似)目标样本的分类结果之间的分类相似度，估计分类模型对目标数据集的鲁棒性。例如，如果分类模型对训练样本的分类结果与分类模型对其相应(或相似)目标样本的分类结果彼此相似或一致，则可以认为分类模型对目标数据集是鲁棒的。
作为示例，分类模型的训练数据集和目标数据集可以均包括图像数据样本或者时序数据样本等。
举例而言，本公开实施例的鲁棒性估计方法中所涉及的分类模型可以是用于各种图像数据的分类模型，例如包括用于语义分割、手写字符识别、交通标识识别等各种图像分类应用的分类模型等。这样的分类模型可以采用适合于图像数据分类的各种形式，诸如基于卷积神经网络(CNN)的模型等。此外，分类模型也可以是用于各种时序数据的分类模型，例如用于基于先前的气象数据进行气象预测的分类模型等。这样的分类模型可以采用适合于时序数据分类的各种形式，诸如基于循环神经网络(RNN)的模型等。
本领域技术人员可以理解，本公开实施例的鲁棒性估计方法中的分类模型的应用场景以及该分类模型及其处理的数据的具体类型或形式均不受限制，只要该分类模型是基于训练数据集通过训练预先获得、并将应用于目标数据集即可。
为便于描述，以下将主要结合分类模型C的具体示例描述本公开实施例的具体处理。在该示例中，使用由训练(图像)样本x构成的训练数据集DS通过训练预先获得用于将图像样本分类为预先设置的N个类别之一的分类模型C(N为大于1的自然数)，该分类模型C将被应用于由目标(图像)样本y构成的目标数据集DT，并且分类模型C是基于卷积神经网络(CNN)的模型。在结合该示例给出的本公开实施例的基础上，本领域技术人员可以将本公开的实施例适当地应用于其他的数据和/或模型形式，在此不再赘述。
现在，将结合上述分类模型C的示例参照图1描述在本实施例的鲁棒性估计方法100的示例流程的各个步骤中执行的示例处理。首先，将结合上述分类模型C的示例描述用于计算分类相似度的步骤S101中的示例处理。
在步骤S101中，首先需要针对训练数据集DS中的每个训练样本x，计算目标数据集DT中的各个目标样本y与该训练样本x的样本相似度，以便为该训练样本x确定样本相似度符合预定阈值要求的相应或相似目标样本。
在一个优选实施例中，可以使用分别从训练样本和目标样本提取的特征之间的相似度来表征这些样本之间的样本相似度。
例如，可以计算利用分类模型C从训练样本x提取的特征f(x)以及从目标样本y提取的特征f(y)之间的特征相似度，作为样本x与y之间的样本相似度。这里，f()表示利用分类模型C从输入样本提取特征的函数。在分类模型C为用于图像处理的CNN模型的本示例中，f()可以表示提取紧接在CNN模型的Softmax激活函数之前的全连接层的输出，以作为从输入的样本提取的向量形式的特征。本领域技术人员可以理解，针对不同的应用和/或数据，可以提取CNN模型的不同层的输出以作为适当的特征，本公开对此不作特别限制。
对于例如以上述方式从训练样本x和目标样本y提取的特征f(x)和f(y)，可以计算两者之间的L1范数距离、欧氏距离或余弦距离等，以表征这些特征之间的特征相似度、进而表征相应的样本相似度。注意，在本文中，如本领域技术人员可以理解的那样，“计算/确定相似度”的表述涵盖了“计算/确定表征相似度的指标”的情况，并且下文中有时会通过计算表征相似度的指标(例如L1范数距离)的方式确定相似度，对此将不再特别说明。
作为示例，可以通过以下等式(1)来计算训练样本x的特征f(x)与目标样本y的特征f(y)之间的L1范数距离D(x,y)。
D(x,y)＝‖f(x)-f(y)‖…(1)
上述等式(1)中的L1范数距离D(x,y)的计算结果在0到1之间，并且D(x,y)的取值越小，表示相应特征f(x)与f(y)之间的特征相似度越大、即相应样本x和y之间的样本相似度越大。
在计算目标数据集DT中的各个目标样本y与给定训练样本x之间的特征之间的L1范数距离D(x,y)以表征样本相似度之后，可以确定样本相似度在预定阈值范围内(即，L1范数距离D(x,y)小于预定的距离阈值)的那些目标样本y。例如，可以确定满足以下公式(2)的目标样本y，这些目标样本y与训练样本x的特征之间的L1范数距离D(x,y)小于预定的距离阈值δ，并且被作为该训练样本x的“相应”或“相似”目标样本：
D(x,y)≤δ…(2)
可以根据处理负荷、应用需求等各种设计因素适当地确定上述的距离阈值δ。
举例而言，可以基于训练数据集DS中所包括的N个类别的训练样本的平均类内距离(表征训练样本的平均类内相似度)确定相应的距离阈值。具体地，可以确定训练数据集DS中每对同类样本之间的L1范数距离δp，其中，p＝1,2,…P，P表示训练数据集DS中的各个类别的同类样本对的总数。然后，可以基于所有类别的同类样本对的L1范数距离δp计算整个训练数据集DS的平均类内距离如下：
Figure BDA0002194172640000071
通过上述方式计算的δ可以作为表征相似度阈值的距离阈值。
参照图2可以更好地理解上述公式(2)的含义。图2是用于说明在图1所示的鲁棒性估计方法100中的用于计算分类相似度的步骤S101中执行的示例处理的说明图，其示意性示出了满足上述公式(2)的特征空间中的训练样本和目标样本。在图2中，每个×符号表示特征空间中的一个训练样本，每个·符号表示特征空间中的一个目标样本，以每个×符号为圆心、半径为δ的空心圆表示该训练样本在特征空间中的邻域，落入该空心圆的·符号表示与该训练样本的样本相似度满足预定阈值要求(本示例中为特征之间的L1范数距离D(x,y)在距离阈值δ内)的目标样本。
利用上述方式，能够针对每个训练样本确定目标数据集中的相应或相似目标样本，以便后续基于每个训练样本与其相应或相应的目标样本的分类结果之间的分类相似度估计分类模型对目标数据集的分类鲁棒性。
以上示例讨论了针对训练数据集中的各个训练样本使用统一的距离阈值(对应于统一的相似度阈值)来确定目标数据集的相应目标样本的情形。
在一个优选实施例中，在确定与训练样本的样本相似度在预定阈值范围内(或满足预定阈值要求)的目标样本的过程中，可以使用与每个训练样本所属的类别相关联的相似度阈值作为相应的预定阈值。举例而言，与一个训练样本所属的类别相关联的相似度阈值可以包括训练数据集中属于该类别的各个训练样本之间的平均样本相似度。
在这种情况下，在本示例中，针对训练数据集DS中的第i个类别(i＝1,2,…，N)的训练样本，可以使用该类别的所有训练样本的类内平均距离δi(即，第i类的训练样本当中每对训练样本的特征之间的L1范数距离的平均值，i＝1,2,…N)作为该类别的距离阈值δi，并取代公式(2)确定满足下述公式(2’)的目标数据集DT中的目标样本y，作为第i个类别中的给定训练样本x的相应目标样本：
D(x,y)≤δi…(2’)
发明人发现，每个类别的训练样本的类内平均距离δi可能会彼此不同，并且在该类别的训练样本在特征空间中比较紧凑的情况下取值较小，而在该类别的训练样本在特征中间中比较松散的情况下取值较大。因此，以每个类别的训练样本的类内平均距离作为该类别的距离阈值有利于在特征空间中确定该类别的训练样本的适当邻域，进而针对每个类别的训练样本更准确地确定目标数据集中的相似或相应的目标样本。
在例如以上述公式(1)和(2)或(2’)的方式确定了每个训练样本x及其相应的目标样本y之后，在步骤S101中，可例如通过下述等式(3)继续计算分类模型C对于该训练样本x的分类结果c(x)与所确定的每个目标样本y的分类结果c(y)之间的分类相似度S(x,y)
S(x,y)＝1-‖c(x)-c(y)‖…(3)
其中，c(x)、c(y)分别表示分类模型C对于训练样本x与目标样本y的分类结果。该分类结果可以采用与分类模型C所输出N个类别相对应的N维向量的形式，其中，仅与分类模型C对输入样本划分的类别相对应的那个维度取值为1，其余维度取值均为0。‖c(x)-c(y)‖表示这样的分类结果c(x)、c(y)之间的L1范数距离，其取值为0或1。如果分类结果满足c(x)＝c(y)，则分类相似度S(x,y)为1，否则S(x,y)为0。注意，这里给出的公式(3)仅仅是一个示例计算方式，本领域技术人员可以采用其他计算相似度的方式计算分类结果之间的相似度。例如，假设采用其他形式计算分类相似度，则可以将分类相似度S(x,y)的取值范围设置在0与1之间，并且在分类结果满足c(x)＝c(y)时设置S(x,y)＝1，否则S(x,y)小于1，在此不再赘述。
当在步骤S101中获得例如公式(3)形式的每个训练样本x的分类结果与相对应的各个目标样本y的分类结果之间的分类相似度之后，图1的示例处理可以进行到步骤S103。
在步骤S103中，基于训练数据集DS中各个训练样本x的分类结果c(x)与目标数据集DT中相对应的目标样本y的分类结果c(y)之间的分类相似度S(x,y)＝1-‖c(x)-c(y)‖，例如通过下述公式(4)确定分类模型C对目标数据集DT的分类鲁棒性R1(C,T)。
Figure BDA0002194172640000091
上述公式(4)表示在训练数据集DS中的训练样本x和目标数据集DT中的目标样本y满足条件‖f(x)-f(y)‖≤δ的情况下计算其分类相似度1-‖c(x)-c(y)‖(即，在步骤S101中仅针对每个训练样本x与其“相似”或“相应”的目标样本y计算分类相似度)，并通过计算所获得的所有分类相似度的期望值(即，计算所有分类相似度的平均值)来计算分类模型C对目标数据集DT的分类鲁棒性。
利用诸如上述公式(4)等形式，可以对于训练数据集的每个训练样本在特征空间中的邻域(即以该样本为中心，以距离阈值δ为半径的邻域)内，统计该训练样本与其相应(或相似)目标样本分类一致的比例。如果分类模型对训练样本的分类结果与分类模型对其相应(或相似)目标样本的分类结果一致的比例越高，则认为分类模型对目标数据集的鲁棒性越高。
替选地，如果在步骤S101中取代公式(2)而使用了公式(2’)形式的距离阈值来针对训练样本x确定目标数据集DT中的相应目标样本y，则上述公式(4)将变为下述公式(4’).
Figure BDA0002194172640000092
公式(4’)中的N表示分类模型所划分的类别的个数，Ci表示训练数据集中第i类的训练样本的集合，δi表示第i类的距离阈值，其被设置为第i类的训练样本的特征之间的类内平均距离。与公式(4)相比，公式(4’)使用了与每个类别关联的距离阈值δi，从而能够针对每个类别的训练样本更准确地确定相应的目标样本，进而能够更准确地估计分类模型对目标数据集的鲁棒性。
以上参照图1和图2描述了根据本公开的一个实施例的鲁棒性估计方法的示例流程。注意，尽管在此参照图1和图2给出了基于公式(1)至公式(4’)确定鲁棒性的具体方式，但在本实施例的基础上，本领域技术人员可以采用任意适当方式进行上述确定，只要能够基于分类模型对训练样本以及相应(或相似)目标样本的分类结果之间的分类相似度来估计分类模型对目标数据集的鲁棒性即可。利用本实施例的鲁棒性估计方法，可以在不知晓目标数据的标签的情况下，预先估计分类模型对目标数据集的鲁棒性。另外，由于该鲁棒性估计方法仅涉及与分类模型的类别数N相对应的计算量，即具有O(NlogN))的较小时间复杂度，因此非常适合于涉及大数据集的分类模型的鲁棒性估计。
接下来，将在以上参照图1和图2描述的实施例的基础上，参照图3至图5描述根据本公开的另外的实施例的鲁棒性估计方法的示例流程。
首先参照图3，其示出了根据本公开的另一实施例的鲁棒性估计方法的示例流程。
如图3所示，本实施例的鲁棒性估计方法300与图1的鲁棒性估计方法100的区别在于，除了与图1中的步骤S101和S103分别对应的步骤S301、S303的步骤之外，还另外地包括步骤S302，用于基于分类模型对于每个训练样本的分类结果与每个训练样本的真实类别，确定分类模型对每个训练样本的分类置信度。此外，在图3的示例方法300的步骤303中，除了基于训练数据集中的各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度之外、还基于分类模型对各个训练图像样本的分类置信度来确定分类模型对目标数据集的分类鲁棒性。
除了上述区别之外，本实施例的鲁棒性估计方法300中的步骤S301与图1的鲁棒性估计方法100的相应步骤S101基本相同或类似。因此，以下将在参照图1至图2描述的实施例的基础上，继续结合分类模型C以及训练数据集DS和目标数据集DT的示例来主要描述本实施例的不同之处，并省略对共同之处的描述。
具体地，在图3的示例方法300中，除了通过与图1的步骤S101类似的步骤S301确定诸如等式(3)形式的、分类模型C对于每个训练样本x的分类结果c(x)与对于相应目标样本y的分类结果c(y)之间的分类相似度S(x,y)之外，还在步骤S302中，基于分类模型C对于每个训练样本x的分类结果c(x)与训练样本x的真实类别(即真实标签)label(x)，通过例如下述公式(5)的方式确定分类模型C对训练样本x的分类置信度Con(x)。
Con(x)＝1-‖label(x)-c(x)‖…(5)
这里，label(x)表示与分类结果c(x)类似地采用N维向量形式的、训练样本x的真实类别，Con(x)表示基于训练样本x的真实类别label(x)与分类结果c(x)之间的L1范数距离‖label(x)-c(x)‖计算的训练样本x的分类置信度。Con(x)取值在0与1之间，并且仅当分类模型C对训练样本x的分类结果c(x)与其真实类别label(x)一致时Con(x)为1，否则Con(x)为0。
在步骤S302中获得例如上述等式(5)形式的分类置信度Con(x)之后，图3的示例方法300可以进行到步骤303。在步骤S303中，基于训练数据集DS中的各个训练样本x的分类结果c(x)与目标数据集DT中的相对应的目标样本y的分类结果c(y)之间的分类相似度S(x,y)、以及分类模型C对各个训练样本x的分类置信度Con(x)，确定分类模型C对目标数据集DT的分类鲁棒性R3(C,T)。
Figure BDA0002194172640000111
相较于参照图1描述的实施例中的公式(4)，本实施例中的上述公式(6)增加了表示训练样本x的分类置信度Con(x)的项(1-‖label(x)-c(x)‖)。以此方式，本优选实施例附加地考虑了分类模型在训练数据集上的分类正确性，并在估计鲁棒性的过程中降低了被错误分类的训练样本及其相应目标样本的影响，使得鲁棒性的估计更准确。
注意，尽管在此参照图3给出了公式(5)～(6)等作为附加地基于训练样本的分类置信度来确定分类鲁棒性的具体方式，但在本实施例的基础上，本领域技术人员可以采用任意适当方式进行上述鲁棒性估计，只要其能够基于训练样本的分类置信度降低被错误分类的训练样本及其相应目标样本的影响即可，在此不再展开描述。利用本实施例的鲁棒性估计方法，通过在确定分类鲁棒性的过程中附加地考虑训练样本的分类置信度，能够进一步提高鲁棒性估计的准确性。
接下来将参照图4，其示出了根据本公开的又一实施例的鲁棒性估计方法的示例流程。
如图4所示，本实施例的鲁棒性估计方法400与图1的鲁棒性估计方法100的区别在于，除了与图1中的步骤S101和S103分别对应的步骤S401、S403的步骤之外，还另外地包括步骤S400和S405。在步骤S400中，确定分类模型对训练数据集的基准鲁棒性，并且在步骤S405中，基于分类模型对目标数据集的分类鲁棒性和分类模型对训练数据集的基准鲁棒性，确定分类模型对目标数据集的相对鲁棒性。
除了上述区别之外，本实施例的鲁棒性估计方法400中的S401和S403与图1的鲁棒性估计方法100的相应步骤S101和S103基本相同或类似。因此，以下将在参照图1至图2描述的实施例的基础上，继续结合图像分类模型C以及训练数据集DS和目标数据集DT的示例来主要描述本实施例的不同之处，并省略对共同之处的描述。
在图4的示例方法400中，首先，在步骤S400中计算训练数据集的基准鲁棒性。可以通过将训练数据集DS的随机划分为训练子集DS1(第一子集)和目标子集DS2(第二子集)、并将如图1至图3所描述的各个鲁棒性估计方法中的任一方法应用于该训练子集和目标子集，而获得训练数据集的基准鲁棒性。
图5示出了上述步骤S400的一个具体示例。如图5所示，该示例处理可以包括：步骤S4001，通过随机划分训练数据集，获得样本数目均等的第一子集和第二子集；步骤S4003，针对第一子集中的每个训练样本，确定第二子集中与该训练样本的相似度在预定阈值范围内的训练样本，并计算分类模型对于第一子集中的该训练样本的分类结果与分类模型对于所确定的第二子集中的训练样本的分类结果之间的样本相似度；步骤S4005，基于第一子集中的各个训练样本的分类结果与第二子集中的相对应的训练样本的分类结果之间的分类相似度，确定分类模型对训练数据集的基准鲁棒性。
具体地，首先，在步骤S4001中，通过随机划分训练数据集DS，获得样本数目均等的第一子集DS1和第二子集DS2。
接着，在步骤S4003中，针对第一子集DS1中的每个训练样本x1，确定第二子集DS2中与该训练样本x1的相似度在预定阈值的范围内的训练样本x2。例如，可以计算如上述公式(2)形式的L1范数距离D(x1,x2)＝‖f(x1)-f(x2)‖来表征样本x1与x2之间的样本相似度，并在第二子集DS2中确定该L1范数距离在距离阈值δ的范围内、即满足D(x1,x2)≤δ的训练样本x2，作为相对应的训练样本。
接着，可以利用公式(3)，计算分类模型C对于第一子集DS1中的训练样本x1的分类结果c(x1)与对于第二子集DS2中的对应训练样本x2的分类结果c(x2)之间的分类相似度S(x1,x2)＝1-‖c(x1)-c(x2)‖。
然后，在步骤S4005中，基于第一子集DS1中的各个训练样本x1的分类结果c(x1)与第二子集DS2中的相对应的训练样本x2的分类结果c(x2)之间的分类相似度S(x1,x2)，例如利用公式(4)确定分类模型C对训练数据集S的基准鲁棒性R0(C,S)。
Figure BDA0002194172640000131
注意，尽管此处采用公式(4)确定分类模型C对训练数据集S的基准鲁棒性，但可以使用本公开中提供的任意适合确定分类鲁棒性的方式(诸如公式(4’)或公式(6)的方式)确定基准鲁棒性，只要该基准鲁棒性的确定方式与步骤S403中对于目标数据集的分类鲁棒性(以下也称为绝对鲁棒性)的确定方式一致即可。
现在返回参照图4。在例如通过参照图5描述的方式获得基准鲁棒性R0(C,S)之后，并且在通过与图1的步骤S101和S103类似的步骤S401和S403确定诸如公式(4)形式的、分类模型对于目标数据集的绝对鲁棒性R1(C,S)之后，方法400可以进行到步骤S405。
在步骤S405中，基于诸如公式(4)形式的绝对鲁棒性R1(C,S)以及诸如公式(7)形式的基准鲁棒性R0(C,S)，可以计算下述相对鲁棒性：
Figure BDA0002194172640000132
即，可以计算
Figure BDA0002194172640000133
通过计算训练数据集的基准鲁棒性、并基于基准鲁棒性和绝对鲁棒性计算相对鲁棒性，实现了对分类鲁棒性进行校准的效果，从而避免分类模型自身的偏差影响分类鲁棒性的估计。
注意，尽管在此参照图4至图5给出了公式(7)～(8)等作为确定相对鲁棒性的具体方式，但在本实施例的基础上，本领域技术人员可以采用任意适当方式进行相对鲁棒性的计算，只要能够基于训练数据集的基准鲁棒性对目标数据集的绝对鲁棒性进行校准即可，在此不再展开描述。利用本实施例的鲁棒性估计方法，通过分类鲁棒性的校准，能够校正分类模型本身的训练过程中的偏差，从而进一步提高鲁棒性估计的准确性。
以上参照图1至图5描述的根据本公开各个实施例的鲁棒性估计方法能够彼此组合，以在不用的应用场景中采用不同的鲁棒性估计方法。例如，本公开各个实施例的鲁棒性估计方法能够在下述三个方面的不同设置上彼此组合：在确定训练样本的相应目标样本时，针对训练样本的每个类别使用相同的相似度阈值还是不同的相似度阈值(诸如公式(2)或(2’)的方式确定相应目标样本，并以公式(4)或(4’)的方式计算鲁棒性)；在计算对目标数据集的分类鲁棒性时，是否考虑训练样本的分类置信度(以公式(4)或(6)的方式计算鲁棒性)；在计算对目标数据集的分类鲁棒性时，是计算相对鲁棒性还是绝对鲁棒性(以公式(4)或(7)的方式计算鲁棒性)。相应地，可以获得八种不同的鲁棒性估计方法，并在不同的应用场景中采用最适当的方法。
接下来，将描述评估鲁棒性估计方法的准确性的方式、以及利用该评估方式所评估的根据本公开实施例获得的各种鲁棒性估计方法的准确性。
作为示例，可以基于鲁棒性真值、以及给定鲁棒性估计方法对于多个分类模型所估计的估计鲁棒性，计算出该鲁棒性估计方法的平均估计误差(Average EstimationError,AEE)，从而评估鲁棒性估计方法的准确性。
更具体地，首先以分类准确性作为分类模型的性能的示例指标，定义以下公式(9)形式的鲁棒性真值G：
Figure BDA0002194172640000141
上述公式(9)表示给定的分类模型在目标数据集T上的分类准确性accT与其在与训练数据集或者与训练数据集对应的测试集S(例如与训练数据集独立同分布的测试集)上的分类准确性accS的比值。这里，由于在目标数据集上的准确率accT可能会高于在测试集上的准确率accS，在公式(9)的分子上采用了两者之间的最小值，以将鲁棒性真值G的取值限制在0和1之间以便于后续运算。例如，假设分类模型在与测试集上的准确率accS为0.95，在目标数据集上的准确率accT下降至0.80，那么其对于目标数据集的鲁棒性真值G则为0.84。鲁棒性真值G的值越高，表示分类模型在目标数据集上的准确率越接近其在测试集上的准确率。
基于针对多个模型计算的上述公式(9)形式的鲁棒性真值、以及通过给定鲁棒性估计方法得到的各个模型的估计鲁棒性，可以确定该鲁棒性估计方法是否有效。例如，可以采用如以下公式(10)形式的平均估计误差AEE作为评价指标。
Figure BDA0002194172640000151
在公式(10)中，M表示利用给定鲁棒性估计方法来估计鲁棒性的分类模型的数量(M为大于1的自然数)，Rj表示利用该鲁棒性估计方法所获得的第j个分类模型的估计鲁棒性，Gj表示利用公式(9)获得的第j个分类模型的鲁棒性真值(j＝1,2,…M)。以上述方式计算平均估计误差ACC能够反映鲁棒性估计方法的估计结果的平均误差率，并且该值越小则该鲁棒性估计方法的准确性越高。
利用上述公式(10)形式的平均估计误差计算方法，可以针对一个应用示例评估根据本公开实施例获得的鲁棒性估计方法的准确性。图6是用于说明根据本公开实施例的鲁棒性估计方法的准确性的示例表格，其示出了针对特定应用示例利用公式(10)计算的鲁棒性估计方法(1)～(8)的平均估计误差(AEE)。
在图6的应用示例中，分别以编号为(1)～(8)的8个鲁棒性估计方法中的每一个来估计M个分类模型中的每个分类模型Cj的分类鲁棒性(j＝1,2,…M，这里M＝10)，并基于每个鲁棒性估计方法对各个分类模型的估计鲁棒性以及各个分类模型的鲁棒性真值，通过公式(10)计算得到如图6的表格的最右列所示的每个鲁棒性估计方法的平均估计误差(AEE)。
图6的应用示例中所涉及的每个分类模型Cj是用于将图像样本分类为预先设置的Nj个类别(Nj为大于1的自然数)之一的CNN模型，训练该分类模型Cj的训练数据集Dj S为MNIST手写字符集的子集，要应用该分类模型Cj的目标数据集Dj T为USPS手写字符集的子集。
图6的应用示例所采用的鲁棒性估计方法(1)～(8)是直接利用以上参照图1至图5描述的根据本公开实施例的鲁棒性估计方法或者利用这些方法中的一个或更多个的组合所获得的。如图6的表格的中间三列所示，鲁棒性估计方法(1)～(8)在下述三个方面采用了不同设置：在确定训练样本的相应目标样本时，针对训练样本的每个类别设置相同的相似度阈值还是不同的相似度阈值(诸如公式(2)或(2’)的方式确定相应目标样本，并以公式(4)或(4’)的方式计算鲁棒性)；在计算对目标数据集的分类鲁棒性时，是否考虑训练样本的分类置信度(以公式(4)或(6)的方式计算鲁棒性)；在计算对目标数据集的分类鲁棒性时，是计算相对鲁棒性还是绝对鲁棒性(以公式(4)或(7)的方式计算鲁棒性)。
对于在以上三个方面分别采用不同设置的鲁棒性估计方法(1)～(8)，图6的表格的最右列示出了利用公式(10)计算的平均估计误差(AEE)。从图6的表格所示的AEE的计算结果可以看出，利用本公开实施例获得的各种鲁棒性估计方法能够取得很低的估计误差。而且，如图6的表格所示，设置不同的相似度阈值、考虑训练样本的分类置信度都有助于进一步减少平均估计误差，其中最小的平均估计误差仅为0.0461。另外，尽管在本实施例中，尽管采用相对鲁棒性的平均估计误差劣于采用绝对鲁棒性的平均估计误差，但在不同的情形下(例如分类模型本身具有偏差的情况下)，采用相对鲁棒性的方式可以具有更好的准确性。
根据本公开的另一方面，还提供了一种鲁棒性估计装置。下面将参照图7至图9描述根据本公开实施例的鲁棒性估计装置。
图7是示意性地示出根据本公开实施例的鲁棒性估计装置的一个示例结构的示意性框图。
如图7所示，鲁棒性估计装置700可以包括：分类相似度计算单元701，针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度；以及分类鲁棒性确定单元703，基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。
上述鲁棒性估计装置及其各个单元例如可以进行以上参照图1至图2描述的鲁棒性估计方法及其各个步骤的操作和/或处理并实现类似的效果，在此不再进行重复说明。
图8是示意性地示出根据本公开实施例的鲁棒性估计装置的另一示例结构的示意性框图。
如图8所示，本实施例的鲁棒性估计装置800与图7的鲁棒性估计装置700的区别在于，除了与图7中的分类相似度计算单元701和分类鲁棒性确定单元703分别对应的分类相似度计算单元801和分类鲁棒性确定单元803之外，还另外地包括分类置信度计算单元802，用于基于分类模型对于每个训练样本的分类结果与每个训练样本的真实类别，确定分类模型对每个训练样本的分类置信度。此外，在图8的示例装置800的分类鲁棒性确定单元803中，除了基于训练数据集中的各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度之外、还基于分类模型对各个训练样本的分类置信度来确定分类模型对目标数据集的分类鲁棒性。
上述鲁棒性估计装置及其各个单元例如可以进行以上参照图3描述的鲁棒性估计方法及其各个步骤的操作和/或处理并实现类似的效果，在此不再进行重复说明。
图9是示意性地示出根据本公开实施例的鲁棒性估计装置的又一示例结构的示意性框图。
如图9所示，本实施例的鲁棒性估计装置900与图7的鲁棒性估计装置700的区别在于，除了与图7中的分类相似度计算单元701和分类鲁棒性确定单元703分别对应的分类相似度计算单元901和分类鲁棒性确定单元903之外，还另外地包括基准鲁棒性确定单元9000和相对鲁棒性确定单元905，其中，基准鲁棒性确定单元9000用于确定分类模型对训练数据集的基准鲁棒性，相对鲁棒性确定单元905用于基于分类模型对目标数据集的分类鲁棒性和分类模型对训练数据集的基准鲁棒性，确定分类模型对目标数据集的相对鲁棒性。
上述鲁棒性估计装置及其各个单元例如可以进行以上参照图4至图5描述的鲁棒性估计方法及其各个步骤的操作和/或处理并实现类似的效果，在此不再进行重复说明。
根据本公开的又一方面，提供了一种利用根据本公开实施例的鲁棒性估计方法所挑选的具有良好鲁棒性的分类模型来进行数据分类的数据处理方法。图10是示意性地示出应用根据本公开的实施例的鲁棒性估计方法确定具有良好鲁棒性的分类模型来进行数据处理的示例流程的流程图
如图10所示，该数据处理方法10包括：步骤S11，将目标样本输入到分类模型中；以及步骤S13，利用分类模型，对目标样本进行分类。这里，分类模型是利用训练数据集预先通过训练获得的，并且利用如以上参照图1至图5描述的根据本公开实施例的任一鲁棒性估计方法(或其组合)所估计的该分类模型针对目标样本所属于的目标数据集的分类鲁棒性超过预定的鲁棒性阈值。
如在描述本公开实施例的鲁棒性估计方法时所讨论的，本公开实施例的鲁棒性估计方法可以应用于包括图像数据、时序数据在内的多种数据的分类模型，并且这些分类模型可以采用CNN模型、RNN模型等各种适当形式。相应地，以这种鲁棒性估计方法所挑选的具有良好鲁棒性的分类模型(即以这种鲁棒性估计方法所估计的鲁棒性较高的分类模型)可以被应用于上述各种数据处理领域，从而确保所挑选的分类模型对所应用的目标数据集获得良好的分类性能，因而可以提高后续数据处理的性能。
以图像数据的分类为例，因为对真实世界的图片进行标注代价非常高，所以在训练分类模型的过程中，可以利用以其他途径预先获得的标注好的图像(例如已有的训练数据样本)作为训练数据集。然而，这种预先获得的标注好的图像可能无法百分之百地与真实世界的图片保持一致，所以利用其训练的分类模型在真实世界的的目标数据集上的表现可能会大打折扣。在这种情况下，利用根据本公开实施例的鲁棒性估计方法，能够估计利用以其他途径预先获得的训练数据集所训练的分类模型在真实世界的目标数据集上的分类鲁棒性，从而可以在实际部署和使用之前挑选具有良好鲁棒性的分类模型，进而提高后续的数据处理的效果。
作为示例，以下将描述图10的方法可以应用的多个应用示例，这些应用示例包括下述类型的分类模型：用于语义分割的图像分类模型、用于手写字符识别的图像分类模型、用于交通标识识别的图像分类模型、以及用于气象预测的时序数据分类模型。
应用示例1
根据本公开实施例的数据处理方法的应用示例1可以包括语义分割(semanticsegmentation)。语义分割指的是给定一幅图像，分割出该图像中表示不同物体的不同部分(例如以不同颜色对不同物体进行标识)，其原理是利用分类模型将图像中的每个像素分类为预定义的多个对象类别之一。
在语义分割的应用中，因为对真实世界的图片进行标注代价非常高，所以可以在训练用于语义分割的分类模型的过程中利用预先标注好的、仿真环境(如3D游戏)中的场景的图片作为训练数据集。相较于真实世界的图片，在仿真环境中很容易通过编程实现物体的自动标注，因此很容易得到有标签的训练样本。然而，由于仿真环境无法百分之百地与真实环境保持一致，所以利用仿真环境的训练样本训练的分类模型在真实环境的目标数据集上的表现可能会大打折扣。
因此，利用根据本公开实施例的鲁棒性估计方法，能够估计利用仿真环境的训练数据集所训练的分类模型在真实环境的目标数据集上的分类鲁棒性，从而可以在实际部署和使用之前挑选具有良好鲁棒性的分类模型，进而提高后续的数据处理的效果。
应用示例2
根据本公开实施例的数据处理方法的应用示例1可以包括诸如交通标识等图像的识别。交通标识等图像的识别可以通过将给定图像中包括的交通标识分类为预定义的多个标识类别之一来实现，并且在自动驾驶等领域具有重要意义。
与语义分割的应用示例类似，可以在训练用于交通标识识别的分类模型的过程中使用预先标注好的、仿真环境(如3D游戏)中的场景的图片作为训练数据集。利用根据本公开实施例的鲁棒性估计方法，能够估计利用仿真环境的训练数据集所训练的该分类模型在真实环境的目标数据集上的分类鲁棒性，从而可以在实际部署和使用之前挑选具有良好鲁棒性的分类模型，进而提高后续的数据处理的效果。
应用示例3
根据本公开实施例的数据处理方法的应用示例3例如可以包括手写字符(数字、文字)的识别。手写字符的识别可以通过将给定图像中包括的字符分类为预定义的多个字符类别之一来实现。
由于对真实拍摄的手写字符图像进行标注代价非常高，所以可以在训练用于手写字符识别的分类模型的过程中利用已有的有标签的手写字符集，如MNIST、USPS、SVHN等，作为训练数据集。利用根据本公开实施例的鲁棒性估计方法，能够估计这样的训练数据集所训练的该分类模型对于真实环境中拍摄的手写字符的图像(即目标数据集)的分类鲁棒性，从而可以在实际部署和使用之前挑选具有良好鲁棒性的分类模型，进而提高后续的数据处理的效果。
应用示例4
除了基于图像分类的应用场景外，根据本公开实施例的数据处理方法的应用示例还可以包括时序数据分类，例如用于气象预测的时序数据分类模型的应用示例4。用于气象预测的时序数据分类模型可以基于表征给定时段期间的气象的时序气象数据，预测给定时段之后的气象指标，即给出预定义的多个气象指标类别之一。
作为示例，用于气象预测的时序数据分类模型的输入数据可以是给定时段(例如3天内)内的包括时间、PM2.5指数、温度、气压、风速、风向、累计降雨量、累计降雪量等8个维度的信息的给定时长(例如2个小时)的时序数据，并且该分类模型的输出可以是预定义的多个PM2.5指数范围之一。
对于这样的分类模型，例如，训练时可能采用基于A地区的训练数据集，而在应用时可能会应用于B地区的气象预测。再例如，该分类模型训练时可能采用春季的训练数据集，而在应用时可能会应用于秋季的气象预测。利用根据本公开实施例的鲁棒性估计方法，能够估计利用预定地区或季节(或时间)的训练数据集所训练的该分类模型对于不同地区或季节(或时间)的目标数据集的分类鲁棒性，从而可以在实际部署和使用之前挑选具有良好鲁棒性的分类模型，进而提高后续的数据处理的效果。
以上描述了图像数据分类以及时序数据分类的应用示例作为可以应用根据本公开实施例的鲁棒性估计方法以及相应的分类模型进行数据处理的应用场景。在这些应用示例的基础上，本领域技术人员可以理解，只要涉及由于训练数据集与目标数据集之间不是独立同分布等导致分类模型对目标数据集的性能可能不同于对训练数据集的性能的情况，就可以应用本公开实施例的鲁棒性估计方法来估计分类模型对目标数据集的鲁棒性并挑选具有良好鲁棒性的分类模型，从而改进后续的数据处理的效果。
根据根本公开的又一方面，提供了一种信息处理设备。该信息处理设备可以实现根据本公开实施例的鲁棒性估计方法，其可以包括处理器，该处理器被配置为：针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度，其中，该分类模型是基于训练数据集通过训练预先获得的；以及基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。
信息处理设备的处理器例如可以被配置为进行以上参照图1至图5描述的鲁棒性估计方法及其各个步骤的操作和/或处理并实现类似的效果，在此不再进行重复说明。
作为示例，训练数据集和目标数据集均包括图像数据样本或时序数据样本。
在一个优选实施例中，信息处理设备的处理器还被配置为：基于分类模型对于每个训练样本的分类结果与每个训练样本的真实类别，确定分类模型对每个训练样本的分类置信度，其中，基于训练数据集中的各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度、以及分类模型对各个训练样本的分类置信度，确定分类模型对目标数据集的分类鲁棒性。
在一个优选实施例中，信息处理设备的处理器还被配置为：通过随机划分训练数据集，获得样本数目均等的第一子集和第二子集；针对第一子集中的每个训练样本，确定第二子集中与该训练样本的相似度在预定阈值范围内的训练样本，并计算分类模型对于第一子集中的该训练样本的分类结果与分类模型对于所确定的第二子集中的训练样本的分类结果之间的样本相似度；基于第一子集中的各个训练样本的分类结果与第二子集中的相对应的训练样本的分类结果之间的分类相似度，确定分类模型对训练数据集的基准鲁棒性；以及基于分类模型对目标数据集的分类鲁棒性和分类模型对训练数据集的基准鲁棒性，确定分类模型对目标数据集的相对鲁棒性。
在一个优选实施例中，信息处理设备的处理器还被配置为：在确定目标数据集中与训练样本的样本相似度在预定阈值范围内的目标样本的过程中，使用与该训练样本所属的类别相关联的相似度阈值作为所述预定阈值。
优选地，与该训练样本所属的类别相关联的相似度阈值可以包括训练数据集中属于所述类别的各个训练样本之间的平均样本相似度。
在一个优选实施例中，信息处理设备的处理器还被配置为：在确定目标数据集中与训练样本的样本相似度在预定阈值范围内的目标样本的过程中，计算利用分类模型从该训练样本提取的特征以及从目标数据集中的各个目标样本提取的特征之间的特征相似度，作为该训练样本与各个目标样本之间的样本相似度。
图11是示出了可用来实现根据本公开实施例的鲁棒性估计方法和装置以及信息处理设备的一种可能的硬件配置1100的结构简图。
在图11中，中央处理单元(CPU)1101根据只读存储器(ROM)1102中存储的程序或从存储部分1108加载到随机存取存储器(RAM)1103的程序执行各种处理。在RAM 1103中，还根据需要存储当CPU 1101执行各种处理等等时所需的数据。CPU 1101、ROM 1102和RAM 1103经由总线1104彼此连接。输入/输出接口1105也连接到总线1104。
下述部件也连接到输入/输出接口1105：输入部分1106(包括键盘、鼠标等等)、输出部分1107(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1108(包括硬盘等)、通信部分1109(包括网络接口卡例如LAN卡、调制解调器等)。通信部分1109经由网络例如因特网执行通信处理。根据需要，驱动器1110也可连接到输入/输出接口1105。可拆卸介质1111例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1110上，使得从中读出的计算机程序可根据需要被安装到存储部分1108中。
此外，本公开还提出了一种存储有机器可读取的指令代码的程序产品。上述指令代码由机器读取并执行时，可执行上述根据本公开实施例的信号处理方法。相应地，用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本公开的公开中。
即，本公开还提出了一种存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得机器执行上述根据本公开实施例的鲁棒性估计方法。所述指令代码包括指令代码部分，用于进行下述操作：针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度，其中，该分类模型是基于训练数据集通过训练预先获得的；以及基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。
上述存储介质例如可以包括但不限于磁盘、光盘、磁光盘、半导体存储器等。
在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
此外，本公开的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。
此外，显然，根据本公开的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且，本公开的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
此时，只要该系统或者设备具有执行程序的功能，则本公开的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。
另外，客户信息处理终端通过连接到因特网上的相应网站，并且将依据本公开的计算机程序代码下载和安装到信息处理终端中然后执行该程序，也可以实现本公开的各实施例。
综上，根据本公开实施例，本公开提供了如下方案，但不限于此：
方案1.一种鲁棒性估计方法，用于估计基于训练数据集通过训练预先获得的分类模型的鲁棒性，所述方法包括：
针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度；以及
基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。
方案2.如方案1所述的鲁棒性估计方法，还包括：
基于分类模型对于每个训练样本的分类结果与每个训练样本的真实类别，确定分类模型对每个训练样本的分类置信度，
其中，基于训练数据集中的各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度、以及分类模型对各个训练样本的分类置信度，确定分类模型对目标数据集的分类鲁棒性。
方案3.如方案1所述的鲁棒性估计方法，还包括：
通过随机划分训练数据集，获得样本数目均等的第一子集和第二子集；
针对第一子集中的每个训练样本，确定第二子集中与该训练样本的相似度在预定阈值范围内的训练样本，并计算分类模型对于第一子集中的该训练样本的分类结果与分类模型对于所确定的第二子集中的训练样本的分类结果之间的样本相似度；
基于第一子集中的各个训练样本的分类结果与第二子集中的相对应的训练样本的分类结果之间的分类相似度，确定分类模型对训练数据集的基准鲁棒性；以及
基于分类模型对目标数据集的分类鲁棒性和分类模型对训练数据集的基准鲁棒性，确定分类模型对目标数据集的相对鲁棒性。
方案4.如方案1至3中任一项所述的鲁棒性估计方法，其中，在确定目标数据集中与训练样本的样本相似度在预定阈值范围内的目标样本的过程中，使用与该训练样本所属的类别相关联的相似度阈值作为所述预定阈值。
方案5.如方案4所述的鲁棒性估计方法，其中，与该训练样本所属的类别相关联的相似度阈值包括：训练数据集中属于所述类别的各个训练样本之间的平均样本相似度。
方案6.如方案1至3中任一项所述的鲁棒性估计方法，其中，在确定目标数据集中与训练样本的样本相似度在预定阈值范围内的目标样本的过程中，计算利用分类模型从该训练样本提取的特征以及从目标数据集中的各个目标样本提取的特征之间的特征相似度，作为该训练样本与各个目标样本之间的样本相似度。
方案7.如方案1至3中任一项所述的鲁棒性估计方法，其中，训练数据集和目标数据集均包括图像数据样本或时序数据样本。
方案8.一种数据处理方法，包括:
将目标样本输入到分类模型中；以及
利用分类模型，对目标样本进行分类，
其中，分类模型是利用训练数据集预先通过训练获得的，并且
其中，利用如方案1至7中任一项所述的鲁棒性估计方法所估计的分类模型针对目标样本所属于的目标数据集的分类鲁棒性超过预定的鲁棒性阈值。
方案9.如方案8所述的数据处理方法，其中，
分类模型包括下述之一：用于语义分割的图像分类模型、用于手写字符识别的图像分类模型、用于交通标识识别的图像分类模型、以及用于气象预测的时序数据分类模型。
方案10.一种信息处理设备，包括：
处理器，所述处理器被配置为：
针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度，其中，该分类模型是基于训练数据集通过训练预先获得的；以及
基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。
方案11.如方案10所述的信息处理设备，其中，所述处理器还被配置为：
基于分类模型对于每个训练样本的分类结果与每个训练样本的真实类别，确定分类模型对每个训练样本的分类置信度，
其中，基于训练数据集中的各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度、以及分类模型对各个训练样本的分类置信度，确定分类模型对目标数据集的分类鲁棒性。
方案12.如方案10所述的信息处理设备，其中，所述处理器还被配置为：
通过随机划分训练数据集，获得样本数目均等的第一子集和第二子集；
针对第一子集中的每个训练样本，确定第二子集中与该训练样本的相似度在预定阈值范围内的训练样本，并计算分类模型对于第一子集中的该训练样本的分类结果与分类模型对于所确定的第二子集中的训练样本的分类结果之间的样本相似度；
基于第一子集中的各个训练样本的分类结果与第二子集中的相对应的训练样本的分类结果之间的分类相似度，确定分类模型对训练数据集的基准鲁棒性；以及
基于分类模型对目标数据集的分类鲁棒性和分类模型对训练数据集的基准鲁棒性，确定分类模型对目标数据集的相对鲁棒性。
方案13.如方案10至12中任一项所述的信息处理设备，其中，所述处理器还被配置为：在确定目标数据集中与训练样本的样本相似度在预定阈值范围内的目标样本的过程中，使用与该训练样本所属的类别相关联的相似度阈值作为所述预定阈值。
方案14.如方案13所述的信息处理设备，其中，与该训练样本所属的类别相关联的相似度阈值包括：训练数据集中属于所述类别的各个训练样本之间的平均样本相似度。
方案15.如方案10至12中任一项所述的信息处理设备，其中，所述处理器还被配置为：在确定目标数据集中与训练样本的样本相似度在预定阈值范围内的目标样本的过程中，计算利用分类模型从该训练样本提取的特征以及从目标数据集中的各个目标样本提取的特征之间的特征相似度，作为该训练样本与各个目标样本之间的样本相似度。
方案16.如方案10至12中任一项所述的信息处理设备，其中，训练数据集和目标数据集均包括图像数据样本或时序数据样本。
方案17.一种存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得所述机器执行一种鲁棒性估计方法，所述鲁棒性估计方法包括：
针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度，其中，该分类模型是基于训练数据集通过训练预先获得的；以及
基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。
最后，还需要说明的是，在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备可能不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管上面已经通过本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，本领域技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开所要求保护的范围内。

Claims (10)

1.一种鲁棒性估计方法，用于估计基于训练数据集通过训练预先获得的分类模型的鲁棒性，所述方法包括：
针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度；以及
基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。
2.如权利要求1所述的鲁棒性估计方法，还包括：
基于分类模型对于每个训练样本的分类结果与每个训练样本的真实类别，确定分类模型对每个训练样本的分类置信度，
其中，基于训练数据集中的各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度、以及分类模型对各个训练样本的分类置信度，确定分类模型对目标数据集的分类鲁棒性。
3.如权利要求1所述的鲁棒性估计方法，还包括：
通过随机划分训练数据集，获得样本数目均等的第一子集和第二子集；
针对第一子集中的每个训练样本，确定第二子集中与该训练样本的相似度在预定阈值范围内的训练样本，并计算分类模型对于第一子集中的该训练样本的分类结果与分类模型对于所确定的第二子集中的训练样本的分类结果之间的样本相似度；
基于第一子集中的各个训练样本的分类结果与第二子集中的相对应的训练样本的分类结果之间的分类相似度，确定分类模型对训练数据集的基准鲁棒性；以及
基于分类模型对目标数据集的分类鲁棒性和分类模型对训练数据集的基准鲁棒性，确定分类模型对目标数据集的相对鲁棒性。
4.如权利要求1至3中任一项所述的鲁棒性估计方法，其中，在确定目标数据集中与训练样本的样本相似度在预定阈值范围内的目标样本的过程中，使用与该训练样本所属的类别相关联的相似度阈值作为所述预定阈值。
5.如权利要求4所述的鲁棒性估计方法，其中，与该训练样本所属的类别相关联的相似度阈值包括：训练数据集中属于所述类别的各个训练样本之间的平均样本相似度。
6.如权利要求1至3中任一项所述的鲁棒性估计方法，其中，在确定目标数据集中与训练样本的样本相似度在预定阈值范围内的目标样本的过程中，计算利用分类模型从该训练样本提取的特征以及从目标数据集中的各个目标样本提取的特征之间的特征相似度，作为该训练样本与各个目标样本之间的样本相似度。
7.如权利要求1至3中任一项所述的鲁棒性估计方法，其中，训练数据集和目标数据集均包括图像数据样本或时序数据样本。
8.一种数据处理方法，包括:
将目标样本输入到分类模型中；以及
利用分类模型，对目标样本进行分类，
其中，分类模型是利用训练数据集预先通过训练获得的，并且
其中，利用如权利要求1至7中任一项所述的鲁棒性估计方法所估计的分类模型针对目标样本所属于的目标数据集的分类鲁棒性超过预定的鲁棒性阈值。
9.如权利要求8所述的数据处理方法，其中，
分类模型包括下述之一：用于语义分割的图像分类模型、用于手写字符识别的图像分类模型、用于交通标识识别的图像分类模型、以及用于气象预测的时序数据分类模型。
10.一种信息处理设备，包括：
处理器，所述处理器被配置为：
针对训练数据集中的每个训练样本，确定目标数据集中与该训练样本的样本相似度在预定阈值范围内的目标样本，并计算分类模型对于该训练样本的分类结果与分类模型对于所确定的目标样本的分类结果之间的分类相似度，其中，该分类模型是基于训练数据集通过训练预先获得的；以及
基于训练数据集中各个训练样本的分类结果与目标数据集中相对应的目标样本的分类结果之间的分类相似度，确定分类模型对目标数据集的分类鲁棒性。
CN201910842524.8A 2019-09-06 2019-09-06 鲁棒性估计方法、数据处理方法和信息处理设备 Pending CN112464966A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910842524.8A CN112464966A (zh) 2019-09-06 2019-09-06 鲁棒性估计方法、数据处理方法和信息处理设备
JP2020111506A JP2021043951A (ja) 2019-09-06 2020-06-29 ロバストネス推定方法、データ処理方法及び情報処理装置
US17/012,357 US20210073591A1 (en) 2019-09-06 2020-09-04 Robustness estimation method, data processing method, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910842524.8A CN112464966A (zh) 2019-09-06 2019-09-06 鲁棒性估计方法、数据处理方法和信息处理设备

Publications (1)

Publication Number Publication Date
CN112464966A true CN112464966A (zh) 2021-03-09

Family

ID=74807252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910842524.8A Pending CN112464966A (zh) 2019-09-06 2019-09-06 鲁棒性估计方法、数据处理方法和信息处理设备

Country Status (3)

Country Link
US (1) US20210073591A1 (zh)
JP (1) JP2021043951A (zh)
CN (1) CN112464966A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115166453B (zh) * 2022-09-08 2023-01-24 国网智能电网研究院有限公司 基于边缘实时射频脉冲分类的局放连续监测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039763A (ja) * 2009-08-11 2011-02-24 Kobe Steel Ltd 出力値予測方法、該装置および該方法のプログラム
CN103679190A (zh) * 2012-09-20 2014-03-26 富士通株式会社 分类装置、分类方法以及电子设备
WO2017143921A1 (zh) * 2016-02-26 2017-08-31 阿里巴巴集团控股有限公司 一种多重抽样模型训练方法及装置
CN107688823A (zh) * 2017-07-20 2018-02-13 北京三快在线科技有限公司 一种图像特征获取方法及装置，电子设备
CN108197668A (zh) * 2018-01-31 2018-06-22 达闼科技（北京）有限公司 模型数据集的建立方法及云系统
CN108875834A (zh) * 2018-06-22 2018-11-23 北京达佳互联信息技术有限公司 图像聚类方法、装置、计算机设备及存储介质
JP2019003525A (ja) * 2017-06-19 2019-01-10 Kddi株式会社 結果に影響を与える要因を抽出するプログラム、分析装置及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020210673A1 (en) * 2019-04-10 2020-10-15 Cornell University Neuromorphic algorithm for rapid online learning and signal restoration

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039763A (ja) * 2009-08-11 2011-02-24 Kobe Steel Ltd 出力値予測方法、該装置および該方法のプログラム
CN103679190A (zh) * 2012-09-20 2014-03-26 富士通株式会社 分类装置、分类方法以及电子设备
WO2017143921A1 (zh) * 2016-02-26 2017-08-31 阿里巴巴集团控股有限公司 一种多重抽样模型训练方法及装置
JP2019003525A (ja) * 2017-06-19 2019-01-10 Kddi株式会社 結果に影響を与える要因を抽出するプログラム、分析装置及び方法
CN107688823A (zh) * 2017-07-20 2018-02-13 北京三快在线科技有限公司 一种图像特征获取方法及装置，电子设备
CN108197668A (zh) * 2018-01-31 2018-06-22 达闼科技（北京）有限公司 模型数据集的建立方法及云系统
CN108875834A (zh) * 2018-06-22 2018-11-23 北京达佳互联信息技术有限公司 图像聚类方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
JP2021043951A (ja) 2021-03-18
US20210073591A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
CN109117831B (zh) 物体检测网络的训练方法和装置
CN111476284B (zh) 图像识别模型训练及图像识别方法、装置、电子设备
CN109117848B (zh) 一种文本行字符识别方法、装置、介质和电子设备
US10853695B2 (en) Method and system for cell annotation with adaptive incremental learning
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN108280477B (zh) 用于聚类图像的方法和装置
CN108733778B (zh) 对象的行业类型识别方法和装置
RU2760471C1 (ru) Способы и системы идентификации полей в документе
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN112668579A (zh) 基于自适应亲和力和类别分配的弱监督语义分割方法
US11915500B2 (en) Neural network based scene text recognition
US20200065664A1 (en) System and method of measuring the robustness of a deep neural network
CN111680753A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN108133224B (zh) 用于评估分类任务复杂度的方法
CN116492634B (zh) 基于图像视觉定位的立定跳远测试方法
CN114255381A (zh) 图像识别模型的训练方法、图像识别方法、装置及介质
CN112464966A (zh) 鲁棒性估计方法、数据处理方法和信息处理设备
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
US20210342642A1 (en) Machine learning training dataset optimization
CN112308097A (zh) 样本识别方法和装置
CN113033518B (zh) 图像检测方法、装置、电子设备及存储介质
CN116385844B (zh) 一种基于多教师模型的特征图蒸馏方法、系统和存储介质
CN113139187B (zh) 一种预训练语言模型的生成、检测方法及装置
Nitta et al. Detecting Data Drift with KS Test Using Attention Map
Haas et al. Neural network compression through shunt connections and knowledge distillation for semantic segmentation problems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination