CN110543898A - 用于噪声标签的监督学习方法、数据分类处理方法以及装置 - Google Patents

用于噪声标签的监督学习方法、数据分类处理方法以及装置 Download PDF

Info

Publication number
CN110543898A
CN110543898A CN201910762908.9A CN201910762908A CN110543898A CN 110543898 A CN110543898 A CN 110543898A CN 201910762908 A CN201910762908 A CN 201910762908A CN 110543898 A CN110543898 A CN 110543898A
Authority
CN
China
Prior art keywords
loss function
classification model
label
noise
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910762908.9A
Other languages
English (en)
Inventor
董雅洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuhe Information Technology Co Ltd
Original Assignee
Shanghai Shuhe Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuhe Information Technology Co Ltd filed Critical Shanghai Shuhe Information Technology Co Ltd
Priority to CN201910762908.9A priority Critical patent/CN110543898A/zh
Publication of CN110543898A publication Critical patent/CN110543898A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种用于噪声标签的监督学习方法、数据分类处理方法以及装置。该方法包括确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型。本申请解决了样本标签标注不准确存在噪声标签的技术问题。通过本申请提升了对于标签质量的包容度，降低了标注的成本。

Description

用于噪声标签的监督学习方法、数据分类处理方法以及装置
技术领域
本申请涉及机器学习领域，具体而言，涉及一种用于噪声标签的监督学习方法以及装置、数据分类处理方法以及装置。
背景技术
分类问题，是机器学习中广为研究和应用的一个重要领域。作为监督学习，需要基于具有类别标签的数据进行有效地学习，从而获得能够对未标注样本准确预测的模型。因此，样本标签的准确度显得至关重要。
发明人发现，样本标签如果都采用专家人工标注，则效率低下且成本高。然而如果使用标注任务众包的方式质量也难以保证。
针对相关技术中样本标签标注不准确存在噪声标签的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于噪声标签的监督学习方法、数据分类处理方法以及装置，以解决样本标签标注不准确存在噪声标签的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种用于噪声标签的监督学习方法。
根据本申请的用于噪声标签的监督学习方法包括：确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；其中所述第一损失函数是指，预设的对称损失函数；其中所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数；将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型。
进一步地，根据所述第二损失函数，训练所述分类模型之后，还包括：选用公开数据集对于分类模型的效果进行评估的步骤，
所述选用公开数据集对于分类模型的效果进行评估的步骤包括：
将公开数据集中的正例反转为负例、负例反转为正例构成出具有噪声标签的第二公开数据集；
在分类模型参数相同时，评价在原始模型、公开数据集、第二公开数据集、修改模型的不同组合情况下的相同训练轮数的训练效果。
进一步地，确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数包括：
确定用于二分类模型的对称损失函数，并根据所述对称损失函数构造代理损失函数。
进一步地，将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型包括：
将代理损失函数替换对称损失函数，并根据所述代理损失函数，训练新的分类模型。
为了实现上述目的，根据本申请的另一方面，提供了一种数据分类处理方法，包括：确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；其中所述第一损失函数是指，预设的对称损失函数；其中所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数；将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型后得到新的分类模型；将待处理数据出入所述新的分类模型，进行数据二分类处理。
为了实现上述目的，根据本申请的又一方面，提供了一种用于噪声标签的监督学习装置。
根据本申请的用于噪声标签的监督学习装置包括：确定模块，用于确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；其中所述第一损失函数是指，预设的对称损失函数；其中所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数；替换模块，用于将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型。
进一步地，还包括：评估模块，
所述评估模块，用于将公开数据集中的正例反转为负例、负例反转为正例构成出具有噪声标签的第二公开数据集；
在分类模型参数相同时，评价在原始模型、公开数据集、第二公开数据集、修改模型的不同组合情况下的相同训练轮数的训练效果。
进一步地，所述确定模块，用于确定用于二分类模型的对称损失函数，并根据所述对称损失函数构造代理损失函数。
进一步地，所述替换模块，用于将代理损失函数替换对称损失函数，并根据所述代理损失函数，训练新的分类模型。
为了实现上述目的，根据本申请的再一方面，提供了一种数据分类处理装置。
根据本申请的数据分类处理装置包括：确定模块，用于确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；其中所述第一损失函数是指，预设的对称损失函数；其中所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数；替换模块，用于将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型后得到新的分类模型；处理模块，用于将待处理数据出入所述新的分类模型，进行数据二分类处理。
在本申请实施例中用于噪声标签的监督学习方法、数据分类处理方法以及装置，采用确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数的方式，通过将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型，达到了利用新构造的代理损失函数，替代原有的损失函数的目的，从而实现了使基于噪声标签的监督学习成为可能的技术效果，进而解决了样本标签标注不准确存在噪声标签的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请第一实施例的用于噪声标签的监督学习方法流程示意图；
图2是根据本申请第二实施例的用于噪声标签的监督学习方法流程示意图；
图3是根据本申请第三实施例的用于噪声标签的监督学习方法流程示意图；
图4是根据本申请实施例的数据分类处理方法流程示意图；
图5是根据本申请实施例的用于噪声标签的监督学习装置结构示意图；
图6是根据本申请实施例的数据分类处理装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请解决了基于噪声标签学习进行二分类的现实问题，提升了对于标签质量的包容度，降低了标注的时间成本和金钱成本。
如图1所示，该方法包括如下的步骤S102至步骤S104：
步骤S102，确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；
所述第一损失函数是指，预设的对称损失函数。
所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数。
步骤S104，将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型。
具体地，选择一种对称的损失函数l。
利用所述损失函数l，结合真实正例标签被标记为负例的概率ρ+。
真实负例标签被标记为正例的概率ρ-。
通过所述负例的概率ρ+、正例的概率ρ-构造出代理损失函数
采用构造的代理损失函数替换分类模型中原有的损失函数。
对分类模型正常进行训练评估等操作。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中用于噪声标签的监督学习方法、数据分类处理方法以及装置，采用确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数的方式，通过将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型，达到了利用新构造的代理损失函数，替代原有的损失函数的目的，从而实现了使基于噪声标签的监督学习成为可能的技术效果，进而解决了样本标签标注不准确存在噪声标签的技术问题。
根据本申请实施例，作为本实施例中的优选，如图2所示，根据所述第二损失函数，训练所述分类模型之后，还包括：选用公开数据集对于分类模型的效果进行评估的步骤，
所述选用公开数据集对于分类模型的效果进行评估的步骤包括：
步骤S202，将公开数据集中的正例反转为负例、负例反转为正例构成出具有噪声标签的第二公开数据集；
步骤S204，在分类模型参数相同时，评价在原始模型、公开数据集、第二公开数据集、修改模型的不同组合情况下的相同训练轮数的训练效果。
具体地，选用MRPC公开数据集，解决判断两段文本的含义是否相同的二分类问题，评估该方法的效果。
将MRPC数据集中，40％的正例反转为负例、10％的负例反转为正例，人为构造具有噪声标签的MRPC数据集。
模型参数相同，分别比较较“原始分类模型+原始MRPC数据集”、“原始分类模型+噪声MRPC数据集”、“修改分类模型+噪声MRPC数据集”三种情况下，相同轮数的训练效果。结果测试集的采用AUC对基于噪声标签进行监督学习的效果进行评估。
优选地，所述原始分类模型选用BERT模型。
根据本申请实施例，作为本实施例中的优选，如图3所示，确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数包括：
步骤S302，确定用于二分类模型的对称损失函数，并根据所述对称损失函数构造代理损失函数。
以均方差损失函数为例进行举例说明。本领域技术人员能够明了其并不代表对本申请的限定。
具体地，选择均方差损失函数作为损失函数l。
假设y∈{±1}，则代理损失函数为：
根据本申请实施例，作为本实施例中的优选，如图3所示，将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型包括：
步骤S304，将代理损失函数替换对称损失函数，并根据所述代理损失函数，训练新的分类模型。
具体地，以BERT模型为例进行举例说明。本领域技术人员能够明了其并不代表对本申请的限定。
选择BERT模型进行文本分类，将原有的损失函数该些为上述的代理损失函数，得到修改后的BERT模型。
如图4所示，在本申请的另一实施例中，还提供了数据分类处理方法，该方法包括如下的步骤S102至步骤S106：
步骤S102，确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；
所述第一损失函数是指，预设的对称损失函数。
所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数。
步骤S104，将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型后得到新的分类模型；
步骤S106，将待处理数据出入所述新的分类模型，进行数据二分类处理。
具体地，选择一种对称的损失函数l。
利用所述损失函数l，结合真实正例标签被标记为负例的概率ρ+。
真实负例标签被标记为正例的概率ρ-。
通过所述负例的概率ρ+、正例的概率ρ-构造出代理损失函数
采用构造的代理损失函数替换分类模型中原有的损失函数。
对分类模型正常进行训练评估等操作。
将待处理数据出入所述新的分类模型，进行数据二分类处理。
以判断两段文本的含义是否相同的二分类问题为例，进行举例说明。本领域技术人员能够明了其并不代表对本申请的限定。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述方法的用于噪声标签的监督学习装置，如图5所示，该装置包括：确定模块10，用于确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；其中所述第一损失函数是指，预设的对称损失函数；其中所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数；替换模块20，用于将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型。
本申请实施例中选择一种对称的损失函数l。
利用所述损失函数l，结合真实正例标签被标记为负例的概率ρ+。
真实负例标签被标记为正例的概率ρ-。
通过所述负例的概率ρ+、正例的概率ρ-构造出代理损失函数
采用构造的代理损失函数替换分类模型中原有的损失函数。
对分类模型正常进行训练评估等操作。
根据本申请实施例，作为本实施例中的优选，如图5所示，装置还包括：评估模块30，所述评估模块30，用于将公开数据集中的正例反转为负例、负例反转为正例构成出具有噪声标签的第二公开数据集；在分类模型参数相同时，评价在原始模型、公开数据集、第二公开数据集、修改模型的不同组合情况下的相同训练轮数的训练效果。
本申请实施例中选用MRPC公开数据集，解决判断两段文本的含义是否相同的二分类问题，评估该方法的效果。
将MRPC数据集中，40％的正例反转为负例、10％的负例反转为正例，人为构造具有噪声标签的MRPC数据集。
模型参数相同，分别比较较“原始分类模型+原始MRPC数据集”、“原始分类模型+噪声MRPC数据集”、“修改分类模型+噪声MRPC数据集”三种情况下，相同轮数的训练效果。结果测试集的采用AUC对基于噪声标签进行监督学习的效果进行评估。
优选地，所述原始分类模型选用BERT模型。
根据本申请实施例，作为本实施例中的优选，所述确定模块，用于确定用于二分类模型的对称损失函数，并根据所述对称损失函数构造代理损失函数。
以均方差损失函数为例进行举例说明。本领域技术人员能够明了其并不代表对本申请的限定。
本申请实施例中，选择均方差损失函数作为损失函数l。
假设y∈{±1}，则代理损失函数为：
根据本申请实施例，作为本实施例中的优选，所述替换模块，用于将代理损失函数替换对称损失函数，并根据所述代理损失函数，训练新的分类模型。
具体地，以BERT模型为例进行举例说明。本领域技术人员能够明了其并不代表对本申请的限定。
选择BERT模型进行文本分类，将原有的损失函数该些为上述的代理损失函数，得到修改后的BERT模型。
选用MRPC公开数据集，解决判断两段文本的含义是否相同的二分类问题，评估该方法的效果。
将MRPC数据集中，40％的正例反转为负例、10％的负例反转为正例，人为构造具有噪声标签的MRPC数据集。
模型参数相同，分别比较较“原始分类模型+原始MRPC数据集”、“原始分类模型+噪声MRPC数据集”、“修改分类模型+噪声MRPC数据集”三种情况下，相同轮数的训练效果。结果测试集的采用AUC对基于噪声标签进行监督学习的效果进行评估。
根据本申请实施例，还提供了一种用于实施上述方法的数据分类处理装置，如图6所示，该装置包括：确定模块10，用于确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；其中所述第一损失函数是指，预设的对称损失函数；其中所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数；替换模块20，用于将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型后得到新的分类模型；处理模块40，用于将待处理数据出入所述新的分类模型，进行数据二分类处理。
具体地，选择一种对称的损失函数l。
利用所述损失函数l，结合真实正例标签被标记为负例的概率ρ+。
真实负例标签被标记为正例的概率ρ-。
通过所述负例的概率ρ+、正例的概率ρ-构造出代理损失函数
采用构造的代理损失函数替换分类模型中原有的损失函数。
对分类模型正常进行训练评估等操作。
将待处理数据出入所述新的分类模型，进行数据二分类处理。
以判断两段文本的含义是否相同的二分类问题为例，进行举例说明。本领域技术人员能够明了其并不代表对本申请的限定。
本申请的实现原理如下：
步骤一，选择均方差损失函数作为损失函数l。
步骤二，假设y∈{±1}，则代理损失函数为：
步骤三，选择BERT模型进行文本分类，将原有的损失函数该些为上述的代理损失函数，得到修改后的BERT模型
步骤四，选用MRPC公开数据集，解决判断两段文本的含义是否相同的二分类问题，评估该方法的效果。
将MRPC数据集中，40％的正例反转为负例、10％的负例反转为正例，人为构造具有噪声标签的MRPC数据集。
模型参数相同，分别比较“原始BERT模型+原始MRPC数据集”、“原始BERT模型+噪声MRPC数据集”、“修改BERT模型+噪声MRPC数据集”三种情况下，相同轮数的训练效果。结果测试集的AUC分别为：0.92、0.76和0.82，表示该方法对基于噪声标签进行监督学习的效果，具有明显的提升作用。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种用于噪声标签的监督学习方法，其特征在于，包括：
确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；
其中所述第一损失函数是指，预设的对称损失函数；
其中所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数；
将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型。
2.根据权利要求1所述的用于噪声标签的监督学习方法，其特征在于，根据所述第二损失函数，训练所述分类模型之后，还包括：选用公开数据集对于分类模型的效果进行评估的步骤，
所述选用公开数据集对于分类模型的效果进行评估的步骤包括：
将公开数据集中的正例反转为负例、负例反转为正例构成出具有噪声标签的第二公开数据集；
在分类模型参数相同时，评价在原始模型、公开数据集、第二公开数据集、修改模型的不同组合情况下的相同训练轮数的训练效果。
3.根据权利要求1所述的用于噪声标签的监督学习方法，其特征在于，确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数包括：
确定用于二分类模型的对称损失函数，并根据所述对称损失函数构造代理损失函数。
4.根据权利要求1所述的用于噪声标签的监督学习方法，其特征在于，将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型包括：
将代理损失函数替换对称损失函数，并根据所述代理损失函数，训练新的分类模型。
5.一种数据分类处理方法，其特征在于，包括：
确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；
其中所述第一损失函数是指，预设的对称损失函数；
其中所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数；
将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型后得到新的分类模型；
将待处理数据出入所述新的分类模型，进行数据二分类处理。
6.一种用于噪声标签的监督学习装置，其特征在于，包括：
确定模块，用于确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；
其中所述第一损失函数是指，预设的对称损失函数；
其中所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数；
替换模块，用于将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型。
7.根据权利要求6所述的用于噪声标签的监督学习装置，其特征在于，还包括：评估模块，
所述评估模块，用于将公开数据集中的正例反转为负例、负例反转为正例构成出具有噪声标签的第二公开数据集；
在分类模型参数相同时，评价在原始模型、公开数据集、第二公开数据集、修改模型的不同组合情况下的相同训练轮数的训练效果。
8.根据权利要求6所述的用于噪声标签的监督学习装置，其特征在于，所述确定模块，用于确定用于二分类模型的对称损失函数，并根据所述对称损失函数构造代理损失函数。
9.根据权利要求6所述的用于噪声标签的监督学习装置，其特征在于，所述替换模块，用于将代理损失函数替换对称损失函数，并根据所述代理损失函数，训练新的分类模型。
10.一种数据分类处理装置，其特征在于，包括：
确定模块，用于确定用于分类模型的第一损失函数，并根据所述损失函数构造第二损失函数；
其中所述第一损失函数是指，预设的对称损失函数；
其中所述第二损失函数是指，根据真实正例标签被标记为负例的第一概率和真实负例标签被标记为正例的第二概率构造出的代理损失函数；
替换模块，用于将所述第二损失函数替换所述第一损失函数，并根据所述第二损失函数，训练所述分类模型后得到新的分类模型；
处理模块，用于将待处理数据出入所述新的分类模型，进行数据二分类处理。
CN201910762908.9A 2019-08-16 2019-08-16 用于噪声标签的监督学习方法、数据分类处理方法以及装置 Pending CN110543898A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910762908.9A CN110543898A (zh) 2019-08-16 2019-08-16 用于噪声标签的监督学习方法、数据分类处理方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910762908.9A CN110543898A (zh) 2019-08-16 2019-08-16 用于噪声标签的监督学习方法、数据分类处理方法以及装置

Publications (1)

Publication Number Publication Date
CN110543898A true CN110543898A (zh) 2019-12-06

Family

ID=68711600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910762908.9A Pending CN110543898A (zh) 2019-08-16 2019-08-16 用于噪声标签的监督学习方法、数据分类处理方法以及装置

Country Status (1)

Country Link
CN (1) CN110543898A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368903A (zh) * 2020-02-28 2020-07-03 深圳前海微众银行股份有限公司 模型性能优化方法、装置、设备及存储介质
CN111797895A (zh) * 2020-05-30 2020-10-20 华为技术有限公司 一种分类器的训练方法、数据处理方法、系统以及设备
WO2021151345A1 (zh) * 2020-07-09 2021-08-05 平安科技（深圳）有限公司 识别模型的参数获取方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368903A (zh) * 2020-02-28 2020-07-03 深圳前海微众银行股份有限公司 模型性能优化方法、装置、设备及存储介质
CN111797895A (zh) * 2020-05-30 2020-10-20 华为技术有限公司 一种分类器的训练方法、数据处理方法、系统以及设备
WO2021244249A1 (zh) * 2020-05-30 2021-12-09 华为技术有限公司 一种分类器的训练方法、数据处理方法、系统以及设备
CN111797895B (zh) * 2020-05-30 2024-04-26 华为技术有限公司 一种分类器的训练方法、数据处理方法、系统以及设备
WO2021151345A1 (zh) * 2020-07-09 2021-08-05 平安科技（深圳）有限公司 识别模型的参数获取方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110543898A (zh) 用于噪声标签的监督学习方法、数据分类处理方法以及装置
CN106951925A (zh) 数据处理方法、装置、服务器及系统
CN111294819B (zh) 一种网络优化方法及装置
CN106228175A (zh) 自非常高速率的数据流的水平决策树学习
CN109816043B (zh) 用户识别模型的确定方法、装置、电子设备及存储介质
CN113328994B (zh) 一种恶意域名处理方法、装置、设备及机器可读存储介质
CN107809766B (zh) 一种用于网络优化的机器学习样本的生成方法及装置
CN110288007A (zh) 数据标注的方法、装置及电子设备
CN109739985A (zh) 文本自动分类方法、设备及存储介质
CN111191731A (zh) 数据处理的方法、装置、存储介质及电子设备
CN114422267A (zh) 流量检测方法、装置、设备及介质
CN109582774A (zh) 自然语言分类方法、装置、设备及存储介质
US10936638B2 (en) Random index pattern matching based email relations finder system
CN112949459A (zh) 吸烟图像的识别方法及装置、存储介质、电子设备
CN112419268A (zh) 一种输电线路图像缺陷检测方法、装置、设备及介质
CN113807448A (zh) 点云数据分割模型训练方法、装置、存储介质及电子设备
CN111414878A (zh) 一种关于地块的社会属性分析、图像处理方法及装置
CN108519915A (zh) 流量任务调度方法和装置
CN113660687A (zh) 网络差小区处理方法、装置、设备及存储介质
Auger et al. Towards the internet of everything: Deployment scenarios for a QoO-aware integration platform
CN112187653A (zh) 一种网络流量判定方法和系统
CN107517474B (zh) 一种网络分析优化方法及装置
CN112134898A (zh) 一种网络流量判定方法和系统
CN105678456B (zh) 一种电能计量装置运行状态自动评估方法及其系统
CN109993381B (zh) 基于知识图谱的需求管理应用方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191206