CN116910660A - 面向不平衡数据的自步半监督集成分类器训练方法及系统 - Google Patents

面向不平衡数据的自步半监督集成分类器训练方法及系统 Download PDF

Info

Publication number
CN116910660A
CN116910660A CN202311145834.7A CN202311145834A CN116910660A CN 116910660 A CN116910660 A CN 116910660A CN 202311145834 A CN202311145834 A CN 202311145834A CN 116910660 A CN116910660 A CN 116910660A
Authority
CN
China
Prior art keywords
sample
samples
labeling
pseudo
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311145834.7A
Other languages
English (en)
Other versions
CN116910660B (zh
Inventor
管红娇
鹿文鹏
董祥军
赵龙
任晓强
陈川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong Computer Science Center National Super Computing Center in Jinan
Priority to CN202311145834.7A priority Critical patent/CN116910660B/zh
Publication of CN116910660A publication Critical patent/CN116910660A/zh
Application granted granted Critical
Publication of CN116910660B publication Critical patent/CN116910660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning

Abstract

本发明提供了一种面向不平衡数据的自步半监督集成分类器训练方法及系统，其属于数据处理技术领域，该方案通过结合分类器和加权k近邻确定安全的伪标注样本，来提高伪标注样本的质量；然后，使用基于聚类的自步学习选择伪标注样本，有效提高添加的伪标注样本的多样性并缓解错误积累；最后，利用增强后的平衡样本集训练基分类器并集成，来缓解由不平衡的类分布造成的分类器偏差，特别是对于医疗领域的图像分类、征信风险评估领域的风险评估等经常存在数据样本不平衡的情况下，能够有效保证训练后分类器分类结果的准确性。

Description

面向不平衡数据的自步半监督集成分类器训练方法及系统
技术领域
本发明属于数据处理技术领域，尤其涉及一种面向不平衡数据的自步半监督集成分类器训练方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在机器学习和人工智能领域，数据不平衡和标注不足是常见的问题。例如，在医学诊断中，癌症患者比普通患者少得多；在软件缺陷检测中，大多数缺陷数据集的缺陷率低于30%，传统分类方法处理不平衡数据时性能较差，因此不平衡数据的分类研究应运而生。另一方面，为了获得高的识别率，需要获得大量有类别标注的样本，然而，标注类别是非常耗时和费力的，因此半监督分类被广泛研究，其目的是通过使用大量未标注的样本来提高有限标注样本的性能。
不平衡分类和半监督分类一直以来是独立发展的，目前，针对不平衡数据的半监督方法还没有得到广泛的研究。发明人发现，当前面向不平衡数据的半监督分类方法仍存在以下问题：有标注样本的数量有限，而且标注样本的分布没有很好表示无标注样本；错误伪标注样本累积，导致分类器的偏差不断增加；不平衡的类分布会严重加剧错误传播。
发明内容
本发明为了解决上述问题，提供了一种面向不平衡数据的自步半监督集成分类器训练方法及系统，所述方案通过结合分类器和加权k近邻确定安全的伪标注样本，来提高伪标注样本的质量；然后，使用基于聚类的自步学习选择伪标注样本，有效提高添加的伪标注样本的多样性并缓解错误积累；最后，利用增强后的平衡样本集训练基分类器并集成，来缓解由不平衡的类分布造成的分类器偏差，特别是对于医疗领域的图像分类、征信风险评估领域的风险评估等经常存在数据样本不平衡的情况下，能够有效保证训练后分类器分类结果的准确性。
根据本发明实施例的第一个方面，提供了一种面向不平衡数据的自步半监督集成分类器训练方法，包括：
步骤1：基于不平衡数据集获取若干平衡有标注样本子集，其中，所述不平衡数据集包括有标注样本集和无标注样本集；
步骤2：分别基于预先训练的分类器以及加权K近邻方法对不平衡数据集中的无标注样本进行分类，并基于分类结果确定每个平衡有标注样本子集对应的安全伪标注样本；
步骤3：基于安全伪标注样本所属簇以及对应的难度值，从每个平衡有标注样本子集对应的安全伪标注样本中选择预设数量的安全伪标注样本；
步骤4：将选择的安全伪标注样本加入对应的平衡有标注样本子集，将已选择的安全伪标注样本在无标注样本集中删除，得到新的有标注样本集和无标注样本集；
步骤5：重复步骤2至步骤4预设次数，获得若干平衡有标注样本集，基于若干平衡有标注样本集分别训练若干基分类器，并通过对若干基分类器进行集成，实现集成分类器的训练。
进一步的，所述基于不平衡数据集获取平衡有标注样本子集，具体为：从不平衡数据集的负样本中随机选择与正样本数量一致的样本，将获得的样本与不平衡数据集中的正样本进行组合，获得平衡有标注样本。
进一步的，分别基于预先训练的分类器以及加权K近邻方法对不平衡数据集中的无标注样本进行分类，其中，所述分类器分别利用获得的若干平衡有标注样本子集进行训练，通过训练好的分类器获得无标注样本的伪标签及其对应的后验概率。
进一步的，基于加权K近邻方法对不平衡数据集中的无标注样本进行分类，具体为：计算每个无标注样本在整个样本集中的K个近邻样本；其中整个样本包括平衡有标注样本子集和无标注样本集；基于无标注样本对应的K个近邻样本的标注情况进行无标注样本的分类。
进一步的，基于无标注样本对应的K个近邻样本的标注情况进行无标注样本的分类，具体为：当无标注样本的K个近邻样本中存在标注样本，且标注标签一致，则以该标签作为无标注样本的伪标签，且该伪标签的后验概率为1；当K个近邻样本中存在标注样本且标注标签不同，则通过邻近样本中有标注样本的加权求和确定无标注样本所属类别的后验概率，并选择后验概率最大的类别作为无标注样本的伪标签；当K个近邻样本中不存在标注样本，则当前无标注样本不赋予伪标签。
进一步的，通过邻近样本中有标注样本的加权求和确定无标注样本所属类别的后验概率，具体为：计算当前无标注样本到K个近邻样本中有标注样本的距离，并基于所述距离计算每个有标注样本对当前无标注样本的权重，通过权重求和确定当前无标注样本属于不同类别的后验概率。
进一步的，基于分类器与加权K近邻方法的分类结果，确定安全伪标注样本，具体为：对于无标注样本，若基于分类器与加权K近邻方法获得的伪标签相同，则该样本为安全伪标注样本，该样本对类别的后验概率为基于分类器与加权K近邻方法的分类结果对应后验概率的均值。
进一步的，基于安全伪标注样本所属簇以及对应的难度值，从每个平衡有标注样本子集对应的安全伪标注样本中选择预设数量的安全伪标注样本；具体为：以分类器对安全伪标注样本进行分类的交叉熵作为安全伪标注样本的难度值；对不平衡数据集的初始有标注样本集中的正样本集和负样本集分别进行聚类，分别获得若干簇中心；基于安全伪标注样本到各个簇中心的距离，对所有的安全伪标注样本划分为若干簇；从每个簇中按照安全伪标注样本的难度值选择预设数量的安全伪标注样本。
进一步的，通过对若干基分类器进行集成，实现集成分类器的训练，具体采用多数投票机制将若干基分类器进行集成。
根据本发明实施例的第二个方面，提供了一种面向不平衡数据的自步半监督集成分类器训练系统，包括：
平衡样本集获取单元，其用于基于不平衡数据集获取若干平衡有标注样本子集，其中，所述不平衡数据集包括有标注样本集和无标注样本集；
伪标注样本获取单元，其用于分别基于预先训练的分类器以及加权K近邻方法对不平衡数据集中的无标注样本进行分类，并基于分类结果确定每个平衡有标注样本子集对应的安全伪标注样本；
伪标注样本选择单元，其用于基于安全伪标注样本所属簇以及对应的难度值，从每个平衡有标注样本子集对应的安全伪标注样本中选择预设数量的安全伪标注样本；
样本集更新单元，其用于将选择的安全伪标注样本加入对应的平衡有标注样本子集，将已选择的安全伪标注样本在无标注样本集中删除，得到新的有标注样本集和无标注样本集；
迭代求解单元，其用于重复伪标注样本获取单元、伪标注样本选择单元以及样本集更新单元的处理过程预设次数，获得若干平衡有标注样本集，基于若干平衡有标注样本集分别训练若干基分类器，并通过对若干基分类器进行集成，实现集成分类器的训练。
与现有技术相比，本发明的有益效果是：
（1）本发明所述方案一种面向不平衡数据的自步半监督集成分类器训练方法及系统，所述方案针对征信风险评估、医疗诊断等分类过程中训练数据不平衡以及数据标注不足的问题，通过结合分类器和加权k近邻确定安全的伪标注样本，来提高伪标注样本的质量；然后，使用基于聚类的自步学习选择伪标注样本，有效提高添加的伪标注样本的多样性并缓解错误积累；最后，利用增强后的平衡样本集训练基分类器并集成，来缓解由不平衡的类分布造成的分类器偏差，特别是对于医疗领域的图像分类、征信风险评估领域的风险评估等经常存在数据样本不平衡的情况下，能够有效保证训练后分类器分类结果的准确性。
（2）本发明所述方案采用基于下采样的集成框架能够较好地处理类分布不平衡导致的分类偏置问题，最终提高分类器的训练效果。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例中所述的一种面向不平衡数据的自步半监督集成分类器训练方法流程图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
术语解释：
伪标签：即通过预先训练的分类器以及加权K近邻方法对不平衡数据集中的无标注样本进行分类获得的分类类别，例如：征信风险评估中获得的高风险征信用户及低风险征信用户分类类别；以及医疗领域基于图像样本获得的肿瘤图像的良性和恶性分类类别。
实施例一：
本实施例的目的是提供一种面向不平衡数据的自步半监督集成分类器训练方法。
一种面向不平衡数据的自步半监督集成分类器训练方法，包括：
步骤1：基于不平衡数据集获取若干平衡有标注样本子集，其中，所述不平衡数据集包括有标注样本集和无标注样本集；
步骤2：分别基于预先训练的分类器以及加权K近邻方法对不平衡数据集中的无标注样本进行分类，并基于分类结果确定每个平衡有标注样本子集对应的安全伪标注样本；
步骤3：基于安全伪标注样本所属簇以及对应的难度值，从每个平衡有标注样本子集对应的安全伪标注样本中选择预设数量的安全伪标注样本；
步骤4：将选择的安全伪标注样本加入对应的平衡有标注样本子集，将已选择的安全伪标注样本在无标注样本集中删除，得到新的有标注样本集和无标注样本集；
步骤5：重复步骤2至步骤4预设次数，获得若干平衡有标注样本集，基于若干平衡有标注样本集分别训练若干基分类器，并通过对若干基分类器进行集成，实现集成分类器的训练。
在具体实施中，所述基于不平衡数据集获取平衡有标注样本子集，具体为：从不平衡数据集的负样本中随机选择与正样本数量一致的样本，将获得的样本与不平衡数据集中的正样本进行组合，获得平衡有标注样本。
在具体实施中，分别基于预先训练的分类器以及加权K近邻方法对不平衡数据集中的无标注样本进行分类，其中，所述分类器分别利用获得的若干平衡有标注样本子集进行训练，通过训练好的分类器获得无标注样本的伪标签及其对应的后验概率。
基于加权K近邻方法对不平衡数据集中的无标注样本进行分类，具体为：计算每个无标注样本在整个样本集中的K个近邻样本；其中整个样本包括平衡有标注样本子集和无标注样本集；基于无标注样本对应的K个近邻样本的标注情况进行无标注样本的分类。
基于无标注样本对应的K个近邻样本的标注情况进行无标注样本的分类，具体为：当无标注样本的K个近邻样本中存在标注样本，且标注标签一致，则以该标签作为无标注样本的伪标签，且该伪标签的后验概率为1；当K个近邻样本中存在标注样本且标注标签不同，则通过邻近样本中有标注样本的加权求和确定无标注样本所属类别的后验概率，并选择后验概率最大的类别作为无标注样本的伪标签；当K个近邻样本中不存在标注样本，则当前无标注样本不赋予伪标签。
通过邻近样本中有标注样本的加权求和确定无标注样本所属类别的后验概率，具体为：计算当前无标注样本到K个近邻样本中有标注样本的距离，并基于所述距离计算每个有标注样本对当前无标注样本的权重，通过权重求和确定当前无标注样本属于不同类别的后验概率。
在具体实施中，基于分类器与加权K近邻方法的分类结果，确定安全伪标注样本，具体为：对于无标注样本，若基于分类器与加权K近邻方法获得的伪标签相同，则该样本为安全伪标注样本，该样本对类别的后验概率为基于分类器与加权K近邻方法的分类结果对应后验概率的均值。
在具体实施中，基于安全伪标注样本所属簇以及对应的难度值，从每个平衡有标注样本子集对应的安全伪标注样本中选择预设数量的安全伪标注样本；具体为：以分类器对安全伪标注样本进行分类的交叉熵作为安全伪标注样本的难度值；对不平衡数据集的初始有标注样本集中的正样本集和负样本集分别进行聚类，分别获得若干簇中心；基于安全伪标注样本到各个簇中心的距离，对所有的安全伪标注样本划分为若干簇；从每个簇中按照安全伪标注样本的难度值选择预设数量的安全伪标注样本。
在具体实施中，所述通过对若干基分类器进行集成，实现集成分类器的训练，具体采用多数投票机制将若干基分类器进行集成。
具体的，为了便于理解，以下结合具体实例对本实施例所述方案进行详细说明：
以征信风险评估为例，本实施例提供了一种用于征信风险评估的面向不平衡数据的自步半监督集成分类器训练方法，本实施例所述方案通过结合分类器和加权k近邻确定安全的伪标注样本，来提高伪标注样本的质量；然后，使用基于聚类的自步学习选择伪标注样本，有效提高添加的伪标注样本的多样性并缓解错误积累；最后，利用增强后的平衡样本集训练基分类器并集成，来缓解由不平衡的类分布造成的分类器偏差，最终获得训练后的用于征信风险评估的半监督集成分类器。
具体的，一种用于征信风险评估的面向不平衡数据的自步半监督集成分类器训练方法，具体包括如下步骤：
步骤1：获得初始的用于征信风险评估的平衡有标注样本子集，在征信风险评估中，通常情况下，高风险征信用户（属于正类或小类）远远少于低风险征信用户（属于负类或大类），即两种类别征信数据的样本数量是不平衡的。其中，所述征信样本集为采集的用户银行征信数据，包括信贷历史状况、现有账户状况、贷款目的、信用额度、雇佣状态、担保人、目前居住地、财产状况、年龄以及工作类型。少量征信样本及其风险类型构成有标注样本集，大量无风险类型标签的征信样本构成无标注样本集，有标注样本集和无标注样本集构成初始的不平衡数据集。
具体的：假设不平衡数据集中包括大类（负类）样本集，小类（正类）样本集/>和无标注样本集Unlabel，从大类集Neg中随机选取与Pos集中样本数量相同的样本，构成集合/>（i=1,2，...,n），构建平衡的有标注样本子集/>，假设初始的平衡有标注样本子集有n个；
其中，大类（负类）和小类（正类）是人们通常约定的叫法，即一般样本多的一类称为大类或负类，样本少的一类称为小类或正类；若存在正类大于负类的情况，将两类的标签交换即可，在本实施例中，一说负类就是指样本多的一类，正类指样本少的一类。
步骤2：利用分类器和加权k近邻确定安全伪标注样本，具体为：
首先，利用分类器(在本实施例中采用决策树分类器)获得Unlabel集中每个无标注样本的伪标签和后验概率，具体为：利用每个平衡的有标注样本子集Bi训练分类器（可选择常用的分类方法，如决策树、支持向量机等），然后利用该分类器对Unlabel集中的每个无标注样本x进行分类（在征信风险评估中，其分类类别设置为高风险征信用户和低风险征信用户），得到无标注样本的伪标签（该伪标签对应于获得的分类类别，即高风险征信用户和低风险征信用户）和分类为每个类别的后验概率。注：获得伪标签后的无标注样本称为伪标注样本。
其次，利用加权k近邻获得Unlabel集中每个无标注样本的伪标签和后验概率，具体为：计算Unlabel集中每个无标注样本x在所有样本（包括有标注样本集Bi和无标注样本集Unlabel中的样本）中的k近邻xi（i=1,2,...,k），假设k=5，通过如下方式判断每个无标注样本x的伪标签和后验概率：
（1）若k个近邻样本中有标注样本，且这些标注样本的类别标签（即样本中的用户在征信风险评估中用户对应的征信风险等级）是相同的，则把该标签作为无标注样本x的伪标签，属于该类别标签的后验概率为1，属于另一类别标签的后验概率为0。
（2）若k个近邻样本中有标注样本，但是它们的类别标签（即征信风险等级）不同，则无标注样本x的类别通过加权近邻的方式确定，计算该无标注样本x到k个近邻中有标注样本xi的欧式距离d，然后通过公式（1）计算每个有标注样本xi对x的权重wi：
（1）
其中，d表示两个样本的欧式距离，LNN(x)表示无标注样本x的k近邻中有标注样本构成的集合。然后，对属于同类的近邻样本的权重求和，即得到无标注样本x属于每个类别的后验概率，该无标注样本的伪标签为和值较大的那个类别。
（3）若k个近邻中无标注样本，则该无标注样本x不赋予类别标签（即征信风险等级），属于两类的后验概率都为0。
最后，确定安全伪标注样本及其后验概率，具体为：利用上述两种方式得到的无标注样本的伪标签若相同，则该伪标注样本为安全伪标注样本，属于每类的后验概率为两种方式分别得到的后验概率的均值。
步骤3：使用基于聚类的自步学习选择伪标注样本，具体为：
首先，计算每个安全伪标注样本x的难度值即当前分类器（即利用Bi训练得到的分类器）对x进行分类后的交叉熵，如公式（2）所示：
（2）
其中，是安全伪标签样本x的伪标签，0表示该样本属于负类（大类），1表示该样本属于正类（小类），p 1表示x属于正类的后验概率。
其次，确定每个安全伪标注样本所属的簇，具体为：在初始的正样本集Pos和负样本集Neg中分别进行聚类，采用kmeans聚类方法，假设每个类别的样本分别聚类为m簇，正类中m个簇中心分别记为，负类中m个簇中心分别记为/>。每个安全伪标注样本x所属的簇为与x的伪标签相同且到该类簇中心欧式距离最小的那个簇，如公式（3）所示：
（3）
其中，y为安全伪标注样本x的伪标签，c表明是正类还是负类。
最后，从每簇中按照难度值从小到大的顺序选择一定数量的安全伪标注样本，假设该数量为，/>为每类选择的安全伪样本数，如公式（4）所示：
（4）
其中，t表示当前迭代次数，u是初始无标注样本集Unlabel中样本的数量，r为不平衡数据集的不平衡比，为Neg集中样本数量除以Pos集中样本数量的比值，T为总迭代次数。
步骤4：把所有簇选择的安全伪标注样本加入到Bi中，得到增强的平衡样本子集（共有n个）；同时把已选择的安全伪标注样本从无标注集Unlabel中删除，得到新的有标注样本集（即增强后的平衡样本集）和无标注样本集（即删减后的无标注样本集）。
步骤5：上述步骤2-步骤4迭代T次，得到最后的有标注样本集（共n个），利用最后的有标注样本集训练基分类器，并利用多数投票机制集成这n个基分类器，得到最终的集成分类器。
在具体实施中，所述基分类器采用决策树分类器，所述多数投票机制具体为：利用n个预先训练的基分类器对某个样本进行分类，得到该样本的n个预测类别，该样本的最终类别是n个预测类别中占多数的那个类别。
进一步的，在另一实施例中，将一种面向不平衡数据的自步半监督集成分类器训练方法应用于医疗领域中，具体的，根据肿瘤图像判断良恶性，恶性肿瘤占少数，属于正类或小类，良性肿瘤占多数，属于负类或大类。
首先，提取肿瘤图像特征，包括从医院的数字成像仪器上得到的关于肿瘤的大小、形状、位置、钙化等信息，也可以根据现有的机器学习特征提取方法如方向梯度直方图（HOG）或深度卷积神经网络等提取得到的肿瘤图像的形态学或纹理等特征。少量肿瘤图像特征及其良恶性标签构成有标注样本集，大量无良恶性标签的肿瘤图像特征构成无标注样本集，有标注样本集和无标注样本集构成初始的不平衡数据集。
基于上述不平衡数据集，作为本实施例所述一种面向不平衡数据的自步半监督集成分类器训练方法的初始数据，并执行上述步骤1至步骤5，实现集成分类器的训练。
可以理解的，本实施例所述方法中利用的不平衡数据，对于不同应用场景获取数据的方式不同，获取的样本特征不同，理论上本实施例所述方案可以应用于不同的应用场景下的不平衡数据。
实施例二：
本实施例的目的是提供一种面向不平衡数据的自步半监督集成分类器训练系统。
一种面向不平衡数据的自步半监督集成分类器训练系统，包括：
平衡样本集获取单元，其用于基于不平衡数据集获取若干平衡有标注样本子集，其中，所述不平衡数据集包括有标注样本集和无标注样本集；
伪标注样本获取单元，其用于分别基于预先训练的分类器以及加权K近邻方法对不平衡数据集中的无标注样本进行分类，并基于分类结果确定每个平衡有标注样本子集对应的安全伪标注样本；
伪标注样本选择单元，其用于基于安全伪标注样本所属簇以及对应的难度值，从每个平衡有标注样本子集对应的安全伪标注样本中选择预设数量的安全伪标注样本；
样本集更新单元，其用于将选择的安全伪标注样本加入对应的平衡有标注样本子集，将已选择的安全伪标注样本在无标注样本集中删除，得到新的有标注样本集和无标注样本集；
迭代求解单元，其用于重复伪标注样本获取单元、伪标注样本选择单元以及样本集更新单元的处理过程预设次数，获得若干平衡有标注样本集，基于若干平衡有标注样本集分别训练若干基分类器，并通过对若干基分类器进行集成，实现集成分类器的训练。
进一步的，本实施例所述系统与实施例一中所述方法相对应，其技术细节在实施例一中已经进行了详细说明，故此处不再赘述。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向不平衡数据的自步半监督集成分类器训练方法，其特征在于，包括：
步骤1：基于不平衡数据集获取若干平衡有标注样本子集，其中，所述不平衡数据集包括有标注样本集和无标注样本集；
步骤2：分别基于预先训练的分类器以及加权K近邻方法对不平衡数据集中的无标注样本进行分类，并基于分类结果确定每个平衡有标注样本子集对应的安全伪标注样本；
步骤3：基于安全伪标注样本所属簇以及对应的难度值，从每个平衡有标注样本子集对应的安全伪标注样本中选择预设数量的安全伪标注样本；
步骤4：将选择的安全伪标注样本加入对应的平衡有标注样本子集，将已选择的安全伪标注样本在无标注样本集中删除，得到新的有标注样本集和无标注样本集；
步骤5：重复步骤2至步骤4预设次数，获得若干平衡有标注样本集，基于若干平衡有标注样本集分别训练若干基分类器，并通过对若干基分类器进行集成，实现集成分类器的训练。
2.如权利要求1所述的一种面向不平衡数据的自步半监督集成分类器训练方法，其特征在于，所述基于不平衡数据集获取平衡有标注样本子集，具体为：从不平衡数据集的负样本中随机选择与正样本数量一致的样本，将获得的样本与不平衡数据集中的正样本进行组合，获得平衡有标注样本。
3.如权利要求1所述的一种面向不平衡数据的自步半监督集成分类器训练方法，其特征在于，分别基于预先训练的分类器以及加权K近邻方法对不平衡数据集中的无标注样本进行分类，其中，所述分类器分别利用获得的若干平衡有标注样本子集进行训练，通过训练好的分类器获得无标注样本的伪标签及其对应的后验概率。
4.如权利要求1所述的一种面向不平衡数据的自步半监督集成分类器训练方法，其特征在于，基于加权K近邻方法对不平衡数据集中的无标注样本进行分类，具体为：计算每个无标注样本在整个样本集中的K个近邻样本；其中整个样本包括平衡有标注样本子集和无标注样本集；基于无标注样本对应的K个近邻样本的标注情况进行无标注样本的分类。
5.如权利要求4所述的一种面向不平衡数据的自步半监督集成分类器训练方法，其特征在于，基于无标注样本对应的K个近邻样本的标注情况进行无标注样本的分类，具体为：当无标注样本的K个近邻样本中存在标注样本，且标注标签一致，则以该标签作为无标注样本的伪标签，且该伪标签的后验概率为1；当K个近邻样本中存在标注样本且标注标签不同，则通过邻近样本中有标注样本的加权求和确定无标注样本所属类别的后验概率，并选择后验概率最大的类别作为无标注样本的伪标签；当K个近邻样本中不存在标注样本，则当前无标注样本不赋予伪标签。
6.如权利要求5所述的一种面向不平衡数据的自步半监督集成分类器训练方法，其特征在于，所述通过邻近样本中有标注样本的加权求和确定无标注样本所属类别的后验概率，具体为：计算当前无标注样本到K个近邻样本中有标注样本的距离，并基于所述距离计算每个有标注样本对当前无标注样本的权重，通过权重求和确定当前无标注样本属于不同类别的后验概率。
7.如权利要求1所述的一种面向不平衡数据的自步半监督集成分类器训练方法，其特征在于，基于分类器与加权K近邻方法的分类结果，确定安全伪标注样本，具体为：对于无标注样本，若基于分类器与加权K近邻方法获得的伪标签相同，则该样本为安全伪标注样本，该样本对类别的后验概率为基于分类器与加权K近邻方法的分类结果对应后验概率的均值。
8.如权利要求1所述的一种面向不平衡数据的自步半监督集成分类器训练方法，其特征在于，基于安全伪标注样本所属簇以及对应的难度值，从每个平衡有标注样本子集对应的安全伪标注样本中选择预设数量的安全伪标注样本；具体为：以分类器对安全伪标注样本进行分类的交叉熵作为安全伪标注样本的难度值；对不平衡数据集的初始有标注样本集中的正样本集和负样本集分别进行聚类，分别获得若干簇中心；基于安全伪标注样本到各个簇中心的距离，对所有的安全伪标注样本划分为若干簇；从每个簇中按照安全伪标注样本的难度值选择预设数量的安全伪标注样本。
9.如权利要求1所述的一种面向不平衡数据的自步半监督集成分类器训练方法，其特征在于，所述通过对若干基分类器进行集成，实现集成分类器的训练，具体采用多数投票机制将若干基分类器进行集成。
10.一种面向不平衡数据的自步半监督集成分类器训练系统，其特征在于，包括：
平衡样本集获取单元，其用于基于不平衡数据集获取若干平衡有标注样本子集，其中，所述不平衡数据集包括有标注样本集和无标注样本集；
伪标注样本获取单元，其用于分别基于预先训练的分类器以及加权K近邻方法对不平衡数据集中的无标注样本进行分类，并基于分类结果确定每个平衡有标注样本子集对应的安全伪标注样本；
伪标注样本选择单元，其用于基于安全伪标注样本所属簇以及对应的难度值，从每个平衡有标注样本子集对应的安全伪标注样本中选择预设数量的安全伪标注样本；
样本集更新单元，其用于将选择的安全伪标注样本加入对应的平衡有标注样本子集，将已选择的安全伪标注样本在无标注样本集中删除，得到新的有标注样本集和无标注样本集；
迭代求解单元，其用于重复伪标注样本获取单元、伪标注样本选择单元以及样本集更新单元的处理过程预设次数，获得若干平衡有标注样本集，基于若干平衡有标注样本集分别训练若干基分类器，并通过对若干基分类器进行集成，实现集成分类器的训练。
CN202311145834.7A 2023-09-07 2023-09-07 面向不平衡数据的自步半监督集成分类器训练方法及系统 Active CN116910660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311145834.7A CN116910660B (zh) 2023-09-07 2023-09-07 面向不平衡数据的自步半监督集成分类器训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311145834.7A CN116910660B (zh) 2023-09-07 2023-09-07 面向不平衡数据的自步半监督集成分类器训练方法及系统

Publications (2)

Publication Number Publication Date
CN116910660A true CN116910660A (zh) 2023-10-20
CN116910660B CN116910660B (zh) 2024-01-23

Family

ID=88367034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311145834.7A Active CN116910660B (zh) 2023-09-07 2023-09-07 面向不平衡数据的自步半监督集成分类器训练方法及系统

Country Status (1)

Country Link
CN (1) CN116910660B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150578A (zh) * 2013-04-09 2013-06-12 山东师范大学 一种基于半监督学习的支持向量机分类器训练方法
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN111626336A (zh) * 2020-04-29 2020-09-04 南京理工大学 一种基于不平衡数据集的地铁故障数据分类方法
US20210365735A1 (en) * 2020-05-22 2021-11-25 Toyota Jidosha Kabushiki Kaisha Computer-implemented training method, classification method and system and computer-readable recording medium
CN115907972A (zh) * 2023-01-16 2023-04-04 齐鲁工业大学(山东省科学院) 基于双重自步学习的不平衡征信数据风险评估方法及系统
WO2023083470A1 (en) * 2021-11-15 2023-05-19 Huawei Technologies Co., Ltd. Image classification apparatus and method
US20230169332A1 (en) * 2021-11-28 2023-06-01 Naver Corporation Method and system for machine learning from imbalanced data with noisy labels
CN116645561A (zh) * 2023-06-09 2023-08-25 齐鲁工业大学(山东省科学院) 基于自训练和k近邻的肿瘤良恶性半监督分类方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150578A (zh) * 2013-04-09 2013-06-12 山东师范大学 一种基于半监督学习的支持向量机分类器训练方法
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN111626336A (zh) * 2020-04-29 2020-09-04 南京理工大学 一种基于不平衡数据集的地铁故障数据分类方法
US20210365735A1 (en) * 2020-05-22 2021-11-25 Toyota Jidosha Kabushiki Kaisha Computer-implemented training method, classification method and system and computer-readable recording medium
WO2023083470A1 (en) * 2021-11-15 2023-05-19 Huawei Technologies Co., Ltd. Image classification apparatus and method
US20230169332A1 (en) * 2021-11-28 2023-06-01 Naver Corporation Method and system for machine learning from imbalanced data with noisy labels
CN115907972A (zh) * 2023-01-16 2023-04-04 齐鲁工业大学(山东省科学院) 基于双重自步学习的不平衡征信数据风险评估方法及系统
CN116645561A (zh) * 2023-06-09 2023-08-25 齐鲁工业大学(山东省科学院) 基于自训练和k近邻的肿瘤良恶性半监督分类方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONGJIAO GUAN 等: "A Generalized Optimization Embedded Framework of Unfersampling Ensembles for Imbalanced Classification", 《RESEARCHGATE》, pages 1 - 10 *
HONGJIAO GUAN 等: "SMOTE-WENN: Sovling class imbalance and small sample problems by oversampling and distance scaling", 《APPLIED INTELLIGENCE》, pages 1394 - 1409 *
YANGGUANG SHAO: "Dual Self-Paced SMOTE for Imbalanced Data", 《2022 26TH INTERNATIONAL CONFERENCE ON PATTEN RECOGNITION》, pages 3083 - 3089 *
管红娇: "针对不平衡数据复杂分布特征的分类方法研究", 《CNKI学位论文》, vol. 2021, no. 01 *

Also Published As

Publication number Publication date
CN116910660B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
JP2022538866A (ja) 画像前処理のためのシステム及び方法
CN106599913B (zh) 一种基于聚类的多标签不平衡生物医学数据分类方法
CN108877947B (zh) 基于迭代均值聚类的深度样本学习方法
Tan et al. A transfer learning approach to breast cancer classification in a federated learning framework
Zheng et al. Comparison of artificial neural network and Bayesian belief network in a computer-assisted diagnosis scheme for mammography
Zhang et al. Classification of canker on small datasets using improved deep convolutional generative adversarial networks
Kurkure et al. Lung cancer detection using genetic approach
Al-Daoud A Comparison Between Three Neural Network Models for
Arif et al. Application of genetic algorithm and u-net in brain tumor segmentation and classification: A deep learning approach
Peng et al. Knowledge-discovery incorporated evolutionary search for microcalcification detection in breast cancer diagnosis
Choudhury et al. PSSO: Political Squirrel Search Optimizer-Driven Deep Learning for Severity Level Detection and Classification of Lung Cancer
CN116910660B (zh) 面向不平衡数据的自步半监督集成分类器训练方法及系统
Elshazly et al. Lymph diseases diagnosis approach based on support vector machines with different kernel functions
Mary Adline Priya et al. Dropout AlexNet‐extreme learning optimized with fast gradient descent optimization algorithm for brain tumor classification
Heydari et al. A review on lung cancer diagnosis using data mining algorithms
Haarika et al. Breast cancer prediction using feature selection and classification with xgboost
Grace John et al. Extreme learning machine algorithm‐based model for lung cancer classification from histopathological real‐time images
de Oliveira Martins et al. Classification of breast masses in mammogram images using Ripley’s K function and support vector machine
CN113362927A (zh) 一种基于深度学习的鳞状食道癌放化疗效果预测方法
Sikkandar Deep learning model for image-based diagnosis of covid-19 classification using convolution neural network
Kurkure et al. Classification of stages of lung cancer using genetic candidate group search approach
Kumar et al. Classification of Microcalcification in Digital Mammogram using Stochastic Neighbor Embedding and KNN Classifier
CN111598144A (zh) 图像识别模型的训练方法和装置
Melingi et al. A bio‐inspired AlexNet‐DrpXLm architype for an effective brain stroke lesion detection and classification
Capitani et al. ClusterFix: A Cluster-Based Debiasing Approach without Protected-Group Supervision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant