CN112036515A - 基于smote算法的过采样方法、装置和电子设备 - Google Patents

基于smote算法的过采样方法、装置和电子设备 Download PDF

Info

Publication number
CN112036515A
CN112036515A CN202011216546.2A CN202011216546A CN112036515A CN 112036515 A CN112036515 A CN 112036515A CN 202011216546 A CN202011216546 A CN 202011216546A CN 112036515 A CN112036515 A CN 112036515A
Authority
CN
China
Prior art keywords
sample data
dimension
data
minority
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011216546.2A
Other languages
English (en)
Inventor
刘国旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qilu Information Technology Co Ltd
Original Assignee
Beijing Qilu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qilu Information Technology Co Ltd filed Critical Beijing Qilu Information Technology Co Ltd
Priority to CN202011216546.2A priority Critical patent/CN112036515A/zh
Publication of CN112036515A publication Critical patent/CN112036515A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供了一种基于SMOTE算法的过采样方法、装置和电子设备。该方法包括：获取历史样本数据集，确定正、负样本及其对应数量；确定多数类样本数据和少数类样本数据，并进行数据向量化处理；使用离异点监测方法，从所述少数类样本数据集中筛选目标样本数据；基于SMOTE算法，对所述目标样本数据进行过采样，以生成特定数量的新样本数据；根据所生成的新样本数据和原始的少数类样本数据，得到扩增后的少数类样本数据集。本发明在优化采样方法的同时，解决了数据不均衡的问题，还提升了模型预测的精确度，有效减少了数据不均衡引入的偏差。

Description

基于SMOTE算法的过采样方法、装置和电子设备
技术领域
本发明涉及计算机信息处理领域，具体而言，涉及一种基于SMOTE算法的过采样方法、装置和电子设备。
背景技术
类别不平衡是分类任务中的一个典型问题，它主要表现为两个类之间的样本数量差距巨大。现实中存在很多类别不平衡的情况，比如金融诈骗与保险骗保的鉴别，医学上癌症的辨别等等。对不平衡数据进行分类的主要困难在于，传统的机器学习方法是建立在训练集类别平衡的基础上的，对于数据偏差分布的情况敏感度较低，导致预测结果偏向多类数据。然而，从数据挖掘的角度来看，少数群体往往带有更重要并且有用的信息，因此，挖掘预测这些少类样本具有重大的意义。
近年，研究者通过对数据进行采样使得样本达到人工平衡状态，从而进行预测模型的学习。其中，过采样是处理数据不平衡问题的一种很有效的方法，其通过复制或合成样本的方式来解决这个问题，以平衡多数类和少数类样本之间的分布。但是，对少类样本进行复制或者减少一些大类样本，这样前者会造成过拟合，后者在删除样本时会导致一些重要的信息被遗漏。
现有的过采样方法包括ADASYN算法、SMOTE算法、Borderline-SMOTE算法等。其中，使用SMOTE算法，计算样本之间的距离合成新的样本，以进行扩增数据，但是采样点是线性采样，采样的分布性不够广。由于现有方法仅基于样本之间的距离对所有样本进行无区别采样，没有考虑到同类样本之间的数据特性，这样会导致采样后样本边界模糊甚至重叠，导致预测精度降低，还会影响分析结果。因此，对于过采样的方法仍存在很大改进空间。
因此，有必要提供一种改进了SMOTE算法的过采样方法。
发明内容
为了进一步优化采样方法，本发明提供了一种基于SMOTE算法的过采样方法，用于金融风险评估或预测，包括：获取历史样本数据集，确定正、负样本及其对应数量；确定多数类样本数据和少数类样本数据，并进行数据向量化处理；使用离异点监测方法，从所述少数类样本数据集中筛选目标样本数据；基于SMOTE算法，对所述目标样本数据进行过采样，以生成特定数量的新样本数据；根据所生成的新样本数据和原始的少数类样本数据，得到扩增后的少数类样本数据集。
优选地，还包括：使用所述历史样本数据集和所述合成后的少数类样本数据，建立训练数据集，所述训练数据集包括用户数据和金融风险表现数据；构建金融风险预测模型，使用所述训练数据集训练该金融风险预测模型，以计算目标用户的金融风险评估值。
优选地，所述使用离异点监测方法，筛选目标样本数据包括：使用离异点监测方 法，对向量化后的少数类样本数据进行监测，绘制每一个维度数据的箱线图；基于各箱线 图，判断所述少数类样本数据中的维度异常点或维度噪声点，以生成新样本数据：
Figure 45432DEST_PATH_IMAGE001
，其中，
Figure 199333DEST_PATH_IMAGE002
为新样本；
Figure 816259DEST_PATH_IMAGE003
为
Figure 886852DEST_PATH_IMAGE002
所属的 少数类数据集的中心点；
Figure 298242DEST_PATH_IMAGE004
为
Figure 408280DEST_PATH_IMAGE002
所属的少数类数据集中选择的近邻点或边界点；
Figure 94476DEST_PATH_IMAGE005
为0～1之间的测随数。
优选地，还包括：对所有少数类样本数据中对应的同一维度上的维度数据进行升序排序处理；计算四分位距IQR值，以确定第一判断阈值和第二判断阈值，该第一判断阈值为上四分位+1.5IQR，该第二判断阈值为下四分位-1.5IQR。
优选地，还包括：判断同一维度上的维度数据是否大于所述第一判断阈值或者小于所述第二判断阈值；将大于所述第一判断阈值的维度数据和小于所述第二判断阈值的维度数据，判断为维度异常点，以将具有所述维度异常点的样本数据作为目标样本数据，以生成新样本数据。
优选地，还包括：对所述维度异常点进行修正处理，合成新样本数据，所述修正处理包括线性归一化处理、频次统计计算。
优选地，所述对所述目标样本数据进行过采样，以生成特定数量的新样本数据包括：基于所确定的正、负样本的数量，计算所述过采样的采样数量，所述采样数量大于等于所述特定数量。
优选地，还包括：设定第一采样设定值和第二采样设定值；对小于第一采样设定值的少数类样本数据，进行过采样，以扩增特定数量的新样本数据；对大于第二采样设定值的多数类样本数据，进行欠采样，以删去一部分样本数据。
此外，本发明还提供了一种基于SMOTE算法的过采样装置，用于金融风险评估或预测，包括：数据获取模块，用于获取历史样本数据集，确定正、负样本及其对应数量；确定模块，用于确定多数类样本数据和少数类样本数据，并进行数据向量化处理；筛选模块，用于使用离异点监测方法，从所述少数类样本数据集中筛选目标样本数据；生成模块，用于基于SMOTE算法，对所述目标样本数据进行过采样，以生成特定数量的新样本数据；扩增模块，用于根据所生成的新样本数据和原始的少数类样本数据，得到扩增后的少数类样本数据集。
优选地，还包括建立模块，所述建立模块用于使用所述历史样本数据集和所述合成后的少数类样本数据，建立训练数据集，所述训练数据集包括用户数据和金融风险表现数据；构建金融风险预测模型，使用所述训练数据集训练该金融风险预测模型，以计算目标用户的金融风险评估值。
优选地，还包括监测模块，所述监测模块用于使用离异点监测方法，对向量化后的 少数类样本数据进行监测，绘制每一个维度数据的箱线图；基于各箱线图，判断所述少数类 样本数据中的维度异常点或维度噪声点，以生成新样本数据：
Figure 285155DEST_PATH_IMAGE001
，其中，
Figure 867446DEST_PATH_IMAGE002
为新样本；
Figure 261519DEST_PATH_IMAGE006
为
Figure 954668DEST_PATH_IMAGE002
所属的 少数类数据集的中心点；
Figure 468695DEST_PATH_IMAGE004
为
Figure 221887DEST_PATH_IMAGE002
所属的少数类数据集中选择的近邻点或边界点；
Figure 103256DEST_PATH_IMAGE007
为0～1之间的测随数。
优选地，还包括：对所有少数类样本数据中对应的同一维度上的维度数据进行升序排序处理；计算四分位距IQR值，以确定第一判断阈值和第二判断阈值，该第一判断阈值为上四分位+1.5IQR，该第二判断阈值为下四分位-1.5IQR。
优选地，还包括：判断同一维度上的维度数据是否大于所述第一判断阈值或者小于所述第二判断阈值；将大于所述第一判断阈值的维度数据和小于所述第二判断阈值的维度数据，判断为维度异常点，以将具有所述维度异常点的样本数据作为目标样本数据，以生成新样本数据。
优选地，还包括：对所述维度异常点进行修正处理，合成新样本数据，所述修正处理包括线性归一化处理、频次统计计算。
优选地，还包括：基于所确定的正、负样本的数量，计算所述过采样的采样数量，所述采样数量大于等于所述特定数量。
优选地，还包括：设定第一采样设定值和第二采样设定值；对小于第一采样设定值的少数类样本数据，进行过采样，以扩增特定数量的新样本数据；对大于第二采样设定值的多数类样本数据，进行欠采样，以删去一部分样本数据。
此外，本发明还提供了一种电子设备，其中，该电子设备包括：处理器；以及，存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行本发明所述的基于SMOTE算法的过采样方法。
此外，本发明还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现本发明所述的基于SMOTE算法的过采样方法。
有益效果
与现有技术相比，本发明的基于SMOTE算法的过采样方法，对传统SMOTE算法进行了改进，通过使用离异点监测方法，判断出维度异常点，并基于维度异常点对每个维度随机处理，将线性采样扩展到面采样，使采样点在面上扩散，由此提高了采样的分布性；该方法在优化采样方法的同时，解决了数据不均衡的问题，还提升了模型预测的精确度，有效减少了数据不均衡引入的偏差。
附图说明
为了使本发明所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本发明的具体实施例。但需声明的是，下面描述的附图仅仅是本发明本发明示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。
图1是本发明的实施例1的基于SMOTE算法的过采样方法的一示例的流程图。
图2是本发明的实施例1的基于SMOTE算法的过采样方法的另一示例的流程图。
图3是本发明的实施例1的基于SMOTE算法的过采样方法的又一示例的流程图。
图4是本发明的实施例2的基于SMOTE算法的过采样装置的一示例的示意图。
图5是本发明的实施例2的基于SMOTE算法的过采样装置的另一示例的示意图。
图6是本发明的实施例2的基于SMOTE算法的过采样装置的又一示例的示意图。
图7是根据本发明的一种电子设备的示例性实施例的结构框图。
图8是根据本发明的计算机可读介质的示例性实施例的结构框图。
具体实施方式
现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
在符合本发明的技术构思的前提下，在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
在对于具体实施例的描述中，本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是，并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但这不应受这些定语限制。这些定语乃是用以区分一者与另一者。例如，第一器件亦可称为第二器件而不偏离本发明实质的技术方案。
术语“和/或”或者“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
为了进一步优化采样方法，解决数据不均衡的问题，本发明提供了一种基于SMOTE算法的过采样方法。该方法在优化采样方法的同时，解决了数据不均衡的问题，还提升了模型预测的精确度，有效减少了数据不均衡引入的偏差。以下将以本发明方法在金融风险预测模型的应用为示例，将详细描述说明本发明的方法流程。
实施例1
下面，将参照图1至图3描述本发明的基于SMOTE算法的过采样方法的实施例。
图1为本发明的基于SMOTE算法的过采样方法的流程图。如图1所示，一种过采样方法，该方法包括如下步骤。
步骤S101，获取历史样本数据集，确定正、负样本及其对应数量。
步骤S102，确定多数类样本数据和少数类样本数据，并进行数据向量化处理。
步骤S103，使用离异点监测方法，从所述少数类样本数据集中筛选目标样本数据。
步骤S104，基于SMOTE算法，对所述目标样本数据进行过采样，以生成特定数量的新样本数据。
步骤S105，根据所生成的新样本数据和原始的少数类样本数据，得到扩增后的少数类样本数据集。
首先，在步骤S101中，获取历史样本数据集，确定正、负样本及其对应数量。
在本示例中，本发明的过采样方法用于金融风险评估或预测，其中，使用该过采样方法对少数类样本数据进行采样，建立训练数据集，再使用该训练模型训练金融风险预测模型。
具体地，历史样本数据集包括用户数据、金融表现数据。其中，用户特征数据包括用户基本信息数据、社交行为数据等。例如用户年龄、性别、职业、月收入/年收入等。
需要说明的是，金融表现数据包括用户对于金融产品所表现的相关数据。在本示例中，金融表现数据为用户转化概率，例如电联后1～7天内用户是否转化的概率，但是不限于此，在其他示例中，还可以包括违约概率和/或逾期概率。上述仅作为示例进行说明，不能理解成对本发明的限制。
在本示例中，设定电联后1～7天内用户转化的样本数据为正样本，电联后1～7天内用户未转化或7天以上转化的样本数据为负样本。
具体地，确定正、负样本，并计算正、负样本的数量，以进一步确定正样本与负样本的比例。
接下来，在步骤102中，确定多数类样本数据和少数类样本数据，并进行数据向量化处理。
例如，正样本的数量9万，负样本的数量为77万，则正样本数据集为少数类数据集，负样本数据集为多数类数据集。
具体地，对所确定的多数类样本数据和少数类样本数据进行预处理，并进行数据向量化处理，其中，所述预处理包括清洗数据、去噪声处理等。
优选地，使用word2vec模型、BERT模型和RoBERTa模型等，进行数据向量化处理。例如，向量化后的样本数据为200维的向量数据。
为了解决数据不均衡的问题，对少数类样本数据集中样本数据进行过采样，以扩增该部分样本数据的数量，使用合成的新样本数据来平衡数据量不均衡。同时，对用于采样的样本数据进行监测，并进行筛选，以进一步优化采样方法。下面将具体描述离异点监测步骤。
接下来，在步骤S103中，使用离异点监测方法，从所述少数类样本数据集中筛选目标样本数据。
在本示例中，使用离异点监测方法对待监测的所有样本数据（即向量化后的所有少数类样本数据）的每一个维度的维度数据进行监测，通过对每一个维度的维度数据绘制箱线图，来判断异常离异点或维度噪声点。
具体地，对待监测的所有少数类样本数据的同一维度的维度数据进行升序排序处理，绘制每一个维度数据的箱线图，并计算四分位距IQR值，以确定第一判断阈值和第二判断阈值，该第一判断阈值为上四分位+1.5IQR，该第二判断阈值为下四分位-1.5IQR。
进一步地，基于各箱线图，判断所述少数类样本数据中的维度异常点或维度噪声点。
具体地，判断同一维度上的维度数据是否大于第一判断阈值或者小于第二判断阈值；将大于所述第一判断阈值的维度数据和小于所述第二判断阈值的维度数据，判断为维度异常点，以将具有所述维度异常点的样本数据作为目标样本数据。
接下来，在步骤S104中，基于SMOTE算法，对所述目标样本数据进行过采样，以生成特定数量的新样本数据。
在本示例中，对所筛选的目标样本数据，使用SMOTE算法，生成新样本数据的计算表达式如下：
Figure 396834DEST_PATH_IMAGE001
，其中，
Figure 781679DEST_PATH_IMAGE002
为新样本；
Figure 689461DEST_PATH_IMAGE003
为
Figure 58125DEST_PATH_IMAGE002
所属的少数类数据集的中心点；
Figure 889815DEST_PATH_IMAGE004
为
Figure 863587DEST_PATH_IMAGE002
所属的少数类数据集中选择的近邻点或边界 点；
Figure 489740DEST_PATH_IMAGE008
为0～1之间的测随数。
现有采样为线性采样，本发明对传统SMOTE算法进行了改进，通过增加维度离异点监测步骤，基于维度异常点对每个维度随机处理，将线性采样扩展到面采样，使采样点在面上扩散，由此提高了采样的分布性。
如图2所示，还包括对维度异常点进行修正处理的步骤S201。
在步骤S201中，对维度异常点进行修正处理，以合成新样本数据，其中，所述修正处理包括线性归一化处理、频次统计计算。
在本示例中，基于所确定的正、负样本的数量，计算所述过采样的采样数量，所述采样数量大于等于所述特定数量。例如，该特定数量为65万，采样数量为67万。
需要说明的是，对于采样数量和特定数量的确定，上述仅作为示例进行说明，不能理解成对本发明的限制。
如图3所示，还包括设定第一采样设定值和第二采样设定值的步骤S301。
在步骤S301中，设定第一采样设定值和第二采样设定值。
具体地，基于业务类型，正、负样本的设定、数量等因素，设定用于判断少数类样本数据和多数类样本数据的第一采样设定值和第二采样设定值，换言之，设定用于判断过采样和欠采样的第一采样设定值和第二采样设定值。
在另一示例中，对小于第一采样设定值的少数类样本数据，进行过采样，以扩增特定数量的新样本数据；对大于第二采样设定值的多数类样本数据，进行欠采样，以删去一部分样本数据。由此，通过对数据集进行过采样和欠采样结合的方法，进一步优化采样方法，解决数据不均衡的问题。
接下来，在步骤S105中，根据所生成的新样本数据和原始的少数类样本数据，得到扩增后的少数类样本数据集。
具体地，将所生成的新样本数据增加至原始的少数类样本数据集中，得到扩增后的少数类样本数据集，通过扩增的样本数据来解决数据不平衡的问题。
在一示例中，使用所述历史样本数据集和所述合成后的少数类样本数据，建立训练数据集，所述训练数据集包括用户数据和金融风险表现数据。
进一步地，构建金融风险预测模型，使用所述训练数据集训练该金融风险预测模型，以计算目标用户的金融风险评估值。
具体地，例如使用 XGBoost 方法，构建金融风险预测模型。但是不限 于此，在其他示例中，还可以使用 TextCNN 算法、随机森林算法、逻辑 回归算法等，或者使用上述算法中的两种以上的算法。具体使用的算法可 以根据采样数据和/或业务需求进行确定。
与不进行过采样处理的数据集所建立的训练数据集相比，通过使用上述过采样扩增后的少数类数据集所建立的训练数据集，来训练所述金融风险预测模型，进一步提升了模型预测的精确度、召回率等多个指标，有效减少了数据不均衡引入的偏差。
需要说明的是，步骤步骤S105和步骤S101中的用户数据和金融风险表现数据所表示的含义相同，因此省略对其的描述。
在另一示例中，使用K-means算法对所述历史数据集进行聚类分析，形成k个类别的数据集，形成多个少数类样本数据集和多个多数类样本数据集。
进一步地，基于聚类结果，进行数据清洗处理，并确定少数类样本数据集和多数类样本数据集。再进一步确定进行过采样的少数类样本数据集和进行欠采样的多数类样本数据，以优化采样方法，解决数据不均衡的问题。
需要说明的是，上述仅为优选的实施例，不能理解成对本发明的限制。
本领域技术人员可以理解，实现上述实施例的全部或部分步骤被实现为由计算机数据处理设备执行的程序（计算机程序）。在该计算机程序被执行时，可以实现本发明提供的上述方法。而且，所述的计算机程序可以存储于计算机可读存储介质中，该存储介质可以是磁盘、光盘、ROM、RAM等可读存储介质，也可以是多个存储介质组成的存储阵列，例如磁盘或磁带存储阵列。所述的存储介质不限于集中式存储，其也可以是分布式存储，例如基于云计算的云存储。
与现有技术相比，本发明的基于SMOTE算法的过采样方法，对传统SMOTE算法进行了改进，通过使用离异点监测方法，判断出维度异常点，并基于维度异常点对每个维度随机处理，将线性采样扩展到面采样，使采样点在面上扩散，由此提高了采样的分布性；该方法在优化采样方法的同时，解决了数据不均衡的问题，还提升了模型预测的精确度，有效减少了数据不均衡引入的偏差。
实施例2
下面描述本发明的装置实施例，该装置可以用于执行本发明的方法实施例。对于本发明装置实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明装置实施例中未披露的细节，可以参照上述方法实施例来实现。
参照图4、图5和图6，本发明还提供了一种基于SMOTE算法的过采样装置400，用于金融风险评估或预测，包括：数据获取模块401，用于获取历史样本数据集，确定正、负样本及其对应数量；确定模块402，用于确定多数类样本数据和少数类样本数据，并进行数据向量化处理；筛选模块403，用于使用离异点监测方法，从所述少数类样本数据集中筛选目标样本数据，其中，对待监测的向量化后的所有少数类样本数据的每一个维度的维度数据进行监测，通过对每一个维度的维度数据绘制箱线图，来判断异常离异点或维度噪声点，判断所述少数类样本数据中的维度异常点或维度噪声点，对该维度异常点进行修正处理；生成模块404，用于基于SMOTE算法，对所述目标样本数据进行过采样，以生成特定数量的新样本数据；扩增模块405，用于根据所生成的新样本数据和原始的少数类样本数据，得到扩增后的少数类样本数据集；处理模块406，用于使用所述历史样本数据集和所述扩增后的少数类样本数据集，建立训练数据集，所述训练数据集包括用户数据和金融风险表现数据；还用于构建金融风险预测模型，使用所述训练数据集训练该金融风险预测模型，以计算目标用户的金融风险评估值。
如图5所示，将处理模块拆分成建立模块501和处理模块406，其中，所述建立模块501用于使用所述历史样本数据集和所述合成后的少数类样本数据，建立训练数据集，所述训练数据集包括用户数据和金融风险表现数据；所述处理模块406用于构建金融风险预测模型，使用所述训练数据集训练该金融风险预测模型，以计算目标用户的金融风险评估值。
如图6所示，还包括监测模块601，所述监测模块601用于使用离异点监测方法，对 向量化后的少数类样本数据进行监测，绘制每一个维度数据的箱线图；基于各箱线图，判断 所述少数类样本数据中的维度异常点或维度噪声点，以生成新样本数据：
Figure 594969DEST_PATH_IMAGE001
，其中，
Figure 168032DEST_PATH_IMAGE002
为新样本；
Figure 527470DEST_PATH_IMAGE003
为
Figure 590104DEST_PATH_IMAGE002
所属的 少数类数据集的中心点；
Figure 402202DEST_PATH_IMAGE004
为
Figure 841273DEST_PATH_IMAGE002
所属的少数类数据集中选择的近邻点或边界点；
Figure 304485DEST_PATH_IMAGE005
为0～1之间的测随数。
优选地，还包括：对所有少数类样本数据中对应的同一维度上的维度数据进行升序排序处理；计算四分位距IQR值，以确定第一判断阈值和第二判断阈值，该第一判断阈值为上四分位+1.5IQR，该第二判断阈值为下四分位-1.5IQR。
优选地，还包括：判断同一维度上的维度数据是否大于所述第一判断阈值或者小于所述第二判断阈值；将大于所述第一判断阈值的维度数据和小于所述第二判断阈值的维度数据，判断为维度异常点，以将具有所述维度异常点的样本数据作为目标样本数据，以生成新样本数据。
优选地，还包括：对所述维度异常点进行修正处理，合成新样本数据，所述修正处理包括线性归一化处理、频次统计计算。
优选地，还包括：基于所确定的正、负样本的数量，计算所述过采样的采样数量，所述采样数量大于等于所述特定数量。
优选地，还包括：设定第一采样设定值和第二采样设定值；对小于第一采样设定值的少数类样本数据，进行过采样，以扩增特定数量的新样本数据；对大于第二采样设定值的多数类样本数据，进行欠采样，以删去一部分样本数据。
需要说明的是，在实施例2中，省略了与实施例1相同的部分的说明。
本领域技术人员可以理解，上述装置实施例中的各模块可以按照描述分布于装置中，也可以进行相应变化，分布于不同于上述实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
与现有技术相比，本发明的基于SMOTE算法的过采样装置，通过使用离异点监测方法，判断出维度异常点，并基于维度异常点对每个维度随机处理，将线性采样扩展到面采样，使采样点在面上扩散，由此提高了采样的分布性；在优化采样的同时，解决了数据不均衡的问题，还提升了模型预测的精确度，有效减少了数据不均衡引入的偏差。
实施例3
下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
图7是根据本发明的一种电子设备的示例性实施例的结构框图。下面参照图7来描述根据本发明该实施例的的电子设备200。图7显示的电子设备200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同系统组件（包括存储单元220和处理单元210）的总线230、显示单元240等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元210执行，使得所述处理单元210执行本说明书上述电子设备的处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元210可以执行如图1所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元（ROM）2203。
所述存储单元220还可以包括具有一组（至少一个）程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、或者网络设备等）执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法。
如图8所示，所述计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于SMOTE算法的过采样方法，用于金融风险评估或预测，其特征在于，包括：
获取历史样本数据集，确定正、负样本及其对应数量；
确定多数类样本数据和少数类样本数据，并进行数据向量化处理；
使用离异点监测方法，从所述少数类样本数据中筛选目标样本数据，其中，对待监测的向量化后的所有少数类样本数据的每一个维度的维度数据进行监测，通过对每一个维度的维度数据绘制箱线图，来判断异常离异点或维度噪声点，判断所述少数类样本数据中的维度异常点或维度噪声点，对该维度异常点进行修正处理；
基于SMOTE算法，对所述目标样本数据进行过采样，以生成特定数量的新样本数据；
根据所生成的新样本数据和原始的少数类样本数据，得到扩增后的少数类样本数据集；
使用所述历史样本数据集和所述扩增后的少数类样本数据集，建立训练数据集，所述训练数据集包括用户数据和金融风险表现数据；
构建金融风险预测模型，使用所述训练数据集训练该金融风险预测模型，以计算目标用户的金融风险评估值。
2.根据权利要求1所述的基于SMOTE算法的过采样方法，其特征在于，所述使用离异点监测方法，筛选目标样本数据包括：
使用离异点监测方法，对向量化后的少数类样本数据进行监测，绘制每一个维度数据的箱线图；
基于各箱线图，判断所述少数类样本数据中的维度异常点或维度噪声点，以生成新样本数据：
Figure 678880DEST_PATH_IMAGE001
，其中，
Figure 688424DEST_PATH_IMAGE002
为新样本；
Figure 253267DEST_PATH_IMAGE003
为
Figure 322854DEST_PATH_IMAGE002
所属的少数类数据 集的中心点；
Figure 848513DEST_PATH_IMAGE004
为
Figure 333852DEST_PATH_IMAGE002
所属的少数类数据集中选择的近邻点或边界点；
Figure 566250DEST_PATH_IMAGE005
为0～1 之间的测随数。
3.根据权利要求2所述的基于SMOTE算法的过采样方法，其特征在于，还包括：
对所有少数类样本数据中对应的同一维度上的维度数据进行升序排序处理；
计算四分位距IQR值，以确定第一判断阈值和第二判断阈值，该第一判断阈值为上四分位+1.5IQR，该第二判断阈值为下四分位-1.5IQR。
4.根据权利要求3所述的基于SMOTE算法的过采样方法，其特征在于，还包括：
判断同一维度上的维度数据是否大于所述第一判断阈值或者小于所述第二判断阈值；
将大于所述第一判断阈值的维度数据和小于所述第二判断阈值的维度数据，判断为维度异常点，以将具有所述维度异常点的样本数据作为目标样本数据，以生成新样本数据。
5.根据权利要求4所述的基于SMOTE算法的过采样方法，其特征在于，还包括：
对所述维度异常点进行修正处理，合成新样本数据，所述修正处理包括线性归一化处理、频次统计计算。
6.根据权利要求4所述的基于SMOTE算法的过采样方法，其特征在于，所述对所述目标样本数据进行过采样，以生成特定数量的新样本数据包括：
基于所确定的正、负样本的数量，计算所述过采样的采样数量，所述采样数量大于等于所述特定数量。
7.一种基于SMOTE算法的过采样装置，用于金融风险评估或预测，其特征在于，包括：
数据获取模块，用于获取历史样本数据集，确定正、负样本及其对应数量；
确定模块，用于确定多数类样本数据和少数类样本数据，并进行数据向量化处理；
筛选模块，用于使用离异点监测方法，从所述少数类样本数据集中筛选目标样本数据，其中，对待监测的向量化后的所有少数类样本数据的每一个维度的维度数据进行监测，通过对每一个维度的维度数据绘制箱线图，来判断异常离异点或维度噪声点，判断所述少数类样本数据中的维度异常点或维度噪声点，对该维度异常点进行修正处理；
生成模块，用于基于SMOTE算法，对所述目标样本数据进行过采样，以生成特定数量的新样本数据；
扩增模块，用于根据所生成的新样本数据和原始的少数类样本数据，得到扩增后的少数类样本数据集；
处理模块，用于使用所述历史样本数据集和所述扩增后的少数类样本数据集，建立训练数据集，所述训练数据集包括用户数据和金融风险表现数据；还用于构建金融风险预测模型，使用所述训练数据集训练该金融风险预测模型，以计算目标用户的金融风险评估值。
8.一种电子设备，其中，该电子设备包括：
处理器；以及，
存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1-6中任一项所述的基于SMOTE算法的过采样方法。
9.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1-6中任一项所述的基于SMOTE算法的过采样方法。
CN202011216546.2A 2020-11-04 2020-11-04 基于smote算法的过采样方法、装置和电子设备 Pending CN112036515A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011216546.2A CN112036515A (zh) 2020-11-04 2020-11-04 基于smote算法的过采样方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011216546.2A CN112036515A (zh) 2020-11-04 2020-11-04 基于smote算法的过采样方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN112036515A true CN112036515A (zh) 2020-12-04

Family

ID=73572889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011216546.2A Pending CN112036515A (zh) 2020-11-04 2020-11-04 基于smote算法的过采样方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112036515A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113178264A (zh) * 2021-05-04 2021-07-27 温州医科大学附属第一医院 一种深肌层浸润数据预测方法及系统
CN113191431A (zh) * 2021-04-29 2021-07-30 武汉工程大学 一种细粒度车型识别方法、装置及存储介质
CN113450779A (zh) * 2021-06-23 2021-09-28 海信视像科技股份有限公司 语音模型训练数据集构建方法及装置
CN113568739A (zh) * 2021-07-12 2021-10-29 北京淇瑀信息科技有限公司 用户资源额度分配方法、装置及电子设备
CN113705910A (zh) * 2021-08-31 2021-11-26 深信服科技股份有限公司 一种数据样本的扩充方法、装置、设备和介质
CN114913982A (zh) * 2022-07-18 2022-08-16 之江实验室 基于对比学习的终末期肾病并发症风险预测系统
CN115238837A (zh) * 2022-09-23 2022-10-25 荣耀终端有限公司 一种数据处理方法、装置、电子设备及存储介质
CN115795353A (zh) * 2023-02-06 2023-03-14 北京科技大学 一种基于不均衡数据集的地下金属目标分类方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220732A (zh) * 2017-05-31 2017-09-29 福州大学 一种基于梯度提升树的停电投诉风险预测方法
CN109299251A (zh) * 2018-08-13 2019-02-01 同济大学 一种基于深度学习算法的异常垃圾短信识别方法及系统
CN110348486A (zh) * 2019-06-13 2019-10-18 中国科学院计算机网络信息中心 基于采样与特征简约的非平衡数据集转换方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220732A (zh) * 2017-05-31 2017-09-29 福州大学 一种基于梯度提升树的停电投诉风险预测方法
CN109299251A (zh) * 2018-08-13 2019-02-01 同济大学 一种基于深度学习算法的异常垃圾短信识别方法及系统
CN110348486A (zh) * 2019-06-13 2019-10-18 中国科学院计算机网络信息中心 基于采样与特征简约的非平衡数据集转换方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周颖: "基于生成式模型的不平衡分类算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191431A (zh) * 2021-04-29 2021-07-30 武汉工程大学 一种细粒度车型识别方法、装置及存储介质
CN113178264A (zh) * 2021-05-04 2021-07-27 温州医科大学附属第一医院 一种深肌层浸润数据预测方法及系统
CN113450779A (zh) * 2021-06-23 2021-09-28 海信视像科技股份有限公司 语音模型训练数据集构建方法及装置
CN113568739A (zh) * 2021-07-12 2021-10-29 北京淇瑀信息科技有限公司 用户资源额度分配方法、装置及电子设备
CN113705910A (zh) * 2021-08-31 2021-11-26 深信服科技股份有限公司 一种数据样本的扩充方法、装置、设备和介质
CN114913982A (zh) * 2022-07-18 2022-08-16 之江实验室 基于对比学习的终末期肾病并发症风险预测系统
US11875882B1 (en) 2022-07-18 2024-01-16 Zhejiang Lab System for predicting end-stage renal disease complication risk based on contrastive learning
CN115238837A (zh) * 2022-09-23 2022-10-25 荣耀终端有限公司 一种数据处理方法、装置、电子设备及存储介质
CN115238837B (zh) * 2022-09-23 2023-04-18 荣耀终端有限公司 一种数据处理方法、装置、电子设备及存储介质
CN115795353A (zh) * 2023-02-06 2023-03-14 北京科技大学 一种基于不均衡数据集的地下金属目标分类方法及系统

Similar Documents

Publication Publication Date Title
CN112036515A (zh) 基于smote算法的过采样方法、装置和电子设备
EP3893169A2 (en) Method, apparatus and device for generating model and storage medium
CN112348519A (zh) 一种欺诈用户识别方法、装置和电子设备
CN112508580A (zh) 基于拒绝推断方法的模型构建方法、装置和电子设备
CN107392259B (zh) 构建不均衡样本分类模型的方法和装置
CN111582645B (zh) 基于因子分解机的app风险评估方法、装置和电子设备
CN112883990A (zh) 数据分类方法及装置、计算机存储介质、电子设备
US11645540B2 (en) Deep graph de-noise by differentiable ranking
CN111582315B (zh) 样本数据处理方法、装置及电子设备
CN112612887A (zh) 日志处理方法、装置、设备和存储介质
CN110708285A (zh) 流量监控方法、装置、介质及电子设备
CN114399321A (zh) 一种业务系统稳定性分析方法、装置和设备
CN111179055B (zh) 授信额度调整方法、装置和电子设备
CN111178701B (zh) 一种基于特征衍生技术的风险控制方法方法、装置和电子设备
CN109684198B (zh) 待测试数据获取方法、装置、介质、电子设备
CN113392920B (zh) 生成作弊预测模型的方法、装置、设备、介质及程序产品
CN111191677A (zh) 用户特征数据生成方法、装置及电子设备
CN112016797B (zh) 基于knn的资源配额调整方法、装置和电子设备
CN113282433A (zh) 集群异常检测方法、装置和相关设备
CN109857816B (zh) 测试样本的选取方法及装置、存储介质、电子设备
CN113448821A (zh) 一种识别工程缺陷的方法和装置
CN115511187A (zh) 资产回收率的预测方法、装置、设备、介质和计算机程序产品
CN114067149A (zh) 互联网服务提供方法、装置和计算机设备
CN112527851B (zh) 用户特征数据筛选方法、装置及电子设备
CN115269315A (zh) 一种异常检测方法、装置、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination