CN115496157A - 分类模型训练方法、装置、电子设备及存储介质 - Google Patents
分类模型训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115496157A CN115496157A CN202211199197.7A CN202211199197A CN115496157A CN 115496157 A CN115496157 A CN 115496157A CN 202211199197 A CN202211199197 A CN 202211199197A CN 115496157 A CN115496157 A CN 115496157A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- classification model
- subset
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分类模型训练方法、装置、电子设备及存储介质。该方法包括:获取初始样本数据集,其中,所述初始样本数据集包括第一数据子集和第二数据子集,所述第一数据子集的样本数量大于所述第二数据子集的样本数量;基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,所述第一权重小于所述第二权重;基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型。上述技术方案,提高了不平衡数据集下的分类效果。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种分类模型训练方法、装置、电子设备及存储介质。
背景技术
在银行客户分类情景中,优质客户和信用较差客户仅占总客户的一小部分,而这两种类别的分类结果又及其重要。
目前多数机器学习分类算法在上述不平衡数据集下的分类效果较差。
发明内容
本发明提供了一种分类模型训练方法、装置、电子设备及存储介质,以提高不平衡数据集下的分类效果。
根据本发明的一方面,提供了一种分类模型训练方法,包括:
获取初始样本数据集,其中,所述初始样本数据集包括第一数据子集和第二数据子集,所述第一数据子集的样本数量大于所述第二数据子集的样本数量;
基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,所述第一权重小于所述第二权重;
基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型。
根据本发明的另一方面,提供了一种分类模型训练装置,包括:
初始样本数据集获取模块,用于获取初始样本数据集,其中,所述初始样本数据集包括第一数据子集和第二数据子集,所述第一数据子集的样本数量大于所述第二数据子集的样本数量;
数据抽样模块,用于基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,所述第一权重小于所述第二权重;
分类模型训练模块,用于基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的分类模型训练方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的分类模型训练方法。
本发明实施例的技术方案,通过获取初始样本数据集,其中,初始样本数据集包括第一数据子集和第二数据子集,第一数据子集的样本数量大于第二数据子集的样本数量;基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,第一权重小于所述第二权重,提升了小占比数据在训练数据集中的比例;进一步的,基于训练数据集中的样本数据和样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型,该目标分类模型对小占比数据的分类精确度有效提升,从而提高了不平衡数据集下的分类效果。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种分类模型训练方法的流程图;
图2是根据本发明实施例二提供的一种分类模型训练方法的流程图;
图3是根据本发明实施例二提供的一种决策树分裂的示意图;
图4是根据本发明实施例三提供的一种分类模型训练装置的结构示意图;
图5是实现本发明实施例的分类模型训练方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
实施例一
图1为本发明实施例一提供的一种分类模型训练方法的流程图,本实施例可适用于根据模型自动进行对象分类的情况,该方法可以由分类装置来执行,该分类装置可以采用硬件和/或软件的形式实现,该分类装置可配置于计算机终端和/或服务器中。如图1所示,该方法包括:
S110、获取初始样本数据集,其中,所述初始样本数据集包括第一数据子集和第二数据子集,所述第一数据子集的样本数量大于所述第二数据子集的样本数量。
本实施例中,初始样本数据集是指非均衡样本数据集,换而言之,初始样本数据集中包含多个不同类别、不同数量的数据。示例性的,初始样本数据集可以为包含大量第一数据子集,以及少量第二数据子集的数据集合,其中,第一数据子集与第二数据子集的类别不同。可以理解的是,第一数据子集在初始样本数据集中占比较大,为大占比数据。第二数据子集在初始样本数据集中占比较小,为小占比数据。
具体的,可以从电子设备预设存储路径调取初始样本数据集,或者,从云端获取初始样本数据集,对此不作限定。
S120、基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,所述第一权重小于所述第二权重。
其中,训练数据集是指用于训练分类模型的数据集合。第一权重与第二权重具体数值可以根据训练需求设定,在此不做限定。
需要说明的是,本实施例在不改变训练集规模,不增加训练时间的情况下,为不同类别数据加上抽样权重,从而控制不同类别数据在训练数据集中的占比。具体的,通过适当增加小占比数据的权重,可以提升小占比数据在训练数据集中的比例,从而提升算法对小占比数据的分类精确度。
S130、基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型。
本实施例中,目标分类模型是指训练完成的分类模型,可以用于预测待分类数据的分类结果。
具体的,可以通过分类模型对训练数据集中的样本数据进行特征提取,并根据提取的特征确定预测分类结果,根据预测分类结果与样本数据对应的分类结果计算损失,并基于损失微调分类模型参数,直至模型满足模型训练终止条件,得到目标分类模型。
可选的,第一数据子集为银行普通用户信用信息,第二数据子集为银行优质用户信用信息。
其中,银行普通用户信用信息是指银行客户中普通客户的信用信息。银行优质用户信用信息是指银行客户中优质客户的信用信息。信用信息可以包括但不限于支付频率、支付金额、还贷次数等信息。
具体的,初始样本数据集可以为银行客户信用信息,其中,银行客户信用信息包括银行普通用户信用信息和银行优质用户信用信息,银行普通用户信用信息的样本数量大于银行优质用户信用信息的样本数量。基于第一权重在银行普通用户信用信息中进行数据抽样,以及基于第二权重在银行优质用户信用信息中进行数据抽样,得到训练数据集,其中,第一权重小于第二权重,从而提升银行优质用户信用信息在训练数据集中的比例,从而提升算法对银行优质用户的分类精确度。
需要说明的是,在一些可选实施例中,第二数据子集还可以为银行劣质用户的信用信息。可以理解的是,银行劣质用户的数量相较于普通用户的数量也很少,属于小占比数据。
可选的,在得到目标分类模型之后,还包括:获取待分类数据;将所述待分类数据输入至所述目标分类模型,得到目标分类结果。
本实施例中,待分类数据是指待进行分类的数据。可选的,待分类数据可以为待评估的银行用户的信用信息,目标分类结果可以为用户信用等级。
示例性的,目标分类结果可以为包括但不限于普通用户、优质客户、劣质客户等;或者,目标分类结果可以包括但不限于A信用等级用户、B信用等级用户和C信用等级用户。
本发明实施例的技术方案,通过获取初始样本数据集,其中,初始样本数据集包括第一数据子集和第二数据子集,第一数据子集的样本数量大于第二数据子集的样本数量;基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,第一权重小于所述第二权重,提升了小占比数据在训练数据集中的比例;进一步的,基于训练数据集中的样本数据和样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型,该目标分类模型对小占比数据的分类精确度有效提升,从而提高了不平衡数据集下的分类效果。
实施例二
图2为本发明实施例二提供的一种分类模型训练方法的流程图,本实施例的方法与上述实施例中提供的分类模型训练方法中各个可选方案可以结合。本实施例提供的分类模型训练方法进行了进一步优化。可选的,所述分类模型为随机森林模型;相应的,所述基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型,包括:基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的随机森林模型进行训练,得到目标分类模型;其中,所述目标分类模型包括多个决策树。
如图2所示,该方法包括:
S210、获取初始样本数据集,其中,所述初始样本数据集包括第一数据子集和第二数据子集,所述第一数据子集的样本数量大于所述第二数据子集的样本数量。
S220、基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,所述第一权重小于所述第二权重。
S230、基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的随机森林模型进行训练,得到目标分类模型,其中,所述目标分类模型包括多个决策树。
在本实施例中,随机森林模型为组合分类器算法模型,由多棵决策树组成。可以理解的是,通过随机森林模型进行分类,不依赖主观经验,并且模型可解释性强。在模型训练结束后,使用该目标分类模型进行分类,具有分类速度快,实时性高等优点。
具体的,对于随机森林模型中每一决策树,可以根据样本数据和样本数据对应的分类结果对决策树进行训练,并基于训练得到的决策树构建随机森林,从而得到目标分类模型。
在一些可选实施例方式中,样本数据包括属性信息和阈值信息;相应的,基于训练数据集中的样本数据和样本数据对应的分类结果,对待训练的随机森林模型进行训练,得到目标分类模型,包括:根据样本数据的属性信息和阈值信息,对所述随机森林模型中初始决策树进行分裂,直至满足分裂停止条件,得到多个决策树;根据多个决策树构建目标分类模型。
其中,属性信息和阈值信息可以作为决策树的节点分裂依据,属性信息可以包括属性项和属性值,例如属性项可以为支付金额,属性值为100元。可以理解的是,决策树可以由多个节点组成,在构建每一节点时,通过决策树生成算法遍历训练数据集中样本数据的所有属性信息,并根据预先设置的阈值信息进行分裂,从而将训练数据集分为两部分,得到两个数据集,并统计划分得到的两个数据集带来的信息增益,选择信息增益最高的最高的数据集作为本节点的构造方案。其中,信息增益随着数据集的混乱程度降低而增加,也就是说,在构造决策树的每一步,都会选择使训练数据集更为有序的方案切分训练数据集。
示例性的,属性信息可以包括但不限于支付频率、支付金额、还贷次数等信息。对应的,阈值信息可以包括但不限于支付频率阈值、支付金额阈值、还贷次数阈值等。例如,若样本数据的支付频率满足支付频率阈值条件,则将样本数据划分至满足支付频率阈值的数据集,若样本数据的支付频率不满足支付频率阈值条件,则将样本数据划分至不满足支付频率阈值的数据集。
在一些可选实施例方式中,分裂停止条件包括:训练数据集的数量为一条;或者,决策树节点规模值小于等于节点规模阈值;或者,决策树节点深度值大于等于节点深度阈值。
其中,决策树节点规模值是指决策树的节点数量。决策树节点深度值是指决策树的层数。
示例性的,重复对初始决策树进行分裂,直至满足分裂停止条件。分裂停止条件包括:1)训练数据集只剩一条数据,此情况自然不可再分;2)决策树节点规模值到达设定的节点规模阈值,例如若设定节点规模阈值为5,则在决策树节点规模值≤5时停止向下分裂;3)决策树节点深度值到达节点深度阈值,例如若设定节点深度阈值为10,则在决策树分裂到第10层子节点后停止向下分裂。
如图3所示,其中,C1和C2表示训练数据集分裂的两个不同类别,第一次分裂C1类别的数量为5,C2类别的数量为4。可以理解的是,决策树在将训练数据集划分为单一种类的子数据集后停止划分,此时的信息增益最大。每一棵决策树构建完成后,其叶子节点中占多数的类别为其节点的判定类别,即分类结果。在构建完所有的决策树后,随机森林模型训练完成。
可选的,将待分类数据输入至所述目标分类模型,得到目标分类结果,包括:将待分类数据分别输入至各决策树,得到各决策树对应的分类结果;基于各所述决策树的投票权重和各所述决策树对应的分类结果确定目标分类结果。
在本实施例中,目标分类模型是指训练完成的随机森林模型。
示例性的,将待分类数据分别输入至训练完成的随机森林模型的各决策树中,决策树根据决策树节点中记录的属性信息和阈值信息将待分类数据导入一个已知类别的分支中,并将该类别作为该决策树的分裂结果。例如,随机森林模型包括A决策树、B决策树和C决策树,若A决策树的分类结果为银行优质客户,对应的投票权重为0.6;B决策树的分类结果为银行普通客户,对应的投票权重为0.2;C决策树的分类结果为银行普通客户,对应的投票权重为0.2;则目标分类结果可以为银行优质客户。
本发明实施例的技术方案,通过获取初始样本数据集,其中,初始样本数据集包括第一数据子集和第二数据子集,第一数据子集的样本数量大于第二数据子集的样本数量;基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,第一权重小于所述第二权重,提升了小占比数据在训练数据集中的比例;进一步的,基于训练数据集中的样本数据和样本数据对应的分类结果,对待训练的,随机森林模型进行训练,得到训练完成的随机森林模型,该训练完成的随机森林模型对小占比数据的分类精确度有效提升,从而提高了不平衡数据集下的分类效果。
实施例三
图4为本发明实施例三提供的一种分类模型训练装置的结构示意图。如图4所示,该装置包括:
初始样本数据集获取模块310,用于获取初始样本数据集,其中,所述初始样本数据集包括第一数据子集和第二数据子集,所述第一数据子集的样本数量大于所述第二数据子集的样本数量;
数据抽样模块320,用于基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,所述第一权重小于所述第二权重;
分类模型训练模块330,用于基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型。
本发明实施例的技术方案,通过获取初始样本数据集,其中,初始样本数据集包括第一数据子集和第二数据子集,第一数据子集的样本数量大于第二数据子集的样本数量;基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,第一权重小于所述第二权重,提升了小占比数据在训练数据集中的比例;进一步的,基于训练数据集中的样本数据和样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型,该目标分类模型对小占比数据的分类精确度有效提升,从而提高了不平衡数据集下的分类效果。
在一些可选的实施方式中,所述分类模型为随机森林模型;分类模型训练模块,包括:
随机森林模型训练单元,用于基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的随机森林模型进行训练,得到目标分类模型;
其中,所述目标分类模型包括多个决策树。
在一些可选的实施方式中,所述样本数据包括属性信息和阈值信息;随机森林模型训练单元,具体用于:
根据所述样本数据的属性信息和阈值信息,对所述随机森林模型中初始决策树进行分裂,直至满足分裂停止条件,得到多个决策树;
根据多个所述决策树构建目标分类模型。
在一些可选的实施方式中,所述分裂停止条件包括:
所述训练数据集的数量为一条;
或者,决策树节点规模值小于等于节点规模阈值;
或者,决策树节点深度值大于等于节点深度阈值。
在一些可选的实施方式中,所述第一数据子集为银行普通用户信用信息,所述第二数据子集为银行优质用户信用信息。
在一些可选的实施方式中,分类模型训练装置,还包括:
待分类数据获取模块,用于获取待分类数据;
分类结果预测模块,用于将所述待分类数据输入至所述目标分类模型,得到目标分类结果。
在一些可选的实施方式中,分类结果预测模块,具体用于:
将所述待分类数据分别输入至各决策树,得到各所述决策树对应的分类结果;
基于各所述决策树的投票权重和各所述决策树对应的分类结果确定目标分类结果。
本发明实施例所提供的分类模型训练装置可执行本发明任意实施例所提供的分类模型训练方法,具备执行方法相应的功能模块和有益效果。
实施例四
图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如分类模型训练方法,该方法包括:
获取初始样本数据集,其中,所述初始样本数据集包括第一数据子集和第二数据子集,所述第一数据子集的样本数量大于所述第二数据子集的样本数量;
基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,所述第一权重小于所述第二权重;
基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型。
在一些实施例中,分类模型训练方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的分类模型训练方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行分类模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种分类模型训练方法,其特征在于,包括:
获取初始样本数据集,其中,所述初始样本数据集包括第一数据子集和第二数据子集,所述第一数据子集的样本数量大于所述第二数据子集的样本数量;
基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,所述第一权重小于所述第二权重;
基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型。
2.根据权利要求1所述的方法,其特征在于,所述分类模型为随机森林模型;
相应的,所述基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型,包括:
基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的随机森林模型进行训练,得到目标分类模型;
其中,所述目标分类模型包括多个决策树。
3.根据权利要求2所述的方法,其特征在于,所述样本数据包括属性信息和阈值信息;
相应的,所述基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的随机森林模型进行训练,得到目标分类模型,包括:
根据所述样本数据的属性信息和阈值信息,对所述随机森林模型中初始决策树进行分裂,直至满足分裂停止条件,得到多个决策树;
根据多个所述决策树构建目标分类模型。
4.根据权利要求3所述的方法,其特征在于,所述分裂停止条件包括:
所述训练数据集的数量为一条;
或者,决策树节点规模值小于等于节点规模阈值;
或者,决策树节点深度值大于等于节点深度阈值。
5.根据权利要求1所述的方法,其特征在于,所述第一数据子集为银行普通用户信用信息,所述第二数据子集为银行优质用户信用信息。
6.根据权利要求1所述的方法,其特征在于,在所述得到目标分类模型之后,还包括:
获取待分类数据;
将所述待分类数据输入至所述目标分类模型,得到目标分类结果。
7.根据权利要求6所述的方法,其特征在于,所述将所述待分类数据输入至所述目标分类模型,得到目标分类结果,包括:
将所述待分类数据分别输入至各决策树,得到各所述决策树对应的分类结果;
基于各所述决策树的投票权重和各所述决策树对应的分类结果确定目标分类结果。
8.一种分类模型训练装置,其特征在于,包括:
初始样本数据集获取模块,用于获取初始样本数据集,其中,所述初始样本数据集包括第一数据子集和第二数据子集,所述第一数据子集的样本数量大于所述第二数据子集的样本数量;
数据抽样模块,用于基于第一权重在第一数据子集中进行数据抽样,以及基于第二权重在第二数据子集中进行数据抽样,得到训练数据集,其中,所述第一权重小于所述第二权重;
分类模型训练模块,用于基于所述训练数据集中的样本数据和所述样本数据对应的分类结果,对待训练的分类模型进行训练,得到目标分类模型。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的分类模型训练方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的分类模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211199197.7A CN115496157A (zh) | 2022-09-29 | 2022-09-29 | 分类模型训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211199197.7A CN115496157A (zh) | 2022-09-29 | 2022-09-29 | 分类模型训练方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115496157A true CN115496157A (zh) | 2022-12-20 |
Family
ID=84471649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211199197.7A Pending CN115496157A (zh) | 2022-09-29 | 2022-09-29 | 分类模型训练方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115496157A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116151470A (zh) * | 2023-03-06 | 2023-05-23 | 联宝(合肥)电子科技有限公司 | 一种产品质量预测方法、装置、设备及存储介质 |
-
2022
- 2022-09-29 CN CN202211199197.7A patent/CN115496157A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116151470A (zh) * | 2023-03-06 | 2023-05-23 | 联宝(合肥)电子科技有限公司 | 一种产品质量预测方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115496157A (zh) | 分类模型训练方法、装置、电子设备及存储介质 | |
CN115358411A (zh) | 一种数据处理方法、装置、设备及介质 | |
CN114037059A (zh) | 预训练模型、模型的生成方法、数据处理方法及装置 | |
CN113743112B (zh) | 关键词的提取方法、装置、电子设备及可读存储介质 | |
CN115601042A (zh) | 信息识别方法、装置、电子设备及存储介质 | |
CN115454261A (zh) | 输入法候选词生成方法、装置、电子设备及可读存储介质 | |
CN113987260A (zh) | 一种视频推送方法、装置、电子设备及存储介质 | |
CN114187081A (zh) | 估值表处理方法、装置、电子设备及计算机可读存储介质 | |
CN114021642A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN117131197B (zh) | 一种招标书的需求类别处理方法、装置、设备及存储介质 | |
CN116362346A (zh) | 数字钱包识别模型训练、数字钱包识别方法、装置及设备 | |
CN115439214A (zh) | 信用描述文本生成方法、装置、电子设备及存储介质 | |
CN115659347A (zh) | 一种安全测试方法、装置、电子设备和存储介质 | |
CN115758142A (zh) | 深度学习模型的训练方法、数据处理方法和装置 | |
CN115827743A (zh) | 一种审核方法、装置、设备及存储介质 | |
CN115564573A (zh) | 一种融资风险的识别方法、装置、设备和存储介质 | |
CN114461963A (zh) | 一种接口访问方法、装置、电子设备及存储介质 | |
CN117670411A (zh) | 模型训练、流失预测方法、装置、设备及存储介质 | |
CN118134590A (zh) | 一种信息传输方法、装置、设备及存储介质 | |
CN117633226A (zh) | 一种分类方法、装置、存储介质及电子设备 | |
CN115496594A (zh) | 业务信息的处理方法、装置、设备及存储介质 | |
CN114065074A (zh) | 受众群体获取方法、用户对象匹配模型的训练方法及装置 | |
CN115456085A (zh) | 模型训练方法、资源预估方法、装置、电子设备和介质 | |
CN113934932A (zh) | 推荐列表生成方法和装置 | |
CN117952108A (zh) | 一种实体识别方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |