CN109460795A - 分类器训练方法、装置、电子设备及计算机可读介质 - Google Patents

Abstract

本公开提供一种分类器训练方法、装置、电子设备及计算机可读介质，属于互联网技术领域。该分类器训练方法包括：对于多个数据特征中已标注样本进行训练，得到初级分类器；将所述多个数据特征中未标注样本输入到所述初级分类器进行训练输出所述未标注样本的标签，并计算所述未标注样本标注所述标签的概率；根据标签的概率大小从所述未标注样本选择一部分进行专家标注，并对专家标注的样本重新进行训练，得到新分类器。该方法基于主动学习不断更新分类器，结合大量数据和人工经验可以使分类器模型的分类结果更准确，分类效果得到提升。训练样本中只有少量已标注样本和少量的人工标注，可以快速处理大量未标注样本数据的分类，提高效率。

Description

分类器训练方法、装置、电子设备及计算机可读介质

技术领域

本公开总体涉及互联网技术领域，具体而言，涉及一种分类器训练方法、装置、电子设备及计算机可读介质。

背景技术

近年来，随着互联网的快速发展，互联网交易的场景越来越多，各互联网平台上的商家数量巨大，其中也会有一些不良商家存在欺诈行为。这些欺诈商家的行为包括：销赃(利用互联网交易盗取的账号、银行卡信息变现)、洗钱、套现或暗中经营非法业务(如赌博等)，如果欺诈交易成功，将会使持卡人和互联网平台的利益受损，更甚者出现洗钱、赌博等违法行为。

现有的对欺诈商家的风控手段，主要有以下几种：1)通过欺诈订单或用户，对其关联的商家进行反查。2)通过专家经验制定规则，进行欺诈商家的识别。3)积累大量数据和标签，建立模型进行欺诈商家的识别。4)通过无监督的方法，无需标签，对欺诈商家进行聚类。这些风控手段也存在各自的缺点：1)关联反查的方法只能被动追溯，不能主动识别。且欺诈用户购买的商户并不一定是欺诈商户，存在一定随机性，难以全面控制风险。2)专家经验定制的规则严重依赖人工经验，且存在较死板，容易被试探绕过。规则间的漏洞也不易被发现，一旦数量庞大，逻辑关系也难以理清，识别效果无法达到预期效果。3)自然积累数据和标签的方法，需要巨大的时间和成本，只有确定案件，才能留下有效的案件样本。并且欺诈商家一般用作销赃、虚假交易，不存在用户作为受害者，没有用户报案，很难发现其欺诈行为，这使得积累样本在实际操作中更加困难。4)无监督的方法需要大量数据，而商户的数量是远远小于交易数量的，且不同行业的商户存在巨大差别，细分后的数量更少，很难用无监督的方法进行建模。

因此，现有技术中的技术方案中还存在有待改进之处。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种分类器训练方法、装置、电子设备及计算机可读介质，解决上述问题中的至少一个问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提供一种分类器训练方法，包括：对于多个数据特征中已标注样本进行训练，得到初级分类器；将所述多个数据特征中未标注样本输入到所述初级分类器进行训练输出所述未标注样本的标签，并计算所述未标注样本标注所述标签的概率；根据标签的概率大小从所述未标注样本选择一部分进行专家标注，并对专家标注的样本重新进行训练，得到新分类器。

在本公开的一个实施例中，对于多个数据特征中已标注样本进行训练之前，还包括：

对原始数据从多个维度进行特征提取，得到所述多个特征数据，其中所述原始数据为通过平台获取的商家样本数据。

在本公开的一个实施例中，所述多个维度包括：商家基本信息、交易金额信息、设备环境信息以及用户聚类度信息中的至少两者。

在本公开的一个实施例中，所述初级分类器为GBDT、GBRT或随机森林中的一种。

在本公开的一个实施例中，所述根据标签的概率大小从所述未标注样本选择一部分进行专家标注包括：

将所述概率作为置信度；基于所述置信度从所述未标注样本中选择学习样本，并对所述学习样本进行专家标注。

在本公开的一个实施例中，基于所述置信度从所述未标注样本中选择学习样本包括：

对所述置信度低于预设值的未标注样本做层次聚类；根据层次聚类的结果，抽取位于类簇中心的未标注样本，作为学习样本；或

从所述置信度低于预设值的未标注样本中随机选取一部分作为学习样本；或

对所述置信度高于预设值的未标注样本输入到所述初级分类器后得到的标注结果转交给专家标注进行审核，并从所述置信度低于预设值的未标注样本中随机选取一部分作为学习样本。

在本公开的一个实施例中，所述对专家标注的样本重新进行训练，得到新分类器包括：

利用所述置信度高于预设值的未标注样本和专家标注的样本对训练集进行更新；

基于更新的训练集重新进行训练，得到所述新分类器，并用所述新分类器代替所述初级分类器进行分类器的迭代更新。

根据本公开的再一方面，提供一种分类器训练装置，包括：训练模块，配置为对于多个数据特征中已标注样本进行训练，得到初级分类器；标注模块，配置为将所述多个数据特征中未标注样本输入到所述初级分类器进行训练输出所述未标注样本的标签，并计算所述未标注样本标注所述标签的概率；更新模块，配置为根据标签的概率大小从所述未标注样本选择一部分进行专家标注，并对专家标注的样本重新进行训练，得到新分类器。

根据本公开的又一方面，提供一种电子设备，包括处理器；存储器，存储用于所述处理器控制如上所述的方法步骤的指令。

根据本公开的另一方面，提供一种计算机可读介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上所述的方法步骤。

根据本公开实施例提供的分类器训练方法、装置、电子设备及计算机可读介质，一方面，基于主动学习不断更新分类器，结合大量数据和人工经验可以是分类器模型的分类结果更准确，分类效果得到提升。另一方面，训练样本中只有少量已标注样本和少量的人工标注，可以快速处理大量未标注样本数据的分类，提高效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。

图1示出本发明的相关实施例中提供的一种基于主动学习的数据自动标注方法的流程图。

图2示出本公开一实施例中提供的一种分类器训练方法的流程图。

图3示出本公开一实施例中对欺诈商家进行识别的分类器模型的训练方法的流程图。

图4示出本公开另一实施例中提供的一种分类器训练装置的示意图。

图5示出本公开一实施例提供的适于用来实现本申请实施例的电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1示出本发明的相关实施例中提供的一种基于主动学习的数据自动标注方法的流程图，包括：步骤S101、对已标记和未标记数据进行处理；步骤S102、利用多个不同分类器对未标记数据进行分类；步骤S103、选出分歧熵低的数据；步骤S104、对分歧熵低的数据进行人工标记；步骤S105、对人工标记结果进行自检。针对如何在减少人工标注数据的数量的同时，尽量保证人工标注数据的准确性问题，通过结合主动学习方法发明一个附带自检功能的数据自动标注系统，达到缩减工作量且提高人工标注数据准确性的目的。该方案聚类时分别对已人工标记样本数据和未标记样本数据做聚类处理，成本较高；根据聚类的结果训练多个分类器并进行模型融合，这种方法适用于大规模数据且模型融合之后是非线性的，无法得知模型进行分类的逻辑；最终得到的仅是数据标注的结果。

另外，还提供一种基于半监督学习的支持向量机分类器训练方法，包括如下步骤：步骤1用初始已标注样本集训练一个初始SVM分类器；步骤2从未标注样本集U中寻找置信度高的样本，组成高置信度样本集S；步骤3对高置信度样本集S中的每个样本，判断其信息量大小，如果信息量小则将其从高置信度样本集S中移除，并重新放回未标注样本集U中；步骤4将S中置信度高且信息量大的样本由机器自动标注后加入SVM分类器的已标注样本集L中；步骤5用更新的已标注样本集L重新训练SVM分类器；步骤6根据停止准则判断是退出循环还是继续迭代。该方案虽然不需要人工标注，但是属于一种半监督方法，通过对未标注样本采用一一过模型判断信息量的方法，信息量小的重新再过模型。

基于上述两种方案，均没有与具体的欺诈风控场景的结合，本公开的一些实施例提供一种分类器训练方法、装置、电子设备及计算机可读介质。

图2示出本公开一实施例中提供的一种分类器训练方法的流程图，包括以下步骤：

如图2所示，在步骤S210中，对于多个数据特征中已标注样本进行训练，得到初级分类器。

如图2所示，在步骤S220中，将所述多个数据特征中未标注样本输入到所述初级分类器进行训练输出所述未标注样本的标签，并计算所述未标注样本标注所述标签的概率。

如图2所示，在步骤S230中，根据标签的概率大小从所述未标注样本选择一部分进行专家标注，并对专家标注的样本重新进行训练，得到新分类器。

通过本示例性实施例中的分类器训练方法，一方面，基于主动学习不断更新分类器，结合大量数据和人工经验可以使分类器模型的分类结果更准确，分类效果得到提升。另一方面，训练样本中只有少量已标注样本和少量的人工标注，可以快速处理大量未标注样本数据的分类，提高效率。

下面，将对本公开实施例中的分类器训练方法中的各步骤作进一步的说明。

在步骤S210中，对于多个数据特征中已标注样本进行训练，得到初级分类器。

在本公开的一个实施例中，步骤S110对于多个数据特征中已标注样本进行训练之前，还包括：

对原始数据从多个维度从进行提取特征，得到多个数据特征，其中所述原始数据为通过平台获取的商家样本数据。这里所述的平台是指能够为在互联网上为各个商家提供经营和管理服务的系统。

在本公开的一个实施例中，所述多个维度包括：商家基本信息、交易金额信息、设备环境信息以及用户聚类度信息中的至少之一。

本实施例中的分类方法是以对欺诈商户的识别为例，通过样本训练得到一个能够识别出哪些是欺诈商户的分类器。其中原始数据也就是商家一段时期内的交易数据，例如收集平台上商家在近半年的交易数据，然后以商户维度来提取特征，得到几个维度的特征数据。

其中交易数据包括该商户下交易的用户、金额、交易时间等，还有购买该商户商品的用户的设备、身份、历史交易记录等信息。

商家的特征数据包括以下几类：

(1)商家基本信息，包括商户名包含的地址信息与商户注册地址是否匹配，商家交易时间与商户经营类型是否匹配。其中经营类型可以通过商户类别码(即MCC码)得到，统计这一个行业的平均交易时间、平均交易金额等，与该商户做差值，得到差值后通过模型来匹配判断。

(2)交易金额信息，包括金额接近整数的比例，小额交易数/比率，大额交易数/比率，日均交易金额，日间交易金额方差。

(3)设备环境信息，包括新绑卡交易数/比率，相同设备数/比率，新注册交易数/比率，高危时间交易数/比率，高危地点交易数/比率。

(4)用户聚集度信息，包括多次支付用户数/比率，交易的卡、身份证号是否类似，短时高频支付用户数。

上述这些特征数据均是能够反映该商户是否为欺诈商户的一些参考特征，例如从商家信息是否符合正常商户的特点、商家一个月内的交易中有多少个用户进行消费、一个月有多少重复用户进行消费、进行重复消费的比例是多少等特征信息。如果将本公开的方法应用在其他类型的业务场景中，则只需要修改上述特征。

在本公开的一个实施例中，在该步骤中基于已标注样本进行训练，样本的数量并不需要很大，只需要少量的已标注样本作为训练集进行训练，就能得到初级分类器。

在本公开的一个实施例中，初级分类器可以为GBDT、GBRT或随机森林中的一种。GBDT(Gradient Boosting Decision Tree，渐变梯度提决策树)和随机森林均是分类树，GBRT(Gradient Boosting Regression Tree，渐变梯度提回归树)是回归树。

在本实施例中，以GBDT分类器为例，所利用的分类指标为：

F1＝2TP/(2TP+FN+FP)＝2*Precision*Recall/(Precision+Recall)

公式(1)

在分类器领域，对于二分类问题一般将样本实例分成正类(postive)或者负类(negative)。但是实际中分类时，会出现四种情况：

(1)真正类(True Positive，TP)：被模型预测为正类的正样本；

(2)假正类(False Positive，FP)：被模型预测为正类的负样本；

(3)假负类(False Negative，FN)：被模型预测为负类的正样本；

(4)真负类(True Negative，TN)：被模型预测为负类的负样本；

公式(1)中F1(即F1Score)是统计学中用来衡量二分类模型精确度的一种指标，被定义为精确率和召回率的调和平均数。Recall体现了分类器对正样本的识别能力，Recall越高，说明分类器模型对正样本的识别能力越强，Precision体现了分类器对负样本的区分能力，Precision越高，说明分类器模型对负样本的区分能力越强。F1是两者的综合，F1越高，说明分类器越稳健。

以本实施例中对商家是否属于欺诈商家的识别，分类器的输出结果就是两种，一是该商户属于欺诈商户，二是该商户不属于欺诈商户，则上述特征数据中符合欺诈商户特征的数据样本就是正样本(例如商家交易时间与商户经营类型不匹配，商户名包含的地址信息与商户注册地址不匹配等)，反之，不符合欺诈商户特征的数据样本就是负样本。

在实际应用中，会存在大量没有标签的商户，如果是商户欺诈的话，大多是与用户勾结，因此没人报案或者通知客服，这些欺诈案件都是沉默的，所以商家所在的品台能得到的准确标签很少。

在步骤S220中，将所述多个数据特征中未标注样本输入到所述初级分类器进行训练输出所述未标注样本的标签，并计算所述未标注样本标注所述标签的概率。

在本公开的一个实施例中，该步骤中可以将所有未标注的商家样本输入到GBDT分类器中，得到这些未标注的商家样本的标签，并进一步计算其中一商家样本被标记为某一标签的概率。

在步骤S230中，根据标签的概率大小从所述未标注样本选择一部分进行专家标注，并对专家标注的样本重新进行训练，得到新分类器。

该步骤中根据概率大小对所述未标注样本进行专家标注后将专家标注的样本加入到训练集，或是直接将未标注的样本加入到训练集，从而对训练集进行更新，然后根据更新的训练集重新进行训练，得到所述新分类器，并用所述新分类器替代所述初级分类器，继续对已标注样本进行训练，重复上述步骤S210～S230，实现模型的迭代更新。

在本公开的一个实施例中，该步骤中所述根据标签的概率大小从所述未标注样本选择一部分进行专家标注包括：

将所述标签的概率作为分类的置信度；基于所述置信度从所述未标注样本中选择学习样本，并对所述学习样本进行专家标注。

在本公开的一个实施例中，基于所述置信度从所述未标注样本中选择学习样本可以采用以下几种方式实现：

(1)对所述置信度低于预设值的未标注样本做层次聚类；根据层次聚类的结果，抽取位于类簇中心的未标注样本，作为学习样本；或

(2)从所述置信度低于预设值的未标注样本中随机选取一部分作为学习样本；或

(3)对所述置信度高于预设值的未标注样本输入到所述初级分类器后得到的标注结果转交给专家标注进行审核，并从所述置信度低于预设值的未标注样本中随机选取一部分作为学习样本。

在本公开的一个实施例中，所述对专家标注的样本重新进行训练，得到新分类器包括：

利用所述置信度高于预设值的未标注样本和专家标注的样本对训练集进行更新；基于更新的训练集重新进行训练，得到所述新分类器，并用所述新分类器代替所述初级分类器进行分类器的迭代更新。

本实施例中以基于主动识别的分类器对欺诈商家进行识别的方法为例，图3示出对欺诈商家进行识别的分类器模型的训练方法的流程图，包括以下步骤：

如图3所示，在步骤S301中，构建商家样本及特征提取。该步骤主要是基于平台获取商家一段时间内的交易数据。

如图3所示，在步骤S302中，根据已标注的商家样本训练得到初级分类器。

如图3所示，在步骤S303中，计算未标注的商家样本的分类置信度。该步骤主要是将这些未标注的商家样本输入到步骤S302中的初级分类器中，计算标签及其概率，并以概率作为分类的置信度。

如图3所示，在步骤S304中，基于置信度对样本聚类并进行专家标注。该步骤的聚类可以采用如下方式中的任一种：

a1)将置信度低的商家样本做层次聚类；

a2)抽取类簇中心交给专家进行标注；或

b)每次在置信度低的样本中，随机抽取一部分交给专家；再或

c1)置信度高的样本中，欺诈类样本交给专家标注审核；

c2)置信度高的样本中，欺诈类样本交给专家标注审核。

如图3所示，在步骤S305中，根据标注结果更新训练集。该步骤中可以将置信度高的样本直接加入训练集，并将专家标注完毕的样本加入训练集，然后得到新的训练集。

如图3所示，在步骤S306中，根据更新的训练集更新分类器。该步骤中可以用更新后的训练集重新进行训练，得到新的分类器模型，然后以新的分类器模型代替原来的初级分类器模型，并且该过程不断迭代，以不断更新分类器模型。

综上所述，本实施例提供的分类器训练方法，一方面，基于主动学习不断更新分类器，结合大量数据和人工经验可以使分类器模型的分类结果更准确，分类效果得到提升。另一方面，训练样本中只有少量已标注样本和少量的人工标注，可以快速处理大量未标注样本数据的分类，提高效率。

图4示出本公开另一实施例中提供的一种分类器训练装置的示意图，如图4所示，该装置400包括：训练模块410、标注模块420和更新模块430。

训练模块410配置为对于多个数据特征中已标注样本进行训练，得到初级分类器；标注模块420配置为将所述多个数据特征中未标注样本输入到所述初级分类器进行训练输出所述未标注样本的标签，并计算所述未标注样本标注所述标签的概率；更新模块430配置为根据标签的概率大小从所述未标注样本选择一部分进行专家标注，并对专家标注的样本重新进行训练，得到新分类器。

该装置中各个模块的功能参见上述方法实施例中的相关描述，此处不再赘述。

综上所述，本实施例中的分类器训练装置，一方面，基于主动学习不断更新分类器，结合大量数据和人工经验可以使分类器模型的分类结果更准确，分类效果得到提升。另一方面，训练样本中只有少量已标注样本和少量的人工标注，可以快速处理大量未标注样本数据的分类，提高效率。

另一方面，本公开还提供了一种电子设备，包括处理器和存储器，存储器存储用于上述处理器控制以下方法的操作指令：

对于多个数据特征中已标注样本进行训练，得到初级分类器；将所述多个数据特征中未标注样本输入到所述初级分类器进行训练输出所述未标注样本的标签，并计算所述未标注样本标注所述标签的概率；根据标签的概率大小从所述未标注样本选择一部分进行专家标注，并对专家标注的样本重新进行训练，得到新分类器。

下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分505加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分508；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。

另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括以下方法步骤：

对于多个数据特征中已标注样本进行训练，得到初级分类器；将所述多个数据特征中未标注样本输入到所述初级分类器进行训练输出所述未标注样本的标签，并计算所述未标注样本标注所述标签的概率；根据标签的概率大小从所述未标注样本选择一部分进行专家标注，并对专家标注的样本重新进行训练，得到新分类器。

应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施方式。

以上具体地示出和描述了本公开的示例性实施方式。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种分类器训练方法，其特征在于，包括：

对于多个数据特征中已标注样本进行训练，得到初级分类器；

将所述多个数据特征中未标注样本输入到所述初级分类器进行训练输出所述未标注样本的标签，并计算所述未标注样本标注所述标签的概率；

根据标签的概率大小从所述未标注样本选择一部分进行专家标注，并对专家标注的样本重新进行训练，得到新分类器。

2.根据权利要求1所述的分类器训练方法，其特征在于，对于多个数据特征中已标注样本进行训练之前，还包括：

对原始数据从多个维度进行特征提取，得到所述多个特征数据，其中所述原始数据为通过平台获取的商家样本数据。

3.根据权利要求2所述的分类器训练方法，其特征在于，所述多个维度包括：商家基本信息、交易金额信息、设备环境信息以及用户聚类度信息中的至少两者。

4.根据权利要求1所述的分类器训练方法，其特征在于，所述初级分类器为GBDT、GBRT或随机森林中的一种。

5.根据权利要求1所述的分类器训练方法，其特征在于，所述根据标签的概率大小从所述未标注样本选择一部分进行专家标注包括：

将所述标签的概率作为置信度；

基于所述置信度从所述未标注样本中选择学习样本，并对所述学习样本进行专家标注。

6.根据权利要求5所述的分类器训练方法，其特征在于，基于所述置信度从所述未标注样本中选择学习样本包括：

对所述置信度低于预设值的未标注样本做层次聚类；

根据层次聚类的结果，抽取位于类簇中心的未标注样本，作为学习样本；或

从所述置信度低于预设值的未标注样本中随机选取一部分作为学习样本；或

对所述置信度高于预设值的未标注样本输入到所述初级分类器后得到的标注结果转交给专家标注进行审核，并从所述置信度低于预设值的未标注样本中随机选取一部分作为学习样本。

7.根据权利要求6所述的分类器训练方法，其特征在于，所述对专家标注的样本重新进行训练，得到新分类器包括：

利用所述置信度高于预设值的未标注样本和专家标注的样本对训练集进行更新；

基于更新的训练集重新进行训练，得到所述新分类器，并用所述新分类器代替所述初级分类器进行分类器的迭代更新。

8.一种分类器训练装置，其特征在于，包括：

训练模块，配置为对于多个数据特征中已标注样本进行训练，得到初级分类器；

标注模块，配置为将所述多个数据特征中未标注样本输入到所述初级分类器进行训练输出所述未标注样本的标签，并计算所述未标注样本标注所述标签的概率；

更新模块，配置为根据标签的概率大小从所述未标注样本选择一部分进行专家标注，并对专家标注的样本重新进行训练，得到新分类器。

9.一种电子设备，其特征在于，包括：

处理器；

存储器，存储用于所述处理器控制如权利要求1-7任一项所述的方法步骤的指令。

10.一种计算机可读介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-7任一项所述的方法步骤。