CN114282684B - 训练用户相关的分类模型、进行用户分类的方法及装置 - Google Patents
训练用户相关的分类模型、进行用户分类的方法及装置 Download PDFInfo
- Publication number
- CN114282684B CN114282684B CN202111603926.6A CN202111603926A CN114282684B CN 114282684 B CN114282684 B CN 114282684B CN 202111603926 A CN202111603926 A CN 202111603926A CN 114282684 B CN114282684 B CN 114282684B
- Authority
- CN
- China
- Prior art keywords
- sample
- categories
- user
- prediction result
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013145 classification model Methods 0.000 title claims abstract description 15
- 238000002372 labelling Methods 0.000 claims abstract description 57
- 230000002596 correlated effect Effects 0.000 claims abstract description 22
- 230000000875 corresponding effect Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 39
- 230000006399 behavior Effects 0.000 claims description 24
- 238000012512 characterization method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供一种训练用户相关的分类模型的方法和装置，其中方法包括，获取一批标注样本，各标注样本具有预先标注的、选自预定的K个类别的类别标签。此外还利用生成器，生成多个生成样本。将各标注样本输入用于进行K+1个类别分类的分类器，得到第一预测结果，其正相关于各标注样本属于其对应类别标签的概率；其中，该K+1个类别包括前述K个类别和附加类别。还将生成样本输入分类器，得到第二预测结果，其正相关于生成样本属于附加类别的概率。以第二预测结果最小化为目标，对生成器进行第一更新；并以预设函数的函数值最大化为目标，对分类器进行第二更新，其中预设函数与第一预测结果和第二预测结果均正相关。
Description
技术领域
本说明书一个或多个实施例涉及机器学习领域，尤其涉及用户相关的分类器的训练以及分类方法和装置。
背景技术
机器学习的迅猛发展使得各种机器学习的模型在各种各样的业务场景得到应用。例如在安全和风控场景中，已经通过机器学习训练出一些风险检测模型，用于识别出有风险或有安全隐患的用户或用户行为。例如，通过风险检测模型识别垃圾账号，识别高风险的交易，识别高风险操作，等等。在内容推荐场景中，通过机器学习训练出一些用户分类模型，从而将相应分类的内容推送给用户。
然而，在许多情况下，对用户相关的分类模型的训练，存在样本不均衡的难题。例如，在识别风险用户或风险行为的场景下，随着风险拦截策略的升级，采集到的真实的风险样本的数量很少，占实际采集的样本数量的比例很低，从而存在明显的正负样本不均衡的问题。在内容推荐场景下，对于各个类别，如果以用户真正点击/收藏了该类别的推送内容，或购买了该类别的产品为正样本的话，则采集到的正样本的比例也非常低；并且各个类别下的样本分布也不均衡。样本的不均衡为模型的训练带来了很大的困难和挑战。
因此，希望能有改进的方案，可以克服或减轻样本不均衡对模型性能的不利影响，提升模型预测准确性。
发明内容
本说明书一个或多个实施例描述了一种训练用户相关的分类模型的方法，其中利用对抗训练的方式，将不同类别下的标注样本，以及生成器生成的大量无标注样本，统一输入到分类器进行各个类别的建模学习，从而得到性能更优的分类器。进而可以利用这样的分类器，对用户相关样本进行准确分类。
根据第一方面，提供了一种训练用户相关的分类模型的方法，包括：
获取一批标注样本，各标注样本包括与用户相关的特征信息，并具有预先标注的类别标签，所述类别标签选自预定的K个类别；
利用生成器，生成多个生成样本；
将各标注样本输入用于进行K+1个类别分类的分类器，得到第一预测结果，所述第一预测结果正相关于各标注样本属于其对应类别标签的第一概率；其中，所述K+1个类别包括所述K个类别和附加类别；
将所述生成样本输入所述分类器，得到第二预测结果，所述第二预测结果正相关于所述生成样本属于所述附加类别的第二概率；
以所述第二预测结果最小化为目标，对所述生成器进行第一更新；
以预设函数的函数值最大化为目标，对所述分类器进行第二更新，其中所述预设函数与所述第一预测结果和第二预测结果均正相关。
在具体实施例中，上述特征信息可以包括以下中的至少一项：用户属性信息、用户行为序列、用户操作，所述用户操作包括登录操作，交易操作。
在一个例子中，上述K个类别为，对应于风险样本的第一类别，和对应于无风险样本的第二类别。
根据一种实现方式，生成多个生成样本的过程可以包括：将第一维度的噪声向量输入所述生成器，得到第二维度的生成向量，作为所述生成样本的表征向量；其中，所述第二维度与所述标注样本的表征向量维度相同。
根据一个实施例，得到第一预测结果的过程可以包括：获取所述标注样本属于所述K个类别的第三概率，以及属于所述附加类别的第四概率；根据所述第三概率和第四概率，确定所述第一预测结果，使得所述第一预测结果与所述第三概率正相关，与所述第四概率负相关。
在一个例子中，所述预设函数为，所述第一预测结果和第二预测结果的加权求和。
根据一种实现方式，所述第一更新和第二更新交替迭代执行。
根据第二方面，提供了一种用户相关的分类方法，包括：
获取与用户相关的待测样本；
将所述待测样本输入用于进行K+1个类别分类的分类器，得到预测输出，所述分类器通过第一方面的方法训练得到；所述K+1个类别包括预定的K个类别和一个附加类别；
根据所述预测输出，确定所述待测样本的分类结果。
在一个实施例中，根据所述预测输出，确定所述待测样本的分类结果，具体包括：若所述预测输出指示所述K个类别之一，则将该指示的类别确定为所述分类结果；若所述预测输出指示所述附加类别，则将所述分类结果确定为，有待进一步明确的待定结果。
根据第三方面，提供了一种训练用户相关的分类模型的装置，包括：
样本获取单元，配置为获取一批标注样本，各标注样本包括与用户相关的特征信息，并具有预先标注的类别标签，所述类别标签选自预定的K个类别；
生成单元，配置为利用生成器，生成多个生成样本；
第一预测单元，配置为将各标注样本输入用于进行K+1个类别分类的分类器，得到第一预测结果，所述第一预测结果正相关于各标注样本属于其对应类别标签的第一概率；其中，所述K+1个类别包括所述K个类别和附加类别；
第二预测单元，配置为将所述生成样本输入所述分类器，得到第二预测结果，所述第二预测结果正相关于所述生成样本属于所述附加类别的第二概率；
第一更新单元，配置为以所述第二预测结果最小化为目标，对所述生成器进行第一更新；
第二更新单元，配置为以预设函数的函数值最大化为目标，对所述分类器进行第二更新，其中所述预设函数与所述第一预测结果和第二预测结果均正相关。
根据第四方面，提供了一种用户相关的分类装置，包括：
样本获取单元，配置为获取与用户相关的待测样本；
预测单元，配置为将所述待测样本输入用于进行K+1个类别分类的分类器，得到预测输出，所述分类器利用第三方面的装置训练得到；所述K+1个类别包括预定的K个类别和一个附加类别；
结果确定单元，配置为根据所述预测输出，确定所述待测样本的分类结果。
根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一或第二方面的方法。
根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一或第二方面的方法。
根据本说明书实施例提供的方法和装置，采用对抗训练的框架，针对生成器和分类器进行多轮交替的对抗训练。在一定轮次后，生成器可以产生足以模拟标注样本的生成样本。分类器，由于针对K种类别的标注样本，以及生成器生成的大量无标签样本，统一进行学习和训练，相对于常规基于小样本训练的分类器，分类性能和泛化能力得到显著提升。如此训练得到的分类器，可以更好地用于用户相关分类。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出根据一个实施例的模型训练框架的示意图；
图2示出根据一个实施例的训练用户相关的分类模型的方法流程图；
图3示出根据一个实施例的用户相关的分类方法的流程图；
图4示出根据一个实施例的训练装置示意图；
图5示出根据一个实施例的分类装置示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
如前所述，在与用户相关的分类模型训练中，常常存在样本不均衡的问题。样本不均衡常常造成，更为关注的目标类别下的样本量太少，产生小样本的训练困难。典型的，在识别风险用户或风险行为的场景下，更为关注的是标注为风险用户或风险行为的样本，实践中常称为“黑样本”。然而，相对于大量的正常样本，或称为白样本，真实采集到的黑样本数量非常少。小样本为模型训练带来很大困难。
针对上述技术问题，发明人观察到，尽管目标类别下的样本(例如黑样本)数量很少，不过存在大量的其他类别的标定样本(例如白样本)，以及更为大量的不确定标签的样本(可称为灰样本)。可以更好地利用这些样本，提升分类模型的性能。基于这样的技术构思，发明人创新性提出一种新的训练方案。在该方案中，利用对抗训练的方式，将少量目标类别下的标注样本，大量其他类别下的标注样本，以及大量无标注样本，纳入统一框架中进行建模学习，从而为小样本情况下的用户分类提供了一种可行的解决方案。
图1示出根据一个实施例的模型训练框架的示意图。如图1所示，训练框架采用生成对抗网络GAN的架构，其中包含生成器110和分类器120。生成器110用于产生模拟无标注样本的生成样本。分类器120用于对K+1个类别进行分类，这K+1个类别中的K个类别，对应于原始的用户相关分类任务所设定的K个类别，其余的一个附加类别可以对应于无标注样本。
在训练过程中，可以获取有标签的标注样本集，各标注样本包括与用户相关的特征信息，例如用户行为特征，以及预先标注的类别标签，该类别标签选自前述K个类别。在典型的风险识别场景下，该K个类别为指示黑白样本的2个类别。
另外一方面，生成器110可以基于噪声信号产生一些生成样本。
可以将标注样本和生成样本分别输入到分类器120，进行类别预测，获得类别预测结果。然后根据类别预测结果，分别对生成器110和分类器120，进行对抗训练和更新。具体而言，生成器110训练和更新的目标是，使得针对生成样本的类别预测结果为附加类别的概率尽量低，从而生成尽可能接近于标注样本的模拟样本。而分类器120的训练和更新目标是，使得针对标注样本的类别预测结果尽可能接近其原本的标注标签，并使得针对生成样本的类别预测结果尽可能为附加类别，从而更好地学习到各类样本的特点。在针对生成样本的预测结果上，生成器110和分类器120的训练目标形成对抗。
经过多轮迭代地对抗训练，生成器110可以生成接近于标注样本的模拟样本，而分类器120基于大量训练样本，可以很好地学习到K+1个类别中各个类别的特点。于是，后续可以利用这样的分类器，进行用户相关分类。
在以上训练框架中，将不同类别下的标注样本(可能存在样本不均衡的情况)，以及大量无标注样本(即生成器生成的样本)，统一输入到分类器进行各个类别的建模学习，从而得到性能更优的分类器。
下面对上述框架下的训练过程进行详细描述。
图2示出根据一个实施例的训练用户相关的分类模型的方法流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图2所示，该方法包括以下步骤。
首先，在步骤21，获取一批标注样本，各标注样本包括与用户相关的特征信息，并具有预先标注的类别标签，所述类别标签选自预定的K个类别。
简单清楚起见，可以将上述标注样本中的第i个样本记为(xi,yi)，其中xi表示该第i个样本的样本特征，这些样本特征可以是与用户相关的特征信息；yi表示对应的标签值，其选自预定的K个类别。典型的，在识别风险样本的场景下，该K个类别为对应于风险样本的第一类别，和对应于无风险样本的第二类别。此时，可以用两个不同的标签值，例如0和1，分别表示正常样本和风险样本。在一些场景下，对于用户相关的分类也可以是多分类，例如，在内容推荐场景下，可以将用户分类到多个人群，从而便于后续根据人群选择推荐内容。此时，该多个人群可以对应于K个类别，K可以是设定的任意整数。
典型的，前述用户相关的特征信息可以包括以下几类特征中的全部或一部分：用户属性信息、用户行为序列、用户操作，等等。取决于分类任务的具体场景，可以选取相应的具体特征项，作为样本特征。例如，在支付风险识别的场景下，用户行为序列可以包含，前序与支付有关的行为序列，用户操作可以包括，交易或支付操作。在登录风险识别的场景下，用户行为序列可以包括，登录前的前序行为，用户操作可以包括登录操作。在用于商品推荐的用户分类场景下，用户行为序列可以包括，历史购买行为，历史浏览行为，历史加购行为等形成的行为序列。在其他场景中，可以对应选取相关的用户特征，在此不一一举例。可以将标注样本的样本分布记为pd。
此外，在步骤22，利用生成器，生成多个生成样本。
清楚简单起见，可以将生成器表示为ρs(z)，其中ρ表示生成器对应的生成函数，s表示生成器中的参数，z表示生成器的输入。
在一个实施例中，生成器的输入z为采集的无标签样本。生成器根据函数ρs对输入其中的无标签样本进行扰动修改，作为生成样本输出。
在另一实施例中，生成器根据噪声信号产生生成样本。在这样的情况下，为了得到生成样本，可以将第一维度d的噪声向量z输入生成器，得到第二维度n的生成向量，作为生成样本的表征向量；其中，第二维度n与标注样本的表征向量维度相同。此时，生成函数将输入的d维的噪声信号，映射到与标注样本的特征维度相同的空间，从而得到生成样本。可以将生成样本的样本分布记为
之后，分别在步骤23和24，将标注样本和生成样本输入分类器，得到针对标注样本的第一预测结果和针对生成样本的第二预测结果。可以理解，步骤23和24只是为了描述的清楚而进行的划分，实践中，标注样本和生成样本，可以分别输入分类器，也可以混合为一个样本批次，一起输入分类器，在此不做限定；对于步骤23和24的执行顺序，也不进行限定。
具体而言，在步骤23，将各标注样本输入用于进行K+1个类别分类的分类器，其中，该K+1个类别包括前述预定的K个类别，以及一个附加类别；预定的K个类别是原本的用户相关分类任务所设定的类别，附加类别(第K+1类)则用于指示生成器生成的样本，也就是没有标注标签的样本。
清楚简单起见，可以将分类器表示为fθ(y|x)，其中f表示分类器对应的分类函数，θ表示分类器中的参数，其输出fθ(y|x)表示，输入样本x属于类别y的概率。
基于此，在将标注样本输入上述分类器后，分类器根据其分类函数，针对各标注样本进行分类预测。根据本说明书的实施例，可以根据分类器的分类预测输出，确定出第一预测结果，该第一预测结果正相关于各标注样本属于其对应类别标签的第一概率。
更具体的，在一个实施例中，上述第一预测结果可以表示为其中，表示期望值，(x，y)～pd表示样本特征x与标签y的组合属于标注样本分布pd，相应的，针对(x，y)～pd计算的fθ(y|x)，表示分类器预测的各标注样本属于其对应类别标签的概率，即上述第一概率。由此可见，第一预测结果与第一概率正相关，随第一概率的增大而增大。
另一方面，在步骤24，将生成样本输入上述分类器，分类器根据分类函数对生成样本进行分类预测。根据分类器输出的分类预测结果，可以确定出第二预测结果，该第二预测结果正相关于生成样本属于附加类别(第K+1个类别)的第二概率。
具体的，在一个例子中，上述第二预测结果可以表示为其中，表示样本特征x属于生成样本的样本分布相应的，针对计算的fθ(y＝K+1|x)，表示分类器预测的、生成样本x属于第K+1个类别(即附加类别)的概率，即上述第二概率。可见第二预测结果与第二概率正相关，随第二概率的增大而增大。
在获得以上第一预测结果和第二预测结果的基础上，在步骤25，以上述第二预测结果最小化为目标，对生成器进行更新，清楚和区别起见，生成器的更新过程称为第一更新。第一更新可以如下表示：
上式(1)表示，调整生成器ρs的参数s，以期实现第二预测结果的最小化min。具体操作中，可以通过梯度下降等方式，对参数s进行更新和调整。
另一方面，在步骤26，以预设函数的函数值最大化为目标，对分类器进行更新(称为第二更新)，其中预设函数与上述第一预测结果和第二预测结果均正相关。
在一个具体例子中，可以定义上述预定函数为第一预测结果和第二预测结果的加权和，此时，预定函数与第一预测结果和第二预测结果均正相关。
在一个例子中，定义预定函数J为第一预测结果和第二预测结果之和，如下所示：
则分类器的第二更新即为，以函数J的函数值最大化为目标，调整分类器的参数θ。
可以看到，生成器的第一更新和分类器的第二更新，关于第二预测结果的调整方向形成对抗训练。即，生成器的训练目标是，使得第二预测结果越小越好，这意味着，生成样本尽可能接近标注样本的样本特征，使得分类器无法判定出其是生成器生成的无标签样本。而分类器的训练目标包括，使得第二预测结果越大越好，即尽可能识别出生成器所生成的无标签样本。通常，第一更新和第二更新可以交替迭代进行。在一些轮次中，可以固定分类器/生成器中的一个，更新另一个；在一些迭代轮次中，可以两者都进行更新。如此，经过多轮次的迭代更新，生成器和分类器的性能交替攀升增强。在一定轮次之后，生成器产出的生成样本，足以模拟标注样本；而分类器的分类性能，足以区分出K+1个类别中的各个类别。
根据一种实施方式，为了便于分类器训练过程中的参数更新和收敛，可以将第一预测结果改写为：
上式(3)中第一项对应于标注样本属于前述预定的K个类别(y<K+1)的第三概率，第二项对应于标注样本属于附加类别(y＝K+1)的第四概率。
相应的，在该实施方式下，步骤23确定第一预测结果的过程可以包括，获取各标注样本属于K个类别的第三概率，以及属于附加类别的第四概率；根据上述第三概率和第四概率，确定第一预测结果，使得所述第一预测结果与第三概率正相关，与第四概率负相关。更具体的，按照公式(3)确定第一预测结果。
在第一预测结果采用公式(3)形式的情况下，公式(2)所示的分类器的训练目标可以相应改写为以下的更新过程：
根据公式(4)，第二更新的过程包括，调整分类器fθ的参数θ，以期实现损失函数的函数值最小化min，其中，损失函数是依据公式(3)改写公式(2)的预定函数J，并将其取负数而得到。在公式(4)中，大括号之内的两项，均是针对附加类别(y＝K+1)的预测，这有利于在调参过程中，在这两项之间施加例如特征匹配或其他约束，从而更好地提升训练效果。
以上通过针对生成器和分类器进行多轮交替的对抗训练，可以得到性能逐步增强的生成器和分类器。在一定轮次后，生成器可以产生足以模拟标注样本的生成样本。而分类器，由于针对K种类别的标注样本，以及生成器生成的大量无标签样本，统一进行学习和训练，相对于常规基于小样本训练的分类器，分类性能和泛化能力得到显著提升。如此训练得到的分类器，可以更好地用于用户相关分类。
图3示出根据一个实施例的用户相关的分类方法的流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图3所示，该方法包括以下步骤。
在步骤31，获取与用户相关的待测样本。在不同实施例中，待测样本的特征信息可以包括，用户属性信息、用户行为序列、用户操作等，用户操作可以进一步包括登录操作，交易操作等。待测样本的特征信息根据用户相关的分类场景而具体确定，并与训练阶段采用的标注样本的特征信息对应一致。
在步骤32，将待测样本输入用于进行K+1个类别分类的分类器，得到预测输出。该K+1类别的分类器即为通过前述图2所示的方法训练得到的分类器。
在步骤33，根据预测输出，确定待测样本的分类结果。
如前所述，训练好的分类器可以进行K+1类别的分类，其中前K个类别指示预定的用户相关类别，其余的一个附加类别，指示无标签样本。因此，在该步骤中，若分类器的预测输出指示K个类别之一，则将该指示的类别确定为分类结果；若预测输出指示所述附加类别，则将分类结果确定为，有待进一步明确的待定结果。
具体的，在风险预测场景下，上述分类器为2+1分类器，两个预定的用户相关类别为，指示风险用户或风险行为的第一类别，指示正常用户或正常行为的第二类别。在这样的情况下，如果分类器的预测输出指示第一类别，则将待测样本确定为风险用户或风险行为，如果预测输出指示第二类别，则将待测样本确定为正常用户或正常行为，如果预测输出指示第三类别(附加类别)，则认为，无法确定风险状态。对于第三类别的待测样本，可以将其输入下游算法，进行进一步风险分析，或交由人工核查。
如前所述，由于分类器是基于K种类别的标注样本，以及生成器生成的大量无标签样本，与生成器对抗训练得到的，总体大量样本的训练在很大程度上可以弥补目标类别下小样本的不足，使得分类器总体分类性能得到提升。利用这样的分类器进行用户样本的分类预测，可以得到更加精准的分类结果。
根据另一方面的实施例，还提供一种训练用户相关的分类模型的装置，上述装置可以部署在任何具有计算、处理能力的设备或平台上。图4示出根据一个实施例的训练装置示意图。如图4所示，该训练装置400包括：
样本获取单元41，配置为获取一批标注样本，各标注样本包括与用户相关的特征信息，并具有预先标注的类别标签，所述类别标签选自预定的K个类别；
生成单元42，配置为利用生成器，生成多个生成样本；
第一预测单元43，配置为将各标注样本输入用于进行K+1个类别分类的分类器，得到第一预测结果，所述第一预测结果正相关于各标注样本属于其对应类别标签的第一概率；其中，所述K+1个类别包括所述K个类别和附加类别；
第二预测单元44，配置为将所述生成样本输入所述分类器，得到第二预测结果，所述第二预测结果正相关于所述生成样本属于所述附加类别的第二概率；
第一更新单元45，配置为以所述第二预测结果最小化为目标，对所述生成器进行第一更新；
第二更新单元46，配置为以预设函数的函数值最大化为目标，对所述分类器进行第二更新，其中所述预设函数与所述第一预测结果和第二预测结果均正相关。
在具体实施例中，所述特征信息可以包括以下中的至少一项：用户属性信息、用户行为序列、用户操作，所述用户操作包括登录操作，交易操作。
在一个例子中，所述K个类别为，对应于风险样本的第一类别，和对应于无风险样本的第二类别。
根据一种实现方式，所述生成单元42配置为：将第一维度的噪声向量输入所述生成器，得到第二维度的生成向量，作为所述生成样本的表征向量；其中，所述第二维度与所述标注样本的表征向量维度相同。
根据一个实施例，第一预测单元43配置为：获取所述标注样本属于所述K个类别的第三概率，以及属于所述附加类别的第四概率；根据所述第三概率和第四概率，确定所述第一预测结果，使得所述第一预测结果与所述第三概率正相关，与所述第四概率负相关。
在一个例子中，上述预设函数为，所述第一预测结果和第二预测结果的加权求和。
根据一种实现方式，所述第一更新单元45和第二更新单元46配置为，交替迭代执行所述第一更新和第二更新。
根据另一方面的实施例，还提供一种用户相关的分类装置，该装置可以部署在任何具有计算、处理能力的设备或平台上。图5示出根据一个实施例的分类装置示意图。如图5所示，该分类装置500包括：
样本获取单元51，配置为获取与用户相关的待测样本；
预测单元52，配置为将所述待测样本输入用于进行K+1个类别分类的分类器，得到预测输出，所述分类器利用前述结合图4所述的装置训练得到；所述K+1个类别包括预定的K个类别和一个附加类别；
结果确定单元53，配置为根据所述预测输出，确定所述待测样本的分类结果。
根据一种实施方式，结果确定单元53具体配置为：若所述预测输出指示所述K个类别之一，则将该指示的类别确定为所述分类结果；若所述预测输出指示所述附加类别，则将所述分类结果确定为，有待进一步明确的待定结果。
通过以上的装置，可以克服小样本的不足，训练得到性能更优的分类器，进而利用这样的分类器，更好地进行用户相关分类。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图3所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图3所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (20)
1.一种训练用户相关的分类模型的方法，包括：
获取一批标注样本，各标注样本包括与用户相关的特征信息，并具有预先标注的类别标签，所述类别标签选自预定的K个类别；
利用生成器，生成多个生成样本；
将各标注样本输入用于进行K+1个类别分类的分类器，得到第一预测结果；其中，所述K+1个类别包括所述K个类别和附加类别；得到第一预测结果，包括：获取所述标注样本属于所述K个类别的第三概率，以及属于所述附加类别的第四概率；根据所述第三概率和第四概率，确定所述第一预测结果，使得所述第一预测结果与所述第三概率正相关，与所述第四概率负相关；
将所述生成样本输入所述分类器，得到第二预测结果，所述第二预测结果正相关于所述生成样本属于所述附加类别的第二概率；
以所述第二预测结果最小化为目标，对所述生成器进行第一更新；
以预设函数的函数值最大化为目标，对所述分类器进行第二更新，其中所述预设函数与所述第一预测结果和第二预测结果均正相关。
2.根据权利要求1所述的方法，其中，所述特征信息包括以下中的至少一项：用户属性信息、用户行为序列、用户操作，所述用户操作包括登录操作，交易操作。
3.根据权利要求1所述的方法，其中，所述K个类别为，对应于风险样本的第一类别，和对应于无风险样本的第二类别。
4.根据权利要求1所述的方法，其中，利用生成器，生成多个生成样本，包括：
将第一维度的噪声向量输入所述生成器，得到第二维度的生成向量，作为所述生成样本的表征向量；其中，所述第二维度与所述标注样本的表征向量维度相同。
5.根据权利要求1所述的方法，其中，所述预设函数为，所述第一预测结果和第二预测结果的加权求和。
6.根据权利要求1所述的方法，其中，所述第一更新和第二更新交替迭代执行。
7.一种用户相关的分类方法，包括：
获取与用户相关的待测样本；
将所述待测样本输入用于进行K+1个类别分类的分类器，得到预测输出，所述分类器通过权利要求1-6中任一项的方法训练得到；所述K+1个类别包括预定的K个类别和一个附加类别；
根据所述预测输出，确定所述待测样本的分类结果。
8.根据权利要求7所述的方法，其中，所述待测样本的特征信息包括以下中的至少一项：用户属性信息、用户行为序列、用户操作，所述用户操作包括登录操作，交易操作。
9.根据权利要求7所述的方法，其中，根据所述预测输出，确定所述待测样本的分类结果，包括：
若所述预测输出指示所述K个类别之一，则将该指示的类别确定为所述分类结果；
若所述预测输出指示所述附加类别，则将所述分类结果确定为，有待进一步明确的待定结果。
10.一种训练用户相关的分类模型的装置，包括：
样本获取单元，配置为获取一批标注样本，各标注样本包括与用户相关的特征信息，并具有预先标注的类别标签，所述类别标签选自预定的K个类别；
生成单元，配置为利用生成器，生成多个生成样本；
第一预测单元，配置为将各标注样本输入用于进行K+1个类别分类的分类器，得到第一预测结果；其中，所述K+1个类别包括所述K个类别和附加类别；得到第一预测结果，包括：获取所述标注样本属于所述K个类别的第三概率，以及属于所述附加类别的第四概率；根据所述第三概率和第四概率，确定所述第一预测结果，使得所述第一预测结果与所述第三概率正相关，与所述第四概率负相关；
第二预测单元，配置为将所述生成样本输入所述分类器，得到第二预测结果，所述第二预测结果正相关于所述生成样本属于所述附加类别的第二概率；
第一更新单元，配置为以所述第二预测结果最小化为目标，对所述生成器进行第一更新；
第二更新单元，配置为以预设函数的函数值最大化为目标，对所述分类器进行第二更新，其中所述预设函数与所述第一预测结果和第二预测结果均正相关。
11.根据权利要求10所述的装置，其中，所述特征信息包括以下中的至少一项：用户属性信息、用户行为序列、用户操作，所述用户操作包括登录操作，交易操作。
12.根据权利要求10所述的装置，其中，所述K个类别为，对应于风险样本的第一类别，和对应于无风险样本的第二类别。
13.根据权利要求10所述的装置，其中，所述生成单元配置为：
将第一维度的噪声向量输入所述生成器，得到第二维度的生成向量，作为所述生成样本的表征向量；其中，所述第二维度与所述标注样本的表征向量维度相同。
14.根据权利要求10所述的装置，其中，所述预设函数为，所述第一预测结果和第二预测结果的加权求和。
15.根据权利要求10所述的装置，其中，所述第一更新单元和第二更新单元配置为，交替迭代执行所述第一更新和第二更新。
16.一种用户相关的分类装置，包括：
样本获取单元，配置为获取与用户相关的待测样本；
预测单元，配置为将所述待测样本输入用于进行K+1个类别分类的分类器，得到预测输出，所述分类器利用权利要求10-15中任一项的装置训练得到；所述K+1个类别包括预定的K个类别和一个附加类别；
结果确定单元，配置为根据所述预测输出，确定所述待测样本的分类结果。
17.根据权利要求16所述的装置，其中，所述待测样本的特征信息包括以下中的至少一项：用户属性信息、用户行为序列、用户操作，所述用户操作包括登录操作，交易操作。
18.根据权利要求16所述的装置，其中，所述结果确定单元配置为：
若所述预测输出指示所述K个类别之一，则将该指示的类别确定为所述分类结果；
若所述预测输出指示所述附加类别，则将所述分类结果确定为，有待进一步明确的待定结果。
19.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项的所述的方法。
20.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111603926.6A CN114282684B (zh) | 2021-12-24 | 2021-12-24 | 训练用户相关的分类模型、进行用户分类的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111603926.6A CN114282684B (zh) | 2021-12-24 | 2021-12-24 | 训练用户相关的分类模型、进行用户分类的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114282684A CN114282684A (zh) | 2022-04-05 |
| CN114282684B true CN114282684B (zh) | 2024-08-27 |
Family
ID=80875406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111603926.6A Active CN114282684B (zh) | 2021-12-24 | 2021-12-24 | 训练用户相关的分类模型、进行用户分类的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114282684B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115238827B (zh) * | 2022-09-16 | 2022-11-25 | 支付宝(杭州)信息技术有限公司 | 保护隐私的样本检测系统训练方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537630A (zh) * | 2021-08-04 | 2021-10-22 | 支付宝(杭州)信息技术有限公司 | 业务预测模型的训练方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11003995B2 (en) * | 2017-05-19 | 2021-05-11 | Huawei Technologies Co., Ltd. | Semi-supervised regression with generative adversarial networks |
| CN107862270B (zh) * | 2017-10-31 | 2020-07-21 | 深圳云天励飞技术有限公司 | 人脸分类器训练方法、人脸检测方法及装置、电子设备 |
| CN117456297A (zh) * | 2019-03-31 | 2024-01-26 | 华为技术有限公司 | 图像生成方法、神经网络的压缩方法及相关装置、设备 |
| CN110689048A (zh) * | 2019-09-02 | 2020-01-14 | 阿里巴巴集团控股有限公司 | 用于样本分类的神经网络模型的训练方法和装置 |
| CN111832615A (zh) * | 2020-06-04 | 2020-10-27 | 中国科学院空天信息创新研究院 | 一种基于前景背景特征融合的样本扩充方法及系统 |
| CN111832650B (zh) * | 2020-07-14 | 2023-08-01 | 西安电子科技大学 | 基于生成对抗网络局部聚合编码半监督的图像分类方法 |
| CN112101473B (zh) * | 2020-09-22 | 2022-07-15 | 南京邮电大学 | 一种基于小样本学习的烟雾检测算法 |
| CN112329816A (zh) * | 2020-10-09 | 2021-02-05 | 北京嘀嘀无限科技发展有限公司 | 数据分类方法、装置、电子设备和可读存储介质 |
| CN113487208B (zh) * | 2021-07-16 | 2024-06-18 | 支付宝（中国）网络技术有限公司 | 风险评估方法及装置 |
-
2021
- 2021-12-24 CN CN202111603926.6A patent/CN114282684B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537630A (zh) * | 2021-08-04 | 2021-10-22 | 支付宝(杭州)信息技术有限公司 | 业务预测模型的训练方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 刘梦晨.基于半监督生成对抗式网络的 PolSAR 分类研究.中国优秀学位论文全文数据库 信息科技辑.2020,正文22-24页. * |
| 基于半监督生成对抗式网络的 PolSAR 分类研究;刘梦晨;中国优秀学位论文全文数据库 信息科技辑;20200215;正文22-24页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114282684A (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112990432B (zh) | 目标识别模型训练方法、装置及电子设备 | |
| WO2018121690A1 (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
| CN110362677B (zh) | 文本数据类别的识别方法及装置、存储介质、计算机设备 | |
| CN109872162B (zh) | 一种处理用户投诉信息的风控分类识别方法及系统 | |
| CN112989035B (zh) | 基于文本分类识别用户意图的方法、装置及存储介质 | |
| CN110717554B (zh) | 图像识别方法、电子设备及存储介质 | |
| CN109840413B (zh) | 一种钓鱼网站检测方法及装置 | |
| US20220067588A1 (en) | Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model | |
| JP6897749B2 (ja) | 学習方法、学習システム、および学習プログラム | |
| JP6926934B2 (ja) | 分類タスクの複雑度の評価装置及び方法 | |
| EP3916597B1 (en) | Detecting malware with deep generative models | |
| CN111582315B (zh) | 样本数据处理方法、装置及电子设备 | |
| CN114282684B (zh) | 训练用户相关的分类模型、进行用户分类的方法及装置 | |
| Wang et al. | Towards calibrated hyper-sphere representation via distribution overlap coefficient for long-tailed learning | |
| Shu et al. | Perf-al: Performance prediction for configurable software through adversarial learning | |
| CN107729947A (zh) | 一种人脸检测模型训练方法、装置和介质 | |
| CN110751170A (zh) | 面板质量检测方法、系统、终端设备及计算机可读介质 | |
| CN109934352B (zh) | 智能模型的自动进化方法 | |
| Jere et al. | Principal component properties of adversarial samples | |
| CN114912549B (zh) | 风险交易识别模型的训练方法、风险交易识别方法和装置 | |
| US20240020531A1 (en) | System and Method for Transforming a Trained Artificial Intelligence Model Into a Trustworthy Artificial Intelligence Model | |
| CN115277205A (zh) | 模型训练方法及装置、端口的风险识别方法 | |
| CN110472680B (zh) | 目标分类方法、装置和计算机可读存储介质 | |
| CN114445656A (zh) | 多标签模型处理方法、装置、电子设备及存储介质 | |
| CN114116456A (zh) | 测试用例生成方法、系统及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |