CN110347566B - 用于对注册风控模型进行效能评估的方法及装置 - Google Patents

Abstract

本公开提供了一种用于对注册风控模型进行效能评估的方法及装置，其中所述用于对注册风控模型进行效能评估的方法包括：对垃圾账户识别覆盖率、垃圾账户稽核准确度和正常账户优质率中的一者或多者进行计算，从而确定风控指标，之后根据所确定的风控指标对注册风控模型进行效能评估。利用该方法，能够实现客观地对注册风控模型的风控效能进行有效评估。

Description

用于对注册风控模型进行效能评估的方法及装置

技术领域

本公开涉及计算机技术领域，具体地，涉及一种用于对注册风控模型进行效能评估的方法及装置。

背景技术

网络黑灰产是指电信诈骗、钓鱼网站、木马病毒、黑客勒索等利用网络开展违法犯罪活动的行为。垃圾账号是指具有强烈获取利益倾向和团伙性质、批量、低成本注册的账号，此类账号往往被不法分子利用来实施网络黑灰产。

针对垃圾账号的注册风控是目前互联网运营中重要的一部分，相应地，不少运营商对此也各自研制了注册风控策略模型，以从源头上消减垃圾账号。因此，注册风控策略模型性能的优劣直接影响着应用产品中出现垃圾账号的情况，而如何对注册风控策略模型的效能进行有效评估是目前业界亟待解决的难题。

发明内容

鉴于上述问题，本公开提供了一种用于对注册风控模型进行效能评估的方法及装置，利用该方法及装置，基于注册风控模型的垃圾账户识别覆盖率、垃圾账户稽核准确度和正常账户优质率中的一者或多者能够客观地对注册风控模型的风控效能进行有效评估。

根据本公开的一个方面，提供了一种用于对注册风控模型进行效能评估的方法，包括：确定注册风控模型的至少一个风控指标，所述风控指标包括以下中的至少一种：垃圾账户识别覆盖率、垃圾账户稽核准确度和正常账户优质率；以及根据所确定的风控指标，对所述注册风控模型进行效能评估。

可选地，在上述方面的一个示例中，确定所述垃圾账户识别覆盖率包括：确定所述注册风控模型的风险覆盖识别因子，所述风险覆盖识别因子包括以下中的至少一种：下游垃圾率、实时垃圾覆盖率和垃圾渗透率，所述垃圾渗透率指示所识别的垃圾账户中的在下游中发生风险行为的垃圾账户占比；以及根据所确定的风险覆盖识别因子，确定所述垃圾账户识别覆盖率。

可选地，在上述方面的一个示例中，确定所述垃圾账户稽核准确度包括：确定所述注册风控模型的稽核准确度因子，所述稽核准确度因子包括以下中的至少一种：人工认证复核率、垃圾账户复登率和垃圾账户客服服务率；以及根据所确定的稽核准确度因子，确定所述垃圾账户稽核准确度。

可选地，在上述方面的一个示例中，所述正常账户是被所述注册风控模型识别为正常账户并且注册时间处于距离效能评估时间的设定历史时间段内的注册账户。

可选地，在上述方面的一个示例中，确定所述正常账户优质率包括：确定针对所述正常账户的账户等级因子，所述账户等级因子包括以下中的至少一种：核身方式等级、支付等级、登录活跃度和场景活跃度；根据所确定的账户等级因子，确定所述正常账户优质率。

可选地，在上述方面的一个示例中，所确定的风控指标包括多个风控指标，且所述多个风控指标具有对应的效能权重因子，根据所确定的风控指标，对所述注册风控模型进行效能评估包括：根据所确定的多个风控指标以及对应的效能权重因子，对所述注册风控模型进行效能评估。

可选地，在上述方面的一个示例中，所述风控指标的效能权重因子是基于所述注册风控模型的应用业务场景确定的。

可选地，在上述方面的一个示例中，在根据所确定的风控指标，对所述注册风控模型进行效能评估之后，所述方法还包括：在效能评估的结果指示所述注册风控模型的效能未达标时，执行下述操作：在所述垃圾账户识别覆盖率低于设定的覆盖率风险阈值时，使用未被所述注册风控模型识别的真实垃圾账户更新训练数据集，以用于优化所述注册风控模型；在所述垃圾账户稽核准确度低于设定的准确度风险阈值时，使用被所述注册风控模型误识别的真实正常账户更新训练数据集，或更新针对所述注册风控模型的人工认证复核方式，以用于优化所述注册风控模型；和/或在所述正常账户优质率低于设定的优质率风险阈值时，增大所述覆盖率风险阈值。

根据本公开的另一方面，提供一种用于对注册风控模型进行效能评估的装置，包括：风控指标确定单元，被配置为确定注册风控模型的至少一个风控指标，所述风控指标包括以下中的至少一种：垃圾账户识别覆盖率、垃圾账户稽核准确度和正常账户优质率；效能评估单元，被配置为根据所确定的风控指标，对所述注册风控模型进行效能评估。

可选地，在上述方面的一个示例中，所述风控指标确定单元包括：风险覆盖识别因子确定模块，被配置为确定所述注册风控模型的风险覆盖识别因子，所述风险覆盖识别因子包括以下中的至少一种：下游垃圾率、实时垃圾覆盖率和垃圾渗透率，所述垃圾渗透率指示所识别的垃圾账户中的在下游中发生风险行为的垃圾账户的占比；识别覆盖率确定模块，被配置为根据所确定的风险覆盖识别因子来确定所述垃圾账户识别覆盖率。

可选地，在上述方面的一个示例中，所述风控指标确定单元包括：稽核准确度因子模块，被配置为确定所述注册风控模型的稽核准确度因子，所述稽核准确度因子包括以下中的至少一种：人工认证复核率、垃圾账户复登率和垃圾账户客服服务率；稽核准确度确定模块，被配置为根据所确定的稽核准确度因子来确定所述垃圾账户稽核准确度。

可选地，在上述方面的一个示例中，所述正常账户包括通过注册认证的时间处于距离效能评估时间的设定历史时间段内的注册账户。

可选地，在上述方面的一个示例中，所述风控指标确定单元包括：账户等级因子确定模块，被配置为确定针对所述正常账户的账户等级因子，所述账户等级因子包括以下中的至少一种：核身方式等级、支付等级、登录活跃度和场景活跃度；以及账户优质率确定模块，被配置为根据所确定的账户等级因子来确定所述正常账户优质率。

可选地，在上述方面的一个示例中，所确定的风控指标包括多个风控指标，并且所述多个风控指标具有对应的效能权重因子，所述效能评估单元被配置为根据所确定的多个风控指标以及对应的效能权重因子来对所述风控模型进行效能评估。

可选地，在上述方面的一个示例中，还包括：应用业务场景获取单元，被配置为确定所述注册风控模型的应用业务场景；以及权重因子确定单元，被配置为基于所述应用业务场景确定所述多个风控指标中的各个风控指标的效能权重因子。

可选地，在上述方面的一个示例中，还包括：效能优化单元，被配置为在效能评估的结果指示所述注册风控模型的效能未达标时，执行下述操作：在所述垃圾账户识别覆盖率低于设定的覆盖率风险阈值时，使用未被所述注册风控模型识别的真实垃圾账户更新训练数据集，以用于优化所述注册风控模型；在所述垃圾账户稽核准确度低于设定的准确度风险阈值时，使用被所述注册风控模型误识别的真实正常账户更新训练数据集，或更新针对所述注册风控模型的人工认证复核方式，以用于优化所述注册风控模型；和/或在所述正常账户优质率低于设定的优质率风险阈值时，增大所述覆盖率风险阈值。

根据本公开的另一方面，提供一种计算设备，包括：至少一个处理器；以及，存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于对注册风控模型进行效能评估的方法。

根据本公开的另一方面，提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的用于对注册风控模型进行效能评估的方法。

附图说明

通过参照下面的附图，可以实现对于本公开内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标注。附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开的实施例，但并不构成对本公开的实施例的限制。在附图中：

图1A示出了根据本公开的实施例的注册风控模型的方框图；

图1B示出了根据本公开的实施例的用于对注册风控模型进行效能评估的系统的系统架构示意图；

图2示出了根据本公开的实施例的用于对注册风控模型进行效能评估的方法的流程图；

图3A示出了根据本公开的实施例的用于确定垃圾账户识别覆盖率的流程示意图；

图3B示出了根据本公开的实施例的用于确定垃圾账户稽核准确度的流程示意图；

图3C示出了根据本公开的实施例的用于确定正常账户优质率的流程示意图；

图4示出了根据本公开的实施例的注册风控模型的工作周期示意图；

图5示出了根据本公开的实施例的用于对注册风控模型进行效能评估的装置的方框图；

图6示出了根据本公开的实施例的风控指标确定单元的方框图；

图7示出了根据本公开的实施例的用于对注册风控模型进行效能评估的计算设备的硬件结构图。

具体实施方式

以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

此外，如本文中使用的，术语“注册风控模型”可以表示针对注册账户中的垃圾账户进行风险识别，并对所识别的垃圾账户进行风控(或拦截)的模型。在如图1A所示的注册风控模型10中，注册风控模型10中配置有风险识别单元11和账户管控单元12，服务端在收到账户注册信息之后会生成对应的注册账户，此时注册账户需要经过注册风控模型10进行认证。这里，风险识别单元11可以应用预设策略规则或机器学习模型来识别注册账户是正常账户还是垃圾账户，而账户管控单元12可以针对正常账户或垃圾账户分别进行管控，例如允许正常账户进入下游以正常地使用业务服务。这里，一方面，账户管控单元12可以直接拦截垃圾账户进入下游业务，从而降低下游业务中的真实垃圾账户的数量，此时注册风控模型10的输出中仅存在正常账户而并不存在垃圾账户。另一方面，账户管控单元12可以为垃圾账户附加垃圾标签，此时注册风控模型10的输出中既包括正常账户也包括垃圾账户。进一步地，可以为由模型所输出的垃圾账户增加后续验证过程以避免对真实正常账户造成困扰。示例性地，后续验证过程为人工验证复核过程，此时若其未通过人工复核，则此垃圾账户也依然无法到达下游业务。

在本文中，术语“效能评估”表示评估注册风控模型针对真实垃圾账户进入下游业务的拦截效果，以及真实正常账户通过注册风控模型进入下游业务的用户体验。具体的，一方面，当经评估的效能越高时，表示注册风控模型对真实垃圾账户的拦截或风控效果就越好，说明进入下游业务的真实垃圾账户也就越少。相应地，参照图1A，由注册风控模型10所输出的正常账户中存在真实垃圾账户的数量就越少。另一方面，当经评估的效能越高时，表示真实正常账户通过注册风控模型进入下游业务的用户体验越好，说明真实正常账户进入下游业务过程中遭遇拦截的概率就越小。相应地，参照图1A，当注册风控模型10输出的垃圾账户时，在所输出的垃圾账户中存在真实正常账户的数量就越少。

另外，术语“风控指标”可以表示对注册风控模型的效能进行衡量的参量，例如，如果风控指标越高，则可说明注册风控模型的效能也相应地越高。在目前相关技术中，缺乏对注册风控模型的效能进行客观评估的有效方案。

现在结合附图来描述本公开的用于对注册风控模型进行效能评估的方法及装置。

图1B示出了根据本公开的实施例的用于对注册风控模型进行效能评估的系统(下文中称为注册风控模型效能评估系统)100的系统架构示意图。

如图1B所示，注册风控模型效能评估系统100包括服务端120、终端102、终端104和终端106，其中，终端102、终端104和终端106可以是诸如台式机、笔记本电脑和手机之类的终端设备。并且，终端设备与服务端120之间可以是通过网络130进行通信互联。在一些应用场景下，终端设备上可以安装有由服务端120所运营的应用程序(例如即时通讯软件、手机钱包软件等)。进而，在用户通过终端设备注册账户时，终端设备能够与服务端120进行交互操作，以由服务端120来识别注册账户是否为正常账户，并确定是否提供相应的业务服务。服务端120中设置有注册风控模型效能评估装置(在下文中称为账户使用异常检测装置)500。这里，服务端120可以是各种管理设备，例如在中心通信网络中的服务器，或者在对等通信网络中用于向其他节点提供服务的主节点等。另外，注册风控模型效能评估装置500能够确定针对注册风控模型的风控指标，并利用风控指标来对注册风控模型进行效能评估，从而保障注册风控模型能够处于较高的效能水平，降低流入下游业务中的垃圾账户，并减少对正常账户的干扰。

图2示出了根据本公开的实施例的用于对注册风控模型进行效能评估的方法的流程图，该方法由服务端处的注册风控模型效能评估装置执行。

如图2所示，在块210中，确定注册风控模型的至少一个风控指标，其中，风控指标包括以下中的至少一种：垃圾账户识别覆盖率、垃圾账户稽核准确度和正常账户优质率。

应理解的是，垃圾账户识别覆盖率表示注册风控模型对垃圾账户风险进行识别风控的覆盖程度，换言之，当越多的真实垃圾账户被垃圾账户模型识别出来时，其对应的垃圾账户识别覆盖率就越大，能够指示更多的垃圾账户被识别出来，以及更少的垃圾账户将会从注册阶段流入下游业务。另外，垃圾账户稽核准确度表示注册风控模型对垃圾账户风险进行识别风控的准确度，换言之，当越少的真实正常账户被识别为垃圾账户时，其对应的垃圾账户稽核准确度就越高，以及更少的正常账户遭遇风控措施。另外，正常账户优质率表示通过注册风控模型认证的正常账户中优质账户所占比例，换言之，当正常账户中的优质客户越多时，其对应的正常账户优质率越高，以及由模型所认证的正常账户也更有价值。

关于风控指标具体的确定方式，其可以是采用样本分析或其他方式来完成的，在此应不加限制。示例性地，在输入注册风控模型的注册账户中选择样本，从而根据样本中的真实垃圾账户、真实正常账户与由模型所识别出的识别垃圾账户来确定对应的垃圾账户识别覆盖率和垃圾稽核准确度。另外，还可以是从下游业务端中选择正常账户样本，分析其中的正常账户的行为表现从而确定其中的优质账户，得到正常账户优质率。

接着，在块220中，根据所确定的风控指标，对注册风控模型进行效能评估。

在本公开的实施例中，提出了可以在上述三个全新维度的风控指标中的选择任意的一者或多者来评估注册风控模型的效能。在本公开的一个示例中，对注册风控模型用来进行效能评估的风控指标可以是是单维度时，这样可以直接由该风控指标的高低来评估该注册风控模型所对应的效能。示例性地，当垃圾账户识别覆盖率越高、垃圾账户稽核准确度越高、或者正常账户优质率越高时，相对应的注册风控模型的效能也就越优秀。

在本公开的另一个示例中，对注册风控模型用来进行效能评估的风控指标可以是多维度，这样可以综合考虑多个风控指标来进行相应的效能评估过程。示例性地，当所确定的风控指标包括多个(即两个或两个以上)风控指标时，各个风控指标可具有对应的效能权重因子。相应地，在对注册风控模型进行效能评估的过程中，可以根据所确定的多个风控指标以及对应的效能权重因子来对注册风控模型进行效能评估。另外，如果不同的风控指标所对应的量纲或数据标准不统一，则可以先进行归一化处理，并将经归一化处理的风控指标与各自相对应的效能权重因子进行乘积后累加，从而能根据该累加值来对注册风控模型进行效能评估。

应理解的是，效能权重因子可以是预先确定的或后期自适应调整的，在一些情况下，各个风控指标还可以是被赋予相等效能权重因子。

优选地，风控指标的效能权重因子可以是基于注册风控模型的应用业务场景而确定的(例如自主地确定)。示例性地，在一些应用业务场景下，例如网商活动期间，网商对活跃优质账户的期待是超过其他风控指标的，此时可以为正常账户优质率分配相对于其他风控指标更高的效能权重因子。在一些应用业务场景下，若注册业务需求对用户尽可能少一些打扰，则可以增大垃圾账户稽核准确度所对应的效能权重因子。在一些应用业务场景下，若注册业务需求对垃圾账户尽可能多的覆盖，则可以增大垃圾账户识别覆盖率所对应的效能权重因子。具体的，注册风控模型效能评估装置可以确定注册风控模型的应用业务场景，并基于应用业务场景确定多个风控指标中的各个风控指标的效能权重因子，由此实现针对业务应用场景而自适应调整相应的针对不同风控指标的效能权重因子。

在一些情况下，关于上述三个维度的风控指标的确定方式，其还可以是分别通过其下属的具有一个或多个风险相关因子的风险相关因子组来间接进行确定的。

图3A示出了根据本公开的实施例的用于确定垃圾账户识别覆盖率的流程示意图。

如图3A所示，确定注册风控模型的风险覆盖识别因子，其中，风险覆盖识别因子包括以下中的至少一种：下游垃圾率、实时垃圾覆盖率和垃圾渗透率。

应理解的是，下游垃圾率表示在下游业务端中被识别为垃圾注册账户所占的比例。相应地，如果下游垃圾率越高，就表示有越多的垃圾账户通过了注册风控模型的认证而进入下游业务，说明注册风控模型针对垃圾账户的覆盖程度越低。这里，下游业务端可以先确定下游垃圾率，然后上报给注册风控模型效能评估装置。

另外，实时垃圾覆盖率表示注册风控模型所实时识别的垃圾账户占真实垃圾账户的比例。相应地，如果实时覆盖率越高，就说明注册风控模型识别出垃圾账户的时效性和针对垃圾账户的识别对抗效果越好。这里，可以是通过实时抽样的方式来确定实时垃圾覆盖率，例如基于样本中的真实垃圾账户与由注册风控模型所实时识别出的垃圾账户来计算实时垃圾覆盖率。

需说明的是，垃圾渗透率指示所识别的垃圾账户中在下游发生风险行为的垃圾账户占比。相应地，如果垃圾渗透率越低，就说明所识别的垃圾账户并没有进入下游，也就是，垃圾风控模型的风控策略越能够有效地阻止垃圾账户进入下游，模型的覆盖程度就越高。这里，可以是通过监测所识别的垃圾账户的后续行为数据来确定的。

接着，根据所确定的风险覆盖识别因子来确定垃圾账户识别覆盖率。

在本公开的一个示例中，下游垃圾率、实时垃圾覆盖率和垃圾渗透率这三个风险覆盖识别因子中的任意一者都可被直接用来作为垃圾账户识别覆盖率。在本公开的另一个示例中，还可以从综合考虑多个风险覆盖识别因子来确定垃圾账户识别覆盖率，这里各个风险覆盖识别因子可具有对应的覆盖权重因子。这样，在确定垃圾账户识别覆盖率的过程中，可以根据所确定的多个风险覆盖识别因子以及对应的覆盖权重因子来确定对应的垃圾账户识别覆盖率，使得所确定的垃圾账户识别覆盖率具有较高的精确度。另外，如果不同的风险覆盖识别因子所对应的量纲或数据标准不统一，则可以先进行归一化处理，并将经归一化处理的与各自相对应的覆盖权重因子进行乘积后累加，从而能根据该累加值来计算垃圾账户识别覆盖率。

应理解的是，覆盖权重因子可以是预先确定的或后期自适应调整的，在一些情况下，各个风险覆盖识别因子可以被赋予相等的覆盖权重因子。

图3B示出了根据本公开的实施例的用于确定垃圾账户稽核准确度的流程示意图。

如图3B所示，确定注册风控模型的稽核准确度因子，其中，该稽核准确度因子包括以下中的至少一种：人工认证复核率、垃圾账户复登率和垃圾账户客服服务率。

应理解的是，人工认证复核率表示通过注册风控模型认证的正常账户中因被识别为垃圾账户而要求人工认证复核(例如身份证复核等)的账户占比。相应地，如果人工认证复核率越低，就表示对正常账户的打扰就越少，说明注册风控模型针对垃圾账户识别的准确度就越高。这里，人工认证复核率可以通过从正常账户中抽样并结合其中产生过人工复核方式的账户来确定的。

另外，垃圾账户复登率表示被注册风控模型识别为垃圾账户在注册后的设定时间段(例如7天或30天)内尝试登陆的账户的占比。相应地，如果垃圾账户复登率越低，就表示注册风控模型所识别的垃圾账户为真实垃圾账户的概率就越高，说明注册风控模型针对垃圾账户识别的准确度就越高。这里，垃圾账户复登率可以通过对新注册的所识别的垃圾账户在设定时间段内的尝试登陆情况进行统计来确定的。

另外，垃圾账户客服服务率表示被注册风控模型所识别的垃圾账户中申请客服服务(致电客服或注册投诉等)的账户的占比。相应地，如果垃圾账户客服服务率越低，就表示注册风控模型所识别的垃圾账户中的真实正常账户的比例就越小，说明注册风控模型针对垃圾账户识别的准确度就越高。这里，垃圾账户客服服务率可以通过对新注册的所识别的垃圾账户申请客服服务的情况进行统计来确定的。

接着，根据所确定的稽核准确度因子，确定垃圾账户稽核准确度。

在本公开的一个示例中，个人认证复核率、垃圾账户复登率和垃圾账户客服服务率这三个稽核准确度因子中的任意一者都可被直接用来作为垃圾账户稽核准确度。在本公开的另一个示例中，还可以从综合考虑多个稽核准确度因子来确定垃圾账户稽核准确度，这里各个稽核准确度因子可具有对应的准确度权重因子。这样，在确定垃圾账户稽核准确度的过程中，可以根据所确定的多个稽核准确度因子以及对应的准确度权重因子来确定对应的垃圾账户稽核准确度，使得所确定的垃圾账户稽核准确度具有较高的精确度。另外，如果不同的风险覆盖识别因子所对应的量纲或数据标准不统一，则可以先进行归一化处理，并将经归一化处理的每个稽核准确度因子与各自相对应的准确度权重因子进行乘积后累加，从而能根据该累加值来计算垃圾账户稽核准确度。

应理解的是，准确度权重因子可以是预先确定的或后期自适应调整的，在一些情况下，各个稽核准确度因子可以被赋予相等的准确度权重因子。

图3C示出了根据本公开的实施例的用于确定正常账户优质率的流程示意图。

如图3C所示，确定针对正常账户的账户等级因子，其中该账户等级因子包括以下中的至少一种：核身方式等级、支付等级、登录活跃度和场景活跃度。

应理解的是，核身方式等级表示通过注册风控模型认证的正常账户中在注册认证过程中的核身方式(例如短信认证、生物特征认证等)。相应地，当正常账户中高等级核身认证(例如绑卡和人脸认证等)的账户占比越高，则说明正常账户中优质账户占比越多。这里，核身方式等级可以通过对正常账户在注册过程中的核身认证方式进行统计来确定的。

另外，支付等级表示正常账户的资金来源的等级，资金来源可以是例如红包转账、余额宝、银行卡等，并且不同的资金来源具有不同的等级，例如红包转账最低。相应地，当正常账户中高支付等级(借记、贷记资产等)的账户占比越高，则表征正常账户中优质账户的占比越多。这里，支付等级可以通过对正常账户在使用过程中的资金来源进行统计来确定的。

另外，登录活跃度表示正常账户中登录活跃账户所占的比例。相应地，当登录活跃度越高，说明正常账户中优质账户占比越多。以及，场景活跃度表示正常账户中使用场景活跃的账户所占的比例。相应地，当多场景活跃(大于等于3)的账户占比越高时，说明正常账户中优质账户占比越高。

在一些实施方式中，用于确定正常账户优质率所选择的正常账户并不是针对所有的正常账户，例如可以是仅选取新注册的正常账户，从而避免历史旧账户的个人不确定因素的影响对效能评价造成干扰。在一些应用场景下，当某一账户在通过注册的时候是优质客户，但是可能因为个人原因而放弃使用而转为非优质账户了。此时，就不能将其作为非优质账户来确定针对注册风控模型的正常账户优质率(其仍应作为优质账户)。鉴于此，可以是选取被注册风控模型识别为正常账户并且注册时间处于距离效能评估时间的设定历史时间段(例如30天)内的注册账户，由此更能保障所确定的正常账户优质率的高精确度。

接着，根据所确定的账户等级因子，确定正常账户优质率。

在本公开的一个示例中，核身方式等级、支付等级、登录活跃度和场景活跃度这四个账户等级因子中的任意一者都可被直接用来作为正常账户优质率。在本公开的另一个示例中，还可以从综合考虑多个账户等级因子来确定正常账户优质率，这里各个账户等级因子可具有对应的优质权重因子。这样，在确定正常账户优质率的过程中，可以根据所确定的多个正常账户优质率以及对应的优质权重因子来确定对应的正常账户优质率，使得所确定的正常账户优质率具有较高的精确度。另外，如果不同的风险覆盖识别因子所对应的量纲或数据标准不统一，则可以先进行归一化处理，并将经归一化处理的每个账户等级因子与各自相对应的优质权重因子进行乘积后累加，从而能根据该累加值来计算正常账户优质率。应理解的是，优质权重因子可以是预先确定的或后期自适应调整的，在一些情况下，各个账户等级因子可以被赋予相等的优质权重因子。

在本公开的一个示例中，下游垃圾率、实时垃圾覆盖率和垃圾渗透率分别为a％、b％和c％，其分别对应的覆盖权重因子为W_a、W_b和W_c，则计算出对应的风险覆盖识别因子为K1＝(a％*W_a+b％*W_b+c％*W_c)。人工认证复核率、垃圾账户复登率和垃圾账户客服服务率分别为x％、y％和z％，其分别对应的准确度权重因子为W_x、W_y和W_z，则可以计算出对应的稽核准确度因子为K2＝(x％*W_x+y％*W_y+z％*W_z)。经统计的核身方式等级为d，支付等级为e、登录活跃度为f，以及场景活跃度为g，此时需要统一数据标准，例如对上述d、e、f和g分别进行归一化处理，以得到归一化后的参数值为d’、e’、f’和g’，其分别对应的优质权重因子为W_d、W_e、W_f和W_g，则可以计算出对应的正常账户优质率为K3＝(d’*W_d+e’*W_e+f’*W_f+g’*W_g)。进而，基于K1、K2和K3，并结合其对应的效能权重因子W_k1，、W_k2、W_k3能够计算得出最终的效能评估值Q，其中K3需要进行归一化处理，因此，Q＝(K1*W_k1+K2*W_k2+K3％*W_k3)。进一步地，针对注册风控模型预设置效能风险阈值T，示例性地，当Q＜T时，说明效能未达标，而当Q≥T时，说明效能已达标。

优选地，针对每个风控指标都具有对应的因子风险阈值，例如覆盖率风险阈值T1、准确度风险阈值T2和优质率风险阈值T3，分别进行阈值比较，能够较精确地得出注册风控模型存在问题且需要进行优化的维度，对于模型的改进能够起到一定的指导作用。

图4示出了根据本公开的实施例的注册风控模型的工作周期示意图。

如图4所示，在注册风控模型的工作周期中主要涉及三个阶段，即针对注册风控模型的建设阶段、效能评估阶段和优化阶段。

在块410中，建设注册风控模型。这里，可以根据业务场景和风险类型来确定针对注册风控模型的风险识别和风控的规则。具体的，第一方面，可以根据专家经验对常见的恶意风险手法进行防控，防止黑灰产对系统造成非常恶劣的影响。示例性地，相同设备在短期内注册账户数不能超过一定阈值，以及设备不能出现明显的人机操作特征等。

第二方面，可以根据历史累计的黑白样本，通过机器学习算法进行训练，从多个特征维度对垃圾账户的风险进行打分，一般分数越高，风险越高，当其超过一定阈值后，注册风控模型会对其进行拦截。

第三方面，可以针对具有相同注册特征的注册账户进行的专项防控。示例性地，针对从特定渠道进来的批量注册账户，或者短期内注册量聚集的手机号段等进行专项防控。

在块420中，对注册风控模型进行效能评估。关于块420具体的操作过程，可以参照如图2-3C的描述，在此便不再赘述。

在块430中，对注册风控模型进行效能优化。具体的，在效能评估的结果指示注册风控模型的效能未达标时，对注册风控模型进行效能优化。优选地，在效能评估结果指示在某一维度的风控指标不达标时，有针对性地基于该未达标的风控指标对模型进行优化。

具体的，第一方面，在垃圾账户识别覆盖率低于设定的覆盖率风险阈值时，使用未被注册风控模型识别的真实垃圾账户更新训练数据集，以用于优化注册风控模型。这里，当垃圾账户识别覆盖率过低时，说明有较多的真实垃圾账户是被漏掉的，此时可以是收集这些被漏掉的真实垃圾账户来对模型进行迭代训练，从而提高注册风控模型的垃圾账户识别覆盖率。

第二方面，在垃圾账户稽核准确度低于设定的准确度风险阈值时，使用被注册风控模型误识别的真实正常账户更新训练数据集，或更新针对注册风控模型的人工认证复核方式，以用于优化注册风控模型。这里，当垃圾账户稽核准确度过低时，说明有较多的正常账户被误识别和遭遇风控了，此时可以收集这些被误识别的真实正常账户来对模型进行迭代训练，从而提高注册风控模型的垃圾账户稽核准确度。另外，还可以通过更新人工认证复核方式，例如降低人工认证复核方式的难度，从绑卡认证方式更新为人脸认证方式等，从而降低对用户的打扰，提高注册阶段的用户体验。

第三方面，在正常账户优质率低于设定的优质率风险阈值时，增大覆盖率风险阈值。这里，正常账户优质率过低，说明正常账户中的优质账户过少，这对于业务的运营是不利的。因此，优质账户过少，在某种程度上也可被理解为，通过注册认证的潜在的垃圾账户过多。鉴于此，可以认定注册风控模型的风险覆盖度还是不够广，此时可以提高模型的风险覆盖，减少通过模型认证的垃圾账户数量。

需说明的是，上述风控指标以及各个风控指标下属的各个因子中的一个或部分可以是非必须的，并还可以利用其它指标或因子来对其进行替换，例如，可以将用于确定正常账户优质率的支付等级用支付金额来替代，且都属于本公开的范围内。

在本公开的实施例中，提出了不同维度的风控指标和在风控指标下属的多个具体的评价指标，可以从多个风险维度和业务维度对注册风控模型进行全方位的评估。另外，还能够避免效能评估对模型识别的打标依赖，避免注册风控模型效能评估过程中出现“既当运动员，又当裁判”的情况，从而能够更客观、公正、准确、全面地衡量风控模型的效能。进而，效能评估结果能明确地指导注册风控模型朝着需要完善的方向进行有针对性的迭代优化，有助于降低业务中的垃圾账户数量和垃圾风险行为，净化网络环境。

图5示出了根据本公开的实施例的用于对注册风控模型进行效能评估的装置(在下文中也被称为“注册风控模型效能评估装置”)500的方框图。

如图5所示，注册风控模型效能评估装置500包括：风控指标确定单元510、效能评估单元520、应用业务场景获取单元530、权重因子确定单元540和效能优化单元550。

风控指标确定单元510被配置为确定注册风控模型的至少一个风控指标，所述风控指标包括以下中的至少一种：垃圾账户识别覆盖率、垃圾账户稽核准确度和正常账户优质率。风控指标确定单元510的操作可以参照上面参考图2描述的块210的操作。

效能评估单元520被配置为根据所确定的风控指标，对所述注册风控模型进行效能评估。效能评估单元520的操作可以参照上面参考图2描述的块220的操作。

应用业务场景获取单元530被配置为确定所述注册风控模型的应用业务场景。

权重因子确定单元540被配置为基于所述应用业务场景确定所述多个风控指标中的各个风控指标的效能权重因子。效能评估单元520和权重因子确定单元540的操作可以参照上面针对效能权重因子所描述的操作。

效能优化单元550被配置为在效能评估的结果指示所述注册风控模型的效能未达标时，执行下述操作：在所述垃圾账户识别覆盖率低于设定的覆盖率风险阈值时，使用未被所述注册风控模型识别的真实垃圾账户更新训练数据集，以用于优化所述注册风控模型；在所述垃圾账户稽核准确度低于设定的准确度风险阈值时，使用被所述注册风控模型误识别的真实正常账户更新训练数据集，或更新针对所述注册风控模型的人工认证复核方式，以用于优化所述注册风控模型；和/或在所述正常账户优质率低于设定的优质率风险阈值时，增大所述覆盖率风险阈值。效能优化单元550的操作可以参照上面参考图4描述的块430的操作。

进一步地，所述正常账户包括通过注册认证的时间处于距离效能评估时间的设定历史时间段内的注册账户。

进一步地，所确定的风控指标包括多个风控指标，并且所述多个风控指标具有对应的效能权重因子，所述效能评估单元被配置为根据所确定的多个风控指标以及对应的效能权重因子来对所述风控模型进行效能评估。

图6示出了根据本公开的实施例的风控指标确定单元510的方框图。

如图6所示，风控指标确定单元510包括风险覆盖识别因子确定模块511、识别覆盖率确定模块512、稽核准确度因子模块513、稽核准确度确定模块514、账户等级因子确定模块515和账户优质率确定模块516。

风险覆盖识别因子确定模块511被配置为确定所述注册风控模型的风险覆盖识别因子，所述风险覆盖识别因子包括以下中的至少一种：下游垃圾率、实时垃圾覆盖率和垃圾渗透率，所述垃圾渗透率指示所识别的垃圾账户中的在下游中发生风险行为的垃圾账户的占比。

识别覆盖率确定模块512被配置为根据所确定的风险覆盖识别因子来确定所述垃圾账户识别覆盖率。风险覆盖识别因子确定模块511和识别覆盖率确定模块512的操作可以参照上面参考图3A的操作。

稽核准确度因子模块513被配置为确定所述注册风控模型的稽核准确度因子，所述稽核准确度因子包括以下中的至少一种：人工认证复核率、垃圾账户复登率和垃圾账户客服服务率。

稽核准确度确定模块514被配置为根据所确定的稽核准确度因子来确定所述垃圾账户稽核准确度。稽核准确度因子模块513和稽核准确度确定模块514的操作可以参照上面参考图3B的操作。

账户等级因子确定模块515被配置为确定针对所述正常账户的账户等级因子，所述账户等级因子包括以下中的至少一种：核身方式等级、支付等级、登录活跃度和场景活跃度。

账户优质率确定模块516被配置为根据所确定的账户等级因子来确定所述正常账户优质率。账户等级因子确定模块515和账户优质率确定模块516的操作可以参照上面参考图3C的操作。

如上参照图1A到图6，对根据本公开的用于对注册风控模型进行效能评估的方法及装置的实施例进行了描述。在以上对方法实施例的描述中所提及的细节，同样适用于本公开的装置的实施例。上面的用于对注册风控模型进行效能评估的装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。

图7示出了根据本公开的实施例的用于对注册风控模型进行效能评估的计算设备700的硬件结构图。如图7所示，计算设备700可以包括至少一个处理器710、存储器(例如，非易失性存储器)720、内存730和通信接口740，并且至少一个处理器710、存储器720、内存730和通信接口740经由总线760连接在一起。至少一个处理器710执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器710：确定注册风控模型的至少一个风控指标，所述风控指标包括以下中的至少一种：垃圾账户识别覆盖率、垃圾账户稽核准确度和正常账户优质率；以及根据所确定的风控指标，对所述注册风控模型进行效能评估。

应该理解，在存储器720中存储的计算机可执行指令当执行时使得至少一个处理器710进行本公开的各个实施例中以上结合图1A-6描述的各种操作和功能。

在本公开中，计算设备700可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。

根据一个实施例，提供了一种比如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1A-6描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

本领域技术人员应当理解，上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此，本发明的保护范围应当由所附的权利要求书来限定。

需要说明的是，上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上各实施例中，硬件单元或模块可以通过机械方式或电气方式实现。例如，一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (18)

1.一种用于对注册风控模型进行效能评估的方法，包括：

确定注册风控模型的至少一个风控指标，所述注册风控模型表示针对注册账户中的垃圾账户进行风险识别并对所识别的垃圾账户进行风控的模型，风控指标表示对所述注册风控模型的效能进行衡量的参量，所述风控指标包括以下中的至少一种：垃圾账户识别覆盖率、垃圾账户稽核准确度和正常账户优质率；以及

根据所确定的风控指标，对所述注册风控模型进行效能评估；

其中，所述风控指标通过其下属的具有一个或多个风险相关因子的风险相关因子组确定，所述垃圾账户识别覆盖率下属的风险相关因子包括垃圾渗透率，所述垃圾渗透率指示所识别的垃圾账户中的在下游中发生风险行为的垃圾账户占比，所述垃圾账户稽核准确度下属的风险相关因子包括垃圾账户复登率，正常账户优质率表示通过所述注册风控模型认证的正常账户中优质账户所占比例。

2.如权利要求1所述的方法，其中，确定所述垃圾账户识别覆盖率包括：

确定所述注册风控模型的风险覆盖识别因子，所述风险覆盖识别因子包括以下中的至少一种：下游垃圾率、实时垃圾覆盖率；以及

根据所确定的风险覆盖识别因子，确定所述垃圾账户识别覆盖率。

3.如权利要求1所述的方法，其中，确定所述垃圾账户稽核准确度包括：

确定所述注册风控模型的稽核准确度因子，所述稽核准确度因子包括以下中的至少一种：人工认证复核率和垃圾账户客服服务率；以及

根据所确定的稽核准确度因子，确定所述垃圾账户稽核准确度。

4.如权利要求1所述的方法，其中，所述正常账户是被所述注册风控模型识别为正常账户并且注册时间处于距离效能评估时间的设定历史时间段内的注册账户。

5.如权利要求1或4所述的方法，其中，确定所述正常账户优质率包括：

确定针对所述正常账户的账户等级因子，所述账户等级因子包括以下中的至少一种：核身方式等级、支付等级、登录活跃度和场景活跃度；

根据所确定的账户等级因子，确定所述正常账户优质率。

6.如权利要求1所述的方法，其中，所确定的风控指标包括多个风控指标，且所述多个风控指标具有对应的效能权重因子，

根据所确定的风控指标，对所述注册风控模型进行效能评估包括：

根据所确定的多个风控指标以及对应的效能权重因子，对所述注册风控模型进行效能评估。

7.如权利要求6所述的方法，其中，所述风控指标的效能权重因子是基于所述注册风控模型的应用业务场景确定的。

8.如权利要求1所述的方法，其中，在根据所确定的风控指标，对所述注册风控模型进行效能评估之后，所述方法还包括：

在效能评估的结果指示所述注册风控模型的效能未达标时，执行下述操作：

在所述垃圾账户识别覆盖率低于设定的覆盖率风险阈值时，使用未被所述注册风控模型识别的真实垃圾账户更新训练数据集，以用于优化所述注册风控模型；

在所述垃圾账户稽核准确度低于设定的准确度风险阈值时，使用被所述注册风控模型误识别的真实正常账户更新训练数据集，或更新针对所述注册风控模型的人工认证复核方式，以用于优化所述注册风控模型；和/或

在所述正常账户优质率低于设定的优质率风险阈值时，增大所述覆盖率风险阈值。

9.一种用于对注册风控模型进行效能评估的装置，包括：

风控指标确定单元，被配置为确定注册风控模型的至少一个风控指标，所述注册风控模型表示针对注册账户中的垃圾账户进行风险识别并对所识别的垃圾账户进行风控的模型，风控指标表示对所述注册风控模型的效能进行衡量的参量，所述风控指标包括以下中的至少一种：垃圾账户识别覆盖率、垃圾账户稽核准确度和正常账户优质率；

效能评估单元，被配置为根据所确定的风控指标，对所述注册风控模型进行效能评估；

其中，所述风控指标通过其下属的具有一个或多个风险相关因子的风险相关因子组确定，所述垃圾账户识别覆盖率下属的风险相关因子包括垃圾渗透率，所述垃圾渗透率指示所识别的垃圾账户中的在下游中发生风险行为的垃圾账户占比，所述垃圾账户稽核准确度下属的风险相关因子包括垃圾账户复登率，正常账户优质率表示通过所述注册风控模型认证的正常账户中优质账户所占比例。

10.如权利要求9所述的装置，其中，所述风控指标确定单元包括：

风险覆盖识别因子确定模块，被配置为确定所述注册风控模型的风险覆盖识别因子，所述风险覆盖识别因子包括以下中的至少一种：下游垃圾率、实时垃圾覆盖率；

识别覆盖率确定模块，被配置为根据所确定的风险覆盖识别因子来确定所述垃圾账户识别覆盖率。

11.如权利要求9所述的装置，其中，所述风控指标确定单元包括：

稽核准确度因子模块，被配置为确定所述注册风控模型的稽核准确度因子，所述稽核准确度因子包括以下中的至少一种：人工认证复核率和垃圾账户客服服务率；

稽核准确度确定模块，被配置为根据所确定的稽核准确度因子来确定所述垃圾账户稽核准确度。

12.如权利要求9所述的装置，其中，所述正常账户包括通过注册认证的时间处于距离效能评估时间的设定历史时间段内的注册账户。

13.如权利要求9或12所述的装置，其中，所述风控指标确定单元包括：

账户等级因子确定模块，被配置为确定针对所述正常账户的账户等级因子，所述账户等级因子包括以下中的至少一种：核身方式等级、支付等级、登录活跃度和场景活跃度；以及

账户优质率确定模块，被配置为根据所确定的账户等级因子来确定所述正常账户优质率。

14.如权利要求9所述的装置，其中，所确定的风控指标包括多个风控指标，并且所述多个风控指标具有对应的效能权重因子，

所述效能评估单元被配置为根据所确定的多个风控指标以及对应的效能权重因子来对所述风控模型进行效能评估。

15.如权利要求14所述的装置，还包括：

应用业务场景获取单元，被配置为确定所述注册风控模型的应用业务场景；以及

权重因子确定单元，被配置为基于所述应用业务场景确定所述多个风控指标中的各个风控指标的效能权重因子。

16.如权利要求9所述的装置，还包括：

效能优化单元，被配置为在效能评估的结果指示所述注册风控模型的效能未达标时，执行下述操作：

在所述垃圾账户识别覆盖率低于设定的覆盖率风险阈值时，使用未被所述注册风控模型识别的真实垃圾账户更新训练数据集，以用于优化所述注册风控模型；

在所述垃圾账户稽核准确度低于设定的准确度风险阈值时，使用被所述注册风控模型误识别的真实正常账户更新训练数据集，或更新针对所述注册风控模型的人工认证复核方式，以用于优化所述注册风控模型；和/或

在所述正常账户优质率低于设定的优质率风险阈值时，增大所述覆盖率风险阈值。

17.一种计算设备，包括：

至少一个处理器；以及

存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1到8中任一所述的方法。

18.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1到8中任一所述的方法。

Images