CN108197777A - 一种调整风控规则的方法、装置及设备 - Google Patents

Abstract

本说明书实施例公开了一种更新风控规则的方法、装置及设备。在本说明书实施例中，风控系统面对待识别的若干业务数据，可以根据保存的风控规则从若干业务数据中识别出符合任一风控规则的业务数据并输出，然后根据输出的每个业务数据对应的标记信息，对输出的业务数据所符合的风控规则进行调整。其中，针对每个业务数据，该业务数据对应的标记信息包含该业务数据的实际合法特征和/或实际非法特征。

Description

一种调整风控规则的方法、装置及设备

技术领域

本说明书涉及信息技术领域，尤其涉及一种调整风控规则的方法、装置及设备。

背景技术

在诸多行业，风险控制(简称风控)工作的重要性不言而喻。例如，在金融行业，银行的风控工作可以是从受理的交易中识别出涉嫌洗钱的交易。

通常，可在风控系统中部署若干风控规则，由风控系统根据风控规则对业务数据进行风险识别，将符合任一风控规则的业务数据识别出来。

由于风控规则具有局限性，根据风控规则识别出的业务数据仅仅是可疑非法的，因此，风险识别系统还需将识别出的每个可疑非法的业务数据提交给风控人员，由风控人员进行审核，判断每个业务数据是否实际非法，并将实际非法的业务数据上报。

基于现有技术，需要一种调整风控规则的方法。

发明内容

本说明书实施例提供一种调整风控规则的方法、装置及设备，以解决现有的风控规则难以被调整的问题。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种调整风控规则的方法，包括：

针对保存的每个风控规则，识别若干业务数据是否符合该风控规则，并将识别出的符合任一风控规则的业务数据输出；

针对输出的每个业务数据，接收该业务数据对应的标记信息，该业务数据对应的标记信息包含该业务数据的实际合法特征和/或实际非法特征；

根据各业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整。

本说明书实施例提供的一种调整风控规则的装置，包括：

识别输出模块，针对保存的每个风控规则，识别若干业务数据是否符合该风控规则，并将识别出的符合任一风控规则的业务数据输出；

接收模块，针对输出的每个业务数据，接收该业务数据对应的标记信息，该业务数据对应的标记信息包含该业务数据的实际合法特征和/或实际非法特征；

调整模块，根据各业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整。

本说明书实施例提供的一种调整风控规则的设备，包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：

针对保存的每个风控规则，识别若干业务数据是否符合该风控规则，并将识别出的符合任一风控规则的业务数据输出；

针对输出的每个业务数据，接收该业务数据对应的标记信息，该业务数据对应的标记信息包含该业务数据的实际合法特征和/或实际非法特征；

根据各业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整。

由以上本说明书实施例提供的技术方案可见，在本说明书实施例中，风控系统面对待识别的若干业务数据，可以根据保存的风控规则从若干业务数据中识别出符合任一风控规则的业务数据并输出，然后根据输出的每个业务数据对应的标记信息，对输出的业务数据所符合的风控规则进行调整。其中，针对每个业务数据，该业务数据对应的标记信息包含该业务数据的实际合法特征和/或实际非法特征。通过本说明书实施例中，当风控系统接收到输出的业务数据对应的标记信息时，可以自动根据输出的业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整，整个调整过程无需人工参与，减轻了风控人员的工作负担。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书实施例提供的一种调整风控规则的方法流程图；

图2是本说明书实施例提供的风控规则的数据结构示意图；

图3是本说明书实施例提供的一种调整风控规则的装置示意图；

图4是本说明书实施例提供的一种调整风控规则的设备示意图。

具体实施方式

目前，风控人员在风控系统上完成了风控规则的部署之后，通常就不再对风控规则进行更新。而实践中的业务呈现出形式多变且难以预测的特点，随着时间的推移，固定不变的风控规则面对复杂多变的业务形式，容易出现误判，使得风控系统会将相当数量的实际合法的业务数据识别为可疑非法的业务数据，并将之提交给风控人员。这些实际合法的业务数据也需要由风控人员进行审核并排除。

显然，倘若不定期对风控规则进行调整，以使调整后的风控规则适应新出现的业务形式，那么陈旧的风控规则就会给风控人员带来越来越大的工作负担。

此外，哪怕风控人员定期主动对风控规则进行调整，也需要做大量繁琐的分析和验证工作，耗时耗力。

为此，本说明书实施例提供了一种调整风控规则的方法，风控系统根据风控规则识别出符合任一风控规则的业务数据，并将识别出的业务数据输出后，会接收到输出的业务数据的标记信息(业务数据的实际合法特征和/或实际非法特征)，并自动根据接收到的标记信息对输出的业务数据所符合的风控规则进行调整，调整过程无需人工参与。

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。通过本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1是本说明书实施例提供的调整风控规则方法流程图，包括以下步骤：

S100：针对保存的每个风控规则，识别若干业务数据是否符合该风控规则，并将识别出的符合任一风控规则的业务数据输出。

本方法的执行主体可以是具有数据存储和数据处理功能的设备(如服务器)或系统。为了描述的方便，本文将本方法的执行主体称为风控系统。

在本说明书实施例中，风控系统根据保存的若干风控规则从待识别的若干业务数据中识别出符合任一风控规则的业务数据。其中，视不同的业务场景，符合风控规则的业务数据可以是疑似合法或疑似非法的业务数据，本说明书对此不做限制。在一些业务场景(如反洗钱)下，将符合风控规则的业务数据作为疑似非法数据；在另一些业务场景下，将符合风控规则的业务数据作为疑似合法数据。

例如，在反洗钱场景下，假设风控系统保存的风控规则有3条，如表1所示；待识别的业务数据有3条，如表2所示。风控系统可以根据风控规则1～3对业务数据1～3进行识别，确定：业务数据1符合风控规则3，为疑似非法数据；业务数据2符合风控规则1和3，为疑似非法数据；业务数据3不符合任一风控规则，为疑似合法数据。

风控规则1	单次转账超过5万元
		风控规则2	最近7天转账额超过20万元
风控规则3	收款账户为海外账号

表1

业务数据1	张三向美国的李四转账4万元，最近7天转账额为15万元
		业务数据2	张三向英国的王五转账8万元，最近7天转账额为18万元
业务数据3	张三向中国的朱六转账3万元，最近7天转账额为9万元

表2

此外，实践中，针对风控系统保存的每个风控规则，该风控规则可以包含至少一种特征识别策略(表1所示的风控规则仅包含一种特征识别策略)，其中，针对该风控规则包含的每种特征识别策略，该特征识别策略用于识别业务数据中的特征是否为疑似非法特征，该特征识别策略所用于识别的特征为该风控规则的相关特征。

具体来说，针对每个风控规则，该风控规则包含若干特征识别策略，针对该风控规则包含的每个特征识别策略，该特征识别策略实际上由一个相关特征和一个阈值区间(或一个结果)组成。

根据特征识别策略识别业务数据中的特征是否为疑似非法特征的方式可以是：若业务数据中该特征的特征值落入该特征识别策略对应的阈值区间，则确定该特征为疑似非法特征；或，若业务数据中该特征的特征值未落入该特征识别策略对应的阈值区间，则确定该特征为疑似非法特征；或，若业务数据中该特征对应的特征结果为该特征识别策略对应的结果，则确定该特征为疑似非法特征。

图2是本说明书实施例提供的风控规则的数据结构示意图。如图2所示，风控系统保存有风控规则1～3，其中风控规则1包含特征识别策略1～3，风控规则2包含特征识别策略2和4，风控规则3包含特征识别策略3、5、6。

风控系统当对待识别的业务数据进行识别时，针对每个业务数据，确定该业务数据中包含的该风控规则的各相关特征，若该业务数据包含该风控规则的所有相关特征，则采用该风控规则中包含的各特征识别策略，对该业务数据中包含的各相关特征进行识别，若识别出各相关特征均为疑似非法特征，则该业务数据符合该风控规则，若识别出任一相关特征不是疑似非法特征，则该业务数据不符合该风控规则。若该业务数据未包含该风控规则的所有相关特征，则该业务数据不符合该风控规则。

还是以反洗钱的场景为例，假设风控系统保存的若干风控规则中的某个风控规则A包含三种特征识别策略，如表3所示。特征识别策略1用于识别的相关特征为“单次转账金额”，对应的阈值区间为(5万元，∞)；特征识别策略2用于识别的相关特征为“收款账户所在地”，对应的结果为“海外”；特征识别策略3用于识别的相关特征为“最近7天转账金额”，对应的阈值区间为(20万元，∞)。

	相关特征	阈值区间(或结果)
			特征识别策略1	单次转账金额	(5万元，∞)
特征识别策略2	收款账户所在地	海外
			特征识别策略3	最近7天转账金额	(20万元，∞)

表3

假设业务数据1～3如表4所示。其中，业务数据1和2包含风控规则A的所有相关特征(即单次转账金额、收款账户所在地、最近7天转账金额)，业务数据3未包含风控规则A的所有相关特征，缺少相关特征“最近7天转账金额”。由表4可知，业务数据1包含的相关特征“单次转账金额”的特征值“4万”未落入特征识别策略1对应的阈值区间(5万元，∞)，因此，业务数据1包含的相关特征并不都是疑似非法特征，也即业务数据1不符合风控规则A。由表4也可知业务数据2包含的各相关特征的特征值(或特征结果)都落入相应的特征识别策略对应的阈值区间(或为相应的特征识别策略对应的结果)，也即业务数据2符合风控规则A。业务数据3未包含风控规则A的所有相关特征，因此不符合风控规则A。

	单次转账金额	收款账户所在地	最近7天转账金额
				业务数据1	有，特征值为4万	有，特征结果为美国	有，特征值为30万
业务数据2	有，特征值为8万	有，特征结果为英国	有，特征结果为21万
				业务数据3	有，特征值为5万	有，特征结果为中国	无

表4

风控系统会将识别出的符合任一风控规则的业务数据输出。具体地，可以将识别出的业务数据输出给风控人员，由风控人员对风控系统输出的每个业务数据进行审核，并根据审核结果对每个业务数据进行标记。当然，也可以将识别出的业务数据输出给其他可以对业务数据进行审核并标记的人或设备，本说明书对此不做限制。

此外，风控系统还可以将符合任一风控规则的业务数据的疑似非法特征输出给风控人员，业务数据的疑似非法特征具有提示作用，可以帮助风控人员提升审核工作的效率。

S102：针对输出的每个业务数据，接收该业务数据对应的标记信息。

S104：根据各业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整。

在本说明书实施例中，风控系统可以接收风控人员返回的每个数据对应的标记信息。其中，针对每个业务数据，该业务数据对应的标记信息包含该业务数据的实际合法特征和/或实际非法特征。

具体来说，以符合风控规则的业务数据是疑似非法数据(反洗钱的场景)为例，针对输出的每个业务数据，该业务数据对应的标记信息可以包含该业务数据的实际合法特征，此时风控系统可以将除该业务数据的实际合法特征之外的特征作为该业务数据的实际非法特征。此外，该业务数据对应的标记信息可以包含该业务数据的实际非法特征，或同时包含该业务数据对应的实际非法特征和实际合法特征。

总之，风控系统可以根据输出的每个业务数据对应的标记信息，确定每个业务数据对应的实际合法特征和实际非法特征。

为了方便理解，对业务数据对应的标记信息进行举例说明。风控系统根据表1所示的风控规则1～3，可将表2所示的业务数据1和2识别为疑似非法特征，并将业务数据1和2输出给风控人员，风控人员对业务数据1和2进行审核并标记，业务数据1和2对应的标记信息可以如表5所示。

表5

可见，风控系统输出给风控人员的业务数据1和2是符合任一风控规则的疑似非法数据，业务数据1和2经过风控人员审核后，由表5可知，业务数据1和业务数据2都包含有实际非法特征，因此是实际非法数据。此外，由表5还可知，业务数据1的疑似非法特征“单次转账金额”其实是实际合法特征。

风控系统在接收到输出的各业务数据的标记信息后，可以根据各业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整。

通过图1所示的方法，当风控系统接收到输出的业务数据对应的标记信息时，可以自动根据输出的业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整，整个调整过程无需人工参与，减轻了风控人员的工作负担。

此外需要说明的是，风控系统具体执行的调整风控规则的方法可以有多种，本说明书对此并无具体限制。后文提供一种调整风控规则的具体方法供参考。

为了描述的方便，在后文中，将场景限定为反洗钱的场景。在反洗钱的场景下，符合风控规则的业务数据是疑似非法数据，输出的每个业务数据的标记信息通常包含该业务数据的实际非法特征，风控系统可以根据各业务数据的实际非法特征对输出的业务数据所符合的风控规则进行调整。本领域技术人员在理解本发明的技术原理的基础上，应当能够以下文的说明为参考，得到本发明在其他场景下的具体实施方式，本文对此不再赘述。

在图1所示的步骤S104中，风控系统可以根据输出的业务数据的实际非法特征，对输出的业务数据所符合的风控规则包含的特征识别策略进行调整。

风控系统可以针对输出的业务数据所符合的每个风控规则，先判断是否需要对该风控规则进行调整。具体地，风控系统可以针对输出的业务数据所符合的每个风控规则，先确定该风控规则对应的规则命中率、规则覆盖率、类型命中率中的至少一种。

其中，该风控规则对应的规则命中率可以通过以下方法得到：

针对输出的业务数据所符合的每个风控规则，确定该风控规则的相关特征，作为指定相关特征。确定所包含的至少一个指定相关特征为实际非法特征的业务数据的数量与所包含的指定相关特征均为疑似非法特征的业务数据的数量的比值，作为该风控规则对应的规则命中率。

该风控规则对应的规则命中率也可以通过以下方法得到：

针对输出的业务数据所符合的每个风控规则，确定符合该风控规则且非法的业务数据的数量与符合该风控规则的业务数据的数量的比值，作为该风控规则对应的规则命中率。

该风控规则对应的规则覆盖率可以通过以下方法得到：

在风控系统历史上输出过的业务数据中，选择至少部分业务数据，作为历史业务数据。针对输出的业务数据所符合的每个风控规则，确定符合该风控规则的实际非法数据和实际非法的历史业务数据的总数量与符合该风控规则的业务数据和历史业务数据的总数量的比值，作为该风控规则对应的规则覆盖率。

此外，在本说明书实施例中，对于每个风控规则而言，该风控规则可以对应有预期非法类型，而在风控人员对符合该风控规则的业务数据进行审核时，会对符合该风控规则的业务数据的实际非法类型进行标记。

例如，假设风控规则A对应的预期非法类型为轻微洗钱犯罪，而符合风控规则A的某个业务数据的实际非法类型为严重洗钱犯罪，那么该业务数据的实际非法类型与该业务数据符合的风控规则A对应的预期非法类型不一致。

针对每个风控规则而言，该风控规则对应的类型命中率可以是符合该风控规则且实际非法类型为该风控规则对应的预期非法类型的业务数据的数量与符合该风控规则的业务数据的数量的比值。

风控系统可以针对输出的业务数据符合的每个风控规则，根据该风控规则对应的规则命中率、规则覆盖律、类型命中率中的至少一种，判断是否需要调整该风控规则。例如，若该风控规则对应的规则命中率(或规则覆盖率、或类型命中率)小于第一指定值，则确定需要调整该风控规则。

风控系统针对输出的业务数据所符合的每个风控规则，可以根据该风控规则对应的规则命中率、规则覆盖率、类型命中率中的至少一种，以及符合该风控规则的业务数据的实际非法特征对该风控规则包含的特征识别策略进行调整。

为了描述的方便，下文以根据该风控规则对应的规则命中率和符合该风控规则的业务数据的实际非法特征对该风控规则包含的特征识别策略进行调整为例说明。

针对输出的业务数据所符合的每个风控规则，若该风控规则对应的规则命中率不小于第一指定值，则可以无需对该风控规则包含的特征识别策略进行调整。其中，第一指定值可以根据需要指定。若该风控规则对应的规则命中率小于第一指定值，则可以对该风控规则包含的特征识别策略进行调整的方式如下：

调整方式1：从该风控规则中删除特征识别策略。具体而言，针对该风控规则包含的每个特征识别策略，确定该特征识别策略对应的相关性参数；若该特征识别策略对应的相关性参数小于第二指定值(可以根据需要指定)，则从该风控规则中删除该特征识别策略。

其中，该风控规则包含的每个特征识别策略对应的相关性参数可以通过以下方式确定：

针对该风控规则包含的每个特征识别策略，确定所包含的该特征识别策略用于识别的指定相关特征为实际非法特征的业务数据的数量，与符合该风控规则的实际非法数据的数量的比值，作为该特征识别策略对应的相关性参数。

该风控规则包含的每个特征识别策略对应的相关性参数也可以通过以下方式确定：

针对该风控规则包含的每个特征识别策略，确定所包含的该特征识别策略用于识别的指定相关特征为实际非法特征的业务数据的数量，与符合该风控规则的业务数据的数量的比值，作为该特征识别策略对应的相关性参数。

可见，特征识别策略对应的相关性参数表征了该特征识别策略对于其所属的风控规则识别出的疑似非法特征被标记为实际非法特征所作出的贡献。

通过上述方式从某个风控规则中删除的特征识别策略一般是降低该风控规则对应的规则命中率的特征识别策略，删除一些相关性参数过低的特征识别策略后，该风控规则对应的规则命中率得以提升。

调整方式2：向该风控规则中添加特征识别策略。具体而言，可以针对符合该风控规则的业务数据的每个实际非法特征，当该实际非法特征不是该风控规则的指定相关特征时，确定该实际非法特征对应的相关性参数；若该实际非法特征对应的相关性参数大于第三指定值(可根据需要指定)，则在该风控规则中添加用于将该实际非法特征识别为疑似非法特征的特征识别策略。

需要说明的是，向该风控规则中添加的特征识别策略用于识别的相关特征可以不是风控系统保存的任一风控规则的相关特征。

例如，风控人员对基于表3所示的风控规则A输出的业务数据1～3(表4所示)进行审核时，发现某个新出现的实际非法特征“支付手段为电子支付”，该实际非法特征对应的相关性参数大于第三指定值，并且该实际非法特征并不是已存在的任一风控规则的相关特征。这样，风控系统可以在该风控规则中可添加用于将该实际非法特征识别为疑似非法特征的特征识别策略“支付手段为电子支付”。

针对某个实际非法特征，该实际非法特征对应的相关性参数可以通过以下方式确定：

确定符合该风控规则且包含该实际非法特征的业务数据的数量，与符合该风控规则的实际非法数据的数量之间的比值，作为该实际非法特征对应的相关性参数。

该实际非法特征对应的相关性参数也可以通过以下方式确定：

确定符合该风控规则且包含该实际非法特征的业务数据的数量，与符合该风控规则的业务数据的数量之间的比值，作为该实际非法特征对应的相关性参数。

可见，实际非法特征对应的相关性参数表征了该实际非法特征对于该风控规则识别出的疑似非法特征被标记为实际非法特征所作出的贡献。

通过上述方式向某个风控规则中添加的特征识别策略一般是有助于提升该风控规则对应的规则命中率的特征识别策略。

调整方式3：调整该风控规则包含的特征识别策略对应的阈值区间。需要说明的是，可以在使用调整方式1和调整方式2后，再使用调整方式3；也可以同时使用调整方式1～3。

风控系统可以针对输出的业务数据符合的每个风控规则，执行：

针对该风控规则包含的每个特征识别策略，确定该特征识别策略对应的N个备选阈值区间；N是不为0的自然数；针对确定的每个备选阈值区间，根据符合该风控规则的业务数据的实际非法特征，以及符合该风控规则的业务数据包含的该特征识别策略所用于识别的指定相关特征，计算该备选阈值区间对应的效果表征值；将效果表征值最大的备选阈值区间确定为调整后的该特征识别策略对应的阈值区间。

本说明书对确定该特征识别策略对应的N个备选阈值区间的方法不做具体限制。例如，针对表3中的特征识别策略1，可以确定特征识别策略1对应的3个备选阈值区间(5万元，10万元)、(10万元，15万元)、(15万元，30万元)。

计算该备选阈值区间对应的效果表征值的方法可以是：

针对确定的每个备选阈值区间，确定当该风控规则仅包含该特征识别策略，且该特征识别策略对应的阈值区间为该备选阈值区间时，该风控规则对应的规则命中率，作为该备选阈值区间对应的效果表征值。

此外，针对输出的业务数据所符合的每个风控规则，当该风控规则对应的规则命中率低于第四指定值时，可以删除该风控规则。其中，所述第四指定值小于所述第一指定值。

另外，上述的调整输出的业务数据所符合的风控规则的方式的具体说明中，仅考虑了提升每个风控规则对应的规则命中率这一目标，对本领域技术人员而言，当考虑提升规则覆盖率、类型命中率等其他目标时，调整的具体方式能够以上文的说明为参考得到。

例如，在上述的调整方式1中，若考虑提升风控规则对应的规则命中和类型命中率，则针对该风控规则的每个特征识别策略，该特征识别策略对应的相关性参数可以采用以下方式确定：

确定所包含的该特征识别策略用于识别的指定相关特征为实际非法特征且实际非法类型与该风控规则对应的预期非法类型一致的业务数据的数量，与符合该风控规则的实际非法数据的数量的比值，作为该特征识别策略对应的相关性参数。

又如，在上述调整方式3中，若考虑提升风控规则对应的规则命中率和规则覆盖率，则可以针对该风控规则包含的每个特征识别策略，确定该特征识别策略对应的N个备选阈值区间。然后针对每个备选阈值区间，确定当该风控规则仅包含该特征识别策略，且该特征识别策略对应的阈值区间为该备选阈值区间时，该风控规则对应的规则命中率和规则覆盖率，对确定的该风控规则对应的规则命中率和规则覆盖率求加权和，作为该备选阈值区间对应的效果表征值。

此外，风控系统接收的输出的每个业务数据对应标记信息还可以包含该业务数据的实际非法特征的特征值落入的指定阈值区间。风控系统可以针对输出的业务数据所符合的每个风控规则，若符合该风控规则的业务数据包含的该风控规则的某个相关特征为实际非法特征，则可以将该实际非法特征落入的指定阈值区间作为用于识别该相关特征的特征识别策略对应的阈值区间。

进一步地，风控系统在完成风控规则的调整后，可以对调整后的风控规则进行测试。

具体而言，针对调整后的每个风控规则，若预设的该风控规则对应的预期非法类型和符合该风控规则的业务数据对应的实际非法类型不一致，则删除该风控规则。

针对调整后的每个风控规则，确定调整后的该风控规则对应的规则命中率，若调整后的该风控规则对应的规则命中率仍小于第一指定值，则删除调整后的该风控规则。

进一步地，针对调整后的每个风控规则，若存在指定数量的实际非法数据不符合调整后的任一风控规则，则风控系统还可以以所述指定数量的实际非法数据为训练样本，训练得到用于识别所述指定数量的实际非法数据的风控规则，并添加训练得到的风控规则。

在本说明书的一个或多个实施例中，以所述指定数量的实际非法数据为训练样本，采用常见的训练方法(如决策树算法)训练得到风控规则即可。以下试举一例。

例如，可以从输出的业务数据中抽取若干实际合法数据；将所述指定数量的实际非法数据和抽取的实际合法数据作为训练样本，确定训练样本包含的所有特征。

针对每个特征，执行：

确定该特征对应的M个备选阈值区间；M为不为0的自然数；

针对确定的每个备选阈值区间，确定当风控规则仅包含该特征，且该特征对应的阈值区间为该备选阈值区间时，该风控规则对应的规则命中率，作为该备选阈值区间对应的效果表征值；

将效果表征值最大的备选阈值区间作为该特征对应的阈值区间。

继续针对每个特征，确定当风控规则仅包含该特征时，该风控规则对应的规则命中率；

将各特征按规则命中率的大小，从大到小排列；

选择前S个特征，组合成规则模板；S为不为0的自然数；

根据选择的S个特征中每个特征的M个备选阈值区间，穷举基于所述规则模板的所有备选规则；

针对每个备选规则，根据训练样本，确定训练样本中符合该备选规则且实际非法数据的数量与符合该备选规则的业务数据的数量的比值，作为该备选规则的规则命中率；

将规则命中率最大的备选规则确定为训练得到的风控规则。

基于图1所示的更新风控规则的方法，本说明书实施例还对应提供了一种调整风控规则的装置，如图3所示，包括：

识别输出模块301，针对保存的每个风控规则，识别若干业务数据是否符合该风控规则，并将识别出的符合任一风控规则的业务数据输出；

接收模块302，针对输出的每个业务数据，接收该业务数据对应的标记信息，该业务数据对应的标记信息包含该业务数据的实际合法特征和/或实际非法特征；

调整模块303，根据各业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整。

针对保存的每个风控规则，该风控规则包含至少一种特征识别策略；其中，针对该风控规则包含的每种特征识别策略，该特征识别策略用于识别业务数据中的特征是否为疑似非法特征，该特征识别策略所用于识别的特征为该风控规则的相关特征；

所述识别输出模块301，针对每个业务数据，确定该业务数据中包含的该风控规则的各相关特征，采用该风控规则中包含的各特征识别策略，对该业务数据中包含的各相关特征进行识别，若识别出各相关特征均为疑似非法特征，则该业务数据符合该风控规则。

针对输出的每个业务数据，若该业务数据包含实际非法特征，则该业务数据是实际非法数据；

所述调整模块303，根据输出的业务数据的实际非法特征，对输出的业务数据所符合的风控规则包含的特征识别策略进行调整。

所述调整模块303，针对输出的业务数据所符合的每个风控规则，确定该风控规则的相关特征，作为指定相关特征；确定所包含的至少一个指定相关特征为实际非法特征的业务数据的数量与所包含的指定相关特征均为疑似非法特征的业务数据的数量的比值，作为该风控规则对应的规则命中率；根据该风控规则对应的规则命中率和符合该风控规则的业务数据的实际非法特征，对该风控规则包含的特征识别策略进行调整。

所述调整模块303，若该风控规则对应的规则命中率小于第一指定值，则针对该风控规则包含的每个特征识别策略，确定所包含的该特征识别策略用于识别的指定相关特征为实际非法特征的业务数据的数量，与符合该风控规则的实际非法数据的数量的比值，作为该特征识别策略对应的相关性参数；若该特征识别策略对应的相关性参数小于第二指定值，则从该风控规则中删除该特征识别策略。

所述调整模块303，若该风控规则对应的规则命中率小于第一指定值，则针对符合该风控规则的业务数据的每个实际非法特征，当该实际非法特征不是该风控规则的指定相关特征时，确定符合该风控规则且包含该实际非法特征的业务数据的数量，与符合该风控规则的实际非法数据的数量之间的比值，作为该实际非法特征对应的相关性参数；若该实际非法特征对应的相关性参数大于第三指定值，则在该风控规则中添加用于将该实际非法特征识别为疑似非法特征的特征识别策略。

根据特征识别策略识别业务数据中的特征是否为疑似非法特征，具体包括：

若业务数据中该特征的特征值落入该特征识别策略对应的阈值区间，则确定特征为疑似非法特征；或，若业务数据中该特征的特征值未落入该特征识别策略对应的阈值区间，则确定特征为疑似非法特征；

所述调整模块303，根据该风控规则对应的规则命中率和符合该风控规则的业务数据的实际非法特征，对该风控规则包含的特征识别策略对应的阈值区间进行调整。

所述调整模块303，若该风控规则对应的规则命中率小于第一指定值，则针对该风控规则包含的每个特征识别策略，确定该特征识别策略对应的N个备选阈值区间；N是不为0的自然数；针对确定的每个备选阈值区间，根据符合该风控规则的业务数据的实际非法特征，以及符合该风控规则的业务数据包含的该特征识别策略所用于识别的指定相关特征，计算该备选阈值区间对应的效果表征值；将效果表征值最大的备选阈值区间确定为调整后的该特征识别策略对应的阈值区间。

所述调整模块303，针对确定的每个备选阈值区间，确定当该风控规则仅包含该特征识别策略，且该特征识别策略对应的阈值区间为该备选阈值区间时，该风控规则对应的规则命中率，作为该备选阈值区间对应的效果表征值。

所述装置还包括：

第一删除模块304，当该风控规则对应的规则命中率低于第四指定值时，删除该风控规则，其中，所述第四指定值小于所述第一指定值。

针对保存的每个风控规则，预设该风控规则对应的预期非法类型；

业务数据对应的标记信息还包含业务数据的实际非法类型；

所述装置还包括：

第二删除模块305，针对调整后的每个风控规则，若预设的该风控规则对应的预期非法类型和符合该风控规则的业务数据对应的实际非法类型不一致，则删除该风控规则。

所述装置还包括：

第三删除模块306，针对调整后的每个风控规则，确定调整后的该风控规则对应的规则命中率，若调整后的该风控规则对应的规则命中率小于第一指定值，则删除调整后的该风控规则。

所述装置还包括：

添加模块307，针对调整后的每个风控规则，若存在指定数量的实际非法数据不符合调整后的任一风控规则，则以所述指定数量的实际非法数据为训练样本，训练得到用于识别所述指定数量的实际非法数据的风控规则，并添加训练得到的风控规则。

基于图1所示的调整风控规则的方法，本说明书实施例还对应提供了一种调整风控规则的设备，如图4所示，该设备包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：

针对保存的每个风控规则，识别若干业务数据是否符合该风控规则，并将识别出的符合任一风控规则的业务数据输出；

针对输出的每个业务数据，接收该业务数据对应的标记信息，该业务数据对应的标记信息包含该业务数据的实际合法特征和/或实际非法特征；

根据各业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图4所示的设备而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字符系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由包含某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字符助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字符多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (27)

1.一种调整风控规则的方法，包括：

针对保存的每个风控规则，识别若干业务数据是否符合该风控规则，并将识别出的符合任一风控规则的业务数据输出；

针对输出的每个业务数据，接收该业务数据对应的标记信息，该业务数据对应的标记信息包含该业务数据的实际合法特征和/或实际非法特征；

根据各业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整。

2.根据权利要求1所述的方法，针对保存的每个风控规则，该风控规则包含至少一种特征识别策略；其中，针对该风控规则包含的每种特征识别策略，该特征识别策略用于识别业务数据中的特征是否为疑似非法特征，该特征识别策略所用于识别的特征为该风控规则的相关特征；

识别若干业务数据是否符合该风控规则，具体包括：

针对每个业务数据，确定该业务数据中包含的该风控规则的各相关特征，采用该风控规则中包含的各特征识别策略，对该业务数据中包含的各相关特征进行识别，若识别出各相关特征均为疑似非法特征，则该业务数据符合该风控规则。

3.根据权利要求2所述的方法，针对输出的每个业务数据，若该业务数据包含实际非法特征，则该业务数据是实际非法数据；

根据输出的业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整，具体包括：

根据输出的业务数据的实际非法特征，对输出的业务数据所符合的风控规则包含的特征识别策略进行调整。

4.根据权利要求3所述的方法，根据输出的业务数据的实际非法特征，对输出的业务数据所符合的风控规则包含的特征识别策略进行调整，具体包括：

针对输出的业务数据所符合的每个风控规则，确定该风控规则的相关特征，作为指定相关特征；

确定所包含的至少一个指定相关特征为实际非法特征的业务数据的数量与所包含的指定相关特征均为疑似非法特征的业务数据的数量的比值，作为该风控规则对应的规则命中率；

根据该风控规则对应的规则命中率和符合该风控规则的业务数据的实际非法特征，对该风控规则包含的特征识别策略进行调整。

5.根据权利要求4所述的方法，对该风控规则包含的特征识别策略进行调整，具体包括：

若该风控规则对应的规则命中率小于第一指定值，则针对该风控规则包含的每个特征识别策略，确定所包含的该特征识别策略用于识别的指定相关特征为实际非法特征的业务数据的数量，与符合该风控规则的实际非法数据的数量的比值，作为该特征识别策略对应的相关性参数；

若该特征识别策略对应的相关性参数小于第二指定值，则从该风控规则中删除该特征识别策略。

6.根据权利要求4所述的方法，对该风控规则包含的特征识别策略进行调整，具体包括：

若该风控规则对应的规则命中率小于第一指定值，则针对符合该风控规则的业务数据的每个实际非法特征，当该实际非法特征不是该风控规则的指定相关特征时，确定符合该风控规则且包含该实际非法特征的业务数据的数量，与符合该风控规则的实际非法数据的数量之间的比值，作为该实际非法特征对应的相关性参数；

若该实际非法特征对应的相关性参数大于第三指定值，则在该风控规则中添加用于将该实际非法特征识别为疑似非法特征的特征识别策略。

7.根据权利要求4～6任一项所述的方法，根据特征识别策略识别业务数据中的特征是否为疑似非法特征，具体包括：

若业务数据中该特征的特征值落入该特征识别策略对应的阈值区间，则确定该特征为疑似非法特征；或，若业务数据中该特征的特征值未落入该特征识别策略对应的阈值区间，则确定该特征为疑似非法特征；

对该风控规则包含的特征识别策略进行调整，具体包括：

根据该风控规则对应的规则命中率和符合该风控规则的业务数据的实际非法特征，对该风控规则包含的特征识别策略对应的阈值区间进行调整。

8.根据权利要求7所述的方法，对该风控规则包含的特征识别策略对应的阈值区间进行调整，具体包括：

若该风控规则对应的规则命中率小于第一指定值，则针对该风控规则包含的每个特征识别策略，确定该特征识别策略对应的N个备选阈值区间；N是不为0的自然数；

针对确定的每个备选阈值区间，根据符合该风控规则的业务数据的实际非法特征，以及符合该风控规则的业务数据包含的该特征识别策略所用于识别的指定相关特征，计算该备选阈值区间对应的效果表征值；

将效果表征值最大的备选阈值区间确定为调整后的该特征识别策略对应的阈值区间。

9.根据权利要求8所述的方法，计算该备选阈值区间对应的效果表征值，具体包括：

针对确定的每个备选阈值区间，确定当该风控规则仅包含该特征识别策略，且该特征识别策略对应的阈值区间为该备选阈值区间时，该风控规则对应的规则命中率，作为该备选阈值区间对应的效果表征值。

10.根据权利要求4所述的方法，则所述方法还包括：

当该风控规则对应的规则命中率低于第四指定值时，删除该风控规则，其中，所述第四指定值小于所述第一指定值。

11.根据权利要求1所述的方法，针对保存的每个风控规则，预设该风控规则对应的预期非法类型；

业务数据对应的标记信息还包含业务数据的实际非法类型；

所述方法还包括：

针对调整后的每个风控规则，若预设的该风控规则对应的预期非法类型和符合该风控规则的业务数据对应的实际非法类型不一致，则删除该风控规则。

12.根据权利要求4所述的方法，所述方法还包括：

针对调整后的每个风控规则，确定调整后的该风控规则对应的规则命中率，若调整后的该风控规则对应的规则命中率小于第一指定值，则删除调整后的该风控规则。

13.根据权利要求3所述的方法，所述方法还包括：

针对调整后的每个风控规则，若存在指定数量的实际非法数据不符合调整后的任一风控规则，则以所述指定数量的实际非法数据为训练样本，训练得到用于识别所述指定数量的实际非法数据的风控规则，并添加训练得到的风控规则。

14.一种调整风控规则的装置，包括：

识别输出模块，针对保存的每个风控规则，识别若干业务数据是否符合该风控规则，并将识别出的符合任一风控规则的业务数据输出；

接收模块，针对输出的每个业务数据，接收该业务数据对应的标记信息，该业务数据对应的标记信息包含该业务数据的实际合法特征和/或实际非法特征；

调整模块，根据各业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整。

15.根据权利要求14所述的装置，针对保存的每个风控规则，该风控规则包含至少一种特征识别策略；其中，针对该风控规则包含的每种特征识别策略，该特征识别策略用于识别业务数据中的特征是否为疑似非法特征，该特征识别策略所用于识别的特征为该风控规则的相关特征；

所述识别输出模块，针对每个业务数据，确定该业务数据中包含的该风控规则的各相关特征，采用该风控规则中包含的各特征识别策略，对该业务数据中包含的各相关特征进行识别，若识别出各相关特征均为疑似非法特征，则该业务数据符合该风控规则。

16.根据权利要求15所述的装置，针对输出的每个业务数据，若该业务数据包含实际非法特征，则该业务数据是实际非法数据；

所述调整模块，根据输出的业务数据的实际非法特征，对输出的业务数据所符合的风控规则包含的特征识别策略进行调整。

17.根据权利要求16所述的装置，所述调整模块，针对输出的业务数据所符合的每个风控规则，确定该风控规则的相关特征，作为指定相关特征；确定所包含的至少一个指定相关特征为实际非法特征的业务数据的数量与所包含的指定相关特征均为疑似非法特征的业务数据的数量的比值，作为该风控规则对应的规则命中率；根据该风控规则对应的规则命中率和符合该风控规则的业务数据的实际非法特征，对该风控规则包含的特征识别策略进行调整。

18.根据权利要求17所述的装置，所述调整模块，若该风控规则对应的规则命中率小于第一指定值，则针对该风控规则包含的每个特征识别策略，确定所包含的该特征识别策略用于识别的指定相关特征为实际非法特征的业务数据的数量，与符合该风控规则的实际非法数据的数量的比值，作为该特征识别策略对应的相关性参数；若该特征识别策略对应的相关性参数小于第二指定值，则从该风控规则中删除该特征识别策略。

19.根据权利要求17所述的装置，所述调整模块，若该风控规则对应的规则命中率小于第一指定值，则针对符合该风控规则的业务数据的每个实际非法特征，当该实际非法特征不是该风控规则的指定相关特征时，确定符合该风控规则且包含该实际非法特征的业务数据的数量，与符合该风控规则的实际非法数据的数量之间的比值，作为该实际非法特征对应的相关性参数；若该实际非法特征对应的相关性参数大于第三指定值，则在该风控规则中添加用于将该实际非法特征识别为疑似非法特征的特征识别策略。

20.根据权利要求17～19任一项所述的装置，根据特征识别策略识别业务数据中的特征是否为疑似非法特征，具体包括：

若业务数据中该特征的特征值落入该特征识别策略对应的阈值区间，则确定特征为疑似非法特征；或，若业务数据中该特征的特征值未落入该特征识别策略对应的阈值区间，则确定特征为疑似非法特征；

所述调整模块，根据该风控规则对应的规则命中率和符合该风控规则的业务数据的实际非法特征，对该风控规则包含的特征识别策略对应的阈值区间进行调整。

21.根据权利要求20所述的装置，所述调整模块，若该风控规则对应的规则命中率小于第一指定值，则针对该风控规则包含的每个特征识别策略，确定该特征识别策略对应的N个备选阈值区间；N是不为0的自然数；针对确定的每个备选阈值区间，根据符合该风控规则的业务数据的实际非法特征，以及符合该风控规则的业务数据包含的该特征识别策略所用于识别的指定相关特征，计算该备选阈值区间对应的效果表征值；将效果表征值最大的备选阈值区间确定为调整后的该特征识别策略对应的阈值区间。

22.根据权利要求21所述的装置，所述调整模块，针对确定的每个备选阈值区间，确定当该风控规则仅包含该特征识别策略，且该特征识别策略对应的阈值区间为该备选阈值区间时，该风控规则对应的规则命中率，作为该备选阈值区间对应的效果表征值。

23.根据权利要求17所述的装置，所述装置还包括：

第一删除模块，当该风控规则对应的规则命中率低于第四指定值时，删除该风控规则，其中，所述第四指定值小于所述第一指定值。

24.根据权利要求14所述的装置，针对保存的每个风控规则，预设该风控规则对应的预期非法类型；

业务数据对应的标记信息还包含业务数据的实际非法类型；

所述装置还包括：

第二删除模块，针对调整后的每个风控规则，若预设的该风控规则对应的预期非法类型和符合该风控规则的业务数据对应的实际非法类型不一致，则删除该风控规则。

25.根据权利要求17所述的装置，所述装置还包括：

第三删除模块，针对调整后的每个风控规则，确定调整后的该风控规则对应的规则命中率，若调整后的该风控规则对应的规则命中率小于第一指定值，则删除调整后的该风控规则。

26.根据权利要求16所述的装置，所述装置还包括：

添加模块，针对调整后的每个风控规则，若存在指定数量的实际非法数据不符合调整后的任一风控规则，则以所述指定数量的实际非法数据为训练样本，训练得到用于识别所述指定数量的实际非法数据的风控规则，并添加训练得到的风控规则。

27.一种调整风控规则的设备，包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：

针对保存的每个风控规则，识别若干业务数据是否符合该风控规则，并将识别出的符合任一风控规则的业务数据输出；

针对输出的每个业务数据，接收该业务数据对应的标记信息，该业务数据对应的标记信息包含该业务数据的实际合法特征和/或实际非法特征；

根据各业务数据的实际合法特征和/或实际非法特征，对输出的业务数据所符合的风控规则进行调整。