CN112184143A - 一种合规审核规则中的模型训练方法、装置和设备 - Google Patents

Abstract

本说明书实施例公开了一种合规审核规则中的模型训练方法、装置和设备，所述方法可以获取第一时段内产生的一批审核对象的人工复核数据，该批审核对象中一个审核对象的人工复核数据包括基于目标机审结果的人工复核结果给该审核对象添加的目标标签，目标机审结果是使用目标规则对该审核对象进行机审得到的，该批审核对象中不同审核对象对应的合规审核规则中包含目标规则；将该批审核对象作为一批样本，并将该批审核对象对应的目标标签作为该批样本的标签，对应加入目标规则中使用的合规审核模型的训练集，以对该合规审核模型的训练集进行更新；然后基于更新后的该合规审核模型的训练集，对该合规审核模型进行训练，以对该合规审核模型进行在线更新。

Description

一种合规审核规则中的模型训练方法、装置和设备

技术领域

本文件涉及计算机技术领域，尤其涉及一种合规审核规则中的模型训练方法、装置和设备。

背景技术

为了监督企业的经营等活动是否符合国家法律、法规及行业规则等规定或规则(以下统称为规则)，需要对这些企业通过网络业务平台开展的业务等对象进行合规审核。例如，如果用户想用第三方支付平台进行账单支付，则第三方支付平台需要对该用户是否为实名注册账户进行审核，如不是实名账户，则不允许支付。

目前，对于网络业务平台开展的业务或其他审核对象，先采用机器审核(简称机审)再进行人工复核的方式进行合规审核，其中，机审依赖于一系列的合规审核规则，且部分合规审核规则使用预先训练好的审核模型对审核对象是否符合相应的规则做出评判，给出审核结果。

但是，合规审核规则中使用的审核模型的训练方式存在一些缺陷，如模型迭代优化过程较慢，时效性差等，需要改进。

发明内容

本说明书实施例提供了一种合规审核规则中的模型训练方法、装置和设备，以改善相关技术中的合规审核规则中使用的审核模型的训练存在的问题。

为解决上述技术问题，本说明书实施例是这样实现的：

第一方面，提出了一种合规审核规则中的模型训练方法，包括：

获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则；

将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新；

基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

第二方面，提出了一种业务合规审核规则中的模型训练方法，包括：

获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个；

将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新；

基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

第三方面，提出了一种合规审核规则中的模型训练装置，包括：

第一数据获取模块，获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则；

第一训练集更新模块，将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新；

第一训练模块，基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

第四方面，提出了一种业务合规审核规则中的模型训练装置，包括：

第二数据获取模块，获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个；

第二训练集更新模块，将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新；

第二训练模块，基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

第五方面，提出了一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则；

将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新；

基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

第六方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则；

将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新；

基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

第七方面，提出了一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个；

将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新；

基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

第八方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个；

将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新；

基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

由以上本说明书实施例提供的至少一个技术方案，由于可以基于线上产生的真实的一批审核对象及其人工复核数据中的目标标签(一个审核对象的人工复核数据中的目标标签是基于目标机审结果的人工复核结果添加的，目标机审结果是使用目标规则对该审核对象进行机审得到的)，构造并更新目标规则中使用的合规审核模型的训练集，并基于更新后的训练集对合规审核模型进行训练，以对合规审核模型进行在线更新，从而将真实的人工复核数据与合规审核模型的训练打通并进行在线学习，无需额外构造训练集并离线学习，因此，不但可以使得合规审核模型越来越优，还可以提升合规审核模型的迭代优化速度，时效性好，并使得合规审核模型因能实时在线优化更新而具有更好的自适应能力。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本说明书的一个实施例提供的一种合规审核规则中的模型训练方法的流程示意图。

图2是本说明书的另一实施例提供的一种合规审核规则中的模型训练方法的流程示意图。

图3是本说明书的一个实施例提供的一种业务合规审核规则中的模型训练方法的流程示意图。

图4是本说明书实施例提供的一种电子设备的结构示意图。

图5是本说明书的一个实施例提供的一种合规审核规则中的模型训练装置的结构示意图。

图6是本说明书的另一实施例提供的一种合规审核规则中的模型训练装置的结构示意图。

图7是本说明书的一个实施例提供的一种业务合规审核规则中的模型训练方法的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文件保护的范围。

为了改善相关技术中的合规审核规则中使用的审核模型的训练存在的问题，本说明书实施例提供一种合规审核规则中的模型训练方法和装置，以及一种业务合规审核规则中的模型训练方法和装置。本说明书实施例提供的方法和装置可以由电子设备执行或安装在电子设备中的软件执行，具体可以由终端设备或服务端设备执行，其中，终端设备包括但不限于：智能手机、个人电脑(personal computer，PC)、笔记本电脑、平板电脑、电子阅读器、网络电视、可穿戴设备等智能终端设备中的任一种；其中，服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。

需要说明的是，本说明书实施例述及的审核对象可以包括但不限于需要发布至网络平台的文章、图片、视频，企业内部的商业模式和员工行为，以及网络平台上开展的业务，等等。其中，网络业务平台可以是任何能够向用户提供网络服务的平台，例如，所述网络业务平台可以是第三方支付平台、在线证券交易平台、在线理财平台、在线保险业务平台，等等，这些平台可以是同一平台也可以是不同平台。

可以理解，对于不同类型的审核对象，其对应的合规审核规则可能不同，且对于一种类型的审核对象，其对应的合规审核规则可能有多个，例如对于同一业务场景下的业务，其可能对应设置有一系列的合规审核规则，本说明书对此不作限制。

下面先对本说明书实施例提供的一种合规审核规则中的模型训练方法进行说明。

如图1所示，本说明书的一个实施例提供的一种合规审核规则中的模型训练方法，可以包括：

步骤102、获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则。

在需要对目标规则中使用的合规审核模型进行训练更新时，可以获取第一时段内产生的其合规审核规则中包含目标规则的一批审核对象的人工复核数据。这存在两种情况，一种是这一批审核对象中不同审核对象对应的合规审核规则完全相同，如这一批审核对象中不同审核对象对应的合规审核规则均包括：规则1、规则2、···、规则n，目标规则是这n条规则中的一个或多个，具体如同一业务场景的一批业务；另一种是这一批审核对象中不同审核对象对应的合规审核规则并不完全相同但有重叠，如都包含目标规则。

具体实现时，可以在在第二时段获取第一时段内产生的一批审核对象的人工复核数据，其中，第二时段与第一时段相邻，且第二时段晚于第一时段。第一时段和第二时段的长度可长可短，它们的具体长度可以依实际情况而定，一般而言，第一时段与第二时段的长度可以相同也可以不同。

在一个例子中，第一时段和第二时段可以是按照预设周期确定的时段，具体的，第一时段和第二时段是同一周期中的不同时段，例如，第一时段可以是每天的白天，第二时段可以是每天的夜晚，或者第一时段可以是每天的上午，第二时段可以是每天的下午，等等。

在另一个例子中，第一时段可以是按照预设时间间隔确定的时段，如每隔n小时，花m分钟/小时(预设时间间隔)获取前述n小时(第一时段)内的一批审核对象的人工复核数据，以更新目标规则中使用的合规审核模型的训练集，并基于更新后的训练集对所述合规审核模型进行训练。

在又一个例子中，为了保证正常的合规审核过程不受影响，第一时段为产生的审核对象的总数高于或等于预设阈值的时段，第二时段为产生的审核对象的总数低于所述预设阈值的时段。也就是说，为了保证正常的合规审核过程不受影响，可以在审核对象产生的高峰期不进行目标规则中使用的合规审核模型的训练集的更新以及所述合规审核模型的训练，而是在审核对象产生的低谷期进行。

上述一批审核对象的人工复核数据中的目标标签，可以由人工在上述一批审核对象的人工复核环节添加。一般而言，在获取第一时段内产生的一批审核对象的人工复核数据之前，可以响应于针对所述一批审核对象的机审结果进行的人工复核操作，给所述一批审核对象分别添加目标标签，得到所述一批审核对象的人工复核数据。具体的，如果基于所述一批审核对象中一个审核对象的人工复核结果，确定基于所述目标规则对该审核对象进行机审得到的结果是正确的，则响应于针对该审核对象的人工复核操作，给该审核对象添加机审结果准确的标签；如果基于所述一批审核对象中一个审核对象的人工复核结果，确定基于所述目标规则对该审核对象进行机审得到的结果是不正确的，则响应于针对该审核对象的人工复核操作，给该审核对象添加机审结果不准确的标签，并在该审核对象中标出正确的审核结果。

上述一批审核对象的人工复核数据中的目标标签，用于反应目标规则中使用的合规审核模型的识别能力，所以其中包含的信息较多。该识别能力可包括两种，一种是能不能识别出来，另一种有没有识别错误。对于第一种，以文本识别模型(一种示例性的合规审核模型)为例，识别某一图像中是否包含即时通讯账号，一般模型能将数字形式的即时通讯账号识别出来，而用汉字(如大写数字)表示的即时通讯账号则识别不出来，假设一张图片中包含用汉字表示的即时通讯账号，模型错误地认为该图像中不包含即时通讯账号，但是人工复核时发现该图像中包含即时通讯账号，则可以给图像打上识别不准确的标签，并在该图像中圈出“汉字形式”的即时通讯账号，以作为该图像的目标标签。对于第二种，以图像识别模型(一种示例性的合规审核模型)为例，假设需要识别一张图像中是否包含酒瓶，如果模型能识别出来且识别正确，则给该图像打上识别结果准确的目标标签；如果模型能识别出来，但是错将一个酱油瓶识别成了酒瓶，出现识别错误，则给该图像打上识别结果不准确的标签，并在该图像中标识出那个瓶子不是酒瓶，以作为该图像的目标标签。

需要说明的是，一个审核对象的人工复核数据除了包括该审核对象的目标标签，还可以包括其他内容，本说明书实施例对此不做限制。

步骤104、将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新。

可以理解，如果目标标签是直接打在审核对象上的，则将携带有目标标签的审核对象作为样本加入训练集，意味着将样本及其标签加入训练集。

在一个例子中，可以将上述一批审核对象全部作为一批样本，连同其对应的目标标签加入目标规则中使用的合规审核模型的训练集。

在另一个例子中，也可以从上述一批审核对象中选取对目标规则中的合规审核模型的优化更有利的多个审核对象作为一批样本，连同其对应的目标标签加入目标规则中使用的合规审核模型的训练集。具体的，可以从上述一批审核对象中筛选出多个指定审核对象，其中，所述指定审核对象的目标标签包括基于所述目标规则的机审结果不准确，且所述指定审核对象中标识有基于所述目标规则的正确审核结果；将这多个指定审核对象作为一批样本，并将所述多个指定审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集。可以理解，使用机审结果不准确的审核对象及其目标标签对目标规则中的合规审核模型进行训练更新，更有助于改善该合规审核模型存在的不足，从而使得该合规审核模型越来越优。

需要说明的是，在将上述一批审核对象作为一批样本，并将上述一批审核对象的人工复核数据中的目标标签作为这一批样本的标签，对应加入目标规则中使用的合规审核模型的训练集之前，该训练集中可以有其他样本(如历史样本)，也可以没有，本说明书对此不做限制。

步骤106、基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

具体可以基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行在线训练，并在训练结束后对所述合规审核模型进行在线更新。

图1所示的一个实施例提供的一种合规审核规则中的模型训练方法，由于可以基于线上产生的真实的一批审核对象及其人工复核数据中的目标标签(一个审核对象的人工复核数据中的目标标签是基于目标机审结果的人工复核结果添加的，目标机审结果是使用目标规则对该审核对象进行机审得到的)，构造并更新目标规则中使用的合规审核模型的训练集，并基于更新后的训练集对合规审核模型进行训练，以对合规审核模型进行在线更新，从而将真实的人工复核数据与合规审核模型的训练打通并进行在线学习，无需额外构造训练集并离线学习，因此，不但可以使得合规审核模型越来越优，还可以提升合规审核模型的迭代优化速度，时效性好，并使得合规审核模型因能实时在线优化更新而具有更好的自适应能力。

可选地，如图2所示，在另一实施例中，本说明书提供的一种合规审核规则中的模型训练方法，在步骤106之后，还可以包括：

步骤108、在基于所述目标规则对第三时段产生的目标审核对象进行机审时，使用更新后的所述合规审核模型进行审核，其中，所述第三时段与所述第二时段相邻，且所述第三时段晚于所述第二时段。

第三时段的长度也可长可短，其具体长度可以实际情况而定，一般而言，第三时段与第一时段相对应。

在一个具体的例子中，如果第一时段和第二时段是同一周期中的不同时段，例如，第一时段是每天的白天，第二时段是每天的夜晚，则第一时段和第三时段可以是相邻两个周期的相同时段。

在另一个具体的例子中，如果第一时段可以是按照预设时间间隔确定的时段，如每隔m分钟/小时(预设时间间隔)的n分钟/小时，则第三时段可以是下一个n分钟/小时。

在又一个具体的例子中，为了保证正常的合规审核过程不受影响，如果第一时段为产生的审核对象的总数高于或等于预设阈值的当前时段，那么第二时段可以为产生的审核对象的总数高于或等于预设阈值的下一时段。

可以理解，通过本实施例，可以使目标规则使用最新的合规审核模型对目标审核对象进行合规审核，从而尽可能地提高目标审核对象的合规审核准确性。

基于上述技术构思，本说明书实施例还提供了一种业务合规审核规则中的模型训练方法，下面进行说明。

如图3所示，本说明书实施例提供的一种业务合规审核规则中的模型训练方法，可以包括：

步骤302、获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个。

目标业务场景可以是需要进行业务合规审核的网络业务平台下的任一业务场景。以网络业务平台为第三方支付平台为例，目标业务场景可以是收款场景、付款场景、转账场景、提现场景，等等。

一个业务场景下一般对应设置有多条合规审核规则，这多条合规审核规则的具体内容可以根据该业务场景下的业务特点确定。以第三方支付平台的转账业务场景为例，其中的两条合规审核规则可以分别是：收款账户和付款账户为实名账户、转账金额不得高于一定限值；以在线理财平台的基金产品营销为例，其中的一条合规审核规则可以是：产品说明中不得出现保本收益等字样。一般而言，同一业务场景下的不同业务对应的合规审核规则相同。

在对目标业务场景下的一条业务进行合规审核时，先由机审模块遍历一遍这多条合规审核规则，如果均审核通过，则确定该条业务的机审结果为通过，如果至少有一条合规审核规则的审核结果为不通过，则确定该条业务的机审结果为驳回；然后，由人工对这多条规则的机审结果遍历一遍(当然也可以加入其它人工审核规则)，以确定机审结果是否准确。

上述一批业务可以是上述第一时段内产生的目标业务场景下的全部业务，也可以是上述第一时段内产生的目标业务场景下的部分业务。

具体实现时，可以在在第二时段获取第一时段内产生的一批业务的人工复核数据，其中，第二时段与第一时段相邻，且第二时段晚于第一时段。第一时段和第二时段的长度可长可短，它们的具体长度可以依实际情况而定，一般而言，第一时段与第二时段的长度可以相同也可以不同。

上述一批业务的人工复核数据中的目标标签，用于反应目标规则中使用的合规审核模型的识别能力，该标签可以由人工在上述一批业务的人工复核环节添加。一般而言，在获取第一时段内产生的一批业务的人工复核数据之前，可以响应于针对所述一批业务的机审结果进行的人工复核操作，给所述一批业务分别添加目标标签，得到所述一批业务的人工复核数据。具体的，如果基于所述一批业务中一个业务的人工复核结果，确定基于所述目标规则对该业务进行机审得到的结果是正确的，则响应于针对该业务的人工复核操作，给该业务添加机审结果准确的标签；如果基于所述一批业务中一个业务的人工复核结果，确定基于所述目标规则对该业务进行机审得到的结果是不正确的，则响应于针对该业务的人工复核操作，给该业务添加机审结果不准确的标签，并在该业务中标出正确的审核结果。

步骤304、将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新。

可以理解，如果目标标签是直接打在业务(业务具体可以是一条消息、一张广告海报等等)上的，则将携带有目标标签的业务作为样本加入训练集，意味着将样本及其标签加入训练集。

在一个例子中，可以将上述一批业务全部作为一批样本，连同其对应的目标标签加入目标规则中使用的合规审核模型的训练集。

在另一个例子中，也可以从上述一批业务中选取对目标规则中的合规审核模型的优化更有利的多个业务作为一批样本，连同其对应的目标标签加入目标规则中使用的合规审核模型的训练集。具体的，可以从上述一批业务中筛选出多个指定业务，其中，所述指定业务的目标标签包括基于所述目标规则的机审结果不准确，且所述指定业务中标识有基于所述目标规则的正确审核结果；将这多个指定业务作为一批样本，并将所述多个指定业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集。可以理解，使用机审结果不准确的业务及其目标标签对目标规则中的合规审核模型进行训练更新，更有助于改善该合规审核模型存在的不足，从而使得该合规审核模型越来越优。

步骤306、基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

具体可以基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行在线训练，并在训练结束后对所述合规审核模型进行在线更新。

图3所示的一个实施例提供的一种业务合规审核规则中的模型训练方法，由于可以基于线上产生的真实的一批业务及其人工复核数据中的目标标签(一个业务的人工复核数据中的目标标签是基于目标机审结果的人工复核结果添加的，目标机审结果是使用目标规则对该业务进行机审得到的)，构造并更新目标规则中使用的合规审核模型的训练集，并基于更新后的训练集对合规审核模型进行训练，以对合规审核模型进行在线更新，从而将真实的人工复核数据与合规审核模型的训练打通并进行在线学习，无需额外构造训练集并离线学习，因此，不但可以使得合规审核模型越来越优，还可以提升合规审核模型的迭代优化速度，时效性好，并使得合规审核模型因能实时在线优化更新而具有更好的自适应能力。

可选地，在步骤306之后，图3所示的方法还可以包括：在基于所述目标规则对第三时段产生的目标业务进行机审时，使用更新后的所述合规审核模型进行审核，其中，所述第三时段与所述第二时段相邻，且所述第三时段晚于所述第二时段。

可以理解，通过本实施例，可以使目标规则使用最新的合规审核模型对目标业务进行合规审核，从而尽可能地提高目标业务的合规审核准确性。

需要说明的是，本实施例提供的一种业务合规审核规则中的模型训练方法是基于上一实施例中的一种合规审核规则中的模型训练方法的技术构思提出的，所以此处描述的较为简单，相关之处可以参考上一实施例。

以上是对本说明书提供的方法实施例的说明，下面对本说明书提供的电子设备进行介绍。

图4是本说明书的一个实施例提供的电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成合规审核规则中的模型训练装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则；

将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新；

基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

或者，处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个；

将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新；

基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

上述如本说明书图1或图3所示实施例揭示的合规审核规则中的模型训练方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1或图3所示的实施例提供的合规审核规则中的模型训练方法，本说明书在此不再赘述。

当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1或图2所示实施例的方法，并具体用于执行以下操作：

获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则；

将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新；

基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图3所示实施例的方法，并具体用于执行以下操作：

获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个；

将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新；

基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

下面对本说明书提供的装置进行说明。

如图5所示，本说明书的一个实施例提供了一种合规审核规则中的模型训练装置500，在一种软件实施方式中，装置500可包括：第一数据获取模块501、第一训练集更新模块502和第一训练模块503。

第一数据获取模块501，获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则。

第一训练集更新模块502，将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新。

第一训练模块503，基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

需要说明的是，图5所示的合规审核规则中的模型训练装置500能够实现图1的方法，并能取得相同的技术效果，详细内容可参考图1所示的方法，不再赘述。

可选地，如图6所示，在另一实施例中，本说明书提供的一种合规审核规则中的模型训练装置500，还可以包括：对象审核模块504。

对象审核模块504，在基于所述目标规则对第三时段产生的目标审核对象进行机审时，使用更新后的所述合规审核模型进行审核，其中，所述第三时段与所述第二时段相邻，且所述第三时段晚于所述第二时段。

需要说明的是，图6所示的合规审核规则中的模型训练装置500能够实现图2的方法，并能取得相同的技术效果，详细内容可参考图2所示的方法，不再赘述。

如图7所示，本说明书的一个实施例提供了一种业务合规审核规则中的模型训练装置700，在一种软件实施方式中，装置700可包括：第二数据获取模块501、第二训练集更新模块702和第二训练模块703。

第二数据获取模块701，获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个。

第二训练集更新模块702，将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新。

第二训练模块703，基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

需要说明的是，图7所示的业务合规审核规则中的模型训练装置700能够实现图3的方法，并能取得相同的技术效果，详细内容可参考图3所示的方法，不再赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制时，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (16)

1.一种合规审核规则中的模型训练方法，包括：

获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则；

将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新；

基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

2.根据权利要求1所述的方法，在获取第一时段内产生的一批审核对象的人工复核数据之前，还包括：

响应于针对所述一批审核对象的机审结果进行的人工复核操作，给所述一批审核对象分别添加目标标签，得到所述一批审核对象的人工复核数据。

3.根据权利要求2所述的方法，其中，响应于针对所述一批审核对象的机审结果进行的人工复核操作，给所述一批审核对象分别添加目标标签，包括：

如果基于所述一批审核对象中一个审核对象的人工复核结果，确定基于所述目标规则对该审核对象进行机审得到的结果是正确的，则响应于针对该审核对象的人工复核操作，给该审核对象添加机审结果准确的标签；

如果基于所述一批审核对象中一个审核对象的人工复核结果，确定基于所述目标规则对该审核对象进行机审得到的结果是不正确的，则响应于针对该审核对象的人工复核操作，给该审核对象添加机审结果不准确的标签，并在该审核对象中标出正确的审核结果。

4.根据权利要求3所述的方法，其中，所述将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，包括：

从所述一批审核对象中筛选出多个指定审核对象，其中，所述指定审核对象的目标标签包括基于所述目标规则的机审结果不准确，且所述指定审核对象中标识有基于所述目标规则的正确审核结果；

将所述多个指定审核对象作为一批样本，并将所述多个指定审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集。

5.根据权利要求1-4任一项所述的方法，其中，所述获取第一时段内产生的一批审核对象的人工复核数据，包括：

在第二时段获取第一时段内产生的一批审核对象的人工复核数据，其中，所述第二时段与所述第一时段相邻，且所述第二时段晚于所述第一时段，所述第一时段为产生的审核对象的总数高于或等于预设阈值的时段，所述第二时段为产生的审核对象的总数低于所述预设阈值的时段。

6.根据权利要求5所述的方法，还包括：

在基于所述目标规则对第三时段产生的目标审核对象进行机审时，使用更新后的所述合规审核模型进行审核，其中，所述第三时段与所述第二时段相邻，且所述第三时段晚于所述第二时段。

7.根据权利要求6所述的方法，

所述第一时段和所述第二时段是同一周期中的不同时段；

所述第一时段和所述第三时段是相邻两个周期的相同时段。

8.根据权利要求6或7所述的方法，

所述第一时段与所述第二时段的长度相同，或者，所述第一时段与所述第二时段的长度不同。

9.根据权利要求1-4、6-7中任一项所述的方法，

所述一批审核对象中不同审核对象对应的合规审核规则相同。

10.一种业务合规审核规则中的模型训练方法，包括：

获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个；

将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新；

基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

11.一种合规审核规则中的模型训练装置，包括：

第一数据获取模块，获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则；

第一训练集更新模块，将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新；

第一训练模块，基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

12.一种业务合规审核规则中的模型训练装置，包括：

第二数据获取模块，获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个；

第二训练集更新模块，将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新；

第二训练模块，基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

13.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则；

将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新；

基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

14.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

获取第一时段内产生的一批审核对象的人工复核数据，其中，所述一批审核对象中一个审核对象的人工复核数据包括该审核对象的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该审核对象进行机审得到的，所述一批审核对象中不同审核对象对应的合规审核规则中包含所述目标规则；

将所述一批审核对象作为一批样本，并将所述一批审核对象的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的合规审核模型的训练集，以对所述合规审核模型的训练集进行更新；

基于更新后的所述合规审核模型的训练集，对所述合规审核模型进行训练，以对所述合规审核模型进行在线更新。

15.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个；

将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新；

基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

16.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

获取第一时段内产生的目标业务场景下的一批业务的人工复核数据，其中，所述一批业务中一个业务的人工复核数据包括该业务的目标标签，该目标标签是基于目标机审结果的人工复核结果添加的，所述目标机审结果是使用目标规则对该业务进行机审得到的，所述目标规则是所述目标业务场景对应的合规审核规则中的一个或多个；

将所述一批业务作为一批样本，并将所述一批业务的人工复核数据中的目标标签作为所述一批样本的标签，对应加入所述目标规则中使用的业务合规审核模型的训练集，以对所述业务合规审核模型的训练集进行更新；

基于更新后的所述业务合规审核模型的训练集，对所述业务合规审核模型进行训练，以对所述业务合规审核模型进行在线更新。

Images