CN111967807A - 计算机执行的风险事件判别规则的生成方法及装置 - Google Patents
计算机执行的风险事件判别规则的生成方法及装置 Download PDFInfo
- Publication number
- CN111967807A CN111967807A CN202011147719.XA CN202011147719A CN111967807A CN 111967807 A CN111967807 A CN 111967807A CN 202011147719 A CN202011147719 A CN 202011147719A CN 111967807 A CN111967807 A CN 111967807A
- Authority
- CN
- China
- Prior art keywords
- risk
- event
- labels
- discrimination
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000009471 action Effects 0.000 claims abstract description 43
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000001960 triggered effect Effects 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000003066 decision tree Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008014 freezing Effects 0.000 description 3
- 238000007710 freezing Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004900 laundering Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Educational Administration (AREA)
- Bioinformatics & Computational Biology (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供一种计算机执行的风险事件判别规则的生成方法，包括：获取多个事件样本，其中部分事件样本各自对应风险类别标签；利用该部分事件样本和各自对应的风险类别标签，训练风险评分模型；利用训练后的风险评分模型，确定该多个事件样本对应的多个风险分数；基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定该多个风险分数对应的多个风险等级标签；利用该多个事件样本和该多个风险等级标签，建立树模型，其中包括的若干预测路径各自对应风险等级标签和决策条件集；基于该若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，其各自包含对应的一组判别条件和相应触发的动作。
Description
技术领域
本说明书一个或多个实施例涉及计算机处理技术领域，尤其涉及计算机执行的、风险事件判别规则的生成方法及装置。
背景技术
许多行业使用的风险事件监控系统大都基于规则，规则包含了用阈值定义的判别条件。目前，规则阈值调优方案主要是基于规则中的单个阈值，逐个进行调整。例如，在调优过程中，规则管理人员在距离阈值较近的部分进行抽样，然后根据抽样的结果决定一个规则的某个阈值是应该调高还是调低。
然而，由于规则数量通常较多，尤其在大型机构，规则数量尤其多，使得规则阈值的调整主要面临两大挑战，一是效率方面，调整每个规则的每个阈值都需要较多的人力；二是效能方面，调整一个规则的局部，对于整体风险防控效果的影响难以估计和管理。
因此，迫切需要一种方案，可以减少规则调优过程中的人力消耗，同时提升调优后规则的可用性。
发明内容
本说明书一个或多个实施例描述了一种计算机执行的、风险事件判别规则的生成方法及装置，通过采集事件样本和事件样本的风险类别标签，构建树模型，实现针对不同风险判别结果的风险判别规则的自动生成，从而有效提升规则调优的效率和效能。
根据第一方面，提供一种计算机执行的风险事件判别规则的生成方法，包括：获取多个事件样本，该多个事件样本各自包括对应事件的事件特征，其中部分事件样本各自对应风险类别标签；利用所述部分事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；利用训练后的风险评分模型，确定所述多个事件样本对应的多个风险分数；基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定所述多个风险分数对应的多个风险等级标签；利用所述多个事件样本和所述多个风险等级标签，建立树模型；所述树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，其各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
在一个实施例中，所述风险等级标签对应的标签总数大于所述风险类别标签对应的标签总数。
在一个实施例中，基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，包括：基于预先设定的风险等级标签与触发动作之间的映射关系，确定所述若干风险等级标签对应的若干触发动作；针对所述若干预测路径中任意的第一预测路径，将其对应的决策条件集作为一组判别条件，并和对应的触发动作构成第一风险事件判别规则，归入所述多条风险事件判别规则中。
在一个实施例中，基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，包括：向工作人员展示所述若干决策条件集和若干风险等级标签；接收基于所述展示的内容设定的所述多条风险事件判别规则。
在一个具体的实施例中，向工作人员展示若干决策条件集和若干风险等级标签，包括：展示所述若干判别条件集和若干风险等级标签，以及已有的若干风险事件判别规则；其中，接收基于所述展示的内容设定的所述多条风险事件判别规则，包括：接收所述工作人员基于所述展示的内容，对所述若干风险事件判别规则做出的编辑操作，得到编辑后的风险事件判别规则，归入所述多条风险事件判别规则。
在一个更具体的实施例中，所述编辑操作包括以下中的至少一种：修改判别条件中的判别特征和/或判别阈值、合并判别条件、增加判别条件、删除判别条件。
根据第二方面，提供一种计算机执行的风险事件判别规则的生成方法，包括：获取多个事件样本和其各自对应的风险类别标签，该多个事件样本各自包括对应事件的事件特征；利用所述多个事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；利用训练后的风险评分模型，确定所述多个事件样本对应的多个风险分数；基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定所述多个风险分数对应的多个风险等级标签；所述风险等级标签对应的标签总数大于所述风险类别标签对应的标签总数；利用所述多个事件样本和所述多个风险等级标签，建立树模型；所述树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
根据第三方面，提供一种计算机执行的风险事件判别规则的生成装置，包括：样本获取单元，配置为获取多个事件样本，该多个事件样本各自包括对应事件的事件特征，其中部分事件样本各自对应风险类别标签；评分模型训练单元，配置为利用所述部分事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；事件打分单元，配置为利用训练后的风险评分模型，确定所述多个事件样本对应的多个风险分数；等级标签确定单元，配置为基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定所述多个风险分数对应的多个风险等级标签；树模型建立单元，配置为利用所述多个事件样本和所述多个风险等级标签，建立树模型；所述树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；规则生成单元，配置为基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，其各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
根据第四方面，提供一种计算机执行的风险事件判别规则的生成装置，包括：样本获取单元，配置为获取多个事件样本和其各自对应的风险类别标签，该多个事件样本各自包括对应事件的事件特征；评分模型训练单元，配置为利用所述多个事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；事件打分单元，配置为利用训练后的风险评分模型，确定所述多个事件样本对应的多个风险分数；等级标签确定单元，配置为基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定所述多个风险分数对应的多个风险等级标签；所述风险等级标签对应的标签总数大于所述风险类别标签对应的标签总数；树模型建立单元，配置为利用所述多个事件样本和所述多个风险等级标签，建立树模型；所述树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；规则生成单元，配置为基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。
根据第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。
综上，在本说明书实施例披露的风险判别规则的生成方法及装置中，利用采集到的标注数据训练风险评分模型，从而根据训练后的风险评分模型的打分结果和实际需求对风险程度进行划分，进而自动生成对应的判别条件，用于构建判别规则。如此，可以极大程度的摆脱规则的生成和调优对人工的依赖，并且，使得生成规则具有较高的可用性，能够充分满足实际应用的需求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出根据一个实施例的生成风险事件判别规则的实施框架示意图；
图2示出根据一个实施例的风险事件判别规则的生成方法流程图；
图3示出根据一个实施例的树模型中包括的决策树；
图4示出根据另一个实施例的风险事件判别规则的生成方法流程图；
图5示出根据一个实施例的风险事件判别规则的生成装置结构图；
图6示出根据另一个实施例的风险事件判别规则的生成装置结构图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
如前所述，需要一种方案，可以减少规则调优过程中的人力消耗，同时提升调优后规则的可用性。在一种实施方式中，可以采集针对事件样本的标注数据，构建树模型，然后根据树模型各条预测路径包含的决策条件，生成风险判别规则。然而，实际上对于准确标注数据的大量采集难度较大，并且，标注的类别通常较少（例如有风险和无风险），难以满足风险判别规则中对风险程度进行更细粒度划分的需求。
进一步，发明人提出一种风险事件判别规则的生成方法，充分利用采集到的标注数据和未标注数据，并根据实际需求对风险程度进行划分，进而自动生成对应的判别条件，用于构建判别规则。如此，可以极大程度的摆脱规则的生成和调优对人工的依赖，并且，使得生成规则具有较高的可用性，能够充分满足实际应用的需求。
图1示出根据一个实施例的生成风险事件判别规则的实施框架示意图，图中序号①至⑤示意实施顺序。如图1所示，首先，利用采集的标注事件样本，训练风险评分模型；接着，利用训练后的风险评分模型对采集的标注事件样本和未标注事件样本进行评分，得到事件样本全集中各个事件样本对应风险分数；然后，根据风险分数进行对事件样本全集中的事件样本进行风险程度的划分，再构建树模型，用以自动生成对应的判别条件，进而构建判别规则。
下面结合更丰富的实施例，介绍上述生成方法的实施步骤。
图2示出根据一个实施例的风险事件判别规则的生成方法流程图，所述方法的执行主体可以为任何具有计算、处理能力的服务器、装置和设备集群。如图2所示，所述方法包括以下步骤：
步骤S210，获取多个事件样本，该多个事件样本各自包括对应事件的事件特征，其中部分事件样本各自对应风险类别标签；步骤S220，利用该部分事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；步骤S230，利用训练后的风险评分模型，确定该多个事件样本对应的多个风险分数；步骤S240，基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定该多个风险分数对应的多个风险等级标签；步骤S250，利用该多个事件样本和该多个风险等级标签，建立树模型；该树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；步骤S260，基于该若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，其各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
对以上步骤的进一步介绍如下：
首先，在步骤S210，获取多个事件样本，该多个事件样本组成上述事件样本全集。在一个实施例中，事件可以为交易事件、登录事件或访问事件等。在一个实施例中，交易事件对应的事件特征可以包括当前交易特征、历史交易特征和交易用户特征，其中当前交易特征和历史交易特征可以包括交易金额、交易时间、交易地址（包括地理位置和网络IP地址）、交易渠道（如支付APP或银行卡等）、交易附言等，其中交易用户特征可以包括用户的性别、年龄、职业、所属人群（如高消费人群或低消费人群）等。在一个实施例中，交易事件具体可以为转账交易、购物交易（如购买理财产品、实体商品等）。
在一个实施例中，登录事件对应的事件特征可以包括登录时间、登录地址、登录设备类型（如个人终端或PC端）、预定时段（如最近24h）内的登录频次等。在一个实施例中，其中访问事件的事件特征可以包括访问时间、访问地址、访问设备的地理和网络地址、访问界面的内容等。
在上述多个事件样本中，部分事件样本带有风险类别标签，其中风险类别标签可以是人工标注的，也可以是自动生成的，例如，对包含投诉记录的事件，自动为其添加指示存在风险的风险类别标签。换言之，上述事件样本全集中可以包括带风险类别标签的多个标注事件样本，以及无标签的多个未标注事件样本。
在一个实施例中，风险类别标签可以为有风险或无风险。在一个具体的实施例中，有风险和无风险分别对应标签值1和0。在另一个实施例中，风险类别标签可以为高风险、中风险、或低风险。在一个具体的实施例中，其中高风险、中风险和低风险分别对应标签值1、0.6和0。
以上，对获取的多个事件样本中各样本的样本特征，以及部分事件样本带有的风险类别标签进行介绍。
接着，在步骤S220，利用上述部分事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性。在一个实施例中，其中风险评分模型可以基于贝叶斯网络、逻辑回归模型、神经网络算法等实现。在一个具体的实施例中，其中神经网络算法可以是深度神经网络（Deep Neural Networks，简称DNN），或卷积神经网络（Convolutional Neural Networks，简称CNN）。
在一个实施例中，可以将部分事件样本的事件特征输入风险评分模型，得到对应的风险分数，如概率或者概率与100的乘积；再利用部分事件样本中各样本对应的风险分数和风险类别标签，确定训练损失，进而基于该训练损失，调整风险评分模型中的模型参数。在一个具体的实施例中，可以基于该训练损失，利用反向传播法对风险评分模型进行调参。
在得到训练完成的风险评分模型后，在步骤S230，利用训练后的风险评分模型，确定上述多个事件样本对应的多个风险分数。具体，将多个事件样本分别输入训练后的风险评分模型中，对应得到多个风险分数。之后，在步骤S240，基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定该多个风险分数对应的多个风险等级标签。
对于映射关系的设定，在一个实施例中，可以先根据风险判别规则的实际需求划分多个风险等级，如4个或5个。然后，再根据风险评分的定义区间，相应确定与各个风险等级对应的分数区间。在一个例子中，表1示出5个风险等级所对应的5个风险评分区间。
表1
| 风险等级 | 5 | 4 | 3 | 2 | 1 |
| 风险评分区间 | （80，100] | （60，80] | （40，60] | （20，40] | （0，20] |
需理解，事件的风险评分和其存在风险的可能性可以是成正比的关系，也可以是成反比的关系。换言之，在一种情况下，风险评分越高，对应事件的风险程度越高，或者说可疑度越高，在另一种情况下，风险评估越高，对应事件的安全程度越高（风险程度越低），或者说可疑度越低。
需要说明的是，对风险事件进行人工标注的成本高、难度大，难以获得大量高质量的人工标注样本，并且，因为标注的类别越多，标注难度越大，所以标注的类别往往较少，例如，通常为2类。在本说明书披露的实施例中，通过对事件样本全集进行打分，再判断风险分数落入的分数区间，进而确定对应事件样本的风险等级标签，可以实现对标注事件样本和未标注事件样本的充分利用，以及对风险标签的精细化，进而有助于后续生成符合实际需求的、可用性高的判别条件和判别规则。此外，本说明书实施例披露的方案除了可以用在，风险类别标签的类别标签总数小于风险等级标签的等级标签总数的场景以外，还可以用在风险类别标签和风险等级标签的数量相等的场景下，此时，可以实现对标注事件样本和未标注事件样本的充分利用；并且，也可以用在风险类别标签对应的标签总数大于风险等级标签的标签总数的场景下，此时，可以实现对标注事件样本和未标注事件样本的充分利用，以及，将风险类别标签调整为符合实际应用需求的风险等级标签。
以上，可以确定该多个风险分数对应的多个风险等级标签，也就是确定上述多个事件样本对应的多个风险等级标签。然后，在步骤S250，利用该多个事件样本和该多个风险等级标签组成的训练样本集，建立树模型，换言之，该树模型是根据该训练样本集进行训练得到的。在一个实施例中，上述树模型基于的算法可以为GBDT（Gradient boostingdecision tree,梯度提升决策树）算法、XGBoost（eXtremeGradientBoosting）算法、CART（Classification And Regression Tree，分类和回归树）算法等。
为便于理解，下面对建立的树模型进行介绍，树模型中可以包括多棵决策树，在一个实施例中，图3示出根据一个实施例的树模型中包括的决策树，其中包括根节点31和多个叶子节点（如叶子节点35），在根节点和各个叶子节点之间包括多个父节点（如父节点32、33和34）。进一步地，根节点31对应上述训练样本集，上述训练样本集中的事件样本经过决策树中的预测路径，可以被划分到某个叶子节点中，被划分到同一叶子节点中的一个或多个事件样本对应相同的风险等级标签。其中预测路径是指从对应叶子节点至其所在决策树的根节点之间的节点连接路径（图3中通过加粗示出一条预测路径），并且，各个父节点具有对应的分裂特征、分裂阈值，其中分裂特征为事件样本具有的多个事件特征中的某一个特征。以父节点32为例，其对应的分裂特征和分裂阈值分别表示为
和
，对于某个当前样本，其对应于分裂特征
的特征值若小于
（此时判断结果为Y），则被划分到左子树，若不小于
（此时判断结果为N），则被划分到右子树。需要说明，图3中特征
的上标中均未画出括号。
由上可知，建立的树模型中包括若干预测路径（或称多条预测路径），其各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值，以及该分裂特征和分裂阈值之间的大小关系（例如，大于、小于、等于或不等于）或逻辑关系（例如，是或否）。
以上，可以建立树模型，得到其中若干预测路径所对应的若干决策条件集和若干风险等级标签。进而在步骤S260，基于该若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，其各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。需理解，其中相应触发的动作是指：在事件满足一组判别条件的情况下，会相应触发的动作。
在一个实施例中，本步骤可以实施为：基于预先设定的风险等级标签与触发动作之间的映射关系，确定上述若干风险等级标签对应的若干触发动作；再针对上述若干预测路径中任意的第一预测路径，将其对应的决策条件集作为一组判别条件，并和对应的触发动作构成第一风险事件判别规则，归入上述多条风险事件判别规则中。
在一个具体的实施例中，上述触发动作可以包括推出为可疑任务和判定为安全任务。根据一个例子，假定事件是交易事件，则推出为可疑任务具体可以为推出为可疑交易。需理解，可疑交易可以包括盗用账户的交易、洗钱交易、诈骗交易等。在另一个具体的实施例中，上述触发动作可以包括限权动作和允许完成的动作。进一步，其中限权动作可以包括冻结账号或关闭某些操作权限。根据一个例子，假定事件是交易事件，则限权动作可以包括冻结交易账户、调整资金额度等。在一个例子中，风险等级标签与触发动作之间存在表2示出的映射关系。
表2
根据一个例子，假定某条预测路径对应的决策条件集包括交易金额>1000万、交易地点属于高危地区，风险等级标签为表2中示出的等级5，基于此，根据表2是出的映射关系，可以确定出于等级5对应的触发动作是冻结账号，并将根据该决策条件集和触发动作构成的第一风险事件判别规则：若交易金额＞1000万且交易地点属于高危地区，则冻结交易账户，归入上述多条风险判别规则中。根据另一个例子，上述多条风险判别规则中的某条可以是：若最近三个月交易总量超过之前三个月交易总量2.5倍，且交易对手数>50，则推出可疑交易任务。
另一方面，在一个示例中，假定某个事件对应的触发动作为可疑任务，且该某个事件为非标注事件，此时，可以将该某个事件推送给工作人员进行进一步审核，并且根据审核结果生成对应的风险类别标签，用于下次通过执行本说明书实施例的方法对风险判别规则进行生成、更新。
在另一个实施例中，本步骤可以实施为：向工作人员展示上述若干决策条件集和若干风险等级标签；接收基于该所述展示的内容设定的多条风险事件判别规则。需理解，若干决策条件集中的各个决策条件中包括分裂特征和分裂阈值，其中分裂特征和分裂阈值是通过多个事件样本共同确定的，其反映了分裂特征和分裂阈值对全局的防控效能，而无需工作人员进行抽样去对局部阈值进行挨个调整。由此，工作人员基于展示的内容，可以根据经验进行一些审核、整合，从而快速、高效地确定出符合实际应用需求的多条风险事件判别规则。
在一个具体的实施例中，其中向工作人员展示的内容除了包括若干决策条件集和若干风险等级标签以外，还可以包括已有的若干风险事件判别规则。其中已有的规则可以是人为制定的，也可以是根据本说明书实施例披露的方法在先生成的，需理解，随着时间的变化，采集到的事件样本会发生变化，因此可以基于不同时段采集到的事件样本，重复执行本说明实施例披露的规则生成方法。
相应地，上述接收基于所述展示的内容设定的多条风险事件判别规则，可以包括：接收工作人员基于展示的内容，对已有的若干风险事件判别规则做出的编辑操作，得到编辑后的风险事件判别规则，归入上述多条风险事件判别规则。在一个更具体的实施例中，其中编辑操作可以包括：修改判别条件中的判别特征和/或判别阈值、合并判别条件、增加判别条件、删除判别条件等。根据一个例子，假定已有的若干风险事件判别规则中包括：若交易金额＞1000万且交易地点属于高危地区，则冻结交易账户，并且，某条预测路径对应的风险等级标签为1且决策条件集包括：交易金额＞1200万，交易地点属于高危地区。据此，工作人员（或称规则管理人员）可以将已有的风险事件判别规则中的1000万修改为1200万，进而将修改后的规则归入最终生成、投入使用的上述多条风险判别规则中。
综上，在本说明书实施例披露的风险事件判别规则的生成方法中，充分利用采集到的标注数据和未标注数据，并根据实际需求对风险程度进行划分，进而自动生成对应的判别条件，用于构建判别规则。如此，可以极大程度的摆脱规则的生成和调优对人工的依赖，并且，使得生成规则具有较高的可用性，能够充分满足实际应用的需求。
根据另一方面的实施例，发明人还考虑到，即使在采集到足量的标注事件样本的情况下，也会存在标注类别的粒度与实际对风险程度划分粒度的需求不一致的情况，进而提出另一种风险事件判别规则的生成方法。
图4示出根据另一个实施例的风险事件判别规则的生成方法流程图，所述方法的执行主体可以为任何具有计算、处理能力的服务器、装置和设备集群。如图4所示，所述方法包括以下步骤：
步骤S410，获取多个事件样本和其各自对应的风险类别标签，该多个事件样本各自包括对应事件的事件特征；步骤S420，利用该多个事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；步骤S430，利用训练后的风险评分模型，确定该多个事件样本对应的多个风险分数；步骤S440，基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定该多个风险分数对应的多个风险等级标签；该风险等级标签对应的标签总数大于该风险类别标签对应的标签总数；步骤S450，利用该多个事件样本和该多个风险等级标签，建立树模型；该树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；步骤S460，基于该若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
需说明，对上述步骤S410至步骤S460的进一步介绍，可以参见前述实施例中的相关描述，不作赘述。
综上，在本说明书实施例披露的风险事件判别规则的生成方法中，利用采集到的标注数据训练风险评分模型，从而根据训练后的风险评分模型的打分结果和实际需求对风险程度进行划分，进而自动生成对应的判别条件，用于构建判别规则。如此，可以极大程度的摆脱规则的生成和调优对人工的依赖，并且，使得生成规则具有较高的可用性，能够充分满足实际应用的需求。
与上述规则生成方法相对应的，本说明书实施例还披露规则生成装置。具体如下：
图5示出根据一个实施例的风险事件判别规则的生成装置结构图。如图5所示，所述装置500包括：
样本获取单元510，配置为获取多个事件样本，该多个事件样本各自包括对应事件的事件特征，其中部分事件样本各自对应风险类别标签；评分模型训练单元520，配置为利用所述部分事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；事件打分单元530，配置为利用训练后的风险评分模型，确定所述多个事件样本对应的多个风险分数；等级标签确定单元540，配置为基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定所述多个风险分数对应的多个风险等级标签；树模型建立单元550，配置为利用所述多个事件样本和所述多个风险等级标签，建立树模型；所述树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；规则生成单元560，配置为基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，其各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
在一个实施例中，所述风险等级标签对应的标签总数大于所述风险类别标签对应的标签总数。
在一个实施例中，所述规则生成单元560具体配置为：基于预先设定的风险等级标签与触发动作之间的映射关系，确定所述若干风险等级标签对应的若干触发动作；针对所述若干预测路径中任意的第一预测路径，将其对应的决策条件集作为一组判别条件，并和对应的触发动作构成第一风险事件判别规则，归入所述多条风险事件判别规则中。
在一个实施例中，所述规则生成单元560具体包括：展示子单元561，配置为向工作人员展示所述若干决策条件集和若干风险等级标签；接收子单元562，配置为接收基于所述展示的内容设定的所述多条风险事件判别规则。
在一个具体的实施例中，所述展示子单元561具体配置为：展示所述若干判别条件集和若干风险等级标签，以及已有的若干风险事件判别规则；其中，所述接收子单元562具体配置为：接收所述工作人员基于所述展示的内容，对所述若干风险事件判别规则做出的编辑操作，得到编辑后的风险事件判别规则，归入所述多条风险事件判别规则。
在一个更具体的实施例中，所述编辑操作包括以下中的至少一种：修改判别条件中的判别特征和/或判别阈值、合并判别条件、增加判别条件、删除判别条件。
图6示出根据另一个实施例的风险事件判别规则的生成装置结构图。如图6所示，所述装置600包括：
样本获取单元610，配置为获取多个事件样本和其各自对应的风险类别标签，该多个事件样本各自包括对应事件的事件特征；评分模型训练单元620，配置为利用所述多个事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；事件打分单元630，配置为利用训练后的风险评分模型，确定所述多个事件样本对应的多个风险分数；等级标签确定单元640，配置为基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定所述多个风险分数对应的多个风险等级标签；所述风险等级标签对应的标签总数大于所述风险类别标签对应的标签总数；树模型建立单元650，配置为利用所述多个事件样本和所述多个风险等级标签，建立树模型；所述树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；规则生成单元660，配置为基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
在一个实施例中，所述风险等级标签对应的标签总数大于所述风险类别标签对应的标签总数。
在一个实施例中，所述规则生成单元660具体配置为：基于预先设定的风险等级标签与触发动作之间的映射关系，确定所述若干风险等级标签对应的若干触发动作；针对所述若干预测路径中任意的第一预测路径，将其对应的决策条件集作为一组判别条件，并和对应的触发动作构成第一风险事件判别规则，归入所述多条风险事件判别规则中。
在一个实施例中，所述规则生成单元660具体包括：展示子单元661，配置为向工作人员展示所述若干决策条件集和若干风险等级标签；接收子单元662，配置为接收基于所述展示的内容设定的所述多条风险事件判别规则。
在一个具体的实施例中，所述展示子单元661具体配置为：展示所述若干判别条件集和若干风险等级标签，以及已有的若干风险事件判别规则；其中，所述接收子单元662具体配置为：接收所述工作人员基于所述展示的内容，对所述若干风险事件判别规则做出的编辑操作，得到编辑后的风险事件判别规则，归入所述多条风险事件判别规则。
在一个更具体的实施例中，所述编辑操作包括以下中的至少一种：修改判别条件中的判别特征和/或判别阈值、合并判别条件、增加判别条件、删除判别条件。
根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图4所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图4所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (16)
1.一种计算机执行的风险事件判别规则的生成方法，包括：
获取多个事件样本，该多个事件样本各自包括对应事件的事件特征，其中部分事件样本各自对应风险类别标签；
利用所述部分事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；
利用训练后的风险评分模型，确定所述多个事件样本对应的多个风险分数；
基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定所述多个风险分数对应的多个风险等级标签；
利用所述多个事件样本和所述多个风险等级标签，建立树模型；所述树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；
基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，其各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
2.根据权利要求1所述的方法，其中，所述风险等级标签对应的标签总数大于所述风险类别标签对应的标签总数。
3.根据权利要求1所述的方法，其中，基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，包括：
基于预先设定的风险等级标签与触发动作之间的映射关系，确定所述若干风险等级标签对应的若干触发动作；
针对所述若干预测路径中任意的第一预测路径，将其对应的决策条件集作为一组判别条件，并和对应的触发动作构成第一风险事件判别规则，归入所述多条风险事件判别规则中。
4.根据权利要求1所述的方法，其中，基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，包括：
向工作人员展示所述若干决策条件集和若干风险等级标签；
接收基于所述展示的内容设定的所述多条风险事件判别规则。
5.根据权利要求4所述的方法，其中，向工作人员展示若干决策条件集和若干风险等级标签，包括：
展示所述若干判别条件集和若干风险等级标签，以及已有的若干风险事件判别规则；
其中，接收基于所述展示的内容设定的所述多条风险事件判别规则，包括：
接收所述工作人员基于所述展示的内容，对所述若干风险事件判别规则做出的编辑操作，得到编辑后的风险事件判别规则，归入所述多条风险事件判别规则。
6.根据权利要求5所述的方法，其中，所述编辑操作包括以下中的至少一种：修改判别条件中的判别特征和/或判别阈值、合并判别条件、增加判别条件、删除判别条件。
7.一种计算机执行的风险事件判别规则的生成方法，包括：
获取多个事件样本和其各自对应的风险类别标签，该多个事件样本各自包括对应事件的事件特征；
利用所述多个事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；
利用训练后的风险评分模型，确定所述多个事件样本对应的多个风险分数；
基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定所述多个风险分数对应的多个风险等级标签；所述风险等级标签对应的标签总数大于所述风险类别标签对应的标签总数；
利用所述多个事件样本和所述多个风险等级标签，建立树模型；所述树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；
基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
8.一种计算机执行的风险事件判别规则的生成装置，包括：
样本获取单元，配置为获取多个事件样本，该多个事件样本各自包括对应事件的事件特征，其中部分事件样本各自对应风险类别标签；
评分模型训练单元，配置为利用所述部分事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；
事件打分单元，配置为利用训练后的风险评分模型，确定所述多个事件样本对应的多个风险分数；
等级标签确定单元，配置为基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定所述多个风险分数对应的多个风险等级标签；
树模型建立单元，配置为利用所述多个事件样本和所述多个风险等级标签，建立树模型；所述树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；
规则生成单元，配置为基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，其各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
9.根据权利要求8所述的装置，其中，所述风险等级标签对应的标签总数大于所述风险类别标签对应的标签总数。
10.根据权利要求8所述的装置，其中，所述规则生成单元具体配置为：
基于预先设定的风险等级标签与触发动作之间的映射关系，确定所述若干风险等级标签对应的若干触发动作；
针对所述若干预测路径中任意的第一预测路径，将其对应的决策条件集作为一组判别条件，并和对应的触发动作构成第一风险事件判别规则，归入所述多条风险事件判别规则中。
11.根据权利要求8所述的装置，其中，所述规则生成单元具体包括：
展示子单元，配置为向工作人员展示所述若干决策条件集和若干风险等级标签；
接收子单元，配置为接收基于所述展示的内容设定的所述多条风险事件判别规则。
12.根据权利要求11所述的装置，其中，所述展示子单元具体配置为：
展示所述若干判别条件集和若干风险等级标签，以及已有的若干风险事件判别规则；
其中，所述接收子单元具体配置为：
接收所述工作人员基于所述展示的内容，对所述若干风险事件判别规则做出的编辑操作，得到编辑后的风险事件判别规则，归入所述多条风险事件判别规则。
13.根据权利要求12所述的装置，其中，所述编辑操作包括以下中的至少一种：修改判别条件中的判别特征和/或判别阈值、合并判别条件、增加判别条件、删除判别条件。
14.一种计算机执行的风险事件判别规则的生成装置，包括：
样本获取单元，配置为获取多个事件样本和其各自对应的风险类别标签，该多个事件样本各自包括对应事件的事件特征；
评分模型训练单元，配置为利用所述多个事件样本和各自对应的风险类别标签，训练风险评分模型，该风险评分模型输出的风险分数指示对应事件存在风险的可能性；
事件打分单元，配置为利用训练后的风险评分模型，确定所述多个事件样本对应的多个风险分数；
等级标签确定单元，配置为基于预先设定的风险评分区间与风险等级标签之间的映射关系，确定所述多个风险分数对应的多个风险等级标签；所述风险等级标签对应的标签总数大于所述风险类别标签对应的标签总数；
树模型建立单元，配置为利用所述多个事件样本和所述多个风险等级标签，建立树模型；所述树模型中包括若干预测路径，各自对应风险等级标签和决策条件集，其中各个决策条件包括对应父节点的分裂特征和分裂阈值；
规则生成单元，配置为基于所述若干预测路径对应的若干决策条件集和若干风险等级标签，生成多条风险事件判别规则，各自包含对应的一组判别条件和相应触发的动作，其中各个判别条件包括判别特征和判别阈值。
15.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项的所述的方法。
16.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011147719.XA CN111967807A (zh) | 2020-10-23 | 2020-10-23 | 计算机执行的风险事件判别规则的生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011147719.XA CN111967807A (zh) | 2020-10-23 | 2020-10-23 | 计算机执行的风险事件判别规则的生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111967807A true CN111967807A (zh) | 2020-11-20 |
Family
ID=73387149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011147719.XA Pending CN111967807A (zh) | 2020-10-23 | 2020-10-23 | 计算机执行的风险事件判别规则的生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967807A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344453A (zh) * | 2021-07-05 | 2021-09-03 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种风险监控方法、装置、系统、存储介质和设备 |
| CN113762699A (zh) * | 2021-01-29 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 联防联控风险处理的方法和装置 |
| WO2022156701A1 (zh) * | 2021-01-22 | 2022-07-28 | 支付宝(杭州)信息技术有限公司 | 风险识别以及风险识别系统的更新 |
| CN117034210A (zh) * | 2023-10-08 | 2023-11-10 | 深圳安天网络安全技术有限公司 | 一种事件画像的生成方法、装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110633991A (zh) * | 2019-09-20 | 2019-12-31 | 阿里巴巴集团控股有限公司 | 风险识别方法、装置和电子设备 |
| US20200005310A1 (en) * | 2018-06-29 | 2020-01-02 | Paypal, Inc. | Machine learning engine for fraud detection during cross-location online transaction processing |
| CN111383101A (zh) * | 2020-03-25 | 2020-07-07 | 深圳前海微众银行股份有限公司 | 贷后风险监控方法、装置、设备及计算机可读存储介质 |
| CN111401914A (zh) * | 2020-04-02 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 风险评估模型的训练、风险评估方法及装置 |
-
2020
- 2020-10-23 CN CN202011147719.XA patent/CN111967807A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200005310A1 (en) * | 2018-06-29 | 2020-01-02 | Paypal, Inc. | Machine learning engine for fraud detection during cross-location online transaction processing |
| CN110633991A (zh) * | 2019-09-20 | 2019-12-31 | 阿里巴巴集团控股有限公司 | 风险识别方法、装置和电子设备 |
| CN111383101A (zh) * | 2020-03-25 | 2020-07-07 | 深圳前海微众银行股份有限公司 | 贷后风险监控方法、装置、设备及计算机可读存储介质 |
| CN111401914A (zh) * | 2020-04-02 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 风险评估模型的训练、风险评估方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 黄冬梅: "《大数据技术与应用方向》", 30 November 2018, 上海交通大学出版社 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022156701A1 (zh) * | 2021-01-22 | 2022-07-28 | 支付宝(杭州)信息技术有限公司 | 风险识别以及风险识别系统的更新 |
| CN113762699A (zh) * | 2021-01-29 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 联防联控风险处理的方法和装置 |
| CN113344453A (zh) * | 2021-07-05 | 2021-09-03 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种风险监控方法、装置、系统、存储介质和设备 |
| CN117034210A (zh) * | 2023-10-08 | 2023-11-10 | 深圳安天网络安全技术有限公司 | 一种事件画像的生成方法、装置、存储介质及电子设备 |
| CN117034210B (zh) * | 2023-10-08 | 2024-01-26 | 深圳安天网络安全技术有限公司 | 一种事件画像的生成方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111967807A (zh) | 计算机执行的风险事件判别规则的生成方法及装置 | |
| US20180253657A1 (en) | Real-time credit risk management system | |
| WO2018126953A1 (zh) | 种子人群扩散方法、装置、信息投放系统以及存储介质 | |
| WO2021174944A1 (zh) | 基于目标对象活跃度的消息推送方法及相关设备 | |
| CN108777701B (zh) | 一种确定信息受众的方法及装置 | |
| US20210073669A1 (en) | Generating training data for machine-learning models | |
| US20180285748A1 (en) | Performance metric prediction for delivery of electronic media content items | |
| CN110717597A (zh) | 利用机器学习模型获取时序特征的方法和装置 | |
| CN110766481A (zh) | 客户数据处理方法、装置、电子设备及计算机可读介质 | |
| US11496501B1 (en) | Systems and methods for an adaptive sampling of unlabeled data samples for constructing an informative training data corpus that improves a training and predictive accuracy of a machine learning model | |
| WO2020024444A1 (zh) | 人群绩效等级识别方法、装置、存储介质及计算机设备 | |
| WO2020065611A1 (en) | Recommendation method and system and method and system for improving a machine learning system | |
| US11575695B2 (en) | Systems and methods for intelligently constructing a backbone network graph and identifying and mitigating digital threats based thereon in a machine learning task-oriented digital threat mitigation platform | |
| CN114090601B (zh) | 一种数据筛选方法、装置、设备以及存储介质 | |
| CN115983900A (zh) | 用户营销策略的构建方法、装置、设备、介质和程序产品 | |
| CN114782201A (zh) | 股票推荐方法、装置、计算机设备和存储介质 | |
| US20240154975A1 (en) | Systems and methods for accelerating a disposition of digital dispute events in a machine learning-based digital threat mitigation platform | |
| CN112070564B (zh) | 广告拉取方法、装置、系统与电子设备 | |
| CN113112347A (zh) | 催收决策的确定方法、相关装置及计算机存储介质 | |
| WO2019095569A1 (zh) | 基于微博财经事件的金融分析方法、应用服务器及计算机可读存储介质 | |
| CN115983902B (zh) | 基于用户实时事件的信息推送方法及系统 | |
| WO2023185125A1 (zh) | 产品资源的数据处理方法及装置、电子设备、存储介质 | |
| CN111815435A (zh) | 一种群体风险特征的可视化方法、装置、设备及存储介质 | |
| CN111686451A (zh) | 一种业务处理方法、装置、设备及计算机存储介质 | |
| CN116664306A (zh) | 风控规则的智能推荐方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40040772 Country of ref document: HK |
|
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201120 |