CN114154891A - 风险控制模型的重训练方法及装置 - Google Patents
风险控制模型的重训练方法及装置 Download PDFInfo
- Publication number
- CN114154891A CN114154891A CN202111494348.7A CN202111494348A CN114154891A CN 114154891 A CN114154891 A CN 114154891A CN 202111494348 A CN202111494348 A CN 202111494348A CN 114154891 A CN114154891 A CN 114154891A
- Authority
- CN
- China
- Prior art keywords
- retraining
- risk control
- control model
- current
- sample data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012954 risk control Methods 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000015654 memory Effects 0.000 claims description 68
- 238000009826 distribution Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 35
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010801 machine learning Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011981 development test Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Artificial Intelligence (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开实施例提供一种风险控制模型的重训练方法及装置，包括：获取当前样本数据和在前样本数据，并根据在前样本数据和当前样本数据，预测得到重训练时的群体稳定性信息，其中，当前样本数据为用于重训练的业务记录数据，在前样本数据为训练得到原风险控制模型的业务记录数据，获取生成原风险控制模型的生成时间，获取从生成原风险控制模型至当前次重训练之间的重训练次数，并根据生成时间和重训练次数确定重训练的概率，计算部署新风险控制模型与原风险控制模型之间的部署成本增量，并根据群体稳定性信息、重训练的概率、以及部署成本增量对原风险控制模型进行重训练，得到新风险控制模型，提高了重训练的可靠性和准确性的技术效果。
Description
技术领域
本公开实施例涉及人工智能技术领域，尤其涉及一种风险控制模型的重训练方法及装置。
背景技术
随着人工智能技术的发展，机器学习模型被广泛的应用于各行业和各领域。例如，机器学习模型被应用于信息推送，即通过训练推送模型为用户推送新闻和资讯等信息；又如，机器学习模型被应用于风险控制，即通过训练风险控制模型避免资金被盗用、欺诈等。
为了使得机器学习模型不断满足用户的使用需求，如提高信息推送的效率，或者，提高风险控制的可靠性，通常需要对已经训练完成的机器学习模型进行重训练。在现有技术中，通常基于“监测+单一规则”的方式触发对原机器学习模型的重训练，如对机器学习模型运行的某参数进行监测，如对原机器学习模型的工作特征(Receiver OperatingCharacteristic curve，ROC)的曲线下的面积(Area Under Curve，AUC)进行监测，若AUC大于预设的阈值，则对原机器学习模型进行重训练，以得到新机器学习模型。
然而，采用上述方法，重训练的触发元素单一，导致重训练的可靠性和有效性偏低。
发明内容
本公开实施例提供一种风险控制模型的重训练方法及装置，用以解决重训练的可靠性偏低的技术问题。
一方面，本公开实施例提供一种风险控制模型的重训练方法，包括：
获取当前样本数据和在前样本数据，并根据所述在前样本数据和所述当前样本数据，预测得到重训练时的群体稳定性信息，其中，所述当前样本数据为用于重训练的业务记录数据，所述在前样本数据为训练得到原风险控制模型的业务记录数据；
获取生成所述原风险控制模型的生成时间，获取从生成所述原风险控制模型至当前次重训练之间的重训练次数，并根据所述生成时间和所述重训练次数确定重训练的概率；
计算部署新风险控制模型与所述原风险控制模型之间的部署成本增量，并根据所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量对所述原风险控制模型进行重训练，得到所述新风险控制模型，所述新风险控制模型用于识别待处理业务的风险信息。
在一些实施例中，根据所述在前样本数据和所述当前样本数据，预测得到重训练时的群体稳定性信息，包括：
确定所述当前样本数据所对应的当前特征分布信息，并确定所述在前样本数据所对应的在前特征分布信息；
计算所述当前特征分布信息和所述在前特征分布信息之间的分布差异信息，并根据所述分布差异信息预测得到所述群体稳定性信息。
在一些实施例中，根据所述生成时间和所述重训练次数确定重训练的概率，包括：
确定当前时间与所述生成时间之间的时间差值，并获取距离当前时间最近一次重训练的时间；
根据所述时间差值、所述距离当前时间最近一次重训练的时间、所述重训练次数、以及预设的权重超参，计算得到所述重训练的概率。
在一些实施例中，计算部署新风险控制模型与所述原风险控制模型之间的部署成本增量，包括：
获取部署所述新风险控制模型时中央处理器的当前占用率、以及内存的当前占用率，并获取部署所述原风险控制模型时中央处理器的在前占用率、以及内存的在前占用率；
根据所述中央处理器的当前占用率、所述内存的当前占用率、所述中央处理器的在前占用率、以及所述内存的在前占用率，计算所述部署成本增量。
在一些实施例中，根据所述中央处理器的当前占用率、所述内存的当前占用率、所述中央处理器的在前占用率、以及所述内存的在前占用率，计算所述部署成本增量，包括：
根据所述中央处理器的当前占用率与所述中央处理器的在前占用率之间的商确定中央处理器的成本增量；
根据所述内存的当前占用率与所述内存的在前占用率之间的商确定内存的成本增量；
将所述中央处理器的成本增量与所述内存的成本增量之间的和确定为所述部署成本增量。
在一些实施例中，根据所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量对所述原风险控制模型进行重训练，得到所述新风险控制模型，包括：
获取预设候选网络模型对所述原风险控制模型进行重训练时的性能评价信息；
根据所述性能评价信息、所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量，生成所述新风险控制模型。
在一些实施例中，根据所述性能评价信息、所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量，生成所述新风险控制模型，包括：
根据所述性能评价信息、所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量，确定模型替换置信度；
若所述模型替换置信度大于预设的置信度阈值，则将所述候选网络模型确定为所述新风险控制模型。
第二方面，本公开实施例提供了一种风险控制模型的重训练装置，包括：
第一获取单元，用于获取当前样本数据和在前样本数据；
预测单元，用于根据所述在前样本数据和所述当前样本数据，预测得到重训练时的群体稳定性信息，其中，所述当前样本数据为用于重训练的业务记录数据，所述在前样本数据为训练得到原风险控制模型的业务记录数据；
第二获取单元，用于获取生成所述原风险控制模型的生成时间，获取从生成所述原风险控制模型至当前次重训练之间的重训练次数；
确定单元，用于根据所述生成时间和所述重训练次数确定重训练的概率；
计算单元，用于计算部署新风险控制模型与所述原风险控制模型之间的部署成本增量；
重训练单元，用于根据所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量对所述原风险控制模型进行重训练，得到所述新风险控制模型，所述新风险控制模型用于识别待处理业务的风险信息。
在一些实施例中，所述预测单元，包括：
第一确定子单元，用于确定所述当前样本数据所对应的当前特征分布信息，并确定所述在前样本数据所对应的在前特征分布信息；
第一计算子单元，用于计算所述当前特征分布信息和所述在前特征分布信息之间的分布差异信息；
预测子单元，用于根据所述分布差异信息预测得到所述群体稳定性信息。
在一些实施例中，所述确定单元，包括：
第二确定子单元，用于确定当前时间与所述生成时间之间的时间差值；
第一获取子单元，用于获取距离当前时间最近一次重训练的时间；
第二计算子单元，用于根据所述时间差值、所述距离当前时间最近一次重训练的时间、所述重训练次数、以及预设的权重超参，计算得到所述重训练的概率。
在一些实施例中，所述计算单元，包括：
第二获取子单元，用于获取部署所述新风险控制模型时中央处理器的当前占用率、以及内存的当前占用率，并获取部署所述原风险控制模型时中央处理器的在前占用率、以及内存的在前占用率；
第三计算子单元，用于根据所述中央处理器的当前占用率、所述内存的当前占用率、所述中央处理器的在前占用率、以及所述内存的在前占用率，计算所述部署成本增量。
在一些实施例中，所述第三计算子单元用于，根据所述中央处理器的当前占用率与所述中央处理器的在前占用率之间的商确定中央处理器的成本增量，根据所述内存的当前占用率与所述内存的在前占用率之间的商确定内存的成本增量，将所述中央处理器的成本增量与所述内存的成本增量之间的和确定为所述部署成本增量。
在一些实施例中，所述重训练单元，包括：
第三获取子单元，用于获取预设候选网络模型对所述原风险控制模型进行重训练时的性能评价信息；
生成子单元，用于根据所述性能评价信息、所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量，生成所述新风险控制模型。
在一些实施例中，所述生成子单元用于，根据所述性能评价信息、所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量，确定模型替换置信度，若所述模型替换置信度大于预设的置信度阈值，则将所述候选网络模型确定为所述新风险控制模型。
第三方面，本公开实施例提供了一种电子设备，包括：存储器，处理器；
存储器，用于存储所述处理器可执行指令；
其中，所述处理器被配置为执行如第一方面所述的方法。
第四方面，本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
第五方面，本公开实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为实现机器学习模型的重训练的系统示意图；
图2为机器学习模型的训练原理的示意图；
图3为根据本公开一个实施例的风险控制模型的重训练方法的示意图；
图4为根据本公开另一实施例的风险控制模型的重训练方法的示意图；
图5为根据本公开实施例的机器学习流水线的过程模块的示意图；
图6为根据本公开一个实施例的风险控制模型的重训练装置的示意图；
图7为根据本公开另一实施例的风险控制模型的重训练装置的示意图；
图8为根据本公开实施例的风险控制模型的重训方法的电子设备的框图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
机器学习模型研发运维一体化(Machine Learning Operations，MLOps)是结合网络模型研发系统开发和运维支持(包括集成、测试、发布、部署、基础设施管理等操作)，以实现机器学习模型系统生命周期复合化和自动化管理的文化理念和应用实例，是一种可以实现将模型从开发测试态部署到生产态的同时进行高效运维的技术，意味着将在机器学习系统构建流程的所有步骤中实现自动化和监控。
MLOps涉及的技术内容包括机器学习流水线的持续集成(Continuousintegration，CI)，持续交付(Continuous delivery，CD)，监控和持续训练(ContinuousTraining，CT)。不论是模型上线，模型运行，迭代更新还是持续训练(即重训练)都提供较为规范和自动化的管控。
如图1所示，机器学习模型的重训练涉及特征库，机器学习流水线，模型服务，模型/数据的性能监控以及触发器。
其中，特征库中的数据为可以重用特征，而不必针对不同的网络模型反复加工出这些特征，从而节省了宝贵的时间和精力。
对于持续训练，特征库可以提供最新一批用于训练任务的数据集。对于模型服务，特征库可以提取与所请求实体相关的一批特征值，例如客户受众特征、产品特征和当前的会话聚合特征用于模型的在线服务，也可以提供离线数据用于批量服务。除此之外，特征库还接受监控系统的监控，以重新建模，即重训练得到新的机器学习模型。
机器学习流水线包含从特征工程到模型产出的全流程，这个过程通常包含数据抽取，数据验证，特征衍生，模型训练，模型评估，模型验证等。
在机器学习流水线之后，基于持续交付完成对模型的部署(如图1中所示的CD：模型部署)。
模型服务模块是将经过训练的模型部署为预测服务(例如，具有REST API的微服务)，或者是部署整个机器学习系统。
模型/数据性能监控模块会跟踪或记录不同时间数据的分布变化以及模型的性能变化，它是收集模型性能下降和其他模型行为偏移所必需的信息，对于触发器有着至关重要的作用。
触发器会根据自身策略自动执行机器学习流水线。触发的机器学习流水线需要使用新数据进行训练的新模型版本(如图1中的触发CT)。
其中，机器学习模型在首次训练时可以分为两个阶段，一个阶段为实验阶段(或者称为开发)，另一个阶段为训练阶段(或者称为生产阶段)。
如图2所示，在实验开发阶段时，对特征库中的样本数据进行分析(如图1中所示的“数据分析模块”)，而后进入数据流水线(pipeline)模块，数据流水线用于对数据进行数据加工，输出源代码，将源代码推送至代码仓库。由流水线持续集成模块对源代码进行编译、测试、打包，并配置测试环境的数据源。流水线持续交付模块，用于将流水线持续集成模块生成的组件部署到目标环境。
在训练阶段，机器学习流水线(可以参见对图1的描述)，用于根据时间表或触发器而自动在生产环境中执行。模型持续交付模块，用于将经过训练的模型用作预测服务，此阶段会使用全量数据训练可投产的模型，并经过模型评估验证模型是否能够上线，输出是可部署的模型。模型服务接口(图中未示出)，用于对外提供服务。模型性能和效果监控模块，用于监控机器学习模型提供服务时的相关信息，并在相关信息不满足预设服务需求时，通过触发器触发重训练。
应该理解的是，机器学习模型可以为各类网络模型，如风险控制模型，信息推送模型等。
在相关技术中，触发重训练的通常基于“监测+单一规则”的方式触发对原机器学习模型的重训练，如对AUC进行监测，且在AUC大于预设的阈值，则对原机器学习模型进行重训练，以得到新机器学习模型。
然而，采用相关技术中的方法，触发重训练的可靠性偏低。
为了避免上述技术问题，本公开的发明人经过创造性的劳动，得到了本公开的发明构思：结合多个维度的元素触发机器学习模型的重训练，如结合群体稳定信息(Population Stability Index，PSI)、重训练的概率、以及部署成本增量，触发重训练。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。
请参阅图3，图3为根据本公开一个实施例的风险控制模型的重训练方法的示意图。
如图3所示，该包括：
S301：获取当前样本数据和在前样本数据，并根据在前样本数据和当前样本数据，预测得到重训练时的群体稳定性信息。其中，当前样本数据为用于重训练的业务记录数据，在前样本数据为训练得到原风险控制模型的业务记录数据。
示例性的，本实施例的执行主体可以为风险控制模型的重训练装置(下文简称为重训练装置)，重训练装置可以为服务器(如云端服务器，或者，本地服务器)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。
结合上述分析可知，重训练的机器学习模型可以为风险控制模型，也可以为信息推送模型，也可以为其他的网络模型，在本实施例中，以机器学习模型为风险控制模型为例，进行示范性地阐述。
其中，群体稳定性信息是指，衡量重训练时模型稳定度评估的指标。
当前样本数据和在前样本数据在类型上相同，如针对风险控制模型，当前样本数据和在前样本数据中均包括：账户余额、存取款时间、用户年龄、用户性别、以及用户的信用度等。又如，针对信息推送模型，当前样本数据和在前样本数据中均包括：用户年龄、用户性别、以及用户的历史浏览记录等。
S302：获取生成原风险控制模型的生成时间，获取从生成原风险控制模型至当前次重训练之间的重训练次数，并根据生成时间和重训练次数确定重训练的概率。
其中，重训练的概率是指，需要进行重训练的可能性，可能性越大，则说明越有必要进行重训练。
S303：计算部署新风险控制模型与原风险控制模型之间的部署成本增量，并根据群体稳定性信息、重训练的概率、以及部署成本增量对原风险控制模型进行重训练，得到新风险控制模型。其中，新风险控制模型用于识别待处理业务的风险信息。
其中，部署成本增量是指，相对于部署原风险控制模型的成本而言，经重训练得到的新风险控制模型的部署成本的增加的成本。
基于上述分析，本公开实施例提供了一种风险控制模型的重训练方法，该方法包括：获取当前样本数据和在前样本数据，并根据在前样本数据和当前样本数据，预测得到重训练时的群体稳定性信息，其中，当前样本数据为用于重训练的业务记录数据，在前样本数据为训练得到原风险控制模型的业务记录数据，获取生成原风险控制模型的生成时间，获取从生成原风险控制模型至当前次重训练之间的重训练次数，并根据生成时间和重训练次数确定重训练的概率，计算部署新风险控制模型与原风险控制模型之间的部署成本增量，并根据群体稳定性信息、重训练的概率、以及部署成本增量对原风险控制模型进行重训练，得到新风险控制模型，其中，新风险控制模型用于识别待处理业务的风险信息，在本实施例中，引入了：分别确定群体稳定性信息、重训练的概率、以及部署成本增量，以基于该三个维度的元素对原始风险控制模型进行重训练，从而得到新风险控制模型的技术特征，避免了相关技术中触发重训练的可靠性偏低的弊端，提高了重训练的可靠性和准确性的技术效果。
请参阅图4，图4为根据本公开另一实施例的风险控制模型的重训练方法的示意图。
如图4所示，该包括：
S401：获取当前样本数据和在前样本数据，并根据在前样本数据和当前样本数据，预测得到重训练时的群体稳定性信息。其中，当前样本数据为用于重训练的业务记录数据，在前样本数据为训练得到原风险控制模型的业务记录数据。
需要说明的是，关于本实施例中与上述实施例相同的特征，本实施例不再赘述。
在一些实施例中，根据在前样本数据和当前样本数据，预测得到重训练时的群体稳定性信息，可以包括如下步骤：
第一步骤：确定当前样本数据所对应的当前特征分布信息，并确定在前样本数据所对应的在前特征分布信息。
第二步骤：计算当前特征分布信息和在前特征分布信息之间的分布差异信息，并根据分布差异信息预测得到群体稳定性信息。
例如，可以通过式1确定群体稳定性信息PSI，式1：
其中，Ai为在前样本数据中特征i在在前样本数据中的占比，Ei为当前样本数据中特征i在当前样本数据中的占比。
相对而言，群体稳定性信息PSI的值越小，说明当前特征分布信息和在前特征分布信息之间的分布差异信息越小，则稳定性越强。
例如，若群体稳定性信息PSI小于0.1，则说明稳定性很高；若群体稳定性信息PSI位于0.1至0.25之间，则说明稳定性一般；若群体稳定性信息PSI大于0.25，则说明稳定性较差。
在本实施例中，通过基于当前特征分布信息、在前特征分布信息确定群体稳定性信息，可以较为准确的对原风险控制模型的稳定性进行评估，以提高确定出的群体稳定性信息PSI的准确性和可靠性的技术效果。
S402：获取生成原风险控制模型的生成时间，获取从生成原风险控制模型至当前次重训练之间的重训练次数，并根据生成时间和重训练次数确定重训练的概率。
在一些实施例中，根据生成时间和重训练次数确定重训练的概率，包括如下步骤：
第一步骤：确定当前时间与生成时间之间的时间差值，并获取距当前时间最近一次重训练的时间。
第二步骤：根据时间差值、距当前时间最近一次重训练的时间、重训练次数、以及预设的权重超参，计算得到重训练的概率。
例如，可以根据式2确定重训练的概率Tloss，式2：
其中，τ＞0，ω＞0，0＜Tloss＜1，ω为距当前时间最近一次重训练的时间，N为重训练次数，τ为时间差值，μ为权重超参，e为自然常数(其值约为2.7)。权重超参可以基于历史记录、历史记录、试验、以及经验等进行设置，本实施例不做限定。
例如，权重超参可以设置为365，原风险控制模型在1月1日上线，上线150天中，触发了3次重训练，距离最近一次重训练的时间为50天，则：
即重训练的概率为0.5514。
在本实施例中，通过结合不同维度的时间元素、重训练次数、以及权重超参确定重训练的概率，可以使得重训练的概率可以准确可靠地表征需要重训练的可能性，从而提高重训练的及时性和准确性的技术效果。
S403：计算部署新风险控制模型与原风险控制模型之间的部署成本增量。
在一些实施例中，S403可以包括如下步骤：
第一步骤：获取部署新风险控制模型时中央处理器的当前占用率、以及内存的当前占用率，并获取部署原风险控制模型时中央处理器的在前占用率、以及内存的在前占用率。
第二步骤：根据中央处理器的当前占用率、内存的当前占用率、中央处理器的在前占用率、以及内存的在前占用率，计算部署成本增量。
也就是说，在本实施例中，通过结合中央处理器(CPU)的占用率和内存占用率，确定部署成本增量，以充分考虑资源的合理利用和资源成本，以当基于部署成本增量重训练得到新风险控制模型时，实现节约成本，弊端资源过度消耗，提高资源利用率的技术效果。
在一些实施例中，第二步骤可以包括如下子步骤：
第一子步骤：根据中央处理器的当前占用率与中央处理器的在前占用率之间的商确定中央处理器的成本增量。
第二子步骤：根据内存的当前占用率与内存的在前占用率之间的商确定内存的成本增量。
第三子步骤：将中央处理器的成本增量与内存的成本增量之间的和确定为部署成本增量。
例如，可以通过式3确定部署成本增量ROI，式3：
ROI＝[(Sc-Sn)/Sn+(Mc-Mn)/Mn]/2
其中，Sn≠0，Mn≠0，Sn为中央处理器的在前占用率，Sc为中央处理器的当前占用率，Mn为内存的在前占用率，Mc为内存的当前占用率。
在本实施例中，通过分别确定中央处理器的成本增量、以及内存的成本增量，以结合中央处理器的成本增量和内存的成本增量确定部署成本增量，可以提高确定部署成本增量的全面性和可靠性的技术效果。
S404：获取预设候选网络模型对原风险控制模型进行重训练时的性能评价信息。
在一些实施例中，结合图5、图1、图2可知，可以在机器学习流水线中增加算法选择和参数调优两个过程。
其中，算法选择过程可以提供不同的训练算法；参数调优过程针对算法选择过程中选择的每一种算法，配置不同的参数进行调优，调优方法可以选择贝叶斯调优或者网格调优等，本实施例不做限定。
在模型验证过程中，可以比较当前轮述的模型性能和之前轮数的模型性能，最终选择最优性能的候选网络模型最后候补重训练模型，且可以将最终选定的候选网路模型的性能评价信息标记为α，如α＝最优性能的候选网络模型的AUC＝0.8)。
S405：根据性能评价信息、群体稳定性信息、重训练的概率、以及部署成本增量，生成新风险控制模型。其中，新风险控制模型用于识别待处理业务的风险信息。
在本实施例中，通过结合四个维度的元素(即性能评价信息、群体稳定性信息、重训练的概率、以及部署成本增量)，对原风险控制模型进行重训练，得到新风险控制模型，可以使得重训练具有全面性，从而提高重训练的可靠性和准确性的技术效果。
在一些实施例中，S405可以包括如下步骤：
第一步骤：根据性能评价信息、群体稳定性信息、重训练的概率、以及部署成本增量，确定模型替换置信度。
第二步骤：若模型替换置信度大于预设的置信度阈值，则将候选网络模型确定为新风险控制模型。
例如，可以通过式4确定模型替换置信度P，式4：
P＝(ω1PSI+ω2Tloss+ω3α)/3-ω4ROI
其中，ω1，ω2，ω3，ω4分别为预先设置的权重值。
置信度阈值可以基于需求、历史记录、以及试验等进行设置，本实施例不做限定。
也就是说，在本实施例中，如果模型替换置信度大于置信度阈值，则说明达到了对在前风险控制模型进行替换的需求，则对在前风险控制模型进行替换处理，如果模型替换置信度小于或等于置信度阈值，则说明还未达到对在前风险控制模型进行替换的需求，即当前风险控制模型还能满足对风险进行控制的需求，则无需对在前风险控制模型进行替换，以避免资源浪费，提高资源利用率，且提高风险控制模型防范控制风险的有效性和可靠性的技术效果。
根据本公开实施例的另一个方面，本公开实施例还提供了一种风险控制模型的重训练装置。
请参阅图6，图6为根据本公开一个实施例的风险控制模型的重训练装置的示意图。
如图6所示，风险控制模型的重训练装置600，包括：
第一获取单元601，用于获取当前样本数据和在前样本数据。
预测单元602，用于根据所述在前样本数据和所述当前样本数据，预测得到重训练时的群体稳定性信息，其中，所述当前样本数据为用于重训练的业务记录数据，所述在前样本数据为训练得到原风险控制模型的业务记录数据。
第二获取单元603，用于获取生成所述原风险控制模型的生成时间，获取从生成所述原风险控制模型至当前次重训练之间的重训练次数。
确定单元604，用于根据所述生成时间和所述重训练次数确定重训练的概率。
计算单元605，用于计算部署新风险控制模型与所述原风险控制模型之间的部署成本增量。
重训练单元606，用于根据所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量对所述原风险控制模型进行重训练，得到所述新风险控制模型，其中，所述新风险控制模型用于识别待处理业务的风险信息。
请参阅图7，图7为根据本公开另一实施例的风险控制模型的重训练装置的示意图。
如图7所示，风险控制模型的重训练装置700，包括：
第一获取单元701，用于获取当前样本数据和在前样本数据。
预测单元702，用于根据所述在前样本数据和所述当前样本数据，预测得到重训练时的群体稳定性信息，其中，所述当前样本数据为用于重训练的业务记录数据，所述在前样本数据为训练得到原风险控制模型的业务记录数据。
结合图7可知，在一些实施例中，预测单元702，包括：
第一确定子单元7021，用于确定所述当前样本数据所对应的当前特征分布信息，并确定所述在前样本数据所对应的在前特征分布信息。
第一计算子单元7022，用于计算所述当前特征分布信息和所述在前特征分布信息之间的分布差异信息。
预测子单元7023，用于根据所述分布差异信息预测得到所述群体稳定性信息。
第二获取单元703，用于获取生成所述原风险控制模型的生成时间，获取从生成所述原风险控制模型至当前次重训练之间的重训练次数。
确定单元704，用于根据所述生成时间和所述重训练次数确定重训练的概率。
结合图7可知，在一些实施例中，确定单元704，包括：
第二确定子单元7041，用于确定当前时间与所述生成时间之间的时间差值。
第一获取子单元7042，用于获取距离当前时间最近一次重训练的时间。
第二计算子单元7043，用于根据所述时间差值、所述距离当前时间最近一次重训练的时间、所述重训练次数、以及预设的权重超参，计算得到所述重训练的概率。
计算单元705，用于计算部署新风险控制模型与所述原风险控制模型之间的部署成本增量。
结合图7可知，在一些实施例中，计算单元705，包括：
第二获取子单元7051，用于获取部署所述新风险控制模型时中央处理器的当前占用率、以及内存的当前占用率，并获取部署所述原风险控制模型时中央处理器的在前占用率、以及内存的在前占用率。
第三计算子单元7052，用于根据所述中央处理器的当前占用率、所述内存的当前占用率、所述中央处理器的在前占用率、以及所述内存的在前占用率，计算所述部署成本增量。
在一些实施例中，第三计算子单元7052用于，根据所述中央处理器的当前占用率与所述中央处理器的在前占用率之间的商确定中央处理器的成本增量，根据所述内存的当前占用率与所述内存的在前占用率之间的商确定内存的成本增量，将所述中央处理器的成本增量与所述内存的成本增量之间的和确定为所述部署成本增量。
重训练单元706，用于根据所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量对所述原风险控制模型进行重训练，得到所述新风险控制模型。
结合图7可知，在一些实施例中，重训练单元706，包括：
第三获取子单元，用于获取预设候选网络模型对所述原风险控制模型进行重训练时的性能评价信息7061。
生成子单元7062，用于根据所述性能评价信息、所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量，生成所述新风险控制模型。
在一些实施例中，生成子单元7062用于，根据所述性能评价信息、所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量，确定模型替换置信度，若所述模型替换置信度大于预设的置信度阈值，则将所述候选网络模型确定为所述新风险控制模型，所述新风险控制模型用于识别待处理业务的风险信息。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
根据本公开的实施例，本公开还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
如图8所示，是根据本公开实施例的风险控制模型的重训方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的风险控制模型的重训方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的风险控制模型的重训方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的风险控制模型的重训方法对应的程序指令/模块。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的风险控制模型的重训方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据风险控制模型的重训方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至风险控制模型的重训方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
风险控制模型的重训方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与风险控制模型的重训方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (11)
1.一种风险控制模型的重训练方法，包括：
获取当前样本数据和在前样本数据，并根据所述在前样本数据和所述当前样本数据，预测得到重训练时的群体稳定性信息，其中，所述当前样本数据为用于重训练的业务记录数据，所述在前样本数据为训练得到原风险控制模型的业务记录数据；
获取生成所述原风险控制模型的生成时间，获取从生成所述原风险控制模型至当前次重训练之间的重训练次数，并根据所述生成时间和所述重训练次数确定重训练的概率；
计算部署新风险控制模型与所述原风险控制模型之间的部署成本增量，并根据所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量对所述原风险控制模型进行重训练，得到所述新风险控制模型，所述新风险控制模型用于识别待处理业务的风险信息。
2.根据权利要求1所述的方法，其中，根据所述在前样本数据和所述当前样本数据，预测得到重训练时的群体稳定性信息，包括：
确定所述当前样本数据所对应的当前特征分布信息，并确定所述在前样本数据所对应的在前特征分布信息；
计算所述当前特征分布信息和所述在前特征分布信息之间的分布差异信息，并根据所述分布差异信息预测得到所述群体稳定性信息。
3.根据权利要求1所述的方法，其中，根据所述生成时间和所述重训练次数确定重训练的概率，包括：
确定当前时间与所述生成时间之间的时间差值，并获取距离当前时间最近一次重训练的时间；
根据所述时间差值、所述距离当前时间最近一次重训练的时间、所述重训练次数、以及预设的权重超参，计算得到所述重训练的概率。
4.根据权利要求1所述的方法，其中，计算部署新风险控制模型与所述原风险控制模型之间的部署成本增量，包括：
获取部署所述新风险控制模型时中央处理器的当前占用率、以及内存的当前占用率，并获取部署所述原风险控制模型时中央处理器的在前占用率、以及内存的在前占用率；
根据所述中央处理器的当前占用率、所述内存的当前占用率、所述中央处理器的在前占用率、以及所述内存的在前占用率，计算所述部署成本增量。
5.根据权利要求4所述的方法，其中，根据所述中央处理器的当前占用率、所述内存的当前占用率、所述中央处理器的在前占用率、以及所述内存的在前占用率，计算所述部署成本增量，包括：
根据所述中央处理器的当前占用率与所述中央处理器的在前占用率之间的商确定中央处理器的成本增量；
根据所述内存的当前占用率与所述内存的在前占用率之间的商确定内存的成本增量；
将所述中央处理器的成本增量与所述内存的成本增量之间的和确定为所述部署成本增量。
6.根据权利要求1-5中任一项所述的方法，其中，根据所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量对所述原风险控制模型进行重训练，得到所述新风险控制模型，包括：
获取预设候选网络模型对所述原风险控制模型进行重训练时的性能评价信息；
根据所述性能评价信息、所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量，生成所述新风险控制模型。
7.根据权利要求6所述的方法，其中，根据所述性能评价信息、所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量，生成所述新风险控制模型，包括：
根据所述性能评价信息、所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量，确定模型替换置信度；
若所述模型替换置信度大于预设的置信度阈值，则将所述候选网络模型确定为所述新风险控制模型。
8.一种风险控制模型的重训练装置，包括：
第一获取单元，用于获取当前样本数据和在前样本数据；
预测单元，用于根据所述在前样本数据和所述当前样本数据，预测得到重训练时的群体稳定性信息，其中，所述当前样本数据为用于重训练的业务记录数据，所述在前样本数据为训练得到原风险控制模型的业务记录数据；
第二获取单元，用于获取生成所述原风险控制模型的生成时间，获取从生成所述原风险控制模型至当前次重训练之间的重训练次数；
确定单元，用于根据所述生成时间和所述重训练次数确定重训练的概率；
计算单元，用于计算部署新风险控制模型与所述原风险控制模型之间的部署成本增量；
重训练单元，用于根据所述群体稳定性信息、所述重训练的概率、以及所述部署成本增量对所述原风险控制模型进行重训练，得到所述新风险控制模型，所述新风险控制模型用于识别待处理业务的风险信息。
9.一种电子设备，包括：存储器，处理器；
存储器，用于存储所述处理器可执行指令；
其中，所述处理器被配置为执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。
11.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111494348.7A CN114154891A (zh) | 2021-12-08 | 2021-12-08 | 风险控制模型的重训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111494348.7A CN114154891A (zh) | 2021-12-08 | 2021-12-08 | 风险控制模型的重训练方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114154891A true CN114154891A (zh) | 2022-03-08 |
Family
ID=80453934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111494348.7A Pending CN114154891A (zh) | 2021-12-08 | 2021-12-08 | 风险控制模型的重训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114154891A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116244159A (zh) * | 2023-05-08 | 2023-06-09 | 浪潮电子信息产业股份有限公司 | 一种训练时长预测方法、装置、多元异构计算设备及介质 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180089389A1 (en) * | 2016-09-26 | 2018-03-29 | International Business Machines Corporation | System, method and computer program product for evaluation and identification of risk factor |
| CN108053120A (zh) * | 2017-12-15 | 2018-05-18 | 阿里巴巴集团控股有限公司 | 一种模型整合方法及装置 |
| CN108665166A (zh) * | 2018-05-10 | 2018-10-16 | 易联支付有限公司 | 一种风险控制模型的训练方法及装置 |
| CN108985489A (zh) * | 2018-06-08 | 2018-12-11 | 阿里巴巴集团控股有限公司 | 一种风险预测方法、风险预测装置和终端设备 |
| CN110009359A (zh) * | 2019-01-22 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 无监督风险防控模型的训练方法、更新方法及装置 |
| CN110310206A (zh) * | 2019-07-01 | 2019-10-08 | 阿里巴巴集团控股有限公司 | 用于更新风险控制模型的方法和系统 |
| CN110334814A (zh) * | 2019-07-01 | 2019-10-15 | 阿里巴巴集团控股有限公司 | 用于构建风险控制模型的方法和系统 |
| CN110472798A (zh) * | 2019-08-22 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 时间序列数据的预测方法、装置及计算机可读存储介质 |
| CN111160797A (zh) * | 2019-12-31 | 2020-05-15 | 深圳市分期乐网络科技有限公司 | 风控模型的构建方法、装置、存储介质及终端 |
| CN112085595A (zh) * | 2020-09-27 | 2020-12-15 | 中国建设银行股份有限公司 | 信用评分模型的监控方法及装置 |
| CN112270545A (zh) * | 2020-10-27 | 2021-01-26 | 上海淇馥信息技术有限公司 | 基于迁移样本筛选的金融风险预测方法、装置和电子设备 |
| CN112508580A (zh) * | 2021-02-03 | 2021-03-16 | 北京淇瑀信息科技有限公司 | 基于拒绝推断方法的模型构建方法、装置和电子设备 |
| CN112561320A (zh) * | 2020-12-14 | 2021-03-26 | 中国建设银行股份有限公司 | 机构风险预测模型的训练方法、机构风险预测方法和装置 |
| CN112884570A (zh) * | 2021-02-24 | 2021-06-01 | 中国工商银行股份有限公司 | 一种模型安全性的确定方法、装置和设备 |
| CN112884016A (zh) * | 2021-01-28 | 2021-06-01 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 云平台可信评估模型训练方法和云平台可信评估方法 |
| CN112926663A (zh) * | 2021-02-25 | 2021-06-08 | 中国平安人寿保险股份有限公司 | 分类模型的训练方法、装置、计算机设备及存储介质 |
| CN113222414A (zh) * | 2021-05-14 | 2021-08-06 | 北京百度网讯科技有限公司 | 模型稳定性的评估方法、装置、电子设备和存储介质 |
| CN113313575A (zh) * | 2021-06-08 | 2021-08-27 | 支付宝(杭州)信息技术有限公司 | 一种风险识别模型的确定方法及装置 |
| CN113506175A (zh) * | 2021-08-19 | 2021-10-15 | 北京中数智汇科技股份有限公司 | 中小企业风险预警模型优化方法、装置、设备和存储介质 |
| CN113643119A (zh) * | 2021-07-19 | 2021-11-12 | 北京三快在线科技有限公司 | 一种模型训练的方法、业务风控的方法及装置 |
-
2021
- 2021-12-08 CN CN202111494348.7A patent/CN114154891A/zh active Pending
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180089389A1 (en) * | 2016-09-26 | 2018-03-29 | International Business Machines Corporation | System, method and computer program product for evaluation and identification of risk factor |
| CN108053120A (zh) * | 2017-12-15 | 2018-05-18 | 阿里巴巴集团控股有限公司 | 一种模型整合方法及装置 |
| CN108665166A (zh) * | 2018-05-10 | 2018-10-16 | 易联支付有限公司 | 一种风险控制模型的训练方法及装置 |
| CN108985489A (zh) * | 2018-06-08 | 2018-12-11 | 阿里巴巴集团控股有限公司 | 一种风险预测方法、风险预测装置和终端设备 |
| CN110009359A (zh) * | 2019-01-22 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 无监督风险防控模型的训练方法、更新方法及装置 |
| CN110310206A (zh) * | 2019-07-01 | 2019-10-08 | 阿里巴巴集团控股有限公司 | 用于更新风险控制模型的方法和系统 |
| CN110334814A (zh) * | 2019-07-01 | 2019-10-15 | 阿里巴巴集团控股有限公司 | 用于构建风险控制模型的方法和系统 |
| CN110472798A (zh) * | 2019-08-22 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 时间序列数据的预测方法、装置及计算机可读存储介质 |
| CN111160797A (zh) * | 2019-12-31 | 2020-05-15 | 深圳市分期乐网络科技有限公司 | 风控模型的构建方法、装置、存储介质及终端 |
| CN112085595A (zh) * | 2020-09-27 | 2020-12-15 | 中国建设银行股份有限公司 | 信用评分模型的监控方法及装置 |
| CN112270545A (zh) * | 2020-10-27 | 2021-01-26 | 上海淇馥信息技术有限公司 | 基于迁移样本筛选的金融风险预测方法、装置和电子设备 |
| CN112561320A (zh) * | 2020-12-14 | 2021-03-26 | 中国建设银行股份有限公司 | 机构风险预测模型的训练方法、机构风险预测方法和装置 |
| CN112884016A (zh) * | 2021-01-28 | 2021-06-01 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 云平台可信评估模型训练方法和云平台可信评估方法 |
| CN112508580A (zh) * | 2021-02-03 | 2021-03-16 | 北京淇瑀信息科技有限公司 | 基于拒绝推断方法的模型构建方法、装置和电子设备 |
| CN112884570A (zh) * | 2021-02-24 | 2021-06-01 | 中国工商银行股份有限公司 | 一种模型安全性的确定方法、装置和设备 |
| CN112926663A (zh) * | 2021-02-25 | 2021-06-08 | 中国平安人寿保险股份有限公司 | 分类模型的训练方法、装置、计算机设备及存储介质 |
| CN113222414A (zh) * | 2021-05-14 | 2021-08-06 | 北京百度网讯科技有限公司 | 模型稳定性的评估方法、装置、电子设备和存储介质 |
| CN113313575A (zh) * | 2021-06-08 | 2021-08-27 | 支付宝(杭州)信息技术有限公司 | 一种风险识别模型的确定方法及装置 |
| CN113643119A (zh) * | 2021-07-19 | 2021-11-12 | 北京三快在线科技有限公司 | 一种模型训练的方法、业务风控的方法及装置 |
| CN113506175A (zh) * | 2021-08-19 | 2021-10-15 | 北京中数智汇科技股份有限公司 | 中小企业风险预警模型优化方法、装置、设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116244159A (zh) * | 2023-05-08 | 2023-06-09 | 浪潮电子信息产业股份有限公司 | 一种训练时长预测方法、装置、多元异构计算设备及介质 |
| CN116244159B (zh) * | 2023-05-08 | 2023-08-11 | 浪潮电子信息产业股份有限公司 | 一种训练时长预测方法、装置、多元异构计算设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11151024B2 (en) | Dynamic automation of DevOps pipeline vulnerability detecting and testing | |
| EP3882783A1 (en) | Event argument extraction method, event argument extraction apparatus and electronic device | |
| CN111080243A (zh) | 业务处理的方法、装置、系统、电子设备及存储介质 | |
| AU2021273796B2 (en) | Dynamic automation of selection of pipeline artifacts | |
| CN111753914A (zh) | 模型优化方法和装置、电子设备及存储介质 | |
| US11263207B2 (en) | Performing root cause analysis for information technology incident management using cognitive computing | |
| US20180253728A1 (en) | Optimizing fraud analytics selection | |
| CN111539479A (zh) | 生成样本数据的方法和装置 | |
| CN116194936A (zh) | 识别拟合目标域的传递学习过程的源数据集 | |
| US20230087026A1 (en) | Performing an action based on predicted information | |
| WO2023154538A1 (en) | System and method for reducing system performance degradation due to excess traffic | |
| US20230077708A1 (en) | Microservice measurement and merging | |
| CN114154891A (zh) | 风险控制模型的重训练方法及装置 | |
| CN114911492A (zh) | 推理服务部署方法、装置、设备以及存储介质 | |
| US10803256B2 (en) | Systems and methods for translation management | |
| CN111625710B (zh) | 推荐内容的处理方法、装置、电子设备及可读存储介质 | |
| CN111461306B (zh) | 特征评估的方法及装置 | |
| CN112580723A (zh) | 多模型融合方法、装置、电子设备和存储介质 | |
| CN111448551B (zh) | 跟踪来自远程设备的应用活动数据并生成用于远程设备的校正动作数据结构的方法和系统 | |
| EP3855314A1 (en) | Method and apparatus for graph computing, electronic device and storage medium | |
| CN112308196A (zh) | 用于训练模型的方法、装置、设备以及存储介质 | |
| CN112231115A (zh) | 一种执行动态插入算子的方法以及装置 | |
| CN115858319B (zh) | 一种流数据处理方法及装置 | |
| US20240119364A1 (en) | Automatically generating and implementing machine learning model pipelines | |
| US20230297416A1 (en) | Migrating data based on user experience as a service when developing and deploying a cloud-based solution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |